Microsoft ra mắt BitNet b1.58 2B4T, mô hình AI nén 1-bit với 2 tỷ tham số, dễ dàng chạy trên CPU phổ thông

  • Microsoft vừa công bố BitNet b1.58 2B4T, mô hình AI nén 1-bit lớn nhất từng được phát triển với 2 tỷ tham số.

  • BitNet b1.58 2B4T mã nguồn mở theo giấy phép MIT, cho phép mọi người truy cập và sử dụng miễn phí.

  • BitNet là AI nén đặc biệt khi trọng số chỉ nhận giá trị -1, 0, 1, giúp giảm mạnh nhu cầu bộ nhớ và tăng tốc độ tính toán.

  • Mô hình được huấn luyện trên 4 tỷ tokens (tương đương khoảng 33.000.000 cuốn sách), vượt trội về quy mô so với nhiều mô hình hiện nay.

  • BitNet b1.58 2B4T có thể chạy trên CPU phổ thông như Apple M2, không cần GPU, điều mà hầu hết AI lớn hiện nay không làm được.

  • Trong kiểm thử, BitNet b1.58 2B4T vượt qua các đối thủ 2 tỷ tham số như Meta Llama 3.2 1B, Google Gemma 3 1B, Alibaba Qwen 2.5 1.5B ở các bài toán GSM8K (toán tiểu học) và PIQA (suy luận vật lý thông thường).

  • Tốc độ xử lý của BitNet b1.58 2B4T nhanh gấp 2 lần so với các mô hình cùng quy mô, sử dụng ít bộ nhớ hơn đáng kể.

  • Mô hình cần framework riêng bitnet.cpp của Microsoft để khai thác tối ưu hiệu suất, hiện chỉ hỗ trợ một số CPU nhất định.

  • BitNet b1.58 2B4T chưa hỗ trợ GPU, trong khi GPU vẫn là nền tảng chính của hạ tầng AI hiện tại.

  • Dù còn hạn chế về khả năng tương thích, BitNet mở ra triển vọng lớn cho AI chạy trên thiết bị tài nguyên thấp, phục vụ nhiều ứng dụng mới.

📌 Microsoft ra mắt BitNet b1.58 2B4T với 2 tỷ tham số, chạy nhanh gấp đôi các mô hình AI cùng loại trên CPU phổ thông, vượt qua các đối thủ lớn ở nhiều bài kiểm tra, mã nguồn mở, nhưng hiện chỉ hỗ trợ một số CPU, chưa tương thích GPU – hứa hẹn thay đổi cuộc chơi AI tiết kiệm tài nguyên.

 

https://techcrunch.com/2025/04/16/microsoft-researchers-say-theyve-developed-a-hyper-efficient-ai-model-that-can-run-on-cpus/

Thảo luận

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo