Google công bố Gemma 3n E4B: mô hình AI nguồn mở chạy cực nhẹ nhưng đạt hiệu suất đáng kinh ngạc

• Gemma 3n E4B là phiên bản cao cấp trong dòng mô hình AI tạo sinh nhẹ của Google, được thiết kế để tối ưu hóa khả năng chạy trên thiết bị tài nguyên hạn chế, như smartphone và laptop.

• Mô hình sử dụng kiến trúc Matformer và kỹ thuật selective parameter activation, giúp hoạt động hiệu quả với chỉ 4B tham số hiệu dụng dù có nhiều tham số hơn.

• Hỗ trợ đầu vào văn bản, hình ảnh (tối đa 768x768), âm thanh (6.25 token/giây), với tổng ngữ cảnh đầu vào và đầu ra tối đa 32.000 token.

• Được huấn luyện với 11.000 tỷ token từ hơn 140 ngôn ngữ, bao gồm văn bản web, mã lập trình, toán học, hình ảnh và âm thanh, giúp tăng khả năng đa nhiệm.

• Benchmark nổi bật của E4B IT:

  • HellaSwag: 78,6%

  • BoolQ: 81,6%

  • TriviaQA: 70,2%

  • ARC-c: 61,6%

  • HumanEval (code): 75,0%

  • MMLU: 64,9%

  • MBPP: 63,6%

• Hiệu suất trên Android với chip S25 Ultra:

  • dynamic_int4 CPU: 118 tokens/giây (prefill), 12,8 tokens/giây (decode), kích thước mô hình 4.201 MB

  • dynamic_int4 GPU: 446 tokens/giây (prefill), 16,1 tokens/giây (decode), bộ nhớ GPU sử dụng 3.048 MB

• Đào tạo bằng TPU (TPUv4p, v5p, v5e) sử dụng JAX và ML Pathways để tăng tốc và đơn giản hóa quá trình phát triển.

• Mô hình vượt qua các bài kiểm tra đạo đức và an toàn, giảm đáng kể vi phạm nội dung nghiêm trọng, với kiểm tra nội bộ không qua bộ lọc.

• Hạn chế: có thể tạo thông tin sai, chưa hiểu rõ ngữ cảnh phức tạp, vẫn tồn tại thiên lệch dữ liệu và hạn chế lý luận như con người.

📌 Gemma 3n E4B là mô hình AI nguồn mở của Google có khả năng xử lý đa phương thức mạnh mẽ, tối ưu cho thiết bị giới hạn tài nguyên với hiệu suất vượt trội: 78,6% trên HellaSwag và 75% trên HumanEval. Được huấn luyện với 11.000 tỷ token từ 140 ngôn ngữ, mô hình mang lại sự kết hợp lý tưởng giữa nhẹ, mạnh và dễ tiếp cận cho cộng đồng phát triển.

https://huggingface.co/google/gemma-3n-E4B-it-litert-preview