Google ra mắt Gemma 3 270M: AI siêu nhỏ chạy mượt trên smartphone và trình duyệt

• Google DeepMind công bố Gemma 3 270M — mô hình AI 270 triệu tham số, nhỏ hơn rất nhiều so với các LLM hàng chục tỷ tham số, nhưng vẫn thực hiện tốt tác vụ phức tạp.

• Mục tiêu: tối ưu hiệu suất và khả năng chạy trực tiếp trên thiết bị như smartphone (Pixel 9 Pro SoC), trình duyệt web, Raspberry Pi, hoặc thậm chí thiết bị IoT.

• Cấu trúc gồm 170 triệu embedding parameters (từ vựng 256k token, xử lý tốt từ hiếm) và 100 triệu tham số transformer block.

• Có thể fine-tune trong vài phút để phục vụ nhu cầu doanh nghiệp hoặc nhà phát triển độc lập; hỗ trợ triển khai nhanh qua Hugging Face, UnSloth, JAX.

• Trên benchmark IFEval, bản instruction-tuned đạt 51,2%, vượt các mô hình nhỏ như SmolLM2 135M Instruct, Qwen 2.5 0.5B Instruct, tiệm cận mô hình hàng tỷ tham số.

• Rival Liquid AI lưu ý Gemma chưa so sánh với LFM2-350M (65,12%) có kích thước tương tự.

• Tiết kiệm năng lượng: bản INT4 quantized chỉ tiêu tốn 0,75% pin Pixel 9 Pro sau 25 cuộc hội thoại.

• Phát hành cả bản pretrained và instruction-tuned, kèm QAT checkpoints để duy trì hiệu năng cao với INT4.

• Google định hướng dùng mô hình nhỏ chuyên biệt thay vì phụ thuộc vào mô hình lớn đa năng, tối ưu cho các tác vụ như sentiment analysis, entity extraction, query routing, text generation, compliance, creative writing.

• Demo Bedtime Story Generator minh họa khả năng sáng tạo và xử lý ngữ cảnh hoàn toàn offline qua trình duyệt.

• Giấy phép Gemma Terms of Use cho phép sử dụng, chỉnh sửa, phân phối với điều kiện tuân thủ chính sách cấm và ghi rõ thay đổi; không phải nguồn mở truyền thống nhưng hỗ trợ thương mại rộng rãi.

• Doanh nghiệp được toàn quyền sở hữu nội dung đầu ra, miễn tuân thủ luật pháp và điều khoản cấm.

• Hệ sinh thái Gemmaverse đã vượt 200 triệu lượt tải, với phiên bản tối ưu cho cloud, desktop và mobile.

📌 Gemma 3 270M của Google là mô hình AI 270 triệu tham số siêu nhỏ, đạt 51,2% trên IFEval, chạy mượt trên smartphone, trình duyệt và IoT với mức tiêu thụ pin 0,75% cho 25 phiên thoại. Nhờ khả năng fine-tune nhanh, triển khai offline và giấy phép thương mại linh hoạt, Gemma 3 270M mở ra cơ hội xây dựng ứng dụng AI chuyên biệt, tiết kiệm chi phí và bảo vệ quyền riêng tư.

https://venturebeat.com/ai/google-unveils-ultra-small-and-efficient-open-source-ai-model-gemma-3-270m-that-can-run-on-smartphones/