Apple, Microsoft thu nhỏ mô hình AI để cải thiện hiệu suất

- Trong tháng 6, Apple giới thiệu các mô hình "Apple Intelligence" với khoảng 3 tỷ tham số. Vào cuối tháng 4, Microsoft ra mắt dòng SLM Phi-3, với các mô hình có từ 3.8 tỷ đến 14 tỷ tham số.
- Trong một loạt bài kiểm tra, mô hình nhỏ nhất của Microsoft, Phi-3-mini, sánh ngang với GPT-3.5 của OpenAI (175 tỷ tham số) và vượt trội hơn Gemma của Google (7 tỷ tham số). Phi-3-small của Microsoft, với 7 tỷ tham số, còn vượt xa GPT-3.5 trong nhiều bài kiểm tra.
- Việc mở rộng số lượng tham số không phải là cách duy nhất để cải thiện hiệu suất mô hình. Huấn luyện trên dữ liệu chất lượng cao hơn cũng mang lại kết quả tương tự. Các mô hình Phi của Microsoft được huấn luyện trên dữ liệu "chất lượng sách giáo khoa".
- SLM tiêu tốn ít năng lượng hơn nhiều so với LLM, có thể chạy cục bộ trên các thiết bị như điện thoại thông minh và laptop để bảo vệ quyền riêng tư dữ liệu và cá nhân hóa cho từng người dùng.
- SLM có thể dân chủ hóa việc tiếp cận với các mô hình ngôn ngữ, vốn tập trung vào tay một vài công ty lớn. SLM dễ dàng huấn luyện trên phần cứng giá rẻ hơn, phù hợp với các phòng thí nghiệm và tổ chức nhỏ hơn.
- SLM được tối ưu hóa cẩn thận giúp các nhà nghiên cứu tiến gần hơn đến việc xây dựng AI có trách nhiệm và có thể giải thích được.
- SLM cũng có thể cung cấp những hiểu biết mới về cách trẻ em học ngôn ngữ đầu tiên. Thử thách BabyLM tối ưu hóa việc huấn luyện mô hình ngôn ngữ trên dữ liệu nhỏ.

📌 Sự xuất hiện của các mô hình ngôn ngữ nhỏ (SLM) đánh dấu một bước ngoặt trong phát triển AI, khi các công ty công nghệ lớn như Apple và Microsoft tìm cách cải thiện hiệu suất mô hình thông qua việc sử dụng dữ liệu huấn luyện chất lượng cao hơn thay vì chỉ mở rộng quy mô. Với khả năng hoạt động trên các thiết bị cá nhân, SLM hứa hẹn sẽ dân chủ hóa việc tiếp cận AI, đồng thời mở ra cơ hội nghiên cứu mới về cách con người học ngôn ngữ.

https://spectrum.ieee.org/small-language-models-apple-microsoft