Khám phá sức mạnh AI trên thiết bị của Apple tại WWDC 2024

- Apple sử dụng mô hình 3 tỷ tham số, có thể là phiên bản chuyên biệt của OpenELM-3B, được tối ưu hóa cho các thiết bị hạn chế tài nguyên.
- Mô hình được huấn luyện trên 1.8 nghìn tỷ token dữ liệu mở, dữ liệu được cấp phép (thỏa thuận 25-50 triệu USD với Shutterstock cho hình ảnh và thỏa thuận 50 triệu USD với các tổ chức tin tức và xuất bản lớn) và dữ liệu công khai từ trình thu thập thông tin AppleBot.
- Mô hình được tinh chỉnh để tuân theo hướng dẫn thông qua kỹ thuật RLHF (reinforcement learning from human feedback) và thuật toán tinh chỉnh lấy mẫu từ chối với ủy ban giáo viên.
- Apple sử dụng nhiều kỹ thuật để cải thiện khả năng của mô hình trong khi vẫn giữ hiệu quả tài nguyên như grouped query attention (GQA), palletization/quantization, và tối ưu hóa đặc biệt phù hợp cho chip Apple như LLM in a flash.
- Các mô hình chỉ chạy trên MacBook với chip M1 trở lên và iPhone 15 Pro/Pro Max với chip A17 Pro.
- Kết quả báo cáo trên iPhone 15 Pro là độ trễ 0.6 mili giây cho mỗi token nhắc nhở và tốc độ tạo 30 token/giây.
- Apple tạo ra các phiên bản tinh chỉnh của mô hình nền tảng để lưu trữ trên thiết bị bằng cách sử dụng bộ chuyển đổi low-rank adaptation (LoRA), cho phép lưu trữ và sử dụng nhiều bộ chuyển đổi LoRA cho các tác vụ khác nhau.
- Đánh giá của con người cho thấy mô hình của Apple nói chung được ưa thích hơn các mô hình khác có kích thước tương đương và một số mô hình lớn hơn.

📌 Apple đã thể hiện khả năng đạt được sự cân bằng giữa độ chính xác và trải nghiệm người dùng tối ưu khi kết hợp các mô hình nhỏ với các kỹ thuật tối ưu hóa, dữ liệu và phần cứng phù hợp. Việc triển khai công nghệ này tới người dùng vào mùa thu sẽ cho thấy liệu bản demo có đạt được kỳ vọng hay không.

https://venturebeat.com/ai/what-we-know-about-apples-on-device-ai/