Apple Intelligence vượt trội hơn hầu hết các mô hình tương đương về chất lượng và tính an toàn

- Tại WWDC 2024, Apple đã giới thiệu Apple Intelligence - hệ thống trí tuệ cá nhân tích hợp sâu vào iOS 18, iPadOS 18 và macOS Sequoia. Hệ thống này bao gồm nhiều mô hình tạo sinh (generative models) chuyên biệt cho các tác vụ hàng ngày của người dùng.

- Hai mô hình nền tảng chính là mô hình ngôn ngữ khoảng 3 tỷ tham số trên thiết bị và mô hình ngôn ngữ lớn hơn trên máy chủ. Chúng được tối ưu để thực hiện các tác vụ chuyên biệt một cách hiệu quả, chính xác và có trách nhiệm.

- Apple phát triển AI dựa trên các nguyên tắc AI có trách nhiệm như trao quyền cho người dùng, đại diện đa dạng người dùng, thiết kế cẩn trọng, bảo vệ quyền riêng tư. Họ không sử dụng dữ liệu cá nhân riêng tư của người dùng khi huấn luyện mô hình.

- Các mô hình được tiền huấn luyện trên dữ liệu được cấp phép và dữ liệu công khai, áp dụng các bộ lọc để loại bỏ thông tin nhận dạng cá nhân và nội dung chất lượng thấp. Sau huấn luyện, chúng được tinh chỉnh bằng các thuật toán mới như rejection sampling và RLHF.

- Nhiều kỹ thuật tối ưu như quantization, latency analysis được áp dụng để cải thiện hiệu năng và hiệu quả năng lượng trên thiết bị. Thời gian suy luận token đầu tiên đạt 0.6ms và tốc độ sinh 30 token/giây trên iPhone 15 Pro.

- Adapters, các mô-đun mạng neural nhỏ, được sử dụng để tinh chỉnh mô hình cho các tác vụ cụ thể. Chúng có thể được tải động và hoán đổi, cho phép mô hình chuyên biệt hóa linh hoạt cho từng tác vụ.

- Các mô hình được đánh giá kỹ lưỡng bằng cách so sánh với các mô hình mã nguồn mở và thương mại có kích thước tương đương. Chúng vượt trội hơn hầu hết các mô hình về chất lượng theo đánh giá của con người.

- Các mô hình cũng được kiểm tra với các prompt thù địch đa dạng về nội dung có hại, chủ đề nhạy cảm và tính xác thực. Chúng đạt tỷ lệ vi phạm thấp hơn so với các mô hình khác. Khả năng viết tóm tắt và sáng tác của các mô hình cũng được đánh giá cao trên các bộ dữ liệu chuẩn nội bộ.

- Ngoài ra, Apple cũng giới thiệu một mô hình lập trình để tích hợp trí tuệ nhân tạo vào Xcode và một mô hình khuếch tán để hỗ trợ người dùng thể hiện bản thân một cách trực quan, ví dụ như trong ứng dụng Messages.

📌 Tại WWDC 2024, Apple đã giới thiệu các mô hình nền tảng trên thiết bị và máy chủ, tạo nên Apple Intelligence - hệ thống AI cá nhân mạnh mẽ tích hợp sâu vào iOS 18, iPadOS 18 và macOS Sequoia. Các mô hình này được phát triển có trách nhiệm theo các nguyên tắc cốt lõi của Apple, tối ưu cho hiệu năng và hiệu quả năng lượng, đồng thời vượt trội hơn hầu hết các mô hình tương đương về chất lượng và tính an toàn. Apple cũng giới thiệu thêm các mô hình lập trình và khuếch tán để mở rộng khả năng hỗ trợ người dùng và nhà phát triển.

https://machinelearning.apple.com/research/introducing-apple-foundation-models