Đánh giá cơ hội của AI trên thiết bị cho doanh nghiệp và người tiêu dùng

- AI tạo sinh trên thiết bị sẽ thúc đẩy doanh nghiệp triển khai thiết bị thông minh và mô hình AI mới vào quy trình hiện có, giúp người dùng năng suất và hiệu quả hơn nhờ tiết kiệm chi phí và thời gian. Ví dụ, nhà sản xuất đã từ chối triển khai thực tế ảo tăng cường (AR) trên sàn nhà máy; tuy nhiên, xử lý AI tạo sinh cục bộ cho phép các ứng dụng có giá trị cao, mang lại ROI cụ thể.

- AI trên thiết bị là bước đầu tiên hướng tới hệ thống AI lai, giúp tối ưu sử dụng tài nguyên, hiệu năng ứng dụng và bảo mật dữ liệu, cho phép xử lý chung từ đám mây đến thiết bị. Để chuyển sang AI lai cần: hệ thống thông minh phân bổ khối lượng công việc AI trên nhiều tài nguyên đám mây và thiết bị, cũng như kiến trúc mô hình tích hợp và quy tắc phân bổ AI rõ ràng.

- Rào cản lớn nhất với thành công thương mại của AI tạo sinh trên thiết bị là sự non trẻ của phần mềm và ứng dụng chỉ tập trung vào trải nghiệm chứ không phải năng suất. Khuyến khích người dùng mua thiết bị mới vẫn là thách thức, chỉ đạt được bằng cách phát triển trường hợp kinh doanh mạnh mẽ dựa trên ROI với tiết kiệm thời gian hoặc tiền bạc. Đạt được điều này đòi hỏi thị trường phải vượt ra ngoài phần cứng trên thiết bị và phát triển ứng dụng AI năng suất đột phá được xây dựng trên mô hình nhỏ, được tối ưu.

- Các xu hướng tác động: sự sẵn có của NPU bổ sung cho GPU và CPU (ví dụ Snapdragon 8 Gen 3 của Qualcomm); nhà sản xuất chip, OEM và ISV liên kết (ví dụ Qualcomm hợp tác với Google, Meta, Microsoft); thị trường mã nguồn mở thu hút đầu tư; hỗ trợ mạnh mẽ cho các mô hình nén và tối ưu dưới 15 tỷ tham số (ví dụ Meta Llama 13B, 7B); nhà sản xuất chip xây dựng SDK (ví dụ Qualcomm AI Stack); nền tảng low-code/no-code giảm rào cản phát triển.

- Các trường hợp sử dụng AI trên thiết bị cho người tiêu dùng: trò chơi di động, sức khỏe và thể dục, dịch ngôn ngữ, trợ lý ảo. Đối với doanh nghiệp: sản xuất, y tế, hậu cần vận tải, viễn thông, hoạt động back-end và văn phòng, dịch vụ chuyên nghiệp.

- Thách thức của AI trên thiết bị: quản lý quy mô (theo dõi sự suy giảm mô hình, đào tạo lại, chất lượng dữ liệu trên nhiều thiết bị ngoại tuyến), chi phí phần cứng, tiêu thụ năng lượng, hệ sinh thái ứng dụng (hiện tại tập trung vào trải nghiệm chứ không phải năng suất), mô hình ML và dữ liệu.

- Đánh giá AI tạo sinh trên thiết bị theo loại: điện thoại/máy tính bảng (thị trường tăng trưởng chậm, cần ứng dụng năng suất mạnh để thúc đẩy nâng cấp), PC/laptop (cũng tương tự), ô tô (OEM đã triển khai, tập trung vào giải trí), thực tế ảo tăng cường (XR) (Meta hợp tác Qualcomm cho Quest 3), IoT và thiết bị đeo (khó khăn về tính toán và năng lượng).

- Đổi mới phần mềm hỗ trợ AI tạo sinh trên thiết bị: kỹ thuật tối ưu mô hình AI (nén, cắt tỉa, mô phỏng), mã nguồn mở, ngăn xếp phần mềm thống nhất (ví dụ Qualcomm AI Stack), SDK (ví dụ Qualcomm Neural Processing SDK).

- Các bên liên quan cần phối hợp: nhà cung cấp chip (xây dựng chip và SDK), OEM (tích hợp thành thiết bị), ISV (phát triển mô hình, ứng dụng và công cụ tối ưu cho chip).

- Tương lai là AI lai, phân bổ khối lượng công việc AI từ thiết bị đến đám mây. Các khối xây dựng: quy tắc xác định rõ ràng, khả năng kết nối đa đám mây, kiến trúc mô hình tích hợp, hệ sinh thái đa thiết bị.

- Doanh nghiệp cần xây dựng chiến lược AI hướng tới tương lai: đánh giá triển khai AI hiện tại (28 triển khai khác nhau được đánh giá), phát triển các trường hợp sử dụng, triển khai thử nghiệm và đo lường ROI, mở rộng quy mô với đường ống ML tập trung.

📌ABI Research đánh giá toàn diện cơ hội (tiết kiệm chi phí, năng suất), xu hướng (NPU, liên kết đối tác, mã nguồn mở, mô hình nhỏ), thách thức (quản lý quy mô, phần cứng, ứng dụng) của AI tạo sinh trên thiết bị cho người dùng và doanh nghiệp. Để thành công, cần sự phối hợp giữa phần cứng, phần mềm và ứng dụng tập trung vào năng suất. Tương lai là AI lai tối ưu, phân bổ khối lượng công việc AI trên thiết bị (28 triển khai được đánh giá) và đám mây. Doanh nghiệp cần chiến lược AI bền vững, đo lường ROI và mở rộng triển khai.

Citations:
[1]https://go.abiresearch.com/lp-assessing-the-on-device-artificial-intelligence-ai-opportunity-for-enterprises-and-consumers?utm_campaign=Whitepaper%3A%20Assessing%20The%20On-Device%20Artificial%20Intelligence%20Opportunity%20For%20Enterprises%20And%20Consumers