Intel: CPU vẫn đủ khả năng xử lý nhiều mô hình AI có số lượng tham số dưới 30 tỷ
- Christoph Schell, giám đốc thương mại Intel, cho rằng CPU vẫn có thể xử lý tốt các mô hình AI có số lượng tham số dưới 30 tỷ.
- Sử dụng CPU cho AI giúp tiết kiệm đáng kể chi phí và năng lượng so với GPU hay chip AI chuyên dụng như Nvidia H100 (giá lên tới 40.000 USD).
- Intel đã huấn luyện mô hình AI cho BCG trên CPU vì dữ liệu 50 năm của BCG chỉ tương đương dưới 20 tỷ tham số.
- Đối tác tích hợp hệ thống của Intel tại Ấn Độ cho biết ngưỡng tham số phù hợp cho các mô hình AI ở nước này là từ 7-14 tỷ. Một mô hình ngôn ngữ lớn cho tiếng Hindi có thể cần hơn 30 tỷ tham số.
- Nhiều dữ liệu được lưu trữ tại trung tâm dữ liệu doanh nghiệp và máy tính cá nhân. Việc huấn luyện và suy luận AI trên những dữ liệu này hoàn toàn có thể thực hiện trên CPU.
- Ví dụ như tóm tắt cuộc gọi hội nghị ngay khi kết thúc trên Zoom có thể được xử lý bởi AI chạy trên CPU.
📌 CPU vẫn đóng vai trò quan trọng trong nhiều ứng dụng AI có số lượng tham số dưới 30 tỷ, giúp tiết kiệm chi phí và năng lượng đáng kể so với GPU hay chip AI chuyên dụng. Nhiều dữ liệu doanh nghiệp và cá nhân có thể được xử lý bởi mô hình AI chạy trên CPU.
Citations:
[1] https://timesofindia.indiatimes.com/technology/tech-news/why-cpus-are-sufficient-for-many-ai-models/articleshow/109201642.cms
Thảo luận
Follow Us
Tin phổ biến
