Nvidia ra mắt dịch vụ vi mô suy luận NIM, triển khai ứng dụng AI trong vài phút
- Nvidia giới thiệu dịch vụ vi mô suy luận NIM (Nvidia inference microservices) cho phép triển khai ứng dụng AI trong vài phút thay vì hàng tuần.
- 28 triệu nhà phát triển có thể tải về NIM để dễ dàng xây dựng ứng dụng AI tạo sinh như trợ lý ảo, chatbot.
- Gần 200 đối tác công nghệ như Cadence, Cloudera, NetApp đang tích hợp NIM vào nền tảng của họ để tăng tốc triển khai AI tạo sinh.
- Hơn 40 dịch vụ vi mô hỗ trợ các mô hình AI tạo sinh như Meta Llama 3, Google Gemma, Microsoft Phi-3.
- Các nhà cung cấp nền tảng như Canonical, Red Hat, VMware hỗ trợ NIM trên giải pháp nguồn mở KServe hoặc doanh nghiệp.
- Doanh nghiệp có thể chạy ứng dụng NIM hầu như ở mọi nơi, từ hệ thống được Nvidia chứng nhận đến các nền tảng đám mây hàng đầu.
- Foxconn đang sử dụng NIM trong phát triển mô hình ngôn ngữ lớn chuyên biệt nhúng vào nhiều hệ thống nội bộ cho sản xuất thông minh, đô thị thông minh.
- Nvidia mở rộng chương trình chứng nhận hệ thống với 2 loại mới: Nvidia-certified Spectrum-X Ready cho AI tại trung tâm dữ liệu và Nvidia-certified IGX cho AI tại biên.
📌 Nvidia đã giới thiệu dịch vụ vi mô suy luận NIM giúp rút ngắn thời gian triển khai ứng dụng AI xuống còn vài phút. NIM đã được tích hợp bởi gần 200 đối tác công nghệ, hỗ trợ hơn 40 mô hình AI tạo sinh như Meta Llama 3 và có thể chạy trên nhiều nền tảng từ hệ thống được Nvidia chứng nhận đến các đám mây hàng đầu. Bên cạnh đó, Nvidia cũng mở rộng chương trình chứng nhận hệ thống để đáp ứng nhu cầu triển khai AI ngày càng tăng.
https://venturebeat.com/ai/nvidia-unveils-inference-microservices-that-can-deploy-ai-applications-in-minutes/
Thảo luận
Follow Us
Tin phổ biến
