NVIDIA NIM ra mắt trên Hugging Face với dịch vụ suy luận AI

• Hugging Face vừa công bố ra mắt dịch vụ suy luận AI được hỗ trợ bởi NVIDIA NIM, giúp các nhà phát triển dễ dàng tiếp cận khả năng suy luận AI được tăng tốc bởi NVIDIA.

• Dịch vụ mới cho phép triển khai nhanh chóng các mô hình ngôn ngữ lớn phổ biến như Llama 3 và Mistral AI, với tối ưu hóa từ vi dịch vụ NVIDIA NIM chạy trên nền tảng NVIDIA DGX Cloud.

• Nhà phát triển có thể nhanh chóng tạo nguyên mẫu với các mô hình AI nguồn mở trên Hugging Face Hub và triển khai chúng trong môi trường sản xuất.

• Dịch vụ suy luận AI trên NVIDIA DGX Cloud được hỗ trợ bởi vi dịch vụ NIM cung cấp quyền truy cập dễ dàng vào tài nguyên tính toán được tối ưu hóa cho triển khai AI.

• Nền tảng NVIDIA DGX Cloud được xây dựng chuyên biệt cho AI tạo sinh và cung cấp tài nguyên GPU có thể mở rộng, hỗ trợ mọi bước phát triển AI từ nguyên mẫu đến sản xuất.

• Để sử dụng dịch vụ, người dùng cần có quyền truy cập vào tổ chức Enterprise Hub và mã thông báo chi tiết để xác thực.

• Các điểm cuối NVIDIA NIM cho các mô hình AI tạo sinh được hỗ trợ có thể được tìm thấy trên trang mô hình của Hugging Face Hub.

• Hiện tại, dịch vụ chỉ hỗ trợ các API chat.completions.create và models.list, nhưng Hugging Face đang làm việc để mở rộng và bổ sung thêm nhiều mô hình.

• Việc sử dụng dịch vụ suy luận AI của Hugging Face trên DGX Cloud được tính phí dựa trên thời gian tính toán cho mỗi yêu cầu, sử dụng GPU NVIDIA H100 Tensor Core.

• Hugging Face cũng đang hợp tác với NVIDIA để tích hợp thư viện NVIDIA TensorRT-LLM vào framework Text Generation Inference (TGI) của Hugging Face nhằm cải thiện hiệu suất và khả năng tiếp cận suy luận AI.

• Ngoài dịch vụ suy luận AI mới, Hugging Face còn cung cấp Train on DGX Cloud, một dịch vụ đào tạo AI.

• Clem Delangue, CEO của Hugging Face, bày tỏ sự phấn khích về việc Hugging Face trở thành cổng kết nối cho tính toán AI.

• Rohan Paul, Kaggle Master, chia sẻ rằng có thể sử dụng các mô hình mở với nền tảng tính toán được tăng tốc của NVIDIA DGX Cloud cho việc phục vụ suy luận. Mã hoàn toàn tương thích với API OpenAI.

• Tại SIGGRAPH, NVIDIA cũng giới thiệu các mô hình AI tạo sinh và vi dịch vụ NIM cho framework OpenUSD để tăng tốc khả năng xây dựng thế giới ảo chính xác cao cho sự phát triển tiếp theo của AI.

📌 NVIDIA NIM trên Hugging Face mở ra kỷ nguyên mới cho triển khai AI, cho phép nhà phát triển dễ dàng tiếp cận mô hình ngôn ngữ lớn tối ưu trên NVIDIA DGX Cloud. Dịch vụ hỗ trợ các mô hình phổ biến như Llama 3 và Mistral AI, tính phí theo thời gian sử dụng GPU H100, đồng thời tích hợp với OpenAI API.

https://www.infoq.com/news/2024/08/nvidia-nim-huggingface/