nvidia tung ra nim, giải pháp đột phá giúp doanh nghiệp trở thành công ty ai chỉ trong vài phút
- Nvidia giới thiệu NIM, nền tảng phần mềm mới giúp đơn giản hóa triển khai mô hình AI vào sản xuất
- NIM kết hợp mô hình với công cụ suy luận tối ưu, đóng gói thành container, cung cấp dưới dạng microservice
- Quy trình này thường mất hàng tuần đến hàng tháng, NIM rút ngắn xuống còn vài phút
- NIM hỗ trợ các mô hình từ Nvidia, A121, Adept, Cohere, Getty Images, Shutterstock và các mô hình mở từ Google, Hugging Face, Meta, Microsoft, Mistral AI, Stability AI
- Nvidia hợp tác với Amazon, Google, Microsoft để tích hợp microservice NIM vào SageMaker, Kubernetes Engine, Azure AI
- NIM cũng tích hợp với các framework như Deepset, LangChain, LlamaIndex
- Nvidia sử dụng Triton Inference Server, TensorRT, TensorRT-LLM làm công cụ suy luận
- Các microservice của Nvidia trên NIM gồm Riva (tùy chỉnh mô hình giọng nói, dịch thuật), cuOpt (tối ưu định tuyến), Earth-2 (mô phỏng thời tiết, khí hậu)
- Nvidia sẽ bổ sung thêm tính năng như RAG LLM giúp xây dựng chatbot AI tạo sinh dễ dàng hơn
- Các khách hàng, đối tác đang sử dụng NIM: Box, Cloudera, Cohesity, Datastax, Dropbox, NetApp
📌 Nvidia ra mắt NIM, giải pháp giúp doanh nghiệp triển khai AI nhanh chóng bằng cách đóng gói mô hình và công cụ suy luận tối ưu thành container, rút ngắn thời gian từ hàng tuần xuống vài phút. NIM hỗ trợ nhiều mô hình, tích hợp với các nền tảng điện toán đám mây lớn và framework phổ biến, hứa hẹn biến mọi doanh nghiệp trở thành công ty AI.
https://techcrunch.com/2024/03/18/nvidia-launches-a-set-of-microservices-for-optimized-inferencing/
Thảo luận
Follow Us
Tin phổ biến
