Nvidia CEO Jensen Huang tin rằng trong tương lai, phần mềm sẽ chỉ là một tập hợp các chatbot được kết nối với nhau để hoàn thành nhiệm vụ, thay vì viết code

- Nvidia CEO Jensen Huang tin rằng trong tương lai, phần mềm doanh nghiệp sẽ chỉ là một tập hợp các chatbot được kết nối với nhau để hoàn thành nhiệm vụ, thay vì viết code từ đầu.
- Một đội AI này có thể bao gồm một mô hình được thiết kế để phân tích và ủy quyền yêu cầu cho các mô hình khác, một số mô hình có thể được đào tạo để hiểu các dịch vụ kinh doanh như SAP hoặc Service Now, trong khi những mô hình khác có thể thực hiện phân tích số trên dữ liệu được lưu trữ trong cơ sở dữ liệu vector.
- Nvidia đã tạo ra một runtime container cho AI có tên là Nvidia Inference Microservices (NIM), cho phép đóng gói cả mô hình và tất cả các phụ thuộc cần thiết để chạy nó vào các image container. Các mô hình được đóng gói này có thể được triển khai trên bất kỳ số lượng runtime nào, bao gồm cả các node Kubernetes được tăng tốc bởi Nvidia.
- Để sử dụng NIM, bạn cần đăng ký gói Nvidia AI Enterprise với giá 4.500 USD/năm cho mỗi GPU hoặc 1 USD/giờ cho mỗi GPU trên cloud. 
- Nvidia cũng đang làm việc để cho phép giao tiếp nhất quán giữa các container, để chúng có thể trò chuyện với nhau thông qua các lệnh gọi API.
- Nvidia đã phát triển các công cụ để tinh chỉnh NIM với dữ liệu và quy trình của khách hàng thông qua dịch vụ NeMo Microservices. Họ cũng giới thiệu dịch vụ NeMo Retriever dựa trên khái niệm sử dụng tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) để lấy thông tin mà mô hình chưa được đào tạo cụ thể.
- Các mô hình NIM và NeMo Retriever để tích hợp RAG hiện đã có sẵn, trong khi NeMo Microservices đang trong giai đoạn truy cập sớm.

📌 Nvidia CEO Jensen Huang tin rằng trong tương lai, phần mềm doanh nghiệp sẽ chỉ là một tập hợp các chatbot được kết nối với nhau để hoàn thành nhiệm vụ, thay vì viết code bằng cách kết nối các chatbot thông qua runtime container NIM, cho phép triển khai dễ dàng trên mọi nền tảng với giá 4.500 USD/năm/GPU. 

https://www.theregister.com/2024/03/19/nvidia_why_write_code_when/