Model routing - Giúp doanh nghiệp tối ưu hiệu quả AI bằng cách tự động chọn LLM phù hợp nhất cho từng tác vụ

• Model routing là công nghệ cho phép doanh nghiệp tự động chọn mô hình AI phù hợp nhất cho từng tác vụ, giúp tối ưu hiệu suất và chi phí.

• Công nghệ này cho phép lựa chọn mô hình AI động theo từng truy vấn, thay vì sử dụng một mô hình đa năng duy nhất.

• Startup Martian đã phát triển LLM router đang thu hút sự chú ý của các công ty công nghệ lớn. Accenture vừa công bố đầu tư vào Martian.

• Accenture sẽ tích hợp Martian vào dịch vụ switchboard của mình để hỗ trợ doanh nghiệp lựa chọn mô hình AI.

• Martian ra mắt từ tháng 11/2023 và đang phát triển công nghệ của mình. Công ty cũng vừa giới thiệu tính năng tuân thủ mô hình AI mới.

• Công nghệ của Martian cho phép chọn mô hình phù hợp nhất theo từng truy vấn, giúp giảm chi phí và tăng hiệu suất.

• Cốt lõi công nghệ của Martian tập trung vào dự đoán hành vi của mô hình, giúp chọn mô hình tối ưu về chi phí, chất lượng đầu ra và độ trễ.

• Martian sử dụng các kỹ thuật như nén mô hình, lượng tử hóa, chưng cất để dự đoán mà không cần chạy toàn bộ mô hình.

• Việc định nghĩa các tiêu chí thành công và tối ưu chi phí là rất quan trọng khi triển khai AI trong doanh nghiệp.

• Tính năng tuân thủ mới của Martian giúp doanh nghiệp kiểm tra và phê duyệt các mô hình AI để sử dụng.

• Model routing đặc biệt hữu ích cho AI tác nhân (agentic AI), giúp đảm bảo độ chính xác cao cho từng bước trong quy trình.

📌 Model routing đang trở thành công nghệ quan trọng giúp doanh nghiệp tối ưu hiệu quả AI. Startup Martian với LLM router đã thu hút đầu tư từ Accenture, cho phép chọn mô hình AI động theo từng truy vấn, giúp giảm chi phí và tăng hiệu suất đáng kể.

https://venturebeat.com/ai/why-accenture-and-martian-see-model-routing-as-key-to-enterprise-ai-success/