AI21 Labs đề xuất hướng phát triển AI mới, vượt ra ngoài mô hình ngôn ngữ lớn truyền thống

• Yoav Shoham, đồng sáng lập AI21 Labs, cho rằng cần phải suy nghĩ vượt ra ngoài khuôn khổ của các mô hình ngôn ngữ lớn (LLM) để đạt được tiến bộ thực sự trong AI.

• AI21 Labs đã phát triển mô hình Jamba, kết hợp transformer với mạng nơ-ron state space model (SSM), cho phép cửa sổ ngữ cảnh lên tới 256.000 token.

• Trong các bài kiểm tra đối đầu, Jamba là mô hình duy nhất ngoài Gemini của Google có thể duy trì cửa sổ ngữ cảnh 256K "trong thực tế".

• Jamba tiết kiệm chi phí hơn Gemini khoảng 10 lần cho cùng một cửa sổ ngữ cảnh 128K.

• Cửa sổ ngữ cảnh lớn mang lại lợi ích khi sử dụng phương pháp tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG), cho phép LLM truy xuất và xử lý nhiều thông tin hơn.

• AI21 Labs đang làm việc với một số khách hàng để cải thiện giải pháp RAG, nhưng chưa có kết quả công khai.

• Shoham cho rằng ngay cả RAG cải tiến cũng không phải là giải pháp cuối cùng cho các hạn chế của AI tạo sinh như ảo giác hay nguy cơ tạo ra nội dung vô nghĩa.

• Trong một bài báo gần đây, Shoham chỉ ra rằng LLM thường đưa ra những lời giải thích nghe có vẻ thuyết phục nhưng thực tế không có giá trị.

• AI21 Labs ủng hộ việc sử dụng các công cụ bổ sung như lệnh gọi hàm để giao nhiệm vụ cho phần mềm chuyên biệt.

• Shoham đề xuất hướng tiếp cận "AI tổng hợp", kết hợp các yếu tố khác nhau ngoài học sâu thuần túy.

• Hệ thống MRKL (Modular Reasoning, Knowledge, and Language) được AI21 Labs giới thiệu năm 2022 là một ví dụ về cách tiếp cận kết hợp giữa mạng nơ-ron và xử lý ký hiệu.

• Shoham tin rằng mặc dù có một số hype quá mức, nhưng AI đã tạo ra đủ giá trị để vượt qua giai đoạn khó khăn hiện tại.

📌 AI21 Labs đề xuất hướng đi mới cho AI, vượt ra ngoài mô hình ngôn ngữ lớn truyền thống. Mô hình Jamba kết hợp transformer và state space model, cho phép cửa sổ ngữ cảnh lên tới 256.000 token, tiết kiệm chi phí hơn 10 lần so với Gemini của Google. Shoham nhấn mạnh cần phát triển các hệ thống AI tổng hợp, kết hợp nhiều phương pháp khác nhau để đạt được tiến bộ thực sự.

https://www.zdnet.com/article/ai-scientist-we-need-to-think-outside-the-large-language-model-box/