Mô hình AI 33 triệu tham số đánh bại gã khổng lồ: Answerai-colbert-small-v1 gây chấn động giới công nghệ

• AnswerAI đã công bố mô hình answerai-colbert-small-v1, một bước đột phá trong lĩnh vực truy xuất đa vector. Mô hình này chỉ có 33 triệu tham số nhưng đã vượt qua hiệu suất của tất cả các mô hình cùng kích thước trước đó trên các bộ benchmark phổ biến.

• Đáng ngạc nhiên hơn, answerai-colbert-small-v1 còn vượt trội so với các mô hình lớn hơn và được sử dụng rộng rãi như e5-large-v2 và bge-base-en-v1.5. Điều này cho thấy tiềm năng to lớn của phương pháp tiếp cận của AnswerAI trong việc mở rộng giới hạn của các mô hình AI nhỏ gọn và hiệu quả hơn.

• Mô hình này được phát triển dựa trên kiến trúc ColBERT, sử dụng phương pháp truy xuất đa vector. Thay vì tạo ra một vector duy nhất cho mỗi tài liệu, ColBERT tạo ra nhiều vector nhỏ hơn, mỗi vector đại diện cho một token. Kỹ thuật này giải quyết vấn đề mất thông tin thường gặp trong các biểu diễn vector đơn, đặc biệt là trong các tác vụ tổng quát hóa ngoài miền.

• answerai-colbert-small-v1 sử dụng cơ chế chấm điểm MaxSim độc đáo, tính toán độ tương đồng giữa các token của truy vấn và tài liệu, sau đó tổng hợp các độ tương đồng cao nhất cho mỗi token truy vấn. Phương pháp này cải thiện đáng kể khả năng tổng quát hóa ngoài miền.

• Mô hình được phát triển sử dụng công thức huấn luyện JaColBERTv2.5 sáng tạo cùng với các tối ưu hóa bổ sung. JaColBERTv2, được xây dựng dựa trên công thức ColBERTv2, hiện là bộ truy xuất ngoài miền mạnh nhất trên tất cả các bộ benchmark tiếng Nhật hiện có.

• answerai-colbert-small-v1 được thiết kế đặc biệt với khả năng tương thích trong tương lai, đặc biệt là cho bản nâng cấp sắp tới của RAGatouille. Cách tiếp cận hướng tới tương lai này đảm bảo rằng mô hình sẽ vẫn phù hợp và hữu ích khi các công nghệ mới xuất hiện.

• Mô hình vẫn duy trì khả năng tương thích rộng rãi với các triển khai ColBERT gần đây, mang lại cho người dùng sự linh hoạt trong việc lựa chọn công cụ và framework.

• Người dùng có thể sử dụng mô hình này thông qua hai tùy chọn chính: thư viện Stanford ColBERT hoặc RAGatouille. Quá trình cài đặt cho cả hai thư viện này đều đơn giản, chỉ cần thực hiện một lệnh đơn giản để bắt đầu.

• Kết quả của mô hình answerai-colbert-small-v1 cho thấy hiệu suất vượt trội khi so sánh với các mô hình vector đơn. Điều này minh chứng cho tiềm năng của phương pháp truy xuất đa vector khi kết hợp với các kỹ thuật huấn luyện tiên tiến.

📌 AnswerAI đã tạo ra một bước đột phá với mô hình answerai-colbert-small-v1 chỉ 33 triệu tham số nhưng vượt trội so với các mô hình lớn hơn. Sử dụng kiến trúc ColBERT và công thức huấn luyện JaColBERTv2.5, mô hình này xuất sắc trong tổng quát hóa ngoài miền và tương thích với các triển khai ColBERT gần đây, mở ra tiềm năng mới cho AI hiệu quả và nhỏ gọn.

https://www.marktechpost.com/2024/08/16/answer-ai-releases-answerai-colbert-small-a-proof-of-concept-for-smaller-faster-modern-colbert-models/