Cohere ra mắt Aya 23: mô hình ngôn ngữ lớn mã nguồn mở hiểu 23 ngôn ngữ
- Cohere giới thiệu Aya 23, một dòng mô hình ngôn ngữ lớn (LLM) mã nguồn mở mới có khả năng hiểu 23 ngôn ngữ.
- Aya 23 bao gồm hai thuật toán: một với 8 tỷ tham số để cân bằng giữa chất lượng phản hồi và hiệu suất, và một phiên bản lớn hơn với 35 tỷ tham số dành cho các yêu cầu nâng cao.
- Phiên bản Aya-23-35B dựa trên LLM Command R, hỗ trợ prompt lên đến 128.000 token, có tính năng RAG tích hợp và có thể tự động thực hiện các tác vụ trong các ứng dụng bên ngoài.
- Aya-23-35B dựa trên kiến trúc Transformer chỉ giải mã (decoder-only), xác định ý nghĩa của từng từ bằng cách phân tích ngữ cảnh của nó.
- Aya 23 cải tiến kiến trúc Transformer chỉ giải mã bằng cách sử dụng grouped query attention để giảm sử dụng RAM và tăng tốc độ suy luận, cũng như sử dụng rotational positional embeddings để xử lý thông tin vị trí từ hiệu quả hơn.
- Aya 23 được huấn luyện trên tập dữ liệu đa ngôn ngữ Aya, bao gồm 513 triệu cặp prompt-câu trả lời trong 114 ngôn ngữ, được phát triển thông qua một sáng kiến mã nguồn mở với sự đóng góp của khoảng 3.000 người.
- Trong các đánh giá nội bộ, Aya-23-35B vượt trội hơn đáng kể so với Aya-101 (một LLM hiểu 101 ngôn ngữ) và một số LLM mã nguồn mở khác trong các tác vụ xử lý văn bản đa ngôn ngữ.
📌 Aya 23, dòng LLM mã nguồn mở mới của Cohere, đánh dấu một bước tiến quan trọng trong xử lý ngôn ngữ tự nhiên đa ngôn ngữ. Với khả năng hiểu 23 ngôn ngữ, cải tiến kiến trúc Transformer và huấn luyện trên tập dữ liệu Aya 513 triệu cặp prompt-câu trả lời, Aya 23 hứa hẹn mang lại hiệu suất vượt trội trong các tác vụ xử lý văn bản đa ngôn ngữ.
https://siliconangle.com/2024/05/23/cohere-open-sources-aya-23-series-multilingual-llms/
Thảo luận
Follow Us
Tin phổ biến
