MiniMax ra mắt LLM nguồn mở với ngữ cảnh 4 triệu token

- MiniMax đã công bố dòng mô hình MiniMax-01, một gia đình mô hình mới cho phép xử lý ngữ cảnh lên tới 4 triệu token.
- Mô hình MiniMax-Text-01 là một LLM nền tảng, trong khi MiniMax-VL-01 là mô hình đa phương tiện trực quan.
- Ngữ cảnh 4 triệu token tương đương với lượng thông tin của một thư viện nhỏ, giúp mô hình xử lý nhiều dữ liệu hơn so với các mô hình đối thủ.
- Google trước đây dẫn đầu với mô hình Gemini 1.5 Pro có ngữ cảnh 2 triệu token, nhưng giờ đây MiniMax đã tăng gấp đôi khả năng này.
- MiniMax tin rằng khả năng quản lý ngữ cảnh mở rộng sẽ hỗ trợ sự bùng nổ ứng dụng liên quan đến AI agent trong năm tới.
- Các mô hình đã có sẵn để tải xuống trên Hugging Face và Github với giấy phép MiniMax tùy chỉnh.
- MiniMax cung cấp API với mức giá cạnh tranh: 0.2 USD cho 1 triệu token đầu vào và 1.1 USD cho 1 triệu token đầu ra.
- Mô hình MiniMax-01 sử dụng cơ chế Lightning Attention, một giải pháp thay thế cho kiến trúc transformer, làm giảm độ phức tạp tính toán.
- Các mô hình bao gồm 456 tỷ tham số, trong đó 45.9 tỷ được kích hoạt mỗi lần suy diễn.
- Lightning Attention kết hợp các lớp SoftMax truyền thống và tuyến tính, đạt được độ phức tạp gần như tuyến tính cho các đầu vào dài.
- MiniMax đã cải tiến quy trình đào tạo và suy diễn để hỗ trợ kiến trúc Lightning Attention với các tối ưu hóa mới.
- Các mô hình MiniMax-01 có khả năng cạnh tranh với các mô hình hàng đầu như GPT-4 và Claude-3.5, đặc biệt là trong các bài kiểm tra ngữ cảnh dài.
- MiniMax-Text-01 đã đạt độ chính xác 100% trong bài kiểm tra Needle-In-A-Haystack với ngữ cảnh 4 triệu token.
- MiniMax dự định cập nhật thường xuyên để mở rộng khả năng của các mô hình, bao gồm các cải tiến về mã và đa phương tiện.
- Công ty xem việc nguồn mở là bước tiến để xây dựng năng lực AI cơ bản cho lĩnh vực AI agent đang phát triển.
- MiniMax mời gọi các nhà phát triển và nhà nghiên cứu tham gia khám phá khả năng của MiniMax-01 và mở rộng hợp tác.

📌 MiniMax đã ra mắt mô hình LLM nguồn mở MiniMax-01 với ngữ cảnh 4 triệu token, vượt trội so với đối thủ. Mô hình hứa hẹn biến 2025 thành năm cách mạng cho AI agent với các tính năng cạnh tranh và giá cả hợp lý.

https://venturebeat.com/ai/minimax-unveils-its-own-open-source-llm-with-industry-leading-4m-token-context/