K2: mô hình ngôn ngữ lớn mã nguồn mở vượt qua Llama 2 70B với ít tài nguyên hơn 35%

- K2-65B là mô hình ngôn ngữ lớn với 65 tỷ tham số, hoàn toàn có thể tái tạo và mã nguồn mở.
- Được phát triển bởi LLM360 với sự hợp tác của MBZUAI và Petuum.
- Mức độ minh bạch cao, với tất cả các thành phần như mã nguồn, dữ liệu, checkpoint mô hình và kết quả trung gian đều được công khai.
- Cung cấp cái nhìn rõ ràng về quy trình phát triển và các chỉ số hiệu suất.
- Có sẵn theo giấy phép Apache 2.0, thúc đẩy sử dụng rộng rãi và phát triển thêm bởi cộng đồng.
- LLM360 cung cấp bộ đánh giá mạnh mẽ cho K2, bao gồm các benchmark chung và chuyên biệt như y tế, toán học và lập trình.
- Được huấn luyện sử dụng các bộ dữ liệu đa dạng như dm-math, PubMed-abstracts, uspto, tổng cộng 1,3 nghìn tỷ token.
- Đạt được kết quả tương đương với mô hình Llama 2 70B.
- Các checkpoint trung gian của K2 được công khai, cho phép theo dõi sự phát triển và cải tiến theo thời gian.
- Cung cấp hướng dẫn để tái tạo quá trình tiền huấn luyện và tinh chỉnh.
- LLM360 là phòng thí nghiệm nghiên cứu mở, hướng tới phát triển trí tuệ nhân tạo tổng quát (AGI) thuộc sở hữu cộng đồng thông qua nghiên cứu và phát triển mô hình ngôn ngữ lớn mã nguồn mở.

📌 K2 đặt ra tiêu chuẩn mới cho sự phát triển mô hình ngôn ngữ lớn với tính minh bạch cao, hiệu suất vượt trội và khung phát triển mạnh mẽ. Với 65 tỷ tham số, K2 vượt qua Llama 2 70B trong khi chỉ sử dụng 65% tài nguyên tính toán. Thông qua hợp tác mã nguồn mở và đánh giá toàn diện, K2 đảm bảo các thực tiễn đạo đức và khả năng tiếp cận rộng rãi cho các đổi mới trong tương lai của AI.

https://www.marktechpost.com/2024/06/01/llm360-introduces-k2-a-fully-reproducible-open-sourced-large-language-model-efficiently-surpassing-llama-2-70b-with-35-less-computational-power/