Hugging Face ra mắt bảng xếp hạng mô hình ngôn ngữ mở, với các mô hình Trung Quốc dẫn đầu

• Hugging Face vừa ra mắt bảng xếp hạng mô hình ngôn ngữ mở (Open LLM Leaderboard), đánh giá hiệu suất của các mô hình ngôn ngữ lớn mã nguồn mở.

• Bảng xếp hạng này đánh giá các mô hình dựa trên nhiều tiêu chí như: ARC (câu hỏi đa lựa chọn), HellaSwag (suy luận thông thường), MMLU (kiến thức đa lĩnh vực), TruthfulQA (khả năng trả lời trung thực) và Winogrande (suy luận).

• Các mô hình Trung Quốc đang thống trị bảng xếp hạng, với ChatGLM2-6B của Tsinghua University đứng đầu, đạt điểm trung bình 55,3 trên tất cả các tiêu chí.

• Baichuan-13B-Base của Baichuan Intelligence đứng thứ hai với điểm trung bình 54,8, theo sau là BLOOM-7B1-mt của BigScience với 53,6 điểm.

• Mô hình ChatGLM2-6B đạt điểm cao nhất trong các bài kiểm tra ARC (62,6) và HellaSwag (78,5), trong khi Baichuan-13B-Base dẫn đầu về MMLU (54,8) và TruthfulQA (44,6).

• BLOOM-7B1-mt, một mô hình đa ngôn ngữ, đạt điểm cao nhất trong bài kiểm tra Winogrande (73,9).

• Bảng xếp hạng cũng bao gồm các mô hình nổi tiếng khác như Falcon, Pythia, OPT và FLAN-T5.

• Hugging Face khuyến khích cộng đồng đóng góp bằng cách thêm các mô hình mới vào bảng xếp hạng thông qua pull requests trên GitHub.

• Bảng xếp hạng này cung cấp cái nhìn tổng quan về hiệu suất của các mô hình ngôn ngữ mã nguồn mở, giúp các nhà nghiên cứu và nhà phát triển so sánh và lựa chọn mô hình phù hợp cho ứng dụng của họ.

• Sự thống trị của các mô hình Trung Quốc trong bảng xếp hạng cho thấy sự phát triển nhanh chóng của ngành AI tại quốc gia này.

• Bảng xếp hạng cũng nhấn mạnh tầm quan trọng của việc phát triển các mô hình ngôn ngữ mã nguồn mở, tạo cơ hội cho cộng đồng nghiên cứu AI tiếp cận và cải tiến các mô hình này.

• Hugging Face, nền tảng phổ biến cho việc chia sẻ và triển khai các mô hình máy học, đang đóng vai trò quan trọng trong việc thúc đẩy sự phát triển và đánh giá các mô hình ngôn ngữ mã nguồn mở.

📌 Hugging Face ra mắt bảng xếp hạng mô hình ngôn ngữ mở, với các mô hình Trung Quốc dẫn đầu. ChatGLM2-6B đứng đầu với 55,3 điểm trung bình, tiếp theo là Baichuan-13B-Base và BLOOM-7B1-mt. Bảng xếp hạng đánh giá mô hình dựa trên nhiều tiêu chí, thúc đẩy sự phát triển của AI nguồn mở.

https://analyticsindiamag.com/hugging-face-launches-open-llm-leaderboard-chinese-models-dominate/