Top 12 bảng xếp hạng LLM đánh giá các mô hình AI hàng đầu

• Open LLM Leaderboard: Sử dụng Eleuther AI-Language Model Evaluation Harness để đánh giá mô hình trên 6 tác vụ, kiểm tra kỹ năng lập luận và kiến thức tổng quát.

• MTEB Leaderboard: Đánh giá embedding văn bản trên 8 tác vụ, 58 bộ dữ liệu và 112 ngôn ngữ. Cho thấy chưa có phương pháp embedding văn bản nào vượt trội trên mọi tác vụ.

• Big Code Models Leaderboard: So sánh các mô hình tạo mã đa ngôn ngữ trên HumanEval và MultiPL-E, đo lường độ chính xác, thông lượng và sử dụng bộ nhớ.

• SEAL Leaderboards: Sử dụng xếp hạng theo thang điểm Elo để so sánh hiệu suất mô hình trên nhiều bộ dữ liệu và ngôn ngữ dựa trên đánh giá của con người.

• Berkeley Function-Calling Leaderboard: Đánh giá khả năng gọi hàm và công cụ của LLM trên 2.000 cặp câu hỏi-hàm-câu trả lời đa dạng.

• Occiglot Euro LLM Leaderboard: Đánh giá mô hình trên 5 bài kiểm tra dịch, kiểm tra hiệu suất trên nhiều tác vụ và ngôn ngữ.

• LMSYS Chatbot Arena Leaderboard: Nền tảng mở xếp hạng LLM dựa trên hơn 1 triệu so sánh theo cặp của con người, sử dụng mô hình Bradley-Terry.

• Artificial Analysis LLM Performance Leaderboard: Đánh giá chất lượng và hiệu suất LLM trên các điểm cuối API serverless từ góc độ khách hàng.

• Open Medical LLM Leaderboard: Theo dõi, xếp hạng và đánh giá LLM về tác vụ trả lời câu hỏi y tế trên các bộ dữ liệu y tế đa dạng.

• Hughes Hallucination Evaluation Model Leaderboard: Đánh giá tần suất ảo giác trong tóm tắt tài liệu do LLM tạo ra bằng cách gán điểm ảo giác từ 0 đến 1.

• OpenVLM Leaderboard: Trình bày kết quả đánh giá của 63 mô hình Vision-Language trên 23 bài kiểm tra đa phương thức.

• 🤗 LLM-Perf Leaderboard: Đánh giá LLM về độ trễ, thông lượng, bộ nhớ và tiêu thụ năng lượng trên nhiều phần cứng, backend và tối ưu hóa.

📌 12 bảng xếp hạng LLM hàng đầu cung cấp đánh giá toàn diện về hiệu suất của các mô hình AI tiên tiến nhất trên nhiều tác vụ, ngôn ngữ và phần cứng. Các bảng xếp hạng này giúp theo dõi tiến bộ trong lĩnh vực, xác định các mô hình vượt trội và hướng dẫn cải tiến trong tương lai. Tính đến ngày 27/5/2024, các mô hình dẫn đầu bao gồm GPT-4, OpenFunctions-v2, Mistral-medium, Med-PaLM-2, Gemini và QwenVLPlus.

https://www.marktechpost.com/2024/06/02/top-12-trending-llm-leaderboards-a-guide-to-leading-ai-models-evaluation/