OpenGPT-X công bố Bảng xếp hạng LLM châu Âu, thúc đẩy phát triển và đánh giá LLM đa ngôn ngữ tiên tiến

• OpenGPT-X vừa công bố Bảng xếp hạng LLM châu Âu, đánh dấu một cột mốc quan trọng trong việc phát triển và đánh giá các mô hình ngôn ngữ đa ngôn ngữ.

• Dự án được hỗ trợ bởi TU Dresden và một liên minh gồm 10 đối tác từ nhiều lĩnh vực khác nhau, nhằm mục đích nâng cao khả năng xử lý đa ngôn ngữ của các mô hình ngôn ngữ.

• OpenGPT-X được khởi động vào năm 2022 dưới sự bảo trợ của BMWK, tập hợp các chuyên gia từ doanh nghiệp, khoa học và truyền thông để phát triển và đánh giá các LLM đa ngôn ngữ.

• Bảng xếp hạng so sánh nhiều mô hình ngôn ngữ tiên tiến, mỗi mô hình có khoảng 7 tỷ tham số, trên nhiều ngôn ngữ châu Âu khác nhau.

• Mục tiêu chính của dự án là mở rộng khả năng tiếp cận ngôn ngữ và đảm bảo lợi ích của AI không bị giới hạn ở các khu vực nói tiếng Anh.

• Nhóm nghiên cứu đã tiến hành đào tạo và đánh giá đa ngôn ngữ rộng rãi, kiểm tra các mô hình trên nhiều tác vụ như lập luận logic, hiểu biết thông thường, học đa nhiệm vụ, tính trung thực và dịch thuật.

• Các điểm chuẩn phổ biến như ARC, HellaSwag, TruthfulQA, GSM8K và MMLU đã được dịch máy sang 21 trong số 24 ngôn ngữ châu Âu được hỗ trợ bằng DeepL để đánh giá toàn diện và có thể so sánh được.

• Đánh giá các mô hình đa ngôn ngữ này được tự động hóa thông qua nền tảng AI Hugging Face Hub, với TU Dresden cung cấp cơ sở hạ tầng cần thiết để chạy các công việc đánh giá trên cụm HPC của họ.

• Các mô hình OpenGPT-X sẽ được công bố vào mùa hè này, giúp chúng có thể tiếp cận được để nghiên cứu và phát triển thêm.

• TU Dresden tham gia vào dự án OpenGPT-X với hai trung tâm năng lực: ScaDS.AI (Phân tích dữ liệu và trí tuệ nhân tạo có thể mở rộng) và ZIH (Dịch vụ thông tin và Điện toán hiệu năng cao).

• Nhiều điểm chuẩn đã được dịch và sử dụng trong dự án để đánh giá hiệu suất của các LLM đa ngôn ngữ, bao gồm ARC, GSM8K, HellaSwag, TruthfulQA, MMLU, FLORES-200 và Belebele.

📌 OpenGPT-X công bố Bảng xếp hạng LLM châu Âu, so sánh các mô hình 7 tỷ tham số trên nhiều ngôn ngữ. Dự án nhằm mở rộng khả năng tiếp cận ngôn ngữ, đánh giá toàn diện qua nhiều tác vụ, và sẽ công bố mô hình vào mùa hè để thúc đẩy nghiên cứu AI đa ngôn ngữ.

https://www.marktechpost.com/2024/07/14/opengpt-x-team-publishes-european-llm-leaderboard-promoting-the-way-for-advanced-multilingual-language-model-development-and-evaluation/