Công ty Trung Quốc HongShan Capital ra mắt Xbench – bộ tiêu chuẩn đánh giá AI liên tục cập nhật

• Công ty đầu tư mạo hiểm HongShan Capital Group (HSG) Trung Quốc ra mắt Xbench – bộ benchmark AI liên tục cập nhật, ban đầu dùng để đánh giá các khoản đầu tư AI nội bộ, nay đã mở miễn phí một phần cho cộng đồng.

• Xbench đánh giá AI theo hai hướng:

  1. Kiểm tra học thuật như các benchmark truyền thống.

  2. Đánh giá khả năng thực hiện công việc thực tế, giúp xác định giá trị kinh tế mà AI có thể tạo ra.

• Về học thuật, Xbench gồm:

  • Xbench-ScienceQA: Kiểm tra kiến thức STEM (Sinh hóa, Cơ học quỹ đạo,...) cấp sau đại học. Đề bài do sinh viên cao học soạn và giáo sư thẩm định. Điểm đánh giá dựa cả vào câu trả lời đúng và chuỗi lập luận.

  • Xbench-DeepResearch: Kiểm tra khả năng nghiên cứu trên web tiếng Trung. 100 câu hỏi từ 10 chuyên gia trong các lĩnh vực như âm nhạc, lịch sử, tài chính, văn học. Ưu tiên câu trả lời có nguồn đa dạng, chính xác và khả năng thừa nhận khi thiếu dữ liệu.

• Ví dụ một câu hỏi trong DeepResearch: “Có bao nhiêu thành phố ở ba tỉnh Tây Bắc Trung Quốc giáp biên giới nước ngoài?” Đáp án đúng là 12, nhưng chỉ 33% mô hình trả lời chính xác.

• Ngoài học thuật, Xbench đánh giá năng lực thực tiễn qua các tác vụ như:

  • Tuyển dụng: Yêu cầu AI tìm 5 kỹ sư pin đủ tiêu chuẩn và giải thích lý do chọn.

  • Marketing: Ghép nối nhà quảng cáo với influencer phù hợp trong danh sách 800 người sáng tạo video ngắn.

• Các lĩnh vực sắp ra mắt gồm tài chính, pháp lý, kế toán và thiết kế, nhưng bộ câu hỏi chưa được mở công khai.

• Kết quả hiện tại:

  • Học thuật: ChatGPT-o3 dẫn đầu, theo sau là ByteDance’s Doubao, Gemini 2.5 Pro, Claude Sonnet và Grok.

  • Tuyển dụng: ChatGPT-o3 dẫn đầu, tiếp theo là Perplexity Search và Claude 3.5 Sonnet.

  • Marketing: Claude, Grok và Gemini đạt hiệu suất cao.

• Xbench cam kết cập nhật bộ câu hỏi mỗi quý, duy trì 50% công khai và 50% riêng tư.

• Nhóm phát triển dự định bổ sung thêm tiêu chí như khả năng sáng tạo, khả năng hợp tác với các mô hình khác và độ tin cậy.

• Zihan Zheng, trưởng nhóm nghiên cứu LiveCodeBench Pro tại NYU, nhận xét: “Xbench là một khởi đầu đầy hứa hẹn khi giải quyết được những tiêu chí khó định lượng trong đánh giá AI.”

📌 HongShan Capital tung Xbench – bộ benchmark AI đầu tiên cập nhật liên tục, đánh giá cả trí tuệ học thuật và giá trị thực tế. ChatGPT-o3 thống trị mọi bảng xếp hạng, trong khi Gemini, Claude, Doubao và Grok bám sát. Xbench mở miễn phí một phần, hứa hẹn thay đổi cách thế giới đo lường sức mạnh AI.

https://www.technologyreview.com/2025/06/23/1119190/chinese-changing-ai-benchmarks/

#MIT