MathVista: Đánh giá khả năng suy luận toán học trong bối cảnh trực quan bằng GPT-4v, BARD và các Mô hình đa phương thức lớn khác

• Các nhà nghiên cứu từ UCLA, Đại học Washington và Microsoft giới thiệu MATHVISTA, một bộ đánh giá khả năng suy luận toán học trong bối cảnh hình ảnh với các mô hình Multimodal lớn như GPT-4v, BARD và các mô hình khác.
• MATHVISTA bao gồm 6,141 ví dụ từ 28 bộ dữ liệu Multimodal về toán và 3 bộ dữ liệu mới phát triển (IQTest, FunctionQA, và PaperQA), yêu cầu hiểu biết hình ảnh tinh tế và suy luận phức tạp.
• Bộ benchmark này phân loại thành 7 loại suy luận toán học và tập trung vào 5 nhiệm vụ chính: trả lời câu hỏi hình ảnh (FQA), giải bài toán hình học (GPS), bài toán từ vựng toán học (MWP), trả lời câu hỏi sách giáo khoa (TQA), và trả lời câu hỏi hình ảnh (VQA).
• Các nhà nghiên cứu đã thử nghiệm 12 mô hình cơ bản hàng đầu, bao gồm 3 Large Language Models (LLMs) như ChatGPT, GPT-4, Claude-2, hai Large Multimodal Models (LMMs) độc quyền - GPT-4V, Bard, và 7 LMMs nguồn mở.
• Các mô hình được đánh giá trên MATHVISTA trong cài đặt zero-shot và few-shot với chiến lược gợi ý chain-of-thought (CoT) và program-of-thought (PoT).
• Kết quả cho thấy mô hình GPT-4 dạng CoT không có yếu tố hình ảnh đạt độ chính xác 29.2%, trong khi mô hình Multimodal Bard tốt nhất đạt 34.8%, tương đương 58% hiệu suất của con người (34.8% so với 60.3%). Khi cải tiến PoT GPT-4 với chú thích và văn bản OCR từ Bard, độ chính xác tăng lên 33.9%, gần bằng với Multimodal Bard.
• GPT-4V, phiên bản Multimodal mới nhất của GPT-4, đạt độ chính xác tiên tiến 49.9%, cải thiện 15.1% so với Multimodal Bard, trong đánh giá toàn diện đầu tiên sử dụng MATHVISTA.
• Công trình này cung cấp cái nhìn sâu sắc và đóng góp cho việc cải thiện khả năng suy luận toán học trong các hệ thống AI Multimodal.

📌 Công trình nghiên cứu giới thiệu MATHVISTA, một bộ benchmark đánh giá khả năng suy luận toán học trong các tình huống hình ảnh, đã hiển thị sự cần thiết của việc kết hợp khả năng nhận thức hình ảnh vào AI. GPT-4 không hỗ trợ hình ảnh chỉ đạt 29.2% độ chính xác, trong khi Bard đạt 34.8%. Phiên bản mới nhất, GPT-4V, đạt 49.9% độ chính xác trong khi hiệu suất của con người là 60.3%. Kết quả này cho thấy sự tiến bộ đáng kể trong việc phát triển các mô hình AI Multimodal, với Bard và GPT-4V dẫn đầu trong việc hiểu và giải quyết các vấn đề toán học phức tạp.