Google phát hành bộ dữ liệu FRAMES đánh giá toàn diện các ứng dụng AI tạo sinh có RAG

• Google và Đại học Harvard đã phát triển bộ dữ liệu FRAMES (Factuality, Retrieval, And reasoning MEasurement Set) gồm 824 câu hỏi đa bước thách thức để đánh giá các hệ thống tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG).

• FRAMES đánh giá 3 khả năng cốt lõi của hệ thống RAG: tính chính xác, khả năng truy xuất và suy luận. Các câu hỏi bao gồm nhiều chủ đề từ lịch sử, thể thao đến hiện tượng khoa học.

• Khoảng 36% câu hỏi yêu cầu suy luận qua nhiều ràng buộc, 20% đòi hỏi so sánh số học, và 16% cần phân biệt thời gian. Mỗi câu hỏi cần từ 2-15 bài viết Wikipedia để trả lời.

• Phương pháp truy xuất đơn bước truyền thống chỉ đạt độ chính xác 0,40, trong khi phương pháp truy xuất đa bước mới cải thiện đáng kể lên 0,66.

• Phương pháp mới tạo ra nhiều truy vấn tìm kiếm theo các bước lặp lại, mỗi truy vấn truy xuất các tài liệu xếp hạng cao nhất và thêm vào ngữ cảnh của mô hình.

• Mô hình tiên tiến nhất đạt độ chính xác 0,40 trong kịch bản đánh giá một bước, cải thiện lên 0,45 với hai tài liệu bổ sung và 0,47 với bốn tài liệu.

• Oracle Prompt, nơi tất cả tài liệu cần thiết có trong ngữ cảnh, cho độ chính xác 0,73, cho thấy tiềm năng của hệ thống truy xuất hoàn hảo.

• Nghiên cứu nhấn mạnh nhu cầu phát triển thêm các hệ thống RAG, đặc biệt là cải thiện cơ chế truy xuất và khả năng suy luận.

• Kết quả cung cấp nền tảng vững chắc cho công việc trong tương lai tập trung vào cải thiện tích hợp truy xuất đa tài liệu phức tạp và tinh chỉnh khung suy luận.

• Bộ dữ liệu FRAMES cung cấp bức tranh rõ ràng hơn về hiệu suất của hệ thống RAG trong các ứng dụng thực tế, mở đường cho các đổi mới trong tương lai.

📌 Google phát hành FRAMES - bộ dữ liệu 824 câu hỏi đa bước để đánh giá toàn diện hệ thống RAG. Phương pháp truy xuất đa bước mới cải thiện độ chính xác từ 0,40 lên 0,66. Tuy nhiên, vẫn còn thách thức trong suy luận số học và xử lý bảng biểu.

https://www.marktechpost.com/2024/10/01/google-releases-frames-a-comprehensive-evaluation-dataset-designed-to-test-retrieval-augmented-generation-rag-applications-on-factuality-retrieval-accuracy-and-reasoning/