DeepMind ra mắt GenRM - phương pháp  cải thiện độ chính xác của LLM bằng cách tự xác minh kết quả

• DeepMind, Google, Đại học Toronto, Mila và UCLA đã giới thiệu GenRM - phương pháp mới giúp cải thiện độ chính xác của mô hình ngôn ngữ lớn (LLM) bằng cách tận dụng khả năng tạo sinh để xác minh kết quả.

• GenRM khắc phục hạn chế của các phương pháp xác minh truyền thống như mô hình phân biệt và LLM-as-a-Judge bằng cách huấn luyện bộ xác minh sử dụng dự đoán token tiếp theo.

• Bộ xác minh GenRM có thể tạo ra các bước suy luận trung gian (chain-of-thought) trước khi đưa ra quyết định về tính đúng đắn của giải pháp, giúp phát hiện các lỗi suy luận tinh vi.

• GenRM sử dụng kỹ thuật bỏ phiếu đa số bằng cách lấy mẫu nhiều chuỗi chain-of-thought và tính điểm trung bình, tận dụng hiệu quả tính toán thời gian thử nghiệm.

• Trong các thử nghiệm trên nhiều tác vụ suy luận, GenRM với chain-of-thought vượt trội hơn các phương pháp khác về độ chính xác.

• Trên bộ dữ liệu GSM8K về suy luận toán học, mô hình Gemma-9B được huấn luyện với GenRM đạt độ chính xác 92,8%, vượt qua cả GPT-4 và Gemini 1.5 Pro.

• GenRM có khả năng mở rộng tốt khi tăng kích thước tập dữ liệu và dung lượng mô hình. Nó cũng tiếp tục cải thiện khi được phép lấy mẫu nhiều phản hồi hơn.

• So với các bộ xác minh cổ điển, GenRM có thể vượt trội hơn khi sử dụng cùng dữ liệu bằng cách huấn luyện đồng thời về tạo sinh và xác minh.

• Các hướng phát triển tiềm năng của GenRM bao gồm mở rộng quy mô các lý do xác minh tổng hợp cho các tác vụ tạo sinh mở, tích hợp vào quy trình học tăng cường, và tận dụng các khả năng nâng cao của LLM như học ít mẫu, tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài, ReAct, và tạo/thực thi mã.

• GenRM có thể là một công cụ thực tế cho các ứng dụng LLM khi các phương pháp xác minh hiện tại không hiệu quả.

📌 GenRM của DeepMind đã đạt được bước đột phá trong việc cải thiện độ chính xác của LLM bằng cách tận dụng khả năng tạo sinh để tự xác minh. Với độ chính xác 92,8% trên GSM8K, vượt qua GPT-4, GenRM hứa hẹn mang lại tiến bộ đáng kể cho các ứng dụng AI yêu cầu suy luận phức tạp.

https://venturebeat.com/ai/deepminds-genrm-improves-llm-accuracy-by-having-models-verify-their-own-outputs/