Thuật toán mới giúp phát hiện ảo giác của AI, nâng cao độ chính xác cao hơn 10%

- Các công cụ AI tạo sinh như ChatGPT thường đưa ra thông tin sai lệch một cách tự tin, được gọi là "ảo giác".
- Ảo giác AI đã dẫn đến một số sự cố đáng xấu hổ như chatbot của AirCanada đưa ra mã giảm giá sai, Google đưa ra lời khuyên nguy hiểm về ăn đá, và luật sư bị phạt do sử dụng ChatGPT viết đơn kiện với trích dẫn giả.
- Nghiên cứu mới đăng trên tạp chí Nature mô tả phương pháp phát hiện khi AI có khả năng đang bị ảo giác, với độ chính xác khoảng 79%, cao hơn 10% so với các phương pháp hàng đầu khác.
- Phương pháp tập trung vào một loại ảo giác cụ thể gọi là "confabulation", khi AI đưa ra các câu trả lời sai không nhất quán cho cùng một câu hỏi.
- Quy trình: Yêu cầu chatbot đưa ra 5-10 câu trả lời cho cùng một câu hỏi, sử dụng mô hình ngôn ngữ khác để phân cụm các câu trả lời dựa trên ý nghĩa, tính toán "entropy ngữ nghĩa" để đo lường mức độ khác biệt về ý nghĩa giữa các câu trả lời.
- Entropy ngữ nghĩa cao cho thấy AI đang confabulation, trong khi entropy thấp cho thấy AI đưa ra câu trả lời nhất quán và ít có khả năng confabulation.
- Phương pháp mới hiệu quả hơn các cách tiếp cận khác như "entropy ngây thơ", "P(True)", hay "hồi quy embedding", đồng thời không đòi hỏi dữ liệu huấn luyện đặc thù lĩnh vực.
- Phương pháp có thể được tích hợp vào các chatbot hàng đầu, cho phép người dùng kiểm tra độ chắc chắn của câu trả lời hoặc được xây dựng ngầm để cải thiện độ tin cậy trong các ứng dụng quan trọng.
- Tuy nhiên, việc tích hợp vào các ứng dụng thực tế vẫn còn nhiều thách thức, và ảo giác AI nói chung khó có thể bị loại bỏ hoàn toàn trong ngắn và trung hạn do bản chất của cách hoạt động của các mô hình ngôn ngữ lớn.

📌 Nghiên cứu mới về thuật toán phát hiện "confabulation" - một dạng ảo giác phổ biến của AI - với độ chính xác 79%, hứa hẹn cải thiện đáng kể độ tin cậy của các công cụ AI tạo sinh. Tuy nhiên, việc triển khai thực tế vẫn còn nhiều thách thức, và ảo giác AI nói chung khó có thể bị loại bỏ hoàn toàn trong tương lai gần do đặc tính của các mô hình ngôn ngữ lớn.

https://time.com/6989928/ai-artificial-intelligence-hallucinations-prevent/

https://songai.vn/posts/phat-hien-ao-giac-trong-cac-mo-hinh-ngon-ngu-lon-bang-entropy-ngu-ngh-a

#TIME