Đột phá: thuật toán mới phát hiện ảo giác của AI với độ chính xác gần 80%

- Các mô hình ngôn ngữ lớn như ChatGPT, Claude và Gemini thường gặp vấn đề ảo giác, dẫn đến các câu trả lời sai lệch và gây bối rối.
- Một nhóm các nhà nghiên cứu đã tạo ra một thuật toán phát hiện ảo giác AI, có thể xác định xem câu trả lời của AI có thực tế hay không với độ chính xác khoảng 79%, cao hơn 10% so với các phương pháp hàng đầu hiện nay.
- Nghiên cứu được thực hiện bởi các thành viên của Khoa Khoa học Máy tính, Đại học Oxford và được công bố trên tạp chí Nature.
- Phương pháp sử dụng tương đối đơn giản: chatbot trả lời cùng một lời nhắc từ 5 đến 10 lần, sau đó tính toán một số gọi là entropy ngữ nghĩa - đo lường mức độ tương đồng hoặc khác biệt về ý nghĩa của câu trả lời.
- Nếu mô hình trả lời khác nhau cho mỗi lần nhập lời nhắc, điểm entropy ngữ nghĩa sẽ cao hơn, cho thấy AI có thể đang ảo giác câu trả lời. Ngược lại, nếu các câu trả lời giống nhau hoặc có ý nghĩa tương tự, điểm entropy ngữ nghĩa sẽ thấp hơn, cho thấy nó đang đưa ra câu trả lời nhất quán và có khả năng đúng sự thật hơn.
- Các phương pháp khác dựa trên entropy ngây thơ, thường kiểm tra xem từ ngữ của câu trả lời có khác nhau hay không, thay vì ý nghĩa của nó. Do đó, nó ít có khả năng phát hiện ảo giác chính xác hơn vì nó không xem xét ý nghĩa đằng sau các từ trong câu.
- Các nhà nghiên cứu cho rằng thuật toán có thể được thêm vào các chatbot như ChatGPT thông qua một nút, cho phép người dùng nhận được "điểm chắc chắn" cho các câu trả lời mà họ nhận được cho các lời nhắc của mình.

📌 Thuật toán mới sử dụng entropy ngữ nghĩa để phát hiện ảo giác AI với độ chính xác 79%, vượt trội hơn 10% so với các phương pháp hiện có. Nghiên cứu của Đại học Oxford mở ra tiềm năng tích hợp công cụ này vào các chatbot phổ biến, giúp người dùng đánh giá mức độ tin cậy của câu trả lời nhận được.

https://bgr.com/tech/researchers-made-an-algorithm-that-can-tell-when-ai-is-hallucinating/