Tại sao Google AI Overviews liên tục đưa ra câu trả lời sai và nguy hiểm?

- Google ra mắt tính năng tìm kiếm AI Overviews, tự động tóm tắt thông tin chính và đưa ra các đường link liên quan. Tuy nhiên, chỉ sau vài ngày, người dùng phát hiện nhiều câu trả lời sai lệch, vô lý như gợi ý ăn đá, cho keo vào pizza.
- AI Overviews sử dụng mô hình AI sinh (generative AI) Gemini, kết hợp với hệ thống xếp hạng web của Google. Nhiều khả năng nó dùng kỹ thuật Retrieval-augmented generation (RAG) để truy xuất thông tin từ các nguồn bên ngoài dữ liệu huấn luyện.
- RAG giúp câu trả lời của AI cập nhật hơn, chính xác hơn so với chỉ dựa vào dữ liệu huấn luyện. Tuy nhiên, để đưa ra câu trả lời tốt, RAG phải vừa truy xuất đúng thông tin, vừa tạo sinh câu trả lời đúng. Lỗi xảy ra khi 1 hoặc cả 2 quá trình này gặp vấn đề.
- Ví dụ, với gợi ý cho keo vào pizza, AI Overviews có thể đã truy xuất một bài đăng đùa trên Reddit có vẻ liên quan đến câu hỏi ban đầu. Hoặc khi gặp thông tin mâu thuẫn, AI không thể phân biệt phiên bản nào mới hơn để dựa vào.
- Ngay cả khi lấy được nguồn tin đáng tin cậy, AI vẫn có thể hiểu sai ý. Ví dụ khi được hỏi Mỹ có bao nhiêu tổng thống Hồi giáo, AI trả lời là 1 (Obama) dù nguồn trích dẫn là 1 chương sách với tiêu đề nghi vấn.
- Google cho biết đang cải tiến AI Overviews để hạn chế câu trả lời sai như phát hiện tốt hơn các truy vấn vô nghĩa, loại bỏ nội dung châm biếm/tạo bởi người dùng. Họ cũng đang thêm các hạn chế với các chủ đề nhạy cảm như sức khỏe.
- Các chuyên gia đề xuất thêm bước đánh dấu câu hỏi rủi ro trong quá trình truy xuất, sử dụng phản hồi của con người để cải thiện chất lượng, huấn luyện AI xác định khi nào không thể trả lời. Google cũng nên nhấn mạnh rõ hơn tính năng này vẫn đang thử nghiệm.

📌 Tính năng tìm kiếm AI mới của Google liên tục đưa ra các câu trả lời sai lệch, thậm chí nguy hiểm do các vấn đề trong quá trình truy xuất và tạo sinh ngôn ngữ. Dù Google đang nỗ lực cải tiến, các chuyên gia cho rằng họ cần thêm nhiều biện pháp như đánh dấu câu hỏi rủi ro, sử dụng phản hồi của con người và nhấn mạnh tính chất thử nghiệm của tính năng này.

Citations:
https://www.technologyreview.com/2024/05/31/1093019/why-are-googles-ai-overviews-results-so-bad/

#MIT