ảo giác trong các mô hình ngôn ngữ lớn: lỗi cần sửa hay tính năng cần chấp nhận?

- Các mô hình ngôn ngữ lớn (LLM) có thể tóm tắt dữ liệu phức tạp hoặc tạo ra nội dung sáng tạo chỉ trong vài giây, nhưng chúng cũng thường xuyên bịa đặt thông tin, hay còn gọi là "ảo giác". Điều này có thể làm suy giảm độ tin cậy và khả năng triển khai thực tế của LLM.
- Theo thống kê, tỷ lệ ảo giác của các LLM phổ biến dao động từ 2.5% đến hơn 15%. Đáng lo ngại hơn, trong các lĩnh vực chuyên môn như y tế, tài chính, luật pháp, con số này còn cao hơn nhiều, từ 69% đến 88%.
- Hậu quả lâu dài đối với xã hội khi hàng terabyte thông tin sai lệch nhưng có vẻ đáng tin cậy được tung ra là rất khó lường. Nó đã và đang tác động mạnh mẽ đến chính trị, niềm tin của cử tri và các giá trị dân chủ cốt lõi như sự thật, bình đẳng.
- Nguyên nhân gây ra ảo giác bao gồm: dữ liệu huấn luyện không đầy đủ, thiên lệch hoặc mâu thuẫn; sự khác biệt giữa nguồn tham chiếu và đầu ra của mô hình; người dùng cố tình lách luật hoặc khai thác lỗ hổng; mô hình quá khớp với dữ liệu huấn luyện nên không tạo ra kết quả chính xác với dữ liệu mới.
- Các giải pháp đang được nghiên cứu rất đa dạng: tinh chỉnh đầu ra của mô hình bằng phản hồi của con người; cải thiện thuật toán bằng kỹ thuật tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài, phương pháp tự phản tỉnh, khung xác minh theo chuỗi; xem xét lại cách nhìn nhận về ảo giác, coi chúng là ví dụ đối kháng chứ không phải lỗi cần sửa; phát triển cách tiếp cận riêng cho từng lĩnh vực như coi LLM là công cụ dịch zero-shot, sử dụng dữ liệu ngữ cảnh để tạo ra các mô hình chuyên biệt.
- Nghiên cứu đang diễn ra với tốc độ chóng mặt, nhưng việc sử dụng LLM của công chúng còn nhanh hơn thế. Điều này đồng nghĩa các mô hình trong tương lai có thể bị huấn luyện dựa trên chính đầu ra có lỗi của chúng, gây ra vấn đề xuống cấp theo hình xoắn ốc đáng lo ngại.

📌 Ảo giác trong các mô hình ngôn ngữ lớn đang gây ra nhiều hậu quả nghiêm trọng, với tỷ lệ lên đến 88% trong một số lĩnh vực nhạy cảm như y tế, tài chính, pháp luật. Các nhà nghiên cứu đang tìm nhiều cách tiếp cận khác nhau để giải quyết vấn đề nan giải này, từ việc cải thiện thuật toán, tinh chỉnh đầu ra của mô hình, cho đến xem xét lại quan điểm về bản chất của ảo giác. Tuy nhiên, tốc độ sử dụng LLM của công chúng đang vượt xa tốc độ nghiên cứu, tiềm ẩn nguy cơ các mô hình tương lai sẽ bị huấn luyện dựa trên chính những đầu ra sai lệch của chúng, dẫn đến một vòng luẩn quẩn đáng lo ngại.

https://cacm.acm.org/news/llm-hallucinations-a-bug-or-a-feature/

#ACM