Nghiên cứu mới của MIT vạch trần cơ chế gây thiên lệch vị trí trong các LLM

• Nghiên cứu từ MIT đã phát hiện nguồn gốc của hiện tượng “thiên lệch vị trí” – xu hướng LLM chú trọng thông tin ở đầu và cuối văn bản, bỏ qua phần giữa, dẫn đến mất mát nội dung quan trọng.

• Cụ thể, nếu một luật sư dùng trợ lý ảo AI để tìm cụm từ trong tài liệu dài 30 trang, AI sẽ dễ tìm nếu cụm từ nằm ở đầu hoặc cuối, khó khăn hơn nếu nằm giữa.

• Các nhà nghiên cứu đã phát triển một khung lý thuyết sử dụng đồ thị để mô hình hóa cách thông tin lan truyền trong LLM, từ đó chỉ ra rằng kiến trúc mô hình – đặc biệt là cơ chế attention và mã hóa vị trí – là nguyên nhân gây ra hiện tượng trên.

• Causal masking – kỹ thuật khiến token chỉ "chú ý" tới các từ trước đó – gây ra sự thiên lệch về phía đầu văn bản, ngay cả khi dữ liệu huấn luyện không có xu hướng như vậy.

• Trong khi đó, positional encoding giúp giảm thiên lệch bằng cách tăng liên kết giữa các từ gần nhau, nhưng tác dụng yếu đi nếu mô hình có quá nhiều lớp attention.

• Ngoài cấu trúc mô hình, dữ liệu huấn luyện thiên lệch cũng góp phần gây lỗi — nếu biết trước sự thiên lệch, có thể hiệu chỉnh mô hình phù hợp hơn.

• Khi thử nghiệm bằng cách thay đổi vị trí của câu trả lời đúng trong đoạn văn, mô hình cho thấy hiệu suất cao nhất ở đầu, giảm ở giữa và phục hồi nhẹ ở cuối – tạo ra biểu đồ hình chữ U.

• Những gợi ý như giảm lớp attention, thay đổi kỹ thuật masking, hoặc kết hợp chiến lược mã hóa vị trí giúp khắc phục lỗi này, nhất là trong các ứng dụng như chatbot, hệ thống y tế hay công cụ hỗ trợ lập trình.

• Các tác giả bài nghiên cứu gồm Xinyi Wu, Yifei Wang, Stefanie Jegelka và Ali Jadbabaie, và được trình bày tại hội nghị quốc tế Machine Learning 2025.

• Nghiên cứu nhận tài trợ từ Văn phòng Nghiên cứu Hải quân Hoa Kỳ, Quỹ Khoa học Quốc gia và học bổng Humboldt.

📌 Nghiên cứu MIT cho thấy lỗi "thiên lệch vị trí" khiến AI bỏ qua thông tin giữa văn bản, với độ chính xác truy xuất giảm rõ rệt tại vị trí giữa (biểu đồ hình chữ U). Causal masking và thiết kế kiến trúc attention là nguyên nhân chính. Các giải pháp như mã hóa vị trí hoặc giảm lớp mạng có thể cải thiện đáng kể độ chính xác của AI tạo sinh trong các ứng dụng nhạy cảm.

https://news.mit.edu/2025/unpacking-large-language-model-bias-0617

#MIT