Nghiên cứu từ MIT phát triển kỹ thuật mới giúp LLM cải thiện đáng kể khả năng tư duy phức tạp

• Các nhà nghiên cứu tại MIT phát triển phương pháp "test-time training" giúp mô hình ngôn ngữ lớn (LLM) thích ứng tốt hơn với các nhiệm vụ khó, đòi hỏi tư duy logic và lập kế hoạch.

• Kỹ thuật này tạm thời cập nhật các tham số nội bộ của mô hình trong quá trình triển khai, từ đó cải thiện độ chính xác lên tới gấp 6 lần so với phương pháp chỉ dùng ví dụ đầu vào (in-context learning).

• Nhóm nghiên cứu thiết kế một framework tận dụng dữ liệu mẫu của bài toán mới, sau đó mở rộng tập dữ liệu bằng cách biến đổi nhẹ đầu vào (ví dụ: lật ngang dữ liệu), giúp tăng hiệu quả huấn luyện.

• Phương pháp chỉ điều chỉnh một số ít tham số bằng kỹ thuật "low-rank adaption", giúp tiết kiệm tài nguyên mà vẫn tăng hiệu suất mạnh.

• Việc huấn luyện diễn ra tạm thời và chỉ áp dụng cho từng truy vấn riêng biệt, đảm bảo mô hình quay lại trạng thái ban đầu sau mỗi lần xử lý.

• Thử nghiệm trên hai bộ dữ liệu benchmark gồm các bài toán IQ và dữ liệu lạ cho thấy khả năng xử lý của LLM tăng đáng kể, đặc biệt với các mẫu có cấu trúc phức tạp hoặc dữ liệu chưa từng thấy.

• Thời gian phản hồi tăng từ dưới 1 phút lên khoảng 5–10 phút với test-time training, nhưng kết quả cải thiện đáng kể cho các bài toán khó.

• Nhóm nghiên cứu hướng tới mục tiêu phát triển LLM có thể tự động quyết định khi nào cần test-time training và triển khai chiến lược phù hợp mà không cần sự can thiệp của con người.

• Nghiên cứu được hỗ trợ bởi MIT-IBM Watson AI Lab và Quỹ Khoa học Quốc gia Mỹ (NSF), sẽ được trình bày tại hội nghị quốc tế International Conference on Machine Learning.

📌 Nghiên cứu từ MIT cho thấy test-time training có thể giúp mô hình LLM tăng độ chính xác gấp 6 lần trên các nhiệm vụ khó như giải đố IQ hay dữ liệu lạ. Phương pháp chỉ điều chỉnh một số ít tham số tạm thời, tiết kiệm tài nguyên nhưng vẫn mang lại hiệu suất vượt trội. Mục tiêu tương lai là phát triển LLM tự học và tự điều chỉnh chiến lược phù hợp với từng truy vấn.

https://news.mit.edu/2025/study-could-lead-llms-better-complex-reasoning-0708

#MIT