Các LLM xuất sắc trong lý luận quy nạp nhưng gặp khó khăn với các nhiệm vụ suy diễn

- Nghiên cứu từ Đại học California, Los Angeles và Amazon đã chỉ ra rằng các mô hình ngôn ngữ lớn (LLMs) có khả năng lý luận quy nạp tốt hơn so với lý luận suy diễn.
- Lý luận quy nạp là quá trình rút ra quy tắc từ các ví dụ cụ thể, trong khi lý luận suy diễn áp dụng quy tắc chung để đưa ra kết luận cụ thể.
- Các thí nghiệm được thiết kế để đánh giá khả năng lý luận của LLMs trong các ngữ cảnh khác nhau, nhấn mạnh vào lý luận quy nạp và suy diễn.
- Một khung thử nghiệm mới mang tên SolverLearner đã được phát triển để tách biệt và đánh giá khả năng lý luận quy nạp của LLMs.
- Trong bước đầu tiên của SolverLearner, LLM được yêu cầu tạo ra một hàm ánh xạ dữ liệu đầu vào với đầu ra dựa trên các ví dụ đã cho.
- Bước thứ hai sử dụng một trình thông dịch mã bên ngoài để kiểm tra hàm đã đề xuất trên dữ liệu thử nghiệm mới, không cho phép LLM áp dụng hàm đó.
- Kết quả cho thấy GPT-3.5 và GPT-4 đạt độ chính xác gần như hoàn hảo trong các nhiệm vụ yêu cầu học từ ví dụ và suy ra hàm ánh xạ.
- Tuy nhiên, LLMs gặp khó khăn trong việc áp dụng các quy tắc hoặc hướng dẫn cụ thể, đặc biệt là trong các tình huống không phổ biến trong quá trình huấn luyện.
- Các nhiệm vụ lý luận suy diễn phức tạp, như số cơ sở không phải 10, khiến LLMs gặp khó khăn hơn.
- Kết quả cho thấy LLMs có khả năng học hỏi từ ví dụ và phát hiện mẫu tốt hơn là làm theo hướng dẫn rõ ràng.
- Điều này có ý nghĩa quan trọng trong việc ứng dụng LLMs trong thực tế, vì hiệu suất của chúng có thể giảm khi gặp các ví dụ khác biệt với dữ liệu huấn luyện.
- SolverLearner cung cấp một khung đảm bảo mô hình học đúng quy tắc ánh xạ đầu vào và đầu ra, nhưng chỉ áp dụng trong các thiết lập có cơ chế xác minh.

📌 Nghiên cứu cho thấy LLMs nổi bật trong lý luận quy nạp nhưng yếu kém trong lý luận suy diễn, với hiệu suất gần như hoàn hảo trong việc học từ ví dụ nhưng gặp khó khăn với các quy tắc cụ thể. Điều này nhấn mạnh tầm quan trọng của việc hiểu rõ khả năng của LLMs trong các ứng dụng thực tế.

https://venturebeat.com/ai/llms-excel-at-inductive-reasoning-but-struggle-with-deductive-tasks-new-research-shows/