Các mô hình ngôn ngữ lớn có thể làm được những điều đáng ngạc nhiên. Nhưng không ai biết chính xác tại sao.

- Hai năm trước, Yuri Burda và Harri Edwards từ OpenAI đã nghiên cứu về khả năng của mô hình ngôn ngữ lớn trong việc thực hiện các phép tính cơ bản.
- Ban đầu, mô hình chỉ ghi nhớ các kết quả mà nó đã thấy mà không giải được các bài toán mới.
- Một sự cố khiến các thí nghiệm chạy lâu hơn dự định, và kết quả là mô hình đã học được cách cộng hai số sau một thời gian dài hơn mong đợi.
- Hiện tượng này, được gọi là "grokking", cho thấy mô hình có thể đột nhiên "hiểu" cách giải quyết một nhiệm vụ mà trước đó nó không thể.
- Các nhà nghiên cứu khác cũng quan tâm và thảo luận về hiện tượng này, nhưng chưa có sự đồng thuận về cách giải thích nó.
- Grokking là một trong nhiều hiện tượng kỳ lạ khiến các nhà nghiên cứu AI phải băn khoăn, đặc biệt là với các mô hình lớn và mô hình ngôn ngữ lớn.
- Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều câu hỏi về cách thức và lý do mà học sâu hoạt động hiệu quả đến vậy.
- Các nhà nghiên cứu đang xem xét các mô hình này như những hiện tượng tự nhiên lạ lùng và cố gắng giải thích các kết quả quan sát được.
- Việc hiểu rõ hơn về cách thức hoạt động của học sâu không chỉ là một câu đố khoa học hấp dẫn mà còn có thể giúp mở khóa thế hệ công nghệ tiếp theo và kiểm soát rủi ro tiềm ẩn.

📌Hai năm trước, các nhà nghiên cứu tại OpenAI đã phát hiện ra hiện tượng "grokking", một quá trình học sâu đột phá mà trong đó mô hình AI đột nhiên "hiểu" cách giải quyết các bài toán mà trước đó nó không thể giải được. Sự kiện này không chỉ làm sáng tỏ khả năng học hỏi và thích nghi đáng kinh ngạc của AI mà còn mở ra nhiều câu hỏi mới về cơ chế hoạt động bên trong của học sâu. Các nhà nghiên cứu đang tiếp tục khám phá và thách thức giới hạn hiểu biết hiện tại về AI, với hy vọng giải mã bí ẩn của nó và tận dụng tối đa tiềm năng của công nghệ này.

Citations:
[1] https://www.technologyreview.com/2024/03/04/1089403/large-language-models-amazing-but-nobody-knows-why/