CÁC NHÀ KHOA HỌC KHẲNG ĐỊNH CHATBOTS ĐANG PHÁT TRIỂN SỰ HIỂU BIẾT VỀ THẾ GIỚI
- Các nhà nghiên cứu từ Princeton và Google DeepMind đã đưa ra giả thuyết rằng, khi các mô hình ngôn ngữ lớn (LLMs) mở rộng, chúng bắt đầu sản sinh ra các kết quả mà không chắc chắn là một phần của dữ liệu đào tạo của mình.
- Sanjeev Arora từ Princeton và Anirudh Goyal từ DeepMind đã quan sát các khả năng bất ngờ mà LLMs thể hiện, từ giải quyết các bài toán toán học khó đến suy luận suy nghĩ của con người.
- Sử dụng đồ thị ngẫu nhiên để minh họa hành vi không mong đợi của LLMs, họ nhận thấy rằng các mô hình này không chỉ phát triển kỹ năng không có trong dữ liệu đào tạo, mà còn sử dụng nhiều hơn một kỹ năng cùng một lúc khi chúng phát triển.
- Trong một bài báo chưa được đồng nghiệp phản biện, họ thử nghiệm lý thuyết của mình trên GPT-4, phiên bản LLM tiên tiến nhất của OpenAI. Họ yêu cầu GPT-4 viết ba câu về đấu kiếm, sử dụng bốn kỹ năng: thiên vị tự phục vụ, ẩn dụ, quy nạp thống kê, và vật lý kiến thức thông thường.
- Câu trả lời của GPT-4, mặc dù không giới hạn ở ba câu, vẫn rất ấn tượng và chứng minh rằng mô hình như GPT-4 có khả năng vượt qua dữ liệu đào tạo của mình và có thể "hiểu" các câu hỏi được đặt ra.
📌 Nhóm nghiên cứu từ Princeton và Google DeepMind đã chỉ ra rằng các mô hình ngôn ngữ lớn như GPT-4 có thể "hiểu" thế giới xung quanh chúng hơn chúng ta nhận ra. Họ phát hiện ra rằng GPT-4 có khả năng tạo ra các câu trả lời sáng tạo không nằm trong dữ liệu đào tạo và sử dụng nhiều kỹ năng cùng một lúc, một bước tiến mà họ gọi là "bản chất của sự sáng tạo".