1. OpenAI vẫn chưa ra mắt GPT-5 sau hơn 2 năm kể từ khi phát hành GPT-4 vào tháng 3/2023, mặc dù có nhiều dự đoán và mong đợi từ công chúng.

• Sam Altman đã thông báo rằng GPT-4.5 và GPT-5 sẽ được phát hành trong "vài tuần/tháng" tới, với GPT-4.5 (hay còn gọi nội bộ là Orion) sẽ là mô hình "non-chain-of-thought" cuối cùng của công ty.

• Sự chuyển hướng chiến lược quan trọng: OpenAI đang từ bỏ phương pháp "càng lớn càng tốt" truyền thống, vốn dựa vào việc pre-training mô hình với lượng dữ liệu ngày càng lớn, vì phương pháp này không còn mang lại hiệu quả như mong đợi.

• Công ty đang chuyển sang phương pháp "chain of thought" - kỹ thuật dạy AI xử lý vấn đề theo từng bước có chủ đích, giúp cải thiện khả năng suy luận mặc dù chậm hơn. GPT-5 sẽ kết hợp cả pre-training truyền thống và phương pháp "chain of thought" mới.

• Sự chuyển hướng này có thể ảnh hưởng đến nhiều dự án lớn như Stargate trị giá 500 tỷ đô và khoản đầu tư 13 tỷ đô của Microsoft vào OpenAI, vì chúng dựa trên giả định rằng mô hình AI cần thêm nhiều tài nguyên để phát triển.

• Dấu hiệu cảnh báo về giới hạn của phương pháp pre-training đã xuất hiện từ lâu. Ilya Sutskever, cựu nhà khoa học trưởng của OpenAI, đã tuyên bố rằng "pre-training như chúng ta biết chắc chắn sẽ kết thúc" vì thế giới đang cạn kiệt dữ liệu tạo ra bởi con người.

• Các chuyên gia ước tính GPT-4 có khoảng 1,8 nghìn tỷ tham số và đã được huấn luyện trên hầu hết internet công khai cộng với các bộ dữ liệu riêng, cho thấy giới hạn sắp tới của phương pháp này.

• Chi phí cũng là thách thức lớn: Altman cho biết việc huấn luyện mô hình cỡ GPT-5 có thể tiêu tốn 1 tỷ đô, chỉ tính riêng chi phí thuê máy chủ, chưa kể chi phí xây dựng trung tâm dữ liệu.

• Trung tâm siêu máy tính Stargate đầu tiên của OpenAI dự kiến sẽ chứa tới 2 triệu GPU, tốn 100 tỷ đô để xây dựng và tiêu thụ 1 gigawatt năng lượng mỗi năm.

• Anthropic, đối thủ của OpenAI, vừa phát hành Claude 3.7 Sonnet, mô hình AI đầu tiên kết hợp thành công cả phản hồi nhanh và suy luận dài. Khả năng kết hợp "System 1" (tư duy nhanh, trực giác) và "System 2" (tư duy chậm, có chủ đích) của GPT-5 sẽ rất quan trọng để cạnh tranh.

• Nhiều chuyên gia nghi ngờ GPT-5 có thể khắc phục những thách thức cơ bản của mô hình ngôn ngữ lớn như phân biệt thực tế với hư cấu hoặc tránh "ảo giác" và sai sót trong toán học.

📌 OpenAI đã thừa nhận giới hạn của chiến lược "mở rộng quy mô" truyền thống sau 2 năm phát triển GPT-5. Công ty đang chuyển sang kết hợp phương pháp "chain of thought" để tăng khả năng suy luận, thách thức giả định rằng AI cần nhiều tài nguyên hơn để phát triển.