OpenAI o1 - "Kiến trúc sư" AI thất bại trong vai trò lập trình viên

• OpenAI o1 được biết đến với khả năng suy luận xuất sắc, nhưng nhiều nhà phát triển báo cáo rằng các mô hình này không phải lựa chọn tốt nhất cho các tác vụ liên quan đến lập trình.

• Một nhà phát triển trên Hacker News cho biết mô hình o1-preview có hiện tượng ảo giác, đến mức bắt đầu phản hồi trong bối cảnh các thư viện và hàm không tồn tại.

• Khi so sánh nhiều mô hình AI tạo sinh trên LiveBench cho các bài kiểm tra hoàn thành mã, o1-mini xếp hạng thấp hơn mô hình nguồn mở Qwen2-72B và GPT-4.

• Thời gian phản hồi chậm là vấn đề lớn đối với các nhà phát triển làm việc với thời hạn. Nhiều người báo cáo rằng o1 thường bị kẹt sau giai đoạn suy nghĩ và không phản hồi.

• Mike Young đánh giá rằng thời gian phản hồi tăng trong giai đoạn suy nghĩ có thể là một trở ngại lớn, đặc biệt khi cần câu trả lời nhanh. Mô hình đôi khi bị kẹt ở chế độ suy nghĩ và không bao giờ trả lời - xảy ra khoảng 40% thời gian.

• Một người dùng Reddit chia sẻ trải nghiệm sử dụng o1 để xây dựng ứng dụng tệ hơn cả phiên bản miễn phí của ChatGPT.

• Dan McAteer, một nhà phát triển phần mềm, đề xuất sử dụng o1-mini làm kiến trúc sư cho dự án, tạo ra tài liệu thiết kế chi tiết với hướng dẫn từng bước cho mỗi module.

• McAteer sử dụng Claude Sonnet 3.5 làm nhà phát triển để tạo mã dựa trên tài liệu kiến trúc do o1-mini tạo ra.

• Sully Omar, đồng sáng lập và CEO của Cognosys, cũng đề cập rằng o1-mini hầu như vô dụng trong việc lập trình và thường bỏ sót các chi tiết nhỏ.

• OpenAI đã phát hành Canvas, một nền tảng lập trình sử dụng ChatGPT 4o thay vì các mô hình o1.

• Các mô hình o1 chủ yếu hướng đến suy luận. Đối với lập trình, những mô hình này có thể hữu ích trong việc thiết kế nền tảng, và sau đó, các mô hình như Sonnet có thể đảm nhận phần tạo mã.

📌 OpenAI o1 được đánh giá là kiến trúc sư AI hơn là lập trình viên, với khả năng suy luận tốt nhưng hiệu suất coding kém. Nhà phát triển đề xuất kết hợp o1 làm kiến trúc sư và Claude làm lập trình viên để tối ưu hóa quá trình phát triển phần mềm.

https://analyticsindiamag.com/developers-corner/why-openai-o1-sucks-at-coding/