Sky-T1, mô hình AI lý luận mở nguồn đầu tiên có thể được đào tạo với chi phí chỉ dưới 450 USD

- Sky-T1-32B-Preview là mô hình AI lý luận mở nguồn đầu tiên, được phát triển bởi nhóm nghiên cứu NovaSky từ UC Berkeley.
- Mô hình này cạnh tranh với phiên bản trước của mô hình o1 từ OpenAI trên nhiều tiêu chuẩn quan trọng.
- Sky-T1 được đào tạo với chi phí dưới 450 USD, cho thấy khả năng phát triển các mô hình AI lý luận với chi phí thấp và hiệu quả.
- Trước đây, chi phí để đào tạo một mô hình có hiệu suất tương tự thường lên tới hàng triệu USD.
- Việc sử dụng dữ liệu đào tạo tổng hợp đã giúp giảm thiểu chi phí, ví dụ như Palmyra X 004 chỉ tốn 700.000 USD để phát triển.
- Mô hình lý luận tự kiểm tra tính chính xác của chính nó, giúp giảm thiểu sai lầm hơn nhiều mô hình khác.
- Mặc dù Sky-T1 mất thời gian lâu hơn để đưa ra giải pháp (thường từ vài giây đến vài phút), nhưng độ tin cậy cao hơn trong các lĩnh vực như vật lý, khoa học và toán học.
- Nhóm NovaSky đã sử dụng mô hình QwQ-32B-Preview của Alibaba để tạo dữ liệu đào tạo cho Sky-T1, sau đó tinh chỉnh dữ liệu và cấu trúc lại với GPT-4o-mini của OpenAI.
- Việc đào tạo Sky-T1 với 32 tỷ tham số mất khoảng 19 giờ, sử dụng 8 GPU Nvidia H100.
- Sky-T1 có hiệu suất tốt hơn phiên bản preview của o1 trên MATH500, một bộ thách thức toán học ở mức độ cạnh tranh.
- Mặc dù vậy, Sky-T1 không đạt được hiệu suất như phiên bản preview của o1 trên GPQA-Diamond, tập hợp các câu hỏi về vật lý, sinh học và hóa học.
- OpenAI dự kiến sẽ phát hành một mô hình lý luận tốt hơn, o3, trong những tuần tới.
- Nhóm NovaSky cho biết Sky-T1 chỉ đánh dấu sự khởi đầu cho hành trình phát triển các mô hình mở nguồn với khả năng lý luận nâng cao.
- Họ hướng tới việc phát triển các mô hình hiệu quả hơn mà vẫn duy trì hiệu suất lý luận mạnh mẽ và khám phá các kỹ thuật tiên tiến để nâng cao độ chính xác tại thời điểm kiểm tra.

📌 NovaSky đã công bố Sky-T1, mô hình AI lý luận mở nguồn đầu tiên, với chi phí đào tạo chỉ 450 USD. Mô hình này cạnh tranh với o1 của OpenAI và hứa hẹn mở ra các cơ hội mới cho AI lý luận trong tương lai.

https://techcrunch.com/2025/01/11/researchers-open-source-sky-t1-a-reasoning-ai-model-that-can-be-trained-for-less-than-450/