Microsoft giới thiệu Orca-Math: mô hình ngôn ngữ nhỏ 7B tham số dạy giải toán đột phá
- Microsoft Research giới thiệu công cụ Orca-Math, dựa trên mô hình ngôn ngữ nhỏ (SLM) 7 tỷ tham số, xuất phát từ kiến trúc Mistral-7B.
- Orca-Math sử dụng tập dữ liệu tổng hợp 200.000 bài toán và quy trình học lặp, nhận phản hồi chi tiết để liên tục cải thiện khả năng giải toán.
- Khi huấn luyện chỉ với SFT trên tập dữ liệu tổng hợp, Orca-Math đạt 81,50% độ chính xác trên benchmark GSM8K. Khi áp dụng học lặp, độ chính xác tăng lên 86,81%.
- Orca-Math vượt trội hơn các mô hình lớn hơn nhiều về hiệu năng và hiệu quả, sử dụng tập dữ liệu nhỏ hơn.
- Thành tựu của Orca-Math cho thấy tiềm năng của SLM khi được trang bị phương pháp và nguồn lực phù hợp, mở ra kỷ nguyên mới cho các công cụ giáo dục.
📌 Orca-Math của Microsoft Research đại diện cho cách tiếp cận đột phá trong học tập, kết hợp trí tuệ nhân tạo và giáo dục để giải quyết thách thức dạy kỹ năng giải quyết vấn đề phức tạp. Với tập dữ liệu tổng hợp và phản hồi lặp, Orca-Math đạt độ chính xác 86,81% trên benchmark GSM8K, vượt trội hơn nhiều mô hình lớn, mở đường cho tương lai công nghệ và học tập song hành.
https://www.marktechpost.com/2024/03/10/microsoft-ai-research-introduces-orca-math-a-7b-parameters-small-language-model-slm-created-by-fine-tuning-the-mistral-7b-model/
Thảo luận
Follow Us
Tin phổ biến
