DeepSeek-Coder-V2 của DeepSeek AI: Mô hình AI mã nguồn mở đầu tiên vượt trội GPT4-Turbo trong lập trình và toán học

- DeepSeek AI giới thiệu DeepSeek-Coder-V2, mô hình ngôn ngữ mã nguồn mở mới được phát triển dựa trên nền tảng DeepSeek-V2, trải qua quá trình tiền huấn luyện bổ sung với 6 nghìn tỷ token.

- DeepSeek-Coder-V2 sử dụng framework Mixture-of-Experts (MoE), hỗ trợ 338 ngôn ngữ lập trình và mở rộng ngữ cảnh từ 16K lên 128K token. Mô hình có kiến trúc gồm 16 tỷ và 236 tỷ tham số.

- Dữ liệu huấn luyện bao gồm 60% mã nguồn, 10% kho ngữ liệu toán học và 30% kho ngữ liệu ngôn ngữ tự nhiên, lấy từ GitHub và CommonCrawl.

- DeepSeek-Coder-V2 có 4 biến thể: DeepSeek-Coder-V2-Instruct, DeepSeek-Coder-V2-Base, DeepSeek-Coder-V2-Lite-Base và DeepSeek-Coder-V2-Lite-Instruct, mỗi biến thể được tối ưu cho các tác vụ và nhu cầu hiệu suất cụ thể.

- Trong các đánh giá chuẩn, DeepSeek-Coder-V2 vượt trội hơn các mô hình nguồn đóng hàng đầu trong các tác vụ lập trình và toán học. Mô hình đạt điểm 90.2% trên bài kiểm tra HumanEval và 75.7% trên bài kiểm tra MATH.

- Nghiên cứu này nhấn mạnh những cải tiến đáng kể của DeepSeek-Coder-V2 trong trí tuệ mã nguồn, giải quyết khoảng cách hiệu suất giữa các mô hình mã nguồn mở và nguồn đóng.

📌 DeepSeek-Coder-V2 đánh dấu bước tiến quan trọng trong phát triển mô hình mã nguồn mở, với khả năng xử lý các tác vụ lập trình phức tạp, hỗ trợ 338 ngôn ngữ và độ dài ngữ cảnh lên đến 128K token. Mô hình đạt điểm vượt trội 90.2% trên HumanEval và 75.7% trên MATH, thể hiện tiềm năng cách mạng hóa lĩnh vực trí tuệ mã nguồn.

https://www.marktechpost.com/2024/06/18/meet-deepseek-coder-v2-by-deepseek-ai-the-first-open-source-ai-model-to-surpass-gpt4-turbo-in-coding-and-math-supporting-338-languages-and-128k-context-length/