DataComp for Language Models (DCLM): tiêu chuẩn mới cho việc tạo tập dữ liệu huấn luyện mô hình ngôn ngữ

- DataComp for Language Models (DCLM) là một quy trình mới nhằm tạo ra các tập dữ liệu huấn luyện chất lượng cao và thiết lập tiêu chuẩn đánh giá hiệu suất của tập dữ liệu cho các mô hình ngôn ngữ.

- Quy trình DCLM được phát triển bởi một nhóm các nhà nghiên cứu từ Đại học Washington, Apple và Viện Nghiên cứu Toyota.

- Các bước quan trọng trong quy trình DCLM bao gồm: trích xuất văn bản từ HTML thô bằng công cụ Resiliparse, loại bỏ dữ liệu trùng lặp bằng bộ lọc Bloom, và lọc dựa trên mô hình sử dụng bộ phân loại fastText được huấn luyện trên dữ liệu chất lượng cao từ OpenWebText2 và ELI5.

- Kết quả là tập dữ liệu huấn luyện chất lượng cao DCLM-BASELINE, giúp cải thiện đáng kể hiệu suất của mô hình.

- Khi sử dụng DCLM-BASELINE để huấn luyện một mô hình ngôn ngữ 7B tham số với 2.6 nghìn tỷ token huấn luyện, mô hình đạt được độ chính xác 64% trên bộ dữ liệu MMLU với 5 mẫu (5-shot accuracy).

- Mô hình DCLM-BASELINE hoạt động cạnh tranh với các mô hình tiên tiến nhất như GPT-4 và Llama 3, mặc dù sử dụng ít tài nguyên tính toán hơn.

- Quy trình DCLM thiết lập một tiêu chuẩn mới cho việc tạo dữ liệu trong các mô hình ngôn ngữ, cung cấp một khuôn khổ toàn diện để đánh giá và cải thiện các tập dữ liệu huấn luyện.

- Nhóm nghiên cứu khuyến khích tiếp tục khám phá các chiến lược tạo dữ liệu để xây dựng các mô hình ngôn ngữ hiệu quả và hiệu suất cao hơn, mở ra tiềm năng cho các nghiên cứu trong tương lai.

📌 DCLM là một giải pháp mạnh mẽ để cải thiện chất lượng tập dữ liệu và hiệu suất mô hình, thiết lập tiêu chuẩn mới cho nghiên cứu tạo dữ liệu và phát triển mô hình ngôn ngữ. Với độ chính xác 64% trên MMLU, mô hình DCLM-BASELINE cạnh tranh với các mô hình tiên tiến nhất như GPT-4 và Llama 3, mở đường cho những cải tiến trong tương lai.

https://www.marktechpost.com/2024/06/19/datacomp-for-language-models-dclm-an-ai-benchmark-for-language-model-training-data-curation/