- Common Corpus, sáng kiến do công ty khởi nghiệp Pháp Pleias điều phối, đã công bố bộ dữ liệu công khai lớn nhất để huấn luyện các mô hình ngôn ngữ lớn (LLM).
- Bộ dữ liệu chứa 180 tỷ từ tiếng Anh, 110 tỷ từ tiếng Pháp, 30 tỷ từ tiếng Đức và hàng chục tỷ từ trong các ngôn ngữ châu Âu khác như tiếng Tây Ban Nha, Hà Lan và Ý.
- Sáng kiến này chứng minh rằng có thể tạo ra AI mà không cần sử dụng tài liệu có bản quyền, trái với tuyên bố trước đó của OpenAI.
- Việc này đặc biệt quan trọng trong bối cảnh các vụ kiện liên quan đến vấn đề bản quyền gia tăng, như vụ kiện của New York Times đối với OpenAI và Microsoft.
- Theo đồng sáng lập Pleias, Pierre-Carl Langlais, Common Corpus sẽ tạo ra sự cạnh tranh và hợp tác trong lĩnh vực AI, đồng thời giảm giá trị của dữ liệu có bản quyền.
- Tuy nhiên, do chỉ sử dụng tài liệu không có bản quyền (70 năm sau khi tác giả qua đời), bộ dữ liệu có hạn chế về tính cập nhật của ngôn ngữ.
- Để cải thiện điều này, Langlais cho rằng có thể sử dụng dữ liệu hành chính mở, phong trào khoa học mở và dữ liệu tổng hợp.
- Mục đích của Common Corpus là không ngừng cải thiện và đa dạng hóa bộ dữ liệu, với hy vọng trong tương lai sẽ bao gồm nhiều ngôn ngữ châu Âu hơn nữa.
📌 Common Corpus, sáng kiến do Pleias dẫn đầu, đã chứng minh rằng có thể huấn luyện AI mà không cần dữ liệu có bản quyền với bộ dữ liệu mở đa ngôn ngữ lớn nhất từ trước đến nay, bao gồm 180 tỷ từ tiếng Anh và hàng trăm tỷ từ trong các ngôn ngữ châu Âu khác. Điều này mở ra cơ hội cạnh tranh và hợp tác trong lĩnh vực AI, đồng thời giảm sự phụ thuộc vào dữ liệu có bản quyền.
https://www.euronews.com/next/2024/04/02/this-french-start-up-just-proved-openai-wrong-it-claims-you-can-train-ai-on-non-copyrighte