AI data AI bản quyền 2025-07-11 00:22:14

FlexOlmo: Mô hình AI đầu tiên cho phép rút dữ liệu ra sau khi huấn luyện

FlexOlmo là mô hình ngôn ngữ lớn mới do Allen Institute for AI (Ai2) phát triển, cho phép chủ dữ liệu rút dữ liệu khỏi mô hình ngay cả sau khi đã huấn luyện.
Mô hình này phá vỡ nguyên lý truyền thống rằng “dữ liệu đã dùng thì không thể gỡ”, bằng cách cho phép huấn luyện theo cách chia tách và hợp nhất các sub-model độc lập.
Cơ chế hoạt động dựa trên kiến trúc mixture of experts, cho phép kết hợp nhiều mô hình nhỏ, trong đó mỗi mô hình có thể được huấn luyện riêng biệt với dữ liệu riêng.
Người đóng góp dữ liệu sao chép một mô hình “anchor” công khai, huấn luyện với dữ liệu cá nhân, rồi gửi bản kết hợp thay vì phải chia sẻ dữ liệu thô.
Điều này giúp giữ quyền sở hữu dữ liệu, cho phép rút sub-model nếu có tranh chấp pháp lý hoặc không hài lòng với việc sử dụng mô hình cuối.
FlexOlmo không yêu cầu huấn luyện đồng bộ – việc đóng góp và huấn luyện có thể diễn ra hoàn toàn độc lập.
Ai2 đã thử nghiệm bằng cách xây dựng mô hình 37 tỷ tham số trên tập dữ liệu Flexmix, bao gồm sách và nội dung từ web độc quyền.
Mô hình này vượt trội so với từng mô hình riêng lẻ và tốt hơn 10% so với các phương pháp hợp nhất mô hình trước đó trên các benchmark phổ biến.
FlexOlmo còn giúp các công ty truy cập dữ liệu nhạy cảm mà không cần tiết lộ công khai, nhưng Ai2 cảnh báo vẫn có rủi ro khôi phục dữ liệu – cần đến các kỹ thuật như differential privacy.
Trong bối cảnh tranh cãi về quyền sở hữu dữ liệu huấn luyện AI ngày càng gay gắt, mô hình như FlexOlmo mở ra hướng đi mới cân bằng giữa tiến bộ công nghệ và quyền lợi dữ liệu.

📌 FlexOlmo mang đến một đột phá lớn trong lĩnh vực AI tạo sinh bằng cách cho phép các chủ sở hữu dữ liệu rút dữ liệu khỏi mô hình sau huấn luyện mà không cần retrain. Với 37 tỷ tham số và hiệu suất cao hơn 10% so với phương pháp cũ, mô hình này giúp cân bằng giữa phát triển AI và kiểm soát dữ liệu cá nhân, mở ra tương lai mới cho AI nguồn mở và hợp tác.

https://www.wired.com/story/flexolmo-ai-model-lets-data-owners-take-control/

A New Kind of AI Model Lets Data Owners Take Control

A novel approach from the Allen Institute for AI enables data to be removed from an artificial intelligence model even after it has already been used for training.

A new kind of large language model, developed by researchers at the Allen Institute for AI (Ai2), makes it possible to control how training data is used even after a model has been built.

The new model, called FlexOlmo, could challenge the current industry paradigm of big artificial intelligence companies slurping up data from the web, books, and other sources—often with little regard for ownership—and then owning the resulting models entirely. Once data is baked into an AI model today, extracting it from that model is a bit like trying to recover the eggs from a finished cake.

“Conventionally, your data is either in or out,” says Ali Farhadi, CEO of Ai2, based in Seattle, Washington. “Once I train on that data, you lose control. And you have no way out, unless you force me to go through another multi-million-dollar round of training.”

Ai2’s avant-garde approach divides up training so that data owners can exert control. Those who want to contribute data to a FlexOlmo model can do so by first copying a publicly shared model known as the “anchor.” They then train a second model using their own data, combine the result with the anchor model, and contribute the result back to whoever is building the third and final model.

Contributing in this way means that the data itself never has to be handed over. And because of how the data owner’s model is merged with the final one, it is possible to extract the data later on. A magazine publisher might, for instance, contribute text from its archive of articles to a model but later remove the sub-model trained on that data if there is a legal dispute or if the company objects to how a model is being used.

“The training is completely asynchronous,” says Sewon Min, a research scientist at Ai2 who led the technical work. “Data owners do not have to coordinate, and the training can be done completely independently.”

The FlexOlmo model architecture is what’s known as a “mixture of experts,” a popular design that is normally used to simultaneously combine several sub-models into a bigger, more capable one. A key innovation from Ai2 is a way of merging sub-models that were trained independently. This is achieved using a new scheme for representing the values in a model so that its abilities can be merged with others when the final combined model is run.

To test the approach, the FlexOlmo researchers created a dataset they call Flexmix from proprietary sources including books and websites. They used the FlexOlmo design to build a model with 37 billion parameters, about a tenth of the size of the largest open source model from Meta. They then compared their model to several others. They found that it outperformed any individual model on all tasks and also scored 10 percent better at common benchmarks than two other approaches for merging independently trained models.

The result is a way to have your cake—and get your eggs back, too. “You could just opt out of the system without any major damage and inference time,” Farhadi says. “It’s a whole new way of thinking about how to train these models.”

Percy Liang, an AI researcher at Stanford, says the Ai2 approach seems like a promising idea. “Providing more modular control over data—especially without retraining—is a refreshing direction that challenges the status quo of thinking of language models as monolithic black boxes,” he says. “Openness of the development process—how the model was built, what experiments were run, how decisions were made—is something that’s missing.”

Farhadi and Min say that the FlexOlmo approach might also make it possible for AI firms to access sensitive private data in a more controlled way, because that data does not need to be disclosed in order to build the final model. However, they warn that it may be possible to reconstruct data from the final model, so a technique like differential privacy, which allows data to be contributed with mathematically guaranteed privacy, might be required to ensure data is kept safe.

Ownership of the data used to train large AI models has become a big legal issue in recent years. Some publishers are suing large AI companies while others are cutting deals to grant access to their content. (WIRED parent company Condé Nast has a deal in place with OpenAI.)

In June, Meta won a major copyright infringement case when a federal judge ruled that the company did not violate the law by training its open source model on text from books by 13 authors.

Min says it may well be possible to build new kinds of open models using the FlexOlmo approach. “I really think the data is the bottleneck in building the state of the art models,” she says. “This could be a way to have better shared models where different data owners can codevelop, and they don’t have to sacrifice their data privacy or control.”

Không có file đính kèm.

Nguồn tham khảo

Thảo luận

12,345 Fans 12,345 Followers 12,345 Subscribers

Tin phổ biến

AI coding assistant

Cursor AI - IDE thay thế VS Code với trợ lý AI tích hợp

AI giáo dục

UNESCO ra mắt 2 khung năng lực AI mới cho học sinh và giáo viên

AI giáo dục

Khung năng lực AI cho giáo viên của UNESCO

AI so sánh

OpenAI hay tự xây dựng: so sánh chi phí thực tế của việc tự lưu trữ các mô hình ngôn ngữ lớn

Apple joins AI fray with release of model framework

The AI skills gap is becoming incredibly troubling for companies everywhere

AI doanh nghiệp

10 use-case hàng đầu của AI trong kinh doanh

AI so sánh

Phân tích chuyên sâu về RAG, AI Agents và Agentic RAG

AI kiến thức-khóa học

Hướng dẫn toàn diện về lập trình AI với Cursor cho người mới bắt đầu

The AI Frenzy, Fed Meets, Hunter Biden: Your Sunday US Briefing

TAG

AI giáo dục AI sinh-y-duoc AI nghệ thuật AI pháp lý-quản trị-chủ quyền AI models AI xã hội AI prompts AI kiến thức-khóa học AI công nghiệp-lĩnh vực AI edge AI viễn thông AI tools AI chính phủ AI cybersecurity AI so sánh AI đạo đức AI tips AI market AI quân sự AI an toàn-an ninh-techwar AI việc làm AI doanh nghiệp OpenAI ChatGPT AI môi trường-năng lượng AI skill-talent AI & công nghệ khác AI nghiên cứu AI chips-hardware-compute AI vs con người AI coding assistant AI mở-nguồn mở AI năng suất AI startup-M&A AI tương lai AI báo chí AI data AI bản quyền AI PC AI riêng tư AI deepfake-ảo giác-ANTT AI ảnh-video-music-âm thanh AI minh bạch AI nhỏ AI nông nghiệp-thực phẩm AI ngân hàng-tài chính AI giao thông AI smartphone AI robotics-auto-agents AI consumer devices AI manufacturing AI benchmark Telecom AI thành công-thất bại Digital Semi-Cloud-DC-Green HTS STI FAQ

SongAI

Tin nóng

FlexOlmo: Mô hình AI đầu tiên cho phép rút dữ liệu ra sau khi huấn luyện

A New Kind of AI Model Lets Data Owners Take Control

Thảo luận

Follow Us

Tin phổ biến

TAG