Khám phá kỹ thuật chưng cất AI

- Deepseek, startup từ Trung quốc, bị OpenAI nghi ngờ đã sao chép công nghệ thông qua phương pháp "distillation" (chưng cất)

- Phương pháp distillation được thực hiện bằng cách:
  + Liên tục đặt câu hỏi cho ChatGPT
  + Theo dõi và ghi nhận các câu trả lời
  + Sử dụng dữ liệu thu được để huấn luyện mô hình riêng

- Bằng chứng về việc sao chép:
  + Chatbot của Deepseek từng trả lời là "ChatGPT" khi được hỏi về danh tính
  + Mô hình có khả năng tương đương các mô hình tiên tiến nhất
  + Chi phí phát triển thấp hơn nhiều so với đối thủ

- Vấn đề pháp lý:
  + Hành vi này vi phạm điều khoản dịch vụ của OpenAI
  + Không được xem là hacking nhưng vẫn là hành vi vi phạm
  + OpenAI cũng từng bị chỉ trích về việc sử dụng dữ liệu có bản quyền

- Tác động đến ngành công nghiệp AI:
  + Có thể mở ra kỷ nguyên của các mô hình AI sao chép
  + Giảm rào cản về chi phí và năng lượng để phát triển mô hình AI mạnh
  + Làm thay đổi cục diện cạnh tranh trong lĩnh vực AI

📌 Kỹ thuật distillation của Deepseek đã chứng minh việc sao chép mô hình AI hiện đại có thể thực hiện được với chi phí thấp, mở ra lo ngại về làn sóng AI sao chép và thách thức về sở hữu trí tuệ trong tương lai.

https://www.theatlantic.com/newsletters/archive/2025/02/what-is-ai-distillation/681616/

AI Distillation là gì?

Và điều gì sẽ xảy ra nếu DeepSeek thực sự đã làm điều đó?

Bởi Damon Beres
Ngày 07 tháng 02 năm 2025, 5:27 chiều ET

OpenAI tuyên bố rằng DeepSeek – startup Trung Quốc đứng sau mô hình AI gây chấn động được ra mắt vào tháng trước – có thể đã sao chép công nghệ của mình. Điều trớ trêu là chúng ta đã biết từ lâu rằng AI tạo sinh phần lớn được xây dựng dựa trên dữ liệu "đánh cắp" – từ sách, phụ đề phim đến tác phẩm nghệ thuật. Các công ty phát triển công nghệ này dường như không mấy bận tâm đến những người sáng tạo nội dung đã cung cấp dữ liệu huấn luyện ban đầu. Sam Altman từng nói vào đầu năm ngoái rằng việc tạo ra các công cụ AI mạnh mẽ mà không sử dụng tài liệu có bản quyền là "bất khả thi," và ông tin rằng luật pháp đứng về phía mình.

Nếu DeepSeek thực sự sao chép công nghệ của OpenAI, điều đó có thể đã được thực hiện thông qua một quy trình có tên là "distillation" (tạm dịch: chưng cất tri thức). Như Michael Schuman đã giải thích trong một bài viết trên The Atlantic tuần này:

"Về cơ bản, công ty bị cáo buộc đã đặt ra hàng loạt câu hỏi cho ChatGPT, theo dõi câu trả lời và sử dụng những dữ liệu đó để huấn luyện mô hình riêng của mình. Khi được hỏi ‘Bạn là mô hình gì?’ chatbot mới ra mắt của DeepSeek ban đầu trả lời ‘ChatGPT’ (nhưng có vẻ như phản hồi đáng ngờ này hiện đã bị loại bỏ)."

Nói cách khác, DeepSeek thực sự rất ấn tượng – có khả năng tương đương với các mô hình AI tiên tiến khác nhưng được phát triển với chi phí thấp hơn nhiều. Tuy nhiên, điều đó có thể là nhờ vào việc "xây dựng trên nền tảng của những công trình đã có sẵn." (DeepSeek đã không phản hồi yêu cầu bình luận từ Schuman.)

"Những gì DeepSeek bị cáo buộc đã làm không giống như hành vi tấn công mạng, nhưng vẫn vi phạm điều khoản dịch vụ của OpenAI," Schuman viết. "Và nếu DeepSeek thực sự đã làm điều đó, công ty đã tạo ra một mô hình AI cạnh tranh với chi phí thấp hơn nhiều so với OpenAI." (The Atlantic gần đây đã ký kết quan hệ đối tác với OpenAI.)

Dù DeepSeek có thực sự sử dụng kỹ thuật chưng cất hay không, nhiều công ty khác có thể sẽ tìm ra cách làm tương tự. Chúng ta có thể đang bước vào kỷ nguyên của những "bản sao AI." Trước đây, việc huấn luyện một mô hình AI mạnh mẽ đòi hỏi nguồn tài chính khổng lồ – chưa kể đến lượng năng lượng tiêu thụ khổng lồ. Nhưng điều đó có thể không còn đúng nữa.

What Is AI Distillation?
And what does it mean if DeepSeek did it?
By Damon Beres
The DeepSeek logo against a grid background
Illustration by The Atlantic
February 7, 2025, 5:27 PM ET

This is Atlantic Intelligence, a newsletter in which our writers help you wrap your mind around artificial intelligence and a new machine age. Sign up here.
OpenAI has said that it believes that DeepSeek, the Chinese start-up behind the shockingly powerful AI model that launched last month, may have ripped off its technology. The irony is rich: We’ve known for some time that generative AI tends to be built on stolen media—books, movie subtitles, visual art. The companies behind the technology don’t seem to care much about the creatives who produced that training data in the first place; Sam Altman said early last year that it would be “impossible” to make powerful AI tools without copyrighted material, and that he feels the law is on his side.
If DeepSeek did indeed rip off OpenAI, it would have done so through a process called “distillation.” As Michael Schuman explained in an article for The Atlantic this week, “In essence, the firm allegedly bombarded ChatGPT with questions, tracked the answers, and used those results to train its own models. When asked ‘What model are you?’ DeepSeek’s recently released chatbot at first answered ‘ChatGPT’ (but it no longer seems to share that highly suspicious response).” In other words, DeepSeek is impressive—about as capable as other cutting-edge models, and developed at a much lower cost—but it may be so only because it was effectively built on top of existing work. (DeepSeek did not respond to Schuman’s request for comment.)
“What DeepSeek is accused of doing is nothing like hacking, but it’s still a violation of OpenAI’s terms of service,” Schuman writes. “And if DeepSeek did indeed do this, it helped the firm to create a competitive AI model at a much lower cost than OpenAI.” (The Atlantic recently entered into a corporate partnership with OpenAI.) Whether or not DeepSeek distilled OpenAI’s technology, others will likely find a way to do the same thing. We may be approaching the era of the AI copycat. For a time, it took immense wealth—not to mention energy—to train powerful new AI models. That may no longer be the case.