AI ảnh-video-music-âm thanh AI deepfake-ảo giác-ANTT 2025-07-17 00:40:41

“machine unlearning” có thể giúp AI "quên" giọng nói của người thật, giảm thiểu nguy cơ deepfake

Các nhà nghiên cứu từ Đại học Sungkyunkwan (Hàn Quốc) đã phát triển một phương pháp gọi là “machine unlearning”, cho phép mô hình AI xóa bỏ khả năng bắt chước giọng nói cụ thể của một cá nhân.
Kỹ thuật này là bước tiến lớn trong cuộc chiến chống lại deepfake âm thanh – công nghệ thường bị sử dụng để giả mạo giọng nói trong các vụ lừa đảo và phát tán thông tin sai lệch.
Hiện nay, AI text-to-speech có thể tái tạo giọng nói của bất kỳ ai chỉ từ vài giây âm thanh mẫu, với độ tự nhiên cao về ngữ điệu và cách phát âm.
Trong thử nghiệm, nhóm nghiên cứu áp dụng phương pháp unlearning trên một mô hình giống với VoiceBox của Meta, huấn luyện lại để từ chối tái tạo giọng đã bị “quên”, thay vào đó phát âm bằng giọng ngẫu nhiên.
Kết quả: khả năng mô phỏng giọng bị xóa giảm hơn 75% so với trước khi unlearn, đủ để không còn nhầm lẫn với giọng gốc.
Tuy nhiên, khả năng bắt chước các giọng cho phép còn lại giảm nhẹ khoảng 2,8% – một sự đánh đổi được cho là hợp lý.
Để AI "quên" một người, cần cung cấp khoảng 5 phút âm thanh và quá trình unlearning mất vài ngày tùy số lượng giọng cần xóa.
Không giống phương pháp “guardrails” (rào chắn) – kiểm soát đầu vào và đầu ra, unlearning là cách loại bỏ hoàn toàn dữ liệu khỏi mô hình, khiến kẻ tấn công không thể “vượt rào”.
Đây là lần đầu unlearning được áp dụng hiệu quả cho mô hình chuyển văn bản thành giọng nói, và đang thu hút sự chú ý từ các tổ chức như Google DeepMind và Meta.
Tuy tiềm năng cao, công nghệ vẫn cần cải thiện tốc độ và khả năng mở rộng để có thể triển khai rộng rãi trên các nền tảng AI thương mại.

📌 Nhóm nghiên cứu Hàn Quốc giới thiệu phương pháp machine unlearning giúp AI “quên” giọng nói cụ thể, giảm hơn 75% khả năng mô phỏng giọng bị xóa. Công nghệ yêu cầu 5 phút âm thanh mẫu và vài ngày xử lý, đánh dấu bước tiến lớn trong bảo vệ danh tính giọng nói và chống deepfake âm thanh, dù vẫn cần cải thiện hiệu năng để ứng dụng đại trà.

https://www.technologyreview.com/2025/07/15/1120094/ai-text-to-speech-programs-could-one-day-unlearn/

AI text-to-speech programs could “unlearn” how to imitate certain people

New research shows models can be directly edited to hide selected voices, even when users specifically ask for them.

Peter Hallarchive page

July 15, 2025

A technique known as “machine unlearning” could teach AI models to forget specific voices—an important step in stopping the rise of audio deepfakes, where someone’s voice is copied to carry out fraud or scams.

Recent advances in artificial intelligence have revolutionized the quality of text-to-speech technology so that people can convincingly re-create a piece of text in any voice, complete with natural speaking patterns and intonations, instead of having to settle for a robotic voice reading it out word by word. “Anyone’s voice can be reproduced or copied with just a few seconds of their voice,” says Jong Hwan Ko, a professor at Sungkyunkwan University in Korea and the coauthor of a new paper that demonstrates one of the first applications of machine unlearning to speech generation.

Copied voices have been used in scams, disinformation, and harassment. Ko, who researches audio processing, and his collaborators wanted to prevent this kind of identity fraud. “People are starting to demand ways to opt out of the unknown generation of their voices without consent,” he says.

AI companies generally keep a tight grip on their models to discourage misuse. For example, if you ask ChatGPT to give you someone’s phone number or instructions for doing something illegal, it will likely just tell you it cannot help. However, as many examples over time have shown, clever prompt engineering or model fine-tuning can sometimes get these models to say things they otherwise wouldn’t. The unwanted information may still be hiding somewhere inside the model so that it can be accessed with the right techniques.

At present, companies tend to deal with this issue by applying guardrails; the idea is to check whether the prompts or the AI’s responses contain disallowed material. Machine unlearning instead asks whether an AI can be made to forget a piece of information that the company doesn’t want it to know. The technique takes a leaky model and the specific training data to be redacted and uses them to create a new model—essentially, a version of the original that never learned that piece of data. While machine unlearning has ties to older techniques in AI research, it’s only in the past couple of years that it’s been applied to large language models.

Jinju Kim, a master’s student at Sungkyunkwan University who worked on the paper with Ko and others, sees guardrails as fences around the bad data put in place to keep people away from it. “You can’t get through the fence, but some people will still try to go under the fence or over the fence,” says Kim. But unlearning, she says, attempts to remove the bad data altogether, so there is nothing behind the fence at all.

The way current text-to-speech systems are designed complicates this a little more, though. These so-called “zero-shot” models use examples of people’s speech to learn to re-create any voice, including those not in the training set—with enough data, it can be a good mimic when supplied with even a small sample of someone’s voice. So “unlearning” means a model not only needs to “forget” voices it was trained on but also has to learn not to mimic specific voices it wasn’t trained on. All the while, it still needs to perform well for other voices.

To demonstrate how to get those results, Kim taught a recreation of VoiceBox, a speech generation model from Meta, that when it was prompted to produce a text sample in one of the voices to be redacted, it should instead respond with a random voice. To make these voices realistic, the model “teaches” itself using random voices of its own creation.

According to the team’s results, which are to be presented this week at the International Conference on Machine Learning, prompting the model to imitate a voice it has “unlearned” gives back a result that—according to state-of-the-art tools that measure voice similarity—mimics the forgotten voice more than 75% less effectively than the model did before. In practice, this makes the new voice unmistakably different. But the forgetfulness comes at a cost: The model is about 2.8% worse at mimicking permitted voices. While these percentages are a bit hard to interpret, the demo the researchers released online offers very convincing results, both for how well redacted speakers are forgotten and how well the rest are remembered. A sample from the demo is given below.

Ko says the unlearning process can take “several days,” depending on how many speakers the researchers want the model to forget. Their method also requires an audio clip about five minutes long for each speaker whose voice is to be forgotten.

In machine unlearning, pieces of data are often replaced with randomness so that they can’t be reverse-engineered back to the original. In this paper, the randomness for the forgotten speakers is very high—a sign, the authors claim, that they are truly forgotten by the model.

“I have seen people optimizing for randomness in other contexts,” says Vaidehi Patil, a PhD student at the University of North Carolina at Chapel Hill who researches machine unlearning. “This is one of the first works I’ve seen for speech.” Patil is organizing a machine unlearning workshop affiliated with the conference, and the voice unlearning research will also be presented there.

She points out that unlearning itself involves inherent trade-offs between efficiency and forgetfulness because the process can take time, and can degrade the usability of the final model. “There’s no free lunch. You have to compromise something,” she says.

Machine unlearning may still be at too early a stage for, say, Meta to introduce Ko and Kim’s methods into VoiceBox. But there is likely to be industry interest. Patil is researching unlearning for Google DeepMind this summer, and while Meta did not respond with a comment, it has hesitated for a long time to release VoiceBox to the wider public because it is so vulnerable to misuse.

The voice unlearning team seems optimistic that its work could someday get good enough for real-life deployment. “In real applications, we would need faster and more scalable solutions,” says Ko. “We are trying to find those.”

Không có file đính kèm.

Nguồn tham khảo

Thảo luận

12,345 Fans 12,345 Followers 12,345 Subscribers

Tin phổ biến

AI coding assistant

Cursor AI - IDE thay thế VS Code với trợ lý AI tích hợp

AI giáo dục

UNESCO ra mắt 2 khung năng lực AI mới cho học sinh và giáo viên

AI giáo dục

Khung năng lực AI cho giáo viên của UNESCO

AI so sánh

OpenAI hay tự xây dựng: so sánh chi phí thực tế của việc tự lưu trữ các mô hình ngôn ngữ lớn

Apple joins AI fray with release of model framework

The AI skills gap is becoming incredibly troubling for companies everywhere

AI doanh nghiệp

10 use-case hàng đầu của AI trong kinh doanh

AI so sánh

Phân tích chuyên sâu về RAG, AI Agents và Agentic RAG

AI kiến thức-khóa học

Hướng dẫn toàn diện về lập trình AI với Cursor cho người mới bắt đầu

The AI Frenzy, Fed Meets, Hunter Biden: Your Sunday US Briefing

TAG

AI giáo dục AI sinh-y-duoc AI nghệ thuật AI pháp lý-quản trị-chủ quyền AI models AI xã hội AI prompts AI kiến thức-khóa học AI công nghiệp-lĩnh vực AI edge AI viễn thông AI tools AI chính phủ AI cybersecurity AI so sánh AI đạo đức AI tips AI market AI quân sự AI an toàn-an ninh-techwar AI việc làm AI doanh nghiệp OpenAI ChatGPT AI môi trường-năng lượng AI skill-talent AI & công nghệ khác AI nghiên cứu AI chips-hardware-compute AI vs con người AI coding assistant AI mở-nguồn mở AI năng suất AI startup-M&A AI tương lai AI báo chí AI data AI bản quyền AI PC AI riêng tư AI deepfake-ảo giác-ANTT AI ảnh-video-music-âm thanh AI minh bạch AI nhỏ AI nông nghiệp-thực phẩm AI ngân hàng-tài chính AI giao thông AI smartphone AI robotics-auto-agents AI consumer devices AI manufacturing AI benchmark Telecom AI thành công-thất bại Digital Semi-Cloud-DC-Green HTS STI FAQ

SongAI

Tin nóng

“machine unlearning” có thể giúp AI "quên" giọng nói của người thật, giảm thiểu nguy cơ deepfake

AI text-to-speech programs could “unlearn” how to imitate certain people

Thảo luận

Follow Us

Tin phổ biến

TAG