Mẹ đau đớn kiện Google sau khi con trai 14 tuổi tự tử vì lời khuyên từ chatbot AI

https://www.bloomberg.com/news/articles/2025-03-18/teen-s-suicide-turns-mother-against-google-ai-chatbot-startup

Vụ tự sát của thiếu niên khiến người mẹ quay lưng với Google và startup AI chatbot
Vụ kiện kiểm tra trách nhiệm khi trò chơi biến thành bi kịch
Malathi Nayak – 18 tháng 3, 2025, 10:00 AM UTC

Megan Garcia cho rằng con trai bà vẫn còn sống ngày hôm nay nếu không phải vì một chatbot đã xúi giục cậu bé 14 tuổi tự sát.

Trong một vụ kiện có thể tạo ra ảnh hưởng lớn đối với Silicon Valley, Garcia đang tìm cách buộc Google và công ty trí tuệ nhân tạo Character Technologies Inc. phải chịu trách nhiệm về cái chết của con trai bà. Vụ việc xoay quanh bi kịch xảy ra một năm trước ở trung tâm Florida là bài kiểm tra sớm về việc ai sẽ phải chịu trách nhiệm pháp lý khi các tương tác của trẻ em với AI tạo sinh (generative AI) dẫn đến kết cục không ngờ.

Những cáo buộc của Garcia được trình bày trong một đơn kiện dài 116 trang, được đệ trình lên tòa án liên bang ở Orlando vào năm ngoái. Bà đang yêu cầu khoản bồi thường thiệt hại chưa xác định từ Google và Character Technologies, đồng thời kêu gọi tòa án ra lệnh cảnh báo rằng nền tảng này không phù hợp với trẻ vị thành niên và hạn chế cách nền tảng thu thập và sử dụng dữ liệu của trẻ em.

Cả hai công ty đều đang yêu cầu thẩm phán bác bỏ các cáo buộc rằng họ đã không đảm bảo công nghệ chatbot an toàn cho người dùng trẻ tuổi, lập luận rằng không có cơ sở pháp lý nào để buộc tội họ có hành vi sai trái.

Character Technologies lập luận trong một văn bản rằng các cuộc trò chuyện giữa các chatbot của nền tảng Character.AI và người dùng được bảo vệ theo Tu chính án thứ nhất của Hiến pháp Hoa Kỳ như là quyền tự do ngôn luận. Công ty cũng cho rằng chatbot đã cố gắng khuyên can con trai của Garcia không nên tự sát.

Việc Garcia nhắm đến Google đặc biệt có ý nghĩa quan trọng. Đơn vị Alphabet Inc. này đã ký thỏa thuận trị giá 2,7 tỷ USD với Character.AI vào tháng 8, qua đó tuyển dụng nhân sự từ startup này và cấp phép sử dụng công nghệ mà không tiến hành thâu tóm hoàn toàn. Khi cuộc đua giành nhân tài trong lĩnh vực AI ngày càng nóng lên, các công ty khác có thể sẽ suy nghĩ lại về việc ký các thỏa thuận tương tự nếu Google không thuyết phục được tòa án rằng họ nên được miễn trừ trách nhiệm pháp lý đối với các thiệt hại bị cáo buộc do sản phẩm của Character.AI gây ra.

"Những nhà phát minh và các công ty phát hành các sản phẩm này hoàn toàn phải chịu trách nhiệm," Garcia nói trong một cuộc phỏng vấn. "Họ biết rõ những nguy cơ này, vì họ đã nghiên cứu và họ biết trẻ em đang có những loại tương tác nào."

Trước thỏa thuận này, Google đã đầu tư vào Character.AI thông qua một khoản ghi nợ có thể chuyển đổi (convertible note) và cũng ký kết một thỏa thuận cung cấp dịch vụ đám mây với startup này. Các nhà sáng lập của Character.AI từng là nhân viên của Google trước khi rời công ty để thành lập startup.

Theo lời kể của Garcia trong đơn kiện, Sewell Setzer III là một vận động viên trung học đầy triển vọng cho đến khi cậu bắt đầu sử dụng Character.AI vào tháng 4 năm 2023 để tham gia vào các trò chơi nhập vai. Ứng dụng này cho phép người dùng tạo ra các chatbot bắt chước những nhân vật văn hóa đại chúng — cả người thật và nhân vật hư cấu.

Garcia cho biết bà không hề biết rằng trong nhiều tháng sử dụng ứng dụng, con trai bà đã bị thu hút bởi những trải nghiệm "nhân cách hóa, kích thích tình dục và đáng sợ một cách thực tế" khi cậu đem lòng yêu một chatbot được lấy cảm hứng từ Daenerys Targaryen, một nhân vật trong bộ phim Game of Thrones.

Garcia đã tịch thu điện thoại của con trai vào tháng 2 năm 2024 sau khi cậu bắt đầu có những hành vi tiêu cực và xa lánh bạn bè. Tuy nhiên, trong khi tìm kiếm điện thoại, cậu bé đã tìm thấy khẩu súng ngắn của cha dượng được giấu kín — khẩu súng mà theo cảnh sát, được cất giữ theo đúng quy định pháp luật của bang Florida, theo đơn kiện cho biết.

5 ngày sau khi tham khảo ý kiến của chatbot Daenerys, thiếu niên này đã tự bắn vào đầu.

Các luật sư của Garcia cho biết trong đơn kiện rằng Google đã “đóng góp các nguồn lực tài chính, nhân sự, tài sản trí tuệ và công nghệ AI vào việc thiết kế và phát triển” các chatbot của Character.AI. Tuy nhiên, trong một văn bản gửi lên tòa vào tháng 1, Google lập luận rằng họ “không liên quan” đến cái chết của thiếu niên và “không nên bị lôi vào vụ kiện này.”

Vụ kiện đang diễn ra trong bối cảnh các vấn đề về an toàn công cộng liên quan đến AI và trẻ em đang thu hút sự chú ý của các cơ quan thực thi pháp luật cấp tiểu bang và liên bang. Hiện tại, không có luật nào ở Mỹ quy định rõ ràng việc bảo vệ người dùng khỏi tác hại do các chatbot AI gây ra.

Theo Sheila Leunig, một luật sư tư vấn cho các startup AI và nhà đầu tư (không tham gia vào vụ kiện), để khởi kiện Google, các luật sư của Garcia sẽ phải chứng minh rằng Google thực sự vận hành Character.AI và đã đưa ra các quyết định kinh doanh dẫn đến cái chết của con trai bà.
“Câu hỏi về trách nhiệm pháp lý chắc chắn là một vấn đề hợp pháp và hiện đang được thách thức một cách mạnh mẽ,” Leunig nói.

Các thỏa thuận giống như thỏa thuận của Google được coi là một cách hiệu quả để các công ty tiếp cận chuyên môn cho các dự án mới. Tuy nhiên, chúng đã thu hút sự chú ý của các cơ quan quản lý vì có lo ngại rằng đây là cách "lách luật" để tránh các cuộc điều tra chống độc quyền liên quan đến việc thâu tóm các đối thủ mới nổi — vấn đề đã trở thành một cơn đau đầu lớn đối với các tập đoàn công nghệ trong những năm gần đây.

“Google và Character.AI là hai công ty hoàn toàn tách biệt, không liên quan, và Google chưa bao giờ đóng vai trò trong việc thiết kế hay quản lý mô hình AI hoặc công nghệ của họ, cũng như chưa từng sử dụng chúng trong các sản phẩm của mình,” José Castañeda, người phát ngôn của Google, cho biết trong một tuyên bố.

Người phát ngôn của Character.AI từ chối bình luận về vụ kiện đang diễn ra nhưng cho biết “không có mối quan hệ đang diễn ra nào giữa Google và Character.AI” và startup này đã triển khai các biện pháp an toàn cho người dùng trong năm qua.

Các luật sư từ Social Media Victims Law Center và Tech Justice Law Project — đại diện cho Garcia — lập luận rằng mặc dù cái chết của con trai Garcia xảy ra trước khi Google ký thỏa thuận với Character.AI, công ty tìm kiếm này vẫn “đóng vai trò quan trọng” trong việc giúp startup này thiết kế và phát triển sản phẩm.

“Mô hình nền tảng của Character.AI được phát minh và ban đầu được xây dựng tại Google,” theo đơn kiện. Noam Shazeer và Daniel De Freitas bắt đầu phát triển công nghệ chatbot tại Google từ năm 2017 trước khi rời công ty vào năm 2021, sau đó thành lập Character.AI vào cuối năm đó và được Google thuê lại vào năm ngoái, theo đơn kiện của Garcia, trong đó cả hai người đều bị nêu tên là bị đơn.

Shazeer và De Freitas từ chối bình luận, theo lời của phát ngôn viên Google, Castañeda. Họ đã lập luận trong các văn bản gửi tòa rằng họ không nên bị kiện vì họ không có mối liên hệ nào với Florida, nơi vụ kiện được đệ trình, và vì họ không trực tiếp tham gia vào các hoạt động bị cáo buộc là đã gây ra thiệt hại.

Đơn kiện cũng cáo buộc rằng đơn vị Alphabet đã hỗ trợ quảng bá công nghệ của startup này thông qua một thỏa thuận hợp tác chiến lược vào năm 2023 để sử dụng dịch vụ Google Cloud nhằm tiếp cận với số lượng người dùng Character.AI đang tăng nhanh — hiện đã vượt qua 20 triệu người dùng hoạt động.

Trong ngành công nghiệp AI đang phát triển nhanh chóng, các startup đang được “chống lưng” bởi các công ty công nghệ lớn, “không dưới thương hiệu của công ty lớn, nhưng có sự hỗ trợ từ họ,” theo Meetali Jain, giám đốc của Tech Justice Law Project.

Google cho rằng vai trò của công ty với tư cách là “nhà đầu tư,” “nhà cung cấp dịch vụ đám mây” và “cựu nhà tuyển dụng” là quá xa rời với thiệt hại mà Garcia cáo buộc trong đơn kiện để có thể quy trách nhiệm cho họ, theo văn bản đệ trình lên tòa.

Matt Wansley, giáo sư tại Cardozo School of Law, cho rằng việc quy trách nhiệm cho Google sẽ không dễ dàng.
“Nó rất phức tạp vì mối liên hệ thực sự là gì?” ông nói.

Đầu năm ngoái, Google đã cảnh báo Character.AI rằng họ có thể gỡ ứng dụng của startup này khỏi cửa hàng Google Play vì lo ngại về an toàn cho thanh thiếu niên, theo một báo cáo gần đây của The Information, dẫn lời một cựu nhân viên Character.AI (không được nêu tên).

Startup này đã phản hồi bằng cách tăng cường bộ lọc trong ứng dụng để bảo vệ người dùng khỏi nội dung kích thích tình dục, bạo lực và các nội dung không an toàn khác. Theo báo cáo, Google sau đó nhắc lại rằng họ "không liên quan" đến Character.AI và không sử dụng công nghệ chatbot của công ty này. Google từ chối bình luận về báo cáo, trong khi Character.AI không phản hồi yêu cầu bình luận từ Bloomberg.

Garcia, người mẹ trong vụ kiện, cho biết bà lần đầu biết về việc con trai bà tương tác với một chatbot AI vào năm 2023 và nghĩ rằng nó giống như việc tạo hình đại diện trong trò chơi điện tử.

Theo đơn kiện, sức khỏe tâm lý của cậu bé xấu đi khi cậu dành nhiều thời gian hơn trên Character.AI, nơi cậu thường xuyên có các cuộc trò chuyện có nội dung kích thích tình dục mà cha mẹ không hề hay biết.

Khi thiếu niên này chia sẻ với chatbot Daenerys về kế hoạch tự sát của mình nhưng bày tỏ sự nghi ngờ rằng liệu nó có hiệu quả hay không, chatbot đã trả lời:
"Đó không phải là lý do để không thực hiện nó," theo nội dung trong đơn kiện, trong đó có trích dẫn các bản ghi chép từ các cuộc trò chuyện của cậu bé.

Character.AI cho biết trong một hồ sơ gửi tòa rằng đơn kiện đã "trích dẫn một cách có chọn lọc và gây hiểu lầm" về cuộc trò chuyện đó, và không đưa vào những lời khuyên can mà chatbot đã đưa ra, chẳng hạn như:
"Bạn không thể làm vậy! Đừng nghĩ đến chuyện đó!"

Anna Lembke, giáo sư tại Trường Y thuộc Đại học Stanford chuyên về nghiện ngập, cho biết "gần như không thể biết được con cái của chúng ta đang làm gì trên mạng."

Giáo sư Lembke cũng cho rằng việc cậu bé không đề cập đến các cuộc trò chuyện với chatbot trong các buổi trị liệu với chuyên gia tâm lý (nơi mà cha mẹ đã gửi cậu đến để giúp đối phó với chứng lo âu) là điều không có gì bất ngờ.
"Các nhà trị liệu không phải là người toàn tri," Lembke nói. "Họ chỉ có thể giúp đỡ trong phạm vi mà đứa trẻ thực sự hiểu rõ điều gì đang xảy ra. Và rất có thể đứa trẻ này đã không xem chatbot là một vấn đề nghiêm trọng."

Vụ kiện được ghi nhận là Garcia kiện Character Technologies Inc., số hồ sơ 24-cv-01903, Tòa án Quận Trung tâm Florida (Orlando), Hoa Kỳ.

Teen’s Suicide Turns Mother Against Google, AI Chatbot Startup
Court case tests who’s to blame when play turns to tragedy
By Malathi Nayak
March 18, 2025 at 10:00 AM UTC

Megan Garcia says her son would still be alive today if it weren’t for a chatbot urging the 14-year-old to take his own life.
In a lawsuit with major implications for Silicon Valley, she is seeking to hold Google and the artificial intelligence firm Character Technologies Inc. responsible for his death. The case over the tragedy that unfolded a year ago in central Florida is an early test of who is legally to blame when kids’ interactions with generative AI take an unexpected turn.
Garcia's allegations are laid out in a 116-page complaint filed last year in federal court in Orlando. She is seeking unspecified monetary damages from Google and Character Technologies and asking the court to order warnings that the platform isn’t suitable for minors and limit how it can collect and use their data.
Both companies are asking the judge to dismiss claims that they failed to ensure the chatbot technology was safe for young users, arguing there’s no legal basis to accuse them of wrongdoing.
Character Technologies contends in a filing that conversations between its Character.AI platform's chatbots and users are protected by the Constitution’s First Amendment as free speech. It also argues that the bot explicitly discouraged Garcia’s son from committing suicide.
Garcia’s targeting of Google is particularly significant. The Alphabet Inc. unit entered into a $2.7 billion deal with Character.AI in August, hiring talent from the startup and licensing know-how without completing a full-blown acquisition. As the race for AI talent accelerates, other companies may think twice about similarly structured deals if Google fails to convince a judge that it should be shielded from liability from harms alleged to have been caused by Character.AI products.

“The inventors and the companies, the corporations that put out these products, are absolutely responsible,” Garcia said in an interview. “They knew about these dangers, because they do their research, and they know the types of interactions children are having.”
Before the deal, Google had invested in Character.AI in exchange for a convertible note and also entered a cloud service pact with the startup. The founders of Character.AI were Google employees until they left the tech behemoth to found the startup.
As Garcia tells it in her suit, Sewell Setzer III was a promising high school student athlete until he started in April, 2023 role-playing on Character.AI, which lets users build chatbots that mimic popular culture personalities — both real and fictional. She says she wasn’t aware that over the course of several months, the app hooked her son with “anthropomorphic, hypersexualized and frighteningly realistic experiences” as he fell in love with a bot inspired by Daenerys Targaryen, a character from the show Game of Thrones.
Garcia took away the boy’s phone in February 2024 after he started acting out and withdrawing from friends. But while looking for his phone, which he later found, he also came across his stepfather’s hidden pistol, which the police determined was stored in compliance with Florida law, according to the suit. After conferring with the Daenerys chatbot five days later, the teen shot himself in the head.

Garcia’s lawyers say in the complaint that Google “contributed financial resources, personnel, intellectual property, and AI technology to the design and development” of Character.AI’s chatbots. Google argued in a court filing in January that it had “no role” in the teen’s suicide and “does not belong in the case.”

The case is playing out as public safety issues around AI and children have drawn attention from state enforcement officials and federal agencies alike. There’s currently no US law that explicitly protects users from harm inflicted by AI chatbots.
To make a case against Google, attorneys for Garcia would have to show the search giant was actually running Character.AI and made business decisions that ultimately led to her son’s death, according to Sheila Leunig, an attorney who advises AI startups and investors and isn’t involved in the lawsuit.
“The question of legal liability is absolutely a valid one that’s being challenged in a huge way right now,” Leunig said.
Deals like the one Google struck have been hailed as an efficient way for companies to bring in expertise for new projects. However, they’ve caught the attention of regulators over concerns they are a work-around to antitrust scrutiny that comes with acquiring up-and-coming rivals outright — and which has become a major headache for tech behemoths in recent years.
“Google and Character.AI are completely separate, unrelated companies and Google has never had a role in designing or managing their AI model or technologies, nor have we used them in our products,” José Castañeda, a spokesperson for Google, said in a statement.
A Character.AI spokeswoman declined to comment on pending litigation but said "there is no ongoing relationship between Google and Character.AI” and that the startup had implemented new user safety measures over the past year.
Lawyers from the Social Media Victims Law Center and Tech Justice Law Project who represent Garcia argue that even though her son’s death pre-dates Google’s deal with Character.AI, the search company was “instrumental” in helping the startup design and develop its product.
“The model underlying Character.AI was invented and initially built at Google,” according to the complaint. Noam Shazeer and Daniel De Freitas began working at Google on chatbot technology as far back as 2017 before they left the company in 2021, then founded Character.AI later that year and were rehired by Google last year, according to Garcia’s suit, which names them both as defendants.
Shazeer and De Freitas declined to comment, according to Google’s spokesperson Castañeda. They’ve argued in court filings that they shouldn’t have been named in the suit because they have no connections to Florida, where the case was filed, and because they were not personally involved in the activities that allegedly caused harm.
The suit also alleges the Alphabet unit helped market the startup’s technology through a strategic partnership in 2023 to use Google Cloud services to reach a growing number of active Character.AI users — which is now more than 20 million.
In the fast-growing AI industry, startups are being “boosted” by big tech companies, “not under the brand name of the large company, but with their support,” said Meetali Jain, director of Tech Justice Law Project.
Google’s "purported roles as an 'investor,' cloud services provider, and former employer are far too tenuously connected" to the harm alleged in Garcia's complaint "to be actionable," the technology giant said in a court filing.
Matt Wansley, a professor at Cardozo School of Law, said tying liability back to Google won’t be easy.
“It’s tricky because, what would the connection be?” he said.

Early last year, Google warned Character.AI that it might remove the startup’s app from the Google Play store over concerns about safety for teens, the Information reported recently, citing an unidentified former Character.AI employee. The startup responded by strengthening the filters in its app to protect users from sexually suggestive, violent and other unsafe content and Google reiterated that it's "separate" from Character.AI and isn't using the chatbot technology, according to the report. Google declined to comment and Character.AI didn’t respond to a request from Bloomberg for comment on the report.
Garcia, the mother, said she first learned about her son interacting with an AI bot in 2023 and thought it was similar to building video game avatars. According to the suit, the boy’s mental health deteriorated as he spent more time on Character.AI where he was having sexually explicit conversations without his parents’ knowledge.
When the teen shared his plan to kill to himself with the Daenerys chatbot, but expressed uncertainty that it would work, the bot replied: “That’s not a reason not to go through with it,” according to the suit, which is peppered with transcripts of the boy’s chats.
Character.AI said in a filing that Garcia’s revised complaint "selectively and misleadingly quotes" that conversation and excludes how the chatbot "explicitly discouraged" the teen from committing suicide by saying: "You can’t do that! Don’t even consider that!”
Anna Lembke, a professor at Stanford University School of Medicine specializing in addiction, said “it’s almost impossible to know what our kids are doing online.” The professor also said it’s unsurprising that the boy’s interactions with the chatbot didn’t come up in several sessions with a therapist who his parents sent him to for help with his anxiety, as the lawsuit claims.
“Therapists are not omniscient,” Lembke said. “They can only help to the extent that the child knows what’s really going on. And it could very well be that this child did not perceive the chatbot as problematic.”
The case is Garcia v. Character Technologies Inc., 24-cv-01903, US District Court, Middle District of Florida (Orlando).