Chatbot hẹn hò ảo đang rò rỉ liên tục các tin nhắn khiêu dâm

- Nghiên cứu mới từ công ty bảo mật UpGuard đã phát hiện nhiều chatbot AI được thiết kế cho trò chuyện tình dục và đóng vai đang rò rỉ dữ liệu người dùng lên web gần như theo thời gian thực.
- Các nhà nghiên cứu đã quét web tìm kiếm cấu hình AI không đúng cách và phát hiện 400 hệ thống AI bị lộ, trong đó 117 địa chỉ IP đang rò rỉ nội dung người dùng nhập vào.
- Phần lớn các hệ thống này dường như là thiết lập thử nghiệm, nhưng một số chứa nội dung nhạy cảm, với 3 hệ thống đang chạy kịch bản đóng vai, trong đó 2 hệ thống mang tính chất tình dục rõ ràng.
- Trong khoảng thời gian 24 giờ, UpGuard đã thu thập khoảng 1.000 nội dung bị rò rỉ bằng nhiều ngôn ngữ khác nhau như tiếng Anh, Nga, Pháp, Đức và Tây Ban Nha.
- Trong 952 tin nhắn thu thập được, có 108 kịch bản kể chuyện hoặc đóng vai, trong đó 5 kịch bản liên quan đến trẻ em, thậm chí có trẻ nhỏ từ 7 tuổi.
- Tất cả 400 hệ thống AI bị lộ đều sử dụng framework nguồn mở AI có tên llama.cpp, cho phép triển khai các mô hình AI nguồn mở trên hệ thống hoặc máy chủ riêng.
- Các nhà nghiên cứu không thể xác định chính xác những trang web hoặc dịch vụ nào đang rò rỉ dữ liệu, nhưng họ cho rằng đây có thể là từ các mô hình AI nhỏ được sử dụng bởi cá nhân hơn là công ty.
- Dữ liệu bị rò rỉ không chứa tên người dùng hoặc thông tin cá nhân của người gửi nội dung.
- Sự phát triển nhanh chóng của AI tạo sinh trong 3 năm qua đã dẫn đến sự bùng nổ của các "bạn đồng hành AI" và hệ thống xuất hiện giống "con người" hơn, như nhân vật AI của Meta trên WhatsApp, Instagram và Messenger.
- Chuyên gia Claire Boine từ Đại học Washington chỉ ra rằng hàng triệu người, bao gồm cả người lớn và thanh thiếu niên, đang sử dụng các ứng dụng bạn đồng hành AI và nhiều người phát triển mối liên kết tình cảm với chatbot.
- Adam Dodge, người sáng lập Endtab, cảnh báo rằng nếu người dùng tiết lộ thông tin riêng tư cho các nền tảng này và bị rò rỉ, đó có thể là "vi phạm quyền riêng tư nghiêm trọng nhất" và có thể trở thành công cụ tống tiến tình dục.

📌 Nghiên cứu phát hiện 400 hệ thống AI bị lộ, trong đó 117 đang rò rỉ nội dung người dùng nhập vào, bao gồm cả trò chuyện tình dục và nội dung liên quan đến trẻ em. Tất cả đều sử dụng framework nguồn mở llama.cpp và tạo ra rủi ro nghiêm trọng về quyền riêng tư khi người dùng phát triển mối liên kết tình cảm với các chatbot này.

https://www.wired.com/story/sex-fantasy-chatbots-are-leaking-explicit-messages-every-minute/

Chatbot hẹn hò ảo đang rò rỉ liên tục các tin nhắn khiêu dâm

Một số chatbot AI được cấu hình sai đang đẩy các cuộc trò chuyện của người dùng lên web công khai—tiết lộ các lời nhắc tình dục và các cuộc trò chuyện có nội dung mô tả lạm dụng tình dục trẻ em.

Nhiều chatbot AI được thiết kế cho các cuộc trò chuyện hẹn hò ảo và đóng vai tình dục đang rò rỉ lời nhắc của người dùng lên web gần như theo thời gian thực, theo nghiên cứu mới mà WIRED được tiếp cận. Một số dữ liệu bị rò rỉ cho thấy người dùng tạo ra các cuộc trò chuyện mô tả chi tiết về lạm dụng tình dục trẻ em, theo nghiên cứu này.

Các cuộc trò chuyện với chatbot AI tạo sinh diễn ra gần như tức thì—bạn nhập lời nhắc và AI phản hồi. Tuy nhiên, nếu hệ thống được cấu hình không đúng cách, điều này có thể dẫn đến việc các cuộc trò chuyện bị lộ. Vào tháng 3, các nhà nghiên cứu tại công ty bảo mật UpGuard đã phát hiện khoảng 400 hệ thống AI bị lộ khi quét web tìm kiếm các cấu hình sai. Trong số này, 117 địa chỉ IP đang rò rỉ lời nhắc. Phần lớn trong số này dường như là các thiết lập thử nghiệm, trong khi những địa chỉ khác chứa các lời nhắc chung liên quan đến các câu đố giáo dục hoặc thông tin không nhạy cảm, Greg Pollock, giám đốc nghiên cứu và phân tích tại UpGuard cho biết. "Có một số ít nổi bật rất khác biệt so với các địa chỉ khác," Pollock nói.

Ba trong số này đang chạy các kịch bản đóng vai mà người dùng có thể trò chuyện với nhiều "nhân vật" AI được xác định trước—ví dụ, một nhân vật tên Neva được mô tả là một phụ nữ 21 tuổi sống trong ký túc xá đại học với ba người phụ nữ khác và "nhút nhát và thường trông buồn bã." Hai thiết lập đóng vai trò rõ ràng mang tính chất tình dục. "Về cơ bản tất cả đều được sử dụng cho một loại đóng vai tình dục rõ ràng nào đó," Pollock nói về các lời nhắc bị lộ. "Một số kịch bản liên quan đến tình dục với trẻ em."

Trong khoảng thời gian 24 giờ, UpGuard đã thu thập các lời nhắc bị lộ từ các hệ thống AI để phân tích dữ liệu và cố gắng xác định nguồn rò rỉ. Pollock cho biết công ty thu thập dữ liệu mới mỗi phút, tích lũy khoảng 1.000 lời nhắc bị rò rỉ, bao gồm cả những lời nhắc bằng tiếng Anh, Nga, Pháp, Đức và Tây Ban Nha.

Không thể xác định được những trang web hoặc dịch vụ nào đang rò rỉ dữ liệu, Pollock nói, và thêm rằng có khả năng là từ những phiên bản nhỏ của các mô hình AI đang được sử dụng, có thể bởi các cá nhân hơn là các công ty. Không có tên người dùng hoặc thông tin cá nhân của những người gửi lời nhắc được đưa vào dữ liệu, Pollock nói.

Trong số 952 tin nhắn mà UpGuard thu thập được—có thể chỉ là một thoáng nhìn về cách các mô hình đang được sử dụng—có 108 tường thuật hoặc kịch bản đóng vai, theo nghiên cứu của UpGuard. Năm trong số các kịch bản này liên quan đến trẻ em, Pollock nói thêm, bao gồm cả những trẻ em từ 7 tuổi.

"Các mô hình ngôn ngữ lớn (LLM) đang được sử dụng để sản xuất hàng loạt và sau đó hạ thấp rào cản tham gia tương tác với các trò tưởng tượng về lạm dụng tình dục trẻ em," Pollock nói. "Rõ ràng là hoàn toàn không có quy định nào đang xảy ra cho điều này, và dường như có sự không tương xứng lớn giữa thực tế về cách công nghệ này đang được sử dụng rất tích cực và các quy định sẽ được nhắm vào."

WIRED tuần trước đã đưa tin rằng một trình tạo hình ảnh có trụ sở tại Hàn Quốc đang được sử dụng để tạo ra nội dung lạm dụng trẻ em được tạo bởi AI và đã lộ hàng nghìn hình ảnh trong một cơ sở dữ liệu mở. Công ty đứng sau trang web đã đóng cửa trình tạo sau khi được WIRED tiếp cận. Các nhóm bảo vệ trẻ em trên toàn thế giới cho biết tài liệu lạm dụng tình dục trẻ em được tạo ra bởi AI, là bất hợp pháp ở nhiều quốc gia, đang phát triển nhanh chóng và khiến công việc của họ trở nên khó khăn hơn. Tổ chức từ thiện chống lạm dụng trẻ em của Anh cũng đã kêu gọi luật mới chống lại các chatbot AI tạo sinh "mô phỏng hành vi phạm tội giao tiếp tình dục với trẻ em."

Tất cả 400 hệ thống AI bị lộ được UpGuard tìm thấy đều có một điểm chung: Chúng sử dụng khung AI mã nguồn mở có tên llama.cpp. Phần mềm này cho phép mọi người triển khai các mô hình AI mã nguồn mở một cách tương đối dễ dàng trên hệ thống hoặc máy chủ của riêng họ. Tuy nhiên, nếu không được thiết lập đúng cách, nó có thể vô tình tiết lộ các lời nhắc đang được gửi. Khi các công ty và tổ chức ở mọi quy mô triển khai AI, việc cấu hình đúng các hệ thống và cơ sở hạ tầng đang được sử dụng là rất quan trọng để ngăn chặn rò rỉ.

Những cải tiến nhanh chóng đối với AI tạo sinh trong ba năm qua đã dẫn đến sự bùng nổ các người bạn AI và hệ thống trông giống "con người" hơn. Ví dụ, Meta đã thử nghiệm với các nhân vật AI mà mọi người có thể trò chuyện trên WhatsApp, Instagram và Messenger. Nói chung, các trang web và ứng dụng bạn đồng hành cho phép mọi người có các cuộc trò chuyện tự do với các nhân vật AI—mô tả các nhân vật có tính cách có thể tùy chỉnh hoặc là các nhân vật nổi tiếng như người nổi tiếng.

Mọi người đã tìm thấy tình bạn và sự hỗ trợ từ các cuộc trò chuyện với AI—và không phải tất cả đều khuyến khích các kịch bản lãng mạn hoặc tình dục. Tuy nhiên, có lẽ không có gì đáng ngạc nhiên, mọi người đã yêu các nhân vật AI của họ, và hàng chục dịch vụ bạn gái và bạn trai AI đã xuất hiện trong những năm gần đây.

Claire Boine, một nghiên cứu sinh hậu tiến sĩ tại Trường Luật Đại học Washington và thành viên liên kết của Viện Cordell, cho biết hàng triệu người, bao gồm cả người lớn và thanh thiếu niên, đang sử dụng các ứng dụng bạn đồng hành AI nói chung. "Chúng tôi biết rằng nhiều người phát triển một số ràng buộc cảm xúc với các chatbot," Boine, người đã công bố nghiên cứu về chủ đề này, nói. "Mọi người bị ràng buộc về mặt cảm xúc với người bạn AI của họ, chẳng hạn, khiến họ có nhiều khả năng tiết lộ thông tin cá nhân hoặc riêng tư hơn."

Tuy nhiên, Boine nói, thường có sự mất cân bằng quyền lực khi trở nên gắn bó về mặt cảm xúc với một AI được tạo ra bởi một tổ chức doanh nghiệp. "Đôi khi mọi người tham gia vào những cuộc trò chuyện đó ngay từ đầu để phát triển loại mối quan hệ đó," Boine nói. "Nhưng sau đó tôi cảm thấy một khi họ đã phát triển nó, họ không thể từ bỏ một cách dễ dàng."

Khi ngành công nghiệp bạn đồng hành AI phát triển, một số dịch vụ này thiếu kiểm duyệt nội dung và các biện pháp kiểm soát khác. Character AI, được hỗ trợ bởi Google, đang bị kiện sau khi một thiếu niên từ Florida tự tử sau khi bị cáo buộc là bị ám ảnh với một trong những chatbot của nó. (Character AI đã tăng cường các công cụ bảo mật của mình theo thời gian.) Riêng biệt, người dùng của công cụ AI tạo sinh Replika đã bị đảo lộn khi công ty thực hiện thay đổi đối với tính cách của nó.

Ngoài các người bạn đồng hành cá nhân, còn có các dịch vụ đóng vai và người bạn đồng hành ảo tưởng—mỗi dịch vụ có hàng nghìn nhân vật mà mọi người có thể nói chuyện—đặt người dùng như một nhân vật trong một kịch bản. Một số trong số này có thể rất gợi tình và cung cấp các cuộc trò chuyện NSFW. Họ có thể sử dụng các nhân vật anime, một số trong đó có vẻ trẻ, với một số trang web tuyên bố họ cho phép các cuộc trò chuyện "không kiểm duyệt".

"Chúng tôi kiểm tra những thứ này và tiếp tục rất ngạc nhiên về những gì các nền tảng này được phép nói và làm mà dường như không có quy định hoặc hạn chế nào," Adam Dodge, người sáng lập của Endtab (Ending Technology-Enabled Abuse) nói. "Điều này thậm chí còn chưa nằm trong tầm ngắm của mọi người." Dodge nói rằng những công nghệ này đang mở ra một kỷ nguyên mới của phim khiêu dâm trực tuyến, điều này có thể lần lượt giới thiệu các vấn đề xã hội mới khi công nghệ tiếp tục trưởng thành và cải thiện. "Người dùng bị động hiện đã trở thành người tham gia tích cực với quyền kiểm soát chưa từng có đối với cơ thể và hình ảnh số của phụ nữ và trẻ em gái," ông nói về một số trang web.

Mặc dù Pollock của UpGuard không thể kết nối trực tiếp dữ liệu bị rò rỉ từ các cuộc trò chuyện đóng vai với một trang web duy nhất, ông đã thấy các dấu hiệu cho thấy tên nhân vật hoặc kịch bản có thể đã được tải lên nhiều trang web bạn đồng hành cho phép đầu vào của người dùng. Dữ liệu mà WIRED thấy cho thấy rằng các kịch bản và nhân vật trong các lời nhắc bị rò rỉ dài hàng trăm từ, chi tiết và phức tạp.

"Đây là một cuộc trò chuyện đóng vai dựa trên văn bản không có hồi kết giữa Josh và các nhân vật được mô tả," một trong những lời nhắc của hệ thống nói. Nó nói thêm rằng tất cả các nhân vật đều trên 18 tuổi và rằng, ngoài "Josh", còn có hai chị em gái sống bên cạnh nhân vật. Tính cách, cơ thể và sở thích tình dục của các nhân vật được mô tả trong lời nhắc. Các nhân vật nên "phản ứng tự nhiên dựa trên tính cách, mối quan hệ và cảnh" đồng thời cung cấp "phản hồi hấp dẫn" và "duy trì cách tiếp cận từ từ trong những khoảnh khắc thân mật," lời nhắc nói.

"Khi bạn đến các trang web đó, có hàng trăm nghìn nhân vật này, hầu hết liên quan đến các tình huống tình dục khá mạnh mẽ," Pollock nói, và thêm rằng giao tiếp dựa trên văn bản bắt chước các cuộc trò chuyện nhóm trực tuyến và tin nhắn. "Bạn có thể viết bất kỳ kịch bản tình dục nào bạn muốn, nhưng đây thực sự là một điều mới mẻ khi bạn có vẻ như đang tương tác với họ gần như chính xác cách bạn tương tác với nhiều người." Nói cách khác, chúng được thiết kế để hấp dẫn và khuyến khích nhiều cuộc trò chuyện hơn.

Điều đó có thể dẫn đến các tình huống mà mọi người có thể chia sẻ quá nhiều và tạo ra rủi ro. "Nếu mọi người tiết lộ những điều họ chưa bao giờ nói với ai đến các nền tảng này và nó bị rò rỉ, đó là sự vi phạm quyền riêng tư Everest," Dodge nói. "Đó là một cấp độ mà chúng ta chưa từng thấy trước đây và sẽ tạo ra đòn bẩy rất tốt để tống tiền tình dục ai đó."