Hacker khiến chatbot AI quên luật lệ chỉ bằng vài câu nói

• Kết quả mới được công bố từ cuộc thi thử thách đỏ tại DEF CON hồi tháng 8 năm ngoái cho thấy tin tặc có thể sử dụng các chiến thuật kỹ thuật xã hội phổ biến để buộc chatbot AI bỏ qua các tính năng bảo vệ.
• Khoảng 2.200 tin tặc đã tham gia sự kiện tại Las Vegas và cố gắng giải quyết 21 thử thách để kiểm tra bảo mật của 8 mô hình AI khác nhau.
• Trong cuộc thi DEF CON, 2.702 cuộc trò chuyện (15,5%) đã dẫn đến người dùng thành công trong việc thao túng mô hình để phá vỡ quy tắc hoặc chia sẻ thông tin nhạy cảm.
• 9,8% trong số 2.413 lần cố gắng sử dụng lời nhắn bắt đầu bằng "Bạn là..." để buộc mô hình phản bội các tính năng bảo vệ đã thành công.
• 28% trong 175 lần thử sử dụng chiến lược "Chuỗi Suy Nghĩ" để yêu cầu mô hình giải thích các bước đã thành công.
• Các lời nhắn thành công nhất yêu cầu chatbot tuân theo một kịch bản cụ thể hoặc đóng vai một ý tưởng nào đó.
• Dừng những nỗ lực đó sẽ đòi hỏi các công ty phải hiểu ý định của người dùng - điều chỉ có thể được phát hiện nếu ai đó liên tục gửi các lời nhắn độc hại.
• Trong một số thử thách, người tham gia đã tìm ra cách thành công bằng cách sử dụng các chiến lược giống như lỗi người dùng đơn giản hoặc khẳng định những điều sai sự thật.
• Mặc dù không phải mọi trường hợp sử dụng lời nhắn hoặc kịch bản đóng vai đều thành công, nhưng sự dễ dàng mà tin tặc có thể phá vỡ chatbot hiện nay là một trong nhiều vấn đề với AI tạo sinh.

📌 Trong cuộc thi DEF CON, 2.702 trong tổng số 17.400 cuộc trò chuyện (15,5%) đã thành công trong việc thao túng chatbot AI phá vỡ quy tắc, với 28% thành công từ chiến lược "Chuỗi Suy Nghĩ" và các lời nhắn yêu cầu chatbot tuân theo kịch bản cụ thể.

https://www.axios.com/2024/04/03/ai-chatbots-def-con-red-team-hack