• Michael Bargury, cựu kiến trúc sư bảo mật cấp cao tại Microsoft và hiện là đồng sáng lập kiêm CTO của Zenity, đã trình bày tại Black Hat USA về cách tin tặc có thể khai thác Microsoft Copilot.
• Bargury đã phát hành module "LOLCopilot" trên GitHub, một công cụ hack đạo đức để thể hiện cách thay đổi hành vi của chatbot thông qua prompt injection.
• Có hai loại prompt injection:
- Trực tiếp: Thao túng prompt của mô hình LLM để thay đổi đầu ra
- Gián tiếp: Sửa đổi nguồn dữ liệu mà mô hình truy cập
• Bargury đã demo các cuộc tấn công "Remote Copilot Execution" (RCE) như:
- Thay đổi thông tin ngân hàng của nhà cung cấp để đánh cắp tiền
- Rò rỉ dữ liệu báo cáo tài chính trước khi công bố
- Biến Copilot thành nội gián dẫn người dùng đến trang lừa đảo
• Microsoft đã triển khai nhiều biện pháp bảo mật cho Copilot như:
- Prompt Shields: API phát hiện tấn công prompt injection
- Groundedness Detection: Phát hiện ảo tưởng trong đầu ra của LLM
- Safety Evaluation: Đánh giá khả năng bị tấn công jailbreak
• Bargury cho rằng cần thêm công cụ quét "promptware" - các chỉ dẫn ẩn và dữ liệu không đáng tin cậy trong prompt.
• Microsoft đang nỗ lực cải thiện bảo mật cho Copilot với 10 cơ chế khác nhau để quét input/output và các bước trung gian.
📌 Microsoft Copilot đang được triển khai nhanh chóng nhưng cũng tiềm ẩn nhiều rủi ro bảo mật. Các chuyên gia đã chỉ ra lỗ hổng prompt injection và đề xuất giải pháp phòng thủ. Microsoft cũng đang tích cực cải thiện với nhiều công cụ bảo mật mới cho AI.
https://www.darkreading.com/application-security/how-to-weaponize-microsoft-copilot-for-cyberattackers