• Tại hội nghị Black Hat USA, các chuyên gia an ninh mạng đã thảo luận về mối đe dọa từ AI, trong đó nổi bật là bài trình bày của Michael Bargury về 5 cách Microsoft Copilot có thể bị lợi dụng làm công cụ tấn công.
• Bargury đã chứng minh cách Copilot có thể bị biến thành "cỗ máy lừa đảo tự động" bằng cách sử dụng chính các tính năng được thiết kế của nó.
• 5 phương pháp tấn công bao gồm:
- Truy cập dữ liệu nhạy cảm từ tài khoản email đã bị xâm nhập
- Mô phỏng phong cách viết của nạn nhân để gửi email lừa đảo hàng loạt
- Vượt qua quyền truy cập bằng cách sử dụng các từ khóa đặc biệt
- Đánh cắp giao dịch tài chính bằng cách đánh lừa nhân viên chuyển tiền sai địa chỉ
- Dẫn dắt người dùng đến các trang web lừa đảo
• Các kỹ thuật tấn công này không chỉ giới hạn ở Microsoft mà còn áp dụng cho các mô hình ngôn ngữ lớn (LLM) khác.
• Chuyên gia bảo mật của Nvidia cũng đề cập đến các cuộc tấn công LLM phổ biến như xử lý sai quyền truy cập tài liệu và tấn công prompt injection.
• Microsoft đang làm việc với Bargury để khắc phục các lỗ hổng được phát hiện.
• Các công ty đối thủ cũng đang phát triển trợ lý AI tương tự, do đó cũng đối mặt với các rủi ro tương tự.
• AI tạo sinh đã làm thay đổi hoàn toàn bối cảnh an ninh mạng kể từ khi ChatGPT ra mắt năm 2022.
• Mặc dù AI tạo ra các mối đe dọa mới, nó cũng cung cấp các công cụ mới để tăng cường phản ứng bảo mật.
• Các nhà tuyển dụng đang phải đối mặt với số lượng lớn hồ sơ ứng tuyển chất lượng thấp được tạo bằng AI, ước tính khoảng 50% ứng viên sử dụng các công cụ như ChatGPT.
• OpenAI cảnh báo về khả năng người dùng có thể phát triển tình cảm với GPT-4 do giọng nói siêu thực tế của nó, dẫn đến việc tin tưởng quá mức vào thông tin sai lệch.
📌 AI đang tạo ra cả cơ hội và thách thức mới cho an ninh mạng. Trong khi các công cụ như Microsoft Copilot có thể bị lợi dụng làm vũ khí tấn công, chúng cũng cung cấp phương tiện để tăng cường bảo mật. Các doanh nghiệp cần cảnh giác trước các rủi ro mới và liên tục cập nhật biện pháp phòng vệ.
https://fortune.com/2024/08/13/microsoft-ai-copilot-hacking-prompt-injectoin-attack-black-hat/