GPT-4o Mini với phương pháp an toàn mới ngăn chặn lỗ hổng "bỏ qua tất cả hướng dẫn trước đó"

- OpenAI ra mắt mô hình mới GPT-4o Mini áp dụng phương pháp an toàn mới để ngăn chặn việc đánh lừa chatbot thông qua lỗ hổng "bỏ qua tất cả hướng dẫn trước đó".
- Kỹ thuật "hệ thống hướng dẫn phân cấp" được phát triển bởi các nhà nghiên cứu OpenAI tăng cường khả năng phòng thủ của mô hình trước việc lạm dụng và hướng dẫn trái phép.
- Mô hình áp dụng kỹ thuật này sẽ ưu tiên prompt gốc của nhà phát triển hơn là lắng nghe các prompt mà người dùng đưa ra để phá vỡ nó.
- GPT-4o Mini là mô hình đầu tiên nhận được phương pháp an toàn mới này. Nó sẽ ngăn chặn các prompt injection (lệnh đánh lừa AI) lan truyền trên mạng.
- Cơ chế an toàn mới này hướng tới mục tiêu của OpenAI là xây dựng các tác nhân tự động hóa hoàn toàn để vận hành cuộc sống kỹ thuật số. Nó là cần thiết trước khi triển khai các tác nhân quy mô lớn.
- Các mô hình ngôn ngữ lớn (LLM) hiện tại thiếu khả năng phân biệt giữa prompt của người dùng và hướng dẫn hệ thống của nhà phát triển. Phương pháp mới sẽ ưu tiên cao nhất cho hướng dẫn hệ thống.
- Cách xác định prompt sai lệch là huấn luyện mô hình phát hiện prompt xấu và đơn giản phản hồi rằng nó không thể giúp với yêu cầu đó.
- Trong tương lai, OpenAI hình dung sẽ có các rào cản phức tạp hơn, đặc biệt cho các trường hợp sử dụng tác nhân.
- OpenAI đã phải đối mặt với nhiều lo ngại về an toàn liên tục. Niềm tin vào công ty đã bị tổn hại một thời gian.

📌 GPT-4o Mini của OpenAI áp dụng kỹ thuật "hệ thống hướng dẫn phân cấp" mới để chặn lỗ hổng "bỏ qua hướng dẫn trước đó" thường dùng để đánh lừa chatbot. Mô hình sẽ ưu tiên prompt gốc của nhà phát triển, phát hiện prompt xấu và từ chối yêu cầu. Đây là bước đi cần thiết trước khi triển khai các tác nhân tự động hóa quy mô lớn trong bối cảnh OpenAI đang đối mặt nhiều lo ngại về an toàn.

https://www.theverge.com/2024/7/19/24201414/openai-chatgpt-gpt-4o-prompt-injection-instruction-hierarchy