RobustRAG: Framework phòng thủ mới chống tấn công làm sai lệch RAG

- Tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) là chiến lược mạnh mẽ cải thiện khả năng của các mô hình ngôn ngữ lớn (LLM) bằng cách tích hợp kiến thức bên ngoài. Tuy nhiên, RAG dễ bị tấn công làm sai lệch kết quả truy xuất.

- Các tác nhân độc hại đưa các đoạn mã độc vào tập hợp tài liệu truy xuất, khiến mô hình tạo ra câu trả lời sai lệch hoặc gây hiểu lầm. Điều này đe dọa nghiêm trọng độ tin cậy của các hệ thống sử dụng RAG.

- Nghiên cứu từ Đại học Princeton và UC Berkeley giới thiệu RobustRAG, framework phòng thủ độc đáo đầu tiên được thiết kế riêng để chống lại các mối đe dọa này. 

- Chiến thuật chính của RobustRAG là phương pháp "cô lập rồi tổng hợp". Mô hình phân tích riêng từng văn bản truy xuất để đưa ra câu trả lời riêng biệt. Sau đó kết hợp an toàn các câu trả lời riêng lẻ để tạo ra câu trả lời cuối cùng.

- Các thuật toán dựa trên từ khóa và giải mã đã được phát triển để tổng hợp an toàn các câu trả lời văn bản phi cấu trúc và đạt được RobustRAG. Ngay cả khi một số đoạn văn bị nhiễm độc được truy xuất, các thuật toán này đảm bảo giảm thiểu ảnh hưởng của chúng trong quá trình tổng hợp.

- Một điểm mạnh chính của RobustRAG là khả năng đạt được độ mạnh có chứng nhận. Với một số loại truy vấn nhất định, có thể chứng minh một cách hình thức rằng RobustRAG sẽ luôn tạo ra kết quả chính xác, ngay cả khi kẻ tấn công biết mọi chi tiết về các biện pháp phòng thủ và có thể đưa vào một số lượng hữu hạn các đoạn mã độc hại.

- Các thử nghiệm trên nhiều bộ dữ liệu, bao gồm trả lời câu hỏi miền mở (QA) và tạo văn bản dài, đã chứng minh hiệu quả và tính linh hoạt của RobustRAG. RobustRAG không chỉ cung cấp khả năng bảo vệ mạnh mẽ chống lại các cuộc tấn công làm sai lệch kết quả truy xuất mà còn hoạt động tốt trong việc tổng quát hóa trên các tập dữ liệu và khối lượng công việc khác nhau.

📌 RobustRAG là framework phòng thủ đầu tiên được thiết kế riêng để chống lại các cuộc tấn công làm sai lệch kết quả truy xuất trong các hệ thống RAG. Với các kỹ thuật tổng hợp văn bản an toàn dựa trên từ khóa và giải mã, RobustRAG đã được chứng minh là mạnh mẽ và linh hoạt trên nhiều bộ dữ liệu và mô hình ngôn ngữ lớn khác nhau, mang lại độ tin cậy cao ngay cả khi có mã độc trong dữ liệu truy xuất.

https://www.marktechpost.com/2024/06/01/robustrag-a-unique-defense-framework-developed-for-opposing-retrieval-corruption-attacks-in-retrieval-augmented-generation-rag-systems/