NIST phát hành công cụ Dioptra giúp kiểm tra rủi ro mô hình AI, đặc biệt là tấn công "đầu độc" dữ liệu huấn luyện

• Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) vừa tái phát hành Dioptra - một công cụ kiểm tra nhằm đo lường tác động của các cuộc tấn công độc hại, đặc biệt là tấn công "đầu độc" dữ liệu huấn luyện, đối với hiệu suất của hệ thống AI.

• Dioptra là một công cụ web mã nguồn mở, mô-đun hóa, được thiết kế để giúp các công ty huấn luyện mô hình AI và người dùng đánh giá, phân tích và theo dõi rủi ro AI. 

• Công cụ này có thể được sử dụng để đánh giá và nghiên cứu các mô hình, cũng như cung cấp nền tảng chung để mô phỏng các mối đe dọa trong môi trường "red-teaming".

• Dioptra được phát hành cùng với các tài liệu từ NIST và Viện An toàn AI mới thành lập của NIST, đưa ra các cách để giảm thiểu một số nguy cơ của AI.

• Công cụ này là kết quả của sắc lệnh hành pháp về AI của Tổng thống Biden, yêu cầu NIST hỗ trợ kiểm tra hệ thống AI.

• Tuy nhiên, Dioptra chỉ hoạt động với các mô hình có thể tải xuống và sử dụng cục bộ như Meta's Llama. Các mô hình bị giới hạn bởi API như GPT-4 của OpenAI hiện không thể sử dụng được.

• Việc đánh giá AI gặp nhiều thách thức do các mô hình AI phức tạp ngày nay thường là "hộp đen" với cơ sở hạ tầng, dữ liệu huấn luyện và các chi tiết quan trọng khác được giữ bí mật bởi các công ty tạo ra chúng.

• Một báo cáo gần đây từ Viện Ada Lovelace cho thấy chỉ đánh giá là không đủ để xác định mức độ an toàn thực tế của mô hình AI, một phần vì các chính sách hiện tại cho phép nhà cung cấp AI chọn lọc các đánh giá để thực hiện.

• NIST không khẳng định Dioptra có thể loại bỏ hoàn toàn rủi ro cho các mô hình, nhưng đề xuất rằng nó có thể làm sáng tỏ những loại tấn công nào có thể khiến hệ thống AI hoạt động kém hiệu quả hơn và định lượng tác động này đến hiệu suất.

📌 NIST phát hành công cụ Dioptra giúp kiểm tra rủi ro mô hình AI, đặc biệt là tấn công "đầu độc" dữ liệu huấn luyện. Tuy chỉ hoạt động với mô hình cục bộ, Dioptra hứa hẹn giúp đánh giá và theo dõi rủi ro AI tốt hơn, đáp ứng yêu cầu của sắc lệnh hành pháp về AI.

https://techcrunch.com/2024/07/27/nist-releases-a-tool-for-testing-ai-model-risk/