Anthropic treo thưởng 15.000 USD cho hacker: cuộc đua mới trong an toàn AI

• Anthropic, startup AI được Amazon hậu thuẫn, vừa triển khai chương trình tiền thưởng lỗi mở rộng vào ngày 8/8/2024, cung cấp phần thưởng lên tới 15.000 USD cho việc xác định các lỗ hổng nghiêm trọng trong hệ thống AI của họ.

• Chương trình nhắm vào các cuộc tấn công "jailbreak phổ quát" - các phương pháp có thể liên tục vượt qua các rào cản an toàn AI trong các lĩnh vực rủi ro cao như mối đe dọa hóa học, sinh học, phóng xạ và hạt nhân (CBRN) cũng như an ninh mạng.

• Anthropic sẽ mời các hacker đạo đức thử nghiệm hệ thống giảm thiểu an toàn thế hệ tiếp theo của họ trước khi triển khai công khai, nhằm ngăn chặn các lỗ hổng tiềm ẩn có thể dẫn đến việc lạm dụng mô hình AI của họ.

• Động thái này diễn ra trong bối cảnh Cơ quan Cạnh tranh và Thị trường của Vương quốc Anh vừa công bố điều tra khoản đầu tư 4 tỷ USD của Amazon vào Anthropic, viện dẫn các vấn đề cạnh tranh tiềm ẩn.

• Cách tiếp cận của Anthropic khác biệt so với các công ty AI lớn khác. OpenAI và Google duy trì các chương trình tiền thưởng lỗi, nhưng thường tập trung vào các lỗ hổng phần mềm truyền thống hơn là các lỗ hổng đặc thù cho AI.

• Meta đã phải đối mặt với chỉ trích vì lập trường tương đối khép kín về nghiên cứu an toàn AI. Việc Anthropic nhắm mục tiêu rõ ràng vào các vấn đề an toàn AI và mời gọi sự giám sát từ bên ngoài thiết lập một tiêu chuẩn mới về tính minh bạch trong lĩnh vực này.

• Tuy nhiên, hiệu quả của tiền thưởng lỗi trong việc giải quyết toàn bộ phổ an toàn AI vẫn còn gây tranh cãi. Việc xác định và vá các lỗ hổng cụ thể là có giá trị, nhưng có thể không giải quyết được các vấn đề cơ bản hơn về sự phù hợp của AI và an toàn lâu dài.

• Sáng kiến của Anthropic cũng nhấn mạnh vai trò ngày càng tăng của các công ty tư nhân trong việc thiết lập các tiêu chuẩn an toàn AI. Khi chính phủ đang vật lộn để theo kịp những tiến bộ nhanh chóng, các công ty công nghệ ngày càng đi đầu trong việc thiết lập các thông lệ tốt nhất.

• Chương trình tiền thưởng lỗi mở rộng sẽ bắt đầu như một sáng kiến chỉ mời tham gia hợp tác với HackerOne, một nền tảng kết nối các tổ chức với các nhà nghiên cứu an ninh mạng.

• Anthropic có kế hoạch mở rộng chương trình này trong tương lai, có khả năng tạo ra một mô hình hợp tác toàn ngành về an toàn AI.

📌 Anthropic đặt ra tiêu chuẩn mới cho an toàn AI với chương trình tiền thưởng lỗi 15.000 USD, nhắm vào các cuộc tấn công jailbreak phổ quát. Sáng kiến này thúc đẩy minh bạch và hợp tác trong ngành, đồng thời nêu bật vai trò của các công ty tư nhân trong việc định hình quản trị AI.

https://venturebeat.com/ai/anthropic-offers-15000-bounties-to-hackers-in-push-for-ai-safety/