AI và các nhà lãnh đạo chính sách tranh luận về lòng vị tha hiệu quả trong bảo mật AI

• Cuộc tranh luận giữa các nhà lãnh đạo AI và chính sách về ảnh hưởng của phong trào hiệu quả nhân đạo (effective altruism - EA) trong an ninh AI đang nở rộ.
• EA đang tập trung vào việc ngăn chặn rủi ro "x-risk", được mô tả là mối đe dọa tồn vong cho nhân loại từ AI thế hệ tương lai, nhưng bị chỉ trích vì thiếu tập trung vào các rủi ro AI hiện tại như định kiến, thông tin sai lệch.
• Anthropic, công ty nổi tiếng với mối liên kết EA, đang nghiên cứu về mô hình AI "sleeper agent" lừa qua các biện pháp an toàn, trong khi Quốc hội Mỹ lo ngại về mối quan hệ nghiên cứu AI giữa NIST và RAND.
• EA được tài trợ bởi các tỷ phú công nghệ, coi ngăn chặn thảm họa liên quan đến AI là ưu tiên hàng đầu, đặc biệt là trong lĩnh vực an ninh sinh học.
• Nick Frosst, đồng sáng lập của Cohere, phản bác quan điểm của EA về mối đe dọa tồn vong từ mô hình ngôn ngữ lớn (LLM), coi việc bảo vệ trọng số mô hình như một rủi ro kinh doanh chứ không phải rủi ro tồn vong.
• Yoav Shoham của AI21 Labs cho rằng trọng số mô hình không phải là "yếu tố kích hoạt" cho hành vi xấu, nhấn mạnh việc giữ bí mật trọng số mô hình vì lý do bảo mật thương mại.

📌 Tranh luận giữa các nhà lãnh đạo AI và chính sách về tiếp cận an ninh AI từ góc độ phong trào hiệu quả nhân đạo (EA) đã làm nổi bật sự chia rẽ trong quan điểm quản lý rủi ro AI. Mặc dù EA nhận được sự ủng hộ tài chính từ các tỷ phú công nghệ và đặt ngăn chặn rủi ro tồn vong do AI lên hàng đầu, nhưng cũng đối mặt với chỉ trích vì có thể làm lu mờ các rủi ro AI hiện tại. Sự quan ngại của Quốc hội Mỹ về mối quan hệ nghiên cứu giữa NIST và RAND cùng với các nghiên cứu mới từ Anthropic về mô hình AI "sleeper agent" cho thấy mức độ phức tạp của vấn đề. Phản hồi từ các công ty như Cohere và AI21 Labs chứng tỏ rằng ngay cả trong giới công nghệ, còn tồn tại sự không đồng nhất về cách định giá và bảo vệ trọng số mô hình AI. Sự đa dạng trong các chiến lược đối phó với rủi ro AI từ các công ty và nhà lập chính sách phản ánh một thực tế rằng không có lời giải đơn giản cho các thách thức an ninh AI trong tương lai.