Sự thật gây sốc về AI agents: Càng dùng nhiều càng dễ sai lầm, nguy cơ mất kiểm soát

  • Nhiều công ty tại Silicon Valley đang sử dụng AI agents cho các tác vụ đa bước như quản lý email, tự động bán hàng, kỹ thuật phức tạp.

  • Công nghệ AI agent có thể thực hiện hàng trăm bước liên tiếp, tự học từ môi trường và hỗ trợ ra quyết định cho doanh nghiệp.

  • Một số công ty nổi bật: Regie AI dùng agent cho bán hàng tự động, Cognition AI phát triển agent Devin xử lý tác vụ kỹ thuật, PwC giới thiệu nền tảng agent OS cho phép AI trao đổi và phối hợp tác vụ.

  • Patronus AI cảnh báo: càng nhiều bước, xác suất lỗi càng tăng. Ví dụ, agent có tỷ lệ lỗi 1% mỗi bước thì tới bước thứ 100, xác suất xuất hiện lỗi lên đến 63%.

  • Dữ liệu thực tế còn tệ hơn: Quintin Au (ScaleAI) cho biết, cứ mỗi hành động AI thực hiện thì có 20% khả năng sai; nếu tác vụ gồm 5 bước, xác suất hoàn thành hoàn hảo chỉ còn 32%.

  • Demis Hassabis (CEO DeepMind) so sánh tỷ lệ lỗi của agent giống như "lãi suất kép", càng nhiều tác vụ nối tiếp, xác suất sai sót càng tăng, đặc biệt trong môi trường thật với thông tin chưa hoàn chỉnh.

  • Các lỗi lặp lại, ảo giác và sai sót liên tục có thể gây tổn thất doanh thu hoặc mất khách hàng khi doanh nghiệp phơi nhiễm quá nhiều vào AI.

  • Giải pháp giảm rủi ro: thiết lập "guardrail" - hàng rào bảo vệ như bộ lọc, quy tắc kiểm tra, công cụ nhận diện và loại bỏ nội dung sai nhằm giảm khả năng phơi nhiễm lỗi.

  • Patronus AI cho biết chỉ cần cải thiện nhỏ trong kiểm soát cũng giúp giảm mạnh xác suất lỗi tổng thể.

  • CEO Patronus AI (Anand Kannappan) khuyến nghị bổ sung các bước kiểm tra trực tiếp, cho phép agent dừng hoặc thử lại tác vụ khi nghi ngờ sai sót.

  • Nhà đồng sáng lập Contextual AI (Douwe Kiela) nhấn mạnh cần đo lường hiệu suất AI một cách tổng thể và nghiêm ngặt thay vì chỉ nhìn những kết quả tích cực.

📌 AI agents đầy tiềm năng nhưng càng thực hiện nhiều bước thì nguy cơ lỗi càng lớn. Các nghiên cứu cho thấy chỉ với tỷ lệ lỗi 1% mỗi bước, khả năng sai sót tích lũy tới 63% khi tác vụ kéo dài 100 bước. Thiết lập guardrail là giải pháp hiệu quả giúp doanh nghiệp giảm rủi ro mất doanh thu và kiểm soát tốt hơn AI.

 

https://www.businessinsider.com/ai-agents-errors-hallucinations-compound-risk-2025-4

Thảo luận

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo