Microsoft ra công cụ mới ngăn chặn ảo giác của AI
- Microsoft giới thiệu loạt công cụ mới trên Azure AI nhằm giúp khách hàng ngăn chặn hiện tượng ảo giác của các mô hình AI.
- Tính năng phát hiện nội dung không có căn cứ (groundedness detection) giúp tìm và gắn cờ các nội dung không dựa trên thực tế hoặc thiếu logic trong phản hồi của chatbot.
- Lá chắn prompt (prompt shields) chặn các tấn công vào mô hình AI tạo sinh như prompt injection hoặc các prompt độc hại từ tài liệu bên ngoài.
- Hệ thống đánh giá tự động tạo ra các prompt mô phỏng các kiểu tấn công, sau đó đưa ra điểm số và kết quả dựa trên hiệu suất của mô hình.
- Microsoft sẽ sớm triển khai thêm hai tính năng giám sát và an toàn khác trên Azure AI.
- Các vấn đề liên quan đến ảo giác AI đã gây ra một số sự cố đáng ngại như hình ảnh sai lệch lịch sử từ Gemini AI của Google hay các phản hồi vô nghĩa, ảo giác từ ChatGPT gần đây.
📌 Microsoft Azure AI đã giới thiệu hàng loạt công cụ mới như phát hiện nội dung không có căn cứ, lá chắn prompt và sắp tới là các tính năng giám sát, an toàn khác nhằm giúp khách hàng ngăn chặn hiện tượng ảo giác ngày càng phổ biến của các mô hình AI, vốn đã gây ra nhiều sự cố đáng ngại trong thời gian qua.
https://qz.com/microsoft-azure-ai-hallucinations-chatbots-1851374390
Thảo luận
Follow Us
Tin phổ biến
