OpenAI công bố benchmark SimpleQA: Mô hình AI tốt nhất của OpenAI cũng sai nhiều
• OpenAI vừa công bố benchmark mới có tên "SimpleQA" nhằm đánh giá độ chính xác của các mô hình AI.
• Mô hình o1-preview mới nhất của OpenAI chỉ đạt tỷ lệ thành công 42,7% trong bài kiểm tra này.
• Mô hình Claude-3.5-sonnet của Anthropic thậm chí còn thấp hơn với chỉ 28,9% câu trả lời chính xác, tuy nhiên mô hình này thường thừa nhận sự không chắc chắn của mình.
• Các mô hình AI của OpenAI thường đánh giá quá cao khả năng của chính mình, dẫn đến việc tự tin đưa ra những thông tin sai lệch.
• Hiện tượng "ảo giác" trong các mô hình ngôn ngữ lớn (LLM) vẫn là vấn đề dai dẳng, tạo ra những câu trả lời hoàn toàn sai sự thật.
• Một ví dụ cụ thể là mô hình AI được sử dụng trong bệnh viện, dựa trên công nghệ của OpenAI, đã bị phát hiện tạo ra nhiều ảo tưởng và thông tin không chính xác khi ghi chép tương tác với bệnh nhân.
• Cảnh sát Mỹ đang bắt đầu ứng dụng AI, điều này có thể dẫn đến việc buộc tội sai người vô tội hoặc làm trầm trọng thêm các định kiến.
• Các nhà lãnh đạo AI đang vội vã trấn an các nhà đầu tư rằng vấn đề này có thể được giải quyết bằng các tập dữ liệu huấn luyện lớn hơn.
📌 Kết quả benchmark SimpleQA của OpenAI cho thấy ngay cả mô hình AI tốt nhất hiện nay vẫn có tỷ lệ sai lệch cao (57,3%), đặc biệt nghiêm trọng trong lĩnh vực y tế và thực thi pháp luật. Điều này đặt ra câu hỏi lớn về độ tin cậy của AI trong các ứng dụng thực tế.
https://futurism.com/the-byte/openai-research-best-models-wrong-answers
Thảo luận
Follow Us
Tin phổ biến
