Sóng AI-Tri thức tinh gọn về AI & digital

📌 Tuyên bố “AI ảo giác ít hơn con người” của CEO Anthropic đã làm dấy lên tranh luận trong ngành. Với mô hình OpenAI o4-mini đạt 48% tỷ lệ ảo giác, ngành công nghệ đang đối mặt với nghịch lý: càng thông minh, AI càng dễ sai lệch. Không có chuẩn so sánh với con người, giải pháp khả thi nhất hiện nay là tích hợp hệ thống kiểm chứng dữ kiện để hỗ trợ độ tin cậy.

https://www.techinasia.com/news/anthropic-ceo-claims-ai-hallucinates-less-often-that-humans

CEO Anthropic tuyên bố AI ảo giác ít hơn con người

CEO Anthropic Dario Amodei cho biết các mô hình AI hiện tại có thể tạo ra thông tin sai lệch, hay "ảo giác", ít thường xuyên hơn con người.

Ông đưa ra nhận xét này trong buổi họp báo tại sự kiện phát triển đầu tiên của Anthropic, Code with Claude, được tổ chức ở San Francisco vào ngày 22 tháng 5.

Amodei giải thích rằng trong khi ảo giác AI xảy ra, chúng không tạo ra rào cản đáng kể để đạt được trí tuệ nhân tạo tổng quát (AGI).

"Tôi nghi ngờ rằng các mô hình AI có lẽ ảo giác ít hơn con người. Tuy nhiên, chúng ảo giác theo những cách đáng ngạc nhiên hơn," ông nói.

Vấn đề ảo giác trong các mô hình AI đã gây ra cuộc tranh luận giữa các nhà lãnh đạo ngành.

CEO Google DeepMind Demis Hassabis chỉ ra rằng các hệ thống AI hiện tại có khoảng cách về độ chính xác. Ông dẫn chứng một vụ kiện pháp lý trong đó AI của Anthropic, Claude, đã tạo ra các trích dẫn không chính xác trong hồ sơ tòa án.

🧠 Suy nghĩ sâu sắc

1️⃣ Khoảng cách đo lường: so sánh ảo giác AI và con người vẫn là lãnh thổ chưa được khám phá

Tuyên bố của Dario Amodei rằng "các mô hình AI có lẽ ảo giác ít hơn con người" làm nổi bật một điểm mù đáng kể trong nghiên cứu AI, vì chúng ta thiếu các phương pháp tiêu chuẩn để so sánh trực tiếp tỷ lệ ảo giác AI và con người.

Các tiêu chuẩn hiện tại chủ yếu đánh giá các mô hình AI so với các mô hình AI khác, không so với hiệu suất con người, tạo ra khoảng cách đo lường cơ bản.

Sự vắng mặt của dữ liệu so sánh này phản ánh thách thức rộng lớn hơn trong đánh giá AI. Trong khi các khung đánh giá mạnh mẽ tồn tại để so sánh khả năng kỹ thuật giữa các mô hình, các khung tương đương cho so sánh có ý nghĩa giữa con người và AI vẫn còn thiếu.

Các nhà nghiên cứu đối mặt với thách thức phương pháp luận đáng kể trong việc thiết kế so sánh công bằng giữa con người và AI vì định nghĩa "ảo giác" khác biệt đáng kể giữa hệ thống sinh học và nhân tạo.

Sự bất lực của ngành trong việc xác minh tuyên bố của Amodei một cách thực nghiệm đại diện cho hạn chế quan trọng trong việc hiểu độ tin cậy AI so với hiệu suất con người.

2️⃣ Bằng chứng mâu thuẫn về xu hướng ảo giác tiết lộ các mô hình phát triển AI phức tạp

Nghiên cứu về ảo giác AI cho thấy bối cảnh mâu thuẫn, với một số nghiên cứu chỉ ra sự cải thiện trong khi những nghiên cứu khác tiết lộ hiệu suất xấu đi trong các mô hình mới hơn.

Một nghiên cứu phát hiện tỷ lệ ảo giác giảm khoảng 3 điểm phần trăm hàng năm với các cải tiến mô hình, gợi ý con đường hướng tới khả năng loại bỏ vấn đề này.

Tuy nhiên, các mô hình lý luận tiên tiến của OpenAI kể một câu chuyện khác. Mô hình o3 mới hơn của họ ảo giác 33% thời gian trên các tiêu chuẩn cụ thể, trong khi o4-mini đạt 48%, cao hơn đáng kể so với các thế hệ trước.

Những xu hướng mâu thuẫn này gợi ý tỷ lệ ảo giác không cải thiện tuyến tính theo sự tiến bộ AI tổng quát mà có thể dao động dựa trên các lựa chọn kiến trúc cụ thể và phương pháp luận huấn luyện.

Sự gia tăng ảo giác cụ thể trong các mô hình tập trung lý luận chỉ ra rằng việc nâng cao khả năng nhận thức nhất định có thể tạm thời làm xấu đi độ tin cậy thực tế, tạo ra quỹ đạo phát triển phức tạp.

3️⃣ Sự đánh đổi giữa độ tin cậy và khả năng nổi lên như thách thức trung tâm trong phát triển AGI

Các mô hình AI tiên tiến đối mặt với mô hình phát triển nghịch lý: khả năng lý luận tăng cường đôi khi đi kèm với chi phí độ tin cậy thực tế, tạo ra căng thẳng đáng kể trong phát triển AGI.

Mô hình này xuất hiện trong các mô hình lý luận mới nhất của OpenAI, tạo ra nhiều tuyên bố tổng thể hơn, cả chính xác và không chính xác, dẫn đến tỷ lệ ảo giác cao hơn mặc dù khả năng nâng cao của chúng.

Thách thức phản ánh khía cạnh cơ bản của nhận thức con người trong đó những thế mạnh trí tuệ lớn nhất của chúng ta, như lý luận trừu tượng và tư duy sáng tạo, cũng cho phép các lỗi nhận thức đáng kể.

Sự đánh đổi này giải thích tại sao các nhà lãnh đạo như Amodei và Hassabis của DeepMind có quan điểm đối lập về việc liệu ảo giác có cản trở tiến trình AGI hay không, vì họ ưu tiên các khía cạnh khác nhau của trí thông minh trong khung đánh giá của mình.

Các giải pháp ngành ngày càng tập trung vào việc bổ sung các mô hình với hệ thống xác minh bên ngoài thay vì loại bỏ hoàn toàn khả năng ảo giác, gợi ý con đường khả thi nhất phía trước liên quan đến các hệ thống bổ sung thay vì các mô hình được thiết kế lại cơ bản.

Anthropic CEO Dario Amodei said that current AI models may generate false information, or “hallucinate,” less frequently than humans.

He made this remark during a press briefing at Anthropic’s first developer event, Code with Claude, held in San Francisco on May 22.

Amodei explained that while AI hallucinations occur, they do not pose a significant barrier to achieving artificial general intelligence (AGI).

“I suspect that AI models probably hallucinate less than humans. However, they hallucinate in more surprising ways,” he said.

The issue of hallucination in AI models has sparked debate among industry leaders.

Google DeepMind CEO Demis Hassabis pointed out that current AI systems have accuracy gaps. He cited a legal case where Anthropic’s AI, Claude, generated incorrect citations in a court filing.

🧠 Food for thought

1️⃣ The measurement gap: comparing AI and human hallucinations remains uncharted territory

Dario Amodei’s claim that “AI models probably hallucinate less than humans” highlights a significant blind spot in AI research, as we lack standardized methods to directly compare AI and human hallucination rates.

Current benchmarks predominantly evaluate AI models against other AI models, not against human performance, creating a fundamental measurement gap 1.

This absence of comparative data reflects a broader challenge in AI evaluation. While robust frameworks exist for comparing technical capabilities between models, equivalent frameworks for meaningful human-AI comparisons are missing.

Researchers face significant methodological challenges in designing fair human-AI comparisons since the definition of “hallucination” differs substantially between biological and artificial systems.

The industry’s inability to verify Amodei’s claim empirically represents a critical limitation in understanding AI reliability relative to human performance.

2️⃣ Contradictory evidence on hallucination trends reveals complex AI development patterns

Research on AI hallucinations shows a contradictory landscape, with some studies indicating improvement while others reveal worsening performance in newer models.

One study found hallucination rates decreasing by approximately 3 percentage points annually with model improvements, suggesting a path toward potential elimination of the problem 2.

However, OpenAI’s advanced reasoning models tell a different story. Their newer o3 model hallucinated 33% of the time on specific benchmarks, while o4-mini reached 48%, significantly higher than previous generations 3.

These conflicting trends suggest hallucination rates don’t improve linearly with general AI advancement but may fluctuate based on specific architectural choices and training methodologies.

The increase in hallucinations specifically in reasoning-focused models indicates that enhancing certain cognitive capabilities may temporarily worsen factual reliability, creating a complex development trajectory.

3️⃣ The reliability-capability tradeoff emerges as a central AGI development challenge

Advanced AI models face a paradoxical development pattern: increased reasoning capabilities sometimes come at the cost of factual reliability, creating a significant tension in AGI development.

This pattern appears in OpenAI’s latest reasoning models, which generate more claims overall, both accurate and inaccurate, leading to higher hallucination rates despite their enhanced capabilities 3.

The challenge mirrors a fundamental aspect of human cognition where our greatest intellectual strengths, such as abstract reasoning and creative thinking, also enable significant cognitive errors.

This tradeoff explains why leaders like Amodei and DeepMind’s Hassabis hold opposing views on whether hallucinations block AGI progress, as they prioritize different aspects of intelligence in their evaluation frameworks 1.

Industry solutions increasingly focus on augmenting models with external verification systems rather than eliminating hallucination capacity entirely, suggesting the most viable path forward involves complementary systems rather than fundamentally redesigned models 4

SongAI

Tin nóng

CEO Anthropic; AI hiện nay có thể "ảo giác" ít hơn con người, nhưng theo cách bất ngờ hơn

CEO Anthropic tuyên bố AI ảo giác ít hơn con người

🧠 Suy nghĩ sâu sắc

1️⃣ Khoảng cách đo lường: so sánh ảo giác AI và con người vẫn là lãnh thổ chưa được khám phá

2️⃣ Bằng chứng mâu thuẫn về xu hướng ảo giác tiết lộ các mô hình phát triển AI phức tạp

3️⃣ Sự đánh đổi giữa độ tin cậy và khả năng nổi lên như thách thức trung tâm trong phát triển AGI

Anthropic CEO claims AI hallucinates less often that humans

🧠 Food for thought

1️⃣ The measurement gap: comparing AI and human hallucinations remains uncharted territory

2️⃣ Contradictory evidence on hallucination trends reveals complex AI development patterns

3️⃣ The reliability-capability tradeoff emerges as a central AGI development challenge

Thảo luận

Follow Us

Tin phổ biến

TAG