Bài kiểm tra benchmark mới của Sierra cho thấy hầu hết các mô hình ngôn ngữ lớn thất bại trong các tác vụ phức tạp

- Công ty khởi nghiệp AI Sierra Technologies Inc. giới thiệu bài kiểm tra benchmark 𝜏-bench mới để đánh giá hiệu suất của các tác tử AI trong các tình huống thực tế.
- 𝜏-bench đánh giá khả năng hoàn thành các tác vụ phức tạp của chatbot thay vì chỉ đánh giá khả năng hội thoại như các benchmark trước đây.
- Các tác tử AI của Sierra có thể thực hiện các hành động như mở phiếu hoàn trả hàng và hoàn tiền cho khách hàng.
- Các benchmark hiện tại chỉ đánh giá một vòng tương tác giữa người và tác tử, trong khi 𝜏-bench đánh giá tương tác đa vòng, độ tin cậy và khả năng thích ứng.
- 𝜏-bench kiểm tra khả năng tuân theo quy tắc, lập luận, ghi nhớ thông tin và giao tiếp hiệu quả của tác tử AI trong các cuộc hội thoại phức tạp.
- Sierra đã kiểm tra 12 mô hình ngôn ngữ lớn (LLM) phổ biến với 𝜏-bench và kết quả cho thấy hầu hết đều gặp khó khăn trong việc giải quyết các tác vụ.
- LLM tốt nhất, GPT-4 của OpenAI, chỉ đạt tỷ lệ thành công dưới 50% trong 2 lĩnh vực bán lẻ và hàng không.
- Độ tin cậy của 12 LLM cũng rất đáng ngờ, không có LLM nào có thể giải quyết nhất quán cùng một tác vụ khi mô phỏng tương tác nhiều lần.
- Các tác tử của Sierra hoạt động tốt hơn nhiều nhờ bộ công cụ phát triển phần mềm (SDK) cho phép chỉ định hành vi của tác tử, LLM giám sát đảm bảo tính nhất quán và công cụ vòng đời phát triển tác tử.
- Sierra sẽ công khai 𝜏-bench cho cộng đồng AI sử dụng và cải tiến nó để đánh giá các khía cạnh khác trong hiệu suất hội thoại của tác tử AI.

📌 Bài kiểm tra benchmark 𝜏-bench mới của Sierra Technologies Inc. cho thấy hầu hết các mô hình ngôn ngữ lớn như GPT-4 đều thất bại trong việc xử lý các tác vụ phức tạp, với tỷ lệ thành công dưới 50% và độ tin cậy thấp hơn 25%. Tuy nhiên, các tác tử AI của Sierra hoạt động tốt hơn đáng kể nhờ công cụ phát triển tiên tiến.

https://siliconangle.com/2024/06/20/ai-startup-sierras-new-benchmark-shows-llms-fail-complex-tasks/