Agent Q - khung AI đột phá giúp web agent tự cải thiện vượt 340% so với Llama 3 chỉ sau 1 ngày

• Agent Q là một khung AI đột phá được phát triển bởi các nhà nghiên cứu tại MultiOn nhằm giải quyết những thách thức của các mô hình ngôn ngữ lớn (LLM) trong các tác vụ đòi hỏi lập luận nhiều bước và ra quyết định trong môi trường tương tác động.

• Được xây dựng dựa trên nền tảng của LLaMa 3, Agent Q kết hợp các kỹ thuật tìm kiếm nâng cao, tự phê bình và học tăng cường để cải thiện cách LLM điều hướng và tương tác với web.

• Kiến trúc sáng tạo của Agent Q bao gồm nhiều thành phần chính:
- Tìm kiếm cây Monte Carlo có hướng dẫn (MCTS) để tự động khám phá các hành động và trang web khác nhau
- Cơ chế tự phê bình cung cấp phản hồi theo thời gian thực ở mỗi bước ra quyết định
- Thuật toán Tối ưu hóa Ưu tiên Trực tiếp (DPO) để tinh chỉnh mô hình

• Trong các thử nghiệm đặt chỗ trên OpenTable, Agent Q đã cải thiện hiệu suất zero-shot cơ bản của LLaMa 3 từ 18,6% lên 81,7% chỉ sau một ngày thu thập dữ liệu tự động. 

• Với tìm kiếm trực tuyến thêm, tỷ lệ thành công này đã tăng lên 95,4%, tương đương mức cải thiện 340%.

• Agent Q giải quyết những hạn chế của phương pháp huấn luyện LLM truyền thống bằng cách:
- Sử dụng kết hợp MCTS và DPO thay vì chỉ dựa vào fine-tuning có giám sát
- Cho phép agent học từ cả quỹ đạo thành công và không thành công
- Cải thiện đáng kể khả năng tổng quát hóa trong các tác vụ lập luận phức tạp nhiều bước

• Cơ chế tự phê bình đặc biệt quan trọng đối với các tác vụ kéo dài, nơi phần thưởng thưa thớt có thể cản trở việc học.

• Agent Q đặt ra một tiêu chuẩn mới cho các ứng dụng AI trong thế giới thực, đặc biệt là trong lĩnh vực điều hướng web tự động.

• Khung này mở ra tiềm năng to lớn cho việc phát triển các agent AI thông minh và thích ứng hơn trong tương lai.

📌 Agent Q là khung AI đột phá giúp web agent tự cải thiện, đạt hiệu suất vượt trội 340% so với LLama 3 trong tác vụ zero-shot chỉ sau 1 ngày. Với kiến trúc sáng tạo kết hợp MCTS, tự phê bình và DPO, Agent Q mở ra tiềm năng to lớn cho các ứng dụng AI thực tế trong tương lai.

https://www.marktechpost.com/2024/08/16/agent-q-a-new-ai-framework-for-autonomous-improvement-of-web-agents-with-limited-human-supervision-with-a-340-improvement-over-llama-3s-baseline-zero-shot-performance/