Hướng dẫn xây dựng agent AI sử dụng RAG để tăng độ chính xác

• Bài viết hướng dẫn cách xây dựng một agent AI sử dụng kỹ thuật tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) kết hợp với function calls để tăng độ chính xác.

• Agent được thiết kế để hỗ trợ product manager của công ty thương mại điện tử phân tích doanh số và danh mục sản phẩm.

• Agent sử dụng retriever để trích xuất ngữ cảnh từ dữ liệu phi cấu trúc trong file PDF, đồng thời gọi API để lấy thông tin doanh số.

• Quy trình hoạt động của agent:
  - Gửi prompt ban đầu và các công cụ đã đăng ký cho LLM
  - Nếu phản hồi của LLM bao gồm một số công cụ, agent sẽ thực thi chúng và thu thập ngữ cảnh
  - Nếu LLM không đề xuất thực thi công cụ nào, agent sẽ thực hiện tìm kiếm ngữ nghĩa trong vector database và truy xuất ngữ cảnh
  - Ngữ cảnh thu thập được sẽ được thêm vào prompt gốc và gửi lại cho LLM

• Các bước triển khai:
  1. Khởi chạy DB và API server bằng Docker Compose
  2. Đánh chỉ mục PDF và lưu trữ vector trong ChromaDB
  3. Chạy RAG Agent

• Agent sử dụng 2 nguồn để lấy ngữ cảnh: API và vector database

• Mã nguồn bao gồm các hàm chính:
  - map_tools: gửi prompt và công cụ cho LLM để đề xuất function calls
  - retriever: trích xuất ngữ cảnh từ vector database
  - generate_response: gửi ngữ cảnh và prompt gốc cho LLM để tạo phản hồi
  - agent: quyết định sử dụng công cụ hay vector database để lấy ngữ cảnh

• Bài viết cũng đề cập đến việc mở rộng RAG Agent để sử dụng federated language models, giúp tránh gửi ngữ cảnh lên cloud-based LLM và sử dụng local LLM ở edge để phản hồi truy vấn.

📌 Agent AI kết hợp RAG và function calls để tăng độ chính xác, sử dụng API và vector database làm nguồn ngữ cảnh. Quy trình gồm 3 bước: khởi chạy DB/API, đánh chỉ mục PDF, chạy agent. Có thể mở rộng sử dụng federated language models ở edge.

https://thenewstack.io/how-to-build-an-ai-agent-that-uses-rag-to-increase-accuracy/