Cách chạy một agent trên kiến trúc mô hình ngôn ngữ liên kết (federated)

• Bài viết giới thiệu cách triển khai kiến trúc mô hình ngôn ngữ liên kết, trong đó một agent gửi truy vấn của người dùng cùng với các công cụ có sẵn đến một LLM trên cloud để ánh xạ prompt thành các hàm và đối số.

• Các thành phần chính được sử dụng bao gồm:
- OpenAI GPT-4 Omni làm LLM trên cloud
- Microsoft Phi-3 làm SLM ở edge  
- Ollama làm công cụ suy luận cho Phi-3
- Nvidia Jetson AGX Orin làm thiết bị edge để chạy Ollama
- Cơ sở dữ liệu MySQL và máy chủ API Flask chạy cục bộ
- Chroma làm kho vector cục bộ để tìm kiếm ngữ nghĩa

• Các bước triển khai:
1. Chạy Ollama trên Jetson Orin
2. Chạy MySQL DB và máy chủ API Flask
3. Tạo chỉ mục cho PDF và đưa embedding vào Chroma DB
4. Chạy agent mô hình ngôn ngữ liên bang

• Agent sẽ gửi truy vấn và danh sách công cụ đến GPT-4 trên cloud để ánh xạ thành các hàm và đối số. 

• Nếu có công cụ phù hợp, agent sẽ thực thi các hàm để tạo ngữ cảnh từ cơ sở dữ liệu. Nếu không, nó sẽ sử dụng tìm kiếm ngữ nghĩa trong Chroma DB.

• Ngữ cảnh thu được sẽ được gửi đến SLM ở edge (Phi-3) để tạo ra câu trả lời chính xác về mặt thực tế.

• Mã nguồn và hướng dẫn chi tiết được cung cấp để triển khai từng bước của kiến trúc này.

• Phương pháp này tận dụng khả năng của LLM trên cloud để xử lý truy vấn phức tạp, đồng thời sử dụng SLM ở edge để tạo ra câu trả lời cuối cùng, giúp bảo vệ dữ liệu nhạy cảm.

📌 Kiến trúc mô hình ngôn ngữ federated kết hợp LLM trên cloud (GPT-4) và SLM ở edge (Phi-3) để xử lý truy vấn hiệu quả. Agent điều phối luồng dữ liệu giữa cloud và edge, sử dụng công cụ cục bộ hoặc tìm kiếm ngữ nghĩa để tạo ngữ cảnh, đảm bảo câu trả lời chính xác và bảo mật.

https://thenewstack.io/how-to-run-an-agent-on-federated-language-model-architecture/