Federated Language Models kết hợp SLM ở edge và LLM trên cloud để cân bằng khả năng AI tiên tiến với bảo mật dữ liệu

• Federated Language Models là ý tưởng tận dụng 2 xu hướng AI: mô hình ngôn ngữ nhỏ (SLM) có thể chạy trên thiết bị và khả năng ngày càng tăng của mô hình ngôn ngữ lớn (LLM) chạy trên cloud.

• Kiến trúc này sử dụng SLM ở edge chủ yếu để tạo sinh, trong khi LLM trên cloud được dùng để ánh xạ prompt thành các công cụ và tham số liên quan.

• Mục tiêu là triển khai một agent tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) mà không cần gửi ngữ cảnh nhạy cảm đến LLM chạy trong môi trường công cộng.

• LLM có khả năng được sử dụng để ánh xạ prompt thành các công cụ thích hợp có quyền truy cập vào dữ liệu và ứng dụng nội bộ nhạy cảm.

• Ứng dụng điều phối các cuộc gọi đến mô hình ngôn ngữ thực thi các công cụ do LLM xác định để trích xuất ngữ cảnh, sau đó được gửi đến SLM ít khả năng hơn chạy cục bộ trên thiết bị edge giá rẻ.

• Kiến trúc này che giấu dữ liệu nhạy cảm khỏi LLM bằng cách ủy thác việc tạo sinh thực tế cho SLM.

• Các xu hướng gần đây trong lĩnh vực mô hình ngôn ngữ bao gồm: SLM ngày càng có khả năng và trưởng thành hơn; chức năng gọi hàm và công cụ vẫn bị giới hạn ở LLM; LLM không thể triển khai trên thiết bị edge như Nvidia Jetson; phần lớn dữ liệu nhạy cảm cần cho RAG nằm trong trung tâm dữ liệu; quy trình làm việc của agent dựa vào nhiều hơn một mô hình ngôn ngữ.

• Quy trình triển khai Federated Language Models gồm 7 bước, từ việc người dùng gửi prompt đến việc SLM ở edge tạo ra phản hồi cuối cùng dựa trên ngữ cảnh được tổng hợp.

• Thách thức trong việc triển khai bao gồm: cần quản lý cẩn thận sự phối hợp giữa SLM ở edge và LLM trên cloud; hiệu suất của SLM cho các tác vụ tạo sinh có thể không bằng LLM; có thể gây độ trễ do giao tiếp qua lại giữa edge và cloud.

• Tác giả đã triển khai bằng chứng về khái niệm này dựa trên Microsoft Phi-3 chạy cục bộ trên Jetson Orin, cơ sở dữ liệu MongoDB được hiển thị dưới dạng API và GPT-4o từ OpenAI.

📌 Federated Language Models kết hợp SLM ở edge và LLM trên cloud để cân bằng khả năng AI tiên tiến với bảo mật dữ liệu. Phương pháp này giải quyết các thách thức về quyền riêng tư trong ứng dụng AI doanh nghiệp, mặc dù vẫn còn một số thách thức về hiệu suất và độ trễ cần khắc phục.

https://thenewstack.io/federated-language-models-slms-at-the-edge-plus-cloud-llms/