FocusLLM: khung AI tối ưu cho xử lý ngữ cảnh dài lên đến 400K token

- FocusLLM là một khung AI được phát triển bởi các nhà nghiên cứu từ Đại học Thanh Hoa và Đại học Xiamen, nhằm nâng cao khả năng xử lý ngữ cảnh dài cho các mô hình ngôn ngữ.
- Khung này cho phép các mô hình ngôn ngữ xử lý văn bản lên đến 400K token với chi phí đào tạo tối thiểu.
- Các mô hình truyền thống gặp khó khăn với ngữ cảnh dài do độ phức tạp bậc hai, dẫn đến chi phí đào tạo cao và khó khăn trong việc có được dữ liệu văn bản dài chất lượng cao.
- FocusLLM chia nhỏ văn bản dài thành các đoạn và sử dụng cơ chế giải mã song song để trích xuất và tích hợp thông tin liên quan.
- Phương pháp này giúp cải thiện hiệu quả đào tạo và tính linh hoạt, cho phép mô hình xử lý văn bản dài mà không gặp phải vấn đề thông tin bị mất.
- Các phương pháp trước đây như điều chỉnh cơ chế chú ý hoặc nén token thường dẫn đến mất thông tin, ảnh hưởng đến độ chính xác trong các tác vụ như xác minh và trả lời câu hỏi.
- FocusLLM sử dụng kiến trúc LLM được điều chỉnh để xử lý các chuỗi văn bản rất dài, với mỗi đoạn được xử lý bởi một bộ giải mã mở rộng có các tham số có thể đào tạo.
- Việc thêm ngữ cảnh cục bộ vào mỗi đoạn cho phép giải mã song song, nơi các token ứng cử được tạo ra đồng thời trên các đoạn.
- Khung này sử dụng hàm mất mát tự hồi quy, tập trung vào việc dự đoán token tiếp theo, cùng với hai hàm mất mát khác là Continuation và Repetition loss.
- FocusLLM đã được đào tạo hiệu quả trên 8×A100 GPUs và vượt qua các mô hình khác như LLaMA-2-7B trong các tác vụ ngôn ngữ và các tác vụ hạ nguồn.
- Nó duy trì độ perplexity ổn định ngay cả với các chuỗi dài, cho thấy hiệu suất vượt trội trong các bài kiểm tra Longbench và ∞-Bench.
- Thiết kế của FocusLLM với giải mã song song và xử lý đoạn hiệu quả cho phép nó xử lý các chuỗi dài mà không gặp phải gánh nặng tính toán của các mô hình khác.

📌 FocusLLM là một khung AI tiên tiến giúp xử lý ngữ cảnh dài lên đến 400K token với chi phí đào tạo tối thiểu. Nó vượt trội trong các tác vụ ngôn ngữ và duy trì độ perplexity thấp, trở thành giải pháp hiệu quả cho các ứng dụng ngữ cảnh dài.

https://www.marktechpost.com/2024/08/25/focusllm-a-scalable-ai-framework-for-efficient-long-context-processing-in-language-models/