Google công bố kỹ thuật mới giúp mô hình ngôn ngữ lớn xử lý ngữ cảnh vô hạn
- Google vừa công bố một kỹ thuật mới cho phép các mô hình ngôn ngữ lớn (LLM) như PaLM xử lý ngữ cảnh vô hạn.
- Kỹ thuật này giúp vượt qua giới hạn về độ dài đầu vào của LLM, thường chỉ khoảng vài nghìn token.
- Phương pháp mới gọi là tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (retrieval augmented generation - RAG).
- RAG cho phép LLM truy xuất thông tin từ một cơ sở tri thức bên ngoài để bổ sung ngữ cảnh cho đầu vào.
- Hệ thống RAG bao gồm một mô hình truy vấn để tìm kiếm thông tin liên quan và một mô hình đọc để tổng hợp câu trả lời.
- Thử nghiệm cho thấy PaLM khi áp dụng RAG đạt kết quả vượt trội hơn nhiều so với phiên bản gốc trên các tác vụ như trả lời câu hỏi và tóm tắt văn bản.
- Ví dụ, PaLM-RAG đạt 75.5 điểm trên bộ dữ liệu TriviaQA so với 51.5 điểm của PaLM thông thường.
- Kỹ thuật này mở ra khả năng xử lý các văn bản dài như sách, bài báo khoa học hay tài liệu pháp lý.
- Google hy vọng RAG sẽ thúc đẩy sự phát triển của các ứng dụng AI mới như chatbot, trợ lý ảo và công cụ nghiên cứu.
📌 Google giới thiệu kỹ thuật tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG), cho phép các mô hình ngôn ngữ lớn như PaLM xử lý ngữ cảnh vô hạn. Với RAG, PaLM cải thiện đáng kể hiệu suất trên các tác vụ như trả lời câu hỏi (tăng từ 51.5 lên 75.5 điểm trên TriviaQA), mở ra tiềm năng to lớn cho các ứng dụng AI mới.
Citations:
[1] https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/
Thảo luận
Follow Us
Tin phổ biến
