GNN-RAG: Kết hợp LLM và GNN vượt trội hơn hoặc sánh ngang GPT-4 chỉ với LLM 7B đã tinh chỉnh.

- GNN-RAG là phương pháp kết hợp LLM với khả năng hiểu ngôn ngữ tự nhiên và GNN với khả năng lập luận trên đồ thị phức tạp theo phong cách RAG.

- LLM có khả năng hiểu ngôn ngữ tự nhiên tuyệt vời nhưng hạn chế trong việc thích ứng với kiến thức mới. Đồ thị tri thức (KG) lưu trữ dữ liệu có cấu trúc, hỗ trợ cập nhật và trả lời câu hỏi (QA). 
- Các phương pháp trả lời câu hỏi trên đồ thị tri thức (KGQA) gồm phân tích ngữ nghĩa (SP) và truy xuất thông tin (IR). GNN-RAG sử dụng GNN để truy xuất và RAG để lập luận, vượt trội so với các phương pháp hiện có.
- GNN-RAG dùng GNN để lập luận trên các đồ thị con dày đặc, xác định các ứng viên câu trả lời. Sau đó, nó trích xuất đường đi ngắn nhất kết nối thực thể câu hỏi và câu trả lời, chuyển đổi thành ngôn ngữ tự nhiên và đưa vào LLM để lập luận qua RAG.
- GNN-RAG tích hợp GNN để lập luận trên đồ thị con dày đặc, truy xuất ứng viên câu trả lời và đường đi lập luận. Các đường đi này được chuyển thành ngôn ngữ tự nhiên và đưa vào LLM qua RAG để trả lời câu hỏi.
- Kỹ thuật tăng cường truy xuất (RA) như kết hợp truy xuất dựa trên GNN và LLM cải thiện tính đa dạng và độ phủ của câu trả lời, nâng cao hiệu suất KGQA tổng thể.
- GNN-RAG vượt trội so với các phương pháp khác, đặc biệt là với các câu hỏi đa bước và đa thực thể. GNN-RAG+RA còn vượt qua RoG và sánh ngang hoặc vượt trội hơn ToG+GPT-4 với ít tài nguyên tính toán hơn.
- GNN-RAG cải thiện hiệu suất KGQA của các LLM thuần túy mà không tốn thêm chi phí tính toán, vượt trội hơn hoặc sánh ngang GPT-4 với LLM 7B đã tinh chỉnh.

📌 GNN-RAG kết hợp sáng tạo GNN và LLM cho KGQA dựa trên RAG, đạt hiệu suất tốt nhất trên các bộ dữ liệu WebQSP và CWQ. Phương pháp này tận dụng GNN để truy xuất thông tin đa bước quan trọng cho LLM lập luận trung thực, đồng thời cải thiện đáng kể hiệu suất KGQA của LLM thuần túy mà không tốn thêm chi phí tính toán, vượt trội hơn hoặc sánh ngang GPT-4 chỉ với LLM 7B đã tinh chỉnh.

https://www.marktechpost.com/2024/06/01/gnn-rag-a-novel-ai-method-for-combining-language-understanding-abilities-of-llms-with-the-reasoning-abilities-of-gnns-in-a-retrieval-augmented-generation-rag-style/