Tại sao tinh chỉnh mô hình và RAG không phải là giải pháp tối ưu cho LLM chuyên biệt?

- **Sự giảm nhiệt của AI tạo sinh:** Các mô hình ngôn ngữ lớn (LLM) như GPT-4, Gemini và Llama đã không còn gây ấn tượng mạnh như trước do thiếu chuyên môn sâu, ảo giác, thiếu trí tuệ cảm xúc và không cập nhật sự kiện hiện tại.
- **LLM chuyên biệt:** Các mô hình như LEGAL-BERT cho luật, BloombergGPT cho tài chính và Med-PaLM cho y học đã xuất hiện nhằm cung cấp câu trả lời đáng tin cậy hơn.
- **Chi phí và thời gian:** Tinh chỉnh mô hình và RAG đều tốn kém và mất thời gian, làm cho việc phát triển LLM chuyên biệt trở nên khó khăn và đắt đỏ.
- **Tinh chỉnh mô hình:** Quá trình này tương tự như việc đưa một sinh viên nhân văn qua chương trình sau đại học STEM, tốn kém và mất thời gian, với chi phí có thể lên đến hàng trăm nghìn đô la.
- **RAG:** Tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài giúp LLM cập nhật kiến thức với chi phí thấp hơn, nhưng bị giới hạn bởi số lượng token, thứ tự trình bày và độ trễ.
- **Giới hạn của RAG:** Số lượng token giới hạn từ 4.000 đến 32.000 token mỗi lần nhắc, thứ tự trình bày thông tin ảnh hưởng đến sự chú ý của LLM, và độ trễ tăng khi sử dụng RAG.
- **Kết hợp kỹ thuật:** Một giải pháp là kết hợp tinh chỉnh mô hình và RAG để cập nhật kiến thức hoặc tham chiếu thông tin riêng tư mà không làm thay đổi toàn bộ mô hình.
- **Hội đồng chuyên gia:** Một ý tưởng mới là bỏ qua phần lớn quá trình đào tạo tổng quát, chuyên biệt hóa nhiều LLM có tham số thấp hơn và sau đó áp dụng RAG. Điều này sẽ giảm chi phí và tăng tính cạnh tranh.
- **Ví dụ thực nghiệm:** Mô hình Mixtral sử dụng SMoE với tám LLM riêng biệt, mỗi token được đưa vào hai mô hình, tổng cộng 46,7 tỷ tham số nhưng chỉ sử dụng 12,9 tỷ tham số mỗi token.
- **Lợi ích của hội đồng:** Giảm khả năng ảo giác, tăng độ tin cậy khi có sự đồng thuận giữa các LLM chuyên biệt, và vẫn có thể sử dụng RAG để cập nhật thông tin mới.
- **Tương lai của LLM:** Có thể bỏ qua đào tạo tổng quát và phát triển các hội đồng LLM chuyên biệt, hiệu quả hơn về mặt tính toán và chi phí, được tăng cường bởi RAG.

📌 Tinh chỉnh mô hình và RAG đều có hạn chế về chi phí và hiệu suất. Một giải pháp tiềm năng là phát triển các hội đồng LLM chuyên biệt, giảm chi phí và tăng tính cạnh tranh, với ví dụ như mô hình Mixtral. Hội đồng này có thể giảm ảo giác và tăng độ tin cậy, được tăng cường bởi RAG.

Citations:
[1] https://www.infoworld.com/article/3715306/the-limitations-of-model-fine-tuning-and-rag.html