Những bài học từ 1 năm xây dựng với các mô hình ngôn ngữ lớn (phần 1)

- Bài viết tổng hợp các bài học chiến thuật quan trọng và phương pháp luận dựa trên machine learning để phát triển sản phẩm hiệu quả dựa trên LLMs. Các tác giả đến từ nhiều nền tảng khác nhau nhưng đều có kinh nghiệm thực tế trong việc xây dựng ứng dụng với LLMs.

- Về mặt tạo lời nhắc (prompting), một số kỹ thuật hữu ích bao gồm: sử dụng n-shot prompts và học ngữ cảnh, chain-of-thought prompting, cung cấp tài nguyên liên quan. Nên chia nhỏ lời nhắc thành các phần đơn giản, tập trung vào một nhiệm vụ cụ thể. Cần chú ý cấu trúc đầu vào/đầu ra phù hợp với từng mô hình.

- Tạo sinh được tăng cường bởi truy xuất dữ liệu ngoài (RAG) có thể hiệu quả hơn so với tinh chỉnh mô hình để đưa kiến thức mới vào LLMs. Chất lượng của RAG phụ thuộc vào mức độ liên quan, mật độ thông tin và chi tiết của tài liệu truy xuất được. Tìm kiếm từ khóa vẫn đóng vai trò quan trọng, có thể kết hợp với embedding trong RAG.

- Các quy trình đa bước, có cấu trúc có thể cải thiện đáng kể hiệu suất của LLMs. Ưu tiên các quy trình xác định để dễ kiểm soát và gỡ lỗi hơn. Một số chiến lược tối ưu hóa quy trình bao gồm: lập kế hoạch rõ ràng, tái cấu trúc lời nhắc người dùng, sử dụng bộ nhớ cache, tinh chỉnh mô hình khi cần thiết.

- Đánh giá và giám sát LLMs có thể khó khăn do tính chất đa dạng của đầu vào/đầu ra. Một số chiến lược hữu ích bao gồm: tạo bài kiểm tra dựa trên mẫu thực tế, sử dụng LLM-as-Judge, đơn giản hóa việc ghi chú nhãn thành các tác vụ nhị phân hoặc so sánh từng cặp. Cần cẩn thận với các vấn đề như ảo giác (hallucination) và đầu ra không mong muốn.

- Việc quá nhấn mạnh vào một số bài đánh giá nhất định (ví dụ: tìm kim trong đống rơm - needle-in-a-haystack) có thể làm giảm hiệu suất tổng thể. Cần cân bằng giữa các tiêu chí đánh giá khác nhau.

📌 Bài viết tổng hợp các bài học chiến thuật quan trọng để xây dựng sản phẩm thành công với LLMs, bao gồm các kỹ thuật tạo lời nhắc, tạo sinh được tăng cường bởi truy xuất, thiết kế quy trình và đánh giá, giám sát. Việc áp dụng những bài học này, được rút ra từ kinh nghiệm thực tế của 6 chuyên gia trong lĩnh vực, có thể giúp các nhóm phát triển tận dụng hiệu quả sức mạnh của LLMs mà không cần chuyên môn sâu về machine learning.

Citations:
https://www.oreilly.com/radar/what-we-learned-from-a-year-of-building-with-llms-part-i/