những bài học quý giá từ một năm xây dựng ứng dụng thực tế với mô hình ngôn ngữ lớn (phần 2)

- Về dữ liệu:

• Cần thường xuyên rà soát dữ liệu đầu vào/đầu ra của LLM, đo lường và giảm thiểu sự khác biệt (skew) giữa dữ liệu phát triển và production. Skew có thể là về mặt cấu trúc (định dạng, lỗi) hoặc nội dung (ngữ nghĩa, ngữ cảnh).

• Nên xem xét các mẫu dữ liệu đầu vào/đầu ra hàng ngày để nắm bắt xu hướng và phát hiện các lỗi mới. Khi phát hiện vấn đề, cần nhanh chóng viết các bài kiểm thử (assertion) hoặc đánh giá (eval) xung quanh nó.

- Về mô hình:

• Tích hợp LLM vào phần còn lại của hệ thống, tạo đầu ra có cấu trúc để dễ xử lý cho các ứng dụng phía sau. Các chuẩn như Instructor và Outlines giúp tạo ra đầu ra có cấu trúc từ LLM.

• Quản lý phiên bản mô hình và chuyển đổi giữa các mô hình/phiên bản. Cần "pin" phiên bản mô hình cụ thể trong production để tránh thay đổi bất ngờ. Duy trì pipeline song song với phiên bản mô hình mới nhất để thử nghiệm an toàn.

• Chọn mô hình nhỏ nhất đáp ứng được yêu cầu, sử dụng các kỹ thuật prompt để nâng cao hiệu suất như chain-of-thought, few-shot, học ngữ cảnh. Tinh chỉnh (fine-tune) mô hình cho tác vụ cụ thể cũng giúp tăng hiệu năng.

- Về sản phẩm:

• Thiết kế UX với phản hồi human-in-the-loop phong phú, thu thập cả phản hồi tường minh (explicit) và ngầm (implicit) để cải thiện sản phẩm và mô hình.

• Ưu tiên các yêu cầu mâu thuẫn một cách thống nhất, tập trung vào sản phẩm tối thiểu đáng yêu (minimum lovable product). Chấp nhận phiên bản đầu sẽ không hoàn hảo.

• Cân nhắc rủi ro sản phẩm dựa trên trường hợp sử dụng và đối tượng. Chatbot tư vấn y tế/tài chính cần độ an toàn và chính xác rất cao, trong khi hệ thống gợi ý hoặc ứng dụng nội bộ có thể nới lỏng hơn.

- Về con người:

• Tuyển dụng đúng người vào đúng thời điểm để xây dựng ứng dụng LLM thành công. Kỹ sư AI có thể giúp xây dựng sản phẩm nhanh, sau đó cần kỹ sư dữ liệu/nền tảng để tạo nền móng, rồi đến kỹ sư ML để tối ưu hệ thống. Chuyên gia lĩnh vực cần tham gia xuyên suốt.

• Nuôi dưỡng văn hóa thử nghiệm, trao quyền cho mọi người sử dụng công nghệ AI mới. Tổ chức hackathon để thúc đẩy thử nghiệm và khám phá.

• Tham khảo các ứng dụng LLM mới nổi để xây dựng ứng dụng LLM của riêng mình. Quy trình quan trọng hơn công cụ.

• Xây dựng sản phẩm AI đòi hỏi nhiều vai trò chuyên môn, không chỉ kỹ sư AI. Đừng rơi vào bẫy "chỉ cần kỹ sư AI là đủ".

📌 Để xây dựng thành công ứng dụng với LLM, cần chú trọng đến dữ liệu (thường xuyên rà soát, giảm thiểu skew), mô hình (tích hợp, quản lý phiên bản, chọn kích thước phù hợp), thiết kế sản phẩm lấy người dùng làm trung tâm (human-in-the-loop, ưu tiên yêu cầu, cân nhắc rủi ro), và nuôi dưỡng đội ngũ đa dạng (tuyển dụng đúng lúc, thử nghiệm, tham khảo). Quy trình và sự phối hợp giữa các vai trò chuyên môn là then chốt để thành công.

Citations:

https://www.oreilly.com/radar/what-we-learned-from-a-year-of-building-with-llms-part-ii/