Cách xây dựng hệ thống chỉ số chuẩn để biết sản phẩm AI của bạn có thực sự hiệu quả

• Bài viết từ Sharanya Rao (Intuit) nhấn mạnh tầm quan trọng của việc phát triển hệ thống chỉ số phù hợp để biết sản phẩm AI có thực sự hoạt động hiệu quả hay không.

• Nếu không chủ động xây dựng chỉ số, các nhóm sẽ tự chọn chỉ số riêng, dẫn đến sự lệch hướng mục tiêu sản phẩm.

• Bước đầu tiên: xác định câu hỏi bạn muốn trả lời về tác động của sản phẩm AI đối với khách hàng, ví dụ:

  • Khách hàng có nhận được kết quả không? → chỉ số coverage.

  • Thời gian tạo kết quả mất bao lâu? → chỉ số latency.

  • Khách hàng có thích kết quả không? → chỉ số về phản hồi khách hàng, tỷ lệ chấp nhận, giữ chân người dùng.

• Bước hai: phát triển thêm chỉ số đầu vào (input) và đầu ra (output) cho các câu hỏi đã xác định:

  • Ví dụ, đầu ra: tỷ lệ "thumbs up" từ khách hàng, tỷ lệ click.

  • Đầu vào: đánh giá chất lượng kết quả theo thang đo "tốt / khá / chưa tốt."

• Bước ba: lựa chọn phương pháp thu thập dữ liệu, ưu tiên tự động hóa, nhưng có thể khởi đầu bằng đánh giá thủ công để xây dựng quy trình.

• Ví dụ cụ thể với sản phẩm AI tìm kiếm: đo coverage (% phiên tìm kiếm có kết quả), latency (thời gian phản hồi), phản hồi khách hàng (% thumbs up hoặc click).

• Ví dụ với sản phẩm tạo mô tả sản phẩm: đo tỷ lệ listing có mô tả, thời gian tạo mô tả, số lượng mô tả cần chỉnh sửa theo phản hồi đội nội dung/kỹ thuật.

• Framework này có thể mở rộng áp dụng cho nhiều sản phẩm AI/ML khác, từ AI tạo sinh nội dung tới AI phân tích dữ liệu.

📌 Xây dựng hệ thống chỉ số cho sản phẩm AI cần bắt đầu từ việc xác định đúng câu hỏi trọng tâm, phát triển chỉ số đầu vào/đầu ra rõ ràng như coverage, latency, feedback và áp dụng phương pháp thu thập dữ liệu chặt chẽ. Quy trình này giúp đo lường chính xác hiệu quả sản phẩm và đảm bảo mọi bộ phận trong tổ chức cùng hướng tới cùng một mục tiêu rõ ràng.

https://venturebeat.com/ai/is-your-ai-product-actually-working-how-to-develop-the-right-metric-system/

Sản phẩm AI của bạn có thực sự hoạt động không? Cách phát triển hệ thống đo lường phù hợp

Sharanya Rao, Intuit Ngày 27/4/2025 12:15 PM VentureBeat/Midjourney

Tham gia bản tin hàng ngày và hàng tuần của chúng tôi để cập nhật thông tin mới nhất và nội dung độc quyền về báo cáo AI hàng đầu trong ngành. Tìm hiểu thêm

Trong lần đầu tiên làm quản lý sản phẩm học máy (ML), một câu hỏi đơn giản đã khơi mào những cuộc tranh luận sôi nổi giữa các bộ phận và lãnh đạo: Làm thế nào để biết liệu sản phẩm này có thực sự hoạt động không? Sản phẩm tôi quản lý phục vụ cả khách hàng nội bộ và bên ngoài. Mô hình này giúp các đội ngũ nội bộ xác định những vấn đề hàng đầu mà khách hàng của chúng tôi gặp phải để họ có thể ưu tiên đúng bộ trải nghiệm nhằm giải quyết vấn đề của khách hàng. Với mạng lưới phụ thuộc lẫn nhau phức tạp giữa khách hàng nội bộ và bên ngoài, việc chọn đúng các chỉ số để nắm bắt tác động của sản phẩm là rất quan trọng để hướng nó đến thành công.

Việc không theo dõi liệu sản phẩm của bạn có hoạt động tốt hay không giống như hạ cánh máy bay mà không có hướng dẫn nào từ kiểm soát không lưu. Hoàn toàn không có cách nào để bạn đưa ra quyết định sáng suốt cho khách hàng mà không biết điều gì đang diễn ra đúng hay sai. Hơn nữa, nếu bạn không chủ động xác định các chỉ số, đội ngũ của bạn sẽ tự xác định các chỉ số dự phòng của riêng họ. Rủi ro khi có nhiều phiên bản của chỉ số "độ chính xác" hoặc "chất lượng" là mọi người sẽ phát triển phiên bản riêng của họ, dẫn đến kịch bản mà bạn có thể không cùng hướng tới một kết quả chung.

Ví dụ, khi tôi xem xét mục tiêu hàng năm và chỉ số cơ bản với đội ngũ kỹ thuật của chúng tôi, phản hồi ngay lập tức là: "Nhưng đây là chỉ số kinh doanh, chúng tôi đã theo dõi độ chính xác và độ thu hồi rồi."

Đầu tiên, xác định những gì bạn muốn biết về sản phẩm AI của mình

Khi bạn bắt tay vào nhiệm vụ xác định các chỉ số cho sản phẩm của mình - bắt đầu từ đâu? Theo kinh nghiệm của tôi, sự phức tạp của việc vận hành một sản phẩm ML với nhiều khách hàng chuyển thành việc xác định các chỉ số cho mô hình. Tôi sử dụng gì để đo lường liệu một mô hình có hoạt động tốt không? Đo lường kết quả của các đội nội bộ để ưu tiên triển khai dựa trên các mô hình của chúng tôi sẽ không đủ nhanh; đo lường liệu khách hàng có áp dụng các giải pháp được mô hình của chúng tôi đề xuất có thể khiến chúng tôi rút ra kết luận từ một chỉ số áp dụng rất rộng (điều gì xảy ra nếu khách hàng không áp dụng giải pháp vì họ chỉ muốn liên hệ với nhân viên hỗ trợ?).

Tiến nhanh đến kỷ nguyên của các mô hình ngôn ngữ lớn (LLM) — nơi chúng ta không chỉ có một đầu ra duy nhất từ mô hình ML, chúng ta còn có các câu trả lời văn bản, hình ảnh và âm nhạc làm đầu ra. Các khía cạnh của sản phẩm cần các chỉ số hiện nay tăng nhanh — định dạng, khách hàng, loại... danh sách còn dài.

Trong tất cả các sản phẩm của mình, khi tôi cố gắng đưa ra các chỉ số, bước đầu tiên của tôi là chắt lọc những điều tôi muốn biết về tác động của nó đối với khách hàng thành một vài câu hỏi chính. Xác định đúng bộ câu hỏi giúp dễ dàng xác định đúng bộ chỉ số. Dưới đây là một vài ví dụ:

Khách hàng có nhận được kết quả không? → chỉ số về độ bao phủ Sản phẩm mất bao lâu để cung cấp kết quả? → chỉ số về độ trễ Người dùng có thích kết quả không? → chỉ số về phản hồi khách hàng, mức độ áp dụng và giữ chân khách hàng

Khi bạn xác định các câu hỏi chính, bước tiếp theo là xác định một tập hợp các câu hỏi phụ cho tín hiệu "đầu vào" và "đầu ra". Chỉ số đầu ra là chỉ báo trễ, nơi bạn có thể đo lường một sự kiện đã xảy ra. Chỉ số đầu vào và chỉ báo dẫn đầu có thể được sử dụng để xác định xu hướng hoặc dự đoán kết quả. Xem bên dưới để biết cách thêm các câu hỏi phụ đúng cho các chỉ báo dẫn đầu và trễ vào các câu hỏi ở trên. Không phải tất cả các câu hỏi đều cần có chỉ báo dẫn đầu/trễ.

Khách hàng có nhận được kết quả không? → độ bao phủ Sản phẩm mất bao lâu để cung cấp kết quả? → độ trễ Người dùng có thích kết quả không? → phản hồi khách hàng, mức độ áp dụng và giữ chân khách hàng

• Người dùng có chỉ ra rằng kết quả là đúng/sai không? (đầu ra)
• Kết quả có tốt/khá không? (đầu vào)

Bước thứ ba và cuối cùng là xác định phương pháp thu thập chỉ số. Hầu hết các chỉ số được thu thập ở quy mô lớn bằng công cụ mới thông qua kỹ thuật dữ liệu. Tuy nhiên, trong một số trường hợp (như câu hỏi 3 ở trên) đặc biệt là đối với các sản phẩm dựa trên ML, bạn có tùy chọn đánh giá thủ công hoặc tự động để đánh giá đầu ra của mô hình. Mặc dù luôn tốt nhất là phát triển các đánh giá tự động, việc bắt đầu với đánh giá thủ công cho "kết quả có tốt/khá không" và tạo ra một bộ tiêu chí cho các định nghĩa về tốt, khá và không tốt sẽ giúp bạn đặt nền móng cho một quy trình đánh giá tự động nghiêm ngặt và được kiểm tra.

Ví dụ các trường hợp sử dụng: Tìm kiếm AI, mô tả danh sách

Khung trên có thể áp dụng cho bất kỳ sản phẩm dựa trên ML nào để xác định danh sách các chỉ số chính cho sản phẩm của bạn. Hãy lấy tìm kiếm làm ví dụ.

Còn về một sản phẩm để tạo mô tả cho danh sách (cho dù đó là một mục trong thực đơn ở Doordash hay danh sách sản phẩm trên Amazon)?

Phương pháp được nêu ở trên có thể mở rộng cho nhiều sản phẩm dựa trên ML. Tôi hy vọng khung này giúp bạn xác định đúng bộ chỉ số cho mô hình ML của mình.