LLM thường xuyên phát sinh thông tin sai lệch khi tạo ra tóm tắt y tế, gây lo ngại cho ngành y tế

- Nghiên cứu từ Đại học Massachusetts Amherst cho thấy mô hình ngôn ngữ lớn (LLMs) thường xuyên phát sinh thông tin sai lệch khi tạo ra tóm tắt y tế.
- Ngành y tế đã bắt đầu sử dụng LLMs để giảm bớt căng thẳng cho nhân viên y tế, nhưng vẫn còn lo ngại về các hiện tượng "hallucination" (sai lệch thông tin).
- Nhóm nghiên cứu đã thu thập 100 tóm tắt y tế từ hai mô hình LLM nổi bật: GPT-4o của OpenAI và Llama-3 của Meta.
- Kết quả cho thấy hầu hết các tóm tắt đều có sai lệch thông tin, với 327 trường hợp sai lệch sự kiện y tế, 114 trường hợp lý luận sai và 3 trường hợp sai lệch thời gian trong 50 tóm tắt từ GPT-4o.
- Đối với Llama-3, nhóm nghiên cứu phát hiện 271 trường hợp sai lệch sự kiện y tế, 53 trường hợp lý luận sai và 1 trường hợp sai lệch thời gian, nhưng các tóm tắt này ngắn hơn và kém toàn diện hơn so với GPT-4o.
- Các sai lệch phổ biến nhất liên quan đến triệu chứng, chẩn đoán và hướng dẫn sử dụng thuốc, cho thấy kiến thức y tế vẫn là thách thức lớn đối với các mô hình ngôn ngữ hiện đại.
- Mặc dù LLMs có khả năng tạo ra câu văn trôi chảy và hợp lý, nhưng những tóm tắt mà chúng tạo ra có thể gây nguy hiểm nếu không trung thực với hồ sơ y tế nguồn.
- Ví dụ, nếu một hồ sơ y tế ghi nhận bệnh nhân bị nghẹt mũi và đau họng do Covid-19, nhưng mô hình lại phát sinh thông tin sai rằng bệnh nhân bị nhiễm trùng họng, điều này có thể dẫn đến việc bác sĩ kê đơn thuốc sai.
- Ngoài ra, mô hình có thể bỏ qua dị ứng thuốc được ghi nhận trong hồ sơ bệnh nhân, dẫn đến việc bác sĩ kê đơn thuốc có thể gây ra phản ứng dị ứng nghiêm trọng.
- Nghiên cứu đề xuất ngành y tế cần một khuôn khổ tốt hơn để phát hiện và phân loại các hiện tượng sai lệch của AI, nhằm cải thiện độ tin cậy của AI trong các bối cảnh lâm sàng.

📌 Nghiên cứu cho thấy LLMs như GPT-4o và Llama-3 thường xuyên phát sinh sai lệch thông tin trong tóm tắt y tế, với hàng trăm trường hợp sai lệch được ghi nhận. Ngành y tế cần cải thiện khả năng phát hiện và phân loại các sai lệch này để nâng cao độ tin cậy của AI trong chăm sóc sức khỏe.

https://medcitynews.com/2024/08/ai-healthcare-llm/