DPO giúp giảm 4,8 lần nội dung ảo giác trong báo cáo X-quang ngực AI, nâng cao độ tin cậy lâm sàng

• Các mô hình ngôn ngữ-thị giác tạo sinh (VLM) đã tự động hóa việc phân tích hình ảnh y tế và tạo báo cáo chi tiết, giúp giảm tải công việc cho bác sĩ X-quang và nâng cao độ chính xác chẩn đoán.

• Tuy nhiên, VLM có xu hướng tạo ra nội dung ảo - văn bản vô nghĩa hoặc không chính xác, dẫn đến sai sót lâm sàng và tăng khối lượng công việc cho nhân viên y tế.

• Vấn đề cốt lõi là VLM thường tạo ra các tham chiếu ảo đến các kết quả khám trước đó trong báo cáo X-quang. Điều này có thể gây hiểu nhầm cho bác sĩ lâm sàng và làm phức tạp quá trình chăm sóc bệnh nhân.

• Các phương pháp truyền thống để giảm thiểu nội dung ảo như tiền xử lý dữ liệu huấn luyện tốn nhiều tài nguyên và không thể khắc phục các vấn đề phát sinh sau khi huấn luyện.

• Nghiên cứu từ Đại học Harvard, Viện Đào tạo Y khoa Sau đại học Jawaharlal và Đại học Johns Hopkins đề xuất phương pháp Tối ưu hóa Ưu tiên Trực tiếp (DPO) để giảm thiểu các tham chiếu ảo giác trong báo cáo X-quang ngực.

• Phương pháp sử dụng một tập con của bộ dữ liệu MIMIC-CXR, được chỉnh sửa để loại bỏ các tham chiếu đến kết quả khám trước đó, để huấn luyện và đánh giá mô hình.

• Mô hình sử dụng Swin Transformer làm bộ mã hóa thị giác và Llama2-Chat-7b làm mô hình ngôn ngữ, với điều chỉnh tham số hiệu quả sử dụng LoRA.

• Quá trình tinh chỉnh tạo ra các bộ dữ liệu ưu tiên, trong đó các phản hồi được ưu tiên tránh tham chiếu đến kết quả khám trước đó, và các phản hồi không được ưu tiên bao gồm các tham chiếu như vậy.

• Kết quả cho thấy các mô hình được huấn luyện bằng DPO giảm 3,2 đến 4,8 lần số lỗi tham chiếu ảo giác. Cụ thể, mô hình DPO tốt nhất giảm số dòng tham chiếu đến kết quả khám trước đó trung bình từ 1,34 xuống 0,28 mỗi báo cáo.

• Độ chính xác lâm sàng của các mô hình, được đánh giá bằng các chỉ số như RadCliq-V1 và RadGraph-F1, vẫn duy trì ở mức cao. Điểm RadCliq-V1 cho mô hình DPO tốt nhất là 1,3352 so với 1,3914 cho mô hình gốc đã được huấn luyện trước.

📌 DPO giúp giảm 4,8 lần nội dung ảo giác trong báo cáo X-quang ngực AI, giảm số dòng tham chiếu ảo từ 1,34 xuống 0,28/báo cáo. Phương pháp này nâng cao độ tin cậy của báo cáo AI trong y tế, cải thiện chăm sóc bệnh nhân và giảm gánh nặng cho bác sĩ X-quang.

https://www.marktechpost.com/2024/06/17/from-phantoms-to-facts-dpo-fine-tuning-minimizes-hallucinations-in-radiology-reports-boosting-clinical-trust/