GPT-4 đạt kết quả gần ngang chuyên gia nhãn khoa trong bài đánh giá

- Nghiên cứu từ Trường Y Lâm sàng, Đại học Cambridge cho thấy GPT-4 của OpenAI đạt kết quả gần bằng các chuyên gia nhãn khoa trong một bài đánh giá.
- GPT-4 đạt điểm cao hơn các bác sĩ trẻ chưa chuyên môn hóa và bác sĩ đang được đào tạo chuyên nhãn khoa
- Trong nghiên cứu được công bố trên PLOS Digital Health, các nhà nghiên cứu kiểm tra GPT-4, GPT-3.5, PaLM 2 của Google và LLaMA của Meta với 87 câu hỏi trắc nghiệm.
- 5 bác sĩ nhãn khoa chuyên gia, 3 bác sĩ đang đào tạo chuyên nhãn khoa và 2 bác sĩ trẻ chưa chuyên môn hóa cũng làm bài kiểm tra tương tự.
- Các câu hỏi lấy từ sách giáo khoa dùng để kiểm tra bác sĩ đang đào tạo, từ độ nhạy sáng đến tổn thương.
- ChatGPT với GPT-4 hoặc GPT-3.5 được cho 3 cơ hội trả lời dứt khoát, nếu không câu trả lời được đánh dấu là null.
- GPT-4 đạt 60/87 điểm, cao hơn đáng kể so với trung bình 37 điểm của bác sĩ trẻ và hơn một chút so với 59.7 điểm của bác sĩ đang đào tạo.
- Trung bình 5 bác sĩ chuyên khoa nhãn đạt 66.4 điểm, vượt qua GPT-4. PaLM 2 đạt 49 điểm, GPT-3.5 đạt 42 điểm và LLaMA đạt 28 điểm, thấp hơn bác sĩ trẻ.
- Thử nghiệm diễn ra giữa năm 2023, kết quả mang lại tiềm năng nhưng cũng có rủi ro và lo ngại.
- Nghiên cứu có số lượng câu hỏi hạn chế nên kết quả thực tế có thể khác. LLM cũng có xu hướng "ảo giác".

📌 GPT-4 đạt 60/87 điểm trong bài đánh giá nhãn khoa, cao hơn bác sĩ trẻ (37 điểm) và ngang ngửa bác sĩ đang đào tạo (59.7 điểm), nhưng vẫn thua bác sĩ chuyên khoa (66.4 điểm). Kết quả cho thấy tiềm năng của AI trong y học, song vẫn tồn tại rủi ro do số câu hỏi hạn chế và xu hướng "ảo giác" của LLM.

Citations:
[1] https://www.engadget.com/gpt-4-performed-close-to-the-level-of-expert-doctors-in-eye-assessments-131517436.html?guccounter=1