Phát hiện văn bản AI tạo sinh qua từ khóa đặc trưng: 10% bài báo khoa học năm 2024 sử dụng AI

• Các nhà nghiên cứu từ Đại học Tubingen (Đức) và Đại học Northwestern đã phát triển một phương pháp mới để ước tính mức độ sử dụng mô hình ngôn ngữ lớn (LLM) trong văn bản khoa học.

• Nghiên cứu phân tích 14 triệu tóm tắt bài báo trên PubMed từ 2010-2024, theo dõi tần suất xuất hiện của từng từ qua các năm.

• Kết quả cho thấy có sự gia tăng đột ngột về tần suất sử dụng một số từ ngữ phong cách nhất định sau khi LLM trở nên phổ biến vào cuối năm 2022.

• Ví dụ: từ "delves" xuất hiện trong số lượng bài báo năm 2024 cao gấp 25 lần so với dự đoán dựa trên xu hướng trước LLM. Các từ như "showcasing" và "underscores" tăng gấp 9 lần.

• Một số từ phổ biến trước đó cũng trở nên thường xuyên hơn: "potential" tăng 4,1 điểm phần trăm, "findings" tăng 2,7 điểm, "crucial" tăng 2,6 điểm.

• Trước thời kỳ LLM, những thay đổi đột ngột về từ vựng chỉ xảy ra với các sự kiện y tế toàn cầu lớn như dịch Ebola năm 2015 hay đại dịch COVID-19.

• Sau thời kỳ LLM, hàng trăm từ có sự gia tăng đột ngột mà không liên quan đến sự kiện thế giới nào. Đa số là "từ phong cách" như động từ, tính từ, trạng từ.

• Dựa trên phân tích thống kê, các nhà nghiên cứu ước tính ít nhất 10% bài báo sau năm 2022 trong cơ sở dữ liệu PubMed được viết với sự hỗ trợ của LLM.

• Tỷ lệ này có thể cao hơn ở các nước như Trung Quốc, Hàn Quốc, Đài Loan (15%), có thể do LLM giúp chỉnh sửa tiếng Anh cho người không phải bản ngữ.

• Phát hiện sử dụng LLM là quan trọng vì chúng có thể tạo ra tài liệu tham khảo giả, tóm tắt không chính xác và đưa ra tuyên bố sai lệch nhưng nghe có vẻ thuyết phục.

• Tuy nhiên, khi kiến thức về các từ đặc trưng của LLM lan rộng, con người có thể loại bỏ chúng trước khi công bố, khiến việc phát hiện trở nên khó khăn hơn.

📌 Nghiên cứu mới phát hiện dấu hiệu sử dụng AI trong bài báo khoa học qua phân tích từ vựng. Ít nhất 10% bài báo PubMed năm 2024 có dấu hiệu dùng LLM, với tỷ lệ cao hơn ở các nước châu Á. Phương pháp này giúp nhận diện văn bản AI tạo sinh nhưng cũng có thể bị vô hiệu hóa trong tương lai.

https://arstechnica.com/ai/2024/07/the-telltale-words-that-could-identify-generative-ai-text/