Tại sao các mô hình AI tạo sinh nguồn mở vẫn chậm một bước so với GPT-4

  • Các mô hình AI nguồn mở như Meta's Llama 2 không đạt hiệu suất cao như GPT-4 của OpenAI trong các kiểm tra chuyên ngành.
  • Một nghiên cứu từ Pepperdine University, UCLA và UC Riverside đã sử dụng Llama 2 để trả lời câu hỏi về nephrology nhưng không đạt kết quả khả quan.
  • Trong khi đó, GPT-4 đạt tỷ lệ đúng 73,3% trong các bài kiểm tra tương tự, rất gần với ngưỡng đậu là 75%.
  • Các mô hình nguồn mở khác như Vicuña và Falcon cũng không thể hiệu quả hơn nhiều so với cách đoán mò.
  • Sự chênh lệch này là minh chứng rõ ràng về khoảng cách chất lượng giữa các mô hình AI nguồn mở so với mô hình thương mại, đặc biệt trong lĩnh vực đòi hỏi kiến thức chuyên sâu.

📌 GPT-4 đã cho thấy khả năng tiếp cận ngưỡng hiệu suất của con người với tỷ lệ đúng 73,3% trong các bài kiểm tra chuyên ngành, trong khi các mô hình AI nguồn mở như Llama 2 vẫn còn nhiều hạn chế, không hiệu quả hơn việc đoán mò.

Thảo luận

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo