Nghiên cứu từ MIT: 50% hiệu suất tăng lên từ AI tạo sinh đến từ mô hình AI; 50% còn lại do prompt của bạn

• Một nghiên cứu quy mô lớn từ các nhà nghiên cứu liên kết với MIT Sloan phát hiện: chỉ 50% hiệu suất tăng lên khi dùng mô hình AI cao cấp hơn là nhờ chính mô hình; 50% còn lại là do người dùng cải thiện prompt.

• Nghiên cứu cho thấy đầu tư vào công cụ AI mới sẽ không đạt giá trị tối ưu nếu người dùng không nâng cao kỹ năng sử dụng prompt.

• Trong thử nghiệm với gần 1.900 người tham gia, 3 phiên bản của hệ thống tạo ảnh DALL-E đã được sử dụng: DALL-E 2, DALL-E 3, và DALL-E 3 có prompt được GPT-4 viết lại tự động.

• Người tham gia phải tạo lại một hình ảnh mẫu trong 25 phút, viết ít nhất 10 prompt, có động lực nhận thưởng nếu nằm trong nhóm top 20%.

• Người dùng DALL-E 3 gốc tạo ảnh tốt hơn so với người dùng DALL-E 2. Prompt của họ dài hơn 24%, có nhiều mô tả và sự tương đồng cao hơn giữa các prompt.

• Khoảng 50% hiệu suất cải thiện là do mô hình mới, 50% còn lại đến từ người dùng chủ động viết prompt tốt hơn để khai thác sức mạnh AI.

• Nhóm người dùng có prompt được GPT-4 tự động viết lại thực tế lại có hiệu suất tệ hơn 58% so với nhóm dùng DALL-E 3 gốc. Prompt bị chỉnh sửa gây hiểu sai mục đích gốc của người dùng.

• Nghiên cứu chứng minh kỹ năng prompt không chỉ dành cho dân kỹ thuật: những người giỏi giao tiếp bằng ngôn ngữ đời thường lại là những người viết prompt hiệu quả nhất.

• Người không có nền tảng công nghệ vẫn có thể cải thiện hiệu suất đáng kể qua việc thử nghiệm, học hỏi. Điều này góp phần thu hẹp khoảng cách năng suất giữa người dùng trình độ khác nhau.

• Tuy nhiên, trong các tác vụ mở và sáng tạo cao, kết quả có thể không giống do thiếu chuẩn đánh giá rõ ràng.

• Các khuyến nghị dành cho doanh nghiệp:

  • Đầu tư vào đào tạo và tạo môi trường thử nghiệm AI liên tục.

  • Thiết kế giao diện khuyến khích lặp lại và học hỏi qua trải nghiệm.

  • Tránh lạm dụng tự động hóa prompt có thể làm sai lệch mục đích người dùng.

📌 Nghiên cứu MIT phát hiện chỉ 50% hiệu suất AI cải thiện là nhờ mô hình nâng cấp, phần còn lại nhờ người dùng viết prompt tốt hơn. Đặc biệt, viết prompt tự động bằng GPT-4 khiến hiệu suất giảm 58%. Điều này nhấn mạnh rằng thành công với AI không chỉ là công nghệ, mà còn phụ thuộc vào cách con người tương tác với nó.

https://mitsloan.mit.edu/ideas-made-to-matter/study-generative-ai-results-depend-user-prompts-much-models