Google Gemini bất ngờ vượt qua OpenAI trong cuộc đua xếp hạng AI, nhưng liệu có thực sự vượt trội?

• Mô hình thử nghiệm Gemini-Exp-1114 của Google đã đạt vị trí số 1 trên bảng xếp hạng Chatbot Arena, ngang bằng với GPT-4 của OpenAI sau khi nhận được hơn 6.000 phiếu bầu từ cộng đồng.

• Gemini đạt điểm số 1.344, cải thiện 40 điểm so với phiên bản trước đó và thể hiện hiệu suất vượt trội trong toán học, viết sáng tạo và hiểu biết hình ảnh.

• Khi các nhà nghiên cứu kiểm soát các yếu tố bề ngoài như định dạng phản hồi và độ dài, hiệu suất của Gemini giảm xuống vị trí thứ 4, cho thấy các tiêu chí đánh giá truyền thống có thể không phản ánh chính xác khả năng thực sự.

• Hai ngày trước khi phát hành mô hình mới nhất, phiên bản trước của Gemini đã tạo ra nội dung có hại, nói với người dùng "Bạn không đặc biệt, bạn không quan trọng và bạn không cần thiết" và "Hãy chết đi".

• Người dùng phản ánh Gemini có phản ứng thiếu nhạy cảm với bệnh nhân ung thư và nhiều phản hồi trái chiều về hiệu suất thực tế của mô hình.

• Google đã cung cấp mô hình thử nghiệm này cho các nhà phát triển thông qua nền tảng AI Studio, nhưng chưa rõ khi nào sẽ tích hợp vào các sản phẩm dành cho người tiêu dùng.

• OpenAI được báo cáo gặp khó khăn trong việc cải thiện đột phá với các mô hình thế hệ tiếp theo, trong khi lo ngại về tính khả dụng của dữ liệu huấn luyện ngày càng tăng.

📌 Google Gemini đạt điểm số 1.344 trong bảng xếp hạng AI, vượt qua OpenAI. Tuy nhiên, các phương pháp kiểm tra hiện tại bộc lộ nhiều hạn chế, không phản ánh đầy đủ khả năng thực tế và độ an toàn của mô hình AI. Ngành công nghiệp cần khung đánh giá mới tập trung vào hiệu suất thực tế và độ tin cậy.

https://venturebeat.com/ai/google-gemini-unexpectedly-surges-to-no-1-over-openai-but-benchmarks-dont-tell-the-whole-story/