IBM đánh bại Meta, OpenAI trong bảng xếp hạng minh bạch của Stanford

- Báo cáo tháng 5 của Đại học Stanford đánh giá 14 nhà cung cấp mô hình nền tảng, cho thấy điểm minh bạch trung bình đạt 58/100, tăng 21 điểm so với báo cáo tháng 10 năm ngoái.
- 8 nhà phát triển được đánh giá trong cả hai báo cáo tháng 10 và tháng 5 đều cải thiện điểm số của họ.
- Mặc dù mô hình Granite của IBM không đạt điểm cao nhất, nhưng nó vượt trội hơn các ông lớn khác trong ngành như Microsoft, Meta, OpenAI, Google và Amazon.
- Các nhà nghiên cứu chỉ ra rằng các nhà phát triển thường không minh bạch về dữ liệu, lao động và tính toán được sử dụng để xây dựng mô hình, không công bố đánh giá về rủi ro hoặc biện pháp giảm thiểu và không chia sẻ thông tin về tác động của mô hình đối với người dùng hoặc các lĩnh vực thị trường.
- Các cơ quan chính phủ trên toàn thế giới đang nỗ lực thúc đẩy sự minh bạch, như Nhà Trắng đã đảm bảo cam kết tự nguyện về an toàn và minh bạch từ hơn một chục nhà cung cấp công nghệ, và Liên minh Châu Âu đã thông qua Đạo luật AI với nhiều quy định liên quan đến minh bạch.
- Các giám đốc CNTT có quyền đàm phán để tăng tính minh bạch khi mua các mô hình AI.
- Trong báo cáo tháng 5, nhóm nghiên cứu đã liên hệ trực tiếp với các công ty để yêu cầu báo cáo và tiết lộ chủ động. 14 trên 19 công ty đồng ý tham gia.
- StarCoder từ BigCode, được hỗ trợ bởi Hugging Face và ServiceNow, đạt 85/100 điểm trên bảng xếp hạng, vượt qua điểm số 64 của Granite. AI21 Labs thể hiện sự cải thiện minh bạch lớn nhất, tăng 50 điểm kể từ tháng 10 và giành vị trí thứ hai.

📌 Báo cáo tháng 5 của Đại học Stanford cho thấy sự minh bạch của các nhà cung cấp mô hình nền tảng đã được cải thiện, với điểm trung bình đạt 58/100. IBM vượt trội hơn các ông lớn khác như Meta, OpenAI. Các cơ quan chính phủ đang thúc đẩy minh bạch và CIO có quyền đàm phán khi mua mô hình AI. StarCoder đứng đầu với 85 điểm, trong khi AI21 Labs cải thiện vượt bậc.

https://www.ciodive.com/news/transparency-generative-ai--model-vendor-landscape/716911/