fmti v1.1: bước tiến mới trong tính minh bạch của các mô hình nền tảng ai

- Chỉ số Minh bạch Mô hình Nền tảng (FMTI) được giới thiệu vào tháng 10/2023, đánh giá tính minh bạch của các mô hình nền tảng AI thông qua 100 chỉ số trên 3 lĩnh vực chính: tài nguyên đầu vào, bản thân mô hình và việc sử dụng đầu ra.

- Phiên bản FMTI v1.0 cho thấy sự thiếu minh bạch lan rộng giữa 10 công ty được đánh giá, với điểm số cao nhất chỉ đạt 54/100. Các nhà phát triển mô hình mở có kết quả tốt hơn so với các mô hình đóng.

- Nghiên cứu tiếp theo FMTI v1.1 từ các trường đại học Stanford, MIT và Princeton đánh giá sự phát triển của tính minh bạch trong 6 tháng, duy trì 100 chỉ số minh bạch ban đầu. 14 nhà phát triển tham gia, cung cấp thông tin mới cho trung bình 16.6 chỉ số.

- FMTI v1.1 bao gồm 4 bước: lựa chọn chỉ số, lựa chọn nhà phát triển, thu thập thông tin và chấm điểm. Việc thu thập thông tin chuyển từ tìm kiếm công khai sang các bài báo cáo minh bạch trực tiếp từ nhà phát triển, đảm bảo tính đầy đủ và rõ ràng.

- Kết quả cho thấy điểm số ban đầu thay đổi đáng kể, với 11/14 nhà phát triển đạt dưới 65 điểm, cho thấy còn nhiều dư địa cải thiện. Điểm trung bình và trung vị lần lượt là 57.93 và 57. Nhà phát triển điểm cao nhất đạt 85/100 chỉ số, thấp nhất là 33/100.

- Các nhà phát triển đã cung cấp nhiều thông tin mới, cải thiện điểm minh bạch trung bình thêm 14.2 điểm. Tính minh bạch cao nhất ở lĩnh vực sử dụng đầu ra và thấp nhất ở tài nguyên đầu vào. Các nhà phát triển mở nhìn chung vẫn có kết quả tốt hơn các nhà phát triển đóng.

📌 Chỉ số FMTI cho thấy tính minh bạch trong hệ sinh thái mô hình nền tảng AI cần được cải thiện, mặc dù đã có những thay đổi tích cực kể từ tháng 10/2023. Qua phân tích các báo cáo minh bạch của nhà phát triển, chỉ số giúp các bên liên quan đưa ra quyết định sáng suốt. Với việc thiết lập báo cáo minh bạch, FMTI cung cấp nguồn thông tin giá trị cho các nhà phát triển, nhà nghiên cứu và nhà báo để nâng cao sự hiểu biết chung về lĩnh vực quan trọng này.

https://www.marktechpost.com/2024/05/25/transparency-in-foundation-models-the-next-step-in-foundation-model-transparency-index-fmti/