Chi phí đào tạo các mô hình AI ngày càng tăng vọt
- Đồ họa bong bóng cho thấy chi phí đào tạo các mô hình AI tăng theo thời gian, dựa trên phân tích từ Báo cáo Chỉ số Trí tuệ Nhân tạo 2024 của Đại học Stanford.
- Việc đào tạo các mô hình AI tiên tiến như ChatGPT của OpenAI và Gemini Ultra của Google đòi hỏi hàng triệu USD, với chi phí leo thang nhanh chóng.
- Các yếu tố chính được phân tích bao gồm thời gian đào tạo mô hình, tỷ lệ sử dụng phần cứng và giá trị của phần cứng đào tạo.
- Năm 2017, chi phí đào tạo mô hình Transformer là 930 USD. Đến năm 2023, GPT-4 của OpenAI có chi phí ước tính là 78.4 triệu USD.
- Mô hình Gemini Ultra của Google còn tốn kém hơn, lên tới 191 triệu USD. Tính đến đầu năm 2024, mô hình này vượt trội hơn GPT-4 trên một số chỉ số, đặc biệt là trên bài kiểm tra MMLU.
- Các công ty AI đang tìm ra các giải pháp mới để đào tạo mô hình ngôn ngữ nhằm chống lại chi phí ngày càng tăng, như tạo ra các mô hình nhỏ hơn được thiết kế để thực hiện các tác vụ cụ thể hoặc thử nghiệm tạo dữ liệu tổng hợp của riêng họ.
- Tuy nhiên, các mô hình AI sử dụng dữ liệu tổng hợp đã cho thấy sản sinh ra vô nghĩa khi được hỏi với một số lời nhắc nhất định, gây ra "sụp đổ mô hình".
📌 Chi phí đào tạo các mô hình AI tiên tiến đã tăng vọt, từ 930 USD cho Transformer năm 2017 lên tới 191 triệu USD cho Gemini Ultra của Google năm 2024. Các công ty đang tìm cách giảm chi phí bằng các phương pháp như tạo mô hình nhỏ hơn hoặc sử dụng dữ liệu tổng hợp, nhưng chưa có bước đột phá rõ ràng.
https://www.visualcapitalist.com/training-costs-of-ai-models-over-time/
Thảo luận
Follow Us
Tin phổ biến
