Trung Quốc: thực trạng lạnh lẽo của trung tâm dữ liệu AI giữa cơn sốt LLM

- Chi phí xây dựng và vận hành các trung tâm tính toán thông minh cho AI đang gia tăng đáng kể, với ước tính lên tới 1 tỷ nhân dân tệ (khoảng 140 triệu USD) mỗi năm cho một trung tâm quy mô lớn.
- Sự phát triển nhanh chóng của AI tạo sinh đã dẫn đến sự gia tăng nhu cầu về sức mạnh tính toán; tuy nhiên, nhiều trung tâm vẫn phải đối mặt với tỷ lệ sử dụng thấp.
- Hơn 30 thành phố ở Trung Quốc đã đầu tư vào việc xây dựng hoặc lập kế hoạch cho các trung tâm tính toán thông minh, nhưng nhiều trong số đó đang hoạt động không hiệu quả.
- Tỷ lệ máy chủ không hoạt động trong các trung tâm dữ liệu Trung Quốc đạt khoảng 42%, cho thấy sự lãng phí tài nguyên lớn.
- Chi phí vận hành hàng năm cho một máy chủ DGX A100 có thể lên tới 825.000 nhân dân tệ (khoảng 115.000 USD), bao gồm cả chi phí khấu hao và điện năng.
- Nhu cầu hiện tại chủ yếu tập trung vào việc đào tạo mô hình cơ bản, trong khi các ứng dụng AI gốc vẫn chưa phát triển mạnh mẽ.
- Mặc dù số lượng mô hình lớn đã tăng lên gấp ba lần trong bốn tháng qua, nhưng số lượng ứng dụng AI gốc vẫn còn rất hạn chế so với thị trường quốc tế.
- Các chuyên gia ngành công nghiệp đang tìm kiếm giải pháp để tối ưu hóa việc sử dụng tài nguyên tính toán thông qua các dịch vụ tính toán theo nhu cầu.
- Việc phát triển và phổ biến các ứng dụng AI gốc là yếu tố then chốt để giải quyết vấn đề lãng phí tài nguyên trong các trung tâm tính toán thông minh.
- Các nhà sản xuất đang áp dụng mô hình "pooling" để chia sẻ tài nguyên giữa nhiều ứng dụng khác nhau nhằm tối ưu hóa hiệu suất sử dụng.

📌Trung Quốc: Sự phát triển của AI tạo sinh đang thúc đẩy nhu cầu về sức mạnh tính toán, nhưng chi phí cao và tỷ lệ sử dụng thấp của các trung tâm tính toán thông minh đang tạo ra thách thức lớn. Cần có sự phát triển mạnh mẽ hơn nữa của các ứng dụng AI gốc để tối ưu hóa tài nguyên và giảm lãng phí.

https://mp.weixin.qq.com/s/BoNXsXTmdgTBABZATQTyow