GPU cho trung tâm dữ liệu AI có tuổi thọ chỉ khoảng 3 năm

• GPU cho trung tâm dữ liệu AI có tuổi thọ ngắn, chỉ khoảng 3 năm theo thông tin từ một kỹ sư của Google. Điều này đặt ra vấn đề lớn cho các công ty công nghệ khi họ đang đầu tư hàng tỷ USD vào phần cứng AI.
• Nguồn thông tin này đến từ tài khoản TechFund, dẫn lời một kiến trúc sư AI của Alphabet. Theo đó, các trung tâm dữ liệu có mức sử dụng cao, như Lambda Labs và CoreWeave với mức sử dụng từ 60-70%, dễ gặp tình trạng hỏng hóc phần cứng trong thời gian ngắn hơn.
• Lượng điện năng tiêu thụ lớn của GPU AI là nguyên nhân chính làm giảm tuổi thọ. Các GPU như dòng Hopper tiêu thụ tới 700W, trong khi dòng Blackwell thế hệ mới có thể lên đến 1.000W. Điều này gây ra áp lực nhiệt lớn lên các vi mạch silicon, tương tự như các GPU từng được dùng trong khai thác tiền điện tử, thường bị lỗi sau vài năm.
• Chi phí khổng lồ cho phần cứng AI đang là gánh nặng cho các công ty lớn. OpenAI dự kiến lỗ 5 tỷ USD trong năm 2024, mặc dù chi phí phần cứng được Microsoft hỗ trợ đáng kể. Google đã chi 13,2 tỷ USD chỉ trong quý II năm 2024 và sẽ tiếp tục tăng chi tiêu. Nếu các GPU chỉ kéo dài ba năm, việc đầu tư vào AI sẽ trở thành gánh nặng chi phí liên tục thay vì khoản đầu tư dài hạn.
• Các nhà đầu tư đang đặt câu hỏi về khả năng sinh lời của AI. Dù nhiều công ty cam kết phát triển các mô hình lớn hơn, việc đào tạo và vận hành chúng sẽ tiêu tốn hàng tỷ USD. Hơn nữa, với tuổi thọ ngắn của GPU, việc thay thế phần cứng sẽ trở thành nhu cầu liên tục.
• Nvidia đang hưởng lợi lớn từ tình thế này. Giá trị của Nvidia đã vượt 3 nghìn tỷ USD vào tháng 6/2024, và nếu các công ty AI phải liên tục mua GPU mới, lợi nhuận của Nvidia sẽ tiếp tục tăng nhanh hơn.

📌

Tuổi thọ ngắn của GPU trong các trung tâm dữ liệu AI là vấn đề lớn cho ngành công nghệ, khiến chi phí phần cứng trở thành gánh nặng liên tục. Trong khi các công ty phải đối mặt với thách thức tài chính, Nvidia hưởng lợi từ nhu cầu thay thế liên tục. Điều này có thể định hình tương lai của thị trường AI, nơi đầu tư vào phần cứng trở thành cuộc đua không ngừng nghỉ.

https://www.extremetech.com/computing/data-center-ai-gpus-may-have-extremely-short-lifespans