Chi phí điện để vận hành 2.000 GPU AI của Nvidia lên tới 2 triệu USD mỗi năm tại Texas
• Theo dữ liệu từ Liftr Insights, việc vận hành 1.000 GPU H100 và 1.000 GPU A100 có thể tiêu tốn 2 triệu USD tiền điện hàng năm tại Texas.
• Cụm máy chủ gồm 2.000 card Nvidia này có giá trị khoảng 33 triệu USD và có hiệu năng tính toán vượt quá 44,7 petaflops FP64.
• Chi phí điện năng có thể dao động từ 2,1 triệu USD ở Houston, 1,9 triệu USD ở San Antonio đến 1,6 triệu USD ở Austin.
• Nhu cầu đối với H100 và A100 vẫn ở mức cao. Các nhà cung cấp đám mây lớn như AWS, Azure và GCP đang tăng cường áp dụng các bộ vi xử lý Nvidia mới nhất.
• 2.000 GPU được coi là quy mô nhỏ so với các cụm máy chủ lớn mà các công ty công nghệ hàng đầu đang triển khai.
• Meta dự kiến sẽ có công suất tính toán tương đương 600.000 H100 vào cuối năm 2024.
• Elon Musk đang nhắm tới mục tiêu 100.000 GPU H100 cho startup xAI của mình, trong khi Tesla đã triển khai khoảng 35.000 Nvidia H100.
• Theo báo cáo của TechInsights vào tháng 1/2024, năm 2023 có khoảng 878.000 bộ tăng tốc được các nhà cung cấp đám mây sử dụng.
• TechInsights cho rằng các bộ tăng tốc này có thể chưa được tận dụng hết công suất khi chỉ tạo ra 7 triệu giờ GPU làm việc.
• Báo cáo cũng chỉ ra rằng mỗi cụm máy chủ của AWS có 20.000 H100.
📌 Vận hành 2.000 GPU AI của Nvidia có thể tiêu tốn 2 triệu USD tiền điện mỗi năm tại Texas. Các công ty công nghệ lớn đang triển khai cụm máy chủ quy mô lớn, với Meta dự kiến đạt 600.000 H100 vào cuối năm 2024. Tuy nhiên, các bộ tăng tốc AI hiện tại có thể chưa được tận dụng hết công suất.
https://www.datacenterdynamics.com/en/news/running-2000-nvidia-ai-gpus-costs-2m-in-power-annually-in-texas/
Thảo luận
Follow Us
Tin phổ biến
