Nvidia H100 khan hiếm dần được giải tỏa, thời gian giao hàng giảm mạnh từ 4 tháng xuống còn 8-12 tuần

- Theo Digitimes, Tổng giám đốc Dell Đài Loan Terence Liao cho biết thời gian giao hàng của GPU AI Nvidia H100 đã giảm từ 3-4 tháng xuống còn 2-3 tháng (8-12 tuần) trong vài tháng qua.

- Các ODM máy chủ tiết lộ nguồn cung cuối cùng cũng dễ thở hơn so với năm 2023 khi gần như không thể có được GPU H100 của Nvidia. 

- Mặc dù thời gian giao hàng giảm, Liao cho biết nhu cầu về phần cứng AI vẫn cực kỳ cao. Cụ thể, việc mua máy chủ AI đang thay thế cho việc mua máy chủ đa năng trong các doanh nghiệp, mặc dù máy chủ AI cực kỳ đắt đỏ.

- Thời gian giao hàng 2-3 tháng là thời gian ngắn nhất từng thấy đối với GPU H100 của Nvidia. Chỉ 6 tháng trước, thời gian chờ đợi lên tới 11 tháng.

- Kể từ đầu năm 2024, thời gian giao hàng đã giảm đáng kể. Đầu năm giảm xuống còn 3-4 tháng, và hiện tại đã giảm thêm 1 tháng nữa. Nếu tốc độ này tiếp tục, thời gian chờ đợi có thể biến mất hoàn toàn vào cuối năm nay hoặc sớm hơn.

- Hành vi này có thể là kết quả của việc một số công ty dư thừa GPU H100 và bán lại một phần nguồn cung để bù đắp chi phí bảo trì cao của hàng tồn kho không sử dụng. 

- AWS cũng đã tạo điều kiện thuê GPU Nvidia H100 qua đám mây, giúp giảm bớt một phần nhu cầu H100.

- Các công ty lớn như OpenAI đang phát triển LLM của riêng mình vẫn đang gặp khó khăn về nguồn cung. Họ cần hàng chục nghìn và hàng trăm nghìn GPU để đào tạo LLM nhanh chóng và hiệu quả.

- Tin tốt là điều này sẽ không còn là vấn đề lâu. Nếu thời gian giao hàng tiếp tục rút ngắn theo cấp số nhân như 4 tháng qua, các khách hàng lớn nhất của Nvidia sẽ sớm được đáp ứng.

📌 Thời gian giao hàng GPU Nvidia H100 đã giảm mạnh từ 3-4 tháng xuống 2-3 tháng trong vài tháng qua. Mặc dù nguồn cung đã cải thiện, nhu cầu phần cứng AI vẫn cực kỳ cao, buộc các công ty ưu tiên mua máy chủ AI đắt đỏ. Nếu xu hướng này tiếp diễn, thời gian chờ đợi có thể biến mất hoàn toàn vào cuối năm nay, giúp các khách hàng lớn nhất của Nvidia như OpenAI không còn gặp khó khăn về nguồn cung GPU.

Citations:

[1] Nvidia's H100 AI GPU shortages ease as lead times drop from up to four months to 8-12 weeks https://www.tomshardware.com/pc-components/gpus/nvidias-h100-ai-gpu-shortages-ease-as-lead-times-drop-from-up-to-four-months-to-8-12-weeks