Intel Gaudi 2 nhanh hơn NVIDIA H100 trong huấn luyện Stable Diffusion 3 của Stability AI
- Stability AI so sánh tốc độ huấn luyện mô hình tạo ảnh Stable Diffusion 3 giữa Intel Gaudi 2 và NVIDIA H100/A100.
- Trên cấu hình 2 node, Intel Gaudi 2 xử lý 927 ảnh/giây, nhanh hơn 1.5 lần so với NVIDIA H100-80GB. Tăng batch size lên 32, Gaudi 2 đạt 1.254 ảnh/giây.
- Trên 32 node, cụm Gaudi 2 xử lý hơn 3 lần ảnh/giây so với NVIDIA A100-80GB, dù A100 đã được tối ưu phần mềm.
- Trong suy luận mô hình 8B Stable Diffusion 3, Gaudi 2 có tốc độ tương đương A100 khi dùng PyTorch. Tuy nhiên với TensorRT, A100 nhanh hơn Gaudi 2 40%.
- AMD trước đó cũng tuyên bố vượt NVIDIA H100 nhưng bị NVIDIA bác bỏ do không dùng TensorRT.
- Mô hình ngôn ngữ Stable Beluga 2.5 70B cho thấy hiệu năng ấn tượng trên 256 Gaudi 2, đạt 116.777 token/giây.
- Trong suy luận mô hình 70B, Gaudi 2 nhanh hơn 28% so với A100, đạt 673 token/giây trên mỗi chip.
📌 Intel Gaudi 2 thể hiện hiệu năng vượt trội so với NVIDIA H100 và A100 trong huấn luyện và suy luận các mô hình Stable Diffusion 3 và Stable Beluga 2.5 70B của Stability AI khi không sử dụng tối ưu hóa TensorRT. Tuy nhiên, NVIDIA A100 vẫn nhanh hơn 40% khi có TensorRT. Cuộc đua AI giữa Intel, NVIDIA và AMD hứa hẹn sẽ ngày càng gay cấn trong tương lai.
https://analyticsindiamag.com/stability-ai-claims-intel-gaudi-2-is-faster-than-nvidia-h100/
Thảo luận
Follow Us
Tin phổ biến
