MLPerf Inference 4.1 công bố kết quả mới với sự ra mắt của GPU Nvidia Blackwell

• MLCommons vừa công bố kết quả MLPerf Inference 4.1 mới nhất, với 964 kết quả hiệu năng được gửi bởi 22 tổ chức.

• Đây là lần đầu tiên GPU Nvidia Blackwell thế hệ mới xuất hiện trong các bài kiểm tra được xác thực.

• MLPerf Inference 4.1 giới thiệu benchmark mới về Mixture of Experts (MoE), sử dụng mô hình Mixtral 8x7B gồm 8 chuyên gia, mỗi chuyên gia có 7 tỷ tham số.

• Benchmark MoE kết hợp 3 tác vụ: trả lời câu hỏi dựa trên bộ dữ liệu Open Orca, suy luận toán học sử dụng bộ dữ liệu GSMK và các tác vụ lập trình sử dụng bộ dữ liệu MBXP.

• Nhiều bộ xử lý và hệ thống mới lần đầu xuất hiện trong đợt benchmark này, bao gồm AMD MI300x, Google TPUv6e (Trillium), Intel Granite Rapids, Untether AI SpeedAI 240 và Nvidia Blackwell B200 GPU.

• Kết quả cho thấy GPU Nvidia Blackwell mang lại hiệu năng cao hơn 4 lần so với thế hệ trước đó trên mỗi GPU đối với workload LLM lớn nhất của MLPerf là Llama 2 70B.

• GPU Nvidia Hopper cũng đạt được cải thiện hiệu năng lên tới 27% so với kết quả 6 tháng trước, chỉ nhờ vào tối ưu hóa phần mềm.

• David Kanter, người sáng lập MLPerf tại MLCommons, nhấn mạnh sự đa dạng và số lượng lớn các hệ thống tham gia benchmark lần này, mang lại nhiều cơ hội so sánh và học hỏi cho ngành công nghiệp.

• Miro Hodak từ AMD giải thích rằng cách tiếp cận MoE cho phép triển khai hiệu quả hơn và chuyên biệt hóa tác vụ, mang lại giải pháp AI linh hoạt và tiết kiệm chi phí hơn cho doanh nghiệp.

• Dave Salvator từ Nvidia chia sẻ đây là lần đầu tiên công bố dữ liệu hiệu năng đo lường của Blackwell, thể hiện sự phấn khích về tiềm năng của GPU thế hệ mới này.

• Các kết quả MLPerf Inference cung cấp cái nhìn toàn diện về cảnh quan phần cứng và phần mềm AI đang phát triển nhanh chóng, giúp các nhà ra quyết định doanh nghiệp đưa ra lựa chọn sáng suốt về đầu tư cơ sở hạ tầng AI.

📌 MLPerf Inference 4.1 đánh dấu bước tiến mới trong hiệu năng AI với sự ra mắt của GPU Nvidia Blackwell mạnh gấp 4 lần thế hệ trước. Benchmark MoE mới và sự cải thiện 27% của GPU Hopper cho thấy tiềm năng to lớn của công nghệ AI trong tương lai gần.

https://venturebeat.com/ai/mlcommons-mlperf-inference-4-1-benchmarks-moe-model-as-nvidia-blackwell-makes-its-testing-debut/