Chip AI Sohu tuyên bố chạy mô hình nhanh hơn và rẻ hơn 20 lần so với GPU Nvidia H100

• Startup Etched vừa công bố chip Sohu, một mạch tích hợp chuyên dụng (ASIC) được thiết kế riêng cho các mô hình transformer AI.

• Sohu tuyên bố vượt trội hơn GPU Nvidia H100 trong việc suy luận mô hình ngôn ngữ lớn (LLM).

• Một máy chủ 8xSohu được cho là có hiệu suất tương đương 160 GPU H100, giúp trung tâm dữ liệu tiết kiệm chi phí ban đầu và vận hành.

• Các bộ tăng tốc AI hiện tại (CPU hoặc GPU) được thiết kế để hoạt động với nhiều kiến trúc AI khác nhau, dẫn đến việc phân bổ phần lớn sức mạnh tính toán cho khả năng lập trình.

• Etched ước tính chỉ 3,3% transistor của GPU Nvidia H100 được sử dụng cho phép nhân ma trận - nhiệm vụ chính của LLM.

• Kiến trúc transformer AI đã trở nên phổ biến gần đây, với các mô hình nổi tiếng như ChatGPT, Sora, Gemini, Stable Diffusion và DALL-E đều dựa trên nó.

• Etched đã đặt cược lớn vào transformer khi bắt đầu dự án Sohu cách đây vài năm, tích hợp kiến trúc này vào phần cứng.

• Chiến lược này cho phép Sohu phân bổ nhiều transistor hơn cho tính toán AI, tương tự như GPU chuyên biệt cho xử lý đồ họa.

• Sohu chỉ hoạt động với mô hình transformer, khác với các chip AI hiện tại có thể hỗ trợ nhiều kiến trúc khác nhau.

• Sự ra đời của Sohu có thể đe dọa vị thế dẫn đầu của Nvidia trong lĩnh vực AI, đặc biệt nếu các công ty chỉ sử dụng mô hình transformer chuyển sang Sohu.

• Hiệu quả là chìa khóa để chiến thắng trong cuộc đua AI, và Sohu hứa hẹn mang lại phần cứng nhanh nhất và giá cả phải chăng nhất.

• Các chuyên gia lo ngại về khủng hoảng tiêu thụ điện năng do cơ sở hạ tầng AI gây ra. Mark Zuckerberg cho rằng nguồn cung điện sẽ hạn chế sự phát triển của AI.

• Các GPU bán ra năm ngoái tiêu thụ nhiều điện hơn 1,3 triệu hộ gia đình.

• Nếu cách tiếp cận của Etched với Sohu thành công, có thể giảm nhu cầu điện năng cho AI xuống mức quản lý được, cho phép lưới điện bắt kịp khi nhu cầu tính toán tăng lên một cách bền vững hơn.

📌 Chip AI Sohu của Etched hứa hẹn hiệu suất gấp 20 lần Nvidia H100 với chi phí thấp hơn. Thiết kế chuyên biệt cho mô hình transformer có thể cách mạng hóa trung tâm dữ liệu AI, giảm tiêu thụ điện từ 1,3 triệu hộ gia đình xuống mức bền vững hơn.

https://www.tomshardware.com/tech-industry/artificial-intelligence/sohu-ai-chip-claimed-to-run-models-20x-faster-and-cheaper-than-nvidia-h100-gpus