Cerebras Systems thách thức Nvidia với chip AI khổng lồ nhanh hơn và rẻ hơn

- Cerebras Systems, một công ty khởi nghiệp của Mỹ, đang phát triển chip Wafer Scale Engine (WSE) kích thước bằng iPad nhằm cạnh tranh với Nvidia trong thị trường GPU AI.
- Vào ngày 27 tháng 8 năm 2024, Cerebras đã công bố dịch vụ Cerebras Inference, cho phép khách hàng sử dụng chip của họ cho các chương trình AI của riêng mình.
- Công ty tuyên bố rằng công nghệ của họ có thể chạy các chương trình AI tạo sinh nhanh gấp 20 lần và chỉ tốn 1/5 chi phí so với các GPU Nvidia như H100.
- Cerebras Inference cho phép các chương trình AI tạo ra dữ liệu mới, ví dụ như dự đoán từ tiếp theo trong một đoạn văn bản.
- Chip WSE của Cerebras đang được sử dụng để vận hành mô hình ngôn ngữ lớn mã nguồn mở Llama 3.1 của Meta, cho phép trả lời gần như không có độ trễ.
- Cụ thể, chip của Cerebras có thể xử lý phiên bản Llama 3.1 với 8 tỷ tham số, sản xuất 1.800 token mỗi giây, tương đương với khoảng 1.300 từ trong một giây.
- Phiên bản mạnh hơn với 70 tỷ tham số của Llama 3.1 có thể tạo ra 450 token mỗi giây, vượt xa hiệu suất của các nhà cung cấp đám mây AI như Amazon AWS và Microsoft Azure.
- Cerebras định giá dịch vụ của mình rất cạnh tranh: 10 cent cho mỗi triệu token cho phiên bản 8B và 60 cent cho phiên bản 70B, trong khi OpenAI tính phí từ 2,50 đến 15 USD cho mỗi triệu token.
- Chip WSE-3 của Cerebras được sản xuất bởi TSMC, nhà sản xuất chip hợp đồng đứng sau GPU AI của Nvidia, với 4 triệu transistor và 900.000 lõi AI.
- Cerebras cho biết WSE-3 cung cấp băng thông bộ nhớ cao gấp 7.000 lần so với H100, với 44GB SRAM trên chip.
- Mặc dù Cerebras đang so sánh WSE-3 với công nghệ Nvidia cũ, Nvidia đã giới thiệu kiến trúc Blackwell mới hứa hẹn hiệu suất gấp 7 đến 30 lần so với H100.
- Cerebras dự kiến mở rộng khả năng truy cập chip WSE-3 cho các nhà cung cấp đám mây khác, mặc dù giá của hệ thống CS-3 lên tới vài triệu USD, cao hơn nhiều so với giá của một GPU H100 khoảng 30.000 USD.

📌 Cerebras Systems đang định hình lại thị trường chip AI với công nghệ WSE-3, hứa hẹn tốc độ nhanh hơn gấp 20 lần và chi phí chỉ bằng 1/5 so với Nvidia. Dịch vụ Cerebras Inference cung cấp giải pháp AI hiệu quả với giá chỉ 10 cent cho mỗi triệu token.

https://www.pcmag.com/news/startup-goes-after-nvidia-with-giant-ai-chips-built-for-speed