Công cụ AI cấp độ tiếp theo đứng đầu trong cuộc đua tốc độ LLM

- Groq LPU Inference Engine đã vượt qua tất cả các đối thủ trong các bài kiểm tra công khai về tổng thời gian phản hồi, thông lượng theo thời gian, biến thiên thông lượng và độ trễ so với thông lượng.
- Công ty Groq, có trụ sở tại California, đã phát triển một loại chip mới để giải quyết các vấn đề về mật độ tính toán và băng thông bộ nhớ, nhằm tăng tốc độ xử lý các ứng dụng tính toán nặng như Mô hình Ngôn Ngữ Lớn (LLM).
- Đơn vị Xử lý Ngôn Ngữ (LPU) là một phần không thể thiếu của động cơ suy luận của công ty, xử lý thông tin và cung cấp câu trả lời cho các truy vấn từ người dùng cuối, cung cấp càng nhiều token (hoặc từ) càng tốt cho các phản hồi cực kỳ nhanh.
- Trong các thử nghiệm nội bộ vào cuối năm ngoái, Groq đã đạt được hơn 300 token mỗi giây cho mỗi người dùng thông qua Llama-2 (70B) LLM từ Meta AI.
- Vào tháng 1 năm 2024, ArtificialAnalysis.ai đã độc lập đánh giá Groq và API Llama 2 Chat (70B) của nó, đạt được thông lượng 241 token mỗi giây, gấp hơn hai lần tốc độ của các nhà cung cấp dịch vụ khác.
- Groq LPU Inference Engine được công nhận là lựa chọn nhanh nhất để chạy Mô hình Ngôn Ngữ Lớn, và công ty tự hào về việc được ArtificialAnalysis.ai công nhận là một đối thủ thực sự trong số các bộ tăng tốc AI.

📌 Groq LPU Inference Engine đã thiết lập một tiêu chuẩn mới trong lĩnh vực tốc độ xử lý mô hình ngôn ngữ lớn (LLM), với các kết quả đáng kinh ngạc như đạt được hơn 300 token mỗi giây cho mỗi người dùng và thông lượng 241 token mỗi giây trong các bài kiểm tra độc lập bởi ArtificialAnalysis.ai. Sự đổi mới trong thiết kế chip của Groq giúp giải quyết các thách thức về mật độ tính toán và băng thông bộ nhớ, mở ra khả năng xử lý nhanh chóng các truy vấn phức tạp và tăng cường hiệu suất cho các ứng dụng AI nặng. Sự công nhận từ bên thứ ba như ArtificialAnalysis.ai không chỉ khẳng định vị thế dẫn đầu của Groq trong ngành mà còn làm nổi bật tiềm năng của công nghệ này trong việc hỗ trợ các mô hình ngôn ngữ lớn, mở ra cánh cửa cho các ứng dụng mới và cải thiện đáng kể trải nghiệm người dùng cuối.

Citations:
[1] https://newatlas.com/technology/groq-lpu-inference-engine-benchmarks/