Google Cloud Run đã tích hợp GPU Nvidia L4, cho phép tổ chức triển khai AI inference serverless

- Google Cloud Run đã công bố tích hợp GPU Nvidia L4 vào dịch vụ serverless của mình, cho phép tổ chức thực hiện AI inference mà không cần duy trì các phiên bản máy chủ liên tục.
- Tính năng này giúp giảm chi phí cho việc cung cấp sức mạnh GPU cần thiết cho AI, khi mà người dùng chỉ trả tiền cho tài nguyên khi chúng được sử dụng.
- Nvidia L4 GPU có thể được triển khai với các mô hình AI như NIM, VLLM, Pytorch và Ollama, hiện đang ở giai đoạn xem trước.
- Theo Sagar Randive, Quản lý sản phẩm của Google Cloud Serverless, người dùng đang tìm kiếm sự linh hoạt và hiệu quả từ nền tảng này và đã yêu cầu hỗ trợ GPU.
- Cloud Run đã trở thành nền tảng phổ biến cho các nhà phát triển nhờ khả năng đơn giản hóa việc triển khai và quản lý container.
- Việc tích hợp GPU mở ra nhiều trường hợp sử dụng mới cho các nhà phát triển Cloud Run, bao gồm:
  - Thực hiện AI inference theo thời gian thực với các mô hình nhẹ như Gemma 2B/7B hoặc Llama3 (8B), giúp tạo ra chatbot tùy chỉnh và công cụ tóm tắt tài liệu ngay lập tức.
  - Phục vụ các mô hình AI tạo sinh tùy chỉnh, bao gồm ứng dụng tạo hình ảnh theo thương hiệu có thể mở rộng theo nhu cầu.
  - Tăng tốc các dịch vụ yêu cầu tính toán cao như nhận diện hình ảnh, chuyển mã video và dựng 3D, với khả năng tự động giảm quy mô khi không sử dụng.
- Google Cloud đã công bố thời gian khởi động lạnh cho các phiên bản Cloud Run mới dao động từ 11 đến 35 giây cho các mô hình khác nhau, cho thấy khả năng phản hồi của nền tảng.
- Mỗi phiên bản Cloud Run có thể được trang bị một GPU Nvidia L4 với tối đa 24GB vRAM, cung cấp đủ tài nguyên cho nhiều tác vụ AI inference thông thường.
- Google Cloud cam kết không giới hạn các mô hình LLM, nhưng khuyến nghị người dùng nên chạy các mô hình dưới 13B tham số để có hiệu suất tốt nhất.
- Về chi phí, việc sử dụng AI inference serverless có thể tiết kiệm hơn so với việc duy trì các phiên bản máy chủ lâu dài, nhưng điều này phụ thuộc vào ứng dụng và lưu lượng truy cập dự kiến.

📌 Google Cloud Run đã tích hợp GPU Nvidia L4, cho phép AI inference serverless với thời gian khởi động lạnh từ 11 đến 35 giây. Điều này mở ra cơ hội mới cho các ứng dụng AI, đồng thời hứa hẹn tiết kiệm chi phí cho tổ chức.

https://venturebeat.com/ai/google-cloud-run-embraces-nvidia-gpus-for-serverless-ai-inference/