Hugging Face ra mắt dịch vụ HUGS giúp triển khai AI tạo sinh với chi phí thấp 1 USD/giờ/container
• Hugging Face vừa công bố dịch vụ mới có tên Hugging Face Generative AI Services (HUGS) nhằm đơn giản hóa việc triển khai và mở rộng các ứng dụng AI tạo sinh sử dụng mô hình nguồn mở.
• HUGS được xây dựng dựa trên các công nghệ của Hugging Face như Transformers và Text Generation Inference (TGI), hứa hẹn hiệu suất tối ưu trên nhiều bộ tăng tốc phần cứng khác nhau.
• Chi phí dịch vụ chỉ 1 USD/giờ/container khi sử dụng trên AWS hoặc Google Cloud, kèm theo gói dùng thử miễn phí 5 ngày trên AWS.
• Dịch vụ tự động tối ưu hóa mô hình cho từng môi trường phần cứng cụ thể, giúp đạt hiệu suất cao mà không cần cấu hình thủ công. Hỗ trợ GPU của NVIDIA, AMD và sắp tới là AWS Inferentia và Google TPUs.
• HUGS hỗ trợ nhiều mô hình nổi tiếng như Llama, Gemma và sẽ sớm bổ sung các mô hình multimodal như Idefics, Llava cùng các mô hình embedding như BGE và Jina.
• Dịch vụ sử dụng API chuẩn hóa tương thích với giao diện mô hình của OpenAI, giúp các nhà phát triển dễ dàng chuyển đổi mã nguồn.
• Đặc biệt phù hợp với các startup khi cung cấp triển khai một chạm trên DigitalOcean mà không tính phí thêm ngoài chi phí GPU Droplets tiêu chuẩn.
• Doanh nghiệp lớn có thể mở rộng ứng dụng mà không bị phụ thuộc vào một nhà cung cấp đám mây hay API độc quyền. Hugging Face cũng cung cấp giải pháp triển khai tùy chỉnh qua Enterprise Hub.
📌 Hugging Face tạo bước đột phá với HUGS - dịch vụ triển khai AI tạo sinh giá rẻ chỉ 1 USD/giờ/container, hỗ trợ đa dạng mô hình nguồn mở và tự động tối ưu hóa trên nhiều nền tảng phần cứng, mở ra cơ hội lớn cho startup tiếp cận công nghệ AI.
https://www.techradar.com/pro/Hugging-Face-launches-new-an-open-source-tool-for-affordable-AI-deployment
Thảo luận
Follow Us
Tin phổ biến
