- Google ra mắt nhiều công cụ mã nguồn mở hỗ trợ các dự án và cơ sở hạ tầng AI tạo sinh tại hội nghị Cloud Next.
- MaxDiffusion là bộ sưu tập các triển khai tham chiếu của các mô hình khuếch tán chạy trên các thiết bị XLA như TPU của Google và GPU mới của Nvidia.
- JetStream là một công cụ mới để chạy các mô hình AI tạo sinh văn bản, hiện hỗ trợ TPU và sẽ tương thích với GPU trong tương lai, mang lại hiệu suất cao gấp 3 lần trên mỗi đô la chi phí.
- MaxText bổ sung thêm các mô hình tạo sinh văn bản như Gemma 7B, GPT-3, Llama 2 và các mô hình từ Mistral, được tối ưu hóa hiệu suất trên TPU và GPU.
- Google hợp tác với Hugging Face tạo ra Optimum TPU, cung cấp công cụ để đưa các tác vụ AI nhất định lên phần cứng TPU, hiện mới chỉ hỗ trợ mô hình Gemma 7B và chạy mô hình chứ chưa hỗ trợ huấn luyện.
- Các cải tiến này tối đa hóa việc sử dụng GPU và TPU, dẫn đến hiệu quả năng lượng cao hơn và tối ưu hóa chi phí.
- Google hứa hẹn sẽ cải thiện các công cụ này trong tương lai.
📌 Google đã ra mắt hàng loạt công cụ mã nguồn mở như MaxDiffusion, JetStream, MaxText và Optimum TPU nhằm hỗ trợ phát triển các dự án AI tạo sinh. Các công cụ này giúp tối ưu hóa hiệu suất lên đến 3 lần và giảm chi phí triển khai trên phần cứng TPU và GPU, mặc dù vẫn còn một số hạn chế cần được cải thiện trong tương lai.
https://techcrunch.com/2024/04/09/google-open-sources-tools-to-support-ai-model-development/