4 cách AWS tối ưu hóa cơ sở hạ tầng để thúc đẩy AI tạo sinh: mạng, trung tâm dữ liệu, chip, bảo mật

- AWS liên tục tối ưu hóa cơ sở hạ tầng để hỗ trợ AI tạo sinh với 4 cải tiến chính: mạng tốc độ cao, quy mô lớn; trung tâm dữ liệu tiết kiệm năng lượng; chip AI hiệu suất cao; bảo mật từ gốc.
- Mạng UltraCluster 2.0 hỗ trợ hơn 20.000 GPU với độ trễ giảm 25%, giúp giảm thời gian đào tạo mô hình ít nhất 15%. Giao thức SRD được AWS thiết kế riêng cho phép chạy ứng dụng cần giao tiếp liên node cao ở quy mô lớn.
- AWS cam kết vận hành hiệu quả để giảm tác động môi trường. Nghiên cứu của Accenture cho thấy cơ sở hạ tầng AWS hiệu quả hơn tới 4,1 lần so với tại chỗ, giảm tới 99% lượng khí thải carbon.
- Các cải tiến về làm mát, mô hình hóa, sử dụng vật liệu ít carbon giúp trung tâm dữ liệu AWS tiết kiệm năng lượng tối đa. Hệ thống làm mát đa dạng phù hợp với chip AI tỏa nhiều nhiệt.
- Chip AI của AWS như Trainium và Inferentia cung cấp hiệu suất giá tốt hơn, tiết kiệm năng lượng khi đào tạo và chạy mô hình AI tạo sinh. Trainium2 ra mắt cuối năm nay, nhanh hơn 4 lần và cải thiện hiệu quả năng lượng 2 lần so với Trainium thế hệ đầu.
- Bảo mật là ưu tiên hàng đầu của AWS. Hệ thống Nitro bảo vệ mã và dữ liệu khách hàng, trong khi Nitro Enclaves và AWS KMS cho phép cô lập dữ liệu nhạy cảm. Gần đây, luồng mã hóa đầu cuối Nitro được mở rộng tích hợp với GPU và bộ tăng tốc ML.
- Anthropic's Claude 3.5 Sonnet, mô hình AI mạnh nhất từ trước đến nay, đã được giới thiệu trên Amazon Bedrock với giá chỉ bằng 1/5 so với Claude 3 Opus.

📌 AWS đang liên tục cải tiến cơ sở hạ tầng để hỗ trợ AI tạo sinh với mạng UltraCluster 2.0 hỗ trợ 20.000 GPU, hiệu suất trung tâm dữ liệu cao hơn 4,1 lần, chip Trainium2 nhanh hơn 4 lần và bảo mật từ gốc với Nitro System. Điều này giúp khách hàng xây dựng ứng dụng ML nhanh chóng, tiết kiệm và an toàn, đồng thời giảm tới 99% lượng khí thải carbon.

https://www.aboutamazon.com/news/aws/aws-infrastructure-generative-ai