Cách tối ưu cơ sở hạ tầng cho AI tạo sinh: Chiến lược tiết kiệm chi phí từ các chuyên gia

• AI tạo sinh đòi hỏi lượng lớn tài nguyên tính toán, lưu trữ dữ liệu, băng thông mạng, điện năng và làm mát. IDC dự báo thị trường cơ sở hạ tầng AI toàn cầu sẽ tăng gấp đôi từ 28,1 tỷ USD năm 2022 lên 57 tỷ USD vào năm 2027.

• Khối lượng cơ sở hạ tầng cần thiết để xử lý các mô hình ngôn ngữ lớn (LLM) của AI tạo sinh đang trở nên không bền vững. Các nhà lãnh đạo CNTT đang tìm kiếm các chiến lược để đảm bảo ROI tích cực.

• Tại Northwestern Medicine, Mozziyar Etemadi đã chuyển sang sử dụng mô hình ngôn ngữ nhỏ (SLM) để giảm yêu cầu cơ sở hạ tầng. Họ đã xây dựng một cụm 4 máy chủ Dell PowerEdge XE9680 với 8 GPU Nvidia H100 để xử lý hình ảnh X-quang, tiết kiệm khoảng 50% chi phí so với dịch vụ đám mây.

• Northwestern Medicine sử dụng kết hợp lưu trữ đám mây và tại chỗ, chọn giải pháp phù hợp nhất cho từng trường hợp. Họ nhận thấy lưu trữ tại chỗ thường rẻ hơn đám mây.

• Papercup Technologies ban đầu sử dụng cụm GPU tại chỗ, tiết kiệm 60-70% so với đám mây. Tuy nhiên, khi mở rộng, họ gặp vấn đề về điện năng, làm mát và quản lý hệ thống.

• Papercup đã chuyển sang sử dụng AWS cho các tác vụ dịch và lồng tiếng, Google Cloud Platform cho đào tạo mô hình nặng, và giữ lại một số máy chủ tại chỗ cho đào tạo đơn giản hơn.

• GPU hiện tại tiêu thụ nhiều năng lượng (700W) và xu hướng này sẽ tiếp tục tăng. Các chuyên gia dự đoán sự xuất hiện của các bộ đồng xử lý AI chuyên dụng trong tương lai.

• Các giải pháp thay thế cho GPU bao gồm SLM, CPU dựa trên ARM, nhà cung cấp đám mây với chính sách phát thải bằng 0, vi xử lý sử dụng FPGA hoặc ASIC.

📌 AI tạo sinh đòi hỏi cơ sở hạ tầng khổng lồ, thách thức các CIO về chi phí và bền vững. Các chiến lược hiệu quả bao gồm sử dụng mô hình ngôn ngữ nhỏ, kết hợp linh hoạt giữa on-premises và đám mây, cũng như tìm kiếm các giải pháp phần cứng tiết kiệm năng lượng hơn như bộ đồng xử lý AI chuyên dụng.

https://www.cio.com/article/2128440/getting-infrastructure-right-for-generative-ai.html?amp=1