ARM mang công nghệ transformer đến các thiết bị IoT

- Ethos-U85, thế hệ micro-NPU tiếp theo của Arm, được thiết kế để hỗ trợ các phép biến đổi, mang các mô hình AI tạo sinh đến thiết bị IoT.
- So với thế hệ thứ 2 U65, U85 trong cấu hình lớn nhất có hiệu năng gấp 4 lần và tiết kiệm năng lượng hơn 20%. Nó có thể được điều khiển bởi cả bộ xử lý ứng dụng Cortex-A hoặc vi điều khiển Cortex-M.
- U85 NPU IP có thể cấu hình từ 128-2048 MAC để đạt hiệu suất từ 256 GOPS đến 4 TOPS ở 1 GHz, sử dụng trọng số INT8 với kích hoạt INT16. Kích hoạt INT8 cũng được hỗ trợ.
- Arm đã thêm hỗ trợ cho các toán tử đặc trưng của transformer vào U85 như MATMUL, TRANSPOSE. Chuỗi toán tử elementwise cũng được hỗ trợ thông qua bộ đệm bên trong bổ sung để giảm thiểu truyền dữ liệu trung gian đến SRAM.
- Bộ giải mã trọng số của Ethos-U85 đã được cải tiến hiệu quả hơn. Sự kết hợp của chuỗi toán tử, bộ giải mã trọng số nhanh mới và hiệu quả cải thiện của mảng MAC góp phần vào 20% cải thiện tổng thể về hiệu quả năng lượng.
- Chuỗi công cụ Ethos hiện có của Arm, bao gồm trình biên dịch Vela, sẽ hỗ trợ U85. Nó sử dụng TensorFlowLite cho thời gian chạy vi điều khiển hiện tại, với kế hoạch hỗ trợ ExecuTorch (thời gian chạy PyTorch).
- Nền tảng tham chiếu của Arm cho Ethos-U85, Corstone-320, dành cho các ứng dụng AI cạnh như thị giác, giọng nói, âm thanh.
- Khách hàng có thể thử nghiệm các mô hình AI tạo sinh bằng cách sử dụng các mô phỏng phần cứng ảo của Arm ngay hôm nay, với Ethos-U85 dự kiến sẽ có mặt trên thị trường silicon vào năm 2025.

📌 Ethos-U85 của Arm mang các phép biến đổi đến thiết bị IoT, hỗ trợ các mô hình AI tạo sinh như ViT-Tiny và TinyLlama-1.1B. Với hiệu năng gấp 4 lần và tiết kiệm năng lượng 20% so với thế hệ trước, U85 đánh dấu bước tiến quan trọng trong việc triển khai AI tạo sinh trên các thiết bị nhúng. Tuy nhiên, việc áp dụng transformer trong IoT vẫn còn ở giai đoạn đầu và mức độ áp dụng khác nhau rất lớn giữa các thị trường.

Citations:
[1] https://www.eetimes.com/arm-brings-transformers-to-iot-devices/