con người sử dụng năng lượng gấp 300 lần và mất 1 giờ để viết 250 từ, trong khi LLM chỉ mất 20 giây

- Mỗi lần tương tác với LLM, có chi phí năng lượng cho quá trình suy luận và huấn luyện mô hình trước khi đưa vào sử dụng.
- Con người chỉ có thể viết khoảng 250 từ mỗi giờ trong ngày làm việc 8 giờ. Chi phí năng lượng của cơ thể con người khi viết là khoảng 0,12 kWh/giờ.
- Tại Mỹ, mức tiêu thụ điện năng bình quân đầu người là khoảng 12.500 kWh/năm. Giả sử ngày làm việc 8 giờ và 260 ngày làm việc/năm, chi phí năng lượng hàng năm cho một giờ làm việc hàng ngày của một người là khoảng 6 kWh.
- Đo lường với Llama 65B cho thấy cần khoảng 4 Joule cho mỗi token đầu ra. Để tạo ra 250 từ (333 token), cần 1.332 Joule, tương đương 0,00037 kWh.
- Cơ thể con người sử dụng năng lượng gấp 300 lần và mất 1 giờ để viết 250 từ, trong khi LLM chỉ mất 20 giây và 0,00037 kWh.
- Việc sử dụng LLM trong quá trình viết có thể tiết kiệm đáng kể năng lượng nếu kết hợp với sự hướng dẫn và xác thực của con người.
- Chi phí huấn luyện một mô hình nền tảng lớn như GPT-3 ước tính khoảng 1.287.000 kWh, Llama 3 hơn 500.000 kWh. Tuy nhiên, một khi đã được huấn luyện, mô hình có thể được chia sẻ và tái sử dụng trong nhiều trường hợp khác nhau.
- Một người 20 tuổi được nuôi dưỡng tại Mỹ có thể đã sử dụng gần 250.000 kWh điện trong 20 năm cuộc đời. Chi phí năng lượng huấn luyện LLM có thể so sánh với việc nuôi dưỡng hai con người ở Mỹ.
- LLM có thể được nhân bản hoàn hảo và trở thành cơ sở để tinh chỉnh cho các tác vụ cụ thể, cho phép nhanh chóng khấu hao chi phí huấn luyện.

📌 Mặc dù việc so sánh trực tiếp giữa con người và LLM có phần không phù hợp, nhưng các báo cáo về mức tiêu thụ năng lượng của các mô hình này thường không xem xét sự lãng phí năng lượng của con người trong xã hội phát triển. Sử dụng LLM một cách thông minh kết hợp với con người có thể giúp tiết kiệm đáng kể năng lượng trong các tác vụ tạo văn bản đơn giản.

https://cacm.acm.org/blogcacm/the-energy-footprint-of-humans-and-large-language-models/