Nous Research ra mắt DisTrO giúp huấn luyện mô hình AI hiệu quả gấp 10.000 lần

• Nous Research vừa công bố công cụ mới có tên DisTrO (Distributed Training Over-the-Internet), giúp giảm đáng kể lượng thông tin cần truyền giữa các GPU trong quá trình huấn luyện mô hình AI.

• DisTrO cho phép huấn luyện các mô hình AI mạnh mẽ bên ngoài các công ty lớn, trên internet công cộng với kết nối cấp độ người dùng, tiềm năng cho phép cá nhân hoặc tổ chức trên toàn cầu cùng hợp tác.

• Kết quả thử nghiệm cho thấy DisTrO tăng hiệu quả gấp 857 lần so với thuật toán huấn luyện phổ biến All-Reduce, đồng thời giảm mạnh lượng thông tin truyền đi trong mỗi bước huấn luyện (86,8 MB so với 74,4 GB).

• DisTrO có thể mở ra cơ hội cho nhiều người hơn có khả năng huấn luyện các mô hình AI cực kỳ mạnh mẽ theo ý muốn.

• Phương pháp này giải quyết vấn đề yêu cầu phần cứng cao trong huấn luyện AI, vốn chỉ có các công ty lớn như Tesla, Meta, OpenAI, Microsoft, Google và Anthropic mới đáp ứng được.

• DisTrO giảm lưu lượng truyền thông giữa các GPU xuống 4-5 bậc độ lớn, cho phép huấn luyện mô hình quy mô lớn trên kết nối internet chậm hơn - tốc độ tải xuống 100Mbps và tải lên 10Mbps.

• Nhóm nghiên cứu đã thử nghiệm DisTrO với kiến trúc mô hình ngôn ngữ lớn Meta Llama 2 1,2 tỷ tham số và đạt hiệu suất huấn luyện tương đương các phương pháp thông thường nhưng với chi phí truyền thông thấp hơn đáng kể.

• Các tác giả cho biết có thể giảm yêu cầu băng thông lên đến 1.000-3.000 lần trong giai đoạn tiền huấn luyện, và lên đến 10.000 lần cho giai đoạn hậu huấn luyện và tinh chỉnh mà không làm giảm đáng kể hiệu suất.

• DisTrO vẫn cần GPU mạnh - cụ thể là 32 GPU H100, nhưng thay vì tập trung tại một địa điểm, chúng có thể được phân tán trên toàn cầu và giao tiếp qua internet người dùng.

• Công nghệ này có thể thay thế các phương pháp huấn luyện hiện có mà không làm giảm chất lượng mô hình, mở ra giải pháp có thể mở rộng và hiệu quả cho huấn luyện phân tán quy mô lớn.

• DisTrO có thể giúp giảm thiểu tác động môi trường của việc huấn luyện AI bằng cách tối ưu hóa việc sử dụng cơ sở hạ tầng hiện có và giảm nhu cầu về các trung tâm dữ liệu khổng lồ.

• Nhóm nghiên cứu Nous Research đang tìm kiếm cộng tác viên để giúp hoàn thiện và mở rộng công nghệ đột phá này. Báo cáo sơ bộ và tài liệu hỗ trợ đã có sẵn trên GitHub.

📌 DisTrO của Nous Research có thể cách mạng hóa việc huấn luyện AI, cho phép mô hình mạnh mẽ được tạo ra bởi cá nhân và tổ chức nhỏ. Công nghệ này giảm yêu cầu băng thông tới 10.000 lần, mở ra tiềm năng cho sự đổi mới AI phi tập trung và toàn cầu.

https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/