• DeepSeek AI đã phát hành hệ thống tệp tin song song Fire-Flyer File System (3FS) hoàn toàn nguồn mở trong sự kiện Open Source Week.

• 3FS là hệ thống tệp tin song song dựa trên Linux được thiết kế đặc biệt cho hoạt động AI-HPC, nơi các máy chủ lưu trữ dữ liệu liên tục được truy cập bởi các nút GPU để đào tạo các mô hình ngôn ngữ lớn (LLM).

• Đặc điểm độc đáo của 3FS là ưu tiên tối đa tốc độ đọc ngẫu nhiên và gần như hoàn toàn bỏ qua bộ đệm đọc (read caching).

• Khi đào tạo mô hình AI, các đơn vị tính toán cần truy cập dữ liệu đào tạo ngẫu nhiên liên tục, và việc đọc dữ liệu này chỉ diễn ra một lần duy nhất.

• DeepSeek đã sử dụng 3FS để tổ chức máy chủ của mình từ ít nhất năm 2019.

• Trong hệ thống cụm của DeepSeek, 3FS đạt được tốc độ đọc tổng hợp lên tới 7,3 TB/giây.

• Trong cụm Fire-Flyer 2, DeepSeek đã sử dụng 180 nút lưu trữ, mỗi nút được trang bị 16 ổ SSD 16TB và hai NIC 200Gbps, phục vụ 10.000 GPU Nvidia A100 PCIe.

• DeepSeek tuyên bố 3FS đạt hiệu suất đo được là 6,6 TB/giây, trong khi vẫn chạy các tác vụ đào tạo trong nền bổ sung thêm 1,4 TB/giây tốc độ đọc.

• So sánh với hệ thống tệp tin đối thủ Ceph chỉ đạt tốc độ đọc 1,1 TB/giây (trên máy chủ 68 nút, 10 SSD 16TB và kết nối mạng 2 x 100 Gbps) lần đầu tiên vào đầu năm 2024.

• 3FS được đánh giá là phần quan trọng trong bộ phần mềm của DeepSeek để đào tạo DeepSeek AI, giúp giải pháp Fire-Flyer 2 HPC đạt 80% hiệu suất của giải pháp máy chủ DGX-A100 của Nvidia với chỉ 50% giá thành và 60% mức tiêu thụ điện năng.

• Người dùng quan tâm có thể tải 3FS từ trang Github của DeepSeek, mặc dù có thể phải đối mặt với một số lo ngại về công nghệ từ Trung Quốc.

📌 DeepSeek đã phát hành hệ thống tệp tin Fire-Flyer (3FS) nguồn mở đạt tốc độ đọc 7,3 TB/giây, tối ưu cho đào tạo AI với ưu tiên đọc ngẫu nhiên thay vì bộ đệm. Hệ thống đã giúp giảm 50% chi phí và 40% điện năng so với giải pháp Nvidia, mở ra tiềm năng lớn cho cả người dùng cá nhân và doanh nghiệp.