Đột phá: China Telecom huấn luyện LLM nghìn tỷ tham số trên chip Trung Quốc, thách thức lệnh cấm của Mỹ

• China Telecom, nhà mạng nhà nước Trung Quốc, đã công bố việc phát triển 2 mô hình ngôn ngữ lớn (LLM) được huấn luyện hoàn toàn trên chip sản xuất trong nước.

• Mô hình đầu tiên là TeleChat2-115B, mô hình nguồn mở với hơn 100 tỷ tham số.

• Mô hình thứ hai chưa được đặt tên, được cho là có 1 nghìn tỷ tham số.

• Cả hai mô hình được huấn luyện bằng hàng chục nghìn chip sản xuất tại Trung Quốc.

• China Telecom tuyên bố rằng điều này "cho thấy Trung Quốc đã thực sự đạt được sự tự chủ hoàn toàn trong việc huấn luyện LLM trong nước".

• Động thái này là một thách thức đối với các quy định hạn chế xuất khẩu nghiêm ngặt của Mỹ, ngăn chặn việc tiếp cận các GPU cao cấp như Nvidia H100 và A100.

• Mặc dù China Telecom không chỉ rõ nhà cung cấp chip, nhưng có khả năng Huawei đã cung cấp phần lớn, nếu không muốn nói là tất cả.

• Huawei đang định vị mình như một giải pháp thay thế trong nước cho Nvidia.

• China Telecom trước đây đã tiết lộ rằng họ đang phát triển công nghệ LLM sử dụng chip Ascend do Huawei phát triển.

• Huawei gần đây đã bắt đầu gửi mẫu bộ xử lý Ascend 910C mới cho các công ty máy chủ và viễn thông Trung Quốc để thử nghiệm.

• Nhiều công ty Trung Quốc, bao gồm ByteDance và Alibaba, đang chuyển sang sử dụng chip của Huawei để đáp ứng nhu cầu AI.

• ByteDance, chủ sở hữu của TikTok, được cho là đã đặt hàng 100.000 bộ xử lý Ascend.

• China Telecom cũng đang khám phá phần cứng từ Cambricon, một startup chip AI địa phương, để đa dạng hóa nguồn cung chip.

• Mặc dù có thị trường chợ đen sôi động cho GPU cao cấp của Nvidia tại Trung Quốc, nhiều công ty vẫn tuân thủ quy định và sử dụng GPU được phép có thông số kỹ thuật thấp hơn như Nvidia H20.

• Các công ty này muốn tránh rủi ro pháp lý và danh tiếng, đồng thời duy trì quyền truy cập vào hỗ trợ của Nvidia.

📌 China Telecom đã đạt được bước tiến quan trọng trong việc phát triển LLM tự chủ, với hai mô hình có 100 tỷ và 1 nghìn tỷ tham số được huấn luyện trên chip nội địa. Điều này thể hiện sự thách thức của Trung Quốc đối với lệnh cấm của Mỹ và sự trỗi dậy của Huawei như một đối thủ cạnh tranh tiềm năng của Nvidia trong lĩnh vực AI.

https://www.techradar.com/pro/one-of-the-worlds-largest-mobile-networks-will-train-its-trillion-parameter-strong-llm-on-huaweis-ai-chips-as-nvidia-amd-are-sidelined