AWS đã triển khai Chương trình Hỗ trợ Phát triển LLM tại Nhật Bản, thu hút 15 tổ chức tham gia

• AWS đã triển khai Chương trình Hỗ trợ Phát triển LLM tại Nhật Bản, thu hút 15 tổ chức tham gia phát triển các mô hình ngôn ngữ lớn (LLM) và mô hình nền tảng (FM) tiên tiến.

• 12/15 tổ chức đã sử dụng AWS Trainium để huấn luyện mô hình và đang khám phá AWS Inferentia cho suy luận.

• Chương trình cung cấp hỗ trợ toàn diện về cơ sở hạ tầng tính toán hiệu năng cao, hỗ trợ kỹ thuật, tín dụng đám mây và hỗ trợ thương mại hóa.

• Ricoh đã phát triển LLM song ngữ Nhật-Anh 13 tỷ tham số sử dụng phương pháp học theo chương trình (curriculum learning) trên cụm 64 máy chủ trn1.32xlarge (1.024 chip Trainium).

• Stockmark đã huấn luyện trước LLM tiếng Nhật 13 tỷ tham số từ đầu với 220 tỷ token dữ liệu văn bản tiếng Nhật trong 30 ngày, sử dụng 16 máy chủ Trn1.

• NTT đang phát triển LLM tsuzumi nhẹ, hiệu suất cao với khả năng xử lý tiếng Nhật tốt và đa phương thức, sử dụng cụm 96 GPU NVIDIA H100 trên AWS.

• KARAKURI xây dựng LLM để tạo chatbot hỗ trợ khách hàng thân thiện bằng tiếng Nhật.

• Watashiha phát triển mô hình nền tảng OGIRI tập trung vào hài hước.

• Poetics tạo LLM phân tích cuộc họp trực tuyến cho công cụ Jamroll.

• Viện Matsuo huấn luyện trước LLM để phát triển hệ thống đề xuất thông minh cho bán lẻ và du lịch.

• Lightblue phát triển LLM nhỏ gọn để giảm chi phí suy luận.

• Recruit xây dựng LLM thông qua huấn luyện trước liên tục và điều chỉnh hướng dẫn trên các mô hình có sẵn.

• Sparticle và Turing đang phát triển mô hình đa phương thức kết hợp ngôn ngữ và hình ảnh.

• Preferred Networks đang phát triển mô hình nền tảng thị giác đa năng có thể xử lý cả thông tin văn bản và hình ảnh.

• CyberAgent đánh giá hiệu suất LLM khi thay đổi tỷ lệ tiếng Nhật và tiếng Anh trong dữ liệu huấn luyện.

• Rinna xây dựng Nekomata 14B dựa trên mô hình Qwen bằng cách huấn luyện trước liên tục với 66 tỷ token dữ liệu tiếng Nhật trong 6,5 ngày.

• Ubitus phát triển và phát hành Taiwan LLM 13B thông qua nghiên cứu chung với Đại học Quốc gia Đài Loan.

📌 AWS đã hỗ trợ thành công 15 tổ chức Nhật Bản phát triển các mô hình AI tạo sinh tiên tiến thông qua Chương trình LLM. Với AWS Trainium, các công ty đã xây dựng được nhiều LLM đa dạng về quy mô và ứng dụng, từ chatbot thông minh đến mô hình đa phương thức, mở ra tiềm năng to lớn cho đổi mới AI tại Nhật Bản.

https://aws.amazon.com/blogs/machine-learning/unlocking-japanese-llms-with-aws-trainium-innovators-showcase-from-the-aws-llm-development-support-program/