GLM-4 9B của Đại học Thanh Hoa: mô hình ngôn ngữ trội hơn GPT-4, Gemini Pro, Mistral và Llama 3 8B

- GLM-4 9B là mô hình ngôn ngữ mạnh mẽ được phát triển bởi nhóm Tsinghua Deep Model (THUDM) của Đại học Tsinghua (Thanh Hoa).
- Mô hình được huấn luyện trên 10 nghìn tỷ token bao gồm 26 ngôn ngữ, hỗ trợ đa dạng khả năng như đối thoại đa vòng bằng tiếng Trung và tiếng Anh, thực thi mã, duyệt web và gọi công cụ tùy chỉnh thông qua Function Call.
- Kiến trúc của GLM-4 9B dựa trên các tiến bộ mới nhất trong deep learning, tích hợp các kỹ thuật tiên tiến như cơ chế attention và kiến trúc transformer.
- Phiên bản cơ sở hỗ trợ cửa sổ ngữ cảnh lên đến 128.000 token, trong khi biến thể chuyên biệt cho phép độ dài ngữ cảnh ấn tượng 1 triệu token.
- GLM-4 9B nổi bật với khả năng hỗ trợ các tác vụ thị giác độ phân giải cao (lên đến 1198 x 1198 pixel) và xử lý đa dạng ngôn ngữ.
- Đánh giá trên nhiều bộ dữ liệu cho thấy GLM-4 9B vượt trội hơn mọi mô hình hiện có về độ chính xác tổng thể, vượt qua GPT-4, Gemini Pro (trong tác vụ thị giác), Mistral và Llama 3 8B.
- GLM-4 9B là mã nguồn mở và cho phép sử dụng thương mại (với một số điều kiện nhất định), mang lại nhiều cơ hội cho nhà phát triển, nhà nghiên cứu và doanh nghiệp.
- Các ứng dụng tiềm năng bao gồm xử lý ngôn ngữ tự nhiên, thị giác máy tính, tạo mã, v.v. Tích hợp liền mạch với thư viện Transformers giúp đơn giản hóa việc áp dụng và triển khai mô hình.

📌 GLM-4 9B của Đại học Thanh Hoa đánh dấu bước tiến quan trọng trong lĩnh vực mô hình ngôn ngữ với hiệu suất ấn tượng, khả năng đa ngôn ngữ và kiến trúc linh hoạt. Mô hình này thiết lập tiêu chuẩn mới cho các mô hình ngôn ngữ nguồn mở, mở đường cho những tiến bộ xa hơn trong xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo.

https://www.marktechpost.com/2024/06/05/meet-tsinghua-universitys-glm-4-9b-chat-1m-an-outstanding-language-model-challenging-gpt-4v-gemini-pro-on-vision-mistral-and-llama-3-8b/