Salesforce công bố xGen-small: AI doanh nghiệp mạnh mẽ không cần tốn GPU

• Salesforce AI Research vừa giới thiệu xGen-small, một mô hình ngôn ngữ nhỏ gọn tối ưu hóa cho môi trường doanh nghiệp, giải quyết các bài toán về ngữ cảnh dài, chi phí inference, và bảo mật dữ liệu nội bộ.

• Trong khi các LLM lớn gặp giới hạn do chi phí và yêu cầu phần cứng, xGen-small sử dụng chiến lược "small but long" – giảm kích thước mô hình nhưng mở rộng năng lực xử lý ngữ cảnh, từ 4K đến 128K token ổn định, thậm chí huấn luyện vượt chuẩn đến 256K.

• Mô hình được huấn luyện trên TPU v5p, sử dụng thư viện Jaxformer v8 và kỹ thuật tối ưu như FSDP, sequence-parallel attention và splash kernels giúp tiết kiệm tài nguyên nhưng vẫn đạt hiệu suất cao.

• Dữ liệu huấn luyện trải rộng từ code entropy thấp, ngôn ngữ tự nhiên entropy cao, đến nội dung toán học và tài liệu chuyên ngành – đảm bảo sự đa dạng và độ chính xác cao.

• Với hơn 8 nghìn tỷ token được chọn lọc kỹ lưỡng, quy trình lọc bao gồm kiểm tra spam, loại bỏ trùng lặp bằng hashing, và cân bằng giữa dữ liệu tổng quát và chuyên biệt, giúp mô hình thích ứng tốt với môi trường doanh nghiệp.

• Khác với RAG hay memory hack – vốn là các phương pháp "vá" để vượt giới hạn ngữ cảnh, xGen-small tích hợp khả năng ngữ cảnh dài gốc, giúp xử lý trọn vẹn tài liệu, đoạn mã, báo cáo nghiên cứu mà không cần truy xuất ngoài.

• Đánh giá hiệu năng cho thấy xGen-small 9B đạt vị trí dẫn đầu trên RULER benchmark, trong khi bản 4B đứng thứ hai trong phân khúc – chứng minh rằng mô hình nhỏ vẫn có thể cạnh tranh với đối thủ lớn hơn.

• Giai đoạn huấn luyện hậu kỳ gồm hai bước: fine-tuning theo chỉ dẫn với tập lệnh đa lĩnh vực và reinforcement learning quy mô lớn, giúp tăng khả năng lập luận, đặc biệt trong các tác vụ STEM và logic phức tạp.

• xGen-small cung cấp lợi thế chiến lược cho doanh nghiệp: hiệu suất ổn định, bảo mật dữ liệu nội bộ cao, không cần hạ tầng GPU tốn kém, đồng thời duy trì khả năng hiểu ngữ cảnh dài – điều mà phần lớn LLM lớn vẫn còn khó khăn.

• Kiến trúc này đánh dấu bước chuyển quan trọng trong hướng phát triển AI doanh nghiệp bền vững, không đốt tài nguyên nhưng vẫn đạt hiệu quả tối đa trong các quy trình nội bộ khối lượng lớn.

📌 xGen-small của Salesforce là bước ngoặt trong AI doanh nghiệp: mô hình chỉ 4B–9B nhưng xử lý ngữ cảnh tới 128K token ổn định, đạt top đầu trên RULER benchmark, và giảm thiểu chi phí phần cứng. Với kiến trúc "small but long" cùng quy trình huấn luyện tối ưu, xGen-small là lựa chọn lý tưởng cho doanh nghiệp cần AI mạnh, tiết kiệm và bảo mật.

https://www.marktechpost.com/2025/05/09/enterprise-ai-without-gpu-burn-salesforces-xgen-small-optimizes-for-context-cost-and-privacy/