Mô hình ngôn ngữ nhỏ (SLM) đang được chú ý nhưng có những hạn chế quan trọng

• Mô hình ngôn ngữ nhỏ (SLM) đang được chú ý sau khi OpenAI ra mắt GPT-4o mini, nhưng chuyên gia cảnh báo rằng những mô hình nhẹ và tiết kiệm chi phí này sẽ không phải là giải pháp toàn diện cho các doanh nghiệp.

• GPT-4o mini có hiệu suất tốt, đặc biệt trong lĩnh vực suy luận toán học. Nó đạt 82% về hiểu ngôn ngữ đa nhiệm và 87% về toán học đa ngôn ngữ cấp tiểu học.

• Ưu điểm lớn nhất của GPT-4o mini là chi phí. Với giá 5 cent cho mỗi triệu token đầu vào và 60 cent cho mỗi triệu token đầu ra, GPT-4o rẻ hơn 60% so với GPT-3.5 Turbo.

• Microsoft cũng đã ra mắt Phi 3 - một dòng SLM được thiết kế để việc tinh chỉnh hoặc tùy chỉnh dễ dàng và rẻ hơn, với yêu cầu tính toán thấp hơn.

• Chi phí của các mô hình phụ thuộc vào số lượng GPU cần thiết để triển khai. Mô hình càng nhỏ thì càng cần ít GPU và do đó chi phí càng thấp.

• Tuy nhiên, có một "lỗi ẩn" trong cuộc thảo luận về SLM. Mặc dù khả năng của chúng "đủ tốt để bắt đầu" nhưng không "đủ tốt để thực sự đưa vào sản xuất".

• SLM thường được xây dựng để xuất sắc trong các lĩnh vực cụ thể, tạo ra rào cản khi công ty cố gắng làm việc với các mô hình ngoài phạm vi khả năng của chúng.

• Người dùng nên cẩn thận khi đánh giá mục đích sử dụng SLM. Nếu phù hợp với các tiêu chuẩn mà mô hình đạt được cao nhất, người dùng sẽ thấy kết quả tích cực. Tuy nhiên, không nên kỳ vọng hiệu suất tốt trên tất cả các chức năng của SLM.

• Tương lai có thể sẽ không yêu cầu doanh nghiệp lựa chọn hoàn toàn giữa SLM và mô hình ngôn ngữ lớn (LLM). Không một mô hình nào có thể phục vụ đầy đủ cho các trường hợp sử dụng ở cấp độ doanh nghiệp, chuyên gia.

• Nhiều mô hình cần phải kết hợp với nhau - làm việc cùng nhau một cách đồng bộ - theo cách gần như tự động để đạt được kết quả mong muốn.

• Giống như doanh nghiệp hiện đang áp dụng chiến lược đa đám mây khi xây dựng kiến trúc đám mây, các công ty cũng cần suy nghĩ về tương lai AI của họ theo cách tương tự.

📌 SLM như GPT-4o mini của OpenAI có ưu điểm về chi phí, rẻ hơn 60% so với GPT-3.5 Turbo. Tuy nhiên, chúng có hạn chế về khả năng và phạm vi ứng dụng. Chuyên gia khuyến nghị doanh nghiệp nên xây dựng hệ sinh thái AI đa dạng, kết hợp nhiều mô hình để đáp ứng nhu cầu sử dụng ở cấp độ doanh nghiệp.

https://www.itpro.com/technology/artificial-intelligence/small-language-models-are-growing-in-popularity-but-they-have-a-hidden-fallacy-that-enterprises-must-come-to-terms-with