6 mô hình ngôn ngữ lớn mã nguồn mở chạy trên smartphone không cần Internet

- 6 mô hình ngôn ngữ lớn (LLM) mã nguồn mở có thể được đào tạo và tối ưu hóa để sử dụng trên điện thoại thông minh mà không cần internet.

- Gemma 2B của Google là mô hình ngôn ngữ nhỏ gọn mang lại hiệu suất ấn tượng với chỉ 2 tỷ tham số. Nó vượt trội hơn các mô hình mở có kích thước tương tự trên 11/18 tác vụ dựa trên văn bản.

- Phi-2 của Microsoft với 2,7 tỷ tham số, vượt trội hơn các mô hình lớn hơn tới 25 lần trên một số tiêu chuẩn. Nó có thể được định lượng xuống còn 4-bit hoặc 3-bit, giảm đáng kể kích thước mô hình xuống khoảng 1,17-1,48 GB.

- Falcon-RW-1B là một phần của dòng mô hình ngôn ngữ Falcon, được biết đến với hiệu quả và hiệu suất cao. Kiến trúc của nó được điều chỉnh từ GPT-3 nhưng kết hợp các kỹ thuật như ALiBi và FlashAttention để tăng cường hiệu quả tính toán.

- StableLM-3B của Stability AI là mô hình 3 tỷ tham số đạt được sự cân bằng giữa hiệu suất và hiệu quả. Mặc dù được đào tạo trên ít token hơn, nó vẫn vượt trội hơn các mô hình 7 tỷ tham số trên một số tiêu chuẩn. 

- TinyLlama tận dụng các tối ưu hóa như FlashAttention và RoPE positional embeddings để tăng cường hiệu quả tính toán. Nó tương thích với kiến trúc Llama và có thể tích hợp vào các ứng dụng di động dựa trên Llama hiện có với những thay đổi tối thiểu.

- LLaMA-2-7B của Meta đã được định lượng xuống còn trọng số 4-bit và kích hoạt 16-bit, giúp triển khai trên thiết bị di động. Quá trình định lượng này giảm kích thước mô hình xuống còn 3,6GB. Nó yêu cầu thiết bị có ít nhất 6GB RAM.

📌 Sự xuất hiện của các mô hình ngôn ngữ lớn mã nguồn mở nhỏ gọn như Gemma 2B, Phi-2, Falcon-RW-1B, StableLM-3B, TinyLlama và LLaMA-2-7B đang mở ra khả năng chạy các mô hình mạnh mẽ này trực tiếp trên điện thoại thông minh mà không cần internet. Mặc dù chúng đòi hỏi thiết bị có RAM đủ lớn và có thể không đạt tốc độ như các mô hình dựa trên đám mây, nhưng chúng cung cấp một lựa chọn hấp dẫn cho các nhà phát triển muốn tạo ra các tính năng thông minh dựa trên ngôn ngữ chạy trực tiếp trên điện thoại thông minh, đồng thời tối ưu hóa quyền riêng tư và kiểm soát.

https://analyticsindiamag.com/6-open-source-llms-that-can-run-on-smartphones/