WizardLM-2 nổi lên như một đối thủ đáng gờm của các mô hình ngôn ngữ lớn đóng như GPT-4 và Claude 3 Opus
- WizardLM giới thiệu WizardLM-2, một mô hình ngôn ngữ SOTA mã nguồn mở với hiệu suất cải thiện trong các tác vụ trò chuyện phức tạp, đa ngôn ngữ, lập luận và tác tử.
- Mô hình có 3 phiên bản: WizardLM-2 8x22B xuất sắc trong các tác vụ phức tạp, WizardLM-2 70B cung cấp khả năng lập luận hàng đầu, và WizardLM-2 7B nhanh nhất trong khi vẫn đạt hiệu suất tương đương các mô hình lớn gấp 10 lần.
- Trọng số mô hình WizardLM-2 8x22B và 7B đã có sẵn trên Hugging Face nhưng sau đó bị gỡ xuống do phát hành sớm.
- Mô hình Mixture of Experts đa ngôn ngữ có tổng kích thước tham số 141 tỷ. Nó được cấp phép Apache 2.0, tương tự như Llama 2, giúp nó cạnh tranh mạnh mẽ.
- WizardLM tin rằng dữ liệu do AI tạo ra một cách cẩn thận và mô hình được giám sát từng bước bởi AI sẽ là con đường duy nhất dẫn đến AI mạnh mẽ hơn.
- Trong khi Llama 3 sắp ra mắt, các mô hình khác như Gemma của Google, Phi-2 và Orca của Microsoft cũng đang cạnh tranh gay gắt. Amazon vẫn im lặng về việc tạo ra các mô hình nhỏ hơn và dựa vào các mô hình mã nguồn mở.
📌 WizardLM-2 nổi lên như một đối thủ đáng gờm của các mô hình ngôn ngữ lớn đóng như GPT-4 và Claude 3 Opus với 3 phiên bản mạnh mẽ 8x22B, 70B và 7B. Mô hình 141B tham số này sử dụng cấp phép mã nguồn mở Apache 2.0 và được đào tạo trên dữ liệu tổng hợp do AI tạo ra, hứa hẹn mở ra con đường mới cho các AI mạnh mẽ hơn trong tương lai.
Citations:
[1] The Dumbledore of LLMs https://analyticsindiamag.com/the-dumbledore-of-llms/
Thảo luận
Follow Us
Tin phổ biến
