opera cho phép tải xuống llm để sử dụng cục bộ, một bước đột phá cho trình duyệt lớn
- Opera trở thành trình duyệt lớn đầu tiên cho phép người dùng tải xuống các mô hình ngôn ngữ lớn (LLM) để sử dụng cục bộ thông qua một tính năng tích hợp.
- Tính năng này có nghĩa là bạn có thể tận dụng LLM trong Opera mà không cần gửi bất kỳ dữ liệu nào đến máy chủ.
- Tính năng này hiện có sẵn trong luồng nhà phát triển của Opera One như một phần của Chương trình Tính năng Thử nghiệm AI của công ty.
- Các LLM có sẵn bao gồm Gemma của Google, Mixtral của Mistral AI, Llama của Meta và Vicuna, với tổng cộng khoảng 50 họ và 150 LLM.
- Mỗi LLM có thể chiếm từ 2GB đến 10GB bộ nhớ, với các LLM chuyên biệt hơn có thể yêu cầu ít hơn.
- LLM cục bộ cũng có thể chậm hơn đáng kể so với LLM dựa trên máy chủ, tùy thuộc vào khả năng tính toán của phần cứng của bạn.
- Opera khuyên bạn nên thử một số mô hình, bao gồm Code Llama (mở rộng của Llama nhằm tạo và thảo luận về mã), Mixtral (được thiết kế cho nhiều tác vụ xử lý ngôn ngữ tự nhiên) và Phi-2 của Microsoft Research (thể hiện khả năng lý luận và hiểu ngôn ngữ xuất sắc).
- Để thử nghiệm tính năng này, bạn cần nâng cấp lên phiên bản mới nhất của Opera Developer, mở bảng Aria Chat, chọn "chế độ cục bộ", tải xuống các mô hình mong muốn và bắt đầu trò chuyện.
📌 Opera đi tiên phong khi trở thành trình duyệt lớn đầu tiên cho phép tải xuống 150 LLM từ 50 họ khác nhau để sử dụng hoàn toàn cục bộ, mang lại sự riêng tư và linh hoạt cho người dùng, mặc dù có thể chiếm nhiều dung lượng và chậm hơn so với các giải pháp dựa trên máy chủ.
https://www.zdnet.com/article/opera-is-testing-letting-you-download-llms-for-local-use-a-first-for-a-major-browser/
Thảo luận
Follow Us
Tin phổ biến
