SongAI

Tin nóng

OpenAI hay tự xây dựng: so sánh chi phí thực tế của việc tự lưu trữ các mô hình ngôn ngữ lớn
Google đã phát hành hướng dẫn 45 trang về cách viết lệnh tốt nhất cho AI Gemini
Gã khổng lồ công nghệ Trung Quốc Alibaba tiết lộ công cụ video AI mới
Hãy coi chừng những chi phí tiềm ẩn của AI trước khi chúng làm phá sản sự đổi mới
Researchers from Johns Hopkins and UC Santa Cruz Unveil D-iGPT: A Groundbreaking Advance in Image-Based AI Learning
AMD Disrupts AI Accelerator Market with New MI300 Offerings
Unlocking the potential of generative AI: Three key questions for government agencies
Demystifying AI PCs: What is an NPU
Spotify slashes staff to move faster into AI – and Wall Street loves it
The AI Frenzy, Fed Meets, Hunter Biden: Your Sunday US Briefing
AI nhỏ 2024-01-08 16:23:57

TinyLlama: Mô hình ngôn ngữ quy mô nhỏ mã nguồn mở đào tạo trước mô hình Llama 1,1 tỷ USD trên 3 nghìn tỷ token

  • TinyLlama là mô hình ngôn ngữ nhỏ gọn, nguồn mở với 1.1 tỷ tham số.
  • Được tiền huấn luyện trên khoảng 1 nghìn tỷ token qua khoảng 3 kỳ.
  • Kế thừa kiến trúc và tokenizer từ Llama 2, tận dụng các tiến bộ từ cộng đồng nguồn mở như FlashAttention để cải thiện hiệu suất tính toán.
  • Mặc dù có kích thước nhỏ, TinyLlama thể hiện hiệu năng đáng chú ý trong các nhiệm vụ phụ trợ.
  • Vượt trội hơn các mô hình ngôn ngữ nguồn mở khác có kích thước tương đương.
  • Checkpoints và mã nguồn của mô hình có sẵn công khai trên GitHub.

📌 TinyLlama mở ra kỷ nguyên mới cho ngành xử lý ngôn ngữ tự nhiên (NLP), nơi mà hiệu suất cao không còn đồng nghĩa với việc sử dụng nhiều tài nguyên tính toán. Với kích thước nhỏ gọn và khả năng cạnh tranh, TinyLlama không chỉ thúc đẩy nghiên cứu trong lĩnh vực NLP mà còn làm cho công nghệ này trở nên tiếp cận hơn với cộng đồng lớn hơn, đặc biệt là những người dùng có nguồn lực hạn chế. Điều này chứng minh sự tinh gọn không hề giảm bớt khả năng của một mô hình AI, khi mà TinyLlama với 1.1 tỷ tham số vẫn đạt được hiệu suất xuất sắc trên nhiều nhiệm vụ khác nhau.

Nguồn tham khảo
45

Thảo luận

Follow Us

12,345 Fans 12,345 Followers 12,345 Subscribers

Tin phổ biến

AI so sánh
OpenAI hay tự xây dựng: so sánh chi phí thực tế của việc tự lưu trữ các mô hình ngôn ngữ lớn
AI prompts
Google đã phát hành hướng dẫn 45 trang về cách viết lệnh tốt nhất cho AI Gemini
AI ảnh-video-music-âm thanh AI so sánh
Gã khổng lồ công nghệ Trung Quốc Alibaba tiết lộ công cụ video AI mới
AI pháp lý-quản trị-chủ quyền
Hãy coi chừng những chi phí tiềm ẩn của AI trước khi chúng làm phá sản sự đổi mới
Researchers from Johns Hopkins and UC Santa Cruz Unveil D-iGPT: A Groundbreaking Advance in Image-Based AI Learning
AMD Disrupts AI Accelerator Market with New MI300 Offerings
Unlocking the potential of generative AI: Three key questions for government agencies
Demystifying AI PCs: What is an NPU
Spotify slashes staff to move faster into AI – and Wall Street loves it
The AI Frenzy, Fed Meets, Hunter Biden: Your Sunday US Briefing

TAG

AI giáo dục AI sinh-y-duoc AI nghệ thuật AI pháp lý-quản trị-chủ quyền AI models AI xã hội AI prompts AI kiến thức-khóa học AI video AI công nghiệp-lĩnh vực AI edge AI viễn thông AI tools AI chính phủ AI GPT Store AI cybersecurity AI so sánh AI đạo đức AI tips AI market AI relations AI quân sự AI an toàn-an ninh-techwar AI việc làm AGI AI doanh nghiệp AI No-Low Code OpenAI ChatGPT AI môi trường-năng lượng AI skill-talent AI & công nghệ khác AI nghiên cứu AI chips-hardware-compute AI vs con người AI coding assistant AI mở-nguồn mở AI năng suất AI startup-M&A AI tương lai AI báo chí AI data AI bản quyền AI PC AI riêng tư AI deepfake-ảo giác-ANTT AI ảnh-video-music-âm thanh AI detect-test AI minh bạch AI nhỏ AI hồi sinh AI kiếm tiền AI nông nghiệp-thực phẩm AI ngân hàng-tài chính AI giao thông AI marketing-kinh doanh AI smartphone AI robotics-auto-agents AI consumer devices AI ecosystem AI manufacturing AI benchmark Telecom AI thành công-thất bại National AI links Digital Semi-Cloud-DC-Green Cybersecurity Digital Legal HTS

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo