Các nhà nghiên cứu từ Microsoft và NU Singapore giới thiệu Cosmo: Khung AI đào tạo trước nguồn mở hoàn toàn được chế tạo tỉ mỉ để xử lý hình ảnh và video
- COSMO là một framework mới, giúp cải thiện khả năng xử lý dữ liệu đa phương tiện trong AI.
- Framework này chia mô hình ngôn ngữ thành các phân đoạn chuyên biệt cho văn bản đơn phương tiện và xử lý dữ liệu đa phương tiện.
- Sự kết hợp của contrastive loss và language model loss giúp cải thiện khả năng căn chỉnh dữ liệu, đặc biệt là giữa văn bản và hình ảnh.
- Howto-Interlink7M dataset, với những chú thích chi tiết về video-văn bản, đã được sử dụng để tăng cường hiệu suất mô hình trong nhiệm vụ liên quan đến ảnh-văn bản.
- Kết quả kiểm nghiệm cho thấy COSMO vượt trội so với các mô hình trước đây, với một bước tiến lớn từ 57.2% lên 65.1% trong nhiệm vụ chú thích ảnh Flickr với chỉ 4 mẫu dữ liệu.
📌 COSMO là một framework mới, giúp cải thiện khả năng xử lý dữ liệu đa phương tiện trong AI. COSMO không chỉ đánh dấu bước tiến trong việc xử lý dữ liệu đa phương tiện, mà còn phản ánh xu hướng mạnh mẽ hướng tới việc tạo ra các hệ thống AI phức tạp, có khả năng hiểu và xử lý thông tin theo cách công bằng và toàn diện. Kết quả cải thiện đáng kể trong việc căn chỉnh dữ liệu văn bản và hình ảnh từ 57,2% lên 65,1% trong nhiệm vụ chú thích ảnh Flickr chỉ ra khả năng tiềm tàng mà COSMO mang lại, mở ra khả năng áp dụng AI đa phương tiện trong nhiều lĩnh vực từ y tế đến giáo dục, và tiếp tục thách thức giới hạn hiện tại của AI.
Thảo luận
Follow Us
Tin phổ biến
TAG
AI giáo dục
AI sinh-y-duoc
AI nghệ thuật
AI pháp lý-quản trị-chủ quyền
AI models
AI xã hội
AI prompts
AI kiến thức-khóa học
AI video
AI công nghiệp-lĩnh vực
AI edge
AI viễn thông
AI tools
AI chính phủ
AI GPT Store
AI cybersecurity
AI so sánh
AI đạo đức
AI tips
AI market
AI relations
AI quân sự
AI an toàn-an ninh-techwar
AI việc làm
AGI
AI doanh nghiệp
AI No-Low Code
OpenAI ChatGPT
AI môi trường-năng lượng
AI skill-talent
AI & công nghệ khác
AI nghiên cứu
AI chips-hardware-compute
AI vs con người
AI coding assistant
AI mở-nguồn mở
AI năng suất
AI startup-M&A
AI tương lai
AI báo chí
AI data
AI bản quyền
AI PC
AI riêng tư
AI deepfake-ảo giác-ANTT
AI ảnh-video-music-âm thanh
AI detect-test
AI minh bạch
AI nhỏ
AI hồi sinh
AI kiếm tiền
AI nông nghiệp-thực phẩm
AI ngân hàng-tài chính
AI giao thông
AI marketing-kinh doanh
AI smartphone
AI robotics-auto-agents
AI consumer devices
AI ecosystem
AI manufacturing
AI benchmark
Telecom
AI thành công-thất bại
National AI links
Digital
Semi-Cloud-DC-Green
Cybersecurity
Digital Legal
HTS