Cerebras vừa ra mắt DocChat, hệ thống hỏi đáp tài liệu vượt trội GPT-4 Turbo

- DocChat của Cerebras đánh dấu một bước tiến lớn trong hệ thống hỏi đáp dựa trên tài liệu, với hai mô hình mới: Llama3-DocChat và Dragon-DocChat.
- Llama3-DocChat được xây dựng trên nền tảng của Llama 3, kết hợp các nghiên cứu mới nhất, bao gồm mô hình ChatQA của Nvidia.
- Mô hình Dragon-DocChat là một mô hình tìm kiếm đa lượt, được tinh chỉnh để cải thiện tỷ lệ hồi đáp.
- Quá trình huấn luyện của Llama3-DocChat chỉ mất vài giờ trên một hệ thống Cerebras, trong khi Dragon-DocChat được tinh chỉnh trong vài phút.
- Hiệu suất của các mô hình này đã được đánh giá qua nhiều tiêu chí, với Llama3-DocChat đạt kết quả cao trên các benchmark như ConvFinQA và SQA.
- Cerebras cam kết với cộng đồng nguồn mở bằng cách công bố trọng số mô hình, công thức huấn luyện và bộ dữ liệu liên quan.
- Trong các so sánh benchmark, Llama3-DocChat vượt trội hơn so với Llama3-ChatQA và GPT-4 Turbo.
- Dragon-DocChat cũng cho thấy hiệu suất tốt hơn so với Dragon+ của Facebook và Dragon Multiturn của Nvidia.
- Trong quá trình phát triển, Cerebras đã giải quyết vấn đề về khả năng xử lý các câu hỏi không thể trả lời và đã cải thiện hiệu suất toán học của mô hình.
- Việc tích hợp các kỹ thuật như Chain of Thought (CoT) đã giúp cải thiện độ chính xác trong các tác vụ toán học.
- Cerebras đang có kế hoạch phát triển DocChat với các cải tiến như hỗ trợ ngữ cảnh dài hơn và khả năng suy luận toán học tốt hơn.
- Công ty cũng đang xem xét mở rộng kích thước mô hình để củng cố vị thế của mình trong lĩnh vực AI hội thoại.

📌 Cerebras đã ra mắt DocChat với hai mô hình Llama3-DocChat và Dragon-DocChat, được huấn luyện nhanh chóng và hiệu quả. Llama3-DocChat đạt kết quả cao trên các benchmark, trong khi Dragon-DocChat cải thiện đáng kể tỷ lệ hồi đáp. Công ty cam kết phát triển nguồn mở và tiếp tục đổi mới trong lĩnh vực AI.

https://www.marktechpost.com/2024/08/24/cerebras-docchat-released-built-on-top-of-llama-3-docchat-holds-gpt-4-level-conversational-qa-trained-in-a-few-hours/