Databricks phát hành mô hình AI mã nguồn mở mạnh nhất thế giới DBRX
- Startup Databricks đã phát hành DBRX, mô hình ngôn ngữ lớn mã nguồn mở mạnh nhất hiện nay, vượt qua Llama 2 của Meta.
- Databricks đã đầu tư khoảng 10 triệu USD và mất nhiều tháng để huấn luyện DBRX.
- DBRX vượt trội hơn các mô hình mã nguồn mở khác như Llama 2, Mixtral và Grok AI của Elon Musk trên nhiều bài kiểm tra.
- Trên một số điểm số, DBRX gần bằng GPT-4 của OpenAI, mô hình đóng được coi là đỉnh cao của trí tuệ máy.
- Databricks muốn minh bạch về quá trình tạo ra DBRX, không như Meta với Llama 2.
- Databricks hy vọng giúp các công ty trong tài chính, y tế sử dụng công nghệ AI trên dữ liệu riêng.
- DBRX sử dụng kiến trúc "mixture of experts", chỉ kích hoạt một phần mô hình để xử lý truy vấn, giúp huấn luyện và vận hành hiệu quả hơn.
- Trong 2 tuần cuối, Databricks đã tập trung cải thiện hiệu suất của DBRX trên một tập hợp khả năng cụ thể thay vì tiếp tục mở rộng quy mô.
- DBRX cũng đạt kết quả tốt trong việc tạo mã máy tính mặc dù không tập trung vào khía cạnh này.
- Databricks cho rằng việc công khai mã nguồn giúp thúc đẩy đổi mới và nghiên cứu khoa học.
📌 DBRX của Databricks đã trở thành mô hình AI mã nguồn mở mạnh nhất hiện nay với 136 tỷ tham số, vượt qua Llama 2, Mixtral và Grok. Mô hình này đạt điểm số gần bằng GPT-4 trên nhiều bài kiểm tra và hứa hẹn mang AI đến với nhiều doanh nghiệp hơn. Databricks cũng muốn minh bạch hơn về quá trình xây dựng DBRX để thúc đẩy nghiên cứu và đổi mới trong lĩnh vực AI.
Citations:
[1] https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/
Thảo luận
Follow Us
Tin phổ biến
