Meta ra mắt một web crawler mới cho việc huấn luyện AI

- Meta đã ra mắt một web crawler mới có tên "Meta External Agent" vào tháng trước, nhằm thu thập dữ liệu từ Internet để phục vụ cho việc huấn luyện AI.
- Crawler này hoạt động bằng cách sao chép các dữ liệu công khai từ các trang web, bao gồm văn bản trong các bài báo và cuộc thảo luận trực tuyến.
- Theo các công ty theo dõi bot, Meta External Agent tương tự như GPTBot của OpenAI, cũng được sử dụng để thu thập dữ liệu cho AI.
- Meta đã cập nhật trang web dành cho nhà phát triển để công bố sự tồn tại của crawler mới này vào cuối tháng 7, nhưng chưa có thông báo chính thức nào từ công ty.
- Một phát ngôn viên của Meta cho biết công ty đã có một crawler khác trước đây, nhưng crawler mới này được sử dụng với mục đích khác nhau.
- Việc thu thập dữ liệu từ web để huấn luyện AI là một thực tiễn gây tranh cãi, dẫn đến nhiều vụ kiện từ các nghệ sĩ và tác giả về việc sử dụng nội dung của họ mà không có sự đồng ý.
- Khoảng 25% các trang web phổ biến nhất hiện nay đã chặn GPTBot, trong khi chỉ 2% chặn bot mới của Meta.
- Để chặn một web scraper, các trang web cần sử dụng robots.txt để chỉ dẫn bot không thu thập thông tin từ trang của họ, nhưng việc này không hoàn toàn hiệu quả.
- Các scraper thường được sử dụng để thu thập số lượng lớn dữ liệu văn bản từ web, phục vụ cho việc huấn luyện các mô hình AI như LLM.
- Llama, một trong những mô hình LLM lớn nhất của Meta, sử dụng dữ liệu từ nhiều nguồn khác nhau, bao gồm cả Common Crawl.
- Mark Zuckerberg đã tuyên bố rằng dữ liệu mà Meta thu thập cho việc huấn luyện AI lớn hơn cả dữ liệu từ Common Crawl.
- Sự ra đời của crawler mới cho thấy Meta có thể cần thêm dữ liệu để cải thiện và mở rộng khả năng của Llama và Meta AI.
- Công ty dự kiến sẽ chi tới 40 tỷ USD trong năm nay cho cơ sở hạ tầng AI và các chi phí liên quan.

📌 Meta đã ra mắt "Meta External Agent" để thu thập dữ liệu cho AI, với chỉ 2% trang web chặn bot này. Công ty dự kiến chi 40 tỷ USD cho AI, cho thấy nhu cầu dữ liệu ngày càng tăng để cải thiện mô hình LLM.

https://www.thestar.com.my/tech/tech-news/2024/08/21/reports-a-new-web-crawler-launched-by-meta-last-month-is-quietly-scraping-the-web-for-ai-training-data