quên có chọn lọc giúp ai học tốt hơn
- Một nhóm các nhà khoa học máy tính đã tạo ra một loại mô hình học máy linh hoạt hơn bằng cách định kỳ xóa bỏ những gì nó biết trong quá trình huấn luyện.
- Các công cụ xử lý ngôn ngữ AI ngày nay chủ yếu dựa trên mạng nơ-ron nhân tạo. Việc huấn luyện các mô hình này tốn nhiều sức mạnh tính toán và khó thích ứng nếu cần thay đổi sau này.
- Các nhà nghiên cứu đã huấn luyện một mạng nơ-ron bằng một ngôn ngữ, sau đó xóa những gì nó biết về các thành phần cơ bản của từ (token) ở lớp embedding. Sau đó, họ huấn luyện lại mô hình trên ngôn ngữ thứ hai.
- Mô hình có thể học và xử lý ngôn ngữ mới mặc dù chứa thông tin không khớp. Các lớp sâu hơn của mạng lưu trữ thông tin trừu tượng hơn về các khái niệm đằng sau ngôn ngữ.
- Thay vì huấn luyện, xóa lớp embedding rồi huấn luyện lại, việc định kỳ đặt lại lớp embedding trong quá trình huấn luyện ban đầu giúp mô hình dễ dàng mở rộng sang ngôn ngữ khác.
- Mô hình quên định kỳ hoạt động tốt hơn khi huấn luyện lại trên các ngôn ngữ khác với bộ dữ liệu nhỏ hơn nhiều và giới hạn tính toán.
📌 Kỹ thuật quên có chọn lọc giúp các mô hình ngôn ngữ AI học tổng quát hóa tốt hơn, tương tự như cách não người hoạt động. Phương pháp này hứa hẹn mang các bước đột phá AI mới nhất đến nhiều ngôn ngữ hơn như tiếng Basque, vốn thiếu dữ liệu huấn luyện. Tương lai có thể có nhiều mô hình ngôn ngữ đa dạng thay vì chỉ một mô hình lớn duy nhất.
Citations:
[1] https://www.wired.com/story/how-selective-forgetting-can-help-ai-learn-better/
Thảo luận
Follow Us
Tin phổ biến
