- Các nhà nghiên cứu từ Harvard, MIT, Đại học Chicago và Cornell đã chỉ ra rằng mô hình ngôn ngữ lớn (LLM) chưa đáng tin cậy như mọi người vẫn nghĩ
- Nintendo đã từ chối sử dụng AI trong phát triển trò chơi do những hạn chế này
- Thử nghiệm về khả năng chỉ đường tại New York cho thấy:
* LLM hoạt động gần như hoàn hảo trong điều kiện bình thường
* Khi chặn 1% đường phố, độ chính xác giảm từ gần 100% xuống chỉ còn 67%
* AI không thể thích ứng với thay đổi bố trí đường phố
- Các nhà nghiên cứu phát hiện:
* Mô hình transformer được huấn luyện dự đoán từ ngữ để tạo phản hồi giống người
* Khả năng dự đoán tốt không đồng nghĩa với việc hiểu thế giới thực
* Mô hình ngẫu nhiên đôi khi còn hoạt động tốt hơn mô hình dự đoán
- Thử nghiệm với trò chơi Othello:
* Một mô hình tạo được "mô hình thế giới" phù hợp cho nước đi
* Không mô hình nào thành công trong việc tạo mô hình điều hướng ở New York
- Hướng phát triển trong tương lai:
* Cần phương pháp mới không chỉ dựa vào độ chính xác dự đoán
* Cần xây dựng mô hình thực sự hiểu ngữ cảnh hoạt động
* Các nhà khoa học sẽ áp dụng chỉ số đánh giá mới cho các vấn đề khoa học và thực tế
📌 AI tạo sinh vẫn còn nhiều hạn chế nghiêm trọng trong việc thích ứng với thay đổi thực tế. Khi chỉ chặn 1% đường phố New York, độ chính xác của AI giảm 33%. Các nhà nghiên cứu từ Harvard và MIT khuyến nghị cần phát triển phương pháp mới để nâng cao khả năng thích ứng.
https://www.techtimes.com/articles/308157/20241105/large-language-model-limitations-why-generative-ai-still-has-long-way-go-researchers-say.htm