LLM chưa vượt trội so với kỹ thuật từ thập niên 70 trong phát hiện bất thường dữ liệu chuỗi thời gian

• Nhóm nghiên cứu tại Phòng thí nghiệm Data to AI của MIT đã thử nghiệm sử dụng mô hình ngôn ngữ lớn (LLM) để phát hiện bất thường trong dữ liệu chuỗi thời gian, một nhiệm vụ thường được thực hiện bởi các công cụ học máy khác.

• Họ so sánh hiệu suất của LLM với 10 phương pháp khác, bao gồm các công cụ học sâu hiện đại và phương pháp ARIMA từ thập niên 70.

• Kết quả cho thấy LLM thua kém các mô hình khác trong hầu hết các trường hợp. ARIMA thậm chí vượt trội hơn LLM trên 7/11 bộ dữ liệu.

• Tuy nhiên, có hai điểm đáng ngạc nhiên:
  - LLM vẫn vượt trội hơn một số mô hình, kể cả một số phương pháp học sâu dựa trên transformer.
  - LLM đạt được kết quả này mà không cần tinh chỉnh, sử dụng trực tiếp GPT-3.5 và Mistral LLM.

• LLM thể hiện khả năng học không cần ví dụ (zero-shot learning), có thể phát hiện bất thường mà không cần đào tạo trước về dữ liệu "bình thường".

• Điều này mang lại hiệu quả lớn, giúp bỏ qua các bước đào tạo mô hình riêng cho từng tín hiệu hoặc điều kiện cụ thể.

• LLM có thể được tích hợp trực tiếp vào triển khai, giúp người vận hành kiểm soát tốt hơn quá trình phát hiện bất thường mà không phụ thuộc vào đội ngũ khác.

• Tuy nhiên, cần cẩn trọng khi cải thiện hiệu suất LLM để không làm mất đi những lợi thế cơ bản của chúng.

• Cộng đồng AI cần phát triển các phương pháp và thực hành mới để đảm bảo cải tiến LLM không loại bỏ các ưu điểm khác.

• Việc thiết lập các quy tắc và tiêu chuẩn cho LLM có thể mất nhiều thời gian, tương tự như quá trình phát triển các phương pháp đánh giá cho học máy cổ điển.

📌 Nghiên cứu MIT cho thấy LLM chưa vượt trội so với kỹ thuật cũ trong phát hiện bất thường dữ liệu chuỗi thời gian, thua 7/11 bộ dữ liệu so với ARIMA. Tuy nhiên, LLM thể hiện khả năng học không cần ví dụ và tích hợp triển khai dễ dàng, mở ra hướng phát triển mới cần được khai thác thêm.

https://venturebeat.com/ai/llms-are-stuck-on-a-problem-from-the-70s-but-are-still-worth-using-heres-why/