Microsoft CTO: Quy luật mở rộng LLM vẫn đúng. LLM sẽ tiếp tục cải thiện khi tăng quy mô, bất chấp hoài nghi

• Kevin Scott, CTO của Microsoft, trong một cuộc phỏng vấn gần đây đã khẳng định niềm tin vào "quy luật mở rộng" của mô hình ngôn ngữ lớn (LLM), cho rằng chúng sẽ tiếp tục thúc đẩy tiến bộ AI.

• Scott phản bác ý kiến cho rằng tiến bộ AI đã chậm lại, nói rằng "chúng ta chưa đạt đến điểm lợi nhuận biên giảm dần khi mở rộng quy mô".

• Quy luật mở rộng LLM chỉ ra rằng hiệu suất của mô hình ngôn ngữ có xu hướng cải thiện khi mô hình lớn hơn, được đào tạo trên nhiều dữ liệu hơn và có quyền truy cập vào nhiều sức mạnh tính toán hơn.

• Một số nhà nghiên cứu đã thách thức ý tưởng về quy luật mở rộng liên tục theo thời gian, nhưng nó vẫn là nền tảng trong triết lý phát triển AI của OpenAI.

• Quan điểm lạc quan của Scott trái ngược với nhận định của một số nhà phê bình AI cho rằng tiến bộ trong LLM đã đạt đỉnh ở các mô hình cấp GPT-4.

• Nhận thức về sự chững lại được thúc đẩy bởi các quan sát không chính thức và một số kết quả benchmark về các mô hình gần đây như Google's Gemini 1.5 Pro, Anthropic's Claude Opus và OpenAI's GPT-4.

• Một số người cho rằng các mô hình gần đây không thể hiện những bước nhảy vọt về khả năng như các thế hệ trước đó, và sự phát triển LLM có thể đang tiến gần đến lợi nhuận biên giảm dần.

• Scott thừa nhận thách thức của việc có các điểm dữ liệu không thường xuyên trong lĩnh vực này, vì các mô hình mới thường mất nhiều năm để phát triển.

• Ông bày tỏ sự tự tin rằng các phiên bản trong tương lai sẽ cho thấy những cải tiến, đặc biệt là trong các lĩnh vực mà các mô hình hiện tại đang gặp khó khăn.

• Scott dự đoán rằng thế hệ tiếp theo của các mô hình sẽ tốt hơn ở những thứ hiện đang "mỏng manh", sẽ rẻ hơn và ít mỏng manh hơn, cho phép thực hiện những điều phức tạp hơn.

• Một số nhà phê bình như Gary Marcus và Ed Zitron đã đặt câu hỏi về tiến bộ thực sự kể từ khi GPT-4 ra mắt và nghi ngờ về khả năng có những đột phá bí mật từ các công ty như OpenAI.

• Nhận thức về sự chậm lại trong khả năng LLM có thể một phần do sự xuất hiện nhanh chóng của AI trong mắt công chúng, trong khi thực tế LLM đã phát triển trong nhiều năm trước đó.

📌 Microsoft CTO Kevin Scott vẫn tin tưởng vào tiềm năng phát triển của LLM thông qua mở rộng quy mô, bất chấp hoài nghi từ một số nhà phê bình. Ông dự đoán thế hệ mô hình tiếp theo sẽ rẻ hơn, ổn định hơn và có khả năng thực hiện các tác vụ phức tạp hơn, mặc dù thời điểm ra mắt vẫn chưa xác định.

https://arstechnica.com/information-technology/2024/07/microsoft-cto-defies-critics-ai-progress-not-slowing-down-its-just-warming-up/