OpenAI tuyên bố có thể xây dựng lại GPT-4 chỉ với 5-10 người, nhờ tiến bộ của GPT4.5

-  Sam Altman, CEO của OpenAI, tiết lộ rằng việc xây dựng GPT-4 ban đầu đã cần đến "hàng trăm người, gần như toàn bộ nỗ lực của OpenAI". Tuy nhiên, nhờ những tiến bộ từ GPT-4.5, công ty hiện có thể xây dựng lại GPT-4 chỉ với 5-10 người.

-  Trong một tập podcast của công ty được phát hành ngày 11/4/2025, Alex Paino - người đứng đầu quá trình huấn luyện máy học cho GPT-4.5 - xác nhận rằng việc tái xây dựng GPT-4 "có lẽ" chỉ cần 5-10 người. Ông chia sẻ: "Chúng tôi đã huấn luyện GPT-4o, một mô hình cùng đẳng cấp với GPT-4 mà chúng tôi tái huấn luyện bằng nhiều thành quả từ chương trình nghiên cứu GPT-4.5. Quá trình này thực sự chỉ cần một số lượng người ít hơn nhiều."

-  Daniel Selsam, nhà nghiên cứu tại OpenAI làm việc về hiệu quả dữ liệu và thuật toán, đồng ý rằng việc xây dựng lại GPT-4 hiện sẽ dễ dàng hơn nhiều: "Chỉ cần biết ai đó đã làm được điều gì đó - nó trở nên dễ dàng hơn rất nhiều. Tôi cảm thấy chỉ cần biết điều gì đó là có thể thực hiện được đã là một mã gian lận khổng lồ."

-  OpenAI đã phát hành GPT-4.5 vào tháng 2/2025, mô tả đây là mô hình lớn nhất và mạnh mẽ nhất của công ty cho đến nay. Altman mô tả nó trên X như "mô hình đầu tiên có cảm giác như đang nói chuyện với một người có tư duy."

-  Paino cho biết GPT-4.5 được thiết kế để "thông minh gấp 10 lần" so với GPT-4, ra mắt vào tháng 3/2023. "Chúng tôi đang mở rộng quy mô gấp 10 lần so với những gì chúng tôi đã làm trước đây với các lần huấn luyện GPT."

-  Altman cũng tiết lộ rằng OpenAI không còn bị "hạn chế về khả năng tính toán" đối với những mô hình tốt nhất mà họ có thể tạo ra - một sự thay đổi mà ông cho rằng thế giới chưa thực sự hiểu. Đối với nhiều công ty AI, rào cản lớn nhất để xây dựng mô hình tốt hơn đơn giản là có đủ sức mạnh tính toán.

-  OpenAI đã công bố vào tháng 3 rằng họ đã hoàn tất vòng gọi vốn tư nhân lớn nhất trong lĩnh vực công nghệ, bao gồm 30 tỷ USD từ SoftBank và 10 tỷ USD từ các nhà đầu tư khác, đưa giá trị công ty lên 300 tỷ USD. Nguồn vốn mới sẽ giúp OpenAI mở rộng khả năng tính toán hơn nữa.

-  Về những gì cần thiết để đạt được bước nhảy vọt tiếp theo gấp 10 hoặc 100 lần về quy mô, Selsam cho rằng đó là hiệu quả dữ liệu. Các mô hình GPT rất hiệu quả trong xử lý thông tin, nhưng có "giới hạn về mức độ hiểu biết sâu sắc mà nó có thể đạt được từ dữ liệu." Để vượt qua điều này sẽ đòi hỏi "một số đổi mới thuật toán" để khai thác nhiều giá trị hơn từ cùng một lượng dữ liệu.

📌 OpenAI đã đạt bước tiến quan trọng khi có thể xây dựng lại GPT-4 với chỉ 5-10 người thay vì hàng trăm người nhờ đột phá từ GPT-4.5. Công ty đã huy động được 40 tỷ USD, nâng định giá lên 300 tỷ USD, và khẳng định rằng hiệu quả dữ liệu, không phải khả năng tính toán, sẽ là thách thức chính cho sự phát triển AI tiếp theo.

 

https://www.businessinsider.com/openai-chatgpt-gpt4-rebuild-breakthroughs-sam-altman-2025-4

 

OpenAI nói có thể xây dựng lại GPT-4 từ đầu với chỉ 5 đến 10 người, nhờ các đột phá từ mô hình mới nhất

Bởi Lee Chong Ming

CEO của OpenAI, Sam Altman, nói việc xây dựng GPT-4 đã cần "hàng trăm người, gần như toàn bộ nỗ lực của OpenAI." Tomohiro Ohsumi/Getty Images

11/04/2025, 9:03 sáng UTC

  • Việc đào tạo lại GPT-4 hiện chỉ cần ít nhất năm người, nhờ vào những tiến bộ lớn.
  • GPT-4.5, ra mắt vào tháng 2, là mô hình mạnh mẽ nhất của OpenAI cho đến nay, công ty cho biết.
  • Những đột phá của nó sẽ làm việc xây dựng lại GPT-4 dễ dàng hơn nhiều.

Việc xây dựng GPT-4 đã cần rất nhiều nhân lực. Hiện nay, OpenAI nói họ có thể xây dựng lại GPT-4 với chỉ năm người, tất cả nhờ vào những gì họ học được từ mô hình mới nhất, GPT-4.5.

Trong một tập podcast của công ty được phát hành vào thứ Sáu, CEO của OpenAI, Sam Altman, đã đặt câu hỏi cho ba kỹ sư chính đứng sau GPT-4.5: Đội OpenAI nhỏ nhất có thể đào tạo lại GPT-4 từ đầu ngày nay là gì?

Altman nói việc xây dựng GPT-4 đã cần "hàng trăm người, gần như toàn bộ nỗ lực của OpenAI" — nhưng mọi thứ trở nên dễ dàng hơn nhiều khi một mô hình không còn ở biên giới công nghệ.

Alex Paino, người dẫn đầu việc đào tạo máy học cho GPT-4.5, nói việc đào tạo lại GPT-4 bây giờ "có lẽ" chỉ cần 5 đến 10 người.

"Chúng tôi đã đào tạo GPT-4o, một mô hình cùng cấp với GPT-4 mà chúng tôi đào tạo lại bằng cách sử dụng nhiều thành quả từ chương trình nghiên cứu GPT-4.5," Paino nói. "Việc thực hiện quá trình đó thực sự cần ít người hơn nhiều."

Daniel Selsam, một nhà nghiên cứu tại OpenAI làm việc về hiệu quả dữ liệu và thuật toán, đồng ý rằng việc xây dựng lại GPT-4 bây giờ sẽ dễ dàng hơn nhiều.

"Chỉ cần biết người khác đã làm được điều gì đó — nó trở nên dễ dàng hơn rất nhiều," ông nói. "Tôi cảm thấy chỉ cần biết điều gì đó là có thể làm được đã là một mã gian lận lớn."

Vào tháng 2, OpenAI đã phát hành GPT-4.5, nói rằng đây là mô hình lớn nhất và mạnh mẽ nhất của công ty cho đến nay.

Altman mô tả nó trong một bài đăng trên X là "mô hình đầu tiên cảm giác như đang nói chuyện với một người biết suy nghĩ."

Paino nói GPT-4.5 được thiết kế để "thông minh hơn 10 lần" so với GPT-4, ra mắt vào tháng 3/2023.

"Chúng tôi đang mở rộng quy mô gấp 10 lần so với những gì chúng tôi đã làm trước đây với các quá trình đào tạo GPT," Paino nói.

"Không còn bị giới hạn bởi sức tính toán"

Altman cũng nói OpenAI không còn "bị giới hạn bởi sức tính toán" đối với những mô hình tốt nhất họ có thể tạo ra — một sự thay đổi mà ông nghĩ thế giới chưa thực sự hiểu.

Đối với nhiều công ty AI, trở ngại lớn nhất để xây dựng mô hình tốt hơn đơn giản là có đủ sức mạnh tính toán.

"Đó là một cập nhật điên rồ," Altman nói. "Trong thời gian dài, chúng tôi sống trong một thế giới nơi sức tính toán luôn là yếu tố giới hạn," ông nói thêm.

Các công ty công nghệ lớn đã đổ hàng tỷ đô la vào cơ sở hạ tầng AI. Microsoft, Amazon, Google và Meta dự kiến sẽ chi tổng cộng 320 tỷ đô la cho chi tiêu vốn trong năm nay để mở rộng khả năng AI của họ.

OpenAI thông báo vào tháng 3 rằng họ đã hoàn tất vòng gọi vốn công nghệ tư nhân lớn nhất từ trước đến nay, bao gồm 30 tỷ đô la từ SoftBank và 10 tỷ đô la từ các nhà đầu tư khác, nâng định giá công ty lên 300 tỷ đô la.

Nguồn vốn mới sẽ giúp OpenAI mở rộng sức mạnh tính toán của mình hơn nữa, công ty cho biết trong một tuyên bố vào thời điểm đó.

CEO của Nvidia, Jensen Huang, nói trong một cuộc gọi về kết quả kinh doanh vào tháng 2 rằng nhu cầu về sức tính toán AI sẽ chỉ tăng lên.

"Các mô hình suy luận có thể tiêu thụ sức tính toán nhiều hơn 100 lần. Suy luận trong tương lai có thể tiêu thụ nhiều sức tính toán hơn nữa," Huang nói trong cuộc gọi.

Về những gì cần thiết để đạt được bước nhảy vọt tiếp theo với quy mô gấp 10 hoặc 100 lần, Selsam, nhà nghiên cứu OpenAI, cho biết đó là hiệu quả dữ liệu.

Các mô hình GPT rất hiệu quả trong việc xử lý thông tin, nhưng có một "giới hạn về độ sâu của hiểu biết mà nó có thể đạt được từ dữ liệu," ông nói.

"Đến một lúc nào đó, khi sức tính toán tiếp tục phát triển, dữ liệu phát triển chậm hơn nhiều," ông nói, thêm rằng "dữ liệu trở thành điểm nghẽn."

Để vượt qua điều đó, ông nói, sẽ cần "một số đổi mới về thuật toán" để khai thác nhiều giá trị hơn từ cùng một lượng dữ liệu.

 

OpenAI says it could rebuild GPT-4 from scratch with just 5 to 10 people, thanks to breakthroughs from its latest model

 
  • Retraining GPT-4 would now take as few as five people, thanks to big advances.
  • GPT-4.5, launched in February, was OpenAI's most powerful model yet, the company said.
  • Its breakthroughs would make rebuilding GPT-4 much easier.
Building GPT-4 took a lot of manpower. Now, OpenAI says it could rebuild GPT-4 with as few as five people, all because of what it learned from its latest model, GPT-4.5.
In a company podcast episode published Friday, OpenAI's CEO, Sam Altman, asked a question to three key engineers behind GPT-4.5: What's the smallest OpenAI team that could retrain GPT-4 from scratch today?
Altman said building GPT-4 took "hundreds of people, almost all of OpenAI's effort" — but things get much easier once a model is no longer at the frontier.
Alex Paino, who led pre-training machine learning for GPT-4.5, said retraining GPT-4 now would "probably" take just five to 10 people.
"We trained GPT-4o, which was a GPT-4-caliber model that we retrained using a lot of the same stuff coming out of the GPT-4.5 research program," Paino said. "Doing that run itself actually took a much smaller number of people."
Daniel Selsam, a researcher at OpenAI working on data efficiency and algorithms, agreed that rebuilding GPT-4 would now be far easier.
"Just finding out someone else did something — it becomes immensely easier," he said. "I feel like just the fact that something is possible is a huge cheat code."
In February, OpenAI released GPT-4.5, saying it was the company's largest and most powerful model to date.
Altman described it in a post on X as "the first model that feels like talking to a thoughtful person."
Paino said GPT-4.5 is designed to be "10x smarter" than GPT-4, which was released in March 2023.
"We're scaling 10x beyond what we did before with these GPT pre-training runs," Paino said.

"No longer compute-constrained"

Altman also said OpenAI is no longer "compute-constrained" on the best models it can produce — a shift he thinks the world hasn't really understood yet.
For many AI companies, the biggest hurdle to building better models is simply having enough computing power.
"It is a crazy update," Altman said. "For so long, we lived in a world where compute was always the limiting factor," he added.
Big Tech has been pouring billions into AI infrastructure. Microsoft, Amazon, Google, and Meta are expected to spend a collective $320 billion in capital expenditures this year to broaden their AI capabilities.
OpenAI announced in March that it had closed the largest private tech funding round on record, including $30 billion from SoftBank and $10 billion from other investors, bringing the company's valuation to $300 billion.
The fresh capital will help OpenAI scale its computing power even further, the company said in a statement at the time.
Nvidia CEO Jensen Huang said on an earnings call in February that demand for AI compute will only grow.
"Reasoning models can consume 100x more compute. Future reasoning can consume much more compute," Huang said on the call.
As for what's needed to hit the next 10x or 100x jump in scale, Selsam, the OpenAI researcher, said it's data efficiency.
The GPT models are very efficient at processing information, but there's a "ceiling to how deep of an insight it can gain from the data," he said.
"At some point, as the compute keeps growing and growing, the data grows much less quickly," he said, adding that "the data becomes the bottleneck."
Pushing beyond that, he said, will require "some algorithmic innovations" to squeeze more value from the same amount of data.

Thảo luận

© Sóng AI - Tóm tắt tin, bài trí tuệ nhân tạo