OpenAI giới thiệu CriticGPT - mô hình AI hỗ trợ con người huấn luyện AI thông minh và đáng tin cậy hơn

• OpenAI đã phát triển một mô hình AI mới có tên CriticGPT để hỗ trợ con người trong việc huấn luyện các mô hình AI phức tạp hơn.

• CriticGPT được tinh chỉnh từ GPT-4 - mô hình mạnh mẽ nhất của OpenAI - để hỗ trợ người đánh giá trong việc đánh giá mã.

• Kỹ thuật học tăng cường với phản hồi của con người (RLHF) đã được OpenAI tiên phong sử dụng trong việc phát triển ChatGPT, giúp tinh chỉnh mô hình AI để tạo ra đầu ra mạch lạc, ít gây tranh cãi và chính xác hơn.

• Tuy nhiên, RLHF có một số hạn chế như phản hồi của con người có thể không nhất quán và khó đánh giá các đầu ra phức tạp như mã phần mềm phức tạp.

• CriticGPT có thể phát hiện lỗi mà con người bỏ sót và các đánh giá của nó về mã được đánh giá là tốt hơn 63% so với con người.

• OpenAI đang tích hợp kỹ thuật này vào quy trình RLHF của họ và có kế hoạch mở rộng sang các lĩnh vực khác ngoài mã trong tương lai.

• Kỹ thuật mới này có thể giúp cải thiện độ chính xác của các mô hình của OpenAI và các công cụ như ChatGPT bằng cách giảm lỗi trong quá trình huấn luyện của con người.

• Nó cũng có thể đóng vai trò quan trọng trong việc giúp các mô hình AI trở nên thông minh hơn bằng cách cho phép con người huấn luyện AI vượt quá khả năng của chính họ.

• Anthropic, đối thủ của OpenAI, gần đây đã công bố phiên bản mạnh mẽ hơn của chatbot Claude nhờ cải tiến trong quá trình huấn luyện và dữ liệu được cung cấp.

• Cả Anthropic và OpenAI đều đang phát triển các cách mới để kiểm tra các mô hình AI nhằm hiểu cách chúng tạo ra đầu ra và ngăn chặn hành vi không mong muốn.

• Kỹ thuật mới có thể giúp OpenAI huấn luyện các mô hình AI ngày càng mạnh mẽ đồng thời đảm bảo đầu ra đáng tin cậy hơn và phù hợp với giá trị của con người.

• OpenAI đang huấn luyện mô hình AI chính tiếp theo và muốn thể hiện cam kết đảm bảo hành vi phù hợp của nó.

• Điều này diễn ra sau khi một nhóm nổi tiếng chuyên đánh giá rủi ro dài hạn của AI bị giải thể, dẫn đến việc một số thành viên chỉ trích công ty vì phát triển các thuật toán AI mạnh mẽ một cách mạo hiểm.

• Các chuyên gia cho rằng ý tưởng sử dụng mô hình AI để huấn luyện các mô hình mạnh mẽ hơn đã được thảo luận từ lâu và đây là một bước phát triển tự nhiên.

• Tuy nhiên, vẫn chưa rõ mức độ áp dụng rộng rãi và hiệu quả của kỹ thuật này, nhưng nó có thể dẫn đến những bước nhảy vọt trong khả năng cá nhân và là bước đệm hướng tới phản hồi hiệu quả hơn trong tương lai.

📌 OpenAI giới thiệu CriticGPT - mô hình AI hỗ trợ huấn luyện AI thông minh hơn. Phát hiện lỗi tốt hơn 63% so với con người, CriticGPT hứa hẹn cải thiện độ chính xác và độ tin cậy của các mô hình AI như ChatGPT, đồng thời mở ra khả năng phát triển AI vượt trội hơn khả năng con người.

https://www.wired.com/story/openai-rlhf-ai-training/