chatgpt lập trình giỏi cỡ nào? nghiên cứu tiết lộ kết quả bất ngờ

• Một nghiên cứu được công bố trên IEEE Transactions on Software Engineering đã đánh giá khả năng tạo mã của ChatGPT về mặt chức năng, độ phức tạp và bảo mật.

• Kết quả cho thấy tỷ lệ thành công của ChatGPT trong việc tạo mã chức năng dao động rất lớn, từ 0,66% đến 89%, tùy thuộc vào độ khó của nhiệm vụ, ngôn ngữ lập trình và các yếu tố khác.

• ChatGPT thể hiện khá tốt trong việc giải quyết các vấn đề mã hóa ở các ngôn ngữ khác nhau, đặc biệt là với các bài toán trên LeetCode trước năm 2021. Tỷ lệ thành công cho các bài toán dễ, trung bình và khó lần lượt là khoảng 89%, 71% và 40%.

• Tuy nhiên, khả năng của ChatGPT giảm đáng kể với các bài toán sau năm 2021. Tỷ lệ thành công cho bài toán "dễ" giảm từ 89% xuống 52%, và bài toán "khó" giảm từ 40% xuống chỉ còn 0,66%.

• Nguyên nhân có thể là do ChatGPT chưa được tiếp xúc với các vấn đề và giải pháp mới trong quá trình đào tạo. Nó thiếu kỹ năng tư duy phản biện của con người và chỉ có thể giải quyết các vấn đề đã gặp trước đó.

• Đáng chú ý, ChatGPT có thể tạo ra mã với thời gian chạy và bộ nhớ thấp hơn ít nhất 50% so với giải pháp của con người cho cùng một bài toán trên LeetCode.

• Nghiên cứu cũng cho thấy ChatGPT không giỏi trong việc tự sửa lỗi của mình sau khi nhận phản hồi. Nó có thể sửa lỗi biên dịch nhưng gặp khó khăn trong việc hiểu và sửa lỗi logic.

• Mã do ChatGPT tạo ra có một số lỗ hổng bảo mật, như thiếu kiểm tra null, nhưng nhiều lỗi này có thể dễ dàng khắc phục.

• Độ phức tạp của mã được tạo bởi ChatGPT cao nhất ở ngôn ngữ C, tiếp theo là C++ và Python, với Python có độ phức tạp tương đương mã do con người viết.

• Các nhà nghiên cứu khuyến nghị khi sử dụng ChatGPT, các lập trình viên nên cung cấp thêm thông tin để giúp nó hiểu rõ vấn đề và tránh các lỗ hổng tiềm ẩn.

📌 ChatGPT thể hiện khả năng lập trình ấn tượng với tỷ lệ thành công lên đến 89% cho các bài toán dễ trước 2021. Tuy nhiên, hiệu suất giảm mạnh với bài toán mới, chỉ còn 0,66% cho bài khó sau 2021. Mã của ChatGPT có thể tối ưu hơn con người nhưng cần cải thiện về bảo mật và khả năng tự sửa lỗi.

https://spectrum.ieee.org/chatgpt-for-coding