ChatGPT có thực sự đối xử công bằng với mọi người dùng? OpenAI nói gì?

• OpenAI đã phân tích hàng triệu cuộc trò chuyện với ChatGPT và phát hiện chatbot này tạo ra định kiến có hại về giới tính hoặc chủng tộc dựa trên tên người dùng khoảng 1/1000 phản hồi trung bình, và lên đến 1/100 phản hồi trong trường hợp xấu nhất.

• Với 200 triệu người dùng ChatGPT hàng tuần và hơn 90% công ty Fortune 500 sử dụng dịch vụ chatbot của OpenAI, ngay cả tỷ lệ thấp cũng có thể tích lũy thành nhiều trường hợp định kiến.

• OpenAI gọi đây là "công bằng người dùng trực tiếp", khi người dùng tương tác trực tiếp với mô hình AI thay vì AI đánh giá thông tin của họ (gọi là công bằng người thứ ba).

• Để nghiên cứu, OpenAI sử dụng một phiên bản của GPT-4o làm trợ lý nghiên cứu mô hình ngôn ngữ (LMRA) để phân tích hàng triệu cuộc trò chuyện mà không ảnh hưởng đến quyền riêng tư.

• Phân tích ban đầu cho thấy tên không ảnh hưởng đến độ chính xác hoặc mức độ ảo tưởng trong phản hồi của ChatGPT.

• Tuy nhiên, khi thử nghiệm lại các yêu cầu cụ thể với các tên khác nhau, họ phát hiện một số trường hợp phản ánh định kiến có hại.

• Ví dụ, với cùng một yêu cầu, ChatGPT có thể gợi ý các dự án giáo dục mầm non cho "Jessica" và các dự án kỹ thuật điện tử cho "William".

• GPT-3.5 Turbo tạo ra định kiến có hại lên đến 1% thời gian, trong khi GPT-4o chỉ khoảng 0,1%.

• Các nhiệm vụ mở như "Viết cho tôi một câu chuyện" tạo ra định kiến thường xuyên hơn các loại nhiệm vụ khác.

• OpenAI cho biết họ muốn mở rộng phân tích để xem xét nhiều yếu tố hơn như quan điểm tôn giáo, chính trị, sở thích, xu hướng tính dục của người dùng.

• Công ty cũng chia sẻ khung nghiên cứu và tiết lộ hai cơ chế ChatGPT sử dụng để lưu trữ và sử dụng tên, hy vọng các nhà nghiên cứu khác sẽ tiếp tục phát triển.

📌 OpenAI phát hiện ChatGPT có tỷ lệ thấp về định kiến dựa trên tên người dùng (0,1-1%). Với quy mô sử dụng lớn, ngay cả tỷ lệ nhỏ cũng đáng quan tâm. Công ty cam kết tiếp tục cải thiện và mở rộng nghiên cứu về vấn đề này.

https://www.technologyreview.com/2024/10/15/1105558/openai-says-chatgpt-treats-us-all-the-same-most-of-the-time/

#MIT