Meta AI giới thiệu CRUXEval: Điểm chuẩn cho lý luận, hiểu và thực thi mã

• Meta AI giới thiệu CRUXEval, một chuẩn mực mới cho việc đánh giá khả năng lý luận, hiểu và thực thi mã của các mô hình ngôn ngữ (LMs) trong lĩnh vực kỹ thuật phần mềm và lập trình.
• CRUXEval bao gồm hai nhiệm vụ chính: CRUXEval-O để đánh giá kết quả thực thi mã và CRUXEval-I để đánh giá khả năng lý luận và hiểu mã.
• CRUXEval tập trung vào việc đánh giá khả năng hiểu biết hành vi thực thi của các chương trình Python đơn giản, với yêu cầu độ phức tạp thấp (tối đa 13 dòng, không có tính toán phức tạp), phù hợp với khả năng của sinh viên tốt nghiệp ngành CS đại học.
• Quá trình xây dựng chuẩn mực bao gồm việc sử dụng Code Llama 34B để tạo ra các hàm và đầu vào tương ứng, sau đó lọc ra các vấn đề ngắn với yêu cầu tính toán và bộ nhớ tối thiểu.
• CRUXEval chọn ngẫu nhiên 800 mẫu thỏa mãn tiêu chí lọc, tạo ra một chuẩn mực đủ nhỏ gọn để dễ thực thi nhưng đủ lớn để phát hiện biến động hiệu suất giữa các mô hình.
• Nghiên cứu cho thấy, GPT-4 với phương pháp chain of thought (CoT) đạt pass@1 là 75% và 81% trong việc dự đoán đầu vào và đầu ra, trong khi Code Llama 34B đạt 50% và 46%, cho thấy sự chênh lệch giữa các mô hình nguồn mở và đóng.
• Sau khi tinh chỉnh trên các mẫu giống với chuẩn mực, Code Llama 34B có thể đạt hiệu suất tương đương GPT-4, nhấn mạnh tầm quan trọng của việc tinh chỉnh mô hình.
• CRUXEval mở ra hướng nghiên cứu mới trong việc khám phá khả năng lý luận mã của các mô hình ngôn ngữ.

📌 CRUXEval từ Meta AI đặt ra một chuẩn mực mới cho việc đánh giá các Large Language Models (LLMs) trong việc hiểu và thực thi mã. Với 800 mẫu được lựa chọn ngẫu nhiên, chuẩn mực này không chỉ giúp đánh giá khả năng của các mô hình mà còn mở ra cơ hội cho việc cải thiện chúng thông qua tinh chỉnh. GPT-4 của OpenAI hiện đang dẫn đầu với tỷ lệ pass@1 cao nhất, nhưng các mô hình khác như Code Llama 34B sau khi được tinh chỉnh cũng đạt được hiệu suất tương tự, cho thấy tiềm năng của việc tinh chỉnh dựa trên dữ liệu từ các mô hình mạnh mẽ hơn.