LLMSecCode: Khung đánh giá mã hóa an toàn cho mô hình ngôn ngữ lớn

• LLMSecCode là một khung nguồn mở mới do các nhà nghiên cứu từ Đại học Công nghệ Chalmers (Thụy Điển) phát triển nhằm đánh giá khả năng mã hóa an toàn của các mô hình ngôn ngữ lớn (LLM).

• Mục tiêu chính là tận dụng LLM để tăng cường bảo mật mã nguồn, phát hiện và giảm thiểu các lỗ hổng bảo mật trong phần mềm.

• LLMSecCode cung cấp một nền tảng toàn diện để đánh giá khả năng tạo mã an toàn và sửa lỗi của các LLM khác nhau.

• Khung này hoạt động bằng cách thay đổi các tham số chính của LLM như nhiệt độ và top-p, cho phép điều chỉnh prompt và hỗ trợ nhiều mô hình như CodeLlama, DeepSeekCoder.

• Trong thử nghiệm, DeepSeek Coder 33B Instruct đạt kết quả ấn tượng trong các tác vụ Sửa chữa chương trình tự động (APR), giải quyết được tới 78,7% thách thức.

• Llama 2 7B Chat xuất sắc trong các tác vụ liên quan đến bảo mật, với 76,5% mã được tạo ra không có lỗ hổng.

• Khung này cho thấy sự khác biệt 10% về hiệu suất khi thay đổi tham số mô hình và 9% khi sửa đổi prompt.

• So sánh với các tác nhân bên ngoài đáng tin cậy, kết quả của LLMSecCode chỉ chênh lệch 5%, chứng tỏ độ chính xác và đáng tin cậy.

• LLMSecCode giúp xác định LLM hiệu quả nhất cho mã hóa an toàn, góp phần phát triển hệ thống phần mềm bảo mật hơn.

• Các công cụ hiện tại như CodeQL và Bandit có hạn chế vì phụ thuộc vào các quy tắc được xác định trước, có thể không tính đến các mối đe dọa bảo mật mới hoặc phức tạp.

• Các công cụ Sửa chữa chương trình tự động (APR) hiện tại thường tập trung vào các vấn đề đơn giản hơn và thường không giải quyết được các lỗ hổng phức tạp.

• Nghiên cứu nhấn mạnh tầm quan trọng của việc lựa chọn mô hình phù hợp cho các tác vụ mã hóa cụ thể.

• Mặc dù LLM đã có những bước tiến đáng kể trong mã hóa an toàn, vẫn còn nhiều dư địa để cải thiện và nghiên cứu thêm.

📌 LLMSecCode là khung đánh giá đột phá cho khả năng mã hóa an toàn của LLM. Nó giúp xác định mô hình hiệu quả nhất, với DeepSeek Coder 33B Instruct đạt 78,7% trong APR và Llama 2 7B Chat tạo 76,5% mã không lỗ hổng. Công cụ này mở ra hướng phát triển hệ thống phần mềm bảo mật hơn trong tương lai.

https://www.marktechpost.com/2024/09/04/llmseccode-an-ai-framework-for-evaluating-the-secure-coding-capabilities-of-llms/