Các nhà nghiên cứu Harvard tiết lộ cách thao túng kết quả tìm kiếm do AI điều khiển

- Các nhà nghiên cứu từ Đại học Harvard đề xuất Chuỗi văn bản chiến lược (STS), một thông điệp được thiết kế cẩn thận có thể ảnh hưởng đến các công cụ tìm kiếm do LLM điều khiển trong bối cảnh thương mại điện tử.
- Với sự trợ giúp của STS, người ta có thể cải thiện thứ hạng của một sản phẩm trong các đề xuất của LLM bằng cách chèn một chuỗi token tối ưu vào trang thông tin sản phẩm.
- Các nhà nghiên cứu sử dụng một danh mục các máy pha cà phê giả và phân tích tác động của nó đối với hai sản phẩm mục tiêu.
- STS đã chứng minh rằng một LLM có thể bị thao túng để tăng cơ hội một sản phẩm được liệt kê là đề xuất hàng đầu.
- Bằng cách chèn STS vào thông tin sản phẩm, một framework đã được phát triển để thao túng các đề xuất của LLM theo hướng có lợi cho sản phẩm mục tiêu.
- Để tối ưu hóa hơn nữa STS, các thuật toán tấn công đối kháng như thuật toán Greedy Coordinate Gradient (GCG) được sử dụng trong framework, cải thiện khả năng hiển thị sản phẩm trong kinh doanh và thương mại điện tử.
- Thuật toán GCG tìm STS tối ưu bằng cách chạy 2000 lần lặp, trong đó sản phẩm mục tiêu ColdBrew Master cho thấy sự cải thiện qua các lần lặp.
- Ban đầu, sản phẩm không được đề xuất, nhưng sau 100 lần lặp, nó xuất hiện trong đề xuất hàng đầu.
- Tác động của STS được đánh giá trên thứ hạng của sản phẩm mục tiêu trong 200 suy luận LLM với và không có chuỗi.
- STS có xác suất bằng nhau về lợi thế và bất lợi.

📌 Nghiên cứu của các nhà khoa học Harvard cho thấy việc sử dụng các chuỗi văn bản chiến lược (STS) có thể thao túng hiệu quả kết quả tìm kiếm do AI điều khiển trong thương mại điện tử. Bằng cách tối ưu hóa STS và áp dụng các thuật toán như GCG, các sản phẩm mục tiêu có thể được cải thiện đáng kể về thứ hạng và khả năng hiển thị, đồng thời nêu bật các hàm ý về đạo đức trong tối ưu hóa tìm kiếm AI.

Citations:
[1] https://www.marktechpost.com/2024/04/15/harvard-researchers-unveil-how-strategic-text-sequences-can-manipulate-ai-driven-search-results/