Sự đột phá trong việc tạo văn bản siêu dài bằng AI: AgentWrite và LongWriter-6k

• Các mô hình ngôn ngữ lớn (LLM) hiện tại có thể xử lý đầu vào lên đến 100.000 từ nhưng chỉ tạo ra đầu ra tối đa 2.000 từ, gây hạn chế cho các ứng dụng cần tạo văn bản dài.

• Hơn 1% yêu cầu từ người dùng cần đầu ra vượt quá 2.000 từ, cho thấy nhu cầu về mô hình có khả năng tạo văn bản dài hơn.

• AgentWrite, một pipeline dựa trên agent, chia nhỏ các tác vụ tạo văn bản siêu dài thành các tác vụ con, cho phép LLM hiện có tạo ra đầu ra mạch lạc vượt quá 20.000 từ.

• Các tác giả xây dựng bộ dữ liệu LongWriter-6k gồm 6.000 điểm dữ liệu huấn luyện có độ dài từ 2.000 đến 32.000 từ.

• Mô hình 9B tham số của họ, được cải thiện thông qua DPO, đạt hiệu suất tốt nhất trên một benchmark mới đánh giá khả năng tạo văn bản siêu dài.

• Phương pháp sử dụng LLM làm trọng tài, dùng GPT-4o để đánh giá chất lượng đầu ra trên nhiều khía cạnh như liên quan, chính xác, mạch lạc và trải nghiệm đọc.

• Kết hợp kỹ thuật tạo dữ liệu mới, benchmark đánh giá toàn diện và chiến lược huấn luyện tiên tiến để cải thiện đáng kể khả năng tạo văn bản dài của LLM.

• AgentWrite đã mở rộng thành công độ dài đầu ra của mô hình GPT-4o từ 2.000 lên khoảng 20.000 từ.

• Đánh giá trên LongBench-Write cho thấy tăng 5% điểm chất lượng tổng thể cho mô hình được huấn luyện với LongWriter-6k, đặc biệt là trong các tác vụ yêu cầu đầu ra 2.000-4.000 từ.

• Cải thiện lớn nhất là ở khía cạnh "Độ rộng và Độ sâu", với 18% cải thiện tuyệt đối so với mô hình cơ sở.

• Nghiên cứu loại bỏ cho thấy việc đưa ra kế hoạch viết trước khi tạo nội dung không cải thiện đáng kể hiệu suất, nhưng huấn luyện với LongWriter-6k là quan trọng để đạt được đầu ra dài hơn mà không làm giảm chất lượng.

• Mô hình LongWriter-9B vượt trội hơn GLM-4-9B trên benchmark LongBench-Write, cho thấy hiệu quả của phương pháp đề xuất.

• Các thử nghiệm xác nhận cải thiện đáng kể cả về độ dài đầu ra và chất lượng, chứng minh tiềm năng của framework LongWriter cho các tác vụ tạo văn bản siêu dài.

📌 AgentWrite và LongWriter-6k đã mở rộng khả năng tạo văn bản của LLM từ 2.000 lên 20.000 từ. Mô hình 9B tham số đạt hiệu suất tốt nhất trên benchmark mới, với cải thiện 18% về độ rộng và độ sâu. Nghiên cứu này đánh dấu bước tiến quan trọng trong lĩnh vực tạo văn bản siêu dài bằng AI.

https://www.marktechpost.com/2024/08/17/scaling-llm-outputs-the-role-of-agentwrite-and-the-longwriter-6k-dataset/