Google Deepmind đề xuất khuôn khổ 'tự khám phá' cho LLM, cải thiện hiệu suất GPT-4
- Google Deepmind đã đề xuất một framework mới có tên là 'self-discover' cho LLMs, đã cải thiện hiệu suất của GPT-4.
- Khi làm việc với GPT-4, phương pháp 'self-discover' đã đạt được kết quả với độ chính xác là 81%, 85% và 73% trên các nhiệm vụ Big-Bench Hard, Thinking for Doing và Math, tương ứng.
- Tuy nhiên, khi làm việc với chain-of-thought, kết quả giảm xuống còn 75%, 52% và 71%, tương ứng.
- Khi so sánh với phương pháp plan-and-solve, một khoảng cách gần như tương tự cũng được ghi nhận.
- Các nhà nghiên cứu đã kiểm tra cách tiếp cận mới này với nhiều mô hình khác nhau, bao gồm GPT-4 và PaLM 2-L, trên 25 nhiệm vụ suy luận, bao gồm Big-Bench Hard, Thinking for Doing và Math.
- Trong 21 trên tổng số 25 nhiệm vụ, 'self-discover' được tìm thấy vượt trội hơn chain-of-thought reasoning và các kỹ thuật khác với mức tăng hiệu suất lên đến 32%.
- Các nhà nghiên cứu cũng phát hiện rằng nó hoạt động tốt hơn về mặt hiệu quả bằng cách yêu cầu 10 đến 40 lần ít hơn về tính toán suy luận.
📌Google Deepmind đã đề xuất một framework mới có tên là 'self-discover' cho LLMs, đã cải thiện hiệu suất của GPT-4. Khi làm việc với GPT-4, phương pháp 'self-discover' đã đạt được kết quả với độ chính xác là 81%, 85% và 73% trên các nhiệm vụ Big-Bench Hard, Thinking for Doing và Math, tương ứng. Trong 21 trên tổng số 25 nhiệm vụ, 'self-discover' được tìm thấy vượt trội hơn chain-of-thought reasoning và các kỹ thuật khác với mức tăng hiệu suất lên đến 32%.
Citations:
[1] https://venturebeat.com/ai/google-deepmind-proposes-self-discover-framework-for-llms-improves-gpt-4-performance/
Thảo luận
Follow Us
Tin phổ biến
