Prompt Caching với Claude: Giảm chi phí và độ trễ lên đến 90% cho các prompt dài
- Tính năng lưu cache prompt mới của Claude, cho phép lưu trữ ngữ cảnh được sử dụng thường xuyên giữa các cuộc gọi API, đang được cung cấp trong giai đoạn beta công khai cho Claude 3.5 Sonnet và Claude 3 Haiku. Hỗ trợ cho Claude 3 Opus sẽ sớm được ra mắt.
- Prompt caching có thể hiệu quả trong các tình huống muốn gửi một lượng lớn ngữ cảnh prompt một lần và sau đó tham chiếu đến thông tin đó nhiều lần trong các yêu cầu tiếp theo, bao gồm: conversational agents, coding assistants, large document processing, detailed instruction sets, agentic search và tool use, talk to books, papers, documentation, podcast transcripts, và các nội dung dài khác.
- Khách hàng sớm đã nhận thấy những cải thiện đáng kể về tốc độ và chi phí với prompt caching cho nhiều trường hợp sử dụng khác nhau, từ việc bao gồm cơ sở kiến thức đầy đủ đến 100-shot examples và mỗi lượt của một cuộc trò chuyện trong prompt của họ.
- Notion đang thêm prompt caching vào các tính năng do Claude cung cấp cho trợ lý AI của họ, Notion AI. Với chi phí giảm và tốc độ tăng, Notion có thể tối ưu hóa các hoạt động nội bộ và tạo ra trải nghiệm người dùng tốt hơn cho khách hàng của họ.
📌 Prompt caching giúp giảm chi phí lên đến 90% và độ trễ lên đến 85% cho các prompt dài, đồng thời cung cấp nhiều trường hợp sử dụng hiệu quả như conversational agents, coding assistants, large document processing và talk to books.
https://www.anthropic.com/news/prompt-caching
Thảo luận
Follow Us
Tin phổ biến
