• Anthropic vừa cập nhật API giúp các nhà phát triển tối ưu hóa throughput và giảm sử dụng token với Claude 3.7 Sonnet.

• Các cập nhật chính bao gồm: giới hạn tốc độ nhận biết bộ nhớ đệm, quản lý bộ nhớ đệm đơn giản hơn, và sử dụng công cụ hiệu quả token.

• Prompt caching cho phép lưu trữ và tái sử dụng ngữ cảnh giữa các lệnh gọi API, giúp Claude duy trì kiến thức về tài liệu lớn mà không cần gửi lại thông tin.

• Tính năng này giúp giảm chi phí đến 90% và độ trễ đến 85% cho các prompt dài.

• Cache-aware rate limits đảm bảo các token đọc từ bộ nhớ đệm không tính vào giới hạn Input Tokens Per Minute (ITPM) cho Claude 3.7 Sonnet trên Anthropic API.

• Quản lý bộ nhớ đệm đã được đơn giản hóa, khi đặt cache breakpoint, Claude tự động đọc từ tiền tố được lưu trong bộ nhớ đệm dài nhất trước đó.

• Người dùng không còn phải theo dõi và chỉ định thủ công các phân đoạn bộ nhớ đệm nào cần sử dụng, giảm khối lượng công việc và giải phóng nhiều token hơn.

• Token-efficient tool use giúp giảm tiêu thụ token đầu ra lên đến 70%, với mức giảm trung bình 14% theo báo cáo từ người dùng sớm.

• Công cụ text_editor mới được thiết kế cho các ứng dụng nơi người dùng cộng tác với Claude trên tài liệu, cho phép thực hiện chỉnh sửa có mục tiêu vào các phần cụ thể của văn bản.

• Cognition, công ty phát triển Devin (AI teammate cho nhóm kỹ thuật), đã áp dụng các cập nhật này để cải thiện hiệu quả token và chất lượng phản hồi.

• Theo Scott Wu, đồng sáng lập và CEO tại Cognition, prompt caching cho phép cung cấp nhiều ngữ cảnh hơn về codebase để có kết quả chất lượng cao hơn đồng thời giảm chi phí và độ trễ.

• Các tính năng này hiện có sẵn cho tất cả khách hàng Anthropic API và có thể triển khai ngay lập tức với thay đổi mã tối thiểu.

• Các nền tảng hỗ trợ bao gồm Anthropic API, Amazon Bedrock và Google Cloud's Vertex AI, tùy thuộc vào tính năng cụ thể.

📌 Anthropic cập nhật API Claude 3.7 Sonnet với bộ nhớ đệm thông minh và công cụ text_editor mới, giúp giảm chi phí đến 90%, độ trễ đến 85% và tiêu thụ token đầu ra đến 70%, đặc biệt hiệu quả cho ứng dụng phân tích tài liệu và hỗ trợ lập trình.