API mode rẻ nhất của Claude có gì đặc biệt? Có đáng dùng không?

Nếu từng xây dựng bất cứ thứ gì bằng API của Claude, bạn sẽ biết chi phí token cộng dồn rất nhanh, đặc biệt là khi bạn gửi cùng một prompt hệ thống, cùng một tài liệu tham khảo hoặc cùng một lịch sử hội thoại dài trong mỗi lần gọi. Điều mà hầu hết mọi người bỏ qua là Anthropic đã có sẵn giải pháp cho vấn đề này, và nó có thể giảm chi phí đầu vào của bạn lên đến 90% khi cùng một nội dung được sử dụng lại, mà không làm thay đổi đầu ra thực tế của mô hình. Đây chỉ là một ví dụ khác về cách mà dòng sản phẩm ngày càng phát triển của Claude giúp thực hiện các tác vụ dễ dàng hơn trước đây.

Mẹo này được gọi là prompt caching.

Prompt caching cho phép bạn đánh dấu một phần của prompt này, chẳng hạn như prompt hệ thống, hướng dẫn phong cách, tài liệu tham khảo lớn hoặc định nghĩa công cụ của bạn, là có thể sử dụng lại. Lần đầu tiên bạn gửi nó, Claude xử lý nó bình thường và lưu trữ. Mỗi yêu cầu tiếp theo sử dụng lại cùng một khối đó sẽ đọc nó từ cache thay vì xử lý lại từ đầu, và việc đọc từ cache chỉ tốn một phần nhỏ chi phí so với giá đầu vào tiêu chuẩn.

Việc sử dụng prompt caching thực sự giúp bạn tiết kiệm được bao nhiêu?

Điều khác biệt so với việc chỉ viết một prompt ngắn gọn là: Bạn không phải hy sinh ngữ cảnh và hướng dẫn để tiết kiệm tiền. Bạn có thể giữ nguyên một prompt hệ thống khổng lồ, một cơ sở kiến ​​thức đầy đủ, hoặc hàng tá ví dụ trong mỗi yêu cầu, và chỉ phần mới của mesage mới bị tính phí.

Trên thực tế, phép tính như sau: Một lần truy cập thành công vào cache có giá khoảng 10% giá đầu vào tiêu chuẩn, tức là giảm giá 90% cho phần yêu cầu đó. Điểm mấu chốt là việc ghi nội dung vào cache lần đầu tiên có chi phí cao hơn một chút so với bình thường, khoảng 1,25 lần giá cơ bản cho cache ngắn hạn hoặc gấp đôi cho cache dài hạn. Nhưng chi phí ghi đó sẽ nhanh chóng được bù đắp. Nếu sử dụng lại cùng một nội dung thêm một hoặc hai lần nữa, bạn sẽ có lợi, và mỗi lần gọi sau đó gần như miễn phí cho phần prompt đó.

Đây chính là lý do tại sao nó quan trọng đối với các công cụ dựa trên agent. Bất kỳ thứ gì liên tục gọi đến Claude với cùng một bộ lệnh, chẳng hạn như trợ lý lập trình, bot hỗ trợ khách hàng hoặc công cụ nghiên cứu giữ một tài liệu được load cho nhiều câu hỏi, cuối cùng đều phải trả giá đầy đủ hết lần này đến lần khác cho nội dung không bao giờ thay đổi. Bật tính năng caching có nghĩa là bạn chỉ trả tiền một lần và được giảm giá đáng kể mỗi lần sau đó.

Kết hợp prompt caching với Batch API để tiết kiệm tối đa

Nếu bạn không cần phản hồi tức thì, có một lựa chọn khác đáng để xem xét. Batch API của Anthropic xử lý các yêu cầu bất đồng bộ, thường trong vòng một hoặc hai giờ, và giảm 50% chi phí token đầu vào và đầu ra. Giảm giá khi xử lý hàng loạt và giảm giá khi sử dụng prompt caching không loại trừ lẫn nhau. Bạn không cần phải chọn giữa chúng — chúng được cộng dồn khi cả hai cùng áp dụng.

Sự kết hợp đó chính là yếu tố tạo nên "chi phí chỉ vài xu cho mỗi tác vụ". Một khối lượng công việc lưu trữ một prompt lớn có thể tái sử dụng và chạy nó thông qua xử lý hàng loạt có thể chỉ tốn một phần nhỏ chi phí so với việc thực hiện cùng một tác vụ đó từng yêu cầu một mà không sử dụng cache. Đối với các khối lượng công việc lớn, không khẩn cấp như xử lý tài liệu hàng loạt, phân loại nội dung hoặc tạo báo cáo hàng đêm, sự kết hợp này là đòn bẩy chi phí lớn nhất hiện có.

Hãy tưởng tượng bạn đang xây dựng một công cụ trả lời các câu hỏi dựa trên một tài liệu tham khảo dài 50 trang. Mỗi câu hỏi bạn gửi đều phải bao gồm tài liệu đó làm ngữ cảnh, vì mô hình không lưu giữ bất cứ điều gì từ yêu cầu trước đó. Nếu không có cache, bạn sẽ phải trả toàn bộ phí nhập liệu cho tài liệu đó mỗi khi ai đó đặt câu hỏi, ngay cả khi hàng trăm người đặt hàng trăm câu hỏi khác nhau về cùng một tài liệu trong cùng một buổi chiều.

Với caching được bật, truy vấn đầu tiên sẽ phải trả một khoản phí nhỏ để ghi tài liệu vào cache. Mỗi câu hỏi sau đó, miễn là cache vẫn hoạt động, sẽ đọc tài liệu với chi phí chỉ bằng khoảng 1/10 so với bình thường. Nếu bạn phải trả lời hàng chục hoặc hàng trăm câu hỏi về cùng một tài liệu, thì bản thân tài liệu đó hầu như không tốn chi phí gì sau lần sử dụng đầu tiên. Phần duy nhất bạn phải trả giá đầy đủ là chính câu hỏi được đặt ra, thường chỉ chiếm một phần nhỏ trong tổng số token của yêu cầu.

Đó là lý do tại sao các trợ lý lập trình và bot hỗ trợ lại tiết kiệm được rất nhiều chi phí. Các prompt hệ thống, định nghĩa công cụ và tài liệu tham khảo của chúng lớn hơn rất nhiều so với việc trao đổi thông tin thực tế, và tất cả những chi phí đó không thay đổi từ tin nhắn này sang tin nhắn khác.

Những lỗi khi thiết lập prompt caching có thể âm thầm làm bạn mất tiền

Caching chỉ hoạt động nếu nội dung bạn đang cố gắng lưu vào cache là giống hệt nhau, từng byte một, giữa các yêu cầu. Một vài điều có thể âm thầm phá vỡ điều đó mà không báo lỗi. Việc nhúng timestamp, ID yêu cầu hoặc ngày tháng động vào prompt hệ thống có nghĩa là cache sẽ không bao giờ khớp, và bạn sẽ phải trả toàn bộ chi phí mỗi lần. Việc gửi dữ liệu có cấu trúc với các key theo thứ tự khác nhau mỗi lần chạy có thể trông giống nhau đối với bạn, nhưng Claude coi đó là một prompt hoàn toàn mới. Và việc đặt các biến, chẳng hạn như tên người dùng hoặc truy vấn duy nhất, trước prompt hệ thống lớn của bạn thay vì sau đó cũng sẽ làm hỏng việc khớp.

Cách khắc phục cho tất cả những điều này đều giống nhau: Giữ phần ổn định, có thể tái sử dụng của lệnh ở đầu và đặt bất kỳ thứ gì thay đổi từ yêu cầu này sang yêu cầu khác ở cuối, sau cache breakpoint. Hãy kiểm tra dữ liệu sử dụng sau khi bạn thiết lập xong. API của Anthropic trả về các trường hiển thị chính xác số lượng token đã được ghi vào cache so với số lượng token được đọc từ đó, vì vậy bạn có thể xác nhận rằng khoản giảm giá thực sự được áp dụng thay vì chỉ giả định.

Cách bật tính năng Prompt caching

Prompt caching không tự động hoạt động trong mọi trường hợp. Khi gọi trực tiếp API, bạn thêm một điểm đánh dấu cache breakpoint vào phần đầu vào mà bạn muốn sử dụng lại. Có một độ dài tối thiểu mà khối được lưu vào cache cần đạt được trước khi nó đủ điều kiện, thường là khoảng 1.024 token, tùy thuộc vào mô hình, vì vậy điều này hoạt động tốt nhất với các prompt lớn, phức tạp, chứ không phải các hướng dẫn một dòng.

Nếu đang sử dụng Claude Code thay vì gọi API, bạn không cần làm gì cả. Nó tự động lưu cache prompt hệ thống, định nghĩa công cụ và hướng dẫn dự án của bạn ở mọi nơi.

Có nên bật tính năng Prompt caching không?

Tính năng Prompt caching là một trong những tính năng được giấu kín trong tài liệu của Anthropic suốt thời gian qua, nằm đó chờ đợi bất kỳ ai xây dựng dựa trên API, nhưng rất dễ bỏ sót nếu bạn chỉ gửi các yêu cầu đơn giản, một lần duy nhất. Khi trường hợp sử dụng của bạn liên quan đến việc lặp lại cùng một nội dung trong nhiều lần gọi — điều này mô tả hầu hết các ứng dụng thực tế — việc bật tính năng Prompt caching và xử lý hàng loạt có thể tạo ra sự khác biệt giữa một dự án có thể mở rộng với chi phí hợp lý và một dự án làm hao hụt ngân sách của bạn. Nói cách khác, hãy tái sử dụng cùng một nội dung, bật tính năng Prompt caching và xử lý hàng loạt khi có thể để giữ chi phí ở mức thấp.

Chi tiết giá cả và tỷ lệ mô hình hiện tại thay đổi định kỳ, vì vậy bạn nên kiểm tra trang giá chính thức của Anthropic trước khi ước tính chi phí cho một dự án cụ thể. Bạn cũng nên học cách dạy ChatGPT và Gemini, một điều mà Claude thực hiện theo mặc định, và các phản hồi sẽ tốt hơn bao giờ hết.