Bạn đang trả quá nhiều tiền cho Claude mà không hay biết? Thủ thuật này sẽ thay đổi tất cả!

AI rất đắt tiền và có lẽ bạn đã cảm nhận được điều đó. Gói đăng ký trước đây bao gồm mọi thứ giờ đây đã xếp các mô hình tốt ở cấp cao hơn, những giới hạn chặt chẽ hơn đáng kể và các tính năng bạn thực sự muốn sẽ tiếp tục xuất hiện trên trang định giá.

Mặc dù phần lớn trong số này chỉ là chủ nghĩa tư bản thuần túy và chi phí kinh doanh khi nhu cầu về máy tính vượt xa nguồn cung, nhưng không phải tất cả đều nằm ngoài tầm tay của bạn. Có một cái giá phải trả cho cách bạn thực sự sử dụng những công cụ này. Nó thể hiện cả tốc độ bạn đạt đến giới hạn cũng như mức độ câu trả lời tốt như thế nào khi kết thúc một cuộc trò chuyện dài. May mắn thay, cách khắc phục gần như đơn giản đến mức đáng xấu hổ và tất cả những gì bạn cần là hiểu điều gì thực sự xảy ra mỗi khi nhấn gửi.

Mô hình AI không có bộ nhớ

Đây là điều mà hầu hết mọi người không bao giờ nhận ra về Claude, ChatGPT, Gemini hay bất kỳ chatbot nào: Chúng không có bộ nhớ theo cách bạn mong đợi. Mặc dù hiện tại tất cả các trợ lý AI đều có một số dạng bộ nhớ liên tục, với một số bản tóm tắt bộ nhớ duy trì và có khả năng tìm kiếm trong các cuộc trò chuyện trước đây của bạn, nhưng đó không phải là cách LLM thực sự hoạt động. Thực chất, bản thân mô hình không nhớ gì cả. Mỗi lần bạn nhấn gửi, nó sẽ "thức dậy" một cách lạnh lùng và không còn nhớ gì về cuộc trò chuyện bạn đã trải qua.

Vậy làm thế nào để nó theo kịp bạn sau đó? Toàn bộ cuộc trò chuyện sẽ được lưu lại từ đầu mỗi khi bạn gửi message mới. Cảm giác liên tục mà bạn cảm thấy, ký ức, không phải là việc ghi nhớ mô hình. Thay vào đó, toàn bộ cuộc trò chuyện đang được đọc lại, bắt đầu kết thúc trước mỗi câu trả lời. Tất cả điều này tồn tại trong cái được gọi là cửa sổ ngữ cảnh. Anthropic mô tả nó là "bộ nhớ làm việc" của mô hình - tất cả văn bản mà mô hình có thể tham chiếu khi tạo phản hồi, bao gồm cả chính phản hồi đó.

Mỗi message bạn gửi có giá cao hơn lần trước

Anthropic giải thích trong tài liệu riêng của mình rằng khi cuộc trò chuyện diễn ra theo lượt, mỗi message của người dùng và phản hồi của trợ lý sẽ tích lũy trong cửa sổ ngữ cảnh và các lượt trước đó sẽ được giữ nguyên hoàn toàn. Không có gì để lại. Prompt đầu tiên của bạn, câu trả lời của Claude, câu trả lời tiếp theo của bạn, rồi câu trả lời sau đó nữa - mỗi lượt được xếp chồng lên nhau và toàn bộ được đọc lại trước mỗi câu trả lời mới.

Điều khiến việc này thậm chí còn phức tạp hơn là không chỉ có message của bạn chồng chất lên nhau. Mọi thứ trong một yêu cầu mới đều được tính vào cửa sổ ngữ cảnh, bao gồm các hướng dẫn hệ thống chạy ngầm, mọi message trong cuộc hội thoại, mọi kết quả của công cụ và mọi hình ảnh hoặc tài liệu bạn đã thả vào đó. Ngay cả lý luận của Claude, tức là suy nghĩ trước khi trả lời, cũng có giá trị.

Hãy suy nghĩ xem điều này có ý nghĩa gì trong một cuộc trò chuyện khá dài. Chẳng hạn, trong message thứ 100, bạn sẽ không chỉ còn là gửi một message nữa. Bạn đang gửi tất cả 100, cộng với tất cả 99 câu trả lời của mô hình, cộng với mọi kết quả tài liệu, hình ảnh và công cụ mà mỗi kết quả được chuyển qua cuộc trò chuyện, cùng với lý do mà nó đã thực hiện trong suốt quá trình. Tất cả đều được tập hợp lại và đọc lại từ đầu để mô hình có thể phản hồi dòng mới nhất của bạn.

Vậy thực tế điều đó khiến bạn phải trả giá như thế nào?

Suy cho cùng, mỗi lượt tương tác đều "nặng nề" hơn lượt trước, bởi vì nó mang theo toàn bộ nội dung của các lượt trước đó. Sức nặng này đè lên vai bạn – người dùng – theo hai cách.

Cách thứ nhất là điều dễ thấy nhất: Bạn nhanh chóng chạm tới giới hạn sử dụng. Dù bạn trả phí theo token qua API hay sử dụng gói đăng ký có giới hạn, thì mỗi message gửi đi đều tốn kém chi phí xử lý hơn message trước đó, do nó phải xử lý lại toàn bộ nội dung cuộc trò chuyện từ đầu. Với API, đó là chi phí tiền bạc thực tế. Đến message thứ 100, bạn phải trả tiền để hệ thống xử lý lại 99 message trước đó trong mỗi lần gửi. Còn với gói đăng ký, hạn mức sử dụng của bạn sẽ cạn kiệt nhanh hơn mức cần thiết.

Cái giá thứ hai là chất lượng câu trả lời thực sự bị giảm sút. Bạn có thể nghĩ rằng nhiều ngữ cảnh hơn đồng nghĩa với việc mô hình có nhiều thông tin hơn và hoạt động tốt hơn – đúng là như vậy, nhưng chỉ đến một mức độ nhất định. Chính tài liệu của Anthropic cũng nêu rõ rằng nhiều ngữ cảnh hơn không đồng nghĩa với việc kết quả sẽ tốt hơn. Khi số lượng token tăng lên, độ chính xác và khả năng truy xuất thông tin của mô hình bắt đầu suy giảm; Anthropic gọi hiện tượng này là "context rot" (sự suy giảm chất lượng do quá tải ngữ cảnh). Chi tiết thực sự quan trọng (câu hỏi chính của bạn, hay chỉ dẫn then chốt) rốt cuộc lại bị chôn vùi dưới vô số thông tin khác đã trao đổi trong cuộc trò chuyện, khiến mô hình gặp khó khăn hơn trong việc nhận diện và trích xuất thông tin đó.

Giải pháp là đưa mọi thông tin quan trọng lên ngay từ đầu

Một cuộc trò chuyện bị chia nhỏ, rải rác thường mang lại nhiều bất lợi hơn là lợi ích. Lý do cần đi sâu vào cơ chế hoạt động là vì giải pháp chỉ thực sự hiệu quả khi bạn hiểu rõ vấn đề và cách hệ thống vận hành ở phía sau. Bản thân giải pháp rất đơn giản: Hãy đưa mọi thông tin quan trọng lên ngay từ đầu. Thay vì chia nhỏ yêu cầu ra nhiều message (hỏi một câu, nhận câu trả lời, rồi làm rõ, chỉnh sửa, bổ sung ý đã quên), cách tốt nhất là đưa càng nhiều thông tin càng tốt vào ngay message đầu tiên.

Dưới đây là ví dụ về một cuộc trò chuyện bị chia nhỏ điển hình – kiểu trò chuyện mà hầu hết chúng ta thường thực hiện mà không hề đắn đo:

Hãy cung cấp cho mô hình bức tranh toàn cảnh ngay từ đầu: Ngữ cảnh, các ràng buộc, ví dụ, định dạng mong muốn... tất cả trong một lần gửi duy nhất. Cách làm này giúp giải quyết đồng thời cả hai vấn đề chi phí nêu trên. Riêng đối với vấn đề chất lượng câu trả lời, việc đưa thông tin quan trọng lên đầu chính là giải pháp trực diện và hiệu quả nhất. Bạn còn nhớ vấn đề "suy giảm ngữ cảnh" (context rot) chứ? Một prompt được cấu trúc tốt ngay từ đầu chính là giải pháp ngược lại: Mọi thông tin mô hình cần đều nằm ngay đó, tập trung và rõ ràng, không bị che khuất bởi các chi tiết thừa. Bạn đang cung cấp cho nó một bản tóm tắt yêu cầu mạch lạc thay vì bắt nó phải tự chắp vá ý định của mình từ hàng chục message rời rạc.

Đối với vấn đề giới hạn (về dung lượng ngữ cảnh), lợi ích mang lại không quá rõ ràng ngay lập tức. Việc đưa thông tin quan trọng lên đầu không làm giảm dung lượng của từng message riêng lẻ; thực tế, một câu lệnh mở đầu chi tiết còn có dung lượng lớn hơn. Tuy nhiên, cách làm này giúp bạn đạt được kết quả mong muốn chỉ với số lượt tương tác ít hơn nhiều. Và vì mỗi lượt tương tác đều yêu cầu hệ thống đọc lại toàn bộ cuộc trò chuyện, nên ít lượt tương tác hơn đồng nghĩa với việc giảm thiểu tổng khối lượng dữ liệu phải xử lý lại. Việc trao đổi qua lại 10 lần để tinh chỉnh một yêu cầu mà lẽ ra bạn có thể nêu rõ ngay từ đầu sẽ khiến hệ thống phải đọc lại ngữ cảnh tích lũy đó tới 10 lần. Hãy diễn đạt thật chuẩn xác ngay lần đầu tiên, và bạn có thể gói gọn toàn bộ quy trình đó chỉ trong một hoặc hai lượt tương tác!