Context Engineering là gì?

AI agent hiểu rõ sản phẩm của bạn đến từng chi tiết. Bạn đã viết các prompt chi tiết, upload lên tài liệu và thử nghiệm hàng chục lần. Rồi một khách hàng hỏi về giá cả, và agent lại báo giá quý trước. Hoặc nó đề xuất bản demo cho một người đã trả tiền cho bạn 3 năm trước. Hoặc nó vui vẻ cung cấp mã giảm giá đã hết hạn hai tuần trước.

Điều gây khó chịu là: Thông tin chính xác nằm ngay trong prompt của bạn. Dòng 347, được nêu rõ ràng. Nhưng AI lại... bỏ qua nó.

Các nhà nghiên cứu gọi hiện tượng này là "mất tích ở giữa". Mô hình LLM thể hiện đường cong chú ý hình chữ U, xử lý thông tin ở đầu và cuối đầu vào một cách đáng tin cậy trong khi hiệu suất giảm hơn 30% đối với bất kỳ thông tin nào nằm ở giữa. Quy tắc được xây dựng cẩn thận mà bạn đã thêm vào sau khi nhận được khiếu nại của khách hàng gần đây nhất? Rất có thể mô hình không bao giờ nhìn thấy nó.

Generative AI Labs của Wharton đã tìm thấy điều tương tự khi họ thử nghiệm các prompt theo cách các nhà khoa học kiểm tra giả thuyết, chạy mỗi câu hỏi 100 lần thay vì chỉ một lần. Ở mức độ chính xác nghiêm ngặt, hầu hết các điều kiện "chỉ nhỉnh hơn một chút so với đoán ngẫu nhiên". Các kết quả đầu ra riêng lẻ trông có vẻ tốt. Chỉ là chúng không đáng tin cậy.

Câu prompt của bạn có lẽ ổn. Nhưng kỹ thuật viết prompt đã trở thành một lớp trong hệ thống lớn hơn, và các nhóm xây dựng AI hoạt động hiệu quả trong môi trường sản xuất hiện dành thời gian tương đương hoặc nhiều hơn cho những gì xung quanh prompt: Ngữ cảnh.

Context Engineering là gì?

Nhóm LangChain đã diễn giải lại lời của Andrej Karpathy, người đã giúp xây dựng AI của Tesla và đồng sáng lập OpenAI: "LLM giống như một loại hệ điều hành mới. LLM là CPU, cửa sổ ngữ cảnh là RAM."

AI của bạn là một nhân viên. Cửa sổ ngữ cảnh là bàn làm việc của họ. Bất cứ thứ gì đang có trên bàn ngay bây giờ - file khách hàng trên màn hình, bản tóm tắt chiến dịch họ đã in ra, hướng dẫn thương hiệu bị nhét trong ngăn kéo - đó là những gì họ có thể làm việc. Bàn làm việc sẽ đầy. Bộ nhớ của AI cũng vậy.

Prompt của bạn là mẩu giấy ghi chú bạn đưa cho họ sáng nay. Nó quan trọng, chắc chắn rồi. Nhưng chồng thư mục trên bàn của họ? Phần mềm CRM họ đang mở? Đó mới là thứ quyết định liệu họ có thực sự giúp đỡ khách hàng hay chỉ loay hoay hỏi những câu hỏi mà khách hàng đã trả lời.

Anthropic đã trình bày phương pháp Context Engineering của họ vào năm 2025. Định nghĩa của họ: "Tập hợp các chiến lược để chọn lọc và duy trì tập hợp token tối ưu trong quá trình suy luận LLM". Nói cách khác: Cung cấp cho AI của bạn thông tin phù hợp, ở định dạng phù hợp, vào đúng thời điểm. Không gì hơn. Chỉ những gì nó cần.

AI thực sự cần điều gì: Context Engineering hay Prompt Engineering?

Hầu hết mọi người coi AI như một nhân viên rất máy móc và cố gắng giải quyết vấn đề bằng cách đưa ra thêm nhiều hướng dẫn. Nhiều quy tắc hơn, nhiều ví dụ hơn, nhiều trường hợp ngoại lệ hơn. Nhưng vấn đề còn sâu xa hơn: AI cần kiến ​​trúc thông tin tốt hơn, chứ không chỉ là cách diễn đạt tốt hơn.

Prompt Engineering hỏi "Tôi nên nói gì?". Context Engineering hỏi "Tôi cần biết gì?". Prompt là tĩnh, được viết một lần, cố định. Ngữ cảnh là động, được lấy theo thời gian thực dựa trên người hỏi và nhu cầu của họ. Prompt là văn bản. Ngữ cảnh là một hệ thống dữ liệu.

Hãy nghĩ về việc đào tạo một nhân viên mới. Bạn không đưa cho họ một cuốn sổ tay 50 trang và nói "hãy học thuộc lòng cuốn này trước mỗi cuộc gọi". Bạn cung cấp cho họ quyền truy cập CRM, chỉ cho họ cơ sở kiến ​​thức, chia sẻ hướng dẫn về phong cách với các ví dụ thực tế. Bạn đảm bảo họ biết chiến dịch nào đang chạy trong tuần này và những tình huống nào cần báo cáo.

Context Engineering cũng làm điều tương tự cho AI.

4 chiến lược

Framework của LangChain chia Context Engineering thành 4 chiến lược. Điều này hữu ích để suy nghĩ về những gì hệ thống của bạn thực sự cần:

• Write (Ghi): Cung cấp cho AI một nơi để lưu trữ thông tin bên ngoài bộ nhớ chính của nó. Sổ tay, ghi chú, file. Bằng cách này, nó không phải giữ mọi thứ trong đầu.
• Select (Chọn): Chỉ lấy những gì liên quan. Không phải tất cả tài liệu của bạn, chỉ những tài liệu quan trọng cho câu hỏi này. Không phải mọi trường thông tin khách hàng, chỉ những trường giúp ích ngay bây giờ.
• Compress (Nén): Tóm tắt khi ngữ cảnh trở nên dài. Một cuộc hội thoại đã diễn ra trong 20 lượt không cần phải có đầy đủ 20 lượt. Giữ lại các điểm chính, cắt bớt phần còn lại.
• Isolate (Phân lập): Chia các nhiệm vụ phức tạp cho nhiều agent với ngữ cảnh riêng biệt. Một agent nghiên cứu, một agent khác viết, agent thứ ba xem xét. Mỗi agent có một ngữ cảnh rõ ràng, tập trung thay vì một agent bị ngập trong mọi thứ.

Trên thực tế, hầu hết các nhóm đều dựa nhiều vào chiến lược Select. Đó là lúc một công cụ như Zapier Tables phát huy tác dụng: Cung cấp cho agent của bạn quyền truy cập vào ngữ cảnh có cấu trúc mà nó có thể chọn lọc để sử dụng thay vì load tất cả mọi thứ cùng một lúc.

Ngữ cảnh là hữu hạn. Nó có hiệu quả giảm dần. Nhóm kỹ thuật của Anthropic đã giải thích rất rõ: "Context Engineering tốt có nghĩa là tìm ra tập hợp nhỏ nhất có thể các token có tín hiệu cao nhằm tối đa hóa khả năng đạt được kết quả mong muốn". Nghiên cứu học thuật gần đây đã xác nhận điều này: Việc lựa chọn chiến lược thông tin liên quan luôn hiệu quả hơn việc đưa tất cả mọi thứ bạn có vào. Nhiều ngữ cảnh hơn không phải lúc nào cũng tốt hơn.

Có sự khác biệt giữa những gì bạn lưu trữ và những gì mô hình nhìn thấy. Cơ sở dữ liệu của bạn có thể chứa hàng terabyte. Nhưng tại bất kỳ thời điểm nào, AI chỉ nên thấy những gì quan trọng đối với cuộc hội thoại này.

Đừng đưa thông tin vào ngay từ đầu. Hãy để AI tự tìm kiếm. Chi tiết khách hàng khi khách hàng yêu cầu. Thông số kỹ thuật sản phẩm khi các tính năng được đề cập. Không phải mọi thứ, mọi lúc.

Và điều quan trọng nhất cần ghi nhớ: 500 token chứa thông tin phù hợp sẽ tốt hơn 50.000 token chứa tất cả mọi thứ bạn có.

3 loại ngữ cảnh quan trọng

Để xây dựng các agent thực sự hiệu quả, bạn cần 3 loại ngữ cảnh. Hãy coi chúng như những cơ sở dữ liệu mà AI của bạn luôn có quyền truy cập.

Ngữ cảnh thương hiệu: Bạn là ai

Đây là cá tính của AI. Các quy tắc, giọng điệu và giới hạn khiến các phản hồi nghe giống bạn hơn là giọng điệu chung chung của ChatGPT.

Hầu hết các nhà tiếp thị bỏ qua một điều ở đây: Bạn không thể tạo ra một hình tượng thương hiệu bằng cách viết các prompt sáng tạo. Nghiên cứu cho thấy các hình tượng do LLM tạo ra chứa đựng những thành kiến ​​có hệ thống: Thành kiến ​​tích cực, hồ sơ lý tưởng hóa, quan điểm sai lệch.

Vì vậy, hãy trích xuất, đừng tự tạo ra. Hãy lấy những email hoạt động tốt nhất của bạn, những phản hồi hỗ trợ được đánh giá cao nhất, những bài đăng trên mạng xã hội được chia sẻ nhiều nhất. Cung cấp những dữ liệu đó cho AI làm ví dụ. Hãy để ngữ cảnh thương hiệu đến từ những gì bạn đã làm tốt, chứ không phải những gì bạn tưởng tượng thương hiệu của mình nên như thế nào.

Bối cảnh thương hiệu bao gồm các hướng dẫn về giọng điệu ("trực tiếp và tự tin, không phải kiểu bán hàng"), những kiểu mẫu phản cảm ("tuyệt đối không bao giờ nói từ 'synergy'"), thuật ngữ được chấp thuận (đặc biệt là tên sản phẩm mà mọi người thường dùng sai), và các chủ đề bị cấm như tên đối thủ cạnh tranh hoặc những tính năng chưa được công bố. Hãy thêm 10 đến 20 câu trả lời thực tế thể hiện đúng giọng điệu, cùng với các quy tắc chuyển giao: Khi nào nên chuyển giao cho người thật, những lời hứa mà AI không bao giờ nên đưa ra.

Bối cảnh khách hàng: Họ là ai

Điều này thay đổi theo từng cuộc trò chuyện.

Nếu không có bối cảnh khách hàng, mọi tương tác đều bắt đầu từ con số 0. AI sẽ hỏi "Bạn đang làm trong ngành nào?" trong khi khách hàng đã trả lời hai lần rồi. Với bối cảnh khách hàng, AI của bạn có thể nói: "Lần trước chúng ta nói chuyện, bạn đang đánh giá việc tích hợp API của chúng tôi. Bạn đã có cơ hội xem lại tài liệu tôi đã gửi chưa?"

Câu đó đòi hỏi bộ nhớ. Bộ nhớ là yếu tố phân biệt trợ lý với chatbot khiến khách hàng phải lặp lại lời nói của mình. Vậy những gì cần đưa vào đây?

• Thông tin công ty và cấp độ tài khoản (để biết có nên giới thiệu các tính năng dành cho doanh nghiệp hay không)
• Ngành nghề (để sử dụng các ví dụ phù hợp)
• Họ có yêu cầu hỗ trợ đang mở hay không (để không hỏi "Tôi có thể giúp gì?" khi họ đang gặp khủng hoảng)
• Lịch sử mua hàng và các cuộc trò chuyện trước đó (để họ không phải lặp lại thông tin)
• Vị trí của họ trong phễu bán hàng (để AI điều chỉnh mức độ chi tiết sản phẩm)

Bối cảnh chiến lược: Mục tiêu bạn đang hướng tới

Theo kinh nghiệm, các nhà tiếp thị hầu như luôn quên điều này.

AI của bạn không biết đó là quý 1. Nó không biết bạn đang thúc đẩy các gói hàng năm hoặc mục tiêu của bạn trong quý này là những buổi giới thiệu sản phẩm, chứ không phải các bản dùng thử miễn phí. Trừ khi bạn cho nó biết.

Lớp thông tin này chứa:

• Các chiến dịch hiện tại (để AI biết nên đề cập đến những lợi ích về giá nào)
• Các ưu đãi đang hoạt động (để AI biết những giảm giá nào là có thật)
• Các quy tắc cho những giai đoạn khác nhau của phễu bán hàng, mục tiêu chuyển đổi của bạn
• Vị thế cạnh tranh

Những thông tin thay đổi theo từng quý và định hình những gì AI thực sự nên tập trung giới thiệu.

Cách họ phối hợp với nhau

Một khách hàng hỏi: "Điều gì khiến bạn khác biệt so với [Đối thủ cạnh tranh]?"

Ngữ cảnh thương hiệu cho thấy không bao giờ nên nêu tên đối thủ cạnh tranh trực tiếp. Ngữ cảnh khách hàng cho thấy họ là người dùng thử doanh nghiệp trong lĩnh vực fintech. Ngữ cảnh chiến lược chỉ ra rằng trọng tâm hiện tại là các tính năng tuân thủ.

Kết quả: Một phản hồi nhấn mạnh khả năng tuân thủ (phù hợp với fintech), đề cập đến bảo mật cấp doanh nghiệp (phù hợp với cấp độ của họ), định vị so với các đối thủ cạnh tranh mà không nêu tên. Tất cả đều bằng giọng điệu thương hiệu của bạn.

Không có bất kỳ thủ thuật Prompt Engineering nào có thể đạt được điều này. Nó đòi hỏi kiến ​​trúc.