Xây dựng kế hoạch giám sát agent đầu tiên trong 20 phút

Hãy biến một agent thực tế trong nhóm của bạn thành một bản kế hoạch giám sát gói gọn trong một trang - bao gồm nhiệm vụ, checkpoint, người phê duyệt cụ thể và điều kiện dừng hoạt động - với sự hỗ trợ của AI trong khoảng 20 phút.

Đã đến lúc xây dựng một thứ gì đó thực tế

Ở Bài 1, bạn đã biết rằng một agent có khả năng thực hiện hành động (khác với chatbot chỉ đơn thuần đưa ra câu trả lời), rằng có lẽ bạn đang giám sát một vài agent như vậy, và một agent hiệu quả cần có "bản mô tả công việc, các giới hạn và một người quản lý". Bài học này sẽ giúp bạn cụ thể hóa những yếu tố đó cho một agent thực tế trong nhóm, bằng ngôn ngữ đơn giản, dễ hiểu.

Đến cuối bài, bạn sẽ có một bản Kế hoạch Giám sát Agent dài một trang dành cho một agent hoặc quy trình tự động hóa thực tế trong nhóm của bạn. Bản kế hoạch này sẽ nêu rõ agent đó làm gì, checkpoint duy nhất mà con người vẫn nắm quyền điều hành, cá nhân cụ thể chịu trách nhiệm phê duyệt, và điều kiện để bạn dừng hoạt động của agent đó. Bạn có thể sao chép nội dung này vào một tài liệu và chia sẻ ngay trong hôm nay.

Hãy lấy danh sách các agent mà bạn đã lập ở cuối Bài 1 (hoặc chọn agent tiềm ẩn nhiều rủi ro nhất mà nhóm bạn đang vận hành). Hãy cùng bắt đầu xây dựng nhé!

4 thành phần của một bản kế hoạch giám sát

Mỗi bản kế hoạch giám sát đều cần trả lời 4 câu hỏi. Chỉ 4 câu hỏi mà thôi.

1. Nhiệm vụ: Agent chịu trách nhiệm về việc gì và các giới hạn của nó là gì? (Chỉ cần một hoặc hai câu. Ví dụ: "Soạn thảo phản hồi cho các yêu cầu hỗ trợ thông thường; tuyệt đối không can thiệp vào các vấn đề thanh toán hoặc hủy dịch vụ").
2. Checkpoint: Ở bước nào con người sẽ tham gia - xem xét kết quả đầu ra hoặc phê duyệt trước khi agent thực hiện hành động? Đây là phần quan trọng nhất.
3. Người phê duyệt: Ai là người cụ thể chịu trách nhiệm xem xét hoặc phê duyệt? Không phải "cả nhóm", mà phải là một cá nhân cụ thể.
4. Điều kiện dừng hoạt động: Tình huống cụ thể nào khiến bạn phải tạm dừng hoặc tắt hoàn toàn agent đó? (Ví dụ: "Nếu agent gửi bất kỳ nội dung nào cho khách hàng mà chưa được phê duyệt, nó sẽ ngay lập tức bị chuyển sang chế độ chỉ lưu bản nháp").

Hãy lưu ý 4 thành phần này: Bản mô tả công việc, các giới hạn, người quản lý và điều kiện dừng hoạt động. Đây cũng chính là những yếu tố bạn cần thiết lập cho một nhân viên mới đầy năng lực ngay trong ngày đầu tiên họ bắt đầu công việc.

Bước 1 - Chọn một agent (2 phút)

Hãy chọn một agent hoặc quy trình tự động hóa mà nhóm của bạn đang thực sự vận hành. Lựa chọn tốt nhất để bắt đầu: Hãy chọn agent mà bạn đã liệt kê ở Bài 1 - loại agent có thể gây ra hậu quả nghiêm trọng nhất nếu nó đưa ra kết quả sai lệch một cách đầy tự tin (ví dụ: agent gửi thông tin cho khách hàng, thực hiện giao dịch tài chính, đăng nội dung công khai, hoặc cung cấp dữ liệu đầu vào cho công việc của một nhóm khác). Đừng cố gắng bao quát mọi thứ. Chỉ cần một agent, gói gọn trong một trang tài liệu.

Bước 2 - Ghi chú 3 thông tin cơ bản (3 phút)

Trước khi nhập câu lệnh (prompt), hãy nhanh chóng ghi lại 3 ý chính (bạn có thể dùng giấy ghi chú):

• Mô tả chức năng của agent đó trong một câu.
• Hậu quả tồi tệ nhất có thể xảy ra nếu agent đó xử lý sai.
• Ai trong nhóm của bạn là người phù hợp nhất để phát hiện ra sai sót đó.

Chỉ cần bấy nhiêu thông tin là đủ.

Bước 3 - Tạo kế hoạch (5 phút)

Mở ChatGPT, Claude hoặc Gemini trên trình duyệt của bạn. Sao chép nội dung sau, rồi dán vào khung chat, điền 3 thông tin bạn đã ghi chú ở bước trước, rồi gửi đi.

Hãy đóng vai huấn luyện viên giám sát AI agent cho tôi. Tôi là một quản lý không chuyên về kỹ thuật. Hãy giúp tôi chuyển đổi MỘT
agent mà nhóm tôi đang sử dụng thành một "Kế hoạch Giám sát Agent" rõ ràng, gói gọn trong một trang. 

Agent:
- Chức năng: [một câu - ví dụ: "soạn thảo và gửi phản hồi cho các email hỗ trợ khách hàng thông thường vào ban đêm"]
- Sai sót tồi tệ nhất có thể xảy ra: [ví dụ: "hứa ​​hoàn tiền sai cho khách hàng"]
- Công cụ/dữ liệu có thể truy cập: [ví dụ: "hộp thư hỗ trợ và các bài viết trong trung tâm trợ giúp của chúng tôi"]
- Người trong nhóm có thể xem xét hoặc phê duyệt công việc của agent: [một vai trò hoặc tên cụ thể - ví dụ: "nhân viên hỗ trợ cấp cao của chúng tôi, Dana"]

Hãy lập một bản kế hoạch gói gọn trong một trang, bao gồm đúng 4 phần dưới đây, sử dụng ngôn ngữ thông thường, không dùng code lập trình:

1. CÔNG VIỆC - nêu rõ trách nhiệm của agent, cùng 2-3 GIỚI HẠN cụ thể (những việc agent tuyệt đối không được tự ý thực hiện). Các giới hạn này cần nhắm trực tiếp vào sai sót tồi tệ nhất mà tôi đã mô tả.
2. CHECKPOINT - một giai đoạn duy nhất mà con người phải xem xét hoặc phê duyệt trước khi công việc của agent được gửi đi hoặc có hiệu lực. Hãy xác định xem đó là hình thức "xem xét sau" hay "phê duyệt trước", tùy thuộc vào mức độ khó khăn khi muốn hoàn tác hành động đó.
3. NGƯỜI PHÊ DUYỆT - nêu tên cá nhân cụ thể (sử dụng thông tin tôi đã cung cấp) và khẳng định rõ trong một dòng rằng họ là người chịu trách nhiệm cuối cùng về kết quả - agent không bao giờ phải chịu trách nhiệm, con người mới là người chịu trách nhiệm.
4. ĐIỀU KIỆN DỪNG KHẨN CẤP - 2-3 dấu hiệu cụ thể, có thể quan sát được, là căn cứ để "tạm dừng agent ngay lập tức" (ví dụ: gửi thông điệp sai cho khách hàng, thực hiện hành động chưa được phê duyệt, hoặc khối lượng công việc/chi phí tăng đột biến).

Kết thúc bằng: một bản tóm tắt gói gọn trong một câu mà tôi có thể nói trực tiếp với nhóm của mình, cùng với một rủi ro trong thiết lập này mà có thể tôi đã bỏ sót.

Thay thế các phần trong dấu ngoặc vuông [ ] bằng ghi chú thực tế của bạn từ Bước 2. Hãy điền tên hoặc vai trò cụ thể của người phê duyệt - chi tiết này giúp biến bản kế hoạch từ lý thuyết thành thực tế.

Trong vòng vài giây, một bản kế hoạch gói gọn trong một trang với 4 phần được gắn nhãn - công việc cùng các giới hạn của nó, một checkpoint, người phê duyệt cụ thể và điều kiện dừng khẩn cấp - cùng với một bản tóm tắt một câu và một rủi ro đã được đánh dấu.

Lưu vào một tài liệu dùng chung, đặt tên theo tên của agent. Đây là tài liệu giám sát thực tế đầu tiên của bạn - mỗi bài học sau này sẽ giúp tinh chỉnh một trong 4 thành phần của tài liệu đó.

Nếu kế hoạch quá chung chung, hãy chạy lại quy trình với một tình huống sai sót tồi tệ nhất có thể xảy ra, kèm theo các công cụ thực tế mà agent đó sử dụng. Nếu kế hoạch chỉ định "nhóm" (team) là người phê duyệt, hãy phản hồi: "Hãy chỉ định [tên cụ thể] là người duy nhất chịu trách nhiệm phê duyệt".

Những điểm cần lưu ý

Khi nhận được kế hoạch, hãy kiểm tra dựa trên 4 tiêu chí sau:

1. Các giới hạn phải cụ thể. Thay vì nói "hãy cẩn thận", hãy quy định rõ: "không bao giờ được hoàn tiền hoặc đưa ra lời hứa nếu chưa có sự phê duyệt". Những giới hạn mơ hồ sẽ không bảo vệ được bạn.
2. Checkpoint phải tương xứng với mức độ rủi ro. Nếu agent thực hiện một hành động khó đảo ngược (như gửi thông tin cho khách hàng, chuyển tiền, hoặc đăng nội dung công khai), kế hoạch phải yêu cầu "phê duyệt trước" thay vì "xem xét sau". Đối với các hành động không thể đảo ngược, việc xem xét sau là quá muộn.
3. Phần người phê duyệt phải có tên cụ thể. Nếu kế hoạch ghi là "nhóm" hoặc "quản lý", hãy thay bằng tên một cá nhân cụ thể. Đây là điểm thường xuyên gặp vấn đề nhất trong thực tế.
4. Điều kiện dừng khẩn cấp phải có thể quan sát được. Bạn cần có khả năng nhận biết ngay lập tức khi điều kiện đó xảy ra - ví dụ: thay vì nói "nếu agent hành xử không tốt", hãy quy định rõ "nếu agent gửi tin nhắn cho khách hàng mà chưa được phê duyệt".

Phải làm gì khi kết quả không như ý?

"Kế hoạch quá chung chung, có thể áp dụng cho bất kỳ agent nào". Điều này cho thấy thông tin đầu vào của bạn chưa đủ chi tiết. Hãy chạy lại quy trình với một tình huống sai sót tồi tệ nhất cụ thể và các công cụ thực tế mà agent đó sử dụng. Đầu vào cụ thể sẽ tạo ra kế hoạch cụ thể.

"Kế hoạch mô tả agent như một mối nguy hiểm và yêu cầu dừng mọi hoạt động". Điều này cho thấy hệ thống đã điều chỉnh quá mức cần thiết. Phản hồi: "Agent này hữu ích - hãy cứ để nó hoạt động, nhưng cần thiết kế checkpoint sao cho các sai sót không thể ảnh hưởng đến khách hàng. Đừng đề xuất loại bỏ nó". Mục tiêu ở đây là sử dụng an toàn, chứ không phải là ngừng sử dụng.

"Hệ thống ghi 'cả nhóm' là người phê duyệt, trong khi bạn đã chỉ định một cá nhân cụ thể". Phản hồi: "Hãy chỉ định đích danh [tên người đó] là người chịu trách nhiệm phê duyệt duy nhất, và loại bỏ mọi cách diễn đạt mang tính 'chia sẻ trách nhiệm chung'". Trách nhiệm cần gắn liền với một cá nhân cụ thể.

"Không có ai thực hiện việc đánh giá này". Đây là một phát hiện quan trọng, không phải là một thất bại - nó cho thấy agent này hiện không có người giám sát, đây chính là trạng thái rủi ro nhất. Hãy ghi chú lại điều này; trong Bài 3, bạn sẽ quyết định xem liệu có nên giao tác vụ đó cho agent này hay không khi thiếu người giám sát.

Thành quả nhanh chóng của bạn

Nếu đã thực hiện được các bước trên, bạn vừa đạt được điều mà hầu hết các nhóm vận hành AI agent chưa từng làm: Xác định rõ ràng trên một trang giấy ai là người chịu trách nhiệm cho một agent và cách thức duy trì quyền kiểm soát đối với nó. Các khảo sát cho thấy phần lớn các nhóm không có câu trả lời bằng văn bản cho câu hỏi: "Ai chịu trách nhiệm khi agent mắc lỗi?". Giờ đây, bạn đã có câu trả lời đó.

Hãy lưu kế hoạch này vào một tài liệu dùng chung, đặt tiêu đề bằng tên của agent đó và chụp ảnh màn hình lại. Đây chính là nền tảng cho hệ thống giám sát toàn diện mà bạn sẽ hoàn thiện ở phần cuối khóa học - mỗi bài học tiếp theo sẽ giúp tinh chỉnh một trong 4 thành phần này.

Những điểm chính cần ghi nhớ

• Một kế hoạch giám sát bao gồm 4 phần: Công việc, checkpoint, người phê duyệt và điều kiện dừng hoạt động. 4 câu hỏi, gói gọn trong một trang giấy.
• Checkpoint phải tương xứng với mức độ rủi ro. Đối với những hành động khó đảo ngược, cần áp dụng quy trình "phê duyệt trước khi thực hiện" thay vì "đánh giá sau khi thực hiện".
• Người phê duyệt phải là một cá nhân cụ thể. Nếu quy trách nhiệm cho "cả nhóm", đồng nghĩa với việc chẳng ai thực sự chịu trách nhiệm cả.
• Điều kiện dừng hoạt động phải là yếu tố có thể quan sát được - tức là một sự kiện cụ thể mà bạn có thể nhìn thấy, thay vì những diễn đạt mơ hồ như "nếu nó hoạt động không đúng cách".
• Việc ghi lại kế hoạch này chính là thành công. Hầu hết các nhóm đều bỏ qua bước này, và đó cũng chính là kẽ hở khiến các sai sót xảy ra.