Các checkpoint và cổng phê duyệt trong giám sát AI agent

Đặt đúng người vào đúng vị trí

Bài 3 đã phân loại các tác vụ thành 3 nhóm: "Agent tự thực hiện", "agent soạn thảo/con người phê duyệt", và "con người trực tiếp điều phối". Phần lớn công việc giám sát của bạn nằm ở nhóm thứ hai - điều này đặt ra một câu hỏi cụ thể: Chính xác thì con người nên tham gia vào khâu nào? Bài học này sẽ giải đáp vấn đề đó.

Nếu đặt checkpoint sai chỗ, nó chẳng khác nào một màn kịch vô nghĩa. Nếu đặt quá nhiều checkpoint, người giám sát sẽ bị quá tải và bắt đầu nhấn "phê duyệt" mà chẳng buồn đọc - như vậy thì chẳng còn checkpoint nào thực sự hiệu quả cả. Ngược lại, nếu đặt quá ít, một hành động gây hậu quả nghiêm trọng có thể xảy ra mà không được giám sát. Kỹ năng ở đây là đặt con người vào đúng vị trí mà nếu xảy ra sai sót, việc khắc phục sẽ rất tốn kém - và chỉ đặt ở đó mà thôi.

Sau bài học này, bạn sẽ có thể:

• Thiết lập chốt phê duyệt cho những hành động thực sự cần sự kiểm soát.
• Thiết lập quy trình mặc định "soạn thảo trước, thực hiện sau" để đảm bảo agent không tự ý hành động khi con người chưa sẵn sàng.

Quy tắc về hành động gây hậu quả không thể đảo ngược 

Đây là quy tắc cốt lõi giải quyết phần lớn vấn đề. Hãy phân loại mọi hành động mà agent có thể thực hiện vào hai nhóm:

• Có thể đảo ngược - dễ dàng hoàn tác. Ví dụ: gắn thẻ, phân loại, soạn thảo, tóm tắt, cập nhật ghi chú nội bộ. Hãy để các agent tự thực hiện những việc này.
• Không thể đảo ngược / gây hậu quả nghiêm trọng - khó hoặc không thể hoàn tác. Ví dụ: gửi email, thanh toán, đăng bài, xóa dữ liệu, hủy giao dịch, xuất bản, đặt chỗ. Những hành động này cần một chốt phê duyệt từ con người trước khi được thực thi.

Đó chính là quy tắc về hành động gây hậu quả không thể đảo ngược: Đừng bao giờ để agent tự động thực hiện bất kỳ thao tác nào mà bạn không thể hoàn tác. Bạn không thể thu hồi email đã gửi cho khách hàng, hủy thanh toán hóa đơn, hay xóa một thông báo đã công khai. Vì vậy, con người cần tham gia ngay trước bước thực hiện các hành động đó.

Đây không chỉ là thông lệ tốt - đối với một số trường hợp sử dụng, đây còn là quy định pháp luật. Điều 14 của Đạo luật AI châu Âu (EU AI Act) yêu cầu các hệ thống AI có rủi ro cao phải được thiết kế sao cho con người có thể giám sát, thấu hiểu, can thiệp, tạm dừng hoặc vô hiệu hóa chúng; đồng thời, con người cũng phải được đào tạo để thực hiện những thao tác này. Thời hạn tuân thủ bắt buộc đối với các hệ thống có rủi ro cao là ngày 2 tháng 8 năm 2026. Ngay cả khi agent của bạn không được phân loại là "rủi ro cao" về mặt pháp lý, thì việc thiết lập cơ chế cho phép con người can thiệp và tạm dừng vẫn là tiêu chuẩn đáng áp dụng.

Ưu tiên chế độ "tạo bản nháp" là lựa chọn an toàn mặc định

Khi chưa chắc chắn, hãy thiết lập mặc định cho agent ở chế độ "tạo bản nháp" (còn gọi là chế độ chỉ đọc hoặc chạy thử): Agent chuẩn bị công việc và hiển thị những gì nó dự định thực hiện, nhưng con người phải là người phê duyệt hoặc trực tiếp thực hiện trước khi bất kỳ thay đổi nào có hiệu lực. Một agent mới gần như luôn nên bắt đầu theo cách này - đây chính là nấc thấp nhất trong thang đo mức độ tự chủ đã đề cập ở Bài 3.

Ví dụ thực tế:

• Agent xử lý email → soạn thảo các phản hồi vào một thư mục; con người phê duyệt trước khi gửi đi.
• Agent xử lý dữ liệu → hiển thị các bản ghi dự kiến ​​thay đổi; con người phê duyệt trước khi cập nhật.
• Agent đăng bài → xếp hàng chờ cho các bài đăng trên mạng xã hội; con người phê duyệt trước khi bài viết được công khai.

Khi một agent đã chứng minh được độ tin cậy đối với một hành động cụ thể theo thời gian, bạn có thể cho phép agent đó tự thực hiện hành động (nếu hành động đó có thể đảo ngược) mà không cần qua bước phê duyệt. Tuy nhiên, đối với các hành động không thể đảo ngược - theo quy tắc về "hành động có khả năng gây hậu quả nghiêm trọng" - thì vẫn phải luôn duy trì bước phê duyệt.

Đảm bảo yêu cầu phê duyệt đủ rõ ràng và đáng đọc

Một checkpoint chỉ thực sự hiệu quả nếu con người thực sự xem xét nó. Cần tránh hai vấn đề sau:

1. Quá tải checkpoint. Nếu đặt chốt chặn cho mọi hành động, người phê duyệt sẽ trở nên mệt mỏi, ngừng đọc kỹ và chỉ phê duyệt theo thói quen (phê duyệt đại trà). Hãy tập trung các chốt chặn vào những hành động không thể đảo ngược và có rủi ro cao.
2. Cung cấp dữ liệu thô quá nhiều (gây quá tải thông tin). Nếu yêu cầu phê duyệt chỉ là một danh sách dài các nhật ký kỹ thuật, người phê duyệt sẽ không thể đánh giá được gì và cuối cùng chỉ biết nhấn "phê duyệt" cho xong. Một yêu cầu tốt cần rõ ràng, tập trung và giải thích được lý do - ví dụ: "Nhân viên muốn hoàn lại 240 USD cho khách hàng này vì yêu cầu hỗ trợ (ticket) ghi rõ đây là khoản thanh toán trùng lặp. Bạn chọn: Phê duyệt / Chỉnh sửa / Từ chối?"

Nguyên tắc cốt lõi: Hãy cung cấp cho con người một quyết định cần đưa ra, chứ không phải một bản nhật ký dữ liệu.

Có một dấu hiệu cảnh báo rõ ràng cho vấn đề này: Nếu người phê duyệt chấp thuận hơn ~93% số yêu cầu họ nhận được, thì có khả năng phần lớn các yêu cầu đó chỉ là "nhiễu" - những trường hợp ngoại lệ thực sự đã bị chôn vùi, và người phê duyệt đã vô tình chuyển sang trạng thái "phê duyệt máy móc" (chỉ biết nhấn đồng ý mà không thực sự xem xét). Một quy trình kiểm soát hiệu quả phải có những trường hợp bị từ chối hoặc cần chỉnh sửa. Nếu quy trình của bạn hầu như không bao giờ có các hành động này, có lẽ bạn đang đặt chốt kiểm soát ở những thao tác quá an toàn (không cần thiết phải kiểm soát).

Ví dụ minh họa nhanh

Một quản lý vận hành sử dụng một agent tự động để xử lý hóa đơn từ nhà cung cấp: Hệ thống sẽ đọc từng hóa đơn, đối chiếu với đơn đặt hàng và thực hiện thanh toán cho các hóa đơn đã được phê duyệt. Các chốt kiểm soát được thiết lập như sau:

• Đọc và đối chiếu hóa đơn → thao tác có thể đảo ngược, để hệ thống tự chạy.
• Đánh dấu các trường hợp không khớp → thao tác có thể đảo ngược, để hệ thống tự chạy (chỉ tạo ra một cảnh báo).
• Thanh toán hóa đơn → thao tác không thể đảo ngược (tiền đã được chuyển đi). Thiết lập chốt phê duyệt: hệ thống hiển thị thông tin "Hóa đơn #4471, trị giá 1.200 USD, khớp với PO #88, nhà cung cấp đã có trong hệ thống - phê duyệt thanh toán?" - một nhân sự cụ thể sẽ thực hiện phê duyệt.
• Đối với các khoản thanh toán trên 5.000 USD hoặc hóa đơn không có PO tương ứng → thiết lập chốt kiểm soát chặt chẽ hơn, chuyển lên cấp quản lý, tuyệt đối không tự động phê duyệt.

Một agent tự động, một nhân sự phụ trách, đặt đúng tại thời điểm dòng tiền dịch chuyển. Mọi quy trình khác đều diễn ra thông suốt.

Hãy thử ngay: Thiết lập các chốt kiểm soát của bạn

Hãy đóng vai trò là chuyên gia thiết kế checkpoint cho AI-agent của tôi. Tôi là một quản lý không chuyên về kỹ thuật. Hãy giúp tôi quyết định vị trí đặt các chốt kiểm soát cần sự phê duyệt của con người trong quy trình làm việc của một agent.

Agent và các bước thực hiện:
- Tổng quan về chức năng của agent: [một câu mô tả]
- Các bước thực hiện theo trình tự: [liệt kê từng hành động - ví dụ: "đọc hộp thư đến", "soạn thảo phản hồi", "gửi phản hồi", "ghi nhận yêu cầu đã được giải quyết"]

Đối với MỖI bước, hãy thực hiện các yêu cầu sau:
1. Xác định xem bước đó có thể đảo ngược hay không thể đảo ngược (khó hoặc không thể hoàn tác).
2. Cho biết bước đó có cần chốt phê duyệt của con người TRƯỚC khi thực hiện hay có thể tự động chạy.
3. Áp dụng quy tắc cho các hành động có tính chất "phá hủy" hoặc thay đổi vĩnh viễn: bất kỳ bước nào liên quan đến việc gửi, thanh toán, đăng tải, xóa, hủy hoặc công bố đều bắt buộc phải có chốt phê duyệt.

Sau đó:
- Đưa ra MỘT đề xuất về quy trình "soạn thảo trước khi thực hiện" cho bước có rủi ro cao nhất.
- Soạn thảo một câu yêu cầu phê duyệt cụ thể mà người đánh giá sẽ nhìn thấy (cần nêu rõ quyết định cần đưa ra và lý do - không phải là dữ liệu nhật ký thô).
- Cảnh báo nếu số lượng chốt phê duyệt quá nhiều (gây quá tải cho người đánh giá) hoặc quá ít.

Không cần lập trình. Hãy tập trung vào các chi tiết cụ thể của agent này.

Hãy liệt kê các bước của agent theo trình tự thực tế. Thứ tự này giúp xác định chính xác vị trí của các hành động không thể đảo ngược.

Kết quả bạn nhận được: Mỗi bước sẽ được gắn nhãn là "có thể đảo ngược" hoặc "không thể đảo ngược"; kèm theo chỉ dẫn "cần phê duyệt" hay "cho phép tự động chạy"; đề xuất quy trình "soạn thảo trước"; nội dung yêu cầu phê duyệt sẵn sàng để sử dụng; cùng với cảnh báo nếu thiết kế của bạn gây quá tải cho người đánh giá hoặc không đảm bảo đủ mức độ an toàn.

Cách sử dụng kết quả: Thêm chốt phê duyệt được đề xuất vào phần "checkpoint" trong kế hoạch giám sát (thuộc Bài 2). Giờ đây, bạn đã xác định được không chỉ "cần kiểm soát" mà còn là "kiểm soát ở đâu".

Nếu mọi bước đều bị yêu cầu phê duyệt, hãy phản hồi lại rằng: "Chỉ đặt chốt phê duyệt cho các hành động không thể đảo ngược hoặc có rủi ro cao - hãy để những bước có thể đảo ngược và rủi ro thấp tự động chạy, tránh gây quá tải cho người đánh giá". Nếu bỏ sót một bước không thể đảo ngược, hãy chỉ ra nó: "[Bước] gửi đến khách hàng - bước này phải được kiểm soát".

Những điểm chính cần ghi nhớ

• Quy tắc hành động phá hủy: Đừng bao giờ để một agent tự động thực hiện điều gì đó bạn không thể hoàn tác. Gửi, thanh toán, đăng bài, xóa, hủy bỏ - hãy kiểm soát chúng trước khi chúng chạy.
• Chế độ soạn thảo trước là mặc định an toàn, đặc biệt đối với một agent mới - nó chuẩn bị công việc; con người sẽ phê duyệt trước khi nó có hiệu lực.
• Đừng kiểm tra mọi thứ. Người đánh giá quá tải sẽ chỉ đóng dấu chấp thuận. Tập trung kiểm soát vào các thao tác không thể đảo ngược, có rủi ro cao.
• Hãy cung cấp cho người đánh giá một quyết định, chứ không phải một bản ghi. Một yêu cầu rõ ràng, tập trung và giải thích lý do tại sao mới là điều làm cho việc kiểm tra thực sự hiệu quả.
• Ghi đè, gián đoạn, vô hiệu hóa là tiêu chuẩn - được yêu cầu bởi Đạo luật AI của EU đối với các hệ thống rủi ro cao, và đáng để bạn tuân thủ bất kể điều gì.