Cách đánh giá để quyết định có nên giữ lại một AI agent không

Câu hỏi mà sếp của bạn sẽ đặt ra

Bạn đã xây dựng được một bộ công cụ hoàn chỉnh - bao gồm kế hoạch giám sát (Bài 2), quyết định phân quyền (Bài 3), các chốt phê duyệt (Bài 4), quy trình rà soát để phát hiện lỗi tiềm ẩn (Bài 5), cẩm nang xử lý sự cố với người chịu trách nhiệm cụ thể (Bài 6), và chính sách dành cho nhóm (Bài 7). Bài học cuối cùng này sẽ giải đáp một câu hỏi thực tế, gai góc, đồng thời kết nối tất cả các thành phần trên thành một hệ thống thống nhất: Liệu agent này có thực sự xứng đáng để tiếp tục duy trì hay không?

Đây là câu hỏi mà nhiều nhà quản lý nên đặt ra hơn. Một nghiên cứu của MIT trên hơn 300 dự án triển khai (báo cáo *The GenAI Divide*, 2025) cho thấy 95% các dự án thí điểm Generative AI trong doanh nghiệp không mang lại lợi ích tài chính đo lường được. Gartner cũng dự báo rằng hơn 40% các dự án Agentic AI sẽ bị hủy bỏ trước cuối năm 2027 - không phải vì công nghệ thất bại, mà do giá trị không rõ ràng, chi phí vượt ngân sách và cơ chế kiểm soát yếu kém. Việc quyết định loại bỏ một agent hoạt động kém hiệu quả không phải là thất bại; đó chính là sự giám sát đúng đắn - và đây cũng là yếu tố phân biệt giữa nhóm 5% đạt được giá trị thực tế với nhóm 95% còn lại. Bài học này cung cấp cho bạn một bảng đánh giá đơn giản, giúp bạn đưa ra quyết định dựa trên bằng chứng thay vì chỉ dựa vào cảm tính.

Sau khi hoàn thành bài học này, bạn sẽ có thể:

• Đo lường giá trị và chi phí thực tế của một agent, từ đó đưa ra quyết định giữ lại hoặc loại bỏ.
• Xây dựng hệ thống giám sát agent hoàn chỉnh của riêng bạn.

Bảng đánh giá agent

Bạn không thể quản lý những gì bạn không đo lường được, và nhận định kiểu "có vẻ hữu ích" thì không được coi là một thước đo. Hãy đánh giá một agent dựa trên 5 tiêu chí - 3 tiêu chí về giá trị và 2 tiêu chí về chi phí.

Hai cái bẫy cần đặc biệt lưu ý:

• Năng suất ảo. "Thời gian tiết kiệm được" chỉ thực sự có ý nghĩa nếu nó gắn liền với một kết quả cụ thể. Nếu một agent giúp tiết kiệm được một giờ, nhưng khoảng thời gian đó lại trôi qua vô ích - nghĩa là không có công việc giá trị nào khác được thực hiện trong khoảng thời gian đó - thì đó không phải là lợi tức đầu tư (ROI). Hãy đo lường kết quả thực tế, thay vì chỉ dựa vào cảm giác "làm việc nhanh hơn".
• Chi phí bị bỏ quên. Chi phí dễ thấy nhất là phí đăng ký dịch vụ. Chi phí ẩn nằm ở thời gian con người phải bỏ ra để kiểm tra, phê duyệt hoặc chỉnh sửa lại kết quả từ agent đó. Nếu một agent giúp tiết kiệm một giờ nhưng lại tiêu tốn 90 phút của con người để giám sát, thì thực chất nó đang gây tốn kém cho bạn. Đừng bao giờ bỏ qua thời gian dành cho việc kiểm tra.

Cách tính toán đơn giản: (Giá trị mà agent mang lại) trừ đi (chi phí trực tiếp + thời gian giám sát cần thiết). Nếu kết quả là một con số dương rõ rệt và agent luôn vượt qua các chốt kiểm soát một cách ổn định, hãy tiếp tục sử dụng. Nếu không, hãy hành động.

Quyết định: Giữ lại hay loại bỏ một AI agent?

Đây không phải là lựa chọn kiểu "được ăn cả, ngã về không". Bạn có thể cân nhắc các phương án sau:

1. Giữ nguyên - nếu nó mang lại giá trị dương rõ rệt, vượt qua các chốt kiểm soát một cách ổn định và không gây ra các sự cố nguy hiểm.
2. Siết chặt và đo lường lại - nếu giá trị là có thật nhưng thiếu cơ chế kiểm soát hoặc tỷ lệ lỗi đang có xu hướng tăng. Hãy chuyển sang quy trình "tạo bản nháp trước", bổ sung chốt kiểm soát còn thiếu hoặc thu hẹp phạm vi công việc, sau đó đo lường lại. Đây thường là giải pháp tối ưu nhất.
3. Thu hẹp phạm vi - nếu nó thực hiện tốt một phần công việc nhưng lại không ổn định ở các phần khác. Hãy giữ lại phần an toàn và thu hồi các phần tiềm ẩn rủi ro.
4. Loại bỏ - nếu nó không thể vượt qua các chốt kiểm soát một cách ổn định; HOẶC nếu chi phí thực tế (bao gồm cả thời gian giám sát) lớn hơn giá trị mang lại; HOẶC nếu nó từng gây ra sự cố nghiêm trọng mà các biện pháp kiểm soát hiện tại không thể ngăn chặn tái diễn.

Bạn sẽ loại bỏ một agent ở bước 4 - chứ không phải ngay khi vừa xuất hiện rủi ro (đó là nhiệm vụ của bước 2). Quyết định cuối cùng nên dựa trên bảng điểm và lịch sử sự cố, thay vì dựa trên sự hào hứng hay nỗi sợ hãi.

Bài tập tổng kết: Đánh giá một agent và xây dựng hệ thống giám sát

Đã đến lúc tổng hợp mọi thứ cho một agent thực tế - lý tưởng nhất là agent mà bạn đã theo dõi xuyên suốt khóa học này. Đây chính là sản phẩm hoàn thiện trong hồ sơ năng lực của bạn.

Hãy đóng vai kiểm toán viên giám sát agent cho tôi. Tôi là một quản lý không chuyên về kỹ thuật. Hãy giúp tôi (1) đánh giá một agent để đưa ra quyết định giữ lại hoặc loại bỏ, và (2) xây dựng hệ thống giám sát hoàn chỉnh cho agent đó.

Thông tin về agent:
- Chức năng: [một câu mô tả]
- Ước tính thời gian tiết kiệm được cho con người mỗi tuần: [con số ước tính]
- Ước tính thời gian con người phải bỏ ra để xem xét/phê duyệt/sửa lỗi mỗi tuần: [con số ước tính]
- Chi phí trực tiếp (phí đăng ký + phí sử dụng): [con số ước tính hoặc "không rõ"]
- Các lỗi hoặc sự cố đã xảy ra: [mô tả chi tiết, hoặc ghi "chưa có"]

PHẦN 1 - BẢNG ĐIỂM:
- Đánh giá agent dựa trên các tiêu chí: thời gian tiết kiệm được (thực tế), tỷ lệ lỗi, kết quả/chất lượng, chi phí trực tiếp và chi phí giám sát. Hãy chỉ ra bất kỳ "năng suất ảo" nào trong ước tính thời gian tiết kiệm được của tôi.
- Tính toán giá trị ròng (giá trị mang lại trừ đi chi phí trực tiếp và thời gian giám sát) rồi đưa ra quyết định giữ lại hoặc loại bỏ dựa trên các cấp độ sau: giữ nguyên / thắt chặt và đo lường lại / thu hẹp phạm vi hoạt động / loại bỏ.
- Giải trình cho quyết định đó bằng ngôn ngữ đơn giản, dễ hiểu mà cấp trên có thể chấp nhận được. 

PHẦN 2 - LẮP RÁP HỆ THỐNG (tổng hợp những gì đã xây dựng trong suốt khóa học):
- CÔNG VIỆC + GIỚI HẠN (kế hoạch giám sát)
- QUY TRÌNH PHÂN CÔNG (agent / agent soạn thảo - con người phê duyệt / con người dẫn dắt) và thang bậc tự chủ
- CÁC CHECKPOINT / cổng phê duyệt cho các hành động không thể đảo ngược
- QUY TRÌNH ĐÁNH GIÁ lỗi âm thầm (những gì tôi kiểm tra, nhanh chóng)
- SỔ TAY XỬ LÝ SỰ CỐ + người chịu trách nhiệm được chỉ định + công tắc dừng khẩn cấp
- CHÍNH SÁCH (dữ liệu/hành động nào bị cấm)

Xuất ra một "Hệ thống Giám sát Agent" duy nhất một trang mà tôi có thể đưa cho nhóm của mình, kết thúc bằng
phán quyết giữ lại hay loại bỏ và một điều cần cải thiện tiếp theo.

Không cần code lập trình. Ngôn ngữ đơn giản.

Cách điền thông tin: Hãy sử dụng các ước tính thực tế của bạn - ngay cả khi chỉ là con số ước chừng. Những con số trung thực, bao gồm cả thời gian dành cho việc giám sát, chính là yếu tố tạo nên độ tin cậy cho kết luận cuối cùng.

Kết quả nhận được: Một agent được chấm điểm kèm theo kết luận rõ ràng về việc "giữ lại" hay "loại bỏ" - một quyết định mà bạn có thể giải trình với ban lãnh đạo. Ngoài ra, bạn còn có một hệ thống giám sát gói gọn trong một trang, tổng hợp tất cả các thành phần mà bạn đã xây dựng qua 8 bài học.

Cách sử dụng kết quả: Tài liệu một trang này chính là sản phẩm tổng kết cuối cùng của bạn. Hãy lưu lại, chia sẻ với đội ngũ và sử dụng nó làm khuôn mẫu cho bất kỳ agent nào khác mà bạn được giao quản lý sau này. Giờ đây, bạn có thể giám sát các agent dựa trên một hệ thống bài bản thay vì chỉ dựa vào cảm tính.

Nếu kết quả chưa hợp lý: Nếu kết luận bỏ qua thời gian giám sát, hãy yêu cầu: "Tính toán lại hiệu quả thực tế bằng cách coi thời gian con người dành cho việc kiểm tra/chỉnh sửa là một chi phí thực sự". Nếu hệ thống còn mơ hồ, hãy yêu cầu điều chỉnh để mỗi phần trở nên cụ thể hơn đối với agent đó.

Những điểm chính cần lưu ý

• Hãy đo lường trước khi đưa ra đánh giá. Cân nhắc thời gian tiết kiệm được (thực tế), tỷ lệ sai sót và kết quả đầu ra so với chi phí trực tiếp cùng thời gian dành cho việc giám sát.
• Cần cảnh giác với hai cái bẫy: năng suất ảo (thời gian tiết kiệm được nhưng không mang lại giá trị thực tế) và chi phí bị lãng quên (thời gian tiêu tốn để xem xét hoặc sửa lỗi do agent gây ra).
• Quyết định "giữ lại hay loại bỏ" giống như một thang đo hơn là một công tắc bật/tắt: bạn có thể chọn giữ nguyên, thắt chặt kiểm soát rồi đo lường lại, thu hẹp phạm vi hoạt động, hoặc loại bỏ hoàn toàn. Hãy loại bỏ khi các biện pháp kiểm soát không đảm bảo được sự an toàn, hoặc khi chi phí thực tế vượt xa giá trị mà agent mang lại.
• Việc loại bỏ một agent cũng chính là một hình thức giám sát hiệu quả - Gartner dự báo rằng đến năm 2027, hơn 40% các dự án liên quan đến agent sẽ bị hủy bỏ chính vì những lý do này.
• Giờ đây, bạn đã có trong tay một hệ thống hoàn chỉnh - bao gồm kế hoạch, quy trình ủy quyền, các chốt kiểm soát, đánh giá, quy trình xử lý sự cố, chính sách và bảng điểm. Đây chính là cẩm nang dành cho người quản lý trong việc giám sát các agent.

Bạn bắt đầu công việc này mà không hề có bản mô tả công việc cụ thể - phải giám sát các agent do người khác xây dựng. Giờ đây, bạn đã có một hệ thống để thực hiện nhiệm vụ đó: Bạn có thể quyết định những gì cần ủy quyền, đặt con người vào đúng vị trí quan trọng, phát hiện các kết quả dù trông có vẻ tự tin nhưng lại sai lệch, xử lý sự cố một cách bình tĩnh, thiết lập những quy tắc cho đội ngũ và sử dụng bảng điểm để chứng minh liệu một agent có thực sự mang lại giá trị xứng đáng hay không. Đây là một kỹ năng cực kỳ khan hiếm vào năm 2026 - khi mà hầu hết các nhà quản lý khác vẫn đang phải làm việc trong tình trạng thiếu định hướng rõ ràng.