Đánh giá hoạt động của agent trong Microsoft Copilot Studio

Việc tạo ra agent là một quá trình lặp đi lặp lại. Nó bao gồm việc hiểu cách các agent của bạn hoạt động, thực hiện những thay đổi và xem kết quả. Quá trình này giúp bạn xây dựng các agent tốt hơn. Tính năng theo dõi hoạt động của Copilot Studio cung cấp bản đồ trực quan về trình tự đầu vào, quyết định và đầu ra của agent trong một hoạt động để bạn có thể tìm ra các vấn đề và cơ hội cải thiện.

Bản đồ hoạt động (activity map) được tạo ra cho mỗi hoạt động. Một hoạt động bắt đầu khi một agent bắt đầu một cuộc hội thoại hoặc một sự kiện bên ngoài kích hoạt agent. Bản đồ biểu diễn mỗi hoạt động bằng một node.

Có hai hình thức theo dõi hoạt động:

• Bản đồ hoạt động thời gian thực về hiệu suất của agent trong quá trình thử nghiệm
• Bản đồ hoạt động lịch sử và bản ghi từ các hoạt động trước đó

Bản đồ hoạt động thời gian thực trong quá trình thử nghiệm

Khi bạn hỏi agent của mình một câu hỏi trong bảng Test your agent, bản đồ hoạt động sẽ hiển thị hình ảnh trực quan về kế hoạch mà agent đã tạo ra. Bản đồ hoạt động làm nổi bật các lỗi, chẳng hạn như thiếu hoặc những tham số đầu vào hoặc đầu ra không hợp lệ cho các hành động, và hiển thị thời gian thực hiện của mỗi bước. Bạn cũng có thể xác minh rằng thông tin mà agent của bạn đang gửi hoặc nhận là chính xác.

Để bản đồ hoạt động tự động xuất hiện khi bạn gửi truy vấn đến agent của mình trong bảng Test your agent, hãy chọn ba dấu chấm (…) và sau đó bật Show activity map when testing.

Ở đây, người dùng đã hỏi, "Thời tiết ở Toronto, Canada ngày mai sẽ như thế nào?" Bạn có thể thấy hành động mà agent đã chọn để trả lời, cũng như các đầu vào và đầu ra.

Kiểm tra trình kích hoạt sự kiện

Khi bạn kiểm tra trình kích hoạt sự kiện, cuộc trò chuyện kiểm tra sẽ hiển thị payload của trình kích hoạt dưới dạng một tin nhắn. Chỉ bạn mới có thể thấy tin nhắn này trong Copilot Studio cho mục đích kiểm tra. Người dùng agent của bạn không thể thấy nó. Sử dụng các tin nhắn payload để hiểu khi nào và thông tin cũng như hướng dẫn nào mà trình kích hoạt gửi đến agent của bạn.

Theo dõi giữa các chủ đề

Khi test agent của mình, bạn có thể theo dõi giữa các chủ đề. Khi bạn bật tính năng theo dõi, bản đồ hoạt động sẽ hiển thị các node bên trong chủ đề lúc chúng được thực thi khi một chủ đề được kích hoạt như một phần của kế hoạch. Bạn có thể theo dõi luồng hội thoại.

Xem các biến

Bạn có thể xem các biến được agent sử dụng trong quá trình kiểm thử. Các biến này có thể là biến toàn hệ thống, biến môi trường, biến hệ thống hoặc biến tùy chỉnh mà agent có quyền truy cập.

Để xem các biến:

1. Mở agent của bạn. Trang Overview sẽ xuất hiện.
2. Chọn Test để mở bảng Test your agent.
3. Trong bảng Test your agent, hãy bắt đầu một cuộc hội thoại với agent của bạn bằng cách nhập một truy vấn hoặc prompt.
4. Để xem các biến trong quá trình kiểm thử, hãy chọn Test > Variables. Bảng Variables sẽ mở ra hiển thị các biến được sử dụng trong quá trình kiểm thử.

Xem chuỗi suy nghĩ của agent trong cuộc trò chuyện thử nghiệm

Tính năng Chain of Thought (CoT) cung cấp thông tin chi tiết về quá trình suy luận của agent trong quá trình thử nghiệm. Nó hiển thị các bước trung gian, cân nhắc và quyết định mà agent đưa ra khi xử lý đầu vào và tạo ra đầu ra. Tính năng này hữu ích để hiểu các tương tác phức tạp và gỡ lỗi hành vi của agent.

Để xem chuỗi suy nghĩ hoặc quá trình suy luận của agent trong quá trình thử nghiệm, hãy làm theo các bước sau:

1. Mở agent của bạn. Trang Overview sẽ xuất hiện.
2. Chọn Test để mở bảng Test your agent.
3. Trong bảng Test your agent, hãy bắt đầu cuộc trò chuyện với agent bằng cách nhập một câu hỏi hoặc prompt.
4. Trước khi agent phản hồi, quá trình suy luận sẽ xuất hiện trong bảng Test your agent, hiển thị chuỗi suy nghĩ cho phản hồi của agent.

Lịch sử hoạt động

Mỗi khi agent bắt đầu một hoạt động, bao gồm cả các bài kiểm tra mà bạn khởi tạo trong Copilot Studio, trang Activity sẽ ghi lại hoạt động đó theo thời gian thực. Truy cập trang Activity để:

• Xem lại các tương tác và quyết định mà agent của bạn đã thực hiện trong một hoạt động.
• Tìm ra những trường hợp hành vi của agent không phù hợp với mục tiêu của bạn.
• Xem thời gian agent hoàn thành mỗi hoạt động.
• Tìm chi tiết lỗi.

Lịch sử hoạt động của agent có sẵn cho:

• Các tương tác trong cuộc trò chuyện thử nghiệm Copilot Studio
• Các agent được xuất bản lên những kênh Microsoft Teams và Microsoft 365 Copilot
• Các agent được xuất bản lên kênh SharePoint
• Các hoạt động bắt đầu bằng trình kích hoạt tự động

Xem lại các thông tin sau trên trang Activity:

• Danh sách các hoạt động và chi tiết của chúng.
• Quá trình hội thoại từng bước diễn ra trong một hoạt động.

Danh sách hoạt động

Hoạt động là một đơn vị tương tác của agent bao gồm hội thoại với người dùng, đăng ký và phản hồi các sự kiện, hoặc sự kết hợp của những hoạt động này.

Trong danh sách hoạt động, bạn có thể thấy:

• Name: Tên của người dùng tương tác với agent. Nếu hoạt động không liên quan đến người dùng, chẳng hạn như khi agent thực hiện các hành động mà không cần sự nhắc nhở của con người, người dùng sẽ hiển thị là Automated.
• Channels: Kênh là nơi diễn ra tương tác. Các hoạt động diễn ra trong bảng Test your agent sẽ có biểu tượng Copilot Studio.
• Date: Ngày bắt đầu tương tác đầu tiên của hoạt động.
• Completed steps: Số bước mà agent hoàn thành trong quá trình hoạt động.
• Last step: Bước cuối cùng được hoàn thành trong hoạt động.
• Status: Trạng thái của hoạt động (thành công, thất bại, đang thực hiện).

Tùy chỉnh chế độ xem bảng Activity

Bạn có thể tùy chỉnh chế độ xem bảng Activity để tập trung vào thông tin phù hợp nhất với mình.

Để tùy chỉnh chế độ xem bảng Activity:

1. Truy cập trang Activity của agent. Một danh sách các hoạt động sẽ xuất hiện.
2. Chọn Edit columns. Bảng Edit columns sẽ xuất hiện với danh sách các cột có sẵn.
3. Trong bảng Edit columns:
   • Chọn hộp kiểm bên cạnh tên các cột bạn muốn hiển thị.
   • Bỏ chọn hộp kiểm bên cạnh tên các cột bạn muốn ẩn.
   • Kéo và thả các cột vào vị trí bạn muốn hoặc sử dụng các mũi tên lên và xuống.
4. Chọn Save để xác nhận và cập nhật chế độ xem bảng Activity.

Xem cuộc hội thoại trong một hoạt động

Trên trang Activity, bạn có thể xem cuộc hội thoại trong một hoạt động dưới dạng bản đồ hoạt động trực quan hoặc cả bản ghi cuộc hội thoại và bản đồ hoạt động trực quan. Theo mặc định, chế độ xem Transcript + Map sẽ hiển thị.

1. Để xem một cuộc hội thoại trong một hoạt động, hãy chọn một hoạt động.

• Để xem bản ghi và bản đồ hoạt động cùng nhau, hãy chọn View và sau đó nhấn vào Transcript + Map view.
• Để chỉ xem bản đồ hoạt động, hãy chọn View rồi nhấp vào Map view.

2. Để quay lại danh sách hoạt động, hãy chọn biểu tượng  Back .

Transcript + Map view hiển thị cuộc hội thoại diễn ra với agent trong một hoạt động cùng với bản đồ hoạt động trực quan. Bản ghi ghi lại đầu vào của người dùng, payload kích hoạt và phản hồi của agent. Sử dụng bản ghi để xem cách agent của bạn phản hồi các cuộc hội thoại với người dùng. Bạn cũng có thể xem các thông báo payload kích hoạt mà agent của bạn nhận được từ những trình kích hoạt sự kiện.

Xem chuỗi suy nghĩ của agent

Tính năng Chain of Thought (CoT) cung cấp thông tin chi tiết về quá trình suy luận của agent trong một hoạt động. Nó hiển thị các bước trung gian, cân nhắc và quyết định được đưa ra bởi agent khi xử lý đầu vào và tạo ra đầu ra. Tính năng này hữu ích để hiểu các tương tác phức tạp và gỡ lỗi hành vi của agent. Bạn chỉ có thể xem chuỗi suy nghĩ của agent cho một hoạt động cụ thể trong chế độ xem Map.

Để xem chuỗi suy nghĩ hoặc lý luận của agent cho một hoạt động cụ thể:

1. Trong tab Activity, chọn hoạt động bạn muốn xem xét. Theo mặc định, Transcript + Map view sẽ được hiển thị.
2. Dưới bản đồ hoạt động, chọn mũi tên Reasoning. Chuỗi suy nghĩ của agent sẽ xuất hiện.

Ghim hoặc bỏ ghim hoạt động

Trên trang Activity, bạn có thể ghim các hoạt động quan trọng lên đầu danh sách hoạt động để dễ dàng truy cập hoặc bỏ ghim chúng khi không còn cần thiết nữa.

• Để ghim một hoạt động, di chuột qua hoạt động đó và chọn biểu tượng  Pin bên cạnh tên.
• Để bỏ ghim một hoạt động, di chuột qua hoạt động đã ghim và chọn biểu tượng  Unpin bên cạnh tên.

Xem tất cả hoạt động của agent trong bản đồ hoạt động

Map view là một biểu diễn trực quan về luồng đầu vào, quyết định và phản ứng xảy ra trong một hoạt động. Mỗi hoạt động mà agent của bạn, người dùng hoặc trình kích hoạt thực hiện đều có một node. Khi xem bản đồ hoạt động, chọn một node để xem chi tiết về đầu vào, quyết định và đầu ra cho hoạt động đó.

Hình ảnh sau đây là một ví dụ về những gì bạn thấy khi chọn một node Knowledge. Nó hiển thị:

• Truy vấn mà agent đã sử dụng để tìm kiếm các nguồn kiến ​​thức. Truy vấn này có thể khác với truy vấn do người dùng viết hoặc dữ liệu đầu vào được cung cấp bởi một trình kích hoạt.
• Phản hồi mà agent đã tạo dựa trên các nguồn kiến ​​thức.
• Các nguồn mà agent đã tham chiếu.
• Các nguồn khác mà agent đã tìm kiếm nhưng không sử dụng để tạo phản hồi. Agent đã tìm kiếm trong các nguồn này nhưng không tìm thấy thông tin liên quan đến truy vấn.

Trong ví dụ này, bạn có thể thấy chi tiết của một node hành động cho Get the forecast tomorrow hiển thị các đầu vào và đầu ra:

Chọn Edit để xem và thay đổi cấu hình liên quan đến hoạt động đã chọn.

Rationale

Rationale cung cấp lời giải thích về cách một agent quyết định gọi một công cụ cụ thể. AI tạo ra lý do theo yêu cầu, dựa trên siêu dữ liệu và hoạt động của agent. Rationale được hiển thị cho các nguồn kiến ​​thức hoặc connector có trạng thái Completed. Chọn Show rationale để hiển thị lý do.

Khi xem xét hoạt động của agent, hãy sử dụng Rationale để hiểu rõ hơn lý do tại sao agent chọn gọi một công cụ cụ thể hoặc điền vào các tham số. Nó giúp bạn khắc phục sự cố hành vi của agent. Tuy nhiên, vì AI tạo ra lý do, nên nó có thể không chính xác. Hãy sử dụng phán đoán tốt nhất của bạn khi xem xét lý do được cung cấp.

Trạng thái agent

Bảng sau cung cấp thông tin về các trạng thái khác nhau mà một agent có thể gặp phải trong quá trình hoạt động của nó:

Gửi phản hồi

Nếu bạn có đề xuất về cách cải thiện chất lượng agent, hãy gửi phản hồi bằng cách sử dụng biểu tượng Feedback trong tab Activity.