Tự động hóa việc đánh giá agent bằng Power Platform API

Copilot Studio cung cấp cho người dùng các công cụ để liên tục đánh giá hiệu suất của agent bằng cách chạy những bài kiểm tra tự động dựa trên các bộ công cụ test được xác định trước bằng Power Platform REST API. Bằng cách sử dụng REST API, bạn có thể lập trình để kích hoạt việc đánh giá agent như một phần của quy trình phát triển, chẳng hạn như trong quá trình cập nhật agent, xác thực bản phát hành hoặc kiểm thử hồi quy.

Tự động hóa việc đánh giá giúp bạn:

• Xác thực chất lượng agent sau khi thực hiện thay đổi.
• Chạy các kiểm tra hiệu suất định kỳ đối với những agent trong môi trường sản xuất hoặc dàn dựng.
• Tích hợp kiểm thử agent vào các CI/CD pipeline.
• Phát hiện các lỗi hồi quy trong hành vi của agent ngay từ giai đoạn đầu của vòng đời phát triển.

Điều kiện tiên quyết

• Bạn có Bot ID và Environment ID cho agent mục tiêu.
• Một bộ công cụ test được tạo trong Copilot Studio cho agent mục tiêu của bạn.
• Một token truy cập người dùng do Microsoft Entra ID (OAuth 2.0) cấp.
  • Lấy token truy cập bằng cách sử dụng ID client của đăng ký ứng dụng có phạm vi phù hợp được cấp theo Power Platform API.

Tổng quan về việc chạy đánh giá bằng REST API

Để chạy đánh giá bằng Power Platform API, hãy làm theo các bước chung sau:

1. Hoàn thành các điều kiện tiên quyết.
2. Tìm và lấy ID bộ công cụ test mà bạn muốn sử dụng.
3. Chạy đánh giá.
4. Lấy kết quả bằng cách sử dụng ID lần chạy đánh giá.

Khi yêu cầu thành công, quá trình đánh giá sẽ chạy không đồng bộ và tạo ra kết quả mà bạn có thể xem lại trong Copilot Studio.

Các thao tác API để tự động hóa đánh giá

Copilot Studio hỗ trợ các thao tác REST API mà bạn có thể sử dụng để kích hoạt đánh giá theo chương trình đối với agent của mình bằng cách sử dụng một bộ công cụ test hiện có.

Cách lấy bộ công cụ test agent

• Endpoint: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
• Mục đích: Truy xuất một mảng các ID bộ công cụ test và những chi tiết khác cho một agent cụ thể.
• Phản hồi: Trả về một danh sách có tên là value của các bộ công cụ test với thông tin sau:
  
  • auditInfo: Dấu thời gian và ID người dùng để tạo và sửa đổi từng bộ công cụ test
  • displayName: Tên của bộ công cụ test.
  • id: ID của bộ công cụ test.
  • description: Mô tả của bộ công cụ test.
  • state: Trạng thái của bộ công cụ test. Một bộ công cụ test khả dụng có trạng thái Active.
  • totalTestCases: Số lượng trường hợp kiểm thử trong bộ công cụ test.

Lấy chi tiết bộ công cụ test agent

• Endpoint: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
• Mục đích: Truy xuất chi tiết cho một bộ công cụ test cụ thể, sử dụng ID bộ công cụ test.
• Phản hồi: Trả về thông tin của một mục trong mảng phản hồi

Bắt đầu đánh giá agent

• Endpoint: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
• Mục đích: Chạy đánh giá cho một bộ công cụ test bằng cách sử dụng ID của bộ công cụ test đó. Bạn cũng có thể bao gồm profile người dùng để xác thực kết nối trong quá trình chạy đánh giá. Sử dụng mcsConnectionId để chỉ định profile người dùng. Nếu bạn không thêm mcsConnectionId vào lệnh gọi của mình, quá trình đánh giá sẽ chạy mà không cần xác thực.
• Phản hồi: Trả về các thông tin sau:
  • runId: ID của lần chạy đánh giá. Sử dụng ID này để truy xuất chi tiết đánh giá.
  • lastUpdatedAt: Thời điểm cập nhật trạng thái lần chạy lần cuối.
  • executionState: Trạng thái của lần chạy trong khi quá trình đánh giá đang diễn ra.
  • state: Trạng thái hiện tại của lần chạy.
  • totalTestCases: Tổng số trường hợp kiểm thử trong bộ công cụ test được sử dụng để đánh giá.
  • testCasesProcessed: Tổng số trường hợp kiểm thử đã được đánh giá tính đến lần cập nhật cuối cùng.

Lấy thông tin các lần chạy kiểm thử của agent

• Endpoint: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
• Mục đích: Truy xuất một mảng tất cả các lần chạy trước đó.
• Phản hồi: Mỗi mục trong mảng bao gồm các giá trị giống như được tìm thấy trong Lấy thông tin chi tiết lần chạy kiểm thử của agent.

Lấy thông tin chi tiết về lần chạy thử nghiệm của agent

• Endpoint: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
• Mục đích: Truy xuất thông tin chi tiết của một lần đánh giá bằng cách sử dụng runId cho lần chạy đánh giá mục tiêu của bạn.
• Phản hồi: Trả về các thông tin sau:
  
  • id: ID của lần chạy đánh giá. Sử dụng ID này để truy xuất thông tin chi tiết đánh giá.
  • environmentId: ID của môi trường agent của bạn.
  • cdsBotId: ID của agent mục tiêu.
  • ownerId: ID của người dùng đã bắt đầu quá trình đánh giá.
  • testSetId: ID của bộ công cụ test được sử dụng để đánh giá.
  • state: Trạng thái tiến trình của quá trình đánh giá.
  • startTime: Thời điểm bắt đầu đánh giá.
  • endTime: Thời điểm kết thúc đánh giá, nếu có.
  • name: Tên của quá trình đánh giá.
  • totalTestCases: Tổng số trường hợp kiểm thử trong bộ công cụ test.
  • mcsConnectionId: ID kết nối Copilot Studio của profile người dùng được sử dụng cho quá trình đánh giá. Trả về null nếu không có profile người dùng nào được kết nối.
  • testCasesResults: Danh sách các trường hợp kiểm thử trong quá trình đánh giá. Bao gồm:
    • testCaseId: ID của trường hợp kiểm thử.
    • state: Trạng thái hoàn thành của trường hợp kiểm thử.
    • metricsResults: Chi tiết và kết quả cho từng phương thức kiểm thử được sử dụng cho trường hợp kiểm thử. Bao gồm:
      • type: Phương thức kiểm thử.
      • result: Kết quả cuối cùng của bài kiểm thử cho trường hợp kiểm thử này. Bao gồm:
        • data: Chi tiết của kết quả. Giá trị chính xác phụ thuộc vào phương thức kiểm thử. Tìm hiểu thêm trong tài liệu API của Power Platform. Đối với một bài kiểm tra chất lượng tổng quát, phản hồi bao gồm những điều sau:
          • abstention: agent có trả lời câu hỏi hay không.
          • relevance: Câu trả lời có liên quan hay không.
          • completeness: Câu trả lời có đầy đủ hay không.
      • status: Trạng thái của trường hợp kiểm thử.
      • errorReason: Nếu xảy ra lỗi, nguyên nhân của lỗi.
      • aiResultReason: Giải thích của AI về kết quả trường hợp kiểm thử.

Sử dụng Microsoft Studio Connector ID để đánh giá

Để bắt đầu đánh giá agent, bạn có thể tùy chọn thêm Microsoft Studio Connector ID vào lệnh gọi dưới dạng profile người dùng cho quá trình đánh giá. Để tìm mcsConnectionId của bạn:

1. Truy cập Power Automate.
2. Mở trang Connections.
3. Chọn kết nối Microsoft Copilot Studio.
4. Sao chép mcsConnectionId từ URL: .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details