Câu hỏi dạng điểm số trong OpenAI Decisions API: Đánh giá dựa trên thang điểm do bạn tự xác định

Câu hỏi dạng lựa chọn trong Bài 3 được dùng cho các danh mục không có thứ tự. Tuy nhiên, các mức độ như "lỗi hình thức" (cosmetic), "có cách khắc phục tạm thời" (workaround available) hay "bị chặn hoàn toàn" (fully blocked) không phải là những lựa chọn; chúng tạo thành một thang đo. Câu hỏi dạng điểm số sẽ đánh giá một dữ liệu đầu vào dựa trên các cấp độ có thứ tự, từ đó trả về một con số có thể nằm giữa những bậc thang đó.

Quy định của OpenAI nêu rõ: "Hãy sử dụng dạng lựa chọn cho các danh mục không có thứ tự. Hãy sử dụng dạng điểm số cho các cấp độ có thứ tự, chẳng hạn như mức độ nghiêm trọng; hệ thống sẽ tính giá trị trung bình có trọng số xác suất dựa trên những chỉ số số học của các cấp độ đó để tạo ra một điểm số có thể nằm giữa những cấp độ".

Cấu trúc của một câu hỏi dạng điểm số

Ví dụ từ OpenAI đánh giá một báo cáo lỗi. Các cấp độ được sắp xếp từ thấp đến cao, kèm theo mô tả cụ thể cho từng cấp độ.

curl https://api.openai.com/v1/decisions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6-luna",
    "input": "Export fails in Safari but works in Chrome.",
    "questions": [{
      "type": "score",
      "name": "severity",
      "instructions": "How severe is this issue?",
      "levels": [
        {"label": "Cosmetic", "description": "Appearance only; no lost functionality."},
        {"label": "Workaround available", "description": "A task fails, but another way works."},
        {"label": "Fully blocked", "description": "A task fails with no workaround."}
      ]
    }]
  }'

Phản hồi minh họa:

{
  "answers": [{
    "type": "score",
    "name": "severity",
    "score": 1.1,
    "probabilities": [
      { "value": 0, "label": "Cosmetic", "probability": 0.1 },
      { "value": 1, "label": "Workaround available", "probability": 0.7 },
      { "value": 2, "label": "Fully blocked", "probability": 0.2 }
    ],
    "confidence": 0.55
  }]
}

Cách tính điểm

"Các chỉ số cấp độ bắt đầu từ 0", tài liệu hướng dẫn nêu rõ. Điểm số là giá trị trung bình có trọng số xác suất của các chỉ số đó:

0 × 0.1 + 1 × 0.7 + 2 × 0.2 = 1.1. Phần lớn trọng số nằm ở mục "có giải pháp thay thế", với xu hướng nghiêng về phía "bị chặn". Thông tin này thực sự hữu ích: cả 1.1 và 1.9 đều ở "mức 1", nhưng lại phản ánh những kịch bản rủi ro hoàn toàn khác nhau.

Hãy lưu ý đến độ tin cậy (confidence) là 0.55. Hướng dẫn không cung cấp công thức tính chỉ số này; đây là một ước tính riêng biệt đi kèm với phân phối xác suất. Bài học 5 sẽ giải thích cách xử lý thông số này.

Cạm bẫy: Giá trị trung bình có thể che giấu những rủi ro tiềm ẩn nghiêm trọng

Hãy tưởng tượng các mức phân loại ưu tiên gồm: Thông thường (0), Sớm (1), Khẩn cấp (2), với xác suất tương ứng là 0.5 / 0.1 / 0.4. Điểm số thu được là 0.9, có thể hiểu là "cao hơn mức Thông thường một chút". Tuy nhiên, mô hình lại gán xác suất 0.4 cho mức Khẩn cấp. Nếu "Khẩn cấp" đồng nghĩa với việc cần xử lý ngay trong ngày, thì một quy tắc như "chỉ hành động khi điểm số ≥ 1.5" sẽ bỏ sót trường hợp này.

Có hai cách khắc phục, nên áp dụng cả hai:

1. Hãy xem xét xác suất của từng mức độ thay vì chỉ nhìn vào điểm số tổng quát. Kết quả trả về cung cấp cả hai thông tin này đều có lý do của nó.
2. Xác định rõ ý nghĩa của các giá trị trung gian trước khi thiết lập quy tắc dựa trên chúng. Hướng dẫn của OpenAI nêu rằng điểm số "tóm tắt phân phối trên các mức độ. Hãy sử dụng choice để xác định một danh mục cụ thể". Nếu bạn cần một phân loại dứt khoát, hãy chỉ rõ điều đó và sử dụng lựa chọn.

Quy tắc thiết kế: Các mức độ liền kề cần có tiêu chí phân biệt rõ ràng

OpenAI khuyến nghị: "Hãy định nghĩa các mức điểm sao cho các mức liền kề có tiêu chí phân biệt rõ ràng". Ba mức độ mà OpenAI sử dụng là một ví dụ tốt, vì mỗi mức đều có ranh giới quan sát được: Không mất chức năng → mất chức năng nhưng vẫn có giải pháp thay thế → mất chức năng và không có giải pháp thay thế. Các khái niệm như "nhỏ / hơi nhỏ / khá nhỏ / lớn" không có ranh giới rõ ràng, dẫn đến việc xác suất bị mờ đi và điểm số bị sai lệch.

Một bài kiểm tra đơn giản: Liệu một đồng nghiệp, chỉ đọc các mô tả, có thể xếp một ví dụ thực tế vào đúng một cấp độ duy nhất hay không? Nếu một ví dụ có thể phù hợp với cả hai cấp độ, hãy gộp chúng lại hoặc điều chỉnh lại cách diễn đạt cho rõ ràng hơn.

Quyết định dùng Lựa chọn hay Điểm số?

Thử nghiệm: Xây dựng thang đánh giá với các cấp độ riêng biệt

Cách thực hiện: Mở ChatGPT, Claude hoặc Gemini trong một cuộc trò chuyện mới.

Cách sao chép: Nhấn Cmd+A rồi Cmd+C (trên Mac) hoặc Ctrl+A rồi Ctrl+C (trên Windows) bên trong khung văn bản.

Hãy giúp tôi thiết kế một câu hỏi dạng "chấm điểm" cho Decisions API của OpenAI. API này
sử dụng các cấp độ được sắp xếp theo thứ tự (bắt đầu từ cấp thấp nhất, chỉ số từ 0 trở lên),
trả về xác suất cho mỗi cấp độ cùng với một điểm số (là giá trị trung bình của các chỉ số
được tính theo trọng số xác suất). Quy định của OpenAI: các cấp độ liền kề phải có
các tiêu chí riêng biệt, có thể quan sát được.

Đối tượng tôi cần đánh giá: [ví dụ: các báo cáo lỗi mới gửi đến / tin nhắn từ bệnh nhân / ghi chú rủi ro về nhà cung cấp]
Các cấp độ tôi hiện đang sử dụng (theo thứ tự): [ví dụ: thấp, trung bình, cao]
Cấp độ mà nếu bỏ sót sẽ gây hậu quả nghiêm trọng nhất: [ví dụ: "khẩn cấp"]

Hãy cung cấp cho tôi:
1. Danh sách các cấp độ dưới dạng JSON (từ 3 đến 5 mục): mỗi mục gồm một "nhãn" ngắn gọn và một
   "mô tả" gói gọn trong một dòng, nêu rõ ranh giới có thể quan sát được. Hãy viết lại bất kỳ hai cấp độ liền kề nào
   mà một đồng nghiệp có thể khó phân biệt được với nhau.
2. Với ba ví dụ đầu vào (một trường hợp rõ ràng ở mức thấp, một trường hợp nằm ở ranh giới, và một trường hợp rõ ràng ở mức cao):
   hãy đưa ra xác suất dự kiến ​​cho từng cấp độ và điểm số tương ứng (đã được tính toán).
3. Một quy tắc dựa trên xác suất của cấp độ "nghiêm trọng" nêu trên (thay vì chỉ dựa vào điểm số tổng),
   kèm theo ngưỡng mà bạn đề xuất để bắt đầu thử nghiệm.

Kết quả bạn nhận được: Danh sách các cấp độ định dạng JSON, các bước tính toán điểm số, và một quy tắc kiểm soát rủi ro cực đoan.

Cách sử dụng kết quả: Thêm nó vào Bảng thông số quyết định (Decision Spec Sheet) của bạn. Hãy tự kiểm tra lại các phép tính trên một trong ba ví dụ đã nêu.

Nếu kết quả chưa phù hợp: Nếu các cấp độ vẫn còn mơ hồ hoặc khó phân biệt, hãy phản hồi: "Hãy bổ sung cho mỗi cấp độ một tiêu chí kiểm tra có thể quan sát được, mà một người có thể thực hiện trong vòng 10 giây".

Những điểm chính cần ghi nhớ

• Điểm số = các cấp độ được sắp xếp theo thứ tự + giá trị trung bình có trọng số xác suất của các chỉ số; thang điểm bắt đầu từ 0. Ví dụ trong hướng dẫn: 0.1/0.7/0.2 → 1.1.
• Hãy xem xét cả xác suất của từng cấp độ. Giá trị trung bình có thể ẩn nhiều thông tin quan trọng, gây hậy quả tốn kém nhất.
• Các cấp độ liền kề cần có những tiêu chí riêng biệt, có thể quan sát được; nếu không, điểm số sẽ bị chệch hướng.
• Hãy sử dụng phương pháp chọn một nhãn duy nhất khi bạn cần một kết quả dứt khoát; hãy sử dụng điểm số khi việc thể hiện trạng thái "nằm giữa" mang lại thông tin hữu ích.