Các cổng kiểm soát chất lượng, ngữ cảnh và xử lý lỗi trong chuỗi prompt

Khi chuỗi prompt gặp trục trặc

Bạn đã học được 5 mẫu workflow trong bài học trước. Chúng trông thanh lịch trên giấy. Nhưng trên thực tế, các chuỗi có một vấn đề mà những prompt đơn lẻ không gặp phải: Lỗi dây truyền.

Nếu Bước 1 phân loại sai thông báo của khách hàng là "thanh toán" trong khi đó thực sự là một vấn đề kỹ thuật thì Bước 2 sẽ soạn thảo phản hồi thanh toán và Bước 3 sẽ "đánh bóng" phản hồi thanh toán đó một cách đẹp mắt. Mọi bước đều được thực hiện hoàn hảo - nhưng kết quả đầu ra cuối cùng hoàn toàn sai vì Bước 1 đã thực hiện một lệnh gọi sai.

Đây là một sự cố dây truyền. Và đó là lý do số một khiến chuỗi tạo ra những kết quả khủng khiếp trong thế giới thực. Cách khắc phục không phải là viết prompt tốt hơn ở mỗi bước. Đó là việc xây dựng quy trình kiểm tra giữa các bước.

Cổng kiểm soát chất lượng: Tường lửa lỗi của bạn

Cổng kiểm soát chất lượng là checkpoint giữa các bước trong chuỗi. Trước khi chuyển đầu ra về phía trước, bạn xác minh rằng nó đáp ứng các tiêu chí cơ bản. Nếu không thành công, bạn thử lại bước đó hoặc gắn cờ để xem xét.

Các loại cổng kiểm soát chất lượng

Cấu trúc kiểm tra cổng định dạng:

• Đầu ra có chứa các phần dự kiến không?
• Có nằm trong giới hạn từ/token không?
• Nó có tuân theo định dạng được yêu cầu (JSON, danh sách, bảng) không?

Nội dung kiểm tra cổng nội dung:

• Trích xuất có chứa ít nhất N mục không?
• Các trường bắt buộc (như ngày, tên, số tiền) có hiện diện không?
• Phân loại có phải là một trong những danh mục được phép không?

Logic kiểm tra cổng thống nhất:

• Các số có cộng lại không?
• Có mâu thuẫn giữa các hạng mục không?
• Đầu ra có phù hợp với ngữ cảnh của đầu vào không?

Triển khai cổng không cần code

Bạn không cần lập trình để sử dụng cổng kiểm soát chất lượng. Thêm prompt xác minh giữa các bước:

Sau Bước 1 (trích xuất):

Xem lại dữ liệu được trích xuất này. Kiểm tra: 

1. Có ít nhất 3 mục hành động được liệt kê không? 
2. Mỗi mục hành động có được chỉ định chủ sở hữu không? 
3. Tất cả các ngày đều ở định dạng YYYY-MM-DD phải không?

Nếu BẤT KỲ kiểm tra nào không thành công, hãy liệt kê những gì còn thiếu. Nếu tất cả đều đạt, hãy trả lời bằng 'PASS' và dữ liệu gốc không thay đổi.

Nếu cổng trả về bất kỳ thông tin nào khác ngoài "PASS", bạn biết rằng Bước 1 cần thử lại. Quá trình này mất 30 giây và tránh xảy ra lỗi theo tầng khiến bạn lãng phí thời gian để sửa kết quả đầu ra cuối cùng.

Quản lý ngữ cảnh: Mỗi bước cần biết những gì?

Đây là một điểm tinh tế khiến hầu hết mọi người đều bối rối khi xây dựng chuỗi: bạn chuyển bao nhiêu ngữ cảnh giữa các bước?

Ba cách tiếp cận

Tích lũy đầy đủ - Mỗi bước nhận được tất cả kết quả đầu ra từ tất cả các bước trước đó.

• Ưu điểm: Không bao giờ bị mất thông tin
• Nhược điểm: Cửa sổ ngữ cảnh đầy nhanh và AI bị phân tâm bởi thông tin cũ không liên quan
• Sử dụng cho: Chuỗi ngắn (2-3 bước) nơi mọi thứ đều có liên quan

Cửa sổ trượt - Mỗi bước chỉ nhìn thấy kết quả của bước trước đó.

• Ưu điểm: Sử dụng ngữ cảnh tập trung, hiệu quả
• Nhược điểm: Các bước sau mất quyền truy cập vào thông tin ở bước đầu
• Sử dụng cho: Nhiệm vụ kiểu quy trình trong đó mỗi bước biến đổi dữ liệu (thô → làm sạch → phân tích → định dạng)

Ngữ cảnh có chọn lọc - Bạn chọn thủ công những gì mỗi bước nhận được từ tất cả các bước trước đó.

• Ưu điểm: Mỗi bước nhận được chính xác những gì nó cần
• Nhược điểm: Bạn phải suy nghĩ trước về yêu cầu của từng bước
• Sử dụng cho: Chuỗi phức tạp trong đó các bước cần thông tin từ những bước không liền kề

Một ví dụ thực tế

Hãy tưởng tượng chuỗi nội dung gồm 4 bước:

1. Nghiên cứu: đưa ra danh sách 10 sự kiện kèm theo nguồn
2. Dàn ý: tạo cấu trúc sử dụng các sự kiện đó
3. Bản nháp: viết toàn bộ bài viết từ dàn ý 4
4. Chỉnh sửa: trau chuốt bản nháp

Với cửa sổ trượt, Bước 4 (Chỉnh sửa) chỉ nhìn thấy bản nháp từ Bước 3. Điều đó thường ổn - không cần nghiên cứu thô.

Nhưng điều gì sẽ xảy ra nếu Bước 4 xác minh rằng các thông tin chính từ Bước 1 được trình bày chính xác trong bản dự thảo? Sau đó, bạn cần ngữ cảnh chọn lọc: chuyển bản nháp của Bước 3 cộng với danh sách dữ kiện của Bước 1 sang Bước 4.

Câu hỏi đặt ra là: "Bước này cần làm gì để thực hiện công việc của nó? Nó có cần bất cứ điều gì từ các bước khác ngoài bước ngay trước nó không?"

Các mẫu xử lý lỗi

Ngay cả với cổng kiểm soát chất lượng, mọi thứ vẫn không ổn. Đây là cách để xử lý nó.

Mẫu 1: Thử lại với phản hồi

Khi một bước không đạt cổng kiểm soát chất lượng, hãy đưa lý do thất bại trở lại bước tương tự.

Đầu ra prompt ban đầu: Việc trích xuất các mục hành động bị bỏ lỡ.

Prompt thử lại:

Bản trích xuất trước của bạn đã bỏ sót các mục hành động quan trọng. Đây là bản ghi gốc. Lần này, hãy tìm cụ thể: - Bất kỳ câu nào có chứa 'sẽl', 'nên' 'cần phải' hoặc 'trước [ngày]' - Bất kỳ nhiệm vụ nào được giao ngay cả khi diễn đạt không chính thức ('bạn có thể xử lý việc này không?')

[bản gốc]

Phản hồi giúp việc thử lại có mục tiêu hơn là chỉ chạy lại cùng một prompt.

Mẫu 2: Prompt dự phòng

Nếu một bước không thành công hai lần, hãy chuyển sang phiên bản prompt đơn giản hơn.

Prompt chính: 

Phân loại văn bản này thành một trong 12 danh mục: [danh sách]

Prompt dự phòng:

Văn bản này nói về (a) một vấn đề, (b) một yêu cầu hay (c) thông tin chung?

Prompt dự phòng hy sinh độ chính xác để có được độ tin cậy. Phân loại sơ bộ thành công sẽ tốt hơn phân loại chi tiết nhưng thất bại.

Mẫu 3: Hạ cấp một chút

Không phải mọi bước đều quan trọng. Đánh dấu các bước là "bắt buộc" hoặc "tùy chọn" và xử lý lỗi tương ứng.

• Các bước bắt buộc: Nếu trích xuất không thành công, hãy dừng chuỗi. Bạn không thể phân tích dữ liệu mà bạn không có.
• Các bước tùy chọn: Nếu bước "đề xuất cải tiến" không thành công, hãy bỏ qua bước đó và tiếp tục với kết quả hiện có. Chuỗi vẫn tạo ra kết quả hữu ích - chỉ cần không có phần thưởng đó.

Điều này phản ánh cách thức hoạt động quy trình làm việc của con người. Thiếu bản tóm tắt điều hành không làm mất hiệu lực của toàn bộ báo cáo. Nhưng thiếu dữ liệu thì có.

Một chuỗi hoàn chỉnh với các cổng và xử lý lỗi

Đây là hình thức của một chuỗi chất lượng sản xuất - ví dụ về bản ghi cuộc họp từ Bài học 3, đã được nâng cấp:

Bước 1: Trích xuất

Trích xuất các mục hành động, quyết định và những vấn đề chưa được giải quyết từ bảng ghi này...

Cổng 1: "Xác minh: ít nhất 1 mục hành động, ít nhất 1 quyết định. Tất cả các mục hành động đều có chủ sở hữu. Trả lời PASS hoặc liệt kê thất bại". - Nếu thất bại → Thử lại Bước 1 với phản hồi cụ thể - Nếu thất bại hai lần → Dự phòng: "Liệt kê mọi nhiệm vụ hoặc cam kết được đề cập, bất kể định dạng"

Bước 2: Phân tích

Phân tích các mục được trích xuất này..." [nhận đầu ra Bước 1]

Cổng 2: "Xác minh: không có mâu thuẫn giữa các quyết định và hạng mục hành động. Xếp hạng khẩn cấp được gán cho tất cả các vấn đề. Trả lời PASS hoặc liệt kê thất bại". - Nếu thất bại → Thử lại Bước 2 với phần mâu thuẫn được đánh dấu

Bước 3: Định dạng

"Tạo bản tóm tắt chuyên nghiệp..." [nhận kết quả Bước 2 + thông tin chính từ Bước 1 để kiểm tra chéo]

Cổng 3: "Xác minh: có tất cả các phần, tổng độ dài dưới 500 từ, mọi mục hành động từ Bước 1 đều xuất hiện trong đầu ra được định dạng." - Nếu thất bại → Thử lại Bước 3 với các mục còn thiếu được liệt kê

Chuỗi này có 3 điểm kiểm tra chất lượng, logic thử lại và dự phòng. Nó mất nhiều thời gian hơn phiên bản cơ bản của Bài 3 - nhưng nó mang lại kết quả đáng tin cậy chứ không chỉ là kết quả may mắn.

Thử ngay: Đặt một cổng kiểm soát chất lượng giữa hai bước

Thực hiện chuỗi 3 bước hiện có của bạn (từ Bài học 3 hoặc Bài học 4) và thêm cổng xác thực. Mở ChatGPT, Claude hoặc Gemini. Sau đầu ra của Bước 1, hãy gửi thông tin này TRƯỚC KHI dán đầu ra của Bước 1 vào Bước 2.

Sao chép prompt này: 

Bạn là cổng kiểm soát chất lượng cho chuỗi prompt. KHÔNG chuyển đổi hoặc cải thiện dữ liệu. Chỉ xác minh nó dựa trên danh sách kiểm tra và trả về PASS hoặc FAIL.

Danh sách kiểm tra (tất cả phải đúng với PASS):
1. [Liệt kê cấu trúc tối thiểu bạn cần — ví dụ: "ít nhất 3 mục được trích xuất"]
2. [Các trường bắt buộc — ví dụ: "mọi mục hành động đều có chủ sở hữu và thời hạn (hoặc được đánh dấu rõ ràng là 'chưa được chỉ định')"]
3. [Quy tắc định dạng — ví dụ: "tất cả các ngày ở định dạng ISO YYYY-MM-DD, không phải 'Thứ Sáu'"]
4. [Nội dung rõ ràng - ví dụ: "không có mục nào mâu thuẫn với mục khác"]
5. [Quy tắc về độ dài — ví dụ: "đầu ra dưới 800 từ"]

Đầu vào để xác thực:
"""
[DÁN ĐẦU RA CỦA BƯỚC 1]
"""

Xuất CHÍNH XÁC định dạng này:
KẾT LUẬN: PASS hoặc FAIL
NẾU FAIL, DANH SÁCH:
- [mục kiểm tra # thất bại]: [có chuyện gì vậy, một câu ngắn gọn]
- ...
ƯỚC TÍNH TỶ LỆ ĐẠT: [độ tin cậy cao/trung bình/thấp - người đánh giá chặt chẽ hơn có gắn cờ điều gì khác không?]

Không đề xuất sửa lỗi. Đó không phải là công việc của bạn. Chỉ cần phán quyết + thất bại.

Cách điền thông tin chi tiết của bạn: Thay thế từng [] và phần giữ chỗ trong ngoặc bằng thông tin cụ thể từ tình huống thực tế của bạn. Đầu vào mơ hồ tạo ra đầu ra mơ hồ - hãy cụ thể.

Những gì bạn sẽ thấy: PASS/FAIL rõ ràng. Nếu FAIL, một danh sách cụ thể về những gì đã bị hỏng. Bây giờ bạn có thể thử lại Bước 1 với danh sách lỗi, HOẶC chuyển sang con người, HOẶC chạy prompt dự phòng.

Việc cần làm với kết quả đầu ra: Lưu phản hồi vào file Notes. Chọn một đề xuất có đòn bẩy cao nhất và thực hiện nó trong tuần này - đừng thử mọi thứ cùng một lúc.

Nếu thấy không đúng: Nếu các đề xuất có vẻ chung chung, hãy dán phần tiếp theo này: "Hãy cụ thể hơn với bối cảnh thực tế của tôi. Bỏ lời khuyên chung chung". Nếu nó bỏ qua các chi tiết chính mà bạn đã cung cấp, hãy thêm yêu cầu: "Bạn đã bỏ sót [X] trong ngữ cảnh của tôi - hãy làm lại điều đó như một hạn chế chính".

Bước thử lại: Nếu cổng không thành công, hãy gửi thông tin này tới Bước 1:

Phản hồi trước đó của bạn không vượt qua được quá trình kiểm tra chất lượng. Các sự cố cụ thể:

[DÁN DANH SÁCH LỖI CỦA CỔNG]

Làm lại nhiệm vụ ban đầu và lần này giải quyết cụ thể từng lỗi. Đầu vào giống nhau:

"""
[DÁN ĐẦU VÀO GỐC]
"""

Tại sao điều này lại quan trọng trong workflow thực tế: Cổng là nơi mà những người chỉ có một prompt không bao giờ biết được, nhưng các nhóm AI sản xuất lại tồn tại. Việc thêm một cổng được đặt đúng vị trí giữa bước dễ xảy ra nhất của bạn và bước tiếp theo sẽ giúp giảm gần một nửa số lần thất bại dây truyền. Đây là nâng cấp độ tin cậy hiệu quả nhất trong khóa học này.

Những điểm chính cần ghi nhớ

• Thất bại dây truyền là rủi ro lớn nhất trong chuỗi - một bước xấu sẽ đầu độc mọi thứ ở phía sau
• Cổng kiểm soát chất lượng (định dạng, nội dung, tính nhất quán) bắt lỗi trước khi chúng lan truyền
• Bạn có thể triển khai cổng mà không cần code: Sử dụng prompt xác minh giữa các bước
• Vấn đề quản lý ngữ cảnh: Tích lũy đầy đủ, cửa sổ trượt hoặc chọn lọc - chọn dựa trên những gì mỗi bước cần
• Xử lý lỗi có 3 mẫu: Thử lại với phản hồi, dự phòng các prompt đơn giản hơn hoặc hạ cấp nhẹ nhàng cho các bước tùy chọn
• Chuỗi sản xuất đánh đổi tốc độ để lấy độ tin cậy - các bước cổng bổ sung đều đáng giá