Các công cụ phát hiện nội dung được tạo bởi ChatGPT rất dễ bị đánh lừa

Với sự gia tăng của các chương trình Generative AI mà công chúng có thể truy cập miễn phí, chẳng hạn như ChatGPT cho văn bản và Midjourney cho hình ảnh, việc phát hiện văn bản do con người hay AI tạo ra trở nên khó khăn hơn.

Các công cụ phát hiện ChatGPT rất dễ bị đánh lừa

Trí tuệ nhân tạo (AI) - hệ thống máy tính tự động, thuật toán và Machine Learning - từ lâu đã được sử dụng trong mạng xã hội, nghiên cứu khoa học, quảng cáo, nông nghiệp và công nghiệp, hầu như không được chú ý. Nhưng sự trỗi dậy của ChatGPT từ OpenAI đã châm ngòi cho một cuộc chạy đua ở những địa điểm như lớp học, nơi học sinh tìm đến chương trình này để gian lận, viết ra toàn bộ các bài luận có vẻ giống con người viết. Các giáo viên đã triển khai phần mềm phát hiện với hy vọng bắt được những kẻ đạo văn.

Trong một nghiên cứu mới, được công bố trên tạp chí Patterns vào thứ Hai, các nhà nghiên cứu từ Đại học Stanford đã kiểm tra mức độ đáng tin cậy của những công cụ phát hiện này trong việc xác định xem văn bản được viết bởi con người hay AI. Nhóm nghiên cứu đã rất ngạc nhiên khi nhận ra rằng một số công cụ phát hiện GPT phổ biến nhất, được xây dựng để phát hiện văn bản do các ứng dụng như ChatGPT tạo ra, thường xuyên phân loại sai văn bản của những người không nói tiếng Anh là do AI tạo.

Nhóm đã lấy 91 bài luận TOEFL (Test of English as a Foreign Language) từ một diễn đàn Trung Quốc và 88 bài luận được viết bởi học sinh lớp 8 của Hoa Kỳ, chạy chúng qua 7 công cụ phát hiện GPT có sẵn, bao gồm công cụ phát hiện của OpenAI và GPTZero, và chỉ thấy 5,1% bài luận của sinh viên Hoa Kỳ được phân loại là "do AI tạo ra". Mặt khác, 61% các bài luận TOEFL do con người viết đã bị phân loại sai. Thậm chí một công cụ trong số này đã đánh dấu 97,8% bài luận TOEFL do AI tạo ra.

Tất cả 7 công cụ đã đánh dấu 18 trong số 91 bài luận TOEFL là do AI tạo. Khi các nhà nghiên cứu tìm hiểu sâu hơn về 18 bài tiểu luận này, họ nhận thấy lý do có thể là do "độ phức tạp của văn bản" thấp hơn. Sự phức tạp là một loại thước đo đại diện cho tính hay thay đổi hoặc tính ngẫu nhiên trong một văn bản nhất định. Những người viết tiếng Anh không phải là người bản ngữ trước đây đã được chứng minh là có vốn từ vựng và khả năng sử dụng ngữ pháp kém phong phú hơn. Điều này, đối với công cụ phát hiện GPT, khiến nó có vẻ như được viết bởi AI.

Về cơ bản, nếu bạn đang sử dụng văn bản dài dòng và hoa mỹ, nội dung đó sẽ ít có khả năng bị phân loại là do AI tạo. Nhưng điều này cho thấy một sự thiên vị đáng lo ngại và làm dấy lên mối lo ngại rằng những người không có tiếng mẹ đẻ là tiếng Anh có thể chịu tác động xấu, chẳng hạn như trong khi tham gia tuyển dụng việc làm hoặc các kỳ thi ở trường, vì văn bản của họ bị đánh giá là do AI tạo.

ChatGPT và “ngôn ngữ văn học”

Các nhà nghiên cứu đã thực hiện một thí nghiệm thứ hai. Lần này, họ muốn xem phần mềm phát hiện có phân loại chính xác văn bản do AI tạo ra hay không.

Nhóm đã sử dụng ChatGPT để tạo câu trả lời cho truy vấn bài luận tuyển sinh đại học Hoa Kỳ năm 2022-2023. Họ đã chạy các bài luận do ChatGPT tạo thông qua 7 công cụ của mình và nhận thấy rằng, những phần mềm này đã phát hiện ra 70% các bài luận do AI tạo. Nhưng khi nhóm nghiên cứu quay lại ChatGPT, tạo một lời nhắc bổ sung khác, yêu cầu này đã tạo ra các bài tiểu luận khiến những công cụ phát hiện GPT bối rối - chúng chỉ có thể phân loại chính xác 3,3% văn bản là do AI tạo. Kết quả cũng tương tự khi nhóm yêu cầu ChatGPT viết tóm tắt khoa học.

James Zou, nhà khoa học dữ liệu y sinh tại Đại học Stanford và đồng tác giả của nghiên cứu mới cho biết: “Chúng tôi không ngờ rằng những phần mềm phát hiện thương mại này lại hoạt động kém như vậy đối với văn bản từ những người không phải người bản ngữ hoặc dễ bị GPT đánh lừa như vậy”.

Bởi vì chúng dễ bị đánh lừa nên điều này có thể khiến những người không có tiếng Anh là tiếng mẹ đẻ bắt đầu sử dụng ChatGPT thường xuyên hơn, nhằm giúp tác phẩm của họ giống như được viết bởi một người nói tiếng Anh bản xứ.

Cuối cùng, theo các nhà nghiên cứu, hai thí nghiệm đặt ra một câu hỏi then chốt: Nếu việc đánh lừa các công cụ phát hiện quá dễ dàng và văn bản do con người tạo thường xuyên bị phân loại sai, thì rốt cuộc chúng mang lại ích lợi gì?

Làm thế nào để khắc phục vấn đề này?

Cho dù đó là phân loại sai văn bản của con người là do AI tạo hay chỉ đơn giản là bị đánh lừa, thì rõ ràng những công cụ này có vấn đề. Zou đề cập rằng một cơ chế đầy hứa hẹn để tăng cường khả năng phát hiện có thể là so sánh nhiều bài viết về cùng một chủ đề, bao gồm cả phản hồi của con người và AI, sau đó xem liệu chúng có thể được nhóm lại hay không. Điều này có thể cho phép một cách tiếp cận mạnh mẽ và công bằng hơn.

Và công cụ phát hiện nội dung do AI tạo có thể hữu ích theo những cách mà chúng ta chưa thấy. Các nhà nghiên cứu đề cập rằng nếu một công cụ phát hiện GPT được xây dựng để làm nổi bật những cụm từ và cấu trúc được sử dụng quá mức, nó thực sự có thể dẫn đến sự sáng tạo và độc đáo hơn trong văn bản.

Nhóm ủng hộ việc nghiên cứu thêm và nhấn mạnh rằng tất cả các bên bị ảnh hưởng bởi những mô hình Generative AI như ChatGPT nên tham gia vào cuộc thảo luận về việc sử dụng chatbot AI.

Cho đến thời điểm đó, nhóm nhấn mạnh "cần hết sức thận trọng đối với việc sử dụng công cụ phát hiện GPT trong môi trường đánh giá hoặc giáo dục, đặc biệt là khi đánh giá công việc của những người không nói tiếng Anh bản ngữ".