Con người hay máy móc phát hiện deepfake tốt hơn?

Deepfake đe dọa mọi khía cạnh của xã hội. Khả năng xác định nội dung giả mạo của con người là rất quan trọng để vô hiệu hóa thông tin sai lệch, nhưng khi công nghệ AI được cải thiện, chúng ta có thể tin tưởng ai để phát hiện các hành vi deepfake: Con người hay máy móc?

Sự nguy hiểm của Deepfake

Khi công nghệ AI tiến bộ, sự nguy hiểm của deepfake ngày càng trở thành mối đe dọa đối với tất cả chúng ta. Dưới đây là bản tóm tắt nhanh về một số vấn đề cấp bách nhất mà deepfake đặt ra:

• Thông tin sai lệch: Các video và bản ghi âm giọng nói sử dụng deepfake có thể phát tán thông tin sai lệch, chẳng hạn như tin giả.
• Mạo danh: Bằng cách mạo danh các cá nhân, deepfake có thể gây tổn hại đến danh tiếng của mọi người hoặc lừa dối bất kỳ ai biết họ.
• An ninh quốc gia: Kịch bản ngày tận thế với deepfake là đoạn phim hoặc âm thanh bịa đặt về một nhà lãnh đạo toàn cầu xúi giục xung đột.
• Bất ổn dân sự: Cảnh quay và âm thanh lừa đảo cũng có thể được các bên sử dụng để khơi dậy sự tức giận và bất ổn dân sự giữa các nhóm cụ thể.
• An ninh mạng: Tội phạm mạng đã sử dụng các công cụ nhân bản giọng nói AI để nhắm mục tiêu vào một cá nhân bằng thông điệp thuyết phục từ những người chúng biết.
• Quyền riêng tư và sự đồng thuận: Việc sử dụng deepfake với mục đích xấu sẽ lấy đi hình ảnh của các cá nhân mà không có sự đồng ý của họ.
• Tin cậy và tự tin: Nếu bạn không thể phân biệt giữa sự thật và những trò lừa thì thông tin chính xác cũng trở nên không đáng tin cậy.

Deepfake sẽ ngày càng trở nên thuyết phục hơn, vì vậy chúng ta cần các công cụ và quy trình mạnh mẽ để phát hiện chúng. AI đang cung cấp một công cụ như vậy dưới dạng mô hình phát hiện deepfake. Tuy nhiên, giống như các thuật toán được thiết kế để xác định văn bản do AI tạo ra, những công cụ phát hiện deepfake không hoàn hảo.

Tại thời điểm này, quyền quyết định của con người là công cụ duy nhất mà chúng ta có thể dựa vào. Vì vậy, liệu chúng ta có giỏi hơn các thuật toán trong việc xác định những tác phẩm deepfake không?

Thuật toán có thể phát hiện deepfake tốt hơn con người không?

Deepfake là một mối đe dọa đủ nghiêm trọng mà các gã khổng lồ công nghệ và những nhóm nghiên cứu đang dành nguồn lực khổng lồ cho nghiên cứu và phát triển. Vào năm 2019, những công ty như Meta, Microsoft và Amazon đã trao giải thưởng trị giá 1.000.000 USD trong "Thử thách phát hiện Deepfake".

Mô hình hoạt động tốt nhất có độ chính xác 82,56% so với tập dữ liệu gồm các video có sẵn công khai. Tuy nhiên, khi thử nghiệm các mô hình tương tự với "tập dữ liệu hộp đen" gồm 10.000 video chưa xem, mô hình hoạt động tốt nhất chỉ có độ chính xác 65,18%.

Cũng có nhiều nghiên cứu phân tích hiệu suất của các công cụ phát hiện deepfake AI đối với con người. Tất nhiên, kết quả khác nhau giữa các nghiên cứu tiếp theo, nhưng nhìn chung, con người có tỷ lệ thành công ngang bằng hoặc vượt trội so với các công cụ phát hiện deepfake.

Một nghiên cứu năm 2021 được công bố trên PNAS cho thấy "những người quan sát con người bình thường" đạt được tỷ lệ chính xác cao hơn một chút so với các công cụ phát hiện deepfake hàng đầu. Tuy nhiên, nghiên cứu cũng phát hiện ra rằng những người tham gia là con người và các mô hình AI dễ mắc phải những loại lỗi khác nhau.

Điều thú vị là nghiên cứu do Đại học Sydney thực hiện đã cho thấy bộ não con người, một cách vô thức, hiệu quả hơn trong việc phát hiện các hành vi deepfake hơn những nỗ lực có ý thức của chúng ta.

Phát hiện manh mối trực quan trong Deepfake

Khoa học về phát hiện deepfake rất phức tạp và yêu cầu phân tích sẽ khác nhau, tùy thuộc vào tính chất của cảnh quay. Ví dụ, video deepfake khét tiếng của nhà lãnh đạo Triều Tiên Kim Jong-un từ năm 2020 về cơ bản là một video trò chuyện chỉ có cử động ở phần đầu. Trong trường hợp này, phương pháp phát hiện deepfake hiệu quả nhất có thể là phân tích hình ảnh (cử động miệng) và âm vị (âm thanh) để tìm sự mâu thuẫn.

Các chuyên gia con người, người xem thông thường và thuật toán đều có thể thực hiện loại phân tích này, ngay cả khi kết quả có thể khác nhau. MIT xác định 8 câu hỏi để giúp xác định các video deepfake:

• Hãy chú ý đến khuôn mặt. Các thao tác DeepFake cao cấp hầu như luôn là những thao tác biến đổi khuôn mặt.
• Hãy chú ý đến má và trán. Da có vẻ quá mịn hoặc quá nhăn? Độ tuổi của da có giống với độ tuổi của tóc và mắt không? DeepFake có thể bất hợp lý ở một số khía cạnh.
• Hãy chú ý đến đôi mắt và lông mày. Bóng có xuất hiện ở những nơi mà bạn mong đợi không? DeepFake có thể không thể hiện đầy đủ tính chất vật lý tự nhiên của một cảnh.
• Hãy chú ý đến kính. Phần kính có bị lóa không? Góc chói có thay đổi khi người đó di chuyển không? Một lần nữa, DeepFake có thể không thể hiện đầy đủ tính chất vật lý tự nhiên của ánh sáng.
• Hãy chú ý đến lông mặt. Phần lông mặt trông có thật không? DeepFake có thể thêm hoặc xóa ria mép, tóc mai hoặc râu. Tuy nhiên, DeepFake có thể không thực hiện được các biến đổi về râu trên khuôn mặt một cách hoàn toàn tự nhiên.
• Hãy chú ý đến nốt ruồi trên khuôn mặt. Nốt ruồi trông có thật không?
• Hãy chú ý đến việc chớp mắt. Người đó có chớp mắt quá ít hay quá nhiều?
• Hãy chú ý đến chuyển động của môi. Một số deepfake dựa trên việc lip-syncing (nhép miệng). Vậy chuyển động của môi có tự nhiên không?

Các công cụ phát hiện deepfake AI mới nhất có thể phân tích lại các yếu tố tương tự với mức độ thành công khác nhau.

Các nhà khoa học dữ liệu cũng không ngừng phát triển những phương pháp mới, chẳng hạn như phát hiện lưu lượng máu tự nhiên trên khuôn mặt của những người nói trên màn hình. Các phương pháp tiếp cận và cải tiến mới so với những phương pháp hiện có có thể giúp các công cụ phát hiện deepfake AI hoạt động tốt hơn con người trong tương lai.

Phát hiện manh mối âm thanh trong Deepfake

Việc phát hiện âm thanh deepfake hoàn toàn là một thách thức khác. Nếu không có tín hiệu trực quan của video và cơ hội xác định sự không nhất quán về mặt nghe nhìn, việc phát hiện deepfake phụ thuộc rất nhiều vào phân tích âm thanh (các phương pháp khác như xác minh siêu dữ liệu cũng có thể hữu ích trong một số trường hợp).

Một nghiên cứu do Đại học College London công bố vào năm 2023 cho thấy con người có thể phát hiện lời nói deepfake trong 73% thời gian (tiếng Anh và tiếng Quan Thoại). Giống như các video deepfake, con người thường phát hiện bằng trực giác các kiểu giọng nói không tự nhiên trong lời nói do AI tạo ra, ngay cả khi họ không thể nói rõ điều gì không ổn.

Các dấu hiệu phổ biến bao gồm:

• Nói nhỏ
• Thiếu biểu hiện tự nhiên
• Tiếng ồn nền hoặc hiện tượng nhiễu
• Giọng nói hoặc lời nói không nhất quán
• Giọng thiếu sự “tròn trịa”
• Sự truyền tải trong giọng nói quá "kịch)
• Thiếu những dấu hiệu tự nhiên (không nói vấp, hắng giọng, v.v...)

Một lần nữa, các thuật toán cũng có thể phân tích giọng nói để tìm những dấu hiệu deepfake tương tự, nhưng những phương pháp mới đang giúp các công cụ trở nên hiệu quả hơn. Nghiên cứu của USENIX đã xác định các mẫu trong quá trình tái tạo giọng nói bằng AI không mô phỏng được giọng nói tự nhiên. Báo cáo tóm tắt rằng công cụ tạo giọng nói AI tạo ra âm thanh phù hợp với các dải giọng hẹp mà không có chuyển động tự nhiên của giọng nói con người.

Nghiên cứu trước đây của Viện Horst Görtz đã phân tích âm thanh thật và âm thanh deepfake bằng tiếng Anh và tiếng Nhật, cho thấy sự khác biệt tinh tế ở tần số cao hơn của lời nói thật và âm thanh deepfake.

Cả âm thanh và sự không nhất quán ở tần số cao đều có thể được cảm nhận bởi người nghe và các mô hình phát hiện AI. Trong trường hợp có sự khác biệt về tần số cao, về mặt lý thuyết, các mô hình AI có thể ngày càng trở nên chính xác hơn - mặc dù điều tương tự cũng có thể xảy ra đối với những tác phẩm deepfake AI.

Con người và thuật toán đều bị Deepfake đánh lừa, nhưng theo những cách khác nhau

Các nghiên cứu cho thấy con người và những công cụ phát hiện AI mới nhất có khả năng xác định các tác phẩm deepfake tương tự nhau. Tỷ lệ thành công có thể thay đổi từ 50% đến 90+%, tùy thuộc vào thông số thử nghiệm.

Nói rộng ra, con người và máy móc cũng bị đánh lừa bởi các tác phẩm deepfake ở mức độ tương tự. Tuy nhiên, điều quan trọng là con người dễ bị tổn thương theo nhiều cách khác nhau và đây có thể là tài sản lớn nhất của chúng ta trong việc giải quyết những mối nguy hiểm của công nghệ deepfake. Việc kết hợp điểm mạnh của con người và các công cụ phát hiện deepfake sẽ giảm thiểu điểm yếu và cải thiện tỷ lệ thành công.

Ví dụ, nghiên cứu của MIT cho thấy con người xác định những tác phẩm deepfake của các nhà lãnh đạo thế giới và những người nổi tiếng tốt hơn các mô hình AI. Nghiên cứu cũng tiết lộ rằng các mô hình AI đã gặp khó khăn với những cảnh quay có nhiều người, mặc dù nó cho thấy điều này có thể là do các thuật toán được đào tạo về những cảnh quay có một người nói.

Ngược lại, nghiên cứu tương tự cho thấy các mô hình AI hoạt động tốt hơn con người với những cảnh quay chất lượng thấp (mờ, tối, v.v...) có thể được cố ý sử dụng để đánh lừa người xem. Tương tự như vậy, các phương pháp phát hiện AI gần đây như theo dõi lưu lượng máu ở các vùng cụ thể trên khuôn mặt kết hợp khả năng phân tích mà con người không thể thực hiện được.

Khi nhiều phương pháp được phát triển hơn, không chỉ khả năng phát hiện các dấu hiệu của AI mà con người không thể cải thiện được nâng cấp mà khả năng đánh lừa của deepfake cũng vậy. Câu hỏi lớn là liệu công nghệ phát hiện deepfake có vượt qua chính deepfake hay không.