Đánh giá mô hình trong Machine Learning

Bài học 4 đã đề cập đến quy trình xử lý dữ liệu trong Machine Learning - cách chuẩn bị và phân chia dữ liệu. Giờ là lúc đặt ra câu hỏi quan trọng: Sau khi huấn luyện xong một mô hình, làm sao để biết nó hoạt động hiệu quả?

Câu trả lời phức tạp hơn bạn nghĩ. Một mô hình có thể đạt kết quả rất tốt ở chỉ số này nhưng lại rất tệ ở chỉ số khác. Và chỉ số trực quan nhất - độ chính xác (accuracy) - lại thường gây hiểu lầm nhiều nhất.

Accuracy: Chỉ số hiển nhiên (nhưng dễ gây hiểu lầm)

Nghe có vẻ hợp lý: Nếu mô hình dự đoán đúng 95 trong số 100 trường hợp, thì độ chính xác là 95%. Tuy nhiên, chỉ số này không còn đáng tin cậy khi dữ liệu bị mất cân bằng.

Vấn đề mất cân bằng lớp dữ liệu:

• 1.000 email: 990 email hợp lệ, 10 email rác (spam)
• Mô hình dự đoán mọi email đều là hợp lệ
• Độ chính xác: 990/1000 = 99%
• Số email rác phát hiện được: 0 trên 10

Mô hình đạt độ chính xác 99% nhưng lại hoàn toàn vô dụng cho mục đích sử dụng thực tế. Đây là lý do tại sao các chuyên gia Machine Learning (ML) hiếm khi chỉ dựa vào độ chính xác.

Precision và Recall: Những chỉ số quan trọng

Precision 

Khi mô hình đưa ra kết quả "dương tính" (positive), tỷ lệ dự đoán đúng là bao nhiêu?

Mở ChatGPT (chat.openai.com), Claude (claude.ai) hoặc Gemini (gemini.google.com) và bắt đầu một cuộc trò chuyện mới.

Sao chép câu lệnh (prompt) này:

Trong số tất cả các email tôi đã đánh dấu là thư rác, tỷ lệ thực sự là thư rác chiếm bao nhiêu phần trăm?

Chỉ trong vài giây, AI sẽ trả về phản hồi được trình bày có cấu trúc dựa trên câu lệnh trên. Hãy đọc kỹ và coi đó là bản nháp, không phải câu trả lời cuối cùng.

Recall

Trong số tất cả các trường hợp thực sự là thư rác, mô hình đã phát hiện được bao nhiêu?

Mở ChatGPT (chat.openai.com), Claude (claude.ai) hoặc Gemini (gemini.google.com) và bắt đầu một cuộc trò chuyện mới. Sao chép câu lệnh (prompt) này:

Trong số tất cả các email thực sự là thư rác, tôi đã đánh dấu được bao nhiêu phần trăm?

Sự đánh đổi: Việc tăng chỉ số này thường sẽ làm giảm chỉ số kia

Chỉ số F1: Cân bằng giữa hai yếu tố

Chỉ số F1 là trung bình điều hòa của độ chính xác (precision) và độ nhạy (recall) - một con số duy nhất giúp cân bằng cả hai chỉ số này:

Chỉ số F1 đạt mức cao nhất khi cả độ chính xác và độ nhạy đều cao. Nếu một trong hai chỉ số thấp, F1 sẽ giảm theo. Điều này biến F1 thành một thước đo tổng hợp hữu ích khi bạn quan tâm đến cả việc phát hiện các trường hợp dương tính (độ nhạy) lẫn việc tránh các cảnh báo sai (độ chính xác).

Khi nào nên dùng F1: Với các tập dữ liệu mất cân bằng (nơi độ chính xác tổng thể - accuracy - có thể gây hiểu lầm) và hầu hết những bài toán phân loại trong thực tế.

Vấn đề Overfitting và Underfitting trong Machine Learning

Thách thức cơ bản nhất trong Machine Learning (ML): Xây dựng một mô hình có khả năng học được các quy luật thực tế mà không học thuộc lòng các dữ liệu nhiễu.

Overfitting - Mô hình quá phức tạp

• Mô hình học thuộc lòng dữ liệu huấn luyện, bao gồm cả nhiễu
• Độ chính xác trên tập huấn luyện: Rất cao
• Độ chính xác trên tập kiểm tra: Thấp hơn đáng kể
• Mô hình giống như đã "học thuộc đáp án" thay vì thực sự hiểu kiến ​​thức.

Underfitting - Mô hình quá đơn giản

• Mô hình quá đơn giản để nắm bắt được các quy luật thực tế
• Độ chính xác trên tập huấn luyện: Thấp
• Độ chính xác trên tập kiểm tra: Cũng thấp
• Mô hình giống như "chưa học bài kỹ".

Điểm tối ưu: Một mô hình đủ phức tạp để nắm bắt các quy luật thực tế nhưng cũng đủ đơn giản để có thể khái quát hóa tốt trên dữ liệu mới.

Cách phát hiện hiện tượng quá khớp (overfitting)

1. So sánh độ chính xác huấn luyện với độ chính xác kiểm tra - khoảng cách lớn báo hiệu hiện tượng quá khớp.
2. Sử dụng kiểm định chéo (cross-validation) - độ biến thiên cao giữa các fold cho thấy sự không ổn định.
3. Vẽ đồ thị đường cong học tập - nếu độ chính xác huấn luyện tiếp tục tăng trong khi độ chính xác kiểm tra chững lại hoặc giảm, thì hiện tượng overfitting đang xảy ra.

Cách khắc phục hiện tượng overfitting

• Đơn giản hóa mô hình (ít tham số hơn, cây đơn giản hơn)
• Thêm chuẩn hóa (hình phạt cho sự phức tạp)
• Thu thập thêm dữ liệu huấn luyện (khó ghi nhớ hơn với tập dữ liệu lớn)
• Sử dụng dropout trong mạng nơ-ron (vô hiệu hóa ngẫu nhiên các nơ-ron trong quá trình huấn luyện)

Sự đánh đổi giữa độ lệch và phương sai 

Đây là khung lý thuyết đằng sau hiện tượng overfitting và underfitting:

Độ lệch cao có nghĩa là mô hình quá đơn giản - nó bị underfitting.

Phương sai cao có nghĩa là mô hình quá nhạy cảm với dữ liệu huấn luyện cụ thể - nó bị overfitting.

Bạn không thể giảm thiểu cả hai yếu tố này cùng lúc - đó chính là sự đánh đổi. Mục tiêu là tìm ra mức độ phức tạp sao cho tổng sai số (độ chệch + phương sai) là thấp nhất.

Những điểm chính cần ghi nhớ

• Accuracy có thể gây hiểu lầm khi dữ liệu bị mất cân bằng - một mô hình chỉ dự đoán lớp chiếm đa số sẽ đạt độ chính xác cao nhưng lại vô dụng
• Precision (khi tôi dự đoán là dương tính, liệu có đúng không?) và Recall (trong số các trường hợp dương tính thực tế, tôi đã phát hiện được bao nhiêu?) giúp nắm bắt những khía cạnh mà độ chính xác bỏ sót
• F1-score cân bằng giữa Precision và Recall thành một chỉ số duy nhất - hãy sử dụng nó cho các bài toán phân loại dữ liệu mất cân bằng
• Overfitting (học vẹt dữ liệu huấn luyện) biểu hiện qua khoảng cách chênh lệch về hiệu suất giữa tập huấn luyện và tập kiểm tra - khắc phục bằng cách dùng mô hình đơn giản hơn, kỹ thuật điều chuẩn (regularization) hoặc bổ sung thêm dữ liệu
• Underfitting (mô hình quá đơn giản) biểu hiện qua hiệu suất kém trên cả tập huấn luyện và tập kiểm tra - khắc phục bằng cách dùng mô hình phức tạp hơn hoặc chọn lọc đặc trưng tốt hơn
• Sự đánh đổi giữa độ chệch (bias) và phương sai (variance) là mâu thuẫn cốt lõi: Mô hình quá đơn giản sẽ dẫn đến underfitting, còn quá phức tạp sẽ dẫn đến overfitting