Kiến trúc AI lai: Kết hợp RAG và Fine-tuning để xây dựng AI hỗ trợ chính xác

Gần đây, nhu cầu của doanh nghiệp trong việc xây dựng một chatbot có độ an toàn cao, trả lời chính xác và có khả năng phản hồi gần như theo thời gian thực ngày càng tăng. Nói đơn giản, họ cần một hệ thống AI có thể xử lý các câu hỏi hỗ trợ một cách đáng tin cậy mà không làm lộ dữ liệu nhạy cảm hoặc đi chệch khỏi giọng điệu của doanh nghiệp. Những yêu cầu như vậy ngày càng phổ biến, bởi bảo mật dữ liệu, độ trễ và chất lượng phản hồi đều tác động trực tiếp đến kết quả kinh doanh. Một hệ thống AI xử lý không tốt những yếu tố này có thể nhanh chóng đánh mất niềm tin của khách hàng và khiến doanh nghiệp chịu thiệt hại tài chính. Theo báo cáo năm 2025 của IBM, chi phí trung bình trên toàn cầu cho một vụ rò rỉ dữ liệu lên tới 4,44 triệu USD.

Tuy nhiên, chatbot thông thường và các mô hình ngôn ngữ lớn (LLM) có sẵn trên thị trường thường khó đáp ứng đầy đủ kỳ vọng của môi trường doanh nghiệp. Không thể phủ nhận sức mạnh của LLM, nhưng các mô hình này vẫn tồn tại những giới hạn thực tế liên quan đến giới hạn token, khả năng tận dụng ngữ cảnh và hiện tượng "ảo giác" (hallucination). Những hạn chế này càng trở nên rõ ràng khi hệ thống phải xử lý kiến thức chuyên ngành và tuân thủ những định dạng phản hồi nghiêm ngặt. Khi tất cả yêu cầu cùng xuất hiện, câu hỏi đặt ra là: Làm thế nào để xây dựng một hệ thống AI vừa có thể trả lời như một chuyên gia, biết dựa vào dữ liệu thực tế để đưa ra câu trả lời, vừa nhanh, an toàn và có thể kiểm soát?

Thực tế phát triển các mô hình AI cho thấy câu trả lời không nằm ở một mô hình hay một kỹ thuật duy nhất. Điều cần thiết là một cách tiếp cận ở cấp độ kiến trúc, trong đó tách biệt kiến thức mà mô hình sử dụng với cách mô hình tạo ra câu trả lời, đồng thời kết hợp khả năng học với cơ chế truy xuất thông tin.

Những thách thức cốt lõi

Có 4 thách thức mang tính nền tảng.

Giới hạn ngữ cảnh thực tế không chỉ nằm ở số lượng token

Các LLM hiện đại có thể quảng bá cửa sổ ngữ cảnh 16.000, 32.000 hay thậm chí 128.000 token. Tuy nhiên, trong thực tế, những người thường xuyên làm việc với các mô hình này đều biết khả năng tập trung của chúng bắt đầu suy giảm sớm hơn nhiều. Khi một lượng lớn văn bản được đưa vào ngữ cảnh, mô hình thường tận dụng thông tin ở phần giữa của prompt kém hiệu quả hơn, một hiện tượng được gọi là thiên lệch đầu-cuối (primacy-recency bias).

Do đó, việc đơn giản tăng kích thước cửa sổ ngữ cảnh không đảm bảo câu trả lời sẽ tốt hơn. Trong môi trường doanh nghiệp, nơi cơ sở kiến thức có thể chứa hàng triệu token, đây rõ ràng không phải giải pháp phù hợp.

Khả năng tận dụng thông tin ít phổ biến còn hạn chế

Ngay cả khi thông tin liên quan đã nằm trong prompt, LLM vẫn có thể bỏ qua, hiểu sai hoặc dành quá nhiều trọng số cho những phần không quan trọng. Nghiên cứu Lost in the Middle cũng chỉ ra vấn đề này, cho thấy các đầu vào có ngữ cảnh dài có thể khiến quá trình suy luận trở nên không đầy đủ nếu không được kiểm soát cẩn thận.

Điều này khiến chiến lược "đưa tất cả mọi thứ vào prompt" trở nên thiếu tin cậy, đặc biệt với những hệ thống hỗ trợ khách hàng có kiến thức chuyên ngành lớn và phức tạp.

Đánh đổi giữa độ chính xác và hiệu năng khi truy xuất

Cơ chế truy xuất thông tin cũng kéo theo chi phí tính toán và độ trễ trong thực tế. Nếu truy xuất quá nhiều dữ liệu, lượng ngữ cảnh tăng lên sẽ khiến thời gian phản hồi dài hơn và làm giảm khả năng tập trung của mô hình. Ngược lại, nếu truy xuất quá ít, nguy cơ mô hình tạo ra thông tin sai sẽ tăng lên.

Vì vậy, thách thức thực sự không nằm ở việc có truy xuất thông tin hay không mà là truy xuất chính xác: cung cấp lượng ngữ cảnh tối thiểu nhưng đầy đủ để đảm bảo câu trả lời chính xác mà không khiến hệ thống hoặc mô hình bị quá tải.

Hallucination khi thiếu ngữ cảnh

LLM hiếm khi từ chối trả lời ngay cả khi không có đủ thông tin liên quan. Thay vào đó, chúng có thể đưa ra những câu trả lời nghe có vẻ tự tin nhưng lại chung chung hoặc hoàn toàn bịa đặt. Trong hệ thống hỗ trợ khách hàng, hành vi này không thể chấp nhận được bởi nó ảnh hưởng trực tiếp đến độ tin cậy, tính chính xác và khả năng tuân thủ quy định.

Việc phân tích kỹ những giới hạn trên cho thấy một điều rõ ràng: đưa thêm nhiều ngữ cảnh hơn không phải giải pháp, mà thay vào đó cần một kiến trúc thông minh hơn.

Giải pháp: Kiến trúc AI lai

Một cách tiếp cận lai, kết hợp Retrieval-Augmented Generation (RAG) với các mô hình ngôn ngữ đã được fine-tune là giải pháp cho thấy hiệu quả. Điểm mấu chốt là fine-tuning và retrieval giải quyết hai bài toán khác nhau.

Fine-tuning dạy mô hình cách trả lời, còn retrieval cung cấp thông tin để mô hình trả lời. Việc buộc một phương pháp phải đảm nhiệm cả hai vai trò sẽ dẫn đến sự kém hiệu quả, thiếu ổn định hoặc chi phí cao. Vì vậy, hệ thống được thiết kế để hai thành phần có thể hoạt động dựa trên thế mạnh riêng.

Sử dụng RAG để tăng độ chính xác thông qua truy xuất

Nên chủ động tránh việc đưa một lượng lớn tài liệu thô vào mô hình. Thay vào đó, xây dựng một cơ sở kiến thức có thể tìm kiếm, được tuyển chọn từ các cặp hỏi đáp nội bộ, hướng dẫn sản phẩm, tài liệu kỹ thuật cũng như tài liệu tham chiếu về chính sách và cấu hình. Khi hệ thống suy luận, bộ truy xuất chỉ lựa chọn những phần nội dung liên quan nhất rồi đưa chúng vào prompt. Nhờ vậy, câu trả lời được neo vào dữ liệu thực tế đã được xác minh.

Cách tiếp cận này giúp giảm đáng kể tỷ lệ hallucination, cải thiện độ chính xác của thông tin và tăng tốc độ phản hồi nhờ giữ cho cửa sổ ngữ cảnh nhỏ và tập trung vào từng truy vấn. Tuy nhiên, chỉ sử dụng RAG vẫn chưa đủ. Ngay cả khi độ chính xác của quá trình truy xuất rất cao, kết quả đầu ra vẫn có sự khác biệt lớn về giọng điệu, cấu trúc, định dạng và mức độ chi tiết của các bước hướng dẫn. Nói cách khác, câu trả lời có thể chính xác về mặt thông tin nhưng không nhất quán về cách trình bày.

Trong một trường hợp chatbot được thiết kế đặc biệt để cải thiện khả năng hội tụ trong quá trình trao đổi với khách hàng, kết quả đánh giá cho thấy dù mô hình ngôn ngữ nhỏ có quyền truy cập vào gần như 100% ngữ cảnh chính xác, độ chính xác của câu trả lời chỉ đạt khoảng 70%. Mô hình gặp khó khăn khi trích xuất ý nghĩa từ những đầu vào có ngữ cảnh dài và không duy trì được giọng điệu hội thoại cần thiết để hướng người dùng tới những cuộc trao đổi kỹ thuật chuyên sâu hoặc các cuộc họp tiếp theo.

Điều này cho thấy một hạn chế cơ bản của retrieval: RAG cung cấp thông tin, nhưng không thể hướng dẫn mô hình cách suy luận hoặc giao tiếp trong một lĩnh vực cụ thể.

Fine-tuning Qwen: Dạy mô hình cách trả lời

Để cải thiện tính nhất quán, giọng điệu và khả năng suy luận, nhóm đã fine-tune mô hình Qwen trên khoảng 1.000 cặp hỏi đáp chuyên môn được lựa chọn cẩn thận, phù hợp với lĩnh vực mà mô hình hướng tới. Mục tiêu không phải là dạy mô hình thêm kiến thức thực tế. Thay vào đó, mô hình phải học được cách sử dụng ngôn ngữ chuyên ngành, duy trì giọng điệu và phong cách giao tiếp của doanh nghiệp, tuân thủ một định dạng phản hồi nhất quán, suy luận theo từng bước và xử lý những trường hợp ngoại lệ xuất hiện trong quy trình hỗ trợ.

Fine-tuning điều chỉnh cách mô hình hành xử, chứ không trực tiếp quyết định mô hình biết những gì. Đây là một khác biệt quan trọng. Fine-tuning toàn bộ mô hình có thể dẫn tới hiện tượng catastrophic forgetting và đòi hỏi chi phí tính toán rất lớn. Để hạn chế những rủi ro này, nhóm sử dụng các adapter Low-Rank Adaptation (LoRA). LoRA chỉ tinh chỉnh một tập nhỏ các ma trận adapter trong khi giữ lại phần lớn kiến thức tổng quát của mô hình nền. Phương pháp này cũng giảm lượng bộ nhớ GPU cần thiết cho quá trình fine-tuning nhưng vẫn đạt hiệu năng gần tương đương với việc tinh chỉnh toàn bộ mô hình.

Kết quả cho thấy sự cải thiện rõ rệt. Mô hình trở nên nhất quán và tinh tế hơn đáng kể. Với những câu hỏi có quy trình ổn định, mô hình có thể đưa ra câu trả lời chính xác nhiều lần mà không cần truy xuất thêm thông tin. Tuy nhiên, đúng như dự đoán, mô hình gặp khó khăn với những câu hỏi liên quan đến tính năng mới, chính sách vừa được cập nhật hoặc các thông tin thực tế ít xuất hiện.

Quay lại ví dụ chatbot nói trên, fine-tuning giúp mức độ phù hợp về giọng điệu tăng lên khoảng 90%, nhưng độ chính xác về thông tin lại giảm xuống khoảng 50%. Một lần nữa, bài học được củng cố: fine-tuning không thể thay thế retrieval.

Vì sao chỉ RAG hoặc fine-tuning đều chưa đủ?

Những thử nghiệm trên cho thấy rõ sự đánh đổi giữa hai phương pháp. Hệ thống chỉ sử dụng RAG có ưu thế về khả năng bám sát dữ liệu thực tế và cập nhật thông tin mới, nhưng gặp vấn đề về tính nhất quán của giọng điệu và có độ trễ cao hơn. Trong khi đó, hệ thống chỉ sử dụng mô hình đã fine-tune có ưu thế về giọng điệu và cấu trúc phản hồi, nhưng sẽ gặp khó khăn khi kiến thức thay đổi hoặc khi cần xử lý những thông tin thực tế ít phổ biến.

Chỉ lựa chọn một trong hai đồng nghĩa với việc phải chấp nhận những điểm yếu của phương pháp còn lại. Khi kết hợp mô hình đã fine-tune với RAG, kết quả tốt hơn so với việc sử dụng riêng lẻ từng phương pháp. Độ chính xác về giọng điệu đạt khoảng 75%, cao hơn RAG vốn không có khả năng kiểm soát giọng điệu đáng tin cậy, dù vẫn thấp hơn mức 90% của mô hình chỉ fine-tune. Trong khi đó, độ chính xác về thông tin đạt khoảng 73%, cao hơn cả mô hình chỉ fine-tune (khoảng 50%) lẫn RAG đơn thuần (khoảng 70%).

Điểm quan trọng là khả năng hiểu ngữ cảnh chuyên ngành và định dạng đầu ra mong muốn được hình thành trong quá trình fine-tuning giúp mô hình tận dụng và áp dụng thông tin được truy xuất hiệu quả hơn so với một mô hình nền chưa được tinh chỉnh. Nói cách khác, RAG cung cấp kiến thức mới và chính xác, còn fine-tuning giúp mô hình biết cách sử dụng kiến thức đó để tạo ra câu trả lời phù hợp. Đây chính là lý do kiến trúc AI lai có thể mang lại sự cân bằng tốt hơn giữa độ chính xác, tính nhất quán và hiệu năng trong những hệ thống hỗ trợ AI dành cho doanh nghiệp.