Cấp quyền truy cập file cho LLM cục bộ giúp bạn thay thế 3 ứng dụng trả phí này!

Nếu bạn có hàng tấn file cần phải tìm kiếm liên tục, rất có thể bạn đang trả tiền cho phần mềm đọc và tóm tắt chúng. Nhưng xét đến việc những LLM cục bộ có thể biến bất kỳ file nào thành sơ đồ tư duy, điều gì sẽ xảy ra nếu bạn cho phép chúng truy cập vào các file của mình?

Đó chính xác là những gì nhiều người đã làm, và thật ngạc nhiên, kết quả rất tuyệt vời. Không cần đám mây, không cần API key, không có gì rời khỏi máy tính của bạn, và trước khi bạn nhận ra, nó có thể sẽ thay thế các ứng dụng mà bạn lẽ ra phải trả tiền.

Cách thức hoạt động của việc lập chỉ mục AI cục bộ

Cho phép LLM cục bộ truy cập vào các file không khó như bạn nghĩ

Việc cho phép LLM cục bộ truy cập vào các file của bạn nghe có vẻ đáng sợ, nhưng thực ra nó đơn giản hơn bạn nghĩ. Hãy sử dụng một phương pháp gọi là RAG hoặc Retrieval-Augmented Generation. Thay vì đổ toàn bộ tài liệu vào cửa sổ ngữ cảnh của mô hình, một thao tác chậm, tốn nhiều token và nhanh chóng đạt đến giới hạn, RAG có thể chia nhỏ các file của bạn thành những phần nhỏ hơn và chuyển đổi chúng thành các vector nhúng được lưu trữ trong cơ sở dữ liệu cục bộ.

Khi bạn hỏi AI một câu hỏi, hệ thống chỉ truy xuất những phần liên quan nhất và gửi chúng đến mô hình. Các file của bạn không bao giờ bị chuyển đi đâu cả; mô hình chỉ đọc những phần nó cần.

Cần một vài công cụ để thực hiện điều này. Tính năng LocalDocs của GPT4All cho phép bạn trỏ đến một thư mục và nó sẽ tự động bắt đầu lập chỉ mục các file. Đối với bất kỳ thao tác nào phức tạp hơn, bạn có thể sử dụng AnythingLLM, công cụ này xử lý các file PDF, Word, TXT và CSV, cho phép bạn xây dựng những không gian làm việc riêng biệt cho các dự án khác nhau.

Cả hai công cụ đều hoạt động hoàn toàn ngoại tuyến, yêu cầu duy nhất là mô hình (và máy tính) của bạn phải đủ mạnh.

Loại bỏ ứng dụng chat PDF

Cách LLM cục bộ xử lý các tài liệu lộn xộn tốt hơn

Đối với những người thường xuyên làm việc với rất nhiều file PDF mỗi ngày, chắc hẳn các bạn đã quen thuộc với AskYourPDF. Đây là một công cụ đơn giản cho phép bạn upload lên tài liệu, đặt câu hỏi về nó và nhận tóm tắt hoặc báo giá. Nó hoạt động tốt, nhưng mỗi lần bạn sử dụng nó với một file, file đó sẽ được gửi đến máy chủ của họ, và gói miễn phí ổn, nhưng bạn sẽ cần ít nhất gói Premium trị giá 11,99 USD/tháng nếu bạn dự định thực hiện công việc nghiêm túc.

Chỉ cần kéo thả thư mục PDF của bạn vào LocalDocs của GPT4All, đợi quá trình nhúng hoàn tất, rồi bắt đầu đặt câu hỏi. Kết quả không hoàn hảo, nhưng nó rất hiệu quả trong việc trích xuất dữ liệu cụ thể, tóm tắt các phần hoặc đặt những câu hỏi cụ thể về nội dung tài liệu.

Tính năng tìm kiếm Q&A của Notion AI giờ đã lỗi thời

Đặt câu hỏi tốt hơn trên tất cả các file của bạn

Gói đăng ký Notion Plus từng được đánh giá là đáng đồng tiền bát gạo, nhưng giờ thì chuyện đó đã qua. Nhiều người đã chuyển từ Notion sang AFFiNE, và với việc các LLM cục bộ có thể tìm kiếm ghi chú, tính năng Q&A của Notion AI - tính năng mà bạn đặt câu hỏi và nó sẽ tìm kiếm toàn bộ không gian làm việc của bạn để trả lời - đã trở nên lỗi thời.

Bạn thấy đấy, RAG cục bộ làm chính xác điều này, nhưng không mất phí đăng ký. Reor là một ứng dụng ghi chú mã nguồn mở, ưu tiên cục bộ, sử dụng Ollama bên dưới và tự động liên kết các ghi chú liên quan bằng cách sử dụng độ tương đồng vectơ. Chỉ cần trỏ nó vào kho ghi chú AFFiNE của mình, được lưu trữ bằng Markdown, và trước khi kịp nhận ra, bạn đã có tính năng tìm kiếm ngữ nghĩa, kết nối tự động các ghi chú liên quan và giao diện trò chuyện tích hợp cho phép bạn đặt câu hỏi trên toàn bộ cơ sở kiến ​​thức của mình. Tất cả đều chạy cục bộ, mọi mã nhúng được lưu trữ trên ổ đĩa và không có gì được upload lên bất cứ đâu.

Tìm kiếm file đã trở nên mạnh mẽ hơn rất nhiều

Các công cụ tìm kiếm truyền thống thậm chí không thể sánh được với LLM cục bộ

Nhiều người sử dụng 3 ứng dụng tìm kiếm khác nhau trên Windows để tìm file trên một máy tính thường xuyên bị quá tải trong những tuần bận rộn. Nếu bạn đang sử dụng một ứng dụng như X1 Search, một ứng dụng tìm kiếm trên desktop dành cho người dùng chuyên nghiệp, có khả năng lập chỉ mục các file cục bộ, thư, file đính kèm và bộ nhớ đám mây để bạn có thể coi máy tính của mình như Google riêng, thì gói đăng ký đó sẽ trở nên vô dụng.

Một khi bạn có một LLM cục bộ với hệ thống RAG trỏ đến các thư mục làm việc chính của mình, thì gói đăng ký đó sẽ không còn ý nghĩa nữa. Bạn có thể nhúng tài liệu, code, ghi chú và xuất vào kho lưu trữ vector cục bộ, đặt giao diện trò chuyện lên trên và đặt câu hỏi bằng ngôn ngữ thông thường.

Chi phí sử dụng AI cục bộ

Không cao như bạn nghĩ

Ngoại trừ thời gian và sự kiên nhẫn trong quá trình thiết lập, bạn thực sự không phải chịu bất kỳ chi phí nào. Điều đó nghĩa là, nếu bạn có một máy tính đủ mạnh để chạy một mô hình tốt. Bạn cũng không cần phần cứng cao cấp để chạy các mô hình AI. Nếu bạn đang sử dụng một hệ thống tầm trung với 16GB RAM và GPU với khoảng 6GB VRAM, một mô hình lượng tử hóa 7B hoặc 13B thông qua Ollama, chẳng hạn như LLaMA 3, Mistral hoặc Qwen, có thể hoạt động khá tốt. Nếu bạn biết TOPS là gì, việc sở hữu một PC 45 TOPS cũng sẽ giúp ích.

Điều bạn không phải trả là phí hàng tháng, thỏa thuận dữ liệu với một công ty mà bạn không biết, hoặc nỗi lo lắng về việc điều gì sẽ xảy ra với các file sau khi bạn upload chúng lên máy chủ của người lạ. Trước đây, AI cục bộ đòi hỏi chuyên môn kỹ thuật và phần cứng đắt tiền, nhưng điều đó đã là quá khứ. Hiện nay có rất nhiều ứng dụng bạn có thể sử dụng để tận hưởng lợi ích của những mô hình ngôn ngữ lớn (LLM) cục bộ trên máy tính của mình, và có những tác vụ mà LLM cục bộ có thể thực hiện tốt như bất kỳ mô hình đám mây nào.

Các mô hình AI có thể dễ dàng chạy trên phần cứng của bạn, những file cá nhân có thể vẫn nằm trên ổ đĩa và các gói đăng ký đó có thể bị hủy. Tất cả những gì cần làm là thiết lập các dịch vụ này, và đối với nhiều quy trình làm việc, sự tiện lợi và lợi ích về quyền riêng tư rất đáng để bỏ công sức.