5 tác vụ chứng minh việc thiết lập LLM cục bộ trên điện thoại đáng giá

Khi các công cụ AI ngày càng phổ biến với nhiều nhóm người dùng hơn, ngày càng có nhiều người quan tâm đến các giải pháp AI hoạt động ngoại tuyến (offline) – những giải pháp không gửi dữ liệu hay câu lệnh (prompt) đến máy chủ của bên thứ ba!

Tuy nhiên, phần lớn mọi người không biết rằng họ có thể chạy các mô hình AI ngay trên điện thoại Android của mình – và những mô hình này hoàn toàn có khả năng xử lý các tác vụ nặng.

Quan trọng hơn, xét đến các yếu tố như quyền riêng tư và chi phí, nhiều tác vụ thực hiện bằng AI cục bộ (chạy trực tiếp trên thiết bị) lại mang lại hiệu quả tốt hơn khi thực hiện ngoại tuyến. Dưới đây là 5 ứng dụng mà bạn có thể tận dụng AI cục bộ trên Android để thực hiện.

Trò chuyện và viết lại văn bản

Hóa ra quyền riêng tư và tốc độ không phải là hai yếu tố loại trừ lẫn nhau

Nhận câu trả lời nhanh cho các câu hỏi thường ngày và viết lại văn bản là hai tác vụ mà hầu hết mọi người đều sử dụng chatbot AI để thực hiện. Đây cũng là những việc bạn có thể dễ dàng làm bằng ứng dụng AI chạy cục bộ trên Android. Lợi ích lớn nhất là bạn không cần lo lắng về vấn đề quyền riêng tư khi xử lý thông tin nhạy cảm vì nội dung không hề rời khỏi thiết bị của bạn! Tùy thuộc vào mô hình bạn chọn, quá trình này cũng có thể diễn ra khá nhanh chóng.

Có một vài cách để bạn đạt được mục tiêu này. Lựa chọn dễ dàng (và hiệu quả) nhất là thiết lập một mô hình AI phù hợp thông qua Google AI Edge Gallery và upload nó lên bất cứ khi nào bạn cần viết lại văn bản hoặc muốn trò chuyện. Trong AI Edge Gallery, bạn có thể chọn giữa AI Chat (cho các cuộc hội thoại nhiều lượt) và Prompt Lab (để viết lại văn bản trong một lần thực hiện). Nếu muốn nghiên cứu chuyên sâu hơn để phục vụ việc viết lách, bạn nên sử dụng skill Wikipedia được tích hợp sẵn trong chế độ Agent.

Tất nhiên, bạn không thể kỳ vọng tốc độ nhanh như khi dùng ChatGPT hay Gemini. Tuy nhiên, khi xử lý nội dung nhạy cảm mà bạn không muốn bị dùng để huấn luyện AI, thì sự kiên nhẫn đó hoàn toàn xứng đáng với những lợi ích về quyền riêng tư mà nó mang lại.

Hiểu hình ảnh

AI xử lý hình ảnh cũng không cần đến máy chủ

Trước đây, các mô hình AI có thể chạy cục bộ chỉ giới hạn ở những tác vụ văn bản, nhưng điều đó đã thay đổi với các mô hình Gemma mới nhất của Google. Trong khi Gemini và Google Lens cần kết nối với đám mây mỗi khi bạn đặt câu hỏi liên quan đến hình ảnh, thì việc sử dụng hệ thống ngoại tuyến để nhận diện vật thể hoặc mô tả hình ảnh lại mang đến những lợi ích riêng. May mắn thay, bạn có thể sử dụng ứng dụng AI Edge Gallery để thực hiện việc này.

Bạn có thể chọn 1 trong 4 mô hình Gemma để chạy tính năng Ask Image trong ứng dụng Edge Gallery; chúng có thể mang lại hiệu suất ấn tượng tùy thuộc vào thiết bị của bạn. Tính năng này đã được thử nghiệm trên điện thoại thông minh có RAM 16GB và quá trình hoạt động diễn ra khá mượt mà. Bạn có thể chụp ảnh mới hoặc upload lên ảnh có sẵn. Mô hình Gemma hoạt động khá tốt, dù đôi khi vẫn xảy ra tình trạng "ảo giác" (đưa ra thông tin sai lệch). Tuy nhiên, khi bạn cần mô tả bằng văn bản cho một hình ảnh mà không muốn các nhà cung cấp dịch vụ đám mây truy cập vào, tính năng "Ask Image" trên Edge Gallery sẽ thực hiện công việc đó một cách hiệu quả.

Chuyển đổi giọng nói thành văn bản

Nhập liệu bằng giọng nói không cần kết nối Wi-Fi

Chuyển đổi giọng nói thành văn bản là lĩnh vực có vô số ứng dụng thu phí rất cao hàng tháng, nhưng hầu hết các công cụ này lại dựa vào quá trình xử lý trên đám mây thay vì xử lý trực tiếp trên thiết bị. Điều này có nghĩa là những lời bạn nói phải được gửi đến máy chủ của bên thứ ba. Nhờ hiệu suất ngày càng cao của các mô hình AI chạy cục bộ, bạn có thể dễ dàng thực hiện những tác vụ này ngay trên thiết bị của mình; nghĩa là bạn không cần Wi-Fi để soạn thảo một văn bản dài bằng giọng nói.

Phiên bản mới nhất của AI Edge Gallery cho phép bạn chọn 1 trong 4 mô hình cho tính năng Audio Scribe, giúp chuyển đổi nội dung bạn ghi âm hoặc upload lên thành văn bản. Hạn chế ở đây là các đoạn ghi âm chỉ được giới hạn trong vòng 30 giây. Tuy nhiên, bài viết muốn giới thiệu FUTO Keyboard – một bàn phím mã nguồn mở dành cho Android với nhiều tính năng, trong đó nổi bật nhất là nhập liệu bằng giọng nói. Ứng dụng này sử dụng các mô hình xử lý ngay trên thiết bị để chuyển đổi lời nói thành văn bản và thực hiện rất tốt việc tinh chỉnh, làm sạch nội dung!

Các tính năng tự động sửa lỗi và dự đoán từ ngữ tích hợp ngay trên thiết bị cũng là những điểm được cực kỳ yêu thích ở FUTO Keyboard! Nó còn mang lại trải nghiệm mượt mà khi chèn văn bản vào các trường nhập liệu tương ứng mà không cần phải thao tác chuyển đổi ứng dụng rườm rà, chậm chạp.

Trò chuyện với file PDF

Tài liệu luôn nằm trong điện thoại của bạn

Hầu hết chúng ta đều xử lý các file PDF mà bình thường sẽ không upload lên các công cụ AI, nhưng vẫn làm vậy vì sự tiện lợi. Những lo ngại về quyền riêng tư này cũng là lý do tại sao các công cụ AI chạy cục bộ (trên thiết bị) lại là lựa chọn hợp lý hơn cho tác vụ này. May mắn thay, có nhiều cách để trò chuyện với file PDF mà không cần upload chúng lên máy chủ bên ngoài. Gần đây, nhiều người đã sử dụng một ứng dụng có tên là Anvit để thực hiện chức năng RAG (Retrieval-Augmented Generation) cục bộ, và ứng dụng này sử dụng mô hình Gemma chạy ngay trên thiết bị!

Dù Anvit là sản phẩm của một nhà phát triển độc lập, nó vẫn hoạt động cực kỳ hiệu quả trong việc cho phép bạn trò chuyện với các tài liệu PDF! Quá trình thiết lập chỉ mất vài phút, bao gồm cả thời gian tải xuống mô hình AI chính và mô hình bổ trợ cho RAG. Sau khi hoàn tất, Anvit sẽ yêu cầu bạn upload lên file PDF để chuẩn bị cho quy trình RAG. Tiếp đó, bạn có thể dễ dàng trò chuyện với nội dung của file PDF này.

Như bạn có thể hình dung, việc sử dụng một ứng dụng như Anvit sẽ hợp lý hơn nhiều so với việc tải các tài liệu doanh nghiệp hoặc những dự án đang thực hiện lên đám mây.

Chạy một mô hình LLM hoàn chỉnh

Các chỉ số hiệu năng đã chứng minh tất cả

Cuối cùng, có thể bạn cũng muốn chạy một mô hình ngôn ngữ lớn (LLM) tổng quát ngay trên thiết bị của mình vì sự tiện lợi và hợp lý mà nó mang lại. May mắn thay, bạn có thể sử dụng AI Edge Gallery để thực hiện điều này, miễn là bạn có sẵn các mô hình phù hợp. Phần này của ứng dụng AI cũng hỗ trợ một số mô hình không phải Gemma, chẳng hạn như Qwen 2.5 Instruct và DeepSeek R1 Distill. Nhờ đó, ngay cả khi không sở hữu thiết bị cấu hình quá cao, bạn vẫn có thể chạy một mô hình LLM hoàn chỉnh.

Là một LLM đa phương thức (multimodal), tính năng trò chuyện AI hoạt động rất hiệu quả; mỗi phiên trò chuyện hỗ trợ tối đa 10 hình ảnh và 1 đoạn âm thanh dài 30 giây. Bạn có thể trò chuyện theo cách tương tự như khi dùng ChatGPT hoặc Claude, tuy nhiên tốc độ phản hồi sẽ phụ thuộc vào thiết bị và tài nguyên sẵn có. Khả năng tùy biến trong ứng dụng AI Edge Gallery, cũng được đánh giá cao vì bạn có thể điều chỉnh số lượng token, tùy chọn accelerator và thậm chí cả prompt hệ thống. Hãy lưu ý rằng một số mô hình sẽ làm tăng mức sử dụng CPU và RAM, tùy thuộc vào cách bạn cấu hình chúng. Tuy nhiên, đây là điều có thể chấp nhận được vì bạn có thể chạy các mô hình này mà không cần kết nối Internet.

Những hạn chế của AI chạy cục bộ

Như bạn có thể thấy, các giải pháp AI chạy cục bộ không phải là lựa chọn phù hợp cho mọi thiết bị! Điều này có nghĩa là bạn cần cân nhắc các yếu tố như RAM, dung lượng lưu trữ và tốc độ xử lý của thiết bị trước khi chọn một mô hình phù hợp. Một số mô hình thử nghiệm có dung lượng khoảng 5GB – một con số không hề nhỏ. Dù vậy, vấn đề còn nằm ở việc bạn ưu tiên điều gì hơn: tài nguyên hệ thống hay quyền riêng tư. Bạn thấy đấy, tất cả các công cụ này đều miễn phí – các mô hình cũng vậy – và đó là yếu tố tạo nên sự khác biệt đối với đa số người dùng!