3 LLM cục bộ có thể chạy trên điện thoại

Các LLM đã là một phần trong thiết lập desktop của nhiều người từ rất lâu rồi. Tuy nhiên, không ít người chưa bao giờ coi trọng mảng trợ lý ảo trên điện thoại, và ngay cả sau trải nghiệm ban đầu với việc chạy Gemma 4 trên di động, họ vẫn thường chọn Claude, và có lẽ điều này sẽ không thay đổi trong thời gian tới.

Nhưng việc có AI cục bộ trên di động đã chứng tỏ là vô cùng hữu ích trong những lúc mất kết nối – ít nhất là khi nhà cung cấp dịch vụ Internet và trạm phát sóng di động bị mất kết nối cùng lúc, điều này thỉnh thoảng vẫn xảy ra ở đây. Vì vậy, rất đáng để nghiêm túc hơn về vấn đề này và khám phá những lựa chọn khác như Llama, Gemma hay Qwen. Tất cả chúng đã được thử nghiệm bằng cùng một bài kiểm tra để xác định xem ứng dụng nào thực sự đáng để giữ lại trên điện thoại.

Gemma 4 E2B

Gemma 4 E2B là mô hình ưu tiên thiết bị biên của Google, được thiết kế ngay từ đầu để chạy trên điện thoại chứ không phải thu nhỏ từ một thiết bị lớn hơn. Kiến trúc của nó cho phép hoạt động với dung lượng bộ nhớ khoảng 2GB và xử lý hình ảnh một cách tự nhiên. Đây là mô hình di động đầu tiên và hầu như là duy nhất vì nó hoạt động rất tốt nên không có lý do gì để thay đổi cho các trường hợp sử dụng thực tế. Vì vậy, hãy xem hiệu suất của mô hình cơ bản này so với các đối thủ cạnh tranh mới như thế nào.

Đầu tiên, chạy thử nó với một vài câu hỏi mà cộng đồng LLM cục bộ sử dụng để kiểm tra nhanh phản hồi - bài kiểm tra strawberry, viên bi trong cốc và anh em của Sally. Những câu hỏi này được lấy từ trang web của Mervin Praison, một nhà phát triển AI.

Theo Gemma, từ "Strawberry" có hai chữ "R", đây là trường hợp thất bại nổi tiếng đối với các mô hình nhỏ - có liên quan đến cách chúng phân tách từ, và thậm chí một số bot đám mây cũng gặp khó khăn với nó vì lý do nào đó. Trường hợp viên bi lại rất kỳ lạ; nó đi qua từng bước logic, xác định chính xác rằng chiếc cốc bị úp ngược, rồi bằng cách nào đó vẫn đi đến kết luận viên bi nằm trong lò vi sóng cùng với chiếc cốc. Anh em của Sally có mô hình tương tự và lập luận chỉ ra câu trả lời đúng mà không thực sự đi đến đích. Trong cả ba trường hợp, nó đều có cùng một mô típ là kể lại các bước một cách ổn thỏa, nhưng lại không thể tìm ra câu trả lời. Không hẳn là ngu ngốc, mà giống như luồng lập luận bị đứt đoạn ngay ở cuối.

Sau đó, nó được giao một nhiệm vụ thực sự: Một khóa học Python 101 cuối tuần, được thiết kế cho người mới bắt đầu hoàn toàn, với các ví dụ code và bài tập trong mỗi phần. Khóa học khá ổn. Nó thực sự đặt nỗ lực vào cấu trúc, chia mọi thứ thành các khối một giờ với những ví dụ code và bài tập. Điểm yếu của khóa học là phần hướng dẫn kỹ thuật - nó chỉ bảo "mở trình soạn thảo văn bản hoặc trình thông dịch Python trực tuyến" mà không hướng dẫn chi tiết cho người mới bắt đầu, như thể họ đã hiểu rõ về những công cụ đó. Gemma chủ yếu là mô hình trực quan vì các khóa học dường như không phải là thế mạnh của nó.

Llama 3.2 3B

Chuyên gia hội thoại của Meta, trên điện thoại

Llama 3.2 3B là mô hình hội thoại nhỏ của Meta, được tinh chỉnh đặc biệt cho các tác vụ trò chuyện và tóm tắt mà bạn thực sự sẽ chạy trên điện thoại. Các bài kiểm tra hiệu năng của Meta tuyên bố rằng nó đánh bại Gemma 2 2.6B và Phi-3.5 mini. Llama là cái tên mặc định mà mọi người thường nghĩ đến khi muốn một mô hình nhỏ và thực sự không biết nó so với mô hình Gemma trước đó ra sao.

Llama cũng trả lời sai về từ Strawberry, nhưng theo cách hài hước hơn. Nó đánh vần từng chữ cái (S-T-R-A-W-B-E-R-R-Y) rồi vẫn nói có hai chữ R. Câu hỏi về viên bi thì cũng tạm được, cùng kiểu logic nhưng kết luận sai như Gemma. Câu hỏi về anh em của Sally thì tệ hơn, câu trả lời là hai với lý luận "mỗi người một anh em trai", điều này hoàn toàn không hợp lý. Nhìn chung, khá giống như mong đợi, vì hầu hết các mô hình đều gặp khó khăn ở những câu hỏi này, nhưng Llama thì tệ hơn một chút.

Phần khóa học mới là phần mà Llama thực sự vượt trội hơn. Cấu trúc bài học có vẻ đơn giản hơn so với của Gemma, không có quá nhiều biểu tượng cảm xúc và tiêu đề phần in đậm, chỉ cung cấp các block code sạch sẽ kèm theo giải thích. Bản thân code cũng có vẻ thực tế hơn, bao gồm cả ô nhập liệu và vòng lặp while trong dự án cuối cùng, điều này tốt hơn so với bản demo "Hello World" của Gemma. 

Qwen 3.5 4B

Qwen 3.5 4B là mô hình nhỏ gọn của Alibaba, mạnh về khả năng suy luận và cũng có tính năng nhận diện hình ảnh. Nó lớn hơn nhiều so với Phi nhưng vẫn chạy mượt mà.

Trong các prompt cơ bản, Qwen thực sự là chương trình duy nhất trong ba chương trình trả lời đúng về từ Strawberry - nó liệt kê từng chữ cái với số đếm tăng dần và đi đến kết quả là 3. Tuy nhiên, nó vẫn trả lời sai câu hỏi về viên bi, cũng giống như những chương trình khác, sử dụng logic phi lý. Câu hỏi về anh em của Sally mới là điều kỳ lạ. Qwen bắt đầu với 3, rồi tự hạ xuống còn 2, và sau đó giữa chừng câu trả lời lại bắt đầu nghi ngờ chính mình với câu "khoan đã, để tôi đánh giá lại" trước khi quay lại liệt kê gia đình từ đầu. Có vẻ như nó đang tự nghi ngờ chính mình, điều này không phải là xấu.

Tuy nhiên, khóa học là phần mạnh nhất trong 3 công cụ. Qwen đã nêu tên các trình soạn thảo cụ thể mà người mới bắt đầu thực sự có thể mở - VS Code, PyCharm, Replit - thay vì chỉ nói chung chung là "một trình soạn thảo văn bản", và dự án cuối cùng là một công cụ tính tiền boa với các biến thực tế thay vì một vòng lặp lời chào.

Đâu là LLM cục bộ tốt nhất cho điện thoại?

Lựa chọn cuối cùng là Qwen. Nó vượt trội hơn hẳn các phần mềm khác về khả năng suy luận và cấu trúc. Tuy nhiên, Gemma chiếm ưu thế khi làm việc với hình ảnh do khả năng phân tích vượt trội của nó. Thành thật mà nói, sau khi thử các mô hình khác, nhiều người luôn quay lại với Gemma và Qwen, vì vậy điều này không quá ngạc nhiên.

Nếu bạn muốn tự mình thử, ứng dụng mà bài viết đã sử dụng là PocketPal, có sẵn trên Android và iOS. Nó tích hợp trực tiếp với trung tâm Hugging Face nên bạn có rất nhiều lựa chọn để chọn.