5 việc hữu ích bạn có thể làm với LLM trên điện thoại

Mỗi khi bạn gửi một yêu cầu đến ChatGPT, Gemini và những phần mềm tương tự, nó sẽ di chuyển qua Internet, đến một máy chủ nào đó và trở thành một phần của hệ thống mà bạn không thực sự nhìn thấy. Sự đánh đổi đó thường đáng giá vì các mô hình đám mây nhanh, thông minh và dễ sử dụng hơn.

Nhưng việc chạy một mô hình ngôn ngữ nhỏ cục bộ trên điện thoại đã thay đổi cách mọi người sử dụng AI. Trải nghiệm này riêng tư hơn và đôi khi thực tế hơn mong đợi. Nó không mạnh mẽ bằng AI đám mây, nhưng đối với một số việc nhất định, nó thực sự là công cụ tốt hơn.

Đây là những cách hữu ích nhất để sử dụng một LLM cục bộ trên điện thoại!

Sử dụng LLM trên điện thoại như một đối tác tư duy

Có một số loại câu hỏi khiến bạn phải suy nghĩ kỹ trước khi gõ vào ChatGPT hoặc thậm chí là Google. Không phải vì nó không phù hợp, mà vì nó đủ riêng tư để việc gửi nó đến một máy chủ liên kết với tài khoản cá nhân khiến bạn cảm thấy không thoải mái. Điều gì được coi là “quá riêng tư” sẽ khác nhau tùy người, nhưng dường như ai cũng có một ranh giới vô hình nào đó.

Đó là những câu hỏi mà bạn nên bắt đầu đặt cho một mô hình cục bộ. Cuộc trò chuyện diễn ra trên phần cứng của bạn, và nếu muốn thận trọng hơn nữa, bạn có thể bật Airplane Mode trên điện thoại và có một cuộc trò chuyện hoàn toàn không kết nối với thế giới bên ngoài. Lúc đó, thực sự chỉ có bạn và mô hình, không có kết nối với thế giới bên ngoài.

Điều này thay đổi cách mọi người sử dụng AI. Họ sẵn sàng suy nghĩ thành tiếng hơn, thử nghiệm những ý tưởng chưa hoàn thiện hoặc đặt những câu hỏi mà bình thường họ sẽ giữ kín cho riêng mình.

Sử dụng LLM trên điện thoại xử lý những ghi chú lộn xộn

Một số người ghi chép rất nhiều, và thành thật mà nói, hầu hết chúng đều rất lộn xộn. Chúng bao gồm các bản ghi âm chuyển giọng nói thành văn bản lặp đi lặp lại, những gạch đầu dòng không có ngữ cảnh, vài suy nghĩ dang dở mà lúc đó khá thú vị, nhưng sau đó lại chẳng còn ý nghĩa gì nữa. Quy trình làm việc cũ bao gồm việc nhìn chằm chằm, xáo trộn các dòng và từ từ cố gắng tái tạo lại ý tưởng muốn nói.

Bây giờ, bạn hãy dán thẳng những ý tưởng hỗn độn đó vào một mô hình cục bộ và yêu cầu nó sắp xếp chúng. Nó có thể tìm ra mạch suy nghĩ, hiểu được ý bạn muốn nói đến, và trả về một thứ gì đó sạch sẽ hơn để tiếp tục. Không phải tất cả đều được trau chuốt, nhưng đủ mạch lạc để tiến lên.

Điều này đặc biệt hiệu quả đối với những ghi chú quá thô sơ để gửi đi bất cứ đâu. Vì mọi thứ đều nằm trên thiết bị, bạn không cần ngần ngại dán tài liệu có tên thật, số liệu hoặc ngữ cảnh cá nhân. Như đã đề cập trước đó, không có sự tạm dừng nào trong đầu về việc văn bản sẽ đi đến đâu, vì nó không bao giờ rời khỏi máy. Đó chính là lý do tại sao nhiều người chuyển mọi thứ sang AI cục bộ và ngừng gửi tài liệu của mình lên đám mây.

Sử dụng LLM trên điện thoại chạy các bước kiểm tra code nhanh

Dùng khi cần kiểm tra lại tính hợp lý của logic

Logic độc quyền, công cụ nội bộ, cấu hình dành riêng cho khách hàng — đây là rất nhiều trường hợp mà việc dán code vào mô hình đám mây là một ý tưởng tồi, bất kể điều khoản dịch vụ hứa hẹn gì. Một LLM cục bộ chạy trên điện thoại đã trở thành một giải pháp dự phòng nhẹ nhàng khi bạn không ở gần laptop. Cũng giống như có một số cách thú vị để sử dụng LLM cục bộ với các công cụ MCP trên desktop, bạn có thể mô tả lỗi, dán một hàm nhỏ hoặc chỉ yêu cầu giải thích bằng tiếng Anh đơn giản về những gì một đoạn logic đang thực hiện trực tiếp từ điện thoại của mình.

Nó không thể thay thế hoàn toàn một IDE chuyên nghiệp, thậm chí còn không thể sánh bằng, nhưng nó lấp đầy những khoảng trống. Công cụ này hoạt động tốt nhất với các snippet ngắn, khoảng vài trăm dòng là tối đa. Trong phạm vi đó, ngay cả các mô hình đơn giản trên thiết bị cũng có khả năng giải thích logic, phát hiện lỗi rõ ràng hoặc đề xuất những cách tiếp cận gọn gàng hơn.

Dùng LLM trên điện thoại như một gia sư ngôn ngữ không áp lực

Luyện tập không cần theo dõi chuỗi ngày học, điểm số hay áp lực

Các ứng dụng học ngôn ngữ dựa trên đám mây thường giống game di động hơn là công cụ học tập. Chúng theo dõi chuỗi ngày học, nhắc nhở bạn bằng thông báo và chèn quảng cáo để giữ chân bạn. Một ứng dụng LLM cục bộ thì không làm điều đó.

Hãy sử dụng LLM cục bộ để luyện tập ngôn ngữ theo cách tự do hơn. Lấy cảm hứng từ mẹo sử dụng Kindle và ChatGPT như một lối tắt để học một ngôn ngữ mới, bạn có thể hỏi những câu hỏi ngữ pháp khó, yêu cầu các tình huống nhập vai hoặc chỉ đơn giản là trò chuyện thoải mái mà không cần lo lắng về lỗi sai. Không có hệ thống tính điểm và không có cảm giác bị đánh giá.

Vì nó chạy cục bộ, nên nó cũng hoạt động ngoại tuyến. Bạn có thể luyện tập trong chuyến bay, trên Wi-Fi khách sạn chập chờn hoặc bất cứ nơi nào kết nối không ổn định. Điều đó giúp bạn dễ dàng tranh thủ các buổi học ngắn mà không cần lên kế hoạch về kết nối.

Hướng camera vào mọi thứ và hỏi...

Một số mô hình cục bộ có thể xử lý cả hình ảnh lẫn văn bản (chúng thực chất được gọi là mô hình đa phương thức), mở ra nhiều ứng dụng thực tế. Mọi người thường sử dụng chúng để tóm tắt bảng trắng, diễn giải ghi chú viết tay và trích xuất các điểm chính từ ảnh chụp nhanh.

Nó cũng hữu ích cho các tình huống hàng ngày: Chụp nhãn thành phần để kiểm tra lại chất gây dị ứng, chụp ảnh bao bì sản phẩm để hiểu các thuật ngữ không quen thuộc và chụp ảnh thực vật chỉ để nhận dạng sơ bộ. Không có thao tác nào trong số này yêu cầu kết nối Internet khi mô hình chạy hoàn toàn trên thiết bị.

Kết quả không phải lúc nào cũng hoàn hảo. Các mô hình nhỏ hơn có thể bỏ sót chi tiết, đặc biệt khi hình ảnh bị mờ hoặc rối rắm. Tuy nhiên, chúng thường đủ tốt để cung cấp ngữ cảnh nhanh hoặc ý kiến ​​tham khảo, và đó thường là tất cả những gì chúng ta cần.

Một mô hình nhỏ hơn, nhưng hữu ích theo một cách khác

MNN Chat, được Alibaba phát triển như một dự án mã nguồn mở, đã trở thành lựa chọn hàng đầu cho những loại tác vụ này vì khả năng tận dụng hiệu năng phần cứng di động rất tốt. Nó chứng minh một cách thuyết phục rằng bạn có thể (và nên) chạy một LLM nhỏ gọn trên điện thoại Android của mình.

Tuy nhiên, việc chạy một LLM cục bộ trên điện thoại không thể thay thế cho AI đám mây. Các mô hình lớn hơn vẫn chiếm ưu thế khi nói đến những tác vụ nặng, suy luận phức tạp, lập trình, nghiên cứu chuyên sâu. Nhưng đó không phải là vấn đề chính; các mô hình cục bộ đóng một vai trò khác. Chúng riêng tư, luôn trong tầm tay và khá hữu ích cho những tác vụ nhỏ, hàng ngày.