Cách sử dụng trợ lý AI ngoại tuyến Dolphin3 thay vì chatbot đám mây

Nhiều người đã sử dụng chatbot dựa trên đám mây từ lâu. Vì các mô hình ngôn ngữ lớn đòi hỏi sức mạnh tính toán đáng kể để chạy, nên về cơ bản chúng là lựa chọn duy nhất. Nhưng với LM Studio và các LLM lượng tử hóa, giờ đây bạn có thể chạy những mô hình tốt ngoại tuyến bằng phần cứng hiện có. Khởi đầu từ sự tò mò về AI cục bộ, giờ đây nó đã trở thành một giải pháp thay thế mạnh mẽ, không tốn kém, hoạt động mà không cần Internet và cho phép bạn kiểm soát hoàn toàn các tương tác AI của mình.

LM Studio đã khắc phục sự phức tạp của AI cục bộ

Việc chạy các LLM cục bộ giờ đây dễ dàng hơn bao giờ hết!

Trước khi khám phá ra LM Studio, nhiều người đã dành vô số giờ vật lộn với các công cụ mã nguồn mở mới được xây dựng. Họ thường xuyên chìm đắm trong kho lưu trữ GitHub, đọc tài liệu kỹ thuật dài dòng, cấu hình các môi trường Python dường như bị lỗi sau mỗi lần cập nhật, và tìm kiếm những mô hình phù hợp trên trang Hugging Face của oobabooga. Ngay khi vừa thiết lập xong, các công cụ cơ bản lại bị lỗi thời hoặc trải qua những thay đổi lớn, buộc bạn phải bắt đầu lại toàn bộ quy trình.

LM Studio đã thay đổi hoàn toàn trải nghiệm này bằng cách đóng gói mọi thứ vào một ứng dụng desktop hoàn thiện, giúp việc tải xuống và chạy các mô hình ngôn ngữ lớn trở nên đơn giản như cài đặt bất kỳ phần mềm nào khác. Để chạy AI ngoại tuyến, bạn cần hai thứ: Một mô hình AI lượng tử hóa và một công cụ giao diện như LM Studio. Các mô hình lượng tử hóa là phiên bản nén của những mô hình AI đầy đủ, duy trì hầu hết các khả năng của chúng trong khi sử dụng ít tài nguyên máy tính hơn đáng kể. Thay vì cần phần cứng máy chủ đắt tiền, bạn có thể chạy các mô hình AI phức tạp trên một laptop thông thường với CPU tốt và 16GB RAM. Với LM Studio, thậm chí có thể chạy chatbot AI trên phần cứng cũ!

Một trong những mô hình lượng tử hóa được yêu thích khi sử dụng với LM Studio là Dolphin3. Không giống như các mô hình AI thông thường đi kèm với bộ lọc nội dung mở rộng, Dolphin3 được thiết kế để thực sự hữu ích mà không bị hạn chế tùy ý.

Khởi chạy Dolphin3 chỉ trong vài phút

Hướng dẫn khởi động nhanh chóng và dễ dàng

Việc thiết lập trợ lý AI ngoại tuyến không đòi hỏi nhiều chuyên môn kỹ thuật. Toàn bộ quá trình có thể mất khoảng 20 phút, phần lớn thời gian chỉ là chờ tải xuống hoàn tất.

Trước tiên, hãy tải xuống LM Studio từ trang web chính thức và cài đặt như bất kỳ ứng dụng thông thường nào. Phần mềm tương thích với Windows, Mac và Linux, đặc biệt là các máy Mac Apple Silicon hoạt động rất tốt trong những tác vụ suy luận AI loại này. Sau khi cài đặt, LM Studio sẽ mở ra một giao diện gọn gàng với thanh tìm kiếm để tìm kiếm mô hình.

Tìm kiếm "Dolphin3" và bạn sẽ thấy một số phiên bản khả dụng. Bạn nên bắt đầu với phiên bản tham số 8B nếu có 16GB RAM, hoặc phiên bản 3B nhỏ hơn cho máy tính có 8GB. Dung lượng tải xuống dao động từ 2GB đến 6GB, tùy thuộc vào phiên bản bạn chọn. LM Studio hiển thị chính xác dung lượng bộ nhớ cần thiết cho từng mô hình, giúp bạn không cần phải đoán mò về khả năng tương thích phần cứng.

Sau khi tải xuống hoàn tất, hãy vào giao diện Chat ở góc trên bên phải của thanh bên, sau đó nhấp vào nút Select a mô hình to load ở giữa phía trên cùng của cửa sổ. Các mô hình đã tải xuống sẽ hiển thị dưới dạng danh sách drop-down. Chọn Dolphin3 để bắt đầu load mô hình. Quá trình load mất khoảng 30 giây, sau đó bạn đã sẵn sàng để bắt đầu trò chuyện. Giao diện quen thuộc với bất kỳ ai đã sử dụng ChatGPT, với hộp tin nhắn ở cuối và lịch sử trò chuyện ở trên.

Khi hỏi Dolphin3 một câu hỏi, hiệu suất của nó khá tốt. Không nhanh như ChatGPT hay Claude, nhưng khá chấp nhận được. Như bạn thấy, Dolphin3 có thể trả lời trong khoảng 11 giây cho một câu trả lời khoảng 320 từ (453 token), giúp cuộc trò chuyện diễn ra mượt mà mà không hề có độ trễ đáng kể. Mọi thứ diễn ra cục bộ, vì vậy thời gian phản hồi luôn nhất quán bất kể kết nối Internet của bạn ra sao.

Khi kết thúc cuộc trò chuyện, bạn có thể nhấp vào nút Eject để xóa hoàn toàn Dolphin3 khỏi bộ nhớ. Thao tác này sẽ xóa ngay lập tức mọi dấu vết của cuộc trò chuyện và giải phóng tài nguyên hệ thống.

Không giống như các dịch vụ đám mây có thể lưu giữ lịch sử trò chuyện của bạn vô thời hạn, việc loại bỏ mô hình cho phép bạn kiểm soát hoàn toàn thời điểm các cuộc trò chuyện của mình bị xóa vĩnh viễn.

Tại sao mọi người thích sử dụng Dolphin3?

Nhanh chóng, riêng tư và có khả năng đáng ngạc nhiên

Đúng, nó sẽ không phải là một lựa chọn thay thế tuyệt vời cho ChatGPT cho những lập luận phức tạp hoặc những thông tin chi tiết mới nhất được kết nối web, nhưng nó bù đắp cho điều đó bằng những cách khác. Các cuộc trò chuyện nhạy cảm về quyền riêng tư đứng đầu danh sách này, nơi bạn có thể chia sẻ những suy nghĩ và mối quan tâm sâu sắc nhất của mình mà không phải lo lắng về chính sách lưu trữ dữ liệu hoặc giám sát của công ty. Điều này bao gồm những suy ngẫm cá nhân, các vấn đề về mối quan hệ hoặc những tình huống nhạy cảm tại nơi làm việc mà bạn sẽ không bao giờ tin tưởng vào các dịch vụ đám mây.

Hiện tại, có một số LLM ngoại tuyến khác mà bạn có thể thử, nhưng nhiều người vẫn gắn bó với Dolphin3 vì cách tiếp cận kiểm duyệt nội dung của nó. Là một mô hình không kiểm duyệt không có nghĩa là nó bỏ qua đạo đức hay bối cảnh. Vì nó được xây dựng dựa trên LLaMA, được đào tạo trên các tập dữ liệu lớn và đa dạng, nó vẫn phản ánh sự hiểu biết vững chắc về đúng và sai. "Không kiểm duyệt" đơn giản có nghĩa là nó có thể xử lý những chủ đề mà các mô hình khác có thể tránh, chẳng hạn như chính trị gây tranh cãi hoặc các sự kiện lịch sử nhạy cảm.

Nhiều người vẫn sử dụng AI dựa trên đám mây

Không thể từ bỏ hoàn toàn AI dựa trên đám mây, và thành thật mà nói, đó không phải là mục tiêu. Thực tế là, để chạy các mô hình thực sự mạnh mẽ, lựa chọn hợp lý duy nhất thực sự là sử dụng AI dựa trên đám mây. Nhiều người thích sử dụng Perplexity cho các nhiệm vụ nghiên cứu và kết nối web, nơi họ cần thông tin cập nhật và cơ sở kiến ​​thức rộng hơn. Các dịch vụ này vượt trội trong những nhiệm vụ đòi hỏi tài nguyên tính toán khổng lồ, dữ liệu thời gian thực hoặc đào tạo mới nhất.

Điều quan trọng là tìm ra sự cân bằng phù hợp giữa AI dựa trên đám mây và AI ngoại tuyến để đảm bảo quyền riêng tư, bảo mật tối đa và giảm thiểu sự phụ thuộc vào cơ sở hạ tầng.