Đây là cách dễ dàng và nhanh chóng nhất để bắt đầu với bất kỳ AI agent nào!

Nhiều người muốn chạy một mô hình AI cục bộ trên máy Mac Mini M4 của mình, chủ yếu là vì tò mò về khả năng của nó so với các mô hình dựa trên đám mây. Vì vậy, họ đã yêu cầu Claude cung cấp tài liệu hướng dẫn cách thực hiện, giống như cách yêu cầu bất kỳ hướng dẫn thiết lập LLM cục bộ nào, chỉ là được điều chỉnh cho cấu hình cụ thể của mình.

Claude đã đưa ra một hướng dẫn gồm 9 phần, chỉ cách cài đặt một agent framework riêng biệt, cài đặt Ollama bên dưới nó, sau đó chọn và tải xuống một mô hình có kích thước phù hợp với phần cứng. Sau đó, hướng dẫn nói rằng hãy kết nối hai thứ này với nhau và kiểm tra mọi thứ từ Terminal. Một người đã đọc toàn bộ hướng dẫn nhưng sau đó không làm bất cứ điều gì trong đó.

Claude Cowork có thể quản lý mọi thứ trên thiết bị cục bộ, và về cơ bản, nó được hướng dẫn: "Hãy làm điều này cho tôi". Những gì đang chạy trên Mini hiện nay là kết quả của phiên làm việc đó, chứ không phải từ chính hướng dẫn.

Hướng dẫn được Claude cung cấp

Hai ứng dụng và thao tác chuyển đổi thủ công giữa chúng

Hướng dẫn ban đầu đề xuất Hermes Agent, agent framework mã nguồn mở của Nous Research, là ứng dụng quản lý quá trình tư duy. Bên dưới đó, Ollama được cài đặt riêng để thực sự chạy mô hình, đẩy Qwen 2.5 14B vào vì nó có kích thước phù hợp với bộ nhớ 16GB của Mac Mini, sau đó trỏ Hermes đến Ollama thủ công thông qua URL endpoint tùy chỉnh được nhập vào menu thiết lập. Sau đó, một lệnh Terminal để bắt đầu trò chuyện, cộng với một vài lệnh kiểm tra trạng thái khi có sự cố kết nối.

Không có gì khó cả, nhưng tốt nhất bạn nên có đủ kỹ năng để thực hiện, thoải mái khi làm việc với Terminal và chỉnh sửa các file cấu hình. Bạn có thể tìm hiểu toàn bộ về "Agentic AI" đang được quan tâm rất nhiều hiện nay.

Hướng dẫn cũng bao gồm một phần về việc thêm mô hình đám mây trả phí sau này, bao gồm cả một giải pháp thay thế để định tuyến quyền truy cập đăng ký Claude thông qua token dành cho nhà phát triển mà chính hướng dẫn gọi là "không chính thức và chưa được xác định rõ". Hãy bỏ qua hoàn toàn phần đó, cả trong hướng dẫn và thiết lập riêng, vì nó định tuyến quyền truy cập đăng ký thông qua một token không được ghi chép lại thay vì một API thực tế.

Những gì Cowork đã xây dựng thay thế

Một con đường ngắn hơn để đạt được kết quả tương tự

Đưa cho Cowork một chỉ dẫn duy nhất: Cài đặt và cấu hình Hermes trên Mac Mini, hoàn toàn không động đến Hermes Agent framework. Thay vào đó, coi Hermes như chính mô hình đó, hermes3 của Ollama, và đề xuất Open WebUI làm giao diện trò chuyện thực tế, nêu rõ sự đánh đổi so với tính năng tìm kiếm web tích hợp sẵn của Ollama trước: Tùy chọn tích hợp sẵn cần tài khoản ollama.com và định tuyến tìm kiếm thông qua dịch vụ của họ, trong khi Open WebUI chạy một dịch vụ cục bộ nhỏ và tìm kiếm thông qua DuckDuckGo mà không cần tài khoản. Open WebUI được khuyến nghị là lựa chọn phù hợp hơn cho một chiếc Mac Mini được bật thường xuyên.

Claude không thể tự gõ vào Terminal, có lẽ đó là một tính năng bảo mật, vì vậy nó đã cung cấp 2 lệnh để dán vào. Một lệnh để cài đặt trình chạy gói Python có tên là uv, và một lệnh để tải xuống và khởi chạy Open WebUI. Từ đó, nó gần như tự động điều khiển hoàn toàn, sử dụng Claude trong Chrome để mở trang cục bộ, xác nhận máy chủ đang chạy và thiết lập chức năng tìm kiếm web, hàng tá thao tác nhỏ trên trình duyệt mà bạn không cần phải tự mình thực hiện.

Những việc bạn thực sự cần làm

Mật khẩu và một thiết lập bị bỏ sót

Phần việc của bạn khá nhỏ: Dán hai lệnh, sau đó tự tạo tài khoản quản trị cho Open WebUI, vì Claude không xử lý mật khẩu (đó cũng là một tính năng bảo mật). Mọi thứ khác đều diễn ra tự động dù bạn có theo dõi hay không.

Sự cố nhỏ duy nhất là ở Cowork và nó đã tự động phát hiện ra mà không cần nhắc nhở. Message kiểm tra đầu tiên trả về thông tin cũ, đã lỗi thời nhiều năm, vì chức năng tìm kiếm web thực sự chưa được kích hoạt trước khi message đó được gửi đi. Nó nhận thấy sự không khớp, kiểm tra lại chức năng tìm kiếm và chạy lại bài test, kết quả trả về 3 nguồn hiện tại. Điều thực sự giúp bạn tự tin vào quy trình này không phải vì nó bỏ qua các thao tác trên Terminal, mà là vì nó nhận thấy kết quả của chính mình có vẻ sai và đã sửa lỗi trước khi trả lại nhiệm vụ.

Open WebUI chỉ tiếp tục chạy khi cửa sổ Terminal của nó vẫn mở, vì vậy việc đóng cửa sổ đó sẽ dừng giao diện, mặc dù Ollama và bản thân mô hình vẫn tiếp tục hoạt động trong nền. Cowork đã đề nghị thiết lập một agent khởi chạy để nó tự động khởi động khi đăng nhập, nhưng điều đó vẫn chưa được thực hiện.

Việc thiết lập LLM cục bộ giờ dễ dàng đến vậy!

Hermes Agent vẫn có những lợi thế thực sự so với những gì đã được sử dụng: Bộ nhớ giữa các phiên, các tác vụ theo lịch trình, ủy quyền công cụ, những thứ mà Open WebUI không có. Nếu muốn một agent ghi nhớ các dự án và chạy mọi thứ theo lịch trình, bạn có thể quay lại và làm theo hướng dẫn 9 phần đó một cách kỹ lưỡng, có tùy chọn Nous Portal trả phí và tùy chọn tự cung cấp API key để thêm một mô hình đám mây mạnh mẽ hơn khi cần nâng cấp từ mô hình cục bộ. Nhưng đối với mục tiêu ban đầu, đó là có một AI cục bộ hoạt động mà bạn có thể trò chuyện cùng ngay hôm nay, thì thiết lập đơn giản hơn mà Cowork lựa chọn hoàn toàn phù hợp.