Ollama (ứng dụng desktop)

Ứng dụng desktop Ollama là gì?

Ollama dành cho desktop là một ứng dụng thân thiện với người dùng trên Linux, macOS và Windows, cho phép người dùng chạy các mô hình ngôn ngữ lớn (LLM) cục bộ, cung cấp một giải pháp thay thế riêng tư, miễn phí và an toàn cho AI dựa trên đám mây. Nó hoạt động như một giao diện đồ họa, giúp dễ dàng tải xuống, quản lý và trò chuyện với các mô hình mã nguồn mở (ví dụ: LLaMA, Mistral) mà không cần kỹ năng dòng lệnh.

Các tính năng chính của ứng dụng Ollama

• Thực thi cục bộ: Các mô hình chạy trực tiếp trên phần cứng máy tính của bạn, nghĩa là không cần kết nối Internet.
• Bảo mật dữ liệu: Vì các mô hình chạy cục bộ, dữ liệu của bạn vẫn được bảo mật trên máy tính của bạn và không bao giờ được sử dụng để huấn luyện.
• Giao diện người dùng (UI): Cung cấp giao diện trực quan để trò chuyện với các mô hình, loại bỏ nhu cầu sử dụng môi trường terminal.
• Hỗ trợ đa phương thức: Hỗ trợ các mô hình đa phương thức cho phép người dùng upload lên hoặc kéo và thả hình ảnh để phân tích.
• Quản lý mô hình: Cung cấp tính năng tải xuống và quản lý dễ dàng các mô hình mã nguồn mở khác nhau như Gemma 3 và Deepseek.
• Điều chỉnh cài đặt: Bao gồm các tùy chọn để điều chỉnh độ dài ngữ cảnh nhằm quản lý việc sử dụng bộ nhớ.

Ứng dụng chạy ngầm, thường kích hoạt khả năng tăng tốc GPU trên các card NVIDIA và AMD Radeon để tăng tốc hiệu suất AI.

Cách cài đặt Ollama trên Windows

Ollama chạy như một ứng dụng Windows gốc, bao gồm hỗ trợ GPU NVIDIA và AMD Radeon. Sau khi cài đặt Ollama cho Windows, Ollama sẽ chạy ngầm và dòng lệnh Ollama có sẵn trong cmd, powershell hoặc ứng dụng terminal yêu thích của bạn. Như thường lệ, API của Ollama sẽ được phục vụ tại http://localhost:11434.

Yêu cầu hệ thống

• Windows 10 22H2 trở lên, phiên bản Home hoặc Pro
• Driver NVIDIA 452.39 trở lên nếu bạn có card NVIDIA
• Driver AMD Radeon https://www.amd.com/en/support nếu bạn có card Radeon

Ollama sử dụng các ký tự Unicode để hiển thị tiến trình, có thể hiển thị dưới dạng các ô vuông không xác định trong một số phông chữ terminal cũ hơn trên Windows 10. Nếu bạn thấy điều này, hãy thử thay đổi cài đặt phông chữ terminal.

Yêu cầu hệ thống file

Việc cài đặt Ollama không yêu cầu quyền quản trị viên và được cài đặt trong thư mục home của bạn theo mặc định. Bạn sẽ cần ít nhất 4GB dung lượng trống cho cài đặt nhị phân. Sau khi cài đặt Ollama, bạn sẽ cần thêm dung lượng để lưu trữ các mô hình ngôn ngữ lớn, có thể lên đến hàng chục đến hàng trăm GB. Nếu thư mục chính của bạn không đủ dung lượng, bạn có thể thay đổi vị trí cài đặt các file nhị phân và vị trí lưu trữ những mô hình.

Thay đổi vị trí cài đặt

Để cài đặt ứng dụng Ollama ở một vị trí khác với thư mục chính của bạn, hãy khởi chạy trình cài đặt với flag sau:

OllamaSetup.exe /DIR="d:\some\location"

Thay đổi vị trí lưu trữ mô hình

Để thay đổi nơi Ollama lưu trữ các mô hình đã tải xuống thay vì sử dụng thư mục chính của bạn, hãy đặt biến môi trường OLLAMA_MODELS trong tài khoản người dùng của bạn.

1. Khởi chạy ứng dụng Settings (Windows 11) hoặc Control Panel (Windows 10) và tìm kiếm các biến môi trường.
2. Nhấp vào Edit environment variables for your account.
3. Chỉnh sửa hoặc tạo một biến mới cho tài khoản người dùng của bạn cho OLLAMA_MODELS nơi bạn muốn lưu trữ các mô hình.
4. Nhấp vào OK/Apply để lưu.

Nếu Ollama đang chạy, hãy thoát ứng dụng khay hệ thống và khởi chạy lại từ menu Start hoặc từ một cửa sổ dòng lệnh mới sau khi bạn đã lưu các biến môi trường.

Truy cập API

Đây là một ví dụ nhanh về cách truy cập API từ PowerShell:

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Cách cài đặt Ollama trên macOS

Yêu cầu hệ thống

• MacOS Sonoma (phiên bản 14) trở lên
• Apple dòng M (hỗ trợ CPU và GPU) hoặc x86 (chỉ CPU)

Yêu cầu hệ thống file

Phương pháp cài đặt được khuyến nghị là mount file ollama.dmg và kéo thả ứng dụng Ollama vào thư mục Applications toàn hệ thống. Khi khởi động, ứng dụng Ollama sẽ xác minh xem CLI của ollama có trong PATH của bạn hay không, và nếu không được phát hiện, sẽ yêu cầu quyền tạo liên kết trong /usr/local/bin

Sau khi cài đặt Ollama, bạn sẽ cần thêm dung lượng để lưu trữ các mô hình ngôn ngữ lớn, có thể có kích thước từ hàng chục đến hàng trăm GB. Nếu thư mục chính của bạn không đủ dung lượng, bạn có thể thay đổi vị trí cài đặt các file nhị phân và vị trí lưu trữ những mô hình.

Thay đổi vị trí cài đặt

Để cài đặt ứng dụng Ollama ở một vị trí khác ngoài thư mục Applications, hãy đặt ứng dụng Ollama vào vị trí mong muốn và đảm bảo rằng đường dẫn Ollama.app/Contents/Resources/ollama hoặc một liên kết tượng trưng đến CLI có thể được tìm thấy trong đường dẫn của bạn. Khi khởi động lần đầu, hãy từ chối yêu cầu “Move to Applications?”.

Cách cài đặt Ollama trên Linux

Cài đặt

Để cài đặt Ollama, hãy chạy lệnh sau:

curl -fsSL https://ollama.com/install.sh | sh

Cài đặt thủ công

Tải xuống và giải nén gói:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Khởi động Ollama:

ollama serve

Trong một cửa sổ terminal khác, hãy kiểm tra xem Ollama có đang chạy hay không:

ollama -v

Cài đặt GPU AMD

Nếu bạn có GPU AMD, hãy tải xuống và giải nén thêm gói ROCm:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

Cài đặt ARM64

Tải xuống và giải nén gói dành riêng cho ARM64:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Thêm Ollama làm service khởi động (khuyến nghị)

Tạo người dùng và nhóm cho Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Tạo file service trong /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Sau đó khởi động service:

sudo systemctl daemon-reload
sudo systemctl enable ollama

Cài đặt driver CUDA (tùy chọn)

Tải xuống và cài đặt CUDA. Kiểm tra xem driver đã được cài đặt chưa bằng cách chạy lệnh sau, lệnh này sẽ hiển thị thông tin chi tiết về GPU của bạn:

nvidia-smi​

Cài đặt driver AMD ROCm (tùy chọn)

Tải xuống và cài đặt ROCm v7.

​Khởi động Ollama

Khởi động Ollama và kiểm tra xem nó có đang chạy hay không:

sudo systemctl start ollama
sudo systemctl status ollama

Mặc dù AMD đã đóng góp driver amdgpu vào mã nguồn kernel Linux chính thức, nhưng phiên bản này cũ hơn và có thể không hỗ trợ tất cả các tính năng của ROCm. Bạn nên cài đặt driver mới nhất từ ​​https://www.amd.com/en/support/linux-drivers để hỗ trợ tốt nhất cho GPU Radeon của bạn.

Tùy chỉnh

Để tùy chỉnh cài đặt Ollama, bạn có thể chỉnh sửa file service systemd hoặc các biến môi trường bằng cách chạy:

sudo systemctl edit ollama

Ngoài ra, bạn có thể tạo file ghi đè thủ công trong /etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_DEBUG=1"

Cập nhật

Cập nhật Ollama bằng cách chạy lại script cài đặt:

curl -fsSL https://ollama.com/install.sh | sh

Hoặc bằng cách tải lại Ollama:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Cài đặt các phiên bản cụ thể

Sử dụng biến môi trường OLLAMA_VERSION với script cài đặt để cài đặt một phiên bản Ollama cụ thể, bao gồm cả các bản phát hành trước đó. Bạn có thể tìm thấy số phiên bản trong trang phát hành.

Ví dụ:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Xem nhật ký

Để xem nhật ký của Ollama đang chạy như một service khởi động, hãy chạy:

journalctl -e -u ollama