LM Studio là gì?

LM Studio thân thiện với người dùng và có sẵn ở định dạng nhị phân cho Windows và Mac (phiên bản Linux đang được phát triển). Nó hỗ trợ nhiều mô hình tương thích với thư viện tensor ggml từ dự án llama.cpp và yêu cầu 16GB RAM.

Hãy cùng khám phá xem LM Studio vừa dễ sử dụng vừa tiện lợi như thế nào!

LM Studio là gì?

LM Studio là ứng dụng desktop đa nền tảng cho phép bạn tìm kiếm, khởi tạo và thử nghiệm nhiều LLM khác nhau. Ứng dụng này cung cấp giao diện thân thiện với người dùng và nhiều tính năng để phục vụ cho cả người mới bắt đầu và người dùng nâng cao.

Các tính năng chính của LM Studio

• Giao diện người dùng:
  • LM Studio trình bày giao diện giống như ChatGPT, giúp bạn dễ dàng tương tác với các mô hình khác nhau.
  • Giao diện bao gồm các tùy chọn để khám phá những mô hình, load chúng cục bộ và tương tác với chúng bằng định dạng dựa trên trò chuyện.
• Khám phá và lựa chọn mô hình:
  • Phần "Discover" cho phép bạn khám phá nhiều LLM khác nhau từ kho lưu trữ Hugging Face.
  • Bạn có thể tìm kiếm các mô hình dựa trên những tiêu chí cụ thể và xem thông tin chi tiết của chúng, bao gồm số lượng tham số, kiến ​​trúc và tác giả.
• Load và thử nghiệm mô hình:
  • Sau khi chọn một mô hình, bạn có thể tải xuống và load mô hình cục bộ.
  • Ứng dụng cung cấp một cách thuận tiện để chuyển đổi giữa các mô hình khác nhau và thử nghiệm những khả năng của chúng.
• Yêu cầu hệ thống và tùy chỉnh:
  • Bạn có thể xác định yêu cầu hệ thống để tác động đến đầu ra của các mô hình.
  • Tùy chỉnh các tham số khác như độ dài của phản hồi, chuỗi dừng, v.v...
• Runtime mô hình:
  • LM Studio hỗ trợ nhiều runtime khác nhau có thể nâng cao hiệu suất của các mô hình.
  • Ứng dụng cung cấp thông tin về runtime tương thích, cho phép bạn tải xuống và cài đặt chúng.
• Chế độ nhà phát triển:
  • Đối với người dùng nâng cao, chế độ nhà phát triển cung cấp các tính năng và cài đặt bổ sung.
  • Khám phá các tùy chọn như cấu hình máy chủ, điểm cuối API và ghi nhật ký.

Sử dụng các mô hình từ bảng điều khiển Chat

Sau khi cài đặt, LM Studio tạo điều kiện thuận lợi cho việc tải xuống các mô hình từ Hugging Face Hub, bao gồm những tùy chọn preset.

Ví dụ, chúng ta có thể tải xuống mô hình Zephyr 7B β, được TheBloke điều chỉnh cho định dạng GGUF của llama.cpp.

Kích hoạt và load mô hình vào LM Studio rất đơn giản.

Sau đó, bạn có thể bắt đầu sử dụng mô hình ngay từ bảng điều khiển Chat, không cần kết nối Internet.

Bảng điều khiển bên phải hiển thị và cho phép sửa đổi các preset mặc định cho mô hình. Mức sử dụng bộ nhớ và số liệu suy luận hữu ích được hiển thị trong tiêu đề của cửa sổ và bên dưới bảng điều khiển Chat.

Các mô hình khác, như codellama Instruct 7B, cũng có sẵn để tải xuống và sử dụng.

LM Studio cũng làm nổi bật các mô hình và phiên bản mới từ Hugging Face, biến nó thành một công cụ vô giá để khám phá và thử nghiệm những bản phát hành mới nhất.

Truy cập các mô hình bằng API

Một tính năng đáng chú ý của LM Studio là khả năng tạo Local Inference Servers chỉ bằng một cú nhấp chuột.

Tùy chọn Automatic Prompt Formatting đơn giản hóa việc xây dựng prompt để phù hợp với định dạng mong đợi của mô hình. API được hiển thị phù hợp với định dạng OpenAI.

Sau đây là ví dụ về cách gọi điểm cuối bằng CURL:

curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ 
  "messages": [ 
    { "role": "system", "content": "You are an AI assistant answering Tech questions" },
    { "role": "user", "content": "What is Java?" }
  ], 
  "temperature": 0.7, 
  "max_tokens": -1,
  "stream": false
}'

Phản hồi cung cấp thông tin được yêu cầu:

{
    "id": "chatcmpl-iyvpdtqs1qzlv6jqkmdt9",
    "object": "chat.completion",
    "created": 1699806651,
    "model": "~/.cache/lm-studio/models/TheBloke/zephyr-7B-beta-GGUF/zephyr-7b-beta.Q4_K_S.gguf",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Java is a high-level, object-oriented
                                programming language that was first released by Sun
                                Microsystems in 1995. It is now owned by Oracle Corporation.
                                Java is designed to be platform independent, meaning that it
                                can run on any operating system that has a Java Virtual
                                Machine (JVM) installed. Java's primary applications are in
                                the development of desktop applications, web applications,
                                and mobile apps using frameworks such as Android Studio,
                                Spring Boot, and Apache Struts. Its syntax is similar to
                                C++, but with added features for object-oriented programming
                                and memory management that make it easier to learn and use
                                than C++. Java's popularity is due in part to its extensive
                                library of pre-written code (known as the Java Class
                                Library) which makes development faster and more efficient."
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "completion_tokens": 166,
        "total_tokens": 166
    }
}

Tính năng này hỗ trợ rất nhiều trong việc thử nghiệm tích hợp với các frontend như chatbot hoặc những giải pháp quy trình làm việc như Flowise.

Mặc dù không phải là mã nguồn mở, LM Studio là một bổ sung mạnh mẽ cho bộ công cụ cục bộ của bạn, cho phép bạn dễ dàng thử nghiệm và áp dụng các mô hình từ Hugging Face. Giao diện thân thiện với người dùng và các tính năng đa dạng khiến nó trở thành một nguồn tài nguyên thiết yếu cho bất kỳ ai muốn khám phá thế giới của những mô hình ngôn ngữ lớn.