Xây dựng agent hội thoại đầu tiên trong ElevenLabs chỉ với 5 phút

Trong hướng dẫn này, bạn sẽ học cách tạo agent hội thoại (conversational agent) đầu tiên của mình. Đây sẽ là nền tảng để xây dựng các quy trình hội thoại phù hợp với các trường hợp sử dụng cụ thể của doanh nghiệp bạn.

Sử dụng ElevenLabs agents skill để xây dựng và quản lý các voice agent từ trợ lý lập trình AI của bạn:

npx skills add elevenlabs/skills --skill agents

Bạn cũng có thể kết nối MCP server được host với Claude hoặc bất kỳ MCP client nào khác để tạo và quản lý các agent thông qua ngôn ngữ tự nhiên.

ElevenLabs Agents được quản lý thông qua dashboard ElevenAgents, API ElevenLabs, CLI Agents hoặc MCP server được host.

Trợ lý ở góc dưới bên phải trang này là một ví dụ về ElevenLabs agent, có khả năng trả lời các câu hỏi về ElevenLabs, điều hướng giữa các trang và dẫn bạn đến những tài nguyên bên ngoài.

Trong hướng dẫn nhanh này, chúng ta sẽ bắt đầu bằng việc tạo một agent thông qua API hoặc dashboard trên web. Tiếp theo, chúng ta sẽ kiểm thử agent bằng cách nhúng nó vào trang web của bạn hoặc thông qua dashboard ElevenLabs.

Xây dựng agent qua web dashboard 

Trong hướng dẫn này, chúng ta sẽ tạo một trợ lý hỗ trợ hội thoại có khả năng trả lời các câu hỏi về sản phẩm, tài liệu hoặc dịch vụ của bạn. Trợ lý này có thể được nhúng vào trang web hoặc ứng dụng của bạn để cung cấp hỗ trợ theo thời gian thực cho khách hàng.

1. Đăng nhập vào ElevenLabs

Truy cập elevenlabs.io và đăng nhập hoặc tạo tài khoản của bạn.

2. Tạo trợ lý mới

Trong dashboard ElevenLabs, hãy tạo một trợ lý mới bằng cách nhập tên và chọn tùy chọn template trống (Blank template).

3. Cấu hình hành vi của trợ lý

Đi tới tab Agent để cấu hình hành vi của trợ lý. Thiết lập các mục sau:

Tin nhắn đầu tiên

Đây là tin nhắn đầu tiên mà trợ lý sẽ nói thành tiếng khi người dùng bắt đầu cuộc trò chuyện.

Hi, this is Alexis from <company name> support. How can I help you today?

Xin chào, tôi là Alexis từ bộ phận hỗ trợ của <tên công ty>. Hôm nay tôi có thể giúp gì cho bạn?

Prompt hệ thống 

Prompt này định hướng hành vi, nhiệm vụ và tính cách của trợ lý.

Hãy tùy chỉnh ví dụ dưới đây với thông tin về công ty của bạn:

You are a friendly and efficient virtual assistant for [Your Company Name]. Your role is to assist customers by answering questions about the company's products, services, and documentation. You should use the provided knowledge base to offer accurate and helpful responses.

Tasks:
- Answer Questions: Provide clear and concise answers based on the available information.
- Clarify Unclear Requests: Politely ask for more details if the customer's question is not clear.

Guidelines:
- Maintain a friendly and professional tone throughout the conversation.
- Be patient and attentive to the customer's needs.
- If unsure about any information, politely ask the customer to repeat or clarify.
- Avoid discussing topics unrelated to the company's products or services.
- Aim to provide concise answers. Limit responses to a couple of sentences and let the user guide you on where to provide more detail.

Bạn là một trợ lý ảo thân thiện và hiệu quả của [Tên Công Ty Của Bạn]. Nhiệm vụ của bạn là hỗ trợ khách hàng bằng cách giải đáp các thắc mắc về sản phẩm, dịch vụ và tài liệu của công ty. Hãy sử dụng cơ sở dữ liệu kiến ​​thức được cung cấp để đưa ra các câu trả lời chính xác và hữu ích.

Nhiệm vụ:
- Giải đáp thắc mắc: Cung cấp câu trả lời rõ ràng, súc tích dựa trên thông tin có sẵn.
- Làm rõ các yêu cầu chưa cụ thể: Lịch sự hỏi thêm chi tiết nếu câu hỏi của khách hàng chưa rõ ràng.

Nguyên tắc:
- Duy trì giọng điệu thân thiện và chuyên nghiệp trong suốt cuộc trò chuyện.
- Kiên nhẫn và chú trọng đến nhu cầu của khách hàng.
- Nếu không chắc chắn về thông tin nào, hãy lịch sự yêu cầu khách hàng nhắc lại hoặc làm rõ.
- Tránh thảo luận về các chủ đề không liên quan đến sản phẩm hoặc dịch vụ của công ty.
- Cố gắng đưa ra câu trả lời ngắn gọn. Giới hạn phản hồi trong vài câu và để người dùng định hướng khi nào cần cung cấp thêm chi tiết.

Thêm cơ sở dữ liệu kiến ​​thức

Truy cập mục Knowledge Base để cung cấp cho trợ lý thông tin bối cảnh về doanh nghiệp của bạn.

Tại đây, bạn có thể upload lên các tài liệu liên quan và liên kết đến những nguồn tài nguyên bên ngoài:

• Bao gồm tài liệu, câu hỏi thường gặp (FAQ) và các nguồn tài nguyên khác để hỗ trợ trợ lý giải đáp thắc mắc của khách hàng.
• Thường xuyên cập nhật cơ sở dữ liệu kiến ​​thức để đảm bảo trợ lý cung cấp thông tin chính xác và mới nhất.

Tiếp theo, chúng ta sẽ thiết lập giọng nói cho trợ lý của bạn.

Chọn giọng nói

Trong tab Voice, hãy chọn giọng nói phù hợp nhất với trợ lý của bạn từ thư viện giọng nói:

Việc sử dụng các giọng nói, mô hình và LLM chất lượng cao hơn có thể làm tăng thời gian phản hồi. Để tối ưu hóa trải nghiệm khách hàng, hãy cân bằng giữa chất lượng và độ trễ dựa trên mục đích sử dụng dự kiến ​​của trợ lý.

Kiểm thử trợ lý

Nhấn nút Test AI agent và thử trò chuyện với trợ lý của bạn.

Thiết lập các tiêu chí đánh giá và thu thập dữ liệu để phân tích các cuộc trò chuyện và cải thiện hiệu suất của trợ lý.

Cấu hình tiêu chí đánh giá

Truy cập tab Analysis trong phần cài đặt trợ lý của bạn để thiết lập các tiêu chí tùy chỉnh nhằm đánh giá các cuộc hội thoại.

Mỗi bản ghi cuộc hội thoại sẽ được gửi đến mô hình ngôn ngữ lớn (LLM) để xác minh xem các mục tiêu cụ thể có đạt được hay không. Kết quả trả về sẽ là success, failure hoặc unknown, kèm theo lý giải cho kết quả đó.

Hãy thêm một tiêu chí đánh giá có tên là solved_user_inquiry:

The assistant was able to answer all of the queries or redirect them to a relevant support channel.

Success Criteria:
- All user queries were answered satisfactorily.
- The user was redirected to a relevant support channel if needed.

Trợ lý đã giải đáp tất cả các thắc mắc hoặc chuyển hướng người dùng đến kênh hỗ trợ phù hợp.

Tiêu chí thành công:
- Tất cả các thắc mắc của người dùng đều được giải đáp thỏa đáng.
- Người dùng được chuyển hướng đến kênh hỗ trợ phù hợp nếu cần thiết.

Cấu hình thu thập dữ liệu

Trong phần Data collection, hãy cấu hình các thông tin chi tiết cần trích xuất từ ​​mỗi cuộc hội thoại.

Nhấn Add item và cấu hình các thông tin sau:

• Data type: Chọn “string” 
• Identifier: Nhập mã định danh duy nhất cho điểm dữ liệu này: user_question
• Description: Cung cấp hướng dẫn chi tiết cho LLM về cách trích xuất dữ liệu cụ thể từ bản ghi cuộc hội thoại:

Extract the user's questions & inquiries from the conversation.

Trích xuất các câu hỏi và thắc mắc của người dùng từ cuộc hội thoại.

Hãy thử nghiệm trợ lý của bạn bằng cách đóng vai khách hàng. Đặt câu hỏi, đánh giá các phản hồi và tinh chỉnh câu lệnh (prompt) cho đến khi bạn hài lòng với hiệu suất hoạt động của trợ lý.

Xem lịch sử cuộc hội thoại

Xem kết quả đánh giá và dữ liệu đã thu thập cho từng cuộc hội thoại trong tab Call history.

Hãy thường xuyên xem lại lịch sử cuộc hội thoại để nhận diện các vấn đề và mô hình chung.

Bạn có thể thử nghiệm agent mới tạo theo nhiều cách, nhưng cách nhanh nhất là sử dụng dashboard ElevenLabs.

Web dashboard sử dụng React SDK ở phía sau để xử lý các cuộc hội thoại theo thời gian thực.

Nếu muốn thử nghiệm nhanh agent ngay trên trang web của mình, bạn có thể sử dụng widget Agent. Chỉ cần dán đoạn code HTML sau vào trang web của bạn và nhớ thay thế agent-id bằng ID thực tế của agent đó.

<elevenlabs-convai agent-id="agent-id"></elevenlabs-convai>
<script src="https://unpkg.com/@elevenlabs/convai-widget-embed" async type="text/javascript"></script>

Xây dựng agent qua CLI

1. Cài đặt CLI

Homebrew (macOS)

brew install elevenlabs/tap/elevenlabs

Scoop (Windows)

scoop bucket add elevenlabs https://github.com/elevenlabs/scoop-bucket
scoop install elevenlabs

npm

npm install -g @elevenlabs/cli

curl

curl --proto '=https' --tlsv1.2 -LsSf https://github.com/elevenlabs/cli/releases/latest/download/elevenlabs-cli-installer.sh | sh

Bạn đang làm việc với một trợ lý lập trình AI? Hãy chạy lệnh elevenlabs generate-skills trong dự án của bạn để tạo file SKILL.md cho mỗi nhóm lệnh trong thư mục skills/. Nhờ đó, trợ lý sẽ nắm được toàn bộ các tính năng của CLI mà bạn không cần phải sao chép và dán tài liệu hướng dẫn. Bạn có thể sử dụng tùy chọn --output-dir để lưu các file này ở vị trí khác. Lệnh này đọc trực tiếp định nghĩa API được tích hợp sẵn trong CLI, vì vậy nó không cần API key và hoạt động ngoại tuyến - đồng thời luôn đồng bộ với phiên bản CLI mà bạn đã cài đặt.

2. Khởi tạo dự án mới

elevenlabs agents init

Lệnh này sẽ tạo cấu trúc dự án bao gồm các thư mục cấu hình và file registry.

3. Xác thực với ElevenLabs

Tạo API key trong dashboard tại đây; bạn sẽ dùng key này để sử dụng CLI một cách an toàn.

Sau đó, chạy lệnh sau để xác thực với ElevenLabs:

elevenlabs auth login

Lệnh này sẽ mở một cửa sổ trình duyệt để thực hiện xác thực qua OAuth. CLI sẽ xác minh thông tin đăng nhập và lưu trữ chúng một cách an toàn.

4. Tạo agent

Tạo agent đầu tiên của bạn bằng cách sử dụng template assistant:

elevenlabs agents add "My Assistant" --template assistant

5. Đẩy lên nền tảng ElevenLabs

elevenlabs agents push

Lệnh này sẽ upload cấu hình agent cục bộ của bạn lên nền tảng ElevenLabs.

6. Kiểm thử agent

Agent mới tạo có thể được kiểm thử theo nhiều cách, nhưng cách nhanh nhất là sử dụng dashboard ElevenLabs. Từ dashboard, hãy chọn agent của bạn và nhấp vào nút Test AI agent.

Web dashboard sử dụng React SDK phía sau để xử lý các cuộc hội thoại theo thời gian thực.

Nếu muốn kiểm thử nhanh agent ngay trên trang web của mình, bạn có thể sử dụng widget Agent. Hãy dùng CLI để tạo snippet HTML:

elevenlabs agents widget embed <agent_id>

ID của agent được ghi lại trong agents.json khi bạn thực hiện lệnh push, và lệnh elevenlabs agents status cũng sẽ liệt kê ID này. Lệnh trên sẽ xuất ra snippet HTML để bạn có thể dán trực tiếp vào trang web của mình.

Xây dựng agent qua API

1. Tạo API key

Hãy tạo API key tại dashboard ở đây; bạn sẽ dùng key này để truy cập API một cách an toàn.

Hãy lưu trữ key này dưới dạng "secret" (thông tin bảo mật) và truyền nó vào các SDK - có thể thông qua biến môi trường trong file .env hoặc trực tiếp trong phần cấu hình ứng dụng, tùy theo lựa chọn của bạn.

ELEVENLABS_API_KEY=<api_key_của_bạn_tại_đây>

2. Cài đặt SDK

SDK

Chúng ta cũng sẽ sử dụng thư viện `dotenv` để load API key từ biến môi trường.

• Python

pip install elevenlabs
pip install python-dotenv

• TypeScript

npm install @elevenlabs/elevenlabs-js
npm install dotenv

CLI

Hãy cài đặt ElevenLabs CLI. Bạn nên sử dụng Homebrew (cho macOS) hoặc Scoop (cho Windows).

• Homebrew (macOS)

brew install elevenlabs/tap/elevenlabs

• Scoop (Windows)

scoop bucket add elevenlabs https://github.com/elevenlabs/scoop-bucket
scoop install elevenlabs

• npm

npm install -g @elevenlabs/cli

• curl

curl --proto '=https' --tlsv1.2 -LsSf https://github.com/elevenlabs/cli/releases/latest/download/elevenlabs-cli-installer.sh | sh

Bạn đang làm việc với trợ lý lập trình AI? Hãy chạy lệnh elevenlabs generate-skills trong dự án của mình để tạo file SKILL.md cho từng nhóm lệnh trong thư mục skills/. Nhờ đó, trợ lý AI sẽ nắm được toàn bộ các tính năng của CLI mà bạn không cần phải sao chép và dán tài liệu hướng dẫn. Bạn có thể sử dụng tùy chọn --output-dir để lưu các file này ở vị trí khác. Lệnh này đọc trực tiếp định nghĩa API được tích hợp sẵn trong CLI, vì vậy nó không yêu cầu API key, hoạt động được khi ngoại tuyến và luôn đồng bộ với phiên bản CLI mà bạn đã cài đặt.

Sau đó, hãy thực hiện xác thực - lệnh này sẽ mở trình duyệt để bạn cấp quyền cho CLI:

elevenlabs auth login

3. Tạo agent

Tạo một file mới có tên là create_agent.py hoặc createAgent.mts (tùy thuộc vào ngôn ngữ bạn chọn) và thêm code sau:

Python

from dotenv import load_dotenv
from elevenlabs.client import ElevenLabs
import os
load_dotenv()

elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)

prompt = """
You are a friendly and efficient virtual assistant for [Your Company Name].
Your role is to assist customers by answering questions about the company's products, services,
and documentation. You should use the provided knowledge base to offer accurate and helpful responses.

Tasks:
- Answer Questions: Provide clear and concise answers based on the available information.
- Clarify Unclear Requests: Politely ask for more details if the customer's question is not clear.

Guidelines:
- Maintain a friendly and professional tone throughout the conversation.
- Be patient and attentive to the customer's needs.
- If unsure about any information, politely ask the customer to repeat or clarify.
- Avoid discussing topics unrelated to the company's products or services.
- Aim to provide concise answers. Limit responses to a couple of sentences and let the user guide you on where to provide more detail.
"""

response = elevenlabs.conversational_ai.agents.create(
    name="My voice agent",
    tags=["test"], # List of tags to help classify and filter the agent
    conversation_config={
        "tts": {
            "voice_id": "aMSt68OGf4xUZAnLpTU8",
            "model_id": "eleven_flash_v2"
        },
        "agent": {
            "first_message": "Hi, this is Rachel from [Your Company Name] support. How can I help you today?",
            "prompt": {
                "prompt": prompt,
            }
        }
    }
)

print("Agent created with ID:", response.agent_id)

TypeScript

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
import "dotenv/config";

const elevenlabs = new ElevenLabsClient();

const prompt = `
    You are a friendly and efficient virtual assistant for [Your Company Name].
    Your role is to assist customers by answering questions about the company's products, services,
    and documentation. You should use the provided knowledge base to offer accurate and helpful responses.

    Tasks:
    - Answer Questions: Provide clear and concise answers based on the available information.
    - Clarify Unclear Requests: Politely ask for more details if the customer's question is not clear.

    Guidelines:
    - Maintain a friendly and professional tone throughout the conversation.
    - Be patient and attentive to the customer's needs.
    - If unsure about any information, politely ask the customer to repeat or clarify.
    - Avoid discussing topics unrelated to the company's products or services.
    - Aim to provide concise answers. Limit responses to a couple of sentences and let the user guide you on where to provide more detail.
`;

const agent = await elevenlabs.conversationalAi.agents.create({
    name: "My voice agent",
    tags: ["test"], // List of tags to help classify and filter the agent
    conversationConfig: {
        tts: {
            voiceId: "aMSt68OGf4xUZAnLpTU8",
            modelId: "eleven_flash_v2",
        },
        agent: {
            firstMessage: "Hi, this is Rachel from [Your Company Name] support. How can I help you today?",
            prompt: {
                prompt,
            }
        },
    },
});

console.log(`Agent created with ID: ${agent.agentId}`);

Agent được tạo ở trên sẽ có tag "test"; tag này rất hữu ích cho việc phân loại và lọc agent chẳng hạn như để phân biệt giữa agent thử nghiệm và tác nhân dùng trong môi trường thực tế (production).

4. Chạy code

• Python

python create_agent.py

• TypeScript

npx tsx createAgent.mts

Lệnh trên sẽ tạo ra một agent với các thiết lập cơ bản và hiển thị ID của agent đó lên console. Chúng ta sẽ tùy chỉnh agent này ở bước tiếp theo.

5. Kiểm thử agent

Bạn có thể kiểm thử agent mới tạo theo nhiều cách, nhưng cách nhanh nhất là sử dụng dashboard của ElevenLabs. Tại dashboard, hãy chọn agent của bạn và nhấp vào nút Test AI agent.

Web dashboard sử dụng React SDK ở phía sau để xử lý các cuộc hội thoại theo thời gian thực.

Nếu muốn kiểm thử nhanh agent ngay trên trang web của mình, bạn có thể sử dụng widget Agent. Chỉ cần dán snippet HTML sau vào trang web, và nhớ thay thế agent-id bằng ID thực tế của agent.

<elevenlabs-convai agent-id="agent-id"></elevenlabs-convai>
<script src="https://unpkg.com/@elevenlabs/convai-widget-embed" async type="text/javascript"></script>

Hãy xem tab SDK để biết cách nhúng agent vào trang web hoặc ứng dụng của bạn bằng các SDK được cung cấp.