Âm thanh khi gọi công cụ trong ElevenAgents

Thêm âm thanh xung quanh trong quá trình thực thi công cụ để nâng cao trải nghiệm người dùng.

Tổng quan

Âm thanh khi gọi công cụ cung cấp phản hồi âm thanh nền trong quá trình thực thi công cụ, giúp tạo ra trải nghiệm hội thoại tự nhiên và lôi cuốn hơn. Khi agent của bạn thực thi một công cụ - chẳng hạn như truy xuất dữ liệu từ API hoặc xử lý một yêu cầu - các âm thanh này sẽ lấp đầy khoảng lặng, đồng thời báo hiệu cho người dùng biết rằng agent đang thực hiện tác vụ.

ElevenLabs Agents hỗ trợ nhiều âm thanh nền tích hợp sẵn. Bạn có thể tùy chỉnh các âm thanh này ở cấp độ công cụ hoặc cấp độ tích hợp, cho phép kiểm soát chi tiết thời điểm và cách thức phát âm thanh trong suốt cuộc hội thoại.

Các trường hợp sử dụng

Âm thanh khi gọi công cụ đặc biệt hiệu quả trong các tình huống sau:

• Các lệnh gọi API mất thời gian hoàn tất: Phát nhạc nền hoặc âm thanh gõ phím trong khi chờ dữ liệu từ các dịch vụ bên ngoài.
• Các tác vụ kéo dài: Cung cấp phản hồi âm thanh trong khi thực hiện truy vấn cơ sở dữ liệu, các phép tính phức tạp hoặc tích hợp với bên thứ ba.
• Duy trì luồng hội thoại tự nhiên: Lấp đầy các khoảng trống trong cuộc hội thoại để tránh sự im lặng gây khó xử.
• Đáp ứng kỳ vọng của người dùng: Thông báo cho người dùng rằng agent đang xử lý yêu cầu của họ, thay vì gặp phải lỗi kỹ thuật.

Các âm thanh khả dụng

ElevenLabs cung cấp các tùy chọn âm thanh nền sau đây:

Bạn có thể nghe thử từng âm thanh trong dashboard bằng cách nhấp vào nút phát (play) nằm cạnh menu drop-down khi thiết lập âm thanh cho thao tác gọi công cụ.

Cấu hình

Âm thanh cho thao tác gọi công cụ có thể được thiết lập tại hai vị trí, trong đó cấu hình ở cấp độ công cụ sẽ được ưu tiên áp dụng:

Cấu hình ở cấp độ công cụ

Thiết lập âm thanh cho từng công cụ riêng lẻ trong phần cài đặt công cụ của agent.

Cập nhật qua dashboard

1. Truy cập vào phần cấu hình công cụ

Trong mục "Agent" thuộc phần cài đặt agent, hãy chọn công cụ bạn muốn cấu hình hoặc tạo một công cụ mới.

2. Thiết lập âm thanh cho thao tác gọi công cụ

Cuộn xuống phần "Tool Call Sound" ở cuối trang cấu hình công cụ.

Chọn một âm thanh từ menu drop-down:

• None: Không phát âm thanh nào.
• Typing: Hiệu ứng âm thanh gõ bàn phím.
• Elevator Music 1-4: Các tùy chọn nhạc nền khác nhau.

3. Thiết lập hành vi phát âm thanh

Nếu bạn đã chọn một âm thanh (không phải tùy chọn "None"), bạn sẽ thấy thêm tùy chọn "Sound Behavior":

Chọn thời điểm phát âm thanh:

• With pre-speech: Âm thanh chỉ phát khi agent nói trước khi thực thi công cụ.
• Always play: Âm thanh phát trong mỗi lần thực thi công cụ, bất kể agent có nói trước đó hay không.

4. Lưu cấu hình

Nhấp vào "Save" để áp dụng các thiết lập âm thanh cho thao tác gọi công cụ của bạn.

Cập nhật qua giao diện dòng lệnh (CLI)

1. Tải xuống cấu hình công cụ

elevenlabs tools pull

2. Chỉnh sửa file tool_configs/<tên-công-cụ>.json

Thiết lập các tham số tool_call_sound và tool_call_sound_behavior:

{
  "type": "webhook",
  "name": "get_weather",
  "tool_call_sound": "typing",
  "tool_call_sound_behavior": "auto"
}

Sử dụng "auto" cho tùy chọn "With pre-speech" hoặc "always" cho tùy chọn "Always play".

3. Đẩy các thay đổi của bạn lên

elevenlabs tools push

Cập nhật qua API

Python

from elevenlabs import ElevenLabs, ToolRequestModel

elevenlabs = ElevenLabs()

elevenlabs.conversational_ai.tools.update(
    tool_id="tool_7101k5zvyjhmfg983brhmhkd98n6",
    request=ToolRequestModel(
        tool_config={
            "type": "webhook",
            "name": "get_weather",
            "description": "Gets current weather data",
            "tool_call_sound": "typing",
            "tool_call_sound_behavior": "auto",
            "api_schema": {
                "url": "https://api.weather.com/data",
                "method": "GET",
            },
        },
    )
)

TypeScript

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient();

await elevenlabs.conversationalAi.tools.update("tool_7101k5zvyjhmfg983brhmhkd98n6", {
  toolConfig: {
    type: "webhook",
    name: "get_weather",
    description: "Gets current weather data",
    toolCallSound: "typing",
    toolCallSoundBehavior: "auto",
    apiSchema: {
      url: "https://api.weather.com/data",
      method: "GET",
    },
  },
});

Cấu hình ở cấp độ tích hợp

Đối với các công cụ được tạo thông qua các tích hợp (như MCP server, tích hợp API, v.v...), bạn có thể thiết lập âm thanh mặc định cho thao tác gọi công cụ ở cấp độ tích hợp:

1. Truy cập vào phần cài đặt tích hợp

Đi tới Agent Settings > Integrations và chọn tích hợp mà bạn muốn cấu hình.

2. Thiết lập âm thanh mặc định

Trong phần tổng quan về tích hợp, hãy tìm mục "Tool Call Sound".

Chọn âm thanh mặc định sẽ áp dụng cho tất cả các công cụ thuộc tích hợp này, trừ khi có thiết lập khác (ghi đè) ở cấp độ công cụ.

3. Ghi đè ở cấp độ công cụ (tùy chọn)

Bạn có thể ghi đè thiết lập mặc định ở cấp độ tích hợp cho các công cụ cụ thể bằng cách cấu hình âm thanh gọi công cụ trong phần cài đặt của từng công cụ đó.

Các tùy chọn hành vi âm thanh (Sound Behavior)

Cài đặt hành vi âm thanh xác định thời điểm phát âm thanh khi một công cụ (tool) được gọi trong cuộc hội thoại:

Với phản hồi trước khi nói (Auto)

Đây là hành vi mặc định. Âm thanh chỉ phát khi agent lên tiếng trước khi sử dụng công cụ.

Ví dụ:

• Người dùng: "Thời tiết ở Tokyo thế nào?"
• Agent: "Để tôi kiểm tra giúp bạn..." [âm thanh gõ phím phát ra trong khi truy xuất dữ liệu thời tiết]
• Agent: "Hiện tại ở Tokyo trời nắng và nhiệt độ là 72 độ F (khoảng 22 độ C)."

Trường hợp sử dụng:

• Khi bạn muốn âm thanh chỉ phát sau khi agent đã xác nhận yêu cầu của người dùng.
• Để tạo luồng hội thoại tự nhiên hơn, tránh sự im lặng gây cảm giác gượng gạo sau khi người dùng vừa nói xong.
• Khi việc thực thi công cụ diễn ra ngay sau lời nói của agent.

Luôn phát

Âm thanh sẽ phát trong mỗi lần thực thi công cụ, bất kể agent có lên tiếng trước đó hay không.

Ví dụ:

• Người dùng: "Kiểm tra trạng thái đơn hàng của tôi"
  [âm thanh gõ phím phát ra ngay lập tức trong khi truy xuất dữ liệu đơn hàng]
• Agent: "Đơn hàng #12345 của bạn đã được gửi đi ngày hôm qua và sẽ đến nơi vào ngày mai."

Trường hợp sử dụng:

• Đối với các thao tác luôn tốn một khoảng thời gian đáng kể.
• Khi bạn muốn có phản hồi âm thanh nhất quán cho mọi lần gọi công cụ.
• Đối với các thao tác chạy ngầm không nhất thiết cần agent phải xác nhận với người dùng.

Các phương pháp tối ưu

Chọn âm thanh phù hợp với thời gian thực thi công cụ

Với các thao tác nhanh (dưới 1 giây), hãy cân nhắc chọn “None" hoặc sử dụng âm thanh gõ phím. Với các thao tác lâu hơn (trên 3 giây), các tùy chọn âm thanh kiểu “nhạc chờ thang máy” (elevator music) sẽ mang lại trải nghiệm người dùng tốt hơn.

Sử dụng tùy chọn With pre-speech cho các hành động đã được xác nhận

Khi agent xác nhận rõ ràng yêu cầu của người dùng trước khi thực thi, hãy sử dụng tùy chọn “With pre-speech” để tạo luồng hội thoại tự nhiên:

When users request information, first acknowledge their request before using tools.
For example: "Let me check that for you..." then call the appropriate tool.

Khi người dùng yêu cầu thông tin, hãy xác nhận yêu cầu đó trước khi sử dụng các công cụ.
Ví dụ: "Để tôi kiểm tra giúp bạn..." rồi mới gọi công cụ tương ứng.

Cấu hình ở cấp độ tích hợp để đảm bảo tính nhất quán

Nếu bạn có nhiều công cụ thuộc cùng một hệ thống tích hợp, hãy cấu hình âm thanh gọi công cụ ở cấp độ tích hợp đó để đảm bảo phản hồi âm thanh đồng nhất trên tất cả các công cụ liên quan.

Kiểm tra với độ trễ thực tế

Hãy kiểm tra âm thanh khi gọi công cụ với độ trễ API thực tế để đảm bảo phản hồi âm thanh phù hợp với kỳ vọng của người dùng. Cần cân nhắc các yếu tố sau:

• Độ trễ mạng khi kết nối với API của bạn
• Thời gian xử lý của API
• Phân bố địa lý của người dùng

Cân bằng việc xử lý ngắt lời

Nếu agent của bạn hỗ trợ tính năng người dùng ngắt lời, âm thanh gọi công cụ sẽ tự động dừng lại khi người dùng lên tiếng. Hãy đảm bảo luồng hội thoại xử lý tình huống này một cách mượt mà.

Ví dụ về cấu hình

Search Agent

Trường hợp sử dụng: Agent tìm kiếm thông tin trong cơ sở kiến thức hoặc cơ sở dữ liệu

Cấu hình:

• Âm thanh gọi công cụ: Typing
• Cách thức phát âm thanh: With pre-speech
• System prompt bao gồm: “When users ask questions, say ‘Let me search for that’ before calling the search tool.” (“Khi người dùng đặt câu hỏi, hãy nói ‘Để tôi tìm kiếm thông tin đó’ trước khi gọi công cụ tìm kiếm”).

Customer Service Agent

Trường hợp sử dụng: Agent kiểm tra trạng thái đơn hàng, hàng tồn kho hoặc hồ sơ khách hàng

Cấu hình:

• Âm thanh gọi công cụ: Elevator Music 3
• Cách thức phát âm thanh: Always play
• Lý do: Các thao tác có thể mất từ ​​2–5 giây; nhạc nền sẽ mang lại trải nghiệm tốt hơn là sự im lặng.

Quy trình gồm nhiều bước

Trường hợp sử dụng: Agent thực hiện nhiều lệnh gọi công cụ liên tiếp

Cấu hình:

• Công cụ đầu tiên: Typing kèm With pre-speech
• Các công cụ tiếp theo: Elevator Music 1 với chế độ Always play
• Câu lệnh hệ thống điều phối: “First acknowledge the request, then execute tools sequentially.” (“Trước tiên hãy xác nhận yêu cầu, sau đó thực hiện các công cụ theo trình tự”).

Khắc phục sự cố

Âm thanh không phát

Các nguyên nhân có thể xảy ra:

1. Thiếu lời dẫn trước (pre-speech): Nếu chọn chế độ “With pre-speech”, agent phải nói một câu gì đó trước khi công cụ được thực thi. Hãy cập nhật prompt hệ thống để bao gồm phần xác nhận yêu cầu.
2. Thực thi quá nhanh: Nếu công cụ hoàn tất trong thời gian dưới ~500ms, âm thanh có thể không kịp phát đủ rõ để người dùng nhận biết.