Token trong AI là gì?

Việc hiểu rõ token trong AI hiện nay quan trọng hơn bao giờ hết so với chỉ một năm trước. Token đã chuyển từ một chi tiết kỹ thuật phụ trợ trở thành giới hạn sử dụng chính và đơn vị tính phí cho các mô hình AI hàng đầu.

Nếu từng đạt đến giới hạn sử dụng với Claude Code, bạn đã đạt đến giới hạn token. Nếu bạn từng thắc mắc tại sao việc chuyển sang mô hình suy luận lại tiêu tốn hạn mức nhanh hơn, đó cũng là do token. Cách các mô hình AI đọc đầu vào của bạn, tạo ra phản hồi, suy nghĩ về những vấn đề khó khăn và tính phí - tất cả đều quay trở lại với token. Dưới đây là tất cả những gì bạn cần biết.

Token trong AI là gì?

Token trong AI là đơn vị cơ bản của văn bản trong các mô hình AI hiện đại. Khi bạn nhập một prompt vào ChatGPT hoặc Claude Code, nó không nhìn thấy từ hoặc câu - nó nhìn thấy một chuỗi token, và đó cũng là cách nó phản hồi. Không có quy đổi chung từ token sang ký tự, nhưng một nguyên tắc phổ biến là một token xấp xỉ 4 ký tự, mặc dù nó có thể thay đổi đáng kể. Một số token là ký tự đơn; một số khác là toàn bộ từ.

Cách thức hoạt động của quá trình tạo token

Mỗi mô hình ngôn ngữ lớn (LLM) đều có một bộ phân tách để chia văn bản thành các token: Những đoạn nhỏ mà mô hình AI đọc và tạo ra. Mỗi token có một ID duy nhất, và mỗi mô hình (hoặc công ty AI) có cách tiếp cận riêng của mình đối với quá trình tạo token.

Bộ phân tách token của OpenAI là công khai và là một công cụ hữu ích để xem tất cả điều này hoạt động như thế nào.

Những từ thông dụng như "the" hoặc "and" mỗi từ đều có một token riêng, trong khi những từ dài hơn và ít phổ biến hơn - như "tokenmaxxing" - được tách thành nhiều token. Một URL dài như https://www.harryguinness.com/blog/new-site-announcement có 14 token. Khoảng trắng, biểu tượng cảm xúc và ký tự đặc biệt cũng được tính: "and" và "and" (với khoảng trắng ở đầu) trông gần như giống hệt nhau, nhưng bộ phân tách token coi khoảng trắng là một phần của token, vì vậy chúng được tính là hai token riêng biệt, chứ không phải một. Điều này đặc biệt quan trọng đối với code máy tính, vốn dĩ rất dài dòng.

Tất cả các token đều đến từ dữ liệu huấn luyện của mô hình. Mẫu càng phổ biến, thì càng có nhiều khả năng được biểu diễn bằng một token duy nhất. Đó là lý do tại sao tiếng Anh thường được phân tách token hiệu quả hơn các ngôn ngữ khác - nhiều dữ liệu huấn luyện hơn bằng tiếng Anh so với những ngôn ngữ khác - mặc dù một số mô hình đã thực hiện các bước để ưu tiên tiếng Trung, tiếng Tây Ban Nha, tiếng Pháp và những ngôn ngữ được sử dụng rộng rãi khác trong dữ liệu huấn luyện của chúng.

Văn bản không phải là thứ duy nhất được chuyển đổi thành token. Hình ảnh, âm thanh và các nội dung media khác cũng được chuyển đổi thành token cho những mô hình AI. Cơ chế khác nhau, nhưng nguyên tắc vẫn đúng: Các file lớn hơn, phức tạp hơn cần nhiều token hơn những file nhỏ hơn, đơn giản hơn.

Các LLM tạo văn bản như thế nào?

LLM tạo ra văn bản bằng cách dự đoán từ tiếp theo trong một chuỗi, từng từ một, cho đến khi câu trả lời hoàn chỉnh. Điều này luôn khiến nhiều người kinh ngạc mỗi khi viết ra, nhưng thực chất nó chỉ đơn giản như vậy.

Hãy đưa cho nó prompt "once upon a time in a land far far..." và nó sẽ đề xuất một từ rất gần với "away" làm từ tiếp theo. Để tiếp tục câu chuyện, nó tiếp tục dự đoán từ tiếp theo, rồi từ tiếp theo nữa, và cứ thế cho đến khi hoàn thành. Tất cả việc tạo code, viết email và nghiên cứu chuyên sâu đều được xây dựng dựa trên ý tưởng đơn giản này.

Tất nhiên, tất cả quá trình huấn luyện, các biện pháp bảo vệ, những công cụ và hệ thống điều khiển được xây dựng trên các mô hình AI hiện đại đều không phải là không liên quan. Chính chúng là những thứ biến một công cụ dự đoán văn bản thành một mô hình AI mạnh mẽ có khả năng thực hiện công việc thực sự. Nhưng việc tạo ra từng token một là lý do tại sao các mô hình AI phân biệt giữa token đầu vào (những gì chúng đọc) và token đầu ra (những gì chúng tạo ra). Việc tạo ra đầu ra tốn nhiều công sức hơn so với việc đọc đầu vào, đó là lý do tại sao token đầu ra có giá cao hơn — cho dù bạn đang trả tiền theo từng token trên API hay sử dụng hết hạn mức sử dụng hàng tháng.

Mô hình suy luận là gì và tại sao chúng lại sử dụng nhiều token hơn?

Một điều tiêu tốn ngữ cảnh nhanh hơn hầu hết mọi người nghĩ là quá trình suy luận. Các mô hình suy luận AI tạo ra một Chuỗi Suy luận (Chain of Thought - CoT) trước khi phản hồi yêu cầu của bạn - chúng xử lý nhiều ý tưởng khác nhau để đi đến một câu trả lời tốt hơn, thay vì chỉ phản hồi bằng điều đầu tiên chúng tạo ra. Quá trình tư duy đó đặc biệt quan trọng đối với lập trình và các tác vụ tự động, nơi một mô hình chỉ "làm đại" sẽ không tiến xa được.

Vấn đề là tất cả quá trình suy nghĩ đó đều sử dụng token. Bạn thường có thể thấy bản tóm tắt hoặc bản xem trước của quá trình suy luận trong các công cụ như ChatGPT và Claude Code, nhưng những gì bạn đang thấy là một phiên bản rút gọn. Mô hình đang tạo ra một mô tả nội bộ dài về cách nó tiếp cận nhiệm vụ trước khi bắt đầu phản hồi thực tế của bạn.

Với hầu hết các mô hình, bạn có thể ảnh hưởng đến lượng suy luận mà chúng thực hiện (và do đó, số lượng token chúng sử dụng). Tắt chức năng này đi, và mô hình sẽ phản hồi ngay lập tức. Tăng nó lên mức tối đa, và nó có thể sử dụng hàng chục nghìn token chỉ để xử lý vấn đề trước khi viết ra một từ nào trong câu trả lời của mình.

Giới hạn token và chi phí AI: Điều gì đã thay đổi?

Token là cách các mô hình AI đo lường mức sử dụng. Và trong năm qua, đã có một thay đổi lớn trong hệ sinh thái AI gây ra nhiều hiệu ứng dây chuyền: các mô hình lập trình AI đã trở nên tốt đến mức đáng sợ.

Trong khi các API luôn sử dụng hình thức tính phí theo token, những gói doanh nghiệp của OpenAI và Anthropic đã chuyển từ giá cố định sang giá theo token. Đột nhiên, các nhà phát triển tại những công ty lớn đã chi hàng nghìn đô la cho AI mỗi tháng.

Chi phí token đặc biệt cao khi sử dụng các mô hình suy luận tiên tiến cho những tác vụ lập trình lớn. Mọi thứ đều được tính: Ngữ cảnh mà mô hình đọc, quá trình suy luận mà nó thực hiện trước khi phản hồi và code mà nó viết ra làm đầu ra. Mặc dù 5 USD cho mỗi triệu token nghe có vẻ không nhiều, nhưng ba hạng mục này cộng dồn rất nhanh, và các công cụ lập trình AI có thể tiêu tốn hàng triệu token chỉ trong một phiên làm việc.

Đối với người dùng cá nhân, token vẫn rất quan trọng. Chúng là thước đo để tính toán mức sử dụng hàng ngày và hàng tuần của bạn. Sử dụng Fable 5, bạn có thể dùng hết toàn bộ dung lượng Claude Code Pro chỉ trong vài phiên chơi ngắn.

Khi bạn hiểu rõ điều gì thực sự đang tiêu tốn token của mình (ngữ cảnh, lập luận và kết quả đầu ra đều cộng lại cùng một lúc), giới hạn sử dụng sẽ trở nên dễ hiểu hơn nhiều. Và nếu bạn vẫn đang sử dụng hết chúng, ít nhất bây giờ bạn đã biết lý do tại sao.