Chúng ta đang trả tiền AI theo kiểu thuê bao của năm 2026, nhưng vẫn suy nghĩ về token như đang dùng Internet ADSL năm 2005?
Ngày xưa điện thoại tính tiền theo phút-giây, internet ADSL tính tiền theo MB, nhưng giờ thì sao? Chúng ta dùng trọn gói.
Mỗi khi sử dụng ChatGPT, Claude, Gemini, API trả theo gói, nhưng chúng ta đều bị ám ảnh với: Token.
Hầu hết mọi người chỉ biết token là đơn vị để tính tiền. Nhưng ít ai biết rằng đằng sau nó là cả một câu chuyện kéo dài hơn 10.000 năm, từ những viên đất sét của nền văn minh Lưỡng Hà cho đến các siêu GPU NVIDIA hiện đại.
1. TOKEN KHÔNG PHẢI PHÁT MINH CỦA AI
Từ "token" xuất hiện từ rất lâu trước khi có máy tính.
Khoảng 8.000 năm trước Công nguyên, người Lưỡng Hà dùng những viên đất sét nhỏ để đại diện cho lúa mì, gia súc hay hàng hóa.
Chúng không phải chính hàng hóa, mà chỉ là một vật đại diện cho giá trị.
Đến đầu thế kỷ XX, nhà triết học Charles Sanders Peirce đưa ra khái niệm nổi tiếng:
• Type: khái niệm trừu tượng.
• Token: một lần xuất hiện cụ thể của khái niệm đó.
Ví dụ, trên một trang giấy có 20 chữ "the", thì chỉ có một Type, nhưng có 20 Token.
Sau này, khoa học máy tính mượn chính khái niệm này để xây dựng compiler và lexical analysis.
Đến thời đại AI, token lại được sử dụng để chia văn bản thành các đơn vị nhỏ giúp Transformer xử lý hiệu quả hơn.
Một khái niệm đã đi qua khảo cổ học, triết học, compiler và cuối cùng trở thành nền móng của LLM.
2. Vì sao AI không tính tiền theo Byte?
Đây là điều nhiều người thắc mắc.
Một chữ cái "a" chỉ chiếm 1 byte.
Một từ như "Generation" có thể dài hơn gấp nhiều lần.
Nhưng khi đi vào Transformer, cả hai đều được biến thành những vector có cùng số chiều (ví dụ 4096 chiều).
GPU không nhìn thấy chữ.
GPU chỉ nhìn thấy tensor.
Đối với phần lớn phép tính bên trong mô hình, mỗi token gần như tiêu tốn một lượng tài nguyên tính toán tương đương, bất kể ban đầu nó dài bao nhiêu byte.
Đó là lý do token phản ánh chi phí suy luận tốt hơn nhiều so với bit hay byte.
3. Thứ thực sự đắt không phải FLOPs, mà là VRAM
Nếu GPU là bộ não của AI, thì VRAM giống như đường truyền internet hay băng thông mạng — một tài nguyên vật lý có giới hạn.
Ngày xưa:
• Điện thoại đắt vì số kênh thoại hữu hạn.
• Internet đắt vì băng thông hạn chế.
AI ngày nay cũng vậy.
Mỗi khi mô hình đọc thêm một token, nó phải lưu lại trạng thái để tiếp tục suy luận. Phần bộ nhớ này gọi là KV Cache.
Context càng dài:
→ KV Cache càng lớn.
KV Cache càng lớn:
→ GPU phục vụ được càng ít người cùng lúc.
Ít người hơn:
→ Chi phí mỗi request tăng lên.
Nói cách khác, cái đắt không phải là phép tính (FLOPs), mà là khả năng chứa và duy trì trạng thái trong VRAM.
Đây là một giới hạn rất "vật lý":
• VRAM không thể mở rộng vô hạn.
• Băng thông bộ nhớ có trần.
• Nhiệt và điện năng cũng là rào cản.
Đó là lý do hàng loạt công nghệ như:
• Grouped Query Attention (GQA)
• PagedAttention
• Multi-head Latent Attention (MLA)
được phát triển trong vài năm qua.
Mục tiêu của chúng gần như giống nhau:
Giảm lượng VRAM cần dùng cho mỗi token.
VRAM giải phóng càng nhiều thì chi phí inference càng giảm.
Điều này rất giống với cách ngành viễn thông tối ưu băng thông để phục vụ nhiều người hơn trên cùng một hạ tầng.
4. Benchmark giờ không chỉ là điểm số
Trước đây, khi nhìn vào benchmark, chúng ta thường chỉ quan tâm đến một con số: model đạt bao nhiêu điểm.
Nhưng điều đó đang thay đổi.
Ngày càng nhiều bảng benchmark bắt đầu công bố thêm các chỉ số liên quan đến token, ví dụ:
• Số token cần để hoàn thành một bài test.
• Chi phí token cho mỗi nhiệm vụ.
• Hiệu quả (performance / token).
• Latency theo số token.
Điều này phản ánh một thực tế quan trọng:
Không chỉ "đúng hay sai", mà còn là "tốn bao nhiêu tài nguyên để đạt được kết quả đó".
Một model có thể đạt điểm cao, nhưng nếu cần gấp 5–10 lần số token để làm điều đó, thì trong thực tế triển khai, chi phí sẽ rất khác.
Đó là lý do cộng đồng ngày càng quan tâm đến các benchmark có yếu tố efficiency, thay vì chỉ nhìn vào điểm số thuần túy.
5. Token có phải tương lai lâu dài?
Theo mình, không hẳn.
Token rất phù hợp khi GPU và VRAM còn là tài nguyên khan hiếm.
Nhưng lịch sử công nghệ cho thấy một quy luật khá thú vị.
Ngày xưa:
• Điện thoại tính tiền theo phút.
• Internet tính tiền theo MB.
Ngày nay:
• Gói cước gần như đều trọn gói.
AI có thể cũng sẽ đi theo con đường tương tự.
Khi chi phí suy luận tiếp tục giảm nhờ phần cứng, thuật toán và kiến trúc mới, người dùng sẽ ít quan tâm đến số token hơn.
Họ sẽ quan tâm đến:
• Hoàn thành một báo cáo.
• Viết xong một chương trình.
• Dịch xong một cuốn sách.
• Hoàn thành một workflow.
Nói cách khác, thị trường có thể dần chuyển từ Pay-per-Token sang Pay-per-Task hoặc các gói thuê bao.
Tuy nhiên, điều đó không có nghĩa token sẽ biến mất hoàn toàn.
Rất có thể token vẫn tồn tại như một đơn vị kế toán nội bộ của các hệ thống AI, giống như ngành điện vẫn tính bằng kWh dù người dùng chỉ nhìn thấy hóa đơn cuối tháng.
6. Nếu AI bước vào "kỷ nguyên cáp quang"
Từ Token Economy đến AI Bandwidth Economy
Lịch sử hạ tầng số cho thấy khi một tài nguyên trở nên dồi dào, mô hình kinh doanh thường chuyển từ định giá theo lượng tiêu thụ sang định giá theo chất lượng dịch vụ.
Internet là ví dụ rõ nhất. Người dùng từng phải đếm từng MB dữ liệu, nhưng ngày nay phần lớn chỉ quan tâm đến tốc độ đường truyền và mức độ ổn định của kết nối.
AI có thể cũng sẽ đi theo hướng tương tự.
Khi chi phí suy luận tiếp tục giảm nhờ phần cứng và thuật toán, token có thể dần lui về vai trò là đơn vị kế toán nội bộ.
Thay vào đó, các gói dịch vụ sẽ cạnh tranh bằng những chỉ số mà người dùng cảm nhận trực tiếp hơn, chẳng hạn:
• Tốc độ sinh nội dung (tokens/giây hoặc tác vụ/giây).
• Số lượng agent có thể chạy đồng thời.
• Độ trễ phản hồi.
• Khả năng xử lý workflow liên tục.
Nói cách khác, người dùng sẽ ít quan tâm đến việc "đã dùng bao nhiêu token", mà quan tâm nhiều hơn đến việc "AI hoàn thành công việc nhanh đến mức nào".
Lời kết
Token không chỉ là một đơn vị tính phí. Nó là chiếc cầu nối giữa hai thế giới.
Một bên là ngôn ngữ, tri thức và tư duy của con người.
Một bên là transistor, tensor, GPU và hóa đơn tiền điện của các trung tâm dữ liệu.
Có thể vài năm nữa người dùng sẽ không còn phải quan tâm mình đã tiêu bao nhiêu token.
Nhưng lùi về phía sau màn hình, token vẫn có thể được dùng như ngôn ngữ mà các hệ thống LLM dùng để quy đổi trí tuệ thành tài nguyên tính toán.
Đó có lẽ mới là vai trò quan trọng của token trong kỷ nguyên AI.