AI 科普：Token 不是字符，用“门票“来理解大模型的计量单位

AI 科普Token 不是字符用门票来理解大模型的计量单位一、Token 计量的科普难点是直觉误导大模型的计费单位是 Token不是字符。这个区别看似简单但很多人会把 Token 当成字符的等价物。1个 Token 大约等于4个字符这个换算关系常见但不够准确因为中文和英文的 Token 映射完全不同。中文一个字可能是1-2个 Token英文一个常见词通常就是1个 Token。这个差异让简单的换算公式失效。用门票类比更贴合实际。游乐园的门票不是按时间收费的而是按进入次数收费。你进了鬼屋一次就扣一张门票不管你在鬼屋里待了5分钟还是30分钟。Token 就是模型处理的门票——模型每处理一个语义单元就消耗一张 Token不管这个语义单元是1个英文字符还是1个中文字。二、Token 与字符的映射关系用门票对照理解Token 是语义单元而非字符单元。英文里一个常见词hello可能是1个 Token一个罕见词xylophone可能被拆成2-3个 Token。中文里一个常用字的是1个 Token一个不常用字可能被拆成2个 Token。flowchart TD A[原始文本] -- B[Tokenizer分词器] B -- C[语义单元划分] C -- D[英文常见词→1张门票] C -- E[英文罕见词→2-3张门票] C -- F[中文常用字→1张门票] C -- G[中文不常用字→2张门票] D -- H[总门票数模型处理成本] E -- H F -- H G -- H门票类比的关键点是Token 计量的是语义复杂度而非文本长度。一段500字的中文文本可能消耗800-1000个 Token而一段500字的英文文本可能只消耗200-250个 Token。这不是因为中文更贵而是因为中文的语义密度更高——500字中文传达的信息量通常比500字英文更大。三、Token 计算的示意代码// Token计数示意不同语言的Token密度差异 // 简化Token估算实际应使用对应模型的Tokenizer function estimateTokens(text: string, language: zh | en): number { if (language zh) { // 中文平均每字1.5个Token标点单独计数 const chars text.replace(/[a-zA-Z0-9\s]/g, ).length; const punctuation text.match(/[。、]/g)?.length ?? 0; const englishWords text.match(/[a-zA-Z]/g)?.length ?? 0; return Math.ceil(chars * 1.5 punctuation englishWords); } // 英文常见词1Token罕见词2-3Token const words text.split(/\s/).length; return Math.ceil(words * 1.3); // 平均1.3Token/词 } // 对比示例同样信息量的中英文Token差异 const chineseText 今天天气很好下午去公园散步遇到老朋友聊了很久。; const englishText The weather was nice today. I went to the park in the afternoon and chatted with an old friend for a long time.; console.log(estimateTokens(chineseText, zh)); // ≈25-30 Tokens console.log(estimateTokens(englishText, en)); // ≈18-20 Tokens这个估算函数只是示意。真实的 Token 计数应该用对应模型的 Tokenizer 库比如 tiktoken来计算。估算函数的价值在于让开发者理解中英文的 Token 密度差异——同样信息量的文本中文消耗更多 Token这直接影响 API 调用成本。四、门票类比需要补充的边界说明门票类比有几个需要补充说明的边界。第一游乐园门票是固定价格但 Token 的价格不同——输入 Token 和输出 Token 的单价不同。输出 Token 通常比输入 Token贵2-3倍因为模型生成输出比理解输入的计算量更大。类比到门票就像鬼屋的出口比入口收费更高。第二门票数量受游乐园容量限制。模型的 Token 限制比如8K、32K是总容量包括输入和输出。输入消耗了5000个 Token 后输出最多只能用3000个 Token在8K模型里。长输入会导致短输出这是很多人不注意的实际限制。第三Token 计量方式因模型而异。不同模型的 Tokenizer 分词规则不同同一段文本在不同模型里的 Token 数可能差异10%-20%。计算成本时必须用目标模型的 Tokenizer不能拿一个模型的数据套另一个模型。科普类比的目标是降低认知门槛但不能替代精确计算。理解 Token 是语义门票后实际开发中仍然需要用 tiktoken 等工具做精确预算。五、总结Token 用门票类比理解模型每处理一个语义单元消耗一张门票不管语义单元的字符长度。中文Token密度高于英文因为中文语义密度更高。输入Token和输出Token单价不同输出通常贵2-3倍。总Token容量包含输入和输出长输入会导致短输出。不同模型Tokenizer不同精确计算需用对应工具。类比降低认知门槛但不能替代精确预算。