Token
Token 是模型处理文本时使用的计量单位，一段话通常会被拆成多个 Token，而不一定按字或词切分。理解它能帮你估算对话能装下多少内容，以及调用模型的大致成本。
你可能会说：「我想把长文档交给 AI 分析，怎么判断它会不会太长，还能不能留出回答空间？」
读之前建议先了解
动手看看估算客服提示词的长度
约 20 个 token（示意切分，实际数量取决于模型的分词器）
这是一句客服提示词。看看它被拆成多少个 Token，再和字符数比一比：Token 不一定按字或词切分。
试试把 A2024-0518 改成 退款，看看切分和数量怎么变。订单号里的字母、数字和符号，未必会被当成一个整体。
试试把整句话复制一遍接在后面，看看 Token 数怎样增长。对话越长，通常越占用模型能处理的内容空间，也可能增加调用成本。
要点Token 为什么会影响你和 AI 的协作？
- 1
文本会被拆成处理单位
你发给模型的文字会先被拆成 Token。一个 Token 不固定等于一个汉字、英文单词或标点；具体怎么拆，取决于模型使用的切分方式。所以只看文档字数，没法准确知道它占了多少 Token。
- 2
输入和输出都要占用额度
你让 AI Agent 阅读代码、历史消息和需求时，这些内容会占用输入 Token；它给出的解释或代码也会产生输出 Token。估算一次任务的用量时，我们得把两边都算进去，而不只看最后的回答。
- 3
长任务要给回答留空间
模型一次能处理的内容有上限。比如你把整份项目文档和多轮聊天记录都塞进请求，留给新问题和回答的空间就可能不足。这时先挑相关文件、压缩历史内容，通常比一味要求 AI 读完全部资料更有效。
容易混淆的地方
Token 是计量模型输入和输出的单位，不等于字数，也不等于模型的记忆。上下文窗口说的是一次处理能容纳的 Token 范围；Token 用量与成本说的是一次或多次调用实际用了多少、如何计费。不同模型的切分方式和计费规则可能不同，所以估算可以先用于规划，精确用量则看实际统计。
什么时候用
适合用
- 给 AI Agent 提供需求文档和代码文件时，用 Token 估算内容规模，决定先交哪些资料，并给回答留空间。
- 设计聊天产品的费用展示或用量提醒时，按模型返回的 Token 用量统计调用成本。
不适合用
- 限制网页标题或输入框能显示多少文字时，用字符数和界面尺寸判断；Token 数不能代表用户看到的长度。
- 判断某个 AI 回答是否可信时，检查事实、引用和实际运行结果；Token 用量不能衡量正确性。
练一练选一个答案，看看解释
你在做一个代码问答工具。用户上传了许多文件，还要求 AI 给出完整修改方案；请求经常因内容过长而失败。你会先怎么调整？
让 AI 帮你做复制给 AI Agent 直接用
请先检查这次任务要发送的需求、历史消息和代码文件，估算输入 Token 的规模，并为修改方案和必要代码预留输出空间。如果内容可能超出当前模型的上下文窗口，先列出最相关的文件及筛选理由，再分批处理；不要凭字数当作精确 Token 数。