跳到正文

Token 用量与成本

Token Usage & Cost

中级通用

Token 用量与成本(Token Usage & Cost)是模型请求消耗的输入、输出 Token,以及按所用模型和计费规则产生的费用。弄清它能帮你估算 AI 功能的开销,并找出对话历史过长等成本来源。

你可能会说:「帮我看看这个 AI 功能每次调用大概要花多少钱,费用主要花在哪儿。」

读之前建议先了解

动手看看

客服助手 · 请求费用示例单价:输入 ¥2 / 百万 Token,输出 ¥8 / 百万 Token
单次费用 ¥0.008
本轮输入:1,000 Token¥0.002 · 25%
历史对话:1,000 Token¥0.002 · 25%
模型输出:500 Token¥0.004 · 50%
单次费用 ¥0.024
本轮输入:1,000 Token¥0.002 · 8.3%
历史对话:9,000 Token¥0.018 · 75%
模型输出:500 Token¥0.004 · 16.7%
单次费用 ¥0.020
本轮输入:1,000 Token¥0.002 · 10%
历史对话:1,000 Token¥0.002 · 10%
模型输出:2,000 Token¥0.016 · 80%
单次费用 ¥0.036
本轮输入:1,000 Token¥0.002 · 5.6%
历史对话:9,000 Token¥0.018 · 50%
模型输出:2,000 Token¥0.016 · 44.4%
按普通文本计费估算,不含缓存折扣、工具及其他费用。
请求内容

切换请求内容,对比总价和三段色条;悬停账单行可高亮对应项目。费用等于各项 Token 数乘对应单价再相加,色条不是 Token 数占比。

输出只有 500 Token,却占一半费用:这里输出单价是输入的四倍。Token 是模型处理文本的单位,不等于字数。

要点

  1. 1

    输入和输出分开看

    你发给模型的提示词、附带的对话历史和检索内容会占用输入 Token;模型生成的回答会占用输出 Token。两者的单价可能不同,所以只看消息条数,算不出可靠的费用。

  2. 2

    按实际请求累计用量

    做客服助手时,一轮对话可能调用模型不止一次。工具返回内容如果又被送进下一次请求,也会增加那次的输入用量。我们要把这些请求合起来看,才能估算一次用户任务的成本。

  3. 3

    用账单规则核对估算

    不同模型和服务的计费方式不一样,有些还区分缓存输入等项目。你可以用接口返回的用量记录做统计,再按当前价格估算;最终账单则以服务方的实际计费规则为准。

容易混淆的地方

Token 用量说的是模型处理了多少内容,Token 成本说的是这些用量按计费规则折成多少钱;它们不等同于字数或请求次数。上下文窗口则是一次请求能容纳多少内容的限制:请求没超出窗口,也可能因为反复带上长对话历史而持续增加费用。

什么时候用

适合用

  • 你在做 AI 客服,想估算每解决一条工单的模型费用,并判断长对话是否抬高了成本。
  • 你让 Agent 反复读代码、调用工具,想比较不同任务流程的用量,再决定从哪里精简上下文。
  • 你要给 AI 功能设置预算提醒,想按模型、功能和用户任务统计实际消耗。

不适合用

  • 你做的是静态官网,没有调用模型;这时先看网站托管和流量费用,Token 用量与成本派不上用场。
  • 你只想估算上传图片占多少存储空间,且不会交给模型处理;这时看对象存储的容量与请求费用。
  • 你在排查普通 API 为什么响应慢,接口并未调用模型;这时看服务端日志和响应时间更直接。

练一练

你做的客服助手每轮都会把完整对话历史发给模型。用户量没变,但长对话变多后账单上涨。你会先怎么排查?

让 AI 帮你做

请帮我统计这个 AI 客服功能的 Token 用量与成本:按用户任务汇总所有模型调用,分别列出输入、输出用量和所用模型,依据当前计费规则估算费用,并指出对话历史或工具结果是否造成重复消耗。缺少数据时先列出需要补充的字段。

接下来学什么