TTFT / TPS
TTFT 是模型请求发出到首个输出 Token 产生的时间，TPS 是生成阶段每秒输出的 Token 数。两者帮你区分用户是在等回复开始，还是在等回复写完，从而找到聊天产品该优化哪一段。
你可能会说：「我的 AI 聊天工具有时半天不出字，有时出字后又写得很慢，能帮我分开查原因吗？」
动手看看AI 助手的流式回复
调首字等待和生成速度，回复会自动重播，也可以点重播再看一遍。先留意第一行何时出现，再看后面的内容多久写完；每行只是示意一段 Token 流，并非真实分词。
要点TTFT 和 TPS 分别在看哪段时间？
- 1
首字等待看 TTFT 指标
TTFT 是从发起请求到模型产生首个输出 Token 的时间。用户点了发送却一直看不到回复，通常先看它。输入很长或服务端排队，都可能让这段等待变长。
- 2
持续出字看 TPS 指标
TPS 是生成阶段每秒输出的 Token 数，不是每秒显示多少个汉字。首个 Token 出来后，如果回复仍缓慢地往外写，我们就看 TPS；同一模型在不同负载下，速度也可能不同。
- 3
测量口径先对齐再比较
做产品监控时，我们还要区分模型产生首个 Token 和页面显示首段文字：网络传输、前端缓冲都会造成差距。比较 TPS 时，也要确认是否只统计输出 Token，以及是否排除了首字前的等待。
容易混淆的地方
TTFT 和 TPS 描述的是一次模型回复的不同阶段，不等于整个请求的耗时：回复很长时，即使 TTFT 短、TPS 高，完成时间也可能长。TPS 也不是服务每秒能处理多少个请求；后者看的是请求吞吐量。你在讨论“快”之前，先说清楚是想更早看到回复，还是更早拿到完整结果。
什么时候用
适合用
- 做流式聊天界面时，用户抱怨点击发送后迟迟没字，记录 TTFT 来定位首字等待。
- 做长文生成工具时，回复开始得快却迟迟写不完，比较 TPS 和输出长度。
- 对比模型或部署方案时，在相近输入、输出和并发条件下分别测 TTFT 与 TPS。
不适合用
- 页面只是展示数据库里的固定文案，没有调用模型；先查接口耗时和前端渲染。
- AI Agent 卡在搜索或工具调用，模型尚未开始生成回复；先测工具调用耗时。
- 离线任务只关心整批报告何时完成，不关心单条回复的体验；先看批处理总耗时和吞吐量。
练一练选一个答案，看看解释
你的客服 AI 点击发送后很快显示第一个字，但一段较长的回答要很久才写完。下一步怎样判断问题更合适？
让 AI 帮你做复制给 AI Agent 直接用
请为聊天接口分别记录 TTFT、生成阶段的输出 TPS、输出 Token 数和请求总耗时，并注明各指标的起止点。用相近长度的输入和输出、在相同并发条件下测试，帮我判断慢在首字等待还是持续生成；同时检查前端是否延迟显示了流式内容。