模型评测
Evals
中级通用模型评测（Evals）是用一组任务样本、判断标准和运行结果，衡量模型在具体任务上表现的方法。它帮你判断改提示词或换模型后，产品里的回答是否真的变好，而不只凭几次试用的感觉。
你可能会说：「我改了客服助手的提示词，想知道它是不是更会回答问题，也有没有把原来答对的题答错。」
动手看看工单分类的版本评测
切换提示词版本，再打开「只看失败样本」看看错在哪。工单行可悬停或用 Tab 聚焦；这里切换的是预设结果，不会实时调用模型。
V2 补充了分类边界，修正重复扣款这一条，通过率从 50% 到 75%。但登录问题仍然分错，不能说它已经全面可靠。
要点一次模型评测是怎么做的？
- 1
先定任务和判断标准
先说清你要模型完成什么，以及怎样算好。比如客服助手回答退款问题，除了答对政策，还要在信息不足时提出追问。因为目标不同，同一句回答可能在一个任务里合格，在另一个任务里不合格。
- 2
准备能代表实际使用的样本
把常见问题和容易出错的边界情况都放进样本，并记录必要的上下文。这样改了提示词或模型后，我们能用同一批问题比较结果，而不是每次随手问几句，最后只记得印象最深的一次。
- 3
结合评分与具体错误看结果
格式、字段是否齐全可以用程序检查；回答是否准确、有用，可能需要人工判断或借助模型评分。评分能帮你发现变化趋势，具体错误则告诉你哪里出了问题。评分方式本身也值得抽查。
容易混淆的地方
模型评测关注模型在一组任务上的表现，可能需要判断语义是否正确；单元测试更适合检查代码在确定输入下是否得到预期输出。它也不同于 A/B 测试：A/B 测试看真实用户在不同版本中的行为，模型评测通常能在发布前反复运行，但不能单独证明用户更喜欢哪个版本。
什么时候用
适合用
- 你在做文档问答工具，准备更换模型，想比较新旧版本是否都能依据文档回答，并在找不到依据时说明情况。
- 你修改了订单客服 Agent 的提示词，想检查退款、催单和信息缺失等场景有没有进步或退步。
- 你用模型从发票中提取字段，想用一批已核对的样本比较不同方案的漏提和误提情况。
不适合用
- 你只是要确认表单提交后是否写入数据库；这里的结果可以明确断言，用集成测试比模型评测合适。
- 你还不知道用户是否需要这个 AI 功能；先做用户访谈或可点击原型测试，比给模型回答打分更能回答这个问题。
练一练选一个答案，看看解释
你维护一个产品帮助中心助手，换模型后，几次试问都觉得回答更顺了。上线前，怎样判断它是否真的更适合这个任务？
让 AI 帮你做复制给 AI Agent 直接用
请为我们的产品帮助中心助手设计一套模型评测：覆盖常见咨询、信息不足和文档没有答案的情况；列出样本格式与判断标准，说明如何用同一批样本比较新旧版本，并汇总错误类型供我复查。