模型能力变更测试：用固定任务检验更新是否有用

模型能力变更最容易引发“感觉更好”或“似乎退步”的讨论，但这类印象很难指导真实使用。较可靠的办法是建立少量固定任务，在相近条件下观察输出是否满足既定要求。测试不是追求绝对分数，而是确认变化是否适合你的工作。

从常见失败点选题

先回看以前最常返工的环节：遗漏条件、表格错列、长文混淆、语言风格不稳，或无法遵守输出结构。每个失败点选一个代表任务，并去除不必要的敏感信息。测试集不宜过大，否则很难长期维护；六到十个有明确检查标准的任务，往往已经能覆盖日常风险。

“回答好不好”太模糊。可以改成“是否列出原文全部限制”“是否按指定字段输出”“是否标明无法确认之处”“是否在规定时间内完成”。对于需要人工判断的内容，预先定义复核角度，例如事实对应、格式完整和语言清晰。这样即便由不同同事复查，结论也更容易比较。

比较前后版本时，尽量固定输入资料、任务说明、语言设置和输出格式要求，并记录测试日期、入口和产品版本。若产品在分批开放，不同账号出现差异并不罕见；应把这种差异写进记录，而不是视为结果冲突。关于发布范围的识别，可结合产品发布消息阅读。

测试发现长文处理改善，不代表所有任务都可免于复核；测试发现格式更稳定，也应检查下游工具能否正常接收。结果最好落成简短规则：哪些场景可优先使用、哪些必须人工检查、哪些暂不切换。若测试关系到完整流程，还可用工作流效果评估验证整体收益。

持续测试的价值，在于让“模型能力变更”变成有证据的选择。测试集应随任务变化更新，并在重大版本说明出现后重新运行。延伸阅读：发布说明阅读方法、基准结果解读、产品比较框架、长期跟踪方法。