AI版本更新后提示词为什么要回归测试
提示词在旧版本有效,不代表在新版本仍会得到相同质量。回归测试能将模糊感受转为可比较的观察。
选择代表性提示词
覆盖高频任务、高风险任务、边界输入和常见失败案例。样本不必很多,但应来自真实且已脱敏的工作场景。
提前定义评价维度
可评价事实正确性、格式遵循、完整性、拒答行为和耗时。对主观任务,使用明确评分说明并保留人工备注。
记录改变而非追求逐字相同
生成式结果天然存在差异,重点是任务是否仍达标。小型任务集的设计可参考AI基准任务设计。
提示词在旧版本有效,不代表在新版本仍会得到相同质量。回归测试能将模糊感受转为可比较的观察。
覆盖高频任务、高风险任务、边界输入和常见失败案例。样本不必很多,但应来自真实且已脱敏的工作场景。
可评价事实正确性、格式遵循、完整性、拒答行为和耗时。对主观任务,使用明确评分说明并保留人工备注。
生成式结果天然存在差异,重点是任务是否仍达标。小型任务集的设计可参考AI基准任务设计。