先看结论
可见度监测的关键是可对照,而不是抓取一次答案就下结论。明确样本、条件和指标口径,才能知道数据变化代表什么。
固定问题与测试条件
为每个问题设置编号,并区分品牌词问题与非品牌词问题。记录平台、测试日期、可见模型版本、是否联网,以及是否使用新会话。
尽量保持前后条件一致;无法保持一致时,应在报告中标注变化,不把不同条件的结果直接比较。
分别记录三类表现
- 品牌提及:是否出现目标品牌,位于什么语境,是否属于明确推荐。
- 事实准确性:产品功能、适用范围与关键限制是否正确。
- 可见引用:回答展示了哪些链接,链接页面是否支持对应说法。
如使用“提及率”,可定义为有效回答中提及品牌的回答数 ÷ 有效回答总数。报告需同时写明问题数量、复测次数与失败样本处理方式。
一条记录应该包含什么
建议记录字段
问题编号 · 完整提问 · 平台与模式 · 测试时间 · 原始答案 · 品牌表现 · 可见引用链接 · 事实问题 · 备注
保存原始问答快照,检查引用链接能否打开。若回答没有展示来源,应记录“未展示可见引用”,而不是推断它没有参考任何来源。
如何解读变化
对同一组问题进行多次复测,同时查看汇总表现与单条回答。不要只展示最好的一次结果,也不要将不同问题数量下的百分比直接对照。
- 新出现的提及:进一步检查描述是否准确。
- 引用来源变化:核对新来源内容与相关性。
- 结果波动:检查模式、模型或问题范围是否变化。
- 咨询增加:另行核验咨询来源,不能仅归因于 AI 提及。
这是一套建议的记录方法,并非平台官方评分标准或效果承诺。