使用手册

AI 问法监测

侧栏「监测」是主路径第 4 步。它回答的不是「我们玄学上强不强」,而是:「在这组问法、这几个平台、这一轮有效样本里,成功实体被提到的比例与证据是什么。」

固定问法抽样:充分样本、失败不计、证据可手测——监测章的完整方法论。

手册首页

一、监测在科学上像什么

像抽样调查,不像期末一次考试定终身。问法是问卷,平台是总体的切片,有效答案是回收问卷,提及是「答卷里出现了实体名」。样本量不够,比例会抖;问卷写歪(问法污染),结论会偏;回收失败(探针失败),看起来像全 0,其实还没开始统计。

二、充分样本与失败不计(结案纪律)

  • 充分样本:有效答案数达到结案门槛(通常≥10)。不够就只报过程,不报结案百分比。
  • 失败/去重/空答:不计入提及率分母(或按产品规则剔除)——详情以效果页/看板诚实说明为准。
  • 曾经「全 0」:先打开探针有效率,看是不是失败堆出来的假 0。
  • 跟甲方汇报模板:「有效 n=…,充分样本提及 …%,证据见…」。

三、怎么做

  1. 01

    对齐问法与实体

    核心问法要贴真实场景(如上海周边周末去哪)。成功实体与资料一致。发现「苏州苏州」这类污染立刻改。

  2. 02

    准备浏览器助手(如需)

    真浏览器平台依赖「设置 → 浏览器会话/助手」在线。助手挂了就不要硬跑后假装有结论。

  3. 03

    发起轮次并等待完成

    跑完看有效样本、提及、分平台。需要登录平台时会出现待办——先做人再继续。

  4. 04

    沉淀证据

    有提及时到效果/经营看板看平台+问法+摘要。甲方会上用同一问法手测,比只念百分比管用。

四、结果怎么读

现象优先怀疑优先动作
有效很少、失败很多助手/登录/平台可达修设置与待办
有效够但提及≈0实体/问法/公开信号不足改问法、补站与外宣后复测
有提及但不稳样本波动或问法漂移锁定问法包、多轮充分样本
相对基线回落问法被改脏或失败率升对照看板建议复测与排查

五、验收

  • 能说明本轮是否充分样本。
  • 若对外报了提及:有证据片段且可手测。
  • 不把失败轮次的数字写进合同口径。

六、踩坑

  • 每天换问法导致无法对比基线。
  • 只跑一个平台就宣称「全网出词」。
  • 忽略弱平台(如某一侧长期 0)不补内容。

你来这是为了?

看完这章,打开小源试 14 天

免费看看打开小源