先给结论:额度有限时,不要按“覆盖全面”挑样本,而应按“能否推翻当前判断”挑样本。优先选那些结果无论偏向哪边都会改变下一步动作的对象,其次选边界值、异常值和差异最大的两类对象。假设你手上有100个待查对象、额度只够查12个,下面这套取舍过程可以直接套用。
挑样本之前,先把决策写清楚。比如“决定是否把全部100个对象按同一套方案处理”,或者“决定先修哪一类问题”。决策不同,最有信息量的样本也不同:前者需要能代表整体分布的对象,后者需要能区分问题类型的对象。
假设情境:你负责一批页面或词条,想判断整体是否存在某一类共性问题,额度只够查12个。此时如果只是随机抽12个,很可能全部正常或全部异常,结论要么过于乐观,要么无法定位原因。更有效的做法是让这12个样本承担“区分解释”的任务。
这四类合计通常不超过12个。如果额度更少,先保第1类和第4类:一个用来挑战判断,一个用来校验工具输出。
判断样本价值,可以问一句:查完之后,如果结果是A,我会做什么;如果是B,我又会做什么。两种情况导致相同动作的样本,信息量低;导致不同动作的样本,信息量高。
假设你正在决定是否暂停某批对象的统一处理。某个样本若显示正常,你会继续;若显示异常,你会先暂停并排查。这个样本就值得占用额度。反之,某个样本无论正常还是异常,你都会继续原计划,那它应排到最后,甚至不查。
把这个判断写成两列表格(纸面即可):左列写“结果分支”,右列写“对应动作”。动作相同的样本合并,只保留一个代表。
额度有限时最怕的是:查到的少数样本结果与预期相反,就立刻推翻原判断。相反结果至少有三类合理解释,需要不同证据区分:
注意:某个指标查询量归零或抓取量下降,不能单独证明处理正确或错误。它也可能是统计口径变化、数据延迟、对象本身无活动等原因。要下结论,至少需要第二个独立证据,比如可核对的对照对象状态,或另一组条件相同对象的复现结果。
把12个额度拆成两段。第一段只查4个:1个最可能推翻假设的对象、1个边界对象、1个可核对对照对象、1个随机普通对象。查完后做一次判断:
这个动作的结果直接决定下一步:一致就扩大确认范围,矛盾就先修条件,对照失败就先修工具使用方式。额度少不是问题,把额度花在能改变动作的样本上才是关键。具体工具的额度规则、可用条件和结果口径,需要以你实际使用的百度工具页面说明为准。