可以定义完成,但完成的标准不是“结果出现”,而是“在约定条件下执行了约定动作,并留下了可复核的证据”。试验性工作本身不承诺排名、流量或转化,因此验收对象应换成动作、样本和判断规则。若缺少数据权限,团队仍能完成可执行的最小动作,例如提交一份可被第三方复核的诊断记录、一份变更前后的可比较样本,或一份明确列出未知项的结论。反例是:如果试验动作依赖只有甲方才能提供的访问日志或后台权限,而甲方始终未提供,那么“完成”只能定义为“已交付等待执行的方案与执行说明”,不能算作已执行。
缺少完整数据时,最容易出现的分歧是:乙方说“做了”,甲方说“没看到效果”。解决办法是把完成拆成三层,每层单独验收。
三层都通过,试验性工作即可判定为完成。判断层没有通过,即使执行层动作齐全,也只能算部分完成。
没有搜索后台、没有分析工具、没有服务器日志权限,仍然可以做三类动作,它们的结果会直接影响下一步。
这三类动作都不需要平台内部数据,但它们能支撑一个有限结论:动作已执行,证据可复核,归因仍待补充数据。
假设某网站优化团队要在不接入分析工具的前提下,测试“把产品页标题从品牌词前置改为需求词前置”是否值得继续。可以约定:选取 20 个结构相似的页面,其中 10 个修改标题,10 个保持不变;观察窗口设为四周;完成标准为“20 个页面的标题快照全部留存,修改组与对照组的页面均无技术错误,且四周后能输出一份差异清单”。
四周后,如果修改组页面出现抓取异常或重复内容,那么试验的完成状态应标记为“已执行但结论无效”,下一步是修复技术问题并重新建立基线。如果两组页面都正常,但外部可观测指标没有明显差异,完成状态仍是“已执行”,结论应写成“在现有证据下,标题前置方式未表现出可区分差异,需更多数据或更长窗口再判断”。这里的关键不是有没有效果,而是有没有按约定收尾。
有一种情况会让上述定义全部失效:试验动作本身依赖甲方独占的权限或数据,而甲方在约定时间内没有提供,团队却把“方案已交付”当成“试验已完成”。这时执行层没有发生,证据层为空,判断层只能写“未执行”。如果继续按“已完成”推进下一轮动作,后续所有比较都失去基线。
另一种失效情形是:团队把外部可观测指标的短期波动直接当成试验结论。例如某天抓取频次下降,可能来自服务器临时不可用、站点地图提交异常或第三方服务波动,不能单独证明标题修改无效。遇到这类现象,下一步动作应是先排除技术原因,再决定是否延长观察窗口或调整样本。
在缺少数据权限的项目里,建议在试验开始前就写一页完成定义,至少包含:本次要执行的动作、动作发生的证明方式、观察窗口、不能得出的结论,以及权限缺失时的替代动作。只要这页内容被双方确认,试验性工作就有了可验收的边界。若权限始终无法补齐,下一步不是继续加动作,而是把项目目标从“验证效果”调整为“建立可复核的执行记录”,并明确哪些结论必须等到数据权限到位后才能判断。