当页面从几十个增长到几百上千个,最先该停止手工做的是重复性的抓取与索引维护,而不是内容判断本身;但如果页面结构差异很大、模板尚未稳定,继续手工检查反而比仓促上自动化更稳妥。判断标准不是网站大小这个数字,而是同一动作是否要在大量URL上重复执行、执行结果是否能用规则描述。
规模扩大后,工作可以粗分成两类。一类是规则明确、结果可预期的动作,比如检查新页面是否被链接到、是否出现在站点地图里、标题模板是否漏填、内链是否指向已删除页面。这类动作在几十个页面时手工点一遍没问题,到了几百个页面,手工的代价不只是时间,还有漏检和记录不一致。
另一类是需要结合意图判断的动作,比如某个栏目该不该合并、某篇内容该改写还是该下架、两个页面争同一个意图时保留哪个。这类工作即使页面再多,也不适合交给批量脚本,因为脚本只能执行你写下的规则,写不出你还没想清楚的取舍。
如果站点的列表页、详情页由同一套模板产出,字段位置固定,那么逐页手工检查抓取和索引状态基本是浪费。此时更合理的做法是:先定一份必须成立的页面规则,例如每个详情页必须有唯一标题、必须被至少一个列表页链接、必须出现在站点地图中,再用脚本或站点地图工具批量比对。
一个假设例子:某站点有800个详情页,手工抽查20个发现都正常,就认为整体没问题。但抽查覆盖不到模板分支,比如某个分类下缺少列表入口。改成按模板分组、每组抽若干页并核对链接来源,才能发现这类成片出现的问题。这里的动作是把抽查单位从“页面”换成“模板加分类”,结果直接影响下一步:如果问题集中在某一个模板分支,修模板即可;如果分散在各处,才需要回到内容层逐个处理。
如果站点由多套历史模板拼成,字段位置不统一,或改版还没结束,那么过早写批量规则会得到大量误报。此时更合理的是先手工处理高风险页面:流量集中的栏目、刚改过结构的频道、近期新增的内容类型。等这些页面的结构稳定下来,再把已经验证过的检查项交给脚本。
这里的代价要说清楚:手工阶段进展慢,但误判少;自动化阶段覆盖广,但规则写错时会一次性影响很多页面。选择哪一种,取决于你能否用一句话描述清楚“合格页面长什么样”。描述不出来,就先手工。
这三件事常被混在一起,导致该自动化的没自动化,该人工判断的却被脚本处理。
换句话说,越靠近“机器能判断对错”的环节,越适合停止手工;越靠近“需要理解用户要什么”的环节,越应该保留人工判断。
实际操作时,可以先列出当前所有重复性检查项,逐条问两个问题:这个动作的结果能不能用“是或否”描述?同样的规则能不能套用到至少几十个URL上?两个都答“能”,就把它从手工清单移到批量检查;只要有一个答“不能”,就先留在人工清单里,并注明判断依据。
做完这一步,下一步会变得清楚:批量检查负责发现“哪些页面不符合已知规则”,人工负责决定“这些不符合规则的页面该怎么处理”。两者分工明确后,规模扩大带来的主要风险就从漏检转向规则本身是否合理,而规则是否合理,仍然需要人来定期复核。
如果站点正处在改版、迁移或栏目重组期间,页面结构每天都在变,此时批量规则的生命周期很短,写脚本的投入可能很快作废。另一种情况是页面总量虽大,但真正影响获取的只有少数核心页面,那么把人工精力集中在这些页面上,比追求全站自动化更划算。
判断是否该继续手工,最终看的不是页面数量,而是规则是否稳定、动作是否重复、误判代价是否可承受。这三点想清楚,该交给批量的交给批量,该留给人判断的留给人判断,规模扩大才不会变成负担。