先把空页面分成两类再动手:一类是有明确发布计划、只是尚未填充的待发布页;另一类是已失去存在理由、内容被撤走或需求消失的废弃页。判断依据不是页面当前是否为空,而是它是否还有指向未来的证据——排期记录、内部链接位置、外部引用、搜索需求是否仍在。没有这些证据的空页面,保留只会稀释站内链接权重,也容易让抓取预算浪费在无内容可读的URL上。
空页面在爬虫和用户眼里表现相似,但成因完全不同。区分它们需要三类可核对证据,而不是凭印象下判断。
一个常见反常现象是:清理一批空页面后,站点整体抓取量短期内没有明显变化,甚至个别目录的收录数还上升了。这不能单独证明清理动作正确。抓取量受服务器响应、站点整体更新频率、外部链接变化影响;收录数波动也可能来自其他目录的新页面被处理。要判断清理是否有效,应把观察窗口拉长,并对比同一目录在改动前后的抓取分布,而不是只看全站一个总数。
面对一个空页面,通常有三种处理方向,但每种都有成立条件,不必强行三选一。
如果排期明确、内容负责人仍在推进,保留是合理的。此时应给页面一个明确的占位状态,而不是让它以纯空白对外。可以放置简短的说明段落,说明该内容即将上线,并确保它暂时不被主导航大量推荐。前提是:发布计划有具体时间点,而不是“以后再说”。没有时间点的保留,本质上是把废弃页伪装成待发布页。
有些空页面原本想覆盖一个宽泛主题,结果发现该主题已被站内其他页面更好承接。此时不必新建内容,而是把这个URL改写为指向更具体、更有搜索意图的页面,或将其合并进已有页面。适用前提是:该主题仍有需求,且站内已有页面能承接。改写后要检查内链是否指向了正确目标,否则用户仍会落到空页。
三个证据都不成立时,退出是干净的选择。退出不等于直接返回404,可以先评估是否有外部链接:如果有少量外链,用301指向最相关的上级页面;如果完全没有引用,直接返回404或410即可。这里的关键动作是先导出该URL的站内内链清单,逐一决定是删除链接还是改指向。这个动作的结果会直接影响下一步:如果内链改指向后目标页面获得更集中的入口,说明退出处理是正向的;如果改指向后目标页面表现没有变化,说明原空页本来就未参与链接传递,退出的影响有限。
假设某站有一个栏目页/guide/advanced/,正文为空,但导航中仍有入口。可以按以下顺序判断:
这个顺序的意义在于:先处理引用关系,再决定页面去留。反过来先删页面,再回头修内链,容易遗漏并制造新的抓取问题。
清理动作完成后,验证要围绕“是否减少了无效抓取”和“是否影响了有效页面”两点展开。可以对比改动前后同一目录的抓取请求分布:如果空页面的抓取请求下降,而有内容的页面抓取请求上升或持平,说明抓取资源在向有效页面集中。但要注意,抓取请求下降本身不是成功标志,它也可能只是因为站点整体更新减少。合理解释至少包括:服务器响应变慢、站点外部链接减少、其他目录新增了大量页面分流了抓取。要排除这些解释,需要同时看有内容页面的抓取是否稳定。
另一个验证点是内链改指向后的目标页面。如果目标页面在改动后获得了更多入口,但表现没有变化,不能直接归因于清理无效,也可能是因为该目标页面本身内容质量不足,或搜索需求季节性下降。比较时应尽量选取需求稳定的时间段,避免把季节波动当成改动效果。
最后,给待发布页设置一个复查节点,而不是无限期保留。例如约定在某个排期日期后仍未填充,就自动转入退出流程。这样做的结果是:空页面不会长期占用站内入口,清理决策也有了可执行的截止条件,而不是每次都要重新争论它到底算不算废弃。