搜索引擎技术分析，访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e752d51e7fd0.html
📄
搜索引擎技术分析，访客被分配到不同版本时怎样识别样本污染
先给结论：如果访客分流是随机且稳定的，两个版本各自的表现可以放在一起比较；一旦分流规则本身与访客来源、设备或登录状态相关，就不能直接合并样本，需要先按分流维度拆开，再判断差异来自版本还是来自被分进来的人。识别样本污染的关键，不是看总量差多少，而是看分流是否独立于结果。
先确认分流是否真的随机
版本对比成立的前提，是每个访客进入哪个版本不受其他因素影响。实际业务里常见的偏差来源有几种：新访客默认进新版本、老访客因为缓存留在旧版本、某些渠道的落地页只指向一个版本、登录用户和未登录用户走不同逻辑。这些规则本身没有对错，但它们会让两个版本的访客构成不同。
判断方法很直接：把分流记录和访客属性放在一起看。如果两个版本在设备类型、来源渠道、新老访客比例、地区分布上差异明显，说明分流并不独立于这些属性。此时合并计算出来的差异，无法区分是版本改动带来的，还是人群结构不同带来的。
一个可执行的动作是：先按来源渠道和设备类型分别统计两个版本的核心指标，再和整体数字对比。如果某个分层里差异消失，而整体差异很大，说明整体差异主要由分层结构造成，下一步应该先修正分流规则，而不是继续解读版本效果。
样本污染常见的三种证据形态
污染不一定表现为数据异常，更多时候表现为数据“看起来合理但经不起拆分”。可以按以下顺序排查：
- 分流比例随时间漂移。如果新版本占比在一天内明显变化，而版本本身没有发布新逻辑，通常是某类访客被后续规则重新分配。此时时间序列上的指标波动，不能直接归因于版本。
- 同一访客跨版本。如果同一个访客标识在不同时间被分到两个版本，那么他的行为会同时进入两组样本。需要先确认分流是否按访客维度持久化，还是每次请求重新计算。
- 指标在分层内反转。整体上新版本更好，但按渠道拆开后每个渠道都是旧版本更好，这叫辛普森式反转，说明渠道结构在两组间不平衡，整体结论不可用。
这三种形态指向同一个判断：只要分流规则和结果变量之间存在共同原因，样本就已被污染。识别它不需要复杂模型，只需要把分流变量和结果变量做交叉检查。
一个假设例子：渠道比例不同造成的假差异
假设某页面有两个版本，A 版本主要承接自然搜索访客，B 版本主要承接站内推荐访客。假设自然搜索访客的转化率天然高于推荐访客，那么即使两个版本本身没有任何差别，B 版本的整体转化率也会更低。
这时如果只看整体数字，会得出“B 版本更差”的结论；但如果按来源渠道分别看，两个版本在同一渠道内的转化率可能接近。这个例子说明：当分流规则与渠道绑定，渠道就成了混杂因素，整体比较失去意义。
要验证这一点，可以固定渠道后再比较版本。如果固定渠道后差异大幅缩小，下一步动作应是修正分流，让每个渠道都能进入两个版本，而不是继续优化 B 版本。反过来，如果固定渠道后差异依然存在，才值得进一步排查版本本身的差异。
什么情况下结论会失效
上面所有判断都建立在一个前提上：分流规则在观察期内保持稳定。如果中途修改过分流比例、上线过新的定向条件，或者缓存策略发生变化，那么前后两段数据不能直接拼接。此时即使分层后差异消失，也不能排除是规则变更造成的，需要把变更时间点作为分段边界重新看。
另一个会让结论失效的反例是：访客属性本身被版本改动影响。比如新版本改变了页面加载方式，导致部分低端设备访客提前离开，那么设备分布差异就不再是分流造成的，而是版本造成的。这种情况下不能简单把设备当作混杂因素剔除，否则会掩盖版本的真实影响。区分方法是看设备分布差异出现在访问开始前还是开始后。
下一步动作与判断顺序
建议按以下顺序处理，每一步的结果决定下一步：
- 拉出分流记录，确认每个访客标识是否只对应一个版本。如果存在跨版本，先修复分流持久化，再谈比较。
- 按来源渠道、设备类型、新老访客三个维度分别统计两个版本的样本量和核心指标。如果某个维度上两组比例差异明显，把它标记为疑似混杂因素。
- 在疑似混杂因素的每个分层内单独比较版本。如果分层内差异消失，优先修正分流规则；如果分层内差异仍在，进入版本本身的排查。
- 记录分流规则的变更时间。如果观察期内有变更，以变更点为界分段分析，不合并前后数据。
这套顺序的核心是：先确认样本可不可比，再判断版本好不好。样本不可比时，任何版本结论都只是人群差异的投影，继续解读只会把错误结论带入下一步决策。
