先给一个有条件的结论:当分组结论与总体相反,优先怀疑的不是数据造假,而是分母被分组改变了。总体比率把不同规模的组混在一起,分组比率则各自用自己的分母。只要各组在总体中的占比差异足够大,两个方向相反的结果可以同时成立。下一步不是删掉某一方,而是把两套分母并排列出,看差异是否由构成变化解释。
查分母的第一步是核对分子和分母的记录集合。总体转化率的分母可能是全部访问,分组转化率的分母可能只包含进入某个页面的访问。两者名称相同,覆盖范围不同,结论自然相反。
可执行动作:从统计系统导出总体指标时,同时导出它的记录数;再导出每个分组的记录数,把它们相加,与总体记录数比较。如果两者不等,先找出被排除或被重复计入的部分,而不是继续解释比率。
这一步的结果决定后续方向。若记录数对得上,问题在权重;若对不上,问题在口径,应先统一口径再谈分组差异。
分组与总体相反,常见原因是各组在总体中的权重不同。假设某站点总体转化率为 2%,其中移动端 1%、桌面端 4%。如果桌面端访问占比从三成升到七成,总体转化率会上升,但两个分组各自的转化率都没变。反过来,若高转化组占比下降,总体也会下降,而分组内部可能都在改善。
这里的数字只用于说明比较方法,不是真实项目结论。判断依据是:分组比率的变化方向与总体比率的变化方向不一致,同时各组的构成占比发生了明显移动。
可执行动作:列出每个分组在两个时间段的记录数和占比,再列出各自比率。若分组比率同向变化、总体反向变化,且占比移动幅度足以解释差距,就应把结论写成“总体变化主要由构成变化驱动”,而不是“某分组表现变差”。
很多人把分组比率相加再除以组数,得到所谓总体水平,这个值与真实总体比率往往不同。真实总体比率是总分子除以总分母,等价于各组比率按各自分母加权。分母小的组,比率再高也拉不动总体;分母大的组,微小变化就能改变总体方向。
可执行动作:用 总体比率 = Σ(分组比率 × 分组分母) / Σ分组分母 重算一遍。若重算结果与报表总体一致,说明总体口径正确,差异来自权重;若不一致,说明报表总体可能用了另一套过滤条件。
这一步的结果会直接决定下一步:口径一致时去查构成变化,口径不一致时先修口径,不要急着下业务判断。
反例:如果分组记录数相加等于总体,各组占比在两期几乎没变,分组比率也没有明显移动,但总体比率仍与分组相反,那么构成变化解释不成立。此时更可能的原因包括:总体指标与分组指标来自不同统计系统、时间窗口不同、去重规则不同,或分组字段存在空值被单独计入总体却未出现在任何分组中。
可执行动作:检查分组字段的空值率和时间范围。若空值记录只进总体、不进分组,把它们单独列为一组再算,往往就能消除矛盾。若仍不能消除,应回到原始日志抽样核对,而不是继续在汇总层面推断。
处理这类矛盾,最终要留下三样东西:总体与分组各自的记录数、各组的构成占比、以及重算后的加权结果。只保留比率而不保留分母,下一次仍会得到相反结论。
可执行动作:在下一次汇报中,把总体结论和分组结论并列,并注明各自分母。若两者方向相反,先说明构成变化是否足以解释,再决定是否需要进一步拆分。这样做的结果是,读者能判断该相信哪一层结论,而不是在两组数字之间反复摇摆。