辛普森悖论：别被数据误导

我在大学第一次接触辛普森悖论时，觉得它特别让人困惑，几乎不知道自己在看什么。明明摆着一个高层面的趋势，故事看起来相当清楚。可是一旦把底下的分组拆开看，趋势却反过来了。

最初我的想法大概是：“看来统计也不靠谱。”不过后来我系统学了一些东西，很高兴地说我又重新信任统计了。如果您也和我当时一样困惑，继续往下读，我会帮您弄清到底发生了什么。

什么是辛普森悖论？

有经验的数据分析师会明白，面对宏观趋势时必须保持怀疑。这是因为简单的平均值可能掩盖了数据中更复杂却真实的情况。遇到辛普森悖论时，这种“别的情况”相当惊人：汇总后的数据不仅隐藏了事实，甚至指向了完全相反的结论。

换句话说，辛普森悖论指的是：一个趋势在各个独立分组中都出现，但当这些分组合并后，这个趋势却消失或完全反转。这强烈提醒我们，如果不理解组成部分就只看“大图景”，很容易出问题。

一个辛普森悖论示例

最好的方式是直接看例子。我先从简单的开始，然后指向一些著名案例，您也可以自己研究。

假设有一项研究比较两种土壤类型对树木生长的影响，土壤 A 和土壤 B。按土壤类型看树木生长，结果似乎很明确：

• 在寒冷气候（组 1）中，土壤 A 的结果更好。
• 在温暖气候（组 2）中，土壤 A仍然更好。

基于此，土壤 A 看起来显然是赢家。但当我们把所有数据合并时，悖论出现了：整体上土壤 B 其实更有效。

不相信的话，我们来看看具体数字：

寒冷气候下的树木生长

在寒冷气候中，土壤 A 支持更快的生长。

温暖气候下的树木生长

在温暖气候中，土壤 A 依然表现实际更好，但差距更小。

但当您合并所有树木时

现在我们看到，总体上土壤 B 更好，尽管在两个气候条件下土壤 A 都优于它。

这怎么可能？答案是混杂变量——一个同时影响被研究分组与最终结果的隐藏因素。在这个例子中，气候就是混杂因素。

更具体地说，我们应当指出：

• 土壤 A 更常用于较冷的气候，在那里无论使用哪种土壤，树木总体生长都更慢。
• 而土壤 B 更常用于较暖的气候，在那里树木总体生长更快。

因此，气候既影响生长速率，又在不同土壤组之间分布不均。

辛普森悖论的经典案例

研究辛普森悖论时，人们常引用一些能清晰展示其机制的历史案例。

著名的例子来自 20 世纪 70 年代的加州大学伯克利分校研究生录取。最初数据显示女性的录取率低于男性。但按院系分解后发现，多数院系对女性的录取率与男性相当或更高。混杂因素是院系选择：女性更常申请更具竞争性的院系（整体录取率更低），而男性更常申请竞争性较低的院系。

另一例是 1986 年关于肾结石治疗的研究。总体上，创伤更小的方法看起来更有效。但按结石大小分组后，创伤更大的手术在大小结石两组中的成功率都更高。这里的混杂因素是病例严重程度：更棘手的病例被分配去做手术，从而拉低了手术的总体成功率。

这两种情况中，合并数据都给出了错误印象。只有分解之后，真相才显现出来。

辛普森悖论的成因

在辛普森悖论中，合并组与各单独分组的数据都“算对了”。因此并不存在任何数学错误，问题在于如何解读。这考验我们是否能把所有事实捋顺。

为了帮助您理解——我前面已稍作提及——辛普森悖论出现在以下两个条件同时成立时：

1. 存在混杂变量：有第三个因素同时关联自变量与结果变量。
2. 分组不均衡：在树木的例子里，土壤 A 更常用于较冷气候（总体生长更慢），土壤 B 更常用于较暖气候（总体生长更快）。这种不均衡会扭曲合并后的平均值并导致反转。

如何应对辛普森悖论

这可能是最重要的部分：在您自己的分析中，如何预防辛普森悖论的“误导”，以及一旦出现，您应该报告哪个版本的结果？

事前该做什么

或许，最好的办法是在辛普森悖论有机会扭曲结论之前就加以处理。这意味着养成几项有纪律的习惯：

• 细分您的数据： 不要只依赖顶层平均值。按相关维度将数据拆分为子组，比如年龄、地区、产品类型或严重程度等，并检查这些切片中趋势是否依然成立。
• 寻找混杂变量：始终自问：还有什么可能在影响这个结果？ 寻找那些在各组之间分布不均的因素，尤其是您凭借领域知识已知的重要因素。
• 牢记相关不代表因果：聚合数据里出现的趋势并不等于真实的因果关系。辛普森悖论往往出现在表面相关掩盖了更深层次不均衡的时候。
• 坚持追求上下文：了解数据的来源以及可能影响它的因素。采集方法、研究对象的性质与外部影响都很重要。

出现之后该做什么

如果出现辛普森悖论，别慌。这正提示您需要更仔细地查看：

• 调查不均衡之处。哪些因素在各组之间分布不均？那很可能就是混杂因素。
• 同时报告两种视角，但以清晰为先。可以展示聚合结果，但务必解释其误导之处，并突出更能反映真实模式的分组分析。
• 以目的引导报告。如果要制定政策或进行运营调整，通常应基于子组层面的洞察行动，而不是基于汇总的结论。

如果您在问，哪种版本的结果“更好”——聚合版还是分组版？并没有放之四海皆准的答案。话虽如此，我会认为在存在混杂时，分组分析通常更可靠。分组（分解）后的发现往往信息量更大，因为它反映了变量在不同条件或情境下的表现；而若存在同时影响分组与结果的混杂变量，聚合结果就可能误导。关键在于理解反转为何发生，并在报告中清楚地传达这一点。

结语

辛普森悖论是数据解读艺术的一堂好课。能够越过具有误导性的总量，追问“我遗漏了什么？”是成熟分析师的标志。这项能力让人不仅能报告数字，更能挖掘洞见。

如果您也对这些反转背后的“为什么”感兴趣（我确实如此），这个悖论是通往因果推断更广阔领域的绝佳入口，我们的Machine Learning for Business课程教授因果模型等内容。此外，欢迎报名我们的Foundations of Inference in Python课程作为另一个非常不错的学习选择。