科学家都会犯的26个统计学错误，看看你踩了多少雷？所有这一切都说明了设计和进行合理的研

文 | Kevin Gray 译 | 郝孝帅

下图是生化学家对话统计学家（Biologist talks to statistician）的截图，这一美国统计协会通讯社（Amstat News）推出的喜剧片段揭露科学家们在统计方面的无知。

注：本文中提及的书籍、文章、采访链接皆可点击文末阅读原文找到哦~

在经典统计学书籍《统计学也出错》（Statistics Done Wrong，Reinhart）中深入的研究了有关统计方面混淆的知识。《不确定性：建模、概率和统计的精髓》(Uncertainty: The Soul of Modeling, Probability & Statistics，Briggs) 里介绍的问题连包括统计学家在内的科学家们都很难读懂。还有一个关于容易出错的统计学问题的采访：你从未学过统计，因为从未有人教你（Vital Statistics You Never Learned...Because They"re Never Taught），受访者是著名统计学家 Frank Harrell ，《回归建模策略》（Regression Modeling Strategies）的作者。不管你是营销研究员还是统计学家或数据科学家我希望你花几分钟时间阅读这次采访。

我读过的许多统计教科书也列举了一些常见的统计错误。还有管理学书籍《光环效应》（The Halo Effect，Rosenzweig）此书揭露了很多商业巨头们喜欢引用的书籍中的推理和统计错误。

学好了数学或者成为了一个优秀的程序员绝对不等于对统计学有很好的了解。还有一些案例中显示有扎实的统计能力的优秀科学家也不一定总是在统计方面能做好——科学家也是人，他们也会在统计学领域犯错，这里有些例子：

1. 非常草率的处理数据，例如：数据误读，错误标注，未能正确清理数据，合并不正确项，不存档等等。

2. 对概率论的理解不足，过分依赖少数概率分布，如常态。

3. 对取样理论和取样方法的无知：从一个小的自选择样本推广到一个大的异质群体就是一个例子。对数据加权的误解也很常见。第三个例子使用复杂抽样方法时，将数据视为一个简单的随机样本。

4. 对统计推断的把握不严，如混淆统计意义和实际意义。另一个例子是对人口数据进行重要性测试。例如，如果我们对A国有五十年的季度GDP数据，这200个数据点是该时间段内国家的人口数据，而不是人口的样本。例如，进行t检验，看看线性趋势是否与零有统计学上的差异，在这种情况下是没有意义的。

5. 利用机会寻找重大差异(p-hacking)，却不考虑已经进行的显著性测试的数量。

6. 在学术期刊上，要获得学术期刊的认可，通常需要达到统计上的重要性，而出版偏倚是一个严重的后果。 Meta-Analysis (Borenstein et al.) 和Methodsof Meta-Analysis (Schmidt and Hunter)这2本书中的对应方法很管用值得一看。

7. 从一个没有被复制甚至交叉验证的单一研究中得出戏剧性的结论。

8. 对贝叶斯统计，非参数统计，心理计量学和潜在变量模型的理解太表面。

9. 对分析时间序列和纵向数据的方法，以及空间统计和多层次混合模型理解不充分。

10. 许多工具，如支持向量机和人工神经网络，以及数据挖掘和预测分析中常用的Boosting和bagging等概念，对许多尚未开发的科学领域有潜在的实用价值。

11. 没有对广义线性模型方程给予足够的关注，例如忽略交互术语。

12. 在量化回归、回归样条、广义相加模型或其他方法时，对一组特定的数据进行线性化。

13. 不理解（或忽略）重要的统计假设。回归分析被普遍滥用。

14. 测量误差：统计显着性测试不考虑测量误差，但测量误差可能会对统计模型的解释造成很大影响。

15. 忽略回归到平均值：一个非常古老而又非常危险的错误！

16. 出于各种动机对连续变量进行分类，以满足统计假设，但这样做是不对的。另一个原因是它是一种输出结果的方法——一些“效应”是年龄真正的代理或年龄大大缓和。连续年龄有时被故意地分组到广泛的年龄范围，使其效果减弱。这样，一个不负责任的研究者可以得出结论：他们试图建立的效果在控制年龄后是“显着的”。

17. 已经知道结果后才提出假设:这个现象很普遍，以至于“人人都做，所以没关系”。

18. 用数据子集支持一个假设：“调整”数据直到它支持一个假设。

19. 混淆因果关系：对因果机制的误解并不罕见。

20. 埋藏在评论里的错误：有成千上万的“学术”出版物，但很少有期刊审稿人是具备专业的统计知识。

21. 将模拟数据当作实际数据处理，并将计算机模拟解释为使用真实数据的实验。

22. 基于假设而不是数据来进行粗略的估计，这在学术文献中很常见，我们很少注意到。随机模型有时也被误解为确定性模型。

23. 试图 “从石头里挤血” ：当数据越少，研究人员就越要 “填写空白”。有许多(通常是复杂的)方法来处理过少的数据量，但都增加了进入建模过程的主观性。反过来，这也为不负责人的科学家提供了更多的余地。

24. 元分析和倾向分数分析的不当使用。

25. “从小见大”——用少量信息去证实假设。

26. 不跟上统计数据的最新发展，不与专业统计人员交流。这是上面列出的许多问题的根本原因。

抛开伦理问题不谈，科学研究是怎样变得草率的？虽然这可能会让你感到意外，但是大多数学科在研究方法和统计学方面都学得很少，甚至到了博士学位也是如此。考虑到这个问题也有一部分是基于不可靠的统计数据，我感到很讽刺。

另一件令人担忧的事是，统计学课程经常由非统计学家教授，其中一个后果是让某些学科中的坏习惯代代相传。很多人没有意识到这些问题的严重性，但这确实是一件有可能危及他人生命的大事。

然而，公平地说，统计学是一个很难教也很难学的科目。课程作业往往集中在理论上，大量的材料必须在短时间内覆盖。学生们常常没有机会将统计学应用到现实世界的问题上，很多人一毕业就会陷入困惑。

所有这一切都说明了设计和进行合理的研究非常具有挑战性。我也劝你不要盲目崇拜科学家或统计学家。人类毕竟是人类。

-END-

译者 | 郝孝帅

一名机器学习和数据挖掘的小白

后台回复 “志愿者”

了解如何加入我们