自伽利略、牛顿和达尔文以来的几个世纪里，科学研究发生了巨大的变化。过去，科学家们常常独自埋头苦干，做着自己的实验和论文，而如今，合作已成为常态。现在，科学家团队定期汇集和处理从高科技仪器中收集到的大量数据。
更大的数据集和越来越复杂的工作流程使得研究人员更难重现实验结果——这是科学过程的关键部分。(图片来源:Getty Images)
然而，随着现代科学变得越来越复杂，取得了惊人的突破，一个令人担忧的趋势出现了。困惑的科学家已经证明，大量的研究不能成功地复制，即使使用与原始研究相同的方法。这种“可再现性危机”对心理学和医学领域产生了特别大的影响，使许多原始研究结果的有效性受到质疑。
5月20日发表在《自然》(Nature)杂志上的一项由斯坦福大学(Stanford)研究人员联合主持的新研究，强调了可重复性危机的一个特殊因素:实验数据分析的方法越来越复杂和灵活。简而言之，没有两组研究人员一定是用相同的方式处理数据的。有这么多数据要处理，有这么多方法来处理，研究人员可以得出完全不同的结论。
在这项史无前例的研究中，来自世界各地的70个独立研究小组被要求应对一项共同的分析挑战。研究人员向所有参与者展示了同样的数据——对执行货币决策任务的志愿者的大脑扫描——并让他们测试九种不同的假设。每个团队分析的数据都不一样。
最终，在这9个假设中，有5个的结果有显著差异，有些报告的结果是正面的，有些报告的结果是负面的。“从我们的研究中得出的主要结论是，给定完全相同的数据和相同的假设，不同的研究团队得出了非常不同的结论，”论文的合著者、人文和科学学院的阿尔伯特·雷·朗(Albert Ray Lang)心理学教授拉塞尔·波特拉克(Russell Poldrack)说。他还参与领导了一个名为“神经成像分析、复制和预测研究”(NARPS)的国际项目，该项目对数据分析技术进行了对比实验。
尽管令人担忧，Poldrack说这些发现可以帮助研究人员评估和改进他们的数据分析的质量。潜在的解决方案包括确保以多种方式分析数据，以及使数据分析工作流程透明并在研究人员之间公开共享。
波德瑞克说:“我们真的很想知道我们什么时候做错了什么，这样我们就可以修复它。”“我们没有隐瞒或掩盖坏消息。”
弯弯曲曲的分析之路
这项新的研究集中在一种称为功能性磁共振成像(fMRI)的神经成像技术上。当研究参与者执行一项任务时，这项技术可以测量大脑中的血流量。血流量越高，表明大脑某个区域的神经活动越活跃。通过这种方式，fMRI可以让研究人员探究大脑的哪些区域参与了特定的行为，以及情感的体验、错综复杂的记忆存储等等。
最初的NARPS数据是由特拉维夫大学Tom Schonberg的研究小组获得的108个人的fMRI扫描组成的。研究参与者参与了一种模拟赌博的实验，这种实验是由Poldrack和他的同事在之前的研究中开发的。功能磁共振成像扫描显示，大脑区域，尤其是那些参与奖励处理的区域，会根据每次赌博的赢钱或输钱的数量改变它们的活动。但从收集到的脑部扫描结果推断出明确的结果，却远非简单明了。
Poldrack说:“你必须通过fMRI来处理从原始数据到结果的过程是非常复杂的。”“在分析工作流程的每一个地方，你都必须做出许多选择。”
这项新研究极大地展示了这种分析的灵活性。在接收到利用斯坦福研究计算中心(Stanford Research Computing Center)资源在全世界共享的大型神经影像数据集之后，每个研究团队都走上了自己的分析之路。从一开始，团队就以不同的方式对假设测试进行建模。这些团队还使用不同种类的软件包进行数据分析。预处理步骤和技术也因团队而异。此外，研究小组设置了不同的阈值，以确定大脑的某些部分是否出现了明显的激活。在应用统计分析时，研究小组甚至无法总是就如何定义大脑中感兴趣的解剖区域达成一致。
最终，这70个研究小组大部分同意了4个假设，即研究参与者的大脑某一区域是否存在显著的激活效应。然而在剩下的五支球队中，大多数球队都不同意。
有没有更好的
Poldrack希望NARPS的研究可以作为一个有价值的总结，不仅对神经成像领域，而且对其他有着类似复杂工作流程的科学领域，以及如何实现不同分析步骤的广泛可能性。
Poldrack说:“我们认为，任何具有类似复杂数据和方法的领域，在对同一个数据集同时进行的分析中，都会表现出类似的可变性。”
随着推动许多科学发现的数据集变得越来越大，这项新研究强调的问题在未来可能变得更加普遍。“我们的NARPS工作突出了这样一个事实，即随着数据变得如此庞大，分析已经成为一个真正的问题，”Poldrack说。
然而，NARPS的一个令人鼓舞且重要的收获是，其研究团队在探究可再生性危机根源方面表现出的奉献精神。在这项研究中，近200名研究人员自愿投入数十甚至数百小时进行批判性自我评估。
波德瑞克说:“我们希望尽可能严格地测试我们自己，这是许多研究人员花费数千个人力小时来做这件事的一个例子。”“这表明，科学家从根本上关心确保我们所做的是正确的，我们的结果将是可重复和可靠的，我们正在得到正确的答案。”
Poldrack也是斯坦福生物x和吴仔神经科学研究所的成员。斯坦福大学的其他合著者还包括统计学教授苏珊·霍姆斯(Susan Holmes);前研究助理Krzysztof Gorgolewski;博士后研究人员Leonardo Tozzi和Rui Yuan;还有博士生克莱尔·唐纳特。来自全球100个机构的约200名研究人员参与了这项研究。Tom Schonberg是特拉维夫大学的助理教授，他和Rotem Botvinik-Nezer一起领导了这个项目，Rotem Botvinik-Nezer曾是特拉维夫大学的博士生，现在是达特茅斯学院的博士后研究员。
参与这项研究的多位研究人员获得了多个国际组织的资助。由Poldrack发起的开放科学神经信息学数据库OpenNeuro的数据托管工作得到了美国国立卫生研究院的支持。
要阅读有关斯坦福科学的所有故事，请订阅《斯坦福科学文摘》。
新闻旨在传播有益信息，英文原版地址：https://news.stanford.edu/2020/05/20/complex-data-workflows-contribute-reproducibility-crisis/