分类
加州大学圣芭芭拉分校新闻

四个实验室为期六年的研究表明,社会行为研究结果可以高度可复制

image of multiple heads

大约二十年前,关于社会行为科学,尤其是心理学中已发表文献的可信度,出现了全社区的清算一些大规模的研究试图复制以前发表的研究结果,但无济于事,或者规模要小得多,这使得研究结果的可信度 – 以及未来社会行为科学的研究 – 受到质疑。   

然而,该领域的少数顶级专家开始证明,当采用最佳实践时,高可复制性是可能的。六年多来,来自加州大学圣塔芭芭拉分校加州大学伯克利分校斯坦福大学弗吉尼亚大学实验室的研究人员发现并复制了 16 项新发现,这些发现表面上是黄金标准的最佳实践,包括预注册、大样本量和复制保真度。他们的研究结果发表在《自然人类行为》杂志上,确实表明,通过最佳实践,可以实现高可复制性。

“这是一个存在证明,我们可以着手发现新的发现,并在非常高的水平上复制它们,”加州大学圣巴巴拉分校杰出教授Jonathan Schooler说,他是UCSB的META实验室和正念与人类潜能中心主任,也是该论文的资深作者。“主要发现是,当你遵循当前的最佳实践进行和复制在线社会行为研究时,你可以实现高且总体稳定的复制率。 

他们的研究的复制结果平均是原始发现的97%。相比之下,以前的复制项目观察到的复制结果约为 50%。

该论文的主要研究人员是UCSB的META实验室和康涅狄格州立大学(CCSU)的John Protzko,斯坦福大学政治心理学研究小组的Jon Krosnick,加州大学伯克利分校哈斯商学院的Leif Nelson和Brian Nosek,他隶属于弗吉尼亚大学,是独立开放科学中心的执行董事。

“在过去的几年里,人们对许多科学的可复制性有很多担忧,但心理学是最早开始系统研究这个问题的领域之一,”主要作者Protzko说,他是Schooler实验室的研究助理,他在研究期间是博士后学者。他现在是CCSU心理科学助理教授。“问题在于,过去的复制失败和效应量下降是否固有地内置于观察到它们的各种科学领域中。例如,一些人推测,随着时间的推移,新发现的发现可能会变得不那么可复制或更小,这是科学事业的一个固有方面。

该小组决定使用开放科学中新兴的最佳实践进行新的研究,然后通过创新设计来复制它们,研究人员承诺复制最初的确认研究,无论结果如何。在六年的时间里,每个实验室的研究团队都开展了研究,然后被所有其他实验室复制。

该联盟总共发现了 16 种新现象,并将每种现象复制了 4 次,涉及 120,000 名参与者。 “如果你在发现新科学时使用大样本、预注册、开放材料的最佳实践,并且你尽可能忠实于原始过程进行复制,你最终会得到一门非常高度可复制的科学,”普罗茨科谈到这些发现时说。

该研究提供的一项关键创新是,所有参与的实验室都同意重复最初的确认研究,无论其结果如何。 这消除了科学界只发表和复制积极结果的习惯偏见,这可能导致过去对效应大小的初步评估被夸大。此外,这种方法使研究人员能够观察到几个案例,在这些案例中,在原始确认中未能产生重要发现的研究设计后来在其他实验室复制时获得了可靠的效果。

总体而言,该项目揭示了其社会行为发现的极高的可复制率,并且没有统计学上显着的证据表明重复复制后下降。研究人员指出,考虑到样本量和效应量,基于统计学意义,观察到的86%的可复制性再高不过了。

为了测试他们发现的新颖性,他们对人们对新发现的方向及其可复制性的可能性的预测进行了独立测试。在几项后续调查中,幼稚的参与者评估了对新研究的描述以及与先前复制项目相关的研究的描述,发现它们各自的可预测性没有差异。因此,这些研究的复制成功并不是因为它们发现了必然可以复制的明显结果。事实上,许多新发现已经独立发表在高质量的期刊上。

“发现很容易复制完全明显的发现并不是特别有趣,” Schooler 说。“但是我们的研究在令人惊讶的因素上与过去难以复制的研究相当。未经训练的法官在我们的每项研究中都获得了两种条件的总结,以及先前重复努力中一组可比较的两种条件研究,发现同样难以预测我们的研究结果相对于早期研究的方向。

因为每个研究实验室都有自己的研究,所以他们来自各种社会、行为和心理学领域,如市场营销、政治心理学、偏见和决策。它们都涉及人类受试者并遵守某些限制,例如不使用欺骗手段。“我们确实在流程中建立了各个实验室独立行动的过程,”Protzko说。“他们会讨论他们感兴趣的正常话题,以及他们将如何进行研究。

总的来说,他们的元科学调查提供了证据,证明低可复制性和下降效应并非不可避免。加强严谨性的做法可以带来非常高的复制率,但确切地确定哪些做法最有效还需要进一步研究。这项研究的“厨房水槽”方法——同时使用多种增强严谨性的做法——并没有孤立任何个人做法的效果。

该研究的其他研究人员是Jordan Axt(加拿大蒙特利尔麦吉尔大学心理学系);马特·贝伦特(Matt Berent Consulting);Nicholas Buttrick(威斯康星大学麦迪逊分校心理学系)、Matthew DeBell(斯坦福大学社会科学研究所)、Charles R. Ebersole(弗吉尼亚大学心理学系)、Sebastian Lundmark(瑞典哥德堡大学SOM研究所);Bo MacInnis(斯坦福大学传播系)、Michael O’Donnell(乔治城大学麦克唐纳商学院);Hannah Perfecto(圣路易斯华盛顿大学奥林商学院);James E. Pustejovsky(威斯康星大学麦迪逊分校教育心理学系);Scott S. Roeder(南卡罗来纳大学达拉摩尔商学院);Jan Walleczek(德国柏林现象学实验室)。

新闻旨在传播有益信息,英文版原文来自https://news.ucsb.edu/2023/021257/social-behavioral-findings-can-be-highly-replicable-six-year-study-four-labs-suggests