密歇根州立大学天文学家领导的一组科学家发现，一种评估拟议科研项目的新方法同样有效。如果不是更多的话;而不是传统的同行评审方法。
通常，当一个研究人员提交一份提案时，资助机构会要求该领域的一些研究人员进行评估并提出资助建议。一个系统有时可能会有点笨重和缓慢;这不是一门精确的科学。
正如人类所有的努力一样，这个也有它的缺陷。明尼苏达州立大学物理系、天文系、计算数学系、科学与工程系的助理教授沃尔夫冈·克赞多夫说。
Kerzendorf和他的同事在《自然-天文学》杂志上详细介绍了一种新系统，这种系统将审查项目建议书的工作量分配给提案者，这种系统被称为“分布式同行评审”。的方法。
然而，团队通过使用另外两个新特性来增强它:使用机器学习来匹配评审员的建议，以及在评审中包含反馈机制。
本质上，这个过程由三个不同的特性组成，旨在改进同行评审过程。
首先，当一位科学家提交一份评估提案时，他或她首先被要求审查他们的几个竞争对手;论文，一种减少被要求复习的论文数量的方法。
如果你减少每个人必须做的评审的次数，他们可能会在每个提案上多花一点时间。Kerzendorf说。
第二，通过使用电脑;机器学习mdash;资助机构可以为审查者提供他们所擅长领域的建议。这个过程可以消除人类的偏见，从而得到更准确的评价。
我们主要是看潜在读者写的论文，然后给这些人提出他们可能擅长判断的建议。Kerzendorf说。审查员不是自我报告他们的专业知识，而是由计算机来做这项工作。
第三，团队引入了一个反馈系统，在这个系统中，提交提案的人可以判断他们收到的反馈是否有用。最终，这可能会帮助社区奖励那些始终提供建设性批评的科学家。
这个过程的这一部分并非不重要。Kerzendorf说。一份好的、有建设性的评估是一种奖励，是对你在评估其他提案时所付出努力的一种奖励。
为了进行这项实验，Kerzendorf和他的团队考虑了172份提交的申请，每份申请都要求使用欧洲南方天文台的望远镜。欧洲南方天文台是位于德国的一个由16个国家组成的地面天文台。
这些建议以传统方式和采用分布式同行审查的方式进行了审查。结果呢?从统计学的角度来看，这似乎是无法区分的
然而，Kerzendorf说，这是一个新奇的实验，它测试了一种评估同行评审研究的新方法，这种方法可以在科学界产生影响。
虽然我们对科学的思考非常批判性，但有时我们却没有花时间去批判性地思考如何改进科学资源配置的过程。他说。这是一种尝试。
研究小组的其他成员包括费迪南多·帕塔特、多米尼克·博尔德龙和欧洲南方天文台的格伦·范·德·文;以及纽约大学宇宙学和粒子物理中心的泰勒·普里查德。
(媒体注意:请在网络报道中加入到原文的链接:https://www.nature.com/articles/s41550-020-1038-y)
新闻旨在传播有益信息，英文原版地址：https://msutoday.msu.edu/news/2020/innovating-the-peer-review-research-process/