人工智能有可能帮助医生发现疾病的早期标志物，并加速对其他重要科学进展的研究。但越来越多的证据表明，机器学习在科学中的应用存在严重缺陷，这个问题已经席卷了数十个领域，并牵涉到数千篇错误的论文。
现在，一个由19名研究人员组成的跨学科团队，包括加州大学圣地亚哥分校Rady管理学院的Marta Serra-Garcia，已经发布了在科学中负责任地使用机器学习的指南。
“当我们从传统的统计方法毕业到机器学习方法时，有更多的方法可以搬起石头砸自己的脚，”普林斯顿大学信息技术政策中心主任Arvind Narayanan说，他与普林斯顿大学计算机科学家Sayash Kapoor一起领导了研究团队。“如果我们在基于机器学习的科学方面没有干预措施来提高我们的科学标准和报告标准，我们不仅面临一个学科的风险，而且面临许多不同的科学学科一个接一个地重新发现这些危机的风险。
由于机器学习方法是新的，并且被许多不同的学科使用，因此制定指导方针非常重要，以确保这些方法的使用范围扩大时的可信度。最近发表在《科学进展》（Science Advances）杂志上的一篇详细阐述了他们的指导方针的论文。
“许多研究人员担心使用这些方法时出现的可重复性危机，这可能与十多年前社会心理学中出现的复制危机一样严重，”拉迪学院经济学和战略学副教授塞拉-加西亚说。
好消息是，根据来自计算机科学、数学、社会科学和健康研究的作者的说法，一套简单的最佳实践可以帮助解决这场新的危机，以免它失控。
“这是一个系统性的问题，有系统的解决方案，”卡普尔说，他是一名与纳拉亚南合作的研究生，他组织了制作新的基于共识的清单的努力。
该清单侧重于确保使用机器学习的研究的完整性。科学取决于独立复制结果和验证主张的能力。否则，新工作就无法可靠地建立在旧工作之上，整个企业就会崩溃。虽然其他研究人员已经制定了适用于特定学科问题的清单，特别是在医学领域，但新指南从基本方法开始，并将其应用于任何定量学科。
Marta Serra-Garcia 经济学与战略学副教授
主要收获之一是透明度。该清单要求研究人员提供每个机器学习模型的详细描述，包括代码、用于训练和测试模型的数据、用于产生结果的硬件规格、实验设计、项目目标以及研究结果的任何局限性。据作者称，这些标准足够灵活，可以适应各种细微差别，包括私有数据集和复杂的硬件配置。
虽然这些新标准的严格性可能会减缓任何特定研究的发表，但作者认为，这些标准的广泛采用将提高整体发现和创新率，可能会大幅提高。
“我们最终关心的是科学进步的速度，”社会学家艾米丽·坎特雷尔（Emily Cantrell）说，她是该研究的主要作者之一，正在普林斯顿大学攻读博士学位。“通过确保发表的论文是高质量的，并且它们是未来论文的坚实基础，这可能会加快科学进步的步伐。关注科学进步本身，而不仅仅是发表论文，这才是我们真正应该强调的地方。
卡普尔对此表示赞同。错误很伤人。“在集体层面上，这只是一个重大的时间槽，”他说。那段时间是要花钱的。而这些钱一旦被浪费，可能会产生灾难性的下游影响，限制吸引资金和投资的科学种类，使那些无意中建立在错误科学基础上的企业陷入困境，并使无数年轻研究人员望而却步。
作者表示，在努力就指南中应包含的内容达成共识时，他们的目标是取得平衡：足够简单，可以被广泛采用，足够全面，可以发现尽可能多的常见错误。
他们说，研究人员可以采用这些标准来改进自己的工作;同行评审员可以使用清单来评估论文;期刊可以采用这些标准作为出版要求。
“科学文献，特别是在应用机器学习研究中，充满了可避免的错误，”Narayanan说。“我们想帮助人们。我们想让诚实的人保持诚实。
这篇论文题为“基于共识的机器学习科学建议”，于5月1日发表在《科学进展》（Science Advances）上，包括以下作者：普林斯顿大学的Sayash Kapoor;Emily Cantrell，普林斯顿大学;Kenny Peng，康奈尔大学;Thanh Hien （Hien） Pham，普林斯顿大学;Christopher A. Bail，杜克大学;Odd Erik Gundersen，挪威科技大学;杰克·霍夫曼（Jake M. Hofman），Microsoft研究;杰西卡·赫尔曼（Jessica Hullman），西北大学;Michael A. Lones，赫瑞瓦特大学;Momin M. Malik，妙佑医疗国际数字健康中心;普里扬卡·纳纳亚卡拉（Priyanka Nanayakkara），西北大学;Russell A. Poldrack，斯坦福大学;Inioluwa Deborah Raji，加州大学伯克利分校;迈克尔·罗伯茨（Michael Roberts），剑桥大学;Matthew J. Salganik，普林斯顿大学;Marta Serra-Garcia，加州大学圣地亚哥分校;Brandon M. Stewart，普林斯顿大学;Gilles Vandewiele，根特大学;和普林斯顿大学的Arvind Narayanan。
——改编自普林斯顿大学发布
了解更多关于加州大学圣地亚哥分校的研究和教育信息：
人工智能
新闻旨在传播有益信息，英文版原文来自https://today.ucsd.edu/story/science-has-an-ai-problem-this-group-says-they-can-fix-it