自动化方法可帮助研究人员量化预测中的不确定性

试图预测总统选举结果的民意调查专家和寻找遥远系外行星的物理学家至少有一个共同点：他们经常使用一种久经考验的科学技术，称为贝叶斯推理。

贝叶斯推理使这些科学家能够有效地从民意调查结果等数据中估计一些未知参数，例如选举的获胜者。但贝叶斯推理可能很慢，有时会花费数周甚至数月的计算时间，或者需要研究人员花费数小时手动推导繁琐的方程。

麻省理工学院和其他地方的研究人员引入了一种优化技术，可以加快速度，而无需科学家做大量额外的工作。他们的方法可以比另一种流行的加速贝叶斯推理方法更快地获得更准确的结果。

使用这种新的自动化技术，科学家可以简单地输入他们的模型，然后优化方法在引擎盖下进行所有计算，以提供一些未知参数的近似值。该方法还提供可靠的不确定性估计，可以帮助研究人员了解何时相信其预测。

这种多功能技术可以应用于包含贝叶斯推理的各种科学困境。例如，研究发展中国家小额信贷影响的经济学家或体育分析师可以使用该模型对顶级网球运动员进行排名。

“当你真正深入研究人们在社会科学、物理学、化学或生物学方面所做的事情时，他们通常会在幕后使用很多相同的工具。市面上有很多贝叶斯分析。如果我们能够构建一个真正伟大的工具，让这些研究人员的生活更轻松，那么我们真的可以为许多不同研究领域的许多人带来改变，“资深作者Tamara Broderick说，他是麻省理工学院电气工程和计算机科学系（EECS）的副教授，也是信息与决策系统实验室和数据研究所的成员。 系统与社会。

Broderick与加州大学伯克利分校统计学助理教授Ryan Giordano共同撰写了这篇论文;以及人工智能公司KONUX的数据科学家马丁·英格拉姆（Martin Ingram）。该论文最近发表在《机器学习研究杂志》（Journal of Machine Learning Research）上。

更快获得结果

当研究人员寻求一种更快的贝叶斯推理形式时，他们通常会求助于一种称为自动微分变分推理 （ADVI） 的技术，该技术通常运行速度快且易于使用。

但布罗德里克和她的合作者发现了ADVI的一些实际问题。它必须解决优化问题，并且只能近似地解决。因此，ADVI 仍然需要大量的计算时间和用户精力来确定近似解是否足够好。一旦它得出解决方案，它往往会提供糟糕的不确定性估计。

该团队没有重新发明轮子，而是从ADVI中汲取了许多想法，但将它们转过来，创造了一种称为确定性ADVI（DADVI）的技术，该技术没有这些缺点。

使用 DADVI，优化何时完成就非常清楚了，因此用户无需花费额外的计算时间来确保找到最佳解决方案。DADVI 还允许采用更强大的优化方法，从而提高其速度和性能。

一旦得到结果，DADVI就会被设置为允许使用不确定性校正。这些修正使其不确定性估计比ADVI的估计更准确。

DADVI 还使用户能够清楚地看到他们在优化问题的近似值中产生了多少误差。这样可以防止用户不必要地一次又一次地使用越来越多的资源来尝试减少错误。

“我们想看看我们是否能够兑现黑盒推理的承诺，一旦用户制作了他们的模型，他们就可以运行贝叶斯推理，而不必手动推导所有内容，他们不需要弄清楚何时停止他们的算法，并且他们知道他们的近似解有多准确，“布罗德里克说。

挑战传统智慧

DADVI 可能比 ADVI 更有效，因为它使用一种有效的近似方法，称为样本平均近似，它通过采取一系列精确步骤来估计未知量。

因为沿途的步骤是精确的，所以当达到目标时就很清楚了。此外，实现这一目标通常需要更少的步骤。

通常，研究人员预计样本平均近似比ADVI使用的更流行的方法（称为随机梯度）的计算量更大。但布罗德里克和她的合作者表明，在许多应用中，情况并非如此。

“很多问题确实有特殊的结构，通过利用这种特殊的结构，你可以提高效率并获得更好的性能。这是我们在这篇论文中真正看到的，“她补充道。

他们在许多真实世界的模型和数据集上测试了DADVI，包括经济学家用来评估小额信贷有效性的模型，以及生态学中用于确定特定地点是否存在物种的模型。

总体而言，他们发现DADVI可以比其他方法更快、更可靠地估计未知参数，并达到与ADVI一样好或更好的准确性。由于它比其他技术更容易使用，DADVI可以为各个领域的科学家提供动力。

未来，研究人员希望更深入地研究不确定性估计的校正方法，以便他们能够更好地理解为什么这些校正会产生如此准确的不确定性，以及何时可能达不到要求。

“在应用统计学中，我们经常不得不使用近似算法来处理过于复杂或高维的问题，而无法在合理的时间内计算出精确的解决方案。这篇新论文提供了一组有趣的理论和实证结果，指出了贝叶斯推理的流行现有近似算法的改进，“哥伦比亚大学统计学和政治学教授Andrew Gelman ’85，’86说，他没有参与这项研究。“作为参与创建早期工作的团队之一，我很高兴看到我们的算法被更稳定的东西所取代。

这项研究得到了美国国家科学基金会职业奖和美国海军研究办公室的支持。