新的计算方法在不使用‘ground truth’的情况下对图像进行了验证

一个房地产经纪人给一个潜在的购房者发送一张从街对面拍摄的房子的模糊照片。购房可以比较真实的,看图片,然后看看真正的房子——看到凸窗实际上是两扇窗户近,前面的花是塑料,看起来就像一扇门是墙壁上的一个洞。

如果你看到的不是一幢房子的图片，而是一种非常小的东西——比如蛋白质，那该怎么办?没有专门的设备是无法看到它的，所以没有什么可以判断图像，没有所谓的“地面真相”。除了要相信用于创建图像的成像设备和计算机模型是准确的之外，没有什么可做的。

然而,现在研究实验室的马修·卢麦凯维圣路易斯华盛顿大学的工程学院已经开发了一种计算方法来确定有多少信心科学家应该有他们的测量,在任何给定的时刻,是准确的,考虑到模型用于生产。

这项研究发表在12月11日的《自然通讯》上。

“从根本上说，这是一个法医工具，可以告诉你某件事是对还是错，”卢说，他是普雷斯顿M.格林电力与安全学院的助理教授。系统工程。这不仅仅是一种获得更清晰图像的方法。“这是一种验证科学图像中每个细节可信度的全新方式。

“并不是为了提供更好的分辨率，”他补充说这种被称为瓦瑟斯坦诱导通量(WIF)的计算方法。“它在说，‘这部分图像可能是错的或放错地方了。’”

科学家们用来“观察”非常小的物体的过程——单分子定位显微镜(SMLM)——依赖于从被成像的物体中捕捉大量的信息。然后，计算机模型对这些信息进行解释，最终去除大部分数据，重建一个表面上准确的图像——一个生物结构的真实图像，比如淀粉样蛋白或细胞膜。

一般来说，有一些方法已经用于帮助确定一幅图像是否能很好地表示被成像的物体。然而，这些方法不能确定图像中任何单个数据点的准确性。

最近刚毕业的Hesam Mazidi在卢的实验室做了这项研究，他解决了这个问题。

他说:“我们想看看，在没有地面真相的情况下，是否有办法对这种情况做些什么。”“如果我们可以使用建模和算法分析来量化我们的测量是否可靠，或者是否足够精确。”

研究人员并没有掌握实际情况——没有房子可以与房地产经纪人的照片相比较——但是他们两手空空。他们有一个通常被忽视的数据宝库。马兹迪利用了成像设备收集的大量信息，而这些信息通常会被当作噪音丢弃。噪音的分布是研究人员可以用作地面真相的东西，因为它符合特定的物理定律。

“他可以说，‘我知道图像的噪音是如何表现出来的，这是一个基本的物理定律，’”卢说到Mazidi的洞察力。

“他回到了实际科学测量的嘈杂、不完善的领域，”卢说。由成像设备记录的所有数据点。那里有真实的数据被人们丢弃和忽视

Mazidi并没有忽略它，而是研究了模型对噪音的预测效果——给出了最终的图像和创建它的模型。

分析如此多的数据点类似于一次又一次地运行成像设备，执行多次测试运行来校准它。

卢说:“所有这些测量都给了我们统计上的信心。

WIF允许他们不根据模型确定整个图像是否可能，而是根据模型内建的假设来考虑图像，确定图像上的任何给定点是否可能。

最后，Mazidi开发了一种方法，它可以在统计上有很强的信心来判断最终图像中任何给定的数据点应该或不应该在某个特定的点上。

就好像是这个算法分析了房子的图片，在没有看到这个地方的情况下，它清理了图片，露出了墙上的洞。

最后，分析将为每个数据点生成一个介于-1和1之间的数字。越接近一个点，科学家就越有信心认为图像上的一个点实际上准确地代表了被成像的物体。

这个过程也可以帮助科学家改进他们的模型。“如果你可以量化表现，那么你也可以通过使用分数来改进你的模型，”Mazidi说。在无法获得地面真相的情况下，“它允许我们在真实的实验条件下评估性能，而不是在模拟条件下。”

WIF的潜在用途是深远的。卢说，下一步是用它来验证机器学习，有偏差的数据集可能产生不准确的输出。

在这种情况下，研究者如何知道他们的数据是有偏差的呢?使用这个模型，你就可以测试那些不真实的数据，你不知道神经网络是否用与真实世界相似的数据训练过。

Lew说:“每一种测量方法都要小心。有时候我们只是想按那个红色的大按钮看看会得到什么，但是我们必须记住，当你按那个按钮时会发生很多事情