加州大学洛杉矶分校的一个研究小组已经设计出一种技术，可以扩展荧光显微镜的功能，使科学家可以精确地用在特殊光线下发光的染料标记活细胞和组织的一部分。研究人员利用人工智能将二维图像转换成成堆的虚拟三维切片，显示生物体内部的活动。
在《自然方法》杂志上发表的一项研究中，科学家们还报告称，他们的框架名为“Deep-Z”，能够修复图像中的错误或像差，例如当样本倾斜或弯曲时。此外，他们还演示了该系统可以从一种显微镜中获取2D图像，并虚拟地创建样品的3D图像，就好像它们是由另一种更先进的显微镜获取的一样。
“这是一种非常强大的新方法，通过深度学习可以对活体样本进行3D成像，同时尽可能少地暴露在可能对样本有害的光线下。”该研究的资深作者Aydogan Ozcan说。Aydogan Ozcan是加州大学校长的电子和计算机工程教授，也是加州大学洛杉矶分校加州纳米系统研究所的副主任。
除了使标本免受可能有害剂量的光照射外，该系统还可以为生物学家和生命科学研究人员提供一种新的三维成像工具，它比目前的方法更简单、更快、更便宜。纠正畸变的机会可能使研究活体组织的科学家能够从图像中收集数据，否则这些数据将无法使用。调查人员还可以虚拟访问昂贵而复杂的设备。
这项研究建立在Ozcan和他的同事开发的一项早期技术的基础上，这项技术使他们能够以超分辨率呈现2D荧光显微镜图像。这两种技术都是依靠深度学习来改进显微技术的使用数据“训练”一个神经网络，一个受人类大脑启发的计算机系统。
Deep-Z使用扫描荧光显微镜的实验图像进行教学，该显微镜可以拍摄聚焦于多个深度的图像，从而实现样品的3D成像。在数千次的训练中，神经网络学会了如何获取二维图像，并在一个样本的不同深度推断出准确的三维切片。然后，对该框架进行盲测输入非训练的图像，将虚拟图像与从扫描显微镜获得的实际3D切片进行比较，提供了极好的匹配。
Ozcan和他的同事将Deep-Z应用到秀丽隐杆线虫的图像上。秀丽隐杆线虫是一种蛔虫，由于其简单易懂的神经系统，在神经科学中是一种常见的模型。将蠕虫的2D电影逐帧转换成3D，研究人员能够追踪蠕虫体内单个神经元的活动。从在不同深度拍摄的一到两张秀丽隐杆线虫的2D图像开始，Deep-Z产生了虚拟的3D图像，这让研究团队能够识别蠕虫体内的单个神经元，与扫描显微镜的3D输出相匹配，但与生物体接触的光线要少得多。
研究人员还发现Deep-Z可以从样品倾斜或弯曲的二维表面生成3D图像即使神经网络只训练与样本表面完全平行的三维切片。
“这个功能实际上非常令人惊讶，”加州大学洛杉矶分校的研究生吴一臣说，他是这本书的第一作者之一。“有了它，你可以透过曲率或其他复杂的拓扑结构看到非常难以想象的东西。”
在其他实验中，Deep-Z使用两种荧光显微镜的图像进行训练:宽视野，将整个样品暴露在光源下;以及使用激光逐部分扫描样本的confocal公司。Ozcan和他的团队展示了他们的框架，然后可以使用样品的2D广域显微镜图像来生成与用共焦显微镜拍摄的几乎相同的3D图像。
这种转换是有价值的，因为共焦显微镜产生的图像比宽视野更清晰，对比度更强。另一方面，宽视野显微镜以更低的成本和更少的技术要求捕获图像。
“这是一个适用于各种显微镜的平台，而不仅仅是宽视场到共聚焦的转换，”加利福尼亚大学洛杉矶分校电子与计算机工程副教授、第一作者之一的亚伊尔·里文森说。每个显微镜都有它自己的优点和缺点。有了这个框架，你可以利用人工智能以数字方式将不同类型的显微镜连接起来，从而达到两者的最佳效果。”
其他作者包括研究生王洪达、博士后研究员Eyal Ben-David和加州大学洛杉矶分校纳米系统研究所高级光学显微镜和光谱学实验室的科学主任Laurent Bentolila;以及以色列耶路撒冷希伯来大学的Christian Pritz。
这项研究得到了Koc的支持国家科学基金会和霍华德·休斯医学研究所。成像是在CNSI的先进光学显微镜和光谱学实验室和莱卡微系统卓越中心进行的。
新闻旨在传播有益信息，英文原版地址：http://newsroom.ucla.edu/releases/2d-images-converted-3d-deep-learning