分类
圣路易斯华盛顿大学新闻

认识 DOLCE,这是一款从有限视图数据重建 CT 图像的 AI 工具

DOLCE
使用过滤反向投影 (FBP)、扩散后验采样 (DPS) 重建一件行李箱(第 1 行)的 3D 渲染,以及从有限角度 CT 数据中提出的 DOLCE 方法重建的行李(第 1 行),仅包含角度范围 0-60◦ 的三分之一视图。(图片来源:刘家明)

在成像方面,更多就是更多。更多的数据可以带来更清晰、更准确的图像,但收集完整的数据并不总是实用的,甚至是不可能的。对于数据有限的情况,圣路易斯华盛顿大学麦凯维工程学院的Ulugbek Kamilov和Jiaming Liu与劳伦斯利弗莫尔国家实验室的研究人员合作开发了一种新工具,可以少花钱多办事。

在10月5日在法国巴黎举行的国际计算机视觉会议(ICCV)上发表的一篇论文中,该团队介绍了DOLCE,这是一个基于模型的深度框架,旨在克服有限角度计算机断层扫描(LACT)带来的挑战。LACT 是一种成像技术,用于从医疗诊断到安全检查的各种应用。然而,LACT中有限的角度覆盖通常是严重伪影或重建图像与地面真实数据之间存在差异的根源。

Headshot of Professor Ulugbek Kamilov, McKelvey School of Engineering
卡米洛夫

“这个项目的核心是对恢复缺失数据的兴趣,”电气与系统工程和计算机科学与工程副教授Kamilov说。“为了完成以有限角度拍摄的CT或在有限的时间内拍摄的短MRI,我们可以使用数据或图像的某些部分来推断缺少的内容。

DOLCE代表扩散概率极限角度CT重建,它使用尖端的生成AI模型从严重有限的数据中创建多个高质量图像。虽然生成式 AI 模型可以创建真实的数据,但它们的输出可能并不准确。DOLCE的主要优势之一是它利用了人工智能的力量,同时还提供了量化其重建不确定性的工具。

“DOLCE让我们生成逼真的图像,但它也确保了与测量数据的一致性,并显示出差异和不确定性,”卡米洛夫说。“与传统的生成模型不同,例如人们现在通过聊天机器人熟悉的大型语言模型,DOLCE始终与实际存在的内容,测量数据和底层系统的物理属性保持一致。DOLCE还给出了一个方差图,以显示根据所提供的数据可能产生的所有可能的变体。

在他们的论文中,Kamilov和第一作者,电气与系统工程博士生Liu展示了DOLCE在两个关键应用中作为现实图像生成器的能力范围:扫描托运行李的机场安全和人体的医学成像。通过对真实的LACT数据集进行实验,Liu表明DOLCE在不同类型的图像上表现始终如一。这种多功能性使其成为提高重建 LACT 图像质量的有前途的工具。

虽然Kamilov和Liu指出DOLCE不是为医学诊断而设计的,但它确实提供了可能是基本事实的真实视图以及它生成的图像中可能的变化。这对于由于物理或时间限制而无法收集所有角度的应用程序特别有用。

“作为工程师,我们的工作是向医疗和其他领域的同事展示这项技术的能力,然后与我们的合作者一起为特定应用挑选或开发合适的工具,”卡米洛夫说。“借助DOLCE,我们利用最新的生成建模功能创新了最先进的计算成像技术。


Liu J, Anirudh R, Thiagarajan JJ, He S, Mohan KA, Kamilov U, Kim H. DOLCE: 基于模型的有限角度CT重建概率扩散框架。计算机视觉国际会议 (ICCV),2023 年 10 月 2 日至 6 日。https://wustl-cig.github.io/dolcewww/

这项工作由劳伦斯利弗莫尔国家实验室在美国能源部的主持下根据合同DE-AC52-07NA27344进行。这项工作由劳伦斯利弗莫尔国家实验室(22-ERD-032)的实验室指导研究与开发(LDRD)计划资助。LLNL-CONF-816780。本材料基于美国国土安全部科学技术局大学项目办公室根据赠款奖 2013-ST-061-ED0001 支持的工作。

最初发表在麦凯维工程学院网站上。

新闻旨在传播有益信息,英文版原文来自https://source.wustl.edu/2023/10/meet-dolce-an-ai-tool-that-reconstructs-ct-images-from-limited-view-data/