微型相机在发现人体问题和实现超小型机器人传感方面有很大潜力，但过去的方法在有限的视野下捕捉模糊、扭曲的图像。
现在，普林斯顿大学(Princeton University)和华盛顿大学(University of Washington)的研究人员利用一种粗盐粒大小的超小型相机克服了这些障碍。研究人员在11月29日发表在《自然通讯》(Nature Communications)杂志上的一篇论文中称，新系统可以产生清晰、全彩的图像，其体积是传统复合相机镜头的50万倍。
通过相机硬件和计算处理的联合设计，该系统可以实现医疗机器人的微创内镜诊断和治疗疾病，并改善其他机器人的成像尺寸和重量的限制。数千个这样的相机阵列可以用于全场景传感，将表面变成相机。
传统的相机使用一系列弯曲的玻璃或塑料透镜将光线弯曲成焦点，而新的光学系统依赖于一种被称为超表面的技术，这种技术可以像计算机芯片一样产生。这个超表面只有半毫米宽，布满了160万个圆柱形柱，每个柱的大小与人类免疫缺陷病毒(HIV)差不多。
每个柱子都有独特的几何形状和功能，就像光学天线一样。为了正确地塑造整个光波前的形状，必须改变每个柱体的设计。在基于机器学习的算法的帮助下，贴子与光线的交互结合，为迄今开发的全彩超表面相机产生了最高质量的图像和最宽的视野。
以前的微型相机(左)在有限的视野下捕捉模糊、扭曲的图像。一种被称为神经纳米光学的新系统(右)可以产生与传统复合相机镜头相同的清晰、全彩图像。
相机创造的一个关键创新是光学表面和产生图像的信号处理算法的集成设计。该研究的资深作者、普林斯顿大学计算机科学助理教授Felix Heide说，这提高了相机在自然光条件下的性能，而以前的超表面相机需要实验室的纯激光或其他理想条件才能产生高质量的图像。
研究人员将他们的系统产生的图像与之前的超表面相机的结果进行了比较，还将传统的复合光学相机使用6个折射透镜拍摄的图像进行了比较。除了镜框边缘有一点模糊外，这种纳米相机拍摄的照片与体积是传统相机50多万倍的镜头拍摄的照片不相上下。
其他超紧凑型超表面透镜的图像畸变严重，视野小，捕捉全光谱可见光的能力有限——被称为RGB成像，因为它结合了红、绿、蓝来产生不同的色调。
“设计和配置这些小的纳米结构来做你想做的事，这是一个挑战，”普林斯顿大学计算机科学博士生Ethan Tseng说，他是这项研究的共同领导者。“对于这种捕捉大视场RGB图像的特定任务，之前并不清楚如何将数百万个纳米结构与后处理算法一起共同设计。”
联合首席作者Shane Colburn通过创建一个计算模拟器来自动测试不同的纳米天线配置来解决这个挑战。由于天线的数量和它们与光交互的复杂性，这种类型的模拟可以使用“大量的内存和时间，”Colburn说。他开发了一个模型，以有效近似超表面的图像生产能力，并具有足够的精度。
作为华盛顿大学电气系的博士生，Colburn进行了这项研究。计算机工程(UW ECE)，他现在是助理教授。他还在西雅图的Tunoptix公司指导系统设计，该公司正在将超表面成像技术商业化。Tunoptix是由科尔本的研究生顾问Arka Majumdar共同创立的，他是华盛顿大学欧洲经委会和物理系的副教授，也是这项研究的共同作者。
该研究的共同作者詹姆斯·怀特黑德(James Whitehead)是威斯康星大学欧洲经济学院(UW ECE)的博士生，他利用氮化硅(一种类似玻璃的材料，与用于计算机芯片的标准半导体制造方法兼容)制造了这种超表面这意味着一个给定的超表面设计可以很容易地以比传统相机镜头更低的成本批量生产。
“虽然光学设计方法并不新鲜,这是第一本系统使用表面光学技术的前端和neural-based处理,”Joseph Mait说Mait-Optik顾问、前高级研究员,在美国陆军研究实验室首席科学家。
“这项工作的意义在于完成了一项艰巨的任务，即联合设计超表面上百万个特征的大小、形状和位置，以及检测后处理的参数，以实现预期的成像性能，”没有参与这项研究的Mait补充说。
海德和他的同事们现在正致力于为相机本身增加更多的计算能力。除了优化图像质量，他们还希望增加目标检测和其他与医学和机器人相关的传感模式的功能。
Heide还设想使用超紧凑型成像仪创造“表面传感器”。“我们可以将单个表面变成超高分辨率的摄像头，这样你就不再需要在你的手机背后安装三个摄像头，但你的整个手机背后将成为一个巨大的摄像头。”我们可以在未来想出完全不同的方法来制造设备，”他说。
除了曾、科本、怀特黑德、马强达和海德，这项研究的作者还包括华盛顿大学的博士生黄罗成;以及普林斯顿大学博士后研究员白承焕(Seung-Hwan Baek)。
这项工作得到了美国国家科学基金会、美国国防部、华盛顿大学现实实验室、Facebook、谷歌、Futurewei Technologies和亚马逊的部分支持。