无透镜成像的最新进展

美国莱斯大学和加州大学伯克利分校的研究学者回顾了无透镜成像的最新进展，并描述了开发和使用无透镜成像系统时应考虑的设计原则及其影响。相关研究发表在《Optica》上。

几个世纪以来，相机设计背后的基本原则基本没有改变。大约一千年前，当伊拉克科学家/哲学家伊本·海瑟姆 (Ibn-al-Haytham) 在他的光学书中描述一种成像设备时，他想象它由一个盒子组成，盒子一端有一些光学器件，另一端带有传感机制。从约翰·扎恩（Johann Zahn）构思的最早的相机具体设计，到尼普切（Niepce）、塔尔博特（Talbot）和多杰尔（Daugerre）推广的实际设计，相机一直保持着惊人的一致性，一个一边有聚焦镜头，另一边有传感器的封闭盒子。这种设计类似于人眼的设计，但并非巧合。虽然过去三十年彻底改变了用于实现透镜（如塑料成型、3D打印）和图像传感器的技术，如，互补金属氧化物半导体（CMOS）、电荷耦合器件（CCD）、单光子雪崩二极管（SPAD）探测器阵列，但基本设计仍然是静态的。在过去，透镜为我们提供了非常好的服务，让许多科学发现得以实现，从微小细菌的可视化到超凡脱俗的星系。然而，它们也带来了一些限制，特别是在新兴应用程序的背景下。

图1，无透镜相机主要分为三类：照明调制是指受控于照明光源；掩模调制是指在传感器前面使用固定幅度/相位板（调制器）；可编程调制器系统具有可编程动态空间光调制器 (SLM) 在传感器前面。 所有类型都使用计算算法从捕获的 2D 图像中重建场景。

无数新的基于任务的应用，如可穿戴设备、可植入设备、机器人、物联网 (IoT)、虚拟/增强现实和人机交互正在推动相机的小型化。传统镜头增加了重量和成本、刚性、占用体积并且具有与光圈尺寸成比例的严格聚焦距离。由于这些原因，有必要对相机光学系统进行彻底的重新设计，以满足小型化的需求。

在无透镜相机中，使用薄、轻且可能便宜的光学编码器以及适当的计算重建算法代替聚焦镜头，从捕获的传感器测量中恢复场景。捕获的传感器测量值不再类似于要成像的场景，但如果设计得当，测量值仍然包含足够的信息来恢复场景的图像。无透镜成像的数据通常使用算法进行后处理，该算法可以解复用传感器测量并重建场景的清晰图像。

虽然图像的数字后处理是失真校正、高动态范围、合成景深 (DoF)、去噪和低光摄影等任务的标准配置，但无透镜相机的根本不同在于后处理是成像系统设计的一部分。它们属于称为“计算成像”的成像系统类别，其中系统硬件（光学）和软件（算法）是一起设计的。因此，无透镜相机在测量中间接编码信息，然后通过解决逆问题计算提取信息。

在过去的几十年里，出现了几种无无透镜成像的设计，每一种都有自己独特的性能特征。无透镜成像已被证明在各种应用中具有潜在的实用性，例如显微镜、摄影、体内成像、可穿戴设备和可植入设备以及机器视觉。由于成像硬件、制造技术和新算法的进步，无透镜成像系统具有结构紧凑轻便，低成本，可扩展性，高分辨率等特点，并能够对更高维度的数量进行成像。

基于不同的光学调制，无透镜系统可大致分为照明调制、掩模调制和可编程调制器系统，这里，研究人员分别从以下6个方面对无透镜成像进行了综述：

1，照明光调制的无透镜系统。照明调制无透镜系统依赖于受控照明与样品之间的相互作用。利用照明光的位置、相干性和脉冲等属性来捕获一组具有不同照明多样性的图像，然后重建场景。这主要包括阴影成像，全息无透镜成像，以及时间分辨无透镜成像。

2，掩模调制的无透镜系统。在掩膜调制的无透镜系统中，引入了固定光学掩膜以制造多功能无透镜系统，该系统可用于大范围的物距和无源或不受控制的照明场景。掩模调制后的入射光可以进行解码，掩模调制无镜头相机用于演示 2D 成像、重新聚焦、3D 成像和显微成像。掩模调制无透镜相机由放置在图像传感器前面的光学掩模组成，通常使用环境照明对场景进行成像。面罩调制来自场景的光并在传感器上形成多路复用测量。掩模调制包括幅度调制器，相位调制器。

3，可编程调制器无透镜系统。LCD、LCoS 和数字微镜器件 (DMD) 等各种 SLM 技术可以提供动态可编程光学编码。可编程调制器允许为每个重建图像捕获多个无透镜图像，然后，测量中的多样性会导致更好的重建或只需要少量的像素。多次测量也可用于简化重建算法，同时保持高保真度。

4，图像重建。无透镜意味着测量不是对场景强度的直接测量，需要通过算法计算重建恢复的场景强度。这主要包含前向传播模型，校准和重建算法。

5，应用。无透镜成像可应用于摄影，重聚焦和3D成像，显微镜，以及一些新兴应用，包括屏下摄像头、微型机器人视觉、植入式传感器和虚拟/增强现实耳机。

6，未来和展望。与传统成像系统相比，无镜头成像在尺寸、重量和外形方面具有相当大的优势，将直接影响未来的新型应用，比如全脑成像和动植物的 360° 视图研究。无透镜测量提取信息后，计算是不可或缺的，并且显着增加了成像系统的功率要求。由于许多空间受限的应用程序也是功率受限的，因此有效的计算是一个需要改进的重要领域。计算能力可以通过4种方式缓解，首先，无透镜测量可以无线传输到云端，由强大的算法提取信息。其次，可以开发资源占用少的高效算法。第三，可以开发专用的片上系统 (SoC) 来执行低功率无镜头图像处理。第四，结合设计算法和 SoC 可以实现令人难以置信的低功耗性能。

除了成像，无透镜系统还具有视觉和推理应用的潜力。虽然最近的工作重点是提高成像性能，但优化直接视觉任务的无透镜系统是未来工作的一个令人兴奋的机会。面部检测和验证、指纹识别、手势识别、人员计数和对象跟踪是可以立即从无镜头系统中受益的一些视觉应用示例。无透镜成像技术的最新进展为成像系统的设计增添了新维度，为能够实现新的和新颖的未来应用的技术奠定了基础。