机器学习技术实现无透镜高质量成像

       通常，照相机需要一个透镜系统来捕获并聚焦图像，而几百年来，透镜式照相机一直存在成像问题。它需要一个复杂的透镜系统来实现高质量、高曝光和无像差的成像。近十年来，相机因为实际需求向小型、轻便、便宜的方向发展，因此下一代摄像机在实现多功能的同时，体积够小，以便于携带到任何地方。然而，透射系统和折射透镜的焦距限制了透镜相机的小型化。

图1 无透镜成像过程示意图，光采集系统编码信息，机器学习系统解码并重建图像。（图片来源：Xiuxi Pan/Tokyo Tech）

       计算技术可以代替光学系统的某些部分，从而简化透镜系统。由于使用了图像重建算法，所以不需要透镜捕捉和聚焦图像，从而实现了超薄、轻便、低成本的无透镜相机，并大受欢迎。遗憾的是，图像重建技术并不成熟，这导致了无透镜相机成像质量较低、重建时间较长。

       最近，东京理工大学（以下简称Tokyo Tech）的Masahiro Yamaguchi教授团队开发了一种新型图像重建技术，能够减小图像的计算时间，并生成高质量图像（如图1）。该团队核心Masahiro Yamaguchi教授描述这项研究的初心：“如果没有透镜的局限，相机可以实现超微型，而未来的应用可以远超我们当下的预期。”以上工作已发表在期刊《Optics Letters》。

图2 ViT结构示意图。利用多级变换模块和“碎片化”结构层次学习图像的全局特征。（图片来源：Xiuxi Pan/Tokyo Tech）

       无透镜相机的标准光学组件只有一个薄掩膜和一个图像传感器（如图3），其次利用数学算法重建图像（如图2）。现代半导体自由制造工艺生产掩膜和传感器的技术已经非常成熟，然后掩膜对入射光进行光学编码，并在传感器上投影图案。虽然人眼无法识别这种投影图案，但它们可以解码为可识别的图案。

       然而，基于图像重建技术的解码过程是一个难点。传统的构建模型的解码方法近似求解无透镜光学问题，并且通过求解“凸优化问题”重建图像，这意味着图像的实际重建过程由于物理模型的近似条件，可能导致图像与实际不符。此外，由于需要迭代求解，计算过程非常耗时。由于深度学习系统通过非迭代过程直接模拟和解码图像，因此它可以避免基于物理模型的条件限制。然而，针对无透镜成像的现有深度学习系统基于卷积神经网络（以下简称CNN）无法生成高质量图像。综上，基于模型的迭代求解和现有的深度学习系统成像效率低。CNN基于“本地”像素的互动处理图像，而无透镜系统通过“多路复用”特性将场景中的本地信息通过图像传感器重叠为“全局”信息。

       Tokyo Tech的团队正在研究这种多路复用性质，并提出了一种新颖、针对性的机器学习算法用于图像重建。该算法基于前沿机器学习技术——视觉变换器（以下简称ViT，如图2），对于全局特征重建效率较高。该算法的创新之处在于多级变压器模块的“碎片化”结构重叠，使其能够有效地学习图像的层次化特征。因此，该方法能够很好地处理“多路复用”的影响，避免基于CNN的传统深度学习系统限制，高效重建图像。

图3 无透镜相机包括一个掩膜和一个图像传感器，两者相距2.5 mm。在孔径为40×40 μm的合成硅板上通过铬沉积法制备掩膜。（图片来源：Xiuxi Pan/Tokyo Tech）

       基于物理模型的迭代算法比较耗时，但采用机器学习设计的非迭代算法大大提高了重建速度。由于机器学习系统包含大量物理模型，因此近似条件带来的误差大大减小。此外，基于传统机器学习的解码技术主要利用CNN读取局部信息，而该方法利用图像中的全局特征，适用于图像传感器的大规模模式识别。

图4 第一行： LCD成像图片（左上两幅图）和野生物体（右上两幅图：招财猫和毛绒熊）；第二行：传感器捕获的编码图像；第三、四行分别为基于物理模型和CNN方法重建的图像。（图片来源：Xiuxi Pan/Tokyo Tech）

       综上，该技术成果克服了传统方法的局限性，如基于物理模型的迭代求解和基于CNN的深度学习系统等，用较少的计算时间构建高质量图像（对比如图4）。该团队进一步测试——正如他们在最新发表的论文中报道的——结果表明，基于该重建方法的无透镜相机不仅生成高质量图像，而且后期处理速度足以实现实时捕捉。

       该论文第一作者，Tokyo Tech的Xiuxi Pan先生谈及下一阶段工作：“我们认为，小型化并不是无透镜相机的唯一优势，它可以应用于不可见光成像。此外，无透镜相机捕获的光学信息维数不小于2，有望实现实时捕获并3D成像。目前，我们正在探索无透镜相机的更多特性，最终目标是微型化和集成度高。我们非常开心能够在下一代成像和传感技术方面处于领先地位。”