通过先进的机器学习实现“无镜头”成像，下一代图像传感解决的方案

       相机通常需要一个镜头系统来捕捉聚焦图像，而镜头相机几个世纪以来一直是主要的成像解决方案。透镜相机需要一个复杂的镜头系统来实现高质量、明亮和无像差的成像。近几十年来，人们对更小、更轻、更便宜的相机的需求激增。下一代相机的高功能需求是显而易见的，这种相机足够小巧，可以安装在任何地方。然而，透镜式相机的小型化受到透镜系统和折射透镜对焦距离的限制。

       近年来，计算技术的进步可以通过计算代替光学系统的某些部分来简化透镜系统。由于图像重建计算的使用，可以放弃整个镜头，从而实现超薄、轻量化、低成本的无镜头相机。无镜头相机最近越来越受欢迎。但到目前为止，图像重建技术还没有完全建立起来，导致了无镜头相机成像质量不高，计算时间长。

       近年来，研究人员开发了一种新的图像重建方法，它可以缩短计算时间，提供高质量的图像。在描述这项研究背后的最初动机时，研究团队的核心成员，东京工业大学的Masahiro Yamaguchi教授说，“没有镜头的限制，无镜头相机可能是超微型的，这可能促进让我们无法想象的新应用的产生。”他们的研究成果发表在《Optics Letters》上。

       典型的无镜头相机的光学硬件仅由一个薄掩模和一个图像传感器组成。然后用数学算法重建图像。掩模和传感器可以通过成熟的半导体制造工艺组装在一起。掩模从光学上对入射光进行编码，并将模式投射到传感器上。虽然铸造的图案完全无法用人眼来解释，但它们可以通过光学系统的运算来解码。

       然而，基于图像重建技术的解码过程仍然具有挑战性。传统的基于模型的解码方法近似无透镜光学的物理过程，通过求解“凸”优化问题重建图像。这意味着重建结果容易受到物理模型不完美近似的影响。此外，由于需要迭代计算，求解优化问题所需的计算时间较长。深度学习可以避免基于模型的解码的局限性，因为它可以通过一个非迭代的直接过程学习模型并解码图像。然而，现有的无透镜成像深度学习方法，利用卷积神经网络(CNN)，不能产生高质量的图像。它们的效率很低，因为CNN是根据相邻的“局部”像素的关系来处理图像的，而无透镜光学通过一种称为“多路复用”的特性，将场景中的局部信息转换为图像传感器所有像素上的重叠的“全局”信息。

       东京科技的研究团队正在研究这种多路复用特性，现在已经提出了一种用于图像重建的新的专用机器学习算法。该算法基于一种名为Vision Transformer (ViT)的尖端机器学习技术，更擅长全局特征推理。该算法的新颖之处在于多级变压器块的结构是由重叠的“拼接”模块构成的。这使得它能够有效地学习分层表示中的图像特征。因此，本文提出的方法可以很好地解决多路复用特性，避免了传统的基于CNN的深度学习的局限性，能够更好地实现图像重建。

       传统的基于模型的方法需要较长的计算时间进行迭代处理，而本文方法的速度更快，因为通过机器学习设计的无迭代处理算法可以实现直接重建。由于机器学习系统学习物理模型，模型逼近误差的影响也大大减少。此外，本文提出的基于ViT的解码方法利用了图像中的全局特征，适合在图像传感器上处理大面积的固有模式，而传统的基于机器学习的解码方法主要通过CNN学习局部关系。

       综上所述，本文提出的方法利用ViT架构解决了基于迭代图像重建处理和基于CNN的机器学习等传统方法的局限性，能够在较短的计算时间内获取高质量的图像。该研究团队进一步进行了光学实验，结果表明，采用本文提出的重建方法的无镜头相机可以产生高质量和视觉吸引力的图像，同时后处理计算的速度足以实时捕捉。

       “我们意识到，小型化不应该是无镜头相机的唯一优势。无镜头相机可以应用于不可见的光成像，在这种情况下使用镜头是不现实的，甚至是不可能的。此外，无镜头相机捕获的光学信息的底层维数大于2，使得一次三维成像和捕获后重聚焦成为可能。我们正在探索无镜头相机的更多功能。无镜头相机的终极目标是微缩但强大。我们很高兴能够引领下一代成像和传感解决方案的新方向，”该研究的主要作者，东京科技的Mr. Xiuxi Pan先生在谈论他们未来的工作时说。

图：实验设置与结果

[1] Xiuxi Pan, Xiao Chen, Saori Takeyama, Masahiro Yamaguchi. Image reconstruction with transformer for mask-based lensless imaging. Optics Letters, 2022; 47 (7): 1843 DOI: 10.1364/OL.455378