深度学习提高显微镜成像速度

深度学习是一种功能强大的机器学习技术，其出现推动了语音识别、视觉对象识别、基因组学和新药物发明等领域的快速发展。机器学习技术的特征是多处理层，可在庞大、复杂的数据集中找出复杂的模式和结构。

如今，一个欧洲的研究小组已将深度学习算法整合到了光场显微镜中，以提高显微镜的重建速度和图像质量（原文见：Nature Methods, doi: 10.1038/s41592-021-01136-0）。这一成果大大增强了光场显微镜在生物医学研究中对活体标本进行全脑甚至全动物成像能力。

图1神经网络对鱼类幼体心脏跳动成像的演示

提高成像速度

神经元放电、红细胞运动等许多生物过程，都在非常短暂的时间内发生。为了捕捉这种动态过程，需要具有毫秒级甚至更高时间分辨率的成像技术。然而，对于显微成像来说，对三维大样本进行高速成像一直是一大挑战。

相比其他方法，光场显微镜能够在单个摄像机帧中瞬间捕获三维空间信息。然而，光场显微镜在计算机上重建图像需要数小时甚至数天的时间，且重建结果质量低，不尽人意。

Robert Prevedel说：“虽然光场显微镜能够高速获取3D成像数据，但从获得的原始数据中重建实际图像则需要很长时间，而且常常会产生伪影。”他是本文作者，同时也是欧洲分子生物学实验室（European Molecular Biology Laboratory, EMBL）课题组负责人。“因此，我们的目标是：通过将人工智能融入到显微镜的计算工作流程中，来加快图像重建过程、提高3D图像的质量。”

“两全其美”的方法

Prevedel和他的同事发明了一种深度学习算法：一种被称为HyLFM-Net的卷积神经网络，来处理光场数据，进行图像重建。为了提高其性能，将光片照明显微镜收集的高分辨率图像数据输入HyLFM-Net，用于训练和验证其功能。光片照明显微镜是另一种一次成像单个二维平面的技术，其成像细节更丰富。

通过结合这两种技术，研究人员创造了一种混合形式的光场显微镜，可提供几乎实时的高质量3D重建。其能够在高达100赫兹的频率下对活体鱼类的心跳和全脑神经元活动进行成像。

更高的可靠性

此项研究成果的另一大优点在于，得益于不断向HyLFM-Net提供新的高分辨率图像的光片照明显微镜组件，算法的性能将不断进行验证和更新。因此，除了更高的成像及数据分析速率之外，重构可靠性也进一步提高。

Prevedel说：“如果使用传统的图像重建方法，需要等待数周甚至数年才能对成百上千个样本进行3D成像；而我们的深度学习技术仅需几秒钟到几小时的时间就能够完成。”