机器学习技术帮助红外摄像机生成全彩色图像

        近日，美国的团队利用机器学习技术创建了红外波段内的彩色图像（如图1），实现了彩色的红外夜视系统。该团队希望这种成像技术能够进一步发展，以便于在无法使用可见光的情况下，成像系统依然工作，例如视网膜手术。

图1 左：可见光范围内的红色、绿色和蓝色图像；右：三种红外波长捕捉的图像，多波长红外图像最终被创建出一个彩色图像。（图片来源：Browne Lab/UC Irvine Department of Ophthalmology/CC-BY 4.0）

       传统夜视系统的工作原理是利用近红外线照明并探测反射信号，或者利用超灵敏的照相机捕捉夜间仍然存在的微弱光线。然而，以上两种技术只能产生单色图像，这激励研究人员开发出不需要可见光就能产生多色图像的方法。

       加利福尼亚大学尔湾分校（以下简称UCI）计算机科学家Pierre Baldi揭秘由于可见光使用局限，该技术会在医疗应用中非常有用：“长时间、高强度的光线照射会严重损害视网膜。视网膜手术时间大约为四小时——这种连续照射很可能导致病人失明，然而外科医生需要寻找的部位的成像就像被普通光照射一样。”

多波长红外照明

       在此之前，该团队已经尝试过多种红外图像的上色方法，但这些方法需要提前输入可见图像的信息，或者着色的代价是牺牲图像清晰度。在这项最新研究中，Baldi和加州大学洛杉矶分校的眼科医生Andrew Browne尝试利用多波长红外照明产生全彩色图像，这使得肉眼观测到的红外图像信息与原图像信息耦合在一起，同时避免使用可见光。

       基于以上目标，他们首先利用传统的三色办公打印机打印出彩虹调色板，然后利用多种波长的可见光和近红外光测量成像光谱反射率，在其中筛选出六种波长——三种可见光波长和三种红外光波长。他们从公共数据库中打印了200张人脸图像，并依次用各个波长照射所有图像，探测反射光强度。

       此外，该团队开发了一个深度学习算法，计算机利用三个红外波长的反射率来模拟三个可见光波长的反射率，共同生成图像，然后将图像反馈给“鉴别器”，使其根据数据库图像评估并区分初步生成的成像。若区分成功，成像信息将会反馈给生成器，进一步完善模拟成像。

       “在刚开始学习的时候，若参数是随机的，生成器会产生一个完全随机的图像类型，”Baldi说，“鉴别器和生成器之间有一个程序调整信息参数。”

一直在超越

       因此，该系统经过学习和训练，能够通过反馈回路从红外数据中对可见图像进行更准确的彩色重建。Baldi说：“基本的算法与其他计算机视觉目标中使用的算法一样——无论是自动驾驶汽车、观看卫星图像或其他，以上技术可以用于任何成像任务。”

       在实验收尾阶段，该团队要求使用者评估深度学习算法生成图像的视觉质量。他们总结，这些图像均被评估为比简单线性回归算法产生的图像更清晰、更准确。这种算法利用单一红外波长的强度依次预测可见光波长的强度。

       在正式用于医疗领域之前，该系统需要进行两项重要改进。一项是提高数据采集速率，超过每秒三帧的现有速率，使视频成像成为可能；另一项是调整系统的应用波长范围，使其更匹配生物学样本，如视网膜组织——红外反射光谱比成像更有用。除此之外，该团队认为这项技术可能应用于安全、军事和动物观察等领域。Baldi说：“你可以设想后续的更多可能。”