基于卷积神经网络融合的彩色傅里叶叠层显微重建

李 杰，王浩明

(长春大学 电子信息工程学院，长春 130022)

光学成像平台的吞吐量从根本上受到其光学系统的空间带宽积(SBP)影响。傅里叶叠层技术[1](Fourier Ptychographic Microscopy，FPM)能够在不涉及机械扫描或相位测量的情况下为大多数现有显微镜提供可扩展的SBP。虽然该方法确实需要获取多幅图像，但它通过使用这些多个数据在非机械的方式下克服了系统光学的物理限制，从而实现了SBP的改进，成功解决了高分辨和大视场矛盾。FPM 通过运用最优化理论、合成孔径、相位恢复等相关技术，具有大视场和高分辨率成像等特点，突破了传统光学显微镜的诸多限制。和传统显微镜不同，该技术以不同的入射角度依次照亮样本，并相应捕获一组不同空间谱的低分辨率图像，然后在傅里叶域中将这些通过低分辨率图像得到的频谱子孔径拼接在一起，从而达到重建整个高分辨率空间谱。在数学的角度上，可以将傅里叶叠层(Fourier Ptychographic，FP)重建归结为典型的相位恢复问题，它需要在给定傅里叶变换幅值的情况下恢复多个复数函数。仅通过获得高分辨率空间谱子孔径图像对应的低分辨率强度图像来恢复高分辨率空间谱。

传统的彩色傅立叶叠层显微重建方法通过控制LED 阵列分别发出红绿蓝3种色光，采集大量低分辨率图像数据，分别重建出红绿蓝通道的高分辨率复振幅图像，合成为RGB彩色图像，从而实现彩色重建。这类方法需要采集红绿蓝3色灯光下的大量低分辨率图像数据，故重建速度较慢，且成像系统会受到例如噪声等多种系统误差影响，造成伪影进而影响重建质量[2-3]，一定程度上限制了傅立叶叠层显微计算技术的实际应用[4-5]。

FPM最初主要集中于开发和优化单色FPM[6-8]。相比于灰度图像，彩色图像蕴含了更丰富的信息，在病理学和临床诊断中彩色信息被广泛应用[9-10]。DONG等[11]提出一种频谱复用方法以实现彩色FPM。实验中使用彩色LED阵列进行样本照明，并使用单色相机获取低分辨率图像。由于 R/G/B LED 元件在采集过程中同时打开，因此采集的图像代表 R/G/B 波长下样品轮廓的不相干总和。然后，使用这种状态混合的原始数据来恢复相应波长的3个高分辨率图像，并生成样本的最终彩色图像。WANG等[12]提出一种嵌入多路复用FPM技术中的颜色校正策略，在恢复过程中，需要使用点亮R/G/B LED阵列来捕获3个图像作为先验知识，以提高重建的准确性。使用上述技术，可以减少冗余需求。但是由于显微镜中存在的残留色差和人为对焦误差的影响，完全彻底的信息解复用是难以实现的。ZHOU等[13]使用彩色相机成功实现了彩色FPM，然而相较于具有同等感光面积和像素尺寸的单色相机，彩色相机的像素数存在先天的劣势。因此重构图像的分辨率往往较低。张慕阳等[14]提出了基于三维卷积神经网络的彩色傅里叶叠层显微术，建立单色高分辨率(High Resolution，HR)图像和彩色低分辨率(Low Resolution，LR)图像之间的映射关系，最后生成彩色HR图像。该算法利用单色相机采集一组单通道LR图像序列和三幅中心不同通道的LR图像。ZHANG等[15]提出应用一种基于对称LED照明和波长多路复用的方法，用于在FPM系统中收集低分辨率图像并恢复高分辨率彩色图像。与单一LED照明相比，对称照明具有更高的离焦容忍度。GAO等[16]根据颜色迁移理论，提出一种基于色彩迁移的FPM，称为CFPM，成功将低分辨率彩色病理图像的色彩迁移至由单个波长捕获的灰度FPM图像。该方法对单一颜料染色的样品效果好，对多种颜料染色的样品效果容易产生误差[17]。

近年来，深度学习发展迅速，在图像生成、目标识别及图像分割等领域得到广泛应用[18-20]。以卷积神经网络(Convolutional Neural Network，CNN)为代表的深度学习方法也在FPM中被用于提升重建速度和增强鲁棒性[21-22]。

本研究设计了一种用于重建彩色FPM图像的融合算法。该算法利用卷积神经网络将低分辨率全彩图像与高分辨率灰度图像进行融合[23]，成功地将低分辨率全彩色纹理信息传输到由单一波长重建的高分辨率灰度重建图像中。该方法在保证图像恢复质量的同时，减少了2/3的采集时间，实现重建速度的提升。

1 原理和方法

1.1 彩色傅里叶叠层显微重建

FPM方法依靠显微镜的聚光镜以及物镜来完成傅里叶变换过程。传统的显微镜用高NA镜头进行扫描和拼接可以产生高分辨率的大视场，而FPM使用低NA镜头获得大视场，并在频域中对低分辨率图像的频谱进行拼接，获得大视场和高分辨率的定量相位图像。一个典型的FPM系统由一个LED阵列、一个显微镜物镜、一个聚光镜和一个CCD相机组成，如图1所示。在LED阵列中的LED照亮样品后，它们穿过显微镜的物镜和聚光镜在CCD相机中进行成像。FPM方法与传统显微镜相比，一个革命性的改进是LED阵列取代了传统的聚光镜，通过逐点扫描可以让连续照明的LED改变光在样品上的入射角，从而使图像可以从单一图像转换为多个图像。由傅里叶变换定理可知其实质是将样品的频谱在频域中进行平移，从而绕过了光学的衍射限制。

图1 傅里叶叠层显微成像系统实物图和成像工作原理

作为一种相位恢复方法，典型的傅立叶叠层显微镜使用单色性较好的准相干光照明，并使用黑白相机采集原始数据，因而一次成像只能获得单个波段的图像信息。然而在临床医学应用中，观察者需要借助染色后的样本包含的颜色信息定位样本区域以及判读组织和细胞的相关信息。因此，彩色重建对傅立叶叠层显微镜的实际应用十分重要。

傅立叶叠层显微系统通常使用模块化 LED 阵列进行照明，这种 LED 阵列被设计用于组装室内或室外显示屏，每个LED单元都包含红绿蓝3个发光单元。因此，实现彩色FPM的最简单方法就是控制 LED 阵列分别发出红绿蓝3种色光，采集对应原始数据后利用相位恢复算法，将入射图像引入的相位梯度转化为相位信息，借助合成孔径提高系统的等效数值孔径，从而分别重建出红绿蓝通道的高分辨率复振幅图像，再将强度信息合成为三通道的彩色图像，从而实现彩色重建。以下将该方法简称为独立通道法。该方法可以有效地获取染色样本的彩色信息，但是彩色重建效果与实际在高倍率显微镜下观察得到的结果有一定差距。该方法的另一个问题是为了获取3个通道的信息需要三次独立地采集和重建，会进一步降低傅立叶叠层显微镜的时间分辨率，给实际应用造成困难。因此，保证时间分辨率是实现彩色傅立叶叠层重建中需要考虑的重要因素。

1.2 CNNFFPM模型

图像融合是指将两幅图像或多幅图像合并成一幅图像，以获得更丰富的信息或者达到特定的视觉效果。图像融合的方法可以分为以下几种：基于像素的融合、基于尺度的融合、基于特征的融合和基于深度学习方法的融合。当前使用深度学习方法的融合在红外与可见光图像融合、遥感图像融合、多曝光图像融合和医学图像融合等领域均有良好进展，因此本研究使用深度学习方法实现彩色FPM重建。

在融合模型中，假设F(i，j)是融合图像在位置(i，j)的像素值，HR(i，j)和LR(i，j)分别是HR图像和LR图像中对应位置的像素值。要合理计算F(i，j)，我们需要首先考虑HR(i，j)和LR(i，j)的邻域像素，分别表示为NH(i，j)和NL(i，j)。然后，通过使用CNN来计算NH和NL，并进一步得到融合图像F。NH和NL通过将HR和LR图像与大小为N×N的核进行卷积操作来获得，而融合图像F则通过将HR和LR与一个大小为1×1的核进行卷积操作得到。为了提高融合图像的质量，在卷积之后进行非线性操作。最终的卷积操作被定义为：

F=ReLU(X*w)

(1)

式中X是卷积输入，w是卷积核，ReLU是一个非线性激活函数，公式表示为：

ReLU(x)=max{0，x}

(2)

融合模型如图2所示。模型的输入是一对3通道的源图像，输出是一张融合后的彩色图像。模型包含13个卷积层，其中8个是大小为N×N(N>1)，其余是1×1。我们使用这个网络来表示融合函数 F(LR，HR)→F。令LRk(k = 1，2，3，4) 和HRk(k = 1，2，3，4) 表示图像LR和HR的第k个卷积层的输出。

图2 卷积神经网络融合模型

(3)

(4)

对于融合模型中的F1，它是通过图像LR和HR的加权平均融合而成，具体计算方法如下：首先将图像LR和HR合并为一个新图像F0，并将其通道增加至8；然后进行1×1卷积计算。

F1=w(LR，c)F0(i，j，c)+w(HR，c)F0(i，j，c+4)

(5)

F2、F3、F4和融合图像F的获取方式与F1类似。从图2可以看出，在计算F2、F3、F4和F时，输入包含3个图像而不是2个。以F2为例，首先将LR、HR和F1图像组合起来构建一个新的图像，然后进行1×1的卷积计算。

(6)

1.3 数据集与模型训练

由于彩色傅里叶叠层重建图像数据少，获取相对昂贵，本研究使用CIFAR数据集[24]训练模型。CIFAR数据集有以下优点：CIFAR数据集图像多样化且数据量大；CIFAR数据集中的图像尺寸小且尽可能包含原始图像强烈的纹理特征。因此，使用CIFAR数据集用于模拟LR和HR图像。对于任何图像I，将其视为真值图像F，而其对应的低分辨率图像则用作LR图像。我们将图像I在HLS空间中的L分量视为HR，作为模型的另一个输入。在CIFAR数据集中，提取1 000张图像用于模型测试，其余所有图像用于模型训练。为了避免失去更多的原始信息，我们只对原始图像进行下采样，使其大小减半，然后再上采样到图像的原始大小。

模型训练在一个装有NVIDIA 2080Ti GPU电脑上进行，python版本3.6，TensorFlow版本1.15。在训练过程中，使用Adam优化器，mini batch size大小为128，在15个epoch中训练模型。设置初始学习率为0.001，在总训练epoch的50%和75%处除以10。为了评估重建质量，使用均方误差(MSE)作为损失函数。最终模型经过大约25 000次小批量迭代的训练，耗时1 h。

(7)

式中，I为真值图像；HR为灰度图像；LR为低分辨率图像；F(θ；HR，LR)为模型输出的融合图像，n是训练样本数量。我们通过最小化L来解决融合函数F。此外，图像的像素值范围为0～255，在进入模型之前被归一化到[0，1]间隔中。

1.4 评价指标

为定量评价所提方法的性能，采用均方根误差和结构相似度作为评价指标。RMSE越接近0，两幅图像越接近，重建质量好。SSIM越接近1，说明两幅图像越相似，重建质量好。具体的计算公式分别为：

(8)

式中g(x，y)表示真值图像，f(x，y)表示重建图像。

(9)

式中，μ1，σ1及μ2，σ2分别为两幅图像的均值与标准差；σ12是两者图像的协方差；C1=C2为常数。

2 实验

独立通道法是目前彩色FPM重建的最常用方法，控制 LED 阵列分别发出红绿蓝3种色光，采集对应原始数据重建后再将强度信息合成为三通道的彩色图像，从而实现彩色重建。文献[15]所提出在FPM系统中使用对称照明可以在不增加系统和算法复杂性的情况下减少约50%的LR图像，节省约70%的采集时间，从而以较低的成本获得较高彩色重建质量，本研究称之为SWFPM方法。CFPM方法是文献[16]所提出的方法，将Welsh算法应用于微观尺度，成功颜色纹理信息传输到仅由单个波长捕获的HR灰度FPM图像。将CNNFFPM方法与SWFPM方法、CFPM方法和独立通道法进行实验对比，并给出定量评价指标方均根误差(Root Mean Squared Error，RMSE)和结构相似度(Structural Similarity Index Measure，SSIM)，以展示本研究所提方法的有效性。

2.1 数值模拟实验

数值模拟实验中，采用13×13的方形LED阵列作为光源，相邻LED单元之间的距离为8 128 μm，灯板到样品之间的距离为98 mm。相机的像素尺寸为6.5 μm，显微镜为4×/0.13NA。图3中真值为随机选取segmentation_WBC数据集的部分图像，图像尺寸为300×300。LR为3种色光中直射光对应的图像合成，图像尺寸为75×75。HR为FPM重建的绿色通道图像，图像尺寸为300×300。所提方法采集绿色通道的低分辨率图像重建出单色HR图像，与LR卷积融合得到彩色融合结果。相应的评价指标SSIM、RMSE如表1和表2所示。

表1 3种方法所需采集图像数量、采集和重建时间

表2 CNNFFPM、WMFPM、CFPM方法和独立通道法的重建性能对比

图3 4种方法在数值模拟中的重建结果

CNNFPM、CFPM和独立通道法的采集图像数量、采集时间和重建时间如表1所示。

由表1和表2中的数据可知，在数值模拟实验中，独立通道法重建效果好，同时取得最优SSIM和RMSE。但该方法每次只采集1个颜色通道的1幅LR图像，采集效率低，采集图像需要的数量和时间均约为所提方法和CFPM的3倍。CFPM利用色彩迁移原理将LR图像的色彩迁移至HR图像得到彩色图像，所需要的采集图像数量与所提方法一样。CFPM方法重建时间长，重建图像相较真值图像略显灰色，出现色彩失真，图像的SSIM和RMSE均与其他3种方法有差距。WMFPM方法的重建结果比CFPM方法好，但是相比CNNFPM和独立通道法依然有差距。WMFPM的重建耗时约105 s，在4种方法中用时最久。CNNFPM方法虽然相比独立通道法有差距，但是SSIM和RMSE相差不足0.01，在可接受范围内，并且所提方法在采集图像数量、采集时间和重建时间的性能都处于4种方法前列。

2.2 数值模拟实验

图4为CNNFPM方法和CFPM方法在真实采集数据上的彩色重建，图像数据来自文献[15]。HR为采集绿色通道的低分辨率图像重建的灰度图像。LR图像尺寸为170×128。其余图像尺寸为512×384。两种方法成功将LR所含色彩信息融合到HR图像。

图4 CNNFPM方法和CFPM方法在真实数据上的重建结果

CNNFFPM方法与CFPM方法在真实采集数据上的彩色重建相差较大。由表3可以看出，CFPM的RMSE取得不错效果，与真值图像相差0.037 3，但SSIM为0.751 2，相差大。CFPM方法的重建时间达到了124.49 s，原因是CFPM方法需要匹配两幅图像的像素点，每隔10个像素点进行搜索匹配，进行的运算量大，速度慢。因此CFPM重建的时间与LR和HR两幅图像的大小呈线性相关，图像越大则重建时间越长。由图3可看出，CFPM的结果图与真值图像的色彩差异较为巨大。CNNFPM方法的SSIM和RMSE是0.894和0.0289，取得不错效果，优于CFPM方法。该方法利用深度学习重建彩色图像，输入图像到训练好的模型，耗时短，重建时间仅为2.1 s，比CFPM方法节省122 s，但是重建图像的纹理特征不是特别理想。

表3 CNNFFPM方法和CFPM方法的重建性能对比

3 总结

提出了一种基于图像融合算法的彩色傅里叶叠层显微重建方法，使用卷积神经网络学习低分辨率彩色图像和灰度高分辨率图像的联系。结合使用单一波长捕获后重建的HR图像与相同视场下的LR率图像，并将LR和HR图像输入训练好的模型，成功地重建彩色FPM图像。与传统方法相比，该方法减少约2/3的采集时间，并且在保证图像均方根误差较低的同时，实现重建速度的提升，拥有较高的实用价值。