面向机载分布式光电的图像拼接算法

刘 彤,宋嘉乐,张子林,舒瀚达

(华北光电技术研究所,北京 100015)

1 引 言

随着航空无人系统技术的快速发展,机载图像拼接技术已经成为一个备受瞩目的研究领域。其核心目标是将多幅图像有效地合并成一个高分辨率、全景视野的图像,为军事、航空、环境监测等领域的高精度图像获取和分析提供了强有力的技术支撑。在这一背景下,机载分布式图像拼接技术受到越来越广泛的重视和研究。

Cui等人[1]针对无人机热红外遥感图像拼接中存在的累积误差问题提出了一种简单、鲁棒的拼接方法。该方法通过探索飞行过程中的先验信息,提高了全局相似性先验模型的本地对准能力,并在大量实验数据上证明了该方法的优越性,该方法简单易用,在不同条件下具有较好的表现。Cai等人[2]提出一种适用于红外图像的实时拼接方法,通过引入改进的标准化互相关的尺度不变特征变换方法来提高拼接效果和速度。该方法的计算时间大大减少,但与现有方法的拼接质量相当。Huang等人[3]介绍了一种自动的红外图像拼接方法,能够选择主导帧并在子集上进行特征提取和图像配准,最后使用多种图像融合方法得到无缝的全景图像。该方法能够有效地减少时间成本,但对于某些情况可能需要手动选择子集帧。Gao等人[4]针对航拍场景将图像对齐分为序列图像对齐和多列图像对齐,结合局部相似变换和区域性单应性变换实现了高精度拼接。该方法解决了多列图像拼接中重叠率不一致的问题,但算法复杂度过高。Wang等人[5]提出一种针对小型无人机热红外相机拼接视频帧的实用技术,采用SIFT算法检测匹配特征点,并使用k-d树和RANSAC算法找到最佳匹配并消除异常值。提出一种称为随机M最小二乘的新方法来寻找帧间的最优投影变换参数,最后,采用多分辨率融合方法拼接注册帧。该方法具有较强的鲁棒性,但在处理大量图片时难以保证计算效率。

上述传统的图像拼接算法都是基于纯旋转差异或平面成像,研究的无人机图像拼接算法中存在拼接质量不佳、算法复杂度高以及处理大规模图片拼接效果差等问题,无法适用分布式机载场景拼接精度和实时性的要求。而APAP算法采用移动直接线性变换的新估计技术,调整图像投影偏差,生成尽可能投影的图像对齐方式。此外,在进行多幅图像拼接时采用捆绑调整技术,从而提高分布式机载场景图像拼接的精度和稳定性。因此,本文针对机载分布式平台的红外图像,在APAP图像拼接算法的基础上提出一种改进的分布式机载图像拼接算法,具有较高的实际应用价值。

2 APAP算法

在实际飞行中,由于多个无人机搭载的光电传感器存在差异以及无人机存在多种飞行状态,采集到的红外图像中目标尺寸伸缩,拍摄角度相差较大,存在几何畸变等视差,使得图像的空间变换关系复杂多变。传统的图像拼接算法通常基于纯旋转差异或平面成像,而对于分布式机载图像的拼接却存在适用性不足的问题,容易导致重影、伪像甚至拼接失败等现象。针对上述问题,基于移动直接线性变换(Moving DLT)的APAP算法[6]具有较好的适用性,该算法对图像的投影偏差进行相应调整,生成尽可能投影的图像对齐方式,同时采用捆绑调整对数个投影翘曲进行细化,以提高图像拼接的精度和稳定性。

APAP主要算法流程为:首先,采用SIFT特征点检测算法获取待拼接图像之间的匹配特征点对。随后,使用随机抽样一致性算法对外点进行剔除,得到内点集合。接着,利用移动直接线性变换和加权SVD求解全局单应性矩阵。为了实现网格单元级别的拼接,对源图像进行网格式划分,然后选取每个最小网格单元的中心点,并计算所有网格中心点与源图像中内点之间的欧式距离及其相应的权重值。将这些权重值添加到移动直接线性变换法的矩阵中,构建出新的矩阵,并再次进行SVD分解,以获得当前网格单元的局部单应性矩阵。遍历所有网格单元,利用局部单应性矩阵将其映射变换到全景图像画布中,进而获得经过APAP变换操作后的源图像。最后,采用加权平均融合算法对接缝进行融合处理,以实现更佳的拼接视觉效果。

使用APAP算法对采集到的分布式光电图像数据进行拼接实验,观察发现该算法对背景较为简单的分布式图像能够实现无拼接错位的精准对齐,但对于背景复杂多变、分布式图像间视差大、几何畸变严重的图像,拼接结果中存在严重的模糊重影以及边缘处非重叠区域的投影失真现象。为解决上述问题,本文在APAP拼接算法的基础上,针对机载分布式光电图像特点进行改进,提出一种改进的APAP拼接算法。该改进算法能够实现机载分布式光电图像的高精度、广域大规模拼接,获得具有丰富态势感知信息的广域大规模红外全景图像。

3 改进APAP拼接算法

根据分布式光电红外图像特点,本文对APAP拼接算法进行了如下改进:

(1)针对分布式机载图像拼接中不同飞行姿态视角差异较大,图像空间几何变换关系复杂导致拼接模糊重影的问题,在该算法投影变换前使用基于径向基函数的TPS模型对重叠区域中图像做形变处理;

(2)针对APAP算法中的单应性模型对拼接图像边缘处的非重叠区域投影失真问题,使用线性化单应平滑外推至全局性相似性变换,以减少图像边缘处的投影失真;

(3)针对现有APAP算法计算复杂度高,难以满足机载图像拼接实时性要求的问题,使用网格划分法仅对网格节点处形变进行计算,其余图像中像素点形变利用线性内插法获得,从而减少算法复杂度,提高改进后算法的运行效率。

3.1 重叠区域视差消除

为了消除由于视差过大而导致的重叠区域图像之间的模糊重影现象,可以在进行投影操作之前对重叠区域中的目标图像进行形变处理[7]。假设存在两幅重叠图像Io和IT,且对应的匹配点记为Oi(xi,yi)T,Ti(ui,vi)T。由于薄板样条法(TPS)能够有效的将图像进行扭曲变形,使图像具有良好的对齐质量。因此,将薄板样条法应用于单应性变换中,对目标图像IT做形变处理,形变处理函数表达式如式(1)所示:

(1)

下面是最佳翘曲变换的总能量函数的定义:

Jλ=JD+λJS

(2)

其中,对准项JD以及平滑项JS表达式分别如式(3)和式(4)所示:

(3)

JS=∬(x,y)∈Ω|∇2g|2dxdy

(4)

根据TPS模型理论[8],最小能量函数Jλ的最优解为:

(5)

(6)

3.2 消除边缘投影失真

为了消除APAP拼接算法在非重叠边界区域引起的透视失真,本文对整幅图像的移动直线变换估计进行了改进。在非重叠区域,采用线性化单应性变换,并逐渐平滑外推至全局相似性变换,以消除非重叠边界处的透视失真现象[9]。在一维透视变换中,使用非重叠边界的单应性变换会严重影响尺度变化,在二维透视变换,该扭曲失真现象表现得更为严重。

线性化单应性变换将图像中锚点p周围任意像素点q展开为单应的泰勒级数,表示如下:

h(q)=h(p)+Jh(p)(q-p)+ο(‖q-p‖)

(7)

(8)

对于全局相似性变换问题,直接对所有特征点进行全局相似性变换的匹配搜索并不能保证获得最优解。特别是当存在重叠区域视差较大的不同平面时,这种现象表现得尤为明显。因此,本文采用分割处理的方法来计算获取最优的相似性变换。具体而言,首先对匹配的特征点对进行阈值为εk的随机抽样一致性处理,以剔除异常的特征点对。接着,利用阈值大小为εl的随机抽样一致性操作,在平面内搜索具有最大内点数量的单应性变换。若搜索结果出现内点数量εl<εk的情况,则将该内点从集合中删除,并不断迭代搜索,直至内点个数小于给定阈值。使用匹配好的内点对计算单个相似性变换,选取最小旋转角度作为变换的旋转角。最后,针对拼接结果中的非自然区域,采用公式(9)的变换方式,对全局相似性变换进行更新处理:

(9)

此外,需要对目标图像传递到参考图像的变化进行补偿处理,以消除由于全局相似性更新导致目标图像发生翘曲的情况,从而解决对齐目标图像与参考图像重叠区域无法对齐的问题。因此,参考图像的局部变换可以表示如下:

(10)

3.3 拼接速率提升

为了提高图像拼接的计算速度,可以将源图像和目标图像进行网格划分。该方法将图像分割成大小均匀的网格单元,如图1所示,其中圆点表示网格节点位置。这种划分方法可以有效地减少计算量并提高拼接效率。

图1 网格划分方式示意图

在图像形变计算中,本文提出一种新的方法,将原先基于像素点的形变计算改为基于划分好的网格节点的形变计算。具体实现步骤如下:首先,利用第3.1节中的方法,求解变形函数,并将其应用于划分好的网格节点,计算出相应的形变值;其次,对于未被划分的像素点,采用线性内插法,计算出对应的形变值。

(11)

通过使用具备双线性内插功能的逆映射变换,能够对图像中除网格节点处其余像素点进行翘曲处理。采用网格分割技术获取目标图像的形变信息,可极大地减少图像翘曲变换所需的计算时间,从而提升拼接算法的速率。

结合3.1节和3.2节,本文提出了一种高速率重叠区域视差消除的总体方案,具体表现如图2所示。

图2 高速率视差消除总体方案

该方案包括图像的投影变换及其反变换表示为H和H-1、基于径向基函数的TPS形变记为MTPS,通过APAP算法计算所得的变换表示为W。通过使用图2中的变换方法,可以有效地消除视差带来的对齐偏差和重影问题,提高图像拼接的精度。

4 实验结果与分析

4.1 评价指标

本文使用基于人眼视觉的主观评价以及均方根误差(RMSE)、峰值信噪比(PSNR)、结构相似度(SSIM)、信息熵[10]、拼接耗时等评价指标综合评估所拼接的全景图像质量。

图像均方根误差通过计算匹配特征点对在参考平面偏差的平方和的平均值,并对其进行开平方运算得出。均方根误差越大,表明拼接后图像的对齐误差和细节模糊越严重,反之则表明图像质量较好。该度量方法可以通过以下公式进行计算:

(12)

峰值信噪比在图像处理中常用于评估参考图像与评价图像之间的噪声,图像中峰值信噪比表示为峰值信号能量与均方根误差之比,如式(13)所示:

(13)

结构相似度可用于测量不同图像之间的对比度、亮度和结构信息,并对图像细节、轮廓等信息的相似度进行有效评估,其数学计算模型如下:

(14)

信息熵常被用于对图像中信息的丰富度进行评估,其值越大表示图像中包含的信息量越丰富,图像质量越佳,计算公式如下所示:

(15)

拼接耗时是指对图像进行拼接操作时所使用算法的运行时间,该指标能反映出图像拼接算法的实时性,并对其运行效率进行有效评估。

4.2 实验数据

为验证拼接算法在分布式机载光电图像中的适用性,分别对飞行高度为100 m的纯水田、纯建筑物以及水田与建筑物相结合的三组不同场景进行拼接实验,从而测试算法的适用性,三组待拼接的场景图像见图3。

图3 三组待拼接场景图像

此外,为进一步验证算法对大规模图像拼接能力,分别使用三架无人机采集154张三维特性建筑物与水田相结合的复杂场景进行拼接实验。

4.3 实验结果分析

在原有的APAP算法基础上,针对分布式平台图像数据视差差异引起的重叠区域模糊重影、单应性模型所导致的边缘投影失真以及拼接速率低等问题,提出的分布式拼接算法对三组不同场景以及大规模图像进行拼接实验,实验结果如图4、图5所示。

图4 三种不同场景下改进算法拼接结果

图5 大规模三维建筑与水田结合复杂场景拼接结果

改进算法在三种不同场景下的拼接结果如图4所示,其中图4(a)、(b)、(c)是三种场景下为了获得最优相似性变换将特征点对做分割处理后不同阈值提取特征点对结果。图4(d)为纯水田场景下改进后算法的拼接结果,相比于使用APAP算法,该算法具有更高的对齐精度和更加平滑的接缝处理;图4(e)的纯建筑物场景拼接结果中改进算法框内图像无明暗差异,观察不到明显的接缝;图4(f)的水田与建筑物相结合的混合场景拼接结果,相比于使用原始APAP拼接算法,图4(f)位于中下部框内的重影模糊现象得以解决,同时下方边缘处两个框内图像的投影失真得到有效消除。

根据图5可得,本文提出的改进的APAP分布式拼接算法能够有效地将三架无人机采集的大规模红外图像拼接成一幅具有高分辨率的广域大规模全景图像。从四部分局部放大结果表明,该算法能够实现高精度的图像对齐,避免模糊重影现象,并且在图像与图像之间没有明显的亮度差异,接缝处过渡平滑,即使在图像特征更为复杂多变的三维建筑物与水田结合场景中,该算法仍然具有较好的大规模拼接效果。

为了更加客观地评估图像拼接质量,本文采用了均方根误差、峰值信噪比、结构相似度、信息熵以及拼接耗时等客观评价指标进行评估。这些指标能够全面反映图像拼接的质量,包括图像对齐精度、过渡平滑度、投影失真等方面,从而更加客观地评价算法的优劣。本文使用上述指标分别对原始APAP算法以及改进的APAP分布式拼接算法在三种不同场景以及三维特性建筑物与水田相结合的复杂场景拼接后图像质量进行评估,APAP与改进算法的评估结果分别如表1、2所示。

表1 APAP算法拼接图像质量评价指标

根据表1和表2,可以看出改进算法相比于APAP算法,在三个场景以及大规模图像中都有着更好的拼接图像质量。其中,改进算法的RMSE在所有场景中都比APAP算法低,说明改进算法对图像拼接误差控制更加精细;改进算法在不同场景中的PSNR、SSIM、图像熵值也都高于APAP算法,说明改进算法能够更好地抑制噪声,保持图像结构一致性以及具有更为丰富的图像信息;并且无论在少幅图像和大规模图像拼接中都具有更短的拼接耗时。

表2 改进算法拼接图像质量评价指标

综上所述,改进算法相比于APAP算法在拼接图像质量方面有着明显的提升,在保证图像拼接质量的同时,尽可能减少拼接耗时。此外,也能较好的适用于大规模分布式场景下的图像拼接,获取具有丰富态势感知信息的广域大规模全景图像。

5 结 论

本文针对分布式机载光电图像拼接存在的不同角度视差较大、图像空间几何变换关系复杂导致的模糊重影、伪像甚至拼接失败等问题,通过选取拼接效果最好的APAP算法,并在其基础上提出了改进方案。该改进算法利用变形处理消除模糊重影,采用线性化单应平滑外推至全局性变换,有效减少边缘处投影失真,并利用网格划分法计算图像网格节点处的形变,以提高算法运行效率。本文对该算法进行了多个场景下的测试,实验结果表明改进算法具有更小的对齐误差和更高的图像细节信息、峰值信噪比、结构相似度和图像熵等指标,得到的图像轮廓更清晰,包含的信息量更为丰富,有效解决APAP算法存在的模糊重影和边缘处非重叠区域的投影失真问题。在进行大规模图像拼接时,该改进算法能够有效实现154张图像的大规模拼接,得到分辨率为10 K×10 K的高分辨率全景图像,拼接耗时为138 s,验证了改进的分布式拼接算法的优越性。因此,该改进算法可以投入到分布式机载图像拼接的实际应用中,具有重要的实际应用价值。