基于基础矩阵的相对定向方法研究

马淑贤，胡春梅，张 旭，薛惠敏

(1.北京科技大学 土木与资源工程学院，北京 100083；2.北京建筑大学 测绘与城市空间信息学院，北京 100044；3.山东正元数字城市建设有限公司，山东 烟台 264670)

0 引 言

近年来，随着近景摄影测量的不断发展，逐渐用数码相机采集被测对象影像，以摄影测量原理分析、量测，提取所需的几何与物理信息，而影像相对定向是至关重要的一步。立体像对的相对定向就是要恢复摄影瞬间相邻两影像摄影光束的相互关系，以达到立体像对同名光线对对相交的目的。由于在定向时受影像多基线、大倾角的影响，时常出现定向结果错位、不稳定等问题。针对此问题，许多学者都进行了深入研究，张永军[1]等提出了基于图像特征提取同名直线和圆曲线，以多种同名特征实现影像的相对定向。何海清[2]通过相对定向直接解初步计算定向初值，并将初值带入误差方程迭代精确求解，在低空无人机影像的定向上取得好的效果。李劲澎[3]提出了利用赫尔默特方差分量估计单位权误差，并以选权迭代的方法精确求解。

在本文中以解决影像大倾角问题作为出发点，以航空影像和近景影像作为数据源，通过研究匹配点集中的误匹配剔除，解决了均匀分布的同名点匹配问题，在左右影像上建立了稀疏度一致的同名点集，分析基础矩阵与相对定向元素之间的转换关系，以转换后的定向参数作为初始值利用严密解纠正定向元素。

1 基础矩阵求解

1.1 基础矩阵的极线几何关系

如图1所示，S1a1与S2a2为像对间的同名光线，B为摄影中心S1S2之间的摄影基线。在摄影测量中以共面方程作为相对定向的数学模型，用来表示像对间同名光线之间的关系，数学表达式为：

用坐标的形式表示如下

式中，(X1Y1Z1)与(X2Y2Z2)分别为左右同名像点a1、a2在像空间辅助坐标系下的坐标；(BxByBz)为S1S2之间的摄影基线分量。

按照摄影测量坐标系之间的转换关系，(X1Y1Z1)表示为

式中，a11,…, a33为左影像方向余弦组成的旋转矩阵

在相对定向时，以左影像的像空间直角坐标系作为像空间辅助坐标系，此时R为单位阵，（X1Y1Z1）表示为

同样的（X2Y2Z2）可表示为

（X1Y1Z1）和（X2Y2Z2）分布用m1、m2表示，带入（1）式，则有

在计算机视觉中用基础矩阵F来描述像对间同名光线之间的关系，则有

结合公式（6）与公式（7）则有

图1 同名光线Fig.1 Corresponding image rays

1.2 相对定向初次求解

基础矩阵传统的求解方法一般利用SIFT匹配提取像对中左右影像的同名点，选取同名点并利用8点法求解基础矩阵，这种求解方法虽然简单，但是在SIFT匹配中会不可避免地存在误匹配且同名点的稀疏度不同、分布不均匀。因此，本文首先在SIFT匹配中引入双向一致性约束、RANSNC随机抽样一致性约束，通过这两种逐级约束不断剔除误匹配，得到最优匹配点集。

双向一致性约束首先以左影像上的特征点为基础，在右影像上的特征集合中搜索匹配的同名点，得到右影像相对于左影像的匹配集；然后，以右影像的特征点为基础，在左影像上的特征集合中搜索匹配的同名点，得到左影像相对于右影像的匹配集。如果一些同名点能够同时满足这两个匹配集合，即为最优同名点。

尽管通过双向一致性约束匹配提高了同名点匹配的稳定性，但是在匹配集合中依然会不可避免地存在少量的误匹配，因此，采用RANSAC随机抽样一致性约束匹配进一步提纯匹配点集的准确性。

本文在传统方法的基础上，在立体像对间匹配出均匀分布的同名点，其具体步骤为：

1）利用SIFT匹配的结果，计算像对间的仿射变换参数，仿射变换的数学模型如下：

式中，a,b,c,d,e,f为仿射变换参数，采用基于RANSAC随机抽样一致性算法求解仿射变换参数。

2）以立体像对的左影像为基础，利用Harris算子一阶差分的特性分格网均匀提取特征点；

3）对左影像的Harris特征点做仿射变换，大致确定右影像上的匹配搜索范围；

4）在搜索范围内，采用相关系数加最小二乘匹配精确定位同名点，即在左右影像上建立均匀分布的同名点。

对于Harris的分格网提取特征点如图2所示，首先设定特征点数目，根据影像的宽、高信息设定格网大小。

即建立的窗口大小为m×n，式中，Wimg、Himg分别表示影像像素的宽度及高度，N表示影像格网数目。

图2 规则格网控制点Fig.2 The regular grid control points

对于基础矩阵参数，x0、y0、x1、y1为影像的内方位元素，可默认为0，f为相机焦距，未知数的个数为Bx,By,Bz,α,β,ω，3个位置参数，3个角度参数，将公式（8）带入（7）中可得

式中，a11,…,a33,为右影像方向余弦组成的旋转矩阵。

由上式可看出基础矩阵中的各参数取决于3个位置参数，3个角度参数，当不考虑比例因子时，正好与相对定向元素一致，由此可建立基础矩阵与相对定向元素之间的转换关系。

根据上面分析，在不考虑影像的内方位元素、像对中的比例因子时，求解基础矩阵只需要考虑5个未知数，通过格网控制获得的同名点，不仅均匀分布、精度可靠，且数量一般远大于5，在计算基础矩阵时，一方面能够对像对起整体控制的作用，另一方面可大大提高基础矩阵的稳定性和准确性。

根据公式（6）可列出线性方程，如下所示

式中，A为同名点组成的系数矩阵，f为公式（11）所示基础矩阵的各项系数。

对于公式（13）的求解采用SVD奇异分解方法，使求解的基础矩阵中的各项系数为局部最优解，而由基础矩阵转化后的相对定向各项参数准确度高，可作为最佳的迭代初始值进行后续的精确求解。

1.3 相对定向精确求解

按照上面介绍的基础矩阵初次求解的方法计算像对间的基础矩阵，按照对应转换关系将基础矩阵转换为相对定向元素。采用严密解进一步精确求解定向参数。

相对定向严密解的误差方程式如下 ：

式中，Q为上下视差

本文以均匀分布的同名点利用最小二乘平差解算基础矩阵，增加了基础矩阵的稳定性，提高了相对定向元素的准确性。为了进一步提高相对定向元素的精度，以转换后的相对定向元素作为初值，通过严密解公式中的上下视差计算各定向元素的改正数，以正确纠正定向参数。

2 实验结果及分析

2.1 实验数据

为了验证本文算法的准确性、可靠性以及对大倾角影像的适应性，分别以航拍影像和手持相机拍摄的近景影像得到的立体像对作为实验数据。其中航拍影像如图3所示，应用NIKON D810获取，像素大小为7360×4912；近景影像如图4所示，应用Canon 5D Mark II相机获取，像素大小为5616×3744。

图3 实验数据Fig.3 Experimental data

图4 实验数据Fig.4 Experimental data

2.2 实验过程及成果

1）SIFT同名点匹配：利用SIFT算子匹配同名点，按照上面介绍的左右对称性约束、RANSNC随机抽样一致性剔除误匹配，得到立体像对中最优的同名点集。对航空影像数据1、近景影像数据2，SIFT匹配结果为图5中的a与b和c与d所示，在2组数据的同名点匹配中匹配结果稀疏度不同。

图5 SIFT匹配结果Fig.5 SIFT matching results

2）Harris格网点匹配：根据图5中最优点集分布计算近景影像、航拍影像像对间的仿射变换系数，按照上面介绍的均匀分布同名点匹配方法，采用200×200的格网大小，可获得达到亚像素精度的同名点。在这里给出了近景像对的Harris分格网匹配的结果，如图6所示，对于航拍像对结果类似。其中在图6a给出了近景影像Harris分格网的提取结果，图6b与图6c为格网点搜索匹配的同名点，可看出同名点分布均匀 。

图6 格网点匹配结果Fig.6 Grid matching results

3）相对定向初值求解：对于近景像对的相对定向，根据在上图6中得到的格网点计算基础矩阵，再结合本文分析的基础矩阵与相对定向之间的转换关系得到立体像对的定向参数，航拍像对按同样的方法求解，两者相对定向初值的求解结果见表1，定向初值的精度都在1个像素以内，初次定向误差稳定。

表1 相对定向初值求解结果Tab.1 Solution results of relative orientation

4）定向参数的严密解及精度分析：航拍像对和近景像对在表1初值解的基础上，应用文中的严密解迭代求解定向元素的改正数，不断纠正定向元素。定向参数严密解的求解结果见表2，经严密解纠正后，结果精度得到很大提高。

表2 定向参数严密解求解结果Tab.2 The results of rigorous solution of directional parameters

为了进一步分析格网同名点对相对定向结果的影响，在上面200×200格网大小的基础上，采用300×300，100×100的格网大小分别对航拍像对和近景像对提取同名点，经相对定向初值求解、定向参数严密解计算各定向参数并分析中误差大小，结果见表3。以不同大小的格网300×300到100×100，随着同名点数目不断增加，中误差不断降低，精度不断提高，因采用的近景像对分辨率高，虽然同名点数目不多，但计算结果精度比航拍像对更高。

表3 格网同名点与相对定向结果Tab.3 The same point and relative orientation of grid

因此，无论是以航拍或是近景方式获取的大倾角近景像对，按照本文方法计算出的相对定向结果稳定，能够满足精度要求。

3 结束语

本文以解决大倾角像对的相对定向问题作为出发点，通过分析摄影测量与计算机视觉之间的交叉关系，分析基础矩阵与相对定向参数之间的关系。为了提高求解基础矩阵的准确性，以均匀分布的同名点构建系数矩阵，并引入最小奇异值与次小奇异值之比的阈值。将转换后的相对定向元素作为初值，根据摄影测量中严密解的求解方法精确纠正定向参数。实验证明，本文的方法是可行的。

本文中立体像对定向元素的求解方法，可应用于近景影像和航空影像的相对定向，同时引入空中三角测量中，作为光束法平差的初值。