行星探测器导航相机着陆后参数标定方法

鄢咏折,彭 松,马友青,张 烁,亓 晨,温 博,李 昊,贾 阳,刘少创

1.中国科学院空天信息创新研究院,北京 100101；2.中国科学院大学，北京 100049；3.北京空间飞行器总体设计部,北京 100094；4.武汉大学测绘学院，武汉 430072

行星探测器离开地球到达行星表面经历的时间短则数天，长则数月甚至数年，其间探测器(分为着陆器和巡视器)的外界环境不断发生变化，有很多不可预估的因素影响着探测器所携带的传感器，如导航双目相机。导航双目相机在发射前已在地球完成标定，但长时间脱离地球引力进行飞行，以及着陆器与巡视器分离时对巡视器的轻微冲击等，都可能导致相机参数发生改变。巡视器的导航相机是双目立体相机，根据其获取的立体影像可重建巡视器周边地形，相机参数的标定误差会导致地形重建的误差，从而影响巡视器的路线规划，因此需要在着陆后重新对导航双目相机进行标定。

目前，巡视器导航相机标定方法多属于发射前的在地标定方法，例如，张正友棋盘标定法[1-2]，基于CAHVOR模型的标定方法[3]、本质矩阵法[4]等。巡视器导航相机离开地球后的自标定技术研究较少，其困难之处主要在于缺少物方控制信息。文献[5]提出内参与三阶多项式拟合的外参模型与未知月面点一起进行光束法平差，但该方法的不足之处在于巡视器需要行走一段距离后，待单相机获取多组立体像对后才能解算出相机参数，且导航相机在着陆后即需生成地形进行路线规划，因此该方法不适合导航相机的标定。文献[6]提出将机械转轴关系和立体影像相结合使用灭点原理的标定方法,但该方法需手动提取直线要素，此过程会代入粗差或随机误差，且该方法未充分应用巡视器自有的标定板——太阳能电池板。

图1展示的是巡视器“玉兔号”月球车的结构，由6个轮子、车身、2片太阳能电池板、1对导航相机、前后方的避障相机、全景相机等结构组成。2片太阳能电池板位于车身两边，1对导航相机位于桅杆上的云台上，占据高位，云台可在俯仰、航向、横滚3个方向上360°旋转，所以导航相机可获取影像的范围及姿态足够多，可以满足相机标定的需求。如图2所示，太阳能电池板上整齐排列着大小一致的小电池板，这些小电池板使其形成格网结构，与张正友棋盘标定法一样，格网可为导航双目相机标定提供物方坐标信息。

图1 “玉兔号”月球车Fig.1 The image of yutu lunar rover

图2 太阳能电池板Fig.2 The image of a solar panel

1 标定方法原理

1.1 影像数据分析

与地球一样，月球本身并不发光，需要太阳光照明及给予热量，因月球几乎没有大气层的保温功能，月球的夜间温度极低，巡视器无法工作[7]，因此巡视器导航相机获取的影像均为日间拍摄的影像。如图3所示，当导航双目相机拍摄太阳能电池板时，小电池板中间的间隙反射非常强，在影像中呈现白色，而小电池板呈现几乎完全黑色。但因光照环境或拍摄方向的原因，太阳能电池板在影像中呈现的格网并不明显，或仅在较小区域内呈现，在影像中的线性特征更为明显。所以本文基于太阳能电池板的线性特征进行相机标定，因月球昼夜温差极大，在提取影像线性特征时，还应考虑太阳能电池板的膨胀系数[8]。

图3 “玉兔二号”导航双目相机获取的立体像对(全色影像，影像分辨率为1024×1024像素)Fig.3 The stereo images obtained by yutu-2 lunar rover 's navigation binocular cameras

1.2 标定方法整体流程

根据是否为相机的固有参数，将相机参数分为内参和外参，其中内参包括相机焦距f、主点(x0,y0)及相机畸变参数(K1,K2,P1,P2)，外参包括相机在物方坐标系下的三维坐标(Xs,Ys,Zs)及相机主光轴在物方坐标系下的角元素(φ、ω、κ)[9]。本文标定方法仅涉及导航相机外参标定，所以影像要先以地面标定的畸变参数进行畸变校正，并在已知相机焦距f、主点(x0,y0)的情况下进行。

影像中并非所有格网线都作为标定输入值，例如有些呈现反光异常强烈的区域，导致格网线粗大且发散，无法拟合出准确格网线，所以这样的区域不宜选择，具体步骤如下。

(1)选择在左右影像中均拍摄的清晰格网区域。

(2)因在该区域内格网线与非格网线黑白分明，设置阈值对选区进行二值化。

(3)二值化后的白色像素点是一个组，通过Hough变换后的r轴方向上聚类对白色像素点进行初步分组，并设置组内像素点的数量阈值清除噪声点。

(4)对Hough变换后的初步分组点根据距离r值合并进一步得到白色像素点的最佳分组，使同一条格网线上的点在一个组。

(5)分别对各组格网点进行最小二乘直线拟合，解算出直线参数。

(6)根据直线参数解算导航双目相机外参。因为双目相机的相对位置关系是固定不变的，双目相机的外参指两个相机间的平移和旋转关系。

1.3 Hough变换聚类分组并筛选“格网点”

兴趣区二值化后，兴趣区中的像素被分为两类，白色像素和黑色像素，其中白色像素是笔者感兴趣的潜在网格点，这些白色像素中可能有噪声点，可能有非格网点，但大部分属于格网点。通过Hough变换将格网点筛选出来，并根据Hough变换到极坐标下的θ值进行初步分组。

笛卡儿直角坐标系下的一个点对应着Hough变换极坐标下的一条曲线，笛卡儿直角坐标系下的一条直线对应着Hough变换极坐标下的一个点[10-12]。笛卡儿直角坐标系下的点坐标(x,y)与Hough变换极坐标下的点(r,θ)的转换关系[10]如下

r=xcosθ+ysinθ(θ∈[0,2π))

(1)

式中，r表示笛卡儿直角坐标系下，直线到原点的距离(垂线段在一、四象限时值为正，垂线段在二、三象限时值为负)；θ表示x轴正方向与直线到原点垂线间的夹角(图4)。

图4 Hough变换Fig.4 The schematic diagram of Hough transformation

对极坐标下的θ值在[0,2π)区间按某个设定步长采样，则笛卡儿直角坐标系下的每个潜在格网点都对应极坐标下的一条正弦或余弦曲线上的离散点。如图5所示，对笛卡儿直角坐标系下的5个点进行Hough变换，转换到极坐标下，相同的颜色代表同一个点的Hough变换。

如图5所示，步长为d，在θ=nd(n=0，1，…，[2π/d])处r轴方向上形成了一个个“珠串”，同一个“珠串”上的“珠子”代表着该“珠子”笛卡儿坐标系下的对应点所在直线的斜率是一样的。对每一个“珠串”按照以下步骤聚类[13-15]。

图5 5个点Hough变换 Fig.5 The schematic diagram of 5 points ' Hough transformation

(1)将“珠串”其中一个“珠子”作为种子点，同一“珠串”中其他“珠子”依次与种子点求r轴方向上的差值。当差值小于某一阈值时，该“珠子”与种子点归为一类，并计算该类的中心点。

(2)再次依次计算该“珠串”上未归类的“珠子”与该类新中心点的差值，差值小于某一阈值的“珠子”并入同一类。

(3)重复步骤(1)—(2)直至没有新的“珠子”并入。

(4)在未被归类的“珠子”中选择新的种子点，重复步骤(1)—(3)，直至将所有“珠子”都分类完毕。

按照以上方法完成[2π/d]+1个“珠串”的聚类，选择类别数最少的“珠串”，这个“珠串”的θ值对应的即为该影像中反映出的其中一个方向的格网线。删除该“珠串”中数量小于阈值的类别，这些少量的“珠子”可视为噪声。

1.4 合并“格网点”初分组获取最佳分组

当格网线在影像中的宽度大于1个像素时，需要将同一格网线的点合并为一类，步骤如下。

(1)以1.3节中选择“珠串”的其中一类为基准，计算其他类中心与该类中心的差值。

(2)选择与基准类差值最小且差值小于某一阈值(与直线宽度和直线斜率相关)的两类合并。

(3)重复步骤(1)—(2)完成该“珠串”上所有类的合并。

(4)将“珠串”的“珠子”在笛卡儿坐标系下的对应点，按照“珠子”的分类而分类。

1.5 最小二乘法拟合“格网线”

经过以上步骤后，所有白色像素被筛选出格网线的点，并按照所在格网线分了组。分别对每一组的格网点通过最小二乘的方法拟合直线[16-18]。具体步骤如下。

(1)通过太阳能电池板的膨胀系数将提取的格网点(x,y)恢复到膨胀前的坐标(x′,y′)[19-20]。

解算以上方程组

式中，下标i表示该格网线上的第i个格网点，该格网线上总共有n个格网点。

1.6 线参数解算双目相机外参

因为玉兔2导航相机获取的单张影像仅对格网线中某一方向的格网线展现明显，所以想获取横竖格网线交点的像点坐标，利用张正友棋盘标定法进行相机标定的方法不可行。

假设电池板格网大小是m×n(已知值)，误差方程是以格网线的直线参数建立像方与物方的联系：在物方，以选区内第1条格网线为Y轴，则该格网线上的2个点物方坐标为(0，Y1，0)、(0，Y2，0)。根据共线条件方程可计算出这2个格网点对应的像点坐标为

(2)

则格网线斜率k0和t0为

(3)

(4)

由式(4)可推导出

(5)

由式(5)推出Zs的表达式，令

p0=t0+k0x0-y0

则

(6)

将式(6)代入式(3)，可形成由旋转欧拉角φ、ω、κ和Xs4个未知数的误差方程。

同理，根据选区内第i+1条格网线上的2个物方点(i×m，Y1，0)、(i×m，Y2，0)的直线参数ki和ti列出φ、ω、κ和Xs4个未知数的误差方程，其中ki和ti为

(7)

(8)

(9)

(10)

列出选区内所有格网线的误差方程，附加Zs不变的约束条件，最小二乘法不断迭代求解出一个导航相机外参Xs、Ys、Zs、φ、ω、κ。

按照上述方法分别解求在同一物方坐标系下的两个导航相机的外参，再根据式(11)计算导航双目相机外参(表示两个相机相对位置关系的参数，即平移和旋转参数)[21-22]

R双目R左=R右

(11)

2 试验数据处理与分析

试验分为两个部分：一是选择图3中右影像中某一区域进行格网线提取；二是假定一个相机内外参数，模拟一组平行线的物方与像方信息，通过本文外参标定方法反算出相机外参元素，并与真值比较验证。

2.1 试验1

如图6所示，框选范围为手动选择的影像区域。图7是完成1.4节步骤获取最佳格网点分组的结果，绿色为过滤掉的白色像素噪声，格网点分组结果用渐变的颜色显示。图8和图9是分别使用本文方法和直接用标准Hough变换直线提取的结果。

图6 区域选择Fig.6 The selected region

图7 潜在格网点最佳分组Fig.7 The opimal proups of the potential grid-points

图8 本文方法的提取结果Fig.8 The extraction result of this method

图9 标准Hough变换的提取结果Fig.9 The extraction results of the standard Hough transformation

由图9可知，标准Hough变换即使设置了合适的阈值，也会出现错误提取和漏提取的情况，因为它未考虑平行线组方向性，仅从统计量超过阈值的角度提取直线，所以会出现提取出横向线和双线甚至多线的问题。试验结果表明本文的提取方法比标准Hough变换提取的格网线更准确，当待提取的直线方向一致时，本文提取方法更适用。

2.2 试验2

假定相机内参：x0=640,y0=512,f=1500，相机外参：Xs=4,Ys=1,Zs=25,φ=8°,ω=4°,κ=6°，平行线间距m=1，生成Y轴平行线模拟数据，见表1。

根据表1像点坐标计算Y轴平行格网线的参数见表2。

表1 模拟数据Tab.1 The simulated data

表2 模拟影像格网线参数Tab.2 The parameters of the gird-lines by the simulated data

根据1.6节列出误差方程，使用Matlab中非线性最小二乘拟合函数lsqnonlin由3组不同初值迭代出未知数φ、ω、κ、Xs的收敛值，见表3—表5。

表3 第1组初值最小二乘迭代结果Tab.3 The iteration result of the No.1 initial values by least squares method

表4 第2组初值最小二乘迭代结果Tab.4 The iteration result of the No.2 initial values by least squares method

表5 第3组初值最小二乘迭代结果Tab.5 The iteration result of the No.3 initial values by least squares method

3组初值迭代结果显示，本文标定方法对初值依赖性不强，迭代结果较稳定。只要初值与真值差距控制在一定范围，通过最小二乘迭代的收敛值精度都能满足相机标定的要求。试验结果同时还表明，初值越准确，收敛值越准确，而与真值差距较大的初值会迭代出错误的结果。因此，在使用本文方法标定导航相机时，应以传感器机械系统推算出的双目系统中左、右相机外参为初值。

3 结 论

双目视觉三维重建时，解求双目相机的内外参数是首要步骤。文中提取平行线组的方法对一些具有明显方向性的直线组均适用，本文将Hough变换、聚类思想与最小二乘相结合的直线提取方法，较之标准的Hough变换直线提取，有以下3项优点：①本文方法通过最小二乘的方式拟合直线，而标准Hough变换通过设置步长来控制精度，所以本文方法提取的直线参数精度更高；②本文方法对于宽度大于1个像素的直线仅会提取出中心线，而标准Hough变换会提取出多条线；③本文方法不会提取出与平行线不一致方向的直线，而标准Hough变换仅根据阈值设置，从而会提取出一些错误直线。以往将Hough变换、聚类思想与最小二乘相结合的直线提取方法大多是在笛卡儿直角坐标系下的聚类[11,23]，而本文直线提取方法在极坐标下聚类，更利于斜率较一致的平行线组的提取。文中提出的基于平行线的外参标定法与传统的标定方法不同之处在于，传统标定方法的输入为点坐标[24]，本文标定方法的输入为直线参数，一组平行线只能标定与其垂直的方向Xs、Ys中的一项，所以需要横向格网与纵向格网的两组立体像对进行标定，与直接基于平行线灭点进行相机标定[25-26]的方法相比，输入参数为最小二乘拟合后的值，受干扰因素减弱，且对于平行线组特征的影像，本文标定方法能列出更多的误差方程。但本文相机标定方法的不足之处在于：①没有将相机内参纳入统一平差模型；②左、右相机单独标定。后续将进一步研究相机内、外参同时标定的方法和双目相机一步标定的方法。

综上，本文提出了巡视器着陆后导航双目相机利用太阳能电池板的成像对双目相机外参再次标定的一种方法，并通过试验证明方法可行有效。图10是使用本文标定方法解算的外参进行月面地形重建的效果图，该效果图显示了以月球车为圆心，半径10 m范围内的月面地形，从图中可清楚地看出在月球车周围遍布着大大小小的陨石坑。当陨石坑或石块过大时，为保障月球车安全前行，月球车会被规划绕道而行。

图10 月面地形重建效果Fig.10 The scene graph of lunar terrain reconstruction