一种基于AR的配电柜辅助检修跟踪注册方法

马琦鑫，顾桂梅

（兰州交通大学自动化与电气工程学院，兰州 730070）

电气柜是电力系统中不可或缺的重要设备，一旦出现问题就会对供电系统的稳定运行产生影响，然而，由于新设备种类繁多、结构复杂，且不同的检修人员存在个体差异，因此，在突发故障发生时需要用辅助检修设备为检修人员提供指导。这些辅助检修设备可以帮助检修人员更好地理解电气柜的工作原理、故障诊断，并采取有效的解决方案，以确保电力系统的平稳运行。增强现实（augment reality，简称AR）技术和远程协助技术在工业领域上的结合带来了非凡的体验，有效解决了因检修人员技能水平有限而导致的检修低效问题［1-3］。辅助检修功能提供一种电子的实时检修指导过程，可以大大提高操作者的作业精度和检修效率。这一技术在检修作业中将计算机提供的检修提示信息，通过手机、AR眼镜等各种设备实时叠加到操作员的视野上，给出即时的检修提示［4-7］。

目前辅助检修领域中的跟踪注册技术，所采用的算法一般是模板匹配和特征点检验。这2种方法在目标简单的使用情景中效果都很好，但是当在实际工程中使用时，针对配电柜、配件等较复杂的目标物件，并且存在环境因素的影响时，如光线、遮挡、尺寸改变等，对特征点的检验结果和模板与目标物件的匹配程度都会受到较大的影响，使得识别准确度并不高［8-10］。文献［11］提出一种新的尺度自适应跟踪方法，即快速判别尺度空间跟踪算法（fast discriminative scale space tracker，fDSST）。该方法将学习独立的判别相关滤波器用于平移和尺度估计，并且在学习和检测阶段利用快速傅立叶变换提升速度，显著提高了跟踪性能，与判别式尺度空间跟踪算法（discriminative scale space tracker，DSST）相比速度提高了2倍。文献［12］基于相关滤波器（correlation filter，CF）的跟踪器提出了一个通用框架，该框架以较低的计算成本将上下文纳入过滤器训练阶段，提高了在目标快速运动或发生形变等环境干扰情况下的跟踪性能。

为了解决实际跟踪注册过程中的问题，本文采用了以下解决方案：Staple算法使用基于颜色特征的模型提取目标特征，添加二值掩码以避免模型受背景信息的干扰；当目标跟踪失败时，采用卡尔曼滤波器估计物体位置，然后使用改进的ORB 算法进行注册，包括使用Hessian矩阵和灰度质心法提供特征点信息、使用汉明距离匹配特征点、使用渐进式采样一致性算法（progressive sample consensus，PROSAC）去除错误匹配以提高匹配准确度；最后使用三维注册矩阵完成注册。

1 目标跟踪技术

Staple算法把方向梯度直方图（histogram of oriented gradients，HOG）特征和颜色直方图特征融合作为对目标物体的特征描述。颜色特征可以有效地解决目标物体形变和运动时模糊的情况，但对颜色变化非常敏感，特别是在光照强度不同的背景下，会导致追踪性能的下降。HOG 特征能够帮助解决在光照变化下的目标追踪问题，将它和颜色直方图特征融合能够取长补短，与只采用灰度特征的跟踪方法相比在准确度上提高20%以上，且跟踪效率没有重大损失。Staple算法采用了比较粗略的搜索策略，把搜寻范围限定为很小部分，再用主成分分析法（principal component analysis，PCA）对数据范围进行缩小，并对尺度滤波器进行加速。Staple算法的核心思想为：

式中：α为融合系数；f为反馈积分；ftmpl为相关滤波器通过HOG特征追踪目标所获得的反馈值，fhist为由颜色直方图得出的反馈值，二者相互独立。Staple算法将2个积分权重求和，以得出最终的反馈值。

2 改进的跟踪注册方法及过程

通过本文方法实现增强现实跟踪注册的过程如下：首先，利用基于空间可靠性的二值掩模增强Staple颜色特征中的目标信息。掩膜是根据目标区域像素的可靠性来计算的，可以在充分保留目标信息的同时尽可能避免背景信息对模型的污染，提高算法在复杂场景下的跟踪精度。其次，当目标跟踪失败时，用之前Staple算法的搜索框参数结合卡尔曼滤波器共同完成对目标位置的预测，以避免对一整帧画面的遍历搜索，从而降低背景对相似物体的影响，并增强目标的精度和更快的跟踪速度。接着，使用经过改进的ORB算法对待注册的目标区域进行特征提取、匹配和误匹配点剔除［13］。最后，通过求解位姿矩阵，实现虚拟物体与现实世界的三维注册［14］。图1给出了采用融合Kalman 滤波改进的Staple跟踪注册算法整体流程图。

图1 算法整体流程图Fig.1 Overall flow chart of the algorithm

2.1 改进的Staple目标跟踪算法

2.1.1 基于HOG 特征的相关滤波器

假设采样生成某个d维的特征信息，对于其中一个样本f，实际输出和预期输出之间的最小误差可以用作约束条件来构造训练方程，以获得滤波模型h。训练方程如式（2）所示。

其中：g为一个二维高斯函数，用于确保当目标处于中心位置时，预期输出为1；为对应第l维滤波器的系数；* 为循环相关操作；λtmp为正则化系数，用于防止模型过度拟合。经傅里叶转换后，最小化式（2），并将计算过程映射到频域，得到滤波器的最优解为：

其中：G和F表示相应参数的离散傅里叶变换为G的复共轭为F的复共轭。滤波器模型通过线性加权进行更新。假设在第t帧中新获得的目标位置训练的模型为Ht，其分子和分母分别为和Bt，则分子与分母的更新策略如下：

其中：η为线性更新期间的学习速率，是一个常数；和Bt－1分别为前一帧位置滤波器的分子和分母。在使用滤波器对目标进行跟踪时，经式（6）可以得到直方图特征Z的目标位置响应yt，然后利用最大化的响应分数来判断下一帧目标的方位和大小。

利用计算响应图中最大值的方法，分别形成了2个独立的位置滤波器和尺寸滤波器，用来测量目标的位置和大小。

2.1.2 基于颜色直方图特征的贝叶斯分类器

假设从目标区域O和背景区域B中分别提取直方图H（O）和H（B），ψ［u］为可用于建立映射关系的特征变换，βhistψ［u］为使用滤波器模型βhist将像素值u映射到直方柱的序列号。利用线性回归构建检测区域内每个像素与回归值的关系，使属于背景区域像素的期望回归值为0，属于目标区域像素的期望回归值为1。训练方程可以用式（7）表示。

其中：β为模型，βj为直方图的第j列。式（7）可以简化为式（8），式（9）为式（8）方程的解。

其中：ρj（O）＝Nj（O）／|O|为区域O中第j列像素个数与该区域所有像素个数之比，为待检测区域的各个像素概率。模型的更新方法仍采用线性加权方法，设η为学习速率，则更新方法可以用式（10）表示。

至此，即可实现目标和背景直方图更新估计的贝叶斯分类器。

2.1.3 图像掩膜

Staple算法可以获得目标和背景的颜色直方图，然后通过统计特征进行建模和分析，但是，这种特征提取方法对目标信息的依赖程度较高。原算法使用矩形框架给出目标容易引入大量背景信息，在一定程度上削弱了模型的辨别能力。本文提出在颜色特征提取前使用掩码过滤掉矩形框中目标的关键信息。

对于检测区域中的某个位置m，假设x代表其像素值，y为其目标模型，则m相对于目标O的可靠度可由式（11）计算。

式中：p（y|m∈O，bx）为根据式（9）中的模型计算得到的目标在当前位置的置信度；p（bx|m∈O）为空间先验概率，本文使用Epanechnikov核函数，即p（bx|m∈O）＝1－（r／σ）2；p（m∈O）为目标区域的先验概率，即目标区域的面积与背景区域的面积之比。在一个二进制掩码中，每个像素都可以表示为一个二进制位，其中：0表示背景，1表示前景。二进制掩码中1的面积取决于像素的空间可靠性。根据贝叶斯公式P（A|B）＝P（B|A）P（A）／P（B），可以得到式（12）。

首先，利用式（12）计算每个像素在矩形框区域内的位置；然后，设置一个阈值将结果截断，就可以得到可靠的目标区域；最后，利用形态滤波运算去除较小的干扰区域，即可得到目标的最终掩码。

2.1.4 位置预测

通过线性加权的融合方式，将上述2种滤波器模型的响应图加权融合，得到最终的响应图，如式（1）所示。目标的预测位置在总响应图的极值处。尺度滤波器得到目标的预测位置后，以这个位置为中心，截取不同尺度的样本，形成尺度金字塔。设置目标图像块的面积为M×N，an为尺度比例，则尺度选择原则为：

其中：n的取值范围为［－（s－1）／2，（s－1）／2］。

2.1.5 遮挡检测

当被跟踪物体存在被遮挡时，会发生模型更新错误，从而造成跟踪漂移。为处理这一现象，常采用峰值旁瓣比（peak to sidelobe ratio，PSR）来检测目标受到周围物体遮挡等环境条件干扰的情况。PSR值越高，则表示待测物体预测区域的置信度越高。PSR 计算公式如式（14）所示。

其中：ymax为响应图的峰值，τs为响应图的均值，ξs为响应图的标准差。

PSR 值越高，说明相似水平越高，追踪的结果也越准确。文献［15］实验结果表明：当PSR 值超过8时，追踪目标比较稳定；当PSR 值小于5时，被认为跟踪目标已经失败。将图像前后2帧之间相似性的权重系数θ设为θ＝PPSR。权重系数θ越大，说明前后2帧确定的目标越相似，被遮挡的概率也就越小，在实验中设θ小于7时跟踪失败。通过将相似性权重用作模型更新，可以使算法对目标的变化和遮挡等情况具有更强的适应性和鲁棒性，从而提高跟踪的准确性和可靠性。传统的目标跟踪检测大多是通过全图遍历搜索，使得跟踪的实时性很差。当目标跟踪失败时，用目标跟踪失败前帧输出的目标框参数初始化卡尔曼滤波器，预测当前帧中目标的位置，并与当前帧的实际目标位置相比较，通过卡尔曼系数对位置进行修正，确定当前帧的目标跟踪位置。这样，通过引入卡尔曼滤波器减少了大量无意义的搜索窗口和背景中相似物体的干扰。

2.2 改进的ORB算法

传统的ORB 算法无法解决尺度不变性、固定的阈值选择、误提取和误匹配等问题，达不到对目标图像特征点实现准确地提取和匹配的要求。为了解决这些问题，提出了一种改进的ORB 算法。首先，利用高斯滤波模板获取图像各尺度下的Hessian矩阵特征值；其次，在3×3×3空间区域中选择最优特征点，并将灰度质心给出的方向信息附加到二元描述符字符串上；最后，利用PROSAC 算法消除误匹配，从而找到正确匹配比例最高的点集。

2.2.1 特征点检测

改进的ORB 算法使用Hessian矩阵检测特征点，使用行列式值表示像素周围的变化，选择行列式值最大和最小的像素作为候选特征点。相比传统ORB算法，改进后的算法在具有丰富图像纹理的区域中提取的特征点数量不会显著增多，从而避免了特征点匹配区域过于密集、匹配精度降低的问题。在图像K中随机选取m＝（x，y）处Hessian矩阵的α场，定义为式（15）。

其中：Kxx（m，α）、Kxy（m，α）、Kyy（m，α）为高斯二阶偏导数与图像K在点m处的卷积值。为了加快特征点的检测，使用平方滤波器和积分图像来计算图像的尺度空间，并且在不同的坐标方向上使用不同的权值。然后通过detH＝DxxDyy－（0.9Dxy）2得到Hessian矩阵的近似值，其中：Dxx、Dyy、Dxy为坐标方向上的平方滤波结果，0.9为通过大量实验得到的经验参数。

在获得不同尺度的特征点后，采用灰度质心法计算其方向信息。设S＝（x，y）是图像K上的一个特征点，其邻域矩定义为图像K的0阶矩和1阶矩因子分别为和邻域质心表达式如式（16）所示。

S到邻域质心的矢量定义为D，S到（M01，M10）的方位角函数θ＝arctan（M01，M10）。

2.2.2 特征点描述

ORB算法中使用二进制的鲁棒独立元特征（binary robust independent elementary features，BRIEF）描述子对提取的特征点进行阐述。首先，以特征点P为圆心，以r为半径画圆；其次，在邻域中随机选取n个像素对；然后，利用式（17）计算所有点对的T值。

其中：IA为点A的灰度；IB为点B的灰度值；P（A，B）为像素对；T值是根据点A和点B的灰度值计算出来的一个二进制编码，用于描述点A和点B之间的相对位置关系。P的特征描述符是将n个点对的T值组合在一起，得到长度为n的二进制字符串，如式（18）所示。在实际应用中，通常BRIEF 算法中点对选为256个，每个特征点生成256位的二进制码。

式中：τ为灰度差的二值化函数。

为了更好地解决由于图像旋转导致的错误匹配问题，提出了结合特征点的主方向θ的解决方案。假设有n对位置信息，其坐标为（xj，yj），构造2×n矩阵，如式（19）所示。

首先，M通过Mθ＝RθM成为一个有向矩阵，其中Rθ＝然后，生成具有方向的二元描述串：

生成不同尺度特征点的二值描述串后，汉明距离大于阈值的点对将被粗略地识别为匹配成功的点。

2.2.3 特征点匹配

由于图像特征点描述符是一个二进制字符串，因此只需要计算2个特征点描述符之间的汉明距离就可以判断它们之间的相似度。在实际的计算环境下，这一运算能够通过非常简单的按位“异或”实现。使用以上方法获取的匹配特征，通常会存在许多误匹配的点对。为了提高匹配精度，采用基于改进ORB特征点的渐进式均匀采样法PROSAC算法进行改进，以减少错误匹配数量。PROSAC 算法是在原有随机抽样一致性算法（random sample consensus，RANSAC）上的一种优化，该算法从整个集合中均匀地采样，并且从最佳对应点的递增集合中采样，以限制特征点的数量。它具有计算量小、运算速度快的优点。受到信噪比、视角改变等各种因素的共同作用，在匹配的特征点中必然会产生不匹配点。这些不匹配点可以通过PROSAC算法加以去除，并对匹配的特征点再加以纯化。去除匹配点的具体流程如下：

1）根据特征描述的距离，将特征点按降序排列。

2）选取与特征点相对应的基本矩阵，计算相应的极限距离平方和。若极限距离平方和小于阈值F，则可以判定为是所需要的匹配点对。设v和b表示一对匹配的点，如果匹配点对不是错误匹配点，那么函数就存在，则有：

其中：F为基本矩阵。

3）迭代流程1）和2），直到迭代次数达到设定值的上限1 000次。

2.3 三维注册

在对实际目标进行三维追踪时，需要将实际场景中的目标与虚拟模型进行融合，以便在虚拟场景中呈现出实际目标的运动轨迹和状态。为了将相机拍摄的图像与虚拟模型进行融合，首先需要采集相机的内部参数和外部参数矩阵，包括相机的焦距、主点坐标、畸变系数等；然后利用这些参数计算出相机的三维注册矩阵，将相机拍摄的二维图像转换为三维坐标；最后将目标的三维注册与虚拟模型的三维坐标进行匹配和融合，实现对目标的三维注册和追踪。坐标变换过程如下：

其中：（x1，y1，1）T为屏幕坐标系，（Xc，Yc，Zc，1）T为相机坐标系，h为比例因子，（Xm，Ym，Zm，1）T为目标图像坐标系，矩阵C为相机内部参数矩阵，Tm为相机外部参数矩阵。内部参数矩阵是通过相机预先校准获得的，而外部参数矩阵是未知的。如果AR 系统画面没有出现需要注册的图片，需要进行模板的特征匹配，具体步骤如下：

1）采集现实世界中的图像或视频，并获取其相机参数；

2）在虚拟世界中创建一个3D 模型或场景，并设置其相机参数；

3）从采集到的现实世界图像中提取特征点；

4）对虚拟世界中的3D 模型或场景进行特征点提取；

5）根据提取的特征点，计算参考物体或标记的位置和姿态信息；

6）将计算得到的位置和姿态信息与虚拟模型进行匹配，实现虚实结合；

7）实时渲染虚拟模型，并将其叠加到真实场景中。

增强现实三维注册实现过程如图2所示［16］。

图2 增强现实的三维注册流程Fig.2 3D registration process of the augmented reality

2.4 跟踪注册实现步骤

所提出的基于特征互补算法和卡尔曼滤波融合算法的步骤如下：

1）给定视频序列的第1帧，创建初始帧的相关滤波模型h和颜色直方图分类器模型β；

2）在第t帧处采集候选样本，提取HOG 特征Z，计算最大响应ftmpl（x）；

3）添加二值掩码以减少背景等干扰因素，通过颜色直方图模型β，计算特征响应fhist（x）；

4）使用式（1）对最大响应值ftmpl（x）和特征响应值fhist（x）进行响应融合，由响应图f（x）得到对应区域，并定义为新的目标位置（x，y）；

5）通过响应图的目标分数判断是否发生遮挡，若f（x）≤τ，则引入卡尔曼滤波器，重新搜索到目标后，再进行位置更新；

6）滤波器模型h通过线性加权进行更新，颜色直方图模型β的更新方法也采用线性加权的方法；

7）跟踪完成后，使用改进的ORB 算法对待注册区域进行特征点检测，确定需要注册的目标区域；

8）完成特征点检测后，进行特征点匹配和误匹配点剔除，计算三维注册矩阵，最终实现对真实世界与虚拟物体的叠加。

3 实验结果及分析

3.1 目标跟踪结果及分析

实验所用的硬件环境为：Intel（R）Core（TM）i5-9300HF CPU ＠2.40 GHz，16 G 内存。仿真环境为：Windows10 操作系统，Matlab2018a，VS2019，Opencv3.4.5。正则化系数为0.001，HOG 特征相关滤波器学习率为0.01，颜色直方图分类器的学习率为0.04，其他参数与Staple算法一致。

为了验证本文方法跟踪目标的有效性，分别将核相关滤波器（kernelized correlation filter，KCF）算法、Staple算法、本文方法对视觉跟踪基准数据集OTB-2015进行跟踪，采用一次通过评估（one-pass evaluation，OPE）方法的精确度图进行定量分析。3种算法在基准数据集上的精确度图见图3。选取一段本文制作的有关电气柜目标跟踪的实验数据集（见图4）进行定性分析，可知：总帧数达322 帧，视频中存在场景复杂、尺度多变、异物遮挡等复杂的环境因素。图4给出了空气开关的跟踪结果。

图3 3种跟踪算法的OPE精确度曲线图Fig.3 OPE accuracy curves of three tracking algorithms

图4 KCF、Staple和本文算法部分视频帧跟踪结果对比Fig.4 Comparison of video frame tracking results of KCF，Staple and the algorithm in this paper

从图3可以看出：本文改进Staple算法的精确度为0.816，Staple算法的精确度为0.773，KCF 算法的精确度为0.694，改进的Staple跟踪算法相比原始算法在对目标跟踪的精确度上提高了5.6%，验证了改进算法的有效性。图4中的跟踪数据依次为第10、88、146、219、258、300帧。在第10帧中可以看出，开始时背景干扰很小且无遮挡的情形下，所选的3种方法均可以追踪到目标；在第88帧中，开始时存在背景干扰且存在小部分遮挡的情形，Staple算法与KCF算法的追踪窗口分散，无法全部追踪到目标；在第146 帧中存在遮挡的情形下，使用KCF算法跟踪会发生跟踪漂移，已经无法正常跟踪目标，用Staple算法虽然也能够追踪到目标，但是被导线挡住，导致目标显示不完整；在第219帧中，KCF算法还是无法正常跟踪目标，Staple算法由于受到导线遮挡出现跟踪丢失的情况；在第258、300帧中，KCF算法和Staple算法由于背景和遮挡的干扰已经无法正常跟踪，全程下来只有本文算法能够正常跟踪，鲁棒性好。改进Staple算法和原始Staple算法在基准数据集上跟踪目标的平均运行速度分别为72.2 帧／s和45.5帧／s，满足目标跟踪实时性的要求。

3.2 特征匹配结果及分析

为了验证特征匹配结果，本文选择具备尺寸改变、角度变化等特征的数据进行特征匹配。选择自适应和可扩展的关键点检测与描述算法（accelerated kernels for accelerated zeta features，AKAZE）、快速可旋转角度不变特征检测算法（binary robust invariant scalable keypoints，BRISK）、ORB与本文方法进行对比。部分结果如图5所示。

图5为拍摄的有关电气柜图片，选取其中具有显著尺寸变化的场景作为数据集，图像中的特征匹配点用线条表示。从图5中可以看出，AKAZE 算法、BRISK 算法和ORB 算法在暴力搜索算法（brute force，BF）下都能够检测到特征点，其中：AKAZE算法和BRISK 算法会出现一些误匹配点，ORB算法误匹配点少，但是检测到的特征点数量也较少，只有本文改进的ORB 算法对特征点的匹配更为精确。表1为4种算法的特征点检测个数及误匹配点个数，可以看到本文算法匹配到的特征点最多且误匹配数最少。以上4种算法特征点匹配的速率见图6。从图6可以看出：ORB算法运行最快，平均在80 ms左右；然后是本文算法，平均在120 ms左右；而AKAZE算法和BRISK 算法运行时间远大于本文算法的运行时间。图7为算法匹配的准确率对比，可以看出：本文改进的ORB 算法在准确率上均高于其他3种传统算法。综上所述，本文改进的ORB算法运行时间较快，匹配精度较高，能够满足对增强现实三维注册系统的需求。

表1 特征点匹配算法比较Tab.1 Comparison of feature point matching algorithms

图6 算法运行时间对比Fig.6 Comparison of algorithm running time

图7 算法准确率对比Fig.7 Comparison of algorithm accuracy

3.3 三维注册结果及分析

由于加速稳健特征（speeded-up robust features，SURF）算法实质上是对尺度不变特征变换（scale-invariant feature transform，SIFT）算法进行的改进，该算法在保持精度的前提下提升了匹配速度，在同类特征匹配算法中算是优秀代表，所以选择SURF算法与本文算法进行比较。在进行实时三维跟踪注册时，分别截取目标对象在正面注册，旋转一定角度、一定视角和目标遮挡4种不同场景下的注册结果，如图8、图9所示。

图8 SURF算法的三维注册结果Fig.8 SURF algorithm 3D registration results

图9 改进ORB算法的三维注册结果Fig.9 3D registration results of the improved ORB algorithm

通过比较图8和图9可以看出：在目标正面和旋转一定角度的情况下，SURF 算法和本文算法都能够正常注册，而当目标被遮挡后，SURF算法无法将虚拟物体叠加到待注册区域，注册失败。综上所述，本文方法能够满足实时三维跟踪注册需求，且在目标发生视角改变或者被异物遮挡时均能正常工作。

4 结论

本文为了解决AR 辅助检修系统中的目标跟踪和注册精确度低的问题，提出了改进Staple跟踪算法和改进ORB 增强现实注册算法。改进的Staple算法采用图像掩膜和卡尔曼滤波器提高了目标跟踪的准确性，改进的特征点提取和误匹配点剔除的方法提高了注册的精度。改进后的ORB 算法能够在有角度改变和异物遮挡等复杂环境下对待注册区域进行精准的虚拟模型叠加。从标准数据集OTB-2015和开关柜视频测试结果可以看出：改进算法的OPE精确度比Staple算法提高了5.6%，速度提升了约2倍。使用本文方法具有更好的跟踪注册效率，能够满足AR 辅助检修系统实现跟踪注册的实时性、准确性。实验中发现，若出现长时间的跟踪注册，会受到场景、背景、周围物体等外界因素的干扰，从而降低跟踪注册的准确度和稳定性。为了进一步提高长时间跟踪注册的准确度和稳定性，需要对算法增加特征的多样性或者结合上下文信息来解决。