基于机器视觉技术的体育网球错误技术动作识别研究

张伟

（安徽机电职业技术学院，安徽 芜湖 241002）

为提升个人身体健康，人们逐步将更多的时间与精力投入到体育锻炼之中[1]。运行模式也逐步由单一的、无目的的向多元化以及科学化的形式转变。网球作为一项非常大众化的运动模式，对抗性与趣味性均较强，对技术要求较高，因此需要专业的指导和训练，但是这部分费用超出了一部分人的承受能力，还需要专门预约时间，导致市民从事这项运动项目的可行性下降[2]。为解决这一问题，现今市场上涌现了许多运动软件，人们可以利用该软件观看教学视频，受到很多运动员和业余爱好者的欢迎。然而，这些软件只能机械地显示人体运动行为，交互性差，且不能对网球错误动作进行及时纠正，导致学习效果下降[3]。

到目前为止，错误动作识别领域的研究已经取得了一定的进展，例如林水强等[4]提出了姿势序列有限状态法来提高用户对自然行为的识别的通用性和效率，从而建立肢体节点坐标系统并且以用户作为出发点，在对用户的行为肢体节点数作描述的时候，不再是设备空间，而变成了用户的空间。经试验证明，这种方法能够很好地进行扩展，而且适用性也强，能满足体感交互应用的需要，但是识别精准率却很低；石祥滨等[5]在人体运动视频序列聚类中采用了K均值聚类算法，以此提高运动识别的实用性和准确性，降低计算机在计算过程中的复杂程度，通过从聚类数据中提取人体动作视频序列的关键帧，及其具有的两个特征：关键帧中关节点位置和人体各部位间的骨架夹角，通过SVM分类器来对动作序列实现分类等，经实验结果证明，其识别精准率不是很高。

基于以上研究背景，本文将机器视觉技术应用到了体育网球错误技术动作识别中，以期提高体育网球错误技术动作识别能力。

1 体育网球错误技术动作识别方法设计

1.1 提取体育网球错误技术动作特征

根据对人体结构的认识，人体可分为五个部分，也就是躯干、左臂、右臂、左腿、右腿，躯干为支撑人体的重要部分[6]。人体有些腰部的关节点能够体现其运动特征的信息，而手脚的运动信息特征是由该部位的四肢关节点表现出来的。人体五大部分的划分结果如图1所示。

图1 人体五大部分的划分结果

通过人体结构的划分，可以用这五个部分的组合来代表人体的一些基本动作，所以在分类方面采用分层策略[7]。第一个层次：要把五个相关组合模式的动作归纳为一大类。例如，只有两个手臂的动作是第二部分和第三部分的结合，这是粗略动作分类后的结果。第二层次：对同一组合方式的动作进行重新分类，确定动作的详细分类。从人体的17个关节角来验证二维平面上的投影所形成的关节角特征向量，并以此作为人体运动的第一个粗分类特征。按照运动学的原理来对人体相同组合方式的特征进行提取[8]。一个网球运动员完整的行动可以分为主要行动和辅助行动。主动作反映运动模式的整体状态，辅助动作反映运动模式的局部状态。只有结合主辅动作的特点，才能更准确地表达这个动作。对于人体的躯干、左臂、右臂、左腿、右腿等五大部分，分别建立了其在三维空间坐标内的肢体向量，表示为

人体的运动序列是连续的，并随时间而变化。节角发生改变后会就产生角速度值。主动关节角的肢体向量和角速度则是人体躯干和肢体的整体协同运动的表现，通过人体肢体和躯干的弯曲来表现关节点间距离的变化。人体也从左视图方向来进行YOZ侧平面的投影。其网球运动员的五个部分到关节点的距离为

其中，dAB表示人体肩膀的宽度；表示人体五大部分中关节间欧式距离的均值。

根据人体五大部分的划分结果，建立了人体的躯干、左臂、右臂、左腿、右腿在三维空间坐标内的肢体向量，进而利用人体五部分骨骼关节之间的距离，提取了体育网球错误技术动作特征。

1.2 基于机器视觉技术的错误技术动作跟踪和调整

在体育网球教学视频或是比赛的实况录像中，摄像机的位置是动态的。所以，在体育网球比赛录像中非静止画面较多，由于摄影机时刻是移动的，所以不能很好地反映运动员的信息。因此需要利用机器视觉技术跟踪运动目标来获取运动员所活动的领域，并在这个范围内来调整运动员的图像，来抵消外部因素的影响[10]。

经过如此处理，能够实现对于目标跟踪图像序列的调整。调整后的图像序列只包括了运动员的四肢运动和因球拍所产生的动作，而且不能反映原始图像中摄影机运动情况[12]。

通过跟踪体育网球运动目标，获取网球运动员的活动区域，通过计算体育网球错误技术动作识别区域的质心坐标，生成体育网球错误技术动作跟踪图像，实现体育网球错误技术动作的跟踪与调整。

1.3 设计体育网球错误技术动作识别流程

在体育网球错误技术动作的基础上，通过计算体育网球错误技术动作描述符，来设计体育网球错误技术动作识别流程。

机器视觉技术是以光流特征为基础的，通过每个像素的时间位移来建立光流信息集，这就要求光流具有很高的精确度[13]。为了很好地将运动视频的光流矢量变成矢量场，继而形成可移动的空间分布关系，特别是需要对光流场进行分析。因为光流在跟踪图像的时候只能反映网球运动员前景图像中的运动信息，所以跟踪图像中的背景则会对光流的计算产生影响。所以势必先要清理好背景[14]。不但要考虑背景颜色的均匀性，而且还要在高斯混合模型的基础上，对区域的生长算法进行处理后，得到网球运动员全局前景图像。以运动员为中心的背景色消除如图2所示。

图2 以运动员为中心的背景色消除

根据摄像机的清晰度，用户可以手动调整体育网球错误技术动作图像序列，继而估计光场的长度。首先，根据摄像机的闪光灯和强度的改变程度，来对体育网球错误技术动作图像的亮度进行实时跟踪，这会使得光流计算结果出现错误。所以要采用图像差来区分亮度，消除因亮度变化而产生的影响。其次分析生物视觉系统的理论可知，机器视觉细胞对物体的边缘运动很是敏感，在方向上和速度中，对于因图像的不同而形成的不同光流，以此来反映出人类的视觉系统是如何影响物流运动的。在差分图像的基础上，通过Horn-Schunck算法来估算网球运动员是如何跟踪Horn-Schunck光流场的，具体如下：

在调整体育网球错误技术动作图像中的运动员位置与身体的相对位移具有相关性，这种位移存在于相应的图像区域中[15]。对于网球运动员不同的姿态，光流场的空间分布是不同的。

综上所述，在机器视觉技术的基础上，提取了体育网球错误技术动作特征，通过跟踪和调整体育网球错误技术动作，计算了体育网球错误技术动作描述符，实现了体育网球错误技术动作的识别。

2 仿真分析

为了验证基于机器视觉技术的体育网球错误技术动作识别方法的性能，采用了2016年奥运会网球比赛、2017年中国大师赛、苏迪曼杯以及中国公开赛中采集的运动员错误技术动作数据。体育网球错误技术动作视频采用MPEG-1的压缩格式进行存储，每一段视频帧的大小为352*288。以上4场比赛中网球错误技术动作的类型都是在手动模式下进行标记的。实验数据如表1所示。

表1 实验数据

为了对基于机器视觉技术的体育网球错误技术动作识别方法进行定量评价，引入召回率指标和精确率指标来确定体育网球错误技术动作中每一个挥拍动作的识别能力。召回率指标和精准率指标的计算方法为

针对表1中的实验数据，采用3次交叉验证策略组成实验的训练集和测试集，以体育网球错误技术动作次数为自变量，分别引入文献[4]方法和文献[5]体方法作为对比，经过3次迭代之后，测试了3种动作识别方法的召回率，结果如图3所示。从图3的结果可以看出，3种动作识别方法在体育网球错误技术动作次数低于250时，动作识别的召回率基本相同，当动作超过250次时，本文方法在识别体育网球错误技术动作时，体育网球错误技术动作识别的召回率越来越高；文献[4]方法由于识别到的体育网球错误技术动作视频质量低，导致在动作次数为300时召回率出现了转折点，开始逐渐降低；而文献[5]方法由于受到摄像机移动的影响，虽然召回率呈现上升趋势，但是上升的趋势比较缓慢。因此可以得出，基于机器视觉技术的体育网球错误技术动作识别方法在体育网球错误技术动作识别的召回率测试中具有较好的性能。

图3 召回率测试结果

体育网球错误技术动作识别的精准率测试结果如图4所示。

图4 精准率测试结果

从图4的结果可以看出，随着体育网球错误技术动作次数的增加，文献[4]方法和文献[5]方法当网球运动员的运动方向发生变化时，无法进行有效区分，导致体育网球错误技术动作识别的精准率逐渐降低；而本文方法在识别体育网球错误技术动作时，识别精准率降低的趋势比较缓慢，当体育网球错误技术动作次数达到500时，动作识别的精准率也高达77%。

3 结束语

为及时校正体育网球错误技术动作，本文提出了基于机器视觉技术的体育网球错误技术动作识别方法，采用机器视觉技术提取体育网球错误技术动作的具体特征，通过跟踪和调整体育网球错误技术动作，设计体育网球错误技术动作识别流程，实现了体育网球错误技术动作的识别。实验结果显示，与其他方法相比，本文方法的识别性能更好，精准率更高。