基于OpenCV的浮空手势识别技术与电力载波技术的综合应用探究

基于OpenCV的浮空手势识别技术与电力载波技术的综合应用探究

利用OpenCV计算机视觉库在vs2013平台上设计一个基于实时摄像头的集静态手势、动态手势跟踪、动态手势识别于一体的应用。在动态运动的手势建模中，分析运动轨迹的运动序列即计算运动光流，抽取运动轨迹。最后利用隐马尔可夫模型（HMM）结合动态时间的规划法进行运动轨迹识别，更加方便快捷的控制目标。将这种由电脑做处理器的设备在体积方面受到极大的制约，无法做到便携化，小型化，在正式场合无法使用，因此我们将其集成在树莓派上，用一张卡片大小的微型电脑控制，大大增强了它的实际应用能力，降低他的成本。在此基础上加入电力载波，将其应用到只能家居的通信上，减少线路施工。

手势识别是目前实现人机交互比较先进的一种方式，可简化一部分简单控制，对于智能控制具有十分重大的意义，能最大化增加用户的体验感以及代入感。Intel为计算机视觉领域的应用开发提供的数据库方便了我们的开发与应用。目前市面上的人机交互技术大都为鼠标、笔或是数据手套，但是鼠标的交互性较差，而数据手套价格昂贵且使用不便。利用OpenCV对手势进行手势识别是降低成本、增强人机交互体验感的良好选择。

Open CV简介

OpenCV是Intel 开源计算机视觉库（open source computer vision library）的简称，它是由c函数以及少量c++ 函数构成，是实现在图像处理以及计算机视觉方面的多通用算法，主要对图像进行运动检测、追踪、分割、识别等高级处理。由于OpenCV是开放源码且代码简洁高效，大多数函数都经过汇编优化，因此我们利用Intel系列芯片即用电脑CPU作为处理器，利用OpenCV强大的图像和矩阵运算能力实现我们的手势识别及相应控制。本文程序运行环境为：Windows+VS2013+OpenCV2.4.11

树莓派简介

树莓派（英语：Raspberry Pi）是英国的树莓派基金会开发的小型电脑，其最初目的是为学校的计算机教育提供廉价的设备，但是因为它便宜的价格，信用卡般的大小和强大的性能，迅速被极客所看中，在其基础上搭建了各种平台以实现他们的创意。将OpenCV的数据库移植在树莓派上是对一种微型化的极大提升。对于物联网应用，树莓派的优势可以分为两大方面：硬件方面和软件方面。

硬件优势

在这里我们应用树莓派三代的B版来介绍其优势。树莓派设计之初是作为一台变成用个人电脑所设计的，所以有相当强大的性能。树莓派3的CPU为1.2GHz的64位4核的ARM Cortex-A53. 强大的处理器性能使得树莓派具有更强的数据处理能力，能够流畅地执行的多线程任务，从而满足用户的多种需求。树莓派提供100M网口和4个USB 2.0接口，使其能够轻松地接入数据网络，而第三代树莓派更是集成了Wi-Fi芯片和蓝牙芯片，这更为树莓派接入无线网络，搭建物联网提供了便利。作为一个物联网设备，其还提供了大量的GPIO针脚和SPI总线用于连接各式传感器和电机等并对其进行编程，提供了摄像头和TFT显示器接口，有HDMI视频接口和3.5英寸音频接口等，不一而足。此外，还有很多商家推出了扩展板为其提供更加丰富的功能。综上所述，树莓派拥有着非常强劲的性能和多种多样的接口，而其价格并不昂贵，所以完全能够胜任物联网硬件平台这一任务。

图1 HMM手势识别流程图

图2 手势识别算法效果图以及最终模型匹配

软件优势

任何平台的胜出都脱离不开软件的支持， 而树莓派最大的优势正是软件上的 。到目前为止树莓派社区中发布的操作系统版本已经达到几十种，包括Fedora，Ubuntu Mate，Windows Io T等，而作为其官方默认推荐的操作系统 Raspbian 是开源Linux操作系统的发行版Debian的分支，能够完美的将OpenCV移植安装到树莓派中，并应用OpenCV的数据库以及其软件库里的软件包。这其中自然包括对Python、Java、C等广泛应用的语言的支持，这无疑为后续的物联网软件开发提供了便利。

基于HSV色彩空间的静态手势识别与应用

HSV颜色空间是一种面向视觉感知的颜色模型，人眼的色彩知觉主要由3个要素构成：色调、饱和度、亮度。HSV有两个特点：①亮度分量与图像的彩色信息无关；②色调和饱和度分量与人感受颜色的方式紧密相连。这些优点可以更好的分割出人体和背景的区别，对摄像头的信息进行缩放，便于我们对图像进行处理。通过均值漂移滤波，消除多余的噪声信号，可以初步得出一个手势轮廓，再利用形态学滤波以及色彩宣传补偿，最后通过HSV色彩通道分离查找出一个完整的手势轮廓并进行筛选。这种方式能够更加高效的进行手势采集并与建立的模型进行匹配。利用Intel建立一个简单的的计算机数据库，能够更快捷的进行计算处理，同时搭配一个摄像头进行手势采集并通过上位机软件对电脑实现实时控制，完成用户需要的简单操作。

基于2.5轴的动态手势识别及应用

在基于颜色直方图与背景差分的运动检测中，利用差分算法对背景与目标进行实时检测更新，由于摄像头在打开的时候会有一个掩饰，这段时间内背景在不断变化，所以错误会一直累计，对结果会有比较大的影响。因此我们采用OpenCV 库中的cvAddWeighted函数进行背景更新，弥补摄像头的延时误差。在二维平面的基础上加入一个红外测距模块，进行Z半轴的运动采集，相比于现有的三维摄像头，它的计算速度得到大幅度的提升，通过手势与摄像头的距离进行缩放控制，更加便捷、迅速。

HMM 轨迹识别算法

隐马尔可夫模型是一种基于参数表示用于描述随机过程中统计特性的概率模型，同时应用手形以及运动轨迹两大特征实现动态手势识别，在轮廓跟踪过程中获得手部轮廓，同时通过轮廓质心的坐标表示手的位置获取手势的运动轨迹，则可得到动态手势的特征向量，即观察值序列；然后采用左右结构的带有4个状态的离散马尔可夫模型实现手势识别。

基于树莓派的电力载波通讯与应用

电力载波是电力系统特有的通信方式，电力载波通讯是指利用输电和供电的电力线，通过载波方式将模拟或数字信号进行高速传输的技术。两个电力载波模块 用串口发信息给模块 模块把信号穿到电力线上，另一边接受解码再串口发出去。最大特点是不需要重新架设网络，只要有电线，就能进行数据传递。电力载波能对地形以及空间的干扰降到最低，还可以节省资源，提高效益，降低辐射更环保。利用载波技术对小范围内的精确信息传输能够完美的应用到智能家居中，通过树莓派对浮空手势信号进行分析。实时控制家电的工作状态。

实验结果与分析

在实验中我们选择了十个不同的静态手势，用于实现人机交互的十种描述指令，手势作为人机交互的一种自然接口，当用户做出手势动作后，摄像头进行实时捕捉计算，控制处理器做出相应的指令，能够更大化的增强人机交互感。在二维平面的基础上加入红外测距模块，能够实现距离检测，可以识别更多的手势。用串口通信发送红外模块的数据，利用距离感控制页面的放大与缩小，增强用户的体验感，开发完整的人机界面延伸，实现更加自然的实时控制与交换。

在移植到树莓派的使用过程中，将图片进行小型化，能够实现快速的相应于应答，是实现基本的数据传输，通过电力载波进行各个设备之间的通讯，通过树莓派强大的计算能力，能够保证物联网的快速性和实时性，且可以适应多种应用场景，能够满足用户个性化的物联网需求。我们队房间内的灯光回路进行控制，能做到利用手势动作进行多个灯的选择进行与控制，多灯光的亮度，开关状态都能进行手势控制。具有较强的应用前景。

10.3969/j.issn.1001- 8972.2016.21.034