基于图像处理和孤立词识别的机器人路径规划

张忠雨



基于图像处理和孤立词识别的机器人路径规划

张忠雨

（重庆科创职业学院，重庆 402160）

文章介绍了一种能在真实生活环境道路中操作使用的自动导向运送机器人，该机器人利用图像处理作导航，进行交通灯、斑马线的检测和车道跟踪，在图像处理失败时利用孤立词语音识别算法使人与机器人通过语言进行沟通交流指挥该机器人运送，能够可靠地作为无人驾驶运输工具，代替人类完成有害的工作。

机器人；图像处理；孤立词

一、系统简介

智能机器人是近年来发展的一项综合技术，对智能机器人的研究已成为自动化、人工智能领域的热点。路径规划问题是智能机器人研究中的主要组成部分，本文介绍了一种能在真实生活环境道路中操作使用的自动导向车辆—机器人车。该机器人被设计为一个可以检测的户外机器人，能自动跟踪车道，检测斑马线和红绿灯，并且在终点停车[1]。通过大量的图像处理进行交通灯检测、车道跟踪以及斑马线的检测。针对该机器人语音识别的要求，为使人与机器人的沟通可以通过语言进行交流，通过一个孤立词识别扬声器应用程序来手动指挥车辆[2]。在没有标准化的车道标志和交通灯道路行驶时，机器人将利用HTK工具包处理并通过语音指令进行控制[3]。

二、问题描述

1. 图像处理问题

（1）规范

①路面情况：黑焦油表面；道路的平均宽度是5-10米；沿道路具有非连续白色分隔线；一条分隔线的长度大约是1.5米；两条连续的白色分隔线之间的距离为2.5到4米；误差为20%；道路两侧不得有明确的限制；道路既有直线又有弯曲的路段。

图1 基于AGV摄像机的道路图像与斑马线图像

②斑马线：许多垂直的白线水平覆盖至少一半的黑色区域；它应该位于交通灯的底部3到5米处。

③交通灯：标准的绿色灯和红色灯；红色停止和绿色移动；这些灯是圆形的，高度从地面2到3米；装有交通灯的盒子将沿道路的宽度方向呈水平；安装红绿灯的柱子将放在路的两边。

（2）机器人所执行任务

机器人的传感器和摄像头必须能够识别分隔条、斑马线、交通灯信号，并能通过拍照捕捉到它们；能够沿着白色分隔条直线前进，或者在短时间内沿着道路上的车道行驶；能够识别斑马线（即在道路上的水平白色条）；能够跟踪交通信号（比如红灯停，绿灯亮）；人能够使用紧急停车开关来停车。

2.语音识别问题

在地面凹凸不平或者没有维护的崎岖道路上，对机器人实行手动控制，图像处理将不能更好的使用，甚至可能会失败。在这种情况下，机器人用一组语音命令来控制它的导航。在各种类型的道路、车道、交通信号下，机器人都可以独立的运行。通过基于隐马尔科夫模型的语音识别技术和HTK语音工具包的孤立词识别方式来完成此任务[4]。

三、硬件构架与图像识别

在机器人上安装了两个摄像头（CCD摄像头和网络摄像头）如下图2所示，在便携式电脑上安装一个话筒。通过CCD摄像头检测车道和斑马线，摄像头安装在同一高度，以便检测交通信号灯。CCD摄像机为模拟－数字转换器提供输入，该转换器将模拟信号转换成数字信号，然后将其发送到安装在车辆底盘上的便携式电脑上。话筒直接连接到便携式电脑上。在便携式电脑安装Matlab以及图像处理工具箱和HTK工具包。通过MATLAB对CCD和摄像头的视频进行分析和处理，话筒的输入信号由HTK工具包分析得到[5]。便携式电脑将在网络摄像头和CCD间谍摄像头的帮助下捕捉并存储图像，它将捕获的图像处理以后传送到印刷电路板中，以执行所需的操作。便携式电脑通过串行口连接到印刷电路板上，将该电路板作为伺服电机的控制器。印刷电路板通过串口接收来自便携式电脑的信号，然后电路板给出控制信号到伺服电机。伺服电机作为车辆的驱动器，并且根据控制板给出的控制信号驱动车辆。通过改变伺服驱动器的脉冲方向来改变机器人方向，通过伺服加速器控制机器人加速或减速[6]。工作系统图如下图3所示。

（3）导管相关静脉血栓 有上肢静脉血栓的典型表现：上肢发红、肿胀、有导管的部位或临近部位触痛[8]，经彩色多普勒超声诊断为上肢静脉血栓[9]。

图2 硬件构建

图3 硬件结构图

四、孤立词识别系统架构

孤立词识别系统由预处理单元、端点检测单元、特征提取单元、和识别单元构成，预处理单元通过高频预加重来平滑信号频谱，并利用窗函数把语音数据序列分成连续的信号帧。端点检测单元主要完成单词的起始帧与结束帧的检测。特征提取单元的功能是完成基于频谱的特征矢量的计算，当端点检测单元检测到当前语音信号帧为起始帧时，特征提取单元开始特征提取计算，并存储特征矢量[7]。直接利用语音帧特征矢量，作为识别模型的特征参数。声音匹配单元将完成特征观察参数与已知的语音信号模板之间的匹配计算，并选择其中匹配程度最高的语音信号模板作为识别结果[8]。

图4 孤立词识别模型

五、算法分析

处理4帧每秒的车道跟随，5帧每秒的交通灯检测和2帧每秒的斑马线。具体算法如下：

1.车道跟踪算法

（1）捕获图像；（2）修剪；（3）将图像转换为二进制图像优化图像；（4）消除噪声；（5）填洞；（6）将图像分为左区和右区两部分，检查左边车道面积与右侧的比例，如果图像左侧与图像右侧的比例> 1.25 ，则为左转。如果图像左侧与图像右侧的比例< 0.8，则为右转。其他情况直行。

2.交通灯检测算法

（1）捕获图像；（2）修剪；（3）处理像素（对角线上的5到6行）确定像素的R G B值，如果（R值＞210和G值＜175和B值＜175）将像素计数为红色，如果找到多个红色像素然后将图像转换为二进制，并通过计算当前图像与其他红绿灯捕获的二进制图像之间的系数相关性来检查它是否是圆形的（为此我们使用了8种不同的红光图像）。如果超过4个的相关系数值均大于0.250，那么确定它是红灯。

3.建立孤立语音识别模型语音库的过程

开始、停止、走、向左、向右这五个单词被8个音箱所记录，每个单词说5次。因此，总共不超过200（即：5 * 5* 8）个语音文件。8个扬声器的声音输入被用作训练系统。每8个扬声器发出5个单词作为测试数据。所有的录音都是使用Wave-Surver软件和一个高质量的话筒完成的[9]。

六、MFCC参数化

在自动语音识别技术中，融合频率感知器（MFCCs）被广泛应用于语音识别中。系统将语音波形参数化为序列声矢量[10]。将语音波形参数化到MFCC中，使用HTK工具包的HCopy工具。HCopy工具需要输入语音波形（.wav格式）和配置文件，为MFCC转换所需的参数设置。用于MFCC参数化的配置文件包含以下设置：

SOURCEFORMAT = WAV

TARGETKIND = MFCC_0_D_A

TARGETRATE = 100000.0

SAVECOMPRESSED = T

SAVEWITHCRC = T

WINDOWSIZE = 250000.0

USEHAMMING = T

PREEMCOEF = 0.97

NUMCHANS = 26

CEPLIFTER = 22

NUMCEPS = 12

目标类型是使用C0作为能量成分的MFCC，目标速率指定帧周期（HTK使用100ns的单位），输出应以压缩的形式保存，并通过CRC校验来补充[11]。快速傅立叶变换使用Hamming窗，语音信号的预加重将使用0.97的系数来执行。滤波器组有26个通道和12个MFCC系数，12个delta系数，12个加速系数生成为输出。

七、实验结果

1.图像处理部分的结果

在matlab图像处理工具箱中对捕获帧进行了处理。逐步处理图5所示的车道跟踪框架。红绿灯的相关系数值与其他交通信号灯比较的结果如表2所示。每个过程所需的时间见表1。

表1 机器人车检测时间

表2 交通灯系数值比较结果

图5 车道跟踪的帧处理

2.孤立词识别部分的结果

孤立单词的识别是由8个人完成的，然后对系统进行了5个扬声器的测试，其中有2位已知，3位不详。系统的总体准确率为91%，单词错误率为9%，详细的结果见表3。

表3 孤立词识别结果

原始波形和相应的语音指令“启动”的MFCC图如图6、7所示。

图7 预处理后语音波形输入的MFCC图

八、结论

通过图像处理和孤立词语音信号的识别技术实现了机器人小车的简单运动控制，以梅尔频率倒谱系数（MFCC）作为语音信号的特征参数序列，获得了更有效表征语音信号特征的WT-MFCC参数。能够使机器人小车在没有标准化的车道标志和交通灯信号的道路上通过图像处理和孤立词语音识别系统作为导航有效控制机器人小车自动跟踪车道，检测斑马线和红绿灯。

[1][5]衣文秀.基于图像识别技术的机器人路径规划研究与实现[J].西北民族大学学报，2015（25）.

[2][4][8]郑德忠，宋婧婧，周朝霞.孤立词语音识别系统的DSP实现[J].微计算机信息，2010（26）.

[3][6][9]Sukhminder Singh Grewal, Dinesh Kumar, “Isolated Word Recognition system for English language”[J]. International Journal of Information Technology and Knowledge Management, July-December 2010, Volume 2, No. 2, pp. 447-450.

[7][10][11]Kuldeep Kumar, R. K. Aggarwal, “hindi speech recognition system using HTK”[J].International Journal of Computing and Business Research ISSN（Online）, Volume 2 Issue 2 May 2011.

Robot Path Planning based on Image Processing and Isolated Word Recognition

ZHANG Zhong-yu

（Chongqing Creation Vocational College, Chongqing 402160, China）

This paper introduces an automatic guided transport robot which can be used on the roads in real life. The robot uses image processing as navigation, carries on traffic lights, zebra line detection and lane tracking. In the case of failure of image processing, the isolated word speech recognition algorithm is used to communicate with the robot through language. The flow commands the robot to transport, and can reliably act as a driverless vehicle to complete harmful work instead of human beings.

robot; image processing; isolated words

2018—07—23

张忠雨（1982—），女，重庆永川人，重庆科创职业学院，讲师。

TM614

A

1008—6129（2018）05—0069—05