基于DSP平台的自动PTZ跟踪研究

赵志强，马志刚

（深圳职业技术学院 计算机工程学院，广东 深圳 518055）

基于DSP平台的自动PTZ跟踪研究

赵志强，马志刚

（深圳职业技术学院 计算机工程学院，广东 深圳 518055）

采用TI公司的新一代数字媒体处理器TMS320DM648，实现了无人值守下的PTZ自动跟踪．首先，对从前端设备采集的视频进行格式转换，采用基于自适应背景差分和形态学滤波的方法，获取进入警戒区域的运动目标；然后，以基于颜色分布的核密度直方图为跟踪特征，采用基于均值漂移和粒子滤波结合的方法对运动目标进行持续跟踪；最后，通过计算目标与镜头的相对位置实现球机PTZ自动控制，使目标始终处于视野的中央．实验表明，该方法跟踪运动目标较稳定，实时性较好．

自动PTZ跟踪；自适应背景差分；形态学滤波；均值漂移；粒子滤波

在安防监控应用中，Pan/Tilt/Zoom（PTZ）代表快球或者云台全方位（上下、左右）移动及镜头变倍、变焦控制．传统的PTZ是通过人工操作键盘来控制PTZ球机转动，所需工作量大，人眼长时间紧盯屏幕，很容易导致视觉疲劳，丢失重要信息．自动PTZ跟踪系统（以下简称APTZ）是融合智能视频分析和计算机视觉跟踪技术实现运动目标检测和PTZ自适应跟踪的智能视频监控系统[1，2]，APTZ可以对进入监控区域的运动目标进行全方位的自动锁定跟踪，自动控制PTZ摄像机全方位旋转，使目标始终保持在视野中央，并可根据需要对目标持续放大，获取目标丰富的细节信息．APTZ弥补了固定摄像机监控视野窄的不足，是完善的安防监控系统所必备的功能．

针对智能安防监控的需求，我们提出一种基于DSP平台下的自动PTZ跟踪方法．首先，采用自适应背景差分和形态学操作方法，对图像进行前景和背景分离，获取进入警戒区域的目标；然后，运用计算机视觉跟踪技术对入侵目标进行持续跟踪；与此同时，计算被跟踪目标与PTZ摄像机的相对位置，当目标不处于中心区域时，系统自动通过RS422/485串口将控球指令发送到球机，使目标始终处于视野的中心．

1 DSP平台简介

本系统硬件平台选择的是TI公司生产的达芬奇系列高性能DSP芯片，型号为TMS320DM648，这是一款面向多媒体数据处理的高性能定点处理器，主频可达900MHz，与上一代DSP芯片DM642相比，DM648芯片的处理性能得到了极大的提升，其采用的C64x+内核单周期处理能力提升20%，单周期执行MMAC能力倍增，EDMA带宽提升3倍，程序密度提升30%，完全兼容DM642平台的算法[3]．同时，DM648平台所使用的VICP提高了系统时钟，执行H.264编解码运算的效率更高．

系统的工作原理图如图1所示，通过视频采集芯片从球机获取原始视频，经过A/D采样和视频格式转换为系统所需的图像格式，经DSP硬件平台的一系列算法处理，连续跟踪并获取运动目标的位置信息；经过RS485串口和球机通信，获取球机的当前PTZ信息，根据球机和目标的相对位置来自动决策是否需要发送控球指令，使目标始终处于视野的中央；与此同时，压缩视频通过千兆以太网传输到客户端，在PC端解压后实时显示；OSD叠加的跟踪结果通过视频输出端口接模拟监视器显示．

图1 自动PTZ跟踪系统原理图

2 自动PTZ跟踪算法实现

本文提出的一种基于前景背景分离、粒子滤波和均值漂移跟踪结合技术的自动PTZ跟踪方法，具体算法如图2所示．首先，将当前帧图像由YUV422转换为YUV420格式，取Y分量进行前背景分离，采用形态学操作过滤图像中的噪声并闭合目标轮廓，然后采用基于粒子滤波和均值漂移结合的跟踪算法对目标进行持续跟踪，并根据目标与球机的相对位置，实现PTZ的自动控球．考虑系统的实时性，前背景分离采用计算代价小的自适应背景差分方法．

图2 自动PTZ跟踪算法

3 运动目标检测

运动目标检测是智能视频监控系统的关键技术，传统的检测方法有：背景差分法[4，5]、高斯背景法[6]和光流法[7]等，背景差分法具有计算速度快、背景学习速度快和抗干扰能力强等优点．本文采用自适应背景差分算法实现运动目标检测，具体如下：

1） 将第1帧图像I0作为背景图像B0；

2）求两帧Ii(x, y)与Ii-1(x, y )的帧间差分图像Di( x, y)，设置阈值T，计算如式（1）所示：

其中，i=1,2,3,K；Ii(x, y)为当前帧图像，Ii-1(x, y )为前一帧图像．

3）由差分图像Di( x, y)更新背景Bi( x, y)表述为：

其中，a为学习率，根据实际情况可取a=0.1~0.5．

4）将当前图像Ii( x, y)与背景图像Bi(x, y)相减即为当前帧的前景图像Fi( x, y)．

实验表明，要获得效果较好的背景图像需通过一定时间的背景学习，循环步骤2)~4)30~50次，可获得较为稳定的背景图像．阈值T可根据前景所占图像比例自适应调整, 如果所占比例超过0.2则阈值相应增加1，所占比例小于0.05则阈值自减1．

4 形态学操作

背景差分后的前景图像经过二值化后即为得到的目标区域．实际场景中，由于目标过大或者表面颜色相似导致检测出来的运动目标存在空洞或者断裂现象，同时，环境中也存在局部亮度剧变和树叶扰动等因素的干扰，导致存在噪声，因此需对二值图进行空洞填充和噪声去除．首先采用形态学闭运算进行填充，然后采用形态学闭运算和连通体滤波过滤面积较小的噪声干扰．对于存在阴影的目标，可采取简单的去阴影算法去除长阴影．为了区分跟踪的对象是人还是车，需要对场景中目标进行高度过滤，采用基于固定参照物和设置地平线的三维模型标定方法，可有效估计出场景中目标的高度．

图3所示为采用背景差分和形态学滤波方法所得到的处理效果，左上角图片为原始图像，右上角图片为背景，左下角图像为差分后的前景二值化图像，可以发现图像中存在空洞和断裂等不连续图像特征，通过形态学处理后，得到右下角图片中连续的图像特征．

图3 背景差分法和形态学滤波结果

5 目标跟踪及结果

在智能视频监控中，常用的目标跟踪方法有：卡尔曼滤波[8]、粒子滤波[9]和均值漂移[6]等．粒子滤波跟踪方法基于蒙特卡洛方法，使用粒子集来表示概率，可以适用于各种形式的状态空间模型，对非线性、非高斯系统表现出明显的优越性，也可以用于小目标的跟踪，当出现目标完全遮挡时，可以自我恢复跟踪过程．均值漂移跟踪方法采用基于密度梯度上升的非参数方式，运算量较小，更利于进行实时跟踪，但是在小目标和快速移动目标跟踪时成功率不高，并且在出现目标被完全遮挡的情况下，无法恢复自动跟踪．本文以核密度直方图为跟踪特征，将均值漂移方法与粒子滤波方法相结合，提出一种新的连续跟踪算法．

在本文的跟踪算法中，选择直方图作为特征，该特征对于目标被部分遮挡、旋转和局部形变具有较好的鲁棒性．均值漂移算法中，选取归一化的核密度直方图作为匹配特征，只与目标的颜色特征相关．假定目标图像I由n个像素组成，表示像素坐标，目标图像中心点坐标为y，直方图的级数为m，图像的半宽和半高分别为W和H，其核密度直方图公式如下：

其中，u=0,1,2,K,m ；pu(y)为直方图分量u的值；h为核函数窗宽，为迪拉克函数；Ch为归一化因子，使得

对于选定的模型和跟踪候选区域，可以通过Bhattacharyya距离来判断核密度直方图p={p(u)}u=1,2,K,m和q={q(u)}u=1,2,K,m的相似性，距离公式为：

粒子滤波[10]方法是一种顺序重要性采样法，其通过从后验概率中抽取的随机状态粒子来表达分布，t时刻的状态可用向量Xt表示，Zt表示从时刻的观测，在t时刻的后验概率密度p( Xt|Zt)可由预测和更新两步完成，其预测方程为：由

贝叶斯公式可得更新方程：

由t-1时刻概率密度函数p( Xt|Zt-1)利用重

，则t时刻的是概率密度函数为：

首先将YUV420图像转换到HSV空间，采集分量H和S的颜色直方图信息，利用目标加权核密度直方图作为前景观测信息来更新粒子的权值，粒子区域的颜色分布与目标颜色分布越接近，权值越大，反之权值越小；采用巴氏距离来度量粒子和目标区域相似性，经过重采样[9]、状态传播预测和权值更新一系列迭代实现目标位置的预测与更新．

粒子的状态量中包含了目标在垂直和水平方向上的速度估计量以及宽度、高度信息，系统可根据这些信息自动决策，计算目标与镜头的相对位置，自动控制PTZ球机使目标始终处于视野的中央，并可根据目标像素所占图像比例自适应调整镜头的倍率．

本系统在实验测试过程中采用合众达公司提供的DM648开发板作为自动PTZ跟踪服务器，以海康威视公司提供的高速智能球型摄像机为测试设备，处理视频大小为352×288（CIF）图像，PC端硬件配置为CPU：Core Dual，主频2.8GHz，内存2GB DDR3，实验中粒子数取100~150，直方图维数为16(H)×16(S)=256bin．实验表明，在场景干扰相对较少的情况下，该跟踪方法稳定有效，抗干扰能力较强，完全可以满足实时跟踪要求，且目标较小时，能及时放大，突出目标信息．跟踪效果如图4所示．

图4 跟踪结果

6 结 论

针对安防监控的需求，本文提出的一种基于DM648硬件平台下的自动PTZ跟踪方法，采用自适应背景差分和形态学滤波方法确定入侵警戒区域的运动目标，采用融合均值漂移和粒子滤波算法实现了特定场景下的目标的自动跟踪，并通过计算目标与球机的相对位置实现无人值守下的自动控制，使目标始终处于视野的中央．实践证明，采用基于颜色分布的核密度直方图为跟踪特征，既描述了图像中目标的全局颜色分布，基于核密度估计的距离度量又融入了目标像素点的空间位置信息，使得跟踪算法能适应场景的变化．该方法可靠性好，能对目标进行稳定跟踪，实时性好，在安防监控市场有较好的应用前景．

[1] Lei Zhang, Ke Xu, Shiqi Yu, etal. An Effective Approach for Active Tracking with a PTZ Camera.In: Robotics and Biomimetics (ROBIO)[C]//2010 IEEE International Conference on, 2010：1768-1773．

[2] Chu-Sing Yang, Ren-Hao Chen, Chao-Yang Lee, etal. PTZ camera based position tracking in IP-surveillance system[A]//ICST 2008. 3rd International Conference on 2008：142-146．

[3] 曾振民，王文武．图像去雾的TMS320DM648实现[J]．科技信息，2014（06）：9-18．

[4] 林佳乙，于哲舟，张健，等．基于背景差分法和帧间差分法的视频运动检测[J]．仪器仪表学报，2008，29（4）：111-114．

[5] 李毅，孙正兴，远博，等．一种改进的帧差和背景减相结合的运动检测方法[J]．中国图象图形学报，2009，14（6）：1162-1168．

[6] 钱惠敏，茅耀敏，王执铨．自动选择跟踪窗尺度的Mean-Shift算法[J]．中国图象图形学报，2007，12（2）：245-249．

[7] 张金林，万蔚，芮挺，等．基于改进的 Lucas–Kanade光流估算模型的运动目标检测[J]．微计算机信息，2010（8-2）：194-196．

[8] 何娜，张彭朋．视频监控系统中运动目标检测与跟踪研究[J]．微计算机信息，2010（8-1）：229-230．

[9] 庄严，战洪斌，王伟，等．基于加权颜色直方图和粒子滤波的彩色物体跟踪[J]．计算机工程，2006， 21（8）：868-872．

[10] 杜海涛，全春来，周翔．基于无线传感器和视频融合的室内定位技术研究[J]．计算机工程与设计，2011，32（01）：347-350．

Research on Automatic Pan/Tilt/Zoom Dome Tracking—Based On Digital Signal Processing Platform

ZHAO Zhiqiang, MA Zhigang

（School of Computer Engineering, Shenzhen Polytechnic, Shenzhen, Guangdong, 518055 China）

TI company’s new generation digital media processor TMS320DM648 is adopted to realize an automatic pan/tilt/zoom(PTZ) camera tracking in unattended condition. Firstly, the format of the video from front-end image acquisition device is conversed. Moving object entering into guarded area is acquired by the method of adaptive background subtraction and morphological filter. Then, tracking feature is selected with kernel density histogram based on color distribution. Persistent tracking of the moving object is based on mean-shift and particle filter, PTZ dome’s automatic control is realized by calculating the relative position between object and lens. The target is always kept in the center of vision. Experimental results show that the proposed method can offer a stable and spontaneous tracking of the moving object.

automatic PTZ tracking; adaptive background subtraction; morphological filter; mean-shift; particle filter

TP391.4

：A

：1672-0318（2017）01-0021-05

10.13899/j.cnki.szptxb.2017.01.005

2016-07-12

赵志强（1981-），男，河南开封人，讲师，主要研究方向图像处理、嵌入式系统等．