双向预测帧率变换算法及硬件架构研究

刘振兴

（上海高清数字科技产业有限公司，上海 200233）

1 引言

帧率变换的定义是指把一定频率的图像帧变为指定频率的图像帧。通常我们所说的帧率变换是指从低频率的帧频变为高频率的帧频，所以也称为帧率提升。比如在HDTV中，把每秒60帧的图像变为每秒120帧或者240帧，这样应用的好处是可以解决HDTV中存在的高速运动下的拖尾现象。随着液晶电视的大面积普及，将来的图像播放设备一定是向便携轻便等方向发展，但是同时也会带来一定的问题，比如液晶电视在快速运动中的残影以及图像模糊等。在这种情况下，人们想到了用帧率变换这种方式来提升图像的质量，在原本相关的前后帧图像中插入一帧，可以使图像运动更为平滑。这就是帧率变换研究的一个最基本的应用动力。

现阶段帧率变换遇到的最大问题在于算法的实现难度和物理器件所能提供的最高速度之间的矛盾。由于帧率变换是视频后处理，所以对其实时性要求非常高。普通的帧率提升算法虽然可以用器件实现，但是处理效果很一般，有时甚至会出现负作用，而复杂的帧率提升算法虽然能提升出很好的效果，但是对器件的要求高，成本太大。综上所述，帧率提升算法与实现的研究在国内外方兴未艾，可以期待在未来的视频标准里将会有其一席之地。

2 基于双向运动估计的帧率提升算法

2.1 块匹配大小的选取及搜索策略

首先选择估计运动中匹配块的大小，匹配块越大，则算法所需要耗费的时间就越小，但是块匹配的精度就越低。反之匹配块越小，则算法所需要耗费的时间就越长，但是块匹配的精度就越高。从现有的硬件资源以及实验结果看，16×16的匹配块大小能够预测出相对正确的运动矢量，并且在主观评价上补偿出良好的内插帧。表1中d为搜索范围、N为宏块的个数。全搜索的N最大，空间搜索其次，本文提出的算法N最小。

搜索策略在算法中最耗费资源和时间，如何选择搜索策略是帧率提升算法成功的关键。通常情况下有表1所述的几种搜索策略以及每种搜索策略所需要的算法复杂度。

从表1中可以看出，全搜索的算法复杂度最高，但是其精确匹配的准确度也越高，但是从实际上看，由于前后两帧在50Hz的频率下，时间上只有20ms的间隔，所以前后两帧运动块的距离理论上不会很远，用到全搜索匹配有50%以上的时间都浪费了。

空间递归搜索是假设图像运动方向一致的情况下，用前一个宏块预测的运动矢量作为参考，只搜索其相邻的9个匹配块，这样的搜索方式的确可以起到快速的作用，但是精确度难以保证。图像的背景和移动物体总是往相反的方向移动，这样用空间递归搜索的效果也就可想而知了。

本文中所采用的是双向三步优化搜索，既保证了搜索的准确性，同时也兼顾了效率的问题。

2.2 双向三步优化搜索算法说明

每帧图像被分为M×N的宏块，宏块大小为16×16。首先假设每一帧图像中所分成的宏块里的像素运动轨迹基本相同，然后用当前帧的宏块做三步搜索：第一步，将该宏块与对应的参考帧宏块上下左右7个像素距离的宏块进行矩阵差值的计算，然后将得到的矩阵的差值做绝对值的和，具体计算阈值如下：

这是前向运动估计得到的一个阈值。记录下这个最小的阈值以及相对应的宏块位置。第二步，以刚刚获得的最小阈值的宏块位置为中心，将原宏块与此中心的上下左右距离为3个像素的宏块进行比较，重复第一步的动作。第三步，重复第二步的动作，只是与以该中心的上下左右距离为1个像素的宏块进行比较。做完三步运动估计后，可以得到一个最小阈值的宏块矩阵，此阈值为前向预测最小阈值。然后将后一帧图像分成M×N的宏块，用前一帧作为参考帧，重复三步运动估计。此时也能得到一个阈值最小的宏块矩阵，并且得到此矩阵的相对位置。比较前向运动估计的阈值和后向运动估计的阈值大小，最后决定采取哪一种估计得到的运动矢量。算法描述见图1。

2.3 运动补偿内插帧

由于是内插帧，所以将获得的对应宏块的运动矢量除以2，该矢量上所对应的宏块即为该内插帧的宏块，用此宏块填充至内插帧。这里需要注意的是，不是所有的阈值所对应的宏块都可以应用的，因为上述运动估计所得到的运动矢量只是比较了前向估计与后向估计的相对阈值。实际上有些时候，如果不能准确估计的时候，阈值会比较大，这里我们给出了一个经验阈值，即如果双向运动估计所得到的阈值大于此经验阈值，那么就可以认为运动估计失败，此宏块所对应的位置，由参考帧上对应的位置直接获得。算法见流程图2。

3 双向运动估计的帧率算法硬件架构

3.1 硬件架构

双向运动估计算法的整体硬件架构模块如图3所示。按照系统时钟周期，从DMA通道传送两帧图像信息至RAM模块，具体控制电路由Data Control模块给出逻辑信号，所有的运动估计都由RAM模块和Mini SAD模块完成，这样可以释放系统带宽，不占用过多系统资源。硬件完成的算法如上节所述，最后得出内插帧，由RAM模块通过Data Control模块直接赋值给DDR模块，完成补偿功能。

DDR存储器：存放前端解码以后的帧数据；

Data Control模块：控制DDR中调入帧图像数据到RAM，利用运动矢量信息，控制RAM模块提供补偿；

RAM 帧存模块：为了提高运算速度，将需要运算的图像存储到RAM中；

Mini SAD 最匹配宏块运动估计模块：该模块是运算量最大的，一个时钟周期里需要完成9个块匹配算法。比较阈值与经验阈值，计算出运动矢量传输给Data Control模块。

用以上的硬件架构可以满足算法的要求：

（1）实时性；

（2）系统工作频率；

（3）硬件资源。

3.2 实验结果

用Verilog语言编写RTL代码，在S2C公司提供的Xilinx V5平台上进行功能验证，综合工具采用ISE，片外存储采用DDR2的SDRAM，频率最高为800MHz，完全能够满足系统实时性的要求。实验结果见图4～图6。其中，图5为用双向运动估计提升帧频的算法得出的内插帧图像，验证此算法内插结果良好。

［1］余松煜，周源华，张瑞. 数字图像处理[M].上海：上海交通大学出版社，2007.

［2］王南飞，姚素英. 视频格式转换芯片中帧频提升算法及硬件实现[J].电子测量技术，2007.

［3］李莉，侯正信. 一种自适应帧频提升算法研究[J].计算机应用研究，2009.

［4］陈孙阳. HDTV中基于ME/MC的插帧倍频FPGA实现架构研究[M].上海：上海交通大学出版社，2005.

［5］吴继华，王诚. 设计与验证：Verilog HDL[M]. 北京：人民邮电出版社，2006.

［6］何小海. 图像通信[M]. 西安：西安电子科技大学出版社，2005.

［7］龚剑，朱亮. Matlab5.x入门与提高[M].北京：清华大学出版社，2000.

［8］卢佩，张正炳. 运动估计中对不规则块匹配算法的理论研究[J]. 现代电子技术，2004.

［9］杨清永，王新，周俊辉. 块运动估计中具有可扩展性的高精度三步搜索法[J]. 2002，（5）.

［10］东芝株式会社. 运动矢量检测设备、运动矢量检测方法及内插帧创建设备[J]. CN101316365A，2008.

［11］T. Y. Kuo, C.C. J. Kuo. Motion-compensated interpolation for low-bit-rate video quality enhancement[J]. Proc.SPIE Vis. Commun Image Process., 1998.

［12］S.J. Kang, Y.H. Kim. Motion compensated frame up-conversion using extended bilateral motion estimation[J]. IEEE Transactions on Consumer Electronics, 2007.

［13］LEE S2H, KWON O, PARK R2H.Weighted2adap tive motion compensated frame rate up conversion[J]. IEEE Transon Consumer Electronics, 2003.

［14］E. Brockmeyer, et al. Low Power Memory Storage and Transfer Organization for the MPEG-4 Full Pel Motion Estimation on a Multi Media Processor[J]. IEEE Trans. on Multimedia, 1999, 1（2）: 202-216.

［15］陈展文. 计算机图形学[M].北京：机械工业出版社，2006.

［16］M.H.海因斯. 数字信号处理[M].北京：科学出版社，2002.

［17］王宜怀，刘晓升. 嵌入式应用技术基础教程[M].北京：清华大学出版社，2005.

［18］Lei Zhang, Ci Wang, Wenjun Zhang, et al. Frame rate upconversion using edge-weighted motion estimation and trilateral Interpolation[J]. in IEEE International Symposium on Circuits and Systems, 2009.

［19］何小海，王正勇. 数字图像通信及其应用[M]. 成都：四川大学出版社，2006.

［20］http://www.jpeg.org/jpeg2000/CDs15444.html [EB/OL].

［21］毕厚杰. 新一代视频压缩编码标准——H.264/AVC. 北京：人民邮电出版社，2005.