基于SHVC的帧间算法研究

王忠刚

(上海海事大学 信息工程学院，上海 201306)

基于SHVC的帧间算法研究

王忠刚

(上海海事大学 信息工程学院，上海201306)

为了减小算法复杂度，针对SHVC，结合了CU分割、PU预测模式两个方面，提出了一种快速算法。该算法在PSNR与码率有略微变化(可忽略不计)的前提下，平均编码时间降低了约30%～45%。并将HEVC的帧间预测技术创造性地升华到SHVC中，在一定程度上对SHVC的帧间算法研究进行了改进。根据在测试模型SHM的实验证明，该算法可行、有效。

可伸缩视频编码；帧间；编码单元；预测单元

0 引言

随着视频行业的迅速发展，关于视频通信的应用越来越多，而现有的视频服务已经不能满足用户的需求，网络不稳定与终端设备多样性问题突出。根源在于，当前采用的单层视频编码不具备可伸缩性能，不能与不同的网络环境进行互动。一旦网络环境异常就有可能造成数据包丢失，从而迫使视频通信中断。

对此，联合协作组在2012年7月发出征集号召，到2012年10月共收到了20种提案， SHVC的标准最终由此确立。ITU-T于2015年4月发布了第3版；IS0/IEC也于2015年5月发布了ISO/IEC 23008-2第2版[1]。

1 SHVC介绍

1.1可伸缩视频编码

与单一的视频编码码流不同的是，可伸缩视频编码码流分为基本层(1个)和增强层(大于等于1)。这样，便将同一视频不同特性(如分辨率)合并在同一比特流中，可根据网络特性随时对码流进行调整。基本层码流包含了视频通信的大部分信息，它必须被接收，视频通信才能正常进行。在基本层被接收的前提下，视频通信的质量与接收到的增强层数目呈正相关。根据码流特性，可伸缩视频编码又可具体分为：空间、时间、质量、位深、色域以及混合编解码器上的可伸缩[2-3]。

1.2编码原理

SHVC(Scalable extension of High efficiency Video Coding)是HEVC的可伸缩扩展，它支持空间、时间、质量、位深、色域及混合编解码6种可伸缩性。相邻层之间存在着一定关系，如图1所示，在较高层(非基本层)编解码中使用了上一层的信息，这即是SHVC引入的层间参考预测技术(ILR)[4-6]。

图1 SHVC三层编解码架构

图1是SHVC的编解码框架，仅以三层为例。SHVC的基本层与HEVC单层编码过程相同。增强层的处理过程与基本层不同，BL0中重构图像经过环路滤波以后的图像需经过上采样，得到的图像与增强层 EL1有相同的分辨率，被用来作为EL1层的层间参考图像。同理，EL1中，重构图像经过环路滤波以后的图像需经过上采样，得到的图像与增强层 EL2有相同的分辨率，被用来作为EL2层的层间参考图像。

1.3基本层与增强层的映射关系

以伸缩比例为2的空间可伸缩为例，基本层BL0的图像是增强层EL1图像的1/4大小。首先是CTU的对应关系。由于CTU是按照Raster顺序进行的扫描，所以基本层的一个CTU中的4个32×32的CU单元对应着增强层的4个CTU。文献[4]中唐晓丽的SHVC增强层预测单元分割模式快速选择算法一文中有详细介绍，在此不做赘述。

2 帧间预测算法研究

2.1帧间运动特性研究

由于运动剧烈的两帧(比如场景切换情况下)间可借鉴的运动特性较低，不适合进行优化处理。故应先判断当前帧与前一帧之间是否发生了剧烈运动[7-8]，再决定是否进行帧间算法优化处理，具体方法是采用基于灰度的算法。灰度值平均绝对差公式：

(1)

式中，DMVD(n)为第n帧与前一帧的灰度平均绝对值差，fn(i,j)和fn-1(i,j)分别为第n帧与第n-1帧在(i,j)位置的亮度分量值，M和N分别为图像的宽和高。DMVD(n)的取值范围为0～255，经过大量实验发现：DMVD(n)>42时，当前帧相对前一帧发生了剧烈运动，否则，判定没有发生剧烈运动。

2.2相邻两帧对应位置的CU与PU相关性研究

由前面介绍可知：SHVC的每一层都沿用了HEVC的编解码结构，只在增强层对HEVC修改了高级语法。不同于H.264的宏块，SHVC使用的也是HEVC的四叉树编码结构，是以牺牲编解码复杂度来换取更高的压缩效率。在四叉树编码结构中，需要进行4个深度的遍历，即由最大的编码单元64×64到最小的8×8，而随着深度的增加，划分复杂度也就成倍数地增加[3-4]。

将CU分割完成后，对于每一个确定尺寸的CU又需遍历不同的PU预测模式，而预测数目高达11个，也就是率失真代价需要计算11次，再根据率失真代价的大小选择最优的模式进行编码。这种过程太过复杂，如何确定CU与PU的关系，减少率失真计算的次数，将是降低算法复杂度的难点。

为更好地减小复杂度，本文对相邻两帧相同层的CU与PU的关系进行了分析，以便于减少CU分割与PU模式的选择。在测试模型SHM9.0中分别统计了表1中5种不同分辨率和运动特性的测试序列CU与PU的相似度。为了能更直观地描述相似性，引入了以下概念：PCU、PPU、ACU-neighbour、ACU-total、APU-neighbour、APU-total。统计是在相邻两帧对应层对应位置上进行的。ACU-neighbour表示相邻帧某一层某一位置上与当前帧同一层同一位置CU相同的面积和，ACU-total表示当前帧所有的CU的总面积，APU-neighbour表示相邻帧某一层某一位置上某一CU分割下PU模式与当前帧同一层同一位置同一CU分割模式下的面积和，APU-total表示当前帧总的PU的总面积，PCU表示当前帧与相邻帧对应层对应位置CU相同的概率，PPU表示当前帧与相邻帧对应层同一位置的PU分割模式完全相同的概率，具体可分别由下面公式计算获得[5]：

(2)

(3)

统计结果如下表1所示。由表1可以计算出PCU、PPU的平均概率分别达到了0.76与0.88。也就是说，相邻两帧对应层对应位置CU分割模式相同的概率为0.76，相邻两帧对应层对应位置同一CU分割模式下，对应的PU预测模式相同的概率高达0.88。因此，可以利用这种关系，减小PU 模式选择的复杂度。

表1 相邻两帧对应层对应位置 CU及PU的相似性分析

2.3CU分割的优化

考虑到相邻帧之间同一层同一位置CU分割相同的可能性仅有0.76，还有较大可能性不同，因此，分割当前帧CU单元时不能仅参考相邻帧间对应位置CU分割方式。考虑从相邻帧对应层对应位置CU深度的相关性入手。本文对测试序列ParkScene、kimonol、BQterrace、PeopleOnStreet、BasketballDriver前一帧相同位置CU的深度比当前CU深度大于等于2的概率进行了统计。发现此事件的平均概率仅近似为1.8%。也就是说，分割当前帧CU时，如果参考帧对应位置 CU的深度达到了d+2并且深度d为最佳的可能性低于1.8%，可以不再进行深度d

表2 实验参数配置表

的计算，直接计算深度为d+1即可。为保险起见，考虑当前编码CU倾向于选择较大的划分块的极端情况，它有较大的可能性采用SKIP模式，因此这种模式应该保留[9]。

综上，针对CU分割进行如下简化：

(1)判断当前帧与参考帧间是否发生了剧烈运动。若没有发生剧烈运动，进入(2)，否则不适合进行帧间编码算法的优化。

(2)进入一个CU，记其深度为d，再获取参考帧同一位置CU的深度dref及其4个子CU的深度dsub0、dsub1、dsub2、dsub3。

(3)若dsub0、dsub1、dsub2、dsub3均大于等于d+1，则只需计算当前深度的SKIP模式并进入到下一层CU，否则进行正常的CU分割流程。

2.4PU模式选择的优化

在CU尺寸确定后，通常采用拉格朗日率失真优化算法对PU划分模式进行判决，代价最小者为最优划分模式。但如果将每一种模式都进行遍历复杂度太高。首先将PU预测模式进行分类：(1)左右结构：{nL×2N，nR×2N，N×2N};(2)上下结构：{2N×N，2N×UN，2N×DN};(3)均匀结构：{2N×2N，N×N}。当判断没发生剧烈运动时，在相邻帧对应层对应位置CU分割相同的情况下PU预测相同的可能性有88%，CU分割不同时可根据相邻两帧之间的时域相关性及时域上的运动方向性，当对应CU的PU为左右两部分结构(nL×2N，nR×2N，N×2N)时，说明此时当前块中的运动对象有大于88%的概率分为左右两部分，只需对相应PU遍历左右部分的模式即可。为保证视频质量，应该把2N×2N的情况也考虑进去。上下结构亦是如此[10-12]。

综合以上，算法流程可表示如下：

(1)根据参考帧对应位置CU下的PU情况，选择合适的PU结构模式进行遍历，对于基本层进入步骤(3)，对于增强层进入步骤(2)；

(2)判断上一层的对应位置的PU结构与步骤(1)中的结构是否一致，若一致进入步骤(3)，否则再加入上一层对应的PU结构。

(3)根据PU结构模式的遍历，计算其中率失真代价(具体为拉格朗日率失真优化算法)，各个模式的率失真最小者即为最优划分模式。

3 结果分析

本文提出的帧间与层间算法在SHM9.0下进行仿真实验，实验平台为CPU 2.5 GHz、Intel Core i7、内存4 GB，操作系统为Windows 10的64位计算机，运行环境是Microsoft Visual Studio 2010，编码结构为IPPP。试验中参数配置如表2所示。

与SHM9.0相比，实验结果统计于表3中。总体来看，编码时间减少了30%～45%，而比特率增加比例与PSNR下降量可忽略不计。

表3 实验统计结果表

4 结论

本文提出的算法综合考虑了CU分割、PU模式选择两个方面因素。首先对当前帧与前一帧相比是否发生剧烈运动进行判断，再简化CU分割与PU模式选择过程。算法减少了CU分割以及PU预测模式的遍历数目。总体来看，本文提出的综合算法编码时间减少了约30%～45%，而PSNR与比特率变化较小，可忽略不计。说明本文结合CU分割、PU模式选择于一身的算法可行、有效。

[1] 卢鑫，林茂六，金雪松,等.新一代可伸缩视频编码标准:背景、特征、技术及其应用[J].电子测量与仪器学报，2015，29(10):1415-1423.

[2] BOYCE J M，YE Y，CHEN J，et al.Overview of SHVC: scalable extensions of the high efficiency video coding standard[J].IEEE Transactions on Circuits & Systems for Video Technology，2015，26(1):1-1.

[3] BAILLEUL R，COCK J D，WALLE R V D.Fast mode decision for SNR scalability in SHVC digest of technical papers[C].IEEE International Conference on Consumer Electronics.IEEE，2014:193-194.

[4] 唐晓丽.SHVC增强层预测单元分割模式快速选择算法[D].西安:西安电子科技大学，2014.

[5] LAUDE T，XIU X，DONG J，et al.Improved inter-layer prediction for the scalable extensions of HEVC[C].Data Compression Conference，2014:412-412.

[6] LEE H，LEE J，KANG J W，et al.Smoothed inter-layer residual prediction for SHVC[C].International Conference on ICT Convergence.IEEE，2013:604-605.

[7] KESSENTINI A，DAMAK T，AYED M A B，et al.Scalable high efficiency video coding (SHEVC) performance evaluation[C].World Congress on Information Technology and Computer Applications Congress, 2015:1-4.

[8] WALI I，KESSENTINI A，ALI B A M，et al.Scalable extension of the high efficiency video coding SHEVC performance study[C].Computer Networks and Information Security.IEEE，2015:1-4.

[9] 彭金虎，岑峰.HEVC帧间运动归并技术的研究[J].微型机与应用，2013，32(1):40-41.

[10] 徐秋萍.HEVC快速帧间编码技术研究[D].南京:南京邮电大学，2015.

[11] 李静敏，杨静.基于HEVC的快速帧间预测算法[J].电视技术，2016，40(7):1-5.

[12] 刘娟，钟国韵，王蕾,等.基于时域相关性的快速HEVC帧间模式判决方法[J].电视技术，2014，38(13):1-6.

An inter-frame algorithm research based on SHVC

Wang Zhonggang

(College of Information Engineering，Shanghai Maritime University，Shanghai 201306，China)

To reduce the high complexity in SHVC ，the paper proposes a fast method which does some optimization in the division of CU and the choice of PU mode.On the premise of guaranteeing the quality of the video，the average of encoding time decreases by about 30%～45%.And the technology of the inter-frame prediction based on HEVC is creatively used in the SHVC.To a certain extent，it improves the inter-frame algorithm based on SHVC.The results show that the proposed algorithm is feasible and effective.

SHVC; inter-frame; CU; PU

TN919

A

10.19358/j.issn.1674-7720.2017.21.011

王忠刚.基于SHVC的帧间算法研究J.微型机与应用，2017,36(21)：35-38.

2017-04-15)

王忠刚(1991-)，男，硕士研究生，主要研究方向：SHVC的帧间算法研究。