发明内容
针对我国面向移动通信的视频编解码标准AVS-M,需要更高效的快速运动估计算法,为了解决现有技术中存在的不足,本发明在AVS-M视频编码的整像素运动矢量搜索过程中,公开一种基于起点预测和早停止的自适应快速运动估计方法。
本发明采用以下技术方案予以实现。
搜索起点预测 为当前块搜索最佳匹配块时,分别计算当前块S 1的最佳接近矢量MVP closest 和S 2的前一帧相同位置的块及当前块的左方、上方和右上方的运动矢量MVP 0 ,MVP L ,MVP U ,MVP UR 的率失真代价J MOTION ,取具有最小J MOTION 的点作为搜索起点。
采用自适应搜索模式 将视频运动分为小运动类型和大运动类型,根据运动类型设置不同的初始模式,小运动类型的初始搜索模式设为SDSP,大运动类型的初始搜索模式设为LDSP,在搜索过程中,还可根据搜索结果自适应调整搜索模式。
采用自适应搜索中止准则 J MOTION 小于T 1终止搜索过程,进行SDSP搜索时,当最优点位于菱形中心时,终止搜索过程,进行LDSP搜索时,如果Min J MOTION <T 1,终止搜索过程,如果T 1≤Min J MOTION <T 2,搜索模式转为SDSP,如果Min J MOTION >T 2,继续进行LDSP搜索。
与现有技术比较,本发明的优点和积极效果为:本发明根据视频序列自身的运动特征,设计不同的搜索模板,在搜索过程中,还可根据搜索结果自适应调整搜索模式,终止搜索过程,可以在保持较低的编码码率和较好的图像质量的情况下,大大减少搜索点数,减少整像素运动估计的计算量,提高编码速度。
影响运动搜索算法性能的主要有:搜索起点,搜索模式和搜索中止准则,下面对这三部分详细说明。
搜索起点的确定。
相邻块的最佳接近矢量预测 相邻块的运动矢量与当前块的运动矢量具有高度的相关性。AVS-M利用这种相关性对当前编码块的运动矢量与其最佳接近矢量MVP closest 差分编码,以减少编码运动矢量所需的比特数。
最佳接近矢量MVP closest 定义如下。
附图1中,块A、B、C、D分别是当前块E的左方、上方、右上方和左上方的相邻块。定义块A、B、C的运动矢量的距离为:
(2)
取VAB,VBC,VCA中的最大值,若最大值是VAB,取C块的运动矢量作为最佳接近矢量,若最大值是VBC,取A块的运动矢量作为最佳接近矢量,否则取B块的运动矢量作为最佳接近矢量。
上层模式的运动矢量预测 AVS-M中有7种帧间预测模式,如附图2所示,不同大小块之间的运动矢量存在很强的相关性,因此,可以先搜索大的块(mode 1,2,3),再搜索小的块(mode 4,5,6,7),这样就可以用找出的大块的运动矢量来预测其中小块的运动矢量。本发明定义7种帧间模式的上下层关系为:模式1是模式2和3的上层模式,模式2是模式4的上层模式,模式4是模式5和6的上层模式,模式5是模式7的上层模式,模式1没有上层。取上层模式的运动矢量MVP up-layer 作为当前模式的预测矢量。
初始搜索起点的确定 本发明搜索方法为初始搜索起点定义两个预测矢量S 1、S 2:
S 1中MVP closest 为当前块的最佳接近矢量,因其在AVS-M中重要性较其它运动矢量高,将其单独处理。S 2中MVP 0 ,MVP L ,MVP U ,MVP UR 分别为前一帧相同位置的块及当前块的左方、上方和右上方的运动矢量。
在上述预测矢量中找出最小cost所对应的预测矢量,作为下一步搜索的起点位置。
搜索模式的设置
本发明依据运动矢量的分布具有交叉-中心偏置特性,设计了2种搜索模板,如附图3所示。
图3(a)为步长为1的小菱形模板SDSP(Small Diomand Search Pattem),图3(b)为步长为2的大菱形模板LDSP(Large Diomand Search Pattern)。其中LDSP用于在大范围内进行快速定位,SDSP用于在小范围内的“微调”。
本发明的搜索方法是根据视频运动的特点和当前搜索结果自适应地选择搜索模式。首先对视频运动进行分类,根据运动类型设置不同的初始模式,分类准则为:
(1)若mvA=mvB=mvC,称之为小运动类型,表明运动变化类型为静态或准静态,只需在预测的搜索起点附近作小步长的密集搜索,当前块的初始搜索模式设为SDSP;
(2)若 mvA,mvB,mvC不全相等,则称之为大运动类型,此时表明有中等或较大的运动,需要在较大范围进行搜索,并将当前块的初始搜索模式设为LDSP。
在搜索过程中,还可根据搜索结果自适应调整搜索模式,当某一点的率失真代价J MOTION 小于某一阈值时,可以认为搜索结果已具有相当的精度,只需采用SDSP模式在小范围作密集搜索即可。
搜索中止准则
运动估计算法中常用的匹配准则有三种,即最小绝对差(MAD)、最小均方误差(MSE)和归一化互相关函数(NCCF)。在运动估计中,匹配准则对匹配的精度影响不是很大,由于MAD准则不需作乘法运算,实现简单、方便,所以使用最多,通常使用SAD代替MAD,SAD(Sum of Absolute Difference)即绝对误差求和。定义如下:
AVS-M采用了多模式的运动估计,在不同预测模式下,其运动矢量所消耗的编码比特数是不同的,而且预测后的误差编码所需的编码比特数也各不相同。所以AVS-M综合考虑预测误差总和与最终编码所需比特数,在运动估计与补偿中采用率失真优化准则(RDO)判决最优运动矢量。AVS-M中的最佳运动矢量搜索就是在搜索范围内寻找使式(8)为最小值的运动矢量:
式中
,为运动矢量;
为预测的运动矢量;
是拉格朗日(Langrange)乘数因子;
R(m-p)是关于运动信息的查找表;
SAD则为源块与参考块之间的绝对误差和(残差信号)。
AVS-M是以率失真代价J MOTION 作为最优运动矢量的判别准则,所以要考察J MOTION 在相邻块间的相关性。
对多种视频序列的统计分析表明,相邻帧间同一位置块的J MOTION 仍具有很强的相关性,普遍存在着某种比例关系,其平均比值在0.96~1.06之间。
本发明提出的阈值自适应提前退出算法的核心思想是将预测矢量的J MOTION 与给定阈值比较来决定运动搜索过程。我们通过试验获得几组阈值的候选值,然后用每组阈值进行运算,再对每组阈值所得到的峰值信噪比、比特率和搜索点数进行比较,最终得到我们需要的最佳阈值。
本发明算法采用了如下方法确定阈值:以参考帧同一位置块的J MOTION 乘以某个系数作为J MOTION 阈值。这种方法不受视频运动类型的影响,具有较强的自适应性,而且能准确确定恰当的阈值使搜索过程适时中止,有助于以较小的搜索代价得到较好的搜索结果。
为加快搜索过程,本发明算法设定了两个门限值:
为参考帧相同位置块的J MOTION ,α和β是调节因子,它在折中重建图像质量和搜索速度中有极其重要的作用。
(1)若当前块的J MOTION <T 1,表明搜索结果已经足够精确,立即终止搜索过程;
(2)若当前块T 1≤J MOTION <T 2,表明搜索结果尚可,只需在小范围进行微调,于是将搜索模式从LDSP转为SDSP。
具体实施方式
本发明AVS-M视频编码快速整像素运动估计算法流程如附图4所示。
步骤1 计算S 1中MVP closest 的J MOTIO ,如果J MOTION <T 1,直接转到步骤9;否则进行步骤2。
步骤2 计算S 2中预测矢量的J MOTIO ,如果Min J MOTION <T 1,直接转到步骤9;否则进行步骤3。
步骤3 取S 1和S 2中具有最小J MOTIO 的点作为搜索起点。
步骤4 如果mvA=mvB=mvC,令type=0(SDSP模板);否则令type=1(LDSP模板)。
步骤5 如果type=0,进行SDSP搜索直至最优点位于菱形的中心。当最优点位于菱形中心时,转到步骤9;否则转到步骤7。
步骤6 如果type=1,进行LDSP搜索。当最优点位于LDSP中心时,令type=2,转到步骤8;否则转到步骤7。
步骤7 如果Min J MOTION <T 1,转到步骤9;如果T 1≤Min J MOTION <T 2,令type=2,转到步骤8;如果Min J MOTION >T 2,转到步骤6。
步骤8 如果type=2,进行一次SDSP搜索,转到步骤9。
步骤9 结束整像素搜索过程。
本发明选取MVFAST、DS和DFS三种具有代表性的快速运动估计算法,在AVS-M校验模型WM3.3a上与本发明算法进行对比实验。实验中选取3个具有不同运动程度的QCIF标准视频序列:Akiyo,News,Foreman,其中Akiyo空间细节较少,运动较缓慢,News运动变化中等,空间细节比较丰富,Foreman中既含有镜头的平移也包括物体的运动,且背景较为复杂。实验的编码参数为:α=0.95、β=1.02,GOP为IPPP,量化参数选择28,32,36,40,搜索范围为16,参考帧数为1。
表1列出的本发明算法与其它算法的实验结果比较,包括重建图像的峰值信噪比(PSNR),编码比特率和搜索点数,其中搜索点数指搜索一个宏块运动矢量所需要的平均搜索点数。从表中结果可以看出,与FS算法相比,本发明算法在取得与其相当的搜索效果的情况下,搜索点数减少了99.50%~99.79%。与DFS算法相比,搜索点数减少了15.5%~20.3%。与MVFAST算法相比,搜索点数减少了39.9%~45.7%,而且MVFAST算法采用固定阈值,在对运动变化较大的序列,尤其是量化参数较大时,搜索点数上升较多,且PSNR有所下降。而本发明算法采用了自适应阈值,在搜索速度和PSNR两方面均保持了优异的性能,是一种具有较强的自适应性、有效而且鲁棒的算法。
表1 本发明算法与其它算法比较表(QP=36)
应当指出,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的修改,变形、添加或替换,也应属于本发明的保护范围。