CN101827267B - 基于视频图像分割技术的码率控制方法 - Google Patents

Abstract

本发明涉及一种基于视频图像分割技术的码率控制方法。本方法基于现有的视频图像分割技术，对比特数进行了再分配并调整了量化参数。首先利用得到的运动对象分割图计算运动复杂度系数，调整帧级(I帧/P帧)的码率控制方法；然后在进入宏块级码率控制算法后，利用运动对象分割图和纹理分割图计算宏块的运动复杂度，调整宏块的量化参数；最后利用运动模型检测场景切换帧，并相应地调整其量化参数。通过以上基于视频图像分割方法的码率控制算法的调整，使得在低带宽或高带宽中的解码图像质量都有了相应的提高，减小了运动剧烈区域的失真度。

Description

基于视频图像分割技术的码率控制方法

技术领域

本发明涉及了一种基于视频图像分割技术的码率控制方法，利用已有的视频图像分割技术，找出视频中的运动对象，并获得视频纹理分割图像。依据得到的两种不同的视频分割图改进码率控制算法，使改进后的码率控制方法能按照视觉特征分配视频编码比特数，提高视频编码质量。

背景技术

视频编码算法就是利用各种方法减小数据冗余，从而达到对数据的压缩。在现有的视频编解码算法中，已有针对视频时间相关性、空间相关性、时间统计特性的有效压缩方法。如：去除时间相关性冗余采用了运动估计，在编码过程中只保存通过运动估计所得的图像残差值，大大减小了每帧图像之间的冗余；而空间冗余的去除，则利用DCT变换，使每帧的图像信息都集中在低频部分，把包含相关性信息的高频部分滤除；针对视频中数据间的统计特性，则采用各种有效的熵编码来进行压缩。

随着视频压缩技术的不断发展，研究人员越来越注重视觉感知在视频编码过程中的影响。由于视频中运动目标相较于背景吸引了更多的注意力，所以应更多地保留目标运动区域的信息量，减少背景区域的信息量。因此在编码过程中以此为目标，考虑比特数的分配和码率控制。

目前的H.264编码算法中区域比特数分配方法并未考虑人眼视觉特征。基于MAD的编码器为了达到较高的PSNR增益为非重要的区域分配了过多的比特数，但事实上编码器为了增加PSNR所多分配比特数并不一定能提高视频图像的感观质量。以上方法终究不能区分哪些区域是人眼关注度高的区域，并分配更多的比特数；相反关注度低与关注度高的区域并未被区分对待，无法在有限比特数的情况下提高主观质量。

鉴于此，本方法通过利用现有的视频图像分割方法，得到每一帧的运动对象分割图和纹理分割图，依据以上两种分割图像改进码率控制算法。将人眼的视觉特性加入了改进后的码率控制方法，使得在有限比特数的情况下提高了视频的主管质量。

发明内容

本发明的目的是针对已有技术存在的缺陷，提供了一种基于视频图像分割技术的码率控制方法，本改进的码率控制方法能按照视觉特征分配视频编码比特数，提高视频主观质量。

如图1所示，为了改进JVT-G012码率控制算法的不足，本发明提出了一种自适应码率控制方法。该方法基于现有的视频图像分割技术，对比特数进行了再分配并调整了量化参数。首先利用得到的运动对象分割图计算运动复杂度系数，调整帧级(I帧/P帧)的码率控制算法；然后在进入宏块级码率控制算法后，利用运动对象分割图和纹理分割图计算宏块的运动复杂度，调整宏块的量化参数；最后利用运动模型检测场景切换帧，并相应地调整其量化参数。其关键步骤如下：

第一，I帧量化参数的调整

利用现有的各种能够提取出运动对象计算每一帧的运动复杂度，并相应地调整I帧的初始量化参数。减小运动平缓I帧的编码比特数，增加后续运动复杂的P帧的编码比特数，提高视频序列的整体观看质量。依据公式(1)调整I帧的量化参数，其中QP_img(i)为第i个GOP中I帧初始量化参数。x_GOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度，x_I(n_i，1)和x_P(n_i，j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度，他们分别由式(2)、(3)和(4)计算得到，其中K为每一个GOP的帧数；N_motion(n_i，j)为第i个GOP中第j帧运动对象所占像素点个数；N_all为每一帧图像中像素点个数。其中α、β、γ为量化参数调节量。

${\mathrm{QP}}_{\mathrm{img}}^{\&prime;}\left(i\right)=\left\{\begin{array}{c}{\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&alpha;},\mathrm{if}0.5*x_{\mathrm{GOP}}(i-1)\&le;x_I\left(n_{i,1}\right)<0.8*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&beta;},\mathrm{if}{x}_I\left(n_{i,1}\right)<0.5*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&gamma;},\mathrm{else}\end{array}\right.---\left(1\right)$

$x_{\mathrm{GOP}}\left(i\right)=\frac{x_I\left(n_{i,1}\right)+\underset{j=2}{\overset{K}{\mathrm{\&Sigma;}}}{x}_P\left(n_{i,j}\right)}{K}---\left(2\right)$

$x_p\left(n_{i,,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}---\left(3\right)$

$x_I\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,1}\right)}{N_{\mathrm{all}}}---\left(4\right)$

第二，P帧比特数的二次分配

依据现有的能够提取出运动对象二次分配P帧比特数。通过增加运动复杂图像的目标比特数，改进帧层的码率控制效果。利用现有运动模型建立第i个GOP中第j帧的运动复杂度系数x_p(n_i，j)，见式(5)，其中N_motion(n_i，j)为第i个GOP第j帧中运动对象所占像素点的个数，N_all为一帧图像中像素点总数。

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}---\left(5\right)$

完成P帧比特数的第一次分配，获到比特数f(n_i，j)后，利用式(5)得到的运动复杂度按式(6)对P帧进行进行二次分配，得到比特数f(n_i，j)^*。经过以上修改后P帧的比特分配算法充分考虑了视频中运动复杂度，使算法更合理。

$f{\left(n_{i,j}\right)}^{*}=f\left(n_{i,j}\right)\&times;\frac{x_p\left(n_{i,j}\right)}{\frac{1}{j-1}\underset{k=1}{\overset{j-1}{\mathrm{\&Sigma;}}}{x}_p\left(n_{i,k}\right)}---\left(6\right)$

第三，宏块量化参数的修正

码率控制算法中，在初步确定了宏块层的量化参数后，依据式(7)所得到宏块的运动复杂度系数x_mb(n，m)按式(8)和(9)调整量化参数。

$x_{\mathrm{mb}}(n,m)=\frac{N_{\mathrm{mv}\_\mathrm{region}}(n,m)}{N_{\mathrm{mb}\_\mathrm{all}}}\&CenterDot;\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{N_{\mathrm{region}}\left(i\right)}{N_{\mathrm{mv}\_\mathrm{region}}\left(i\right)}---\left(7\right)$

式(7)中N_{mv_region}(n，m)为运动感分割图中第(n，m)个宏块中运动感知对象所占的像素点数；N_{mb_all}为宏块中像素点的总数。上式由两部分组成，左半部分反映了最终分割出的运动区域所占宏块中像素点的比率；公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离，N_region(i)表示在运动分割图中第i类纹理分割区域像素点的个数，其中i∈[1，M]；N_{mv_region}(i)表示分割出的运动对象所占第i类纹理分割图像的分割区域像素点的个数。k列举了在当前宏块中运动对象所包含纹理区域的类型，其中k≤M。

由于人眼的注意力集中在运动对象中心，所以依据式(7)得到的运动复杂度系数不仅考虑了宏块的运动情况，同时还考虑了宏块的位置。在获得运动复杂度系数后，利用此系数调整宏块的量化参数，见式(8)。

BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)    (8)

其中ΔQP(n，m)定义如式(9)：

$\mathrm{\&Delta;QP}(n,m)=\left\{\begin{array}{c}\mathrm{\&alpha;},\mathrm{if}(0.9\&le;x_{\mathrm{mb}}(n,m)\&le;1)\\ \mathrm{\&beta;},\mathrm{if}(0.5\&le;x_{\mathrm{mb}}(n,m)<0.9)\\ \mathrm{\&gamma;},\mathrm{if}(0<x_{\mathrm{mb}}(n,m)<0.5)\\ \mathrm{\&mu;},\mathrm{else}\end{array}---\left(9\right)\right.$

式中α、β、γ、μ为量化参数调节系数，大小由具体实验确定，其取值范围为μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。按式(10)进一步修改量化参数，确保调整后的量化参数仍在取值范围内：

BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)    (10)

第四，场景切换帧的检测与量化参数的调整

在场景切换时运动感知对象在位置和外形上都会发生巨大的变化。依据以上原理，利用每一帧所分割出运动对象的变化来检测场景切换。当前一帧运动对象和当前帧运动对象在位置和形状上有较大的变化，同时后一帧比特数突然增大时，可依据式(11)中的参数η判定当前帧为场景切换帧。

η＝α₁·β₁+α₂·β₂+α₃·β₃    (11)

上式中的a₁，a₂，a₃为式(12)、(13)和(14)所定义的三个判定因子β₁，β₂，β₃的加权系数，其取值可由具体实验确定。式(12)、(13)和(14)中Num_region(j)为第j帧中运动对象所占纹理分割图的区域类别数；N_mv(j)为运动对象分割部分所占第j帧中像素点的个数；N_common(j)为第j帧和其前一帧运动对象公共区域像素点的个数；B(j)是第j帧所分配到的比特数。

${\mathrm{\&beta;}}_1=\frac{|{\mathrm{Num}}_{\mathrm{region}}\left(j\right)-{\mathrm{Num}}_{\mathrm{region}}(j-1)|}{({\mathrm{Num}}_{\mathrm{region}}\left(j\right)+{\mathrm{Num}}_{\mathrm{region}}(j-1))/2}---\left(12\right)$

${\mathrm{\&beta;}}_2=\frac{N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1)-{2N}_{\mathrm{common}}\left(j\right)}{(N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1))/2}---\left(13\right)$

${\mathrm{\&beta;}}_3=\frac{B\left(j\right)-B(j-1)}{B(j-1)}---\left(14\right)$

由以上定义可以看出判定参数η综合考虑了前后帧运动对象纹理、位置、形状的变化。其中β₁通过检测前后帧运动对象纹理的变化，反映运动对象的变化；β₂反映了运动对象位置和形状上的变化；β₃体现了前后帧所分配比特数的变化，可见只有在当前帧的比特数大于其前一帧时，β₃才会增大。得到判定参数后，依据公式(15)调整当前帧的量化参数。其中ρ为阈值，b为量化参数调整量。

$\mathrm{img}\_\mathrm{QP}=\left\{\begin{array}{c}\mathrm{img}\_\mathrm{QP}+\mathrm{\&rho;},\mathrm{if}(\mathrm{\&eta;}>b)\\ \mathrm{img}\_\mathrm{QP},\mathrm{else}\end{array}---\left(15\right)\right.$

根据上述发明构思，本发明采用的技术方案如下：

一种基于视频图像分割技术的码率控制方法，其特征在于具体步骤如下：

(1)输入视频编码帧；

(2)利用视频图像分割方法得到运动对象分割图和纹理图像分割图；

(3)I帧码率控制算法调整：依据所分割出的运动对象计算每一帧的运动复杂度，并相应地调整I帧的初始量化参数；

(4)P帧码率控制算法调整：依据所分割出的运动对象二次分配P帧比特数；

(5)宏块层码率控制算法调整：依据所分割出的运动对象和纹理分割图像计算运动复杂度，调整每帧中宏块的量化参数，实现依据宏块的不同性质所进行的编码策略；

(6)场景切换帧码率控制算法调整：利用所分割出的运动对象和纹理分割图像判定场景切换，调整场景切换帧初始量化参数。

下面对各步骤作详细说明：

(1)利用某种视频图像分割方法得到运动对象分割图和纹理分割图，其过程是：

①利用视频图像处理中的某种视频运动对象分割技术获得每一帧的运动对象，并用参数Mv(i，j)标示当前(i，j)像素点是否位于运动对象上。

②利用视频图像处理技术获得视频纹理图像分割图，将具有相同纹理的部分归入同一区域。这些区域本身都是独立、联通、封闭的，所有区域的集合组成了一帧图像。用参数M记录所有纹理种类数，Region(i，j)表示每一个像素点(i，j)所在纹理区域的序号，其中Region(i，j)∈[1，M]。

(2)调整I帧的量化参数，其过程是：

①依据所分割出的运动对象，按照下式计算I帧的运动复杂度。

$x_I\left(n_{i,1}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,1}\right)}{N_{\mathrm{all}}}$

式中x_I(n_i，1)为所求的第i个GOP中I帧的运动复杂度系数；N_motion(n_i，1)为第i个GOP中I帧中分割出的运动对象所占像素点个数；N_all为每一帧图像中像素点总数。

②依据所分割出的运动对象，计算P帧的运动复杂度：

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}$

式中x_P(n_i，j)为所求的第i个GOP中第j个P帧的运动复杂度系数；N_motion(n_i，j)为第i个GOP中第j帧分割出的运动对象所占像素点个数；N_all为每一帧图像像素点总数。

③按照以上两步中得到的I帧和P帧的运动复杂度系数，计算一个GOP中每一帧的平均运动复杂度：

$x_{\mathrm{GOP}}\left(i\right)=\frac{x_I\left(n_{i,1}\right)+\underset{j=2}{\overset{K}{\mathrm{\&Sigma;}}}{x}_P\left(n_{i,j}\right)}{K}$

式中x_GOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度系数；x_I(n_i，1)和x_P(n_i，j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度；K为每一个GOP的帧数。

④按照GOP中每一帧的运动复杂度系数，调整I帧量化参数：

${\mathrm{QP}}_{\mathrm{img}}^{\&prime;}\left(i\right)=\left\{\begin{array}{c}{\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&alpha;},\mathrm{if}0.5*x_{\mathrm{GOP}}(i-1)\&le;x_I\left(n_{i,1}\right)<0.8*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&beta;},\mathrm{if}{x}_I\left(n_{i,1}\right)<0.5*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&gamma;},\mathrm{else}\end{array}\right.$

式中QP_img(i)为第i个GOP中I帧初始量化参数；α、β、γ为量化参数调节量；x_GOP(i)和x_I(n_i，1)由公式(1)和(3)计算得到。

(3)重新分配P帧的目标比特数，其过程如下：

①利用运动模型计算第i个GOP中第j帧的运动复杂度系数：

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}$

其中N_motion(n_i，j)为第i个GOP第j帧中运动对象所占像素点的个数，N_all为一帧图像中像素点总数。

②完成P帧比特数的第一次分配，获到比特数f(n_i，j)后，利用得到的运动复杂度系数，对P帧进行进行二次分配：

$f{\left(n_{i,j}\right)}^{*}=f\left(n_{i,j}\right)\&times;\frac{x_p\left(n_{i,j}\right)}{\frac{1}{j-1}\underset{k=1}{\overset{j-1}{\mathrm{\&Sigma;}}}{x}_p\left(n_{i,k}\right)}$

式中f(n_i，j)是H.264编码标准中P帧比特数分配算法得到的目标比特数。

(4)调整宏块的量化参数，其过程如下：

①依据所分割出的运动对象和纹理图像，计算一帧中每一个宏块的运动复杂度：

$x_{\mathrm{mb}}(n,m)=\frac{N_{\mathrm{mv}\_\mathrm{region}}(n,m)}{N_{\mathrm{mb}\_\mathrm{all}}}\&CenterDot;\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{N_{\mathrm{region}}\left(i\right)}{N_{\mathrm{mv}\_\mathrm{region}}\left(i\right)}$

式中N_{mv_region}(n，m)为运动模型所分割出的第(n，m)个宏块中运动对象所占的像素点数；N_{mb_all}为宏块中像素点的总数。式(7)由两部分组成，左半部分反映了最终分割出的运动对象所占宏块中像素点的比率；公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离，N_region(i)表示在运动对象中第i类纹理分割区域像素点的个数；N_{mv_region}(i)表示运动分割部分所占第i类纹理分割区域像素点的个数。k列举了在当前宏块中运动区域所占纹理区域的类型，其中k≤M。

②依据步骤一所得到的宏块运动复杂度系数，计算决定量化参数调整量：

$\mathrm{\&Delta;QP}(n,m)=\left\{\begin{array}{c}\mathrm{\&alpha;},\mathrm{if}(0.9\&le;x_{\mathrm{mb}}(n,m)\&le;1)\\ \mathrm{\&beta;},\mathrm{if}(0.5\&le;x_{\mathrm{mb}}(n,m)<0.9)\\ \mathrm{\&gamma;},\mathrm{if}(0<x_{\mathrm{mb}}(n,m)<0.5)\\ \mathrm{\&mu;},\mathrm{else}\end{array}\right.$

式中α、β、γ、μ为量化参数调节系数，大小由具体实验确定，其取值范围为μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。x_mb(n，m)为计算所得的每一个宏块的运动复杂度系数。

③依据所得到的量化参数调整量，更新P帧的量化参数：

BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)

式中ΔQP(n，m)为公式(8)得到的量化参数调整量，n和m为当前宏块所占图像中位置坐标。

④为了防止调整后的量化参数BasicUnitQP(n，m)超出范围，限定调整后P帧的量化参数：

BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)

式中n和m表示当前跳帧宏块位置，即第(n，m)个宏块。

(5)检测场景切换帧，调整其量化参数的过程如下：

①依据运动分割图，计算场景切换帧判定因子β₁，β₂，β₃：

${\mathrm{\&beta;}}_1=\frac{|{\mathrm{Num}}_{\mathrm{region}}\left(j\right)-{\mathrm{Num}}_{\mathrm{region}}(j-1)|}{({\mathrm{Num}}_{\mathrm{region}}\left(j\right)+{\mathrm{Num}}_{\mathrm{region}}(j-1))/2}$

${\mathrm{\&beta;}}_2=\frac{N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1)-{2N}_{\mathrm{common}}\left(j\right)}{(N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1))/2}$

${\mathrm{\&beta;}}_3=\frac{B\left(j\right)-B(j-1)}{B(j-1)}$

式中Num_region(j)为第j帧中运动对象所占纹理分割图的区域类型数；N_mv(j)为运动对象分割部分所占第j帧中像素点的个数；N_common(j)为第j帧和其前一帧运动对象公共区域像素点的个数；B(j)是第j帧所分配到的比特数。

②依据计算得到的判定因子β₁，β₂，β₃，计算场景切换帧判定参数η：

η＝α₁·β₁+α₂·β₂+α₃·β₃

式中a₁，a₂，a₃为三个判定因子β₁，β₂，β₃的加权系数，其取值可由具体实验确定。

③得到判定参数后，调整当前帧的量化参数：

$\mathrm{img}\_\mathrm{QP}=\left\{\begin{array}{c}\mathrm{img}\_\mathrm{QP}+\mathrm{\&rho;},\mathrm{if}(\mathrm{\&eta;}>b)\\ \mathrm{img}\_\mathrm{QP},\mathrm{else}\end{array}\right.$

式中ρ为阈值，b为量化参数调整量。

本发明与H.264的校验模型JM10.2版本上的码率控制方法相比，具有如下的突出实质性特点和显著优点：本发明能够将分配给GOP的比特数在其帧间进行合理的调整，能够将分配给编码帧的比特数在人眼感兴趣区域和非感兴趣区域之间进行合理的调整，在相同甚至更少的比特数情况下获得更佳的主观视觉质量。

附图说明

图1是本发明的基于视频图像分割技术的码率控制方法流程框图。

图2是JM10.2校验模型和改进后的码率控制算法I帧比特数分布对比图。

图3是JM10.2校验模型和改进后的码率控制算法输入mother-daughter序列码率为256kbps时P帧编码比特数对比。

图4是JM10.2校验模型和改进后的码率控制算法输入foreman序列码率为192kbps时P帧编码比特数对比。

图5是低码率情况下mother-daughter JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。

图6是带宽192Kbps，量化参数36，Silent JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。

图7带宽256Kbps，量化参数32，foreman序列JM10.2校验模型(其中图(a))与改进后的码率控制算法视频(其中图(b))质量比较。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

本基于视频图像分割技术的码率控制方法是按图1所示程序框图，在CPU为Athlon x22.0GHz、内存1024M的PC测试平台上编程实现，图2是JM10.2校验模型与本编码算法中I帧所用比特数对比；图3和图4JM10.2校验模型与本编码算法中P帧所用比特数对比；图5～7为JM10.2校验模型与本编码图像的对比。

参见图1，本基于视频图像分割技术的码率控制方法，通过利用已有的视频图像分割方法，分割视频中的运动对象和不同的纹理图像。然后依此运动模型改进帧层和宏块层码率控制算法。最后利用运动对象检测场景切换帧，调整其量化参数。改进后的码率控制方法能按照视觉特征分配视频编码比特数，利用相同甚至更少的比特数获得更佳的主观视觉质量。

其步骤是：

(1)输入视频编码帧；

(2)利用某种视频图像分割方法得到运动对象分割图和纹理分割图；

(3)I帧码率控制算法调整：依据所分割出的运动对象计算每一帧的运动复杂度，并相应地调整I帧的初始量化参数；

(4)P帧码率控制算法调整：依据所分割出的运动对象二次分配P帧比特数；

(5)宏块层码率控制算法调整：依据所分割出的运动对象和纹理分割图像计算运动复杂度，调整每帧中宏块的量化参数，实现依据宏块的不同性质所进行的编码策略；

(6)场景切换帧码率控制算法调整：利用所分割出的运动对象和纹理分割图像判定场景切换，调整场景切换帧初始量化参数；

实施例二：

本实施例与实施例一基本相同，特别之处如下：

上述步骤(2)的运动模型建立过程如下：

①利用视频图像处理中的某种视频运动对象分割技术获得每一帧的运动对象，并用参数Mv(i，j)标示当前(i，j)像素点是否位于运动对象上。

②利用视频图像处理技术获得视频纹理分割图像，将具有相同纹理的部分归入同一区域。这些区域本身都是独立、联通、封闭的，所有区域的集合组成了一帧图像。用参数M记录所有纹理种类数，Region(i，j)表示每一个像素点(i，j)所在纹理区域的序号，其中Region(i，j)∈[1，M]。

上述步骤(3)I帧码率控制算法调整过程如下：

①依据所分割出的运动对象，按照公式(1)计算I帧的运动复杂度。式中x_I(n_i，1)为第i个GOP中I帧的运动复杂度系数；N_motion(n_i，1)为第i个GOP中I帧中分割出的运动对象所占像素点个数；N_all为每一帧图像中像素点总数。

$x_I\left(n_{i,1}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,1}\right)}{N_{\mathrm{all}}}---\left(1\right)$

②依据所分割出的运动对象，按照公式(2)计算P帧的运动复杂度。式中x_P(n_i，j)为第i个GOP中第j个P帧的运动复杂度；N_motion(n_i，j)为第i个GOP中第j帧中分割出的运动对象所占像素点个数；N_all为每一帧图像中像素点总数。

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}$ (2)

③按照以上两步中得到的I帧和P帧的运动复杂度系数，按照公式(3)计算一个GOP中每一帧的平均运动复杂度。式中x_GOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度；x_I(n_i，1)和x_P(n_i，j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度；K为每一个GOP的帧数。

$x_{\mathrm{GOP}}\left(i\right)=\frac{x_I\left(n_{i,1}\right)+\underset{j=2}{\overset{K}{\mathrm{\&Sigma;}}}{x}_P\left(n_{i,j}\right)}{K}---\left(3\right)$

④按照GOP中每一帧的运动复杂度系数，按公式(4)调整I帧量化参数。式中QP_img(i)为第i个GOP中I帧初始量化参数；α、β、γ为量化参数调节量；x_GOP(i)和X_I(n_i，1)由公式(1)和(3)计算得到。

${\mathrm{QP}}_{\mathrm{img}}^{\&prime;}\left(i\right)=\left\{\begin{array}{c}{\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&alpha;},\mathrm{if}0.5*x_{\mathrm{GOP}}(i-1)\&le;x_I\left(n_{i,1}\right)<0.8*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&beta;},\mathrm{if}{x}_I\left(n_{i,1}\right)<0.5*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&gamma;},\mathrm{else}\end{array}---\left(4\right)\right.$

上述步骤(4)的P帧码率控制算法调整过程如下：

①我们利用运动模型计算第i个GOP中第j帧的运动复杂度系数x_p(n_i，j)，见式(5)，其中N_motion(n_i，j)为第i个GOP第j帧中分割出的运动对象所占像素点的个数，N_all为一帧图像中像素点总数。

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}}---\left(5\right)$

②完成P帧比特数的第一次分配，获到比特数f(n_i，j)后，利用式(5)得到的运动复杂度按式(6)对P帧进行进行二次分配，得到重分配比特数f(n_i，j)^*。公式(6)中f(n_i，j)是H.264编码标准中P帧比特数分配算法得到的目标比特数。

$f{\left(n_{i,j}\right)}^{*}=f\left(n_{i,j}\right)\&times;\frac{x_p\left(n_{i,j}\right)}{\frac{1}{j-1}\underset{k=1}{\overset{j-1}{\mathrm{\&Sigma;}}}{x}_p\left(n_{i,k}\right)}---\left(6\right)$

上述步骤(5)的宏块层码率控制算法调整过程如下：

①依据所分割出的运动对象，按照公式(7)计算一帧中每一个宏块的运动复杂度系数。式中N_{mv_region}(n，m)为所分割出的第(n，m)个宏块中运动对象所占的像素点数；N_{mb_all}为宏块中像素点的总数。式(7)由两部分组成，左半部分反映了最终分割出的运动对象所占宏块中像素点的比率；公式的右半部分揭示了当前宏块所在的运动区域离其中心的距离，N_region(i)表示在运动分割对象中第i类纹理分割区域像素点的个数；N_{mv_region}(i)表示运动分割部分所占第i类纹理分割区域像素点的个数，其中i∈[1，M]。k列举了在当前宏块中运动对象所占纹理区域的类型。

$x_{\mathrm{mb}}(n,m)=\frac{N_{\mathrm{mv}\_\mathrm{region}}(n,m)}{N_{\mathrm{mb}\_\mathrm{all}}}\&CenterDot;\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{N_{\mathrm{region}}\left(i\right)}{N_{\mathrm{mv}\_\mathrm{region}\left(i\right)}}---\left(7\right)$

②依据步骤一所得到的宏块运动复杂度系数，按照公式(8)决定量化参数调整量。式中α、β、γ、μ为量化参数调节系数，大小由具体实验确定，其取值范围为μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ。x_mb(n，m)为计算所得的每一个宏块的运动复杂度系数。

$\mathrm{\&Delta;QP}(n,m)=\left\{\begin{array}{c}\mathrm{\&alpha;},\mathrm{if}(0.9\&le;x_{\mathrm{mb}}(n,m)\&le;1)\\ \mathrm{\&beta;},\mathrm{if}(0.5\&le;x_{\mathrm{mb}}(n,m)<0.9)\\ \mathrm{\&gamma;},\mathrm{if}(0<x_{\mathrm{mb}}(n,m)<0.5)\\ \mathrm{\&mu;},\mathrm{else}\end{array},---\left(8\right)\right.$

③依据所得到的量化参数调整量，按照公式(9)更新P帧的量化参数。式中ΔQP(n，m)为公式(8)得到的量化参数调整量，n和m为当前宏块所占图像中位置坐标。

BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)    (9)

④为了防止调整后的量化参数BasicUnitQP(n，m)超出范围，按照公式(10)限定调整后P帧的量化参数。式中n和m表示当前跳帧宏块位置，即第(n，m)个宏块。

BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51)    (10)

上述步骤(6)场景切换帧的判定以及量化参数的调整过程如下：

①依据运动分割图和纹理分割图，按照公式(11)～(13)计算场景切换帧判定因子，可依据此系数判定当前帧是否为场景切换帧。式中Num_region(j)为第j帧中运动对象所占纹理分割图的区域类型数；N_mv(j)为运动对象分割部分所占第j帧中像素点的个数；N_common(j)为第j帧和其前一帧运动对象公共区域像素点的个数；B(j)是第j帧所分配到的比特数。

${\mathrm{\&beta;}}_1=\frac{|{\mathrm{Num}}_{\mathrm{region}}\left(j\right)-{\mathrm{Num}}_{\mathrm{region}}(j-1)|}{({\mathrm{Num}}_{\mathrm{region}}\left(j\right)+{\mathrm{Num}}_{\mathrm{region}}(j-1))/2}---\left(11\right)$

${\mathrm{\&beta;}}_2=\frac{N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1)-{2N}_{\mathrm{common}}\left(j\right)}{(N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1))/2}---\left(12\right)$

${\mathrm{\&beta;}}_3=\frac{B\left(j\right)-B(j-1)}{B(j-1)}---\left(13\right)$

②依据计算得到的判定因子β₁，β₂，β₃，按照公式(14)计算场景切换帧判定参数η。式中a₁，a₂，a₃为三个判定因子β₁，β₂，β₃的加权系数，其取值可由具体实验确定。

η＝α₁·β₁+α₂·β₂+α₃·β₃    (14)

③得到判定参数后，依据公式(15)调整当前帧的量化参数。式中ρ为阈值，b为量化参数调整量。

$\mathrm{img}\_\mathrm{QP}=\left\{\begin{array}{c}\mathrm{img}\_\mathrm{QP}+\mathrm{\&rho;},\mathrm{if}(\mathrm{\&eta;}>b)\\ \mathrm{img}\_\mathrm{QP},\mathrm{else}\end{array}---\left(15\right)\right.$

以下给出输入视频格式为352×288的CIF时的实例，采用JM10.2版本的H.264编码器对标准测试序列进行编码。H.264编码器的配置如下：Baseline Profile，IPPP，每15帧插入1个I帧，1个参考帧，带宽设置为256k bps，帧率设置为30fps，初始量化参数设置为32。

采用典型的标准测试序列mother-daughter、Silent和foreman作为输入视频进行测试，图2是原编码模型和基于运动复杂度编码模型的码率控制算法在带宽为192kbps、初始量化参数为36时所得到的15个GOP中I帧的编码比特数分布图。从这两幅图可以看出经过调整后的I帧码率控制算法所用编码比特数的均值小于原模型。图3和图4是在不同码率下P帧在原编码模型和基于运动复杂度编码模型的码率控制算法中P帧的编码比特数分布图，从图上可以看出：经调整后的P帧编码比特数分布较为平缓，而由未经修改的码率控制方法所得到的P帧编码比特数变化剧烈。数据上的剧烈变化反映在视频图像质量上为模糊和清晰的图像的交替出现，大大降低视频序列的感官质量。图5～图6分别为低码率、中码率和高码率三种情况下JM10.2校验模型与本发明的编码图像的对比图，可以看出改进后的码率控制方法在视频图像质量上有明显的提高。

Claims (2)

1.基于视频图像分割技术的码率控制方法，其特征在于具体步骤如下：

(1)输入视频编码帧；

(2)利用视频图像分割方法得到运动对象分割图和纹理图像分割图；

(3)I帧码率控制算法调整：依据所分割出的运动对象计算每一帧的运动复杂度，并相应地调整I帧的初始量化参数；

(4)P帧码率控制算法调整：依据所分割出的运动对象二次分配P帧比特数；

(5)宏块层码率控制算法调整：依据所分割出的运动对象和纹理分割图像计算运动复杂度，调整每帧中宏块的量化参数，实现依据宏块的不同性质所进行的编码策略；

(6)场景切换帧码率控制算法调整：利用所分割出的运动对象和纹理分割图像判定场景切换，调整场景切换帧初始量化参数；

所述步骤3中依据所分割出的运动对象计算每一帧的运动复杂度，并相应地调整I帧的初始量化参数的步骤如下：

①依据所分割出的运动对象，按照下列公式(1)计算I帧的运动复杂度；式中x_I(n_i，1)为第i个GOP中I帧的运动复杂度，N_motion(n_i，1)为第i个GOP中I帧中分割出的运动对象所占像素点个数，N_all为每一帧图像中像素点总数，

$x_I\left(n_{i,1}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,1}\right)}{N_{\mathrm{all}}};---\left(1\right)$

②依据所分割出的运动对象，按照下列公式(2)计算P帧的运动复杂度；式中x_P(n_i，j)为第i个GOP中第j个P帧的运动复杂度，N_motion(n_i，j)为第i个GOP中第j帧中分割出的运动对象所占像素点个数，N_all为每一帧图像中像素点总数，

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}};---\left(2\right)$

③按照以上两步中得到的I帧和P帧的运动复杂度系数，按照下列公式(3)计算一个GOP中每一帧的平均运动复杂度；式中x_GOP(i)为第i个GOP中所有I帧和P帧的平均运动复杂度，x_I(n_i，1)和x_P(n_i，j)分别表示第i个GOP中I帧和第j个P帧的运动复杂度，K为每一个GOP的帧数，

$x_{\mathrm{GOP}}\left(i\right)=\frac{x_I\left(n_{i,1}\right)+\underset{j=2}{\overset{K}{\mathrm{\&Sigma;}}}{x}_P\left(n_{i,j}\right)}{K};---\left(3\right)$

④按照GOP中每一帧的平均运动复杂度，按下列公式(4)调整I帧量化参数；式中QP_img(i)为第i个GOP中I帧初始量化参数，α、β、γ为量化参数调节量，x_GOP(i)和x_I(n_i，1)由上列公式(1)和(3)计算得到，

${\mathrm{QP}}_{\mathrm{img}}^{\&prime;}\left(i\right)=\left\{\begin{array}{c}{\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&alpha;},\mathrm{if}0.5*x_{\mathrm{GOP}}(I-1)\&le;x_I\left(n_{i,1}\right)<0.8*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&beta;},\mathrm{if}{x}_I\left(n_{i,1}\right)<0.5*x_{\mathrm{GOP}}(i-1)\\ {\mathrm{QP}}_{\mathrm{img}}\left(i\right)+\mathrm{\&gamma;},\mathrm{else}\end{array}\right.---\left(4\right);$

所述步骤4中依据所分割出的运动对象二次分配P帧比特数的步骤如下：

①利用运动模型计算第i个GOP中第j帧的运动复杂度系数x_p(n_i，j)，按下列公式(5)计算；其中N_motion(n_i，j)为第i个GOP第j帧中运动对象所占像素点的个数，N_all为一帧图像中像素点总数，

$x_p\left(n_{i,j}\right)=\frac{N_{\mathrm{motion}}\left(n_{i,j}\right)}{N_{\mathrm{all}}};---\left(5\right)$

②完成P帧比特数的第一次分配，获得比特数f(n_i，j)后，利用上列公式(5)得到的运动复杂度，按下列公式(6)对P帧进行二次分配，得到重分配比特数f(n_i，j)^*；下列公式(6)中f(n_i，j)是H.264编码标准中P帧比特数分配算法得到的目标比特数，

$f{\left(n_{i,j}\right)}^{*}=f\left(n_{i,j}\right)\&times;\frac{x_p\left(n_{i,j}\right)}{\frac{1}{j-1}\underset{k=1}{\overset{j-1}{\mathrm{\&Sigma;}}}{x}_p\left(n_{i,k}\right)}---\left(6\right);$

所述步骤5中依据所分割出的运动对象和视频纹理图像计算运动复杂度，调整每帧中宏块的量化参数通过下述步骤实现：

①依据所分割出的运动对象，按照下列公式(7)计算一帧中每一个宏块的运动复杂度，式中N_{mv_region}(n，m)为运动模型所分割出的第(n，m)个宏块中运动感知对象所占的像素点数，N_{mb_all}为宏块中像素点的总数；该下列公式(7)由两部分组成：左半部分反映了最终分割出的运动区域所占宏块中像素点的比率；右半部分揭示了当前宏块所在的运动区域离其中心的距离；N_region(i)表示在运动模型中第i类纹理区域像素点的个数，其中i∈[1，M]，其中M表示所有纹理种类数，N_{mv_region}(i)表示运动分割部分所占第i类纹理图像分割区域像素点的个数，k列举了在当前宏块中运动区域的类型，

$x_{\mathrm{mb}}(n,m)=\frac{N_{\mathrm{mv}\_\mathrm{region}}(n,m)}{N_{\mathrm{mb}\_\mathrm{all}}}\&CenterDot;\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\frac{N_{\mathrm{region}}\left(i\right)}{N_{\mathrm{mv}\_\mathrm{region}}\left(i\right)};---\left(7\right)$

②依据步骤①所得到的宏块运动复杂度系数，按照下列公式(8)决定量化参数调整量；式中α、β、γ、μ为量化参数调节系数，大小由具体实验确定，其取值范围为μ＜0，α、β、γ＞0，且α＞β＞γ，|μ|≤γ；x_mb(n，m)为计算所得的每一个宏块的运动复杂度系数，

$\mathrm{\&Delta;QP}(n,m)=\left\{\begin{array}{c}\mathrm{\&alpha;},\mathrm{if}(0.9\&le;x_{\mathrm{mb}}(n,m)\&le;1)\\ \mathrm{\&beta;},\mathrm{if}(0.5\&le;x_{\mathrm{mb}}(n,m)<0.9)\\ \mathrm{\&gamma;},\mathrm{if}(0<x_{\mathrm{mb}}(n,m)<0.5)\\ \mathrm{\&mu;},\mathrm{else}\end{array}\right.---\left(8\right)$

③依据所得到的量化参数调整量，按照下列公式(9)更新P帧的量化参数；式中ΔQP(n，m)为公式(8)得到的量化参数调整量，n和m为当前宏块所占图像中位置坐标，

BasicUnitQP(n，m)＝BasicUnitQP(n，m)+ΔQP(n，m)；      (9)

④为了防止调整后的量化参数BasicUnitQP(n，m)超出范围，按照下列公式(10)限定调整后P帧的量化参数；式中n和m表示当前跳帧宏块位置，即第(n，m)个宏块，

BasicUnitQP(n，m)＝min(max(BasicUnitQP(n，m)，18)，51) (10)；

所述步骤6中利用所分割出的运动对象和视频纹理图像来判定场景切换，调整场景切换帧

初始量化参数通过以下步骤实现：

①依据运动分割图和纹理分割图，按照下列公式(11)～(13)计算场景切换帧判定因子，依据此判定因子判定当前帧是否为场景切换帧；式中Num_region(j)为第j帧中运动对象所占纹理分割图像的区域类别数，N_mv(j)为运动对象部分所占第j帧中像素点的个数，N_common(j)为第j帧和其前一帧运动对象公共区域像素点的个数，B(j)是第j帧所分配到的比特数，

${\mathrm{\&beta;}}_1=\frac{|{\mathrm{Num}}_{\mathrm{region}}\left(j\right)-{\mathrm{Num}}_{\mathrm{region}}(j-1)|}{({\mathrm{Num}}_{\mathrm{region}}\left(j\right)+{\mathrm{Num}}_{\mathrm{region}}(j-1))/2},---\left(11\right)$

${\mathrm{\&beta;}}_2=\frac{N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1)-{2N}_{\mathrm{common}}\left(j\right)}{(N_{\mathrm{mv}}\left(j\right)+N_{\mathrm{mv}}(j-1))/2},---\left(12\right)$

${\mathrm{\&beta;}}_3=\frac{B\left(j\right)-B(j-1)}{B(j-1)};---\left(13\right)$

②依据计算得到的判定因子β₁，β₂，β₃，按照下列公式(14)计算场景切换帧判定参数η；式中a₁，a₂，a₃为三个判定因子β₁，β₂，β₃的加权系数，其取值由具体实验确定，

η＝a₁·β₁+a₂·β₂+a₃·β₃；            (14)

③得到判定参数后，依据下列公式(15)调整当前帧的量化参数；式中ρ为量化参数调整量，b为阈值，

$\mathrm{img}\_\mathrm{QP}=\left\{\begin{array}{c}\mathrm{img}\_\mathrm{QP}+\mathrm{\&rho;},\mathrm{if}(\mathrm{\&eta;}>b)\\ \mathrm{img}\_\mathrm{QP},\mathrm{else}\end{array}\right.---\left(15\right).$

2.根据权利要求1所述的基于视频图像分割技术的码率控制方法，其特征在于所述步骤2中利用视频图像分割方法得到运动对象分割图和纹理图像分割图的步骤如下：

①利用视频图像处理中的任一种视频运动对象分割技术获得每一帧的运动对象，并用参数Mv(i，j)标示当前(i，j)像素点是否位于运动对象上；

②利用视频图像处理技术获得视频纹理图像分割图，将具有相同纹理的部分归入同一区域；这些区域本身都是独立、联通、封闭的，所有区域的集合组成了一帧图像；用参数M记录所有纹理种类数，Region(i，j)表示每一个像素点(i，j)所在纹理区域的序号，其中Region(i，j)∈[1，M]。

Images