CN1232124C - 基于离散余弦变换的高级视频编码方法和设备 - Google Patents

Abstract

一种改进的运动图像编码方法，是基于离散余弦变换(DCT)的运动图像编码方法，使用多个改进的量化权矩阵，该方法包含：基于输入图像数据中的噪声信息，来选择多个改进的量化权矩阵之一；对输入图像数据执行DCT；以及使用所选的改进的量化权矩阵，对经过DCT的输入图像数据执行量化。

Description

基于离散余弦变换的高级视频编码方法和设备

本申请要求于2002年12月27日向韩国工业产权局提交的韩国专利申请第2002-85447号的优先权，其全部内容以引用方式包含在本文的内容中。

技术领域

本发明涉及一种对运动图像进行编码的方法和设备，特别是涉及一种从输入到基于离散余弦变换(DCT)的运动图像编码器的图像中有效去除噪声失真的方法和设备。

背景技术

目前已开发出一种安装盒(setup box)，它能够接收模拟地球广播内容，并且使用压缩技术例如MPEG 2和MPEG 4对其进行编码。但是，在地球广播内容的情况下，接收站所接收到的图像很可能由于信道噪声而失真。例如，可能整幅图像都包含白高斯噪声。如果不去除图像中的噪声而压缩这种图像，由于存在噪声而使压缩效率降低。

因此，在去除运动图像中的噪声方面，已经进行了重要的研究。传统上使用空间降噪方法(spatial noise reduction method)或时间降噪方法(temporalnoise reduction method)来去除图像中的噪声。

以下将参照图1至4来说明传统的噪声去除方法。图1是示出对运动图像进行编码的通用编码器的方框图。为了执行视频点播(VOD)业务或运动图像通信，编码器产生包含有关数据的压缩比特流。

离散余弦变换(DCT)单元110以8×8像素块为单位，对输入图像数据执行DCT操作，以便去除空间相关性(spatial correlation)。量化(Q)单元120对DCT单元110所获取的DCT系数执行量化，以便完成高效有损压缩(highefficient loss compression)。

反量化(IQ)单元130反量化由Q单元120所量化的图像数据。反DCT(IDCT)单元140对已经由IQ单元130反量化的图像数据执行IDCT。在IDCT单元140对图像数据执行完IDCT之后，帧存储器150基于帧存储图像数据。

运动估计/运动补偿单元(ME/MC)单元160基于当前输入的图像数据帧和存储在帧存储器150中的前一幅图像数据帧，估计单个宏块的运动矢量(MV)和与块匹配误差相应的绝对差值的和(SAD)。

变长编码单元170使用由ME/MC单元160估计的MV，去除经过DCT及量化处理的数据中的统计冗余。

图2是说明使用传统降噪方法的运动图像编码器的方框图。运动图像编码器包含如图1所示的通用视频编码器220和预处理器210。预处理器210使用传统降噪方法去除输入图像的噪声，然后将输入图像输入至视频编码器220中。

通常，预处理器220使用空间降噪方法或时间降噪方法，去除图像的噪声。也可以使用结合这些方法的空间-时间降噪方法(spatial-temporal noisereduction)。

图3和4是说明空间降噪方法的示意图。参照图3，边缘选择器310对图4所示的8个空间降噪滤波屏蔽(spatial noise reduction filtering mask)执行高通滤波，以便获取滤波输出，并且选择滤波方向，以便相对于每个屏蔽获取最小的滤波输出。系数控制器320通过调整所选滤波方向上的低通滤波系数，在所选的方向上执行低通滤波。边缘选择器310所使用的屏蔽的个数越多，方向检测的准确度越高，而降噪效果越差。相反地，所使用的屏蔽的个数越少，降噪效果越好，而边缘模糊的频率越高。

图5是说明时间降噪方法的方框图。参照图5，运动检测器510基于输入图像和存储在帧存储器530中的前一幅图像，估计当前图像中的运动和噪声量。如果运动检测器510确定当前图像中包含较小的运动量和较大的噪声量，时间递归滤波器520在时间轴方向上对当前图像执行强低通滤波。相反，如果运动检测器510确定当前图像中包含较大的运动量和较小的噪声量，时间递归滤波器520输出未进行低通滤波的当前图像。时间降噪方法在处理静止图像方面较为有效。US专利第5969777号中公开了时间降噪方法。

但是，即使在使用锐化图像边缘的传统空间降噪方法对图像进行滤波时，仍然会出现模糊现象。同样，由于传统的时间降噪滤波不适合于对运动图像进行滤波，图像中仍然存在过量噪声。

发明内容

本发明的其它方面和优点，部分将会通过以下的描述阐明，部分将从描述中明显看出，或者通过对本发明的实践而获得。

本发明提供一种降噪方法和设备，该方法和设备能够通过在运动图像编码器中对图像进行滤波来去除图像中的噪声。

本发明还提供一种使用这样的噪声去除方法和设备的运动图像编码设备和方法。

根据本发明的一个方面，基于离散余弦变换(DCT)的运动图像编码方法使用多个改进的量化权矩阵，该方法包括：基于输入图像数据中的噪声信息，选择多个改进的量化权矩阵之一；对输入图像数据执行DCT；以及使用所选的改进的量化权矩阵，对经过DCT的输入图像数据执行量化。

根据本发明的另一个方面，基于DCT的运动图像编码方法包括：使用输入图像数据中的噪声信息，产生改进的量化权矩阵；对输入图像数据执行DCT；以及使用改进的量化权矩阵，对经过DCT的输入图像数据执行量化。

根据本发明的另一个方面，基于DCT的运动图像编码设备使用多个改进的量化权矩阵，并且包括：改进的量化权矩阵存储单元，存储多个改进的量化权矩阵；改进的量化权矩阵确定单元，基于输入图像数据中的噪声信息，选择多个改进的量化权矩阵之一；DCT单元，对输入图像数据执行DCT；和量化单元，使用所选的改进的量化权矩阵，对经过DCT变换的数据执行量化。

根据本发明的另一个方面，基于DCT的运动图像编码设备包括：改进的量化权矩阵产生单元，基于输入图像数据中的噪声信息，产生改进的量化权矩阵；DCT单元，对输入图像数据执行DCT；和量化单元，使用所产生的改进的量化权矩阵，对经过DCT变换的数据执行量化。

附图说明

通过以下结合附图对优选实施例进行的描述，本发明的这些和/或其它方面和优点将会变得更加清楚，并且更容易被理解，其中：

图1是说明传统运动图像专家组(MPEG)编码器的方框图；

图2是使用预处理器的传统运动图像编码器的方框图；

图3说明传统的空间降噪滤波器；

图4说明由图3的滤波器在其上执行滤波的8个屏蔽；

图5是说明传统的时间降噪滤波器的方框图；

图6是说明对非零平均值图像数据(non-zero-mean image data)进行滤波的近似广义维纳滤波器(approximated generalized Wiener filter)的方框图；

图7是说明在离散余弦变换(DCT)域对非零平均值图像数据进行滤波的近似广义维纳滤波器的方框图；

图8A至8C说明在内块(intra block)编码期间所使用的滤波器的结构；

图9说明在间块(inter block)编码期间所使用的通用视频编码器的结构；

图10是根据本发明的一个实施例的运动图像编码器的方框图；和

图11是根据本发明的另一实施例的运动图像编码器的方框图。

具体实施方式

现在将详细参照本发明的优选实施例，附图中示出了其示例，其中相同的附图标记始终表示相同的部件。以下将参照附图说明这些实施例，以便说明本发明。

以下，将参照图6至9来说明本发明的实施例所使用的改进的降噪方法。

预处理滤波是运动图像编码中包含的一种主要处理。通过预处理滤波可以去除图像中包含的噪声，从而提高编码效率。为了去除图像中的噪声，传统的预处理滤波通常在编码器的空间像素域中执行，而根据本发明实施例的预处理滤波在编码器的离散余弦变换(DCT)域中执行。

特别地，在本发明的实施例中，执行近似广义维纳滤波以去除图像中的噪声。通过对图像执行快速酉变换(fast unitary transformation)例如DCT，来实现近似维纳滤波。另外，可以使用其他滤波技术，在DCT域对图像进行滤波。

图6是说明根据本发明实施例对非零平均值的图像数据进行滤波的近似广义维纳滤波的方框图。

在图6中，v表示包含噪声的输入图像块，ω表示经过滤波的图像块的列向量。通常，输入图像块v指非零平均值的图像块。平均值估计单元610估计图像块的平均值 减法器620从输入图像块v中减去估计出的平均值

并且输出数据z作为结果。

接着，由滤波单元630对数据z进行滤波，滤波单元630输出经过滤波的数据

作为滤波结果。减法器640合并滤波数据

和图像块的平均值

并且输出所需的滤波数据

作为合并结果。

现在将说明对零平均值的图像执行广义维纳滤波的方法。对零平均值的图像执行广义维纳滤波可以表示如下：

其中， $\tilde{L}=\begin{array}{cc}\mathrm{AL}& A^{*T}\end{array},,L={[I+{\mathrm{\σ}}_n^2{R}^{-1}]}^{-1},R=E\left[\begin{array}{cc}y& y^T\end{array}\right],Z=\mathrm{Az},$ σ_n ²表示噪声方差，A表示酉变换。在本实施例中，使用DCT对图像进行滤波，因此，A代表DCT。同样，当C8表示8×8的DCT矩阵且表示克罗内克乘法运算符(Kroneckermultiplication operator)时，A＝(C₈C₈)。

通常，因为 在酉变换中被近似地对角线化(diagonalized)，也可以如下表示方程式(1)：

其中，

当将方程式(2)应用到8×8的图像块时，可以获得以下方程式：

可以将

表示如下：

$\tilde{p}(k,l)\≅\frac{1}{1+\frac{{\mathrm{\σ}}_n^2}{{\mathrm{\σ}}^2}\mathrm{\ψ}{(k,l)}^{-1}}---\left(4\right)$

其中，ψ(k，l)表示沿AR A^*T的对角线的归一化元素值，σ²表示原始图像y的方差。通常，由于σ²是未知值，用通过从方差z中减去噪声方差所获得的值来代替它。

根据方程式(3)，通过用

乘二维DCT系数，使零平均值图像块经过近似广义维纳滤波。在确定滤波数据 之后，通过合并滤波数据 和平均值

就获得最后的滤波图像。

现在将就非零图像模型来说明广义维纳滤波。图7示出根据本发明的实施例在DCT域对非零图像块进行滤波的近似通用维纳滤波器的结构。即，图7的滤波器通过对图像模型执行加法和减法运算，来对图像模型进行滤波。假设通过用S(k，l)乘输入的包含噪声的DCT块，来获得平均值图像块，表示成方程式(5)，可以如图8所示重新构造图7的滤波器。

基于以上假设，可以如下使用方程式(3)和(5)来表示在DCT域滤波的图像块：

可以如下表示F(k，l)：

方程式(6)揭示可以仅使用F(k，l)和乘法运算符来简化广义维纳滤波。方程式(7)揭示通过信噪比(SNR)、协方差矩阵和平均值矩阵来确定F(k，l)。

在本实施例中，选择满足方程式(5)的矩阵作为平均值矩阵S(k，l)。例如，可以如下表示DCT块中的平均值矩阵S(k，l)的DC值：

$S(k,l)\left[\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]---\left(8\right)$

现在将参照图8和9说明运动图像编码器中的预处理。如上所述，通过对DCT系数执行乘法操作，即使是非零的输入图像块，也可以经历近似广义维纳滤波。

图8A至8C是说明对内块执行近似通用维纳滤波的运动图像编码器的结构的方框图。图8A和8C的编码器在DCT域对内块进行滤波，并且在不经过反DCT(IDCT)的情况下，对滤波的内块执行量化及变长编码(VLC)。

换句话说，通过用F(k，l)乘DCT系数，来对内块进行简单地滤波，然后，用量化表中的特征值乘(或除)每一DCT系数。从而，将乘法和量化结合起来进行处理。

如图9所示，假设运动补偿估计块信息p(m，n)中已经去除噪声，那么可以对间块执行图8A至8C所示的近似广义维纳滤波。

通常，根据输入图像块是间块还是内块来确定协方差ψ(k，l)。于是，也可根据块类型来改变方程式(7)所表示的F(k，l)。

以下，将参照方程式(9)来说明计算从中减去平均值的内块或间块的估计方差的方法。其中S表示已减去平均值的N×N块(N＝8)，可以如下获得块的方差矩阵：

在名称为“Covariance Analysis of Motion-Compensated Frame Differences”的、作者为W.Niehsen和M.Brunig的文章中公开了方程式(9)，这篇文章出自1999年6月出版的IEEE Trans.Circ.Syst.For Video Technol。

可以将方程式(9)应用到多幅图像来计算估计方差。在内块的情况下，基于8×8的块来一块接一块地处理原始图像。在间块的情况下，使用全搜索(fullsearch algorithm)算法来检测和搜集间块，并且使用方程式(9)来计算估计方差。

接着，使用计算出的估计方差来计算R＝E[y y^T]，并且对R执行DCT以便获得ψ＝AR A^*T。

现在将说明计算方程式(7)中所表示的σ_n ²/σ²的方法。首先，可以使用噪声估计单元来计算σ_n ²/σ²中的噪声方差σ_n ²。同样，当噪声和原始图像像素是随机变量时，认为变量是独立的(independent)。于是，如下计算原始图像的方差σ²的估计值

其中，σ_z ²表示宏块(MB)的方差。通用运动图像编码器基于MB接MB(MB-by-MB)来计算方差σ_z ²。在本实施例中，认为相同的MB中包含的8×8块具有相同的方差，于是减少了对各8×8块的方差的额外的计算量。

图10说明根据本发明的一个实施例的使用降噪方法的运动图像编码器。以下，将参照图1至10来说明使用降噪方法的图10的运动图像编码器。

将图1所示的通用编码器与图10中的编码器相比较，根据本发明实施例的图10中的运动图像编码器，还包含噪声估计单元1080、量化(Q)权矩阵确定单元1092和Q权矩阵存储单元1094。DCT单元1010、IDCT单元1040、帧存储器1050、运动估计(ME)/运动补偿(MC)单元1060和变长编码单元1070，具有与图1所示的编码器的相应单元相同的功能，因此，此处省略对它们的说明。

Q权矩阵确定单元1092使用分别从噪声估计单元1080和ME/MC单元1060发送的噪声方差σ_n ²和σ_z ²来确定量化(Q)权矩阵。同样，Q权矩阵确定单元1092给Q权矩阵存储单元1094发送关于Q权矩阵的索引信息。

以下，将详细说明Q权矩阵确定单元1092的操作。Q权矩阵确定单元1092分别从噪声估计单元1080和ME/MC单元1060发送的噪声方差σ_n ²和σ_z ²来确定Q权矩阵。

利用方程式(7)和方程式(8)以及图8和9来计算F(k，l)。接着，如图8C所示，用F(k，l)乘8×8图像块的每一DCT系数V(k，l)，以便获得 并且在量化处理中用Q权矩阵除

根据本发明实施例的运动图像编码器执行集成处理，其中用F(k，l)乘每一DCT系数V(k，l)以便获得

并且在量化处理中用Q权矩阵除 如果Q权矩阵QT的(k，l)位置分量是Q(k，l)，则新的Q权矩阵QT′的(k，l)位置分量是Q(k，l)/F(k，l)。

在本实施例中，结合乘法和除法处理来进行处理。即，使用方差σ_n ²和σ_z ²来确定多个F矩阵，并且使用多个F矩阵来计算新的Q权矩阵QT′，并且将其存储在Q权矩阵存储单元1094中。

在本实施例中，使用方差σ_n ²和σ_z ²来计算5个新的Q权矩阵QT′，并且将其存储在Q权矩阵存储单元1094中。如果确定了方差σ_n ²和σ_z ²，就可以利用方程式(10)，以这些方差来计算σ_n ²/σ²。

方程式(7)揭示使用S(k，l)、ψ(k，l)和σ_n ²/σ²来确定F(k，l)。利用方程式(8)来计算S(k，l)。依赖于输入图像是间块还是内块，来根据块类型改变ψ(k，l)。这里，σ_n ²/σ²仅仅是用于确定F(k，l)的变量。在本实施例中，将σ_n ²/σ²分成5种情况，产生5个新的Q权矩阵QT′，并且将其存储在Q权矩阵存储单元1094中。

Q权矩阵确定单元1092使用分别从噪声估计单元1080和ME/MC单元1060输入的方差σ_n ²和σ_z ²来量化σ_n ²/σ²。接着，Q权矩阵确定单元1092给Q权矩阵存储单元1094发送与量化的σ_n ²/σ²相应的新的Q权矩阵索引。如果基于σ_n ²/σ²将存储在Q权矩阵存储单元1094中的Q权矩阵划分成5种情况，则在5个级别上执行量化处理，Q矩阵索引是从0至4的值。

当图像包含大量噪声时，即它具有较大的噪声方差时，具有较小方差的每个图像块的σ_n ²/σ²就会变大。正如从方程式(7)和(8)得知的，σ_n ²/σ²越大，F(k，l)越接近于0，图像块的频率越高。为了防止图像的阻塞(blocking)，如下列方程式所示使用T_cutoff：

${\mathrm{\σ}}_n^2/{\mathrm{\σ}}^2=\min (T_{\mathrm{cutoff}},{\mathrm{\σ}}_n^2/{\mathrm{\σ}}^2)---\left(11\right)$

通常，将T_cutoff的值设置在1和2之间。

Q权矩阵存储单元1094基于从Q权矩阵确定单元1092输入的Q权矩阵索引信息来选择所需的Q权矩阵，并且将Q权矩阵发送给量化(Q)单元1020。

Q单元1020接收Q权矩阵，并且使用Q权矩阵来执行量化。

反Q单元1030基于缺省Q权矩阵执行反量化。

新的Q权矩阵可以由用户任意确定。该实施例同样说明了在DCT域中去除输入图像块的Y分量的噪声。但是，没有限制选择去除噪声的图像块的哪一个分量。例如，当提供其它合适的权矩阵时，可以选择分量U或V。

图11说明根据本发明的另一个实施例的使用降噪方法的运动图像编码器。比较图1和图11，图11的运动图像编码器还包含噪声估计单元1180和改进的量化(Q)权矩阵产生单元1190。在图11中，DCT单元1110、IDCT单元1140、帧存储器1150、ME/MC单元1160和VLC单元1170，具有与图1所示的相应单元相同的功能，因此，这里将省略对它们的说明。

改进的Q权矩阵产生单元1190使用分别从噪声估计单元1080和ME/MC单元1060发送的方差σ_n ²和σ_z ²，来产生改进的量化(Q)权矩阵。将改进的Q权矩阵发送给Q单元1120。

接着，Q单元1120使用从Q权矩阵产生单元1190输入的改进的Q权矩阵来执行量化。

现在将详细说明根据本发明实施例的使用方差σ_n ²和σ_z ²产生改进的量化(Q)权矩阵的方法。

结合方程式(8)和关于图8和9的说明，利用方程式(7)来计算F(k，l)。接着，如图8(C)所示，用F(k，l)乘8×8图像块的每一DCT系数V(k，l)，以便获得 并且在量化处理中用Q权矩阵除

根据本发明实施例的改进的Q权矩阵产生单元1190执行综合处理，其中用F(k，l)乘每个DCT系数V(k，l)以便获得 并且在量化处理中用Q权矩阵除 即，结合乘法和量化来产生集成处理。如果Q权矩阵QT的(k，l)位置分量是Q(k，l)，则新的Q权矩阵QT′的(k，l)位置分量是Q(k，l)/F(k，l)。

改进的Q权矩阵产生单元1190使用方差σ_n ²和σ_z ²产生改进的Q权矩阵QT′，并且将矩阵QT′提供给Q单元1120。Q单元1120对矩阵QT′执行量化。反Q单元1130使用原始缺省的Q权矩阵来执行反量化。

已经参照本发明的示例性实施例，详细说明和示出了本发明，本领域技术人员应当理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。特别地，可以将本发明应用于使用压缩技术例如MPEG-1、MPEG-2或MPEG-4的任意运动图像编码设备或方法。

本发明也可以表现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是存储由计算机系统读取的数据的任意数据存储装置。计算机可读记录介质的示例包含只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储装置等。同样，可以通过载波例如Internet发送计算机可读代码。可以通过连接到网络的计算机系统来发布计算机可读记录介质，以便以分布方式存储和执行计算机可读代码。

如上所述，在根据本发明实施例的运动图像编码设备和方法中，可以通过使用DCT域的降噪设备，并且通过分别将存储及逻辑操作添加到传统的运动图像编码设备和方法中，来实现高性能的滤波。根据本发明实施例的运动图像编码设备和方法，与传统的运动图像编码设备和方法兼容。

虽然已经示出和说明了本发明的几个实施例，本领域技术人员应该理解，在不脱离权利要求及其等价方案所限定的本发明的原理和实质以及本发明的范围的情况下，可以对本实施例进行各种改变。

Claims (13)

1.一种基于离散余弦变换的运动图像编码方法，使用多个改进的量化权矩阵，所述方法包括：

基于输入图像数据中的噪声信息，选择所述多个改进的量化权矩阵之一；

对所述输入图像数据执行离散余弦变换；以及

使用所选的改进的量化权矩阵，对经过离散余弦变换的输入图像数据执行量化，

其中所述多个改进的量化权矩阵是通过根据噪声信息改进多个量化权矩阵来产生的，并且所述多个改进的量化权矩阵是根据所述输入图像数据的噪声信息来分类的。

2.如权利要求1所述的方法，其中所述噪声信息是输入图像方差与噪声方差的比值。

3.如权利要求1所述的方法，还包括对所述量化数据执行反量化，

其中，使用缺省的量化权矩阵执行所述反量化。

4.一种基于离散余弦变换的运动图像编码方法，包括：

通过根据从输入图像数据获得的噪声信息改进量化权矩阵，产生改进的量化权矩阵；

对所述输入图像数据执行离散余弦变换；以及

使用所述改进的量化权矩阵，对经过离散余弦变换的输入图像数据执行量化。

5.如权利要求4所述的方法，其中所述噪声信息是输入图像方差与噪声方差的比值。

6.如权利要求4所述的方法，还包括对所述量化数据执行反量化，

其中，使用缺省的量化权矩阵执行所述反量化。

7.一种基于离散余弦变换的运动图像编码设备，使用多个改进的量化权矩阵，所述设备包括：

改进的量化权矩阵存储单元，存储所述多个改进的量化权矩阵；

改进的量化权矩阵确定单元，基于输入图像数据中的噪声信息，选择所述多个改进的量化权矩阵之一；

离散余弦变换单元，对所述输入图像数据执行离散余弦变换；和

量化单元，使用所选的改进的量化权矩阵，对经过离散余弦变换的数据执行量化。

8.如权利要求7所述的设备，其中所述多个改进的量化权矩阵是根据所述输入图像数据的噪声信息来分类的。

9.如权利要求7所述的设备，其中所述噪声信息是输入图像方差与噪声方差的比值。

10.如权利要求7所述的设备，还包括反量化单元，其对所述量化数据执行反量化，

其中，使用缺省的量化权矩阵执行所述反量化。

11.一种基于离散余弦变换的运动图像编码设备，包括：

改进的量化权矩阵产生单元，基于输入图像数据中的噪声信息，产生改进的量化权矩阵；

离散余弦变换单元，对所述输入图像数据执行离散余弦变换；和

量化单元，使用所产生的改进的量化权矩阵，对经过离散余弦变换的数据执行量化。

12.如权利要求11所述的设备，其中所述噪声信息是输入图像方差与噪声方差的比值。

13.如权利要求11所述的设备，还包括反量化单元，其对所述量化数据执行反量化，

其中，使用缺省的量化权矩阵执行所述反量化。

Images