CN102223538A - 一种并行滤波的方法和装置 - Google Patents

Abstract

本发明提供一种并行滤波方法，包括：图像处理模块i对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，i＝0...N-1，N大于等于2；图像处理模块i，i＝0...N-1并行对各自独立编码处理后的图像进行环路滤波处理，其中，图像处理模块i，i＝1...N-1不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。本发明还提供一种并行滤波装置。本发明实现简单，对图像质量影响较小，大大提高了处理效率。

Description

一种并行滤波的方法和装置

技术领域

本发明涉及视频图像处理，尤其涉及一种并行滤波的方法和装置。

背景技术

目前，高清视频已经成为市场的热点，相比于标清，高清图像的优势是分辨率高，细节清晰。但随之而来的问题是，高清图像所带来的处理资源消耗与标清相比也是指数上升。就720P来说，分辨率是4cif的2倍多，1080I/P是4cif的5倍多，这么高的分辨率意味着高密度的数据处理，这对于DSP(Digital Signal Processing，数字信号处理)处理能力来说，是个极大的挑战。现在高清图像视频朝1440P超高清发展，多核或多片DSP编码一路高清视频成为必选的方案。同时目前市场上最受热捧的视频编码标准H.264，是一种高复杂的协议，这更使本来不足的DSP处理能力捉襟见肘。

所以，当单个DSP芯片的处理能力不足以独立完成高清图像(特别是1080I/P)任务时，众厂家纷纷采用多DSP芯片共同完成高清图像编码也就成了没有办法的办法了。下面多DSP芯片编码没作特殊说明，都指双片编码。

对于H.264协议，编码一帧图像的主要过程有：预测(包括帧内预测和帧间预测)、DCT变换、量化、熵编码、反量化、反DCT变换、滤波。滤波之后的图像作为后续图像的预测图像。这些过程，除了滤波，都是在slice(片)内部，比如帧内预测所需的参考值不会超越slice边界。所以，当将图像划分成两半时，双片可以独立处理，因为所需的数据均在当前slice内部，也就是当前DSP芯片的工作数据集中，不会存在第二片DSP需要的数据要等待第一片DSP处理完才能开始。

但是，H.264的滤波过程是个例外，其滤波是整帧进行滤波，而且严格按照宏块的光栅扫描顺序进行，是最不容易分拆平行的部分。对某个特定宏块来说，其可以滤波的必要条件是：当前宏块的左相邻宏块和上相邻宏块均已经完成滤波。如果严格遵守协议，整帧顺序滤波，两片芯片必选相互等才能进行滤波，这样，第一片在滤波的时候，第二片其实在空闲等待中，这无疑是对DSP资源的浪费。

H.264/AVC视频编码标准中，编解码器反变换量化后图像出现方块效应，其原因：一由量化引入，二由运动补偿预测引入。解决这个问题的办法就是滤波，滤波有两种：后置滤波和环路滤波。后置滤波不是标准化的规范内容，在标准中是个可选项。与此不同，环路滤波处理编码环路中的数据。在编码中，被滤波的图像作为后续编码帧运动估计的参考帧，在解码中，滤波后的图像输出显示。这要求所有与标准一致的解码器采用一个滤波器与编码器同步。

H.264/AVC环路滤波，以4x4为单位进行滤波，滤完一个宏块再滤下一个宏块。宏块内部先滤垂直边界，后滤水平边界，垂直边界先上后下，水平边界先左后右。如图1所示。

对于每个亮度宏块先对宏块最左边的边界滤波，图1中的a，然后依次从左到右宏块内三个垂直边界，如图1中的b到d。对水平边界先对顶部边界滤波，如图1中的e，然后依次从上之下宏块内三个水平边界，即从图1中f到h。

H.264环路滤波是基于宏块基础上的，前一个宏块滤波才能进行下一个宏块的滤波，滤波是按宏块光栅扫描顺序进行。滤波宏块顺序如图2所示。由于H.264环路滤波有严格的滤波顺序，所以，在多片编码的时候，要多片并行不太容易。片1等待片0滤完一行宏块再进行滤波，这样会使DSP效率大大降低。

对于H.264高清视频编码多片解决方案，如何并行滤波是一个难题，而又是一个必须解决的难题。

发明内容

本发明要解决的技术问题是提供一种并行滤波方法和装置，提高系统资源利用率和处理效率。

为了解决上述问题，本发明提供了一种并行滤波方法，包括：

图像处理模块i对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，i＝0...N-1，N大于等于2；

图像处理模块i，i＝0...N-1并行对各自独立编码处理后的图像进行环路滤波处理，其中，图像处理模块i，i＝1...N-1不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

进一步的，上述方法还可具有以下特点，所述方法还包括，图像处理模块i和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

进一步的，上述方法还可具有以下特点，所述N片图像大小相同。

进一步的，上述方法还可具有以下特点，所述N片图像大小不全相同。

进一步的，上述方法还可具有以下特点，所述图像处理模块i，i＝0...N-1为数字信号处理芯片。

本发明还提供一种并行滤波装置，包括：N个图像处理模块，编号为0至N-1，其中：

所述图像处理模块0用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第0片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，所述N片图像中，其编号从左至右为0...N-1；

所述图像处理模块i，i＝1...N-1用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，且不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

进一步的，上述装置还可具有以下特点，所述图像处理模块i，i＝0...N-2还用于：和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

进一步的，上述装置还可具有以下特点，所述N片图像大小相同。

进一步的，上述装置还可具有以下特点，所述N片图像大小不全相同。

进一步的，上述装置还可具有以下特点，所述图像处理模块i，i＝0..N-1为数字信号处理芯片。

本发明提供的并行滤波方法和装置，将图像垂直方向分割为多片，滤波时，不对除左边一片图像外各片图像的最左垂直边界滤波，实现了多片并行滤波处理。本发明实现简单，对图像质量影响较小，大大提高了处理效率。

附图说明

图1是宏块中亮度滤波顺序；

图2是滤波宏块顺序；

图3是手绢slice划分顺序；

图4是右半部分图象第1列宏块划成同一个slice示意图；

图5是双片DSP同时并行滤波方法滤波顺序示意图；

图6是双片DSP同时编码滤波方法；

图7是多片DSP情况下图像slice划分示意图；

图8是多片DSP同时编码滤波方法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明的核心思想是：将图像垂直方向分割为多片，滤波时，不对除最左边一片图像外各片图像的最左垂直边界滤波，实现多片并行处理。

本发明提供一种并行滤波方法，包括：

图像处理模块i对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，i＝0...N-1，N大于等于2；

图像处理模块i，i＝0...N-1并行对各自独立编码处理后的图像进行环路滤波处理，其中，图像处理模块i，i＝1...N-1不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

图像处理模块i和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

其中，所述N片图像大小相同，或者，所述N片图像大小不全相同。

其中，所述图像处理模块为DSP芯片，当然，也可以是其他图像处理芯片。

本发明是以编码时应用手绢slice为基础的，手绢slice的划分是从上到下，从左到右划分slice，如图3所示。

以双片编码为例，说明进行双路并行滤波的具体实现。

本发明在图像分割处，将图像右半部分最左1列宏块划分为一个slice，禁止该slice垂直边界滤波，这样，实际上对于垂直滤波没有任何影响，唯一影响的是水平方向滤波，由于影响的只是slice边界，对于非边界仍然进行滤波，所以其影响很小。而对于左半部分图像则不需要做任何处理正常滤波。由于分割部分不进行滤波，两半图像的滤波可以独立进行。具体划分如图4所示。

如图6所示，包括：

步骤601：将图像分成左右两半，DSP0编码左半部分，DSP1编码右半部分。

划分时，左半部分和右半部分大小可以相同或不同。

以手绢slice顺序从上到下，从左到右划分图像。

步骤602：DSP1编码时，将右半部分图像的第一列宏块划分成同一个slice，并且设置该slice不进行slice边界滤波。如图4所示。H.264协议为了适应网络，将图像分割成一个一个的子图像进行单独编码，这些子图像就是slice，其最小单元是宏块，也就是说slice必须包含若干个宏块，可以是1个，也可以是整帧图像的所有宏块。Slice之间是独立互不影响的，可以由不同芯片单独进行编码。而滤波不是在slice内部，而是所有slice完成编码后，整帧进行滤波。将右半部分图像的第一列宏块包含在一个slice内的目的，就是因为这一列宏块的滤波需要等待左半部分滤波后才能开始滤波。本发明方案，将这列宏块所在的slice设置成边界不滤波，所谓slice边界不滤波，具体到某个宏块来说，如图1所示，对于垂直边界，a边界是宏块的左边界，同时也是此处的slice边界，因为该slice只包含一列宏块，所以边界e不滤波，而其他边界如b、c、d则仍然会进行滤波。所以只影响了a边界，对于其他垂直边界没有影响。而对于水平边界来说，本方案的划分方法对水平边界没有影响。由于影响的只是一个边界，基本不影响图像质量。

步骤603：DSP0和DSP1开始编码一帧图像，主要进行独立的slice编码过程，包括帧内预测和帧间预测、DCT变换、量化、熵编码、反量化、反DCT变换。这些过程都是可以在slice内部独立进行的。

步骤604：DSP0和DSP1独立编码完成，需要进行环路滤波，如果是单芯片编码，则进行整帧从左至右从上至下按宏块光栅扫描顺序滤波。如图5所示，由于将右半部分图像第一列宏块所在的slice设置成了边界不滤波，这就使得DSP1不需要等待DSP0滤波完成才开始滤波，而是可以直接开始滤波，只是在边界处不进行滤波。DSP0和DSP1完全独立滤波，大大提高了处理效率。

步骤605：DSP0和DSP1交换一列或多列滤波后数据，以供下一帧的独立编码处理和滤波处理作参考。

步骤606：对后续帧进行滤波时，重复步骤603～步骤605。

如果是N(N＞2)DSP编码滤波的情况，以N＝3为例，如图8所示，包括：

步骤801：将当前待处理高清图像帧按照两条垂直分割线分为左部分、中间部分和右部分；

步骤802，DSP1将中间部分图像的第一列宏块划分为同一个slice，设置对该slice不进行垂直边界滤波；DSP2将右部分图像的第一列宏块划分为同一个slice，设置对该slice不进行垂直边界滤波，如图7所示；

步骤803，DSP0、DSP1和DSP2对接收到的高清图像进行除环路滤波外的独立编码处理；

步骤804，DSP0、DSP1和DSP2并行对各自独立编码后的图像进行环路滤波，其中，DSP1不对中间部分图像的第一列宏块的最左垂直边界滤波，DSP2不对右部分图像的第一列宏块的最左垂直边界滤波；

步骤805，DSP0和DSP1交互滤波数据，DSP1和DSP2交换滤波数据，DSP0、DSP1和DSP2利用收到的滤波数据用来做下一待处理图像帧作参考。

后续其他帧的处理同步骤803至805。

N＞3的情况与N＝3的处理类似。

本发明还提供一种并行滤波装置，包括：N个图像处理模块，编号为0至N-1，其中：

所述图像处理模块0用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第0片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，所述N片图像中，其编号从左至右为0..N-1；

所述图像处理模块i，i＝1...N-1用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，且不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

所述图像处理模块i，i＝0...N-2还用于：和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

其中，所述N片图像大小相同。所述N片图像大小不全相同。

其中，所述图像处理模块i，i＝0..N-1为数字信号处理芯片。

在某些视频场景垂直方向上运动量大的情况下，比如交通道路高清监视视频运动场景垂直方向比水平方向更剧烈。将图像垂直分割成两半，这样分割后，一片DSP芯片处理一半图像，比如DSP0处理左半部分，DSP1处理右半部分图像。此时，运用本发明方案能实现更高压缩效率，同时达到双片独立滤波，并行度高。

本发明可以应用于H.264，也可以应用于其他与H.264类似的协议。

本发明提出的方案，在技术实现上比较简单，在不影响主观图像质量的前提上，很好的解决了多片进行滤波时的数据依赖问题，使得多片滤波完全并行，而且完全符合协议，不会产生编解码不一致而导致花屏的现象出现。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

Claims (10)

1.一种并行滤波方法，其特征在于，包括：

图像处理模块i对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，i＝0...N-1，N大于等于2；

图像处理模块i，i＝0...N-1并行对各自独立编码处理后的图像进行环路滤波处理，其中，图像处理模块i，i＝1...N-1不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

2.如权利要求1所述的方法，其特征在于，所述方法还包括，图像处理模块i和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

3.如权利要求1或2所述的方法，其特征在于，所述N片图像大小相同。

4.如权利要求1或2所述的方法，其特征在于，所述N片图像大小不全相同。

5.如权利要求1或2所述的方法，其特征在于，所述图像处理模块i，i＝0...N-1为数字信号处理芯片。

6.一种并行滤波装置，其特征在于，包括：N个图像处理模块，编号为0至N-1，其中：

所述图像处理模块0用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第0片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，所述N片图像中，其编号从左至右为0..N-1；

所述图像处理模块i，i＝1...N-1用于：对待编码的一帧图像从左至右垂直分割得到的N片图像中的第i片图像进行除环路滤波外的独立编码处理，以及，和其他N-1个图像处理模块并行对各自独立编码处理后的图像进行环路滤波处理，且不对第i片图像的第一列宏块的最左垂直边界进行环路滤波处理。

7.如权利要求6所述的装置，其特征在于，

所述图像处理模块i，i＝0...N-2还用于：和图像处理模块i+1交互滤波后数据，该滤波后数据用于下一帧的独立编码处理和环路滤波处理，i＝0...N-2。

8.如权利要求6或7所述的装置，其特征在于，所述N片图像大小相同。

9.如权利要求6或7所述的装置，其特征在于，所述N片图像大小不全相同。

10.如权利要求6或7所述的装置，其特征在于，所述图像处理模块i，i＝0..N-1为数字信号处理芯片。

Images