CN102572428B - 面向多媒体传感网分布式编解码的边信息估计方法 - Google Patents

Abstract

本发明提出适合多媒体传感器网的分布式视频编码中基于离散余弦变换低频系数的边信息估计方法方法，解决视频应用中数据量大的问题。该方法将非关键帧的ROI宏块中DCT低频系数提取出来进行熵编解码，对ROI宏块解码端利用接收到的DCT低频系数进行双向运动估计内插生成ROI宏块边信息，而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI宏块边信息，进而生成最佳非关键帧边信息。通过以上改进可以降低码率，提高解码图像的质量，降低传感器节点能耗，延长无线传感器网络生存周期。通过使用本发明提出的方法在降低码率的同时可以得到最佳边信息，进而提高了解码图像的质量，最终降低传感器节点能耗，延长了无线传感网络生存周期。

Description

面向多媒体传感网分布式编解码的边信息估计方法

技术领域

本发明是一种针对无线多媒体传感器网络（Wireless Multimedia Sensor Networks, WMSN）中多媒体数据压缩的技术方案。采用基于离散余弦变换低频系数的边信息估计方法，尽可能降低节点的能耗同时提高解码图像的质量，属于计算机无线通信技术领域。

背景技术

近年来，伴随着无线多媒体通信技术的迅速发展，一些新的视频应用需求开始出现，如：无线PC摄像机、移动可视电话、无线视频监控、无线多媒体传感器网络等。在这些新的视频应用中，由于受限于电源电量、存储容量、计算能力、通信能力，无线视频终端不仅需要较低复杂度的编码，而且需要视频信号实时编码和传输。传统的视频编码标准（如MPEG、H.26X）都采用了混合编码框架，编码采用运动估计，充分挖掘视频序列的时间和空间相关性信息，一般情况下，编码复杂度是解码复杂度的5~10倍，不再适用于这些新的视频应用场合中，必须寻找新的编码压缩方法。一种全新的视频编解码框架—分布式视频编码（Distributed Video Coding，DVC）已经受到了学者的广泛关注，这种视频编码突破了传统视频编码的束缚，采用帧内编码和帧间解码技术，通过在解码端发掘视频信号的相关性进行帧间预测解码，从而去掉了编码端复杂的帧间预测，具有低复杂编码的特性，并且具有很好的编码鲁棒性特点，能较好地满足这些新的视频应用需求。

目前典型的分布式编解码方法主要有斯坦福大学Girod和Aaron等提出的Wyner-Ziv视频编码，加州大学伯克利分校的Ramchandran等提出的PRISM（Power-efficient Robust high-compression Syndrome-base Multimedia）视频编码，Zixiang Xiong等提出的分层Wyner-Ziv视频编码，Sehgal等提出的state-free分布式视频编码，基于小波编码的分布式视频编码以及多视角分布式视频编码等。由于在分布式视频编解码系统中的解码端，进行运动估计开发时域相邻帧的相关信息，因此系统中编码器可以较为简单，把计算量较大的帧间预测转移到解码端。Wyner-Ziv分布式视频编码由关键帧（Key帧）编码器和Wyner-Ziv帧（W帧）编码器两部分组成， Key帧编码器采用传统的帧内编解码的方式，而W帧采用帧内编码和帧间解码相结合的方式。W帧编码时，先进行基于块的DCT变换和量化，然后采用Slepian-Wolf编码器进行编码。编码器将编码生成的校验位存储在编码端的缓冲器中，根据解码端的解码反馈请求，发送校验位给解码器进行纠错解码。解码时，Slepian-Wolf解码器根据解码边信息和接收到的校验位进行解码，若根据当前已接收的校验信息仍不能实现正确的解码，则需要通过反馈信道请求编码端缓存器继续发送校验码。解码端再重新进行解码，直到能够正确解码为止。之后解码后的系数进行IDCT和反量化以及解码重建。文献基于turbo或LDPC对Wyner-Ziv帧的所有区域不加区别的编码，这种方式的编码处理，对于运动比较剧烈的区域，运动估计技术不能够准确预测，解码时需要向编码端请求较多的反馈信息，这样不仅增加了码率，而且解码的部分图像仍不够准确。针对此问题，本发明首先介绍了Wyner-Ziv分布式视频编码的理论，在此基础上提出了一种改进的Wyner-Ziv分布式编码方法，通过感兴趣区域（Region of Interest, ROI）判定准则得到运动剧烈区域和非运动剧烈区域。对于运动运动剧烈区域，提取其离散余弦变换（Discrete Cosine Transform， DCT）低频系数作为DCT hash用来辅助解码端进行解码，并对DCT低频系数进行Huffman解码压缩，解码端利用已解码的DCT低频系数进行双向hash运动估计，采用基于DCT hash运动内插生成最佳边信息。而对于非运动剧烈区域则不提取DCT低频系数，不进行DCT低频系数压缩传送，采用传统的运动内插方法生成边信息，最终实现视频的优化传输。

发明内容    

    技术问题：本发明的目的是提出适合多媒体传感器网的分布式视频编码中基于DCT hash（离散余弦变换低频系数）的边信息估计方法方法，解决视频应用中数据量大的问题。通过使用本发明提出的方法在降低码率的同时可以得到最佳边信息，进而提高了解码图像的质量，最终降低传感器节点能耗，延长了无线传感网络生存周期。 

技术方案：本发明的方法是一种改进性的方法，该方法将非关键帧（Wyner-Ziv frame，WZ）的ROI（Region of Interest，感兴趣区域）宏块中DCT（离散余弦变换）低频系数提取出来进行熵编解码，对ROI（Region of Interest，感兴趣区域）宏块解码端利用接收到的DCT（离散余弦变换）低频系数进行双向运动估计内插生成ROI（Region of Interest，感兴趣区域）宏块边信息，而对非ROI（Region of Interest，感兴趣区域）区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI（Region of Interest，感兴趣区域）宏块边信息，进而生成最佳非关键帧边信息。通过以上改进可以降低码率，提高解码图像的质量，降低传感器节点能耗，延长无线传感器网络生存周期。

体系结构

本方法在Wyner-Ziv分布式视频编码方案的基础上，通过ROI判定准则提取运动剧烈区域并提取该区域的DCT低频系数进行Huffman解码压缩，解码端利用已解码的DCT低频系数进行双向运动估计，进行DCT hash（离散余弦变换低频系数）运动内插生成最佳边信息，其余区域则基于LDPC分布式编解码，进而在降低码率的同时提高解码图像质量，降低节点的处理和传输能耗，实现视频的优化传输，延长整个网络的生存周期。

本方法基于Wyner-Ziv分布式视频编码方案，将视频序列分为两种不同的帧：关键字（Key Frame，K）和非关键帧（Wyner-Ziv frame，WZ）。对关键帧采用传统的JPEG编码方式，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域，对Wyner-Ziv帧的ROI区域提取其DCT低频系数采用熵编解码的方式，ROI区域其余部分以及非ROI区域采用LPDC的编解码方式。

具体步骤如下：（1）在编码端：a) 帧分离器：将编码端输入的视频序列分为关键帧（Key帧）和Wyner-Ziv帧（WZ帧）；b) DCT（Discrete Cosine Transform）变换：对W帧进行基于块的离散余弦变换（Discrete Cosine Transform，DCT）；c) 量化：对每个DCT变换后的系数进行量化；d) 编码：使用传统的JPEG技术编码Key帧，利用ROI提取方法将Wyner-Ziv帧区分为ROI区域和非ROI区域：对ROI区域提取其DCT低频系数进行Huffman解码，对ROI的其余部分以及非ROI区域采用LDPC编码；（2）在解码端：a）生成边信息：对于ROI区域，使用解码出的帧采用基于DCT hash运动估计内插生成边信息。而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成边信息；b）相关噪声模型：WZ帧和边信息之间对应的DCT系数的残差统计当作一个拉普拉斯分布进行建模；c）解码：对Key帧，使用传统的JPEG技术解码，对Wyner-Ziv帧的ROI区域的DCT低频系数采用Huffman解码，ROI区域其余部分以及非ROI区域采用LDPC解码；d）重构：在边信息的辅助下，重建所有的DCT系数；e）反变换：对重建后的系数执行反离散余弦变换（Inverse Discrete Cosine Transform，IDCT）；（3）帧混合：将解码后的Key帧和WZ帧整合为视频流。

二、方法流程

   本方法包括以上所述4个步骤，详细论述如下：

    基于离散余弦变换部分低频系数的边信息估计方法，加强对运动剧烈区域编码，进一步提高解码图像的主观质量，该方法具体如下： 

    1）在编码端

    a) 帧分离器：视频序列被分为关键帧和非关键帧，其中关键帧周期性的插入，取决于图像组的大小，帧分离器将视频序列分为不同的帧，每两个关键帧之间所分配的非关键帧的数目不同，关键帧采用帧内编码，非关键帧采用低密度奇偶校验码编码；

    b) 离散余弦变换：基于块的变换，特别地把离散余弦变换应用到每个非关键帧上，非关键帧被划分为互不重叠的块，依据每个块的离散余弦变换系数所处的位置，形成不同的离散余弦变换系数集；

    c) 量化：每个离散余弦变换集被统一的量化，这些量化级依赖于所要得到图像的质量，对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码；

    d）编码：对于关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中的离散余弦变换低频系数采用霍夫曼编码，对于感兴趣区域的其余部分以及非感兴趣区域采用低密度奇偶校验码编码；

    2）在解码端

    a）生成边信息：对于感兴趣区域，使用解码出的帧采用基于离散余弦变换低频系数运动内插生成感兴趣宏块边信息；而对非感兴趣区域使用解码出的帧进行运动补偿帧内插或外推生成非感兴趣宏块边信息，进而得到非关键帧的边信息；每个非关键帧的边信息被当作原始非关键帧的估计值，估计值的质量越好，低密度奇偶校验码解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位或位流越少；

    b）相关噪声模型：非关键帧和边信息中对应的离散余弦变换系数的残差统计被假定为一个服从拉普拉斯分布的模型，其参数使用离线的训练模式进行初始化估计；

    c）低密度奇偶校验码解码：关键帧使用传统的联合图像专家组技术进行解码；非关键帧的感兴趣区域中离散余弦变换低频系数使用霍夫曼进行解码复原；对于非关键帧感兴趣其余部分以及非感兴趣区域，只要得到边信息离散余弦变换系数和一个给定离散余弦变换系数的残差统计，每个位平面可以进行低密度奇偶校验码解码，从最重要的位平面开始解码；在低密度奇偶校验码解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息，为了判定解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准，当低密度奇偶校验码正确地解码一个离散余弦变换集的最重要位平面之后，低密度奇偶校验码解码器将以统一的方式处理其余相关的集合，当所有的离散余弦变换集合的位平面都被低密度奇偶校验码正确地解码时，解码器则开始解码下一个集合；

    d）重构：在低密度奇偶校验码解码后，所有的位平面及每个离散余弦变换集合被一起分组，以形成解码的量化信号流和集合，一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的离散余弦变换系数，对于所传输的不含非关键帧位流的离散余弦变换系数集合，由边信息对应的离散余弦变换集合来代替；

    e）反变换：当所有的离散余弦变换集被重建以后，执行反离散余弦变换，由此便可得到解码的非关键帧；

    3）帧混合

    对于已经正确解码的各帧，即利用传统的联合图像专家组编解码的关键帧和利用低密度奇偶校验码及霍夫曼混合编解码的非关键帧，根据在编码端所采用的编码图像组的大小，将关键帧和非关键帧按图像组的相应次序混合成视频流，进而恢复成解码后的视频序列，至此，视频编解码压缩处理结束。

所述感兴趣区域中离散余弦变换低频系数采用霍夫曼编码的过程如下：将待编码的灰度级按出现的次数排序，出现次数多的在前面，次数少的在后面；取出现次数最少的两个数的次数相加，之和作为一个新的出现次数的集合元素并重新排序，新出现的次数在新集合中仍遵循降序规则以确定所处的位置，相加的两个次数最少所对应的灰度级成为霍夫曼树的一个叶结点，这两个结点构造一个双亲结点，重复该步骤，直到所有的灰度级都被用来构造霍夫曼树为止；设所有结点的左孩子为“0”，右孩子为“1”，则从根开始，经各中间结点到叶结点的路径代码即是该叶结点的霍夫曼码；对于非感兴趣区域的每个离散余弦变换集合，从最重要的位平面进行低密码奇偶校验码编码；对于每个位平面，所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息。

所述的关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中离散余弦变换低频系数采用霍夫曼编解码，对于感兴趣区域其余部分以及非感兴趣区域采用低密度奇偶校验码进行编解码，具体步骤如下：

    步骤1）：将每帧分成大小相等且互不重叠的8×8宏块；

    步骤2）：计算关键帧和非关键帧相同位置宏块的绝对差值之和； 

    步骤3）：根据感兴趣区域宏块的判定准则，对非关键帧每个宏块进行感兴趣区域区分；

步骤4）：提取非关键帧中感兴趣宏块的离散余弦变换低频系数进行霍夫曼编解码压缩；

步骤5）：对非关键帧中感兴趣宏块的其余部分以及非感兴趣宏块则采用低密度奇偶校验码编解码压缩；

   步骤6）：在解码端对非关键帧的感兴趣宏块利用已得到的离散余弦变换低频系数进行双向运动估计内插生成感兴趣宏块边信息；

步骤7）：在解码端对非关键帧的非感兴趣宏块进行运动补偿帧内插或外推生成非感兴趣宏块边信息；

步骤8）：利用生成的感兴趣宏块边信息和非感兴趣宏块边信息得到非关键帧的最佳边信息，进而对非关键帧进行解码。

有益效果：本发明方法提出了一种改进的Wyner-Ziv分布式视频压缩方法，主要是用来解决无线多媒体传感器网络中视频数据量大所带来的网络节点能耗大，网络生存周期短的问题，并满足人们对解码图像质量以及视频实时性的需求。对应实现方案有如下优点：

1.编码简单：相对于传统的视频编码标准（如MPEG系列，H.26x），本发明由于采用Wyner-Ziv分布式视频编码方案，编码端简单，解码端复杂。分布式视频编码将运动估计和及运动补偿所带来的编码端的高复杂性、大计算量转移到解码端，而解码端一般位于汇聚节点或网络中心，充分利用汇聚节点和网络中心计算能力强、存储能力大、持续供电的优点，完成对视频的压缩编码。

2.低码率：本发明可以设置图像的GOP的大小，并对WZ帧采用了LDPC和Huffman相结合的编解码方式生成最佳边信息，向缓冲器所请求的奇偶校验位较少，从而大大降低了编码的码率。

3.能耗低：本发明由于可以改变Key帧之间WZ帧的数量，减少了待处理的视频流的数据量，从而降低了每个传感器节点的编码处理能耗，进而延长了整个网络的生命周期。

4.实时性：本发明由于对视频数据的压缩率高，压缩编码后的数据量小，因此减少了传输的数据量，优化了实时传输，进而保证了视频流传输的实时性。

5.可靠性：本发明由于采用了ROI提取方法，将WZ帧分为ROI区域和非ROI区域，对ROI区域中的低频系数采用Huffman编解码方式，能更准确的对ROI区域进行解码，提高了解码的准确性，进而实现了对视频编码压缩可靠性的要求。

附图说明

图1是分布式视频编码示意图。如图，分布式视频编码框架包括低复杂度编码器和高复杂度解码器。

图2是分布式编解码示意图。如图，采用帧内编码和帧间解码相结合的方式，在编码端，采用帧内编码技术相互独立地编码两个或者多个相关的信源，将编码位流发送到接收端；在解码端，利用各个信源间的相关性，进行联合预测解码。

图3是本发明基于DCT hash（离散余弦变换低频系数）的Wyner-Ziv分布式视频编码示意图。利用ROI区分方法将WZ帧区分为ROI区域和非ROI区域，然后对ROI区域的低频系数进行Huffman编解码，ROI区域的其余部分以及非ROI区域进行LDPC编解码。

图4是本发明方法的整个流程图。如图所示，描述了基于DCT hash（离散余弦变换低频系数）的Wyner-Ziv分布式视频编解码的全过程。

具体实施方式

该方法在Wyner-Ziv分布式视频编码方案的基础上，通过ROI判定准则提取运动剧烈区域并提取该区域的DCT低频系数进行Huffman解码压缩，解码端利用已解码的DCT低频系数进行双向运动估计，进行DCT hash（离散余弦变换低频系数）运动内插生成最佳边信息，其余区域则基于LDPC分布式编解码，进而在降低码率的同时提高解码图像质量，降低节点的处理和传输能耗，实现视频的优化传输，延长整个网络的生存周期。

本方法基于Wyner-Ziv分布式视频编码方案，将视频序列分为两种不同的帧：关键帧（Key Frame，K帧）和Wyner-Ziv帧（WZ帧）。对关键帧采用传统的JPEG编码方式，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域，对于Wyner-Ziv帧的ROI区域中DCT低频系数采用Huffman编解码的方式，ROI区域的其余部分以及非ROI区域采用LPDC的编解码方式。本方法的实施分为4个阶段：ⅰ）在编码端；ⅱ）在解码端；ⅲ）帧混合，具体描述如下：   

    第一阶段： 在编码端

    该阶段分为以下几个处理过程：

    a) 帧分离器：视频序列被分为Wyner-Ziv帧（WZ帧）和关键帧（Key帧），其中关键帧周期性的插入，取决于GOP（Group of Pictures）大小。利用帧分离器将视频序列分为不同的帧，对于每个不同的视频序列，由于编码结构的不同，每帧的被赋予的属性不同，因而，采用的编码处理方式也不同。

    b) 空间变换：基于块的变换，特别地把DCT变换应用到每个WZ帧。依据每个块的DCT系数所处的位置，将整个WZ帧的DCT系数被分为不同的组，从而形成不同的DCT系数集。

    c) 量化：每个DCT集被统一的量化，这些量化级依赖于所要得到图像的质量。对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码。

    d）编码：对于Key帧，使用传统的JPEG技术编码，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域：对于ROI区域低频系数采用Huffman编码，对于ROI区域

其余以及非ROI区域采用LDPC编码。ROI区域的DCT低频系数采用Huffman编码。对于

ROI区域的其余部分以及非ROI区域的每个DCT集，从最重要的位平面（Most Significant Bit-plane，MSB）开始进行LDPC编码。对于每个位平面（bit-plane），所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息。

    第二阶段：在解码端

    该阶段分为以下几个处理过程：

    a）生成边信息：对于ROI区域，使用解码出的帧采用基于DCT hash运动内插生成ROI宏块边信息。而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI宏块边信息。进而得到每个WZ帧的边信息（Side Information，SI）。每个WZ帧的边信息被当作原始WZ帧的一种估计值。估计值的质量越好，LDPC解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位（或位流）越少。

    b）相关噪声模型：在WZ帧和边信息中对应的DCT系数的残差统计被假定当作一个服从拉普拉斯分布的模型，其参数使用离线（off-line）的训练阶段进行初始化估计。

    c）LDPC解码：关键帧使用传统的JPEG技术进行解码；WZ帧的ROI区域使用Huffman进行解码复原；对于WZ帧的非ROI区域，只要得到了边信息DCT系数和一个给定DCT系数的残差统计，每个位平面可以进行LDPC解码（从MSB解码）。在LDPC解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息。为了判定正确的解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准。当成功地LDPC解码一个DCT集的MSB位平面之后，LDPC解码器以一个统一的的方式处理其余相关的集。一旦所有的DCT集的位平面被成功地LDPC解码，LDPC解码器开始解码下一个集。

    d）重构：在LDPC解码后，所有的位平面及每个DCT集被一起分组，以形成解码的量化信号流和每个集。一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的DCT系数。对于所传输的不含WZ位流的DCT系数集由边信息对应的DCT集来代替。

    e）反变换：当所有的DCT集被重建以后，执行IDCT，由此便可得到解码的WZ帧。

    通过以上几个处理过程，完成了对Key帧和WZ帧的正确解码。 

    第四阶段：帧混合

       最后，对于已经正确解码的各帧，即利用传统JPEG编解码Key帧和利用LDPC及Huffman混合编解码的WZ帧，根据在编码端所采用的编码结构GOP的大小，将Key帧和WZ帧按GOP次序混合成视频流，恢复成解码后的视频序列。视频编解码压缩处理结束。

Claims (1)

1.一种面向多媒体传感网分布式编解码的边信息估计方法，其特征是：基于离散余弦变换部分低频系数的边信息估计方法，加强对运动剧烈区域编码，进一步提高解码图像的主观质量，该方法具体如下：

1）在编码端

a)帧分离器：视频序列被分为关键帧和非关键帧，其中关键帧周期性的插入，取决于图像组的大小，帧分离器将视频序列分为不同的帧，每两个关键帧之间所分配的非关键帧的数目不同，关键帧采用帧内编码，非关键帧采用低密度奇偶校验码编码；

b)离散余弦变换：基于块的变换，特别地把离散余弦变换应用到每个非关键帧上，非关键帧被划分为互不重叠的块，依据每个块的离散余弦变换系数所处的位置，形成不同的离散余弦变换系数集；

c)量化：每个离散余弦变换集被统一的量化，这些量化级依赖于所要得到图像的质量，对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码；

d）编码：对于关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中的离散余弦变换低频系数采用霍夫曼编码，对于感兴趣区域的其余部分以及非感兴趣区域采用低密度奇偶校验码编码；

2）在解码端

a）生成边信息：对于感兴趣区域，使用解码出的帧采用基于离散余弦变换低频系数运动内插生成感兴趣宏块边信息；而对非感兴趣区域使用解码出的帧进行运动补偿帧内插或外推生成非感兴趣宏块边信息，进而得到非关键帧的边信息；每个非关键帧的边信息被当作原始非关键帧的估计值，估计值的质量越好，低密度奇偶校验码解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位或位流越少；

b）相关噪声模型：非关键帧和边信息中对应的离散余弦变换系数的残差统计被假定为一个服从拉普拉斯分布的模型，其参数使用离线的训练模式进行初始化估计；

c）低密度奇偶校验码解码：关键帧使用传统的联合图像专家组技术进行解码；非关键帧的感兴趣区域中离散余弦变换低频系数使用霍夫曼进行解码复原；对于非关键帧感兴趣其余部分以及非感兴趣区域，只要得到边信息离散余弦变换系数和一个给定离散余弦变换系数的残差统计，每个位平面进行低密度奇偶校验码解码，从最重要的位平面开始解码；在低密度奇偶校验码解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息，为了判定解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准，当低密度奇偶校验码正确地解码一个离散余弦变换集的最重要位平面之后，低密度奇偶校验码解码器将以统一的方式处理其余相关的集合，当所有的离散余弦变换集合的位平面都被低密度奇偶校验码正确地解码时，解码器则开始解码下一个集合；

d）重构：在低密度奇偶校验码解码后，所有的位平面及每个离散余弦变换集合被一起分组，以形成解码的量化信号流和集合，一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的离散余弦变换系数，对于所传输的不含非关键帧位流的离散余弦变换系数集合，由边信息对应的离散余弦变换集合来代替；

e）反变换：当所有的离散余弦变换集被重建以后，执行反离散余弦变换，由此便可得到解码的非关键帧；

3）帧混合

对于已经正确解码的各帧，即利用传统的联合图像专家组编解码的关键帧和利用低密度奇偶校验码及霍夫曼混合编解码的非关键帧，根据在编码端所采用的编码图像组的大小，将关键帧和非关键帧按图像组的相应次序混合成视频流，进而恢复成解码后的视频序列，至此，视频编解码压缩处理结束；

所述感兴趣区域中离散余弦变换低频系数采用霍夫曼编码的过程如下：将待编码的灰度级按出现的次数排序，出现次数多的在前面，次数少的在后面；取出现次数最少的两个数的次数相加，之和作为一个新的出现次数的集合元素并重新排序，新出现的次数在新集合中仍遵循降序规则以确定所处的位置，相加的两个次数最少所对应的灰度级成为霍夫曼树的一个叶结点，这两个结点构造一个双亲结点，重复该步骤，直到所有的灰度级都被用来构造霍夫曼树为止；设所有结点的左孩子为“0”，右孩子为“1”，则从根开始，经各中间结点到叶结点的路径代码即是该叶结点的霍夫曼码；对于非感兴趣区域的每个离散余弦变换集合，从最重要的位平面进行低密码奇偶校验码编码；对于每个位平面，所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息；

对于关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中离散余弦变换低频系数采用霍夫曼编解码，对于感兴趣区域其余部分以及非感兴趣区域采用低密度奇偶校验码进行编解码，具体步骤如下：

步骤1）：将每帧分成大小相等且互不重叠的8×8宏块；

步骤2）：计算关键帧和非关键帧相同位置宏块的绝对差值之和；

步骤3）：根据感兴趣区域宏块的判定准则，对非关键帧每个宏块进行感兴趣区域区分；

步骤4）：提取非关键帧中感兴趣宏块的离散余弦变换低频系数进行霍夫曼编解码压缩；

步骤5）：对非关键帧中感兴趣宏块的其余部分以及非感兴趣宏块则采用低密度奇偶校验码编解码压缩；

步骤6）：在解码端对非关键帧的感兴趣宏块利用已得到的离散余弦变换低频系数进行双向运动估计内插生成感兴趣宏块边信息；

步骤7）：在解码端对非关键帧的非感兴趣宏块进行运动补偿帧内插或外推生成非感兴趣宏块边信息；

步骤8）：利用生成的感兴趣宏块边信息和非感兴趣宏块边信息得到非关键帧的最佳边信息，进而对非关键帧进行解码。

Images