CN104219530A - 基于预测模式拷贝的hevc多描述编码 - Google Patents
基于预测模式拷贝的hevc多描述编码 Download PDFInfo
- Publication number
- CN104219530A CN104219530A CN201410505535.4A CN201410505535A CN104219530A CN 104219530 A CN104219530 A CN 104219530A CN 201410505535 A CN201410505535 A CN 201410505535A CN 104219530 A CN104219530 A CN 104219530A
- Authority
- CN
- China
- Prior art keywords
- prediction
- predicting unit
- coding
- frame
- description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于预测模式拷贝的HEVC多描述编码算法，属于信号处理技术领域，特别涉及信号编码技术。用来解决多相空间亚采样多描述视频编码方法产生冗余过多，尤其在中高比特率编码压缩时编码效率不高这一问题。在编码时，对各描述采用了不同方案。其中编码器采用HEVC，只对单个描述的其中一个子序列预测编码，而对于另一子序列的预测模式和运动矢量的选择则直接拷贝已编码子序列的对应块，同时计算预测残差。此方法充分利用各子序列间的时空相关性，在降低冗余性的基础上，减少了编码计算。由于单个描述的两子序列之间有很强的时空相关性，各子序列时间轴位置相同的单个帧的图像块有类似的最佳运动预测模式，且运动矢量基本相似。
Description
技术领域
本发明涉及信号处理技术领域，特别涉及信号编码技术，具体是指一种基于预测模式拷贝的HEVC多描述编码方法。
背景技术
大数据时代的到来，伴随着互联网和无线通信网络的高速发展，视频传输错误包括数据错误、丢失和过度时延等导致视频重建质量严重下降，成为制约网络多媒体服务发展的关键因素。多描述编码(MultipleDescription Coding，MDC)针对不可靠信道传输问题进行信源差错复原编码，抗干扰能力强且使用范围广，为解决视频经过不可靠网络传输后质量严重下降提供了一种有效的解决方案。
传统视频多描述编码方法多是基于单帧图像的多描述编码，如基于量化的多描述视频编码和基于变换的多描述视频编码等，其特点是算法复杂度相对较低、编解码速度较快。然而这些基于单帧处理的多描述编码方法有较大的局限性，例如由于网络带宽窄或者网络性能不稳定造成编码信息传输失败从而导致编解码两端的参考帧不同(也叫失配现象)、视频帧间的冗余没有采用相应办法来去除等等。若单纯对各描述进行运动预测和运动补偿等复杂计算处理，会增加算法复杂度，同时影响编解码效率。因此，多描述视频编码研究的重中之重就是减小失配产生的影响。
一些采用H.264关键技术或者H.264编码框架的多描述视频编码方案不断涌现。如在2004年的图像处理国际会议上，Bernadini，Durigon等人提出的基于H.264的多相空间亚采样多描述视频编码(PolyphaseSpatial Subsampling Multiple Description Coding，PSS-MDC)，其首先对原始图像进行空间亚采样，得到四个子图像序列；然后采用H.264编码器分别对子图像序列编码，从而产生四路码流。虽然此方法抗误码能力强，但存在大量冗余。针对此方法所存在的问题，也出现了一系列的改进算法，但都是采用H.264的关键方法尽可能地减少视频帧间帧内冗余，并提高纠正失配引起的错误方面的性能，并不适用于低码率传输的应用场景。
发明内容
本发明是针对多相空间亚采样多描述视频编码方法产生冗余过多，尤其在中高比特率编码压缩时编码效率不高这一问题，结合已有各种编码方案，采用类似于PSS-MDC的描述创建方式来创建描述。提出了一种基于HEVC和预测模式拷贝的多描述视频编码方法(HEVC-MDC)。在编码时，对各描述采用了不同方案。其中编码器采用HEVC，只对单个描述的其中一个子序列预测编码，而对于另一子序列的预测模式和运动矢量的选择则直接拷贝已编码子序列的对应块，同时计算预测残差并编码。此方法充分利用各子序列间的时空相关性，在降低冗余性的基础上，减少了编码计算。本发明具体的编码框架如图1所示。
本发明提供的技术方案如下：
一种基于预测模式拷贝的HEVC多描述编码方法，包括以下几个步骤：
(1)对输入的原始YUV视频以帧为单位进行梅花下采样得到四个子序列，如图2所示，下采样方式分别从水平和竖直方向开展；对和和两两组合成两个描述子，分别为描述子1和描述子2；其中和是对原始待编码的YUV视频的第k帧进行水平方向采集的子序列，和是垂直方向采集的子序列；
(2)按照如图3描述方法，使用HEVC编码器分别编码子序列和并保存各自预测单元的最佳预测模式和运动矢量；
(3)对于和中的每一预测单元，分别读取和对应位置(空间位置相同)预测单元的最佳预测模式和运动矢量；计算出对应的预测残差和表示和对应空间位置计算出的预测残差，表示和对应空间位置计算出的预测残差；
(4)确定当前的预测单元类型，若是帧内预测(I帧，帧内编码帧)跳至步骤(5)，若是帧间预测则跳至步骤(6)；
(5)如果对应位置的预测单元是帧内预测，那么选用该预测单元的最佳帧内预测模式直接对的当前预测单元进行帧内预测；同理，对的帧内预测要参照进行处理；跳至(7)；
(6)如果的对应位置预测单元是帧间预测(P帧，前向预测的帧间编码)，那么选用该预测单元的最佳预测模式和运动矢量对的当前预测单元进行帧间预测；同理，对的帧间预测参照进行处理；
(7)对和当前预测单元的预测误差和进行DCT、量化和熵编码；
(8)将和的熵编码结果、和的熵编码结果分别打包成两个描述通过不同信道进行传输。
本发明提出的基于预测模式拷贝的HEVC多描述编码具体算法流程如图4所示，其中描述子2所经历的算法流程同描述子1，因此图中没有画出。在解码端，当同时接收到两个描述时，采用中央解码方案；当只接收到一个描述时，采用边缘解码方案进行处理。
附图说明
图1基于预测模式拷贝的HEVC多描述编码框架图
图2四个子序列的创建方式示意图
图3两个描述示意图
图4HEVC多描述编码算法流程图
图5CIF格式的YUV420标准视频序列news原图
图6PSPT-MDC，HEVC-MDC，3D-SPIHT-MDC下的news序列重建效果比较图
图7PSPT-MDC，HEVC-MDC，3D-SPIHT-MDC下的football序列重建效果比较图。
具体实施方式
下面结合附图对本发明的实施例做详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
(1)如图5所示，采用CIF格式的YUV420标准视频序列news，对news视频以帧为单位从水平方向和竖直方向进行梅花下采样，从而产生长度和分辨率相同的四个news子序列
(2)将得到的四个news子序列两两组合成两个描述，其中和组建成描述1，而和组建成描述2。将和通过HEVC编码器直接编码输出；
(3)对于和中的每一预测单元，分别读取和对应位置(空间位置相同)预测单元的最佳预测模式和运动矢量；计算出对应的预测残差和其中表示和对应空间位置计算出的预测残差，表示和对应空间位置计算出的预测残差；
(4)将上一步计算出的预测残差经DCT编码、量化和熵编码后输出成编码码流。这里用计算更简便的4×4的整数余弦变换代替DCT变换，而熵编码选择自适应算术编码(CABAC)。最后对和的编码码流、和的编码码流分别打包处理成两个描述，经由不同的通信信道并行传输至解码端。
实验中选择两种不同运动程度的CIF格式的YUV标准测试序列，即运动缓慢的news和运动剧烈的football。同时选择不同的多描述编码算法进行实验，通过比较不同算法实验统计结果，检测本发明所提出的算法的性能。
实验环境采用主频为2.67GHz的Intel Core i7-2640MHz CPU、2Gbyte内存的计算机，Windows7操作系统，实验平台采用由VS2012编译的HM12.0(Main Profile)。实验所用的测试序列情况如表1所示，输入序列全部以I帧方式编码。
表1两种不同运动画面类型的视频测试序列
| 序列 | 格式 | 尺寸/(pixel×pixel) | 帧数 | 帧率/(f·s-1) | 画面类型 |
| news | CIF | 352×288 | 100 | 30 | 运动缓慢 |
| football | CIF | 352×288 | 100 | 30 | 运动剧烈 |
大量的先验实验结果表明，基于子序列预测的PSPT-MDC算法在同类算法中的性能最为突出，而基于3D-SPIHT-MDC的多描述编码方案提高了解码端成功接收编码比特流的概率。因此，本发明的算法与基于子序列预测的PSPT-MDC算法以及基于3D-SPIHT-MDC的方案进行对比实验。图6(a)和(b)分别是本发明提出的基于的预测模式拷贝的HEVC-MDC算法、PSPT-MDC算法以及3D-SPIHT-MDC对news序列的中心解码和边缘解码后所得的图像效果统计图。图7(a)和(b)分别是本发明提出的HEVC-MDC算法、PSPT-MDC算法以及3D-SPIHT-MDC算法对football序列的中心解码和边缘解码后所得的图像效果统计图。表2和表3分别列出了三种算法对两种视频测试序列编码所花费的时间。
表2三种编码算法对news编码的时间对比(s)
表3三种编码算法对football编码的时间对比(s)
从上述实验结果可以看出：针对运动缓慢的news视频编码，当采用较低比特率编码、大压缩比时，PSPT-MDC算法解码后所得图像的质量要优于HEVC-MDC和3D-SPIHT-MDC，同时算法花费的时间略高于HEVC-MDC。但在中高比特率时，在相同比特率下采用相同压缩比，HEVC-MDC的中心和边缘的PSNR都明显优于PSPT-MDC和3D-SPIHT-MDC。若应用场景对图像质量要求较高时需要传输更多的比特，通过实验结果可以得知比特率越大，HEVC-MDC相对于其它两种方法能够重建出质量更好的图像。以上结果表明本发明提出的基于预测模式拷贝的HEVC多描述编码方法可以在一定程度上抵抗由于网络不稳定以及多信道不平衡产生的编码信息传输失败带来的影响，同时采纳了HEVC的关键先进性算法，对运动视频的处理性能更好，与其它算法相比压缩效果更优。
Claims (1)
1.一种基于预测模式拷贝的HEVC多描述编码方法，其特征在于，所述的方法包括以下步骤：
(1)对原始待编码的YUV视频以帧为单位进行梅花下采样，采样方向分为水平和竖直，从而产生子序列将和组合成一个描述，将和组合成一个描述；其中和是对原始待编码的YUV视频的第k帧进行水平方向采集的子序列，和是垂直方向采集的子序列；
(2)使用HEVC编码器分别编码子序列和并保存各自预测单元的最佳预测模式和运动矢量；
(3)对于和中的每一预测单元，分别读取和对应位置(空间位置相同)预测单元的最佳预测模式和运动矢量；计算出对应的预测残差和其中表示和空间位置对应计算出的预测残差，表示和空间位置对应计算出的预测残差；
(4)确定当前的预测单元类型，若是帧内预测(I帧，帧内编码帧)跳至步骤(5)，若是帧间预测则跳至步骤(6)；
(5)如果对应位置的预测单元是帧内预测，那么选用该预测单元的最佳帧内预测模式直接对的当前预测单元进行帧内预测；同理，对的帧内预测要参照进行处理；跳至(7)；
(6)如果的对应位置预测单元是帧间预测(P帧，前向预测的帧间编码)，那么选用该预测单元的最佳预测模式和运动矢量对的当前预测单元进行帧间预测；同理，对的帧间预测参照进行处理；
(7)对和当前预测单元的预测误差和进行DCT、量化和熵编码；
(8)将和的熵编码结果、和的熵编码结果分别打包成两个描述通过不同信道进行传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505535.4A CN104219530A (zh) | 2014-09-28 | 2014-09-28 | 基于预测模式拷贝的hevc多描述编码 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505535.4A CN104219530A (zh) | 2014-09-28 | 2014-09-28 | 基于预测模式拷贝的hevc多描述编码 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104219530A true CN104219530A (zh) | 2014-12-17 |
Family
ID=52100608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410505535.4A Pending CN104219530A (zh) | 2014-09-28 | 2014-09-28 | 基于预测模式拷贝的hevc多描述编码 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104219530A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106961607A (zh) * | 2017-03-28 | 2017-07-18 | 山东师范大学 | 基于jnd的时间域重叠变换多描述编码、解码的方法及系统 |
| CN107027028A (zh) * | 2017-03-28 | 2017-08-08 | 山东师范大学 | 基于jnd的随机偏移量化多描述编码、解码的方法及系统 |
| CN111432221A (zh) * | 2020-03-31 | 2020-07-17 | 华侨大学 | 一种基于信息复用的hevc多描述视频编码 |
| CN115604465A (zh) * | 2022-12-14 | 2023-01-13 | 浙江荷湖科技有限公司（Cn） | 基于相空间连续性的光场显微图像无损压缩方法及装置 |
-
2014
- 2014-09-28 CN CN201410505535.4A patent/CN104219530A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| BERBADINI,DURIGON: "Polyphase spatial subsampling multiple description coding of video streams with H264", 《2004 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| TAILONG LU: "A Wavelet-Based Multiple-Description Coding Combining Pairwise", 《ICSP2008 PROCEEDINGS》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106961607A (zh) * | 2017-03-28 | 2017-07-18 | 山东师范大学 | 基于jnd的时间域重叠变换多描述编码、解码的方法及系统 |
| CN107027028A (zh) * | 2017-03-28 | 2017-08-08 | 山东师范大学 | 基于jnd的随机偏移量化多描述编码、解码的方法及系统 |
| CN107027028B (zh) * | 2017-03-28 | 2019-05-28 | 山东师范大学 | 基于jnd的随机偏移量化多描述编码、解码的方法及系统 |
| CN106961607B (zh) * | 2017-03-28 | 2019-05-28 | 山东师范大学 | 基于jnd的时间域重叠变换多描述编码、解码的方法及系统 |
| CN111432221A (zh) * | 2020-03-31 | 2020-07-17 | 华侨大学 | 一种基于信息复用的hevc多描述视频编码 |
| CN115604465A (zh) * | 2022-12-14 | 2023-01-13 | 浙江荷湖科技有限公司（Cn） | 基于相空间连续性的光场显微图像无损压缩方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10142654B2 (en) | Method for encoding/decoding video by oblong intra prediction | |
| KR101055738B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치 | |
| EP1457056B1 (en) | Skip macroblock coding | |
| JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
| CN103959774B (zh) | 用于高效视频编码的运动信息的有效存储 | |
| CN1128547C (zh) | 移动图象信号的译码及编码方法及装置 | |
| TWI741239B (zh) | 視頻資料的幀間預測方法和裝置 | |
| CN1977539A (zh) | 生成编码画面数据和对编码画面数据进行解码的方法和设备 | |
| CN103339938A (zh) | 执行视频译码的运动向量预测 | |
| JP7448558B2 (ja) | 画像エンコーディングおよびデコーディングのための方法およびデバイス | |
| CN102572428B (zh) | 面向多媒体传感网分布式编解码的边信息估计方法 | |
| CN104219530A (zh) | 基于预测模式拷贝的hevc多描述编码 | |
| CN104363461B (zh) | 视频帧的错误隐藏方法及应用其的视频解码方法 | |
| CN108810549B (zh) | 一种面向低功耗的流媒体播放方法 | |
| Zhou et al. | Distributed video coding using interval overlapped arithmetic coding | |
| CN102595132A (zh) | 一种应用于无线传感器网络的分布式视频编解码方法 | |
| CN115118976A (zh) | 一种图像编码方法、可读介质及其电子设备 | |
| CN105791868A (zh) | 视频编码的方法和设备 | |
| CN1938728A (zh) | 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置 | |
| WO2023173809A1 (zh) | 视频编解码方法、装置、存储介质、电子设备及计算机程序产品 | |
| CN115002482B (zh) | 使用结构性保持运动估计的端到端视频压缩方法及系统 | |
| CN115426492A (zh) | 一种联合空频域的感知hevc多描述视频编码 | |
| CN103957413A (zh) | 一种针对移动网络视频通信应用的实时误码掩盖方法和装置 | |
| KR20060043118A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| KR100883591B1 (ko) | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Su Weijun Inventor after: Gao Cheng Inventor after: Chen Xiuxin Inventor after: Yu Zhongzhong Inventor after: Shao Jun Inventor before: Su Weijun Inventor before: Shao Jun Inventor before: Chen Xiuxin Inventor before: Yu Zhongzhong Inventor before: Gao Cheng |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: SU WEIJUN SHAO JUN CHEN XIUXIN YU CHONGCHONG GAO CHENG TO: SU WEIJUN GAO CHENG CHEN XIUXIN YU CHONGCHONG SHAO JUN |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141217 |