CN114339263A - 一种针对视频数据的无损处理方法 - Google Patents

Abstract

本发明公开了一种针对视频数据的无损处理方法，将非压缩超高清视频信号的各帧视频数据分成多份像素数据，然后转换为YCoCg格式的数据，接着进行像素重构，并对重构的像素进行可变长度的熵编码后进行比率缓存，读取比率缓存数据即可得到完整的无损压缩编码比特数据流。本发明码率可控，设计成本低，无损率低，压缩比例最大可达4:1，保证了数据恢复原始的误码率降低很多，确保了无损压缩算法得以正确实施。

Description

一种针对视频数据的无损处理方法

技术领域

本发明涉及视频数据处理方法领域，具体是一种针对视频数据的无损处理方法。

背景技术

随着科技的发展，特别是超高清技术在音视频领域的应用，人们对电视节目的清晰度，稳定度，以及带宽要求是越来越高，在这样背景下，超高清节目，也越来越多地被人们所接受，人们希望看到更清晰， 更流畅，画质更接近自然的音视频内容。目前国内，国际上的音视频内容，超高清的音视频产品越来越多，这就对超高清音视频的传输带宽和处理能力有了更高的要求。而对于以4K超高清为主的音视频，速率达到了18Gbps。如此高的传输速率，对芯片的处理能力，带宽的要求， 功耗等等都带来了很大的压力。 而在超高清音视频的传输和处理中，如此高的传输速率，不仅要求在芯片的研制工艺上，需要更高的工艺节点，成本更好， 在传输上，要求需要更高性能的传输设备，比如万兆交换机。如何解决这个问题，成为制约超高清音视频的发展的一个重要的技术问题， 成为一个技术瓶颈。

发明内容

本发明的目的是提供一种针对视频数据的无损处理方法，以解决现有技术超高清视频数据处理难度大的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种针对视频数据的无损处理方法，包括以下步骤：

步骤1、获取视频源输出的非压缩超高清视频信号；

步骤2、按步骤1获取非压缩超高清视频信号时的各帧顺序，从非压缩超高清视频信号中提取每帧视频数据，然后将每帧视频数据分别按等比例划分成多个子画面；

步骤3、将步骤2得到的每个子画面中每行像素分别划分为相同数量的像素数据，并将每个子画面分出的各个像素数据分别转换为YCoCg格式的像素数据；

步骤4、基于熵编码中的哈夫曼编码原理，采用可变长度编码方法，通过预测因子或者色彩历史查询表，对步骤3得到的每个YCoCg格式像素数据分别进行压缩编码得到对应的子数据流，以重构像素；

压缩编码时，为每个YCoCg格式像素数据的Y、Co、Cg分别建造独立的语法单元，每个语法单元分别包含预测重构基础的量化冗余值、色彩历史查询表的索引，基于量化冗余值通过比率控制算法决定当前数据的最大比特数，并通过预测QP值决定当前数据的大小；判断采用预测因子、色彩历史查询表两者进行编码时得到的压缩编码数据比特数大小，并采用其中比特数小的一者进行压缩编码以重构像素；

步骤5、组合步骤4得到的各个子数据流，进而得到非压缩超高清视频信号对应的无损压缩编码比特数据流。

进一步的，步骤2中，基于每帧视频数据的时钟频率和后续熵编码时的时钟频率、处理速率，并根据后续熵编码的压缩比例关系确定具体份数，将每帧视频数据分成多份同等大小的子画面。

进一步的，步骤4中基于预测因子进行像素重构时，当前重构后的像素数据作为后续像素数据重构时的预测参考数据。

进一步的，步骤4中基于色彩历史查询表的索引进行像素重构时，如果色彩历史查询索引用来重构当前的像素， 那么相应的色彩历史索引会被用来作为当前线的重构像素数据，同时色彩历史色彩索引在当前组被处理之后，需要重新更新色彩历史查询表的索引。

进一步的，步骤5中，依据每帧视频数据的各个子画面的划分方式、每个子画面中每行像素划分方式、各帧视频数据的顺序，对步骤4得到的各个子数据流进行组合，进而得到非压缩超高清视频信号对应的无损压缩编码的比特数据流。

进一步的，还包括对步骤5得到的无损压缩编码比特数据流的解码过程，解码过程为步骤1-步骤5压缩编码过程的逆向过程。

与已公开技术相比，本发明存在以下优点：

传统的编解码是以MPEG2，MPEG4， H264, H265等编解码的技术为基础，并在YCbCr的色域空间来做编解码的，属于图像与图像之间， 帧与帧，场与场之间的一种压缩原理，进行的有损编解码，在保证图像的基本像素的基础上，丢失了图像的很多细节，压缩比很高，一般在10倍以上。

而本发明应用是以哈夫曼原理为基础， 以VLC编码（可变长度编码）为编码方式，结合帧内，图像内的预测与统计，在YCoCg的色域空间来实现无损压缩。压缩比不高。

本发明采用的无损压缩算法，码率可控，设计成本低，无损率低。整体构架可以根据输入时钟速率，每次处理像素的个数，而采用不同子画面个数来进行压缩， 而采用的熵编码和重构技术，更是保证了数据恢复原始的误码率降低很多， 确保了无损压缩算法得以正确实施。

附图说明

图1是本发明实施例中方法的原理图。

图2是本发明实施例中无损压缩编码处理单元数据处理原理图。

图3是本发明实施例中无损压缩解码处理单元数据处理原理图。

图4是本发明实施例中数据预测重构单元数据处理原理图。

图5是本发明实施例中熵编码单元数据处理原理图。

图6是本发明实施例中熵编码单元选择重构像素方式的原理图。

图7是本发明实施例中超高清HDMI2.0无缝切换器原理图。

图8是本发明实施例中超高清HDMI2.0无缝切换器的音视频输入单元原理图。

图9是本发明实施例中超高清HDMI2.0无缝切换器的音视频输出单元原理图。

图10是本发明实施例中超高清HDMI2.0无缝切换器的DDR3和NIC数据总线单元原理图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明一种针对视频数据的无损处理方法，可由计算机系统的处理器运行存储器中程序实现，存储器中程序可划分为无损压缩编码处理单元、无损压缩解码处理单元。

从视频源输出的非压缩超高清视频信号以光栅扫描顺序，实时送进无损压缩处理单元，处理单元通过此无损压缩技术形成一种比特数据流，并临时存在比率缓存，通过控制比率，压缩数据比特流通过HDMI线、MIPI线、DP线等局域网通讯方式，被实时送到无损压缩解码处理单元，无损压缩解码处理单元，把收到的无损压缩编码比特数据流存在临时比率缓存，然后通过此无损压缩技术，解压比特数据流，输出与输入同格式的视频输出，然后送到显示终端，从而达到视频传输的目的。整体数据的处理过程如图1所示。

无损压缩编码处理单元其数据处理过程如图2所示，首先把输入的一帧视频数据，等比例分成多个子画面（等宽等高），每个子画面（都是被专门处理的独立数据通路。每个子画面的每行像素被分为同数量的像素数据，分别处理，而处理是基于YCoCg色域空间来进行的。 如果输入的是RGB或者YCbCr数据， 首先被转换成YCoCg格式的像素数据，然后利用像素预测数据，或者利用色彩历史查询表来重构像素，基于熵编码中哈夫曼编码原理，通过可变长度编码来确定是用像素预测还是历史查询表来重构像素。熵编码时为每个YCoCg格式的像素数据中的Y、Co、Cg建造独立的语法单元，每个语法单元包含预测重构基础的冗余值和历史查询表的索引。每个独立的语法单元被写入独立的均衡缓存，同时相对应的尺寸也被写入对应的语法单元尺寸缓存。在经过一定的处理时间延迟后，子数据流的被按照一定的顺序和规则被重新选择，形成新的子编码比特数据流，写入每个独立比率缓存。每个独立的比率缓存被依次读取出来，形成整个视频无损压缩编码比特数据流输出。

无损压缩解码处理单元其数据处理过程如图3所示，可以看作是无损压缩编码处理单元的逆向处理。输入的无损压缩编码比特数据流被按照设定的顺序和规则被划分到一定数量的独立的子比特数据流，被写入到每个独立的比率缓存。独立的子数据流被依次分解从比率缓存读取处理，并反馈到熵解码模块。熵解码模块决定是预测模式的冗余值。基于接收的语法单元，冗余值或者是预测模式输出或者历史查询。重构的像素是基于YCoCg格式，被转回到RGB或者YCbCr格式，然后送到每个独立处理单元的相应的显示位置，然后形成一个整个显示帧数据，送到显示终端。

具体的，无损压缩编码处理单元，包括了图像区域划分单元，RGB转YCoCg单元，数据预测重构单元，数据缓存单元， 熵编码单元，均衡缓存单元，子数据比特流选择器，比率缓存单元，子画面编码比特流编码选择器。

图像区域划分单元: 此单元的功能主要是把一帧图像划分为同等大小的子画面，每个子画面同等宽度同等高度，一般根据实际设计中的视频处理时钟，和无损压缩处理时钟以及和压缩比例的关系，选择合适的子画面个数，通常个数为2,4,8。

RGB转YCoCg单元：在无损压缩预测重构和熵编码部分，是在 YCoCg色域空间下处理的，所以不论输入是RGB还是YCbCr(444,422)，均需要转换成YCoCg色域空间。具体的转换公式为：

Co = R-B + (1<<bpc)

Cg = G-(B+(R-B)>>1)+(1<<bpc)

Y= (B+(R-B)>>1) +(G-(B+(R-B)>>1))>>1

如图4所示，数据预测重构单元：数据预测重构单元采用的是量化冗余值，预测值和色彩历史查表索引被用来重构像素值，因为预测需要从前一条线来的重构像素来做预测，所以需要一条线的长度的缓存来存储一条线的重构像素， 当前处理的重构像素被写入缓存，作为接下来一条线的参考数据。

而色彩历史查询表则是通过色彩历史的索引，来获取相应的参考数据。 依据VESADSC的规格书，DSC建立和保持了一个32个像素的历史查询表， 如果历史查询索引用来重构当前的像素， 那么相应的色彩历史索引会被用来作为当前线的重构数列，同时历史色彩索引在当前组被处理之后，需要重新更新色彩历史的索引。

数据缓存单元：这里的数据缓存单元，就是在重构像素的时候，当选择像素预测的方式的时候， 需要把当前线的重构像素缓存在一条线的缓存空间里，给接下来一条线的像素重构做预测参考。

如图5、图6所示，熵编码单元：熵编码单元主要是采用可变长度编码（VLC）的技术对一个个同等大小的数据组进行编码。比如对一个3个像素的数据组进行编码（注意，如果数据格式是444的格式， 每个组有三个元素Y,Co,Cg分别进行预测编码， 如果420格式的，则有Ye,Yo, 以及Coo, Coe, Cgo, Cge六个元素进行分别预测编码，如果是422的话， 则Ye, Yo, Co, Cg四个元素进行预测编码）。可变长度编码单元主要是采用量化冗余值，通过比率控制算法来决定当前元素最大比特数据，从而进行编码。每个元素的大小则是通过预测QP值来决定的。而每个组通过预测因子或者色彩历史查询表的方式来编码。而一个冗余值的成本控制功能则决定了是通过预测因子还是色彩历史查询表的方式用在当前处理组。基本原则就是哪个使用编码的比特数最小，则用哪个。 通过可变长度编码单元，结果送出编码的bit数值以及相对应的数值的多少，从而达到编码的目的。

均衡缓存单元： 存储编码后的比特数值，以及相应的数值的长度。

子数据比特流选择器单元：依据子画面的各个元素的时序顺序，依次合并成一个比特数据流。

比率缓存单元：比率缓存控制单元，主要目的是利用调节QP的值，从而保持每个组，每个子画面，每帧固定的比特比率，同时保证画面质量。 当一组的像素被编码，编码器会对正在编码的组增加一定数量的比特来保持比率缓存处于满状态。 在每个子画面的开始， 编码器急速比率缓存里面的比特数，然后在开始送出压缩的比特数据流。相对于QP的操作，低值的QP被用在相对平坦的数据（也就是数据大小差不多的）， 而高值QP则被用在，数据变化大的区域， 为了保持数据的质量， 比特数的分配每行都会不停。

子画面编码比特流编码选择器单元：根据各个子画面的图像位置顺序，合并成一个整帧的编码比特数据流。

无损压缩解码处理单元，包括了图像区域重构单元，YCoCg转RGB单元，数据预测重构单元，数据缓存单元， 熵解码单元，均衡缓存单元，子数据比特流选择器，比率缓存单元，子画面解码比特流解码选择器。 所以无损压缩解码处理单元的处理方式是和编码相反的。在此不做累述。

本发明可用于超高清HDMI2.0无缝切换器，如图7所示，超高清HDMI2.0无缝切换器是一个四进四出，支持HDMI2.0音视频输入输出，无缝切换矩阵芯片， 最高每路通道可达18Gbps, 内嵌HMI2.0 RX/TX 物理接口，控制器，DDR3的物理接口控制器，内部总线集，以及其他的视频处理，比如图像的放大，缩小，工厂菜单，预览，图像拼接和分割，图像多看，图像的抠图，走字等等，而内嵌的MCU单元则是里控制和处理图像的各个功能，时序等。在此芯片内，因为4进4出，共计八路4K@60Hz超高清传输，共计带宽达12GB/s, 而采用32比特位宽的实际吞吐量才不带5GB/s， 所以要想达到4进4出的无缝切换，在支持4K@60输入输出的情况，则需要对部分通道进行无损压缩，从而达到节省带宽的效果。 在设计中，每路通道都有一个无损压缩编码模块，压缩编码后写入DDR3，然后从DDR3中读取出来后，在通过无损压缩解码模块，回复到VESA视频格式。由于无损压缩的最高比例是4:1，完全符合实际芯片应用需求，解决带宽的问题。

如图8所示，超高清HDMI2.0无缝切换器的音视频输入单元包括了2个子模块，图像缩小模块和无损压缩编码模块，两个模块从HDMI RX控制器获取同样的视频数据，分别被缩小到要求的图像大小，以及被压缩到指定的比特流，通过AXI总线分别写入DDR3。当然每个模块都是可以被直通过，然后直接写入DDR3。

如图9所示，超高清HDMI2.0无缝切换器的音视频输出单元中，根据需要，无损压缩通路写入的视频数据和缩小模块通路写入的视频数据，被分别从DDR3读取出来，压缩通路的数据进入无损压缩解码模块，回复到视频格式，而缩小模块通路的视频数据则被读取出来，根据需要被分别送到视频处理模块做各种视频的处理。

如图10所示，超高清HDMI2.0无缝切换器的DDR3和NIC数据总线单元在本次应用中，视频的数据不论是压缩还是原始视频数据，均可以通过NIC总线，利用AXI线，写入DDR3。同时也可以被读取处理，做各种处理。

本发明在实际芯片设计的应用中，4个输入超高清的带宽约为6GB/s, 4个输出超高清的带宽通用约为6GB/s, 共计大12GB/s。 而32比特位宽 1600速率的DDR3的位宽，按75%的有效利用率则为4.8GB/s, 如果是64比特位宽， 带宽则为9.6GB/s。 而采用了本次发明的无损压缩编解码技术， 不仅在同等速率的情况，数据带宽降低到1/4，而切可以降低DDR3的速率，从而在设计复杂度，功耗方面，可以达到更为简单，更低功耗的芯片，同时也提供了更为可靠的技术。

以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种针对视频数据的无损处理方法，其特征在于，包括以下步骤：

步骤1、获取视频源输出的非压缩超高清视频信号；

步骤2、按步骤1获取非压缩超高清视频信号时的各帧顺序，从非压缩超高清视频信号中提取每帧视频数据，然后将每帧视频数据分别按等比例划分成多个子画面；

步骤3、将步骤2得到的每个子画面中每行像素分别划分为相同数量的像素数据，并将每个子画面分出的各个像素数据分别转换为YCoCg格式的像素数据；

步骤4、基于熵编码中的哈夫曼编码原理，采用可变长度编码方法，通过预测因子或者色彩历史查询表，对步骤3得到的每个YCoCg格式像素数据分别进行压缩编码得到对应的子数据流，以重构像素；

压缩编码时，为每个YCoCg格式像素数据的Y、Co、Cg分别建造独立的语法单元，每个语法单元分别包含预测重构基础的量化冗余值、色彩历史查询表的索引，基于量化冗余值通过比率控制算法决定当前数据的最大比特数，并通过预测QP值决定当前数据的大小；判断采用预测因子、色彩历史查询表两者进行编码时得到的压缩编码数据比特数大小，并采用其中比特数小的一者进行压缩编码以重构像素；

步骤5、组合步骤4得到的各个子数据流，进而得到非压缩超高清视频信号对应的无损压缩编码的比特数据流。

2.根据权利要求1所述的一种针对视频数据的无损处理方法，其特征在于，步骤2中，基于每帧视频数据的时钟频率和后续熵编码时的时钟频率、处理速率，并根据后续熵编码的压缩比例关系确定具体份数，将每帧视频数据分成多份同等大小的子画面。

3.根据权利要求1所述的一种针对视频数据的无损处理方法，其特征在于，步骤4中基于预测因子进行像素重构时，当前重构后的像素数据作为后续像素数据重构时的预测参考数据。

4.根据权利要求1所述的一种针对视频数据的无损处理方法，其特征在于，步骤4中基于色彩历史查询表的索引进行像素重构时，如果色彩历史查询索引用来重构当前的像素，那么相应的色彩历史索引会被用来作为当前线的重构像素数据，同时色彩历史色彩索引在当前组被处理之后，需要重新更新色彩历史查询表的索引。

5.根据权利要求1或2所述的一种针对视频数据的无损处理方法，其特征在于，步骤5中，依据每帧视频数据的各个子画面的划分方式、每个子画面中每行像素划分方式、各帧视频数据的顺序，对步骤4得到的各个子数据流进行组合，进而得到非压缩超高清视频信号对应的无损压缩编码的比特数据流。

6.根据权利要求1所述的一种针对视频数据的无损处理方法，其特征在于，还包括对步骤5得到的无损压缩编码比特数据流的解码过程。

Images