Nothing Special   »   [go: up one dir, main page]

CN104980751B - 图像数据处理装置及图像数据处理的方法 - Google Patents

图像数据处理装置及图像数据处理的方法 Download PDF

Info

Publication number
CN104980751B
CN104980751B CN201410134470.7A CN201410134470A CN104980751B CN 104980751 B CN104980751 B CN 104980751B CN 201410134470 A CN201410134470 A CN 201410134470A CN 104980751 B CN104980751 B CN 104980751B
Authority
CN
China
Prior art keywords
block
pixel
value
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410134470.7A
Other languages
English (en)
Other versions
CN104980751A (zh
Inventor
钱为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhi Electronic Technology Chengdu Co ltd
Original Assignee
Ali Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ali Corp filed Critical Ali Corp
Priority to CN201410134470.7A priority Critical patent/CN104980751B/zh
Publication of CN104980751A publication Critical patent/CN104980751A/zh
Application granted granted Critical
Publication of CN104980751B publication Critical patent/CN104980751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种图像数据处理装置及图像数据处理的方法。此方法包括下列步骤。获得至少一个图像区块,其中图像区块包括多个像素。对图像区块进行区块预测编码以获得第一区块数据,并对图像区块进行线性预测编码以获得第二区块数据。比较第一区块数据与第二区块数据的数据量,并将其中具备较小数据量的第一区块数据或第二区块数据定义为图像区块相对应的已编码区块数据。藉此,本发明的图像数据处理装置可有效地提升视频引擎及显示引擎对存储器中的图像数据存取效率,且能降低对图像进行运动补偿及显示时所需使用的频宽。

Description

图像数据处理装置及图像数据处理的方法
技术领域
本发明是有关于一种数据处理的技术,且特别是有关于一种图像数据处理装置及图像数据处理的方法。
背景技术
随着数字科技的发展,在动态影像、电脑视讯、数字电视等应用中,使用者对图像解析度的要求愈来愈高。在4K分辨率(4K resolution)的高清解析度标准下,各种数字影像处理的技术也跟着大量产出。此外,高解析度的图像或视讯内容通常具备庞大的数据量,因此,为了在存储器中有效的存放图像数据,通常会对图像进行压缩。常见的视讯压缩标准例如有H.264/MPEG-4高阶视讯编码标准及音视讯编码标准(Audio Video coding Standard,AVS)。
H.264/MPEG-4视讯压缩标准在进行图像压缩时,是以区块(block)为基础,通过视频引擎(video engine)来进行块状的数据处理。而显示引擎(display engine)要显示图像或视讯内容时,则是以显示线(display line)为基础来进行线状扫描,从而显示出图像或视讯内容。
目前来说,在视频引擎进行如运动补偿的图像处理时,需从存储器中读出区块状的压缩图像数据以进行图像编解码;在显示引擎进行图像或视讯内容的显示处理时,则须从存储器中读出线状的压缩图像数据以进行图像编解码。因此,目前并没有针对存储器存取不便且需消耗高频宽来读取大量数据以进行图像编解码的问题提出有效的解决方案。
发明内容
本发明提供一种图像数据处理装置及图像数据处理的方法,其可有效地提升视频引擎及显示引擎对存储器中的图像数据存取效率,且能降低对图像进行运动补偿及显示时所需消耗的频宽。
本发明提出一种图像数据处理的方法。所述方法包括下列步骤。获得至少一个图像区块(image block),其中图像区块包括多个像素(pixels)。对图像区块进行区块预测编码(block-based encoding)以获得第一区块数据,并对图像区块进行线性预测编码(line-based encoding)以获得第二区块数据。比较第一区块数据与第二区块数据的数据量,并将其中具备较小数据量的第一区块数据或第二区块数据定义为对应到图像区块的已编码区块数据。
于另一观点而言,本发明提出一种图像数据处理装置。此图像数据处理装置包括第一图形缓冲器以及编码单元。第一图形缓冲器中暂存至少一个图像区块,其中图像区块包括多个像素。编码单元耦接至第一图形缓冲器。编码单元将所述图像区块进行编码。编码单元包括线编码模块、区块编码模块及比较模块。线编码模块对图像区块进行线性预测编码以获得第一区块数据,且区块编码模块对图像区块进行区块预测编码以获得第二区块数据。比较模块用以比较所述第一区块数据与所述第二区块数据的数据量,并将其中具备较小数据量的第一区块数据或第二区块数据定义为图像区块相对应的已编码区块数据。
基于上述,本发明所述的图像数据处理装置及其图像数据处理的方法可利用区块预测编码技术及线性预测编码技术来分别对图像区块进行编码,并比较编码后的数据量来决定采用两种预测编码技术其中之一所产生的已编码区块数据。由于本发明实施例所述的预测编码技术分别针对视频引擎的块状存取特性及显示引擎的线状存取特性来进行编解码上的优化,因此能够大幅降低储存在存储器中的区块数据,便可直觉性地降低对图像进行运动补偿及显示时所需消耗的频宽,并有效地提升视频引擎及显示引擎对存储器中的图像数据存取效率。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1是依据本发明一实施例说明一种图像数据处理装置的方块示意图。
图2是依据本发明一实施例说明一种图像数据处理装置的方块示意图。
图3是依据本发明一实施例说明一种图像数据处理方法的流程图。
图4是依据本发明一实施例说明对图像区块进行区块预测编码的流程图。
图5是依据本发明一实施例说明图4的图像数据处理方法的细部流程图。
图6是依据本发明一实施例说明在区块预测编码下,对图像区块中的像素进行预测的示意图。
图7A~7D是依据本发明一实施例说明扫描模式的示意图。
图8是依据本发明一实施例说明图4的图像数据处理方法的细部流程图。
图9是依据本发明一实施例说明对图像区块进行线性预测编码的流程图。
图10是依据本发明一实施例说明在线性预测编码下,对图像区块中的像素进行预测的示意图。
图11A~11B是依据本发明一实施例说明将已编码区块记录于第二图形缓冲器的示意图。
【符号说明】
100、200:图像数据处理装置
110、210:第一图形缓冲器
120、220:编码单元
122、222:线编码模块
124、224:区块编码模块
126、226:比较模块
130、230:图形处理器
132、232:运动补偿模块
140、240:第二图形缓冲器
150:第一解码单元
250:第一解码单元
260:显示引擎
602~610、1002~1010:预测方向
1110~1130:已编码区块
1140~1150:保留比特
R1:横行
C1:直列
L1~L4:线区块
S310~S340、S410~S440、S510~S550:步骤
S810~S890、S910~S930:步骤
具体实施方式
为了方便视频引擎及显示引擎对存储器中图像数据的存取,本发明实施例将会同时考量视频引擎的块状存取特性及显示引擎的线状存取特性,选择适当的图像区块尺寸为压缩单元来进行图像数据的处理。本实施例的显示引擎可从内部存储器总线(internalmemory bus)中以爆发模式(burst mode)一次读出最多32个像素,且可在一个请求中执行连续4次的爆发模式。视频引擎则以4乘4(4*4)像素的尺寸进行图像压缩。在上述情况下,本发明实施例选用尺寸为32乘4(32*4)像素的图像区块进行本发明实施例的图像数据处理方法。也就是说,下述实施例均以尺寸为32*4像素的图像区块为例进行说明。应用本实施例也可依照其需求而调整图像区块的尺寸,例如当内部存储器总线以爆发模式一次读出最多64个像素,且视频引擎则以8*8像素的尺寸进行图像压缩,则可选用尺寸为64*8像素的图像区块来实现下述的图像数据处理技术。
图1是依据本发明一实施例说明一种图像数据处理装置的方块示意图。图像数据处理装置100包括第一图形缓冲器110、编码单元120、图形处理器(Graphics ProcessingUnit,GPU)130、第二图形缓冲器140及第一解码单元150。第一图形缓冲器110例如是静态随机存取存储器(SRAM)或相似的元件,以储存图像区块,而第二图形缓冲器140例如是动态随机存取存储器(DRAM)或相似的元件,以储存将原始图像区块进行编码后的已编码区块。
在进行图像数据处理时,经图像处理器130处理后的图像区块会暂时储存在第一图形缓冲器110。编码单元120从第一图形缓冲器110接收此图像区块并对其进行编码,且将编码后的已编码区块存于第二图形缓冲器140中。特别说明的是,本实施例中的编码单元120包括线编码模块122、区块编码模块124及比较模块126。线编码模块122是用来对图像区块进行线性预测编码,而区块编码模块124则是用来对图像区块进行区块预测编码。比较模块126用以比较经由此两种编码预测产生的第一区块数据及第二区块数据,以选出具备较小数据量的区块数据,且将此区块数据作为已编码区块的数据。编码单元120将已编码区块的数据储存在第二图形缓冲器140中。
图形处理器130主要作用是对输入的图像信号进行处理。详细来说,图形处理器130会将对图像信号中的帧画面分割为多个图像区块,并将这些图像区块储存到第一图形缓冲器110。图形处理器130包括运动补偿模块132。运动补偿模块132在进行运动补偿(motion compensation,MC)时会控制第二图形缓冲器140将储存于其中的已编码区块送至第一解码单元150进行解码,以还原出图像区块来构建帧画面,进行运动补偿的后续操作。
图2是依据本发明一实施例说明一种图像数据处理装置的方块示意图。请参照图2,图像数据处理装置200包括第一图形缓冲器210、编码单元220、图形处理器230、第二图形缓冲器240、第二解码单元250及显示引擎260。在此说明的是,第一图形缓冲器210、编码单元220、第二图形缓冲器240、图形处理器230及其中的运动补偿模块232的功能与前述实施例中相同名称的元件相似,故其细节请参考前述。
与前述实施例的差异在于,本实施例的图像数据处理装置在进行显示处理时,显示引擎260通过第二解码单元250来对储存于第二图形缓冲器240中的已编码区块进行解码,并将解码后的图像区块提供给外部屏幕或显示设备以显示画面。
图3是依据本发明一实施例说明一种图像数据处理方法的流程图。请参照图3,本实施例的方法可适用于图1的图像数据处理装置100或图2的图像数据处理装置200。以下配合图1与图3来说明本实施例方法的详细流程。
于步骤S310中,第一图形缓冲器110会从图像处理器130获得对帧画面进行分割处理后的至少一个图像区块,其中此图像区块包括多个像素。举例来说,图形处理器130将帧画面切割为多个尺寸为32*4的图像区块,而第一图形缓冲器110可以取得至少一个包括32*4的图像区块。
于步骤S320中,编码单元120中的区块编码模块124会对取得的图像区块进行区块预测编码以获得第一区块数据。区块编码模块124对图像区块进行区块预测编码的详细步骤绘示于图4~图8中,以下将依序进行说明。
请参照图4,区块编码模块124对图像区块进行区块预测编码的流程,包括预测(prediction)、差值计算(differentiation)及自定义编码(tailor-made coding)三个主要步骤。在预测及差值计算时,于步骤S410中,区块编码模块124会通过图像区块的初始参考像素来预测图像区块中每个像素的数值,以产生像素的预测值,并依据像素的实际值与预测值的差异,产生对应到图像区块的差值矩阵。初始参考像素是将图像进行原样压缩的数据,以作为参考数据。像素数值的预测可以通过中值滤波器(median filter)、边缘滤波器(edge filter)、权重滤波器(weighted filter)或具有相似功能的组件来达成。
步骤S410的详细流程请参照图5。值得注意的是,本实施例所述的「当前像素」表示区块编码模块124目前要预测的像素,其会以邻近且已得到预测值的像素作为参考像素来产生当前像素的预测值。于步骤S510中,区块编码模块124会依据当前像素的参考像素来预测当前像素的数值,以产生当前像素的预测值。在得到当前像素的预测值后,便从步骤S510进入步骤S520,区块编码模块124会将当前像素的实际值减去预测值,以产生当前像素对应的差值。于步骤S540中,区块编码模块124依序将下一个像素作为当前像素,以对下一个像素进行步骤S510及S520操作,直到图像区块中的最后一个像素也预测且计算完差值(步骤S530)。于步骤S550中,依据图像区块中所有像素对应的差值来产生差值矩阵。
在一实施例中,区块编码模块124会将图像区块的首像素设定为初始参考像素,并以此首像素为基准,依序对邻近的像素进行预测,得到图像区块中所有像素的预测值,且依据所有像素的实际值与预测值的差异,产生对应到图像区块的差值矩阵。以图6所示的图像区块为例,在本实施例中仅绘示尺寸为32*4的图像区块中的前8*4像素,首先区块编码模块124将图像区块的首像素A设定为初始参考像素,接着位于同一横行R1的下一个像素B,会将前一个邻近的像素A作为参考像素来预测其数值(例如,箭头602)。同理,依序可完成位于R1中所有像素(例如像素C、D等)的预测。而与像素A位于同一直列C1的下一个像素E,也会将上方邻近的像素A作为参考像素来预测其数值(例如,箭头604),同理,依序可完成位于C1中所有像素(例如像素I、M等)的预测。对于不位于R1或C1的像素F,其会将前一个邻近的像素E、斜上方邻近的像素A及上方邻近的像素B作为参考像素来预测其数值(例如,箭头606、608、610),同理,依序可完成其余像素(例如像素G、H、J、K、L等)的预测值。
回到图4的流程图,产生出差值矩阵后,于步骤S420中,区块编码模块124会依照预设子区块尺寸将差值矩阵分成多个差值子区块。举例来说,若预设子区块尺寸为4*4,则区块编码模块124会将对应到尺寸为32*4的图像区块的差值矩阵,分为8个尺寸为4*4的差值子区块。
于步骤S430中,区块编码模块124依据扫描条件从多个像素扫描模式中选择各个差值子区块对应的设定扫描模式。具体来说,区块编码模块124会对每个尺寸为4*4的差值子区块进行扫描检视,其中扫描模式如图7A~7D所示,依序为Z型扫描(zigzag)、右上扫描(upright)、水平扫描(horizontal)及垂直扫描(vertical)。图7A~7D中0~15的数字分别表示在上述不同的扫描模式中对差值子区块的各个像素进行扫描的顺序。区块编码模块124会以计算所述差值子区块在每一扫描模式中由后到前的像素值为零的像素数量作为扫描条件。换句话说,区块编码模块124通过由15到0的逆顺序在每一扫描模式中计算像素值连续为零的数量,并以具有最多连续个零像素所对应的扫描模式作为此差值子区块的设定扫描模式。值得注意的是,在此种扫描条件下,选择差值子区块后端连续零像素较多的扫描模式,在后续自定义编码的步骤中,可以减少编码的数量。
当在步骤S430中选择各个差值子区块对应的设定扫描模式之后,便进入到区块预测编码流程中的自定义编码及其中的各个步骤。于步骤S440中,区块编码模块124会依据步骤S430中选择的设定扫描模式,对每一个差值子区块设定多种旗标,并依照这些旗标分别对每一个差值子区块进行编码以产生第一区块数据。
步骤S440的详细流程请参照图8。值得注意的是,本说明书中的当前差值子区块用以表示区块编码模块124目前要设定旗标的差值子区块。于本实施例中,区块编码模块124会对每一个差值子区块进行这些旗标的设定,直到所有的差值子区块的旗标都设定完成。在选择好当前差值子区块对应的设定扫描模式后,于步骤S810中,区块编码模块124会判断当前差值子区块的每一个数值是否皆为零。于步骤S820中,在当前差值子区块的每一个数值皆为零时,区块编码模块124会将当前差值子区块的子区块零旗标(cbf)设定为0,而不需对此当前差值子区块进行其它的编码。相反地,于步骤S830中,在当前差值子区块具有非零的数值时,区块编码模块124会将当前差值子区块的cbf设定为1,以进行接下来的编码步骤。
于步骤S840中,区块编码模块124依据当前差值子区块对应的设定扫描模式设定扫描模式旗标(scan_mode)以及非零扫描旗标(last_nonzero_x及last_nonzero_y),而在设定扫描模式中位于非零扫描旗标以后的像素数值皆为零。于步骤S850中,区块编码模块124在设定扫描模式中对位于非零扫描旗标以前的每个像素设定对应的数值旗标(nonzeroflag),其中数值旗标用以表示对应的像素的像素值是否为零。
举例来说,若当前差值子区块对应的设定扫描模式为图7A所示的Z型扫描,而在Z型扫描中,位于数字8的数值是从数字15倒数至0遇到的第一个非零的值,也就是说位于数字9~15的数值皆为零,则区块编码模块124会将非零扫描旗标设定成数字8在当前差值子区块的位置。具体来说,数字8在图7A绘示的二维空间是位于x轴为2且y轴为1的坐标上,因此,可以利用2比特(bits)的二进位码(binary code)分别设定非零扫描旗标,以代表数字8在x轴及y轴上的坐标,例如last_nonzero_x=10及last_nonzero_y=01。设定完对应到数字8所在位置的非零扫描旗标后,依据位于数字8以前的数字0~8的像素数值对数字0~8中的非零数值设定nonzero flag。
于步骤S860中,对于具备nonzero flag的像素设定符号旗标(sign flag),signflag是用来表示像素数值的正负号。于步骤S870中,判断具备符号旗标的像素的数值绝对值是否大于第一值,当像素的数值绝对值大于第一值时,设定第一绝对值旗标(larger_than1flag)。于步骤S880中,判断具备第一绝对值旗标的像素的数值绝对值是否大于第二值,当像素的数值绝对值大于第二值时,设定第二绝对值旗标(larger_than2flag)。于步骤S890中,将具备第二绝对值旗标的像素的数值减去第三值,并依据特定编码对此减去第三值后的数值(minus3)进行编码,以产生第一区块数据,其中上述第三值大于第二值,且第二值大于第一值。
在一实施例中,上述第一值、第二值及第三值可以分别为1、2及3。以前述的实施例来说,区块编码模块124对位于数字0~8的像素中具有nonzero flag的像素,设定符号旗标sign flag。且区块编码模块124对此8个像素中,数值绝对值大于1的像素设定larger_than1flag,并从具有larger_than1flag的像素中,选出数值绝对值大于2的像素设定larger_than2flag。再将具有larger_than2flag的像素的数值减去3,并依据此经减去3后的数值选择合适的编码以产生第一区块数据。上述合适的编码可以用经减去3后的最大数值为依据,以从常用的编码中,选择此最大数值可以使用的最小编码长度所对应的编码,其中,常用的编码包括莱斯码(Rice coding)、格伦布编码(Golomb coding)等。
回到图3的流程图,于步骤S330中,编码单元120中的线编码模块122会对图像区块进行线性预测编码以获得第二区块数据。线编码模块122对图像区块进行线性预测编码的详细步骤绘示于图9~图10中,以下将依序进行说明。
请参照图9,线编码模块122对图像区块进行线性预测编码的流程与区块预测编码的流程相似,也是包括预测、差值计算及自定义编码三个主要步骤。在预测及差值计算时,于步骤S910中,线编码模块122将图像区块分为多个线区块,通过图像区块的初始参考像素来预测线区块中各个像素的数值,以产生像素的预测值。于步骤S920中,线编码模块122依据像素的实际值与预测值的差异,产生对应到线区块的线性差值矩阵。上述步骤S910~S920与步骤S410~S420相同或相似,故其细节请参照前述。
在本实施例中,线编码模块122会将图像区块分为多个线区块,接着以线区块为单位进行预测及差值计算。以图10所示的图像区块为例,在本实施例中仅绘示32*4图像区块的前8*4像素,线编码模块122会将32*4图像区块分为4个尺寸为32*1的线区块,例如图10中位于第一行~第四行的4个线区块L1~L4。线编码模块122会将L1的首像素A设定为初始参考像素,而同样位于L1的下一个像素B,会将前一个邻近的像素A作为参考像素来预测其数值(例如,箭头1002),同理,依序可完成位于L1中所有像素(例如像素C、D等)的预测。
线区块L2~L4可以选择两种方法并以整个线区块为单位进行预测。第一种方法是用前一行线区块的对应像素作为参考像素;第二种方法则是用同一行线区块中已预测的前一个像素作为参考像素。关于选择用哪一种方法进行线区块预测的资讯可以标示在线区块标头中。在此实施例中,L2的线区块标头是选择上述第一种方法,用L1中的对应像素作为参考像素。例如,像素E以像素A为参考像素(例如,箭头1004),像素F以像素B为参考像素(例如,箭头1006),藉以预测L2的每一个像素。而L3的线区块标头则是选择第二种方法,用同样位于L3的前一个像素作为参考像素。例如,像素J以像素I为参考像素(例如,箭头1008)、像素K以像素J为参考像素(例如,箭头1010),藉以预测L3的每一个像素。需注意的是,选用此第二种方法时,首像素I也需设定为初始参考像素,以作为L3的参考像素。
在此说明如何依据像素的实际值与预测值的差异,从而产生对应到线区块的线性差值矩阵并进入到线性预测编码流程中的自定义编码及其中的各个步骤。于步骤S930中,线编码模块122对线性差值矩阵设定旗标,并依照这些旗标分别对每一个线性差值矩阵进行编码以产生第二区块数据。上述步骤S930与步骤S440相同或相似,故其细节请参照前述。
与前述区块编码模块122所执行的步骤不同的是,在本实施例中,线编码模块122在子区块零旗标(cbf)设定完成之后,不会进行扫描模式旗标(scan_mode)以及非零扫描旗标(last_nonzero_x及last_nonzero_y)的设定动作,而是直接进入设定数值旗标(nonzeroflag)、符号旗标(sign flag)的步骤,并依据第一值、第二值和第三值来设定第一绝对值旗标(larger_than1flag)和第二绝对值旗标(larger_than2flag),最后,对减去第三值后的数值(minus3)进行编码,以产生第二区块数据。
回到图3的流程图,在编码单元120中获得第一区块数据及第二数据区块数据,而比较模块126会比较得到的第一区块数据及第二数据区块数据,从其中选出具备较小数据量的数据,作为编码区块对应的已编码区块的数据。编码单元120将此已编码区块数据记录于第二图形缓冲器140中,以便于后续进行运动补偿或显示图像的操作。值得注意的是,在第一区块数据与第二区块数据的数据量皆大于图像区块的原始数据量时,本发明的图像数据处理装置可以不对个图像区块进行处理,而将图像区块的原有数据直接记录于第二图形缓冲器140。
图11A及11B绘示将已编码区块记录于图1及图2中第二图形缓冲器140及240的实施例。先参照图11A,以YCbCr色彩空间举例来说,左边为尺寸32*4的已编码区块1110,将此已编码区块1110对于Y空间、Cb空间和Cr空间的编码依序记录于右图16*16比特组(bytes)的第二图形缓冲器中。在已编码区块中可能具有未编码的保留比特(例如已编码区块1110中的reserved比特)。参照图11B,在多个已编码区块1120、1130记录于第二图形缓冲器时,每一已编码区块中没有使用到的保留比特(例如已编码区块1120中的保留比特1140及已编码区块1130中的保留比特1150),会对第二图形缓冲器的记忆空间造成浪费,因此本发明提出的第二图形缓冲器会将每一已编码区块中的保留比特删除,以提升存储器的储存效能。
综上所述,本发明实施例的图像数据处理装置及其图像数据处理的方法,同时考量到视频引擎的块状存取特性及显示引擎的线状存取特性,可有效地提升视频引擎及显示引擎对存储器中的图像数据进行存取的效率。此外,本发明的图像数据处理的方法同时考量区块预测编码及线性预测编码两种编码方式,并从中选出数据量较小的编码方式,而能有效降低编码的数据量,进而减少对图像进行运动补偿及显示时所需消耗的频宽。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视后附的权利要求所界定者为准。

Claims (16)

1.一种图像数据处理的方法,其特征在于,包括:
获得至少一个图像区块,其中该至少一个图像区块至少包括4x4个像素;
对该至少一个图像区块进行区块预测编码以获得第一区块数据;
对该至少一个图像区块进行线性预测编码以获得第二区块数据;以及
比较该第一区块数据与该第二区块数据的数据量,并将其中具备较小数据量的该第一区块数据或该第二区块数据定义为该至少一个图像区块相对应的已编码区块数据,
其中对该至少一个图像区块进行区块预测编码以获得该第一区块数据包括下列步骤:
通过该至少一个图像区块的一初始参考像素来预测该图像区块中每个像素的数值,从而产生每个像素的预测值,并依据每个像素的实际值与该预测值以产生对应该图像区块的差值矩阵;
依照一预设子区块尺寸而将该差值矩阵区分为多个差值子区块;
依据一扫描条件而从多个像素扫描模式中选择各个差值子区块对应的一设定扫描模式;以及
依据该设定扫描模式以对各个差值子区块设定多个旗标,并依照该些旗标对各个差值子区块进行编码以产生该第一区块数据,
其中该扫描条件是,计算各个差值子区块在各个像素扫描模式中从后至前的像素值为零的像素数量,且将该像素数量中最大所对应的该些像素扫描模式其中之一选择为该设定扫描模式,
其中该像素扫描模式包括Z型扫描、右上扫描、水平扫描及垂直扫描,
其中对该至少一个图像区块进行线性预测编码以获得该第二区块数据包括下列步骤:
将该至少一个图像区块区分为多个线区块,并预测每个线区块中各个像素的数值,从而产生每个像素的预测值;
依据每个线区块中每个像素的实际值与该预测值以产生对应每个线区块的线形差值矩阵;以及
对各个线形差值矩阵设定多个旗标,并依照该些旗标对各个线性差值矩阵进行编码以产生该第二区块数据。
2.如权利要求1所述的方法,其特征在于,获得至少一个区块包括:
对一图像信号中的帧画面进行分割处理以产生该至少一个图像区块,其中该些图像区块用以组成该图像信号中的图像帧;以及
将该至少一个图像区块暂存于一第一图形缓冲器。
3.如权利要求1所述的方法,其特征在于,将该至少一个图像区块的首像素定义为该图像区块的该初始参考像素,并且,
通过该初始参考像素来预测该图像区块中每个像素的数值,从而产生每个像素的该预测值,并依据每个像素的该实际值与该预测值以产生对应该至少一个图像区块的差值矩阵包括:
依据一当前像素的一参考像素,预测该当前像素的数值,以产生为该当前像素的该预测值;
将该当前像素的该实际值减去该预测值,以产生该当前像素对应的一差值;
重复以上步骤,依序产生对应该图像区块中各个像素的该差值,以产生对应该图像区块的该差值矩阵。
4.如权利要求3所述的方法,其特征在于,预测该至少一个图像区块中该当前像素的数值包括:
当该当前像素为该图像区块的首像素时,记录该当前像素,并将其定义为该图像区块的该初始参考像素;
当该当前像素位于该图像区块的第一横行时,将位于该当前像素已预测的前个邻近像素定义为该当前像素的该参考像素,来预测该当前像素的该预测值;
当该当前像素位于该图像区块的第一直列时,将位于该当前像素已预测的上方邻近像素定义为该当前像素的该参考像素,来预测该当前像素的该预测值;以及
当该当前像素不位于该图像区块的该第一横行以及该第一直列时,将位于该当前像素已预测的该前个邻近像素、该上方邻近像素以及斜上方邻近像素定义为该当前像素的该参考像素,来预测该当前像素的该预测值。
5.如权利要求1所述的方法,其特征在于,依据该设定扫描模式以对对应的各个差值子区块设定多个旗标包括下列步骤:
当一当前差值子区块的各个数值为零时,对该当前差值子区块设定一子区块零旗标;
依据该当前差值子区块对应的该设定扫描模式而设定一扫描模式旗标以及一非零扫描旗标,其中在该设定扫描模式中位于该非零扫描旗标以后的像素数值皆为零;
将在该设定扫描模式中位于该非零扫描旗标以前的每个像素设定对应的数值旗标,其中该数值旗标用以表示对应的每个像素的像素值是否为零;以及
对于具备该数值旗标的对应的每个像素设定一符号旗标。
6.如权利要求5所述的方法,其特征在于,依据该设定扫描模式以对对应的各个差值子区块设定多个旗标更包括:
判断具备该符号旗标的每个像素的数值绝对值是否大于一第一值,并当对应的每个像素的数值绝对值大于该第一值时设定一第一绝对值旗标;
判断具备该第一绝对值旗标的每个像素的数值绝对值是否大于一第二值,并当对应的每个像素的数值绝对值大于该第二值时设定一第二绝对值旗标;以及
将具备该第二绝对值旗标的每个像素的数值减去一第三值,并依据一特定编码以对具备该第二绝对值旗标的每个像素经减去该第三值后的数值来进行编码,以产生该第一区块数据,其中该第三值大于该第二值,且该第二值大于该第一值。
7.如权利要求1所述的方法,其特征在于,预测每个线区块中各个像素的数值,从而产生每个像素的该预测值包括下列步骤:
将第一个线区块的首像素作为一初始参考像素;以及
依据各个线区块对应的一线区块标头来决定是将已预测的前一个线区块的对应像素或是各个线区块中已预测的前一个像素定义为一当前像素的一参考像素,来预测该当前像素的该预测值,
其中该线区块标头被预先设置以用于关于选择用哪一种方法进行线区块预测的资讯。
8.如权利要求7所述的方法,其特征在于,依据每个线区块中每个像素的该实际值与该预测值以产生对应每个线区块的线性差值矩阵包括下列步骤:
将该当前像素的该实际值减去该预测值,以产生该当前像素对应的一差值;以及
重复以上步骤,依序产生对应每个线区块中各个像素的该差值,以产生对应每个线区块的该线形差值矩阵。
9.如权利要求1所述的方法,其特征在于,对各个线形差值矩阵设定多个旗标包括下列步骤:
当一当前线形差值矩阵的各个数值为零时,对该当前线形差值矩阵设定一子区块零旗标;
将该当前线形差值矩阵中每个像素设定对应的数值旗标,其中该数值旗标用以表示对应的每个像素的像素值是否为零;以及
对于具备该数值旗标的对应的每个像素设定一符号旗标。
10.如权利要求9所述的方法,其特征在于,对各个线形差值矩阵设定多个旗标更包括下列步骤:
判断具备该符号旗标的每个像素的数值绝对值是否大于一第一值,并当对应的每个像素的数值绝对值大于该第一值时设定一第一绝对值旗标;
判断具备该第一绝对值旗标的每个像素的数值绝对值是否大于一第二值,并当对应的每个像素的数值绝对值大于该第二值时设定一第二绝对值旗标;以及
将具备该第二绝对值旗标的每个像素的数值减去一第三值,并依据一特定编码以对具备该第二绝对值旗标的每个像素经减去该第三值后的数值来进行编码,以产生该第二区块数据,其中该第三值大于该第二值,且该第二值大于该第一值。
11.如权利要求1所述的方法,其特征在于,更包括下列步骤:
当第一区块数据与该第二区块数据的数据量皆大于该至少一个图像区块的数据量时,不对该至少一个图像区块进行处理,并将该至少一个图像区块的原有数据记录于一第二图形缓冲器。
12.如权利要求1所述的方法,其特征在于,该至少一个图像区块的尺寸为32乘4个像素。
13.一种图像数据处理装置,其特征在于,包括:
第一图形缓冲器,暂存至少一个图像区块,其中该至少一个图像区块至少包括4x4个像素;
编码单元,耦接该第一图形缓冲器,将该至少一个图像区块进行编码,
其中该编码单元包括:
线编码模块,对该至少一个图像区块进行线性预测编码以获得第一区块数据;
区块编码模块,对该至少一个图像区块进行区块预测编码以获得第二区块数据;以及
比较模块,比较该第一区块数据与该第二区块数据的数据量,并将其中具备较小数据量的该第一区块数据或该第二区块数据定义为该至少一个图像区块相对应的已编码区块数据,
其中该线编码模块对该至少一个图像区块进行线性预测编码以获得该第一区块数据是将该至少一个图像区块区分为多个线区块,并预测每个线区块中各个像素的数值,从而产生每个像素的预测值,依据每个线区块中每个像素的实际值与该预测值以产生对应每个线区块的线形差值矩阵,以及对各个线形差值矩阵设定多个旗标,并依照该些旗标对各个线性差值矩阵进行编码以产生该第一区块数据,
其中该区块编码模块对该至少一个图像区块进行区块预测编码以获得该第二区块数据是通过该至少一个图像区块的一初始参考像素来预测该图像区块中每个像素的数值,从而产生每个像素的预测值,并依据每个像素的实际值与该预测值以产生对应该图像区块的差值矩阵,依照一预设子区块尺寸而将该差值矩阵区分为多个差值子区块,依据一扫描条件而从多个像素扫描模式中选择各个差值子区块对应的一设定扫描模式,以及依据该设定扫描模式以对各个差值子区块设定多个旗标,并依照该些旗标对各个差值子区块进行编码以产生该第二区块数据,
其中该扫描条件是,计算各个差值子区块在各个像素扫描模式中从后至前的像素值为零的像素数量,且将该像素数量中最大所对应的该些像素扫描模式其中之一选择为该设定扫描模式,
其中该像素扫描模式包括Z型扫描、右上扫描、水平扫描及垂直扫描。
14.如权利要求13所述的图像数据处理装置,其特征在于,更包括:
图像处理器,对一图像信号中的帧画面进行分割处理以产生该至少一个图像区块,其中该些图像区块用以组成该图像信号中的图像帧;以及
第二图形缓冲器,耦接该编码单元以储存该至少一个图像区块相对应的已编码区块。
15.如权利要求14所述的图像数据处理装置,其特征在于,该图像处理器包括一运动补偿模块,并且,
该图像数据处理装置更包括:
第一解码单元,耦接该运动补偿模块,其中该运动补偿模块控制该第二图形缓冲器以获得该至少一个图像区块相对应的该已编码区块,该第一解码单元对该已编码区块进行解码,并将该至少一个图像区块传送至该运动补偿模块。
16.如权利要求14所述的图像数据处理装置,其特征在于,更包括:
显示引擎;以及
第二解码单元,其中该显示引擎控制该第二图形缓冲器以获得该至少一个图像区块相对应的该已编码区块,该第二解码单元对该已编码区块进行解码,并将该至少一个图像区块传送至该显示引擎,该显示引擎将该至少一个图像区块进行显示。
CN201410134470.7A 2014-04-02 2014-04-02 图像数据处理装置及图像数据处理的方法 Active CN104980751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410134470.7A CN104980751B (zh) 2014-04-02 2014-04-02 图像数据处理装置及图像数据处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410134470.7A CN104980751B (zh) 2014-04-02 2014-04-02 图像数据处理装置及图像数据处理的方法

Publications (2)

Publication Number Publication Date
CN104980751A CN104980751A (zh) 2015-10-14
CN104980751B true CN104980751B (zh) 2018-06-15

Family

ID=54276773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410134470.7A Active CN104980751B (zh) 2014-04-02 2014-04-02 图像数据处理装置及图像数据处理的方法

Country Status (1)

Country Link
CN (1) CN104980751B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635940B (zh) * 2019-01-28 2021-04-06 深兰人工智能芯片研究院(江苏)有限公司 一种基于卷积神经网络的图像处理方法及图像处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122615A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 画像復号装置
CN1685732A (zh) * 2002-11-01 2005-10-19 松下电器产业株式会社 动态图像编码方法和动态图像解码方法
CN1980393A (zh) * 2005-12-09 2007-06-13 松下电器产业株式会社 图像编码装置、方法及计算机程序
CN102930871A (zh) * 2009-03-11 2013-02-13 华为技术有限公司 一种线性预测分析方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122615A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 画像復号装置
CN1685732A (zh) * 2002-11-01 2005-10-19 松下电器产业株式会社 动态图像编码方法和动态图像解码方法
CN1980393A (zh) * 2005-12-09 2007-06-13 松下电器产业株式会社 图像编码装置、方法及计算机程序
CN102930871A (zh) * 2009-03-11 2013-02-13 华为技术有限公司 一种线性预测分析方法、装置及系统

Also Published As

Publication number Publication date
CN104980751A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
CN102595116B (zh) 多图像块划分的编解码方法和装置
CN104811705B (zh) 视频的编码方法和装置及视频的解码方法和装置
JP5722761B2 (ja) 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
Magnor et al. Hierarchical coding of light fields with disparity maps
CN108769678A (zh) 图像编码设备
CN105681807A (zh) 一种基于h264协议的分像素运动矢量计算方法和装置
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
US10440360B2 (en) Video processing system
CN110691250B (zh) 结合块匹配和串匹配的图像压缩装置
CN103238321A (zh) 用于对分层结构的符号进行编码的视频编码方法及其装置以及用于对分层结构的符号进行解码的视频解码方法及其装置
TW202116070A (zh) 動畫像編碼裝置、動畫像解碼裝置及記錄媒體
JPWO2009087783A1 (ja) 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法
US20230298216A1 (en) Predictive coding of boundary geometry information for mesh compression
US20040105497A1 (en) Encoding device and method
CN109922347A (zh) 视频编译码方法及其图像处理装置
WO2024149136A1 (zh) 一种三维网格的编码、解码方法及其装置以及编解码框架
CN114930823A (zh) 帧内预测方法、装置、编码器、解码器、及存储介质
CN104980751B (zh) 图像数据处理装置及图像数据处理的方法
GB2616566A (en) Method and device for compressing data representative of a volumetric three-dimensional scene with a view to real-time decompression for online viewing
CN101426139A (zh) 图像压缩装置
JP2009077183A (ja) データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法
CN117579842A (zh) 一种基于块内预测的无损argb压缩方法
CN107172425B (zh) 缩略图生成方法、装置及终端设备
JP5199956B2 (ja) 画像復号装置及びその制御方法
CN109547780A (zh) 图像编码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201109

Address after: 206, block a, Ziguang information port, No. 13, Langshan Road, North District, Science Park, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Yangzhi Electronic Technology (China) Co.,Ltd.

Address before: 6 / F, 1 Jinshan 8th Street, Hsinchu, Taiwan, China

Patentee before: ALI CORPORATION

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: Room 2702, unit 3, building 1, No. 333, Jiqing Third Road, Chengdu high tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610095

Patentee after: Yangzhi Electronic Technology (Chengdu) Co.,Ltd.

Address before: Room 206, block a, Ziguang information port, No.13, Langshan Road, North District, Science Park, Nanshan District, Shenzhen, Guangdong 518052

Patentee before: Yangzhi Electronic Technology (China) Co.,Ltd.