Nothing Special   »   [go: up one dir, main page]

CN101014126B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN101014126B
CN101014126B CN2007100073958A CN200710007395A CN101014126B CN 101014126 B CN101014126 B CN 101014126B CN 2007100073958 A CN2007100073958 A CN 2007100073958A CN 200710007395 A CN200710007395 A CN 200710007395A CN 101014126 B CN101014126 B CN 101014126B
Authority
CN
China
Prior art keywords
quantized level
level
unit
change
weight coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007100073958A
Other languages
English (en)
Other versions
CN101014126A (zh
Inventor
安藤勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101014126A publication Critical patent/CN101014126A/zh
Application granted granted Critical
Publication of CN101014126B publication Critical patent/CN101014126B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像处理装置,包括量化单元,配置为利用设置的量化级量化输入运动图像信号;编码单元,配置为对量化单元的输出执行可变长度编码;活性检测单元,配置为检测输入运动图像信号的活性;量化级确定单元,配置为基于从编码单元输出的可变长度代码量来确定量化级;更改单元,配置为基于由活性检测单元检测的活性更改由量化级确定单元确定的值,并在量化单元中将更改后的值设置为量化级;以及填充水平检测单元,配置为基于从编码单元输出的可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平,并控制更改单元使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小。

Description

图像处理装置
技术领域
本发明涉及图像处理装置,尤其涉及图像信号的编码。
背景技术
已知运动图像专家组(MPEG)标准和H.264(或MPEG4-先进视频编码(AVC))标准用作用于对图像信号进行编码的技术标准。这些编码标准使用诸如离散余弦变换(DCT)、量化和可变长度编码的技术,并组合帧内编码和帧间预测编码,以实现运动图像信号的编码。
而且,例如,MPEG2标准定义了视频缓冲校验(VBV:videobuffer verifier)缓冲器模型(即虚拟缓冲器模型)来确保解码期间的实时处理。在VBV缓冲器模型中,解码期间缓冲存储器中的数据量必须被维持在VBV缓冲器大小的上限和零字节之间的水平上。例如,在基本级的基本型(MP@ML:main profile at main level)中,最大缓冲器大小被指定为1835008比特。
一种公知的用于维持这种VBV缓冲器模型的技术基于每单位时间生成的代码量来估计VBV缓冲器的填充水平,并因此控制量化步宽(即量化标尺(Q-scale))。
在一种公知的MPEG编码技术中,使用被称为“活性(activity)”的、指示图像的特征值(即复杂度)的系数来对量化步加权,并因此改善图像质量(例如参见对应于美国专利申请公开No.2005/0147162的日本专利公开No.10-224786)。
但是,如果采用图像的活性加权量化步而没有参考实际生成的代码量,则所生成的代码量可能变化,并且可能出现编码数据的下溢。
发明内容
本发明的目的就是解决这样的问题,并且提供一种能够对图像信号进行编码并在适当控制代码量的同时改善图像质量的装置。
按照本发明的一个方面,提供了一种图像处理装置,包括量化单元,其被配置为利用设置的量化级(quantization scale)量化输入运动图像信号;编码单元,其被配置为对量化单元的输出执行可变长度编码;活性检测单元,被配置为检测输入运动图像信号的活性;量化级确定单元,其被配置为基于从编码单元输出的可变长度代码量来确定量化级;更改单元,其被配置为基于由活性检测单元所检测的活性更改由量化级确定单元所确定的值,并在量化单元中将更改后的值设置为量化级;以及填充水平检测单元,其被配置为基于从编码单元所输出的可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平,并控制更改单元使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小。
按照本发明的另一方面,更改单元可以包括系数产生部件,其被配置为基于活性产生加权系数;和量化级更改部件,其被配置为基于加权系数更改由量化级确定单元所确定的量化级,其中填充水平检测单元控制系数产生部件,使得量化级基于加权系数而改变的范围随着所检测的填充水平的降低而变窄。
根据本发明的再一方面,系数产生部件可以包括加权系数确定部分,其被配置为根据活性确定加权系数;和系数转换部分,其被配置为转换从加权系数确定部分所输出的加权系数,并向量化级更改部件输出转换后的加权系数,其中填充水平检测单元基于所检测的填充水平控制系数转换部分。
此外,根据本发明的另一方面,填充水平检测单元控制系数转换部分,使得如果填充水平下降到阈值以下,则量化级基于加权系数而改变的范围变得比填充水平等于或大于该阈值时更窄。
而且,根据本发明的另一方面,运动图像信号可以包括多个宏块,每个宏块包括“n”个像素,其中“n”是正整数,其中系数产生部件为每个宏块产生加权系数,并且量化级确定单元为每个宏块确定量化级。
此外,根据本发明的另一方面,更改单元可以包括活性转换部件,其被配置为转换由活性检测单元所检测的活性;系数产生部件,其被配置为基于活性转换部件所输出的活性产生加权系数;以及量化级更改部件,其被配置为基于加权系数更改由量化级确定单元所确定的量化级,其中填充水平检测单元控制活性转换部件,使得量化级基于加权系数而改变的范围随着所检测的填充水平降低而变窄。
而且,根据本发明的另一方面,运动图像信号可以包括多个宏块,每个宏块包括“n”个像素,其中“n”是正整数,其中活性检测单元检测每个帧的活性,并且加权系数确定部分确定每个宏块的加权系数。
并且,根据本发明的再一方面,填充水平检测单元控制活性转换部件,使得如果填充水平下降到阈值以下,则量化级基于加权系数而改变的范围变得比填充水平等于或大于该阈值时更窄。
此外,根据本发明的另一方面,提供了一种图像处理装置,包括量化单元,其被配置为采用设置的量化级量化输入运动图像信号;编码单元,其被配置为对量化单元的输出执行可变长度编码;活性检测单元,被配置为检测输入运动图像信号的活性;量化级确定单元,其被配置为基于从编码单元所输出的可变长度代码量来确定量化级;更改单元,其被配置为基于由活性检测单元所检测的活性更改由量化级确定单元所确定的量化级,并在量化单元中设置更改后的量化级;填充水平检测单元,其被配置为基于从编码单元所输出的可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平;以及控制单元,其被配置为根据由填充水平检测单元所检测的填充水平,执行关于是否基于活性更改由量化级确定单元所确定的量化级的控制。
而且,在本发明的另一方面中,控制单元控制更改单元,使得如果填充水平下降到阈值以下,则不进行更改地输出由量化级确定单元所确定的量化级,而如果填充水平等于或大于该阈值,则基于活性更改由量化级确定单元所确定的量化级并将其输出。
此外,根据本发明的再一方面,更改单元可以包括系数产生部件,其被配置为基于活性产生加权系数;计算部件,被配置为使用加权系数和由量化级确定单元所确定的量化级执行计算;以及选择部件,被配置为选择来自计算部件的输出和由量化级确定单元所确定的量化级中之一,其中控制单元控制选择部件,使得如果填充水平下降到阈值以下,则选择部件选择由量化级确定单元所确定的量化级,而如果填充水平等于或大于该阈值,则选择部件选择来自计算部件的输出。
而且,根据本发明的另一方面,更改单元可以包括系数产生部件,被配置为基于活性产生加权系数;选择部件,被配置为选择加权系数和固定值中之一;以及计算部件,被配置为使用来自选择部件的输出和由量化级确定单元所确定的量化级执行计算,其中控制单元控制选择部件,使得如果填充水平下降到阈值以下,则选择部件选择固定值,而如果填充水平等于或大于该阈值,则选择部件选择加权系数。
在本发明的另一方面中,提供一种图像处理方法,包括:采用设置的量化级量化输入运动图像信号;对量化后的运动图像信号执行可变长度编码;检测输入运动图像信号的活性;基于从对量化后的运动图像信号执行可变长度编码而获得的可变长度代码量来确定量化级;基于所检测的活性更改所确定的量化级,并将更改后的量化级设置为量化级;以及基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平,并控制对所确定的量化级的更改,使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小。
而且,根据本发明的再一方面,提供一种图像处理方法,包括:采用设置的量化级量化输入运动图像信号;对量化后的运动图像信号执行可变长度编码;检测输入运动图像信号的活性;基于从对量化后的运动图像信号执行可变长度编码所获得的可变长度代码量来确定量化级;基于所检测的活性更改所确定的量化级,并将更改后的量化级设置为量化级;基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平;以及根据所检测的填充水平执行关于是否基于活性更改所确定的量化级的控制。
而且,根据本发明的另一方面,提供一种图像处理装置,包括量化单元,其被配置为采用设置的量化级量化输入运动图像信号;编码单元,其被配置为对量化单元的输出执行可变长度编码;活性检测单元,被配置为检测输入运动图像信号的活性;量化级确定单元,其被配置为基于从编码单元所输出的可变长度代码量来确定量化级;更改单元,其被配置为基于由活性检测单元所检测的活性更改由量化级确定单元所确定的值,并在量化单元中将更改后的值设置为量化级;以及填充水平检测单元,其被配置为检测由编码单元所输出的运动图像数据的数据率,并控制更改单元使得由于使用活性而导致的量化级的改变程度随着所检测的数据率降低而减小。
而且,根据本发明的另一方面,计算机可读介质包含用于对图像进行编码的计算机可执行指令。在此,介质包括用于采用设置的量化级量化输入运动图像信号的计算机可执行指令;用于对量化后的运动图像信号执行可变长度编码的计算机可执行指令;用于检测输入运动图像信号的活性的计算机可执行指令;用于基于从对量化后的运动图像信号执行可变长度编码而获得的可变长度代码量来确定量化级的计算机可执行指令;用于基于所检测的活性更改所确定的量化级,并将更改后的量化级设置为量化级的计算机可执行指令;以及用于基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平,并控制对所确定的量化级的更改,使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小的计算机可执行指令。
而且,根据本发明的另一方面,提供一种包含用于对图像进行编码的计算机可执行指令的计算机可读介质。在此,介质包括用于采用设置的量化级量化输入运动图像信号的计算机可执行指令;用于对量化后的运动图像信号执行可变长度编码的计算机可执行指令;用于检测输入运动图像信号的活性的计算机可执行指令;用于基于从对量化后的运动图像信号执行可变长度编码而获得的可变长度代码量来确定量化级的计算机可执行指令;用于基于所检测的活性更改所确定的量化级,并将更改后的量化级设置为量化级的计算机可执行指令;用于基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平的计算机可执行指令;以及用于根据所检测的填充水平执行关于是否基于活性更改所确定的量化级的控制的计算机可执行指令。
本发明的其它特征和方面将由下面参照附图对示例性实施例的描述而变得明显。
附图说明
图1示出按照本发明至少一个示例性实施例的编码装置的配置。
图2示出比率控制器的示例性配置。
图3示出比率控制器的另一示例性配置。
图4是示出加权系数变化的图。
图5是示出存储在VBV缓冲器中的代码量变化的图。
图6示出比率控制器的另一示例性配置。
图7示出比率控制器的另一示例性配置。
具体实施方式
下面参照附图描述本发明的示例性实施例、各种特征和方面。
第一示例性实施例
图1示出按照本发明至少一个示例性实施例的编码装置的配置。图1的编码装置能够按照MPEG2标准对输入的运动图像信号进行编码。
参照图1,从摄像机、输入终端等等所提供的运动图像数据被逐帧地输入并被提供给减法器101、开关102、运动补偿器111、运动检测器112和活性检测器114。
在MPEG2标准中,通过帧内编码(I图片)、帧间前向预测编码(P图片)和帧间双向预测编码(B图片)的组合逐帧地编码运动图像信号。
为了对I图片编码,开关102被连接到“I”侧,并允许输入的一帧图像信号被直接提供给DCT单元103。DCT单元103对输入图像信号的每个DCT块执行DCT处理,并将经过DCT处理的图像信号输出到量化器104,其中每个DCT块由8个像素(垂直)×8个像素(水平)组成。量化器104使用由比率控制器113所设置的下面将介绍的量化标尺来量化来自DCT单元103的DCT系数,并将量化后的系数输出到系数重排序单元105和解量化器108。系数重排序单元105按照指定的顺序对从量化器104所输出的量化后的系数重新排序,并向可变长度编码单元106输出重排序后的量化系数。可变长度编码单元106利用可变长度编码、诸如霍夫曼(Huffman)编码对输入的量化系数进行编码,并向格式化单元107和比率控制器113输出编码后的量化系数。格式化单元107将由MPEG标准所定义的各种控制信号加入编码信号,并产生和输出编码流。
来自量化器104的输出被解量化器108解量化,被反DCT单元109执行反DCT处理,并且被输出到加法器110。虽然基准图像信号通常被从运动补偿器111提供到加法器110,但是在由帧内编码所获得的I图片的情况下不被提供给加法器110。因此,来自反DCT单元109的信号被直接输出到运动补偿器111。
运动补偿器111具有用于存储对应于用作基准帧的两个帧的图像信号的存储器。来自加法器110的I图片和P图片的图像信号被顺序存储在运动补偿器111的存储器中。为了对P图片和B图片进行编码,运动检测器112针对每个宏块(MB)比较输入的图像信号与存储在运动补偿器111的存储器中的基准帧的图像信号,并检测运动向量。
在MPEG2标准中,一个宏块(MB)由16×16个像素组成。按照以上述方式所检测的运动向量,运动补偿器111针对每个宏块读取基准帧的图像信号,并将所读取的图像信号输出到减法器101和加法器110。
为了处理P图片和B图片,减法器101计算输入的图像信号和从运动补偿器111所输出的基准帧的图像信号之间的差,并经由开关102向DCT单元103输出所计算的差。
然后,与在I图片的情况中一样,执行DCT、量化和可变长度编码。因此,格式化单元107输出编码流。
对P图片的量化系数解量化、执行反DCT处理、由加法器110将其加到基准帧的图像信号上,并在运动补偿器111的存储器中被重新存储为基准帧的图像信号。对于B图片,这样的基准帧的图像信号不被存储在运动补偿器111的存储器中,因为B图片不被用作基准帧。
另一方面,活性检测器114使用公知技术来计算指示输入图像信号的复杂度的活性,并向比率控制器113输出所计算的活性。比率控制器113基于来自活性检测器114的活性、来自可变长度编码单元106的代码量、以及目标编码率确定用于量化的量化标尺。
图2示出按照本发明第一示例性实施例的比率控制器113的示例性配置。
参照图2,代码量计算器201连续地累加从可变长度编码单元106所输出的可变长度代码,并将所得到的值输出到VBV缓冲器控制器202。基于来自代码量计算器201的值,VBV缓冲器控制器202估计VBV缓冲器的填充水平,并将估计值输出到量化标尺确定单元203。同时,VBV缓冲器控制器202基于VBV缓冲器的状态生成用于控制加权系数的影响的系数W2,并向系数转换器206输出系数W2。量化标尺确定单元203包括在图片组(GOP)级别执行比率控制的比率控制器和基于GOP级别的比率控制结果在图片级别执行比率控制的比率控制器。基于在图片级别执行的比率控制的结果以及由VBV缓冲器控制器202所估计的VBV缓冲器的状态,量化标尺确定单元203为每个MB确定量化标尺值,并向量化标尺转换器207输出所确定的值。
另一方面,来自活性检测器114的每个MB的活性信息被提供给图片加权确定单元204,该单元基于每个MB的活性生成加权系数。MB加权系数选择器205接收每个MB的加权系数,并将加权系数作为“W1”输出到系数转换器206。系数转换器206使用加权系数W1和来自VBV缓冲器控制器202的控制值(即系数)W2执行以下运算,来确定转换后的加权系数W3:
W3=(W1-Wr/2)×W2+Wr/2
其中Wr代表W1的可变范围。
例如,将W2=1代入上述等式就得到W3=W1。在这种情况下,不进行修改地输出加权系数W1。如果W1为从0.5到2.0,并且将W2=0.5代入上述等式,则W3为从0.625到1.375。换句话说,通过使W3的变化范围窄于W1的变化范围,可以控制加权系数W1对量化标尺的影响,其中加权系数W1以活性为基础。
更具体地,如果VBV缓冲器中可变长度代码的填充水平很低,并且可能发生下溢,则VBV缓冲器控制器202设置W2的值,使得可以降低加权系数W1的影响。
另一方面,如果VBV缓冲器中的代码非常充足,则VBV缓冲器控制器202将W2的值例如设置为1.0,使得基于活性的加权系数W1的影响被反映在量化标尺上。
按照上述方式所获得的转换后的加权系数W3被输出到量化标尺转换器207。量化标尺转换器207使用来自量化标尺确定单元203的量化标尺值和来自系数转换器206的转换后的加权系数W3执行以下运算,以转换量化标尺值:
量化标尺’=量化标尺×W3
以这种方式所获得的量化标尺’在量化器104中被设置为用于MB的量化标尺。
因此,在本示例性实施例中,来自量化标尺确定单元203的量化标尺值与来自系数转换器206的转换后的加权系数W3相乘。因此,如果VBV缓冲器中可变长度代码的充足度很低,并且可能发生下溢,则VBV缓冲器控制器202设置W2的值,使得加权系数W3具有接近1.0的值。
具体地,VBV缓冲器控制器202将VBV缓冲器中的代码充足度(即VBV缓冲器中存储的代码量)与预定阈值进行比较。如果代码充足度下降到阈值以下,则VBV缓冲器控制器202确定可能发生下溢,并设置W2的值使得加权系数W3具有接近1.0的值。
另一方面,如果充足度等于或大于阈值,则VBV缓冲器控制器202设置W2的值,使得基于活性的加权系数W1的影响被反映在加权系数W3上。
将参照图4和图5进一步介绍上述过程。
图4是示出随着时间变化的加权系数W3的图。曲线401代表加权系数W3的变化。
如图4所示,如果VBV缓冲器的充足度在W3达到水平线402所代表的值2.0之前不久下降,并且可能发生下溢,则VBV缓冲器控制器202改变W2的值,使得W3具有接近1.0的值。因此,通过执行控制使得W3的值更接近1.0,可以降低由W3值的变化所引起的量化标尺的变化程度,并且因此,根据VBV缓冲器的填充水平所确定的量化标尺被不修改地输出。
图5是示出VBV缓冲器的充足度的图。在该图中,水平实线501代表VBV缓冲器的最大尺寸,而水平虚线502代表阈值。锯齿线503代表存储在VBV缓冲器中的代码量。在附图标记504至508所表示的时刻,从VBV缓冲器中提取一屏编码数据。
当存储在VBV缓冲器中的代码量在如上所述从VBV缓冲器中连续提取编码数据的过程中下降到阈值以下时,VBV缓冲器控制器202执行控制,使得W3的值保持在1.0附近。
因此,在本示例性实施例中,根据VBV缓冲器的状态转换根据图像活性所确定的加权系数。然后,将转换后的加权系数用于控制量化标尺的值。
因此,与仅简单地基于活性来确定加权系数的情况相比,可以设置对VBV缓冲器的状态给予更多考虑的量化级。
因此,可以在考虑图像特性的情况下执行编码,而且更加不可能在VBV缓冲器中发生下溢。
虽然在图5中只提供了一个阈值,但可以提供多个阈值,使得VBV缓冲器控制器202能够执行控制,以便在每次VBV缓冲器的填充水平下降到一个阈值以下时逐步限制量化标尺的变化范围。
第二示例性实施例
下面描述本发明的第二示例性实施例。在上述的第一示例性实施例中,基于VBV缓冲器的状态转换根据图像活性所确定的加权系数。这可以使W2的值在一帧中间被改变,而且基于活性使用的图像质量改善可能不太明显,特别是在处理一屏中稍后阶段时所处理的MB中。
因此,在本示例性实施例中,当图片加权确定单元204对于每个MB基于活性而生成一个加权系数时,根据VBV缓冲器的状态转换要提供给图片加权确定单元204的活性。
图3示出按照第二示例性实施例的比率控制器113的配置。在图3中,与图2中类似的部件用相同的附图标记表示。
参照图3,VBV缓冲器控制器202估计VBV缓冲器的状态,基于所估计的VBV缓冲器状态为每张图片产生一个转换系数W4,并向活性转换器301输出所生成的转换系数W4。
活性转换器301将来自活性检测器114的活性与每张图片的转换系数W4相乘,并统一将所有MB的加权系数转换为一帧。更具体地,如果VBV缓冲器中可变长度代码的充足度很低而且可能发生下溢,则VBV缓冲器控制器202设置W4的值,使得可以降低加权系数W1的影响。
在另一方面,如果VBV缓冲器中的代码充足度很高,则VBV缓冲器控制器202设置W4的值,使得可以限制基于活性而随着加权系数W1改变的量化标尺的变化范围。
图片加权确定单元204基于转换后的活性为每个MB设置一个加权系数W1。MB加权系数选择器205为每个MB选择一个加权系数W1,并向量化标尺转换器207输出所选择的加权系数W1。量化标尺转换器207使用来自量化标尺确定单元203的量化标尺和加权系数W1执行以下运算以转换量化标尺:
量化标尺’=量化标尺×W3
按照这种方式所获得的量化标尺’在量化器104中被设置为用于MB的量化级。
因此,在本示例性实施例中,根据VBV缓冲器的状态转换图像的活性。然后,将根据转换后的活性所确定的加权系数用于控制量化标尺的值。
因此,与仅简单地基于活性来确定加权系数的情况相比,可以设置对VBV缓冲器的状态给予更多考虑的量化级。
因此,可以在考虑图像特性的情况下执行编码,而且更加不可能在VBV缓冲器中发生下溢。
第三示例性实施例
下面描述本发明的第三示例性实施例。图6示出按照第三示例性实施例的比率控制器113的配置。在图6中,与图2中相似的部件用相同的附图标记表示。
参照图6,量化标尺确定单元203以与上述示例性实施例中相似的方式确定量化标尺,并向开关602输出所确定的量化标尺。
另一方面,量化标尺转换器207使用从MB加权系数选择器205所输出的每个MB的加权系数W1以及来自量化标尺确定单元203的量化标尺值,按照与上述相似的方式执行运算,并向开关602输出所得到的量化标尺’。
然后,根据来自VBV缓冲器控制器601的指令,开关602选择来自量化标尺确定单元203的量化标尺和来自量化标尺转换器207的量化标尺’中之一。
VBV缓冲器控制器601估计VBV缓冲器的填充水平。如果VBV缓冲器的填充水平下降到低于预定阈值,则VBV缓冲器控制器601控制开关602,以选择从量化标尺确定单元203所输出的量化标尺。
另一方面,如果VBV缓冲器的填充水平等于或大于该阈值,则VBV缓冲器控制器601控制开关602,以选择从量化标尺转换器207所输出的量化标尺’。
因此,在本示例性实施例中,根据VBV缓冲器的填充水平来确定是否要使用通过使用基于活性的加权系数而转换的量化标尺。更具体地,如果VBV缓冲器的填充水平很低,则确定不使用转换后的量化标尺。因此,可以设置对VBV缓冲器的状态给予更多考虑的量化级。
因此,可以在考虑图像特性的情况下执行编码,而且更加不可能在VBV缓冲器中发生下溢。
第四示例性实施例
下面描述本发明的第四示例性实施例。图7示出按照第四示例性实施例的比率控制器113的配置。在图7中,与图2中相似的部件用相同的附图标记表示。
参照图7,量化标尺确定单元203按照与上述示例性实施例相似的方式确定量化标尺,并向多路复用器703输出所确定的量化标尺。
另一方面,MB加权系数选择器205基于图像的活性为每个MP生成一个加权系数W1,并向开关702的一个端子输出所生成的加权系数W1。而值1.0被提供到开关702的另一个端子。
然后,根据来自VBV缓冲器控制器701的指令,开关702选择来自MB加权系数选择器205的加权系数W1和系数1.0中之一。
乘法器703将来自量化标尺确定单元203的量化标尺与从开关702所输出的加权系数W1或与系数1.0相乘,并输出量化标尺’。
VBV缓冲器控制器701估计VBV缓冲器的填充水平。如果VBV缓冲器的填充水平下降到预定的阈值以下,则VBV缓冲器控制器701控制开关702以选择系数1.0。
另一方面,如果VBV缓冲器的填充水平等于或大于该阈值,则VBV缓冲器控制器701控制开关702,以选择加权系数W1。
因此,在本示例性实施例中,根据VBV缓冲器的填充水平来选择与量化标尺相乘的系数。更具体地,如果VBV缓冲器的填充水平很低,则VBV缓冲器控制器701通过使量化标尺与系数1.0相乘来执行控制,使得活性实际上不引起量化标尺变化。因此,可以设置对VBV缓冲器的状态给予更多考虑的量化级。
在上述示例性实施例中,本发明被应用于能够按照MPEG2标准对运动图像信号进行编码的装置。本发明还可用于能够按照诸如MPEG4-AVC标准通过利用量化和可变长度编码技术对运动图像信号进行编码的其它类型的装置和系统,并提供类似的效果。
在这种情况下,可以提供用于监控编码后运动图像数据的数据率的装置来代替用于估计VBV缓冲器的填充水平的装置。然后,可以执行控制,使得由于使用活性而导致的量化级的改变程度可以随着数据率的减小而降低。
具体地,基于每单位时间所产生的代码量来计算数据率。然后,执行控制,使得如果数据率等于或低于预定阈值,则减小由于使用活性而导致的量化级的改变程度。
其它示例性实施例
上述的本发明示例性实施例还可以通过将记录有实现上述实施例的功能的软件程序代码的存储介质提供给系统或装置来实施。可以在系统或装置的计算机(中央处理单元(CPU)或微处理单元(MPU))读取并执行存储在存储介质中的程序代码时执行上述实施例的功能。在这种情况下,从存储介质读出的程序代码实现上述实施例的功能,并且因此存储有程序代码的存储介质构成本发明。用于提供这种程序代码的存储介质的例子包括软(注册商标)盘、硬盘、光盘、磁光盘、压缩光盘只读存储器(CD-ROM)、可记录CD(CD-R)、磁带、非易失存储卡和ROM。
除了在计算机读取和执行程序代码时执行上述实施例的功能之外,还存在其它执行上述实施例功能的情况。例如,基于程序代码的指令,运行在计算机上的操作系统(OS)执行所有或部分实际处理。这也允许执行上述实施例的功能。
此外,在将从存储介质读出的程序代码写入计算机中的功能扩展板中或写入与计算机连接的功能扩展单元的存储器中时可以执行上述实施例的功能,然后基于程序代码的指令,功能扩展板或功能扩展单元中的CPU实施所有或部分实际处理。
虽然已经参照示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围应该与最宽的解释相符,从而涵盖所有修改、等价结构和功能。

Claims (7)

1.一种图像处理装置,包括:
量化单元,被配置为利用设置的量化级量化输入的运动图像信号;
编码单元,被配置为对所述量化单元的输出执行可变长度编码;
活性检测单元,被配置为检测所述输入的运动图像信号的活性;
量化级确定单元,被配置为基于从所述编码单元所输出的可变长度代码量来确定量化级;
更改单元,被配置为基于由所述活性检测单元所检测的活性更改由所述量化级确定单元所确定的值,并在所述量化单元中将更改后的值设置为量化级;以及
填充水平检测单元,被配置为基于从所述编码单元所输出的可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平,并控制所述更改单元使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小,
其中所述更改单元包括:
系数产生部件,被配置为基于活性生成加权系数;和
量化级更改部件,被配置为基于所述加权系数更改由所述量化级确定单元所确定的量化级,
其中所述填充水平检测单元控制所述系数产生部件,使得量化级基于加权系数而改变的范围随着所检测的填充水平的降低而变窄。
2.根据权利要求1所述的图像处理装置,其中所述系数产生部件包括:
加权系数确定部分,被配置为根据活性确定加权系数;和
系数转换部分,被配置为转换从所述加权系数确定部分所输出的加权系数,并将转换后的加权系数输出到所述量化级更改部件,
其中所述填充水平检测单元基于所检测的填充水平控制所述系数转换部分。
3.根据权利要求2所述的图像处理装置,其中所述填充水平检测单元控制所述系数转换部分,使得如果填充水平下降到阈值以下,则量化级基于加权系数而改变的范围变得比填充水平等于或大于所述阈值时更窄。
4.根据权利要求1所述的图像处理装置,其中所述运动图像信号包括多个宏块,每个宏块包括“n”个像素,其中“n”是正整数,其中
所述系数产生部件为每个宏块生成一个加权系数,
所述量化级确定单元为每个宏块确定一个量化级。
5.一种图像处理装置,包括:
量化单元,被配置为利用设置的量化级量化输入的运动图像信号;
编码单元,被配置为对所述量化单元的输出执行可变长度编码;
活性检测单元,被配置为检测所述输入的运动图像信号的活性;
量化级确定单元,被配置为基于从所述编码单元所输出的可变长度代码量来确定量化级;
更改单元,被配置为基于由所述活性检测单元所检测的活性更改由所述量化级确定单元所确定的量化级,并在所述量化单元中设置更改后的量化级;
填充水平检测单元,被配置为基于从所述编码单元所输出的可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平;以及
控制单元,被配置为根据所述填充水平检测单元所检测的填充水平,执行关于是否基于活性更改由所述量化级确定单元所确定的量化级的控制,
其中所述更改单元包括:
系数产生部件,被配置为基于活性生成加权系数;
计算部件,被配置为使用所述加权系数和由所述量化级确定单元所确定的量化级执行计算,对所确定的量化级进行更改并输出,使得量化级基于加权系数而改变的范围随着所检测的填充水平的降低而变窄;以及
选择部件,被配置为选择来自所述计算部件的输出和由所述量化级确定单元所确定的量化级之一,作为设置到量化单元中的量化级,
其中所述控制单元控制所述选择部件,使得如果填充水平下降到阈值以下,则所述选择部件选择由所述量化级确定单元所确定的量化级,而如果填充水平等于或大于所述阈值,则所述选择部件选择来自所述计算部件的输出。
6.一种图像处理方法,包括:
利用设置的量化级量化输入的运动图像信号;
对量化后的运动图像信号执行可变长度编码;
检测所述输入的运动图像信号的活性;
基于从对量化后的运动图像信号执行可变长度编码而获得的可变长度代码量来确定量化级;
基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平;
基于所检测的活性更改所确定的量化级,其中控制对所确定的量化级的更改,使得由于使用活性而导致的量化级的改变程度随着所检测的填充水平降低而减小,并将更改后的量化级设置为量化级;
其中所述基于所检测的活性更改所确定的量化级并将更改后的量化级设置为量化级的步骤包括:
基于活性生成加权系数;和
基于所述加权系数更改所确定的量化级,
其中量化级基于加权系数而改变的范围随着所检测的填充水平的降低而变窄。
7.一种图像处理方法,包括:
利用设置的量化级量化输入的运动图像信号;
对量化后的运动图像信号执行可变长度编码;
检测所述输入的运动图像信号的活性;
基于从对量化后的运动图像信号执行可变长度编码而获得的可变长度代码量来确定量化级;
基于可变长度代码量检测对编码运动图像信号进行解码的解码器中的虚拟缓冲器的填充水平;以及
根据所检测的填充水平执行关于是否基于活性更改所确定的量化级的控制,
基于所检测的活性更改所确定的量化级,并将更改后的量化级设置为量化级;
其中所述基于所检测的活性更改所确定的量化级并将更改后的量化级设置为量化级的步骤包括:
基于活性生成加权系数;
使用所述加权系数和所确定的量化级执行计算,对所确定的量化级进行更改并输出,使得量化级基于加权系数而改变的范围随着所检测的填充水平的降低而变窄;以及
选择通过执行所述计算所获得的输出和所确定的量化级之一,作为设置的量化级,
其中如果填充水平下降到阈值以下,则选择所确定的量化级,而如果填充水平等于或大于所述阈值,则选择通过执行所述计算所获得的输出。
CN2007100073958A 2006-01-31 2007-01-31 图像处理装置 Expired - Fee Related CN101014126B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006022508 2006-01-31
JP2006022508 2006-01-31
JP2006-022508 2006-01-31
JP2006348890 2006-12-26
JP2006-348890 2006-12-26
JP2006348890A JP4795223B2 (ja) 2006-01-31 2006-12-26 画像処理装置

Publications (2)

Publication Number Publication Date
CN101014126A CN101014126A (zh) 2007-08-08
CN101014126B true CN101014126B (zh) 2010-12-08

Family

ID=38322160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100073958A Expired - Fee Related CN101014126B (zh) 2006-01-31 2007-01-31 图像处理装置

Country Status (3)

Country Link
US (1) US8081679B2 (zh)
JP (1) JP4795223B2 (zh)
CN (1) CN101014126B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
ES2703005T3 (es) * 2010-05-07 2019-03-06 Nippon Telegraph & Telephone Método de control de codificación de imágenes animadas, aparato de codificación de imágenes animadas y programa de codificación de imágenes animadas
US9667981B2 (en) * 2012-04-11 2017-05-30 City University Of Hong Kong Rate control for content transcoding
WO2014199566A1 (ja) 2013-06-13 2014-12-18 日本電気株式会社 動画像符号化装置及び動画像符号化方法並びにプログラムが格納された非一時的なコンピュータ可読媒体
JP6212345B2 (ja) * 2013-10-02 2017-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
GB2549311B (en) * 2016-04-13 2019-09-11 Advanced Risc Mach Ltd Data processing systems

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US5650860A (en) * 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
US6961375B1 (en) * 1997-02-06 2005-11-01 Sony Corporation Picture coding device and method, picture transmitting device and method and recording medium
JPH10224786A (ja) 1997-02-06 1998-08-21 Sony Corp 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体
EP0960532B1 (en) * 1997-02-12 2007-01-31 MediaTek Inc. Apparatus and method for optimizing the rate control in a coding system
US6023296A (en) * 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
US6690833B1 (en) * 1997-07-14 2004-02-10 Sarnoff Corporation Apparatus and method for macroblock based rate control in a coding system
KR100243430B1 (ko) * 1997-12-31 2000-02-01 구자홍 적응형 양자화 제어방법
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
JP2000138938A (ja) * 1998-10-30 2000-05-16 Sony Corp 画像圧縮符号化方法及び装置
JP3259702B2 (ja) * 1998-12-24 2002-02-25 日本電気株式会社 動画像可変ビットレート符号化装置および方法
JP2000358247A (ja) * 1999-01-19 2000-12-26 Matsushita Electric Ind Co Ltd レート制御装置、レート制御方法及び符号化装置
JP2002209215A (ja) * 2001-01-09 2002-07-26 Sony Corp 符号量制御装置及び方法、並びに画像情報変換装置及び方法
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
JP4769392B2 (ja) * 2001-09-25 2011-09-07 キヤノン株式会社 信号処理装置
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2005005862A (ja) * 2003-06-10 2005-01-06 Victor Co Of Japan Ltd 画像符号化装置
US20050123038A1 (en) * 2003-12-08 2005-06-09 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method, program, and storage medium
JP3852442B2 (ja) 2003-12-24 2006-11-29 日本ビクター株式会社 データ符号化方法及び装置
JP4804107B2 (ja) * 2004-12-14 2011-11-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びそのプログラム
US7933328B2 (en) * 2005-02-02 2011-04-26 Broadcom Corporation Rate control for digital video compression processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2005-5862A 2005.01.06

Also Published As

Publication number Publication date
CN101014126A (zh) 2007-08-08
JP4795223B2 (ja) 2011-10-19
JP2007235928A (ja) 2007-09-13
US20070177808A1 (en) 2007-08-02
US8081679B2 (en) 2011-12-20

Similar Documents

Publication Publication Date Title
CN101014126B (zh) 图像处理装置
USRE36761E (en) Variable transfer rate control coding apparatus
CN101288313B (zh) 图像编码方法及使用此方法的装置
CN101107862B (zh) 编码装置及具备编码装置的动态图像记录系统
JP2963416B2 (ja) 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置
CN102271257A (zh) 图像处理设备和方法及程序和计算机可读介质
US20170041606A1 (en) Video encoding device and video encoding method
CN101969555B (zh) 图像编码设备和图像编码方法
CN114157863B (zh) 基于数字视网膜的视频编码方法、系统及存储介质
US20110019735A1 (en) Image encoding device and image encoding method
JP4179917B2 (ja) 動画像符号化装置及び方法
JP4485996B2 (ja) 画像符号化装置及び画像符号化プログラム
US8780977B2 (en) Transcoder
US8755617B2 (en) Image encoding device and image encoding method
JP4799377B2 (ja) 画像符号化装置
JP2007336005A (ja) 画像符号化装置および画像符号化方法
KR100677128B1 (ko) 동영상 부호화기의 비트율 제어장치 및 방법
JPH114444A (ja) 画像符号化装置および方法
CN102202220A (zh) 编码设备及其控制方法
JPH0237748B2 (zh)
US20230206611A1 (en) Image processing device, and image processing method
CN105379265A (zh) 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序
JP3884410B2 (ja) ディジタル信号符号化の量子化ステップサイズ決定方法およびディジタル信号符号化装置
JP2003230147A (ja) 映像信号符号化装置およびその方法
JP2003153268A (ja) 映像符号化方法及び装置並びに記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20190131

CF01 Termination of patent right due to non-payment of annual fee