JP6646125B2

JP6646125B2 - Video prediction decoding method and video prediction decoding device

Info

Publication number: JP6646125B2
Application number: JP2018200969A
Authority: JP
Inventors: 暁藤林; ブン　チュンセン; チュンセンブン; タン　ティオ　ケン; ティオケンタン
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2018-10-25
Filing date: 2018-10-25
Publication date: 2020-02-14
Anticipated expiration: 2032-07-02
Also published as: JP2019033535A

Description

本発明は、動画像予測復号方法及び装置に関するもので、とりわけ、復号画像バッファにおいて格納可能な再生画像の最大枚数を管理する動画像予測復号方法及び装置に関わるものである。 The present invention relates to a moving picture prediction decoding method and apparatus, and more particularly to a moving picture prediction decoding method and apparatus that manages the maximum number of reproduced images that can be stored in a decoded image buffer.

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。 In order to efficiently transmit and store moving image data, a compression encoding technique is used. In the case of a moving image, MPEG1-4 or H.264. 261-H. The H.264 system is widely used.

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元したもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位を検索し、その動いた分を補償して予測信号を生成し、それを対象ブロックの信号から引き算した差分信号を符号化する。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。 In these encoding methods, an image to be encoded is divided into a plurality of blocks before encoding and decoding processes are performed. The following predictive coding method is used to enhance the coding efficiency. In predictive coding in a screen, a predicted signal is generated using an image of a previously reproduced image (decompressed image data compressed in the past) adjacent to the target block in the same screen as the target block. The difference signal subtracted from the block signal is encoded. In predictive coding between screens, a previously reproduced image signal in a screen different from the target block is referred to, a displacement of the signal is searched, a moving signal is compensated for, and a predicted signal is generated. The difference signal obtained by subtracting from the signal is encoded. A previously reproduced image that is referred to for performing motion search / compensation is called a reference image.

また、双方向画面間予測では、表示時間順に過去にある画像だけではなくて、対象画像の後に表示される未来の画像もあわせて参照する場合がある（この未来画像は対象画像より先に符号化し、予め再生しておく必要がある）。過去の画像と未来の画像から取得された予測信号を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両予測信号に含まれている雑音を軽減する効果がある。 Further, in the bidirectional inter-screen prediction, not only images in the past in the order of display time but also future images displayed after the target image may be referred to in some cases. And it needs to be reproduced in advance). By averaging the predicted signals obtained from past and future images, it is effective in predicting the signal of hidden and newly appearing objects, while reducing the noise contained in both predicted signals Has the effect of doing

さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化した上で再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。対象ブロックの画素信号とこの最適な予測信号との差分を求め、離散コサイン変換を施し、量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像のどの領域から取得するかに関する情報（それぞれ、参照インデックスと動きベクトルという）も合わせて符号化する。 Furthermore, H. In the H.264 inter-picture prediction coding, a prediction signal for a target block refers to a plurality of reference images that have been coded and reproduced in the past, and uses the image signal with the least error as an optimal prediction signal while performing motion search. select. The difference between the pixel signal of the target block and the optimal prediction signal is obtained, subjected to discrete cosine transform, quantized, and entropy-coded. At the same time, it encodes information (referred to as a reference index and a motion vector, respectively) regarding which region of a reference image obtains an optimal prediction signal for the target block.

ところで、Ｈ．２６４においては、複数の再生画像を参照することが可能である。これらの再生画像は予測に用いる参照画像として画像バッファメモリである復号画像バッファ（DPB: Decoded picture buffer）に保存される。復号画像バッファ（DPB）のサイズはプロファイル（profile）及びレベル（level）により定義されており、参照画像の枚数ではなく、ビット量として定義されている。つまり、同じプロファイル、レベルであっても画像のフレームサイズに応じて枚数が変化する。例えばメイン（Main）プロファイル、レベル３．２の場合、予測に用いる参照画像を格納するための画像バッファの最大サイズ（MaxDPBSize: Maximum Decoded Picture Buffer size）は7680.0×1024[bytes]と定義されており、1280×720 4:2:0の場合、復号画像バッファ（DPB）に保存できる再生画像は５枚、1280×1024 4:2:0の場合、復号画像バッファ（DPB）に保存可能な再生画像の最大枚数は４枚となる。図１に画像のフレームサイズによって格納可能な再生画像の最大枚数が４枚（図１（ａ））、５枚（図１（ｂ））及び６枚（図１（ｃ））のときの復号画像バッファの画像配置を示す。このように、あらかじめ用意された画像バッファメモリが再生画像のフレームサイズに応じて、メモリポインタを可変的に配置することで、メモリ配置を工夫しながら利用されることとなる。 By the way, H. In H.264, it is possible to refer to a plurality of reproduced images. These reproduced images are stored in a decoded image buffer (DPB: Decoded picture buffer) as an image buffer memory as a reference image used for prediction. The size of the decoded image buffer (DPB) is defined by a profile and a level, and is defined not as the number of reference images but as a bit amount. That is, the number of images changes according to the frame size of the image even with the same profile and level. For example, in the case of a main (Main) profile at level 3.2, the maximum size (MaxDPBSize: Maximum Decoded Picture Buffer size) of an image buffer for storing a reference image used for prediction is defined as 7680.0 × 1024 [bytes]. In the case of 1280 × 720 4: 2: 0, 5 playback images can be stored in the decoded image buffer (DPB). In the case of 1280 × 1024 4: 2: 0, the playback image can be stored in the decoded image buffer (DPB). Is four. FIG. 1 shows decoding when the maximum number of reproduced images that can be stored according to the frame size of the image is four (FIG. 1A), five (FIG. 1B), and six (FIG. 1C). 4 shows an image arrangement of an image buffer. As described above, by arranging the memory pointer variably in the image buffer memory prepared in advance according to the frame size of the reproduced image, the memory buffer can be used while devising the memory arrangement.

“H.264:Advanced video coding for generic audiovisual services,” Joint Video Team ofITU-T VCEG and ISO/IEC MPEG, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG4 -Part 10), November 2007“H.264: Advanced video coding for generic audiovisual services,” Joint Video Team of ITU-T VCEG and ISO / IEC MPEG, ITU-T Rec.H.264 and ISO / IEC 14496-10 (MPEG4 -Part 10), November 2007

ここで、このような定義においてＨ．２６４の復号装置は、その復号装置がサポートする範囲のプロファイルやレベルで定義されるあらゆるフレームサイズの画像の復号が可能である必要があるため、画像バッファメモリに再生画像を格納する際に用いるメモリをどのように配置して格納するかが固定することができない。そのため、各再生画像が格納されるメモリ位置を示すメモリポインタを復号する画像のフレームサイズに応じて変動させる必要があるため、メモリ制御や実装が複雑となる。 Here, in such a definition, H. Since the H.264 decoding device needs to be able to decode an image of any frame size defined by a profile or level in a range supported by the decoding device, a memory used to store a reproduced image in an image buffer memory It is not possible to fix how to place and store. Therefore, it is necessary to change the memory pointer indicating the memory location where each reproduced image is stored according to the frame size of the image to be decoded, which complicates memory control and implementation.

これに対する解決策としては、実際の復号画像のフレームサイズによらず画像バッファメモリに格納可能な再生画像の最大枚数（max_dec_pic_buffering）を固定する手法が考えられる。この解決策により復号画像バッファ（DPB）のメモリ配置は図２（ａ）のように最大フレームサイズにより一意に決定されるため、メモリポインタも固定することができる。すなわち変動的なメモリポインタの制御に比べてメモリ制御が容易となる。しかし、この解決策では、復号画像のフレームサイズが最大フレームサイズよりも小さい場合や、インターレース画像のフィールド画像のように画像の縦幅がフレーム画像の半分である場合には、図２（ｂ）に示すように未使用のメモリ領域が発生し、メモリの有効活用がされない課題が存在する。さらに、より多くの再生画像を格納することで、参照画像枚数を増加させて符号化効率向上する可能性を失うこととなる。 As a solution to this, a method of fixing the maximum number of reproduced images (max_dec_pic_buffering) that can be stored in the image buffer memory regardless of the actual frame size of the decoded image can be considered. With this solution, the memory arrangement of the decoded image buffer (DPB) is uniquely determined by the maximum frame size as shown in FIG. 2A, so that the memory pointer can be fixed. That is, the memory control becomes easier than the control of the variable memory pointer. However, in this solution, when the frame size of the decoded image is smaller than the maximum frame size, or when the vertical width of the image is half of the frame image like a field image of an interlaced image, FIG. As shown in (1), there is a problem that an unused memory area is generated and the memory is not effectively used. Furthermore, storing more reproduced images loses the possibility of increasing the number of reference images and improving the coding efficiency.

本発明は、上記の課題を解決し、再生画像のフレームサイズに応じて、画像バッファメモリに格納可能な再生画像の最大枚数を決定することにより、効率的に画像バッファメモリを利用し、更なる符号化効率向上も可能とする動画像予測復号方法及び装置の提供を目的とする。 The present invention solves the above-described problems, and determines the maximum number of reproduced images that can be stored in the image buffer memory according to the frame size of the reproduced image. It is an object of the present invention to provide a moving picture prediction decoding method and apparatus capable of improving coding efficiency.

上記目的を達成するために、本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズのシフト演算値と入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の等倍、２倍又は４倍に決定されていることを特徴とする。 In order to achieve the above object, a video predictive decoding method according to the present invention is a video predictive decoding method executed by a video predictive decoding device, wherein a plurality of images constituting a video are displayed on a screen. An input for inputting encoded data indicating compressed image data that is encoded by either prediction or inter-screen prediction and includes information on the target image frame size, the maximum number of reproducible images that can be stored, and the maximum frame size as an encoding setting Step: decoding the compressed image data and the target image frame size, the compressed image data indicating information on the maximum number of frames that can store the reproduced image and the maximum frame size, and storing the reproduced image, the target image frame size, and the reproduced image. A decoding step of restoring the information on the maximum number of frames and the maximum frame size; Image storing step of storing at least one reference image used by the image storage unit by an image storage unit, based on a relationship between a shift operation value of a maximum frame size of the image and a frame size of the input image. The maximum number of reproduced images that can be stored in the memory is determined to be equal, twice, or four times a predetermined value.

また、本発明に係る動画像予測復号方法は、入力画像のフレームサイズが、画像の最大フレームサイズを１ビット右シフト演算した値以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の２倍に決定されており、かつ、入力画像のフレームサイズが、画像の最大フレームサイズを２ビット右シフト演算した値以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の４倍に決定されていることを特徴とすることとしてもよい。 Also, in the moving picture prediction decoding method according to the present invention, when the frame size of the input image is equal to or smaller than a value obtained by shifting the maximum frame size of the image by 1 bit right, the maximum number of reproduced images that can be stored in the frame memory Is determined to be twice the predetermined value, and when the frame size of the input image is equal to or smaller than a value obtained by performing a right shift operation of the maximum frame size of the image by 2 bits, the reproduction image that can be stored in the frame memory is The maximum number may be determined to be four times a predetermined value.

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズのシフト演算値と入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数は所定の値の等倍、２倍又は４倍に決定されていることを特徴とする。 The moving picture prediction decoding apparatus according to the present invention is configured such that a plurality of pictures constituting a moving picture are encoded by either intra-screen prediction or inter-screen prediction, a target image frame size, and a maximum number of images that can be stored in a reproduced image. Input means for inputting encoded data indicating compressed image data including information on the maximum frame size as encoding settings; information on the compressed image data and the target image frame size; the maximum number of images that can store reproduced images and the maximum frame size; Decoding means for decoding the compressed image data indicating the reproduction image, and restoring the reproduced image into information on the target image frame size, the maximum number of images that can be stored and the maximum frame size, and decodes the reproduced image into a subsequent image Image storage means for storing one or more reference images used for the The maximum number of reproduced images that can be stored in the frame memory is determined to be equal to, twice, or four times a predetermined value based on the relationship between the shift operation value of the shift and the frame size of the input image. Features.

本発明による動画像予測復号方法及び装置によれば、再生画像のフレームサイズに応じて、画像バッファメモリに格納可能な再生画像の最大枚数を決定することにより、効率的に画像バッファメモリを利用し、更なる符号化効率向上も可能とする。 ADVANTAGE OF THE INVENTION According to the moving image prediction decoding method and apparatus according to the present invention, the maximum number of reproduced images that can be stored in the image buffer memory is determined according to the frame size of the reproduced image, so that the image buffer memory is efficiently used. Further, it is possible to further improve the coding efficiency.

画像バッファメモリと格納画像枚数、可変メモリポインタ位置を示す図である。FIG. 3 is a diagram illustrating an image buffer memory, the number of stored images, and a variable memory pointer position. 画像バッファメモリにおいて、固定メモリポインタの課題を示す図である。FIG. 4 is a diagram illustrating a problem of a fixed memory pointer in an image buffer memory. 本発明の実施形態による動画像予測符号化装置を示すブロック図である。1 is a block diagram illustrating a moving picture prediction encoding device according to an embodiment of the present invention. 本発明の実施形態による動画像予測復号装置を示すブロック図である。FIG. 1 is a block diagram illustrating a video prediction decoding device according to an embodiment of the present invention. 本発明の実施形態による第１の動画像予測符号化・復号方法を示す流れ図である。5 is a flowchart illustrating a first moving picture prediction encoding / decoding method according to an embodiment of the present invention. 本発明の実施形態による第１の動画像予測符号化・復号方法の処理を説明するための模式図である。FIG. 4 is a schematic diagram for explaining processing of a first moving picture prediction encoding / decoding method according to an embodiment of the present invention. 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。FIG. 2 is a diagram illustrating a hardware configuration of a computer for executing a program recorded on a recording medium. 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。FIG. 11 is a perspective view of a computer for executing a program stored in a recording medium.

以下、本発明の実施の形態について、図３から図８を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS. 3 to 8.

図３は本発明の実施形態による動画像予測符号化装置を示すブロック図である。３０１は入力端子、３０２はブロック分割器、３０３は予測信号生成器、３０４はフレームメモリ、３０５は減算器、３０６は変換器、３０７は量子化器、３０８は逆量子化器、３０９は逆変換器、３１０は加算器、３１１はエントロピー符号化器、３１２は出力端子、３１４はフレームメモリ管理器（またはバッファ管理器ともいう）である。入力端子３０１は入力手段に対応する。予測信号生成器３０３と減算器３０５と変換器３０６と量子化器３０７とエントロピー符号化器３１１とは符号化手段に対応する。逆量子化器３０８、逆変換器３０９と加算器３１０は復号手段に対応する。フレームメモリ３０４は画像格納手段に対応する。フレームメモリ管理器３１４はメモリ制御手段に対応する。 FIG. 3 is a block diagram showing a moving picture predictive coding apparatus according to an embodiment of the present invention. 301 is an input terminal, 302 is a block divider, 303 is a prediction signal generator, 304 is a frame memory, 305 is a subtractor, 306 is a transformer, 307 is a quantizer, 308 is an inverse quantizer, and 309 is an inverse transform. 310, an adder, 311 an entropy coder, 312 an output terminal, and 314 a frame memory manager (also referred to as a buffer manager). The input terminal 301 corresponds to an input unit. The prediction signal generator 303, the subtractor 305, the transformer 306, the quantizer 307, and the entropy encoder 311 correspond to an encoding unit. The inverse quantizer 308, the inverse transformer 309, and the adder 310 correspond to decoding means. The frame memory 304 corresponds to an image storage unit. The frame memory manager 314 corresponds to a memory control unit.

以上のように構成された動画像予測符号化装置について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子３０１に入力される。符号化の対象なる画像はブロック分割器３０２にて、複数の領域に分割される。本発明による実施形態では、８ｘ８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下対象ブロックとよぶ）に対して、予測信号を生成する。本発明による実施形態では、２種類の予測方法が用いられる。すなわち画面間予測と画面内予測である。 The operation of the moving picture predictive coding apparatus configured as described above will be described below. A signal of a moving image including a plurality of images is input to the input terminal 301. An image to be encoded is divided into a plurality of regions by a block divider 302. In the embodiment according to the present invention, the image data is divided into blocks each including 8 × 8 pixels. However, the image data may be divided into other block sizes or shapes. Next, a prediction signal is generated for a region to be subjected to the encoding process (hereinafter, referred to as a target block). In the embodiment according to the present invention, two types of prediction methods are used. That is, inter-screen prediction and intra-screen prediction.

画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明による実施形態では、予測信号生成器３０３にて行われ、対象ブロックはラインＬ３０２、参照画像はＬ３０４経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細は従来の技術であるＭＰＥＧ−２、４、Ｈ．２６４のいずれの方法と同じである。このように決定された動き情報及び小領域の分割方法はラインＬ３１２経由でエントロピー符号化器３１１に送られ符号化した上で出力端子３１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（リファレンスインデックス）もラインＬ３１２経由でエントロピー符号化器３１１に送られる。なお、本発明による実施形態では、Ｍ枚（Ｍは１以上の整数）の再生画像をフレームメモリ３０４に格納し、参照画像として用いる。予測信号生成器３０３では、小領域の分割方法及びそれぞれの小領域に対応する、参照画像と動き情報をもとにフレームメモリ３０４から参照画像信号を取得し、予測信号を生成する。このように生成された画面間予測信号はラインＬ３０３経由で減算器３０５に送られる。 In the inter-picture prediction, a reproduced image that has been coded in the past and restored is used as a reference image, and motion information that gives a prediction signal with the smallest error with respect to the target block is obtained from the reference image. This process is called motion detection. Further, as occasion demands, the target block may be subdivided, and an inter-screen prediction method may be determined for the subdivided small area. In this case, among the various division methods, the most efficient division method for the entire target block and the respective motion information are determined. In the embodiment according to the present invention, the processing is performed by the prediction signal generator 303, and the target block is input via the line L302 and the reference image is input via the L304. As the reference image, a plurality of previously encoded and restored images are used as reference images. For details, see MPEG-2, 4, H.264, which is a conventional technique. H.264. The motion information and the small area dividing method determined in this way are sent to the entropy encoder 311 via the line L312, encoded, and transmitted from the output terminal 312. Information (reference index) from which reference image the prediction signal is obtained from among the plurality of reference images is also sent to the entropy encoder 311 via the line L312. In the embodiment according to the present invention, M (M is an integer of 1 or more) reproduced images are stored in the frame memory 304 and used as reference images. The prediction signal generator 303 acquires a reference image signal from the frame memory 304 based on a reference image and motion information corresponding to the small area division method and each small area, and generates a prediction signal. The generated inter-picture prediction signal is sent to the subtractor 305 via the line L303.

画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には予測信号生成器３０３では、フレームメモリ３０４から同じ画面内にある既再生の画素信号を取得し、これらの信号を外挿することによって画面内予測信号を生成する。外挿の方法に関する情報はラインＬ３１２経由でエントロピー符号化器３１１に送られ符号化した上で出力端子３１２から送出される。このように生成された画面内予測信号は減算器３０５に送られる。予測信号生成器３０３における画面内の予測信号生成方法は、従来の技術であるＨ．２６４の方法と同じである。上述のように求められた画面間予測信号と画面内予測信号に対し、誤差の最も小さいものが選択され、減算器３０５に送られる。 In intra prediction, an intra prediction signal is generated using previously reproduced pixel values spatially adjacent to the target block. Specifically, the prediction signal generator 303 obtains already reproduced pixel signals in the same screen from the frame memory 304 and extrapolates these signals to generate an intra-screen prediction signal. Information on the extrapolation method is sent to an entropy encoder 311 via a line L312, encoded, and then sent from an output terminal 312. The intra prediction signal generated in this way is sent to the subtractor 305. A method for generating a prediction signal in a screen in the prediction signal generator 303 is a conventional technique, which is described in H.264. H.264. For the inter-picture prediction signal and the intra-picture prediction signal obtained as described above, the one with the smallest error is selected and sent to the subtractor 305.

一枚目の画像については、それより前に画像がないため、全ての対象ブロックは画面内予測で処理される。 As for the first image, since there is no image before that, all target blocks are processed by intra prediction.

減算器３０５にて対象ブロックの信号（ラインＬ３０２経由）から予測信号（ラインＬ３０３経由）を引き算し、残差信号を生成する。この残差信号は変換器３０６にて離散コサイン変換され、その各係数は量子化器３０７にて量子化される。最後にエントロピー符号化器３１１にて量子化された変換係数を符号化して、予測方法に関する情報とともに出力端子３１２より送出される。 The subtractor 305 subtracts the prediction signal (via the line L303) from the signal of the target block (via the line L302) to generate a residual signal. This residual signal is subjected to a discrete cosine transform by a transformer 306, and each coefficient thereof is quantized by a quantizer 307. Finally, the transform coefficients quantized by the entropy encoder 311 are encoded, and transmitted from the output terminal 312 together with information on the prediction method.

後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理し復元される。すなわち、量子化された変換係数は逆量子化器３０８にて逆量子化されたのちに逆変換器３０９にて逆離散コサイン変換され、残差信号を復元する。加算器３１０にて復元された残差信号とラインＬ３０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ３０４に格納する。本実施の形態では変換器３０６と逆変換器３０９を用いているが、これらの変換器に代わるほかの変換処理を用いてもよい。場合によって、変換器３０６と逆変換器３０９がなくてもよい。 In order to perform intra prediction or inter prediction for the subsequent target block, the signal of the compressed target block is inversely processed and restored. That is, the quantized transform coefficient is inversely quantized by the inverse quantizer 308 and then inverse discrete cosine transformed by the inverse transformer 309 to restore the residual signal. The residual signal restored by the adder 310 and the prediction signal sent from the line L303 are added, a signal of the target block is reproduced, and stored in the frame memory 304. Although the converter 306 and the inverse converter 309 are used in the present embodiment, other conversion processing may be used instead of these converters. In some cases, the converter 306 and the inverse converter 309 may not be provided.

フレームメモリ３０４は有限なものであり、すべての再生画像を格納することは不可能である。後続の画像の符号化に用いられる再生画像のみフレームメモリ３０４に格納される。このフレームメモリ３０４を制御するのがフレームメモリ管理器３１４である。フレームメモリ管理器３１４は、フレームメモリ３０４内にあるＭ枚（ここでＭは整数）の再生画像の中から、最も古いものを消去し参照画像として用いられる直近の再生画像を格納できるように制御する。入力端子３１３より各画像のフレームサイズ及び符号化設定（プロファイル、レベル）にて定義される最大フレームサイズが入力され、この情報に基づいてフレームメモリ内に格納可能な再生画像の最大枚数が決定され、フレームメモリ管理器３１４が最大枚数を超えないよう格納するよう動作する。同時に、各画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数の情報はラインＬ３１４経由でエントロピー符号化器３１１に送られ、符号化した上で圧縮された画像データとともに出力される。フレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数は各画像に付随するもので、画像のフレームサイズそのままを示すものやフレームサイズを指数やべき乗の形で表現されたものでもよい。また、プロファイルやレベル情報としてあらかじめ最大フレームサイズが定められる場合であれば、それらの情報を利用して最大フレームサイズが入力されてもよい。本実施の形態では、フレームサイズの値がそのまま二値符号化に変換され、最大フレームサイズはレベル情報として定義されるものとする。本発明によるフレームメモリ管理器３１４の制御方法については後述する。 The frame memory 304 is finite and cannot store all reproduced images. Only the reproduced image used for encoding the subsequent image is stored in the frame memory 304. The frame memory 304 is controlled by a frame memory manager 314. The frame memory manager 314 controls so that the oldest one is deleted from the M (here, M is an integer) reproduced images in the frame memory 304 and the latest reproduced image used as a reference image can be stored. I do. The frame size of each image and the maximum frame size defined by the encoding settings (profile, level) are input from the input terminal 313, and the maximum number of reproduced images that can be stored in the frame memory is determined based on this information. , The frame memory manager 314 operates so as not to exceed the maximum number. At the same time, information on the frame size of each image, the maximum frame size defined by the encoding setting, and the maximum number of reproduced images that can be stored in the frame memory are sent to the entropy encoder 311 via the line L314, and are encoded. The image data is output together with the compressed image data. The maximum frame size defined by the frame size and the encoding setting, and the maximum number of reproduced images that can be stored in the frame memory are attached to each image. It may be expressed in the form of a power. If the maximum frame size is determined in advance as the profile or level information, the maximum frame size may be input using such information. In the present embodiment, it is assumed that the value of the frame size is directly converted into binary coding, and the maximum frame size is defined as level information. The control method of the frame memory manager 314 according to the present invention will be described later.

次に本発明による動画像予測復号方法について説明する。図４は本発明の実施形態による画像予測復号装置のブロック図を示す。４０１は入力端子、４０２はデータ解析器、４０３は逆量子化器、４０４は逆変換器、４０５は加算器、４０８は予測信号生成器、４０７はフレームメモリ、４０６は出力端子、４０９はフレームメモリ管理器である。入力端子４０１は入力手段に対応する。逆量子化器４０３と逆変換器４０４は復号手段に対応する。復号手段としてそれ以外のものを用いてもよい。フレームメモリ４０７は画像格納手段に対応する。フレームメモリ管理器４０９はメモリ制御手段に対応する。また逆変換器４０４がなくてもよい。 Next, a video prediction decoding method according to the present invention will be described. FIG. 4 is a block diagram of an image prediction decoding apparatus according to the embodiment of the present invention. 401 is an input terminal, 402 is a data analyzer, 403 is an inverse quantizer, 404 is an inverse transformer, 405 is an adder, 408 is a prediction signal generator, 407 is a frame memory, 407 is an output terminal, and 409 is a frame memory. It is a management device. The input terminal 401 corresponds to an input unit. The inverse quantizer 403 and the inverse transformer 404 correspond to decoding means. Other means may be used as the decoding means. The frame memory 407 corresponds to an image storage. The frame memory manager 409 corresponds to a memory control unit. Further, the inverter 404 may not be provided.

以上のように構成された動画像予測復号装置について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子４０１から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測信号の生成などに関連する情報が含まれている。予測信号の生成に関連する情報として、画面間予測の場合はブロック分割に関する情報（ブロックのサイズ）や、動き情報と上述のリファレンスインデックスが含まれ、画面内予測の場合は周辺の既再生の画素から外挿方法に関する情報が含まれている。 The operation of the video predictive decoding device configured as described above will be described below. The compressed data compressed and encoded by the method described above is input from the input terminal 401. The compressed data includes information relating to prediction of a target block obtained by dividing an image into a plurality of blocks and generation of a coded residual signal and a prediction signal. Information related to generation of a prediction signal includes information (block size) on block division in the case of inter-screen prediction, and motion information and the above-described reference index. In the case of intra-screen prediction, neighboring reproduced pixels Contains information about the extrapolation method.

データ解析器４０２にて、圧縮データから対象ブロックの残差信号、予測信号の生成に関連する情報、量子化パラメータ、画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数を抽出する。対象ブロックの残差信号は逆量子化器４０３にて量子化パラメータ（ラインＬ４０２経由）をもとに逆量子化される。その結果は逆変換器４０４にて逆離散コサイン変換される。 In the data analyzer 402, the residual signal of the target block from the compressed data, information related to the generation of the prediction signal, the quantization parameter, the frame size of the image and the maximum frame size defined by the encoding setting, the frame memory To extract the maximum number of reproduced images that can be stored in. The residual signal of the target block is inversely quantized by the inverse quantizer 403 based on the quantization parameter (via the line L402). The result is subjected to inverse discrete cosine transform by an inverse transformer 404.

次にラインＬ４０６ｂ経由で予測信号の生成に関連する情報が予測信号生成器４０８に送られる。予測信号生成器４０８では、予測信号の生成に関連する情報をもとに、フレームメモリ４０７にアクセスし、複数の参照画像の中から参照信号を取得し予測信号を生成する。この予測信号はラインＬ４０８経由で加算器４０５に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインＬ４０５経由で出力すると同時にフレームメモリ４０７に格納される。 Next, information related to the generation of the prediction signal is sent to the prediction signal generator 408 via the line L406b. The prediction signal generator 408 accesses the frame memory 407 based on information related to generation of a prediction signal, acquires a reference signal from a plurality of reference images, and generates a prediction signal. This prediction signal is sent to the adder 405 via the line L408, added to the restored residual signal, and the target block signal is reproduced, output via the line L405 and stored in the frame memory 407 at the same time.

フレームメモリ４０７には、後続の画像の復号・再生に用いられる再生画像が格納されている。フレームメモリ管理器４０９はフレームメモリ４０７を制御する。フレームメモリ４０７は、格納されているＭ枚（ここではＭは整数）の再生画像の中から、最も古いものを消去し参照画像として用いられる直近の再生画像を格納できるように制御される。フレームメモリ管理器４０９は、ラインＬ４０６ａ経由で送られる対象画像のフレームサイズ及び符号化設定にて定義される最大フレームサイズ、フレームメモリ内に格納可能な再生画像の最大枚数の情報に基づいて動作する。本発明によるフレームメモリ管理器４０９の制御方法については後述する。 The frame memory 407 stores a reproduced image used for decoding and reproducing a subsequent image. The frame memory manager 409 controls the frame memory 407. The frame memory 407 is controlled so as to delete the oldest one of the stored M reproduced images (M is an integer in this case) and store the latest reproduced image used as a reference image. The frame memory manager 409 operates based on information on the frame size of the target image transmitted via the line L406a, the maximum frame size defined by the encoding setting, and the maximum number of reproduced images that can be stored in the frame memory. . The control method of the frame memory manager 409 according to the present invention will be described later.

次に図５と図６を用いて、本発明による動画像予測符号化方法及び動画像予測復号方法の動作を説明する。図５は本発明の実施形態による動画像予測符号化・復号方法を示す流れ図である。同図に用いられる変数の意味を説明する。pic_widthは再生画像の横幅の輝度画素数、pic_heightは再生画像の縦幅の輝度画素数、MaxLumaFSはレベル情報により定義される最大画像サイズ、MFSBufferはレベル情報として定義される復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量、maxDPBsizeは復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量、max_dec_pic_bufferingは復号時に利用される再生画像の最大格納枚数（メモリバッファ量）、DPBpointerは復号画像バッファで再生画像を格納する位置を示すポインタを示す変数である。 Next, the operation of the moving picture prediction encoding method and the moving picture prediction decoding method according to the present invention will be described with reference to FIGS. FIG. 5 is a flowchart illustrating a moving picture prediction encoding / decoding method according to an embodiment of the present invention. The meaning of the variables used in FIG. pic_width is the number of luminance pixels in the horizontal width of the reproduced image, pic_height is the number of luminance pixels in the vertical width of the reproduced image, MaxLumaFS is the maximum image size defined by the level information, and MFSBuffer is the decoded image buffer (DPB) defined as the level information. The memory buffer amount represented by the maximum number of reproducible images that can be stored, maxDPBsize is the memory buffer amount represented by the maximum number of reproducible images that can be stored in the decoded image buffer (DPB), and the max_dec_pic_buffering is the reproduced image used at the time of decoding. , DPBpointer is a variable indicating a pointer indicating a position where a reproduced image is stored in the decoded image buffer.

図５において、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_height及び符号化設定として定義される最大フレームサイズMaxLumaFS及び復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBufferが入力される。次に入力された再生画像の横幅の画素数pic_widthと再生画像の縦幅の画素数pic_heightを積算した値と符号化設定として定義される最大画像サイズMaxLumaFSの半分の値（MaxLumaFS/2）と比較が行われる（ステップＳ５０２）。ここで、条件が満たされない場合（pic_widthとpic_heightを積算した値がMaxLumaFS/2の値より大きい場合）には、maxDPBsize＝MFSBufferと設定される（ステップＳ５０３）。また条件が満たされる場合（pic_widthとpic_heightを積算した値がMaxLumaFS/2の値以下の場合）には、maxDPBsize＝2*MFSBufferと設定される（ステップＳ５０４）。
（数式）
maxDPBsize=2*MFSBuffer（pic_width*pic_height≦(MaxLumaFS>>1)の時）
maxDPBsize=MFSBuffer（上記以外）
なお、上記数式における“>>”は右シフト演算を示し、MaxLumaFS/2と同じ意味である。 In FIG. 5, the number of pixels pic_width in the horizontal width of the reproduced image, the number pic_height in the vertical width of the reproduced image, the maximum frame size MaxLumaFS defined as the encoding setting, and the maximum number of reproduced images that can be stored in the decoded image buffer (DPB) The memory buffer amount MFSBuffer represented by is input. Next, the sum of pic_width, the number of pixels in the horizontal width of the input playback image, and pic_height, the number of pixels in the vertical width of the playback image, is compared with half the maximum image size MaxLumaFS (MaxLumaFS / 2) defined as the encoding setting. Is performed (step S502). Here, when the condition is not satisfied (when the value obtained by integrating pic_width and pic_height is larger than the value of MaxLumaFS / 2), maxDPBsize = MFSBuffer is set (step S503). When the condition is satisfied (when the value obtained by integrating pic_width and pic_height is equal to or less than the value of MaxLumaFS / 2), maxDPBsize = 2 * MFSBuffer is set (step S504).
(Formula)
maxDPBsize = 2 * MFSBuffer (when pic_width * pic_height ≦ (MaxLumaFS >> 1))
maxDPBsize = MFSBuffer (other than above)
Note that “>>” in the above formula indicates a right shift operation, and has the same meaning as MaxLumaFS / 2.

そして、復号時に利用される再生画像の最大格納枚数で表現されるメモリバッファ量max_dec_pic_bufferingがmaxDPBsize以下となるように設定される。
（数式）
max_dec_pic_buffering≦maxDPBsize Then, the memory buffer amount max_dec_pic_buffering expressed by the maximum storage number of reproduced images used at the time of decoding is set to be equal to or less than maxDPBsize.
(Formula)
max_dec_pic_buffering ≦ maxDPBsize

また、maxDPBsize=MFSBufferの場合には図６（ａ）のように画像メモリバッファの先頭にDPBpointer=1が設定され、DPBpointer=2,3,4はDPBpointer=1の位置から最大フレームサイズの２倍、３倍、４倍分のメモリポインタの位置を進めた位置に設定される。 When maxDPBsize = MFSBuffer, DPBpointer = 1 is set at the head of the image memory buffer as shown in FIG. 6A, and DPBpointer = 2, 3, 4 is twice the maximum frame size from the position of DPBpointer = 1. The memory pointer is set to a position advanced by three times or four times the memory pointer position.

また、maxDPBsize=2*MFSBufferの場合には図６（ｂ）のようにすでに設定されたDPBpointer1〜4に加えて、DPBpointer=1の位置から最大フレームサイズ分の１／２倍、３／２倍、５／２倍、７／２倍分のメモリポインタの位置を進めた位置に設定される。（ステップＳ５０５）。 In the case of maxDPBsize = 2 * MFSBuffer, in addition to the DPBpointers 1 to 4 already set as shown in FIG. The memory pointer is set to a position advanced by 5/2 times and 7/2 times. (Step S505).

設定されたmax_dec_pic_buffering及びDPBpointerは後述のステップＳ５０８のフレームメモリの制御に利用される。すなわち復号時に再生画像はフレームメモリに最大でmax_dec_pic_buffering枚まで格納となり、格納時には設定されたDPBpointerに基づき格納するよう制御される。符号化方法では、再生画像の横幅の輝度画素数pic_width、再生画像の縦幅の輝度画素数pic_heightに関する情報、最大画像サイズMaxLumaFS、復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBufferを含むレベル情報は、外部から与えられる。図３では、入力端子３１３経由して、図示されていない制御装置から与えられる。 The set max_dec_pic_buffering and DPBpointer are used for controlling the frame memory in step S508 described later. That is, at the time of decoding, up to max_dec_pic_buffering sheets of reproduced images are stored in the frame memory, and at the time of storage, the reproduced images are controlled to be stored based on the set DPBpointer. In the encoding method, the number of luminance pixels in the horizontal width of the reproduced image pic_width, the information on the number of luminance pixels in the vertical width of the reproduced image pic_height, the maximum image size MaxLumaFS, and the maximum number of reproduced images that can be stored in the decoded image buffer (DPB) are expressed. The level information including the memory buffer amount MFSBuffer to be provided is externally given. In FIG. 3, it is provided from a control device (not shown) via the input terminal 313.

一方、ステップＳ５０６では、図３で説明した方法で処理の対象となる画像を符号化した上で復号する。符号化した画像のデータは外部に送出、または蓄積される。ステップＳ５０７では、対象画像は後続の処理で参照画像として用いられるかどうかを判断する。この判断は画像の符号化タイプ（画面内予測符号化、画面間予測符号化、双方向予測符号化）によって決まる。参照画像として用いられない場合はステップＳ５１０に進む。参照画像として用いられる場合はステップＳ５０８に進みDPBpointerが図６に記載の位置で制御され、ステップＳ５０９にて復号・再生された画像をフレームメモリに格納した上で、ステップＳ５１１に進む。ステップＳ５１１では、次の画像があればＳ５０６に進み、次の画像がなければ処理を終了する。このように最後の画像まで符号化処理を実行する。 On the other hand, in step S506, the image to be processed is encoded and decoded by the method described with reference to FIG. The encoded image data is sent out or stored outside. In step S507, it is determined whether the target image is used as a reference image in the subsequent processing. This determination is determined by the coding type of the image (intra-screen prediction coding, inter-screen prediction coding, bidirectional prediction coding). If it is not used as a reference image, the process proceeds to step S510. If it is used as a reference image, the process proceeds to step S508, where the DPBpointer is controlled at the position shown in FIG. 6, and the image decoded and reproduced in step S509 is stored in the frame memory, and then the process proceeds to step S511. In step S511, if there is a next image, the process proceeds to S506, and if there is no next image, the process ends. In this way, the encoding process is performed up to the last image.

上述した処理は、図３の動画像符号化方法全体の処理に該当するが、とりわけステップＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５とＳ５０８は本発明によるフレームメモリ管理器３１４内にて行われる。 The above-described processing corresponds to the processing of the entire moving picture encoding method in FIG. 3, and in particular, steps S502, S503, S504, S505, and S508 are performed in the frame memory manager 314 according to the present invention.

なお、図５は動画像の符号化方法として説明したが、動画像復号方法の処理にも適用できる。復号処理を行う場合、ステップＳ５０１では圧縮符号化された画像のデータ（ビットストリーム）が入力される。当該データから再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_height及び符号化設定として定義される最大フレームサイズMaxLumaFS及び復号画像バッファ（DPB）に格納可能な再生画像の最大枚数で表現されるメモリバッファ量MFSBuffer、復号時に利用される再生画像の最大格納枚数(メモリバッファ量) max_dec_pic_bufferingを抽出して、上述と同じ方法でステップＳ５０２〜Ｓ５０５、Ｓ５０８の制御を行う。なお復号側では、ステップＳ５０５において復元されたmax_dec_pic_bufferingがmaxDPBsize以下であるかが確認される。ステップＳ５０６では対象画像の圧縮されたデータを復号し、画像を復元する処理を行う。ステップＳ５０７以降の処理は上述したとおりである。この処理は図４の動画像復号装置の処理に該当するが、とりわけステップＳ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５とＳ５０８は本発明による動画像復号装置のフレームメモリ管理器４０９内にて行われる。 Although FIG. 5 has been described as a moving image encoding method, the present invention can also be applied to processing of a moving image decoding method. When performing the decoding process, in step S501, the data (bit stream) of the compression-encoded image is input. From the data, the number of pixels of the width pic_width of the reproduced image, the number of pixels pic_height of the width of the reproduced image, the maximum frame size MaxLumaFS defined as the encoding setting, and the maximum number of reproduced images that can be stored in the decoded image buffer (DPB) The expressed memory buffer amount MFSBuffer and the maximum number of stored reproduction images (memory buffer amount) max_dec_pic_buffering used at the time of decoding are extracted, and the control of steps S502 to S505 and S508 is performed in the same manner as described above. The decoding side checks whether or not the max_dec_pic_buffering restored in step S505 is equal to or less than maxDPBsize. In step S506, a process of decoding the compressed data of the target image and restoring the image is performed. The processing after step S507 is as described above. This processing corresponds to the processing of the moving picture decoding apparatus in FIG. 4, and in particular, steps S502, S503, S504, S505, and S508 are performed in the frame memory manager 409 of the moving picture decoding apparatus according to the present invention.

図６は本発明の実施形態による動画像予測符号化・復号方法におけるフレームメモリのメモリポインタの位置を説明するための模式図である。図６（ａ）と（ｂ）を比較するとわかるように、メモリポインタ番号１から４の位置は固定されている。また、ステップＳ５０３で条件を満たす場合には、新たにメモリポインタ５から８として制御される。つまり、ステップＳ５０３の判定によらず、メモリポインタの位置は固定されることになる。 FIG. 6 is a schematic diagram for explaining the position of the memory pointer of the frame memory in the moving picture prediction encoding / decoding method according to the embodiment of the present invention. As can be seen by comparing FIGS. 6A and 6B, the positions of the memory pointer numbers 1 to 4 are fixed. If the condition is satisfied in step S503, the control is newly performed as memory pointers 5 to 8. That is, the position of the memory pointer is fixed regardless of the determination in step S503.

（メモリポインタの位置）
なお、本実施形態のメモリポインタ番号を１から４と５から８を交互に設定したが、メモリポインタ番号を１から８の順番で割り当てても良い。 (Memory pointer position)
In this embodiment, the memory pointer numbers are alternately set to 1 to 4 and 5 to 8, but the memory pointer numbers may be assigned in the order of 1 to 8.

（メモリ分割数）
なお、本実施形態では再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightと符号化設定として定義される最大フレームサイズMaxLumaFSの半分の値（MaxLumaFS/2）と比較を行ったが、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightと符号化設定として定義される最大フレームサイズMaxLumaFS/2^L（Ｌは２以上の整数）とを比較してもよい。その際、再生画像の格納位置を示すメモリポインタの位置は、図６で示したとおり、既に配置されたポインタを固定したままMaxLumaFSの１／２^Ｌの位置にメモリポインタを配置すればよい。 (Number of memory partitions)
In this embodiment, the number of pixels pic_width of the horizontal width of the reproduced image and the number of pixels pic_height of the vertical width of the reproduced image are compared with half the maximum frame size MaxLumaFS (MaxLumaFS / 2) defined as the encoding setting. May compare the number of pixels pic_width of the horizontal width of the reproduced image and the number of pixels pic_height of the vertical width of the reproduced image with the maximum frame size MaxLumaFS / 2 ^L (L is an integer of 2 or more) defined as an encoding setting. . At this time, as shown in FIG. 6, the memory pointer indicating the storage position of the reproduced image may be arranged at a position 1/2 ^L of MaxLumaFS while the already arranged pointer is fixed.

（フレームサイズの定義）
なお、本実施形態では、再生画像の横幅の画素数pic_width及び再生画像の縦幅の画素数pic_heightによってフレームサイズを表現したが、あらかじめ積算されたフレームサイズを示す値が利用されてもよい。また、それ以外の方法でフレームサイズが算出されてもよい。 (Definition of frame size)
In the present embodiment, the frame size is expressed by the number of pixels pic_width of the horizontal width of the reproduced image and the number of pixels pic_height of the vertical width of the reproduced image. However, a value indicating the frame size integrated in advance may be used. Further, the frame size may be calculated by other methods.

なお、本実施形態では、最大画像サイズMaxLumaFS、復号画像バッファ（DPB）に格納可能なMaxLumaFSの大きさの再生画像の最大枚数で表現されるメモリバッファ量MFSBufferはレベル情報として定義されたが、レベル情報として送られることに限定されない。レベル情報以外の情報として加えられても良い。 In the present embodiment, the maximum image size MaxLumaFS and the memory buffer amount MFSBuffer expressed by the maximum number of reproduced images of the size of MaxLumaFS that can be stored in the decoded image buffer (DPB) are defined as level information. It is not limited to being sent as information. It may be added as information other than the level information.

なお、本実施形態ではFSBufferやmaxDPBsizeは、格納可能な再生画像の最大枚数で表現されたが、実際のメモリ量として表現されてもよい。その場合、再生画像の枚数は、メモリ量をフレームサイズで除算して算出すればよい。 In the present embodiment, FSBuffer and maxDPBsize are represented by the maximum number of storable reproduced images, but may be represented by an actual memory amount. In this case, the number of reproduced images may be calculated by dividing the memory amount by the frame size.

特に本発明は、画像のフレームサイズと符号化条件として定義される最大フレームサイズの関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定されることで、実際のフレームサイズが最大フレームサイズよりも小さい場合に、フレームメモリの無駄を軽減し、更なる符号化効率向上を可能とする参照画像用のメモリ領域を確保する効果がある。 In particular, the present invention determines the maximum number of reproduced images that can be stored in the image buffer memory on the basis of the relationship between the frame size of an image and the maximum frame size defined as a coding condition. When the frame size is smaller than the frame size, there is an effect that a waste of the frame memory is reduced and a memory area for a reference image that can further improve the coding efficiency is secured.

コンピュータを上述の動画像予測符号化装置及び動画像予測復号装置として機能させるための本発明に係る動画像予測符号化プログラム及び動画像予測復号プログラムは、プログラムとして記録媒体に格納されて提供される。記録媒体としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。 A moving picture prediction encoding program and a moving picture prediction decoding program according to the present invention for causing a computer to function as the above-described moving picture prediction encoding apparatus and moving picture prediction decoding apparatus are provided by being stored in a recording medium as programs. . Examples of the recording medium include a recording medium such as a floppy (registered trademark) disk, a CD-ROM, a DVD, and a ROM, and a semiconductor memory.

具体的には、動画像予測符号化プログラムは、動画像を構成する複数の画像を入力する入力モジュールと、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化モジュールと、圧縮画像データを復号し、再生画像に復元する復号モジュールと、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納モジュールと、画像格納モジュールにおいて画像バッファメモリを制御するメモリ制御モジュールと、を具備し、メモリ制御モジュールは、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２^Ｌ（Ｌは１以上の整数）以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２^Ｌ倍に決定することを特徴とする動画像予測符号化プログラムである。 Specifically, the moving image prediction encoding program includes an input module for inputting a plurality of images constituting the moving image, and encoding the image by any of an intra-screen prediction and an inter-screen prediction. Generates compressed image data including information on the size, the maximum number of reproducible images that can be stored, and the maximum frame size as an encoding setting, and encodes the target image frame size, the maximum number of reproducible images that can be stored, and information on the maximum frame size. An encoding module that encodes together with the encoded data, a decoding module that decodes the compressed image data and restores the reproduced image, and stores one or more of the reproduced images as reference images used to encode subsequent images. An image storage module, and a memory control module for controlling an image buffer memory in the image storage module. Comprising a Lumpur, a memory control module, when the frame size of the input image with respect to the maximum frame size of the image is 1/2 L ^(L is an integer of 1 or more) or less, can be stored in the frame memory This is a moving image prediction encoding program characterized in that the maximum number of reproduced images is determined to be ^2L times.

同様に、動画像予測符号化プログラムは、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力モジュールと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号モジュールと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納モジュールと、画像格納モジュールを制御するメモリ制御モジュールと、を具備し、メモリ制御モジュールは、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２^Ｌ（Ｌは１以上の整数）倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２^Ｌ倍に決定することを特徴とする動画像予測符号化プログラムである。 Similarly, the moving image prediction encoding program encodes a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction, and sets a target image frame size and a maximum number of images that can store a reproduced image. And an input module for inputting encoded data indicating compressed image data including information on the maximum frame size as an encoding setting, and information on the compressed image data and the target image frame size, the maximum number of images that can store reproduced images, and the maximum frame size A decoding module that decodes the compressed image data, and decodes the reproduced image and the target image frame size, information on the maximum number of images that can be stored and the maximum frame size, and decodes the reproduced image into a subsequent image Image storage module for storing one or more reference images used for Includes a memory control module that controls the module, a memory control module, the frame size is 1/2 L of the input image with respect to the maximum frame size of the image ^(L is an integer of 1 or more) in the case of times or less, A moving image predictive coding program characterized in that the maximum number of reproduced images that can be stored in a frame memory is determined to be ^2L times.

図７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。 FIG. 7 is a diagram showing a hardware configuration of a computer for executing a program recorded on a recording medium, and FIG. 8 is a perspective view of a computer for executing a program stored on a recording medium. The computer includes a DVD player, a set-top box, a mobile phone, and the like that include a CPU and perform processing and control by software.

図７に示すように、コンピュータ３０は、フロッピー（登録商標）ディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該動画像予測符号化・復号プログラムによって、本発明による動画像符号化装置・復号装置として動作することが可能になる。 As shown in FIG. 7, the computer 30 includes a reading device 12 such as a floppy (registered trademark) disk drive device, a CD-ROM drive device, and a DVD drive device, a working memory (RAM) 14 in which an operating system is resident, and A memory 16 for storing a program stored in the recording medium 10, a display device 18 such as a display, a mouse 20 and a keyboard 22 as input devices, a communication device 24 for transmitting and receiving data and the like, and execution of the program. And a CPU 26 for controlling the CPU. When the recording medium 10 is inserted into the reading device 12, the computer 30 becomes able to access the moving image prediction encoding / decoding program stored in the recording medium 10 from the reading device 12, and the moving image prediction encoding / decoding is performed. The program makes it possible to operate as a moving picture encoding device / decoding device according to the present invention.

図８に示すように、動画像予測符号化プログラムもしくは動画像復号プログラは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラムをメモリ１６に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。 As shown in FIG. 8, the moving picture prediction coding program or the moving picture decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the computer 30 can store the moving picture prediction coding program or the moving picture decoding program received by the communication device 24 in the memory 16 and execute the moving picture prediction coding program or the moving picture prediction decoding program. .

上記目的を達成するために、本発明に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化手段と、圧縮画像データを復号し、再生画像に復元する復号手段と、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。 In order to achieve the above object, a moving picture predictive encoding apparatus according to the present invention comprises: an input unit for inputting a plurality of pictures constituting a moving picture; Generates compressed image data including information about the target image frame size, the maximum number of images that can be stored and the maximum frame size as an encoding setting, the target image frame size, the maximum number of images that can be stored, and Encoding means for encoding together with the encoded data relating to the information on the maximum frame size, decoding means for decoding the compressed image data and restoring it to a reproduced image, and a reference used for encoding the reproduced image to a subsequent image Image storage means for storing at least one image as an image, wherein the frame size of the input image is 1 / the maximum frame size of the image. If times below, and determines the maximum number of storable reproduced image to twice in the frame memory.

この動画像予測符号化装置では、動画像を構成する各画像または圧縮符号化された画像データに付随されるフレームサイズと符号化設定で定義される最大フレームサイズ関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定される。より具体的には、例えば、入力画像のフレームサイズが符号化設定で定義される最大フレームサイズの１／２倍より大きい場合には再生画像を最大Ｎ枚格納（Ｎは１以上の整数）可能とし、入力画像のフレームサイズが最大フレームサイズの１／２倍以下の場合には、再生画像の格納に利用可能なメモリバッファ量を制御して、再生画像を最大２ｘＮ枚格納可能とする。これにより復号された再生画像のフレームサイズが符号化設定にて定義された最大フレームサイズの１／２倍以下の場合に、格納可能な再生画像の最大枚数を増加することができ、参照画像増加により符号化効率向上が可能となる。 In this moving picture predictive coding apparatus, a moving image is stored in an image buffer memory based on a relationship between a frame size attached to each image constituting a moving image or compression-encoded image data and a maximum frame size defined by an encoding setting. The maximum number of possible reproduced images is determined. More specifically, for example, when the frame size of the input image is larger than half the maximum frame size defined in the encoding setting, up to N reproduced images can be stored (N is an integer of 1 or more). When the frame size of the input image is equal to or less than の of the maximum frame size, the amount of memory buffer available for storing the reproduced image is controlled so that a maximum of 2 × N reproduced images can be stored. Accordingly, when the frame size of the decoded reproduced image is equal to or less than half the maximum frame size defined in the encoding setting, the maximum number of storable reproduced images can be increased, and the reference image can be increased. As a result, encoding efficiency can be improved.

また、本発明に係る動画像予測符号化装置は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。 Further, the video predictive encoding apparatus according to the present invention, when the frame size of the input image is 1/4 or less of the maximum frame size of the image, sets the maximum number of reproduced images that can be stored in the frame memory. It may be characterized in that it is determined four times.

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。 The moving picture prediction decoding apparatus according to the present invention is configured such that a plurality of pictures constituting a moving picture are encoded by either intra-screen prediction or inter-screen prediction, a target image frame size, and a maximum number of images that can be stored in a reproduced image. Input means for inputting encoded data indicating compressed image data including information on the maximum frame size as encoding settings; information on the compressed image data and the target image frame size; the maximum number of images that can store reproduced images and the maximum frame size; Decoding means for decoding the compressed image data indicating the reproduction image, and restoring the reproduced image into information on the target image frame size, the maximum number of images that can be stored and the maximum frame size, and decodes the reproduced image into a subsequent image Image storage means for storing one or more reference images used for the If the frame size of the input image relative's is 1/2 times or less, and determines the maximum number of storable reproduced image to twice in the frame memory.

この動画像予測復号装置では、動画像を構成する各画像または圧縮符号化された画像データに付随されるフレームサイズと符号化設定で定義される最大フレームサイズ関係に基づき、画像バッファメモリに格納可能な再生画像の最大枚数が決定される。より具体的には、例えば、入力画像のフレームサイズが符号化設定で定義される最大フレームサイズの１／２倍より大きい場合には再生画像を最大Ｎ枚格納（Ｎは１以上の整数）可能とし、入力画像のフレームサイズが最大フレームサイズの１／２倍以下の場合には、再生画像を最大２Ｎ枚格納可能とする。これにより復号された再生画像のフレームサイズが符号化設定にて定義された最大フレームサイズの１／２倍以下の場合に、格納可能な再生画像の最大枚数を増加することができ、参照画像増加により符号化効率向上が可能となる。 In this video predictive decoding device, it is possible to store in the image buffer memory based on the frame size associated with each image constituting the video or the compression-coded image data and the maximum frame size defined by the coding setting. The maximum number of reproduced images is determined. More specifically, for example, when the frame size of the input image is larger than half the maximum frame size defined in the encoding setting, up to N reproduced images can be stored (N is an integer of 1 or more). When the frame size of the input image is equal to or less than 最大 of the maximum frame size, a maximum of 2N reproduced images can be stored. Accordingly, when the frame size of the decoded reproduced image is equal to or less than half the maximum frame size defined in the encoding setting, the maximum number of storable reproduced images can be increased, and the reference image can be increased. As a result, encoding efficiency can be improved.

また、本発明に係る動画像予測復号装置は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。 Also, the video predictive decoding apparatus according to the present invention, when the frame size of the input image is 1/4 or less of the maximum frame size of the image, sets the maximum number of reproduced images that can be stored in the frame memory to 4 It may be characterized in that it is determined twice.

また、本発明に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、画像を、画面内予測もしくは画面間予測のいずれかの方法で符号化し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを生成し、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報に関する符号化データとともに符号化する符号化ステップと、圧縮画像データを復号し、再生画像に復元する復号ステップと、再生画像を、後続の画像を符号化するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。 Also, the moving picture prediction encoding method according to the present invention is a moving picture prediction encoding method executed by a moving picture prediction encoding apparatus, comprising: an input step of inputting a plurality of pictures constituting a moving picture; Is encoded by any method of intra-screen prediction or inter-screen prediction, and generates compressed image data including information about the target image frame size, the maximum number of images that can be stored as a playback image, and the maximum frame size as an encoding setting, An encoding step of encoding the target image frame size, the maximum number of reproducible images that can be stored, and encoded data relating to information on the maximum frame size; a decoding step of decoding compressed image data and restoring the reproduced image; Image storage means for storing at least one reference image as a reference image used for encoding a subsequent image. And determining that the maximum number of reproduced images that can be stored in the frame memory is doubled when the frame size of the input image is 以下 or less of the maximum frame size of the image. Features.

また、本発明に係る動画像予測符号化方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。 Also, the video predictive encoding method according to the present invention, when the frame size of the input image is 1/4 or less of the maximum frame size of the image, the maximum number of reproduced images that can be stored in the frame memory. It may be characterized in that it is determined four times.

また、本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。 Also, the moving picture prediction decoding method according to the present invention is a moving picture prediction decoding method executed by a moving picture prediction decoding apparatus, and performs intra-screen prediction or inter-screen prediction for a plurality of images constituting a moving image. An input step of inputting encoded data indicating compressed image data which is encoded by any of the above and includes information on a target image frame size, a maximum number of images that can be stored and a maximum frame size as an encoding setting, and compressed image data Decodes compressed image data indicating information about the target image frame size, the maximum number of frames that can store the reproduced image, and the maximum frame size, and reproduces the reproduced image, the target image frame size, the maximum number of frames that can store the reproduced image, and the maximum frame size. Decoding step to restore the reproduced image to information about the An image storage step of storing at least one reference image by an image storage unit, wherein the input image is stored in a frame memory when the frame size of the input image is 以下 or less of the maximum frame size of the image. The maximum number of possible reproduced images is determined to be twice.

また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を４倍に決定することを特徴とすることとしてもよい。 Also, the moving picture prediction decoding method according to the present invention, when the frame size of the input image is 1/4 or less of the maximum frame size of the image, sets the maximum number of reproduced images that can be stored in the frame memory to four. It may be characterized in that it is determined twice.

また、本発明に係る動画像予測復号方法は、フレームメモリ内に格納可能な再生画像の最大枚数を決定する際に、メモリ内の再生画像の格納位置を示すメモリポインタを固定することを特徴とすることとしてもよい。 Further, the moving picture prediction decoding method according to the present invention is characterized in that when determining the maximum number of reproduced images that can be stored in the frame memory, a memory pointer indicating a storage position of the reproduced image in the memory is fixed. You may do it.

この動画像予測復号方法では、各再生画像の格納位置を示すメモリポインタは、例えば、最大フレームサイズとその１／２倍の位置で固定することができるため、フレームサイズによる可変的なメモリポインタ制御を必要とせず、より簡易で効率的なメモリ制御の実装が可能となる。また、メモリポインタの位置を算出する際も、例えば、１／２倍の変化に限定されるためシフト演算で実行可能であり、演算コストが少ない。 In this moving image predictive decoding method, the memory pointer indicating the storage position of each reproduced image can be fixed at, for example, the maximum frame size and a half of the maximum frame size. And a simpler and more efficient implementation of memory control becomes possible. Also, when calculating the position of the memory pointer, for example, it is possible to execute the shift operation because the change is limited to, for example, 1/2, and the operation cost is low.

また、本発明に係る動画像予測復号プログラムは、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力モジュールと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号モジュールと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納モジュールと、を具備し、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を２倍に決定することを特徴とする。 In addition, the moving image prediction decoding program according to the present invention can encode a plurality of images constituting a moving image by either intra-screen prediction or inter-screen prediction, and store a target image frame size and a reproduced image. An input module for inputting encoded data indicating compressed image data including information on the maximum frame size as the maximum number and encoding settings, the compressed image data and the target image frame size, the maximum number and the maximum frame size capable of storing the reproduced image A decoding module that decodes compressed image data indicating information about the reproduction image and restores the reproduction image and information on the target image frame size, the maximum number of images that can store the reproduction image, and information on the maximum frame size. An image storage module for storing one or more reference images used for decoding; Provided, when the frame size of the input image with respect to the maximum frame size of the image is 1/2 times or less, and determines the maximum number of storable reproduced image to twice in the frame memory.

当該動画像予測復号方法及び動画像予測復号プログラムは、上述の動画像予測復号装置と同様な効果を奏することができる。 The moving picture prediction decoding method and the moving picture prediction decoding program can provide the same effects as those of the above-described moving picture prediction decoding apparatus.

本発明に係る動画像予測復号方法は、動画像予測復号装置によって実行される動画像予測復号方法であって、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力ステップと、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上、画像格納手段によって格納する画像格納ステップと、を具備し、画像の最大フレームサイズと入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の等倍、２倍又は４倍に決定することを特徴とする。 A moving image prediction decoding method according to the present invention is a moving image prediction decoding method executed by a moving image prediction decoding device, and includes a method of performing either an intra-screen prediction or an inter-screen prediction for a plurality of images constituting a moving image. Inputting encoded data indicating compressed image data including information on the target image frame size, the maximum number of images that can be stored, and the maximum frame size as an encoding setting, and inputting the compressed image data and the target Decodes compressed image data indicating information about the image frame size, the maximum number of frames that can store a reproduced image, and the maximum frame size, and reproduces the reproduced image, the target image frame size, and the information about the maximum number and the maximum frame size that can store the reproduced image. Decoding step to restore the reproduced image to a reference used to decode the subsequent image An image storing step of storing at least one image as an image by an image storing means, wherein the maximum of a reproduced image that can be stored in the frame memory is determined based on a relationship between a maximum frame size of the image and a frame size of the input image. The number of sheets is determined to be equal to, twice, or four times a predetermined value.

また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／２倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の２倍に決定することを特徴とすることとしてもよい。 Further, in the moving picture prediction decoding method according to the present invention, when the frame size of the input image is equal to or less than １／ times the maximum frame size of the image, the maximum number of reproduced images that can be stored in the frame memory is determined. The value may be determined to be twice the value of.

また、本発明に係る動画像予測復号方法は、画像の最大フレームサイズに対して入力画像のフレームサイズが１／４倍以下の場合に、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の４倍に決定することを特徴とすることとしてもよい。 Further, in the video predictive decoding method according to the present invention, when the frame size of the input image is 1/4 or less of the maximum frame size of the image, the maximum number of reproduced images that can be stored in the frame memory is determined. May be determined to be four times the value of.

本発明に係る動画像予測復号装置は、動画像を構成する複数の画像に対し、画面内予測もしくは画面間予測のいずれかによって符号化され、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び符号化設定として最大フレームサイズに関する情報を含む圧縮画像データを示す符号化データを入力する入力手段と、圧縮画像データと対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報を示す圧縮画像データを復号し、再生画像と、対象画像フレームサイズ、再生画像を格納可能な最大枚数及び最大フレームサイズに関する情報とに復元する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として１つ以上格納する画像格納手段と、を具備し、画像の最大フレームサイズと入力画像のフレームサイズとの関係に基づいて、フレームメモリ内に格納可能な再生画像の最大枚数を所定の値の等倍、２倍又は４倍に決定することを特徴とする。 The moving picture prediction decoding apparatus according to the present invention is configured such that a plurality of pictures constituting a moving picture are encoded by either intra-screen prediction or inter-screen prediction, a target image frame size, and a maximum number of images that can be stored in a reproduced image. Input means for inputting encoded data indicating compressed image data including information on the maximum frame size as encoding settings; information on the compressed image data and the target image frame size; the maximum number of images that can store reproduced images and the maximum frame size; Decoding means for decoding the compressed image data indicating the reproduction image, and restoring the reproduced image into information on the target image frame size, the maximum number of images that can be stored and the maximum frame size, and decodes the reproduced image into a subsequent image Image storage means for storing one or more reference images used for the Based on the relationship between the frame size's and the input image, magnification of a predetermined value the maximum number of storable reproduced image in the frame memory, and determining the double or quadruple.

３０１…入力端子、３０２…ブロック分割器、３０３…予測信号生成器、３０４…フレームメモリ、３０５…減算器、３０６…変換器、３０７…量子化器、３０８…逆量子化器、３０９…逆変換器、３１０…加算器、３１１…エントロピー符号化器、３１２…出力端子、３１３…入力端子、３１４…フレームメモリ管理器、４０１…入力端子、４０２…データ解析器、４０３…逆量子化器、４０４…逆変換器、４０５…加算器、４０６…出力端子、４０７…フレームメモリ、４０８…予測信号生成器、４０９…フレームメモリ管理器。 Reference numeral 301: input terminal, 302: block divider, 303: predicted signal generator, 304: frame memory, 305: subtractor, 306: converter, 307: quantizer, 308: inverse quantizer, 309: inverse transform Adder, 310 adder, 311 entropy coder, 312 output terminal, 313 input terminal, 314 frame memory manager, 401 input terminal, 402 data analyzer, 403 inverse quantizer, 404 … Inverter, 405 adder, 406 output terminal, 407 frame memory, 408 predicted signal generator, 409 frame memory manager

Claims

A video prediction decoding method executed by the video prediction decoding device,
Information about the target image frame size, the maximum number of images that can be stored, and the maximum frame size as an encoding setting are encoded for a plurality of images constituting the moving image by either intra-screen prediction or inter-screen prediction. An input step of inputting encoded data indicating compressed image data including
The compressed image data and the target image frame size, compressed image data indicating information on the maximum number of images that can be stored and the maximum frame size can be decoded, and the reproduced image, the target image frame size, and the reproduced image can be stored. Decoding step of restoring the maximum number of images and information on the maximum frame size,
An image storage step of storing one or more of the reproduced images as reference images used for decoding a subsequent image by an image storage unit,
Based on the relationship between the shift operation value of the maximum frame size of the image and the frame size of the input image, the maximum number of reproduced images that can be stored in the image storage unit is equal to, twice, or four times a predetermined value. A moving picture predictive decoding method characterized in that it has been determined.

For a plurality of images constituting a moving image, information about the target image frame size, the maximum number of reproducible images that can be stored, and the maximum frame size as encoding settings are encoded by either intra-screen prediction or inter-screen prediction. Input means for inputting encoded data indicating compressed image data including
The compressed image data and the target image frame size, compressed image data indicating information on the maximum number of images that can be stored and the maximum frame size can be decoded, and the reproduced image, the target image frame size, and the reproduced image can be stored. Decoding means for restoring the maximum frame count and information on the maximum frame size,
Image storage means for storing one or more of the reproduced image as a reference image used for decoding a subsequent image,
Based on the relationship between the shift operation value of the maximum frame size of the image and the frame size of the input image, the maximum number of reproduced images that can be stored in the image storage unit is equal to, twice, or four times a predetermined value. A moving picture prediction decoding device characterized in that it has been determined.