JP2009081622A - Moving image compression encoder - Google Patents
Moving image compression encoder Download PDFInfo
- Publication number
- JP2009081622A JP2009081622A JP2007248874A JP2007248874A JP2009081622A JP 2009081622 A JP2009081622 A JP 2009081622A JP 2007248874 A JP2007248874 A JP 2007248874A JP 2007248874 A JP2007248874 A JP 2007248874A JP 2009081622 A JP2009081622 A JP 2009081622A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- transition
- past
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は動画像データを圧縮符号化する動画像圧縮符号化装置に関する。 The present invention relates to a moving image compression encoding apparatus that compresses and encodes moving image data.
動画像の圧縮符号化技術としてMPEG−4(Moving Picture Experts Group phase-4)が知られている。MPEG−4は一般に、携帯電話や電話回線などの通信速度の低い回線を通じた、低画質、高圧縮率の映像の配信に利用されている。MPEG−4における画像の主な圧縮符号化方法は次の2つである。1つは現在の対象画像の情報だけを使用して圧縮符号化するイントラ符号化である。もう1つは、過去画像(若しくは未来画像)と現在の対象画像との差分によって得られた予測差分画像を圧縮符号化するインター符号化である。動画像を構成する画像群の内、時間軸上で互いに連続する画像間の差分は小さいことが多く、当該差分を圧縮することにより、データ量を削減できる。通常、インター符号化により画像データを圧縮する場合には、画像を複数のブロックに分割し、ブロック毎に動き検出による動きベクトルの生成と当該動きベクトルに基づいた動き補償がなされる。 MPEG-4 (Moving Picture Experts Group phase-4) is known as a moving image compression coding technique. MPEG-4 is generally used for video distribution with a low image quality and a high compression rate through a line having a low communication speed such as a mobile phone or a telephone line. There are the following two main compression encoding methods for images in MPEG-4. One is intra coding in which compression coding is performed using only information of the current target image. The other is inter coding that compresses and encodes a prediction difference image obtained by a difference between a past image (or future image) and a current target image. Of the image groups constituting a moving image, the difference between images that are continuous with each other on the time axis is often small, and the amount of data can be reduced by compressing the difference. Normally, when compressing image data by inter coding, an image is divided into a plurality of blocks, and motion vectors are generated by motion detection and motion compensation based on the motion vectors is performed for each block.
例えば、インター符号化を利用した映像信号符号化装置が特許文献1に開示されている。ここでは、対象とするフレームの映像信号を複数のブロックに分割し、当該フレーム及び前フレームの映像信号を用いて各ブロックの動きベクトルを検出する。検出対象ブロックの近傍ブロックにおける動きベクトルに基づいて、当該検出対象ブロックの動きベクトルを予測する。予測の動きベクトルが得られたブロックでは、その予測領域の近傍の動きベクトルを詳細に探索し、予測の動きベクトルが得られなかったブロックでは所定範囲の動きベクトルを大まかに探索する。これにより、動きベクトルの検出精度が向上し、演算回数が低減されるとしている。
前述したように、インター符号化においては通常、ブロック毎に動きベクトルと動き補償を施す。この場合、動画像において画面の一部が推移したときには、当該一部に該当するブロックにおける現在の対象画像と過去画像との間の差分のみが大きく、他のブロックにおける同差分は小さい。その結果、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量も小さいものとなる。一方、画面全体が推移した場合には、全ブロックにおいて差分が大きくなるため、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量が膨大になるという問題点があった。 As described above, in inter coding, a motion vector and motion compensation are usually performed for each block. In this case, when a part of the screen changes in the moving image, only the difference between the current target image and the past image in the block corresponding to the part is large, and the difference in the other blocks is small. As a result, the data amount of the entire screen obtained by compressing and encoding the difference data of all blocks is also small. On the other hand, when the entire screen is changed, the difference becomes large in all blocks, so that there is a problem that the data amount of the entire screen obtained by compressing and encoding the difference data of all blocks becomes enormous.
通常のネットワーク配信においては、例えば1MbitなどのCBR(Constant Bit Rate:固定ビットレート)を維持する必要がある。上記したように画面全体が推移した場合、設定されたビットレートを維持することが困難になる。圧縮データ量が設定されたビットレート以上になった場合、フレームを間引くことになるため、重要なフレームを見逃す可能性がある。また、フレームが間引かれた場合、フレームの間隔が大きくなり、更に圧縮符号化データ量が大きくなってしまう。 In normal network distribution, for example, it is necessary to maintain a CBR (Constant Bit Rate) such as 1 Mbit. When the entire screen changes as described above, it becomes difficult to maintain the set bit rate. When the amount of compressed data exceeds the set bit rate, frames are thinned out, so that important frames may be missed. In addition, when frames are thinned out, the interval between frames increases, and the amount of compression-encoded data further increases.
特許文献1に開示される映像信号符号化装置は、検出対象ブロックの近傍ブロックにおける動きベクトルに基づいて、当該検出対象ブロックの動きベクトルを予測しているため、画面全体が推移した場合には、検出対象及び近傍の両ブロックの差分が大きくなり、全ブロックの差分データを圧縮符号化して得られる画面全体のデータ量が膨大になってしまう。 Since the video signal encoding device disclosed in Patent Literature 1 predicts the motion vector of the detection target block based on the motion vector in the neighboring block of the detection target block, when the entire screen changes, The difference between both the detection target and the neighboring blocks becomes large, and the data amount of the entire screen obtained by compressing and coding the difference data of all the blocks becomes enormous.
本発明は上記した如き問題点に鑑みてなされたものであって、動画像において画面全体が推移した場合においても、圧縮符号化データ量が少なく済む動画像圧縮符号化装置を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a moving image compression encoding apparatus that can reduce the amount of compression encoded data even when the entire screen changes in a moving image. And
本発明による動画像圧縮符号化装置は、入力画像データを保持するバッファと、前記入力画像データと予測画像データとの差分を取って予測差分画像データを得る減算器と、前記予測差分画像データを圧縮して圧縮予測差分画像データを得る圧縮部と、前記圧縮予測差分画像データを復号して復号予測差分画像データを得る復号部と、前記復号予測差分画像データと前記予測画像データとを加算して過去画像データを得る加算器と、前記過去画像データを記憶するフレームメモリと、前記過去画像データと前記入力画像データとに基づいて動きベクトルを生成する動き検出部と、前記過去画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成する動き補償部と、前記圧縮予測差分画像データと前記動きベクトルとを可変長符号化する可変長符号化部と、を含む動画像圧縮符号化装置であって、画面全体の推移方向及び推移量を表す推移ベクトルを記憶するレジスタと、前記過去画像データに基づいて表される過去画像を前記推移ベクトルが示す方向に前記推移量の分だけシフトして得られた推移画像をデータ化して推移画像データを得る推移画像データ生成手段と、を含み、前記フレームメモリは、前記過去画像データに代えて前記推移画像データを記憶し、前記動き検出部は、前記過去画像データに代えて前記推移画像データと前記入力画像データとに基づいて前記動きベクトルを生成し、前記動き補償部は、前記過去画像データに代えて前記推移画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成することを特徴とする。 A moving image compression coding apparatus according to the present invention includes a buffer that holds input image data, a subtractor that obtains a difference between the input image data and predicted image data, and obtains predicted difference image data, and the predicted difference image data. A compression unit that compresses to obtain compressed prediction difference image data; a decoding unit that decodes the compressed prediction difference image data to obtain decoded prediction difference image data; and adds the decoded prediction difference image data and the prediction image data An adder that obtains past image data, a frame memory that stores the past image data, a motion detection unit that generates a motion vector based on the past image data and the input image data, and the past image data A motion compensation unit that performs motion compensation processing based on a motion vector to generate the predicted image data, the compressed predicted difference image data, and the motion vector A variable-length encoding unit that variable-encodes the video data, a register that stores a transition vector representing a transition direction and a transition amount of the entire screen, and the past image data Transition image data generating means for obtaining transition image data by converting a transition image obtained by shifting a past image represented based on the transition amount in a direction indicated by the transition vector, and including the frame The memory stores the transition image data instead of the past image data, and the motion detection unit generates the motion vector based on the transition image data and the input image data instead of the past image data. The motion compensation unit performs motion compensation processing based on the motion vector on the transition image data instead of the past image data to generate the predicted image data. The features.
以下、本発明に係る実施例について添付の図面を参照しつつ詳細に説明する。
<第1の実施例>
図1は本発明による動画像圧縮符号化装置を表すブロック図である。
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
<First embodiment>
FIG. 1 is a block diagram showing a moving picture compression encoding apparatus according to the present invention.
動画像圧縮符号化装置100は、バッファ110と、減算器120と、圧縮部130と、復号部140と、加算器150と、レジスタ160と、VOP動き検出部161と、加算器170と、フレームメモリ171と、動き検出部180と、動き補償部181と、可変長符号化部190と、を含む。
The moving image
バッファ110は、入力画像データを保持する機能を有する。バッファ110は、例えば撮像部(図示せず)の撮像によって得られた画像データをビデオインターフェース(図示せず)を介して受け取り、これを入力画像データとして保持する。
The
減算器120は、バッファ110に保持されている入力画像データと動き補償部181からの予測画像データとの差分を取って予測差分画像データを得て、これを圧縮部130に与える。通常、動き補償処理を実施する場合、入力画像データは16×16画素のマクロブロック単位で扱われる。減算器120は、MPEG−4の規格に従って、16×16画素のマクロブロックを4分割した8×8画素のブロック毎に、予測差分画像データを生成する。
The
圧縮部130は、DCT部131と、量子化部132と、からなり、減算器120からの予測差分画像データを圧縮して圧縮予測差分画像データを得る。DCT(Discrete Cosine Transform)部131は、減算器120からの予測差分画像データに対してブロック毎に通常の離散コサイン変換処理を施して、DCT変換係数を得る。量子化部132は、得られたDCT変換係数に対してブロック毎に通常の量子化処理を施して、量子化DCT変換係数を得る。なお、前述の圧縮とは、離散コサイン変換処理及び量子化処理の総称であり、前述の圧縮予測差分画像データとは量子化DCT変換係数に相当する。
The
上記した圧縮部130の処理は、インター符号化の場合であるが、イントラ符号化の場合は、以下の処理を行う。DCT部131は、バッファ110に保持されている入力画像データを取り出し、これに対してブロック毎に通常の離散コサイン変換処理を施して、DCT変換係数を得る。量子化部132は、得られたDCT変換係数に対してブロック毎に通常の量子化処理を施して、量子化DCT変換係数を得る。
The processing of the
復号部140は、逆量子化部141と、逆DCT部142と、からなり、圧縮予測差分画像データ、すなわち、量子化DCT変換係数を復号して、予測差分画像データを得る。逆量子化部141は、量子化DCT変換係数に対して逆量子化処理を施してDCT変換係数を得る。逆DCT部142は得られたDCT変換係数に対して逆離散コサイン変換処理を施して予測差分画像データを得る。なお、前述の復号とは、逆量子化処理及び逆離散コサイン変換処理の総称である。
The
加算器150は、復号部140からの予測差分画像データと動き補償部181からの予測画像データとを加算して過去画像データを得る。
The
レジスタ160は、画面全体の推移方向及び推移量を表す推移ベクトル及び画面全体の回転角度を表す回転角度情報を予め記憶している。レジスタ160は、例えばMCU(Micro Controller Unit)(図示せず)からの推移ベクトル及び回転角度情報をMCUインターフェース(図示せず)を介して受け取り、これを記憶する。推移ベクトルは、例えば、撮像部(図示せず)の撮像画面全体の推移方向及び推移量を表すベクトルである。また、回転角度情報は、例えば、撮像部の撮像画面全体の回転角度を表す情報である。
The
ここで例えば、撮像部が監視カメラであるとする。通常、監視カメラは、予め設定された方向に予め設定された量だけ、パンしたり(すなわちカメラを左右に振ったり)、チルトしたり(すなわちカメラを上下に振ったり)する。レジスタ160は、これらの方向及び量を推移ベクトルとして記憶できる。また、監視カメラは予め設定された角度だけ回転する場合もある。この場合も同様にレジスタ160は、これらの角度を回転角度情報として記憶できる。
Here, for example, it is assumed that the imaging unit is a surveillance camera. Usually, the surveillance camera pans (ie, shakes the camera left and right) or tilts (ie, shakes the camera up and down) by a preset amount in a preset direction. The
VOP動き検出部161は、加算器170をして推移画像データを生成せしめる。VOP動き検出部161は、加算器170をして、加算器150からの過去画像データに基づいて表される過去画像を、レジスタ160に記憶されている推移ベクトルが示す方向に該推移ベクトルが示す推移量の分だけシフトせしめ、且つ、同じくレジスタ160に記憶されている回転角度情報が表す回転角度の分だけ回転せしめる。加算器170はこれらの処理によって得られた推移画像データをフレームメモリ171に与える。
The VOP
フレームメモリ171は、加算器170からの推移画像データをフレーム単位で記憶する。また、VOP動き検出部161及び加算器170による推移画像データの生成がなされない場合には、加算器150からの過去画像データを記憶する。
The
動き検出部180は、VOP動き検出部161を経由して取得したバッファ110からの入力画像データとフレームメモリ171から取り出した推移画像データとに基づき、通常の動きベクトル生成処理に従って、動きベクトルを生成する。また、VOP動き検出部161及び加算器170による推移画像データの生成がなされない場合には、動き検出部180は、入力画像データと過去画像データとに基づいて、動きベクトルを生成する。動き検出部180は、当該動きベクトルを動き補償部181に与える。
The
動き補償部181は、フレームメモリ171からの推移画像データに、動き検出部180から取得した動きベクトルに基づく通常の動き補償処理を施して予測画像データを生成する。また、VOP動き検出部161及び加算器170による推移画像データの生成がなされない場合には、動き補償部181は、フレームメモリ171からの過去画像データに、通常の動き補償処理を施して予測画像データを生成する。動き補償部181は、当該予測画像データを減算器120及び加算器150に与える。
The
可変長符号化部190は、量子化DCT変換係数(圧縮予測差分画像データ)、動きベクトル及び回転角度情報を可変長符号化する。当該可変長符号化により得られた可変長符号化データはVOP(Video Object Plane)である。VOPは、MPEG−4で扱う映像データの基本単位である。画像が矩形形状の場合、VOPはフレームまたはフィールドに相当する。以下、イントラ符号化によって得られたVOPをI−VOP(intra-VOP)、インター符号化によって得られたP−VOP(Predicted VOP)と称する。可変長符号化部190は、可変長符号化データを例えばMCUインターフェース(図示せず)を介してMCU(図示せず)などの外部の回路に供給する。
The variable
図2は、動画像圧縮符号化装置100を撮像部210などと共に表すブロック図である。動画像圧縮符号化装置100は、ビデオI/F220を介して撮像部210と接続されている。動画像圧縮符号化装置100は、撮像部210の撮像によって得られた画像データをビデオI/F220を介して受け取る。画像データは動画像圧縮符号化装置100内のバッファ(図1に図示されているバッファ110)に入力画像データとして保持される。動画像圧縮符号化装置100は、当該バッファに一画像全体の入力画像データを格納したときに当該入力画像データの圧縮符号化を開始する。
FIG. 2 is a block diagram illustrating the moving image
動画像圧縮符号化装置100は、MUCI/F230を介してMUC240と接続されている。動画像圧縮符号化装置100は、推移ベクトル及び回転角度情報をMUC240から受け取り、これをレジスタ(図1に図示されているレジスタ160)に記憶する。動画像圧縮符号化装置100は、MUC240からの指示をMUCI/F230を介して受け取り、当該指示に応じた動作をなすと共に、画像の圧縮符号化処理終了時にMUC240に割り込み信号を発し、MUCI/F230を介して可変長符号化データをMUC240に送信する。
The moving image
図3は、動画像圧縮符号化装置100によるエンコード処理ルーチンを表すフローチャートである。最初にバッファ110がビデオI/F220を介して撮像部210から入力画像を受け取り、これを格納する(ステップS301)。続いてレジスタ160は、MUCI/F230を介してMUC240から推移ベクトル及び回転角度情報を受け取り、これらを記憶する(S302)。バッファ110に一画像全体の入力画像データが格納されたら、動画像圧縮符号化装置100は、当該入力画像データの圧縮符号化を開始する(S303)。
FIG. 3 is a flowchart showing an encoding processing routine by the moving image
図4は、画像圧縮処理ルーチンを表すフローチャートである。図示せぬ制御部が以下の判断を行う。最初に、バッファ110に保持されている入力画像データをイントラ符号化すべきであるか否かを判断する(S401)。イントラ符号化すべき場合には、圧縮部130及び可変長符号化部190が当該入力画像データに対して通常のイントラ符号化処理を施し、I−VOPを生成する(S402)。バッファ110に保持されている入力画像データをイントラ符号化しない、すなわち、インター符号化する場合には、図示せぬ制御部は入力ベクトルが(0,0)であるか(S403)及び入力回転角度が0度であるか(S404)を判断する。入力ベクトルが(0,0)であり(S403)且つ入力回転角度が0度である(S404)場合、圧縮部130及び可変長符号化部190が当該入力画像データに対して通常のインター符号化処理を施し、P−VOPを生成する(S405)。そうでない場合には、VOP動き検出処理ルーチンに移行する(S406)。
FIG. 4 is a flowchart showing an image compression processing routine. A control unit (not shown) makes the following determination. First, it is determined whether or not the input image data held in the
図5は、VOP動き検出処理ルーチンを表すフローチャートである。図6は、VOP動き検出処理後のインター符号化処理ルーチンを表すフローチャートである。図7は、各種画像及び動きベクトルを表す図である。以下、図5〜7を参照しつつ説明する。 FIG. 5 is a flowchart showing a VOP motion detection processing routine. FIG. 6 is a flowchart showing an inter encoding processing routine after the VOP motion detection processing. FIG. 7 is a diagram illustrating various images and motion vectors. Hereinafter, a description will be given with reference to FIGS.
先ず、図5に示されるVOP動き検出処理において、VOP動き検出部161は、加算器170をして、加算器150からの過去画像601を、レジスタ160に記憶されている入力ベクトルと回転角度が示す方向にシフトせしめ、推移画像602を生成せしめる(S501)。ここでの推移ベクトルは、例えば(+10,0)などの右方向へのシフトを表すベクトルであるとする。また、ここでは動作説明を簡略化するために、回転角度を0度とする。推移ベクトル及び回転角度は、撮像部210の回転方向及び速度などから求められたものであり、過去画像601から入力画像603への画面全体の推移方向及び推移量に合致するように定められている。当該シフトにより、図6に示されるように、推移画像602は過去画像601を全体的に右方向に推移させた画像となっている。加算器170は推移画像602をフレームメモリ171に与える。
First, in the VOP motion detection process shown in FIG. 5, the VOP
次に、図6に示されるインター符号化処理に移行する。当該処理において、動き検出部180は、VOP動き検出部161を経由して取得したバッファ110からの入力画像603とフレームメモリ171から取り出した推移画像602とに基づき、通常の動きベクトル生成処理に従って、マクロブロック毎に動きベクトル604を生成する(S601)。図6に示されるように、入力画像603は、過去画像601が全体的に右方向に推移した画像となっている。ここでは、過去画像601から入力画像603への画面全体の推移量と、過去画像601から推移画像602への画面全体の推移量(すなわち、推移ベクトルの推移量)とが一致しているものとする。このとき得られる動きベクトル604は各マクロブロックで(0,0)となる。
Next, the process proceeds to the inter encoding process shown in FIG. In the processing, the
動き補償部181は、フレームメモリ171からの推移画像602に、動き検出部180から取得した動きベクトル604に基づく通常の動き補償処理を施して予測画像605を生成する(S602)。上記したように、動きベクトル604は各マクロブロックで(0,0)となっているため、推移画像602の画面と予測画像605の画面とは同一である。
The
減算器120は、マクロブロック毎に、バッファ110に保持されている入力画像603と動き補償部181からの予測画像605との差分を取って予測差分画像606を得て、これを圧縮部130に与える(S603)。圧縮部130は、マクロブロック毎に、予測差分画像606に対して通常の離散コサイン変換処理及び量子化処理を施して量子化DCT変換係数を得る(S604)。最後に可変長符号化部190は、量子化DCT変換係数、動きベクトルに加えて、推移ベクトル及び回転角度情報も含めて可変長符号化してP−VOPを得る(S605)。上記したように、動きベクトル604は各マクロブロックで(0,0)となっているため、当該符号化に際して各マクロブロックの動きベクトルの圧縮データ量が削減される。
The
上記した如く本実施例による動画像圧縮符号化装置は、過去画像を、予め記憶してある推移ベクトル及び回転角度の方向にシフトして推移画像を生成し、当該推移画像と入力画像とに基づいて動きベクトルを生成する。推移ベクトルの推移方向及び量(過去画像から推移画像への画面全体の推移方向及び量)を、過去画像から入力画像への画面全体の推移方向及び量と一致するように予め設定しておくことにより、マクロブロック毎に得られる動きベクトルは(0,0)となる。あるいは、完全に一致しない場合でも動きベクトルを表す数値を小さくできる。そのため、各マクロブロックの動きベクトルの圧縮データ量を削減することができる。 As described above, the moving image compression coding apparatus according to the present embodiment generates a transition image by shifting a past image in the direction of a transition vector and a rotation angle stored in advance, and based on the transition image and the input image. To generate a motion vector. The transition direction and amount of the transition vector (the transition direction and amount of the entire screen from the past image to the transition image) are set in advance to match the transition direction and amount of the entire screen from the past image to the input image. Thus, the motion vector obtained for each macroblock is (0, 0). Alternatively, the numerical value representing the motion vector can be made small even when they do not completely match. Therefore, the amount of compressed data of the motion vector of each macroblock can be reduced.
本実施例による動画像圧縮符号化装置は、画面全体の推移方向及び量を表す推移ベクトル及び回転角度を量子化DCT変換係数と共に符号化する。マクロブロック毎の全ての動きベクトル(各々が比較的、値の大きい動きベクトル)を圧縮符号化するよりも、本実施例の如く、各マクロブロックの動きベクトルの値を全体的に小さくし、画面全体の推移方向及び量を表す推移ベクトル及び回転角度を圧縮符号化した方が、当該圧縮符号化後のデータ量を削減できる。このように本実施例の動画像圧縮符号化装置によれば、動画像において画面全体が推移した場合においても、圧縮符号化データ量を少なくすることができる。
<第2の実施例>
本実施例による動画像圧縮符号化装置100は、第1の実施例と同様に図1のブロック図で表される。
The moving image compression encoding apparatus according to the present embodiment encodes a transition vector and a rotation angle representing a transition direction and amount of the entire screen together with a quantized DCT transform coefficient. Rather than compressing and encoding all motion vectors for each macroblock (each motion vector having a relatively large value), the motion vector value of each macroblock is reduced as a whole as in this embodiment, and the screen The amount of data after the compression encoding can be reduced by compressing and encoding the transition vector and the rotation angle representing the entire transition direction and amount. Thus, according to the moving image compression encoding apparatus of the present embodiment, the amount of compression encoded data can be reduced even when the entire screen changes in the moving image.
<Second Embodiment>
The moving image
図8はVOP動き検出部161によるVOP動き検出処理ルーチンを表すフローチャートである。図9はVOP動き検出処理で生成される画像の一例を表す図である。以下に、図8及び9を参照しつつ、VOP動き検出処理について説明する。
FIG. 8 is a flowchart showing a VOP motion detection processing routine by the
先ず、VOP動き検出部161は、加算器150からの過去画像900を、レジスタ160に記憶されている推移ベクトル及び回転角度が示す方向にシフトして、中央画像901を生成する(S801)。VOP動き検出部161は、続いて中央画像901の画像品質を評価する。当該評価の方法としては、PSNR(Peak Signal to Noise Ratio)、SSIM(Structural Similarity)及びVQM(Video Quality Metric)が挙げられる。ここではPSNRで評価することとする。
First, the VOP
PSNRは動画像の評価で一般的に用いられる指標の一つであり、圧縮などの処理を施された画像が元の画像にどれくらい近いかを表す指標である。通常、単位はdb(デシベル)が用いられる。50dbに近い程、元の画像に近く、一般的には40db程度あれば綺麗な画像であると言われている。VOP動き検出部161は、中央画像のPSNRを算出し、これを保存する(S802)。
PSNR is one of indexes generally used in moving image evaluation, and is an index indicating how close an image subjected to processing such as compression is to the original image. Usually, the unit is db (decibel). It is said that the closer it is to 50 db, the closer it is to the original image, and generally it is a beautiful image if it is about 40 db. The VOP
続いて、VOP動き検出部161は、中央画像901を上下左右の各方向に所定画素分だけシフトして、4つの周辺画像902、903、904及び905を生成する(S803)。VOP動き検出部161は、周辺画像902、903、904及び905の各々のPSNRを算出し、これを保存する(S804)。
Subsequently, the VOP
VOP動き検出部161は、中央画像901、周辺画像902、903、904及び905の各々のPSNRを比較して、中央画像901のPSNR値が最も大きいか否かを判別する(S805)。ここでは、周辺画像903のPSNR値が最も大きいとする。この場合、VOP動き検出部161は、周辺画像903を中央画像903とする(S806)。
The VOP
続いて、VOP動き検出部161は、中央画像903を上下左右の各方向に所定画素分だけシフトして、4つの周辺画像906、907、908及び909を生成する(S803)。VOP動き検出部161は、周辺画像906、907、908及び909の各々のPSNRを算出し、これを保存する(S804)。
Subsequently, the VOP
VOP動き検出部161は、中央画像903、周辺画像906、907、908及び909の各々のPSNRを比較して、中央画像903のPSNR値が最も大きいか否かを判別する(S805)。ここでは、中央画像903のPSNR値が最も大きいとする。この場合、VOP動き検出部161は、中央画像903を推移画像903とする(S807)。
The VOP
最後にVOP動き検出部161は、過去画像900及び推移画像903に基づいてVOP推移ベクトル910を生成する(S808)。VOP推移ベクトル910は、過去画像900から推移画像903への画面全体のシフト方向及び量を表すベクトルである。VOP動き検出部161は、VOP推移ベクトル910をレジスタ160に設定すると共に、加算器170に与える。加算器170は、加算器150からの過去画像900をVOP推移ベクトル910が示す方向に該VOP推移ベクトル910が示す推移量の分だけシフトして、推移画像903を生成し、これをフレームメモリ171に与える。
Finally, the VOP
推移画像903生成後の圧縮処理は第1の実施例と同様である。当該圧縮処理後、可変長符号化部190は、量子化DCT変換係数、動きベクトルに加えて、VOP推移ベクトル及び回転角度情報も含めて可変長符号化してP−VOPを得る。
The compression process after the
上記したように本実施例による動画像圧縮符号化装置は、過去画像を推移ベクトル及び回転角度が示す方向にシフトして、中央画像を生成し、更に複数の周辺画像を作成する。続いて動画像圧縮符号化装置は中央画像及び周辺画像の画像品質を評価し、周辺画像の画像品質の方が中央画像よりも良ければ当該周辺画像を新たな中央画像とする。動画像圧縮符号化装置は中央画像の画像品質が最良となるまで上記処理を繰り返し、最良となった中央画像を推移画像とする。これにより、入力画像と推移画像との一致性が更に高まり、第1の実施例に比較して、各マクロブロックの動きベクトルの圧縮データ量をより削減することができる。 As described above, the moving image compression encoding apparatus according to the present embodiment shifts the past image in the direction indicated by the transition vector and the rotation angle, generates a central image, and further creates a plurality of peripheral images. Subsequently, the moving image compression coding apparatus evaluates the image quality of the central image and the peripheral image. If the image quality of the peripheral image is better than that of the central image, the peripheral image is set as a new central image. The moving image compression encoding apparatus repeats the above processing until the image quality of the central image is the best, and the best central image is used as the transition image. Thereby, the consistency between the input image and the transition image is further increased, and the amount of compressed data of the motion vector of each macroblock can be further reduced as compared with the first embodiment.
本実施例においては、このようにして生成した推移画像と過去画像とに基づいて、過去画像から推移画像への画面全体のシフト方向及び量を表すVOP推移ベクトルを生成する。動画像圧縮符号化装置が、量子化DCT変換係数、動きベクトルに加えて、VOP推移ベクトル及び回転角度情報も含めて可変長符号化してP−VOPを生成することにより、P−VOPを受け取る側の装置はこれを正しくデコードすることができる。 In this embodiment, a VOP transition vector representing the shift direction and amount of the entire screen from the past image to the transition image is generated based on the transition image and the past image generated in this way. The moving image compression encoding apparatus receives a P-VOP by generating a P-VOP by performing variable length encoding including a VOP transition vector and a rotation angle information in addition to a quantized DCT transform coefficient and a motion vector. This device can correctly decode this.
第1及び第2の実施例は、過去画像を使用して圧縮データを削減する例であるが、過去画像の代わりに未来画像を使用すれば、B−VOP(Bi-directional predicted VOP)の圧縮データを削減することができる。 The first and second embodiments are examples in which compressed data is reduced by using past images, but if a future image is used instead of a past image, B-VOP (Bi-directional predicted VOP) compression is performed. Data can be reduced.
100 動画像圧縮符号化装置
110 バッファ
120 減算器
130 圧縮部
131 DCT部
132 量子化部
140 復号部
141 逆量子化部
142 逆DCT部
150 加算器
160 レジスタ
161 VOP動き検出部
170 加算器
171 フレームメモリ
180 動き検出部
181 動き補償部
190 可変長符号化部
210 撮像部
220 ビデオI/F
230 MUCI/F
240 MUC
DESCRIPTION OF
230 MUCI / F
240 MUC
Claims (10)
前記入力画像データと予測画像データとの差分を取って予測差分画像データを得る減算器と、
前記予測差分画像データを圧縮して圧縮予測差分画像データを得る圧縮部と、
前記圧縮予測差分画像データを復号して復号予測差分画像データを得る復号部と、
前記復号予測差分画像データと前記予測画像データとを加算して過去画像データを得る加算器と、
前記過去画像データを記憶するフレームメモリと、
前記過去画像データと前記入力画像データとに基づいて動きベクトルを生成する動き検出部と、
前記過去画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成する動き補償部と、
前記圧縮予測差分画像データと前記動きベクトルとを可変長符号化する可変長符号化部と、を含む動画像圧縮符号化装置であって、
画面全体の推移方向及び推移量を表す推移ベクトルを記憶するレジスタと、
前記過去画像データに基づいて表される過去画像を前記推移ベクトルが示す方向に前記推移量の分だけシフトして得られた推移画像をデータ化して推移画像データを得る推移画像データ生成手段と、を含み、
前記フレームメモリは、前記過去画像データに代えて前記推移画像データを記憶し、
前記動き検出部は、前記過去画像データに代えて前記推移画像データと前記入力画像データとに基づいて前記動きベクトルを生成し、
前記動き補償部は、前記過去画像データに代えて前記推移画像データに前記動きベクトルに基づく動き補償処理を施して前記予測画像データを生成することを特徴とする動画像圧縮符号化装置。 A buffer to hold the input image data;
A subtractor that obtains predicted difference image data by taking the difference between the input image data and the predicted image data;
A compression unit that compresses the prediction difference image data to obtain compressed prediction difference image data;
A decoding unit that decodes the compressed prediction difference image data to obtain decoded prediction difference image data;
An adder that adds the decoded prediction difference image data and the prediction image data to obtain past image data;
A frame memory for storing the past image data;
A motion detector that generates a motion vector based on the past image data and the input image data;
A motion compensation unit that generates the predicted image data by performing a motion compensation process based on the motion vector on the past image data;
A variable-length encoding unit that variable-encodes the compressed prediction difference image data and the motion vector;
A register for storing a transition vector representing a transition direction and a transition amount of the entire screen;
Transition image data generating means for obtaining transition image data by converting a transition image obtained by shifting the past image represented based on the past image data in the direction indicated by the transition vector by the amount of transition; Including
The frame memory stores the transition image data instead of the past image data,
The motion detection unit generates the motion vector based on the transition image data and the input image data instead of the past image data,
The moving image compressing and coding apparatus, wherein the motion compensation unit generates the predicted image data by performing a motion compensation process based on the motion vector on the transition image data instead of the past image data.
前記推移画像データ生成手段は、前記過去画像を更に前記回転角度情報が表す回転角度の分だけ回転して得られた推移画像をデータ化して前記推移画像データを得ることを特徴とする請求項1に記載の動画像圧縮符号化装置。 The register further stores rotation angle information representing the rotation angle of the entire screen,
2. The transition image data generation unit obtains the transition image data by converting a past image obtained by further rotating the past image by a rotation angle represented by the rotation angle information into data. The moving image compression encoding apparatus described in 1.
前記推移ベクトルは、前記撮像部の撮像画面全体の推移方向及び推移量を表すことを特徴とする請求項1に記載の動画像圧縮符号化装置。 It further includes an image capturing unit that captures the input image data,
2. The moving image compression encoding apparatus according to claim 1, wherein the transition vector represents a transition direction and a transition amount of the entire imaging screen of the imaging unit.
前記回転角度情報は、前記撮像部の撮像画面全体の回転角度を表すことを特徴とする請求項2に記載の動画像圧縮符号化装置。 It further includes an image capturing unit that captures the input image data,
The moving image compression coding apparatus according to claim 2, wherein the rotation angle information represents a rotation angle of an entire imaging screen of the imaging unit.
前記推移画像データ生成手段は、前記ブロック毎に前記推移画像データを生成し、
前記動き検出部は、前記ブロック毎に前記動きベクトルを生成することを特徴とする請求項1に記載の動画像圧縮符号化装置。 Input image data dividing means for dividing the input image data into a plurality of blocks,
The transition image data generation means generates the transition image data for each block,
2. The moving image compression encoding apparatus according to claim 1, wherein the motion detection unit generates the motion vector for each block.
前記中央画像を上下左右の内の少なくとも1方向に所定画素分だけシフトして少なくとも1つの周辺画像を得る周辺画像生成手段と、
前記中央画像及び周辺画像の各々について画像品質を評価する画像品質評価手段と、
前記画像品質評価手段が評価した中央画像及び周辺画像の各々の中で前記画像品質が最も良好な画像を前記推移画像とする画像選択手段と、を含むことを特徴とする請求項1に記載の動画像圧縮符号化装置。 A central image generating means for obtaining a central image by shifting the past image represented based on the past image data by the amount of the transition in the direction indicated by the transition vector;
Peripheral image generation means for obtaining at least one peripheral image by shifting the central image by a predetermined pixel in at least one of the upper, lower, left and right directions;
Image quality evaluation means for evaluating image quality for each of the central image and the peripheral image;
2. The image selection unit according to claim 1, further comprising: an image selection unit that sets the image having the best image quality among the central image and the peripheral image evaluated by the image quality evaluation unit as the transition image. A moving image compression coding apparatus.
前記周辺画像生成手段は、前記新たな中央画像を上下左右の内の少なくとも1方向に所定画素分だけシフトして少なくとも1つの新たな周辺画像を生成し、
前記画像品質評価手段は、前記新たな中央画像及び周辺画像の各々について画像品質を評価することを特徴とする請求項6に記載の動画像圧縮符号化装置。 The image selecting means sets the peripheral image as a new central image only when the image having the best image quality among the central image and the peripheral image evaluated by the image quality evaluating means is the peripheral image. age,
The peripheral image generating means generates the at least one new peripheral image by shifting the new central image by a predetermined pixel in at least one of the upper, lower, left and right directions,
7. The moving image compression coding apparatus according to claim 6, wherein the image quality evaluation unit evaluates image quality for each of the new central image and peripheral image.
前記新たな推移ベクトルを可変長符号化する新規推移ベクトル可変長符号化手段を更に含むことを特徴とする請求項6に記載の動画像圧縮符号化装置。 New transition vector generation means for generating a new transition vector based on the past image represented based on the past image data and the transition image obtained by the image quality evaluation means;
7. The moving picture compression encoding apparatus according to claim 6, further comprising new transition vector variable length encoding means for variable length encoding the new transition vector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007248874A JP2009081622A (en) | 2007-09-26 | 2007-09-26 | Moving image compression encoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007248874A JP2009081622A (en) | 2007-09-26 | 2007-09-26 | Moving image compression encoder |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009081622A true JP2009081622A (en) | 2009-04-16 |
Family
ID=40656060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007248874A Pending JP2009081622A (en) | 2007-09-26 | 2007-09-26 | Moving image compression encoder |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009081622A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101313525B1 (en) * | 2012-02-22 | 2013-10-14 | (주)베라시스 | Method and system for improving performance of intelligent surveill system using psnr |
JP2016083342A (en) * | 2014-10-27 | 2016-05-19 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | Estimation of physiological parameter |
JP2019534608A (en) * | 2016-09-30 | 2019-11-28 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | Method, device and stream for encoding motion compensated images in global rotation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870460A (en) * | 1994-06-15 | 1996-03-12 | Samsung Electron Co Ltd | Movement compensation type coding method adapted to magnitude of movement,and its device |
JPH09182081A (en) * | 1995-12-25 | 1997-07-11 | Nippon Telegr & Teleph Corp <Ntt> | Movement compensation estimation encoder |
JPH10150665A (en) * | 1996-09-20 | 1998-06-02 | Hitachi Ltd | Method for generating predictive image, and method and device for image encoding |
JP2001275103A (en) * | 2000-03-23 | 2001-10-05 | Matsushita Electric Ind Co Ltd | Supervisory system and its motion detection method |
-
2007
- 2007-09-26 JP JP2007248874A patent/JP2009081622A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870460A (en) * | 1994-06-15 | 1996-03-12 | Samsung Electron Co Ltd | Movement compensation type coding method adapted to magnitude of movement,and its device |
JPH09182081A (en) * | 1995-12-25 | 1997-07-11 | Nippon Telegr & Teleph Corp <Ntt> | Movement compensation estimation encoder |
JPH10150665A (en) * | 1996-09-20 | 1998-06-02 | Hitachi Ltd | Method for generating predictive image, and method and device for image encoding |
JP2001275103A (en) * | 2000-03-23 | 2001-10-05 | Matsushita Electric Ind Co Ltd | Supervisory system and its motion detection method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101313525B1 (en) * | 2012-02-22 | 2013-10-14 | (주)베라시스 | Method and system for improving performance of intelligent surveill system using psnr |
JP2016083342A (en) * | 2014-10-27 | 2016-05-19 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | Estimation of physiological parameter |
JP2019534608A (en) * | 2016-09-30 | 2019-11-28 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | Method, device and stream for encoding motion compensated images in global rotation |
JP7217226B2 (en) | 2016-09-30 | 2023-02-02 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | Methods, devices and streams for encoding motion-compensated images in global rotation |
US11812066B2 (en) | 2016-09-30 | 2023-11-07 | Interdigital Vc Holdings, Inc. | Methods, devices and stream to encode global rotation motion compensated images |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9420279B2 (en) | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method | |
US20130022116A1 (en) | Camera tap transcoder architecture with feed forward encode data | |
CN113302932A (en) | Video coding and decoding method and device | |
JP2006352181A (en) | Image encoding/decoding device, encoding/decoding program and encoding/decoding method | |
US20120195356A1 (en) | Resource usage control for real time video encoding | |
CN110546960B (en) | Multi-layer video streaming system and method | |
JPWO2006082690A1 (en) | Image encoding method and image encoding apparatus | |
CN110121065B (en) | Multi-directional image processing in spatially ordered video coding applications | |
JP5560009B2 (en) | Video encoding device | |
US10313669B2 (en) | Video data encoding and video encoder configured to perform the same | |
JP2009081622A (en) | Moving image compression encoder | |
US10142625B2 (en) | Neighbor management for use in entropy encoding and methods for use therewith | |
KR20190093565A (en) | Image processing apparatus and method | |
JP6222756B2 (en) | Decryption method | |
US20130170565A1 (en) | Motion Estimation Complexity Reduction | |
JP6735370B2 (en) | Decryption method | |
JP6647432B2 (en) | Decryption method | |
JP6434172B2 (en) | Decryption method | |
JP6364462B2 (en) | Decoding device and decoding method | |
JP6117302B2 (en) | Decryption method | |
KR20100010605A (en) | A transfer device of encoded data of analog camera signals on networks and a method for composing images therefor | |
JP5913474B2 (en) | Decryption method | |
JP5868909B2 (en) | Decryption method | |
JP5236088B2 (en) | Image encoding / decoding device, encoding / decoding program, and encoding / decoding method | |
JP5380594B2 (en) | Image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121009 |