Nothing Special   »   [go: up one dir, main page]

JPH09233426A - Coding data conversion method, coding data recording method, coding data converter and coding data recorder - Google Patents

Coding data conversion method, coding data recording method, coding data converter and coding data recorder

Info

Publication number
JPH09233426A
JPH09233426A JP5858996A JP5858996A JPH09233426A JP H09233426 A JPH09233426 A JP H09233426A JP 5858996 A JP5858996 A JP 5858996A JP 5858996 A JP5858996 A JP 5858996A JP H09233426 A JPH09233426 A JP H09233426A
Authority
JP
Japan
Prior art keywords
image
data
frame
pixel data
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5858996A
Other languages
Japanese (ja)
Inventor
Tomohiro Kimura
智博 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP5858996A priority Critical patent/JPH09233426A/en
Publication of JPH09233426A publication Critical patent/JPH09233426A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To facilitate special reproduction while suppressing increase in a data amount without causing deterioration in the image by converting prediction coding data, which include an orthogonal transformation coefficient and a motion vector resulting from motion compensation of an object image with respect to a reference image and from orthogonal transformation, into in-frame coding data and recording the converted data. SOLUTION: Image data of each frame are processed by a variable length coding decoding circuit 21 and an inverse quantization processing circuit 22 or the like and the result is fed to an adder 24. On the other hand, data decoded by the variable length coding decoding circuit 21 are added to the processed data as above at the adder 24 via a motion vector extract circuit 25 and a motion compensation 26 and output data of the adder 24 are stored in a frame memory 27. The output of the frame memory 27 is fed to the motion compensation circuit 26. Furthermore, the output data from the adder 24 are coded again by a DCT circuit 28 and a quantization circuit 29 and the resulting data are fed to a data recording and reproducing device 37 via a variable length coding circuit 30 and an output buffer circuit 31.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【0001】[0001]

【0002】[0002]

【産業上の利用分野】本発明は、MPEG方式等により
動画像が予測符号化により圧縮されて伝送または記録再
生されたデータを記録する場合において、早送り、巻戻
し、静止、スロー再生等の特殊再生に適した形にデータ
を変換するための符号化データの変換に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to special features such as fast-forwarding, rewinding, stillness and slow reproduction when recording data transmitted or recorded / reproduced by compressing a moving image by predictive coding by the MPEG system or the like. The present invention relates to conversion of encoded data for converting data into a form suitable for reproduction.

【0003】[0003]

【0002】[0002]

【0004】[0004]

【従来の技術】近年、マルチメディア技術の進展と共に
デジタル動画像の圧縮・伸長方式が種々提案されてい
る。これら動画像の圧縮・伸長方式の高能率高圧縮率動
画像符号化の標準化案として代表的なMPEG(Motion
Picture Image Codeing Experts Group )方式が提案
されている。
2. Description of the Related Art In recent years, various types of digital moving image compression / expansion methods have been proposed with the progress of multimedia technology. A high efficiency and high compression ratio of these moving image compression / decompression methods A typical MPEG (Motion
Picture Image Coding Experts Group) method has been proposed.

【0005】このMPEG方式によるデータ構造は階層
構造になっており、上位よりビデオシーケンス層、単体
で独立再生が可能なGOP(Group Of Picture)層、輝
度・色差画像情報を含め、まとまった画像を構成するフ
レーム層、走査順のスライス層、左右及び上下の輝度、
色差ブロックよりなるマクロブロック層、輝度又は色差
の隣り合った8ライン×8画素から構成されるブロック
層からなっている。
The data structure according to the MPEG system has a hierarchical structure, and a group of images including a video sequence layer, a GOP (Group Of Picture) layer that can be independently reproduced independently, and luminance / color difference image information are arranged from the top. Frame layer to configure, slice layer in scan order, left and right and top and bottom brightness,
The macro block layer includes color difference blocks, and the block layer includes 8 lines × 8 pixels adjacent to each other in luminance or color difference.

【0006】[0006]

【0003】これらMPEG方式によるデータ構造の中
で、特にビットストリーム(GOP層)中に含まれるデ
ジタル動画像のデータの一部は高能率高圧縮率動画像符
号化されて転送される。デジタル動画像データは、一般
に高い冗長性(削減可能な情報)を有していることがあ
る。即ち、ある画像の中の画素データ値と近傍の画素デ
ータ値との間に高い相関があることを利用して、空間方
向の冗長度を削減する方法としての直交変換があり、時
間方向の冗長度を削減する方法にはフレーム間予測があ
る。MPEG方式では、これら直交変換とフレーム間予
測を組み合わせたハイブリッド符号化の手法を用い、直
交変換としてDCT(Discrete Cosine Transform :
離散コサイン変換)が使われ、フレーム間予測では動き
補償フレーム間予測が取り入れられている。
Among these MPEG data structures, a part of the digital moving picture data contained in the bit stream (GOP layer) is coded with high efficiency and high compression rate and transferred. Digital moving image data may generally have high redundancy (reducible information). That is, there is orthogonal transformation as a method for reducing the redundancy in the spatial direction by utilizing the high correlation between the pixel data value in a certain image and the pixel data value in the vicinity, and the redundancy in the time direction is used. Interframe prediction is a method of reducing the degree. In the MPEG system, a hybrid coding method combining these orthogonal transforms and inter-frame prediction is used, and DCT (Discrete Cosine Transform:
Discrete Cosine Transform) is used, and motion-compensated interframe prediction is adopted in interframe prediction.

【0007】[0007]

【0004】デジタル動画像を効率良く圧縮するために
は、先ず、動き補償フレーム間予測の手法によって、複
数の画像のフレームに対して、基準になる画像である参
照画像データと、対象となる対象画像のデータ間の演算
を行い、動きベクトル及び差分データを検出し、フレー
ム間の画像の動きの予測が可能な形態にすることで時間
方向の冗長度を削減する。そして、次に、得られた動き
ベクトル及び差分データをDCT変換及び、量子化する
ことにより、画像データの高周波項に含まれる削減可能
な情報が丸められ、空間方向の冗長度が削減される。ま
た、そのデータの発生頻度に応じた符号長を割り当てる
可変長符号化を使うことによって、更に情報圧縮が可能
となる。
In order to efficiently compress a digital moving image, first, reference image data, which is a standard image, and a target object are used for a plurality of image frames by a motion compensation inter-frame prediction method. Redundancy in the time direction is reduced by performing a calculation between image data, detecting a motion vector and difference data, and adopting a form capable of predicting an image motion between frames. Then, by performing DCT transformation and quantization on the obtained motion vector and difference data, the reducible information included in the high frequency term of the image data is rounded, and the redundancy in the spatial direction is reduced. Further, it is possible to further compress the information by using the variable length coding which assigns the code length according to the frequency of occurrence of the data.

【0008】[0008]

【0005】図6は、MPEG方式における画面のタイ
プを示し、Iフレーム、Pフレーム、Bフレームという
3つがある。添字は原画像の順序を示している。図6は
一例として最初の画面をIフレームとし、Iフレーム又
はPフレームとPフレームの間にBフレームを2フレー
ム挿入した場合を示している。Iフレーム(イントラ符
号化画面)は、画面のすべてを同一フレーム内の画像デ
ータのみを用いて符号化するフレーム内符号化画面であ
り、自分自身の画像データのみで画像を再構成出来る。
Pフレーム(順方向予測符号化画面)は、図中で示す
関係のように、時間的に後方(過去)にあるIフレーム
(又はPフレーム)に対する画像との動き補償、即ち動
きベクトル及び差分を求めて符号化する画面である。時
間的に後方の
FIG. 6 shows the types of screens in the MPEG system, and there are three types: I frame, P frame and B frame. The subscript indicates the order of the original images. FIG. 6 shows an example in which the first screen is an I frame and two B frames are inserted between the I frame or P frame and the P frame. The I frame (intra-coded screen) is an intra-frame coded screen that encodes the entire screen using only image data in the same frame, and an image can be reconstructed using only its own image data.
The P frame (forward predictive coding screen) shows motion compensation, that is, a motion vector and a difference, with respect to an I frame (or P frame) that is temporally backward (past), as shown in the relationship in the figure. This is a screen for obtaining and encoding. Backward in time

【0009】[0009]

【0006】Bフレーム(双方向予測符号化画面)は図
中と、或いはとで示す関係のように、時間的に
後方のI(又はP)フレームに対する画像との順方向動
き補償を行なうと共に、時間的に前方(未来)のP(又
はI)フレームに対する画像との逆方向動き補償を行な
い、夫々の動き補償で得られた差分を比較演算し、差の
少ない方を選択し、符号化する画面である。MPEG方
式では、動きベクトルの検出はデータ階層の内、マクロ
ブロックを単位として行なうブロックマッチング法を採
用している。図7に示すように、MPEG方式において
1画面のフレーム層を704×480画素を対象とした
場合、ブロックマッチング法で用いるマクロブロックの
単位は、16×16画素である。
The B frame (bidirectional predictive coding screen) performs forward motion compensation with the image for the I (or P) frame that is temporally backward, as shown in the relationship between and in the figure. The backward motion compensation with respect to the image for the P (or I) frame that is temporally forward (future) is performed, the difference obtained by each motion compensation is compared and calculated, and the one having the smaller difference is selected and encoded. It is a screen. The MPEG method employs a block matching method for detecting a motion vector in units of macroblocks in a data hierarchy. As shown in FIG. 7, when the frame layer of one screen is 704 × 480 pixels in the MPEG system, the unit of macroblock used in the block matching method is 16 × 16 pixels.

【0010】[0010]

【0007】即ち、1つのマクロブロック単位で、時間
的に経過した画像であって演算の対象になる画像(対象
画像)の移動先を求めるための基準となる画像(参照画
像)に対する動きベクトル及び差分を求める動き補償を
行う。例えば、図7(b)に示すように1つのマクロブ
ロックを参照画像の画素データとすると、参照画像上で
の動き補償によって得られた動きベクトルの位置に予測
される画像(予測画像と呼ぶ)に差分の画像データ(差
分画像)を加えた画像が対象画像となる。
That is, in one macroblock unit, a motion vector and a motion vector for a reference image (reference image) for obtaining a moving destination of an image (target image) which is an operation target image and which has elapsed in time. Motion compensation is performed to find the difference. For example, when one macroblock is used as pixel data of a reference image as shown in FIG. 7B, an image predicted at the position of a motion vector obtained by motion compensation on the reference image (referred to as a prediction image) The image obtained by adding the differential image data (difference image) to is the target image.

【0011】このブロックマッチング法を用いた動き補
償の方法は、特公平6−54976号公報、特公平6−
95757号公報等に開示されているので詳細の説明は
省略する。
A motion compensation method using this block matching method is disclosed in Japanese Patent Publication No. 6-54976 and Japanese Patent Publication No. 6-
Since it is disclosed in Japanese Patent Publication No. 95757, etc., detailed description thereof will be omitted.

【0012】[0012]

【0008】次に、ビットストリームの各フレームに対
して動き補償を行ない、これを符号化処理し、データ圧
縮する時の処理の方法を図8を用いて説明する。図8
は、1つのマクロブロック(16×16画素)を4等分
した時の様子を示し、この内の1つの大きさをサブブロ
ック(8×8画素)と呼び、符号化処理であるDCT変
換や量子化による画像データの圧縮処理がこのサブブロ
ックを単位として行われる。ここで言う符号化処理と
は、 1枚の画像(例えば704×480画素)を8×8画
素の正方形の画素ブロック(サブブロック)に分割す
る。
Next, a method of performing motion compensation for each frame of the bit stream, encoding this, and compressing the data will be described with reference to FIG. FIG.
Shows a state in which one macroblock (16 × 16 pixels) is divided into four equal parts, and one size in this is called a subblock (8 × 8 pixels), which is a DCT transform that is an encoding process. Image data compression processing by quantization is performed in units of this sub-block. The encoding process referred to here is that one image (for example, 704 × 480 pixels) is divided into 8 × 8 pixel square pixel blocks (sub-blocks).

【0013】正方形のサブブロック毎に変換を行う。
→DCT変換 変換後の各係数をある除数(量子化ステップと呼ぶ)
で割り算を行い、余りを丸める。→量子化 を言う。
The conversion is performed for each square sub-block.
→ DCT transformation Each coefficient after transformation is a divisor (called quantization step)
Divide by and round the remainder. → Says quantization.

【0014】[0014]

【0009】図8において、1つのマクロブロックを4
等分した内の1つ、例えば図中のサブブロックに対し
てDCT変換を行った後、量子化の処理を行いデータの
圧縮を行っている。これらの処理を他のサブブロック
からに対しても同様に行ない、その後、各サブブロッ
クの番号に相当する場所に戻し、16×16個の符号デ
ータを構成する。図9は順次入力される各フレームの原
画像を処理する動画像符号化装置10のブロック図であ
る。尚、以下の説明における各処理は、上述のようにマ
クロブロック単位で行われる。図9において符号11は
フレームAメモリである。フレームAメモリ11の出力
はDCT変換回路12に接続され、所定フレームのデー
タがDCT変換された後、量子化回路16及び可変長符
号化回路17を経て、フレームBメモリ18に記憶され
る。また、フレームAメモリ11内のデータは、動き検
出回路13に供給され、所定フレーム間の動きベクトル
及び差分が検出され、動きベクトルはMVメモリ14
に、差分は差分メモリ15に夫々記憶される。
In FIG. 8, one macroblock is divided into four.
After performing DCT transformation on one of the equally divided sub-blocks, for example, the sub-block in the figure, quantization processing is performed to compress data. These processes are similarly performed from other sub-blocks, and thereafter, the process is returned to the place corresponding to the number of each sub-block to form 16 × 16 code data. FIG. 9 is a block diagram of a moving picture coding apparatus 10 that processes original images of each frame that are sequentially input. Each processing in the following description is performed in macroblock units as described above. In FIG. 9, reference numeral 11 is a frame A memory. The output of the frame A memory 11 is connected to the DCT conversion circuit 12, the data of a predetermined frame is DCT converted, and then stored in the frame B memory 18 via the quantization circuit 16 and the variable length coding circuit 17. Further, the data in the frame A memory 11 is supplied to the motion detection circuit 13, the motion vector and the difference between predetermined frames are detected, and the motion vector is stored in the MV memory 14.
The differences are stored in the difference memory 15, respectively.

【0015】[0015]

【0010】差分メモリ15に記憶されている差分画像
の画素データはDCT変換回路12でDCT変換された
後、量子化回路16及び可変長符号化回路17を経て、
フレームBメモリ18に記憶される。また、動きベクト
ルは可変長符号化回路17の中で、その動きベクトルに
対応する符号化処理された差分画像の画素データのヘッ
ダとして付加された状態でフレームBメモリ18に記憶
される。
The pixel data of the difference image stored in the difference memory 15 is DCT-converted by the DCT conversion circuit 12 and then passed through the quantization circuit 16 and the variable-length coding circuit 17,
It is stored in the frame B memory 18. The motion vector is stored in the frame B memory 18 in the variable-length coding circuit 17 in the state of being added as a header of the pixel data of the coded difference image corresponding to the motion vector.

【0016】では、ここで動画像符号化装置10におけ
る処理フローを図9及び図10を用いて説明する。先
ず、ビットストリームの各フレームはI1 フレーム、B
2 フレーム、B3 フレーム、P4 フレームの順にフレー
ムAメモリ11に格納される。
Now, a processing flow in the moving picture coding apparatus 10 will be described with reference to FIGS. 9 and 10. First, each frame of the bit stream is I 1 frame, B
The data is stored in the frame A memory 11 in the order of 2 frames, B 3 frame, and P 4 frame.

【0017】先ず、I1 フレームはステップS1でDC
T変換回路12によりDCT変換された後、ステップS
2で量子化回路16により量子化され、ステップS3で
可変長符号化回路17により可変長符号化の処理が行わ
れ、フレームBメモリ18に記憶される。
First, the I 1 frame is DC in step S1.
After the DCT conversion by the T conversion circuit 12, step S
In step 2, the quantization circuit 16 quantizes, and in step S3, the variable-length coding circuit 17 performs variable-length coding processing, and the variable-length coding circuit 17 stores it in the frame B memory 18.

【0018】[0018]

【0011】ここでI1 フレームの画像データが画素デ
ータとして扱われることを示す記号「E」を付すと共
に、画素データが符号化されたことを示す記号「C」を
付し、CEI1 と記す。次に、フレームAメモリ11に
格納されているI1 フレーム及びB2 フレームをステッ
プS4で動き検出回路13に呼出し、ブロックマッチン
グ法により順方向動き検出を行なう。即ち、B2 フレー
ムの画素データを過去の画像であるI1 フレームの画素
データと比較演算し、動きベクトル及び差分を求め、動
きベクトルはMVメモリ14に、差分は差分メモリ15
に夫々記憶する。この時、動きベクトルを示す記号とし
て「V」を付し、VB2 と記す。
Here, a symbol "E" indicating that the image data of the I 1 frame is treated as pixel data is added, and a symbol "C" indicating that the pixel data is encoded is added, which is referred to as CEI 1. . Next, the I 1 frame and the B 2 frame stored in the frame A memory 11 are called to the motion detection circuit 13 in step S4, and forward motion detection is performed by the block matching method. That is, the pixel data of the B 2 frame is compared with the pixel data of the I 1 frame which is a past image to obtain the motion vector and the difference, the motion vector is stored in the MV memory 14, and the difference is stored in the difference memory 15.
Memorize each. At this time, "V" is added as a symbol indicating the motion vector, which is referred to as VB 2 .

【0019】また、差分画像の画素データを示す記号
「EΔ」を付し、EΔB2 と記す。
Further, a symbol "EΔ" indicating the pixel data of the difference image is attached and is referred to as EΔB 2 .

【0020】[0020]

【0012】また、ステップS5及びステップS6にお
いて、B3 フレーム及びP4 フレームについてもB2
レームと同様の処理を行い、VB3 、EΔB3 及びVP
4 、EΔP4 を得る。P4 フレームの差分画像の画素デ
ータ(EΔP4 )は、ステップS7のDCT変換回路1
2で変換され、ステップS8で量子化回路16により量
子化された後、ステップS9で可変長符号化回路17に
供給される。ステップS9において、MVメモリ14に
記憶されている動きベクトル(VP4 )を呼出し、差分
画像の画素データ(EΔP4 )のヘッダとして動きベク
トル(VP4 )を付加し、可変長符号化回路17で可変
長符号化の処理を行った後、フレームBメモリ18に記
憶される(I1 フレームと同様にCEΔP4 と記す)。
Further, in steps S5 and S6, the same processing as that for the B 2 frame is performed on the B 3 frame and the P 4 frame to obtain VB 3 , EΔB 3 and VP.
4 and EΔP 4 are obtained. The pixel data (EΔP 4 ) of the difference image of the P 4 frame is the DCT conversion circuit 1 of step S7.
It is converted in step 2, and is quantized by the quantization circuit 16 in step S8, and then supplied to the variable length coding circuit 17 in step S9. In step S9, the motion vector (VP 4 ) stored in the MV memory 14 is called, the motion vector (VP 4 ) is added as a header of the pixel data (EΔP 4 ) of the difference image, and the variable length encoding circuit 17 After the variable-length coding processing is performed, it is stored in the frame B memory 18 (described as CEΔP 4 similarly to the I 1 frame).

【0021】[0021]

【0013】次に、ステップS10において、フレーム
Aメモリ11に記憶されているP4フレームとB3 フレ
ームを動き検出回路13に呼出し、ブロックマッチング
法により逆方向動き検出を行なう。即ち、B3 フレーム
の画像データを未来の画像であるP4 フレームの画像デ
ータと比較演算し、逆方向動きベクトル及び差分を求め
る。次に、差分メモリ15に記憶されているB3 フレー
ムの順方向差分と逆方向差分を夫々呼出し、比較演算
し、数値の少ない方の差分画像の画素データ(EΔ
3 )を選択する。この選択された差分画像の画素デー
タ(EΔB3 )はステップS11でDCT変換回路12
により変換され、ステップS12で量子化回路16によ
り量子化された後、ステップS13で可変長符号化回路
17に供給される。
Next, in step S10, the P 4 frame and the B 3 frame stored in the frame A memory 11 are called to the motion detection circuit 13, and the backward motion detection is performed by the block matching method. That is, the image data of the B 3 frame is compared with the image data of the P 4 frame, which is a future image, and the backward motion vector and the difference are obtained. Next, the forward direction difference and the backward direction difference of the B 3 frame stored in the difference memory 15 are respectively called and compared, and the pixel data (EΔ) of the difference image having the smaller numerical value is calculated.
B 3 ) is selected. The pixel data (EΔB 3 ) of the selected difference image is sent to the DCT conversion circuit 12 in step S11.
Are converted by the quantization circuit 16 and are quantized by the quantization circuit 16 in step S12, and then supplied to the variable length coding circuit 17 in step S13.

【0022】[0022]

【0014】ここでMVメモリ14に記憶されている動
きベクトルの中から先に差分として選択した方の動きベ
クトル(VB3 )を呼び出し、B3 フレームの差分画像
の画素データ(EΔB3 )のヘッダとして動きベクトル
(VB3 )を付加し、ステップS13で可変長符号化回
路17により可変長符号化の処理を行った後、フレーム
Bメモリ18に記憶する(CEΔB3 )。また、ステッ
プS14からステップS17のステップにおいて、B2
フレームに対してもB3 フレームの時と同様の処理を行
い、結果をフレームBメモリ18に記憶する(CEΔB
2 )。フレームBメモリ18に記憶された各符号化され
た画像データ、CEI1 、CEΔP4 、CEΔB2 、C
EΔB3 は、I1 、P4 、B2 、B3 の順に並べられビ
ットストリームの形態で送出される。
Here, the motion vector (VB 3 ) which has been selected as a difference from the motion vectors stored in the MV memory 14 is called, and the header of the pixel data (EΔB 3 ) of the difference image of the B 3 frame is called. As a result, the motion vector (VB 3 ) is added, the variable length coding circuit 17 performs variable length coding processing in step S13, and then the frame B memory 18 stores it (CEΔB 3 ). In addition, in steps S14 to S17, B 2
The same processing as that for the B 3 frame is performed on the frame, and the result is stored in the frame B memory 18 (CEΔB
2 ). Each encoded image data stored in the frame B memory 18, CEI 1 , CEΔP 4 , CEΔB 2 , C
EΔB 3 is arranged in the order of I 1 , P 4 , B 2 , and B 3 and transmitted in the form of a bitstream.

【0023】[0023]

【0015】図11は、各フレーム層の画像を復号化処
理する動画像復号装置及びその記録再生装置30のブロ
ック図である。図11において、受信されたビットスト
リームは、可変長符号復号回路21で可変長符号の復号
が行われ、逆量子化回路22及び逆DCT(IDCT変
換)回路23を経て加算器24に供給される。一方、可
変長符号復号回路21の出力は動きベクトル抽出回路2
5に供給され、その出力は動き補償回路26に供給され
る。動き補償回路26は動きベクトル抽出回路25で抽
出された動きベクトルとフレームメモリ27に記憶され
ている画像データとの間で動き補償を行い、得られた画
像データ(予測画像)を加算器24に供給し、逆DCT
回路23から得られた画像データと加算する。そして、
加算器24出力の画像データはフレームメモリ27に記
憶される。
FIG. 11 is a block diagram of a moving image decoding apparatus and a recording / reproducing apparatus 30 for decoding the image of each frame layer. In FIG. 11, the received bit stream is subjected to variable length code decoding by a variable length code decoding circuit 21, and is supplied to an adder 24 via an inverse quantization circuit 22 and an inverse DCT (IDCT conversion) circuit 23. . On the other hand, the output of the variable length code decoding circuit 21 is the motion vector extraction circuit 2
5 and its output is supplied to the motion compensation circuit 26. The motion compensation circuit 26 performs motion compensation between the motion vector extracted by the motion vector extraction circuit 25 and the image data stored in the frame memory 27, and the obtained image data (predicted image) is sent to the adder 24. Supply and inverse DCT
The image data obtained from the circuit 23 is added. And
The image data output from the adder 24 is stored in the frame memory 27.

【0024】[0024]

【0016】では、ここで動画像復号装置の処理フロー
を図12を用いて説明する。先ず、各フレームのデータ
は復号化処理が行われる。ここで言う復号化処理とは、 受信した8×8の正方形の画素毎に各係数に量子化ス
テップを掛ける。
Now, the processing flow of the moving picture decoding apparatus will be described with reference to FIG. First, the data of each frame is decoded. The decoding process referred to here is to multiply each coefficient by a quantization step for each of the received 8 × 8 square pixels.

【0025】→逆量子化 8×8の正方形の画素毎に逆変換(逆DCT演算)を
行う。→逆変換 を言う。
Inverse Quantization Inverse transform (inverse DCT operation) is performed for each 8 × 8 square pixel. → Say reverse conversion.

【0026】即ち、ステップS1でI1 フレームの符号
化データは可変長符号復号回路21によって復号された
後、ステップS2で逆量子化回路22により復号化処理
の1つである逆量子化が行われ、ステップS3で逆DC
T変換回路23により逆変換される。
That is, after the encoded data of the I 1 frame is decoded by the variable length code decoding circuit 21 in step S1, the inverse quantization which is one of the decoding processes is performed by the inverse quantization circuit 22 in step S2. And in step S3, reverse DC
Inverse conversion is performed by the T conversion circuit 23.

【0027】[0027]

【0017】これにより、I1 フレームの符号化データ
(CEI1 )は符号化係数「C」が解かれI1 フレーム
の画素データ(EI1 )が得られる。そして、フレーム
メモリ27に記憶される。次に、P4 フレームの符号化
データはステップS4で可変長符号復号化回路21によ
り復号された後、ステップS5で逆量子化され、ステッ
プS6でIDCT変換される。この出力はP4 フレーム
の差分画像の画素データ(EΔP4 )として、加算器2
4に供給される。
[0017] Accordingly, I 1-frame coded data (CEI 1) is I 1 frame pixel data is released is coded coefficient "C" (EI 1) is obtained. Then, it is stored in the frame memory 27. Next, the encoded data of the P 4 frame is decoded by the variable-length code decoding circuit 21 in step S4, dequantized in step S5, and IDCT-transformed in step S6. This output is used as the pixel data (EΔP 4 ) of the difference image of the P 4 frame by the adder 2
4 is supplied.

【0028】ステップS7において、可変長符号復号回
路21の出力データから動きベクトル抽出回路25によ
ってP4 フレームの動きベクトル(VP4 )が抽出さ
れ、これとステップS3で逆DCT変換回路23から出
力されたI1 フレームの画素データとが動き補償回路2
6に供給され、動き補償が行われる。
In step S7, the motion vector extraction circuit 25 extracts the motion vector (VP 4 ) of the P 4 frame from the output data of the variable length code decoding circuit 21, and this is output from the inverse DCT conversion circuit 23 in step S3. I 1 frame pixel data and motion compensation circuit 2
6, and motion compensation is performed.

【0029】[0029]

【0018】即ち、参照画像としてのI1 フレームの画
素データに、P4 フレームの動きベクトルを対応させる
ことでP4 フレームの予測画像の画素データを得る。そ
して、ステップS8において、差分画像と予測画像が加
算器24で加算され、P4フレームの画素データ(IE
4 )としてフレームメモリ27に記憶される。尚、こ
こで付した符号「I」は自分自身のデータのみで画像が
復元できると言う意味で「イントラ」タイプのデータで
あることを示すものとする。次にステップS9からステ
ップS11において、B2 フレームの復号化処理が同様
に行われ、ステップS11で逆DCT変換回路23から
2 フレームの差分画像の画素データ(EΔB2 )が出
力され加算器24に供給される。一方、ステップS12
において、動き補償回路26に供給されるデータは、P
4 フレーム又はI1 フレームに対する動きベクトルの
内、差分が小さい方に対する動きベクトルであり、ステ
ップS3又はステップS8の出力であるI1 又はP4
レームの対応する画素データとの間で動き補償が行われ
る。
[0018] That is, the pixel data of the I 1 frame as a reference image, obtaining the pixel data of the predicted image P 4 frame by causing corresponding motion vectors of the P 4 frame. Then, in step S8, the predicted image and the differential image are added by the adder 24, P 4 frames of pixel data (IE
It is stored in the frame memory 27 as P 4 ). The symbol "I" attached here means "intra" type data in the sense that an image can be restored only by its own data. Next, in steps S9 to S11, the decoding processing of the B 2 frame is similarly performed, and in step S11, the inverse DCT conversion circuit 23 outputs the pixel data (EΔB 2 ) of the difference image of the B 2 frame and the adder 24 Is supplied to. On the other hand, step S12
, The data supplied to the motion compensation circuit 26 is P
Of the motion vectors for 4 frames or I 1 frame, the motion vector is for the smaller difference, and motion compensation is performed with the corresponding pixel data of the I 1 or P 4 frame output from step S3 or step S8. Be seen.

【0030】[0030]

【0019】そして、ステップS13において加算器2
4で差分画像と予測画像が加算され、その出力はB2
レームの画素データ(IEB2 )としてフレームメモリ
27に記憶される。また、B3 フレームに対しては、B
2 フレームの画素データと同様に処理し、ステップS1
4からステップS18を経てB3 フレームの画素データ
(IEB3 )としてフレームメモリ27に記憶される。
Then, in step S13, the adder 2
In step 4, the difference image and the predicted image are added, and the output is stored in the frame memory 27 as pixel data (IEB 2 ) of the B 2 frame. Also, for the B 3 frame, B
The same process as the pixel data of 2 frames is performed, and step S1
From step 4 through step S18, the pixel data (IEB 3 ) of the B 3 frame is stored in the frame memory 27.

【0031】上述したように、各ステップを経てフレー
ムメモリ27に記憶された各フレームの画素データは、
1 、IB2 、IB3 、IP4 の順に抽出され、記録再
生装置30のNTSC変換回路33でTV信号の形態に
変換されて後、VTR34等の画像記録再生装置によっ
て記録される。また、受信したデータを直接見る場合
は、NTSC変換回路33の出力信号を直接TV受像機
36で再生することにより、動画像を視聴することがで
きる。また、録画した動画像を再生して見る場合は、ス
イッチ35をVTR34側に切替えて再生画像を視聴す
ることができる。
As described above, the pixel data of each frame stored in the frame memory 27 through each step is
I 1 , IB 2 , IB 3 , and IP 4 are extracted in this order, converted into a TV signal form by the NTSC conversion circuit 33 of the recording / reproducing apparatus 30, and then recorded by an image recording / reproducing apparatus such as a VTR 34. When the received data is directly viewed, the moving image can be viewed by directly reproducing the output signal of the NTSC conversion circuit 33 on the TV receiver 36. Further, when reproducing and viewing the recorded moving image, the reproduced image can be viewed by switching the switch 35 to the VTR 34 side.

【0032】また、この様にVTR等に記録すれば通常
の動画再生に加え正逆転、早送り、スロー及び静止画等
の特殊再生が可能であることは良く知られている。
It is well known that such recording on a VTR or the like enables special reproduction of forward / reverse rotation, fast-forward, slow, still image, etc. in addition to normal reproduction of moving images.

【0033】[0033]

【0020】[0020]

【0034】[0034]

【発明が解決しようとする課題】しかし、VTR等の記
録再生装置にアナログ信号として映像信号を録画し、再
生した場合は、画質の劣化が生じる。一方、図6に示す
ビットストリームをデジタル信号のまま記録すれば画質
の劣化は防止できるが、特殊再生する場合に不都合であ
る。即ち、例えば逆方向早送り再生を行う場合、例えば
11、B8 、B4 、B2 のフレームだけを順次再生する
ことが必要になった場合、GOPのすべてのフレームを
復号化する手順を踏まなければならない。このために
は、先ずGPO単位にデータを再生して記憶しておき、
全てのフレームを復号化しておかなければ随時、所望の
特殊再生に対応できない。
However, when a video signal is recorded and reproduced as an analog signal in a recording / reproducing apparatus such as a VTR, image quality is deteriorated. On the other hand, if the bit stream shown in FIG. 6 is recorded as a digital signal as it is, deterioration of image quality can be prevented, but it is inconvenient for special reproduction. That is, for example, when performing reverse fast forward reproduction, for example, when it is necessary to sequentially reproduce only B 11 , B 8 , B 4 , and B 2 frames, a procedure for decoding all the frames of the GOP is taken. There must be. To do this, first reproduce and store the data in GPO units,
Unless all frames are decoded, desired special reproduction cannot be supported at any time.

【0035】[0035]

【0021】上記のような再生時の制御やデータ処理は
複雑であり、また、各フレームのデータを画像データの
形態でフレームメモリに記憶するため、メモリ容量が膨
大になる。
The control and data processing at the time of reproduction as described above are complicated, and since the data of each frame is stored in the frame memory in the form of image data, the memory capacity becomes enormous.

【0036】本発明は、上述した問題点に着目してなさ
れたものであり、圧縮動画像データの記録に際し、画質
の劣化やデータ量の増加が少なく特殊再生可能に記録す
るため、予測符号化データをフレーム内符号化データに
変換して記録するようにするための符号化データ変換方
法、符号化データ記録方法、符号化データ変換装置及び
符号化データ記録装置を提供することを目的とする。
The present invention has been made by paying attention to the above-mentioned problems, and when recording compressed moving image data, since it is recorded in a special reproduction mode with little deterioration in image quality and increase in data amount, the predictive coding is performed. An object of the present invention is to provide an encoded data conversion method, an encoded data recording method, an encoded data conversion device, and an encoded data recording device for converting data into intra-frame encoded data and recording it.

【0037】[0037]

【0022】[0022]

【0038】[0038]

【課題を解決するための手段】本発明は上述した課題に
着目してなされたもので、請求項1記載の符号化データ
記録方法は、対象画像の参照画像に対する動き補償と直
交変換により求められた動きベクトルおよび差分画像の
直交変換係数を含む予測符号化データをフレーム内符号
化データに変換して記録することを特徴とする。
The present invention has been made in view of the above-mentioned problems, and the coded data recording method according to claim 1 is obtained by motion compensation and orthogonal transformation of a reference image of a target image. It is characterized in that the predictive coded data including the motion vector and the orthogonal transform coefficient of the difference image are converted into intraframe coded data and recorded.

【0039】[0039]

【0023】また、請求項2記載の符号化データ変換方
法は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換方法であって、参照画像
の画素データを得る段階と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する段階と、差分画像の直交変換係数を
逆直交変換し該差分画像の画素データを得る段階と、こ
の得られた差分画像画素データと抽出された予測画像画
素データとを加算し対象画像の画素データとする段階
と、この対象画像の画素データを直交変換しフレーム内
符号化データとしての対象画像の直交変換係数とする段
階を有することを特徴とする。
Further, in the coded data conversion method according to the second aspect, the predictive coded data including the motion vector obtained by the motion compensation and the orthogonal conversion of the reference image of the target image and the orthogonal transform coefficient of the difference image are intra-framed. A coded data conversion method for converting into coded data, the step of obtaining pixel data of a reference image, and the step of extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And a step of performing inverse orthogonal transformation of the orthogonal transformation coefficient of the difference image to obtain pixel data of the difference image, and adding the obtained difference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image. And a step of orthogonally transforming the pixel data of the target image into an orthogonal transform coefficient of the target image as intraframe coded data. To.

【0040】[0040]

【0024】また、請求項3記載の符号化データ変換装
置は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換装置であって、参照画像
の画素データを得る手段と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する手段と、差分画像の直交変換係数を
逆直交変換し該差分画像の画素データを得る手段と、こ
の得られた参照画像画素データと抽出された予測画像画
素データとを加算し対象画像の画素データとする手段
と、この対象画像の画素データを直交変換しフレーム内
符号化データとしての対象画像の直交変換係数とする手
段を有することを特徴とする。
The coded data conversion apparatus according to a third aspect of the present invention includes, within a frame, predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A coded data conversion device for converting into coded data, means for obtaining pixel data of a reference image, and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image. And means for inversely orthogonally transforming the orthogonal transformation coefficient of the difference image to obtain pixel data of the difference image, and the obtained reference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image. And a means for orthogonally transforming the pixel data of the target image to obtain an orthogonal transform coefficient of the target image as intraframe coded data. To.

【0041】[0041]

【0025】また、請求項4記載の符号化データ変換方
法は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換方法であって、参照画像
の画素データを得る段階と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する段階と、抽出された予測画像画素デ
ータを直交変換し予測画像の直交変換係数を求める段階
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする段階を有することを
特徴とする。
Further, in the coded data conversion method according to the fourth aspect, the predictive coded data including the motion vector obtained by the motion compensation and the orthogonal transform of the reference image of the target image and the orthogonal transform coefficient of the difference image are intra-framed. A coded data conversion method for converting into coded data, the step of obtaining pixel data of a reference image, and the step of extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And a step of orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transformation coefficient of the predicted image, and adding the obtained orthogonal transformation coefficient of the predicted image and the orthogonal transformation coefficient of the difference image to intra-frame encoded data. It is characterized in that it has a step of making an orthogonal transformation coefficient of the transformed target image.

【0042】[0042]

【0026】また、請求項5記載の符号化データ変換装
置は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換装置であって、参照画像
の画素データを得る手段と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する手段と、抽出された予測画像画素デ
ータを直交変換し予測画像の直交変換係数を求める手段
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする手段を有することを
特徴とする。
The coded data conversion apparatus according to a fifth aspect of the present invention includes, within a frame, predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A coded data conversion device for converting into coded data, means for obtaining pixel data of a reference image, and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image. And means for orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transform coefficient of the predicted image, and a means for adding the obtained orthogonal transform coefficient of the predicted image and the orthogonal transform coefficient of the difference image to intraframe coded data. It is characterized in that it has means for making an orthogonal transformation coefficient of the transformed target image.

【0043】[0043]

【0027】また、請求項6記載の符号化データ変換記
録装置は、対象画像の参照画像に対する動き補償と直交
変換により求められた動きベクトルおよび差分画像の直
交変換係数を含む予測符号化データをフレーム内符号化
データに変換し記録する記録装置であって、参照画像の
画素データを得る手段と、対象画像の動きベクトルに基
づいて、得られた参照画像画素データから予測画像画素
データを抽出する手段と、抽出された予測画像画素デー
タを直交変換し予測画像の直交変換係数を求める手段
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする手段と、この対象画
像の直交変換係数を所定の記録媒体に記録する記録手段
を有することを特徴とする。
Further, the coded data conversion recording device according to a sixth aspect of the present invention frame-codes predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A recording device for converting into intra-encoded data and recording, and means for obtaining pixel data of a reference image and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And means for orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transform coefficient of the predicted image, and a means for adding the obtained orthogonal transform coefficient of the predicted image and the orthogonal transform coefficient of the difference image to intraframe coded data. The present invention is characterized by having means for making an orthogonal transformation coefficient of the transformed target image, and recording means for recording the orthogonal transformation coefficient of the subject image on a predetermined recording medium. To.

【0044】[0044]

【0028】また、請求項7記載の符号化データ変換方
法は、請求項4においてフレーム内符号化データに変換
された対象画像の直交変換係数を逆直交変換し対象画像
の画素データとする段階を更に有することを特徴とす
る。
The coded data conversion method according to a seventh aspect of the present invention includes a step of inversely orthogonally transforming the orthogonal transform coefficient of the target image converted into the intraframe coded data in the fourth aspect to obtain pixel data of the target image. It is characterized by further having.

【0045】[0045]

【0029】[0029]

【0046】[0046]

【作用】[Action]

(1)請求項1の発明においては、予測符号化データが
フレーム内符号化データに変換されて記録されるので、
特殊再生が容易となる。
(1) In the invention of claim 1, since the predictive encoded data is converted into the intra-frame encoded data and recorded,
Special reproduction becomes easy.

【0047】(2)請求項2及び3の発明においては、
先ず対象画像の動きベクトルに基づいて参照画像画素デ
ータから予測画像画素データが抽出され、一方、差分画
像の直交変換係数が逆変換されて画素データとされる。
これら予測画像画素データと差分画像画素データが加算
されて対象画像の画素データが得られる。そしてこれを
直交変換することにより、フレーム内符号化データとす
ることができる。
(2) In the inventions of claims 2 and 3,
First, the predicted image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, while the orthogonal transform coefficient of the difference image is inversely transformed into pixel data.
The predicted image pixel data and the difference image pixel data are added to obtain the pixel data of the target image. By orthogonally transforming this, it is possible to obtain intraframe coded data.

【0048】(3)請求項4及び5の発明においては、
先ず対象画像の動きベクトルに基づいて参照画像画素デ
ータから予測画像画素データが抽出され、これが直交変
換されて予測画像直交変換係数とされる。これと、差分
画像の直交変換係数とを加算することにより、フレーム
内符号化データとすることができる。
(3) In the inventions of claims 4 and 5,
First, the predicted image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, and the predicted image pixel data is orthogonally transformed into the predicted image orthogonal transformation coefficient. By adding this and the orthogonal transformation coefficient of the difference image, it is possible to obtain intraframe coded data.

【0049】(4)請求項6の発明においては、上記
(3)項と同様にフレーム内符号化データに変換された
対象画像の直交変換係数が求められ、これが記録手段に
より所定の記録媒体に記録される。
(4) In the sixth aspect of the invention, the orthogonal transformation coefficient of the target image converted into the intra-frame coded data is obtained in the same manner as in the above (3), and this is recorded on the predetermined recording medium by the recording means. Will be recorded.

【0050】(5)請求項7の発明においては、先ず、
上記(3)項と同様にフレーム内符号化データに変換さ
れた対象画像の直交変換係数が求められ、特殊再生可能
な記録信号が得られる。次いで、これが逆直交変換され
て対象画像の画素データとなる。これにより、従前の記
録再生装置で記録や視聴が可能な信号を得ることができ
る。
(5) In the invention of claim 7, first,
Similar to the above item (3), the orthogonal transform coefficient of the target image converted into the intra-frame coded data is obtained, and the recording signal that can be specially reproduced is obtained. Next, this is subjected to inverse orthogonal transform to become pixel data of the target image. As a result, it is possible to obtain a signal that can be recorded or viewed by the conventional recording / reproducing apparatus.

【0051】[0051]

【0030】[0030]

【0052】[0052]

【実施例】図1は本発明の第1実施例による動画像再処
理回路及びその再生回路のブロック図である。尚、本発
明の実施例を説明するに当たり、従来例と同一部分には
同一の符号を付し、重複する説明を省略する。また、図
2は動画像再処理回路20に対する処理フロー図であ
り、図1に示す可変長符号復号回路及び逆量子化回路の
ステップを省略した処理フロー図としてある。
1 is a block diagram of a moving image reprocessing circuit and its reproducing circuit according to a first embodiment of the present invention. In the description of the embodiments of the present invention, the same parts as those of the conventional example are designated by the same reference numerals, and the duplicated description will be omitted. 2 is a processing flow chart for the moving image reprocessing circuit 20, and is a processing flow chart in which steps of the variable length code decoding circuit and the inverse quantization circuit shown in FIG. 1 are omitted.

【0053】図1(a)において、動画像再処理回路2
0に入力に供給された各フレームの画像データは、可変
長符号復号回路21で復号された後、復号化処理である
逆量子化回路22及びIDCT回路23に供給される。
IDCT回路23で逆DCT変換されたデータは、加算
器24に供給される。
In FIG. 1A, the moving image reprocessing circuit 2
The image data of each frame supplied to 0 as an input is decoded by the variable length code decoding circuit 21 and then supplied to the inverse quantization circuit 22 and the IDCT circuit 23 which are decoding processing.
The data subjected to the inverse DCT conversion by the IDCT circuit 23 is supplied to the adder 24.

【0054】[0054]

【0031】一方、可変長符号復号回路21で復号され
たデータは動きベクトル抽出回路25に供給され、動き
ベクトルのデータが抽出される。抽出された動きベクト
ルデータは、動き補償回路26に供給される。動き補償
回路26の出力データとIDCT回路23の出力データ
は加算器24で加算され、その出力データはフレームメ
モリ27に記憶される。フレームメモリ27の出力は動
き補償回路26に供給されている。また、加算器24の
出力データはDCT回路28及び量子化回路29で再符
号化された後、可変長符号化回路30を経て出力バッフ
ァ回路31に供給される。また、出力バッファ回路31
は動画像再処理回路20の入力端子に接続されている。
出力バッファ回路31の出力はデータ記録再生装置37
に供給される。データ記録再生装置37は、この符号化
データを記録再生する。
On the other hand, the data decoded by the variable length code decoding circuit 21 is supplied to the motion vector extraction circuit 25, and the motion vector data is extracted. The extracted motion vector data is supplied to the motion compensation circuit 26. The output data of the motion compensation circuit 26 and the output data of the IDCT circuit 23 are added by the adder 24, and the output data is stored in the frame memory 27. The output of the frame memory 27 is supplied to the motion compensation circuit 26. Further, the output data of the adder 24 is re-encoded by the DCT circuit 28 and the quantization circuit 29, and then supplied to the output buffer circuit 31 via the variable length encoding circuit 30. In addition, the output buffer circuit 31
Is connected to the input terminal of the moving image reprocessing circuit 20.
The output of the output buffer circuit 31 is the data recording / reproducing device 37.
Is supplied to. The data recording / reproducing device 37 records / reproduces this encoded data.

【0055】[0055]

【0032】図1(b)において、再生された符号化デ
ータは再生回路40に供給され、入力バッファ41を経
て可変長符号復号回路42で再び復号化され、逆量子化
回路43及びIDCT回路44で復号化処理が行われ
る。復号化された画素データはNTSC変換回路33で
アナログ画像データに変換された後、TV受像機に供給
され、動画像の映像が視聴される。
In FIG. 1B, the reproduced coded data is supplied to the reproducing circuit 40, is decoded again by the variable length code decoding circuit 42 via the input buffer 41, and is dequantized by the inverse quantization circuit 43 and the IDCT circuit 44. The decryption process is performed. The decoded pixel data is converted into analog image data by the NTSC conversion circuit 33 and then supplied to the TV receiver to watch a moving image.

【0056】ここで、動画像を符号化し、ビットストリ
ームの形態で送出された画像データを復号化し、再び符
号化データに変換するデータ処理の関係を数式を用いて
説明しておく。
Here, the relationship of data processing for encoding a moving image, decoding image data sent in the form of a bit stream, and converting it again into encoded data will be described using mathematical expressions.

【0057】[0057]

【0033】[0033]

【0058】[0058]

【数1】 [Equation 1]

【0059】[0059]

【0034】[0034]

【0060】[0060]

【数2】 [Equation 2]

【0061】[0061]

【0035】[0035]

【0062】[0062]

【数3】 (Equation 3)

【0063】[0063]

【0036】[0036]

【0064】[0064]

【数4】 (Equation 4)

【0065】[0065]

【0037】式1及び式2は、動画像の画像データを符
号化処理するときの関係を示したものである。式1の左
辺は、Iピクチャの画像ブロックをDCT係数化したも
の、即ちDCT変換したもの(CEI)を示し、右辺の
ように、Iピクチャの画素データ(EI)をDCT係数
でマトリックス掛算して求められることを示している。
実際には、画素データは図7に示したように8×8画素
のサブブロック単位に符号化されるが、この時サブブロ
ックが8桁、8行のマトリックスの形態で各々演算され
ることを意味している。
Equations 1 and 2 show the relationship when the image data of the moving image is encoded. The left side of Expression 1 indicates a DCT coefficient of an I-picture image block, that is, DCT-transformed (CEI). Like the right side, pixel data (EI) of the I-picture is matrix-multiplied by a DCT coefficient. It shows that it is required.
Practically, the pixel data is encoded in 8 × 8 pixel sub-block units as shown in FIG. 7. At this time, the sub-blocks are calculated in the form of a matrix of 8 digits and 8 rows. I mean.

【0066】[0066]

【0038】同様に、式2は、Pピクチャ又はBピクチ
ャに対して記述したものであり、左辺は、Pピクチャ又
はBピクチャの差分画素データを符号化したもの(CE
ΔP、CEΔB)を示し、右辺は、Pピクチャ又はBピ
クチャの画素データ(EP、EB)から対応する予測画
像データ(予測画像を示す記号「F」を付す)をマトリ
ックス引算したもの、即ち差分画素データ(EΔP、
B)をDCT変換したことを示している。図7(b)で
説明したように、例えばPピクチャの画素データは差分
画像の画素データと予測画像の画素データをマトリック
ス加算したものであるが、符号化する場合は、Pピクチ
ャの画素データ(EP)から、予測画像の画素データ
(EFP)をマトリックス引算したもの、即ち差分画像
の画素データ(EΔP)を符号化する。
Similarly, Expression 2 is described for a P picture or a B picture, and the left side is obtained by encoding differential pixel data of the P picture or the B picture (CE
ΔP, CEΔB), and the right side is a matrix subtraction of pixel data (EP, EB) of the P picture or B picture from the corresponding predicted image data (with a symbol “F” indicating the predicted image), that is, the difference. Pixel data (EΔP,
It shows that B) is DCT-transformed. As described with reference to FIG. 7B, for example, the pixel data of the P picture is the pixel data of the difference image and the pixel data of the prediction image that are matrix-added. However, when encoding, the pixel data of the P picture ( EP) is subjected to matrix subtraction of pixel data (EFP) of the predicted image, that is, pixel data (EΔP) of the difference image is encoded.

【0067】[0067]

【0039】式3は、上述した符号化された画像データ
を復号化する時の数式であり、一般に復号器側でこれを
復号する時は、以下のようにしている。
Expression 3 is a mathematical expression for decoding the above-mentioned coded image data, and generally when decoding this on the decoder side, the following is performed.

【0068】即ち、符号化されたPピクチャ又はBピク
チャの画像データ(CEΔP、CEΔB)をIDCT変
換し、これに各々の予測画像の画素データをマトリック
ス加算したものをPピクチャ又はBピクチャの画素デー
タとしている。
That is, the image data (CEΔP, CEΔB) of the encoded P picture or B picture is subjected to IDCT conversion, and the pixel data of each prediction image is added to this by matrix addition to obtain the pixel data of the P picture or B picture. I am trying.

【0069】今、Pピクチャ又はBピクチャのイントラ
タイプのDCT係数を得るために、式3の両辺をDCT
変換することを考えると、これより式4を得ることにな
る。式4の最後の辺は、イントラタイプでないPピクチ
ャ又はBピクチャの画像データ(CEΔP、CEΔB)
がイントラ化されたことを示すため、「CIEP、B」
と記したものである。よって、式4から、イントラ化さ
れた各ピクチャ(Pピクチャ又はBピクチャ)の画像デ
ータは、予測画像の画素データを動き補償より求め、こ
れをDCT変換したものと、各ピクチャの予測符号化に
よるDCT係数の画像データをマトリックス加算すれば
得られることが分る。
Now, in order to obtain the intra-type DCT coefficient of the P picture or B picture, both sides of the equation 3 are DCT
Considering the conversion, Equation 4 is obtained from this. The last side of Expression 4 is image data (CEΔP, CEΔB) of a P picture or B picture that is not an intra type.
"CIEP, B" to indicate that the
Is written. Therefore, from Equation 4, the image data of each intra-coded picture (P picture or B picture) is obtained by subjecting the pixel data of the predicted image to motion compensation, DCT-transformed this, and predictive coding of each picture. It can be seen that the image data of the DCT coefficient can be obtained by matrix addition.

【0070】[0070]

【0040】では、図2の処理フロー図を用いて動画像
再処理回路20の動作説明を行う。
The operation of the moving picture reprocessing circuit 20 will be described below with reference to the processing flow chart of FIG.

【0071】先ず、動画像再処理回路20の入力端子に
供給されたI1 フレームの画像データ(CEI1 )はス
テップS1において、IDCT回路23で逆DCT変換
された(EI1 )後、ステップS2でフレームメモリ2
7にI1 フレームの画素データとして記憶される。同様
に、P4 フレームの画像データ(CEΔP4 )はステッ
プS3でIDCT回路23で逆DCT変換された(EΔ
4 )後、加算器24に供給される。ステップS4で動
き補償回路26において、動きベクトル抽出回路25で
抽出されたP4 フレームの動きベクトル(VP4 )と、
フレームメモリ27に記憶されているI1 フレームの画
像データとにより動き補償が行われる。この結果、動き
補償回路26の出力としてP4 フレームの予測画像の画
素データ(FEP4 )が得られる。
First, the image data (CEI 1 ) of the I 1 frame supplied to the input terminal of the moving image reprocessing circuit 20 is inversely DCT-transformed (EI 1 ) by the IDCT circuit 23 in step S1, and then step S2. With frame memory 2
7 is stored as I 1 frame pixel data. Similarly, the image data (CEΔP 4 ) of the P 4 frame is subjected to inverse DCT conversion (EΔP) by the IDCT circuit 23 in step S3.
P 4) after being supplied to the adder 24. In step S4, in the motion compensation circuit 26, the motion vector (VP 4 ) of the P 4 frame extracted by the motion vector extraction circuit 25,
Motion compensation is performed with the I 1 frame image data stored in the frame memory 27. As a result, the pixel data (FEP 4 ) of the P 4 frame predicted image is obtained as the output of the motion compensation circuit 26.

【0072】[0072]

【0041】そして、ステップS5において、IDCT
回路23から出力された差分画像(EΔP4 )と、動き
補償回路26の出力に得られた予測画像の画素データ
(FEP4 )が加算器24で加算され、P4 フレームの
画素データ(EP4 )が得られる。P4 フレームの画素
データ(EP4 )はステップS6において、フレームメ
モリ27に記憶された後、ステップS7においてDCT
変換回路28で再符号化(CIEP4 )される。そし
て、量子化及び可変長符号化が行われ、出力バッファ3
1に記憶される。上述したように、P4 フレームの画素
データ(EP4 )は自分自身の画素データのみで画像を
再構成できるデータであり、これを符号化することは、
Iフレームの定義であるイントラ符号化画像に相当す
る。そこで、再符号化されIフレーム化した画素データ
であることを示す記号「I」を付し、CIEP4 と記し
ている。
Then, in step S5, IDCT
The difference image (EΔP 4 ) output from the circuit 23 and the pixel data (FEP 4 ) of the predicted image obtained at the output of the motion compensation circuit 26 are added by the adder 24, and the pixel data of the P 4 frame (EP 4 ) Is obtained. The pixel data (EP 4 ) of the P 4 frame is stored in the frame memory 27 at step S6, and then the DCT at step S7.
It is re-encoded (CIEP 4 ) in the conversion circuit 28. Then, quantization and variable length coding are performed, and the output buffer 3
1 is stored. As described above, the pixel data (EP 4 ) of the P 4 frame is the data that can reconstruct the image only with the pixel data of its own, and encoding this is as follows.
This corresponds to the intra-coded image that is the definition of the I frame. Therefore, the symbol "I" indicating that the pixel data is re-encoded and I-framed is added, and is described as CIEP 4 .

【0073】[0073]

【0042】次に、B2 フレームの画像データ(CEΔ
2 )はステップS8でIDCT回路23により逆DC
T変換された(EΔB2 )後、加算器24に供給され
る。
Next, the B 2 frame image data (CEΔ
B 2 ) is an inverse DC signal generated by the IDCT circuit 23 in step S8.
After being T-converted (EΔB 2 ), it is supplied to the adder 24.

【0074】一方、ステップS9で動き補償回路26に
おいて、動きベクトル抽出回路25で抽出されたB2
レームの動きベクトル(VB2 )と、I1 フレーム又は
4フレームの画素データとにより動き補償が行われ
る。ステップS10において、IDCT回路23から出
力された差分画像(EΔB2 )と、動き補償回路26か
ら出力される予測画像(EFB2 )が加算器24で加算
され、B2 フレームの画素データ(EB2 )を得る。加
算器24の出力はステップS11で再符号化され、Iフ
レーム化した画像データ(CIEB2 )として、出力バ
ッファ31に記憶される。
On the other hand, in step S9, the motion compensation circuit 26 performs motion compensation by the motion vector (VB 2 ) of the B 2 frame extracted by the motion vector extraction circuit 25 and the pixel data of the I 1 frame or the P 4 frame. Done. In step S10, the difference image (EΔB 2 ) output from the IDCT circuit 23 and the predicted image (EFB 2 ) output from the motion compensation circuit 26 are added by the adder 24, and the pixel data (EB 2 of the B 2 frame is added. ) Get. The output of the adder 24 is re-encoded in step S11 and stored in the output buffer 31 as I-framed image data (CIEB 2 ).

【0075】[0075]

【0043】また、同様にB3 フレームの画素データ
(CEΔB3 )は、ステップS12からステップS15
を経てB2 フレームと同様の処理が行われ、Iフレーム
化した画像データ(CIEB3 )として、出力バッファ
31に記憶される。また、I1フレームの画像データ
(CEI1 )は、そのまま出力バッファ31に記憶され
以上のように、出力バッファ31に蓄えられた画像デー
タはフレーム単位にまとめられると共に、必要に応じ、
フレーム番号や、元のフレームの種類を示す情報が例え
ばヘッダとして付加される。そして、原画像のフレーム
順であるCEI1 、CIEB2 、CIEB3 、CIEP
4 、・・・の順にデータ記録再生装置37に出力され、
記録される。この画像データはデータ記録再生装置37
によって再生され、再生回路40で画素データに変換さ
れる。この時、データ記録再生装置37は再生のモード
に応じて、フレーム番号等に基づいて所要のフレームの
みの画素データを順次サーチしながら再生して出力すれ
ばよい。尚、データ記録再生装置の処理速度が十分速け
れば、全てのフレームを再生しつつ、所要フレームの画
像データのみを選択して出力するようにしてもよい。
Similarly, the pixel data (CEΔB 3 ) of the B 3 frame is obtained from steps S12 to S15.
Then, the same processing as that for the B 2 frame is performed, and the image data (CIEB 3 ) converted into the I frame is stored in the output buffer 31. Further, the image data (CEI 1 ) of the I 1 frame is stored in the output buffer 31 as it is. As described above, the image data stored in the output buffer 31 is collected in frame units, and if necessary,
Information indicating the frame number and the type of the original frame is added as a header, for example. Then, CEI 1 , CIEB 2 , CIEB 3 , and CIEP, which are the frame order of the original image,
4 , output to the data recording / reproducing device 37 in this order,
Be recorded. This image data is recorded and reproduced by the data recording / reproducing device 37.
Is reproduced and converted into pixel data by the reproduction circuit 40. At this time, the data recording / reproducing device 37 may sequentially search and output pixel data of only a required frame based on the frame number or the like according to the reproduction mode. If the processing speed of the data recording / reproducing apparatus is sufficiently high, all the frames may be reproduced and only the image data of the required frames may be selected and output.

【0076】[0076]

【0044】図3は、前述の式4に基づいてなされた本
発明による第2実施例のブロック図である。図3(a)
において、動画像再処理回路50の入力に供給された各
フレームの画像データは、可変長符号復号回路21で復
号された後、逆量子化回路22及びIDCT回路23に
供給される。IDCT回路23で逆DCT変換されたデ
ータは、加算器24に供給される。一方、可変長符号復
号回路21で復号されたデータは動きベクトル抽出回路
25に供給され、動きベクトルのデータを抽出する。抽
出された動きベクトルデータは、動き補償回路26に供
給される。動き補償回路26の一方の出力データとID
CT回路23の出力データは加算器24で加算され、そ
の出力データはフレームメモリ27に記憶される。ま
た、フレームメモリ27の出力データは動き補償回路2
6に供給されている。
FIG. 3 is a block diagram of a second embodiment according to the present invention, which is made based on the above-mentioned equation 4. FIG. 3 (a)
In, the image data of each frame supplied to the input of the moving image reprocessing circuit 50 is decoded by the variable length code decoding circuit 21, and then supplied to the inverse quantization circuit 22 and the IDCT circuit 23. The data subjected to the inverse DCT conversion by the IDCT circuit 23 is supplied to the adder 24. On the other hand, the data decoded by the variable length code decoding circuit 21 is supplied to the motion vector extraction circuit 25, and the motion vector data is extracted. The extracted motion vector data is supplied to the motion compensation circuit 26. One output data and ID of the motion compensation circuit 26
The output data of the CT circuit 23 is added by the adder 24, and the output data is stored in the frame memory 27. The output data of the frame memory 27 is the motion compensation circuit 2
6.

【0077】[0077]

【0045】動き補償回路26の他方の出力データはD
CT回路28に供給され、この出力データは新たに設け
られた加算器32の一方の端子に供給されている。ま
た、逆量子化回路22の出力データが加算器34の他方
端子に供給され、先のDCT回路28の出力データと加
算される。加算器32の出力データは量子化回路29及
び可変長符号化回路30を経て出力バッファ31に供給
される。また、出力バッファ31の出力は動画像再処理
回路50の入力端子に接続されている。
The other output data of the motion compensation circuit 26 is D
The output data is supplied to the CT circuit 28, and the output data is supplied to one terminal of a newly provided adder 32. Further, the output data of the inverse quantization circuit 22 is supplied to the other terminal of the adder 34 and added to the output data of the DCT circuit 28. The output data of the adder 32 is supplied to the output buffer 31 via the quantization circuit 29 and the variable length coding circuit 30. The output of the output buffer 31 is connected to the input terminal of the moving image reprocessing circuit 50.

【0078】では、図4の処理フロー図を用いて動画像
再処理回路50の動作説明を行う。先ず、動画像再処理
回路50の入力端子に供給されたI1 フレームの画素デ
ータ(CEI1 )はステップS1でIDCT回路23に
より逆DCT変換された(EI1 )後、ステップS2で
フレームメモリ27に記憶される。
The operation of the moving image reprocessing circuit 50 will be described below with reference to the processing flow chart of FIG. First, the pixel data (CEI 1 ) of the I 1 frame supplied to the input terminal of the moving image reprocessing circuit 50 is inversely DCT-transformed (EI 1 ) by the IDCT circuit 23 in step S1, and then the frame memory 27 in step S2. Memorized in.

【0079】[0079]

【0046】また、P4 フレームの差分画像の画像デー
タ(CEΔP4 )はステップS3において、IDCT回
路23で逆DCT変換された(EΔP4 )後、加算器2
4に供給される。ステップS4で動き補償回路26にお
いて、動きベクトル抽出回路25で抽出されたP4 フレ
ームの動きベクトル(VP4 )と、フレームメモリ27
に記憶されているI1 フレームの画素データとにより動
き補償が行われる。ステップS5において、IDCT回
路23から出力された差分画像(EΔP4 )と、動き補
償回路26から出力されるP4 フレームの予測画像(E
FP4 )が加算器24で加算される。加算器24出力は
4 フレームの画素データ(EP4 )でありステップS
6でフレームメモリ27に記憶される。一方、ステップ
S7において、動き補償回路26から出力されるP4
レームの予測画像の画素データ(EFP4 )をDCT回
路28で再符号化する(CEFP4 )。
Further, the image data (CEΔP 4 ) of the P 4 frame difference image is inversely DCT-transformed (EΔP 4 ) by the IDCT circuit 23 in step S3, and then added by the adder 2
4 is supplied. In step S4, the motion compensation circuit 26 stores the motion vector (VP 4 ) of the P 4 frame extracted by the motion vector extraction circuit 25 and the frame memory 27.
Motion compensation is performed with the pixel data of the I 1 frame stored in. In step S5, the difference image (EΔP 4 ) output from the IDCT circuit 23 and the P 4 frame predicted image (E ΔP 4 ) output from the motion compensation circuit 26 (E
FP 4 ) is added by the adder 24. The output of the adder 24 is pixel data (EP 4 ) of the P 4 frame, and the step S
It is stored in the frame memory 27 at 6. On the other hand, in step S7, the pixel data (EFP 4 ) of the P 4 frame predicted image output from the motion compensation circuit 26 is re-encoded by the DCT circuit 28 (CEFP 4 ).

【0080】[0080]

【0047】そして、ステップ8において、動画像再処
理回路50の入力端子に供給されたP4 フレームの差分
画像の画像データ(CEΔP4 )と、DCT回路28か
ら得られる再符号化されたP4 フレームの予測画像の画
像データ(CEFP4 )が加算器32で加算される(C
EΔP4 +CEFP4 )。この加算器32出力の画像デ
ータは、DCT×(EΔP4 +EFP4 )=DCT×E
4 と書替えると、P4 フレームの画素データを符号化
した形態であることが分り、P4 フレームのイントラ符
号化画像に相当する。そして、イントラ符号化された画
像データ(CIEP4 )として出力バッファ31に記憶
される。
Then, in step 8, the image data (CEΔP 4 ) of the P 4 frame difference image supplied to the input terminal of the moving image reprocessing circuit 50 and the recoded P 4 obtained from the DCT circuit 28. The image data (CEFP 4 ) of the predicted image of the frame is added by the adder 32 (C
EΔP 4 + CEFP 4 ). The image data output from the adder 32 is DCT × (EΔP 4 + EFP 4 ) = DCT × E
In other P 4 and calligraphy, found to be in a form obtained by encoding the pixel data of the P 4 frame, corresponding to an intra coded picture of P 4 frame. Then, it is stored in the output buffer 31 as intra-coded image data (CIEP 4 ).

【0081】[0081]

【0048】次に、ステップ9において、動きベクトル
抽出回路25で抽出されたB2 フレームの動きベクトル
(VB2 )と、ステップ2で得られたI1 フレームの画
素データ(EI1 )又はステップ6で得られたP4 フレ
ームの画素データ(EP4 )とにより動き補償が行わ
れ、B2 フレームの予測画像の画素データ(EFB2
を出力する。そして、ステップ10でDCT変換回路2
8により再符号化される(CEFB2 )。ステップ11
で、動画像再処理回路50に入力されたB2 フレームの
差分画像の画像データ(CEΔB2 )と、DCT回路2
8から得られた再符号化されたB2 フレームの予測画像
の画素データ(CEFB2 )が加算器32で加算される
(CEΔB2 +CEFB2 )。
Next, in step 9, the B 2 frame motion vector (VB 2 ) extracted by the motion vector extraction circuit 25 and the I 1 frame pixel data (EI 1 ) obtained in step 2 or step 6 Motion compensation is performed with the pixel data (EP 4 ) of the P 4 frame obtained in step 1, and the pixel data (EFB 2 ) of the predicted image of the B 2 frame
Is output. Then, in step 10, the DCT conversion circuit 2
Re-encoded by 8 (CEFB 2 ). Step 11
Then, the image data (CEΔB 2 ) of the difference image of the B 2 frame input to the moving image reprocessing circuit 50 and the DCT circuit 2
The pixel data (CEFB 2 ) of the re-encoded B 2 frame predicted image obtained from 8 is added by the adder 32 (CEΔB 2 + CEFB 2 ).

【0082】[0082]

【0049】ここで得られた画像データは、P4 フレー
ムの場合と同様に、B2 フレームのイントラ符号化画像
に相当する。そして、イントラ符号化された画像データ
(CIEB2 )として出力バッファ31に記憶される。
また、B3 フレームに対しても同様にステップ12から
ステップ14を経てイントラ符号化された画像データ
(CIEB3 )として出力バッファ31に記憶される。
以下、第1実施例と同様に処理が行われる。また、上述
したフレーム以外のフレーム、例えばP7 フレームやB
5 フレームに対しても同様の方法でイントラ化した符号
化データに変換する。
The image data obtained here corresponds to the intra-coded image of the B 2 frame, as in the case of the P 4 frame. Then, it is stored in the output buffer 31 as intra-coded image data (CIEB 2 ).
Similarly, the B 3 frame is also stored in the output buffer 31 as intra-coded image data (CIEB 3 ) through steps 12 to 14.
Thereafter, the same processing as in the first embodiment is performed. Further, frames other than the above-mentioned frames, such as P 7 frame and B
The 5 frames are converted into intra-coded data by the same method.

【0083】上記第2実施例のものは、先の第1実施例
のものに比べ、処理フロー図を比較しても分るように、
処理が少なくてすむ。即ち、I1 フレームからB3 フレ
ームまでの処理を単純に見た場合、IDCT変換が2回
少なくなっている。
As can be seen by comparing the processing flow charts of the second embodiment with the first embodiment,
It requires less processing. That is, when the processing from the I 1 frame to the B 3 frame is simply viewed, the IDCT conversion is reduced twice.

【0084】[0084]

【0050】上記第2実施例においては、データ記録中
に画像データが画素データに逆変換される過程がないた
め、このままでは録画中に映像を見ることができない。
図5は、これを可能とする第3実施例の構成図である。
この図において、録画中には再生回路40の入力をスイ
ッチ44により動画像再処理回路50の出力側に切替え
ることにより、録画中の映像を見ることができる。一
方、再生時はスイッチ44をデータ記録再生装置37の
出力側に切替えればよい。
In the second embodiment described above, since there is no process in which the image data is inversely converted into pixel data during data recording, the image cannot be viewed during recording as it is.
FIG. 5 is a block diagram of a third embodiment that enables this.
In this figure, by switching the input of the reproducing circuit 40 to the output side of the moving image reprocessing circuit 50 by the switch 44 during recording, the video being recorded can be viewed. On the other hand, during reproduction, the switch 44 may be switched to the output side of the data recording / reproducing device 37.

【0085】尚、データ記憶再生装置としては、DA
T、デジタルVTR等の磁気テープ、ハードディスク、
CD−R、VDRのような光ディスク等、デジタルデー
タの記録再生が可能な装置であれば何でも良く、固体メ
モリでも良い。また、記録に際しては、ランダムアクセ
スによる特殊再生を可能とするために、データに例えば
フレーム単位でコントロール信号、ヘッダ、ID番号、
フレーム番号、アドレス番号等、夫々の記録再生装置に
適したサーチ可能な何等かの識別情報を付加しておくと
よい。
As a data storage / reproduction device, DA
Magnetic tapes such as T and digital VTRs, hard disks,
Any device capable of recording and reproducing digital data, such as an optical disk such as a CD-R or VDR, or a solid-state memory may be used. In addition, at the time of recording, in order to enable special reproduction by random access, the data includes, for example, a control signal, a header, an ID number,
It is preferable to add some sort of searchable identification information suitable for each recording / reproducing apparatus such as a frame number and an address number.

【0086】[0086]

【0051】[0051]

【0087】[0087]

【発明の効果】上述したように、本発明によれば、対象
画像の参照画像に対する動き補償と直交変換により求め
られた動きベクトル及び差分画像の直交変換係数を含む
予測符号化データをフレーム内符号化データに変換して
記録するようにしたので、画像の劣化を生じさせること
なく、データ量の増加を小さく抑えつつ特殊再生を容易
にすることができる。この時、フレーム内符号化データ
に変換する方法として、先ず対象画像の動きベクトルに
基づいて参照画像画素データから予測画像画素データを
抽出し、これを直交変換して予測画像直交変換係数と
し、これと差分画像の直交変換係数とを加算して求める
ようにすれば、処理を簡単にすることができる。
As described above, according to the present invention, the intra-coded prediction coded data including the motion vector obtained by the motion compensation and the orthogonal transform of the reference image of the target image and the orthogonal transform coefficient of the difference image is encoded. Since the converted data is converted and recorded, it is possible to facilitate special reproduction while suppressing an increase in the data amount without causing deterioration of the image. At this time, as a method of converting into intraframe coded data, first, predictive image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, and this is orthogonally transformed into a predictive image orthogonal transform coefficient. The processing can be simplified by adding and the orthogonal transformation coefficient of the difference image.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1実施例による動画像再処理回路及
び再生回路のブロック図。
FIG. 1 is a block diagram of a moving image reprocessing circuit and a reproducing circuit according to a first embodiment of the present invention.

【図2】本発明の第1実施例による動画像再処理回路に
対する処理フロー図。
FIG. 2 is a processing flowchart for the moving image reprocessing circuit according to the first embodiment of the present invention.

【図3】本発明の第2実施例による動画像再処理回路及
びその再生回路のブロック図。
FIG. 3 is a block diagram of a moving image reprocessing circuit and its reproducing circuit according to a second embodiment of the present invention.

【図4】本発明の第2実施例による動画像再処理回路に
対する処理フロー図。
FIG. 4 is a processing flowchart for a moving image reprocessing circuit according to a second embodiment of the present invention.

【図5】本発明の第3実施例による動画像再処理回路の
ブロック図。
FIG. 5 is a block diagram of a moving image reprocessing circuit according to a third embodiment of the present invention.

【図6】MPEG方式における画面タイプを説明する
図。
FIG. 6 is a diagram illustrating a screen type in the MPEG system.

【図7】MPEG方式におけるマクロブロックを説明す
る図。
FIG. 7 is a diagram illustrating a macroblock in the MPEG system.

【図8】符号化を行うサブブロックを示す図。FIG. 8 is a diagram showing sub-blocks for encoding.

【図9】MPEG方式における動画像符号化回路のブロ
ック図。
FIG. 9 is a block diagram of a moving picture coding circuit in the MPEG system.

【図10】MPEG方式における動画像符号化回路に対
する処理フロー図。
FIG. 10 is a processing flow chart for a moving picture coding circuit in the MPEG system.

【図11】従来例における動画像復号装置及び記録再生
装置のブロック図。
FIG. 11 is a block diagram of a moving image decoding device and a recording / reproducing device in a conventional example.

【図12】従来例における動画像復号装置に対する処理
フロー図。
FIG. 12 is a processing flowchart for the moving picture decoding apparatus in the conventional example.

【符号の説明】[Explanation of symbols]

20、50・・・動画像再処理回路 21、42・・・可変長符号復号回路 22、43・・・逆量子化回路 23、44、38・・・IDCT回路 24、32・・・加算器 25・・・動きベクトル抽出回路 26・・・動き補償回路 27・・・フレームメモリ 28・・・DCT回路 29・・・量子化回路 30・・・可変長符号化回路 31・・・出力バッファ 33・・・NTSC変換回路 34・・・VTR 35、44・・・スイッチ 36・・・TV受像機 37・・・データ記録再生装置 40・・・再生回路 41・・・入力バッファ 20, 50 ... Moving image reprocessing circuit 21, 42 ... Variable length code decoding circuit 22, 43 ... Inverse quantization circuit 23, 44, 38 ... IDCT circuit 24, 32 ... Adder 25 ... Motion vector extraction circuit 26 ... Motion compensation circuit 27 ... Frame memory 28 ... DCT circuit 29 ... Quantization circuit 30 ... Variable length coding circuit 31 ... Output buffer 33 ... NTSC conversion circuit 34 ... VTR 35,44 ... Switch 36 ... TV receiver 37 ... Data recording / reproducing device 40 ... Reproducing circuit 41 ... Input buffer

─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───

【手続補正書】[Procedure amendment]

【提出日】平成9年1月16日[Submission date] January 16, 1997

【手続補正1】[Procedure amendment 1]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】発明の詳細な説明[Correction target item name] Detailed description of the invention

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、MPEG方式等により
動画像が予測符号化により圧縮されて伝送または記録再
生されたデータを記録する場合において、早送り、巻戻
し、静止、スロー再生等の特殊再生に適した形にデータ
を変換するための符号化データの変換に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to special features such as fast-forwarding, rewinding, stillness and slow reproduction when recording data transmitted or recorded / reproduced by compressing a moving image by predictive coding by the MPEG system or the like. The present invention relates to conversion of encoded data for converting data into a form suitable for reproduction.

【0002】[0002]

【従来の技術】近年、マルチメディア技術の進展と共に
デジタル動画像の圧縮・伸長方式が種々提案されてい
る。これら動画像の圧縮・伸長方式の高能率高圧縮率動
画像符号化の標準化案として代表的なMPEG(Mot
ion Picture Image Codeing
Experts Group)方式が提案されてい
る。このMPEG方式によるデータ構造は階層構造にな
っており、上位よりビデオシーケンス層、単体で独立再
生が可能なGOP(Group of Pictur
e)層、輝度・色差画像情報を含め、まとまった画像を
構成するフレーム層、走査順のスライス層、左右及び上
下の輝度、色差ブロックよりなるマクロブロック層、輝
度又は色差の隣り合った8ライン×8画素から構成され
るブロック層からなっている。
2. Description of the Related Art In recent years, various types of digital moving image compression / expansion methods have been proposed with the progress of multimedia technology. A high efficiency and high compression ratio of these moving image compression / decompression methods A typical MPEG (Mot
ion Picture Image Coding
The Experts Group) method has been proposed. The data structure according to the MPEG system has a hierarchical structure, and a video sequence layer from the upper part and a GOP (Group of Pictures) capable of independent reproduction independently.
e) Layers, frame layers that make up a grouped image including luminance / color difference image information, slice layers in scan order, left and right and top and bottom luminance, macroblock layers consisting of color difference blocks, and 8 lines with adjacent luminance or color differences The block layer is composed of × 8 pixels.

【0003】これらMPEG方式によるデータ構造の中
で、特にビットストリーム(GOP層)中に含まれるデ
ジタル動画像のデータの一部は高能率高圧縮率動画像符
号化されて転送される。デジタル動画像データは、一般
に高い冗長性(削減可能な情報)を有していることがあ
る。即ち、ある画像の中の画素データ値と近傍の画素デ
ータ値との間に高い相関があることを利用して、空間方
向の冗長度を削減する方法としての直交変換があり、時
間方向の冗長度を削減する方法にはフレーム間予測があ
る。MPEG方式では、これら直交変換とフレーム間予
測を組み合わせたハイブリッド符号化の手法を用い、直
交変換としてDCT(DiscreteCosine
Transform:離散コサイン変換)が使われ、フ
レーム間予測では動き補償フレーム間予測が取り入れら
れている。
Among these MPEG data structures, a part of the digital moving picture data contained in the bit stream (GOP layer) is coded with high efficiency and high compression rate and transferred. Digital moving image data may generally have high redundancy (reducible information). That is, there is orthogonal transformation as a method for reducing the redundancy in the spatial direction by utilizing the high correlation between the pixel data value in a certain image and the pixel data value in the vicinity, and the redundancy in the time direction is used. Interframe prediction is a method of reducing the degree. In the MPEG system, a hybrid coding method that combines these orthogonal transforms and interframe prediction is used, and DCT (Discrete Cosine) is used as the orthogonal transform.
(Transform: Discrete Cosine Transform) is used, and motion-compensated inter-frame prediction is incorporated in inter-frame prediction.

【0004】デジタル動画像を効率良く圧縮するために
は、先ず、動き補償フレーム間予測の手法によって、複
数の画像のフレームに対して、基準になる画像である参
照画像データと、対象となる対象画像のデータ間の演算
を行い、動きベクトル及び差分データを検出し、フレー
ム間の画像の動きの予測が可能な形態にすることで時間
方向の冗長度を削減する。そして、次に、得られた動き
ベクトル及び差分データをDCT変換及び、量子化する
ことにより、画像データの高周波項に含まれる削減可能
な情報が丸められ、空間方向の冗長度が削減される。ま
た、そのデータの発生頻度に応じた符号長を割り当てる
可変長符号化を使うことによって、更に情報圧縮が可能
となる。
In order to efficiently compress a digital moving image, first, reference image data, which is a standard image, and a target object are used for a plurality of image frames by a motion compensation inter-frame prediction method. Redundancy in the time direction is reduced by performing a calculation between image data, detecting a motion vector and difference data, and adopting a form capable of predicting an image motion between frames. Then, by performing DCT transformation and quantization on the obtained motion vector and difference data, the reducible information included in the high frequency term of the image data is rounded, and the redundancy in the spatial direction is reduced. Further, it is possible to further compress the information by using the variable length coding which assigns the code length according to the frequency of occurrence of the data.

【0005】図6は、MPEG方式における画面のタイ
プを示し、Iフレーム、Pフレーム、Bフレームという
3つがある。添字は原画像の順序を示している。図6は
一例として最初の画面をIフレームとし、Iフレーム又
はPフレームとPフレームの間にBフレームを2フレー
ム挿入した場合を示している。Iフレーム(イントラ符
号化画面)は、画面のすべてを同一フレーム内の画像デ
ータのみを用いて符号化するフレーム内符号化画面であ
り、自分自身の画像データのみで画像を再構成出来る。
Pフレーム(順方向予測符号化画面)は、図中で示す
関係のように、時間的に後方(過去)にあるIフレーム
(又はPフレーム)に対する画像との動き補償、即ち動
きベクトル及び差分を求めて符号化する画面である。時
間的に後方の
FIG. 6 shows the types of screens in the MPEG system, and there are three types: I frame, P frame and B frame. The subscript indicates the order of the original images. FIG. 6 shows an example in which the first screen is an I frame and two B frames are inserted between the I frame or P frame and the P frame. The I frame (intra-coded screen) is an intra-frame coded screen that encodes the entire screen using only image data in the same frame, and an image can be reconstructed using only its own image data.
The P frame (forward predictive coding screen) shows motion compensation, that is, a motion vector and a difference, with respect to an I frame (or P frame) that is temporally backward (past), as shown in the relationship in the figure. This is a screen for obtaining and encoding. Backward in time

【0006】Bフレーム(双方向予測符号化画面)は図
中と、或いはとで示す関係のように、時間的に
後方のI(又はP)フレームに対する画像との順方向動
き補償を行なうと共に、時間的に前方(未来)のP(又
はI)フレームに対する画像との逆方向動き補償を行な
い、夫々の動き補償で得られた差分を比較演算し、差の
少ない方を選択し、符号化する画面である。MPEG方
式では、動きベクトルの検出はデータ階層の内、マクロ
ブロックを単位として行なうブロックマッチング法を採
用している。図7に示すように、MPEG方式において
1画面のフレーム層を704×480画素を対象とした
場合、ブロックマッチング法で用いるマクロブロックの
単位は、16×16画素である。
The B frame (bidirectional predictive coding screen) performs forward motion compensation with the image for the I (or P) frame that is temporally backward, as shown in the relationship between and in the figure. The backward motion compensation with respect to the image for the P (or I) frame that is temporally forward (future) is performed, the difference obtained by each motion compensation is compared and calculated, and the one having the smaller difference is selected and encoded. It is a screen. The MPEG method employs a block matching method for detecting a motion vector in units of macroblocks in a data hierarchy. As shown in FIG. 7, when the frame layer of one screen is 704 × 480 pixels in the MPEG system, the unit of macroblock used in the block matching method is 16 × 16 pixels.

【0007】即ち、1つのマクロブロック単位で、時間
的に経過した画像であって演算の対象になる画像(対象
画像)の移動先を求めるための基準となる画像(参照画
像)に対する動きベクトル及び差分を求める動き補償を
行う。例えば、図7(b)に示すように1つのマクロブ
ロックを参照画像の画素データとすると、参照画像上で
の動き補償によって得られた動きベクトルの位置に予測
される画像(予測画像と呼ぶ)に差分の画像データ(差
分画像)を加えた画像が対象画像となる。このブロック
マッチング法を用いた動き補償の方法は、特公平6−5
4976号公報、特公平6−95757号公報等に開示
されているので詳細の説明は省略する。
That is, in one macroblock unit, a motion vector and a motion vector for a reference image (reference image) for obtaining a moving destination of an image (target image) which is an operation target image and which has elapsed in time. Motion compensation is performed to find the difference. For example, when one macroblock is used as pixel data of a reference image as shown in FIG. 7B, an image predicted at the position of a motion vector obtained by motion compensation on the reference image (referred to as a prediction image) The image obtained by adding the differential image data (difference image) to is the target image. The motion compensation method using this block matching method is described in Japanese Patent Publication No. 6-5.
Since it is disclosed in Japanese Patent Publication No. 4976, Japanese Patent Publication No. 6-95757, etc., detailed description thereof will be omitted.

【0008】次に、ビットストリームの各フレームに対
して動き補償を行ない、これを符号化処理し、データ圧
縮する時の処理の方法を図8を用いて説明する。図8
は、1つのマクロブロック(16×16画素)を4等分
した時の様子を示し、この内の1つの大きさをサブブロ
ック(8×8画素)と呼び、符号化処理であるDCT変
換や量子化による画像データの圧縮処理がこのサブブロ
ックを単位として行われる。ここで言う符号化処理と
は、 1枚の画像(例えば704×480画素)を8×8画
素の正方形の画素ブロック(サブブロック)に分割す
る。 正方形のサブブロック毎に変換を行う。→DCT変換 変換後の各係数をある除数(量子化ステップと呼ぶ)
で割り算を行い、余りを丸める。→量子化 を言う。
Next, a method of performing motion compensation for each frame of the bit stream, encoding this, and compressing the data will be described with reference to FIG. FIG.
Shows a state in which one macroblock (16 × 16 pixels) is divided into four equal parts, and one size in this is called a subblock (8 × 8 pixels), which is a DCT transform that is an encoding process. Image data compression processing by quantization is performed in units of this sub-block. The encoding process referred to here is that one image (for example, 704 × 480 pixels) is divided into 8 × 8 pixel square pixel blocks (sub-blocks). Conversion is performed for each square sub-block. → DCT transformation Each coefficient after transformation is a divisor (called quantization step)
Divide by and round the remainder. → Says quantization.

【0009】図8において、1つのマクロブロックを4
等分した内の1つ、例えば図中のサブブロックに対し
てDCT変換を行った後、量子化の処理を行いデータの
圧縮を行っている。これらの処理を他のサブブロック
からに対しても同様に行ない、その後、各サブブロッ
クの番号に相当する場所に戻し、16×16個の符号デ
ータを構成する。図9は順次入力される各フレームの原
画像を処理する動画像符号化装置10のブロック図であ
る。尚、以下の説明における各処理は、上述のようにマ
クロブロック単位で行われる。図9において符号11は
フレームAメモリである。フレームAメモリ11の出力
はDCT変換回路12に接続され、所定フレームのデー
タがDCT変換された後、量子化回路16及び可変長符
号化回路17を経て、フレームBメモリ18に記憶され
る。また、フレームAメモリ11内のデータは、動き検
出回路13に供給され、所定フレーム間の動きベクトル
及び差分が検出され、動きベクトルはMVメモリ14
に、差分は差分メモリ15に夫々記憶される。
In FIG. 8, one macroblock is divided into four.
After performing DCT transformation on one of the equally divided sub-blocks, for example, the sub-block in the figure, quantization processing is performed to compress data. These processes are similarly performed from other sub-blocks, and thereafter, the process is returned to the place corresponding to the number of each sub-block to form 16 × 16 code data. FIG. 9 is a block diagram of a moving picture coding apparatus 10 that processes original images of each frame that are sequentially input. Each processing in the following description is performed in macroblock units as described above. In FIG. 9, reference numeral 11 is a frame A memory. The output of the frame A memory 11 is connected to the DCT conversion circuit 12, and after the data of a predetermined frame is DCT-converted, it is stored in the frame B memory 18 via the quantization circuit 16 and the variable length coding circuit 17. Further, the data in the frame A memory 11 is supplied to the motion detection circuit 13, the motion vector and the difference between predetermined frames are detected, and the motion vector is stored in the MV memory 14.
The differences are stored in the difference memory 15, respectively.

【0010】差分メモリ15に記憶されている差分画像
の画素データはDCT変換回路12でDCT変換された
後、量子化回路16及び可変長符号化回路17を経て、
フレームBメモリ18に記憶される。また、動きベクト
ルは可変長符号化回路17の中で、その動きベクトルに
対応する符号化処理された差分画像の画素データのヘッ
ダとして付加された状態でフレームBメモリ18に記憶
される。では、ここで動画像符号化装置10における処
理フローを図9及び図10を用いて説明する。先ず、ビ
ットストリームの各フレームはIフレーム、Bフレ
ーム、Bフレーム、Pフレームの順にフレームAメ
モリ11に格納される。先ず、Iフレームはステップ
S1でDCT変換回路12によりDCT変換された後、
ステップS2で量子化回路16により量子化され、ステ
ップS3で可変長符号化回路17により可変長符号化の
処理が行われ、フレームBメモリ18に記憶される。
The pixel data of the difference image stored in the difference memory 15 is DCT-converted by the DCT conversion circuit 12 and then passed through the quantization circuit 16 and the variable-length coding circuit 17,
It is stored in the frame B memory 18. The motion vector is stored in the frame B memory 18 in the variable-length coding circuit 17 in the state of being added as a header of the pixel data of the coded difference image corresponding to the motion vector. Now, a processing flow in the moving picture coding apparatus 10 will be described here with reference to FIGS. 9 and 10. First, each frame of the bit stream is stored in the frame A memory 11 in the order of I 1 frame, B 2 frame, B 3 frame, and P 4 frame. First, after the I 1 frame is DCT-converted by the DCT conversion circuit 12 in step S1,
Quantization is performed by the quantization circuit 16 in step S2, variable length encoding processing is performed by the variable length encoding circuit 17 in step S3, and the result is stored in the frame B memory 18.

【0011】ここでIフレームの画像データが画素デ
ータとして扱われることを示す記号「E」を付すと共
に、画素データが符号化されたことを示す記号「C」を
付し、CEIと記す。次に、フレームAメモリ11に
格納されているIフレーム及びBフレームをステッ
プS4で動き検出回路13に呼出し、ブロックマッチン
グ法により順方向動き検出を行なう。即ち、Bフレー
ムの画素データを過去の画像であるIフレームの画素
データと比較演算し、動きベクトル及び差分を求め、動
きベクトルはMVメモリ14に、差分は差分メモリ15
に夫々記憶する。この時、動きベクトルを示す記号とし
て「V」を付し、VBと記す。また、差分画像の画素
データを示す記号「EΔ」を付し、EΔBと記す。
Here, a symbol "E" indicating that the image data of the I 1 frame is treated as pixel data is attached, and a symbol "C" indicating that the pixel data is encoded is attached, which is referred to as CEI 1. . Next, the I 1 frame and the B 2 frame stored in the frame A memory 11 are called to the motion detection circuit 13 in step S4, and forward motion detection is performed by the block matching method. That is, the pixel data of the B 2 frame is compared and calculated with the pixel data of the I 1 frame which is a past image to obtain a motion vector and a difference. The motion vector is stored in the MV memory 14, and the difference is stored in the difference memory 15.
Memorize each. At this time, "V" is added as a symbol indicating the motion vector, which is referred to as VB 2 . In addition, a symbol “EΔ” indicating the pixel data of the difference image is attached and is referred to as EΔB 2 .

【0012】また、ステップS5及びステップS6にお
いて、Bフレーム及びPフレームについてもB
レームと同様の処理を行い、VB、EΔB及びVP
、EΔPを得る。Pフレームの差分画像の画素デ
ータ(EΔP)は、ステップS7のDCT変換回路1
2で変換され、ステップS8で量子化回路16により量
子化された後、ステップS9で可変長符号化回路17に
供給される。ステップS9において、MVメモリ14に
記憶されている動きベクトル(VP)を呼出し、差分
画像の画素データ(EΔP)のヘッダとして動きベク
トル(VP)を付加し、可変長符号化回路17で可変
長符号化の処理を行った後、フレームBメモリ18に記
憶される(Iフレームと同様にCEΔPと記す)。
Further, in steps S5 and S6, the B 3 frame and the P 4 frame are processed in the same manner as the B 2 frame, and VB 3 , EΔB 3 and VP are processed.
4 and EΔP 4 are obtained. The pixel data (EΔP 4 ) of the difference image of the P 4 frame is the DCT conversion circuit 1 of step S7.
It is converted in step 2, and is quantized by the quantization circuit 16 in step S8, and then supplied to the variable length coding circuit 17 in step S9. In step S9, the motion vector (VP 4 ) stored in the MV memory 14 is called, the motion vector (VP 4 ) is added as a header of the pixel data (EΔP 4 ) of the difference image, and the variable length encoding circuit 17 After the variable-length coding process is performed, it is stored in the frame B memory 18 (denoted as CEΔP 4 similarly to the I 1 frame).

【0013】次に、ステップS10において、フレーム
Aメモリ11に記憶されているPフレームとBフレ
ームを動き検出回路13に呼出し、ブロックマッチング
法により逆方向動き検出を行なう。即ち、Bフレーム
の画像データを未来の画像であるPフレームの画像デ
ータと比較演算し、逆方向動きベクトル及び差分を求め
る。次に、差分メモリ15に記憶されているBフレー
ムの順方向差分と逆方向差分を夫々呼出し、比較演算
し、数値の少ない方の差分画像の画素データ(EΔ
)を選択する。この選択された差分画像の画素デー
タ(EΔB)はステップS11でDCT変換回路12
により変換され、ステップS12で量子化回路16によ
り量子化された後、ステップS13で可変長符号化回路
17に供給される。
[0013] Next, in step S10, calls the P 4 frames and B 3 frames stored in the frame memory A 11 to the motion detecting circuit 13 performs the backward motion detected by the block matching method. That is, the image data of the B 3 frame is compared with the image data of the P 4 frame, which is a future image, to obtain the backward motion vector and the difference. Next, the forward direction difference and the backward direction difference of the B 3 frame stored in the difference memory 15 are respectively called and compared, and the pixel data (EΔ) of the difference image having the smaller numerical value is calculated.
B 3 ) is selected. The pixel data (EΔB 3 ) of the selected difference image is output to the DCT conversion circuit 12 in step S11.
Are converted by the quantization circuit 16 and are quantized by the quantization circuit 16 in step S12, and then supplied to the variable length coding circuit 17 in step S13.

【0014】ここでMVメモリ14に記憶されている動
きベクトルの中から先に差分として選択した方の動きベ
クトル(VB)を呼び出し、Bフレームの差分画像
の画素データ(EΔB)のヘッダとして動きベクトル
(VB)を付加し、ステップS13で可変長符号化回
路17により可変長符号化の処理を行った後、フレーム
Bメモリ18に記憶する(CEΔB)。また、ステッ
プS14からステップS17のステップにおいて、B
フレームに対してもBフレームの時と同様の処理を行
い、結果をフレームBメモリ18に記憶する(CEΔB
)。フレームBメモリ18に記憶された各符号化され
た画像データ、CEI、CEΔP、CEΔB、C
EΔBは、I、P、B、Bの順に並べられビ
ットストリームの形態で送出される。
Here, the motion vector (VB 3 ) which has been selected as a difference from the motion vectors stored in the MV memory 14 is called, and the header of the pixel data (EΔB 3 ) of the difference image of the B 3 frame is called. As a result, a motion vector (VB 3 ) is added, the variable length coding circuit 17 performs variable length coding processing in step S13, and then the frame B memory 18 stores it (CEΔB 3 ). In addition, in steps S14 to S17, B 2
The same processing as that for the B 3 frame is performed on the frame, and the result is stored in the frame B memory 18 (CEΔB
2 ). Each coded image data stored in the frame B memory 18, CEI 1 , CEΔP 4 , CEΔB 2 , C
EΔB 3 is arranged in the order of I 1 , P 4 , B 2 , and B 3 , and is transmitted in the form of a bitstream.

【0015】図11は、各フレーム層の画像を復号化処
理する動画像復号装置及びその記録再生装置30のブロ
ック図である。図11において、受信されたビットスト
リームは、可変長符号復号回路21で可変長符号の復号
が行われ、逆量子化回路22及び逆DCT(IDCT変
換)回路23を経て加算器24に供給される。一方、可
変長符号復号回路21の出力は動きベクトル抽出回路2
5に供給され、その出力は動き補償回路26に供給され
る。動き補償回路26は動きベクトル抽出回路25で抽
出された動きベクトルとフレームメモリ27に記憶され
ている画像データとの間で動き補償を行い、得られた画
像データ(予測画像)を加算器24に供給し、逆DCT
回路23から得られた画像データと加算する。そして、
加算器24出力の画像データはフレームメモリ27に記
憶される。
FIG. 11 is a block diagram of a moving image decoding apparatus and a recording / reproducing apparatus 30 for decoding the image of each frame layer. In FIG. 11, the received bit stream is subjected to variable length code decoding by a variable length code decoding circuit 21, and is supplied to an adder 24 via an inverse quantization circuit 22 and an inverse DCT (IDCT conversion) circuit 23. . On the other hand, the output of the variable length code decoding circuit 21 is the motion vector extraction circuit 2
5 and its output is supplied to the motion compensation circuit 26. The motion compensation circuit 26 performs motion compensation between the motion vector extracted by the motion vector extraction circuit 25 and the image data stored in the frame memory 27, and the obtained image data (predicted image) is sent to the adder 24. Supply and inverse DCT
The image data obtained from the circuit 23 is added. And
The image data output from the adder 24 is stored in the frame memory 27.

【0016】では、ここで動画像復号装置の処理フロー
を図12を用いて説明する。先ず、各フレームのデータ
は復号化処理が行われる。ここで言う復号化処理とは、 受信した8×8の正方形の画素毎に各係数に量子化ス
テップを掛ける。→逆量子化 8×8の正方形の画素毎に逆変換(逆DCT演算)を
行う。→逆変換 を言う。即ち、ステップS1でIフレームの符号化デ
ータは可変長符号復号回路21によって復号された後、
ステップS2で逆量子化回路22により復号化処理の1
つである逆量子化が行われ、ステップS3で逆DCT変
換回路23により逆変換される。
Now, the processing flow of the moving picture decoding apparatus will be described with reference to FIG. First, the data of each frame is decoded. The decoding process referred to here is to multiply each coefficient by a quantization step for each of the received 8 × 8 square pixels. Inverse quantization Inverse transformation (inverse DCT operation) is performed for each 8 × 8 square pixel. → Say reverse conversion. That is, after the encoded data of the I 1 frame is decoded by the variable length code decoding circuit 21 in step S1,
In step S2, the inverse quantization circuit 22 performs the decoding process 1
The inverse quantization is performed, and the inverse DCT transform circuit 23 performs inverse transform in step S3.

【0017】これにより、Iフレームの符号化データ
(CEI)は符号化係数「C」が解かれIフレーム
の画素データ(EI)が得られる。そして、フレーム
メモリ27に記憶される。次に、Pフレームの符号化
データはステップS4で可変長符号復号化回路21によ
り復号された後、ステップS5で逆量子化され、ステッ
プS6でIDCT変換される。この出力はPフレーム
の差分画像の画素データ(EΔP)として、加算器2
4に供給される。ステップS7において、可変長符号復
号回路21の出力データから動きベクトル抽出回路25
によってPフレームの動きベクトル(VP)が抽出
され、これとステップS3で逆DCT変換回路23から
出力されたIフレームの画素データとが動き補償回路
26に供給され、動き補償が行われる。
[0017] Accordingly, I 1-frame coded data (CEI 1) is I 1 frame pixel data is released is coded coefficient "C" (EI 1) is obtained. Then, it is stored in the frame memory 27. Then, the encoded data of P 4 frame after being decoded by the variable-length code decoding circuit 21 in step S4, the inverse quantization in step S5, the IDCT converted in step S6. This output is added by the adder 2 as pixel data (EΔP 4 ) of the P 4 frame difference image.
4 is supplied. In step S7, the motion vector extraction circuit 25 outputs the output data of the variable length code decoding circuit 21.
The motion vector (VP 4 ) of the P 4 frame is extracted by this, and this and the pixel data of the I 1 frame output from the inverse DCT conversion circuit 23 in step S3 are supplied to the motion compensation circuit 26 to perform motion compensation. .

【0018】即ち、参照画像としてのIフレームの画
素データに、Pフレームの動きベクトルを対応させる
ことでPフレームの予測画像の画素データを得る。そ
して、ステップS8において、差分画像と予測画像が加
算器24で加算され、Pフレームの画素データ(IE
)としてフレームメモリ27に記憶される。尚、こ
こで付した符号「I」は自分自身のデータのみで画像が
復元できると言う意味で「イントラ」タイプのデータで
あることを示すものとする。次にステップS9からステ
ップS11において、Bフレームの復号化処理が同様
に行われ、ステップS11で逆DCT変換回路23から
フレームの差分画像の画素データ(EΔB)が出
力され加算器24に供給される。一方、ステップS12
において、動き補償回路26に供給されるデータは、P
フレーム又はIフレームに対する動きベクトルの
内、差分が小さい方に対する動きベクトルであり、ステ
ップS3又はステップS8の出力であるI又はP
レームの対応する画素データとの間で動き補償が行われ
る。
[0018] That is, the pixel data of the I 1 frame as a reference image, obtaining the pixel data of the predicted image P 4 frame by causing corresponding motion vectors of the P 4 frame. Then, in step S8, the predicted image and the differential image are added by the adder 24, P 4 frames of pixel data (IE
It is stored in the frame memory 27 as P 4 ). The symbol "I" attached here means "intra" type data in the sense that an image can be restored only by its own data. Next, in steps S9 to S11, the decoding processing of the B 2 frame is similarly performed, and in step S11, the inverse DCT conversion circuit 23 outputs the pixel data (EΔB 2 ) of the difference image of the B 2 frame and the adder 24 Is supplied to. On the other hand, step S12
, The data supplied to the motion compensation circuit 26 is P
It is a motion vector for a smaller difference among the motion vectors for 4 frames or I 1 frame, and motion compensation is performed with the corresponding pixel data of I 1 or P 4 frame which is the output of step S3 or step S8. Be seen.

【0019】そして、ステップS13において加算器2
4で差分画像と予測画像が加算され、その出力はB
レームの画素データ(IEB)としてフレームメモリ
27に記憶される。また、Bフレームに対しては、B
フレームの画素データと同様に処理し、ステップS1
4からステップS18を経てBフレームの画素データ
(IEB)としてフレームメモリ27に記憶される。
上述したように、各ステップを経てフレームメモリ27
に記憶された各フレームの画素データは、I,I
、IB、IPの順に抽出され、記録再生装置3
0のNTSC変換回路33でTV信号の形態に変換され
て後、VTR34等の画像記録再生装置によって記録さ
れる。また、受信したデータを直接見る場合は、NTS
C変換回路33の出力信号を直接TV受像機36で再生
することにより、動画像を視聴することができる。ま
た、録画した動画像を再生して見る場合は、スイッチ3
5をVTR34側に切替えて再生画像を視聴することが
できる。また、この様にVTR等に記録すれば通常の動
画再生に加え正逆転、早送り、スロー及び静止画等の特
殊再生が可能であることは良く知られている。
Then, in step S13, the adder 2
In 4, the difference image and the prediction image are added, and the output is stored in the frame memory 27 as pixel data (IEB 2 ) of the B 2 frame. Also, for B 3 frames, B
The same processing as the pixel data of 2 frames is performed, and step S1
The pixel data (IEB 3 ) of the B 3 frame is stored in the frame memory 27 from 4 through step S18.
As described above, the frame memory 27
Pixel data of each frame stored in the, I 1, I
B 2 , IB 3 , and IP 4 are extracted in this order, and the recording / reproducing device 3
After being converted into a TV signal form by the NTSC conversion circuit 33 of 0, it is recorded by an image recording / reproducing device such as a VTR 34. Also, if you want to directly view the received data, NTS
The moving image can be viewed by directly reproducing the output signal of the C conversion circuit 33 on the TV receiver 36. If you want to play back the recorded video, switch 3
5 can be switched to the VTR 34 side to view the reproduced image. It is well known that special recording such as forward / reverse rotation, fast forward, slow and still images can be performed in addition to normal moving image reproduction by recording on a VTR or the like.

【0020】[0020]

【発明が解決しようとする課題】しかし、VTR等の記
録再生装置にアナログ信号として映像信号を録画し、再
生した場合は、画質の劣化が生じる。一方、図6に示す
ビットストリームをデジタル信号のまま記録すれば画質
の劣化は防止できるが、特殊再生する場合に不都合であ
る。即ち、例えば逆方向早送り再生を行う場合、例えば
11、B、B、Bのフレームだけを順次再生す
ることが必要になった場合、GOPのすべてのフレーム
を復号化する手順を踏まなければならない。このために
は、先ずGPO単位にデータを再生して記憶しておき、
全てのフレームを復号化しておかなければ随時、所望の
特殊再生に対応できない。
However, when a video signal is recorded and reproduced as an analog signal in a recording / reproducing apparatus such as a VTR, image quality is deteriorated. On the other hand, if the bit stream shown in FIG. 6 is recorded as a digital signal as it is, deterioration of image quality can be prevented, but it is inconvenient for special reproduction. That is, for example, when performing reverse fast forward reproduction, for example, when it is necessary to sequentially reproduce only B 11 , B 8 , B 4 , and B 2 frames, a procedure for decoding all the frames of the GOP is taken. There must be. To do this, first reproduce and store the data in GPO units,
Unless all frames are decoded, desired special reproduction cannot be supported at any time.

【0021】上記のような再生時の制御やデータ処理は
複雑であり、また、各フレームのデータを画像データの
形態でフレームメモリに記憶するため、メモリ容量が膨
大になる。本発明は、上述した問題点に着目してなされ
たものであり、圧縮動画像データの記録に際し、画質の
劣化やデータ量の増加が少なく特殊再生可能に記録する
ため、予測符号化データをフレーム内符号化データに変
換して記録するようにするための符号化データ変換方
法、符号化データ記録方法、符号化データ変換装置及び
符号化データ記録装置を提供することを目的とする。
The control and data processing at the time of reproduction as described above are complicated, and since the data of each frame is stored in the frame memory in the form of image data, the memory capacity becomes enormous. The present invention has been made in view of the above-mentioned problems. When recording compressed moving image data, the predictive coded data is recorded in a frame so as to enable special reproduction with little deterioration in image quality and increase in data amount. An object of the present invention is to provide an encoded data conversion method, an encoded data recording method, an encoded data conversion device, and an encoded data recording device for converting and recording inner encoded data.

【0022】[0022]

【課題を解決するための手段】本発明は上述した課題に
着目してなされたもので、請求項1記載の符号化データ
記録方法は、対象画像の参照画像に対する動き補償と直
交変換により求められた動きベクトルおよび差分画像の
直交変換係数を含む予測符号化データをフレーム内符号
化データに変換して記録することを特徴とする。
The present invention has been made in view of the above-mentioned problems, and the coded data recording method according to claim 1 is obtained by motion compensation and orthogonal transformation of a reference image of a target image. It is characterized in that the predictive coded data including the motion vector and the orthogonal transform coefficient of the difference image are converted into intraframe coded data and recorded.

【0023】また、請求項2記載の符号化データ変換方
法は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換方法であって、参照画像
の画素データを得る段階と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する段階と、差分画像の直交変換係数を
逆直交変換し該差分画像の画素データを得る段階と、こ
の得られた差分画像画素データと抽出された予測画像画
素データとを加算し対象画像の画素データとする段階
と、この対象画像の画素データを直交変換しフレーム内
符号化データとしての対象画像の直交変換係数とする段
階を有することを特徴とする。
Further, in the coded data conversion method according to the second aspect, the predictive coded data including the motion vector obtained by the motion compensation and the orthogonal conversion of the reference image of the target image and the orthogonal transform coefficient of the difference image are intra-framed. A coded data conversion method for converting into coded data, the step of obtaining pixel data of a reference image, and the step of extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And a step of performing inverse orthogonal transformation of the orthogonal transformation coefficient of the difference image to obtain pixel data of the difference image, and adding the obtained difference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image. And a step of orthogonally transforming the pixel data of the target image into an orthogonal transform coefficient of the target image as intraframe coded data. To.

【0024】また、請求項3記載の符号化データ変換装
置は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換装置であって、参照画像
の画素データを得る手段と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する手段と、差分画像の直交変換係数を
逆直交変換し該差分画像の画素データを得る手段と、こ
の得られた参照画像画素データと抽出された予測画像画
素データとを加算し対象画像の画素データとする手段
と、この対象画像の画素データを直交変換しフレーム内
符号化データとしての対象画像の直交変換係数とする手
段を有することを特徴とする。
The coded data conversion apparatus according to a third aspect of the present invention includes, within a frame, predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A coded data conversion device for converting into coded data, means for obtaining pixel data of a reference image, and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image. And means for inversely orthogonally transforming the orthogonal transformation coefficient of the difference image to obtain pixel data of the difference image, and the obtained reference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image. And a means for orthogonally transforming the pixel data of the target image to obtain an orthogonal transform coefficient of the target image as intraframe coded data. To.

【0025】また、請求項4記載の符号化データ変換方
法は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換方法であって、参照画像
の画素データを得る段階と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する段階と、抽出された予測画像画素デ
ータを直交変換し予測画像の直交変換係数を求める段階
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする段階を有することを
特徴とする。
Further, in the coded data conversion method according to the fourth aspect, the predictive coded data including the motion vector obtained by the motion compensation and the orthogonal transform of the reference image of the target image and the orthogonal transform coefficient of the difference image are intra-framed. A coded data conversion method for converting into coded data, the step of obtaining pixel data of a reference image, and the step of extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And a step of orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transformation coefficient of the predicted image, and adding the obtained orthogonal transformation coefficient of the predicted image and the orthogonal transformation coefficient of the difference image to intra-frame encoded data. It is characterized in that it has a step of making an orthogonal transformation coefficient of the transformed target image.

【0026】また、請求項5記載の符号化データ変換装
置は、対象画像の参照画像に対する動き補償と直交変換
により求められた動きベクトルおよび差分画像の直交変
換係数を含む予測符号化データをフレーム内符号化デー
タに変換する符号化データ変換装置であって、参照画像
の画素データを得る手段と、対象画像の動きベクトルに
基づいて、得られた参照画像画素データから予測画像画
素データを抽出する手段と、抽出された予測画像画素デ
ータを直交変換し予測画像の直交変換係数を求める手段
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする手段を有することを
特徴とする。
The coded data conversion apparatus according to a fifth aspect of the present invention includes, within a frame, predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A coded data conversion device for converting into coded data, means for obtaining pixel data of a reference image, and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image. And means for orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transform coefficient of the predicted image, and a means for adding the obtained orthogonal transform coefficient of the predicted image and the orthogonal transform coefficient of the difference image to intraframe coded data. It is characterized in that it has means for making an orthogonal transformation coefficient of the transformed target image.

【0027】また、請求項6記載の符号化データ変換記
録装置は、対象画像の参照画像に対する動き補償と直交
変換により求められた動きベクトルおよび差分画像の直
交変換係数を含む予測符号化データをフレーム内符号化
データに変換し記録する記録装置であって、参照画像の
画素データを得る手段と、対象画像の動きベクトルに基
づいて、得られた参照画像画素データから予測画像画素
データを抽出する手段と、抽出された予測画像画素デー
タを直交変換し予測画像の直交変換係数を求める手段
と、求められた予測画像の直交変換係数と差分画像の直
交変換係数とを加算しフレーム内符号化データに変換さ
れた対象画像の直交変換係数とする手段と、この対象画
像の直交変換係数を所定の記録媒体に記録する記録手段
を有することを特徴とする。
Further, the coded data conversion recording device according to a sixth aspect of the present invention frame-codes predictive coded data including a motion vector obtained by motion compensation and orthogonal transformation of a reference image of a target image and an orthogonal transformation coefficient of a difference image. A recording device for converting into intra-encoded data and recording, and means for obtaining pixel data of a reference image and means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of a target image And means for orthogonally transforming the extracted predicted image pixel data to obtain an orthogonal transform coefficient of the predicted image, and a means for adding the obtained orthogonal transform coefficient of the predicted image and the orthogonal transform coefficient of the difference image to intraframe coded data. The present invention is characterized by having means for making an orthogonal transformation coefficient of the transformed target image, and recording means for recording the orthogonal transformation coefficient of the subject image on a predetermined recording medium. To.

【0028】また、請求項7記載の符号化データ変換方
法は、請求項4においてフレーム内符号化データに変換
された対象画像の直交変換係数を逆直交変換し対象画像
の画素データとする段階を更に有することを特徴とす
る。
The coded data conversion method according to a seventh aspect of the present invention includes a step of inversely orthogonally transforming the orthogonal transform coefficient of the target image converted into the intraframe coded data in the fourth aspect to obtain pixel data of the target image. It is characterized by further having.

【0029】[0029]

【作用】 (1)請求項1の発明においては、予測符号化データが
フレーム内符号化データに変換されて記録されるので、
特殊再生が容易となる。 (2)請求項2及び3の発明においては、先ず対象画像
の動きベクトルに基づいて参照画像画素データから予測
画像画素データが抽出され、一方、差分画像の直交変換
係数が逆変換されて画素データとされる。これら予測画
像画素データと差分画像画素データが加算されて対象画
像の画素データが得られる。そしてこれを直交変換する
ことにより、フレーム内符号化データとすることができ
る。 (3)請求項4及び5の発明においては、先ず対象画像
の動きベクトルに基づいて参照画像画素データから予測
画像画素データが抽出され、これが直交変換されて予測
画像直交変換係数とされる。これと、差分画像の直交変
換係数とを加算することにより、フレーム内符号化デー
タとすることができる。 (4)請求項6の発明においては、上記(3)項と同様
にフレーム内符号化データに変換された対象画像の直交
変換係数が求められ、これが記録手段により所定の記録
媒体に記録される。 (5)請求項7の発明においては、先ず、上記(3)項
と同様にフレーム内符号化データに変換された対象画像
の直交変換係数が求められ、特殊再生可能な記録信号が
得られる。次いで、これが逆直交変換されて対象画像の
画素データとなる。これにより、従前の記録再生装置で
記録や視聴が可能な信号を得ることができる。
(1) In the invention of claim 1, since the predictive encoded data is converted into the intra-frame encoded data and recorded,
Special reproduction becomes easy. (2) In the inventions of claims 2 and 3, first, the predicted image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, while the orthogonal transform coefficient of the difference image is inversely transformed to obtain the pixel data. It is said that The predicted image pixel data and the difference image pixel data are added to obtain the pixel data of the target image. By orthogonally transforming this, it is possible to obtain intraframe coded data. (3) In the inventions of claims 4 and 5, first, the predicted image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, and the predicted image pixel data is orthogonally transformed to obtain the predicted image orthogonal transformation coefficient. By adding this and the orthogonal transformation coefficient of the difference image, it is possible to obtain intraframe coded data. (4) In the invention of claim 6, the orthogonal transformation coefficient of the target image converted into the intra-frame coded data is obtained in the same manner as in the above (3), and this is recorded on the predetermined recording medium by the recording means. . (5) In the invention of claim 7, first, the orthogonal transform coefficient of the target image converted into the intra-frame coded data is obtained in the same manner as in the above (3), and a special reproducible recording signal is obtained. Next, this is subjected to inverse orthogonal transform to become pixel data of the target image. As a result, it is possible to obtain a signal that can be recorded or viewed by the conventional recording / reproducing apparatus.

【0030】[0030]

【実施例】図1は本発明の第1実施例による動画像再処
理回路及びその再生回路のブロック図である。尚、本発
明の実施例を説明するに当たり、従来例と同一部分には
同一の符号を付し、重複する説明を省略する。また、図
2は動画像再処理回路20に対する処理フロー図であ
り、図1に示す可変長符号復号回路及び逆量子化回路の
ステップを省略した処理フロー図としてある。図1
(a)において、動画像再処理回路20に入力に供給さ
れた各フレームの画像データは、可変長符号復号回路2
1で復号された後、復号化処理である逆量子化回路22
及びIDCT回路23に供給される。IDCT回路23
で逆DCT変換されたデータは、加算器24に供給され
る。
1 is a block diagram of a moving image reprocessing circuit and its reproducing circuit according to a first embodiment of the present invention. In the description of the embodiments of the present invention, the same parts as those of the conventional example are designated by the same reference numerals, and the duplicated description will be omitted. 2 is a processing flow chart for the moving image reprocessing circuit 20, and is a processing flow chart in which steps of the variable length code decoding circuit and the inverse quantization circuit shown in FIG. 1 are omitted. FIG.
In (a), the image data of each frame supplied to the input to the moving image reprocessing circuit 20 is the variable length code decoding circuit 2
Inverse quantization circuit 22 which is a decoding process after being decoded by 1.
And the IDCT circuit 23. IDCT circuit 23
The data subjected to the inverse DCT conversion in (1) is supplied to the adder 24.

【0031】一方、可変長符号復号回路21で復号され
たデータは動きベクトル抽出回路25に供給され、動き
ベクトルのデータが抽出される。抽出された動きベクト
ルデータは、動き補償回路26に供給される。動き補償
回路26の出力データとIDCT回路23の出力データ
は加算器24で加算され、その出力データはフレームメ
モリ27に記憶される。フレームメモリ27の出力は動
き補償回路26に供給されている。また、加算器24の
出力データはDCT回路28及び量子化回路29で再符
号化された後、可変長符号化回路30を経て出力バッフ
ア回路31に供給される。また、出力バッファ回路31
は動画像再処理回路20の入力端子に接続されている。
出力バッファ回路31の出力はデータ記録再生装置37
に供給される。データ記録再生装置37は、この符号化
データを記録再生する。
On the other hand, the data decoded by the variable length code decoding circuit 21 is supplied to the motion vector extraction circuit 25, and the motion vector data is extracted. The extracted motion vector data is supplied to the motion compensation circuit 26. The output data of the motion compensation circuit 26 and the output data of the IDCT circuit 23 are added by the adder 24, and the output data is stored in the frame memory 27. The output of the frame memory 27 is supplied to the motion compensation circuit 26. The output data of the adder 24 is re-encoded by the DCT circuit 28 and the quantizing circuit 29, and then supplied to the output buffer circuit 31 via the variable length encoding circuit 30. In addition, the output buffer circuit 31
Is connected to the input terminal of the moving image reprocessing circuit 20.
The output of the output buffer circuit 31 is the data recording / reproducing device 37.
Is supplied to. The data recording / reproducing device 37 records / reproduces this encoded data.

【0032】図1(b)において、再生された符号化デ
ータは再生回路40に供給され、入力バッファ41を経
て可変長符号復号回路42で再び復号化され、逆量子化
回路43及びIDCT回路44で復号化処理が行われ
る。復号化された画素データはNTSC変換回路33で
アナログ画像データに変換された後、TV受像機に供給
され、動画像の映像が視聴される。ここで、動画像を符
号化し、ビットストリームの形態で送出された画像デー
タを復号化し、再び符号化データに変換するデータ処理
の関係を数式を用いて説明しておく。
In FIG. 1B, the reproduced coded data is supplied to the reproducing circuit 40, is decoded again by the variable length code decoding circuit 42 via the input buffer 41, and is dequantized by the inverse quantization circuit 43 and the IDCT circuit 44. The decryption process is performed. The decoded pixel data is converted into analog image data by the NTSC conversion circuit 33 and then supplied to the TV receiver to watch a moving image. Here, the relationship of data processing of encoding a moving image, decoding image data transmitted in the form of a bit stream, and converting it into encoded data again will be described using mathematical expressions.

【0033】[0033]

【数1】(Equation 1)

【0034】[0034]

【数2】(Equation 2)

【0035】[0035]

【数3】(Equation 3)

【0036】[0036]

【数4】(Equation 4)

【0037】式1及び式2は、動画像の画像データを符
号化処理するときの関係を示したものである。式1の左
辺は、Iピクチャの画像ブロックをDCT係数化したも
の、即ちDCT変換したもの(CEI)を示し、右辺の
ように、Iピクチャの画素データ(EI)をDCT係数
でマトリックス掛算して求められることを示している。
実際には、画素データは図7に示したように8×8画素
のサブブロック単位に符号化されるが、この時サブブロ
ックが8桁、8行のマトリックスの形態で各々演算され
ることを意味している。
Equations 1 and 2 show the relationship when the image data of the moving image is encoded. The left side of Expression 1 indicates a DCT coefficient of an I-picture image block, that is, DCT-transformed (CEI). Like the right side, pixel data (EI) of the I-picture is matrix-multiplied by a DCT coefficient. It shows that it is required.
Practically, the pixel data is encoded in 8 × 8 pixel sub-block units as shown in FIG. 7. At this time, the sub-blocks are calculated in the form of a matrix of 8 digits and 8 rows. I mean.

【0038】同様に、式2は、Pピクチャ又はBピクチ
ャに対して記述したものであり、左辺は、Pピクチャ又
はBピクチャの差分画素データを符号化したもの(CE
ΔP、CEΔB)を示し、右辺は、Pピクチャ又はBピ
クチャの画素データ(EP、EB)から対応する予測画
像データ(予測画像を示す記号「F」を付す)をマトリ
ックス引算したもの、即ち差分画素データ(EΔP、
B)をDCT変換したことを示している。図7(b)で
説明したように、例えばPピクチャの画素データは差分
画像の画素データと予測画像の画素データをマトリック
ス加算したものであるが、符号化する場合は、Pピクチ
ャの画素データ(EP)から、予測画像の画素データ
(EFP)をマトリックス引算したもの、即ち差分画像
の画素データ(EΔP)を符号化する。
Similarly, Expression 2 is described for a P picture or a B picture, and the left side is obtained by encoding differential pixel data of the P picture or the B picture (CE
ΔP, CEΔB), and the right side is a matrix subtraction of pixel data (EP, EB) of the P picture or B picture from the corresponding predicted image data (with a symbol “F” indicating the predicted image), that is, the difference. Pixel data (EΔP,
It shows that B) is DCT-transformed. As described with reference to FIG. 7B, for example, the pixel data of the P picture is the pixel data of the difference image and the pixel data of the prediction image that are matrix-added. However, when encoding, the pixel data of the P picture ( EP) is subjected to matrix subtraction of pixel data (EFP) of the predicted image, that is, pixel data (EΔP) of the difference image is encoded.

【0039】式3は、上述した符号化された画像データ
を復号化する時の数式であり、一般に復号器側でこれを
復号する時は、以下のようにしている。即ち、符号化さ
れたPピクチャ又はBピクチャの画像データ(CEΔ
P、CEΔB)をIDCT変換し、これに各々の予測画
像の画素データをマトリックス加算したものをPピクチ
ャ又はBピクチャの画素データとしている。今、Pピク
チャ又はBピクチャのイントラタイプのDCT係数を得
るために、式3の両辺をDCT変換することを考える
と、これより式4を得ることになる。式4の最後の辺
は、イントラタイプでないPピクチャ又はBピクチャの
画像データ(CEΔP、CEΔB)がイントラ化された
ことを示すため、「CIEP、B」と記したものであ
る。よって、式4から、イントラ化された各ピクチャ
(Pピクチャ又はBピクチャ)の画像データは、予測画
像の画素データを動き補償より求め、これをDCT変換
したものと、各ピクチャの予測符号化によるDCT係数
の画像データをマトリックス加算すれば得られることが
分る。
Expression 3 is a mathematical expression for decoding the above-mentioned coded image data, and generally when decoding this on the decoder side, the following is performed. That is, the encoded P-picture or B-picture image data (CEΔ
(P, CEΔB) is subjected to IDCT conversion, and pixel data of each predicted image is added to this by matrix to obtain pixel data of P picture or B picture. Now, considering that DCT conversion is performed on both sides of Expression 3 in order to obtain an intra-type DCT coefficient of a P picture or a B picture, Expression 4 is obtained from this. The last side of Expression 4 is described as “CIEP, B” to indicate that the image data (CEΔP, CEΔB) of a P picture or B picture that is not an intra type has been converted to intra. Therefore, from Equation 4, the image data of each intra-coded picture (P picture or B picture) is obtained by subjecting the pixel data of the predicted image to motion compensation, DCT-transformed this, and predictive coding of each picture. It can be seen that the image data of the DCT coefficient can be obtained by matrix addition.

【0040】では、図2の処理フロー図を用いて動画像
再処理回路20の動作説明を行う。先ず、動画像再処理
回路20の入力端子に供給されたIフレームの画像デ
ータ(CEI)はステップS1において、IDCT回
路23で逆DCT変換された(EI)後、ステップS
2でフレームメモリ27にIフレームの画素データと
して記憶される。同様に、Pフレームの画像データ
(CEΔP)はステップS3でIDCT回路23で逆
DCT変換された(EΔP)後、加算器24に供給さ
れる。ステップS4で動き補償回路26において、動き
ベクトル抽出回路25で抽出されたPフレームの動き
ベクトル(VP)と、フレームメモリ27に記憶され
ているIフレームの画像データとにより動ぎ補償が行
われる。この結果、動き補償回路26の出力としてP
フレームの予測画像の画素データ(FEP)が得られ
る。
The operation of the moving picture reprocessing circuit 20 will be described below with reference to the processing flow chart of FIG. First, the image data (CEI 1 ) of the I 1 frame supplied to the input terminal of the moving image reprocessing circuit 20 is inversely DCT-transformed (EI 1 ) by the IDCT circuit 23 in step S1, and then step S1.
In step 2, it is stored in the frame memory 27 as pixel data of I 1 frame. Similarly, the image data (CEΔP 4 ) of the P 4 frame is inversely DCT-transformed (EΔP 4 ) by the IDCT circuit 23 in step S3 and then supplied to the adder 24. In step S4, the motion compensation circuit 26 performs motion compensation based on the P 4 frame motion vector (VP 4 ) extracted by the motion vector extraction circuit 25 and the I 1 frame image data stored in the frame memory 27. Done. As a result, P 4 is output as the output of the motion compensation circuit 26.
Pixel data (FEP 4 ) of the predicted image of the frame is obtained.

【0041】そして、ステップS5において、IDCT
回路23から出力された差分画像(EΔP)と、動き
補償回路26の出力に得られた予測画像の画素データ
(FEP)が加算器24で加算され、Pフレームの
画素データ(EP)が得られる。Pフレームの画素
データ(EP)はステップS6において、フレームメ
モリ27に記憶された後、ステップS7においてDCT
変換回路28で再符号化(CIEP)される。そし
て、量子化及び可変長符号化が行われ、出力バッファ3
1に記憶される。上述したように、Pフレームの画素
データ(EP)は自分自身の画素データのみで画像を
再構成できるデータであり、これを符号化することは、
Iフレームの定義であるイントラ符号化画像に相当す
る。そこで、再符号化されIフレーム化した画素データ
であることを示す記号「I」を付し、CIEPと記し
ている。
Then, in step S5, IDCT
The difference image (EΔP 4 ) output from the circuit 23 and the pixel data (FEP 4 ) of the predicted image obtained at the output of the motion compensation circuit 26 are added by the adder 24, and the pixel data of the P 4 frame (EP 4 ) Is obtained. The pixel data (EP 4 ) of the P 4 frame is stored in the frame memory 27 at step S6, and then the DCT at step S7.
It is re-encoded (CIEP 4 ) in the conversion circuit 28. Then, quantization and variable length coding are performed, and the output buffer 3
1 is stored. As described above, the pixel data (EP 4 ) of the P 4 frame is the data that can reconstruct the image only with the pixel data of its own, and encoding it is as follows.
This corresponds to the intra-coded image that is the definition of the I frame. Therefore, a symbol "I" indicating that the pixel data is re-encoded and I-framed is added, and is referred to as CIEP 4 .

【0042】次に、Bフレームの画像データ(CEΔ
)はステップS8でIDCT回路23により逆DC
T変換された(EΔB)後、加算器24に供給され
る。一方、ステップS9で動き補償回路26において、
動きベクトル抽出回路25で抽出されたBフレームの
動きベクトル(VB)と、Iフレーム又はPフレー
ムの画素データとにより動き補償が行われる。ステップ
S10において、IDCT回路23から出力された差分
画像(EΔB)と、動き補償回路26から出力される
予測画像(EFB)が加算器24で加算され、B
レームの画素データ(EB)を得る。加算器24の出
力はステップS11で再符号化され、Iフレーム化した
画像データ(CIEB)として、出力バッファ31に
記憶される。
Next, B 2 frame image data (CEΔ
B 2 ) is inverse DC by the IDCT circuit 23 in step S8.
After being T-converted (EΔB 2 ), it is supplied to the adder 24. On the other hand, in step S9, in the motion compensation circuit 26,
Motion compensation is performed by the motion vector (VB 2 ) of the B 2 frame extracted by the motion vector extraction circuit 25 and the pixel data of the I 1 frame or the P frame. In step S10, the difference image (EΔB 2 ) output from the IDCT circuit 23 and the prediction image (EFB 2 ) output from the motion compensation circuit 26 are added by the adder 24, and the pixel data (EB 2 ) of the B 2 frame is added. ) Get. The output of the adder 24 is re-encoded in step S11 and stored in the output buffer 31 as I-framed image data (CIEB 2 ).

【0043】また、同様にBフレームの画素データ
(CEΔB)は、ステップS12からステップS15
を経てBフレームと同様の処理が行われ、Iフレーム
化した画像データ(CIEB)として、出力バッファ
31に記憶される。また、Iフレームの画像データ
(CEI)は、そのまま出力バッファ31に記憶され
以上のように、出力バッファ31に蓄えられた画像デー
タはフレーム単位にまとめられると共に、必要に応じ、
フレーム番号や、元のフレームの種類を示す情報が例え
ばヘッダとして付加される。そして、原画像のフレーム
順であるCEI、CIEB、CIEB、CIEP
、・・・の順にデータ記録再生装置37に出力され、
記録される。この画像データはデータ記録再生装置37
によって再生され、再生回路40で画素データに変換さ
れる。この時、データ記録再生装置37は再生のモード
に応じて、フレーム番号等に基づいて所要のフレームの
みの画素データを順次サーチしながら再生して出力すれ
ばよい。尚、データ記録再生装置の処理速度が十分速け
れば、全てのフレームを再生しつつ、所要フレームの画
像データのみを選択して出力するようにしてもよい。
Similarly, the pixel data (CEΔB 3 ) of the B 3 frame is obtained from steps S12 to S15.
After that, the same processing as that for the B 2 frame is performed, and the image data is converted to an I frame (CIEB 3 ) and stored in the output buffer 31. Further, the image data (CEI 1 ) of the I 1 frame is stored in the output buffer 31 as it is. As described above, the image data stored in the output buffer 31 is collected in frame units, and if necessary,
Information indicating the frame number and the type of the original frame is added as a header, for example. Then, CEI 1 , CIEB 2 , CIEB 3 , and CIEP, which are the frame order of the original image,
4 , output to the data recording / reproducing device 37 in this order,
Be recorded. This image data is recorded and reproduced by the data recording / reproducing device 37.
Is reproduced and converted into pixel data by the reproduction circuit 40. At this time, the data recording / reproducing device 37 may sequentially search and output pixel data of only a required frame based on the frame number or the like according to the reproduction mode. If the processing speed of the data recording / reproducing apparatus is sufficiently high, all the frames may be reproduced and only the image data of the required frames may be selected and output.

【0044】図3は、前述の式4に基づいてなされた本
発明による第2実施例のブロック図である。図3(a)
において、動画像再処理回路50の入力に供給された各
フレームの画像データは、可変長符号復号回路21で復
号された後、逆量子化回路22及びIDCT回路23に
供給される。IDCT回路23で逆DCT変換されたデ
ータは、加算器24に供給される。一方、可変長符号復
号回路21で復号されたデータは動きベクトル抽出回路
25に供給され、動きベクトルのデータを抽出する。抽
出された動きベクトルデータは、動き補償回路26に供
給される。動き補償回路26の一方の出力データとID
CT回路23の出力データは加算器24で加算され、そ
の出力データはフレームメモリ27に記憶される。ま
た、フレームメモリ27の出力データは動き補償回路2
6に供給されている。
FIG. 3 is a block diagram of a second embodiment according to the present invention, which is made based on the above-mentioned equation 4. FIG. 3 (a)
In, the image data of each frame supplied to the input of the moving image reprocessing circuit 50 is decoded by the variable length code decoding circuit 21, and then supplied to the inverse quantization circuit 22 and the IDCT circuit 23. The data subjected to the inverse DCT conversion by the IDCT circuit 23 is supplied to the adder 24. On the other hand, the data decoded by the variable length code decoding circuit 21 is supplied to the motion vector extraction circuit 25, and the motion vector data is extracted. The extracted motion vector data is supplied to the motion compensation circuit 26. One output data and ID of the motion compensation circuit 26
The output data of the CT circuit 23 is added by the adder 24, and the output data is stored in the frame memory 27. The output data of the frame memory 27 is the motion compensation circuit 2
6.

【0045】動き補償回路26の他方の出力データはD
CT回路28に供給され、この出力データは新たに設け
られた加算器32の一方の端子に供給されている。ま
た、逆量子化回路22の出力データが加算器34の他方
端子に供給され、先のDCT回路28の出力データと加
算される。加算器32の出力データは量子化回路29及
び可変長符号化回路30を経て出力バッファ31に供給
される。また、出力バッファ31の出力は動画像再処理
回路50の入力端子に接続されている。では、図4の処
理フロー図を用いて動画像再処理回路50の動作説明を
行う。先ず、動画像再処理回路50の入力端子に供給さ
れたIフレームの画素データ(CEI)はステップ
S1でIDCT回路23により逆DCT変換された(E
)後、ステップS2でフレームメモリ27に記憶さ
れる。
The other output data of the motion compensation circuit 26 is D
The output data is supplied to the CT circuit 28, and the output data is supplied to one terminal of a newly provided adder 32. Further, the output data of the inverse quantization circuit 22 is supplied to the other terminal of the adder 34 and added to the output data of the DCT circuit 28. The output data of the adder 32 is supplied to the output buffer 31 via the quantization circuit 29 and the variable length coding circuit 30. The output of the output buffer 31 is connected to the input terminal of the moving image reprocessing circuit 50. Now, the operation of the moving image reprocessing circuit 50 will be described with reference to the processing flow chart of FIG. First, the pixel data (CEI 1 ) of the I 1 frame supplied to the input terminal of the moving image reprocessing circuit 50 is subjected to inverse DCT conversion by the IDCT circuit 23 in step S1 (E
I 1) after it stored in the frame memory 27 in step S2.

【0046】また、Pフレームの差分画像の画像デー
タ(CEΔP)はステップS3において、IDCT回
路23で逆DCT変換された(EΔP)後、加算器2
4に供給される。ステップS4で動き補償回路26にお
いて、動きベクトル抽出回路25で抽出されたPフレ
ームの動きベクトル(VP)と、フレームメモリ27
に記憶されているIフレームの画素データとにより動
き補償が行われる。ステップS5において、IDCT回
路23から出力された差分画像(EΔP)と、動き補
償回路26から出力されるPフレームの予測画像(E
FP)が加算器24で加算される。加算器24出力は
フレームの画素データ(EP)でありステップS
6でフレームメモリ27に記憶される。一方、ステップ
S7において、動き補償回路26から出力されるP
レームの予測画像の画素データ(EFP)をDCT回
路28で再符号化する(CEFP)。
The image data (CEΔP 4 ) of the P 4 frame difference image is inversely DCT-transformed (EΔP 4 ) by the IDCT circuit 23 in step S3, and then the adder 2 is added.
4 is supplied. In step S4, the motion compensation circuit 26 detects the motion vector (VP 4 ) of the P 4 frame extracted by the motion vector extraction circuit 25 and the frame memory 27.
Motion compensation is performed with the pixel data of the I 1 frame stored in. In step S 5, the difference image (EΔP 4 ) output from the IDCT circuit 23 and the P 4 frame predicted image (E ΔP 4 ) output from the motion compensation circuit 26.
FP 4 ) is added by the adder 24. The output of the adder 24 is pixel data (EP 4 ) of the P 4 frame, and the step S
It is stored in the frame memory 27 at 6. On the other hand, in step S7, the pixel data (EFP 4 ) of the P 4 frame predicted image output from the motion compensation circuit 26 is re-encoded by the DCT circuit 28 (CEFP 4 ).

【0047】そして、ステップ8において、動画像再処
理回路50の入力端子に供給されたPフレームの差分
画像の画像データ(CEΔP)と、DCT回路28か
ら得られる再符号化されたPフレームの予測画像の画
像データ(CEFP)が加算器32で加算される(C
EΔP+CEFP)。この加算器32出力の画像デ
ータは、DCT×(EΔP+EFP)=DCT×E
と書替えると、Pフレームの画素データを符号化
した形態であることが分り、Pフレームのイントラ符
号化画像に相当する。そして、イントラ符号化された画
像データ(CIEP)として出力バッファ31に記憶
される。
In step 8, the image data (CEΔP 4 ) of the P 4 frame difference image supplied to the input terminal of the moving image reprocessing circuit 50 and the re-encoded P 4 obtained from the DCT circuit 28. The image data (CEFP 4 ) of the predicted image of the frame is added by the adder 32 (C
EΔP 4 + CEFP 4 ). The image data output from the adder 32 is DCT × (EΔP 4 + EFP 4 ) = DCT × E
In other P 4 and calligraphy, found to be in a form obtained by encoding the pixel data of the P 4 frame, corresponding to an intra coded picture of P 4 frame. Then, it is stored in the output buffer 31 as intra-coded image data (CIEP 4 ).

【0048】次に、ステップ9において、動きベクトル
抽出回路25で抽出されたBフレームの動きベクトル
(VB)と、ステップ2で得られたIフレームの画
素データ(EI)又はステップ6で得られたPフレ
ームの画素データ(EP)とにより動き補償が行わ
れ、Bフレームの予測画像の画素データ(EFB
を出力する。そして、ステップ10でDCT変換回路2
8により再符号化される(CEFB)。ステップ11
で、動画像再処理回路50に入力されたBフレームの
差分画像の画像データ(CEΔB)と、DCT回路2
8から得られた再符号化されたBフレームの予測画像
の画素データ(CEFB)が加算器32で加算される
(CEΔB+CEFB)。
Next, in step 9, the motion vector (VB 2 ) of the B 2 frame extracted by the motion vector extraction circuit 25 and the pixel data (EI 1 ) of the I 1 frame obtained in step 2 or step 6 Motion compensation is performed with the pixel data (EP 4 ) of the P 4 frame obtained in step S 1, and the pixel data (EFB 2 ) of the predicted image of the B 2 frame
Is output. Then, in step 10, the DCT conversion circuit 2
Re-encoded by 8 (CEFB 2 ). Step 11
Then, the image data (CEΔB 2 ) of the difference image of the B 2 frame input to the moving image reprocessing circuit 50 and the DCT circuit 2
The pixel data (CEFB 2 ) of the re-encoded B 2 frame predicted image obtained from 8 is added by the adder 32 (CEΔB 2 + CEFB 2 ).

【0049】ここで得られた画像データは、Pフレー
ムの場合と同様に、Bフレームのイントラ符号化画像
に相当する。そして、イントラ符号化された画像データ
(CIEB)として出力バッファ31に記憶される。
また、Bフレームに対しても同様にステップ12から
ステップ14を経てイントラ符号化された画像データ
(CIEB)として出力バッファ31に記憶される。
以下、第1実施例と同様に処理が行われる。また、上述
したフレーム以外のフレーム、例えばPフレームやB
フレームに対しても同様の方法でイントラ化した符号
化データに変換する。上記第2実施例のものは、先の第
1実施例のものに比べ、処理フロー図を比較しても分る
ように、処理が少なくてすむ。即ち、Iフレームから
フレームまでの処理を単純に見た場合、IDCT変
換が2回少なくなっている。
The image data obtained here corresponds to the intra-coded image of the B 2 frame, as in the case of the P 4 frame. Then, it is stored in the output buffer 31 as intra-coded image data (CIEB 2 ).
Similarly, the B 3 frame is also stored in the output buffer 31 as intra-coded image data (CIEB 3 ) through steps 12 to 14.
Thereafter, the same processing as in the first embodiment is performed. Further, frames other than the above-mentioned frames, for example, P 7 frame and B
The 5 frames are also converted into intra-coded data by the same method. The second embodiment requires less processing than the first embodiment, as can be seen by comparing the processing flow charts. That is, when the processing from the I 1 frame to the B 3 frame is simply viewed, the IDCT conversion is reduced twice.

【0050】上記第2実施例においては、データ記録中
に画像データが画素データに逆変換される過程がないた
め、このままでは録画中に映像を見ることができない。
図5は、これを可能とする第3実施例の構成図である。
この図において、録画中には再生回路40の入力をスイ
ッチ44により動画像再処理回路50の出力側に切替え
ることにより、録画中の映像を見ることができる。一
方、再生時はスイッチ44をデータ記録再生装置37の
出力側に切替えればよい。尚、データ記憶再生装置とし
ては、DAT、デジタルVTR等の磁気テープ、ハード
ディスク、CD−R、VDRのような光ディスク等、デ
ジタルデータの記録再生が可能な装置であれば何でも良
く、固体メモリでも良い。また、記録に際しては、ラン
ダムアクセスによる特殊再生を可能とするために、デー
タに例えばフレーム単位でコントロール信号、ヘッダ、
ID番号、フレーム番号、アドレス番号等、夫々の記録
再生装置に適したサーチ可能な何等かの識別情報を付加
しておくとよい。
In the second embodiment described above, since there is no process in which the image data is inversely converted into pixel data during data recording, the image cannot be viewed during recording as it is.
FIG. 5 is a block diagram of a third embodiment that enables this.
In this figure, by switching the input of the reproducing circuit 40 to the output side of the moving image reprocessing circuit 50 by the switch 44 during recording, the video being recorded can be viewed. On the other hand, during reproduction, the switch 44 may be switched to the output side of the data recording / reproducing device 37. The data storage / reproduction device may be any device capable of recording / reproducing digital data, such as a magnetic tape such as DAT or a digital VTR, a hard disk, an optical disc such as a CD-R or VDR, or a solid-state memory. . In addition, at the time of recording, in order to enable special reproduction by random access, the control signal, header,
It is advisable to add some sort of searchable identification information suitable for each recording / reproducing apparatus, such as an ID number, a frame number, and an address number.

【0051】[0051]

【発明の効果】上述したように、本発明によれば、対象
画像の参照画像に対する動き補償と直交変換により求め
られた動きベクトル及び差分画像の直交変換係数を含む
予測符号化データをフレーム内符号化データに変換して
記録するようにしたので、画像の劣化を生じさせること
なく、データ量の増加を小さく抑えつつ特殊再生を容易
にすることができる。この時、フレーム内符号化データ
に変換する方法として、先ず対象画像の動きベクトルに
基づいて参照画像画素データから予測画像画素データを
抽出し、これを直交変換して予測画像直交変換係数と
し、これと差分画像の直交変換係数とを加算して求める
ようにすれば、処理を簡単にすることができる。
As described above, according to the present invention, the intra-coded prediction coded data including the motion vector obtained by the motion compensation and the orthogonal transform of the reference image of the target image and the orthogonal transform coefficient of the difference image is encoded. Since the converted data is converted and recorded, it is possible to facilitate special reproduction while suppressing an increase in the data amount without causing deterioration of the image. At this time, as a method of converting into intraframe coded data, first, predictive image pixel data is extracted from the reference image pixel data based on the motion vector of the target image, and this is orthogonally transformed into a predictive image orthogonal transform coefficient. The processing can be simplified by adding and the orthogonal transformation coefficient of the difference image.

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換して記録することを特徴とする符号化
データ記録方法。
1. A predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a reference image of a target image and an orthogonal transform coefficient of a difference image is converted into intraframe coded data and recorded. A method for recording encoded data.
【請求項2】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換する符号化データ変換方法であって、 前記参照画像の画素データを得る段階と、 前記対象画像の動きベクトルに基づいて前記得られた参
照画像画素データから予測画像画素データを抽出する段
階と、 前記差分画像の直交変換係数を逆直交変換し該差分画像
の画素データを得る段階と、 この得られた差分画像画素データと前記抽出された予測
画像画素データとを加算し前記対象画像の画素データと
する段階と、 この対象画像の画素データを直交変換し前記フレーム内
符号化データとしての対象画像の直交変換係数とする段
階を有することを特徴とする符号化データ変換方法。
2. A coded data conversion method for converting predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a reference image of a target image and an orthogonal transform coefficient of a difference image into intraframe coded data. There, the step of obtaining the pixel data of the reference image, the step of extracting the predicted image pixel data from the obtained reference image pixel data based on the motion vector of the target image, the orthogonal transformation coefficient of the difference image A step of performing inverse orthogonal transformation to obtain pixel data of the difference image; a step of adding the obtained difference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image; Encoding of the target image as the intraframe coded data by orthogonally transforming the pixel data of Over data conversion method.
【請求項3】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換する符号化データ変換装置であって、 前記参照画像の画素データを得る手段と、 前記対象画像の動きベクトルに基づいて前記得られた参
照画像画素データから予測画像画素データを抽出する手
段と、 前記差分画像の直交変換係数を逆直交変換し該差分画像
の画素データを得る手段と、 この得られた参照画像画素データと前記抽出された予測
画像画素データとを加算し前記対象画像の画素データと
する手段と、 この対象画像の画素データを直交変換し前記フレーム内
符号化データとしての対象画像の直交変換係数とする手
段を有することを特徴とする符号化データ変換装置。
3. A coded data conversion device for converting predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a target image of a target image and an orthogonal transform coefficient of a difference image into intraframe coded data. There, means for obtaining pixel data of the reference image, means for extracting predicted image pixel data from the obtained reference image pixel data based on the motion vector of the target image, orthogonal transformation coefficient of the difference image Means for performing inverse orthogonal transformation to obtain pixel data of the difference image; means for adding the obtained reference image pixel data and the extracted predicted image pixel data to obtain pixel data of the target image; Encoding means for orthogonally transforming the pixel data of the above to obtain an orthogonal transform coefficient of the target image as the intra-frame encoded data. Over data conversion device.
【請求項4】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換する符号化データ変換方法であって、 前記参照画像の画素データを得る段階と、 前記対象画像の動きベクトルに基づいて前記得られた参
照画像画素データから予測画像画素データを抽出する段
階と、 前記抽出された予測画像画素データを直交変換し予測画
像の直交変換係数を求める段階と、 前記求められた予測画像の直交変換係数と前記差分画像
の直交変換係数とを加算し前記フレーム内符号化データ
に変換された対象画像の直交変換係数とする段階を有す
ることを特徴とする符号化データ変換方法。
4. A coded data conversion method for converting predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a reference image of a target image and an orthogonal transform coefficient of a difference image into intraframe coded data. There is a step of obtaining pixel data of the reference image, a step of extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of the target image, the extracted predicted image pixel data And the step of obtaining the orthogonal transformation coefficient of the predicted image by orthogonal transformation, the orthogonal transformation coefficient of the obtained predicted image and the orthogonal transformation coefficient of the difference image are added to the target image transformed into the intra-frame coded data. A method for transforming coded data, characterized in that it has a step of making an orthogonal transform coefficient.
【請求項5】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換する符号化データ変換装置であって、 前記参照画像の画素データを得る手段と、 前記対象画像の動きベクトルに基づいて前記得られた参
照画像画素データから予測画像画素データを抽出する手
段と、 前記抽出された予測画像画素データを直交変換し予測画
像の直交変換係数を求める手段と、 前記求められた予測画像の直交変換係数と前記差分画像
の直交変換係数とを加算し前記フレーム内符号化データ
に変換された対象画像の直交変換係数とする手段を有す
ることを特徴とする符号化データ変換装置。
5. A coded data conversion device for converting predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a target image of a target image and an orthogonal transform coefficient of a difference image into intraframe coded data. There, means for obtaining pixel data of the reference image, means for extracting predicted image pixel data from the obtained reference image pixel data based on the motion vector of the target image, the extracted predicted image pixel data Means for obtaining the orthogonal transformation coefficient of the predicted image by orthogonal transformation of the target image transformed into the intra-frame coded data by adding the obtained orthogonal transformation coefficient of the predicted image and the orthogonal transformation coefficient of the difference image. An encoded data conversion device, characterized in that it has means for making an orthogonal transform coefficient.
【請求項6】 対象画像の参照画像に対する動き補償と
直交変換により求められた動きベクトルおよび差分画像
の直交変換係数を含む予測符号化データをフレーム内符
号化データに変換し記録する記録装置であって、 前記参照画像の画素データを得る手段と、 前記対象画像の動きベクトルに基づいて前記得られた参
照画像画素データから予測画像画素データを抽出する手
段と、 前記抽出された予測画像画素データを直交変換し予測画
像の直交変換係数を求める手段と、 前記求められた予測画像の直交変換係数と前記差分画像
の直交変換係数とを加算し前記フレーム内符号化データ
に変換された対象画像の直交変換係数とする手段と、 この対象画像の直交変換係数を所定の記録媒体に記録す
る記録手段を有することを特徴とする符号化データ記録
装置。
6. A recording device for converting predictive coded data including a motion vector obtained by motion compensation and orthogonal transform of a reference image of a target image and an orthogonal transform coefficient of a difference image into intraframe coded data and recording the data. A means for obtaining pixel data of the reference image, a means for extracting predicted image pixel data from the obtained reference image pixel data based on a motion vector of the target image, and the extracted predicted image pixel data Means for obtaining the orthogonal transformation coefficient of the predicted image by orthogonal transformation, and adding the orthogonal transformation coefficient of the obtained predicted image and the orthogonal transformation coefficient of the difference image to obtain the orthogonality of the target image transformed into the intra-frame coded data. Encoded data, characterized by having means for using a transform coefficient and recording means for recording the orthogonal transform coefficient of the target image on a predetermined recording medium. Recording apparatus.
【請求項7】 前記フレーム内符号化データに変換され
た対象画像の直交変換係数を逆直交変換し前記対象画像
の画素データとする段階を更に有する請求項4記載の符
号化データ変換方法。
7. The coded data conversion method according to claim 4, further comprising the step of inversely orthogonally transforming the orthogonal transform coefficient of the target image converted into the intraframe coded data to obtain pixel data of the target image.
JP5858996A 1996-02-21 1996-02-21 Coding data conversion method, coding data recording method, coding data converter and coding data recorder Pending JPH09233426A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5858996A JPH09233426A (en) 1996-02-21 1996-02-21 Coding data conversion method, coding data recording method, coding data converter and coding data recorder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5858996A JPH09233426A (en) 1996-02-21 1996-02-21 Coding data conversion method, coding data recording method, coding data converter and coding data recorder

Publications (1)

Publication Number Publication Date
JPH09233426A true JPH09233426A (en) 1997-09-05

Family

ID=13088678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5858996A Pending JPH09233426A (en) 1996-02-21 1996-02-21 Coding data conversion method, coding data recording method, coding data converter and coding data recorder

Country Status (1)

Country Link
JP (1) JPH09233426A (en)

Similar Documents

Publication Publication Date Title
JP3548136B2 (en) Image processing device
US5786858A (en) Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
JP2000278692A (en) Compressed data processing method, processor and recording and reproducing system
JPH08205180A (en) Method and system for two-stage video film compression
US20040202249A1 (en) Real-time MPEG video encoding method of maintaining synchronization between video and audio
KR19990072968A (en) Picture signal processing system, decoder, picture signal processing method, and decoding method
KR101227330B1 (en) Picture coding apparatus and picture decoding apparatus
JPH10191259A (en) Inversion reproduction method for mpeg video
JP3147792B2 (en) Video data decoding method and apparatus for high-speed playback
JP2001346165A (en) Image processing method and image processing unit utilizing this method and television receiver
KR100860661B1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP3128393B2 (en) Compressed video playback device
JPH08307896A (en) Image signal recording method and device, image signal reproducing method and device and image signal recording medium
JPH11308618A (en) Image signal processor and method therefor, and image signal reproducing device
JPH11289515A (en) Picture signal processor and its method, picture signal recorder and its method and recording medium
JPH0795536A (en) Device and method for reversely reproducing moving image
JP4178521B2 (en) Encoded video signal recording method and video signal encoding apparatus
JPH09233426A (en) Coding data conversion method, coding data recording method, coding data converter and coding data recorder
JP4193224B2 (en) Moving picture coding apparatus and method, and moving picture decoding apparatus and method
JP3235917B2 (en) Image recording and playback device
JP3449370B2 (en) Image data decoding method and apparatus
JPH0898142A (en) Picture reproduction device
JP3548167B2 (en) Image processing device
JPH0636521A (en) Disk and moving image decoding method and device
JP2001238167A (en) Image reproducing method, image reproducing apparatus capable of using the method and television receiver