JPH1066084A - Video data compressing device and its method - Google Patents
Video data compressing device and its methodInfo
- Publication number
- JPH1066084A JPH1066084A JP21648096A JP21648096A JPH1066084A JP H1066084 A JPH1066084 A JP H1066084A JP 21648096 A JP21648096 A JP 21648096A JP 21648096 A JP21648096 A JP 21648096A JP H1066084 A JPH1066084 A JP H1066084A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- video data
- data
- compressed
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、非圧縮映像データ
を圧縮符号化する映像データ圧縮装置およびその方法に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video data compression apparatus for compressing and encoding non-compressed video data and a method thereof.
【0002】[0002]
【従来の技術および発明が解決しようとする課題】非圧
縮のディジタル映像データをMPEG(moving picture
experts group)等の方法により、Iピクチャー(intra c
oded picture) 、Bピクチャー(bi-directionaly coded
picture) およびPピクチャー(predictive coded pict
ure)から構成されるGOP(group of pictures) 単位に
圧縮符号化して光磁気ディスク(MOディスク;magnet
o-oprical disc)等の記録媒体に記録する際には、圧縮
符号化後の圧縮映像データのデータ量(ビット量)を、
伸長復号後の映像の品質を高く保ちつつ記録媒体の記録
容量以下、あるいは、通信回線の伝送容量以下にする必
要がある。2. Description of the Related Art Uncompressed digital video data is stored in a moving picture (MPEG) format.
I-picture (intra c
oded picture), B picture (bi-directionaly coded
picture) and P-picture (predictive coded pict
ure), compression encoded in GOP (group of pictures) units, and a magneto-optical disk (MO disk;
When recording on a recording medium such as an o-oprical disc, the data amount (bit amount) of the compressed video data after compression encoding is
It is necessary to keep the quality of the video after decompression decoding high, while keeping it below the recording capacity of the recording medium or below the transmission capacity of the communication line.
【0003】このために、まず、非圧縮映像データを予
備的に圧縮符号化して圧縮符号化後のデータ量を見積も
り(1パス目)、次に、見積もったデータ量に基づいて
圧縮率を調節し、圧縮符号化後のデータ量が記録媒体の
記録容量以下になるように圧縮符号化する(2パス目)
方法が採られる(以下、このような圧縮符号化方法を
「2パスエンコード」とも記す)。For this purpose, first, non-compressed video data is preliminarily compression-encoded and the data amount after compression-encoding is estimated (first pass). Next, the compression rate is adjusted based on the estimated data amount. Then, compression encoding is performed so that the data amount after the compression encoding becomes equal to or less than the recording capacity of the recording medium (second pass).
(Hereinafter, such a compression encoding method is also referred to as “two-pass encoding”).
【0004】しかしながら、2パスエンコードにより圧
縮符号化を行うと、同じ非圧縮映像データに対して同様
な圧縮符号化処理を2回施す必要があり、時間がかかっ
てしまう。また、1回の圧縮符号化処理で最終的な圧縮
映像データを生成することができないために、撮影した
映像データをそのまま実時間的(リアルタイム)に圧縮
符号化し、記録することができない。However, if compression encoding is performed by two-pass encoding, it is necessary to perform the same compression encoding process twice on the same non-compressed video data, which takes time. In addition, since the final compressed video data cannot be generated by one compression encoding process, the captured video data cannot be directly compression-encoded and recorded in real time (real time).
【0005】また、編集処理により、時間方向に相関し
ない複数の非圧縮映像データ(以下、シーンとも記す)
を連続的に接続して1つの非圧縮映像データ(編集映像
データ)とし、この編集映像データを、例えば、ピクチ
ャータイプシーケンスI,B,P,B,P,B,P,
B,P,B,P,Bで圧縮符号化すると、圧縮符号化後
の最初のピクチャーがPピクチャーになることがある。
この最初のPピクチャーを伸長復号するためには、他の
シーンから生成された圧縮映像データの直前のピクチャ
ーを参照する必要がある。しかしながら、最初のPピク
チャーの伸長復号に、相関がない他のシーンから生成さ
れたピクチャーを用いると、動き予測誤差が著しく増大
するため膨大なデータ量が必要となり、限られたデータ
量しか使用できない場合には、伸長復号後の映像が劣化
してしまう。[0005] In addition, a plurality of uncompressed video data (hereinafter, also referred to as scenes) that are not correlated in the time direction due to editing processing.
Are continuously connected to form one uncompressed video data (edited video data), and this edited video data is, for example, a picture type sequence
When compression encoding is performed using B, P, B, P, and B, the first picture after compression encoding may be a P picture.
In order to decompress and decode the first P picture, it is necessary to refer to the picture immediately before the compressed video data generated from another scene. However, when a picture generated from another scene having no correlation is used for the expansion decoding of the first P picture, a huge amount of data is required because a motion prediction error is significantly increased, and only a limited data amount can be used. In such a case, the video after decompression decoding is deteriorated.
【0006】かかる不具合を解消するために、例えば、
特開平7−193818号公報に画像処理方法および画
像処理装置が開示されている。特開平7−193818
号公報に開示された画像処理方法および画像処理装置
は、例えば2つのシーン(第1のシーンと第2のシー
ン)を含む非圧縮の編集映像データを、例えば、上記ピ
クチャータイプシーケンスI,B,P,B,P,B,
P,B,P,B,P,Bで圧縮符号化する際に、第2の
シーンを圧縮符号化した第2の圧縮映像データ(下に示
すピクチャータイプシーケンスにおけるI2 ,B2 ,P
2 )の先頭のPピクチャーを、第1のシーンを圧縮符号
化した第1の圧縮映像データ(下に示すピクチャータイ
プシーケンスにおけるI1 ,B1 ,P1 )の最後のピク
チャーを参照しないIピクチャーに変更し、さらに、発
生するデータ量の増大を抑えるために、第1の圧縮映像
データの最後のIピクチャーをPピクチャーに変更して
圧縮符号化を行う。In order to solve such a problem, for example,
JP-A-7-193818 discloses an image processing method and an image processing apparatus. JP-A-7-193818
The image processing method and the image processing apparatus disclosed in Japanese Patent Application Laid-Open No. H10-15095 convert uncompressed edited video data including, for example, two scenes (a first scene and a second scene) into, for example, the picture type sequences I, B, P, B, P, B,
When compression encoding is performed using P, B, P, B, P, and B, second compressed video data obtained by compressing and encoding the second scene (I 2 , B 2 , P in the picture type sequence shown below)
2 ) the first P picture is an I picture which does not refer to the last picture of the first compressed video data (I 1 , B 1 , P 1 in the picture type sequence shown below) obtained by compression encoding the first scene. In order to suppress an increase in the amount of generated data, compression encoding is performed by changing the last I picture of the first compressed video data to a P picture.
【0007】つまり具体的には、特開平7−19381
8号公報に開示された画像処理方法および画像処理装置
は、上記ピクチャータイプシーケンスを変更せずに圧縮
符号化して、第1の圧縮映像データおよび第2の圧縮映
像データが、ピクチャータイプシーケンスB1 ,I1 ,
B1 ,P1 ,B1 ,P1 ,B1 ,P2 ,B2 ,P2 ,B
2 ,P2 ,B2 で得られる場合に、第1の圧縮映像デー
タの最後のIピクチャーをPピクチャーに変更し、さら
に、第2の圧縮映像データの最初のPピクチャーをIピ
クチャーに変更して圧縮符号化し、ピクチャータイプシ
ーケンスB1 ,P1 ,B1 ,P1 ,B1 ,P1 ,B1 ,
I2 ,B2 ,P2 ,B2 ,P2 ,B2 の第1の圧縮映像
データおよび第2の圧縮映像データを得るように構成さ
れている。That is, specifically, Japanese Patent Laid-Open No. 7-19381
The image processing method and image processing apparatus disclosed in 8 JP compresses encoded without changing the picture type sequence, the first compressed image data and second compressed image data, picture type sequence B 1 , I 1 ,
B 1 , P 1 , B 1 , P 1 , B 1 , P 2 , B 2 , P 2 , B
2 , P 2 , B 2 , the last I picture of the first compressed video data is changed to a P picture, and the first P picture of the second compressed video data is changed to an I picture. To compress and encode the picture type sequences B 1 , P 1 , B 1 , P 1 , B 1 , P 1 , B 1 ,
The first and second compressed video data of I 2 , B 2 , P 2 , B 2 , P 2 , and B 2 are obtained.
【0008】本発明は上述した従来技術を改良してなさ
れたものであり、2パスエンコードによらずに、複数の
シーンを連続的に含む映像データを所定のデータ量以下
に圧縮符号化して圧縮映像データを生成することがで
き、しかも、連続的な複数のシーンの時間方向における
境界(シーンチェンジ)部分を圧縮符号化した圧縮映像
データを伸長復号して得られる映像の品質を保持するこ
とができる映像データ圧縮装置およびその方法を提供す
ることを目的とする。The present invention has been made by improving the above-mentioned prior art, and compresses and encodes video data continuously including a plurality of scenes to a predetermined data amount or less without performing two-pass encoding. Video data can be generated, and the quality of a video obtained by decompressing and decoding compressed video data obtained by compressing and encoding boundaries (scene changes) in the time direction between a plurality of continuous scenes can be maintained. It is an object of the present invention to provide a video data compression apparatus and a method therefor.
【0009】[0009]
【課題を解決するための手段】上記目的を達成するため
に、本発明に係る映像データ圧縮装置は、連続して入力
される複数の非圧縮映像データの先頭が、所定の圧縮方
法によりIピクチャー、PピクチャーおよびBピクチャ
ーの組み合わせで構成される所定のピクチャータイプシ
ーケンスに圧縮された後に、IピクチャーまたはPピク
チャーとなるように、ピクチャーの順序を入れ替える入
れ替え手段と、順序を入れ替えた前記非圧縮映像データ
を、前記所定の圧縮方法により圧縮して、第1の圧縮映
像データを生成する前記第1の圧縮手段と、順序を入れ
替えた前記非圧縮映像データを所定の遅延時間だけ遅延
する遅延手段と、前記所定の遅延時間に対応する前記非
圧縮映像データから生成された前記第1の圧縮映像デー
タのデータ量に基づいて、所定量の未生成の前記第1の
圧縮映像データのデータ量を予測する予測手段と、予測
した前記第1の圧縮映像データのデータ量と、実際に生
成した前記第1の圧縮映像データのデータ量(実際のデ
ータ量)とに基づいて、前記非圧縮映像データの先頭を
検出する先頭検出手段と、検出した前記非圧縮映像デー
タの先頭のピクチャーが、圧縮後に、他の映像データの
ピクチャーと関係を有さないように、前記所定のピクチ
ャータイプシーケンスを変更する変更手段と、生成した
前記第1の圧縮映像データ、および、予測した前記第1
の圧縮映像データのデータ量に基づいて、前記非圧縮映
像データの圧縮後のデータ量の目標値を生成する目標値
生成手段と、圧縮後のデータ量が、生成した前記目標値
になるように、遅延した前記非圧縮映像データを、前記
所定の圧縮方法により、変更した前記所定のピクチャー
タイプシーケンスに圧縮する第2の圧縮手段とを有す
る。In order to achieve the above object, a video data compression apparatus according to the present invention is characterized in that the head of a plurality of non-compressed video data which are continuously input is an I picture , A P picture, and a B picture, after being compressed into a predetermined picture type sequence, the picture sequence is changed to an I picture or a P picture, and the non-compressed video is reordered. First compression means for compressing data by the predetermined compression method to generate first compressed video data, and delay means for delaying the non-compressed video data whose order has been rearranged by a predetermined delay time; , Based on the data amount of the first compressed video data generated from the uncompressed video data corresponding to the predetermined delay time. Prediction means for predicting the data amount of the predetermined amount of the uncompressed first compressed video data, the predicted data amount of the first compressed video data, and the actually generated first compressed video data Head detecting means for detecting the head of the non-compressed video data based on the data amount (actual data amount) of the non-compressed video data. Changing means for changing the predetermined picture type sequence so as not to have a relationship with a picture; the generated first compressed video data; and the predicted first compressed video data.
Target value generating means for generating a target value of the data amount of the uncompressed video data after compression based on the data amount of the compressed video data, so that the data amount after compression becomes the generated target value. And second compression means for compressing the delayed uncompressed video data into the changed predetermined picture type sequence by the predetermined compression method.
【0010】好適には、前記先頭検出手段は、Iピクチ
ャーおよびPピクチャーの実際のデータ量が、予測した
前記第1の圧縮映像データのIピクチャーおよびPピク
チャーに対する比の値が、所定の範囲外になった場合
に、前記データ量が多くなったPピクチャーに対応する
位置に、前記非圧縮映像データの先頭を検出する。[0010] Preferably, the head detecting means is arranged so that the actual data amount of the I picture and the P picture is such that the predicted ratio of the first compressed video data to the I picture and the P picture is out of a predetermined range. , The head of the uncompressed video data is detected at a position corresponding to the P picture whose data amount has increased.
【0011】好適には、前記先頭検出手段は、Bピクチ
ャーの実際のデータ量が、予測した前記第1の圧縮映像
データのBピクチャーのデータ量よりも所定の割合以
上、多くなった場合に、前記データ量が多くなったBピ
クチャーの直前のIピクチャーの位置に、前記非圧縮映
像データの先頭を検出する。Preferably, when the actual data amount of the B picture is larger than the predicted data amount of the B picture of the first compressed video data by a predetermined ratio or more, The head of the uncompressed video data is detected at the position of the I picture immediately before the B picture whose data amount has increased.
【0012】好適には、前記変更手段は、前記所定のピ
クチャータイプシーケンスにおいて、前記非圧縮映像デ
ータの先頭がPピクチャーに圧縮される場合に、前記非
圧縮映像データの先頭がIピクチャーに圧縮されるよう
に、前記所定のピクチャータイプシーケンスを変更す
る。Preferably, in the predetermined picture type sequence, when the head of the uncompressed video data is compressed into a P picture, the changing unit compresses the head of the uncompressed video data into an I picture. Thus, the predetermined picture type sequence is changed.
【0013】好適には、前記変更手段は、前記非圧縮映
像データの先頭がIピクチャーに圧縮されるように前記
所定のピクチャータイプシーケンスを変更した場合に、
近傍の圧縮後にIピクチャーになる前記非圧縮映像デー
タのピクチャーが、Pピクチャーに圧縮されるように、
前記所定のピクチャータイプシーケンスをさらに変更す
る。Preferably, the changing means changes the predetermined picture type sequence so that the head of the uncompressed video data is compressed into an I picture.
A picture of the uncompressed video data, which becomes an I picture after neighboring compression, is compressed into a P picture,
The predetermined picture type sequence is further changed.
【0014】本発明に係る映像データ圧縮装置におい
て、例えば、非圧縮映像データをピクチャータイプシー
ケンスI,B,B,P,B,B,…,P,B,B(上記
ピクチャータイプシーケンスに圧縮される非圧縮映像デ
ータのピクチャーそれぞれを、ピクチャーI1 ,B2 ,
B3 ,P4 ,B5 ,B6 ,…,P13,B14,B15と記
す)に圧縮する場合、入れ替え手段は、連続的に入力さ
れる複数のシーン(非圧縮映像データ)のピクチャーI
1 ,B2 ,B3 ,P4 ,B5 ,B6 ,P7 ,…,P 13,
B14,B15を、圧縮符号化に適した順序、ピクチャーI
1 ,B-2,B-1,P 4 ,B1 ,B2 ,…,P13,B11,
B12に入れ替える。つまり、非圧縮映像データは、例え
ば、IピクチャーとPピクチャーの間に挟まれる1組の
Bピクチャーを、直後のIピクチャーまたはPピクチャ
ーの後ろに移動させる。In the video data compression apparatus according to the present invention,
For example, if uncompressed video data is
Kens I, B, B, P, B, B, ..., P, B, B (above
Uncompressed video data compressed to a picture type sequence
Each picture of the data1, BTwo,
BThree, PFour, BFive, B6, ..., P13, B14, BFifteenNotation
), The replacement means is input continuously.
I of multiple scenes (uncompressed video data)
1, BTwo, BThree, PFour, BFive, B6, P7, ..., P 13,
B14, BFifteenIn the order suitable for compression encoding, picture I
1, B-2, B-1, P Four, B1, BTwo, ..., P13, B11,
B12Replace with In other words, uncompressed video data
For example, a set of I-picture and P-picture
B picture is replaced with the immediately following I picture or P picture
Move it behind.
【0015】第1の圧縮手段は、入れ替え手段がピクチ
ャーの順序を入れ替えた複数のシーンを予備的に圧縮符
号化し、圧縮後のピクチャーそれぞれに割り当てるデー
タ量を決めるために必要な難度データを求めるために用
いる第1の圧縮映像データを生成する。具体的には、第
1の圧縮手段は、例えば、MPEG方式により、各シー
ンをピクチャータイプシーケンスI,B,B,P,B,
B,…,P,B,Bから構成されるGOP(group of pi
ctures)単位に圧縮符号化し、第1の圧縮映像データを
生成する。なお、シーンのピクチャーの順序が、上述の
ように入れ替えられているために、シーンチェンジ(複
数のシーンの時間方向の境界)の直後のシーンの先頭の
ピクチャーは、IピクチャーまたはPピクチャーとな
る。The first compression means preliminarily compression-encodes a plurality of scenes in which the order of the pictures has been changed by the replacement means, and obtains difficulty data necessary for determining the amount of data to be allocated to each of the compressed pictures. Of the first compressed video data used for. More specifically, the first compression unit converts each scene into a picture type sequence I, B, B, P, B,
GOP (group of pi) composed of B, ..., P, B, B
compression encoding) to generate first compressed video data. Since the order of the pictures of the scene is changed as described above, the first picture of the scene immediately after the scene change (the boundary in the time direction between a plurality of scenes) is an I picture or a P picture.
【0016】遅延手段は、例えば、各シーンの所定の枚
数のピクチャーが入力される時間だけ、つまり、各シー
ンを圧縮して得られる圧縮映像データのピクチャーそれ
ぞれに割り当てるデータ量を算出するために充分な量の
難度データの生成に必要な第1の圧縮映像データを得る
ために充分な時間だけ、入力される各シーンを遅延す
る。予測手段は、第1の圧縮手段が生成した第1の圧縮
映像データのデータ量を、例えば、直線近似し、さら
に、近似により得た直線を、第1の圧縮映像データの未
生成の部分に外挿し、未生成の第1の圧縮映像データの
ピクチャーごとのデータ量を、ピクチャータイプ別に予
測する。The delay means is sufficient for calculating, for example, the time during which a predetermined number of pictures of each scene are input, that is, the amount of data allocated to each of the pictures of the compressed video data obtained by compressing each scene. Each scene to be input is delayed by a time sufficient to obtain the first compressed video data required to generate a large amount of difficulty data. The prediction means approximates, for example, a straight line to the data amount of the first compressed video data generated by the first compression means, and further converts a straight line obtained by the approximation into an ungenerated part of the first compressed video data. The extrapolated and ungenerated first compressed video data data amount for each picture is predicted for each picture type.
【0017】先頭検出手段は、予測した第1の圧縮映像
データの未生成の部分が、後に実際に生成されると、予
測したピクチャーのデータ量と、実際に生成したピクチ
ャーのデータ量とを比較して、シーンの先頭部分(シー
ンチェンジ部分)を検出する。具体的には、先頭検出手
段は、例えば、予測したIピクチャーおよびPピクチャ
ーのデータ量と実際に生成したIピクチャーおよびPピ
クチャーのデータ量とを比較し、実際のデータ量の予測
した値に対する比の値が、所定の範囲外になった場合
に、これらのIピクチャーおよびPピクチャーに対応す
る部分で、シーンチェンジが生じたことを検出する。ま
た、具体的には、先頭検出手段は、シーンチェンジ後の
Bピクチャーのデータ量が、Pピクチャー並みに増加す
ることを利用して、例えば、予測したBピクチャーのデ
ータ量と実際に生成したBピクチャーのデータ量とを比
較し、実際のデータ量が予測した値よりも所定の割合以
上、大きい場合に、このBピクチャーの直前のIピクチ
ャーおよびPピクチャーに対応する部分で、シーンチェ
ンジが生じたことを検出する。このように、Iピクチャ
ーおよびPピクチャーのデータ量のみでなく、Bピクチ
ャーのデータ量をも監視することにより、先頭検出手段
は、シーンチェンジ部分を確実に行うことができる。The head detecting means compares the data amount of the predicted picture with the data amount of the actually generated picture when the predicted ungenerated portion of the first compressed video data is actually generated later. Then, the head part (scene change part) of the scene is detected. Specifically, the head detecting means compares, for example, the data amount of the predicted I-picture and P-picture with the data amount of the actually generated I-picture and P-picture, and calculates the ratio of the actual data amount to the predicted value. Is out of the predetermined range, it is detected that a scene change has occurred in portions corresponding to these I-pictures and P-pictures. Also, specifically, the head detecting means uses the fact that the data amount of the B picture after the scene change increases as much as the P picture, and for example, the data amount of the predicted B picture and the actually generated B picture The data amount of the picture is compared with that of the picture, and if the actual data amount is larger than the predicted value by a predetermined ratio or more, a scene change has occurred in a portion corresponding to the I picture and the P picture immediately before the B picture. Detect that. As described above, by monitoring not only the data amount of the I picture and the P picture but also the data amount of the B picture, the head detecting means can surely perform a scene change portion.
【0018】変更手段は、先頭検出手段が検出したシー
ンの先頭のピクチャーが、前のピクチャー(前のシーン
の最後のピクチャー)と関係を有する(伸長時に前のピ
クチャーのデータを参照する)Pピクチャーに圧縮され
る場合に、ピクチャータイプシーケンスを変更し、シー
ンの先頭のピクチャーが、他のピクチャーと関係を有さ
ないIピクチャーに圧縮されるようにする。また、目標
値生成手段は、生成した第1の圧縮映像データのデータ
量、および、予測した第1の圧縮映像データのデータ
量、またはこれらのいずれかに基づいて、最終的に生成
する圧縮映像データ(第2の圧縮映像データ)のデータ
量の目標値を生成する。[0018] The changing means is a P picture in which the first picture of the scene detected by the first detecting means has a relationship with the previous picture (the last picture of the previous scene) (refers to the data of the previous picture at the time of decompression). , The picture type sequence is changed so that the first picture of the scene is compressed into an I picture having no relation to other pictures. Further, the target value generating means may generate the compressed video finally generated based on the data amount of the generated first compressed video data and / or the predicted data amount of the first compressed video data. A target value of the data amount of the data (second compressed video data) is generated.
【0019】第2の圧縮手段は、例えば、第1の圧縮手
段と同じMPEG方式により、圧縮後のピクチャーそれ
ぞれのデータ量が、対応する目標値が示すデータ量にな
るように、遅延手段が遅延した各シーンを、変更手段変
更したピクチャータイプシーケンスに圧縮し、各シーン
の第2の圧縮映像データを生成する。[0019] The second compressing means uses the same MPEG system as the first compressing means, for example, so that the data amount of each picture after compression becomes equal to the data amount indicated by the corresponding target value. Each of the scenes thus compressed is compressed into a picture type sequence changed by the changing means, and second compressed video data of each scene is generated.
【0020】また、本発明に係る映像データ圧縮方法
は、連続して入力される複数の非圧縮映像データの先頭
が、所定の圧縮方法によりIピクチャー、Pピクチャー
およびBピクチャーの組み合わせで構成される所定のピ
クチャータイプシーケンスに圧縮された後に、Iピクチ
ャーまたはPピクチャーとなるように圧縮して、第1の
圧縮映像データを生成し、前記所定の遅延時間に対応す
る前記第1の圧縮映像データのデータ量に基づいて、所
定量の未生成の前記第1の圧縮映像データのデータ量を
予測し、前記第1の圧縮映像データの予測したデータ
量、実際に生成した前記第1の圧縮映像データのデータ
量(実際のデータ量)とに基づいて、前記非圧縮映像デ
ータの先頭のピクチャーを検出する。Further, in the video data compression method according to the present invention, the head of a plurality of non-compressed video data which are continuously input is composed of a combination of I picture, P picture and B picture by a predetermined compression method. After being compressed to a predetermined picture type sequence, the data is compressed to become an I picture or a P picture to generate first compressed video data, and the first compressed video data of the first compressed video data corresponding to the predetermined delay time is generated. A data amount of a predetermined amount of the uncompressed first compressed video data is predicted based on the data amount, and a predicted data amount of the first compressed video data and the actually generated first compressed video data are calculated. The first picture of the uncompressed video data is detected based on the data amount (actual data amount).
【0021】好適には、前記非圧縮映像データを所定の
遅延時間だけ遅延し、検出した部分のPピクチャーが、
圧縮後に、Iピクチャーになるように前記所定のピクチ
ャータイプシーケンスを変更し、生成した前記第1の圧
縮映像データと予測した前記第1の圧縮映像データとの
データ量に基づいて、圧縮後のデータ量の目標値を生成
し、圧縮後のデータ量が、生成した前記目標値になるよ
うに、遅延した前記非圧縮映像データを、前記所定の圧
縮方法により、変更した前記所定のピクチャータイプシ
ーケンスに圧縮する。Preferably, the uncompressed video data is delayed by a predetermined delay time, and the detected P picture is
After the compression, the predetermined picture type sequence is changed so as to become an I picture, and the data after compression is determined based on the data amount of the generated first compressed video data and the predicted first compressed video data. An amount target value is generated, and the uncompressed video data delayed by the predetermined compression method is changed to the predetermined picture type sequence so that the data amount after compression becomes the generated target value. Compress.
【0022】[0022]
【発明の実施の形態】第1実施形態 以下、本発明の第1の実施形態を説明する。MPEG方
式といった映像データの圧縮符号化方式により、高い周
波数成分が多い絵柄、あるいは、動きが多い絵柄といっ
た難度(difficulty)が高い映像データを圧縮符号化する
と、一般的に圧縮に伴う歪みが生じやすくなる。このた
め、難度が高い映像データは低い圧縮率で圧縮符号化す
る必要があり、難度が高いデータを圧縮符号化して得ら
れる圧縮映像データに対しては、難度が低い絵柄の映像
データの圧縮映像データに比べて、多くの目標データ量
を配分する必要がある。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First Embodiment Hereinafter, a first embodiment of the present invention will be described. By compression encoding video data such as the MPEG method, when compression encoding video data with a high degree of difficulty, such as a pattern with many high frequency components or a pattern with a lot of motion, distortion due to compression is likely to occur. Become. For this reason, it is necessary to compress and encode video data having a high degree of difficulty at a low compression ratio. For compressed video data obtained by compressing and encoding data having a high degree of difficulty, a compressed image of video data having a pattern having a low level of difficulty is obtained. It is necessary to allocate a larger amount of target data than data.
【0023】このように、映像データの難度に対して適
応的に目標データ量を配分するためには、従来技術とし
て示した2パスエンコード方式が有効である。しかしな
がら、2パスエンコード方式は、実時間的な圧縮符号化
に不向きである。第1の実施形態として示す簡易2パス
エンコード方式は、かかる2パスエンコード方式の問題
点を解決するためになされたものであり、非圧縮映像デ
ータを予備的に圧縮符号化して得られる圧縮映像データ
の難度データから非圧縮映像データの難度を算出し、予
備的な圧縮符号化により算出した難度に基づいて、FI
FOメモリ等により所定の時間だけ遅延した非圧縮映像
データの圧縮率を適応的に制御することができる。As described above, the two-pass encoding method shown as a conventional technique is effective for adaptively allocating a target data amount to the difficulty of video data. However, the two-pass encoding method is not suitable for real-time compression encoding. The simplified two-pass encoding method shown as the first embodiment has been made to solve the problem of the two-pass encoding method, and the compressed video data obtained by preliminary compression-encoding the non-compressed video data The difficulty level of the uncompressed video data is calculated from the difficulty level data, and the FI level is calculated based on the difficulty level calculated by the preliminary compression encoding.
The compression rate of the uncompressed video data delayed by a predetermined time by the FO memory or the like can be adaptively controlled.
【0024】図1は、本発明に係る映像データ圧縮装置
1の構成を示す図である。図1に示すように、映像デー
タ圧縮装置1は、圧縮符号化部10およびホストコンピ
ュータ20から構成され、圧縮符号化部10は、エンコ
ーダ制御部12、動き検出器(motion estimator)14、
簡易2パス処理部16、第2のエンコーダ(encoder) 1
8から構成され、簡易2パス処理部16は、FIFOメ
モリ160および第1のエンコーダ162から構成され
る。映像データ圧縮装置1は、これらの構成部分によ
り、編集装置およびビデオテープレコーダ装置等の外部
機器(図示せず)から入力される非圧縮映像データVI
Nに対して、上述した簡易2パスエンコードを実現す
る。FIG. 1 is a diagram showing a configuration of a video data compression device 1 according to the present invention. As shown in FIG. 1, the video data compression apparatus 1 includes a compression encoding unit 10 and a host computer 20. The compression encoding unit 10 includes an encoder control unit 12, a motion estimator 14,
Simple 2-pass processing unit 16, second encoder (encoder) 1
8, and the simple two-pass processing unit 16 includes a FIFO memory 160 and a first encoder 162. The video data compression device 1 uses these components to generate uncompressed video data VI input from external devices (not shown) such as an editing device and a video tape recorder device.
For N, the above-described simple two-pass encoding is realized.
【0025】映像データ圧縮装置1において、ホストコ
ンピュータ20は、映像データ圧縮装置1の各構成部分
の動作を制御する。また、ホストコンピュータ20は、
簡易2パス処理部16のエンコーダ162が非圧縮映像
データVINを予備的に圧縮符号化して生成した圧縮映
像データのデータ量、DCT処理後の映像データの直流
成分(DC成分)の値および直流成分(AC成分)の電
力値を制御信号C16を介して受け、受けたこれらの値
に基づいて圧縮映像データの絵柄の難度を算出する。さ
らに、ホストコンピュータ20は、算出した難度に基づ
いて、エンコーダ18が生成する圧縮映像データの目標
データ量Tj を制御信号C18を介してピクチャーごと
に割り当て、エンコーダ18の量子化回路166(図
3)に設定し、エンコーダ18の圧縮率をピクチャー単
位に適応的に制御する。In the video data compression apparatus 1, a host computer 20 controls the operation of each component of the video data compression apparatus 1. Also, the host computer 20
The data amount of the compressed video data generated by the encoder 162 of the simple two-pass processing unit 16 preliminarily compression-encoding the non-compressed video data VIN, the value of the DC component (DC component) of the DCT-processed video data, and the DC component The power value of the (AC component) is received via the control signal C16, and the difficulty of the picture of the compressed video data is calculated based on the received values. Further, the host computer 20 based on the calculated difficulty, assigned to each picture of the target amount of data T j of the compressed video data encoder 18 is generated via a control signal C18, the quantization circuit 166 of the encoder 18 (FIG. 3 ), And the compression rate of the encoder 18 is adaptively controlled on a picture basis.
【0026】エンコーダ制御部12は、非圧縮映像デー
タVINのピクチャーの有無をホストコンピュータ20
に通知し、さらに、非圧縮映像データVINのピクチャ
ーごとに圧縮符号化のための前処理を行う。つまり、エ
ンコーダ制御部12は、入力された非圧縮映像データを
符号化順に並べ替え、ピクチャー・フィールド変換を行
い、非圧縮映像データVINが映画の映像データである
場合に3:2プルダウン処理(映画の24フレーム/秒
の映像データを、30フレーム/秒の映像データに変換
し、冗長性を圧縮符号化前に取り除く処理)等を行い、
映像データS12として簡易2パス処理部16のFIF
Oメモリ160およびエンコーダ162に対して出力す
る。動き検出器14は、非圧縮映像データの動きベクト
ルの検出を行し、エンコーダ制御部12およびエンコー
ダ162,18に対して出力する。The encoder controller 12 determines whether or not there is a picture of the uncompressed video data VIN by the host computer 20.
And performs a pre-process for compression encoding for each picture of the uncompressed video data VIN. That is, the encoder control unit 12 rearranges the input non-compressed video data in the order of encoding, performs picture / field conversion, and performs 3: 2 pull-down processing (movie processing) when the non-compressed video data VIN is video data of a movie. Of the 24 frames / sec video data into 30 frames / sec video data, and removes the redundancy before the compression encoding.
The FIF of the simple 2-pass processing unit 16 is used as the video data S12.
Output to the O memory 160 and the encoder 162. The motion detector 14 detects a motion vector of the uncompressed video data, and outputs the motion vector to the encoder control unit 12 and the encoders 162 and 18.
【0027】簡易2パス処理部16において、FIFO
メモリ160は、エンコーダ制御部12から入力された
映像データS12を、例えば、非圧縮映像データVIN
が、L(Lは整数)ピクチャー入力される時間だけ遅延
し、遅延映像データS16としてエンコーダ18に対し
て出力する。In the simple two-pass processing unit 16, the FIFO
The memory 160 converts the video data S12 input from the encoder control unit 12 into, for example, uncompressed video data VIN
Is delayed by the time of L (L is an integer) picture input, and is output to the encoder 18 as delayed video data S16.
【0028】図2は、図1に示した簡易2パス処理部1
6のエンコーダ162の構成を示す図である。エンコー
ダ162は、例えば、図2に示すように、加算回路16
4、DCT回路166、量子化回路(Q)168、可変
長符号化回路(VLC)170、逆量子化回路(IQ)
172、逆DCT(IDCT)回路174、加算回路1
76および動き補償回路178から構成される一般的な
映像データ用圧縮符号化器であって、入力される映像デ
ータS12をMPEG方式等により圧縮符号化し、圧縮
映像データのピクチャーごとのデータ量等をホストコン
ピュータ20に対して出力する。FIG. 2 shows a simplified two-pass processing unit 1 shown in FIG.
6 is a diagram illustrating a configuration of a sixth encoder 162. FIG. The encoder 162 includes, for example, as shown in FIG.
4. DCT circuit 166, quantization circuit (Q) 168, variable length coding circuit (VLC) 170, inverse quantization circuit (IQ)
172, inverse DCT (IDCT) circuit 174, addition circuit 1
Is a general video data compression encoder composed of the video data S12 and the motion compensation circuit 178. The input video data S12 is compression-coded by the MPEG method or the like, and the amount of compressed video data for each picture is determined. Output to the host computer 20.
【0029】加算回路164は、加算回路176の出力
データを映像データS12から減算し、DCT回路16
6に対して出力する。DCT回路166は、加算回路1
64から入力される映像データを、例えば、16画素×
16画素のマクロブロック単位に離散コサイン変換(D
CT)処理し、時間領域のデータから周波数領域のデー
タに変換して量子化回路168に対して出力する。ま
た、DCT回路166は、DCT後の映像データのDC
成分の値およびAC成分の電力値をホストコンピュータ
20に対して出力する。量子化回路168は、DCT回
路166から入力された周波数領域のデータを、固定の
量子化値Qで量子化し、量子化データとして可変長符号
化回路170および逆量子化回路172に対して出力す
る。可変長符号化回路170は、量子化回路168から
入力された量子化データを可変長符号化し、可変長符号
化の結果として得られた圧縮映像データのデータ量を、
制御信号C16を介してホストコンピュータ20に対し
て出力する。逆量子化回路172は、可変長符号化回路
168から入力された量子化データを逆量子化し、逆量
子化データとして逆DCT回路174に対して出力す
る。The addition circuit 164 subtracts the output data of the addition circuit 176 from the video data S12,
6 is output. The DCT circuit 166 includes the addition circuit 1
For example, the video data input from 64 is converted to 16 pixels ×
Discrete cosine transform (D
CT), converts the data in the time domain into the data in the frequency domain, and outputs the data to the quantization circuit 168. Further, the DCT circuit 166 controls the DCT of the video data after the DCT.
The value of the component and the power value of the AC component are output to the host computer 20. The quantization circuit 168 quantizes the frequency domain data input from the DCT circuit 166 with a fixed quantization value Q, and outputs the quantized data to the variable length coding circuit 170 and the inverse quantization circuit 172. . The variable length coding circuit 170 performs variable length coding on the quantized data input from the quantization circuit 168, and calculates the data amount of the compressed video data obtained as a result of the variable length coding.
Output to the host computer 20 via the control signal C16. The inverse quantization circuit 172 inversely quantizes the quantized data input from the variable length encoding circuit 168, and outputs the inversely quantized data to the inverse DCT circuit 174.
【0030】逆DCT回路174は、逆量子化回路17
2から入力される逆量子化データに対して逆DCT処理
を行い、加算回路176に対して出力する。加算回路1
76は、動き補償回路178の出力データおよび逆DC
T回路174の出力データを加算し、加算回路164お
よび動き補償回路178に対して出力する。動き補償回
路178は、加算回路176の出力データに対して、動
き検出器14から入力される動きベクトルに基づいて動
き補償処理を行い、加算回路176に対して出力する。The inverse DCT circuit 174 includes the inverse quantization circuit 17
Inverse DCT processing is performed on the inversely quantized data input from 2 and output to the adding circuit 176. Addition circuit 1
76 is the output data of the motion compensation circuit 178 and the inverse DC
The output data of the T circuit 174 is added and output to the addition circuit 164 and the motion compensation circuit 178. The motion compensation circuit 178 performs a motion compensation process on the output data of the addition circuit 176 based on the motion vector input from the motion detector 14, and outputs the result to the addition circuit 176.
【0031】図3は、図1に示したエンコーダ18の構
成を示す図である。図3に示すように、エンコーダ18
は、図2に示したエンコーダ162に、量子化制御回路
180を加えた構成になっている。エンコーダ18は、
これらの構成部分により、ホストコンピュータ20から
設定される目標データ量Tj に基づいて、FIFOメモ
リ160によりLピクチャー分遅延された遅延映像デー
タS16に対して動き補償処理、DCT処理、量子化処
理および可変長符号化処理を施して、MPEG方式等の
圧縮映像データVOUTを生成し、外部機器(図示せ
ず)に出力する。FIG. 3 is a diagram showing a configuration of the encoder 18 shown in FIG. As shown in FIG.
Has a configuration in which a quantization control circuit 180 is added to the encoder 162 shown in FIG. The encoder 18
With these components, based on the target amount of data T j set from the host computer 20, the motion compensation process to the L picture delayed by the delayed video data S16 by the FIFO memory 160, DCT processing, quantization processing and The variable-length encoding processing is performed to generate compressed video data VOUT in the MPEG format or the like, and output the same to an external device (not shown).
【0032】エンコーダ18において、量子化制御回路
180は、可変長量子化回路170が出力する圧縮映像
データVOUTのデータ量を順次、監視し、遅延映像デ
ータS16の第j番目のピクチャーから最終的に生成さ
れる圧縮映像データのデータ量が、ホストコンピュータ
20から設定された目標データ量Tj に近づくように、
順次、量子化回路168に設定する量子化値Qj を調節
する。また、可変長量子化回路170は、圧縮映像デー
タVOUTを外部に出力する他に、遅延映像データS1
6を圧縮符号化して得られた圧縮映像データVOUTの
実際のデータ量Sj を制御信号C18を介してホストコ
ンピュータ20に対して出力する。In the encoder 18, the quantization control circuit 180 sequentially monitors the data amount of the compressed video data VOUT output from the variable length quantization circuit 170, and finally starts from the j-th picture of the delayed video data S 16. data amount of the compressed video data generated is, so as to approach the target amount of data T j set from the host computer 20,
The quantization value Q j to be set in the quantization circuit 168 is sequentially adjusted. The variable-length quantization circuit 170 outputs the compressed video data VOUT to the outside, and also outputs the delayed video data S1
6 is output to the host computer 20 via the control signal C18, the actual data amount Sj of the compressed video data VOUT obtained by compression-encoding 6.
【0033】以下、第1の実施形態における映像データ
圧縮装置1の簡易2パスエンコード動作を説明する。図
4(A)〜(C)は、第1の実施形態における映像デー
タ圧縮装置1の簡易2パスエンコードの動作を示す図で
ある。エンコーダ制御部12は、映像データ圧縮装置1
に入力された非圧縮映像データVINに対して、エンコ
ーダ制御部12により符号化順にピクチャーを並べ替え
る等の前処理を行い、図4(A)に示すように映像デー
タS12としてFIFOメモリ160およびエンコーダ
162に対して出力する。なお、エンコーダ制御部12
によるピクチャーの順番並べ替えにより、図4等に示す
ピクチャーの符号化の順番と伸長復号後の表示の順番と
は異なる。Hereinafter, a simple two-pass encoding operation of the video data compression device 1 according to the first embodiment will be described. FIGS. 4A to 4C are diagrams illustrating the operation of the simple two-pass encoding of the video data compression device 1 according to the first embodiment. The encoder control unit 12 controls the video data compression device 1
4A, the encoder control unit 12 performs preprocessing such as rearranging the pictures in the encoding order, and as shown in FIG. 4A, the FIFO memory 160 and the encoder 162. Note that the encoder control unit 12
, The order of picture encoding shown in FIG. 4 and the like differs from the order of display after decompression decoding.
【0034】FIFOメモリ160は、入力された映像
データS12の各ピクチャーをLピクチャー分だけ遅延
し、エンコーダ18に対して出力する。エンコーダ16
2は、入力された映像データS12のピクチャーを予備
的に順次、圧縮符号化し、第j(jは整数)番目のピク
チャーを圧縮符号化して得られた圧縮符号化データのデ
ータ量、DCT処理後の映像データのDC成分の値、お
よび、AC成分の電力値をホストコンピュータ20に対
して出力する。The FIFO memory 160 delays each picture of the input video data S12 by L pictures and outputs it to the encoder 18. Encoder 16
Reference numeral 2 denotes a data amount of compression-encoded data obtained by compression-encoding a picture of the input video data S12 in a preliminary and sequential manner, and compression-encoding a j-th (j is an integer) picture; And outputs the DC component value and AC component power value of the video data to the host computer 20.
【0035】例えば、エンコーダ18に入力される遅延
映像データS16は、FIFOメモリ160によりLピ
クチャーだけ遅延されているので、図4(B)に示すよ
うに、エンコーダ18が、遅延映像データS16の第j
(jは整数)番目のピクチャー(図4(B)のピクチャ
ーa)を圧縮符号化している際には、エンコーダ162
は、映像データS12の第j番目のピクチャーからLピ
クチャー分先の第(j+L)番目のピクチャー(図4
(B)のピクチャーb)を圧縮符号化していることにな
る。従って、エンコーダ18が遅延映像データS16の
第j番目のピクチャーの圧縮符号化を開始する際には、
エンコーダ162は映像データS12の第j番目〜第
(j+L−1)番目のピクチャー(図4(B)の範囲
c)の圧縮符号化を完了しており、これらのピクチャー
の圧縮符号化後の実難度データDj ,D j+1 ,Dj+2 ,
…,Dj+L-1 は、ホストコンピュータ20により既に算
出されている。For example, the delay input to the encoder 18
The video data S16 is stored in the L memory by the FIFO memory 160.
As shown in FIG. 4 (B),
As described above, the encoder 18 determines the j-th
(J is an integer) picture (picture of FIG. 4B)
-A), the encoder 162
Are L-pins from the j-th picture of the video data S12.
The (j + L) -th picture ahead of the kuture (FIG. 4
This means that picture b) of (B) is compression-encoded.
You. Therefore, the encoder 18 transmits the delayed video data S16.
When starting the compression encoding of the j-th picture,
The encoder 162 is configured to j-th to
(J + L-1) -th picture (range of FIG. 4B)
c) the compression encoding has been completed and these pictures
Difficulty data D after compression encodingj, D j + 1, Dj + 2,
…, Dj + L-1Is already calculated by the host computer 20.
Has been issued.
【0036】ホストコンピュータ20は、下に示す式1
により、エンコーダ18が遅延映像データS16の第j
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Tj を算出し、算出した
目標データ量Tj を量子化制御回路180に設定する。The host computer 20 uses the following formula 1
As a result, the encoder 18 sets the j-th
A target data amount T j to be allocated to the compressed video data obtained by compression-coding the third picture is calculated, and the calculated target data amount T j is set in the quantization control circuit 180.
【0037】[0037]
【数1】 (Equation 1)
【0038】但し、式1において、Dj は映像データS
12の第j番目のピクチャーの実難度データであり、
R’j は、映像データS12,S16の第j番目〜第
(j+L−1)番目のピクチャーに割り当てることがで
きる目標データ量の平均であり、R’j の初期値(R’
1 )は、圧縮映像データの各ピクチャーに平均して割り
当て可能な目標データ量であり、下に示す式2で表さ
れ、エンコーダ18が圧縮映像データを1ピクチャー分
生成する度に、式3に示すように更新される。Where D j is the video data S
12 is the actual difficulty data of the 12 th picture,
R ′ j is the average of the target data amount that can be allocated to the j-th to (j + L−1) -th pictures of the video data S12 and S16, and the initial value of R ′ j (R ′
1 ) is a target data amount that can be allocated to each picture of the compressed video data on average, and is expressed by the following equation (2). Each time the encoder 18 generates one picture of the compressed video data, Updated as shown.
【0039】[0039]
【数2】 (Equation 2)
【0040】[0040]
【数3】 (Equation 3)
【0041】なお、式3中の数値ビットレート(Bit rat
e)は、通信回線の伝送容量や、記録媒体の記録容量に基
づいて決められる1秒当たりのデータ量(ビット量)を
示し、ピクチャーレート(Picture rate)は、映像データ
に含まれる1秒当たりのピクチャーの数(30枚/秒
(NTSC),25枚/秒(PAL))を示し、数値F
j+L は、ピクチャータイプに応じて定められるピクチャ
ー当たりの平均データ量を示す。エンコーダ18のDC
T回路166は、入力される遅延映像データS16の第
j番目のピクチャーをDCT処理し、量子化回路168
に対して出力する。量子化回路168は、DCT回路1
66から入力された第j番目のピクチャーの周波数領域
のデータを、量子化制御回路180が目標データ量Tj
に基づいて調節する量子化値Qj により量子化し、量子
化データとして可変長符号化回路170に対して出力す
る。可変長符号化回路170は、量子化回路168から
入力された第j番目のピクチャーの量子化データを可変
長符号化して、ほぼ、目標データ量Tj に近いデータ量
の圧縮映像データVOUTを生成して出力する。Note that the numerical bit rate (Bit rat
e) is based on the transmission capacity of the communication line and the recording capacity of the recording medium.
Data amount per second (bit amount)
The picture rate (Picture rate) is
Number of pictures per second (30 pictures / sec.
(NTSC), 25 sheets / second (PAL))
j + LIs a picture determined according to the picture type
Shows the average amount of data per group. DC of encoder 18
The T circuit 166 is configured to output the delayed video data S16
DCT processing is performed on the j-th picture, and a quantization circuit 168
Output to The quantization circuit 168 is a DCT circuit 1
Frequency domain of the j-th picture input from
Of the target data amount T by the quantization control circuit 180.j
Quantized value Q adjusted based onjQuantized by
Output to the variable length coding circuit 170 as encoded data.
You. The variable length coding circuit 170
Variable quantized data of the input j-th picture
After long encoding, the target data amount TjData volume close to
And outputs the compressed video data VOUT.
【0042】同様に、図4(B)に示すように、エンコ
ーダ18が、遅延映像データS16の第(j+1)番目
のピクチャー(図4(C)のピクチャーa’)を圧縮符
号化している際には、エンコーダ162は、映像データ
S12の第(j+1)番目〜第(j+L)番目のピクチ
ャー(図4(C)の範囲c’)の圧縮符号化を完了し、
これらのピクチャーの実難度データDj+1 ,Dj+2 ,D
j+3 ,・・・,Dj+Lは、ホストコンピュータ20によ
り既に算出されている。Similarly, as shown in FIG. 4B, when the encoder 18 compresses and encodes the (j + 1) -th picture (the picture a 'in FIG. 4C) of the delayed video data S16. , The encoder 162 completes the compression encoding of the (j + 1) -th to (j + L) -th pictures (range c ′ in FIG. 4C) of the video data S12,
The actual difficulty data D j + 1 , D j + 2 , D of these pictures
j + 3 ,..., D j + L have already been calculated by the host computer 20.
【0043】ホストコンピュータ20は、式1により、
エンコーダ18が遅延映像データS16の第(j+1)
番目のピクチャーを圧縮符号化して得られる圧縮映像デ
ータに割り当てる目標データ量Tj+1 を算出し、エンコ
ーダ18の量子化制御回路180に設定する。The host computer 20 uses the following equation (1).
The encoder 18 determines the (j + 1) th of the delayed video data S16.
A target data amount T j + 1 to be allocated to compressed video data obtained by compression-encoding the third picture is calculated and set in the quantization control circuit 180 of the encoder 18.
【0044】エンコーダ18は、ホストコンピュータ2
0から量子化制御回路180に設定された目量データ量
Tj に基づいて第(j+1)番目のピクチャーを圧縮符
号化し、目標データ量Tj+1 に近いデータ量の圧縮映像
データVOUTを生成して出力する。さらに以下、同様
に、映像データ圧縮装置1は、遅延映像データS16の
第k番目のピクチャーを、量子化値Qk (k=j+2,
j+3,…)をピクチャーごとに変更して順次、圧縮符
号化し、圧縮映像データVOUTとして出力する。The encoder 18 is connected to the host computer 2
From 0, the (j + 1) -th picture is compression-encoded based on the scale data amount Tj set in the quantization control circuit 180, and compressed video data VOUT having a data size close to the target data size Tj + 1 is generated. And output. In the same manner, the video data compression device 1 similarly converts the k-th picture of the delayed video data S16 into a quantized value Q k (k = j + 2,
j + 3,...) are changed for each picture, and are sequentially compression-encoded and output as compressed video data VOUT.
【0045】以上説明したように、第1の実施形態に示
した映像データ圧縮装置1によれば、短時間で非圧縮映
像データVINの絵柄の難度を算出し、算出した難度に
応じた圧縮率で適応的に非圧縮映像データVINを圧縮
符号化することができる。つまり、第1の実施形態に示
した映像データ圧縮装置1によれば、2パスエンコード
方式と異なり、ほぼ実時間的に、非圧縮映像データVI
Nの絵柄の難度に基づいて適応的に非圧縮映像データV
INを圧縮符号化をすることができ、実況放送といった
実時間性を要求される用途に応用可能である。なお、第
1の実施形態に示した他、本発明に係るデータ多重化装
置1は、エンコーダ162が圧縮符号化した圧縮映像デ
ータのデータ量を、そのまま難度データとして用い、ホ
ストコンピュータ20の処理の簡略化を図る等、種々の
構成を採ることができる。As described above, according to the video data compression apparatus 1 shown in the first embodiment, the degree of difficulty of the pattern of the non-compressed video data VIN is calculated in a short time, and the compression ratio according to the calculated degree of difficulty is calculated. Thus, the non-compressed video data VIN can be adaptively compression-encoded. That is, according to the video data compression apparatus 1 shown in the first embodiment, unlike the two-pass encoding method, the non-compressed video data VI
N based on the degree of difficulty of the picture
IN can be compression-encoded, and can be applied to applications requiring real-time performance such as live broadcasting. In addition to the data multiplexing apparatus 1 according to the present invention, the data multiplexing apparatus 1 according to the present invention uses the data amount of the compressed video data compressed and encoded by the encoder 162 as difficulty data as it is, Various configurations can be adopted, such as simplification.
【0046】第2実施形態 第1の実施形態に示した簡易2パスエンコード方式によ
れば、実時間かつ、絵柄の難度に応じた適応的な非圧縮
映像データに対する圧縮符号化処理が可能である。しか
しながら、第1の実施形態に示した簡易2パスエンコー
ド方式を用いた場合、実時間性が厳しく要求される場合
には、FIFOメモリ160の遅延時間を大きくするこ
とができず、真に適切な目標データ量Tj の算出が難し
く、圧縮映像データVOUTを伸長復号して得られる映
像の品質が低下してしまう可能性がある。 Second Embodiment According to the simple two-pass encoding method shown in the first embodiment, it is possible to perform compression encoding processing on uncompressed video data adaptively in real time according to the difficulty of a picture. . However, when the simple two-pass encoding method shown in the first embodiment is used, when strict real-time performance is required, the delay time of the FIFO memory 160 cannot be increased, and a truly appropriate calculation is difficult for the target data amount T j, the quality of the image obtained compressed video data VOUT to expansion decoding is likely to decrease.
【0047】第2の実施形態においては、第1の実施形
態に示した映像データ圧縮装置1(図1)を用い、ホス
トコンピュータ20の処理内容を変更して、FIFOメ
モリ160の遅延時間を長くしなくても適切な目標デー
タ量Tj の値を得ることができるように、非圧縮映像デ
ータをLピクチャー分、予備的に圧縮符号化して得られ
た圧縮映像データの第j番目のピクチャー〜第(j+L
−1)番目のピクチャーの実難度データDj 〜Dj+L-1
から、圧縮映像データの第(j+L)番目のピクチャー
〜第(j+L+B)番目のピクチャー(Bは整数)の難
度データ(予測難度データ)Dj+L 〜Dj+L+B を算出
し、実際に得られた難度データDj 〜Dj+ L-1 (実難度
データ)および予測によって得られた難度データD’
j+L 〜D’j+ L+B に基づいて、第1の実施形態に示した
簡易2パスエンコード方式よりも適切な目標データ量T
j の値を得ることができる圧縮符号化方式(予測簡易2
パスエンコード方式)を説明する。In the second embodiment, the processing content of the host computer 20 is changed by using the video data compression apparatus 1 (FIG. 1) shown in the first embodiment, and the delay time of the FIFO memory 160 is increased. In order to obtain an appropriate value of the target data amount Tj without performing the above processing, the j-th picture to the L-th picture of the uncompressed video data and the j-th picture of the compressed video data obtained by preliminary compression encoding are used. (J + L
-1) Actual difficulty data D j to D j + L-1 of the first picture
From the (j + L) -th picture to the (j + L + B) -th picture (B is an integer) of the compressed video data, the difficulty data (prediction difficulty data) D j + L to D j + L + B are calculated. Difficulty data D j to D j + L-1 (actual difficulty data) and difficulty data D ′ obtained by prediction
Based on j + L to D ′ j + L + B , the target data amount T is more appropriate than the simple two-pass encoding method shown in the first embodiment.
The compression encoding method (simple prediction 2
The path encoding method will be described.
【0048】まず、第2の実施形態で説明する予測簡易
2パスエンコード方式を概念的に説明する。予測簡易2
パスエンコード方式は、徐々に絵柄が難しくなってゆ
く、つまり、徐々に圧縮符号化時のDCT処理後の高い
周波数成分が多くなり、動きが速くなってゆく非圧縮映
像データの絵柄は、さらに難しくなってゆき、逆に、徐
々に絵柄が難しくなくなって(簡単になって)ゆく非圧
縮映像データの絵柄は、さらに簡単になってゆくであろ
うと予測可能であることを前提する。First, a simplified predictive two-pass encoding method described in the second embodiment will be conceptually described. Simple prediction 2
In the path encoding method, the picture becomes gradually more difficult, that is, the picture of the non-compressed video data, in which the high frequency components after the DCT processing in the compression encoding gradually increase and the movement becomes faster, becomes more difficult. On the contrary, it is assumed that the pattern of the uncompressed video data, in which the pattern gradually becomes difficult (simplifies), can be predicted to be further simplified.
【0049】つまり、予測簡易2パスエンコード方式
は、ホストコンピュータ20が、この前提に基づいて、
さらに絵柄が難しくなってゆくと予測される場合には、
さらに絵柄が難しいピクチャーに備えて、その時点で圧
縮符号化しているピクチャーに割り当てる目標データ量
を節約し、逆に、さらに絵柄が簡単になってゆくと予測
される場合には、その時点で圧縮符号化しているピクチ
ャーに割り当てる目標データ量を増やすようにエンコー
ダ18に対する圧縮率の制御を行う。That is, in the simple predictive two-pass encoding method, the host computer 20 uses the
If the picture is expected to become more difficult,
In preparation for a picture with a more difficult picture, the target data amount to be allocated to the picture currently being compression-encoded is saved, and conversely, if the picture is expected to become simpler, the compression will be performed at that point. The compression rate of the encoder 18 is controlled so as to increase the target data amount allocated to the picture being coded.
【0050】さらに、予測簡易2パスエンコード方式の
概念的な説明を続ける。映像データは、一般的に、時間
方向および空間方向について相関性が高く、映像データ
の圧縮符号化は、これらの相関性に着目し、冗長性を除
くことにより行われる。時間方向について相関性が高い
ということは、現時点の非圧縮映像データのピクチャー
の難度とそれ以降の非圧縮映像データのピクチャーの難
度とが近いということを意味する。また、難度の増減の
傾向も、現時点までの難度の増減の傾向がそれ以降も続
くことが多い。Further, a conceptual description of the simple predictive two-pass encoding method will be continued. Video data generally has high correlation in the time direction and the spatial direction, and compression coding of video data is performed by focusing on these correlations and removing redundancy. The high correlation in the time direction means that the difficulty level of the picture of the current uncompressed video data is close to the difficulty level of the picture of the subsequent uncompressed video data. In addition, the tendency of the increase and decrease of the difficulty level up to the present time often continues thereafter.
【0051】具体例を挙げると、カメラが静止状態から
ゆっくりとカメラを水平方向に回し初め、最後に一定の
回転速度で回転しながら、静止している物体を撮影する
場合の非圧縮映像データの絵柄を考える。最初はカメラ
が停止状態であるため、静止映像が撮影され、絵柄の難
度は低くなる。次に、カメラを回し始めて1〜2秒後に
一定の回転速度になると仮定すると、カメラを回し始め
て1〜2秒間は絵柄の難度は高くなる傾向を示す。この
状態を、映像データ圧縮装置1側から見ると、数GOP
分の圧縮映像データを生成する間、入力される非圧縮映
像データの絵柄の難度が高くなる傾向が続くことにな
る。As a specific example, the non-compressed video data of the case where the camera starts rotating slowly in the horizontal direction from the stationary state, and finally rotates at a constant rotational speed while photographing a stationary object. Think about the design. At first, since the camera is in a stopped state, a still image is captured, and the difficulty of the picture is reduced. Next, assuming that the rotation speed becomes constant after one to two seconds from starting to rotate the camera, the difficulty of the picture tends to increase from one to two seconds after starting to rotate the camera. When this state is viewed from the video data compression device 1 side, several GOPs
During the generation of the compressed video data, the pattern of the input non-compressed video data tends to be more difficult.
【0052】従って、この具体例に示したような場合に
は、非圧縮映像データの絵柄の難度が増大傾向を示した
場合に、それ以降の絵柄の難度が増大傾向を示すと予測
するのは妥当である。以下に説明する予測簡易2パスエ
ンコード方式は、このような難度および難度の増減傾向
の時間的相関性を積極的に利用して、圧縮映像データの
各ピクチャーに対して、第1の実施形態に示した簡易2
パスエンコード方式においてよりも適切な目標データ量
の割り当てを行おうとするものである。Therefore, in the case shown in this specific example, when the difficulty of the pattern of the non-compressed video data shows a tendency to increase, it is predicted that the difficulty of the pattern after that shows a tendency to increase. Reasonable. The simple predictive two-pass encoding method described below positively utilizes the temporal correlation of the difficulty and the increasing / decreasing tendency of the difficulty to apply the first embodiment to each picture of the compressed video data. Simple 2 shown
It is intended to allocate a more appropriate target data amount than in the path encoding method.
【0053】以下、第2の実施形態における映像データ
圧縮装置1の予測簡易2パスエンコードの動作を説明す
る。図5(A)〜(C)は、映像データ圧縮装置1の動
作を示す図である。エンコーダ制御部12は、第1の実
施形態においてと同様に、映像データ圧縮装置1に入力
された非圧縮映像データVINに対して、エンコーダ制
御部12により符号化順にピクチャーを並べ替える等の
前処理を行い、図5(A)に示すように映像データS1
2としてFIFOメモリ160およびエンコーダ162
に対して出力する。The operation of the predictive simple two-pass encoding of the video data compression device 1 according to the second embodiment will be described below. 5A to 5C are diagrams illustrating the operation of the video data compression device 1. As in the first embodiment, the encoder control unit 12 performs pre-processing such as rearranging pictures in the coding order by the encoder control unit 12 on the uncompressed video data VIN input to the video data compression device 1. Is performed, and as shown in FIG.
2 as FIFO memory 160 and encoder 162
Output to
【0054】FIFOメモリ160は、第1の実施形態
においてと同様に、入力された映像データS12の各ピ
クチャーをLピクチャー分だけ遅延し、エンコーダ18
に対して出力する。エンコーダ162は、第1の実施形
態においてと同様に、入力された映像データS12のピ
クチャーを予備的に順次、圧縮符号化し、第j(jは整
数)番目のピクチャーを圧縮符号化して得られた圧縮符
号化データのデータ量、DCT処理後の映像データのD
C成分の値およびAC成分の電力値をホストコンピュー
タ20に対して出力する。ホストコンピュータ20は、
エンコーダ162から入力されたこれらの値に基づい
て、実難度データDj を順次、算出する。As in the first embodiment, the FIFO memory 160 delays each picture of the input video data S12 by L pictures, and
Output to As in the first embodiment, the encoder 162 preliminary compresses and encodes the picture of the input video data S12 sequentially, and compresses and encodes the j-th (j is an integer) picture. Data amount of compression encoded data, D of video data after DCT processing
The value of the C component and the power value of the AC component are output to the host computer 20. The host computer 20
Based on these values input from the encoder 162, sequentially, to calculate the real difficulty data D j.
【0055】例えば、エンコーダ18に入力される遅延
映像データS16は、FIFOメモリ160によりLピ
クチャーだけ遅延されているので、図5(B)に示すよ
うに、エンコーダ18が、遅延映像データS16の第j
番目のピクチャー(図5(B)のピクチャーa)を圧縮
符号化している際には、エンコーダ162は、第1の実
施形態においてと同様に、映像データS12の第j番目
のピクチャーからLピクチャー分先の第(j+L)番目
のピクチャー(図5(B)のピクチャーb)を圧縮符号
化していることになる。For example, since the delayed video data S16 input to the encoder 18 is delayed by L pictures by the FIFO memory 160, as shown in FIG. j
When the third picture (picture a in FIG. 5B) is compression-encoded, the encoder 162 performs L-pictures from the j-th picture of the video data S12 in the same manner as in the first embodiment. This means that the preceding (j + L) -th picture (picture b in FIG. 5B) has been compression-encoded.
【0056】従って、エンコーダ18が遅延映像データ
S16の第j番目のピクチャーの圧縮符号化を開始する
際には、エンコーダ162は映像データS12の第(j
−A)番目〜第(j+L−1)番目のピクチャー(図5
(B)の範囲c、但し、図5はA=0の場合を示す)の
圧縮符号化を完了し、これらのピクチャーの圧縮符号化
後のデータ量、および、DCT処理後の映像データのD
C成分の値およびAC成分の電力値をホストコンピュー
タ20に対して出力している。ホストコンピュータ20
は、エンコーダ162から入力されたこれらの値に基づ
いて、難度データ(実難度データ、図5(B)の範囲
d)Dj-A ,Dj-A+1 ,…,Dj ,Dj+1,Dj+2 ,
…,Dj+L-1 の算出を既に終了している。なお、Aは整
数であり、正負を問わない。Therefore, when the encoder 18 starts compression-encoding the j-th picture of the delayed video data S16, the encoder 162 sets the (j) -th picture of the video data S12.
-A) -th to (j + L-1) -th pictures (FIG. 5)
(B), where FIG. 5 shows the case where A = 0), completes the compression encoding, the data amount of these pictures after compression encoding, and the D of the video data after DCT processing.
The value of the C component and the power value of the AC component are output to the host computer 20. Host computer 20
Are based on these values input from the encoder 162, based on the difficulty data (actual difficulty data, range d in FIG. 5B) D jA , D j-A + 1 ,..., D j , D j + 1 , D j + 2 ,
.., D j + L−1 has already been calculated. Note that A is an integer, and may be either positive or negative.
【0057】ホストコンピュータ20は、実難度データ
Dj-A ,Dj-a+1 ,…,Dj ,Dj+ 1 ,Dj+2 ,…,D
j+L-1 に基づいて、映像データS12の第(j+L)番
目〜第(j+L+B)番目のピクチャーの圧縮符号化後
の難度データ(予測難度データ、図5(B)の範囲e)
D’j+L ,D’j+L+1 ,D’j+L+2 ,…,D’j+L+Bを
予測し、下に示す式4により、遅延映像データS16の
第j番目のピクチャーの圧縮符号化後の目標データ量T
j を算出する。従って、遅延映像データS16の第j番
目のピクチャーの圧縮符号化後の目標データ量Tj を算
出するために、実難度データと予測難度データとを含め
て、図5(B)の範囲cの(A+L+B+1)ピクチャ
ー分の難度データを用いることになる。The host computer 20 stores actual difficulty data D jA , D j-a + 1 ,..., D j , D j + 1 , D j + 2 ,.
Based on j + L-1 , the difficulty data after the compression encoding of the (j + L) -th to (j + L + B) -th pictures of the video data S12 (predicted difficulty data, range e in FIG. 5B)
D ′ j + L , D ′ j + L + 1 , D ′ j + L + 2 ,..., D ′ j + L + B, and the j-th of the delayed video data S16 Target data amount T after compression encoding of the picture
Calculate j . Therefore, in order to calculate the target amount of data T j of the compressed encoding of the j-th picture of the delayed video data S16, including the real difficulty data of the predictive difficulty data, the range c shown in FIG. 5 (B) The difficulty data for (A + L + B + 1) pictures is used.
【0058】[0058]
【数4】 (Equation 4)
【0059】なお、式4の各記号は、式1の各記号に同
じである。エンコーダ18は、第1の実施形態と同様
に、ホストコンピュータ20により量子化制御回路18
0に設定された目標データ量Tj に基づいて、目標デー
タ量Tj に近いデータ量の圧縮映像データVOUTを生
成して出力する。さらに、ホストコンピュータ20は、
図5(B)に示した動作と同様に、遅延映像データS1
6の第(j+1)番目のピクチャー(図5(C)のピク
チャーa’)に対しても、映像データS12の第(j+
L+1)番目のピクチャー(図5(C)のピクチャー
b’)以前の図5(C)の範囲d’の実難度データD
j-A+1,Dj-A+2 ,…,Dj ,Dj+1 ,Dj+2 ,…,D
j+L 、および、図5(C)の範囲e’に示す予測難度デ
ータ、D’j+L+1 ,D’j+L+2 ,D’j+L+3 ,…,D’
j+L+B+1 、つまり、図5(C)の範囲c’に示す実難度
データと予測難度データとに基づいて、遅延映像データ
S16の第(j+1)番目のピクチャーの圧縮符号化後
の目標データ量Tj+1 を算出する。エンコーダ18は、
ホストコンピュータ20が算出した目量データ量Tj+1
に基づいて、遅延映像データS16の第(j+1)番目
のピクチャーを圧縮符号化し、目標データ量Tj+1 に近
いデータ量の圧縮符号化データVOUTを生成する。な
お、以上の映像データ圧縮装置1の予測簡易2パスエン
コード動作は、遅延映像データS16の第(j+1)番
目のピクチャーに対しても同様である。Note that each symbol in Equation 4 is the same as each symbol in Equation 1.
The same. Encoder 18 is the same as in the first embodiment.
And the quantization control circuit 18 by the host computer 20.
Target data amount T set to 0jBased on the goal date
Volume TjProduces compressed video data VOUT with a data amount close to
And output. Further, the host computer 20
As in the operation shown in FIG. 5B, the delayed video data S1
6 (j + 1) -th picture (picture in FIG. 5C)
(Char + '), the (j +
L + 1) th picture (picture in FIG. 5C)
b ') The actual difficulty data D in the range d' in FIG.
j-A + 1, Dj-A + 2, ..., Dj, Dj + 1, Dj + 2, ..., D
j + L, And the prediction difficulty data shown in a range e ′ in FIG.
Data, D 'j + L + 1, D 'j + L + 2, D 'j + L + 3, ..., D '
j + L + B + 1In other words, the actual difficulty shown in the range c 'in FIG.
Delay video data based on the
After compression encoding of the (j + 1) th picture in S16
Target data amount Tj + 1Is calculated. The encoder 18
Scale data amount T calculated by the host computer 20j + 1
(J + 1) -th of the delayed video data S16 based on
Is compressed and coded, and the target data amount Tj + 1Close to
A large amount of compressed encoded data VOUT is generated. What
Note that the prediction simple 2-pass engine of the above video data compression apparatus 1
The code operation is the (j + 1) th of the delayed video data S16.
The same applies to eye pictures.
【0060】以下、図6を参照して、第2の実施形態に
おける映像データ圧縮装置1の動作を整理して説明す
る。図6は、第2の実施形態における映像データ圧縮装
置1(図1)の動作を示すフローチャートである。図6
に示すように、ステップ102(S102)において、
ホストコンピュータ20は、式1等に用いられる数値
j,R’1 を、j=−(L−1),R’1 =(Bit rate
×(L+B))/Picture rate として初期化する。Hereinafter, the operation of the video data compression apparatus 1 according to the second embodiment will be summarized and described with reference to FIG. FIG. 6 is a flowchart showing the operation of the video data compression device 1 (FIG. 1) in the second embodiment. FIG.
As shown in step 102, in step 102 (S102),
The host computer 20 converts the numerical values j and R ′ 1 used in Expression 1 and the like into j = − (L−1), R ′ 1 = (Bit rate
× (L + B)) / Picture rate
【0061】ステップ104(S104)において、ホ
ストコンピュータ20は、数値jが0より大きいか否か
を判断する。数値jが0より大きい場合にはS106の
処理に進み、小さい場合にはS110の処理に進む。ス
テップ106(S106)において、エンコーダ162
は、映像データS12の第(j+L)番目のピクチャー
を圧縮符号化し、実難度データDj+L を生成する。In step 104 (S104), the host computer 20 determines whether or not the numerical value j is larger than 0. If the value j is larger than 0, the process proceeds to S106, and if it is smaller, the process proceeds to S110. In step 106 (S106), the encoder 162
Compresses and encodes the (j + L) -th picture of the video data S12 to generate actual difficulty data D j + L.
【0062】ステップ108(S108)において、ホ
ストコンピュータ20は数値jをインクリメントする
(j=j+1)。ステップ110(S110)におい
て、ホストコンピュータ20は、遅延映像データS16
に第j番目のピクチャーが存在するか否かを判断する。
第j番目のピクチャーが存在する場合にはS112の処
理に進み、存在しない場合には圧縮符号化処理を終了す
る。In step 108 (S108), the host computer 20 increments the numerical value j (j = j + 1). In step 110 (S110), the host computer 20 transmits the delayed video data S16
It is determined whether the j-th picture exists.
If the j-th picture exists, the process proceeds to S112; otherwise, the compression encoding process ends.
【0063】ステップ112(S112)において、ホ
ストコンピュータ20は、数値jが数値Aよりも大きい
か否かを判断する。数値jが数値Aよりも大きい場合に
はS114の処理に進み、小さい場合にはS116の処
理に進む。ステップ114(S114)において、ホス
トコンピュータ20は、実難度データDj-A 〜Dj+L-1
に基づいて、予測難度データD’j+L 〜D’j+L+B を算
出する。ステップ116(S116)において、ホスト
コンピュータ20は実難度データD1 〜Dj+L-1 から、
予測難度データD’j+L 〜D’j+L+B を算出する。In step 112 (S112), the host computer 20 determines whether or not the numerical value j is larger than the numerical value A. When the numerical value j is larger than the numerical value A, the process proceeds to S114, and when the numerical value j is smaller, the process proceeds to S116. In step 114 (S114), the host computer 20 executes the actual difficulty data D jA to D j + L-1.
, The predicted difficulty level data D ′ j + L to D ′ j + L + B are calculated. At step 116 (S116), the host computer 20 is the real difficulty data D 1 ~D j + L-1 ,
The prediction difficulty data D ′ j + L to D ′ j + L + B are calculated.
【0064】ステップ118(S118)において、ホ
ストコンピュータ20は、式4を用いて目標データ量T
j を算出し、エンコーダ18の量子化制御回路180に
設定する。さらに、エンコーダ18は、量子化制御回路
180に設定された目標データ量Tj に基づいて遅延映
像データS16の第j番目のピクチャーを圧縮符号化
し、第j番目のピクチャーから実際に得られた圧縮映像
データのデータ量Sj をホストコンピュータ20に対し
て出力する。ステップ120(S120)において、ホ
ストコンピュータ20は、エンコーダ18からのデータ
量Sj を記憶し、さらに、映像データS12の第(j+
L)番目のピクチャーの実難度データDj+L を出力す
る。In step 118 (S118), the host computer 20 calculates the target data amount T
j is calculated and set in the quantization control circuit 180 of the encoder 18. Further, the encoder 18 compression-encodes the j-th picture of the delayed video data S16 based on the target data amount T j set in the quantization control circuit 180, and compresses the compressed picture actually obtained from the j-th picture. The data amount Sj of the video data is output to the host computer 20. In step 120 (S120), the host computer 20 stores the data amount Sj from the encoder 18, and further stores the data amount Sj of the video data S12.
L) Output the actual difficulty data D j + L of the picture.
【0065】ステップ122(S122)において、エ
ンコーダ18は、遅延映像データS16の第j番目を圧
縮符号化して得られた圧縮映像データVOUTを外部に
出力する。ステップ124(S124)において、ホス
トコンピュータ20は、ピクチャータイプに応じて、式
3中に用いられる数値Fj+L を算出する。ステップ12
6(S126)において、ホストコンピュータ20は、
式3に示した演算(R’j+1 =R’j −Sj +Fj+L )
を行う。In step 122 (S122), the encoder 18 outputs the compressed video data VOUT obtained by compression-coding the j-th delayed video data S16 to the outside. In step 124 (S124), the host computer 20 calculates the numerical value F j + L used in Expression 3 according to the picture type. Step 12
6 (S126), the host computer 20
The operation shown in Equation 3 (R ′ j + 1 = R ′ j −S j + F j + L )
I do.
【0066】以上説明したように、第2の実施形態に示
した映像データ圧縮装置1による予測簡易2パスエンコ
ードによれば、短時間で非圧縮映像データVINの絵柄
の難度を算出し、算出した難度に基づいて予測した難度
をさらに用いて適応的に非圧縮映像データVINを圧縮
符号化することができ、簡易2パスエンコード方式に比
べて、より適切な目標データ量を圧縮映像データの各ピ
クチャーに割り当てることが可能である。従って、予測
簡易2パスエンコード方式による圧縮映像データを伸長
復号した場合、簡易2パスエンコード方式による圧縮映
像データを伸長復号した場合に比べて、より高品質な映
像を得ることができる。As described above, according to the prediction simple two-pass encoding by the video data compression apparatus 1 shown in the second embodiment, the difficulty of the pattern of the uncompressed video data VIN is calculated in a short time. The uncompressed video data VIN can be adaptively compression-encoded by further using the degree of difficulty predicted based on the degree of difficulty, and a more appropriate target data amount can be set for each picture of the compressed image data as compared with the simple two-pass encoding method. Can be assigned to Therefore, when the compressed video data is expanded and decoded by the predictive simple two-pass encoding method, a higher quality video can be obtained as compared with the case where the compressed video data is expanded and decoded by the simple two-pass encoding method.
【0067】第3実施形態 以下、本発明の第3の実施形態として、編集処理によ
り、複数の非圧縮映像データ(以下、非圧縮映像データ
をシーンとも記す)を連続的に接続して1つの非圧縮映
像データ(編集映像データ)とし、この複数のシーンか
らなる編集映像データを、第1の実施形態に示した映像
データ圧縮装置1(図1)を用いた簡易2パスエンコー
ド方式により圧縮符号化する方法を説明する。 Third Embodiment Hereinafter, as a third embodiment of the present invention, a plurality of uncompressed video data (hereinafter, also referred to as “scene”) are connected by editing processing to form one uncompressed video data. Uncompressed video data (edited video data) is used, and the edited video data composed of the plurality of scenes is compressed by a simple two-pass encoding method using the video data compression device 1 (FIG. 1) shown in the first embodiment. A method for converting the data will be described.
【0068】図7(A)〜(C)は、第2の実施形態に
おける予測簡易2パスエンコード方式、および、第3の
実施形態における改良予測簡易2パスエンコード方式に
よる、シーンチェンジの前後のピクチャーに対する圧縮
符号化を示す図である。第2の実施形態に示した予測簡
易2パスエンコード方式は、図7(A)に示すように入
力される映像データに含まれるピクチャー間の時間的な
相関性を利用し、圧縮映像データのピクチャーそれぞれ
のデータ量を予測する。しかしながら、図7(B)に示
すタイミングでシーンチェンジ(scene change)が生じた
場合、シーンチェンジの前後では、ピクチャー間に相関
性がないので、図7(C)に示すように、シーンチェン
ジの前の難度データに基づいてシーンチェンジの後のピ
クチャーに対する目標データ量Tj を算出することとな
り、第2の実施形態に示した予測簡易2パスエンコード
方式の効果を得ることができないばかりか、却って、伸
長復号後の映像の品質が悪化してしまう可能性がある。FIGS. 7A to 7C show pictures before and after a scene change by the simple predictive two-pass encoding method according to the second embodiment and the improved simple predictive two-pass encoding method according to the third embodiment. FIG. 4 is a diagram illustrating compression encoding for. The simplified predictive two-pass encoding method shown in the second embodiment utilizes temporal correlation between pictures included in input video data as shown in FIG. Predict the amount of each data. However, if a scene change occurs at the timing shown in FIG. 7B, there is no correlation between pictures before and after the scene change, and therefore, as shown in FIG. It becomes possible to calculate the target amount of data T j for pictures after the scene change based on the previous difficulty data, not only it is impossible to obtain the effect of the prediction simplified two pass encoding system shown in the second embodiment, rather However, there is a possibility that the quality of the video after the decompression decoding is deteriorated.
【0069】つまり、具体例を挙げると、予測簡易2パ
スエンコード方式において、絵柄が簡単なシーンが入力
されている間にシーンチェンジが生じ、絵柄が難しいシ
ーンに代わった場合、ホストコンピュータ20は、シー
ンチェンジ後も、入力される編集映像データの難度デー
タの値を小さく予測するにも関わらず、実際には、絵柄
が難しいピクチャーが入力され、後のシーンの各ピクチ
ャーに割り当てるデータ量が不足してしまう。このよう
に、割り当てるデータ量が不足した場合、シーンチェン
ジ部分の圧縮映像データに著しい符号化歪みが生じ、伸
長復号して得られる映像の品質が著しく低下してしま
う。That is, to give a specific example, in the predictive simple two-pass encoding method, when a scene change occurs while a scene with a simple pattern is input and the scene is replaced with a scene with a difficult pattern, the host computer 20 Even after the scene change, despite the fact that the value of the difficulty data of the input edited video data is predicted to be small, a picture with a difficult picture is actually input, and the amount of data allocated to each picture in the subsequent scene is insufficient. Would. As described above, when the data amount to be allocated is insufficient, remarkable coding distortion occurs in the compressed video data in the scene change portion, and the quality of the video obtained by decompression decoding is significantly reduced.
【0070】第3の実施形態に示す予測簡易2パスエン
コード方式(改良予測簡易2パスエンコード方式)は、
かかる観点からなされたものであって、シーンチェンジ
の前後等において編集映像データの時間的な相関性が失
われた場合に、編集映像データの時間的な相関性が失わ
れた部分に生じる難度データの予測に基づくデータ量の
割り当てに起因する悪影響を除去し、さらに、シーンチ
ェンジ直後のピクチャーに割り当てる符号量を精度よく
予測し、効率的な圧縮符号化を行うことを目的とする。The simplified prediction two-pass encoding method (improved simplified prediction two-pass encoding method) shown in the third embodiment is as follows.
From such a viewpoint, when the temporal correlation of the edited video data is lost before and after a scene change, etc., difficulty data generated in a portion where the temporal correlation of the edited video data is lost It is an object of the present invention to eliminate an adverse effect caused by the data amount allocation based on the prediction of the above, further accurately predict the code amount to be allocated to the picture immediately after the scene change, and perform efficient compression encoding.
【0071】この目的を達成するために、改良予測簡易
2パスエンコード方式は、第2の実施形態に示した映像
データ圧縮装置1(図1)を用いた予測簡易2パスエン
コード方式を改良し、シーンチェンジを検出し、圧縮映
像データのピクチャーに割り当てるデータ量の算出に用
いることができなくなったシーンチェンジ前の実難度デ
ータではなく、シーンチェンジ後に求めた実難度データ
を用いて、可能な限り正確に、その後の所定数のピクチ
ャーの難度を予測する。In order to achieve this object, the improved simplified predictive two-pass encoding method is to improve the simplified predictive two-pass encoding method using the video data compression device 1 (FIG. 1) shown in the second embodiment. Detects scene changes and uses the actual difficulty data obtained after the scene change instead of the actual difficulty data before the scene change, which can no longer be used to calculate the amount of data allocated to pictures of compressed video data. Then, the difficulty of a predetermined number of pictures is predicted.
【0072】まず、図8および図9を参照して、改良予
測簡易2パスエンコード方式を概念的に説明する。図8
(A)〜(C)は、エンコーダ制御部12(図1)によ
る編集映像データのピクチャーの順序の入れ替え処理、
および、ホストコンピュータ20によるピクチャーの種
類(ピクチャータイプ)の変更処理を示す図である。図
9は、編集映像データのシーンチェンジ部分付近の実難
度データの値の経時的な変化を例示する図である。な
お、図9において、Iピクチャー、Pピクチャーおよび
Bピクチャーは、編集映像データを圧縮符号化した後の
ピクチャータイプを示す。First, the improved prediction simple two-pass encoding method will be conceptually described with reference to FIGS. FIG.
(A) to (C) show a process of changing the order of pictures of edited video data by the encoder control unit 12 (FIG. 1).
FIG. 9 is a diagram illustrating a process of changing a picture type (picture type) by the host computer 20. FIG. 9 is a diagram exemplifying a change with time of the value of the actual difficulty data near the scene change portion of the edited video data. In FIG. 9, I picture, P picture, and B picture indicate the picture types after the edited video data is compression-encoded.
【0073】編集映像データのシーンチェンジが圧縮符
号化後にPピクチャーとなるピクチャー(以下、「圧縮
符号化後にPピクチャーとなるピクチャー」等を、単に
「Pピクチャー」等とも記す)で生じると、エンコーダ
制御部12(図1)が、図8(A),(B)に示すよう
に編集映像データのピクチャーの順序を並び替えた映像
データS12からエンコーダ162およびホストコンピ
ュータ20が生成する実難度データDj の値は、例え
ば、図9に示すように変化する。つまり、シーンチェン
ジの直後、編集映像データの先頭のPピクチャーの実難
度データDj は、このピクチャーから生成される圧縮映
像データのPピクチャーが、前方のピクチャーを参照す
ることができないため増加し、Iピクチャーとほぼ、同
様の処理によって生成されることになる。従って、シー
ンの先頭のPピクチャーの実難度データDj の値は、例
えば、Iピクチャーの難度データDj と同程度の値にな
る。When a scene change of edited video data occurs in a picture that becomes a P picture after compression encoding (hereinafter, a "picture that becomes a P picture after compression encoding" or the like is also simply referred to as a "P picture"). As shown in FIGS. 8A and 8B, the control unit 12 (FIG. 1) executes the actual difficulty data D generated by the encoder 162 and the host computer 20 from the video data S12 in which the order of the pictures of the edited video data is rearranged. The value of j changes, for example, as shown in FIG. That is, immediately after the scene change, the real difficulty data D j of the P picture of the head of the edited video data, P-picture of the compressed video data generated from the picture is increased because it is not possible to refer to the front of the picture, It is generated by the same processing as that of the I picture. Therefore, the value of the actual difficulty data D j of the P picture at the head of the scene is, for example, about the same as the difficulty data D j of the I picture.
【0074】従って、ホストコンピュータ20は、エン
コーダ162が生成する圧縮映像データのピクチャータ
イプシーケンスに基づいて、実難度データDj の値の経
時的な変化を監視し、例えば、Pピクチャーの実難度デ
ータDj の値が、直前のPピクチャーの実難度データD
j の1.5倍以上になった場合、直前のIピクチャーの
実難度データDj の0.7倍以上になった場合、あるい
は、第2の実施形態に示した予測簡易2パスエンコード
方式においてと同じ方法でホストコンピュータ20が予
測した値に比べ、実際の実難度データの値が1.5倍以
上になった場合に、そのPピクチャーに対応する編集映
像データのピクチャーでシーンチェンジが生じたと判断
することができる。[0074] Therefore, the host computer 20, based on the picture type sequence of compressed video data encoder 162 produces monitors the temporal change in the value of the real difficulty data D j, for example, the real difficulty data of the P picture The value of D j is the actual difficulty data D of the immediately preceding P picture.
j , 1.5 times or more, the actual difficulty data D j of the immediately preceding I picture, 0.7 times or more, or in the predictive simple two-pass encoding method shown in the second embodiment. If the value of the actual difficulty data is 1.5 times or more as compared with the value predicted by the host computer 20 in the same manner as above, it is determined that a scene change has occurred in the picture of the edited video data corresponding to the P picture. You can judge.
【0075】しかしながら、編集映像データのシーンチ
ェンジが圧縮符号化後にIピクチャーとなるピクチャー
で生じると、ホストコンピュータ20が生成する実難度
データDj の値はほとんど変化しないことがあり、逆
に、シーンチェンジ後の編集映像データの絵柄が単純な
場合等には、かえって、実難度データDj の値が減少す
る可能性がある。また、シーンチェンジ前の編集映像デ
ータの絵柄が複雑で、シーンチェンジ後の編集映像デー
タの絵柄が平坦である場合、あるいは、シーンチェンジ
前後の編集映像データに非常に動きが大きい場合等に
は、Pピクチャーの実難度データDj の値が顕著に増加
しない場合がある。しかしながら、事実上、シーンチェ
ンジの直後は後方のピクチャーのみしか参照できないの
で、シーンチェンジ直後のBピクチャーの実難度データ
Dj の値は、Pピクチャーの実難度データDj の値と同
程度にまで増大する。[0075] However, when a scene change of edited video data is generated in a picture which becomes the I picture after compression coding, the value of the real difficulty data D j by the host computer 20 to generate is sometimes hardly changes. Conversely, the scene edited when the video data pattern is simple in the like after change, rather, there is a possibility that the value of the real difficulty data D j is reduced. Also, when the pattern of the edited video data before the scene change is complicated and the pattern of the edited video data after the scene change is flat, or when the edited video data before and after the scene change has a very large movement, the value of the real difficulty data D j of the P-picture may not increase significantly. However, practically, because immediately after the scene change can not be referred to only a rear picture, the value of the real difficulty data D j of the B-picture immediately after the scene change, to the same extent as the value of the real difficulty data D j of the P picture Increase.
【0076】従って、ホストコンピュータ20は、実難
度データDj の値の経時的な変化を監視し、例えば、B
ピクチャーの実難度データDj の値が、直前のBピクチ
ャーの実難度データDj の1.5倍以上になった場合、
あるいは、予測した値と比べ実際の実難度データDj の
値が1.5倍以上になった場合に、そのBピクチャーの
直前のIピクチャーおよびPピクチャーに対応する編集
映像データのピクチャーでシーンチェンジが生じたと判
断することができる。なお、Pピクチャーの実難度デー
タDj の変化に基づいてシーンチェンジを検出する方
法、および、Bピクチャーの実難度データDj の変化に
基づいてシーンチェンジを検出する方法を併用すること
により、ホストコンピュータ20は、シーンチェンジの
検出を確実に行うことができる。[0076] Therefore, the host computer 20 monitors the temporal change in the value of the real difficulty data D j, for example, B
When the value of the actual difficulty data D j of the picture is 1.5 times or more the actual difficulty data D j of the immediately preceding B picture,
Alternatively, if the actual value of the real difficulty data D j compared with predicted values is equal to or greater than 1.5 times, scene change picture of edited video data corresponding to the I-picture and P-picture immediately before the B-picture Can be determined to have occurred. By using a method of detecting a scene change based on a change in the actual difficulty data D j of the P picture and a method of detecting a scene change based on a change in the actual difficulty data D j of the B picture in combination, The computer 20 can reliably detect a scene change.
【0077】一方、シーンチェンジの発生により、編集
映像データのシーンチェンジ以前のピクチャーとシーン
チェンジ以降のピクチャーの相関性はなくなるので、第
2の実施形態に示した予測簡易2パスエンコード方式に
おけるシーンチェンジ以前の実難度データDj を用い
た、シーンチェンジ以降のピクチャーに対する予測難度
データD’j は意味を有さなくなる。しかしながら、編
集映像データのシーンチェンジ直後の数枚のピクチャー
は、それ以降のピクチャーと充分な相関性を有し、従っ
て、シーンチェンジ直後の数枚のピクチャーの実難度デ
ータDj に基づいて、それ以降の所定枚数のピクチャー
の難度データDj の値を予測することが可能である。On the other hand, when a scene change occurs, the correlation between the picture before the scene change of the edited video data and the picture after the scene change is lost. Predicted difficulty data D ′ j for the picture after the scene change using the previous actual difficulty data D j has no meaning. However, the number of sheets of pictures immediately after a scene change of the edited video data has a subsequent picture and a sufficient correlation, therefore, based on the real difficulty data D j of the number of sheets of pictures immediately after a scene change, it it is possible to predict the value of the difficulty data D j of the picture after a predetermined number.
【0078】さらに、第2の実施形態に示した予測簡易
2パスエンコード方式においては、式4に示したように
目標データ量Tj を算出する。従って、目標データ量T
j を算出するためには、下に示す式5において定義され
る総和値Sumj を用いればよく、必ずしも個々の予測
難度データD’j を求める必要はない。Further, in the simple predictive two-pass encoding method shown in the second embodiment, the target data amount Tj is calculated as shown in Expression 4. Therefore, the target data amount T
In order to calculate j , it is sufficient to use the sum value Sum j defined in Expression 5 shown below, and it is not always necessary to calculate individual prediction difficulty data D ′ j .
【0079】[0079]
【数5】 (Equation 5)
【0080】式5において定義した総和値Sumj を用
いると、式4は、下に示す式6に書き換えることができ
る。Using the sum Sum j defined in Equation 5, Equation 4 can be rewritten as Equation 6 shown below.
【0081】[0081]
【数6】 (Equation 6)
【0082】つまり、ホストコンピュータ20は、個々
の予測難度データD’j ではなく、総和値Sumj を予
測することができさえすれば、目標データ量Tj を算出
することができる。[0082] That is, the host computer 20, rather than the individual predictive difficulty data D 'j, if only able to predict the sum value Sum j, it is possible to calculate the target amount of data T j.
【0083】第3の実施形態における改良予測簡易2パ
スエンコード方式において、ホストコンピュータ20
は、シーンチェンジ直後に生成した実難度データDj に
基づいて総和値Sumj を予測し、予測した総和値Su
mj に基づいて、目標データ量Tj を精度よく算出す
る。続いて所定数の編集映像データのピクチャーが入力
される間、ホストコンピュータ20は、その後に生成し
た実難度データDj に基づいて、総和値Sumj の値を
順次、補正する。さらに、ホストコンピュータ20は、
シーンチェンジ以降、さらに所定数のピクチャーが入力
され、充分な数の実難度データDj を生成した後には、
第2の実施形態に示した予測簡易2パスエンコード方式
においてと同じ方法により、目標データ量Tj を生成す
る。In the improved prediction simple two-pass encoding method according to the third embodiment, the host computer 20
Predicts the sum value Sum j based on the actual difficulty data D j generated immediately after the scene change, and calculates the predicted sum value Su.
Based on m j , the target data amount T j is accurately calculated. Subsequently, while a predetermined number of pictures of edited video data are input, the host computer 20 sequentially corrects the value of the sum Sum j based on the actual difficulty data D j generated thereafter. Further, the host computer 20
Scene change subsequent further input a predetermined number of picture, after generating the real difficulty data D j of sufficient number,
The target data amount Tj is generated by the same method as in the simple predictive two-pass encoding method shown in the second embodiment.
【0084】次に、第3の実施形態における映像データ
圧縮装置1(図1)の動作を説明する。なお、説明の簡
略化のために、第3の実施形態においても、図7に示し
たように、映像データ圧縮装置1は、第2の実施形態に
おいてと同じピクチャータイプシーケンス(N=15,
M=3;Nは1GOPに含まれるピクチャー数、MはP
ピクチャーの間のBピクチャー数)に編集映像データを
圧縮符号化し、第2の実施形態においてと同様に、15
個のピクチャーの実難度データDj から、次の15個の
ピクチャーの予測難度データD’j を生成する場合を例
に説明する。Next, the operation of the video data compression device 1 (FIG. 1) in the third embodiment will be described. For simplicity of description, also in the third embodiment, as shown in FIG. 7, the video data compression device 1 uses the same picture type sequence (N = 15,
M = 3; N is the number of pictures included in one GOP, M is P
The edited video data is compression-encoded to (the number of B pictures between pictures), and is 15 bits as in the second embodiment.
An example will be described in which predicted difficulty data D ′ j of the next 15 pictures are generated from actual difficulty data D j of the pictures.
【0085】エンコーダ制御部12は、第1の実施形態
および第2の実施形態においてと同様の処理を行い、例
えば、図8(A)に示したピクチャータイプシーケンス
で入力される非圧縮映像データのピクチャーの順番を、
図8(B)に示すように、エンコーダ162およびエン
コーダ18における圧縮符号化に適した順番、つまり、
Bピクチャーが直後のIピクチャーまたはPピクチャー
の後ろになる順番に入れ替えて、映像データS12とし
てエンコーダ162およびFIFOメモリ160に対し
て出力する。従って、例えば、図8(A)に示したよう
に、第1のシーンのデータと第2のシーンのデータとの
間のシーンチェンジがBピクチャーに圧縮符号化される
べきピクチャーであっても、エンコーダ162およびエ
ンコーダ18に入力される後ろのシーンの最初のピクチ
ャータイプは必ずPピクチャーまたはIピクチャーにな
る。FIFOメモリ160は、第1の実施形態および第
2の実施形態においてと同様に、例えば、入力される編
集映像データを15ピクチャー分、遅延してエンコーダ
18に対して出力する。The encoder control unit 12 performs the same processing as in the first and second embodiments, for example, for the non-compressed video data input in the picture type sequence shown in FIG. Change the picture order
As shown in FIG. 8B, an order suitable for compression encoding in the encoder 162 and the encoder 18, that is,
The B picture is rearranged in the order following the immediately following I picture or P picture, and is output to the encoder 162 and the FIFO memory 160 as video data S12. Therefore, for example, as shown in FIG. 8A, even if a scene change between the data of the first scene and the data of the second scene is a picture to be compression-encoded into a B picture, The first picture type of the subsequent scene input to the encoder 162 and the encoder 18 is always a P picture or an I picture. The FIFO memory 160 outputs the input edited video data to the encoder 18 with a delay of 15 pictures, for example, as in the first and second embodiments.
【0086】エンコーダ162は、第1の実施形態およ
び第2の実施形態においてと同様に、シーンチェンジの
有無にかかわらず、映像データS12をピクチャータイ
プシーケンスI,B,B,P,B,B,P,B,B,
P,B,B,P,B,B,P,B,Bで圧縮符号化し、
実難度データDj を生成してホストコンピュータ20に
対して出力する。エンコーダ162が生成する実難度デ
ータDj の値の経時的な変化は、例えば、図9に示した
ようになり、一般的に、シーンチェンジが発生した直後
の後ろのシーンの最初のPピクチャーの実難度データの
値は、他のPピクチャーの実難度データの値と比べて大
きくなる。The encoder 162 converts the picture data S12 into the picture type sequence I, B, B, P, B, B, irrespective of the presence or absence of a scene change, as in the first and second embodiments. P, B, B,
P, B, B, P, B, B, P, B, B
And outputs to the host computer 20 to generate the real difficulty data D j. Temporal change in the value of the real difficulty data D j of the encoder 162 generates, for example, is as shown in FIG. 9, generally behind just after the scene change occurs scene of the first P-picture The value of the actual difficulty data is larger than the values of the actual difficulty data of the other P pictures.
【0087】ホストコンピュータ20は、エンコーダ1
62から入力される実難度データの値の経時的な変化を
監視し、第3の実施形態において上述したように、実難
度データDj の値が、直前のPピクチャーの実難度デー
タDj-1 の、例えば1.5倍(実用的には1.4倍〜
1.8倍の間の値とすると好適)以上の値を示すPピク
チャーを検出する等の方法によりPピクチャーでシーン
チェンジが発生したことを判断する。シーンチェンジを
検出した場合、ホストコンピュータ20はさらに、図8
(C)に示したように、後ろのシーンの最初のPピクチ
ャーを前のシーンの最後のピクチャーを参照しないIピ
クチャーに変更し、前のシーンの最後のIピクチャーを
Pピクチャーに変更するように、エンコーダ18を制御
して編集映像データのシーンチェンジの前後の部分を圧
縮符号化する際のピクチャータイプシーケンスを変更さ
せる。The host computer 20 includes the encoder 1
Monitoring the temporal change in the value of the real difficulty data input from 62, as described above in the third embodiment, the value of the real difficulty data D j is the real difficulty data D immediately before the P-picture j- 1 , for example 1.5 times (practically 1.4 times ~
It is preferable to set a value between 1.8 times.) It is determined that a scene change has occurred in the P picture by a method such as detecting a P picture showing the above value. When a scene change is detected, the host computer 20 further transmits the information shown in FIG.
As shown in (C), the first P picture of the subsequent scene is changed to an I picture that does not refer to the last picture of the previous scene, and the last I picture of the previous scene is changed to a P picture. , And controls the encoder 18 to change the picture type sequence when the part before and after the scene change of the edited video data is compression-encoded.
【0088】なお、シーンチェンジが生じてもIピクチ
ャー自体のデータ量には大きな変化は生じるとは限らな
い。しかし、ホストコンピュータ20は、第3の実施形
態において上述したように、Bピクチャーの実難度デー
タの値の経時的な変化を監視し、例えば、直前のBピク
チャーの実難度データの1.5倍の値の実難度データを
有するBピクチャーを検出する等の方法により、Iピク
チャーでシーンチェンジが生じたことを判断することが
できる。It should be noted that even if a scene change occurs, a large change does not always occur in the data amount of the I picture itself. However, as described above in the third embodiment, the host computer 20 monitors a temporal change in the value of the actual difficulty data of the B picture, and for example, 1.5 times the actual difficulty data of the immediately preceding B picture. It is possible to determine that a scene change has occurred in the I picture by a method such as detecting a B picture having the actual difficulty data of the value.
【0089】図10は、ホストコンピュータ20が、編
集映像データにシーンチェンジが発生する場合に、実難
度データD1 〜D15に基づいて予測難度データD’16〜
D’ 30を算出する方法、および、編集映像データにシー
ンチェンジが発生しない場合の予測難度データD’16〜
D’30を算出する方法を示す図である。ホストコンピュ
ータ20は、編集映像データにシーンチェンジが発生し
ない場合には、エンコーダ162から得られたデータか
ら、図10中に○印で示す実難度データD1 〜D15を生
成し、生成した実難度データD1 〜D15に基づいて、図
10中に×印で示す予測難度データD’16〜D’30をピ
クチャーの種類(ピクチャータイプ)ごとに算出する。FIG. 10 shows that the host computer 20
Real difficulty when scene change occurs in the collected video data
Degree data D1~ DFifteenBased on the prediction difficulty data D '16~
D ' 30And how to calculate the
Prediction difficulty data D 'when no change occurs16~
D '30It is a figure showing the method of calculating. Host computer
Data 20 indicates that a scene change has occurred in the edited video data.
If not, the data obtained from encoder 162
The actual difficulty data D indicated by a circle in FIG.1~ DFifteenRaw
Actual difficulty data D1~ DFifteenBased on the figure
Predicted difficulty data D 'indicated by a cross in 1016~ D '30The
It is calculated for each type of picture (picture type).
【0090】つまり、編集映像データにシーンチェンジ
が発生しない場合には、ホストコンピュータ20は、B
ピクチャーの実難度データD2 ,D3 ,…,D13,D14
の値を、図10中の点線Aで直線近似して外挿し、Bピ
クチャーの予測難度データD’16,D’17,…,
D’29,D’30を生成し、Iピクチャーの実難度データ
D4、および、必要に応じてこれ以前のIピクチャーの
実難度データDj の値を直線近似して外挿し、Iピクチ
ャーの予測難度データD’18を生成し、Pピクチャーの
実難度データD1 ,D7 ,…,D12、および、必要に応
じてこれ以前のPピクチャーの実難度データDj の値を
直線近似して外挿し、Pピクチャーの予測難度データ
D’15,D’21,…,D’27を生成する。さらに、ホス
トコンピュータ20は、これらの実難度データDj およ
び予測難度データD’j を用いて、第2の実施形態に示
した予測簡易2パス方式により目標データ量Tj を算出
する。That is, when no scene change occurs in the edited video data, the host computer 20
Picture actual difficulty data D 2 , D 3 ,..., D 13 , D 14
The values, extrapolated linearly approximated by the dotted line A in FIG. 10, B-picture predictive difficulty data D '16, D' 17, ...,
D ′ 29 and D ′ 30 are generated, and the actual difficulty data D 4 of the I picture and, if necessary, the values of the actual difficulty data D j of the previous I picture are extrapolated by linear approximation to obtain the I picture. Predicted difficulty data D ′ 18 is generated, and the actual difficulty data D 1 , D 7 ,..., D 12 of the P picture and, if necessary, the actual difficulty data D j of the previous P picture are linearly approximated. extrapolated Te, predictive difficulty data D '15, D' 21 P-picture, ..., to produce a D '27. Further, the host computer 20 uses these real difficulty data D j and the predicted difficulty data D 'j, the predicted simplified two pass method shown in the second embodiment calculates the target amount of data T j.
【0091】以下、ホストコンピュータ20が、Pピク
チャーで編集映像データのシーンチェンジを検出した場
合の処理内容を、段階に分けて説明する。第1段階 ホストコンピュータ20が、Pピクチャーでシーンチェ
ンジが発生したことを検出した場合、図10中に●で示
すPピクチャーの実難度データD15のみからでは、ピク
チャー間の動きの量等によって左右されるBピクチャー
およびPピクチャーの難度を予測することができない。
そこで、ホストコンピュータ20は、予め実験等により
求められたIピクチャー、PピクチャーおよびBピクチ
ャーの実難度データの値の比率(i:p:b)を用い
て、式5に定義した総和値Sumjを求める。Hereinafter, the processing content when the host computer 20 detects a scene change of edited video data in a P picture will be described in stages. The first step host computer 20, when it is detected that scene change P picture is generated, from only the real difficulty data D 15 of the P-picture indicated by ● in Fig. 10, left and right by the amount or the like of the motion between the picture It is impossible to predict the difficulty of the B picture and the P picture to be performed.
Therefore, the host computer 20 uses the ratio (i: p: b) of the values of the actual difficulty data of the I picture, the P picture, and the B picture obtained in advance by an experiment or the like to calculate the total sum Sum j defined in Expression 5. Ask for.
【0092】つまり、ホストコンピュータ20は、第j
+1番目(図10においてはj=1)のピクチャーに対
する目標データ量を算出するために、例えば、下に示す
予め求めたIピクチャー、PピクチャーおよびBピクチ
ャーの実難度データの値の比率(i:p:b)を用いた
式7に、シーンチェンジが生じたPピクチャーの実難度
データDj+15を代入して、第(j+1)番目のピクチャ
ーに対する目標データ量Tj+1 の算出に用いる総和値S
umj+1 を予測し、さらに、予測した総和値Sumj+1
を式4に代入して、第(j+1)番目のピクチャーに対
する目標データ量Tj+1 を算出する。That is, the host computer 20 executes the j-th
In order to calculate the target data amount for the + 1st (j = 1 in FIG. 10) picture, for example, the ratio of the previously obtained I, P, and B picture actual difficulty data values (i: Substituting the actual difficulty data D j + 15 of the P picture in which the scene change has occurred into Equation 7 using p: b), and using it for calculating the target data amount T j + 1 for the (j + 1) th picture Sum S
um j + 1 is predicted, and the predicted sum value Sum j + 1 is further predicted.
Is substituted into Equation 4 to calculate a target data amount T j + 1 for the (j + 1) -th picture.
【0093】[0093]
【数7】 (Equation 7)
【0094】式7においては、シーンチェンジが発生し
たPピクチャーの実難度データDj+ 15の値が、第3の実
施形態において上述したように、直後のIピクチャーの
実難度データDj+18と等しいことを前提とし、ホストコ
ンピュータ20が、予め求めた比率(i:p:b)、お
よび、1GOPに含まれるIピクチャー、Pピクチャー
およびBピクチャーの枚数を乗じた係数を、シーンチェ
ンジ後に最初に算出したPピクチャーの実難度データD
j+15に乗算し、さらに、所定の定数αを加算して総和値
Sumj+1 を算出することを意味している。In the equation 7, the value of the actual difficulty data D j + 15 of the P picture in which the scene change has occurred is, as described above in the third embodiment, the value of the actual difficulty data D j + 18 of the immediately succeeding I picture. On the premise that they are equal, the host computer 20 first calculates the ratio (i: p: b) determined in advance and the coefficient multiplied by the number of I-pictures, P-pictures, and B-pictures included in one GOP after the scene change. Actual difficulty data D of the calculated P picture
This means that the sum Sum j + 1 is calculated by multiplying j + 15 and further adding a predetermined constant α.
【0095】なお、式7においては、定数αは、実験等
により予め求められる所定の値をとり、図10中の第
(j+15)番目のPピクチャーの直後、つまり、シー
ンチェンジ直後の第(j+16)番目および第(j+1
7)番目のBピクチャーが、前方予測または後方予測の
みにより生成されるために、他のBピクチャーに比べて
データ量が多いことを見越したマージンとしての意味を
有する。In equation (7), the constant α takes a predetermined value obtained in advance by an experiment or the like, and is immediately after the (j + 15) th P picture in FIG. ) -Th and (j + 1) -th
7) Since the B-th picture is generated only by forward prediction or backward prediction, it has a meaning as a margin in anticipation that the data amount is larger than other B pictures.
【0096】ホストコンピュータ20が、式7により求
めた総和値Sumj を用いて、第(j+15)番目〜第
(j+30)番目の難度データの直線予測を変更したと
仮定すると、予測難度データD’j+15〜D’j+30の値
は、シーンチェンジにより増加し、図10中に点線Bで
示した値になる。ただし、目標データ量Tj の算出のた
めには総和値Sumj の値のみを予測すればよく、ま
た、後述するように、定数αの値は、第(j+2)番目
のピクチャーに対する総和値Sumj+1 を算出する際に
補正されるので、ホストコンピュータ20は、シーンチ
ェンジが発生しない場合と異なり、シーンチェンジが発
生した場合、難度データの予測をピクチャーの種類(ピ
クチャータイプ)別に敢えて行わない。Assuming that the host computer 20 changes the linear prediction of the (j + 15) -th to (j + 30) -th difficulty data using the sum value Sum j obtained by the equation 7, the prediction difficulty data D ′ The values of j + 15 to D' j + 30 increase due to the scene change and become the values indicated by the dotted line B in FIG. However, in order to calculate the target data amount T j , only the value of the sum Sum j needs to be predicted. As described later, the value of the constant α is the sum Sum Sum for the (j + 2) -th picture. Since the correction is made when calculating j + 1 , unlike the case where no scene change occurs, the host computer 20 does not dare to predict difficulty data for each picture type (picture type) when a scene change occurs. .
【0097】第2段階 ホストコンピュータ20が、第(j+2)番目のピクチ
ャーに対する目標データ量Tj+2 を算出する際には、第
(j+16)番目のBピクチャーの実難度データDj+16
が算出されている。図10に示した例においては、第
(j+16)番目のBピクチャーは、後ろのシーンに属
するが、図8(A),(B)に示したように、エンコー
ダ制御部12がピクチャーの順序を入れ替えているた
め、第(j+16)番目のBピクチャーが、前のシーン
に属している可能性があり、また、前方予測または後方
予測のみにより生成されているため、ホストコンピュー
タ20は、第(j+16)番目のBピクチャーの実難度
データDj+16を、第(j+2)番目のピクチャーに対す
る目標データ量Tj+2 を算出する際の総和値Sumj+2
の予測に用いることはできない。[0097] The second stage host computer 20, the (j + 2) th when calculating the target amount of data T j + 2 are for picture, the (j + 16) th B picture real difficulty data D j + 16
Is calculated. In the example shown in FIG. 10, the (j + 16) -th B picture belongs to the subsequent scene, but as shown in FIGS. 8A and 8B, the encoder control unit 12 changes the order of the pictures. Since it has been replaced, the (j + 16) -th B picture may belong to the previous scene, and is generated only by forward prediction or backward prediction. ) The actual difficulty data D j + 16 of the B-picture and the sum Sum j + 2 for calculating the target data amount T j + 2 for the (j + 2) -th picture
Cannot be used to predict
【0098】しかしながら、式7において、定数αとし
てマージンを考慮した2枚のBピクチャーの内の最初の
1枚のBピクチャーの実難度データDj+16の値を用い
て、式7の定数αを補正することは可能である。そこ
で、ホストコンピュータ20は、下に式8として示すよ
うに、式7の定数αを、実難度データDj+16に基づいて
補正して定数α’を算出し、さらに精度が高い総和値S
umj+2 を予測することができる。ホストコンピュータ
20は、予測した総和値Sumj+2 を式4に代入して、
第(j+2)番目のピクチャーに対する目標データ量T
j+2 を算出する。However, in equation (7), using the value of the actual difficulty data D j + 16 of the first one of the two B pictures in consideration of the margin as the constant α, the constant α in equation (7) Can be corrected. Therefore, the host computer 20 calculates the constant α ′ by correcting the constant α in Expression 7 based on the actual difficulty data D j + 16 as shown in Expression 8 below, and further calculates the sum S
um j + 2 can be predicted. The host computer 20 substitutes the predicted sum value Sum j + 2 into Expression 4, and
Target data amount T for the (j + 2) th picture
Calculate j + 2 .
【0099】[0099]
【数8】 (Equation 8)
【0100】第3段階 ホストコンピュータ20が、第(j+3)番目のピクチ
ャーに対する目標データ量Tj+3 を算出する際には、第
(j+17)番目のBピクチャーの実難度データDj+17
が算出されている。従って、式7において、定数αとし
てマージンを考慮した2枚のBピクチャーの両方、つま
り、図8(A)〜(C)に示したピクチャータイプシー
ケンスにおいて、IピクチャーおよびPピクチャーに挟
まれる1組のBピクチャー全ての実難度データDj+16,
Dj+16の値が判明したので、下に式9として示すよう
に、式7の定数αあるいは式8の定数α’は不要にな
る。 Third Stage When the host computer 20 calculates the target data amount T j + 3 for the (j + 3) -th picture, the actual difficulty data D j + 17 of the (j + 17) -th B picture is calculated.
Is calculated. Therefore, in Equation 7, both sets of two B pictures in consideration of the margin as the constant α, that is, one set sandwiched between the I picture and the P picture in the picture type sequences shown in FIGS. Actual difficulty data D j + 16 for all B pictures of
Since the value of D j + 16 has been found, the constant α in Expression 7 or the constant α ′ in Expression 8 is unnecessary as shown in Expression 9 below.
【0101】[0101]
【数9】 (Equation 9)
【0102】第4段階 ホストコンピュータ20が、第(j+4)番目のピクチ
ャーに対する目標データ量Tj+3 を算出する際には、第
(j+18)番目のIピクチャーの実難度データDj+18
が算出されている。この段階で、図10に示した例にお
いては、シーンチェンジ以降の全ての種類(ピクチャー
タイプ)のピクチャーの実難度データD i の値が判明す
る。そこで、式7〜式9において用いられた予め求めら
れた比率(i:p:b)の値を、ホストコンピュータ2
0が実際に算出したIピクチャーの実難度データ
Dj+18、Pピクチャーの実難度データDj+15およびPピ
クチャーの実難度データDj+16(Dj+17)に置き換える
ことが可能になる。[0102]Fourth stage The host computer 20 receives the (j + 4) th picture
Target data amount T forj + 3When calculating
Actual difficulty data D of the (j + 18) th I picturej + 18
Is calculated. At this stage, the example shown in FIG.
For all types (pictures) after the scene change
Actual difficulty data D of type) picture iThe value of
You. Therefore, the previously calculated values used in Expressions 7 to 9 are obtained.
The value of the ratio (i: p: b) obtained is
0 is the actual difficulty data of the I picture actually calculated
Dj + 18, P picture actual difficulty data Dj + 15And P
Kucha's actual difficulty data Dj + 16(Dj + 17)
It becomes possible.
【0103】このように、ホストコンピュータ20は、
予め求めた比率(i:p:b)を、実際の比率
〔Dj+18:Dj+15:Dj+16(Dj+17)〕に置換した式9
を用いて、さらに精度よく総和値Sumj+18を予測し、
式4に代入して第(j+4)番目のピクチャーに対する
目標データ量Tj+4 を算出する。As described above, the host computer 20
Equation 9 in which the ratio (i: p: b) obtained in advance is replaced with the actual ratio [D j + 18 : D j + 15 : D j + 16 (D j + 17 )]
, The sum value Sum j + 18 is more accurately predicted,
The target data amount T j + 4 for the (j + 4) -th picture is calculated by substituting into Equation 4.
【0104】第5段階 第4段階と同様に、第(j+5)番目以降の数枚(例え
ば6〜9枚)のピクチャーに対する目標データ量Tj+3
を算出し、予測難度データD’i の算出に充分な数量の
実難度データDi が得られた後は、ホストコンピュータ
20は、シーンチェンジが発生しない場合と同様に、直
線近似により予測難度データD’i を算出し、算出した
予測難度データD’i を式4に代入して、目標データ量
Ti を算出する。 Fifth Step Similarly to the fourth step, the target data amount T j + 3 for several (for example, 6 to 9) pictures after the (j + 5) -th picture.
Is calculated, and the host computer 20 obtains the actual difficulty data D i in a sufficient quantity for the calculation of the predicted difficulty data D ′ i , and then, as in the case where the scene change does not occur, the predicted difficulty data D i is obtained by linear approximation. D ′ i is calculated, and the calculated prediction difficulty data D ′ i is substituted into Equation 4 to calculate a target data amount T i .
【0105】ホストコンピュータ20が、第3の実施形
態において上述したように、Iピクチャーの実難度デー
タDi の変化に基づいて、Iピクチャーでシーンチェン
ジが発生したと判断した場合、Pピクチャーでシーンチ
ェンジが発生したと判断した場合と同じ処理、つまり、
上述した第1段階〜第5段階の処理を行うことにより、
各ピクチャーに対する目標データ量Ti を算出すること
ができる。[0105] The host computer 20 is, as described above in the third embodiment, based on the change in the real difficulty data D i of I-picture, if it is determined that a scene change has occurred in the I-picture, the scene in P picture The same process as determining that a change has occurred,
By performing the processing of the first to fifth stages described above,
The target data amount T i for each picture can be calculated.
【0106】一方、ホストコンピュータ20が、第3の
実施形態において上述したように、Bチャネルの実難度
データDi の値の変化に基づいて、Iピクチャーでシー
ンチェンジが発生したと判断した場合、ホストコンピュ
ータ20は、Pピクチャーでシーンチェンジが発生した
と判断した場合における第1段階または第2段階の処理
を行うことができない。従って、Bチャネルの実難度デ
ータDi の値の変化に基づいてIピクチャーでシーンチ
ェンジが発生したと判断した場合、ホストコンピュータ
20は、Pピクチャーでシーンチェンジが発生したと判
断した場合における第2段階または第3段階の処理を行
い、各ピクチャーに対する目標データ量Ti を算出す
る。[0106] On the other hand, when the host computer 20, as described above in the third embodiment, based on the change in the value of the real difficulty data D i of B channels, it is determined that a scene change has occurred in the I-picture, The host computer 20 cannot perform the first-stage or second-stage processing when determining that a scene change has occurred in the P picture. Therefore, if the real difficulty data D i of a scene change in the I-picture based on the change in the value of the B-channel is determined to have occurred, the host computer 20, a second when it is determined that a scene change occurs in the P picture The processing of the third or third stage is performed to calculate the target data amount T i for each picture.
【0107】以上説明した総和値Sumi の予測および
目標データ量Ti の算出に係る処理の内容を、フローチ
ャートを参照して、さらに説明する。図11および図1
2は、第3の実施形態における改良予測簡易2パスエン
コード方式における総和値Sumi の予測および目標デ
ータ量Ti の算出に係る処理内容を示すフローチャート
図である。The processing for predicting the total sum Sum i and calculating the target data amount T i described above will be further described with reference to flowcharts. FIG. 11 and FIG.
FIG. 2 is a flowchart showing the processing contents related to the prediction of the sum Sum i and the calculation of the target data amount T i in the improved prediction simple two-pass encoding method in the third embodiment.
【0108】なお、図11および図12において、デー
タSC_Flagは、過去15ピクチャー以内にシーン
チェンジが生じている場合にはシーンチェンジの位置を
示し、これ以外の場合には0に設定される。また、デー
タI_Flagの値は、図8(A)〜(C)に示したピ
クチャータイプシーケンスにおいて、Iピクチャーの直
後、3ピクチャーに対する処理が終了するまでは1とな
り、それ以外の場合には0になる。また、係数Ith
1,Ith2,Pth,Bthは、シーンチェンジの検
出の際に、それぞれIピクチャー、Pピクチャーおよび
Bピクチャーの値を判断するために用いる係数を示す。In FIGS. 11 and 12, the data SC_Flag indicates the position of a scene change when a scene change has occurred within the past 15 pictures, and is set to 0 in other cases. In addition, in the picture type sequences shown in FIGS. 8A to 8C, the value of the data I_Flag is 1 immediately after the I picture and until the processing for 3 pictures is completed, and is 0 otherwise. Become. Also, the coefficient Ith
1, Ith2, Pth, and Bth indicate coefficients used to determine the values of the I picture, P picture, and B picture when detecting a scene change.
【0109】図11に示すように、ステップ100(S
100)において、ホストコンピュータ20は、エンコ
ーダ162から所定のデータを得て、実難度データDi
を生成する。ステップ102(S102)において、ホ
ストコンピュータ20は、データSC_Flagの値が
0であるか否かを判断する。データSC_Flagの値
が0である場合にはS200(図12)の処理に進み、
0でない場合にはS104の処理に進む。As shown in FIG. 11, step 100 (S
100), the host computer 20 obtains predetermined data from the encoder 162, and obtains the actual difficulty data Di.
Generate In step 102 (S102), the host computer 20 determines whether or not the value of the data SC_Flag is 0. If the value of the data SC_Flag is 0, the process proceeds to S200 (FIG. 12).
If it is not 0, the process proceeds to S104.
【0110】ステップ104(S104)において、ホ
ストコンピュータ20は、第i番目のピクチャーの種類
(ピクチャータイプ)を判断し、第i番目のピクチャー
がBピクチャー、Pピクチャー、Iピクチャーである場
合には、それぞれS106,S120,S128の処理
に進む。ステップ106(S106)において、ホスト
コンピュータ20は、データI_Flagの値が0であ
るか否かを判断する。データI_Flagの値が0であ
る場合にはS110の処理に進み、0でない場合にはS
108の処理に進む。ステップ108(S108)にお
いて、ホストコンピュータ20は、Bピクチャーの実難
度データDi が予測難度データD’i ×Bthより大き
いか否かを判断し、大きい場合にはS112の処理に進
み、小さい場合にはS110の処理に進む。In step 104 (S104), the host computer 20 determines the type (picture type) of the i-th picture, and if the i-th picture is a B picture, a P picture, or an I picture, The process proceeds to S106, S120, and S128, respectively. In step 106 (S106), the host computer 20 determines whether or not the value of the data I_Flag is 0. If the value of the data I_Flag is 0, the process proceeds to S110; otherwise, the process proceeds to S110.
Proceed to 108. At step 108 (S108), the host computer 20, the real difficulty data D i of the B picture is determined whether predictive difficulty data D 'i × or Bth larger, the greater the flow proceeds to the processing of S112, if it is smaller The process proceeds to S110.
【0111】ステップ110(S110)において、ホ
ストコンピュータ20は、シーンチェンジが発生しない
場合と同じ処理を行って、予測難度データD’i を算出
する。ステップ112(S112)において、ホストコ
ンピュータ20は、データSC_Flagの値を1にす
る。ステップ114(S114)において、ホストコン
ピュータ20は、第i番目のピクチャーが、シーンチェ
ンジ後の1枚目のBピクチャーである場合には、式8に
より総和値Sumi を算出し、シーンチェンジ後の2枚
目のBピクチャーである場合には、式9により総和値S
umi を算出する。In step 110 (S110), the host computer 20 performs the same processing as when no scene change occurs, and calculates the predicted difficulty data D′ i . In step 112 (S112), the host computer 20 sets the value of the data SC_Flag to 1. In step 114 (S114), if the i-th picture is the first B picture after the scene change, the host computer 20 calculates the total sum Sum i by equation 8, and In the case of the second B picture, the sum S
um i is calculated.
【0112】ステップ116(S116)において、ホ
ストコンピュータ20は、予測した総和値Sumi また
は予測難度データD’i を式4に代入して、第i番目の
ピクチャーに対する目標データ量Ti (target bit) を
算出する。ステップ118(S118)において、ホス
トコンピュータ20は、データiをインクリメントす
る。In step 116 (S116), the host computer 20 substitutes the predicted sum value Sum i or the predicted difficulty data D ′ i into Equation 4 to obtain a target data amount T i (target bit amount) for the i-th picture. ) Is calculated. In step 118 (S118), the host computer 20 increments the data i.
【0113】ステップ120(S220)において、ホ
ストコンピュータ20は、Pピクチャーの実難度データ
Di が予測難度データD’i ×Pthより大きいか否か
を判断し、大きい場合にはS122の処理に進み、小さ
い場合にはS110の処理に進む。ステップ122(S
122)において、ホストコンピュータ20は、データ
SC_Flagにデータiを代入する。ステップ124
(S124)において、ホストコンピュータ20は、デ
ータI_Flagの値を0にする。ステップ126(S
126)において、ホストコンピュータ20は、式7を
用いて、総和値Sumi を予測する。[0113] In step 120 (S220), the host computer 20, the real difficulty data D i of P-picture is determined whether predictive difficulty data D 'i × or Pth larger, the greater the flow proceeds to the processing of S122 If it is smaller, the process proceeds to S110. Step 122 (S
At 122), the host computer 20 substitutes the data i for the data SC_Flag. Step 124
In (S124), the host computer 20 sets the value of the data I_Flag to 0. Step 126 (S
At 126), the host computer 20 predicts the total sum Sum i using Expression 7.
【0114】ステップ128(S220)において、ホ
ストコンピュータ20は、Iピクチャーの実難度データ
Di が予測難度データD’i ×Ith1〜予測難度デー
タD’i ×Ith2の範囲外か否かを判断し、範囲外の
場合にはS130の処理に進み、範囲内の場合にはS1
10の処理に進む。ステップ130(S130)におい
て、ホストコンピュータ20は、データSC_Flag
にデータiを代入する。ステップ132(S132)に
おいて、ホストコンピュータ20は、データI_Fla
gの値を1にして、S126の処理に進む。[0114] In step 128 (S220), the host computer 20, the real difficulty data D i of I picture is determined whether outside predictive difficulty data D 'i × Ith1~ predictive difficulty data D' i × Ith2 If the value is out of the range, the process proceeds to S130.
Proceed to step 10. In step 130 (S130), the host computer 20 transmits the data SC_Flag
Is substituted for data i. In step 132 (S132), the host computer 20 transmits the data I_Fla
The value of g is set to 1, and the process proceeds to S126.
【0115】図12に示すように、ステップ200(S
200)において、ホストコンピュータ20は、データ
iからデータSC_Flagを減算した値が1,2,3
〜9,9以上である場合にそれぞれ、S202,S20
4,S206,S210の処理に進む。ステップ202
(S202)において、ホストコンピュータ20は、式
8により総和値Sumi を予測し、S116(図11)
の処理に進む。ステップ204(S204)において、
ホストコンピュータ20は、式9により総和値Sumi
を予測し、S116(図11)の処理に進む。As shown in FIG. 12, step 200 (S
200), the host computer 20 determines that the value obtained by subtracting the data SC_Flag from the data i is 1, 2, 3
S202 and S20, respectively, when the number is
The process proceeds to steps S4, S206, and S210. Step 202
In (S202), the host computer 20 predicts the total sum Sum i by using the equation 8, and S116 (FIG. 11)
Proceed to processing. In step 204 (S204),
The host computer 20 calculates the sum Sum i
And the process proceeds to S116 (FIG. 11).
【0116】ステップ206(S206)において、ホ
ストコンピュータ20は、式9の於ける予め求めた比率
(i:p:b)を、算出した実難度データに置換する。
ステップ208(S208)において、ホストコンピュ
ータ20は、比率(i:p:b)を、算出した実難度デ
ータに置換した式9を用いて、総和値Sumiを予測す
る。In step 206 (S206), the host computer 20 replaces the ratio (i: p: b) obtained in advance in equation 9 with the calculated actual difficulty data.
In step 208 (S208), the host computer 20 predicts the total sum Sum i using Expression 9 in which the ratio (i: p: b) is replaced with the calculated actual difficulty data.
【0117】ステップ210(S210)において、ホ
ストコンピュータ20は、ピクチャー(i−SC_Fl
ag)枚分の実難度データを用いて、直線近似を行い、
総和値Sumi (予測難度データD’i )を算出する。
ステップ212(S212)において、ホストコンピュ
ータ20は、(i−SC_Flag)=15であるか否
かを判断する。(i−SC_Flag)=15である場
合にはS214の処理に進み、(i−SC_Flag)
=15でない場合にはS110(図11)の処理に進
む。In step 210 (S210), the host computer 20 sets the picture (i-SC_Fl
ag) A straight line approximation is performed using the actual difficulty data for
The sum Sum i (predicted difficulty data D ′ i ) is calculated.
In step 212 (S212), the host computer 20 determines whether (i-SC_Flag) = 15. If (i-SC_Flag) = 15, the process proceeds to S214, and (i-SC_Flag)
If not = 15, the process proceeds to S110 (FIG. 11).
【0118】ホストコンピュータ20は、以上説明した
処理により生成した目標データ量T j を、エンコーダ1
8の量子化制御回路180に設定する。エンコーダ18
は、第1の実施形態および第2の実施形態においてと同
様に、ホストコンピュータ20から設定された目標デー
タ量Tj に基づいて、図8(C)に示すように、後ろの
シーンの最初のPピクチャーが、前のシーンの最後のピ
クチャーを参照しないように、Iピクチャーに変更し、
前のシーンの最後のIピクチャーをPピクチャーに変更
して圧縮符号化し、圧縮映像データVOUTとして出力
する。The host computer 20 has been described above.
Target data amount T generated by processing jAnd encoder 1
8 is set in the quantization control circuit 180. Encoder 18
Is the same as in the first and second embodiments.
The target data set from the host computer 20
Volume TjBased on the above, as shown in FIG.
The first P picture of the scene is the last P picture of the previous scene.
Change to I-picture so as not to refer to the culture,
Change last I picture of previous scene to P picture
Compression encoding, and output as compressed video data VOUT
I do.
【0119】以上、第3の実施形態に示した改良予測簡
易2パスエンコード方式によれば、シーンチェンジやカ
メラフラッシュ等を含む映像データにより多くのデータ
量を割り当てて圧縮符号化可能である上に、シーンチェ
ンジやカメラフラッシュの前後に発生する符号化歪みを
顕著に低減することができる。従って、第3の実施形態
に示した改良予測簡易2パスエンコード方式によって生
成した圧縮映像データを伸長復号して得られる映像の品
質を向上させることができる。As described above, according to the improved predictive simplified two-pass encoding method shown in the third embodiment, a larger amount of data can be allocated to video data including scene changes and camera flashes, and compression encoding can be performed. In addition, encoding distortion occurring before and after a scene change or a camera flash can be significantly reduced. Therefore, it is possible to improve the quality of the video obtained by decompressing and decoding the compressed video data generated by the improved simplified simple two-pass encoding method shown in the third embodiment.
【0120】なお、第3の実施形態においては、N=1
5,M=3のピクチャーシーケンスに対する処理に適合
する式7〜式9を例示したが、式7〜式9を適切に変更
する(式7〜式9中の係数4,10をピクチャーシーケ
ンスに合わせて変更する)ことにより、他のピクチャー
シーケンスに対しても、改良予測簡易2パスエンコード
を適用することができる。In the third embodiment, N = 1
Equations (7) to (9), which are suitable for the processing for the picture sequence of 5, M = 3, have been exemplified. By doing so, it is possible to apply the improved prediction simple 2-pass encoding to other picture sequences.
【0121】第4実施形態 以下、本発明の第4の実施形態として、第3の実施形態
に示した改良予測簡易2パスエンコード方式のシーンチ
ェンジ検出方法の変形例を説明する。まず、本発明の第
4の実施形態におけるシーンチェンジ検出方法の原理を
説明する。 Fourth Embodiment Hereinafter, as a fourth embodiment of the present invention, a modified example of the scene change detection method of the improved prediction simple 2-pass encoding method shown in the third embodiment will be described. First, the principle of the scene change detection method according to the fourth embodiment of the present invention will be described.
【0122】映像データ圧縮装置1(図1)が、シーン
チェンジ付近の編集映像データから、第2の実施形態お
よび第3の実施形態にそれぞれ示した予測簡易2パスエ
ンコード方式および改良予測簡易2パスエンコード方式
において、映像データのピクチャー間の時間的相関性を
用いて生成される予測難度データDj ’は、実難度デー
タDj-1 以前の映像データの難度の変化の傾向をよく反
映しており、その実難度データDj との誤差は、シーン
チェンジがないかぎり非常に少なくなる。例えば、図1
0に示した場合においては、予測難度データD16’は、
15個の実難度データD1 〜D15に基づいて、これらの
1つ先のピクチャーの難度を予測した値であり、シーン
チェンジがない場合には、精度が非常に高いと期待でき
る。The video data compression apparatus 1 (FIG. 1) converts the edited video data in the vicinity of a scene change from the simplified predictive two-pass encoding method and the improved predictive simple two-pass method shown in the second and third embodiments, respectively. In the encoding method, the predicted difficulty data D j ′ generated by using the temporal correlation between pictures of the video data reflects the tendency of the change in the difficulty of the video data before the actual difficulty data D j−1. cage, error between the real difficulty data D j becomes very small unless a scene change. For example, FIG.
In the case of 0, the prediction difficulty data D 16 ′
This is a value obtained by predicting the difficulty of the next picture based on 15 pieces of actual difficulty data D 1 to D 15. If there is no scene change, it can be expected that the accuracy is extremely high.
【0123】図13は、シーンチェンジがPピクチャー
で生じた場合に、その前後における実難度データD
j (○印)と予測難度データD’j (×印)との関係
を、圧縮符号化の順に例示する図である。一方、図13
に示すように、シーンチェンジがPピクチャーで生じた
場合、シーンチェンジ直後のPピクチャーの実難度デー
タDj は、多くの場合、前方のピクチャーを参照した圧
縮符号化ができなくなるために、予測難度データDj ’
よりも大幅に大きな値となる。FIG. 13 shows actual difficulty data D before and after a scene change occurs in a P picture.
FIG. 9 is a diagram illustrating the relationship between j (○) and prediction difficulty data D ′ j (×) in the order of compression encoding. On the other hand, FIG.
As shown in FIG. 7, when a scene change occurs in a P picture, the actual difficulty data D j of the P picture immediately after the scene change often becomes impossible to perform compression encoding with reference to the preceding picture. Data D j '
The value is much larger than
【0124】逆に、シーンチェンジ部分のPピクチャー
の実難度データDj は、例えば、シーンチェンジ前の絵
柄に比べて、シーンチェンジ後の絵柄が平坦である場合
等には、予測難度データDj ’よりも大幅に小さな値と
なる場合もある。また、シーンチェンジ直後のBピクチ
ャーの実難度データDj の値は、後方のピクチャーのみ
を参照して圧縮符号化されるために、予測難度データD
j ’に比べて大幅に、例えばPピクチャー並みに大きく
なる。Conversely, the actual difficulty data D j of the P picture in the scene change portion is the predicted difficulty data D j when the pattern after the scene change is flatter than the pattern before the scene change, for example. May be significantly smaller than '. Further, the value of the real difficulty data D j of the B-picture immediately after the scene change, in order to be compressed and encoded with reference to only the rear of the picture, predictive difficulty data D
It is much larger than j ′, for example, as large as a P picture.
【0125】図14は、シーンチェンジがIピクチャー
で生じた場合に、その前後における実難度データD
j (○印)と予測難度データD’j (×印)との関係
を、圧縮符号化の順に例示する図である。また、図14
に示すように、シーンチェンジが、第j(16)番目の
Iピクチャーで生じた場合、シーンチェンジ前後のIピ
クチャーには時間的相関関係がないので、シーンチェン
ジ直後のIピクチャーの予測難度データDj ’と実難度
データDj との間に誤差が生じる。FIG. 14 shows actual difficulty data D before and after a scene change occurs in an I picture.
FIG. 9 is a diagram illustrating the relationship between j (○) and prediction difficulty data D ′ j (×) in the order of compression encoding. FIG.
As shown in the figure, when a scene change occurs in the j (16) th I picture, there is no temporal correlation between the I pictures before and after the scene change. error between the j 'and the real difficulty data D j occurs.
【0126】しかしながら、Iピクチャーは、元々、他
のピクチャーを参照せずに圧縮符号化されるので、Pピ
クチャーでシーンチェンジが生じた場合に比べて、予測
難度データDj ’と実難度データDj との差は少ない。
一方、シーンチェンジ直後のBピクチャーの実難度デー
タDj の値は、Pフレームでシーンチェンジが生じた場
合と同様に、予測難度データDj ’に比べて大幅に大き
くなる。However, since the I picture is originally compressed and encoded without referring to other pictures, the prediction difficulty data D j ′ and the actual difficulty data D j ′ are compared with the case where a scene change occurs in the P picture. The difference from j is small.
On the other hand, the value of the actual difficulty data D j of the B picture immediately after the scene change is much larger than the predicted difficulty data D j ′, as in the case where a scene change occurs in the P frame.
【0127】このように、PピクチャーおよびIピクチ
ャーの予測難度データDj ’と難度データDj の値に大
きな誤差が生じない場合であっても、Bピクチャー自体
の予測難度データDj ’と難度データDj の値に大きな
誤差が生じた場合には、その直前のIピクチャーまたは
Pピクチャーでシーンチェンジが生じたと判断すること
ができる。[0127] difficulty Thus, the 'even if a large error in the value of the difficulty data D j is not generated, predictive difficulty data D j of the B-picture itself' predictive difficulty data D j of the P picture and I picture If a large error in the value of the data D j occurs, it can be determined that the I-picture or P-picture at the scene change immediately before occurred.
【0128】第4の実施形態に示すシーンチェンジ検出
方法は、以上説明した実難度データDj と予測難度デー
タDj ’との関係を利用しており、第3の実施形態にそ
れぞれ示した改良簡易2パスエンコード方式において、
より正確にシーンチェンジの検出を可能とする。つま
り、第4の実施形態に示すシーンチェンジ検出方法は、
第3の実施形態に示した映像データ圧縮装置1を用いた
改良予測簡易2パスエンコード方式において、予測難度
データDj ’と実難度データDj との値を比較してシー
ンチェンジを正確に検出するようになっている。The scene change detection method shown in the fourth embodiment utilizes the relationship between the actual difficulty data D j and the predicted difficulty data D j ′ described above, and the improvement shown in the third embodiment, respectively. In the simple two-pass encoding method,
This enables more accurate scene change detection. That is, the scene change detection method shown in the fourth embodiment is
In the improved simplified simple two-pass encoding method using the video data compression device 1 shown in the third embodiment, a scene change is accurately detected by comparing the values of the prediction difficulty data D j ′ and the actual difficulty data D j. It is supposed to.
【0129】具体的には、第4の実施形態におけるシー
ンチェンジの検出は、Iピクチャーの実難度データDjI
に対する予測難度データDjI’の比の値(DjI/
DjI’)、および、Pピクチャーの実難度データDjpに
対する予測難度データDjp’の比の値(Djp/Djp’)
が、所定の閾値の範囲外にある場合〔ThI1<(Dj /
Dj’)または(DjP/DjP’)<ThI2,Thp1<
(DjP/DjP’)または(Dj/Dj ’)<Thp2。た
だし、ThI1>1>ThI2>0,Thp1>1>Thp2>
0〕には、シーンチェンジの発生をそのピクチャーで検
出する。但し、通常、PピクチャーのPピクチャーの実
難度データDjpに対する予測難度データDjp’の比の値
(Djp/Djp’)が、加減値ThP2以下になることは殆
どない。More specifically, the detection of a scene change in the fourth embodiment is based on the actual difficulty data D jI of the I picture.
Value of the prediction difficulty data D jI ′ with respect to (D jI /
D jI ′) and the ratio of the predicted difficulty data D jp ′ to the actual difficulty data D jp of the P picture (D jp / D jp ′)
Is outside the range of the predetermined threshold [Th I1 <(D j /
D j ') or (D jP / D jP ') <Th I2 , Th p1 <
(D jP / D jP ') or (D j / D j ') <Th p2 . However, Th I1 >1> Th I2 > 0, Th p1 >1> Th p2 >
0], the occurrence of a scene change is detected in the picture. However, usually, the value of the ratio of the predicted difficulty data D jp ′ to the actual difficulty data D jp of the P picture to the actual difficulty data D jp of the P picture (D jp / D jp ′) rarely becomes less than the adjustment value Th P2 .
【0130】また、第4の実施形態におけるシーンチェ
ンジ検出方法は、IピクチャーおよびPピクチャーの実
難度データDjI,DjPに対する予測難度データDjI’,
DjP’の比の値が、上記所定の閾値の範囲内である場合
であっても、Bピクチャーの実難度データDjBに対する
予測難度データDjB’の比の値(DjB/DjB’)が、所
定の範囲外にある場合に〔ThB <(DjB/DjB’)。
但し、ThB >1〕、シーンチェンジの発生を、そのB
ピクチャーの直前のIピクチャーまたはPピクチャーで
シーンチェンジが生じたと検出する。The scene change detection method according to the fourth embodiment uses the prediction difficulty data D jI ′, and the actual difficulty data D jI , D jP of the I picture and the P picture.
Even if the value of the ratio of D jP ′ is within the range of the predetermined threshold value, the value of the ratio (D jB / D jB ′ ) of the predicted difficulty data D jB ′ to the actual difficulty data D jB of the B picture. ) Is out of the predetermined range, [Th B <(D jB / D jB ′).
However, Th B> 1], the occurrence of a scene change, the B
It is detected that a scene change has occurred in the I picture or P picture immediately before the picture.
【0131】次に、第4の実施形態における映像データ
圧縮装置1(図1)の動作を説明する。エンコーダ制御
部12は、第1の実施形態〜第3の実施形態においてと
同様に、非圧縮映像データのピクチャーを、例えば、図
8(A)に示した順番から図8(B)に示した順番に入
れ替える。FIFOメモリ160は、第1の実施形態〜
第3の実施形態においてと同様に、例えば、入力される
編集映像データを15ピクチャー分、遅延する。エンコ
ーダ162は、第1の実施形態〜第3の実施形態におい
てと同様に、シーンチェンジの有無にかかわらず、映像
データS12を圧縮符号化し、実難度データDj を生成
する。Next, the operation of the video data compression device 1 (FIG. 1) in the fourth embodiment will be described. As in the first to third embodiments, the encoder control unit 12 displays pictures of uncompressed video data in, for example, the order shown in FIG. Swap in order. FIFO memory 160 according to the first embodiment
As in the third embodiment, for example, input edited video data is delayed by 15 pictures. The encoder 162, as well as in the first embodiment to the third embodiment, regardless of the presence or absence of a scene change, compresses and encodes the video data S12, generates the real difficulty data D j.
【0132】ホストコンピュータ20は、エンコーダ1
62から入力される実難度データD j と予測難度データ
Dj ’とを比較し、第4の実施形態において上述したよ
うに、PピクチャーおよびIピクチャーの予測難度デー
タDj ’の実難度データDjに対する比の値、および、
Bピクチャーの予測難度データDj ’の実難度データD
j に対する比の値が、上記所定の範囲外となる位置でシ
ーンチェンジが発生したことを検出する。The host computer 20 has the encoder 1
Actual difficulty data D input from 62 jAnd forecast difficulty data
Dj′, As described above in the fourth embodiment.
P-picture and I-picture prediction difficulty data
TA Dj’Actual difficulty data DjThe value of the ratio to, and
B picture prediction difficulty data Dj’Actual difficulty data D
jAt a position where the value of the ratio to
Detects that a traffic change has occurred.
【0133】シーンチェンジを検出した場合、ホストコ
ンピュータ20はさらに、第3の実施形態においてと同
様に、後ろのシーンの最初のPピクチャーを前のシーン
の最後のピクチャーを参照しないIピクチャーに変更し
(図8(C))、前のシーンの最後のIピクチャーをP
ピクチャーに変更するように、ピクチャータイプシーケ
ンスを変更させる。When a scene change is detected, the host computer 20 further changes the first P picture of the subsequent scene to an I picture that does not refer to the last picture of the previous scene, as in the third embodiment. (FIG. 8C), the last I picture of the previous scene is set to P
The picture type sequence is changed like changing to a picture.
【0134】ホストコンピュータ20は、第3の実施形
態においてと同様に、編集映像データにシーンチェンジ
が発生しない場合には、エンコーダ162から得られた
データから実難度データDj を生成し、予測難度データ
D’16〜D’30をピクチャータイプごとに算出する。ま
た、ホストコンピュータ20は、シーンチェンジが発生
した場合には、シーンチェンジ前後でピクチャーの相関
性がなくなるので、第3の実施形態においと同様に、シ
ーンチェンジ直後の所定数枚のピクチャーの実難度デー
タDj から、式6により、総和値Sumj (式5)を算
出し、算出した総和値Sumj に基づいて、目標データ
量Tj を算出する。エンコーダ12は、圧縮符号化後の
データ量が、ホストコンピュータ20が生成した目標デ
ータ量Tj が示す値に近くなるように遅延された非圧縮
映像データS16を圧縮符号化し、圧縮映像データVO
UTとして出力する。[0134] The host computer 20, as well as in the third embodiment, when the edited video data scene change does not occur, generates real difficulty data D j from the data obtained from the encoder 162, the prediction difficulty Data D' 16 to D' 30 are calculated for each picture type. Further, when a scene change occurs, the host computer 20 loses the correlation between the pictures before and after the scene change. Therefore, as in the third embodiment, the actual difficulty level of a predetermined number of pictures immediately after the scene change is changed. From the data D j , the total sum Sum j (Equation 5) is calculated according to Equation 6, and the target data amount T j is calculated based on the calculated total sum Sum j . Encoder 12, the amount of compressed data encoded, compressed and encoded non-compressed video data S16 delayed to be closer to the value indicated by the target amount of data T j by the host computer 20 is generated, compressed video data VO
Output as UT.
【0135】以下、フローチャートを参照して、第4の
実施形態に示した映像データ圧縮装置1のホストコンピ
ュータ20によるシーンチェンジ検出処理の内容をさら
に説明する。図15は、第4の実施形態における映像デ
ータ圧縮装置1(図1)のホストコンピュータ20によ
るシーンチェンジ検出処理の内容を示すフローチャート
図である。Hereinafter, the details of the scene change detection processing by the host computer 20 of the video data compression apparatus 1 shown in the fourth embodiment will be described with reference to flowcharts. FIG. 15 is a flowchart showing the content of the scene change detection process by the host computer 20 of the video data compression device 1 (FIG. 1) in the fourth embodiment.
【0136】図15に示すように、ステップ300(S
300)において、ホストコンピュータ20は、第j番
目の実難度データDj を算出する。ステップ302(S
302)において、ホストコンピュータ20は、第j番
目のピクチャーがあるか否かを判断する。第j番目のピ
クチャーがある場合には、S304の処理に進み、ない
場合には処理を終了する。ステップ304(S304)
において、ホストコンピュータ20は、第j番目のピク
チャーのピクチャータイプを判断する。第j番目のピク
チャーのピクチャータイプがBピクチャー、Iピクチャ
ーまたはPピクチャーである場合、それぞれ、S30
6,S316,S320の処理に進む。As shown in FIG. 15, step 300 (S
In 300), the host computer 20 calculates the j-th real difficulty data D j. Step 302 (S
In 302), the host computer 20 determines whether or not there is a j-th picture. If there is a j-th picture, the process proceeds to S304; otherwise, the process ends. Step 304 (S304)
In, the host computer 20 determines the picture type of the j-th picture. If the picture type of the j-th picture is a B picture, an I picture, or a P picture,
6, the process proceeds to S316 and S320.
【0137】ステップ306(S306)において、ホ
ストコンピュータ20は、数値B_countをインク
リメントする。ステップ308(S308)において、
ホストコンピュータ20は、数値B_countの値が
1であるか否かを判断する。数値B_countの値が
1である場合には、S312の処理に進み、数値B_c
ountの値が1でない場合には、S310の処理に進
む。In step 306 (S306), the host computer 20 increments the numerical value B_count. In step 308 (S308),
The host computer 20 determines whether the value of the numerical value B_count is 1 or not. If the value of the numerical value B_count is 1, the process proceeds to S312, where the numerical value B_c
If the value of “out” is not “1”, the process proceeds to S310.
【0138】ステップ310(S310)において、ホ
ストコンピュータ20は、シーンチェンジが発生しなか
ったと判断する。ステップ312(S312)におい
て、ホストコンピュータ20は、Bピクチャーから生成
した予測難度データDj ’と実難度データDj との比の
値を算出し、Dj >ThB ×Dj ’(DjB/DjB’>T
hB )であるか否かを判断する。D j >ThB ×Dj ’
である場合、S310の処理に進み、Dj >ThB ×D
j ’でない場合、S314の処理に進む。ステップ31
4(S314)において、ホストコンピュータ20は、
直前のIピクチャーまたはPピクチャー〔第(j−1)
番目のピクチャー〕でシーンチェンジが発生したと判定
する。In step 310 (S310), the
The strike computer 20 determines whether a scene change has occurred.
Judge that Step 312 (S312)
The host computer 20 generates the B picture
Predicted difficulty data Dj’And the actual difficulty data DjOf the ratio of
Calculate the value, Dj> ThB× Dj’(DjB/ DjB’> T
hB) Is determined. D j> ThB× Dj’
In step S310, the process proceeds to step S310, where Dj> ThB× D
jIf not, the process proceeds to S314. Step 31
4 (S314), the host computer 20
The immediately preceding I picture or P picture [(j-1)
Judge that a scene change has occurred
I do.
【0139】ステップ316(S316)において、ホ
ストコンピュータ20は、数値B_countの値をゼ
ロクリアする。ステップ318(S318)において、
ホストコンピュータ20は、Pピクチャーから生成した
予測難度データDj ’と実難度データDj との比の値を
算出し、Dj >ThP1×Dj ’またはDj <ThP2×D
j ’であるか否かを判断する。Dj >ThP1×Dj ’ま
たはDj <ThP2×Dj ’である場合、S324の処理
に進み、Dj >ThP1×Dj ’またはDj <ThP2×D
j ’でない場合、S310の処理に進む。At step 316 (S316), the host computer 20 clears the value of the numerical value B_count to zero. In step 318 (S318),
The host computer 20 calculates a ratio value between the predicted difficulty data D j ′ generated from the P picture and the actual difficulty data D j, and calculates D j > Th P1 × D j ′ or D j <Th P2 × D
j 'is determined. If a D j> Th P1 × D j ' or D j <Th P2 × D j ', the flow proceeds to the processing of S324, D j> Th P1 × D j ' or D j <Th P2 × D
If it is not j ′, the process proceeds to S310.
【0140】ステップ320(S320)において、ホ
ストコンピュータ20は、ホストコンピュータ20は、
数値B_countの値をゼロクリアする。ステップ3
22(S322)において、ホストコンピュータ20
は、Iピクチャーから生成した予測難度データDj ’と
実難度データDj との比の値を算出し、Dj >ThI1×
Dj ’またはDj <ThI2×Dj ’であるか否かを判断
する。Dj >ThI1×Dj ’またはDj <ThI2×
Dj ’である場合、S324の処理に進み、Dj >Th
I1×Dj ’またはDj <ThI2×Dj ’でない場合、S
310の処理に進む。At step 320 (S320), the host computer 20
The value of the numerical value B_count is cleared to zero. Step 3
22 (S322), the host computer 20
Calculates the ratio value between the predicted difficulty data D j ′ generated from the I picture and the actual difficulty data D j, and calculates D j > Th I1 ×
It is determined whether D j ′ or D j <Th I2 × D j ′. D j > Th I1 × D j ′ or D j <Th I2 ×
If D j ′, the process proceeds to S324, where D j > Th
If I1 × D j ′ or D j <Th I2 × D j ′, S
Proceed to 310.
【0141】ステップ324(S324)において、ホ
ストコンピュータ20は、第j番目のピクチャーでシー
ンチェンジが発生したとを判断する。ステップ326
(S326)において、ホストコンピュータ20は、実
難度データDj までを用いて、次の予測難度データD
j+1 を算出する。ステップ328(S328)におい
て、ホストコンピュータ20は、数値jをインクリメン
トする。In step 324 (S324), the host computer 20 determines that a scene change has occurred in the j-th picture. Step 326
In (S326), the host computer 20, using up real difficulty data D j, next prediction difficulty data D
Calculate j + 1 . In step 328 (S328), the host computer 20 increments the numerical value j.
【0142】なお、第4の実施形態においては、予測難
度データDj ’の予測方法として、第3の実施形態に示
した直線近似を用いたが、予測難度データDj ’の予測
方法は、これに限らず、例えば、実難度データDj の差
分値に基づいて、実難度データDj の変化を予測するこ
とにより予測難度データDj ’を算出する方法を採って
もよい。また、第4の実施形態においては、シーンチェ
ンジを検出する際に、Bピクチャーの前のピクチャーが
IピクチャーであろうとPピクチャーであろうと、同じ
Bピクチャーの予測難度データDj ’と実難度データD
j との比較の際に、同じ閾値ThB を用いたが、前のピ
クチャーのピクチャータイプに応じて、閾値を変更して
もよい。[0142] In the fourth embodiment, the prediction difficulty data D j 'as a method of predicting, but using a linear approximation shown in the third embodiment, predictive difficulty data D j' prediction method is Alternatively, for example, based on the difference value of the real difficulty data D j, it may be adopted a method for calculating a prediction difficulty data D j 'by predicting a change in the real difficulty data D j. Further, in the fourth embodiment, when detecting a scene change, whether the preceding picture of the B picture is an I picture or a P picture, the prediction difficulty data D j ′ and the actual difficulty data of the same B picture are used. D
in the comparison with the j, but with the same threshold value Th B, depending on the picture type of the previous picture, the threshold value may be changed.
【0143】以上第4の実施形態において説明したシー
ンチェンジの検出方法によれば、第3の実施形態に示し
た実難度データDj の経時的な変化の監視によっては、
検出しにくかったIピクチャーでのシーンチェンジ、あ
るいは、シーンチェンジの前の絵柄が難しく、シーンチ
ェンジ後の絵柄が優しい場合のPピクチャーでのシーン
チェンジを、確実に検出することができる。従って、第
3の実施形態に示したシーンチェンジの検出方法を採用
する場合に比べて、圧縮符号化後の映像データの品質を
向上させることができる。[0143] According to the method of detecting the scene change described in the fourth embodiment above, by monitoring the change over time of the real difficulty data D j shown in the third embodiment,
A scene change in an I picture that is difficult to detect, or a scene change in a P picture when a picture before the scene change is difficult and the picture after the scene change is gentle, can be reliably detected. Therefore, the quality of video data after compression encoding can be improved as compared with the case where the scene change detection method described in the third embodiment is employed.
【0144】[0144]
【発明の効果】以上述べたように本発明に係る映像デー
タ圧縮装置およびその方法によれば、2パスエンコード
によらずに、複数のシーンを連続的に含む映像データを
所定のデータ量以下に圧縮符号化して圧縮映像データを
生成することができ、しかも、連続的な複数のシーンの
時間方向における境界(シーンチェンジ)部分を圧縮符
号化した圧縮映像データを伸長復号して得られる映像の
品質を保持することができる。As described above, according to the video data compression apparatus and method according to the present invention, video data continuously including a plurality of scenes can be reduced to a predetermined data amount or less without using two-pass encoding. Compressed video data can be generated by compression encoding, and the quality of video obtained by expanding and decoding compressed video data obtained by compressing and encoding boundaries (scene changes) in the time direction of a plurality of continuous scenes Can be held.
【図1】本発明に係る映像データ圧縮装置の構成を示す
図である。FIG. 1 is a diagram showing a configuration of a video data compression device according to the present invention.
【図2】図1に示した簡易2パス処理部のエンコーダの
構成を示す図である。FIG. 2 is a diagram illustrating a configuration of an encoder of a simple two-pass processing unit illustrated in FIG. 1;
【図3】図1に示したエンコーダの構成を示す図であ
る。FIG. 3 is a diagram illustrating a configuration of an encoder illustrated in FIG. 1;
【図4】(A)〜(C)は、第1の実施形態における映
像データ圧縮装置の簡易2パスエンコードの動作を示す
図である。FIGS. 4A to 4C are diagrams illustrating an operation of a simple two-pass encoding of the video data compression device according to the first embodiment.
【図5】(A)〜(C)は、映像データ圧縮装置の動作
を示す図である。FIGS. 5A to 5C are diagrams illustrating the operation of the video data compression device.
【図6】第2の実施形態における映像データ圧縮装置
(図1)の動作を示すフローチャートである。FIG. 6 is a flowchart showing the operation of the video data compression device (FIG. 1) in the second embodiment.
【図7】(A)〜(C)は、第2の実施形態における予
測簡易2パスエンコード方式、および、第3の実施形態
における改良予測簡易2パスエンコード方式による、シ
ーンチェンジの前後のピクチャーに対する圧縮符号化を
示す図である。FIGS. 7A to 7C are diagrams for pictures before and after a scene change according to the simplified simplified two-pass encoding method according to the second embodiment and the improved simplified simplified two-pass encoding method according to the third embodiment; FIG. 3 is a diagram illustrating compression encoding.
【図8】(A)〜(C)は、エンコーダ制御部(図1)
による編集映像データのピクチャーの順序の入れ替え処
理、および、ホストコンピュータによるピクチャータイ
プの変更処理を示す図である。8A to 8C are encoder control units (FIG. 1)
FIG. 8 is a diagram showing a process of changing the order of pictures in edited video data by a computer and a process of changing a picture type by a host computer.
【図9】編集映像データのシーンチェンジ部分付近の実
難度データの値の経時的な変化を例示する図である。FIG. 9 is a diagram exemplifying a temporal change in the value of actual difficulty data near a scene change portion of edited video data.
【図10】ホストコンピュータ(図1)が、編集映像デ
ータにシーンチェンジが発生する場合に、実難度データ
D1 〜D15に基づいて予測難度データD’16〜D’30を
算出する方法、および、編集映像データにシーンチェン
ジが発生しない場合の予測難度データD’16〜D’30を
算出する方法を示す図である。FIG. 10 shows a method in which a host computer (FIG. 1) calculates predicted difficulty data D ′ 16 to D ′ 30 based on actual difficulty data D 1 to D 15 when a scene change occurs in edited video data; FIG. 11 is a diagram illustrating a method of calculating predicted difficulty data D ′ 16 to D ′ 30 when a scene change does not occur in edited video data.
【図11】第3の実施形態における改良予測簡易2パス
エンコード方式における総和値Sumi の予測および目
標データ量Ti の算出に係る処理内容を示す第1のフロ
ーチャート図である。11 is a first flowchart showing a process according to the calculation of the predicted and target amount of data T i of the summation value Sum i in the improved predictive simplified two pass encoding system in the third embodiment.
【図12】第3の実施形態における改良予測簡易2パス
エンコード方式における総和値Sumi の予測および目
標データ量Ti の算出に係る処理内容を示す第2のフロ
ーチャート図である。12 is a second flowchart showing the processing contents of the calculation of the predicted and target amount of data T i of the summation value Sum i in the improved predictive simplified two pass encoding system in the third embodiment.
【図13】シーンチェンジがPピクチャーで生じた場合
に、その前後における実難度データDj (○印)と予測
難度データD’j (×印)との関係を、圧縮符号化の順
に例示する図である。FIG. 13 illustrates a relationship between actual difficulty data D j (D) and predicted difficulty data D ′ j (×) before and after a scene change occurs in a P picture in the order of compression encoding. FIG.
【図14】シーンチェンジがIピクチャーで生じた場合
に、その前後における実難度データDj (○印)と予測
難度データD’j (×印)との関係を、圧縮符号化の順
に例示する図である。FIG. 14 illustrates the relationship between actual difficulty data D j (D) and predicted difficulty data D ′ j (×) before and after a scene change occurs in an I picture in the order of compression encoding. FIG.
【図15】第4の実施形態における映像データ圧縮装置
(図1)のホストコンピュータによるシーンチェンジ検
出処理の内容を示すフローチャート図である。FIG. 15 is a flowchart showing the content of a scene change detection process by the host computer of the video data compression device (FIG. 1) in the fourth embodiment.
1…映像データ圧縮装置、10…圧縮符号化部、14…
動き検出器、16…簡易2パス処理部、160…FIF
Oメモリ、162,18…エンコーダ、20…ホストコ
ンピュータ。DESCRIPTION OF SYMBOLS 1 ... Video data compression apparatus, 10 ... Compression coding part, 14 ...
Motion detector, 16: Simple 2-pass processing unit, 160: FIF
O memory, 162, 18 ... encoder, 20 ... host computer.
Claims (11)
タの先頭が、所定の圧縮方法によりIピクチャー、Pピ
クチャーおよびBピクチャーの組み合わせで構成される
所定のピクチャータイプシーケンスに圧縮された後に、
IピクチャーまたはPピクチャーとなるように、ピクチ
ャーの順序を入れ替える入れ替え手段と、 順序を入れ替えた前記非圧縮映像データを、前記所定の
圧縮方法により圧縮して、第1の圧縮映像データを生成
する前記第1の圧縮手段と、 順序を入れ替えた前記非圧縮映像データを所定の遅延時
間だけ遅延する遅延手段と、 前記所定の遅延時間に対応する前記非圧縮映像データか
ら生成された前記第1の圧縮映像データのデータ量に基
づいて、所定量の未生成の前記第1の圧縮映像データの
データ量を予測する予測手段と、 予測した前記第1の圧縮映像データのデータ量と、実際
に生成した前記第1の圧縮映像データのデータ量(実際
のデータ量)とに基づいて、前記非圧縮映像データの先
頭を検出する先頭検出手段と、 検出した前記非圧縮映像データの先頭のピクチャーが、
圧縮後に、他の映像データのピクチャーと関係を有さな
いように、前記所定のピクチャータイプシーケンスを変
更する変更手段と、 生成した前記第1の圧縮映像データ、および、予測した
前記第1の圧縮映像データのデータ量に基づいて、前記
非圧縮映像データの圧縮後のデータ量の目標値を生成す
る目標値生成手段と、 圧縮後のデータ量が、生成した前記目標値になるよう
に、遅延した前記非圧縮映像データを、前記所定の圧縮
方法により、変更した前記所定のピクチャータイプシー
ケンスに圧縮する第2の圧縮手段とを有する映像データ
圧縮装置。1. After a head of a plurality of uncompressed video data input continuously is compressed into a predetermined picture type sequence composed of a combination of an I picture, a P picture and a B picture by a predetermined compression method. ,
Means for changing the order of pictures so as to be I pictures or P pictures; and compressing the uncompressed video data whose order has been changed by the predetermined compression method to generate first compressed video data. A first compression unit; a delay unit that delays the uncompressed video data whose order has been changed by a predetermined delay time; and the first compression generated from the uncompressed video data corresponding to the predetermined delay time. A prediction unit for predicting a data amount of a predetermined amount of the uncompressed first compressed video data based on a data amount of the video data; a predicted data amount of the first compressed video data; Head detecting means for detecting a head of the non-compressed video data based on a data amount (actual data amount) of the first compressed video data; The beginning of the picture of the reduced image data,
Changing means for changing the predetermined picture type sequence so as not to have a relationship with a picture of another video data after compression; generated first compressed video data; and predicted first compression. A target value generating means for generating a target value of the data amount of the uncompressed video data after compression based on the data amount of the video data; A second compression means for compressing the uncompressed video data into the changed predetermined picture type sequence by the predetermined compression method.
Pピクチャーの実際のデータ量が、予測した前記第1の
圧縮映像データのIピクチャーおよびPピクチャーに対
する比の値が、所定の範囲外になった場合に、前記デー
タ量が多くなったPピクチャーに対応する位置に、前記
非圧縮映像データの先頭を検出する請求項1に記載の映
像データ圧縮装置。2. The head detecting means according to claim 1, wherein the actual data amount of the I picture and the P picture is such that the predicted ratio of the first compressed video data to the I picture and the P picture is out of a predetermined range. 2. The video data compression apparatus according to claim 1, wherein when the data amount increases, a head of the uncompressed video data is detected at a position corresponding to the P picture whose data amount has increased.
のデータ量が、予測した前記第1の圧縮映像データのB
ピクチャーのデータ量よりも所定の割合以上、多くなっ
た場合に、前記データ量が多くなったBピクチャーの直
前のPピクチャーおよびIピクチャーの位置に、前記非
圧縮映像データの先頭を検出する請求項1に記載の映像
データ圧縮装置。3. The head detecting means according to claim 1, wherein the actual data amount of the B picture is the B data of the predicted first compressed video data.
When the data amount of the uncompressed video data is larger than the data amount of the picture by a predetermined ratio or more, a head of the uncompressed video data is detected at a position of a P picture and an I picture immediately before the B picture whose data amount is increased. 2. The video data compression device according to 1.
イプシーケンスにおいて、前記非圧縮映像データの先頭
がPピクチャーに圧縮される場合に、前記非圧縮映像デ
ータの先頭がIピクチャーに圧縮されるように、前記所
定のピクチャータイプシーケンスを変更する請求項1に
記載の映像データ圧縮装置。4. The method according to claim 1, wherein, in the predetermined picture type sequence, when the head of the uncompressed video data is compressed into a P picture, the head of the uncompressed video data is compressed into an I picture. 2. The video data compression apparatus according to claim 1, wherein said predetermined picture type sequence is changed.
先頭がIピクチャーに圧縮されるように前記所定のピク
チャータイプシーケンスを変更した場合に、近傍の圧縮
後にIピクチャーになる前記非圧縮映像データのピクチ
ャーが、Pピクチャーに圧縮されるように、前記所定の
ピクチャータイプシーケンスをさらに変更する請求項4
に記載の映像データ圧縮装置。5. The non-compressed video data, wherein when the predetermined picture type sequence is changed so that the head of the non-compressed video data is compressed into an I picture, the uncompressed video data becomes an I picture after neighboring compression. 5. The method of claim 4, wherein the predetermined picture type sequence is further modified such that a picture of data is compressed into a P picture.
2. The video data compression device according to claim 1.
タの先頭が、所定の圧縮方法によりIピクチャー、Pピ
クチャーおよびBピクチャーの組み合わせで構成される
所定のピクチャータイプシーケンスに圧縮された後に、
IピクチャーまたはPピクチャーとなるように圧縮し
て、第1の圧縮映像データを生成し、 前記所定の遅延時間に対応する前記第1の圧縮映像デー
タのデータ量に基づいて、所定量の未生成の前記第1の
圧縮映像データのデータ量を予測し、 前記第1の圧縮映像データの予測したデータ量、実際に
生成した前記第1の圧縮映像データのデータ量(実際の
データ量)とに基づいて、前記非圧縮映像データの先頭
を検出する映像データ圧縮方法。6. After a head of a plurality of uncompressed video data which are continuously inputted is compressed into a predetermined picture type sequence composed of a combination of I picture, P picture and B picture by a predetermined compression method. ,
Generating a first compressed video data by compressing to become an I picture or a P picture; and generating a predetermined amount of the uncompressed video data based on a data amount of the first compressed video data corresponding to the predetermined delay time. The data amount of the first compressed video data, and the predicted data amount of the first compressed video data and the data amount (actual data amount) of the actually generated first compressed video data. A video data compression method for detecting a head of the uncompressed video data based on the video data.
け遅延し、 検出した部分のPピクチャーが、圧縮後に、Iピクチャ
ーになるように前記所定のピクチャータイプシーケンス
を変更し、 生成した前記第1の圧縮映像データと予測した前記第1
の圧縮映像データとのデータ量に基づいて、圧縮後のデ
ータ量の目標値を生成し、 圧縮後のデータ量が、生成した前記目標値になるよう
に、遅延した前記非圧縮映像データを、前記所定の圧縮
方法により、変更した前記所定のピクチャータイプシー
ケンスに圧縮する請求項6に記載の映像データ圧縮方
法。7. A method according to claim 7, wherein said uncompressed video data is delayed by a predetermined delay time, and said predetermined picture type sequence is changed so that a detected P picture becomes an I picture after compression. The first compressed video data and the first
Generating a target value of the compressed data amount based on the data amount with the compressed video data of the compressed video data, and delaying the uncompressed video data so that the compressed data amount becomes the generated target value. 7. The video data compression method according to claim 6, wherein the video data is compressed into the changed predetermined picture type sequence by the predetermined compression method.
のデータ量に対する実際のIピクチャーおよびPピクチ
ャーの比の値が、所定の範囲外になったIピクチャーお
よびPピクチャーの位置を、前記先頭のピクチャーとし
て検出する請求項7に記載の映像データ圧縮方法。8. The position of the I picture and P picture in which the ratio of the actual I picture and P picture to the predicted data amount of the I picture and P picture is out of a predetermined range is used as the first picture. The video data compression method according to claim 7, wherein the detection is performed.
定の割合以上、実際のデータ量多くなったBピクチャー
の直前のIピクチャーおよびPピクチャーの位置を、前
記第1の圧縮映像データの先頭として検出する請求項7
に記載の映像データ圧縮方法。9. The position of an I picture and a P picture immediately before a B picture whose actual data amount has been increased by a predetermined ratio or more than the predicted data amount of a B picture is taken as the head of the first compressed video data. Claim 7 for detecting
2. The video data compression method according to 1.
において、前記非圧縮映像データの先頭が、Pピクチャ
ーに圧縮される場合に、前記非圧縮映像データの先頭
が、Iピクチャーに圧縮されるように、前記所定のピク
チャータイプシーケンスを変更する請求項7に記載の映
像データ圧縮方法。10. In the predetermined picture type sequence, when the head of the uncompressed video data is compressed into a P picture, the head of the uncompressed video data is compressed into an I picture. 8. The video data compression method according to claim 7, wherein a predetermined picture type sequence is changed.
ャーに圧縮されるように前記所定のピクチャータイプシ
ーケンスを変更した場合に、近傍の圧縮後にIピクチャ
ーになる前記非圧縮映像データのピクチャーが、Pピク
チャーに圧縮されるように、前記所定のピクチャータイ
プシーケンスをさらに変更する請求項10に記載の映像
データ圧縮方法。11. When the predetermined picture type sequence is changed so that the head of the uncompressed video data is compressed into an I picture, the picture of the uncompressed video data that becomes an I picture after nearby compression is: The video data compression method according to claim 10, wherein the predetermined picture type sequence is further changed so as to be compressed into a P picture.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21648096A JPH1066084A (en) | 1996-08-16 | 1996-08-16 | Video data compressing device and its method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21648096A JPH1066084A (en) | 1996-08-16 | 1996-08-16 | Video data compressing device and its method |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1066084A true JPH1066084A (en) | 1998-03-06 |
Family
ID=16689102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21648096A Pending JPH1066084A (en) | 1996-08-16 | 1996-08-16 | Video data compressing device and its method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1066084A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7474766B2 (en) | 2000-09-01 | 2009-01-06 | Minolta Co., Ltd. | Motion image processor, motion image processing method and recording medium |
-
1996
- 1996-08-16 JP JP21648096A patent/JPH1066084A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7474766B2 (en) | 2000-09-01 | 2009-01-06 | Minolta Co., Ltd. | Motion image processor, motion image processing method and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3864461B2 (en) | Video data compression apparatus and method | |
US6100931A (en) | Method and apparatus for controlling a target amount of code and for compressing video data | |
JP2931732B2 (en) | Video compression method and decompression method and apparatus using variable length coding | |
CA2457614C (en) | First pass encoding of i and p-frame complexity for compressed digital video | |
JP3588970B2 (en) | Signal encoding method, signal encoding device, signal recording medium, and signal transmission method | |
US20060114995A1 (en) | Method and system for high speed video encoding using parallel encoders | |
EP1143737A2 (en) | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus | |
JP2000013799A (en) | Device and method for motion compensation encoding and decoding | |
JPH11346362A (en) | Real time single path variable bit rate control method, and encoder | |
EP1438862A2 (en) | Motion-adaptive noise reduction pre-processing for digital video signal | |
JPH07177525A (en) | Motion compensation difference pulse-code modulation compression equipment | |
EP2041984A1 (en) | Method and apparatus for adapting a default encoding of a digital video signal during a scene change period | |
JPH11317951A (en) | Data encoding device/method and data transmitting method | |
KR20040048289A (en) | Transcoding apparatus and method, target bit allocation, complexity prediction apparatus and method of picture therein | |
WO2000001158A1 (en) | Encoder and encoding method | |
JP4073541B2 (en) | Video re-encoding device | |
JPH1066084A (en) | Video data compressing device and its method | |
JPH1066092A (en) | Video data compressor and its method | |
JP3879134B2 (en) | Encoding apparatus and method thereof | |
JPH09284772A (en) | Device and method for compressing video data | |
JPH10108197A (en) | Image coder, image coding control method, and medium storing image coding control program | |
JP2001008207A (en) | Dynamic image coder and method therefor | |
JPH0795536A (en) | Device and method for reversely reproducing moving image | |
JP3765129B2 (en) | Encoding apparatus and encoding method | |
JPH1075452A (en) | Device and method for compressing video data |