Nothing Special   »   [go: up one dir, main page]

JP3361009B2 - ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム - Google Patents

ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム

Info

Publication number
JP3361009B2
JP3361009B2 JP11401796A JP11401796A JP3361009B2 JP 3361009 B2 JP3361009 B2 JP 3361009B2 JP 11401796 A JP11401796 A JP 11401796A JP 11401796 A JP11401796 A JP 11401796A JP 3361009 B2 JP3361009 B2 JP 3361009B2
Authority
JP
Japan
Prior art keywords
video
frame
bits
frames
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11401796A
Other languages
English (en)
Other versions
JPH09121348A (ja
Inventor
ファラマルツ・アザディガン
海野裕明
三村英紀
北村哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPH09121348A publication Critical patent/JPH09121348A/ja
Application granted granted Critical
Publication of JP3361009B2 publication Critical patent/JP3361009B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G11B2220/91—Helical scan format, wherein tracks are slightly tilted with respect to tape direction, e.g. VHS, DAT, DVC, AIT or exabyte
    • G11B2220/913—Digital audio tape [DAT] format
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、ＭＰＥＧおよびＭＰ
ＥＧ−２ビデオ・エンコーダなどのビデオ符号化システ
ムに関し、さらに特定すると、フレームごとに以前符号
化されたデジタル・ビデオのビット伝送速度を解析し、
以前の符号化プロセスで使用された各量子化レベルの平
均ビット伝送速度を判断するビデオ・プリエンコーダに
関する。本発明は、以前の符号化プロセスで判断された
将来のフレームのビット伝送速度に基づいて、固定容量
記憶装置媒体の範囲内で適合するようにデジタル・ビデ
オを符号化するために使用される。
【０００２】（関連明細書に対する相互参照）この明細
書は、１９９５年５月８日に提出された「符号化された
ビデオ・ビットストリームのセクション置換方法および
システム」と題する米国特許明細書Ｓ／Ｎ ０８／４３
８，０１４の続編の明細書である。また、この明細書は
それ以外の４つの明細書にも関連し、それらの明細書と
同時に提出されている。これらの４つの明細書とは、そ
れぞれ１９９５年６月６日に提出された「オーディオ・
エンコーダの数が減少したオーディオビジュアル符号化
システム」という題の米国特許明細書Ｓ／Ｎ ０８／４
７３，７８３、「ユーザによる手動での以前符号化した
ビデオ・フレームの品質変更を可能にする方法およびシ
ステム」という題の米国特許明細書Ｓ／Ｎ ０８／５２
２，４９５、「ユーザによる手動での以前符号化したビ
デオ・シーケンスの品質変更を可能にする方法およびシ
ステム」という題の米国特許明細書および「速度制御式
デジタル・ビデオ編集方法および変化する量子レベルに
よるビデオ・エンコーダのビット割当を制御するシステ
ム」という題の明細書のことである。
【０００３】
【従来の技術】デジタル・ビデオ符号化システムは、フ
レームの部分の明暗度を表す未処理デジタル・ビデオ
を、２種類の異なるモードの内の一方で使用するため
に、圧縮済み符号化デジタル・ビデオに符号化する。こ
れらのモードは、一定ビット伝送速度（ＣＢＲ）モード
および可変ビット伝送速度（ＶＢＲ）モードである。一
定ビット伝送速度モードは、大部分の場合固定帯域幅を
使用し、信号を送信機から遠隔受信機に送達するケーブ
ル・テレビおよび直接衛星放送などの伝送技術で使用す
るのに適している。可変ビット伝送速度モードは、コン
パクト・ディスクなどのデジタル記憶装置媒体からデジ
タル・ビデオを再生するのに適している。
【０００４】ＣＢＲモードでは、送信機は、ビデオ・バ
ッファ・アンダフローおよびビデオ・バッファ・オーバ
フローを回避しつつ、通常毎秒３０フレームを受信機に
送信しなければならない。アンダフローは、１秒の３０
分の１の間隔の最後に、画像を構築するのに十分なデー
タがビデオ復号化バッファ内にない場合に、一定ビット
伝送速度モードで発生する。ＣＢＲモードでのオーバフ
ローは、バッファ内に格納されるビデオ・データが多す
ぎるため、デコーダが１秒の３０分の１の間隔内に復号
化できない場合に発生する。
【０００５】ＣＢＲモードでビット速度を制御するため
には、ビデオ・エンコーダは適応量子化と呼ばれる技法
を用い、瞬間ビット伝送速度を目標のビット伝送速度を
満たすように変化させる。適応量子化では、マクロブロ
ックの量子化レベルに基づき、一連のマクロブロックに
よって生成されるビット数を概算し、一連のマクロブロ
ックを符号化し、符号化されたマクロブロックのビット
数を決定し、符号化の結果生じるビット数と概算ビット
数を比較し、以前の概算の精度に基づきマクロブロック
の次のセットの量子化レベルを変更することが必要にな
る。
【０００６】一連のマクロブロックにより生成されるビ
ット数を正確に予想するために、ビット伝送速度モデル
に対する量子化器レベルが、ある特定の量子化レベルに
より生成されるビット平均数がいくつになるのかを示
す。レイニンガー（Ｒｅｉｎｉｎｇｅｒ）その他によ
る、１９９４年のプリンストン会議で発表された「速度
−歪み曲線を使用する多重化ＭＰＥＧビデオ用共同マル
チチャネル・ビット伝送速度制御」という題の論文の中
で、符号化プロセスを２つのフェーズに分割する一定ビ
ット伝送速度エンコーダが開示されている。第１フェー
ズでは、第１フレームが、異なる量子化レベルを用いて
事前符号化されているフレームの部分で事前符号化され
る。これにより、第１フレームが第１フェーズにどのよ
うに応答するのかを表すビット伝送速度対量子化レベル
の曲線が求められる。その次に、第１フレームは、第２
フェーズに入る。この第２フェーズでは、第１フェーズ
で作成されたビット伝送速度対量子化レベル曲線が、第
１フレームの最終的に符号化されるデジタル・ビデオ・
ストリームの部分への符号化を調整するために使用され
る。第１フェーズで作成された曲線を使用することによ
り、第２フェーズは、フレームがアンダーフローおよび
オーバフローを回避して符号化されるように、さらに正
確に各マクロブロックに割り当てられる量子化レベルを
決定できる。レイニンガー法は、第１フレームの第２フ
ェーズ符号化と平行して、第２フレームでの第１フェー
ズを開始し、統計を収集する。このプロセスは映画の中
の全フレームについて反復される。ただし、この技法
は、速度を制御する能力に制限がある単独フレーム先回
り制御しか実現しない。
【０００７】ＶＢＲモードでは、オーバフローは、バッ
ファが新しいデータを受け入れることができるときに、
データをデジタル記憶装置媒体から読み取ることによっ
てのみ回避することができる。ＶＢＲモードでは、アン
ダーフローは依然として発生する可能性があり、ビデオ
・フレームを表すのに使用されているデータが少なすぎ
るより、むしろ多すぎることにより生じる。フレームデ
ータが多すぎる場合、ビデオ・デコーダは、１秒の３０
分の１以内に必要なすべての復号化動作を実行できな
い。フレームは完全に復号化される前に表示される必要
があるため、エラーが生じる結果となる。
【０００８】１枚のコンパクト・ディスクで省略してい
ない映画を表す符号化デジタル・ビデオを実現するため
には、未処理映像のさまざまな部分が、異なる量子化レ
ベルを用いて符号化され、さまざまな画像品質が生まれ
る可能性がある。符号化されたときに未処理映像のある
特定のセクションが消費するスペースの量を決定するた
めに、未処理映像はある特定の量子化レベルで事前符号
化され、その結果生じる各フレームのビット長は、後の
符号化プロセスで役立つように記録することができる。
さまざまな量子化レベルの結果として生じるビット伝送
速度を決定するために、このプロセスは未処理映像全体
に複数回反復可能で、結果は各フレームを符号化した後
で記録できる。しかし、この技法は、量子化モデルを作
成できる最大精度を実現しても、非常に長時間を要す
る。通常の映画は１時間半から２時間の間継続するた
め、毎回異なる量子化レベルを使用して２回映画を事前
符号化するには最低でも３時間は要することになる。
【０００９】
【課題を解決するための手段】この発明の目的は、上記
したビデオ事前符号化の問題を解決することにある。ビ
デオ信号のフレームの特徴を判断して、前記ビデオ信号
を処理するための方法であって、 ａ）前記ビデオ信号の複数のフレームを入手するステッ
プと、 ｂ）複数の量子化レベルを１つのフレームに割り当てる
ステップと、 ｃ）前記１つのフレームを、前記割り当てた複数の量子
化レベルを使用して事前符号化する事前符号化ステップ
と、 ｄ）前記事前符号化ステップの結果生じるビット数値を
前記１つのフレームに対して複数得るステップと、 ｅ）次の各フレームに対して順次上記ステップｂ）−
ｄ）を反復するステップと、 ｆ）上記反復により前記複数のフレームのそれぞれに対
して上記ステップｄ）で得られた各ビット数値を用い、
各フレームに対する複数のビット数値の中から、各フレ
ーム毎に１つずつビット数値を選択して、前記各フレー
ムに対する選択されたビット数値に対応させた各フレー
ムの量子化レベルを設定し、それを第１セットとするス
テップと、 ｇ）前記複数のフレームが符号化されたときの全体の目
標ビット数を設定するステップと、 ｈ）前記複数フレームに対して、前記第１セットを割り
当てるステップと、 ｉ）前記複数フレームのうちの１つのフレームを、前記
第１のセットの中の対応する量子化レベルで符号化する
ステップと、 ｊ）前記１つのフレームに継続する継続フレームに対し
て、前記第１のセットの中の対応する量子化レベルに基
づく符号化ビット数値を概算するステップと、 ｋ）前記目標ビット数と、前記概算された符号化ビット
数値と、前記ｉ）のステップで符号化されたフレームの
ビット数値と、先のｆ）のステップで設定されたときの
複数のフレームの各符号化ビット数値における、次に続
いている複数フレーム分の符号化ビット数値とに基づ
き、前記複数フレーム分の全体の符号化ビット数値が前
記目標ビット数に近似するように前記継続する継続フレ
ームのための前記第１セット内の量子化レベルを調整し
符号化するステップと、 ｌ）さらに次に継続する他のフレームに順次ステップ
ｉ）−ｋ）を反復するステップとを有する。
【００１０】本発明の第２の目的とは、量子化レベル対
ビット伝送速度のモデルを、未処理映像の複数のフレー
ムに対して作成できるように、少なくとも２つの量子化
レベルを用いて未処理映像を事前符号化することであ
る。
【００１１】本発明の第３の目的とは、１行の中でビッ
ト伝送速度対量子化レベルの２つのポイントを作成でき
るように、２つの量子化レベルが事前符号化プロセスの
間に複数のフレームに均一に割り当てられることであ
る。
【００１２】本発明の第４の目的とは、２つの量子化レ
ベルが１つのチェッカ・ボード・スタイルで複数のフレ
ームのさまざまな領域に割り当てられることである。
【００１３】本発明の第５の目的とは、４つの量子化レ
ベルが事前符号化プロセスの間に複数のフレームのさま
ざまな領域に割り当てられることである。
【００１４】本発明の第６の目的とは、ビット伝送速度
対量子化レベル曲線上の４つのポイントが作成できるよ
うに、４つの量子化レベルが複数のフレームに割り当て
られることである。
【００１５】これらの目的およびそれそれ以外の目的
は、複数のフレーム全体に渡って一様に分配された選択
済みの量子化レベルのセットに基づき、複数の未処理映
像フレームを事前符号化する方法およびシステムにより
達成される。方法およびシステムは、これら量子化レベ
ル対ビット伝送速度の統計が後で未処理映像の符号化に
使用できるように、事前符号化プロセスの間に複数のフ
レームのそれぞれの量子化レベルに対するビット伝送速
度を生成し、記録する。事前符号化プロセスで使用され
ない量子化レベルに対するビット伝送速度は、事前符号
化フェーズから既知の量子化レベルを使用して、補外す
ることができる。さらに、統計は符号化プロセスに先立
って収集されているもので、エンコーダは、後のフレー
ムのために量子化レベル対ビット伝送速度曲線により示
されるような後（将来）のニーズに基づき、未処理映像
のある特定のセクション中のさらに多くのビットまたは
さらに少ないビットを使用することに向けられる。
【００１６】即ち、本願発明では、ＭＰＥＧおよびＭＰ
ＥＧ−２のような映像技術の事前符号化フェーズの間
に、ビデオ・フレームの中の未処理の映像信号のビット
伝送速度に対する量子化レベルの特徴を決定するための
システムおよび方法を得る。
【００１７】このために、事前符号化フェーズの間、さ
まざまな量子化レベルが１つのフレームのさまざまな部
分に割り当てられてから、フレームが事前符号化され、
事前符号化フェーズで使用される量子化レベルごとにビ
ット伝送速度を決定する。実施例に応じて、量子化レベ
ルが、チェッカ・ボード・スタイル、ブロック・スタイ
ルまたはそれ以外の統計上の異型を回避する分散などの
多くの方法の内の１つで割り当てられる。方法およびシ
ステムは、複数のフレームの事前符号化を繰り返し、フ
レーム単位でビット伝送速度に対するすべての量子化レ
ベルを記録する。その後で、これらの統計は、デジタル
映像の符号化または再符号化の間に使用され、各セグメ
ントの目標品質および目標記憶領域サイズに基づき、デ
ジタル映像のあるセグメントに割り当てられるビット数
を別のセグメントに比較して制御する。その結果生じる
符号化されたデジタル映像は、コンパクト・ディスクの
ようなデジタル記憶容量媒体に記憶される。
【００１８】
【実施の形態】以下、本発明の実施の形態を図面を参照
して説明する。
【００１９】本発明は、複数の構成要素および機能アス
ペクトを備えるデジタル映像符号化システムである。シ
ステムのさまざまな構成要素をさらに容易に識別するた
めに、本明細書は、以下に示す項に編成されている。
【００２０】 Ｉ．はじめに ＩＩ．システム構成要素 ＩＩＩ．一般的なシステム動作 ＩＶ．システム代替策 Ｖ．最適符号化効率を維持しつつ、オーディオ・エンコ
ーダ数を減少する ＶＩ．符号化された映像の情報の記憶用ログ・ファイル
およびログ・ファイルと符号化された映像にアクセスす
るためのログ・インタプリタ・ユーティリティ ＶＩＩ．符号化された映像の品質の変更 Ａ．経時的に品質を変更する Ｂ．フレームの領域内で品質を変更する ＶＩＩＩ．品質変更後の映像の再符号化 Ａ．品質が単独フレーム内で変更された場合のビット割
当制御 Ｂ．編集ポイントでの復号で生じる不要物を回避しつつ
再符号化する １．最初に符号化した時点に使用した状態にエンコーダ
を復元する ２．閉鎖画像グループ・モードで再符号化する ＩＸ．符号化に使用される速度−量子化器モデリング Ｘ．データ構造を使用した音声信号、映像信号、および
サブピクチャ・デジタル信号の結合Ｉ．はじめに 開示されたシステムは、デジタル圧縮システムとも呼ば
れるデジタル・オーディオビジュアル符号化システムに
関する。この明細書に開示される考え方は、あらゆる種
類の符号化技術に有効であり、特に、正式にはＭＰＥＧ
−２システム情報、およびＭＰＥＧ−２の先行機種であ
るＭＰＥＧ−１（ＩＳＯ／ＩＥＣ １１１７２−ビデ
オ）を指定するＩＳＯ／ＩＥＣ１３８１８−２、ＩＳＯ
／ＩＥＣ１３８１８−１として知られる、ＭＰＥＧ−２
（動画像エキスパート・グループ）に適用できる。ＭＰ
ＥＧ−１およびＭＰＥＧ−２は、この明細書では集合的
に「ＭＰＥＧ」と称される。ＭＰＥＧ規格は、圧縮され
た、つまり符号化されたビデオ・ストリームの構文のみ
を指定するのではなく、圧縮がどのように実行されるの
かを指定する。ＭＰＥＧ符号化データ・ストリームが圧
縮されたデータ・ストリームであり、符号化処理は圧縮
処理と呼ばれることもあり、その逆に圧縮処理が符号化
処理と呼ばれることもある。また、本システムは、ドル
ビーＡＣ−３、つまりＩＳＯ／ＩＥＣ １３８１８−３
の中で定義されるＭＰＥＧ−２規格を利用して実行され
る音声の符号化にも関する。前記規格のそれぞれは、こ
の明細書に参考として取り入れられている。
【００２１】ＭＰＥＧビデオ圧縮は、テンポラル方向
（時相）因果関係予測圧縮（テンポラル・カジュアル・
プリディクティブ・コンプレッション）、あるいは画面
内（空間的）相関予測圧縮である。ＭＰＥＧエンコーダ
は、新しいビデオ画像を受信すると、以前に符号化した
画像に基づいてエンコーダが作成した予測画像と、その
新しいビデオ画像を比較する。「因果」予測コーディン
グというのは、以前に送信された情報に基づいて予測が
立てられるためで、「時相」因果関係予測コーディング
というのは、予測が時相画像装置の観点から実行される
ために使用されるためである。予測手順には、ビデオ画
像内の領域の動き（動き画像）の予測が含まれる。した
がって、時相予測は動き補償（動き画像補償）予測と呼
ばれることもある。
【００２２】旧画像と新画像の比較の結果は、後のビデ
オ画像に含まれる新しい情報を表す。「残余（差分）情
報」と呼ばれることもあるこの新しい情報は、次に一連
の情報短縮プロセスにさらされる。最初に、離散コサイ
ン変換（ＤＣＴ）として知られる一次数学変換が実行さ
れる。ＤＣＴ演算は、ピクセル差分情報を係数の列に変
換する。ＭＰＥＧ圧縮では、ＤＣＴは８ｘ８ピクセルの
ブロック上で実行される。同様に、ＤＣＴ係数は、数か
ら構成される８ｘ８アレイの中にも存在する。それか
ら、これらの係数は、量子化ステップ・サイズ、つまり
ｑ−レベルに基づいて、精度の設定程度に応じて個々に
量子化される。一般的には、量子化処理からは、ゼロと
いう値の多くの係数が生まれる。この量子化処理が符号
化物を導くための主な原因であり、それ以外は量子化ノ
イズと言われる。
【００２３】量子化された係数は、次に、ゼロ値の係数
に関するラン・レングス・コーディングと、それぞれが
ラン・レングス値とゼロ以外の係数値を表した結果とし
て生じている２つの数のペアの可変長コーディングと、
の組み合わせを使用し、コード化される。これらのラン
・レングス非零値ペアは、他のオーバヘッド情報ととも
に、ビデオ画像に対応する圧縮されたデジタル・データ
・ストリームを形成する。出力データ転送速度や記憶領
域の容量などの物理的な制限のため、適切な量の圧縮が
達成されるように、量子化の程度を変化させる必要があ
る。これがバッファ・フィードバックと呼ばれる。
【００２４】ＭＰＥＧ準拠型デコーダは、符号化された
デジタル・データ・ストリームを読み取り、符号化プロ
セスと反対の動作を実行する。
【００２５】一般的には、デジタル・データ・ストリー
ム中のデータの総数は、実際にはビデオ画像を表すのに
必要となるビット総数より少ないため、圧縮が達成され
る。しかしながら、ＭＰＥＧビデオ・コーディングによ
り例証されるような圧縮が、決して歪みや複合的に生じ
る不要物を免れているわけではないことを認識するのが
重要である。前述したように、圧縮による不要物の発生
の主要な原因は、量子化プロセスである。
【００２６】開示されたシステムは、圧縮、つまり符号
化プロセスの間の量子化の程度を動的に調整することを
目的とする。特に、調整は、人間のオペレータが出す命
令に従って行われる。調整は、さらに大規模なビデオ・
シーケンスの一部や、ビデオ・シーケンス全体に適用で
きる可能性をもつものである。
【００２７】ＩＩ．システム構成要素 ここで、図面を参照する。図面を通じて同様な参照番号
は、同一部分あるいは対応する部分を示し、特に図１に
はエンコーダ・システム・アーキテクチャのブロック図
が示される。映像符号化プロセスは、割込みやエラーを
起こさずに符号化および編集を達成するために、同期し
て動作する多くの異なるデバイスを必要とする複雑なプ
ロセスであることに注意すべきである。しかしながら、
適切なタイムコードが使用されていれば、音声符号化と
映像符号化は別個に実行できる。図１では４台のワーク
ステーションが示されているが、通例、符号化システム
のユーザまたはオペレータは、キーボードおよびワーク
ステーションのみと対話する。ワークステーションは、
プロセッサ、ＲＡＭ、ＲＯＭ、ネットワーク・インタフ
ェース、ハードディスク、キーボード、モニタ、および
その他の従来の構成要素のような汎用コンピュータ構成
要素を具備する。
【００２８】ワークステーション３０は、サンＳＰＡＲ
Ｃ２０ユニックス（Ｓｕｎ ＳＰＡＲＣ２０ Ｕｎｉ
ｘ）ワークステーションである、システム制御ステーシ
ョンとして機能する。ワークステーション３０は、キー
ボード３２、およびマウスまたはそれ以外のポインティ
ング・デバイスであるポインティング・デバイス３３の
ような従来のワークステーション入力装置だけではな
く、グラフィック・コンソール・ディスプレイ・モニタ
３１も備える。ユーザは、おもにコンソール・ディスプ
レイ３１上に表示されるグラフィック・ユーザ・インタ
フェース（ＧＵＩ）を通して、視覚的にワークステーシ
ョン３０と対話する。
【００２９】ワークステーション３０は、以下に説明す
る他のワークステーション４０、１０、２０に接続さ
れ、これらを制御する。ワークステーション３０は、ま
た以下に説明するオーディオ・インタフェース装置７２
およびデジタル映像捕捉記憶装置６０とも通信を行う。
ワークステーション３０は、電子機械工業会規格のＲＳ
−２３２により定義される直列インタフェースを介し
て、ワークステーション４０に接続される。同様に、ワ
ークステーション３０とオーディオ・インタフェース装
置７２も、直列ＲＳ−２３２規格によって接続される。
ワークステーション３０とデジタル映像捕捉記憶装置６
０は、業界規格のＳ−バス・インタフェースを介して接
続される。
【００３０】フレーム合わせ装置４１がワークステーシ
ョン４０に接続され、オペレータが、ＶＴＲ５１または
５２のどちらかを編集の実行場所への配置を可能とし、
フレームを揃えるための装置である。システムは、オペ
レータにより入力されたタイムコードを使用し、ビデオ
の位置を制御する機能を持つ。ただし、ジョグ制御装置
は、ビデオの配置にジョグ・ノブを使用できるようにし
て、システムのユーザ・フレンドリ度を上げている。ワ
ークステーション３０は、ビデオ・ディスプレイ・モニ
タ６１に表示されるビデオが、デジタル・ビデオ捕捉記
憶装置６０または録画ＶＴＲ５２あるいはその両方から
なのかを制御する。
【００３１】映像符号化装置５０は、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、またはそれ以外の映像圧縮規格に従い圧縮
を実行するデジタル・ビデオ・エンコーダである。市販
されているＭＰＥＧ−１エンコーダは、ソニーのＲＴＥ
−３０００である。ＭＰＥＧ−２エンコーダは、参照に
より本書に取り入れられた、１９９４年１２月２７日に
提出された日本の特許明細書、特願平６−３２６４３５
に規定される内容に従い構築することができる。ワーク
ステーション１０は、直接、業界規格Ｓ−バス・インタ
フェースを介して映像符号化装置５０を制御し、ワーク
ステーション１０は、イーサネット・ネットワークのよ
うな標準ネットワーキング装置を介してワークステーシ
ョン３０からコマンドを受け取る。符号化プロセスの
間、ワークステーション１０は、映像符号化装置５０の
映像符号化制御プログラムのリアルタイム実行をサポー
トする。実施例では、ワークステーション１０は、サ
ン、スパーク２０ユニックス・ワークステーション（Su
n SPARC20 Unix worakstation)である。
【００３２】ワークステーション１０は、集中ワークス
テーション３０からのコマンドに応答し、圧縮プロセス
を開始する。圧縮プロセスの間、ワークステーション１
０は映像信号の特定の領域に適用される量子化の程度を
動的に制御する。量子化が変化する特定領域は、空間領
域または時相領域あるいはその両方にまたがり、量子化
を制御する正確なやり方については以下に説明する。
【００３３】映像符号化装置５０に入力される映像は、
再生ＶＴＲ５１の中のテープの映像である。再生ＶＴＲ
５１は、専門デジタル・ビデオ規格、（正式には、ＣＣ
ＩＲ６０１ビデオ規格として知られる）ＩＴＵ−Ｒ ６
０１ビデオ・テープ・プレーヤーである。この規格は、
ＰＡＬシステムだけではなくＮＴＳＣにも適用される。
再生ＶＴＲ５１の中には、ビデオ・カメラやフィルム・
カメラを使用して収集捕捉された、あるいはコンピュー
タにより作成されたさまざまなイメージおよびシーンを
表す電磁気情報が記憶される。再生ＶＴＲ５１は、ワー
クステーション４０の制御のもとで動作する。映像符号
化装置からの符号化済みの出力は、任意の数でなるハー
ドディスク２１装置で記憶するためにワークステーショ
ン２０に転送される。
【００３４】映像符号化装置５０により符号化され、出
力されたビデオ・データを表示するために、ＭＰＥＧ−
２デコーダのようなデジタル・ビデオ・デコーダが必要
である。ただし、本明細書が記述されている時点では、
実現されたシステムには、別個のＭＰＥＧ−２デコーダ
は実装されていない。これは、このようなデコーダが、
システムの初期開発段階では容易に入手できないためで
ある。したがって、映像符号化装置５０が、ＭＰＥＧ−
２ビデオ・ストリームをワークステーション２０に出力
するだけではなく、ＭＰＥＧ−２符号化データに相当す
る復号化されたビデオ・イメージが、映像符号化デバイ
ス５０から録画ＶＴＲ５２に出力される。録画ＶＴＲ５
２は、Ｄ１インタフェースとして知られる業界規格のデ
ジタル映像信号コネクタにより映像符号化装置５０に接
続され、ワークステーション４０により制御される。再
生ＶＴＲ５１および録画ＶＴＲ５２の両方とも、Ａｍｐ
ｅｘ ＤＣＴ職業用ビデオ・テープ・レコーダを使用し
て適切に実現される。
【００３５】音声は、例えばドルビーＡＣ−３フォーマ
ット、つまりＩＳＯ／ＩＥＣ１３８１８−３規格に記述
されるようなＭＰＥＧ−２に準拠したフォーマットに符
号化され、圧縮される。符号化システムのオーディオ・
ソースは、４台のデジタル・オーディオ・テープ（ＤＡ
Ｔ）プレーヤー７１ａ、７１ｂ、７１ｃ、および７１ｄ
である。スタジオ品質のＤＡＴプレーヤーはソニーが販
売している。ＤＡＴプレーヤー７１ａ〜７１ｄは、ワー
クステーション４０により業界規格ＲＳ−４２２を介し
て接続され、制御される。ＤＡＴプレーヤー７１ａ〜７
１ｄにより出力される音声信号は、それぞれオーディオ
・エンコーダ７０ａ、７０ｂ，７０ｃ、および７０ｄに
入力される。これらのオーディオ・エンコーダは、市販
されているドルビーＡＣ−３型ＤＰ５２５エンコーダを
使用し実現され、オーディオ・インタフェース装置７２
により制御される。通常、音声符号化は、指定されたタ
イムコードで開始し、終了する。オーディオ・インタフ
ェース装置７２は、ワークステーション３０からその間
のＲＳ−２３２接続上でワークステーション３０からの
開始および終了タイムコードの符号化などの命令を受け
取る。さらに、オーディオ・インタフェース装置７２
は、さまざまなデジタル圧縮された音声データをワーク
ステーション２０に送信される単独デジタル・ストリー
ムに多重化する。ワークステーション２０は、入力され
たデジタル・オーディオ・ストリームを、音声符号化装
置７０により出力される圧縮済みデジタル・データに対
応する複数のファイルに多重分離する。映像符号化装置
５０は、その映像同期信号に基づく同期信号を、オーデ
ィオ・インタフェース装置７２に提供する。この同期信
号によって、音声ビットストリームは、映像符号化装置
５０により出力されるビデオ・ビットストリームに同期
できるようになる。
【００３６】ワークステーション３０は、さまざまな音
声符号化装置７０ａ〜７０ｄのどれか１つからの音声デ
ータの複写データを、オーディオ・デコーダ７３に提供
するようにオーディオ・インタフェース装置７２に命令
する機能を持つ。オーディオ・デコーダ７３は、ユーザ
がスピーカー７５を使用して音声を聞くことができるよ
うに、圧縮された音声を復号する。どの音声符号化装置
をモニタするのかの選択は、キーボード３２かポインテ
ィング・デバイス３３のどちらかを介してコンソール表
示部３１でのグラフィック・ユーザ・インタフェースと
の対話によって人間のオペレータが行う。オーディオ・
インタフェース装置７２の構成は、前記機能を実行する
機能を持つハードウェアである。このハードウェアは、
任意の数のプログラムされたマイクロプロセッサ、また
は開示された機能を実行するために配列された従来の回
路要素あるいはその両方である。
【００３７】ワークステーション４０は、スタジオ設備
の制御ステーションであり、録画ビデオ・テープ・プレ
ーヤーだけではなく、再生ビデオ・テープ・レコーダ５
１およびデジタル・オーディオ・テープ・プレーヤー７
１ａ〜７１ｄの両方を制御するために適切なコマンドを
発行する。また、ワークステーション４０は、デジタル
映像捕捉記憶装置６０に、適時に映像の捕捉を開始する
ように命令する。ワークステーション４０とさまざまな
ビデオ・テープ・デッキおよびオーディオ・テープ・デ
ッキは、業界規格ＲＳ−４２２プロトコルにより接続さ
れる。このプロトコルを使用することにより、各テープ
・デッキは、標準タイムコード・フォーマットでその現
在のテープ・ロケーションをワークステーション４０に
知らせることができるようになる。ワークステーション
４０はこのような情報を使用し、映像情報および音声情
報が正しくプレイされ、記録されるように、さまざまな
テープ・デッキを適切に同期させるようにする。この実
施の形態において、ワークステーション４０は、ＤＯＳ
およびカリフォルニア州、モアパークの編集技術社（Ｅ
ｄｉｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｒ
ｐ．）が市販するＥｎｓｅｍｂｌｅ Ｐｒｏを動作する
標準ＩＢＭ互換パソコンである。ワークステーション３
０が、ＲＳ−２３２通信ポートを介してワークステーシ
ョン４０で実行中のＥｎｓｅｍｂｌｅ Ｐｒｏと通信で
きるように、Ｅｎｓｅｍｂｌｅ Ｐｒｏにマイナーな修
正が加えられたことに注記する。この修正は、むしろ編
集技術社から購入可能であるか、あるいは過度の実験を
行わなくても当業者により実行可能である。
【００３８】デジタル映像捕捉記憶装置６０は、符号化
システムの中で２つの機能を果たす。第１に、このデバ
イスは、その捕捉記憶機能を使用し、映像信号に適用さ
れていた手動編集の便利な「前後」比較を実現し、第２
に、ビデオ・ディスプレイにグラフィック・オーバレイ
機能を提供する。このグラフィック・オーバレイ機能
は、空間手動編集フェーズなどの期間に使用され、人間
のオペレータが、量子化、およびその結果割り当てられ
るビット数が変化する関心のある領域を定義できるよう
にする。
【００３９】本発明においては、デジタル映像捕捉記憶
装置６０は、カリフォルニア州、マウンテン・ビューに
あるビューグラフィックス社（Ｖｉｅｗｇｒａｐｈｉｃ
ｓ）により市販されている製品ＶＳ６０００型として実
現される。このデバイスに対するデジタル・ビデオ入力
は、ＩＴＵ−Ｒ−６０１（以前のＣＣＩＲ６０１）イメ
ージ解像度を備える業界規格により行われる。デジタル
・ビデオ捕捉記憶装置６０は、映像信号の赤、緑、およ
び青の構成要素を表す３つのアナログ信号を通して、ビ
デオ・ディスプレイ・モニタ６１に接続される。グラフ
ィックス・オーバレイ情報は、デジタル映像捕捉記憶装
置６０により出力される最終的なアナログ信号が作成さ
れる前に、デジタル映像捕捉記憶装置６０により処理さ
れるため、人間のオペレータはビデオ・ディスプレイ・
モニタ６１上でそれ以外のビデオ・データとともに見る
ことができる。
【００４０】ユニックス環境で実行中のワークステーシ
ョン３０は、デジタル映像捕捉記憶装置６０を利用し
て、そのグラフィックス・ウィンドウをビデオ・ディス
プレイ・モニタ６１上にマップする。これにより、利用
者であるオペレータは、モニタ６１に示される表示のグ
ラフィックス・オーバレイ平面上で（矩形の描画のよう
な）グラフィックス動作を実行できる。装置６０は、オ
ーバレイ機能を実現する。オーバレイは、メモリ内の情
報が、モニタを駆動するアナログ映像信号に変換される
前にビデオ・メモリの中で実行される。システムが利用
するＶＳ６０００では、８ビットのメモリ平面がビデオ
・メモリのいちばん上にある。この８ビット平面上で
は、コンピュータは任意のカラーグラフィックスおよび
テキストを描画することができる。この８ビット平面で
の「カラー」の１つは、透明色である。この透明色を持
つオーバレイ平面上のピクセルには、その下にあるビデ
オ・メモリの値が与えられる。一般的には、オーバレイ
平面の大部分は、透明色で塗りつぶされ、（線、テキス
トなどの）グラフィックスには透明以外の色が使用され
る。したがって、ビデオ・メモリおよびオーバレイ・グ
ラフィックス・メモリの両方から成るディスプレイ・メ
モリが形成されている。モニタ６１上での表示のため
に、最終的にアナログ信号に変換されるのがディスプレ
イ・メモリである。使用者であるオペレータは、通常、
キーボード３２と結び付いたポインティング・デバイス
３３を使用し、このようなグラフィックス動作、および
このようにして作成されたグラフィックス・オブジェク
トの操作を実行する。
【００４１】ワークステーション２０は、オーディオ・
インタフェース装置７２だけではなく映像符号化装置５
０からのデジタル・データ・ストリームをも受け取る。
ワークステーション２０は、イーサネット接続によりワ
ークステーション３０に接続され、ワークステーション
２０も、業界規格Ｓ−バス・インタフェースを介して映
像符号化装置５０およびオーディオ・インタフェース装
置７２に接続される。受け取られたデジタル・データ・
ストリームは、別個のデータ・ファイルとして任意の数
のハードディスク２１の中に記憶される。捕捉されたデ
ジタル・ストリーム・データをハードディスク２１に転
送する際には、別個のダイレクト・メモリ・アクセス
（ＤＭＡ）カードが使用される。大量のデジタル・デー
タが生じる結果となる長いビデオ・シーケンスの場合、
ハードディスク２１は、サン・マイクロシステムズ社の
ＳＰＡＲＣｓｔｏｒａｇｅアレイＸ６５５Ａ／Ｇ５のよ
うな市販されているハードディスクを利用して実装され
る。本実施例では、ワークステーション２０は、サン・
マイクロシステムズ社が市販しているＳＰＡＲＣｓｅｒ
ｖｅｒ １０００である。
【００４２】また、ワークステーション２０は、映像圧
縮データおよび音声圧縮データに対応するデータ・ファ
イルを、復号化装置への移送または送信に適したシング
ル・フォーマット・ファイルにフォーマットする。最終
的な媒体は、ディスク・ベースであるのが望ましい。そ
の場合、フォーマット処理は関連する適切なディスク・
フォーマットに準じて行われる。通常、フォーマットさ
れたファイルは、デジタル・テープのような、なんらか
の中間デジタル記憶媒体により、１つのまたは複数の最
終的な送信媒体への転送が行われる段階の設備部分に移
送される。図示されているデジタル記憶装置２２は、市
販されている８ｍｍのＥｘａｂｙｔｅテープ・ドライブ
を具備する。デジタル記憶装置２２のインタフェース
は、業界規格の小型コンピュータ用周辺機器インタフェ
ース（ＳＣＳＩ）である。
【００４３】複数のＳＣＳＩデバイスを同じ１つのＳＣ
ＳＩバスに接続できることは周知である。したがって、
デジタル記憶装置２２は、デジタル・リニア・テープ
（ＤＬＴ）ドライブ、磁気光学（ＭＯ）ディスク・ドラ
イブ、またはフロッピー・ディスク・ドライブのような
それ以外のＳＣＳＩデバイスを具備する。これらの構成
は容易に適用、収納され、フォーマット処理の段階の前
または間に必要となる可能性がある補助データ用の柔軟
性のある入力機構として有効となる。例えば、映画の製
作では、字幕スーパーの情報は、大部分の場合、前記Ｓ
ＣＳＩデバイスの１つを必要とする媒体で入手できる。
このような場合、補助データは、フォーマットされたフ
ァイルの中に格納されるように、ワークステーション２
０で実行中のソフトウェア・プログラムで読み取られ、
操作される。補助データは、米国の視聴覚障害者向けの
フォーマットを取る字幕データを含む場合がある。補助
データには、プログラム・コードやポストスクリプト・
データのような任意の希望されるデータを含むことがで
きる。
【００４４】図２は、図１のシステムに対応し、図１の
システムと同じように機能するオーディオ／ビジュアル
符号化システム９８を示している。図２では、符号化シ
ステムへのビデオ入力が入力装置としてのカメラ８０か
ら行われ、音声は入力装置としてのマイク８２から入力
される。視覚情報およびおそらく音声情報を含む映画フ
ィルムは、フィルムを照明するためのライト１個および
フィルムからイメージを捕捉するための光検出装置１台
を具備する入力装置としての転送装置８８を介して符号
化システム９８に転送される。入力装置８０、８２およ
び８８からの情報は、オーディオ・テープ・レコーダや
ビデオ・テープ・レコーダのような符号化システム９８
により符号化される前に電磁フォーマットで記憶され
る。オーディオ・テープおよびビデオ・テープは、図１
のシステムにより符号化される。
【００４５】符号化システムにより作成される最終デジ
タル・ビットストリームは、光ディスクをプレスして作
る光ディスク・マスタリング装置９０、光ディスクを書
き込む光ディスク・ライタ８４に送られるか、テレビジ
ョン送信機８６を介してテレビジョン受信機またはセッ
ト・トップ ボックス・デコーダに送信できる。光ディ
スクのプレス加工および作成は、マスタ・ディスクなど
を使用する既知の商業的に利用可能な方法で実行され
る。符号化された情報は、ビデオ・オン・デマンド・シ
ステムでも使用できる。符号化されたビットストリーム
は、符号化プロセスに対応する復号化プロセスにより最
終的に復号化され、そのオーディオビジュアル情報はテ
レビまたはモニタ上でユーザに表示される。復号化装置
は、テレビまたはモニタ上で表示するために符号化情報
を記憶したディスクを再生し、再生データを復号化する
デジタル・ビデオ・ディスク・プレーヤーを具備する。
【００４６】図２から、符号化システムが音声およびイ
メージを表す電気情報を入力し、電気信号を新しいフォ
ーマットに変換し、最終的に信号が復号化され、符号化
された元の情報を再生することは明かである。
【００４７】ＩＩＩ．システム動作 図３は、図１に示されるシステムの一般的な動作を図解
したフローチャートである。図３に示されるように、シ
ステムは、その動作のサイクルの間に複数の「状態」を
通過する。太い実線は正常な動作経路を示し、実線は割
込み終了経路を示し、破線はバイパス経路を図解する。
【００４８】システムによる第１の動作は、セットアッ
プ状態１００で発生する。このステップにより、圧縮状
態１０２に入る前に入力パラメータが指定できるように
なる。圧縮状態１０２では、再生ＶＴＲ５１のテープに
記憶されるビデオ・イメージが、映像符号化装置５０に
よるデジタル圧縮形式に符号化される。
【００４９】圧縮状態１０２の後、ユーザは、編集状態
１０４で以前に圧縮されたデータの画質に基づいて圧縮
プロセスを手動で編集できる。これにより、ユーザは経
時的にビデオのフレームの領域内の画質を引き上げた
り、あるいは画質を下げたりできる。「編集」という用
語が、シーン自体をピクチャ・ストリームに追加または
ピクチャ・ストリームから削除するという意味ではない
ことを注記すべきである。本明細書では、「編集」とい
う用語は、量子化、ひいては映像の質の変更を意味す
る。イメージが編集状態１０４で編集されてから、新し
いユーザ指定パラメータに従いデータを符号化するため
に、圧縮状態１０２で圧縮動作を再び実行することが必
要である。
【００５０】ユーザが編集された形式の映像に満足した
後で、音声、映像、および字幕のようなそれ以外の情報
を含むすべての情報が、フォーマット状態１０６で希望
のフォーマットに結合される。完了状態１０８は一時フ
ァイルおよび終了状態１１０でのプロセスの終了を消去
する。図３に示される個々の状態に関するさらに詳細な
情報は、図４〜図７で説明する。
【００５１】図４は、セットアップ状態１００で実行さ
れるステップを示している。ステップ１２０ではセット
アップ状態を開始し、ステップ１２２でシステムの初期
化が行われる。このステップでは、ワークステーション
３０の中に実装されるシステム制御ソフトウェアの実行
が開始され、それ以外に、コンソール・ディスプレイ３
１に表示され、かつキーボード３２やポインティング・
デバイス３３を介して入力したパラメータを持つグラフ
ィック・ユーザ・インタフェース（ＧＵＩ）プログラム
のようなプログラムが起動される。また、ステップ１２
２の間、ワークステーション３０内のシステム制御装置
ソフトウェアは、他のデバイスに照会し、システムで用
いるデバイスを含むシステム状況を作るために、他のデ
バイスも要求する。
【００５２】ステップ１２４は、ＧＵＩを介してユーザ
に情報を表示する。歓迎メッセージ、システムに関係す
る情報、符号化プログラムに使用されるパラメータ、お
よび過去に符号化されたすべてのファイルの存在が表示
される。表示されるシステム情報には、オーディオ・エ
ンコーダ、ＶＴＲ、オーディオ・テープ・デッキ、およ
びその構成を含むシステムに接続されるデバイスが含ま
れる。システムが以前に符号化されたファイルを格納す
る場合、情報がユーザに表示され、ファイルを作成する
ために使用された音声符号化パラメータおよび映像符号
化パラメータを記述する。
【００５３】その後で、ステップ１２６は、標準システ
ム・パラメータまたはユーザ指定システム・パラメータ
を使用して符号化を開始するためのコマンド、システム
・パラメータの変更、または選択されたパラメータが受
入れ可能であるという確認などのユーザからの情報を入
力する。また、ユーザは、符号化動作の開始タイムコー
ドおよび終了タイムコードも入力する。
【００５４】それから、ステップ１２８は、符号化およ
び圧縮動作に備えるために、グラフィック・ユーザ・イ
ンタフェースから入力されたデータをシステム制御装置
ソフトウェアに転送することにより、入力データを処理
する。セットアップ状態は、ステップ１３０で終了す
る。
【００５５】図５は、圧縮状態１０２で実行されるプロ
セスを示している。正常な操作フローに従うと、ユーザ
は、すでに、セットアップ状態で圧縮される映像および
付随音声を指定している。その次に、ユーザはシステム
に自動手順または自動圧縮手順を実行するように命令し
なければならない。自動圧縮手順の間の映像圧縮では、
ユーザは、経時的にまたはフレームやビデオの中で動的
量子化プロセスを制御することはできない。映像圧縮
は、符号化決定が、映像符号化装置５０により計算され
る客観的な基準に基づいて下される初期圧縮実行として
意図されている。自動圧縮がすでに実行された場合に
は、ユーザは、空間的（フレームまたはビデオ上で）ま
たは時相的（ビデオ・シーケンスで）のどちらかで編集
圧縮モードの量子化を手動で調整できる。
【００５６】圧縮状態においては、ステップ１４０で開
始した後、ステップ１４２で圧縮動作が準備される。こ
の動作では、圧縮パラメータとともに圧縮される映像お
よび付随音声のタイムコードのような圧縮プロセス用の
パラメータが、ワークステーション１０を介してワーク
ステーション３０から映像符号化装置５０にダウンロー
ドされる。
【００５７】その後で、ステップ１４４で、希望される
圧縮のタイプを決定する。最初に情報が圧縮されると
き、圧縮プロセスは自動的に、かつユーザの介入を受け
ずに実行される。ステップ１４６では、自動圧縮プロセ
スが準備される。この準備の間、ワークステーション３
０は、デジタル・オーディオ・テープ・プレーヤー７１
ａ〜７１ｄおよび関連する音声符号化装置７０ａ〜７０
ｄの内のどれを使用するのかを決定する。また、ワーク
ステーション３０は、ワークステーション２０に、オー
ディオ・インタフェース装置７２を介して、映像符号化
装置５０およびオーディオ・エンコーダ７０ａ〜７０ｄ
の出力からビットストリーム捕捉に備えるように命令す
る。さらに、再生ＶＴＲ５１、録画ＶＴＲ５２およびＤ
ＡＴプレーヤー７１ａ〜７１ｄがテープの適切な開始位
置まで進められる。それから、ワークステーション４０
が再生ビデオ・テープ・レコーダ、レコード・テープ・
レコーダ５２、およびＤＡＴプレーヤー７１ａ〜７１ｄ
にステップ１４８で進みを始めるように知らせる。次
に、ステップ１５０では、映像符号化装置５０を使用し
て、ＭＰＥＧ−１またはＭＰＥＧ−２フォーマットのよ
うな希望のフォーマットに従って映像データが符号化さ
れる。また、音声データは、ドルビーＡＣ−３フォーマ
ットのような希望のフォーマットに従って符号化され
る。後で手動編集プロセスの中で役立てるためにログ・
ファイルを作成する必要がある。ログ・ファイルは、後
で、映像データの編集を実行するために必要となる符号
化されたビデオ・データのパラメータを示すものであ
る。符号化プロセスは、適切なタイムコードに到達する
と、ステップ１６０で停止する。このタイムコードが、
符号化される情報の最後である場合もあれば、ビデオ・
シーケンスの最後にはないユーザ指定ポイントにある場
合もある。
【００５８】ステップ１４４が自動圧縮プロセスをすで
に実行し、ユーザが以下の図６に関して説明される編集
状態の間に指定されるパラメータを使用してビデオの任
意の数のフレームの画質を手動で変更することを希望す
る場合、ステップ１４４は、編集圧縮動作を実行する必
要があると判断する。ステップ１５２は、手動編集開始
点である希望の開始点に、再生ＶＴＲ５１への合図を出
すことを含む編集圧縮動作に備える。また、音声装置
は、音声情報がいったん自動圧縮動作で符号化されると
変更される必要がないため、ディスエーブルされる。次
に、ステップ１５４で、再生ＶＴＲ５１および録画ＶＴ
Ｒ５２が再生、記録へ進む。
【００５９】ステップ１５６は、後の図６で説明される
編集状態でユーザにより指定されたパラメータに従い、
ビデオ・データの符号化を開始する。編集圧縮は、編集
タイムコードに到達すると、ステップ１６０で終了す
る。ステップ１６２では、圧縮および符号化が完了した
旨のメッセージがユーザに表示され、プロセスはステッ
プ１６４で終了する。
【００６０】図６は、編集状態１０４で実行されるプロ
セスを示している。前述したように、参照される編集と
は、シーンを削除、短縮、またはビデオ・シーケンス内
で移動する映像の従来の編集ではない。本発明の書込み
での編集状態とは、映像の量子化を手動で設定すること
により、映像の一部、つまりタイム・シーケンスの質を
変更することを指す。
【００６１】ステップ１７０で編集状態が開始されてか
ら、ステップ１７２で、ユーザは、符号化された映像の
ビット割当（ビット速度）を変更することにより、映像
を手動で変更するかどうかを問われる。ユーザがビット
割当の変更を希望しない場合、プロセスはステップ１８
８で終了する。ユーザがビット割当を希望する場合は、
ユーザはステップ１７４で編集するビデオ・セグメント
を限定する。これは、画質を変更する映像の時間期間を
選択することにより実行される。次に、ステップ１７６
で、ユーザが空間編集（画面内編集）を希望するか、時
相編集（複数フィールドを渡っての編集）を希望するの
かを判断する。空間編集とは、ビットの量子化、つまり
割当がビデオのあるフレームの中で変更される場合であ
り、時相（テンポラル）編集とは、ビットの量子化、つ
まり割当が経時的に変更される場合である。ユーザが空
間編集を選択すると、フローはステップ１７８に進み、
編集対象のフレーム内の領域が入力される。また、適用
される変更の相対的な程度も入力される。本発明の場
合、ゼロを含む−５から＋５の整数スケールが使用さ
れ、変更の相対量が示される。ユーザは、キーボード３
３またはポインティング・デバイス３３、あるいはその
両方でビデオの範囲をマークし、−５から＋５の間のお
よび−５から＋５を含む整数の内の１つを割り当てる。
また、ユーザが、ある領域に以前に設定された量子化を
変更する必要がない旨を示すことも可能である。例え
ば、ユーザがある領域のビット割当の増加を希望する場
合、他の領域のビット割当を引き下げる必要がある。ユ
ーザが、領域を、「保護」とも呼ばれる変更不能に設定
する場合、画質が改善された領域のために必要なビット
は保護領域から採取されない。
【００６２】ステップ１７６が、ユーザが時相編集を希
望すると判断すると、フローは、時間期間の編集方法が
入力されるステップ１８０に進む。空間編集と同様に、
時相編集の場合、ユーザは、ビデオのある特定のシーケ
ンスに適用される変更の相対程度を示す−５と＋５の間
の整数を割り当てる。変更は、選択された時間期間全体
の間有効となる。
【００６３】空間編集または時相編集のどちらかがステ
ップ１７８およびステップ１８０で実行された後、ステ
ップ１８２が、手動で入力されたパラメータに従い、ビ
デオ・シーンをＭＰＥＧ−２フォーマットなどに再符号
化および再圧縮する。以前に符号化されたデータは、ユ
ーザが画質がどのように変化したのかを詳しく比較でき
るように、ビデオ・ディスプレイ・モニタ６１で新規に
編集されたデータの隣に表示される。
【００６４】オペレータが編集対象のセグメントを表示
すると、ＶＴＲ５２の映像は記憶装置６０に転送され、
記憶装置６０内で利用可能な総メモリの大半を占有す
る。そのセグメントが「前」のセグメントに相当する。
編集・圧縮プロセスの間、ビットストリームはワークス
テーション２０により捕捉され、マスタ・ビデオ・ビッ
トストリーム・ファイルから別個のディスク・ファイル
として記憶される。マスタ・ビデオ・ビットストリーム
・ファイルとは、映画全体の圧縮ビットストリームであ
る。編集圧縮された映像は、ＶＴＲ５２で録画される。
符号化プロセスの間、オペレータは、画像がＶＴＲ５２
で録画されているのと同時に画像を見る。オペレータが
符号化の後の画像を見たいと希望する場合には、ＶＴＲ
は再生機械として利用される。オペレータが「前と後」
の比較を実行する場合、ＶＴＲ５２からの対応するセグ
メントが記憶装置６０に転送され、装置６０の総メモリ
の残り半分まで消費する。
【００６５】この編集後、オペレータは、変更された映
像を保存するかどうかに関して決定を下す。オペレータ
が「後」セグメントの無視を決定すると、マスタ・ビッ
トストリームはそのまま残され、編集圧縮されたビット
ストリームが削除される。ＶＴＲ５２がマスタ・ビット
ストリームを反映できるようにするため、「前」セグメ
ントの記録という目的だけのために、編集済みセグメン
トに対してさらに自動圧縮を実行する。「前」セグメン
トをＶＴＲ５２に転送して戻すためにデバイス６０を使
用するという代替策も可能である。オペレータが「後」
セグメントの保存を決定すると、マスタ・ビットストリ
ーム・ファイルは、以下に説明するように、編集・圧縮
済みビット・ストリーム・ファイルを含むように更新し
なければならない。
【００６６】ユーザが、ステップ１８４でその映像が受
入れ可能であると判断すると、以前に符号化されたデー
タは新規に符号化されたデータで置換される。このステ
ップは、さらに詳しく以下の別個の項で説明される。新
規に符号化されたデータが以前に符号化されたデータを
置換した後、ステップ１９２は、ユーザがさらに編集を
希望するかどうかを判断する。さらに編集が希望される
場合は、フローはステップ１７４に戻る。ユーザがビデ
オ編集を終了すると、フローはステップ１８８に進み、
編集状態が終了する。
【００６７】ユーザが、ステップ１８４でその映像が受
け入れられないと判断する場合、ユーザは、編集の変更
が記録されないか、あるいはユーザが映像を編集し直す
ことができるように、ステップ１８６で編集動作を終了
する。映像は、編集時に新規パラメータを選択するユー
ザにより編集し直される。ユーザが希望する場合には、
編集対象の新しいビデオ・セグメントを限定することも
できる。
【００６８】ユーザが圧縮（自動圧縮だけ、または編集
圧縮に関係した自動圧縮のどちらか）で満足すると、圧
縮映像、圧縮音声、およびそれ以外のあらゆるファイル
を含む個々のデータ・ファイルが、最終フォーマットへ
のフォーマット処理の準備を完了し、フォーマット状態
１０６に入る。補助データには、最終的にフォーマット
処理されるデータ・ファイルに入れられる字幕のような
情報が含まれる場合がある。図７に示されるフローチャ
ートでは、ステップ２００でのフォーマット状態の開始
後、ユーザが補助データを入れることを決定した場合、
ワークステーション２０は、フロッピー・ディスク・ド
ライブの中のフロッピー・ディスクなどを含むデジタル
記憶装置２２から、補助データを読み取る。その後で、
ステップ２４０では、補助データを符号化された音声お
よび映像と結合し、最終的にフォーマット処理されたフ
ァイルを作成する。システムにより生成される最終デジ
タル・ビットストリームは、ＩＳＯ／ＩＥＣ １３８１
８−１に定義される「プログラム・ストリーム」として
構築される。代わりに、最終ビットストリームが、直接
衛星ＤＳＳフォーマット、光ディスク上での使用に適し
たＶＢＲ（可変ビット伝送速度）フォーマットのような
任意のタイプのフォーマットであったり、それ以外のタ
イプのフォーマットである場合がある。符号化された映
像および音声が別々に記憶されるので、システムは、同
じ符号化された映像および音声を別の最終フォーマット
に符号化できるようにする。これは、さまざまなフォー
マットを作成する機能を備えた１台のフォーマット手段
または別個の複数のフォーマット手段のどちらかを使用
することにより達成される。ステップ２０６ではフォー
マット化されたファイルをディスク２１に記録する。
【００６９】ステップ２０８で完了状態に入り、フォー
マット処理されたファイルが、ステップ２１０でデジタ
ル記憶装置２２の中のテープに書き込まれる。その後、
ステップ２１２の終了状態に入り、必要のなくなった一
時ファイルを削除するさまざまな「ハウス・クリーニン
グ」機能が実行される。圧縮プロセス終了前のような異
常な終了要求が発生した場合、オーディオ・テープ・プ
レーヤーおよびビデオ・テープ・プレーヤーを停止する
だけではなく、おそらく破壊されてしまったデータ・フ
ァイルも削除するワークステーション３０の中で、打ち
切り手順が実行される。その後で、プロセスはステップ
２１６で終了する。
【００７０】ＩＶ．システム代替策 実施例の構成要素およびその動作は前述したとおりで、
言うまでもなく代替ハードウェアは、図１および図２に
開示されるハードウェアの代わりとなる場合がある。映
像符号化装置５０は、利用できる場合には、ＭＰＥＧ−
２ビデオ・エンコーダであるのが望ましい。ただし、Ｍ
ＰＥＧ−１ビデオ・エンコーダとしても知られる市販さ
れているＩＳＯ／ＩＥＣ １１７２−ビデオ標準エンコ
ーダを使用できる。ＭＰＥＧ−１エンコーダに必要な改
良を行い、ＭＰＥＧ−１バッファ管理モジュールが、ワ
ークステーション１０のような外部ソースから制御でき
るようにする必要がある。さらに、入力映像サポート
も、ＩＴＵ−Ｒ ６０１（正式にはＣＣＩＲ ６０１）
解像度ビデオを具備するように、強化されなければなら
ない。このような改良策は、過度の実験を行わなくても
デジタル映像符号化の当業者により実施できる。
【００７１】図１には、４台のオーディオ・テープ・プ
レーヤーおよび４台のオーディオ・エンコーダが示され
たが、音響システムにはそれ以外の構成も容易に採用す
ることができる。例えば、複数のＤＡＴプレーヤーの代
わりに市販されている８ミリ・デジタル・オーディオ・
プレーヤーを使用することもできる。１台のＴＡＳＣＡ
Ｍデジタル・オーディオ・プレーヤーを使用すると、最
高８つの別個のオーディオ・チャネルを同時にサポート
しつつ、ワークステーション４０から必要となるのは１
つのＲＳ−４２２制御信号だけである。言うまでもな
く、オーディオ・エンコーダは、８つの音声入力を同時
に受け入れることができなければならず、オーディオ・
インタフェース装置７２は４から８の音声データ・スト
リームでの増加に対応するために改良されなければなら
ない。
【００７２】同時音声・映像符号化の代替策として、音
声および映像は、別々の時間またはロケーション、ある
いはその両方で符号化し、後に最終フォーマットに結合
することができる。これには、ＳＭＰＴＥ（全米映画テ
レビジョン技術者協会）タイムコード・フォーマットの
ような既知のタイムコードの使用が必要となる。タイム
コードは、ビデオ・テープ・レコーダー、ワークステー
ション、また別個のスタンド・アロン式タイムコード生
成プログラムにより生成される。
【００７３】ビデオ・デコーダが利用可能で、ワークス
テーション２０に接続されるのであれば、録画ＶＴＲ５
２は排除できる。その場合、再構築された映像は、圧縮
フェーズの間に映像符号化装置５０から録画される代わ
りに、ディスク２１の中のディスク・ファイルから生成
される。録画ＶＴＲ５２の排除は、テープ・コストとい
う観点からだけではなく、装置という観点から、大きな
節約となる。
【００７４】さらに、ディスプレイ・ビデオのグラフィ
ック・オーバレイ平面上でグラフィックス動作を実行で
きる能力は、市販されているＸ端末オプションを使用す
ると、コンソール・ディスプレイ上でサポートできる。
例えば、コンソール・ディスプレイ３１は、オーバレイ
・グラフィックス・ウィンドウで映像を表示する機能を
持つＸ端末で置き換えることができる。ペンシルバニア
州、Ｋｉｎｇ ｏｆＰｒｕｓｓｉａの人間設計システム
社（Ｈｕｍａｎ Ｄｅｓｉｇｎｅｄ Ｓｙｓｔｅｍｓ）
製のＨＤＳＶビュー・ステーションのような市販されて
いるマルチメディア・ディスプレイ端末が必要な機能を
提供する。その場合、ビデオ・デコーダからの映像は、
表示および領域定義動作の手動による編集のためにＸ端
末に接続することができる。しかしながら、人間のオペ
レータが再構築された映像信号の品質に近づくには、ビ
デオ・デコーダからの専門的な画質の映像は、図１に図
示されるモニタ６１のようなプロ用モニタで表示する必
要がある。
【００７５】Ｖ．最適符号化効率を維持しつつ、オーデ
ィオ・エンコーダの数を削減 前述したように、図１は、１台のマルチパス（系統）映
像符号化装置５０および４台のワン・パス（１系統）オ
ーディオ・エンコーダ、７０ａ、７０ｂ、７０ｃおよび
７０ｄを具備する符号化システムを示した。再生ＶＴＲ
５１は、映像符号化装置５０に符号化される映像信号を
提供し、デジタル・オーディオ・テープ（ＤＡＴ）プレ
ーヤー７１ａ〜７１ｄが符号化される音声信号を、それ
ぞれワン・パス・オーディオ・エンコーダ７０ａ〜７０
ｄに提供する。
【００７６】本発明の実施例は、最終的にフォーマット
処理されたオーディオビジュアル・データ・ストリーム
の８つの音声トラックを符号化する。各音声トラックに
は１つまたはそれ以上の任意の数のオーディオ・チャネ
ルが具備される。例えば、オーディオ・トラックには他
の配列の音声を入れることができるが、１つのオーディ
オ・トラックが左右のチャネルを入れる場合がある。も
っとも効率的なオーディオビジュアル符号化を実行する
ためのオーディオ・エンコーダの数を決定する方法、お
よびこのオーディオビジュアル符号化を実行する方法
は、図８に説明する。図８では、開始後、ステップ２４
０で、映像符号化に必要となるパス数、Ｐが決定され
る。映像をＭＰＥＧフォーマットに符号化するために
は、通常、映像の符号化には２つまたはそれ以上のパス
が必要である。本発明の場合、パスの望ましい数は２で
あるが、３つ以上のパスも可能である。その次に、ステ
ップ２４２で、符号化されるオーディオ・トラックの
数、Ｔが決定される。本発明では、オーディオ・トラッ
クの数は８が好ましい。ただし、違う数のオーディオ・
トラックも可能である。次に、ステップ２４４は、もっ
とも効率的なオーディオビジュアル符号化を実行するの
に必要となるワン・パス・オーディオ・エンコーダの
数、ＡＥを計算する。必要なオーディオ・エンコーダの
数は、映像符号化に必要となるパス数で除算される符号
化対象のオーディオ・トラック数に等しい。実施例で
は、エンコーダのための２つのパスにより除算される８
つのオーディオ・トラックは、必要となる４台のオーデ
ィオ・エンコーダに等しい。オーディオ・エンコーダの
計算された数が整数ではない場合、オーディオ・エンコ
ーダの計算数を整数となるように切り上げる必要があ
る。例えば、ツー・パス・ビデオ・エンコーダ１台に７
つのオーディオ・トラックしか符号化されない、７／２
＝３．５場合、３．５は次に最高の整数４に切り上げら
れる。このシステムにより実行される符号化プロセスの
間、１つの映像パスはオーディオ・エンコーダの内の３
台しか使用しないが、残りの映像符号化パスは４台のオ
ーディオ・エンコーダすべてを使用する。ステップ２０
４〜２４４は、システムの初期設計時にのみ実行する必
要があり、オーディオビジュアル作業を符号化するたび
にワン・パス・オーディオ・エンコーダの数を計算する
必要はないことに注記すべきである。さらにまた、ステ
ップ２４０、２４２および２４４は、ワークステーショ
ン３０のような１台のコンピュータにより実現されるコ
ンピュータ／マシンであるか、あるいはオーディオビジ
ュアル符号化システムのユーザまたは設計者により決定
されるかのどちらかである。
【００７７】オーディオ・エンコーダ数が決定され、オ
ーディオビジュアル符号化システムがセットアップされ
ると、オーディオビジュアル・プロセスが開始できる。
ステップ２４６では、ＣＯＵＮＴＥＲ（カウンタ）が１
に等しくセットされる。ＣＯＵＮＴＥＲ（カウンタ）
は、映像符号化システムの各パスの計算に使用されるた
めの変数である。その次に、ステップ２４８では、ある
オーディオ・トラックのワン・パス音声符号化が実行さ
れている間に、最初の映像符号化パスにおける処理が実
行される。例えば、８つのオーディオ・トラックおよび
１台のツー・パス・ビデオ・エンコーダがある場合に
は、第１のパス処理中に、４台のオーディオ・エンコー
ダを使用できる。それから、ステップ２５０ではＣＯＵ
ＮＴＥＲが１増加される。ステップ２５２では、ステッ
プ２４８で使用されたものと同じオーディオ・エンコー
ダを用いて、符号化されていないオーディオ・トラック
のワン・パス音声符号化が実行されている間に、次の映
像符号化パスの処理が実行される。例えば、第２の映像
符号化パス処理の間、ステップ２４８で使用された４台
のオーディオ・エンコーダは、５つから８つのオーディ
オ・トラックを符号化することができる。その次に、ス
テップ２５４では、ＣＯＵＮＴＥＲが、必要とされる映
像符号化パス数Ｐに等しいかどうかを判断する。実施例
では、２つの映像符号化パスしかないため、プロセスは
終了する。それ以外の場合は、フローは、ステップ２５
０、２５２、および２５４のループを実行するために戻
る。
【００７８】言うまでもなく、８つのオーディオ・トラ
ックを具備するオーディオビジュアル作業用のツー・パ
ス・ビデオ・エンコーダの使用に加えて、それ以外の実
施例も可能である。例えば、スリー・パス・ビデオ・エ
ンコーダは、６つのオーディオ・トラックで使用でき
る。この状況では、もっとも効率的なオーディオ・エン
コーダ数は３（６／２＝３）である。ツー・パス・ビデ
オ・エンコーダが使用され、合計６つのオーディオ・ト
ラックが符号化される場合には、オーディオ・エンコー
ダのもっとも効率的な数は３であろう。代替策として
は、スリー・パス・ビデオ・エンコーダを、符号化対象
のオーディオ・トラックが５つあるシステムで使用する
ことができる。この代替システムでは２台のワン・パス
・オーディオ・エンコーダが必要となり、オーディオ・
エンコーダの内、１台しか使用されていない間に映像符
号化パスの任意の１つが動作し、オーディオ・エンコー
ダの両方が使用されている間は、それ以外の２つの映像
符号化パスの処理が発生する。言うまでもなく、本明細
書に記載される教示という点で当業者には明らかとなる
ように、ビデオ・エンコーダとオーディオ・トラック数
のそれ以外の組み合わせも可能である。
【００７９】できる限り効率的なものとするために、本
発明の重要な点は、映像符号化のパスが実行されている
ときに常に音声符号化が実行されることであり、音声符
号化が実行されているときに、映像符号化のパスが常に
実行されていることである。この設定では、オーディオ
・エンコーダの少なくともいくつかが、映像符号化動作
の各パスの実行の間に、常にいくつかのオーディオ・エ
ンコーダの処理が実行されることになる。できる限り効
率的であるためには、符号化プロセス全体の間、オーデ
ィオ・トラック数がオーディオ・エンコーダ数により剰
りなく除算できない場合（つまり、符号化されるオーデ
ィオ・トラック数が映像パス数で除算されたときに余り
がある場合）、映像パス数から余りを引いた数に等しい
休止オーディオ・エンコーダの数がある。例えば、スリ
ー・パス・ビデオ・エンコーダ１台および４つのオーデ
ィオ・トラックの場合、２台のオーディオ・エンコーダ
が必要となり１という余りがでる（例えば、４／３＝１
で剰り１）。したがって、できる限り効率的であり、３
つのパスの映像符号化と同時に音声符号化を完了するに
は、（３つの映像パスから剰り１を引くと、２に等しく
なるように）オーディオ・エンコーダが休止するのは２
回のみである。エンコーダが休止状態になる２回が、同
じパス中に発生する場合があり（同じ映像符号化パス中
に２台の別々のオーディオ・エンコーダがあり）、前記
の例での他の２回の映像符号化パスのそれぞれがオーデ
ィオ・エンコーダのすべてを活用するか、休止オーディ
オ・エンコーダは１台である２回の映像符号化受渡しが
存在する可能性があることを意味する。これらの２回の
パスでは、同じオーディオ・エンコーダまたは別のオー
ディオ・エンコーダが休止状態となる。
【００８０】ＶＩ．符号化された映像情報記憶用ログ・
ファイル、およびログファイルと符号化された映像にア
クセスするためのログ・インタプリタ・ユーティリティ 開示される符号化システムは、最初は、ＭＰＥＧ−２、
ＭＰＥＧ−１、またはそれ以外のデジタル映像符号化フ
ォーマットのような圧縮されたデジタル・フォーマット
に映像を符号化する。この符号化は、システム構成要素
に関する第ＩＩ項、および一般的なシステム動作に関す
る第ＩＩＩ項に前述される。その次に、符号化されたビ
デオ・データは、ハードディスクなどにデジタル・フォ
ーマットで記憶される。
【００８１】デジタル映像符号化プロセスの間、映像の
統計およびそれ以外の情報が作成され、ログ・ファイル
に記憶される。ＭＰＥＧ映像符号化を熟知する当業者
は、映像を記述する統計および情報のタイプならびにこ
れらの統計および情報を作成する方法に精通している。
従来の符号化システムでは、このタイプの情報およびデ
ータは作成されるが、通常、映像符号化の後に廃棄され
る。しかしながら、本発明の場合、画像をコーディング
するために使用される合計ビット、画像を符号化する平
均自乗エラー、各画像の平均量子化器スケールのよう
な、作成されたこの情報は、符号化プロセスの後に、シ
ステムＲＡＭからログ・ファイルにダンプされる。本発
明が使用するログ・ファイルの例は、図９〜図１７に示
される。これらのログ・ファイルは、ＶＢＲシステムで
特に有効であり、ビデオ・エンコーダの初回のパス処理
（複数のパス処理）の間に作成される。それから、ログ
・ファイルは、最終符号化受渡し（パス処理）の間、お
よび映像の後の編集および再符号化の間に使用される。
【００８２】この発明で使用されることがあるファイル
としては、シーケンス・レイヤ・ログ・ファイル、ピク
チャ・レイヤ・ログ・ファイル、およびマクロブロック
・レイヤ・ログ・ファイルという、３つの異なった種類
のログ・ファイルがある。これらのログ・ファイルのそ
れぞれは、そのそれぞれの層の統計および情報を記述し
ている。図１６に図解される完全フォーマットおよび図
１７に図解される省略フォーマットという２つの異なっ
た種類のマクロブロック・レイヤ・ログ・ファイル・フ
ォーマットがある。完全フォーマットは、マクロブロッ
ク・レイヤの詳細な情報が必要とされる場合に使用さ
れ、省略フォーマットは、マクロブロックの詳細のすべ
てを追跡する必要がない場合に使用される。２時間の映
画の中での多数のマクロブロックのため、マクロブロッ
ク・ログ・ファイルは大量の記憶領域スペースを消費し
てしまう。したがって、大量の記憶領域スペースが利用
できない限り、完全フォーマットまたは省略フォーマッ
トのマクロブロック・ファイルを記憶することはできな
い。しかしながら、マクロブロック情報を入手する必要
がある場合には、符号化映像を復号化したり、それ以外
の手段により、マクロブロック情報を再構築することが
できる。
【００８３】図９〜図１７に図解されるログ・ファイル
・フォーマットの詳細の多くが重要ではなく、これらの
ファイル・フォーマットが符号化プロセスの間に生成さ
れるデータの説明としてだけ提供されていることを注記
する必要がある。しかしながら、ログ・ファイル中の情
報のいくらかは、映像の画質を変更するプロセスの間に
使用されるので重要である。以下に説明するように、符
号化された映像の編集ポイントを決定するために、初期
の画像が消費したビット数を総計する必要がある。総計
される情報は、図１４および図１５に図解され、各画像
のビット数（ｇｅｎｅｒａｔｅｄ＿ｂｉｔ＿ｐｉｃｔｕ
ｒｅ）、シーケンス・ヘッダ用ビット数（ｂｉｔｓ＿ｓ
ｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ）、画像グループ（ＧＯ
Ｐ）ヘッダ用ビット数（ｂｉｔｓ＿ＧＯＰ＿ｈｅａｄｅ
ｒ）、および詰込みとして使用されるビットまたはスペ
ースを満たすのに使用されるビットの数（ｓｔｕｆｆｉ
ｎｇ＿ｓｉｚｅ）に関する。
【００８４】図１８は、ログ・ファイルを使用して実行
されるさまざまな機能のフロー・チャートを示す。ビデ
オ・セグメントの初期符号化の後、ステップ２７０は、
図９〜図１５に図解されるビデオ・エンコーダの自動運
転から生成されるピクチャ・レイヤ・ログ・ファイルお
よびシーケンス・レイヤ・ログ・ファイルを読み込む。
次に、ステップ２７２は、符号化された映像に含めて記
録されるあらゆる画像のログ・ファイル・レコードのバ
イト・オフセットを示すインデックス・テーブルを作成
する。フレーム数により索引が付けられるテーブルと、
タイムコードにより索引が付けられるもう一つのテーブ
ルという、２つのテーブルが作成される。タイム・コー
ド・インデックス・テーブルには、各画像のログ・ファ
イルにオフセットされるバイトが入り、タイムコードの
昇順でソートされる。同様にして、ピクチャ・フレーム
・インデックス・テーブルには、（エンコーダによって
示されるように）入力画像番号の昇順でソートされるロ
グ・ファイルにオフセットされるバイトが含まれる。
【００８５】作成されたインデックス・テーブルは、任
意の希望画像またはマクロブロックのログ情報をすばや
く摘出するのに役立つ。ログ・ファイル内のシーケン
ス、画像またはマクロブロック・データの記憶処理に
は、固定サイズでの記録が行われるが、エンコーダは、
それらをコーディングする前に入力画像の順番を付け直
す。さらに、毎秒３０フレームに対して３：２で引き下
げられている映画（毎秒２４フレーム）ソースを取り扱
う場合、ある程度のタイムコードは省略される。インデ
ックス・テーブルは、画像の順番を付け直し、タイムコ
ードの省略にも関わらず、該当するデータをすばやく見
つけ出す手段となる。
【００８６】映像のさまざまなフレームおよび時間期間
によりその画質が手動で変更されるに従い、符号化され
た映像は頻繁に変化するため、各画像のコーディングで
使用される符号化されたビット数のディレクトリまたは
インデックスを維持しないことを注記すべきである。し
かしながら、符号化された画像の情報を記述するログ・
ファイルは固定サイズのレコードであるため、画像の品
質または時間期間が変更されても、ログ・ファイル内で
情報のディレクトリまたはインデックスを維持するのは
たやすい。
【００８７】インデックス・テーブルの作成後、ステッ
プ２７４により、ユーザは、ブロック２７６、２７８お
よび２８０に示される多様なログ・ファイル・ユーティ
リティを使用して、ログ・ファイルからさまざまな情報
をすばやく入手できるようになる。ログ・ファイル内の
レコードが必要とされると、ログ・ファイル内の所望の
レコードを決定するために、作成されたインデックスが
使用され、完成しているレコードがログ・ファイルから
引き出される。その後で、このレコードは、希望される
個別パラメータを検索するために解析される。インデッ
クス・テーブルの助けを借りて個別レコードを解析する
プロセスは、他のログ・インタプリタ・ユーティリティ
のすべての基礎である。解析プロセスは周知であり、当
業者は、編成済みファイルから希望の情報を検索する方
法を理解している。
【００８８】ステップ２７６は、ログ・ファイル・カッ
ト・アンド・ペースト・ユーティリティである。フレー
ム内のあるいは時間期間での量子化（および画質）を手
動で変更した後、ログ・ファイルのオリジナル・セット
は、編集中に起こった変更に対応するように更新する必
要がある。ログ・ファイル・カット・アンド・ペースト
・ユーティリティは、編集されたセグメント・タイムコ
ードに対応するログ・ファイル内のオフセットを見つけ
出し、ログ・ファイル中の情報を再符号化された映像に
対応する新しい情報で置換する。再符号化のプロセス
は、第ＶＩＩＩ項で後述される。
【００８９】ステップ２７８には、デジタルで符号化さ
れたビットストリームの編集をイネーブルするためのパ
ラメータを入手するためのユーティリティが示されてい
る。映像が初期符号化され、ユーザがその映像のフレー
ムまたは時間期間上で質の変更を希望した後では、置換
される部分を決定する必要があり、その置換される部分
とは、符号化化された映像の適当な一部であって、この
一部が削除されて、希望の画質を持つ新規に符号化され
た映像で置換されることになる。
【００９０】符号化された映像のビットストリーム内に
おける編集ポイントのバイト・オフセットは、各画像
を、編集ポイントに対応する画像までの符号化するのに
使用されたバイトの累積数を計算することにより決定さ
れる。ある特定の画像が位置するファイルの最初からの
ビット総数を決定するために、以前の画像のそれぞれを
符号化するのに使用されたビット数が総計される。総計
されるピクチャ・ログ・ファイルから得られる情報は、
ｉ番目の画像を符号化するために使用されたビットの数
Ｂｉ、シーケンス・ヘッダを構成するビット数Ｓｉ、画
像グループ（ＧＯＰ）ヘッダの符号化に使用されたビッ
ト数Ｇｉ、および詰込みとして使用されたビット数Ｔｉ
である。Ｎ番目の画像のビット・オフセットは、以下と
して計算される。
【００９１】 ΣN-1 i=1 （Ｂｉ＋Ｓｉ＋Ｇｉ＋Ｔｉ） …（１） バイト・オフセットは、ビット・オフセットを８で除算
するだけで計算される。符号化映像のビットストリーム
のアドレス・オフセットを決定するためにログ・ファイ
ルを使用を変更するとき、ビットストリーム・デコーダ
は、画像オフセットのディレクトリを作成するために利
用することができる。ただし、デコーダはディレクトリ
を更新するために、編集のたびにビットストリーム全体
を通らなければならないため、このアプローチは扱いに
くい。
【００９２】最後に、ステップ２８０は、もっとも近い
画像グループ（ＧＯＰ）の始まりまたは最後にタイムコ
ードを切り上げるためのユーティリティを示す。符号化
されたビットストリームの全カットまたは編集が、画像
グループ（ＧＯＰ）の境界で実行される。ただし、ＧＯ
Ｐ境界は、映像に対する編集を実行しているオペレータ
には分からない。一旦、オペレータが編集セグメントの
開始ポイントと終了ポイントを指定すると、システムが
ＧＯＰ境界を計算する。ＧＯＰ境界は、各ピクチャ・レ
コードの中に記憶されるＧＯＰ数と呼ばれるピクチャ・
レイヤ・パラメータを検討すると設定される。ピクチャ
・レイヤ・ログ・ファイルの続くレコードをトレースし
ていくことで、図１４のＧＯＰ数（ＧＯＰ＿ｎｕｍｂｅ
ｒ）が変化すると、ＧＯＰ境界があると判断される。
【００９３】ログ・ファイルおよびログ・ファイル・ユ
ーティリティはビデオ・エンコーダに密接に関係してい
るので、ログ・ファイルは図１に示されるハードディス
クに記憶され、ログ・ファイル・ユーティリティはワー
クステーション１０により実行される。代わりに、ワー
クステーション３０またはそれ以外の任意の処理システ
ムがログ・ファイルを格納し、ログ・ファイル・ユーテ
ィリティを実行することがある。
【００９４】ＶＩＩ．符号化された画像の画質の変更 Ａ．経時的な品質のを変更 符号化システムにより作成される符号化された映像は、
光ディスクのような最終デジタル記憶媒体に書き込まれ
ることを目的とする。ディスク上の符号化された映像
は、一定ビット伝送速度（ＣＢＲ）動作に比較して、映
像のさまざまなセクションの間でのビット伝送速度の大
きな変更の可能性を許す可変ビット伝送速度（ＶＢＲ）
で符号化される。ＶＢＲコーディングを使用すると、か
なり異なったビット数を異なった画像に割り当てること
ができるため、画質は経時的に変化する。さらに、ＶＢ
Ｒは、ＣＢＲ動作では不可能なスケールで、映像のユー
ザ定義セクションのいくつかにデータ転送速度を割り当
てし直す可能性を許す。同じことをＣＢＲで達成しよう
とすると、きわめて大きなバッファが必要となる。
【００９５】符号化システムを使用すると、手動編集と
呼ばれるものが可能となるが、手動編集とはシーンを短
縮または延長したり、映画の中の異なるシーンを置き換
えることではない。画質は、時間を経るに従い変化し、
本項に説明するように時相編集または時相手動編集で引
用されている。１つのフレームのあるセクションから、
１つのフレームの別のセクションへビットをシフトする
ことにより、フレーム内で画質を変更することについて
は別の項で説明する。これは、空間編集または空間手動
編集として引用されている。
【００９６】時相編集、つまり、１つの編集セグメント
のさまざまなセクションの間でビットを再割り当てする
上で、３つの主要な制約事項を満たす必要がある。これ
らの制約事項とは、以下の通りである。
【００９７】１．編集される映画／映像の総容量が割り
当てられた容量を超えない。
【００９８】２．編集セグメントの中でバッファ・アン
ダフローが発生しない。
【００９９】３．時相編集により、編集セグメントの外
側でバッファ・アンダフローが発生しない。
【０１００】制約事項１は、結果として生じる編集済み
のセグメントが最初に符号化されたセグメントと同じ数
のビットを消費しないように、編集セグメントを再符号
化することにより処理される。ここで編集セグメント
は、考慮対象となる時間期間全体である。編集セグメン
ト内のさまざまな異なる期間には、ユーザにより品質が
指定され、編集セグメントのこれらの期間は単にセクシ
ョンまたは時間期間と呼ばれる。
【０１０１】アンダフロー状況が存在するかどうかを判
断するためには、任意のモデルのデコーダを使用して目
標ビットをチェックする必要がある。エンコーダのＶＢ
Ｒ動作では、ビデオ・バッファ検査機構（ＶＢＶ）モデ
ルの改良バージョンが使用される。このモデルはＶＢＲ
用単純改良モデルと呼ばれ、デジタル記憶装置媒体（Ｄ
ＳＭ）に使用される。ＶＢＲモード用のＶＢＶは周知
で、ＭＰＥＧ−２規格で定義され、ＩＳＯ／ＩＥＣ１３
８１８−２、付録２、第Ｃ．３．２項に明確に記述され
る。
【０１０２】ＶＢＲ用ＶＢＶモデルにおいては、デコー
ダのバッファはいっぱいのままとなる、しかしアンダフ
ローから制限される。さらに、バッファは一定の速度、
Ｒｍａｘで、バッファがいっぱいになるまで充満し、バ
ッファの放出が始まるまでバッファに転送されるビット
はない。各フレーム間隔で、１つのフレームを復号化す
るのに必要となるビットは、バッファから削除される。
これを頭に入れると、ＶＢＲモードでは、一連の画像に
割り当てるビットが多すぎると、バッファ・アンダフロ
ーが生じることが分かる。つまり、画像のビットがバッ
ファから削除されるに従い、バッファは空になり、高品
質画像の多数のビットが、バッファを満たすことができ
る速度より速い速度で削除されるとアンダフローが生じ
る。アンダフローを防止するには、画像の復号化に使用
されるビット数が減少される。ある画像のビット数を減
少すると、充満速度は同じ状態に保ったままバッファか
らビットが削除される速度が引き下げられる。ＶＢＲの
場合、ＶＢＶ占有がいっぱいであると、ＶＢＶバッファ
へのビットストリーム送信は即座に停止するため、バッ
ファ・オーバフローは発生しない。つまり、バッファ・
オーバフローは存在しないが、単にバッファがいっぱい
な状況があるということである。ＩＳＯ／ＩＥＣ １３
８１８−２、付録Ｃ、第Ｃ．３．２に説明されるよう
に、ＶＢＲ用単純改良ＶＢＶモデルは、以下の通りであ
る。
【０１０３】１．ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒでの
ｂｉｔ＿ｒａｔｅフィールドは、ｍａｘ＿ｂｉｔ＿ｒａ
ｔｅを表す。
【０１０４】２．ＶＢＶは、当初、空である。速度ｍａ
ｘ＿ｂｉｔ＿ｒａｔｅでＶＢＶバッファをいっぱい（つ
まり、ＶＢＶバッファ・サイズ）に満たした後で、復号
化プロセスが開始する。画像データは即座に削除され、
ＭＰＥＧ−２国際規格に定義されるＣＢＲのＶＢＶモデ
ルのように復号化される。
【０１０５】３．ビットストリームは、ＶＢＶバッファ
がいっぱいになるまで、速度ｍａｘ＿ｂｉｔ＿ｒａｔｅ
でＶＢＶバッファの中に格納される。ＶＢＶバッファ占
有がいっぱいになると、ＶＢＶに対するビットストリー
ム送信は即座に停止する。次の画像のデータが削除され
てから、ビットストリーム送信は即座に開始する。
【０１０６】４．ＶＢＶバッファはアンダフローしない
ものとする。
【０１０７】５．各ｖｂｖ＿ｄｅｌａｙフィールドはＦ
ＦＦＦに設定される。
【０１０８】経時的に映像の品質を変更するには、ビデ
オのフレームにビットを追加またはビデオのフレームか
らビットを削除する必要がある。ここで、ビデオのある
セクションに追加またはビデオのあるセクションから削
除できるビット数に関して説明する。ビデオのあるセク
ションに追加またはビデオのあるセクションから削除で
きるビット数は、考慮対象のビデオのセクションの有効
ビット速度に依存する。有効ビット伝送速度、Ｒは以下
のように計算される。
【０１０９】 Ｒ＝（総割り当てビット／フレーム数）＊ｆｒａｍｅ＿Ｒａｔｅ …（２） 割り当てられたビットの総数がビット伝送速度に正比例
するため、割り当てられたビット数を参照することは、
別々の装置での場合を除き、ビット伝送速度と同じ意味
となる。Ｒｍｉｎという保証された最小速度がビデオの
任意のセクションに適用されると仮定すると、セクショ
ン「ｉ」から除去されるビット最大数は、以下の通りと
なる。
【０１１０】 Ｔｉ＝（Ｒｉ−Ｒｍｉｎ）＊Ｎｉ／Ｆｒａｍｅ＿Ｒａｔｅ …（３） この場合、Ｎｉとはセクション「ｉ」のフレーム数であ
り、Ｒｉとは同じセクションの有効速度である。保証最
小速度は、セクションの最小品質レベルを保証するため
に必要となる。同様に、指定されたセクション「ｊ」に
追加できる最大ビット数は、次のように計算される。
【０１１１】 Ｔｊ＝（Ｒｍａｘ−Ｒｊ）＊Ｎｊ／Ｆｒａｍｅ＿Ｒａｔｅ …（４） この場合、Ｒｍａｘは最大速度、つまり、バッファがい
っぱいではない場合にバッファが充満する速度であり、
Ｎｊはセクションｊのフレーム数である。
【０１１２】ここに、経時的な画質の変化（時相編集）
については、図１９およびその中で参照される図に関係
して説明する。開始後、ステップ２８１は、第ＩＩ項お
よび第ＩＩＩ項で説明したように、ユーザによる介入な
しに自動映像符号化を実行する。自動符号化の場合、保
証データ・ストリームの最大速度および最小速度がある
ことに注記する必要がある。最大ビット伝送速度は、ビ
デオ・デコーダの機能により決定され、Ｒｍａｘは例え
ば毎秒８Ｍｂｉｔである。最小ビット伝送速度は、必要
となる最小画質に応じてユーザにより指定される。典型
的な最小ビット伝送速度Ｒｍｉｎは毎秒３Ｍｂｉｔであ
る。より低いビット伝送速度のビデオ部分やより高いビ
ット伝送速度のビデオ部分を提供するための平均符号化
速度とは異なる、そして平均符号化速度よりもいくらか
ら低い速度にＲｍａｘを設定することが望ましい。Ｒｍ
ｉｎが平均映像符号化速度よりわずかに低く設定される
と、その結果生じる符号化されたビデオはかなり一定し
た画質となる。一般的には、Ｒｍａｘ＝毎秒８Ｍｂｉｔ
であり、Ｒｍｉｎが約毎秒３Ｍｂｉｔであると、ビデオ
の平均値は毎秒５Ｍｂｉｔの約３1/2 となるはずであ
る。
【０１１３】ステップ２８１で自動映像符号化が実行さ
れると、速度・量子化関数を決定する必要がある。本発
明のプロセスは、希望の画質を得るために必要となるビ
ット数を決定するが、再符号化時、量子化値は、希望の
ビット伝送速度を生じさせるために設定する必要があ
る。速度・量子化関数は、そのそれぞれが本明細書に参
照として取り入れられる、ＩＥＥＥ画像処理に関するト
ランザクション、第３巻、第５号、１９９４年９月、５
３３−５４５ページのランチャンドラン（Ｒａｍｄｈａ
ｎｄｒａｎ）その他による記事「マルチ解像度およびＭ
ＰＥＧビデオ開示に応用する依存型量子化のためのビッ
ト割り当て」、ＩＥＥＥ ＩＣＡＳＳＰ、１９９３年、
Ｖ−３８１−Ｖ−３８４ページのランチャンドランその
他による「ＭＰＥＧビデオ・コーダに応用する依存型量
子化用ビット割り当て」、およびプリンストン映像会
議、１９９４年で提示されたレイニンガーによる「速度
−歪み曲線を利用した多重化ＭＰＥＧビデオ用共同マル
チチャネル・ビット伝送速度制御」に記述されるような
従来の方式で計算できる。
【０１１４】次に、ステップ２８４では、選択された時
間期間のユーザ品質設定値が入力される。ユーザは、画
像の量子化を制御するために最終的に使用されるさまざ
まなセクションの優先順位を入力する。量子化は、損失
のあるＭＰＥＧ符号化のために、解像度とも呼ばれる画
質を制御する。図２０は、経時的に映像の品質を変更す
るために情報を収集する目的で使用されるユーザ・イン
タフェースを示している。当初、ユーザは、品質を変更
するために編集セグメント全体の時間期間を入力する。
この情報の入力は、図２０のユーザ・インタフェースに
は示されていないが、図１３のユーザ・インタフェース
が表示される前に入力される。図２０に示される例の場
合、変更する編集セグメントの時間期間は、例えば時間
０分から時間５分となる可能性がある。ユーザが編集セ
グメントの総時間期間を記述した後で、編集セグメント
のうちの短い方の時間期間に、優先順位Ｐを含む−５の
範囲で異なる優先順位が割り当てられ、この時間期間が
保護されており、変更してはならないことを示す。優先
順位「なし」は、Ｐという優先順位と同じ意味である。
言うまでもなく、符号化システムは、前記の入力スキー
ムのみに限定されるのではなく、それ以外の範囲または
符号を使用してユーザが希望する優先順位を入力でき
る。 優先順位を割り当てるだけではなく、ユーザは最
小ビット伝送速度も入力する。このビット伝送速度は、
ステップ２８１の自動映像符号化の間に映像を符号化す
るために使用される最小ビット伝送速度とは異なる場合
がある。ユーザ・インタフェースのもう一つの機能と
は、それを使用することにより、ユーザが、「バックグ
ラウンド優先順位」を設定できるという点で、これは、
ユーザによる優先順位が割り当てられない選択された時
間期間内の時間期間にこのバックグラウンド優先順位が
設定されるという意味である。例えば、図２０では、バ
ックグラウンド優先順位に「１」が割り当てられている
と、未指定の時間期間００：０３：２０：０１から０
０：０３：５９：９９に、ユーザが手動でこの特定のセ
クションの優先順位を割り当てなくても、自動的に
「１」という優先順位が割り当てられる。
【０１１５】図２０に示されるインタフェースのいちば
ん下では、編集セグメント内の新しい時間期間を作成す
るために「挿入」ブロックが使用され、以前に作成され
た時間期間を変更するために「リコール」ブロックが使
用され、時間期間に加えられた変更を保存するために
「更新」が使用され、時間期間を削除するために「削
除」が使用される。
【０１１６】光ディスクのような、符号化された映像の
ための最終的なデジタル記憶装置媒体の記憶容量は、自
動的に符号化されたデータがディスクに書き込まれる場
合には、理想的には容量を満たす限定されたものになる
ことを覚えていることが重要である。したがって、画像
が向上したある特定の時間期間のビット伝送速度が速く
なるたびに、その画質が向上した時間期間に必要な余分
な記憶容量を確保するためには、他の部分では画質を低
下される映像のセクションが存在しなくてはならない。
したがって、本発明の実施例においては、別の時間期間
に異なる画質を割り当てずに、ある期間だけに高画質を
割り当てることは不可能である。これは、画質を向上さ
せるのに必要なビットが、映像の別のセクションから取
られなければならないためである。したがって、編集さ
れた映像のセグメントには、時相手動編集が適切に動作
できるように、バックグラウンド・セクションとは異な
り、「保護」セクションとしてマークされていない優先
順位を持つ少なくとも１つのセクションがなければなら
ない。さらに、ユーザが選択した優先順位は、選択され
るたびに結果として同じ品質およびビット伝送速度には
ならないが、編集セグメント内の画像の修正されたビッ
ト数を決定するためのプロセスを理解すると明らかにな
るように、ある特定のセクションの品質は、他のセクシ
ョンに割り当てられた優先順位および他のセクションの
長さにも依存する。
【０１１７】本発明の符号化システムにより活用される
機能とは、自動符号化プロセスの間、または後の時点
で、視聴者が符号化された映像をレビューすることがで
きるという点である。符号化された映像が視聴者に表示
されるに従い、映像を停止したり、関心のあるタイムコ
ードを書き留めなくても、映像の関心のあるポイントま
たは領域を記憶するために、視聴者は「リターン・キ
ー」を押したり、スクリーン上に表示される「ボタン」
の上のグラフィックス・ユーザ・インタフェースを「ク
リック」するなどの機能を実行できる。これらの関心の
あるポイントは、映画全体をレビューしなくても、後で
ユーザにより呼び出され、詳しく研究できる。これは、
ユーザが変更を希望する符号化された映像の中でポイン
トを決定する便利かつ効率的な方法となる。この機能
は、関心のあるポイントまたは領域が発生した時点の符
号化された映像の中の位置にしたがってタイムコードを
記憶することにより、達成される。
【０１１８】ステップ２８４で、ユーザが希望の品質の
設定を入力した後で、ステップ２８６ではユーザの入力
に基づいて各フレームに対する修正されたビットが計算
される。このプロセスは、図２１〜図２４を参照して説
明される。編集セグメント内の時間期間のビット伝送速
度を変更するための一般的な手順は、図２１のフローチ
ャートに示される。ユーザの入力に基づいたビット伝送
速度を計算するために、ステップ３０２は、−５と＋５
の間の範囲にあったユーザ入力を１０と０の間の範囲に
マップする。−５という初期入力は、マップされた設定
値１０に対応し、最小品質である、また＋５という入力
はマップされた設定値０に対応し、最大品質である。同
じように、入力品質選択０はマップされた設定値５に対
応する。ステップ３０２で実行されるマッピングの目的
とは、割り当てられるビット数が、ｅ（２．７１８２
８．．．０に比例することである。ｅは、マップされた
設定値により乗算される量−１に累乗されたものであ
る。この場合、低い方の優先順位設定値のビット数が高
い方の優先順位の場合を下回るように、ｅ-10 はｅ0 を
下回る。図２３および図２４では、−４から＋４に対応
する目標ビットを決定するプロセスを詳細に説明してい
る。
【０１１９】ステップ３０４（図２１）は、「保護」セ
クションがないか判断する。保護セクションとは、以前
の自動符号化から画質を変更してはならないセクション
のことである。保護セクションがある場合、フローはス
テップ３０６に進み、ビット数は、保護セクションの再
符号化のために割り当てられ、このビット数は、初期自
動符号化のときに生じた以前のビット数に等しく設定さ
れる。このようにして、保護セクションの画質は変化し
ない。
【０１２０】ステップ３０８は、最大品質または最小品
質に設定されるセクションがないかどうか判断する。最
大品質は、ユーザ入力＋５に一致し、最小品質はユーザ
入力−５に一致する。最大および最小の画質の場合、ビ
デオ・バッファ制約を満たし、符号化された映像を記憶
する媒体の記憶容量を超過せずに、それぞれ最高の画質
の映像および最低の画質の映像を持つ符号化された映像
を入手するのが望ましい。最大品質または最小品質に設
定されたセクションがある場合、フローはステップ３１
０に進み、最大ケースおよび最小ケースの修正されたビ
ット数が計算される。このプロセスは、図２２に詳しく
示される。
【０１２１】図２２では、それぞれ１０と０というマッ
プされた優先順位によって指定されている映像のセクシ
ョンに、最小速度および最大速度を割り当てると、最大
ケースおよび最小ケースに割り当てられるビット数を決
定するためのプロセスが、ステップ３２０で開始する。
図２１のステップ３０２はこのマッピングを実行し、そ
れ以外に明確に述べられていない限り、時相編集の記述
の残りの部分は、マップされた優先順位を参照する。最
大データ転送速度は、以前に記述されたように、デコー
ダの能力により制限され、毎秒８Ｍｂｉｔｓとなり、最
小データ転送速度は図２０のユーザ・インタフェースに
より図解されるように入力され、自動符号化モード中に
使用された最小ビット転送速度を下回るか、上回り、一
般的には毎秒３Ｍｂｉｔｓとなる。
【０１２２】その次に、ステップ３２２は、１から９と
いうマップされた優先順位が設定されるセクションがあ
るかどうかを判断する。つまり、割り当てられた最大品
質または最小品質があるだけではなく、ユーザが割り当
てるそれ以外の中間品質が存在するかどうかを見ること
になる。他のマップされた優先順位がある場合、フロー
は３２４に進み、マップされた優先順位が１と９の間で
あるすべてのセクションの平均ビット伝送速度が計算さ
れる。この平均が許容範囲（最大ビット伝送速度と最小
ビット伝送速度の間）にない場合、フローはステップ３
２８に進む。ステップ３２８では、最大速度、つまり最
高の画質を提供する速度は、平均が最小速度を下回ると
引き下げられる。最大速度を減少させることにより、非
最大状況および非最小状況（マップされた優先順位１〜
９）に利用できるビットが増加し、それにより、平均が
希望の範囲内あるいは希望範囲近くに配置される。代わ
りに、ステップ３２８では、平均が最大速度を上回る場
合には、最小データ転送速度は増加し、それにより非最
大状況および非最小状況（例えば、優先順位が１〜９）
のビット数が減少する。ステップ３２８の後、フローは
３２４に戻り、平均が範囲内になるまで、ステップ３２
４、３２６および３２８が繰り返される。さらに、最大
ビット伝送速度および最小ビット伝送速度は、「保護」
セクションが品質の調整前と同じビットを受け取るどう
かを確認する。
【０１２３】ステップ３２６で一旦平均が範囲内にある
と判断されると、フローはステップ３３０に進み、計算
された最大速度および最小速度が、それぞれ１０と０と
いうマップされた優先順位が設定されたセクションに割
り当てられる。それから、残りのビットは、ステップ３
３２で、保護されておらず、最大状況や最小状況でもな
いセクションに分配される。１〜９というマップされた
範囲が設定される映像のセクションおよびデータ転送速
度を変更する方法については、図２３および図２４に関
連して後述する。
【０１２４】ステップ３２２が、１〜９というマップさ
れた優先順位が設定されたセクションが存在しないと判
断した場合、つまり最大セクション、最小セクション、
または保護セクションだけしか存在しない場合、ステッ
プ３４０で、最終的なビットの割り当てが自動符号化か
らの初期のビットの割り当てに等しくなるまで、必要に
応じて最小速度および最大速度が調整される。ステップ
３４０を実行するには、２つの代替方法がある。第１
に、最大ビット伝送速度Ｒｍａｘが、例えば毎秒８Ｍｂ
ｉｔｓに固定される。総合的な編集セグメントの合計ビ
ットは既知であるため、Ｒｍｉｎ、最小データ速度は、
自動符号化の間に得られたのと同じビット総数を達成す
るために調整するだけである。以前のビット総数を達成
するためにＲｍｉｎを調整できない場合には、Ｒｍａｘ
は、自動符号化中に得られたようにビット総数を達成す
るために調整される。
【０１２５】代替策として、ステップ３４０は、最大品
質セクションに１という優先順位を割り当て、最小品質
セクションに９という優先順位を割り当て、図２３と図
２４に示されるビット割当アルゴリズムを実行し、編集
セグメントの時間期間の新しいビット伝送速度を決定す
る。その次に、ステップ３４２は、以下に説明する図２
３と図２４に従って計算されたデータ転送速度を、最
低、最高の品質が割り当てられたセクションに割り当
て、図２２のプロセスを終了する。
【０１２６】ステップ３０８およびステップ３１０が、
実行された後で、必要なら、ステップ３１２で、どのセ
クションに１〜９というマップされた優先順位が設定さ
れているかどうか判断される。設定されている場合、フ
ローはステップ３１４に進み、図２３と２４に詳しく説
明するように１〜９というマップされた優先順位のため
の修正されたビット数が計算される。
【０１２７】図２３の第１ステップは、使用される共通
ビット・プールのサイズを決定するためのものである。
最初に、保護されていない１〜９というマップされた優
先順位が設定されたすべてのセクションでは、一定のビ
ット数が削除される。再分配深度と呼ばれる係数ｋ１は
このために使用され、０．４に設定され、（自動符号化
動作等からの）以前に割り当てられたビットの４０％
が、保護されずまた最大品質または最小品質でマークも
されてもいない各セクションから削除されることを意味
する。
【０１２８】次に、ステップ３６２は、ユーザが選択し
た品質がどの程度品質に影響を及ぼすのかを判断する。
動的範囲係数と呼ばれる変数ｋ３が設定され、優先順位
から生じる品質の変化を決定する。ｋ３がどのように設
定されるのかに応じて、例えば、優先順位２が品質の比
較的小さな向上または品質の比較的大きな向上のよう
に、異なった品質の変化を来たす場合がある。一般的に
は、動的範囲係数ｋ３は１．０に設定される。
【０１２９】ビットの再分配にユーザが選択した優先順
位を使用するには、形式としてｅｘｐ（−優先順位／ｋ
３）の指数関係が使用される。指数中の動的範囲係数ｋ
３は、指数曲線の形状を決定する。曲線は、動的範囲係
数の値が大きくなると急になり、そして、事実上、優先
順位の変化を伴うセクションの中で再割り当てされたビ
ット中の不一致が増す状態となる。この負の指数は、マ
ップされた優先順位の絶対値が増すに従い（低い方の優
先順位セクション）、そのセクションに割り当てられた
ビットは減少することを意味する。つまり、１というマ
ップ化された優先順位には、最高の優先順位が設定さ
れ、数値を９まで増加すると設定される優先順位は低く
なる。
【０１３０】ステップ３６４は、ユーザが選択した優先
順位を正規化する。つまり、ユーザが選択した優先順位
が、各セクションの相対優先順位の決定に使用される。
まず、Ｅｉが計算される。
【０１３１】 Ｅｉ＝ｅｘｐ（−ｐｉ／ｋ３） …（５） この場合、ｐｉは、マップされたユーザ選択優先順位で
あり、ｉは、保護されているか最大品質または最小品質
となる時間期間を除く、編集セグメントの中のセクショ
ン時間期間数である。次に、優先順位正規化係数ｋ２
が、以下になるように計算される。
【０１３２】ｋ２＝ΣN i=1 Ｅｉ …（６） この場合、Ｎはセクションの数である。優先順位正規化
係数は、優先順位に従って再割り当てされた全ビットの
総計が、常に、ビットの利用可能な共通プールに等しく
なることを、保証するために必要とされる。
【０１３３】それから、各セクションの相対優先順位
が、以下のように計算される。
【０１３４】Ｒｉ＝Ｅｉ／ｋ２ …（７） Ｒｉはｉ番目のセクションの相対優先順位分数であるの
で、すべてのＲｉの総数は単一となる。
【０１３５】それから、ステップ３６６が、セクション
のサイズを正規化する。このためには、設定された優先
順位を有する時間期間のサイズが異なるときは、ビット
を異なったセクションのサイズに比例して分配する必要
がある。最初に、編集されたフレーム（保護されていな
い、非最高または非最低優先順位が設定されたフレー
ム）の総数上での各時間期間内のフレーム数の分数Ｔｉ
は、以下に従い決定される。
【０１３６】Ｔｉ＝Ｎｉ／Ｎ …（８） この場合、Ｎｉはｉ番目の時間期間内のフレーム数で、
Ｎは編集セグメントのフレーム総数、つまり変更されて
おり、未保護、最大優先順位または最小優先順位でもな
いすべてのフレーム数である。その次に、サイズ正規化
係数ｋ４は、以下の等式に従い計算される。
【０１３７】 ｋ４＝ΣN i=1 （Ｔｉ＊Ｒｉ） …（９） この場合、Ｎはセクションの数である。図２３のステッ
プ３６６から、フローは、図２４のステップ３６８に進
み、図２４のステップ３６８では、以下の等式に従って
ビット共通プールを判断する。
【０１３８】 Ｃ＝ΣN i=1 （ｋ１＊Ｂｉ） …（１０） この場合Ｂｉは、ｉ番目のセクションの自動符号化手順
の間に使用されたビットに、図２２のステップ３３２で
分配されたあらゆるビットを加えた総数である。総数
は、「Ｎ」セクションを上回る。
【０１３９】その次に、ステップ３７０は、以下の等式
に従い、各セクションに割り当てられる目標ビット数を
決定する。
【０１４０】 Ｆｉ＝Ｃ＊Ｔｉ＊Ｒｉ／ｋ４＋（１−ｋ１）＊Ｂｉ …（１１） 各セクションＦｉの目標ビット数は、ビット共通プール
に与えられるビットにより減少された元のビット数（Ｂ
ｉ）を加えた、ビット共通プールのパーセンテージに等
しい。ビット共通プールからのビットのパーセンテージ
は、各セクションのフレーム総数の分数（Ｔｉ）、セク
ションの相対優先順位（Ｒｉ）、および各セクションの
総計フレームの対応する分数と乗算されるセクションの
優先順位に依存するサイズ正規化係数（ｋ４）に基づい
ている。
【０１４１】ステップ３７０で計算され、各セクション
に割り当てられるビットの目標数が最大データ転送速度
と最小データ転送速度の間にないことが考えられる。こ
のような場合、ステップ３７２では、再分配深度ｋ１が
０．０１減少し、フローは、ステップ３６８でビット共
通プールを計算し直し、ステップ３７０で目標ビット数
を計算し直すために戻る。ステップ３６８、３７０、３
７２および３７４のループは、ステップ３７０で計算さ
れる目標ビット数が最大データ転送速度と最小データ転
送速度の間になるまで実行される。
【０１４２】それから、ステップ３７６は、ビットスケ
ールファクターＳｉおよびそれぞれイントラフレームＳ
Ｉｉと非イントラ・フレームＳＮｉのスケールファクタ
ーを計算する。イントラ・フレームおよび非イントラ・
フレームは、希望の品質を得るために異なったビット数
を必要とする。最初に、ビットスケールファクターＳｉ
は、以下の等式に従い計算される。
【０１４３】Ｓｉ＝Ｆｉ／Ｂｉ …（１２） 次に、イントラ画像および非イントラ画像のスケールフ
ァクターが計算される。イントラスケールファクターＳ
Ｉｉは、次の等式に従い計算される。
【０１４４】 ＳＩｉ＝Ｓｉ−（Ｉｆ＊Ｓｉ´） …（１３） 大きなイントラ・フレームは、バッファ・アンダフロー
を引き起こす可能性があり、イントラファクターＩｆ
が、Ｉｆ＝０．８の場合に、イントラ画像のビット割り
当ての変動を２０％に制限することにより安全係数を提
供することができる（つまり、ＳＩｉは範囲０．８＜Ｓ
Ｉｉ＜１．２に制限される）。Ｓｉ´＝Ｓｉ−１．０で
あることに注意する。非イントラ・ビットスケールファ
クターＳＮｉは、以下のように計算される。
【０１４５】 ＳＮｉ＝Ｓｉ−（（−Ｉｆ＊Ｓｉ´＊ＢＩｉ／ＢＮｉ） …（１４） この場合、ＢＩｉおよびＢＮｉは、画像タイプによりｉ
番目のセクション上で総計されるイントラ・ビットと非
イントラ・ビットの合計である。
【０１４６】最後に、各フレームに使用されるビット数
は、適切なスケールファクター（イントラスケールファ
クターまたは非イントラスケールファクターのどちら
か）と乗算される元のビット数を使用して決定される。
それから、図１６Ｂ（および図１４Ａも）のプロセスが
終了する。
【０１４７】この時点で、各フレームの修正ビット数が
計算され、図１９のステップ２８６が完了する。ただ
し、フレームの変更されたビット数により、バッファ・
アンダフローが生じたり、編集セグメントのトレーリン
グ・エッジのビット数の占有が、編集セグメントの外の
それ以降のフレームがアンダフローするように変化した
りする可能性がある。これらの状況は、図２５に詳説す
る図１９のステップ２８８で、検査され、必要なら訂正
される。
【０１４８】図２５は、バッファ・アンダフローがない
かチェックし、訂正し、編集セグメントのトレーリング
・エッジでのビット再割当の原因での問題がないかをチ
ェックし、訂正するプロセスを示している。図２５で
は、最初に、ステップ３９０で、編集セグメントの各フ
レームに対するビット割当を走査する。それから、ステ
ップ３９２では、先に説明したＶＢＶモデルを使用した
新しいビット分配のためにアンダフローがないかチェッ
クする。アンダフロー問題が存在する（ｕ ｆｌｏｗリ
スト）ところでポイントの一覧が作成され、各アンダフ
ローを排除するのに必要なビット数が決定され、ｕ ｖ
ａｌの中に記憶される。アンダフローが、画像を表現す
るためのビットが多すぎるために発生することを覚えて
おくことが重要である。多数のビットにより表現される
高品質画像は、デコーダによりバッファの外に読み出さ
れ、多数のビットは、画像が復号化され、これらのビッ
トが充分に速く補充できない場合にバッファから削除さ
れる。したがって、アンダフローを排除するには、画像
からビットが削除される。さらに、ステップ３９２は、
バッファが満たされた場所でポイントの一覧を作成し、
これらのポイントをｏ ｆｌｏｗリストの中に記憶する。
前述したように、バッファがいっぱいになると、データ
はバッファに送信されなくなるため、バッファが満たさ
れた状態では問題はないことに注意する。
【０１４９】ステップ３９４は、編集セグメントのトレ
ーリング・エッジでバッファ占有を調べる。ＶＢＲモー
ドでは、編集されたセグメントがまったく同じビット数
で置換されても、符号化されたビデオ・セグメントのト
レーリング・エッジでのバッファ占有が、修正された実
行の占有と異なる可能性がある。これは、ＶＢＲ用ＶＢ
Ｖモデルの特異性から生じる。したがって、バッファ占
有制約を調べることが重要である。編集セグメントのト
レーリング・エッジでのバッファ占有が、ビットの再分
配の前とまったく同じまたは高くなっているならば、問
題が存在しないことを意味しているのはかなり直接的で
ある。バッファ占有が、以前とまったく同じ場合、それ
以降のフレームのバッファ占有は、以前の場合とまった
く同じとなり、それはすでにＶＢＶ違反がないかチェッ
クされている。占有が以前より高い場合、バッファがそ
れ以降のフレームでいっぱいになる可能性があり、バッ
ファがいっぱいになると、データがバッファに供給され
なくなるため、アンダフローは発生しない。ただし、バ
ッファ占有が以前の実行に比較してトレーリング・エッ
ジで低くなると、第３のケースが起こる。これは、それ
以降のフレームでバッファ・アンダフローを生じる可能
性があるため、綿密に調べる必要がある。
【０１５０】バッファ・セグメントの外側にあるフレー
ムの中でバッファ・アンダフローが発生しないようにす
るために、編集セグメントの最後のフレームを処理でき
る２つの方法がある。第１のアプローチは、２つの方法
の内の簡単な方である。編集セグメントの最後のフレー
ムのビット数によるバッファ占有が、（ログ・ファイル
に記憶される）元の符号化によるビット数によるそれを
上回るか、または等しい結果を生じる場合、アンダフロ
ー問題は存在しないため、処置を講じる必要はない。編
集セグメントの最後のフレームのバッファ内のビット数
が、元の符号化されたセグメントのバッファ内のビット
数を下回る場合、この減少したビット数により、編集セ
グメントの後のフレームの内容に応じて、編集セグメン
トの外側のフレームにアンダフローが生じる場合もあれ
ば、生じない場合もある。アンダフローを発生しないよ
うにするに必要なビット数を決定する代わりに、編集セ
グメントの最後のフレームのバッファの占有は、最初の
符号化の場合と同じになるように調整されるだけであ
る。安全性の目的で、アンダフローの確率がないことを
保証するために、編集セグメントの最後のバッファの占
有または満杯度を元の符号化の占有より１０％上に引き
上げる。編集セグメントの最後のフレームのバッファ占
有が最初の符号化のレベルとなるように引き上げる必要
がある場合には、終了するフレームのビット数は、ステ
ップ３８で実行されるように減少する必要がある。最後
のフレームはアンダフロー・ポイントとして処理され、
ｕ ｆｌｏｗリストに格納され、最初の符号化のレベル
までバッファ・レベルを引き上げるために最後のフレー
ムから削除する必要のあるビット数がｕ ｖａｌに加算
される。
【０１５１】編集セグメントの再符号化により生じる可
能性があるアンダフローを処理するための第２のアプロ
ーチとは、編集フレームの外側でバッファ・アンダフロ
ー状態を引き起こさない編集セグメントの最後のフレー
ム用のバッファの最小レベルを概算（評価）する反復プ
ロセスである。これは、最初の符号化のバッファ占有と
編集セグメントの最後のフレームの再符号化のバッファ
占有の間の最大差を概算（評価）するプロセスにより実
行される。
【０１５２】図２６に示されるローチャートを見ると、
最初（元の）の符号化のバッファ占有にはＢ０が割り当
てられ、最初の符号化のログ・ファイルに記憶されてい
る。編集セグメントの境界を超えたフレーム「ｉ」のバ
ッファ占有はＢｉであり、この場合、ｉ＝１．．．ｎ
で、ｎは符号化対象の映画の中の最後のフレームに対応
する。再符号化のためのバッファ占有が、継続するフレ
ームのどれにもアンダフロー状態を作成しないで、最初
の符号化よりどの程度低くなるのかは、再符号化のバッ
ファ・レベルを、少なくとも最初の符号化のためであっ
たポイントに設定する第１アプローチに反対して決定さ
れなければならない。この条件を満たす境界での新し
い、さらに低いバッファ占有をＢ０’と呼ぶ。これは、
編集セグメント境界での最小許容バッファ占有である。
差異が編集セグメントの後のフレーム間隔に吸収され、
そのためアンダフローが発生しないという事実の結果、
バッファ占有を以前の実行のバッファ占有より低く設定
する可能性が生じる。
【０１５３】図２６のステップ４２０で開始したら、編
集セグメントの最後のフレームの再符号化された映像の
バッファ占有Ｂ０´が、将来アンダフローを起こさない
ゼロであると仮定する。バッファ・アンダフローを発生
しないようにするにはバッファ占有はさらに高くなくて
はならないが、バッファ占有はゼロを下回ることはでき
ないため、これはＢ０´のもっとも寛大な概算となる。
ただし、図２６のプロセスは、再符号化された編集セグ
メントの最後のフレームのゼロという占有がアンダフロ
ーを作成するかどうかを判断するためにチェックし、作
成する場合には、アンダフローを作成しないＢ０´とい
う値が検出されるまで、編集セグメントの最後にあるバ
ッファ占有を増加させる。
【０１５４】図２６のプロセスは、最初の符号化と再符
号化の間のバッファ占有差異Ｘ´を評価する。
【０１５５】Ｘ´＝Ｂ０−Ｂ０´ …（１５） アンダフローのすべてのチャンスが排除されるまでＸ´
が必要に応じてチェックされ、調整されたことが確認さ
れない限り、差異を最終的に決定できないため、差異Ｘ
´は、概算と呼ばれる。図２６の手順は、境界フレーム
の直後のフレーム、つまりｉ−１から開始して、一度に
１フレームずつ進む。Ｂ０´がゼロに等しく設定された
第１フレームの場合、概算される差異は、ステップ４２
２で計算されるように、最初の符号化の第１フレームの
バッファ占有の値にすぎない。
【０１５６】Ｘ´＝Ｂ０ …（１６） 次に、ステップ４２４で、境界フレームの右側のフレー
ムにより吸収されるビット数が判断される。吸収される
ビット数とは、最初の符号化の編集セグメントの後にフ
レームバッファに格納できていただろうが、実際には、
バッファがいっぱいであったため、それ以上ビットを受
け入れることができなかったので、最初の符号化の間に
バッファに格納されなかったビットを参照する場合に使
用されるフレーズである。Δｔｉは、その間バッファが
満杯であり、Ｂ０´の値が小さくなったため、現在は追
加ビットを受け入れることができるようになった、編集
セグメントの後の最初の符号化のｉ番目のフレームの時
間期間を表す。バッファはフレーム全体でいっぱいにな
ることは不可能で、ゼロを上回るか、ゼロに等しくなる
ので、時間期間Δｔｉは、あるフレームの時間期間より
短くなくてはならない。最初の符号化の間に、バッファ
がいっぱいではなかった場合は、時間期間Δｔｉはゼロ
である。したがって、 １／Ｐ＞Δｔｉ≧０ …（１´） この場合、Ｐは、毎秒フレーム単位で測定される画像速
度であり、通常は、毎秒３０フレームである。バッファ
がいっぱいであった結果、編集セグメントの右側に吸収
されるビット総数は、以下となるように計算される。
【０１５７】 ａｉ＝Σi k=1 ΔｔｋＲｍａｘ …（１８） この場合、Ｒｍａｘはバッファの満杯率である。
【０１５８】ステップ４２６は、編集セグメントの最後
のフレームのバッファ占有レベルを決定するための手続
きを終了できるかどうかを判断する。ｉ番目のフレーム
により吸収されるビットの合計がＸ´を超える、つまり
ａｉ＞Ｘ´の場合、バッファ・アンダフローが発生しな
いで、ステップ４２６が実行されるように、バッファが
後の方のフレームにより満たされることが可能であるた
め、手続きが停止し、ステップ４２８が続いて実行され
る。代わりに、最後のフレームｎが（ｉ＝ｎ）に到達す
ると、Ｘ´である概算値によりアンダフローの問題は映
像の最後まで発生しない。
【０１５９】ステップ４２６への答が「ノー」である場
合は、ステップ４３０でビット数ｂｉが計算され、吸収
対象のままとなる。
【０１６０】ｂｉ＝Ｘ´−ａｉ …（１９） その後で、ステップ４３２で、ｂｉ＞Ｂｉであるかどう
かが判断される。この場合、Ｂｉは編集セグメントの後
のｉ番目のフレームのバッファ占有である。ｂｉ＞Ｂｉ
の場合、現在のバッファ占有Ｂｉが許容する以上のビッ
トが吸収対象として残るため、差異の概算値Ｘ´が大き
すぎ、アンダフローを引き起こす。したがって、吸収対
象として残るビットの中で、バッファ占有Ｂｉのビット
だけがアンダフローを引き起こさずに吸収可能なビット
である。次に、差異の概算値Ｘ´は、ステップ４３４で
改訂される必要がある。ステップ４３４では、Ｘ´の改
訂される概算は、以下に示すように、吸収対象として残
るビットに吸収済みのビットを加えたビットとして計算
される。
【０１６１】Ｘ´＝Ｂｉ＋ａｉ …（２０） ステップ４３２がｂｉ＜Ｂｉであると判断すると、ｉ番
目のフレームのバッファ占有は、吸収対象として残るビ
ットを上回るため、アンダフローの問題はなく、概算値
Ｘ´を変更する必要はなく、フローはステップ４３６に
進む。ステップ４３６では、次のフレームが検査され
（ｉは１により増分される）、ステップ４２４、４２
６、４３０、４３２、４３４、および４３６のループ
は、ステップ４２６での決定が肯定応答を得るまで、反
復される。
【０１６２】ステップ４２６が肯定応答を得ると、概算
値Ｘ´は受入れ可能となるため、ステップ４２８で、編
集セグメントの境界での最小許容バッファ占有Ｂ０´が
以下の通りとなる。
【０１６３】Ｂ０´＝Ｂ０−Ｘ´ …（２１） 編集セグメントの再符号化された最後のフレームの実際
のバッファ占有がＢ０´を下回る場合、ビットの再割り
当てのために、アンダフロー状況が発生する。この場
合、最後のフレームは、ｕ ｆｌｏｗリスト内のアンダ
フロー・ポイントとしてマークされ、アンダフロー状況
（変更された映像のビット数と最小許容バッファ占有の
結果として生じるビット数Ｂ０’の間の差異）を防止す
るために編集セグメントの最後のフレームから削除する
必要のあるビット数は、ステップ３９２に記述されるの
と類似したやり方でｕ ｖａｌに格納される。
【０１６４】本発明の符号化システムにとって、映像内
の全ポイントのバッファ占有を理解することが望まし
く、この情報はログ・ファイルに記憶される。ただし、
編集セグメントの最後のフレームでのバッファ占有が引
き下げられると、編集セグメント後の最後のフレームで
のバッファ占有が変更され、ログ・ファイル内のバッフ
ァ占有情報が不正確となるため、編集セグメントの後の
フレームのバッファ占有を計算し直すという訂正措置を
講じる必要がある。
【０１６５】図２５のプロセスに戻って参照すると、ス
テップ３９６では、その後、ｕ ｆｌｏｗリストにエン
トリがあるかどうかを判断する。ない場合には、アンダ
フローの問題はなく、図２５のプロセスは終了する。ｕ
ｆｌｏｗリストにエントリがある場合、フローはステ
ップ３９８に進み、もっとも近いｏ ｆｌｏｗポイント
までのｕ ｆｌｏｗリスト内の各位置の左側のセクショ
ンが保護されているとマークされ、ｕ ｖａｌ内の対応
ビット数がこれらのセクションから削除される。バッフ
ァ・アンダフローは１つまたはそれ以上の任意の数のフ
レーム内のビットが多すぎるため発生するので、フレー
ムの中のビット数を削減すると、アンダフローの問題は
解決する。アンダフローを防止するために削除されるビ
ットのために画質が急激に劣化することがないように、
ビットは、アンダフロー・ポイントのフレームからのみ
削除されるのではなく、バッファがいっぱいであった最
後のポイントまで戻って全フレームから均等に削除され
る。これにより、アンダフローを防止しつつ、最高の画
質を得るための方法が提供される。
【０１６６】それから、ステップ３９８で削除されるこ
れらのビットは、ステップ４００で保護されているとし
てマークされていないセクションにも均等に分配され、
図２５のプロセスがもう一度開始する。ステップ４００
でビットを分配してもアンダフローが問題ではなくなっ
たと保証されるわけではなく、このため、繰り返し図２
５のプロセス全体を使用して、アンダフロー状況がない
か再チェックする必要がある。
【０１６７】図２５のプロセスが完了してから、図１９
のステップ２８８が完了し、図１９のステップ２９０が
実行される。ステップ２９０は、ステップ２８２で決定
される速度・量子化関数を使用して、各フレームの平均
量子化値を決定する。希望されるビットの数は、以前ス
テップ２８６で計算され、ステップ２８８でアンダフロ
ーの問題が存在するかどうか確認するためにチェックさ
れたが、符号化されたデータに希望のビット数が設定さ
れるようにデータを再符号化する目的で、量子化値を決
定する必要がある。これは、速度・量子化関数を使用
し、速度を調べて量子化値を決定するだけで求められ
る。
【０１６８】画像ごとに量子化レベルを決定するため
に、ステップ２８２では速度・量子化関数（ＲＱＦ）が
決定される。この関数を概算するために、各画像の２つ
のデータ・ポイントが必要となる。ＲＱＦは、次の通り
である。
【０１６９】Ｒ＝Ｘ＊Ｑ(-g)＋Ｈ …（２２） この場合、Ｒは１つの画像を符号化するために使用され
るビット数であり、Ｑは量子化スケール、Ｘ、ｇであ
り、Ｈは画像単位でのコーディング特性パラメータであ
る。Ｈは、量子化スケールとは関係のないビットを表す
ため、Ｈはヘッダ、動きベクトル、ＤＣ係数などにより
消費されるビットである。Ｘおよびｇは、指定された量
子化スケールで画像をコーディングするために使用され
るＡＣ係数ビットに対応する一対のデータ・ポイントか
ら概算される。
【０１７０】エンコーダの最初の実行は、ビデオ・シー
ケンス中でコード化された各画像ごとに２つのデータ・
ポイントを生成する目的で使用できる。これは、画像内
のマクロブロックごとに使用される一対の交替できる量
子化スケール値により実行できる。これらは、速度・量
子化モデル・パラメータ「Ｘ」および「ｇ」を計算する
ために処理される。これらの２つのパラメータは、値Ｈ
とともに、コード化された映像のフレームごとに１つづ
つファイルの中に記憶される。
【０１７１】映像のある特定のコード化されたフレーム
に割り当てられる目標ビットを作り出す量子化スケール
を決定する目的で、上記の等式が目標ビットを表す
「Ｒ」とともに使用され、（Ｘ、ｇ、Ｈ）の値が、前述
のログ・ファイルとなる可能性がある記憶済みデータ・
ファイルから読み取られる。この等式に最適する「Ｑ」
の値が、希望の量子化スケールである。
【０１７２】それから、ステップ２９２において、ステ
ップ２９０で決定した量子化値を使用して、映像の変更
されたセクションが再符号化される。再符号化中に特別
の手順に従わない限り、以前に符号化された映像の再符
号化セグメントは、無理に符号化問題（２次発生的な問
題）を生じさせる可能性があることを注記する必要があ
る。符号化および復号化における２次発生問題を回避す
るための再符号化プロセスの詳細は、以下の別個の項で
説明する。映像は、再符号化されてから、以前に符号化
された映像のビットストリームに置換され、プロセスが
終了する。
【０１７３】図６で記述されるように、ユーザは、映像
が受入れ可能であるかを判断するために再符号化されて
から、映像を表示することができる。映像が受入れ可能
ではない場合は、ユーザは新規に符号化された映像を受
け入れる必要はなく、以前に符号化された映像を使用し
続けることができる。ユーザが新規に符号化された映像
を望ましいとする場合、新規に符号化された映像が以前
に符号化された映像を置き換える。その後で、ユーザ
は、図６に図解されるように、空間的または時相的に、
映像の新しいセグメントを編集できる。
【０１７４】図２７および図２８は、最初の映像符号化
からで、ユーザが手動品質優先順位を入力した後のビッ
ト伝送速度（ビットレート）の２つの異なる例を示して
いる。図２７および図２８では、（メガビットを示す１
０6 のスケールでの）ビット伝送速度が、画像グループ
（ＧＯＰ）番号に対してプロットされる。図解された例
においては、１つのＧＯＰに１５の画像が含まれ、各Ｇ
ＯＰは１／２秒ごとに表示される。また、実線が最初の
符号化を示し、破線が、ユーザが手動で画質を調整した
後の符号化を示す。
【０１７５】図２７では、優先順位２、−３、３、０が
設定され、保護されている５個の異なる優先順位領域の
符号化状態が示されている。優先順位３が設定された時
間期間は、最初の符号化に比較して、再符号化後ではさ
らに多くのビットを使用している。優先順位は、互いに
単に相対しているだけなので、優先順位２でマークされ
たセクションではビット伝送速度は大幅に引き上げられ
ていないが、−３および０が設定されたセクションでは
ビット伝送速度は引き下げられている。保護されたセク
ションには、再符号化後も、再符号化の前に存在したの
と類似したビット伝送速度が設定されるはずである。
【０１７６】図２８は、ユーザが選択した優先順位０、
２、０、４および０がそれぞれ設定された領域のある第
２の例である。再び、優先順位は互いに相対しているた
め、優先順位０は、ビット伝送速度が未変更であること
を意味するのではなく、単に優先順位２および４が設定
されたそれ以外のセクションに相対した優先順位であ
る。優先順位４が設定されるセクションに高い伝送速度
を指定するため、ユーザが選択した優先順位０が設定さ
れた３つのセクションは減少され、優先順位２が設定さ
れたセクションには符号化される前後とほぼ同じビット
伝送速度が設定される。
【０１７７】時相手動編集のための処理は、本発明の実
施例の図１のワークステーション３０で発生する。ただ
し、時相手動編集は映像符号化プロセスの間には発生し
ないため、ワークステーション１０は、映像符号化プロ
セスの速度を劣化せずに時相手動編集計算を実行するこ
とができる。
【０１７８】本発明は、１つの編集セグメントに含まれ
るさままざまな時間セグメントの画質が変化する場合を
説明した。言うまでもなく、同じセグメント内にない画
像のセクションの品質の変化を得られるように、この概
念を拡張することは可能である。例えば、映画の最初の
５分間を犠牲にして最後の５分間の品質を向上させるよ
うに、本発明を適用することができる。単独の編集セグ
メント外の時間期間の品質の変更が希望される場合、ユ
ーザが、重要なセグメントを順次表示し、確認し、ビッ
トを割り当て直し、各セクションのトレーリング・エッ
ジにあるバッファ占有だけでなく映像の合計ビットに関
係する抑制事項が規定の範囲内にあることを保証するこ
とが必要である。ただし、これは本明細書に記載された
教示に基き、過度の実験を行なわなくても当業者により
達成できる。
【０１７９】手動の仮編集は、編集セグメントの最初の
符号化ビット数を、編集セグメントの再符号化のビット
数と同じになるものとして記述した。しかし、希望する
場合には、再符号化された編集セグメントの消費するビ
ット数がさらに少なくなってもよく、あるいは、十分な
記憶容量が存在する場合には、再符号化された編集セグ
メントのビット数は最初の符号化のビット数を超えても
よい。また、最初の符号化を、最終的なデジタル記憶媒
体の利用可能な全記憶領域空間を消費しないように実行
することができる。したがって、再符号化後のビット総
数は、最初の符号化のときより多い又は少量を消費する
可能性がある、例えば０％と２０％の間であり、これに
は５％および１％を増減するビットを含む。
【０１８０】時相手動編集の説明は、符号化された後の
映像の変化に関して記述されてきた。しかしながら、本
明細書に記載される教示は、初期符号化ポジションが存
在しなかったシステムに適用できる。さらに、共通ビッ
ト・プールの使用に関する時相手動編集の教示は、後述
のビデオ・フレームの空間手動編集の概念にも適用でき
る。また、後述のように、空間手動編集が個々のフレー
ムに対して動作する様式は、高品質の時相編集を達成す
るために、一連のフレームに適用できる。
【０１８１】B． フレームの領域内での品質の変更 図２９は、任意の数のフレーム内の領域の品質を変更す
るための一般的な手順を示している。開始後、ステップ
４５０では、システム構成要素および一般的なシステム
動作に関連する項で説明したように、MPEGフォーマット
またはそれ以外のフォーマットのような圧縮デジタル・
フォーマットに入力された映像を符号化する自動映像符
号化が実行される。ステップ４５２では、ユーザに符号
化映像が表示され、ステップ４５４では、ユーザが任意
の数のフレーム内の領域の品質変更を示すコマンドを入
力できるようになる。
【０１８２】図３０は、図１に示されるビデオ・ディス
プレイ・モニタ６１のようなモニタ上で表示されるビデ
オのフレームを示している。図３０のビデオのフレーム
は、木４６５、人物４６７、鳥４６８、２つの雲４７１
があるとして示される。
【０１８３】図３０においては、フレーム内の領域は、
木４６５を囲む領域４６６、人物を囲む領域４６９、さ
らに領域４７０を有し、この領域４７０は領域４６９と
重複し、鳥４６８および人物４６７の頭部を含む。これ
らの領域は、図１に示されるグラフィックス・ポインテ
ィング・デバイス３３を使用して描画された。図３０で
ユーザにより設定された品質優先順位には、木を含む領
域４６６の−５、人物を含む領域４６９の＋２、および
鳥と人物の頭を含む領域４７０の＋４が含まれる可能性
がある。図３０内のビデオ・フレームのそれ以外の領域
には、ユーザ定義の優先順位は指定されていないため、
「無関係」の優先順位が割り当てられる。後述するよう
に、「無関係」領域とは、フレームの最初の符号化の結
果生じたビット数に等しくなるように、ユーザ定義優先
順位が指定されたフレームの符号化のビット総数を調整
する目的で、ユーザ限定領域の量子化レベルを変更した
後に最初に修正された領域のことである。ユーザがフレ
ームの領域の品質の変更を望まない場合、これらの領域
は、ユーザにより優先順位０が設定されるとしてマーク
される。
【０１８４】本発明の実施例においては、ビデオのフレ
ーム内の優先順位領域を限定するときに、ユーザは、グ
ラフィックス・ポインティング・デバイスを使用して表
示されたビデオのフレーム上に、最初に矩形領域を作成
する。後で限定される領域は初期に限定された領域の上
面に配置され、初期に限定された領域と重なる可能性が
ある。本発明が矩形領域の限定に関して説明されるとし
ても、言うまでもなく本発明の趣旨は、円や楕円形など
の曲線のある領域、八角形や六角形のような多辺形領域
を含む任意の形状の領域、あるいはそれ以外の曲線や直
線またはその両方を含むユーザが限定した形状に適用で
きる。ユーザは、各領域を限定してから、領域の優先順
位を定義する。代わりに、ユーザは、すべての領域の形
状を限定し、その後でこれらの領域の優先順位を指定す
ることができる。
【０１８５】ユーザが任意の領域内で初めて優先順位を
限定すると、領域はピクセル・ロケーションに対応す
る。ただし、以下に記述される優先順位を割り当てるプ
ロセスは、デジタル映像符号化で使用される単位である
マクロブロックを基本にして動作する。したがって、マ
クロブロックがユーザが限定した領域内あるいはユーザ
が限定した領域の外側の周辺部にある場合、そのマクロ
ブロックにはその領域の優先順位が指定される。当業者
は、単純な数学を使用してユーザが限定した領域に対応
するマクロブロックを決定することができる。ユーザ限
定（指定）領域の外側の周辺部の場合、領域の外側の周
辺部がマクロブロックと交差する場合に、ユーザが指定
した領域内のマクロブロックを単純に入れることの代替
策として、マクロブロックを領域内に入れるべきかどう
かを判断するさらに精密なプロセスが、実行できる。こ
れは、マクロブロックの５０％以上がユーザ限定領域内
にある場合は、ユーザ限定領域内のマクロブロックを入
れ、マクロブロックの５０％以下がユーザ限定領域内に
ある場合には、ユーザ限定領域からマクロブロックを排
除するというものである。
【０１８６】領域およびその優先順位が定義された後に
は、ユーザは希望する場合は領域の重複を変更できる。
例えば、ユーザは、事前に決定されたファンクション・
キーを押したままの状態で、図３０の領域４６９を「ク
リック」し、領域４６９が領域４７０の上に来るように
変更し、人物全体に領域４６９の優先順位を与え、鳥だ
けが領域４７０に指定される優先順位を持つようにする
ことができる。ユーザが入力する場合は、重複する領域
にスタック優先順位が与えられる。このスタック優先順
位は、ユーザ限定領域が追加、削除、または修正される
と、必要に応じて調整される。
【０１８７】領域限定後は、ユーザは、グラフィックス
・ポインティング・デバイス３３を使用して、希望に応
じて領域を形成し直したり、領域を移動することができ
る。また、ユーザにより限定された領域は、グラフィッ
クス・ポインティング・デバイス３３を使用して削除す
ることができる。領域は削除されるにしても、ユーザ限
定優先順位だけは削除されるが、削除中の領域内の最初
のビデオ・データが削除されないのは言うまでもない。
【０１８８】経時的な品質の変化に関する前の項で説明
したように、ユーザは、自動符号化中または自動符号化
後、ユーザは符号化された映像をレビューすることがで
き、フレームまたは重要な時間領域があった場合、ユー
ザはキーボード上でキーを押すか、あるいは別のデバイ
スから入力するだけで、特定のフレームまたは時間期間
の表示を得ることできる。後で、ユーザは、もとのフレ
ームまたは時間期間に戻り、希望に応じて時間期間の研
究およびその時間期間内の特徴の変更にさらに時間を費
やすことができる。
【０１８９】ビデオのフレーム内で領域を指定する処理
については、ユーザが修正するデータのフレームが１つ
だけの簡単な場合に付いて説明した。しかしながら、一
度に１フレームずつのデータフレームで作業を行うのは
きわめて長たらしいため、本発明を使用すると、ユーザ
は第１時間期間で任意の領域を限定し、後の時間期間で
対応する領域を限定することができる。その後、第１フ
レームと最終フレームの中間の全ビデオ・フレームに対
しては、第１領域及び又は最終領域と同じ優先順位、ま
たは第１と最終フレームの優先順位に基づく優先順位が
自動的に設定される内挿処理が実行される。第１領域、
最終領域とは、第１フレームおよび最終フレームに対し
てユーザが指定した領域に対応する領域であり、中間の
フレームにもこの領域に対応する領域がある。さらに、
重複領域のスタック優先順位は、内挿プロセスの間も維
持される。中間フレームの領域が自動的に作成された後
は、ユーザは、優先順位、領域の形状、新規領域追加、
または領域削除を希望に応じて変更することにより、自
動的に作成された領域を変更できる。
【０１９０】以下は、内挿プロセスがどのように動作す
るのかを例を示している。ユーザに時間インスタンスｔ
１およびｔ ｎのときの２フレームの優先順位領域を
選択させる。ユーザがフレームｔ １内の領域およびｔ
ｎ内の対応する領域を指定した後で、これらの２つの
領域の座標が中間フレーム上で内挿され、ｔ ｎおよび
ｔ ｎの間のすべてのフレームの指定領域情報を入手す
る。内挿は、限定中の実際の領域に対して実行されるだ
けではなく、内挿は品質優先順位に関しても実行でき
る。内挿プロセスの場合、単純な一次関数が使用され
る。ユーザが、ポイントａ １が設定されたフレームｔ
１の領域Ａを限定し、フレームｔ ｎの中に領域Ａに
対応するポイントａ ｎが存在し、中間フレームａ
２、ａ ３．．．ａ （ｎ−１）に対応するポイントが
あるとすると、その水平座標は ａ ｉ（ｈ）＝ａ １（ｈ）＋（ａ ｎ（ｈ）−ａ １（ｈ）） × （ｉ−１ ）／（ｎ−１） …（２３） 垂直座標は ａ ｉ（ｖ）＝ａ １（ｖ）＋（ａ ｎ（ｖ）−ａ １（ｖ）） × （ｉ−１ ）／（ｎ−１） …（２４） である。
【０１９１】この場合、ｈおよびｖは問題のポイントの
水平座標および垂直座標に対応する。このプロセスで
は、領域を限定する多辺形（ポリゴン）の頂点だけが使
用され、頂点は内挿される。その後で、領域は頂点によ
り限定される。一次内挿以外の他の内挿技法も実行でき
る。
【０１９２】前記内挿プロセスは、編集対象のセグメン
トの全フレームの全領域が適切に定義されるまで、必要
に応じて何度でも実行できる。さらに、このプロセス
は、ユーザが中間フレームの内挿を通して決定される領
域を移動したり、領域のサイズを変更できるように、微
調整プロセスが行われる再帰性となり、第１フレームお
よび変更された中間フレームに対してもう一度実行され
てから、中間フレームおよび最終フレームに対して再度
実行される。内挿プロセスは、おもに、フレームにまた
がって移動する領域の限定に使用される。ただし、本発
明は、静かで一連のフレーム内にて使用される領域を一
度だけ限定することも含む。
【０１９３】領域が限定され、ユーザ定義優先順位が入
力されてから、各マクロブロックの新しい量子化値が、
図２９のステップ４５６で、ユーザによる優先順位入力
およびマクロブロックの旧量子化値に基づいて概算され
るか、決定される。これは、図３１に示した関連性に従
い決定されるもので、この図３１は、ユーザ選択優先順
位のそれぞれとともに使用される最初の量子化値の分数
を示している。例えば、ユーザが優先順位ゼロを入力す
ると、使用される最初の量子化値のその結果生じる分数
は１となり、元の量子化値に対する変更がないことを意
味する。ユーザが優先順位−３を選択すると、最初の量
子化値の分数は１．５８となり、優先順位３を持つマク
ロブロックの最初の量子化値は、量子化値の結果を決定
するために１．５８を乗算されることを意味する。優先
順位−３は、品質の低下を意味するため、マクロブロッ
クに使用されるビットが少ないことを意味する低品質画
が達成されるように、量子化レベルは増大させなければ
ならない。反対に、３のような正の優先順位がユーザに
より入力される場合、最初の自動符号化から得られたマ
クロブロックの量子化値は、量子化レベルを引き下げる
０．４２と乗算される。量子化レベルが引き下げられる
と、マクロブロック内のイメージを表すのに必要となる
ビット数が増し、したがって、画質が向上することを意
味する。図３１中に示される線上のポイントは、（−
５、１００）、（−４、１．７５）、（−３、１．５
８）、（−２、１．４２）、（−１、１．２５）、
（０、１）、（１、０．７２）、（２、０．５８）、
（３、０．４２）、（４、０．２５）および（５、０．
０１）となる。図３１中のマッピングは、ｑ−レベル
（量子化レベル）と優先順位と間の１個単位の線状の関
連性に基づいて示されている。図３１で決定されたポイ
ントは、実験を通して決定されている、また、異なる分
数（フラクション）が、希望に応じてユーザ選択優先順
位ととともに使用できるものである。
【０１９４】優先順位−５および５は、それぞれ最高の
品質および低位の品質を得ることを目的としている。低
位の品質は、非線形量子化スケールが使用される場合の
最高許容量子化レベル１１２と、線形量子化スケールが
ＭＰＥＧ−２符号化に使用される場合の最高許容量子化
レベル６２とから、生じる。また、最大品質の達成に使
用される最低量子化レベルは１である。したがって、図
３１で示される関係性から、実際の許容されたｑスケー
ル（量子化スケール）から外れた値が生じる結果となる
場合があるが、その場合、これらの計算されたｑ値（量
子化値）はその飽和レベルに置かれる。例えば、最初
に、マクロブロックに量子化器スケール−５が設定さ
れ、ユーザが、マクロブロックの優先順位が−５となる
ように選択すると仮定する。１００により乗算される量
子化値２０は、その結果として新規量子化レベル２，０
００を生じさせるが、これは量子化値スケールから離れ
ているため、最大量子化値、つまり飽和量子化値が使用
されることになる。
【０１９５】前記の飽和レベルの使用に加えて、本発明
は、ＭＰＥＧ符号化のＩフレーム、ＰフレームおよびＢ
フレームに対して予防措置を講じる。本発明は、非線形
量子化ケースの場合、Ｉ−型フレームの最高量子化レベ
ルが９６となり、線形量子化スケールの場合には５８と
なるように制限する。同じようにして、Ｂ−型フレーム
およびＰ−型フレームの最高量子化レベルは、非線形量
子化スケールの場合は１１２に、線形量子化スケールの
場合には６２である。線形量子化スケールおよび非線形
量子化スケールは、ＭＰＥＧ規格に定義される。Ｉ型フ
レーム、Ｐ型フレーム、およびＢ型フレームのそれぞれ
に使用される最低量子化レベルは１である。言うまでも
なく、図３１に示された最初の量子化値のユーザ定義入
力および分数は、ユーザの要件を満たすために修正でき
る。
【０１９６】ステップ４５６で各マクロブロックの新し
い量子化値が計算されてから、ステップ４５８ではステ
ップ４５６で決定された量子化値から生じる各フレーム
のビット数を決定する。このステップは、本発明の実施
例では、ある領域の品質が向上される一方、別の領域の
品質が低下した後、各フレームには同じビット数が得ら
れなければならないため重要である。新規量子化値から
生じるビット数を決定するためには、各マクロブロック
に結果として生じるビット数に対する量子化レベルを適
切に概算する関数を設定する必要がある。結果として生
じるビット数と量子化レベルとの間の関連性を決定する
ためには、ＭＰＥＧ−２エンコーダのようなビデオ・エ
ンコーダの経験的な結果について研究が行われ、決定さ
れた関連性は実際の経験的な結果に基づいている。多く
のビデオシーケンスを用いて、さまざまな量子化値レベ
ルおよびフレーム型のシミュレーションの結果が導きだ
された。これらの結果に基づき、フレーム型に応じて、
マクロブロックの量子化レベル（ｑ）とそのマクロブロ
ックの符号化に使用されるビット（ｂ）数の間の関係性
は、 ｌｏｇ（ｂ）＝ｍ ｌｏｇ（ｑ）＋ｎ …（２５） となると判断された。この場合、Ｉ−型フレームの場合
ｍ＝−０．７５となり、Ｂ−型フレームおよびＰ−型フ
レームの場合−１．０となる。さらに、Ｉフレーム、Ｐ
フレーム、およびＢフレームのそれぞれは、ｎ＝１５、
１４．５および１３．８となる。これらの値は、前記し
たように、多くのビデオ・シーケンスで平均化されたも
のである。前記の等式は、エンコーダの動作を予測する
ために適した近似基準として働き、ビット数と量子化レ
ベルの間の関係性はログ領域では線形となる。正確であ
るなら、前記量子化レベルと結果として生じるビット数
との関連性は、本明細書に記述される他の速度・量子化
関数を含む、指定された量子化レベルから生じるビット
数を決定するために利用できる。
【０１９７】前記プロセスは、指定された量子化レベル
から生じるビット数を決定する方法を記述する。ただ
し、複数の符号化が使用される場合、新しい符号化から
の情報を使用して量子化関数に対するデータ転送速度を
さらに正確にすることができる。初期の自動符号化プロ
セスの間、符号化対象の映像の統計を収集するために使
用される第１映像符号化パスがある。それから、実際の
符号化である第２のパスの間に、指定されたｑ−レベル
から生成されたビット数ｂを記述する前記等式に応じた
ｑ対ｂプロットのように、量子化関数対データ転送速度
の別の実際のポイントが得られる。前述したように、ユ
ーザの指定選択に従いデータが再符号化された後の、結
果生じた再符号化された映像は、それが希望していた品
質の改善を満たしてるかどうかに応じて、ユーザにより
受け入れられるか、あるいは拒絶される。再符号化する
たびに、概算ビット対ｑ−レベルの関連性を表す実際の
データが生成される。新しいｑ−レベルの割り当てｑ´
が指定されると、決定されるデータ伝送速度は、再符号
化により得られる追加データに基づき、このポイントに
対してさらに正確になる。新しい量子化器レベルｑ´が
以前に得られた２つのポイントの間になる場合、ログ領
域で線形内挿を実行し、新しいｑ−レベルを使用してエ
ンコーダが出力するビット数の概算を得ることができ
る。新しい量子化レベルｑ´が２つの決定されたｑ−レ
ベルの間に該当しない場合、新しい量子化レベルｑ´に
もっとも近いｑ−レベルから外挿するためにモデルを使
用し、符号化時に生成されるべきビット数を概算するこ
とができる。データの再符号化に要する時間が長いほ
ど、エンコーダの出力ビットに対してより優れた概算を
得る確率が高くなる。
【０１９８】概算された量子化値から生じる各フレーム
のビット数が図２９のステップ４５８で決定された後、
ステップ４６０は、ビット概算数が各フレームの最初の
ビット数に十分に近いかどうかを判断し、必要ならビッ
ト数を訂正する。これは、図３２〜図３８で示されるプ
ロセスに従い実行される。
【０１９９】ステップ４６０が実行されると、図３２の
ステップ４７２は、まずビット概算数と最初の符号化の
ビット数の差異を決定する。これは、以下に示す等式に
従い計算される。
【０２００】Ｄ＝Ｂ´−Ｂ …（２６） この場合、Ｂ´は修正されたフレームの概算ビット数で
あり、Ｂは最初の符号化から生じるフレームのビット数
であり、Ｄはその差異である。最初の符号化の結果生じ
るビット数以外の値をＢとして使用できるのは言うまで
もない。例えば、ユーザは、任意のフレームのビット総
数を増加する場合、Ｂを最初の符号化から生じるビット
数より多い事前に決定された量である任意の数にＢを設
定する。同じようにして、ユーザは、Ｂをフレームの最
初のビット数より低くなるように設定することもでき
る。したがって、再符号化されたフレームが消費するビ
ットは、記憶領域の抑制事項、最小品質抑制事項、およ
びビデオ・バッファ・アンダフローの可能性に応じて、
最初の符号化より多くなるか、少なくなる可能性があ
る。また、フレーム内の領域でその量子化値が変更され
ていない場合、その量子化値が変更された領域から生じ
るビット数を解析し、変更されなかった領域を無視する
ことができる。その後で、ステップ４７４はこの差異を
解析し、ビット数が多すぎると判断されると、フロー
は、マクロブロックの量子化レベルを上げ、ビット数を
減少させる目的で、図３２〜図３８に示されたプロセス
のためにＢ（図３３のステップ４８０）に進む。ステッ
プ４７４が修正されたフレーム内のビット数が少なすぎ
ると判断すると、新しいフレームのマクロブロックの量
子化レベルは、図３２〜図３８に示されるプロセスＦ
（図３６のステップ５５０）に従いさらに多くのビット
を生成するために、引き下げられなければならない。そ
うではなく、差異が許容スレッショルド範囲内にある場
合には、マクロブロックの量子化レベルを修正する必要
はないので、プロセスは図２９のステップ４６２を実行
するために戻る。再符号化された映像をフレーム中のビ
ット数と同じ保つ場合、ある領域から別の領域にシフト
するためにビットを考慮することができる。
【０２０１】ステップ４７４では、差異Ｄが、スレッシ
ョルドＴと比較されることで解析される。スレッショル
ドは０．００１×Ｂに設定され、領域の品質の変化から
生じるビット数がビット総数の０．００１範囲内にある
場合、差異は許容可能で、プロセスが停止する可能性が
あることを意味する。言うまでもなく、差異が受入れ可
能であることを示す停止スレッショルドを、代わりの方
法で決定し、希望に応じて増減し、フレームの最初のビ
ット数とユーザ選択優先順位から生じる結果のビット数
の両方に基づいてもよい。
【０２０２】図３３〜図３５および図３６〜図３８に示
されるプロセスは、図３３〜図３５がユーザ選択品質か
ら生じるビット数の減少に使用され、図３６〜図３８が
ユーザ選択品質から生じるビット数の増加に使用される
点を除き、きわめて類似している。今度は、図３３〜図
３８で実行されるプロセスの詳細を説明する前にその一
般的な概要を説明する。当初、任意のビデオ・フレーム
内のマクロブロックには、「無関係＝関心なし」、「負
の優先順位」、「正の優先順位」および「無変更＝変更
なし」という４種類の内の１つとしてラベルが付けられ
る。領域にユーザによる優先順位が指定されていない場
合、あるいはシステムによりユーザが「無関係」ステー
タスを指定できる場合、その領域は「無関係」型である
と見なされる。ユーザが−５以上、−１以下の優先順位
を指定すると、これらの領域内のマクロブロックは、
「負の優先順位」と見なされる。領域に１以上５以下の
優先順位が指定されると、これらの領域は「正の優先順
位」と見なされる。最後に、すべての領域に優先順位０
が指定される場合、あるいはシステムを使用し、ユーザ
が他のなんらかの方法で、ある領域の品質の変更はしな
いこと示すことができる場合、それらの領域のマクロブ
ロックは「無変更」型であると見なされる。
【０２０３】４つのマクロブロック型の内の各マクロブ
ロックは、４種類のそれぞれに独自のインデックスのセ
ットが設定されるように、インデックスｉでラベルが付
けられる。ゼロのインデックスｉは第１マクロブロック
に指定され、Ｎ−１のインデックスは最後のマクロブロ
ックに指定される。この場合、Ｎは領域型内のマクロブ
ロック総数である。例えば、「無関係」領域がすべてで
あれば、これらの領域内の各マクロブロックに０からＮ
−１のインデックスが付けられる。２つ以上の異なる
「無関係」領域が存在する場合、「無変更」領域に２つ
の異なるインデックスｉ＝０は存在しないことに注意す
る。すべてが「無関係」領域の場合、インデックス０が
付いた唯一マクロブロック、インデックス１が付いた１
つのマクロブロックがある。
【０２０４】ユーザが領域の優先順位を決定した後にフ
レーム内のビットが多すぎる場合、フレームのビット数
を減少させるために、そのフレームの量子化レベルを上
げる必要がある。マクロブロックの最初の量子化値は、
図１６または図１７のどちらかに示されたフォーマット
のマクロブロック・レイヤ・ログ・ファイルから取り出
される。代わりに、量子化値がエンコーダの最初の実行
の後に記憶されていなかった場合には、エンコーダを再
実行され、量子化値を決定できる。別の代替策として
は、符号化されたビットストリームを復号化することに
より、最初の符号化の量子化値を決定する方法がある。
ビット数を減少させるための手続作業の方法は、「無関
係」型の各マクロブロックの量子化レベルを、一度に１
マイクロブロックにつき、１量子化レベル上げることで
ある。これで問題が解決しない場合は、各「無関係」マ
クロブロックに、一度に１マクロブロックにつき、その
ｑレベルを再び１増加させる。事前に最大量子化レベル
が設定されており、マクロブロックの量子化レベルのど
れもこの最大レベルを超えて増加できない。「無関係」
タイプのすべてのマクロブロックがこの最大レベルに到
達すると、「負の優先順位」および「正の優先順位」領
域が同じようにして１増加する。最初に、すべての負の
優先順位マクロブロックが１量子化レベル増加され、こ
れでビット差異の問題が解決しない場合には、「正の優
先順位」のマクロブロックがその量子化レベルを１増加
されることになる。これでも問題が解決しない場合、
「負の優先順位」マクロブロックの量子化レベルが再び
１増加され、これで問題が解決しない場合には、「正の
優先順位」型のマクロブロックがその量子化レベルを１
増加される。このように「負の優先順位」型および「正
の優先順位」型によりすべてのマクロブロックがその量
子化レベルを先の最大レベルまで増加させるまで、プロ
セスが続行される。これでビット差異問題が解決しない
場合、ビット差異問題が解決するまで、「無変更」型の
マクロブロックがその量子化レベルを一度に１量子化レ
ベル増加させる。十中八九、ビット差異問題は、「無変
更」型の量子化レベルの変更が始まる前に訂正されるこ
とになる。ユーザ選択優先順位が設定されたフレームの
ビット数が少なすぎ、図３６〜図３８のプロセスに従い
ビット数を増加するために、マクロブロックの量子化レ
ベルを引き下げる必要がある場合には、同様のプロセス
が発生する。
【０２０５】今度は、ビット数が多すぎる場合に図３２
により実行される図３３に図解されるフローチャートを
見ると、プロセスは、ステップ４８０がブロック型を
「無関係」に設定することにより、図３３のステップ４
８０で開始する。それから、ステップ４８２は、マクロ
ブロック・インデックスを開始ポイントに設定する。こ
れはインデックスｉがゼロに等しく設定されるという意
味である。それから、ステップ４８６が実行され、設定
されているマクロブロック型となる、問題（インデック
スｉ）のマクロブロック（フローチャート全体を通じて
最初であり、「無関係」型の初めてのマクロブロック）
の量子化レベルに事前定義の最大量子化レベルが設定さ
れているかどうかを判断する。この修正のための最大量
子化レベルは、修正されたマクロブロックの品質が極端
に低下してしまうような、高過ぎるレベルに設定すべき
ではない。可能なら、マクロブロックの品質に大きな差
異がないような均一したやり方でビット数を減少させる
ために、品質を引き下げ酔うとするのが望ましい。した
がって、この最大は、線形量子化スケール使用時には量
子化レベル６２で設定され、非線形量子化スケールがMP
EG−２符号化として非線形量子化スケールが使用される
場合は、１１２で設定される。しかしながら、最大量子
化値にはそれ以外の値も使用できる。問題のマクロブロ
ックの量子化レベルがステップ４８６で最大ではないレ
ベルに決定されると、ステップ４８８では、問題のマク
ロブロックの量子化レベルを１量子化レベルだけ増分す
る。その後に、ステップ４９０では、前記ビット数・量
子化関数を使用してフレームのビット概算を計算し直
す。それから、ステップ４９０がマクロブロックのイン
デックス分を増分する。マクロブロックのインデックス
がそのマクロブロック型の最後のマクロブロックが処理
されていないことを示すと、フローループがステップ４
８４に戻る。ループがバックしない場合には、フローは
ステップ４９２からステップ４９８に進み、ブロック・
インデックスがゼロにリセットされ、第1マクロブロッ
クを示すようになる。
【０２０６】フローがステップ４８４に戻ると、ステッ
プ４９０で計算し直されるビット概算は、前述のように
スレッショルドに比較される前記の差異Ｄを計算し直す
のに使用される。ビット概算が高すぎるようなことがな
い場合には、ユーザ選択優先順位を有するフレームのビ
ット数が訂正され、フローが呼出しプロセスに戻る。戻
らない場合には、フローはステップ４８６に進み、（イ
ンデックスｉが設定される）問題のマクロブロックの量
子化値が最大であるかどうかもう一度判断される。
【０２０７】ステップ４８６で、問題の量子化値が最大
であると判断されると、そのブロックの量子化レベルは
増分すべきではなく、ステップ４９４でブロック・イン
デックスｉが１増分される。ステップ４９６で、マクロ
ブロック型のインデックスが最後のブロックを通り過ぎ
ていないと判断されると、フローは、ステップ４８６に
戻り、増分されたインデックスのブロックが最大量子化
値となるかどうかを判断する。そうではなく、ステップ
４９６でマクロブロックが問題のマクロブロック型の最
後のマクロブロックであると判断されると、ステップ４
９８が実行され、第１マクロブロックに対するブロック
・インデックスがリセットされる（ｉ＝０）。それか
ら、フローが図３４に図解されるプロセスＣに進む。
【０２０８】図３４では、ステップ５００が、ブロック
型が「無関係」型であるかどうかを調べる。ブロック型
が「無関係」型の場合、ステップ５０２で、すべての
「無関係」マクロブロックに最大ｑレベルが設定されて
いるるかどうかが判断される。「無関係」マクロブロッ
クのすべてに最大ｑレベルが設定されているる場合、
「無関係」型マクロブロックには、それ以上調整を実行
できないため、マクロブロック型はステップ５０４で
「負の優先順位」に変更され、フローが図３３に示され
るプロセスＤに戻り、ステップ４８４が実行される。そ
れ以外の場合、ステップ５０２で「無関係」型のすべて
のマクロブロックに最大ｑレベルが設定されていないと
判断されると、フローは修正中のマクロブロックの型を
変更しいないでプロセスＤに戻る。この手順は、その結
果として生じるフレームのビット数がスレッショルド範
囲内になるか、あるいは「無関係」型のすべてのマクロ
ブロックが最大量子化レベルに設定されるまで続行し、
その結果ブロック・タイプが「負の優先順位」に変更さ
れる。
【０２０９】ステップ５００で、ブロック型が「無関
係」型ではない判断されると、ステップ５０６がブロッ
ク型が「負の優先順位」であるかどうか判断する。ブロ
ック型が「負の優先順位」である場合、ステップ５０８
は「正の優先順位」のすべてのブロックに最大ｑレベル
が設定されているかどうかを判断する。ステップ５０８
での決定の結果が負であると、ステップ５１０が実行さ
れ、ブロック型が「正の優先順位」に設定され、フロー
が図３３に示されるプロセスＤに進む。
【０２１０】ステップ５０８で、「正の優先順位」のす
べてのマクロブロックが最大ｑレベルであると判断され
ると、ステップ５１２は、「負の優先順位」型のすべて
のブロックが最大ｑレベルであるかどうか調べる。最大
ｑレベルでない場合には、ブロック型は変更されず、フ
ローは図３３のプロセスＤに戻る。ステップ５１２で
「負の優先順位」型のすべてのマクロブロックが最大ｑ
レベルであると判断されると、すべての「無関係」マク
ロブロック、「負の優先順位」マクロブロック、および
「正の優先順位」マクロブロックは最大量子化レベルと
なり、ブロック型はステップ５１４で「無変更」に設定
される。その後で、フローは図３３のデータプロセスに
進む。
【０２１１】図３５のプロセスＥおよびステップ５２０
は、図３４のステップ５０６に否定の決定が下された後
で実行される。ステップ５２０では、ブロック型が「正
の優先順位」であるかどうか判断する。正の優先順位で
ある場合には、ステップ５２２で、「負の優先順位」型
のすべてのブロックに最大Ｑレベルが設定されているる
かどうかが判断される。最大Ｑレベルが設定されていな
い場合、ブロック型は「負の優先順位」に設定され、フ
ローは、図３３に示されるプロセスＤに戻る。ステップ
５２２で、「負の優先順位」型のすべてのブロックに最
大ｑレベルが設定されていると判断されると、ステップ
５２６が、「正の優先順位」型のすべてのブロックに最
大ｑレベルが設定されているかどうかを調べる。設定さ
れていない場合、フローは図３３に図解されるプロセス
Ｄに戻る。それ以外の場合、すべての「無関係」ブロッ
クとともにすべての「負の優先順位」および「正の優先
順位」に最大量子化レベルが設定され、ステップ５２８
がブロック型を「無変更」に設定し、フローが図３３に
示されるプロセスＤに戻る。
【０２１２】ステップ５２０でブロック型が「正の優先
順位」ではないと判断されると、ブロック型はそれ故
「無変更」型にならなければならず、ステップ５３０で
「無変更」型のすべてのブロックに最大ｑレベルが設定
されているかどうかが判断される。設定されている場
合、ユーザ選択優先順位が設定されたフレーム中のビッ
トが多すぎるという問題を解決しないで、すべてのブロ
ック型が最大量子化レベルに設定されているということ
なので、エラーが存在する。すべてのブロックを最大の
事前定義のｑレベルに設定すると、フレームの最初の符
号化を超えないビット数を生じるはずである。ステップ
５３０の決定が否定の場合、フローは、図３３のプロセ
スＤに戻る。
【０２１３】図３２のプロセスで、フレーム内において
ユーザ選択優先順位領域のある領域内のビットが少なす
ぎると判断されると、図３６〜図３８のプロセスが実行
される。図３６〜図３８は、量子化レベルが、フレーム
のビット数を増加するために引き下げられ、マクロブロ
ックの量子化レベルが、減少時に量子化レベル１のよう
な事前に決定された最小レベルを超えないという点を除
き、図３３〜図３５のプロセスに基づいている。図３６
〜図３８のプロセスは、上記した差異以外は、図３３〜
図３５のプロセスと同一なので、簡単のためにこれ以上
図３６〜図３８の説明を省略する。
【０２１４】図３２〜図３８に記述される訂正プロセス
は、本発明の動作に関するある１つの方法である。しか
しながら、さまざまな型のマクロブロックの量子化レベ
ルを調整する代替手順も考えられる。例えば、前述した
ように「負の優先順位」マクロブロックおよび「正の優
先順位」マクロブロックの量子化レベルを変更する代わ
りに、「負の優先順位」型、「正の優先順位」型および
「無変更」型を、均一に増加することもできる。代わり
に、ビット数が多すぎる場合には、最大量子化レベルに
到達するまで「負の優先順位」型の量子化レベルを上げ
てから、正の優先順位」型マクロブロックの量子化レベ
ルを上げるようにしてもよい。反対に、ユーザ選択優先
順位が設定されるフレームのビット数が少なすぎる場
合、「正の優先順位」型のマクロブロックが、「負の優
先順位」型マクロブロックの量子化レベルが減少する前
に、ビット数を増加するために、その量子化レベルを引
き下げられてもよい。後者の２つのケースの場合、「無
関係」型マクロブロックの変更は、「負の優先順位」ま
たは「正の優先順位」型マクロブロックが変更される
前、変更中、あるいは変更後に発生する。
【０２１５】図３２〜図３８のプロセスが実行された
後、フローは図２９のステップ４６２に戻り、新しい量
子化値を使用して映像が再符号化される。この再符号化
は、再符号化されたフレームの結果として生じるビット
数ができる限りフレームの最初の符号化のビット数に近
くなるように、速度・制御関数を使用して量子化値を微
調整中に実行される。速度制御プロセス（レート制御器
の処理）は、以下の別項に詳しく記述する。また、以下
の別項に記述されるように、再符号化プロセスの間、符
号化副産物が生じる可能性があるため、これらの符号化
副産物を減少させる目的で特殊手順が実行される場合が
ある。
【０２１６】空間手動編集のプロセスは、本発明の実施
例の図１のワークステーション３０で発生する。ただ
し、空間手動編集は映像符号化プロセスと同時には発生
しないため、ワークステーション１０は、映像符号化プ
ロセスの速度を劣化させることなく、時相手動編集計算
を実行する。本発明は、あるフレーム内の種々の領域の
画質の変更があるとき詳しく記述される。勿論、本発明
の応用の概念は、ある１つのフレームの領域内のビット
を別のフレームの領域にシフトするために用いるように
拡張することができる。さらに空間手動編集は、前述の
時相手動編集と組み合わせて適用できる。
【０２１７】空間手動編集は、ユーザ指定の領域優先順
位が設定されるフレームのビット数をフレームの最初の
符号化と同じビット数に維持するものとして説明されて
きた。しかしながら、希望するならば、再符号化した編
集セグメントは、じゅうぶんな記憶領域容量がある場合
には、フレームの最初のビット数より多いあるいは少な
い所定ビット数を消費されてもよい。
【０２１８】この場合、選択フレームを変更できること
によりビット数を知ることが望ましく、それ故、図３３
〜図３８のプロセスが設定された差異が達成されるまで
動作する。したがって、任意のフレームの再符号化のビ
ット総数は最初の符号化より多いまたは少ない増減量を
消費できもので、例えば、５％と１％との両方の増減ビ
ットを含む、０％と２０％の間で増減する量を消費でき
る。
【０２１９】空間手動編集の説明では、映像が符号化さ
れた後で映像を変更することに関して説明してきた。た
だし、本明細書に記載される教訓は、その中に、初期符
号化プロセスが存在しなかったシステムにも適用するこ
とができる。
【０２２０】空間手動編集作業のおける手順は、以前に
取得された数と同じようなフレームのビット数を得る目
的のために、ユーザ選択優先順位に基づき量子化値を指
定するためのものであり、必要に応じてフレームのマク
ロブロックの量子化レベルを調整することで動作する。
対照的に、前記述した時相手動編集は、映像のセクショ
ンからビットの共通プールを削除し、それらのビット
を、ユーザが選択した優先順位に従い、共通プールから
再分配する。空間手動編集において１フレームに関して
実行されるプロセスに関するすべての教示は、時相手動
編集セクションにおいても、経時的にビデオのフレーム
の品質を変更するという概念に適用でき、逆の場合も同
じになる。例えば、空間編集は、品質の変更を達成する
ために、量子化レベルを修正するとして記述されるが、
ビット数は時相編集セクションで調整される。フレーム
つまりマクロブロックのビット数は量子化レベルに直接
依存するため、ビット数および量子化レベルの修正は同
じ結果を達成し、そのため時相編集および空間編集は、
ビット数または量子化レベル、あるいはその両方を修正
できる。
【０２２１】ＶＩＩＩ．画質変更後の映像の再符号化 Ａ．単一フレーム内で画質が変更されている場合のビッ
ト配分制御 図１に示すビデオ符号化装置５０内でのビット・レート
を制御するためには、制御装置は、例えばワークステー
ション１０、或は同じ制御機能を果たすものであれば他
のどのような専用ハードウェアでもよいが、量子化レベ
ル（またはｑ−レベル）と、スライス毎の概算又は予想
ビット数をレート制御エンコーダ内にロードする。次ぎ
に、エンコーダが符号化を開始し、生成ビット数と予め
決定した概算ビット数とを比較して、生成ビット数の正
確性を測定した後、量子化レベルが調整される。概算ビ
ット数は、空間的及び時間的手動編集の項で説明したよ
うに、レート量子化機能を使い決定される。このプロセ
スは、一度にｎ個のマクロブロックでなる１つの組み上
で継続して行われる。この場合、各組はＭＢ（ｉ）とし
て表され、次のようになる。
【０２２２】１＜ｉ＜（マクロブロック総数＃／ｎ） 最後の組のマクロブロックを再符号化する場合、レート
制御装置は、生成ビット数でどのように微小な過大概算
があったとしても、ビット詰め（ビットスタッフリン
グ）を用いて吸収するようにしているため、再符号化プ
ロセス内で生成されるビット総数が元の符号化長以下に
なるよう保証する。
【０２２３】図３９は、前もって割り当てられた量子レ
ベルを有する一組のデジタル・ビデオ・フレームを再符
号化する方法のフローチャートである。実際の生成ビッ
ト数に対して、量子化モデルがどのくらい正確に、符号
化により生成されるビット数を概算したかに基づき、前
もって割り当てられた量子レベルが調節される。図３９
において、レート制御コーディングのプロセスがステッ
プ７００で開始され、次ぎにステップ７０２においてｉ
＝１と設定し、第１組のｎ個のマクロブロックを現在の
組のマクロブロックとして指定する。ステップ７０４で
は、各組のマクロブロックＭＢ（ｉ）を再符号化する際
に使用される完全な組の概算ビット数ＥＢ（ｉ）がロー
ドされる。ＭＢ（ｉ）が次ぎにステップ７０６で再符号
化され、実際に生成されたビット数がＧＢ（ｉ）として
記憶される。生成ビット数ＧＢ（ｉ）と概算ビット数Ｅ
Ｂ（ｉ）間の割合上の相違は、ステップ７０８で概算比
率ＰＢ（ｉ）＝ＧＢ（ｉ）／ＥＢ（ｉ）として算出され
る。更に、このシステムでは、全マクロブロック再符号
化組に対して、累積概算ビット数ＥＢ´（ｉ）及び累積
生成ビット数ＧＢ´（ｉ）の算出も可能である。ここで
は、ｉ＞２であり、ＥＢ´（１）＝ＥＢ（１），ＧＢ´
（１）＝ＧＢ（１），ＥＢ´（ｉ）＝ＥＢ´（ｉ−１）
＋ＥＢ（ｉ），ＧＢ´（ｉ）＝ＧＢ´（ｉ−１）＋ＧＢ
（ｉ）となる。従って、ステップ７０８でのプロセスに
代わり、ＰＢ（ｉ）＝ＧＢ´（ｉ）／ＥＢ´（ｉ）であ
ることから、累積概算ビット数ＥＢ´（ｉ）及び累積生
成ビット数ＧＢ´（ｉ）を使用しＰＢ（ｉ）の算出が可
能である。これにより、特定のマクロブロック組がいか
に正確に符号化されたかを示す代わりに、再符号化プロ
セス全体がいかに目標ビット数に適合しているかより正
確に表示される。ステップ７１０において、次のマクロ
ブロック組ＭＢ（ｉ＋１）内でのｑ−レベル訂正係数を
判別するため、概算比率が使用される。
【０２２４】この訂正係数は、二つの方法のうちの一つ
を利用し判別される。第１の訂正係数判別方法は、比率
ルックアップ・テーブルと呼ばれる比率値表内の比率単
一分類リスト工程を通り、概算比率がどの２比率間にあ
るか判別される。テーブル内の２数のうちの大きい方、
すなわち指数ｊが、訂正係数指数として使われる。訂正
係数指数は、訂正係数としてテーブル内のＪ番目の要素
を選ぶことにより、訂正係数テーブル内で訂正係数Δ
（ｉ）を捜し出すのに利用され、次のマクロブロック組
ＭＢ（ｉ＋１）がΔ（ｉ）により調整される。比率ルッ
クアップ・テーブルＲＴには、例えば次のような分類値
が含まれる。
【０２２５】ＲＴ＝｛０．８５，０．９０，０．９５，
１．０，１．０５，１．１０，１．１５，１．２，１．
５｝また、訂正係数テーブルＣＴには、次のような数値
が含まれる。
【０２２６】 ＣＴ＝｛−３，−２，−１，０，１，２，３，４，９｝ 図４４は、概算比率を使い、比率ルックアップ・テーブ
ルから訂正係数指数を判別するプロセスを示すフローチ
ャートである。ここでは、例証のみの目的でＲＢ（ｉ）
＝０．８７と仮定する。指数ｊはステップ７２２におい
て当初１に設定される。ＰＢ（ｉ）とＲＴ（ｊ）の比較
プロセスが開始され、ステップ７２４で前記ルックアッ
プ・テーブルで定義したように、ＰＢ（ｉ）＝０．８７
がＲＴ（１）＝０．８５と比較される。Ｏ．８７は０．
８５より大きいため、プロセスがステップ７２６に進
む。ステップ７２６において、残留指数が判別されるた
め、制御はステップ７２８に進み、ｊが１でインクレメ
ントされる。ステップ７２４でＰＢ（ｉ）＝０．８７が
現在ＲＴ（２）＝０．９０以下であるため、制御がステ
ップ７３０に進み、そこで訂正係数指数の捜査が終了す
る。
【０２２７】図４５は、テーブル内に指数として付与さ
れたルックアップ・テーブル内の値を捜し出す方法のフ
ローチャートである。図４５において、第１の方法に応
じて訂正係数を判別するため、２の指数ｊを使いＣＴ内
の対応指数が捜査が行われる。ＣＴ内の第２位置から、
ステップ７３６で訂正係数が−２と判別される。従っ
て、ＭＢ（ｉ＋１）のｑ−レベルが−２により変更され
る。同様に、ＰＢ（ｉ）＝１．１２である場合、指数７
は、ＰＢ（ｉ）より大きいＲＴ内の第１指数に対応し、
よって第７位置でのＣＴ内訂正係数は３となる。従っ
て、ＭＢ（ｉ＋１）のｑーレベルは、３、例えばＭＢ
（ｉ＋１）のｑ−レベルに３を加えることにより、変更
される。
【０２２８】第２の訂正係数判別方法では、再符号化さ
れたマクロブロック組の割合が訂正係数判定において第
２のパラメータとして使用される以外は、第１の方法と
同じプロセスである。更に、テーブルから訂正係数を読
み出す代わりに、訂正係数はマトリックスから読み出さ
れる。再符号化されたマクロブロック組の割合、或は再
符号化されていないマクロブロック組の割合を使い、必
要に応じ、一連のフレームの最初の段階でより漸進的訂
正が行われ、最後の段階でより有効な変更が可能であ
る。これにより、システムは、量子化モデルと実際の生
成ビット数間のバラツキに対する訂正がより正確に行え
るようになる。未だ再符号化されていないマクロブロッ
クの組数と訂正の有効性間の反転関係を利用した場合、
また、あるマクロブロック組での過大概算がは別のマク
ロブロック組での過小概算により相殺されるもとする
と、不必要な訂正は避けられる。
【０２２９】第２訂正係数方法の訂正係数マトリックス
ＣＴＭの例として、ＣＴＭは次のマトリックスのように
定義される。
【０２３０】 一連のフレームの最初において概算比率が必要なビット
数の過大概算を示す場合、直ちに次のスライスに全未使
用ビットを再割当てする必要はない。未使用ビットがＭ
Ｂ（ｉ＋１）により直ちに消費されたなら、ＭＢ（ｋ）
（ｋ＞ｉ＋１）が概算以上のビットを消費しており、Ｍ
Ｂ（ｋ＋１）が不必要に高い量子化レベルまで無理に増
加してしまう。未使用ビットは、ＭＢ（ｋ）が必要と
し、使用するまで、再符号化プロセス内でＭＢ（ｉ）か
ら進ませることができたはずである。
【０２３１】図４６は、概算比率と残っている非再符号
化マクロブロックの組数との両方を使い、訂正係数を算
出する方法を示すフローチャートである。必要とされる
ビット数の過大概算の場合、すなわち訂正係数ｊがＰＢ
（ｉ）＝０．８７で２に等しいと事前に判別されている
場合、図４６のステップ７４４において、再符号化プロ
セスの第１のパーセントで過大概算が起きることが判別
される。ＣＴＭ（２、１）での要素は−１であり、よっ
て訂正係数として選ばれる。これにより再符号化プロセ
ス内の初期に訂正効果が減少する。これは第１の方法で
は−２となったであろう。一方、再符号化プロセスの９
９％が実行されており、概算比率がＰＢ（ｉ）＝１．１
２であれば、３の要素（９９、７）が選ばれ、従って再
符号化プロセスの最後で完全に訂正がなされることにな
る。
【０２３２】再び図４０（Ａ）から図４０（Ｃ）には、
前もってｑ−レベルが割り当てられたフレームが示され
るもので、１セット内のマクロブロック数が単一スライ
ス内のマクロブロック数に等しい例として示されてい
る。概算ビット数ＥＢ（ｉ）は前記のように算出され、
図４０（Ａ）のマクロブロックｉであるＭＢ（ｉ）に対
するレート制御プロセスで使われるメモリにロードさ
れ、次ぎにＭＢ（ｉ）が実際に再符号化される。生成ビ
ット数ＧＢ（ｉ）が判別され、概算比率が算出され、訂
正係数Δ（ｉ）が検索捜査される。図４０（Ｂ）に示す
ように、ＭＢ（ｉ＋１）のマクロブロックが次ぎにΔ
（ｉ）により訂正され、ＭＢ（ｉ＋１）に対してもこの
プロセスが繰り返される。図４０（Ｃ）では、ＭＢ（ｉ
＋１）の長さが概算算出され、その概算比率が判別され
た後の、ＭＢ（ｉ＋２）の変化が示されている。このプ
ロセスは、全マクロブロックと部分マクロブロックが再
符号化され、訂正されるまで続けられる。
【０２３３】図４０（Ａ）、図４０（Ｄ）に更に別の例
が示されている。この例では、１セットのマクロブロッ
ク数が、２つのスライス内にあるのマクロブロックの数
である。図４０（Ｄ）に示すように、ＥＢ（ｉ），ＧＢ
（ｉ），ＰＢ（ｉ）の算出後，２個のスライスを構成す
るマクロブロックＭＢ（ｉ＋１）がΔ（ｉ）により訂正
される。この再符号化と訂正プロセスは、前記の例のよ
うに、全マクロブロックが再符号化されるまで続けられ
る。
【０２３４】再符号化プロセスに起因する変化は図４１
及び図４２に示されている。当初、フレームＮにおける
２つの等しい大きさの領域、領域ＡとＢが同数に近いビ
ット数を使い初期符号化される。ユーザが、領域Ａの質
が減少し、領域Ｂの質が上昇するよう指定する。しか
し、元の符号化で使われるビット数は、可能な限り再符
号化のビット数に近づけることが望ましい。フレームＮ
の再符号化後、フレームＮには元の符号化で生成された
と同数のバイト数が含まれるが、領域Ａはそれ以下のビ
ット数でコード化され、領域Ｂは追加のビット数が使用
される。これにより、ユーザが希望するように領域Ａの
質が減少し、領域Ｂの質が上昇する。本発明のレート制
御プロセスは、レート量子化機能を用い判別した概算ビ
ット数内での些細なエラーを補正することにより、再符
号化されたフレームのビット数を出来るだけ元のビット
数に近づけるものである。
【０２３５】図４３は、複数のフレームからのビットを
再割当てし、第２の複数フレームに付与することによる
デジタル・ビデオ・ストリームの変更を示す図である。
フレームの大きさは、それぞれ別個には変化するが、１
セットのフレームの全体的大きさは、同じに保持され
る。レート制御装置により、概算ビット数の判定に使わ
れるレート量子化機能が少し不良となっていても、複数
のフレームの再符号化用のビット数が元の符号化からの
ビット数と最終的には同じになるよう微調整可能であ
る。
【０２３６】Ｂ．編集点での復号化産物を避けている間
の再符号化 １．最初の符号化で使用された状態へのエンコーダの復
帰 前記の時間的及び空間的品質編集操作により、新しい量
子化値でビデオの再符号化を行うことでビデオ品質の変
化が可能となる。一方、単に元のビデオを再符号化され
たビデオで交換することは、結果として、ビデオの編集
点で可視的不良として現れる容認できない復号化産物を
生じる可能性がある。これらの可視的不良は、たとえ入
れ替える新しいセグメントがＭＰＥＧー２シンタックス
等の適切なシンタックスを有し、編集境界上のバッファ
の制約が満足されても、起こるものである。この問題
は、編集セグメントの前の最後の関連フレーム（最後の
Ｐーフレーム）や、編集セグメントの最後で別の関連フ
レーム（最後のＰーフレーム）が役に立たないための結
果である。このことは、編集セグメントの最初、そして
編集セグメントに直ちに続く第１セットのＢーフレーム
において、第１セットのＢーフレームの符号化と復号化
間での不一致の原因となる。
【０２３７】デジタル的に符号化され、圧縮されたビデ
オの編集を適切に実行するには、所望の編集点に対応す
る符号化されたビット・ストリーム内での適切な位置を
判別することがまず必要である。このプロセスは、符号
化されたビデオへのアクセス設備を記載する前項のＶＩ
で説明した通りである。前述のように、これは、問題の
映像用のビット・オフセットを判別するため、各前もっ
て符号化されたフレームに対してビット数を合算するこ
とにより実行される。また、代わりに、符号化されたビ
ット・ストリーム内での特定フレームの正確な位置、或
は期間を示す情報を残留保持するためにディレクトリを
利用しても良い。
【０２３８】図４７（Ａ）から図４７（Ｅ）において、
本発明の操作を説明する例として使われるビデオの期間
が示されている。図４７（Ａ）では、符号化されたビデ
オの元の箇所０が示されている。５ｍ０ｓから１０ｍ０
ｓ（５分０秒から１０分０秒）の符号化された期間をビ
デオの別の箇所と交換することが望ましい。図４７
（Ｂ）では新しい符号化されていないビデオ箇所が示さ
れており、これが図４７（Ａ）の符号化されたビデオと
入れ替えられる。図４７（Ｂ）、４７（Ｃ）のダッシュ
（―）は、符号化されていないビデオを表し、図４７
（Ａ）、図４７（Ｄ）、図４７（Ｅ）の実線は、符号化
されたビデオを表す。
【０２３９】図４７（Ｂ）に示す新しいビデオ箇所のみ
が、ＧＯＰが前のＧＯＰに関連付けられ、図４７（Ａ）
に示すビデオに入れ替えられる通常のＭＰＲＧ−２モー
ドを使い符号化された場合、ＭＰＥＧー２のビデオ圧縮
で使われる二方向復号化に必要な正確な関連フレームが
欠如しており、復号化加工品（副産物）は、５ｍ０ｓか
ら１０ｍ０ｓの編集点に存在することになる。この問題
は、ＧＯＰの最初では前のＧＯＰの終りが参照される
が、ＧＯＰの最後ではその次のＧＯＰが前が参照されな
いことから、別個に取り扱われる先の５分と１０分の点
の両方に存在することになる。
【０２４０】ＧＯＰの最初に復号化産物（復号化におけ
る不要な副産物）を避ける方法は、ＧＯＰの２個の第１
のＢ−フレームの参照フレームとして利用される、前の
ＧＯＰの最後のＰ−フレームを再び作成することであ
る。これは、例えば元のビデオの１個のＧＯＰを、挿入
されるビデオの最初に配置することにより達成され、こ
の追加ビデオは、図４７に４分５８．５秒から４分５９
秒で示されている。例では、ＧＯＰの他の時間期間でも
可能だが、１個のＧＯＰが半秒に等しくなっている。４
分５９秒直前のＧＯＰの最後のＰ−フレームを作成する
ために、最初の符号化に使われたのと同じ量子化値を有
するこのセクション（箇所）に対して、エンコーダは、
再運転される。そして、最後のＰ−フレームを除き、こ
の短いビデオ箇所の再符号化から生ずる全ての情報が廃
棄される。
【０２４１】編集セグメントの最後で副産物の復号（復
号化加工品）を避けるためには、元のビデオの１秒間
（例、図４７（Ｃ）の１０分０秒から１０分１秒）分
を、交換される新しいビデオの最後に加え、この１秒間
のセグメントを最初の符号化中に使われたとの同じ量子
化値を使用し符号化する。この１秒間がビデオの最後に
付加されなかった場合、１０分０秒の印のすぐ越えたと
ころの２つのＢ−ピクチャー（１０分０秒は２ＧＯＰ間
の分割点である）が、編集前と後では異なる参照（関
連）映像に参照比較される。新しい箇所に半秒、或は１
秒のビデオ期間を加える例を記載したが、ＧＯＰへの追
加にたいしてはその概念は一般化されることができる。
【０２４２】最後の編集点が１０分１秒となり、１０分
の印の所にもはや復号化加工品は現れないが、１０分１
秒で復号化加工品が結果的に現れるかどうか考慮する必
要がある。１０分１秒の印の直後の２個のＢ−フレーム
が、前に参照したのと同じ関連フレームをもう一度本質
的に参照するため、可視的な復号化加工品は結果的に表
われない。１０分０秒の印の直後の２個のＢ−フレーム
は、前に参照したのと同じ関連フレームを再び参照しな
いが、この２個のＢ−フレームは再符号化されており、
従って適切な新しい関連フレームを比較参照する。この
結果、１０分０秒、或は１０分１秒の点において可視的
復号化加工品は一つも表われない。
【０２４３】図４７に示す最後に付加された２個のＧＯ
Ｐ（１秒）は、最後のＰ−フレームが元の符号化と同等
近くになるよう、十分な時間である必要がある。１０分
後に元のビデオを再符号化する際、正確な同じ量子化値
が使用されることが保証されていれば、正しい符号化さ
れた参照映像を適切に生成するためには、１個のＧＯＰ
（半秒）で十分であるはずである。しかし、適当な画質
を保証するには２個のＧＯＰの方が望ましい。元々使用
したのと同じ量子化値を使うのが望ましいが、実際には
元の量子化値からの僅かでも変更がある可能性があり、
従って、２個のＧＯＰが望ましい。
【０２４４】４分５８．５秒から４分５９秒、１０分０
秒から１０分１秒で使われる元のビデオ期間に加えて、
図４７（Ｃ）では４分５９秒から５分０秒の元のビデオ
箇所が示されている。このビデオは、復号化加工品を避
けるために必須ではなく、よって５分０秒の印の直後
（例えば、４分５９．５秒から５分０秒）にＰ−フレー
ムを判別するための半秒が使用可能である。しかし、４
分５９秒から５分０秒の期間は、画質の手動変更により
編集境界を越えて影響が出たことをどの様な場合でもオ
ペレータが感知するようなことがないように、新しいビ
デオに加えられるものである。誤って感知された場合
は、それはＭＰＥＧのＧＯＰの最初のフレーム・コーデ
ィングの順序がＩＢＢであるが、フレームがＢＢＩとし
て表示されるためである。１秒期間は、その期間の元の
符号化中に使われたのと同じ量子化値を使い符号化され
る。前に使用した量子化値の獲得方法を以下記載する。
１秒期間が、４分５９秒から５分０秒で付加されなかっ
た場合、図４７（Ｄ）に示す代替符号化ビデオが５分０
秒で開始される。
【０２４５】図４７（Ｃ）のビデオの符号化の結果生じ
た有益なデータが、４分５９秒から１０分１秒まで続く
代替データＳとして図４７（Ｄ）に示されている。この
代替データＳは、次に、図４７（Ｅ）に示すように結果
的に最後のビット・ストリームとなる、図４７（Ａ）に
示す元の符号化されたデータに入れ替えられる。
【０２４６】図４７（Ａ）に示す非符号化、符号化情報
は、実施例におけるビデオであるが、符号化された情報
を復号するために前の、及び／又はその後の情報を使用
するものであれば、音声、他形態の情報のようなどのよ
うなものでも良い。
【０２４７】図４７（Ｂ）の新しいビデオ箇所はどのよ
うなビデオ・ソースからでも得られ、前述した時間的、
或は空間的編集プロセスによって生成したビデオでも良
い。図４７（Ｃ）において、４分５９秒から５分０秒、
そして１０分０秒から１０分１秒の元のビデオは、元の
符号化で使われたのと同じ量子化値を有する元のビデオ
である。図４７（Ｃ）の新しいビデオＮの最後におい
て、このビデオは、時間的編集プロセスを使い、また前
述の時間的手動編集箇所内で保護されるよう、つまり量
子化値が同じに保持されるよう、最後の箇所の質を設定
することにより容易に得られる。代わって、図４７
（Ｂ）のビデオは、図４７（Ａ）のビデオに関係なく完
成され、別個の長さを持ってもよい。更に、本発明を用
いて、あるビデオ箇所を切り抜き、新しくビデオを追加
しないことも可能である。この場合、図４７（Ｂ）では
ビデオが何等存在しないことになり、図４７（Ｃ）から
図４７（Ｅ）において“Ｎ”セグメントとその対応の編
集が不在となる。編集セグメント前のＰ−フレームが適
切に構成され、元のビデオの半秒から１秒（１個或は２
個のＧＯＰ）が、符号化される新しいビデオの最後に付
加され、元の符号化で使われたのと同じ量子化値で符号
化される限りにおいては、どのような状況でも可視的復
号化加工品が生じることはない。
【０２４８】図４８は、図４７（Ａ）から図４７（Ｅ）
を基に説明したプロセスを示すフローチャートである。
開始後、ステップ７８０において、図４７（Ａ）に示す
符号化されたビデオを生成するため、ビデオを圧縮フォ
ーマット内に符号化する。ステップ７８２で、符号化さ
れたビデオに置換される非符号化フォーマットの新しい
ビデオ箇所が判別される。この新しいビデオ箇所は、図
４７（Ｂ），図４７（Ｃ）ではＮとして表され、元のフ
レームと関連、或は非関連のシーンであり、下のフレー
ムとは異なる時間期間を有するようにしても良い。置換
されるビデオの開始と終了点は、それぞれ５分０秒と１
０分０秒である。しかし、置換される最後の符号化の実
際の開始、終了点は、図４７（Ｄ）に示すように異なっ
ても良い。
【０２４９】ステップ７８４において、５分０秒及び１
０分０秒の編集点で復号化加工品を避けるため、前述の
理由により、符号化された新しいビデオ箇所の最後に符
号化されていないビデオ期間が追加される。これらの追
加期間は、４分５９秒から５分０秒は必須ではないが、
４分５９秒から５分０秒と１０分０秒から１０分１秒で
ある。
【０２５０】ステップ７８６では、編集点直前のＰ−フ
レームが判別される。図４７（Ｅ）の置換ビデオが４分
５０秒から１０分１秒であるために、４分５０秒直前の
最後のＰ−フレームが判別される必要がある。このＰ−
フレームは、最初にＰ−フレームを符号化するのに使っ
た量子化値によって、エンコーダを４分５８．５秒から
４分５０秒期間操作することにより判別される。量子化
値は、図１７，図１８のどちらかに示すフォーマットを
有するマクロブロックのログ・ファイルから元の量子化
値を検索することにより判別される。しかし、全体映像
の各マクロブロック用の量子化値が、大きな記憶領域を
消費するため、量子化値の記憶は望ましくない。その代
わり、量子化値は、Ｉ，Ｐ，Ｂフレームのビデオ・バッ
ファに関るレート制御状態、（ａｌｌｏｃｔｅｄ ｂｉ
ｔ；割当て ビット）として図１４の映像層ログ・ファ
イルに示す映像の目標ビットを利用し容易に作成でき、
また、図１５に（ｍｅａｎ ａｃｔｉｖｉｔｙ；標準
活動）として記憶される映像活動レベル、符号化中にエ
ンコーダにより演算されるマクロブロック活動レベルを
利用し容易に作成できる。レート制御状態は、図１５の
下方に示すように、それぞれＩ，Ｐ，Ｂビデオ・バッフ
ァのレート制御状態情報を記憶するＳ１ ｉ，Ｓ２
ｉ，Ｓ１ ｐ，Ｓ２ ｐ，Ｓ１ ｂ，Ｓ２ ｂとして映
像層ログ・ファイル内に記憶される。ここで記載した教
示を基にすれば、通常のビデオ符号化技術の一つを使
い、不必要な実験をすることなく所望のＰ−フレーム用
量子化値を決めることが可能である。
【０２５１】関連フレーム、及び／又は符号化された関
連フレーム自体の量子化値判定の別の方法として、符号
化された関連ストリーム内の符号化された関連フレーム
版が、従来の方法で復号化可能である。更に、必要な関
連フレームを得る他の方法も実行可能である。
【０２５２】関連Ｐ−フレームが得られた後、ステップ
７８８で、最後の箇所の元の符号化と同じ量子化レベル
を維持しながら、ビデオの符号化が実行される。量子化
レベル上述したように得られる。符号化されたビデオの
結果が図４７（Ｄ）に示されている。
【０２５３】次にステップ７９０において、図４７
（Ｅ）に示すように、最初に符号化されたビデオと最終
製品に置換された新しい符号化されたビデオが得られ
る。置換符号化ビデオを含むこの符号化されたビデオ
は、その最後点において復合加工品が最少となる。
【０２５４】２．ピクチャ・モードの閉グループ内にお
ける再符号化 図４７（Ａ）から図４８で説明した手順の代わりとし
て、復号化加工品を減少しながら、新しいビデオの最初
を符号化する別の手順を実行することも可能である。こ
の手順において、ビデオの立ち下がり端の取扱い方法
は、図４７（Ａ）から図４８の場合と同じである。
【０２５５】この別の実施形態の例としては、図４７
（Ａ）として元の符号化されたビデオを使い、図４７
（Ｂ）として、図４７（Ａ）に置換する非符号化ビデオ
を使用すれば良い。図４７（Ｂ）の最初の端には元の非
符号化ビデオが一つも付加されなく、図４７（Ｃ）で
は、前記のように、対応する元の非符号化ビデオの２つ
のＧＯＰ（１秒）が図４７（Ｂ）の最後に追加され、符
号化されるビデオは図４９（Ａ）に示す通りとなる。
【０２５６】第２の参照映像なしでのＢ−フレーム用ビ
ットを増加しながら、ビデオの第１ＧＯＰの閉ＧＯＰモ
ードで図４９（Ａ）に示すビデオがエンコーダにより符
号化されれば、編集点の開始箇所での可視的復号化加工
品は排除される。１０分０秒から１０分１秒での元の符
号化に使われたのと同じ量子化レベルを使用しての最終
部の符号化は、図４７（Ａ）から図４８を参照し前記し
たのと同様であり、符号化されたビデオの結果は図４９
（Ｂ）に示す通りである。閉ＧＯＰモードは、第６．
３．８項のＭＰＥＧ−２規格で記載されている。閉グル
ープの映像モード・フラッグは、後方予測のみを使い符
号化Ｂ−フレームが符号化されており、前のＧＯＰの参
照フレームは使われないことを示す、１に設定される。
しかし、二方向フレーム用として通常に使われる参照フ
レームの一つが有効でないため、質減少を排除する手続
処理が実行されないと、Ｂ−フレームの品質は減少され
たものとなる。
【０２５７】閉ＧＯＰモードで符号化されたＢ−フレー
ムの品質低下の問題を解決するため、フレーム品質がそ
れほど減少しないように、１方向の予想のみを有するＢ
−フレームのビット数は増加される。Ｂ−フレームは１
方向の予想のみを有するため、ビット数は、通常のＰ−
フレームで使われるビット数近くまで増加されるのが望
ましい。しかし、ビット数は、所望の映像画質に応じ変
更可能である。
【０２５８】図４９（Ｂ）の符号化されたビデオは、図
４９（Ｃ）に示すように、前の符号化されたビデオに直
接置換できる。
【０２５９】閉ＧＯＰモード使用のプロセスを説明する
ためのフローチャートが図５０に示されている。図５０
において、ステップ８００ではビデオが圧縮フォーマッ
トに符号化され、ステップ８０２で、符号化されたビデ
オに置換される新しいビデオ箇所が、ステップ７８０、
７８２で記載したのと同じ方法で判別される。次に、ス
テップ８０４においては、符号化されていない元のビデ
オで必要とされるＧＯＰ（１個、又は２）が、新しいビ
デオ箇所の立ち下がり端に追加される。
【０２６０】次に、ステップ７８６でビデオが符号化さ
れる。新しいビデオの第１のＧＯＰが、閉グループ映像
モード（閉ＧＯＰモード）で符号化され、参照フレーム
のない二方向予測フレーム用のビット数が、一方向予測
のフレームであるＰ−フレームに使われるビット数近く
まで増加される。符号化されたビデオのビット総数が同
じ数値に保持される場合、二方向フレームに要する余分
のビット数は、他のフレームから排除されなければなら
ない。これは、空間的、及び／又は時間的手動編集の項
で説明したように達成できる。次に、新しいビデオ箇所
の残りが通常符号化される。最後に、新しいビデオの立
ち下がり端での追加期間が、編集セグメントの最終点で
の復号化加工品を避けるため、追加期間の元の符号化中
に使われたのと同じ量子化値を使い符号化される。最後
に、ステップ８０８において、新しく符号化されたビデ
オが、最初に符号化されたビデオに置換される。
【０２６１】図４８、図５０で説明したこと、または前
述したプロセスの何れかにより、置換符号化箇所を含む
最後の符号化されたビデオでは、復号化加工品数が減少
し、従って、可視的なビデオ・グリッチが減少し、復合
化加工品を避けるための訂正措置が何等取られない場合
に比較してビデオ品質が向上される。前記の例は、ＧＯ
Ｐ境界での編集点に関連するものである。しかし、前記
の教示は、ＧＯＰの境界にない編集にも適用可能であ
る。
【０２６２】復号化加工品を減少するプロセスは、プレ
イバックＶＴＲ５１及びビデオ・エンコーダ５０と共に
ワークステーション１０、３０、４０を使い実行され
る。一方、他のハードウェアも利用可能であり、本発明
のアスペクトは、プロセス実行に汎用コンピュータ、或
は特定のハードウェアを使い実施しても良い。編集点と
判別し、符号化されるビデオの新しいビデオ箇所の最後
に追加されるビデオを判別するのに使用される計算は、
ワークステーション１０、或は３０で実行される。
【０２６３】ＩＸ．符号化に使用されるレート量子化モ
デル 符号化プロセスの結果生じる一連のマクロブロックを表
すのに必要なビット数を正確に概算するためには、１フ
レームの通常の量子化レベルを表す数種の量子化レベル
を使いフレームを前もって符号化することができる。次
に、代表的量子化レベル、或は他の量子化レベルを使い
フレームの実際の符号化が可能である。実施例では、図
１に示すように、ワークステーション１０が、所望の量
子化レベルをビデオ符号化装置５０にロードする。次
に、ビデオ符号化装置５０が前符号化を実行する。最も
正確な量子化モデルの生成方法には、可能な各量子化レ
ベルでの各フレームの符号化、使われたビット数の結果
統計の記録が含まれる。しかし、このプロセスには、元
のビデオ上でのｎ回の通過（ｎ個のパス）が必要となる
（ｎは、元のビデオを符号化するために使われる量子化
レベルの総数）。この方法は途方もなく長いため、本発
明では、従来の方法に要する時間の一部分で最適な方法
で同様の結果を生み出す改良方法が提供される。この方
法には、前符号化の段階で複数のフレームのそれぞれ
に、量子化レベル平均対代表的ビット・レートが算出さ
れるよう、複数フレームの様々な部分に別個の量子化レ
ベルを割当てることが含まれている。これにより、ビッ
ト・レート統計に対する正確な量子化レベルが生成され
る一方、各フレームに対してｎ−１の前符号化が節約さ
れる。次に、この統計は、ビット・レートに対する量子
化レベルが前符号化プロセスで判別されなかったマクロ
ブロックにより使用されるビット数を概算するのに挿入
できる。２つの別の実施例における方法では、元のビデ
オからの大多数のフレーム、或は前フレームが前もって
符号化される。
【０２６４】図５１（Ａ）には、複数のフレーム用とし
て、ビット・レートのラインに対する２つの点の量子化
レベルが生成され、その結果が複数のフレーム用に記憶
されるように、前符号化プロセスでのマクロブロックを
ベースにしてマクロブロック上に割当てられた２個の異
なる量子化レベルを有する元のビデオのフレームが示さ
れている。別の実施例では、量子化レベルは、グループ
に、或はマクロブロック列に割り当てることが可能であ
る。図５１（Ｂ）では、位置を基にした統計上の異例を
避けるため、量子化レベルが異なる位置に割り当てられ
ているフレーム上に均一に配列された４個の量子化レベ
ルが示されている。図示のフレームでは、各列ｊにおい
て、列内の第１量子化レベルはｇｊｍｏｄ４である。こ
の結果、ビット・レート曲線に対して４点の量子化レベ
ルが生成される。図５１（Ｃ）でも図５１（Ｂ）と同じ
プロセスが示されているが、量子化レベルがブロックで
割り当てられている。このプロセスの一回のパスだけ
で、ビット・レート曲線に対する正確な量子化レベルが
生成されるが、別の実施例において、より正確な統計と
なるようこのプロセスが複数のフレーム上で何回も繰り
返され、これにより各量子化レベルでの各フレームを分
析することにより収集される統計に近づくことができ
る。
【０２６５】図５２は、複数フレームのビット・レート
特性に対する量子化レベルの一般的判別プロセスを示す
図である。このプロセスはステップ８５０で開始され、
ステップ８５２で前もって符号化される元のビデオを表
すビデオ信号を得ることにより継続される。ステップ８
５４において、第１のフレームｉ＝１（ｉはフレーム指
数）の前符号化が実行される。ステップ８５６に進み、
フレームｉ−１の量子化レベルが、統計上の異例を避け
るためフレーム上に均一に割り当てられる。ステップ８
５８において、フレームｉ＝１は、ステップ８５６で割
り当てられた量子化レベルを使い前符号化される。ステ
ップ８５８の結果は、ステップ８５６で割り当てられた
各量子化レベルのビット・レートが、フレームｉ＝１用
として記録されるよう、ステップ８６０で判別される。
ステップ８６２では、複数フレームの全てが前符号化さ
れたかどうか判定される。１フレームのみしか前符号化
されていないため、プロセスがステップ８６６に進み、
フレーム指数ｉに１を加えることにより符号化されるフ
レームとして第２フレームが指定される。次に、制御が
ステップ８５６に戻り、量子化レベルがフレームｉ＝２
に割り当てられる。ステップ８５６、８５８、８６０、
８６２の割当て、前符号化、ビット・レート判定プロセ
スが、残り全てのフレームに対して行われる。ステップ
８６２において、複数フレームの全てに対して前符号化
が行われたと判定されたら、ステップ８６４に進みプロ
セス終了となる。ステップ８６４に到達したら、ビット
・レート曲線に対する量子化レベルが、ステップ８５６
で割り当てられた量子化レベルと対応するビット・レー
トを使い近似化される。
【０２６６】元のビデオの複数フレームに対してビット
・レート曲線対量子化レベルが生成されたら、前符号化
プロセスは符号化プロセスに進み、そこでデジタル記憶
媒体、すなわちコンパクト・ディスク上に適するよう元
のビデオの部分が符号化される。１個、複数、多数、或
は全ての元のビデオ・セグメントが、この第２の段階で
符号可能である。元のビデオ・セグメントが自動的に符
号化される場合、セグメント内の各フレームのマクロブ
ロックに割り当てられた量子化レベルを判別するため、
ビット・レート曲線に対する対応する量子レベルに結合
された各マクロブロックの活動測定がエンコーダにより
使用される。セグメント内の各フレームが次に符号化さ
れ、その結果生じるビット数が、割当て量子化レベルを
基にした概算ビット数と比較される。結果として生じる
ビット数が、予想ビット数と大きくかけ離れる場合、自
動エンコーダが作動し、符号化される次のセットのマク
ロブロックの量子化レベルを変更することによりその差
が補填される。この一連のプロセスにより、自動エンコ
ーダは目標ビット数に一致するよう元のビデオ全体のセ
グメントを符号化が可能となる。
【０２６７】更に、連続ビデオ内での後方のビット・レ
ート曲線対量子化レベルを使い、結果として生じる符号
化されたデジタル・ビデオ全体の画質を規制することが
可能である。図５３に示すように、同じ量子化レベルに
おいて、生成されるビット数は、フレームＭよりもフレ
ームＮの方が少ないことが知られている。従って、フレ
ームＭがフレームＮと同じ品質の画像を生成するために
はより多くのビット数が必要となる。フレームＮが、そ
の全ての割当てビットを使い所望の画質で符号化された
場合、同画質を得るのに単位時間当たりのビット数をよ
り多く必要とするフレームＭを符号化するのに使われる
余分のビット数をエンコーダは持ち進むことができる。
この能力は、Ｍ＞Ｎ＋１の時、単一フレームのルックア
ヘッド・バッファのみを有するシステムでは有用ではな
い。
【０２６８】Ｘ．データ構造を利用しての音声、ビデ
オ、サブ映像デジタル信号の結合 本明細書の前記部分は、符号化され、圧縮されたデジタ
ル視聴覚信号を生成するための視聴覚情報の符号化中使
われる技術に関するものである。しかし、音声、ビデオ
情報が結合され、記憶され、その後テレビ等でその視聴
覚情報を再生、或は再構築するために復号されるために
は、記憶、そしてその後の復号化が可能なように、音
声、ビデオ、その他の符号化された情報の結合、インリ
ーブが必要である。音声、ビデオ、その他の情報の結合
に関しては、図１に示したワークステーション２０で実
行されるフォーマット・プロセスで簡単に述べられてい
る。ここでは、そのフォーマット・プロセス、その結果
生じるデータ構造及び信号について更に詳しく説明す
る。
【０２６９】図１において、ＭＰＥＧビデオ、符号化さ
れた音声は、ディスク２１に保存される。更に、サブタ
イトル、及び／又はビデオの頂部に表示、及び／又は重
複されるグラフを含むサブ映像情報が、例えば別のワー
クステーションにより早期に符号化されており、符号化
されたサブ映像情報は、フロッピ・ディスク、テープ、
他の形態のディスク等の記憶媒体上に保存される。この
記憶されたサブ映像情報は、デジタル記憶装置２２の１
つにより読み出され、ディスク２１内の符号化された音
声及びビデオとフォーマット・プロセスで結合され、ワ
ークステーション２０により単位データ・ストリーム内
にフォーマットされる。フォーマット・プロセスの出力
は、ディスク２１に記憶され、次にデジタル記憶装置２
２のデジタル・テープに書き込まれる。次にこのテープ
を使い、従来のオプティカル・ディスク製造方法により
オプティカル・ディスクが作成される。従って、本発明
は音声、ビデオのデータ符号化にかかわるばかりでな
く、データ・ストリーム、デジタル記憶媒体、その上の
フォーマットされた音声、ビデオ、サブ映像情報を記憶
するデータ構造に符号化された音声、ビデオ、サブ映像
データを結合させるプロセスとシステムにもかかり、更
にユーザ、或は消費者に表示する音声、ビデオ、サブ映
像情報を分離し、再構成する復号化プロセスとデコーダ
に関するものである。オプティカル・ディスク上の、或
はフォーマットされたデータ内でのデータ構造は、メモ
リに記憶される情報に対して物理的構成を授ける特定の
電子構造要素に関係するものである。これらの特定電子
構造要素は、需要システム上のビデオに使用可能であ
り、或はデジタル・ビデオのディスク・プレーヤを使い
ユーザ、或は消費者用に復号化されるオプティカル・デ
ィスクに記憶される。
【０２７０】符号化された視聴覚情報用のディスク、或
は他の記憶媒体のフォーマット構造の特徴を記載する前
に、本発明が改良を加える従来から知られる規格を説明
する。ＩＳＯ／ＩＥＣ１３８１８−１は、そこで引用さ
れる参考資料と共に、ここで参考という形で記載される
ＭＰＥＧのビデオ、音声のシステム側面を説明するもの
である。ＩＳＯ／ＩＥＣ１３８１８−１（以降ＭＰＥＧ
システムの説明という）では、ビデオ、音声の基本的マ
ルティプレックスの方法が記載されている。これらのス
トリームは、パケット化基本ストリーム（ＰＥＳ）と呼
ばれるパケットに分割される。別個のストリームからな
るこれらのパケットには音声が含まれ、ビデオ・ストリ
ームが共通の時間ベースを有し、単一のストリームに結
合される。また、ＭＰＥＧシステムの説明では、１個以
上の独立時間ベースを有する１個以上のプログラムを単
一ストリームに組み込む輸送ストリームの利用も記述さ
れている。ＭＰＥＧシステムの説明では、多数の初期ス
トリームを同期化するために使われるプレゼンテーショ
ン・タイム・スタンプ（ＰＴＳ）の利用も記述されてい
る。タイム・スタンプは一般に９０ｋＨｚの単位内であ
り、システム・クロック参照（ＳＣＲ）、プログラム・
クロック参照（ＰＣＲ）、オプティカル初期ストリーム
・クロック参照（ＥＳＣＲ）と共に使用される。ＭＰＥ
Ｇシステムの説明に応じたデータのフォーマット方法の
詳細は、その完全な説明がＩＳＯ／ＩＥＣ１３８１８−
１に記載されている。
【０２７１】ＩＳＯ／ＩＥＣ１３８１８−１に基づくフ
ォーマット・プロセスの利用に加えて、ここで参照のた
め記載されるＩＳＯ９６６０“情報処理−情報交換用Ｃ
Ｄ−ＲＯＭのボリューム及びファイル”（１９８８年発
行）によりデータのフォーマットと記憶が行われる。こ
の規格では、ディスクのボリューム（音の大きさではな
く、ディスクの内容）とファイルの構造の構成方法が説
明されている。
【０２７２】現時点において、音声、ビデオ、サブ映像
データの記憶に使われるオプティカル・ディスクの好適
形態は、各サイドが５Ｇバイトで計１０Ｇバイトの記憶
容量を有する単一層両面ディスクである。将来のフォー
マットでは、記憶容量を増加させるために多層ディスク
が考慮され、読み出し専用ディスクに加えて、ライト・
ワンス、ライト・オーバ技術も利用可能となる。本発明
で使用可能なディスクの別の側面は、ここで参照のため
記載される米特願０８／３０４，８４９、“オプティカ
ル・ディスクとオプティカル・ディスク装置”（１９９
４年９月１３日出願）に説明される通りである。ディス
クの外周径としては、１２０ｍｍが望ましい。
【０２７３】図５４は、オプティカル・ディスクに最終
的に記録されるワークステーション２０からの出力のフ
ォーマット構造を示す図である。この構造９００には、
リードイン領域９０２が含まれている。リードイン領域
には、ディスクから読み出されたデータのその後の処理
を制御する別個のフィールドが含まれている。リードイ
ン領域９００に含まれる模範的リードイン情報が、ここ
で参照される米特許５、４００、０７７（Ｃｏｏｋｓｏ
ｎ他）を示す図４に示されている。
【０２７４】システム領域９０４及びボリューム管理情
報９０６はＩＳＯ９６６０に従うものである。ボリュー
ム管理情報９０６には、一次ボリューム・ディスクリプ
タ、ボリューム・ディスクリプタ・セット・ターミネー
タ、ディレクトリ・レコード、そして経路テーブル・レ
コードが含まれる。一次ボリューム・ディスクリプタに
は、ディスクがビデオ・ディスクなのか、音声ディスク
なのかを示すディスクリプタの形態、ディスクがどの規
格に従うものかを示す規格アイデンティファイア、シス
テム・アイデンティファイア、ボリューム・アイデンテ
ィファイア、ボリュームのサイズ、論理ブロックのサイ
ズ、経路テーブルのサイズ等、ディスク・ボリュームの
基本的情報が含まれる。これらを含め、システム領域の
他のフィールド及びボリューム管理情報は、その詳細が
ＩＳＯ９６６０に記載されており、その説明は簡潔上の
理由から省くものとする。更に、所望であれば、ＩＳＯ
９６６０に従った捕捉ボリューム・ディスクリプタも存
在する。
【０２７５】ボリューム・ディスクリプタ・セット・タ
ーミネータには、ボリューム・ディスクリプタの形態、
規格アイデンティファイア、ボリューム・ディスクリプ
タ・バージョンが含まれる。ディレクトリ・レコードに
は、ＩＳＯ９６６０に応じたディスクの様々なディレク
トリ情報が含まれる。経路テーブル・レコードには、Ｉ
ＳＯ９６６０に記載するように、Ｌタイプ経路テーブル
とＭタイプ経路テーブルが含まれる。
【０２７６】ディスク情報ファイル９０８には、更にユ
ーザがオプティカル・ディスクをかける時に選択できる
ディスクの内容とメニュー情報に関しての情報が含まれ
ている。ディスク情報ファイル９０８は、図５５にその
詳細が示されている。
【０２７７】各ディスクには、最少で１個のデータ・フ
ァイル９１０を含み、最大で９９個のデータ・ファイル
を含まれている。例えば、ディスク上に２個の別個の視
聴覚プログラムが存在する場合、ディスク情報ファイル
９０８には、ユーザが所望のデータ・ファイルを選べる
ようメニューを生成するのに必要な情報を含むことがで
きる。データ・ファイルは、その詳細が図５５から図７
０を参照して説明されている。リードイン領域９１６で
は、ディスクに関する他の情報、処理の実行状態、或は
関連ディスクに関する情報を含むことも可能である。
【０２７８】図５５は、図５４のディスク情報ファイル
９０８を示す図である。ディスク情報ファイル９０８に
は、ユーザが見るメニューを構成する情報である管理情
報９２０及びメニュー・データ９２２が含まれる。メニ
ュー・データには、ビデオ・データ、音声データ、サブ
映像データが含まれる。ファイル管理情報９２０には、
ファイル管理テーブル９２４、ディスク構造情報９２
６、メニュー構造情報９２８、そして複数のメニュー・
セル情報フィールド９３２、９３４を含むメニュー・セ
ル情報テーブル９３０が含まれる。
【０２７９】ファイル管理テーブル９２４には、ディス
ク情報ファイルの各面に関連した情報が含まれる。ファ
イル管理テーブル９２４内に含まれるのは、ファイル名
であり、ここにはファイル名を識別するためボリューム
管理情報９０６の対応するディレクトリ・レコード内の
対応するファイル・アイデンティファイアと同じ内容が
記載される。ファイル・アイデンティファイアは、この
場合ディスク構造情報ファイルであるファイルの形態を
識別するものである。論理ブロック数を使いファイルの
サイズを記載するフィールドが存在する。本文書におい
て、“論理ブロック”という語は、ＩＳＯ９６６０と同
様に使われている。論理ブロック数を使ってのファイル
管理テーブルのサイズ、ファイルの頭から相対する論理
ブロック番号を使ってのディスク構造情報９２６の開始
アドレス、ファイルの頭から相対する論理ブロック番号
を使ってのメニュー構造情報９２８の開始アドレス、フ
ァイルの頭から相対する論理ブロックを使ってのメニュ
ー・セル情報テーブル９３０の開始アドレス等を記載す
る入力が存在する。一つもメニュー・データがない場
合、このファイルの値は０である。ファイルの頭から相
対する論理ブロックを使ってのメニュー・データ９２２
の開始アドレスを記載するフィールドも存在する。一つ
もメニュー・データがない場合、この入力は０である。
【０２８０】ファイル管理テーブル９２４にはまた、メ
ニュー・データ用ビデオのビデオ属性を記載するフィー
ルドも含まれている。この情報には、ビデオ圧縮モード
がＭＰＥＧ−１なのか、或はＭＰＥＧ−２なのか、ビデ
オのフレーム・レート（毎秒２９．９７フレーム、又は
毎秒２５フレームのどちらか）、表示アスペクト比が３
／４なのか、或は９／１６なのかを示すフィールド、パ
ン−スキャンとレター・ボックス・モードが許可されて
いることの両方を示し、パン−スキャンのモードが許可
されているが、レター・ボックス・モードが禁じられて
いることを示すか、或はパン−スキャンのモードが禁じ
られているが、レター・ボックス・モードが許可されて
いることを示す表示モード・フィールドが含まれてい
る。
【０２８１】ビデオの属性を記載するフィールドと同様
に、ファイル管理テーブル９２４内の音声ストリームを
記載するフィールドも存在する。このフィールドに含ま
れるのは、音声がＤｏｌｂｙＡＣ−３に応じて符号化さ
れたかどうか、音声がＭＰＥＧ音声かどうか、或は音声
が線状ＰＣＭ音声（４８ｋＨｚで１６ビット）かどうか
を含む音声コーディング・モードの表示である。また、
音声がモノオーラルなのか、ステレオなのか、或はデジ
タル・サロウンドなのかを示すインディケータも存在す
る。
【０２８２】ファイル管理テーブル９２４には、更にメ
ニュー・データ９２２にに対するサブ映像ストリーム属
性を記載するフィールドも含まれている。このフィール
ドは、以下に記述するように、サブ映像に走行長サブ映
像コーディング・モードが使用されることを示すもので
ある。また、ファイル管理テーブル９２４には、メニュ
ーの全サブ映像で使われる１６セットのカラー・パレッ
トも含まれている。１から１６のパレット番号には、輝
度信号Ｙ，カラー識別信号Ｃｒ＝Ｒ−Ｙ、そしてカラー
識別信号Ｃｂ＝Ｂ−Ｙが含有されている。
【０２８３】ディスク構造情報９２６には、ディスク上
に記憶されたビデオ及び音声ファイルの構成情報が含ま
れる。ディスク構造情報９２６には、ファイル名の識別
に使われるディレクトリ・レコード内の対応するファイ
ル・アイデンティファイアと同じ内容を記載するファイ
ル名が含まれている。ディスク構造情報ファイルとして
ファイルを識別するファイル・アイデンティファイア・
フィールドが存在する。図５４に示すように、データ・
ファイル９１０、９１４等ディスク上のデータ・ファイ
ル数を示すフィールドが存在する。また、ファイルがビ
デオ、音声両方の情報を含むのか、音声情報だけなの
か、或はファイルがカラオケ・ファイルなのかどうか等
を含む各データ・ファイルの形態を示すフィールドも存
在する。
【０２８４】ディスク構造情報９２６には、データ・フ
ァイル内でのサブ映像、音声情報を記載するフィールド
も含まれている。このフィールド内で、サブ映像チャン
ネル数が示される。各サブ映像チャンネルは、異なるサ
ブ映像言語等、異なるサブ映像情報を表示するために利
用できる。また、音声ストリーム数、チャンネル番号順
の各サブ映像チャンネルの言語コードが示され、音声ス
トリーム番号順の音声ストリームの言語コードの連続、
ファイルの親管理とアングル情報も記載されている。親
管理情報（例えば成人映画などのように視聴を規制する
ための情報）は、表示される特定のシーケンス情報の親
レベルを記載するために使用される。シーケンス内に含
まれるのは、特定セルの最大親レベルである。このレベ
ルは１から５の範囲であり、レベルが高いほど視聴上の
規制が多くなる。以下、シーケンス、セル、親管理スキ
ームを詳細に説明する。ビデオ・シーケンスのアングル
数を記載するフィールドも存在する。例えば、音楽ビデ
オが全体で３種の異なるカメラ・ビューを有していた場
合、ユーザは、どの特定のカメラ・ビューが望ましいか
選択可能である。また、シーケンス内のプログラム数を
示すフィールドも存在する。
【０２８５】メニュー構造情報９２８には、各メニュー
・タイプの開始セル番号が含まれている。表示シーケン
スには、複数のセルが含まれている。１シーケンスで最
大例えば２５６個のセルを含むことができる。セルは、
後述のプレイバック情報（ＰＢＩ）パックと次のＰＢＩ
パック直前のパック間のＧＯＰ（映像グループ）の整数
である。ビデオのデータは、データが連続して再生され
るレコード・ユニットとしてのセルに分割される。セル
には、表示情報が含まれ、用途により分割される。セル
内の第１の音声パックと第１のサブ映像パックには、セ
ルの頭でＰＢＩパックの後に記録されるビデオ・ヘッド
・パック内のＰＴＳに隣接してプレゼンテーション用タ
イム・スタンプ（ＰＴＳ）が含まれるのが望ましい。所
望のアングル、プログラムの親規制に応じ、別のセルも
表示される。例えば、若い人にとって不適当な映像箇所
があると仮定すす。視聴できる親管理レベルに応じ、セ
ルを共有する２つのシーケンスを持つことができる。例
えば、視聴規制がない場合、セル１、２、３、５がある
特定のシーケンスで視聴可能とする。視聴の規制レベル
がある場合、シーケンスで視聴されるセルは１、２、
４、５とすることができる。
【０２８６】アングル差に関しては、同時に進行し、そ
の再生に要する時間が実質的に等しい複数のカメラ・ア
ングルで各ビデオ記録が可能である。各アングルは、ア
ングル・セルと呼ばれる１個のセルにより構成される。
同時に先行する１セットの複数アングル・セルは、アン
グル・ブロックと呼ばれる。アングル・セルが、シーケ
ンス内の複数位置に定義されている場合、アングル・セ
ル数と各アングル番号のカメラ・アングルは、アングル
・ブロック全体を通して同じでなければならない。
【０２８７】メニュー・セルは、ユーザにボリューム内
の各ビデオ、又は音声ファイルの内容を知らせるメニュ
ー・スクリーンを構成する。１セットのメニュー・セル
が、メニュー用のデータとしてディスク情報ファイル内
に共に記録される。メニュー・セル形態は、メニュー・
タイプとも呼ばれ、タイトル・メニュー、プログラム・
メニュー、音声メニュー、サブ映像メニュー、アングル
・メニューに分類される。メニュー・スクリーンには、
メニュー用のビデオが含まれる。選択項目は再生機器の
スクリーン上に表示され、メニュー・セルのためのサブ
映像データとして記録される。
【０２８８】メニュー・セル情報テーブル９３０は、図
５５に示す９３２、９３４等の複数のメニュー・セル情
報が記憶されるテーブルである。１個のメニュー・スク
リーンには１個のメニュー・セルが含まれる。メニュー
・セル情報には、複数のフィールドが含まれている。第
１のフィールドにおいて、ディスク情報の複写が許可さ
れているかどうかが示される他に、親管理レベル、メニ
ューがタイトル・メニューなのか、プログラム・メニュ
ーか、音声メニューか、サブ映像メニューか、或はアン
グル・メニューなのか等のメニュー・セル・タイプ、更
にメニューの言語コードが含まれる。コードには各言語
が割り当てられ、言語コードのサブ・フィールドに現れ
る特定コードがメニューで使用される言語を示す。
【０２８９】また、サブ映像によりメニュー・スクリー
ン上に表示される選択項目の開始数と選択項目数を記載
するフィールドも存在する。選択項目開始数は、メニュ
ー・スクリーン上の選択項目の最少数を示し、メニュー
の次のページが存在するか否か、選択可能な１から１６
間の項目数を示す番号を記載するためのフィールドが存
在する。メニュー・セル情報には、メニュー・セルの開
始パック内での下位３２ビットのシステム・クロック参
照（ＳＣＲ）、ファイルの頭からの相対的論理ブロック
番号を有するメニュー・セルの開始アドレスを記載する
フィールド、メニュー・セルを構成する論理ブロック数
を記載するフィールドもさらに含まれている。
【０２９０】メニュー・データ９２２は、メニュー用と
して表示される実際の情報を含有する。この情報は、図
５４のデータ・ファイル９１０、９１４内の情報と同様
に構成され、よって各側面（様相）を詳細に記述するも
のであり、メニュー・データ９２２は、冗長な説明を避
けるため省略される。メニュー・スクリーン上で選択さ
れる項目は、サブ映像情報により形成される。ディスク
・プレーヤによるメニュー選択処理は、コンピュータ・
コードを実行するマイクロコンピュータを使い行われ
る。タイトルに対するメニュー選択がなされる場合、選
択の結果が、ファイルの最初、或は選択されたタイトル
番号に対応するシーケンス番号から再生される。プログ
ラム・メニューの選択では、選択されたプログラムが、
選択されたプログラムの最初から再生される。メニュー
からの音声選択では、選択された音声ストリームに対応
するように音声ストリームが設定される。同様に、サブ
映像メニューの選択でも、サブ映像チャンネル番号が、
選択されたサブ映像チャンネルと等しく設定される。最
後に、メニューからのアングル選択により、選択された
番号に等しくなるようにアングル・セル番号が変更され
る。所望であれば、他の情報も含むことができ、メニュ
ー選択可能とすることができる。
【０２９１】図５４のデータ・ファイル９１０等のデー
タ・ファイルには、図５６に示すように、２つのセクシ
ョンが含まれている。つまり、データ・ファイル管理情
報９４０と音声、ビデオ、サブ映像情報の表示に使われ
る実際のデータ９４２である。データ・ファイル管理情
報９４０には次の４主要要素が含まれている。つまり、
データ・ファイル管理テーブル９４４、シーケンス情報
テーブル９４６、セル情報テーブル９４８、データ検索
マップ９５０である。
【０２９２】データ・ファイル管理テーブル９４４に
は、データ・ファイル９１０の各側面（様相）に関連し
た情報が含まれる。この情報には、ファイル名を識別す
るためのディレクトリ・レコード内の対応するファイル
・アイデンティファイアと同じ内容であるファイル名用
フィールド、ファイルには音声、ビデオ両方の情報が含
有されていることを示すファイル・アイデンティファイ
ア、論理ブロック数により定義されるファイルのサイ
ズ、ファイル管理テーブルのサイズ、ファイル用シーケ
ンス数、ファイル用セル数、ディスク構造情報テーブル
（ＤＳＩ）パック数、シーケンス情報テーブル９４６の
開始アドレス、セル情報テーブル９４８の開始アドレ
ス、データ検索マップの開始アドレス、データ９４２の
開始アドレス、ＭＰＥＧ−１、或はＭＰＥＧ−２等のビ
デオ圧縮モードを含むデータ９４２のビデオ属性を記載
するフィールド、フレーム・レートが毎秒２９．９７フ
レームなのか、或は２５フレームなのかを含むフレーム
・レート、表示アスペクト比が３／４、９／１６のどち
らなのか、或は表示モードがパン−スキャンとレターボ
ックス・フォーマットの一方を、又は両方を許可してい
るのかどうかを示す表示アスペクト比が含まれている。
【０２９３】データ・ファイル管理情報には、更に、フ
ァイル内の音声ストリーム数、音声コーディング・モー
ド等の音声ストリーム属性、モノラル、ステレオ、デジ
タル・サラウンド等の音声モード、特定の言語が含まれ
ているかどうかを示す音声タイプを記載するフィール
ド、それに言語のコード番号を示す特定コードのフィー
ルドが含まれている。
【０２９４】データ・ファイル管理テーブル９４４に
は、更に、サブ映像チャンネル数を記載するフィール
ド、サブ映像の走行長コーディングが使用されており、
特定言語が存在するか否か、その言語が特定されている
かどうかを示すフィールド等、サブ映像チャンネルの属
性を記載するフィールドが含まれている。更に、ファイ
ルの全サブ映像チャンネル内で使用される１６カラーの
パレット用Ｙ，Ｃｒ、ＣＢカラーを示すフィールドも存
在する。また、シーケンス情報テーブルのサイズを記載
するフィールド、最少セル数、それに続く連続セル数、
そしてファイルの１シーケンス内で使用されるセル数の
範囲を記載するフィールドも存在する。１シーケンス内
で使用されるセル数は、３２個の連続した数が１セット
を構成し、最少のセル数がそのセットの第１の数に置か
れることにより算出される１セットの数内に含まれる必
要がある。このフィールドには、シーケンス内で使われ
るセル数、またシーケンス内で使われる最少のセル数を
含有するサブ・フィールドが含まれる。
【０２９５】シーケンス情報テーブル９４６には、複数
のシーケンス情報入力９５２、９５４が含まれている。
シーケンスは、このシーケンスが指定する範囲内でのセ
ルが選択的に再生される順序である。２種類のシーケン
スがある、つまり完了と接続である。完了タイプのシー
ケンスは、それ自体の再生後終了される。接続タイプの
シーケンスは、連続して再生が行われる。符号９５２の
シーケンス情報１、符号９５４のシーケンス情報ｉ等の
シーケンス情報数は、シーケンス番号に等しく、１から
始まるシーケンス情報テーブルで前記順序で番号付けさ
れる。シーケンス情報テーブルのシーケンス情報入力
は、完了タイプ、或は接続タイプのシーケンスで記述さ
れる。各シーケンス情報には、シーケンスのタイプ、含
まれるプログラム数、含まれるセル数、シーケンス再生
時間、接続可能シーケンス番号、シーケンス制御情報を
記載するフィールドが含まれている。
【０２９６】シーケンス情報のシーケンス・タイプのフ
ィールドは、シーケンスの複写、親管理を記載するもの
であ。複写が許可されているか、禁じられているかを示
すサブ・フィールド、１〜５の親管理レベルを特定する
サブ・フィールド、シーケンス・タイプが、完了タイプ
のシーケンスなのか、接続タイプのヘッド・シーケンス
なのか、接続タイプの中央シーケンスなのか、接続タイ
プの終了シーケンスなのかを示すサブ・フィールドが存
在する。また、使用シーケンスがカラオケのアプリケー
ションかどうかを示すアプリケーション・タイプのサブ
・フィールドも存在する。
【０２９７】フィールドに含まれるプログラム数を述べ
る数は、１シーケンスで最大１００個までのプログラム
数が書き込まれる事を述べている。フィールドに含まれ
るセル数としては、特定シーケンスで総数で最大２５６
個が書き込まれる。シーケンス、或は再生時間は、この
シーケンスの総合再生時間を述べるもので、時間、分、
秒、ビデオ・フレームの単位でこのシーケンスの総合再
生時間が記載される。
【０２９８】接続タイプ数のフィールドには、最大数を
８として、その直後のシーケンス数が含まれる。接続可
能シーケンス数のフィールドには、接続可能なシーケン
スのシーケンス数と、指定された数のシーケンスの親管
理レベルが書き込まれる。接続可能なシーケンスの選択
数は、前記順序により１から割り当てられる。このフィ
ールドには、親管理番号のサブ・フィールドとシーケン
ス番号のサブ・フィールドが含まれる。シーケンス情報
の最後のフィールドは、シーケンス制御情報であり、こ
の情報では、再生順序の中でのシーケンス内に含まれる
セルが示されている。このフィールドは、また、複数セ
ルで１セットとなったアングル・ブロックを記載するの
ためにも使用される。これらセルの再生時間は、実質的
に等しいものである。１個のアングル・ブロックには、
第１のセルを１として、最大９個のセルが含まれてい
る。シーケンス制御情報のサブ・フィールドには、その
後再生される複数のセルを混合する再生ユニットとして
プログラムを定義するプログラム番号が含まれている。
連続して次のセルに進むかどうか、停止すべきか、或は
シーケンスの終わりに到達したかどうかを示すセル再生
制御のサブ・フィールド、ブロックが構成セルでないか
どうか、ブロック構成の第１セルがあるかどうか、ブロ
ック構成内のセルなのか、或はブロック構成内の最後の
セルなのかどうかを示すブロック・モードのサブ・フィ
ールドが存在する。また、ブロックがあるかどうか、或
はアングル・ブロックがあるかどうかを示すブロック・
タイプのサブ・フィールドも存在する。最後に、再生さ
れるセルのセル番号を示すサブ・フィールドも存在す
る。
【０２９９】データ・ファイル管理情報９４０には、更
に、複数のセル情報入力９５６、９５８を含有するセル
情報テーブル９４８が含まれる。各セル情報入力には、
複写が許可されているのか、禁じられているのか、そし
て親管理のレベルを示すセル・タイプ情報が含まれてい
る。また、時間、分、秒、ビデオ・フレームの単位でセ
ルの合計セル再生時間を示すセル再生時間を記載するフ
ィールドも存在する。セルの第１パックに記載された下
位３２ビットのシステム・クロック参照を記載するフィ
ールド、ファイルの最初から相対的論理ブロック番号で
セルの開始点でのアドレスを記載するフィールド、更に
セル内に含まれる論理ブロック数を記載するフィールド
が存在する。
【０３００】データ・ファイル管理情報９４０の最後の
セクションは、データ検索マップ９５０である。データ
検索マップには、データ検索情報パック９６０、９６２
の複数のポインタが含まれる。これらのポインタは、プ
レイバック情報（ＰＢＩ）パック・ポインタと呼ばれ、
データ９４２に存在するプレイバック情報パックのアド
レスを提供するものである。早送り、又は速い巻き戻し
を実行し、情報の視聴を可能にするためには、ＭＰＥＧ
−２のビデオ・シーケンスの内部映像に依存するのが最
も良い。これらの内部映像は、アドレスがデータ検索マ
ップに含まれるデータ９４２内のプレイバック情報パッ
クを利用し位置決定される。以下、ＰＢＩパックの詳細
を記載する。
【０３０１】データ・ファイル９１０のデータ９４２に
は、図５７に示すように、再生情報のインタリーブされ
たパック（ＰＢＩ）、ビデオ、サブ映像、音声情報が含
まれる。例えば、図５７において、データには、再生情
報９４０、ビデオ情報９４２、９４４、サブ映像情報９
４６、音声情報９４８等が含まれている。データ９４２
内の情報構造、プレゼンテーション・タイミングは、Ｍ
ＰＥＧシステム説明（ＩＳＯ／ＩＥＣ１３８１８−１）
で定義するプログラム・ストリームに従うものである。
しかし、再生情報、サブ映像情報、そしてこの情報が記
憶、符号化、復号化される方法が、本発明の一部を構成
するものである。
【０３０２】図５７のデータ９４２を構成する様々な情
報には、情報パックも含まれている。パック９７０Ａ，
９７０Ｂの例が図５８（Ａ），図５８（Ｂ）に示されて
いる。各パックは、パック・ヘッダ９７２Ａ、又は９７
２Ｂ、そしてビデオ、音声、サブ映像、又は再生情報を
含むパケット９８２Ａ、又は９８２Ｂより構成されてい
る。
【０３０３】パック９７０Ａの構造は、パケット９８２
Ａが２０３４と２０２７バイト間を占める場合使用され
る。詰込みフィールド９８０Ａにより、パケットの合計
サイズが２０４８バイトになるよう１から８バイトの詰
込みが可能である。ビデオ、音声、サブ映像、或は再生
情報のパケットが２０２７バイト以下の場合、図５８
（Ｂ）に示すように、１バイトの詰込み９８０Ｂとパケ
ット９８２Ｂ、９８４Ｂのバイト総数を２０３４にする
充填９８４のパケットを含むパック構造９７０Ｂが使用
される。各パケット・ヘッダ９７２Ａ、９７２Ｂには、
パック開始フィールド９７４、システム・クロック参照
９７６、マルティプレックス（ＭＵＸ）レート・フィー
ルド９７８、詰込みフィールド９８０が含まれている。
図５８（Ａ）、図５８（Ｂ）のパケットは、ＩＳＯ／Ｉ
ＥＣ１３８１８内のセクション２．５．３．４に記載の
プログラム・ストリーム・パック内のフィールドの意味
の定義応じて構成される。
【０３０４】図５９は、再生情報（ＰＢＩ）パックを示
す図である。パック・ヘッダ９７２は、前記図５８
（Ａ）、図５８（Ｂ）を参照し記載したように構成され
る。図５９のシステム・ヘッダ９８６は、ＩＳＯ／ＩＥ
Ｃ１３８１８−１記載のプログラム・ストリーム・シス
テム・ヘッダの必要条件に従い構成される。システム・
ヘッダ内のフィールドの意味的定義は、ＩＳＯ／ＩＥＣ
１３８１８−１のセクション２．５．３．６に記載の通
りである。
【０３０５】パケット・ヘッダ９８８は、ＩＳＯ／ＩＥ
Ｃ１３８１８−１のセクション２．４．３記載されたＰ
ＥＳパケット内のフィールドの意味的定義で設定された
フィールドに応じ構成される。しかし、パケット・ヘッ
ダ９８８では、プレゼンテーションのタイム・スタンプ
までのフィールドのみ必要とされる。
【０３０６】再生情報パックには、更に、サブ・ストリ
ームＩＤフィールド９９０が含まれている。これは、サ
ブ・ストリームのＩＤを示す８ビットのフィールドであ
る。他表示用に使用できるものとしては、サブ映像スト
リーム、ビデオブランキング情報（ＶＢＩ）ストリー
ム、ＡＣー３ストリーム、線状ＰＣＭストリーム等が挙
げられる。また、ＭＰＥＧ音声サブ・ストリーム等、他
のストリームを含むことも可能である。サブ・ストリー
ムＩＤ９９０がビデオブランキング情報９９２のデータ
に先行するため、サブ・ストリームＩＤは、それに続く
情報がビデオ・ブランキング情報ストリームであること
を示すよう設定される。ビデオブランキング情報９９２
のデータは、ＩＳＯ／ＩＥＣ１３８１８−１に従い構成
され、ＩＳＯ／ＩＥＣ１３８１８−１に要求される意味
に従うものである。
【０３０７】再生情報パックには、また、図５９に示す
ように、データ検索情報９９６のデータを含むデータ検
索情報パケットのデータ用のパケット・ヘッダ９９４も
含まれている。パケット・ヘッダ９９４には、００００
０１ｈの２４ビット値を有するパケット開始コード・プ
リフィックス、データ検索情報９９６が前もって定義さ
れた基準に従っていないことを示すストリームＩＤ、パ
ケット長を示すフィールドが含まれる。データ検索情報
９９６はＭＰＥＧ規格で開示されていないため、ストリ
ームＩＤにより、続く情報が個人用タイプのデータ・ス
トリームであることが示される。
【０３０８】図５９のデータ検索情報９９６のデータの
特定内容が、図６０に示されている。データ検索情報９
９６には、一般情報１０００、アングル・アドレス情報
１０２０、ハイライト情報１０２２、同期再生情報１０
２４、そしてＰＢＩパック・アドレス情報１０３６が含
まれる。
【０３０９】一般情報１０００は、図６１に更に詳細に
示されている。前記のように、データ検索情報の目的
は、デジタル的に符号化されたビデオの速い検索を可能
とすることであり、特にビデオ復号化中に実行されるト
リック・モードのため内部映像の位置を速く突き止める
ことを可能とすることである。従って、図６０に示す再
生情報パックは、各映像グループ（ＧＯＰ）のヘッド・
パックであり、Ｉ−ピクチャで開始されるビデオのヘッ
ド・パックの直前に割り当てられる。一般情報１０００
には、Ｉ−ピクチャの再生開始時間であるＧＯＰ１００
２のタイム・スタンプが含まれる。次に、ＰＢＩのシス
テム・クロック参照（ＳＣＲ）が存在する。これは、Ｐ
ＢＩパック・ヘッダに記載される下位３２ビットのＳＣ
Ｒを記述するものである。１００６には、Ｉ−ピクチャ
の終了アドレスが含まれ、ファイルの最初からの相対的
論理ブロック番号により、上にＩ−ピクチャの最後のデ
ータが記録されるパックのアドレスが記載される。セル
番号は、フィールド１００８に記憶され、ＧＯＰが属す
るセル番号が記載される。フィールド１０１０には、規
制レベル、また複写が許可されているかどうかを含む親
管理情報が記載される。最後に、フィールド１０１２に
は、ファイルの頭から相対的論理ブロック番号を使い、
このＰＢＩパックのアドレスであるＰＢＩパック・アド
レスが記載されている。
【０３１０】図６０に示すデータ検索情報９９６のフィ
ールド１０２０は、アングル・アドレス情報である。ア
ングル・アドレス情報には、他のアングルのアドレス情
報が含まれる。アングル・アドレス情報には、それぞれ
が別のアングル・セル番号に関わる９個のフィールドが
存在する。アングル・アドレス情報１０２０内の各フィ
ールドについては、特定のＰＢＩパックが属するセルが
アングル・ブロックを構成する場合、アングル・アドレ
ス情報内のフィールドには、対応するデータ検索情報の
ビデオ開始プレゼンテーションのタイム・スタンプを越
えない最も近いビデオ開始プレゼンテーションのタイム
・スタンプを有するアングル・セル番号のＰＢＩパック
のアドレスが記載される。アングル・セルが１個も存在
せず、或はアングル・セルが１個も構成されない場合
は、特定セルのアングル・アドレス情報が０に設定され
る。
【０３１１】データ検索情報９９６の第３セクション
は、強調表示情報１０２２である。強調表示情報には、
メニュー・スクリーン上の選択項目の位置、そして選択
された時に変化するそのカラー及びコントラストが記載
される。この情報は、セルがメニューの一部である場合
のみ使用される。強調表示情報には、選択項目開始番号
とメニュー・スクリーン上のサブ映像により表示される
項目数を記載するフィールドが含まれる。選択項目開始
番号と項目数の特定サブ・フィールドには、メニュー・
スクリーン上の最も少ない選択項目数を記載するサブ・
フィールド、メニューの次のページが存在するか否かを
記載するサブ・フィールド、メニュー・スクリーン上の
選択項目数を記載するサブ・フィールドが含まれる。強
調表示情報の第２フィールドには、選択項目の位置、カ
ラー、コントラストが含まれる。このフィールドには、
メニュー・スクリーン上の各選択項目に対する矩形表示
領域、選択された時変化する対応するカラー、コントラ
ストが記載される。矩形表示領域は、Ｘ−Ｙ座標平面で
定義される。選択項目の位置、カラー、コントラストを
記載するこのフィールド内の情報には、メニューの矩形
領域の明示、選択された時、様々な形態の画素がどのよ
うに変化するかを示す情報が含まれる。後で詳述するよ
うに、サブ映像では、４種の別個の画素が考慮されてい
る。テキスト、或は他の情報を表示するのに使える第
１、第２強調画素、線引き、或は他のグラフィック・パ
ターン等のパターン表示に使われるパターン画素、それ
に背景画素が存在する。これら４種の別個の情報が強調
されたり、選択される場合は、項目が強調表示される時
に選ばれるカラー、また強調表示の時の画素のコントラ
ストを知る必要がある。従って、選択される時の４種の
画素のカラー、コントラストを記載する強調表示情報内
には８個のサブ・フィールドが存在する。
【０３１２】データ検索情報９９６内の第５項目は、同
期再生情報１０２４である。同期再生情報１０２４は、
図６２に詳細に示されている。同期再生情報の目的は、
ビデオ・データを同期する音声及びサブ映像に開始時間
とアドレス情報を見つけ出すことを可能とすることであ
る。図６２に示す同期再生情報には、音声プレゼンテー
ションスのタイム・スタンプ（ＰＴＳ）の目標である音
声パック・アドレスが含まれる。このフィールドの最も
有効なビットにより、音声パックがこのＰＢＩの前に位
置しているのか、あるは後かが示される。音声１０２８
のプレゼンテーションの時刻記録（ＰＴＳ）には、ビデ
オ開始ＰＴＳからの相対的提示時刻記録を有するＩ−ピ
クチャの再生開始時間直後の再生開始時間を有する音声
パケットのＰＴＳが記載される。音声提示時刻記録によ
り、最大８個の音声ストリームに提示時刻記録の記憶が
可能となる。更に、ＧＯＰ中で再生される音声フレーム
により音声パケットが構成されているか否かを示すサブ
・フィールドがあっても良い。映像用の音声が一つもな
い場合、音声の提示時刻記録を記憶したり、復号化した
りする必要はない。最大８個の音声チャンネルがあるた
め、各音声チャンネルが対応するアドレス及び時刻記録
フィールドを有することになる。
【０３１３】データ構造１０２４には、また、ＰＢＩパ
ックと相対する、対象のサブ映像パックのアドレスを記
載するサブ映像パック・アドレス１０３０が含まれる。
サブ映像の提示時刻記録は、対応するサブ映像情報の同
期化を記述している。サブ・フィールドとしては、ＧＯ
Ｐ再生中に再生されるサブ映像ユニットが存在するか否
かを示すもの、サブ映像の再生開始時間がビデオ提示時
刻記録の前か否かを示すもの、ＧＯＰ再生中に再生され
るサブ映像ユニットの生成開始時間を示すもの、ＧＯＰ
再生中に再生されるサブ映像ユニットの再生終了時間を
示すもの等が存在する。最大３２のサブ映像を単一デー
タ・ストリーム内に含むことができるため、存在する各
サブ映像は、対応するアドレスと時刻記録フィールドを
有している。 図５９に示すデータ検索情報９９６の最
後のセクションは、ＰＢＩパック・アドレス情報であ
る。ＰＢＩパック・アドレス情報は、ファイル内の他の
ＰＢＩアドレス・パックより構成され、他のＰＢＩパッ
クの位置が直に見つけ出される。ＰＢＩパックアドレス
情報は、相対的論理ブロック番号を用いる周囲のＰＢＩ
パックのアドレスを記述する。ＰＢＩパック・アドレス
情報には、それぞれ次と前のＰＢＩパック・アドレスを
記載する２個のフィールドが含まれる。１５のフィール
ドが存在し、それぞれ、現在のＰＢＩパック・アドレス
からの相対的論理ブロック番号を使い、その累積再生時
間がｎ×０．５秒と（ｎ＋１）×５秒の間であり、１個
以上のＰＢＩパックがこの範囲内にある時、ｎ×０．５
秒（１≦ｎ≧１５）に最も近いＰＢＩパックを選択す
る、ＧＯＰ直前のＧＯＰに属するＰＢＩパックのアドレ
スが記載される。
【０３１４】１５のフィールドが存在し、それぞれ、現
在のＰＢＩパックアドレスからの相対的論理ブロック番
号を使い、その累積再生時間がｎ×０．５秒と（ｎ＋
１）×０．５秒の間となり、そして１個以上のＰＢＩパ
ックがこの時間範囲内にあるとき、ｎ×０．５秒（−１
５≦ｎ≦−１）に最も近いＰＢＩパックを選択するＧＯ
Ｐに属するＰＢＩパックのアドレスが記載される。
【０３１５】２個の領域が存在し、それぞれ現在のＰＢ
Ｉパック・アドレスからの相対的論理ブロック番号を使
い、その累積再生時間がｎ×０．５秒と［ｎ×０．５＋
１］秒の間であり、１個以上のＰＢＩパックがこの範囲
にある時、ｎ×０．５秒（ｎ＝２０、あるはｎ＝６０）
に最も近いＰＢＩパックを選択するＧＯＰの直前のＧＯ
Ｐに属するＰＢＩパックのアドレスが記載される。
【０３１６】更に２個のフィールドが存在し、それそれ
現在のＰＢＩパック・アドレスからの相対的論理ブロッ
ク番号を使い、その累積再生時間がｎ×０．５秒と［ｎ
×０．５＋１］秒の間であり、１個以上のＰＢＩパック
がこの範囲にある時、ｎ×０．５秒（ｎ＝−２０、或は
ｎ＝−６０）に最も近いＰＢＩパックを選択するＧＯＰ
に属するＰＢＩパックのアドレスが記載される。
【０３１７】ビデオ・パック１０４０の構造が図６３に
示されている。ビデオ・パックには、図５８（Ａ）、図
５８（Ｂ）に示すヘッダ９７２Ａ、或は９７２Ｂに従っ
て構成されるパック・ヘッダ９７２が含まれている。ビ
デオ用のパケット・ヘッダ１０４６は、ビデオ・データ
１０４８と同様、ＩＳＯ／ＩＥＣ１３８１８−１に従い
構成される。しかし、ＭＰＥＧビデオ信号として表され
るビデオ・データ１０４８は、前記の技術に従い符号化
されるのが望ましい。
【０３１８】ＭＰＥＧの符号化された映像グループ１０
５０が図６４に示されている。ビデオ・ストリーム１０
６０を生成するために、このＧＯＰ１０５０を複数のビ
デオ・パック１０４０に分割する方法が、図６４の下部
に示されている。映像グループ１０５０は、ビデオ・パ
ックにはめ込まれるよう適当なユニットに分割される。
最後のビデオ・パック１０４０Ｇ、ビデオ・パックｊ
は、各パックに使われる全２０４８バイトを占めるもの
ではない、従って詰込（スタッフィング）を使い最後の
ビデオ・パックｊが２０４８バイトに等しくされる。
【０３１９】図６５（Ａ）は、ＭＰＥＧ音声のビデオ・
パックを示す図である。このビデオ・パック１０８０に
は、ＭＰＥＧの必要条件、及び符号化されたＭＰＥＧ音
声データ１０８６に従い構成されるパック・ヘッダ９７
２、パケット・ヘッダ１０８４が含まれる。
【０３２０】図６５（Ｂ）は、リニアＰＣＭ音声、或は
ドルビー（Ｄｏｌｂｙ）ＡＣ−３音声に従い構成される
音声パック１０９０を示している。図６５（Ｂ）に示す
パケットについては、パック・ヘッダ９７２が前記のよ
うに配置され、ストリーム ｉｄフィールド（ｓｔｒｅａ
ｍ ｉｄ ｆｉｅｌｄ）がリニアＰＣＭ、或はＡＣ−３
のどちらか一方に個人用音声データ・ストリームが対応
することを示すよう設定されるＭＰＥＧの必要条件に従
い構成される。サブ・ストリームｉｄ１０９６により、
音声データがリニアＰＣＭ用なのか、ＡＣ−３用（或は
ＭＰＥＧ）であるのかが示される。音声フレーム・ポイ
ンタ１０９８には、音声パケット内の音声フレーム・ヘ
ッダ数を示す多数のフレーム・ヘッダが含まれ、またポ
インタの最後のバイトからの相対的バイト番号を使い、
音声フレームの第１アクセス・ユニットの頭を示す第１
アクセスのユニット・ポインタも含まれる。一般に、リ
ニアＰＣＭは、それぞれがフレーム・ヘッダとフレーム
・データを含む音声フレームに分割される。音声フレー
ム・ポインタ１０９８も同様に、ＤｏｌｂｙＡＣ−３で
使用可能である。音声データ１１００は、対応する音声
符号化方法に従い構成される。
【０３２１】図６６は、符号化された音声ストリーム１
１００を示す図である。この音声ストリームは、個々の
パック１１２２より構成される音声パック１１２０のス
トリームに変換される。各パックは長さが２０４８バイ
トであり、最後の音声パック１１２２Ｇ、音声パックｊ
が、その長さを２０４８バイトにするためビット詰込み
（ビットスタッフィング）により調整される。
【０３２２】本発明の特徴は、サブ映像の利用と音声及
びビデオ情報とサブ映像パックのインタリーブである。
サブ映像情報により、どのようなグラフィック情報でも
その表示が可能となり、ＭＰＥＧビデオ上へのサブ映像
情報の上書きも許可される。本発明に利用されるサブ映
像情報と従来の閉鎖キャプションのサブタイトル間の主
な違いは、サブ映像情報はビット・マップ化されたグラ
フィックスであるが、一方閉鎖キャプションでは、デコ
ーダに記憶される文字セット内の文字を表示するための
文字コードが伝送される。従って、従来の閉鎖キャプシ
ョンはデコーダ内の文字セットにより制限を受ける。一
方、サブ映像情報はビット・マップ化されるため、外国
語文字も含めどのようなタイプの文字でも、各言語に対
してデコーダ内に文字セットを記憶する必要なしに表示
可能である。
【０３２３】サブ映像情報の各表示スクリーンは、サブ
映像ユニットと呼ばれる。図６７にサブ映像ユニット１
１４０が示されている。サブ映像ユニットには、ビット
マップ化されたピクセル・データの１個のスクリーンが
含まれ、このピクセル・データのスクリーンは、複数の
ビデオ・フレーム上で表示される。サブ映像ユニット１
１４０には、サブピクチャ装置ヘッダ１１４２が含まれ
ている。サブピクチャ装置ヘッダ１１４２には、サブ映
像ユニットのサイズと、サブ映像ユニットの頭からのバ
イト数に相対する表示制御シーケンス・テーブル１１４
６の開始アドレスを記載するフィールドが含まれる。
【０３２４】ピクセル・データ１１４４は、走行長（ラ
ンレングス）圧縮のビット・マップ化された情報であ
る。ピクセルは、表示情報の背景を形成する背景画素、
グラフィック線を含むサブ映像内での表示パターンを許
すパターン画素、２種の異なる属性を有するグラフ、あ
るいは文字の表示を可能にする２タイプの強調画素で良
い。ビット・マップ化された情報は、従来のグラフィッ
ク生成技術を使い作成できる。走行長圧縮は、つぎのル
ールに従い実行される。１から３の同種の画素が続く場
合、最初の２ビットに画素数を入力し、続く２ビットに
ピクセル・データを入力する。４ビットで１ユニットが
構成される。４から１５の同種の画素が続く場合、最初
の２ビットに０を指定し、続く４ビットに画素数を入力
し、次の２ビットにプクセル・データを入力する。８ビ
ットで１ユニットの構成である。１６から６３の同種の
画素が続く場合、最初の４ビットに０を指定し、続く６
ビットに画素数を入力し、次の２ビットにピクセル・デ
ータを入力する。１２ビットで１ユニットの構成であ
る。６４から２５５の同種の画素が続く場合、最初の６
ビットに０を指定し、続く８ビットに画素数を入力し、
次の２ビットにピクセル・データを入力する。１６ビッ
トで１ユニットの構成である。１行の最後まで同じ画素
が続けば、最初の１４ビットに０を指定し、次の２ビッ
トにピクセル・データを記載する。１６ビットで１ユニ
ットの構成である。１行での画素入力が完了する時に結
果としてバイト・アラインメントが生じていなければ、
調整のため４ビットのダミー・データを挿入する。ま
た、所望のように画像データを表すために他の圧縮機構
を使うことも可能である。例えば、ＪＰＥＧ、或はＧＩ
ＦＦを使いサブ映像の画像を表示することができる。
【０３２５】表示制御シーケンス・テーブル１１４６に
は、制御シーケンスの年代順を示す複数の表示制御シー
ケンス１１４６Ａ、１１４６Ｂ，１１４６Ｃ等が含まれ
る。表示制御シーケンス・テーブルには、サブ映像内の
情報の表示方法に関する情報が含まれている。例えば、
単一のサブ映像ユニットを形成するワードは１個づつ現
れ、やがてはグループで表示され、そのカラーも変更さ
れる。これは、カラオケ情報の表示にサブ映像を使う際
に有益である。
【０３２６】各表示制御（ディスプレイコントロール）
シーケンス（ＤＣＳＱ）により、コマンドによるサブ映
像ユニットが表示される期間上で実行されるピクセル・
データの変更も可能である。表示制御シーケンスの第１
フィールドは、表示開始時間である。このフィールドに
は、サブピクチャ装置ヘッダを有するサブ映像パケット
内に記載のＰＴＳからの相対ＰＴＳを有するＤＣＳＱ内
に含まれる表示制御コマンドの実行開始時間が記載され
る。表示制御は、ＤＣＳＱの表示制御開始時間に応じ、
前記実行開始時間後の第１ビデオ・フレームから開始さ
れる。各ＤＣＳＱの第２フィールドは、続く表示制御シ
ーケンスのアドレスである。このフィールドには、第１
サブ映像ユニットから相対するバイト番号を持つ続くＤ
ＣＳＱの開始アドレスが記載される。続きのＤＣＳＱが
一つも存在しない場合、このフィールドには、第１サブ
映像ユニットから相対のバイト番号を持つこのＤＣＳＱ
の開始アドレスが記載される。従って、ＤＣＳＱには、
１個以上の表示制御コマンドが含まれる。これらのコマ
ンドにより、ピクセル・データの属性及び表示の制御、
変更が可能になる。このコマンドには、サブ映像のＯＮ
／ＯＦＦ状態に関らず、サブ映像ユニットの表示を強制
的に開始させるコマンドが含まれる。例えば、ユーザが
メニューを使ってサブ映像を消す場合、このコマンドを
セットしてユーザの設定を無効にすることが可能であ
る。更新されたサブ映像ユニットの表示を開始させる別
のコマンドも存在する。このコマンドは、各ＤＣＳＱに
一度現れる必要がある。また、２種の強調画素、パター
ン画素、背景画素を含む前記４種の画素のカラー、コン
トラストを設定するコマンドも存在する。矩形領域表
示、サブ映像を構成するピクセル・データの位置を設定
するコマンドもある。このコマンドにより、上部、下部
のＸＹ座標の設定が可能となる。更に、表示に使われる
ピクセル・データのヘッド・アドレスを設定するコマン
ドも存在する。このコマンドでは、上下両フィールドの
ヘッド・アドレスの入力が可能となる。拡張フィールド
においては、ユニットの頭からの相対バイト番号を持つ
上下フィールド用のピクセル・データの各ヘッド・アド
レスが使用される。第１ピクセル・データは、ライン上
の第１画素を表している。このコマンドは、少なくとも
第１ＤＣＳＱ，ＤＣＳＱ０内に設定される必要がある。
【０３２７】ピクセル・データのカラーとコントラスト
を変更するためのＤＣＳＱ内に表出されるコマンドがあ
る。このコマンドは、データ検索情報の強調表示情報が
利用される時には使用されない。ピクセル・データのカ
ラーとコントラストを変えるコマンドには、表示中のピ
クセル・データのカラーとコントラストを制御するため
の画素制御データが含まれる。画素制御データ内に記載
される制御内容は、所定の開始時間後各ビデオ・フレー
ムに対して実行され、新しい画素制御データと遭遇する
か、或は新しいサブ映像ユニットと遭遇するまで継続さ
れる。画素制御データには、同様の変更がなされる行を
指定するために使われる行制御情報が含まれる。また、
画素制御情報を使い、変更がなされる行における位置の
指定も可能である。行制御コマンドにより、開始行番
号、変更点数、変更終了行番号の変更が可能となる。画
素制御情報には、変更開始画素番号、強調画素１、２、
パターン画素、背景画素の新しいカラー及びコントラス
トが含まれる。また、表示制御シーケンスの終了を指示
するコマンドも存在する。各ＤＣＳＱは、このコマンド
で終了する。
【０３２８】映画等のビデオ・フレーム期間では、使用
可能な多くの別個のサブ映像ユニットがある。サブ映像
ユニットは、図６８に示すように、サブ映像パック１１
５０に分割される。サブ映像パックには、前記のよう
に、パック・ヘッダ９７２、ＭＰＥＧシステムの必要条
件に従うパケット・ヘッダ、続くデータがサブ映像デー
タであることを示すサブ・ストリームＩＤ，そしてサブ
映像データ１１５８それ自体が含まれる。
【０３２９】サブ映像ユニット１１４０等のサブ映像ユ
ニットは、図６９に示すように、サブ映像パック１５０
に分割される。最後のサブ映像パック１０５０Ｇには、
その長さを２０４８バイトにする充填が含まれる。
【０３３０】図７０には、連続サブ映像の表示方法が示
されている。時間が新しいサブ映像パケットに記載され
るＰＴＳの時間と等しくなる時、現在表示中のサブ映像
ユニット（１１６０）が解除され（１１６２）、次のサ
ブ映像ユニットの表示制御シーケンスが指定する時間に
なると、そのサブ映像が表示される（１１６４）。１１
６０と１１６２の間には、サブ映像ユニットｎとサブ映
像ユニットｎ＋１間の分離線がある。この分離線は、サ
ブ映像ユニットｎ＋１のパケット・ヘッダに記載される
ＰＴＳで起こるものである。サブ・ユニットｎ＋１の実
際の表示時間は、サブ映像ｎ＋１のＤＣＳＱ内に設定さ
れる。
【０３３１】サブ映像情報に使われるピクセル・データ
の作成は、表示されるのが望ましい情報のビット・マッ
プを作成するためのコンピュータを使い実行可能であ
る。ビット・マップ化された情報の作成プロセスは、従
来より知られる技術である。
【０３３２】図５４〜７０では、音声、ビデオ、そして
サブ映像情報の符号化に利用されるデータ構造が強調さ
れている。一方、図５４〜７０に示すデータ構造の開示
により、ＭＰＥＧ符号化技術にそれほど熟練していない
人でも、特にＩＳＯ／ＩＥＣ１３８１８−１のＭＰＥＧ
システムの説明を基に、符号化された音声、ビデオ、サ
ブ映像のデータ構造へのフォーマットが可能である。同
様に、データが記憶される構造の知識があれば、それほ
ど技術的に熟練していなくともビデオ、音声、サブ映像
情報を生成するためのデータの復号化を実行することが
可能である。
【０３３３】本発明の一部を構成するビデオ・デコーダ
の例では、オプティカル・ディスク上に記憶されたデー
タを読み出すオプティカル・ディスク・リーダが含まれ
る。読み出される情報は、情報を復号化するため、従来
の分析技術を使い分析される。ビデオ、音声、サブ映
像、ＰＢＩパック全てが復号化される必要がある。ビデ
オの場合、音声パックが従来のデコーダを使い復号化さ
れるように、市販のＭＰＥＧデコーダを使い復号化が可
能である。サブ映像情報は、符号化されたのと逆の方法
でサブ映像パックからサブ映像ユニットを構成すること
により復号化される。サブ映像情報の復号化において
は、特別構成のハードウェア、或はソフトウェアを使い
プログラムされた汎用マイクロプロセッサを使うことが
できる。再生情報パックには、図５９に示すように、デ
ータ検索情報９９６が含まれる。データ検索情報は、プ
ログラムされたマイクロプロセッサを使い処理され、音
声、ビデオ、サブ映像デコーダとは別である。メニュー
機能はプログラムされてマイクロプロセッサによっても
実行されるため、データ検索情報内に含まれる強調表示
情報１０２２、そして他の全てのメニュー機能は、サブ
映像デコーダではなくプログラムされたマイクロプロセ
ッサにより実行される。本発明の操作、データ構造、符
号化、復号化プロセスに関する追加の情報は、両方とも
本文書内で参照として記載される日本特願平７−８１２
９８号、特願平７−８５６９３号に記載する通りであ
る。
【０３３４】本発明の符号化システムにより、映像内で
の画質制御が可能となる。この制御は、最終的なビデオ
製品を作成する人達が、符号化システムの最終的製品を
密接に制御できるようにすることにおいて重要である。
従って、デジタル・ビデオの符号化により、結果的にア
ナログ・ビデオでは存在しない復号化加工品が生じて
も、最終的デジタル製品は、極めて容認できるものであ
る。前項での教示は、他の項にも当てはまることであ
る。
【０３３５】本発明の判定、算出、工程は、コンピュー
タ技術に精通した者であれば分かるように、本発明に従
い従来のプログラムされた汎用デジタル・コンピュータ
を使い適切に実施可能である。適当なソフトウェア・コ
ーディングに関しても、ソフトウェア技術に精通した者
であれば分かる通り、本発明を基に熟練のプログラマに
より容易に準備可能である。
【０３３６】本発明は、また、当業者であれば分かるよ
うに、アプリケーション特定の集積回路を準備し、或は
従来の構成要素回路を相互に接続し適当なネットワーク
を構築することにより実施できる。
【０３３７】本発明には、本発明のプロセスを実行する
ためのコンピュータのプログラム化に使用できる指示を
含む記憶媒体であるコンピュータ・プログラム製品が含
まれる。この記憶媒体は、制限するわけではないが、フ
ロッピ・ディスク、オプティカル・ディスク、ＣＤーＲ
ＯＭ、磁気光学ディスク、ＲＯＭ，ＲＡＭ，ＥＰＲＯ
Ｍ，ＥＥＰＲＯＭ，磁気或はオプティカル・カード等の
どのタイプのディスクでも良く、或は電子的指示の記憶
に適したものであればどのような媒体でも良い。本発明
では、更に、電子的指示、或はデータの記憶に適した前
記媒体の何れかに本発明により記憶された符号化された
データ出力を含む記憶媒体であるコンピュータ・プログ
ラム製品も含まれる。
【０３３８】言うまでもなく、本発明は前記の教示に基
づき多数の修正、変更が可能である。従って、請求の範
囲内であれば、本発明は本文書内で詳細した以外の方法
でも実施可能であることは明らかである。
【０３３９】
【発明の効果】上記したようにこの発明は、良好な画質
を再現できる符号化及び復号化システムを及び方法を提
供するものである。
【図面の簡単な説明】
【図１】エンコーダ・システム・アーキテクチャのブロ
ック図である。
【図２】符号化の対象となる音声および映像を入手する
ためのデバイス、および符号化システムにより作成され
る符号化されたオーディオビジュアル・データを書き込
み、送信するためのデバイスを示す図である。
【図３】図１のシステムの一般的な動作を示すフローチ
ャートである。
【図４】セットアップ状態で実行されるプロセスを示す
フローチャートである。
【図５】圧縮状態で実行されるプロセスを示す図であ
る。
【図６】編集状態で実行されるプロセスを示す図であ
る。
【図７】開始状態、完了状態および終了状態の場合に実
行されるプロセスを示す図である。
【図８】複数のビデオ・エンコーダを使用しつつ事前に
決定された数の音声トラックを符号化するのに必要とな
るオーディオ・エンコーダの数を決定する方法、および
音声およびマルチパス映像符号化を同時に実行するプロ
セスを示すフローチャートである。
【図９】シーケンス・レイヤ・ログ・ファイル・フォー
マットの説明図である。
【図１０】図９の続きを示す図である。
【図１１】図１０の続きを示す図である。
【図１２】図１１の続きを示す図である。
【図１３】ピクチャ・レイヤ・ログ・ファイル・フォー
マットの説明図である。
【図１４】図１３の続きを示す図である。
【図１５】図１４の続きを示す図である。
【図１６】マクロブロック・レイヤ・ログ・ファイル・
フォーマットの完全な形式を示す図である。
【図１７】マクロブロック・レイヤ・ログ・ファイル・
フォーマットの省略形式を示す図である。
【図１８】ログ・ファイル内の情報を活用するためのプ
ロセスを説明するための図である。
【図１９】さまざまな時間期間の画像品質の手動調整中
に実行される一般的なプロセスを説明するための図であ
る。
【図２０】さまざまな時間期間で画像品質を変更するた
めのパラメータの入力に使用されるユーザ・インタフェ
ースを説明するための図である。
【図２１】希望の画像品質に対応するビット数を計算す
るための一般的な手順を示す図である。
【図２２】最大または最小ユーザ選択優先順位が設定さ
れたセクションを処理するために使用されるプロセスを
示す図である。
【図２３】最大または最小優先順位ではない希望の画像
品質に対応してビット数を計算するためのフローチャー
トを示す図である。
【図２４】図２３の続きを示す図である。
【図２５】画像品質を変更した結果、アンダフローが発
生するかどうかを確認するために使用されるプロセスの
フローチャートである。
【図２６】編集セグメント内で加えられた変更が原因
で、編集セグメントの後のフレームの中でバッファ・ア
ンダフローが発生するかどうかを判断するためのフロー
チャートである。
【図２７】ユーザが選択した品質により、符号化された
映像のビット伝送速度がどのように変化するのかに関す
る例を示す図である。
【図２８】同じくユーザが選択した品質により、符号化
された映像のビット伝送速度がどのように変化するのか
に関する別の例を示す図である。
【図２９】１つのフレーム中の異なる領域の画像品質の
手動調整中に実行される一般的なプロセスを説明するた
めの図である。
【図３０】ビデオのフレームにユーザ選択優先順位が設
定された異なる領域の例を説明するための図である。
【図３１】ユーザ選択優先順位対選択優先順位に使用さ
れる元の量子化器値端数のグラフを示す図である。
【図３２】ユーザ選択優先順位から生じるビット数とフ
レームの最初の符号化から生じるビット数の間の差異が
受入れ可能であるか、あるいは訂正手順を実行する必要
があるかを判断するためのプロセスを説明するための図
である。
【図３３】ビット数が多すぎると判断されるため、マク
ロブロックの量子化器レベルが、ビット数を削減する目
的で増分される場合に、フレームを訂正するためのプロ
セスを説明するための図である。
【図３４】図３３の続きを示す図である。
【図３５】図３４の続きを示す図である。
【図３６】ビット数を増加させる目的でフレーム内のマ
クロブロックの量子化器レベルを削減することにより、
１つのフレーム内のビットが少なすぎる場合に訂正する
ためのプロセスを説明するための図である。
【図３７】図３６の続きを示す図である。
【図３８】図３７の続きを示す図である。
【図３９】ｎ個のマクロブロックのセットのそれぞれで
使用される予想ビット数をメモリからロードしてから、
ｎ個のマクロブロックの再符号化のために結果として生
じるビット数をカウントし、予想ビット数および生成ビ
ット数に基づいた概算の精度を計算し、一連のフレーム
の目標サイズに近くとどまるように、次のｎ個のマクロ
ブロックの事前に割り当てられた量子化レベルを調整す
る一般プロセスを説明するための図である。
【図４０】事前に割り当てられた量子化レベルを図解す
る１つのフレームの画像（同図Ａ）と、マクロブロック
の各セットに１つのスライスが含まれる場合に、マクロ
ブロックの第１セットが再符号化され、第１訂正係数が
計算され、第１訂正係数がマクロブロックの第２のセッ
トに加算された後の同図Ａのフレームの画像（同図Ｂ）
と、マクロブロックの第２セットが再符号化され、第２
訂正係数が計算され、第２訂正係数がマクロブロックの
第３セットに加算された後の同図Ｂのフレームの画像
（同図Ｃ）と、マクロブロックの各セットに２つのスラ
イスが含まれる場合に、マクロブロックの第１セットが
再符号化され、第１訂正係数が計算され、第１訂正係数
がマクロブロックの第２セットに加算された後の同図Ａ
のフレームの画像（同図Ｄ）の各構成を示す説明図であ
る。
【図４１】量子化レベルが変更された２つの異なった領
域を含む１つのフレームを示す図である。
【図４２】量子化レベルが変更された２つの異なった領
域を表すために使用される１つのビデオ・ストリーム中
のビット数の変化を図解する図４１のフレームに考えら
れる２種類の符号化の図である。
【図４３】再符号化されたシリーズの総長がシリーズの
最初の長さに等しい場合のイメージのシリーズを表すた
めに使用されるビット数の変化を図解するビデオ・スト
リームを示す図である。
【図４４】訂正係数インデックスが、概算比率を使用し
た比率ルックアップ・テーブルからどのようにして決定
されるのかを示すフローチャートである。
【図４５】ある訂正係数が、訂正係数インデックスを使
用する訂正係数テーブルからどのように選択されるのか
を示すフローチャートである。
【図４６】ある訂正係数が、概算比率とマクロブロック
の残りの再符号化されていないセットの数の両方を使用
してどのように計算されるのかを示すフローチャートで
ある。
【図４７】符号化の説明図であり、同図（Ａ）は、符号
化フォーマットを取る最初の映像の１つのセクションを
示す図、同図（Ｂ）は符号化された最初の映像に置換す
る必要のある符号化されていないフォーマットを取る新
しい映像の１つのセクションを示す図、同図（Ｃ）はそ
の最後に元の映像の符号化されていないセクションがあ
る、映像の符号化されていない新しいセクションを示す
図、同図（Ｄ）は符号化された最初の映像に置換する必
要のある、符号化されたフォーマットを取る同図（Ｃ）
の映像を図解する図であり、同図（Ｅ）は、その中に置
換済みの符号化映像が含まれる符号化された最初の映像
を図解する図である。
【図４８】結果的に縮小した復号人為構造を持つ映像が
生じる、符号化ビデオ・データ・ストリームに、映像の
あるセクションを置換するためのプロセスを説明するた
めの図である。
【図４９】符号化の説明図であり、同図（Ａ）はトレー
リング・エンドに最初の映像の符号化されていないセク
ションがある映像の符号化されていない新しいセクショ
ンを説明するための図、同図（Ｂ）は同図（Ａ）に図解
される最初に符号化された映像に置換される符号化され
た映像のセクションを図解する図であり、同図（Ｃ）は
同図（Ｂ）の置換符号化映像を含む同図（Ａ）の最初に
符号化された映像を図解する図である。
【図５０】ピクチャ・モードの閉鎖グループを使用して
置換映像を符号化することにより、符号化されたビデオ
・ビットストリームを編集する場合に復号人為構造を削
減するためのプロセスを説明するための図である。
【図５１】量子化の説明図であり、同図（Ａ）は事前符
号化フェーズで量子化レベル対ビット伝送速度のモデル
を作成するために２つの量子化レベルがそれに割り当て
られる未処理映像のフレームを示す図であり、同図
（Ｂ）は４つの量子化レベルが回転パターンで割り当て
られているフレームを示す図であり、同図（Ｃ）は、４
つの量子化レベルがブロック・フォーメーションで分配
されているフレームを示す図である。
【図５２】事前符号化フェーズで指定されるそれぞれの
量子化レベルのビット伝送速度を決定するために、映像
信号を入手し、事前符号化するプロセスを図解するフロ
ーチャートである。
【図５３】２つの録画されたフレームおよびそれに対応
する量子化レベル対ビット伝送速度の説明図である。
【図５４】最終的に光ディスクの上に含まれる符号化デ
ータの最終的なフォーマットのアウトラインを示す図で
ある。
【図５５】図５４のディスク情報ファイル９０８を図解
する図である。
【図５６】データ・ファイルのデータ・ファイル管理情
報の内容を図解する図である。
【図５７】データ・ファイルに記憶されるデータの詳細
を示す図である。
【図５８】データパケットの説明図であり、同図（Ａ）
はデータが詰込みパケットを必要としないデータ・パッ
クを図解し、同図（Ｂ）はパディング用パケットを必要
とするデータ・パケットを図解する図である。
【図５９】再生情報パックを示す図である。
【図６０】データ検索情報９９６内に記憶される情報を
示す図である。
【図６１】同じく一般情報を示す図である。
【図６２】同期再生情報を示す図である。
【図６３】ビデオ・パックを示す図である。
【図６４】画像のグループ（ＧＯＰ）とビデオ・パック
のシリーズの関係を示す図である。
【図６５】オーディオ・パックを示す図であり、ＭＰＥ
Ｇ音声符号化仕様に従って符号化されたオーディオ・パ
ックと、ＡＣ−３または直線ＰＣＭ音声符号化に従って
構築されるオーディオ・パックを示す図である。
【図６６】符号化されたオーディオ・ストリームとオー
ディオ・パックの関係を示す図である。
【図６７】サブピクチャ装置の構造を説明するために示
す図である。
【図６８】サブピクチャ・パックの構造を示す図であ
る。
【図６９】サブピクチャ装置をサブピクチャ・パックに
関連して示す図である。
【図７０】サブピクチャ装置ｎとサブピクチャ装置ｎ＋
１の表示の間の遷移を説明するための図である。
【符号の説明】
１０、２０、３０、４０…ワークステーション ２１…ハードディスク ２２…デジタル記憶装置 ３１…コンソールディスプレイ ３２…キーボード ５０…ビデオ符号化装置 ５１…再生ＶＴＲ ５２…記録ＶＴＲ ６０…デジタルビデオ補足記憶装置 ６１…ビデオディスプレイモニタ ７０ａ〜７０ｄ…音声エンコーダ ７１ａ〜７１ｄ…ＤＡＴ ７２…音声インターフェース装置 ７３…音声デコーダ ７５…スピーカ。
フロントページの続き (72)発明者 北村哲也 東京都狛江市中和泉１−15−12−301 (56)参考文献 特開 平６−141298（ＪＰ，Ａ) 特開 平５−103315（ＪＰ，Ａ) 特開 平５−252403（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68

Claims (31)

    (57)【特許請求の範囲】
  1. 【請求項１】ビデオ信号のフレームの特徴を判断して、
    前記ビデオ信号を処理するための方法であって、 ａ）前記ビデオ信号の複数のフレームを入手するステッ
    プと、 ｂ）複数の量子化レベルを１つのフレームに割り当てる
    ステップと、 ｃ）前記１つのフレームを、前記割り当てた複数の量子
    化レベルを使用して事前符号化する事前符号化ステップ
    と、 ｄ）前記事前符号化ステップの結果生じるビット数値を
    前記１つのフレームに対して複数得るステップと、 ｅ）次の各フレームに対して順次上記ステップｂ）−
    ｄ）を反復するステップと、 ｆ）上記反復により前記複数のフレームのそれぞれに対
    して上記ステップｄ）で得られた各ビット数値を用い、
    各フレームに対する複数のビット数値の中から、各フレ
    ーム毎に１つずつビット数値を選択して、前記各フレー
    ムに対する選択されたビット数値に対応させた各フレー
    ムの量子化レベルを設定し、それを第１セットとするス
    テップと、 ｇ）前記複数のフレームが符号化されたときの全体の目
    標ビット数を設定するステップと、 ｈ）前記複数フレームに対して、前記第１セットを割り
    当てるステップと、 ｉ）前記複数フレームのうちの１つのフレームを、前記
    第１のセットの中の対応する量子化レベルで符号化する
    ステップと、 ｊ）前記１つのフレームに継続する継続フレームに対し
    て、前記第１のセットの中の対応する量子化レベルに基
    づく符号化ビット数値を概算するステップと、 ｋ）前記目標ビット数と、前記概算された符号化ビット
    数値と、前記ｉ）のステップで符号化されたフレームの
    ビット数値と、先のｆ）のステップで設定されたときの
    複数のフレームの各符号化ビット数値における、次に続
    いている複数フレーム分の符号化ビット数値とに基づ
    き、前記複数フレーム分の全体の符号化ビット数値が前
    記目標ビット数に近似するように前記継続する継続フレ
    ームのための前記第１セット内の量子化レベルを調整し
    符号化するステップと、 ｌ）さらに次に継続する他のフレームに順次ステップ
    ｉ）−ｋ）を反復するステップとを具備することを特徴
    とするビデオ信号の処理方法。
  2. 【請求項２】前記ビデオ信号の複数フレームを入手する
    ステップは、 ビデオ・カメラから入手することを特徴とする請求項１
    記載のビデオ信号の処理方法。
  3. 【請求項３】前記ｄ）のステップにおいて得られた前記
    複数のビット数値を記憶するステップをさらに有したこ
    とを特徴とする請求項１記載のビデオ信号の処理方法。
  4. 【請求項４】前記１つのフレームに対して前記複数の量
    子化レベルを割り当てるステップでは、 前記複数のフレームのそれぞれに対して前記複数の量子
    化レベルが割り当てられるが、それぞれのフレームに割
    り当てられた複数の量子化レベルは、前記複数のフレー
    ムに対して同様なパターンで割り当てられることを特徴
    とする請求項１記載のビデオ信号の処理方法。
  5. 【請求項５】前記ｂ）のステップで、複数の量子化レベ
    ルを１つのフレームに割り当てる場合、チェッカ・ボー
    ド・パターンで２つの量子化レベルを各フレームに均一
    に割り当てることを特徴とする請求項１記載のビデオ信
    号の処理方法。
  6. 【請求項６】前記ｂ）のステップで、複数の量子化レベ
    ルを１つのフレームに割り当てる場合、チェッカ・ボー
    ド・パターンで４種類の量子化レベルｑ１、ｑ２、ｑ
    ３、ｑ４を各フレームに均一に割り当てることを特徴と
    する請求項１記載のビデオ信号の処理方法。
  7. 【請求項７】前記目標ビット数を決定するステップは、 前記目標ビット数を自動的に決定することを特徴とする
    請求項１記載のビデオ信号の処理方法。
  8. 【請求項８】前記目標ビット数を決定するステップは、 ユーザの介入により目標ビット数を決定することを特徴
    とする請求項１記載のビデオ信号の処理方法。
  9. 【請求項９】前記ｈ）のステップで、第１セットの量子
    化レベルを割り当てるステップは、さらに、対応するフ
    レームの複数のマクロブロックのアクティビティーに応
    じて、前記第１セットを割り当てることを特徴とする請
    求項１記載のビデオ信号の処理方法。
  10. 【請求項１０】前記ステップｅ）が前記複数フレーム中
    の大半のフレームに対して繰り返されることを特徴とす
    る請求項１記載のビデオ信号の処理方法。
  11. 【請求項１１】請求項１に記載される方法であって、ス
    テップｅ）が、前記複数フレームの中のすべてのフレー
    ムに関して反復することを特徴とする請求項１記載のビ
    デオ信号の処理方法。
  12. 【請求項１２】前記ｌ）のステップで得られた符号化ビ
    デオ情報は、音声信号、メニュー信号及びこれら信号を
    処理するために必要な管理情報を記憶するための記憶媒
    体に記録されるものであり、 前記ｌ）のステップで得られた符号化ビデオ情報を、前
    記メニュー信号として記録するための符号化ビデオ情報
    として出力するステップをさらに有することを特徴とす
    る請求項１記載のビデオ信号の処理方法。
  13. 【請求項１３】前記記憶媒体は、光ディスクであること
    を特徴とする請求項１２記載のビデオ信号の処理方法。
  14. 【請求項１４】前記ｌ）のステップで得られた符号化ビ
    デオ情報は、音声信号、動画ビデオ信号及びこれら信号
    を処理するために必要な管理情報を記憶するための記憶
    媒体に記録されるものであり、 前記ｌ）のステップで得られた符号化ビデオ情報を、前
    記動画ビデオ信号として記録するための符号化ビデオ情
    報として出力するステップをさらに有することを特徴と
    する請求項１記載のビデオ信号の処理方法。
  15. 【請求項１５】上記記憶媒体は光ディスクであることを
    特徴とする請求項１４記載のビデオ信号の処理方法。
  16. 【請求項１６】前記ｌ）のステップで得られた符号化ビ
    デオ情報は、音声信号、この音声信号と同期するための
    同期情報を付加した同期ビデオ信号及びこれら信号を処
    理するために必要な管理情報を記憶するための記憶媒体
    に記録されるものであり、 前記ｌ）のステップで得られた符号化ビデオ情報を、前
    記同期ビデオ信号として記録するための符号化ビデオ情
    報として出力するステップをさらに有することを特徴と
    する請求項１記載のビデオ信号の処理方法。
  17. 【請求項１７】上記記憶媒体は光ディスクであることを
    特徴とする請求項１６記載のビデオ信号の処理方法。
  18. 【請求項１８】前記ｌ）のステップで得られた符号化ビ
    デオ情報は、音声信号、この音声信号と同期するための
    同期情報を付加した同期ビデオ信号、副映像信号、及び
    これら信号を処理するために必要な管理情報を記憶する
    ための記憶媒体に記録されるものであり、 前記ｌ）のステップで得られた符号化ビデオ情報を、前
    記同期ビデオ信号として記録するための符号化ビデオ情
    報として出力するステップをさらに有することを特徴と
    する請求項１記載のビデオ信号の処理方法。
  19. 【請求項１９】前記副映像信号は、前記同期ビデオ信号
    とは独立した複数のパックを構成していることを特徴と
    する請求項１８記載のビデオ信号の処理方法。
  20. 【請求項２０】上記記憶媒体は光ディスクであることを
    特徴とする請求項１８記載のビデオ信号の処理方法。
  21. 【請求項２１】ビデオ信号のフレームの特徴を判断し
    て、前記ビデオ信号を処理するための装置であって、 ａ）前記ビデオ信号の複数のフレームを入手する手段
    と、 ｂ）複数の量子化レベルを１つのフレームに割り当てる
    手段と、 ｃ）前記１つのフレームを、前記割り当てた複数の量子
    化レベルを使用して事前符号化する事前符号化手段と、 ｄ）前記事前符号化により結果生じるビット数値を前記
    １つのフレームに対して複数得る手段と、 ｅ）次の各フレームに対して順次上記手段ｂ)−ｄ)の処
    理を反復せしめる手段と、 ｆ）上記反復により前記複数のフレームのそれぞれに対
    して上記手段ｄ）で得られた各ビット数値を用い、各フ
    レームに対する複数のビット数値の中から、各フレーム
    毎に１つずつビット数値を選択して、前記各フレームに
    対する選択されたビット数値に対応させた各フレームの
    量子化レベルを設定し、それを第１セットとする手段
    と、 ｇ）前記複数のフレームが符号化されたときの全体の目
    標ビット数を設定する手段と、 ｈ）前記複数フレームに対して、前記第１セットを割り
    当てる手段と、 ｉ）前記複数フレームのうちの１つのフレームを、前記
    第１のセットの中の対応する量子化レベルで符号化する
    手段と、 ｊ）前記１つのフレームに継続する継続フレームに対し
    て、前記第１のセットの中の対応する量子化レベルに基
    づく符号化ビット数を概算する手段と、 ｋ）前記目標ビット数と、前記概算された符号化ビット
    数値と、前記ｉ）のステップで符号化されたフレームの
    ビット数値と、先のｆ）の手段で設定されたときの複数
    のフレームの各符号化ビット数値における、次に続いて
    いる複数フレーム分の符号化ビット数値とに基づき、前
    記複数フレーム分の全体の符号化ビット数値が前記目標
    ビット数に近似するように前記継続する継続フレームの
    ための前記第１セット内の量子化レベルを調整し符号化
    する手段と、 ｌ）さらに次の継続する他のフレームに順次、上記手段
    ｉ）−ｋ）を反復せしめる手段とを具備することを特徴
    とするビデオ信号の処理装置。
  22. 【請求項２２】前記ビデオ信号の複数フレームを入手す
    る手段は、 ビデオ・カメラから入手することを特徴とする請求項２
    １記載のビデオ信号の処理装置。
  23. 【請求項２３】前記ｄ）の手段において得られた前記複
    数のビット数値を記憶する手段をさらに有したことを特
    徴とする請求項２１記載のビデオ信号の処理装置。
  24. 【請求項２４】前記１つのフレームに対して前記複数の
    量子化レベルを割り当てる手段では、 前記複数のフレームのそれぞれに対して前記複数の量子
    化レベルが割り当てられるが、それぞれのフレームに割
    り当てられた複数の量子化レベルは、前記複数のフレー
    ムに対して同様なパターンで割り当てられることを特徴
    とする請求項２１記載のビデオ信号の処理装置。
  25. 【請求項２５】前記ｂ）の手段で、複数の量子化レベル
    を１つのフレームに割り当てる場合、チェッカ・ボード
    ・パターンで２つの量子化レベルを各フレームに均一に
    割り当てることを特徴とする請求項２１記載のビデオ信
    号の処理装置。
  26. 【請求項２６】前記ｂ）の手段で、複数の量子化レベル
    を１つのフレームに割り当てる場合、チェッカ・ボード
    ・パターンで４種類の量子化レベルｑ１、ｑ２、ｑ３、
    ｑ４を各フレームに均一に割り当てることを特徴とする
    請求項２１記載のビデオ信号の処理装置。
  27. 【請求項２７】前記目標ビット数を決定する手段は、 前記目標ビット数を自動的に決定することを特徴とする
    請求項２１記載のビデオ信号の処理装置。
  28. 【請求項２８】前記目標ビット数を決定する手段は、 ユーザの介入により目標ビット数を決定することを特徴
    とする請求項２１記載のビデオ信号の処理装置。
  29. 【請求項２９】前記第１セットの量子化レベルを割り当
    てる手段は、さらに、対応するフレームの複数のマクロ
    ブロックのアクティビティーに応じて、前記第１セット
    を割り当てることを特徴とする請求項２１記載のビデオ
    信号の処理装置。
  30. 【請求項３０】前記手段ｅ）が前記複数フレーム中の大
    半のフレームに対して繰り返されることを特徴とする請
    求項２１記載のビデオ信号の処理装置。
  31. 【請求項３１】請求項１に記載される方法であって、手
    段ｅ）が、前記複数フレームの中のすべてのフレームに
    関して反復することを特徴とする請求項２１記載のビデ
    オ信号の処理装置。
JP11401796A 1995-05-08 1996-05-08 ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム Expired - Lifetime JP3361009B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US43801495A 1995-05-08 1995-05-08
US438014 1995-05-08
US47378395A 1995-06-06 1995-06-06
US473783 1995-06-06
US08/522,495 US5612900A (en) 1995-05-08 1995-08-31 Video encoding method and system which encodes using a rate-quantizer model
US522495 1995-08-31

Publications (2)

Publication Number Publication Date
JPH09121348A JPH09121348A (ja) 1997-05-06
JP3361009B2 true JP3361009B2 (ja) 2003-01-07

Family

ID=27411968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11401796A Expired - Lifetime JP3361009B2 (ja) 1995-05-08 1996-05-08 ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム

Country Status (4)

Country Link
US (1) US5612900A (ja)
EP (1) EP0742674B1 (ja)
JP (1) JP3361009B2 (ja)
KR (1) KR100417783B1 (ja)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
US20010013123A1 (en) * 1991-11-25 2001-08-09 Freeman Michael J. Customized program creation by splicing server based video, audio, or graphical segments
US20020129374A1 (en) * 1991-11-25 2002-09-12 Michael J. Freeman Compressed digital-data seamless video switching system
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
US5819004A (en) * 1995-05-08 1998-10-06 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of previously encoded video frames
US5838874A (en) * 1995-05-08 1998-11-17 Kabushiki Kaisha Toshiba Audiovisual encoding system with a reduced number of audio encoders
US6026232A (en) * 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
FI98175C (fi) * 1995-06-12 1997-04-25 Nokia Oy Ab Multimediaobjektien välitys digitaalisessa tiedonsiirtojärjestelmässä
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
US6075768A (en) * 1995-11-09 2000-06-13 At&T Corporation Fair bandwidth sharing for video traffic sources using distributed feedback control
US6041345A (en) * 1996-03-08 2000-03-21 Microsoft Corporation Active stream format for holding multiple media streams
US5845249A (en) * 1996-05-03 1998-12-01 Lsi Logic Corporation Microarchitecture of audio core for an MPEG-2 and AC-3 decoder
US5838678A (en) * 1996-07-24 1998-11-17 Davis; Joseph W. Method and device for preprocessing streams of encoded data to facilitate decoding streams back-to back
US6023713A (en) * 1996-09-06 2000-02-08 Intel Corporation Optimized CD/DVD authoring employing block reallocation
US6094455A (en) * 1996-09-25 2000-07-25 Matsushita Electric Industrial Co., Ltd. Image compression/encoding apparatus and system with quantization width control based on bit generation error
US7269219B1 (en) * 1997-02-14 2007-09-11 At&T Corp. Non-linear quantizer for video coding
JP3588970B2 (ja) 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP3356004B2 (ja) * 1997-05-30 2002-12-09 日本ビクター株式会社 可変レート符号化装置及び方法
JP3201311B2 (ja) * 1997-06-17 2001-08-20 日本ビクター株式会社 Ｄｖｄオーディオディスク及び再生装置
US6064771A (en) 1997-06-23 2000-05-16 Real-Time Geometry Corp. System and method for asynchronous, adaptive moving picture compression, and decompression
JPH1127227A (ja) * 1997-06-27 1999-01-29 Toshiba Corp 多チャンネルデジタルデータ送出装置および方法
WO1999005864A1 (fr) 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
EP0899961A1 (en) * 1997-08-25 1999-03-03 Tektronix, Inc. Pipelined processing for moving picture compression bit rate control
IL122361A0 (en) * 1997-11-29 1998-04-05 Algotec Systems Ltd Image compression method
DE69815720T2 (de) * 1998-01-26 2004-05-13 Stmicroelectronics Asia Pacific Pte Ltd. Kodierung von bewegten bildern mit variabler bitrate in einem durchgang
GB2335815B (en) 1998-03-25 2002-02-27 Sony Uk Ltd Data compression
JPH11289515A (ja) * 1998-04-01 1999-10-19 Sony Corp 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
US7031348B1 (en) 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
JP4051776B2 (ja) * 1998-08-04 2008-02-27 株式会社日立製作所 映像情報記録装置、及び映像情報再生装置
US7551672B1 (en) * 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
SG137654A1 (en) * 1999-02-25 2007-12-28 Macrovision Corp Method and apparatus for enhanced audio/video services with watermarks and associated data
JP2000261459A (ja) * 1999-03-10 2000-09-22 Nec Corp 統計多重伝送方式
US6493023B1 (en) 1999-03-12 2002-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for evaluating the visual quality of processed digital video sequences
TW477152B (en) 1999-03-26 2002-02-21 Koninkl Philips Electronics Nv Method of and device for encoding an information stream
US6437830B1 (en) * 1999-05-28 2002-08-20 Thomson Licensing S.A. System and data format for communicating data between a video decoder and a peripheral device
US6535251B1 (en) 1999-10-26 2003-03-18 Sharplabs Of America, Inc. Video encoder and method for adjusting quantization step in real time
GB2356508B (en) 1999-11-16 2004-03-17 Sony Uk Ltd Data processor and data processing method
CN1206861C (zh) * 1999-12-03 2005-06-15 汤姆森特许公司 自适应视频图象信息处理系统
CN1199446C (zh) * 2000-04-21 2005-04-27 索尼公司 信息处理设备和方法
JP4465570B2 (ja) * 2000-09-26 2010-05-19 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US7224837B2 (en) * 2000-10-11 2007-05-29 Screenpeaks Ltd. Digital video broadcasting
US6693648B1 (en) 2000-11-22 2004-02-17 Campus Crusade For Christ, Inc. Pointer interactive apparatus
US20020122482A1 (en) * 2001-01-03 2002-09-05 Kim Hyun Mun Method of performing video encoding rate control using bit budget
US20020194589A1 (en) * 2001-05-08 2002-12-19 Cristofalo Michael Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs
US20030058707A1 (en) * 2001-09-12 2003-03-27 Dilger Bruce C. System and process for implementing commercial breaks in programming
US6707984B2 (en) * 2001-10-31 2004-03-16 Thomson Licensing S.A. Changing a playback speed for video presentation recorded in a modified film format
WO2003073741A2 (en) * 2002-02-21 2003-09-04 The Regents Of The University Of California Scalable compression of audio and other signals
US20040190607A1 (en) * 2002-04-03 2004-09-30 Koji Wakimoto Video relay device, video distribution system, video relay method
US7075899B2 (en) * 2002-05-21 2006-07-11 Actv, Inc. System and method for providing private in-band data to digital set-top boxes in a broadcast environment
AU2003283600A1 (en) * 2002-11-18 2004-06-15 British Telecommunications Public Limited Company Transmission of video
US6951541B2 (en) * 2002-12-20 2005-10-04 Koninklijke Philips Electronics, N.V. Medical imaging device with digital audio capture capability
US7352809B2 (en) * 2003-02-21 2008-04-01 Polycom, Inc. System and method for optimal transmission of a multitude of video pictures to one or more destinations
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US7408984B2 (en) * 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7480382B2 (en) * 2003-09-30 2009-01-20 Microsoft Corporation Image file container
US7535959B2 (en) * 2003-10-16 2009-05-19 Nvidia Corporation Apparatus, system, and method for video encoder rate control
US7746927B1 (en) * 2004-03-26 2010-06-29 Apple Inc. Robust single-pass variable bit rate encoding
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
JP2005322977A (ja) * 2004-05-06 2005-11-17 Canon Inc カメラ一体型記録再生装置
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
GB0428155D0 (en) 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
US7656952B2 (en) * 2005-04-14 2010-02-02 Samsung Electronics Co., Ltd. Extended method of noise-adaptive motion detection
US9467659B2 (en) * 2005-09-27 2016-10-11 Qualcomm Incorporated Method and apparatus for progressive channel switching
FR2893470B1 (fr) * 2005-11-16 2008-02-15 Canon Res Ct France Soc Par Ac Procede et dispositif de creation d'une sequence video representative d'une sequence video numerique et procedes et dispositifs de transmission et reception de donnees video associes
GB2456593B (en) 2005-12-28 2011-07-13 Intel Corp A novel user sensitive information adaptive video transcoding framework
US8842730B2 (en) 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US8782436B2 (en) * 2006-05-31 2014-07-15 International Business Machines Corporation Method and system for transformation of logical data objects for storage
EP2033164B1 (en) 2006-06-23 2015-10-07 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
KR100772194B1 (ko) * 2006-07-26 2007-11-01 한국전자통신연구원 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
KR20090110323A (ko) * 2007-01-04 2009-10-21 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 신호를 인코딩하는 방법 및 시스템
JP4957960B2 (ja) * 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
JP4539755B2 (ja) * 2008-04-11 2010-09-08 ソニー株式会社 情報処理システム及び情報処理方法、並びにプログラム
JP5064305B2 (ja) * 2008-06-05 2012-10-31 株式会社日立製作所 ビットレート変換装置及び変換方法
JPWO2009157581A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
CN101779469A (zh) * 2008-06-27 2010-07-14 索尼公司 图像处理装置和图像处理方法
RU2479942C2 (ru) * 2008-06-27 2013-04-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
WO2009157579A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
US8483286B2 (en) 2010-10-27 2013-07-09 Cyberlink Corp. Batch processing of media content
EP2472868A1 (en) * 2010-12-29 2012-07-04 British Telecommunications Public Limited Company Video coding
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US8549167B2 (en) * 2011-06-21 2013-10-01 Net Power And Light, Inc. Just-in-time transcoding of application content
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9635374B2 (en) * 2011-08-01 2017-04-25 Apple Inc. Systems and methods for coding video data using switchable encoders and decoders
US9892188B2 (en) 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
KR101854469B1 (ko) * 2011-11-30 2018-05-04 삼성전자주식회사 오디오 컨텐츠의 비트레이트 판단장치 및 방법
EP2807821A4 (en) * 2012-01-23 2016-06-15 Beamr Imaging Ltd METHOD AND SYSTEM FOR CONTROLLING VIDEO FRAME ENCODING
JP5979406B2 (ja) * 2012-02-22 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9854260B2 (en) * 2013-03-06 2017-12-26 Disney Enterprises, Inc. Key frame aligned transcoding using key frame list file
US9253484B2 (en) * 2013-03-06 2016-02-02 Disney Enterprises, Inc. Key frame aligned transcoding using statistics file
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9286653B2 (en) * 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
EP3518236B8 (en) 2014-10-10 2022-05-25 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
KR101844732B1 (ko) * 2015-03-20 2018-04-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 신호 재정형 근사화
US10404986B2 (en) * 2015-03-30 2019-09-03 Netflix, Inc. Techniques for optimizing bitrates and resolutions during encoding
CN107750456B (zh) * 2015-04-13 2022-02-11 V-诺瓦国际有限公司 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
EP3185564A1 (en) * 2015-12-22 2017-06-28 Harmonic Inc. Video stream splicing of groups of pictures (gop)
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
GB2547947A (en) * 2016-03-04 2017-09-06 British Broadcasting Corp Video encoding
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
KR102293797B1 (ko) 2016-11-24 2021-08-25 삼성전자주식회사 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
US11315606B1 (en) 2019-09-25 2022-04-26 Amazon Technologies, Inc. Timecode generation and assignment
US20230073736A1 (en) * 2020-02-21 2023-03-09 Qualcomm Incorporated Reduced display processing unit transfer time to compensate for delayed graphics processing unit render time
CN112887714B (zh) * 2021-01-14 2022-08-02 红河学院 一种视频编码比特资源重分配方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1197005A (en) * 1981-09-29 1985-11-19 Norio Suzuki System comprising a preliminary processing device controlled in accordance with an amount of information stored in a buffer
DE3710119A1 (de) * 1987-03-27 1988-10-13 Philips Patentverwaltung Quellcodierer fuer videobilder
JPH0720228B2 (ja) * 1987-04-30 1995-03-06 日本電気株式会社 画像の圧縮記録システム
US5016113A (en) * 1988-04-04 1991-05-14 Pioneer Electronic Corporation Apparatus for reproducing and processing picture information including graphic codes from a recording medium
JPH0797753B2 (ja) * 1989-01-24 1995-10-18 日本ビクター株式会社 符号化出力データ量の制御方式
JPH0316489A (ja) * 1989-06-14 1991-01-24 Hitachi Ltd 画像符号化方式
US5146324A (en) * 1990-07-31 1992-09-08 Ampex Corporation Data compression using a feedforward quantization estimator
SG43860A1 (en) * 1990-09-10 1997-11-14 Mitsubishi Electric Corp Coding apparatus
JP2549013B2 (ja) * 1990-10-08 1996-10-30 日本ビクター株式会社 データ圧縮装置
ES2143137T3 (es) * 1990-12-28 2000-05-01 Canon Kk Codificacion de imagenes con optimizacion de la cantidad de codigo generada.
JP3012698B2 (ja) * 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
EP0741497B1 (en) * 1991-02-21 1999-11-03 Nec Corporation Motion image data compression coding apparatus
JP3189861B2 (ja) * 1992-11-13 2001-07-16 ソニー株式会社 動画像符号化装置および方法
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JP2797159B2 (ja) * 1992-03-02 1998-09-17 カシオ計算機株式会社 画像データ圧縮装置及び画像データ圧縮方法
US5283646A (en) * 1992-04-09 1994-02-01 Picturetel Corporation Quantizer control method and apparatus
US5291281A (en) * 1992-06-18 1994-03-01 General Instrument Corporation Adaptive coding level control for video compression systems
JP3465272B2 (ja) * 1992-08-28 2003-11-10 ソニー株式会社 デジタルデータ記録装置および記録方法
US5467134A (en) * 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
EP0645930B1 (en) * 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
JPH06326435A (ja) * 1993-05-11 1994-11-25 Noritake Co Ltd 半導体装置搭載基板
GB2278973B (en) * 1993-06-11 1997-10-29 Quantel Ltd Video image processing systems
JPH0781298A (ja) * 1993-07-19 1995-03-28 Dainippon Printing Co Ltd 塩化ビニル系樹脂基材用転写箔
DE69414275T2 (de) * 1993-09-16 1999-05-06 Toshiba Kawasaki Kk Vorrichtung zur Synchronisierung von komprimierten Video- un Audiosignalen
JPH0785693A (ja) * 1993-09-20 1995-03-31 Fujitsu Ltd 半導体記憶装置
US5630006A (en) * 1993-10-29 1997-05-13 Kabushiki Kaisha Toshiba Multi-scene recording medium and apparatus for reproducing data therefrom
US5400077A (en) * 1993-10-29 1995-03-21 Time Warner Entertainment Co., L.P. System for generating multiple aspect ratio video signals from motion picture disk recorded in a single aspect ratio
US5463565A (en) * 1993-10-29 1995-10-31 Time Warner Entertainment Co., L.P. Data block format for software carrier and player therefor
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation
US5508942A (en) * 1993-11-24 1996-04-16 Intel Corporation Intra/inter decision rules for encoding and decoding video signals
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
DE4433819A1 (de) * 1994-09-22 1996-03-28 Philips Patentverwaltung Coder zur segmentweisen Codierung eines Eingangssignales
US5819004A (en) * 1995-05-08 1998-10-06 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of previously encoded video frames
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
US6026232A (en) * 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
US5838874A (en) * 1995-05-08 1998-11-17 Kabushiki Kaisha Toshiba Audiovisual encoding system with a reduced number of audio encoders
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels

Also Published As

Publication number Publication date
EP0742674A3 (en) 1998-09-16
EP0742674A2 (en) 1996-11-13
US5612900A (en) 1997-03-18
KR960043549A (ko) 1996-12-23
JPH09121348A (ja) 1997-05-06
EP0742674B1 (en) 2014-04-09
KR100417783B1 (ko) 2004-05-14

Similar Documents

Publication Publication Date Title
JP3361009B2 (ja) ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム
JP3253971B2 (ja) 既に符号化されたビデオ・フレームの品質をユーザが手作業で変更するための方法およびシステム
JP3842537B2 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
JP3481629B2 (ja) エンコードされているビデオシーケンスの品質を手動によりユーザが変更できるようにした方法及びシステム
US5623424A (en) Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
JP3710820B2 (ja) オーディオエンコーダの数が低減されるオーディオ映像エンコードシステム
JP2001128126A6 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
JP3445278B6 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
AU735683B2 (en) Method and system to replace sections of an encoded video bitstream
AU724540B2 (en) A system for manually altering the quality of a previously encoded video sequence

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081018

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081018

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091018

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101018

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111018

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111018

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121018

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131018

Year of fee payment: 11

EXPY Cancellation because of completion of term