JP2003348583A - 適応的動映像符号化及び復号化方法とその装置 - Google Patents
適応的動映像符号化及び復号化方法とその装置Info
- Publication number
- JP2003348583A JP2003348583A JP2002295299A JP2002295299A JP2003348583A JP 2003348583 A JP2003348583 A JP 2003348583A JP 2002295299 A JP2002295299 A JP 2002295299A JP 2002295299 A JP2002295299 A JP 2002295299A JP 2003348583 A JP2003348583 A JP 2003348583A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- temporal complexity
- data
- video data
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
像の符号化を行うための適応的動映像符号化方法及びそ
の装置を提供する。 【解決手段】 本発明は、入力映像の時間的複雑度を考
慮し、シンタックスレベルにてフレーム率を異にして符
号化を行うことにより、高効率にて映像データを貯蔵可
能にするためのものであって、このために、本発明に係
る時間的複雑度を考慮した適応的動映像符号化方法は、
(a)入力される映像データの時間的複雑度を計算する
段階と、(b)前記計算された時間的複雑度に基づき入
力される映像データのフレーム率を変換する段階と、
(c)前記フレーム率の変換された映像データを符号化
し、前記符号化されたデータに前記変換されたフレーム
率を表わす情報を含めるために、前記符号化されたデー
タの符号化データを調整する段階とを含む。
Description
び復号化方法とその装置に係り、特に、入力映像の時間
的複雑度を考慮して適応的に動映像の符号化を行うため
の適応的動映像符号化及び復号化方法とその装置に関す
る。
R:digital video recorder)や
パーソナルビデオレコーダ(PVR:personal
video recorder)の大衆化が進むに伴
い、映像圧縮に関する研究開発が盛んになされつつあ
る。既存のDVRやPVRでは、入力映像の特性、すな
わち時間的複雑度を考慮することなく映像をもっぱら固
定されたフレーム率にて圧縮するがゆえに、圧縮の効率
性が落ちるという問題点があった。
ロック図である。まず、入力される映像データは、8×
8画素のブロックに区分けされる。離散コサイン変換部
(以下、 DCT)110は、空間的な重複性を除去す
るために、8×8の画素ブロック単位に入力される映像
データに対してDCT演算を行う。量子化部(以下、
Q)120は、DCT120で得られたDCT係数に対
して量子化を行って幾つかの代表値として表現すること
により、高効率の損失圧縮を行う。可変長符号化部(以
下、VLC)130は、量子化処理されたDCT変換係
数に対してエントロピー符号化を行い、エントロピー符
号化されたデータストリームを出力する。
120で量子化された映像データを量子化する。逆離散
コサイン変換部(以下、IDCT)150は、IQ14
0で逆量子化された映像データに対して逆離散コサイン
変換を行う。フレームメモリ160は、IDCT150
で逆離散コサイン変換された映像データをフレーム単位
に貯蔵する。動き推定部(以下、ME)170は、入力
される現在フレームの映像データ及びフレームメモリ1
60に貯蔵された以前のフレームの映像データに基づき
時間的重複性を除去する。
のために、図1に示されたようなMPEG−2符号器を
用いていた。すなわち、入力されるデータが圧縮されて
いないデータであれば、MPEG−2符号器を使って圧
縮を行い、ハードディスクドライブ(HDD)やデジタ
ル多機能ディスク(DVD)などの貯蔵媒体にビットス
トリームを貯蔵する。これに対し、入力映像データが圧
縮されたビットストリームであれば、図2に示されたよ
うな動映像トランスコーダを使って所望の条件のMPE
G−2ストリームを作るために、MPEG−2動映像復
号化を行った後、所定のスケール及びフォーマットに変
換後にMPEG−2動映像を符号化していた。
すブロック図である。入力データが圧縮されたビットス
トリームである場合、可変長復号化部(以下、VLD)
222、IQ224、IDCT226、フレームメモリ
228及び動き補償部(MC)230を含む動映像デコ
ーダ220により入力データを復号し、所望の条件のM
PEG−2ストリームを作るために、図1に示されたよ
うな動映像エンコーダと同じMPEG−2エンコーダを
用い、与えられた解像度にて動映像を符号化する。この
ような過程をトランスコーディングと呼び、トランスコ
ーディング時にスケール及びフォーマット変換部240
を用い、必要ならば、動映像デコーダ220により復号
化された映像のスケールを縮めたりスキャンフォーマッ
ト変換したりした後、MPEG−2エンコーダ260を
用い、与えられたフレーム率にてMPEG−2符号化を
行う。
2符号化時に常に同じフレーム率にて圧縮を行う。従っ
て、入力される動映像の特性によって時間的複雑度が小
さいか大きい場合にも常に同じフレーム率にて符号化を
行わなければならず、特に、入力される動映像に経時変
化がほとんどない場合にも常に同じフレーム率を維持し
なければならないため、圧縮の効率性が落ちるという問
題点があった。
とする技術的課題は、入力動映像の特性を考慮して適応
的に動映像符号化を行って符号化効率を向上させるため
の適応的動映像符号化方法及び装置を提供するところに
ある。
は、動映像をMPEG−2圧縮技法に基づきHDDやD
VDに貯蔵する場合、貯蔵の効率性を極大化させるため
の適応的動映像符号化方法及び装置を提供するところに
ある。
るために、本発明に係る時間的複雑度を考慮した適応的
動映像符号化方法は、(a)入力される映像データの時
間的複雑度を計算する段階と、(b)前記計算された時
間的複雑度に基づき入力される映像データのフレーム率
を変換する段階と、(c)前記フレーム率の変換された
映像データを符号化し、前記符号化された映像データに
前記変換されたフレーム率を表わす情報を含めるため
に、前記符号化された映像データの符号化データを調整
する段階とを含むことを特徴とする。
前記計算された時間的複雑度及び所定の少なくとも一つ
以上のしきい値を比較してフレーム率を決定する段階
と、(b2)前記決定されたフレーム率に基づき、入力
される映像データのフレーム率を変換する段階とをさら
に含む。
入力される圧縮映像データを復号化する段階と、(a
2)前記(a1)段階で得られた動きベクトル情報に基
づき時間的複雑度を計算する段階とをさらに含む。
化データは、符号化されたデータのデータ構造における
ピクチャ符号化機能拡張部の符号化データのうち少なく
とも何れか一つである。
クチャ符号化機能拡張部のRFF及びTFFのうち少な
くとも何れか一方である。
記計算された時間的複雑度及び前記少なくとも一つ以上
の所定のしきい値を比較し、前記計算された時間的複雑
度が第1しきい値より大きい場合にはRFF及びTFF
をどちらも0として設定し、前記計算された時間的複雑
度が第2しきい値より小さい場合にはRFF及びTFF
をどちらも1として設定し、前記計算された時間的複雑
度が前記第1しきい値より小さくて前記第2しきい値よ
り大きい場合にはRFF及びTFFを各々1及び0とし
て設定する。
に係る適応的動映像符号化装置は、入力される映像デー
タの時間的複雑度を計算する時間的複雑度計算部と、前
記計算された時間的複雑度に基づき、入力される映像デ
ータのフレーム率を変換するフレーム率変換部と、前記
フレーム率の変換された映像データを符号化し、前記符
号化された映像データに前記変換されたフレーム率を表
わす情報を含めるために、前記符号化された映像データ
の符号化データを調整する符号化部とを含むことを特徴
とする。
記時間的複雑度計算部で計算された時間的複雑度及び所
定の少なくとも一つ以上のしきい値を比較してフレーム
率を決定するフレーム率決定部をさらに含み、前記フレ
ーム率決定部で決定されたフレーム率に基づき入力され
る映像データのフレーム率を変換する。
入力される圧縮映像データを復号化する復号化部をさら
に含み、前記復号化部で得られた動きベクトル情報に基
づき時間的複雑度を計算する。
されたデータのデータ構造におけるピクチャ符号化機能
拡張部の符号化データのうち少なくとも何れか一つであ
る。
クチャ符号化機能拡張部のRFF及びTFFのうち少な
くとも何れか一方である。
記計算された時間的複雑度及び前記少なくとも一つ以上
の所定のしきい値を比較し、前記計算された時間的複雑
度が第1しきい値より大きい場合にはRFF及びTFF
をどちらも0として設定し、前記計算された時間的複雑
度が第2しきい値より小さい場合にはRFF及びTFF
をどちらも1として設定し、前記計算された時間的複雑
度が前記第1しきい値より小さくて前記第2しきい値よ
り大きい場合にはRFF及びTFFを各々1及び0とし
て設定する。
する研究開発が活発である。貯蔵を目的とする映像圧縮
の核心は、与えられた映像をいかに高効率にて圧縮する
かである。既存のDVRやPVRでは、映像をもっぱら
固定されたフレーム率にて圧縮して貯蔵する。
されたフレーム率にて圧縮して貯蔵することにより生じ
る問題点を解決するためのものであって、本発明の一実
施形態によれば、入力動映像の特性に応じて時間的複雑
度が小さい場合及び大きい場合が存在することを考慮
し、特定の区間単位、例えば30フレームまたはGOP
単位に、且つ、入力映像の時間的複雑度に応じてフレー
ム率を異ならしめて符号化を行う方式を採用し、高効率
にて貯蔵可能にすることを技術的な特徴としている。
を下げて符号化を行い、デコーダにより復号化を行って
からディスプレイする前に補間を通じて拡大した後にデ
ィスプレイし、時間的複雑度が大きい区間、すなわち動
きが多い区間では元のフレーム率にて符号化を行う。こ
のような過程を経ることにより、画質を大きく劣化させ
ずに圧縮率を高めて貯蔵効率を一層向上させることが可
能である。
発明の望ましい実施形態を説明する。図3は、本発明に
係る時間的複雑度を考慮した適応的動映像符号化装置を
示すものである。
性度計算部320、フレーム率決定部340、フレーム
率変換部360及びエンコーダ380を含む。
位に時間的複雑度を計算する。この実施形態では、説明
の便宜のために、30フレームを1単位区間として定め
て時間的複雑度を計算するが、これに限定されることな
く、GOP単位またはシーケンス単位に時間的複雑度を
計算することも可能である。
るために、動き活性度、すなわち動きベクトルの大きさ
を用いる。この実施形態によれば、特定の区間、すなわ
ち30フレーム内の全マクロブロックに対して動きベク
トルを求め、これより動き活性度を計算し、マクロブロ
ックの平均動き活性度を計算する。例えば、一つのマク
ロブロックの動きベクトルMVが(MV1,MV2)で
ある場合、マクロブロックの動き活性度はMV12+M
V22である。このような方法により、動き活性度計算
部320は、30フレーム内のマクロブロック当り平均
動き活性度を計算する。
るために動き活性度を用いているが、これに限定される
ことなく、時間的複雑度が計算可能なものであれば、い
かなる手段も採用可能である。
算部320で計算されたマクロブロック当り平均動き活
性度及び所定のしきい値を比較し、特定区間に対するフ
レーム率を決定する。ここで、しきい値は、バッファ、
メモリ容量などのシステム環境などを考慮して初期に設
定しても良く、入力映像の種類に応じてユーザが任意に
設定しても良い。前記しきい値を適宜に調節することに
より、フレーム率の調節方式は様々になされることがで
きる。また、多数のしきい値をおいて動き活性度と比較
後にフレーム率を調節することも可能である。
(但し、TH1>TH2)を使う場合、マクロブロック
当り平均動き活性度がTH1より大きい場合には、元の
フレーム率にて符号化を行う。マクロブロック当り平均
動き活性度がTH2より大きくてTH1より小さい場合
には、元のフレーム率の半分にて符号化を行う。マクロ
ブロック当り平均動き活性度がTH2より小さい場合に
は、元のフレーム率の1/3にて符号化を行う。
場合、しきい値を各々10,20として設定して置き、
動き活性度が20より大きい場合には元のフレーム率、
すなわち30Hzにて符号化を行い、動き活性度が10
より大きくて20より小さい場合には元のフレーム率の
半分、すなわち15Hzにて符号化を行い、動き活性度
が10より小さい場合には元のフレーム率の1/3、す
なわち10Hzにて符号化を行う。
通じて適宜な値が選択できる。また、この実施形態にお
いて、フレーム率の決定のために特定区間のマクロブロ
ック当り平均動き活性度を用いているが、これに限定さ
れることなく、所定の範囲のブロック当り平均動き活性
度を用いても良い。
定部340で決定されたフレーム率に基づき入力映像デ
ータのフレーム率を調節し、エンコーダ380に出力す
る。
360で決定されたフレーム率に基づくフレーム率変換
過程を示す図面である。図4において、灰色のフレーム
は実際に符号化されるフレームであり、白いフレームは
符号化抜きフレームである。図4Aは、マクロブロック
当り平均動き活性度がTH1より大きい場合、図4B
は、マクロブロック当り動き活性度がTH1より小さく
てTH2より大きい場合、そして図4Cは、マクロブロ
ック当り動き活性度がTH2より小さい場合の区間別フ
レーム変換を各々示している。
部360で時間的複雑度に基づきフレーム率が変換され
たフレームに対して符号化、例えばMPEG−2符号化
を行う。また、MPEG−2符号化時に、符号化された
ビットストリームのシンタックスレベルにてパラメータ
を適宜に調節することにより、符号化されたビットスト
リームに前記変換されたフレーム率を表わす情報を持た
せ、復号化部において元のフレーム率にて復号化可能に
する。
に符号化されたデータ構造のシンタックスレベルのピク
チャ符号化機能拡張部のパラメータのRFF及びTFF
値を下記のように設定する。
り大きい区間のフレームでは元のフレーム率にて符号化
を行うため、RFF及びTFFをどちらも0として設定
する。
H2より大きくてTH1より小さいフレームでは元のフ
レーム率の半分にて符号化を行うため、RFF及びTF
Fを各々1及び0として設定し、復号化時に該当フレー
ムを一回繰り返す。
H1より小さいフレームでは元のフレーム率の1/3に
て符号化を行うため、RFF及びTFFをどちらも1と
して設定し、復号化時に該当フレームを2回繰り返す。
ピクチャ符号化機能拡張部のデータ構造を示す図面であ
る。この実施形態では、フレーム率の変換されたデータ
のビットストリームが、変換されたフレーム率に関する
情報を表示するために、ピクチャ符号化機能拡張部の符
号化データに含まれるデータのうちTFF及びRFFを
使う。
置では、符号化された出力ビットストリームのピクチャ
符号化機能拡張部の該当パラメータを適宜に設定するこ
とにより、符号化されたビットストリームに変換された
フレーム率を表わす情報を持たせることが可能である。
レーム率が変換されて符号化されたビットストリームを
入力されて復号化する復号化装置でも、前記情報に基づ
き復号時に元のフレーム率に復元することが可能にな
る。
2符号化時に動き活性度計算部320で計算された動き
ベクトルをMPEG−2符号化時に使うことにより、符
号化時の計算量が低減可能である。
ンスではない場合の本発明に係る動映像符号化装置を示
すものである。
形態による動映像符号化装置は、IPCモジュール部
(以下、IPC)610、動き活性度計算部620、フ
レーム率決定部640、フレーム率変換部660及びエ
ンコーダ680を含む。動き活性度計算部620、フレ
ーム率決定部640、フレーム率変換部660及びエン
コーダ680は、図3の対応機能部と同じ動作をするた
め、説明の便宜上、その詳細な説明は省略する。
ない場合には、IPC(interlaced−to−
progressive conversion)を行
い、入力ストリームをプログレッシブシーケンスに変換
した後、図4に示された動映像符号化装置による符号化
過程と同様に符号化を行う。
レーム率及び空間的な解像度と、出力時のフレーム率及
び空間的な解像度は一定に維持、例えば30Hzの72
0×480の飛び越しビデオは30Hzの720×48
0の順次ビデオに変換されると仮定しているが、これに
限定されることなく、プログレッシブシーケンスへの変
換時に使用者の意図によって空間的解像度及びフレーム
率を適宜に調節することも可能である。
した適応的動映像符号化装置を示す図面である。
VLD722、IQ724、IDCT726、フレーム
メモリ728及び動き補償部730を含む動映像デコー
ダ720と、動き活性度計算部740と、フレーム率変
換部760と、フレーム率決定部750及びエンコーダ
780を含む。
来のMPEGデコーダのそれと類似の機能を行うため、
説明の簡単化のために詳細な説明は省略する。
位区間内の全てのBフレームまたはPフレームのインタ
マクロブロックの動き活性度を計算して平均を取ること
により、特定区間のマクロブロック当り平均動き活性度
の計算が可能である。
トリームである場合には、動き活性度計算部740は、
図3に示された動き活性度計算部320とは異なって、
図7に示されたように、圧縮ストリームの復号化段階で
得られる動きベクトル情報に基づき動き活性度を計算す
るため、別途の動き推定部が必要でない。
係る実施形態では、動き活性度計算部740は、VLD
722から出力される動きベクトルMVを入力されてこ
れより各マクロブロックの動き活性度を計算する。
率決定部750及びエンコーダ780は、図3の対応機
能部と同じ機能を行うため、説明の便宜上、その詳細な
説明は省略する。
算部740で計算されたマクロブロック当り平均動き活
性度及び所定のしきい値を比較し、特定区間に対するフ
レーム率を決定する。
(但し、TH1>TH2)を使う場合、マクロブロック
当り平均動き活性度がTH1より大きい場合には、元の
フレーム率にて符号化を行う。マクロブロック当り平均
動き活性度がTH2より大きくてTH1より小さい場合
には元のフレーム率の半分にて符号化を行う。マクロブ
ロック当り平均動き活性度がTH2より小さい場合に
は、元のフレーム率の1/3にて符号化を行う。
図4Cに示されたように、フレーム率決定部750で決
定されたフレーム率に基づき入力映像データのフレーム
率を調節し、エンコーダ780に出力する。
部760で時間的複雑度に基づきフレーム率が変換され
たフレームに対して符号化、例えばMPEG−2符号化
を行う。また、MPEG−2符号化時に、符号化された
ビットストリームのシンタックスレベルにてパラメータ
を適宜に調節することにより、すなわち、データ構造に
おける符号化データを調整することにより、符号化され
たビットストリームに前記決定されたフレーム率を表わ
す情報を持たせ、復号化部において元のフレーム率にて
復号化可能にする。
置では、符号化された出力ビットストリームのピクチャ
符号化機能拡張部の該当パラメータを適宜に設定するこ
とにより、符号化されたビットストリームに変換された
フレーム率を表わす情報を持たせることが可能である。
おいて、フレーム率が変換されて符号化されたビットス
トリームを入力されて復号化を行う復号化装置でも、前
記情報に基づき復号時に元のフレーム率にて復元するこ
とが可能になる。
ンスではない場合の本発明に係る時間的複雑度を考慮し
た適応的動映像符号化装置を示すものである。
動映像符号化装置は、VLD822、IQ824、ID
CT826、フレームメモリ828及び動き補償部83
0を含む動映像デコーダ820と、動き活性度計算部8
40と、フレーム率変換部850と、IPC860と、
フレーム率決定部870及びエンコーダ880を含む。
840、フレーム率決定部850、フレーム率変換部8
70及びエンコーダ880は、図6の対応機能部と同じ
動作を行うため、説明の簡単化のために詳細な説明は省
略する。
ない場合には、動映像デコーダ820により復号化され
たデータに対してIPCを行い、入力ストリームをプロ
グレッシブシーケンスに変換した後、図6に示された符
号化装置と同様に符号化を行う。
レーム率及び空間的解像度と、出力時のフレーム率及び
空間的解像度は一定に維持、例えば30Hzの720×
480の飛び越しビデオは30Hzの720×480の
順次ビデオに変換されると仮定しているが、これに限定
されることなく、プログレッシブシーケンスへの変換時
に使用者の意図によって空間的解像度及びフレーム率を
適宜に調節することも可能である。また、貯蔵の効率性
を一層高めるために、他のビット率、他の空間的解像度
及び標準に変形して貯蔵することも可能である。
した適応的動映像符号化方法を説明するためのフローチ
ャートである。
間的複雑度を計算する(第920段階)。この実施形態
では、時間的複雑度を計算するために動き活性度、すな
わち動きベクトルの大きさに基づき、特定区間内のマク
ロブロック当り平均動き活性度を計算する。
ク当り平均動き活性度及び所定のしきい値を比較し、特
定区間に対するフレーム率を決定する(第940段
階)。例えば、2つのしきい値TH1及びTH2(但
し、TH1>TH2)を使う場合、マクロブロック当り
平均動き活性度がTH1より大きい場合には、元のフレ
ーム率にて符号化を行う。マクロブロック当り平均動き
活性度がTH2より大きくてTH1より小さい場合に
は、元のフレーム率の半分にて符号化を行う。マクロブ
ロック当り平均動き活性度がTH2より小さい場合に
は、元のフレーム率の1/3にて符号化を行う。
に基づき入力映像データのフレーム率を変換する(第9
60段階)。
た入力映像データの符号化を行い、符号化されたデータ
のシンタックスレベル、すなわち符号化されたビットス
トリームのデータ構造におけるパラメータを適宜に調節
することにより、符号化されたデータのビットストリー
ムに前記変換されたフレーム率を表わす情報を持たせる
(第980段階)。この実施形態では、MPEG−2符
号化時に符号化されたデータ構造のシンタックスレベル
のピクチャ符号化機能拡張部のパラメータであるRFF
及びTFF値を下記のように設定する。
り大きい区間のフレームでは元のフレーム率にて符号化
を行うため、RFF及びTFFをどちらも0として設定
する。
H2より大きくてTH1より小さいフレームでは元のフ
レーム率の半分にて符号化を行うため、RFF及びTF
Fを各々1及び0として設定し、復号化時に該当フレー
ムを一回繰り返す。
H1より小さいフレームらでは元のフレーム率の1/3
にて符号化を行うため、RFF及びTFFをどちらも1
として設定し、復号化時に該当フレームを2回繰り返
す。
法では、符号化された出力ビットストリームのピクチャ
符号化機能拡張部の該当パラメータを適宜に設定するこ
とにより、符号化されたビットストリームに変換された
フレーム率を表わす情報を持たせることが可能である。
レーム率が変換されて符号化されたビットストリームを
入力されて復号化する復号化装置でも、前記情報に基づ
き復号時に元のフレーム率にて復元することが可能にな
る。
となく、本発明の思想内であれば、当業者による変形が
可能であるということは言うまでもない。
能な記録媒体にコンピュータにて読取り可能なコードと
して具現可能である。コンピュータにて読取り可能な記
録媒体は、コンピュータシステムにより読み込まれるデ
ータが貯蔵されるあらゆる種類の記録装置を含む。コン
ピュータにて読取り可能な記録媒体の例としては、RO
M、RAM、CD−ROM、磁気テープ、ハードディス
ク、フロッピー(登録商標)ディスク、フラッシュメモ
リ、光データ貯蔵装置などがあり、またキャリアウェー
ブ(例えば、インターネットを介して伝送)の形にて具
現されるものも含む。また、コンピュータにて読取り可
能な記録媒体は、ネットワークにより接続されたコンピ
ュータシステムに分散され、分散方式によりコンピュー
タにて読取り可能なコードとして貯蔵されて実行でき
る。
定の区間単位に映像の時間的複雑度を計算し、相対的に
時間的複雑度が低い区間は元のフレーム率を下げて符号
化し、相対的に時間的複雑度が高い区間は元のフレーム
率にて符号化し、且つ、符号化されたデータのシンタッ
クスレベルを適宜に設定し、復号化時に元のフレーム率
にて復元可能にすることにより、画質の劣化なしに貯蔵
媒体に動映像をより効率的に貯蔵することが可能にな
る。
図である。
ック図である。
動映像符号化装置を示すブロック図である。
説明するための図面である。
説明するための図面である。
説明するための図面である。
G−2の6層データ構造のピクチャ符号化機能拡張部を
示す図面である。
考慮した適応的動映像符号化装置を示すブロック図であ
る。
雑度を考慮した適応的動映像符号化装置を示すブロック
図である。
雑度を考慮した適応的動映像符号化装置を示すブロック
図である。
動映像符号化方法を説明するためのフローチャートであ
る。
Claims (25)
- 【請求項1】 時間的複雑度を考慮した適応的動映像符
号化方法において、 (a)入力される映像データの時間的複雑度を計算する
段階と、 (b)前記計算された時間的複雑度に基づき入力される
映像データのフレーム率を変換する段階と、 (c)前記フレーム率の変換された映像データを符号化
し、前記符号化された映像データに前記変換されたフレ
ーム率を表わす情報を含めるために、前記符号化された
映像データの符号化データを調整する段階とを含むこと
を特徴とする適応的動映像符号化方法。 - 【請求項2】 前記(b)段階は、 (b1)前記計算された時間的複雑度及び所定の少なく
とも一つ以上のしきい値を比較してフレーム率を決定す
る段階と、 (b2)前記決定されたフレーム率に基づき入力される
映像データのフレーム率を変換する段階とをさらに含む
ことを特徴とする請求項1に記載の適応的動映像符号化
方法。 - 【請求項3】 前記(a)段階は、 (a1)入力される圧縮映像データを復号化する段階
と、 (a2)前記(a1)段階で得られた動きベクトル情報
に基づき時間的複雑度を計算する段階とをさらに含むこ
とを特徴とする請求項1に記載の適応的動映像符号化方
法。 - 【請求項4】 前記(c)段階において、 符号化データは、符号化されたデータのデータ構造にお
けるピクチャ符号化機能拡張部の符号化データのうち少
なくとも何れか一つであることを特徴とする請求項1に
記載の適応的動映像符号化方法。 - 【請求項5】 前記符号化データは、 前記ピクチャ符号化機能拡張部のrepeat_fir
st_field(RFF)及びtop_field_
first(TFF)のうち少なくとも何れか一方であ
ることを特徴とする請求項4に記載の適応的動映像符号
化方法。 - 【請求項6】 前記フレーム率変換部は、前記計算され
た時間的複雑度及び前記少なくとも一つ以上の所定のし
きい値を比較し、前記計算された時間的複雑度が第1し
きい値より大きい場合にはRFF及びTFFをどちらも
0として設定し、前記計算された時間的複雑度が第2し
きい値より小さい場合にはRFF及びTFFをどちらも
1として設定し、前記計算された時間的複雑度が前記第
1しきい値より小さくて前記第2しきい値より大きい場
合にはRFF及びTFFを各々1及び0として設定する
ことを特徴とする請求項5に記載の適応的動映像符号化
方法。 - 【請求項7】 前記第1しきい値は、前記第2しきい値
より大きいことを特徴とする請求項6に記載の適応的動
映像符号化方法。 - 【請求項8】 前記時間的複雑度は、入力される映像デ
ータのマクロブロック当り動き活性度に基づき計算され
ることを特徴とする請求項1に記載の適応的動映像符号
化方法。 - 【請求項9】 前記動き活性度は、前記マクロブロック
の動きベクトルの大きさであることを特徴とする請求項
8に記載の適応的動映像符号化方法。 - 【請求項10】 前記動き活性度は、マクロブロックの
動きベクトルが(MV1,MV2)である場合、MV1
2+MV22であることを特徴とする請求項9に記載の
適応的動映像符号化方法。 - 【請求項11】 前記時間的複雑度の計算及びフレーム
率の決定は、入力映像データの所定の区間単位にて行わ
れることを特徴とする請求項1に記載の適応的動映像符
号化方法。 - 【請求項12】 前記入力映像データの所定の区間単位
は、グループオブピクチャ(GOP)であることを特徴
とする請求項11に記載の適応的動映像符号化方法。 - 【請求項13】 前記入力映像データの所定の区間単位
は、入力映像データのシーケンスであることを特徴とす
る請求項11に記載の適応的動映像符号化方法。 - 【請求項14】 時間的複雑度を考慮した適応的動映像
符号化装置において、 入力される映像データの時間的複雑度を計算する時間的
複雑度計算部と、 前記計算された時間的複雑度に基づき、入力される映像
データのフレーム率を変換するフレーム率変換部と、 前記フレーム率の変換された映像データを符号化し、前
記符号化された映像データに前記変換されたフレーム率
を表わす情報を含めるために、前記符号化された映像デ
ータの符号化データを調整する符号化部とを含むことを
特徴とする適応的動映像符号化装置。 - 【請求項15】 前記フレーム率変換部は、前記時間的
複雑度計算部で計算された時間的複雑度及び所定の少な
くとも一つ以上のしきい値を比較してフレーム率を決定
するフレーム率決定部をさらに含み、前記フレーム率決
定部で決定されたフレーム率に基づき入力される映像デ
ータのフレーム率を変換することを特徴とする請求項1
4に記載の適応的動映像符号化装置。 - 【請求項16】 前記時間的複雑度計算部は、入力され
る圧縮映像データを復号化する復号化部をさらに含み、
前記復号化部で得られた動きベクトル情報に基づき時間
的複雑度を計算することを特徴とする請求項14に記載
の適応的動映像符号化装置。 - 【請求項17】 前記符号化データは、符号化されたデ
ータのデータ構造におけるピクチャ符号化機能拡張部の
符号化データのうち少なくとも何れか一つであることを
特徴とする請求項14に記載の適応的動映像符号化方
法。 - 【請求項18】 前記符号化データは、前記ピクチャ符
号化機能拡張部のRFF及びTFFのうち少なくとも何
れか一方であることを特徴とする請求項17に記載の適
応的映像符号化装置。 - 【請求項19】 前記フレーム率変換部は、前記計算さ
れた時間的複雑度及び前記少なくとも一つ以上の所定の
しきい値を比較し、前記計算された時間的複雑度が第1
しきい値より大きい場合にはRFF及びTFFをどちら
も0として設定し、前記計算された時間的複雑度が第2
しきい値より小さい場合にはRFF及びTFFをどちら
も1として設定し、前記計算された時間的複雑度が前記
第1しきい値より小さくて前記第2しきい値より大きい
場合にはRFF及びTFFを各々1及び0として設定す
ることを特徴とする請求項18に記載の適応的映像符号
化装置。 - 【請求項20】 前記第1しきい値は、前記第2しきい
値より大きいことを特徴とする請求項19に記載の適応
的映像符号化装置。 - 【請求項21】 前記時間的複雑度は、入力される映像
データのマクロブロック当り動き活性度に基づき計算さ
れることを特徴とする請求項14に記載の適応的映像符
号化装置。 - 【請求項22】 前記動き活性度は、前記マクロブロッ
クの動きベクトルの大きさであることを特徴とする請求
項21に記載の適応的映像符号化装置。 - 【請求項23】 前記動き活性度は、マクロブロックの
動きベクトルが(MV1,MV2)である場合、MV1
2+MV22であることを特徴とする請求項22に記載
の適応的映像符号化装置。 - 【請求項24】 前記時間的複雑度の計算及びフレーム
率の決定は、入力映像データのGOP単位にて行われる
ことを特徴とする請求項20に記載の適応的映像符号化
装置。 - 【請求項25】 前記時間的複雑度の計算及びフレーム
率の決定は、入力映像データのシーケンス単位にて行わ
れることを特徴とする請求項20に記載の適応的映像符
号化装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20020028364A KR100850706B1 (ko) | 2002-05-22 | 2002-05-22 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
KR2002-028364 | 2002-05-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003348583A true JP2003348583A (ja) | 2003-12-05 |
Family
ID=29546333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002295299A Withdrawn JP2003348583A (ja) | 2002-05-22 | 2002-10-08 | 適応的動映像符号化及び復号化方法とその装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7457471B2 (ja) |
JP (1) | JP2003348583A (ja) |
KR (1) | KR100850706B1 (ja) |
CN (1) | CN1233160C (ja) |
DE (1) | DE10248019A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010074783A (ja) * | 2008-09-22 | 2010-04-02 | Kddi Corp | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム |
JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
JP2013031171A (ja) * | 2006-04-03 | 2013-02-07 | Qualcomm Inc | プリプロセッサ方法および装置 |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100850705B1 (ko) * | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
US7362296B2 (en) * | 2003-04-07 | 2008-04-22 | Samsung Electronics Co., Ltd. | Liquid crystal display and driving method thereof |
JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
CN103826133B (zh) * | 2004-05-04 | 2017-11-24 | 高通股份有限公司 | 运动补偿帧速率上调方法和设备 |
BRPI0512816A (pt) * | 2004-07-01 | 2008-04-08 | Qualcomm Inc | método e equipamento para utilizar técnicas de conversão ascendente de taxa de quadro em codificação de vìdeo escalonável |
BRPI0513527A (pt) * | 2004-07-20 | 2008-05-06 | Qualcomm Inc | método e equipamento para conversão ascendente de taxa de quadro assistido de codificador (ea-fruc) para compressão de vìdeo |
US8553776B2 (en) * | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
US8345768B1 (en) * | 2005-07-28 | 2013-01-01 | Teradici Corporation | Progressive block encoding using region analysis |
US8260056B2 (en) * | 2005-08-19 | 2012-09-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Resizing video and aligning video image edges to block boundaries and picture boundaries |
CN100407795C (zh) * | 2005-09-08 | 2008-07-30 | 上海广电(集团)有限公司中央研究院 | 一种帧场自适应检测方法 |
JP4887727B2 (ja) * | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
US20070230564A1 (en) * | 2006-03-29 | 2007-10-04 | Qualcomm Incorporated | Video processing with scalability |
US8634463B2 (en) * | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
US8750387B2 (en) * | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
KR100790148B1 (ko) * | 2006-07-27 | 2008-01-02 | 삼성전자주식회사 | 실시간 영상 복잡도 측정 방법 |
EP2057840B1 (en) * | 2006-08-21 | 2010-10-06 | Nxp B.V. | Motion-compensated processing of image signals |
KR100777079B1 (ko) | 2006-08-28 | 2007-11-16 | 주식회사 대우일렉트로닉스 | 엘씨디 텔레비전의 프레임 레이트 제어방법 |
US8208550B2 (en) * | 2007-07-31 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Adapting an encoded video signal to encoding complexity |
WO2009014667A1 (en) * | 2007-07-22 | 2009-01-29 | Hewlett-Packard Development Company, L.P. | Adapting an encoded video signal to encoding complexity |
EP2330817B1 (en) * | 2008-09-04 | 2016-08-31 | Japan Science and Technology Agency | Video signal converting system |
WO2010036772A2 (en) * | 2008-09-26 | 2010-04-01 | Dolby Laboratories Licensing Corporation | Complexity allocation for video and image coding applications |
KR101416272B1 (ko) | 2008-11-05 | 2014-07-07 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
US9286709B2 (en) * | 2009-07-27 | 2016-03-15 | Dreamworks Animation Llc | Variable frame rate rendering and projection |
CN110111251B (zh) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
CN110996131B (zh) * | 2020-03-02 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69424909T2 (de) * | 1993-04-09 | 2000-12-14 | Sony Corp., Tokio/Tokyo | Verfahren und vorrichtung zur bildkodierung |
KR100234247B1 (ko) * | 1995-05-29 | 1999-12-15 | 윤종용 | 가변 비트율 동화상 부호화장치 |
JP2000506686A (ja) * | 1995-10-25 | 2000-05-30 | サーノフ コーポレイション | オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器 |
US6002802A (en) * | 1995-10-27 | 1999-12-14 | Kabushiki Kaisha Toshiba | Video encoding and decoding apparatus |
KR0186142B1 (ko) * | 1995-12-28 | 1999-05-01 | 구자홍 | 가변율 부호화기의 비트율 할당 방법 및 장치 |
WO2000064187A1 (en) | 1999-04-19 | 2000-10-26 | Sony Corporation | Image encoding device and its method |
JP2001285868A (ja) * | 2000-03-29 | 2001-10-12 | Victor Co Of Japan Ltd | 動画像符号列切替装置及び動画像符号列切替方法 |
KR20010104058A (ko) * | 2000-05-12 | 2001-11-24 | 박종섭 | 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기 |
JP2002125227A (ja) | 2000-10-11 | 2002-04-26 | Sony Corp | 画像情報変換装置及び方法 |
-
2002
- 2002-05-22 KR KR20020028364A patent/KR100850706B1/ko not_active IP Right Cessation
- 2002-10-08 JP JP2002295299A patent/JP2003348583A/ja not_active Withdrawn
- 2002-10-15 DE DE2002148019 patent/DE10248019A1/de not_active Ceased
- 2002-10-15 CN CNB021458502A patent/CN1233160C/zh not_active Expired - Fee Related
- 2002-12-23 US US10/326,271 patent/US7457471B2/en not_active Expired - Fee Related
-
2006
- 2006-11-16 US US11/600,119 patent/US20070058877A1/en not_active Abandoned
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
JP2015109662A (ja) * | 2006-04-03 | 2015-06-11 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | プリプロセッサ方法および装置 |
JP2013031171A (ja) * | 2006-04-03 | 2013-02-07 | Qualcomm Inc | プリプロセッサ方法および装置 |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
JP2010074783A (ja) * | 2008-09-22 | 2010-04-02 | Kddi Corp | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20070058877A1 (en) | 2007-03-15 |
US20030219160A1 (en) | 2003-11-27 |
CN1233160C (zh) | 2005-12-21 |
CN1459981A (zh) | 2003-12-03 |
KR100850706B1 (ko) | 2008-08-06 |
KR20030090308A (ko) | 2003-11-28 |
US7457471B2 (en) | 2008-11-25 |
DE10248019A1 (de) | 2003-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003348583A (ja) | 適応的動映像符号化及び復号化方法とその装置 | |
KR100850705B1 (ko) | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 | |
US7180944B2 (en) | Low-complexity spatial downscaling video transcoder and method thereof | |
JP2001045489A (ja) | 画像予測復号化方法及び装置 | |
US7899121B2 (en) | Video encoding method, video encoder, and personal video recorder | |
JP2003116104A (ja) | 情報処理装置及び情報処理方法 | |
US8665955B2 (en) | Method of storing pictures in a memory using compression coding and cost function including power consumption | |
KR20040079084A (ko) | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 | |
JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
KR100598093B1 (ko) | 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법 | |
JPH07203456A (ja) | 符号化装置と復号化装置と映像記録装置 | |
JP2001309384A (ja) | 画像圧縮装置 | |
KR100924779B1 (ko) | 적응적 동영상 부호화 및 복호화 방법과 그 장치 | |
JP2007516639A (ja) | 符号化方法及び符号化装置 | |
JPH10164594A (ja) | 動画像の圧縮符号化方法およびその装置 | |
JP2006197186A (ja) | 画像符号化装置及び電池駆動復号器 | |
KR20050115779A (ko) | 다 해상도 기반의 동 영상 부호화 방법 및 시스템 | |
JP2003087797A (ja) | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 | |
JPH11122580A (ja) | 画像信号の編集装置、符号化装置及び復号装置 | |
JPH09200747A (ja) | 画像符号化方法および装置 | |
JP2008016985A (ja) | 動画像符号化装置 | |
JP2001268571A (ja) | 動画像再符号化装置 | |
CA2641323A1 (en) | System and method for controlling the generation rate of compressed data | |
JPH08130735A (ja) | 画像データ符号化/復号化装置 | |
JPH09275564A (ja) | 高精細動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070525 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070709 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070803 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100224 |