JP4361755B2

JP4361755B2 - Moving image processing apparatus, program, storage medium, and moving image processing method

Info

Publication number: JP4361755B2
Application number: JP2003129807A
Authority: JP
Inventors: 泰史山口; 祥一寺中; 安則石川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-05-08
Filing date: 2003-05-08
Publication date: 2009-11-11
Anticipated expiration: 2023-05-08
Also published as: JP2004336404A

Description

【０００１】
【発明の属する技術分野】
本発明は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置、プログラム、記憶媒体および動画像処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタル動画像データの伝送・蓄積を行う場合には、デジタル動画像圧縮伸長技術を用いて数１０分の１に圧縮処理し、伝送レートや蓄積容量の負荷を低減するようにしている。このようなデジタル動画像圧縮伸長技術としては、動画像専用のMPEG1／MPEG2／MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが用いられている。
【０００３】
MPEG方式とMotion静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【０００４】
また、近年においては、後者のMotion静止画像の符号化については、離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたMotion JPEG2000という新しい方式が規格化されつつある。
【０００５】
ところで、MPEG方式やMotion静止画像方式に代表される多くの符号化方式では画像をブロック単位で処理するため、その復号画像にはブロックノイズやエッジノイズといった劣化が生じる。ブロックノイズとは、本来の画像の絵柄にはないブロックパターン状の幾何学模様が見える歪みである。また、エッジノイズはエッジ付近に生じるリンギング状の歪み（モスキートノイズともいう）である。
【０００６】
そこで、従来においては、このような符号化方式固有のノイズを除去するポストフィルタが提案されている。このポストフィルタは、概略的には、復号画像信号を平滑化して、ブロック間の境界部における高域成分を取り除く等の処理を行うものである。
【０００７】
しかしながら、上述したようなポストフィルタによるフィルタ処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、マイクロプロセッサベースでソフトウェアデコードを行うシステムでは、動きの激しい場面においては復号処理そのものにプロセッサ資源が占有されてしまうので、それによってプロセッサ負荷が高くなり、再生処理の遅れが多々引き起こされることになる。再生処理の遅れは、音声と同期して動画像の復号・再生をソフトウェアによって行う場合に特に顕在化され、音声とのずれや、コマ落ちなどの問題が生じることになる。
【０００８】
すなわち、動画像の再生処理に遅れが生じた場合には、通常、その遅れを解消するために、いくつかのフレームに関する復号処理を省くというフレームスキップが行われる。これにより、コマ落ちが発生し、ギクシャクとした再生画像となってしまう。特に、高圧縮率、高画質の画像が得られるMotion JPEG2000方式においては、Motion JPEGの画像処理に比べると多くの演算量を必要とするため、コマ落ちが顕著になる。
【０００９】
そこで、このような問題を解決すべく、特許文献１に記載されているデジタル動画像圧縮・伸張処理を用いたリアルタイム録画再生装置においては、フレームレート制御部を持つことにより、圧縮時に処理が間に合わない場合は補間処理を行い、伸張時に処理が間に合わない場合はコマ落とし処理を行うようにし、特に伸張時のコマ落としは、圧縮時に補間処理を行ったフレームを優先的にコマ落とし処理する技術が開示されている。
【００１０】
【特許文献１】
特開2001-309303公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したような特許文献１に開示された技術によれば、圧縮時の補間処理は実質的には間引き処理であり、結果的にはフレームレートを低下させるため、コマ落としによりフレームレートを低下させて処理のリアルタイム性を確保しているにすぎず、表示される動画像は動きが滑らかでない画像となってしまうという問題がある。
【００１２】
本発明の目的は、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる動画像処理装置、プログラム、記憶媒体および動画像処理方法を提供することである。
【００１３】
【課題を解決するための手段】
本発明の動画像処理装置は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備える。
【００１９】
また、本発明に係る動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段とを有し、各品質における前記予測デコード時間は、前記品質／時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【００２１】
また、本発明に係る他の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【００２３】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備えてもよい。
【００２５】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新する。
【００２７】
また、本発明に係る他の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、前記圧縮データ量検出手段により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正手段と、を備えてもよい。
【００２９】
また、本発明に係る他の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であってもよい。
【００３１】
また、本発明に係るプログラムは、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させる。
【００３７】
また、本発明に係るプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、
前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、
前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、各品質における前記予測デコード時間は、前記品質／時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【００３９】
また、本発明に係る他のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【００４１】
また、本発明に係る他のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させてもよい。
【００４３】
また、本発明に係る他のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新してもよい。
【００４５】
また、本発明に係る他のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、前記圧縮データ量検出手段により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させる。
【００４７】
また、本発明に係る他のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であってもよい。
【００４９】
また、本発明に係るコンピュータに読取り可能な記憶媒体は、本発明に係るプログラムを記憶している。
【００５１】
また、本発明に係る動画像処理方法は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行なう。
【００５７】
また、本発明に係る動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、各品質における前記予測デコード時間は、前記品質／時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【００５９】
また、本発明に係る他の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【００６１】
また、本発明に係る他の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なってもよい。
【００６３】
また、本発明に係る他の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新してもよい。
【００６５】
また、本発明に係る他の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、前記圧縮データ量検出工程により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なう。
【００６７】
また、本発明に係る他の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であってもよい。
【００６９】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１８に基づいて説明する。
【００７０】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００７１】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００７２】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００７３】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００７４】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００７５】
次に、JPEG2000アルゴリズムについて説明する。
【００７６】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００７７】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００７８】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７９】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００８０】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００８１】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００８２】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００８３】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００８４】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００８５】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００８６】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００８７】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００８８】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。すなわち、「Motion JPEG2000」は、図８に示すように、１フレームのJPEG2000画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００８９】
以下、本発明の実施の一形態について説明する。なお、ここでは、Motion JPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００９０】
図９は、本実施の形態に係る動画像出力システム１の全体構成を示すブロック図である。図９に示すように、動画像出力システム１は、圧縮動画像データを動画像処理装置３に対して入力する入力装置２と、入力装置２から入力した圧縮動画像データを伸長する動画像処理装置３と、動画像処理装置３で伸長された動画像データを出力する出力装置４とからなる。
【００９１】
入力装置２は、具体的には、動画像処理装置３へ圧縮動画像データを送信する各種通信インターフェイス、圧縮動画像データを記憶する記憶装置、動画像を入力するビデオカメラなどの動画像入力装置などである。入力装置２から動画像処理装置３へと出力される圧縮動画像データは、「Motion JPEG2000アルゴリズム」に従って圧縮符号化されたMotion JPEG2000データである。
【００９２】
出力装置４は、具体的には、動画像処理装置３で伸長された動画像データを受信する各種通信インターフェイス、伸長された動画像を表示するＬＣＤ（Liquid Crystal Display），ＣＲＴ（Cathode Ray Tube）などのディスプレイなどである。
【００９３】
次に、動画像処理装置３について詳細に説明する。図１０は、本実施の形態における動画像処理装置３のモジュール構成図である。動画像処理装置３は、いわゆるパーソナルコンピュータであって、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、入力装置２や出力装置４と通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。なお、本実施の形態においては、動画像処理装置３の表示装置１９が出力装置４として機能するものとする。
【００９４】
このような動画像処理装置３では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００９５】
ここで、動画像処理装置３は、アプリケーションプログラムとして、動画処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、動画処理プログラムを記憶する記憶媒体として機能する。
【００９６】
また、一般的には、動画像処理装置３のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、動画処理プログラムを記憶する記憶媒体となり得る。さらには、動画処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００９７】
動画像処理装置３は、オペレーティングシステム上で動作する動画処理プログラムが起動すると、この動画処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。動画像処理装置３のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【００９８】
ここで、動画像処理装置３のＣＰＵ１１が実行する各種の演算処理により実現される機能について説明する。図１１に示すように、動画像処理装置３においては、フレーム分離手段３１、デコード手段として機能するJPEG2000デコーダ３２、圧縮データ量検出手段３３、フレーム位置更新手段３４、デコード品質更新手段３５、デコード時間検出手段３６、統計情報更新手段３７、判定手段３８の各機能が、ＣＰＵ１１が実行する各種の演算処理により実現されている。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種機能を実現するようにするのが望ましい。また、ＣＰＵ１１は動画処理プログラムに従って動作することで、ＲＡＭ１３にデコード品質／時間関係情報テーブル３９を形成する。
【００９９】
フレーム分離手段３１は、入力装置２から出力されたMotion JPEG2000データを構成するフレームデータをフレーム位置更新手段３４からの指示に基づいて順次取り出す。
【０１００】
JPEG2000デコーダ３２は、Motion JPEG2000データを構成するフレームデータをデコード品質更新手段３５により指定された品質パラメータに従ってデコード（伸長）処理を行う。ここで、品質パラメータは、デコード（伸長）処理の際のデコード品質を決定するものであって、デコードパラメータ（JPEG2000のレイヤ、トランケーション値、レベルなど）を単一または複合的に変更することでデコード品質を決定する。
【０１０１】
圧縮データ量検出手段３３は、フレーム分離手段３１で取り出された１フレーム分のフレームデータのサイズを取得する。
【０１０２】
フレーム位置更新手段３４は、フレーム分離手段３１に対して、次に処理するフレーム位置を指定されたコマ数だけスキップすることを指示する。
【０１０３】
デコード品質更新手段３５は、JPEG2000デコーダ３２に対して、デコード（伸長）処理の際の品質パラメータを更新する。
【０１０４】
デコード時間検出手段３６は、JPEG2000デコーダ３２が１フレームのデータをデコード（伸長）処理する際にかかった処理時間を取得する。
【０１０５】
デコード品質／時間関係情報テーブル３９は、図１２に示すように、Motion JPEG2000データのデコード品質を変更する品質パラメータを高品質から低品質の順に変更可能な段数分（Ｎ）テーブル状にしたものであり、JPEG2000デコーダ３２に指示する品質パラメータの組み合わせだけエントリを持ち、特定のエントリ内の情報はインデックスにより指示可能とされている。図１２に示すように、デコード品質／時間関係情報テーブル３９は、テーブル中のエントリに、それぞれ最高品質を“１”としたデコード時間（デコード（伸長）処理時間）の予想比率値（Ｒ）を有している（あらかじめ測定した実行値を基に算出）。また、テーブル中のエントリには、実行中のデコード時間履歴（ＴＨ）とその代表値となる予測デコード時間（ＴＳ）も有している。予測デコード時間（ＴＳ）は、最高品質を“１”とした時のデコード時間比率（Ｒ）の値を基に初期化され、デコード（伸長）処理が行われている際に逐次更新される。このように、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。また、デコード時間履歴（ＴＨ）は、リスト形式の領域であり、過去数十フレームの実測値を格納している。これにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。すなわち、この情報を加味して予測デコード時間（ＴＳ）の更新が行われることになる。
【０１０６】
統計情報更新手段３７は、デコード（伸長）処理を行った際の実デコード時間を記録し、以後に使用するデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）を更新する。より具体的には、図１３に示すように、例えば３０（フレーム／sec）の動画にて１秒分の情報を保持する場合では、情報を初めて処理する際に（ステップＳ１のＹ）、デコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）とデコード時間履歴（ＴＨ）の３０エントリを初期化する（ステップＳ２，Ｓ３：初期化手段）。なお、ステップＳ２，Ｓ３におけるデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）とデコード時間履歴（ＴＨ）の初期化は、予め用意された標準画像をデコード（伸長）したデコード（伸長）処理時間に基づいて行われる。
【０１０７】
以降の処理では（ステップＳ１のＮ）、今回のデコード（伸長）処理の処理時間の実測値をデコード時間履歴（ＴＨ）に登録し（ステップＳ４）、過去の統計情報に基づいてデコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）を更新する予測デコード時間更新処理を行う（ステップＳ５：予測デコード時間更新手段）。
【０１０８】
予測デコード時間更新処理は、より詳細には、図１４に示すように、デコード品質／時間関係情報テーブル３９の該当するインデックスのデコード時間履歴（ＴＨ）から直前３フレームのデコード（伸長）時間の平均値（ＮＡ）を算出し（ステップＳ１１）、デコード品質／時間関係情報テーブル３９の該当するインデックスのデコード時間履歴（ＴＨ）から直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）を算出する（ステップＳ１２）。
【０１０９】
次いで、直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）とを比較し（ステップＳ１３）、平均値（ＮＡ）と平均値（ＦＡ）の変化比が所定の値（例えば、１０％）より大きくない場合には（ステップＳ１３のＮ）、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）を指定して（ステップＳ１４）、新たな予測デコード時間（ＴＳ）とする。一方、平均値（ＮＡ）と平均値（ＦＡ）の変化比が所定の値より大きい場合には（ステップＳ１３のＹ）、予測デコード時間（ＴＳ）に直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）を指定して（ステップＳ１５）、新たな予測デコード時間（ＴＳ）とする。
【０１１０】
ここで、図１５は直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）との比較を例示的に示す説明図である。図１５に示すように、時間Ａ地点ではＦＡとＮＡとの変化比は約４％であるため、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）の３１．４ｍｓを採用する。時間Ｂ地点ではＦＡとＮＡとの変化比は約１％であるため、予測デコード時間（ＴＳ）に２７フレームのデコード（伸長）時間の平均値（ＦＡ）の３１．４ｍｓを採用する。時間Ｃ地点ではＦＡとＮＡとの変化比は約２０％であるため、予測デコード時間（ＴＳ）に直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）の３８．０ｍｓを採用する。すなわち、直前の１つのサンプルや直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）のみの評価であると
３２．７ｍｓ→３１．７ｍｓ→３８．０ｍｓ
と頻繁に値が変化することになるが、このような評価方法によれば、小さな変動に対しては揺れが少なく、大きな変動にも対応できる。
【０１１１】
以上により、デコード品質／時間関係情報テーブル３９の予測デコード時間（ＴＳ）が更新される。
【０１１２】
判定手段３８は、デコード時間検出手段３６から取得したデコード処理時間と圧縮データ量検出手段３３から得た圧縮されたフレームデータサイズを基に品質パラメータを算出し、算出した品質パラメータをデコード品質更新手段３５に出力する。すなわち、判定手段３８は、品質パラメータ算出手段及びフレーム位置決定手段として機能するものである。より具体的には、図１６に示すように、JPEG2000デコーダ３２が１フレームのデータをデコード（伸長）処理する際にかかった処理時間をデコード時間検出手段３６から取得し（ステップＳ２１）、該当フレームの表示時間（一般に、１／フレームレート秒）から前回のフレーム表示での超過時間を差し引いた時間と、ステップＳ２１で取得したデコード処理時間とを比較する（ステップＳ２２）。例えば、３０（フレーム／sec）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより大きいか否かを判断する。
【０１１３】
ステップＳ２１で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合には（ステップＳ２２のＹ）、新しい品質パラメータを算出する品質パラメータ算出処理を実行する（ステップＳ２３）。
【０１１４】
ここで、品質パラメータ算出処理について図１７を参照しつつ説明する。図１７に示すように、デコード品質／時間関係情報テーブル３９を参照するためのインデックスｎを最高品質のインデックス（ｎ←１）に初期化する（ステップＳ３１）。
【０１１５】
続くステップＳ３２においては、インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さいか否かを判定する。
【０１１６】
インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さくない場合には（ステップＳ３２のＮ）、ステップＳ３３に進む。
【０１１７】
ステップＳ３３においては、品質値が所定の最低品質値を下回っているか否か判定する。
【０１１８】
品質値が所定の最低品質値を下回っていない場合には（ステップＳ３３のＮ）、現在の品質値を示すインデックスｎを“１”インクリメントし（ステップＳ３４）、ステップＳ３２に戻る。
【０１１９】
一方、インデックスｎのデコード品質／時間関係情報テーブル３９にある予測デコード時間（ＴＳ）がフレーム表示間隔より小さい場合（ステップＳ３２のＹ）、または、品質値が所定の最低品質値を下回っている場合には（ステップＳ３３のＹ）、ステップＳ３５に進み、変動傾向補正処理（変動傾向補正手段）を実行する。
【０１２０】
ここで、変動傾向補正処理について図１８を参照しつつ説明する。図１８に示すように、圧縮データ量検出手段３３から今回のフレームの圧縮されたデータサイズを取得するとともに（ステップＳ４１）、圧縮データ量検出手段３３から次にデコード（伸長）処理するフレームの圧縮されたデータサイズを取得し（ステップＳ４２）、両者を比較する（ステップＳ４３）。
【０１２１】
そして、今回のフレームのデータサイズよりも次にデコード（伸長）処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には（ステップＳ４３のＹ）、ステップＳ４４に進み、品質パラメータのインデックスｎを“１”インクリメントし、変動傾向補正処理を終了する。すなわち、今回のフレームのデータサイズよりも次にデコード（伸長）処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には（ステップＳ４３のＹ）、品質を下げるようにしたものである。
【０１２２】
このように変動傾向補正処理を行うことにより、デコード（伸長）処理するフレームの圧縮されたデータサイズの増加／減少傾向に応じて、次に処理すべきフレームの品質パラメータを補正することが可能になる。
【０１２３】
ここに、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正されることにより、フレームレートを確実に維持するための安全策がとられる。
【０１２４】
変動傾向補正処理（ステップＳ３５）が終了すると、最終的に決定したインデックスｎに対応する品質パラメータを算出する。
【０１２５】
以上により、品質パラメータ算出処理（ステップＳ２３）が終了する。これにより、フレームのデコード（伸長）処理を行った処理時間の統計情報とフレーム圧縮量の変動傾向からフレーム表示時間を超えない範囲で処理可能な品質パラメータの最高品質値を得ることができる。
【０１２６】
品質パラメータ算出処理（ステップＳ２３）が終了すると、ステップＳ２４に進み、品質パラメータを品質パラメータ算出処理（ステップＳ２３）で算出された新しい品質パラメータで更新する。ここで更新される品質パラメータは、品質を下げるものである。
【０１２７】
次いで、ステップＳ２５に進み、更新された新しい品質パラメータでのデコード処理時間の予想値と該当フレームの表示時間とを比較する。
【０１２８】
デコード予想時間がフレーム表示時間より大きいと判定した場合には（ステップＳ２５のＹ）、ステップＳ２６に進み、コマ落としを指示する。例えば、３０（フレーム／sec）の動画の場合では、デコード予想時間がフレーム表示間隔時間３３ｍｓより大きい場合に、コマ落としを指示するものである。なお、コマ落としは、更新された新しい品質パラメータでのデコード処理時間の予想値を包含する時間分だけ次のフレーム位置を更新する。
【０１２９】
また、デコード予想時間がフレーム表示時間より大きくないと判定した場合には（ステップＳ２５のＮ）、そのまま処理を終了する。
【０１３０】
一方、ステップＳ２１で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きくない場合には（ステップＳ２２のＮ）、前回の品質パラメータの更新から所定時間経過しているか否かを判定する（ステップＳ２７）。ここで、所定時間としては、１秒程度が望ましい。
【０１３１】
前回の品質パラメータの更新から所定時間経過している場合には（ステップＳ２７のＹ）、ステップＳ２８に進み、品質パラメータを直前の状態より１段上げ、更新を指示する。ここで更新される品質パラメータは、品質を上げるものである。このように品質パラメータを１段ずつ上げていくのは、急激に画像品質が変化するのを防止するためである。例えば、３０（フレーム／sec）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより小さい場合が継続する場合は１秒ごとに品質パラメータを１段ずつ上げていくことになる。
【０１３２】
また、前回の品質パラメータの更新から所定時間経過していない場合には（ステップＳ２７のＮ）、そのまま処理を終了する。
【０１３３】
以上のような判定手段３８における処理により、実際にデコード（伸長）処理を行った処理時間に基づいて以後のフレームデコード（伸長）処理のための品質パラメータの更新及びコマ落とし指示を制御することが可能になる。
【０１３４】
次に、上述した各種機能による一連の処理の流れについて説明する。入力装置２から出力されたMotion JPEG2000データは、フレーム位置更新手段３４からの指示に基づいてフレーム分離手段３１でフレーム毎に切り出されて単一のフレームデータとして取り出される。フレーム分離手段３１で取り出されたフレームデータは、デコード品質更新手段３５により指定された品質パラメータに従ってJPEG2000デコーダ３２でデコード（伸長）処理を施される。JPEG2000デコーダ３２でデコード（伸長）処理を施された動画像データは、出力装置４（表示装置１９）に順次出力され、出力装置４（表示装置１９）に映像が表示される。
【０１３５】
一方、デコード時間検出手段３６によってフレームデータのデコード（伸長）処理時間が取得されると、このフレームデータのデコード（伸長）処理時間に基づいて判定手段３８により品質パラメータが算出され、デコード品質更新手段３５によりJPEG2000デコーダ３２に対して新しい品質パラメータが与えられ、以降のデコード時の品質パラメータが更新される。例えば、３０（フレーム／sec）の動画の場合では、デコード処理時間がフレーム表示間隔時間３３ｍｓより大きく、次のフレームの表示が間に合わないと判断した場合には、デコード品質／時間関係情報テーブル３９を参照し、以後のフレーム表示間隔時間に間に合うと予想される予想デコード時間が３３ｍｓ未満の品質パラメータに品質パラメータを下げる。加えて、算出された品質パラメータが所定の品位を下回る場合には、品質パラメータを所定の値に固定する。この場合に、フレーム表示間隔時間３３ｍｓに間に合わないと判断される場合は、フレーム位置更新手段３４によってフレーム分離手段３１に対してコマ落としが指示される。
【０１３６】
統計情報更新手段３７は、デコード時間検出手段３６によって取得したフレームデータのデコード（伸長）処理時間に基づいて、デコード品質／時間関係情報テーブル３９を更新する。
【０１３７】
ここに、デコード手段であるJPEG2000デコーダ３２はフレーム分離手段３１により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出手段３６により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出手段として機能する判定手段３８により算出されてデコード品質更新手段３５によりJPEG2000デコーダ３２に対して更新される。また、フレーム位置決定手段として機能する判定手段３８により品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新手段３４によりフレーム分離手段３１に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【０１３８】
なお、本実施の形態においては、動画像処理装置３としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、携帯情報端末（ＰＤＡ）や携帯電話などを動画像処理装置３として適用することもできる。
【０１３９】
【発明の効果】
本発明に係る動画像処理装置によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、
前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による１フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備えることにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係る動画像処理装置において、前記品質パラメータ算出手段は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係る動画像処理装置において、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段を備えることにより、精度を高めることができる。
【０１４２】
また、本発明に係る他の動画像処理において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１４３】
また、本発明に係る他の動画像処理装置において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１４４】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備えることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１４５】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１４６】
また、本発明に係る他の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正手段と、を備えることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１４７】
また、本発明に係る他の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【０１４８】
また、本発明に係るプログラムによれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による１フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、デコード機能はフレーム分離機能により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出機能により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出機能により算出し、デコード品質更新機能によりデコード機能に対して更新し、また、フレーム位置決定機能により品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新機能によりフレーム分離機能に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係るプログラムにおいて、前記品質パラメータ算出機能は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係るプログラムにおいて、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能を前記コンピュータに実行させることにより、精度を高めることができる。
【０１５１】
また、本発明に係る他のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１５２】
また、本発明に係る他のプログラムにおいて、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１５３】
また、本発明に係る他のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１５４】
また、本発明に係る他のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１５５】
また、本発明に係る他のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１５６】
また、本発明に係る他のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【０１５７】
また、本発明に係るコンピュータに読取り可能な記憶媒体によれば、本発明に係るプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、プログラムの発明と同様の作用効果を得ることができる。
【０１５８】
また、本発明に係る動画像処理方法によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを１フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による１フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質／時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、デコード工程はフレーム分離工程により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出工程により取得された１フレームデータのデコード処理時間に基づいて品質パラメータ算出工程により算出し、デコード品質更新工程によりデコード工程に対して更新し、また、フレーム位置決定工程により品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新工程によりフレーム分離工程に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係る動画像処理方法前記品質パラメータ算出工程は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質／時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係る動画像処理方法において、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質／時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程をコンピュータの処理制御により行なうことにより、精度を高めることができる。
【０１６１】
また、本発明に係る他の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【０１６２】
また、本発明に係る他の動画像処理方法において、前記品質／時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る１フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【０１６３】
また、本発明に係る他の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なうことにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【０１６４】
また、本発明に係る他の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら２つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【０１６５】
また、本発明に係る他の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された１フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なうことにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【０１６６】
また、本発明に係る他の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、ＭｏｔｉｏｎＪＰＥＧ２０００方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示す説明図である。
【図８】 Motion JPEG2000の概念を示す説明図である。
【図９】本発明の実施の一形態の動画像出力システムの全体構成を示すブロック図である。
【図１０】動画像処理装置のモジュール構成図である。
【図１１】動画処理プログラムに基づいてＣＰＵが実行する処理により実現される機能を示す機能ブロック図である。
【図１２】デコード品質／時間関係情報テーブルを模式的に示す説明図である。
【図１３】統計情報更新手段における処理の流れを示すフローチャートである。
【図１４】予測デコード時間更新処理の流れを示すフローチャートである。
【図１５】直前の３フレームのデコード（伸長）時間の平均値（ＮＡ）と直前の３フレームを除いた２７フレームのデコード（伸長）時間の平均値（ＦＡ）との比較を例示的に示す説明図である。
【図１６】判定手段における処理の流れを示すフローチャートである。
【図１７】品質パラメータ算出処理の流れを示すフローチャートである。
【図１８】変動傾向補正処理の流れを示すフローチャートである。
【符号の説明】
３動画像処理装置
１５記憶媒体
３１フレーム分離手段
３２デコード手段
３３圧縮データ量検出手段
３４フレーム位置更新手段
３５デコード品質更新手段
３６デコード時間検出手段
３７統計情報更新手段
３８品質パラメータ算出手段、フレーム位置決定手段
３９品質／時間関係情報テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus, a program, a storage medium, and a moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information.
[0002]
[Prior art]
In general, when digital moving image data is transmitted / stored, it is compressed to several tenths using a digital moving image compression / decompression technique to reduce the load on the transmission rate and storage capacity. As such digital moving image compression / decompression technology, MPEG1 / MPEG2 / MPEG4 dedicated to moving images and Motion JPEG that handles still images as continuous frames are used.
[0003]
The difference between the MPEG method and the motion still image method is that the latter only performs intra-frame coding, whereas the former correlates not only images within the same frame but also images between different frames, thus increasing the compression rate. There is in being able to. On the other hand, in the latter method in which each frame is handled independently, editing for each frame is possible as compared with the former, and an error during communication does not reach other frames. As described above, the MPEG method and the Motion still image method have their respective features. The method is properly used for each application.
[0004]
In recent years, a new method called Motion JPEG2000, in which image data is compressed and encoded using discrete wavelet transform, is being standardized for encoding the latter Motion still image.
[0005]
By the way, in many encoding methods represented by the MPEG method and the motion still image method, an image is processed in units of blocks, so that the decoded image is deteriorated such as block noise and edge noise. Block noise is a distortion in which a block pattern-like geometric pattern that does not exist in the original image pattern can be seen. Edge noise is ringing-like distortion (also referred to as mosquito noise) generated near the edge.
[0006]
Therefore, conventionally, a post filter for removing such noise specific to the encoding method has been proposed. This post filter generally performs processing such as smoothing the decoded image signal and removing high-frequency components at the boundary between blocks.
[0007]
However, since the filter processing using the post filter as described above requires a relatively large amount of calculation, the filter processing takes time, and as a result, the reproduction processing may be delayed. In particular, in a microprocessor-based software decoding system, processor resources are occupied by the decoding process itself in a scene where motion is intense, which increases the processor load and causes many delays in the reproduction process. Become. The delay in reproduction processing becomes particularly apparent when software decodes and reproduces a moving image in synchronization with audio, and causes problems such as deviation from audio and frame dropping.
[0008]
That is, when a delay occurs in the moving image playback process, frame skip is usually performed in order to eliminate the delay in order to eliminate the delay. As a result, frame dropping occurs, resulting in a jerky reproduced image. In particular, in the Motion JPEG 2000 system, which can obtain a high-compression rate and high-quality image, a larger amount of computation is required compared to the image processing of Motion JPEG, so frame dropping becomes remarkable.
[0009]
Therefore, in order to solve such a problem, the real-time recording / playback apparatus using the digital moving image compression / decompression process described in Patent Document 1 has a frame rate control unit so that the process can be made in time during compression. If there is not, interpolation processing is performed. If the processing is not in time for decompression, frame drop processing is performed. It is disclosed.
[0010]
[Patent Document 1]
JP 2001-309303 JP
[0011]
[Problems to be solved by the invention]
However, according to the technique disclosed in Patent Document 1 as described above, the interpolation process at the time of compression is substantially a thinning process. As a result, the frame rate is lowered, so that the frame rate is reduced by dropping frames. Only the real-time property of the processing is ensured by lowering, and there is a problem that the displayed moving image becomes a non-smooth image.
[0012]
An object of the present invention is to provide a moving image processing apparatus, a program, a storage medium, and a moving image processing method capable of performing smooth moving image reproduction without causing frame dropping due to reproduction time delay as much as possible.
[0013]
[Means for Solving the Problems]
The moving image processing apparatus of the present invention is a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. Frame separation means for sequentially extracting data for each frame; decoding means for decoding the frame data extracted by the frame separation means; and decoding time detection means for obtaining the decoding processing time of one frame data by the decoding means; , When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination unit that determines a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding unit performs the decoding process Statistical information updating means for obtaining time from the decoding time detection means and updating decoding processing time information in the decoding quality / time relation information table based on the obtained decoding processing time; and for the decoding means, the quality parameter Update the quality parameters calculated by the calculation means It includes a code quality updating means, with respect to the frame separating means, and a frame position update means for indicating the determined frame position by said frame position determining means.
[0019]
In the moving image processing apparatus according to the present invention, in the moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information, the moving image data is stored in the moving image processing apparatus. Frame separating means for sequentially extracting frame data constituting each frame, decoding means for decoding the frame data extracted by the frame separating means, and decoding time for obtaining a decoding processing time of one frame data by the decoding means Detection means; When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determining means for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculating means for the decoding means Decoding quality update means for updating the quality parameter, and frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means, and the predicted decoding time for each quality Is the decoding of the quality / time relation information table. Process included in the time information, is calculated according to the ratio value predefined ratio of decoding processing time in each quality for decoding processing time at the highest quality.
[0021]
Further, according to the present invention In the moving image processing apparatus, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Good .
[0023]
Further, according to the present invention In the moving image processing apparatus, initialization means for initializing the prediction decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image; and the prediction decoding based on the decoding time history Predictive decoding time update means for updating time May .
[0025]
Further, according to the present invention In the moving image processing apparatus, the predictive decoding time update means obtains an average of the decoding processing times of the most recent plural frames held in the decoding time history and an average of the decoding processing times of the other plural frames, Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of The prediction decoding time is updated.
[0027]
Further, according to the present invention In the moving image processing apparatus, the quality parameter calculating means includes a compressed data amount detecting means for acquiring the size of one frame of frame data extracted by the frame separating means, Above Acquired by the compressed data amount detection means Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. And a fluctuation tendency correction means for correcting the quality parameter. May .
[0029]
Further, according to the present invention In the moving image processing apparatus, the digital moving image compression method for performing the image compression process using only the information in the frame is the Motion JPEG2000 method. May .
[0031]
A program according to the present invention is a program that causes a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. A frame separation function for sequentially extracting frame data constituting the moving image data for each frame, a decoding function for decoding the frame data extracted by the frame separation function, and a decoding processing time of one frame data by the decoding function Decode time detection function to obtain, When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding process is performed by the decoding function A statistical information update function for acquiring time from the decoding time detection function and updating decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding function, the quality parameter Update the quality parameters calculated by the calculation function Code quality update function, relative to the frame separation function, to execute a frame position update function of instructing the determined frame position by said frame position determining function.
[0037]
Further, in the program according to the present invention, there is provided a program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. A frame separation function for sequentially extracting frame data constituting the moving image data for each frame; a decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function; When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculation function for the decoding function Decode quality update function to update the quality parameters
A frame position update function for instructing the frame position determined by the frame position determination function to the frame separation function, and the predicted decoding time at each quality is the decoding of the quality / time relation information table The ratio of the decoding processing time in each quality to the decoding processing time in the highest quality included in the processing time information is calculated according to a predetermined ratio value.
[0039]
Further, according to the present invention In the program, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. Good .
[0041]
Further, according to the present invention In the program, the statistical information update function is based on an initialization function that initializes the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and on the decoding time history. And causing the computer to execute a predictive decode time update function for updating the predictive decode time. May .
[0043]
Further, according to the present invention In the program, the predictive decoding time update function obtains an average of decoding processing times of the most recent plurality of frames held in the decoding time history and an average of decoding processing times of other frames, and the two Change ratio of average value Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of Updated as the predicted decoding time May .
[0045]
Further, according to the present invention In the program, the quality parameter calculation function includes a compressed data amount detection function for acquiring a size of frame data for one frame extracted by the frame separation function; Above Acquired by the compressed data amount detection means Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The computer is caused to execute a fluctuation tendency correction function for correcting the quality parameter.
[0047]
Further, according to the present invention In the program, the digital video compression method that performs image compression processing using only the information in the frame is the Motion JPEG2000 method. May .
[0049]
Further, according to the present invention Computer-readable storage media According to the present invention I remember the program.
[0051]
The moving image processing method according to the present invention is a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information, A frame separation step for sequentially extracting frame data constituting the data for each frame, a decoding step for decoding the frame data extracted by the frame separation step, and a decoding processing time of one frame data by the decoding step Decoding time detection step; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding processing when the decoding processing is performed by the decoding step A statistical information update step of acquiring time from the decoding time detection step and updating decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding step, the quality parameter Update the quality parameters calculated by the calculation process And code quality update step, relative to the frame separating step, and a frame position update step of indicating the frame position determined by said frame position determining step, is carried out by the processing control of the computer.
[0057]
The moving image processing method according to the present invention is a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information. A frame separation step for sequentially extracting frame data constituting the data for each frame, a decoding step for decoding the frame data extracted by the frame separation step, and a decoding processing time of one frame data by the decoding step Decoding time detection step; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculation step for the decoding step The quality control unit performs a decoding quality update process for updating the quality parameters performed, and a frame position update process for instructing the frame position determined by the frame position determination process to the frame separation process by computer processing control. The predicted decoding time at is the quality / Contained in the decoding processing time information between related information table, is calculated according to the ratio value predefined ratio of decoding processing time in each quality for decoding processing time at the highest quality.
[0059]
Further, according to the present invention In the moving image processing method, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Good .
[0061]
Further, according to the present invention In the moving image processing method, the statistical information update step includes an initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and the decoding time A predictive decode time update step of updating the predictive decode time based on a history, by computer processing control. May .
[0063]
Further, according to the present invention In the moving image processing method, the predicted decoding time update step obtains an average of the decoding processing times of the most recent frames held in the decoding time history and an average of the decoding processing times of the other frames. Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of Updated as the predicted decoding time May .
[0065]
Further, according to the present invention In the moving image processing method, the quality parameter calculation step includes a compressed data amount detection step of acquiring a size of frame data for one frame extracted in the frame separation step; Above Acquired by the compressed data amount detection process Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The fluctuation tendency correction step for correcting the quality parameter is performed by computer processing control.
[0067]
Further, according to the present invention In the moving image processing method, the digital moving image compression method for performing image compression processing using only the information in the frame is the Motion JPEG2000 method. May .
[0069]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to FIGS.
[0070]
First, an outline of the “hierarchical encoding algorithm” and the “JPEG2000 algorithm” which are the premise of the present invention will be described.
[0071]
FIG. 1 is a functional block diagram of a system that implements a hierarchical encoding algorithm that is the basis of the JPEG2000 system. This system includes color space transform / inverse transform unit 101, two-dimensional wavelet transform / inverse transform unit 102, quantization / inverse quantization unit 103, entropy encoding / decoding unit 104, and tag processing unit 105. It is configured.
[0072]
One of the biggest differences between this system and the conventional JPEG algorithm is the conversion method. In JPEG, discrete cosine transform (DCT) is used. In this hierarchical coding algorithm, the two-dimensional wavelet transform / inverse transform unit 102 uses discrete wavelet transform (DWT). ing. DWT has the advantage of better image quality in the high compression region than DCT, and this is one of the main reasons why DWT is adopted in JPEG2000, which is a successor algorithm of JPEG.
[0073]
Another major difference is that in this hierarchical encoding algorithm, a functional block of the tag processing unit 105 is added in order to perform code formation at the final stage of the system. The tag processing unit 105 generates compressed data as code string data during an image compression operation, and interprets code string data necessary for decompression during the decompression operation. And JPEG2000 can realize various convenient functions by code string data. For example, the compression / decompression operation of a still image can be freely stopped at an arbitrary layer (decomposition level) corresponding to octave division in block-based DWT (see FIG. 3 described later).
[0074]
In many cases, color space conversion / inverse conversion 101 is connected to the input / output portion of the original image. For example, the RGB color system composed of R (red) / G (green) / B (blue) components of the primary color system and the Y (yellow) / M (magenta) / C (cyan) components of the complementary color system This corresponds to the part that performs conversion or reverse conversion from the YMC color system consisting of the above to the YUV or YCbCr color system.
[0075]
Next, the JPEG2000 algorithm will be described.
[0076]
As shown in FIG. 2, in a color image, each component 111 (RGB primary color system here) of an original image is generally divided by a rectangular area. This divided rectangular area is generally called a block or tile, but in JPEG2000, it is generally called a tile. Therefore, such a divided rectangular area is hereinafter referred to as a tile. (In the example of FIG. 2, each component 111 is divided into a total of 16 rectangular tiles 112, 4 × 4 in length and breadth). When such individual tiles 112 (R00, R01,..., R15 / G00, G01,..., G15 / B00, B01,..., B15 in the example of FIG. 2) execute the image data compression / decompression process. It becomes the basic unit. Therefore, the compression / decompression operation of the image data is performed independently for each component and for each tile 112.
[0077]
At the time of encoding image data, the data of each tile 112 of each component 111 is input to the color space conversion / inverse conversion unit 101 in FIG. A dimensional wavelet transform (forward transform) is applied to divide the space into frequency bands.
[0078]
FIG. 3 shows subbands at each decomposition level when the number of decomposition levels is three. That is, the tile original image (0LL) (decomposition level 0) obtained by the tile division of the original image is subjected to two-dimensional wavelet transform, and the subbands (1LL, 1HL, 1LH shown in the decomposition level 1) , 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transformation to separate the subbands (2LL, 2HL, 2LH, 2HH) indicated by the decomposition level 2. Similarly, the low-frequency component 2LL is also subjected to two-dimensional wavelet transform to separate subbands (3LL, 3HL, 3LH, 3HH) shown in the decomposition level 3. In FIG. 3, the subbands to be encoded at each decomposition level are indicated by shading. For example, when the number of decomposition levels is 3, subbands (3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, 1HH) indicated by shading are to be encoded, and the 3LL subband is encoded. It is not converted.
[0079]
Next, the bits to be encoded are determined in the specified encoding order, and the context is generated from the bits around the target bits by the quantization / inverse quantization unit 103 shown in FIG.
[0080]
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to use memory efficiently in implementation. As shown in FIG. 4, one precinct consists of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
[0081]
The coefficient values after wavelet transform can be quantized and encoded as they are, but in JPEG2000, in order to increase the encoding efficiency, the coefficient values are decomposed into “bit plane” units, and each pixel or code block is divided. Ranking can be performed on “bitplanes”.
[0082]
Here, FIG. 5 is an explanatory diagram showing an example of a procedure for ranking the bit planes. As shown in FIG. 5, this example is a case where the original image (32 × 32 pixels) is divided into four 16 × 16 pixel tiles, and the size of the precinct and code block at the composition level 1 is Each is 8 × 8 pixels and 4 × 4 pixels. The numbers of the precinct and the code block are assigned in raster order. In this example, the number of assigns is assigned from numbers 0 to 3, and the code block is assigned from numbers 0 to 3. A mirroring method is used for pixel expansion outside the tile boundary, wavelet transform is performed with a reversible (5, 3) filter, and a wavelet coefficient value of decomposition level 1 is obtained.
[0083]
An explanatory diagram showing an example of the concept of a typical “layer” configuration for tile 0 / precinct 3 / code block 3 is also shown in FIG. The converted code block is divided into subbands (1LL, 1HL, 1LH, 1HH), and wavelet coefficient values are assigned to the subbands.
[0084]
The layer structure is easy to understand when the wavelet coefficient values are viewed from the horizontal direction (bit plane direction). One layer is composed of an arbitrary number of bit planes. In this example, layers 0, 1, 2, and 3 are made up of bit planes of 1, 3, 1, and 3, respectively. A layer including a bit plane closer to LSB (Least Significant Bit) is subject to quantization first. Conversely, a layer closer to MSB (Most Significant Bit) is quantized to the end. It will remain without being. A method of discarding from a layer close to the LSB is called truncation, and the quantization rate can be finely controlled.
[0085]
The entropy encoding / decoding unit 104 illustrated in FIG. 1 performs encoding on the tile 112 of each component 111 by probability estimation from the context and the target bit. In this way, encoding processing is performed in units of tiles 112 for all components 111 of the original image. Finally, the tag processing unit 105 performs a process of combining all the encoded data from the entropy encoding / decoding unit 104 into one code string data and adding a tag thereto.
[0086]
FIG. 6 shows a schematic configuration for one frame of the code string data. Tag information called a header (main header, tile part header which is tile boundary position information, etc.) is provided at the head of the code string data and the head of the code data (bit stream) of each tile. Appended, followed by the encoded data for each tile. In the main header, coding parameters and quantization parameters are described. A tag (end of codestream) is placed again at the end of the code string data. FIG. 7 shows a code stream structure in which packets containing encoded wavelet coefficient values are represented for each subband. As shown in FIG. 7, the same packet string structure is obtained regardless of whether the tile division process is performed or the tile division process is not performed.
[0087]
On the other hand, when the encoded data is decoded, the image data is generated from the code string data of each tile 112 of each component 111, contrary to the case of encoding the image data. In this case, the tag processing unit 105 interprets tag information added to the code string data input from the outside, decomposes the code string data into code string data of each tile 112 of each component 111, and Decoding processing (decompression processing) is performed for each code string data of each tile 112. At this time, the position of the bit to be decoded is determined in the order based on the tag information in the code string data, and the quantization / inverse quantization unit 103 determines the peripheral bits (that have already been decoded) of the target bit position. Context is generated from the sequence of The entropy encoding / decoding unit 104 performs decoding by probability estimation from the context and code string data, generates a target bit, and writes it in the position of the target bit. Since the data decoded in this way is spatially divided for each frequency band, the two-dimensional wavelet transform / inverse transform unit 102 performs two-dimensional wavelet inverse transform on each of the components of the image data. The tile is restored. The restored data is converted to original color system image data by the color space conversion / inverse conversion unit 101.
[0088]
The above is the outline of the “JPEG2000 algorithm”, and the “Motion JPEG2000 algorithm” is an extension of a still image, that is, a method for a single frame to a plurality of frames. That is, “Motion JPEG2000”, as shown in FIG. 8, is a moving image by continuously displaying a JPEG2000 image of one frame at a predetermined frame rate (the number of frames reproduced per unit time). .
[0089]
Hereinafter, an embodiment of the present invention will be described. Here, an example relating to a moving image compression / decompression technique typified by Motion JPEG2000 will be described. Needless to say, the present invention is not limited to the contents of the following description.
[0090]
FIG. 9 is a block diagram showing an overall configuration of the moving image output system 1 according to the present embodiment. As shown in FIG. 9, the moving image output system 1 includes an input device 2 that inputs compressed moving image data to the moving image processing device 3, and a moving image processing that expands the compressed moving image data input from the input device 2. The apparatus 3 includes an output device 4 that outputs moving image data decompressed by the moving image processing device 3.
[0091]
Specifically, the input device 2 is a moving image input device such as various communication interfaces that transmit compressed moving image data to the moving image processing device 3, a storage device that stores compressed moving image data, and a video camera that inputs moving images. Etc. The compressed moving image data output from the input device 2 to the moving image processing device 3 is Motion JPEG2000 data compression-encoded according to the “Motion JPEG2000 algorithm”.
[0092]
Specifically, the output device 4 includes various communication interfaces for receiving the moving image data expanded by the moving image processing device 3, an LCD (Liquid Crystal Display) for displaying the expanded moving image, and a CRT (Cathode Ray Tube). Such as a display.
[0093]
Next, the moving image processing apparatus 3 will be described in detail. FIG. 10 is a module configuration diagram of the moving image processing apparatus 3 in the present embodiment. The moving image processing device 3 is a so-called personal computer, and is a primary storage device such as a CPU (Central Processing Unit) 11 that performs information processing, a ROM (Read Only Memory) 12 that stores information, and a RAM (Random Access Memory) 13. 14. Secondary storage device 16 such as HDD (Hard Disk Drive) 15 which is a storage unit for storing a compression code to be described later, CD- for storing information, distributing information to the outside, and obtaining information from outside A removable disk device 17 such as a ROM drive, a network interface 18 for transmitting information by communication with the input device 2 and the output device 4, a CRT (Cathode Ray Tube) or LCD (Liquid) for displaying processing progress and results to the operator A display device 19 such as a crystal display), a keyboard 20 for an operator to input commands and information to the CPU 11, a mouse, and the like. The pointing device 21 and the like, and the bus controller 22 operates by arbitrating data transmitted and received between these units. In the present embodiment, it is assumed that the display device 19 of the moving image processing device 3 functions as the output device 4.
[0094]
In such a moving image processing apparatus 3, when the user turns on the power, the CPU 11 activates a program called a loader in the ROM 12, loads a program for managing computer hardware and software called an operating system from the HDD 15 into the RAM 13, and Start the operating system. Such an operating system starts a program, reads information, and performs storage according to a user operation. As typical operating systems, Windows (registered trademark), UNIX (registered trademark), and the like are known. An operation program running on these operating systems is called an application program.
[0095]
Here, the moving image processing apparatus 3 stores a moving image processing program in the HDD 15 as an application program. In this sense, the HDD 15 functions as a storage medium that stores a moving image processing program.
[0096]
In general, an operation program installed in the secondary storage device 16 such as the HDD 15 of the moving image processing apparatus 3 is stored in an optical information recording medium such as a CD-ROM or DVD-ROM, a magnetic medium such as an FD, or the like. The recorded operation program is installed in the secondary storage device 16 such as the HDD 15. For this reason, a portable storage medium such as an optical information recording medium such as a CD-ROM or a magnetic medium such as an FD can also be a storage medium for storing a moving image processing program. Furthermore, the moving image processing program may be fetched from the outside via, for example, the network interface 18 and installed in the secondary storage device 16 such as the HDD 15.
[0097]
In the moving image processing apparatus 3, when a moving image processing program operating on the operating system is started, the CPU 11 executes various arithmetic processes according to the moving image processing program and controls each unit intensively. Of the various types of arithmetic processing executed by the CPU 11 of the moving image processing apparatus 3, the characteristic processing of the present embodiment will be described below.
[0098]
Here, functions realized by various arithmetic processes executed by the CPU 11 of the moving image processing apparatus 3 will be described. As shown in FIG. 11, in the moving image processing apparatus 3, the frame separation means 31, the JPEG2000 decoder 32 functioning as the decoding means, the compressed data amount detection means 33, the frame position update means 34, the decode quality update means 35, the decode time The functions of the detection unit 36, the statistical information update unit 37, and the determination unit 38 are realized by various arithmetic processes executed by the CPU 11. In addition, when real-time property is regarded as important, it is necessary to speed up the processing. For this purpose, it is desirable to separately provide a logic circuit (not shown) and realize various functions by the operation of the logic circuit. Further, the CPU 11 operates in accordance with the moving image processing program, thereby forming a decode quality / time relation information table 39 in the RAM 13.
[0099]
The frame separation unit 31 sequentially extracts the frame data constituting the Motion JPEG2000 data output from the input device 2 based on an instruction from the frame position update unit 34.
[0100]
The JPEG2000 decoder 32 decodes (decompresses) the frame data constituting the Motion JPEG2000 data according to the quality parameter designated by the decode quality update means 35. Here, the quality parameter determines the decoding quality at the time of decoding (decompression) processing, and decoding is performed by changing decoding parameters (JPEG2000 layer, truncation value, level, etc.) singly or in combination. Determine the quality.
[0101]
The compressed data amount detection unit 33 acquires the size of frame data for one frame extracted by the frame separation unit 31.
[0102]
The frame position update means 34 instructs the frame separation means 31 to skip the frame position to be processed next by the designated number of frames.
[0103]
The decode quality update means 35 updates the quality parameter at the time of decoding (decompression) processing to the JPEG2000 decoder 32.
[0104]
The decoding time detection means 36 acquires the processing time taken when the JPEG2000 decoder 32 decodes (decompresses) one frame of data.
[0105]
As shown in FIG. 12, the decode quality / time relationship information table 39 is a table in which the quality parameters for changing the decode quality of Motion JPEG2000 data are set in the number of stages (N) that can be changed in order from high quality to low quality. Yes, only the combination of quality parameters instructed to the JPEG2000 decoder 32 has entries, and information in a specific entry can be instructed by an index. As shown in FIG. 12, in the decode quality / time relationship information table 39, an expected ratio value (R) of a decode time (decode (decompression) processing time) where the highest quality is “1” is entered in each entry in the table. It has (calculated based on the measured value measured in advance). Each entry in the table also has a decoding time history (TH) being executed and a predicted decoding time (TS) as a representative value. The predicted decoding time (TS) is initialized based on the value of the decoding time ratio (R) when the highest quality is “1”, and is sequentially updated when decoding (decompression) processing is performed. As described above, since the predicted decoding processing time for each quality is defined as the predicted decoding time, it is easy to determine the expected decoding processing time according to the quality parameter. The decoding time history (TH) is a list format area, and stores actual measurement values of the past several tens of frames. This makes it possible to determine the expected decoding processing time according to the quality parameter based on the past actual measurement value of the decoding processing time. That is, the prediction decoding time (TS) is updated in consideration of this information.
[0106]
The statistical information updating unit 37 records the actual decoding time when the decoding (decompression) process is performed, and updates the predicted decoding time (TS) of the decoding quality / time relation information table 39 used thereafter. More specifically, as shown in FIG. 13, for example, in the case where information of one second is held in a moving image of 30 (frame / sec), when information is processed for the first time (Y in step S1), decoding is performed. The 30 entries of the predicted decoding time (TS) and the decoding time history (TH) in the quality / time relation information table 39 are initialized (steps S2 and S3: initialization means). The initialization of the predicted decoding time (TS) and the decoding time history (TH) in the decoding quality / time relation information table 39 in steps S2 and S3 is performed by decoding (decompressing) a standard image prepared in advance. Performed based on processing time.
[0107]
In the subsequent processing (N in step S1), the actual value of the processing time of the current decoding (decompression) processing is registered in the decoding time history (TH) (step S4), and the decoding quality / time is based on the past statistical information. Prediction decoding time update processing for updating the prediction decoding time (TS) in the relationship information table 39 is performed (step S5: prediction decoding time updating means).
[0108]
More specifically, as shown in FIG. 14, the predicted decoding time update process is performed by averaging the decoding (decompression) times of the previous three frames from the decoding time history (TH) of the corresponding index in the decoding quality / time relation information table 39. The value (NA) is calculated (step S11), and the average value of the decoding (decompression) times of 27 frames excluding the previous three frames from the decoding time history (TH) of the corresponding index in the decoding quality / time relation information table 39 (FA) is calculated (step S12).
[0109]
Next, the average value (NA) of the decoding (decompression) time of the previous three frames is compared with the average value (FA) of the decoding (decompression) time of 27 frames excluding the previous three frames (step S13), and the average When the change ratio between the value (NA) and the average value (FA) is not larger than a predetermined value (for example, 10%) (N in Step S13), 27 frames are decoded (expanded) in the predicted decoding time (TS). An average value (FA) of time is designated (step S14) and set as a new prediction decoding time (TS). On the other hand, when the change ratio between the average value (NA) and the average value (FA) is larger than the predetermined value (Y in step S13), the decoding (decompression) time of the immediately preceding three frames is predicted in the predicted decoding time (TS). An average value (NA) is designated (step S15), and a new prediction decoding time (TS) is set.
[0110]
Here, FIG. 15 exemplifies a comparison between the average value (NA) of the decoding (decompression) time of the last three frames and the average value (FA) of the decoding (decompression) time of 27 frames excluding the previous three frames. It is explanatory drawing shown in. As shown in FIG. 15, since the change ratio between FA and NA is about 4% at time point A, 31. of the average value (FA) of the decoding (decompression) time of 27 frames in the predicted decoding time (TS). Adopt 4ms. Since the change ratio of FA and NA is about 1% at the point of time B, 31.4 ms, which is the average value (FA) of the decoding (decompression) time of 27 frames, is adopted as the predicted decoding time (TS). Since the change ratio between FA and NA is about 20% at time point C, 38.0 ms, which is the average value (NA) of the decoding (decompression) times of the immediately preceding three frames, is adopted as the predicted decoding time (TS). That is, the evaluation is only the average value (NA) of the decoding (decompression) time of the immediately preceding one sample or the immediately preceding three frames.
32.7ms → 31.7ms → 38.0ms
However, according to such an evaluation method, there is little fluctuation for small fluctuations, and large fluctuations can be dealt with.
[0111]
As a result, the predicted decoding time (TS) in the decoding quality / time relation information table 39 is updated.
[0112]
The determining means 38 calculates a quality parameter based on the decoding processing time acquired from the decoding time detecting means 36 and the compressed frame data size obtained from the compressed data amount detecting means 33, and the calculated quality parameter is decoded quality updating means. 35. That is, the determination unit 38 functions as a quality parameter calculation unit and a frame position determination unit. More specifically, as shown in FIG. 16, the processing time required for the JPEG2000 decoder 32 to decode (decompress) one frame of data is acquired from the decoding time detection means 36 (step S21), and the corresponding frame The time obtained by subtracting the excess time in the previous frame display from the display time (generally 1 / frame rate second) is compared with the decoding processing time acquired in step S21 (step S22). For example, in the case of 30 (frame / sec) moving image, it is determined whether or not the decoding processing time is longer than the frame display interval time 33 ms.
[0113]
If the decoding process time acquired in step S21 is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the corresponding frame (Y in step S22), the quality parameter calculation process for calculating a new quality parameter Is executed (step S23).
[0114]
Here, the quality parameter calculation processing will be described with reference to FIG. As shown in FIG. 17, the index n for referring to the decoding quality / time relation information table 39 is initialized to the highest quality index (n ← 1) (step S31).
[0115]
In the subsequent step S32, it is determined whether or not the predicted decoding time (TS) in the decoding quality / time relation information table 39 of the index n is smaller than the frame display interval.
[0116]
When the predicted decoding time (TS) in the decoding quality / time relation information table 39 of the index n is not smaller than the frame display interval (N in step S32), the process proceeds to step S33.
[0117]
In step S33, it is determined whether or not the quality value is below a predetermined minimum quality value.
[0118]
If the quality value is not lower than the predetermined minimum quality value (N in step S33), the index n indicating the current quality value is incremented by “1” (step S34), and the process returns to step S32.
[0119]
On the other hand, when the predicted decoding time (TS) in the decoding quality / time relation information table 39 of index n is smaller than the frame display interval (Y in step S32), or when the quality value is below a predetermined minimum quality value. (Y in step S33), the process proceeds to step S35, and fluctuation tendency correction processing (fluctuation tendency correction means) is executed.
[0120]
Here, the fluctuation tendency correction processing will be described with reference to FIG. As shown in FIG. 18, the compressed data size of the current frame is acquired from the compressed data amount detection means 33 (step S41), and the next compressed (decompressed) frame is compressed from the compressed data amount detection means 33. The obtained data size is acquired (step S42), and both are compared (step S43).
[0121]
When it is determined that the compressed data size of the next frame to be decoded (decompressed) is larger than the data size of the current frame (Y in step S43), the process proceeds to step S44, and the quality parameter The index n is incremented by “1”, and the fluctuation tendency correction process is terminated. That is, when it is determined that the compressed data size of the next frame to be decoded (decompressed) is larger than the data size of the current frame (Y in step S43), the quality is lowered. is there.
[0122]
By performing the fluctuation tendency correction process in this way, it is possible to correct the quality parameter of the frame to be processed next in accordance with the increasing / decreasing tendency of the compressed data size of the frame to be decoded (decompressed). Become.
[0123]
Here, the quality parameter is corrected according to the increase / decrease in size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on, so that the safety for ensuring the frame rate is maintained. Measures are taken.
[0124]
When the fluctuation tendency correction process (step S35) ends, the quality parameter corresponding to the finally determined index n is calculated.
[0125]
Thus, the quality parameter calculation process (step S23) ends. As a result, the highest quality value of the quality parameter that can be processed within the range not exceeding the frame display time can be obtained from the statistical information of the processing time when the frame decoding (decompression) processing is performed and the fluctuation tendency of the frame compression amount.
[0126]
When the quality parameter calculation process (step S23) ends, the process proceeds to step S24, and the quality parameter is updated with the new quality parameter calculated in the quality parameter calculation process (step S23). The quality parameter updated here lowers the quality.
[0127]
In step S25, the predicted value of the decoding process time with the updated new quality parameter is compared with the display time of the corresponding frame.
[0128]
If it is determined that the predicted decode time is longer than the frame display time (Y in step S25), the process proceeds to step S26, and a frame drop is instructed. For example, in the case of a 30 (frame / sec) moving image, a frame drop is instructed when the predicted decoding time is longer than the frame display interval time 33 ms. In the frame drop, the next frame position is updated by the time including the expected value of the decoding processing time with the updated new quality parameter.
[0129]
If it is determined that the predicted decoding time is not longer than the frame display time (N in step S25), the process is terminated as it is.
[0130]
On the other hand, when the decoding processing time acquired in step S21 is not longer than the time obtained by subtracting the excess time in the previous frame display from the display time of the corresponding frame (N in step S22), the update from the previous quality parameter update is performed. It is determined whether or not a predetermined time has elapsed (step S27). Here, the predetermined time is preferably about 1 second.
[0131]
If a predetermined time has elapsed since the previous update of the quality parameter (Y in step S27), the process proceeds to step S28, and the quality parameter is increased by one level from the previous state, and an update is instructed. The quality parameter updated here increases the quality. The reason for increasing the quality parameter step by step is to prevent the image quality from changing suddenly. For example, in the case of a moving image of 30 (frame / sec), if the case where the decoding processing time is shorter than the frame display interval time 33 ms continues, the quality parameter is increased by one step every second.
[0132]
If the predetermined time has not elapsed since the previous quality parameter update (N in step S27), the process is terminated as it is.
[0133]
By the processing in the determination unit 38 as described above, the quality parameter update and the frame drop instruction for the subsequent frame decoding (decompression) processing can be controlled based on the processing time when the actual decoding (decompression) processing is performed. It becomes possible.
[0134]
Next, a flow of a series of processes using the various functions described above will be described. Motion JPEG2000 data output from the input device 2 is cut out for each frame by the frame separation means 31 based on an instruction from the frame position update means 34 and is taken out as a single frame data. The frame data extracted by the frame separation means 31 is subjected to decoding (decompression) processing by the JPEG2000 decoder 32 in accordance with the quality parameter designated by the decoding quality update means 35. The moving image data that has been decoded (expanded) by the JPEG2000 decoder 32 is sequentially output to the output device 4 (display device 19), and a video is displayed on the output device 4 (display device 19).
[0135]
On the other hand, when the decoding (decompression) processing time of the frame data is acquired by the decoding time detection unit 36, the quality parameter is calculated by the determination unit 38 based on the decoding (decompression) processing time of the frame data, and the decoding quality update unit 35 gives a new quality parameter to the JPEG2000 decoder 32, and the quality parameter at the time of subsequent decoding is updated. For example, in the case of a 30 (frame / sec) moving image, if it is determined that the decoding processing time is longer than the frame display interval time 33 ms and the next frame cannot be displayed in time, the decoding quality / time relation information table 39 is stored. The quality parameter is lowered to a quality parameter with an expected decoding time of less than 33 ms that is expected to be in time for the subsequent frame display interval time. In addition, when the calculated quality parameter is below a predetermined quality, the quality parameter is fixed to a predetermined value. In this case, if it is determined that the frame display interval time of 33 ms is not met, the frame position update unit 34 instructs the frame separation unit 31 to drop a frame.
[0136]
The statistical information update unit 37 updates the decoding quality / time relation information table 39 based on the decoding (decompression) processing time of the frame data acquired by the decoding time detection unit 36.
[0137]
Here, the JPEG2000 decoder 32 as a decoding means decodes the frame data extracted by the frame separation means 31 based on the quality parameter. The quality parameter is a decoding process of one frame data acquired by the decoding time detection means 36. Based on the time, it is calculated by the determination means 38 functioning as the quality parameter calculation means, and is updated by the decoding quality update means 35 with respect to the JPEG2000 decoder 32. Further, a determination unit 38 functioning as a frame position determination unit determines a frame position to be processed next based on an expected decoding processing time corresponding to the quality parameter and an actual decoding processing time of the corresponding frame, and a frame position updating unit. 34 designates the frame position to be processed next determined to the frame separation means 31. This makes it possible to control the image quality adaptively according to the decompression processing capability, and in principle, frames are dropped due to a playback time delay by adjusting the quality while maintaining the frame rate. Real-time decompression processing is possible. Even when the frame rate must be reduced, the image quality and the frame rate can be maintained as much as possible. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
[0138]
In the present embodiment, a personal computer is applied as the moving image processing apparatus 3. However, the present invention is not limited to this. For example, a personal digital assistant (PDA) or a mobile phone can be applied as the moving image processing apparatus 3.
[0139]
【The invention's effect】
According to the moving image processing apparatus of the present invention, in the moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially taking out frame data constituting the moving image data for each frame, decoding means for decoding the frame data extracted by the frame separation means, and decoding processing time of one frame data by the decoding means Decoding time detection means for obtaining When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination unit that determines a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding unit performs the decoding process Statistical information updating means for obtaining time from the decoding time detection means and updating decoding processing time information in the decoding quality / time relation information table based on the obtained decoding processing time; and for the decoding means, the quality parameter Update the quality parameters calculated by the calculation means Code quality update means, and frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means, so that the image quality can be adaptively adjusted according to the decompression processing capability. Since it can be controlled, in principle, by adjusting the quality while maintaining the frame rate, it is possible to perform real-time decompression processing that does not cause frame dropping due to playback time delay, and the frame rate can be reduced. Even if it is not obtained, the image quality and the frame rate can be maintained as much as possible. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
Further, in the moving image processing apparatus according to the present invention, the quality parameter calculating means calculates the quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other, Quality parameters can be easily calculated.
Further, in the moving image processing apparatus according to the present invention, the decoding processing time when the decoding process is performed by the decoding unit is acquired from the decoding time detecting unit, and the decoding quality / time relationship is obtained based on the acquired decoding processing time. By providing statistical information updating means for updating the decoding processing time information of the information table, the accuracy can be improved.
[0142]
Further, according to the present invention In the moving image processing, the decoding processing time information of the quality / time relation information table has each quality calculated according to a ratio value that predetermines the ratio of the decoding processing time in each quality to the decoding processing time in the highest quality. By having a predicted decoding time that is a predicted decoding processing time, it is possible to define a predicted decoding processing time for each quality as a predicted decoding time. The expected time can be easily determined.
[0143]
Further, according to the present invention In the moving image processing apparatus, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. As a result, it is possible to determine the expected decoding processing time corresponding to the quality parameter based on the past actual measurement value of the decoding processing time.
[0144]
Further, according to the present invention In the moving image processing apparatus, initialization means for initializing the prediction decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image; and the prediction decoding based on the decoding time history A predictive decoding time updating means for updating the time, thereby initializing the predicted decoding time, which is the predicted decoding processing time, based on the decoding processing time obtained by decoding the compressed data of the standard image. Can be reliably updated based on past actual measured values.
[0145]
Further, according to the present invention In the moving image processing apparatus, the predictive decoding time update means obtains an average of the decoding processing times of the most recent plural frames held in the decoding time history and an average of the decoding processing times of the other plural frames, Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0146]
Further, according to the present invention In the moving image processing apparatus, the quality parameter calculating means includes a compressed data amount detecting means for acquiring the size of one frame of frame data extracted by the frame separating means, Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. And a fluctuation tendency correction unit that corrects the quality parameter, thereby correcting the quality parameter according to the increase / decrease in size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on. Thus, it is possible to take a safety measure for reliably maintaining the frame rate.
[0147]
Further, according to the present invention In the moving image processing apparatus, a digital moving image compression method that performs image compression processing using only intra-frame information is the Motion JPEG2000 method, so that a moving image with a high compression rate and high image quality can be obtained.
[0148]
According to the program of the present invention, there is provided a program for causing a computer to execute reproduction of moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information. ,
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame, a decoding function for decoding the frame data extracted by the frame separation function, and a decoding processing time of one frame data by the decoding function Decode time detection function to get the When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding process is performed by the decoding function A statistical information update function for acquiring time from the decoding time detection function and updating decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding function, the quality parameter Update the quality parameters calculated by the calculation function A code quality update function, and a frame position update function for instructing the frame position determined by the frame position determination function to the frame separation function, and a decoding function that reads the frame data extracted by the frame separation function. Decoding processing is performed based on the quality parameter, but the quality parameter is calculated by the quality parameter calculation function based on the decoding processing time of one frame data acquired by the decoding time detection function, and updated to the decoding function by the decoding quality update function In addition, the frame position determination function determines the frame position to be processed next based on the expected decoding time according to the quality parameter calculated by the quality parameter calculation function and the actual decoding time of the corresponding frame, Frame position update function By instructing the frame position to be processed next to the frame separation function, the image quality can be controlled adaptively according to the decompression processing capability, so in principle the frame rate is maintained. By adjusting the quality with, you can perform real-time decompression processing that does not cause frame dropping due to playback time delay, and even when the frame rate must be reduced, maintain the image quality and frame rate as much as possible can do. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
In the program according to the present invention, the quality parameter calculation function calculates a quality parameter by calculating a quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other. Calculation can be facilitated.
Further, in the program according to the present invention, the decoding processing time when the decoding process is performed by the decoding function is acquired from the decoding time detection function, and the decoding quality / time relation information table is obtained based on the acquired decoding processing time. The accuracy can be improved by causing the computer to execute a statistical information update function for updating the decoding processing time information.
[0151]
Further, according to the present invention In the program, the decoding processing time information of the quality / time relation information table is a prediction at each quality calculated according to a ratio value that predetermines a ratio of the decoding processing time at each quality to the decoding processing time at the highest quality. By having the predicted decoding time that is the decoded decoding processing time, the predicted decoding processing time at each quality can be defined as the predicted decoding time, so the expected decoding processing time according to the quality parameter Can be easily determined.
[0152]
Further, according to the present invention In the program, the decoding processing time information in the quality / time relation information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. Based on the past actual measurement value of the decoding processing time, the expected decoding processing time according to the quality parameter can be determined.
[0153]
Further, according to the present invention In the program, the statistical information update function is based on an initialization function that initializes the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and on the decoding time history. The predicted decoding time update function for updating the predicted decoding time is executed by the computer, so that the predicted decoding time, which is the predicted decoding processing time, is changed to the decoding processing time obtained by decoding the compressed data of the standard image. Based on the actual measurement value of the decoding processing time, it can be surely updated.
[0154]
Further, according to the present invention In the program, the predictive decoding time update function obtains an average of decoding processing times of the most recent plurality of frames held in the decoding time history and an average of decoding processing times of other frames, and the two Change ratio of average value Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0155]
Further, according to the present invention In the program, the quality parameter calculation function includes a compressed data amount detection function for acquiring a size of frame data for one frame extracted by the frame separation function; Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. By causing the computer to execute a fluctuation tendency correction function that corrects the quality parameter, the quality parameter according to the increase / decrease in the size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on By correcting the above, it is possible to take a safety measure for reliably maintaining the frame rate.
[0156]
Further, according to the present invention In the program, a digital moving image compression method that performs image compression processing based only on intra-frame information is the Motion JPEG 2000 method, so that a moving image with a high compression rate and high image quality can be obtained.
[0157]
Further, according to the present invention According to a computer-readable storage medium, According to the present invention By storing the program, by causing the computer to read the program stored in this storage medium, program The same effect as that of the present invention can be obtained.
[0158]
Further, according to the moving image processing method of the present invention, there is provided a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information, A frame separation step for sequentially extracting frame data constituting the moving image data for each frame, a decoding step for decoding the frame data extracted by this frame separation step, and a decoding processing time of one frame data by the decoding step A decoding time detection step to be acquired; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding processing when the decoding processing is performed by the decoding step A statistical information update step of acquiring time from the decoding time detection step and updating decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding step, the quality parameter Update the quality parameters calculated by the calculation process A code quality updating step and a frame position updating step for instructing the frame position determined in the frame position determining step with respect to the frame separating step are performed by computer processing control, and the decoding step is taken out by the frame separating step. The decoded frame data is decoded based on the quality parameter, but the quality parameter is calculated by the quality parameter calculation step based on the decoding processing time of one frame data acquired by the decoding time detection step, and is decoded by the decoding quality update step. The frame position to be processed next based on the expected decoding time according to the quality parameter calculated by the quality parameter calculation step and the actual decoding time of the corresponding frame by the frame position determination step. Decide By instructing the frame position to be processed next determined for the frame separation process by the frame position update process, the image quality can be controlled adaptively according to the decompression processing capability. By adjusting the quality while maintaining the rate, it is possible to perform real-time decompression processing without causing frame dropping due to playback time delay, and even when the frame rate must be reduced, the image quality is as much as possible And the frame rate can be maintained. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
In the moving image processing method according to the present invention, the quality parameter calculating step calculates the quality parameter by calculating the quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other. Can be easily calculated.
Further, in the moving image processing method according to the present invention, the decoding processing time when the decoding processing is performed by the decoding step is acquired from the decoding time detecting step, and the decoding quality / time relationship is obtained based on the acquired decoding processing time. The accuracy can be improved by performing the statistical information update process for updating the decoding processing time information of the information table by the process control of the computer.
[0161]
Further, according to the present invention In the moving image processing method, the decoding processing time information of the quality / time relationship information table is calculated according to a ratio value that predetermines a ratio of decoding processing time in each quality to decoding processing time in the highest quality. By having a predicted decoding time that is a predicted decoding processing time at, it is possible to define the predicted decoding processing time at each quality as the predicted decoding time, so the decoding processing according to the quality parameter The expected time can be easily determined.
[0162]
Further, according to the present invention In the moving image processing method, the decoding processing time information in the quality / time relationship information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. As a result, it is possible to determine the expected decoding processing time corresponding to the quality parameter based on the past actual measurement value of the decoding processing time.
[0163]
Further, according to the present invention In the moving image processing method, the statistical information update step includes an initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and the decoding time The predicted decoding time updating step for updating the predicted decoding time based on the history is performed by computer processing control, so that the predicted decoding time that is the predicted decoding processing time is decoded from the compressed data of the standard image Initialization is performed based on the decoding processing time, and updating can be performed reliably based on past actual measurement values of the decoding processing time.
[0164]
Further, according to the present invention In the moving image processing method, the predicted decoding time update step obtains an average of the decoding processing times of the most recent frames held in the decoding time history and an average of the decoding processing times of the other frames. Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0165]
Further, according to the present invention In the moving image processing method, the quality parameter calculation step includes a compressed data amount detection step of acquiring a size of frame data for one frame extracted in the frame separation step; Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The fluctuation tendency correction step for correcting the quality parameter is performed by computer processing control, so that the quality can be increased according to the increase / decrease in size of the frame data of the most recent frame based on the size of the frame data of the frame to be processed. By correcting the parameters, safety measures can be taken to ensure that the frame rate is maintained.
[0166]
Further, according to the present invention In the moving image processing method, a digital moving image compression method that performs image compression processing using only intra-frame information is the Motion JPEG2000 method, and thus a moving image with a high compression rate and high image quality can be obtained.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a system that realizes a hierarchical encoding algorithm that is the basis of the JPEG2000 system that is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a divided rectangular area of each component of the original image.
FIG. 3 is an explanatory diagram showing subbands at each decomposition level when the number of decomposition levels is 3. FIG.
FIG. 4 is an explanatory diagram showing a precinct.
FIG. 5 is an explanatory diagram showing an example of a procedure for ranking bit planes;
FIG. 6 is an explanatory diagram illustrating a schematic configuration of one frame of code string data.
FIG. 7 is an explanatory diagram showing a code stream structure representing a packet containing encoded wavelet coefficient values for each subband.
FIG. 8 is an explanatory diagram showing the concept of Motion JPEG2000.
FIG. 9 is a block diagram showing an overall configuration of a moving image output system according to an embodiment of the present invention.
FIG. 10 is a module configuration diagram of the moving image processing apparatus.
FIG. 11 is a functional block diagram illustrating functions realized by processing executed by a CPU based on a moving image processing program.
FIG. 12 is an explanatory diagram schematically showing a decoding quality / time relation information table.
FIG. 13 is a flowchart showing a flow of processing in statistical information updating means.
FIG. 14 is a flowchart showing a flow of predicted decoding time update processing.
FIG. 15 exemplarily shows a comparison between an average value (NA) of decoding (decompression) times of the last three frames and an average value (FA) of decoding (decompression) times of 27 frames excluding the previous three frames. It is explanatory drawing.
FIG. 16 is a flowchart showing a flow of processing in a determination unit.
FIG. 17 is a flowchart showing a flow of quality parameter calculation processing.
FIG. 18 is a flowchart showing a flow of a fluctuation tendency correction process.
[Explanation of symbols]
3 Moving image processing device
15 storage media
31 Frame separation means
32 Decoding means
33 Compressed data amount detection means
34 Frame position update means
35 Decoding quality update means
36 Decoding time detection means
37 Statistical information update means
38 Quality parameter calculation means, frame position determination means
39 Quality / time related information table

Claims

In a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially extracting frame data constituting the moving image data for each frame;
Decoding means for decoding the frame data extracted by the frame separating means;
Decoding time detection means for obtaining a decoding processing time of one frame data by the decoding means;
Decoding processing time information including the predicted decoding time of decoding processing and quality when the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval Quality parameter calculation means for calculating
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means is compared with the frame display time. If the predicted decoding time is larger, the predicted decoding Frame position determination means for determining a position including the time ahead as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding means performs decoding processing from the decoding time detecting means, and updating the decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time Update means;
Decoding quality update means for updating the quality parameter calculated by the quality parameter calculation means for the decoding means;
Frame position updating means for indicating the frame position determined by the frame position determining means to the frame separating means;
A moving image processing apparatus comprising:

In a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially extracting frame data constituting the moving image data for each frame;
Decoding means for decoding the frame data extracted by the frame separating means;
Decoding time detection means for obtaining a decoding processing time of one frame data by the decoding means;
Decoding processing time information including the predicted decoding time of decoding processing and quality when the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval Quality parameter calculation means for calculating
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means is compared with the frame display time. If the predicted decoding time is larger, the predicted decoding Frame position determination means for determining a position including the time ahead as a frame position to be processed next;
Decoding quality update means for updating the quality parameter calculated by the quality parameter calculation means for the decoding means;
Frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means;
The predicted decoding time for each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time for each quality to the decoding processing time for the highest quality included in the decoding processing time information of the quality / time relationship information table. A moving image processing apparatus characterized by being calculated.

The decoding processing time information in the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Item 3. The moving image processing apparatus according to Item 2.

The statistical information updating means includes
Initialization means for initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
Predictive decode time update means for updating the predictive decode time based on the decode time history;
The moving image processing apparatus according to claim 3, further comprising:

The predictive decoding time update means includes
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
The moving image processing apparatus according to claim 4.

The quality parameter calculation means includes
Compressed data amount detection means for obtaining the size of frame data for one frame taken out by the frame separation means;
Fluctuation tendency correcting means for correcting the quality parameter so as to lower the quality when the size of the frame data of the next acquired frame is larger than the size of the frame data of the frame acquired by the compressed data amount detecting means; ,
The moving image processing apparatus according to claim 1, further comprising:

7. The moving image processing apparatus according to claim 1, wherein the digital moving image compression method for performing the image compression processing using only the information in the frame is the Motion JPEG2000 method.

A program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information.
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame;
A decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function;
Decoding processing time information and quality including predicted decoding time of decoding processing when the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval A quality parameter calculation function for calculating
When the predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating function is compared with the frame display time, and the predicted decoding time is larger, the predicted decoding A frame position determination function for determining a position including the time ahead as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding processing is performed by the decoding function from the decoding time detecting function, and updating the decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time Update function,
For the decoding function, a decoding quality update function for updating the quality parameter calculated by the quality parameter calculation function;
A frame position update function for indicating the frame position determined by the frame position determination function to the frame separation function;
A program characterized by having executed.

A program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information.
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame;
A decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function;
Decoding processing time information and quality including predicted decoding time of decoding processing when the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval A quality parameter calculation function for calculating
When the predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating function is compared with the frame display time, and the predicted decoding time is larger, the predicted decoding A frame position determination function for determining a position including the time ahead as a frame position to be processed next;
For the decoding function, a decoding quality update function for updating the quality parameter calculated by the quality parameter calculation function;
Causing the frame separation function to execute a frame position update function that indicates a frame position determined by the frame position determination function;
The predicted decoding time for each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time for each quality to the decoding processing time for the highest quality included in the decoding processing time information of the quality / time relationship information table. A program characterized by being calculated.

The decoding processing time information in the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Item 10. The program according to Item 9.

The statistical information update function
An initialization function for initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
A predicted decoding time update function for updating the predicted decoding time based on the decoding time history;
The program according to claim 10, wherein the computer is executed.

The predicted decoding time update function is:
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
12. The program according to claim 11, wherein:

The quality parameter calculation function is:
A compressed data amount detection function for obtaining the size of frame data for one frame taken out by the frame separation function;
A variation tendency correction function for correcting a quality parameter so as to lower the quality when the size of the frame data of the next frame to be acquired is larger than the size of the frame data of the frame acquired by the compressed data amount detection function ,
13. The program according to claim 8, wherein the program is executed by the computer.

The program according to any one of claims 8 to 13, wherein a digital moving image compression method for performing an image compression process using only in-frame information is the Motion JPEG2000 method.

15. A computer-readable storage medium storing the program according to claim 8.

A moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
A frame separation step of sequentially extracting frame data constituting the moving image data for each frame;
A decoding step for decoding the frame data extracted by the frame separation step;
A decoding time detection step of acquiring a decoding processing time of one frame data by the decoding step;
When the decoding processing time acquired by the decoding time detection step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, the decoding processing time information including the predicted decoding time of the decoding processing; Quality that can be processed in a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that is stored and held in association with the quality parameter is smaller than the frame display interval A quality parameter calculation step for calculating parameters;
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating step is compared with the frame display time. When the predicted decoding time is larger, the predicted decoding A frame position determination step for determining a position ahead of time including time as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding processing is performed in the decoding step from the decoding time detecting step, and updating the decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time Update process;
A decoding quality update step for updating the quality parameter calculated by the quality parameter calculation step with respect to the decoding step,
A frame position update step for indicating the frame position determined by the frame position determination step with respect to the frame separation step;
Is performed by computer processing control.

A moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
A frame separation step of sequentially extracting frame data constituting the moving image data for each frame;
A decoding step for decoding the frame data extracted by the frame separation step;
A decoding time detection step of acquiring a decoding processing time of one frame data by the decoding step;
When the decoding processing time acquired by the decoding time detection step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, the decoding processing time information including the predicted decoding time of the decoding processing; Quality that can be processed in a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that is stored and held in association with the quality parameter is smaller than the frame display interval A quality parameter calculation step for calculating parameters;
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating step is compared with the frame display time. When the predicted decoding time is larger, the predicted decoding A frame position determining step for determining a position including a time ahead as a frame position to be processed next; and a decoding quality updating step for updating the quality parameter calculated by the quality parameter calculating step with respect to the decoding step When,
For the frame separation step, a frame position update step for indicating the frame position determined by the frame position determination step is performed by processing control of a computer,
The predicted decoding time at each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time at each quality to the decoding processing time at the highest quality included in the decoding processing time information of the quality / time relation information table A moving image processing method characterized by being calculated.

The decoding processing time information in the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Item 18. A moving image processing method according to Item 17.

The statistical information update step includes:
An initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
A predicted decoding time update step of updating the predicted decoding time based on the decoding time history;
19. The moving image processing method according to claim 18, wherein the processing is performed by computer processing control.

The predicted decoding time update step includes:
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
The moving image processing method according to claim 19.

The quality parameter calculation step includes
A compressed data amount detection step of acquiring the size of frame data for one frame taken out in the frame separation step;
A variation tendency correction step of correcting the quality parameter so as to lower the quality when the size of the frame data of the next acquired frame is larger than the size of the frame data of the frame acquired by the compressed data amount detection step; ,
21. The moving image processing method according to any one of claims 16 to 20, wherein the processing is performed by computer processing control.

The moving image processing method according to any one of claims 16 to 21, wherein a digital moving image compression method for performing an image compression process using only in-frame information is the Motion JPEG2000 method.