JP2003078880A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】早送り再生時における動画像の不自然さを緩和
できる画像処理装置、画像処理方法およびプログラムを
提供する。 【解決手段】データ抽出部１３において、動画像を構成
する一連のフレーム画像データから、所定のフレーム間
隔ごとに所定数のフレームの画像データが抽出され、デ
ータ合成部１４において、この抽出された所定数のフレ
ーム画像データが合成されて合成フレーム画像データが
生成される。そして動画像信号生成部１５において、一
連の合成フレーム画像データに基づいて動画像信号Ｓｏ
ｕｔが生成される。したがって、早送り再生のためにフ
レーム画像をスキップさせる従来の画像処理方法に比べ
て動画像の不自然さを緩和でき、動きの滑らかな画像を
得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法およびプログラムに係り、特に、早送り再生
を行うための動画像データを生成する画像処理装置、画
像処理方法およびプログラムに関するものである。

【０００２】

【従来の技術】動画像の記録および再生の原理は、「仮
現運動」（apparent movement）と呼ばれる知覚現象に
基づいている。「仮現運動」とは、１枚１枚の静止画像
を順次表示することによって、動いていない画像があた
かも動いているかのように見える知覚現象のことであ
り、「間欠運動」（intermittent movement）とも呼ば
れている。

【０００３】すなわち動画像の記録は、対象となる空間
の瞬時瞬時の像を静止画像（以下、フレーム画像と呼
ぶ）として一定の時間間隔でサンプリングすることによ
り行われる。そして動画像の再生は、このサンプリング
された一連のフレーム画像を時間的に連続して表示する
ことにより行われる。なお、以降の説明において、フレ
ーム画像が単位時間あたりにサンプリングされる回数を
撮像レート［frame/sec］と呼ぶことにする。また、サ
ンプリングによって得られたフレーム画像の集合として
の動画像をビデオストリームと呼び、フレーム画像を撮
像レートでサンプリングしてビデオストリームを生成す
る機器を撮像機器と呼ぶことにする。

【０００４】対象となる空間の像をフレーム画像として
サンプリングし続けて「動き」を記録する撮像機器に
は、例えば映画の撮影に用いられるカメラのように、撮
影フィルムを感光させて連続的に写真を撮影する機器
や、ビデオカメラのように、フレーム画像を電気的に記
録する機器がある。また、コンピュータグラフィックス
装置も、仮想的な２次元または３次元空間を対象に、コ
ンピュータの演算により生成されるフレーム画像をサン
プリングする撮像機器である。

【０００５】撮像機器によるサンプリングにおいては、
一般的に、機械的または電子的なシャッターを用いて
「動き」の情報が時間的に分割して取得されることによ
り、フレーム画像が生成される。この場合、１つのフレ
ーム画像のサンプリングに要する期間（１フレーム期
間）には、シャッターが開放して撮像対象の情報を取得
できる期間（以下、シャッター開放期間Ｔｏと呼ぶ）
と、シャッターが閉鎖して撮像対象の情報を取得できな
い期間（以下、シャッター閉鎖期間Ｔｃ）とが、それぞ
れ少なくとも１つ存在する。

【０００６】１フレーム期間Ｆにシャッター開放期間Ｔ
ｏとシャッター閉鎖期間Ｔｃとがそれぞれ１つある場
合、シャッター開放期間Ｔｏおよびシャッター閉鎖期間
Ｔｃと撮像レートＲとの関係は、次式のようになる。

【０００７】

【数１】 Ｔｏ［sec］＋Ｔｃ［sec］ ＝ Ｆ［sec/frame］ ＝ １／（Ｒ［frame/sec］） ・・・（１）

【０００８】図９は、ビデオストリームの１フレーム期
間Ｆにおけるシャッター開放期間Ｔｏとシャッター閉鎖
期間Ｔｃの例を説明するための図である。図９Ａに示す
ように、１つのフレーム期間Ｆには、シャッター開放期
間Ｔｏとシャッター閉鎖期間Ｔｃとがそれぞれ少なくと
も１つ存在している。また、図９Ｂと図９Ｃを比較して
分かるように、図９Ｂの１フレーム期間Ｆは図９Ｃの１
フレーム期間Ｆに比べて４倍長くなっており、このため
式（１）の関係により、撮像レートが１／４になってい
る。また、図９Ｄおよび図９Ｅに示すように、１フレー
ム期間Ｆの長さはそれぞれ等しいものの、シャッター開
放期間Ｔｏとシャッター閉鎖期間Ｔｃの長さが異なって
いる。シャッター開放期間Ｔｏおよびシャッター閉鎖期
間Ｔｃの最小の長さは、撮像機器によって異なる。

【０００９】なお、上述したシャッター開放期間Ｔｏの
長さが動画像の動き速度に対して遅い場合と速い場合と
では、撮像される動画像が異なったものになる。この具
体例について図１０〜図１２を参照して説明する。

【００１０】図１０は、背景に対して移動する物体を説
明するための図であり、符号１は移動する物体を、符号
２は撮像機器を、符号３は撮像される空間の領域を、符
号４は背景をそれぞれ示す。図１０Ａおよび図１０Ｂに
示すように、物体１が撮像領域３を横断するものとす
る。図１１は、この物体１が移動する動画像の例を示す
図である。図１１の例において、撮像領域３に対する物
体１の相対的な移動速度がシャッター開放期間Ｔｏに対
して十分遅いので、シャッター開放期間Ｔｏにおける物
体１の像はあまり変化しない。このため、図１１に示す
ように、物体１の輪郭は比較的鮮明になっている。

【００１１】一方、図１１のビデオストリームの撮影時
と同一の条件で、移動速度が図１１の撮影時より更に高
速な物体１を撮影すると、例えば図１２の動画像に示す
ように、物体１の輪郭が不鮮明になる。これは、シャッ
ター開放期間Ｔｏにおいて物体１の像が大きく変化する
ためである。

【００１２】ここで、上述した動画像の撮像原理を踏ま
えた上で、ｎ倍（ｎは自然数を示す）の速さで時間軸に
対し正方向または逆方向に再生する早送り再生について
説明する。

【００１３】図１３は、ｎ倍の早送りで再生されるビデ
オストリームの１フレーム期間Ｆと、表示機器において
表示されるビデオストリームの１フレーム期間Ｆとの関
係を説明するための図である。図１３Ａは、元のビデオ
ストリームを示し、図１３Ｂは、ｎ倍速の早送り再生に
おいて再生されるべきビデオストリームを示し、図１３
Ｃは、表示機器において表示されるフレーム画像の１フ
レーム期間Ｆを示す。

【００１４】ｎ倍速の早送り再生において再生されるべ
きビデオストリーム（図１３Ｂ）は、元のビデオストリ
ーム（図１３Ａ）を撮影した時のｎ倍の速さで時間が推
移する空間を、元のビデオストリームを撮影した時のｎ
倍の撮像レートで撮影した場合に得られるビデオストリ
ームと等価である。つまり、単位時間あたりに再生され
るフレーム数（以下、フレームレートと呼ぶ）が、理想
的には元のビデオストリームのフレームレートに対して
ｎ倍になる。

【００１５】しかしながら、表示機器において単位時間
あたりに表示されるフレーム数である表示レートは、一
般的に変更することができないので、通常は何らかの方
法で元のビデオストリームのフレームレートを削減し、
表示機器の表示レートに合わせる処理が行われている。

【００１６】図１４は、ｎ倍の早送り再生を行う場合に
おける、従来の画像データの処理方法を説明するための
図である。図１４において、符号ｍおよび符号ｎは任意
の自然数を示している。図１４に示す処理方式では、元
のビデオストリームにおけるｎ枚のフレーム画像から先
頭のフレーム画像を１枚抽出して表示し、その後に続く
ｎ−１枚のフレーム画像をスキップした後、再びｎ枚目
のフレーム画像を抽出して表示する処理が反復される。
これにより、元のビデオストリームのフレーム画像がｎ
枚おきに表示される。

【００１７】図１５は、図１４に示す方法によって処理
された１フレームの画像データにおける、シャッター開
放期間Ｔｏとシャッター閉鎖期間Ｔｃ示す図である。図
１５Ａは、元のビデオストリームを示し、図１５Ｂは、
ｎ倍速の早送り再生において再生されるべきビデオスト
リームを示し、図１５Ｃは、図１４に示す方法によって
処理されたビデオストリームを示す。

【００１８】図１４に示す処理方法によって生成される
ビデオストリーム（図１５Ｃ）は、元のビデオストリー
ム（図１５Ａ）を撮影した時のｎ倍の速さで時間が推移
する空間を、元のビデオストリームを撮影した時と同じ
撮像レート、および１／ｎのシャッター開放期間Ｔｏで
撮影した場合に得られるビデオストリームと等価であ
る。図１６は、図１４に示す方法によって処理された動
画像の例を示す図である。

【００１９】また、早送り再生を行うためのその他の従
来の画像処理方法としては、例えば、表示中のフレーム
画像に対して、その後に続くフレーム画像の一部を抽出
して上書きする方法がある。これはＤＶ（Digital Vide
o）方式のＶＴＲ装置などにおいて行われている方法で
ある。

【００２０】

【発明が解決しようとする課題】ところで、図１４に示
す従来の画像処理方法では、スキップされたｎ−１枚の
フレーム画像の情報が捨てられてしまい、早送り再生時
の画像に反映されない。また、フレーム画像の一部を抽
出して上書きするＤＶ方式での方法においても、抽出さ
れなかった画像の情報が捨てられてしまい、同様に早送
り再生時の画像に反映されない。このように、従来の早
送り再生を行うための画像処理方法によって再生される
動画像は、元の動画像に対して多くの情報が欠落してい
るので、動きに滑らかさが欠けており、ぎこちない不自
然な画像になる問題がある。

【００２１】本発明はかかる事情に鑑みてなされたもの
であり、その目的は、従来に比べて早送り再生時におけ
る動画像の不自然さを緩和できる画像処理装置、画像処
理方法およびプログラムを提供することにある。

【００２２】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の第１の観点に係る画像処理装置は、動画像
を構成する一連のフレームの画像データから、所定のフ
レーム間隔ごとに所定数のフレームの画像データを抽出
するデータ抽出手段と、上記抽出された所定数のフレー
ムの画像データを合成するデータ合成手段と、一連の上
記合成画像データに基づいて、動画像信号を生成する動
画像信号生成手段とを有する。

【００２３】本発明の第１の観点に係る画像処理装置に
よれば、上記データ抽出手段において、動画像を構成す
る一連のフレームの画像データから、所定のフレーム間
隔ごとに所定数のフレームの画像データが抽出される。
上記抽出された所定数のフレームの画像データは、上記
データ合成手段において合成される。上記動画像信号生
成手段において、一連の上記合成画像データに基づい
て、動画像信号が生成される。

【００２４】また、上記データ合成手段は、上記抽出さ
れた所定数のフレームの画像データにおける同一画素の
画像データを平均化して、上記合成画像データを生成し
ても良い。

【００２５】また、上記所定数のフレームにおける所定
のフレームの画像データと他のフレームの画像データと
の差分をそれぞれ所定の画素ブロックごとに検出し、当
該検出結果に応じて、画像データが変化する画素ブロッ
クを特定する画素ブロック特定手段を有し、上記データ
合成手段は、上記他のフレームの画像データのうち、上
記画素ブロック素特定手段において特定された画素ブロ
ックの画素データと、上記所定のフレームの画像データ
とを合成しても良い。

【００２６】本発明の第２の観点に係る画像処理方法
は、動画像を構成する一連のフレームの画像データか
ら、所定のフレーム間隔ごとに所定数のフレームの画像
データを抽出するデータ抽出ステップと、上記抽出され
た所定数のフレームの画像データを合成するデータ合成
ステップと、一連の上記合成画像データに基づいて、動
画像信号を生成する動画像信号生成ステップとを有す
る。

【００２７】また、上記データ合成ステップにおいて、
上記抽出された所定数のフレームの画像データにおける
同一画素の画像データを平均化して、上記合成画像デー
タを生成しても良い。

【００２８】また、上記所定数のフレームにおける所定
のフレームの画像データと他のフレームの画像データと
の差分をそれぞれ所定の画素ブロックごとに検出し、当
該検出結果に応じて、画像データが変化する画素ブロッ
クを特定する画素ブロック特定ステップを有し、上記デ
ータ合成ステップは、上記他のフレームの画像データの
うち、上記画素ブロック素特定ステップにおいて特定さ
れた画素ブロックの画素データと、上記所定のフレーム
の画像データとを合成しても良い。

【００２９】本発明の第３の観点に係るプログラムは、
画像データを処理する処理装置のプログラムであって、
動画像を構成する一連のフレームの画像データから、所
定のフレーム間隔ごとに所定数のフレームの画像データ
を抽出するデータ抽出ステップと、上記抽出された所定
数のフレームの画像データを合成するデータ合成ステッ
プと、一連の上記合成画像データに基づいて、動画像信
号を生成する動画像信号生成ステップとを有する。

【００３０】また、上記データ合成ステップにおいて、
上記抽出された所定数のフレームの画像データにおける
同一画素の画像データを平均化して、上記合成画像デー
タを生成しても良い。また、上記所定数のフレームにお
ける所定のフレームの画像データと他のフレームの画像
データとの差分をそれぞれ所定の画素ブロックごとに検
出し、当該検出結果に応じて、画像データが変化する画
素ブロックを特定する画素ブロック特定ステップを有
し、上記データ合成ステップは、上記他のフレームの画
像データのうち、上記画素ブロック素特定ステップにお
いて特定された画素ブロックの画素データと、上記所定
のフレームの画像データとを合成しても良い。

【００３１】

【発明の実施の形態】＜第１の実施形態＞まず、本発明
の第１の実施形態について、図１〜図５を参照して説明
する。図１は、本発明の第１の実施形態に係る画像処理
装置の構成例を示す概略的なブロック図である。図１に
おいて、符号１１はフレーム抽出部を、符号１２はフレ
ーム画像保持部を、符号１３はデータ抽出部を、符号１
４はデータ合成部を、符号１５は動画像信号生成部をそ
れぞれ示す。

【００３２】フレーム抽出部１１は、入力される動画像
データＳｉｎから、動画像を構成する一連のフレーム画
像の画像データ（以降、フレーム画像データと呼ぶ）を
抽出し、フレーム画像保持部１２に保持させる。入力さ
れる動画像データＳｉｎとして、例えばＡＶＩ（Audio
Video Interleaving）形式やＭＰＥＧ２（Motion Pictu
re image cording Experts Group 2）形式など、様々な
形式の動画像データに対してフレーム抽出部１１を構成
することが可能である。例えばＭＰＥＧ２形式で圧縮さ
れた動画像データの場合、ＭＰＥＧ２ビデオデコーダな
どの装置が適用できる。また、動画像データＳｉｎから
抽出するフレームは、動画像データＳｉｎに含まれる全
てのフレームから抽出しても良いし、その一部を間引き
して抽出しても良い。なお、このフレーム抽出部１１
は、フレーム画像データを直接生成するコンピュータグ
ラフィックス装置などに置き換えることも可能である。

【００３３】フレーム画像保持部１２は、フレーム抽出
部１１において抽出されたフレーム画像データ、および
データ合成部１４において合成された合成フレーム画像
データを保持する。また、読み出し要求に応じて読み出
したフレーム画像データを、データ抽出部１３または動
画像信号生成部１５に出力する。フレーム画像保持部１
２には、例えばハードディスク装置や半導体メモリ、光
磁気ディスクなど、画像データを保持可能なあらゆる装
置が適用可能である。

【００３４】データ抽出部１３は、フレーム抽出部１１
において抽出された一連のフレーム画像データから、所
定のフレーム間隔ごとに所定数のフレーム画像データを
抽出する。例えばｎ倍速の早送り再生を行う場合、ｎフ
レーム間隔ごとにｐフレーム（ｐはｐ＜ｎを満たす自然
数を示す）分のフレーム画像データを抽出する。

【００３５】データ合成部１４は、データ抽出部１３に
おいて抽出された所定数のフレーム画像データを合成
し、合成フレーム画像データとしてフレーム画像保持部
１２に保持させる。画像データの合成方法としては、例
えば、データ抽出部１３において抽出された所定数のフ
レームの画像データにおける同一画素の画像データを平
均化する方法が可能である。例えばカラー画像の場合、
合成されたフレーム画像における任意の位置（ｘ，ｙ）
の画素データのＲ成分は、合成元となる所定数のフレー
ム画像における同一位置（ｘ，ｙ）の画素データのＲ成
分の平均値に設定される。合成されたフレーム画像にお
ける任意の位置（ｘ，ｙ）の画素データのＧ成分は、合
成元となる所定数のフレーム画像における同一位置
（ｘ，ｙ）の画素データのＧ成分の平均値に設定され
る。合成されたフレーム画像における任意の位置（ｘ，
ｙ）の画素データのＢ成分は、合成元となる所定数のフ
レーム画像における同一位置（ｘ，ｙ）の画素データの
Ｂ成分の平均値に設定される。

【００３６】動画像信号生成部１５は、フレーム画像保
持部１２において保持された一連の合成フレーム画像デ
ータに基づいて、動画像信号Ｓｏｕｔを生成する。生成
する動画像信号は、例えばコンポジットビデオ信号など
のアナログ信号でも良いし、あるいは、動画像データＳ
ｉｎと同様に、ＡＶＩ形式やＭＰＥＧ２形式などの様々
な形式の動画像のデータでも良い。

【００３７】上述した構成を有する図１の画像処理装置
の動作について説明する。図２は、図１に示す画像処理
装置の動作を説明するためのフローチャートである。 ステップＳＴ１：フレーム抽出部１１において、動画像
データＳｉｎからフレーム画像データが抽出される。フ
レーム画像データの抽出は、動画像データＳｉｎに含ま
れる全てのフレームから抽出しても良いし、一部のフレ
ームを間引いて抽出しても良い。

【００３８】ステップＳＴ２：データ抽出部１３におい
て、フレーム画像保持部１２に保持されるフレーム抽出
部１１からの一連のフレーム画像データから、所定のフ
レーム間隔ごとに所定数のフレーム画像データが抽出さ
れる。画像データが抽出されるフレームは、所定のフレ
ーム間隔内における連続した所定数のフレームでも良い
し、あるいは、このフレーム間隔内において適当に分散
されたフレームでも良い。また、データの抽出は、フレ
ーム画像データの全画素から一度に抽出しても良いし、
その一部を順次抽出しても良い。

【００３９】ステップＳＴ３：ステップ２において抽出
された所定数のフレーム画像データが合成される。例え
ば、所定数のフレーム画像データにおける同一画素の画
素データが順次データ抽出部１３において抽出される場
合、これらの画素データを合成して平均化し、新しく生
成する合成フレーム画像データの同一画素の画素データ
として、順次フレーム画像保持部１２に保持させる。こ
の処理がフレーム画像内の全画素について行われること
により、１枚の合成フレーム画像データが生成されて、
フレーム画像保持部１２に保持される。

【００４０】図３は、ステップＳＴ２における画像デー
タの抽出、およびステップＳＴ３における画像データの
合成を説明するための図である。図３において、符号ｍ
は任意の自然数を、符号ｎおよび符号ｐは１≦ｐ≦ｎを
満たす自然数を示す。ｎ倍速の早送り再生の場合、例え
ば図３に示すように、フレームｍからフレーム（ｍ＋ｎ
−１）までのｎ枚のフレーム画像データのうち、フレー
ムｍからフレーム（ｍ＋ｐ−１）のｐ枚のフレーム画像
データがデータ抽出部１３において抽出され、残りのフ
レーム（ｍ＋ｐ）からフレーム（ｍ＋ｎ−１）までのｎ
−ｐ枚のフレームがスキップされる。そして、これらの
抽出されたフレーム画像データがデータ合成部１３にお
いて合成され、新しい合成フレーム画像データが生成さ
れる。

【００４１】図４は、合成されたフレーム画像データの
１フレーム期間におけるシャッター開放期間とシャッタ
ー閉鎖期間を説明するための図である。図４Ａは、元の
動画像のビデオストリームを示し、図４Ｂは、ｎ倍速の
早送り再生において再生されるべきビデオストリームを
示し、図４Ｃは、図３に示す画像データの抽出処理およ
び合成処理によって生成されたビデオストリームを示
す。

【００４２】図３に示す処理によって生成されるビデオ
ストリーム（図４Ｃ）は、元のビデオストリーム（図４
Ａ）を撮影した時のｎ倍の速さで時間が推移する空間
を、元のビデオストリームを撮影した時と同じ撮像レー
トで、１／ｎのシャッター開放期間Ｔｏのシャッターを
ｐ回開いて撮影した場合に得られるビデオストリームと
等価である。したがって、図１５に示す従来の処理にお
いて捨てられていた画像情報が、図３に示す本発明の処
理においては合成フレーム画像データに反映される。

【００４３】ステップＳＴ４：動画像信号生成部１５に
おいて、フレーム画像保持部１２に保持された一連の合
成フレーム画像データから動画像信号が生成される。

【００４４】なお、ステップ２のデータ抽出処理および
ステップＳＴ３のデータ合成処理は、例えば、ステップ
１のフレーム抽出処理において合成元となる動画像のフ
レーム抽出が完了した後に行っても良いし、少なくとも
ステップ３のデータ合成処理において合成に必要となる
フレームの抽出が完了した後で行っても良いし、あるい
はステップ１のフレーム抽出処理とともに順次行っても
良い。また、ステップＳＴ４の動画像信号生成処理は、
全ての合成フレーム画像データが生成されてフレーム画
像保持部１２に保持された後に行っても良いし、その一
部が保持された後に行っても良いし、あるいは新しい合
成フレーム画像データが生成される度に行っても良い。

【００４５】図５は、図１に示す画像処理装置において
合成される動画像の例を示す図である。図１６に示す従
来の早送り再生のための画像処理によって生成される動
画像と比較して分かるように、図５に示す動画像では移
動する物体の像の輪郭がぼやけており、これは、図１２
に示すように高速移動する物体を撮像した場合の動画像
に近い。すなわち、画像データの合成によってシャッタ
ー開放期間Ｔｏを長くした場合と同様な画像が得られ
る。この画像は、図１６に示す動画像において欠落して
いる物体の動きの情報が与えられた結果によるものであ
り、図１６に示す動画像に比べて運動の不自然さが緩和
されている。

【００４６】以上説明したように、図１に示す画像処理
装置によれば、データ抽出部１３において、動画像を構
成する一連のフレーム画像データから、所定のフレーム
間隔ごとに所定数のフレームの画像データが抽出され、
データ合成部１４において、この抽出された所定数のフ
レーム画像データが合成されて合成フレーム画像データ
が生成され、動画像信号生成部１５において、一連の合
成フレーム画像データに基づいて動画像信号Ｓｏｕｔが
生成される。したがって、従来の早送り再生のための画
像処理に比べて動画像の不自然さを緩和でき、動きの滑
らかな画像を得ることができる。

【００４７】また、図１示す画像処理装置における動画
像信号Ｓｏｕｔの生成処理を動画像データＳｉｎの入力
に対してリアルタイムに行わせることによって、例えば
ＤＶＤ（digital versatile disc）やＶＴＲ（video ta
pe recorder）などの動画再生装置における早送り再生
時や巻き戻し再生時に、従来に比べて画像情報の欠落が
少ない、動きの滑らかな画像を得ることができる。

【００４８】また、コンピュータグラフィックス装置に
おいて、例えば意図的に撮像レートを高めた状態で図１
に示す画像処理装置を介してビデオストリームを生成さ
せることにより、高速に移動する物体の「像の流れ」を
表現させた、より自然に近い画像を生成させることがで
きる。また、リアルタイムの処理が必要ない動画像編集
装置においても、従来に比べて動きの滑らかな高速再生
画像を作り出すことができる。

【００４９】＜第２の実施形態＞次に、本発明の第２の
実施形態について、図６および図７を参照して説明す
る。第２の実施形態は、第１の実施形態に比べて画像処
理に必要な計算量を少なくすることが可能な画像処理装
置に関するものである。図６は、本発明の第２の実施形
態に係る画像処理装置の構成例を示す概略的なブロック
図である。図６において、符号１６は画素ブロック特定
部を示し、その他図１と図６の同一符号は同一の構成要
素を示す。

【００５０】画素ブロック特定部１６は、データ抽出部
１３において所定のフレーム間隔ごとに抽出される所定
数のフレーム画像データのうちの、所定のフレーム画像
データとその他のフレーム画像データとの差分をそれぞ
れ所定の画素ブロックごとに検出し、この検出結果に応
じて、画像データが変化する画素ブロックを特定する。
ただし、画素ブロックには１つまたは複数の画素が含ま
れる。

【００５１】例えば、図３におけるフレームｍとフレー
ム（ｍ＋１）〜フレーム（ｍ＋ｎ−１）との差分をｊ×
ｋの画素ブロック（ｊおよびｋは自然数を示す）ごとに
検出する。この場合、例えば、ｊ×ｋの画素ブロックの
うちの特定の画素データの差分を検出しても良いし、あ
るいはｊ×ｋの画素ブロックで離散コサイン変換などの
直交変換を施されたデータの特定の成分に関する差分を
検出しても良い。この検出された差分値が所定のしきい
値を超えるか否かが全ての画素ブロックにおいて判定さ
れ、この判定結果に応じて、画像データの変化が生じて
いる画素ブロックが特定される。

【００５２】データ合成手段１４’は、上述したその他
のフレーム画像データのうち、画素ブロック特定部１６
において特定された画素ブロックの画素データと、上述
した所定のフレーム画像データとを合成する。

【００５３】図７は、図６に示す画像データ処理装置の
動作を説明するためのフローチャートであり、図２と同
一の符号は同一処理を行うステップを示す。以下、図２
と異なる処理を行うステップについて説明する。

【００５４】ステップＳＴ５：ステップＳＴ２において
抽出される所定数のフレーム画像データのうち、所定の
フレーム画像データとその他のフレーム画像データとの
差分が、それぞれ所定の画素ブロックごとに検出され
る。この検出結果に応じて、画像データに変化が生じて
いる画素ブロックが特定される。

【００５５】ステップＳＴ３’：ステップＳＴ５におい
て特定のされた画素ブロック内の画素データと、所定の
フレーム画像データの同一画素ブロック内の画素データ
とが合成・平均化される。すなわち、所定のフレーム画
像データに対して変化を生じている画素ブロックのみが
合成・平均化され、変化を生じていない画素ブロックに
ついては合成・平均化処理が行われない。

【００５６】以上説明したように、図６に示す画像処理
装置によれば、図１に示す画像処理装置と同様に従来と
比べて動画像の不自然さを緩和できる。さらに、画像デ
ータの変化が検出される画素ブロックのみが合成・平均
化されるので、図１に示す画像処理装置よりも処理に必
要な計算量を削減できる。

【００５７】＜第３の実施形態＞次に、本発明の第３の
実施形態について、図８を参照して説明する。上述した
図１および図６に示す画像処理装置は、その全ての構成
要素をハードウェアによって構成することも可能である
が、以下に説明するように、構成の一部または全部をプ
ログラムに応じて処理を実行するプロセッサにより実現
することも可能である。

【００５８】図８、本発明の第３の実施形態に係る画像
処理装置の構成例を示す概略的なブロック図である。図
８において、符号１７はＣＰＵ（central processing u
nit）を、符号１８はＲＡＭ（random access memory）
を、符号１９および符号２１はＩ／Ｏ部を、り、符号２
０は記憶装置を、符号２２は表示装置を、符号２３はバ
スをそれぞれ示す。

【００５９】ＣＰＵ１７は、記憶装置２０に保持される
プログラムに応じて、記憶装置２０に記憶された動画像
データＳｉｎを図２または図７のフローチャートに示す
ステップで処理し、図１および図６に示す画像処理装置
において生成されるものと同等な動画像データＳｏｕｔ
を生成して、再び記憶装置に記憶させる。また生成した
動画像データＳｏｕｔをＩ／Ｏ部２１を介して表示装置
２２に供給し、動画像を表示させる。ＲＡＭ１８は、Ｃ
ＰＵ１７のプログラム用の記憶領域や、ＣＰＵ１７の処
理過程において一時的に使用される記憶領域を提供す
る。

【００６０】Ｉ／Ｏ部１９は、ＣＰＵ１７の制御に応じ
て記憶装置２０の指定されたアドレスに記憶されるデー
タを読み出してバス２３に出力するとともに、バス２３
から入力されるデータを記憶装置２０の指定されたアド
レスに記憶させる。記憶装置２０は、Ｉ／Ｏ部１９から
の制御に応じて、指定されたアドレスに記憶したデータ
を読み出してＩ／Ｏ部１９に出力するとともに、Ｉ／Ｏ
部１９から入力したデータを指定されたアドレスに記憶
する。図２または図７のフローチャートに示すステップ
を含んだＣＰＵ１７のプログラムや、元の動画像データ
Ｓｉｎ、処理結果の動画像データＳｏｕｔなどのデータ
を記憶する。

【００６１】Ｉ／Ｏ部２１は、ＣＰＵ１７の制御に応じ
てバス２３から入力される画像データを表示装置２２に
供給する。表示装置２２は、Ｉ／Ｏ部２１から入力され
る画像データに応じた画像を表示する。

【００６２】上述した構成を有する図８の画像処理装置
によれば、記憶装置２０の所定のアドレスに記憶された
プログラムがＩ／Ｏ部１９によって読み出され、バス２
３を介してＲＡＭ１８のプログラム用記憶領域に保持さ
れる。このＲＡＭ１８に保持されたプログラムによって
図２または図７のフローチャートに示す処理が実行され
ることにより、記憶装置２０の所定のアドレスに記憶さ
れた動画像データＳｉｎが処理され、動画像データＳｏ
ｕｔが生成されて、記憶装置２０に記憶される。この動
画像データＳｏｕｔは、他の画像再生用プログラムによ
って記憶装置２０から読み出され、表示装置２２に供給
されて、元動画像データＳｉｎの早送り再生画像が表示
される。

【００６３】以上説明したように、図８に示す画像処理
装置においても図１または図６に示す画像処理装置と同
等の機能を実現できる。したがって、従来の早送り再生
のための画像処理に比べて動画像の不自然さを緩和で
き、動きの滑らかな画像を得ることができる。

【００６４】なお、上述した第１〜第３の実施形態は本
発明を説明するための一例に過ぎず、これらの実施形態
に対して当業者に自明な種々の改変を行っても本発明は
実施可能である。例えば、図１および図６に示すフレー
ム画像保持部１２は抽出されたフレーム画像データと合
成フレーム画像データとを保持するが、これらをそれぞ
れ別のフレーム画像保持部に保持させても良い。また、
図２または図７のフローチャートに示す処理を、ネット
ワークを介して接続されるサーバ装置と端末装置とで実
現させることも可能である。

【００６５】

【発明の効果】本発明によれば、従来に比べて早送り再
生時における動画像の不自然さを緩和でき、動きの滑ら
かな画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像処理装置の
構成例を示す概略的なブロック図である。

【図２】図１に示す画像処理装置の動作を説明するため
のフローチャートである。

【図３】画像データの抽出および合成を説明するための
図である。

【図４】合成されたフレーム画像データの１フレーム期
間におけるシャッター開放期間とシャッター閉鎖期間を
説明するための図である。

【図５】図１に示す画像処理装置において合成される動
画像の例を示す図である。

【図６】本発明の第２の実施形態に係る画像処理装置の
構成例を示す概略的なブロック図である。

【図７】図７に示す画像データ処理装置の動作を説明す
るためのフローチャートである。

【図８】本発明の第３の実施形態に係る画像処理装置の
構成例を示す概略的なブロック図である。

【図９】ビデオストリームの１フレーム期間におけるシ
ャッター開放期間とシャッター閉鎖期間の例を説明する
ための図である。

【図１０】背景に対して移動する物体を説明するための
図である。

【図１１】図１０に示す物体が移動する動画像の例を示
す図である。

【図１２】図１０に示す物体が高速に移動する場合の動
画像の例を示す図である。

【図１３】ｎ倍の早送りで再生されるビデオストリーム
の１フレーム期間と、表示機器において表示されるビデ
オストリームの１フレーム期間との関係を説明するため
の図である。

【図１４】ｎ倍の早送り再生を行う場合における、従来
の画像データの処理方法を説明するための図である。

【図１５】図１４に示す方法によって処理された１フレ
ームの画像データにおける、シャッター開放期間とシャ
ッター閉鎖期間を示す図である。

【図１６】図１４に示す方法によって処理された動画像
の例を示す図である。

【符号の説明】

１１…フレーム抽出部、１２…フレーム画像保持部、１
３…データ抽出部、１４…データ合成部、１５…動画像
信号生成部、１６…画素ブロック特定部、１７…ＣＰ
Ｕ、１８…ＲＡＭ、１９，２１…Ｉ／Ｏ部、２０…記憶
装置、２２…表示装置。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C018 MA01 5C052 AA01 AB02 AC05 CC06 CC11 DD04 5C053 FA14 FA23 GA11 GB04 GB06 GB38 KA05 LA01 LA06

Claims (12)

【特許請求の範囲】
1. 【請求項１】 動画像を構成する一連のフレームの画像
   データから、所定のフレーム間隔ごとに所定数のフレー
   ムの画像データを抽出するデータ抽出手段と、 上記抽出された所定数のフレームの画像データを合成す
   るデータ合成手段と、 一連の上記合成画像データに基づいて、動画像信号を生
   成する動画像信号生成手段とを有する画像処理装置。
2. 【請求項２】 上記データ合成手段は、上記抽出された
   所定数のフレームの画像データにおける同一画素の画像
   データを平均化して、上記合成画像データを生成する、 請求項１に記載の画像処理装置。
3. 【請求項３】 上記所定数のフレームにおける所定のフ
   レームの画像データと他のフレームの画像データとの差
   分をそれぞれ所定の画素ブロックごとに検出し、当該検
   出結果に応じて、画像データが変化する画素ブロックを
   特定する画素ブロック特定手段を有し、 上記データ合成手段は、上記他のフレームの画像データ
   のうち、上記画素ブロック素特定手段において特定され
   た画素ブロックの画素データと、上記所定のフレームの
   画像データとを合成する、 請求項１に記載の画像処理装置。
4. 【請求項４】 入力される動画像データから、上記一連
   のフレームの画像データを抽出するフレーム抽出手段を
   有する、 請求項１に記載の画像処理装置。
5. 【請求項５】 動画像を構成する一連のフレームの画像
   データから、所定のフレーム間隔ごとに所定数のフレー
   ムの画像データを抽出するデータ抽出ステップと、 上記抽出された所定数のフレームの画像データを合成す
   るデータ合成ステップと、 一連の上記合成画像データに基づいて、動画像信号を生
   成する動画像信号生成ステップとを有する画像処理方
   法。
6. 【請求項６】 上記データ合成ステップにおいて、上記
   抽出された所定数のフレームの画像データにおける同一
   画素の画像データを平均化して、上記合成画像データを
   生成する、 請求項５に記載の画像処理方法。
7. 【請求項７】 上記所定数のフレームにおける所定のフ
   レームの画像データと他のフレームの画像データとの差
   分をそれぞれ所定の画素ブロックごとに検出し、当該検
   出結果に応じて、画像データが変化する画素ブロックを
   特定する画素ブロック特定ステップを有し、 上記データ合成ステップは、上記他のフレームの画像デ
   ータのうち、上記画素ブロック素特定ステップにおいて
   特定された画素ブロックの画素データと、上記所定のフ
   レームの画像データとを合成する、 請求項５に記載の画像処理方法。
8. 【請求項８】 動画像データから上記一連のフレームの
   画像データを抽出するフレーム抽出ステップを有する、 請求項５に記載の画像処理方法。
9. 【請求項９】 画像データを処理する処理装置のプログ
   ラムであって、 動画像を構成する一連のフレームの画像データから、所
   定のフレーム間隔ごとに所定数のフレームの画像データ
   を抽出するデータ抽出ステップと、 上記抽出された所定数のフレームの画像データを合成す
   るデータ合成ステップと、 一連の上記合成画像データに基づいて、動画像信号を生
   成する動画像信号生成ステップとを有するプログラム。
10. 【請求項１０】 上記データ合成ステップにおいて、上
    記抽出された所定数のフレームの画像データにおける同
    一画素の画像データを平均化して、上記合成画像データ
    を生成する、 請求項９に記載のプログラム。
11. 【請求項１１】 上記所定数のフレームにおける所定の
    フレームの画像データと他のフレームの画像データとの
    差分をそれぞれ所定の画素ブロックごとに検出し、当該
    検出結果に応じて、画像データが変化する画素ブロック
    を特定する画素ブロック特定ステップを有し、 上記データ合成ステップは、上記他のフレームの画像デ
    ータのうち、上記画素ブロック素特定ステップにおいて
    特定された画素ブロックの画素データと、上記所定のフ
    レームの画像データとを合成する、 請求項９に記載のプログラム。
12. 【請求項１２】 入力した動画像データから、上記一連
    のフレームの画像データを抽出するフレーム抽出ステッ
    プを有する、 請求項９に記載のプログラム。