JP2009027437A - 画像処理装置，画像処理方法及び撮像装置 - Google Patents

Abstract

【課題】動画撮像時に移動物体が撮像エリアのｚ方向に移動する場合に、より適正な移動ベクトルを得ることができる画像処理装置，画像処理方法及び撮像装置を提供する。
【解決手段】本発明は、撮像して得られる画像データに基づいて、移動物体Ｔの移動ベクトルを検出する際に、画像データにおける、移動物体Ｔの少なくとも一部が撮像された所定の領域を切り出したフレームを複数のエリアｂ０〜ｂ３に分割し、分割された複数のエリアｂ０〜ｂ３ごとに補正ベクトル探索範囲Ｒを設定し、複数のエリアｂ０〜ｂ３それぞれについて補正ベクトル探索範囲Ｒにおける移動物体Ｔの移動成分を補正ベクトルＶ０〜Ｖ３として検出し、移動ベクトルと補正ベクトルＶ０〜Ｖ３とを合成し、合成されたベクトルを新規に移動ベクトルとして設定する。
【選択図】図５

Description

本発明は、特に、動画撮像時に移動する被写体を追尾する動体追尾機能に用いられるパターンマッチング処理を行う画像処理装置，画像処理方法、及び該画像処理装置を備えた撮像装置に関する。

現在、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置には、動画撮影機能を有するものがある。撮影機能を有する撮像装置は、撮像エリア内で移動する被写体を追尾して撮影を行う動体追尾機能を有するものがある。例えば、撮像時に使用者の撮像装置本体を持つ手が振れることに起因して、撮像エリアに映っている被写体の位置が移動してしまう、いわゆる手振れが生じてしまうことを防止するため、動体追尾処理を行っている。

動体追尾処理は、撮像エリアにおける所定の切り出し位置（以下、フレームという。）に写っている被写体のパターンマッチング処理を行うことで移動ベクトルを算出し、該移動ベクトルに基づいてメモリに記録された撮像画像の次フレームの被写体の位置を制御する。

従来、移動物体の検出を行う画像処理方法としては、例えば、下記特許文献に示すものがある。
下記特許文献１は、ズームや旋回を行っている状態において得られる画像に画像処理を行って移動物体の検出を行うものであるが、カメラの移動（フレームワーク）を推定し、この推定に基づいて過去の画像に対して変形を加える処理を行い、現在の画像と比較している。
下記特許文献２は、カメラのズーム倍率が大きい場合には、探索範囲を広くし、ズーム倍率が小さい場合には、探索範囲を狭くする方法である。

特開２００２−３４４９６０号公報 特願２００６−０５９９４３号

ところで、移動物体の移動ベクトルを検出する際には、撮像エリアに平行な２次元方向（ｘ−ｙ方向）に対する移動物体の位置の移動だけでなく、撮像エリアをｘ方向及びｙ方向とによって規定される２次元平面としてとらえた状態においてｚ方向への移動成分を考慮する必要がある。図１１は、撮像エリアにおける移動物体の移動の状態を説明する図である。図１１では、撮像エリアにおいて、追尾画像エリアの前フレームで捉えられていた移動物体Ｔが、現フレームを設定したときに、撮像エリアに対して図中右上方向と奥行き方向の手前側に移動した状態を示している。このとき、従来のパターンマッチング処理によって前フレームと現フレームとのそれぞれの物体Ｔの位置を比較し、移動ベクトルを検出する。

しかし、図１１のように移動物体Ｔがｚ方向へも移動している場合には、移動ベクトルには誤差が含まれる。理由としては、パターンマッチング処理では、対象となる移動物体における特徴部分に相関が強くなる傾向があり、図１１において、顔の口の部分を特長部分とすると、ｚ方向に移動して撮像エリアに対して実質拡大又は縮小して表示されるようになる口の輪郭部分への相関が高くなることで移動ベクトルの誤検出成分が検出され、誤った移動ベクトルが検出されてしまうことがある。図１２は、フレームに対する移動物体の位置を説明する図である。図１２（ａ）は、正しいフレーム位置と移動物体Ｔとの位置を示す図である。図１２（ｂ）は、現フレームに対する移動物体の位置を説明する図である。従来のパターンマッチング処理では、移動ベクトルに、図１２（ａ）のフレーム位置と図１２（ｂ）のフレーム位置との差に相等する誤差が含まれている。このように、従来では、動画撮像時に、移動物体のｚ方向に対する移動に起因して適正な移動ベクトルを得ることができないため、動体追尾処理のときのフレーム位置に誤差が生じるという点で改善の余地があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、動画撮像時に移動物体が撮像エリアのｚ方向に移動する場合に、より適正な移動ベクトルを得ることができる画像処理装置，画像処理方法及び撮像装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理装置であって、
前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを複数のエリアに分割し、分割された前記複数のエリアごとに補正ベクトル探索範囲を設定する探索範囲設定手段と、
前記複数のエリアそれぞれについて前記補正ベクトル探索範囲における前記移動物体の移動成分を補正ベクトルとして検出する補正ベクトル検出手段と、
前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルとして設定するベクトル合成手段とを備えていることを特徴とする画像処理装置。
（２）前記画像データの輝度情報を取得する輝度情報取得手段と、
前記移動ベクトルを検出するパターンマッチング処理を実行するパターンマッチング処理手段と、
前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別する判別手段とを備えていることを特徴とする上記（１）に記載の画像処理装置。
（３）前記パターンマッチング処理手段が、パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値以内である場合に、パターンマッチング処理を実行することを特徴とする上記（２）に記載の画像処理装置。
（４）撮像素子で撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理装置を備えた撮像装置であって、
前記画像処理装置が、前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを分割し、分割されたエリアごとに複数の補正ベクトル探索範囲を設定する探索範囲設定手段と、
前記複数の補正ベクトル探索範囲のそれぞれについて、前記移動物体の移動成分を補正ベクトルとして検出する補正ベクトル検出手段と、
前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルとして設定するベクトル合成手段とを備えていることを特徴とする撮像装置。
（５）前記画像処理装置が、前記画像データの輝度情報を取得する輝度情報取得手段と、
前記移動ベクトルを検出するパターンマッチング処理を実行するパターンマッチング処理手段と、
前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別する判別手段とを備えていることを特徴とする上記（４）に記載の撮像装置。
（６）前記パターンマッチング処理手段が、パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値以内である場合に、パターンマッチング処理を実行することを特徴とする上記（５）に記載の撮像装置。
（７）撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理方法であって、
前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを分割し、分割されたエリアごとに複数の補正ベクトル探索範囲を設定するステップと、
前記複数の補正ベクトル探索範囲のそれぞれについて、前記移動物体の移動成分を補正ベクトルとして検出するステップと、
前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルと設定するステップを有することを特徴とする画像処理方法。
（８）前記画像データの輝度情報を取得するステップと、
前記移動ベクトルを検出するパターンマッチング処理を実行するステップと、
前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別するステップとを有することを特徴とする上記（７）に記載の画像処理方法。
（９）パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値以内である場合に、パターンマッチング処理を実行するステップを有することを特徴とする上記（８）に記載の画像処理方法。

本発明によれば、画像データのフレームを複数のエリアに分割し、分割されたエリアごとに移動物体の移動成分を補正ベクトルとして検出し、エリアごとに検出された補正ベクトルを、パターンマッチングにより予め検出された移動ベクトルと合成する。エリアごとに移動物体の補正ベクトルを検出することによって、移動物体の一部の特徴部分に対して相関が高くなることに起因して移動ベクトルに誤差成分が含まれる場合に、移動ベクトルと補正ベクトルとを合成して得られる新規な移動ベクトルを設定し、誤差成分を除去することができる。このため、移動物体が撮像エリアに対してｚ方向に移動した場合に、従来のパターンマッチング処理で検出される移動ベクトルに比べてより適正な移動ベクトルを得ることができる。

本発明によれば、動画撮像時に移動物体が撮像エリアのｚ方向に移動する場合に、より適正な移動ベクトルを得ることができる画像処理装置，画像処理方法及び撮像装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明の実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示すブロック図である。同図に示すデジタルカメラ１００は、撮影レンズ１ａおよび撮像素子１ｂを含む撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、レンズ駆動部５と、デジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部（ＣＰＵ）９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３と、パターンマッチング装置１５とを備える。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、及びパターンマッチング装置１５は、システムバス１４に接続されている。

撮像部１は、ズームレンズや撮影レンズを含む光学系１ａと、ＣＣＤ型やＣＭＯＳ型の固体撮像素子等の撮像素子１ｂとによって被写体を撮像するものであり、アナログの撮像信号を出力する。アナログ信号処理部２は、撮像部１で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログ信号をデジタル信号に変換する。

駆動部４は、デジタルカメラ１００が撮影モード（被写体を撮影して撮影画像データの記録が可能なモード）に設定されると、システム制御部９から供給される駆動パルスによって、固体撮像素子１ｂ、アナログ信号処理部２、及びＡ／Ｄ変換部３を駆動する。デジタルカメラ１００は動画撮影モードと静止画撮影モードが設定可能である。

レンズ駆動部５は、操作部１３から光学ズーム倍率の変更指示がなされると、その指示に応じて光学系１ａに含まれるズームレンズを移動させて撮像素子１ｂに設定する撮影倍率を変更する。レンズ駆動部５はシステム制御部９によって制御される。

デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル信号に対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行って撮影画像データを生成する。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、同時化処理等が含まれる。デジタル信号処理部６は、例えばＤＳＰで構成される。動画撮影モードに設定された場合、デジタル信号処理部６からは、所定のフレームレートで例えば最大解像度の画像データが順次出力されて、これらが内部メモリ１０に記憶される。デジタル信号処理部９は、操作部１３から電子ズーム倍率の変更指示がなされると、その指示に応じて画像処理を行って撮像素子１ｂに設定する撮影倍率を変更する。

圧縮／伸張処理部７は、デジタル信号処理部６で生成された撮影画像データに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。

表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た撮影画像データに基づく画像を表示する。記録メディア１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影モード時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ１００全体の統括制御を行う。システム制御部９は、操作部１３から撮影倍率の変更指示があると、この指示をレンズ駆動部５やデジタル信号処理部６に通知して、撮影倍率の変更制御を行う。

内部メモリ１０は、例えばＤＲＡＭであり、パターンマッチング装置１５、デジタル信号処理部６、及びシステム制御部９のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部８への表示用画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。

操作部１３は、デジタルカメラ使用時の各種操作を行うものであり、撮影指示を行うためのレリーズボタン（図示せず）を含む。

図２は、図１に示すパターンマッチング装置１５の概略構成を示すブロック図である。パターンマッチング装置１５は、撮像した画像データの輝度情報を取得する輝度情報取得部２１と、パターンマッチング処理を実行するパターンマッチング処理部２２と、輝度情報取得部２１で取得した輝度情報に基づいて後処理で述べる補正ベクトルの検出を行うか否かを判別する判別部２３とを有している。

また、パターンマッチング装置１５は、パターンマッチング処理部２２によって検出された移動ベクトルを補正するため、補正ベクトルを算出して移動ベクトルと合成する処理するため、更に、探索範囲設定部３１と、補正ベクトル検出部３２と、ベクトル合成部３３と、フレーム位置決定部３４とを有している。なお、補正ベクトルを検出して移動ベクトルと合成する処理については後述する。

画像装置輝度情報取得部２１で取得された輝度情報や、パターンマッチング処理部２２で検出された移動ベクトルは、記憶手段として機能するメモリ３５に記憶され、必要に応じて読み出される。なお、メモリ３５は、図１に示す撮像装置１００のフレームメモリ１０を用いることもできる。

次に、補正ベクトルを検出する手順を説明する。
図３は、移動物体が移動する前のフレームを示す図である。図４は、移動物体が移動した後のフレームを示す図である。
図３に示すように、フレームＦ０は、画像データにおける、移動物体Ｔが撮像された所定の領域を切り出した部分を示している。なお、図３のフレームＦ０は、動画撮像時において前フレームに相等し、図４のフレームＦ１が現フレームを示している。

補正ベクトルを検出する前に、フレームＦ０，Ｆ１を複数（ここでは、一例として４つとする。）のエリアｂ０〜ｂ３に分割する。本実施形態では、フレームＦ０は、縦方向及び横方向を等間隔に２つに分割することで、それぞれ面積の等しい４つのエリアに分割している。図４で、フレームＦ１の分割されたエリアは、図３のフレームＦ０の分割したエリアにそれぞれ相当している。

パターンマッチング処理部２２によって、フレームＦ０，Ｆ１の移動物体Ｔの移動ベクトルを検出した後、パターンマッチング装置１５の探索範囲設定部３１においてフレームＦ０において分割されたエリアごとに、フレームＦ１を含めたその周囲に補正ベクトル探索範囲Ｒを新たに設定する。

図５から図８は、分割されたエリアに対する探索範囲において補正ベクトルを検出する手順を説明する図である。
図５（ａ）に示すように、探索範囲設定部３１が、左上に位置するエリアｂ０に対して、該エリアｂ０を含み、且つ、広い面積の補正ベクトル探索範囲Ｒを設定する。次に、補正ベクトル検出部３２が、フレームＦ０のエリアｂ０内に撮像された移動物体Ｔの一部と、図５（ｂ）に示すフレームＦ１の時点における移動物体Ｔとをパターンマッチング処理することで補正ベクトルＶ０を検出する。

続いて、図６（ａ）に示すように、探索範囲設定部３１が右上に位置するエリアｂ１に対して、該エリアｂ１を含み、且つ、広い面積の補正ベクトル探索範囲Ｒを設定する。次に、補正ベクトル検出部３２がフレームＦ０のエリアｂ１内に撮像された移動物体Ｔの一部と、図６（ｂ）に示すフレームＦ１の時点における移動物体Ｔとをパターンマッチング処理することで補正ベクトルＶ１を検出する。同様に、図７（ａ）に示すように、左下に位置するエリアｂ２に対して、該エリアｂ２を含み、且つ、広い面積の補正ベクトル探索範囲Ｒを設定する。次に、フレームＦ０のエリアｂ１内に撮像された移動物体Ｔの一部と、図７（ｂ）に示すフレームＦ１の時点における移動物体Ｔとをパターンマッチング処理することで補正ベクトルＶ２を検出する。同様に、図８（ａ）に示すように、右下に位置するエリアｂ３に対して、該エリアｂ３を含み、且つ、広い面積の補正ベクトル探索範囲Ｒを設定する。次に、フレームＦ０のエリアｂ３内に撮像された移動物体Ｔの一部と、図８（ｂ）に示すフレームＦ１の時点における移動物体Ｔとをパターンマッチング処理することで補正ベクトルＶ３を検出する。

次に、ベクトル合成部３３において、エリアｂ０〜ｂ３ごとに検出された補正ベクトルＶ０〜Ｖ３と、予めフレームＦ０とフレームＦ１とのパターンマッチング処理によって検出されている移動ベクトルとを合成する。合成によって算出されたベクトルを新規な移動ベクトルに設定する。

そして、新規の移動ベクトルに基づいて、フレーム位置決定部３４が正しいフレーム位置を決定する。フレーム位置は、位置情報としてメモリ３５に記憶される。

本発明によれば、画像データのフレームＦ０を複数のエリアｂ０〜ｂ３に分割し、分割されたエリアｂ０〜ｂ３ごとに移動物体Ｔの移動成分を補正ベクトルＶ０〜Ｖ３として検出し、エリアｂ０〜ｂ３ごとに検出された補正ベクトルＶ０〜Ｖ３を、パターンマッチングにより予め検出された移動ベクトルと合成する。エリアｂ０〜ｂ３ごとに移動物体の補正ベクトルＶ０〜Ｖ３を検出することで、移動物体Ｔの一部の特徴部分に対して相関が高くなることに起因して移動ベクトルに誤差成分が含まれる場合に、移動ベクトルと補正ベクトルＶ０〜Ｖ３とを合成して得られる新規な移動ベクトルを設定することで、誤差成分を除去することができる。このため、移動物体Ｔが撮像エリアに対してｚ方向に移動した場合に、従来のパターンマッチング処理で検出される移動ベクトルに比べてより適正な移動ベクトルを得ることができる。

上記実施形態では、パターンマッチング装置１５を備えた撮像装置の構成を説明したが、パターンマッチング装置１５は、撮像装置に備えられている必要はなく、単体で本発明にかかる画像処理装置とすることもできる。この場合、外部の撮像装置で撮像した画像データを画像処理装置に入力した後、画像処理装置において、移動ベクトル及び補正ベクトルＶ０〜Ｖ３を検出する。

次に、本実施形態の撮像装置を用いて、本発明にかかる画像処理方法の手順を説明する。
図９及び図１０は、本発明にかかる画像処理方法の手順を示すフローチャートである。

最初に、撮像素子１ｂで撮像された画像データをアナログ信号処理，Ａ／Ｄ変換、及び、デジタル信号処理した後、パターンマッチング装置１５に入力する。

パターンマッチング装置１５の輝度情報取得部２１では、入力された画像データから輝度情報として、輝度レンジ、及び、輝度差の絶対値の総和の最小値Ｍｉｎを算出する。

ここで、輝度レンジとは、画像データにおいてパターンマッチング処理の対象となる範囲内のうち、最も高い輝度値と最も低い輝度値との差を意味する。輝度レンジが大きい場合には、パターンマッチング処理の探索範囲の画像の変化が大きいことを表し、輝度レンジが小さい場合には、パターンマッチング処理の探索範囲の画像の変化が小さいことを表している。

輝度レンジの算出は、処理時間短縮のため、後述するパターンマッチング処理と同時に実行してもよい。

輝度差の絶対値の総和の最小値Ｍｉｎは、フレーム間の探索する範囲における輝度差をフレームの画素を所定の画素（例えば、１画素）づつずらして算出し、算出された全ての輝度差を総和として算出する。そして、その総和が最も小さい値をとるものを最小値Ｍｉｎとして設定する。輝度差の絶対値の総和の最小値Ｍｉｎは、移動ベクトルの信頼度として用いられる。輝度差の絶対値の総和の最小値Ｍｉｎが小さいほど、相関が高く、信頼度が高いことを表している。

輝度レンジ、及び、輝度差の絶対値の総和の最小値Ｍｉｎを算出した後、判別部２３で輝度レンジが予め設定された閾値Ａより大きいか否かを判別する。ここで、輝度レンジが閾値Ａより小さいと判別された場合には、入力された画像データの輝度変化が小さく、検出される移動ベクトルの精度が低下することから、補正ベクトルの検出を行わず、処理不能と判定し、次の画像の入力する処理を続ける。

輝度レンジが閾値Ａより大きいと判別された場合には、パターンマッチング処理部２２においてフレーム間のパターンマッチング処理を実行し、移動ベクトルを検出する。

移動ベクトルを検出した後、先に算出された輝度差の絶対値の総和の最小値Ｍｉｎが予め設定された閾値Ｂより小さいか否かを判別する。最小値Ｍｉｎが閾値Ｂよりも小さい場合には、パターンマッチング処理で検出された移動ベクトルを採用し、補正ベクトルＶ０〜Ｖ３を検出するステップを実行することなく、移動物体Ｔの追尾処理を実行する。

一方、輝度差の絶対値の総和の最小値Ｍｉｎが閾値Ｂ以上である場合には、補正ベクトルを検出するフローを実行する。具体的には、探索範囲設定部３１において、フレームＦ０を複数のエリアｂ０〜ｂ３に分割し、分割された複数のエリアｂ０〜ｂ３ごとに補正ベクトル探索範囲Ｒを設定する。なお、輝度差の絶対値の総和の最小値Ｍｉｎと閾値Ｂとの比較はパターンマッチング処理と同時またはそれよりも先に実行してもよい。

そして、複数のエリアｂ０〜ｂ３それぞれについて、補正ベクトル検出部３２において補正ベクトル探索範囲Ｒにおける移動物体Ｔの移動成分を補正ベクトルＶ０〜Ｖ３として検出する。

補正ベクトルＶ０〜Ｖ３を検出した後、ベクトル合成部３３において、先にパターンマッチング処理で検出された移動ベクトルと、補正ベクトルＶ０〜Ｖ３とを合成する。フレーム位置決定部３４において、合成されたベクトルを新規に移動ベクトルとして用いることで、動体追尾によるフレームの位置を決定する。

エリアｂ０〜ｂ３ごとに移動物体の補正ベクトルＶ０〜Ｖ３を検出することによって、移動物体Ｔの一部の特徴部分に対して相関が高くなることに起因して移動ベクトルに誤差成分が含まれる場合に、移動ベクトルと補正ベクトルＶ０〜Ｖ３とを合成して得られる新規な移動ベクトルを設定し、誤差成分を除去することができる。このため、移動物体Ｔが撮像エリアに対してｚ方向に移動した場合に、従来のパターンマッチング処理で検出される移動ベクトルに比べてより適正な移動ベクトルを得ることができる。

撮像装置の構成の概略構成を示す図である。 パターンマッチング装置の概略構成を示す図である。 移動物体が移動する前のフレームを示す図である。 移動物体が移動した後のフレームを示す図である。 分割されたエリアに対する探索範囲において補正ベクトルを検出する手順を説明する図である。 分割されたエリアに対する探索範囲において補正ベクトルを検出する手順を説明する図である。 分割されたエリアに対する探索範囲において補正ベクトルを検出する手順を説明する図である。 分割されたエリアに対する探索範囲において補正ベクトルを検出する手順を説明する図である。 画像処理方法の手順を示すフローチャートである。 画像処理方法の手順を示すフローチャートである。 撮像エリアにおける移動物体の移動の状態を説明する図である。 フレームに対する移動物体の位置を説明する図である。

符号の説明

１５ パターンマッチング装置（画像処理装置）
１００ デジタルカメラ（撮像装置）
ｂ０〜ｂ３ 分割されたエリア
Ｆ０，Ｆ１ フレーム
Ｔ 移動物体
Ｖ０〜Ｖ３ 補正ベクトル

Claims (9)

1. 撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理装置であって、
   前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを複数のエリアに分割し、分割された前記複数のエリアごとに補正ベクトル探索範囲を設定する探索範囲設定手段と、
   前記複数のエリアそれぞれについて前記補正ベクトル探索範囲における前記移動物体の移動成分を補正ベクトルとして検出する補正ベクトル検出手段と、
   前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルとして設定するベクトル合成手段とを備えていることを特徴とする画像処理装置。
2. 前記画像データの輝度情報を取得する輝度情報取得手段と、
   前記移動ベクトルを検出するパターンマッチング処理を実行するパターンマッチング処理手段と、
   前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別する判別手段とを備えていることを特徴とする請求項１に記載の画像処理装置。
3. 前記パターンマッチング処理手段が、パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値より大きい場合に、パターンマッチング処理を実行することを特徴とする請求項２に記載の画像処理装置。
4. 撮像素子で撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理装置を備えた撮像装置であって、
   前記画像処理装置が、前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを分割し、分割されたエリアごとに複数の補正ベクトル探索範囲を設定する探索範囲設定手段と、
   前記複数の補正ベクトル探索範囲のそれぞれについて、前記移動物体の移動成分を補正ベクトルとして検出する補正ベクトル検出手段と、
   前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルとして設定するベクトル合成手段とを備えていることを特徴とする撮像装置。
5. 前記画像処理装置が、前記画像データの輝度情報を取得する輝度情報取得手段と、
   前記移動ベクトルを検出するパターンマッチング処理を実行するパターンマッチング処理手段と、
   前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別する判別手段とを備えていることを特徴とする請求項４に記載の撮像装置。
6. 前記パターンマッチング処理手段が、パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値より大きい場合に、パターンマッチング処理を実行することを特徴とする請求項５に記載の撮像装置。
7. 撮像して得られる画像データに基づいて、移動物体の移動ベクトルを検出する画像処理方法であって、
   前記画像データにおける、前記移動物体の少なくとも一部が撮像された所定の領域を切り出したフレームを分割し、分割されたエリアごとに複数の補正ベクトル探索範囲を設定するステップと、
   前記複数の補正ベクトル探索範囲のそれぞれについて、前記移動物体の移動成分を補正ベクトルとして検出するステップと、
   前記移動ベクトルと前記補正ベクトルとを合成し、合成されたベクトルを新規に前記移動ベクトルと設定するステップを有することを特徴とする画像処理方法。
8. 前記画像データの輝度情報を取得するステップと、
   前記移動ベクトルを検出するパターンマッチング処理を実行するステップと、
   前記輝度情報に基づいて、前記補正ベクトルを検出するか否かを判別するステップとを有することを特徴とする請求項７に記載の画像処理方法。
9. パターンマッチング処理に対象となる複数のフレーム同士の輝度レンジを比較して前記輝度レンジが予め設定した閾値より大きい場合に、パターンマッチング処理を実行するステップを有することを特徴とする請求項８に記載の画像処理方法。
   

Images