JP5029573B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

近年、ビデオカメラには、撮影時の手ぶれを軽減するための手ぶれ補正機能を搭載している。通常の手ぶれ補正機能は、撮影画像中の被写体に動きがある場合に、被写体の動きを誤って手ぶれと判断してしまい、不自然な手ぶれ補正を行ってしまう問題点があった。

その問題点を解決する手ぶれ補正技術が特許文献１に開示されている。そして、特許文献１には、撮影画像を複数の領域に分割し、その領域ごとに被写体となる人物の顔が含まれるか否かを判別し、人物の顔が含まれると判別された領域は手ぶれを検出する領域から除外して手ぶれ量を検出する方法が記載されている。
特開２００８−１２４７８７号公報

ところが、上述の手ぶれ補正方法では、人物の顔が含まれない領域においても被写体に動きがある場合には、適切な手ぶれ量を検出することができず、不自然な画像を表示させてしまう問題があった。

本発明はこのような問題点に鑑みなされたものであり、人物の顔が含まれない領域においても被写体の動きを判別または予測して適切な手ぶれ量を検出することができる撮像装置及び撮像方法を提供することを目的とする。

本発明は、前述した従来の技術の課題を解決するため、撮像部（１１）が取得した画像を分割した各領域の動きベクトルを算出する算出部（２３）と、前記画像中から動く被写体となりうる動対象が存在するか否かを判定し、存在すると判定した場合にはその動対象が存在する領域を第１の動体領域として、前記画像を分割した各領域のなかから検出する動体領域検出部（１４）と、前記動体領域検出部（１４）が検出した前記第１の動体領域について前記算出部（２３）が算出した動きベクトルを基準動きベクトルとして抽出する抽出部（１５）と、前記画像から前記第１の動体領域を除いた領域について前記算出部（２３）が算出した動きベクトルと、前記基準動きベクトルとが類似するか否かを判定し、類似すると判定した動きベクトルが算出された領域を第２の動体領域として特定する特定部（１５）と、前記画像から前記第１の動体領域及び前記第２の動体領域を除いた領域について前記算出部（２３）が算出した動きベクトルに基づいて、前記画像全体の手ぶれ量を算出する手ぶれ量算出部（１５）とを備える撮像装置（１）を提供する。
ここで、上記撮像装置（１）は、前記基準動きベクトルと前記画像全体の手ぶれ量に基づき、前記動対象の動きを予測する予測動きベクトルを算出する予測動きベクトル算出部（６２）をさらに備え、前記特定部（１５）はさらに、前記予測動きベクトルに基づいて、前記画像よりも時間的に後の画像について、前記動対象が含まれると予測される領域を第３の動体領域をして特定し、前記手ぶれ量算出部（１５）はさらに、前記後の画像から少なくとも前記第３の動体領域を除いた領域の動きベクトルに基づいて、前記後の画像全体の手ぶれ量を算出するようにしてもよい。
また、上記動体領域検出部（１４）は、領域毎に顔の有無を判別し、顔が存在すると判別した領域を前記動対象が存在する第１の動体領域とするようにしてもよい。

本発明は、前述した従来の技術の課題を解決するため、撮像部（１１）から取得された画像を分割した各領域の動きベクトルを算出する算出ステップと、前記画像中から動く被写体となりうる動対象が存在するか否かを判定し、存在すると判定した動対象が存在する領域を第１の動体領域として、前記画像を分割した各領域のなかから検出する動体領域検出ステップと、前記動体領域検出ステップで検出された前記第１の動体領域について前記算出ステップで算出された動きベクトルを基準動きベクトルとして抽出する抽出ステップと、前記画像から前記第１の動体領域を除いた領域について前記算出ステップで算出された動きベクトルと、前記基準動きベクトルとが類似するか否かを判定し、類似すると判定した場合にはその動きベクトルが算出された領域を第２の動体領域として特定する特定ステップと、前記画像から前記第１の動体領域及び前記第２の動体領域を除いた領域について前記算出ステップで算出された動きベクトルに基づいて、前記画像全体の手ぶれ量を算出する手ぶれ量算出ステップとからなる撮像方法を提供する。
ここで、上記撮像方法は、前記基準動きベクトルと前記画像全体の手ぶれ量に基づき、前記動対象の動きを予測する予測動きベクトルを算出する予測動きベクトル算出ステップをさらに備え、前記特定ステップはさらに、前記予測動きベクトルに基づいて、前記画像よりも時間的に後の画像について、前記動対象が含まれると予測される領域を第３の動体領域をして特定し、前記手ぶれ量算出ステップはさらに、前記後の画像から少なくとも前記第３の動体領域を除いた領域の動きベクトルに基づいて、前記後の画像全体の手ぶれ量を算出するようにしてもよい。
また、上記動体領域検出ステップは、領域毎に顔の有無を判別し、顔が存在すると判別された領域を前記動対象が存在する第１の動体領域とするようにしてもよい。

本発明によれば、撮影画像の被写体の状況に応じた適切な手ぶれ量を検出することが可能である。

＜第１の実施形態＞
以下、第１の実施形態の手ぶれ補正装置及び手ぶれ補正方法について、添付図面を参照して説明する。図１は、本発明の手ぶれ補正装置の一例を示すブロック図である。

手ぶれ補正装置１は、撮像部１１、信号処理部１２、動きベクトル検出部１３、動体領域検出部１４、手ぶれ量検出部１５、アドレス制御部１６及びフィールドメモリ１７を有している。

撮像部１１は、不図示の光学系、絞り、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、光学系や絞りを制御するためのドライバを有している。撮像部１１は、被写体からの光学像を光学系及び絞りを介して撮像素子により受光して光信号を得る。そして、撮像部２１は、受光して得られる光信号をアナログ画像信号に光電変換して、信号処理部１２に供給する。

信号処理部１２は、撮像部１１より供給されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像信号を色信号に分離してＲＧＢ信号を生成する。更に、信号処理部１２は、得られたＲＧＢ信号より輝度信号Ｙ、及び色差信号Ｃｂ，Ｃｒを生成する。輝度信号Ｙは、動きベクトル検出部１３内の代表点記憶部２１、相関値データ算出部２２及び動体領域検出部１４に供給される。また、輝度信号Ｙ，色差信号Ｃｂ，Ｃｒは、フィールドメモリ１７に供給される。なお、ＲＧＢ信号、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒは必要に応じてガンマ補正処理がなされる。

動きベクトル検出部１３は、例えば代表点マッチング法を用いて、１フィールド分の撮影画像を垂直方向及び水平方向に所定数分割した領域毎に動きベクトルを検出する。図２は、撮影画像を複数の領域に分割した一例を示している。代表点記憶部２１は、撮影画像を領域Ｐ１〜Ｐ１６に分割する。また、各領域は水平方向に３２画素、垂直方向に２０画素からなる。第１の実施形態における領域Ｐ１〜Ｐ１６をあわせた領域全体は、撮影画像の一部を切り出して手ぶれ量を算出するのに用いられる領域である。

代表点記憶部２１は、各領域内で指定の画素を代表点と定める。図３は、各領域の代表点を説明するための図であり、黒円で示す画素が代表点である。代表点記憶部２１は、各領域で水平方向に４ライン毎、垂直方向に５ライン毎、合わせて４×８＝３２画素を代表点とする。そして、代表点記憶部２１は、すべての領域において定めた各代表点に対応する輝度信号Ｙを１フィールド期間記憶し、１フィールド期間記憶した輝度信号Ｙのデータを相関値データ算出部２２に供給する。

相関値データ算出部２２は、各代表点について、代表点記憶部２１より供給される１フィールド前の代表点の輝度値（輝度信号の値）と現在のフィールドの所定領域内に含まれるすべての画素との輝度値の差分を計算する。現在のフィールドの所定領域とは、例えば１フィールド前の各代表点と同じ座標位置から垂直方向及び水平方向にそれぞれ±１６画素ずつの領域とする。第１の実施形態における領域Ｐ１〜Ｐ１６をあわせた領域全体は、撮影画像の一部を切り出しているので、各代表点において±１６画素ずつの画素を確保することができる。

更に、相関値データ算出部２２は、各代表点について、上述の輝度値の差分（輝度差）の計算結果から、輝度差の最小値と、輝度差を最小にする現在のフィールドの画素位置を求める。そして、相関値データ算出部２２は、各代表点について、輝度差の最小値と輝度差を最小にする画素位置と代表点との関係を示す相関値を求める。各代表点の輝度差を最小にする画素位置データは動きベクトル算出部２３に供給され、各代表点の相関値データは相関値データ解析部２４に供給される。

動きベクトル算出部２３は、各代表点とその代表点に対応する画素位置の間の動きベクトルを求め、１つの領域内に含まれるすべての代表点の動きベクトルを平均して、１つの領域に対して１つの動きベクトルを算出する。そして、動きベクトル算出部２３は、上述の方法により、すべての領域に対して動きベクトルを求める。領域毎に求められた動きベクトルデータは、手ぶれ量検出部１５に供給される。

相関値データ解析部２４は、相関値データ算出部２２より供給される相関値データに基づいて、各領域の有効性を判定する。領域の有効性とは、領域内の各代表点の動きベクトルの大きさのばらつきが所定値以上であり、動きベクトルの方向が所定の割合以上揃うことを示すものである。各領域の有効性を判定することにより、領域内の各代表点の動きベクトルの大きさのばらつきが大きかったり、動きベクトルの方向がまちまちであったりするなどの信頼性の低い領域を、後述する画面全体の手ぶれ量を算出する領域から除外することができる。

相関値データ解析部２４は、例えば、各領域の有効性を以下の方法で求める。最初に、領域に含まれる代表点の相関値を合計し、相関値の合計が所定の閾値よりも大きいか否か、及び各相関値の平均を最小値で除した値が所定の閾値よりも大きいか否かを判定する。そして、相関値の合計が所定の閾値よりも大きく、相関値の平均を最小値で除した値も所定の閾値より大きい場合は、その領域を有効と判定する。それ以外の場合は、その領域を無効と判定する。各領域の有効性を示すデータは、手ぶれ量検出部１５に供給される。

動体領域検出部１４は、例えば被写体に含まれる顔を検出することによって撮影画像中の動く被写体（以下、動体という）となる対象が存在するか否かを判定する。動体となる対象（以下、動対象という）が存在するか否かは、例えば、信号処理部１２より供給された輝度信号Ｙに基づいて、撮影画像中の肌色領域を抽出する公知技術や、予め不図示のメモリに蓄積されている参照データとマッチングをとるなどの公知技術によって、領域毎に顔が含まれるか否かを判定する。なお、動体領域検出部１４は、１または複数のフィールドを記憶するメモリを備えて、１または複数のフィールドにより動体となる対象が存在するか否かを検出してもよい。

そして、動体領域検出部１４は、顔が含まれるすなわち動対象が存在すると判定した領域を第１の動体領域として、各領域が第１の動体領域であるか否かのデータを手ぶれ量検出部１５に供給する。ただし、動対象を検出する方法は、顔を検出する方法には限定されず、顔を検出する場合も肌色領域を抽出する方法に限定されない。

手ぶれ量検出部１５は、動体領域検出部１４より第１の動体領域とされた領域の動きベクトルを基準動きベクトルＶ１として抽出する。そして、手ぶれ量検出部１５は、基準動きベクトルＶ１と、第１の動体領域を除いて相関値データ解析部２４より有効であると判定された領域（以下、有効な領域という）の動きベクトルとを順に比較して、両者の動きベクトルが類似するか否かを判定する。例えば、類似の基準は、動きベクトル同士の方向が所定範囲以内であること、及び動きベクトル同士の大きさの差が所定の閾値以下であることとすればよい。

そして、手ぶれ量検出部１５は、両者の動きベクトルを類似すると判定した場合は、その類似した動きベクトルを含む領域を第２の動体領域とする。更に、手ぶれ量検出部１５は、有効な領域から第１の動体領域と第２の動体領域を除外した有効な領域の動きベクトルを平均して、画面全体の手ぶれ量Ｖ２として算出する。そして、手ぶれ量Ｖ２のデータはアドレス制御部１６に供給される。

なお、第1の動体領域が複数存在する場合は、複数の基準動きベクトルＶ１を設定して、複数の基準動きベクトルＶ１のいずれかに類似する動きベクトルを有する領域を第２の動体領域としてもよく、複数の基準動きベクトルを平均して1つの基準動きベクトルＶ１としてもよい。また、第１の動体領域が検出されない場合は、第２の動体領域も検出せず、すべての有効な領域において手ぶれ量Ｖ２を算出する。

図４は、画面全体の手ぶれ量の算出を説明するための図である。図４において、分割領域Ｐ１〜Ｐ１６に表す矢印は動きベクトルを示している。図４中ハッチングを付して示す領域Ｐ１〜Ｐ４，Ｐ７，Ｐ８は、相関値データ解析部２４により無効な領域と判定された領域であり、画面全体の手ぶれ量を算出する際の領域から除外される。

また、領域Ｐ５，Ｐ６，Ｐ９〜Ｐ１６は、相関値データ解析部２４により有効な領域と判定された領域である。更に、領域Ｐ１１は、動体領域検出部１４により人物の顔が含まれる領域として検出された第１の動体領域である。領域Ｐ１１の動きベクトルは基準動きベクトルＶ１となる。そして、領域Ｐ１２，Ｐ１５，Ｐ１６は、手ぶれ量検出部１５により、基準動きベクトルＶ１に類似する動きベクトルを有する第２の動体領域として検出される。よって、手ぶれ量検出部１５は、有効な領域から第１の動体領域と第２の動体領域を除外した領域Ｐ５、Ｐ６，Ｐ９，Ｐ１０，Ｐ１３，Ｐ１４の動きベクトルを平均して画面全体の手ぶれ量Ｖ２を算出する。

アドレス制御部１６は、手ぶれ量Ｖ２を算出する際に用いた領域全体のアドレス開始位置に対して、手ぶれ量Ｖ２の反対方向−Ｖ２分のベクトル量で補正したデジタル画像信号のアドレス読み出し位置を算出する。読み出しアドレス位置データは、フィールドメモリ１７に供給される。デジタル画像信号とは、信号処理部１２から後述するフィールドメモリ１７に供給された輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づく信号である。

フィールドメモリ１７は、アドレス制御部１６より供給される読み出しアドレス位置より、デジタル画像信号を読み出す位置を制御して、デジタル画像信号を不図示の表示部に出力する。図５は、読み出しアドレス位置を制御して画像を表示するための説明図である。図５において、実線で示す領域は、撮影画像全体を示す領域Ｉｍ１である。また、破線で示す領域は、手ぶれ量Ｖ２を算出するために領域Ｐ１〜Ｐ１６として切り出した領域Ｉｍ２である。また、一点鎖線で示す領域は、アドレス制御部１６により手ぶれ量Ｖ２の反対方向−Ｖ２分のベクトルを移動した位置を読み出し開始位置Ｒとして切り出した領域Ｉｍ３である。

なお、相関値データ解析部２４にて求められる領域の有効性を示すデータは、手ぶれ量検出部１５に供給される構成として説明したが、動きベクトル算出部２３に供給して、無効とされた分割領域においては動きベクトルを算出しない構成としてもよい。また、第１の実施形態における代表点を定める方法、領域分割数、領域の有効性の判定方法等は、趣旨を逸脱しない範囲で種々の変更が可能である。

図６を用いて、以上説明した図１に示す手ぶれ補正装置の動作、及び図１に示す手ぶれ補正装置で行われる手ぶれ補正方法の手順について改めて説明する。代表点記憶部２１は、ステップＳ０１にて撮影画像を複数の領域に分割し、各領域内で複数の代表点を定める。相関値データ算出部２２は、ステップＳ０２にて各領域の代表点毎に代表点と輝度差を最小にする画素との関係から相関値を算出する。

動きベクトル算出部２３は、ステップＳ０３にて代表点毎に動きベクトルを求め、１つの領域内に含まれるすべての動きベクトルを平均し、１つの領域に対して１つの動きベクトルを算出して、すべての領域について動きベクトルを算出する。相関値データ解析部２４は、ステップＳ０４にて領域内に含まれる各代表点の相関値から各領域について有効性を判定して有効な領域を求める。動体領域検出部１４は、ステップＳ０５にて動対象が存在するか否かを判定し、動対象が存在する領域を第１の動体領域とする。手ぶれ量検出部１５は、ステップＳ０６にて動対象が存在する領域の動きベクトルを基準動きベクトルとする

手ぶれ量検出部１５は、ステップＳ０７にて、基準動きベクトルに類似の動きベクトルを有する領域を第２の動体領域と判定する。手ぶれ量検出部１５は、ステップＳ０８にて、第１の動体領域及び第２の動体領域を除いた有効な領域の動きベクトルを平均して手ぶれ量を算出する。アドレス制御部１６は、Ｓ０９にて手ぶれ量分を補正してデジタル画像信号のアドレス読み出し位置を算出し、フィールドメモリ１７は、読み出しアドレス位置によりデジタル画像信号を読み出す位置を制御して、デジタル画像信号を不図示の表示部に出力する。

以上説明したように、第１の実施形態では、撮影画像から有効な領域を求め、動対象が存在する領域として検出した第１の動体領域の他に、第1の動体領域の動きベクトルに類似する動きベクトルをもつ第２の動体領域をも除外して手ぶれ量を算出する構成としたので、正確な手ぶれ量を求めることができる。

＜第２の実施形態＞
以下、第２の実施形態の手ぶれ補正装置及び手ぶれ補正方法について、添付図面を参照して説明する。図７は、本発明の手ぶれ補正装置の一例を示すブロック図である。図７において図１と同一部分には同一符号を付し、その説明を適宜省略する。手ぶれ補正装置５１は、図１に示す手ぶれ補正装置１の手ぶれ量検出部１５にかわって手ぶれ量検出部６１と、更に予測動きベクトル算出部６２とを採用した構成である。

手ぶれ量検出部６１は、手ぶれ量検出部１５と同様に、動体領域検出部１４より検出された第１の動体領域の基準動きベクトルＶ１に類似する動きベクトルを有する第２の動体領域として検出する。そして、第１の動体領域と第２の動体領域を除外した有効な領域において動きベクトルを平均し、画面全体の手ぶれ量Ｖ２を算出する。有効な領域は、第１の実施形態と同様の方法で求められる。基準動きベクトルＶ１のデータと手ぶれ量Ｖ２のデータは、予測動きベクトル算出部６２に供給される。

予測動きベクトル算出部６２は、基準動きベクトルＶ１と手ぶれ量Ｖ２との差分をとり、動対象自体の移動量示す動きベクトル（動対象の動きベクトル）Ｖ３を求める。また、予測動きベクトル算出部６２は、１フィールドまたは複数フィールド分の動対象の動きベクトルＶ３を記憶する。そして、予測動きベクトル算出部６２は、１フィールドまたは複数フィールド分の動対象の動きベクトルＶ３から、次のフィールドにおいて、動対象が移動すると予測される位置を求めるための予測動きベクトルＶ４を算出し、予測動きベクトルＶ４を手ぶれ量検出部６１に供給する。

手ぶれ量検出部６１は、予測動きベクトルＶ４に基づいて次のフィールドにおける動対象の位置を予測し、動対象が含まれると予測される領域を第３の動体領域とする。そして、手ぶれ量検出部６１は、次のフィールドが供給されたときに、第３の動体領域を除外した有効な領域から手ぶれ量Ｖ２を算出する。予め予測される第３の動体領域を除外して手ぶれ量Ｖ２を求めることにより、より正確に手ぶれ量を求めることができる。また、第３の動体領域に加えて、第１の動体領域や第２の動体領域をも除外する構成としてもよい。第３の動体領域は、あくまで予測される領域であり、第１の動体領域や第２の動体領域に動体対象が残存していることも考えられ、すべての動体領域を除外することによって、より正確な手ぶれ量を求めることができるからである。

また、手ぶれ量検出部６１は、奇数番目のフィールドにおいて、第１，第２の動体領域を除外して手ぶれ量を算出し、偶数番目のフィールドにおいて、第３の領域を除外して手ぶれ量を算出するなど種々変形した構成としてもよい。更に、手ぶれ量検出部６１は、上述の動対象の予測動きベクトルＶ４を用いて、アドレス制御部１６やフィールドメモリ１７を介して、不図示の表示部における予測される位置に動対象を表示させるなども可能である。

図８は、動対象の動きベクトルの算出を説明するための図である。図８（Ａ），（Ｃ）において、領域Ｐ１〜Ｐ１６に表す矢印は動きベクトルを示している。図８では、相関値解析データ部２４によりすべての領域Ｐ１〜Ｐ１６が有効な領域と判定されたものとしている。領域Ｐ１１は、動体領域検出部１４により人物の顔が含まれる領域として検出された第１の動体領域である。領域Ｐ１１の動きベクトルは基準動きベクトルＶ１となる。

そして、分割領域Ｐ１２，Ｐ１５，Ｐ１６は、手ぶれ量検出部１５により、基準動きベクトルＶ１に類似する動きベクトルを有する第２の動体領域として検出される。よって、手ぶれ量検出部１５は、現在のフィールドに対して、有効な領域から第１の動体領域と第２の動体領域を除外した領域Ｐ５、Ｐ６，Ｐ９，Ｐ１０，Ｐ１３，Ｐ１４の動きベクトルを平均して画面全体の手ぶれ量Ｖ２を算出する。基準動きベクトルＶ１のデータと手ぶれ量Ｖ２のデータは、予測動きベクトル算出部６２に供給される。

図８（Ｂ）は、基準動きベクトルＶ１と手ぶれ量Ｖ２を拡大して示したものである。予測動きベクトル算出部６２は、図８（Ｂ）に示すように、両者の差分（Ｖ１−Ｖ２）から、動対象の動きベクトルＶ３を求める。

図８（Ｃ）は、図８（Ａ）の撮影画像の次のフィールドにおいて、動対象の予測位置を示したものである。また、図８（Ｃ）は、予測動きベクトル算出部６２により、１フィールド分の動対象の動きベクトルＶ３から予測動きベクトルＶ４を算出した場合を示している。このとき、予測動きベクトルＶ４は動きベクトルＶ３に一致する。図８（Ｃ）に示すように、次のフィールドにおいて、動対象は、領域Ｐ１０，Ｐ１１，Ｐ１４，Ｐ１５に渡って位置すると予測され、この予測される領域を第３の動体領域とする。

図９を用いて、以上説明した図７に示す手ぶれ補正装置の動作、及び図７に示す手ぶれ補正装置で行われる手ぶれ補正方法の手順について改めて説明する。

予測動きベクトル算出部６２は、ステップＳ１１にて、ステップＳ０５で算出された基準動きベクトルＶ１とステップＳ０８で算出された手ぶれ量Ｖ２の差分から、動対象の動きベクトルＶ３を算出する。予測動きベクトル算出部６２は、１または複数のフィールド分の動体対象の動きベクトルＶ３を記憶して、ステップＳ１２にて、その動対象の動きベクトＶ３から次のフィールドにおける動対象の予測動きベクトルＶ４を算出する。

手ぶれ量検出部６１は、ステップＳ１３にて、予測動きベクトルＶ４に基づいて次のフィールドの動対象の移動位置を予測して、動対象の予測位置が含まれる領域を第３の動体領域とする。更に、手ぶれ量検出部６１は、ステップＳ１４にて、次のフィールドが供給されたとき、第３の動体領域を除外して手ぶれ量Ｖ２を算出する。なお、ステップＳ１４の処理は上述のように、第３の動体領域を含む第１の動体領域や第２の動体領域を除外して手ぶれ量Ｖ２を算出するなど、種々変形した方法でもよい。

以上説明したように、第２の実施形態では、次のフィールドで動対象の位置として予測される領域として検出した第３の動体領域を除外して手ぶれ量を算出する構成としたので、より正確な手ぶれ量を求めることができる。

本発明の第１の実施形態に係る手ぶれ補正装置の全体構成を示すブロック図である。 本発明の第１，第２の実施形態に係る撮影画像の領域分割の一例を示す図である。 本発明の第１，第２の実施形態に係る撮影画像の各領域内の代表点の一例を示す図である。 本発明の第１の実施形態に係る画面全体の手ぶれ量の算出を説明するための図である。 本発明の第１，第２の実施形態に係る撮影画像の全体領域と切り出し枠の関係を示す図である。 本発明の第１の実施形態に係る手ぶれ補正方法の全体の流れを示すフローチャートである。 本発明の第２の実施形態に係る手ぶれ補正装置の全体構成を示すブロック図である。 本発明の第２の実施形態に係る動対象の動きベクトルの例を示す図である。 本発明の第２の実施形態に係る手ぶれ補正方法の全体の流れを示すフローチャートである。

符号の説明

１、５１ 手ぶれ補正装置
１１ 撮像部
１２ 信号処理部
１３ 動きベクトル検出部
１４ 動体領域検出部
１５、６１ 手ぶれ量検出部
１６ アドレス制御部
１７ フィールドメモリ
２１ 代表点記憶部
２２ 相関値データ算出部
２３ 動きベクトル算出部
２４ 相関値データ解析部
６２ 予測動きベクトル算出部

Claims (6)

1. 撮像部が取得した画像を分割した各領域の動きベクトルを算出する算出部と、
   前記画像中から動く被写体となりうる動対象が存在するか否かを判定し、存在すると判定した場合にはその動対象が存在する領域を第１の動体領域として、前記画像を分割した各領域のなかから検出する動体領域検出部と、
   前記動体領域検出部が検出した前記第１の動体領域について前記算出部が算出した動きベクトルを基準動きベクトルとして抽出する抽出部と、
   前記画像から前記第１の動体領域を除いた領域について前記算出部が算出した動きベクトルと、前記基準動きベクトルとが類似するか否かを判定し、類似すると判定した動きベクトルが算出された領域を第２の動体領域として特定する特定部と、
   前記画像から前記第１の動体領域及び前記第２の動体領域を除いた領域について前記算出部が算出した動きベクトルに基づいて、前記画像全体の手ぶれ量を算出する手ぶれ量算出部とを備える撮像装置。
2. 前記基準動きベクトルと前記画像全体の手ぶれ量に基づき、前記動対象の動きを予測する予測動きベクトルを算出する予測動きベクトル算出部をさらに備え、
   前記特定部はさらに、前記予測動きベクトルに基づいて、前記画像よりも時間的に後の画像について、前記動対象が含まれると予測される領域を第３の動体領域をして特定し、
   前記手ぶれ量算出部はさらに、前記後の画像から少なくとも前記第３の動体領域を除いた領域の動きベクトルに基づいて、前記後の画像全体の手ぶれ量を算出することを特徴とする撮像装置。
3. 前記動体領域検出部は、前記領域毎に顔の有無を判別し、顔が存在すると判別した領域を前記動対象が存在する第１の動体領域とすることを特徴とする請求項１または２記載の撮像装置。
4. 撮像部から取得された画像を分割した各領域の動きベクトルを算出する算出ステップと、
   前記画像中から動く被写体となりうる動対象が存在するか否かを判定し、存在すると判定した場合にはその動対象が存在する領域を第１の動体領域として、前記画像を分割した各領域のなかから検出する動体領域検出ステップと、
   前記動体領域検出ステップで検出された前記第１の動体領域について前記算出ステップで算出された動きベクトルを基準動きベクトルとして抽出する抽出ステップと、
   前記画像から前記第１の動体領域を除いた領域について前記算出ステップで算出された動きベクトルと、前記基準動きベクトルとが類似するか否かを判定し、類似すると判定した動きベクトルが算出された領域を第２の動体領域として特定する特定ステップと、
   前記画像から前記第１の動体領域及び前記第２の動体領域を除いた領域について前記算出ステップで算出された動きベクトルに基づいて、前記画像全体の手ぶれ量を算出する手ぶれ量算出ステップとからなる撮像方法。
5. 前記基準動きベクトルと前記画像全体の手ぶれ量に基づき、前記動対象の動きを予測する予測動きベクトルを算出する予測動きベクトル算出ステップをさらに備え、
   前記特定ステップはさらに、前記予測動きベクトルに基づいて、前記画像よりも時間的に後の画像について、前記動対象が含まれると予測される領域を第３の動体領域をして特定し、
   前記手ぶれ量算出ステップはさらに、前記後の画像から少なくとも前記第３の動体領域を除いた領域の動きベクトルに基づいて、前記後の画像全体の手ぶれ量を算出することを特徴とする請求項４に記載の撮像方法。
6. 前記動体領域検出ステップは、前記領域毎に顔の有無を判別し、顔が存在すると判別した領域を動対象が存在する第１の動体領域とすることを特徴とする請求項４または５記載の撮像方法。

Images