JP2009135561A - ぶれ検出装置、ぶれ補正装置及び方法 - Google Patents

Abstract

【課題】画像復元式手ぶれ補正において、手ぶれ検出センサを用いず短い処理時間で手ぶれ画像から補正画像を生成する。
【解決手段】通常露光の補正対象画像（手ぶれ画像）の撮影に続けて、短時間露光によって参照画像を撮影する。補正対象画像と参照画像の夫々からエッジ成分を多く含む特徴的な小領域（小画像）を抽出し、補正対象画像の小領域内画像及び参照画像の小領域内画像を劣化画像及び初期復元画像と取り扱って、フーリエ反復法により補正対象画像についての点広がり関数を算出する。算出した点広がり関数を、補正対象画像の全体に対して適用することにより、ぶれを除去した補正画像を生成する。
【選択図】図３

Description

本発明は、撮影によって得られた画像に含まれるぶれを検出するぶれ検出装置及びぶれ検出方法に関する。また、本発明は、ぶれを補正するぶれ補正装置及びぶれ補正方法に関する。また、本発明は、それらを利用した撮像装置に関する。

手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画であるか動画であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。

手ぶれを検出する方法には、角速度センサや加速度センサ等の手ぶれ検出センサを用いる方法と、画像を解析して手ぶれを検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。

静止画に対する手ぶれ補正方法としては、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、手ぶれ検出センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。

手ぶれ検出センサを用いると多大なコストアップを招くため、手ぶれ検出センサを必要としない手ぶれ補正方法の開発が求められている。

手ぶれ検出センサを用いることなく手ぶれ補正を行う方法として、加算式手ぶれ補正が実用化されている（下記特許文献１参照）。図１５を参照して加算式手ぶれ補正を簡単に説明する。加算式手ぶれ補正では、通常の露光時間ｔ１を分割して得られる露光時間がｔ２の複数の分割露光画像（短露光画像）ＤＰ１〜ＤＰ４を連続撮影する。複数の分割露光画像の枚数をＰ_NUMとした場合、ｔ２＝ｔ１／Ｐ_NUM、とされる（今の例の場合、Ｐ_NUM＝４）。そして、分割露光画像ＤＰ１〜ＤＰ４を、各分割露光画像間の位置ずれがキャンセルされるように位置合わせした上で加算合成することにより、手ぶれが少なく且つ所望の明るさが確保された１枚の静止画を生成する。

また、撮影によって得られた、ぶれを含む１枚の手ぶれ画像から、撮影中の手ぶれを表す手ぶれ情報（点広がり関数或いは画像復元フィルタ）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像をデジタル信号処理で生成する方式も提案されている。この種の方式の中で、フーリエ反復法を用いた方式が下記非特許文献１に開示されている。

図１６にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像としては、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。

フーリエ反復法を用いれば、手ぶれ検出センサを必要とすることなく手ぶれの影響が低減された画像を生成することが可能である。しかし、フーリエ反復法は非線形最適化手法であり、適当な復元画像を得るためには多くの反復回数が必要となる。つまり、手ぶれ検出及び補正に必要な処理時間が非常に長くなってしまう。このため、デジタルスチルカメラ等での実用化が困難となっている。処理時間の短縮化は、実用化上、重要な課題である。

また、手ぶれ検出センサを用いない手ぶれ補正方法として以下のような方法も提案されている。ある従来手法では、補正されるべき主画像の撮影前後に副画像を複数枚撮影して、その複数の副画像から主画像撮影時のぶれ情報を推定し、そのぶれ情報から主画像のぶれを補正している（下記特許文献２参照）。但し、この手法では、主画像前後に得られる副画像間の動き量（露光間隔をも含んだ動き量）から主画像のぶれが推定されるため、ぶれの検出精度及び補正精度が低くなってしまう。また、他の従来手法では、手ぶれ画像を２次元周波数領域へ変換した画像から手ぶれを検出している（下記特許文献３参照）。具体的には、変換によって得られた画像を周波数座標の原点を中心とした円に投影し、その投影データからぶれの大きさと方向を求めるようにしている。但し、この手法では、直線的且つ等速的なぶれしか推定できず、また、被写体の特定方向における周波数成分が小さい場合、ぶれ方向の検出を失敗してぶれを適切に補正できなくなることがある。ぶれ補正の高精度化は、言うまでもなく、重要な課題である。

特開平９−２６１５２６号公報 特開２００１−３４６０９３号公報 特開平１１−２７５７４号公報 G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549

そこで本発明は、低コスト化及び処理時間の短縮化に寄与するぶれ検出装置及びぶれ検出方法を提供することを目的とする。また本発明は、低コスト化及びぶれ補正の高精度化に寄与するぶれ補正装置及びぶれ補正方法を提供することを目的とする。また本発明は、それらを利用した撮像装置を提供することを目的とする。

本発明に係るぶれ検出装置は、撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出装置において、前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成するぶれ情報作成手段を備えたことを特徴とする。

第２画像の露光時間は第１画像のそれよりも短いため、第２画像に含まれるぶれは第１画像のそれよりも通常少ない。第１画像のぶれの検出に、ぶれの比較的少ない第２画像を参照するため、ぶれ情報作成用の処理時間の短縮化を期待できる。また、従来の加算式手ぶれ補正のように多枚数の画像撮影が必要となる訳ではないため、撮影時の負荷増加は少ない。勿論、ぶれ情報作成用の専用センサを設ける必要がないため、低コスト化にも寄与する。

具体的には例えば、前記ぶれ情報は、前記第１画像の全体のぶれを表す画像劣化関数である。

また例えば、前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像に基づいて前記ぶれ情報を作成する。

これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。

また具体的には例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求める。

また具体的には例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する。

そして例えば、前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする。

これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。

また例えば、当該ぶれ検出装置は、前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を保持する保持手段を更に備え、前記ぶれ情報作成手段は、前記表示用画像を前記第２画像として流用する。

これにより、撮影時の負荷増加はなくなる（或いは、極めて軽微となる）

また例えば、前記ぶれ情報作成手段は、前記第１画像及び前記第２画像から前記劣化画像及び前記初期の復元画像を生成する過程において、前記第１画像に基づく画像及び前記第２画像に基づく画像の少なくとも一方に対して、ノイズ除去処理、前記第１画像と前記第２画像との間の輝度レベル比に応じた輝度正規化処理、エッジ抽出処理、及び、前記第１画像と前記第２画像との間の画像サイズ比に応じた画像サイズ正規化処理、の内の１以上の処理を実行する。

また例えば、当該ぶれ検出装置は、前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を第３画像として保持する保持手段を更に備え、前記ぶれ情報作成手段は、前記第１画像と、前記第２画像と、前記第３画像と、に基づいて前記ぶれ情報を作成する。

そして例えば、前記ぶれ情報作成手段は、前記第２画像と前記第３画像を加重加算することにより第４画像を生成し、前記第１画像と前記第４画像から前記ぶれ情報を作成するとよい。

加重加算を適切に行えば、正確なぶれ情報の作成に必要な情報（エッジなど）を第４画像に内在させつつ、Ｓ／Ｎ比（信号対雑音比）を向上することも可能となる。

これに代えて例えば、前記ぶれ情報作成手段は、前記第２画像と前記第３画像の内の何れか一方を第４画像として選択する選択手段を備えて、前記第１画像と前記第４画像から前記ぶれ情報を作成し、前記選択手段は、前記第２画像と前記第３画像の各エッジ強度、前記第２画像と前記第３画像の各露光時間、及び、設定された外部情報の内の少なくとも１つに基づいて、前記第２画像と前記第３画像との間の選択を行うようにしてもよい。

また例えば、前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第４画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する。

そして例えば、前記ぶれ情報作成手段は、前記第１画像、第２画像及び第３画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする。

これにより、必要な演算量が低減され、処理時間の更なる低減化が見込める。

また例えば、以下のようなぶれ補正装置を形成するようにしてもよい。このぶれ補正装置は、前記ぶれ検出装置によって作成された前記ぶれ情報を用いて、前記第１画像の前記ぶれを低減した補正画像を生成する補正画像生成手段を備える。

また、本発明に係る第１の撮像装置は、前記ぶれ検出装置と、前記撮像手段と、を備えたことを特徴とする。

また、本発明に係るぶれ検出方法は、撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出方法において、前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成することを特徴とする。

また、本発明に係るぶれ補正装置は、撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得手段と、前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成手段と、前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理手段と、を備えたことを特徴とする。

短露光画像の露光時間は第１画像のそれよりも短いため、短露光画像に含まれるぶれは第１画像のそれよりも通常少ない。しかしながら、短露光画像への手ぶれの影響が全く無いわけではなく、短露光画像に無視できない程度のぶれが含まれることもある。そこで、短露光画像を複数取得し、その複数の短露光画像からぶれ補正に適切な第２画像を生成するようにする。これにより、ぶれ補正の高精度化が期待される。また、手ぶれ検出センサが不要であるため低コスト化も図られる。

具体的には例えば、前記第２画像生成手段は、各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を前記第２画像として選択する。

これにより、ぶれ補正に適した短露光画像、例えばぶれ量の最も少ない短露光画像を用いて第１画像のぶれ補正を行うことができるようになる。これは、ぶれ補正の高精度化に寄与する。

更に例えば、前記第２画像生成手段は、各短露光画像の、前記第１画像との撮影時間差を更に用いて、前記第２画像の選択を行う。

或るいは例えば、前記第２画像生成手段は、前記複数の短露光画像の内の２以上の短露光画像を合成することによって前記第２画像を生成する。

これにより、第２画像のＳ／Ｎ比を各短露光画像のそれよりも高めることが可能となり、結果、ぶれ補正の高精度化が見込める。

或るいは例えば、前記第２画像生成手段は、各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を選択する選択処理手段と、前記複数の短露光画像の内の２以上の短露光画像を合成した合成画像を生成する合成処理手段と、前記選択処理手段及び前記合成処理手段の何れか一方のみを機能させることにより、前記１枚の短露光画像又は前記合成画像を前記第２画像として生成する切替制御手段と、を備え、前記切替制御手段は、前記選択処理手段及び前記合成処理手段の何れを機能させるかを、各短露光画像のＳ／Ｎ比に基づいて決定する。

これにより、短露光画像のＳ／Ｎ比に応じて第２画像の生成方法を変更することができる。これは、計算コストの低減に寄与する。

また例えば、前記補正処理手段は、前記第１画像と前記第２画像に基づいて前記第１画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記第１画像の前記ぶれを補正する。

これに代えて例えば、前記補正処理手段は、前記第１画像の色信号に前記第２画像の輝度信号を合成することによって、前記第１画像の前記ぶれを補正する。

これに代えて例えば、前記補正処理手段は、前記第２画像を用いて前記第１画像を鮮鋭化することにより、前記第１画像の前記ぶれを補正する。

また、本発明に係る第２の撮像装置は、前記ぶれ補正装置と、前記撮像手段と、を備えたことを特徴とする。

また、本発明に係るぶれ補正方法は、撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得ステップと、前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成ステップと、前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理ステップと、を備えたことを特徴とする。

本発明によれば、低コスト化及び処理時間の短縮化に寄与するぶれ検出装置及びぶれ検出方法並びに撮像装置を提供することが可能となる。また、低コスト化及びぶれ補正の高精度化に寄与するぶれ補正装置及びぶれ補正方法並びに撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、露光制御部１８と、手ぶれ検出／補正部１９と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。

撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。

露光制御部１８は、撮像部１１の撮像素子の露光量が最適化されるように、撮像素子の各画素の露光時間を制御する。また、主制御部１３から露光制御部１８に対して露光時間制御信号が与えられている場合、露光制御部１８は、その露光時間制御信号に従って露光時間を制御する。

撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成し、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。

撮影モードにおいて、シャッタボタン１７ａが押下された際、主制御部１３は、１枚の撮影画像を表す画像データを記録媒体１６及び内部メモリ１４に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ検出／補正部１９によって補正される。このため、以下、シャッタボタン１７ａの押下に伴う上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。また、補正対象画像に含まれるぶれが手ぶれ検出／補正部１９によって検出されるため、補正対象画像を「検出対象画像」と言い換えることもできる。

手ぶれ検出／補正部１９は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて補正対象画像に含まれるぶれを検出し、その検出結果に従って補正対象画像を補正することにより、ぶれを除去或いは低減した補正画像を生成する。

以下、手ぶれ検出／補正部１９の機能を詳細に説明する実施例として、第１〜第５実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。尚、第１〜第４実施例における記述（及び後述の第２実施形態における記述）において、画像などが記憶される「メモリ」とは、内部メモリ１４又は手ぶれ検出／補正部１９（第２実施形態では、手ぶれ検出／補正部２０）内に設けられた図示されないメモリを意味するものとする。

［第１実施例］
まず、第１実施例について説明する。図２及び図３を参照する。図２は、第１実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図３は、この動作の流れの一部を表す概念図である。この動作の流れを、図２のフローチャートに沿って説明する。

撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像をメモリ上に記憶する（ステップＳ１及びＳ２）。第１実施例における該補正対象画像を、以下、補正対象画像Ａ１と呼ぶ。

次に、ステップＳ３において、補正対象画像Ａ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較し、露光時間Ｔ１が閾値Ｔ_THより小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２の処理を終了する。閾値Ｔ_THとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、焦点距離ｆ_Dの逆数から算出される。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第１実施例における該参照画像を、以下、参照画像Ａ２と呼ぶ。補正対象画像Ａ１と参照画像Ａ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ａ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ａ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しい。

次に、ステップＳ５において、補正対象画像Ａ１の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ａ１ａとしてメモリ上に記憶する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ（またはコントラスト量）に基づいて選定される。

次に、ステップＳ６において、補正対象画像Ａ１から抽出された小領域と同一座標の小領域を参照画像Ａ２から抽出し、参照画像Ａ２から抽出された小領域内の画像を小画像Ａ２ａとしてメモリ上に記憶する。補正対象画像Ａ１から抽出される小領域の中心座標（補正対象画像Ａ１における中心座標）と参照画像Ａ２から抽出される小領域の中心座標（参照画像Ａ２における中心座標）は等しく、また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しいため、両小領域の画像サイズも等しくされる。

参照画像Ａ２の露光時間は比較的短いので、小画像Ａ２ａの信号対雑音比（以下、Ｓ／Ｎ比という）は比較的低い。そこで、ステップＳ７にて、小画像Ａ２ａに対してノイズ除去処理を行う。ノイズ除去後の小画像Ａ２ａを、小画像Ａ２ｂとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ａ２ａをフィルタリングすることにより行われる。

小画像Ａ２ｂは低輝度であるため、ステップＳ８において、小画像Ａ２ｂの輝度レベルを増加させる。即ち例えば、小画像Ａ２ｂの輝度レベルが小画像Ａ１ａの輝度レベルと等しくなるように（小画像Ａ２ｂの平均輝度と小画像Ａ１ａの平均輝度が等しくなるように）、小画像Ａ２ｂの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ａ２ｂを、小画像Ａ２ｃとする。

上述のようにして得られた小画像Ａ１ａを劣化画像として且つ小画像Ａ２ｃを初期復元画像として取り扱った上で（ステップＳ９）、ステップＳ１０にて、フーリエ反復法を実施し、画像劣化関数を求める。

フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。

画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ａ１ａに対して求めたＰＳＦは、補正対象画像Ａ１の全体に対するＰＳＦとして利用することができる。

フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図４及び図５を参照して詳細に説明する。図４は、図２のステップＳ１０の処理の詳細フローチャートである。図５は、フーリエ反復法を実施する部位のブロック図である。

まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（本実施例において小画像Ａ２ｃ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（本実施例において小画像Ａ１ａ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。

次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（１）において、Ｆ’^*は、Ｆ’の共役複素行列であり、αは、定数である。

次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（２ａ）の拘束条件で修正した後、更に式（２ｂ）の拘束条件にて修正する。

ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（２ｂ）の拘束条件による修正である。

式（２ａ）及び（２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。

次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（３）において、Ｈ’^*は、Ｈ’の共役複素行列であり、βは、定数である。

次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。

復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（４）の拘束条件による修正である。

次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。

例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。

収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図２のステップＳ１０で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図５参照）は、順次、最新のものに更新されていく。

収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（２ａ）及び（２ｂ）を用いたステップＳ１１３における修正量、或いは、式（４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。

また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。

図２の各ステップの説明に戻る。ステップＳ１０にて、ＰＳＦが算出された後、ステップＳ１１に移行する。ステップＳ１１では、ステップＳ１０で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（３）の右辺の一部に相当する下記式（５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ１０におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（５）におけるＨ’^*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’^*及びＨ’（即ち、最終的に得られたＨ’^*及びＨ’）である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ａ１をフィルタリングすることにより、補正対象画像Ａ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第２実施例］
次に、第２実施例について説明する。

上述したように、撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行い、主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成して、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。

スルー表示用画像は、動画用の画像であり、その画像サイズは、静止画としての補正対象画像のそれよりも小さい。補正対象画像は、撮像部１１の撮像素子の有効撮像領域内における全画素の画素信号から生成される一方、スルー表示用画像は、該有効撮像領域の各画素の画素信号を間引きつつ生成される。撮影画像を、有効撮像領域内における全画素の画素信号から生成される画像と考えた場合、補正対象画像は、シャッタボタン１７ａの押下に従って通常露光撮影及び記録される撮影画像そのものであり、スルー表示用画像は、各フレームの撮影画像の間引き画像に相当する。

第２実施例では、補正対象画像が撮影されるフレームの直前或いは直後のフレームの撮影画像に基づくスルー表示用画像を参照画像として利用する。以下、補正対象画像が撮影されるフレームの直前のフレームのスルー表示用画像を利用する場合を例示する。

図６及び図７を参照する。図６は、第２実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図７は、この動作の流れの一部を表す概念図である。この動作の流れを、図６のフローチャートに沿って説明する。

撮影モードにおいて、上述の如く、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ２０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ２１及びＳ２２）。第２実施例における該補正対象画像を、以下、補正対象画像Ｂ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｂ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｂ３と呼ぶ。

次に、ステップＳ２３において、補正対象画像Ｂ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較する。露光時間Ｔ１が上記閾値Ｔ_TH（例えば、焦点距離ｆ_Dの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図６の処理を終了する。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ２４に移行して、露光時間Ｔ１と参照画像Ｂ３を得る際の露光時間Ｔ３とを比較する。Ｔ１≦Ｔ３の場合、参照画像Ｂ３の方が手ぶれが大きいとみなし、手ぶれ補正を行わずに図６の処理を終了する。Ｔ１＞Ｔ３の場合、ステップＳ２５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｂ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｂ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１実施例で述べたものと同様である。

次に、ステップＳ２６において、小画像Ｂ３ａの座標に対応して、補正対象画像Ｂ１の中から小領域を抽出する。そして、補正対象画像Ｂ１から抽出したその小領域内の画像を補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて縮小した画像を、小画像Ｂ１ａとしてメモリ上に記憶する。つまり、小画像Ｂ１ａを生成する際、小画像Ｂ１ａとＢ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。

仮に補正対象画像Ｂ１と参照画像Ｂ３の画像サイズが等しくなるように参照画像Ｂ３を拡大したならば、補正対象画像Ｂ１から抽出される小領域の中心座標（補正対象画像Ｂ１における中心座標）と参照画像Ｂ３から抽出される小領域の中心座標（参照画像Ｂ３における中心座標）は一致する。但し、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズは実際には異なるため、両小領域の画像サイズは、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて異なる。従って、補正対象画像Ｂ１から抽出される小領域の画像サイズに対する参照画像Ｂ３から抽出される小領域の画像サイズの比を、補正対象画像Ｂ１の画像サイズに対する参照画像Ｂ３の画像サイズの比と一致させる。そして、最終的に小画像Ｂ１ａとＢ３ａの画像サイズが等しくなうように、補正対象画像Ｂ１から抽出される小領域内の画像を縮小することにより小画像Ｂ１ａを得る。

次に、ステップＳ２７において、小画像Ｂ１ａ及びＢ３ａに対してエッジ抽出処理を施し、小画像Ｂ１ｂ及びＢ３ｂを得る。例えば、小画像Ｂ１ａの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｂ１ａのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｂ１ｂとする。小画像Ｂ３ｂについても同様である。

この後、ステップＳ２８において、小画像Ｂ１ｂとＢ３ｂに対して輝度正規化処理を行う。つまり、小画像Ｂ１ｂとＢ３ｂの輝度レベルが等しくなるように（小画像Ｂ１ｂの平均輝度と小画像Ｂ３ｂの平均輝度が等しくなるように）、小画像Ｂ１ｂ及び／又はＢ３ｂの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｂ１ｂ及びＢ３ｂを、小画像Ｂ１ｃ及びＢ３ｃとする。

参照画像Ｂ３としてのスルー表示用画像は動画用の画像であるため、例えば、それが動画に適した色合いを持つように動画用の画像処理を介して得られる。一方、補正対象画像Ｂ１は、シャッタボタン１７ａの押下に伴って撮影された静止画であるため、それは静止画用の画像処理を介して得られる。両画像処理間の相違に起因して、被写体が同一であっても小画像Ｂ１ａとＢ３ａ間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、ステップＳ２７にてエッジ抽出処理を行う。更に、補正対象画像Ｂ１と参照画像Ｂ３の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制される（即ち、ぶれ検出精度が向上する）が、完全に除去されるわけではないため、その後、ステップＳ２８にて輝度正規化処理を行うようにしている。

上述のようにして得られた小画像Ｂ１ｃを劣化画像として且つ小画像Ｂ３ｃを初期復元画像として取り扱った上で（ステップＳ２９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。

例えば、スルー表示用画像と補正対象画像との画像サイズ比が３：５であって且つステップＳ１０及びＳ１１を介して得られる画像復元フィルタのサイズが３×３である場合において、図８の符号１０１に示されるような各フィルタ係数が算出されたとき、縦横拡大処理によって図８の符号１０２に示されるような５×５サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、５×５サイズの画像復元フィルタの各フィルタ係数を、ステップＳ１１にて得られる各フィルタ係数とする。尚、図８の符号１０２に対応する例では、縦横拡大処理によって補間されたフィルタ係数を０としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｂ１をフィルタリングすることにより、補正対象画像Ｂ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第３実施例］
次に、第３実施例について説明する。図９及び図１０を参照する。図９は、第３実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１０は、この動作の流れの一部を表す概念図である。この動作の流れを、図９のフローチャートに沿って説明する。

撮影モードにおいて、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ３０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ３１及びＳ３２）。第３実施例における該補正対象画像を、以下、補正対象画像Ｃ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｃ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｃ３と呼ぶ。

次に、ステップＳ３３において、補正対象画像Ｃ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較する。露光時間Ｔ１が上記閾値Ｔ_TH（例えば、焦点距離ｆ_Dの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図９の処理を終了する。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、露光時間Ｔ１と参照画像Ｃ３を得る際の露光時間Ｔ３とを比較し、Ｔ１≦Ｔ３の場合、参照画像Ｃ３の方が手ぶれが大きいとみなして、以下、第１実施例と同様の手ぶれ検出及び手ぶれ補正を実行する（即ち、図２のステップＳ４〜Ｓ１３と同様の処理を行うようにする）。一方、Ｔ１＞Ｔ３の場合、ステップＳ３４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｃ２としてメモリ上に記憶する。図９において、Ｔ１とＴ３の比較に関する処理内容の記載を省略しており、以下、Ｔ１＞Ｔ３である場合について説明する。

補正対象画像Ｃ１と参照画像Ｃ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｃ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ｃ２の露光時間は、Ｔ３／４とされる。また、補正対象画像Ｃ１と参照画像Ｃ２の画像サイズは等しい。

ステップＳ３４の後、ステップＳ３５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｃ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｃ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１実施例で述べたものと同様である。

次に、ステップＳ３６において、小画像Ｃ３ａの座標に対応して、補正対象画像Ｃ１の中から小領域を抽出する。そして、補正対象画像Ｃ１から抽出した小領域内の画像を補正対象画像Ｃ１と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ１ａとしてメモリ上に記憶する。つまり、小画像Ｃ１ａを生成する際、小画像Ｃ１ａとＣ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。同様に、小画像Ｃ３ａの座標に対応して、参照画像Ｃ２の中から小領域を抽出する。そして、参照画像Ｃ２から抽出した小領域内の画像を参照画像Ｃ２と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ２ａとしてメモリ上に記憶する。補正対象画像Ｃ１（または参照画像Ｃ２）から小画像Ｃ１ａ（または小画像Ｃ２ａ）を得る手法は、第２実施例にて説明した補正対象画像Ｂ１から小画像Ｂ１ａを得る手法（図６のステップＳ２６）と同様である。

次に、ステップＳ３７において、小画像Ｃ３ａを基準として、小画像Ｃ２ａに対して輝度正規化処理を行う。つまり、小画像Ｃ３ａとＣ２ａの輝度レベルが等しくなるように（小画像Ｃ３ａの平均輝度と小画像Ｃ２ａの平均輝度が等しくなるように）、小画像Ｃ２ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ２ａを、小画像Ｃ２ｂとする。

ステップＳ３７の処理の後、ステップＳ３８に移行する。ステップＳ３８では、まず、小画像Ｃ３ａと小画像Ｃ２ｂとの差分画像を生成する。小画像Ｃ３ａとＣ２ｂとの間において差異がある部分についてのみ、差分画像の画素値は０以外の値をとる。そして、差分画像の各画素の画素値を重み付け係数と捉えて、小画像Ｃ３ａとＣ２ｂを加重加算することにより、小画像Ｃ４ａを生成する。

差分画像の各画素の画素値をＩ_D（ｐ，ｑ）で表し、小画像Ｃ３ａの各画素の画素値をＩ₃（ｐ，ｑ）で表し、小画像Ｃ２ｂの各画素の画素値をＩ₂（ｐ，ｑ）で表し、小画像Ｃ４ａの各画素の画素値をＩ₄（ｐ，ｑ）で表すとすると、Ｉ₄（ｐ，ｑ）は、下記式（６）によって表される。ここで、ｋは、定数であり、ｐ及びｑは、差分画像又は各小画像における、水平座標及び垂直座標を表す。

後述の説明からも明らかとなるが、小画像Ｃ４ａは、補正対象画像Ｃ１のぶれに対応するＰＳＦを算出するための画像として利用される。良好なＰＳＦを得るためには、小画像Ｃ４ａの中に、エッジ部分を適切に保存しておく必要がある。また、当然、小画像Ｃ４ａのＳ／Ｎ比が高ければ高いほど良好なＰＳＦを得ることができる。一般的に複数の画像を加算すればＳ／Ｎ比が向上するため、小画像Ｃ３ａとＣ２ｂを加算することによって小画像Ｃ４ａを生成する訳であるが、この加算によってエッジ部分がぼけてしまうと良好なＰＳＦが得られない。

そこで、上述の如く、差分画像の画素値に応じた加重加算によって小画像Ｃ４ａを生成するようにする。この加重加算の意義を、図１１を参照して補足説明する。小画像Ｃ３ａの露光時間は小画像Ｃ２ｂの露光時間よりも長いため、図１１（ａ）に示す如く、同一のエッジ体を撮影した時における前者のぶれは後者のぶれよりも通常大きくなる。従って、両小画像を単純加算すると、図１１（ａ）に示す如くエッジ部がぼやけてしまうが、図１１（ｂ）に示す如く、両小画像間の差分画像の画素値に応じて両小画像を加重加算すれば、エッジ部は比較的良好に保存される。小画像Ｃ３ａのぶれが大きいことに起因して生じた相違部分１１０（エッジ部の劣化が異なる部分）では、Ｉ_D（ｐ，ｑ）が大きくなって小画像Ｃ２ｂの重みが大きくなり、小画像Ｃ４ａに小画像３ａの大きなエッジ部劣化が反映されにくくなるからである。逆に、非相違部分１１１では、露光時間が比較的長い小画像３ａの重みが大きくなるようにしているため、Ｓ／Ｎ比の向上効果（ノイズ低減効果）も得られる。

次に、ステップＳ３９において、小画像Ｃ１ａを基準として、小画像Ｃ４ａに対して輝度正規化処理を行う。つまり、小画像Ｃ１ａとＣ４ａの輝度レベルが等しくなるように（小画像Ｃ１ａの平均輝度と小画像Ｃ４ａの平均輝度が等しくなるように）、小画像Ｃ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ４ａを、小画像Ｃ４ｂとする。

上述のようにして得られた小画像Ｃ１ａを劣化画像として且つ小画像Ｃ４ｂを初期復元画像として取り扱った上で（ステップＳ４０）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２実施例で説明したものと同様である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｃ１をフィルタリングすることにより、補正対象画像Ｃ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第４実施例］
次に、第４実施例について説明する。図１２及び図１３を参照する。図１２は、第４実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１３は、この動作の流れの一部を表す概念図である。この動作の流れを、図１２のフローチャートに沿って説明する。

第４実施例では、まず、ステップＳ５０〜Ｓ５６の各処理が実施される。ステップＳ５０〜Ｓ５６の各処理内容は、第３実施例におけるステップＳ３０〜Ｓ３６（図９参照）のそれらと同様であるため重複する説明を割愛する。但し、第３実施例における補正画像対象Ｃ１並びに参照画像Ｃ２及びＣ３は、第４実施例において、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に読み替えられる。また例えば、参照画像Ｄ２の露光時間は、Ｔ１／４とされる。

ステップＳ５０〜Ｓ５６を経て、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に基づく小画像Ｄ１ａ、Ｄ２ａ及びＤ３ａが得られ、その後、ステップＳ５７に移行する。

ステップＳ５７では、小画像Ｄ２ａ及びＤ３ａの内、何れか一方の小画像を小画像Ｄ４ａとして選択する。選択は、様々な指標に基づいて行うことができる。

例えば、小画像Ｄ２ａのエッジ強度と小画像Ｄ３ａのエッジ強度を比較し、エッジ強度がより大きい小画像を小画像Ｄ４ａとして選択する。小画像Ｄ４ａは、フーリエ反復法の初期復元画像の基とされるが、エッジ強度が大きい画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。例えば、小画像Ｄ２ａの各画素に対して所定のエッジ検出オペレータを適用することにより小画像Ｄ２ａのエッジ抽出画像を生成し、このエッジ抽出画像の画素値の総和を小画像Ｄ２ａのエッジ強度とする。同様にして、小画像Ｄ３ａのエッジ強度も算出される。

また例えば、参照画像Ｄ２の露光時間と参照画像Ｄ３の露光時間を比較し、より短い露光時間に対応する小画像を小画像Ｄ４ａとして選択するようにしてもよい。露光時間が短い画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。また例えば、図１の操作部１７等を介して予め設定された選択情報（外部情報）に基づいて、小画像Ｄ２ａ及びＤ３ａから小画像Ｄ４ａを選択するようにしてもよい。また、上記のエッジ強度、露光時間及び選択情報を組み合せた指標値に基づいて、この選択を行うことも可能である。

次に、ステップＳ５８において、小画像Ｄ１ａを基準として、小画像Ｄ４ａに対して輝度正規化処理を行う。つまり、小画像Ｄ１ａとＤ４ａの輝度レベルが等しくなるように（小画像Ｄ１ａの平均輝度と小画像Ｄ４ａの平均輝度が等しくなるように）、小画像Ｄ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｄ４ａを、小画像Ｄ４ｂとする。

上述のようにして得られた小画像Ｄ１ａを劣化画像として且つ小画像Ｄ４ｂを初期復元画像として取り扱った上で（ステップＳ５９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１実施例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２実施例で説明したものと同様である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｄ１をフィルタリングすることにより、補正対象画像Ｄ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第５実施例］
次に、第５実施例について説明する。第５実施例では、第１〜第４実施例で述べた手ぶれ検出及び手ぶれ補正を実現する構成について説明する。図１４は、この構成を表すブロック図である。本実施例において述べられる補正対象画像は、第１〜第４実施例における補正対象画像（Ａ１、Ｂ１、Ｃ１又はＤ２）であり、本実施例において述べられる参照画像は、第１〜第４実施例における参照画像（Ａ２、Ｂ３、Ｃ２及びＣ３、又は、Ｄ２及びＤ３）である。

図１４におけるメモリ３１は、図１の内部メモリ１４にて実現される、或いは、手ぶれ検出／補正部１９内に設けられる。図１４における、劣化画像／初期復元画像設定部３２、フーリエ反復処理部３３、フィルタリング部３４及びリンギング除去部３５は、図１の手ぶれ検出／補正部１９に設けられる。

メモリ３１は、補正対象画像及び参照画像を記憶する。劣化画像／初期復元画像設定部３２は、メモリ３１の記録内容に基づき、第１〜第４実施例に述べた手法にて劣化画像及び初期復元画像を設定し、これらをフーリエ反復処理部３３に与える。例えば第１実施例を適用する場合、図２のステップＳ１〜Ｓ８の各処理を介して得られた小画像Ａ１ａ及びＡ２ｃをそれぞれ劣化画像及び初期復元画像としてフーリエ反復処理部３３に与える。

尚、劣化画像／初期復元画像設定部３２に設けられた小画像抽出部３６は、劣化画像及び初期設定画像の基となる各小画像（図３のＡ１ａ、Ａ２ａ、図１０のＣ１ａ、Ｃ２ａ、Ｃ３ａなど）を補正対象画像及び参照画像から抽出する。

フーリエ反復処理部３３は、与えられた劣化画像及び初期復元画像に基づいて、図４等を参照して説明したフーリエ反復法を実施する。画像復元フィルタ自体はフィルタリング部３４に実装されており、フーリエ反復処理部３３は、図２等のステップＳ１０及びＳ１１の各処理を実行することにより、その画像復元フィルタの各フィルタ係数を算出する。

フィルタリング部３４は、算出された各フィルタ係数を有する画像復元フィルタを補正対象画像の各画素に適用して補正対象画像をフィルタリングすることにより、フィルタリング画像を生成する。画像復元フィルタのサイズは補正対象画像の画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像の全体に対して適用することによって、補正対象画像の全体のぶれが除去される。

リンギング除去部３５は、生成されたフィルタリング画像と補正対象画像とを加重平均することにより、最終的な補正画像を生成する。例えば、加重平均は、画素ごとに行われ、画素ごとの加重平均の比率は、補正対象画像の各画素のエッジ強度に応じて定められる。

生成された最終的な補正画像は、補正対象画像に含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング部３４にて生成されるフィルタリング画像もぶれが除去或いは低減された画像であるため、フィルタリング画像も補正画像の１つである、と解釈することが可能である。

尚、上記リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。

通常露光撮影よりも短い露光時間の撮影によって参照画像は、低輝度であるものの含まれる手ぶれ量が少ないため、それのエッジ成分は、手ぶれのない画像のエッジ成分に近い。従って、上述の如く、この参照画像から得られる画像をフーリエ反復法における初期復元画像（復元画像の初期値）とする。

フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。

また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。

この際、各実施例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。

また、第２実施例では参照画像取得用の専用の撮影を必要とせず、第１、第３及び第４実施例でも参照画像取得用の専用の撮影（短時間露光撮影）は１回分であるため、撮影時の負荷増大は殆どない。また、言うまでもないが、角速度センサ等を用いることなく手ぶれ検出及び手ぶれ補正を行うため、撮像装置１の低コスト化が図られる。

尚、ＰＳＦを求めるための処理例として、フーリエ反復法に基づく図４の処理を上述したが、これに対する補足説明及び変形例を付言する（図５も参照）。図４の処理では、空間領域上における劣化画像ｇ及び復元画像ｆ’がフーリエ変換によって周波数領域上に変換されることで、周波数領域上の劣化画像ｇを表す関数Ｇ及び周波数領域上の復元画像ｆ’を表す関数Ｆ’が求められる（尚、周波数領域とは、勿論、二次元の周波数領域である）。求められた関数Ｇ及びＦ’から周波数領域上のＰＳＦを表す関数Ｈが求められ、この関数Ｈは逆フーリエ変換によって空間領域上の関数、即ち、ＰＳＦ ｈに変換される。このＰＳＦ ｈは、所定の拘束条件を用いて修正され、修正後のＰＳＦ ｈ'が求められる。このＰＳＦを修正する処理を、以下「第１の修正処理」と呼ぶ。

ＰＳＦ ｈ'はフーリエ変換によって再度、周波数領域上に変換されて関数Ｈ’が求められ、関数Ｈ’と関数Ｇから周波数領域上の復元画像を表す関数Ｆが求められる。この関数Ｆを逆フーリエ変換することによって空間領域上の復元画像ｆが得られ、この復元画像ｆが所定の拘束条件を用いて修正されて、修正後の復元画像ｆ’が求められる。この復元画像を修正する処理を、以下「第２の修正処理」と呼ぶ。

上述の例では、この後、図４のステップＳ１１８にて収束条件が満たされるまで、修正後の復元画像ｆ’を用いて上述の処理が反復されると述べた。また、反復処理が収束に向かえば修正量が小さくなるという特性を考慮し、この収束条件の成立／不成立を、第１の修正処理に対応するステップＳ１１３での修正量、又は、第２の修正処理に対応するステップＳ１１７での修正量に基づいて判断しても良いとも述べた。この判断を修正量に基づいて行う場合、基準修正量を予め設定しておき、ステップＳ１１３での修正量又はステップＳ１１７での修正量と基準修正量とを比較して、前者が後者よりも小さい場合に収束条件が成立すると判断することになるが、基準修正量を十分に大きく設定しておけば、ステップＳ１１０〜Ｓ１１７の処理は反復実行されない。つまり、この場合、第１の修正処理を１回だけ行って得たＰＳＦ ｈ'が、図２等のステップＳ１０で導出されるべき最終的なＰＳＦとなる。このように、図４の処理を用いたとしても、第１及び第２の修正処理が繰り返し実行されるとは限らない。

第１及び第２の修正処理の繰り返し実行回数の増大は、最終的に求まるＰＳＦの精度向上に寄与するが、本実施形態では初期復元画像自体が既に手ぶれのない画像に近いため、第１の修正処理を１回だけ行って得たＰＳＦ ｈ’の精度も、実用上、問題ない程度に高い。これを考慮すれば、ステップＳ１１８の判定処理自体を省略することも可能である。この場合、１回だけステップＳ１１３の処理を実行することで求まるＰＳＦ ｈ’が図２等のステップＳ１０で導出されるべき最終的なＰＳＦとなり、１回だけステップＳ１１４の処理を実行することで求まる関数Ｈ’から、図２等のステップＳ１１で導出されるべき画像復元フィルタの各フィルタ係数が求まる。故に、ステップＳ１１８の処理を省略する場合は、ステップＳ１１５〜Ｓ１１７の処理も割愛される。

第１実施形態に対する変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合せることが可能である。

［注釈１］
第１、第３又は第４実施例において（図３、図１０又は図１３参照）、参照画像Ａ２、Ｃ２又はＤ２は補正対象画像を得るための通常露光撮影の直後の短時間露光撮影によって得られると説明したが、それらを、その通常露光撮影の直前の短時間露光撮影によって得るようにしても構わない。この場合、第３又は第４実施例における参照画像Ｃ３又はＤ３を、補正対象画像を撮影するフレームの直後のフレームにおけるスルー表示用画像とすればよい。

［注釈２］
各実施例では、各小画像からフーリエ反復法に対する劣化画像及び初期復元画像を生成する過程において、各小画像に対して、ノイズ除去処理、輝度正規化処理、エッジ抽出処理及び画像サイズ正規化処理（図３、図７、図１０及び図１３参照）の内の何れか１以上の処理を適用している。各実施例で述べたこれらの処理の適用方法は、あくまで例であり、様々に変更可能である。極端には、各実施例における劣化画像及び初期復元画像の生成過程において、各小領域に対して上記の４つの処理の全てを施すことも可能である（但し、第１実施例においては、画像サイズ正規化処理は無意味である）。

［注釈３］
補正対象画像または参照画像からエッジ成分を比較的多く含む特徴的な小領域を抽出する手法として、様々な手法が採用可能である。例えば、オートフォーカス制御において算出されるＡＦ評価値を流用して、この抽出を行ってもよい。このオートフォーカス制御は、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いる。

撮像装置１にはＡＦ評価部（不図示）が設けられており、ＡＦ評価部は、各撮影画像（又は各スルー表示用画像）を複数の分割領域に分割して、分割領域内の画像のコントラスト量に応じたＡＦ評価値を分割領域ごとに算出する。図１の主制御部１３は、上記複数の分割領域の内の何れかの分割領域についてのＡＦ評価値を参照して、このＡＦ評価値が最大値（或いは極大値）をとるように山登り制御によって撮像部１１のフォーカスレンズの位置を制御することにより、被写体の光学像を撮像素子の撮像面上に結像させる。

このようなオートフォーカス制御が実行される場合において、補正対象画像または参照画像から特徴的な小領域を抽出する際、その抽出元画像の各分割領域についてのＡＦ評価値を参照するようにする。例えば、抽出元画像の各分割領域についてのＡＦ評価値の内、最大のＡＦ評価値を特定し、その最大のＡＦ評価値に対応する分割領域（又は該分割領域を基準とした領域）を特徴的な小領域として抽出するようにする。ＡＦ評価値は、分割領域内の画像のコントラスト量（或いはエッジ成分）の増大に伴って増大するため、これによっても、エッジ成分を比較的多く含む小領域を特徴的な小領域として抽出することが可能である。

［注釈４］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

［注釈５］
また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１４に示される各部位（但し、メモリ３１を除く）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置１の外部装置（コンピュータ等）にて実現することも可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図１４の各部位（但し、メモリ３１を除く）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈６］
図１４において、劣化画像／初期復元画像設定部３２とフーリエ反復処理部３３はぶれ検出装置を形成し、ぶれ補正装置は、フィルタリング部３４及びリンギング除去部３５を含んで構成される。但し、このぶれ補正装置から、リンギング除去部３５を省略することも可能である。また、このぶれ補正装置内に、上記ぶれ検出装置が含まれていると考えることもできる。また、上記ぶれ検出装置はメモリ３１（保持手段）を含みうる。尚、図１においては、手ぶれ検出／補正部１９が、ぶれ検出装置として機能すると共にぶれ補正装置としても機能する。

フーリエ反復処理部３３、又は、劣化画像／初期復元画像設定部３２とフーリエ反復処理部３３は、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成する手段として機能する。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。第２実施形態は、第１実施形態の変形例に相当し、第１実施形態の記載事項は、矛盾なき限り、第２実施形態にも適用される。図１７は、第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、符号１１〜１８及び２０にて参照される各部位によって形成される。即ち、図１の撮像装置１における手ぶれ検出／補正部１９を手ぶれ検出／補正部２０に置き換えることで撮像装置１ａは形成され、その他の点において両撮像装置は同様であるので、同様の部分の重複する説明を割愛する。

撮像装置１ａでは、撮影モードにおいてシャッタボタン１７ａが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像Ｅ１としてメモリ上に記憶する。補正対象画像Ｅ１を得る際の露光時間（露光時間の長さ）をＴ１にて表す。また、補正対象画像Ｅ１を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｅ２としてメモリ上に記憶する。補正対象画像Ｅ１と参照画像Ｅ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｅ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を介して撮像部１１を制御する。例えば、参照画像Ｅ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｅ１と参照画像Ｅ２の画像サイズは等しいものとする。

尚、露光時間Ｔ１と第１実施形態で述べた閾値Ｔ_TH（手ぶれ限界露光時間）を比較し、前者が後者より小さい場合、補正対象画像Ｅ１に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行わないようにしてもよい。また、その場合は、参照画像Ｅ２を得るための短時間露光撮影を不実行とするとよい。

補正対象画像Ｅ１と参照画像Ｅ２が得られた後、参照画像Ｅ２から特徴的な小領域を抽出する一方で、参照画像Ｅ２から抽出された小領域に対応する小領域を補正対象画像Ｅ１から抽出する。抽出される小領域を、例えば、１２８×１２８画素の小領域とする。特徴的な小領域の意義及び抽出手法は第１実施形態で述べた通りである。本実施形態では、参照画像Ｅ２から複数の特徴的な小領域を抽出するものとする。このため、補正対象画像Ｅ１からもそれと同数の小領域が抽出される。今、図１８に示す如く、参照画像Ｅ２から８つの小領域が抽出されたものとし、その８つの小領域内の画像（斜線領域内画像）を小画像ＧＲ₁〜ＧＲ₈と呼ぶ。一方で、小画像ＧＲ₁〜ＧＲ₈に対応して補正対象画像Ｅ１から抽出された８つの小領域内の画像（斜線領域内画像）を小画像ＧＬ₁〜ＧＬ₈と呼ぶ。

ｉを１以上８以下の整数であるとした場合、小画像ＧＲ_iと小画像ＧＬ_iの画像サイズは等しい。補正対象画像Ｅ１と参照画像Ｅ２との間の位置ずれを無視できる場合は、参照画像Ｅ２から抽出される小画像ＧＲ_iの中心座標（参照画像Ｅ２内における中心座標）と、その小画像ＧＲ_iに対応して補正対象画像Ｅ１から抽出される小画像ＧＬ_iの中心座標（補正対象画像Ｅ１内における中心座標）とが等しくなるように小領域の抽出を行う。その位置ずれを無視できない場合は、テンプレートマッチング法などを利用して対応小領域の探索を行うようにしても良い（尚、これは、第１実施形態にも当てはまる）。即ち例えば、小画像ＧＲ_iをテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を補正対象画像Ｅ１内から探索し、探索された小領域内の画像を小画像ＧＬ_iとする。

図１９に、小画像ＧＬ₁及びＧＲ₁の拡大図を示す。図１９では、輝度の高い部分を白く、輝度の低い部分を黒く表している。また、水平方向及び垂直方向に輝度変化が急峻なエッジが小画像ＧＬ₁内及び小画像ＧＲ₁内に存在していた場合を想定する。更に、小画像ＧＬ₁を含む補正対象画像Ｅ１の露光期間内に水平方向の手ぶれが撮像装置１ａに作用していた場合を想定する。このため、短時間露光撮影に基づく小画像ＧＲ₁内ではエッジがぼけていないが、通常露光撮影に基づく小画像ＧＬ₁内ではエッジが水平方向にぼけている。

このような小画像ＧＲ₁に対して、任意のエッジ検出オペレータを用いたエッジ抽出処理を施すことにより、図２０に示すようなエッジ抽出画像ＥＲ₁を生成する。図２０のエッジ抽出画像ＥＲ₁において、エッジ強度の強い部分を白く、エッジ強度の弱い部分を黒く表している。小画像ＧＲ₁内の直線状のエッジに沿った部分がエッジ強度の強い部分として、エッジ抽出画像ＥＲ₁内に現れる。このエッジ抽出画像ＥＲ₁に公知のハフ変換を適用することによりエッジに沿った直線を抽出する。抽出された直線を小画像ＧＲ₁に重畳したものを、図２０の右方に示す。今の例では、小画像ＧＲ₁に対して、垂直方向に沿って伸びる直線ＨＲ₁₁と水平方向に沿って伸びる直線ＨＲ₁₂が抽出される。

この後、直線ＨＲ₁₁及びＨＲ₁₂に対応する直線ＨＬ₁₁及びＨＬ₁₂を小画像ＧＬ₁から抽出する。図２１に、抽出された直線ＨＬ₁₁及びＨＬ₁₂を小画像ＧＬ₁に重畳して示す。図２１には、直線ＨＲ₁₁及びＨＲ₁₂を重畳した小画像ＧＲ₁も示されている。対応する直線の方向は互いに等しい。即ち、直線ＨＬ₁₁と直線ＨＲ₁₁の伸びる方向は等しく、直線ＨＬ₁₂と直線ＨＲ₁₂の伸びる方向は等しい。

各直線を抽出した後、各直線の直交方向における、小画像内の輝度値の分布を求める。この分布は、抽出された各小画像に対して求められる。小画像ＧＬ₁及びＧＲ₁に関しては、直線ＨＬ₁₁と直線ＨＲ₁₁は画像の垂直方向に平行であり、且つ、直線ＨＬ₁₂と直線ＨＲ₁₂は画像の水平方向に平行である。従って、直線ＨＬ₁₁と直線ＨＲ₁₁に着目した場合、画像の水平方向における輝度値の分布が求められ、直線ＨＬ₁₂と直線ＨＲ₁₂に着目した場合、画像の垂直方向における輝度値の分布が求められる。

輝度値の分布の求め方を図２２及び図２３を参照して、具体的に説明する。図２２において、小画像ＧＬ₁内に示された各実線矢印は直線ＨＬ₁₁に直交する方向に輝度値が走査される様子を示している。直線ＨＬ₁₁の直交方向は水平方向であるため、小画像ＧＬ₁の左端の或る点を起点として左から右に向かって走査しつつ小画像ＧＬ₁内の各画素の輝度値を取得していくことにより、直線ＨＬ₁₁の直交方向における輝度値の分布を求める。但し、直線ＨＬ₁₁に対応するエッジが存在する部分を横切るように走査を行うものとする。即ち、輝度値の勾配が急峻な部分に対して輝度値の分布を求めるようにする。従って、図２２の破線矢印に沿っては、走査は行われない（後述する図２３でも同様）。１つのライン（今の場合、水平ライン）のみに着目して求めた分布ではノイズ成分の影響が大きいので、小画像ＧＬ₁内の複数のラインに対して同様の分布を求め、求めた複数の分布の平均を、直線ＨＬ₁₁に対して最終的に求めるべき分布２０１とする。

同様にして、直線ＨＲ₁₁に対しても分布を求める。図２２において、小画像ＧＲ₁内に示された各実線矢印は直線ＨＲ₁₁に直交する方向に輝度値が走査される様子を示している。直線ＨＲ₁₁の直交方向は水平方向であるため、小画像ＧＲ₁の左端の或る点を起点として左から右に向かって走査しつつ小画像ＧＲ₁内の各画素の輝度値を取得していくことにより、直線ＨＲ₁₁の直交方向における輝度値の分布を求める。但し、直線ＨＲ₁₁に対応するエッジが存在する部分を横切るように走査を行うものとする。即ち、輝度値の勾配が急峻な部分に対して輝度値の分布を求めるようにする。従って、図２２の破線矢印に沿っては、走査は行われない（後述する図２３でも同様）。１つのライン（今の場合、水平ライン）のみに着目して求めた分布ではノイズ成分の影響が大きいので、小画像ＧＲ₁内の複数のラインに対して同様の分布を求め、求めた複数の分布の平均を、直線ＨＲ₁₁に対して最終的に求めるべき分布２０２とする。

図２２の分布２０１及び２０２を示す各グラフにおいて、横軸は画素の水平位置を表し、縦軸は輝度値を表している。分布２０１及び２０２から分かるように、画像の垂直方向に伸びるエッジ部分を境に輝度値は急激に変化しているが、通常露光撮影に対応する分布２０１では、露光期間中の手ぶれに由来して、その輝度値の変化が比較的緩やかとなっている。直線ＨＬ₁₁に対応する小画像ＧＬ₁内のエッジ部分において、輝度値が変化し始めてから変化し終わるまでの水平方向の画素数をＷＬ₁₁で表し、直線ＨＲ₁₁に対応する小画像ＧＲ₁内のエッジ部分において、輝度値が変化し始めてから変化し終わるまでの水平方向の画素数をＷＲ₁₁で表す。また、このようにして求められたＷＬ₁₁やＷＲ₁₁を、エッジ幅と呼ぶ。この例では、「ＷＬ₁₁＞ＷＲ₁₁」となっており、参照画像Ｅ２に含まれるぶれを無視した場合、エッジ幅の差「ＷＬ₁₁−ＷＲ₁₁」は、補正対象画像Ｅ１の露光期間中に生じた水平方向の手ぶれ量を画素を単位として表した値と考えることができる。

上述のエッジ幅を求める処理を、小画像ＧＬ₁及びＧＲ₁から抽出された各直線に対して実行する。今の例の場合、小画像ＧＬ₁及びＧＲ₁から抽出された直線ＨＬ₁₂及びＨＲ₁₂に対しても、上述のエッジ幅を求める。

図２３において、小画像ＧＬ₁内に示された各実線矢印は直線ＨＬ₁₂に直交する方向に輝度値が走査される様子を示している。直線ＨＬ₁₂に対応するエッジが存在する部分を横切るように垂直方向に走査しつつ小画像ＧＬ₁内の各画素の輝度値を取得していくことにより、直線ＨＬ₁₂の直交方向における輝度値の分布を求める。走査を複数のライン（今の場合、垂直ライン）に対して行い、得られた複数の分布の平均を、直線ＨＬ₁₂に対して最終的に求めるべき分布２１１とする。図２３において、小画像ＧＲ₁内に示された各実線矢印は直線ＨＲ₁₂に直交する方向に輝度値が走査される様子を示している。直線ＨＲ₁₂に対応するエッジが存在する部分を横切るように垂直方向に走査しつつ小画像ＧＲ₁内の各画素の輝度値を取得していくことにより、直線ＨＲ₁₂の直交方向における輝度値の分布を求める。走査を複数のライン（今の場合、垂直ライン）に対して行い、得られた複数の分布の平均を、直線ＨＲ₁₂に対して最終的に求めるべき分布２１２とする。

そして、分布２１１及び２１２に基づいてエッジ幅ＷＬ₁₂及びＷＲ₁₂を求める。エッジ幅ＷＬ₁₂は、直線ＨＬ₁₂に対応する小画像ＧＬ₁内のエッジ部分において輝度値が変化し始めてから変化し終わるまでの垂直方向の画素数を表し、エッジ幅ＷＲ₁₂は、直線ＨＲ₁₂に対応する小画像ＧＲ₁内のエッジ部分において輝度値が変化し始めてから変化し終わるまでの垂直方向の画素数を表す。この例では、「ＷＬ₁₂≒ＷＲ₁₂」となっている。これは、補正対象画像Ｅ１の露光期間中に垂直方向の手ぶれが殆ど発生しなかったことに対応している。

小画像ＧＬ₁及びＧＲ₁に着目してエッジ幅の算出法を説明したが、他の小画像ＧＬ₂〜ＧＬ₈及びＧＲ₂〜ＧＲ₈に対しても上述と同様にしてエッジ幅及びエッジ幅の差を求める。小画像の番号を表す変数をｉとし、直線の番号を表す変数をｊとする（ｉ及びｊは整数）。そうすると、小画像ＧＬ_i及びＧＲ_iから直線ＨＬ_ij及びＨＲ_ijが抽出された後、直線ＨＬ_ij及びＨＲ_ijに対するエッジ幅ＷＬ_ij及びＷＲ_ijが求められる。その後、エッジ幅の差を表すＤ_ijが、式「Ｄ_ij＝ＷＬ_ij−ＷＲ_ij」に従って算出される。仮に、小画像ＧＬ₁〜ＧＬ₈の夫々から２本ずつ直線が抽出されたならば、計１６個のエッジ幅の差Ｄ_ijが求められる（ここで、ｉは１以上８以下の整数、ｊは１又は２）。

本実施形態では、求められた複数の差Ｄ_ijの最大値に対応する直線ペアを手ぶれ検出用直線ペアとして特定し、その手ぶれ検出直線ペアに対応するエッジ幅の差及び直線方向から補正対象画像Ｅ１の全体に対するＰＳＦを求める。

例えば、求められた複数の差Ｄ_ijの内、図２２に対応する差Ｄ₁₁（＝ＷＬ₁₁−ＷＲ₁₁）が最大であった場合を考える。この場合、直線ＨＬ₁₁及びＨＲ₁₁が手ぶれ検出用直線ペアとして特定され、直線ＨＬ₁₁及びＨＲ₁₁に対応する差Ｄ₁₁が最大差を表す変数Ｄ_MAXに代入される。そして、直線ＨＬ₁₁の直交方向に画像を平滑化するための平滑化関数を作成する。この平滑化関数は、図２４に示すような、直線ＨＬ₁₁の直交方向におけるタップ数（フィルタサイズ）がＤ_MAXの空間フィルタ２２０で表される。この空間フィルタ２２０では、直線ＨＬ₁₁の直交方向に沿った要素に対してのみ０以外の一定のフィルタ係数が与えられ、その他の要素には０のフィルタ係数が与えられる。図２４の空間フィルタは、５×５のフィルタサイズを有し、垂直方向の真ん中の行の各要素に対してのみ１のフィルタ係数が与えられており、他の要素のフィルタ係数は０となっている。尚、実際には、全フィルタ係数の総和が１となるように正規化が行われる。

そして、手ぶれ検出／補正部２０は、この平滑化関数を補正対象画像Ｅ１の全体にとってのＰＳＦとして取り扱うことにより、補正対象画像Ｅ１のぶれを補正する。上記のＰＳＦは、補正対象画像Ｅ１の露光期間中に撮像装置１ａに作用した手ぶれの方向及び速度が一定であるという仮定の下で、良好に機能する。この仮定が正しく、上記の平滑化関数が正確に補正対象画像Ｅ１のＰＳＦを表しているならば、ぶれのない理想画像に空間フィルタ２２０を用いた空間フィルタリングを施すことで補正対象画像Ｅ１と同等の画像が得られることになる。

図２５は、上述の処理動作を含む、手ぶれ検出の動作の流れを表すフローチャートである。図２５に示すステップＳ１５１〜Ｓ１５５の各処理は、手ぶれ検出／補正部２０によって実行される。

補正対象画像Ｅ１及び参照画像Ｅ２を取得した後、ステップＳ１５１において、参照画像Ｅ２から複数の特徴的な小領域を抽出し、各小領域内の画像を小画像ＧＲ_iとしてメモリ上に記憶する。続くステップＳ１５２において、各小画像ＧＲ_iに対応する小領域を補正対象画像Ｅ１から抽出し、補正対象画像Ｅ１から抽出した小領域内の画像を小画像ＧＬ_iとしてメモリ上に記憶する。この時点で、例えば、図１８に示す如く小画像ＧＬ₁〜ＧＬ₈と小画像ＧＲ₁〜ＧＲ₈が生成される。

ステップＳ１５２の処理の後、ステップＳ１５３に移行する。ステップＳ１５３では、変数ｉに対するループ処理が繰り返し実行され、そのループ処理に変数ｊに対するループ処理が内在している。ステップＳ１５３では、小画像ＧＲ_iのエッジ抽出画像ＥＲ_iが生成され、そのエッジ抽出画像ＥＲ_iから１又は複数の直線ＨＲ_ijが抽出され、更に、直線ＨＲ_ijに対応する直線ＨＬ_ijが小画像ＧＬ_iから抽出される。そして、互いに対応する直線ＨＬ_ij及びＨＲ_ijに着目し、それらのエッジ幅ＷＬ_ij及びＷＲ_ijを算出して、その差Ｄ_ij（＝ＷＬ_ij−ＷＲ_ij）を求める。ステップＳ１５３では、変数ｉがとりうる値の夫々に対して且つ変数ｊがとりうる値の夫々に対して同様の処理を行う。この結果、ステップＳ１５３からステップＳ１５４に移行する時点では、ｉとｊの全ての組み合わせに対する差Ｄ_ijが算出されている。例えば、ステップＳ１５１にて８個の小領域が抽出されることによって小画像ＧＲ₁〜ＧＲ₈が生成され且つ小画像ＧＲ₁〜ＧＲ₈の夫々から２本ずつ直線が抽出されたならば、計１６個のエッジ幅の差Ｄ_ijが求められる（ここで、ｉは１以上８以下の整数、ｊは１又は２）。

ステップＳ１５４では、ステップＳ１５３で求められた全てのエッジ幅の差Ｄ_ijの内の最大値Ｄ_MAXを特定し、その最大値Ｄ_MAXに対応する直線ペアを手ぶれ検出用直線ペアとして特定する。更に、ステップＳ１５５において、その手ぶれ検出用直線ペアと最大値Ｄ_MAXから、平滑化関数として表されるＰＳＦを算出する。例えば、求められた全ての差Ｄ_ijの内、図２２に対応する差Ｄ₁₁（＝ＷＬ₁₁−ＷＲ₁₁）が最大値Ｄ_MAXであった場合は、直線ＨＬ₁₁及びＨＲ₁₁が手ぶれ検出用直線ペアとして特定されて、図２４の空間フィルタ２２０によって表されるＰＳＦが算出される。

ＰＳＦが算出された後の手ぶれ補正動作は、第１実施形態で述べたものと同様である。即ち、手ぶれ検出／補正部２０は、ステップＳ１５５で求めたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求め、この各フィルタ係数を有する画像復元フィルタを用いて補正対象画像Ｅ１の全体をフィルタリングする。そして、このフィルタリング後の画像、又は、それにリンギング除去処理を施した画像を、最終的な補正画像とする。この補正画像は、補正対象画像Ｅ１に含まれるぶれが除去或いは低減された画像となる。

本実施形態では、補正対象画像Ｅ１の露光期間中に撮像装置１ａに作用した手ぶれの方向及び速度が一定であるという仮定の下で画像劣化関数としてのＰＳＦ（換言すれば、畳み込み劣化関数）を求めているため、その仮定が当てはまらないような手ぶれに対しては、補正効果は低くなる。しかしながら、少ない処理量にて簡便にＰＳＦを求めることができるため、実用的である。

また、本実施形態に上述の第２実施例（図７参照）を適用し、補正対象画像Ｅ１を得るための通常露光撮影の直前又は直後に取得されたスルー表示用画像から参照画像Ｅ２を生成することも可能である（但し、そのスルー表示用画像の露光時間が、補正対象画像Ｅ１の露光時間よりも短い必要がある）。そのスルー表示用画像の画像サイズが補正対象画像Ｅ１のそれよりも小さい場合は、両者の画像サイズを同じとするための画像拡大処理をスルー表示用画像に施して、参照画像Ｅ２を生成すればよい。逆に、通常露光撮影によって得られた画像に画像縮小処理を施すことで、画像サイズの同一化を図ってもよい。

また、本実施形態に上述の第４実施例（図１３参照）を適用し、補正対象画像Ｅ１を得るための通常露光撮影の直前及び直後に取得された２つの参照画像の内の、何れか一方の参照画像から参照画像Ｅ２を生成するようにしても良い。その２つの参照画像の内の一方は、スルー表示用画像でありうる。勿論、その２つの参照画像の各露光時間は、補正対象画像Ｅ１の露光時間よりも短いものとする。

尚、第１実施形態に対して上述した注釈３〜注釈５の記載内容を、第２実施形態に適用することも可能である。図１７の手ぶれ検出／補正部２０は、ぶれ検出装置として機能すると共にぶれ補正装置としても機能する。手ぶれ検出／補正部２０に、補正対象画像の全体に対するＰＳＦを作成するぶれ情報作成手段や補正対象画像や参照画像の一部画像としての小画像を抽出する抽出手段が内在している。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。短時間露光撮影によって得られた画像（以下「短露光画像」ともいう）に含まれるぶれは通常露光撮影によって得られた画像（以下「通常露光画像」ともいう）のそれよりも小さく、故に、上述してきた手ぶれ補正方法は非常に有益ではある。しかし、短露光画像への手ぶれの影響が全く無いわけではなく、短時間露光撮影の露光期間中の手ぶれや被写体ぶれ（被写体の実空間上における動き）により、短露光画像に無視できない程度のぶれが含まれることもある。そこで、第３実施形態では、複数回の短時間露光撮影によって複数の短露光画像を取得し、その複数の短露光画像から、通常露光画像の手ぶれ補正に用いる参照画像を生成するようにする。

図２６は、第３実施形態に係る撮像装置１ｂの全体ブロック図である。撮像装置１ｂは、符号１１〜１８及び２１にて参照される各部位を備える。符号１１〜１８にて参照される各部位は、図１のそれらと同じものであり、同一の部分に対する重複する説明を省略する。図１の撮像装置１における手ぶれ検出／補正部１９を手ぶれ補正部２１に置換すれば撮像装置１ｂが得られる。

撮影モードにおいてシャッタボタン１７ａが押下された際、通常露光撮影が行われ、主制御部１３は、この撮影によって得られた１枚の撮影画像を表す画像データを記録媒体１６及び内部メモリ１４に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ補正部２１によって補正される。このため、第１実施形態と同様、通常露光撮影によって得られた上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。手ぶれ補正部２１は、角速度センサ等の手ぶれ検出センサを用いることなく、撮像部１１の出力信号から得られる画像データに基づいて補正対象画像に含まれるぶれを補正する。

以下、手ぶれ補正部２１の機能を詳細に説明する実施例として、第６〜第１１実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。尚、以下の記述において、単に「メモリ」といった場合、それは、内部メモリ１４又は手ぶれ補正部２１内に設けられた図示されないメモリを意味するものとする。

［第６実施例］
まず、第６実施例について説明する。第６実施例では、複数の短露光画像の中から、例えば、最も含まれるぶれが少ないと推定される１枚の短露光画像を選択する。そして、その選択した短露光画像を参照画像として且つ通常露光撮影によって得られた画像を補正対象画像として取り扱って、補正対象画像と参照画像に基づき補正対象画像の手ぶれ補正を行う。図２７は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。

撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する（ステップＳ２０１及びＳ２０２）。次に、ステップＳ２０３において、補正対象画像Ｌｗを得る際の露光時間Ｔ１と閾値Ｔ_THとを比較し、露光時間Ｔ１が閾値Ｔ_THより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２７の処理を終了する。閾値Ｔ_THとしては、例えば、焦点距離ｆ_Dの逆数から算出される手ぶれ限界露光時間を用いる。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、主制御部１３の制御の下、通常露光撮影に続けて短時間露光撮影がＮ回連続して実行され短露光画像Ｃｗ₁〜Ｃｗ_Nが取得される。手ぶれ補正部２１は、ステップＳ２０６〜Ｓ２０９の処理を実行することによって、短露光画像Ｃｗ₁〜Ｃｗ_Nに対する評価値Ｋ₁〜Ｋ_Nを算出し、評価値Ｋ₁〜Ｋ_Nに基づいて短露光画像Ｃｗ₁〜Ｃｗ_Nの中から１枚の短露光画像を参照画像として選択する。ここで、Ｎは、２以上の整数であり例えば４である。補正対象画像Ｌｗと短露光画像Ｃｗ₁〜Ｃｗ_Nは連続撮影によって得られることになるが、各短露光画像を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を制御する。例えば、各短露光画像の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｌｗと各短露光画像の画像サイズは等しい。

各ステップの処理内容を、より具体的に説明する。露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ２０３からステップＳ２０４に移行する。ステップＳ２０４では、変数ｉが導入され且つ変数ｉに初期値１が代入される。その後、ステップＳ２０５に移行し、短時間露光撮影が１回実行され、これによって得られた短露光画像を短露光画像Ｃｗ_iとしてメモリ上に記憶する。このメモリは、短露光画像の画像データを１枚分記憶可能な短露光画像用メモリである。従って、例えば、ｉ＝１の時には短露光画像Ｃｗ₁が短露光画像用メモリ上に記憶され、ｉ＝２の時には短露光画像Ｃｗ₂が短露光画像用メモリ上に上書き記憶される。

ステップＳ２０５に続くステップＳ２０６において、手ぶれ補正部２１は、短露光画像Ｃｗ_iに対する評価値Ｋ_iを算出する。原則として、評価値Ｋ_iは、短露光画像Ｃｗ_iに含まれるぶれの大きさ（以下、「ぶれ量」ともいう）に応じた値をとり、短露光画像Ｃｗ_iのぶれ量が小さければ小さいほど評価値Ｋ_iは大きくなる（例外を含めた、評価値Ｋ_iの算出法は第９実施例にて詳説される）。

その後、ステップＳ２０７に移行し、ステップＳ２０６にて算出された最新の評価値Ｋ_iと今まで算出された評価値（即ち、Ｋ₁〜Ｋ_i-1）の最大値を表す変数Ｋ_MAXを比較し、前者が後者よりも大きい場合或いは変数ｉが１である場合は、ステップＳ２０８にて短露光画像Ｃｗ_iを参照画像Ｒｗとしてメモリ上に記憶すると共にステップＳ２０９にて評価値Ｋ_iを変数Ｋ_MAXに代入してからステップＳ２１０に移行する。一方、「ｉ≠１」且つ「Ｋ_i≦Ｋ_MAX」が成立する場合は、ステップＳ２０７からステップＳ２１０に直接移行する。ステップＳ２１０では、変数ｉがＮの値と合致するかが判断され、「ｉ＝Ｎ」である場合にはステップＳ２１０からステップＳ２１２に移行する一方、「ｉ≠Ｎ」である場合にはステップＳ２１０からステップＳ２１１に移行して変数ｉに１を加えてからステップＳ２０５に戻り、ステップＳ２０５以降の上述の各処理が繰り返し実行される。

この結果、ステップＳ２０５及びＳ２０６の各処理はＮ回実行され、ステップＳ２１２に至る時点では、短露光画像Ｃｗ₁〜Ｃｗ_Nに対する評価値Ｋ₁〜Ｋ_Nが全て算出されて、評価値Ｋ₁〜Ｋ_Nの内の最大値が変数Ｋ_MAXに代入されていると共に該最大値に対応する短露光画像が参照画像Ｒｗとしてメモリ上に記憶されている。例えば、評価値Ｋ₁〜Ｋ_Nの内、評価値Ｋ_N-1が最大であるのであれば、短露光画像Ｃｗ_N-1が参照画像Ｒｗとしてメモリ上に記憶された状態でステップＳ２１２に至る。尚、参照画像Ｒｗが記憶されるメモリは、参照画像Ｒｗの画像データを１枚分記憶可能な参照画像用メモリであり、新たな画像データを参照画像用メモリ上に記憶する必要がある場合は、古い画像データが記憶されたメモリ領域に対して新たな画像データが上書き記憶される。

ステップＳ２１２おいて、手ぶれ補正部２１は、参照画像用メモリ上に記憶された参照画像ＲｗとステップＳ２０２にて得られた補正対象画像Ｌｗに基づいて補正対象画像Ｌｗに対する手ぶれ補正を実施し、補正対象画像Ｌｗにおけるぶれが低減された補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。

上述の如く参照画像Ｒｗを生成することにより、例えば、複数の短時間露光撮影中の一部の期間において大きな手ぶれや被写体ぶれが生じたとしても、手ぶれの影響の小さな短露光画像が参照画像Ｒｗとして選択されるため、精度よく手ぶれ補正を実行することが可能となる。一般に、手ぶれによって画像の高域周波数成分が減衰することになるが、手ぶれの影響が最も少ない短露光画像を参照画像として利用するようにすれば、より高域の周波数成分に対してまで手ぶれ補正を行うことができる。また、ステップＳ２０５〜Ｓ２１１のように処理して短露光画像及び参照画像を上書き記憶することにより、短露光画像用メモリ及び参照画像用メモリの夫々の必要メモリ容量を１枚の画像分に抑えることができる。

［第７実施例］
次に、第７実施例について説明する。第７実施例では、複数の短露光画像の中から、例えば、ぶれ量が比較的少ないと推定される２以上の短露光画像を選択し、選択した短露光画像を合成することによって１枚の参照画像を生成する。そして、その生成した参照画像と通常露光撮影によって得られた補正対象画像に基づき補正対象画像の手ぶれ補正を行う。図２８は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。

撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する（ステップＳ２２１及びＳ２２２）。次に、ステップＳ２２３において、補正対象画像Ｌｗを得る際の露光時間Ｔ１と上記の閾値Ｔ_THとを比較し、露光時間Ｔ１が閾値Ｔ_THより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２８の処理を終了する。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、主制御部１３の制御の下、通常露光撮影に続けて短時間露光撮影がＮ回連続して実行され短露光画像Ｃｗ₁〜Ｃｗ_Nが取得される。手ぶれ補正部２１は、ステップＳ２２６及びＳ２２７の処理を実行することによって、短露光画像Ｃｗ₁〜Ｃｗ_Nに対する評価値Ｋ₁〜Ｋ_Nを算出し、評価値Ｋ₁〜Ｋ_Nに基づいて短露光画像Ｃｗ₁〜Ｃｗ_Nの中からＭ枚の短露光画像を選択する。ここで、Ｍは、２以上の整数であり、不等式「Ｎ＞Ｍ」が成立する。従って、第７実施例では、Ｎは３以上の整数とされる。例えば、Ｎ＝４とする。補正対象画像Ｌｗと短露光画像Ｃｗ₁〜Ｃｗ_Nは連続撮影によって得られることになるが、各短露光画像を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、露光制御部１８を制御する。例えば、各短露光画像の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ｌｗと各短露光画像の画像サイズは等しい。

各ステップの処理内容を、より具体的に説明する。露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ２２３からステップＳ２２４に移行する。ステップＳ２２４では、変数ｉが導入され且つ変数ｉに初期値１が代入される。その後、ステップＳ２２５に移行し、短時間露光撮影が１回実行され、これによって得られた短露光画像を短露光画像Ｃｗ_iとしてメモリ上に記憶する。このメモリは、短露光画像の画像データを１枚分記憶可能な短露光画像用メモリである。従って、例えば、ｉ＝１の時には短露光画像Ｃｗ₁が短露光画像用メモリ上に記憶され、ｉ＝２の時には短露光画像Ｃｗ₂が短露光画像用メモリ上に上書き記憶される。

ステップＳ２２５に続くステップＳ２２６において、手ぶれ補正部２１は、短露光画像Ｃｗ_iに対する評価値Ｋ_iを算出する（算出法は第９実施例にて詳説）。この評価値Ｋ_iは、図２７のステップＳ２０６にて算出されるそれと同じものである。

その後、ステップＳ２２７に移行し、今まで算出された評価値Ｋ₁〜Ｋ_iを大きい方から順番に並べ、１番目〜Ｍ番目に大きな評価値に対応するＭ枚の短露光画像をｉ枚の短露光画像Ｃｗ₁〜Ｃｗ_iの中から選択し、選択したＭ枚の短露光画像を被合成画像Ｄｗ₁〜Ｄｗ_Mとしてメモリ上に記録する。例えば、ｉ＝３且つＭ＝２であって且つ不等式「Ｋ₁＜Ｋ₂＜Ｋ₃」が成立する場合は、３枚の短露光画像Ｃｗ₁〜Ｃｗ₃から２枚の短露光画像Ｃｗ₂及びＣｗ₃が選択され、その短露光画像Ｃｗ₂及びＣｗ₃が被合成画像Ｄｗ₁及びＤｗ₂としてメモリ上に記録される。勿論、変数ｉが小さく不等式「ｉ＜Ｍ」が成立する段階では取得された短露光画像の総枚数がＭ枚に満たないので、その場合は、短露光画像Ｃｗ₁〜Ｃｗ_iがそのまま被合成画像Ｄｗ₁〜Ｄｗ_iとしてメモリ上に記録される。尚、被合成画像が記憶されるメモリは、被合成画像の画像データをＭ枚分記憶可能な被合成画像用メモリであり、Ｍ枚分の画像データを記憶している状態で新たな画像データを記憶する必要がある場合には、不要な古い画像データが記録されていたメモリ領域に対してその新たな画像データが上書き記録される。

ステップＳ２２７の処理の後のステップＳ２２８では、変数ｉがＮの値と合致するかが判断され、「ｉ＝Ｎ」である場合にはステップＳ２２８からステップＳ２３０に移行する一方、「ｉ≠Ｎ」である場合にはステップＳ２２８からステップＳ２２９に移行して変数ｉに１を加えてからステップＳ２２５に戻り、ステップＳ２２５以降の上述の各処理が繰り返し実行される。この結果、ステップＳ２２５〜Ｓ２２７の各処理はＮ回実行され、ステップＳ２３０に至る時点では、短露光画像Ｃｗ₁〜Ｃｗ_Nに対する評価値Ｋ₁〜Ｋ_Nが全て算出されて、評価値Ｋ₁〜Ｋ_Nの内の１番目〜Ｍ番目に大きな評価値に対応するＭ枚の短露光画像が被合成画像Ｄｗ₁〜Ｄｗ_Mとして被合成画像用メモリ上に記憶されている。

ステップＳ２３０において、手ぶれ補正部２１は、被合成画像Ｄｗ₁〜Ｄｗ_Mを位置合わせしてから合成することにより１枚の参照画像Ｒｗを生成する。例えば、被合成画像Ｄｗ₁を基準画像とし且つ被合成画像Ｄｗ₂〜Ｄｗ_Mの夫々を非基準画像と捉えて、基準画像に各非基準画像を位置合わせして合成する。尚、「位置合わせ」と後述の「位置ずれ補正」の意義は同じである。

１枚の基準画像と１枚の非基準画像を位置合わせして合成する処理を説明する。例えば、ハリスのコーナ検出器を用いて基準画像から特徴的な小領域（例えば、３２×３２画素の小領域）を抽出する。特徴的な小領域は、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、特徴的な絵柄を含む領域である。特徴的な絵柄とは、例えば、物体の角部のような２方向以上に輝度変化を有し、その輝度変化に基づき画像処理によって該絵柄の位置（画像上の位置）を容易に検出できるような絵柄を意味する。そして、基準画像から抽出した該小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を非基準画像内から探索する。そして、探索された小領域の位置（非基準画像上の位置）と基準画像から抽出した小領域の位置（基準画像上の位置）とのずれ量を位置ずれ量Δｄとして算出する。位置ずれ量Δｄは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。非基準画像は、基準画像を基準として位置ずれ量Δｄに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、この位置ずれ量Δｄが打ち消されるように非基準画像に座標変換（アフィン変換など）を施すことによって非基準画像を位置ずれ補正する。例えば、この座標変換を行うための幾何変換パラメータを求め、基準画像が定義される座標上に非基準画像を座標変換することによって位置ずれ補正を行う。位置ずれ補正前の非基準画像内の座標（ｘ＋Δｄｘ，ｙ＋Δｄｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。Δｄｘ及びΔｄｙは、夫々、Δｄの水平成分及び垂直成分である。そして、基準画像と位置ずれ補正後の非基準画像を合成する。合成によって得られた画像内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する基準画像内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の非基準画像内の画素の画素信号と、を加算した信号に相当する。

上述のような位置合わせ及び合成処理を各非基準画像に対して実行する。これにより、被合成画像Ｄｗ₁と位置ずれ補正後の被合成画像Ｄｗ₂〜Ｄｗ_Mを合成した画像が得られ、この得られた画像は参照画像Ｒｗとしてメモリ上に記憶される。尚、基準画像から特徴的な小領域を複数個抽出し、テンプレートマッチング法を用いてその複数の小領域に対応する複数の小領域を非基準画像から探索し、基準画像内における抽出された複数の小領域の位置と非基準画像内における探索された複数の小領域の位置から上記の幾何変換パラメータを求めて上記の位置ずれ補正を行うようにしても良い。

ステップＳ２３０にて参照画像Ｒｗが生成された後、ステップＳ２３１おいて、手ぶれ補正部２１は、生成された参照画像ＲｗとステップＳ２２２にて得られた補正対象画像Ｌｗに基づいて補正対象画像Ｌｗに対する手ぶれ補正を実施し、補正対象画像Ｌｗにおけるぶれが低減された補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。

上述の如く参照画像Ｒｗを生成することにより、例えば、複数の短時間露光撮影中の一部の期間において大きな手ぶれや被写体ぶれが生じたとしても、その期間に得られた短露光画像は評価値比較演算により被合成画像とならないため、高精度に手ぶれ補正を実行することが可能となる。また、参照画像ＲｗはＭ枚の短露光画像を位置合わせ及び合成することによって生成されるため、参照画像Ｒｗのぶれ量は１枚の短露光画像のそれと同等でありながら、画素値加算合成によって参照画像ＲｗのＳ／Ｎ比（信号対雑音比）は１枚の短露光画像のそれよりも高くなる。故に、より高精度の手ぶれ補正が実現される。また、ステップＳ２２５〜Ｓ２２９のように処理して短露光画像及び被合成画像を上書き記憶することにより、短露光画像用メモリの必要メモリ容量を１枚の画像分に、被合成画像用メモリの必要メモリ容量をＭ枚の画像分に抑えることができる。

［第８実施例］
次に、第８実施例について説明する。第８実施例は、第６実施例による参照画像生成方式（以下、１枚選択方式ともいう）と第７実施例による参照画像生成方式（以下、複数枚合成方式ともいう）を切替実行することにより手ぶれ補正を行う。この切替制御は、短露光画像のＳ／Ｎ比を推定することによって行われる。図２９は、撮像装置１ｂによる、この手ぶれ補正の動作の流れを表すフローチャートである。このフローチャートに沿って、撮像装置１ｂの動作について説明する。また、図３０も参照される。図３０には、撮像装置１ｂに設けられた測光回路２２及びＬＵＴ（ルックアップテーブル）２３が示されている。

撮影モードにおいて、シャッタボタン１７ａが押下されると、主制御部１３は、測光回路２２から明るさ情報を取得して、その明るさ情報から撮像部１１の撮像素子に対する最適露光時間を算出する（ステップＳ２４１及びＳ２４２）。測光回路２２は、測光センサ（不図示）又は撮像素子の出力信号を用いて被写体の明るさ（換言すれば、撮像部１１への入射光量）を測定する。明るさ情報は、その測定結果を表す情報である。次に、ステップＳ２４３において、主制御部１３は、最適露光時間と予め設定されたプログラム線図から実際の露光時間（以下、実露光時間という）を決定する。ＬＵＴ２３には、プログラム線図を表すテーブルデータが予め格納されており、ＬＵＴ２３に明るさ情報を入力すると、該テーブルデータに従って、実露光時間、絞り値及びＡＦＥ１２の増幅度がＬＵＴ２３から出力される。主制御部１３は、ＬＵＴ２３の出力から実露光時間を決定する。更に、ＬＵＴ２３から出力される絞り値及びＡＦＥ１２の増幅度によって、通常露光撮影及び短時間露光撮影時における絞り値（撮像部１１の絞りの開度）及びＡＦＥ１２の増幅度が規定される。

続くステップＳ２４４では、ステップＳ２４３にて決定された実露光時間にて通常露光撮影を行い、これによって生成された通常露光画像を補正対象画像Ｌｗとしてメモリ上に記憶する。但し、実露光時間が最適露光時間よりも短い場合は、実露光時間と最適露光時間の比に応じた露光不足分を補うように通常露光画像の各画素値に一定値を乗じて得られる画素値増幅画像を補正対象画像Ｌｗしてメモリ上に記憶するようにする。この際、必要であれば、画素値増幅画像に対してノイズ除去処理を行い、ノイズ除去後の画素値増幅画像を補正対象画像Ｌｗしてメモリ上に記憶するようにしてもよい。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて画素値増幅画像をフィルタリングすることにより行われる。

その後、ステップＳ２４５において、補正対象画像Ｌｗを得る際の実露光時間と上記の閾値Ｔ_THを比較し、実露光時間が閾値Ｔ_THより小さい場合、補正対象画像Ｌｗに手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２９の処理を終了する。

実露光時間が閾値Ｔ_THより大きい場合、ステップＳ２４６において、主制御部１３は、最適露光時間に基づく短露光時間Ｔoptを算出する。続くステップＳ２４７において、主制御部１３は、実露光時間に基づく短露光時間Ｔrealを算出する。短露光時間とは短時間露光撮影における露光時間を指す。例えば、短露光時間Ｔoptを最適露光時間の１／４とし且つ短露光時間Ｔrealを実露光時間の１／４とする。その後、ステップＳ２４８において、主制御部１３は、不等式「Ｔreal＜Ｔopt×ｋro」が成立するか否かを判断する。係数ｋroは、不等式「０＜ｋro＜１」を満たす予め定められた係数であり、例えば、ｋro＝０．８である。

そして、不等式「Ｔreal＜Ｔopt×ｋro」が成立しない場合は、短露光時間Ｔrealにて取得されるべき短露光画像のＳ／Ｎ比は比較的高いと推測されるため、ステップＳ２４９に移行し、手ぶれ補正部２１は、比較的簡素な処理にて手ぶれ補正を行うことができる１枚選択方式を採用して参照画像Ｒｗを生成する。即ち、ステップＳ２４９にて、図２７のステップＳ２０５〜Ｓ２１１の各処理を行って参照画像Ｒｗを生成する。

一方、不等式「Ｔreal＜Ｔopt×ｋro」が成立する場合は、短露光時間Ｔrealにて取得されるべき短露光画像のＳ／Ｎ比は比較的低いと推測されるため、ステップＳ２５０に移行し、手ぶれ補正部２１は、ノイズの影響を低減することのできる複数枚合成方式を用いて参照画像Ｒｗを生成する。即ち、ステップＳ２５０にて、図２８のステップＳ２２５〜２３０の各処理を行って参照画像Ｒｗを生成する。尚、ステップＳ２４９においても、ステップＳ２５０においても、短時間露光撮影時における実際の露光時間はＴrealとされる。

ステップＳ２４９又はステップＳ２５０にて参照画像Ｒｗが生成された後、ステップＳ２５１において、手ぶれ補正部２１は、その参照画像ＲｗとステップＳ２４４にて取得された補正対象画像Ｌｗから補正画像Ｑｗを生成する（補正方法は第１０実施例にて後述）。この補正画像Ｑｗは、記録媒体１６に記録されると共に表示部１５で表示される。

暗所撮影時では手ぶれや被写体ぶれに起因する画像のぶれを抑制するために、測光回路２２の測定結果から単純に計算した最適露光時間よりも短い露光時間で通常露光撮影を行い、その撮影によって得られた画像の各画素値に一定値を乗じる処理を施してから（即ち、感度を向上させてから）画像データを記録することが多い。このような場合は、不等式「Ｔreal＜Ｔopt×ｋro」が成立しやすくなり、一方で、取得される短露光画像のＳ／Ｎ比が随分低くなる。そこで、このような場合は、ノイズの影響を抑制することのできる複数枚合成方式を用いて参照画像Ｒｗを生成するようにする。他方、撮像装置１ｂの周辺照度が比較的大きいことに起因して不等式「Ｔreal＜Ｔopt×ｋro」が成立せず、短露光画像のＳ／Ｎ比が比較的高いと推測される場合は、比較的簡素な処理にて手ぶれ補正を行うことができる１枚選択方式を採用して参照画像Ｒｗを生成する。このように、短露光画像のＳ／Ｎ比に応じて参照画像Ｒｗの生成方法を切り替えることにより、手ぶれ補正精度を維持しつつ計算コストを極力低く抑えることができる。計算コストとは、計算による負荷を意味し、計算コストの増大は処理時間及び消費電力を増大させる。尚、短露光画像にノイズ除去処理を施し、ノイズ除去処理後の短露光画像から参照画像Ｒｗを生成することも可能であるが、この場合においても、上述の切替制御は有効に機能する。

［第９実施例］
次に、第９実施例について説明する。第９実施例では、第６〜第８実施例の処理にて利用される評価値Ｋ_iの算出法について説明する。評価値Ｋ_iは、短露光画像のエッジ強度に基づく第１評価値Ｋａ_i、短露光画像のコントラストに基づく第２評価値Ｋｂ_i、補正対象画像Ｌｗに対する短露光画像の回転量に基づく第３評価値Ｋｃ_i、及び、短時間露光撮影と通常露光撮影との撮影時間差に基づく第４評価値Ｋｄ_iの内の何れか1以上の評価値から決定される。まず、第１評価値Ｋａ_i〜第４評価値Ｋｄ_iの算出方法について個別に説明する。

（１）第１評価値Ｋａ_iの算出方法
第１評価値としての評価値Ｋａ_iの算出方法を図３１及び図３２を参照して説明する。図３１は、評価値Ｋａ_iの算出動作の流れを表すフローチャートである。図３２は、この動作に利用される画像などの関係を示す図である。評価値Ｋａ_iに基づいて評価値Ｋ_iを算出する場合は、図２７のステップＳ２０６及び図２８のステップＳ２２６において、図３１のステップＳ３０１〜Ｓ３０５が実行される。

まず、ステップＳ３０１において、変数ｉが１であるか否かを判別し、ｉ＝１である場合はステップＳ３０２に移行する一方、ｉ≠１である場合はステップＳ３０３に移行する。ステップＳ３０２では、短露光画像Ｃｗ_iの中央又は中央付近に位置する小領域を抽出し、この小領域内の画像を小画像Ｃｓ_iとする。抽出される小領域を、例えば、１２８×１２８画素の小領域とする。ｉ＝１である場合にのみステップＳ３０２に至るのであるから、ステップＳ３０２では、１番目の短露光画像Ｃｗ₁から小画像Ｃｓ₁が抽出されることになる。

ステップＳ３０２の処理の後、ステップＳ３０４に移行する。ステップＳ３０４では、小画像Ｃｓ_iに対してエッジ抽出処理を施し、小画像Ｅｓ_iを得る。例えば、小画像Ｃｓ_iの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｃｓ_iのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｅｓ_iとする。その後、ステップＳ３０５において、小画像Ｅｓ_iの画素値の総和を算出し、その総和を評価値Ｋａ_iとする。

ｉ≠１である場合にステップＳ３０１から移行するステップＳ３０３では、短露光画像Ｃｗ₁から抽出された小領域に対応する小領域を短露光画像Ｃｗ_i（≠Ｃｗ₁）から抽出し、短露光画像Ｃｗ_iから抽出された小領域内の画像を小画像Ｃｓ_iとする。対応小領域の探索は、テンプレートマッチング法などを利用した画像処理によって行う。即ち例えば、短露光画像Ｃｗ₁から抽出された小画像Ｃｓ₁をテンプレートとし、周知のテンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を短露光画像Ｃｗ_i内から探索し、探索された小領域内の画像を小画像Ｃｓ_iとする。ステップＳ３０３にて小画像Ｃｓ_iが抽出された後は、その小画像Ｃｓ_iに対してステップＳ３０４及びＳ３０５の各処理が実施される。上述の処理内容から明らかなように、評価値Ｋａ_iは小画像Ｃｓ_iのエッジ強度の増大に伴って増加する。

同じ構図の画像であれば、露光期間中に生じた手ぶれが小さいほどエッジは鮮明となり、画像中のエッジ強度は高くなる。また、手ぶれは画像全体に対して一様な劣化を与えるため、短露光画像Ｃｗ_iの全体におけるエッジ強度は、小画像Ｃｓ_iにおけるエッジ強度に応じたものとなる。従って、上記の評価値Ｋａ_iが大きいほど、それに対応する小画像Ｃｓ_i及び短露光画像Ｃｗ_iのぶれ量は小さいと推定できる。参照画像の生成のために利用される短露光画像のぶれ量は小さければ小さいほど望ましいという観点から、評価値Ｋａ_iを利用すると有益である。例えば、評価値Ｋａ_iそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋ_iとすることも可能である。

尚、一般に、１枚の画像から該画像のぶれ量を求めるためには、特開平１１−２７５７４号公報に記載されているように、画像をフーリエ変換して周波数領域上の変換画像を生成し、手ぶれにより減衰する周波数の間隔を計測するなど、計算コストの大きな処理が必要である。これに対し、エッジ強度とぶれ量の関係を利用してエッジ強度からぶれ量を推定するようにすれば、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、複数の短時間露光撮影中に構図の変化があったとしても、その変化による影響は軽微である。

（２）第２評価値Ｋｂ_iの算出方法
第２評価値としての評価値Ｋｂ_iの算出方法を図３３を参照して説明する。図３３は、評価値Ｋｂ_iの算出動作の流れを表すフローチャートである。評価値Ｋｂ_iに基づいて評価値Ｋ_iを算出する場合は、図２７のステップＳ２０６及び図２８のステップＳ２２６において、図３３のステップＳ３１１〜Ｓ３１５が実行される。

図３３におけるステップＳ３１１〜Ｓ３１３の各処理内容は、夫々、図３１におけるステップＳ３０１〜Ｓ３０３の各処理内容と同じであるため、それらの重複する説明を割愛する。但し、ステップＳ３１２又はＳ３１３の処理の後、ステップＳ３１４に移行するものとする。

ステップＳ３１４では、小画像Ｃｓ_iの各画素の輝度信号を抽出する。勿論、例えば、ｉ＝１の時は、小画像Ｃｓ₁の各画素の輝度信号が抽出され、ｉ＝２の時は、小画像Ｃｓ₂の各画素の輝度信号が抽出される。そして、ステップＳ３１５において、小画像Ｃｓ_iの輝度値（即ち、輝度信号の値）のヒストグラムを生成し、そのヒストグラムの分散を算出して該分散を評価値Ｋｂ_iとする。

同じ構図の画像であれば、露光期間中に生じた手ぶれが大きいほど隣接画素間の輝度が平滑化され、中間階調の画素の割合が増加して輝度値のヒストグラムにおける分布が中間階調に集中化する。上記の平滑化の程度が大きいほどヒストグラムにおける分散が小さくなって評価値Ｋｂ_iが小さくなるため、評価値Ｋｂ_iが大きいほど、それに対応する小画像Ｃｓ_i及び短露光画像Ｃｗ_iのぶれ量は小さいと推定できる。参照画像の生成のために利用される短露光画像のぶれ量は小さければ小さいほど望ましいという観点から、評価値Ｋｂ_iを利用すると有益である。例えば、評価値Ｋｂ_iそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋ_iとすることも可能である。

短露光画像の例として、図３４（ａ）に短露光画像２６１を示すと共に図３４（ｂ）に短露光画像２６２を示す。短露光画像２６１は鮮明な画像である一方、短露光画像２６２の露光期間中に大きな手ぶれが生じたことにより、短露光画像２６２には大きなぶれが含まれている。また、図３５（ａ）及び（ｂ）に、夫々、短露光画像２６１及び２６２に対してステップＳ３１５にて生成されたヒストグラムを示す。短露光画像２６１のヒストグラムとの対比おいて（図３５（ａ）参照）、短露光画像２６２のヒストグラム（図３５（ｂ）参照）では中間階調への分布の集中化が見られる。この集中化によって、分散（及び標準偏差）は小さくなる。

或る着目画像に関して、ヒストグラムにおける分散が小さいことは該着目画像のコントラストが低いことに対応し、ヒストグラムにおける分散が大きいことは該着目画像のコントラストが高いことに対応している。従って、上述の方法では、ヒストグラムにおける分散を算出することによって着目画像のコントラストを推定し、その推定したコントラストによって着目画像のぶれ量を推定していることになる。そして、コントラストの推定値が評価値Ｋｂ_iとして導出される。

本評価値算出方法では、コントラストとぶれ量の関係を利用してコントラストからぶれ量を推定することとしている。このため、フーリエ変換などを利用する従来手法と比べて、ぶれ量を推定するための計算コストを小さくすることができる。また、画像全体でなく、抽出された小画像に着目して評価値を算出することにより、計算コストの更なる低減効果が得られる。加えて、テンプレートマッチングなどを用い対応小領域間で評価値を比較するようにしているため、複数の短時間露光撮影中に構図の変化があったとしても、その変化による影響は軽微である。

（３）第３評価値Ｋｃ_iの算出方法
第３評価値としての評価値Ｋｃ_iの算出方法を説明する。評価値Ｋｃ_iは、補正対象画像Ｌｗに対する短露光画像Ｃｗ_iの回転角から算出される。図３６を参照して、より具体的に算出方法を説明する。

まず、補正対象画像Ｌｗの中から特徴的な小領域（例えば、３２×３２画素の小領域）を複数個抽出する。特徴的な小領域の意義及び抽出手法は第７実施例で述べた通りである（後述の他の実施例においても同様）。図３６に示す如く、補正対象画像Ｌｗから２つの小領域２８１及び２８２が抽出されたとする。小領域２８１及び２８２の中心点を、夫々、符号２９１及び２９２によって参照する。図３６に示す例では、中心点２９１及び２９２を結ぶ線分の方向が補正対象画像Ｌｗの水平方向と合致している。

次に、補正対象画像Ｌｗから抽出された２つの小領域２８１及び２８２に対応する２つの小領域を、短露光画像Ｃｗ_iから抽出する。対応小領域の探索は、テンプレートマッチング法などを利用した上述の手法を用いて行えば良い。図３６には、短露光画像Ｃｗ₁から抽出された２つの小領域２８１ａ及び２８２ａ、並びに、短露光画像Ｃｗ₂から抽出された２つの小領域２８１ｂ及び２８２ｂが示されている。小領域２８１ａ及び２８１ｂが小領域２８１に対応し、小領域２８２ａ及び２８２ｂが小領域２８２に対応している。また、小領域２８１ａ、２８２ａ、２８１ｂ及び２８２ｂの中心点を、夫々、符号２９１ａ、２９２ａ、２９１ｂ及び２９２ｂによって参照する。

短露光画像Ｃｗ₁に対応する評価値Ｋｃ₁を算出する場合は、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ａ及び２９２ａを結ぶ線分の回転角（即ち、傾き）θ₁を求める。同様に、短露光画像Ｃｗ₂に対応する評価値Ｋｃ₂を算出する場合、中心点２９１及び２９２を結ぶ線分に対する、中心点２９１ｂ及び２９２ｂを結ぶ線分の回転角（即ち、傾き）θ₂を求める。他の短露光画像Ｃｗ₃〜短露光画像Ｃｗ_Nについての回転角θ₃〜θ_Nも同様に求め、回転角θ_iの逆数を評価値Ｋｃ_iとして求める。

補正対象画像としての通常露光画像と参照画像生成用の短露光画像の撮影時間（撮影時刻）は異なるため、両者の撮影間で構図のずれが発生しうる。高精度な手ぶれ補正を行うためには、このずれに由来する補正対象画像と参照画像との間の位置ずれを打ち消すための位置合わせが必要となる。この位置合わせは座標変換（アフィン変換など）によって実現されるが、この位置合わせに画像回転処理が含まれると回路規模及び計算コストが増大してしまう。そこで、参照画像生成用の短露光画像についての回転角がなるだけ小さくなるように、評価値Ｋｃ_iを利用すると有益である。例えば、評価値Ｋｃ_iそのものを、図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋ_iとすることも可能である。そのようにすれば、補正対象画像Ｌｗに対する回転角が小さな短露光画像を優先的に用いて参照画像Ｒｗが生成されるため、平行移動による位置合わせだけで比較的良好な手ぶれ補正効果を得ることができ、回路規模の低減にも寄与する。

尚、後述のフーリエ反復法を利用して手ぶれ補正を行う場合、補正対象画像Ｌｗ及び参照画像Ｒｗをフーリエ変換することによって得られた周波数領域上の画像間で線形演算がなされる（第１０実施例にて詳説）。この場合において、補正対象画像Ｌｗと参照画像Ｒｗとの間に回転方向のずれがあると、フーリエ変換の特性上、手ぶれ検出及び手ぶれ補正精度が顕著に低下する。このため、フーリエ反復法を利用して手ぶれ補正を行う場合においては、評価値Ｋｃ_iを利用して参照画像Ｒｗを選択することにより、手ぶれ検出及び手ぶれ補正精度が大幅に向上する。

（４）第４評価値Ｋｄ_iの算出方法
第４評価値としての評価値Ｋｄ_iの算出方法を説明する。評価値Ｋｄ_iは、補正対象画像Ｌｗと短露光画像Ｃｗ_iとの撮影時間差の逆数とされる。補正対象画像Ｌｗと短露光画像Ｃｗ_iとの撮影時間差は、補正対象画像Ｌｗの撮影時における露光時間の中間時点と短露光画像Ｃｗ_iの撮影時における露光期間の中間時点との時間差とする。補正対象画像Ｌｗの撮影後に、短露光画像Ｃｗ₁、Ｃｗ₂、・・・、Ｃｗ_Nをこの順番で撮影する場合は、当然の如く、Ｋｄ₁＞Ｋｄ₂＞・・・＞Ｋｄ_Nが成立することになる。

補正対象画像Ｌｗと短露光画像Ｃｗ_iとの撮影時間差が大きいほど、その間に被写体が動く確率が高くなると共に照度などの撮影条件が変化する確率も高くなる。被写体の動きや撮影条件の変化は、手ぶれ検出及び手ぶれ補正精度を低下させる方向に作用する。そこで、大きな評価値Ｋｄ_iに対応する短露光画像を優先的に用いて参照画像Ｒｗが生成されるように評価値Ｋｄ_iを利用するとよい。そうすれば、被写体の動きや撮影条件の変化の影響が軽減されて、より高精度な手ぶれ検出及び手ぶれ補正を行うことが可能となる。

（５）最終的な評価値Ｋ_iの算出方法
図２７のステップＳ２０６及び図２８のステップＳ２２６にて求められるべき評価値Ｋ_iは、評価値Ｋａ_i、Ｋｂ_i、Ｋｃ_i及びＫｄ_iの内の何れか１以上の評価値から決定される。例えば、評価値Ｋ_iを下記式（Ａ−１）によって算出する。ここで、ｋａ、ｋｂ、ｋｃ及びｋｄは、ゼロ又は正の値を有する所定の重み付け係数である。評価値Ｋａ_i、Ｋｂ_i、Ｋｃ_i及びＫｄ_iの内の２つ又は３つのみを用いて評価値Ｋ_iを算出する場合は、必要な重み付け係数をゼロとすればよい。例えば、補正対象画像Ｌｗと短露光画像Ｃｗ_iとの撮影時間差を考慮しない場合は、「ｋｄ＝０」とした上で評価値Ｋ_iを算出すれば良い。
Ｋ_i＝ｋａ×Ｋａ_i＋ｋｂ×Ｋｂ_i＋ｋｃ×Ｋｃ_i＋ｋｄ×Ｋｄ_i ・・・（Ａ−１）

尚、補正対象画像Ｌｗとの撮影時間差がなるだけ短い短露光画像から参照画像Ｒｗを生成した方が良いのは上述したとおりであるが、評価値Ｋ_iの算出にあたり、評価値Ｋｄ_iは補助的に用いるべきである。即ち、重み付け係数ｋａ、ｋｂ及びｋｃの全てをゼロとするべきではない。

［第１０実施例］
次に、第１０実施例を説明する。第１０実施例では、補正対象画像Ｌｗと参照画像Ｒｗに基づく、補正対象画像Ｌｗの補正方法を説明する。この補正を行うための処理は、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１にて実行される。補正対象画像Ｌｗの補正方法として、以下に、第１〜第３の補正方法を例示する。第１、第２、第３の補正方法は、夫々、画像復元方式、画像合成方式、画像鮮鋭化方式による補正方法である。

（１）第１の補正方法
図３７を参照して、第１の補正方法について説明する。図３７は、第１の補正方法に基づく補正処理の流れを表すフローチャートである。第１の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図３７のステップＳ４０１〜Ｓ４０９の各処理から形成される。

まず、ステップＳ４０１において、補正対象画像Ｌｗの中から特徴的な小領域（例えば、１２８×１２８画素の小領域）を抽出し、この抽出された小領域内の画像を小画像Ｌｓとしてメモリ上に記憶する。

次に、ステップＳ４０２において、補正対象画像Ｌｗから抽出された小領域と同一座標の小領域を参照画像Ｒｗから抽出し、参照画像Ｒｗから抽出された小領域内の画像を小画像Ｒｓとしてメモリ上に記憶する。補正対象画像Ｌｗから抽出される小領域の中心座標（補正対象画像Ｌｗにおける中心座標）と参照画像Ｒｗから抽出される小領域の中心座標（参照画像Ｒｗにおける中心座標）は等しく、また、補正対象画像Ｌｗと参照画像Ｒｗの画像サイズは等しいため、両小領域の画像サイズも等しくされる。

参照画像Ｒｗの露光時間は比較的短いので、小画像ＲｓのＳ／Ｎ比は比較的低い。そこで、ステップＳ４０３にて、小画像Ｒｓに対してノイズ除去処理を行う。ノイズ除去後の小画像Ｒｓを、小画像Ｒｓａとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ｒｓａをフィルタリングすることにより行われる。小画像Ｒｓａは低輝度であるため、ステップＳ４０４において、小画像Ｒｓａの輝度レベルを増加させる。即ち例えば、小画像Ｒｓａの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓａの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓａの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ｒｓａを、小画像Ｒｓｂとする。

上述のようにして得られた小画像Ｌｓを劣化画像として且つ小画像Ｒｓｂを初期復元画像として取り扱った上で（ステップＳ４０５）、ステップＳ４０６にてフーリエ反復法を実施することにより画像劣化関数としてのＰＳＦを求める。フーリエ反復法に基づくＰＳＦの算出法は、第１実施形態で述べたそれと同じものである。即ち、ステップＳ４０６において、図４のステップＳ１０１〜Ｓ１０３及びＳ１１０〜Ｓ１１８から成る処理を実行することにより、小画像Ｌｓに対するＰＳＦを求める。手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ｌｓに対して求めたＰＳＦは、補正対象画像Ｌｗの全体に対するＰＳＦとして利用することができる。尚、第１実施形態でも述べたように、ステップＳ１１８の処理を削除し、１回の修正処理で最終的なＰＳＦを求めることも可能である。

ステップＳ４０７では、ステップＳ４０６で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、第１実施形態で述べたように、ステップＳ４０６におけるフーリエ反復法の計算途中結果をそのまま利用することによって画像復元フィルタの各フィルタ係数を求めることができる。

ステップＳ４０７にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ４０８に移行し、この画像復元フィルタを用いて補正対象画像Ｌｗをフィルタリング（空間フィルタリング）する。即ち、求められた各フィルタ係数を有する画像復元フィルタを補正対象画像Ｌｗの各画素に適用して補正対象画像Ｌｗをフィルタリングする。これにより、補正対象画像Ｌｗに含まれるぶれを除去或いは低減したフィルタリング画像が生成される。画像復元フィルタのサイズは補正対象画像Ｌｗの画像サイズよりも小さいが、手ぶれは画像全体に一様な劣化を与えると考えられるため、この画像復元フィルタを補正対象画像Ｌｗの全体に対して適用することによって、補正対象画像Ｌｗの全体のぶれが除去される。

フィルタリング画像には、フィルタリングに伴うリンギングが含まれうる。このため、ステップＳ４０９において、これを除去するためのリンギング除去処理をフィルタリング画像に施すことにより最終的な補正画像Ｑｗを生成する。リンギングを除去する手法は公知であるため、詳細な説明を割愛する。その手法として、例えば特開２００６−１２９２３６号公報に記載の手法を用いればよい。

補正画像Ｑｗは、補正対象画像Ｌｗに含まれるぶれが除去或いは低減され且つフィルタリングに伴うリンギングが除去或いは低減された画像となる。但し、フィルタリング画像もぶれが除去或いは低減された画像であるため、フィルタリング画像を補正画像Ｑｗとして捉えることも可能である。

参照画像Ｒｗに含まれるぶれ量は少ないため、それのエッジ成分は、手ぶれのない理想画像のエッジ成分に近い。従って、上述の如く、この参照画像Ｒｗから得られる画像をフーリエ反復法における初期復元画像とする。これにより、第１実施形態でも述べたような様々な効果が得られる（手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）の算出処理時間の短縮効果など）。

（２）第２の補正方法
次に、図３８及び図３９を参照して、第２の補正方法について説明する。図３８は、第２の補正方法に基づく補正処理の流れを表すフローチャートである。図３９は、この補正処理の流れを表す概念図である。第２の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図３８のステップＳ４２１〜Ｓ４２５の各処理から形成される。

図２６の撮像部１１の撮影によって得られる画像は、輝度に関する情報と色に関する情報を含むカラー画像となっている。従って、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号と、画素の色を表す色信号から形成される。今、各画素の画素信号がＹＵＶ形式で表現されているものとする。この場合、色信号は２つの色差信号Ｕ及びＶから形成されることなる。そして、補正対象画像Ｌｗを形成する各画素の画素信号は、画素の輝度を表す輝度信号Ｙと、画素の色を表す２つの色差信号Ｕ及びＶと、から形成される。

そうすると、補正対象画像Ｌｗは、図３９に示す如く、画素信号として輝度信号Ｙのみを含む画像Ｌｗ_Yと、画素信号として色差信号Ｕのみを含む画像Ｌｗ_Uと、画素信号として色差信号Ｖのみを含む画像Ｌｗ_Vと、に分解することができる。同様に、参照画像Ｒｗも、画素信号として輝度信号Ｙのみを含む画像Ｒｗ_Yと、画素信号として色差信号Ｕのみを含む画像Ｒｗ_Uと、画素信号として色差信号Ｖのみを含む画像Ｒｗ_Vと、に分解できる（図３９では、画像Ｒｗ_Yのみ図示）。

図３８のステップＳ４２１では、まず、補正対象画像Ｌｗの輝度信号及び色差信号を抽出することにより、画像Ｌｗ_Y、Ｌｗ_U及びＬｗ_Vを生成する。続くステップＳ４２２では、参照画像Ｒｗの輝度信号を抽出することにより、画像Ｒｗ_Yを生成する。

画像Ｒｗ_Yは低輝度であるため、ステップＳ４２３おいて、画像Ｒｗ_Yの輝度レベルを増加させる。即ち例えば、画像Ｒｗ_Yの輝度レベルが画像Ｌｗ_Yの輝度レベルと等しくなるように（画像Ｒｗ_Yの平均輝度と画像Ｌｗ_Yの平均輝度が等しくなるように）、画像Ｒｗ_Yの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。更に、この輝度正規化処理後の画像Ｒｗ_Yに対して、メディアンフィルタ等を用いたノイズ除去処理を施す。輝度正規化処理及びノイズ除去処理後の画像Ｒｗ_Yは画像Ｒｗ_Y’としてメモリ上に記憶される。

その後、ステップＳ４２４において、画像Ｌｗ_Yの画素信号と画像Ｒｗ_Y’の画素信号を比較することにより、画像Ｌｗ_Yを画像Ｒｗ_Y’との間の位置ずれ量ΔＤを算出する。位置ずれ量ΔＤは、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。位置ずれ量ΔＤの算出を、周知の代表点マッチング法やテンプレートマッチング法を用いて行うことができる。例えば、画像Ｌｗ_Yから抽出した小領域内の画像をテンプレートとし、テンプレートマッチング法を用いて、そのテンプレートとの類似度が最も高い小領域を画像Ｒｗ_Y’内から探索する。そして、探索された小領域の位置（画像Ｒｗ_Y’上の位置）と画像Ｌｗ_Yから抽出した小領域の位置（画像Ｌｗ_Y上の位置）とのずれ量を位置ずれ量ΔＤとして算出する。尚、画像Ｌｗ_Yから抽出されるべき小領域を、上述したような、特徴的な小領域とすることが望ましい。

画像Ｌｗ_Yを基準として考え、位置ずれ量ΔＤが、画像Ｌｗ_Yに対する画像Ｒｗ_Y’の位置ずれ量であるとする。画像Ｒｗ_Y’は、画像Ｌｗ_Yを基準として位置ずれ量ΔＤに相当する分だけ位置ずれが生じた画像とみなすことができる。そこで、ステップＳ４２５では、この位置ずれ量ΔＤが打ち消されるように画像Ｒｗ_Y’に座標変換（アフィン変換など）を施すことによって画像Ｒｗ_Y’を位置ずれ補正する。位置ずれ補正前の画像Ｒｗ_Y’内の座標（ｘ＋ΔＤｘ，ｙ＋ΔＤｙ）に位置する画素は、位置ずれ補正によって座標（ｘ，ｙ）に位置する画素に変換される。ΔＤｘ及びΔＤｙは、夫々、ΔＤの水平成分及び垂直成分である。

ステップＳ４２５では、更に、画像Ｌｗ_U及びＬｗ_Vと位置ずれ補正後の画像Ｒｗ_Y’が合成され、この合成によって得られた画像が補正画像Ｑｗとして出力される。補正画像Ｑｗ内の座標（ｘ，ｙ）に位置する画素の画素信号は、座標（ｘ，ｙ）に位置する画像Ｌｗ_U内の画素の画素信号と、座標（ｘ，ｙ）に位置する画像Ｌｗ_V内の画素の画素信号と、座標（ｘ，ｙ）に位置する位置ずれ補正後の画像Ｒｗ_Y’内の画素の画素信号と、から形成される。

カラー画像において、見た目のぶれは主に輝度のぶれによって引き起こされ、輝度のエッジ成分がぶれのない理想画像のそれに近ければ、観察者はぶれが少ないと感じる。従って、本補正方法では、ぶれ量の比較的少ない参照画像Ｒｗの輝度信号を補正対象画像Ｌｗの色信号に合成することによって擬似的な手ぶれ補正効果を得る。この方法によれば、エッジ近傍で色ずれが生じることとなるが、見た目においてぶれの少ない画像を低い計算コストで生成することができる。

（３）第３の補正方法
次に、図４０及び図４１を参照して、第３の補正方法について説明する。図４０は、第３の補正方法に基づく補正処理の流れを表すフローチャートである。図４１は、この補正処理の流れを表す概念図である。第３の補正方法を採用する場合、図２７のステップＳ２１２、図２８のステップＳ２３１及び図２９のステップＳ２５１の処理は、夫々、図４０のステップＳ４４１〜Ｓ４４７の各処理から形成される。

まず、ステップＳ４４１において、補正対象画像Ｌｗから特徴的な小領域を抽出することによって小画像Ｌｓを生成し、ステップＳ４４２において、参照画像Ｒｗから小画像Ｌｓに対応する小領域を抽出することによって小画像Ｒｓを生成する。このステップＳ４４１及びＳ４４２の処理は、図３７のステップＳ４０１及びＳ４０２の処理と同じである。続いてステップＳ４４３おいて、小画像Ｒｓに対してメディアンフィルタ等を用いたノイズ除去処理を施し、更に、ノイズ除去処理後の小画像Ｒｓの輝度レベルを増加させる。即ち例えば、小画像Ｒｓの輝度レベルが小画像Ｌｓの輝度レベルと等しくなるように（小画像Ｒｓの平均輝度と小画像Ｌｓの平均輝度が等しくなるように）、小画像Ｒｓの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。ノイズ除去処理及び輝度正規化処理後の小画像Ｒｓは小画像Ｒｓ’としてメモリ上に記憶される。

次に、ステップＳ４４４において、互いに異なる８種類の平滑化フィルタを用いて小画像Ｒｓ’をフィルタリングすることにより、平滑化度合いの異なる８つの平滑化小画像Ｒｓ_G1、Ｒｓ_G2、・・・、Ｒｓ_G8を生成する。今、８つの平滑化フィルタとして互いに異なる８つのガウシアンフィルタを用いるものとし、各ガウシアンフィルタによって表されるガウス分布の分散をσ²で表す。

一次元の画像に着目し、その一次元の画像における画素の位置をｘで表した場合、平均が０且つ分散がσ²のガウス分布は下記式（Ｂ−１）によって表されることが一般的に知られている（図４２参照）。このガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈ_g（ｘ）で表される。つまり、ガウシアンフィルタを位置０の画素に適用する時、位置ｘにおけるフィルタ係数はｈ_g（ｘ）で表される。換言すれば、ガウシアンフィルタによるフィルタリング後の位置０の画素値に対する、フィルタリング前の位置ｘの画素値の寄与率はｈ_g（ｘ）で表される。

この考え方を二次元に拡張し、二次元の画像における画素の位置を（ｘ，ｙ）で表した場合、二次元ガウス分布は、下記式（Ｂ−２）によって表される。尚、ｘ及びｙは、それぞれ、水平方向の位置及び垂直方向の位置を表している。この二次元ガウス分布をガウシアンフィルタに適用すると、ガウシアンフィルタの各フィルタ係数はｈ_g（ｘ，ｙ）で表され、ガウシアンフィルタを位置（０，０）の画素に適用する時、位置（ｘ，ｙ）におけるフィルタ係数はｈ_g（ｘ，ｙ）で表される。つまり、ガウシアンフィルタによるフィルタリング後の位置（０，０）の画素値に対する、フィルタリング前の位置（ｘ，ｙ）の画素値の寄与率はｈ_g（ｘ，ｙ）で表される。

ステップＳ４４４では、８つのガウシアンフィルタとして、σ＝１，３，５，７，９，１１，１３，１５のガウシアンフィルタを用いることとする。続くステップＳ４４５では、小画像Ｌｓと平滑化小画像Ｒｓ_G1〜Ｒｓ_G8の夫々との間で画像マッチングを行い、平滑化小画像Ｒｓ_G1〜Ｒｓ_G8の内、最もマッチング誤差が小さくなる平滑化小画像（即ち、小画像Ｌｓとの相関性が最も高い平滑化小画像）を特定する。

平滑化小画像Ｒｓ_G1に着目し、小画像Ｌｓと平滑化小画像Ｒｓ_G1を対比した時のマッチング誤差（マッチング残差）の算出法を簡単に説明する。小画像Ｌｓと平滑化小画像Ｒｓ_G1の画像サイズは同じであり、それらの水平方向の画素数及び垂直方向の画素数を夫々Ｍ_N及びＮ_Nとする（Ｍ_N及びＮ_Nは、２以上の整数）。小画像Ｌｓ内の位置（ｘ，ｙ）における画素の画素値をＶ_Ls（ｘ，ｙ）にて表し、平滑化小画像Ｒｓ_G1内の位置（ｘ，ｙ）における画素の画素値をＶ_Rs（ｘ，ｙ）にて表す。（但し、ｘ及びｙは、０≦ｘ≦Ｍ_N−１且つ０≦ｙ≦Ｎ_N−１、を満たす整数）。そうすると、対比画像間におけるＳＡＤ（Sum of Absolute Difference）を表すＲ_SADは下記式（Ｂ−３）に従って算出され、対比画像間におけるＳＳＤ（Sum of Square Difference）を表すＲ_SSDは下記式（Ｂ−４）に従って算出される。

このＲ_SAD又はＲ_SSDを、小画像Ｌｓと平滑化小画像Ｒｓ_G1との間におけるマッチング誤差とする。同様にして、小画像Ｌｓと平滑化小画像Ｒｓ_G2〜Ｒｓ_G8の夫々との間におけるマッチング誤差も求め、最もマッチング誤差が小さくなる平滑化小画像を特定する。今、σ＝５に対応する平滑化小画像Ｒｓ_G3が特定されたとする。ステップＳ４４５では、平滑化小画像Ｒｓ_G3に対応するσをσ’とする。即ち、σ’の値は５となる。

続くステップＳ４４６では、このσ’によって表されるガウスぼけを補正対象画像Ｌｗの劣化の状態を表す画像劣化関数として取り扱うことにより、補正対象画像Ｌｗの劣化除去を図る。

具体的には、ステップＳ４４６では、σ’に基づいて補正対象画像Ｌｗの全体にアンシャープマスクフィルタを適用することにより、補正対象画像Ｌｗのぶれを除去する。アンシャープマスクフィルタの適用前の画像を入力画像Ｉ_INPUTとし、アンシャープマスクフィルタの適用後の画像を出力画像Ｉ_OUTPUTとして、アンシャープマスクフィルタの処理内容を説明する。まず、アンシャープフィルタとしてσ’のガウシアンフィルタ（即ち、σ＝５のガウシアンフィルタ）を採用し、このσ’のガウシアンフィルタを用いて入力画像Ｉ_INPUTをフィルタリングすることにより、ぼかし画像Ｉ_BLURを生成する。次に、入力画像Ｉ_INPUTの各画素値からぼかし画像Ｉ_BLURの各画素値を差し引くことにより、入力画像Ｉ_INPUTとぼかし画像Ｉ_BLURとの間の差分画像Ｉ_DELTAを生成する。最後に、入力画像Ｉ_INPUTの各画素値に差分画像Ｉ_DELTAの各画素値を加算することによって得られた画像を、出力画像Ｉ_OUTPUTとする。入力画像Ｉ_INPUTと出力画像Ｉ_OUTPUTとの関係式を式（Ｂ−５）に示す。式（Ｂ−５）において、(Ｉ_INPUT・Gauss)は、σ’のガウシアンフィルタを用いて入力画像Ｉ_INPUTをフィルタリングした結果を表している。
Ｉ_OUTPUT ＝Ｉ_INPUT＋Ｉ_DELTA
＝Ｉ_INPUT＋(Ｉ_INPUT−Ｉ_BLUR)
＝Ｉ_INPUT＋(Ｉ_INPUT−(Ｉ_INPUT・Gauss) ・・・（Ｂ−５）

ステップＳ４４６では、補正対象画像Ｌｗを入力画像Ｉ_INPUTとして取り扱うことにより、出力画像Ｉ_OUTPUTとしてのフィルタリング画像を得る。そして、ステップＳ４４７において、このフィルタリング画像のリンギングを除去して補正画像Ｑｗを生成する（ステップＳ４４７の処理は、図３７のステップＳ４０９の処理と同じである）。

アンシャープマスクフィルタを用いることにより、入力画像（Ｉ_INPUT）のエッジが強調され、画像鮮鋭化効果が得られる。但し、ぼかし画像（Ｉ_BLUR）生成時におけるぼかし度合いが入力画像に含まれる実際のぼけ量と大きく異なると、適切なぼけ補正効果が得られない。例えば、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも大きいと、出力画像（Ｉ_OUTPUT）は、極端に鮮鋭化された不自然な画像となる。一方、ぼかし画像生成時におけるぼかし度合いが実際のぼけ量よりも小さいと、鮮鋭化効果が弱すぎる。本補正方法では、アンシャープフィルタとしてσにてぼかし度合いが規定されるガウシアンフィルタを用い、そのガウシアンフィルタのσとして画像劣化関数に対応するσ’を用いる。このため、最適な鮮鋭化効果が得られ、ぼけが良好に除去された補正画像が得られる。即ち、見た目においてぶれの少ない画像を低い計算コストで生成することができる。

図４３に、入力画像Ｉ_INPUTとしての手ぶれ画像３００と共に、最適なσのガウシアンフィルタを用いた場合に得られる画像（即ち、本来の補正画像）３０２と、小さすぎるσのガウシアンフィルタを用いた場合に得られる画像３０１と、大きすぎるσのガウシアンフィルタを用いた場合に得られる画像３０３と、を示す。σが小さすぎると鮮鋭化効果が弱く、σが大きすぎると極端に鮮鋭化された不自然な画像が生成されることが分かる。

［第１１実施例］
第９実施例において、参照画像生成用の短露光画像を選択するために用いられる第１〜第４評価値Ｋａ_i、Ｋｂ_i、Ｋｃ_i及びＫｄ_iの算出方法について説明した。この中で、短露光画像Ｃｗ_iから小画像Ｃｓ_iを抽出し、小画像Ｃｓ_iのエッジ強度又はコントラストに基づいて短露光画像Ｃｗ_iの全体に対するぶれ量を推定し、これによって評価値Ｋａ_i及びＫｂ_iを算出することを述べた（図３１及び図３３参照）。この際、小画像Ｃｓ_iを短露光画像Ｃｗ_iの中央付近から抽出する例を挙げたが、小画像Ｃｓ_iが短露光画像Ｃｗ_iの中央付近から抽出される必要性は必ずしもない。例えば、以下のようにするとよい。尚、説明の具体化のため、Ｎ＝５の場合、即ち、５枚の短露光画像Ｃｗ₁〜Ｃｗ₅が取得される場合を考える。

まず、ブロックマッチング法などを利用して、時間的に連続して撮影された２つの短露光画像Ｃｗ_i-1と短露光画像Ｃｗ_iの間におけるオプティカルフローを求める。図４４は、求められたオプティカルフローの例を示している。オプティカルフローは、対比画像間における動きベクトルの束である。次に、求められたオプティカルフローに基づいて、一連の短露光画像Ｃｗ₁〜Ｃｗ₅中における、小画像抽出用領域を検出する。小画像抽出用領域は、各短露光画像内に定義される。そして、短露光画像Ｃｗ_iの小画像抽出用領域内から小画像Ｃｓ_iを抽出するようにする。

例えば、５枚の短露光画像の撮影中において、撮像装置１が略固定され且つ撮影領域の中央付近に位置する人物が実空間上で動いている場合、その人物に対応する位置において有意な動きベクトルが検出される一方、短露光画像の大部分を占める周辺部において、そのような動きベクトルは検出されない。有意な動きベクトルとは、所定の大きさ以上の大きさを有する動きベクトルであり、単純には大きさがゼロではない動きベクトルを意味する。図４４は、このような場合におけるオプティカルフローを表している。この場合、有意な動きベクトルが検出されない領域は、実空間上で静止した被写体が描写される静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。図４４の短露光画像Ｃｗ₁〜Ｃｗ₅中における破線で囲まれた領域内部が、検出された小画像抽出用領域に対応している。

また例えば、５枚の短露光画像の撮影中において、撮影領域の中央付近に位置する人物が実空間上で右方向に動いており且つ撮像装置１の筐体（不図示）がその人物に追従するように右方向に振られている場合、図４５に示す如く、その人物に対応する位置において有意な動きベクトルは検出されず、一方、短露光画像の大部分を占める周辺部（背景部分）において有意な動きベクトルが検出される。しかも、検出される、この有意な動きベクトルの大きさ及び向きは均一である。この場合、この有意な動きベクトルが検出される領域、即ち、画像中の支配的な動き領域を小画像抽出用領域として検出する（結果的に、図４４に示す場合と同様の小画像抽出用領域が検出される）。

また例えば、５枚の短露光画像の撮影中に全被写体及び撮像装置１が実空間上で静止している場合は、短露光画像の全体領域において有意な動きベクトルは検出されない。この場合は、各短露光画像の全体領域が静被写体領域であり、この静被写体領域を小画像抽出用領域として検出する。また例えば、５枚の短露光画像の撮影中において、全被写体が実空間上で静止しているものの撮像装置１の筐体が右方向に振られている場合或いは撮像装置１が実空間上で静止しているものの全被写体が均一に左方向に移動している場合は、図４６に示す如く、短露光画像の全体に渡って、大きさ及び向きが均一な、有意な動きベクトルが検出される。この場合は、短露光画像の全体領域が支配的な動き領域であると判断され、その支配的な動き領域を小画像抽出用領域として検出する。

このように、オプティカルフローを形成する複数の動きベクトルを統計処理することにより小画像抽出用領域を特定することができる。

或いは、実空間上で動く動被写体（人物など）を検出し、その動被写体が位置していない領域を小画像抽出用領域として検出するようにしてもよい。画像処理による、公知の動被写体の追尾技術を用いれば、短露光画像の画像データを含む撮像部１１の出力から動被写体を検出して追尾することが可能である。

撮影領域内で不規則に動く動被写体が描画されている領域より小画像Ｃｓ_iを抽出し、その小画像Ｃｓ_iに基づいて評価値（Ｋａ_i又はＫｂ_i）を算出するようにすると、該評価値が動被写体の動きの影響を受け、小画像Ｃｓ_i及び短露光画像Ｃｗ_iに対するぶれ量の推定精度が劣化する。結果、ぶれ量の小さな短露光画像の選択に失敗し、適切な参照画像Ｒｗを生成できなくなる可能性が高まる。しかしながら、上記の如く、小画像抽出用領域（静被写体領域又は支配的な動き領域）を検出して小画像抽出用領域から小画像Ｃｓ_iを抽出するようにすれば、短露光画像Ｃｗ_i中に不規則に動く動被写体が含まれていたとしても、ぶれ量の少ない短露光画像を正確に選択して適切な参照画像Ｒｗを生成できるようになる。

また、短露光画像Ｃｗ_iの回転角に基づく評価値Ｋｃ_iを算出する際にも（図３６参照）補正対象対象Ｌｗから小領域が抽出されるが、評価値Ｋｃ_iが動被写体の動きの影響を受けるのを回避すべく、この小領域も小画像抽出用領域から抽出するようにするとよい。この場合、補正対象画像Ｌｗと５枚の短露光画像Ｃｗ₁〜Ｃｗ₅から成る一連の連続撮影画像群に対して、上述したようにオプティカルフローを求め、そのオプティカルフローを形成する複数の動きベクトルを統計処理することにより小画像抽出用領域を補正対象画像Ｌｗ内に設定すればよい。

第３実施形態に対する変形例または注釈事項として、以下に、注釈７及び注釈８を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合せることが可能である。尚、第１実施形態に対して上述した注釈２〜注釈５の記載内容を、第３実施形態に対して適用することも可能である。

［注釈７］
第６、第７又は第８実施例における上述の動作では、補正対象画像Ｌｗを得るための通常露光撮影の直後にＮ回の短時間露光撮影を行うようにしているが、このＮ回の短時間露光撮影を通常露光撮影の直前に行うことも可能である。また、Ｎａ回の短時間露光撮影を通常露光撮影の直前に行い且つＮｂ回の短時間露光撮影を通常露光撮影の直後に行って、合計Ｎ回の短時間露光撮影を行うようにしてもよい（但し、Ｎ＝Ｎａ＋Ｎｂ）。

［注釈８］
例えば、以下のように考えることができる。補正対象画像としての１枚の通常露光画像とＮ枚の短露光画像を取得する画像取得手段と、第６、第７又は第８実施例に記載した方法にてＮ枚の短露光画像から参照画像を生成する参照画像生成手段（第２画像生成手段）と、図２７のステップＳ２１２、図２８のステップＳ２３１又は図２９のステップＳ２５１の処理を実行して補正画像を生成する補正処理手段と、を有するぶれ補正装置が図２６の撮像装置１ｂに内在している。このぶれ補正装置は、主として、手ぶれ補正部２１にて形成される、或いは、手ぶれ補正部２１及び主制御部１３にて形成される。特に第８実施例の動作を実現する場合においては、参照画像生成手段（第２画像生成手段）は、図２９のステップＳ２４９の処理を実行する選択処理手段と、図２９のステップＳ２５０の処理を実行する合成処理手段と、図２９のステップＳ２４８の分岐処理を行うことでステップＳ２４９とＳ２５０の何れか一方のみを実行させる切替制御手段と、を有する。

本発明の第１実施形態に係る撮像装置の全体ブロック図である。 本発明の第１実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図２の動作の流れの一部を表す概念図である。 図２のフーリエ反復法の詳細フローチャートである。 図２のフーリエ反復法を実現する構成のブロック図である。 本発明の第２実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図６の動作の流れの一部を表す概念図である。 本発明の第２実施例にて実行される、画像復元フィルタのフィルタ係数の縦横拡大処理を説明するための図である。 本発明の第３実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図９の動作の流れの一部を表す概念図である。 本発明の第３実施例にて実行される加重加算処理の意義を説明するための図である。 本発明の第４実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図１２の動作の流れの一部を表す概念図である。 本発明の第５実施例に係る、手ぶれ検出及び手ぶれ補正を実現する構成ブロック図である。 従来の加算式手ぶれ補正を説明するための図である。 従来のフーリエ反復法を実現する構成のブロック図である。 本発明の第２実施形態に係る撮像装置の全体ブロック図である。 本発明の第２実施形態に係り、補正対象画像と参照画像の夫々から複数の小画像が抽出される様子を示す図である。 本発明の第２実施形態に係り、補正対象画像及び参照画像から抽出された、互いに対応する小画像を示す図である。 本発明の第２実施形態に係り、参照画像から抽出された小画像にエッジ抽出処理を施すことにより、エッジ方向に伸びる直線が検出される様子を示す図である。 本発明の第２実施形態に係り、図１９の小画像に、エッジ方向に伸びる直線を重畳して示した図である。 図２１の直線の直交方向における輝度値の分布を示すための図である。 図２１の直線の直交方向における輝度値の分布を示すための図である。 本発明の第２実施形態に係り、輝度値の分布に基づいて生成された平滑化関数としての空間フィルタを表す図である。 本発明の第２実施形態に係り、手ぶれ検出の動作の流れを表すフローチャートである。 本発明の第３実施形態に係る撮像装置の全体ブロック図である。 本発明の第６実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。 本発明の第７実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。 本発明の第８実施例に係り、図２６の撮像装置による手ぶれ補正の動作の流れを表すフローチャートである。 本発明の第８実施例に係り、図２６の撮像装置に設けられた測光回路及びＬＵＴを示す図である。 本発明の第９実施例に係り、参照画像の生成に利用される第１評価値の算出動作を表すフローチャートである。 本発明の第９実施例に係り、参照画像の生成に利用される第１評価値の算出方法を説明するための図である。 本発明の第９実施例に係り、参照画像の生成に利用される第２評価値の算出動作を表すフローチャートである。 図３３に対応する動作の意義を説明するための図であり、鮮明な短露光画像とぶれの大きい不鮮明な短露光画像を示す図である。 図３４の各短露光画像に対応する輝度ヒストグラムを示す図である。 本発明の第９実施例に係り、参照画像の生成に利用される第３評価値の算出方法を説明するための図である。 本発明の第１０実施例に係り、第１の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。 本発明の第１０実施例に係り、第２の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。 図３８に対応する手ぶれ補正処理の概念図である。 本発明の第１０実施例に係り、第３の補正方法による手ぶれ補正処理の動作の流れを表すフローチャートである。 図４０に対応する手ぶれ補正処理の概念図である。 本発明の第１０実施例に係り、一次元のガウス分布を示す図である。 図４０に対応する手ぶれ補正処理の効果を説明するための図である。 本発明の第１１実施例に係り、各短露光画像と、隣接する短露光画像間のオプティカルフローの例を示す図である。 本発明の第１１実施例に係り、隣接する短露光画像間のオプティカルフローの他の例を示す図である。 本発明の第１１実施例に係り、隣接する短露光画像間のオプティカルフローの更に他の例を示す図である。

符号の説明

１、１ａ、１ｂ 撮像装置
１１ 撮像部
１３ 主制御部
１９、２０ 手ぶれ検出／補正部
２１ 手ぶれ補正部
３１ メモリ
３２ 劣化画像／初期復元画像設定部
３３ フーリエ反復処理部
３４ フィルタリング部
３５ リンギング除去部

Claims (24)

1. 撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出装置において、
   前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成するぶれ情報作成手段を備えた
   ことを特徴とするぶれ検出装置。
2. 前記ぶれ情報は、前記第１画像の全体のぶれを表す画像劣化関数である
   ことを特徴とする請求項１に記載のぶれ検出装置。
3. 前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像に基づいて前記ぶれ情報を作成する
   ことを特徴とする請求項１または請求項２に記載のぶれ検出装置。
4. 前記ぶれ情報作成手段は、
   前記第１画像に基づく画像を周波数領域上に変換して得た第１関数と前記第２画像に基づく画像を周波数領域上に変換して得た第２関数とから周波数領域上における前記画像劣化関数を暫定的に求め、求めた周波数領域上における前記画像劣化関数を空間領域上に変換して得た関数を所定の拘束条件を用いて修正する処理を介して、最終的に前記画像劣化関数を求める
   ことを特徴とする請求項２に記載のぶれ検出装置。
5. 前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第２画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する
   ことを特徴とする請求項１または請求項２に記載のぶれ検出装置。
6. 前記ぶれ情報作成手段は、前記第１画像及び第２画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする
   ことを特徴とする請求項５に記載のぶれ検出装置。
7. 前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を保持する保持手段を更に備え、
   前記ぶれ情報作成手段は、前記表示用画像を前記第２画像として流用する
   ことを特徴とする請求項１〜請求項６の何れかに記載のぶれ検出装置。
8. 前記第１画像の撮影直前又は直後の前記撮像手段の出力に基づく表示用画像を第３画像として保持する保持手段を更に備え、
   前記ぶれ情報作成手段は、前記第１画像と、前記第２画像と、前記第３画像と、に基づいて前記ぶれ情報を作成する
   ことを特徴とする請求項１または請求項２に記載のぶれ検出装置。
9. 前記ぶれ情報作成手段は、前記第２画像と前記第３画像を加重加算することにより第４画像を生成し、前記第１画像と前記第４画像から前記ぶれ情報を作成する
   ことを特徴とする請求項８に記載のぶれ検出装置。
10. 前記ぶれ情報作成手段は、前記第２画像と前記第３画像の内の何れか一方を第４画像として選択する選択手段を備えて、前記第１画像と前記第４画像から前記ぶれ情報を作成し、
    前記選択手段は、前記第２画像と前記第３画像の各エッジ強度、前記第２画像と前記第３画像の各露光時間、及び、設定された外部情報の内の少なくとも１つに基づいて、前記第２画像と前記第３画像との間の選択を行う
    ことを特徴とする請求項８に記載のぶれ検出装置。
11. 前記ぶれ情報作成手段は、前記第１画像に基づく画像及び前記第４画像に基づく画像をそれぞれ劣化画像及び初期の復元画像として取り扱い、フーリエ反復法を用いて前記ぶれ情報を算出する
    ことを特徴とする請求項９または請求項１０に記載のぶれ検出装置。
12. 前記ぶれ情報作成手段は、前記第１画像、第２画像及び第３画像の夫々から一部画像を抽出する抽出手段を備え、各一部画像から前記劣化画像及び前記初期の復元画像を生成することにより、前記劣化画像及び前記初期の復元画像の各画像サイズを前記第１画像の画像サイズよりも小さくする
    ことを特徴とする請求項１１に記載のぶれ検出装置。
13. 請求項１〜請求項１２の何れかに記載のぶれ検出装置と、
    前記撮像手段と、を備えた
    ことを特徴とする撮像装置。
14. 撮像手段の撮影によって得られた第１画像に含まれるぶれを、前記撮像手段の出力に基づいて検出するぶれ検出方法において、
    前記第１画像と、前記第１画像の露光時間よりも短い露光時間によって撮影された第２画像と、に基づいて前記ぶれに応じたぶれ情報を作成する
    ことを特徴とするぶれ検出方法。
15. 撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得手段と、
    前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成手段と、
    前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理手段と、を備えた
    ことを特徴とするぶれ補正装置。
16. 前記第２画像生成手段は、
    各短露光画像のエッジ強度、
    各短露光画像のコントラスト、及び、
    前記第１画像に対する各短露光画像の回転角、
    の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を前記第２画像として選択する
    ことを特徴とする請求項１５に記載のぶれ補正装置。
17. 前記第２画像生成手段は、
    各短露光画像の、前記第１画像との撮影時間差、
    を更に用いて、前記第２画像の選択を行う
    ことを特徴とする請求項１６に記載のぶれ補正装置。
18. 前記第２画像生成手段は、前記複数の短露光画像の内の２以上の短露光画像を合成することによって前記第２画像を生成する
    ことを特徴とする請求項１５に記載のぶれ補正装置。
19. 前記第２画像生成手段は、
    各短露光画像のエッジ強度、各短露光画像のコントラスト、及び、前記第１画像に対する各短露光画像の回転角、の内の少なくとも１つに基づいて前記複数の短露光画像の中から１枚の短露光画像を選択する選択処理手段と、
    前記複数の短露光画像の内の２以上の短露光画像を合成した合成画像を生成する合成処理手段と、
    前記選択処理手段及び前記合成処理手段の何れか一方のみを機能させることにより、前記１枚の短露光画像又は前記合成画像を前記第２画像として生成する切替制御手段と、を備え、
    前記切替制御手段は、前記選択処理手段及び前記合成処理手段の何れを機能させるかを、各短露光画像のＳ／Ｎ比に基づいて決定する
    ことを特徴とする請求項１５に記載のぶれ補正装置。
20. 前記補正処理手段は、前記第１画像と前記第２画像に基づいて前記第１画像の前記ぶれに応じたぶれ情報を作成し、前記ぶれ情報に基づいて前記第１画像の前記ぶれを補正する
    ことを特徴とする請求項１５〜請求項１９の何れかに記載のぶれ補正装置。
21. 前記補正処理手段は、前記第１画像の色信号に前記第２画像の輝度信号を合成することによって、前記第１画像の前記ぶれを補正する
    ことを特徴とする請求項１５〜請求項１９の何れかに記載のぶれ補正装置。
22. 前記補正処理手段は、前記第２画像を用いて前記第１画像を鮮鋭化することにより、前記第１画像の前記ぶれを補正する
    ことを特徴とする請求項１５〜請求項１９の何れかに記載のぶれ補正装置。
23. 請求項１５〜請求項２２の何れかに記載のぶれ補正装置と、
    前記撮像手段と、を備えた
    ことを特徴とする撮像装置。
24. 撮像手段を用いた撮影によって第１画像を取得するとともに、前記第１画像の露光時間よりも短い露光時間での複数回撮影によって複数の短露光画像を取得する画像取得ステップと、
    前記複数の短露光画像から１枚の画像を第２画像として生成する第２画像生成ステップと、
    前記第１画像と前記第２画像に基づいて前記第１画像に含まれるぶれを補正する補正処理ステップと、を備えた
    ことを特徴とするぶれ補正方法。