JP2012195668A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】多眼方式の撮像装置で取得された画像群から、ぶれを含まない画像を提供することを目的とする。
【解決手段】画像処理装置が、シャッタースピードが異なる複数の撮像部を有する多眼方式の撮像装置によって撮影された複数の画像を取得する画像取得部と、前記取得した複数の画像から、前記複数の撮像部において画角が重複する重複領域を算出する重複領域算出部と、前記重複領域算出部で算出された重複領域に対応する前記複数の画像の領域画像を用いて、ぶれを含む画像を検出するぶれ画像検出部と、を備えたことを特徴とする。
【選択図】図６

Description

本発明は、多眼方式の撮像装置で取得された画像群から、ぶれのない画像を提供するための画像処理装置、画像処理方法およびプログラムに関するものである。

近年の撮像装置の高画素化、高ズーム化に伴い、撮像時の手ぶれによる撮影画像のぶれが問題となってきており、手ぶれ補正機能付き撮像装置が広く使用されている。このような手ぶれ補正機能を実現する方式としては、手ぶれによる角速度を検出するジャイロセンサと、手ぶれを打ち消すようにレンズと撮像素子との相対的位置を制御する駆動装置とで光学的に手ぶれを補正する光学的手ぶれ補正方式が一般的である。

また、異なる方式として、高速なシャッタースピードで複数の画像を取り込み、該取り込んだ複数の画像に対し電子的な位置合わせを行って重ね合わせることでぶれのない画像を生成する電子的手ぶれ補正方式も提案されている（例えば、特許文献１）。この電子的手ぶれ補正方式ではジャイロセンサを必要としないため、撮像装置の小型化ができるだけでなく、製造コストを抑えることができるという利点を有している。

手ぶれの影響を抑えた撮影画像を得るその他の方法として、シャッタースピードの異なる画像を連続（ブラケット）撮影する方法がある（例えば、特許文献２）。この方法では、シャッター半押し時にカメラのぶれを検出し、ぶれ量が規定値以下であれば通常の１枚撮影が行われ、ぶれ量が規定値以上であればブラケット撮影が行われる。ブラケット撮影を行うことで、ぶれのない撮影画像を得やすくなるという利点を有している。

特開２００６−０７４６９３号公報 特開２００９−２３９８２２号公報

しかしながら、特許文献１で提案される電子的手ぶれ補正方式では、各取得画像にはぶれを含んでいないことが前提となっており、ぶれを含んでいた場合には、各画像間での位置合わせが良好に実現できないという課題があった。また、夜景シーン等の撮像においては撮影画像にノイズが印加されやすく、ノイズ低減のために一定時間以上の露光時間が必要となる。露光時間を長くするとその分だけぶれが含まれやすくなり、各画像間での位置合わせが不十分となる。その結果、特許文献１の電子的手ぶれ補正方式では、位置合わせ後の画像を加算合成しても手ぶれを十分に補正できないという問題を有している。

一方、特許文献２で提案されるブラケット撮影では、撮影時間が長くなるため、撮影シーンに動きのある被写体が存在する場合には、好適なシャッタータイミングを逃すことがある。更に、シャッター半押し時のぶれ量と本撮影時のぶれ量との間に差がある場合には、好適なシャッタースピードの組み合わせにてブラケット撮影できず、ぶれのない画像を一枚も撮影できない可能性がある。

本発明に係る画像処理装置は、シャッタースピードが異なる複数の撮像部を有する多眼方式の撮像装置によって撮影された複数の画像を取得する画像取得部と、前記取得した複数の画像から、前記複数の撮像部において画角が重複する重複領域を算出する重複領域算出部と、前記重複領域算出部で算出された重複領域に対応する前記複数の画像の領域画像を用いて、ぶれを含む画像を検出するぶれ画像検出部と、を備えたことを特徴とする。

本発明に係る画像処理装置および画像処理方法によれば、より確実にぶれのない画像を提供することができる。

複数の撮像部を備えた多眼方式の撮像装置の一例を示した図である。 多眼方式の撮像装置の内部構成を示すブロック図である。 撮像部の内部構成を示す図である。 撮像部のシャッタースピードの一例を示す図である。 実施形態１に係る画像処理部の内部構成を示すブロック図である。 実施形態１に係る画像処理部における処理の流れを示すフローチャートである。 重複領域算出処理の流れを示すフローチャートである。 重複領域を漏れなく算出するまでのｍとｎの変遷過程の一例を示す図である。 重複領域を説明する図である。 全重複領域を説明する図である。 実施形態１における重複領域（全重複領域）の一例を示す図である。 ぶれ画像検出部の内部構成を示すブロック図である。 ぶれ画像検出処理の流れを示すフローチャートである。 モノクロ画像に変換された切出し画像の一例を示す図である。 差分画像の一例を示す図である。 パワー画像の一例を示す図である。 実施形態２に係る画像処理部の内部構成を示すブロック図である。 実施形態２に係る画像処理部における処理の流れを示すフローチャートである。 実施形態２に係る画像処理部の内部構成を示すブロック図である。 実施形態３に係る画像処理部における処理の流れを示すフローチャートである。 実施形態４における重複領域（全重複領域）の一例を示す図である。 実施形態４における差分画像生成処理の流れを示すフローチャートである。 注目画素の位置、参照画像に設定されたブロック、該ブロックの中心位置、および設定されたブロックマッチングを行う範囲を示す図である。

（実施形態１）

図１は、複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。

１００は撮像装置の筐体であり、カラー画像を取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。９個の撮像部は、正方格子上に均等に配置されている。

ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。

なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。

また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

図２は、撮像装置１００の内部構成を示すブロック図である。

２０１は中央処理装置（ＣＰＵ）であり、以下に述べる各部を統括的に制御する。

２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

２０３はＲＯＭであり、ＣＰＵ２０１で実行される制御プラグラム等を格納している。

２０４は各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。

２０５はユーザの指示を受け取る操作部であり、ボタンやモードダイヤルなどが含まれる。

２０６は撮影画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。

２０７は表示制御部２０７であり、表示部２０６に表示される撮影画像や文字の表示制御を行う。

２０８は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。

２０９はデジタル信号処理部であり、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

２１０はエンコーダ部であり、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。

２１１は外部メモリ制御部であり、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

２１２は画像処理部であり、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０８から出力されるカラー画像群から、ぶれのない画像を選び出し出力する処理を行う。画像処理部２１２の詳細については後述する。

なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。

図３は、撮像部１０１〜１０９の内部構成を示す図である。

撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。

センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。

図４は、撮像部１０１〜１０９のシャッタースピードの一例を示している。

撮像部１０１〜１０９の各シャッタースピードが図４に示すような段階的に異なるシャッタースピードとなるように、撮像部制御部２０８によって、撮像部１０１〜１０９の各シャッターが制御される。図４の例では、撮像部１０１〜１０９における各シャッタースピードが、最も早い（短い）１／５００秒から最も遅い（長い）１／２秒までの間で段階的に異なるように設定されている。当然のことながら図４に示すものは一例であって、例えば最も早いシャッタースピードを１／１０００秒にする等して、最も早いシャッタースピードと最も遅いシャッタースピードとの間隔をもっと広く設定してもよい。さらに図４の例では線形にシャッタースピードを異ならせているが、非線形に異ならせてもよい。また、シャッタースピードの変化に規則性を持たせず、ランダムに変化させてもよい。例えば、撮像部１０１のシャッタースピードを１／３０秒、撮像部１０２のシャッタースピードを１／４秒、撮像部１０２のシャッタースピードを１／５００秒、という様にシャッタースピードを設定してもよい。

また、本実施形態においては、撮像部１０１〜１０９におけるシャッタースピードは予め設定されるものとするが、例えば、操作部２０５や表示部２０６からユーザが任意に設定できるようにしてもよい。

なお、撮像部１０１〜１０９のシャッター開始のタイミングは全て一致しており、時刻ｔ０で開始するように設定されている。

＜画像処理部の構成図＞
図５は、画像処理部２１２の内部構成を示したブロック図である。

５０１は画像取得部であり、撮像部１０１〜１０９からバス２０４を経由して供給されるカラー画像群を取得する。

５０２はメモリ部であり、画像取得部５０１から供給されるカラー画像群を一時的に格納する。
５０３はパラメータ取得部であり、撮影時における撮像部１０１〜１０９の各種パラメータを取得する。パラメータには、例えば、撮像部の焦点距離、センササイズ、センサの画素数、ピント位置（カメラと被写体の距離）、撮像部の相対位置、シャッタースピードなどが含まれる。

５０４は重複領域算出部であり、パラメータ取得部５０３から供給されるパラメータを使用して、各撮像部の画角が重複する領域（以下、「重複領域」と呼ぶ。）を算出する。

５０５は画像切出し部であり、メモリ部５０２に格納されたカラー画像群から、重複領域算出部５０４から与えられる重複領域に対応する画像（領域画像）を切り出す処理を行う。なお、後述の通り、この画像切り出し部５０５は省略可能である。

５０６はぶれ画像検出部であり、切り出された画像の中からぶれを含んだ画像を検出する。なお、画像切り出し部５０５を省略した構成を採用する場合には、上記領域画像を算出する処理も併せて行う。

５０７は出力画像選択部であり、メモリ部５０２に格納されたカラー画像群から、ぶれ画像検出部５０６でぶれを含んだ画像として検出された画像以外の画像、すなわち、ぶれを含まないカラー画像を出力画像として選択する。

次に、画像処理部２１２の上記各部によって行なわれる画像処理の詳細を説明する。

図６は画像処理部２１２における処理の流れを示すフローチャートである。

ステップ６０１において、画像取得部５０１は、撮像部１０１〜１０９からカラー画像を受け取る。本実施形態では、撮像部は９個であるので、９枚のカラー画像のデジタルデータが入力されることになる。

ステップ６０２において、メモリ部５０２は、入力されたカラー画像のデジタルデータを格納し、一時的に保持する。

ステップ６０３において、パラメータ取得部５０３は、撮像部１０１〜１０９に関するパラメータを取得する。

ステップ６０４において、重複領域算出部５０４は、取得したパラメータを使用して、重複領域を算出する。重複領域の算出方法の詳細については後述する。

ステップ６０５において、画像切出し部５０５は、メモリ部５０２に格納されたカラー画像群に対して、重複領域算出部５０４から与えられる重複領域に基づいて、当該重複領域に対応する領域画像を切り出す処理を行う。

ステップ６０６において、ぶれ画像検出部５０６は、画像切出し部５０５で切り出された領域画像を用いて、ぶれを含む画像を検出する。具体的には、各撮像部のシャッタースピードを参照して、画像切出し部５０５で切り出された領域画像中に含まれるぶれを定量的に評価して、領域画像をぶれのあるものとないもとに峻別することにより、ぶれのある画像を見つけ出す。ぶれ画像検出処理の詳細についても後述する。

ステップ６０７において、出力画像選択部５０７は、ぶれのない領域画像の画像を出力画像として選択する。この場合において、ぶれがないと判断された画像が複数存在する場合には、それらのうち最もシャッタースピードの遅い（長い）画像を出力画像として選択する。これは、シャッタースピードが遅いほどセンサのノイズの影響を受けにくく、ノイズを抑えた画像となるからである。

ステップ６０８において、出力画像選択部５０７で選択された画像が出力されると、本処理は終了する。

以上が、画像処理部２１２における処理の概要であり、このような処理を行うことで、ぶれのない画像の提供が可能となる。

なお、図６に示したフローチャートは、画像切り出し部５０５が存在することを前提としている。しかし、上述のとおり、画像切り出し部５０５は省略可能である。例えば、ぶれ画像検出部５０６が、重複領域算出部５０４で算出された重複領域とメモリ部５０２に格納される複数の撮影画像を取得し、該撮影画像中の重複領域に対応する領域画像を算出して、該算出された領域画像に対してぶれ画像の検出を行うようにしてもよい。

続いて、重複領域の算出処理及びぶれ画像の検出処理の詳細について、順次説明することとする。

＜重複領域の算出処理＞
図６のフローチャートのステップ６０４で行われる重複領域算出処理の詳細について説明する。

図７は、重複領域算出処理の流れを示すフローチャートである。

ステップ７０１において、重複領域算出部５０４は、パラメータ取得部５０３から撮像部１０１〜１０９に関する前述のパラメータを受け取る。

ステップ７０２において、重複領域算出部５０４は、メモリ部５０２に格納された複数の画像群から、重複領域を算出したい基準画像Ｉ（ｉ，ｊ，ｍ）を１つ選択する。ここで、（ｉ、ｊ）は画像上の座標位置を表す変数であり、ｍは初期値０から始まる基準画像の番号を示す変数である。ステップ７０２で選択される基準画像は最初に選択される基準画像あり、ここでは、Ｉ（ｉ，ｊ，０）の画像が選択される。

ステップ７０３において、重複領域算出部５０４は、基準画像と比較する参照画像Ｉ（ｉ，ｊ，ｎ）を１つ選択する。ここで、ｎは参照画像の番号を示す変数である。ステップ７０３で選択される参照画像は最初に選択される参照画像であり、ｎの初期値はｎ＝ｍ＋１に設定されているので、ここでは、Ｉ（ｉ，ｊ，１）の画像が選択される。

以下に述べるステップ７０７及びステップ７１１において、参照画像及び基準画像はそれぞれ更新されることになるが、Ｎ個の撮像部を有する多眼方式の撮像装置では、ｍの最大値はＮ−２、ｎの最大値はＮ−１となる。図８は、図１に示した9個の撮像部を有する撮像装置の場合に重複領域を漏れなく算出するまでのｍとｎの変遷過程を示したものである。例えば、ｍが初期値である０のとき、ｎは１〜８までの値をとり、実線ａ〜ｈで示される８つの組み合わせについて重複領域が算出される。そして、ｍが（９−２＝）７になるまでこの処理が繰り返される。既に取得した組み合わせについては重ねて重複領域を算出する必要がないため、ｍの値が大きくなるにつれて重複領域の算出対象となる組み合わせの数は１ずつ減っていき、ｍが７のときは破線ｉで示される1の組み合わせについてのみ重複領域が算出される。

図7のフローチャートの説明に戻る。

ステップ７０４において、重複領域算出部５０４は、選択された基準画像Ｉ（ｉ，ｊ，ｍ）と参照画像Ｉ（ｉ，ｊ，ｎ）との重複領域を、入力されたパラメータに基づいて算出する。処理開始直後の最初のステップ７０４では、基準画像（ｉ，ｊ，０）、参照画像（ｉ，ｊ，１）についての重複領域が算出される。

図９の（ａ）〜（ｃ）は、ステップ７０４で算出される重複領域を説明する図である。説明を簡潔にするため、二次元平面に展開した模式図としている。同図の（ａ）及び（ｂ）において、基準画像は撮像部１０１で取得された画像（ｉ，ｊ，０）であり、参照画像は撮像部１０２で取得された画像（ｉ，ｊ，１）である。

図９の（ａ）は、同じスペックを持つ撮像部１０１と撮像部１０２が、間隔ｌｘを保ってｘ方向に併置される様子を示している。（Ｓｘ、Ｓｙ）は、センサの（ｘ、ｙ）方向のサイズである。ｄｓは、撮像部の焦点距離（レンズとセンサの距離）である。ｄ_objは、ピント位置（カメラと被写体の距離）である。点線で囲まれる領域はカメラの撮像範囲、すなわち画角であり、センササイズ（Ｓｘ、Ｓｙ）と焦点距離ｄｓによって決定される。［Ｐ₁₀、Ｐ₂₁］の線分が重複領域のｘ（横）方向の辺に当たる部分であり、その距離ｗｘは、式（１）によって求めることができる。

図９の（ｂ）は、撮像部１０１で撮像された画像（撮像範囲）、撮像部１０２で撮像された画像（撮像範囲）、及び両画像の重複領域の一例を示している。［Ｐ₁₀、Ｐ₁₁、Ｐ₁₂、Ｐ₁₃］の四点で囲まれる領域が撮像部１０１の撮像範囲であり、［Ｐ₂₀、Ｐ₂₁、Ｐ₂₂、Ｐ₂₃］の４点で囲まれる領域が撮像部１０２の撮像範囲である。そして、［Ｐ₁₀、Ｐ₂₁、Ｐ₂₂、Ｐ₁₃］の４点で囲まれる斜線領域が重複領域である。［Ｐ₁₀、Ｐ₂₁］の線分がセンサ面上における重複領域のｘ（横）方向の辺に相当し、その画素数ｎｗは、式（２）によって求めることができる。

ここで、ｎｘはセンサの横画素数である。

前述の通り、撮像部１０１と撮像部１０２はｘ方向に併置されているため、縦方向の重複範囲には、センサの縦画素数ｎｙと同じ画素数分だけ含まれることになる。

図９の（ｃ）は、二台のカメラがｙ方向に併置される場合における重複領域の一例を示している。ここでは、撮像部１０１で撮像された画像（撮像範囲）、撮像部１０４で撮像された画像（撮像範囲）、及び両画像の重複領域を示している。［Ｐ₁₀、Ｐ₁₁、Ｐ₁₂、Ｐ₁₃］の四点で囲まれる領域が撮像部１０１の撮像範囲であり、［Ｐ₃₀、Ｐ₃₁、Ｐ₃₂、Ｐ₃₃］の４点で囲まれる領域が撮像部１０４の撮像範囲である。そして、［Ｐ₃₀、Ｐ₃₁、Ｐ₁₂、Ｐ₁₃］の４点で囲まれる斜線領域が重複領域である。［Ｐ₃₀、Ｐ₁₃］の線分がセンサ面上における重複領域のｙ（縦）方向の辺に相当し、その画素数ｎｈは、式（３）によって求めることができる。

ここで、ｎｙはセンサの縦画素数である。

以上のようにして、ステップ７０４で基準画像と参照画像との重複領域が算出される。

ステップ７０５において、重複領域算出部５０４は、算出された重複領域のデータをメモリに格納する。

ステップ７０６において、重複領域算出部５０４は、全ての参照画像について重複領域の算出が完了したか否か、すなわち、ｎ＝Ｎ−１に到達したか否かを判定する。すべての参照画像について重複領域の算出が完了していれば、ステップ７０８に進む。一方、未処理の参照画像がある場合（ｎ＜Ｎ−１の場合）には、ステップ７０７に進む。

ステップ７０７において、重複領域算出部５０４は、ｎの値をインクリメント（ｎ＝ｎ＋１）して、参照画像を更新し、ステップ７０４に戻る。このようにして、ｎ＝Ｎ−１に到達するまで、ステップ７０４〜ステップ７０６の処理が繰り返される。

ステップ７０８において、重複領域算出部５０４は、１の基準画像Ｉ（ｉ，ｊ，ｍ）について得られた重複領域のすべてが重なる共通の領域（以下、「全重複領域」と呼ぶ）を算出する。

図１０は、全重複領域を説明する図である。ここでは、説明の便宜上、３台の撮像部１０１、１０２、１０４の撮像領域についてしか示していないが、撮像部が９個あればその全ての撮像部における撮像領域の全重複領域が求められることになる。３台の撮像部１０１、１０２、１０４における重複領域は、図９の（ｂ）及び（ｃ）で示したとおりであるので、この２つの重複領域が重なる領域、つまり［Ｐ_a、Ｐ₃₁、Ｐ₂₂、Ｐ₁₃］の４点で囲まれる斜線領域がこの場合の全重複領域となる。

ステップ７０９において、重複領域算出部５０４は、上記のようにして得られた１の基準画像Ｉ（ｉ，ｊ，ｍ）に対する全重複領域のデータをメモリに格納する。

ステップ７１０において、重複領域算出部５０４は、全ての基準画像について全重複領域の算出が完了したか否か、すなわち、ｍ＝Ｎ−２に到達したか否かを判定する。すべての基準画像について全重複領域の算出が完了していれば、ステップ７１２に進む。一方、未処理の基準画像がある場合（ｍ＜Ｎ−２の場合）には、ステップ７１１に進む。

ステップ7１１において、重複領域算出部５０４は、ｍの値をインクリメント（ｍ＝ｍ＋１）して、基準画像を更新し、ステップ７０３に戻る。このようにして、ｍ＝Ｎ−２に到達するまで、ステップ７０３〜ステップ７１０の処理が繰り返される。

ステップ７１２において、重複領域算出部５０４は、各基準画像に対する全重複領域を出力する。

このようにして、図６のフローチャートのステップ６０４における重複領域算出処理が行われる。

なお、説明の都合上、図９と図１０では、基準画像と参照画像の撮像範囲を図示したが、これは重複領域算出部５０４における重複領域の算出処理が、基準画像・参照画像となる撮像画像を実際に受け取った上でなされることを必ずしも意味しない。重複領域算出部５０４は、基準画像・参照画像となる撮像画像を実際に受け取った上で重複領域の算出処理を行ってもよいし、式（１）〜式（３）に示される重複領域算出に必要なパラメータのみを受け取って重複領域を算出する構成でも構わない。

図１１は、撮像部が9個ある場合に得られる重複領域（全重複領域）の一例を示している。

図１１の（ａ）は、撮像部と被写体の関係を示しており、ふたつの被写体が撮像部１０１〜１０３から等距離に離れた位置に存在している。図１１の（ｂ）は、9個の撮像部１０１〜１０９で撮像された画像内における全重複領域をそれぞれ示している。点線で囲まれる領域が各撮像部における全重複領域であり、このように全重複領域を規定することにより、視点位置の異なる各撮影画像から同一の撮像領域が特定される。

＜ぶれ画像の検出処理＞
次に、図６のフローチャートのステップ６０６で行われる、ぶれ画像検出処理の詳細について説明する。処理の詳細説明に入る前に、画像処理部２１２のぶれ画像検出部５０６の構成について説明する。

図１２は、ぶれ画像検出部５０６の内部構成を示したブロック図である。

１２０１は画像取得部であり、画像切出し部５０５にて切り出されたカラー画像群を取得する。

１２０２はモノクロ画像変換部であり、受け取ったカラー画像をモノクロ画像に変換する。具体的には、カラーＲＧＢ値を輝度値に変換する処理を行う。

１２０３はメモリ部であり、変換されたモノクロ画像を格納する。

１２０４は基準画像選択部であり、ぶれ画像を検出する際の基準となる画像を選択する。

１２０５は参照画像選択部であり、ぶれ画像を検出する際に基準画像と比較される参照画像を選択する。

１２０６は差分画像生成部であり、基準画像、参照画像及び撮像部のシャッタースピードを用いて、差分画像を演算する。なお、撮像部のシャッタースピードに関する情報は、パラメータ入力端子１２０７から供給される。

１２０８はフーリエ変換部であり、差分画像生成部１２０６から供給される差分画像に対してフーリエ変換を実施し、フーリエ変換画像を生成する。

１２０９は評価値算出部であり、フーリエ変換部１２０８から供給されるフーリエ変換画像の周波数特性及び基準画像選択部１２０５から供給される基準画像を用いて、基準画像との類似度を示す評価値を算出する。

１２１０はぶれ画像決定部であり、評価値算出部１２０９で得られた評価値に基づいて、ぶれ画像を決定する。

なお、画像切り出し部５０５が省略された構成の場合には、メモリ部５０２からカラー画像群を取得し、重複領域算出部５０４から与えられる重複領域に対応する領域画像を算出する処理部が追加されることになる。

続いて、ぶれ画像検出処理の詳細について説明する。

図１３は、ぶれ画像検出処理の流れを示すフローチャートである。

ステップ１３０１において、画像取得部１３０１は、画像切出し部５０５にて切り出されたカラー画像群を取得する。

ステップ１３０２において、モノクロ画像変換部１２０２は、カラー画像をモノクロ画像に変換する。上述の通り、カラーＲＧＢ値が輝度値に変換処理される。

ステップ１３０３において、メモリ部１２０３は、変換されたモノクロ画像群を格納する。

ステップ１３０４において、基準画像選択部１２０４は、ぶれ画像を検出する際の基準画像Ｉ’（ｉ，ｊ，ｍ）を選択する。ここで、Ｉ’は切出し後の画像であることを表している。ここで、（ｉ、ｊ）は画像上の座標位置を表す変数である。ｍは基準画像の番号を示す変数であり、Ｎ個の撮像部を有する多眼方式の撮像装置では、ｍは０〜Ｎ−２の値をとる。本ステップでは、シャッタースピードの速い撮像部から順に選択されるように変数ｍの番号が振られる。その理由については後述する。本実施形態における撮像部１０１〜１０９の中では撮像部１０１のシャッタースピードが最も速いので、撮像部１０１にて取得された画像が最初の基準画像として選択されることになる。

ステップ１３０５において、参照画像選択部１２０５は、ぶれ画像を検出する際の比較対象となる参照画像Ｉ’（ｉ，ｊ，ｎ）を選択する。ここで、ｎは参照画像の番号を示す変数であり、ｎは１〜Ｎ−１の値をとる。ステップ１３０５で選択される参照画像は最初に選択される参照画像であり、ｎの初期値はｎ＝ｍ＋１に設定されているので、ここでは、Ｉ’（ｉ，ｊ，１）の画像が選択される。

図１４の（ａ）〜（ｅ）は、撮像部１０１〜１０５で撮影され（撮像部１０６〜１０９で撮影された画像については簡単化のため省略）、モノクロ画像に変換された切出し画像の一例を示している。

図１４の（ａ）は最もシャッタースピートの速い撮像部１０１で撮影された画像であって、基準画像Ｉ’（ｉ，ｊ，ｍ）として選択された画像を示している。同（ｂ）は撮像部１０２、同（ｃ）は撮像部１０３、同（ｄ）は撮像部１０４、同（ｅ）は撮像部１０５で撮影された画像であって、参照画像Ｉ’（ｉ，ｊ，ｎ）として選択された画像である。これらの画像のうち、シャッタースピードが比較的速い撮像部（撮像部１０１〜１０３）によって撮影された図１４の（ａ）〜（ｃ）の各画像には、ぶれが含まれていないことが確認できる。一方、シャッタースピートが比較的遅い撮像部（撮像部１０４、１０５）によって撮影された図１４の（ｄ）、（ｅ）の各画像には、ぶれが含まれていることが確認できる。この図では、撮像部１０６〜１０９の撮影画像については省略している。しかし、撮像部１０４〜１０５で撮像される画像にぶれを含んでいることから、撮像部１０５よりも遅いシャッタースピードで撮影される撮像部１０６〜１０９の撮影画像にも、ぶれが含まれることが推察できる。なお、これらの図からは、シャッタースピードの速い画像ほど、全体的に暗くなる傾向があることも分かる。

図１３のフローチャートの説明に戻る。

ステップ１３０４及び１３０５を経て基準画像及び参照画像が決定されると、ステップ１３０６において、差分画像生成部１２０６は、差分画像Ｅ（ｉ，ｊ，ｎ）を生成する。差分画像Ｅ（ｉ，ｊ，ｎ）は、式（４）を用いた演算によって生成される。

ここで、Ｔｖ（ｍ）は基準画像ｍのシャッタースピード、Ｔｖ（ｎ）は参照画像ｎのシャッタースピードである。この場合において、基準画像を撮影する際のシャッタースピードと参照画像を撮影する際のシャッタースピードとは異なっているため、両者の明るさを一致させる必要がある。そこで、上記式（４）においてＴｖ（ｍ）及びＴｖ（ｎ）の値が共に１となるように基準画像及び参照画像の輝度を調整する処理がなされる。

図１５は、図１４の基準画像（ａ）を用いて生成した、各参照画像（ｂ）〜（ｅ）についての差分画像Ｅ（ｉ，ｊ，ｎ）を示した図である。撮像部１０２、１０３の差分画像が一様なノイズ画像となっている一方、撮像部１０４、１０５の差分画像には被写体のエッジ部における像が残留していることが確認できる。なお、撮像部１０２〜１０３の差分画像が、一様なノイズ画像となる理由は、撮像素子のノイズの影響による。

図１５から明らかなように、ぶれが発生していない撮像部１０２、１０３について得られた差分画像と、ぶれが発生している撮像部１０４、１０５についての差分画像との間には明らかな差異が現れる。この差異を客観的に把握し、ぶれの有無を定量的に評価するため、評価値Ｅ（ｎ）を求める処理が行われる。

評価値Ｅ（ｎ）を求める前段階の処理として、ステップ１３０７において、フーリエ変換部１２０８は、生成された差分画像Ｅ（ｉ，ｊ，ｎ）に対して、フーリエ変換を行う。具体的には、フーリエ変換のパワーを示す画像ＰＥ（ｕ，ｖ，ｎ）を、式（５）に基づいて演算する。

なお、ＦＦＴ（）は、２次元のフーリエ変換を施す関数である。

図１６は、図１５で示した各差分画像について得られたパワー画像ＰＥ（ｉ，ｊ，ｎ）を示す図である。パワー画像の中心は低周波の画像成分を示しており、画像中心から離れるに従って高周波の画像成分となる。周波数の強度は画像の濃淡によって表わされており、輝度の明るい部分は当該周波数の成分を画像中に多く含むことを表している。図１６から、撮像部１０２〜１０３のパワー画像は一様な周波数の分布を示している一方、撮像部１０４〜１０５のパワー画像は、低周波に多くの画像成分を含んでいることが分かる。

続いて、ステップ１３０８において、評価値算出部１２０９は、求められたパワー画像ＰＥ（ｕ，ｖ，ｎ）を用いて、基準画像との類似度を示す評価値Ｅ（ｎ）を算出する。評価値Ｅ（ｎ）は、式（６）を用いて算出される。

ただし、
Ｅ’（ｕ，ｖ）＝１ （ＰＥ（ｕ，ｖ，ｎ）＞Ｔｈ０ の場合）
Ｅ’（ｕ，ｖ）＝０ （それ以外 の場合）
とする。ここで、（ｕ、ｖ）は、フーリエ空間の座標位置である。（Ｎｕ、Ｎｖ）は、差分画像のパワー画像ＰＥ（ｕ，ｖ，ｎ）の、（ｕ、ｖ）方向への要素数である。ここでは、ＮｕとＮｖの値は、共に５１２に設定している。

ところで、式（６）は、閾値Ｔｈ０を超える、差分画像のパワーＰ（ｕ，ｖ，ｎ）の頻度を意味している。ここで、閾値Ｔｈ０は、基準画像のパワーの平均値を示しており、式（７）、式（８）によって導かれる。

ステップ１３０９において、参照画像選択部１２０５は、全ての参照画像Ｉ’（ｉ，ｊ，ｎ）について基準画像との類似度を示す評価値Ｅ（ｎ）の算出が完了したか否かを判定する。すべての参照画像について評価値の算出処理が完了したと判定されれば、ステップ１３１１に進む。一方、未処理の参照画像がある場合には、ステップ１３１０に進む。

ステップ１３１０において、参照画像選択部１２０５は、参照画像の更新処理（参照画像の番号を示す変数ｎの値をインクリメント）を行い、ステップ１３０６に戻る。そして、すべての参照画像について評価値が算出されるまで、ステップ１３０６〜ステップ１３１０の処理が繰り返される。

このようにして、基準画像との類似度を示す評価値Ｅ（ｎ）が算出される。なお、前述の図１４ないし図１６で示した各画像を基に算出される評価値Ｅ（ｎ）は、それぞれ、
Ｅ（２）＝１４４、
Ｅ（３）＝２８８、
Ｅ（４）＝１４１２１、
Ｅ（５）＝２３６３６
のようになる。撮影画像にぶれが発生している撮像部１０４、１０５の評価値は、撮像部１０２、１０３の評価値と比べて、明らかに大きな値となっている。

図１３のフローチャートの説明に戻る。

すべての参照画像について評価値の算出を終えると、ステップ１３１１において、ぶれ画像決定部１２１０は、評価値の変化量Ｅｄ（ｎ）を計算する。変化量Ｅｄ（ｎ）は、式（９）によって求められる。

Ｅｄ（ｎ）＝Ｅ（ｎ＋１）／Ｅ（ｎ） ・・・式（９）
例えば、前述した評価値の具体例、Ｅ（２）＝１４４、Ｅ（３）＝２８８、Ｅ（４）＝１４１２１、Ｅ（５）＝２３６３６、の場合の変化量を式（９）によって演算すると、以下のようになる。

Ｅｄ（２）＝２．０
Ｅｄ（３）＝４９．０
Ｅｄ（４）＝１．７
上記のような変化量の算出が完了すると、ステップ１３１２において、ぶれ画像決定部１２１０は、所定の閾値Ｔｈ１を超える変化量Ｅｄ（ｎ）があるか否かを判定する。所定の閾値Ｔｈ１の値は経験則に基づいて予め設定され、ここでは、Ｔｈ１＝４０と設定されているものとする。上記の例では、Ｅｄ（３）＝４９．０であり、Ｅｄ（ｎ）＞Ｔｈ１となっているので、閾値Ｔｈ１を超える変化量Ｅｄ（ｎ）があると判定されることになる。閾値Ｔｈ１を超える変化量Ｅｄ（ｎ）があると判定された場合にはステップ１３１５に進む。一方、閾値Ｔｈ１を超える変化量Ｅｄ（ｎ）がないと判定された場合にはステップ１３１３に進む。

ステップ１３１３において、ぶれ画像決定部１２１０は、未処理の基準画像があるか否かを判定する。未処理の基準画像がある場合には、ステップ１３１４に進む。一方、未処理の基準画像がない場合には、本処理を抜ける。なお、本ステップで未処理の基準画像がないと判定されて本処理を抜けることは、ぶれのある画像が検出されなかったということを意味する。

ステップ１３１４において、ぶれ画像決定部１２１０は、基準画像の更新処理（基準画像の番号を示す変数ｍの値をインクリメント）を行い、ステップ１３０５に戻る。そして、ステップ１３０５〜ステップ１３１３の処理が、ステップ１３１２で閾値Ｔｈ１を超える変化量Ｅｄ（ｎ）があると判定されるか或いはステップ１３１３で未処理の基準画像がないと判定されるまで繰り返される。

ステップ１３１５において、ぶれ画像決定部１２１０は、ぶれ画像の決定を行う。具体的には、Ｅｄ（ｎ）＞Ｔｈ１を満足するようなｎに対応する撮像部の撮影画像であって、当該撮像部よりもシャッタースピードの遅い撮像部による撮影画像のすべてが、ぶれを含む画像として決定される。上記の例では、撮像部１０４〜１０９の撮影画像が、ぶれを含む画像として決定されることになる。これは裏を返せば、撮像部１０１〜１０３の撮影画像が、ぶれを含まない画像であると決定されることを意味している。

なお、ステップ１３０４でシャッタースピードの速い撮像部から順に選択されるように変数ｍの番号を振るのは、以下の理由による。

例えば、基準画像に被写体の特徴量が全く含まれない場合、ステップ１３１２の判定処理で、評価値の変化量が閾値Ｔｈ１を超えると判定されることはまずあり得ない。基準画像に被写体の特徴量が全く含まれないという状況は、例えば、基準画像となる撮像部のシャッタースピードが、撮影条件の明るさに比べて速すぎる場合に生じる。シャッタースピードが速すぎると撮影画像が真っ暗となり、参照画像との差分画像を演算しても画像に含まれるぶれ成分を検出できないためである。一方で、シャッタースピードが遅いほど、画像にぶれを含んでいる可能性は高まる。そこで、シャッタースピードの速い画像から順に基準画像に設定するようにし、これにより、被写体の特徴量が撮影画像中に含まれ、かつ、ぶれを含まない画像を基準画像に選択することが可能となる。

以上がぶれ画像検出処理の詳細である。

なお、ステップ１３１１では、式（９）に示されるように、評価値の変化量Ｅｄ（ｎ）を、前後の参照画像の評価値の比によって算出していたが、評価値の変化が確認できる演算方法であれば、その他の評価値を採用しても差し支えない。例えば、以下の式（１０）のような、前後の参照画像の評価値の絶対値を用いても良い。

Ｅｄ（ｎ）＝｜Ｅ（ｎ＋１）―Ｅ（ｎ）｜ ・・・式（１０）
また、すべての基準画像について処理を行った結果、設定された閾値Ｔｈ１を満足するような評価値の変化量がなければ、ぶれのある画像が決定されないまま、ぶれ画像検出処理を終えることになる。このようにぶれを含む画像が検出されなかった場合に、ぶれ画像なしとして直ちに出力画像の処理に移行することも考えられるが、例えば、閾値Ｔｈ１の値を変更した上で再度、ぶれ画像検出処理を行うようにしてもよい。具体的には、例えば、設定可能な閾値Ｔｈ１の下限値を予め定めておき、従前の検出処理で得られた変化量Ｅｄ（ｎ）の値を考慮した上でぶれを含む画像を検出可能な値を再設定することが考えられる。そして、新たな閾値Ｔｈ１は、予め定めた所定のルールに従って自動で設定されるようにしてもよいし、ユーザが操作部２０５又は表示部２０６を介して任意の値を設定できるようにしてもよい。

さらに、本実施形態では、基準画像と参照画像の差分画像の周波数特性に着目して、ぶれ画像を検出する際の評価値を算出していたが、その他の評価値でも差支えない。例えば、図１５で示される差分画像を数ブロックに領域分割し、各領域における画素値の平均値（或いは、分散値）を求め、その後、各領域の平均値（或いは、分散値）の分散値を求めて、それらを基準画像との類似度を表す評価値Ｅ（ｎ）に採用しても差し支えない。その場合には、閾値Ｔｈ１の値も当該評価値Ｅ（ｎ）に応じた値に設定されることになる。すなわち、基準画像と参照画像の差分画像からぶれ成分を検出できる評価値であれば、評価値は周波数特性に限定されるものではない。

また、本実施形態では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、図３のカラーフィルタ３０８、図１２のモノクロ画像変換部１２０２、図１３のフローチャートにおけるモノクロ画像への変換処理（ステップ１３０２）は省略される。

また、図１３のフローチャートでは、画像切出し部５０５で切出された画像を基にぶれ画像を検出する場合について説明したが、本実施形態に係るぶれ画像の検出処理が、これに限定されるものでないことは前述のとおりである。すなわち、例えばモノクロ画像への変換に先立って、重複領域算出部５０４で算出した重複領域とメモリ部５０２に格納された複数の撮影画像とを取得し、該撮影画像中の重複領域に当たる領域画像を算出しても構わない。

以上説明したように、本実施形態によれば、多眼方式の撮像装置で取得された画像群から、ぶれを含まない良好な画像を提供することが可能となる。

（実施形態２）
実施形態１では、撮像部に関するパラメータを取得して、パラメータに応じて各撮影画像の重複領域を算出した後に対応する画像の切り出しを行っていた。次に、重複領域を予め算出しておき、その算出結果を用いて画像の切り出しを行う態様について、実施形態２として説明する。なお、実施形態１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

＜画像処理部の構成図＞
図１７は、本実施形態に係る画像処理部２１２の内部構成を示したブロック図である。図１７に示す画像処理部２１２には、パラメータ取得部５０３及び重複領域算出部５０４は存在しない。代わりに重複領域データベース１７０１が設けられ、画像切出し部５０５が重複領域のデータをこの重複領域データベース１７０１から取得可能に構成されている。なお、重複領域データベース１７０１に格納される重複領域のデータは、実施形態１で説明した重複領域算出処理によって予め算出される。

図１８は、本実施形態に係る画像処理部２１２における処理の流れを示すフローチャートである。

ステップ１８０１および１８０２は、実施形態１に係る図６のフローチャートにおけるステップ６０１および６０２と同様である。

入力されたカラー画像のデータがメモリ部５０２に格納されると、ステップ１８０１において、画像切り出し部５０５は、重複領域データベース１７０１から重複領域のデータを取得する。

ステップ１８０４において、画像切り出し部５０５は、取得した重複領域のデータを用いて、メモリ部５０２に格納されたカラー画像群に対して、当該重複領域に対応する領域画像を切り出す処理を行う。

ステップ１８０５〜ステップ１８０７は、実施形態１の図６のフローチャートにおけるステップ６０６〜６０８と同様である。

なお、本実施形態においても実施形態１の場合と同様、画像切出し部５０５で切出された領域画像を基にぶれ画像を検出する態様に限定されるものでないことはいうまでもない。すなわち、画像の切出し処理を行う代わりに、重複領域データベース１７０１から重複領域のデータを取得し、メモリ部５０２に格納された複数の撮影画像を取得して、該撮影画像中の重複領域に当たる領域画像を算出するようにしてもよい。

以上説明したように、本実施形態によれば、予め用意された重複領域を用いて画像の切り出し処理を行うので、画像処理部２１２で行う処理を簡略化できる。

（実施形態３）
実施形態１および実施形態２では、ぶれを含まないと判断された画像群のうちの１の画像（例えば、最もシャッタースピードの遅い画像）を選択し、ぶれのない画像として出力した。次に、ぶれを含まないと判断された画像を全て使用して、ぶれのない画像を提供する態様を実施形態３として説明する。なお、既に述べた実施形態１および２と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

＜画像処理部の構成図＞
図１９は、本実施形態に係る画像処理部２１２の内部構成を示したブロック図である。図１９に示す画像処理部２１２と実施形態２に係る図１７の画像処理部２１２との違いは、出力画像選択部５０７に代えて、画像加算部１９０１が設けられている点である。

画像加算部１９０１は、画像切出し部５０５で切り出された画像のうち、ぶれ画像検出部５０６でぶれを含まないと判断された画像に対応する画像に対し、重み付け加算処理を行う。

なお、説明を簡単にするため、実施形態２に係る画像処理部２１２との対比で説明したが、実施形態１に係る画像処理部２１２の出力画像選択部４０７に代えて、画像加算部１９０１を設ける構成でも構わない。

図２０は、本実施形態に係る画像処理部２１２における処理の流れを示すフローチャートである。

ステップ２００１〜２００５は、実施形態２に係る図１８のフローチャートにおけるステップ１８０１〜１８０５と同様である。

ぶれ画像の検出処理が完了すると、ステップ２００６において、画像加算部１９０１は、その検出結果を参照して、画像切出し部５０５で切り出された領域画像のうち、ぶれを含まない画像に対して重み付け加算する。図１４〜図１６に示した例では、撮像部１０２と撮像部１０３による撮影画像にぶれが含まれないため、これらの切出し画像について重み付け加算処理がなされることになる。重み付け加算処理は、式（１１）を用いて行う。

Ｉｗ（ｉ，ｊ）＝Σ（ｗ（ｎ）×Ｉ’（ｉ，ｊ，ｎ）） ・・・式（１１）
ここで、Ｉｗ（ｉ，ｊ）は、重み付け加算画像である。ｗ（ｎ）は、参照画像Ｉ’（ｉ，ｊ，ｎ）に対する重み係数である。ｎは参照画像の番号を示す変数であり、ぶれを含まないと判断された参照画像の番号を示している。重み係数ｗ（ｎ）の値は、シャッタースピードＴｖ（ｎ）毎に異なる値を設定してもよいし、一定値（例えば、ｗ（ｎ）＝１）にして均等な重み付け加算を行ってもよい。

また、ぶれを含まないと判断されたすべての領域画像について重み付け加算を行うのではなく、特定の領域画像に対する重み係数をゼロに設定して、重み付け加算処理に使用する領域画像から外してもよい。

このようにして、ぶれを含まないと判断された領域画像に対して重み付け加算処理を行って得られた画像が、出力画像として出力される。

以上説明したように、本実施形態によれば、より多くの画像を使用して出力画像を生成するので、ノイズが更に抑制されたぶれのない画像を提供することが可能となる。

（実施形態４）
実施形態１〜実施形態３では、複数の被写体が撮像部から同じ距離にある場合（図１１の（ａ）参照）を想定していた。ここでは、複数の被写体が撮像部から異なる距離にある場合における対処法について、実施形態４として説明する。なお、既に述べた実施形態１〜実施形態３と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図２１は、本実施形態における、撮像部が９個ある場合に得られる重複領域（全重複領域）の一例を示している。

図２１の（ａ）は、撮像部と被写体の関係を示しており、ふたつの被写体が撮像部１０１〜１０３からそれぞれ異なる距離（被写体Ａよりも被写体Ｂが遠方）に存在している。図２１の（ｂ）は、9個の撮像部１０１〜１０９で撮像された画像内における全重複領域をそれぞれ示している。図２１の（ｂ）において、例えば、撮像部１０１の重複領域と撮像部１０３の重複領域とを比較すると、被写体AとBとの間隔が明らかに異なっている。このように、ふたつの被写体がそれぞれ異なる距離に存在する場合、領域センサ面上における両被写体の間隔は撮像部によって異なることが確認できる。本実施形態では、撮像部から被写体までの距離よって生じるセンサ面上での位置ずれ（視差）を加味した、ぶれ画像の検出を行う。

＜ぶれ画像検出処理＞
本実施形態に係るぶれ画像検出部２１２の構成は、実施形態に１で説明した図１２と同様である。異なるのは、差分画像生成部１２０６における演算処理の内容である。すなわち、図１３のフローチャートのステップ１３０６における、基準画像と参照画像との差分画像を生成する処理の内容が実施形態１の場合とは異なることになる。

図２２は、本実施形態における差分画像生成処理の流れを示すフローチャートである。

ここでの差分画像生成処理の特徴は、注目する画素位置の近傍画素について差分値を求め、最も差分値が小さい画素位置を差分画像に採用する点である。以下、詳しく説明する。

ステップ２２０１において、差分画像生成部１２０６は、差分画像を計算するための注目画素の位置（ｉ，ｊ）を、基準画像と参照画像の中から設定する。

ステップ２２０２において、差分画像生成部１２０６は、設定された注目画素を中心とした所定のブロック（差分値を求めるブロック）および該ブロックの中心位置（ｉｉ，ｊｊ）を参照画像において設定する。

ステップ２２０３において、差分画像生成部１２０６は、ブロックマッチングを行う範囲を設定する。ブロックマッチングを行う範囲は演算コストを考慮して任意の大きさに設定すればよいが、注目画素の位置（ｉ，ｊ）をその中に含むことが条件となる。一般的に、視差が大きい場合にはブロックマッチングを行う範囲を大きく設定することが好ましく、逆に視差が小さい場合にはブロックマッチングを行う範囲は小さくても足りる。

図２３は、注目画素の位置（ｉ，ｊ）、参照画像に設定されたブロック、該ブロックの中心位置、および設定されたブロックマッチングを行う範囲を示す図である。この場合においてブロックは、縦方向に２Ｎｉ＋１画素、横方向に２Ｎｊ＋１画素で確定される大きさであり、Ｎｉ、Ｎｊはそれぞれゼロ以上の整数値である。

ステップ２２０４において、差分画像生成部１２０６は、設定されたブロックの範囲の基準画像と参照画像を用いて、差分値の平均値を計算する。式（１２）は、ブロックの中心位置（ｉｉ，ｊｊ）における、差分値の平均値Ｅａｖｅ（ｉｉ，ｊｊ，ｎ）を求める演算式である。

・・・式（１２）
ここで、Ｉ’（ｉ，ｊ，ｍ）は基準画像の切出し画像、Ｉ’（ｉ，ｊ，ｎ）は参照画像の切出し画像を表している。ｍとｎはそれぞれ、基準画像と参照画像の番号を示す変数ある。Ｔｖ（ｍ）は基準画像のシャッタースピード、Ｔｖ（ｎ）は参照画像のシャッタースピードである。（ａ，ｂ）は、差分値の平均値を求める際に使用される変数である。

ステップ２２０５において、差分画像生成部１２０６は、設定されたブロックマッチングの範囲内における全てのブロックについて、差分値の平均値を求める処理が完了したか否かを判定する。すべてのブロックについて差分値の平均値を求める処理が完了していればステップ２２０７に進む。一方、未処理のブロックがある場合にはステップ２２０６に進む。

ステップ２２０６において、差分画像生成部１２０６は、ブロックの中心位置（ｉｉ，ｊｊ）を更新して、まだ差分値の平均値を求めていないブロック位置にブロック位置を変更する。ブロック位置を変更すると、ステップ２２０４に戻る。

ステップ２２０７において、差分画像生成部１２０６は、差分値の平均値が最小となるブロックの中心位置（ｉｉ_ｍｉｎ，ｊｊ_ｍｉｎ）を求め、設定されたブロックマッチングの範囲内において差分値の平均値が最小となるブロック位置を特定する。

ステップ２２０８において、差分画像生成部１２０６は、求められた画素位置における差分値の平均値Ｅａｖｅを差分画像Ｅとして設定する。つまり、求められた画素位置（ｉｉ_ｍｉｎ，ｊｊ_ｍｉｎ）における差分値の平均値Ｅａｖｅ（ｉｉ_ｍｉｎ，ｊｊ_ｍｉｎ，ｎ）を、参照画像の注目画素（ｉ，ｊ）における差分値、差分画像Ｅ（ｉ，ｊ，ｎ）として設定する。これを数式で表すと式（１３）のようになる。

ステップ２２０９において、差分画像生成部１２０６は、参照画像内の全ての画素について差分値の平均値を求める処理が完了したか否かを判定する。すべての画素について差分値の平均値を求める処理が完了していればステップ２２１１に進む。一方、未処理の画素がある場合にはステップ２２１０に進む。

ステップ２２１０において、差分画像生成部１２０６は、注目画素の位置（ｉ，ｊ）を更新して、まだ差分値の平均値を求めていない画素位置に注目画素の位置を変更する。注目画素の位置を変更すると、ステップ２２０２に戻る。

ステップ２２１１において、差分画像生成部１２０６は、上記のようにして得られた全画素分の差分画像E（ｉ，ｊ，ｎ）を出力する。

以上のようにして、差分画像の生成処理がなされる。

なお、本実施形態に係る差分画像の生成手法は、撮影画像間に視差が発生しない場合にも適用可能である。その場合は、視差が極めて小さいものとして、図２２のステップ２２０３で設定されるブロックマッチングの範囲を極力小さく設定すればよい。

以上説明したように、本実施形態によれば、複数の被写体が異なる位置にある場合に生ずる撮像画像間の視差を加味した、ぶれ画像の検出が可能となる。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (15)

1. シャッタースピードが異なる複数の撮像部を有する多眼方式の撮像装置によって撮影された複数の画像を取得する画像取得部と、
   前記取得した複数の画像から、前記複数の撮像部において画角が重複する重複領域を算出する重複領域算出部と、
   前記重複領域算出部で算出された重複領域に対応する前記複数の画像の領域画像を用いて、ぶれを含む画像を検出するぶれ画像検出部と、
   を備えたことを特徴とする画像処理装置。
2. 前記領域画像を、前記取得した複数の画像から切り出す画像切出し部をさらに備え、
   前記ぶれ画像検出部は、前記画像切出し部で切り出された領域画像を用いて、ぶれを含む画像を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記ぶれ画像検出部は、前記重複領域算出部で算出した重複領域及び前記画像取得部で取得した前記複数の画像を受け取って、前記領域画像を算出し、該算出された領域画像を用いて、ぶれを含む画像を検出することを特徴とする請求項１に記載の画像処理装置。
4. 前記ぶれ画像検出部は、前記領域画像に対し、前記複数の撮像部それぞれのシャッタースピードを参照してぶれについての定量的な評価を行うことにより、前記ぶれを含む画像を検出することを特徴とする請求項１記載の画像処理装置。
5. 前記ぶれ画像検出部は、前記ぶれについての定量的な評価を行うための、
   前記領域画像から、前記複数の撮像部のうちのいずれかに対応する１の基準画像を選択する基準画像選択部と、
   前記領域画像から、前記複数の撮像部のうち前記基準画像に対応する撮像部とは異なる撮像部に対応する画像であって、前記基準画像と比較する１または複数の参照画像を選択する参照画像選択部と、
   前記選択された基準画像および参照画像のそれぞれに対応する撮像部のシャッタースピードを参照して、前記選択された基準画像および参照画像との間の差分を示す差分画像を生成する差分画像生成部と、
   前記生成された差分画像と前記基準画像との類似度を示す評価値を算出する評価値算出部と、
   前記算出された評価値に基づいて、前記ぶれを含む画像を決定するぶれ画像決定部と、
   を備えることを特徴とする請求項４記載の画像処理装置。
6. 前記評価値算出部は、前記差分画像の周波数特性に着目した評価値を算出することを特徴とする請求項５記載の画像処理装置。
7. 前記重複領域算出部は、前記複数の撮像部に関するパラメータに基づいて、前記重複領域を算出することを特徴とする請求項１〜６のいずれか1項に記載の画像処理装置。
8. シャッタースピードが異なる複数の撮像部を有する多眼方式の撮像装置によって撮影された複数の画像を取得する画像取得部と、
   前記複数の撮像部に関するパラメータに基づいて予め算出された前記重複領域を格納した重複領域データベースと、
   前記重複領域データベースに格納された重複領域に対応する前記複数の画像の領域画像を用いて、ぶれを含む画像を検出するぶれ画像検出部と、
   を備えたことを特徴とする画像処理装置。
9. 前記パラメータは、前記複数の撮像部それぞれについての、焦点距離、センササイズ、センサの画素数、ピント位置、撮像部の相対位置のいずれか１つを少なくとも含むことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記差分画像生成部は、前記選択された基準画像および参照画像における任意の注目する画素位置の近傍画素について差分値を求め、求められた差分値のうち最も小さい差分値の画素位置を差分画像の画素位置とすることにより、前記差分画像を生成することを特徴とする請求項５記載の画像処理装置。
11. 前記取得した複数の画像のうち、前記ぶれを含む画像として検出されなかった画像を出力画像として選択する出力画像選択部をさらに備えたことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記出力画像選択部は、前記ぶれを含む画像として検出されなかった画像が複数ある場合、シャッタースピードが最も遅い撮像部によって撮影された画像を出力画像として選択することを特徴とする請求項１１に記載の画像処理装置。
13. 前記取得した複数の画像のうち、前記ぶれを含む画像として検出されなかった画像に対し重み付け加算処理を行い、該重み付け加算処理された画像を出力画像とする画像加算部をさらに備えたことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
14. シャッタースピードが異なる複数の撮像部を有する多眼方式の撮像装置によって撮影された複数の画像を取得するステップと、
    前記取得した複数の画像から、前記複数の撮像部において画角が重複する重複領域を算出するステップと、
    前記算出された重複領域に対応する前記複数の画像の領域画像を用いて、ぶれを含む画像を検出するステップと、
    を含むことを特徴とする画像処理方法。
15. コンピュータを請求項１から請求項１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。