JP2015036841A - 画像処理装置、距離計測装置、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】複数枚の画像の位置合わせを行う画像処理装置において、画像全域にわたって精度の高い位置合わせを行う技術を提供する。【解決手段】第一の画像に含まれる複数の点について、対応点を第二の画像中から探索する対応点決定手段と、前記対応点のずれ量に基づいて、前記複数の対応点をグループ分けし、前記グループごとに座標変換係数を算出する変換係数算出手段と、複数の前記座標変換係数と前記第二の画像を用いて、合成画像を生成する画像合成手段と、を有することを特徴とする。【選択図】図１

Description

本発明は画像処理装置に関連し、特に複数枚の画像の位置合わせを行う技術に関する。

撮像装置によって取得された画像をもとに、被写体までの距離（被写体距離）を取得する手法が種々提案されており、その中の一つに、ＤＦＤ（Depth from Defocus）法がある。ＤＦＤ法は、撮像光学系のパラメータを変更して、ぼけの異なる複数の画像を取得し、当該複数の画像に含まれるぼけの量から被写体距離を算出する手法である。

ＤＦＤ法では、撮影した複数枚の画像の位置を正確に合わせる必要がある。このため、画像の位置合わせを行うための技術が提案されている。
例えば、特許文献１には、画像間の動きベクトルを算出し、移動体以外の動きを抽出してアフィン変換係数を推定し、当該アフィン変換係数をもとに画像を変換して位置合わせを行う画像処理装置が開示されている。また特許文献２には、アフィン変換を用いた非移動体の位置合わせに加えて、移動体として除外された動きベクトルのブロックに関して、局所的な位置ずれ量を算出して位置合わせを行う画像処理装置が開示されている。

特許第４３４０９６８号公報 特開２００８−３１０４１８号公報

特許文献１に記載された画像処理装置によると、画像中に存在する移動体を除外して位置合わせを行うため、撮像装置自体の動きに起因する位置ずれを高精度に修正することができる。しかし、撮影画像中の移動体に関しては位置合わせがされないため、移動体がずれた状態で合成されてしまう。
また、特許文献２に記載された画像処理装置では、移動体を表す動きベクトルを含むと判定されたブロックに対し、局所的な位置ずれ量を算出して位置合わせを行っている。この手法では、同じ移動体中の動きベクトルを個別に補正するため、ノイズ等の影響により、同じ移動体でもブロックごとに別方向に補正されてしまうおそれがある。また、移動体の位置合わせについては平行移動のみをサポートしており、平行移動以外の変形を補正することができない。

本発明は上記のような課題を考慮してなされたものであり、複数枚の画像の位置合わせを行う画像処理装置において、画像全域にわたって精度の高い位置合わせを行う技術を提供することを目的とする。

本発明に係る画像処理装置は、
第一の画像に含まれる複数の点について、対応点を第二の画像中から探索する対応点決定手段と、前記対応点のずれ量に基づいて、前記複数の対応点をグループ分けし、前記グループごとに座標変換係数を算出する変換係数算出手段と、複数の前記座標変換係数と前記第二の画像を用いて、合成画像を生成する画像合成手段と、を有することを特徴とする。

また、本発明に係る画像処理方法は、
第一の画像に含まれる点に複数の点について、対応点を第二の画像中から探索する対応点決定ステップと、前記対応点のずれ量に基づいて、前記複数の対応点をグループ分けし、前記グループごとに画像間の座標変換係数を算出する変換係数算出ステップと、複数の前記座標変換係数と前記第二の画像とを用いて、合成画像を生成する画像合成ステップと、を含むことを特徴とする。

本発明によれば、複数枚の画像の位置合わせを行う画像処理装置において、画像全域にわたって精度の高い位置合わせを行う技術を提供することができる。

第一の実施形態に係る撮像装置の構成を示すブロック図。 第一の実施形態に係る位置合わせ部が行う処理を説明する図。 入力画像の一例を示す図。 第一の実施形態における対応点算出手段の処理フローチャート。 第一の実施形態における領域の切り出しを説明する図。 第一の実施形態における対応点分類手段の処理フローチャート。 第一の実施形態における対応点の分類結果を説明する図。 第一の実施形態における画像合成手段の処理フローチャート。 ＤＦＤ法の原理を説明する図。 第二の実施形態に係る撮像装置の構成を示すブロック図。 第二の実施形態における位置合わせ部が行う処理を説明する図。 第二の実施形態における対応点算出手段の処理フローチャート。

（第一の実施形態）
以下、図面を参照しながら、第一の実施形態に係る撮像装置について説明する。第一の実施形態に係る撮像装置は、複数枚の画像を撮影し、当該複数枚の画像を用いて、画像に含まれる被写体までの距離を計測する機能を有する撮像装置である。なお、同一の構成要素には原則として同一の参照符号を付して、説明を省略する。

<システム構成>
図１は、第一の実施形態に係る撮像装置のシステム構成図である。
撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、位置合わせ部１４、距離計測部１５、メモリ１６、入力部１７、表示部１８、記憶部１９を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。また、撮像光学系１０は、可変焦点の光学系であり、オートフォーカス機能によって自動で焦点合わせをすることができる。オートフォーカスの方式はパッシブ方式であってもよいし、アクティブ方式であってもよい。
撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子であってもよいし、モノクロの撮像素子であってもよい。また、三板式の撮像素子であってもよい。

信号処理部１３は、撮像素子１１から出力された信号に対する処理を行う手段である。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などを行う。信号処理部１３から出力されたデジタル画像データは、一時的にメモリ１６に蓄積されたのち、表示部１８、記憶部１９、
位置合わせ部１４、距離計測部１５などに出力され、所望の処理が行われる。

位置合わせ部１４は、連続して撮影された複数枚の画像の位置合わせを行う手段である。位置合わせ処理の詳しい内容については後述する。位置合わせ部１４が、本発明における対応点決定手段、変換係数算出手段、画像合成手段である。なお、画像の位置合わせとは、画像内の人や物といった被写体の位置同士を対応付けることをいう。
距離計測部１５は、画像に含まれる物体までの奥行き方向の距離（被写体距離）を算出する手段である。距離計測処理の詳しい内容については後述する。

入力部１７は、入力操作を利用者から取得するためのインターフェイスであり、典型的には、ダイヤル、ボタン、スイッチ、タッチパネルなどである。
表示部１８は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１８は、撮影時の構図確認、撮影および記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。
記憶部１９は、撮影された画像データや、撮像装置１で利用されるパラメータなどが格納される不揮発性の記憶媒体である。記憶部１８には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。

制御部１２は、撮像装置１が有する各手段を制御する手段である。より具体的には、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込みおよび保存、シャッターやフラッシュ（いずれも不図示）の制御などを行う。また、取得した画像を用いて被写体距離の計測を行う。

<被写体距離の計測方法>
次に、撮像装置１が行う距離計測動作について説明する。
まず、ユーザが、入力部１７を操作して撮影を開始すると、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行され、撮像素子１１から画像が取り込まれる。
一枚目の撮影が完了すると、撮影パラメータを変えて二枚目の撮影が実行される。変更される撮影パラメータとは、Ｆナンバー、フォーカス位置、焦点距離のうちの少なくともいずれか一つである。パラメータの値は、予め保存された値を読み出して使用しても良いし、ユーザが入力した情報をもとに決定しても良い。
撮影パラメータの変更が完了すると、二枚目の撮影が行われる。

なお、複数の画像を撮影する際は、シャッター速度が高速であるほど、また、撮影間隔が短いほど、手ぶれや被写体ぶれの影響が軽減されるため、より高精度な距離計測を行うためには、シャッター速度を高速にし、かつ、撮影間隔を短くすることが望ましい。ただし、シャッター速度を上げるために感度を上げると、場合によっては手ぶれ以上にノイズの影響が増加するため、感度を考慮して適切なシャッター速度にする必要がある。

二枚の画像が撮影されると、撮影された画像は、位置合わせに適した画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１６に蓄積される。位置合わせに適した画像とは、例えば、ベイヤー配列の画像からデモザイクされ、ホワイトバランス補正されたＲＧＢ画像や、更にはＹＵＶなどの色空間に変換された後の輝度画像などである。このとき、撮影した画像のうち少なくとも一枚を、観賞用の画像として信号処理し、メモリ１６に蓄積しても良い。以下では、最初に取り込んだ一枚目の画像を第一の画像とし、次に取り込んだ二枚目の画像を第二の画像として説明する。ただし、一枚目の画像を第二の画像とし、二枚目の画像を第一の画像としてもよい。

<<位置合わせ処理>>
次に、撮影された二枚の画像の位置を合わせる処理（位置合わせ処理）を実行する。位置合わせ処理の概要について、図２を参照しながら説明する。図２に示した各手段は、位置合わせ部１４が実行する処理をブロックで表したものである。
まず、位置合わせ処理の概要について説明し、次に、図２に示した各手段を詳細に説明する。

最初に、メモリ１６に蓄積された二枚の画像（輝度画像）が、対応点を算出する手段である対応点算出手段１４１に入力される。対応点とは、二枚の画像のそれぞれ対応する位置を表す座標のペアである。例えば、画像にある被写体（シーン）が含まれる場合、対応点は、他方の画像における当該被写体の座標を表す。
続いて、座標変換係数算出手段１４２が、特定した対応点に基づいて、二画像の位置ずれを修正するための座標変換係数を求める。座標変換係数を求めることによって、平行移動等による画像の位置合わせができるようになる。

ただし、一つの座標変換係数のみを求めても、画像中で異なる動きをしている領域があった場合、当該領域の位置が合わなくなってしまう。
例えば、図３に示した二枚の画像を位置合わせする場合を考える。
当該画像には、カメラのぶれによって発生した動きと、被写体（人物）のぶれによって発生した動きといったように、複数の動きが含まれているため、単純に画像を平行移動させただけでは、位置が合わない領域が発生してしまう。
そこで、座標変換係数を求めた後に、対応点分類手段１４３が、当該座標変換係数が表す動きとは異なる動きをしている対応点を抽出し、当該対応点のみを対象として、座標変換係数の算出を再度行う。これを複数回繰り返ことで、画像に含まれる動きごとに、複数の座標変換係数を求めることができる。例えば、図３の例では、背景に対応する座標変換係数、人物の体に対応する座標変換係数、人物の顔に対応する座標変換係数、といったように、検出された動きごとに座標変換係数を算出することができる。
最後に、画像合成手段１４４が、算出された複数の座標変換係数を用いて、対応する局所領域ごとに座標変換を行い、変換後の画像を合成することで、位置合わせ後の画像を生成する。

次に、各手段が行う処理の内容を詳細に説明する。
図４は、対応点算出手段１４１が行う処理のフローチャート図である。対応点算出手段１４１が行う処理について、図４を参照しながら説明する。
対応点算出手段１４１は、まず対応点算出ステップＳ１１１を実行する。対応点算出ステップＳ１１１では、例えば、図５のように第一の画像をブロックに分割し、第一の画像Ｉ_１から所定の領域Ｔを切り出し、当該領域Ｔをテンプレートとして、対応する領域を第二の画像Ｉ_２から探索する。
具体的には、第二の画像Ｉ_２に対して、第一の画像の領域Ｔに対応する座標の近傍から、同じ大きさの領域を切り出し、領域に含まれる画素値の輝度差の絶対値和を算出する。そして、所定の探索範囲内で切り出し領域をずらしながら演算を行い、最も絶対値和が小さくなる座標位置を対応点として記憶する。記憶される対応点は、例えば、第一の画像Ｉ_１の領域Ｔの中心座標と、第二の画像Ｉ_２における対応する座標である。これにより、分割したブロックごとに対応点が決定される。
なお、発生しうる位置ずれの大きさは、撮影時の焦点距離や撮影間隔に依存するため、探索範囲はこれらに応じて適宜設定すればよい。

次に、信頼度判定ステップＳ１１２を実行する。信頼度判定ステップＳ１１２は、検出された対応点の信頼度を判定するステップである。もし、前述した探索範囲の外にまで位置ずれが及んでいたような場合、対応点を求めることができないため、絶対値和が最小となる点が求まったとしても、当該点を対応点とすべきではない。そのため、絶対値和に対
して閾値を設け、検出した輝度差の絶対値和が閾値以下である場合のみ、信頼できる対応点として記憶する。閾値を超えている場合は、当該情報は記憶せずに破棄する。

図４の処理は、分割したブロックすべてについて行われる。すなわち、第一の画像Ｉ_１において切り出し領域Ｔを順次移動させ、対応点算出ステップＳ１１１および信頼度判定ステップＳ１１２を繰り返し、ブロックごとの対応点を求めていく。なお、本実施形態では、画像全域にわたりブロックを分割する例を述べたが、探索範囲を考慮し、画像周辺部にはブロックを配置しなくともよい。
また、対応点を求める際には、輝度差の絶対値和以外に、二乗和や相関を用いてもよい。また、本実施形態では輝度画像を用いた例を示したが、輝度画像以外を用いてもよい。例えば、ＲＧＢ画像の各色プレーンを用いてもよいし、色差画像を用いてもよい。

図２に戻り、座標変換係数算出手段１４２が行う処理について説明する。
第一の画像Ｉ_１と第二の画像Ｉ_２の位置を合わせるためには、第二の画像Ｉ_２に対して座標変換を行えばよい。座標変換係数算出手段１４２は、当該座標変換を行う際の変換係数を、求めた複数の対応点に基づいて算出する。
ここで、第一の画像Ｉ_１上の点（ｘ，ｙ）が、第二の画像Ｉ_２上の点（ｘ’，ｙ’）に対応するものとすると、当該ずれを補正するための座標変換係数は、数式１で表すことができる。数式１は、射影変換を表した式である。

数式１に含まれる座標変換係数ｃは９つあるが、定数倍しても結果は同じであるため、自由度は８つとなる。そのため、最低４組の対応点があれば８つの方程式を作ることができ、連立方程式を解くことで、座標変換係数ｃを算出することができる。また、対応点が多数ある場合は、最小二乗法によって座標変換係数ｃを算出してもよい。なお以降、座標変換係数とは、上述したような複数の係数の組であるものとして説明を行う。

図６は、対応点分類手段１４３が行う処理のフローチャート図である。対応点分類手段１４３が行う処理について、図６を参照しながら説明する。
まず、座標変換ステップＳ１２１で、算出された座標変換係数ｃと数式１を用いて、第二の画像Ｉ_２を変換し、座標変換画像Ｉ’を得る。
次に、差分算出ステップＳ１２２で、座標変換画像Ｉ’における対応点と、対応する第一の画像Ｉ_１の対応点のそれぞれの座標間の距離（以下、座標間距離）を算出する。座標間距離は、ユークリッド距離を用いて求めることが好ましいが、計算コストを考慮して、マンハッタン距離を用いてもよい。ここでは、処理対象の対応点は、画像中の全ての対応点である。
続いて、閾値判定ステップＳ１２３で、算出した座標間距離が閾値より大きい対応点があるかを判定する。ここで、座標間距離が閾値より大きい対応点がある場合、推定した動きとは異なる動きをしている局所領域があると推定される。よって、当該対応点を、算出した座標変換係数では位置合わせができない点（以下、外れ対応点）であるものとして記憶する。座標間距離が閾値未満である対応点は、算出した座標変換係数に適合する対応点である。
そして、判定結果に基づいて対応点をグルーピングする。ここでは、算出した座標変換係数に適合する対応点が属するグループを第一のグループとする。

図２に戻り、説明を続ける。
ここで、グルーピングの結果に基づいて再度座標変換係数を求めるため、処理を再び座標変換係数算出手段１４２に戻す。

座標変換係数算出手段１４２は、まず、第一のグループに属する対応点群のみを用いて、再度座標変換係数を算出する。第一のグループからは、外れ対応点が除外されているため、より精度のよい座標変換係数を算出することができる。そして、算出した座標変換係数と、当該対応点群を記憶する。ここで推定された座標変換係数は、画像中に現れた最も多い動きに対応する座標変換係数である。例えば、対象が静止物体を撮影した画像であれば、カメラのぶれによって発生した動きを表す座標変換係数である。

次に、グループに属していない対応点群のみを利用して座標変換係数を算出する。ここで算出される座標変換係数は、画像中に現れた二番目に多い動きを表す。そして、算出した座標変換係数と、当該対応点群を対応点分類手段１４３へ送信する。
対応点分類手段１４３は、グループに属していない対応点群を対象として、前述したような座標変換ステップＳ１２１、差分算出ステップＳ１２２、閾値判定ステップＳ１２３をさらに実行する。以降、同じ処理を繰り返すことにより、第二のグループ、第三のグループ・・・と、動きが多い順に対応点がグルーピングされ、当該グループごとに座標変換係数が求まっていく。

具体的な例を図７に示す。図７（ａ）の白抜きで示した部分が、１回目のループで正しい対応点として判定され、第一のグループに分類されたブロックである。すなわち、画像中に現れた最も多い動き（カメラの動きによるぶれ）に対応するブロックである。また、図７（ａ）のハッチングで示した部分が、１回目のループで外れ対応点として判定されたブロックである。
図７（ｂ）の白抜きで表した部分が、２回目のループで正しい対応点として判定され、第二のグループに分類されたブロックである。当該ブロックは、画像中に現れた二番目に多い動きに対応する。
同様に、図７（ｃ）の白抜きで示した部分が、３回目のループで正しい対応点として判定され、第三のグループに分類されたブロックである。当該ブロックは、画像中に現れた三番目に多い動きに対応する。

このように、位置合わせ部１４は、グループに属していない対応点を含む領域を処理対象領域として、外れ対応点の抽出処理を繰り返す。これにより、被写体の動きに基づいて対応点がグループ分けされる。

座標変換係数算出手段１４２と、対応点分類手段１４３との間の処理のループは、外れ対応点の数が所定の値以下になる時点まで繰り返される。所定の値とは、座標変換係数の算出が不可能にならない範囲であれば、どのような値であってもよい。
なお、数式１では射影変換を用いたため、座標の変換を行うためには４組の対応点が必要となるが、数式２に示したようなアフィン変換を用いる場合は、対応点は３組あればよい。

なお、画像中に別の動きをする物体が多い場合や、対応点が多い場合、収束するまでの繰り返し回数が増えるため、処理時間が長くなる。このような場合は、予め決められた回数だけループを繰り返すようにしても良い。ループが終了すると、繰り返し回数分の座標
変換係数が取得される。

次に、画像合成手段１４４が行う処理について説明する。
画像合成手段１４４は、算出した複数の座標変換係数を用いて第二の画像を変換し、得られた複数の画像のうち、より第一の画像と一致する局所領域同士を連結することで、位置合わせ後の合成画像を生成する。当該処理を画像合成処理と称する。

図８は、画像合成処理の流れをより詳細に示したフローチャートである。
まず、座標変換ステップＳ１３１で、１回目のループで算出された座標変換係数を用いて、第二の画像Ｉ_２を座標変換した画像Ｉ₂’を生成する。これにより、カメラの移動に
起因して第一の画像Ｉ_１との間に発生した位置ずれがおよそ補正された画像が生成される。
続いて、２回目のループで算出された座標変換係数を用いて、第二の画像Ｉ_２を座標変換した画像Ｉ_２’’を生成する。画像Ｉ_２’および画像Ｉ_２’’が、本発明における変換後画像である。

次に、差分算出ステップＳ１３２で、第一の画像Ｉ_１をブロックに分割する。ここでは、対応点を算出する際に用いたブロックと同じサイズに分割する。分割された各ブロックを、局所領域Ｔと称する。なお、分割するブロックのサイズは、対応点を算出する際に用いたブロックよりも小さなサイズとしてもよい。このようにすることで、より精度のよい位置合わせを行うことができる。
そして、局所領域Ｔに対応する領域を変換画像Ｉ_２’およびＩ_２’’から抽出し、局所領域Ｔ_２’およびＴ_２’’を得る。その後、局所領域Ｔと、局所領域Ｔ_２’およびＴ_２’’の輝度値の差分をそれぞれとり、差分値Ｓ_２’およびＳ_２’’を得る。

次に、最小差分画像選択ステップＳ１３３で、前記差分値Ｓ_２’およびＳ_２’’の絶対値和をそれぞれとり、絶対値和が小さいと判定された局所領域を、変換画像Ｉ_２’の対応する領域と入れ替える。絶対値和が小さい方が、より第一の画像に対する類似度が高いためである。
なお、ここでは、ブロックごとに差分の算出および最小差分画像の選択を行ったが、最初に差分画像を生成し、その後、ブロックごとに最小差分画像の選択を行うようにしてもよい。

次に、再度差分算出ステップＳ１３２に戻り、選択する局所領域を変更して同様の処理を繰り返す。なお、ここでは、分割したブロックを局所領域としているが、局所領域のサイズを決めて１画素ずつずらして同様の処理を行い、全画素に対して最小差分画像の選択を行うようにしてもよい。
最終的に、変換後画像Ｉ_２’は、変換画像Ｉ_２’およびＩ_２’’が有する局所領域画像のうち、より第一の画像Ｉ_１に類似したほうを互いに連結した画像となる。すなわち、全体として、より第一の画像Ｉ_１に近い画像となる。

次に、座標変換ステップＳ１３１に戻り、３回目のループで算出された座標変換係数を用いて第二の画像Ｉ_２の座標変換を行い、変換された画像Ｉ_２’’を生成する。その後、同様に差分算出ステップＳ１２２、最小差分画像選択ステップＳ１３３を行い、より第一の画像Ｉ_１に近い画像Ｉ_２’を生成する。

画像合成手段１４４は、以上の処理（Ｓ１３２およびＳ１３３）を、座標変換係数算出手段１４２で算出した座標変換係数の数だけ繰り返し実行する。全ての処理が終了したら、生成された変換画像Ｉ_２’をメモリ１６に保存する。
なお、メモリに余裕がある場合は、初めに座標変換係数の個数だけ座標変換を実行し、
変換画像を複数枚生成したのちに、第一の画像との輝度差分が最小になる局所領域を選択していってもよい。

本実施形態に係る画像処理装置は、以上に説明したような処理を行うことにより、画像中の異なる領域がそれぞれ異なる動きをしている場合であっても、全ての領域において位置合わせを行うことができる。

<<距離計測処理>>
次に、位置合わせされた第一の画像と合成画像を用いて、被写体までの距離を計測する方法について説明する。なお、位置合わせを行った二枚の画像は、それぞれフォーカス位置を変えて撮影した画像であるものとする。
距離計測部１５は、メモリ１６から距離計測用の二枚の画像を取得し、入力された二画像から距離マップを算出する。距離マップとは、画像中の被写体距離の分布を表すデータである。算出された被写体距離の分布は表示部１８を通して表示され、また、記録部１９に保存される。

被写体距離の計測は、公知のＤＦＤ（Depth from Defocus）法によって行うことができる。ここでＤＦＤ法による距離算出の原理について、図９を用いて説明する。
距離計測対象物体Ｏまでの距離Ｄ_ｏは、物体Ｏが像面側で結像する位置Ｄ_ｉが分かれば、レンズの公式から数式３によって距離を求めることができる。ＦＬは焦点距離である。

しかし、数式３によって距離を求めることができるのは、撮像面上に結像した物体に限定される。ＤＦＤ法では、撮像面に結像しない物体の距離も計測するために、撮像面上に投影された物体のぼけの大きさ（錯乱円）から物体の結像位置を求め、これを数式３に代入することで距離を算出する。ここで、錯乱円が撮像面と結像位置に比例することを利用して結像位置を求める。
ここで、距離Ｄ_１にある物体が撮像面位置ｄ_１に投影された場合を考える。このとき像ｉ_１はぼけて拡がる。このときの、点像分布関数（Point Spread Function）をＰＳＦ_１
とし、シーンをｓとすると、像ｉ_１は点像分布関数ＰＳＦ_１とシーンｓの畳み込みで表すことができる。

ここで、錯乱円をパラメータとしてＰＳＦをモデル化し、像ｉ_１からＰＳＦを推定できれば、錯乱円が算出可能となる。更にはこの錯乱円から結像位置を求めることができ、数式３を用いて距離を算出することができる。
しかしながら、数式４ではシーンｓが不明であるため、このままでは錯乱円を正しく求めることができない。そこで、異なる撮像面位置ｄ_２で撮影を行う。この時の像をｉ_２とする。
ここで、シーンｓのフーリエ変換をＳとし、一枚目の撮影画像のＰＳＦ_１をフーリエ変換した光学伝達関数をＯＴＦ_１、二枚目の撮影画像のＯＴＦをＯＴＦ_２とすると、撮影された画像はそれぞれＯＴＦ_１×Ｓ、ＯＴＦ_２×Ｓと表される。この二画像の比をとると数式５のようになり、シーンに依存しないＯＴＦの比であるＯＴＦ_ｒが算出される。そして、数式３と図９の幾何学的関係から、物体Ｏの錯乱円を算出することができ、距離を算出することができる。

第一の実施形態によれば、撮像装置のぶれに起因する位置ずれと、移動体のぶれに起因する位置ずれをそれぞれ補正することが可能となり、更に、撮影された画像に複数の移動体が含まれる場合であっても、移動体ごとに位置ずれの補正を行うことが可能となる。また、これにより、画像中の全領域で正確な距離計測を行うことが可能となる。
また、位置ずれの補正は、平行移動だけでなく、拡大縮小や回転、剪断といった変形に対しても行うことができるため、より高精度な位置ずれ補正を実現することができる。

なお、第一の実施形態では、被写体距離を計測する方法として、ＤＦＤ法の一例を利用したが、他のＤＦＤ法や、ＤＦＦ（Depth from Focus）法を適用することも可能である。位置合わせを行った二枚の画像から被写体距離を求めることができれば、その方法に制限は無い。

（第二の実施形態）
第二の実施形態は、位置合わせ処理を行う際に、画像中の顔を検出することで対応点のグルーピングを行う実施形態である。また、位置合わせの結果を用いて、距離計測ではなくＨＤＲ（ハイダイナミックレンジ）処理を行う実施形態である。

図１０は、第二の実施形態に係る撮像装置のシステム構成図である。第二の実施形態に係る撮像装置は、位置合わせ部が行う処理の内容と、距離計測部１５のかわりにＨＤＲ処理部２０を有しているという点において、第一の実施形態と相違する。

ＨＤＲ処理部２０は、露出の異なる複数枚の画像を入力として、露出量に合わせて混合比率を変えて画像を加算することで、ＨＤＲ画像を生成する手段である。ＨＤＲ画像の生成処理については公知であるため説明は省略する。生成されたＨＤＲ画像は、表示部１８を通して表示され、また、記憶部１９に保存される。
他の構成については第一の実施形態と同様であるため、詳細な説明は省略する。

第二の実施形態においても、第一の実施形態と同様に二枚の画像を撮影するが、第二の実施形態では、フォーカス位置ではなく露出を変更して撮影を行う。撮影された二枚の画像は、位置合わせ部２４に入力され、位置合わせが実行される。

位置合わせ部２４は、基準となる画像（以下、基準画像）を含む複数枚の画像に対して処理を行い、基準画像に対して位置合わせがされた複数枚の画像（以下、合成画像）を出力する。第二の実施形態における位置合わせ処理の概要について、図１１を参照しながら説明する。図１１に示した各手段は、位置合わせ部２４が実行する処理をブロックで表したものである。
まず、メモリ１６に蓄積された二枚の画像が、対応点算出手段２４１に入力される。ここでは、基準画像と、それ以外の画像が入力されるものとする。
次に、対応点分類手段２４２により、対応点の分類を行う。対応点の分類は、画像中の顔の有無によって行う。

対応点分類手段２４２が行う処理を、図１２を参照しながらより詳しく説明する。
まず、顔検出確認ステップＳ２１１で、画像中に人の顔が存在するか否かを判定し、顔が検出されなかった場合は処理を終了する。この場合、引き続き第一の実施形態で行ったような対応点分類処理に移行するようにしてもよい。
顔が検出された場合は、対応点分類ステップＳ２１２で、検出された顔に対応する領域（顔領域）ごとに、当該領域内に存在する対応点をグルーピングする。また、顔が存在しない領域についても、一つのグループを生成する。これにより、検出した顔の個数＋１個のグループが生成される。
対応点数確認ステップＳ２１３では、各グループ内の対応点が、座標変換係数の算出に必要な数以上あるかを判定し、無かった場合は当該グループに属する対応点を除外する。なお、演算を簡略化するため、顔領域のサイズについて閾値をあらかじめ設け、閾値以下のサイズの顔領域が検出された場合は、当該顔領域についてはグループを生成しないようにしてもよい。

図１１に戻って説明を続ける。
座標変換係数算出手段２４３では、生成されたグループごとに座標変換係数を算出し、画像合成手段２４４が、第一の実施形態と同様の処理によって、位置合わせされた合成画像を生成する。生成された合成画像はメモリ１６に保存され、ＨＤＲ処理部２０によってＨＤＲ処理が施される。

静止した人物を撮影した場合、胴体部分に比べ頭部が動きやすい傾向があるため、ＨＤＲ処理によって画像を合成した場合に、顔領域の位置合わせができず、ぶれて合成されてしまうことがあった。これに対し、第二の実施形態では、各人物の顔がそれぞれ異なる動きをしている場合であっても正確に位置合わせをすることができ、ぶれが少ない合成画像を生成することができる。

なお、第二の実施形態では、顔領域以外の領域については、同じ動きをしているものと仮定して座標変換係数の算出を行ったが、顔領域以外の領域については、第一の実施形態と同様の方法を用いてグループ分けを行うようにしてもよい。
また、第二の実施形態では、人の顔を検出して対応点のグルーピングを行ったが、人物そのものを検出する処理を用いて、人物と、人物以外でグルーピングするようにしてもよい。また、人物を検出する場合、顔と顔以外の体に分離してグルーピングを行うようにしてもよい。さらに、被写体が人物以外である場合、画像に含まれる物体を認識し、当該認識された物体ごとにグルーピングを行うようにしてもよい。
また、画像の中から、人間が注目しやすい領域を抽出し、当該領域をグルーピングするようにしてもよい。例えば、文字や直線など、視覚上、画像のずれを認識しやすい領域を抽出し、グループを形成することで、合成後の画像を観賞した際の違和感を軽減させることができる。
また、入力画像が三枚以上である場合、以上に述べた処理を繰り返し行うことで、複数の合成画像を生成してもよい。

（第三の実施形態）
第三の実施形態は、対応点から動きベクトルを算出し、隣接する動きベクトルの情報を用いて対応点のグルーピングを行う実施形態である。
第三の実施形態における撮像装置１の構成は、第二の実施形態と同様である。

以下、第二の実施形態との処理の相違点について説明する。
第三の実施形態における位置合わせ部２４の処理フローは、第二の実施形態（図１１）と同様であるが、対応点分類手段２４２が、顔検出結果ではなく、動きベクトルを用いて対応点のグルーピングを行うという点において相違する。

第三の実施形態における対応点分類手段２４２は、算出された対応点から、二画像間の対応点のずれを表す動きベクトルを算出する。そして、それぞれの動きベクトルについて、隣接する対応点が有する動きベクトルとの比較を行う。この結果、各動きベクトルの大
きさおよび方向の違いが閾値以内であった場合、類似した動きベクトルであると判定し、互いを同じグループに編入する。閾値を超えている場合は、非類似の動きベクトルであるとしてグループへの編入は行わない。
この処理を全ての動きベクトルに対して行うことで、類似した複数の動きベクトルをグルーピングすることができる。

ただし、この方法では、隣接する動きベクトルのみをチェックしているため、同一のグループ内に、大きさや方向が類似しない動きベクトルが含まれてしまう可能性がある。そこで、グループを生成した後で、グループ単位でヒストグラムを生成し、必要に応じてグループを分割する。
具体的には、同じグループに含まれる動きベクトル群に対して、大きさおよび方向の度数分布を示すヒストグラムをそれぞれ算出する。この結果、算出されたヒストグラムが単峰であれば、当該グループには類似する動きベクトルのみが含まれていることがわかる。一方、大きさおよび方向のうち、少なくとも一方のヒストグラムが多峰性を持つ場合は、当該グループには異なる動きが混在していることがわかる。この場合、ヒストグラムに含まれるピークが一つになるように、当該グループを分割する。このように、ヒストグラムを生成することで、グループに含まれる動きベクトルが局所的にも大域的にもすべて類似するものであるか、確認することができる。
対応点をグルーピングした後の処理は、第二の実施形態と同様である。

第三の実施形態によると、動きベクトルの比較のみで対応点のグルーピングを行うことができるため、繰り返し処理や顔検出処理を行う必要がなくなり、演算量を削減することができる。

（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない画像処理装置として実施することもできる。また、画像処理方法として実施することもできるし、当該画像処理方法を画像処理装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。
例えば、ブラケットの方法、対応点のグループ分け方法、距離計測処理の有無、ＨＤＲ処理の有無などを、自由に組み合わせて実施してもよい。

また、実施形態の説明では、画像をブロックに分割してブロックごとの対応点を求めたが、対応点は必ずしもブロックに対して割り当てられたものでなくてもよい。例えば、画像中の特徴点を抽出し、当該特徴点に対応点を割り当てるようにしてもよい。このようにすることで、ブロックで分割した場合よりも、よりサイズの小さい移動体に対応することができるようになる。

上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対して画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置や、画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。
また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータ
に距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、コンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明に係る画像処理装置、距離計測装置、撮像装置、画像処理方法を実施するための各種処理を行ってもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。
この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。従って、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１・・・撮像装置、１２・・・制御部、１４・・・位置合わせ部

Claims (23)

1. 第一の画像に含まれる複数の点について、対応点を第二の画像中から探索する対応点決定手段と、
   前記対応点のずれ量に基づいて、前記複数の対応点をグループ分けし、前記グループごとに座標変換係数を算出する変換係数算出手段と、
   複数の前記座標変換係数と前記第二の画像を用いて、合成画像を生成する画像合成手段と、
   を有することを特徴とする、画像処理装置。
2. 前記変換係数算出手段は、
   処理対象領域における座標変換係数を算出する算出手段と、
   前記座標変換係数を用いて前記第二の画像の座標変換を行い、変換後の画像に含まれる対応点と、当該対応点に対応する第一の画像中の点との距離をそれぞれ算出し、当該距離が所定の距離より小さい対応点からなるグループを生成する生成手段と、
   を有し、
   前記算出手段および生成手段は、前記グループに属していない対応点を含む領域を前記処理対象領域として繰り返し処理を行う
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記変換係数算出手段は、前記生成手段によって生成されたグループに属する対応点が所定の数より少なくなった時点で処理を終了する
   ことを特徴とする、請求項２に記載の画像処理装置。
4. 前記生成手段は、グループを生成した際に、当該グループに含まれる対応点のみを用いて当該グループに対応する座標変換係数を算出する
   ことを特徴とする、請求項２または３に記載の画像処理装置。
5. 前記変換係数算出手段は、画像中に存在する顔を検出し、同一の顔に属する対応点が同一のグループに属するようにグループ分けを行う
   ことを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記変換係数算出手段は、対応点における動きベクトルを取得し、当該対応点に隣接する対応点における動きベクトルの方向が類似する場合に、各対応点が同じグループに属するようにグループ分けを行う
   ことを特徴とする、請求項１に記載の画像処理装置。
7. 前記変換係数算出手段は、グループ分けを行ったのちに、当該グループに含まれる動きベクトルの大きさおよび方向の少なくともいずれかを表すヒストグラムを生成し、前記ヒストグラムが多峰性を持つ場合に、当該ヒストグラムが単峰となるように当該グループを分割する
   ことを特徴とする、請求項６に記載の画像処理装置。
8. 前記画像合成手段は、
   前記複数の座標変換係数を用いて、前記第二の画像の座標変換をそれぞれ行い、複数の変換後画像を生成し、前記第一の画像の局所領域と、複数の変換後画像の対応する局所領域とを比較し、前記第一の画像の局所領域に最も類似する局所領域を連結することで、前記合成画像を生成する
   ことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記画像合成手段は、前記局所領域同士の比較において、当該領域における画素値の差を取得し、当該差の絶対値和もしくは二乗和に基づいて類似度を判定する
   ことを特徴とする、請求項８に記載の画像処理装置。
10. 前記画像合成手段は、前記局所領域同士の比較において、当該領域における画素値の相関に基づいて類似度を判定する
    ことを特徴とする、請求項８に記載の画像処理装置。
11. 異なる撮影パラメータで撮影された、ぼけ方の異なる複数の画像から、被写体距離を算出する距離計測装置であって、
    請求項１から１０のいずれか１項に記載の画像処理装置を有し、
    前記第一の画像と、前記合成画像を用いて被写体距離を計測する
    ことを特徴とする、距離計測装置。
12. 撮像光学系と、
    撮像素子と、
    請求項１１に記載の距離計測装置と、を有し、
    前記距離計測装置は、前記撮像光学系および撮像素子によって得られた複数の画像を用いて被写体距離を計測する
    ことを特徴とする撮像装置。
13. 第一の画像に含まれる点に複数の点について、対応点を第二の画像中から探索する対応点決定ステップと、
    前記対応点のずれ量に基づいて、前記複数の対応点をグループ分けし、前記グループごとに画像間の座標変換係数を算出する変換係数算出ステップと、
    複数の前記座標変換係数と前記第二の画像とを用いて、合成画像を生成する画像合成ステップと、
    を含むことを特徴とする画像処理方法。
14. 前記変換係数算出ステップは、
    処理対象領域における座標変換係数を算出する算出ステップと、
    算出した座標変換係数を用いて第二の画像の座標変換を行い、変換後の画像に含まれる対応点と、当該対応点に対応する第一の画像中の点との距離をそれぞれ算出し、当該距離が所定の距離より小さい対応点からなるグループを生成する生成ステップと、
    からなり、
    前記グループに属していない対応点を含む領域を前記処理対象領域として、前記算出ステップおよび前記生成ステップを繰り返す
    ことを特徴とする、請求項１３に記載の画像処理方法。
15. 前記変換係数算出ステップでは、前記生成ステップによって生成されたグループに属する対応点が所定の数より少なくなった時点で処理を終了する
    ことを特徴とする、請求項１４に記載の画像処理方法。
16. 前記生成ステップでは、グループを生成した際に、当該グループに含まれる対応点のみを用いて当該グループに対応する座標変換係数を算出する
    ことを特徴とする、請求項１４または１５に記載の画像処理方法。
17. 前記変換係数算出ステップでは、画像中に存在する顔を検出し、同一の顔に属する対応点が同一のグループに属するようにグループ分けを行う
    ことを特徴とする、請求項１３から１６のいずれか１項に記載の画像処理方法。
18. 前記変換係数算出ステップでは、対応点における動きベクトルを取得し、当該対応点に隣接する対応点における動きベクトルの方向が類似する場合に、各対応点が同じグループに属するようにグループ分けを行う
    ことを特徴とする、請求項１３に記載の画像処理方法。
19. 前記変換係数算出ステップでは、グループ分けを行ったのちに、当該グループに含まれる動きベクトルの大きさおよび方向の少なくともいずれかを表すヒストグラムを生成し、前記ヒストグラムが多峰性を持つ場合に、当該ヒストグラムが単峰となるように当該グループを分割する
    ことを特徴とする、請求項１８に記載の画像処理方法。
20. 前記画像合成ステップでは、
    前記複数の座標変換係数を用いて、前記第二の画像の座標変換をそれぞれ行い、複数の変換後画像を生成し、前記第一の画像の局所領域と、複数の変換後画像の対応する局所領域とを比較し、前記第一の画像の局所領域に最も類似する局所領域を連結することで、前記合成画像を生成する
    ことを特徴とする、請求項１３から１９のいずれか１項に記載の画像処理方法。
21. 前記画像合成ステップでは、前記局所領域同士の比較において、当該領域における画素値の差を取得し、当該差の絶対値和もしくは二乗和に基づいて類似度を判定する
    ことを特徴とする、請求項２０に記載の画像処理方法。
22. 前記画像合成ステップでは、前記局所領域同士の比較において、当該領域における画素値の相関に基づいて類似度を判定する
    ことを特徴とする、請求項２０に記載の画像処理方法。
23. 請求項１３から２２のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images