JP4807194B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像処理装置及びプログラムに関する。

近年、デジタルカメラ等の撮像装置では、手ぶれを起こさない程度の短い露光時間で連続撮像を行い、当該連続撮像により取得した複数枚の画像を重ね合わせることで、ブレのないノイズを押さえた鮮明な画像の取得を行うことができるようになっている。

画像合成における画像の位置ずれを防止する技術として、２つの画像間のオプティカルフローから射影変換行列Ｈを算出して、当該射影変換行列Ｈにより画像間の各画素の位置ずれを補正して重ね合わせる方法が開発されている（例えば、特許文献１参照）。
具体的には、図９に示すように、撮像装置に備わるオプティカルフロー検出部５０１は、１枚目の画像からｎ個の特徴点を抽出し、それらを２枚目以降の画像で追跡する。ここで、特徴点の追跡は、各画像を複数段階に分けてサブサンプリングし、最も解像度が低いレイヤ（画像）から順に解像度が高いレイヤに向かって順次追跡を行っていく。
そして、特徴点の追跡が終了すると、ＲＡＮＳＡＣ処理部５０２（図９参照）は、取得したｎ個の対応点の中からランダムに４点選択して仮の射影変換行列Ｈを計算し、そのサポート数で求めた射影変換行列Ｈを評価し、その作業を繰り返してより信頼性の高い射影変換行列Ｈを算出する（RANSAC処理）。このようにして、最も信頼性の高い４組の対応点どうしを用いて射影変換行列Ｈを決定する。
そして、決定された射影変換行列Ｈを用いて被合成画像を射影変換して、加算合成することで１枚の合成画像が作成される。
特開２００５−９４６１４号公報

ところで、上記の画像合成方法にあっては、信頼性の高い射影変換行列Ｈを求めることが重要であり、言い換えれば、特徴点の追跡を高精度に行う必要がある。
ここで、画像を撮像した環境が十分に明るい環境であれば、特徴点の抽出及び追跡は比較的容易に行うことができ、信頼性の高い射影変換行列Ｈを求めることができる。しかしながら、例えば、図１０（ｂ）に示すように、５lux以下などの非常に暗い環境で撮像された画像は、画像ごとの成分が非常に小さく、そのため特徴点がノイズに埋もれてしまい、特徴点の抽出及び追跡が困難となる。よって、暗い環境では射影変換行列Ｈ自体が算出できなかったり、又は算出できたとしても射影変換行列Ｈが信頼性の低いものとなってしまう。

そして、例えば、図１０（ｃ）に示すように、連続撮像中に手ぶれなどが生じて連続する画像が著しく大きくずれしまった場合等にて、誤った射影変換行列Ｈを用いて画像を変換すると、画像どうしが重なり合うどころか著しくずれて合成される虞があるため、Ｈ判定部５０３（図９参照）は、画像合成部５０４による画像合成前に射影変換行列Ｈの信頼性を判断し、信頼性の低い射影変換行列Ｈの場合には画像合成には使わないなどの回避方法を行うようになっている。また、射影変換行列Ｈ自体を算出できなかった場合も同様に、画像合成には使わないといった方法が採られている。

上記の画像合成方法は、合成できるだけの十分な品質の画像のみを用いて合成を行うので、精度の高い位置合わせを行うことができ、この結果、鮮明な画像を取得することができる。
しかしながら、例えば、撮像した画像のほとんどで信頼性の高い射影変換行列Ｈが求められなかった場合（或いは、射影変換行列Ｈ自体が算出されなかった場合）には、それらの画像は合成には使われないため、合成画像はその合成枚数が連続撮像枚数に対して少なくなってしまう。この結果、合成画像は、期待通りにノイズが軽減されていなかったり、明るさが不十分となってしまうことがある。

また、合成にかかる処理時間は、全ての連続画像で信頼性の高い射影変換行列Ｈが算出されて合成された場合と、信頼性の低い射影変換行列Ｈが算出された画像を使わずに画像合成した場合とでほとんど変わらない。
よって、単純に画像合成に適していない信頼性の低い画像を使用しないという画像合成処理は、高精度に位置合わせされた合成画像であっても、長い処理時間を要した上にノイズが軽減しきれていない画像や暗い画像又は発色の悪い画像といった低品質の画像が合成されてしまう虞がある。

そこで、本発明の課題は、画像合成枚数を十分に確保して高品質の画像を合成することができる画像処理装置及びプログラムを提供することである。

請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
複数の画像のうち、一の画像（例えば、図３の合成基準画像Ｐ０等）と当該一の画像と異なる他の画像（例えば、図３の被合成画像Ｐｎ）の解像度を段階的に低減させて一の低解像度画像及び他の低解像度画像を作成する低解像度画像作成手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記低解像度画像作成手段により作成された第１の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量をグローバルマッチングにより探索して算出する第１のずれ量算出手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記低解像度画像作成手段により作成された第２の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量を勾配法により探索して算出する第２のずれ量算出手段（例えば、図２のＲＡＮＳＡＣ処理部１３２等）と、
前記第２のずれ量算出手段により算出された前記ずれ量の信頼性が高いか否かを前記一の低解像度画像上の複数の点を前記他の低解像度画像の座標系に変換した場合の前記複数の点の位置関係の変化量に基づいて判定する信頼性判定手段（例えば、図２のＨ判定部１３３等）と、
前記信頼性判定手段により前記第２のずれ量算出手段により算出されたずれ量の信頼性が高いと判定された場合に、前記第２のずれ量算出手段により算出されたずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素を座標変換して当該２つの画像を合成する第１の画像合成手段（例えば、図２の画像合成部１３４等）と、
前記信頼性判定手段により前記第２のずれ量算出手段により算出されたずれ量の信頼性が高くないと判定された場合に、前記第１のずれ量算出手段により算出されたずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素をずらして当該２つの画像を合成する第２の画像合成手段（例えば、図２の画像合成部１３４等）とを備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記第１の解像度は、前記第２の解像度よりも低解像度であることを特徴としている。

請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記第１のずれ量算出手段により算出された合成基準画像となる前記一の画像に対する前記他の画像の位置のずれ量が所定値以上であるか否かを判定するずれ量判定手段（例えば、図２のオプティカルフロー検出部１３１等）と、
前記ずれ量判定手段により前記ずれ量が所定値以上であると判定された場合に、前記第一の画像合成手段及び前記第二の画像合成手段による画像合成の対象から前記他の画像を除外する画像除外手段（例えば、図２のオプティカルフロー検出部１３１等）とを備えることを特徴としている。

請求項４に記載の発明のプログラムは、
コンピュータ（例えば、図１の撮像装置１００等）に、
複数の画像のうち、一の画像（例えば、図３の合成基準画像Ｐ０等）と当該一の画像と異なる他の画像（例えば、図３の被合成画像Ｐｎ）の解像度を段階的に低減させて一の低解像度画像及び他の低解像度画像を作成する機能と、
第１の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量をグローバルマッチングにより探索して算出する機能と、
第２の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量を勾配法により探索して算出する機能と、
前記第２の算出方法により算出された前記ずれ量の信頼性が高いか否かを前記一の低解像度画像上の複数の点を前記他の低解像度画像の座標系に変換した場合の前記複数の点の位置関係の変化量に基づいて判定する機能と、
前記第２の算出方法により算出された前記ずれ量の信頼性が高いと判定された場合に、前記第２の算出方法により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素を座標変換して当該２つの画像を合成する機能と、
前記第２の算出方法により算出された前記ずれ量の信頼性が高くないと判定された場合に、前記第１の算出方法により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素をずらして当該２つの画像を合成する機能とを実現させることを特徴としている。

本発明によれば、合成基準画像に対するずれ量の信頼性が高くない被合成画像であっても最低限の合成精度を保ちながら画像合成することができ、これにより、画像合成枚数を十分に確保して高品質の画像を合成することができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を模式的に示す図である。

本実施形態の撮像装置１００は、例えば、短い露光時間で連続撮像を行い、当該連続撮像により取得した複数枚の画像フレームを重ね合わせて一枚の合成画像を生成するものである。
具体的には、撮像装置１００は、例えば、図１に示すように、被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該撮像装置１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。

撮像部１は、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズからなる撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。

また、撮像部１は、例えば、ユーザによる操作部４のモード設定ボタン４１ｂの所定操作に基づいて連続撮像モードに切り換えられた場合に、高速度で撮像を連続して行うことができるようになっている。

映像信号処理部１３は、例えば、図２に示すように、合成される複数の画像に係る画像信号のピラミッド階層構造化、所定画像からの特徴点の抽出、抽出された特徴点の勾配法による追跡（探索）等を行うオプティカルフロー検出部１３１と、特徴点どうしが対応付けられた特徴点対応表からランダムに所定数の特徴点を選択して、これらの特徴点を用いた射影変換（Ｈ計算）及び他の特徴点を用いたサポート計算等を行うＲＡＮＳＡＣ処理部１３２と、算出された射影変換行列Ｈの信頼度を判定するＨ判定部１３３と、画素どうしが対応する位置を計算して画像信号を加算（合成）する画像合成部１３４等を備えている。

撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２と、ストロボ発光部２３を発光させるためのストロボ駆動部２４等を備えている。
これらフォーカス駆動部２１、ズーム駆動部２２及びストロボ駆動部２４は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。

表示部３は、例えば、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。

操作部４は、例えば、当該撮像装置１００の各部に設けられ、撮像部１による被写体の撮像を指示するシャッターボタン４１ａ、撮像モードを通常撮像モードや連続撮像モード等に切り替えて設定するためのモード設定ボタン４１ｂ等の各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵ７１に入力するための入力回路４２等を備えている。

記録媒体５としては、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等を適用することができる。

制御部７は、例えば、撮像装置１００の各部を統括的に制御するＣＰＵ７１と、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。

プログラムメモリ７２は、例えば、ピラミッド化プログラム７２ａ、ずれ量算出プログラム７２ｂ、ずれ量判定プログラム７２ｃ、画像除外プログラム７２ｄ、座標変換式算出プログラム７２ｅ、信頼性判定プログラム７２ｆ、第一の画像合成プログラム７２ｇ、第二の画像合成プログラム７２ｈ等を記憶している。

ピラミッド化プログラム７２ａは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、撮像部１による画像の撮像により入力された複数の画像信号に基づいて、例えば画像の縦横の画素数を順次１／２倍ずつすることでレイヤＧｍ（Ｇ’ｍ）〜Ｇ０（Ｇ’０）をピラミッド階層構造化（図３参照）させるピラミッド階層構造化処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１によるピラミッド化プログラム７２ａの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、低解像度画像作成手段として、複数の画像信号に基づいて当該画像信号に係る画像（例えば、一の画像（合成基準画像）Ｐ０、他の画像Ｐｎ等）の解像度を段階的に低減させた低解像度画像（例えば、一の低解像度画像、他の低解像度画像等）を作成するようになっている。

ずれ量算出プログラム７２ｂは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、ピラミッド階層構造化処理にて作成された一の低解像度画像Ｇ０と他の低解像度画像Ｇ’０との間の位置のずれ量をグローバルマッチングにより探索して算出するずれ量算出処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１によるずれ量算出プログラム７２ｂの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、第１のずれ量算出手段として、合成基準画像となる一の画像Ｐ０の最も解像度の低い低解像度画像Ｇ０と、他の画像Ｐｎの最も解像度の低い低解像度画像Ｇ’０との間でグローバルマッチングを行って、画像間のずれ量を算出する第１の算出方法を行うようになっている。

ここで、ずれ量算出処理について図４を参照して説明する。
図４に示すように、連続した複数の画像のうち、一枚目の画像を合成基準画像Ｐ０として、その所定位置（例えば、目等）の座標（ｘ，ｙ）［０＜ｘ＜ｘmax、０＜ｙ＜ｙmax］に対して、その画素値をＰ０（ｘ，ｙ）とする。また、被合成画像Ｐｎの画素値をＰｎ（ｘ，ｙ）［ｎは連写枚数］とする。
そして、合成基準画像のＰ０（ｘ，ｙ）に対して、Ｐ０（ｘ，ｙ）＝Ｐｎ（ｘ＋Δｘ，ｙ＋Δｙ）となる座標（ｘ＋Δｘ，ｙ＋Δｙ）を被合成画像にて探索すると、Δｘ，Δｙが合成基準画像のある画素（ｘ，ｙ）の移動量（ずれ量）ということとなる。
上記の処理を合成基準画像の全画素に対してΔｘ、Δｙを計算して、その平均を被合成画像Ｐｎの移動量（Δｘｎ，Δｙｎ）とし、その大きさＤは下記式（１）より算出される。

ずれ量判定プログラム７２ｃは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、ずれ量算出処理にて算出された合成基準画像（一の画像）Ｐ０に対する被合成画像（他の画像）Ｐｎのずれ量が所定値以上であるか否かを判定するずれ量判定処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１によるずれ量判定プログラム７２ｃの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、ずれ量判定手段として、被合成画像Ｐｎの移動量Ｄが閾値Ｔ以上であるか否かを判定するようになっている。

画像除外プログラム７２ｄは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、ずれ量判定処理にて合成基準画像（一の画像）Ｐ０に対する被合成画像（他の画像）Ｐｎのずれ量が所定値以上であると判定された場合に、第一の画像合成処理及び第二の画像合成処理（後述）での画像合成の対象から他の画像を除外する画像除外処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１による画像除外プログラム７２ｄの実行に基づいて、映像信号処理部１３のオプティカルフロー検出部１３１が、画像除外手段として、移動量Ｄが閾値Ｔ以上となる被合成画像Ｐｎを第一の画像合成処理及び第二の画像合成処理での画像合成の対象から除外するようになっている。つまり、被合成画像Ｐｎの移動量Ｄが閾値Ｔ以上となる場合、被合成画像Ｐｎは特徴点の追跡が困難と予想されるほどＰ０からずれているので、これ以上のレイヤ（Ｇ１以上）での特徴点の追跡は行わず、この時点で当該被合成画像を破棄するようになっている。
そして、被合成画像Ｐｎの移動量Ｄが閾値Ｔよりも小さい場合、被合成画像のずれが小さいことを表すので、十分精度の高い特徴点追跡を行うことができる可能性があるため、レイヤ（Ｇ１）の（ｘ＋Δｘ，ｙ＋Δｙ）を開始点として特徴点の追跡を続行する。
これにより、例えば、図１０（ｃ）に示すような大きくずれ過ぎている画像は合成対象から除外される。

座標変換式算出プログラム７２ｅは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、ピラミッド階層構造化処理にて作成された合成基準画像となる一の低解像度画像と被合成画像となる一の画像と異なる他の低解像度画像との間の画素の座標変換式（画像間のずれ量）を算出する座標変換式算出処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１による座標変換式算出プログラム７２ｅの実行に基づいて、映像信号処理部１３のＲＡＮＳＡＣ処理部１３２が、第２のずれ量算出手段として、オプティカルフロー検出部１３１にて勾配法により探索され取得された合成基準画像と被合成画像とに対応する複数の対応点の中からランダムに４点選択して仮の射影変換行列Ｈを計算し、そのサポート数で求めた射影変換行列Ｈを評価し、その作業を繰り返してより信頼性の高い射影変換行列Ｈを算出する処理（RANSAC処理）を行うようになっている。

信頼性判定プログラム７２ｆは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、座標変換式算出処理にて算出された座標変換式の信頼性が高いか否かを判定する信頼性判定処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１による信頼性判定プログラム７２ｆの実行に基づいて、映像信号処理部１３のＨ判定部１３３は、信頼性判定手段として、座標変換式算出処理にて算出された射影変換行列Ｈを用いて一の画像上の特徴点（例えば、各頂点）を他の画像の座標系に変換した場合の歪み量（例えば、各辺の長さや各頂点の角度）に基づいて、射影変換行列Ｈの信頼性が高いか否かを判定するようになっている。

ここで、信頼性判定処理について図５及び図６を参照して説明する。
例えば、図５に示すように、合成基準画像Ｐ０の全画素を被合成画像Ｐｎの座標系に対応させた画像をＰ’ｎとすると、合成基準画像Ｐ０と被合成画像Ｐｎは同じ座標系なので、画像Ｐ’ｎが歪んでいなければ、画像Ｐ’ｎと被合成画像Ｐｎは合致する。
しかし、画像Ｐ’ｎが歪んでいると（破線参照）、その歪みが大きいほど、座標のずれが大きくなる。
以下に、上記の歪みの大きさを測定する方法について説明する。

例えば、図６に示すように、合成基準画像Ｐ０の各頂点の画素を（ａ，ｂ，ｃ，ｄ）とし、被合成画像Ｐｎの各頂点の画素を（ｅ，ｆ，ｇ，ｈ）とし、合成基準画像Ｐ０の頂点画素を被合成画像Ｐｎの座標系に射影変換したときの画像Ｐ’ｎの頂点画素を（ａ’，ｂ’，ｃ’，ｄ’）とする。
そして、射影変換後の画像Ｐ’ｎの４辺（ａ’−ｂ’）、（ｂ’−ｃ’）、（ｃ’−ｄ’）、（ｄ’−ａ’）の長さと、各頂点ａ’、ｂ’、ｃ’、ｄ’の角度を算出する。これにより、画像Ｐ’ｎの各頂点画素（ａ’，ｂ’，ｃ’，ｄ’）の位置関係がわかり、変換前の合成基準画像Ｐ０の４辺と各頂点（ａ，ｂ，ｃ，ｄ）の角度と比較することにより、合成基準画像Ｐ０を被合成画像Ｐｎの座標系に変換した場合の歪み量を数値化することができる。
上記のようにして算出された歪み量の値が予め設定された閾値以上であるか否かを判定し、歪み量が閾値以内であると判定されると射影変換行列Ｈの信頼性は高いと判断する一方で、歪み量が閾値よりも大きいと判定されると射影変換行列Ｈの信頼性は低いと判断するようになっている。

第一の画像合成プログラム７２ｇは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、信頼性判定処理にて座標変換式の信頼性が高いと判定された場合に、座標変換式算出処理にて算出された座標変換式に基づいて、他の画像（被合成画像）の画素を座標変換して当該被合成画像と一の画像（合成基準画像）を合成する第一の画像合成処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１による第一の画像合成プログラム７２ｇの実行に基づいて、画像合成部１３４は、第一の画像合成手段として、射影変換行列Ｈを用いて被合成画像Ｐｎの画素を合成基準画像Ｐ０の座標系に射影変換して、当該被合成画像Ｐｎと合成基準画像Ｐ０を合成するようになっている。
なお、第一の画像合成処理にあっては、合成基準画像の画素を被合成画像の座標系に射影変換するようにしても良い。

第二の画像合成プログラム７２ｈは、ＣＰＵ７１からの所定の制御信号に従って駆動する撮影制御部１５の制御下にて、映像信号処理部１３に、信頼性判定処理にて座標変換式の信頼性が高くないと判定された場合に、ずれ量算出処理にて算出された合成基準画像（一の画像）Ｐ０に対する被合成画像（他の画像）Ｐｎのずれ量に従って、被合成画像Ｐｎの画素をずらして当該被合成画像Ｐｎと合成基準画像Ｐ０を合成する第二の画像合成処理に係る機能を実現させるためのプログラムである。
即ち、ＣＰＵ７１による第二の画像合成プログラム７２ｈの実行に基づいて、画像合成部１３４は、第二の画像合成手段として、グローバルマッチングにて算出された合成基準画像Ｐ０に対する被合成画像Ｐｎのずれ量（Δｘｎ，Δｙｎ）を用いて、被合成画像Ｐｎと合成基準画像Ｐ０を合成するようになっている。

これにより、例えば、大きくずれ過ぎている画像や射影変換行列Ｈを算出することができなかった画像については、画像除外処理にて合成対象から除外するものの、図１０（ｂ）に示すように、撮影環境が暗いことが原因で特徴点の追跡を適正に行うことができなかった画像であっても合成対象から除外することなく、画像合成枚数を十分に確保して高品質の画像を合成する。
なお、第二の画像合成処理にあっては、合成基準画像の画素をずらして被合成画像の座標系に射影変換するようにしても良い。

次に、画像合成処理について図７及び図８を参照して説明する。
ここで、図７は、画像合成処理にかかる動作の一例を示すフローチャートである。また、図８は、画像合成処理における合成主処理にかかる動作の一例を示すフローチャートである。

図７に示すように、先ず、連続撮像モードにてユーザによるシャッターボタン４１ａの押下操作に基づいて撮像部１により連続して画像が撮像され、当該画像信号が映像信号処理部１３に入力されると（ステップＳ１）、映像信号処理部１３は、ＣＰＵ７１によるピラミッド化プログラム７２ａの実行に基づいて、入力された画像信号をピラミッド階層構造化する処理を行う。
具体的には、映像信号処理部１３は、変数ｉの初期値として「ｍ」を設定し（ステップＳ２）、元画像に対して順次１／２倍ずつ低解像度化してサブサンプリングして（ステップＳ３）、レイヤＧ（ｉ−１）を生成する（ステップＳ４）。
続けて、映像信号処理部１３は、変数ｉが０以上であるか否かを判定して（ステップＳ５）、０以上であると判定された場合（ステップＳ５；ＹＥＳ）、変数ｉを「−１」デクリメントした後（ステップＳ６）、ステップＳ３に移行する。
映像信号処理部１３は、ステップＳ５にて変数ｉが０以上ではないと判定されるまで（ステップＳ５；ＮＯ）、上記の処理を繰り返し実行する。
これにより、最も低解像度の画像をレイヤＧ０とし、最も高解像度の画像（元画像）をレイヤＧｍとするピラミッド階層構造が生成される。

ステップＳ５にて、変数ｉが０以上ではないと判定されると（ステップＳ５；ＮＯ）、映像信号処理部１３は、ＣＰＵ７１によるずれ量算出プログラム７２ｂの実行に基づいて、合成基準画像Ｐ０の最も低解像度画像Ｇ０と被合成画像Ｐｎの最も低解像度画像Ｇ’０との間でグローバルマッチングを行って、全ての画素についての移動量Ｄ（ずれ量）を算出する処理を行う（ステップＳ７）。

続けて、映像信号処理部１３は、ＣＰＵ７１によるずれ量判定プログラム７２ｃの実行に基づいて、合成基準画像Ｐ０に対する被合成画像Ｐｎの移動量Ｄが閾値Ｔ以上であるか否かを判定する処理を行う（ステップＳ８）。
ここで、移動量Ｄが閾値Ｔ以上であると判定されると（ステップＳ８；ＹＥＳ）、ＣＰＵ７１による画像除外プログラム７２ｄの実行に基づいて、映像信号処理部１３は、当該被合成画像Ｐｎを画像合成処理の対象から除外する処理を行う（ステップＳ９）。

一方、ステップＳ８にて、移動量Ｄが閾値Ｔよりも小さいと判定されると（ステップＳ８；ＮＯ）、映像信号処理部１３は、特徴点を追跡する処理を行う。
具体的には、映像信号処理部１３は、変数ｉの初期値として「１」を設定し（ステップＳ１０）、合成基準画像Ｐ０のレイヤＧｉにおける所定の特徴点を例えば勾配法により被合成画像ＰｎのレイヤＧ’ｉにて追跡する（ステップＳ１１）。
そして、映像信号処理部１３は、当該レイヤＧ’ｉでの追跡結果を次のレイヤＧ’（ｉ−１）に渡した後（ステップＳ１２）、映像信号処理部１３は、変数ｉがｍ以下であるか否かを判定して（ステップＳ１３）、ｍ以下であると判定された場合（ステップＳ１３；ＹＥＳ）、変数ｉを「＋１」インクリメントした後（ステップＳ１４）、ステップＳ１１に移行する。
映像信号処理部１３は、ステップＳ１３にて変数ｉがｍ以下ではないと判定されるまで（ステップＳ１３；ＮＯ）、上記の処理を繰り返し実行する。
これにより、最も低解像度のレイヤＧ０の次に解像度が高いレイヤＧ１の画像から解像度が高い方に順次勾配法により特徴点の追跡が行われる。

ステップＳ１３にて、変数ｉがｍ以下ではないと判定されると（ステップＳ１３；ＮＯ）、映像信号処理部１３は、ＣＰＵ７１による座標変換式算出プログラム７２ｅの実行に基づいて、RANSAC処理を実行して、より信頼性の高い射影変換行列Ｈを算出する（ステップＳ１４）。

続けて、映像信号処理部１３は、合成基準画像Ｐ０と被合成画像Ｐｎを合成する合成主処理を行う（ステップＳ１５）。
以下に、合成主処理について図８を参照して説明する。

図８に示すように、映像信号処理部１３は、ＣＰＵ７１による信頼性判定プログラム７２ｆの実行に基づいて、座標変換式算出処理にて算出された射影変換行列Ｈの信頼性が高いか否かを判定する（ステップＳ１５１）。
ここで、射影変換行列Ｈの信頼性が高いと判定されると（ステップＳ１５１；ＹＥＳ）、映像信号処理部１３は、ＣＰＵ７１による第一の画像合成プログラム７２ｇの実行に基づいて、射影変換行列Ｈを用いて被合成画像Ｐｎの画素を合成基準画像Ｐ０の座標系に射影変換して、当該被合成画像Ｐｎと合成基準画像Ｐ０を合成する（ステップＳ１５２）。

一方、ステップＳ１５１にて、射影変換行列Ｈの信頼性が高くないと判定されると（ステップＳ１５１；ＮＯ）、映像信号処理部１３は、ＣＰＵ７１による第二の画像合成プログラム７２ｈの実行に基づいて、低解像度画像のグローバルマッチングにて算出された合成基準画像Ｐ０に対する被合成画像Ｐｎのずれ量（Δｘｎ，Δｙｎ）を用いて、被合成画像Ｐｎと合成基準画像Ｐ０を合成する（ステップＳ１５３）。

そして、映像信号処理部１３は、合成された合成画像を画像メモリ及びＣＰＵ７１に出力して（ステップＳ１５４）、画像合成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、Ｈ判定部１３３にて射影変換行列Ｈの信頼性が高くないと判定された場合に、グローバルマッチングにより算出された合成基準画像Ｐ０及び被合成画像Ｐｎの低解像度画像どうしのずれ量に従って、被合成画像Ｐｎの画素をずらして当該被合成画像Ｐｎと合成基準画像Ｐ０を合成することができる。
即ち、従来では、撮像環境が著しく暗いために特徴点の抽出及び追跡が困難となって、誤った射影変換行列Ｈを算出した場合には、射影変換行列Ｈの信頼性が低くなるため画像合成には使わないようになっていたが、この場合、連続撮像された画像どうしにずれが生じていない可能性もある。そこで、本実施形態の撮像装置１００によれば、射影変換行列Ｈの信頼性が高くない被合成画像Ｐｎであっても最低限の合成精度を保ちながら画像合成することができ、これにより、画像合成枚数を十分に確保することができる。
従って、合成画像として、合成性能や解像度を優先したものではなく、ノイズが少なく、明るい、発色の良い高品質の画像を取得することができる。

また、グローバルマッチングにより算出された合成基準画像Ｐ０及び被合成画像Ｐｎの低解像度画像どうしのずれ量が閾値Ｔ以上であると判定された場合には、当該被合成画像Ｐｎを合成対象から除外することができるので、当該被合成画像Ｐｎについては、その後の画像処理を省くことができ、画像処理時間の軽減を図ることができる。即ち、従来のように、算出された射影変換行列Ｈに基づいて、画像合成に使用するか否かを判定するのではなく、射影変換行列Ｈを算出する前に予め被合成画像を選別することができ、画像処理の効率を向上させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、画像間の位置のずれ量の第１の算出方法として、ずれ量算出処理にて合成基準画像の低解像度画像Ｇ０と他の画像Ｐｎの低解像度画像Ｇ’０との間でグローバルマッチングを行って画像間のずれ量を算出するようにしたが、ずれ量の算出方法はこれに限られるものではない。
また、一の画像Ｐ０の最も解像度の低い低解像度画像Ｇ０と他の画像Ｐｎの最も解像度の低い低解像度画像Ｇ’０との間で、画像間のずれ量を算出するようにしたが、ずれ量算出処理におけるずれ量算出の対象となる画像はこれに限られるものではない。即ち、ずれ量算出処理における対象画像は、座標変換式算出処理における座標変換式（ずれ量）算出の対象とする画像よりも低解像度の画像であれば如何なる画像であっても良い。

さらに、画像間の位置のずれ量の第２の算出方法として、座標変換式算出処理にて合成基準画像と被合成画像との間の画素の座標変換式をずれ量として算出するようにしたが、ずれ量の算出方法はこれに限られるものではない。
また、座標変換式算出処理にて、勾配法により特徴点の探索を行ってオプティカルフローを推定して射影変換行列Ｈを算出するようにしたが、射影変換行列Ｈの算出方法はこれに限られるものではない。

加えて、Ｈ判定部１３３にて、画像合成される複数の画像を１枚毎に射影変換行列Ｈを用いるか、グローバルマッチングにより算出された移動量（動きベクトル）を用いるか否かを判定するようにしたが、これに限られるものではなく、例えば、最初の被合成画像Ｐｎが著しく暗い画像であったり、特徴点が十分な数取得できなかった場合、特徴点の特徴量（特徴点とみなして相応しいか否かの判定量）が十分でない場合には、その後の合成を全てグローバルマッチングにて行うようにしても良い。

また、上記実施形態では、画像処理装置として、撮像された複数の画像の合成を行う撮像装置１００を例示したが、これに限られるものではなく、少なくとも複数の画像に基づいて合成画像を生成することができる装置であれば如何なるものであっても良い。

加えて、上記実施形態では、座標変換式算出手段、信頼性判定手段、第一の画像合成手段、低解像度画像作成手段、ずれ量算出手段、第二の画像合成手段、ずれ量判定手段、画像除外手段としての機能を、ＣＰＵ７１によって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置に備わる映像信号処理部を模式的に示した図である。 図１の撮像装置による画像追跡処理に係るピラミッド階層構造化処理を模式的に示した図である。 図１の撮像装置によるずれ量算出処理を説明するための図である。 図１の撮像装置による信頼性判定処理を説明するための図である。 図５の信頼性判定処理における歪みの大きさの算出を説明するための図である。 図１の撮像装置による画像合成処理にかかる動作の一例を示すフローチャートである。 図７の画像合成処理における合成主処理にかかる動作の一例を示すフローチャートである。 従来の画像処理装置に備わる映像信号処理部を模式的に示した図である。 図９の画像処理装置による画像合成処理の可否を説明するための図である。

符号の説明

１００ 撮像装置（画像処理装置）
１３ 映像信号処理部
１３１ オプティカルフロー検出部（低解像度画像作成手段、第１のずれ量算出手段）
１３２ ＲＡＮＳＡＣ処理部（第２のずれ量算出手段）
１３３ Ｈ判定部（信頼性判定手段）
１３４ 画像合成部（第１の画像合成手段、第２の画像合成手段）
Ｐ０ 合成基準画像
Ｐｎ 被合成画像
Ｇ０（Ｇ’０） 低解像度画像

Claims (4)

1. 複数の画像のうち、一の画像と当該一の画像と異なる他の画像の解像度を段階的に低減させて一の低解像度画像及び他の低解像度画像を作成する低解像度画像作成手段と、
   前記低解像度画像作成手段により作成された第１の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量をグローバルマッチングにより探索して算出する第１のずれ量算出手段と、
   前記低解像度画像作成手段により作成された第２の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量を勾配法により探索して算出する第２のずれ量算出手段と、
   前記第２のずれ量算出手段により算出された前記ずれ量の信頼性が高いか否かを前記一の低解像度画像上の複数の点を前記他の低解像度画像の座標系に変換した場合の前記複数の点の位置関係の変化量に基づいて判定する信頼性判定手段と、
   前記信頼性判定手段により前記第２のずれ量算出手段により算出されたずれ量の信頼性が高いと判定された場合に、前記第２のずれ量算出手段により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素を座標変換して当該２つの画像を合成する第１の画像合成手段と、
   前記信頼性判定手段により前前記第２のずれ量算出手段により算出されたずれ量の信頼性が高くないと判定された場合に、前記第１のずれ量算出手段により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素をずらして当該２つの画像を合成する第２の画像合成手段とを備えることを特徴とする画像処理装置。
2. 前記第１の解像度は、前記第２の解像度よりも低解像度であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のずれ量算出手段により算出された合成基準画像となる前記一の画像に対する前記他の画像の位置のずれ量が所定値以上であるか否かを判定するずれ量判定手段と、
   前記ずれ量判定手段により前記ずれ量が所定値以上であると判定された場合に、前記画像合成手段による画像合成の対象から前記他の画像を除外する画像除外手段とを備えることを特徴とする請求項１に記載の画像処理装置。
4. コンピュータに、
   複数の画像のうち、一の画像と当該一の画像と異なる他の画像の解像度を段階的に低減させて一の低解像度画像及び他の低解像度画像を作成する機能と、
   第１の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量をグローバルマッチングにより探索して第１の算出方法によって算出する機能と、
   第２の解像度における前記一の低解像度画像と前記他の低解像度画像との間の位置のずれ量を勾配法により探索して第２の算出方法によって算出する機能と、
   前記第２の算出方法により算出された前記ずれ量の信頼性が高いか否かを前記一の低解像度画像上の複数の点を前記他の低解像度画像の座標系に変換した場合の前記複数の点の位置関係の変化量に基づいて判定する機能と、
   前記第２の算出方法により算出された前記ずれ量の信頼性が高いと判定された場合に、前記第２の算出方法により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素を座標変換して当該２つの画像を合成する機能と、
   前記第２の算出方法により算出された前記ずれ量の信頼性が高くないと判定された場合に、前記第１の算出方法により算出された前記ずれ量に基づいて、前記一の画像及び前記他の画像のうちの何れか一方の画像の画素をずらして当該２つの画像を合成する機能とを実現させることを特徴とするプログラム。

Images