JP6025472B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、異なる露光量で撮影した複数枚の画像を用いて被写体の動き（移動体）を検出する画像処理装置及び画像処理方法に関する。

露光量の異なる複数回の撮像により得られる画像を合成することで、撮像素子のダイナミックレンジの不足を補うハイダイナミックレンジ画像を作成する画像処理方法がある。このとき、露光量の異なる複数回の撮像により得られた複数画像は、時間的に異なるタイミングで撮影した画像であり、複数回の撮像をしている間に被写体の動き（移動体）が発生すると、適切なハイダイナミックレンジ画像を得ることができない。そこで、この被写体の動き（移動体）を検出し、補正する方法も開示さている。

例えば、特許文献１では、２枚の画像の露光量の比である露光比を求め、各画素について露光量比を考慮した画素値の差分を求め、差分があるしきい値を超えた場合に動きありと判定する方法が開示されている。

特開２００８−０２８９２６号公報

しかしながら、上述の特許文献１に開示された従来技術では、白とびした部分の検出は別途行っているが、黒つぶれした領域の処理を特別に行っていないため、黒つぶれした領域での被写体の動き（移動体）を誤検出してしまう可能性がある。

そこで、本発明の目的は、異なる露光量で撮影した複数枚の画像を用いて、被写体の動きを検出する画像処理装置に関し、白とびや黒つぶれしている部分であっても被写体の動きの誤検出を軽減することを可能にした画像処理装置を提供することである。

上記目的を達成するために、本発明の画像処理装置は、露出の異なる複数の画像に対して、露出ムラを補正するとともに、画像間の明るさを揃えるためのゲインを掛ける調整手段と、前記調整手段によって平均的な明るさが揃えられた２画像の間の差分値に基づいて当該２画像間の被写体の位置ずれを検出する検出手段と、前記複数の画像に対して前記検出手段によって検出される位置ずれを補正する補正手段と、前記補正手段によって補正された前記複数の画像を合成する合成手段と、を有し、前記検出手段は、前記位置ずれの検出を行う２画像の、画素値が所定の範囲内の値である領域の前記差分値に基づいて当該２画像間の位置ずれを検出し、前記所定の範囲は、前記複数の画像の画素値と、前記調整手段によって前記２画像の内の少なくとも一方に掛けられる前記ゲインに基づいて決定されることを特徴とする。

本発明によれば、画像間の移動体を検出し、検出した移動体を補正しながらハイダイナミックレンジ合成を行う画像処理装置において、移動体の誤検出を軽減することができる。

第１と第２の実施例の撮像装置１の構成 第１の移動体補正＋ＨＤＲ合成処理ブロックの構成の詳細 第１の実施例の撮像装置１の処理に関するフローチャート 第１の実施例の輝度合わせ部と輝度制限部の処理内容 白とびを軽減するためのＨＤＲ撮影の露光量 第２の実施例の撮像装置１の処理に関するフローチャート 第２の実施例の輝度合わせ部と輝度制限部の処理内容 黒つぶれを軽減するためのＨＤＲ撮影の露光量 第３の実施例の撮像装置１の構成 第３の実施例の輝度合わせ部と輝度制限部の処理内容 第４の実施例の撮像装置１の構成 第４の実施例の撮像装置１の処理に関するフローチャート 第４の実施例の露出ムラ検出部の処理内容 第４の実施例の輝度合わせ部と輝度制限部の処理内容

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、第１の実施例による、異なる露光量で撮影した３枚の画像を用いて、画像間の移動体を検出、補正しながら、白とび黒つぶれを軽減して見かけ上のダイナミックレンジを広くするハイダイナミックレンジ合成（ＨＤＲ合成）を行う方法について説明する。

図１は本発明の画像処理装置の一例である撮像装置１の構成を示した図である。

撮像装置１は、測光光学系（レンズ）（１０００）、測光部（１０１０）、露光制御演算部（１０２０）、露光制御部（１０３０）、撮影光学系（レンズ）（２０００）、撮像素子（２０１０）、Ａ／Ｄ変換部（２０２０）を有する。また、輝度合わせ部（３０００）、輝度制限部（３０１０）、現像処理部（２０３０）、移動体補正＋ＨＤＲ合成処理部（２０４０）を有する。また、圧縮部（２０５０）、記録部（２０６０）、メモリ（２０７０）、制御部（２０８０）、インターフェースＩ／Ｆ（２０９０）を有する。撮像装置１の各処理部は制御部（２０８０）によって制御される。また、場合によってはユーザー指示などの外部操作がインターフェースＩ／Ｆ（２０９０）を介して撮像装置１へと入力され、外部操作に従って制御部（２０８０）が処理を行う。さらに、演算処理や条件判定処理などは、必要に応じてメモリ（２０７０）に格納されているソフトウェアに従って制御部（２０８０）が行う。この時、メモリ（２０７０）には、演算処理や条件判定処理に関するソフトウェアや複数通りの現像処理パラメータが格納されている。また、各処理部で用いられる画像データや中間演算データなども適宜格納される。

本実施例では、移動体補正・ＨＤＲ合成処理部（２０４０）への入力画像として、第１の露光量で撮影した検出用画像と、第２の露光量で撮影した検出用画像と、第１の露光量で撮影した合成用画像と、第２の露光量で撮影した合成用画像が必要である。検出用画像とは位置ずれ検出や移動体検出を行うのに適した撮影条件で撮影されたり、画像処理等の施されたりする画像を示す。合成用画像とは、本実施例ではＨＤＲ合成処理に適した撮影条件で撮影されたり、画像処理等の施されたりする画像を示す。第１の露光量で撮影した検出用画像は、撮像素子（２０１０）、Ａ／Ｄ変換部（２０２０）、輝度合わせ部（３０００）、輝度制限部（３０１０）、現像処理部（２０３０）の処理ブロックで順に処理が行われ、メモリ１（２０７１）に格納される。また、第２の露光量で撮影した検出用画像は、撮像素子（２０１０）、Ａ／Ｄ変換部（２０２０）、輝度合わせ部（３０００）、輝度制限部（３０１０）、現像処理部（２０３０）で順に処理され、メモリ２（２０７２）に格納される。また、第１の露光量で撮影された合成用画像は、撮像素子（２０１０）、Ａ／Ｄ変換部（２０２０）、現像処理部（２０３０）で順に処理され、メモリ３（２０７３）に格納される。また、第２の露光量で撮影された合成用画像は、撮像素子（２０１０）、Ａ／Ｄ変換部（２０２０）、現像処理部（２０３０）で順に処理され、メモリ４（２０７４）に格納される。この時、メモリ１（２０７１）とメモリ２（２０７２）とメモリ３（２０７３）とメモリ４（２０７４）は、同一の処理ブロックでもよいが、１つの処理ブロック内の別々のメモリ領域であってもよい。

図２は、移動体補正・ＨＤＲ合成処理部（２０４０）の構成の詳細を示した図である。ここで、移動体補正・ＨＤＲ合成処理部（２０４０）は、露光量の異なる２種類の画像データを用いて、移動体を補正してＨＤＲ合成処理を行う。ここで、図２は、撮像素子からの露光量の異なる２種類の出力を用いて処理を行うが、３枚以上の複数枚の画像に対しても、同様の処理を繰り返し行うことで対応することが可能である。

移動体補正・ＨＤＲ合成処理部（２０４０）は、位置ずれ検出部（２０４１）、位置ずれ補正部１（２０４２）、位置ずれ補正部２（２０４３）、ＨＤＲ画像合成部（２０４４）、移動体検出部（２０４５）、移動体補正部（２０４６）を有する。移動体補正・ＨＤＲ合成処理部（２０４０）の各処理部は図１の制御部（２０８０）によって制御される。移動体補正・ＨＤＲ合成処理部（２０４０）内には、位置ずれ補正部１（２０４２）と位置ずれ補正部２（２０４３）と２つあるが、これらは同一の処理ブロックでもよいし、処理の高速化のために２つの処理ブロックを搭載して並列処理してもよい。

図３は、本実施例で制御部（２０８０）が制御を行う処理フローを示したフローチャートである。以下、図３を用いて制御部（２０８０）が制御を行う処理フローを述べる。

ステップＳ１００は、制御部（２０８０）からの制御により被写体の明るさを測光する測光ステップである。被写体は測光光学系（レンズ）（１０００）を経て、被写体像を光電変換する測光部（１０１０）上に結像する。また、被写体は撮影光学系（レンズ）（２０００）を経て、被写体像を光電変換する撮像素子（２０１０）上に結像する。測光部（１０１０）と撮像素子（２０１０）は被写体像を光電変換する複数の素子から成り、各素子からの出力値を得ることができる。測光部（１０１０）は、被写体の高輝度な領域から低輝度な領域までの測光値を、被写体像を光電変換する素子のダイナミックレンジに応じて１回もしくは複数回の撮像で取得することができる。撮像素子（２０１０）は、例えば、原色カラーフィルタを備える単板カラー撮像素子とする。本実施形態では、測光部（１０１０）と撮像素子（２０１０）は異なる処理ブロックとしている。しかし、撮像素子（２０１０）の出力から露光制御演算部（１０２０）で露光制御演算を行うなど、それぞれの機能を達成できるのであれば測光部（１０１０）と撮像素子（２０１０）は同じ受光素子でもよい。また、測光光学系（レンズ）（１０００）と撮影光学系（レンズ）（２０００）も同一の光学系でもよい。

ステップＳ１０１は、制御部（２０８０）からの制御により撮影の中心となる露光量を決定もしくは選択する露光量決定ステップである。撮像装置１が、自動的に中心となる露光量を決定する場合は、公知の中央部重点測光やスポット測光や多分割測光に関するアルゴリズムを用いる。露光制御演算部（１０２０）で中心となる露光量を決定する演算処理を行う。

ステップＳ１０２は、制御部（２０８０）からの制御により撮影の中心となる露光量と画像のハイライトあるいはシャドウとの露光量差を決定する処理ステップである。撮像装置１が自動的に露光量差を決定する場合は、公知のハイライト（あるいは白とび）やシャドウ（あるいは黒つぶれ）を検出するアルゴリズムを用いて露光量露光制御演算部（１０２０）で行う。

なお、ステップＳ１０１とステップＳ１０２では、ユーザーがインターフェースＩ／Ｆ（２０９０）を介して撮像装置１へと入力した中心となる露光量と中心となる露光量からの露光量差を用いてもよい。

ステップＳ１０３は、制御部（２０８０）からの制御により複数の異なる露光量の画像を撮像する撮像ステップである。本実施例では、露光制御部（１０３０）において決定した中心となる露光量と中心となる露光量からの露光量差に基づいて、撮像素子（２０１０）への露光制御を３回行う。この時、露光制御部（１０３０）は、決定した中心となる露光量と中心となる露光量からの露光量差に基づいて、入射光を撮像素子で蓄積する露光時間、入射光がレンズを通過する量、撮像素子から得られる信号のゲイン量の制御等の各種の露出制御を行う。

ステップＳ１０４は、制御部（２０８０）からの制御により撮像結果を取得する処理である。Ａ／Ｄ変換部（２０２０）では、撮像素子（２０１０）からアナログ電圧として出力される信号をデジタルの画像データへと変換する。

ステップＳ１０５は、制御部（２０８０）からの制御により位置ずれ検出と移動体検出に適した検出用画像を生成する処理である。Ａ／Ｄ変換部（２０２０）から出力されたデジタルデータに対して輝度合わせ部（３０００）と輝度制限部（３０１０）と現像処理部（２０３０）で画像処理を行い、検出用画像を生成する。ここで、検出用画像を生成する処理方法は後述する。

ステップＳ１０６は、制御部（２０８０）からの制御により基準画像と比較画像の画像間の差分値に基づいて位置ずれを検出する位置ずれ検出ステップである。具体的には、位置ずれ検出部（２０４１）では、基準画像の画素値と比較画像の画素値の差の絶対値の総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が、最も小さくなる比較画像の位置を調べる公知の位置ずれ検出方法を用いて処理を行う。ただし、位置ずれ検出方法としては、周波数解析から２枚の画像の位置ずれ量を検出するなど、他にもさまざまな方法が公知であるが、位置ずれ検出精度や検出処理負荷、検出処理スピードなど、撮像装置１に適した方法であれば、いずれかに限定するものではない。位置ずれ検出部（２０４１）で求めた、比較画像をどの方向（移動方向）にどれだけ（移動量）移動させる必要があるかという検出結果を、移動ベクトルを呼ぶことにする。本実施例では、位置ずれ検出、位置合わせの基準画像、移動体検出、移動体補正の基準画像はアンダー露出の画像とする。一方、後述する輝度合わせ処理の基準画像は標準露出の画像とする。

ステップＳ１０７は、制御部（２０８０）からの制御により基準画像と比較画像の画像間の位置ずれを補正する処理である。位置ずれ補正部１（２０４２）と位置ずれ補正部２（２０４３）では、メモリ上の比較画像を、位置ずれ検出部（２０４１）で求めた移動ベクトルの移動量だけ移動方向へ並進移動して、位置ずれ補正画像を生成する、公知の位置ずれ補正処理を行う。位置ずれ補正処理としては、並進方向のずれだけでなく、回転移動やアフィン変換、斜影変換など、他にもさまざまな処理が公知である。しかし位置ずれ補正精度や補正処理負荷、補正処理スピードなど、撮像装置１に適した処理であれば、いずれかに限定するものではない。

ステップＳ１０８は、制御部（２０８０）からの制御によりＨＤＲ合成に適した合成用画像を生成する処理である。Ａ／Ｄ変換部（２０２０）から出力した画像データに対して現像処理部（２０３０）で画像処理を行い、合成用画像を生成する。すなわち、まず、白を白くする処理がなされ、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ値になるようなゲインをＲ，Ｇ，Ｂ各々にかけるホワイトバランス処理を行う。次に、飽和領域のカラーバランスが崩れることを防ぐために、Ｒ，Ｇ，Ｂが制限値以上の値とならないように、ホワイトクリップ処理を行う。さらに、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成したカラー画像は、マトリクス変換処理およびガンマ処理を経て基本的なカラー画像を生成する。本実施例では、ＨＤＲ合成に適したガンマ処理パラメータは、異なる露光量で撮影した複数枚の画像ごとに別々のパラメータである。

ステップＳ１０９は、制御部（２０８０）からの制御によりＨＤＲ合成を行う処理である。ＨＤＲ画像合成部（２０４４）では、生成した複数の合成用画像を合成してＨＤＲ画像を生成する。複数の合成用画像を合成する方法は、領域ごとに、中心となるべき露光量（標準露出）で撮像した画像の明るさに応じて、異なる露光量の複数の画像のいずれの画像を支配的に用いるかを決める。具体的には、標準露出の明るさが明るい領域には標準露出より被写体を暗く撮像する露光量（アンダー露出）で撮像した画像を支配的に（例えばその他の画像より多い割合で）用いる。標準露出の明るさが中間の明るさである領域では標準露出の画像を支配的に用いる。そして、標準露出の明るさが暗い領域には標準露出より被写体を明るく撮像する露光量（オーバー露出）で撮像した画像を支配的に用いてハイダイナミックレンジ画像（ＨＤＲ画像）を生成する。

ステップＳ１１０は、制御部（２０８０）からの制御により対象の基準画像と比較画像の画像間の移動体を検出する処理である。移動体検出部（２０４５）では、基準画像の画素値（輝度）と比較画像の画素値（輝度）の差の絶対値の総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が、所定のしきい値よりも大きい場合に移動体と判定する処理を行う。この時、この方法を用いる前提として、基準画像と比較画像の移動していない物体の輝度は同じであるということが必要である。

ステップＳ１１１は、制御部（２０８０）からの制御により基準画像と比較画像の画像間の移動体を補正する処理である。移動体補正部（２０４６）では、移動体検出部（２０４５）で求めたＨＤＲ画像の移動体領域を、基準画像で置き換える処理を行う。

ステップＳ１１２は、制御部（２０８０）からの制御によりＨＤＲ画像を記録する処理である。ＨＤＲ画像をメモリ（１１２０）に蓄える。もしくは、圧縮部（１１００）でＨＤＲ画像をＪＰＥＧ等の方式に従って圧縮（符号化）し、記録部（１１１０）にてフラッシュメモリ等の記録媒体に記録する。

ここで、ステップＳ１０５に関して、位置ずれ検出と移動体検出に適した検出用画像を生成する処理方法の詳細を述べる。

本実施例のような、異なる露光量で撮影した複数枚の画像を用いて差の絶対値から画像間の移動体を検出する場合には、異なる露光量で撮影した基準画像と比較画像であっても、同一の被写体は等しい画素値であることが好ましい。

図４を用いて基準画像と比較画像の明るさを揃える処理の詳細を述べる。ここで、撮像素子（２０１０）の解像限界値は１００とし、出力上限値は１０００とする（本実施例では、撮像素子（２０１０）は理想的なセンサであるとし、オフセット出力（出力下限値）は０である）。本実施例では、解像限界値とは、低輝度領域においてＳ／Ｎや解像力などを考慮して、この値以上であれば位置ずれ検出や移動体検出に有効である輝度領域を示している。一方、出力上限値とは、撮像素子（２０１０）へ飽和露光量を入力した場合の出力値を示している。また、このシーンは、中心となる露光量からの露光量差が±１段であったとする。さらに、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出とオーバー露出で撮影した画像とする。

図４（Ａ）は、ＨＤＲ撮影（異なる露光量で撮影後合成してＨＤＲ画像を生成）するのに適したシーンであり、図４（Ｂ）は、そのシーンにおいて異なる露光量で撮影する被写体の明るさの領域を示した図である。このシーンのように、ＨＤＲ合成に適したシーンは１回の撮影では被写体の明るさの一部しか表現することができない（撮像素子２０８０のダイナミックレンジがシーン（被写体）に対して狭い）。つまり、１回の撮影において撮像素子のダイナミックレンジより明るい被写体の明るさを示す値は出力上限値に張り付いてしまい、撮像素子のダイナミックレンジより暗い被写体の明るさを示す値は、解像限界値以下になってしまう。

具体的に、図４（Ａ）のシーンにおける３つのポイントのオーバー露出・標準露出・アンダー露出で撮影した場合の、Ａ／Ｄ変換部（２０２０）から出力した撮像素子（２０１０）の出力を図４（Ｃ）に示す。オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまう。また、アンダー露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまう（図４の括弧内の数値は解像限界値を示している）。

次に、図４（Ａ）のシーンにおける３つのポイントの、輝度合わせ部（３０００）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図４（Ｄ）、標準露出画像とオーバー露出画像を比較する場合は図４（Ｅ）に示す。また、輝度制限部（３０１０）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図４（Ｆ）、標準露出画像とオーバー露出画像を比較する場合は図４（Ｇ）に示す。

まず、輝度合わせ部（３０００）において、基準画像と比較画像の露光量差を補うゲイン処理を行う。つまり、標準露出よりも１段暗く撮影したアンダー露出画像の平均的な明るさを標準露出画像と等しく調整するためには、アンダー露出画像に２（２の１乗）倍のゲインをかける（ゲインアップする）（図４（Ｄ））。また、標準露出よりも１段明るく撮影したオーバー露出画像の平均的な明るさを標準露出画像と等しく調整するためには、オーバー露出画像に２（２の１乗）分の１のゲインをかける（ゲインダウンする）（図４（Ｅ））。

次に、輝度制限部（３０１０）において、基準画像と比較画像の同一の被写体が等しい画素値となっているとみなせる輝度値を決定する処理を行う。なぜなら、輝度合わせ部（３０００）でのゲイン処理だけでは、撮像素子（２０１０）からの出力が解像限界値と出力上限値の範囲から外れた被写体の、基準画像の画素値（輝度）と比較画像の画素値（輝度）の差の絶対値を正しく検出できないからである。ここで、オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまったために、２（２の１乗）分の１のゲインをかけたとしても、標準露出で撮影した場合のポイント１の出力値と異なってしまう（図４（Ｅ））。また、アンダー露出で撮影した場合のポイント３は、出力値は存在するが、解像限界値以下の値となってしまった（図４の括弧内の数値は解像限界値を示している）。このため、２倍のゲインをかけたとしても、標準露出で撮影した場合のポイント３の出力値は同じとなるが、位置ずれ検出や移動体検出に適切でない輝度領域を含んでしまう（図４（Ｄ））。

そこで、輝度制限部３０１０では、輝度合わせ部（３０００）のゲイン量と撮像素子（２０１０）の解像限界値または出力上限値から、位置ずれ検出や移動体検出に有効な輝度領域を算出する。つまり、輝度合わせ部（３０００）から出力したデジタルデータがどのような範囲の値を取り得るか演算し、基準画像と比較画像で共通する範囲を制限すればよい。具体的には、比較画像をα倍することで明るさを基準画像と等しくなるとみなして、次式が成り立つように制限値を設定する。具体的には、輝度制限部３０１０にて、次式で決まる最小の画素値の制限値以下の画素値の値が全て最小の画素値の制限値の値に変換される。また、次式で決まる最大の画素値の制限値以上の画素値の値が全て最大の画素値の制限値の値に変換される。
（最小の画素値の制限値）＝Ｍａｘ（解像限界値，解像限界値×α）
＝解像限界値 （α＜１）
＝解像限界値×α （α≧１）
（最大の画素値の制限値）＝Ｍｉｎ（出力上限値，出力上限値×α）
＝出力上限値×α （α＜１）
＝出力上限値 （α≧１）

以上から、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、２００以上、１０００以下と制限する（図４（Ｆ））。また、基準画像を標準露出で撮影した画像とし、比較画像をオーバー露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、１００以上、５００以下と制限する（図４（Ｇ））。

その後、輝度制限部（３０１０）から出力したデジタルデータに対して、公知の処理方法を用いて中間画像を生成することとする。すなわち、まず、白を白くする処理がなされ、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ値になるようなゲインをＲ，Ｇ，Ｂ各々にかけるホワイトバランス処理を行う。次に、飽和領域のカラーバランスが崩れることを防ぐために、Ｒ，Ｇ，Ｂが制限値以上の値とならないように、ホワイトクリップ処理を行う。さらに、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成したカラー画像は、マトリクス変換処理およびガンマ処理を経て基本的なカラー画像を生成する。この時、位置ずれ検出と移動体検出に適したガンマ処理パラメータは、異なる露光量で撮影した複数枚の全ての画像に対して同一のパラメータである。

本実施例は、本発明の要旨の範囲内において、ステップＳ１０４において撮像結果を外部記憶装置に記録して、ステップＳ１０５からステップＳ１１２を他の画像処理装置内で行ってもよい。

さらに、三脚などの撮像装置を固定する方法を用いて撮影した場合には、基準画像と比較画像の画像間の位置ずれは発生しないため、ステップＳ１０６とステップＳ１０７を行わなくてもよい。

また、中間画像データをメモリ（２０７０）に十分に格納しておく容量がある場合には、ステップＳ１０４の処理直後に、中間画像を生成するステップＳ１０５とステップＳ１０８の処理を行い、その後、位置ずれ検出、移動体検出、ＨＤＲ合成を行ってもよい。

さらに、ステップＳ１０８の処理直後に、ＨＤＲ合成に適した中間画像に対して移動体補正処理を行うためにステップＳ１１０とステップＳ１１１の処理を行い、その後、ＨＤＲ合成を行うという処理順序も可能である。

以上のように、本実施例では、位置合わせや移動体検出に用いる画像の画素値の下限値あるいは上限値を、明るさを合わせた後の出力値を考慮して決定するので、移動体の誤検出を減らすことができる。

本実施例では、画像の白とびを軽減する効果を優先した撮影において異なる露光量で撮影した３枚の画像を用いて画像間の移動体を検出し、検出した移動体を補正しながらＨＤＲ合成を行う方法について説明する。この時、位置ずれ検出と移動体検出に適した中間画像は、現像処理部２０３０によるガンマ処理前のリニアな出力結果を用いることとする。

図５は、あるシーンにおける被写体の明るさを示したヒストグラムと、そのシーンにおいて異なる露光量で撮影する被写体の明るさの領域を示した図である。図５で示すように、画像の白とびをより軽減するためには、そのシーンを通常撮影する場合よりも、つまり適切な露光量よりも中心となる露光量をより暗く撮影すると効果的である。より暗く撮影することで、中心となる露光量からの露光量差が同じであっても、明るい領域をより暗く撮影することができ、ＨＤＲ画像としても、明るい領域がより暗くなることで白とびが軽減する。

本実施例では、実施例１と同一の図１と図２で示した撮像装置１において、ＨＤＲ合成を行う。ただし、本実施例では、中心となる露光量をより暗く撮影しているため、輝度合わせ部（３０００）と輝度制限部（３０１０）での処理が実施例１と特に異なる。

図６は、本実施例で制御部（２０８０）が制御を行う処理フローを示したフローチャートである。以下、図６を用いて制御部（２０８０）が制御を行う処理フローを述べる。

図６の図３と同じ番号のステップの処理は同一の処理を行うため、ここでは説明を省略する。

ステップＳ６０１は、制御部（２０８０）からの制御により撮影の中心となる露光量を決定もしくは選択する処理ステップである。ここで、撮像装置１が自動的に中心となる露光量を決定する場合は、公知の中央部重点測光やスポット測光や多分割測光に関するアルゴリズムを用いて露光制御演算部（１０２０）で中心となる露光量を決定する演算処理を行っている。本実施例では、画像の白とびをより軽減するため、通常撮影よりも暗く撮影する補正を行って中心となる露光量を決定する。例えば、通常撮影より１段暗く撮影してもよく、白とびを軽減できる露光量を公知の方法で求めて撮影してもよい。

ステップＳ６０２は、制御部（２０８０）からの制御により位置ずれ検出と移動体検出に適した中間画像を生成する処理である。Ａ／Ｄ変換部（２０２０）から出力したデジタルデータに対して輝度合わせ部（３０００）と輝度制限部（３０１０）で画像処理を行い、位置ずれ検出と移動体検出に適した中間画像を、適した画像処理パラメータを用いて生成する。

ここで、ステップＳ６０２に関して、位置ずれ検出と移動体検出に適した中間画像を生成する処理方法の詳細を述べる。

図７を用いて基準画像と比較画像の明るさを揃える処理の詳細を述べる。ここで、撮像素子（２０１０）の解像限界値は１００とし、出力上限値は１０００とする（本実施例では、撮像素子（２０１０）は理想的なセンサであるとし、オフセット出力（出力下限値）は０である）。本実施例では、標準露出画像とアンダー露出画像の輝度合わせにおいて、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出で撮影した画像とする。一方、オーバー露出画像と標準露出画像との輝度合わせにおいて、基準画像をオーバー露出で撮影した画像とし、比較画像を標準露出で撮影した画像とする。なぜなら、位置ずれ検出と移動体検出に適した中間画像の明るさは、その撮影シーンをバランスよく表現していることが望ましい。つまり、画像の白とびをより軽減するため、通常撮影よりも暗く撮影する補正を行って中心となる露光量を決定した場合、基準画像はより明るく撮影した画像とすると良い。

図７（Ａ）は、ハイダイナミックレンジ合成画像を撮影するのに適したシーンであり、図７（Ｂ）は、そのシーンにおいて異なる露光量で撮影する被写体の明るさの領域を示した図である。このシーンのように、ＨＤＲ合成に適したシーンは１回の撮影では被写体の明るさの一部しか表現することができない（ダイナミックレンジがシーンに対して狭い）。つまり、撮像素子のダイナミックレンジより明るい被写体は、出力上限値に張り付いてしまい、撮像素子のダイナミックレンジより暗い被写体は、解像限界値以下になってしまう。

具体的に、図７（Ａ）のシーンにおける３つのポイントのオーバー露出・標準露出・アンダー露出で撮影した場合の、Ａ／Ｄ変換部（２０２０）から出力した撮像素子（２０１０）の出力を図７（Ｃ）に示す。オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまう。また、アンダー露出と標準露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまう（図７の括弧内の数値は解像限界値を示している）。

次に、図７（Ａ）のシーンにおける３つのポイントの、輝度合わせ部（３０００）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図７（Ｄ）、標準露出画像とオーバー露出画像を比較する場合は図７（Ｅ）に示す。また、輝度制限部（３０１０）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図７（Ｆ）、標準露出画像とオーバー露出画像を比較する場合は図７（Ｇ）に示す。

まず、輝度合わせ部（３０００）において、基準画像と比較画像の露光量差を補うゲイン処理を行う。つまり、標準露出よりも１段暗く撮影したアンダー露出画像の明るさを標準露出画像と等しくするためには、アンダー露出画像に２（２の１乗）倍のゲインをかける（ゲインアップする）（図７（Ｄ））。また、オーバー露出よりも１段暗く撮影した標準露出画像の明るさをオーバー露出画像と等しくするためには、標準露出画像に２（２の１乗）倍のゲインをかける（ゲインアップする）（図７（Ｅ））。

次に、輝度制限部（３０１０）において、基準画像と比較画像の同一の被写体が等しい画素値となるような輝度を制限する処理を行う。なぜなら、輝度合わせ部（３０００）でのゲイン処理だけでは、撮像素子（２０１０）からの出力が解像限界値と出力上限値の範囲から外れた被写体の、基準画像の画素値（輝度）と比較画像の画素値（輝度）の差の絶対値を正しく検出できないからだ。ここで、オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまったために、２（２の１乗）倍のゲインをかけたとしても、標準露出で撮影した場合のポイント１の出力値と異なってしまう（図７（Ｅ））。また、標準露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまった（図７の括弧内の数値は解像限界値を示している）。このために、２倍のゲインをかけたとしても、オーバー露出で撮影した場合のポイント３の出力値は同じとなるが、位置ずれ検出や移動体検出に適切でない輝度領域を含んでしまう（図７（Ｅ））。また、アンダー露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまった（図７の括弧内の数値は解像限界値を示している）。このため、２（２の１乗）倍のゲインをかけたとしても、標準露出で撮影した場合のポイント３の出力値は同じとなるが、位置ずれ検出や移動体検出に適切でない輝度領域を含んでしまう（図７（Ｄ））。

そこで、輝度制限部３０１０では、ゲイン量と解像限界値または出力上限値から、位置ずれ検出や移動体検出に適切な輝度領域を抽出するために、画像領域の輝度値について位置合わせに用いることができる輝度値の範囲を算出する。つまり、輝度合わせ部（３０００）から出力したデジタルデータがどのような範囲の値を取り得るか演算し、基準画像と比較画像で共通する範囲を制限すればよい。具体的には、比較画像をα倍（ゲインαを乗算）することで明るさを基準画像と等しくなるとみなして、次式が成り立つように制限値を設定する。具体的には、輝度制限部３０１０にて、次式で決まる最小の画素値の制限値以下の画素値の値が全て最小の画素値の制限値の値に変換される。また、次式で決まる最大の画素値の制限値以上の画素値の値が全て最大の画素値の制限値の値に変換される。
（最小の画素値の制限値）＝Ｍａｘ（解像限界値，解像限界値×α）
＝解像限界値 （α＜１）
＝解像限界値×α （α≧１）
（最大の画素値の制限値）＝Ｍｉｎ（出力上限値，出力上限値×α）
＝出力上限値×α （α＜１）
＝出力上限値 （α≧１）

以上から、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、２００以上、１０００以下と制限する（図７（Ｆ））。また、基準画像をオーバー露出で撮影した画像とし、比較画像を標準露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、２００以上、１０００以下と制限する（図７（Ｇ））。

以上のように、本実施例では、位置合わせや移動体検出に用いる画像の画素値の下限値あるいは上限値を、明るさを合わせた後の出力値を考慮して決定するので、移動体の誤検出を減らすことができる。

さらに、本実施例では画像の白とびをより軽減するために、通常撮影する場合よりも中心となる露出をより暗く設定して撮影する。

以下、実施例３では、画像の黒つぶれをより軽減する効果を優先した撮影における、異なる露光量で撮影した３枚の画像を用いて、画像間の移動体を検出し、検出した移動体を補正しながらＨＤＲ合成を行う方法について説明する。

図８は、あるシーンにおける被写体の明るさを示したヒストグラムと、そのシーンにおいて異なる露光量で撮影する被写体の明るさの領域を示した図である。図７で示すように、画像の黒つぶれをより軽減するためには、そのシーンを通常撮影する場合よりも、つまり適切な露光量よりも中心となる露光量をより明るく撮影すると効果的である。より明るく撮影することで、中心となる露光量からの露光量差が同じであっても、暗い領域をより明るく撮影することができ、ＨＤＲ画像としても、暗い領域がより明るくなることで黒つぶれが軽減する。

本実施例では、実施例１と同一の図２で示した撮像装置１において、ＨＤＲ合成を行う。ただし、本実施例では、中心となる露光量をより明るく撮影しているため、輝度合わせ部（３０００）と輝度制限部（３０１０）での処理が実施例１・実施例２と特に異なる。

図９は、本実施例で制御部（２０８０）が制御を行う処理フローを示したフローチャートである。図９の図３と同じ番号のステップの処理は同一の処理を行うため、ここでは説明を省略する。

ステップＳ９０１は、制御部（２０８０）からの制御により撮影の中心となる露光量を決定もしくは選択する処理ステップである。ここで、撮像装置１が自動的に中心となる露光量を決定する場合は、公知の中央部重点測光やスポット測光や多分割測光に関するアルゴリズムを用いて露光制御演算部（１０２０）で中心となる露光量を決定する演算処理を行っている。本実施例では、画像の黒つぶれをより軽減するため、通常撮影よりも明るく撮影する補正を行って中心となる露光量を決定する。例えば、通常撮影より１段明るく撮影してもよく、黒つぶれを軽減できる露光量を公知の方法で求めて撮影してもよい。

ステップＳ９０２は、制御部（２０８０）からの制御により位置ずれ検出に適した中間画像を生成する処理である。Ａ／Ｄ変換部（２０２０）から出力したデジタルデータに対して輝度合わせ部（３０００）と現像処理部（２０３０）と輝度制限部（３０１０）で画像処理を行い、位置ずれ検出と移動体検出に適した中間画像を、適した画像処理パラメータを用いて生成する。

図１０を用いて基準画像と比較画像の明るさを揃える処理の詳細を述べる。ここで、撮像素子（２０１０）の解像限界値は１００とし、出力上限値は１０００とする（本実施例では、撮像素子（２０１０）は理想的なセンサであるとし、オフセット出力（出力下限値）は０である）。本実施例では、解像限界値とは、低輝度領域においてＳ／Ｎや解像力などを考慮して、この値以下は位置ずれ検出や移動体検出に適切でない輝度領域を示している。一方、出力上限値とは、撮像素子（２０１０）が飽和露光量を入力した場合の出力値を示している。また、このシーンは、中心となる露光量からの露光量差が±１段であったとする。さらに、基準画像を標準露出で撮影した画像とし、比較画像をオーバー露出で撮影した画像とする。一方、基準画像をアンダー露出で撮影した画像とし、比較画像を標準露出で撮影した画像とする。なぜなら、位置ずれ検出と移動体検出に適した中間画像の明るさは、その撮影シーンをバランスよく表現していることが望ましい。つまり、画像の黒つぶれをより軽減するため、通常撮影よりも明るく撮影する補正を行って中心となる露光量を決定した場合、基準画像はより暗く撮影した画像とすると良い。

図１０（Ａ）は、ＨＤＲ合成画像を撮影するのに適したシーンであり、図１０（Ｂ）は、そのシーンにおいて異なる露光量で撮影する被写体の明るさの領域を示した図である。このシーンのように、ＨＤＲ合成に適したシーンは１回の撮影では被写体の明るさの一部しか表現することができない（ダイナミックレンジがシーンに対して狭い）。つまり、撮像素子のダイナミックレンジより明るい被写体は、出力上限値に張り付いてしまい、撮像素子のダイナミックレンジより暗い被写体は、解像限界値以下になってしまう。

具体的に、図１０（Ａ）のシーンにおける３つのポイントのオーバー露出・標準露出・アンダー露出で撮影した場合の、Ａ／Ｄ変換部（２０２０）から出力した撮像素子（２０１０）の出力を図１０（Ｃ）に示す。オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまう。また、アンダー露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまう（図１０の括弧内の数値は解像限界値を示している）。

次に、図１０（Ａ）のシーンにおける３つのポイントの、輝度合わせ部（３０００）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図１０（Ｄ）、標準露出画像とオーバー露出画像を比較する場合は図１０（Ｅ）に示す。また、ガンマ処理後の輝度制限部（３０１０）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図１０（Ｆ）、標準露出画像とオーバー露出画像を比較する場合は図１０（Ｇ）に示す。

まず、輝度合わせ部（３０００）において、基準画像と比較画像の露光量差を補うゲイン処理を行う。つまり、アンダー露出よりも１段明るく撮影した標準露出画像の明るさをアンダー露出画像と等しくするためには、標準露出画像に２（２の１乗）分の１のゲインをかける（ゲインダウンする）（図１０（Ｄ））。また、標準露出よりも１段明るく撮影したオーバー露出画像の明るさを標準露出画像と等しくするためには、オーバー露出画像に２（２の１乗）分の１のゲインをかける（ゲインダウンする）（図１０（Ｅ））。

次に、輝度合わせ部（３０００）から出力したデジタルデータに対して、公知の処理方法を用いて中間画像を生成することとする。すなわち、まず、白を白くする処理がなされ、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ値になるようなゲインをＲ，Ｇ，Ｂ各々にかけるホワイトバランス処理を行う。次に、飽和領域のカラーバランスが崩れることを防ぐために、Ｒ，Ｇ，Ｂが制限値以上の値とならないように、ホワイトクリップ処理を行う。さらに、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成したカラー画像は、マトリクス変換処理およびガンマ処理を経て基本的なカラー画像を生成する。この時、位置ずれ検出と移動体検出に適したガンマ処理パラメータは、異なる露光量で撮影した複数枚の全ての画像に対して同一のパラメータである。本実施例で用いたガンマ処理パラメータは、出力信号（ｙ）は入力信号（ｘ）を１／２．２乗する処理パラメータ（ｙ＝ｘ＾１／２．２＝ｘ＾０．４５）であるとするが、位置ずれ検出と移動体検出に適したガンマ処理パラメータであれば限定するものではない。

その後、ガンマ処理部２０３５からの出力に対して、輝度制限部（３０１０）において、基準画像と比較画像の同一の被写体が等しい画素値となるような輝度を制限する処理を行う。なぜなら、輝度合わせ部（３０００）でのゲイン処理だけでは、撮像素子（２０１０）からの出力が解像限界値と出力上限値の範囲から外れた被写体の、基準画像の画素値（輝度）と比較画像の画素値（輝度）の差の絶対値を正しく検出できないからだ。ここで、オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまったために、２（２の１乗）分の１のゲインをかけたとしても、標準露出で撮影した場合のポイント１の出力値と異なってしまう（図１０（Ｅ））。また、アンダー露出で撮影した場合のポイント３は、出力値は存在するが、解像限界値以下の値となってしまった（図１０の括弧内の数値は解像限界値を示している）。このため、２分の１のゲインをかけたとしても、標準露出で撮影した場合のポイント３の出力値は同じとなるが、位置ずれ検出や移動体検出に適切でない輝度領域を含んでしまう（図１０（Ｄ））。

そこで、輝度制限部３０１０では、位置ずれ検出や移動体検出に適切な輝度領域を抽出するために、ゲイン量と解像限界値または出力上限値から、画像領域の輝度値について位置合わせに用いることができる輝度値の範囲を算出する。つまり、輝度合わせ部（３０００）から出力したデジタルデータがどのような範囲の値を取り得るか演算し、基準画像と比較画像で共通する範囲を制限すればよい。具体的には、比較画像をα倍することで明るさを基準画像と等しくなるとみなして、次式が成り立つように制限値を設定する。具体的には、輝度制限部３０１０にて、次式で決まる最小の画素値の制限値以下の画素値の値が全て最小の画素値の制限値の値に変換される。また、次式で決まる最大の画素値の制限値以上の画素値の値が全て最大の画素値の制限値の値に変換される。
（最小の画素値の制限値）＝Ｍａｘ（解像限界値，解像限界値×α）＾０．４５
＝（解像限界値）＾０．４５ （α＜１）
＝｛（出力上限値）×α｝＾０．４５ （α≧１）
（最大の画素値の制限値）＝Ｍｉｎ（出力上限値，出力上限値×α）＾０．４５
＝｛（出力上限値）×α｝＾０．４５ （α＜１）
＝（出力上限値）＾０．４５ （α≧１）

以上から、基準画像をアンダー露出で撮影した画像とし、比較画像を標準露出で撮影した画像とした場合、位置合わせに適した中間画像を８以上１６以下と制限する（図１０（Ｆ））。また、基準画像を標準露出で撮影した画像とし、比較画像をオーバー露出で撮影した画像とした場合、位置合わせに適した中間画像を８以上１６以下と制限する（図１０（Ｇ））。

以上のように、本実施例では、位置合わせや移動体検出に用いる画像の画素値の下限値あるいは上限値を、明るさを合わせた後の出力値を考慮して決定するので、移動体の誤検出を減らすことができる。

さらに、本実施例では画像の白とびをより軽減するために、通常撮影する場合よりも中心となる露出をより明るく設定して撮影する。

実施例４では、異なる露光量で撮影し、シャッター精度や絞り精度による露出ムラも含んでいる３枚の画像を用いて、画像間の移動体を検出し、検出した移動体を補正しながらＨＤＲ合成を行う方法について説明する。

本実施例の移動体検出方法では、前提として、基準画像と比較画像の移動していない物体の輝度は同じであるということが必要である。よって、意図して設定した中心となる露光量からの露光量差以外に発生した、シャッター精度や絞り精度による露出ムラなどの中心となる露光量からの露光量差に関しては、その露光量差を補正した方が良好な移動体検出結果を得られる。また、露出ムラは画像全体が一律に暗くなる・明るくなるという現象とだけではなく、シャッターの開閉速度ムラなどによって画像の一部が明るくなったり暗くなったりしてしまう現象も含まれている。よって、露出ムラを補正するためには、画像の領域ごとに露出ムラを検出し、画像の領域ごとに検出した露出ムラをゲイン処理で補正する必要がある。

図１１は、本発明の実施形態にかかわる、撮像装置１の構成を示した図である。図１と同じ処理ブロックには同じ番号を付しており、説明を省略する。

本実施例では、露出ムラ検出部（４０００）、露出ムラ補正部（４０１０）が設けられ、それぞれ前述した露出ムラを検出、補正する。

図１２は、本実施例で制御部（２０８０）が制御を行う処理フローを示したフローチャートである。以下、図１２を用いて制御部（２０８０）が制御を行う処理フローを述べる。図１２の図３と同じ番号のステップの処理は同一の処理を行うため、ここでは説明を省略する。

ステップＳ１２０１は、制御部（２０８０）からの制御により露出ムラを検出する処理である。ここで、本実施例における、露出ムラ検出結果を図１４に示す。露出ムラ検出部（４０００）では、図１３（Ａ）で示したように、ノイズや移動体の影響を軽減するために、画像を複数の大きな領域に分割する。そして、意図して設定した中心となる露光量からの露光量差を考慮した、基準画像と比較画像の撮像素子（２０１０）からの出力値の比を求める。図１３（Ｂ）は、基準画像のゲインを１倍とした場合の、ある撮影における比較画像のゲインを示した図である。本実施例では、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出とオーバー露出で撮影した画像とする。

ステップＳ１２０２は、制御部（２０８０）からの制御により露出ムラを補正する処理である。露出ムラ補正部（４０１０）では、撮像素子（２０１０）からアナログ電圧として出力された信号をＡ／Ｄ変換部（２０２０）で変換したデジタルデータに対して、図１３（Ｂ）で算出したゲインに従って領域ごとにゲイン処理を行う。

ステップＳ１２０３は、制御部（２０８０）からの制御により位置ずれ検出と移動体検出に適した中間画像を生成する処理である。Ａ／Ｄ変換部（２０２０）から出力したデジタルデータに対して輝度合わせ部（３０００）と輝度制限部（３０１０）と現像処理部（２０３０）で実施例１と基本的には同一な画像処理を行い、位置ずれ検出と移動体検出に適した中間画像を生成する。ただし、輝度制限部（３０１０）では、本実施例のように露出ムラ補正を行った場合には、輝度合わせ部（３０００）のゲイン量だけでなく、露出ムラ補正部（４０１０）のゲイン量も考慮する必要がある。つまり、輝度制限部では３０１０では、輝度合わせ部（３０００）のゲイン量と露出ムラ補正部（４０１０）のゲイン量と撮像素子（２０１０）の解像限界値と出力上限値から、輝度を制限する必要がある。

図１４を用いて基準画像と比較画像の明るさを揃える処理の詳細を述べる。ここで、撮像素子（２０１０）の解像限界値は１００とし、出力上限値は１０００とする（本実施例では、撮像素子（２０１０）は理想的なセンサであるとし、オフセット出力（出力下限値）は０である）。本実施例では、解像限界値とは、低輝度領域においてＳ／Ｎや解像力などを考慮して、この値以下は位置ずれ検出や移動体検出に適切でない輝度領域を示している。一方、出力上限値とは、撮像素子（２０１０）が飽和露光量を入力した場合の出力値を示している。また、このシーンは、中心となる露光量からの露光量差が±１段であったとする。さらに、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出とオーバー露出で撮影した画像とする。

図１４（Ａ）のシーンのヒストグラムは、図１４（Ｂ）で示される。このシーンのように、ＨＤＲ合成に適したシーンは１回の撮影では被写体の明るさの一部しか表現することができない（ダイナミックレンジがシーンに対して狭い）。つまり、撮像素子のダイナミックレンジより明るい被写体は、出力上限値に張り付いてしまい、撮像素子のダイナミックレンジより暗い被写体は、解像限界値以下になってしまう。

具体的に、図１４（Ａ）のシーンにおける３つのポイントのオーバー露出・標準露出・アンダー露出で撮影した場合の、Ａ／Ｄ変換部（２０２０）から出力した撮像素子（２０１０）の出力を図１４（Ｃ）に示す。オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまう。また、アンダー露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまう（図１４の括弧内の数値は解像限界値を示している）。

次に、図１４（Ａ）のシーンにおける３つのポイントの、輝度合わせ部（３０００）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図１４（Ｄ）、標準露出画像とオーバー露出画像を比較する場合は図１４（Ｅ）に示す。また、輝度制限部（３０１０）からの出力結果を、標準露出画像とアンダー露出画像を比較する場合は図１４（Ｆ）、標準露出画像とオーバー露出画像を比較する場合は図１４（Ｇ）に示す。

まず、輝度合わせ部（３０００）において、露出ムラ補正部（４０１０）からの出力に対して、基準画像と比較画像の露光量差を補うゲイン処理を行う。つまり、標準露出よりも１段暗く撮影したアンダー露出画像の明るさを標準露出画像と等しくするためには、アンダー露出画像に２（２の１乗）倍のゲインをかける（ゲインアップする）（図１４（Ｄ））。また、標準露出よりも１段明るく撮影したオーバー露出画像の明るさを標準露出画像と等しくするためには、オーバー露出画像に２（２の１乗）分の１のゲインをかける（ゲインダウンする）（図１４（Ｅ））。

次に、輝度制限部（３０１０）において、基準画像と比較画像の同一の被写体が等しい画素値となるような輝度を制限する処理を行う。なぜなら、輝度合わせ部（３０００）でのゲイン処理だけでは、撮像素子（２０１０）からの出力が解像限界値と出力上限値の範囲から外れた被写体の、基準画像の画素値（輝度）と比較画像の画素値（輝度）の差の絶対値を正しく検出できないからだ。ここで、オーバー露出で撮影した場合のポイント１は、撮像素子（２０１０）の出力上限値に張り付いてしまったために、２（２の１乗）分の１のゲインをかけたとしても、標準露出で撮影した場合のポイント１の出力値と異なってしまう（図１４（Ｅ））。また、アンダー露出で撮影した場合のポイント３は、撮像素子（２０１０）の出力値は存在するが、解像限界値以下の値となってしまった（図１４の括弧内の数値は解像限界値を示している）。このため、２倍のゲインをかけたとしても、標準露出で撮影した場合のポイント３の出力値は同じとなるが、位置ずれ検出や移動体検出に適切でない輝度領域を含んでしまう（図１４（Ｄ））。

そこで、輝度制限部３０１０では、位置ずれ検出や移動体検出に適切な輝度領域を抽出するために、ゲイン量と解像限界値または出力上限値から、画像領域の輝度値について位置合わせに用いることができる輝度値の範囲を算出する。この時、撮像素子（２０１０）の解像限界値と出力上限値は画像に対して一意の値である。このため、輝度制限部（３０１０）の上限の制限値は領域ごとに算出した露出ムラ補正ゲインの最小値を、輝度制限部（３０１０）の下限の制限値は領域ごとに算出した露出ムラ補正ゲインの最大値を考慮する。つまり、輝度合わせ部（３０００）から出力したデジタルデータがどのような範囲の値を取り得るか演算し、基準画像と比較画像で共通する範囲を制限すればよい。具体的には、比較画像をα倍することで明るさを基準画像と等しくなるとみなして、露出ムラ補正ゲインの最小値をβ、露出ムラ補正ゲインの最大値をγとして次式が成り立つように制限値を設定する。
（最小の画素値の制限値）＝Ｍａｘ（解像限界値，解像限界値×α×γ）
＝解像限界値 （α×γ＜１）
＝解像限界値×α×γ （α×γ≧１）
（最大の画素値の制限値）＝Ｍｉｎ（出力上限値，出力上限値×α）
＝出力上限値×α×β （α×β＜１）
＝出力上限値 （α×β≧１）

以上から、基準画像を標準露出で撮影した画像とし、比較画像をアンダー露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、２２０以下と制限する（図１４（Ｆ））。また、基準画像を標準露出で撮影した画像とし、比較画像をオーバー露出で撮影した画像とした場合、輝度合わせ部（３０００）からの出力を、１００以上、４９５以下と制限する（図１４（Ｇ））。ただし、輝度制限部（３０１０）の上限と下限の制限値を画像の領域ごとに設定できる場合は、それぞれの領域のゲイン量に対応する制限値を用いてもよい。

その後、輝度制限部（３０１０）から出力したデジタルデータに対して、公知の処理方法を用いて中間画像を生成することとする。すなわち、まず、白を白くする処理がなされ、具体的には白くあるべき領域のＲ，Ｇ，Ｂが同じ値になるようなゲインをＲ，Ｇ，Ｂ各々にかけるホワイトバランス処理を行う。次に、飽和領域のカラーバランスが崩れることを防ぐために、Ｒ，Ｇ，Ｂが制限値以上の値とならないように、ホワイトクリップ処理を行う。さらに、色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成したカラー画像は、マトリクス変換処理およびガンマ処理を経て基本的なカラー画像を生成する。この時、位置ずれ検出と移動体検出に適したガンマ処理パラメータは、異なる露光量で撮影した複数枚の全ての画像に対して同一のパラメータである。

以上のように、本実施例では、位置合わせや移動体検出に用いる画像の画素値の下限値あるいは上限値を、明るさを合わせた後の出力値を考慮して決定するので、移動体の誤検出を減らすことができる。

また本実施例では露出ムラを補正することで、基準画像と比較画像の輝度をより正確に揃えることができるため、ステップＳ１１０において、より正確に移動体を検出できる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０００ 測光光学系（レンズ）
１０１０ 測光部
１０２０ 露光制御演算部
１０３０ 露光制御部
２０００ 撮影光学系（レンズ）
２０１０ 撮像素子
２０２０ Ａ／Ｄ変換部
２０３０ 現像処理部
２０４０ 移動体補正・ＨＤＲ合成処理部
２０４１ 位置ずれ検出部
２０４２ 位置ずれ補正部（１）
２０４３ 位置ずれ補正部（２）
２０４４ ＨＤＲ画像合成部
２０４５ 移動体検出部
２０４６ 移動体補正部
２０５０ 圧縮部
２０６０ 記録部
２０７０ メモリ
２０８０ 制御部
２０９０ Ｉ／Ｆ
３０００ 輝度合わせ部
３０１０ 輝度制限部
４０００ 露出ムラ検出部
４０１０ 露出ムラ補正部

Claims (8)

1. 露出の異なる複数の画像に対して、露出ムラを補正するとともに、画像間の明るさを揃えるためのゲインを掛ける調整手段と、
   前記調整手段によって平均的な明るさが揃えられた２画像の間の差分値に基づいて当該２画像間の被写体の位置ずれを検出する検出手段と、
   前記複数の画像に対して前記検出手段によって検出される位置ずれを補正する補正手段と、
   前記補正手段によって補正された前記複数の画像を合成する合成手段と、を有し、
   前記検出手段は、前記位置ずれの検出を行う２画像の、画素値が所定の範囲内の値である領域の前記差分値に基づいて当該２画像間の位置ずれを検出し、
   前記所定の範囲は、前記複数の画像の画素値と、前記調整手段によって前記２画像の内の少なくとも一方に掛けられる前記ゲインに基づいて決定されることを特徴とする画像処理装置。
2. 前記検出手段は、前記所定の範囲を、前記複数の画像の画素値の上限値と、前記位置ずれの検出に有効な所定の下限値と、前記ゲインに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像の画素の上限値とは、前記複数の画像が撮影された撮像素子の飽和露光量に対応する画素値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の範囲の最大値は、
   前記検出手段の対象となる２画像の前記上限値と、前記上限値に前記ゲインを乗算した値の小さい方であることを特徴とする請求項２に記載の画像処理装置。
5. 前記所定の範囲の最小値は、
   前記検出手段の対象となる２画像の前記下限値と、前記下限値に前記ゲインを乗算した値の大きい方であることを特徴とする請求項２または４に記載の画像処理装置。
6. 撮像手段と、
   前記撮像手段で撮像される画像の露光量を設定する制御手段と、を有し、
   前記調整手段は、前記制御手段により前記撮像手段が撮影する前記露出の異なる複数の画像の中心となる露光量が、前記撮像手段によって撮影される被写体の適正な露光量よりも暗く設定されている場合には、前記２画像間のより明るい露光量で撮影した画像に平均的な明るさを揃えることを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 撮像手段と、
   前記撮像手段で撮像される画像の露光量を設定する制御手段と、を有し、
   前記調整手段は、前記制御手段により前記撮像手段が撮影する前記露出の異なる複数の画像の中心となる露光量が、前記撮像手段によって撮影される被写体の適正な露光量よりも明るく設定されている場合には、前記２画像間のより暗い露光量で撮影した画像に平均的な明るさを揃えることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 露出の異なる複数の画像に対して、露出ムラを補正するとともに、画像間の明るさを揃えるためのゲインを掛ける調整ステップと、
   前記調整ステップによって平均的な明るさが揃えられた２画像の間の差分値に基づいて当該２画像間の被写体の位置ずれを検出する検出ステップと、
   前記複数の画像に対して前記検出ステップによって検出される位置ずれを補正する補正ステップと、
   前記補正ステップによって補正された前記複数の画像を合成する合成ステップと、を有し、
   前記検出ステップでは、前記位置ずれの検出を行う２画像の、画素値が所定の範囲内の値である領域の前記差分値に基づいて当該２画像間の位置ずれを検出し、
   前記所定の範囲は、前記複数の画像の画素値と、前記調整ステップによって前記２画像の内の少なくとも一方に掛けられる前記ゲインに基づいて決定されることを特徴とする画像処理方法。

Images