JP2016146592A - 画像処理装置および画像処理方法、並びに電子機器 - Google Patents

Abstract

【課題】ＨＤＲ撮像時におけるフリッカの影響を低減する。【解決手段】フリッカ検出部は、短時間露光を行う画素から得られた短時間露光画像信号、および、長時間露光を行う画素から得られた長時間露光画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、フリッカ成分が含まれている画像信号からフリッカ成分の振幅および周期を求める。そして、合成処理部は、フリッカ成分の振幅に従って、短時間露光画像信号および長時間露光画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて短時間露光画像信号および長時間露光画像信号を合成することによりＨＤＲ画像を生成する。さらに、撮像制御部は、フリッカ成分の周期に従って、フリッカ成分が含まれている画像信号の露光時間を変更する制御を行う。本技術は、例えば、ＨＤＲ画像を撮像可能な撮像装置に適用できる。【選択図】図１

Description

本開示は、画像処理装置および画像処理方法、並びに電子機器に関し、特に、ＨＤＲ撮像時におけるフリッカの影響を低減することができるようにした画像処理装置および画像処理方法、並びに電子機器に関する。

一般的に、光源がちらついている環境で撮像が行われると、画像にフリッカ（光点滅）が発生することがある。

従来より、フリッカを補正する技術が開発されている。例えば、最も多く利用されている手法の一つとして、光源のフリッカが発生している事を検出し、そのフリッカ周波数に応じて、撮像素子の露光時間を変更する手法がある（特許文献１参照）。具体的には、光源のフリッカの半周期時間をＴとしたとき、撮像素子の露光時間を半周期時間Ｔの定数倍に設定する（露光時間＝ａ×Ｔ：ａは任意の自然数）。これにより、各フレームにおける光源の入射量を常に一定に保つことができ、光源フリッカの影響を排除することができる。

また、近年、ＨＤＲ（High Dynamic Range：ハイダイナミックレンジ）画像を撮像するための技術として、複数種類の露光時間で撮像された画像信号を組み合わせる撮像手法が利用されている。

ところで、ＨＤＲ画像を撮像する際において、上述したようなフリッカ補正が上手く機能しないことがあった。つまり、ＨＤＲ画像の撮像時には、特に短露光画素において、露光時間を十分短く設定し、適正露光時間では飽和してしまう明るい領域を撮像する必要がある。そのため、短露光画素の露光時間をフリッカ光源の半周期に比例するように設定（露光時間＝ａ×Ｔ）することができない場合が多く、そのような場合には光源のフリッカを補正することができなかった。

一方、フリッカ成分の含まれない基準画像を生成し、その基準画像との差分を用いてフリッカを含む画像を補正する手法が提案されている（特許文献２参照）。しかしながら、このような手法では動被写体などによってフリッカを誤検出することがあり、過補正などの副作用が発生する可能性があった。

特開２００２−８４４６６号公報 特開２０１２−１７８６８５号公報

上述したように、従来、ＨＤＲ撮像時においてフリッカを適切に補正することは困難であり、ＨＤＲ撮像時におけるフリッカの影響を低減することが求められている。

本開示は、このような状況に鑑みてなされたものであり、ＨＤＲ撮像時におけるフリッカの影響を低減することができるようにするものである。

本開示の一側面の画像処理装置は、複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求めるフリッカ検出部と、前記フリッカ検出部により求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する合成処理部とを備える。

本開示の一側面の画像処理方法またはプログラムは、複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求め、求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成するステップを含む。

本開示の一側面においては、複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かが検出され、フリッカ成分が含まれている画像信号からフリッカ成分の振幅が少なくとも求められる。そして、求められたフリッカ成分の振幅に従って、複数の画像信号を合成する際のブレンド率が変更されて、そのブレンド率に応じて複数の画像信号を合成することによりダイナミックレンジの広い画像が生成される。

本開示の一側面によれば、ＨＤＲ撮像時におけるフリッカの影響を低減することができる。

本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 画像処理を説明するフローチャートである。 フリッカ検出部の構成例を示すブロック図である。 フレーム間差分フリッカ検出部によるフリッカを検出する手法について説明する図である。 フレーム間差分フリッカ検出部によるフリッカを検出する手法について説明する図である。 ライン間差分フリッカ検出部によるフリッカを検出する手法について説明する図である。 ライン間差分フリッカ検出部によるフリッカを検出する手法について説明する図である。 ＨＤＲ合成処理部におけるＨＤＲ合成処理について説明する図である。 一般的な露光時間およびアナログゲインの制御を示す図である。 撮像画像のヒストグラムを示す図である。 ＨＤＲ画像における短蓄信号および長蓄信号のヒストグラムを示す図である。 被写体の明るさと露光時間との関係を示す図である。 最小フリッカレス露光時間を説明する図である。 本技術を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。 本技術を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。 フリッカ検出部の変形例を示すブロック図である。 電子機器に搭載される撮像装置の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。

図１に示す画像処理装置１１は、撮像素子１２により撮像された画像に対する画像処理を行い、図示しない後段の回路に出力する。例えば、撮像素子１２は、短時間露光を行って発生する電荷を蓄積する短時間露光蓄積画素から得られた画像信号である短蓄信号（短時間露光画像信号）と、長時間露光を行って発生する電荷を蓄積する長時間露光蓄積画素から得られた画像信号である長蓄信号（長時間露光画像信号）とを出力する。そして、画像処理装置１１は、明るさに応じたブレンド率（使用比率）で短蓄信号および長蓄信号を合成して、ダイナミックレンジの広いＨＤＲ画像を生成する画像処理を行う。

図１に示すように、画像処理装置１１は、フリッカ検出部２１、ＨＤＲ合成処理部２２、撮像制御部２３、およびカメラ信号処理部２４を備えて構成される。

フリッカ検出部２１は、撮像素子１２から出力される短蓄信号および長蓄信号を取得して、短蓄信号および長蓄信号を観測することにより、短蓄信号または長蓄信号に光源のフリッカ成分が含まれているかどうかを検出する。即ち、フリッカ検出部２１は、短蓄信号から構成される画像および長蓄信号から構成される画像のいずれかにフリッカが発生しているか否かを検出するフリッカの検出処理を行う。そして、フリッカ検出部２１は、フリッカが発生していたことが検出された場合には、短蓄信号または長蓄信号に含まれているフリッカ成分の振幅および周期を求め、フリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、フリッカ成分の周期を撮像制御部２３に供給する。なお、フリッカ検出部２１による処理については、図３乃至図７を参照して後述する。

ＨＤＲ合成処理部２２は、フリッカ検出部２１から供給されるフリッカ成分の振幅に応じて、図８を参照して後述するように、ＨＤＲ合成処理を行う際の短蓄信号と長蓄信号とのブレンド率を適応的に変更する。そして、ＨＤＲ合成処理部２２は、適応的に変更されたブレンド率で短蓄信号および長蓄信号を合成することによりＨＤＲ画像を生成し、撮像制御部２３およびカメラ信号処理部２４に供給する。

撮像制御部２３は、ＨＤＲ合成処理部２２から供給されるＨＤＲ画像の明るさに基づいて、撮像素子１２により適切な明るさの画像が撮像されるように、撮像素子１２の露光時間およびアナログゲインを制御する。このとき、撮像制御部２３は、フリッカ検出部２１から供給されるフリッカ成分の周期に従って、フリッカ成分が含まれている方の画像信号（短蓄信号および長蓄信号の一方）の露光時間を変更する制御を行う。即ち、撮像制御部２３は、図１２を参照して後述するように、フリッカの影響を抑制することができる最小の露光時間である最小フリッカレス露光時間の定数倍となるように、撮像素子１２の露光時間を制御する。

カメラ信号処理部２４は、ＨＤＲ合成処理部２２から供給されるＨＤＲ画像に対する一般的な画像処理を行い、例えば、ガンマ補正やホワイトバランス調整などを行い、図示しない後段の回路に供給する。

このように構成される画像処理装置１１では、フリッカ検出部２１によりフリッカが発生していることが検出されると、ＨＤＲ合成処理部２２においてブレンド率が適応的に変更されるとともに、撮像制御部２３において撮像素子１２の露光時間が制御される。これにより、短蓄信号および長蓄信号に含まれるフリッカ成分を低減することができ、ＨＤＲ画像におけるフリッカの影響を抑制することができる。

次に、図２は、画像処理装置１１において行われる画像処理を説明するフローチャートである。

例えば、撮像素子１２が撮像を開始して短蓄信号および長蓄信号の出力を行うと処理が開始され、ステップＳ１１において、フリッカ検出部２１およびＨＤＲ合成処理部２２は、１フレーム分（時刻ｔ）の短蓄信号および長蓄信号をそれぞれ取得する。

ステップＳ１２において、フリッカ検出部２１は、ステップＳ１１で取得した１フレーム分の短蓄信号および長蓄信号に基づいて、短蓄信号または長蓄信号に光源のフリッカ成分が含まれているかどうかを検出するフリッカの検出処理を行う。

ステップＳ１３において、ＨＤＲ合成処理部２２は、ステップＳ１１で取得した１フレーム分の短蓄信号および長蓄信号を、所定のブレンド率（例えば、明るさに応じた設定値）で合成することにより、ＨＤＲ画像を生成する。そして、ＨＤＲ合成処理部２２は、生成したＨＤＲ画像を、撮像制御部２３およびカメラ信号処理部２４に供給する。なお、このフレームに対しては、ＨＤＲ合成処理部２２は、直前のステップＳ１２においてフリッカ検出部２１により検出されたフリッカに対する処理は行わず、そのままＨＤＲ画像を出力する。

ステップＳ１４において、フリッカ検出部２１は、ステップＳ１２でフリッカの検出処理を行った結果、フリッカが発生していたか否かを判定する。

ステップＳ１４において、フリッカが発生していなかったと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１４において、フリッカが発生していたと判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、フリッカ検出部２１は、ステップＳ１２で検出されたフリッカ成分の周期を求めて撮像制御部２３に供給し、撮像制御部２３は、そのフリッカの周期に従って撮像素子１２の露光時間を調整する。例えば、長蓄信号にフリッカ成分が含まれていた場合、撮像素子１２は、長時間露光蓄積画素の露光時間が最小フリッカレス露光時間（図１２参照）の定数倍となるような調整を行う。

ステップＳ１６において、フリッカ検出部２１およびＨＤＲ合成処理部２２は、ステップＳ１１で取得したフレームの次の１フレーム分（時刻ｔ＋１）の短蓄信号および長蓄信号をそれぞれ取得する。

ステップＳ１７において、フリッカ検出部２１は、ステップＳ１６で取得した１フレーム分の短蓄信号および長蓄信号に基づいて、短蓄信号または長蓄信号に光源のフリッカ成分が含まれているかどうかを検出するフリッカの検出処理を行う。

ステップＳ１８において、フリッカ検出部２１は、ステップＳ１７でフリッカの検出処理を行った結果、フリッカが発生していたか否かを判定する。

ステップＳ１８において、フリッカが発生していなかったと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１８において、フリッカが発生していたと判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、フリッカ検出部２１は、ステップＳ１７で検出されたフリッカ成分の振幅を求めてＨＤＲ合成処理部２２に供給し、ＨＤＲ合成処理部２２は、そのフリッカ成分の振幅に基づいて、ブレンド率を適応的に変更する。例えば、ステップＳ１５において、長時間露光蓄積画素の露光時間が最小フリッカレス露光時間の定数倍となるような調整が行われていれば、ステップＳ１７のフリッカの検出処理では、短蓄信号に含まれているフリッカ成分が検出されることになる。従って、フリッカ検出部２１は、短蓄信号のフリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、ＨＤＲ合成処理部２２は、短蓄信号の使用比率を低減するように（図８参照）、ブレンド率を変更する。

ステップＳ２０において、ＨＤＲ合成処理部２２は、ステップＳ１６で取得した１フレーム分の短蓄信号および長蓄信号を、ステップＳ１９で変更したブレンド率で合成することにより、ＨＤＲ画像を生成し、撮像制御部２３およびカメラ信号処理部２４に供給する。そして、ステップＳ２０の処理後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。

次に、図３は、図１のフリッカ検出部２１の構成例を示すブロック図である。

図３に示すように、フリッカ検出部２１は、フレーム間差分フリッカ検出部３１および３２、並びに、ライン間差分フリッカ検出部３３を備えて構成される。

フレーム間差分フリッカ検出部３１は、撮像素子１２から供給される短蓄信号から構築される画像のフレームどうしの差分を求めることによって、フレーム間の時間変化量を利用して、短蓄信号にフリッカ成分が含まれているかどうかを検出する。その検出を行った結果、フレーム間差分フリッカ検出部３１は、短蓄信号にフリッカ成分が含まれていることが検出された場合、短蓄信号のフリッカ成分の振幅および周期を求める。そして、フレーム間差分フリッカ検出部３１は、短蓄信号のフリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、短蓄信号のフリッカ成分の周期を撮像制御部２３に供給する。

フレーム間差分フリッカ検出部３２は、撮像素子１２から供給される長蓄信号から構築される画像のフレームどうしの差分を求めることによって、フレーム間の時間変化量を利用して、長蓄信号にフリッカ成分が含まれているかどうかを検出する。その検出を行った結果、フレーム間差分フリッカ検出部３２は、長蓄信号にフリッカ成分が含まれていることが検出された場合、長蓄信号のフリッカ成分の振幅および周期を求める。そして、フレーム間差分フリッカ検出部３２は、長蓄信号のフリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、長蓄信号のフリッカ成分の周期を撮像制御部２３に供給する。

ライン間差分フリッカ検出部３３には、撮像素子１２から供給される短蓄信号および長蓄信号から構築される画像それぞれにおいて、画像の行ごとの変化量を利用して、短蓄信号および長蓄信号それぞれにフリッカ成分が含まれているかどうかを検出する。その検出を行った結果、ライン間差分フリッカ検出部３３は、例えば、短蓄信号にフリッカ成分が含まれていることが検出された場合、短蓄信号のフリッカ成分の振幅および周期を求め、短蓄信号のフリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、短蓄信号のフリッカ成分の周期を撮像制御部２３に供給する。同様に、ライン間差分フリッカ検出部３３は、例えば、長蓄信号にフリッカ成分が含まれていることが検出された場合、長蓄信号のフリッカ成分の振幅および周期を求め、長蓄信号のフリッカ成分の振幅をＨＤＲ合成処理部２２に供給し、長蓄信号のフリッカ成分の周期を撮像制御部２３に供給する。

ここで、図４および図５を参照して、フレーム間差分フリッカ検出部３１および３２が、フレーム間の時間変化量を利用してフリッカを検出する手法について説明する。

例えば、フレーム間差分フリッカ検出部３１は、図４の上側に示すように、時刻の経過に従って順次、撮像素子１２から供給される短蓄信号に基づいた画像（フレーム１，２，・・・，Ｎ）を構築する。同様に、フレーム間差分フリッカ検出部３２は、時刻の経過に従って順次、撮像素子１２から供給される長蓄信号に基づいた画像（フレーム１，２，・・・，Ｎ）を構築する。

そして、画像にフリッカが発生している場合には、フレームごとの画像の明るさを観測すると、その観測された信号は、図４の下側に示すような波形となる。即ち、光源が点滅することによりフリッカが発生していると、被写体が撮像されている画像において、観測された信号は、被写体独自の明るさにフリッカ成分が加算されたものとなる。従って、フリッカ成分を求めるには、まず、被写体独自の明るさを算出する必要がある。

そこで、フレーム間差分フリッカ検出部３１および３２は、複数のフレーム数の被写体の明るさを積算し、その平均値Ave（＝（フレーム１＋フレーム２＋・・・＋フレームＮ）／Ｎ）を、被写体独自の明るさとして算出する。ここで、平均値Aveの算出に使用するフレーム数を、光源フリッカの周期に比例する時間に設定することで、フリッカの影響を排除することができる。この手法により、被写体が動いていなければ、フリッカの影響を排除した被写体独自の明るさを算出することができる。

次に、フレーム間差分フリッカ検出部３１および３２は、被写体独自の明るさから、各フレームにおけるフリッカ成分を算出する。例えば、フレーム間差分フリッカ検出部３１および３２は、各フレームの信号を、被写体独自の明るさで除算することによりフリッカ成分（＝フレーム／平均値Ave）を求めることができる。即ち、平均値Aveとの比が大きい部分がフリッカ成分となる。

このように、フレーム間差分フリッカ検出部３１および３２は、フリッカ成分を算出し、そのフリッカ成分が一定の閾値以上であれば、短蓄信号および長蓄信号にフリッカ成分が含まれていると判断することができる。

例えば、図５の上側に示すように、フレーム間差分フリッカ検出部３１および３２は、観測された信号（信号値）を、被写体独自の明るさで除算することによって、フリッカ成分の比率（信号比）を算出する。

そして、フレーム間差分フリッカ検出部３１および３２は、図５の下側に示すように、算出したフリッカ比率を任意のサイン波で近似する。これにより、フレーム間差分フリッカ検出部３１および３２は、近似により得られたサイン波（近似波形）の振幅が、所定の閾値以上であれば、画像にフリッカが発生していると判断する。なお、どのようなサイン波にも近似することができない場合には、フリッカ以外の要因による明るさの変動（例えば、被写体が動いたなど）であると想定され、この場合には、フリッカとして検出されない。

ところで、フレーム間の時間変化量を利用してフリッカを検出する手法では、複数のフレームの平均値Aveを算出する際に、被写体または撮像装置が移動していた場合には、その移動によって明るさが変化してしまい、フリッカを正確に検出することは困難である。そこで、１つのフレームの信号のみでフリッカ成分を求めることで、そのような明るさの変化による影響を排除することができる。

次に、図６および図７を参照して、ライン間差分フリッカ検出部３３が、画像の行ごとの変化量を利用してフリッカを検出する手法について説明する。

図６の左側に示すように、撮像素子１２がCMOS（Complementary Metal Oxide Semiconductor）イメージセンサである場合には、画像の各行ごとに順次、画像信号を読み出すローリングシャッターが行われる。従って、最上段の行と最下段の行とでは、露光するタイミングに時間差が生じることになる。そのため、CMOSイメージセンサは、図６の右側に示すように、光源にフリッカが含まれている場合、行ことに明るさが異なる現象が発生する特性を有する。

そこで、ライン間差分フリッカ検出部３３は、このような特性を利用して、画像における各行の平均値を算出することで、それらの平均値の変化量を利用してフリッカの検出を行う。なお、行ごとの画像信号の平均値を用いる他、行ごとの画像信号の積算値を用いてもよい。

例えば、行ごとに画像信号の平均値を算出し、それらを行方向にプロットすると、図７に示すように、画像信号の平均値には、被写体本来の明るさ（被写体明度）と、フリッカ成分が含まれている。ここで、短蓄信号および長蓄信号のいずれか一方においてフリッカが発生しないように露光時間を制御（図１２参照）した後に、露光時間が制御された方の画像信号から被写体本来の明るさを求めることができる。

図７には、長蓄信号を用いて構成される画像においてフリッカ成分が含まれていない例が示されている。この場合、ライン間差分フリッカ検出部３３は、短蓄信号および長蓄信号の信号比を算出することで、フリッカ成分を求めることができる。

例えば、ライン間差分フリッカ検出部３３は、長蓄信号にフリッカ成分が含まれないような状態で短蓄信号および長蓄信号の信号比に基づいてフリッカ成分を算出し、そのフリッカ成分が一定の閾値以上であれば、短蓄信号にフリッカ成分が含まれているとして検出する。そして、ライン間差分フリッカ検出部３３は、フリッカを検出すると、フレーム間差分フリッカ検出部３１および３２と同様に、フリッカ成分の信号比をサイン波で近似して、フリッカ成分の振幅および周期を求めてＨＤＲ合成処理部２２に供給することができる。即ち、上述した図５における横軸を行の座標として、１フレームの短蓄信号に含まれるフリッカ成分の振幅および周期を求めることができる。

同様に、ライン間差分フリッカ検出部３３は、短蓄信号にフリッカ成分が含まれないような状態で短蓄信号および長蓄信号の信号比に基づいて、１フレームの長蓄信号に含まれるフリッカ成分の振幅および周期を求めることができる。即ち、ライン間差分フリッカ検出部３３がフリッカを検出するためには、短蓄信号を用いて構成される画像、および、長蓄信号を用いて構成される画像のいずれか一方に、フリッカが発生していない状態とされる。

次に、図８を参照して、ＨＤＲ合成処理部２２におけるＨＤＲ合成処理について説明する。

まず、通常のＨＤＲ合成処理では、次の式（１）のように、短蓄信号Ｓ、長蓄信号Ｌ、黒レベルＢ_ｏｐｂ、露光比ｇａｉｎ、およびブレンド比αを用いて、ＨＤＲ画像を構成する信号ＨＤＲが演算される。

そして、図８Ａに示すように、短蓄信号と長蓄信号とのブレンド比αが、被写体の明るさに応じて切り替えられるように設定されており、このようなブレンド比αを用いて式（１）を演算することで、信号ＨＤＲが算出される。一般的に、ブレンド比αは、被写体の明るさが暗い場合には、長時間露光により暗部まで撮像できる長蓄信号を用い、被写体の明るさが明るい場合には、明るくても飽和しない短蓄信号を用いるように設定されている。つまり、被写体の明るさが閾値ＴＨ０以下である場合にはブレンド比αを０とし、被写体の明るさが閾値ＴＨ１以上である場合にはブレンド比αを１として、閾値ＴＨ０から閾値ＴＨ１までの間ではブレンド比αを線形的に変化させる。

そして、ＨＤＲ合成処理部２２は、フリッカ検出部２１によるフリッカの検出結果に応じて、即ち、フリッカ成分の振幅Ａの大きさに応じて、短蓄信号と長蓄信号とのブレンド比αを切り替える設定を変更する。

例えば、ＨＤＲ合成処理部２２は、短蓄信号にフリッカ成分が含まれている場合には、次の式（２）に従って、フリッカ成分の振幅Ａに基づいて、閾値ＴＨ０および閾値ＴＨ１を更新する。なお、式（２）において、ｃ０およびｃ１は、被写体の明るさに比例する任意の係数である。

従って、図８Ｂに示すように、短蓄信号にフリッカ成分が含まれている時、閾値ＴＨ０および閾値ＴＨ１は大きな値に更新され、長蓄信号が多く使用されるようになる。即ち、フリッカ成分が含まれている短蓄信号の使用が減少することになり、ＨＤＲ合成処理部２２は、フリッカを抑制したＨＤＲ画像を生成することができる。

一方、ＨＤＲ合成処理部２２は、長蓄信号にフリッカ成分が含まれている場合には、次の式（３）に従って、フリッカ成分の振幅Ａに基づいて、閾値ＴＨ０および閾値ＴＨ１を更新する。なお、式（３）において、ｄ０およびｄ１は、被写体の明るさに比例する任意の係数である。

従って、図８Ｃに示すように、長蓄信号にフリッカ成分が含まれている時、閾値ＴＨ０および閾値ＴＨ１は小さな値に更新され、短蓄信号が多く使用されるようになる。即ち、フリッカ成分が含まれている長蓄信号の使用が減少することになり、ＨＤＲ合成処理部２２は、フリッカを抑制したＨＤＲ画像を生成することができる。

次に、図９乃至図１３を参照して、撮像制御部２３による撮像素子１２の露光時間およびアナログゲインの制御について説明する。

図９には、一般的な露光時間およびアナログゲインの制御が示されている。図９において、横軸は被写体の明るさを示しており、右側の縦軸は露光時間を示し、左側の縦軸はアナログゲインを示している。

図９に示すように、被写体の明るさに応じて露光時間およびアナログゲインが制御される。即ち、被写体が非常に明るい場合には、露光時間は最小単位（Min speed）まで短く設定され、アナログゲインも最小値（Min Gain）に設定される。そして、被写体が暗くなるのに従って、まず、露光時間が徐々に長くなるように制御され、露光時間が最長（1/60）になった後、アナログゲインが増加するように制御される。

被写体の明るさは、図１０に示すような撮像画像のヒストグラムによって判別される。図１０において、横軸は明るさを示しており、縦軸はヒストグラム値を示している。

例えば、撮像制御部２３は、ヒストグラム値および信号値の積を総和して露光レベルを算出し、その値が、予め設定されているターゲットの明るさよりも暗かった場合には、露光不足と判断して露光時間またはアナログゲインを増加するような制御を行う。

また、ＨＤＲ画像におけるＡＥ（Automatic Exposure）遷移も同様に行われ、撮像制御部２３は、まず、短蓄信号を用いて構成される画像、および、長蓄信号を用いて構成される画像それぞれのヒストグラムを算出する。

例えば、図１１に示すように、長蓄信号を用いて構成される画像については、画像を1023にクリップして取得し、短蓄信号を用いて構成される画像については、画像を露光比で除算して算出する。その後、撮像制御部２３は、それぞれの画像の露光レベルを調整する。このとき、露光レベルのターゲットは、短蓄信号と長蓄信号とで異なる値に設定することができる。

ここで、撮像制御部２３は、フリッカ検出部２１によりフリッカが検出された場合には、フリッカ検出部２１から供給されるフリッカ成分の周期に基づいて、図１２に示すように露光時間の制御を行う。

図１２には、被写体の明るさと露光時間との関係が示されており、太線が、フリッカ補正を行わない場合の露光時間の制御を表しており、細線が、フリッカ補正を行う場合の露光時間の制御を表している。

図１２に示すように、フリッカ補正を行わない場合には直線的に露光時間が制御されるのに対して、フリッカ補正を行う場合には、最小フリッカレス露光時間の定数倍（２倍、４倍、６倍など）となるように露光時間が制御される。

ここで、最小フリッカレス露光時間は、図１３に示すように、光源の明るさ（フリッカ成分）の周期の半周期Ｔに設定される。即ち、露光時間が光源の明るさの周期の半周期Ｔであれば、どのタイミングで撮像を行っても、フリッカの影響を受けることを回避することができる。具体的には、光源の明るさの周期が60Hzである場合、半周期Ｔは8.333ミリ秒に設定される。

このように、撮像制御部２３は、短蓄信号および長蓄信号のうちフリッカ成分が検出された方の露光時間を、最小フリッカレス露光時間の定数倍となるように制御することで、少なくとも一方の画像にフリッカが発生することが抑制される。これにより、上述の図７を参照して説明したように、フリッカが発生していない画像に基づいて被写体本来の明るさを得ることができる。

なお、最小フリッカレス露光時間の定数倍（２倍、４倍、６倍など）となるように露光時間が制御される場合には、任意の露光比を設定することができなくなり、露光比が整数倍（例えば、１倍、２倍、３倍、８倍など）限定されることになる。そこで、撮像制御部２３は、露光時間を制御することにより不足する露光比分に応じて、露光時間の制御を行った方の画像信号のアナログゲインを増加することで、任意の露光比となるように調整することができる。

以上のように、画像処理装置１１では、ＨＤＲ画像を撮像する際に、フリッカの発生を抑制し、ちらつきのないＨＤＲ画像を生成することができる。また、画像処理装置１１は、撮像素子１２の露光時間の制御、および、ＨＤＲ画像を生成する際のブレンド比αを制御するだけなので、例えば、検出されたフリッカに基づいて画像そのものに対する画像処理を行うような補正方法と比較して、過補正などの副作用が発生することを回避することができる。

次に、図１４は、本技術を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。

図１４に示す画像処理装置１１Ａにおいて、図１の画像処理装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。即ち、画像処理装置１１Ａは、フリッカ検出部２１、ＨＤＲ合成処理部２２、撮像制御部２３、およびカメラ信号処理部２４を備える点で、図１の画像処理装置１１と共通の構成とされる。

そして、画像処理装置１１Ａは、フリッカ補正部２５を備える点で、図１の画像処理装置１１と異なる構成となっている。

フリッカ補正部２５は、ＨＤＲ合成処理部２２の前段に設けられ、撮像素子１２から出力される短蓄信号および長蓄信号に含まれるフリッカ成分が低減されるように、短蓄信号および長蓄信号を補正する。例えば、フリッカ検出部２１は、短蓄信号または長蓄信号にフリッカ成分が含まれていることを検出すると、上述したようにフリッカ成分をサイン波で近似して、そのサイン波の周期および振幅をフリッカ補正部２５に供給する。これにより、フリッカ補正部２５は、フリッカ成分が含まれている短蓄信号または長蓄信号の信号値を、フリッカ検出部２１から供給されるサイン波で割り戻す補正を行うことでフリッカ成分を低減し、その補正後の短蓄信号または長蓄信号をＨＤＲ合成処理部２２に供給する。

このように構成される画像処理装置１１Ａにおいても、図１の画像処理装置１１と同様に、フリッカの発生を抑制したＨＤＲ画像を生成することができる。

次に、図１５は、本技術を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。

図１５に示す画像処理装置１１Ｂにおいて、図１の画像処理装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。即ち、画像処理装置１１Ｂは、撮像制御部２３およびカメラ信号処理部２４を備える点で、図１の画像処理装置１１と共通の構成とされる。

そして、画像処理装置１１Ｂは、フリッカ検出部２１ＢおよびＨＤＲ合成処理部２２Ｂが、図１の画像処理装置１１とは異なり、異なる４種類の露光時間で露光された信号に対する処理を行うことができるように構成されている。

即ち、画像処理装置１１Ｂでは、撮像素子１２から異なる４種類の露光時間で露光された短蓄信号１乃至３および長蓄信号が出力され、フリッカ検出部２１ＢおよびＨＤＲ合成処理部２２Ｂにそれぞれ供給される。

フリッカ検出部２１Ｂは、短蓄信号１乃至３および長蓄信号それぞれから、フリッカ成分が含まれているかどうかを検出する。ＨＤＲ合成処理部２２Ｂは、短蓄信号１乃至３および長蓄信号を用いて、よりダイナミックレンジの広いＨＤＲ画像を生成することができる。

従って、画像処理装置１１Ｂは、異なる４種類の露光時間で露光された短蓄信号１乃至３と長蓄信号から生成されるＨＤＲ画像に発生するフリッカを抑制することができる。

なお、本技術は、図１の画像処理装置１１のように異なる２種類の露光時間で露光された画像信号に対する処理、並びに、図１５の画像処理装置１１Ｂのように異なる４種類の露光時間で露光された画像信号に対する処理の他、異なる複数種類の露光時間で露光された画像信号に対する処理に適用することができる。

次に、図１６は、フリッカ検出部２１の変形例を示すブロック図である。

図１６に示すように、フリッカ検出部２１Ｃは、フレーム間差分フリッカ検出部３１および３２を備えて構成される。即ち、図３のフリッカ検出部２１は、ライン間差分フリッカ検出部３３を備えていたのに対し、フリッカ検出部２１Ｃは、ライン間差分フリッカ検出部３３を備えない構成となっている。

このように、フリッカ検出部２１Ｃがフレーム間差分フリッカ検出部３１および３２だけを備える構成であっても、上述したように、フレーム間の時間変化量を利用してフリッカを検出することができる。即ち、フリッカを検出するのに、ライン間差分フリッカ検出部３３は必須の構成ではない。また、ライン間差分フリッカ検出部３３だけで、フリッカを検出してもよい。つまり、短蓄信号および長蓄信号に含まれているフリッカ成分を検出することができれば、その構成は、フリッカ検出部２１またはフリッカ検出部２１Ｃの構成に限定されることはない。

なお、上述したような各実施の形態の画像処理装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

図１７は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

図１７に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。

撮像素子１０３は、上述した撮像素子１２に対応する。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

信号処理回路１０４は、その機能の一部として、上述した画像処理装置１１を適用することができ、撮像素子１０３から出力された画像信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

このように構成されている撮像装置１０１では、上述した各実施の形態の画像処理装置１１を適用することでＨＤＲ画像の撮像時におけるフリッカの発生を抑制し、例えば、より高画質のＨＤＲ画像を撮像することができる。

なお、本技術は以下のような構成も取ることができる。
（１）
複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求めるフリッカ検出部と、
前記フリッカ検出部により求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する合成処理部と
を備える画像処理装置。
（２）
前記フリッカ検出部は、複数の前記画像信号それぞれから構成される１フレームごとの画像についてフレーム間の時間変化量に基づいて、複数の前記画像信号それぞれに前記フリッカ成分が含まれているか否かを検出する
上記（１）に記載の画像処理装置。
（３）
前記フリッカ検出部は、複数の前記画像信号それぞれから構成される１フレームの画像それぞれにおいて、各画像の行ごとの変化量に基づいて、複数の前記画像信号それぞれに前記フリッカ成分が含まれているか否かを検出する
上記（１）または（２）に記載の画像処理装置。
（４）
前記フリッカ検出部は、前記フリッカ成分の周期をさらに求め、
前記フリッカ検出部により求められた前記フリッカ成分の周期に従って、前記フリッカ成分が含まれている方の前記画像信号の露光時間を変更する制御を行う撮像制御部
をさらに備える上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記撮像制御部は、前記フリッカ成分の周期の半周期の定数倍に、前記フリッカ成分が含まれている前記画像信号の露光時間を設定する
上記（４）に記載の画像処理装置。
（６）
前記撮像制御部は、前記フリッカ成分が含まれている前記画像信号の前記露光時間を設定することにより不足する露光比分に応じて、その画像信号のアナログゲインを増加する制御を行う
上記（４）または（５）に記載の画像処理装置。
（７）
前記フリッカ検出部および前記合成処理部には、短時間露光を行う画素から得られた短時間露光画像信号と、長時間露光を行う画素から得られた長時間露光画像信号とが供給され、
前記撮像制御部は、前記短時間露光画像信号および前記長時間露光画像信号のうち、前記フリッカ検出部により前記フリッカ成分が検出された方の前記画像信号の露光時間を、そのフリッカ成分の周期の半周期の定数倍に設定する
上記（４）から（６）までのいずれかに記載の画像処理装置。
（８）
前記フリッカ検出部は、前記撮像制御部により露光時間が制御された後に、露光時間が制御された方の前記画像信号から、被写体本来の明るさを求める
上記（１）から（７）までのいずれかに記載の画像処理装置。
（９）
前記フリッカ検出部は、前記撮像制御部により露光時間が制御されていない方の前記画像信号から前記フリッカ成分を検出すると、そのフリッカ成分の振幅を求め、前記合成処理部に前記フリッカ成分の振幅を供給する
上記（１）から（８）までのいずれかに記載の画像処理装置。
（１０）
複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求め、
求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する
ステップを含む画像処理方法。
（１１）
複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求め、
求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する
ステップを含む画像処理をコンピュータに実行させるプログラム。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， １２ 撮像素子， ２１ フリッカ検出部， ２２ ＨＤＲ合成処理部， ２３ 撮像制御部， ２４ カメラ信号処理部， ２５ フリッカ補正部， ３１および３２ フレーム間差分フリッカ検出部， ３３ ライン間差分フリッカ検出部

Claims (11)

1. 複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求めるフリッカ検出部と、
   前記フリッカ検出部により求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する合成処理部と
   を備える画像処理装置。
2. 前記フリッカ検出部は、複数の前記画像信号それぞれから構成される１フレームごとの画像についてフレーム間の時間変化量に基づいて、複数の前記画像信号それぞれに前記フリッカ成分が含まれているか否かを検出する
   請求項１に記載の画像処理装置。
3. 前記フリッカ検出部は、複数の前記画像信号それぞれから構成される１フレームの画像それぞれにおいて、各画像の行ごとの変化量に基づいて、複数の前記画像信号それぞれに前記フリッカ成分が含まれているか否かを検出する
   請求項１に記載の画像処理装置。
4. 前記フリッカ検出部は、前記フリッカ成分の周期をさらに求め、
   前記フリッカ検出部により求められた前記フリッカ成分の周期に従って、前記フリッカ成分が含まれている方の前記画像信号の露光時間を変更する制御を行う撮像制御部
   をさらに備える請求項１に記載の画像処理装置。
5. 前記撮像制御部は、前記フリッカ成分の周期の半周期の定数倍に、前記フリッカ成分が含まれている前記画像信号の露光時間を設定する
   請求項４に記載の画像処理装置。
6. 前記撮像制御部は、前記フリッカ成分が含まれている前記画像信号の前記露光時間を設定することにより不足する露光比分に応じて、その画像信号のアナログゲインを増加する制御を行う
   請求項５に記載の画像処理装置。
7. 前記フリッカ検出部および前記合成処理部には、短時間露光を行う画素から得られた短時間露光画像信号と、長時間露光を行う画素から得られた長時間露光画像信号とが供給され、
   前記撮像制御部は、前記短時間露光画像信号および前記長時間露光画像信号のうち、前記フリッカ検出部により前記フリッカ成分が検出された方の前記画像信号の露光時間を、そのフリッカ成分の周期の半周期の定数倍に設定する
   請求項６に記載の画像処理装置。
8. 前記フリッカ検出部は、前記撮像制御部により露光時間が制御された後に、露光時間が制御された方の前記画像信号から、被写体本来の明るさを求める
   請求項７に記載の画像処理装置。
9. 前記フリッカ検出部は、前記撮像制御部により露光時間が制御されていない方の前記画像信号から前記フリッカ成分を検出すると、そのフリッカ成分の振幅を求め、前記合成処理部に前記フリッカ成分の振幅を供給する
   請求項８に記載の画像処理装置。
10. 複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求め、
    求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する
    ステップを含む画像処理方法。
11. 複数種類の露光時間で撮像された複数の画像信号それぞれに、光源のちらつきによるフリッカ成分が含まれているか否かを検出し、前記フリッカ成分が含まれている前記画像信号から前記フリッカ成分の振幅を少なくとも求め、
    求められた前記フリッカ成分の振幅に従って、複数の前記画像信号を合成する際のブレンド率を変更し、そのブレンド率に応じて複数の前記画像信号を合成することによりダイナミックレンジの広い画像を生成する
    ステップを含む画像処理をコンピュータに実行させるプログラム。

Images