JP6324090B2 - 撮像装置 - Google Patents

Description

本発明は，撮像装置に関する。例えば，逆光補正や黒潰れ補正などの信号レベルを変化させる露光制御および種々の画像補正を行う撮像装置に関する。

本技術の背景分野として，例えば特開２００８−１３１５３０号公報（特許文献１）がある。該公報には，「画像の被写体輝度レベルに応じた階調補正を実行する簡易な構成を持つ撮像装置、画像処理装置を提供する」ことを目的とし，「例えば撮像装置において主要被写体の輝度レベルを調整する露出制御によって撮影された画像の補正を行なう構成において、輝度対応の限定された数の階調補正特性データから撮影画像の被写体輝度に対応するデータを選択して階調補正を行なう。具体的には、撮影画像の主要被写体の平均輝度が含まれる領域に対応して設定された階調補正特性を適用して補正処理を行なう。本構成により、例えば撮像装置におけるデシタル信号処理部（ＤＳＰ）の回路規模を増大させることなく、また補正処理を迅速に効率的に実行することができる。」という技術が開示されている。

特開２００８−１３１５３０号公報

前記特許文献１では，映像の白飛びを改善するための露光制御をフィードバック制御で実施しており，高輝度被写体が高速に画角内と画角外を移動する場合に追従できず，白飛びが改善できず視認性が低下する場合や過補正により画質が低下する場合が発生するという問題がある。

上記目的を解決するために，特許請求の範囲に記載の構成を採用する。
本願は上記目的を解決する手段を複数含んでいるが，その一例を挙げるならば，撮像手段と，該撮像手段の出力する画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正手段と，撮像手段の出力する画像信号中の所定の輝度範囲の階調潰れの度合いを評価し，評価結果に応じて階調潰れが有ると判断した場合と階調潰れが無いと判断した場合とで，撮像手段の露光量と画像信号補正手段の信号レベル補正処理の入出力特性の制御を切り替える階調潰れ抑制制御手段と，を備えることを特徴とする。

本発明によれば，高輝度被写体の有無に応じてそれぞれ適切に視認性と画質を向上した映像を，被写体の変動に対して高い応答性で安定的に提供することができる。

本発明の第１実施例に係る撮像装置を示す模式図 本発明の第１実施例に係る撮像装置の露光制御に関する処理シーケンスの一例を示す図 本発明の第１実施例に係る撮像装置の露光制御の白飛びする高輝度被写体が画角内に存在しない場合の動作の一例を示す図 本発明の第１実施例に係る撮像装置の露光制御の白飛びする高輝度被写体が画角内に存在する場合の動作の一例を示す図 本発明の第１実施例に係る撮像装置の信号レベル補正処理の一例を示す図 本発明の第１実施例に係る撮像装置の信号レベル補正強度パラメータ制御処理の白飛びする高輝度被写体が画角内に存在しない場合の動作の一例を示す図 本発明の第１実施例に係る撮像装置の信号レベル補正強度パラメータ制御処理の白飛びする高輝度被写体が画角内に存在する場合の動作の一例を示す図 本発明の第１実施例に係る撮像装置の制御切替え処理に関する処理シーケンスの一例を示す図 本発明の第１実施例に係る撮像装置の制御切替え処理における輝度閾値ｌ２の決定方法の一例を示す図 本発明の第１実施例に係る撮像装置の制御切替え処理における期間閾値Ｍ１の決定方法の一例を示す図 本発明の第１実施例に係る撮像装置の制御切替え処理における高輝度被写体判定閾値ｔｈ２の決定方法の一例を示す図 本発明の第２実施例に係る撮像装置の露光制御の第一の例に関する処理シーケンスの一例を示す図 本発明の第１実施例に係る撮像装置の露光制御を適用した場合の動作の一例を示す図 本発明の第２実施例に係る撮像装置の露光制御の第一の例を適用した場合の動作の一例 本発明の第２実施例に係る撮像装置の露光制御の第二の例に関する処理シーケンスの一例を示す図 本発明の第２実施例に係る撮像装置の露光制御の第二の例を適用した場合の動作の一例を示す図

以下，図面を用いて本発明の実施例を説明する。

図１は，本発明の第１実施例に係る撮像装置を示す模式図である。図１において，０１０１は撮像部，０１０２はカメラ信号処理部，０１０３は画像信号補正部，０１０４は検出部，０１０５は階調潰れ抑制制御部，０１０５＿１は制御切替え部，０１０５＿２は露光制御部，０１０５＿３は画像信号補正制御部である。

図１に示した撮像装置において，撮像部０１０１は，ズームレンズ及びフォーカスレンズを含むレンズ群や，アイリスや，シャッタや，ＣＣＤまたはＣＭＯＳなどの撮像素子や，ＣＤＳやＡＧＣや，ＡＤコンバータ等を適宜用いて構成され，アイリスの開口度やセンサの蓄積時間やシャッタ速度やＡＧＣのゲイン量などの露光条件に基づく露光で撮像素子に受光した光学像を光電変換し，画像信号として出力する。

カメラ信号処理部０１０２は，撮像部０１０１の出力する画像信号にデジタルゲイン処理やデモザイキング処理や輝度信号および色信号生成処理やノイズ補正処理といった種々のカメラ画像処理を行い映像信号として出力する。

画像信号補正部０１０３は，カメラ信号処理部０１０２の出力する映像信号に所定の入出力特性と画像信号補正制御部０１０５＿３から取得した補正強度パラメータに基づき映像信号の画素毎の信号値である信号レベルを補正し最終的な映像信号として出力する。本処理の一例は図３を用いて後述する。

検出部０１０４は，撮像部０１０１の出力する画像信号から所定の領域内の信号値のヒストグラムデータや平均値，最大値等の特徴量を算出し，検出データとして出力する。

制御切替え部０１０５＿１は，検出部０１０４の出力する検出データを基に画像信号中の白飛びあるいは黒潰れといった階調潰れの度合いを評価し，評価結果に応じて通常の制御と階調潰れの抑制を優先した制御のいずれを実施するかを切り替えて，実施する制御の状態を出力する。ここで，通常の制御とは，注目被写体が高い視認性を得られる明るさや画質になるように撮像部０１０１の露光条件や画像信号補正部０１０３の信号レベル補正処理を制御することを指す。また，階調潰れの抑制を優先した制御とは，通常の制御を行った場合に白飛びする高輝度被写体，あるいは黒潰れする低輝度被写体が高い視認性を得られる明るさになるように撮像部０１０１の露光条件や画像信号補正部０１０３の信号レベル補正処理を制御することを指す。なお、白飛びする被写体とは，画像信号中で輝度が最大値（２５５など）である部分または最大値付近である部分を指し，白飛びの度合いとは、例えば画像信号の画素に対する輝度が最大値または最大値付近の画素の割合を指す。同様に黒潰れする被写体とは，画像信号中の輝度が最小値（０あるいは撮像素子を遮光した時の輝度に相当する黒レベルなど）である部分または最小値付近である部分を指し，黒潰れの度合いとは、例えば画像信号の画素に対する輝度が最小値の画素または最小値付近である画素の割合を指す。最大値／最小値付近の画素は，例えば輝度がそれぞれ所定の閾値を以上／以下であるか否かによって決定することができる。そして，階調潰れの度合いを評価する，とは例えば階調潰れの度合いが閾値以上であるか否かを判定するものである。

以下では説明を単純にするために階調潰れが画像信号中の白飛びである場合を例に挙げて説明する。例えば，制御切替え部０１０５＿１は，通常の制御で動画像を撮像している際に，検出部０１０４の出力する検出データから画像信号中における白飛びの度合いを逐次評価し，白飛びする高輝度被写体が画角内に発生したと判断すれば，白飛びの抑制を優先した制御に切り替える。また，白飛びの抑制を優先した制御で撮像している際に，通常の制御に戻しても白飛びするような高輝度被写体が画角内に存在していないと判断すれば，通常の制御に切り替える。本制御の一例は図５を用いて後述する。

露光制御部０１０５＿２は，制御切替え部０１０５＿１の出力する制御の状態に基づき，通常の制御を実施する場合は，検出部０１０４の出力する検出データを参照しながら注目被写体が高い視認性を得られる明るさになるように撮像部０１０１の露光を制御する。また，白飛びの抑制を優先した制御の場合は，通常の制御を行った場合に白飛びする高輝度被写体が高い視認性を得られる明るさになるように，通常の制御よりも露光の目標が小さくなるように撮像部０１０１の露光を制御する。本制御の一例は図２を用いて後述する。

画像信号補正制御部０１０５＿３は，制御切替え部０１０５＿１の出力する制御の状態に基づき，通常の制御の場合は予め定めた基準となる所定の特性で画像信号補正制御部０１０５＿３が信号レベルの補正処理を行うように補正強度パラメータを決定する。白飛びの抑制を優先した制御の場合は，撮像部０１０１が通常の制御よりも小さい露光の目標で撮像を行っていることを考慮して，通常の制御に比べて特に暗部の信号レベルの補正量が大きくなるように補正強度パラメータを決定する。本制御の一例は図４を用いて後述する。

これにより，画角内に高輝度被写体が無い場合は注目被写体が最適な明るさおよび画質となるような映像を生成し，画角内に高輝度被写体が有る場合は高輝度被写体の白飛びを抑制して視認性を向上しかつ信号レベルの補正処理により高輝度被写体以外の注目被写体の視認性も維持した映像を生成するため，高輝度被写体が頻繁に出入りするようなシーンの変化に対して適応的に視認性と画質を改善した映像を提供することが可能となる。

なお，上記は階調潰れの抑制の例として白飛びを用いて説明したが，黒潰れを抑制する場合も同様である。すなわち，制御切替え部０１０５＿１は，通常の制御で黒潰れするような低輝度被写体が画角内に発生した場合は，黒潰れ抑制を優先した制御に切替え，露光制御部０１０５＿２は，黒潰れ抑制を優先した制御では通常の制御より露光の目標が大きくなるように撮像部０１０１の露光を制御し，画像信号補正制御部０１０５＿３は，通常の制御より特に明部の信号レベルの補正量が大きくなるように画像信号補正制御部０１０５＿３の補正強度パラメータを決定する。これにより，画角内に低輝度被写体が有る場合は，低輝度被写体の黒潰れを抑制して視認性を向上しかつ信号レベルの補正処理により注目被写体の視認性も維持した映像を生成することが可能となる。また，映像内に白飛びと黒潰れの両方が発生している場合は，例えば予め白飛びを抑制する制御と黒潰れを抑制する制御のいずれを優先して行うかを決定すれば良いし，または，ユーザがいずれを優先するかを選択して，不図示のユーザ入力部から入力できる構成としても良い。

なお，図１で示した撮像装置は本発明に直接関する処理部に注目して記載しているが，実際に画像処理を行う上で重要なその他の高画質化処理や信号フォーマットの変換処理，圧縮伸張処理などを各処理の前後ないし途中で実施しても構わない。

また，図１で示した撮像装置を構成する各処理は，撮像部０１０１を除き，例えばパソコンであればＣＰＵ上のアプリケーション，組み込み機器であればマイコンやＤＳＰ，専用のＬＳＩなどにて実施される。ヒストグラムデータの取得や信号レベル補正処理等の信号処理をＤＳＰや専用のＬＳＩ上で実施し，制御切替え処理や露光制御や信号レベル補正処理の補正強度パラメータ制御等の制御処理をマイコンで実施することで，コストや性能の最適化を図っても良い。

図２は，本発明の第１実施例に係る露光制御の一例を示す図である。本発明において露光制御は露光制御部０１０５＿２で実施される。

図２（ａ）は，本発明の第１実施例に係る撮像装置の露光制御に関する処理シーケンスの一例を示す図である。図２（ａ）に示す露光制御に関する処理シーケンスにおいて，ＳＴ０２０１では，注目被写体が高い視認性を得られる明るさとなるような露光目標値ｇ＿ｅを設定する。ｇ＿ｅは例えば以下のように決定できる。画角の中央付近に位置する被写体が重要な被写体であると見做して画角の中央付近に設定した所定の領域内を注目被写体と定義し，露光を制御することにより該所定の領域内の平均輝度がある輝度に達した場合に最も視認性が良くなるとして，この状態を露光の目標とすると，該所定の領域内の平均輝度の目標値が露光目標値ｇ＿ｅとなる。この露光目標値ｇ＿ｅは調整値として予め不揮発性メモリ等の不図示の記憶部に格納しておき，ＳＴ０２０１にて露光制御部０１０５＿２が該記憶部からｇ＿ｅを読出すことで設定する。

ＳＴ０２０２では，制御切替え部０１０５＿１から現在の制御の状態を取得し，現在の制御が白飛び抑制を優先した制御であればＳＴ０２０３に，通常の制御であればＳＴ０２０４に進む。

ＳＴ０２０３では，露光目標値ｇ＿ｅを所定の露光補正量Ｘで除算することで露光目標値を小さくする。Ｘは例えば，高輝度被写体のうち電光掲示板の表示や光源付きのナンバープレートなどの有意な情報を持つ被写体のおおよその明るさと注目被写体のおおよその明るさとの代表的な照度比を予め測定し，決定する。この露光補正量Ｘは調整値として予め不揮発性メモリ等の不図示の記憶部に格納しておき，ＳＴ０２０３にて露光制御部０１０５＿２が該記憶部からｇ＿ｅを読出すことで露光目標値ｇ＿ｅの露光補正量Ｘによる補正を行う。

ＳＴ０２０４では，露光検出値ｄｅｔ＿ｅと露光目標値ｇ＿ｅと比較する。露光検出値ｄｅｔ＿ｅは前述のとおり画角の中央付近に設定した所定の領域内の平均輝度であり，検出部０１０４から検出データとして取得する。比較の結果，露光検出値ｄｅｔ＿ｅが露光目標値ｇ＿ｅに対し，ほぼ等しい場合はＳＴ０２０５に，有意に大きい場合はＳＴ０２０６に，有意に小さい場合はＳＴ０２０７にそれぞれ進む。ほぼ等しい，有意に大きい，有意に小さい，を判断するにあたっては，例えば，２つの閾値を設け，露光検出値ｄｅｔ＿ｅと露光目標値ｇ＿ｅとの差が大きいほうの閾値よりも大きい場合に有意に大きい，小さいほうの閾値よりも小さい場合に有意に小さい，２つの閾値の間である場合にほぼ等しいと判断する等の方法が考えられるが、本実施例は当該方法に限定されるものではない。

ＳＴ０２０５では，すでに適正露出に達したと判断し，露光制御を停止する。

ＳＴ０２０６では，現在の露光量が目標値より大きく適正露出より明るい状態であると判断し，露光量が小さくなるように露光制御を行う。例えば，ＡＧＣのゲインを小さくしたり，センサの蓄積時間を短くしたり，アイリスの開口度を小さくすることで，露光量を小さくする。

ＳＴ０２０７では，現在の露光量が目標値より小さく適正露出より暗い状態であると判断し，露光量が大きくなるように露光制御を行う。例えば，ＡＧＣのゲインを大きくしたり，センサの蓄積時間を長くしたり，アイリスの開口度を大きくすることで，露光量を大きくする。

図２（ｂ）は，本発明の第１実施例に係る撮像装置の露光制御の白飛びする高輝度被写体が画角内に存在しない場合の動作の一例を示す。図２（ｂ）に示すように，白飛びする高輝度被写体が画角内に存在しない場合は通常の露光制御が選択される。そのため，注目被写体である車両の明るさが最適になるように露光が制御され，高い視認性を得ることが可能となる。

図２（ｃ）は，本発明の第１実施例に係る撮像装置の露光制御の白飛びする高輝度被写体が画角内に存在する場合の動作の一例を示す。図２（ｃ）に示すように，白飛びする高輝度被写体が画角内に存在する場合は白飛び抑制を優先した露光制御が選択される。そのため，通常の制御に対し露光目標が小さくなるように露光が制御され，高輝度被写体である対向車の車両の視認性が向上する。

このように，露光制御部０１０５＿２は，通常の制御を行う場合は注目被写体の明るさが適正になるように露光を制御することが可能であり，白飛び抑制を優先した制御では，有意な情報を持つ高輝度被写体が白飛びしないようにした上で，その他の被写体の明るさが可能な限り適正に近づくように露光を制御することが可能である。また，動画像を撮影していて画角内に白飛び被写体が発生し，通常の制御から白飛び抑制優先制御に切り替わった場合に，露光目標値ｇ＿ｅを既知の露光補正量Ｘで補正するため，必要な露光の制御量が一意に決まるフィードフォワード制御となる。すなわちＡＧＣのゲインやセンサの蓄積時間などをどれだけ変更すればよいかを即座に決定することができ，切り替え時の露光制御を高速かつ安定的に行うことが可能である。白飛び抑制優先制御から通常の制御に切り替わった場合も同様である。

なお，上記の例では注目被写体を画面中央付近の所定の領域としたが，必ずしもこの通りで無くても良い。例えば，俯角を持ってカメラが設置され，画面の下部に重要な被写体が映る可能性がある場合は画面の下部の所定の領域を注目被写体とすれば良い。または，画像中から人物の顔や車両などの特定の被写体を画像認識により検出し，該特定の被写体を含む局所領域を注目被写体としても良い。これにより，用途に応じてユーザが見たい被写体に優先して露光を適正にすることが可能である。

また，上記の例では露光検出値ｄｅｔ＿ｅとして所定の領域内の平均輝度を用いたが，一般的な露光制御の例として複数の所定の領域内の平均輝度の荷重平均を用いる手法や，最大値や最小値などの他の特徴量を組み合わせて用いる手法などが知られており，それらの手法を組み合わせてももちろん構わない。

また，上記の例では，通常の制御と白飛び抑制を優先した制御との間で露光目標値ｇ＿ｅに対する高補正量Ｘの除算の有無のみを切り替えているが，露光制御の方式そのものを切り替えても構わない。例えば，通常の制御においては上記の例の通り露光検出値ｄｅｔ＿ｅと露光目標値ｇ＿ｅが一致するように露光を制御し，白飛び抑制を優先した制御では画像信号中の所定の領域の最大値が所望の値より小さくなるまで露光を制御するようにすることで，完全に白飛びの無い映像を生成することが可能である。

また，露光検出値ｄｅｔ＿ｅと露光目標値ｇ＿ｅとを比較する際に，露光目標値ｇ＿ｅにヒステリシス値α，βを設けてｄｅｔ＿ｅとｇ＿ｅ＋αおよびｇ＿ｅ−βとの大小関係を比較しても良い。これにより露光量検出値ｄｅｔ＿ｅがノイズ等の影響でばらついた場合でも，露光制御がばらつきの影響で誤動作することなく安定的な動作をさせることが可能である。

図３は，本発明の第１実施例に係る撮像装置の信号レベル補正処理の一例を示す図である。本発明において信号レベル補正処理は画像信号補正部０１０３で実施される。

図３において，０３０１は映像信号内の暗部に存在する代表的な被写体領域であり，０３０２は映像信号内の明部に存在する代表的な被写体領域である。画像信号補正部０１０３は予め暗部と明部でそれぞれ異なる補正特性となる入出力特性を持ち，注目画素が暗部に存在するか明部に存在するかに応じて対応する入出力特性を適用して信号レベルの補正を行う。０３０１に示す領域は暗部に存在する被写体領域であるため，信号を持ち上げる入出力特性で補正を行うことで暗い被写体の視認性を改善できる。また，０３０２に示す領域は明部に存在する被写体領域であるため，信号を沈める入出力特性で補正を行うことで明るい被写体の視認性を改善できる。ここで，暗部の入出力特性と明部の入出力特性を画像信号補正制御部０１０５＿３から取得した補正強度パラメータに応じて補正する。そのため，補正強度パラメータが小さい場合には入力と出力が一致するような入出力特性に近づけることで補正を弱めることができる。

これにより，被写体の明るさに応じて適応的に階調を補正して黒潰れ領域や白飛び領域における視認性を改善でき，また，補正強度パラメータを入力として与えることで必要に応じて補正の有無や強弱を変化させることが可能となる。

なお，注目画素が暗部に存在するか明部に存在するかの判定は，例えば，注目画素を含む局所領域の輝度の平均値から輝度信号の低周波成分を算出し，算出した低周波成分を閾値処理することで行える。

図４は，本発明の第１実施例に係る撮像装置の信号レベル補正強度パラメータ制御処理の一例を示す図である。本発明において信号レベル補正強度パラメータ制御処理は画像信号補正制御部０１０５＿３で実施される。

図４（ａ）は，本発明の第１実施例に係る撮像装置の信号レベル補正強度パラメータ制御処理の白飛びする高輝度被写体が画角内に存在しない場合の動作の一例を示す。図４（ａ）に示すように，白飛びする高輝度被写体が画角内に存在しない場合は露光制御部０１０５＿２が通常の露光制御を選択する。よって，カメラ信号処理部０１０２が出力する映像信号がすでに高い視認性を有する映像であるため，画像信号補正制御部０１０５＿３は信号レベルの補正の度合いが小さくなるように補正強度パラメータを決定する。そのため，補正後の映像は信号レベルを必要以上に補正した場合に生じる映像の不自然さやノイズの強調を抑制することが可能である。

図４（ｂ）は，本発明の第１実施例に係る撮像装置の信号レベル補正強度パラメータ制御処理の白飛びする高輝度被写体が画角内に存在する場合の動作の一例を示す。図４（ｂ）に示すように，白飛びする高輝度被写体が画角内に存在する場合は露光制御部０１０５＿２が白飛び抑制を優先した露光制御を選択する。よって，カメラ信号処理部０１０２が出力する映像信号は高輝度被写体である対向車の車両の視認性が向上する一方で，暗部に存在する先行車の車両がより暗くなり視認性が低下する。そこで，画像信号補正制御部０１０５＿３は特に暗部の信号レベルの補正の度合いが大きくなるように補正強度パラメータを決定する。これにより，補正後の映像は高輝度被写体である対向車と高輝度被写体でない先行車の両方について同時に高い視認性を持つ映像が生成できる。

このように，画像信号補正制御部０１０５＿３は，通常の制御を行う場合は信号レベルの補正強度を小さくして映像破綻やノイズの強調を抑制し高画質な映像を生成することが可能であり，白飛び抑制を優先した制御では，白飛びを抑制する露光制御にしたことで視認性が低下する高輝度被写体以外の注目被写体の視認性を改善することが可能である。また，動画像を撮影していて画角内に白飛び被写体が発生し，通常の制御から白飛び抑制優先制御に切り替わった場合でも，露光制御の切り替えと同じタイミングで信号レベルの補正強度の切り替えが可能であり，視認性低下による見落としを防止することが可能である。

図５は，本発明の第１実施例に係る撮像装置の制御切替え処理に関する処理シーケンスの一例を示す図である。本発明において制御切替え処理は制御切替え部０１０５＿１で実施される。制御切替え処理は制御切替え部０１０５＿１において，例えばフレーム単位のように一定ないし可変の時間間隔で繰り返し実施されるものとする。

図５に示す制御切替え処理に関する処理シーケンスにおいて，ＳＴ０５０１では，現在の制御の状態が通常の制御か白飛び抑制を優先した制御かをメモリ等を参照して判断し，現在の制御が通常の制御である場合はＳＴ０５０２に，白飛び抑制を優先した制御である場合はＳＴ０５０９に進む。

ＳＴ０５０２では，検出部０１０４から検出データとして画像信号中の所定の領域において信号値が輝度閾値ｌ１を超える画素数Ｎ１を取得しＳＴ０５０３に進む。輝度閾値ｌ１は，例えば信号値の飽和近辺に予め決定する。これにより，Ｎ１は通常の制御で撮影した画像において白飛びした高輝度被写体の面積となる。

ＳＴ０５０３では，Ｎ１を高輝度被写体判定閾値ｔｈ１と比較する。Ｎ１がｔｈ１以上の値である場合は，白飛びする高輝度被写体が発生したと判断しＳＴ０５０４に，Ｎ１がｔｈ１を下回る場合は，白飛びする高輝度被写体が存在していないと判断しＳＴ０５０７に進む。高輝度被写体判定閾値ｔｈ１は，例えば点光源などの有意な情報を含む可能性の低い高輝度被写体の影響を除外できるように，点光源等の代表的な大きさを上回る値を予め決定する。これにより，電光掲示板等の有意な情報を含む可能性の高い高輝度被写体のみ判断の対象とすることが可能である。

ＳＴ０５０４では，連続して高輝度被写体が発生したと判断された期間の長さをカウントするためのカウンタｃｎｔ１をインクリメントしＳＴ０５０５に進む。

ＳＴ０５０５では，ｃｎｔ１を期間閾値Ｍ１と比較する。ｃｎｔ１がＭ１以上の値である場合は，一定の期間白飛びする高輝度被写体が存在し続けていると判断しＳＴ０５０６に，ｃｎｔ１がＭ１を下回る場合は，ＳＴ０５０８に進む。Ｍ１の決定方法の一例については図７を用いて後述する。

ＳＴ０５０６では，次フレームの制御の状態を白飛び抑制を優先した制御に切り替え，メモリ等に記録して終了する。これにより，通常の制御を行っている場合に，白飛びするような高輝度被写体が発生したと判断したら白飛び抑制を優先した制御に即座に切り替え，高輝度被写体の視認性を向上することが可能となる。

ＳＴ０５０７では，ｃｎｔ１を０に初期化し，ＳＴ０５０８に進む。

ＳＴ０５０８では，次フレーム移行の制御の状態を通常の制御のまま保持して終了する。

ＳＴ０５０９では，検出部０１０４から検出データとして画像信号中の所定の領域において信号値が輝度閾値ｌ２を超える画素数Ｎ２を取得しＳＴ０５１０に進む。輝度閾値ｌ２は通常の露光を行った場合に白飛びすると予測される被写体の輝度を判別する閾値として予め設定する。輝度閾値ｌ２の決定方法の一例は図６を用いて後述する。

ＳＴ０５１０では，Ｎ２を高輝度被写体判定閾値ｔｈ２と比較する。Ｎ２がｔｈ２を下回る場合は，通常の制御に戻した場合に白飛びする高輝度被写体が消失したと判断しＳＴ０５１１に，Ｎ１がｔｈ１以上の場合は，通常の制御に戻した場合に白飛びする高輝度被写体が存在していると判断しＳＴ０５１４に進む。高輝度被写体判定閾値ｔｈ２は，高輝度被写体判定閾値ｔｈ１と同様の基準で決定し，決定方法の一例は図８を用いて後述する。

ＳＴ０５１１では，連続して高輝度被写体が消失したと判断された期間の長さをカウントするためのカウンタｃｎｔ２をインクリメントしＳＴ０５１２に進む。

ＳＴ０５１２では，ｃｎｔ２を期間閾値Ｍ２と比較する。ｃｎｔ２がＭ２以上の値である場合は，一定の期間通常の制御に戻した場合に白飛びする高輝度被写体が不在の状態が続いていると判断しＳＴ０５１３に，ｃｎｔ１がＭ１を下回る場合は，ＳＴ０５１５に進む。期間閾値Ｍ２は期間閾値Ｍ１と同様の基準で決定する。

ＳＴ０５１３では，次フレーム移行の制御の状態を通常の制御に切り替え，メモリ等に記録して終了する。これにより，白飛び抑制を優先した制御を行っている場合に，通常制御に戻すと白飛びするような高輝度被写体が存在しないと判断したら通常の制御に即座に切替え，注目被写体の明るさが適正でかつ高画質な映像に戻すこと可能となる。

ＳＴ０５１４では，ｃｎｔ２を０に初期化し，ＳＴ０５１５に進む。

ＳＴ０５１５では，次フレーム移行の制御の状態を白飛び抑制を優先した制御のまま保持して終了する。

これにより，画角内に白飛びするような高輝度被写体の有無に応じて即座に，高輝度被写体の視認性の向上を優先した制御と，注目被写体の画質を優先した制御とを切り替えることができる。特に，白飛び抑制を優先した制御から通常の制御に切り替える際に，白飛びの度合いを見ながら徐々に露光目標を大きくするような従来のフィードバック制御では，応答性が低下する場合や，露光制御が収束するまでに過補正して白飛びが発生する場合があるのに対し，本実施例に基づく制御では通常の制御に戻しても白飛びが発生しないことを保障した上ですぐに切り替えることができる。そのため，ランプの付いた車両などの高速で移動する高輝度被写体が画角の内外を出入りするような場合でも，高い応答性でそれぞれのシーンに最適に視認性を向上した映像を安定して提供することが可能である。

図６は本発明の第１実施例に係る撮像装置の制御切替え処理における輝度閾値ｌ２の決定方法の一例を示す図である。

図６（ａ）は，本発明の第１実施例に係る撮像装置において白飛び抑制を優先した制御を行っている場合の映像の第１の例として，白飛び抑制を優先した露光制御が適用され，かつ高輝度被写体として対向車の車両が画角内に存在するシーンの例を示す。

白飛び抑制を優先した露光制御においては，通常の露光制御が適用された場合に比して露光量が１／Ｘとなることを考慮し，白飛び抑制を優先した制御における高輝度被写体判定用の輝度閾値ｌ２は通常の制御における高輝度被写体判定用の輝度閾値ｌ１を１／Ｘとしたものとして設定する。図６（ａ）に示すように，通常の露光制御で白飛びする高輝度被写体は，白飛び抑制を優先した露光制御で得られたヒストグラムにおいてｌ２より高い範囲に分布する。そのため，輝度閾値ｌ２以上の信号値を持つ画素数が多ければ，通常の制御に戻した場合に白飛びが発生すると判断することができる。

図６（ｂ）は，本発明の第１実施例に係る撮像装置において白飛び抑制を優先した制御を行っている場合の映像の第２の例として，白飛び抑制を優先した露光制御が適用され，かつ高輝度被写体が画角内に存在しないシーンの例を示す。

図６（ｂ）に示すように，通常の露光制御で白飛びする高輝度被写体が画角内に存在しない場合は，白飛び抑制を優先した露光制御で得られたヒストグラムにおいてｌ２より高い範囲の度数が存在しない。そのため，輝度閾値ｌ２以上の信号値を持つ画素数が少なければ，通常の制御に戻した場合でも白飛びが発生しない判断することができる。

このように，白飛び抑制を優先した制御における輝度閾値を通常の制御の輝度閾値と露光補正量から決定することで，白飛び抑制を優先した制御を行っている場合に，通常の制御に戻すと白飛びが発生するか否かを精度よく判断して白飛びが発生しない場合のみに通常の制御に戻すといった安定的に切替え制御を行うことが可能である。

図７は本発明の第１実施例に係る撮像装置の制御切替え処理における期間閾値Ｍ１の決定方法の一例を示す図である。

図７において横軸は撮影時刻，縦軸は各々の時刻において算出した高輝度被写体画素数Ｎ１を示す。この例においては，撮影時刻に応じて被写体が変動し，時刻ｔ１まで，および，ｔ２からｔ３の期間は高輝度被写体が画角内に存在せず，時刻ｔ１からｔ２の期間は微小時間で消失するフラッシュ光が画角内で点灯され，ｔ３以降の期間は対向車などの微小時間で消失しない高輝度被写体が画角内に存在しているものとする。このとき，図５を用いて説明したとおり，制御切替え部０１０５＿１は，高輝度被写体画素数Ｎ１が連続して高輝度被写体判定閾値ｔｈ１を超えた場合にその期間に応じてカウンタｃｎｔ１をインクリメントし，ｃｎｔ１が期間閾値Ｍ１を超えた時点で通常の制御から白飛び抑制を優先した制御に切替える。そこで，期間閾値Ｍ１をｔ２−ｔ１より十分に大きな値を設定することで，フラッシュ光のような瞬間的な高輝度被写体の有無では制御が切り替わらず，対向車などが発生した場合には制御の切り替わりが行われるといったように制御の安定性を向上することが可能となる。白飛び抑制を優先した制御を実施している場合の期間閾値Ｍ２も同様に設定することで，明かりが瞬間的に消失した場合には制御が切り替わらないようにするなど制御の安定性を向上することが可能となる。

図８は本発明の第１実施例に係る撮像装置の制御切替え処理における高輝度被写体判定閾値ｔｈ２の決定方法の一例を示す図である。

図８において横軸は高輝度被写体画素数Ｎ１またはＮ２，縦軸は制御切替え部０１０５＿１が次の制御でいずれの制御に切り替えるかの判定結果を示している。図８に示すように，例えば，通常の制御における高輝度被写体判定閾値ｔｈ１に対して白飛び抑制を優先した制御における高輝度被写体判定閾値ｔｈ２を小さく設定する。これにより，高輝度被写体画素数がｔｈ１からｔｈ２間の範囲の近辺に存在する場合に，通常の制御から白飛び抑制を優先した制御には相対的に移行しやすく，白飛び抑制を優先した制御から通常の制御には相対的に移行しにくくなる。このようにｔｈ１とｔｈ２をずらして設定することで，フリッカやノイズ等の影響で高輝度被写体画素数の検出データが時間毎にばらつく場合に，制御の切替えが交互に繰り返されることを抑制し制御を安定化することが可能である。
かように本実施例によれば，撮影画角内の高輝度被写体の有無の変化に対して高い応答性でかつ安定的に，それぞれのシーンに適応して視認性と画質を向上した映像を提供することが可能となる。

図９は，本発明の第２実施例に係る露光制御の第一の例を示す図である。本発明において露光制御の第一の例は露光制御部０１０５＿２で実施される。

図９（ａ）は，本発明の第２実施例に係る撮像装置の露光制御の第一の例に関する処理シーケンスの一例を示す図であり，図９（ｂ）は本発明の第１実施例に係る撮像装置の露光制御を適用した場合の動作の一例であり，図９（ｃ）は本発明の第２実施例に係る撮像装置の露光制御の第一の例を適用した場合の動作の一例である。

図９（ａ）に示す露光制御の第一の例に関する処理シーケンスにおいて，ＳＴ０９０１では，制御切替え部０１０５＿１より現在の制御の状態を取得し，現在の制御の状態が白飛び抑制を優先した制御であればＳＴ０９０２に，通常の制御であればＳＴ０９０６に進む。

ＳＴ０９０２では，検出部０１０４から検出データとして画像信号中の所定の領域において信号値が輝度閾値ｄ１を下回る画素数Ｎｄ１を取得しＳＴ０９０３に進む。輝度閾値ｄ１は，例えば信号値の黒レベル近辺に予め決定する。これにより，Ｎｄ１は白飛び抑制を優先した制御で撮影した画像において黒潰れした被写体の面積となる。

ＳＴ０９０３では，黒潰れ画素数Ｎｄ１を黒潰れ判定閾値ｔｈｄ１と比較する。Ｎｄ１がｔｈｄ１より有意に大きければ黒潰れが存在すると判断し，ＳＴ０９０４に進む。Ｎｄ１がｔｈｄ１より有意に小さければ黒潰れが存在しないと判断し，ＳＴ０９０５に進む。Ｎｄ１がｔｈｄ１とほぼ同じである場合は，これ以上露光補正量を大きくすると黒潰れが発生する可能性があると判断し，ＳＴ０９０６に進む。ｔｈｄ１は例えば黒い模様や影など画角内に自然に存在する低輝度被写体の代表的な割合を基準に決定する。ほぼ等しい，有意に大きい，有意に小さい，を判断するにあたっては，上記と同様に例えば，２つの閾値を設け，黒潰れ画素数Ｎｄ１と黒潰れ判定閾値ｔｈｄ１との差が大きいほうの閾値よりも大きい場合に有意に大きい，小さいほうの閾値よりも小さい場合に有意に小さい，２つの閾値の間である場合にほぼ等しいと判断する等の方法が考えられるが，本実施例は当該方法に限定されるものではない。

ＳＴ０９０４では，露光補正量Ｘを小さくしてＳＴ０９０６に進む。これにより黒潰れが発生している場合に白飛び抑制の効果を抑えて黒潰れを改善することができる。

ＳＴ０９０５では，露光補正量Ｘを大きくしてＳＴ０９０６に進む。これにより黒潰れが発生していない場合に白飛び抑制の効果を強くして高輝度被写体の視認性を改善することができる。

ＳＴ０９０６では制御した露光補正量Ｘを用いて露光制御を行う。露光制御の動作は図２を用いて説明したとおりであり，通常の制御を実施する場合は予め定めた露光目標値ｇ＿ｅを参照して露光制御を行い，白飛び抑制を優先した制御では予め定めた露光目標値ｇ＿ｅを制御した露光補正量Ｘを用いて補正したから露光制御を行う。

図９（ｂ）に示すように本発明の第１実施例に係る露光制御を適用した場合は，強い白飛び抑制効果を得られるが，高輝度被写体と高輝度被写体以外の注目被写体との照度差が非常に大きい場合は，高輝度被写体以外の注目被写体が黒潰れしてしまう可能性がある。図９（ｃ）に示すように本発明の第１実施例に係る露光制御を適用した場合は，輝度閾値ｄ１を下回る画素の分布を参照して黒潰れの有無を判断し露光補正量Ｘを制御するため，露光目標を下げすぎて黒潰れが激しくなった場合に，白飛び抑制の効果を抑えて白飛びと黒潰れを最もバランス良く抑制した映像を生成することができる。

なお，上記の例では，黒潰れ画素数Ｎｄ１と黒潰れ判定閾値ｔｈｄ１とを比較する際に，黒潰れ判定閾値ｔｈｄ１にヒステリシス値γ，Δを設けてＮｄ１とｔｈｄ１＋γおよびｔｈｄ１−Δとの大小関係を比較しても良い。これにより黒潰れ画素数Ｎｄ１がノイズ等の影響でばらついた場合でも，露光制御がばらつきの影響で誤動作することなく安定的な動作をさせることが可能である。
また，露光補正量Ｘを制御する際に，露光補正量Ｘの制御範囲に最大値と最小値を設けてリミット処理を行っても良い。これにより，白飛び抑制の最高の効果と最低の効果を事前に決定して保障することが可能である。

図１０は，本発明の第２実施例に係る露光制御の第二の例を示す図である。本発明において露光制御の第二の例は露光制御部０１０５＿２で実施される。

図１０（ａ）は，本発明の第２実施例に係る撮像装置の露光制御の第二の例に関する処理シーケンスの一例を示す図であり，図１０（ｂ）は本発明の第２実施例に係る撮像装置の露光制御の第二の例を適用した場合の動作の一例である。

図１０（ａ）に示す露光制御の第二の例に関する処理シーケンスにおいて，ＳＴ１００１では，制御切替え部０１０５＿１より現在の制御の状態と次の制御の状態を取得し，現在の制御の状態が通常の制御で，かつ，次の制御の状態が白飛び抑制を優先した制御である場合，すなわち，通常の制御から白飛び抑制を優先した制御に切り替わるタイミングであればＳＴ１００２に，それ以外のタイミングであればＳＴ１００８に進む。

ＳＴ１００２では，検出部０１０４から検出データとして画像信号中の所定の領域において信号値が輝度閾値ｄ２を下回る画素数Ｎｄ２と，輝度閾値ｄ３を下回る画素数Ｎｄ３とをそれぞれ取得しＳＴ１００３に進む。輝度閾値ｄ２と輝度閾値ｄ３は，ｄ２＜ｄ３となるように設定する。これにより，Ｎｄ２は露光補正量Ｘが大きい場合に白飛び抑制を優先した制御を行うと黒潰れすると予測される被写体の面積となる。また，Ｎｄ２は露光補正量Ｘがやや大きい場合に白飛び抑制を優先した制御を行うと黒潰れすると予測される被写体の面積となる。

ＳＴ１００３では，第一の黒潰れ予測画素数Ｎｄ２を黒潰れ判定閾値ｔｈｄ２と比較する。Ｎｄ２がｔｈｄ２以上であれば露光補正量Ｘが大きいと白飛び抑制を優先した制御に切り替えた際に黒潰れが発生すると予測しＳＴ１００５に，Ｎｄ２がｔｈｄ２を下回ればＳＴ１００４に進む。

ＳＴ１００４では，第二の黒潰れ予測画素数Ｎｄ３を黒潰れ判定閾値ｔｈｄ３と比較する。Ｎｄ３がｔｈｄ３以上であれば露光補正量Ｘがやや大きいと白飛び抑制を優先した制御に切り替えた際に黒潰れが発生すると予測しＳＴ１００６に，Ｎｄ３がｔｈｄ３を下回ればＳＴ１００７に進む。ｔｈｄ２やｔｈｄ３はｔｈｄ１と同様に決定すれば良い。

ＳＴ１００５では，露光補正量ＸにＸ２を設定しＳＴ１００８に進む。

ＳＴ１００６では，露光補正量ＸにＸ１を設定しＳＴ１００８に進む。

ＳＴ１００７では，露光補正量ＸにＸ０を設定しＳＴ１００８に進む。

ＳＴ１００８では制御した露光補正量Ｘを用いて露光制御を行う。露光制御の動作は図２を用いて説明したとおりであり，通常の制御を実施する場合は予め定めた露光目標値ｇ＿ｅを参照して露光制御を行い，白飛び抑制を優先した制御では予め定めた露光目標値ｇ＿ｅを制御した露光補正量Ｘを用いて補正してから露光制御を行う。そのため，ＳＴ１００５からＳＴ１００７で露光補正量Ｘに設定したＸ０からＸ２の値は，白飛び抑制を優先した制御を開始した際の露光補正量Ｘの初期値として用いられる。ここで，Ｘ０からＸ２はＸ０＞Ｘ１＞Ｘ２の関係となるように予め決定した基準の露光補正量である。そのため，図１０（ｂ）に示すように輝度閾値ｄ２を下回る画素数が多く，露光補正量Ｘが大きいと白飛び抑制を優先した制御に切り替えた際に黒潰れが発生すると予測された場合には，露光補正量Ｘを予め小さくすることで白飛び抑制を優先した制御に切り替えて即座に，白飛び抑制の効果を抑えて白飛びと黒潰れを最もバランス良く抑制した映像を生成することができる。また，露光補正量Ｘが大きくても白飛び抑制を優先した制御に切り替えた際に黒潰れが発生しないと予測された場合には，露光補正量Ｘを予め大きくすることで白飛び抑制の効果を大きくした映像を生成することが可能である。

なお，上記の例にて通常の制御から飛び抑制を優先した制御に切り替えた場合の露光補正量Ｘの初期値を決定した後に，図１０に示した露光制御の第一の例を組み合わせてさらに露光補正量Ｘの補正を行っても良い。これにより，制御を切り替えた後で撮影シーンの明るさが変わり黒潰れの度合いが変化した場合でも，そのときの撮影シーンに適応して白飛びと黒潰れを最もバランス良く抑制した映像を生成することができる。

かように本実施例によれば，撮影画角内の高輝度被写体の有無の変化に対して高い応答性でかつ安定的に，それぞれのシーンに適応して白飛びと黒潰れをバランス良く抑制した映像を提供することが可能となる。なお，本発明は上記した実施例に限定されるものではなく，様々な変形例が含まれる。

例えば，図１に示す撮像装置において，画像信号補正部０１０３はカメラ信号処理部０１０２の出力した映像信号を入力して信号レベルの補正処理を実施する構成としているが，画像信号補正部０１０３が撮像部０１０１とカメラ信号処理部０１０２の間にある構成であっても良い。この場合，画像信号補正部０１０３は例えばＲＡＷ形式の画像信号に対して処理を行うため，カメラ信号処理部内で実施する種々の非線形の信号処理の影響を受けずに自由度の高いレベル補正処理が可能となる。

また，上記した実施例では階調潰れとして白飛びを例に挙げて説明したが，黒潰れや中間階調の潰れなどその他の場合にも適用することが可能である。

また，上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり，必ずしも説明した全ての構成を備えるものに限定されるものではない。

また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は例えば，民生や監視や車載や業務用途において，撮像装置や撮像装置と接続されたＰＣアプリケーション，画像処理装置などに利用可能である。

０１０１ 撮像部
０１０２ カメラ信号処理部
０１０３ 画像信号補正部
０１０４ 検出部
０１０５ 階調潰れ抑制制御部
０１０５＿１ 制御切替え部
０１０５＿２ 露光制御部
０１０５＿３ 画像信号補正制御部

Claims (8)

1. 撮像手段と，
   該撮像手段の出力する画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正手段と，
   前記撮像手段の出力する画像信号中の所定の輝度範囲の階調潰れの度合いをフレーム毎に評価し，評価結果に応じて階調潰れが有ると判断した場合と階調潰れが無いと判断した場合とで，前記撮像手段の露光量と前記画像信号補正手段の信号レベル補正処理の入出力特性の制御を切り替えるか否かを判断する階調潰れ抑制制御手段と，
   を備え，
   前記階調潰れ抑制制御手段は，
   前記撮像手段の露光量と前記画像信号補正手段の信号レベル補正処理の入出力特性の制御により，階調潰れ抑制を優先した制御と階調潰れ抑制を優先しない通常制御を実施し，
   前記通常制御を実施している場合に，所定の期間内に算出されたフレーム毎の前記階調潰れの度合いの評価値の組み合わせに基づき，該評価値が所定の第一の判定閾値以上である期間の長さが所定の第一の期間閾値以上である場合，階調潰れを有りと判断し，前記階調潰れ抑制を優先した制御を実施し，
   前記階調潰れ抑制を優先した制御を実施していた場合に，所定の期間内に算出されたフレーム毎の前記階調潰れの度合いの評価値の組み合わせに基づき，該評価値が所定の第二の判定閾値以下である期間の長さが，所定の第二の期間閾値以上である場合に，階調潰れを無しと判断し，前記通常制御を実施すること
   を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，階調潰れが有ると評価した場合に前記階調潰れ抑制を優先した制御として，前記撮像手段の露光量を階調潰れが無いと評価した場合に比して階調潰れを抑制する方向に所定の露光補正量を増減するように制御すること，
   を特徴とする撮像装置。
3. 請求項２に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，階調潰れが有ると評価した場合に前記階調潰れ抑制を優先した制御として，前記画像信号補正手段の信号レベル補正処理の入出力特性を階調潰れが無いと評価した場合に比してレベル補正の度合いが大きくなるように制御すること，
   を特徴とする撮像装置。
4. 請求項２から３のいずれかに記載の撮像装置において，
   前記階調潰れ抑制制御手段は，前記階調潰れ抑制を優先した制御を実施していない場合に，前記画像信号における所定の輝度範囲内の画素数を階調潰れの度合いの評価値として算出し，所定の閾値より大きい場合に階調潰れが有ると判断して前記階調潰れ抑制を優先した制御を開始すること，
   を特徴とする撮像装置。
5. 請求項４に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，前記階調潰れ抑制を優先した制御を実施している場合に，前記所定の輝度範囲を前記階調潰れ抑制を優先した制御で増減する露光補正量に応じて補正した輝度範囲を設け，前記画像信号における該補正した輝度範囲内の画素数を階調潰れの度合いの評価値として算出し，所定の閾値より小さい場合に階調潰れが無いと判断して前記階調潰れ抑制を優先した制御を終了すること，
   を特徴とする撮像装置。
6. 請求項１に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，階調潰れの有無の判断方法を，前記階調潰れ抑制を優先した制御を開始する場合と終了する場合とで異ならせること，
   を特徴とする撮像装置。
7. 請求項１に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，前記階調潰れ抑制を優先した制御を実施している場合に，第二の所定の輝度範囲の階調潰れの度合いを評価し，該評価に応じて前記階調潰れ抑制を優先した制御で増減する露光補正量を制御すること，を特徴とする撮像装置。
8. 請求項３に記載の撮像装置において，
   前記階調潰れ抑制制御手段は，前記階調潰れ抑制を優先した制御を開始する場合に，予め前記階調潰れ抑制を優先した制御を実施した場合の第二の所定の輝度範囲の階調潰れの度合いを推測し，該推測に応じて前記階調潰れ抑制を優先した制御で増減する露光補正量を制御すること，
   を特徴とする撮像装置。

Images