JP2005191954A - 撮像システム - Google Patents

Abstract

【課題】 画像が急に明るくなる違和感を抑制した画像出力を可能とする。
【解決手段】 赤外光を照射するためのＩＲランプと、ＩＲランプにより照射された場所を撮像して電気信号に変換するＣＣＤカメラ５と、ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力可能な画像処理ユニット７とを備え、画像処理ユニット７は、ＣＣＤカメラ５に強い入射光があったときはその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力すると共に、ＣＣＤカメラ５に入る強い入射光が無くなったときは信号蓄積時間を徐々に長くするように制御することを特徴とする。
【選択図】 図１

Description

本発明は、ＣＣＤカメラ等を用いた撮像システムに関する。

従来の撮像システムとしては、例えば図２４に示すようなものがある。この図２４では、撮像手段としてＣＣＤ１０１を備え、画像処理部としてＤＳＰ（Digital Signal Processor）１０３及びＣＰＵ１０５を備えている。

前記ＣＰＵ１０５とＤＳＰ１０３とはマルチプレクス回路１０７を介して接続され、ＣＰＵ１０５にはシャッタースピード設定スイッチ１０９からの信号が入力されるようになっている。シャッタースピード設定スイッチ１０９は、ＯＤＤ（奇数番目）フィールド用のシャッタースピードとＥＶＥＮ（偶数番目）フィールド用のシャッタースピードとをそれぞれ設定できるようになっている。

すなわちシャッタースピード設定スイッチ１０９の設定状態をＣＰＵ１０５で読み取り、各フィールドのシャッタースピード設定値をエンコード出力する。ＤＳＰ１０３からは図２５で示すフィールドパルス信号が出力され、出力信号がハイの場合はＥＶＥＮ側のシャッタースピード設定値出力が、ローの場合はＯＤＤ側のシャッタースピード設定値出力が、マルチプレクス回路１０７によってＤＳＰ１０３のシャッタースピード設定入力端子に入力される。従って、図２４のような撮像システムによってフィールド毎に異なるシャッタースピードを設定することができる。

一般に、ＣＣＤカメラで撮影する場合、ＯＤＤフィールド、ＥＶＥＮフィールド共にシャッタースピードが同じである自動シャッタースピードのとき、図２６のように周囲が暗い状態の中に明るい光源が入るとその光源周辺がハレーションによって見えなくなる。

図２６は、自動車の夜間走行中に赤外光照射手段であるＩＲランプで前方に赤外光を照射し、車載のＣＣＤカメラで走行前方を撮像した画像である。対向車のヘッドランプの照明等の明るい光源の周辺がハレーションによって見えなくなっている。これは、夜間等、周囲が暗いときに強い光が入っても、全面測光の一般的なＣＣＤカメラでは周囲の暗い条件が支配的となって露光条件が計算されるため、明るい部分に対しては相対的にシャッタースピードが遅くなるように制御されて露光時間が長くなるからである。

一方、シャッタースピードを高速にしてハレーションを抑えるようにすることもできるが、図２７のように、周囲の暗い部分がより暗くなってしまい、背景が全く見えなくなってしまうという問題が残る。

図２８のように標識等の反射物が撮像範囲内に入った場合も同様に制御され、反射物周辺の景色が見えなくなる等の問題が残る。

これに対し、各フィールド毎にシャッタースピードを変える制御は、いわゆる二重露光制御と言われているもので、フィールド毎に異なるシャッタースピードを設定する。これにより、明るい映像と暗い映像とを交互に出力し、明るい映像（この場合はＥＶＥＮフィールド）では暗くて見えなくなった部分を映し出し、暗い映像（この場合はＯＤＤフィールド）ではハレーションで見えなかった部分を映し出すことが可能となる。

そして、各フィールド画像を交互に出力し、鮮明な映像としてモニタに表示させることができる。

しかし、二重露光制御においてＥＶＥＮフィールド、ＯＤＤフィールドに適切な露光が得られても、ある閾値によって二重露光制御を行うか行わないかというＯＮ／ＯＦＦ制御を行うためＣＣＤカメラに捉えられた入射光が刻々と変化する状況には必ずしも対応しないという問題がある。

例えば、自車が角を曲がり対向車のヘッドランプの強い光がいきなり入ったとき二重露光制御を行わせ、対向車がすれ違った後すぐに二重露光制御が停止され、或いは二重露光差が小さくなるとＥＶＥＮフィールド、ＯＤＤフィールド共に露光が開放となり、図２９のように画面が急に明るくなって不自然であり、違和感を感ずる恐れがある。

特公平７−９７８４１号公報

解決しようとする問題点は、強い光が入った直後の画像変化に違和感がある点である。

本発明は、違和感を抑制した画像出力を可能とするため、撮像手段に強い入射光があったときはその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力すると共に、撮像手段に入る強い入射光が無くなったときは信号蓄積時間を徐々に長くするように制御することを最も主要な特徴とする。

本発明の撮像システムは、撮像手段に強い入射光があったときはその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力すると共に、撮像手段に入る強い入射光が無くなったときは信号蓄積時間を徐々に長くするように制御するため、強い光の入射が無くなった後すぐに二重露光制御が停止され、或いは二重露光差が小さくなることが規制され、画面の明るさが徐々に変化し、自然な感じで違和感を抑制した出力画像を得ることができる。

前記画像処理部が、前記信号蓄積時間を時間間隔を持ちながら徐々に長くするように制御する場合は、違和感を確実に抑制することができる。

前記画像処理部が、前記時間間隔をフレーム数でカウントする場合は、時間間隔を簡単に設定することができ、制御を確実且つ容易に行わせることができる。

前記画像処理部が、前記撮像手段に強い入射光があったと状態が所定フレーム数連続したときその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力する場合は、強い入射光の程度に応じた二重露光制御を的確に行わせることができる。

前記画像処理部が、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、前記中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御する場合は、撮像手段に対向車のヘッドランプなどの強い光が入っても該強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域を除去或いは抑制することができ、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。

前記画像処理部が、前記画像の一方を三値化処理して高輝度、中輝度、低輝度の属性に分け、前記高輝度の回りの中輝度の数に応じて前記他方の画像の信号蓄積時間を制御する場合は、高輝度の回りの中輝度の数により中輝度の程度を確実に捉え、周期的に出力される画像の他方の信号蓄積時間の制御をより確実に行うことができる。

前記画像処理部が、前記画像の一方を複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行う場合は、各画素に注目して三値化処理を行う場合に比べて迅速な処理を行うことができる。

前記画像処理部が、前記画像の一方を複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度、中輝度、低輝度の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行う場合は、各画素に注目して三値化処理を行うことができ、より正確な処理を行うことができる。

前記画像処理部が、前記高輝度の属性の回りの中輝度の属性の数の最大数に応じて前記他方の画像の信号蓄積時間を制御する場合は、ハレーションを簡易に特定することができ、迅速な処理を行うことができる。

前記画像処理部が、前記高輝度の属性の数と該高輝度の属性の回りに検出される中輝度の属性の数と高輝度の回りに理想的に形成される中輝度の属性の数とに応じて前記他方の画像の信号蓄積時間を制御する場合は、ハレーションを的確に特定することができ、より正確な処理を行うことができる。

前記画像処理部が、前記高輝度の属性を特定しその回りを順次探索して高輝度の回りの中輝度を特定すると共に隣接する高輝度の属性が特定されたときは該高輝度の属性を順次結合する場合は、高輝度の固まりを的確且つ迅速に抽出して制御することができる。

前記赤外光照射手段、撮像手段、及び画像処理部が、自動車に備えられ、前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像する場合は、対向車のヘッドランプの照明等によるハレーションがあっても、強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域が除去或いは抑制され、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。

違和感を抑制し、的確な画像出力を可能とするという目的を、簡単な制御により実現した。

図１〜図２３は本発明の実施例１を示している。図１は本発明の実施例１を適用した自動車の概念図、図２は実施例１に係る撮像システムのブロック図、図３は実施例１に係るフローチャートである。

図１のように、本発明の実施例１に係る撮像システムは、自動車１に適用されたもので、自動車１には赤外光照射手段としてＩＲランプ３と、撮像手段としてＣＣＤカメラ５と、画像処理部として画像処理ユニット７とが備えられる他、ヘッドアップディスプレイ９が備えられている。

前記ＩＲランプ３は、夜間等、暗所における撮像を可能にするため自動車１の走行方向の前方に赤外光を照射するためのものである。前記ＣＣＤカメラ５は、前記赤外光が照射された前記自動車１の走行方向の前方を撮像し、電気信号に変換するものである。この場合の電気信号は、前記ＣＣＤカメラ５における感光部のフォトダイオードによって変換されたものである。前記画像処理ユニット７は、前記ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力可能となっている。

前記信号蓄積時間は、各画素毎の信号蓄積時間であり、信号蓄積時間を所定の周期で変化させるとは、各画素に蓄積された不要電荷を吐き出すパルスの回数を変化させることにより結果的に蓄積される時間を変化させることであり、いわゆる電子シャッター動作を言う。また露光量の異なる画像を連続して周期的に出力するとは、電子シャッター動作によってＯＤＤフィールド、ＥＶＥＮフィールド毎にシャッタースピードを設定し、それぞれのシャッタースピードで読み出された各フィールドの画像を例えば１／６０秒毎に連続して交互に出力することを言う。

そして、シャッタースピードを速くした高速シャッターでは、暗い部分は映りにくいが明るい部分は鮮明に映り、シャッタースピードを遅くした低速シャッターでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映ることになる。

前記画像処理ユニット７は、前記ＣＣＤカメラ５に強い入射光があったときはその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力する。本実施例では、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、該中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御する。

前記ＣＣＤカメラ５及び画像処理ユニット７は、図２のように、ＣＣＤ５ａ、ＡＦＥ１１、ＤＳＰ１３、ＲＡＭ１５、ＣＰＵ１７などを備えている。

前記ＣＣＤカメラ５は、前記ＣＣＤ５ａ、ＡＦＥ１１、ＤＳＰ１３、及びＣＰＵ１７の一部を含んでいる。前記画像処理ユニット７は、ＤＳＰ１３の一部、ＲＡＭ１５、ＣＰＵ１７を含んでいる。

前記ＡＦＥ１１は、アナログフロントエンドであり、前記ＣＣＤ５ａの出力信号を増幅し、アナログ信号をデジタル信号に変換する。

前記ＤＳＰ１３は、デジタル信号処理部であり、前記ＣＣＤ５ａ，ＡＦＥ１１作動のためのタイミング信号生成、ＡＦＥ１１を経由して取り込んだＣＣＤ５ａの信号のγ変換、エンハンサ処理、デジタル信号増幅処理などの信号変換・映像信号生成処理を行う。

前記ＲＡＭ１５は、メモリであり、前記ＤＳＰ１３から出力されたＥＶＥＮフィールド画像の輝度（＝濃度）データを一時保管する。

前記ＣＰＵ１７は、各種演算を行うと共に、図２４で説明したと同様な構成によってＯＤＤフィールド、ＥＶＥＮフィールド毎のシャッタースピードをコントロールできるようになっている。すなわちＥＶＥＮフィールドに対しては全体の平均濃度から最適な露光条件を算出して前記ＡＦＥ１１に対する増幅制御、ＤＳＰ１３を経由してＣＣＤ５ａに対する電子シャッターの制御を行う。

次に作用を説明する。

まず、前記ＣＰＵ１７でシャッタースピードの初期設定が行われ、ＯＤＤフィールド側のシャッタースピードコントロール信号及びＥＶＥＮフィールド側のシャッタースピードコントロール信号がＤＳＰ１３へ出力される。

前記ＤＳＰ１３では、ＣＣＤ５ａ、ＡＦＥ１１作動のためのタイミング信号が生成される。このタイミング信号の出力によってＣＣＤ５ａによる撮像が行われ、ＣＣＤ５ａの感光部のフォトダイオードの全画素で信号電荷が行われる。ＯＤＤフィールド側では感光部のフォトダイオード全画素のうち垂直方向に１つおき奇数番目の画素の信号電荷が設定されたシャッタースピードで読み出される。ＥＶＥＮフィールド側では偶数番目の画素の信号電荷が設定されたシャッタースピードで読み出される。

前記ＣＣＤ５ａで読み出された信号電荷はＡＦＥ１１で増幅されると共にデジタル信号に変換され、ＤＳＰ１３に取り込まれる。ＤＳＰ１３では、取り込まれた信号のγ変換、エンハンサ処理、デジタル信号増幅処理などの信号変換・映像信号生成処理を行う。

前記ＤＳＰ１３から出力されたＥＶＥＮフィールド画像の輝度データは、ＲＡＭ１５に一時保管される。

前記ＣＰＵ１７は、ＥＶＥＮフィールドに対して、全体の平均濃度から最適な露光条件を算出し、ＤＳＰ１３を経由してＣＣＤ５ａに対する電子シャッターの制御を行う。

前記ＣＰＵ１７は、ＯＤＤフィールドに対して、図３のフローチャートの露光切替制御により露光条件を算出する。

露光切替制御の開始により、ステップＳ１では、「ＥＶＥＮフィールドブロック単位輝度データ取込」の処理が実行される。この処理により、ＲＡＭ１５に蓄積されたＥＶＥＮフィールド分の輝度データをいくつかのブロックに分割し、ブロック毎の平均輝度が算出され、ステップＳ２へ移行する。

ステップＳ２では、「ブロック単位三値化データ変換」の処理が実行される。この処理により、ステップＳ１で分割されたブロックの各平均輝度に対し、二つの閾値を用いて各ブロックが三値化データに変換され、ステップＳ３へ移行する。

ステップＳ３では、「高輝度ブロック検出」の処理が実行される。この処理では、前記各ブロックの三値化データから高輝度の固まりが検出され、ステップＳ４へ移行する。

ステップＳ４では、「高輝度ブロックグループ化」の処理が実行される。この処理では、隣接する高輝度部のブロックが結合（グループ化）されて高輝度部の大きさ（＝ブロック数）が検出され、ステップＳ５へ移行する。

ステップＳ５では、「中輝度ブロック検出」の処理が実行される。この処理では、前記結合された高輝度部の周りの中輝度の広がり（＝ブロック数）を持ったグループが抽出され、ステップＳ６へ移行する。

ステップＳ６では、「ハレーションレベル計算」の処理が実行される。この処理では、前記高輝度の大きさ及び中輝度の広がり度合い、あるいは中輝度の広がりのみからハレーションの大きさ（強度）が算出される。この算出により、ＥＶＥＮフィールド内で最大のハレーション強度が検出され、ステップＳ７へ移行する。

ステップＳ７では、「ＯＤＤフィールド露光目標切替」の処理が実行される。この処理では、前記ハレーション強度に応じてＯＤＤフィールドの露光をＥＶＥＮフィールドに対してどの程度絞るかが算出され、処理が終了される。この終了により、次のＥＶＥＮフィールドの処理へ移行する。

以上のようにして算出された露光条件によりＣＣＤ５ａの電子シャッター、ＡＦＥ１１のＡＧＣゲイン、ＤＳＰ１３のデジタルゲインなどが制御され、得られる映像の明るさを最適化する。

なお、前記ステップＳ２での三値化データ算出はブロック毎の平均輝度ではなく、ブロック内で最も多くを占める画素の属性に合わせることも有効である。

以上により、夜間、図１のＣＣＤカメラ５に対向車のヘッドランプの光など強い光が入った時に周辺の暗い部分の映像の明るさを落とすことなく強い光の影響を抑えることができる。

ここで、一般に、自動車用として使用される撮像システムのＣＣＤカメラは、映像方式としてインターレース方式を持つ。その映像信号は、前記のようにＥＶＥＮフィールドとＯＤＤフィールドの２つのフィールドから成り、２つのフィールドが時間的に交互に出力されることによって、見る人の目に一定の解像度を持った映像として映る。

前記通常のＣＣＤカメラは、ＥＶＥＮまたはＯＤＤいずれかのフィールドで受光する光の平均的な輝度により、露光条件を計算する。露光条件は、ＤＳＰを経由してＣＣＤの電荷吐き出し制御を行うための電子シャッター速度、ＡＦＥでの増幅率（ＡＧＣゲイン）、及びＤＳＰ内でのデジタル増幅率を算出することであり、それぞれの制御をすることによって、最適な明るさの映像を生成、ＴＶモニタへ出力することができる。

一般的なＣＣＤカメラは、ここで求められた露光条件がＥＶＥＮフィールド／ＯＤＤフィールドのいずれにも適用され、結果として両フィールドは同程度の明るさを持った映像が出力されることになる。このような制御方法を行うカメラにおいては、特に夜間での使用時、暗い環境の中に強い光（例えば、対向車のヘッドランプ）があると、露光条件は全体の輝度平均値で決まるため、強い光とその周辺が白く飽和した映像として出力されることが多い（いわゆるハレーション）。

前記ハレーションは、第４図に示すように強い光とその近傍は白く飽和した上で、さらにその周囲に光が散乱した状態のことを言う。これをある特定ライン（図４中強い光の中央を横切る点線）上の画素の輝度値で見ると、図５に示すようになる。即ち、強い光の中心とその近傍は、最高輝度で飽和し、周辺に向かってなだらかに暗くなるという傾向を示す。

この状態では、映像の飽和部分及びその近傍に、例えば歩行者が存在した場合にカメラの映像としてこれを捉え出力することはできない。理想的には、強い光の中心（ヘッドランプ自体）が白く飽和することは許容できても、その近傍を含む周辺（例えば左右のヘッドランプの間）は、飽和させることなく、その場所に歩行者がいた場合には、それを映像として捉え、出力することが望ましい。

これに対し、図６のようにヘッドランプの光が看板に当たって反射するような反射光の場合、前記同様に特定ライン（図６中強い光を横切る点線）上の画素の輝度値で見ると、図７に示すようになる。即ち、反射体自体は白く飽和した映像となるが、その周辺にはほとんどハレーションが広がらず、輝度データで見ると、急峻なエッジを描くことができる。この部分に歩行者等の障害物があったとしても、歩行者を十分映像として捉えることができる。この場合、前記ハレーション対策のように、ＥＶＥＮフィールドに対しＯＤＤフィールドの露光量を抑える必要はなく、むしろ夜間で被写体の光量が小さいことを考えれば、ＯＤＤフィールドもＥＶＥＮフィールドと同様、十分露光量を確保した方が、目的である障害物認識がよりし易くなる。

本発明において、ＥＶＥＮフィールドは、前記図３のフローチャートのようなハレーション検出と上記の新たな着眼点に基づいた露光条件算出とを行い、特に夜間での使用においては、暗い環境をより明るい映像として出力することを目標とする。ＯＤＤフィールドについては、ＥＶＥＮフィールドで得られた輝度データを基に露光差を設け、強い光による影響を極力抑えた映像を以下のように作ることを目標とする。

こうした２つの異なる特徴をもった各フィールドの映像を合成することにより、夜間に強い光を受けても、ハレーションを起こすことなく、且つ周辺部を明るく保った映像を出力することができる。

ここで、ＥＶＥＮフィールドの輝度データからハレーション強度を検出し、その強度に応じて露光条件を算出し、その算出結果を出力するまでの一連の処理を画像データと共に説明する。
（ブロック分け）
ブロック分けは、前記図３のステップＳ１で実行され、ＤＳＰ１３からＲＡＭ１５に取り込まれたＥＶＥＮフィールドの輝度データ（例えば、５１２ドット×２４０ラインで構成される。）を、図８のように、いくつかのブロックに分割する（例えば、８ドット×４ラインを１ブロックとして、６４×６０ブロックに分割する。）。
（輝度データの平均値算出）
ブロック毎の輝度データの平均値算出も、前記のように図３のステップＳ１で実行され、各ブロックを構成する全画素（例えば、８×４画素）の輝度平均値を算出する。
（輝度平均値の三値化）
輝度平均値の三値化は、前記図３のステップＳ２で実行され、各ブロックの輝度平均値を二つの閾値により、三値に分ける。例えば、各輝度を８ビットとした場合、最低輝度が０、最高輝度が２５５ということになるが、白閾値を２２０（以上）、黒閾値を１５０（以下）とし、その中間を灰色として扱うことにより、各ブロックを白色・灰色・黒色のいずれかの属性に分けることができる。

例えば、以下のように属性を分ける。

・対象画素濃度値≧白閾値 の時、白色
・白閾値＞対象画素濃度値≧黒閾値 の時、灰色
・対象画素濃度値＜黒閾値 の時、黒色
この属性の分類は、前記のように各ブロックの輝度平均値から二つの閾値により、三値に分けるのではなく、同様の閾値により、各画素毎に三値に分け、１ブロックを構成する画素の中で高輝度、中輝度、低輝度の属性それぞれの合計数が最も多いものを、そのブロックの属性として分けることもできる。

例えば、各画素毎に三値に色分けした１ブロックの中に、灰色が含まれる割合により１ブロックを白色、灰色、黒色に３色分けをする。図９のように灰色の割合が５０％以上の時のブロック色を灰色とし、灰色の割合が５０％未満の場合は、白色または黒色とする。図１０では、示されている１ブロックに灰色が５０％以上含まれているため、該１ブロックの属性が灰色とされた。

あるいは、ブロック分けをすることなく、各画素に注目して、以下のハレーション検出、露光計算をすることも可能である。
（グルーピング処理）
グルーピング処理は、前記図３のステップＳ２，Ｓ３，Ｓ４で実行され、三値化されたブロック属性を基に、次の手順で白の固まり（白属性を持ったブロックの集まり）を見つける。

前記図８のブロック（０，０）から右方向（ｘ座標プラス方向）に向かって白色ブロックを探す。１ライン目の最終ブロック（６３，０）まで行って、白色ブロックがない場合は、２ライン目（０，１）に進む。こうして順に白色ブロックを探す。

白色ブロックが見つかった場合、当該ブロックの周囲８ブロックに対し、第１１図に示すように左隣のブロックから順に右回りで白色ブロックを探す。こうして隣接する白色ブロックを順次つなげていくことによって、白属性を持つブロックの固まりの外周を形成することができる（外周検索）。

例として、図１２に強い光源の外周を検索する元となる出力画像図を、図１３に外周検索を３色表示で示す処理画像図を示す。図１２の強い光はヘッドランプの光であり、図１３のように、外周が灰色ブロックでつながっている。このように灰色で囲まれた内部は全て白属性を持つものとし、これを１つのグループとする。
（ハレーション検出）
ハレーション検出は、前記図３のステップＳ５で実行される。前述のように、ハレーションとは強い光を受けて飽和した中心部があり、その周囲はなだらかに暗くなっていく状態のことを言う。三値化されたブロック属性で言うと、白色ブロックのグループの周りに灰色属性を持ったブロックが囲むという状態になる。

そこで、白色ブロックグループの外周に隣接する灰色ブロックを見つけて行き、その数を数える。

理想的な（理屈に合った）ハレーションの場合、１つの白色ブロックグループの周辺に図１４に示すような灰色ブロックが存在することになる。例えば、白色ブロックグループが１つの白色ブロックで構成される場合には、灰色ブロック数は８個、２つの白色ブロックの場合、灰色ブロックは１０個、同じく３つの場合は１２個となる。これらの灰色ブロック数は、後述するハレーション強度の計算方法２において、白色ブロック数から計算される標準ブロック数となる。
（ハレーション強度）
ハレーション強度は、前記図３のステップＳ６で実行される。前記手順で、検出された白色ブロックグループとその周辺の灰色ブロックとから画面内のハレーションの強さ（ハレーション強度）を算出する。

その方法として、
１．白色ブロックグループに隣接する灰色の数の最大値をハレーション強度とする方法
２．白色ブロックの大きさとそのブロックのハレーションの確からしさからハレーション強度を求める方法
の２通りが考えられる。

「方法１」各白色ブロックグループ毎に隣接する灰色の数の最大値を求める方法
ハレーションの検出は、光源（白色）の周囲に見られるハレーション（灰色）の数を算出する。白色ブロックグループの周りに検出された灰色ブロックの数が一番多い所をハレーション強度に設定する。

ハレーション強度＝白に隣接する灰色の数
（但し、１画面上で一番多いものである。）
図１５のように、１ブロックに白が検出された場合、それに隣接する全てのブロックをチェックし、１ブロックのハレーション強度を“７”とする。

図１６に反射物とハレーションとを撮影した原画像を示す。この図１６を画像処理して３色分けした処理画像を図１７に示す。図１７のように、画像内に白色ブロック或いはそのグループが多数ある場合、全ての白色ブロック、白色ブロックグループの周辺を検索し、上記のように灰色ブロックの数が一番多い所でハレーション強度を設定する。
（検索結果）
方法１による検索結果は、前記図１７の画像処理例で計算すると、次のようになる。

・大きな看板周辺の灰色数（上段ほぼ中央） ０個
・左側の小さな看板周辺の灰色数（上段ほぼ左端） ０個
・
・
・中央の前方車テールランプ周辺の灰色数（下段大きな固まりの左隣） ２個
・右側の街灯周辺の灰色数（上段右端） ４個
・手前対向車ヘッドランプ周辺の灰色数（下段右端） ３２個
図１７より、下段右端の白色ブロックの最大のグループを囲む灰色ブロックの数が最大となり、この灰色ブロックの数をハレーション強度と称し、ハレーションの大きさを表すものとする。

例として、上記の場合のハレーション強度は、手前対向車のヘッドランプ周辺の灰色数が３２個であるため“３２”となる。

「方法２」白色ブロックの大きさとハレーション強度の確からしさから算出する方法
白色ブロックグループの周囲で実際に計数された灰色ブロック数と、その白色ブロックグループを構成する白色ブロック数から計算される標準ブロック数（図１４で示す灰色ブロック数）の関係から、そのブロックがハレーションである確率を算出する。ある白色ブロックグループが、ハレーションである確率は次式で計算される。

ハレーション確率（％）＝
白色ブロックグループ周囲の灰色ブロック数／標準ブロック数×１００
このハレーション確率に、白色ブロックグループの大きさ（＝構成する白色ブロックの数）を乗じた数値をそのグループのハレーション強度とし、ハレーションの大きさを表すものとする。

前記図１７の画像処理例で計算すると、次のようになる。

・大きな看板周辺のハレーション強度（上段ほぼ中央）
０／２６×１００×２１＝０
・左側の小さな看板周辺のハレーション強度（上段ほぼ左端）
０／２６×１００×７＝０
・
・
・中央の前方車テールランプ周辺のハレーション強度（下段大きな固まりの左隣） ２／８×１００×１＝２５
・右側の街灯周辺のハレーション強度（上段右端） ４／１８×１００×８＝１７８
・手前対向車ヘッドランプ周辺のハレーション強度（下段右端）
３２／３７×１００×４３＝３７１８
こうして算出された各白色ブロックグループのハレーション強度のうち、最大のものをこのシーンにおけるハレーション強度とする。

すなわち、上記の場合のハレーション強度は、手前対向車のヘッドランプ周辺のハレーション強度が最大のため“３７１８”となる。
（露光条件の算出）
露光条件の算出は、前記図３のステップＳ７で実行される。

以上のようにして、ＥＶＥＮフィールドのハレーション強度を求め、このハレーション強度に応じて、例えば図１８に従って、ＥＶＥＮフィールドに対するＯＤＤフィールドの露光差を求め、ＯＤＤフィールドでの露光条件を決定し、このＯＤＤフィールドの露光条件によりハレーションを抑える。

すなわち、前記方法１によるとき、前記のようにして得られたハレーション強度が例えばＳＴＥＰ０の０〜５の範囲であるとき前記露光差は０ｄＢに設定され、同ＳＴＥＰ６の３１〜３５の範囲であるとき前記露光差は−１２ｄＢに設定される。前記方法２によるとき、前記のようにして得られたハレーション強度が例えばＳＴＥＰ０の０〜５００の範囲であるとき前記露光差は０ｄＢに設定され、同ＳＴＥＰ６の３００１〜３５００の範囲であるとき前記露光差は−１２ｄＢに設定される。

このような設定によりＳＴＥＰ０の範囲ではＥＶＥＮフィールドに対するＯＤＤフィールドの露光差は無いが、ＳＴＥＰ６の範囲ではＯＤＤフィールドの露光がＥＶＥＮフィールドよりも１２ｄＢ程小さく設定される。

同様に前記のようにして得られたハレーション強度がＳＴＥＰ０〜１０の何れかのハレーション強度の範囲であるとき対応する右欄の値でＥＶＥＮフィールドに対するＯＤＤフィールドの露光が小さく設定される。

以上により、ハレーションの程度に応じた二重露光制御が可能となり、夜間のような暗い環境下に自動車のヘッドランプのような強い光があっても、大きなハレーションを起こさず、暗い部分をより明るく、強い光の部分をより暗くした映像を得ることができる。

実際には、画面の明るさの切り替わりの違和感を軽減するため、図１９のように、強い光を受けた時は、即座にそれに応じた二重露光制御を、光が弱まって行く時には、ＯＤＤフィールド側の信号蓄積時間を徐々に長くするように制御して映像を徐々に明るくして行くという制御が行われる。

すなわち、自車が角を曲がり対向車のヘッドランプの強い光がいきなり入ったとき、前記ハレーション強度に応じた二重露光制御を直ちに行わせる。この場合、対向車がすれ違った後すぐにハレーション強度がＳＴＥＰ０となる制御に戻してしまうと、画像の露光変化が急峻となり違和感を招く恐れがある。

そこで、対向車がすれ違った後、ＣＣＤカメラ５に入射する光が弱まっていく時には、上記のようにＯＤＤフィールド側の映像を徐々に明るくして違和感を除去又は抑制するようにした。

具体的には、自車がコーナーを曲がったとき、対向車が存在していきなりハレーション強度が例えばＳＴＥＰ６の範囲となり、このＥＶＥＮフィールドの状態が所定フレーム数連続したとき、本実施例では図１９のように連続２フレーム以上続いたとき、直ちにＳＴＥＰ６の制御によりＯＤＤフィールド側の露光を下げる。この制御状態から対向車がすれ違った後、光が弱まっていく時に、ＯＤＤフィールド側の信号蓄積時間を時間間隔を持ちながら徐々に長くする。本実施例では、ＳＴＥＰ６を下回るハレーション強度の状態が連続３フレーム以上連続したときＳＴＥＰ５の制御に移行する。続いてＳＴＥＰ５を下回るハレーション強度の状態が連続３フレーム以上連続したときＳＴＥＰ４の制御に移行する。このように、ＳＴＥＰ０まで制御を徐々に変化させてＯＤＤフィールド側の映像を徐々に明るくする。従って、画像の露光変化が徐々に行われ違和感を除去又は抑制することができる。連続３フレーム以上で遷移させるのは、画像変化の時間間隔を簡単且つ確実に設定し、出力画像の突然の変化を抑制してより自然な映像とするためである。

図２０は、対向車が存在していきなりハレーション強度が強くなったときの画像変化を示し、（ａ）はＳＴＥＰ０の出力画像、（ｂ）はＳＴＥＰ０より強いハレーション強度で連続するＥＶＥＮフィールドの解析画像、（ｃ）はＳＴＥＰ６の出力画像である。

図２１は、対向車がすれ違った後、光が弱まっていく時の画像変化を示し、（ａ）はＳＴＥＰ６の出力画像、（ｂ）はＳＴＥＰ６よりハレーション強度が弱まった状態で連続するＥＶＥＮフィールドの解析画像、（ｃ）はＳＴＥＰ５の出力画像、（ｄ）はＳＴＥＰ１の出力画像、（ｅ）はＳＴＥＰ１よりハレーション強度が弱まった状態で連続するＥＶＥＮフィールドの解析画像、（ｆ）はＳＴＥＰ０の出力画像である。

図２０では、ハレーション強度がＳＴＥＰ０の（ａ）の状態から、対向車が存在していきなりハレーション強度が例えばＳＴＥＰ６の範囲となり、この状態が（ｂ）のように連続２フレーム以上続いたとき、（ｃ）のように直ちにＳＴＥＰ６の制御によりＯＤＤフィールド側の露光を下げている。

図２１では、（ａ）のように対向車が存在してハレーション強度が例えばＳＴＥＰ６の状態から対向車がすれ違った後、光が弱まっていく時に、（ｂ）のようにＳＴＥＰ６を下回るハレーション強度の状態が連続３フレーム以上連続したとき（ｃ）のようにＳＴＥＰ５の制御に移行する。続いてＳＴＥＰ５を下回るハレーション強度の状態が連続３フレーム以上連続したときＳＴＥＰ４の制御に移行する。同様にしてＳＴＥＰ３，ＳＴＥＰ２，ＳＴＥＰ１（ｄ）と徐々に移行し、最後に（ｅ）のようにＳＴＥＰ１を下回るハレーション強度の状態が連続３フレーム以上連続したとき（ｆ）のようにＳＴＥＰ０に移行する。こうして例えばＳＴＥＰ６の状態からＳＴＥＰ０まで制御を徐々に変化させてＯＤＤフィールド側の映像を徐々に明るくする。

以上のように、直接光と反射光とのそれぞれに対する露光制御を変えることができる。ヘッドランプ等の強い光を直接受けた場合でも、中心部の白飽和領域の周りのなだらかに暗くなっていくハレーションを図２２のように違和感を抑制しながら除去又は抑制することができる。従って、この部分に歩行者等の障害物があった場合、それを映像として明確に捉えることができる。

また、自車のヘッドランプが看板に当たって反射するような反射光の場合、図２３のように、反射体自体は白く飽和した映像となるが、その周辺にはほとんどハレーションが広がらず、輝度データで見ると、急峻なエッジを描くことができる。この部分に歩行者等の障害物があったとしても、これは十分映像として捉えることができる。この場合、前記ハレーション対策のように、ＥＶＥＮフィールドに対しＯＤＤフィールドの露光量を抑える必要はなく、むしろ夜間で被写体の光量が小さいことを考慮し、ＯＤＤフィールドもＥＶＥＮフィールドと同様、十分露光量を確保し、障害物認識がより容易となった。

以上、本発明実施例の撮像システムによれば、対向車のヘッドランプなどの強い光を直接受けても、それによるハレーションを低減し、その周囲にある障害物、歩行者などを映し出すことができる。標識、白線などからの反射光を受けても、十分に露光を開放し、明るい映像を確保できる。

前記ＣＣＤカメラ５に強い光を受けてもその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力すると共に、ＣＣＤカメラ５に入る強い光が無くなったときは信号蓄積時間を徐々に長くするように制御するため、強い光の入射が無くなった後すぐに二重露光制御が停止され、或いは二重露光差が小さくなることが規制され、画面の明るさが徐々に変化し、自然な感じで違和感を抑制した制御を行わせることができる。

前記画像処理部７が、前記信号蓄積時間を時間間隔を持ちながら徐々に長くするように制御する場合は、違和感を確実に抑制することができる。

前記画像処理部７が、前記時間間隔をフレーム数でカウントする場合は、時間間隔を簡単に設定することができ、制御を確実且つ容易に行わせることができる。

前記画像処理部７が、前記ＣＣＤカメラ５に強い光が入った状態が所定フレーム数連続したときその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力する場合は、強い光の程度に応じた二重露光制御を的確に行わせることができる。

前記画像処理部７は、前記ＥＶＥＮフィールドの画像を三値化処理して高輝度の白色、中輝度の灰色、低輝度の黒色の属性に分け、該白色ブロックグループの回りの灰色ブロックの数に応じて前記ＯＤＤフィールドの画像の露光量を制御することができる。

従って、白色ブロックグループの回りの灰色ブロックの数により灰色ブロックの程度を確実に捉え、周期的に出力される画像のＯＤＤフィールドの露光量の制御をより確実に行うことができる。

前記画像処理部７は、前記画像のＥＶＥＮフィールドを複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行うことができる。

従って、各画素に注目して三値化処理を行う場合に比べて迅速な処理を行うことができる。

前記画像処理部７は、前記画像のＥＶＥＮフィールドを複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度の白色、中輝度の灰色、低輝度の黒色の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行うことができる。

従って、各画素に注目して三値化処理を行うことができ、より正確な処理を行うことができる。

前記画像処理部７は、前記白色ブロックグループの回りの灰色ブロックの数の最大数に応じて前記ＯＤＤフィールドの画像の信号蓄積時間を制御することができる。

従って、ハレーションを簡易に特定することができ、迅速な処理を行うことができる。

前記画像処理部７は、前記白色ブロックグループの数と該白色ブロックグループの回りに検出される灰色ブロックの数と白色ブロックグループの回りに理想的に形成される灰色ブロックの数とに応じて前記ＯＤＤフィールドの画像の信号蓄積時間を制御することができる。

従って、ハレーションを的確に特定することができ、より正確な処理を行うことができる。

前記画像処理部７は、前記白色ブロックを特定しその回りを順次探索して白色ブロックの回りの灰色ブロックを特定すると共に隣接する白色ブロックが特定されたときは該白色ブロックを順次結合することができる。

従って、白色ブロックの固まりを的確且つ迅速に抽出して制御することができる。

本発明の撮像システムは、前記ＩＲランプ３、ＣＣＤカメラ５、及び画像処理ユニット７が、自動車に備えられ、前記ＩＲランプ３は、前記自動車の前方に赤外光を照射し、前記ＣＣＤカメラ５は、前記自動車の前方を撮像することができる。

従って、対向車のヘッドランプの照明等によるハレーションがあっても、強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域を除去或いは抑制することができ、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。

なお、前記ＥＶＥＮフィールドとＯＤＤフィールドとの関係を逆に設定し、ＯＤＤフィールドのハレーション強度を求め、そのハレーション強度に応じて、ＯＤＤフィールドに対するＥＶＥＮフィールドの露光差を求め、ＥＶＥＮフィールドでの露光を抑える構成にすることもできる。

本発明は、単純な二重露光制御等に適用し、対向車が通り過ぎて光が弱まるときに信号蓄積時間を徐々に長くする制御にすることもできる。

前記ＯＤＤフィールド、ＥＶＥＮフィールドにおいて、各画素毎の電荷を処理するＤＳＰ１３によっては、電荷読み出しを単一画素の読み出しに限らず、いくつかの画素のかたまりとして読み出し扱うこともできる。

前記実施形態では、出力画像をヘッドアップディスプレイ９で表示するようにしたが、車室内等に備えられたディスプレイに表示するように構成することもできる。また、ＩＲランプ３で自動車の走行方向前方を照射するようにしたが、後方或いは側方等を照射し、ＣＣＤカメラ５で後方或いは側方等を撮像する構成にすることもできる。

前記撮像システムは、自動車に限らず二輪車、船舶等、他の乗り物、あるいは乗り物から独立した撮像システムとして構成することもできる。

本発明の撮像システムを適用した自動車の概念図である（実施例１）。 撮像手段及び画像処理部のブロック図である（実施例１）。 フローチャートである（実施例１）。 光源を撮像した単純な制御による出力画像図である（実施例１）。 強い光源のほぼ中心を横切る点線上の濃度変化を示すグラフである（実施例１）。 反射物を撮像した単純な制御による出力画像図である（実施例１）。 大きな反射物を横切る点線上の濃度変化を示すグラフである（実施例１）。 ＥＶＥＮフィールドの輝度データをいくつかのブロックに分割した模式図である（実施例１）。 灰色の割合によるブロック色分けを示す図表である（実施例１）。 ブロック色分けを示す概念図である（実施例１）。 ブロック内検索順序を示す概念図である（実施例１）。 強い光源の外周を検索する元となる出力画像図である（実施例１）。 外周検索を３色表示で示す処理画像図である（実施例１）。 標準ブロック数と白色ブロック数との関係を示し、（ａ）は白色ブロック数１個、（ｂ）は白色ブロック数２個、（ｃ）は白色ブロック数３個の概念図である（実施例１）。 ハレーション検出ブロック数を示す概念図である（実施例１）。 反射物とハレーションとの関係を示す出力画像図である（実施例１）。 図１６の処理画像図である（実施例１）。 ＥＶＥＮフィールドに対するＯＤＤフィールドの露光差の算出を示す図表である（実施例１）。 ハレーション強度の状態遷移図である（実施例１）。 対向車が存在していきなりハレーション強度が強くなったときの画像変化を示し、（ａ）はＳＴＥＰ０の出力画像、（ｂ）はＳＴＥＰ０より強いハレーション強度で連続するＥＶＥＮフィールドの解析画像、（ｃ）はＳＴＥＰ６の出力画像である（実施例１）。 対向車がすれ違った後、光が弱まっていく時の画像変化を示し、（ａ）はＳＴＥＰ６の出力画像、（ｂ）はＳＴＥＰ６よりハレーション強度が弱まった状態で連続するＥＶＥＮフィールドの解析画像、（ｃ）はＳＴＥＰ５の出力画像、（ｄ）はＳＴＥＰ１の出力画像、（ｅ）はＳＴＥＰ１よりハレーション強度が弱まった状態で連続するＥＶＥＮフィールドの解析画像、（ｆ）はＳＴＥＰ０の出力画像である（実施例１）。 ハレーションの中で障害物が見える例の処理画像図である（実施例１）。 反射物の明るさを無視して周辺が見える例を示す処理画像図である（実施例１）。 撮像システムのブロック図である（従来例）。 フィールドパルスの出力図である（従来例）。 ハレーションによって光源周辺が見えなくなる例を示す出力画像図である（従来例）。 ハレーションによって周辺が見えなくなる例を示す出力画像図である（従来例）。 反射物によって周囲が見えなくなる例を示す出力画像図である（従来例）。 画面が突然明るくなった状態の出力図である（従来例）。

符号の説明

１ 自動車
３ ＩＲランプ（赤外光照射手段）
５ ＣＣＤカメラ（撮像手段）
７ 画像処理ユニット（画像処理部）

Claims (12)

1. 赤外光を照射するための赤外光照射手段と、
   前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、
   前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力可能な画像処理部とを備え、
   前記画像処理部は、前記撮像手段に強い入射光があったときはその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力すると共に、前記撮像手段に入る強い入射光が無くなったときは信号蓄積時間を徐々に長くするように制御することを特徴とする撮像システム。
2. 請求項１記載の撮像システムであって、
   前記画像処理部は、前記信号蓄積時間を時間間隔を持ちながら徐々に長くするように制御することを特徴とする撮像システム。
3. 請求項２記載の撮像システムであって、
   前記画像処理部は、前記時間間隔をフレーム数でカウントすることを特徴とする撮像システム。
4. 請求項１〜３の何れかに記載の撮像システムであって、
   前記画像処理部は、前記撮像手段に強い入射光があった状態が所定フレーム数連続したときその程度に応じた信号蓄積時間で露光量の異なる画像を連続して周期的に出力することを特徴とする撮像システム。
5. 請求項１〜４の何れかに記載の撮像システムであって、
   前記画像処理部は、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、前記中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御すると共に、前記撮像手段に入る強い入射光が無くなったときは該他方の信号蓄積時間を徐々に長くするように制御することを特徴とする撮像システム。
6. 請求項５記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を三値化処理して高輝度、中輝度、低輝度の属性に分け、前記高輝度の回りの中輝度の数に応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
7. 請求項６記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行うことを特徴とする撮像システム。
8. 請求項６記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度、中輝度、低輝度の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行うことを特徴とする撮像システム。
9. 請求項６〜８の何れかに記載の撮像システムであって、
   前記画像処理部は、前記高輝度の属性の回りの中輝度の属性の数の最大数に応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
10. 請求項６〜８の何れかに記載の撮像システムであって、
    前記画像処理部は、前記高輝度の属性の数と該高輝度の属性の回りに検出される中輝度の属性の数と高輝度の回りに理想的に形成される中輝度の属性の数とに応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
11. 請求項９又は１０記載の撮像システムであって、
    前記画像処理部は、前記高輝度の属性を特定しその回りを順次探索して高輝度の回りの中輝度を特定すると共に隣接する高輝度の属性が特定されたときは該高輝度の属性を順次結合することを特徴とする撮像システム。
12. 請求項１〜１１の何れかに記載の撮像システムであって、
    前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、
    前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、
    前記撮像手段は、前記自動車の外方を撮像することを特徴とする撮像システム。