JP2006080752A - カメラ用露光制御装置および制御方法 - Google Patents

Abstract

【課題】 カメラからの画像データを処理して車両の近傍の対象物を検出する際に、画像データの明るさ等に応じて設定される露光制御値に基づきカメラの露光を制御するカメラ用露光制御装置および制御方法に関し、道路等が占める割合が相対的に多くなった場合でも、適切な露光制御を行って車両の周囲の対象物を正確に検出することを目的とする。
【解決手段】 画像データの状態に応じて露光制御値を演算する露光制御値演算部４が、画像データの領域を複数のエリアに分割するエリア分割手段41と、各エリアで画像データの濃度値の出現頻度を示す濃度ヒストグラムを算出し、この算出結果から各エリアの道路濃度値を決定する道路濃度値決定手段42と、道路濃度値以外の濃度値から各エリアの露光制御値を算出する各エリア露光制御値算出手段43と、各エリアの露光制御値から画像データの領域全体の露光制御値を決定する全体露光制御値決定手段44とを具備する。
【選択図】 図１

Description

本発明は、カメラから得られる画像データを処理して車両（移動体）の近傍（周囲）に存在する対象物を検出する際に、当該画像データの明るさ等の状態に応じて設定される露光制御値に基づいてカメラの露光を適切に制御するためのカメラ用露光制御装置および制御方法に関する。

一般に、走行している車両では、当該車両の近傍（周囲）に存在する対象物（例えば、車両の前方に存在する他の車両）を正確に検出するために、車載カメラ等のカメラが車両内のルームミラーの前方に設けられている。このカメラにより捕らえられた画像データに対し、画像処理装置等により画像データのエッジ抽出等の処理を行うことによって車両の前方または後方に存在する対象物を認識することができる。

ここで、「エッジ」とは、画像データ中の濃淡の大きい部分、すなわち、画像データ中の複数の対象物の輪郭線を指している。このエッジは、影や汚れによって濃淡が変化しても影響が少ないという利点を有しており、走行する車両の近傍（周囲）の対象物を認識する際に利用され得る。

カメラから得られる画像データを処理して車両の近傍（周囲）の対象物を正確に認識するためには、画像データの明るさ等の状態に応じてカメラの露光の条件を適切に制御することが重要である。

従来のカメラ用露光制御方法においては、画像処理装置等に入力された画像データの全ての情報に基づいて画像データの濃度値（明るさ）の平均値を算出し、この濃度値の平均値に基づいてカメラの露光制御値（絞りおよびシャッター速度（または露光時間））を決定していた。最終的に、このようにして決定された露光制御値に従ってカメラの露光制御を行っていた。

しかしながら、上記のようなカメラ用露光制御方法では、入力された画像データでは走行する車両が置かれている環境が全て現れてしまうので、当該画像データの中には道路等の認識対象でない情報も含まれることになる。それゆえに、他の車両等の対象物に対し道路等が占める割合が多くなると、他の車両等の対象物を認識する際には元来不要である道路等の明るさに従ってカメラの露光制御値が決定されるおそれがある。この結果、特に他の車両等の対象物に対し道路等が占める割合が多くなった場合に不適切な露光制御を行ってしまい、走行する車両の近傍（周囲）の対象物を正確に認識することが困難になるという問題が生じてきた。

ここで、参考のため、従来のカメラ用露光制御方法に関連した技術内容が記載された４件の先行技術文献（特許文献１〜特許文献４）を呈示する。

特許文献１（特開平７−８１４５９号公報）においては、先行車両を囲む方形の領域の画素の明度を表す画像データを平均化して適正露出値との差を求めることによりアイリス値を求め、このアイリス値に基づきアイリスを制御するような自動車の走行制御装置が開示されている。

特許文献２（特開平９−１８１９６２号公報）においては、車両の前方の所定位置における最適露光量を、画像上の対応位置の明るさより算出して露光量調整を行うような移動体用撮像装置の露光量制御装置が開示されている。

特許文献３（特開平７−３１８６４４号公報）においては、画像を遠距離／近距離、自車線／他車線／白線等の複数の領域（エリア）に分割し、特定の領域の輝度階調の平均値に従って露光制御を行うような障害物検出装置が開示されている。

特許文献４（特開２０００−２０９４８８号公報）においては、露光量の異なる２つの画像における複数の領域での平均画素値の最大値および最小値に基づき露光量を調整するような高コントラスト撮像装置が開示されている。

しかしながら、特許文献１〜特許文献４のいずれにおいても、不適切な露光制御を行うことによって車両の近傍（周囲）の対象物を正確に認識することが困難になるという問題が依然として残る。

特開平７−８１４５９号公報 特開平９−１８１９６２号公報 特開平７−３１８６４４号公報 特開２０００−２０９４８８号公報

本発明は上記問題点に鑑みてなされたものであり、走行する車両の周囲の対象物に対し道路等が占める割合が多くなった場合でも、カメラの露光を適切に制御することによって走行する車両の周囲の対象物を正確に検出することが可能になるようなカメラ用露光制御装置および制御方法を提供することを目的とするものである。

上記問題点を解決するために、本発明は、カメラから得られる画像データを処理して車両の周囲の対象物を検出する画像認識処理部と、画像データの状態に応じて上記カメラの露光を制御するための露光制御値を演算する露光制御値演算部とを有するカメラ用露光制御装置であって、上記露光制御値演算部は、上記画像データの領域を複数のエリアに分割するエリア分割手段と、各々の上記エリアにおいて上記画像データの濃度値と当該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、当該濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定する道路濃度値決定手段と、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出する各エリア露光制御値算出手段と、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定する全体露光制御値決定手段とを具備するカメラ用露光制御装置を提供する。

好ましくは、本発明のカメラ用露光制御装置において、上記各エリア露光制御値算出手段は、上記道路濃度値を除外した上記画像データの濃度値に基づいて各々の上記エリアの濃度値の平均値を算出し、算出された上記濃度値の平均値に基づいて各々の上記エリアの露光制御値を算出し、上記全体露光制御値決定手段は、各々の上記エリアの露光制御値を平均して得られる露光制御値の平均値を、上記画像データの領域全体の露光制御値として最終的に選定する。

また一方で、本発明は、カメラから得られる画像データを処理して車両の周囲の対象物を検出する際に、上記画像データの状態に応じて上記カメラの露光を制御するための露光制御値を算出し、当該露光制御値を用いて上記カメラの露光制御を行うカメラ用露光制御方法であって、上記画像データの領域を複数のエリアに分割するステップと、各々の上記エリアにおいて上記画像データの濃度値と当該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、当該濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップと、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップと、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップとを有するカメラ用露光制御方法を提供する。

好ましくは、本発明のカメラ用露光制御方法では、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、上記道路濃度値を除外した上記画像データの濃度値に基づいて各々の上記エリアの濃度値の平均値を算出し、算出された上記濃度値の平均値に基づいて各々の上記エリアの露光制御値を算出し、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップにおいて、各々の上記エリアの露光制御値を平均して得られる露光制御値の平均値を、上記画像データの領域全体の露光制御値として最終的に選定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記画像データの領域を複数のエリアに分割するステップにおいて、上記車両が走行する道路の自車線、および、上記自車線に隣接する道路の隣接車線に対する重み付けを行って分割するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記画像データの領域を複数のエリアに分割するステップにおいて、上記車両と近距離の関係にあるエリア、および、上記車両と遠距離の関係にあるエリアに対する重み付けを行って分割するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記画像データの領域を複数のエリアに分割するステップにおいて、各々の上記エリアの面積の比が均等になるように分割するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記画像データの領域を複数のエリアに分割するステップにおいて、上記車両のボンネットのエリアを予め設定し、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、上記車両のボンネットのエリアを除外するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記画像データの領域を複数のエリアに分割するステップにおいて、空のエリアを予め設定し、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、上記空のエリアを除外するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップにおいて、上記濃度ヒストグラムにて一定の濃度値の範囲内に存在する濃度値を上記道路濃度値として選定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップにおいて、特定の濃度値の範囲における濃度値の分布の中で、当該濃度値の出現頻度のピーク値付近の濃度値の分布に対応する濃度値を上記道路濃度値として選定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップにおいて、予め検出された白線の付近の濃度値の平均値をもとに上記道路濃度値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップにおいて、上記車両に設けられたバックモニタカメラから得られる画像データに基づいて上記道路濃度値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記濃度ヒストグラムの算出結果をもとに各々の上記エリアに含まれる道路の道路濃度値を決定するステップにおいて、上記車両に設けられたレーダを用いて上記車両の前方の対象物との距離を測定し、上記車両のボンネットから上記車両の前方の対象物までに映る道路の路面の濃度値に基づいて上記道路濃度値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、上記道路濃度値以外の濃度値の最大値および最小値を求め、当該濃度値の最大値および最小値に基づいて上記露光制御値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、上記濃度値の第１の方向（例えば、縦方向）への濃度投影値を算出し、特定の範囲内の上記濃度投影値が存在するラインの数に応じて上記露光制御値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、上記濃度値の第２の方向（例えば、横方向）への濃度投影値を算出し、特定の範囲内の上記濃度投影値が存在するラインの数に応じて上記露光制御値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、上記道路濃度値以外の濃度値に基づいて各々の上記エリアの露光制御値を算出するステップにおいて、特定の上記濃度値の範囲内に存在する濃度値の数に応じて上記露光制御値を決定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップにおいて、上記エリア毎に各々の上記エリアの上記露光制御値に対して一定の重み付け（固定された重み付け）を行うようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップにおいて、各々の上記エリアの上記道路濃度値に応じて、上記エリア毎に各々の上記エリアの上記露光制御値に対して重み付け（可変の重み付け）を行うようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップにおいて、上記画像データの領域の中央部付近のエリアの露光制御値のみを選定するようになっている。

さらに、好ましくは、本発明のカメラ用露光制御方法では、各々の上記エリアの露光制御値に基づいて上記画像データの領域全体の露光制御値を決定するステップにおいて、上記車両に設けられたレーダにより上記車両の前方の対象物を検知した結果をもとに、上記車両の前方の対象物が存在するエリアの露光制御値の重み付けを大きくするようになっている。

要約すれば、本発明では、第１に、カメラから得られる画像データの領域を複数のエリアに分割し、各エリアに含まれる道路の道路濃度値以外の濃度値に基づいて各エリアの露光制御値を算出し、各エリアの露光制御値に基づいて最終的に画像データの領域全体の露光制御値を決定するようにしている。それゆえに、走行する車両の周囲の対象物に対し道路等が占める割合が多くなった場合でも、道路の道路濃度値を除外した画像データを用いてカメラの露光を適切に制御することにより車両の周囲の対象物を正確に検出することが可能になる。

さらに、本発明では、第２に、適切な分割条件に従って画像データの領域を複数のエリアに分割することによって、各エリアの露光制御値を一旦算出することができるようになり、種々の環境条件を考慮した露光制御値を適切に設定することが可能になる。

さらに、本発明では、第３に、画像データの各エリアに含まれる道路の道路濃度値を除外すると共に、比較的明るい車両のボンネットの部分や空の部分等を除外することによって、より適切に各エリアの露光制御値を設定することが可能になる。

さらに、本発明では、第４に、車両に別途設けられているバックモニタカメラやレーダ等を用いて検知される車両の近傍の道路に関する道路情報を考慮して、より適切に各エリアの露光制御値を設定することが可能になる。

さらに、本発明では、第５に、道路の道路濃度値を除外した画像データの濃度値をより詳細に解析することによって、より適切に画像データの領域全体の露光制御値を最終的に決定することが可能になる。

以下、添付図面（図１〜図８）を参照しながら、本発明の好ましい実施の形態を説明する。

図１は、本発明のカメラ用露光制御装置に係る一実施例の構成を示すブロック図である。ただし、ここでは、本発明のカメラ用露光制御装置１０を車載カメラ等のカメラ１に適用した場合の実施例の構成を簡略化して示す。

図１に示すように、車載カメラ等のカメラ１が、走行する車両の前部（例えば、車両内のルームミラーの前方）に搭載されている。本発明のカメラ用露光制御装置１０においては、カメラ１により捕らえられた画像データＳｉａのアナログ／ディジタル変換処理およびサンプリング処理を行って所定のタイミングで画像データＳｉｄを出力する画像処理制御部２と、画像処理制御部２から供給される画像データＳｉｄをエッジ抽出等により処理して車両の近傍（周囲）の対象物（例えば、走行する車両の近傍に存在する他の車両）を認識したり検出したりする画像認識処理部３と、この画像認識処理部３により処理される画像データＳｉｄの明るさに応じてカメラ１の露光を調整するための露光制御値（絞りおよびシャッター速度）を演算する露光制御値演算部４とが設けられている。好ましくは、画像認識処理部３は、マイクロコンピュータのＣＰＵ（Central Processing Unit ：中央処理装置）により構成される。

さらに、図１のカメラ用露光制御装置１０においては、画像データ処理用のプログラム（ソフトウェア）およびカメラ露光制御用のプログラムを含む各種のデータを格納する記憶部（メモリ）５と、カメラ１により捕らえられた画像データや画像認識処理部３により検出された車両の近傍の対象物を表示するディスプレイ等の表示部３０とが設けられている。

上記の画像処理制御部２、画像認識処理部３、露光制御値演算部４、記憶部５、および表示部３０は、バス６により接続されており、相互にデータの遣り取りができるようになっている。

さらに詳しく説明すると、図１の露光制御値演算部４は、画像処理制御部２から供給される画像データＳｉｄの領域を複数のエリアに分割するエリア分割手段４１と、各々のエリアに含まれる道路の道路濃度値を決定する道路濃度値決定手段４２とを備えている。この道路濃度値決定手段４２は、エリア分割手段４１により分割された複数のエリアの各エリアに関して、当該画像データの濃度値（明るさ）と当該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、当該濃度ヒストグラムの算出結果に基づいて各々のエリアに含まれる道路の道路濃度値Ｒｄを決定する機能を有している。

好ましくは、エリア分割手段４１では、上記車両が走行する道路の自車線、および、上記自車線に隣接する道路の隣接車線に対する重み付けを行うことによって、画像データＳｉｄの領域を複数のエリアに分割するようにしている。あるいは、走行する車両と近距離の関係にあるエリア、および、当該車両と遠距離の関係にあるエリアに対する重み付けを行うことによって、当該画像データの領域を複数のエリアに分割するようにしている。あるいは、各々のエリアの面積の比が均等になるように分割するようにしている。

さらに、図１の露光制御値演算部４は、道路濃度値決定手段４２により決定された道路濃度値Ｒｄを除外した画像データの濃度値に基づいて各々のエリアの露光制御値Ｓｃａを算出する各エリア露光制御値算出手段４３と、各々のエリアの露光制御値に基づいて画像データの領域全体の露光制御値Ｓｃｅを決定する全体露光制御値決定手段４４とを備えている。

好ましくは、各エリア露光制御値算出手段４３は、上記道路濃度値を除外した画像データの濃度値に基づいて各々のエリアの濃度値の平均値を算出し、算出された濃度値の平均値に基づいて各々のエリアの露光制御値Ｓｃａを算出するようになっている。

また一方で、全体露光制御値決定手段４４は、各々のエリアの露光制御値を平均して得られる露光制御値の平均値を、画像データの領域全体の露光制御値Ｓｃｅとして最終的に選定し、カメラ１にフィードバックする。

好ましくは、上記のようなエリア分割手段４１、道路濃度値決定手段４２、各エリア露光制御値算出手段４３、および全体露光制御値決定手段４４の機能を実行するためのプログラムが、記憶部５内に予め格納されている。上記のエリア分割手段４１、道路濃度値決定手段４２、各エリア露光制御値算出手段４３、および全体露光制御値決定手段４４は、ＣＰＵ（画像認識処理部３）により記憶部５内のプログラム（ソフトウェア）を読み出して動作させることによって実現され得る。

図１の実施例によれば、カメラから得られる画像データの領域を複数のエリアに分割し、各エリアに含まれる道路の道路濃度値を除外した画像データの濃度値に基づいて各エリアの露光制御値を算出し、各エリアの露光制御値に基づいて最終的に画像データの領域全体の露光制御値（絞りおよびシャッター速度）を決定するようにしている。それゆえに、道路等の認識対象でない情報が画像データ内に多く含まれている場合であっても、道路の道路濃度値を除外した画像データを用いてカメラの露光を適切に制御することにより走行する車両の近傍の対象物を正確に検出することができるようになる。

さらに、図１の実施例によれば、自車線や隣接車線等を考慮した適切な分割条件に従って画像データの領域を複数のエリアに分割することによって、各エリアの露光制御値を一旦算出することができるようになり、種々の環境条件を考慮した露光制御値を適切に設定することができるようになる。

図２は、図１の画像処理制御部の具体的な構成を示すブロック図である。なお、これ以降、前述した構成要素と同様のものについては、同一の参照番号を付して表すこととする。

図２に示すように、画像処理制御部２は、カメラ１に接続されるアナログ／ディジタル変換器２１（図２ではＡ／Ｄと略記する）と、このアナログ／ディジタル変換器２１に接続されるＦＩＦＯ（First-in First-out：先入れ先出し）フィールドメモリ２２とを備えている。

ここで、アナログ／ディジタル変換器２１は、カメラ１により捕らえられた画素データＳｉａの画素毎の画像信号をサンプリング信号Ｓｓのタイミングでアナログ形式からディジタル形式に変換し、例えば８ビットの濃度値を有する画素データＳｉｄを出力する。

また一方で、ＦＩＦＯフィールドメモリ２２では、アナログ／ディジタル変換器２１から出力されるタイミングで画像データＳｉｄが書き込まれ、ＣＰＵ（画像認識処理部３）からの取り込み信号Ｓｒのタイミングで先に書き込まれた画像データＳｉｄが先に読み出される。取り込み信号Ｓｒの出力は、カメラ１の垂直同期信号Ｓｖｓのタイミングで開始し、読み出し終了と共に終了する。

さらに、図２の画像処理制御部２は、サンプリング信号Ｓｓを生成してアナログ／ディジタル変換器２１に供給するタイミング発生部２３と、垂直同期信号Ｓｖｓを検出する同期信号検出部２４と、書き込み制御信号ＳｗをＦＩＦＯフィールドメモリ２２に供給する書き込み制御部２５とを備えている。

ここで、同期信号検出部２４は、カメラ１から出力される画像信号を分岐して取り込み、当該画像信号から垂直同期信号Ｓｖｓを抽出することによって垂直同期信号Ｓｖｓを検出する。同期信号検出部２４からの垂直同期信号ＳｖｓはＣＰＵに送出され、取り込み信号Ｓｒの出力のタイミングに使用される。

図３は、本発明のカメラ用露光制御方法を説明するためのフローチャート、図４は、図３のエリア分割の一例を示す画像データ図、そして、図５は、図４の一つのエリアにおける濃度値の分布の一例を示すヒストグラムである。ここでは、図３のフローチャートを参照しながら、ＣＰＵを動作させて本発明のカメラ用露光制御方法を実行する手順を説明する。

カメラにより捕らえられた画像データの明るさ（濃度値）に応じてカメラの露光制御値を算出し、当該露光制御値を用いてカメラの露光制御を行う場合、車両が走行する道路の道路濃度値が環境によって頻繁に異なるため、まず初めに（スタート）、図３のステップ１００に示すように、画像データの領域を複数のエリアに分割する。

画像データの領域を複数のエリアに分割する場合、例えば図４に示すように、道路Ｒの白線Ｗを境界として３つの領域Ａ、ＢおよびＣに分割するようにしている。ここでは、車両７が走行する道路の自車線を含む領域Ｂと、この自車線に隣接する道路の隣接車線を含む領域Ａ、Ｃに対する重み付けを行うことによって、３つのエリアが設定される。この場合、入力される画像データ（Ｓｉｄ）は、６４０画素×４８０画素から構成されており、各々の画素は、例えば８ビットの濃度値（明るさ）を有している。車両等の対象物と道路等の認識対象でない物との間には濃度値の差が生ずるため、各々のエリア内の車両等の対象物が、エッジ抽出等によりエッジ画像として抽出される。このエッジ画像のエッジ分布に基づき、走行する車両の近傍の対象物（例えば、走行する車両の前方に存在する他の車両）を認識することができる。

画像データの領域を複数のエリアに分割するための代替的な方法として、走行する車両と近距離の関係にあるエリア、および、当該車両と遠距離の関係にあるエリアに対する重み付けを行うことによって、２つのエリアに分割する方法が考えられる。さらに、車両が走行する道路の自車線を含むエリア、この自車線に隣接する道路の隣接車線を含むエリア、走行する車両と近距離の関係にあるエリア、および、当該車両と遠距離の関係にあるエリアに対する重み付けを行うことによって、より多くのエリアに分割する方法も考えられる。また一方で、各々のエリアの面積の比が均等になるように分割する方法も考えられる。

つぎに、図３のステップ１１５に示すように、各々のエリア（Ａ、ＢおよびＣ）において、画像データの濃度値と当該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、この濃度ヒストグラムの算出結果をもとに各々のエリアに含まれる道路の道路濃度値を決定する。このような道路の道路濃度値を決定する手順は、ステップ１０５、１１０に示すように、各々のエリアに対して順次実行され、全てのエリアの露光制御値が決定されるまで続行される。

ある一つのエリアにおいて画像データの濃度ヒストグラムを作成した場合の画像データの濃度値の分布の一例を図５に示す。ただし、図５の例では、画像データを構成する各々の画素は、８ビット（すなわち、０ビットから２５５ビットまでの２５６階調レベル）の濃度値を有するものとする。

図５では、ある一つのエリアにおいて、各々の画素の濃度値（ビットで表した値）を横軸とし、当該濃度値の数（出現頻度）を縦軸として濃度ヒストグラムを算出している。この濃度ヒストグラムにおいて、濃度値が非常に低い範囲＃１での濃度値の出現頻度のピークにより黒い対象物が存在することが検出され、濃度値が非常に高い範囲＃３での濃度値の出現頻度のピークにより白い対象物が存在することが検出される。ところで、道路の明るさを示す濃度値は、一定の濃度値の範囲（すなわち、特定の中間の階調レベル（灰色のレベルの範囲）に収まることが知られている。それゆえに、中間の濃度値の範囲＃２での濃度値の出現頻度のピークは、道路の道路濃度値により生じたものとみなされ、この範囲＃２の濃度値を有する画像データが除外される。

ここで、道路の道路濃度値を可変とし、特定の濃度値の範囲（例えば、範囲＃２）における濃度値の分布の中で、当該濃度値の出現頻度のピーク値付近の濃度値の分布に対応する濃度値を道路濃度値として選定することも可能である。この場合は、道路濃度値として除外する範囲が必要以上に大きくならずに済むので、車両等の対象物の露光制御値をより高精度で決定することができるようになる。

好ましくは、画像データ内で予め検出された白線Ｗ（図４参照）の近傍が道路であるとみなすことによって、この白線Ｗの付近の濃度値の平均値をもとに道路の道路濃度値を決定することも可能である。

さらに、好ましくは、画像データの領域で比較的高い濃度値を有する車両のボンネット（例えば、後述の図７参照）のエリアを予め設定し、道路の道路濃度値と一緒に車両のボンネットのエリアを除外することも可能である。

さらに、好ましくは、画像データの領域で比較的高い濃度値を有する空（例えば、後述の図８参照）のエリアを予め設定し、道路の道路濃度値と一緒に空のエリアを除外することも可能である。

さらに、図３のステップ１２０に示すように、道路の道路濃度値（例えば、図５の範囲＃２の濃度値）を除外した画像データの濃度値に基づいて、各々のエリアの露光制御値を算出する。

より詳しく説明すると、道路の道路濃度値を除外した画像データの濃度値を使用して各々のエリアの濃度値の平均値を算出する。さらに、各々のエリアに対し算出された濃度値の平均値に基づいて各々のエリアの露光制御値を算出する。

さらに、図３のステップ１２５に示すように、前述のステップ１２０で算出された各々のエリアの露光制御値に基づいて、画像データの領域全体の露光制御値を決定する（エンド）。
より詳しく説明すると、各々のエリアの露光制御値を平均して得られる露光制御値の平均値を、画像データの領域全体の露光制御値として最終的に選定し、カメラ１にフィードバックする。

図３の本発明のカメラ用露光制御方法によれば、カメラから得られる画像データの領域を複数のエリアに分割し、各エリアに含まれる道路の道路濃度値を除外した画像データの濃度値に基づいて各エリアの露光制御値を算出し、各エリアの露光制御値に基づいて最終的に画像データの領域全体の露光制御値を決定するようにしている。それゆえに、道路等の認識対象でない情報が画像データ内に多く含まれている場合であっても、道路の道路濃度値を除外した画像データを用いてカメラの露光を適切に制御することにより走行する車両の近傍の対象物を正確に検出することができるようになる。

さらに、図３の本発明のカメラ用露光制御方法によれば、自車線や隣接車線等を考慮した適切な分割条件に従って画像データの領域を複数のエリアに分割することによって、各エリアの露光制御値を一旦算出することができるようになり、種々の環境条件を考慮した露光制御値を適切に設定することができるようになる。

さらに、図３の本発明のカメラ用露光制御方法によれば、画像データの各エリアに含まれる道路の道路濃度値を除外すると共に、比較的高い濃度値を有する車両のボンネットの部分や空の部分等を除外することによって、より適切に各エリアの露光制御値を設定することができるようになる。

図６は、本発明のカメラ用露光制御装置に用いられる構成部品の配置関係を示す車両の上面図であり、図７は、その正面図である。ここでは、図６および図７を参照しながら、車両７に別途設けられているバックモニタカメラ８やレーダ９を用いて検知される車両の近傍の道路に関する情報に基づいて前述の図３のステップ１１５（すなわち、濃度ヒストグラムの算出結果をもとに各エリアの道路の道路濃度値を決定するステップ）を実行する場合について説明する。

図６および図７に示すように、走行している車両７では、通常、車載カメラ等のカメラ１が車両内のルームミラー７１の前方に設けられている。さらに、車両７の後方の対象物を認識するために、テールランプ７３の近傍（または車両７の後部の天井７２の近傍）にバックモニタカメラ８が設置されている。このバックモニタカメラ８から得られる画像データに基づいて特定のエリアの道路濃度値を決定することができる。バックモニタカメラ８を利用して道路濃度値を決定することは、車両をバックさせる場合に、駐車場の状況を正確に把握したいときに特に有効である。

また一方で、走行している車両７では、電磁波を用いて車両の前方の対象物との距離を測定するために、車両のボンネット７５およびヘッドランプ７４の近傍にレーダ９が設けられている。このレーダ８を用いて車両７の前方の対象物との距離を測定し、ボンネット７５から車両の前方の対象物までに映る道路の路面の濃度値に基づいて特定のエリアの道路濃度値を決定することができる。レーダ８を用いて道路濃度値を決定することは、何メートル先に対象物が存在するかを正確に把握したい場合に特に有効である。

さらに、前述の図３のステップ１２０（すなわち、道路濃度値を除外した画像データの濃度値に基づいて各々のエリアの露光制御値を算出するステップ）を実行する場合の変形例を説明する。ここでは、各々のエリアにおいて、道路濃度値を除外した濃度値の最大値および最小値を濃度ヒストグラムから求め、当該濃度値の最大値および最小値に基づいて各々のエリアの露光制御値を決定するようになっている。例えば図５の濃度ヒストグラムにおいて、濃度値の範囲＃１では、濃度値の最大値および最小値を求めることで黒い対象物を正確に把握すると共に、濃度値の範囲＃３では、濃度値の最大値および最小値を求めることで白い対象物を正確に把握することができる。

図８は、各エリアの露光制御値算出の際に使用される濃度投影値の分布の一例を示すヒストグラムである。ここでは、前述の図３のステップ１２０（すなわち、道路濃度値を除外した画像データの濃度値に基づいて各々のエリアの露光制御値を算出するステップ）を実行する場合の別の変形例を説明する。

図５に示したような濃度ヒストグラムを参照したのみでは、画像データの領域内の場所による濃度値の変化の様子を正確に把握することができない場合がある。このため、図８に示すように、道路濃度値を除外した画像データの濃度値の横方向への濃度投影値を算出し、特定の範囲内（例えば、横方向への濃度投影値の閾値Ｖｔｈ１以下の範囲内）の濃度投影値が存在するラインの数に応じて各々のエリアの露光制御値を決定するようにしている。また一方で、道路濃度値を除外した画像データの濃度値の縦方向への濃度投影値を算出し、特定の範囲内（例えば、縦方向への濃度投影値の閾値Ｖｔｈ２以下の範囲内）の濃度投影値が存在するラインの数に応じて各々のエリアの露光制御値を決定するようにしている。このようにすれば、縦方向への濃度投影値に基づいて、濃度値が比較的高い空Ｓの部分を正確に把握することが可能になる。

さらに、前述の図３のステップ１２０（すなわち、道路濃度値を除外した画像データの濃度値に基づいて各々のエリアの露光制御値を算出するステップ）を実行する場合の別の変形例を説明する。ここでは、道路濃度値を除外した画像データの濃度値の中で、特定の濃度値の範囲内に存在する濃度値の数に応じて各々の露光制御値を決定するようにしている。このようにすれば、道路の道路濃度値を除外した画像データの濃度値をより詳細に解析することによって、より適切に画像データの領域全体の露光制御値を最終的に決定することができる。

さらに、前述の図３のステップ１２５（すなわち、各々のエリアの露光制御値に基づいて、画像データの領域全体の露光制御値を決定するステップ）を実行する場合の変形例を説明する。ここでは、各エリア毎に各々のエリアの露光制御値に対して一定の重み付けを行うようにしている。例えば、自車線を含む一つのエリアの濃度値と隣接車線を含む２つのエリアの濃度値に対して、それぞれ３：１：１の重み係数を設定し、各々のエリアの露光制御値に当該重み係数を掛けた値を平均して得られる露光制御値を、最終的な画像データの領域全体の露光制御値として選定するようにしている。

さらに、前述の図３のステップ１２５を実行する場合の別の変形例を説明する。ここでは、各々のエリアの道路濃度値に応じて、各エリア毎に各々のエリアの露光制御値に対して可変の重み付けを行うようにしている。この場合、各々のエリアの道路濃度値を考慮して（例えば、どれくらい多くの車両が各々のエリアの道路上に存在するかによって）、自車線を含む一つのエリアの濃度値と隣接車線を含む２つのエリアの濃度値に対して設定される重み係数を変更することができるようにしている。

さらに、前述の図３のステップ１２５を実行する場合の別の変形例を説明する。ここでは、画像データの領域の中央部付近のエリアの露光制御値のみを選定するようにしている。例えば、自車線のエリアにおいて渋滞が生じている場合、隣接車線のエリアの露光制御値は実質的に考慮する必要がないので、画像データの領域の中央部付近のエリアの露光制御値のみを選定することが有効になる。

さらに、前述の図３のステップ１２５を実行する場合の別の変形例を説明する。ここでは、車両に設けられたレーダ（例えば、図７参照）により車両の前方の対象物を検知した結果をもとに、車両の前方の対象物が存在するエリアの露光制御値の重み付けを大きくするようにしている。このようにすれば、レーダによる検知結果を積極的に利用することによって、より適切に画像データの領域全体の露光制御値を最終的に決定することができる。

本発明のカメラ用露光制御装置および制御方法は、車両に設けられた車載カメラに適用されるのみでなく、対象物の認識・検出を行うための一般のカメラに適用することが可能である。

本発明のカメラ用露光制御装置に係る一実施例の構成を示すブロック図である。 図１の画像処理制御部の具体的な構成を示すブロック図である。 本発明のカメラ用露光制御方法を説明するためのフローチャートである。 図３のエリア分割の一例を示す画像データ図である。 図４の一つのエリアにおける濃度値の分布の一例を示すヒストグラムである。 本発明のカメラ用露光制御装置に用いられる構成部品の配置関係を示す車両の上面図である。 本発明のカメラ用露光制御装置に用いられる構成部品の配置関係を示す車両の正面図である。 各エリアの露光制御値算出の際に使用される濃度投影値の分布の一例を示すヒストグラムである。

符号の説明

１ カメラ
２ 画像処理制御部
３ 画像認識処理部
４ 露光制御値演算部
５ 記憶部
６ バス
７ 車両
８ バックモニタカメラ
９ レーダ
１０ カメラ用露光制御装置
２１ アナログ／ディジタル（Ａ／Ｄ）変換器
２２ ＦＩＦＯフィールドメモリ
２３ タイミング発生部
２４ 同期信号検出部
２５ 書き込み制御部
３０ 表示部
４１ エリア分割手段
４２ 道路濃度値決定手段
４３ 各エリア露光制御値算出手段
４４ 全体露光制御値決定手段
７１ ルームミラー
７２ 天井
７５ ボンネット

Claims (22)

1. カメラから得られる画像データを処理して車両の周囲の対象物を検出する画像認識処理部と、画像データの状態に応じて前記カメラの露光を制御するための露光制御値を演算する露光制御値演算部とを有するカメラ用露光制御装置であって、前記露光制御値演算部は、
   前記画像データの領域を複数のエリアに分割するエリア分割手段と、
   各々の前記エリアにおいて前記画像データの濃度値と該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、該濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定する道路濃度値決定手段と、
   前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出する各エリア露光制御値算出手段と、
   各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定する全体露光制御値決定手段とを具備することを特徴とするカメラ用露光制御装置。
2. 前記各エリア露光制御値算出手段は、前記道路濃度値を除外した前記画像データの濃度値に基づいて各々の前記エリアの濃度値の平均値を算出し、算出された前記濃度値の平均値に基づいて各々の前記エリアの露光制御値を算出し、
   前記全体露光制御値決定手段は、各々の前記エリアの露光制御値を平均して得られる露光制御値の平均値を、前記画像データの領域全体の露光制御値として最終的に選定することを特徴とする請求項１記載のカメラ用露光制御装置。
3. カメラから得られる画像データを処理して車両の周囲の対象物を検出する際に、前記画像データの状態に応じて前記カメラの露光を制御するための露光制御値を算出し、該露光制御値を用いて前記カメラの露光制御を行うカメラ用露光制御方法であって、
   前記画像データの領域を複数のエリアに分割するステップと、
   各々の前記エリアにおいて前記画像データの濃度値と該濃度値の出現頻度との関係を示す濃度ヒストグラムを算出し、該濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップと、
   前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップと、
   各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップとを有することを特徴とするカメラ用露光制御方法。
4. 前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記道路濃度値を除外した前記画像データの濃度値に基づいて各々の前記エリアの濃度値の平均値を算出し、算出された前記濃度値の平均値に基づいて各々の前記エリアの露光制御値を算出し、
   各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップにおいて、各々の前記エリアの露光制御値を平均して得られる露光制御値の平均値を、前記画像データの領域全体の露光制御値として最終的に選定することを特徴とする請求項３記載のカメラ用露光制御方法。
5. 前記画像データの領域を複数のエリアに分割するステップにおいて、前記車両が走行する道路の自車線、および、前記自車線に隣接する道路の隣接車線に対する重み付けを行って分割することを特徴とする請求項３記載のカメラ用露光制御方法。
6. 前記画像データの領域を複数のエリアに分割するステップにおいて、前記車両と近距離の関係にあるエリア、および、前記車両と遠距離の関係にあるエリアに対する重み付けを行って分割することを特徴とする請求項３記載のカメラ用露光制御方法。
7. 前記画像データの領域を複数のエリアに分割するステップにおいて、各々の前記エリアの面積の比が均等になるように分割することを特徴とする請求項３記載のカメラ用露光制御方法。
8. 前記画像データの領域を複数のエリアに分割するステップにおいて、前記車両のボンネットのエリアを予め設定し、
   前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記車両のボンネットのエリアを除外することを特徴とする請求項３記載のカメラ用露光制御方法。
9. 前記画像データの領域を複数のエリアに分割するステップにおいて、空のエリアを予め設定し、
   前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記空のエリアを除外することを特徴とする請求項３記載のカメラ用露光制御方法。
10. 前記濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップにおいて、前記濃度ヒストグラムにて一定の濃度値の範囲内に存在する濃度値を前記道路濃度値として選定することを特徴とする請求項３記載のカメラ用露光制御方法。
11. 前記濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップにおいて、特定の濃度値の範囲における濃度値の分布の中で、該濃度値の出現頻度のピーク値付近の濃度値の分布に対応する濃度値を前記道路濃度値として選定することを特徴とする請求項３記載のカメラ用露光制御方法。
12. 前記濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップにおいて、予め検出された白線の付近の濃度値の平均値をもとに前記道路濃度値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
13. 前記濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップにおいて、前記車両に設けられたバックモニタカメラから得られる画像データに基づいて前記道路濃度値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
14. 前記濃度ヒストグラムの算出結果をもとに各々の前記エリアに含まれる道路の道路濃度値を決定するステップにおいて、前記車両に設けられたレーダを用いて前記車両の前方の対象物との距離を測定し、前記車両のボンネットから前記車両の前方の対象物までに映る道路の路面の濃度値に基づいて前記道路濃度値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
15. 前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記道路濃度値以外の濃度値の最大値および最小値を求め、該濃度値の最大値および最小値に基づいて前記露光制御値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
16. 前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記濃度値の第１の方向への濃度投影値を算出し、特定の範囲内の前記濃度投影値が存在するラインの数に応じて前記露光制御値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
17. 前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、前記濃度値の第２の方向への濃度投影値を算出し、特定の範囲内の前記濃度投影値が存在するラインの数に応じて前記露光制御値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
18. 前記道路濃度値以外の濃度値に基づいて各々の前記エリアの露光制御値を算出するステップにおいて、ある特定の前記濃度値の範囲内に存在する濃度値の数に応じて前記露光制御値を決定することを特徴とする請求項３記載のカメラ用露光制御方法。
19. 各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップにおいて、前記エリア毎に各々の前記エリアの前記露光制御値に対して一定の重み付けを行うことを特徴とする請求項３記載のカメラ用露光制御方法。
20. 各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップにおいて、各々の前記エリアの前記道路濃度値に応じて、前記エリア毎に各々の前記エリアの前記露光制御値に対して重み付けを行うことを特徴とする請求項３記載のカメラ用露光制御方法。
21. 各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップにおいて、前記画像データの領域の中央部付近のエリアの露光制御値のみを選定することを特徴とする請求項３記載のカメラ用露光制御方法。
22. 各々の前記エリアの露光制御値に基づいて前記画像データの領域全体の露光制御値を決定するステップにおいて、前記車両に設けられたレーダにより前記車両の前方の対象物を検知した結果をもとに、前記車両の前方の対象物が存在するエリアの露光制御値の重み付けを大きくすることを特徴とする請求項３記載のカメラ用露光制御方法。

Images