JP2005033680A

JP2005033680A - 車両用画像処理装置

Info

Publication number: JP2005033680A
Application number: JP2003273011A
Authority: JP
Inventors: Mitsuhiko Morita; 光彦森田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-07-10
Filing date: 2003-07-10
Publication date: 2005-02-03

Abstract

【課題】撮像手段の故障を確実に判定することのできる車両用画像処理装置を提供する。
【解決手段】画像処理装置（例えば、白線認識ＥＣＵ１）は、撮像手段（例えば、前方カメラ１１）で撮像した画像中の車体部分の画像の輝度を検出し、これと車外照度を検出する手段（例えば、ダッシュボード上に配置される日射センサ１０）で検出した照度を比較し、その結果に所定以上の齟齬がある場合に撮像手段（前方カメラ１１）の異常と判定する。
【選択図】図１

Description

本発明は、車両に搭載され、撮像手段で取得した車外の画像を処理する車両用画像処理装置に関する。

車両に搭載されたカメラで取得した画像を基に、画像処理によって走行レーンを区画する白線を認識して、車両の走行レーンからの逸脱を警告したり、走行レーンに追従して自動走行を行う装置が知られている（例えば、特許文献１参照）。

このような技術においては、逆光、雨上がりなどの画像が明るすぎる場合や夜間など画像がくらすぎる場合、薄暮、雪等によって画像のコントラストが低い場合、スミアが発生している場合等には、画像認識処理が正確に行えないため、これを利用した自動走行やレーン逸脱警告が行えなくなる。そこで、特許文献１の技術では、取得した画像から画像認識が不能であった場合に、その不能となった条件、例えば画像が過度の明暗状態にあること、画像のコントラストが低いこと、等の認識不可能条件に基づいて必要な操作、補正等を行う。
特開２０００−２０７５６３号公報（段落００１７〜００２５、図３〜図５）

しかしながら、この技術では、取得した画像が画像認識不能な状態にある場合に、撮像手段であるカメラ自体の故障によるのか、環境自体により信号が飽和しているのかを判断することが困難である。例えば、極端に明るい画像を取得した場合に、極端な逆光条件等の周囲が極端に明るい状態にあるため、絞りを絞り込んだとしても輝度を抑えることのできない状態にあるのか、撮像手段の故障により明るい画像が出力されているのかは判別できない。また、トンネルの出入り口等、カメラ位置近傍と白線認識を行いたい走行位置との明暗の差が激しい場合には、判定を正確に行うことができない。

そこで本発明は、撮像手段の故障を確実に判定することのできる車両用画像処理装置を提供することを課題とする。

上記課題を解決するため、本発明に係る車両用画像処理装置は、車両に搭載され、撮像手段で取得した車外の画像を処理する車両用画像処理装置において、撮像手段が撮像している画像内の車体部分の画像の輝度を検出する手段と、車外照度を測定する手段と、検出した車体部分の画像の輝度と、測定した車外照度とに所定以上の齟齬がある場合に、撮像手段が異常であると判定する判定手段と、を備えていることを特徴とする。

車両に搭載された撮像手段の画像中に映り込む車体部分は、ほぼ一定であり、その輝度は、その車体部分への日照等による照度に応じて変化する。したがって、車外照度と撮像された画像中の車体部分の輝度とは、一定の相関関係を有することから、両者を比較することにより、両者が一致している場合には、画像の明暗は環境の影響によるものであり、両者に齟齬がある場合には、撮像手段の異常によるものと判別できる。

以上説明したように本発明によれば、撮像手段で撮像した画像中の車体部分の輝度と別に測定した照度とを比較することで、撮像手段の故障を正確に判定することができる。したがって、撮像手段で取得した画像からの画像認識処理を精度よく行うことが可能となり、これを用いた車両制御の精度、信頼性が向上する。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明に係る車両用画像処理装置を含む車両制御装置のブロック構成図であり、図２は、それを搭載した車両２００を示す斜視図である。この車両制御装置１００は、車両前方位置における車外照度を検出する日射センサ１０と、車両前方の画像を取得する前方カメラ１１と、この前方カメラ１１で取得した画像から画像処理により車両の前方進路上の白線を認識する白線認識ＥＣＵ１と、を備える。白線認識ＥＣＵ１は、ＲＡＭ、ＲＯＭ、ＣＰＵ等によって構成され、本発明に係る車両用画像処理装置における画像処理部を構成するとともに、判定手段および車体部分の画像の輝度を検出する手段（以下、輝度検出手段と称する。）を兼ねている。この白線認識ＥＣＵ１には、また、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４の出力信号が入力されており、白線認識ＥＣＵ１の認識結果は、車内ＬＡＮ２を介してＰＣＳ（Pre-Crash Safety）システム３、逸脱警報システム４、レーンキープシステム５等に送られる。また、白線認識ＥＣＵ１には、モニタ装置４２とスピーカー４３が接続されている。これらＰＣＳシステム３、逸脱警報システム４、レーンキープシステム５の詳細については、省略する。

前方カメラ１１は、本発明に係る撮像手段に相当し、図２に示されるように車両２００のフロントウィンドウ上部（例えば、バックミラーの裏側）に配置されており、車両２００前方の画像、つまり、車両前方の走行レーン３００の画像（区画線３０１を含む。）を取得するものである。この前方カメラ１１は、取得した画像を、ＡＤ変換により、所定の画素数（例えば、横方向をｘ方向、縦方向をｙ方向として、ｘ×ｙが３２０×２４０画素）のモノクロ階調（例えば８階調）のデジタル画像データに変換して白線認識ＥＣＵ１に送る。もちろん、所定の画素数、階調を有するデジタルデータを直接出力可能なデジタルカメラを前方カメラ１１に用いてもよく、前方カメラ１１のアナログ出力を白線認識ＥＣＵ１内部でＡＤ変換してもよい。

日射センサ１０は、本発明に係る車体部分近傍の照度を検出する手段（以下、照度検出手段と称する。）に相当し、フロントウィンドウ下部に面したダッシュボード上面にボンネット２００ａに近接するように埋め込まれており、ダッシュボード上部へ入射する日射量（光量）を測定することで、ボンネット２００ａへ入射する光量（車外照度）を判定する。図３は、この日射センサ１０の特性例を示すグラフである。この日射センサ１０は、日射量（入射面へ入射する光量）が大きいほど低い電圧を、日射量が小さいほど高い電圧を示し、その関係は線型となる特性を有している。このほかにも、逆の特性、つまり、日射量が小さいほど低い電圧を、日射量が大きいほど高い電圧を示すセンサでも、日射量と出力電流とが相関関係を有するセンサや、日射量と電圧または電流との相関関係が非線形であるセンサ等を用いることができる。

この車両制御装置では、前方カメラ１１により取得した画像から白線認識ＥＣＵ１が画像処理によって車両が走行している走行レーンを区画する白線を認識し、認識結果を基にしてＰＣＳシステム３、逸脱警報システム４、レーンキープシステム５が各種の制御を実行する。

本実施形態では、撮像装置の故障の有無を判定するため、この日射センサ１０の出力を利用している。以下、この故障判定処理について図４、図５を参照して説明する。図４は、故障判定処理の処理フローであり、図５は、撮像画面を示している。この故障判定処理は、前方カメラで取得した画像について実際の画像認識処理を行うのに先立って白線認識ＥＣＵ１内で行われるものであり、白線認識機能がオンにされている間は、実際に故障と判定されるまでの間、所定のタイミングで繰り返し実行される。

まず、ボンネット２００ａ部分の画像の平均輝度Ｉavを演算する（ステップＳ１）。これは、図５（ａ）、（ｂ）に示されるように、前方カメラ１１で取得した画像中で、ボンネット２００ａを撮像している画素部分（３００ａ）の輝度の平均値として得られる。なお、前方カメラ１１は、画素の所定領域（例えば、３００ｂ）の輝度の平均値が所定範囲内の値になるよう絞りをコントロールしている。そのため、ステップＳ１で計算する平均輝度Ｉavは、この絞り値が所定値の場合に相当する平均輝度として求められる。これにより、画像内の他の領域の明るさに影響されずにボンネット２００ａ部分の平均輝度を求めることができる。

次に、求めたボンネット２００ａ部分の画像の平均輝度Ｉavを所定のしきい値（Ｉ₁とする。）と比較することにより異常に明るい状態にあるか否かを判定する（ステップＳ２）。平均輝度Ｉavがしきい値Ｉ₁を超え、異常に明るいと判定された場合には、ステップＳ３へと移行して、今度は日射センサ１０の出力値Ｖoutをしきい値（Ｖ₁）と比較することにより日射量が多い（明るい）か否かを判定する。ここでは、日射センサ１０が図３に示される特性を有しているため、Ｖout＜Ｖ₁の場合に日射量が多く、明るいと判定する。明るいと判定された場合には、前方カメラ１１で撮像した画像と日射センサ１０の出力の間に齟齬がなく、異常でないと判定してその後の処理をスキップして処理を終了する。逆に、Ｖout≧Ｖ₁が成立し、暗いと判定された場合には、ステップＳ４へと移行し、この状態が連続してＫ秒以上継続しているか否かを判定する。

この状態の継続時間がＫ秒未満の場合には、車両２００が道路脇の構造物、木々等の影を通過した場合である可能性もあるため、異常と判定せずそのまま処理を終了する。反対に継続時間がＫ秒を超えている場合には、前方カメラ１１で撮像した画像と日射センサ１０の出力の間に齟齬があり、かつ、車両２００が前述したような影を通過した場合には該当しない異常な状態であると判定し、画像センサである前方カメラ１１の故障であると判定して（ステップＳ５）処理を終了する。この継続時間のしきい値Ｋ秒は、車速センサ１４の出力を基にして車速に応じて変化させてもよい。通常予想される影の長さを通過するのに十分な時間を設定することで、車速が異なる場合でも正確に測定を検出を行うことができる。さらに、ヨーレートセンサ１２や舵角センサ１３の出力を基にして車両の走行状態に応じて変化させてもよい。

ステップＳ２で平均輝度Ｉavがしきい値Ｉ₁以下であった場合には、ステップＳ６へと移行し、平均輝度Ｉavを所定のしきい値（Ｉ₂とする。）と比較することにより異常に暗い状態にあるか否かを判定する。ここで、Ｉ₂＞Ｉ₁と設定していることが好ましい。平均輝度Ｉavがしきい値Ｉ₂以上で異常に暗い状態にない、つまり、平均的な明るさの状態と判定された場合には、その後の処理をスキップして終了する。一方、平均輝度Ｉavがしきい値Ｉ₂を下回り、異常に暗いと判定された場合には、ステップＳ７へと移行する。

そして、日射センサ１０の出力値Ｖoutをしきい値（Ｖ₂）と比較することにより日射量が少ない（暗い）か否かを判定する。ここでは、日射センサ１０が図３に示される特性を有しているため、Ｖout＞Ｖ₂の場合に日射量が少なく、暗いと判定する。ここで、Ｖ₂≧Ｖ₁に設定されている。暗いと判定された場合には、前方カメラ１１で撮像した画像と日射センサ１０の出力の間に齟齬がなく、異常でないと判定してその後の処理をスキップして処理を終了する。逆に、Ｖout≦Ｖ₂が成立し、明るいと判定された場合には、ステップＳ８へと移行し、この状態が連続してＫ秒以上継続しているか否かを判定する。

この状態の継続時間がＫ秒未満の場合には、車両２００がたまたま日差しのあたっている領域を通過した場合である可能性もあるため、異常と判定せずそのまま処理を終了する。反対に継続時間がＫ秒を超えている場合には、前方カメラ１１で撮像した画像と日射センサ１０の出力の間に齟齬があり、かつ、車両２００が前述したような日差しの指している領域を通過した場合には該当しない異常な状態であると判定し、画像センサである前方カメラ１１の故障であると判定して（ステップＳ９）処理を終了する。

故障と判定した場合には、モニタ装置４２とスピーカー４３により画像表示、音声等により運転者に前方カメラ１１の故障の可能性があることを報知することが好ましい。

表１は、前方カメラ１１で取得した画像中のボンネット２００ａ部の平均輝度値と日射センサ１０で検出した日射量の対比によって上述の処理フローで設定する故障判定結果をまとめたものである。

なお、ボンネット２００ａ部の平均輝度値は、日射量が同一の場合でも、その表面（通常は塗装）の材質、塗装色等によって異なるため、それに応じて判定しきい値を設定する必要がある。

このように日射量（車外照度）と前方カメラ１１で取得した画像におけるボンネット２００ａ部の輝度とを比較することで前方カメラ１１の故障を精度よく判定することができる。図５（ａ）（ｂ）に表示されている取得画像においては、ボンネット２００ａ部分の平均輝度には大きな差はない（日射センサ１０で測定される日射量は同一とする。）が、画像全体の平均輝度には大きな差がない。このような場合に、従来技術では画像全体が明るい図５（ｂ）の状態を異常状態と判定してしまう可能性がある。これに対して、本願では、ボンネット２００ａ部分の輝度と日射センサ１０で測定した日射量とを比較しているため、いずれの場合も前方カメラ１１に問題はなく、走行レーンの明るさが異なることを正確に判定することができる。

このように前方カメラ１１の故障の有無を正確に判定できるため、その後の走行レーンを区画する白線の認識も正確に行うことができる。そして、認識した白線情報を利用した車両制御、ＰＣＳシステム３を用いた衝突時の乗員保護や、逸脱警報システム４における走行レーン逸脱の報知、レーンキープシステム５による走行レーンに追従する自動走行を適切に行うことができる。その結果、車両制御の信頼性も向上する。

前方カメラ１１としては、ＣＣＤやＣＭＯＳ等の２次元イメージセンサを撮像素子として用いたカメラを用いることが好ましい。ここでは、照度を検出する手段として日射センサ（照度計）を用いる例を説明したが、比較的少ない画素数を有する撮像素子をボンネット２００近傍のダッシュボード上に上向きに配置し、取得画像の平均輝度により判定を行ってもよい。その他にも各種の受光センサを用いることが可能である。また、この照度を検出する手段の配置位置は、ダッシュボード上に限られるものではなく、車外照度を測定可能であれば、その他の車室内（例えば、車両後部やサンルーフ部分）や車室外（例えば、天井やボンネット２００ａ上）に配置してもよい。また、平均輝度情報取得のためカメラで撮像すべき車体領域はボンネット２００ａ部分に限られるものではなく、例えばフロントバンパーやフロントピラー等であってもよい。

以上の説明では、撮像手段として前方カメラを用いる例を説明したが、それ以外の車外を撮像する撮像手段、例えば、側方カメラや後方カメラの場合にも本発明は好適に利用可能である。この場合も車体の一部（例えば、側方カメラならドア、ボディの側面、後方カメラならリアハッチ）を撮像してその平均輝度情報を別に測定した車外照度と比較すればよい。

本発明に係る車両用画像処理装置を含む車両制御装置のブロック構成図である。図１の車両制御装置を搭載した車両を示す斜視図である。図１の装置の日射センサの特性を示すグラフである。図１の車両用画像処理装置における前方カメラの故障診断処理の処理フローである。前方カメラによって取得した画像の一例を示す図である。

符号の説明

１…白線認識ＥＣＵ、２…車内ＬＡＮ、３…ＰＣＳ（Pre-Crash Safety）システム、４…逸脱警報システム、５…レーンキープシステム、１０…日射センサ、１１…前方カメラ、１２…ヨーレートセンサ、１３…舵角センサ、１４…車速センサ、４２…モニタ装置、４３…スピーカー、１００…車両制御装置、２００…車両、３００…走行レーン、３０１…区画線。

Claims

車両に搭載され、撮像手段で取得した車外の画像を処理する車両用画像処理装置において、
前記撮像手段が撮像している画像内の車体部分の画像の輝度を検出する手段と、
車外照度を測定する手段と、
検出した車体部分の画像の輝度と、検出した車外照度とに所定以上の齟齬がある場合に、前記撮像手段が異常であると判定する判定手段と、
を備えていることを特徴とする車両用画像処理装置。