JP5435307B2 - 車載カメラ装置 - Google Patents

Description

本発明は、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置に関する。

このような車載カメラ装置によって取得された撮影画像は、車両周辺領域の監視のために種々の形態でモニタに表示されたり、画像認識等の処理を通じての物体検知に用いられたりする。
例えば、駐車の際などにおいて運転者の死角を補完するために、上記の車載カメラ装置による車両後方の撮影画像が運転者の近傍に配設されたモニタに表示される。その際、モニタに対して適正な輝度を設定するために、カメラによって撮像される領域の明るさを検出する光センサが車両の後部に配設されており、この光センサによって検出された明るさに基づいてモニタの輝度を設定する輝度調整装置が特許文献１に記載されている。このような輝度調整装置を用いることで、撮影画像全体の最適輝度を算定することができる。しかしながら、車両周辺領域の監視では、撮影画像に含まれている建物や大木や車両などの影に入っている移動物体（子どもなど）といったその都度異なる局地的な撮影領域の輝度を適切にするような輝度調整は不可能である。また、輝度調整のために光センサを用意することは、部品コストかつ制御コストの負担も大きくなる。

入力画像から順次抽出される予め設定された所定領域毎の領域画像を構成する画素の輝度値が予め設定された閾値を超えているときには、この閾値を超えないように画素輝度値を補正し、輝度補正された領域画像と学習モデルとに基づいて対象物を検出する対象物検出装置が特許文献２に記載されている。これにより、入力画像に高輝度が含まれている場合であっても、高精度に対象物が検出されることを意図している。学習モデルでは、学習画像として、歩行者、自転車乗員が撮影された画像が用いられており、そのような対象物を検出することを可能としている。しかしながら、この装置では、撮影画像から多数に区分けされた小領域毎にその小領域を構成する画素の輝度値に対してしきい値判定して輝度調整する処理を繰り返すので、対象物検出のために用いられる画像を生成するための演算負荷が大きいという欠点がある。

特開２０１０‐２０８３７２号公報（段落番号〔０００２−００３７〕、図４） 特開２００７‐２７２４２１号公報（段落番号〔０００８−００３８〕、図４）

上記実情に鑑み、車両周辺監視において重要となる領域が良好に確認できるような撮影画像を出力することができる車載カメラ装置が要望されている。例えば、車両等の影に入って見え難くなっているシャドウ領域が車両周辺監視において重要となることが少なくないので、そのような特定領域の物体確認性を改善することである。

上記課題を解決するため、本発明による、車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置は、生成された撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記撮影画像における前記車両を除く領域である部分領域として算定するシャドウ領域算定部と、前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、前記輝度調整部によって前記撮影画像全体の輝度調整が行われた撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備え、前記シャドウ領域算定部は、前記輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築される学習型算定ユニットである。なおここで輝度特性データとは、輝度に関する特性データのことであり、単なる画素単位の輝度値のデータ集合や、輝度ヒストグラムや輝度領域分布などの統計値なども含む。
この構成により、撮影画像において車両の周辺領域ではない前記車両が写っている領域以外の部分領域における輝度特性データに基づいて前記撮影画像全体が輝度調整されるので、車体部分、例えば、バンパーなどが撮影画像の輝度に与える影響を排除することができる。

また、撮影画像から輝度特性データ、例えば輝度ヒストグラムや輝度領域分布などを作成し、この輝度特性データから撮影画像における車両周辺監視目的で重要となる注目シャドウ領域を算定する。さらに、算定された注目シャドウ領域に限定して当該注目シャドウ領域の輝度を上げる輝度アップ量が算定され、この輝度アップ量に基づいて、撮影画像の輝度を上げる輝度調整が施される。ここでの輝度アップ量は、単純に輝度値を上げるだけでなく、この注目シャドウ領域における輝度のダイナミックレンジを大きくすることも含む語句として用いられており、輝度レベル調整量と言い換えてもよい。このような輝度調整がなされた撮影画像は、空や照明光などのハイライト領域に白飛びが生じて、一般的な撮影画像の観点からは低品質となるが、建物や大木や車両などの影に入っている子どもなどの移動物体が確認しやすい画像となる。従って、この輝度調整済み撮影画像がモニタに表示されると、運転者は建物や大木や車両などの影に入っている子どもなどの移動物体を視認し易くなる。また、この輝度調整済み撮影画像を用いた画像認識では、そのような移動物体の認識が容易となる。
さらに、注目シャドウ領域を算定し、その注目シャドウ領域の輝度値から算定された輝度アップ量に基づいて撮影画像全体の輝度が調整されるので、注目シャドウ領域だけを輝度調整した場合に生じる注目シャドウ領域境界線での違和感が解消され、全体として一体感のある撮影画像が得られる。この場合、空や照明などのハイライト領域では白飛びが生じても、車両周辺監視のための画像においては、そのような白飛びはそれほど問題とならない。
注目シャドウ領域の算定には、経験的に得られる知識が重要となる。このため、学習型の算定ユニットが適している。従って、シャドウ領域算定部は、輝度特性データを入力パラメータとして注目シャドウ領域を導出するように予め学習することで構築されている。

本発明の好適な実施形態の１つでは、前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定するように構成されている。注目シャドウ領域は、何らかの物体の影に入っているために確認しづらくなった車両走行上障害となる物体が存在する可能性の高い領域である。このような注目シャドウ領域を撮影画像から見つけ出す精度は、撮影画像を複数の区画に分けた方が高くなる。

注目シャドウ領域のための輝度アップ量が算定されたとしても、注目シャドウ領域以外の領域も同じ輝度アップ量を適用することは、注目シャドウ領域以外の領域の輝度特性によっては不都合な場合がある。これを解決するためには、輝度アップ量に基づく輝度調整に自在性を与えるよい。この目的のため本発明の好適な実施形態の１つでは、前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げるように構成されている。なお、輝度調整曲線設定部は、前記輝度アップ量及び前記輝度特性データに基づいて輝度調整曲線を選択するよう構成しても良い。

車両周辺領域の撮影画像における注目シャドウ領域を算定して、この注目シャドウ領域の輝度が適切に上げられるように撮影画像に対して輝度調整を行う過程を図解している模式図である。 輝度特性データの一例を説明する説明図である。 本発明による車載カメラ装置の好適な実施形態における輝度調整機能の機能ブロック図である。 図３による車載カメラ装置における輝度調整の流れを示すフローチャートである。

本発明による車載カメラ装置の具体的な実施形態を説明する前に、図１を用いて、この車載カメラ装置において実行される輝度調整の基本原理を模式的を説明する。発明による車載カメラ装置の基本的な構想は、生成された車両の周辺領域の撮影画像における車両を除く領域である部分領域の輝度特性データに基づいて前記撮影画像全体の輝度調整が行われる。例えば、撮影画像における自車両のバンパーなどの車両構成部材を除く、純粋な車両周辺領域の画素値（輝度値）を用いて、その車両周辺領域における影などのシャドウ領域を明るくする。これにより、モニタに表示される車両周辺画像の視認性が向上する。
なお、自動輝度調整において、通常（例えば、被写体が人物等の場合）の収束範囲より高い収束範囲で輝度調整（露光調整）することで、シャドウ領域が明るくなった撮影画像を得ることも、本発明による輝度調整に含まれる。このようにシャドウ領域が明るくなった撮影画像を得るように構成することで、影の中の物体が浮き上がり、影の中の物体が認識しやすくなる。また、木々の葉等の被写体がはっきりと距離感良く見えるようになる。すなわち、車両の周辺監視用カメラとして、周囲の安全確保に適した構成となる。

以下に説明する、模式化することでより具体化された本発明の基本原理では、撮影画像における特定の注目シャドウ領域の輝度特性データに基づいて、当該撮影画像全体の輝度がアップされる。
車載カメラ装置のカメラ部によって撮影画像が生成される（＃０１）。このカメラ部には通常のホワイトバランス回路やγ補正部などが備えられており、生成された撮影画像、正確にはデジタル撮影画像は、一般的な品質レベルの画像となっている。つまり、撮影画像にはハイライト領域とシャドウ領域と中間領域がバランスされており、ハイライト領域では白飛びが抑制され、シャドウ領域では黒つぶれが抑制されている。

生成された撮影画像は画素単位で輝度値を有しているので、この画素単位の輝度値を利用して、輝度特性データを生成する（＃０２）。輝度特性データの例として、図２に示すように、輝度ヒストグラムや輝度分布画像などが挙げられる。輝度ヒストグラムは、よく知られているように、画像の輝度（明暗の度合い）の分布を、横軸に輝度、縦軸に画素数をとって表すものであり、この輝度特性データから、撮影画像におけるシャドウ領域やハイライト領域の占める割合が検出することができる。また、輝度分布画像は、撮影画像と同等な二次座標面における所定輝度階調での輝度の分布を表すものである。この輝度階調は線形でなく、本発明にとって重要なシャドウ領域を高階調として非線形であってもよい。デジタル化された撮影画像そのものは一種の輝度分布画像でもあるので、撮影画像そのものないしはそのモザイク画像を輝度分布画像としてもよい。このような輝度特性データに基づいて、路面上に存在する物体のうちで、影になって暗くなっている領域が注目シャドウ部として算定される。その際、車載カメラの撮影中心は実質的には固定されているので、撮影画面の上半分が空などの明るい領域（ハイライト領域）となり、撮影画面の下半分が影の影響を受けるくらい領域（シャドウ領域）となる可能性が高い。このことを考慮して、注目シャドウ領域を撮影画面の下半分に限定することも可能である。
また、人間の知覚に基づいて撮影画像に対する視認性評価を行って視認性評価画像を輝度特性データとして生成し、シャドウ領域でかつ視認性の低い領域を注目車両領域として算定してもよい。
より正確な注目シャドウ領域の算定を行うためには、ニューラルネットワークのような学習制御を採用することである。例えば、予め、多数の典型的な撮影画像を取得し、各撮影画像における注目したいシャドウ領域を決定する。そのようにして得られたシャドウ領域とその撮影画像の輝度特性データとの組み合わせを教師情報として、入力撮影画像の輝度特性データを入力することでシャドウ領域が特定される出力が得られる演算モジュールを構築する。

さらに、この輝度特性データは、図２の（ａ）に示すように、撮影画像全体を対象として生成する形態と、図２の（ｂ）に示すように、撮影画像を複数の区画で分割して得られた区画毎の輝度特性データ、つまり区画輝度特性データに分けることができる。特定種の輝度特性データでは、区画化することにより、注目シャドウ領域を算定するためのより効果的なデータとなる。例えば、区画輝度ヒストグラムから、撮影画像における黒飛びが生じているシャドウ領域の位置を簡単に検出することができる。

生成された輝度特性データから、影に隠れて暗くなってしまった路面上ないしは路面近くの物体の存在の可能性があるシャドウ領域が注目シャドウ領域として算定される（＃０３）。ごく簡単な注目シャドウ領域算定アルゴリズムのひとつは、明るい領域で上方を囲まれた路面近くの暗い領域を注目シャドウ領域とすることである。

上述したような注目シャドウ領域が算定されると、注目シャドウ領域に含まれる画素の輝度値に基づいて、場合によっては、注目シャドウ領域以外に含まれる画素の輝度値や撮影画像の平均輝度値なども用いて、注目シャドウ領域における視認性や認識性を向上させるように注目シャドウ領域を明るくするための輝度アップ量が算定される（＃０４）。

次いで、算定された輝度アップ量に基づいて撮影画像の輝度を上げる輝度調整が実行されるが、この撮影画像の輝度調整は、よく知られているように、一般的には、輝度調整（補正）曲線を用いて行われる。この輝度調整曲線は線形（つまり直線）でもよいが、一般的にはＳ字曲線が用いられる。この輝度調整を通じて、算定された輝度アップ量に実質的に相当する程度の輝度上昇が注目シャドウ領域において実現する。輝度調整曲線の形状、つまり撮影画像全体としての輝度アップの度合いは、その注目車両領域や撮影画像の輝度分布によって、変更した方がよい場合がある。従って、種々の輝度調整曲線を予め格納しておいて、適切に選択するような構成を採用することが好都合である。そのような構成の場合、まず、最適な輝度調整曲線を選択して設定し（＃０５）、次にその輝度調整曲線を用いて撮影画像の輝度調整が行われる（＃０６）。なお、この輝度調整曲線は、コンピュータ処理的には、テーブル化（マップ化）してもよいし、演算式による演算方式などで構築してもよいが、ここでの輝度調整曲線はそのような全ての形態を総称する上位概念の語句として用いられている。

輝度調整された撮影画像は、撮影画像を取り込んで周辺監視画像としてモニタ（車載モニタ５１）に表示させる撮影画像表示モジュール５や撮影画像から他車や歩行者などの走行障害物などを認識する画像認識モジュール６に出力される（＃０７）。撮影画像表示モジュール５に送られた撮影画像はモニタに表示される（＃０８）。

次に、上述した輝度調整の基本原理を採用した、本発明による車載カメラ装置の具体的な実施形態の一例を説明する。この車載カメラ装置は、車両に搭載される、駐車支援システムや周辺風景監視システムに組み込まれる。図３にはこの車載カメラ装置の機能ブロック図が示されており、本発明に最も関係する機能部は輝度調整モジュール３である。車載カメラ装置には、撮影画像を取得する機能部として、撮影光学ユニット１１や撮影画像生成部１２などからなるカメラ本体１０が含まれている。撮影光学ユニット１１にはレンズや絞り・シャッターなどの光学系部品が含まれ、撮影画像生成部１２にはＣＣＤやＣＭＯＳなどの撮影素子が含まれている。車載カメラ装置から出力される輝度調整済みの撮影画像は、車載モニタ５１のための表示用画像を生成する撮影画像表示モジュール５、または車両周辺の障害物や道路標識や駐車区画線などを検出するための画像認識モジュール６あるいはその両方に送られる。なお、撮影画像表示モジュール５に送られる撮影画像と画像認識モジュール６に送られる撮影画像とでは、輝度調整モジュール３においてそれぞれ異なる輝度調整方法を用いてもよいが、その基本原理は図１で説明されたものに準じる。

輝度調整モジュール３に含まれる種々の機能は、実質的にはコンピュータシステムに搭載されたプログラムを起動することにより作り出され、コンピュータシステムのハードウエアと協働して作用する。この実施形態での輝度調整モジュール３は、本発明に特に関係する機能部として、撮影画像入力部３１、輝度特性データ生成部３２、シャドウ領域算定部３３、輝度アップ量算定部３４、輝度調整曲線設定部３５、輝度調整曲線テーブル３６、輝度調整部３７、撮影画像出力部３８を備えている。

撮影画像入力部３１は、撮影画像生成部１２から送られてきた撮影画像を一時的にメモリに展開する。輝度特性データ生成部３２は、メモリに展開された撮影画像から、輝度ヒストグラムや輝度分布画像などの輝度特性データを生成する。なお、この実施形態の輝度特性データ生成部３２では、撮影画像を複数の区画に区分けし、各区画から輝度特性データを生成する機能が備えられている。この区画区分けでは、特に空が写る可能性のある領域と路面が写る可能性の領域とが明確に区分けされることが好都合である。これは、この輝度調整モジュール３にとっての重要な領域は路面近くで何かの影に隠れて暗くなっている領域であるので、空領域と路面領域はできるだけ区分けすることが好ましいからである。

シャドウ領域算定部３３は、輝度特性データ生成部３２によって生成された輝度特性データを入力パラメータとして所定のルール（条件）に基づいて注目シャドウ領域を算定する。この注目シャドウ領域は、車両周辺監視のための周辺画像にとって重要な領域でかつ通常の撮影画像においては車両や建物などの影に入って暗くなってしまう領域である。撮影画面の下半分で周囲に比べ暗くなっている領域を注目シャドウ領域とするような簡単なアルゴリズムを採用することも可能であるが、ニューラルネットワークのような学習を用いて構築する演算部を採用すると算定精度が向上する。

輝度アップ量算定部３４は、算定された注目シャドウ領域の輝度データ、例えば輝度平均値や輝度中間値などを用いて、注目シャドウ領域での黒つぶれがある程度抑制されるような輝度アップ量を算定する。その際、注目シャドウ領域外の輝度値を考慮するような構成を採用してもよい。

この実施形態では、輝度アップ量に基づいて撮影画像全体の輝度を調整する際に利用する輝度調整曲線が輝度調整曲線テーブル３６に複数用意されている。従って、輝度調整曲線設定部３５は、輝度アップ量及び撮影画像の輝度特性データなどから最適な輝度調整曲線を輝度調整曲線テーブル３６から選択する。選択された輝度調整曲線は輝度調整部３７に対して設定されるので、輝度調整部３７をこの設定された輝度調整曲線を用いて、撮影画像の輝度調整を実施する。撮影画像出力部３８は、輝度調整された撮影画像を撮影画像表示モジュール５又は画像認識モジュール６あるいはその両方に出力する。

上述したように構成された車載カメラ装置における、撮影画像輝度調整処理の一例を図４によるフローチャートを用いて説明する。
この車載カメラ装置による撮影画像を用いた車両周辺監視プロセスが開始すると、カメラ本体１０で撮影画像が生成され（＃２０）、輝度調整モジュール３のメモリに展開される（＃２２）。まず、メモリに展開された撮影画像は、その全体から求められた全域輝度特性データが輝度特性データ生成部３２によって生成される（＃２４）。さらに、撮影画像に対して複数区画に区分け設定される（＃２６）。区分けされた区画から順次、処理対象区画が指定され（＃２８）、当該区画の輝度特性データが生成される（＃３０）。順次指定された処理対象区画の輝度特性データ生成が繰り返され（＃３２No分岐）、全ての区画の輝度特性データが生成されると（＃３２Yes分岐）、全域輝度特性データと区画輝度特性データとを入力パラメータとして注目シャドウ領域がシャドウ領域算定部３３によって算定される（＃３４）。さらに、注目シャドウ領域の輝度に基づいてこの注目シャドウ領域の画像をより明確にするために必要な輝度アップ量が輝度アップ量算定部３４によって算定される（＃３６）。算定された輝度アップ量に基づいて輝度調整曲線が設定されると（＃３８）、輝度調整部３７は撮影画像に対する輝度調整を実施する（＃４０）。輝度調整された撮影画像は撮影画像出力部３８を通じて出力される（＃４２）。この一連の処理ステップは、車両周辺監視プロセスが終了するまで（＃４４Yes分岐）繰り返し実行される。
〔別実施の形態〕
（１）上述した実施形態における、図４による車両周辺監視プロセスでは、撮影画像を取得する毎に輝度アップ量を算定していたが、必ずしも毎回輝度アップ量を算定する必要はない。所定の時間間隔又は所定枚数間隔、あるいはシーン変更毎に輝度アップ量を算定するようにしてもよい。これにより、多くの撮影画像は先に用いた輝度調整曲線をそのまま流用して輝度調整を施されることになり、輝度調整の演算負荷が低減される。
（２）上述した実施形態では、撮影画像に対する輝度調整過程を分かりやすく説明するため、輝度調整モジュール３の構成を機能別に細かくブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロック構成に限定されるわけではない。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。例えば、輝度アップ量が算定されると、当該輝度アップ量に基づいて自動的に輝度調整曲線が設定される構成の場合、輝度調整曲線設定部３５は不要となる。
（３）上述した実施形態では、輝度特性データとして統計的演算を伴う輝度ヒストグラムが用いられていたが、所定輝度値以下を注目シャドウ領域と算定する簡易的な構成を採用すると、輝度特性データ生成部３２とシャドウ領域算定部３３は一体化する。

本発明は、撮影画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。

１０：カメラ本体
１２：撮影画像生成部
３：輝度調整モジュール
３１：撮影画像入力部
３２：輝度特性データ生成部
３３：シャドウ領域算定部
３４：輝度アップ量算定部
３５：輝度調整曲線設定部
３６：輝度調整曲線テーブル
３７：輝度調整部
３８：撮影画像出力部

Claims (4)

1. 車両の周辺領域を撮影するために前記車両に搭載される車載カメラ装置において、
   生成された撮影画像における注目シャドウ領域を前記撮影画像の輝度特性データに基づいて前記撮影画像における前記車両を除く領域である部分領域として算定するシャドウ領域算定部と、
   前記注目シャドウ領域の輝度アップ量を算定する輝度アップ量算定部と、
   前記輝度アップ量に基づいて前記撮影画像の輝度を上げる輝度調整部と、
   前記輝度調整部によって前記撮影画像全体の輝度調整が行われた撮影画像を車載カメラ画像処理部に出力する撮影画像出力部とを備え、
   前記シャドウ領域算定部は、前記輝度特性データを入力パラメータとして前記注目シャドウ領域を導出するように予め学習することで構築される学習型算定ユニットである車載カメラ装置。
2. 前記撮影画像を複数の区画で分割して得られた各区画の区画輝度特性データを生成する輝度特性データ生成部が備えられ、当該区画輝度特性データに基づいて前記シャドウ領域算定部は前記周辺領域に存在する物体に起因するシャドウ領域を前記注目シャドウ領域として算定する請求項１に記載の車載カメラ装置。
3. 前記輝度アップ量に基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項１又は２に記載の車載カメラ装置。
4. 前記輝度アップ量及び前記輝度特性データに基づいて輝度調整曲線を選択する輝度調整曲線設定部が備えられ、前記輝度調整部は前記選択された輝度調整曲線を用いて前記撮影画像の輝度を上げる請求項１又は２に記載の車載カメラ装置。