JP4315991B2 - 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム - Google Patents

Description

本発明は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置等に関する。

車載の赤外線カメラにより撮像された車両周辺の画像に基づき、当該車両と接触する可能性がある歩行者等、対象物の存在を認識するための技術が提案されている（たとえば、特許文献１参照）。
特開２００１−６０９６号公報

しかし、当該画像において歩行者の頭部や上半身等とその背景にある建造物とが重なると、この歩行者の存在を設定することが困難となる場合がある。

そこで、本発明は、車載撮像装置を通じて得られた画像において歩行者等の対象物の一部がその背景と重なった場合でも、当該対象物の存在を高精度で検知することができる装置等を提供することを解決課題とする。

前記課題を解決するための本発明の第１態様としての車両周辺監視装置は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、前記第１処理部により設定された前記第２領域において前記対象物の特徴として、前記第１処理部により設定された前記第２領域において前記対象物の正または負エッジラインと、前記正または負エッジラインのそれぞれの長さとを抽出する第２処理部と、前記第２処理部による抽出結果に基づき、前記長さが第１長さ範囲にある３つ以上の前記正または負エッジラインが前記第２処理部により抽出されたことを要件として、前記対象物を人間として識別する第３処理部とを備えていることを特徴とする。

本発明の第１態様としての車両周辺監視装置によれば、撮像装置を通じて得られた画像において対象物が存在する領域が第１領域として設定され、当該対象物の下部を包含する第１領域の下方領域が第２領域として設定される。これにより、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物の上部の特徴が抽出されない場合でも、第２領域において対象物下部の特徴が抽出されることにより当該対象物が高精度で識別されうる。

また、撮像装置を通じて得られた画像に人間（歩行者）が含まれる場合、第２領域においてその両脚を表す２本の正エッジライン（または負エッジライン）が検出されるのが通常であるところ、３本以上の正エッジラインが検出された場合でも当該正エッジラインのそれぞれの長さに鑑みて人間およびこれ以外の対象物が識別されうる。これにより、画像において人間の両脚の隙間から建造物等が覗いている等の理由により、当該両脚を表している２本の正エッジラインのほかに正エッジラインが付加的に検出される状況でも、高精度で人間およびこれ以外の対象物が識別されうる。

なお「正エッジライン」とは上下に所定数行以上にわたって連続する正エッジ点の集合を意味し、「負エッジライン」とは上下に所定数行以上にわたって連続する負エッジ点の集合を意味する。点が上下に連続するとは、上下方向に隣接する行における当該点の横方向のずれが閾値以下であることを意味する。正エッジ点とは、画像において横方向について輝度が閾値を超えた点を意味する。負エッジ点とは、画像において横方向について輝度が閾値以下となった点を意味する。

前記課題を解決するための本発明の第２態様としての車両周辺監視装置は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、前記第１処理部により設定された前記第２領域において前記対象物の特徴として、前記第１処理部により設定された前記第２領域において前記対象物のエッジラインと、前記エッジラインの長さと、２つの前記エッジラインの上部横方向間隔および下部横方向間隔とを抽出する第２処理部と、前記第２処理部による抽出結果に基づき、前記長さが第２長さ範囲にあり、かつ、前記上部横方向間隔の前記下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの前記エッジラインが前記第２処理部により抽出されたことを要件として、前記対象物を人間として識別する第３処理部とを備えていることを特徴とする。

本発明の第２態様としての車両周辺監視装置によれば、（１）人間が２本の脚を有していること、（２）人間の脚の標準的な長さ、および（３）人間を正面視したときに下半身下側の間隔が上側の間隔より狭く見えるという傾向に鑑みて、人間およびこれ以外の対象物が高精度で識別されうる。

本発明の第１または第２態様としての車両周辺監視装置において、前記第１処理部が前記車両から前記対象物までの距離を測定し、前記第１処理部による測定距離が所定距離範囲にあることを要件として、前記第２処理部が前記対象物の特徴を抽出することが好ましい。

当該構成の車両周辺監視装置によれば、車両から対象物までの測定距離に鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。

本発明の第１または第２態様としての車両周辺監視装置において、前記第１処理部が前記第１処理部により設定された、前記対象物が存在する前記第１または第２領域の下端の路面からの高さを測定し、前記第１処理部による測定高さが所定高さ範囲にあることを要件として、前記第２処理部が前記対象物の特徴を抽出することが好ましい。

当該構成の車両周辺監視装置によれば、路面を基準とした第１または第２領域の下端部の位置に鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。

本発明の第２態様としての車両周辺監視装置において、前記第２処理部が前記２つのエッジラインのそれぞれを構成するエッジ点の総数を当該２本のエッジラインのそれぞれの長さとして測定し、前記第２領域の上部領域および下部領域のそれぞれにおける前記２つのエッジラインのそれぞれを構成する同じ高さにあるエッジ点の平均横方向間隔を当該２つのエッジラインの上部横方向間隔および下部横方向間隔のそれぞれとして測定することが好ましい。

当該構成の車両周辺監視装置によれば、エッジラインが斜めになっているために当該エッジラインを構成するエッジ点の画像横方向に広がって分布している場合でも、当該エッジ点の数が累計されることにより当該エッジラインのサイズが測定されうる。また、一対のエッジラインの間隔が下方に向かうにつれて狭くなっているになっているという傾向が、当該エッジラインの上部および下部のそれぞれの平均横方向間隔の対比によって認識されうる。

前記課題を解決するための本発明の第３態様としての方法は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理と、前記第１処理において設定された前記第２領域において前記対象物の特徴として、前記第１処理により設定された前記第２領域において前記対象物の正または負エッジラインと、前記正または負エッジラインのそれぞれの長さとを抽出する第２処理と、前記第２処理による抽出結果に基づき、前記長さが第１長さ範囲にある３つ以上の前記正または負エッジラインが前記第２処理により抽出されたことを要件として、前記対象物を人間として識別する第３処理とを実行することを特徴とする。

前記課題を解決するための本発明の第４態様としての方法は、車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理と、前記第１処理により設定された前記第２領域において前記対象物の特徴として、前記第１処理により設定された前記第２領域において前記対象物のエッジラインと、前記エッジラインの長さと、２つの前記エッジラインの上部横方向間隔および下部横方向間隔とを抽出する第２処理と、前記第２処理による抽出結果に基づき、前記長さが第２長さ範囲にあり、かつ、前記上部横方向間隔の前記下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの前記エッジラインが前記第２処理により抽出されたことを要件として、前記対象物を人間として識別する第３処理とを実行することを特徴とする。

本発明の第３態様としての車両周辺監視方法および第４態様としての車両周辺監視方法のそれぞれによれば、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域において対象物下部の特徴が抽出されることにより当該対象物が識別されうる。

前記課題を解決するための本発明の第５態様としてのプログラムは、車両に搭載されているコンピュータを本発明の第１態様としての車両周辺監視装置として機能させることを特徴とする。

前記課題を解決するための本発明の第６態様としてのプログラムは、車両に搭載されているコンピュータを本発明の第２態様としての車両周辺監視装置として機能させることを特徴とする。

本発明の第５態様としての車両周辺監視プログラムおよび第６態様としての車両周辺監視プログラムのそれぞれによれば、第１領域が設定されたにもかかわらず、画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域において対象物の下部の特徴が抽出されることにより当該対象物を識別しうるように車載コンピュータを機能させることができる。

本発明の車両周辺監視装置等の実施形態について図面を用いて説明する。

図１に示されている車両１には、車両周辺監視装置１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。

車両周辺監視装置１０は車載の赤外線カメラ１０２により得られた画像に基づいて車両の周辺を監視する装置である。車両周辺監視装置１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ）に格納されていてもよい。図示しないが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプログラムの一部または全部がサーバからネットワークや衛星を介して当該車載コンピュータに配信または放送され、そのメモリ（ＲＡＭ）等に格納されてもよい。車両周辺監視装置１０は位置のＥＣＵにより構成されていてもよいが、分散制御システムを構成する複数のＥＣＵにより構成されていてもよい。

車両周辺監視装置１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３と、第４処理部１４とを備えている。

第１処理部１１は赤外線カメラ１０２を通じて得られた画像において対象物が存在する領域を第１領域Ａ_1i（ｉ＝１，２，‥）として設定する。また、第１処理部１１は第１領域Ａ_1iの下方領域を第２領域Ａ_2iとして設定する。

第２処理部１２は第２領域Ａ_2iに含まれる対象物の特徴量として、エッジラインＥＬや高輝度ラインＰＬを検出し、さらには当該検出ラインの特徴量等を測定する。

第３処理部１３は第２処理部１２による対象物の特徴抽出結果に基づいて当該対象物を識別する。

第４処理部１４は第３処理部１３による対象物の識別結果に基づき、必要に応じて車両１と当該識別対象物との接触可能性を評価する。また、第４処理部１４は車両１と対象物との接触可能性の評価に応じて、車両１の前方における当該対象物の存在を知らせるまたは強調する画像をＨＵＤ１０４に表示させる等、車載機器の動作を制御する。

前記構成の車両１および車両周辺監視装置１０の機能について説明する。

第１処理部１１により「第１処理」が実行される（図３／Ｓ０１０）。これにより、一対の赤外線カメラ１０２により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像において、対象物が存在する領域が第１領域Ａ_1i（ｉ＝１，２，‥）として設定される（図３／Ｓ０１２）。

図４（ａ）に示されている部分的なグレースケール画像が得られた場合、当該画像において高輝度領域（二重枠で囲まれている。）Ｑが抽出される。また、図４（ｂ）に示されているように高輝度領域Ｑを含む矩形状の小領域ａ₀に加えて、その上下に連続する同じく矩形状の複数の小領域ａ_-2，ａ_-1，ａ₁〜ａ₈が設定される。さらに、小領域ａ_k（ｋ＝−２〜８）のそれぞれの高輝度領域の重心等の実空間位置が一対の赤外線カメラ１０２の視差を利用して測定される。この際、ヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による画像における位置ずれが補正される。回頭補正された実空間における測定位置はメモリに格納される。実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では説明を省略する。そして、各小領域ａ_kに含まれる高輝度領域の車両１からの距離が共通の距離範囲に含まれ、かつ、連続する複数の小領域ａ_kの集合が第１領域Ａ_1iとして設定される。これにより、図４（ｃ）に示されているような第１領域（二重枠で囲まれている。）Ａ_1i＝｛ａ_k｜ｋ＝０〜６｝が設定される。第１領域Ａ_1iに含まれる高輝度領域の集合が対象物として認識される。

また、第１領域Ａ_1iの下方領域が第２領域Ａ_2iとして設定される（図３／Ｓ０１４）。これにより、図４（ｄ）に示されているように矩形状の第１領域（破線枠で囲まれている。）Ａ_1iの下方の矩形状の第２領域（二重枠で囲まれている。）Ａ_2iが設定される。画像における第２領域Ａ_2iの下端は第１領域Ａ_1iの下端とほぼ同じ高さに設定され、第２領域Ａ_2iの上下方向の幅ｗは、第２領域Ａ_2iに含まれる高輝度領域の実空間における上下方向の幅が所定間隔（たとえば人間の脚の標準的な長さ）に一致するように設定される。ただし、第１領域Ａ_1iに含まれる対象物の車両１からの距離が所定距離範囲にあることを要件として、当該第１領域Ａ_1iの下方領域が第２領域Ａ_2iとして設定される。

さらに、第２領域Ａ_2iに含まれる対象物の車両１からの距離が所定距離範囲にあるか否かが判定される（図３／Ｓ０１６）。当該判定結果が肯定的であった場合（図３／Ｓ０１６‥ＹＥＳ）、第２領域Ａ_2i（または第１領域Ａ_1i）の下端の路面からの高さが所定高さ範囲にあるか否かがさらに判定される（図３／Ｓ０１８）。当該判定結果が肯定的であった場合（図３／Ｓ０１８‥ＹＥＳ）、後述する第２処理等が実行される。一方、これら２つの判定結果のいずれかが否定的であった場合（図３／Ｓ０１６‥ＮＯ，Ｓ０１８‥ＮＯ）、第２処理等は実行されない。車両１からの対象物の距離と、第２領域Ａ_2iの路面からの高さとのそれぞれは、メモリに格納されている当該対象物を表す高輝度領域の実空間位置に基づいて算定されうる。

次に第２処理部１２により、前記２つの判定結果がともに肯定的であったことを要件として、第１処理部１１により設定された第２領域Ａ_2iのそれぞれに含まれる対象物の特徴が抽出される「第２処理」が実行される（図３／Ｓ０２０）。具体的には、第２領域Ａ_2iにおいてエッジラインが抽出される（図３／Ｓ０２４）。第２領域Ａ_2iの横方向の走査ラインに沿って輝度が閾値を超える正エッジ点および輝度が閾値以下となる負エッジ点が抽出される。例として、図５（ａ）に示されている第２領域Ａ_2iにおける走査ライン（横並びの複数のピクセルにより構成されている。）に沿って図５（ｂ）に示されているように輝度が変化している場合を考える。この場合、輝度が閾値を超える２つの正エッジ点ＥＰ₁ ⁺およびＥＰ₂ ⁺ならびに輝度が閾値以下となる２つの負エッジ点ＥＰ₁ ^-およびＥＰ₂ ^-が検出される。そして、上下方向に所定数行以上にわたって連続する正エッジ点ＥＰ_m ⁺（ｍ＝１，２）の集合がエッジラインＥＬ_m ⁺として検出される。また、上下方向に所定数行以上にわたって連続する負エッジ点ＥＰ_n ^-（ｎ＝１，２）の集合がエッジラインＥＬ_n ^-として検出される。点が上下方向に連続するとは、画像の上下方向について隣り合う行（ピクセルの横列）における当該点の横方向のずれ（ピクセル数）が閾値以下であることを意味する。

また、当該エッジラインのそれぞれの特徴量が測定される（図３／Ｓ０１４）。各エッジラインを構成するエッジ点の数の合計が当該各エッジラインの長さとして測定される。例として、図６（ａ）に示されているように２本の正エッジラインＥＬ₁ ⁺およびＥＬ₂ ⁺ならびに２本の負エッジラインＥＬ₁ ^-およびＥＬ₂ ^-が検出され、列（ピクセルの縦列）ごとのエッジ点の数が図６（ｂ）に示されているように画像横方向に分布している場合を考える。当該分布グラフにおいて、隣接または近接して局所的にまとまっている局所的分布グラフが１つのエッジラインを構成するエッジ点の分布を表しているとみなされる。そして、局所的分布グラフを構成するエッジ点の数の総計が各エッジラインの画像における長さとして測定される。エッジラインの実空間長さは、メモリに格納されている対象物の実空間位置の測定結果に基づき、第２領域Ａ_2iにおける１ピクセルあたりの実空間の長さが算定されることにより算定される。なお、エッジラインの下端点および上端点との距離が、当該エッジラインの長さとして測定されてもよい。

また、複数のエッジラインが検出された場合、２つのエッジラインの上部横方向間隔および下部横方向間隔が測定される。図６（ａ）に示されているように破線で区切られた第２領域Ａ_2iの上側における２つのエッジラインのそれぞれを構成する同じ高さのエッジ点の平均横方向間隔が、当該２つのエッジラインの上部横方向間隔として測定される。同様に、第２領域Ａ_2iの下側における２つのエッジラインの平均横方向間隔が、当該２つのエッジラインの下部横方向間隔として測定される。

また、第２領域Ａ_2iにおいて輝度ピークラインが抽出される（図３／Ｓ０２６）。たとえば図５（ｂ）に示されているように第２領域Ａ_2iにおける各走査ラインに沿って輝度が閾値を超えてから再び閾値以下となるまでの区域において、輝度が最高となる点が輝度ピーク点ＰＰ₁およびＰＰ₂として検出される。そして、上下方向に連続性がある輝度ピーク点の集合が輝度ピークラインとして検出される。

また、当該輝度ピークラインの特徴量が抽出される（図３／Ｓ０２８）。具体的には、当該輝度ピークラインのそれぞれの実空間における長さが測定される。また、複数の輝度ピークラインが検出された場合、当該複数の輝度ピークラインのうち任意の２本の輝度ピークラインの実空間における横方向間隔が測定される。対象物の輝度ピークラインの長さおよび横方向間隔は、メモリに格納されている当該対象物の実空間位置に基づいて測定されうる。

続いて第３処理部１３により、第２処理部１２による対象物の特徴抽出結果に基づいて当該対象物が識別される「第３処理」が実行される（図３／Ｓ０３０）。具体的には、次の３つの要件のうちいずれか１つが満たされるか否かが判定される（図３／Ｓ０３２）。

（第１要件）第２領域Ａ_2iにおいて長さが第１長さ範囲にある正または負エッジラインが３つ以上抽出されたこと。

（第２要件）第２領域Ａ_2iにおいて長さが第２長さ範囲にあり、かつ、上部横方向間隔の下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つのエッジラインが抽出されたこと。

（第３要件）第２領域Ａ_2iにおいて横方向間隔が所定範囲にある２つの輝度ピークラインが抽出されたこと。

第１〜第３要件のうち少なくとも１つが満たされていると判定された場合（図３／Ｓ０３２‥ＹＥＳ）、対象物が人間として識別される（図３／Ｓ０３４）。

一方、第１〜第３要件のすべてが満たされていない場合（図３／Ｓ０３２‥ＮＯ）、当該対象物が人間とは異なる対象物であると識別される。なお、この場合、第２領域Ａ_2iにおいて、所定の配置関係にある複数のエッジラインが検出されたこと等、第１〜第３要件とは異なる要件が満たされるか否かがさらに判定され、当該判定結果が肯定的であった場合に対象物が他車両や建造物等であると識別されてもよい。

さらに、第４処理部１４により第３処理部１２による識別結果に基づいて車載機器が制御される「第４処理」が実行される（図３／Ｓ０４０）。具体的には、人間であると識別された対象物の時系列的な測定位置がメモリから読み取られ、当該読み取りデータに基づいて車両１を基準とした対象物の相対速度（大きさおよび向きを含む。）が算出される（図３／Ｓ０４２）。

また、車両１と当該対象物との接触可能性の高低が判定される（図３／Ｓ０４４）。たとえば、図７に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ₀よりも、車両１に対する二輪車等の物体ｘの相対速度ｖ_sと余裕時間Ｔとの積（ｖ_s×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ₁と、第１領域Ａ₁の左右の第２領域（侵入判定領域）Ａ_2LおよびＡ_2Rとが定義される。そして、物体ｘが第１領域Ａ₁にある場合や、物体ｘが左右の第２領域Ａ₂にあって、その相対速度ベクトルｖ_sに鑑みて第１領域Ａ₁に侵入してくることが予測される場合、この物体ｘと車両１とが接触する可能性が高いと判定される。

そして、車両１と対象物とが接触する可能性が高いと判定された場合（図３／Ｓ０４４‥ＹＥＳ）、「第１制御処理」が実行される（図３／Ｓ０４６）。これにより、当該対象物の存在を強調するため、たとえば当該対象物を囲む橙色のフレームが第１情報としてＨＵＤ１０４に表示される。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。

一方、車両１と対象物とが接触する可能性が低いと判定された場合（図３／Ｓ０４４‥ＮＯ）、「第２制御処理」が実行される（図３／Ｓ０４８）。これにより、対象物の存在を明確化するため、たとえば対象物を囲む黄色のフレームが第２情報としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または小さい）音声がスピーカ（図示略）から出力されてもよい。

前記機能を発揮する本発明の車両周辺監視装置１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像において対象物が存在する領域が第１領域Ａ_1iとして設定され、当該対象物の下部を包含する第１領域Ａ_1iの下方領域が第２領域Ａ_2iとして設定される（図３／Ｓ０１２，Ｓ０１４，図４（ａ）〜（ｄ）参照）。これにより、対象物が存在する領域が第１領域Ａ_1iとして設定されたにもかかわらず、当該画像において対象物上部が背景に重なっているために対象物上部の特徴が抽出されない場合でも、第２領域Ａ_2iにおいて人間の脚等、対象物下部の特徴が抽出されることによって当該対象物が識別されうる。

また、車両１から対象物までの測定距離が所定距離範囲にあること、および第２領域Ａ_2iの下端の路面からの測定高さが所定高さ範囲にあることを要件として、第２処理以降の処理が実行される（図３／Ｓ０１６，Ｓ０１８参照）。したがって、車両１から対象物までの測定距離と、第２領域Ａ_2iの下端位置（ひいては対象物の下端位置）とに鑑みて、識別対象物とは異なる蓋然性が高い対象物については特徴抽出および識別が省略されうる。これにより、対象物の特徴抽出および識別の経済を図ることができる。

また「第２領域Ａ_2iにおいて長さが第１長さ範囲にある正または負エッジラインが３つ以上抽出された」という第１要件が満たされた場合、対象物が人間であると識別される。これにより、赤外線カメラ１０２を通じて得られた画像に人間（歩行者）が含まれる場合、第２領域Ａ_2iにおいてその両脚を表す２本の正エッジライン（または負エッジライン）が検出されるのが通常であるところ、３本以上の正エッジラインが検出された場合でも当該正エッジラインのそれぞれの長さに鑑みて人間およびこれ以外の対象物が識別されうる。そして、画像において人間の両脚の隙間から建造物等が覗いている等の理由により、当該両脚を表している２本の正エッジラインのほかに正エッジラインが付加的に検出される状況でも、高精度で人間およびこれ以外の対象物が識別されうる。

さらに「第２領域Ａ_2iにおいて長さが第２長さ範囲にあり、かつ、上部横方向間隔の下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つのエッジラインが抽出された」という第２要件が満たされた場合、対象物が人間であると識別される。これにより、（１）人間が２本の脚を有していること、（２）人間の脚の標準的な長さ、および（３）人間を正面視したときに下半身下側の間隔が上側の間隔より狭く見えるという傾向に鑑みて、人間およびこれ以外の対象物が高精度で識別されうる。

また「第２領域Ａ_2iにおいて横方向間隔が所定範囲にある２つの輝度ピークラインが抽出され」という第３条件が満たされる場合、対象物が人間であると識別される。これにより、赤外線カメラ１０２を通じて得られた画像の第２領域Ａ_2iにおいて検出された輝度ピークラインの間隔と、人間の両脚の標準的な間隔とに鑑みて人間およびこれ以外の対象物が高精度で識別されうる。

さらに、対象物が人間であると識別された場合に当該対象物と車両１との接触可能性が評価され、さらには当該判定結果に基づいて適当な処理が実行される（図３／Ｓ０４０参照）。前記のように対象物が人間であることが高精度で識別されるので、当該人間との接触回避等の観点から車載機器が適当に制御されうる。

なお、前記実施形態では人間の脚が対象部分として認識されたが、他の実施形態として人間の両脚が設定される場合と同様の考え方に基づいて人間の両腕等、人間の他の身体部分が対象部分として認識されてもよい。

前記実施形態では車両１に一対の赤外線カメラ１０２が搭載され、当該一対の赤外線カメラ１０２を通じて画像が取得され、当該一対の赤外線カメラ１０２の視差を利用して対象物または高輝度領域の実空間位置が測定された。他の実施形態として車両１に１つの赤外線カメラ１０２とレーダや超音波式の測距システムとが搭載され、当該１つの赤外線カメラ１０２を通じて画像が取得され、当該測距システムにより対象物の実空間位置または車両１からの距離が測定されてもよい。

前記実施形態では各小領域ａ_kに含まれる高輝度領域の車両１からの距離が測定された上で、当該測定距離が共通の距離範囲に含まれ、かつ、連続する複数の小領域ａ_kの集合が第１領域Ａ_1iとして設定された（図４（ｃ）参照）。他の実施形態として、１つの赤外線カメラ１０２を通じて異なる時刻ｔおよびｔ＋δｔ（δｔ＞０）に得られた画像において高輝度領域Ｑ（図４（ａ）参照）と同様に振舞う小領域ａ_kの集合が第１領域Ａ_1iとして設定されてもよい。具体的には、時刻ｔにおける画像において図８（ａ）に示されているように高輝度領域Ｑ（ｔ）の重心を通る、一点鎖線で表されている垂直線Ｒ（ｔ）上に中心を有する複数の小領域（マスク）ａ_k（ｔ）（ｋ＝−２〜８）が設定される。また、時刻ｔ＋δｔにおける画像において、相関演算によるパターンマッチングにより、図８（ｂ）に示されているように時刻ｔにおける各小領域ａ_k（ｔ）対応する複数の小領域ａ_k（ｔ＋δｔ）が設定される。そして、高輝度領域Ｑ（ｔ＋δｔ）の重心を通る、一点鎖線で表されている垂直線Ｒ（ｔ＋δｔ）から横方向の微小範囲内に中心が含まれている、上下に連続する小領域ａ_j（ｔ＋δｔ）（ｊ＝０〜６）の集合を包含するエリアが、図８（ｃ）に示されているような第１領域Ａ_1iとして設定される。また、第１領域Ａ_1iに包含される対象物の車両１からの距離は、時刻ｔおよびｔ＋δｔのそれぞれにおける画像での当該対象物の面積変化率に基づいて測定されうる。

当該手法により、超音波やレーダを用いた測距システムが車両１に搭載されていなくても、１台の撮像装置（赤外線カメラ等）が車両１に搭載されていれば、第１領域Ａ_1iが設定されうる。また、当該１台の撮像装置を通じて得られた画像を用いて車両１から当該対象物までの距離が測定されうる。

前記実施形態では赤外線カメラ１０２が撮像装置として車両１に搭載されていたが、他の実施形態として近赤外線カメラや可視光カメラ（ＣＣＤカメラなど）等、さまざまな波長領域の電磁波に感度を有する撮像装置が車両１に搭載されていてもよい。

前記実施形態では車両１と対象物との接触可能性の評価に基づきこの対象物の存在を示す第１または第２情報がＨＵＤ１０４に表示されたが、他の実施形態として当該接触可能性の評価に基づき、車両１の挙動を制御するまたはステアリングシステムやブレーキシステム等の車載機器が制御されてもよい。当該構成の車両周辺監視装置１０によれば、車両１と前記のように高精度で識別された対象物との接触可能性に基づいて車載機器が制御され、これにより、車両１と対象物との接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。

本発明の車両周辺監視装置の構成説明図。 本発明の車両周辺監視装置の構成説明図。 本発明の車両周辺監視装置の機能説明図。 本発明の車両周辺監視装置の機能説明図。 本発明の車両周辺監視装置の機能説明図。 本発明の車両周辺監視装置の機能説明図。 本発明の車両周辺監視装置の機能説明図。 本発明の車両周辺監視装置の機能説明図。

１‥車両、１０‥車両周辺監視装置、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、１４‥第４処理部、１０２‥赤外線カメラ（撮像装置）

Claims (9)

1. 車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、
   前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、
   前記第１処理部により設定された前記第２領域において前記対象物の特徴として、前記第１処理部により設定された前記第２領域において前記対象物の正または負エッジラインと、前記正または負エッジラインのそれぞれの長さとを抽出する第２処理部と、
   前記第２処理部による抽出結果に基づき、前記長さが第１長さ範囲にある３つ以上の前記正または負エッジラインが前記第２処理部により抽出されたことを要件として、前記対象物を人間として識別する第３処理部とを備えていることを特徴とする車両周辺監視装置。
2. 車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する装置であって、
   前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設定し、当該第１領域の下方領域を第２領域として設定する第１処理部と、
   前記第１処理部により設定された前記第２領域において前記対象物の特徴として、前記第１処理部により設定された前記第２領域において前記対象物のエッジラインと、前記エッジラインの長さと、２つの前記エッジラインの上部横方向間隔および下部横方向間隔とを抽出する第２処理部と、
   前記第２処理部による抽出結果に基づき、前記長さが第２長さ範囲にあり、かつ、前記上部横方向間隔の前記下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの前記エッジラインが前記第２処理部により抽出されたことを要件として、前記対象物を人間として識別する第３処理部とを備えていることを特徴とする車両周辺監視装置。
3. 請求項１または２記載の車両周辺監視装置において、
   前記第１処理部が前記車両から前記対象物までの距離を測定し、前記第１処理部による測定距離が所定距離範囲にあることを要件として、前記第２処理部が前記対象物の特徴を抽出することを特徴とする車両周辺監視装置。
4. 請求項１または２記載の車両周辺監視装置において、
   前記第１処理部が前記第１処理部により設定された、前記対象物が存在する前記第１または第２領域の下端の路面からの高さを測定し、前記第１処理部による測定高さが所定高さ範囲にあることを要件として、前記第２処理部が前記対象物の特徴を抽出することを特徴とする車両周辺監視装置。
5. 請求項２記載の車両周辺監視装置において、
   前記第２処理部が前記２つのエッジラインのそれぞれを構成するエッジ点の総数を当該
   ２本のエッジラインのそれぞれの長さとして測定し、
   前記第２領域の上部領域および下部領域のそれぞれにおける前記２つのエッジラインのそれぞれを構成する同じ高さにあるエッジ点の平均横方向間隔を当該２つのエッジラインの上部横方向間隔および下部横方向間隔のそれぞれとして測定することを特徴とする車両周辺監視装置。
6. 車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、
   前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設
   定し、当該第１領域の下方領域を第２領域として設定する第１処理と、
   前記第１処理において設定された前記第２領域において前記対象物の特徴として、前記第１処理により設定された前記第２領域において前記対象物の正または負エッジラインと、前記正または負エッジラインのそれぞれの長さとを抽出する第２処理と、
   前記第２処理による抽出結果に基づき、前記長さが第１長さ範囲にある３つ以上の前記正または負エッジラインが前記第２処理により抽出されたことを要件として、前記対象物を人間として識別する第３処理とを実行することを特徴とする車両周辺監視方法。
7. 車両に搭載されている撮像装置を通じて得られた画像を用いて車両の周辺を監視する方法であって、
   前記撮像装置を通じて得られた画像において対象物が存在する領域を第１領域として設
   定し、当該第１領域の下方領域を第２領域として設定する第１処理と、
   前記第１処理により設定された前記第２領域において前記対象物の特徴として、前記第１処理により設定された前記第２領域において前記対象物のエッジラインと、前記エッジラインの長さと、２つの前記エッジラインの上部横方向間隔および下部横方向間隔とを抽出する第２処理と、
   前記第２処理による抽出結果に基づき、前記長さが第２長さ範囲にあり、かつ、前記上部横方向間隔の前記下部横方向間隔との偏差が正の下限値を有する所定偏差範囲にある２つの前記エッジラインが前記第２処理により抽出されたことを要件として、前記対象物を人間として識別する第３処理とを実行することを特徴とする車両周辺監視方法。
8. 車両に搭載されているコンピュータを請求項１記載の車両周辺監視装置として機能させることを特徴とする車両周辺監視プログラム。
9. 車両に搭載されているコンピュータを請求項２記載の車両周辺監視装置として機能させることを特徴とする車両周辺監視プログラム。

Images