JP5642049B2 - 車両用外界認識装置およびそれを用いた車両システム - Google Patents

Description

本発明は、車両用外界認識装置およびそれを用いた車両制御システムに係り、例えば、車載カメラ（撮像装置）からの画像情報に基づいて自車周囲の物体を検知する車両用外界認識装置およびそれを用いた車両システムに関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。

自車周囲の障害物を検知する方法として、カメラで撮像した時系列画像を処理して検出する方法が知られている。例えば、特許文献１には、車載カメラで撮像した２枚の画像間の動きから物体を検出する方法が記載されている。

車載カメラにおいて時系列の動きを用いて物体を検出する場合、背景の静止物や路面までの距離を仮定し、自車速から推定される動きと異なる動き方をする領域を抽出する方法を用いる。背景の静止物や路面の画像上の位置は自車速に応じて変化し、自車速が高いほど変化は大きく、自車速が低いほど変化は小さい。よって、一定の周期で取り込んだ画像を用いると、背景の静止物や路面の画像上の動きは自車速が高いほど画像間の動きが大きいため動きの探索に処理負荷がかかり、自車速が低い場合は画像間の動きが小さいため物体の検出が難しくなる。これを解決するため、画像を取り込むタイミングを自車速に応じて変えることが考えられる。

自車速に応じて撮像タイミングを変化させる技術については、特許文献２に、車両に取り付けた単眼カメラに対して一定時間毎に起動されるカメラ汚れ検知処理において、車速に応じて取得タイミングを変えて取り込まれる画像間の差分からカメラに付着した汚れを検出する技術が記載されている。

特開２００８−３６９５号公報 特開２００３−２５９３５８号公報

しかしながら、車両の警報や制御に関する障害物等の検出においては、一定の処理周期で実行することが重要である。上記方法の組み合わせでは、一定周期で処理を行う場合、画像の取り込み周期と同期しないため、最新のタイミングで撮像したものではない画像を用いて処理することになり物体の検知遅れが生じる。

また、非常に短い周期で画像を取り込みメモリ上へ保存しておき、処理時に画像を選択する方法も考えられるが、取り込み周期には限界があるため常に最適なタイミングの画像が取り込まれているとは限らず、また、メモリを大量に使用するため好ましくない。

本発明は、このような問題に鑑みてなされたものであって、その目的とするところは、一定の処理周期で物体の動きを観測する際に最適な画像取り込みを行う車両用外界認識装置およびそれを用いた車両システムを提供することである。

前記目的を達成すべく、本発明に係る車両用外界認識装置は、カメラ等の撮像装置から画像を取り込む画像取り込み手段と、自車速を取得する自車挙動取得手段と、前記撮像装置から画像を取り込むタイミングを調整する撮像タイミング調整手段と、を有し、前記画像取り込み手段は、前記撮像タイミング調整手段によって設定された一定周期で画像を取り込むと共に、該一定周期の間に不定期で画像を取り込み、前記撮像タイミング調整手段は、前記自車速に応じて不定期での画像取り込みのタイミングを調整することを特徴としており、取り込まれた前記画像を用いて前景と背景を分離し、前景から衝突の可能性がある物体を検出する装置において、自車挙動に応じて画像を取り込むタイミングを調整し、ある一定周期での画像取り込みと、その周期の間に不定期での画像取り込みがあることを特徴としている。

本発明によれば、一定の処理周期のタイミングで撮像した画像と、その周期の間に不定期に、自車速に応じて調整された撮像タイミングで撮像した画像とを取り込み、動きを検出することができるため、一定の処理周期で出力する物体情報を、最新の画像の動き情報から検知することができる。

本発明の第１実施の形態における車両用外界認識装置のブロック図。 本発明の第１実施の形態における撮像タイミング調整部の処理の例を示す模式図。 本発明の第１実施の形態における前景背景分離部の処理を表すフローチャート。 本発明の第１実施の形態における物体検出部の処理を表すフローチャート。 本発明の第１実施の形態における物体検出部の処理の例を示す模式図。 本発明の第１実施の形態における物体検出部の処理を表すフローチャート。 本発明の第２実施の形態における車両用外界認識装置のブロック図。 本発明の第３実施の形態における車両用外界認識装置のブロック図。 本発明の第３実施の形態における予測画像生成部の処理を表すフローチャート。 本発明の第３実施の形態における前景背景分離部の処理を表すフローチャート。 本発明の第４実施の形態における車両用外界認識装置のブロック図。 本発明の第４実施の形態における撮像タイミング調整部の処理の例を示す模式図。 本発明の第４実施の形態における予測画像生成部の処理を表すフローチャート。 本発明の車両用外界認識装置を用いた車両システムの処理を表すフローチャート。 本発明の車両用外界認識装置を用いた車両システムの危険度の算出の例を示す模式図。

＜第１実施の形態＞
以下、本発明の第１実施の形態について図面を用いて詳細に説明する。図１は、第１実施の形態における車両用外界認識装置１０００のブロック図である。この実施形態は請求項１，２，４，５，６，８，９に対応するものである。

車両用外界認識装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１０１０で撮影した画像内から物体を検出するためのものであり、本実施の形態では、自車の前方の障害物、車両や歩行者を検知するように構成されている。

車両用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

車両用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、自車挙動取得部１０２１と、撮像タイミング調整部１０３１と、オプティカルフロー算出部１０４１と、前景背景分離部１０５１と、物体検出部１０６１と、を有する。

画像取得部１０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影した画像データを取り込み、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］および不定期取得画像ＩＭＧＳＲＣ＿ＳＵＢ［ｘ］［ｙ］をＲＡＭ１０２０上に記憶する。なお、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］および不定期取得画像ＩＭＧＳＲＣ＿ＳＵＢ［ｘ］［ｙ］は２次元配列であり、ｘ、ｙはそれぞれ画像データの座標を示す。

一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］は、あらかじめ設定された一定周期の取得タイミングで取り込まれる。本実施の形態では、処理周期Ｔと同じタイミングで取り込まれるものとする。また、不定期取得画像ＩＭＧＳＲＣ＿ＳＵＢ［ｘ］［ｙ］は処理周期Ｔの間で取得され、取得タイミングは撮像タイミング調整部１０３１にて決定される。ＲＡＭ１０２０上は、画像取得部１０１１で取得した、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］および不定期取得画像ＩＭＧＳＲＣ＿ＳＵＢ［ｘ］［ｙ］を記憶しているものとする。

自車挙動取得部１０２１は、自車に搭載された車速計測機器の検出信号を取得して、自車速ＶＳＰを取得する。自車速ＶＳＰは、車速計測機器の信号を車両用外界認識装置１０００に直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。

撮像タイミング調整部１０３１は、自車挙動取得部１０２１で取得した自車速ＶＳＰを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。

オプティカルフロー算出部１０４１は、ＲＡＭ１０２０から一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］、および、不定周期取得画像ＩＭＧＳＲＣ＿ＳＵＢ［ｘ］［ｙ］を取得し、画像間のオプティカルフローを算出する。オプティカルフローは、片方の画像のある座標（ｘ，ｙ）の点がもう片方の画像のどの点に移動したかを表すベクトルであり、１つの画像座標（ｘ，ｙ）に対してＸ方向の成分とＹ方向の成分が算出される。算出したオプティカルフローは、ＲＡＭ１０２０上に記憶する。記憶するための表現形式はオプティカルフローのベクトルを画像として表現したり、Ｎ個の点で計測したオプティカルフローを配列ＯＦＸ［ｎ］、ＯＦＹ［ｎ］として表現したり、という方法があるが、本実施の形態では、配列ＯＦＸ［ｎ］、ＯＦＹ［ｎ］として記憶する。処理の詳細は後述する。

前景背景分離部１０５１は、オプティカルフローＩＭＧＯＦＸ［ｘ］［ｙ］、ＩＭＧＯＦＹ［ｘ］［ｙ］を解析して、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてＦＧ＿ＳＸ[ｇ]、ＦＧ＿ＳＹ[ｇ]、ＦＧ＿ＥＸ[ｇ]、ＦＧ＿ＥＹ[ｇ]として表現する。ここでｇは複数の前景が抽出された場合のＩＤ番号である。処理の詳細は後述する。

物体検出部１０６１は、前景領域ＦＧ＿ＳＸ[ｇ]、ＦＧ＿ＳＹ[ｇ]、ＦＧ＿ＥＸ[ｇ]、ＦＧ＿ＥＹ[ｇ]から物体の特定を行い、距離、横位置を算出する。本実施の形態では、前景から車両を検出する場合と、歩行者を検出する場合について説明する。処理の詳細は後述する。

［撮像タイミング調整部］
つぎに、図２を用いて、撮像タイミング調整部１０３１における処理の内容について説明する。図２は画像取得部１０１１の撮像タイミングを説明するためのタイミングチャートである。

撮像タイミング調整部１０３１は、次の撮像タイミングＴ１と、さらに次の撮像タイミングＴ２を決定する。ここで、撮像タイミングＴ１で撮像した画像上の物体が、一定周期Ｔで撮像した画像上に写る際に所定量動くよう、撮像タイミングＴ２を決定する。たとえば、全ての静止物体がＰメートル動くようにＴ２を決定する場合、Ｔ２＝Ｐ／ＶＳＰより決定できる。Ｔ１は処理周期Ｔを用いて、Ｔ１＝Ｔ―Ｔ２より求める。

また、撮像タイミングはカメラの最大検出距離から算出する方法がある。物体を検出したい最大検知距離をＹＭＡＸとすると、画像上では遠方ほど動きが小さくなるため、ＹＭＡＸの地点から物体が何メートル手前に動くと画像上で十分な動きが得られるかを事前に調査しておくことにより、その距離と、自車速ＶＳＰより撮像タイミングＴ２を決定することができる。

なお、ＶＳＰが低速でＴ２＞Ｔとなる場合や、ＶＳＰが高速でＴ２が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値Ｔ２Ｍｉｎ、Ｔ２Ｍａｘを設け、Ｔ２＞Ｔ２Ｍａｘの場合はＴ２＝Ｔ２Ｍａｘ、Ｔ２＜Ｔ２Ｍｉｎの場合はＴ２＝Ｔ２Ｍｉｎと設定するような処理が必要である。

［オプティカルフロー算出部］
つぎに、オプティカルフロー算出部１０４１における処理の内容について説明する。
オプティカルフロー算出部１０４１は、最新の取り込み画像ＩＭＧＳＲＣ［ｘ］［ｙ］上にＮ個の点（ｘ０，ｙ０）〜（ｘＮ−１，ｙＮ−１）を設定し、各点が１時点前のタイミングで取り込まれた画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］上のどの位置にあったかを表すオプティカルフローを算出する。Ｎ点は、本実施の形態では、あらかじめ幅Ｗｐ、高さＨｐの間隔で格子状に配置した固定点とするが、例えば公知の文献に記載の特徴点抽出処理により毎フレーム算出された点を用いてもよい。もちろん、画像上の全座標点で算出してもよい。

オプティカルフローの算出は、公知の文献に種々紹介されているが、本実施の形態ではブロックマッチ法を用いることとする。ブロックマッチ法については画像処理に関する公知の文献に記載されているため詳細な説明は割愛するが、画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の点（ｘｎ，ｙｎ）を中心に少領域のテンプレート画像ＴＰを作成し、そのテンプレート画像ＴＰが画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］内で最もよくマッチする位置（ｘｎ’，ｙｎ’）を探索し、ｘ方向成分ＯＦＸ［ｎ］＝（ｘ１’―ｘ１）、ｙ方向成分ＯＦＹ[ｎ]＝（ｙｎ’―ｙｎ）を算出する方法である。

以上説明したように、一定の処理周期で動作する動きベクトル検出において、常に処理周期のタイミングで撮像した画像から動きベクトルを検出することができるため情報の遅れが生じず、かつ、処理周期の一定のタイミングで撮像した画像と、その前に不定期に撮像した画像の取得タイミングを自車速に応じて調整するため、あるシーンにおける背景の動きベクトルが自車速によらず一定に検出することができる。

［前景背景分離部１０５１］
つぎに、図３を用いて、前景背景分離部１０５１における処理の内容について説明する。図３は前景背景分離部１０５１の処理の流れを示したフローチャートである。まず、ステップＳ３０１にてループ制御変数ｎ＝０とする。

つぎに、ステップＳ３０２にて、最新の取り込み画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の点（ｘｎ，ｙｎ）の位置がＴ２秒前の画像上でどの位置にあるかを予測し、予測フローを算出する。本実施の形態では、予測フローは以下の手順により求める。まず、消失点とカメラ幾何から、座標（ｘｎ，ｙｎ）が路面上の点と仮定して世界座標（Ｘｎ，Ｙｎ，０）を求め、自車速ＶＳＰ、取り込みタイミングＴ２から、移動量Ｐ＝ＶＳＰ×Ｔ２を算出して予測位置（Ｘｎ，Ｙｎ＋Ｐ，０）を求め、予測位置（Ｘｎ，Ｙｎ＋Ｐ，０）の画像座標位置（ｘｎｐ，ｙｎｐ）を算出する。予測フローは、ＰＦＸ＝（ｘｎｐ−ｘｎ）、ＰＦＹ＝（ｙｎｐ−ｙｎ）となる。

つぎに、ステップＳ３０３にて、予測フローＰＦＸ、ＰＦＹと、ＯＦＸ［ｎ］、ＯＦＹ［ｎ］の誤差ｅを求める。本実施の形態では、誤差ｅをフローベクトル間のユークリッド距離とし、誤差ｅを以下の式により求める。
ｅ＝（ＯＦＸ［ｎ］―ＰＦＸ）＾２＋（ＯＦＹ［ｎ］―ＰＦＹ）＾２

つぎに、ステップＳ３０４にて、誤差ｅと閾値ｔｈを比較し、誤差ｅが閾値より大きければステップＳ３０５へ移り（ｘｎ，ｙｎ）を前景と判定し、閾値以下であればステップＳ３０６へ移り（ｘｎ，ｙｎ）を背景と判定する。

つぎに、ステップＳ３０７にて、ループ制御変数ｎがＮに達するまでステップＳ３０２以下を繰り返す。以上の処理により、点（ｘ０，ｙ０）から点（ｘＮ−１，ｙＮ−１）について前景か背景かという判定が行われたこととなる。

つぎに、ステップＳ３０８にて、前景と判定された点のグルーピングを行い、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］を求める。グルーピングは、例えば以下のようにして行う。本実施の形態では、幅Ｗ、高さＨの間隔でオプティカルフローを算出する点を格子状に配置しているため、まず、前景と判定された点を（ｘｎ／Ｗ，ｙｎ／Ｈ）と変換して２次元マップ上にマッピングする。そして、２次元マップ上で隣接している点をグルーピングする。各グループの２次元マップ上での上下左右端をＧＲ＿ＳＸ［ｇ］、ＧＲ＿ＳＹ[ｇ]、ＧＲ＿ＥＸ［ｇ］、ＧＲ＿ＥＹ[ｇ]とすると、前景領域は以下の式により求められる。
ＦＧ＿ＳＸ［ｇ］＝Ｗｐ×ＧＲ＿ＳＸ［ｇ］―Ｗｐ／２
ＦＧ＿ＳＹ［ｇ］＝Ｈｐ×ＧＲ＿ＳＹ［ｇ］―Ｈｐ／２
ＦＧ＿ＥＸ［ｇ］＝Ｗｐ×ＧＲ＿ＥＸ［ｇ］―Ｗｐ／２
ＦＧ＿ＥＹ［ｇ］＝Ｈｐ×ＧＲ＿ＥＹ［ｇ］―Ｈｐ／２

以上の処理により、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］を得る。

［物体検出部１０６１］
つぎに、物体検出部１０６１における処理の内容について説明する。本実施の形態では、物体検出部１０６１として、車両を検出する場合と、歩行者を検出する場合の２パターンを説明する。

まず、図４を用いて、物体検出部１０６１にて車両を検出する処理について説明する。図４は物体検出部１０６１の処理の流れを示したフローチャートである。まず、ステップＳ４０１にて、制御変数ｇ＝０とする。

つぎに、ステップＳ４０２にて、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］内から車両を検出する。前述したように前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］は幅Ｗ、高さＨの間隔で並べたオプティカルフローにより求められているため、領域内には車両以外の情報も含まれていることが予想される。よって、特開２００５−１５６１９９に記載の方式のようにエッジを解析して車両の位置を決定する方法や、領域内で位置・大きさを変えながらパターンマッチを繰り返して車両を検出する方法を用いる。

なお、パターンマッチについては公知の技術を用いてよいため、ここでは詳細な説明は割愛するが、例えば以下のように、ニューラルネットワークを用いた方法がある。この方法では、図５に示すように、まず、車両か否かを判定したい画像領域から画像を抜き出し、所定の大きさに縮小して縮小画像５０１を生成する。本実施の形態では、幅１６画素、高さ１２画素の画像へ縮小している。そして、縮小した画像の画素をラスタスキャンして、１次元ベクトル５０２を生成し、それをニューラルネットワーク５０３への入力とする。

ニューラルネットワーク５０３は人間の脳のネットワークを模倣したものであり、複数のノードで構成される入力層５０３１、中間層５０３３、出力層５０３５が存在し、さらに入力層５０３１の各ノードと中間層５０３３の各ノードの間には重み係数５０３２が、中間層５０３３の各ノードと出力層５０３５の各ノードの間にも重み係数５０３４がそれぞれ存在する。ニューラルネットワークの出力は出力層のノードの１つの値であり、この値は、このノードに接続されているすべての中間層５０３３のノードの値とその重み係数の積和演算により得られる。さらに、中間層５０３３の各ノードの値は、各ノードに接続されているすべての入力層のノードの値とその重み係数の積和演算により得られる。

いま、車両パターン検出では、１次元ベクトル５０２をそのまま入力層へ接続しているため、出力層の各ノードの値は、上述の処理により算出することができる。その結果、出力層の所定のノードの値が閾値を超えていれば車両パターンが存在すると判定する。

出力層の所定のノードは事前にプログラムを組む際に決定しておく必要があり、入力ノードに車両のパターンが入ってきた場合にはその出力層のノードの出力が閾値以上になり、車両以外のパターンが入ってきた場合には出力が閾値以下となるように、各ノード間の重み係数はあらかじめ調整しておく必要がある。調整の方法は公知技術であるバックプロパゲーション法などを用いればよい。

つぎに、ステップＳ４０３にて、車両と判定された領域が存在すれば、ステップＳ４０４へ移動し物理パラメータを算出する。一方、判定された領域が存在しなければ、ステップＳ４０５へ移る。

ステップＳ４０４では、検出した車両の画像上の位置から、検出車両の物理パラメータを算出する。具体的には、検出した車両の画像上の位置がＶ＿ＳＸ[ｉ]、Ｖ＿ＳＹ[ｉ]、Ｖ＿ＥＸ[ｉ]、Ｖ＿ＥＹ[ｉ]であったとすると、その領域の下端とカメラ幾何を用いて距離ＰＹＯ[ｉ]を算出し、中心位置ＣＸ＝（Ｖ＿ＳＸ[ｉ]＋Ｖ＿ＥＸ[ｉ]）／２から横位置ＰＸＯ[ｉ]を算出する。なお、ここでｉは複数の車両が抽出された場合のＩＤ番号である。

つぎに、ステップＳ４０５にて、ループ制御変数ｇがＧに至るまでステップＳ４０２以下のステップを繰り返す。以上の処理により車両を検出することができる。

つぎに、図６を用いて、物体検出部１０６１にて歩行者を検出する処理について説明する。図６は物体検出部１０６１の処理の流れを示したフローチャートである。まず、ステップＳ６０１にて、制御変数ｇ＝０とする。

つぎに、ステップＳ６０２にて、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］内から歩行者を検出する。前述したように前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］は幅Ｗ、高さＨの間隔で並べたオプティカルフローにより求められているため、領域内には歩行者以外の情報も含まれていることが予想される。よって、領域内で位置・大きさを変えながらパターンマッチを繰り返して歩行者を検出する方法を用いる。なお、パターンマッチについては公知の技術を用いてよいため、ここでは詳細な説明は割愛する。

つぎに、ステップＳ６０３にて、歩行者と判定された領域が存在すれば、ステップＳ６０４へ移動し物理パラメータを算出する。一方、判定された領域が存在しなければ、ステップＳ６０５へ移る。

ステップＳ６０４では、検出した歩行者の画像上の位置から、検出歩行者の物理パラメータを算出する。具体的には、検出した歩行者の画像上の位置がＰ＿ＳＸ[ｉ]、Ｐ＿ＳＹ[ｉ]、Ｐ＿ＥＸ[ｉ]、Ｐ＿ＥＹ[ｉ]であったとすると、その領域の下端とカメラ幾何を用いて距離ＰＹＯ[ｉ]を算出し、中心位置ＣＸ＝（Ｐ＿ＳＸ[ｉ]＋Ｐ＿ＥＸ[ｉ]）／２から横位置ＰＸＯ[ｉ]を算出する。なお、ここでｉは複数の歩行者が抽出された場合のＩＤ番号である。

つぎに、ステップＳ６０５にて、ループ制御変数ｇがＧに至るまでステップＳ６０２以下のステップを繰り返す。以上の処理により歩行者を検出することができる。

以上説明したように、一定周期で取り込んだ画像と、自車速に応じて取り込みタイミングを調整して取り込んだ画像を用いて、オプティカルフローの算出対象となる画像を最適に選択することにより、検知遅れが生じない、自車速が低い場合であっても遠方の物体を検出することができる、等の効果を得ることができる。

＜第２実施の形態＞
つぎに、本発明の車両用外界認識装置の第２実施の形態について、以下に図面を用いて説明する。この実施形態は、請求項３に対応する。

図７は、第２実施の形態における車両用外界認識装置２０００の構成を示すブロック図である。なお、以下の説明では、上述の第１実施の形態における車両用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。本実施の形態において特徴的なことは、自車挙動取得部２０２１にてヨーレートを考慮する構成としたことである。

車両用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から車両、もしくは、歩行者を検知するように構成されている。

車両用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

車両用外界認識装置２０００は、図７に示すように、画像取得部１０１１と、自車挙動取得部２０２１と、撮像タイミング調整部２０３１と、オプティカルフロー算出部１０４１と、前景背景分離部２０５１と、物体検出部１０６１と、を有する。

自車挙動取得部２０２１は、自車に搭載された車速計測機器の検出信号を取得して、自車速ＶＳＰを取得する。さらに、自車に搭載された横滑り防止装置の検出信号を取得して、ヨーレートＹＲを取得する。もしくは、操舵装置の検出信号を取得して操舵角Ｓｔｒを取得し、ヨーレートＹＲを算出してもよい。自車速ＶＳＰ、および、ヨーレートＹＲは、各信号を車両用外界認識装置１０００に直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。

撮像タイミング調整部２０３１は、自車挙動取得部２０２１で取得した自車速ＶＳＰおよびヨーレートＹＲを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。

前景背景分離部２０５１は、オプティカルフローＩＭＧＯＦＸ［ｘ］［ｙ］、ＩＭＧＯＦＹ［ｘ］［ｙ］を解析して、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてＦＧ＿ＳＸ[ｇ]、ＦＧ＿ＳＹ[ｇ]、ＦＧ＿ＥＸ[ｇ]、ＦＧ＿ＥＹ[ｇ]として表現する。ここでｇは複数の前景が抽出された場合のＩＤ番号である。処理の詳細は後述する。これら以外の構成はすでに説明した車両用外界認識装置１０００と同一である。

［撮像タイミング調整部］
つぎに、撮像タイミング調整部２０３１における処理の内容について説明する。
撮像タイミング調整部２０３１は、次の撮像タイミングＴ１と、さらに次の撮像タイミングＴ２を決定する。ここで、撮像タイミングＴ１で撮像した画像上の物体が、一定周期Ｔで撮像した画像上に写る際に所定量動くよう、撮像タイミングＴ２を決定する。たとえば、全ての静止物体が前後方向にＰメートル動くようにＴ２を決定する場合、ヨーレートを考慮すると、例えばＶＹ＝ＶＳＰｃｏｓ（ＹＲ）を用いて、Ｔ２＝Ｐ／ＶＹより得られる。Ｔ１は処理周期Ｔを用いて、Ｔ１＝Ｔ―Ｔ２より求める。なお、ＶＳＰが低速でＴ２＞Ｔとなる場合や、ＶＳＰが高速でＴ２が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値Ｔ２Ｍｉｎ、Ｔ２Ｍａｘを設け、Ｔ２＞Ｔ２Ｍａｘの場合はＴ２＝Ｔ２Ｍａｘ、Ｔ２＜Ｔ２Ｍｉｎの場合はＴ２＝Ｔ２Ｍｉｎと設定するような処理が必要である。

［前景背景分離部２０５１］
つぎに、前景背景分離部２０５１における処理の内容について説明する。処理フローのうち、前景背景分離部１０５１と異なる部分はステップＳ３０２のみであるため、ここではステップＳ３０２の説明のみ行い、残りは割愛する。

ステップＳ３０２にて、最新の取り込み画像ＩＭＧＳＲＣ［ｘ］［ｙ］上の点（ｘｎ，ｙｎ）の位置がＴ２秒前の画像上でどの位置にあるかを予測し、予測フローを算出する。本実施の形態では、予測フローは以下の手順により求める。まず、消失点とカメラ幾何から、座標（ｘｎ，ｙｎ）が路面上の点と仮定して世界座標（Ｘｎ，Ｙｎ，０）を求め、自車速ＶＳＰ、取り込みタイミングＴ２から、移動量ＰＹ＝ＶＳＰｃｏｓ（ＹＲ）×Ｔ２、ＰＸ＝ＶＳＰｓｉｎ（ＹＲ）を算出して予測位置（Ｘｎ＋ＰＸ，Ｙｎ＋ＰＹ，０）を求め、その画像座標位置（ｘｎｐ，ｙｎｐ）を算出する。予測フローは、ＰＦＸ＝（ｘｎｐ−ｘｎ）、ＰＦＹ＝（ｙｎｐ−ｙｎ）となる。以上説明したように、ヨーレートを考慮することにより、旋回時も対応することが可能となる。

＜第３実施の形態＞
つぎに、本発明の車両用外界認識装置の第３実施の形態について、以下に図面を用いて説明する。この実施形態は請求項７，８，９に対応する。

図８は、第３実施の形態における車両用外界認識装置３０００の構成を示すブロック図である。なお、以下の説明では、上述の第１実施の形態における車両用外界認識装置１０００、および、２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。

本実施の形態において特徴的なことは、オプティカルフロー生成に変わり消失点取得部３０４１および予測画像生成部３０４２が入り、予測画像生成部３０４２の結果を用いて前景背景分離部３０５１にて前景と背景を分離していることである。

車両用外界認識装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施の形態では、車両、もしくは、歩行者を検知するように構成されている。

車両用外界認識装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車両用外界認識装置３０００は、図８に示すように、画像取得部１０１１と、自車挙動取得部１０２１と、撮像タイミング調整部１０３１と、消失点取得部３０４１と、予測画像生成部３０４２と、前景背景分離部３０５１と、物体検出部１０６１と、を有する。

消失点取得部３０４１は、カメラ１０１０の消失点（ＶＸ，ＶＹ）を取得する手段であり、あらかじめ設定された初期値、もしくは、カメラ内でレーン認識を同時に動作させ、その結果から得られる値を参照する。レーン認識に関しては、本発明の本筋からそれるため説明は割愛する。

予測画像生成部３０４２は、不定期取得画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］を、消失点（ＶＸ，ＶＹ）、自車速ＶＳＰ、カメラ幾何を用いて、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］で得られた画像になるように変換し、変換画像ＩＭＧＳＲＣ’［ｘ］［ｙ］を生成する。ここでヨーレートＹＲを用いてもよい。詳細な説明は後述する。

前景背景分離部３０５１は、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］と変換画像ＩＭＧＳＲＣ’［ｘ］［ｙ］を比較し、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］として表現する。ここでｇは複数の前景が抽出された場合のＩＤ番号である。処理の詳細は後述する。

［予測画像生成部３０４２］
つぎに、図９を用いて、予測画像生成部３０４２における処理の内容について説明する。図９は予測画像生成部３０４２の処理の流れを示したフローチャートである。まず、ステップＳ９０１にて、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］へアクセスするための制御変数の初期化ｘ＝０、ｙ＝０を行う。

つぎに、ステップＳ９０２にて、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］の点（ｘ，ｙ）が不定期取得画像ＩＭＧＳＲＣ＿ｓｕｂのどの位置から来たか予測する。予測は、不定期取り込み画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］上の点がすべて路面上に存在すると仮定したり、すべて所定の距離の路面に垂直な平面上に存在すると仮定したりして行う。例えば、すべて路面上に存在すると仮定し、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］の点（ｘ，ｙ）を消失点（ＶＸ，ＶＹ）とカメラ幾何を用いて世界座標（Ｘ，Ｙ，０）へ変換し、取り込み周期Ｔ２と自車速ＶＳＰから予測位置Ｐ＝ＶＳＰ×Ｔ２を求め、世界座標（Ｘ，Ｙ―Ｐ，０）を画像座標（ｘ’，ｙ’）へ戻すことで推測できる。

なお、ステップＳ９０２にてヨーレートＹＲを使用してもよい。この場合、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］の点（ｘ，ｙ）を消失点（ＶＸ，ＶＹ）とカメラ幾何を用いて世界座標（Ｘ，Ｙ，０）へ変換し、取り込み周期Ｔ２、自車速ＶＳＰとヨーレートＹＲから予測位置ＰＹ＝Ｔ２×ＶＳＰｃｏｓ（ＹＲ）、ＰＸ＝Ｔ２×ＶＳＰｓｉｎ（ＹＲ）を求め、世界座標（Ｘ―ＰＸ，Ｙ―ＰＹ，０）を画像座標（ｘ’，ｙ’）へ戻すことで推測できる。

つぎに、ステップＳ９０３にて、不定期取り込み画像ＩＭＧＳＲＣ＿ｓｕｂの座標（ｘ’，ｙ’）点、ＩＭＧＳＲＣ＿ｓｕｂ［ｘ’］［ｙ’］の情報をＩＭＧＳＲＣ’［ｘ］［ｙ］へ代入する。座標（ｘ’，ｙ’）が整数でない場合は、最近傍値を用いてもよいし、バイリニア等で補間してもよい。つぎに、ステップＳ９０４にて必要な画素アクセスが完了したか否かを判定し、完了していなければステップＳ９０２以下の処理を繰り返し、完了していれば処理を終了する。

［前景背景分離部３０５１］
つぎに、図１０を用いて、前景背景分離部３０５１における処理の内容について説明する。図１０は前景背景分離部３０５１の処理の流れを示したフローチャートである。まず、ステップＳ１００１にて一定周期取得画像ＩＭＧＳＲＣと予測画像ＩＭＧＳＲＣ’の差分画像ＩＭＧＳＵＢを生成する。本実施の形態では画素値ごとの差分を絶対値化したものを画像化する。

つぎに、ステップＳ１００２にて差分画像ＩＭＧＳＵＢの画素アクセスのための制御変数を初期化（ｘ＝０，ｙ＝０）する。

つぎに、ステップＳ１００３にて、差分画像上の点ＩＭＧＳＵＢ［ｘ］［ｙ］が、閾値より大きければステップＳ１００４にて前景であると判定し、閾値以下であればステップＳ１００５にて背景と判定する。

つぎに、ステップＳ１００６にて、画素アクセスがすべて完了したかを判定し、完了していなければステップＳ１００３以下を繰り返す。

つぎに、ステップＳ１００７にて、判定した前景領域のグルーピングを行い、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］を求める。グルーピングは、例えば以下のようにして行う。まず、前景と判定された点を１、それ以外を０とした２値画像を生成する。つぎに、２次元マップ上で隣接している点をグルーピングする。各グループの２次元マップ上での上下左右端をＧＲ＿ＳＸ［ｇ］、ＧＲ＿ＳＹ［ｇ］、ＧＲ＿ＥＸ［ｇ］、ＧＲ＿ＥＹ［ｇ］とすると、前景領域は以下の式により求められる。
ＦＧ＿ＳＸ［ｇ］＝ＧＲ＿ＳＸ［ｇ］
ＦＧ＿ＳＹ［ｇ］＝ＧＲ＿ＳＹ［ｇ］
ＦＧ＿ＥＸ［ｇ］＝ＧＲ＿ＥＸ［ｇ］
ＦＧ＿ＥＹ［ｇ］＝ＧＲ＿ＥＹ［ｇ］

以上の処理により、前景領域ＦＧ＿ＳＸ［ｇ］、ＦＧ＿ＳＹ［ｇ］、ＦＧ＿ＥＸ［ｇ］、ＦＧ＿ＥＹ［ｇ］を得る。

以上説明したように、不定期取得画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］を変換した画像ＩＭＧＳＲＣ’［ｘ］［ｙ］と一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］の差分から前景を抽出することができる。

＜第４実施の形態＞
つぎに、本発明の車両用外界認識装置の第４実施の形態について、以下に図面を用いて説明する。この実施形態は、請求項１０に対応する。

図１１は、第４実施の形態における車両用外界認識装置４０００の構成を示すブロック図である。なお、以下の説明では、上述の車両用外界認識装置１０００、２０００、および３０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。本実施の形態において特徴的なことは、不定周期画像を複数取り込み、予測画像生成部３０４２にて複数の画像から予測画像を生成していることである。

車両用外界認識装置４０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施の形態では、車両、もしくは、歩行者を検知するように構成されている。

車両用外界認識装置４０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

車両用外界認識装置４０００は、図８に示すように、画像取得部４０１１と、自車挙動取得部１０２１と、撮像タイミング調整部４０３１と、消失点取得部３０４１と、予測画像生成部４０４２と、前景背景分離部３０５１と、物体検出部１０６１と、を有する。
画像取得部４０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影した画像データを取り込み、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］および不定期取得画像ＩＭＧＳＲＣ＿ｓｕｂ１［ｘ］［ｙ］、ＩＭＧＳＲＣ＿ｓｕｂ２［ｘ］［ｙ］をＲＡＭ１０２０上に記憶する。

撮像タイミング調整部４０３１は、自車挙動取得部１０２１で取得した自車速ＶＳＰを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。

予測画像生成部４０４２は、不定期取得画像ＩＭＧＳＲＣ＿ｓｕｂ［ｘ］［ｙ］を、消失点（ＶＸ，ＶＹ）、自車速ＶＳＰ、カメラ幾何を用いて、一定周期取得画像ＩＭＧＳＲＣ［ｘ］［ｙ］で得られた画像になるように変換し、変換画像ＩＭＧＳＲＣ’［ｘ］［ｙ］を生成する。ここでヨーレートＹＲを用いてもよい。

［撮像タイミング調整部］
つぎに、図１２を用いて、撮像タイミング調整部４０３１における処理の内容について説明する。図１２は画像取得部４０１１の撮像タイミングを説明するためのタイミングチャートである。

撮像タイミング調整部４０３１は、次の撮像タイミングＴ１と、次の２回分の撮像タイミングＴ２１、Ｔ２２を決定する。ここで、撮像タイミングＴ１で撮像した画像上の物体が、一定周期Ｔで撮像した画像上に写る際に所定量動くよう、撮像タイミングＴ２１、Ｔ２２を決定する。たとえば、全ての静止物体がＰ１メートル動くようにＴ２１を決定する場合、Ｔ２１＝Ｐ１／ＶＳＰより決定できる。同様に、静止物体がＰ２メートル動くようにＴ２２＝Ｐ２／ＶＳＰを決定する。

Ｔ１は処理周期Ｔを用いて、Ｔ１＝Ｔ―（Ｔ２２）より求める。なお、ＶＳＰが低速でＴ２２＞Ｔとなる場合や、ＶＳＰが高速でＴ１が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値Ｔ２Ｍｉｎ、Ｔ２Ｍａｘを設け、Ｔ２２＞Ｔ２Ｍａｘの場合はＴ２２＝Ｔ２Ｍａｘ、Ｔ２１＜Ｔ２Ｍｉｎの場合はＴ２１＝Ｔ２Ｍｉｎと設定するような処理が必要である。

［予測画像生成部４０４２］
つぎに、図１３を用いて、予測画像生成部４０４２における処理の内容について説明する。図１３は予測画像生成部４０４２の処理の流れを示したフローチャートである。まず、ステップＳ１３０１にて、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］へアクセスするための制御変数の初期化ｘ＝０、ｙ＝０を行う。

つぎに、ステップＳ１３０２にて、予測画像ＩＭＧＳＲＣ’［ｘ］［ｙ］の値を持ってくる画像を決定する。これは、消失点付近は動きが小さいため、長い周期Ｔ２２で取り込んだ画像ＩＭＧＳＲＣ＿ｓｕｂ２を用い、画像下端近くの自車近傍は短い周期Ｔ２１で取り込んだ画像ＩＭＧＳＲＣ＿ｓｕｂ１を用いる。具体的には、座標（ｘ，ｙ）を世界座標へ変換して世界座標上の位置で決定したり、画像座標上であらかじめマップを持っておき、マップにしたがってどちらの画像を用いるかを決定したりする。本実施の形態では、すべて路面上に存在すると仮定し、点（ｘ，ｙ）を消失点（ＶＸ，ＶＹ）とカメラ幾何を用いて世界座標（Ｘ，Ｙ，０）へ変換し、変換した世界座標Ｙが所定値以上であれば画像ＩＭＧＳＲＣ＿ｓｕｂ２を用い、所定値未満であれば画像ＩＭＧＳＲＣ＿ｓｕｂ１を用いることとする。

つぎに、ステップＳ１３０３にて、予測座標（ｘ’，ｙ’）を算出する。ステップＳ１３０２にて画像ＩＭＧＳＲＣ＿ｓｕｂ１を選んだ場合は、ステップＳ１３０２にて求めた世界座標（Ｘ，Ｙ，０）に対し、取り込み周期Ｔ２１と自車速ＶＳＰから予測位置Ｐ１＝ＶＳＰ×Ｔ２１を求め、世界座標（Ｘ，Ｙ―Ｐ１，０）を画像座標（ｘ’，ｙ’）へ戻すことで推測できる。同様に、画像ＩＭＧＳＲＣ＿ｓｕｂ２を選んだ場合は、世界座標（Ｘ，Ｙ，０）に対し、取り込み周期Ｔ２２と自車速ＶＳＰから予測位置Ｐ２＝ＶＳＰ×Ｔ２２を求め、世界座標（Ｘ，Ｙ―Ｐ２，０）を画像座標（ｘ’，ｙ’）へ戻すことで推測できる。

なお、ステップＳ１３０３にてヨーレートＹＲを使用してもよい。この場合、取り込み周期Ｔ２１の場合は自車速ＶＳＰとヨーレートＹＲから予測位置ＰＹ１＝Ｔ２１×ＶＳＰｃｏｓ（ＹＲ）、ＰＸ１＝Ｔ２１×ＶＳＰｓｉｎ（ＹＲ）を求め、世界座標（Ｘ―ＰＸ１，Ｙ―ＰＹ１，０）を画像座標（ｘ’，ｙ’）へ戻すことで推測できる。取り込み周期Ｔ２２の場合も同様である。

つぎに、ステップＳ１３０４にて、予測画像を生成する。ステップＳ１３０２にて画像ＩＭＧＳＲＣ＿ｓｕｂ１を選んだ場合は、不定期取り込み画像ＩＭＧＳＲＣ＿ｓｕｂ１の座標（ｘ’，ｙ’）点、ＩＭＧＳＲＣ＿ｓｕｂ［ｘ’］［ｙ’］の情報をＩＭＧＳＲＣ’［ｘ］［ｙ］へ代入する。同様に、ＩＭＧＳＲＣ＿ｓｕｂ２を選んだ場合は、不定期取り込み画像ＩＭＧＳＲＣ＿ｓｕｂ２の座標（ｘ’，ｙ’）点、ＩＭＧＳＲＣ＿ｓｕｂ［ｘ’］［ｙ’]の情報をＩＭＧＳＲＣ’［ｘ］［ｙ］へ代入する。座標（ｘ’，ｙ’）が整数でない場合は、最近傍値を用いてもよいし、バイリニア等で補間してもよい。

つぎに、ステップＳ１３０５にて必要な画素アクセスが完了したか否かを判定し、完了していなければステップＳ１３０２以下の処理を繰り返し、完了していれば処理を終了する。

以上説明したように、遠方は取り込み周期が長い画像から予測し、近傍は取り込み周期が短い画像から予測することで、遠方の物体を検出することが可能となる。

以下、図１４，１５を用いて、前述の実施の形態より判定した先行車に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。この説明は、請求項１１，１２，１３に対応する。

図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。最初に、ステップＳ１４１において、障害物情報（ＰＹＯ［ｉ］、ＰＸＯ［ｉ］）を読み込む。

つぎに、ステップＳ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を式（１）を用いて演算する。ここで、相対速度ＶＹ１［ｉ］は、物体の相対距離ＰＹ１［ｉ］を擬似微分することによって求める。
ＴＴＣ［ｉ］＝ＰＹ１［ｉ］÷ＶＹ１［ｉ］・・・（１）
さらに、ステップＳ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｉ］を演算する。

以下、上述のいずれかの車両用外界認識装置で検知された物体Ｘ［ｉ］に対する危険度ＤＲＥＣＩ［ｉ］の演算方法の例を、図１５を用いて説明する。

まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α、自車速Ｖｓｐ、スタビリティファクタＡ、ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（２）で表される。
Ｒ＝（１＋ＡＶｓｐ^２）×（Ｌ・Ｇｓ／α）・・・（２）

スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（２）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車速Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは自車速Ｖｓｐおよびヨーレートγを用いて式（３）で表すことができる。
Ｒ＝Ｖｓｐ／γ・・・（３）

つぎに、物体Ｘ［ｉ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｉ］を求める。さらに、自車幅Ｈから距離Ｌ［ｉ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｉ］＝０とし、正値の場合には以下の式（４）によって危険度ＤＲＥＣＩ［ｉ］を演算する。
ＤＲＥＣＩ［ｉ］＝（Ｈ−Ｌ［ｉ］）／Ｈ・・・（４）
なお、ステップＳ１４１〜Ｓ１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。

ステップＳ１４４において、ステップＳ１４３で演算した危険度ＤＲＥＣＩ［ｉ］に応じて式（５）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｉ］が最小となる物体ｉＭｉｎを選択する。
ＤＲＥＣＩ［ｉ］≧ｃＤＲＥＣＩ＃・・・（５）
ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。

つぎに、ステップＳ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｉＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（６）が成立している場合にはステップＳ１４６に進み、ブレーキ制御を実行して処理を終了する。
また、式（６）が非成立の場合にはステップＳ１４７に進む。
ＴＴＣ［ｉＭｉｎ］≦ｃＴＴＣＢＲＫ＃・・・（６）

ステップＳ１４７において、選択された物体ｉＭｉｎの衝突予測時間ＴＴＣ［ｉＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（７）が成立している場合にはステップＳ１４８に進み、警報を出力して処理を終了する。また、式（７）が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
ＴＴＣ［ｉＭｉｎ］≦ｃＴＴＣＡＬＭ＃・・・（７）

以上説明したように、本発明である上述のいずれかの車両用外界認識装置において先行車と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。

本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０００ 車両用外界認識装置
１０１０ カメラ（撮像装置）
１０２０ ＲＡＭ
１０１１ 画像取得部
１０２１ 自車挙動取得部
１０３１ 撮像タイミング調整部
１０４１ オプティカルフロー算出部
１０５１ 前景背景分離部
１０６１ 物体検出部
２０００ 車両用外界認識装置
２０２１ 自車挙動取得部
２０３１ 撮像タイミング調整部
２０５１ 前景背景分離部
３０００ 車両用外界認識装置
３０４１ 消失点取得部
３０４２ 予測画像生成部
３０５１ 前景背景分離部
４０００ 車両用外界認識装置
４０１１ 画像取得部
４０３１ 撮像タイミング調整部
４０４２ 予測画像生成部
ＶＳＰ 自車速
ＹＲ ヨーレート

Claims (12)

1. カメラ等の撮像装置から画像を取り込む画像取り込み手段と、
   自車速を取得する自車挙動取得手段と、
   前記撮像装置から画像を取り込むタイミングを調整する撮像タイミング調整手段と、を有し、
   前記画像取り込み手段は、前記撮像タイミング調整手段によって設定された一定周期で画像を取り込むと共に、該一定周期の間に不定期で画像を取り込み、
   前記撮像タイミング調整手段は、前記自車速に応じて不定期での画像取り込みのタイミングを調整することを特徴とする、車両用外界認識装置。
2. カメラ等の撮像装置から画像を取り込む画像取り込み手段と、
   自車速とヨーレートを取得する自車挙動取得手段と、
   前記撮像装置から画像を取り込むタイミングを調整する撮像タイミング調整手段と、を有し、
   前記画像取り込み手段は、前記撮像タイミング調整手段によって設定された一定周期で画像を取り込むと共に、該一定周期の間に不定期で画像を取り込み、
   前記撮像タイミング調整手段は、前記自車速とヨーレートに応じて不定期での画像取り込みのタイミングを調整することを特徴とする、車両用外界認識装置。
3. 前記撮像タイミング調整手段はさらに物体の最大検出距離に応じて画像取り込みのタイミングを調整することを特徴とする請求項１又は２に記載の車両用外界認識装置。
4. 取り込まれた前記画像を用いて前景と背景を分離する前景背景分離手段と、
   前記前景背景分離手段で分離された前景から衝突の可能性がある物体を検出する物体検出手段と、を有することを特徴とする請求項１から３のいずれか一項に記載の車両用外界認識装置。
5. 画像間のオプティカルフローを算出するオプティカルフロー算出手段を有し、
   前記前景背景分離手段はオプティカルフローに基づいて前景と背景を分離することを特徴とする請求項４に記載の車両用外界認識装置。
6. 消失点を取得する消失点取得手段と、
   前記消失点を用いて、前記自車挙動取得手段で不定期に取り込まれた画像を変換し変換画像を生成する予測画像生成手段と、を有し、
   前記前景背景分離手段は、前記変換画像と一定周期で取り込まれた画像との差分により前景と背景を分離することを特徴とする請求項４に記載の車両用外界認識装置。
7. 前記物体検出手段は、前景が車両であるか否かを判定することを特徴とする請求項４から６のいずれか一項に記載の車両用外界認識装置。
8. 前記物体検出手段は、前景が歩行者であるか否かを判定することを特徴とする請求項４から６のいずれか一項に記載の車両用外界認識装置。
9. 消失点を取得する消失点取得手段と、
   前記消失点を用いて、前記自車挙動取得手段で不定期に取り込まれた複数の画像を変換し複数の変換画像を生成する予測画像生成手段と、を有し、
   前記前景背景分離手段は、前記変換画像と一定周期で取り込まれた画像との差分により前景と背景を分離することを特徴とする請求項４に記載の車両用外界認識装置。
10. 請求項４から９のいずれか一項に記載の車両用外界認識装置を備えた車両システムであって、
    前記物体検出手段により検出した物体の位置に応じて前記自車が衝突する危険度を算出する衝突危険度算出手段と、
    該衝突危険度算出手段により算出した衝突危険度に応じて自車の衝突を回避する制御を行う制御手段と、
    を有することを特徴とする車両システム。
11. 前記制御手段は、前記物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された制動用閾値とを比較して、前記衝突予測時間が前記制動用閾値以下であるときは、前記自車に対する制動制御を行うことを特徴とする請求項１０に記載の車両システム。
12. 前記制御手段は、前記物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された警報用閾値とを比較して、前記衝突予測時間が前記警報用閾値以下であるときは、前記自車の運転者に対する警報制御を行うことを特徴とする請求項１０に記載の車両システム。

Images