JP5825713B2 - 車両用危険場面再現装置 - Google Patents

Description

本発明は、車両に設置され、車両の走行中に、歩行者の飛び出しや先行車の急減速等の仮想的な危険な場面を再現する車両用危険場面再現装置に関する。

車両走行中に危険な場面に遭遇した際の運転者の行動を取得し、それを分析することは、交通事故の発生原因を解明する上で、重要かつ効果的な手法である。

そのため、車両走行中に危険な場面を再現する手法として、近年、ドライビングシミュレータがよく利用されている（特許文献１）。

特開２０１０−１３４１０１号公報

しかしながら、特許文献１に開示されたドライビングシミュレータでは、仮想的に作成した道路環境を走行するため、運転者によっては、「現実ではない」という意識が働く場合がある。そして、現実感欠如は運転者の慢心感を増大させ、危険な場面に遭遇した際の運転者の行動を正しく評価することができなくなってしまうという問題が生じる。

本発明は上記事情に鑑みなされたもので、車両走行中に、高い現実感をもって、運転者に対して仮想的な危険場面を再現することができる車両用危険場面再現装置を提供することを目的とする。

特に、本願発明は、実際に走行する車両を用いて、車両の走行位置や進行方向によらずに、運転者に対して現実感の高い仮想的な危険場面を再現することができる車両用危険場面再現装置を提供するものである。

本発明に係る車両用危険場面再現装置は、実際に走行する車両において、運転者の直接視界を遮る位置に置かれた映像表示部に、仮想的な危険場面を構成する静止画像や動画像がスーパーインポーズ（以下、重畳と呼ぶ）された車両進行方向の映像を表示して、車両走行中に、運転者に対して仮想的な危険場面を再現するものである。

すなわち、本発明に係る車両用危険場面再現装置は、車両の進行方向に向けて設置され、車両の進行方向の映像を撮影する映像撮影部と、車両の位置と進行方向とを算出する車両位置、進行方向算出部と、車両の挙動を算出する車両挙動算出部と、映像に重畳する仮想物体を表す画像を、予め記憶しておく画像情報記憶部と、映像の中の、車両位置、進行方向算出部で算出された車両の位置と進行方向と、車両挙動算出部で算出された車両の挙動とに基づいて算出された位置に、画像を重畳する重畳映像作成部と、車両位置、進行方向算出部で算出された車両の位置と進行方向と、車両挙動算出部で算出された車両の挙動とに基づいて、重畳映像作成部に対して、画像の重畳を行うことを指示する重畳タイミング算出部と、車両の運転者の直接視界を遮るように配置され、重畳映像作成部で作成された映像を、略リアルタイムで表示する映像表示部と、を備えることを特徴とする。

このように構成された本発明に係る車両用危険場面再現装置によれば、映像撮影部が、車両前方の映像を撮影し、車両位置、進行方向算出部と車両挙動算出部が算出した車両の位置と進行方向に基づいて、重畳タイミング算出部が算出したタイミングで、画像情報記憶部に予め記憶された仮想物体を表す画像が、重畳映像作成部において、映像撮影部が撮影した映像の中の、車両位置、進行方向算出部で算出された車両の位置と進行方向と、車両挙動算出部で算出された車両の挙動と、に応じた位置に重畳されて仮想的な危険場面が作成され、こうして作成された映像が、運転者の直接視界を遮る位置に置かれた映像表示部に略リアルタイムで表示されて、走行中の運転者に提示されるため、車両走行中に、車両の走行位置や進行方向によらずに、現実感の高い仮想的な危険場面を再現することができる。

本発明に係る車両用危険場面再現装置によれば、運転者の直接視界を遮る位置に置かれた映像表示部に、車両の走行位置や進行方向に応じた位置に仮想物体を表す静止画像や動画像が重畳された、車両進行方向の映像を表示する構成としたため、車両走行中に、運転者に対して、仮想的な危険場面を高い現実感をもって再現することができる。

本発明の実施形態に係る車両用危険場面再現装置の概略構成を示すブロック図である。 （１）車両用危険場面再現装置の、車両への設置状態を示す側面図である。（２）車両用危険場面再現装置の、車両への設置状態を示す上面図である。 車両用危険場面再現装置を動作させる道路環境に設置された基準マーカを示す図である。 車両用危険場面再現装置を動作させる道路モデルを示す図である。 第１映像撮影部で撮影される映像の例を示す図である。 車両の現在位置を算出する方法を示す図である。 車両の方向を算出する方法を示す図である。 危険場面の再現例を説明する図である。 本発明の実施形態の動作フローチャートを示す図である。 ホーン吹鳴時の割り込み処理のフローチャートを示す図である。 歩行者用信号青点滅時の割り込み処理のフローチャートを示す図である。

以下、本発明に係る車両用危険場面再現装置の実施形態について、図面を参照して説明する。

本実施例は、本発明を、運転者の直接視界を遮る位置に置かれた映像表示部に、進行方向前方の映像に仮想物体を表す静止画像や動画像を重畳して表示することにより、車両走行中に、運転者に対して、仮想的な危険場面を高い現実感をもって再現することができる、車両用危険場面再現装置に適用したものである。

本実施例に係る車両用危険場面再現装置１は、図１に示す通り、車両１０に設置され、進行方向を撮影する映像撮影部１００と、予め作成された、歩行者や車両等の仮想物体を表す画像を、静止画像や動画像として記憶しておく画像情報記憶部１３０と、画像情報記憶部１３０に記憶された画像情報を、映像撮影部１００によって撮影された映像に重畳する重畳映像作成部１２０と、道路に設置した基準マーカ１４２を映像撮影部１００で撮影した結果に基づいて、車両１０の位置と進行方向を算出する車両位置、進行方向算出部１５０と、車速センサ１９２とヨーレートセンサ１９３で算出した車速と角速度に基づいて、車両１０の挙動を算出する車両挙動算出部１６０と、重畳映像作成部１２０にて重畳を開始するタイミングを算出する重畳タイミング算出部１４０と、重畳映像作成部１２０にて静止画像や動画像が重畳された映像を表示する映像表示部１１０と、車両の挙動を記録する車両情報記録部１９０と、運転者の挙動を記録する運転者情報記録部２００と、運転者のホーン吹鳴操作を検出する操作検出部２１０と、ホーンスイッチ２２０と、車両１０の進行方向前方に、車両１０の進行方向と直交する方向の道路に設けられた、歩行者用信号機の作動状態を検出する交通環境検出部２３０と、からなる。

なお、映像撮影部１００は、詳しくは、第１映像撮影部１０２と第２映像撮影部１０４と第３映像撮影部１０６からなり、具体的には３台のビデオカメラから構成される。

また、映像表示部１１０は、詳しくは、第１映像表示部１１２と第２映像表示部１１４と第３映像表示部１１６からなり、具体的には３台の長方形状の液晶モニタから構成される。

そして、重畳映像作成部１２０は、詳しくは、車両位置、進行方向算出部１５０と車両挙動算出部１６０で算出された車両状態に基づいて、静止画像や動画像を重畳する位置を算出する重畳位置算出部１２２と、静止画像や動画像の重畳サイズを算出する重畳サイズ算出部１２４と、静止画像や動画像を重畳する方向を算出する重畳方向算出部１２６と、実際に重畳を行う重畳処理部１２８とから構成される。

さらに、重畳タイミング算出部１４０は、詳しくは、車両１０が走行する道路の路肩の所定位置に設置された、複数の基準マーカ１４２と、映像撮影部１００で撮影された道路前方の映像の中から基準マーカ１４２の位置を抽出する基準マーカ抽出部１４４と、基準マーカ１４２の抽出結果に基づいて、映像撮影部１００によって撮影された映像に、画像情報記憶部１３０に記憶された仮想物体を表す静止画像や動画像の重畳を開始するトリガ信号を、重畳映像作成部１２０に対して、出力するトリガ信号生成部１４６とからなる。

また、車両情報記録部１９０は、詳しくは、車両１０の車速を測定する車速センサ１９２と、車両１０の角速度を測定するヨーレートセンサ１９３と、車両１０のピッチ角を測定するピッチ角センサ１９４と、車両１０のロール角を測定するロール角センサ１９５と、アクセル開度を検出するアクセル開度センサ１９６と、ブレーキ踏力を検出するブレーキ踏力センサ１９７と、これらのセンサで検出した値を取得して記録する車両情報取得部１９１とからなる。

そして、運転者情報記録部２００は、詳しくは、運転者の顔の画像を撮影する運転者顔撮影カメラ２０２と、アクセルやブレーキを操作している運転者の足元を撮影する運転者足元撮影カメラ２０３と、運転者の視線方向を計測する運転者視線計測センサ２０４と、これらのカメラやセンサで得られたデータを取得して記録する運転者情報取得部２０１とからなる。

ここで、第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６は、それぞれ、図２（１）、（２）に示すように車両１０のボンネット上に設置されている。

具体的には、第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６は、車両１０のボンネット上に、第１映像撮影部１０２と第２映像撮影部１０４と第３映像撮影部１０６の光軸が、各々の撮影範囲が重ならないように、水平方向に所定の角度θをなして配置される。撮影範囲が重ならないようにするのは、第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６で撮影した映像を、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６に表示する際、同じ領域が重複して表示されるのを防ぐためである。

なお、第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６の撮影範囲が重ならないように配置するのが困難な場合は、実際に撮影した映像を第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６に表示して、表示された映像を目視確認しながら、違和感が生じないように、第１映像撮影部１０２、第２映像撮影部１０４、第３映像表示部１１６の設置位置を調整すればよい。

もしくは、撮影視野が互いに重複した複数の映像を合成して、パノラマ映像を生成する画像処理を行うことによって、重複のない映像を生成し、これを第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６に表示してもよい。

また、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６は、車両１０のボンネット上に、第１映像表示部１１２の短辺（縦辺）と第２映像表示部１１４の短辺（縦辺）が略接し、第２映像表示部１１４の短辺（縦辺）と第３映像表示部１１６の短辺（縦辺）が略接するように配置されている。そして、各々の映像表示面が、地面に対して略鉛直になるように設置されている。

さらに、第２映像表示部１１４の映像表示面は、走行中に前方を注視した運転者に略正対するように設置され、第１映像表示部１１２の長辺（横辺）と第２映像表示部１１４の長辺（横辺）、および、第２映像表示部１１４の長辺（横辺）と第３映像表示部１１６の長辺（横辺）とは、それぞれ所定の角度θをなすように設置されている。

ここで、第１映像表示部１１２の長辺と第２映像表示部１１４の長辺とがなす角度θは、第１映像撮影部１０２と第２映像撮影部１０４の光軸がなす角度θと略等しく、また、第２映像表示部１１４の長辺と第３映像表示部１１６の長辺とがなす角度θは、第２映像撮影部１０４と第３映像撮影部１０６の光軸がなす角度θと略等しいことが望ましい。

ただし、車両１０のボンネットのスペース不足やボンネットの形状等の制約によって、映像表示部１１０の設置スペースが不足している場合には、第１映像表示部１１２の長辺と第２映像表示部１１４の長辺とがなす角度、および、第２映像表示部１１４の長辺と第３映像表示部１１６の長辺とがなす角度をθに設定できない場合もある。このような場合は、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６に表示される映像を確認しながら、違和感が生じないよう、適切な角度をなして、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６を配置すればよい。

なお、第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６は、運転者から見て、視野角が左右各５５°以上の範囲を表示するように設置するのが望ましい。これは、運転者の左右の視線の動きが大きくなる右左折時であっても、運転者の視線の方向に、映像撮影部１００で撮影した映像が表示されるようにするためである。

運転者は、このようにして配置された第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６によって撮影され、略リアルタイムで第１映像表示部１１２、第２映像表示部１１４、第３映像表示部１１６に表示される映像を見ながら、車両１０を実際に走行させることができる。

次に、本実施例に係る車両用危険場面再現装置１の作用について、図９のフローチャートと図３〜８に基づいて説明する。本実施例に係る車両用危険場面再現装置１は、図８に示すように、交差点の手前にある壁８０１の影から、歩行者８０３や移動車両８０４が現れる場面を再現する装置に、本発明を適用したものである。

車両１０は、予め用意されたテストコースを走行しているものとする。このテストコースは、他の交通の流れが制限されており、安全な状態で、以下に説明するように仮想的な危険場面を再現することができる。

まず、第１映像撮影部１０２と第２映像撮影部１０４と第３映像撮影部１０６が、車両１０の前方の映像を同時に撮影する（図９のステップＳ１）。

仮想的な危険場面の再現は、テストコースの所定の地点で行われる。所定の地点で確実に仮想的な危険場面を再現するため、図３に示す図柄の基準マーカ１４２を、図４に示すように、道路の複数の所定位置（Ｍ１〜Ｍ６）に設置し、第１映像撮影部１０２と第２映像撮影部１０４と第３映像撮影部１０６で撮影された映像の中から、基準マーカ抽出部１４４において、少なくとも２個の基準マーカ１４２を抽出して（図９のステップＳ２、Ｓ３）、２個の基準マーカ１４２が抽出されたとき（図９のステップＳ４がＹＥＳのとき）には、抽出された基準マーカ１４２の種類と、映像の中の基準マーカ１４２のサイズ（横辺長）と中心座標とから、車両位置、進行方向算出部１５０にて、車両の道路上での位置と進行方向とを算出する（図９のステップＳ７、Ｓ９）。

なお、配置されている基準マーカ（１４２−１〜１４２−６）の図柄は互いに異なっており、どの位置にどの図柄の基準マーカ１４２が設置されているかは、図４に示す道路モデルとして、予め車両位置、進行方向算出部１５０に記憶されているため、抽出された基準マーカ１４２の種類がわかれば、車両１０の現在位置を算出することができる。

ここで、図３〜５を用いて、基準マーカ１４２の抽出方法を説明する。

ここでは、車両１０が図４に示された位置を走行しており、第１映像撮影部１０２で撮影された映像の中から、道路左側に設置された車両１０に最も近い基準マーカ１４２−１を抽出し、第３映像撮影部１０６で撮影された映像の中から、道路右側に設置された車両１０に最も近い基準マーカ１４２−２を抽出するものとする。

基準マーカ１４２には、図３に示すように、黒地の正方形の中に描かれた白地の正方形の中に、基準マーカ１４２毎に異なる黒い２次元パターン（前述した図柄）が描かれている。

また、第１映像撮影部１０２、第２映像撮影部１０４、第３映像撮影部１０６を構成するビデオカメラは、それぞれ、路面に水平に、路面から高さＨの位置に設置されており、基準マーカ１４２は、道路の左右路肩の高さＨの位置に、道路の進行方向に直交する方向に、車両１０側を向いて設置されているものとする。

基準マーカ抽出部１４４の中には、基準マーカ１４２の各々の図柄とその周囲の白地の正方形と黒地の正方形を１つのテンプレートとして、このテンプレートが、基準マーカ１４２の種類分だけ予め記憶されており、撮影された映像に対してテンプレートマッチングが行われて、基準マーカ１４２が写っている位置と、そこに写っている基準マーカ１４２の種類が検出される。

例えば、第１映像撮影部１０２では、図５に示す映像が撮影される。

図５の映像に対して、用意されたテンプレートをそれぞれ当てはめてテンプレートマッチングを行い、基準マーカ１４２が写っている場所を検出する。

なお、基準マーカ１４２の中心は、映像撮影部１００の設置条件、および基準マーカ１４２の設置条件により、路面からの高さＨに対応した位置、すなわち、撮影された映像の縦方向の中央付近（線分ＧＧ’上）に写るから、テンプレートマッチングは、映像の縦方向の中央付近のみで行えばよい。

また、基準マーカ１４２は、車両１０から遠方になるほど小さく写るので、予め用意しておくテンプレートとして、サイズの異なるテンプレートを揃えておく。そして、テンプレートの種類とサイズを変えながら、テンプレートマッチングを行う。

なお、このテンプレートマッチングは、映像撮影部１００で撮影された濃淡画像で構成される映像に対して行ってもよいし、映像撮影部１００で撮影された濃淡画像で構成される映像を、基準マーカ１４２の図柄がその周辺の白地と識別できるように設定されたしきい値で２値化して、この２値化された映像に対して行ってもよい。なお、２値化された映像に対してテンプレートマッチングを行う方が、計算量が低減できるため、処理の高速化が図れる。

こうして、基準マーカ１４２の位置と図柄が検出された後で、車両１０に最も近い位置にある基準マーカ、すなわち、抽出された最も大きな基準マーカ１４２−１の中心座標（ｘ０、ｙ０）と、最外部の黒地の正方形の横辺長Ｌ０を算出する。

同様にして、第３映像撮影部１０６で撮影された映像に対しても、基準マーカ抽出部１４４で、道路右側にある基準マーカ１４２の抽出を行い、車両１０に最も近い位置にある基準マーカ、すなわち、抽出された最も大きな基準マーカ１４２−２の中心座標（ｘ１、ｙ１）と、最外部の黒地の正方形の横辺長Ｌ１を算出する。

このとき、検出された基準マーカ１４２の図柄から、基準マーカ１４２−１と１４２−２が抽出されたことがわかる。

なお、基準マーカ１４２の抽出方法は、前記した画像処理手法に限るものではない。すなわち、例えば、二次元バーコードリーダの読み取りに使われている信号処理を適用して、基準マーカ１４２を抽出してもよい。

次に、車両位置、進行方向算出部１５０において、第１映像撮影部１０２で撮影された映像から抽出された、道路左側の基準マーカ１４２−１の横辺長Ｌ０から、第１映像撮影部１０２と基準マーカ１４２−１との距離ｄ０を算出し、さらに、第３映像撮影部１０６で撮影された映像から抽出された、道路右側の基準マーカ１４２−２の横辺長Ｌ１から、第３映像撮影部１０６と基準マーカ１４２−２との距離ｄ１を算出する。

すなわち、映像撮影部１００で、予め基準マーカ１４２の映像を、基準マーカ１４２までの距離を所定量ずつ変化させながら撮影して、基準マーカ１４２までの距離と撮影された基準マーカの横辺長との関係を測定しておく。

この測定結果を車両位置、進行方向算出部１５０に格納しておき、この格納されたデータに基づいて、算出された基準マーカ１４２−１の横辺長Ｌ０から基準マーカ１４２−１までの距離ｄ０を算出し、基準マーカ１４２−２の横辺長Ｌ１から基準マーカ１４２−２までの距離ｄ１を算出する（図９のステップＳ５）。

ここで、算出された距離ｄ０、もしくはｄ１のうち、少なくともどちらか一方が、予め決めておいた所定距離ｄthよりも小さいとき（図９のステップＳ６がＹＥＳのとき）は、基準マーカ１４２の抽出結果に基づいて、車両の現在位置（ｘｃ、ｙｃ）が算出される（図９のステップＳ７）。

ここで、第１映像撮影部１０２の設置位置、第２映像撮影部１０４の設置位置、第３映像撮影部１０６の設置位置は、全て等しいものとする。すなわち、それらの設置位置は、図２（２）の点Ｑにあるとする。

このとき、図６に示すように、道路左側にある基準マーカ１４２−１を中心とする距離ｄ０を半径とする円Ｐ１と、道路右側にある基準マーカ１４２−２を中心とする距離ｄ１を半径とする円Ｐ２の交点のうち、車両１０に近い側の点Ｃ０として、車両１０の位置（ｘｃ、ｙｃ）が一意に定まる。そして、点Ｃ０は、点Ｑと一致する。

次に、車両位置、進行方向算出部１５０において、車両１０の方向ωが算出される（図９のステップＳ９）。

ここでは、まず、基準マーカ１４２−１の中心座標（ｘ０、ｙ０）の値から、その点の、映像の中央位置（線分ＶＶ’上）から横方向への変位量ｘh0を算出する。

すなわち、ｘh0は、（式１）で算出される。
ｘh0＝ｍ／２−ｘ０ （式１）
ここで、ｍは第１映像撮影部１０２で撮影された映像の横方向の画素数を表す。

そして、算出された変位量ｘh0の値から、基準マーカ１４２−１の中心から第１映像撮影部１０２の光軸に下ろした垂線長（図７のｄx0）を算出する。

なお、垂線長ｄx0は、予め実験によって求めたデータを用いて算出する。

すなわち、映像撮影部１００で、映像撮影部１００から複数の距離の位置に置かれた基準マーカ１４２を、映像撮影部１００の光軸方向φを水平方向に所定量ずつ変化させながら撮影して、映像撮影部１００から基準マーカ１４２の中心までの距離ｄと、映像撮影部１００の光軸方向φと、そのときに撮影される基準マーカ１４２の中心座標（ｘ０、ｙ０）、もしくは、変位量ｘh0との関係を測定する。

この測定結果を車両位置、進行方向算出部１５０に格納して、この格納されたデータに基づいて、基準マーカ１４２−１の中心座標（ｘ０、ｙ０）、もしくは変位量ｘh0から、基準マーカ１４２−１の中心から第１映像撮影部１０２の光軸に下ろした垂線長ｄx0を算出する。

このようにして算出された垂線長ｄx0と、先に算出した基準マーカ１４２−１の中心までの距離ｄ０と、車両１０の現在位置（ｘｃ、ｙｃ）と、第１映像撮影部１０２の光軸と第２映像撮影部１０４の光軸のなす角度θとから、車両１０の方向ωが、（式２）によって算出される。

ω＝tan^-1｛ｄx0／（ｄ０²−ｄx0 ²）^1/2｝−sin^-1（ｘｃ／ｄ０）＋θ （式２）
一方、ステップＳ５で算出された、基準マーカ１４２−１までの距離ｄ０と基準マーカ１４２−２までの距離ｄ１のどちらも、予め決めておいた所定距離ｄthより大きいときは、車両挙動算出部１６０において、車速センサ１９２で算出した車速を積分し、また、ヨーレートセンサ１９３で算出したヨーレートを積分する。

そして、抽出した基準マーカ１４２の位置に基づいて算出した車両１０の直近の位置（ｘｃ、ｙｃ）と直近の方向ωに、車速の積分値と、ヨーレートの積分値とに基づいて算出した車両１０の移動軌跡を加え合わせて、車両１０の位置（ｘｃ’、ｙｃ’）と方向ω’を算出し（図９のステップＳ８）、その後ステップＳ１０に移行する。

なお、車両挙動算出部１６０において算出された車両１０の現在位置（ｘｃ’、ｙｃ’）、方向ω’は、車両位置、進行方向算出部１５０において算出された車両１０の現在位置（ｘｃ、ｙｃ）、方向ωと区別するため、異なる符号で表す。

ここで、基準マーカ１４２までの距離に応じて、車両１０の位置と方向の算出方法を変更するのは、基準マーカ１４２までの距離が大きいと、距離の算出誤差が増大する可能性があるためである。

したがって、そのようなときには、車速とヨーレートの積分値に基づいて車両１０の移動軌跡を算出し、こうして算出した車両１０の移動軌跡を、基準マーカ１４２の位置に基づいて算出した、直近の車両１０の位置と方向に加え合わせることによって車両１０の位置と方向とを更新する訳である。

そして、所定距離以内に基準マーカ１４２が検出されたときに、再び基準マーカ１４２の位置に基づいて、車両１０の位置と方向を算出し、補正するものとする。

車両位置、進行方向算出部１５０、もしくは車両挙動算出部１６０において、車両１０の位置と方向が算出されると、トリガ信号生成部１４６から重畳映像作成部１２０に対して、重畳の実行を指示するトリガ信号が出力される。

トリガ信号が出力されると（図９のステップＳ１０がＹＥＳのとき）、重畳位置算出部１２２において、画像情報記憶部１３０に記憶された、仮想物体を表す静止画像、もしくは動画像を、映像撮影部１００で撮影された映像のどの位置に重畳するかが算出される（図９のステップＳ１１）。

なお、重畳する静止画像や動画像は、予め、次のようにして作成しておく。

すなわち、実際の道路環境で、安全を確認した上で、見通しの悪い交差点から飛び出す歩行者８０３や、目の前を横切る移動車両８０４の映像を撮影し、撮影された映像から、歩行者の領域のみを抽出する画像処理や車両の領域のみを抽出する画像処理を行って、抽出された歩行者８０３のみが写っている動画像、また、抽出された移動車両８０４のみが写っている動画像を生成して、画像情報記憶部１３０に記憶しておく。

このとき、歩行者８０３や移動車両８０４以外の画素には、重畳すべき情報でないことを表すため、予め決められた特定の値を格納しておく。

また、交差点の手前に配置する壁８０１や８０２は、静止画像として作成しておく。なお、これはコンピュータグラフィックス（ＣＧ）によって作成しても構わない。そして、壁８０１や８０２以外の画素には、重畳すべき情報でないことを表すため、予め決められた特定の値を格納しておく。

さらに、仮想物体を表す静止画像や動画像は、車両１０の向きに応じて、様々な方向から見た映像を生成できるように、多方向から撮影した映像を、その撮影方向の情報とともに記憶しておく。

重畳位置算出部１２２では、図４の道路モデルの中で、仮想的な危険場面を再現する位置に、所定の仮想物体（歩行者８０３、移動車両８０４、壁８０１と８０２）を配置して、算出された車両１０の位置（ｘｃ、ｙｃ）もしくは（ｘｃ’、ｙｃ’）と、方向ωもしくはω’に基づいて、それらの仮想物体を映像撮影部１００で撮影したときに、映像表示部１１０のどの位置に表示されるかが算出される。

この重畳位置を算出する演算は、映像撮影部１００と対象物との位置関係が明確になっているため、簡単な幾何計算によって実行することができる。

次に、重畳サイズ算出部１２４において、車両１０と仮想物体との位置関係に基づいて、重畳する仮想物体のサイズが算出される（図９のステップＳ１２）。

具体的には、映像撮影部１００と仮想物体との距離に応じて、画像情報記憶部１３０に記憶された静止画像、もしくは動画像に、適切な倍率を乗算し、遠方に重畳するときには小さく重畳され、近接した位置に重畳するときには大きく重畳されるように、仮想物体のサイズが算出される。

さらに、重畳方向算出部１２６において、仮想物体の重畳方向が算出される（図９のステップＳ１３）。

この重畳方向は、具体的には、車両位置、進行方向算出部１５０、もしくは車両挙動算出部１６０で算出された映像撮影部１００の方向と、重畳すべき仮想物体との位置関係に基づいて、各映像撮影部（１０２、１０４、１０６）に写る、仮想物体の方向として算出される。

次に、重畳処理部１２８において、重畳方向算出部１２６で算出された方向から見た仮想物体の画像が生成され、その画像が、重畳サイズ算出部１２４で算出されたサイズに変形されて、重畳位置算出部１２２で算出された位置に重畳される（図９のステップＳ１４）。

なお、この重畳処理は、具体的には、映像撮影部１００から入力された映像の、ステップＳ１１で算出された位置に、ステップＳ１３で算出された方向から見た仮想物体の画像が、ステップＳ１２で算出されたサイズに変形されて重ね合わせられ、重ね合わせた画像の中で、特定の値以外の値を持った画素の画素値を、重ね合わせられた映像の画素の画素値と置き換える処理によって行われる。

仮想物体を表す画像が重畳された映像は、略リアルタイムで、第１映像表示部１１２と第２映像表示部１１４と第３映像表示部１１６に表示される（図９のステップＳ１５）。

この表示を見た車両１０の運転者は、壁８０１の陰から、歩行者８０３や移動車両８０４が飛び出したことに気づくと、即座に制動や操舵等の回避行動を行う。

ここで、操作検出部２１０において、運転者がホーンスイッチ２２０を押下することによってホーン吹鳴操作を行ったことが検出されたときには、割り込み処理が起動して、図１０のフローチャートに示した処理が実行される。

すなわち、操作検出部２１０によって、運転者がホーンスイッチ２２０を押下したことが検出されたときに、重畳処理部１２８において、歩行者８０３、もしくは移動車両８０４が重畳されているときには（図１０のステップＳ１７がＹＥＳのとき）、さらに、重畳処理部１２８において、ホーン吹鳴時に対応した歩行者８０３や移動車両８０４の描画制御が行われる（図１０のステップＳ１８）。

ここでは、車両１０の運転者が、歩行者８０３の飛び出しや移動車両８０４の接近に気づいてホーンを吹鳴させたときに、あたかも、歩行者８０３がホーンの吹鳴に気づいて立ち止まった場面、あるいは、移動車両８０４がホーンの吹鳴に気づいて減速した場面、を再現するように、重畳処理部１２８において、仮想物体である歩行者８０３や移動車両８０４の動きを制御した重畳が行われる。そして、ステップＳ１８実行後は、図９のフローチャートに復帰して動作が継続する。

なお、前記した仮想物体の動きを制御する方法には様々なものが考えられるが、そのいずれの方法によって行ってもよい。

すなわち、仮想物体を表す動画像の中で、隣り合った画像の間を補間する画像を新たに生成して、この補間された画像を含めた動画像を再生することによって、仮想物体の動きを遅くすることができる。

また、逆に、仮想物体を表す動画像の中から、所定のフレーム数毎に、動画像を形成する画像を削除して（間引きして）、こうして得られた動画像を再生することによって、仮想物体の動きを速くすることができる。

あるいは、予め仮想物体を表す動画像を作成して画像情報記憶部１３０に記憶する際に、仮想物体が種々の速度で動く複数の動画像を作成して、動きの速度を表す情報とともに記憶しておき、この複数の動画像の中から、場面に適した動きの速度を有する動画像を選択して再生するようにしてもよい。

さらに、仮想物体を表す動画像を再生するフレームレートを変更することによって、仮想物体の動きを制御するようにしてもよい。

一方、運転者がホーンスイッチ２２０を押下したときに、歩行者８０３、もしくは移動車両８０４が重畳されていないとき（図１０のステップＳ１７がＮＯのとき）は、何の処理も行わずに、図９のフローチャートに復帰して動作が継続する。

そして、図９において、車両１０のエンジンが停止する等の終了指示を検出したときに、処理を終了する（図９のステップＳ１６がＹＥＳのとき）。

このように、運転者の操作に応じて仮想物体の重畳方法を制御することによって、より一層、自然な運転場面を再現することができる。

なお、操作検出部２１０では、ホーンスイッチ２２０の押下を検出する構成として説明したが、ホーンスイッチ２２０の押下以外の操作を検出して、描画制御を行うようにしてもよい。

例えば、図示しない前照灯スイッチによって、運転者がパッシングを行ったことを検出して、これに応じた描画制御を行うこともできる。

さらに、重畳処理部１２８において行われる描画制御は、操作検出部２１０の出力以外に基づいて行うこともできる。
例えば、車両１０が走行している道路における、歩行者用信号機の作動状態を検出する交通環境検出部２３０を設けて、その交通環境検出部２３０の出力に基づいて、歩行者８０３の描画制御を行うこともできる。

すなわち、車両１０が、車両１０の進行方向と直交する方向の道路に設けられた歩行者用信号機に所定距離以内にまで接近しており、なおかつ、歩行者用信号機の作動状態を検出する交通環境検出部２３０によって、歩行者用信号機が、青信号の点滅状態になっていることが検出されたときには、割り込み処理を起動して、図１１のフローチャートに示した処理を実行する。

すなわち、交通環境検出部２３０を構成する車載カメラによって、歩行者用信号機が青信号の点滅状態であることが検出されたときに、重畳処理部１２８において、歩行者８０３が重畳されているときには（図１１のステップＳ１９がＹＥＳのとき）、さらに、重畳処理部１２８において、重畳された歩行者８０３が急に駆け出すような描画制御が行われる（図１０のステップＳ２０）。なお、具体的な描画制御の方法は、前記した通りである。

そして、ステップＳ２０実行後は、図９のフローチャートに復帰して動作が継続する。

そして、図９において、車両１０のエンジンが停止する等の終了指示を検出したときに、処理を終了する（図９のステップＳ１６がＹＥＳのとき）。

このようにして、歩行者８０３が、歩行者用信号機が青信号の点滅状態であることを認知して、道路の横断を急ごうとして急に駆け出した場面を再現することができるため、より一層、実際の道路環境に近い場面を再現することができる。

そして、そのような場面に遭遇したときの、車両１０の運転者の挙動を、詳しく分析することができる。

なお、前記した実施例では、交通環境検出部２３０を構成する車載カメラによって、歩行者用信号機が青信号の点滅状態であることを検出したが、実施形態は、それに限定されるものではない。

すなわち、交通環境検出部２３０に、車両１０の内部と外部との間の通信機能を備えて、歩行者用信号機が、車両１０の交通環境検出部２３０から出力される通信信号を受信して、車両１０の接近を検知したときに、青信号の点滅を開始するように構成することもできる。

また、交通環境検出部２３０には、歩行者用信号機の作動状態を検出する機能の他に、レーザレーダのような測距機能を設けてもよい。

そして、車両１０の周囲に実際に存在する歩行者や車両との距離を測定して、この測定された距離に基づいて、重畳処理部１２８において、仮想物体である歩行者８０３や移動車両８０４の動きを制御した描画制御を行う機能を備えることもできる。

これにより、例えば、車両１０の前方を実際に走行している先行車両に重なるように、移動車両８０４を重畳して、車両１０と実際の先行車両との距離を、交通環境検出部２３０に備えたレーザレーダで測定し、測定された距離が所定値以下になった時に、重畳した移動車両８０４を、急減速したように描画制御して、仮想的な危険場面を再現することができる。

なお、この処理の具体的な動作フローチャートは図示しないが、図１０や図１１に沿った割り込み処理を行うことによって実現することができる。

すなわち、交通環境検出部２３０において、レーザレーダによる測距値が所定値を下回ることが検出されたときに、割り込み処理を起動させる。

そして、割り込み処理が起動されたときに移動車両８０４の重畳を行っているときには、重畳処理部１２８において、移動車両８０４が急減速する描画制御を行うことによって、上記した危険場面を再現することができる。

このように、交通環境検出部２３０に備える機能に応じて、より一層、実際の道路環境に近い場面を、高い現実感をもって再現することができる。

さらに、重畳された画像の動きを制御する例として、車両挙動算出部１６０において算出された車両１０の挙動に基づいて、仮想物体である歩行者８０３や移動車両８０４の動きを制御する描画制御を行うようにしてもよい。

例えば、ヨーレートセンサ１９３によって、車両１０が交差点で右折を開始したことを検出したときに、その交差点に向かって対向車線を走行している移動車両８０４が、車両１０と同時に交差点に進入するように、重畳処理部１２８において、移動車両８０４の速度を調整する描画制御を行うことによって、右直事故に至る可能性のある場面を再現することができる。そして、これによって、危険場面における運転者の挙動を、安全な状態で詳細に分析することができる。

なお、この処理の具体的な動作フローチャートも図示しないが、図１０や図１１に沿った割り込み処理を行うことによって実現することができる。

すなわち、交通環境検出部２３０に、車両１０の走行環境の地図データを備えておき、この地図データに基づいて、車両１０が交差点付近にさしかかったことを検出する。

そして、車両１０が交差点付近にさしかかった状態にあるとき、車両挙動算出部１６０において、ヨーレートセンサ１９３で計測された車両１０のヨーレートを分析して、車両１０が右折を開始したことを検出したときに、割り込み処理を起動させる。

割り込み処理が起動されたときに、その交差点に向かって対向車線を走行する移動車両８０４の重畳を行っているときには、重畳処理部１２８において、移動車両８０４が、車両１０と同時に交差点に進入するように描画制御を行うことによって、上記した危険場面を再現することができる。

なお、図９のフローチャートには記載しないが、トリガ信号生成部１４６からトリガ信号が出力されたときには、車両情報記録部１９０において、車両の挙動を表す車速（車速センサ１９２で計測）、および、ヨー角（ヨーレートセンサ１９３で計測）、ピッチ角（ピッチ角センサ１９４で計測）、ロール角（ロール角センサ１９５で計測）、アクセル開度（アクセル開度センサ１９６で計測）、ブレーキ踏力（ブレーキ踏力センサ１９７で計測）が、車両情報取得部１９１に逐次取得されて記録される。

また、運転者情報記録部２００において、運転者の挙動を表す顔面の映像（運転者顔撮影カメラ２０２で撮影）や足元の映像（運転者足元撮影カメラ２０３で撮影）、そして運転者の視線方向（運転者視線計測センサ２０４で計測）が、運転者情報取得部２０１に逐次取得されて記録される。

こうして記録された車両情報や運転者情報は、図９〜１１の一連の処理が終了した後で、運転行動の分析に利用される。

なお、記録される情報は、ここに記載したものに留まらず、評価内容に沿って、適宜、所定の情報を取得する装置が実装されて、所定の情報が取得され、記録される。

また、仮想的な危険場面を再現するタイミングは、予め判っているので、トリガ信号の出力を待たずに、車両情報や運転者の挙動の記録を開始してもよい。これにより、仮想的な危険場面が再現される前から、車両情報や運転者情報を記録することができるため、危険場面に遭遇した際の車両や運転者の挙動の変化を、より詳細に分析することができる。

以上説明したように、本実施例に係る車両用危険場面再現装置によれば、運転者の直接視界を遮る位置に置かれた映像表示部に、車両の走行位置や進行方向に応じた位置に仮想物体を表す静止画像や動画像が重畳された、車両進行方向の映像を表示する構成としたため、実際に走行する車両において、車両の走行位置や進行方向によらずに、仮想的な危険場面を高い現実感をもって再現することができる。

また、本実施例に係る車両用危険場面再現装置によれば、車両位置、進行方向算出部で算出された車両の位置と進行方向、および車両挙動算出部で算出された車両の挙動に基づいて、重畳される画像の位置とサイズと方向とを決定する構成としたため、走行車線や走行速度などの制約を付けることなく運転している状態において、仮想的な危険場面を、高い現実感で再現することができる。したがって、より自然な運転状態において仮想的な危険場面を再現することができ、これによって、運転者の自然な反応を評価することができる。

なお、以下に説明する通り、本実施例の基本的な構成を変えることなく、同様の効果を有する様々な変形例を実現することができる。

まず、前記した説明では、車両挙動算出部１６０において、車速センサ１９２で測定した車速と、ヨーレートセンサ１９３で計測したヨー角に基づいて車両１０の挙動を算出したが、さらに、ピッチ角センサ１９４で計測したピッチ角と、ロール角センサ１９５で計測したロール角を利用してもよい。

これによって、車両１０のより細かい挙動に応じて、重畳する画像の位置、サイズ、方向を制御することができるため、より自然な重畳画像を表示することができる。

また、前記した説明では、撮影された基準マーカ１４２までの距離に応じて、距離が近いときには、撮影された基準マーカ１４２の位置に基づいて車両１０の位置と方向を算出し、距離が遠いときには、基準マーカ１４２の位置に基づいて算出した車両１０の直近の位置と方向に、車両挙動算出部１６０で算出された車速の積分値と、ヨーレートの積分値とに基づいて算出した車両１０の移動軌跡を加え合わせて、車両１０の位置と方向を算出したが、これは、車両挙動算出部１６０で算出された車両１０の移動軌跡を加え合わせてから、車速の積分値で算出される車両１０の移動距離が、所定値に達する範囲でのみ、車両挙動算出部１６０の算出結果に基づいた車両１０の位置と方向の算出を行うようにしてもよい。

これによって、車両挙動算出部１６０の算出結果に基づいた車両１０の位置と方向を算出しながら、基準マーカ１４２までの距離を算出して算出された距離の大きさを判断する必要がなくなるため、所定期間は基準マーカ１４２の抽出処理を中断でき、計算機負荷を低減することができる。

さらに、重畳タイミング算出部１４０において仮想的な危険場面を再現するタイミングの生成方法は、本実施例で説明した基準マーカ１４２を利用した方法に制限されるものではない。

すなわち、例えば、カーナビゲーションで用いられているＧＰＳ（Global Positioning System）、および車速センサ１９２、ヨーレートセンサ１９３を利用して車両１０の位置と方向を特定し、特定された情報に基づいて、仮想的な危険場面を再現するための重畳タイミングを生成してもよい。

あるいは、路肩に設置した電波ビーコンや光ビーコンの送信機から発せられる情報を、車両１０に設置した受信機で受信し、車両１０の現在位置を特定して、特定された位置情報に基づいて、仮想的な危険場面を再現するための重畳タイミングを生成してもよい。

一方、車両１０の位置だけでなく、運転者の挙動や車両の挙動に基づいて、仮想的な危険場面を再現するための重畳タイミングを生成してもよい。このときは、車両情報記録部１９０や運転者情報記録部２００に備えられたセンサが利用される。

例えば、運転者視線計測センサ２０４によって、絶えず運転者の視線方向を計測しておき、計測された運転者の視線方向が道路から外れていたときは、運転者が脇見をしていると判断して、重畳を開始すれば、運転者の脇見をトリガとして仮想的な危険場面を再現することができる。

もしくは、車速センサ１９２で検出した車速が、所定値よりも大きいときに、仮想的な危険場面を再現する重畳の開始タイミングとすることも可能である。

このように、評価する内容や、再現する危険場面に応じて、適切な方法によって、重畳を行うタイミングを生成することが可能である。

また、本発明によって再現することができる仮想的な危険場面は、実施例で説明した、歩行者８０３や移動車両８０４の飛び出し場面に制限されるものではない。

すなわち、本発明によれば、評価したい運転者の挙動に基づいて設定された運転場面に応じて、適切な重畳物を設定することができ、重畳映像作成部１２０において、高い現実感を有する重畳映像を作成することができる。

なお、本発明の具体的構成要素は、同様の作用効果を有するものであれば、図１に示すものに限定されない。例えば、映像表示部１１０は、曲面ディスプレイによって構成してもよいし、車両１０に設置したプロジェクタから、ボンネット上に設置したスクリーンに映像を投影してもよい。

また、特許請求の範囲を逸脱することなく、当業者の知識に基づいた変形や改良を施した態様で本発明を実施することができるのは言うまでもない。

１０ 車両
１００ 映像撮影部
１１０ 映像表示部
１２０ 重畳映像作成部
１２２ 重畳位置算出部
１２４ 重畳サイズ算出部
１２６ 重畳方向算出部
１２８ 重畳処理部
１３０ 画像情報記憶部
１４０ 重畳タイミング算出部
１４２ 基準マーカ
１４４ 基準マーカ抽出部
１４６ トリガ信号生成部
１５０ 車両位置、進行方向算出部
１６０ 車両挙動算出部
１９０ 車両情報記録部
２００ 運転者情報記録部
２１０ 操作検出部
２２０ ホーンスイッチ
２３０ 交通環境検出部

Claims (12)

1. 車両の進行方向に向けて設置され、前記車両の進行方向の映像を撮影する映像撮影部と、
   前記車両の位置と進行方向とを算出する車両位置、進行方向算出部と、
   前記車両の挙動を算出する車両挙動算出部と、
   前記映像に重畳する仮想物体を表す画像を、予め記憶しておく画像情報記憶部と、
   前記映像の中の、前記車両位置、進行方向算出部で算出された前記車両の位置と進行方向と、前記車両挙動算出部で算出された前記車両の挙動とに基づいて算出された位置に、前記画像を重畳する重畳映像作成部と、
   前記車両位置、進行方向算出部で算出された前記車両の位置と進行方向と、前記車両挙動算出部で算出された前記車両の挙動とに基づいて、前記重畳映像作成部に対して、前記画像の重畳を行うことを指示する重畳タイミング算出部と、
   前記車両の運転者の直接視界を遮るように配置され、前記重畳映像作成部で作成された映像を、略リアルタイムで表示する映像表示部と、を備えることを特徴とする車両用危険場面再現装置。
2. 前記映像撮影部は、複数のビデオカメラから構成され、互いに隣り合うビデオカメラの光軸が、水平方向に所定の角度をなして、前記複数のビデオカメラの撮影視野が、互いに重複しないように配置され、
   前記映像表示部は、複数の長方形状のディスプレイから構成され、前記車両のボンネット上に、隣り合う前記ディスプレイの短辺同士が略接して、前記短辺が地面に対して略鉛直になるように配置され、かつ、互いに隣り合う前記ディスプレイの長辺同士が所定の角度をなして、前記車両の運転者に略正対するように配置されることを特徴とする請求項１記載の車両用危険場面再現装置。
3. 互いに隣り合う前記ビデオカメラの光軸同士が水平方向になす角度は、互いに隣り合う前記ディスプレイの長辺同士がなす角度と略等しいことを特徴とする請求項２記載の車両用危険場面再現装置。
4. 前記重畳映像作成部は、前記車両位置、進行方向算出部で算出された前記車両の位置と進行方向と前記車両挙動算出部で算出された前記車両の挙動とに基づいて、
   前記画像を重畳する位置を算出する重畳位置算出部と、
   前記画像の重畳サイズを算出する重畳サイズ算出部と、
   前記画像を重畳する方向を算出する重畳方向算出部と、
   を有することを特徴とする請求項１から３のうちいずれか１項に記載の車両用危険場面再現装置。
5. 少なくとも前記映像表示部に前記画像が重畳された映像が表示されている期間に、前記車両の車両情報を取得して記録する車両情報記録部と、
   少なくとも前記映像表示部に前記画像が重畳された映像が表示されている期間に、前記車両の運転者の挙動を取得して記録する運転者情報記録部と、
   を備えることを特徴とする請求項１から４のうちいずれか１項に記載の車両用危険場面再現装置。
6. 前記車両の位置は、前記車両位置、進行方向算出部において、道路の予め決められた位置に設置された互いに異なる図柄を有する複数の基準マーカのうち、前記映像撮影部によって撮影された少なくとも２つの前記基準マーカの位置に基づいて決定されることを特徴とする請求項１から５のうちいずれか１項に記載の車両用危険場面再現装置。
7. 前記車両の方向は、前記車両位置、進行方向算出部において、道路の予め決められた位置に設置された互いに異なる図柄を有する複数の基準マーカのうち、前記映像撮影部によって撮影された少なくとも１つの前記基準マーカの位置に基づいて決定されることを特徴とする請求項１から６のうちいずれか１項に記載の車両用危険場面再現装置。
8. 前記車両位置、進行方向算出部において前記車両の位置と進行方向が算出された後、所定の期間は、前記車両挙動算出部で算出された前記車両の挙動に基づいて、前記車両の位置と進行方向とを算出することを特徴とする請求項１から７のうちいずれか１項に記載の車両用危険場面再現装置。
9. 前記所定の期間は、前記車両から所定距離以内に、基準マーカが検出される期間であることを特徴とする請求項８に記載の車両用危険場面再現装置。
10. 前記所定の期間は、前記車両挙動算出部で算出された前記車両の移動距離が、所定値に達するまでであることを特徴とする請求項８に記載の車両用危険場面再現装置。
11. 前記車両挙動算出部では、前記車両の車速、ヨー角、ピッチ角、ロール角の全て、もしくは一部に基づいて、前記車両の挙動を算出することを特徴とする請求項１から１０のうちいずれか１項に記載の車両用危険場面再現装置。
12. 運転者の所定の操作を検出する操作検出部と、前記車両の走行に関係する交通環境情報を検出する交通環境検出部と、を有し、
    前記操作検出部において所定の操作が検出されたとき、前記交通環境検出部において所定の交通環境が検出されたとき、もしくは、前記車両挙動算出部において前記車両の所定の挙動が検出されたときに、前記重畳映像作成部において、重畳する前記画像の動きを、前記所定の操作、前記所定の交通環境情報、もしくは、前記車両の所定の挙動に対応するように制御することを特徴とする請求項１から１１のうちいずれか１項に記載の車両用危険場面再現装置。