JP4454681B2 - 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム - Google Patents

Description

本発明は、道路を含む撮影領域を撮影して得られた映像データを車載装置で受信し、受信した映像データに基づいて、車両前方の交通状況を表示する交通状況表示方法、交通状況表示システム、該交通状況表示システムを構成する車載装置及び車載装置に交通状況を表示させるためのコンピュータプログラムに関する。

道路に設置されたビデオカメラで、交差点あるいはブラインドコーナなど、車の運転者から視認しにくい場所を撮影し、撮影して得られた映像データを車載装置へ送信し、車載装置は、映像データを受信し、受信した映像データに基づいて映像を車載モニタに表示させることにより、運転者が車両前方の交通状況を確認できるようにして、車両の走行安全性を向上させるシステムが提案されている。

例えば、交差点における道路の状況を所定の方位が常に画面上方になるように撮像し、この撮像して得られた交差点画像信号を交差点を中心にした所定の領域内に送信し、車両が前記領域内に進入した場合、車両の受信手段が交差点画像信号を受信し、受信した交差点画像信号を車両の信号方向が画面の上側になるように変換して表示させることにより、交差点への他の道路から進入する他の車両を的確に把握して車両の走行安全性を向上させることができる車両運転支援装置が提案されている（特許文献１参照）。

また、車両の乗員の位置から確認することが困難な場所の画像を遠隔地点に設置した撮像装置で撮像し、撮像した画像を乗員が直感的に理解しやすく加工して呈示することにより、交通の安全確認の内容を向上させる状況情報提供装置が提案されている（特許文献２参照）。

また、車載器で車両の進行方向及び路側機の撮影方向を識別し、路側機で撮影された撮影画像を、車両の進行方向が上方向を向くように回転処理して表示させることにより、道路が渋滞している様子を表す撮影画像が表示された場合、運転している車両の進行方向の車線が渋滞しているのか、あるいは反対車線が渋滞しているのかを明確にして、運転者の利便性を向上させることができる車載器が提案されている（特許文献３参照）。
特許第２９４７９４７号公報 特許第３６５５１１９号公報 特開２００４−３１０１８９号公報

しかしながら、特許文献１〜３の装置にあっては、路側機等で撮影した映像を乗員にわかりやすくするために、路側機側あるいは車載器側で車両の進行方向に合わせた方向に映像を回転又は加工処理を行い、処理後の映像を表示しているものの、路側機で撮影される映像は、自車から見た映像ではないため、運転者は、表示される映像上で自車の位置を即座に判断することができず、自車の位置との関係で、映像上のどの箇所（例えば、他の車両、歩行者など）に注意する必要があるかを把握することができず、交通の安全性を更に向上させることが望まれていた。

本発明は、斯かる事情に鑑みてなされたものであり、道路を含む撮影領域を撮影した映像上に自車位置を表示させることにより、交通の安全性を向上させることができる交通状況表示方法、交通状況表示システム、該交通状況表示システムを構成する車載装置及び車載装置に交通状況を表示させるためのコンピュータプログラムを提供することを目的とする。

本発明にあっては、路側装置は、予め映像上の画素座標と撮影領域の位置情報とを対応付ける対応情報を記憶してあり、道路を含む撮影領域を撮影して得られた映像データとともに、記憶した対応情報を車載装置へ送信する。車載装置は、送信装置が送信した映像データ及び対応情報を受信する。車載装置は、例えば、ナビゲーション、ＧＰＳなどから自車の位置情報を取得し、取得した位置情報及び対応情報に含まれる撮影領域の位置情報により、自車の位置情報に対応する画素座標を求め、求めた画素座標を映像上の自車位置として特定する。車載装置は、映像上で特定した自車位置を表示する。自車位置を表示する場合、表示中の映像上に自車位置を示す記号、図柄、マークなどを重畳表示することができる。これにより、車載装置では、例えば、撮像装置の設置位置、方向、画角、路面の傾斜などの様々なパラメータに基づいて映像上の自車位置を算出する複雑な処理を行う必要がなく、簡易な機能及び低コストの車載装置であっても、単に取得した自車の位置情報及び対応情報に基づいて映像上の自車位置を特定することができ、交通の安全性を向上させることができる。

また、路側装置で撮影した映像に自車位置を表示する場合、例えば、路側装置で撮影した路側映像とナビゲーションシステムで得られたナビ映像との合成表示を行うことで実現することも可能であるが、この場合、路側映像とナビ映像との表示形式を一致させるため、歪み補正、俯瞰映像への変換、映像の回転処理、映像の縮小・拡大処理など多重の映像処理を施した後に映像の合成処理を行う必要があり、高性能な映像処理及び合成表示処理機能を備えた高価な車載装置が必須となり、このような高価な車載装置を軽自動車などの低価格帯の車に装備することは困難となる。本発明であれば、高性能、高機能、及び高価な車載装置でなくても、路側装置で撮影された映像上に自車位置を表示させることが可能となる。

本発明にあっては、車載装置は、対応情報に基づいて自車の位置情報を映像上の自車位置に変換するための変換式を、映像データを取得した撮像装置を識別する識別子に対応付けて記憶している。車載装置は、例えば、路側装置が送信した映像データ及び撮像装置を識別する識別子を受信し、受信した識別子に対応する変換式を選択し、選択した変換式及び受信した対応情報に基づいて、映像上の自車位置を特定する。これにより、道路に設置される撮像装置の型式、レンズ画角などの撮影パラメータが異なる場合であっても、設置された撮像装置に最も適合する変換式を選択して自車位置を求めることができ、汎用性が高く、かつ精度良く自車位置を特定することができる。

本発明にあっては、例えば、交差点に交差する各道路に交差点の方向を撮影するための撮像装置を複数設置してあり、路側装置は、各撮像装置で撮影された撮影方位の異なる映像データ及び各撮像装置の設置場所に基づいた撮影方位情報を車載装置へ送信する。検知手段は、自車の進行方位を検知し、選択手段は、検知された進行方位及び受信した撮影方位情報に基づいて、表示する映像を選択する。これにより、道路上（例えば、交差点付近）の異なる方向から撮影された映像データの中から、自車の進行方向に応じて最も必要となる映像データを選択することができ、運転者から見て死角となる撮影領域を表示するとともに、その撮影領域で自車がどこに存在するかを瞬時に判断することができる。

本発明にあっては、設定手段は、自車の直進方向、左折方向、及び右折方向のすくなくとも１つに優先順位を設定する。例えば、優先順位は、運転者によって設定してもよく、あるいは、車両の走行状態（例えば、右折、左折のウインカに連動させる）に応じて設定してもよい。決定手段は、検知した自車の進行方位に基づいて、設定された優先順位の最も高い方向に対応する撮影方位を決定する。選択手段は、決定された撮影方位の映像を選択する。例えば、直進方向に最も高い優先順位が設定された場合、運転者にとって、交差点で右折する際に、交差点の中央付近で右折待ちをしている他の車両により死角となる領域（直進方向）に存在する車両の状況が交通安全上最も重要であれば、自車の進行方位が「北」のときには、交差点に向かって撮影方位が「南」又は「南」に最も近い撮影方位の映像を選択することができる。これにより、車両の走行状況に合わせて、最も適した映像を選択して表示することができ、運転者から見て確認が困難な道路状況を的確に表示することができるとともに、表示された映像上で自車の位置を確認することができ、自車の周辺の道路状況を的確に把握することができる。

本発明にあっては、表示手段は、検知された自車の進行方向を表示する。これにより、例えば、自車の前方の撮影領域が映像上のどの部分であるかを即座に判別することができ、安全性が一層向上する。

本発明にあっては、判定手段は、受信した対応情報に含まれる位置情報及び取得した位置情報に基づいて、自車が撮影領域内に存在するか否かを判定する。報知手段は、自車が撮影領域内にないと判定された場合、その旨を報知する。自車位置が映像外である旨を報知することにより、運転者は、自車が表示されていないことを瞬時に判断することができ、表示中の映像により注意が逸らされることを防止できる。

本発明にあっては、判定手段は、受信した対応情報に含まれる位置情報及び取得した位置情報に基づいて、自車が撮影領域内に存在するか否かを判定する。表示手段は、自車が撮影領域内にないと判定された場合、映像の周辺に自車の存在方向を表示する。これにより、運転者は、自車位置が映像外であっても、自車が存在する方向を容易に判断することができ、自車の周辺の道路状況を事前に把握することができる。

本発明にあっては、簡易な機能及び低コストの車載装置であっても、映像上に自車位置を表示することができ、交通の安全性を向上させることができる。

本発明にあっては、設置された撮像装置に最も適合する変換式を選択して自車位置を求めることができ、汎用性が高く、かつ精度良く自車位置を特定することができる。

本発明にあっては、運転者から見て死角となる撮影領域を表示するとともに、その撮影領域で自車がどこに存在するかを瞬時に判断することができる。

本発明にあっては、自車の周辺の道路状況を的確に把握することができる。

本発明にあっては、自車の前方の撮影領域が映像上のどの部分であるかを即座に判別することができ、安全性が一層向上する。

本発明にあっては、表示中の映像により注意が逸らされることを防止できる。

本発明にあっては、自車の周辺の道路状況を事前に把握することができる。

本発明に係る交通状況表示システムの構成を示すブロック図である。 路側装置の構成を示すブロック図である。 車載装置の構成を示すブロック図である。 設置用端末装置の構成を示すブロック図である。 対応情報の例を示す説明図である。 対応情報の他の例を示す説明図である。 対応情報の他の例を示す説明図である。 ビデオカメラの識別子と換算式との関係を示す説明図である。 対応情報の他の例を示す説明図である。 対応情報の他の例を示す説明図である。 ビデオカメラの選択方法を示す説明図である。 ビデオカメラを選択するための優先順位テーブルの例を示す説明図である。 自車位置マークの表示例を示す説明図である。 自車位置マークの表示例を示す説明図である。 他の映像例を示す説明図である。 映像外の自車位置マークの表示例を示す説明図である。 自車位置の表示処理を示すフローチャートである。

符号の説明

１ ビデオカメラ
２ アンテナ部
１０ 路側装置
１１ 映像信号処理部
１２ 通信部
１３ 付随情報管理部
１４ 記憶部
１５ インタフェース部
２０ 車載装置
２１ 通信部
２２ 路側映像再生部
２３ 映像上座標算出部
２４ 測位部
２５ 映像表示部
２６ 表示判定部
３０ 設置用端末装置
３１ 通信部
３２ 映像再生部
３３ 映像表示部
３４ インタフェース部
３５ 測位部
３６ 設置用情報処理部
３７ 入力部
３８ 記憶部

以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本発明に係る交通状況表示システムの構成を示すブロック図である。本発明に係る交通状況表示システムは、路側装置１０、車載装置２０などを備えている。路側装置１０には、不図示の通信線を介して、交差点に交差する各道路付近に、交差点の方向を撮影するように設置されたビデオカメラ１、１、１、１を接続してあり、各ビデオカメラ１で撮影して得られた映像データは、一旦路側装置１０へ出力される。なお、ビデオカメラ１の設置場所は、図１の例に限定されるものではない。

交差点に交差する各道路には、車載装置２０と通信を行うためのアンテナ部２、２、２、２が、道路に立設された支柱に配置され、不図示の通信線を介して路側装置１０に接続してある。なお、図１では、路側装置１０、各ビデオカメラ１及び各アンテナ部２は別個に設置されているが、これに限定されるものではなく、ビデオカメラ１の設置場所に応じて、ビデオカメラ１を路側装置１０に内蔵する構成でもよく、アンテナ部２を路側装置１０に内蔵する構成でもよく、あるいは、路側装置１０は、両者を内蔵した一体型であってもよい。

図２は路側装置１０の構成を示すブロック図である。路側装置１０は、映像信号処理部１１、通信部１２、付随情報管理部１３、記憶部１４、インタフェース部１５などを備えている。

映像信号処理部１１は、各ビデオカメラ１から入力された映像データを取得し、取得した映像信号をデジタル信号に変換する。映像信号処理部１１は、デジタル信号に変換した映像データを所定のフレームレート（例えば、１秒間に３０フレーム）に同期させて１フレーム単位の映像フレーム（例えば、６４０×４８０画素）を通信部１２へ出力する。

インタフェース部１５は、後述する設置用端末装置３０との間でデータの通信を行う通信機能を備えている。なお、設置用端末装置３０は、各ビデオカメラ１、路側装置１０を設置する際に、所要の情報を生成して路側装置１０の記憶部１４に記憶させるための装置である。インタフェース部１５は、設置用端末装置３０から入力されたデータを付随情報管理部１３へ出力する。

付随情報管理部１３は、インタフェース部１５を通じて、各ビデオカメラ１で撮影される映像内の画素座標（例えば、６４０×４８０画素から構成される映像内の画素位置）と各ビデオカメラ１で撮影される撮影領域の位置情報（例えば、経度及び緯度）とを対応付けた対応情報を取得し、取得した対応情報を記憶部１４に記憶する。また、付随情報管理部１３は、インタフェース部１５から入力された各ビデオカメラ１を識別する識別子、各ビデオカメラ１の撮影方位（例えば、東、西、南、北など）を示す撮影方位情報を取得して記憶部１４に記憶する。なお、識別子は、ビデオカメラ１毎にレンズ画角などの撮影パラメータが異なる場合、これを識別するためのものである。

付随情報管理部１３は、映像信号処理部１１が各ビデオカメラ１で撮影して得られた映像データを通信部１２へ出力する場合、記憶部１４に記憶した対応情報、各ビデオカメラ１の識別子、撮影方位情報を通信部１２へ出力する。

通信部１２は、映像信号処理部１１から入力された映像データ及び付随情報管理部１３から入力された対応情報、各ビデオカメラ１の識別子、撮影方位情報を取得し、取得した映像データ及び対応情報、各ビデオカメラ１の識別子、撮影方位情報を所定の通信フォーマットのデータに変換し、アンテナ部２を通じて変換したデータを車載装置２０へ送信する。なお、対応情報、各ビデオカメラ１の識別子、撮影方位情報などの映像付随情報は、映像データを送信開始するタイミングで一度だけ車載装置２０へ送信してもよく、あるいは、所定の時間間隔で映像データの間に含めて送信するようにしてもよい。

図３は車載装置２０の構成を示すブロック図である。車載装置２０は、通信部２１、路側映像再生部２２、映像上座標算出部２３、測位部２４、映像表示部２５、表示判定部２６などを備えている。

通信部２１は、路側装置１０から送信されたデータを受信し、受信したデータから各ビデオカメラ１で撮影して得られた映像データを抽出するとともに、対応情報、各ビデオカメラ１の識別子、及び撮影方位情報などの映像付随情報を抽出し、抽出した映像データを路側映像再生部２２へ出力し、対応情報、各ビデオカメラ１の識別子、及び撮影方位情報を映像上座標算出部２３及び表示判定部２６へ出力する。

測位部２４は、ＧＰＳ機能、地図情報、加速度センサ機能、ジャイロなどを備え、車両制御部（不図示）から入力される車両情報（例えば、速度など）に基づいて、自車の位置情報（例えば、緯度、経度）を特定し、車両の進行方位及び特定した位置情報などを映像上座標算出部２３及び表示判定部２６へ出力する。なお、測位部２４は、車載装置２０に内蔵する構成に限定されるものではなく、ナビゲーションシステム、内蔵ＧＰＳ、携帯電話など車載装置２０と別個の外部装置で代用することもできる。

映像上座標算出部２３は、通信部２１から入力された対応情報（映像内の画素座標と撮影領域の位置情報とを対応付けた情報）に基づいて、測位部２４から入力された自車の位置情報に対応する映像上の画素座標を算出する。映像上座標算出部２３は、算出した画素座標に基づいて、自車位置が映像内にあるか否かを判定し、自車位置が映像内にある場合には、算出した画素座標を路側映像再生部２２へ出力する。また、映像上座標算出部２３は、自車位置が映像内にない場合、自車位置の方向に対応する映像周辺位置を特定し、映像周辺座標を路側映像再生部２２へ出力する。

路側映像再生部２２は、映像信号復号化回路、オンスクリーンディスプレイ機能などを備え、映像上座標算出部２３から画素座標が入力された場合、通信部２１から入力された映像データに自車位置マークを表す画像データを加え、映像上に自車位置マークが重畳表示されるよう処理を行い、処理後の映像データを映像表示部２５へ出力する。なお、重畳表示の処理は、映像フレーム単位で行ってもよく、あるいは、複数の映像フレーム毎に間引きして処理してもよい。

路側映像再生部２２は、映像上座標算出部２３から映像周辺座標が入力された場合、通信部２１から入力された映像データに自車位置の方向を示すマーク及び自車位置が映像外である旨を報知する文字情報を表す画像データを加え、映像周辺上に自車位置の方向を示すマーク及び文字情報が重畳表示されるよう処理を行い、処理後の映像データを映像表示部２５へ出力する。

表示判定部２６は、各ビデオカメラ１で撮影される映像のうち、いずれのビデオカメラ１で撮影された映像を映像表示部２５で表示するかを判定し、判定信号を映像表示部２５へ出力する。より具体的には、表示判定部２６は、自車の直進方向、左折方向、及び右折方向のすくなくとも１つに優先順位を設定した優先順位テーブルを記憶している。表示判定部２６は、測位部２４から入力された自車の進行方位及び通信部２１から入力された各ビデオカメラ１の撮影方位情報に基づいて、設定された優先順位の最も高い方向に対応する撮影方位を決定する。例えば、表示判定部２６は、直進方向に最も高い優先順位が設定された場合、運転者にとって、交差点の中央付近で右折待ちをしている他の車両で死角となる領域（直進方向）に存在する車両の状況が交通安全上最も重要であるとして、自車の進行方位が「北」のときには、交差点に向かって撮影方位が「南」又は「南」に最も近い撮影方位の映像を決定し、決定した撮影方位の映像を表示するように判定信号を出力する。

これにより、車両の走行状況に合わせて、各ビデオカメラ１で撮影された映像のうち、最も適した映像を選択して表示することができ、運転者から見て確認が困難な道路状況を的確に表示することができるとともに、表示された映像上で自車の位置を確認することができ、自車の周辺の道路状況を的確に把握することができる。

図４は設置用端末装置３０の構成を示すブロック図である。設置用端末装置３０は、通信部３１、映像再生部３２、映像表示部３３、インタフェース部３４、測位部３５、設置用情報処理部３６、入力部３７、記憶部３８などを備えている。設置用端末装置３０は、各ビデオカメラ１、路側装置１０を所要の場所に設置する際に、設置状態に応じて、各ビデオカメラ１で撮影される映像内の画素座標と各ビデオカメラ１で撮影される撮影領域の位置情報とを対応付けた対応情報を生成する。

通信部３１は、路側装置１０から送信されたデータを受信し、受信したデータから各ビデオカメラ１で撮影して得られた映像データを抽出し、抽出した映像データを映像再生部３２へ出力する。

映像再生部３２は、映像信号復号化回路を備え、通信部３１から入力された映像データに対して所定の復号化処理、アナログ映像信号変換処理などを行い、処理後の映像信号を映像表示部３３へ出力する。

映像表示部３３は、例えば、液晶ディスプレイ、ＣＲＴなどのモニタを備え、映像再生部３２から入力された映像信号に基づいて、各ビデオカメラ１で撮影された映像を表示する。これにより、設置現場において、各ビデオカメラ１の撮影領域を確認することができる。

入力部３７は、キーボード、マウスなどを備え、各ビデオカメラ１を設置する場合、設置要員により入力された各ビデオカメラ１の設置情報（例えば、撮影方位、設置高さ、俯角など）を受け付け、入力された設置情報を設置用情報処理部３６へ出力する。

測位部３５は、ＧＰＳ機能を備え、各ビデオカメラ１が設置された場所の位置情報（例えば、緯度、経度）を取得し、取得した位置情報を設置用情報処理部３６へ出力する。

インタフェース部３４は、路側装置１０との間でデータの通信を行う通信機能を備えている。インタフェース部３４は、路側装置１０から、各種パラメータ（例えば、各ビデオカメラ１の型式、レンズ画角など）を取得し、取得した各種パラメータを設置用情報処理部３６へ出力する。

記憶部３８は、対応情報を算出するための予備データ（例えば、道路周辺の地理情報、路面の傾斜情報、ビデオカメラの型式別データベースなど）を記憶している。

設置用情報処理部３６は、各ビデオカメラ１のレンズ画角、設置情報（例えば、撮影方位、設置高さ、俯角など）、位置情報（例えば、緯度、経度）、予備データ（例えば、道路周辺の地理情報、路面の傾斜情報、ビデオカメラの型式別データベースなど）に基づいて、各ビデオカメラ１で撮影される映像内の画素座標（例えば、６４０×４８０画素から構成される映像内の画素位置）と各ビデオカメラ１で撮影される撮影領域の位置情報（例えば、経度及び緯度）とを対応付けた対応情報を生成し、インタフェース部３４を通じて、生成した対応情報、各ビデオカメラ１の撮影方位及び各ビデオカメラを識別する識別子を路側装置１０へ出力する。これにより、各ビデオカメラ１の設置位置、撮影方位、画角、路面の傾斜などの様々なパラメータに基づいて、複雑な処理により生成される対応情報を予め準備しておくことができ、車載装置２０で、このような複雑な処理を行う必要がなくなる。

図５は対応情報の例を示す説明図である。図５に示すように、対応情報は、画素座標及び位置情報で構成され、映像上の各辺の中央部の４つの対応点（Ａ１、Ａ２、Ａ３、Ａ４）それぞれの画素座標及び位置情報（緯度、経度）を対応付けている。この場合、車載装置２０の映像上座標算出部２３は、測位部２４から取得した自車の位置情報（緯度、経度）と点Ａ１〜Ａ４の位置情報とにより、補間演算（あるいは線形変換）して、自車の位置における画素座標を算出することができる。

図６は対応情報の他の例を示す説明図である。図６に示すように、対応情報は、映像上の各四隅の４つの対応点（Ｂ１、Ｂ２、Ｂ３、Ｂ４）それぞれの画素座標及び位置情報（緯度、経度）を対応付けている。この場合、車載装置２０の映像上座標算出部２３は、測位部２４から取得した自車の位置情報（緯度、経度）と点Ｂ１〜Ｂ４の位置情報とにより、補間演算（あるいは線形変換）して、自車の位置における画素座標を算出することができる。なお、対応点の数は、４つに限定されるものではなく、映像上の対角線上の２点でもよい。

図７は対応情報の他の例を示す説明図である。図７に示すように、対応情報は、画素座標、位置情報及び換算式で構成され、映像上の左下の基準点Ｃ１の画素座標（Ｘ、Ｙ）及び位置情報（緯度Ｎ、経度Ｅ）を対応付けている。また、変換式（ｘ、ｙ）＝Ｆ（ｎ、ｅ）は、映像上の任意の点Ｃ２、Ｃ３、…の画素座標（ｘ、ｙ）と位置座標（緯度ｎ、経度ｅ）とを対応付ける。この場合、車載装置２０の映像上座標算出部２３は、測位部２４から取得した自車の位置情報（緯度ｎ、経度ｅ）と基準点Ｃ１の画素座標（Ｘ、Ｙ）及び位置座標（Ｎ、Ｅ）に基づいて、式（１）及び式（２）により自車の位置における画素座標を算出することができる。

式（１）、及び式（２）において、ａ、ｂ、ｃは、各ビデオカメラ１のレンズ画角、撮影方位、設置高さ、俯角、設置位置、路面の傾斜などに依存して求められる定数である。

この場合、各ビデオカメラ１のレンズ画角、撮影方位、設置高さ、俯角、設置位置、路面の傾斜などの撮影パラメータは、ビデオカメラ毎に異なるため、各ビデオカメラ１で撮影された映像上で自車の画素座標を算出するための変換式は異なる。そこで、各ビデオカメラ１の識別子と換算式とを対応付けることができる。

図８はビデオカメラの識別子と換算式との関係を示す説明図である。図８に示すように、例えば、ビデオカメラの識別子が「００１」の場合、換算式（ｘ、ｙ）＝Ｆ１（ｎ、ｅ）を使用し、ビデオカメラの識別子が「００２」の場合、換算式（ｘ、ｙ）＝Ｆ２（ｎ、ｅ）を使用することができる。これにより、道路に設置されるビデオカメラ１の型式、レンズ画角、設置条件などの撮影パラメータが異なる場合であっても、設置されたビデオカメラ１に最も適合する変換式を選択して自車位置を求めることができ、汎用性が高く、かつ精度良く自車位置を特定することができる。

図９は対応情報の他の例を示す説明図である。図９に示すように、対応情報は、映像上の各画素の画素座標及び各画素に対応する位置情報（緯度、経度）で構成される。この場合、車載装置２０の映像上座標算出部２３は、測位部２４から取得した自車の位置情報（緯度、経度）に対応する画素座標を特定することで、自車の位置における画素座標を算出することができる。

図１０は対応情報の他の例を示す説明図である。図１０に示すように、対応情報は、映像上の特定間隔の位置情報（緯度、経度）に対応する画素座標で構成される。特定間隔としては、例えば、緯度及び経度を１秒毎変化させた場合の画素座標を対応付けることができる。この場合、車載装置２０の映像上座標算出部２３は、測位部２４から取得した自車の位置情報（緯度、経度）に対応する画素座標を特定することで、自車の位置における画素座標を算出することができる。

上述のとおり、対応情報は、各種の形式を利用することができ、いずれの対応情報を採用してもよい。また、対応情報は、これらに限定されるものではなく、他の形式を用いることもできる。

次に、車載装置２０が、路側装置１０から各ビデオカメラ１で撮影された映像データを受信した場合、いずれのビデオカメラ１で撮影された映像データを採用するかについて説明する。

図１１はビデオカメラの選択方法を示す説明図であり、図１２はビデオカメラを選択するための優先順位テーブルの例を示す説明図である。図１１に示すように、交差点に交差する東西南北に走る各道路に交差点の方向を撮影するビデオカメラ１ｅ、１ｎ、１ｗ、１ｓを設置してある。なお、各道路の方角は東西南北に限定されるものではないが、説明を簡単にするため、東西南北とする。ビデオカメラ１ｅ、１ｎ、１ｗ、１ｓそれぞれの撮影方位は、東、北、西、南である。また、車両５０、５１それぞれは、交差点に向かって北方向、西方向に走行している。

図１２に示すように、優先順位テーブルは、運転者に必要な監視方向（例えば、直進方向、左折方向、右折方向など）の優先順位（１、２、３など）を定めている。なお、優先順位は、１つの監視方向について設定してもよい。図１２（ａ）の車両５０の場合、最も優先順位の高い監視方向は、直進方向に設定されている。これは、例えば、運転者にとって、交差点で右折する際に、交差点の中央付近で右折待ちをしている他の車両で死角となる領域（直進方向）に存在する車両の状況が交通安全上最も重要であると考えられる場合である。図１１に示すように、自車（車両）５０の進行方位が「北」のときには、交差点に向かって撮影方位が「南」又は「南」に最も近い撮影方位の映像を選択することができる。なお、優先順位は、運転者によって設定してもよく、あるいは、車両の走行状態（例えば、右折、左折のウインカに連動させる）に応じて設定してもよい。

また、図１２（ｂ）の車両５１の場合、最も優先順位の高い監視方向は、右折方向に設定されている。これは、例えば、運転者にとって、交差点で右側の道路から接近してくる他の車両の状況が交通安全上最も重要であると考えられる場合である。図１１に示すように、自車（車両）５１の進行方位が「西」のときには、交差点に向かって撮影方位が「南」又は「南」に最も近い撮影方位の映像を選択することができる。これにより、車両の走行状況に合わせて、最も適した映像を選択して表示することができ、運転者から見て確認が困難な道路状況を的確に表示することができるとともに、表示された映像上で自車の位置を確認することができ、自車の周辺の道路状況を的確に把握することができる。

図１３は自車位置マークの表示例を示す説明図である。図１３に示すように、車載装置２０の映像表示部２５に表示される映像は、自車の進行方向前方に設置されたビデオカメラ１で交差点に向かって撮影された映像である。また、自車位置のマークは、二等辺三角形の図形で、二等辺三角形の頂点方向が自車の進行方向を表している。なお、自車位置のマークは、一例であって、これに限定されるものではなく、自車の位置及び進行方向が明瞭に認識できるものであれば、矢印、記号、図柄など、どのようなものでもよく、また、マークを強調表示、点滅表示、識別力のある色表示をすることができる。図１３の場合、右折時に対向する右折待ち車で対向車が見えない交差点での直進車との衝突回避に極めて有用である。

図１４は自車位置マークの表示例を示す説明図である。図１４に示すように、車載装置２０の映像表示部２５に表示される映像は、自車の右折方向に設置されたビデオカメラ１で交差点に向かって撮影された映像である。図１４の場合、交通量が多い道路への進入における出会い頭の衝突回避に極めて有用である。

図１５は他の映像例を示す説明図である。図１５に示す例は、例えば、各ビデオカメラ１で撮影した映像を路側装置１０で変換、結合処理を行い、合成された１つの映像として車載装置２０へ送信する場合である。なお、この場合、４つの映像の変換、結合処理は、映像信号処理部１１で施すように構成することができる。図１５に示すように、車載装置２０の映像表示部２５に表示される映像は、自車の進行方向前方に設置されたビデオカメラ１で交差点に向かって撮影された映像である。また、自車位置のマークは、二等辺三角形の図形で、二等辺三角形の頂点方向が自車の進行方向を表している。図１５の場合、自車の位置と交差点付近の全貌が明確になり、正面衝突、出会い頭の衝突などを回避することができる。

図１６は映像外の自車位置マークの表示例を示す説明図である。自車が撮影領域内にないと判定された場合、車載装置２０の映像表示部２５に表示される映像は、映像の周辺に自車の存在方向を表示する。これにより、運転者は、自車位置が映像外であっても、自車が存在する方向を容易に判断することができ、自車の周辺の道路状況を事前に把握することができる。また、自車が映像内にないことを示す文字情報（例えば、「画面外です」）を表示することもできる。これにより、運転者は、自車が表示されていないことを瞬時に判断することができ、表示中の映像により注意が逸らされることを防止できる。

次に、車載装置２０の動作について説明する。図１７は自車位置の表示処理を示すフローチャートである。なお、自車位置の表示処理は、車載装置２０内の専用のハードウエア回路で構成するだけでなく、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたマイクロプロセッサで構成し、自車位置の表示処理の手順を定めたプログラムコードをＲＡＭにロードしてＣＰＵでプログラムコードを実行させることにより行うこともできる。

車載装置２０は、映像データを受信し（Ｓ１１）、映像付随情報を受信する（Ｓ１２）。車載装置２０は、測位部２４で自車の位置情報を取得し（Ｓ１３）、表示判定部２６に記憶された優先順位テーブルから監視方向の優先順位を取得する（Ｓ１４）。

車載装置２０は、取得した優先順位及び自車の進行方位に基づいて、表示する映像データ（ビデオカメラ）を選択する（Ｓ１５）。車載装置２０は、取得した自車の位置情報及び映像付随情報に含まれる対応情報に基づいて、自車の画素座標を算出する（Ｓ１６）。なお、変換式を用いて画素座標を算出する場合、選択されたビデオカメラ１の識別子に応じた変換式を選択する。

車載装置２０は、算出した画素座標が画面内（映像内）であるか否かを判定し（Ｓ１７）、画素座標が画面内である場合（Ｓ１７でＹＥＳ）、映像上に自車位置マークを重畳表示する（Ｓ１８）。画素座標が画面内でない場合（Ｓ１７でＮＯ）、車載装置２０は、自車位置が画面外である旨を報知し（Ｓ１９）、画面周辺（映像周辺）に自車位置の方向を表示する（Ｓ２０）。

車載装置２０は、処理終了の指示の有無を判定し（Ｓ２１）、処理終了の指示がない場合（Ｓ２１でＮＯ）、ステップＳ１１以降の処理を続け、処理終了の指示がある場合（Ｓ２１でＹＥＳ）、処理を終了する。

以上説明したように、本発明にあっては、簡易な機能及び低コストの車載装置であっても、映像上に自車位置を表示することができ、交通の安全性を向上させることができる。また、設置されたビデオカメラに最も適合する変換式を選択して自車位置を求めることができ、汎用性が高く、かつ精度良く自車位置を特定することができる。また、運転者から見て死角となる撮影領域を表示するとともに、その撮影領域で自車がどこに存在するかを瞬時に判断することができる。また、自車の周辺の道路状況を的確に把握することができる。また、自車の進行方向前方の撮影領域が映像上のどの部分であるかを即座に判別することができ、安全性が一層向上する。また、表示中の映像により注意が逸らされることを防止できる。さらに、自車の周辺の道路状況を事前に把握することができる。

上述の実施の形態では、交差点に交差する各道路に交差点の方向を撮影するように各ビデオカメラを設置する構成であったが、ビデオカメラの設置方法は、これに限定されるものではない。ビデオカメラで撮影する道路の数、撮影方向などは適宜設定することができる。

上述の実施の形態では、ビデオカメラ及び映像表示部の画素数を一例として６４０×４８０画素としたが、これに限定されるものではなく、他の画素数のものでもよい。また、ビデオカメラの画素数と映像表示部の画素数とが異なる場合、車載装置で画素数の変換処理（例えば、画像の拡大、縮小処理など）を行ってもよく、あるいは路側装置で行ってもよい。

上述の実施の形態では、路側装置とビデオカメラとは別個の装置で構成されているが、これに限定されるものではなく、ビデオカメラを１つ設置する場合には、路側装置にビデオカメラを内蔵する構成とすることもできる。

路側装置と車載装置との間の通信は、例えば、光ビーコン、電波ビーコン、ＤＳＲＣ、無線ＬＡＮ、ＦＭ多重放送、携帯電話などの各種方式を採用することができる。

Claims (9)

1. 道路を含む撮影領域を撮影して得られた映像データを路側装置から送信し、送信された映像データを車載装置で受信し、受信した映像データに基づいて映像を表示する交通状況表示方法において、
   前記路側装置は、
   映像上の画素座標と撮影領域の位置情報とを対応付ける対応情報を記憶してあり、
   記憶した対応情報を送信し、
   前記車載装置は、
   前記対応情報を受信し、
   自車の位置情報を取得し、
   受信した対応情報及び取得した位置情報に基づいて、映像上の自車位置を特定し、
   受信した対応情報に含まれる位置情報と取得した自車の位置情報とに基づいて、自車が撮影領域内に存在するか否かを判定し、
   自車が撮影領域内にあると判定した場合、特定した自車位置を映像上に表示し、
   自車が撮影領域内にないと判定した場合、その旨を報知することを特徴とする交通状況表示方法。
2. 道路を含む撮影領域を撮影して得られた映像データを送信する路側装置と、該路側装置が送信した映像データを受信する車載装置とを備え、該車載装置で受信した映像データに基づいて映像を表示する交通状況表示システムにおいて、
   前記路側装置は、
   映像上の画素座標と撮影領域の位置情報とを対応付ける対応情報を記憶する記憶手段と、
   該記憶手段で記憶された対応情報を送信する送信手段を備え、
   前記車載装置は、
   前記路側装置が送信した対応情報を受信する受信手段と、
   自車の位置情報を取得する取得手段と、
   前記受信手段で受信した対応情報及び前記取得手段で取得した位置情報に基づいて、映像上の自車位置を特定する特定手段と、
   該特定手段で特定された自車位置を映像上に表示する表示手段と、
   前記受信手段で受信した対応情報に含まれる位置情報及び前記取得手段で取得した位置情報に基づいて、自車が撮影領域内に存在するか否かを判定する判定手段と、
   該判定手段で自車が撮影領域内にないと判定された場合、その旨を報知する報知手段と
   を備えることを特徴とする交通状況表示システム。
3. 道路を含む撮影領域を撮影して得られた映像データを受信し、受信した映像データに基づいて映像を表示する車載装置において、
   映像上の画素座標と撮影領域の位置情報とを対応付ける対応情報を受信する受信手段と、
   自車の位置情報を取得する取得手段と、
   前記受信手段で受信した対応情報及び前記取得手段で取得した位置情報に基づいて、映像上の自車位置を特定する特定手段と、
   該特定手段で特定された自車位置を映像上に表示する表示手段と、
   前記受信手段で受信した対応情報に含まれる位置情報及び前記取得手段で取得した位置情報に基づいて、自車が撮影領域内に存在するか否かを判定する判定手段と、
   該判定手段で自車が撮影領域内にないと判定された場合、その旨を報知する報知手段と
   を備えることを特徴とする車載装置。
4. 前記受信手段は、
   映像データを取得した撮像装置を識別する識別子を受信するように構成してあり、
   前記対応情報に基づいて、自車の位置情報を映像上の自車位置に変換するための変換式を前記識別子に対応付けて複数記憶する記憶手段を備え、
   前記特定手段は、
   前記受信手段で受信した識別子に対応する変換式に基づいて、映像上の自車位置を特定するように構成してあることを特徴とする請求項３に記載の車載装置。
5. 前記受信手段は、
   撮影方位の異なる映像データ及び映像の撮影方位情報を受信するように構成してあり、
   自車の進行方位を検知する検知手段と、
   該検知手段で検知した進行方位及び前記受信手段で受信した撮影方位情報に基づいて、表示する映像を選択する選択手段と
   を備えることを特徴とする請求項３に記載の車載装置。
6. 自車の直進方向、左折方向、及び右折方向のすくなくとも１つに優先順位を設定する設定手段と、
   前記検知手段で検知した進行方位に基づいて、前記設定手段で設定された優先順位の最も高い方向に対応する撮影方位を決定する決定手段と
   を備え、
   前記選択手段は、
   前記決定手段で決定された撮影方位の映像を選択するように構成してあることを特徴とする請求項５に記載の車載装置。
7. 前記表示手段は、
   前記検知手段で検知した進行方向を表示するように構成してあることを特徴とする請求項５に記載の車載装置。
8. 前記受信手段で受信した対応情報に含まれる位置情報及び前記取得手段で取得した位置情報に基づいて、自車が撮影領域内に存在するか否かを判定する判定手段を備え、
   前記表示手段は、
   前記判定手段で自車が撮影領域内にないと判定された場合、映像の周辺に自車の存在方向を表示するように構成してあることを特徴とする請求項３乃至請求項７のいずれかに記載の車載装置。
9. 道路を含む撮影領域を撮影して得られた映像データを受信し、受信した映像データに基づいて映像を表示する車載装置に自車位置を表示させるためのコンピュータプログラムであって、
   コンピュータを、
   映像上の画素座標と撮影領域の位置情報とを対応付ける対応情報及び自車の位置情報に基づいて、映像上の自車位置を特定する特定手段と、
   特定された自車位置を映像上に表示する表示手段と、
   前記対応情報に含まれる位置情報と自車の位置情報とに基づいて、自車が撮影領域内に存在するか否かを判定する判定手段と、
   該判定手段で自車が撮影領域内にないと判定された場合、その旨を報知する報知手段と
   して機能させることを特徴とするコンピュータプログラム。

Images