JP2013062657A - 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

Abstract

【課題】運転時の安全性を向上できる画像表示システム、画像表示装置、画像表示方法又は画像表示プログラムを提供する。
【解決手段】撮影装置は画像を撮影し、距離情報取得部は前記撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得し、位置特定部は車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定し、画像出力部は前記画像信号が表す被写体のうち、前記位置特定部が特定した位置にある被写体を表す画像を選択する。
【選択図】図１

Description

本発明は、画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラムに関する。

近年、自動車には撮影装置（例えばカメラ等）あるいはセンサ（例えばソナー、ミリ波レーダー等）を備える監視装置が取り付けられている。そして、それらの監視装置が取得した情報を利用して運転時における安全性を向上させるための技術の開発が盛んになっている。ここで、運転者の視界を補助する目的で、車両に搭載されたカメラで撮影した画像を車載ディスプレイに表示する技術が提案されている。
例えば、特許文献１に記載の車両周辺監視システムは、車両に搭載されると共に、前記車両から死角となる場所を撮影する撮影手段と、前記撮影手段で撮影された車両周辺の画像データを入力し、当該画像データに基づいて，前記撮影手段の視点で撮影された画像を前記車両の運転席の視点で見た画像となるように視点を変換する画像処理手段と，前記画像処理手段で視点変換された画像を前記運転席から見たときの画角に合わせて表示する手段とを備える。

その他、ステレオカメラを用いて算出した距離情報から障害物を検知し、車両衝突を防止する技術も開発されている。例えば、特許文献２に記載の車両衝突防止装置は、前方に向けた２台の広角ステレオカメラを用いて他車両などの移動物体との距離を計測し、衝突する可能性を判定する。

特開２００７−３２９６１１号公報 特開２００４−３０２６２１号公報

しかしながら、特許文献１、２に記載された技術では、自車両の周辺の物体の情報を全て表示するに過ぎず、それらの物体が通行の障害や注意の対象になるか否かは、運転者の判断に委ねられていた。
本発明はこのような課題に鑑みてなされたもので、運転時の安全性を向上できる画像表示システム、画像表示装置、画像表示方法又は画像表示プログラムを提供することを目的とする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像を撮影する撮影装置と、前記撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する距離情報取得部と、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する位置特定部と、前記画像信号が表す被写体のうち、前記位置特定部が特定した位置にある被写体を表す画像を選択する画像合成部とを、備えることを特徴とする画像表示システムである。

（２）本発明のその他の態様は、上記画像表示システムにおいて、前記位置特定部は、前記車両の走行状況を表す走行情報と前記車両を運転するための操作を表す運転操作情報とを含む前記運転状況情報に基づいて前記位置情報を特定することを特徴とする。

（３）本発明のその他の態様は、上記画像表示システムにおいて、前記撮影装置を複数個備え、複数の前記撮影装置のうち少なくとも２つは、前記車両の左側面又は右側面において予め定められた間隔で垂直方向に配置されていることを特徴とする。

（４）本発明のその他の態様は、上記画像表示システムにおいて、前記複数の撮影装置のうち少なくとも２つはそれぞれ、前記車両の左側面及び右側面において共通の間隔で垂直方向に配置されていることを特徴とする。

（５）本発明のその他の態様は、上記画像表示システムにおいて、前記複数の撮影装置のうち少なくとも２つが配置される位置における前記車両の前後方向の座標は、前記車両の先頭及び最後尾の中間であることを特徴とする。

（６）本発明のその他の態様は、上記画像表示システムにおいて、前記距離情報取得部は、前記被写体を表す画像間の垂直方向の視差に基づいて前記距離情報を算出することを特徴とする。

（７）本発明のその他の態様は、画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する距離情報取得部と、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する位置特定部と、前記画像信号が表す被写体のうち、前記位置特定部が特定した位置にある被写体を表す画像を選択する画像合成部とを、備えることを特徴とする画像表示装置である。

（８）本発明のその他の態様は、画像表示装置における画像表示方法において、前記画像表示装置が、画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する過程と、前記画像表示装置が、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する過程と、前記画像表示装置が、前記画像信号が表す被写体のうち、前記特定した位置にある被写体を表す画像を選択する過程とを、有することを特徴とする画像表示方法である。

（９）本発明のその他の態様は、画像表示装置のコンピュータに、画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する手順、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する手順、前記画像信号が表す被写体のうち、前記特定した位置にある被写体を表す画像を選択する手順を実行させるための画像表示プログラムである。

本発明の画像表示システム、画像表示装置、画像表示方法、又は画像表示プログラムによれば、運転時の安全性を向上することができる。

本発明の実施形態に係る画像表示システムの構成を示す概略図である。 本実施形態に係る画像表示処理を示すフローチャートである。 本実施形態に係る撮影装置の配置の一例を示す概念図である。 本実施形態に係る撮影装置の配置のその他の例を示す概念図である。 本実施形態に係るステレオ撮影部の配置の一例を示す概念図である。 本実施形態に係る距離情報算出処理を表すフローチャートである。 本実施形態に係る撮影装置が撮影した画像の一例を表す図である。 本実施形態に係る位置特定部が記憶する情報の一例を示す図である。 本実施形態に係る運転状況の一例を表す概念図である。 本実施形態に係る運転状況のその他の例を表す概念図である。 本実施形態に係る運転状況のその他の例を表す概念図である。 本実施形態に係る本実施形態に係る画像合成部が生成した合成画像信号の一例を表す概念図である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像表示システム１の構成を示す概略図である。
画像表示システム１は、２個のステレオ撮影部１１Ｌ、１１Ｒ、運転状況情報生成部１３及び画像表示装置１２を含んで構成される。

ステレオ撮影部１１Ｌ、１１Ｒは、それぞれ２個の撮影装置（カメラモジュール）１１Ｌ−１並びに１１Ｌ−２、１１Ｒ−１並びに１１Ｒ−２（以下、１１Ｌ−１等）を含んで構成される。各撮影装置１１Ｌ−１等は、それぞれ画像を撮影し、撮影した画像を表す画像信号を画像表示装置１２の距離情報算出部１２１に出力する。１台のステレオ撮影部（例えば１１Ｌ）が備える２個の撮影装置１１Ｌ−１、１１Ｌ−２の光軸の方向（視点）は互いに平行であるが、ステレオ撮影部間では撮影装置の光軸の方向は異なる。ステレオ撮影部１１Ｌ、１１Ｒの設置位置、撮影範囲の例については後述する。
運転状況情報生成部１３は、走行情報生成部１３１と運転操作情報生成部１３２とを含んで構成される。運転状況情報とは、画像表示システム１を搭載する車両３の運転状況を表す情報である。運転状況情報は、後述する走行情報と運転操作情報を含む情報である。

走行情報生成部１３１は、道路の位置を含む地図情報を記憶し、画像表示システム１を搭載している車両３（自車両）の位置情報、移動方向情報を取得する。走行情報生成部１３１は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、全地球測位システム）ナビゲーションユニットである。走行情報生成部１３１は、自車両３から予め定められた範囲にある地図を表す周囲地図情報を記憶している地図情報から抽出する。
走行情報生成部１３１は、自車両３の位置情報、速度情報、移動方向情報、周囲地図情報を含む走行情報を生成し、生成した走行情報を画像表示装置１２の位置特定部１２２に出力する。

運転操作情報生成部１３２は、運転者が車両３を運転する際に操作した部及び操作内容（変位）を表す運転操作情報を生成し、生成した運転操作情報を画像表示装置１２の位置特定部１２２に出力する。運転操作情報生成部１３２は、例えば、加速操作部（アクセルペダル）１０５−１、方向操作部（ステアリングハンドル）１０５−２、指示操作部（ウィンカレバー）１０５−３、変速操作部（シフトレバー）１０５−４を含んで構成される。

画像表示装置１２は、距離情報算出部１２１、位置特定部１２２、画像合成部１２３及び画像表示部１２４を含んで構成される。
距離情報算出部１２１は、ステレオ撮影部１１Ｌ、１１Ｒが各々備える撮影装置１１Ｌ−１等から入力された画像信号が表す被写体までの距離情報を算出する。距離情報算出部１２１は、例えば、ステレオ撮影部１１Ｌが備える２つの撮影装置、例えば撮影装置１１Ｌ−１、１１Ｌ−２から入力された画像信号が共通に表す被写体の視差を算出し、算出した視差に基づいて撮影装置から当該被写体までの距離情報を算出する。距離情報算出部１２１は、算出した被写体毎の距離情報を、入力された画像信号とともに画像合成部１２３に出力する。

位置特定部１２２は、運転状況情報生成部１３から入力された運転状況情報に基づいて運転者が注意すべき位置を表す表示位置情報を特定する。運転者が注意すべき位置とは、 例えば車両３が予め定めた時間だけ後の時刻における予想位置である。即ち、車両３が当該時間だけ経過すると通過する可能性がある位置、ひいては、通行の障害となる障害物が所在する位置、衝突もしくは接触すると重篤な事故を引き起こす物体が所在する位置である。表示位置情報は、必ずしも1点とは限らず、ある地点を基準とした範囲を表す情報であってもよい。
位置特定部１２２は、例えば、自部が備える記憶部に運転状況情報と表示位置情報とを予め対応付けて記憶させておく。位置特定部１２２は、運転状況情報として、例えば走行情報生成部１３１から入力された走行情報と運転操作情報生成部１３２から入力された運転操作情報を運転状況情報とし、当該運転状況情報に対応する表示位置情報を自部が備える記憶部から読み出す。位置特定部１２２は、特定した表示位置情報を画像出力部１０７に出力する。

画像合成部１２３は、位置特定部１２２から入力された表示位置情報と距離情報算出部１０２から入力された被写体毎の距離情報を照合して、当該表示位置情報が示す位置にある被写体を選択する。画像合成部１２３は、選択した被写体を表す画像を他の部分を表す画像よりも例えば高い輝度で強調して、位置特定部１２２から入力された画像信号が表す画像と合成して合成画像信号を生成する。画像合成部１２３は、生成した合成画像信号を画像表示部１２４に出力する。
画像表示部１２４は、画像合成部１２３から入力された合成画像信号を画像として表示する。画像表示部１２４は、例えばディスプレイモニタである。

次に、本実施形態に係る画像表示装置２が行う画像表示処理について説明する。
図２は、本実施形態に係る画像表示処理を示すフローチャートである。
（ステップＳ１０１）距離情報算出部１２１は、ステレオ撮影部１１Ｌ等が備える撮影装置１１Ｌ−１等から各々画像信号が入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）距離情報算出部１２１は、撮影装置１１Ｌ−１等、１１Ｌ−２等から入力された画像信号が共通に表す被写体の視差を算出し、算出した視差に基づいて撮影装置から当該被写体までの距離情報を算出する。距離情報算出部１２１は、算出した被写体毎の距離情報を画像合成部１２３に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）位置特定部１２２は、運転状況情報生成部１３から運転状況情報を入力される。その後、ステップＳ１０４に進む。
（ステップＳ１０４）位置特定部１２２は、入力された運転状況情報に対応する表示位置情報を自部が備える記憶部から読み出して、表示位置情報を特定する。位置特定部１２２は、特定した表示位置情報を画像合成部１２３に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）画像合成部１２３は、距離情報算出部１２１から入力された被写体毎の距離情報に基づき、位置特定部１２２から入力された表示位置情報が表す表示位置又はその位置から予め定めた範囲にある被写体を選択する。画像合成部１２３は、選択した被写体を表す画像を他の部分を表す画像よりも強調して合成画像信号を生成する。画像合成部１２３は、生成した合成画像信号を画像表示部１２４に出力する。その後、ステップＳ１０６に進む。
（ステップＳ１０６）画像表示部１２４は、画像合成部１２３から入力された合成画像信号が表す画像を表示する。その後、処理を終了する。

次に、撮影装置１０１−１等の配置の一例について図面を用いて説明する。
図３は、本実施形態に係る撮影装置１１Ｌ−１、１１Ｌ−２の配置の一例を示す概念図である。
図３は、車両３の左側面全体を示す。図３において、左側が車両３の前方、右側が車両３の後方、上方が車両３の上方、下方が車両３の下方である。
車両３の先頭から最後尾までの前後方向の全長はｌ（エル）である。ステレオ撮影部１１Ｌは、撮影装置１１Ｌ−１と撮影装置１１Ｌ−２を備え、車両３の左側面、例えば、前部座席のドアの外壁に取り付けられている。
撮影装置１１Ｌ−２が車両３に取り付けられる位置は、その光軸が車両３の先頭から車両３の全長ｌの半分ｌ／２だけ後方に向かい、地面から高さｈとなる位置である。撮影装置１１Ｌ−１が車両３に取り付けられる位置は、その光軸が撮影装置１１Ｌ−２の光軸よりもｂだけ高い位置である。即ち、撮影装置１１Ｌ−２は、撮影装置１１Ｌ−１から垂直方向に予め定めた間隔ｂだけ互いに離れた位置に取り付けられている。

図４は、本実施形態に係る撮影装置１１Ｌ−１〜１１Ｒ−２の配置の一例を示す概念図である。
図４は、車両３の前面全体を示す。図４の左側が、車両３の前方に向かって右側方、図４の右側が車両３の前方に向かって左側方、図４の上方が車両３の上方、図４の下方が車両３の下方である。
撮影装置１１Ｒ−１、１１Ｒ−２は、車両３の右側面に撮影装置１１Ｌ−１、１１Ｌ−２とそれぞれ同じ高さｈ＋ｂ、ｈに取り付けられている。即ち、撮影装置１１Ｒ−２は、撮影装置１１Ｒ−１から垂直方向に予め定めた間隔ｂだけ離れるように車両３の右側面に取り付けられている。撮影装置１１Ｒ−１、１１Ｒ−２の前後方向の座標も、撮影装置１１Ｌ−１、１１Ｌ−２と同様である。

図５は、本実施形態に係るステレオ撮影部１１Ｌ、１１Ｒの配置の一例を示す概念図である。
図５は、車両３の表面全体を示す。ステレオ撮影部１１Ｒは、撮影装置１１Ｒ−１、１１Ｒ−２を含んで構成され、車両３の右側面に取り付けられている。ステレオ撮影部１１Ｒの前後方向の座標は、ステレオ撮影部１１Ｌと同様である。

図５において、４１Ｌは、ステレオ撮影部１１Ｌが備える撮影装置１１Ｌ−１、１１Ｌ−２の撮影範囲である水平方向の視野の一例を表す。即ち、撮影装置１１Ｌ−１、１１Ｌ−２の視野角（画角）は、各々の光軸を中心として１８０°に近い十分大きい角度、例えば１６０°である。この場合、視野角は、車両３の左前方１０°から左真横を経て左後方１０°に至る。撮影装置１１Ｌ−１、１１Ｌ−２の光軸が、ともに車両３に対して左側水平に向くように配置されている。これにより、撮影装置１１Ｌ−１、１１Ｌ−２は、共通する被写体の画像を互いに異なる高さから運転者の注意が行き届かない車両左側の広い範囲にわたって撮影することができる。

図５において、４１Ｒは、ステレオ撮影部１１Ｒが備える撮影装置１１Ｒ−１、１１Ｒ−２の撮影範囲である水平方向の視野の一例を表す。撮影装置１１Ｒ−１、１１Ｒ−２の視野角は、各々の光軸を中心として１８０°に近い十分大きい角度、例えば１６０°である。この場合、視野角は、車両３の右前方１０°から右真横を経て左後方１０°に至る。また、撮影装置１１Ｒ−１、１１Ｒ−２の光軸は、ともに車両３に対して右側水平に向くように配置されている。これにより、撮影装置１１Ｒ−１、１１Ｒ−２は、共通する被写体の画像を互いに異なる高さから運転者の注意が行き届かない車両右側の広い範囲にわたって撮影することができる。

続いて、距離情報算出部１２１が行う処理について説明する。
図６は、本実施形態に係る距離情報算出部１２１が行う処理を表すフローチャートである。
（ステップＳ２０１）距離情報算出部１２１は、撮影装置１１Ｌ−１等から各々入力された画像信号が表す被写体毎の画像を検知する。距離情報算出部１２１は、被写体毎の画像を検知するために、例えばエッジ検出を行う。エッジ検出において、距離情報算出部１２１は、入力した画像信号を空間的に平滑化し、空間周波数が予め設定された閾値よりも高い成分を除去する。距離情報算出部１２１は、平滑化した画像信号に含まれる隣接画素間の勾配（水平方向、垂直方向）の絶対値を指標値として画素毎に算出する。距離情報算出部１２１は、算出した指標値が予め設定された閾値よりも大きい画素をエッジとして検出する。距離情報算出部１２１は、検出したエッジのうち、空間的に隣接するエッジに囲まれる各領域を、各被写体を表す画像と定め、この画像を占める領域毎に各被写体を識別する情報を被写体情報として生成する。距離情報算出部１２１は、生成した被写体情報を画像合成部１２３に出力する。その後、ステップＳ２０２に進む。

（ステップＳ２０２）距離情報算出部１２１は、ステレオ撮影部１１Ｌ、１１Ｒが各々備える撮影装置の組（この例では、撮影装置１１Ｌ−１と１１Ｌ−２の組、１１Ｒ−１と１１Ｒ−２の組）毎に各被写体の視差を算出する。視差とは、後述するように異なる撮影装置から入力された画像信号が表す共通の被写体を表す画素間の距離である。距離情報算出部１２１は、一方の撮影装置（例えば、撮影装置１１Ｌ−１）から入力された画像信号（例えば、画像６１−１）の一部である画像ブロックと他方の撮影装置（例えば、撮影装置１１Ｌ−２）から入力された画像信号（例えば画像６１−２）のうち同一の被写体を表す画像ブロックを探索する。距離情報算出部１２１は、そのような画像ブロックを探索するために、一方の画像信号の画像ブロックと他方の画像信号の画像ブロックに対して、例えばブロックマッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）を行う。

ブロックマッチングにおいて、距離情報算出部１２１は一方の画像信号の画像ブロックと他方の画像信号の画像ブロックの画素値の類似性を表す評価値を算出し、最も類似することを表す評価値が算出される画像ブロックを他方の画像信号から探索する。評価値は、例えば、差分絶対和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ、Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関（ＮＣＣ、Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等のうちいずれかである。探索を行う際、距離情報算出部１２１は、他方の画像信号の画像ブロックの座標を垂直方向に１画素ずつ正方向（下方）又は負方向（上方）に変更する。本実施形態では、上述の撮影装置の配置により２つの画像信号の視差は垂直方向に生じるため、距離情報算出部１２１は、画像ブロックの座標を水平方向に変更する必要はない。なお、その画像ブロックの座標の初期値を、基準となる一方の画像信号の画像ブロックの座標と同一の座標とする。
このようにして、距離情報算出部１２１は、両画像信号が共通に表す被写体における視差を算出する。その後、ステップＳ２０３に進む。

次に、ステレオ撮影部１１Ｌが備える撮影装置１１Ｌ−１、１１Ｌ−２が撮影した画像の一例について述べる。
図７は、本実施形態に係る撮影装置１１Ｌ−１、１１Ｌ−２が撮影した画像の一例を表す図である。図７（ａ）は、撮影装置１１Ｌ−１が撮影した画像６１−１を表す。画像６１−１は被写体として他の車両を表す。図７（ｂ）は、撮影装置１１Ｌ−２が撮影した画像６１−２を表す。画像６１−２は被写体として画像６１−１が表す車両と共通する車両を表す。画像６１−２に表される車両の位置は、画像６１−１よりも垂直方向の正方向（上方）にずれている。これは、画像６１−２を撮影した撮影装置１１Ｌ−２が画像６１−１を撮影した撮影装置１１Ｌ−１と垂直方向の負方向（下方）にｂだけ離れた位置に設置されているためである。

図７（ａ）、（ｂ）はともに、画像６１−１の画像ブロックと画像６１−２において同一の被写体である車両を表す画像ブロックを表す。ここで、画像６１−１が表す車両のナンバープレートの中央部の水平方向の座標はＨ、垂直方向の座標はＶ１である。この部位に対応する、画像６１−２の水平方向の座標はＨ、垂直方向の座標はＶ２である。このとき、画像６１−１、６１−２間の垂直方向の座標の差分Ｖ１−Ｖ２が視差である。

（ステップＳ２０３）図６に戻り、距離情報算出部１２１は、算出した視差に基づいて当該被写体までの距離情報を算出する。
視差は、撮影装置から被写体までの距離によって異なる値をとる。視差は、例えば、被写体が無限遠にあるとき０であり、撮影装置から被写体までの距離が短くなるほど大きくなる性質がある。
ここで、距離情報算出部１２１は、車両のナンバープレートの中央部までの距離Ｚを、例えば式（１）を用いて算出することができる。

式（１）において、ｆは、撮影装置１１Ｌ−１、１１Ｌ−２の焦点距離、ｐは画素ピッチ（画素間間隔）を表す。
これにより、距離情報算出部１２１は、撮影装置１１Ｌ−１、１１Ｌ−２から入力された画像信号が共通に表す被写体までの距離情報を算出することができる。ここで、間隔ｂが大きいほど、視差が大きくなるため算出される距離情報の精度が高くなる。
距離情報算出部１２１は、同様にして互いに垂直方向に間隔ｂだけ離れた位置に設置された撮影装置１１Ｒ−１、１１Ｒ−２から入力された画像信号が共通に表す被写体までの距離情報を算出することができる。この場合も、距離情報算出部１２１は、式（１）を用いて被写体までの距離情報を算出することができ、ステレオ撮影部毎に異なる方法を用いる場合よりも処理量を低減できる。その後、距離情報算出部１２１は、処理を終了する。

次に、位置特定部１２２の構成及び処理について説明する。
位置特定部１２２は、走行情報生成部１３１から走行情報が、運転操作情報生成部１３２から運転操作情報が入力され、入力された走行情報又は運転操作情報に対応する表示位置情報を特定する。ここで、位置特定部１２２は、自部が備える記憶部に運転状況情報と表示位置情報を対応付けて記憶させておく。位置特定部１２２は、特定した表示位置情報を画像合成部１２３に出力する。

そこで、位置特定部１２２が備える記憶部には、運転状況情報として走行情報と運転操作情報を表示位置情報と対応付けて記憶しておく。
図８は、本実施形態に係る表示位置特定部１０６が記憶する情報の一例を示す図である。
図８は、最左列から右へ順に走行情報、運転操作情報、表示位置情報を示す。但し、−印は、該当する情報が必須でないことを示す。
図８において、走行情報が速度情報が低速走行（例えば、移動速度が時速２０ｋｍ未満）を含むこと、及び走行情報に含まれる周囲地図情報が当該走行情報に含まれる移動方向情報が表す移動方向に左折路との交差点があることを示す。この走行情報と対応付けられる運転操作情報が変速操作部１３２−４についてバック（バックギア）であること、及び方向操作部１３２−２について左へ進行方向を変更する（左ハンドルステアリング）操作を表す場合、表示位置情報として左後方４５°、車両最後尾から２ｍの位置を表す情報が対応づけられていることを表す。
図８において、走行情報に含まれる速度情報が通常速度走行（例えば、移動速度が時速４０ｋｍと同じかそれよりも高く時速６０ｋｍ未満）を表し、運転操作情報が指示操作部１３２−３について左折を表す方向指示（左ウィンカ）の操作を表す場合、表示位置情報として左前方４５°、車両先頭から５ｍの位置を表す情報が対応付けられていることを表す。
図８において、走行情報に含まれる速度情報が高速走行（例えば、移動速度が時速８０ｋｍと同じかそれよりも高い）であって、走行情報に含まれる周囲地図情報が現在車両３が走行中の道路が緩やかな左方向へのカーブ（例えば、カーブの曲率半径が１００ｍよりも大きい）を表す場合、表示位置情報として左前方１５°、車両先頭から３０ｍの位置を表す情報が対応付けられていることを表す。

次に運転状況情報毎の位置特定部１２２の処理について説明する。
図９は、本実施形態に係る運転状況の一例を表す概念図である。
図９において車両３の最後尾から左後方に向かう矢印は、位置特定部１２２に入力される走行情報に含まれる速度情報が低速走行を示し、運転操作情報が変速操作部１３２−４についてバック操作を示し、方向操作部１３２−２において左へ進行方向を変更する操作を示す場合を表す。これらの情報からなる運転状況情報は、車両３の運転状況が幅寄せ（又は縦列駐車）であることを表す。このとき、位置特定部１２２は、入力された走行情報及び運転操作情報に対応する表示位置情報として左後方４５°、車両最後尾から２ｍの位置を表す情報を記憶部から読み出す。図９において、破線で示された円７３は、読み出された表示位置情報が表す表示位置を中心とする円である。
なお、図９に示す物体５２、５３、５４については後述する。

図１０は、本実施形態に係る運転状況のその他の例を表す概念図である。
図１０において車両３の先頭から左前方に向かう矢印は、位置特定部１２２に入力される走行情報に含まれる速度情報が通常速度走行を示し、運転操作情報が指示操作部１３２−３について左折の方向指示操作を示す場合を表す。図１０が示す塗りつぶし部分は、走行情報に含まれる周囲地図情報が表す道路、即ち車両が走行できる部分を表す。ここで、走行情報に含まれる移動方向情報が表す移動方向に左折路との交差点があることを示す。これらの情報からなる運転状況情報は、車両３の運転状況が左折であることを表す。このとき、位置特定部１２２は、入力された走行情報及び運転操作情報に対応する表示位置情報として左前方４５°、車両先頭から５ｍの位置を表す情報を記憶部から読み出す。同図において、破線で示された円７４は、読み出された表示位置情報が表す表示位置を中心とする円である。

図１１は、本実施形態に係る運転状況のその他の例を表す概念図である。
図１１において車両３の先頭から左前方に向かう矢印は、位置特定部１２２に入力される走行情報が高速走行であることを示す。図１１において、車両３から左前方に向かう塗りつぶし部分が表す道路は、その走行情報に含まれる周囲地図情報が緩やかな左方向へのカーブからなる道路を示すことを表す。これらの情報からなる運転状況情報は、車両３の運転状況が左カーブ走行であることを表す。このとき、位置特定部１２２は、入力された走行情報に対応する表示位置情報として左前方１５°、車両先頭から３０ｍの位置を表す情報を記憶部から読み出す。同図において破線で示された円７５は、読み出された表示位置情報が表す表示位置を中心とする円である。
このようにして、位置特定部１２２は、入力された運転状況情報に対応した表示位置情報を特定する。

なお、位置特定部１２２は、走行情報に含まれる周囲地図情報において、特定した表示位置情報が表す位置が道路であるか否かを判断するようにしてもよい。位置特定部１２２は、特定した表示位置情報が表す位置が道路であると判断した場合、その表示位置情報を有効な表示位置情報と判断し、その表示位置情報を画像合成部１２３に出力する。他方、位置特定部１２２は、特定した表示位置情報が表す位置が道路でないと判断した場合、その表示位置情報を無効な表示位置情報と判断し、その表示位置情報を画像合成部１２３に出力しない。これにより、車両３が進行する可能性がない場所が表示位置情報として特定されないため、運転者に対して無用に注意を喚起することが回避される。

次に画像合成部１２３が行う処理について説明する。
画像合成部１２３は、距離情報算出部１２１から被写体情報と被写体毎の距離情報が入力され、位置特定部１２２から表示位置情報が入力される。画像合成部１２３は、入力された表示位置情報が表す表示位置（世界座標系）を撮影装置１１Ｌ−１等の画像座標系に座標変換して変換表示位置情報を生成する。この座標変換は、撮影装置１１Ｌ−１等の車両３上の設置位置及び光学系の特性パラメータ（例えば、焦点距離ｆ、画素ピッチｐ、光軸の方向、視野角）によって一意に定まる。

画像合成部１２３は、入力された被写体情報が表す被写体の画像から、生成した変換表示位置情報が表す座標を占める画像を選択する。画像合成部１２３は、選択した画像から、その画像の被写体に係る距離情報が表す距離が、入力された表示位置情報が表す距離から予め設定された範囲内（例えば、２ｍ以内）にある画像を絞り込んで選択する。
画像合成部１２３は、選択した被写体の画像を他の部分の画像よりも強調されるように入力された画像信号と合成して合成画像信号を生成する。例えば、画像合成部１２３は、選択した被写体の画像の輝度を予め設定した輝度値だけ増加させてもよいし、他の部分の画像の輝度を予め設定した輝度値だけ減少させてもよい。画像合成部１２３は、選択した被写体の画像の特定の色成分（例えば、赤色Ｒ）の輝度値と、他の部分の画像の当該色成分の輝度値の差分が、予め設定した値よりも大きくなるように当該色成分値を変更してもよい。画像合成部１２３は、生成した合成画像信号が表す画像を画像表示部１２４に出力する。

次に画像合成部１２３が生成した合成画像信号の一例について説明する。
図１２は、本実施形態に係る画像合成部１２３が生成した合成画像信号の一例６３を表す概念図である。
図１２において、合成画像信号６３は、画像合成部１２３が選択した物体５２を被写体として表す画像が他の物体５３、５４を被写体として表す画像よりも高い輝度値で強調して表示する画像信号である。物体５２を囲む破線の楕円７３は、図９が表す表示位置情報が表す位置を囲む円７３に相当する部分を示す。図９に示されるように、物体５２は、表示位置情報が表す位置から予め定めた範囲内にあり、物体５３、５４はその範囲外にある。そのため、図９に示す運転状況の下で、本実施形態では物体５２を表す画像を強調して表示することによって、運転者に対して物体５２に対する注意が喚起される。また、画像合成部１２３は、被写体を選択する際に距離情報も考慮することによって、撮影された被写体を表す画像から運転状況によって運転者に対して注意を喚起すべき距離にある被写体を表す画像を選択することができる。

なお、位置特定部１２２が備える記憶部に記憶させておく運転状況情報と表示位置情報は上述に限らない。この記憶部には運転状況情報に含まれる移動速度情報や運転操作情報に含まれる方向操作部の操作量（ステアリング角度）に対応付けて各々異なる表示位置情報を記憶させておいてもよい。例えば、車両３の移動速度が高くなるほど、長い距離を表したり、操作量が大きくなるほど、大きい左右方向への方位角を表す表示位置情報を記憶させておいてもよい。また、位置特定部１２２は、予め定めた関数に基づき移動速度情報や運転操作情報に基づいて表示位置情報を算出するようにしてもよい。

なお、上述では距離情報算出部１２１は、撮影装置１１Ｌ−１等から入力された画像信号間の視差に基づいて当該画像信号が表す被写体の距離情報を算出することを前提としていた。本実施形態では、これには限られない。本実施形態では、当該画像信号が表す被写体のうち、少なくとも一部の被写体までの距離情報を別途の距離情報取得部（例えば、測距センサ、図示せず）が取得するようにしてもよい。その場合、画像合成部１２３は当該距離情報取得部から入力された当該被写体の距離情報を、距離情報算出部１２１が算出した距離情報の代わりに、その被写体を表す画像信号を選択するために用いてもよい。

以上に説明したように、本実施形態では、互いに視野が異なる画像を表わす画像信号が表す被写体までの距離情報を算出し、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定し、前記画像信号が表す被写体のうち、前記特定した位置にある被写体を表す画像を選択する。そのため、運転状況に応じて運転者が注意すべき位置にある被写体が強調されて表示されるため、その被写体に対する注意が喚起され運転の安全を図ることができる

なお、上述した実施形態における画像表示装置２の一部、例えば、距離情報算出部１２１、位置特定部１２２、及び画像表示部１２４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像表示装置２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像表示装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像表示装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…画像表示システム、 １２…画像表示装置、
１１Ｌ、１１Ｒ…ステレオ撮影部、
１１Ｌ−１、１１Ｌ−２、１１Ｒ−１、１１Ｒ−２…撮影装置、
１２１…距離情報算出部（距離情報取得部）、 １３…運転状況情報生成部、
１３１…走行情報生成部、 １３２…運転操作情報生成部、 １３２−１…加速操作部、
１３２−２…方向操作部、 １３２−３…指示操作部、 １３２−４…変速操作部、
１２２…位置特定部、 １２３…画像合成部、 １２４…画像表示部

Claims (9)

1. 画像を撮影する撮影装置と、
   前記撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する距離情報取得部と、
   車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する位置特定部と、
   前記画像信号が表す被写体のうち、前記位置特定部が特定した位置にある被写体を表す画像を選択する画像合成部とを、
   備えることを特徴とする画像表示システム。
2. 前記位置特定部は、前記車両の走行状況を表す走行情報と前記車両を運転するための操作を表す運転操作情報とを含む前記運転状況情報に基づいて前記位置情報を特定することを特徴とする請求項１に記載の画像表示システム。
3. 前記撮影装置を複数個備え、複数の前記撮影装置のうち少なくとも２つは、前記車両の左側面又は右側面において予め定められた間隔で垂直方向に配置されていることを特徴とする請求項１に記載の画像表示システム。
4. 前記撮影装置のうち少なくとも２つはそれぞれ、前記車両の左側面及び右側面において共通の間隔で垂直方向に配置されていることを特徴とする請求項３に記載の画像表示システム。
5. 前記撮影装置のうち少なくとも２つが配置される位置における前記車両の前後方向の座標は、前記車両の先頭及び最後尾の中間であることを特徴とする請求項３又は４に記載の画像表示システム。
6. 前記距離情報取得部は、前記被写体を表す画像間の垂直方向の視差に基づいて前記距離情報を算出することを特徴とする請求項３ないし５のうちいずれか１項に記載の画像表示システム。
7. 画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する距離情報取得部と、
   車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する位置特定部と、
   前記画像信号が表す被写体のうち、前記位置特定部が特定した位置にある被写体を表す画像を選択する画像合成部とを、
   備えることを特徴とする画像表示装置。
8. 画像表示装置における画像表示方法において、
   前記画像表示装置が、画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する過程と、
   前記画像表示装置が、車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する過程と、
   前記画像表示装置が、前記画像信号が表す被写体のうち、前記特定した位置にある被写体を表す画像を選択する過程とを、
   有することを特徴とする画像表示方法。
9. 画像表示装置のコンピュータに、
   画像を撮影する撮影装置から各々入力された画像信号が表す被写体までの距離情報を取得する手順、
   車両の運転状況を表す運転状況情報に基づいて車両の予想位置を表す位置情報を特定する手順、
   前記画像信号が表す被写体のうち、前記特定した位置にある被写体を表す画像を選択する手順
   を実行させるための画像表示プログラム。

Images