JP6385621B2 - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Description

この発明は、移動体の周辺の対象物を移動体の周辺の風景に重畳させて表示させる技術に関する。

カメラによって車両前方が撮像された画像である風景に、その風景内にあたかも存在するかのようにナビゲーションデータをＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）コンテンツとして重畳させて表示する技術がある。特許文献１，２には、この技術について記載されている。

特許文献１では、風景と、重畳させるＣＧコンテンツとの２つの奥行きを比較する。そして、特許文献１では、ＣＧコンテンツが風景の奥側にあると判断された場合には該当部分のコンテンツを非表示にし、ＣＧコンテンツが風景の手前側にあると判断された場合は該当部分のコンテンツを表示する。これにより、風景とコンテンツの遮蔽関係を現実と一致させ、より現実感を高めている。

特許文献２では、車載センサにより得られた前方車両等の周辺物についても、特許文献１と同様の手法で表示している。

国際公開２０１３／１１１３０２号 特開２０１２―２０８１１１号公報

特許文献１，２では、現実に即した位置関係に従いＣＧコンテンツが表示される。そのため、目的地マーク及びガソリンスタンドマークといった運転手が見たい情報と、道路上の障害物及び前方車両といった運転手が見るべき情報とを表したＣＧコンテンツが見にくくなる場合があった。その結果、運転手がこれらの情報を見落としてしまう場合があった。
この発明は、現実感を保ちつつ、必要な情報を見やすくすることを目的とする。

この発明に係る画像表示装置は、
移動体の周辺の対象物の情報を取得する情報取得部と、
前記情報取得部によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、
前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御部と
を備える。

この発明では、対象物の重要度に応じて遮蔽の有無を切り替えることにより、現実感を保ちつつ、必要な情報を見やすくすることができる。

実施の形態１に係る画像表示装置１０の構成図。 実施の形態１に係る画像表示装置１０の全体的な処理を示すフローチャート。 実施の形態１に係る移動体１００の周辺の状況を示す図。 実施の形態１に係る移動体１００の前方の画像を示す図。 実施の形態１に係る深度マップを示す図。 実施の形態１に係るステップＳ３の正規化処理を示すフローチャート。 実施の形態１に係る移動体１００の周辺の対象物を示す図。 実施の形態１に係るステップＳ４のナビゲーションデータ取得処理を示すフローチャート。 実施の形態１に係るステップＳ６のモデル生成処理を示すフローチャート。 実施の形態１に係る周辺データに対応する３Ｄモデルの説明図。 実施の形態１に係るナビゲーションデータ４１に対応する３Ｄモデルの説明図。 実施の形態１に係る移動体１００の周辺の対象物に対応する３Ｄモデルを示す図。 実施の形態１に係るステップＳ８の遮蔽判定処理を示すフローチャート。 実施の形態１に係るステップＳ９のモデル描画処理を示すフローチャート。 実施の形態１に係るステップＳ９５終了時点における画像を示す図。 実施の形態１に係るステップＳ９８終了時点における画像を示す図。 変形例１に係る画像表示装置１０の構成図。 実施の形態２に係るステップＳ８の遮蔽判定処理を示すフローチャート。 実施の形態２に係るステップＳ９５終了時点における画像を示す図。 実施の形態２に係るステップＳ９８終了時点における画像を示す図。 実施の形態２に係る目的地が近い場合の説明図。 実施の形態２に係る目的地が近い場合のステップＳ９８時点における画像を示す図。 実施の形態３に係る画像表示装置１０の構成図。 実施の形態３に係る画像表示装置１０の全体的な処理を示すフローチャート。 実施の形態３に係るステップＳ８Ｃの遮蔽判定処理を示すフローチャート。 実施の形態３に係るステップＳ９５終了時点における画像を示す図。 実施の形態３に係るステップＳ９８終了時点における画像を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像表示装置１０の構成を説明する。
図１では、画像表示装置１０が移動体１００に搭載された状態が示されている。移動体１００は、具体例としては、車両、船舶、歩行者である。実施の形態１では、移動体１００は、車両である。

画像表示装置１０は、移動体１００に搭載されるコンピュータである。
画像表示装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、画像インタフェース１４と、通信インタフェース１５と、表示インタフェース１６とのハードウェアを備える。プロセッサ１１は、システムバスを介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、プロセッサ１１によってデータ、情報、プログラムが一時的に記憶される作業領域である。メモリ１２は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、具体例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。

画像インタフェース１４は、移動体１００に搭載された撮像装置３１を接続するための装置である。画像インタフェース１４は、具体例としては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）の端子である。
移動体１００には、移動体１００の周辺の画像を撮像する複数の撮像装置３１が搭載されている。実施の形態１では、移動体１００の前方に、移動体１００の前方の画像を撮像する２台の撮像装置３１が、数十センチメートル離れて搭載されている。撮像装置３１は、具体例としては、デジタルカメラである。

通信インタフェース１５は、移動体１００に搭載されたＥＣＵ３２（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を接続するための装置である。通信インタフェース１５は、具体例としては、Ｅｔｈｅｒｎｅｔ、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４の端子である。
ＥＣＵ３２は、移動体１００に搭載されたレーザセンサ、ミリ波レーダ、ソナーといったセンサにより検出された移動体１００の周辺の対象物の情報を取得する装置である。また、ＥＣＵ３２は、移動体１００に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、方位センサ、速度センサ、加速度センサ及び地磁気センサといったセンサで検出された情報を取得する装置である。

表示インタフェース１６は、移動体１００に搭載されたディスプレイ３３を接続するための装置である。表示インタフェース１６は、具体例としては、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、Ｄ−ＳＵＢ（Ｄ−ＳＵＢｍｉｎｉａｔｕｒｅ）、ＨＤＭＩ（登録商標）の端子である。
ディスプレイ３３は、移動体１００の周辺の風景に、ＣＧコンテンツを重畳させて表示する装置である。ディスプレイ３３は、具体例としては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ヘッドアップディスプレイである。
ここでいう風景は、カメラによって取得された画像と、コンピュータグラフィックによって作成された３次元地図と、ヘッドアップディスプレイ等を介して見える実物とのいずれかである。実施の形態１では、風景は、撮像装置３１によって取得された移動体１００の前方の画像とする。

画像表示装置１０は、機能構成要素として、深度マップ生成部２１と、深度正規化部２２と、対象情報取得部２３と、モデル生成部２４と、状況取得部２５と、遮蔽判定部２６と、表示制御部２７とを備える。深度マップ生成部２１と、深度正規化部２２と、対象情報取得部２３と、モデル生成部２４と、状況取得部２５と、遮蔽判定部２６と、表示制御部２７との各部の機能は、ソフトウェアにより実現される。
ストレージ１３には、各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。

また、ストレージ１３には、ナビゲーションデータ４１と、描画パラメータ４２とが記憶されている。ナビゲーションデータ４１は、ガソリンスタンド、薬局といったナビゲーション対象の対象物を案内するためのデータである。描画パラメータ４２は、グラフィックスでの描画範囲の手前側限界距離である最近面距離と、奥側限界距離である最遠面距離と、撮像装置３１の水平方向視野角と、撮像装置３１によって撮像された画像のアスペクト比（横／縦）とを示すデータである。

画像表示装置１０の各部の機能の処理の結果を示す情報とデータと信号値と変数値とは、メモリ１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、画像表示装置１０の各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２に記憶されるものとする。

図１では、プロセッサ１１は、１つだけ示されている。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図１４を参照して、実施の形態１に係る画像表示装置１０の動作を説明する。
実施の形態１に係る画像表示装置１０の動作は、実施の形態１に係る画像表示方法に相当する。また、実施の形態１に係る画像表示装置１０の動作は、実施の形態１に係る画像表示プログラムの処理に相当する。

（図２のステップＳ１：画像取得処理）
深度マップ生成部２１は、撮像装置３１によって撮像された移動体１００の前方の画像を、画像インタフェース１４を介して取得する。深度マップ生成部２１は、取得された画像をメモリ１２に書き込む。
実施の形態１では、撮像装置３１として、２台のデジタルカメラが移動体１００の前方に数十センチメートル離れて搭載されている。図３に示すように、移動体１００の前方に周辺車両Ｌ，Ｍ，Ｎが存在し、道路脇に複数の建物が存在するとする。すると、図４に示すように、移動体１００の前方をステレオカメラで撮像した画像が得られる。ここで、撮像装置３１で撮像される範囲を示す撮像可能距離は、図３に示すように、撮像装置３１の光軸方向の撮影可能な最大の距離である。

（図２のステップＳ２：マップ生成処理）
深度マップ生成部２１は、ステップＳ１で取得された画像のピクセル毎に、撮像装置３１から被写体までの距離を示す深度マップを生成する。深度マップ生成部２１は、生成された深度マップをメモリ１２に書き込む。
実施の形態１では、深度マップ生成部２１は、ステレオ法により深度マップを生成する。具体的には、深度マップ生成部２１は、２つのカメラで撮像された画像における同一物体を写した画素を見つけ、三角測量により見つけられた画素の距離を求める。深度マップ生成部２１は、全画素に対して距離を計算することにより、深度マップを生成する。図４に示す画像から生成された深度マップは、図５に示すようになり、各画素はカメラから被写体までの距離を示す。図５では、カメラに近いほど値が小さく、遠いほど値が大きいため、手前側ほど密度の高いハッチングで表現され、奥側ほど密度の低いハッチングで表現されている。

（図２のステップＳ３：正規化処理）
深度正規化部２２は、ステップＳ２で生成された深度マップの距離である実世界における計算された距離を、ストレージ１３に記憶された描画パラメータ４２を用いて３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）グラフィックスで描画するための距離に変換する。これにより、深度正規化部２２は、正規化された深度マップを生成する。深度正規化部２２は、正規化された深度マップをメモリ１２に書き込む。

図６を参照して具体的に説明する。
まず、ステップＳ３１で深度正規化部２２は、描画パラメータ４２を取得して、最近面距離と最遠面距離とを特定する。次に、深度正規化部２２は、ステップＳ２で生成された深度マップの各ピクセルを対象ピクセルとして、ステップＳ３２からステップＳ３６の処理を実行する。
ステップＳ３２で深度正規化部２２は、対象ピクセルの距離から最近面距離を減じた値を、最遠面距離から最近面距離を減じた値で除して、対象ピクセルについての正規化後の距離を計算する。ステップＳ３３からステップＳ３６で深度正規化部２２は、ステップＳ３２で計算された正規化後の距離が０より小さい場合には、対象ピクセルについての距離を０に設定し、ステップＳ３２で計算された正規化後の距離が１より大きい場合には、対象ピクセルについての距離を１に設定し、他の場合には対象ピクセルについての距離をステップＳ３２で計算された距離に設定する。
これにより、深度正規化部２２は、対象ピクセルについての距離を、最近面距離と最遠面距離とに対する内分比として表し、０〜１の範囲に線形補間した値に変換する。

（図２のステップＳ４：ナビゲーションデータ取得処理）
対象情報取得部２３は、ストレージ１３に記憶された、移動体１００の周辺に存在す対象物についての情報であるナビゲーションデータ４１を読み出して取得する。対象情報取得部２３は、取得されたナビゲーションデータ４１の位置を絶対座標系である地球座標系から、撮像装置３１を基準とした相対座標系に変換する。そして、対象情報取得部２３は、取得されたナビゲーションデータ４１を、変換された位置とともにメモリ１２に書き込む。
図３の場合には、例えば図７に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ４１が取得される。図７では、ガソリンスタンドは、撮像装置３１の撮像可能距離内の場所にあり、目的地は撮像装置３１から撮像可能距離以上に離れた場所にある。
図７に示すように、ナビゲーションデータ４１は、地球座標系で表された対象物についての３Ｄモデルの表示領域の４端点の位置を含む。地球座標系とはメルカトル図法において経度方向にＸ軸、緯度方向にＺ軸、標高方向にＹ軸を取り原点をグリニッジ天文台とし、単位はメートル系の座標系である。これに対して、相対座標系は、撮像装置３１の右方向にＸ軸、光軸方向にＺ軸、上方向にＹ軸を取り原点を撮像装置３１の位置とし、単位がメートル系の座標系である。

図８を参照して具体的に説明する。
ステップＳ４１で対象情報取得部２３は、ＥＣＵ３２から通信インタフェース１５を介して撮像装置３１の地球座標系における位置と、撮像装置３１の地球座標系における光軸方向とを取得する。
撮像装置３１の地球座標系における位置及び光軸方向は、ＧＰＳセンサ、方位センサ、加速度センサ、地磁気センサといったセンサを用いたデッドレコニング法により特定できる。これにより、撮像装置３１の地球座標系における位置は、地球座標系のＸ値（ＣａｒＸ）、Ｙ値（ＣａｒＹ）、Ｚ値（ＣａｒＺ）として取得できる。また、撮像装置３１の地球座標系における光軸方向は、地球座標系から相対座標系へ変換するための３×３の回転行列として取得できる。

ステップＳ４２で対象情報取得部２３は、移動体１００の周辺に存在す対象物についてのナビゲーションデータ４１を取得する。具体的には、対象情報取得部２３は、ステップＳ４１で取得された位置の半径数百メートル以内に存在する対象物についてのナビゲーションデータ４１を収集する。より詳細には、ナビゲーションデータ４１の地球座標系での存在位置と取得半径とが“（ＮａｖｉＸ−ＣａｒＸ）^２＋（ＮａｖｉＺ−ＣａｒＺ）^２≦Ｒ^２”の関係を満たすナビゲーションデータ４１のみを収集すればよい。ここで、ＮａｖｉＸ及びＮａｖｉＺはナビゲーションデータの地球座標系における位置のＸ値及びＺ値であり、Ｒは取得半径である。取得半径Ｒは、任意に設定される。

対象情報取得部２３は、ステップＳ４２で取得された各ナビゲーションデータ４１を対象データとして、ステップＳ４３を実行する。ステップＳ４３では、対象情報取得部２３は、数１を計算することにより、ナビゲーションデータ４１の地球座標系における位置を、相対座標系における位置に変換する。

ここで、ＮａｖｉＹは、ナビゲーションデータ４１の地球座標系における位置のＹ値である。Ｍａｔ_ＣａｒＲは、ステップＳ４１で取得された撮像装置３１の地球座標系における光軸方向を示す回転行列である。ＮａｖｉＸ＿ｒｅｌ、ＮａｖｉＹ＿ｒｅｌ及びＮａｖｉＺ＿ｒｅｌは、ナビゲーションデータ４１の相対座標系における位置のＸ値、Ｙ値及びＺ値である。

（図２のステップＳ５：周辺データ取得処理）
対象情報取得部２３は、ＥＣＵ３２から通信インタフェース１５を介して、移動体１００の周辺に存在する対象物についての情報である周辺データを取得する。対象情報取得部２３は、取得された周辺データをメモリ１２に書き込む。
周辺データは、レーザセンサ、ミリ波レーダ、ソナーといったセンサによって検出されたセンサ値を用いて対象物を認識することにより得られるセンサデータである。周辺データは、対象物について、高さ及び幅を示す大きさと、相対座標系における位置と、移動速度と、車・人・建物といった種別とを示す。
図３の場合には、図７に示すように、周辺車両Ｍ〜Ｌの対象物についての周辺データが取得される。図７に示すように、周辺データが示す位置は、対象物の移動体１００側の面における下辺の中心位置である。

（図２のステップＳ６：モデル生成処理）
モデル生成部２４は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出し、読み出されたナビゲーションデータ４１及び周辺データについての３Ｄモデルを生成する。モデル生成部２４は、生成された３Ｄモデルをメモリ１２に書き込む。
３Ｄモデルは、ナビゲーションデータ４１の場合には、ナビゲーションデータ４１を表す板状のＣＧコンテンツであり、周辺データの場合には、対象物の移動体１００側の面の周辺を囲む枠状のＣＧコンテンツである。

図９を参照して具体的に説明する。
ステップＳ６１でモデル生成部２４は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出す。
モデル生成部２４は、読み出されたナビゲーションデータ４１及び周辺データそれぞれを対象データとして、ステップＳ６２からステップＳ６５の処理を実行する。ステップＳ６２でモデル生成部２４は、対象データが周辺データかナビゲーションデータ４１かを判定する。
対象データが周辺データの場合には、ステップＳ６３でモデル生成部２４は、周辺データに含まれる対象物の位置と対象物の幅及び高さとを用いて、図１０に示すように、対象物の移動体１００側の面の周辺を囲む枠を構成する三角形の集合を示す頂点列Ｐ［０］〜Ｐ［９］を設定する。ここで、頂点Ｐ［０］と頂点Ｐ［８］、及び、頂点Ｐ［１］と頂点Ｐ［９］は、同じ位置を示す。なお、頂点Ｐ［０］と頂点Ｐ［１］との間の距離によって特定される枠の厚みは、任意に設定される。また、全頂点に対し、前後方向の値であるＺ値は、対象物の位置のＺ値が設定される。
対象データがナビゲーションデータ４１の場合には、ステップＳ６４でモデル生成部２４は、ナビゲーションデータ４１の表示領域についての相対座標系における４端点の位置を、図１１に示すように頂点列Ｐ［０］〜Ｐ［３］に設定する。そして、ステップＳ６５でモデル生成部２４は、頂点列Ｐ［０］〜Ｐ［３］で囲まれた範囲にナビゲーションデータ４１を表すテクスチャをマッピングするテクスチャ座標を設定する。具体例としては、頂点列Ｐ［０］〜Ｐ［３］で囲まれた範囲の左上、右上、左下、右下に対応するテクスチャ座標として、与えられたテクスチャ全体をマッピングすることを表す（０，０）、（１，０）、（０，１）、（１，１）が設定される。
図３の場合には、図１２に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ４１に対して、モデルＡとモデルＢとの３Ｄモデルが生成される。また、周辺車両Ｍ〜Ｌについての周辺データに対して、モデルＣ〜モデルＥの３Ｄモデルが生成される。

（図２のステップＳ７：状況取得処理）
状況取得部２５は、ＥＣＵ３２から通信インタフェース１５を介して、移動体１００の運転状況に関する情報を取得する。実施の形態１では、状況取得部２５は、状況に関する情報として、移動体１００からステップＳ５で取得された周辺データに対応する対象物までの距離である相対距離と、ステップＳ５で取得された周辺データに対応する対象物が移動体１００に近づく速度である相対速度とを取得する。相対距離は、移動体１００の位置と対象物の位置とから計算可能である。相対速度は、移動体１００と対象物との相対的な位置の変化から計算可能である。

（図２のステップＳ８：遮蔽判定処理）
遮蔽判定部２６は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。遮蔽判定部２６は、重要度が閾値よりも高い場合には、優先的に３Ｄモデルを表示させるために、その対象物について遮蔽不可と判定し、そうでない場合には、現実に即して３Ｄモデルを表示させるために、その対象物について遮蔽可と判定する。

図１３を参照して具体的に説明する。
実施の形態１では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体も遮蔽可否の判定の対象としてもよい。
ステップＳ８１では、遮蔽判定部２６は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出す。
モデル生成部２４は、読み出されたナビゲーションデータ４１及び周辺データそれぞれを対象データとして、ステップＳ８２からステップＳ８７の処理を実行する。ステップＳ８２では、モデル生成部２４は、対象データがナビゲーションデータ４１か周辺データかを判定する。
ステップＳ８３で遮蔽判定部２６は、対象データが周辺データの場合には、対象データに対応する対象物の種別が車両であるか否かを判定する。対象物の種別が車両である場合には、ステップＳ８４で遮蔽判定部２６は、ステップＳ７で取得された相対速度及び相対距離から重要度を計算する。そして、ステップＳ８５からステップＳ８７で遮蔽判定部２６は、重要度が閾値よりも高い場合には、遮蔽不可と設定し、そうでない場合には、遮蔽可と設定する。
一方、対象データがナビゲーションデータ４１の場合と、対象物の種別が車両でない場合とには、遮蔽判定部２６は、遮蔽可と設定する。

ステップＳ８４では、遮蔽判定部２６は、相対距離が近いほど高く、相対速度が速いほど高くなるように重要度を計算する。そのため、重要度は、移動体１００と対象物である車両とが衝突する可能性が高いほど高くなる。
具体例として、遮蔽判定部２６は、数２により、重要度を計算する。

ここで、Ｃ_{ｖｅｈｉｃｌｅ}は、重要度である。Ｌｅｎは、移動体１００から対象物までの相対距離である。ｋ_{ｓａｆｅｌｅｎ}は、事前に定められた安全距離係数である。ｗ_ｌｅｎは、事前に定められた距離コスト係数である。Ｓｐｄは、相対速度であり、対象物が移動体１００に近づく方向に正の値を取り、離れる方向に負の値を取る。ｗ_ｓｐｄは、事前に定められた相対速度コスト係数である。

（図２のステップＳ９：モデル描画処理）
表示制御部２７は、ステップＳ１で取得された画像をメモリ１２から読み出し、読み出された画像に、ステップＳ６で生成された３Ｄモデルをレンダリングして、表示画像を生成する。そして、表示制御部２７は、生成された表示画像を表示インタフェース１６を介してディスプレイ３３に送信して、ディスプレイ３３に表示させる。
この際、表示制御部２７は、遮蔽判定部２６によって遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データである３Ｄモデルを画像にレンダリングする。
一方、表示制御部２７は、遮蔽判定部２６によって遮蔽可と判定された対象物については、対象物の位置に応じて、対象物を示す画像データである３Ｄモデルをレンダリングするか否かを決定する。つまり、表示制御部２７は、遮蔽可と判定された対象物については、他の物体の後にあり、他の物体により遮蔽される場合にはレンダリングせず、他の物体の前にあり、他の物体により遮蔽されない場合にはレンダリングする。なお、一部だけ他の物体により遮蔽される場合には、表示制御部２７は、遮蔽されない部分だけをレンダリングする。

図１４を参照して具体的に説明する。
ステップＳ９１で表示制御部２７は、画像をメモリ１２から読み出す。ここでは、図４に示す画像が読み出される。
次に、ステップＳ９２で表示制御部２７は、描画パラメータ４２を用いて、３Ｄ空間を２次元の画像空間へ投影する変換行列である射影行列を計算する。具体的には、表示制御部２７は、数３により、射影行列を計算する。

ここで、Ｍａｔ_ｐｒｏｊは、射影行列である。ａｓｐｅｃｔは、画像のアスペクト比である。Ｚ_ｎｅａｒは、最近面距離である。Ｚ_ｆａｒは、最遠面距離である。

次に、ステップＳ９３で表示制御部２７は、遮蔽可と判定された対象物について、ステップＳ６で生成された３Ｄモデルを収集する。そして、表示制御部２７は、収集された各３Ｄモデルを対象モデルとして、ステップＳ９４からステップＳ９５の処理を実行する。
ステップＳ９４で表示制御部２７は、深度テストを有効化し、深度テストを実行する。深度テストは、対象モデルを射影変換した後の距離と、ステップＳ２で生成された正規化された深度マップにおける距離とをピクセル単位で比較し、深度マップにおける距離よりも対象モデルを射影変換した後の距離が近いピクセルを特定する処理である。なお、深度テストは、ＧＰＵ等でサポートされている機能であり、グラフィックスライブラリであるＯｐｅｎＧＬやＤｉｒｅｃｔＸを使用することで利用できる。対象モデルは、数４により射影変換される。

ここで、ＰｉｃＸ及びＰｉｃＹは、書き込み先のピクセルのＸ値及びＹ値である。ｗｉｄｔｈ及びｈｅｉｇｈｔは、画像の幅及び高さである。ＭｏｄｅｌＸ、ＭｏｄｅｌＹ及びＭｏｄｅｌＺは、対象モデルを構成する頂点座標のＸ値、Ｙ値及びＺ値である。
そして、ステップＳ９５で表示制御部２７は、数４により対象モデルを変換した上で、ステップＳ９１で読み出された画像における深度テストで特定されたピクセルについて、対象モデルの色で色付けすることによりレンダリングする。

次に、ステップＳ９６で表示制御部２７は、遮蔽不可と判定された対象物について、ステップＳ６で生成された３Ｄモデルを収集する。そして、表示制御部２７は、収集された各３Ｄモデルを対象モデルとして、ステップＳ９７からステップＳ９８の処理を実行する。
ステップＳ９７で表示制御部２７は、深度テストを無効化し、深度テストを実行しない。そして、ステップＳ９８で表示制御部２７は、数４により対象モデルを変換した上で、ステップＳ９１で読み出された画像における対象モデルが示す全てのピクセルについて、対象モデルの色で色付けすることによりレンダリングする。

図１２において、対象物である目的地とガソリンスタンドと周辺車両Ｍ〜Ｌとのうち、周辺車両Ｌについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＡ，Ｂ，Ｃ，Ｅは遮蔽可であり、３ＤモデルＤは遮蔽不可であるとする。
この場合、ステップＳ９５の処理が終わった時点で、図１５に示すように、３ＤモデルＡ，Ｂ，Ｃ，Ｅがレンダリングされる。但し、３ＤモデルＡ，Ｂは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップＳ９８の処理が終わった時点で、図１６に示すように、３ＤモデルＤがレンダリングされる。３ＤモデルＤは、３ＤモデルＥの後にあるが、遮蔽不可であるため位置に関係なく全体がレンダリングされている。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像表示装置１０は、対象物の重要度に応じて遮蔽の有無を切り替える。これにより、現実感を保ちつつ、必要な情報を見やすくすることができる。
つまり、実施の形態１に係る画像表示装置１０は、重要度が高い対象物については、対象物の位置に関係なく風景に重畳させて表示するため、必要な情報が見やすくなる。一方、重要度が高くない対象物については、対象物の位置に応じ、現実に即して表示するか否かを決定するため、現実感が保たれる。

特に、実施の形態１に係る画像表示装置１０は、対象物が移動する物体である場合に、移動体１００から対象物までの距離である相対距離と、対象物が移動体１００に近づく速度である相対速度とから重要度を計算する。これにより、移動体１００に衝突する危険性の高い移動体が見落とされにくい状態で表示される。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、画像表示装置１０の各部の機能がソフトウェアで実現された。変形例１として、画像表示装置１０の各部の機能はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図１７を参照して、変形例１に係る画像表示装置１０の構成を説明する。
各部の機能がハードウェアで実現される場合、画像表示装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、処理回路１７を備える。処理回路１７は、画像表示装置１０の各部の機能と、メモリ１２及びストレージ１３の機能とを実現する専用の電子回路である。

処理回路１７は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各部の機能を１つの処理回路１７で実現してもよいし、各部の機能を複数の処理回路１７に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、画像表示装置１０の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と処理回路１７とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。

実施の形態２．
実施の形態２は、目的地といったランドマークが近い場合に、そのランドマークを遮蔽なしで表示する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明する。
実施の形態２では、具体例として種別が目的地である対象物についてのみ遮蔽可否を判定する場合を説明する。しかし、目的地に限らず、運転手等によって指定された他のランドマークも遮蔽可否の判定の対象としてもよい。

＊＊＊動作の説明＊＊＊
図２と図１２と図１４と図１８から図２０とを参照して、実施の形態２に係る画像表示装置１０の動作を説明する。
実施の形態２に係る画像表示装置１０の動作は、実施の形態２に係る画像表示方法に相当する。また、実施の形態２に係る画像表示装置１０の動作は、実施の形態２に係る画像表示プログラムの処理に相当する。

実施の形態２に係る画像表示装置１０の動作は、図２のステップ７の状況取得処理と、ステップＳ８の遮蔽判定処理とが実施の形態１に係る画像表示装置１０の動作と異なる。

（図２のステップＳ７：状況取得処理）
実施の形態２では、状況取得部２５は、運転状況に関する情報として、移動体１００から目的地までの距離である相対距離を取得する。

（図２のステップＳ８：遮蔽判定処理）
遮蔽判定部２６は、実施の形態１と同様に、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態１と異なる。

図１８を参照して具体的に説明する。
実施の形態２では、種別が目的地である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。
ステップＳ８１からステップＳ８２の処理と、ステップＳ８５からステップＳ８７の処理とは、実施の形態１と同じである。
ステップＳ８３Ｂで遮蔽判定部２６は、対象データがナビゲーションデータ４１の場合には、対象データに対応する対象物の種別が目的地であるか否かを判定する。対象物の種別が目的地である場合には、ステップＳ８４Ｂで遮蔽判定部２６は、ステップＳ７で取得された相対距離から重要度を計算する。

ステップＳ８４Ｂで遮蔽判定部２６は、相対距離が遠いほど高くなるように重要度を計算する。
具体例として、遮蔽判定部２６は、数５により、重要度を計算する。

ここで、Ｃ_{ＤｅｓｔＬｅｎ}は、重要度である。ＤｅｓｔＰｏｓは、撮像装置３１の地球座標系における位置である。ＣａｍＰｏｓは、目的地の地球座標系における位置である。ＣａｐＭａｘＬｅｎは、撮像可能距離である。Ｃ_{ｔｈｒｅｓ}は、閾値よりも大きい値である。Ｃ_{ＤｅｓｔＬｅｎ}は、撮像装置３１と目的地との間の距離ＤｅｓｔＬｅｎが撮像可能距離よりも長ければＣ_{ｔｈｒｅｓ}となり、短ければ０になる。つまり、数５により計算された重要度Ｃ_{ＤｅｓｔＬｅｎ}は、撮像装置３１と目的地との間の距離ＤｅｓｔＬｅｎが撮像可能距離よりも長ければ閾値より大きい値になり、短ければ閾値以下の値になる。

図１２において、対象物である目的地とガソリンスタンドと周辺車両Ｍ〜Ｌとのうち、目的地については遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＢ，Ｃ，Ｄ，Ｅは遮蔽可であり、３ＤモデルＡは遮蔽不可であるとする。
この場合、図１４のステップＳ９５の処理が終わった時点で、図１９に示すように、３ＤモデルＢ，Ｃ，Ｄ，Ｅがレンダリングされる。但し、３ＤモデルＢは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、図１４のステップＳ９８の処理が終わった時点で、図２０に示すように、３ＤモデルＡがレンダリングされる。３ＤモデルＡは、建物の後にあるが、遮蔽不可であるため位置に関係なくレンダリングされている。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像表示装置１０は、対象物が目的地といったランドマークである場合に、移動体１００から対象物までの距離から重要度を計算する。これにより、目的地が遠い場合には、目的地が建物等により遮蔽されていても目的地を表す３Ｄモデルが表示されるため、目的地の方向が把握し易くなる。

なお、図２１に示すように、目的地が近く、撮像可能距離以内にある場合には、目的地に対応する３ＤモデルＡは、隠蔽可と判定される。その結果、図２２に示すように、３ＤモデルＡは、一部が手前の建物Ｃによって隠蔽された状態で表示される。これにより、目的地が近い場合は、目的地と建物等との位置関係が分かり易くなる。
つまり、目的地が遠い場合には、近くにある建物等との位置関係はあまり重要ではない。そのため、目的地に対応する３Ｄモデルを遮蔽せずに表示することにより、目的地の方向が分かり易くなる。一方、目的地が近い場合には、近くにある建物等との位置関係は重要である。そのため、目的地に対応する３Ｄモデルを遮蔽ありで表示することにより、建物等との位置関係が分かり易くなる。

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態１では、車両といった移動体について遮蔽可否を判定し、実施の形態２では、目的地といったランドマークについて遮蔽可否を判定した。変形例３として、実施の形態１で行った遮蔽可否の判定と実施の形態２で行った遮蔽可否の判定との両方を行ってもよい。

実施の形態３．
実施の形態３は、運転手が見ていない方向の対象物については遮蔽なしで表示する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明する。

＊＊＊構成の説明＊＊＊
図２３を参照して、実施の形態３に係る画像表示装置１０の構成を説明する。
実施の形態３に係る画像表示装置１０は、機能構成要素として、状況取得部２５を備えておらず、視線特定部２８を備えている点が図１に示す画像表示装置１０と異なる。視線特定部２８は、他の機能構成要素と同様に、ソフトウェアにより実現される。
また、実施の形態３に係る画像表示装置１０は、実施の形態１，２と同様に前方に２台の撮像装置３１Ａを備えるとともに、運転手を撮像する撮像装置３１Ｂを備える。

＊＊＊動作の説明＊＊＊
図１２と図２４から図２７とを参照して、実施の形態３に係る画像表示装置１０の動作を説明する。
実施の形態３に係る画像表示装置１０の動作は、実施の形態３に係る画像表示方法に相当する。また、実施の形態３に係る画像表示装置１０の動作は、実施の形態３に係る画像表示プログラムの処理に相当する。

図２４のステップＳ１からステップＳ６の処理は、図２のステップＳ１からステップＳ６の処理と同じである。また、図２４のステップＳ９の処理は、図２のステップＳ９の処理と同じである。

（図２４のステップＳ７Ｃ：視線特定処理）
視線特定部２８は、運転手が見ている方向を示す視線ベクトルを特定する。視線特定部２８は、特定された視線ベクトルをメモリ１２に書き込む。
具体例としては、視線特定部２８は、撮像装置３１Ｂによって撮像された運転手の画像を、画像インタフェース１４を介して取得する。そして、視線特定部２８は、取得された画像から眼球を検出し、白目と瞳孔との位置関係から運転手の視線ベクトルを計算する。

但し、ここで特定される視線ベクトルは、撮像装置３１ＢのＢ座標系におけるベクトルである。そこで、視線特定部２８は、特定された視線ベクトルを、移動体１００の前方を撮像する撮像装置３１ＡのＡ座標系における視線ベクトルに変換する。具体的には、視線特定部２８は、撮像装置３１Ａと撮像装置３１Ｂとの相対姿勢により計算される回転行列を用いて、視線ベクトルの座標系を変換する。なお、相対姿勢は移動体１００における撮像装置３１Ａ，３１Ｂの設置位置から特定される。
移動体座標系を、移動体１００の横方向をＸ座標、上方向をＹ座標、進行方向をＺ座標とする座標系とし、撮像装置３１Ａの横方向、上方向、光軸方向に対する移動体座標系のＸ軸、Ｙ軸、Ｚ軸の回転角をそれぞれ、Ｐｉｔｃｈ_ｃａｍ，Ｙａｗ_ｃａｍ，Ｒｏｌｌ_ｃａｍとした場合、移動体座標系からＡ座標系への変換行列Ｍａｔ_{ｃａｒ２ｃａｍ}は数６の通りとなる。

撮像装置３１Ｂの横方向、上方向、光軸方向に対する移動体座標系のＸ軸、Ｙ軸、Ｚ軸の回転角をそれぞれ、Ｐｉｔｃｈ_ｄｒｃ，Ｙａｗ_ｄｒｃ，Ｒｏｌｌ_ｄｒｃとした場合、移動体座標系からＢ座標系への変換行列Ｍａｔ_{ｃａｒ２ｄｒｃ}は数７の通りとなる。

すると、Ｂ座標系からのＡ座標系への変換はＭａｔ_{ｃａｒ２ｃａｍ}・（Ｍａｔ_{ｃａｒ２ｄｒｃ}）^ｔとなるため、数８によりＡ座標系での視線ベクトルが計算される。

ここで、Ｖ_ｃａｍはＡ座標系での視線ベクトルであり、Ｖ_ｄｒｃはＢ座標系での視線ベクトルである。

なお、視線検出用のハードウェアも市販されているため、そのようなハードウェアにより視線特定部２８を実現してもよい。

（図２４のステップＳ８Ｃ：遮蔽判定処理）
遮蔽判定部２６は、実施の形態１と同様に、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態１と異なる。

図２５を参照して具体的に説明する。
実施の形態３では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体と、ガソリンスタンドといったランドマークとも遮蔽可否の判定の対象としてもよい。
ステップＳ８１からステップＳ８３の処理と、ステップＳ８５からステップＳ８７の処理とは、実施の形態１と同じである。
ステップＳ８４Ｃで遮蔽判定部２６は、対象物の位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きいほど高くなるように重要度を計算する。
具体例として、遮蔽判定部２６は、数９により、重要度を計算する。

ここで、Ｃ_{ｗａｔｃｈ}は、重要度である。Ｐ_ｏｂｊは、対象物の位置である。θは、視線ベクトルと撮像装置３１Ａから対象物への対象ベクトルとの成す角である。ｗ_{ｗａｔｃｈ}は、視認コスト係数であり、任意に定められる正の定数である。

図１２における周辺車両Ｍと周辺車両Ｌとの中間辺りを運転手が見ているとする。すると、周辺車両Ｎの位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きくなり、周辺車両Ｎについての重要度が高くなる。そのため、対象物である目的地とガソリンスタンドと周辺車両Ｍ〜Ｌとのうち、周辺車両Ｎについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＡ〜Ｄは遮蔽可であり、３ＤモデルＥは遮蔽不可であるとする。
この場合、ステップＳ９５の処理が終わった時点で、図２６に示すように、３ＤモデルＡ〜Ｄがレンダリングされる。但し、３ＤモデルＡ，Ｂは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップＳ９８の処理が終わった時点で、図２７に示すように、３ＤモデルＥがレンダリングされる。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る画像表示装置１０は、運転手が見ている位置とのずれから重要度を計算する。これにより、運転手が対象物を見落としている可能性が高い場合に、対象物に対応する３Ｄモデルが隠蔽されずに表示されるため、対象物を運転手に気付かせることができる。
一方、運転手が気づいている可能性が高い対象物については、隠蔽可として、位置関係が分かり易くなっている。

＊＊＊他の構成＊＊＊
＜変形例４＞
実施の形態１では、車両といった移動体について相対位置及び相対速度から遮蔽可否を判定し、実施の形態２では、目的地といったランドマークについて相対位置から遮蔽可否を判定した。そして、実施の形態３では、運転手が見ている位置とのずれに基づき遮蔽可否を判定した。変形例４として、実施の形態１，２の少なくともいずれかで行った遮蔽可否の判定と、実施の形態３で行った遮蔽可否の判定との両方を行ってもよい。

１０ 画像表示装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 画像インタフェース、１５ 通信インタフェース、１６ 表示インタフェース、１７ 処理回路、２１ 深度マップ生成部、２２ 深度正規化部、２３ 対象情報取得部、２４ モデル生成部、２５ 状況取得部、２６ 遮蔽判定部、２７ 表示制御部、２８ 視線特定部、３１，３１Ａ，３１Ｂ 撮像装置、３２ ＥＣＵ、３３ ディスプレイ、４１ ナビゲーションデータ、４２ 描画パラメータ、１００ 移動体。

Claims (8)

1. 移動体の周辺の対象物の情報を取得する対象情報取得部と、
   前記対象情報取得部によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、
   前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御部と
   を備え、
   前記重要度は、前記対象物が移動する物体である場合に、前記移動体から前記対象物までの距離である相対距離と、前記対象物が前記移動体に近づく速度である相対速度とから計算される画像表示装置。
2. 前記重要度は、前記相対距離が近いほど高く、前記相対速度が速いほど高い
   請求項１に記載の画像表示装置。
3. 前記重要度は、前記対象物がランドマークである場合に、前記移動体から前記対象物までの距離である相対距離が遠いほど高い
   請求項１又は２に記載の画像表示装置。
4. 前記重要度は、前記対象物の位置と、前記移動体の運転手が見ている位置とのずれが大きいほど高い
   請求項１から３までのいずれか１項に記載の画像表示装置。
5. 前記対象物の情報は、ストレージに記憶された前記対象物を案内するナビゲーションデータと、センサによって検出されたセンサ値から得られたセンサデータとである
   請求項１から４までのいずれか１項に記載の画像表示装置。
6. 前記表示制御部は、前記遮蔽判定部によって遮蔽可と判定された前記対象物については、前記対象物の位置に応じて、前記風景に重畳させて表示させるか否かを制御する
   請求項１から５までのいずれか１項に記載の画像表示装置。
7. プロセッサが、移動体の周辺の対象物の情報を取得し、
   プロセッサが、取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定し、
   プロセッサが、遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させ、
   前記重要度は、前記対象物が移動する物体である場合に、前記移動体から前記対象物までの距離である相対距離と、前記対象物が前記移動体に近づく速度である相対速度とから計算される画像表示方法。
8. 移動体の周辺の対象物の情報を取得する対象情報取得処理と、
   前記対象情報取得処理によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定処理と、
   前記遮蔽判定処理によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御処理と
   をコンピュータに実行させ、
   前記重要度は、前記対象物が移動する物体である場合に、前記移動体から前記対象物までの距離である相対距離と、前記対象物が前記移動体に近づく速度である相対速度とから計算される画像表示プログラム。

Images