JP6522270B1 - 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム - Google Patents

Abstract

支援画像表示装置（１０）は、車両（１００）の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する。角度予測部（２２）は、車両（１００）の現在の傾斜角度である実角度と、車両（１００）の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両（１００）の傾斜角度である予測角度を計算する。位置特定部（２３）は、予測角度に基づき、表示装置（３３）における支援画像を表示する表示位置を特定する。画像表示部（２４）は、表示装置（３３）における表示位置に支援画像を表示する。

Description

この発明は、車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する技術に関する。

ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）は、運転手の視点位置から観察される風景に任意のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳表示可能であり、運転時の安全性向上のために車両への搭載が進んでいる。ＨＵＤのアプリケーションとして、路面上に道案内矢印のＣＧ画像を重畳表示するＡＲ（オーグメンテッドリアリティ）システムがある。
ＡＲシステムは、走行時の車両揺れによって道案内矢印のＡＲ表示位置にズレが発生するという課題がある。この課題を解決するためにＡＲ表示位置のズレを補正する機能が必要となる。

ＡＲ表示位置のズレは主にピッチング方向の車両揺れ（左右を軸とする上下方向の車両傾斜）に依存する。ピッチング方向の車両傾斜はＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサで計測可能であり、その計測データを使用してＡＲ表示位置のズレを補正する技術がある（特許文献１参照）。

国際公開第２０１８−０７０２５２号

表示処理には遅延時間が発生する。そのため、ＩＭＵセンサで検出した傾斜角度をそのまま使用して表示位置のズレを補正すると、検出した傾斜角度と表示時の傾斜角度とが異なる場合があり、表示位置のズレの補正精度が低下してしまう。
この発明は、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能にすることを目的とする。

この発明に係る支援画像表示装置は、
車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
前記角度予測部によって予測された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
を備える。

この発明では、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度が計算され、予測角度に基づき支援画像を表示する表示位置が特定される。そのため、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能である。

実施の形態１に係る支援画像表示装置１０の構成図。 実施の形態１に係る傾斜角度の変化方向の予測原理の説明図。 実施の形態１に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態１に係る角度予測処理のフローチャート。 実施の形態１に係る支援画像を表示する表示位置の説明図。 実施の形態１に係る傾斜角度と表示位置との関係の説明図。 変形例２に係る傾斜角度の変化方向の予測原理の説明図。 変形例３に係る支援画像表示装置１０の構成図。 実施の形態２に係る支援画像表示装置１０の構成図。 実施の形態２に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態２に係る角度予測処理のフローチャート。 実施の形態２に係る傾斜角度の変化方向の予測原理の説明図。 実施の形態３に係る支援画像表示装置１０の構成図。 実施の形態３に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態３に係る凹凸特定処理の説明図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る支援画像表示装置１０の構成を説明する。
支援画像表示装置１０は、車両１００に搭載されるコンピュータである。
なお、支援画像表示装置１０は、車両１００又は図示された他の構成要素と、一体化した形態又は分離不可能な形態で実装されても、あるいは、取り外し可能な形態又は分離可能な形態で実装されてもよい。

支援画像表示装置１０は、プロセッサ１１と、記憶装置１２と、通信インタフェース１３と、ディスプレイインタフェース１４とを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

記憶装置１２は、メモリ１２１と、ストレージ１２２とを備える。メモリ１２１は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ストレージ１２２は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１２２は、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。

通信インタフェース１３は、車両１００に搭載されたセンサ３１とナビゲーションシステム３２といった装置を接続する装置である。通信インタフェース１３は、具体例としては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４の接続端子である。実施の形態１では、センサ３１は、ＩＭＵである。

ディスプレイインタフェース１４は、車両１００に搭載された表示装置３３を接続する装置である。ディスプレイインタフェース１４は、具体例としては、ＵＳＢ、ＨＤＭＩ（登録商標、Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）の接続端子である。
表示装置３３は、車両１００の前方といった車両１００の視点位置から観察される車両１００の周囲の風景に、情報を重畳して表示する装置である。ここでいう風景は、ＨＵＤ等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された３次元地図とのいずれかである。視点位置とは、実施の形態１では、車両１００の運転手の視点の位置である。なお、視点位置は、運転手以外の搭乗者の視点位置であってもよいし、風景をカメラによって取得した映像で表示する場合には、カメラの視点位置でもよい。実施の形態１では、表示装置３３は、車両１００の前方風景に、情報を重畳して表示するＨＵＤとする。

支援画像表示装置１０は、機能構成要素として、車両計測部２１と、角度予測部２２と、位置特定部２３と、画像表示部２４と、道路種別取得部２５とを備える。支援画像表示装置１０の機能構成要素の機能はソフトウェアにより実現される。
記憶装置１２のストレージ１２２には、支援画像表示装置１０の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１によりメモリ１２１に読み込まれ、プロセッサ１１によって実行される。これにより、支援画像表示装置１０の各部の機能が実現される。
ストレージ１２２は、振動状態記憶部１２３の機能を実現する。なお、振動状態記憶部１２３の機能は、支援画像表示装置１０の外部の記憶装置によって実現されてもよい。

プロセッサ１１によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２１、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ１１によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２１に記憶されるものとして説明する。

プロセッサ１１によって実現される各機能を実現するプログラムは、記憶装置１２に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体に記憶されてもよい。

図１では、プロセッサ１１は、１つだけ示されている。しかし、支援画像表示装置１０は、プロセッサ１１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、支援画像表示装置１０の各部の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ１１と同じように、プロセッシングを行うＩＣである。

＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係る支援画像表示装置１０の動作を説明する。
実施の形態１に係る支援画像表示装置１０の動作は、実施の形態１に係る支援画像表示方法に相当する。また、実施の形態１に係る支援画像表示装置１０の動作は、実施の形態１に係る支援画像表示プログラムの処理に相当する。

実施の形態１に係る支援画像表示装置１０の動作の前提として、振動状態記憶部１２３には、高速道路と市街地の道路と山道といった道路種別と対応付けて、その道路種別の道路を過去に走行した際に発生した振動状態と、その道路種別についての閾値とが記憶されているものとする。振動状態は、車両１００の傾斜角度の時間変化を示す。実施の形態１では、傾斜角度は、車両１００の左右を軸とする上下方向の車両１００の傾斜角度とする。つまり、傾斜角度は、ピッチング方向の車両の傾きを意味する。
具体的には、車両１００が実際に走行した際に、車両計測部２１は、センサ３１であるＩＭＵによって傾斜角度を計測する。道路種別取得部２５は、走行した道路の道路種別をナビゲーションシステム３２から取得する。車両計測部２１と道路種別取得部２５とは、取得された道路種別と、計測された傾斜角度の時間変化を示す振動状態とを対応付けて振動状態記憶部１２３に書き込む。また、角度予測部２２は、道路種別に対応付けられた振動状態に応じて、その道路種別についての閾値を決定して、道路種別に対応付けて決定された閾値を振動状態記憶部１２３に書き込む。車両１００が走行する度に、振動状態記憶部１２３のデータが更新され、より適切な振動状態及び閾値が記憶される。つまり、車両１００が走行する度に、道路種別毎の適切な振動状態及び閾値が学習される。
図２に示すように、道路種別によって傾斜角度の変化幅が異なる。図２では、車両１００の車体が路面と平行な状態が傾斜角度が０の状態とし、車体の前方が路面に対して上を向くほど傾斜角度が正の方向に大きな角度になり、車体の前方が路面に対して下を向くほど傾斜角度が負の方向に大きな角度になるものとする。角度予測部２２は、振動状態における傾斜角度の極大値の平均値から基準値だけ小さい正の方向の角度を上限閾値Ｕとし、振動状態における傾斜角度の極小値の平均値から基準値だけ小さい負の方向の角度を下限閾値Ｌとして決定する。例えば、基準値は、変化幅に応じて定められる角度である。

なお、車両１００とは異なる他の車両が実際に走行した際に計測された振動状態が、道路種別と対応付けて振動状態記憶部１２３に記憶されていてもよい。そして、振動状態記憶部１２３には、この振動状態に応じて決定された閾値が記憶されていてもよい。
但し、振動状態は車重等によって異なるため、振動状態記憶部１２３に記憶される振動状態は、車両１００と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。

図３を参照して、実施の形態１に係る支援画像表示装置１０の全体的な動作を説明する。
車両１００が走行中に図３に示す処理が繰り返し実行される。

（図３のステップＳ１１：道路種別取得処理）
道路種別取得部２５は、車両１００が走行中の道路の道路種別を取得する。
具体的には、道路種別取得部２５は、通信インタフェース１３を介してナビゲーションシステム３２から走行中の道路の道路種別を取得する。道路種別取得部２５は、取得された道路種別をメモリ１２１に書き込む。

（図３のステップＳ１２：閾値取得処理）
道路種別取得部２５は、ステップＳ１１で取得された道路種別に対応する閾値を取得する。
具体的には、道路種別取得部２５は、メモリ１２１から道路種別を読み出す。道路種別取得部２５は、読み出された道路種別に対応付けて記憶された閾値を振動状態記憶部１２３から読み出す。閾値としては、上限閾値Ｕと下限閾値Ｌとが読み出される。道路種別取得部２５は、上限閾値Ｕと下限閾値Ｌとの閾値をメモリ１２１に書き込む。

（図３のステップＳ１３：傾斜角度計測処理）
車両計測部２１は、センサ３１によって車両１００の傾斜角度を計測する。
具体的には、車両計測部２１は、センサ３１であるＩＭＵによって車両１００の現在の傾斜角度である実角度を計測する。車両計測部２１は、計測された実角度をメモリ１２１に書き込む。

（図３のステップＳ１４：角度予測処理）
角度予測部２２は、ステップＳ１３で計測された実角度と、ステップＳ１２で取得された閾値と、車両１００の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。振動状態は、ステップＳ１３で計測された実角度の時間変化を参照することにより特定される。
基準時間は、支援画像表示装置１０の性能等に応じて決定される時間であり、表示処理における遅延時間に相当する時間である。基準時間は、数ミリ秒である。

図４を参照して、実施の形態１に係る角度予測処理を説明する。
（図４のステップＳ１４１：方向予測処理）
角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。
具体的には、角度予測部２２は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。実角度が閾値よりも大きい場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕよりも大きい角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕよりも大きい角度である場合である。
また、角度予測部２２は、実角度が閾値以下の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。実角度が閾値以下の場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕ以下の角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕ以下の角度である場合である。

図２を参照して、この判定の原理を説明する。
過去に同じ道路種別を走行した際の振動状態から、実角度が閾値よりも大きい場合には、点Ｐ１及び点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、実角度が閾値以下の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
そのため、角度予測部２２は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は前記実角度から変化しないと判定し、実角度が閾値以下の場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。

（図４のステップＳ１４２：方向判定処理）
角度予測部２２は、ステップＳ１４２で基準時間後の傾斜角度が直近の変化と同じ方向に変化すると判定された場合には、処理をステップＳ１４３に進める。一方、角度予測部２２は、ステップＳ１４２で基準時間後の傾斜角度は実角度から変化しないと判定された場合には、処理をステップＳ１４５に進める。

（図４のステップＳ１４３：変化量予測処理）
角度予測部２２は、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測する。
具体的には、角度予測部２２は、実角度が閾値に近い値であるほど、変化量を小さい値と予測し、実角度が０に近い値であるほど、変化量を大きい値と予測する。実角度が閾値に近い値とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕに近い角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕに近い角度である。
実角度が閾値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、実角度が０に近い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。

（図４のステップＳ１４４：第１角度計算処理）
角度予測部２２は、ステップＳ１４１で予測された方向に、ステップＳ１４３で予測された変化量だけ、実角度から変化させた角度を予測角度として計算する。角度予測部２２は、計算された予測角度をメモリ１２１に書き込む。

（図４のステップＳ１４５：第２角度計算処理）
角度予測部２２は、実角度を予測角度として設定する。角度予測部２２は、設定された予測角度をメモリ１２１に書き込む。

（図３のステップＳ１５：位置特定処理）
位置特定部２３は、ステップＳ１４で計算された予測角度に基づき、表示装置３３における支援画像を表示する表示位置を特定する。支援画像は、道案内矢印といった画像データである。

具体的には、図５に示すように、位置特定部２３は、視点位置４１と、支援画像を重畳させる重畳位置４２と、表示装置３３であるＨＵＤの投影面位置４３との相対的な位置関係から、支援画像を表示する表示位置を特定する。
視点位置４１は、車両１００の位置と、車両１００と視点位置４１との位置関係とから特定可能である。車両１００の位置は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサといった測位センサから取得可能である。ここでは、基準時間後の車両１００の位置が必要になるが、基準時間後の車両１００の位置は、車両１００の現在位置と、車両１００の車速とから推定可能である。車両１００と視点位置４１との位置関係は、車両１００の内部に設置されたＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）等のカメラ情報から特定可能である。
重畳位置４２は、道路上の交差点といった特定の位置の場合には、ナビゲーションシステム３２から取得可能である。重畳位置４２は、歩行者といった移動物体の場合には、車両１００に搭載されたカメラとＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）とミリ波レーダといったセンサによって移動物体を検知することにより特定可能である。なお、重畳位置４２が移動物体になる場合には、移動物体を検知するために、カメラとＬｉＤＡＲとミリ波レーダと等がセンサ３１として支援画像表示装置１０に接続されているものとする。
投影面位置４３は、車両１００の位置と、車両１００と投影面位置４３との位置関係とから特定可能である。車両１００の位置については、上述した通りである。車両１００と投影面位置４３との位置関係は、表示装置３３であるＨＵＤは車両１００に固定されており、事前に測定しておくことにより特定可能である。

このとき、車両１００の傾斜角度によって、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係が変化する。そこで、位置特定部２３は、ステップＳ１４で計算された予測角度をメモリ１２１から読み出す。そして、位置特定部２３は、視点位置４１と重畳位置４２と投影面位置４３とに加え、予測角度を考慮して、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係を特定する。そして、位置特定部２３は、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係から、支援画像を表示する表示位置を特定する。位置特定部２３は、特定された表示位置をメモリ１２１に書き込む。

例えば、図６に示すように、車両１００の車体の前方が路面に対してα度だけ上を向くと、支援画像を表示する表示位置は、α度だけ下にずれる。逆に、車両１００の車体の前方が路面に対してα度だけ下を向くと、支援画像を表示する表示位置は、α度だけ上にずれる。

（図３のステップＳ１６：画像表示処理）
画像表示部２４は、ステップＳ１５で特定された表示装置３３における表示位置に、支援画像を表示する。
具体的には、画像表示部２４は、表示位置をメモリ１２１から読み出す。そして、画像表示部２４は、表示位置に支援画像を示した画像データを表示装置３３に送信することにより、表示装置３３に支援画像を表示させる。
支援画像は、仮想的な３次元空間において、支援画像生成用の仮想カメラで支援画像の元となるＡＲ表示物を撮影することにより、生成される。この際、視点位置４１と投影面位置４３との相対的な位置関係から、仮想カメラの撮影方向が決定される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る支援画像表示装置１０は、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度を計算し、予測角度に基づき支援画像を表示する表示位置を特定する。これにより、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、振動状態記憶部１２３には、道路種別と対応付けて振動状態及び閾値が記憶された。振動状態記憶部１２３には、道路種別だけでなく、天候及び車速といった他の情報と対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図３のステップＳ１１では、道路種別取得部２５は、道路種別だけでなく、他の情報を取得し、図３のステップＳ１２では、道路種別取得部２５は、道路種別及び他の情報に対応する閾値を取得する。
これにより、走行状態により近い振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。

また、振動状態記憶部１２３には、具体的な道路と対応付けて振動状態及び閾値が記憶されてもよい。例えば、車両１００が走行した道路については、その道路と
対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図３のステップＳ１１では、道路種別取得部２５は、道路種別とともに、走行中の道路の識別情報を取得し、図３のステップＳ１２では、道路種別取得部２５は、走行中の道路に対応付られた振動状態及び閾値が振動状態記憶部１２３に記憶されている場合には、走行中の道路に対応付られた閾値を取得する。
これにより、過去にその道路を走行した際の振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。

＜変形例２＞
実施の形態１では、図４のステップＳ１４１で角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。角度予測部２２は、実角度に代えて、車両１００の角速度を用いてもよい。角速度は、センサ３１であるＩＭＵによって計測される。
具体的には、図３のステップＳ１３で車両計測部２１は、センサ３１であるＩＭＵによって車両１００の角速度を計測する。図４のステップＳ１４１で角度予測部２２は、角速度が閾値よりも小さい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。また、角度予測部２２は、角速度が閾値以上の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
実施の形態１で実角度と比較される閾値と、変形例２で角速度と比較される閾値とは異なる。つまり、角速度を用いて変化方向を予測する場合には、振動状態記憶部１２３には角速度を用いる場合の閾値が記憶されている。

図７を参照して、この判定の原理を説明する。
過去に同じ道路種別を走行した際の振動状態から、角速度が閾値よりも小さい場合には、点Ｐ１及び点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、角速度が閾値以上の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図８を参照して、変形例３に係る支援画像表示装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、支援画像表示装置１０は、プロセッサ１１と記憶装置１２とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、記憶装置１２との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１と記憶装置１２と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、車両１００に搭載されたサスペンションのバネの状態によって基準時間後の車両１００の傾斜角度の変化方向を予測する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図９を参照して、実施の形態２に係る支援画像表示装置１０の構成を説明する。
支援画像表示装置１０は、道路種別取得部２５を備えていない点が実施の形態１に係る支援画像表示装置１０と異なる。また、支援画像表示装置１０は、ストレージ１２２が振動状態記憶部１２３の機能を実現していない点が実施の形態１に係る支援画像表示装置１０と異なる。
実施の形態２では、センサ３１は、ＩＭＵと、ＥＣＳ（電子制御サスペンション）とである。

＊＊＊動作の説明＊＊＊
図１０から図１２を参照して、実施の形態２に係る支援画像表示装置１０の動作を説明する。
実施の形態２に係る支援画像表示装置１０の動作は、実施の形態２に係る支援画像表示方法に相当する。また、実施の形態２に係る支援画像表示装置１０の動作は、実施の形態２に係る支援画像表示プログラムの処理に相当する。

図１０を参照して、実施の形態２に係る支援画像表示装置１０の全体的な動作を説明する。
車両１００が走行中に図１０に示す処理が繰り返し実行される。
ステップＳ２２の処理は、図３のステップＳ１３の処理と同じである。また、ステップＳ２４及びステップＳ２５の処理は、図３のステップＳ１５及びステップＳ１６の処理と同じである。

（図１０のステップＳ２１：サスペンション状態計測処理）
車両計測部２１は、センサ３１によって車両１００のサスペンションの状態を計測する。
具体的には、車両計測部２１は、センサ３１であるＥＣＳによって車両１００のサスペンションのバネの状態を計測する。より正確には、車両計測部２１は、車両１００のサスペンションのバネの伸び具合を計測する。
ＥＣＳには、アクティブサスペンションとセミアクティブサスペンションといった種類がある。アクティブサスペンションはアクチュエータでタイヤからの振動とは逆の力を発生させて振動を制御する。セミアクティブサスペンションは衝撃を吸収するダンパーの減衰力を変化させて振動を制御する。これらのサスペンションは、センサで車両の振動を検出し、それに合わせて、アクチュエータやダンパーの減衰力を変化させて振動を制御している。このため、ＥＣＳの制御値を参照することで、サスペンションのバネの伸び具合を計測することができる。

（図１０のステップＳ２３：角度予測処理）
角度予測部２２は、ステップＳ２１で計測されたサスペンションのバネの伸び具合と、ステップＳ２２で計測された実角度と、車両１００の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。

図１１を参照して、実施の形態２に係る角度予測処理を説明する。
ステップＳ２３２の処理は、図４のステップＳ１４２の処理と同じである。また、ステップＳ２３４及びステップＳ２３５の処理は、図４のステップＳ１４４及びステップＳ１４５の処理と同じである。

（図１１のステップＳ２３１：方向予測処理）
角度予測部２２は、サスペンションのバネの伸び具合に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。
具体的には、角度予測部２２は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定する。また、角度予測部２２は、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
上限値及び下限値は、サスペンションのバネに応じて事前に定められた値である。

図１２を参照して、この判定の原理を説明する。
サスペンションのバネが伸びきった状態になると、点Ｐ１のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。同様に、サスペンションのバネが縮みきった状態になると、点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、サスペンションのバネが伸びきっても縮みきってもいない状態の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
そのため、角度予測部２２は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定し、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。

（図４のステップＳ２３３：変化量予測処理）
角度予測部２２は、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測する。
具体的には、角度予測部２２は、バネの伸び具合が上限値又は下限値に近い値であるほど、変化量を小さい値と予測し、バネの伸び具合が上限値及び下限値から遠い値であるほど、変化量を大きい値と予測する。
バネの伸び具合が上限値又は下限値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、バネの伸び具合が上限値及び下限値から遠い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る支援画像表示装置１０は、サスペンションのバネの伸び具合に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。これにより、実施の形態１と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。

＊＊＊他の構成＊＊＊
＜変形例５＞
実施の形態１で説明した方法と、実施の形態２で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
具体例としては、実施の形態１で説明した方法により、基準時間後の車両１００の傾斜角度の変化方向を予測し、実施の形態２で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測し、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測してもよい。

実施の形態３．
実施の形態３は、路面の凹凸によって基準時間後の車両１００の傾斜角度の変化方向を予測する点が実施の形態１と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図１３を参照して、実施の形態３に係る支援画像表示装置１０の構成を説明する。
支援画像表示装置１０は、道路種別取得部２５に代えて、凹凸特定部２６を備える点が実施の形態１に係る支援画像表示装置１０と異なる。
実施の形態３では、センサ３１は、ＩＭＵと、ＬｉＤＡＲとである。なお、ＬｉＤＡＲは路面の凹凸の形状及び大きさを特定するために使用される。そのため、路面の凹凸の形状及び大きさを特定することが可能であれば、センサ３１は、ＬｉＤＡＲではなくカメラ等であってもよい。

＊＊＊動作の説明＊＊＊
図１４及び図１５を参照して、実施の形態３に係る支援画像表示装置１０の動作を説明する。
実施の形態３に係る支援画像表示装置１０の動作は、実施の形態３に係る支援画像表示方法に相当する。また、実施の形態３に係る支援画像表示装置１０の動作は、実施の形態３に係る支援画像表示プログラムの処理に相当する。

実施の形態１に係る支援画像表示装置１０の動作の前提として、振動状態記憶部１２３には、凹凸の形状及び大きさを示す凹凸情報と対応付けて、凹凸情報が示す凹凸を通過した際に発生した振動状態が記憶されているものとする。車両１００が走行する度に、振動状態記憶部１２３のデータが更新され、より適切な振動状態が記憶される。つまり、車両１００が走行する度に、凹凸情報毎の適切な振動状態が学習される。

なお、車両１００とは異なる他の車両が実際に凹凸を通過した際に計測された振動状態が、凹凸情報と対応付けて振動状態記憶部１２３に記憶されていてもよい。
但し、振動状態は車重等によって異なるため、振動状態記憶部１２３に記憶される振動状態は、車両１００と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。

図１４を参照して、実施の形態３に係る支援画像表示装置１０の全体的な動作を説明する。
車両１００が走行中に図１４に示す処理が繰り返し実行される。
ステップＳ３３の処理は、図３のステップＳ１３の処理と同じである。また、ステップＳ３５及びステップＳ３６の処理は、図３のステップＳ１５及びステップＳ１６の処理と同じである。

（図１４のステップＳ３１：凹凸特定処理）
凹凸特定部２６は、基準時間後に車両１００が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。
具体的には、図１５に示すように、凹凸特定部２６は、車両１００の前方に設置されたＬｉＤＡＲによって基準時間後に車両１００が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。凹凸特定部２６は、凹凸情報をメモリ１２１に書き込む。

（図１４のステップＳ３２：振動状態取得処理）
凹凸特定部２６は、ステップＳ３１で特定された凹凸情報に対応する振動状態を取得する。
具体的には、凹凸特定部２６は、メモリ１２１から凹凸情報を読み出す。凹凸特定部２６は、読み出された凹凸情報に対応付けて記憶された振動状態を振動状態記憶部１２３から読み出す。凹凸特定部２６は、読み出された振動状態をメモリ１２１に書き込む。

（図１４のステップＳ３４：角度予測処理）
角度予測部２２は、ステップＳ３２で読み出された振動状態と、ステップＳ３３で計測された実角度とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。
具体的には、角度予測部２２は、ステップＳ３２で読み出された振動状態が示す傾斜角度の時間変化と同じ変化をするとして、予測角度を計算する。例えば、振動状態が基準時間後から１０ｍｓ間の傾斜角度の変化を示しているとする。すると、角度予測部２２は、基準時間後から１０ｍｓ間、実角度を基準として、振動状態が示す傾斜角度の時間変化に従って傾斜角度が変化すると予測する。例えば、基準時間後に０．５度前上がりに傾き、その１ｍｓ後にさらに０．５度前上がりに傾くとする。この場合には、角度予測部２２は、基準時間後の予測角度を、実角度よりも０．５度前上がりの角度であると計算する。また、角度予測部２２は、基準時間後の１ｍｓ後の予測角度を、実角度よりも１度前上がりの角度であると計算する。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る支援画像表示装置１０は、路面の凹凸によって基準時間後の車両１００の傾斜角度の変化方向を予測する。これにより、実施の形態１と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。

＜変形例６＞
実施の形態１で説明した方法と、実施の形態３で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
具体例としては、実施の形態３で説明した方法により、基準時間後の車両１００の傾斜角度の変化方向を予測し、実施の形態１で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部２２は、路面の凹凸に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測し、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測してもよい。

同様に、実施の形態２で説明した方法と、実施の形態３で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。また、実施の形態１〜３で説明した方法を組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。

以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 支援画像表示装置、１１ プロセッサ、１２ 記憶装置、１３ 通信インタフェース、１４ ディスプレイインタフェース、１５ 電子回路、２１ 車両計測部、２２ 角度予測部、２３ 位置特定部、２４ 画像表示部、２５ 道路種別取得部、２６ 凹凸特定部、３１ センサ、３２ ナビゲーションシステム、３３ 表示装置、１００ 車両、１２１ メモリ、１２２ ストレージ、１２３ 振動状態記憶部。

Claims (11)

1. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
   前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
   基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記車両計測部によって計測された前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
   前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
   前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
   を備える支援画像表示装置。
2. 前記角度予測部は、前記実角度が閾値よりも大きい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記実角度が前記閾値以下の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
   請求項１に記載の支援画像表示装置。
3. 前記車両計測部は、前記車両の角速度を計測し、
   前記角度予測部は、前記角速度が閾値よりも小さい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記角速度が前記閾値以上の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
   請求項１に記載の支援画像表示装置。
4. 前記閾値は、前記車両が走行中の道路と同じ道路種別の道路における過去の前記振動状態に応じて決定される
   請求項２又は３に記載の支援画像表示装置。
5. 前記車両計測部は、前記車両に搭載されたサスペンションのバネの状態を計測し、
   前記角度予測部は、前記バネが上限値よりも伸びている場合と、前記バネが下限値よりも縮んでいる場合とには、前記基準時間後の傾斜角度は前記実角度から変化せず、前記バネが前記上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
   請求項１に記載の支援画像表示装置。
6. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
   前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
   基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定部と、
   路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸特定部によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記車両計測部によって計測された前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
   前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
   前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
   を備える支援画像表示装置。
7. 前記角度予測部は、読み出された前記振動状態が示す傾斜角度の時間変化と同じ変化をするとして、前記予測角度を計算する
   請求項６に記載の支援画像表示装置。
8. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
   車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
   角度予測部が、基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
   位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
   画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
9. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示プログラムであり、
   車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
   角度予測部が、基準時間後の前記車両の傾斜角度は、前記車両の傾斜角度の時間変化を示す振動状態が示す直近の変化と同じ方向に変化するとして、前記車両計測処理によって計測された前記実角度と、前記振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
   位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
   画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
   を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。
10. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
    凹凸特定部が、基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定し、
    角度予測部が、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
    位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
    画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
11. 車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
    車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
    凹凸特定部が、基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定処理と、
    角度予測部が、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する振動状態であって、前記車両の傾斜角度の時間変化を示す振動状態を記憶した振動状態記憶部から、前記凹凸特定処理によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と、前記車両計測処理によって計測された前記実角度とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
    位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
    画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
    を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。

Images