JP7056034B2

JP7056034B2 - 周辺監視装置

Info

Publication number: JP7056034B2
Application number: JP2017156633A
Authority: JP
Inventors: 一矢渡邊
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2017-08-14
Filing date: 2017-08-14
Publication date: 2022-04-19
Anticipated expiration: 2037-08-14
Also published as: CN111034188A; JP2019036831A; CN111034188B; US11091096B2; WO2019035229A1; US20200156542A1

Description

本発明の実施形態は、周辺監視装置に関する。

撮像部によって車両の周囲を撮像して得られる撮像画像に基づいて、仮想視点から見た車両の周囲の仮想視点画像を表示させる際に、仮想視点の視線方向を連続的に変化させる技術が開発されている。

特開２０１６－２１３８４１号公報

しかしながら、仮想視点の視線方向を連続的に変化させる技術では、車両内の固定された仮想視点から見た車両の周囲の仮想視点画像を表示するため、車両と障害物との客観的な位置関係が把握し難く、狭い道等を通過する際に、仮想視点画像を利用して、車両が障害物と接触するか否かが分かり難い。

実施形態の周辺監視装置は、一例として、車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、表示用画像を表示部に出力する出力部と、を備える。また、生成部は、操作入力部を介して、仮想視点の移動が指示された場合、車両画像の車幅方向への方向成分を含む移動と連動して、仮想視点の高さを変化させる。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

また、実施形態の周辺監視装置は、一例として、車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、表示用画像を表示部に出力する出力部と、を備える。また、生成部は、操作入力部を介して、任意の方向への仮想視点の移動が指示された場合、仮想視点を、水平方向においては任意の方向の水平方向成分に応じた水平方向位置に、高さ方向においては水平方向における水平方向位置に応じた高さに移動させる。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

また、実施形態の周辺監視装置は、一例として、車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、表示用画像を表示部に出力する出力部と、を備える。また、生成部は、操作入力部を介して、水平方向において、予め定められた軌跡上における任意の位置への仮想視点の移動が指示された場合、任意の位置への移動と連動して、仮想視点の高さを変化させる。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

また、実施形態の周辺監視装置は、生成部は、車両画像の車幅方向における車両画像の中央から仮想視点が離れるに従って、仮想視点の高さを低くする。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

また、実施形態の周辺監視装置は、生成部は、車両画像の車幅方向における車両画像の中央から仮想視点が離れるに従って、車両画像の前後方向における仮想視点の位置を、車両画像の進行方向に移動させる。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい方向により近い方向の表示用画像を容易に表示できる。

また、実施形態の周辺監視装置は、生成部は、仮想視点の高さが第１高さである場合、車両画像の透過率を第１透過率とし、仮想視点の高さが第１高さより低い第２高さである場合、車両画像の透過率を第１透過率より低い第２透過率とする。よって、本実施形態の周辺監視装置は、一例として、簡単な操作で、車両の乗員が仮想視点を移動させた目的の情報が確認し易い表示用画像を表示させることができる。

また、実施形態の周辺監視装置は、生成部は、車両画像の車幅方向における車両画像の中央から仮想視点が離れるに従って、表示用画像の視野角を狭くする。よって、本実施形態の周辺監視装置は、一例として、車両の乗員が見たい視野角の表示用画像を容易に表示できる。

また、実施形態の周辺監視装置は、生成部は、車両画像の車幅方向における仮想視点の位置と、車両画像の車幅方向における注視点の位置とを一致させる。よって、本実施形態の周辺監視装置は、一例として、車両の側方に存在する障害物との接触を避けたい場合に、少ない操作で車両の乗員が見たい表示用画像を表示させることができる。

図１は、第１の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態にかかる車両の一例の平面図である。図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図５は、第１の実施形態にかかる車両による表示用画像の表示処理の流れの一例を示すフローチャートである。図６は、第１の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。図７は、第１の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。図８は、第１の実施形態にかかる車両における表示用画像の生成に用いるカメラ画モデルおよび車両画像の一例を説明するための図である。図９は、第１の実施形態にかかる車両における仮想視点の移動処理の一例を説明するための図である。図１０は、第１の実施形態にかかる車両における仮想視点の移動処理の一例を説明するための図である。図１１は、第１の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１２は、第１の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１３は、第１の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１４は、第１の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１５は、第２の実施形態にかかる車両における注視点の移動処理の一例を説明するための図である。図１６は、第２の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１７は、第２の実施形態にかかる車両において生成される表示用画像の一例を示す図である。図１８は、第２の実施形態にかかる車両において生成される表示用画像の一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる周辺監視装置（周辺監視システム）を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

（第１の実施形態）
図１は、第１の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、撮像部１５により車両１の周囲を撮像して得られる撮像画像に基づいて、仮想視点から、車両１の周囲の注視点を見た画像を生成し、当該生成した画像を表示装置８に表示させる。ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、車両１の周囲に存在する障害物までの距離の算出等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、表示用画像生成部４０１および表示用画像出力部４０２を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ＥＣＵ１４は、表示用画像生成部４０１および表示用画像出力部４０２の機能を実現する。表示用画像生成部４０１および表示用画像出力部４０２の一部または全部を回路等のハードウェアによって構成しても良い。

表示用画像生成部４０１は、撮像部１５から、車両１の周囲を撮像部１５により撮像して得られる撮像画像を取得する。本実施形態では、表示用画像生成部４０１は、ある時刻（以下、過去時刻と言う）の車両１の位置（以下、過去位置と言う）における当該車両１の周囲を撮像部１５によって撮像して得られる撮像画像を取得する。次いで、表示用画像生成部４０１は、取得した撮像画像に基づいて、車両１と当該車両１の周囲に存在する障害物との位置関係を視認可能とする表示用画像を生成する。

具体的には、表示用画像生成部４０１は、取得した撮像画像に基づいて、車両１の周囲の空間に三次元の車両画像を設けた仮想空間内の注視点を、操作入力部１０を介して入力された仮想視点から見た画像を表示用画像として生成する。ここでは、仮想空間は、車両１の周囲の空間であり、かつ当該空間内における、過去時刻より後の時刻（例えば、現在時刻）の車両１の位置（例えば、現在位置）に対して、車両画像を設けた空間である。また、車両画像は、仮想空間を透視可能な三次元の車両１の画像である。

本実施形態では、表示用画像生成部４０１は、取得した撮像画像を、車両１の周囲の三次元の面（以下、カメラ画モデルと言う）に対して貼り付け、当該カメラ画モデルを含む空間を、車両１の周囲の空間として生成する。次いで、表示用画像生成部４０１は、生成した空間内の車両１の現在位置に対して、車両画像を配置した空間を仮想空間として生成する。その後、表示用画像生成部４０１は、生成した仮想空間内の注視点を、操作入力部１０を介して入力された仮想視点から見た画像を表示用画像として生成する。

その際、表示用画像生成部４０１は、操作入力部１０を介して、車両画像の車幅方向への仮想視点の移動が指示された場合、車両画像の車幅方向への仮想視点の移動に連動して、仮想視点の高さを変化させる。言い換えると、表示用画像生成部４０１は、車両画像の車幅方向への仮想視点の移動に連動して、車両画像の上下方向における仮想視点の位置を変化させる。具体的には、表示用画像生成部４０１は、車両画像の車幅方向における中央から仮想視点が離れるに従って、当該仮想視点の高さを低くする。表示用画像出力部４０２は、表示用画像生成部４０１により生成される表示用画像を、表示装置８に出力する。

これにより、車両画像の車幅方向に仮想視点を移動させるだけで、車両１の乗員が見たい視点位置からの表示用画像が表示されるように、仮想視点の高さも変化させることができるので、車両１の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。本実施形態では、表示用画像生成部４０１は、仮想視点の移動が指示された場合、車両画像の車幅方向への仮想視点の移動に連動して、仮想視点の高さを変化させているが、仮想視点の移動が指示された場合に、車両画像の車幅方向への方向成分を含む移動と連動して、仮想視点の高さを変化させるものであれば、これに限定するものではない。例えば、表示用画像生成部４０１は、車両画像の車幅方向の方向成分および車両画像の前後方向の方向成分を含む移動と連動して、仮想視点の高さを変化させる。

本実施形態では、表示用画像生成部４０１は、車両画像の車幅方向において当該車両画像の中央から仮想視点が離れるに従って、仮想視点の高さを低くしているが、車両画像の車幅方向への仮想視点の移動に連動して、仮想視点の高さを変化させるものであれば良い。例えば、表示用画像生成部４０１は、車両画像の車幅方向において当該車両画像の中央から仮想視点が離れるに従って、仮想視点の高さを高くしたり、車両画像の車幅方向における仮想視点の位置の変化に応じて、仮想視点の高さを周期的に変化させたりしても良い。また、本実施形態では、表示用画像生成部４０１は、車両画像の外部において仮想視点を移動させるものとする。これにより、表示用画像生成部４０１は、車両画像の内部への仮想視点の移動を禁止できる。

また、本実施形態では、表示用画像生成部４０１は、操作入力部１０を介して、車両画像の車幅方向への仮想視点の移動に加えて、仮想視点の高さ方向（車両画像の上下方向）への移動が指示された場合には、車両画像の車幅方向の仮想視点の移動に連動して、仮想視点の高さ方向において、操作入力部１０を介して指示された高さに仮想視点を移動させることも可能である。さらに、本実施形態では、表示用画像生成部４０１は、車両画像の車幅方向への仮想視点の移動が指示された場合に、車両画像の車幅方向の仮想視点の移動に連動して、仮想視点の高さを変化させているが、車両画像の前後方向への仮想視点の移動が指示された場合も、車両画像の前後方向への仮想視点の移動に連動して、仮想視点の高さを変化させることも可能である。

次に、図５を用いて、本実施形態にかかる車両１による表示用画像の表示処理の流れの一例について説明する。図５は、第１の実施形態にかかる車両による表示用画像の表示処理の流れの一例を示すフローチャートである。

本実施形態では、表示用画像生成部４０１は、表示用画像の表示を指示する表示指示を取得する（ステップＳ５０１）。表示指示を取得した場合（ステップＳ５０２：Ｙｅｓ）、表示用画像生成部４０１は、過去位置における車両１の周囲を撮像部１５により撮像して得られる撮像画像を取得する（ステップＳ５０３）。例えば、表示用画像生成部４０１は、現在時刻より予め設定された時間（例えば、数秒）前の過去時刻の車両１の過去位置（若しくは、車両１の現在位置よりも予め設定された距離（例えば、２ｍ）手前の過去位置）において車両１の周囲を撮像部１５により撮像して得られた撮像画像を取得する。

次に、表示用画像生成部４０１は、取得した撮像画像に基づいて、仮想空間内の注視点を、操作入力部１０を介して入力された仮想視点から見た表示用画像を生成する（ステップＳ５０４）。本実施形態では、表示用画像生成部４０１は、過去位置における車両１の周囲を撮像部１５により撮像して得られる撮像画像に基づいて、表示用画像を生成しているが、撮像部１５により車両１の周囲を撮像して得られる撮像画像に基づいて、表示用画像を生成するものであれば良い。例えば、表示用画像生成部４０１は、現在位置における車両１の周囲を撮像部１５により撮像して得られる撮像画像に基づいて、表示用画像を生成しても良い。

表示用画像出力部４０２は、表示用画像生成部４０１により生成された表示用画像を表示装置８に出力して、表示装置８に対して表示用画像を表示させる（ステップＳ５０５）。その後、表示用画像生成部４０１は、表示用画像の表示終了を指示する終了指示を取得する（ステップＳ５０６）。終了指示が取得された場合（ステップＳ５０７：Ｙｅｓ）、表示用画像出力部４０２は、表示装置８に対する表示用画像の出力を停止して、表示装置８に対する表示用画像の表示を終了させる（ステップＳ５０８）。

一方、終了指示が取得されなかった場合（ステップＳ５０７：Ｎｏ）、表示用画像生成部４０１は、操作入力部１０を介して、車両画像の車幅方向への仮想視点の移動が指示されたか否かを判断する（ステップＳ５０９）。車両画像の車幅方向への仮想視点の移動が指示されずに、予め設定された時間が経過した場合（ステップＳ５０９：Ｎｏ）、表示用画像出力部４０２は、表示装置８に対する表示用画像の出力を停止して、表示装置８に対する表示用画像の表示を終了させる（ステップＳ５０８）。

車両画像の車幅方向への仮想視点の移動が指示された場合（ステップＳ５０９：Ｙｅｓ）、表示用画像生成部４０１は、車両画像の車幅方向への仮想視点の移動に連動して、当該仮想視点の高さを変化させる（ステップＳ５１０）。その後、表示用画像生成部４０１は、ステップＳ５０４に戻り、仮想空間内における注視点を、移動後の仮想視点から見た表示用画像を生成し直す。

次に、図６～８を用いて、本実施形態にかかる車両１による表示用画像の生成処理の一例について説明する。図６，７は、第１の実施形態にかかる車両による表示用画像の生成に用いるカメラ画モデルの一例を説明するための図である。図６および図７において、車両１のタイヤの接地面（路面）と平行な１つの方向をＺ方向とし、車両１のタイヤの接地面と平行かつＺ方向と直交する方向をＸ方向とし、接地面に対して垂直な方向をＹ方向とする。図８は、第１の実施形態にかかる車両における表示用画像の生成に用いるカメラ画モデルおよび車両画像の一例を説明するための図である。

本実施形態では、表示用画像生成部４０１は、図６および図７に示すように、第１面Ｓ１と第２面Ｓ２とを含むカメラ画モデルＳを予め生成する。本実施形態では、第１面Ｓ１は、車両１が存在する路面に対応する平坦な面である。例えば、第１面Ｓ１は、楕円形の平坦な面である。第２面Ｓ２は、第１面Ｓ１を基準として、第１面Ｓ１の外側（外縁）から、当該第１面Ｓ１から離れるに従ってＹ方向に徐々に立ち上がる曲面である。例えば、第２面Ｓ２は、第１面Ｓ１の外側から、Ｙ方向に楕円状または放物線状に立ち上がる曲面である。すなわち、表示用画像生成部４０１は、お椀型または円筒状の三次元の面をカメラ画モデルＳとして生成する。

本実施形態では、表示用画像生成部４０１は、平坦な第１面Ｓ１と、曲面の第２面Ｓ２と、を有する三次元の面である貼付面をカメラ画モデルＳとして生成しているが、三次元の貼付面をカメラ画モデルＳとして生成するものであれば、これに限定するものではない。例えば、表示用画像生成部４０１は、平坦な第１面Ｓ１と、当該第１面Ｓ１の外側から当該第１面Ｓ１に対して垂直または徐々に立ち上がる面の第２面Ｓ２と、を有する三次元の貼付面をカメラ画モデルＳとして生成しても良い。

次に、表示用画像生成部４０１は、過去位置Ｐ１において車両１の周囲を撮像部１５によって撮像して得られた撮像画像を、カメラ画モデルＳに対して貼り付ける。本実施形態では、表示用画像生成部４０１は、過去位置Ｐ１を原点とするワールド座標系で表されるカメラ画モデルＳ内の点（以下、貼付点と言う）の座標（以下、三次元座標と言う）と、当該三次元座標の貼付点に貼り付ける、撮像画像内の点（以下、カメラ画点と言う）の座標（以下、カメラ画座標と言う）とを対応付ける座標テーブルを予め作成する。そして、表示用画像生成部４０１は、撮像画像内のカメラ画点を、座標テーブルにおいて当該カメラ画点のカメラ画座標と対応付けられる三次元座標の貼付点に貼り付ける。本実施形態では、表示用画像生成部４０１は、車両１の内燃機関またはモータがスタートされる度に、当該座標テーブルを作成する。

その後、表示用画像生成部４０１は、撮像画像を貼り付けたカメラ画モデルＳを、車両１の周囲の空間に配置する。さらに、表示用画像生成部４０１は、図８に示すように、カメラ画モデルＳを配置した空間内における車両１の現在位置Ｐ２に対して、車両画像ＣＧを配置した空間を仮想空間Ａとして生成する。仮想空間Ａを生成すると、表示用画像生成部４０１は、図６に示すように、当該仮想空間Ａにおける車両画像ＣＧの前端から、第１面Ｓ１に対して垂直に下した点を注視点Ｐ３に設定する。次いで、表示用画像生成部４０１は、図８に示すように、操作入力部１０から入力された仮想視点Ｐ４から注視点Ｐ３を見た表示用画像を生成する。これにより、表示用画像に含まれる障害物の画像を立体的な車両画像ＣＧと同時に視認できるので、車両１と障害物との位置関係を把握し易くすることができる。

また、過去位置Ｐ１における車両１の周囲（例えば、車両１の前方）を広角のカメラ（例えば、画角が１８０°のカメラ）により撮像して得られる撮像画像が貼り付けられたカメラ画モデルＳを含む仮想空間Ａの画像をそのまま表示装置８に表示させた場合、撮像画像に含まれる車両１の画像（例えば、車両１のフロントバンパの画像）が表示用画像に映り込んでしまい、車両１の乗員が、違和感を覚えることがある。これに対して、本実施形態では、表示用画像生成部４０１は、車両１の過去位置Ｐ１から、車両１の外側に向かって、隙間を空けて、カメラ画モデルＳを設けることにより、撮像画像に含まれる車両１の画像が表示用画像に映り込むことを防止できるので、車両１の乗員が違和感を覚えることを防止できる。

次に、図９および図１０を用いて、本実施形態にかかる車両１における仮想視点の移動処理の一例について説明する。図９および図１０は、第１の実施形態にかかる車両における仮想視点の移動処理の一例を説明するための図である。

本実施形態では、表示用画像生成部４０１は、操作入力部１０を介して車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動が指示された場合、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動に連動して、仮想視点Ｐ４の高さを変化させる。例えば、車両画像ＣＧの車幅方向において当該車両画像ＣＧの中央Ｃから左側への仮想視点Ｐ４の移動が指示された場合、表示用画像生成部４０１は、図９および図１０に示すように、車両画像ＣＧの車幅方向において中央Ｃより左側、かつ中央Ｃに仮想視点Ｐ４が位置する際の当該仮想視点Ｐ４の高さ（車両画像ＣＧの上方）より低い高さの位置Ｘ１へ仮想視点Ｐ４を移動させる。

その後、再び、車両画像ＣＧの車幅方向において中央Ｃから左側への仮想視点Ｐ４の移動が指示された場合、表示用画像生成部４０１は、図９および図１０に示すように、車両画像ＣＧの車幅方向において中央Ｃより更に左側、かつ位置Ｘ１の高さより低い高さの位置Ｘ２へ仮想視点Ｐ４を移動させる。これにより、車両画像ＣＧの車幅方向に仮想視点Ｐ４を移動させるだけで、車両１の乗員が見たい視点位置からの表示用画像が表示されるように、仮想視点Ｐ４の高さも変化させることができるので、車両１の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

また、本実施形態では、表示用画像生成部４０１は、操作入力部１０を介して車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動が指示された場合、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動に連動して、車両画像ＣＧの前後方向へ仮想視点Ｐ４を移動させる。本実施形態では、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において中央Ｃから仮想視点Ｐ４が離れるに従って、車両画像ＣＧの前後方向において当該車両画像ＣＧの進行方向に仮想視点Ｐ４を移動させる。例えば、表示用画像生成部４０１は、図９に示すように、車両画像ＣＧの上方から見て、放物線状に、仮想視点Ｐ４を移動させる。これにより、車両１の乗員が見たい方向の表示用画像が表示されるように、車両画像ＣＧの前後方向における仮想視点Ｐ４の位置も変化させることができるので、車両１の乗員が見たい方向により近い方向の表示用画像を容易に表示できる。

また、本実施形態では、表示用画像生成部４０１は、車両１の走行状態に応じて、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動に連動して、車両画像ＣＧの前後方向へ仮想視点Ｐ４を移動させるか否かを判断しても良い。具体的には、シフトセンサ２１により変速操作部７が低速用のギアに切り替えられるなど、車両１がオフロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動に連動して、車両画像ＣＧの前後方向において当該車両画像ＣＧの進行方向に仮想視点Ｐ４を移動させる。

一方、シフトセンサ２１により変速操作部７が高速用のギアに切り替えられるなど、車両１がオンロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動に連動して、車両画像ＣＧの前後方向に仮想視点Ｐ４を移動させないか、若しくは車両画像ＣＧの前後方向における当該車両画像ＣＧの進行方向への仮想視点Ｐ４の移動量を、車両１がオフロードを走行する場合より少なくする。

また、本実施形態では、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において、仮想視点Ｐ４が移動した方向と同じ方向に注視点Ｐ３を移動させても良い。これにより、仮想視点Ｐ４の移動に連動して、車両１の乗員が確認したい位置に注視点Ｐ３を近づけることができるので、車両１の乗員が確認したい画像を表示用画像として生成できる。

例えば、車両画像ＣＧの車幅方向において中央Ｃから左側への仮想視点Ｐ４の移動が指示された場合、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において中央Ｃから左側への仮想視点Ｐ４の移動に連動して、車両画像ＣＧの車幅方向において中央Ｃから左側へ注視点Ｐ３を移動させる。本実施形態では、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において、仮想視点Ｐ４が移動した方向と同じ方向に注視点Ｐ３を移動させているが、これに限定するものではなく、車両画像ＣＧの車幅方向において、仮想視点Ｐ４が移動した方向と反対の方向に注視点Ｐ３を移動させても良い。

また、本実施形態では、表示用画像生成部４０１は、仮想視点Ｐ４を移動させる場合、車両画像ＣＧの車幅方向への注視点Ｐ３の移動量を、車両画像ＣＧの車幅方向への仮想視点Ｐ４の移動量より少なくする。これにより、車両１の近傍に存在する障害物と車両１との位置関係を確認する場合に、注視点Ｐ３が大きく移動することを防止できるので、車両１の近傍に存在する障害物が表示用画像の視野角から外れることなく、車両１の乗員が見たい位置がより確認し易い位置に注視点Ｐ３を移動させることができる。

次に、図１１～１４を用いて、本実施形態にかかる車両１において生成される表示用画像の一例について説明する。図１１～１４は、第１の実施形態にかかる車両において生成される表示用画像の一例を示す図である。

例えば、仮想視点Ｐ４の移動が指示される前、表示用画像生成部４０１は、図１１に示すように、車両画像ＣＧの車幅方向の中央Ｃでありかつ当該車両画像ＣＧの上方に存在する仮想視点Ｐ４から、注視点Ｐ３を見た表示用画像Ｇを生成する。また、表示用画像生成部４０１は、図１１に示すように、車両画像ＣＧの車幅方向において左側への仮想視点Ｐ４の移動を指示可能な左ボタンＢ１、車両画像ＣＧの車幅方向において右側への仮想視点Ｐ４の移動を指示可能な右ボタンＢ２、視野角を広げることを指示可能なマイナスボタンＢ３、および視野角を狭めることを指示可能なプラスボタンＢ４を含む表示用画像Ｇを生成する。また、左ボタンＢ１および右ボタンＢ２は、仮想視点Ｐ４の移動がイメージできれば良いため、配置、向き、および形状は、図１１に限定されず、例えば、斜め方向を向いていても良いし、曲線であっても良い。

そして、左ボタンＢ１が操作された場合、表示用画像生成部４０１は、図１２に示すように、位置Ｘ１（図９および図１０参照）に移動した仮想視点Ｐ４から、注視点Ｐ３を見た表示用画像Ｇを生成する。さらに、左ボタンＢ１が操作された場合、表示用画像生成部４０１は、図１３に示すように、位置Ｘ２（図９および図１０参照）に移動した仮想視点Ｐ４から、注視点Ｐ３を見た表示用画像Ｇを生成する。その後、再び、左ボタンＢ１が操作された場合、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において位置Ｘ２より左側、車両画像ＣＧの前後方向において位置Ｘ２より車両画像ＣＧの進行方向側、かつ位置Ｘ２の高さより予め設定された高さ下げた位置に仮想視点Ｐ４を移動させる。そして、表示用画像生成部４０１は、図１４に示すように、移動後の仮想視点Ｐ４から、注視点Ｐ３を見た表示用画像Ｇを生成する。

これにより、車両画像ＣＧの車幅方向に仮想視点Ｐ４を移動させるだけで、表示用画像Ｇが、車両１の乗員が見たい視点位置からの画像により近づくように、仮想視点Ｐ４の高さも変化させることができるので、車両１の乗員が見たい視点位置からの表示用画像Ｇを容易に表示できる。

また、マイナスボタンＢ３が操作された場合、表示用画像生成部４０１は、表示用画像Ｇの視野角を広げる。一方、プラスボタンＢ４が操作された場合、表示用画像生成部４０１は、表示用画像Ｇの視野角を狭める。これにより、車両１の乗員は任意の視野角の表示用画像Ｇを表示装置８に表示させることができる。

また、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において中央Ｃから仮想視点Ｐ４が離れるに従って、表示用画像Ｇの視野角を狭くしても良い。これにより、車両画像ＣＧの車幅方向に仮想視点Ｐ４を移動させるだけで、表示用画像Ｇが、車両１の乗員が見たい視野角の画像により近づくように、視野角を変化させることができるので、車両１の乗員が見たい視野角の表示用画像Ｇを容易に表示できる。また、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において中央Ｃから仮想視点Ｐ４が離れるに従って、表示用画像Ｇの視野角を広くすることも可能である。

また、表示用画像生成部４０１は、タッチパネル（操作入力部１０の一例）上でのスライド操作等によって、任意の方向への仮想視点Ｐ４の移動が指示された場合、仮想視点Ｐ４を、当該任意の方向の水平方向の成分に応じた水平方向位置であり、かつ当該水平方向位置に応じた高さの位置に移動させる。また、表示用画像生成部４０１は、任意の方向を指示するためのＧＵＩ（Graphical User Interface）として、左ボタンＢ１および右ボタンＢ２に加えて、車両画像ＣＧの前方への仮想視点Ｐ４の移動を指示可能な前ボタン、および車両画像ＣＧの後方への仮想視点Ｐ４の移動を指示可能な後ボタンを表示用画像Ｇに含めても良い。さらに、表示用画像生成部４０１は、操作入力部１０を介して、水平方向において、予め定められた軌跡上における任意の位置への仮想視点Ｐ４の移動が指示された場合、当該任意の位置への移動と連動して、仮想視点Ｐ４の高さを変化させても良い。

このように、第１の実施形態にかかる車両１によれば、車両画像の車幅方向に仮想視点を移動させるだけで、車両１の乗員が見たい視点位置からの表示用画像が表示されるように、仮想視点の高さも変化させることができるので、車両１の乗員が見たい視点位置からの表示用画像を容易に表示させることができる。

（第２の実施形態）
本実施形態は、車両画像の車幅方向における仮想視点の位置と、当該車幅方向における注視点の位置とを一致させる例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

図１５は、第２の実施形態にかかる車両における注視点の移動処理の一例を説明するための図である。図１５に示すように、表示用画像生成部４０１は、操作入力部１０を介して、車両画像ＣＧの車幅方向の中央Ｃから左側の位置Ｘ１への仮想視点Ｐ４の移動が指示された場合、仮想視点Ｐ４を位置Ｘ１に移動させる。それに伴い、表示用画像生成部４０１は、図１５に示すように、車両画像ＣＧの車幅方向における仮想視点Ｐ４の移動量と同じ移動量だけ、車両画像ＣＧの車幅方向の中央Ｃから左側に向かって注視点Ｐ３を移動させる。

また、表示用画像生成部４０１は、図１５に示すように、操作入力部１０を介して、車両画像ＣＧの車幅方向の中央Ｃから左側の位置Ｘ２への仮想視点Ｐ４の移動が指示された場合、仮想視点Ｐ４を位置Ｘ２へ移動させる。それに伴い、表示用画像生成部４０１は、図１５に示すように、車両画像ＣＧの車幅方向における仮想視点Ｐ４の移動量と同じ移動量だけ、車両画像ＣＧの車幅方向の中央Ｃから左側に向かって注視点Ｐ３を移動させる。

すなわち、表示用画像生成部４０１は、仮想空間Ａ内に配置した車両画像ＣＧの車幅方向における仮想視点Ｐ４の位置と注視点Ｐ３の位置とを一致させる。これにより、図１５に示すように、車両画像ＣＧと当該車両画像ＣＧの前方に存在する障害物との位置関係が把握し易くなるので、細い路地をすり抜ける場合や車両１を路肩に寄せる場合など、車両１の側方に存在する障害物との接触を避けたい場合に、少ない操作で車両１の乗員が見たい表示用画像を表示させることができる。また、注視点Ｐ３と仮想視点Ｐ４とを結ぶ線を、車両画像ＣＧの前後方向と平行にすることができるので、車両画像ＣＧがその側部の障害物と接触するか否かの判断が容易な表示用画像を表示できる。

本実施形態では、表示用画像生成部４０１は、図１５に示すように、車両画像ＣＧが有する前後方向の端のうち、車両画像ＣＧの進行方向と反対側の端を基準として、車両画像ＣＧの進行方向とは反対側において仮想視点Ｐ４を移動させているが、これに限定するものではない。例えば、表示用画像生成部４０１は、車両画像ＣＧが有する前後方向の端のうち、車両画像ＣＧの進行方向と反対側の端を基準として、車両画像ＣＧの進行方向側において仮想視点Ｐ４を移動させても良い。

例えば、車両１がオフロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧが有する前後方向の端のうち、車両画像ＣＧの進行方向と反対側の端を基準として、車両画像ＣＧの進行方向側において仮想視点Ｐ４を移動させる（図９参照）。一方、車両１がオンロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧが有する前後方向の端のうち、車両画像ＣＧの進行方向と反対側の端を基準として、車両画像ＣＧの進行方向とは反対側において仮想視点Ｐ４を移動させる。

図１６～１８は、第２の実施形態にかかる車両において生成される表示用画像の一例を示す図である。例えば、仮想視点Ｐ４の移動が指示される前、表示用画像生成部４０１は、図１６に示すように、車両画像ＣＧの車幅方向の中央でありかつ当該車両画像ＣＧの上方に存在するデフォルトの仮想視点Ｐ４から、注視点Ｐ３を見た表示用画像Ｇを生成する。これにより、仮想視点Ｐ４を車両画像ＣＧの側部に移動させたい場合に、仮想視点Ｐ４の移動量を少なくすることができるので、仮想視点Ｐ４を所望の位置に短時間で移動させることができる。

そして、左ボタンＢ１が操作された場合、表示用画像生成部４０１は、車両画像ＣＧの車幅方向においてデフォルトの仮想視点Ｐ４の左側でありかつデフォルトの仮想視点Ｐ４より低い位置に仮想視点Ｐ４を移動させると共に、車両画像ＣＧの車幅方向における移動後の仮想視点Ｐ４と同じ位置に注視点Ｐ３を移動させる。さらに、表示用画像生成部４０１は、図１７に示すように、移動後の仮想視点Ｐ４から、移動後の注視点Ｐ３を見た表示用画像Ｇを生成する。

本実施形態では、左ボタンＢ１または右ボタンＢ２の操作が開始されてから、当該ボタンの操作が解除されるまで、表示用画像生成部４０１は、車両画像ＣＧの車幅方向において、当該ボタンの操作により移動が指示された方向に対して、仮想視点Ｐ４を移動させ続ける。これにより、車両画像ＣＧの車幅方向において、仮想視点Ｐ４が所望の位置に移動するまで、仮想視点Ｐ４の移動を指示するための操作を複数回行う必要が無くなるので、簡単な操作で、仮想視点Ｐ４を所望の位置に移動させることができる。

また、表示用画像生成部４０１は、仮想視点Ｐ４の高さの変化に応じて、車両画像ＣＧの透過率を変更する。具体的には、表示用画像生成部４０１は、図１６に示すように、仮想視点Ｐ４の高さが第１高さ（例えば、車両画像ＣＧの上方）である場合、車両画像ＣＧの透過率を第１透過率とする。本実施形態では、第１透過率は、車両画像ＣＧを介して、仮想空間を透視可能な透過率である。一方、表示用画像生成部４０１は、図１７に示すように、仮想視点Ｐ４の高さが第１高さより低い第２高さ（例えば、車両画像ＣＧの屋根の高さ）である場合、車両画像ＣＧの透過率を第２透過率とする。本実施形態では、第２透過率は、第１透過率より低い透過率であり、車両画像ＣＧを介して仮想空間を透視可能な透過率である。

さらに、表示用画像生成部４０１は、図１８に示すように、仮想視点Ｐ４の高さが第２高さより低い第３高さ（例えば、車両画像ＣＧの屋根より低い高さ）である場合、車両画像ＣＧの透過率を第３透過率とする。本実施形態では、第３透過率は、第２透過率より低い透過率であり、車両画像ＣＧを介して仮想空間を透視できない透過率である。すなわち、表示用画像生成部４０１は、仮想視点Ｐ４の高さが低くなるに従って、車両画像ＣＧの透過率を下げる。

これにより、仮想視点Ｐ４が車両画像ＣＧの上方に移動された場合、車両画像ＣＧおよび当該車両画像ＣＧの周囲を見渡すことを目的として仮想視点Ｐ４を移動させた可能性が高いため、車両画像ＣＧの透過率を上げて、車両画像ＣＧを介して当該車両画像ＣＧの周囲を見渡し易くする。一方、仮想視点Ｐ４が車両画像ＣＧの側部に移動された場合、車両画像ＣＧとその周囲の障害物との位置関係を視認することを目的として仮想視点Ｐ４を移動させた可能性が高いため、車両画像ＣＧの透過率を下げて、車両画像ＣＧとその周囲の障害物との位置関係を視認し易くする。

よって、仮想視点Ｐ４を車両画像ＣＧの車幅方向に移動させるだけで、車両画像ＣＧの透過率を、車両１の乗員が仮想視点Ｐ４を移動させた目的の情報が確認し易い透過率に変更できるので、簡単な操作で、車両１の乗員が仮想視点Ｐ４を移動させた目的の情報が確認し易い表示用画像Ｇを表示させることができる。本実施形態では、表示用画像生成部４０１は、仮想視点Ｐ４の高さが低くなるに従って、車両画像ＣＧの透過率を下げているが、これに限定するものではなく、仮想視点Ｐ４の高さが低くなるに従って、車両画像ＣＧの透過率を上げることも可能である。

さらに、表示用画像生成部４０１は、車両１の走行状態に応じて、車両画像ＣＧの透過率を変更しても良い。具体的には、シフトセンサ２１により変速操作部７が低速用のギアに切り替えられるなど、車両１がオフロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧの透過率を、当該車両画像ＣＧを介して仮想空間を透視可能な透過率とする。一方、シフトセンサ２１により変速操作部７が高速用のギアに切り替えられるなど、車両１がオンロードを走行することを検出した場合、表示用画像生成部４０１は、車両画像ＣＧの透過率を、当該車両画像ＣＧを介して仮想空間を透視できない透過率とする。

このように、第２の実施形態にかかる車両１によれば、車両画像と当該車両画像の側方に存在する障害物との位置関係が把握し易くなるので、細い路地をすり抜ける場合や車両１を路肩に寄せる場合など、車両１の側方に存在する障害物との接触を避けたい場合に、少ない操作で車両１の乗員が見たい表示用画像を表示させることができる。

１…車両、８…表示装置、１４…ＥＣＵ、１５…撮像部、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、４０１…表示用画像生成部、４０２…表示用画像出力部。

Claims

車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、前記仮想視点の移動が指示された場合、前記車両画像の車幅方向への方向成分を含む移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記車両画像の前後方向における前記仮想視点の位置を、前記車両画像の進行方向に移動させる、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、任意の方向への前記仮想視点の移動が指示された場合、前記仮想視点を、水平方向においては前記任意の方向の水平方向成分に応じた水平方向位置に、高さ方向においては水平方向における前記水平方向位置に応じた高さに移動させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記車両画像の前後方向における前記仮想視点の位置を、前記車両画像の進行方向に移動させる、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、水平方向において、予め定められた軌跡上における任意の位置への前記仮想視点の移動が指示された場合、前記任意の位置への移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記車両画像の前後方向における前記仮想視点の位置を、前記車両画像の進行方向に移動させる、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、前記仮想視点の移動が指示された場合、前記車両画像の車幅方向への方向成分を含む移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記仮想視点の高さが第１高さである場合、前記車両画像の透過率を第１透過率とし、前記仮想視点の高さが前記第１高さより低い第２高さである場合、前記車両画像の透過率を前記第１透過率より低い第２透過率とする、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、任意の方向への前記仮想視点の移動が指示された場合、前記仮想視点を、水平方向においては前記任意の方向の水平方向成分に応じた水平方向位置に、高さ方向においては水平方向における前記水平方向位置に応じた高さに移動させ、
前記生成部は、前記仮想視点の高さが第１高さである場合、前記車両画像の透過率を第１透過率とし、前記仮想視点の高さが前記第１高さより低い第２高さである場合、前記車両画像の透過率を前記第１透過率より低い第２透過率とする、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、水平方向において、予め定められた軌跡上における任意の位置への前記仮想視点の移動が指示された場合、前記任意の位置への移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記仮想視点の高さが第１高さである場合、前記車両画像の透過率を第１透過率とし、前記仮想視点の高さが前記第１高さより低い第２高さである場合、前記車両画像の透過率を前記第１透過率より低い第２透過率とする、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、前記仮想視点の移動が指示された場合、前記車両画像の車幅方向への方向成分を含む移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記表示用画像の視野角を狭くする、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、任意の方向への前記仮想視点の移動が指示された場合、前記仮想視点を、水平方向においては前記任意の方向の水平方向成分に応じた水平方向位置に、高さ方向においては水平方向における前記水平方向位置に応じた高さに移動させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記表示用画像の視野角を狭くする、周辺監視装置。
車両が搭載する撮像部により当該車両の周囲を撮像して得られる撮像画像が、前記車両の周囲の三次元の面に貼り付けられたモデルと、三次元の車両画像と、を含む仮想空間内の注視点を仮想視点から見た表示用画像を生成する生成部と、
前記表示用画像を表示部に出力する出力部と、を備え、
前記生成部は、操作入力部を介して、水平方向において、予め定められた軌跡上における任意の位置への前記仮想視点の移動が指示された場合、前記任意の位置への移動と連動して、前記仮想視点の高さを変化させ、
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記表示用画像の視野角を狭くする、周辺監視装置。
前記生成部は、前記車両画像の車幅方向における前記車両画像の中央から前記仮想視点が離れるに従って、前記仮想視点の高さを低くする請求項１から９のいずれか一に記載の周辺監視装置。
前記生成部は、前記車両画像の車幅方向における前記仮想視点の位置と、前記車両画像の車幅方向における注視点の位置とを一致させる請求項１から１０のいずれか一に記載の周辺監視装置。