JP7091624B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

車両の周囲を撮像して得られる撮像画像を、立体的な投影面に投影し、撮像画像が投影された立体的な投影面を、仮想視点から見た合成画像を表示する技術が開発されている。

特許第５２９２８７４号公報 特許第３３００３３４号公報

しかしながら、立体的な投影面において車両を含む平坦な投影面が狭い場合、車両の周囲に存在する駐車領域が平坦な投影面に投影されず、駐車領域を特定可能とする駐車枠が歪んでしまう。一方、当該平坦な投影面が広すぎる場合、車両から離れた位置の障害物が平坦な投影面に投影されるため、当該障害物が歪み、違和感のある合成画像が表示される。

実施形態の画像処理装置は、一例として、車両が搭載する撮像部により車両の周囲を撮像して得られる撮像画像を取得する取得部と、車両と当該車両の上方に立ち上がる第１投影領域とを含む立体投影面に対して撮像画像を投影し、かつ立体投影面を仮想視点から見た合成画像を生成する生成部と、合成画像を表示部に表示させる表示制御部と、立体投影面において車両を駐車する目標駐車領域を決定する決定部と、第１投影領域における目標駐車領域を、車両に対して水平な第２投影領域に変更する変更部と、を備え、変更部は、第１投影領域における目標駐車領域のみが第２投影領域に含まれるように、第２投影領域を部分的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車領域が自然に見える合成画像を表示できる。

また、実施形態の画像処理装置は、一例として、第１投影領域は、第２投影領域の周囲に位置し、第２投影領域は、車両を含み、変更部は、車両の位置から見て目標駐車領域の奥側の端が第２投影領域に含まれるように、第２投影領域を全体的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車領域が自然に見える合成画像を表示できる。

また、実施形態の画像処理装置は、一例として、第１投影領域は、第２投影領域の周囲に位置し、第２投影領域は、車両を含み、変更部は、目標駐車領域の周囲に障害物が存在しない場合、車両の位置から見て目標駐車領域の奥側の端が第２投影領域に含まれるように、第２投影領域を全体的に大きくし、目標駐車領域の周囲に障害物が存在する場合、第１投影領域における目標駐車領域のみが第２投影領域に含まれるように、第２投影領域を部分的に大きくする。よって、本実施形態の画像処理装置は、一例として、車両の目標駐車位置の周囲の環境が変わっても、目標駐車領域および当該目標駐車領域の周囲が自然に見える合成画像を表示できる。

また、実施形態の画像処理装置は、一例として、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける第１マップと、車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影するテクスチャ座標とを対応付ける第２マップと、を記憶する記憶部と、目標駐車領域が決定した場合、第１マップのうち、第２投影領域における車両の位置から目標駐車領域までの車両の移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップを、平面投影面における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける第２マップに上書きして、第１マップを生成部に送信する送信部と、をさらに備え、生成部は、送信部から受信する第１マップに従って、撮像画像を立体投影面に投影する。よって、本実施形態の画像処理装置は、一例として、合成画像の表示処理を高速化できる。

図１は、第１の実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例の平面図である。 図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、第１の実施形態にかかる車両が有するＥＣＵによる合成画像の表示処理の流れの一例を示すフローチャートである。 図６は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。 図７は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。 図８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１０は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１１は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１２は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１３は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１４は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１５は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１６は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１７は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図１８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。 図１９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。 図２０は、第２の実施形態にかかる車両が有するＥＣＵにおける撮像画像の投影処理の一例を説明するための図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかる画像処理装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、撮像部１５により車両１の周囲を撮像して得られる撮像画像を予め設定された投影面に投影し、当該投影面を、仮想視点から見た画像を生成し、当該生成した画像を表示装置８に表示させる画像処理装置の一例として機能する。ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ＥＣＵ１４は、車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７の機能を実現する。車両状態取得部４０１、画像取得部４０２、合成画像生成部４０３、車両周囲状況検出部４０４、目標駐車領域決定部４０５、投影領域変更部４０６、および画像出力部４０７の一部または全部を回路等のハードウェアによって構成しても良い。

車両状態取得部４０１は、舵角センサ１９により検出される操舵部４の操舵量、アクセルセンサ２０により検出されるアクセルペダルの位置、シフトセンサ２１により検出される変速操舵部７の可動部の位置、車輪速センサ２２により検出される車輪３の回転数など、車両１の状態を取得する。画像取得部４０２は、撮像部１５から、車両１の周囲を当該撮像部１５により撮像して得られる撮像画像を取得する。

合成画像生成部４０３は、画像取得部４０２により取得した撮像画像を、立体的な投影面（以下、立体投影面と言う）に対して投影する。ここで、立体投影面は、車両１と、当該車両１の上方に立ち上がる投影領域（以下、立体投影領域と言う）と、を含む投影面である。本実施形態では、立体投影面は、車両１に対して水平な投影領域（以下、平面投影領域と言う）と、当該平面投影領域の周囲に位置する立体投影領域と、を有する。そして、合成画像生成部４０３は、撮像画像を立体投影面に投影し、撮像画像を投影した立体投影面を、仮想視点から見た画像（以下、合成画像と言う）を生成する。

車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、車両１を駐車する位置である目標駐車位置、車両１の周囲に存在する障害物など、車両１の周囲の状況を検出する。目標駐車領域決定部４０５は、立体投影面における、車両１を駐車する領域である目標駐車領域を決定する。ここで、目標駐車領域は、立体投影面において、車両周囲状況検出部４０４により検出される目標駐車位置に対応する領域である。具体的には、目標駐車領域は、立体投影面において、目標駐車位置の撮像画像（撮像部１５により車両１の目標駐車位置を撮像して得られる撮像画像）を投影する領域である。

画像出力部４０７は、合成画像生成部４０３により生成された合成画像を表示装置８に出力して、合成画像を表示装置８に表示させる表示制御部の一例として機能する。投影領域変更部４０６は、立体投影領域における車両１の移動経路および目標駐車領域の少なくとも一部を、平面投影領域に変更する。ここで、移動経路は、車両１の位置から目標駐車領域までに車両１が移動する経路である。これにより、車両１の移動経路の撮像画像が平坦な投影面に投影され、立体投影面において、車両１の目標駐車領域（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できるので、車両１の目標駐車領域が自然に見える合成画像を表示できる。

次に、図５を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による合成画像の表示処理の流れの一例について説明する。図５は、第１の実施形態にかかる車両が有するＥＣＵによる合成画像の表示処理の流れの一例を示すフローチャートである。

本実施形態では、画像状態取得部４０１は、操作入力部１０等から、合成画像の表示を指示する表示指示を取得する（ステップＳ５０１）。表示指示を取得した場合（ステップＳ５０２：Ｙｅｓ）、画像取得部４０２は、撮像部１５から、当該撮像部１５によって車両１の周囲を撮像して得られる撮像画像を取得する（ステップＳ５０３）。例えば、画像取得部４０２は、車両１の現在位置において、車両１の周囲を撮像部１５により撮像して得られる撮像画像を取得する。

次に、合成画像生成部４０３は、取得した撮像画像を立体投影面に投影し、かつ当該立体投影面を予め設定された仮想視点から見た合成画像を生成する（ステップＳ５０４）。本実施形態では、合成画像生成部４０３は、取得した撮像画像内の各座標（以下、テクスチャ座標と言う）を、射影変換によって、立体投影面内の座標に変換する。そして、合成画像生成部４０３は、取得した撮像画像内の各テクスチャ座標の画像を、立体投影面において、当該テクスチャ座標から射影変換された座標が表す位置に投影する。これにより、合成画像生成部４０３は、撮像画像を立体投影面に投影する。

車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、目標駐車位置等の車両１の周囲の状況を検出する（ステップＳ５０５）。また、目標駐車領域決定部４０５は、立体投影面において、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域を決定する（ステップＳ５０６）。次いで、合成画像生成部４０３は、決定した目標駐車領域が、立体投影領域に含まれるか否かを判断する（ステップＳ５０７）。そして、決定した目標駐車領域が、立体投影領域に含まれない場合（ステップＳ５０７：Ｎｏ）、表示制御部４０６は、合成画像生成部４０３により生成された合成画像を表示装置８に表示させる（ステップＳ５０８）。

一方、決定した目標駐車領域が立体投影領域に含まれる場合（ステップＳ５０７：Ｙｅｓ）、合成画像生成部４０３は、立体投影領域における車両１の移動経路および目標駐車領域を平面投影領域に変更する（ステップＳ５０９）。そして、合成画像生成部４０３は、立体投影領域を変更後の立体投影面に対して撮像画像を投影し直し、かつ撮像画像を投影し直した立体投影面を仮想視点から見た合成画像を生成する（ステップＳ５１０）。その後、表示制御部４０６は、合成画像生成部４０３により生成された合成画像を表示装置８に表示させる（ステップＳ５０８）。

次に、図６を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による立体投影領域の変更処理の一例について説明する。図６は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。図６において、平面投影領域Ｒ２と平行な１つの方向をＺ方向とし、平面投影領域Ｒ２と平行かつＺ方向と直交する方向をＸ方向とし、平面投影領域Ｒ２に対して垂直な方向をＹ方向とする。

例えば、合成画像生成部４０３は、図６に示すように、平面投影領域Ｒ２と立体投影領域Ｒ１とを含む立体投影面Ｒを予め生成する。平面投影領域Ｒ２は、車両１の位置Ｐを中心とする円形（正円や楕円など）の平坦な投影領域である。本実施形態では、平面投影領域Ｒ２を円形の投影領域としているが、これに限定するものではなく、例えば、多角形の平坦な投影領域であっても良い。立体投影領域Ｒ１は、平面投影領域Ｒ２を基準として、平面投影領域Ｒ２の端（外縁）から、平面投影領域Ｒ２から離れるに従ってＹ方向（平面投影領域Ｒ２の上方）に徐々に立ち上がる投影領域である。具体的には、立体投影領域Ｒ２は、平面投影領域Ｒ２の外縁から、Ｙ方向に楕円状または放物線状に立ち上がる曲面である。すなわち、合成画像生成部４０３は、車両１の位置Ｐを含むお椀型の三次元の面を立体投影面Ｒとして生成する。次いで、合成画像生成部４０３は、生成した立体投影面Ｒに対して、画像取得部４０２により取得した撮像画像を投影する。

また、車両周囲状況検出部４０４は、画像取得部４０２により取得される撮像画像等に基づいて、車両１の目標駐車位置を検出する。そして、目標駐車領域決定部４０５は、図６に示すように、立体投影面Ｒにおいて、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域ＴＲを決定する。次いで、投影領域変更部４０６は、図６に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における、車両１の位置Ｐから見て当該目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２の半径を大きくする。本実施形態では、投影領域変更部４０６は、平面投影領域Ｒ２の半径を大きくすることによって、車両１の位置Ｐから見て目標駐車領域ＴＲの奥側の端Ｅを平面投影領域Ｒ２に含めているが、平面投影領域Ｒ２を全体的に大きく（拡大）することによって、車両１の位置Ｐから見て目標駐車領域ＴＲの奥側の端Ｅを平面投影領域Ｒ２に含めるものであれば、これに限定するものではない。

これにより、車両１の移動経路および目標駐車領域ＴＲの撮像画像を、平坦な平面投影領域Ｒ２に投影することができ、立体投影面Ｒにおいて、車両１の目標駐車位置を特定可能とする画像（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できる。その結果、車両１の目標駐車領域ＴＲが自然に見える合成画像を表示できる。

次に、図７を用いて、本実施形態にかかる車両１が有するＥＣＵ１４による立体投影領域の変更処理の他の例について説明する。図７は、第１の実施形態にかかる車両が有するＥＣＵによる立体投影領域の変更処理の一例を説明するための図である。図７において、平面投影領域Ｒ２と平行な１つの方向をＺ方向とし、平面投影領域Ｒ２と平行かつＺ方向と直交する方向をＸ方向とし、平面投影領域Ｒ２に対して垂直な方向をＹ方向とする。

例えば、合成画像生成部４０３は、図７に示すように、図６と同様にして、予め生成した立体投影面Ｒに対して、画像取得部４０２により取得した撮像画像を投影する。また、車両周囲状況検出部４０４は、画像取得部４０２により取得した撮像画像等に基づいて、車両１の目標駐車位置を検出する。そして、目標駐車領域決定部４０５は、図７に示すように、立体投影面Ｒにおいて、車両周囲状況検出部４０４により検出された目標駐車位置に対応する目標駐車領域ＴＲを決定する。

次いで、投影領域変更部４０６は、図７に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における目標駐車領域ＴＲのみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を部分的に大きく（拡張）する。言い換えると、合成画像生成部４０３は、図７に示すように、決定した目標駐車領域ＴＲが立体投影領域Ｒ１に含まれる場合、立体投影領域Ｒ１における目標駐車領域ＴＲ以外の領域を立体投影領域Ｒ１に保持しつつ、当該目標駐車領域ＴＲが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張する。

以上により、目標駐車領域ＴＲに隣接する領域に他の車両等の立体的な障害物が存在する場合に、目標駐車領域ＴＲの撮像画像を平坦な平面投影領域Ｒ２に投影しつつ、目標駐車領域ＴＲに隣接する領域に投影される立体的な障害物の撮像画像を立体投影領域Ｒ１に投影できる。これにより、立体投影面Ｒに投影される障害物の画像が長く間延びした画像とならずに、車両１の目標駐車領域ＴＲ（例えば、駐車枠）が歪むことを防止できる。その結果、車両１の目標駐車領域ＴＲおよび目標駐車領域ＴＲの周囲の障害物が自然に見える合成画像を表示できる。本実施形態では、投影領域変更部４０６は、立体投影領域Ｒ１における目標駐車領域ＴＲ全体を平面投影領域Ｒ２に変更しているが、立体投影領域Ｒ１における目標駐車領域ＴＲおよび移動経路の少なくとも一部のみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張するものであれば良い。

また、投影領域変更部４０６は、決定した目標駐車領域ＴＲの周囲に障害物が存在するか否かに応じて、立体投影領域Ｒ１を平面投影領域Ｒ２に変更する方法を切り替えることも可能である。具体的には、投影領域変更部４０６は、目標駐車領域ＴＲの周囲に障害物が存在しない場合、車両１の位置Ｐから見て当該目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡大する。一方、投影領域変更部４０６は、目標駐車領域ＴＲの周囲に障害物が存在する場合、立体投影領域Ｒ１における目標駐車領域ＴＲおよび移動経路の少なくとも一部のみが平面投影領域Ｒ２に含まれるように、平面投影領域Ｒ２を拡張する。これにより、車両１の目標駐車位置の周囲の環境が変わっても、目標駐車領域ＴＲおよび当該目標駐車領域ＴＲの周囲が自然に見える合成画像を表示できる。

また、投影領域変更部４０６は、立体投影面Ｒにおいて、車両１から見て、目標駐車領域ＴＲよりも遠方（先）の領域が平面投影領域Ｒ２に含まれる場合、平面投影領域Ｒ２を縮小することも可能である。具体的には、投影領域変更部４０６は、立体投影面Ｒにおいて、車両１から見て目標駐車領域ＴＲの奥側の端Ｅが平面投影領域Ｒ２の端と一致するように、平面投影領域Ｒ２を縮小する。これにより、目標駐車領域ＴＲの撮像画像を平面投影領域Ｒ２に投影しつつ、目標駐車領域ＴＲより遠方の領域を立体投影領域Ｒ１に投影することが可能となる。

次に、図８～１３を用いて、本実施形態にかかる車両１が有するＥＣＵ１４によって表示される合成画像の一例について説明する。図８，１０，１２は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。図９，１１，１３は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。図９，１１，１３において、横軸は、Ｘ方向およびＺ方向に平行なＸＺ面における、車両１の位置からの立体投影面内の各点までの距離を表し、縦軸は、立体投影面内の各点の高さ（すなわち、Ｙ方向の座標）を表す。

例えば、合成画像生成部４０３は、図９に示すように、車両１の位置を中心とする半径５０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、車両１の位置から見て、目標駐車領域の手前から立体投影面がＹ方向に立ち上がり、目標駐車領域の撮像画像が立体的な投影面に投影される。そのため、図８に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、目標駐車領域ＴＲに含まれる駐車枠Ｗ）が歪曲してしまい、車両１の目標駐車領域ＴＲが自然に見える合成画像Ｇを表示できない。

また、合成画像生成部４０３は、図１１に示すように、車両１の位置を中心とする半径３００００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、目標駐車領域が平坦な投影面に投影される。しかしながら、車両１の位置から見て、目標駐車領域よりも遠方に存在する他の車両等の立体的な障害物も平坦な投影面に投影される。そのため、図１０に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）に歪曲は発生しないが、遠方に存在する立体的な障害物の画像が合成画像Ｇに含まれなくなり、車両１の目標駐車領域ＴＲおよびその周囲を特定可能とする合成画像Ｇを表示できない。

そこで、投影領域変更部４０６は、図１３に示すように、車両１の位置から見て目標駐車領域の奥側の端が平面投影領域に含まれるように、平面投影領域を拡大する。そして、合成画像生成部４０３は、車両１の位置を中心とする半径７０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、立体投影面において、目標駐車領域が平面投影領域に含まれ、かつ車両１の位置から見て、目標駐車領域よりも遠方に存在する立体的な障害物は立体投影領域に投影される。これにより、図１２に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲが歪曲せず、遠方に存在する立体的な障害物の画像を合成画像Ｇに含めることができるので、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できる。

次に、図１４～１９を用いて、本実施形態にかかる車両１が有するＥＣＵ１４によって表示される合成画像の他の例について説明する。図１４，１６，１８は、第１の実施形態にかかる車両が有するＥＣＵによって表示される合成画像の一例を示す図である。図１５，１７，１９は、第１の実施形態にかかる車両が有するＥＣＵによって撮像画像を投影する立体投影面の断面図の一例である。図１５，１７，１９において、横軸は、Ｘ方向およびＺ方向に平行なＸＺ面における、車両１の位置からの立体投影面内の各点までの距離を表し、縦軸は、立体投影面内の各点の高さ（すなわち、Ｙ方向の座標）を表す。

例えば、合成画像生成部４０３は、図１５に示すように、車両１の位置を中心とする半径５０００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、車両１の位置から見て、目標駐車領域の手前から立体投影面がＹ方向に立ち上がり、目標駐車領域が立体的な投影面に投影される。そのため、図１４に示すように、表示装置８に表示される合成画像Ｇにおいて、目標駐車領域ＴＲの周囲に存在する他の車両Ｃは自然に表示されるが、目標駐車領域ＴＲ（例えば、駐車枠Ｗ）が歪曲してしまい、車両１の目標駐車領域ＴＲが自然に見える合成画像Ｇを表示できない。

また、合成画像生成部４０３は、図１７に示すように、車両１の位置を中心とする半径３００００ｍｍの円形の平面投影領域と、当該平面投影領域の外縁からＹ方向に放物線状に立ち上がる立体投影領域とを含む立体投影面に撮像画像を投影する。この場合、立体投影面において、目標駐車領域が平面投影領域に含まれ、目標駐車領域が平坦な投影面に投影される。しかしながら、目標駐車領域の周囲に存在する他の車両、および車両１の位置から見て目標駐車領域ＴＲよりも遠方に存在する立体的な障害物も平坦な投影面に投影される。そのため、図１６に示すように、表示装置８に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）の歪曲は発生しないが、目標駐車領域ＴＲに周囲に存在する他の車両Ｃおよび遠方に存在する立体的な障害物の画像が長く間延びした画像となり、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できない。

そこで、投影領域変更部４０６は、図１９に示すように、立体投影領域における目標駐車領域ＴＲのみが平面投影領域に含まれるように、平面投影領域を拡張する。そして、合成画像生成部４０３は、平面投影領域を拡張した立体投影面に撮像画像を投影する。この場合、目標駐車領域の周囲、および車両１の位置から見て、目標駐車領域よりも遠方に存在する立体的な障害物が立体投影領域に投影される。これにより、図１８に示すように、表示装置９に表示される合成画像Ｇに含まれる目標駐車領域ＴＲ（例えば、駐車枠Ｗ）が歪曲せず、目標駐車領域ＴＲの周囲（例えば、他の車両Ｃ）、および目標駐車領域ＴＲより遠方に存在する立体的な障害物を合成画像Ｇに含めることができるので、車両１の目標駐車領域ＴＲおよびその周囲が自然に見える合成画像Ｇを表示できる。

このように、第１の実施形態にかかる車両１によれば、車両１の目標駐車領域および車両１の移動経路が平坦な投影面に投影され、立体投影面において、車両１の目標駐車領域（例えば、駐車枠）が歪んだり、投影されなかったりすることを防止できるので、車両１の目標駐車領域が自然に見える合成画像を表示できる。

（第２の実施形態）
本実施形態は、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける３Ｄ対応マップと、車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける２Ｄマップとを用いて、撮像画像を立体投影面に投影する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

図２０は、第２の実施形態にかかる車両が有するＥＣＵにおける撮像画像の投影処理の一例を説明するための図である。本実施形態では、ＲＯＭ１４ｂは、３ＤマップＭ１と、２ＤマップＭ２とを記憶する記憶部である。ここで、３ＤマップＭ１は、立体投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップである。２ＤマップＭ２は、車両１に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップである。

本実施形態では、投影領域変更部４０６は、目標駐車領域が決定すると（すなわち、車両１の駐車支援処理が実行される場合）、３ＤマップＭ１のうち、立体投影領域における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付けるマップを、平面投影面における移動経路の座標と当該座標に投影する撮像画像のテクスチャ座標とを対応付ける２ＤマップＭ１で上書きする。そして、投影領域変更部４０６は、２ＤマップＭ２で上書きされた３ＤマップＭ１を、合成画像生成部４０３に送信する。また、本実施形態では、投影領域変更部４０６は、目標駐車領域が決定していない場合（すなわち、車両１の駐車支援処理が実行されていない場合）、ＲＯＭ１４ｂに記憶される３ＤマップＭ１を、２ＤマップＭ２による上書きを行わずに、合成画像生成部４０３に送信する。これにより、合成画像を表示する度に、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを計算する必要が無くなるので、合成画像の表示処理を高速化できる。また、立体投影面内における移動経路が変化した場合でも、３ＤマップＭ１を２ＤマップＭ２で上書きして送信すれば良く、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを再計算する必要が無いので、合成画像の表示処理をより高速化できる。

本実施形態では、合成画像生成部４０３は、投影領域変更部４０６から受信する３ＤマップＭ１に従って、画像取得部４０２により取得した撮像画像を、立体投影面に投影する。具体的には、合成画像生成部４０３は、撮像画像に含まれる各画素について、３ＤマップＭ１において当該画素のテクスチャ座標と対応付けられる立体投影面の座標を特定する。そして、合成画像生成部４０３は、立体投影面において、特定した座標の位置に対して、当該画素を投影することにより、撮像画像を立体投影面に投影する。

このように、第２の実施形態にかかる車両１によれば、合成画像を表示する度に、立体投影面内の座標と当該座標に投影する撮像画像のテクスチャ座標とを計算する必要が無くなるので、合成画像の表示処理を高速化できる。

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１５…撮像部、４０１…車両状態取得部、４０２…画像取得部、４０３…合成画像生成部、４０４…車両周囲状況検出部、４０５…目標駐車領域決定部、４０６…投影領域変更部、４０７…画像出力部。

Claims (4)

1. 車両が搭載する撮像部により前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、
   前記車両と当該車両の上方に立ち上がる第１投影領域とを含む立体投影面に対して前記撮像画像を投影し、かつ前記立体投影面を仮想視点から見た合成画像を生成する生成部と、
   前記合成画像を表示部に表示させる表示制御部と、
   前記立体投影面において前記車両を駐車する目標駐車領域を決定する決定部と、
   前記第１投影領域における前記目標駐車領域を、前記車両に対して水平な第２投影領域に変更する変更部と、
   を備え、
   前記変更部は、前記第１投影領域における前記目標駐車領域のみが前記第２投影領域に含まれるように、前記第２投影領域を部分的に大きくする画像処理装置。
2. 前記第１投影領域は、前記第２投影領域の周囲に位置し、
   前記第２投影領域は、前記車両を含み、
   前記変更部は、前記車両の位置から見て前記目標駐車領域の奥側の端が前記第２投影領域に含まれるように、前記第２投影領域を全体的に大きくする請求項１に記載の画像処理装置。
3. 前記第１投影領域は、前記第２投影領域の周囲に位置し、
   前記第２投影領域は、前記車両を含み、
   前記変更部は、前記目標駐車領域の周囲に障害物が存在しない場合、前記車両の位置から見て前記目標駐車領域の奥側の端が前記第２投影領域に含まれるように、前記第２投影領域を全体的に大きくし、前記目標駐車領域の周囲に障害物が存在する場合、前記第１投影領域における前記目標駐車領域のみが前記第２投影領域に含まれるように、前記第２投影領域を部分的に大きくする請求項１に記載の画像処理装置。
4. 前記立体投影面の座標と当該座標に投影する前記撮像画像のテクスチャ座標とを対応付ける第１マップと、前記車両に対して水平な投影面のみからなる平面投影面の座標と当該座標に投影する前記テクスチャ座標とを対応付ける第２マップと、を記憶する記憶部と、
   前記目標駐車領域が決定した場合、前記第１マップのうち、前記第２投影領域における前記車両の位置から前記目標駐車領域までの前記車両の移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付けるマップを、前記平面投影面における前記移動経路の座標と当該座標に投影する前記撮像画像の前記テクスチャ座標とを対応付ける前記第２マップに上書きして、前記第１マップを前記生成部に送信する送信部と、をさらに備え、
   前記生成部は、前記送信部から受信する前記第１マップに従って、前記撮像画像を前記立体投影面に投影する請求項１から３のいずれか一に記載の画像処理装置。

Images