JP7283514B2 - 表示制御装置 - Google Patents

Description

本発明の実施形態は、表示制御装置に関する。

従来から、車両の周辺に設けられた複数の撮像部によって、車両の周辺を撮像し、撮像された複数の撮像画像データを、車両を基準とした俯瞰画像データとして合成し、合成された俯瞰画像データを表示することで、車両の周囲を運転者に認識させる技術がある。さらに、車両の進行方向に応じて、表示される俯瞰画像データの表示領域を変更させる技術がある。

特開２０１５－７６６４５号公報

しかしながら、従来技術においては、車両の進行方向に応じて表示される俯瞰画像データの表示領域を変更するに留まっており、車両の駐車を行う際に、駐車の候補となる領域がどのような状況であるのかを表示することまで考慮されてない。

本発明の一実施形態は、上記に鑑みてなされたものであって、駐車の候補となる領域の確認を容易にする表示制御装置を提供する。

また、実施形態の表示制御装置は、一例として、車両の周辺領域を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、取得部により取得された複数の撮像画像データに基づいて生成された、車両を基準に俯瞰視点で外部の環境を表した俯瞰画像データを表示する表示制御部と、俯瞰画像データに対応する前記車両の側面方向に存在する周辺領域において、車両を駐車する候補領域を特定する特定部と、を備え、表示制御部は、さらに、特定部によって特定された候補領域を含む撮像画像データを表示する。よって、候補領域の状況を把握できるので、運転者が当該候補領域に車両を駐車させるか否かの判断が容易になる。

また、実施形態の表示制御装置は、一例として、特定部により複数の候補領域が特定された場合に、複数の候補領域から、表示対象となる候補領域の選択を受け付ける受付部を、さらに備え、表示制御部は、受付部によって選択を受け付けた候補領域が存在する、車両の側面方向の表示範囲を含む撮像画像データを表示する。よって、複数の候補領域が存在する場合に、運転者が所望する候補領域の状況を確認できるので、運転者が当該候補領域に車両を駐車させるか否かの判断が容易になる。

また、実施形態の表示制御装置は、一例として、取得部により取得された複数の撮像画像データを、当該撮像画像データを撮像した位置データと対応付けて記憶する記憶部を、さらに備え、表示制御部は、受付部によって選択を受け付けた候補領域に近傍の位置を示した位置データと記憶部で対応付けられた撮像画像データを表示する。よって、候補領域を確認するために適した俯瞰画像データを表示することで、運転者が所望する候補領域の状況を確認できるので、運転者が当該候補領域に車両を駐車させるか否かの判断が容易になる。

また、実施形態の表示制御装置は、一例として、取得部が取得した撮像画像データに対して、撮像部の光学系に基づいた歪みを補正する補正部を、さらに備え、表示制御部は、さらに、特定部によって特定された候補領域が存在する、車両の側面方向の表示範囲を含む撮像画像データであって、補正部によって補正された撮像画像データを表示する。よって、歪み補正がなされた撮像画像データを表示することで、運転者が所望する候補領域の状況を確認できるので、運転者が当該候補領域に車両を駐車させるか否かの判断が容易になる。

また、実施形態の表示制御装置は、一例として、取得部は、さらに、検出部から車両の周辺領域に存在する物体の検出結果を取得し、表示制御部は、さらに、検出結果に基づいて、候補領域に物体が存在する場合に、当該物体が存在する候補領域に駐車できないことを示す表示データを含んだ、俯瞰画像データ又は撮像画像データを表示する。よって、候補領域に障害物が存在することを、運転者が確認できるので、運転者が当該候補領域に車両を駐車させるか否かの判断が容易になる。

図１は、第１の実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。 図３は、第１の実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる表示制御装置としてのＥＣＵで実現されるソフトウェア構成を例示した図である。 図５は、第１の実施形態にかかる表示制御部により表示される表示画面を例示した図である。 図６は、第１の実施形態にかかる表示制御部により表示される表示画面を例示した図である。 図７は、第１の実施形態にかかる表示制御部により表示される表示画面を例示した図である。 図８は、第１の実施形態のＥＣＵにおける駐車支援時の表示処理の手順を示すフローチャートである。 図９は、第２の実施形態のＥＣＵで実現されるソフトウェア構成を例示した図である。 図１０は、第２の実施形態の表示制御部により表示される表示画面の遷移を例示した図である。 図１１は、第２の実施形態のＥＣＵにおける駐車支援時の表示処理の手順を示すフローチャートである。 図１２は、第３の実施形態のＥＣＵで実現されるソフトウェア構成を例示した図である。 図１３は、第３の実施形態の表示制御部により表示される画面例を示した図である。 図１４は、第４の実施形態のＥＣＵで実現されるソフトウェア構成を例示した図である。 図１５は、第４の実施形態の表示制御部により表示される画面例を示した図である。 図１６は、第５の実施形態のＥＣＵで実現されるソフトウェア構成を例示した図である。 図１７は、第５の実施形態の表示制御部により表示される画面例を示した図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

（第１の実施形態）
第１の実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ～１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～１９０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側、すなわち車幅方向の右側の端部２ｆに位置され、右側の突出部としてのドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、平面画像とも称されうる。

また、ＥＣＵ１４は、撮像部１５の画像から、車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）する。

また、図１、２に例示されるように、車体２には、複数の測距部１６、１７として、例えば四つの測距部１６ａ～１６ｄと、八つの測距部１７ａ～１７ｈとが設けられている。測距部１６、１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６、１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６、１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側面方向の物体の検出に用いられうる。また、測距部１６、１７は、レーダ装置等であってもよい。

また、図３に例示されるように、駐車支援システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６、１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の目標位置の決定、車両１の移動経路の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに代えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに代えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。ＥＣＵ１４は、表示制御装置の一例である。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

また、図４に示されるように、ＥＣＵ１４は、取得部４０１、障害物検出部４０２、受付部４０３、特定部４０４、俯瞰画像生成部４０５、及び表示制御部４０６等を備える。ＣＰＵ１４ａは、プログラムにしたがって処理を実行することにより、取得部４０１、障害物検出部４０２、受付部４０３、特定部４０４、俯瞰画像生成部４０５、表示制御部４０６等として機能する。また、ＲＡＭ１４ｃやＲＯＭ１４ｂなどの記憶部には、各部の演算処理で用いられるデータや、演算処理の結果のデータ等が記憶される。なお、上記各部の機能の少なくとも一部は、ハードウエアによって実現されてもよい。

取得部４０１は、車両１の周辺領域を撮像する複数の撮像部１５から複数の撮像画像データを取得する。また、取得部４０１は、測距部１６、１７から車両１の周辺領域に存在する物体の検出結果（以下、測距データとも称する）を取得する。なお、本実施形態においては、物体を検出する検出部として、車両１の周辺領域に存在する物体を検出するために測距部１６、１７を用いる例について説明するが、測距部１６、１７に制限するものではなく、例えば撮像部１５で撮像された撮像画像データを解析して物体を検出しても良いし、レーザセンサー等を用いて物体を検出しても良い。

障害物検出部４０２は、取得部４０１が取得した測距データに基づいて、撮像画像データで撮像された車両１の周辺領域に存在する障害物を検出する。他の手法として、障害物検出部４０２は、取得部４０１が取得した撮像画像データに対して画像解析を行うことで、車両１の周辺領域に存在する障害物（例えば、駐車中の車両等）を検出してもよい。なお、障害物は、移動する障害物であっても良いし、静止している障害物であっても良い。

特定部４０４は、撮像画像データとして撮像された、車両１の側面方向に存在する周辺領域から、車両１を駐車する候補領域を特定する。本実施形態の特定部４０４は、撮像画像データから、駐車区画線（例えば、白線）を抽出し、当該駐車区画線に囲まれた領域において、障害物検出部４０２によって障害物や他の車両が存在しないと判定された領域を、車両１を駐車する候補領域として特定する。なお、車両１を駐車する候補領域の特定手法は、車両１が駐車可能な領域を特定できればよく、周知の手法を問わず、どのような手法を用いても良い。

俯瞰画像生成部４０５は、取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する。仮想視点としては、例えば、車両１の上方向に所定の距離離れた位置とすることが考えられる。

俯瞰画像データは、取得部４０１により取得された撮像画像データを合成して生成する画像データであって、仮想視点を基準にした表示画像データになるように俯瞰画像生成部４０５により画像処理が施された画像データとする。俯瞰画像データは、車両１を示したアイコン（表示データ）を中央に配置した上で、当該車両１を基準に俯瞰視点で当該車両１の周辺を表した画像データとする。

表示制御部４０６は、俯瞰画像生成部４０５により生成された俯瞰画像データを、表示装置８に表示する。また、表示制御部４０６は、特定部４０４により特定された候補領域を示す表示データを、俯瞰画像データ上に表示する。また、特定部４０４により特定された候補領域が複数存在する場合に、表示制御部４０６は、特定された複数の候補領域の各々について、当該候補領域であることを示す表示データを表示する。

図５は、第１の実施形態にかかる表示制御部４０６により表示される表示画面を例示した図である。図５に示される例では、表示装置８の表示領域５００に、俯瞰画像データ５０１が表示されている。俯瞰画像データ５０１は、車両１を示すアイコン５１０を基準に、車両１の周囲が表されている。さらに、俯瞰画像データ５０１は、特定部４０４により複数の候補領域が特定された場合を示しており、車両１の側面方向に存在する、車両１を駐車可能な複数の候補領域５２１～５２３を示す表示データが表されている。図５に示される例では、候補領域５２１～５２３を示す表示データとして、点線による矩形を表す例とする。

図５に示されるような俯瞰画像データ５０１においては、候補領域５２１～５２３の奥がどのような状況か把握することが難しい。そこで、本実施形態のＥＣＵ１４は、候補領域５２１～５２３を選択可能にした上で、候補領域５２１～５２３のうちいずれか一つの選択を受け付けた場合に、選択を受け付けた候補領域全体が表示されるよう制御する。

受付部４０３は、特定部４０４により複数の候補領域が特定された場合に、複数の候補領域から、表示対象となる候補領域の選択を受け付ける。図５に示された俯瞰画像データ５０１の例では、受付部４０３は、タッチパネル等である操作入力部１０を介して、運転者から候補領域５２１～５２３のうちいずれか一つの選択を受け付ける。本実施形態は、候補領域の選択を受け付ける手法を、操作入力部１０を介した、候補領域５２１～５２３のタッチ操作に制限するものではなく、操舵部４を用いた選択操作であってもよい。

そして、俯瞰画像生成部４０５は、受付部４０３により候補領域の選択を受け付けた場合に、すでに表示されている俯瞰画像データと比べて、受付部４０３により選択を受け付けた候補領域が存在する、車両１の側面方向の表示範囲が広い俯瞰画像データを生成する。

本実施形態においては、特定部４０４により特定された候補領域が複数存在する場合に、複数の候補領域から選択を受け付ける例について説明した。しかしながら、本実施形態は、複数の候補領域から選択を受け付けた場合に、選択を受け付けた候補領域全体が含まれるような俯瞰画像データに切り替える手法に制限するものではない。例えば、特定部４０４により特定された候補領域が一つしか存在しない場合、受付部４０３が表示の切り替え操作等を受け付けたタイミングで、俯瞰画像生成部４０５は、当該一つの候補領域全体が含まれるような、車両の側面方向の表示範囲が広い俯瞰画像データを生成してもよい。

そして、表示制御部４０６は、俯瞰画像生成部４０５により新たに生成された俯瞰画像データを表示する。

図６は、表示制御部４０６により表示される表示画面を例示した図である。図６に示される例では、表示装置８の表示領域５００に、俯瞰画像データ６０１が表示されている。俯瞰画像データ６０１は、車両１を示すアイコン５１０を基準に、車両１の周囲が表されている。俯瞰画像データ６０１は、図５に示される候補領域５２２の選択を受け付けた場合に、表示される俯瞰画像データとする。このため、候補領域６１１全体が表示されるように、表示範囲が拡大されている。また、候補領域６１１は、選択を受け付けたことを表すために網掛け表示がなされている。

図６に示される俯瞰画像データ６０１は、図５に示される俯瞰画像データ５０１と比べて、車両１の右側面方向の表示範囲を拡大させた例を示しているが、本実施形態は、このような表示態様に制限するものではない。例えば、俯瞰画像データ５０１と比べて、表示領域の縮小率を大きくした上で、車両１を示すアイコン５１０を含めて表示される範囲を左右方向にずらすことで、選択を受け付けた候補領域全体が表示されるようにしても良い。換言すれば、受付部４０３により選択を受け付けた候補領域が存在する、車両１の側面方向の表示範囲が広くなれば、どのような表示態様であっても良い。

さらに、表示制御部４０６は、障害物検出部４０２により検出された障害物が、候補領域に含まれている場合に、障害物が検出された候補領域には進入できないことを示すマークを表示する。

図７は、表示制御部４０６により表示される表示画面を例示した図である。図７に示される例では、表示装置８の表示領域５００に、俯瞰画像データ７０１が表示されている。俯瞰画像データ７０１は、障害物検出部４０２により障害物７１１が候補領域６１１で検出されたため、候補領域６１１に進入できないことを示すマーク７１２が表されている。

次に、本実施形態のＥＣＵ１４における駐車支援時の表示処理について説明する。図８は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。なお、車両１は駐車場の通路内等を低速度で走行中とする。

まず、受付部４０３は、操作入力部１０から、駐車支援開始の操作を受け付けたか否かを判定する（Ｓ８０１）。駐車支援開始の操作を受け付けていないと判定した場合（Ｓ８０１：Ｎｏ）、再びＳ８０１の処理を繰り返す。

一方、受付部４０３が、駐車支援開始の操作を受け付けたと判定した場合（Ｓ８０１：Ｙｅｓ）、取得部４０１が、撮像部１５から撮像画像データを取得すると共に、測距部１６、１７から測距データを取得する（Ｓ８０２）。

そして、障害物検出部４０２が、測距データ及び撮像画像データに基づいて、車両１の周辺に存在する障害物を検出する（Ｓ８０３）。

そして、特定部４０４が、撮像画像データから認識された、駐車区画線に囲まれた領域のうち、障害物検出部４０２によって障害物等が存在しないと判定された領域を、車両１を駐車可能な候補領域として特定する（Ｓ８０４）。

そして、ＥＣＵ１４は、車両１が停止したか否かを判定する（Ｓ８０５）。車両１が停止していないと判定した場合（Ｓ８０５：Ｎｏ）、再びＳ８０２から処理を行う。

一方、ＥＣＵ１４は、車両１が停止したと判定した場合（Ｓ８０５：Ｙｅｓ）、取得部４０１が、撮像部１５から撮像画像データを取得すると共に、測距部１６、１７から測距データを取得する（Ｓ８０６）。そして、障害物検出部４０２が、測距データ及び撮像画像データに基づいて、車両１の周辺に存在する障害物を検出する（Ｓ８０７）。

その後、俯瞰画像生成部４０５は、Ｓ８０６で取得した撮像画像データに基づいて、俯瞰画像データを生成する（Ｓ８０８）。

そして、表示制御部４０６は、Ｓ８０４で特定された候補領域が示された俯瞰画像データを表示する（Ｓ８０９）。これにより、運転者は、車両１の走行中に特定された駐車可能な候補領域を把握できる。また、Ｓ８０４で特定された候補領域に、Ｓ８０７で障害物が検出された場合には、障害物が存在しているとみなして、表示制御部４０６は、当該候補領域に進入できないことを示すマークを表示する。

そして、受付部４０３が、候補領域の選択を受け付けたか否かを判定する（Ｓ８１０）。選択を受け付けていないと判定した場合（Ｓ８１０：Ｎｏ）、再びＳ８０６から処理を行う。

一方、受付部４０３が、候補領域の選択を受け付けたと判定した場合（Ｓ８１０：Ｙｅｓ）、俯瞰画像生成部４０５が、選択を受け付けた候補領域が存在する車両１の側面方向が広げられた俯瞰画像データを生成する（Ｓ８１１）。

そして、表示制御部４０６は、Ｓ８１１で生成された俯瞰画像データ、換言すれば選択を受け付けた候補領域全体が表された俯瞰画像データを表示する（Ｓ８１２）。

本実施形態においては、上述した処理手順を行うことで、運転者が車両１を駐車可能な候補領域の状況を確認できる。

（第２の実施形態）
第１の実施形態においては、撮像部１５が現在撮像した撮像画像データから生成された俯瞰画像データを表示する例について説明した。しかしながら、現在撮像した撮像画像データを用いた際には、障害物や他の車両の死角となっている候補領域が存在する場合に、表示制御部４０６は、当該候補領域を俯瞰画像データ上に適切に表示できない可能性がある。そこで、第２の実施形態では、過去に撮影された撮像画像データを用いて、選択を受け付けた候補領域に応じた俯瞰画像データを表示する例について説明する。

本実施形態においては、選択を受け付けた候補領域が車両１と近接している場合に過去に撮像された撮像画像データを用いて生成された俯瞰画像データを表示する例とする。

図９は、第２の実施形態のＥＣＵ１４で実現されるソフトウェア構成を例示した図である。図９に示されるように、第２の実施形態のＥＣＵ１４は、第１の実施形態の構成と比較して、撮像画像記憶部９０１が追加され、俯瞰画像生成部４０５と実行する処理が異なる俯瞰画像生成部９０２に変更されている。

撮像画像記憶部９０１は、取得部４０１により撮像された撮像画像データを、撮像した位置を示す位置データと対応付けて記憶する。

俯瞰画像生成部９０２は、取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する他に、撮像画像記憶部９０１に記憶された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する。

本実施形態の俯瞰画像生成部９０２は、受付部４０３が候補領域の選択を受け付けた場合に、撮像画像記憶部９０１に記憶された撮像画像データのうち、当該候補領域に最も近い位置で撮像された撮像画像データを読み出し、当該撮像画像データに基づいた俯瞰画像データを生成する。生成される俯瞰画像データは、第１の実施形態と同様、候補領域が存在する、車両１の側面方向の表示範囲が広くなっている。

図１０は、表示制御部４０６により表示される表示画面の遷移を例示した図である。図１０の（Ａ）は、車両１が停止した際に、俯瞰画像生成部９０２により生成された俯瞰画像データ１００１を含む表示画面とする。俯瞰画像データ１００１には、候補領域１０１１～１０１３が表されている。

俯瞰画像データ１００１は、撮像部１５が現在撮像した撮像画像データに基づいて生成されている。当該俯瞰画像データでは、現在の車両１の位置が基準となっている。このため、撮像部１５が撮像する際、特定部４０４により特定された候補領域が、障害物や他の車両による死角となっている可能性がある。この場合、当該候補領域は、俯瞰画像データ上に適切に表示できない可能性がある。

そこで、本実施形態においては、受付部４０３が候補領域の選択を受け付けた場合、俯瞰画像生成部９０２は、撮像画像記憶部９０１に記憶された撮像画像データと対応付けられている位置データに基づいて、選択を受け付けた候補領域に最も近い位置で撮像を行った撮像画像データを読み出し、当該撮像画像データで俯瞰画像データを生成する。

図１０の（Ｂ）は、受付部４０３が、候補領域１０１３の選択を受け付けた場合に、表示される俯瞰画像データ１００２を含む表示画面とする。俯瞰画像データ１００２には、候補領域１０１３に対応する候補領域１０２１全体が表されている。また、車両１を示すアイコン１０３２は、アイコン１０３１と比べて、車両１の過去の位置を示すように表示態様を異ならせても良い。また、俯瞰画像データ１００２に現在の車両１の位置を示すアイコン１０３３を表示しても良い。

そして、表示制御部４０６は、俯瞰画像生成部９０２により過去の撮像画像データに基づいて生成された俯瞰画像データを表示する。

次に、本実施形態のＥＣＵ１４における駐車支援時の表示処理について説明する。図１１は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。

図１１に示されるフローチャートは、図８で示したフローチャートのＳ８０１～Ｓ８１０と同様に、候補領域の選択の受付まで行われる（Ｓ１１０１～Ｓ１１１０）。

Ｓ１１１０において、受付部４０３が、候補領域の選択を受け付けたと判定した場合（Ｓ１１１０：Ｙｅｓ）、俯瞰画像生成部９０２は、選択を受け付けた候補領域と近い位置から撮像された撮像画像データを、撮像画像記憶部９０１から読み出す（Ｓ１１１１）。

そして、俯瞰画像生成部９０２は、読み出された撮像画像データを用いて、選択を受け付けた候補領域が存在する車両１の側面方向が広げられた俯瞰画像データを生成する（Ｓ１１１２）。

そして、表示制御部４０６は、Ｓ１１１２で生成された俯瞰画像データ、換言すれば選択を受け付けた候補領域全体が表された俯瞰画像データを表示する（Ｓ１１１３）。

本実施形態においては、上述した処理手順を行うことで、候補領域の近傍の状況を確認できる。

また、本実施形態においても、第１の実施形態と同様に、障害物検出部４０２が候補領域内に障害物を検出した場合に、当該候補領域に進入できないことを示すマークを、俯瞰画像データ内に表示する。

なお、本実施形態は、俯瞰画像生成部９０２が、撮像画像記憶部９０１に記憶された撮像画像データと対応付けられている位置データに基づいて、選択を受け付けた候補領域に最も近い位置で撮像を行った撮像画像データを読み出し、当該撮像画像データで俯瞰画像データを生成する例について説明した。しかしながら、本実施形態は、選択を受け付けた候補領域に最も近い位置で撮像を行った撮像画像データを読み出す手法に制限するものではなく、候補領域が適切な範囲に写っている撮像画像であれば読み出し対象として良い。つまり、選択を受け付けた候補領域に近傍の位置を示した位置データと、撮像画像記憶部９０１で対応付けられた複数の撮像画像データと、に基づいて俯瞰画像データを生成すれば良い。

（第３の実施形態）
上述した実施形態は、俯瞰画像データの表示範囲を広げることで、候補領域全体を表示する例について説明した。しかしながら、上述した実施形態は、候補領域の状況を把握させる手法を、俯瞰画像データの表示範囲を広げる手法に制限するものではない。そこで、第３の実施形態においては、候補領域が存在する方向を撮像した撮像画像データを表示する例について説明する。

図１２は、第３の実施形態のＥＣＵ１４で実現されるソフトウェア構成を例示した図である。図１２に示されるように、第３の実施形態のＥＣＵ１４は、第１の実施形態の構成から、俯瞰画像生成部４０５、表示制御部４０６と実行する処理が異なる俯瞰画像生成部１２０１、表示制御部１２０２に変更されている。

俯瞰画像生成部１２０１は、取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する。本実施形態の俯瞰画像生成部１２０１は、受付部４０３が候補領域の選択を受け付けた場合であっても、俯瞰画像データの再生成は行わない。

表示制御部１２０２は、取得部４０１が取得した撮像画像データのうち、受付部４０３により選択を受け付けた候補領域が含まれている撮像画像データを、俯瞰画像データと共に表示する。

図１３は、表示制御部１２０２により表示される画面例を示している。図１３に示される例では、表示装置８の表示領域５００に、俯瞰画像データ１３０１と撮像画像データ１３０２が表示されている。俯瞰画像データ１３０１は、車両１を示すアイコン１３１１を基準に、車両１の周囲が表されている。さらには、俯瞰画像データ１３０１には、候補領域１３１２～１３１４が選択可能に表されている。

図１３に示される画面例では、受付部４０３が、候補領域１３１２の選択を受け付けた例とする。候補領域１３１２を含む撮像画像データ１３０２が表示される。

図１３に示されるように、選択を受け付けた候補領域１３１２を含む撮像画像データが表示されることで、運転者は、車両１の駐車対象となる候補領域１３１２の状況を把握できる。

本実施形態の駐車支援時の表示処理は、Ｓ８１１、Ｓ８１２の処理の代わりに、表示制御部１２０２が、選択を受け付けた候補領域を含む撮像画像データと、俯瞰画像データと、を表示する以外、図８で示したフローチャートと同様として説明を省略する。

本実施形態においては、候補領域を含む撮像画像データを表示することで、候補領域の状況を把握できるので、安全性を向上させることができる。

（第４の実施形態）
第３の実施形態においては、撮像部１５が撮像した現在の撮像画像データを表示する例について説明した。しかしながら、第３の実施形態は、現在の撮像画像データを表示することに制限するものではない。そこで、第４の実施形態においては、過去に撮像された撮像画像データを表示する例について説明する。

図１４は、第４の実施形態のＥＣＵ１４で実現されるソフトウェア構成を例示した図である。図１４に示されるように、第４の実施形態のＥＣＵ１４は、第２の実施形態の構成から、俯瞰画像生成部９０２、表示制御部４０６と実行する処理が異なる俯瞰画像生成部１４０１、表示制御部１４０２に変更されている。

俯瞰画像生成部１４０１は、取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する。

表示制御部１４０２は、撮像画像記憶部９０１に記憶されている撮像画像データのうち、受付部４０３により選択を受け付けた候補領域に最も近い位置で撮像され且つ当該候補領域が含まれている撮像画像データを、俯瞰画像データと共に表示する。

図１５は、表示制御部１４０２により表示される画面例を示している。図１５に示される例では、表示装置８の表示領域５００に、俯瞰画像データ１５１１と撮像画像データ１５１２が表示されている。俯瞰画像データ１５１１は、車両１を示すアイコン１３１１を基準に、車両１の周囲が表されている。さらには、俯瞰画像データ１５１１には、候補領域１３１２～１３１４を選択可能に表されている。

図１５に示される画面例では、受付部４０３が、候補領域１３１２の選択を受け付けた例とする。そこで、車両１の走行中、候補領域１３１２に最も近い位置１５０１で撮像された撮像画像データであって、候補領域１３１２を含む撮像画像データ１５１２が表示される。

図１５に示されるように、選択を受け付けた候補領域１３１２を含む撮像画像データ１５１２が表示されることで、運転者は、車両１の駐車対象となる候補領域１３１２の状況を把握できる。

本実施形態の駐車支援時の表示処理は、図１１のＳ１１１１～Ｓ１１１３の処理の代わりに、俯瞰画像生成部１４０１が、選択を受け付けた候補領域と近い位置から撮像された撮像画像データであって、候補領域を含む撮像画像データを、撮像画像記憶部９０１から読み出し、表示制御部１２０２が、読み出された撮像画像データと、俯瞰画像データと、を表示する以外、図１１で示したフローチャートと同様として説明を省略する。

また、本実施形態は、上述した実施形態と同様に、障害物検出部４０２により検出された障害物が、候補領域に含まれている場合に、障害物が検出された候補領域には進入できないことを示すマークを、俯瞰画像データに表示する。これにより、障害物が存在するため、当該候補領域に侵入できないことを運転者に認識させることができる。

また、本実施形態の表示制御部１４０２は、障害物を検知した候補領域に対応する表示範囲に、当該候補領域には進入できないことを示すマークを、撮像画像データに表示してもよい。これにより、過去に撮像された撮像画像データを表示する場合であっても、現在の状況を把握することができる。

（第５の実施形態）
第４の実施形態においては、候補領域の状況を把握させるために、撮像画像データを表示する例について説明した。しかしながら、撮像部１５で撮像される撮像画像データは、広角レンズや魚眼レンズで撮影されているため、歪みが生じている。そこで第５の実施形態は、撮像画像データに対して歪み補正を行う場合について説明する。

図１６は、第５の実施形態のＥＣＵ１４で実現されるソフトウェア構成を例示した図である。図１６に示されるように、第５の実施形態のＥＣＵ１４は、第４の実施形態の構成と比較し、補正部１６０１が追加され、俯瞰画像生成部１４０１、表示制御部１４０２と実行する処理が異なる俯瞰画像生成部１６０２、表示制御部１６０３に変更されている。

俯瞰画像生成部１６０２は、取得部４０１により取得された撮像画像データを変換し、仮想視点を基準にした俯瞰画像データを生成する。

補正部１６０１は、撮像画像記憶部９０１に記憶されている撮像画像データのうち、受付部４０３により選択を受け付けた候補領域に最も近い位置で撮像され且つ当該候補領域が含まれている撮像画像データに対して、当該候補領域の歪みがとれるように歪み補正を行う。

表示制御部１６０３は、補正部１６０１により歪み補正された撮像画像データを、俯瞰画像データと共に表示する。

図１７は、表示制御部１６０３により表示される画面例を示している。図１７に示される例では、表示装置８の表示領域５００に、俯瞰画像データ１５１１と撮像画像データ１７０１が表示されている。俯瞰画像データ１５１１は、第４の実施形態と同様に、車両１を示すアイコン１３１１を基準に、車両１の周囲が表されている。さらには、俯瞰画像データ１５１１には、候補領域１３１２～１３１４が選択可能に表されている。

図１７に示される画面例では、受付部４０３が、候補領域１３１２の選択を受け付けた例とする。そこで、車両１の走行中、候補領域１３１２に最も近い位置１５０１で撮像された撮像画像データであって、歪み補正が行われた撮像画像データ１７０１が表示される。

図１７に示されるように、歪みがとれた候補領域１３１２を含む撮像画像データが表示されることで、運転者は、車両１の駐車対象となる候補領域１３１２の状況を把握できる。

本実施形態は、撮像画像データに対して歪み補正を行う以外は、第４の実施形態と同様の処理を行うものとして、説明を省略する。

以上説明したとおり、第１から第５の実施形態によれば、運転者は駐車候補となる対象領域の状況を把握できるので、候補領域に停車させるか否かの判断が容易になる。これにより、安全性を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…駐車支援システム、４０１…取得部、４０２…障害物検出部、４０３…受付部、４０４…特定部、４０５、９０２、１２０１、１４０１、１６０２…俯瞰画像生成部、４０６、１２０２、１４０２、１６０３…表示制御部、９０１…撮像画像記憶部、１６０１…補正部。

Claims (4)

1. 車両の周辺領域を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、
   前記取得部により取得された前記複数の撮像画像データに基づいて生成された、前記車両を基準に俯瞰視点で外部の環境を表した俯瞰画像データを表示する表示制御部と、
   前記俯瞰画像データに対応する前記車両の側面方向に存在する周辺領域において、前記車両を駐車する候補領域を特定する特定部と、
   前記特定部により複数の候補領域が特定された場合に、前記複数の候補領域から、表示対象となる候補領域の選択を受け付ける受付部、を備え、
   前記表示制御部は、さらに、前記特定部によって特定された前記候補領域を含む前記撮像画像データを表示し、前記受付部によって選択を受け付けた場合、前記選択を受け付けた前記候補領域が存在する、前記車両の側面方向の表示範囲を含む前記撮像画像データを表示する、
   表示制御装置。
2. 前記取得部により取得された前記複数の撮像画像データを、当該撮像画像データを撮像した位置データと対応付けて記憶する記憶部を、さらに備え、
   前記表示制御部は、前記受付部によって選択を受け付けた前記候補領域に近傍の位置を示した前記位置データと前記記憶部で対応付けられた前記撮像画像データを表示する、
   請求項１に記載の表示制御装置。
3. 前記取得部が取得した前記撮像画像データに対して、前記撮像部の光学系に基づいた歪みを補正する補正部を、さらに備え、
   前記表示制御部は、さらに、前記特定部によって特定された前記候補領域が存在する、前記車両の側面方向の表示範囲を含む前記撮像画像データであって、前記補正部によって補正された前記撮像画像データを表示する、
   請求項２に記載の表示制御装置。
4. 前記取得部は、さらに、検出部から前記車両の周辺領域に存在する物体の検出結果を取得し、
   前記表示制御部は、さらに、前記検出結果に基づいて、前記候補領域に物体が存在する場合に、当該物体が存在する前記候補領域に駐車できないことを示す表示データを含んだ、前記俯瞰画像データ又は前記撮像画像データを表示する、
   請求項１乃至３のいずれか一つに記載の表示制御装置。

Images