JP6406159B2 - 車載表示制御装置、車載表示制御方法 - Google Patents

Description

本発明は、車両運転者に運転支援画像を提示するための表示制御技術に関する。

従来、車載カメラにより車両周囲の対象物を検出して、対象物を含む撮像画像を仮想視点から見た画像に変換し、この視点変換画像を運転支援画像として車載ディスプレイに出力する技術が知られている。

例えば、この技術においては、自車両の後方から自車両に接近する接近車両の位置を検出して、接近車両が自車両に近づくにつれて仮想視点の高さを上昇させたり、仮想視点の位置を接近車両の運転者の位置に設定したりすることが提案されている（特許文献１参照）。

特許第５６８１５６９号公報

しかしながら、従来提案されている技術では、対象物の検出位置と自車位置とに応じて仮想視点を設定するような複雑な処理を要するため、この処理負担が大きいことにより、例えば視点変換画像の生成に時間がかかってしまい、運転支援に関するリアルタイム性を損なうおそれが考えられるという問題があった。

本発明は、こうした問題にかんがみてなされたものであり、簡易な処理で視点変換画像を生成することにより、運転支援に関するリアルタイム性の確保に資する表示制御技術を提供することを目的としている。

本発明の一局面である車載表示制御装置は、画像認識部と、視点変換部と、画像強調部と、画像出力部と、を備える。画像認識部は、車両の周囲における各撮像領域をそれぞれ撮像するように車両に搭載された複数の撮像装置の撮像画像の中から予め定められた対象物を認識する。

視点変換部は、複数の撮像装置のうち、画像認識部により認識された対象物を含む画像を撮像した撮像装置を認識撮像装置として特定し、特定した認識撮像装置に予め対応づけられている仮想視点から見た視点変換画像に撮像画像を変換する。

画像強調部は、視点変換部により変換された視点変換画像に含まれている対象物の画像部分を強調させる。こうして画像強調部により対象物の画像部分が強調された視点変換画像を運転支援画像として、車両に搭載された表示装置へ画像出力部から運転支援画像が出力される。

このような構成によれば、対象物を撮像した撮像装置を特定するだけで仮想視点が設定され得るため、従来提案されている技術のような複雑な処理を伴うことなく、簡易な処理で視点変換画像を生成することが可能となり、これにより運転支援に関するリアルタイム性の確保に資することができる。

さらには、対象物が強調された視点変換画像が運転支援画像として出力されるため、例えば車両周囲に存在する歩行者や他車両等の存在をよりわかりやすく車両運転者に提示することができる。

また、本発明の一局面である車載表示制御方法によれば、上記同様の理由により、本発明の一局面である車載表示制御装置において既に述べた効果と同様の効果を得ることができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

車載表示制御装置１の構成を例示するブロック図である。 自車両に搭載された複数のカメラ１０の各撮像領域を例示する説明図である。 表示制御ユニット２０の機能的構成を例示するブロック図である。 図４（Ａ）は基本対応テーブルを例示する説明図、図４（Ｂ）は付加対応テーブルを例示する説明図である。 図５（Ａ）は自車両に対する前後方向の仮想視点を例示する説明図であり、図５（Ｂ）は自車両に対する左右方向の仮想視点を例示する説明図である。 図６（Ａ）は合成画像を例示するイメージ図であり、図６（Ｂ）は強調画像を付加した運転支援画像を例示するイメージ図である。 仮想視点設定処理を例示するフローチャートである。 テーブル簡易選択処理を例示するフローチャートである。 ブレンド率設定処理を例示するフローチャートである。 図１０（Ａ）は後方カメラ４の撮像画像に基づく対象物の視点変換画像部分を例示するイメージ図であり、図１０（Ｂ）は右側方カメラ６の撮像画像に基づく対象物の視点変換画像部分を例示するイメージ図であり、図１０（Ｃ）は両視点変換画像部分を５０％のブレンド率で合成した重複画像部分を例示するイメージ図であり、図１０（Ｄ）は両視点変換画像部分を７０％対３０％のブレンド率で合成した重複画像部分を例示するイメージ図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．全体構成］
図１に示す車載表示制御装置１は、複数のカメラ１０と、表示制御ユニット２０と、ディスプレイ３０と、を備える。また、図示を省略しているが、車載表示制御装置１は、車内ローカルエリアネットワーク（以下「車内ＬＡＮ」という）に接続されており、車内ＬＡＮに接続された他の電子制御ユニット（以下「ＥＣＵ」という）との間で、各種センサの検出情報等の車両情報を共有するように構成されている。以下の説明では、これらの構成要素が搭載された車両を自車両という。

なお、車内ＬＡＮは、自車両の内部に配備されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ−ＬＡＮ等の通信プロトコルを利用して各種の車両情報を伝送するものである。本実施形態においては、例えば、自車両の運転方向を示す情報（例えば、シフトレバー位置、ステアリング操作方向及び操作量、アクセル踏込量、等）が車両情報として、他のＥＣＵから車載表示制御装置１に送信される。

各カメラ１０は、自車両の周囲を撮像するように自車両に搭載された複数の撮像装置として、自車両の前後左右における各位置に設置されている。本実施形態において、各カメラ１０は、自車両におけるそれぞれの設置位置及び撮像領域に応じて、前方カメラ２と、後方カメラ４と、右側方カメラ６と、左側方カメラ８と、に大別される。図２に示すように、前方カメラ２は、自車両の前部（例えば前部中央部）に搭載され、自車両の前方領域Ａ１を撮像する。なお、後方カメラ４は、自車両の後部（例えば後部中央部）に搭載され、自車両の後方領域Ａ２を撮像する。右側方カメラ６は、自車両の右側部（例えば右側バックミラー部）に搭載され、自車両の右側方領域Ａ３を撮像する。左側方カメラ８は、自車両の左側部（例えば左側バックミラー部）に搭載され、自車両の左側方領域Ａ４を撮像する。

また、各カメラ１０は、各撮像領域の一部が他の少なくとも１つのカメラ１０の撮像領域の一部と重複する領域（以下「重複領域」という）を有するように自車両に設置されている。例えば、図２に示すように、前方カメラ２の撮像領域である前方領域Ａ１は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右前重複領域ＯＡ１と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左前重複領域ＯＡ２と、を有している。また、後方カメラ４の撮像領域である後方領域Ａ２は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右後重複領域ＯＡ３と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左後重複領域ＯＡ４と、を有している。つまり、これらの重複領域は、二つのカメラ１０の何れでも撮像可能な領域ということになる。

以下の説明では、図２に示すように、前方領域Ａ１のうち、右前重複領域ＯＡ１及び左前重複領域ＯＡ２以外の領域を前方単領域ＳＡ１といい、後方領域Ａ２のうち、右後重複領域ＯＡ３及び左後重複領域ＯＡ４以外の領域を後方単領域ＳＡ２という。また、右側方領域Ａ３のうち、右前重複領域ＯＡ１及び右後重複領域ＯＡ３以外の領域を右側方単領域ＳＡ３、左側方領域Ａ４のうち、左前重複領域ＯＡ２及び左後重複領域ＯＡ４以外の領域を左側方単領域ＳＡ４という。つまり、前方カメラ２だけが撮像可能な前方領域Ａ１を前方単領域ＳＡ１、後方カメラ４だけが撮像可能な後方領域Ａ２を後方単領域ＳＡ２、右側方カメラ６だけが撮像可能な右側方領域Ａ３を右側方単領域ＳＡ３、左側方カメラ８だけが撮像可能な左側方領域Ａ４を左側方単領域ＳＡ４ということになる。

ディスプレイ３０は、自車両に搭載される表示装置として、車室内等に設置されるものである。例えば、ディスプレイ３０は、液晶ディスプレイ、ヘッドアップディスプレイ、又はこれらの組合せ等によって構成され、自車両の運転者が視認しやすい位置に設置される。

［１−２．表示制御ユニット２０の構成］
表示制御ユニット２０は、ＣＰＵ１２と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下「メモリ」という）１４と、を有する周知のマイクロコンピュータ及び車内ＬＡＮ用の通信コントローラを中心に構成され、メモリ１４に格納されているプログラムに基づいてＣＰＵ１２により各種処理が実行されるものである。つまり、このプログラムが実行されることで、プログラムに対応する方法が実行されることになる。なお、表示制御ユニット２０において、例えばマイクロコンピュータの数は１つでも複数でもよく、これら１ないし複数のマイクロコンピュータの各設置場所は自車両内部の何れでもよい。

表示制御ユニット２０は、ＣＰＵ１２の各種処理の実行により実現される機能的構成として、図３に示すように、画像認識部２１と、視点変換部２２と、画像合成部２３と、画像設定部２４と、画像強調部２５と、画像出力部２６と、を備える。なお、表示制御ユニット２０が実行するこれら機能の一部または全部を、一つあるいは複数の論理回路若しくはＩＣ等の電子回路によりハードウェア的に構成してもよい。

画像認識部２１は、複数のカメラ１０の各撮像画像の中から予め定められた対象物を認識する機能を有している。対象物とは、例えば歩行者や他車両等、運転支援の観点から自車両の運転者にその存在を知らせることが望ましいと考えられるものである。この対象物の認識には、対象物の候補となる対象物候補の検出及び追跡を行うことにより、この対象物候補に関して対象物の確からしさを示す候補値や、対象物候補の動きの速さを示す移動値、等を算出する処理が含まれる。

対象物候補の検出においては、例えば撮像画像の中から対象物毎に予め定められた特徴的要素を満たす部分を対象物候補として検出するとともに、検出した対象物候補がその特徴的要素を質的及び量的に具備する程度を示す特徴量を候補値としてメモリ１４に記憶する。また対象物候補の追跡においては、例えば時系列に沿って連続する複数の撮像画像を用い、こうした連続画像中の対象物候補の動きをベクトルで表すオプティカルフローのベクトル値を、対象物候補の移動値としてメモリ１４に記憶する。つまり、これらの情報に基づく所定条件を満たす対象物候補が、対象物として認識されることになる。なお、こうした対象物の認識方法については当業者にとって周知なため、詳細な説明を省略する。

また、画像認識部２１においては、認識された対象物を画像中に含む撮像画像を他の撮像画像と識別するための識別情報や、認識された対象物に関する画像中の位置を示す画像位置情報等がメモリ１４に記憶される。なお、画像位置情報には、画像認識部２１により認識された対象物を含む撮像領域として、単領域ＳＡ１〜ＳＡ４及び重複領域ＯＡ１〜ＯＡ４の中の何れか一つを特定する情報も含まれている。

視点変換部２２は、画像認識部２１により認識された対象物を画像中に含む撮像画像を撮像した１ないし複数のカメラ１０を認識撮像装置（以下「認識カメラ」という）として特定し、この認識カメラに予め対応づけられている仮想視点から見た視点変換画像に対象となる撮像画像を変換する機能を有している。なお、こうした機能のうち、認識カメラを特定して仮想視点を設定する機能を実現するための処理（以下「仮想視点設定処理」という）の詳細については後述する。また、本実施形態において、視点変換部２２は、全てのカメラ１０の撮像画像を対象として視点変換画像に変換し、変換した各視点変換画像を画像合成部２３に供給する。

視点変換画像は、カメラ１０の視点から見た撮像画像を、仮想カメラの視点から見ているかのように座標変換した画像であるといえる。例えば、カメラ座標系の光軸を基準とすると、撮像画像上のあらゆる点の座標位置を光軸からの角度と距離とによって求め、これらの座標位置を仮想カメラの光軸に基づいて回転及び並進させることにより、画像を視点変換することができる。つまり、仮想カメラの光軸として、仮想視点の位置及び向きを設定すれば、所望の視点変換画像を得ることが可能となる。なお、画像の視点変換技術は当業者にとって周知のため、その詳細な説明については省略する。

また、仮想視点の位置及び向きの設定では、メモリ１４に予め記憶されている対応テーブルが用いられる。この対応テーブルは、基本対応テーブルと付加対応テーブルとに大別される。基本対応テーブルは、図４（Ａ）に例示するように、各カメラ１０と仮想視点とが一対一に対応づけられたテーブルである。つまり、基本対応テーブルは、認識カメラとして特定したカメラ１０が一つであれば、仮想視点を一意に設定することが可能となるテーブルである。

一方、付加対応テーブルは、図４（Ｂ）に例示するように、各カメラ１０の組合せと仮想視点とが一対一に対応づけられたテーブルである。例えば、これらの各カメラ１０の組合せは、前方カメラ２と右側方カメラ６との組合せ、前方カメラ２と左側方カメラ８との組合せ、後方カメラ４と右側方カメラ６との組合せ、後方カメラ４と左側方カメラ８との組合せ、の４つのパターンからなる。つまり、付加対応テーブルは、認識カメラとして特定したカメラ１０がこれら何れかの組合せであれば、仮想視点を一意に設定することが可能となるテーブルである。なお、上記４つのパターンの各組合せは、重複領域の説明で用いた「二つのカメラ１０」に相当している。

また具体的には、基本対応テーブルを用いた仮想視点の設定では、認識カメラとして特定したカメラ１０が前方カメラ２だけである場合、自車両の後側斜め上方の位置から自車両を含む前側斜め下方を所定角度で向く仮想視点Ｅ１が設定される（図５（Ａ）参照）。また認識カメラとして特定したカメラ１０が後方カメラ４だけである場合は、自車両の前側斜め上方の位置から自車両を含む後側斜め下方を所定角度で向く仮想視点Ｅ２が設定される（図５（Ａ）参照）。

同様に認識カメラとして特定したカメラ１０が右側方カメラ６だけである場合は、自車両の左側方斜め上側の位置から自車両を含む右側方斜め下方を所定角度で向く仮想視点Ｅ３が設定され、認識カメラとして特定したカメラ１０が左側方カメラ８だけである場合は、自車両の右側方斜め上方の位置から自車両を含む左側方斜め下方を所定角度で向く仮想視点Ｅ４が設定される（図５（Ｂ）参照）。

付加対応テーブルを用いた仮想視点の設定についても、この基本対応テーブルを用いた仮想視点の設定に準じて行われる。つまり、これらの対応テーブルを用いた仮想視点の設定では、認識カメラの位置の反対側斜め上方の位置から認識カメラ側斜め下方を所定角度で向く仮想視点Ｅ５〜Ｅ８が設定されることになる。

なお、仮想視点の向きついては、少なくとも自車両の車高方向（即ち垂直方向）とならない角度範囲（例えば０〜８０°の範囲）のうち何れかの所定角度に予め設定されている。この理由は、仮想視点の向きを垂直方向（即ち９０°）とした鳥瞰画像を視点変換画像として生成すると、鳥瞰画像の中央から離れるに従って画像中の物体が高さ方向に延びて変換されてしまう傾向が最も顕著になるためである。また、仮想視点の向きを自車両の水平方向（即ち０°）とすることも、合成画像中の自車両による死角領域が最も増大してしまう。このため、本実施形態において、仮想視点の向きに関する設定角度は、自車両の垂直方向及び水平方向とならない角度範囲（例えば１０〜８０°の範囲）のうち何れかとされている。

画像合成部２３は、視点変換部２２から供給された各視点変換画像を一部重ねて繋ぎ合わせた合成画像を生成する機能を有している。具体的に本実施形態では、合成画像における繋ぎ目部分を含む領域として、前方カメラ２の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる重複画像領域、前方カメラ２の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる重複画像領域、後方カメラ４の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる重複画像領域、後方カメラ４の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる重複画像領域、がそれぞれ形成されることになる。なお、これらの各重複画像領域は、各カメラ１０の撮像領域における各重複領域ＯＡ１〜ＯＡ４（図２参照）にそれぞれ対応する領域であるといえる。

また、画像合成部２３は、こうした合成画像を生成する際に、重複画像領域における各視点変換画像部分を予め設定されたブレンド率で合成する機能を有している。この理由は、合成画像において繋ぎ目部分を含む重複画像領域の各視点変換画像部分を合成することにより、合成画像において繋ぎ目部分を目立たなくし、これにより繋ぎ目部分の不自然さを緩和させるためである。なお、本実施形態では、各カメラ１０の全ての視点変換画像を一部重ねて繋ぎ合わせた合成画像が形成されるため、繋ぎ目部分の不自然さを緩和させたアラウンドビュー画像が生成されることになる。アラウンドビュー画像とは、図６（Ａ）に示すように、自車両を含むとともに自車両の全周囲を表示可能とする画像のことをいう。

画像設定部２４は、画像認識部２１による対象物の認識結果に基づき、重複画像領域における各視点変換画像部分（以下「重複画像領域部分」ともいう）のブレンド率を設定する機能を有している。画像設定部２４により設定されたブレンド率は、画像合成部２３による重複画像領域部分の合成に用いられる。なお、画像設定部２４としての機能を実現するための処理（以下「ブレンド率設定処理」という）の詳細については後述する。

画像強調部２５は、視点変換部２２により変換された視点変換画像に含まれている対象物の画像部分（以下「対象物画像部分」という）を強調させる機能を有している。具体的に本実施形態では、画像合成部２３により生成された合成画像の対象物画像部分を強調させる処理を実施する。この処理は、メモリ１４に記憶されている画像位置情報に基づいて、対象物の画像位置を特定することにより実現される。対象物画像部分の強調方法については、対象物を囲う画像等、対象物を強調させるための強調画像（図６（Ｂ）参照）を合成画像に付加しても良いし、対象物画像部分の輝度を周囲の画像部分よりも高くする等、対象物画像部分及び合成画像のうち少なくとも一方のコントラストを変更しても良い。

画像出力部２６は、画像設定部２４により設定されたブレンド率で画像合成部２３により重複画像領域部分が合成された合成画像を運転支援画像として、ディスプレイ３０に出力する機能を有している。具体的に本実施形態では、画像強調部２５により対象物画像部分が強調されたアラウンドビュー画像を運転支援画像として、ディスプレイ３０に運転支援画像が出力される。運転支援画像とは、他車両や歩行者等の対象物の存在を運転者に知らせるための警告を行う等、自車両の運転支援を目的とする表示画像のことをいう。

［１−２．処理］
［１−２−１．仮想視点設定処理］
次に、視点変換部２２の一部機能を実現させるためにＣＰＵ１２が行う仮想視点設定処理について、図７のフローチャートを用いて説明する。なお、本処理は、例えば車載表示制御装置１のスイッチ（非図示）がオン状態である間、表示制御ユニット２０内において機能毎に予め設定されたタイミングで繰り返し起動される。

本処理が起動すると、視点変換部２２では、まず、Ｓ１１０において、全てのカメラ１０の撮像画像を入力するとともに、これらの中で画像認識部２１により認識された対象物を画像中に含む撮像画像が存在するか否かを判定する。この判定は、例えばメモリ１４に記憶される識別情報の有無に基づいて行うことができる。対象物を画像中に含む撮像画像が存在すると判定した場合には、Ｓ１２０に移行し、こうした画像が存在しないと判定した場合には、Ｓ１５０に移行する。

Ｓ１２０では、仮想視点を設定するために用いられる基本対応テーブル及び付加対応テーブルのうち何れかの対応テーブルを簡易に選択するための処理（以下「テーブル簡易選択処理」という）を実施し、Ｓ１３０に移行する。なお、テーブル簡易選択処理では、基本対応テーブル又は付加対応テーブルが選択される際に、認識カメラも特定されることになる。このテーブル簡易選択処理の詳細については後述する。

Ｓ１３０では、Ｓ１２０のテーブル簡易選択処理によって基本対応テーブル及び付加対応テーブルのうち何れかを選択できたか否かを判定し、何れかを選択できた場合には、Ｓ１４０に移行し、何れも選択できなかった場合には、Ｓ１５０に移行する。

Ｓ１４０では、Ｓ１２０のテーブル簡易選択処理によって選択された対応テーブルを用いて仮想視点を設定し、本処理を終了する。なお、具体的に本実施形態では、前述したように、特定した認識カメラの位置の反対側斜め上方の位置から認識カメラ側斜め下方を所定角度で向く仮想視点が設定されることになる。

一方Ｓ１５０では、Ｓ１２０のテーブル簡易選択処理とは異なる方法で、複数のカメラ１０の中から最も優先度の高いカメラ（以下「優先カメラ」という）を選択し、選択した優先カメラを認識カメラとみなして特定するための処理（以下「認識カメラ優先処理」という）を実施し、Ｓ１６０に移行する。具体的には、認識カメラを特定できなかった理由毎に異なる方法で、優先カメラが選択されることになる。

具体的に本実施形態では、例えば、Ｓ１１０において対象物を画像中に含む撮像画像が存在しないと判定した場合は、自車両の運転方向に対応する一ないし二つのカメラ１０が優先カメラとして選択されることになる。なお、自車両の運転方向は、例えば他のＥＣＵから車内ＬＡＮを介して送られてくる車両情報に基づいて特定することができる。また例えば、認識カメラが３つ以上である場合や、認識カメラが２つであっても後述する撮像領域条件が不成立である場合等は、最も多くの対象物を含む画像を撮像したカメラ１０や、自車両の運転方向に対応する撮像領域の対象物を含む画像を撮像したカメラ１０や、対象物を含む画像を撮像した３つのカメラ１０のうち他の２つの何れにも隣接する１つのカメラ１０等が、優先カメラとして選択されることになる。優先カメラは、メモリ１４に記憶されている識別情報及び画像位置情報に基づいて特定することができる。

Ｓ１６０では、Ｓ１５０の認識カメラ優先処理によって特定した優先カメラに応じて、基本対応テーブル及び付加対応テーブルのうち何れかの対応テーブルを選択し、選択した対応テーブルを用いて仮想視点を設定して、本処理を終了する。具体的に本実施形態では、前述したように、特定した優先カメラが認識カメラとみなされるため、優先カメラの位置の反対側斜め上方の位置から優先カメラ側斜め下方を所定角度で向く仮想視点が設定されることになる。

［１−２−２．テーブル簡易選択処理］
次に、Ｓ１２０においてＣＰＵ１２が実行するテーブル簡易選択処理について、図８のフローチャートを用いて説明する。

本処理が起動すると、視点変換部２２では、まず、Ｓ２１０において、メモリ１４に記憶されている識別情報に基づき認識カメラを特定し、特定できた認識カメラが１つだけであるか否かを判定する。認識カメラが１つだけであると判定した場合は、Ｓ２２０に移行して、基本対応テーブルを選択し、本処理を終了する。認識カメラが１つだけでない（本実施形態では認識カメラが２つ以上である）と判定した場合は、Ｓ２３０に移行して、特定できた認識カメラが２つであるか否かを判定する。認識カメラが２つであると判定した場合は、Ｓ２４０に移行し、認識カメラが３つ以上であると判定した場合は、本処理を終了する。

Ｓ２４０では、画像認識部２１により認識された対象物を含む撮像領域を対象物撮像領域とし、この対象物撮像領域に関する所定の撮像領域条件が成立しているか否かを判定する。撮像領域条件が成立していると判定した場合は、Ｓ２５０に移行して、付加対応テーブルを選択し、本処理を終了する。撮像領域条件が不成立であると判定した場合は、対応テーブルを選択することなく、本処理を終了する。具体的に本実施形態では、メモリ１４に記憶されている画像位置情報に基づいて対象物撮像領域が特定されることになる。

撮像領域条件は、対象物撮像領域が重複領域ＯＡ１〜ＯＡ４の中の何れか一つであることを、その成立要件の一つとすることができる。つまり、認識カメラが２つ特定されたとしても、画像認識部２１により認識された対象物が重複領域ＯＡ１〜ＯＡ４の中の何れか一つだけに存在していれば、これら２つの認識カメラの何れもが対象物を撮像しているため、付加対応テーブルを選択することにより、これら２つの認識カメラの組合せに対応する仮想視点を設定することができる。

また、撮像領域条件は、対象物撮像領域が重複領域ＯＡ１〜ＯＡ４の中の何れか一つに隣接する単領域ＳＡ１〜ＳＡ４の中の二つであることを、その成立要件の一つとすることができる。つまり、画像認識部２１により対象物が二つ以上認識され、かつ、これらの対象物が異なる撮像領域に重複領域ＯＡ１〜ＯＡ４の中の何れか一つを挟んだ二つの単領域ＳＡ１〜ＳＡ４に分散されていれば、上記のように２つの認識カメラの組合せに対応する仮想視点を設定することができる。なお、撮像領域条件は、これらの例示したもの限らず、予め複数決めておくことができる。

［１−２−３．ブレンド率設定処理］
次に、画像設定部２４の機能を実現させるためにＣＰＵ１２が行う仮想視点設定処理について、図９のフローチャートを用いて説明する。なお、本処理は、例えば車載表示制御装置１のスイッチ（非図示）がオン状態である間、表示制御ユニット２０内において機能毎に予め設定されたタイミングで繰り返し起動される。

本処理が起動すると、画像設定部２４では、まず、Ｓ３１０において、画像認識部２１により認識された対象物が重複領域ＯＡ１〜ＯＡ４の中の何れかに存在するか否かを判定する。この判定は、例えばメモリ１４に記憶される画像位置情報に基づいて行うことができる。対象物が重複領域ＯＡ１〜ＯＡ４の中の何れかに存在すると判定した場合には、Ｓ３２０に移行する。

一方、対象物が重複領域ＯＡ１〜ＯＡ４の中の何れにも存在しないと判定した場合には、Ｓ３６０に移行して、全ての重複画像領域における各視点変換画像部分のブレンド率を５０％ずつに設定する初期設定を継続し、本処理を終了する。ブレンド率は、重複画像領域における各視点変換画像部分の画素値（例えばＲＧＢ値）の合成割合をいう。このため、ブレンド率が５０％ずつに設定されると、重複画像領域における合成前の各視点変換画像部分をそれぞれ画像部分Ｂ１、画像部分Ｃ１とした場合、画像部分Ｂ１を構成する各画素値に５０％を乗じた画像部分Ｂ２と、画像部分Ｃ１を構成する各画素値に５０％を乗じた画像部分Ｃ２と、を加算することになる。

Ｓ３２０では、Ｓ３１０で存在すると判定した対象物の認識結果を取得し、Ｓ３３０に移行する。具体的に本実施形態では、メモリ１４に記憶されている対象物に関する候補値やオプティカルフローのベクトル値等を読み出すことにより、対象物の認識結果を得ることができる。

Ｓ３３０では、重複領域ＯＡ１〜ＯＡ４のうちＳ３１０で判定した対象物が存在する領域を対象物重複領域とし、各対象物重複領域について、その領域を撮像した２つのカメラ１０の各撮像画像における対象物の認識精度を比較し、両撮像画像における対象物の認識精度が異なるか否かを判定する。具体的に本実施形態では、Ｓ３２０で取得した認識結果のうち、対象物に関する候補値が大きいほど認識精度が高いものとみなして判定することができる。

こうして各撮像画像間で対象物の認識精度が異なると判定した場合には、Ｓ３７０に移行して、対象物が画像中に位置する重複画像領域部分のブレンド率を可変設定し、本処理を終了する。具体的には、重複画像領域における各視点変換画像部分のうち、認識精度が高い方の撮像画像を基にした視点変換画像部分に関するブレンド率を、他方の視点変換画像部分に関するブレンド率よりも高く設定する。例えば本実施形態では、両撮像画像部分における対象物のそれぞれの認識精度に応じて、認識精度が高いほどブレンド率が大きくなるように設定することができる。

ただし、この設定においては、両撮像画像部分のブレンド率を足し合わせると１００％になるように設定する必要がある。例えば、重複画像領域における合成前の各視点変換画像部分のうち、認識精度が高い方の画像部分Ｂ１を構成する各画素値に７０％を乗じた画像部分Ｂ２と、認識精度が低い方の画像部分Ｃ１を構成する各画素値に３０％を乗じた画像部分Ｃ２と、を加算することができる。

一方で、各撮像画像間で対象物の認識精度が異ならないと判定した場合には、Ｓ３４０に移行して、各対象物重複領域について、その領域を撮像した２つのカメラ１０の各撮像画像における対象物の警告優先度を比較し、両撮像画像における対象物の警告優先度が異なるか否かを判定する。具体的に本実施形態では、Ｓ３２０で取得した認識結果のうち、対象物に関するオプティカルフローのベクトル値が大きいほど警告優先度が高いものとみなして判定することができる。なお、警告優先度の比較方法では、上記例に限らず、例えば画像中の対象物の種別等、他の指標によって警告優先度を予め決めておくことができる。

こうして各撮像画像間で対象物の警告優先度が異なると判定した場合にも、Ｓ３７０に移行して、対象物が画像中に位置する重複画像領域部分のブレンド率を可変設定し、本処理を終了する。具体的には、重複画像領域における各視点変換画像部分のうち、警告優先度が高い方の撮像画像を基にした視点変換画像部分に関するブレンド率を、他方の視点変換画像部分に関するブレンド率よりも高く設定する。例えば本実施形態では、両撮像画像部分における対象物の各警告優先度に応じて、警告優先度が高いほどブレンド率が大きくなるように設定することができる。

一方で、各撮像画像間で対象物の認識精度が異ならないと判定した場合には、Ｓ３５０に移行して、各対象領域について、その領域を撮像した２つのカメラ１０の各撮像画像部分における対象物の画像位置を比較し、両撮像画像部分のうち、対象物の位置に関する所定の対象物位置条件を満たす一方の撮像画像部分が存在するか否かを判定する。具体的に本実施形態では、メモリ１４に記憶されている画像位置情報に基づいて、対象物に関する画像中の位置について各撮像画像の中心からの距離を比較し、例えばこの距離が所定の閾値よりも小さいことを対象物位置条件の成立要件として判定することができる。対象物位置条件の成立要件は、上記例示したものに限らず、対象物の実際の位置や画像中の位置に関する条件として予め規定しておくことができるが、画像中の位置に基づいて直接的に判定可能な条件である方が処理負担を軽減することができる。

こうして各撮像画像間で対象物位置条件を満たす一方の撮像画像部分が存在すると判定した場合にも、Ｓ３７０に移行して、対象物が画像中に位置する重複画像領域部分のブレンド率を可変設定し、本処理を終了する。具体的には、重複画像領域における各視点変換画像部分のうち、対象物位置条件が成立する方の撮像画像を基にした視点変換画像部分に関するブレンド率を、他方の視点変換画像部分に関するブレンド率よりも高く設定する。例えば本実施形態では、両撮像画像部分における対象物の画像位置に応じて、各撮像画像の中心からの距離が小さいほどブレンド率が大きくなるように設定することができる。

なお、各撮像画像間で対象物位置条件を満たす一方の撮像画像部分が存在しないと判定した場合には、Ｓ３６０に移行して、全ての重複画像領域における各視点変換画像部分のブレンド率を５０％ずつに設定する初期設定を継続し、本処理を終了する。

このように本処理では、認識精度や警告優先度や対象物位置条件に応じて、重複画像領域における視点変換画像部分のブレンド率を設定するようにしている。図１０は、対象物としての歩行者が後方カメラ４と右側方カメラ６とで撮像された両撮像画像部分が存在する場合であり、両撮像画像部分の認識精度について、後方カメラ４（図１０（Ａ）参照）の方が、右側方カメラ６（図１０（Ｂ）参照）よりも高い場合を例示している。この場合、重複画像領域における各視点変換画像部分のブレンド率について、５０％ずつに設定すると、両視点変換画像部分の歩行者が同程度に合成されて表示されるため、運転支援画像の視認性が悪化しやすくなる（図１０（Ｃ）参照）。一方で、ブレンド率について、例えば、認識精度が高い後方カメラ４の方の視点変換画像部分を７０％、認識精度が低い右側方カメラ６の方の視点変換画像部分を３０％に設定すると、認識精度が高い方の歩行者が目立つように合成されて表示されるため、運転支援画像の視認性の悪化を抑制することが可能となる（図１０（Ｄ）参照）。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）対象物を撮像した認識カメラを特定するだけで仮想視点が設定され得るため、複雑な処理を伴うことなく、簡易な処理で視点変換画像を生成することが可能となり、これにより運転支援画像の出力タイミングを早めることができ、ひいては運転支援に関するリアルタイム性の確保に資することができる。さらには、対象物が強調された視点変換画像が運転支援画像として出力されるため、自車両の周囲に存在する歩行者や他車両等の存在をよりわかりやすく運転者に提示することができる。

（２ａ）テーブル簡易選択処理では、認識カメラが一つである場合、カメラと仮想視点とが一対一に対応づけられた基本対応テーブルを用いて仮想視点を設定するので、仮想視点の設定に関する処理負担を好適に削減することができる。

（３ａ）また、テーブル簡易選択処理では、認識カメラが二つである場合、画像認識部２１により認識された対象物を含む撮像領域に関する所定の撮像領域条件が成立しているときに、カメラの組合せパターンと仮想視点とが一対一に対応づけられた付加対応テーブルを用いて仮想視点を設定するので、仮想視点の設定に関する可用性を好適に高めることができる。

（４ａ）また、テーブル簡易選択処理では、画像認識部２１により認識された対象物を含む撮像領域が二つのカメラの何れでも撮像可能な重複領域であることを、撮像領域条件の成立要件の一つとしているので、認識カメラが二つである場合にも、仮想視点の設定に関する処理負担を好適に削減することができる。

［２．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。

（２Ａ）上記実施形態では、各カメラ１０の撮像画像が視点変換された視点変換画像を合成し、合成画像を運転支援画像として出力しているが、これに限定されるものではない。例えば、各カメラ１０のうち少なくとも１つの撮像画像が視点変換された視点変換画像を他の視点変換画像と合成することなく、運転支援画像として出力してもよい。

（２Ｂ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（２Ｃ）上述した車載表示制御装置１の他、当該車載表示制御装置１を構成要素とするシステム、当該車載表示制御装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の記録媒体（具体的には、半導体メモリ等の非遷移的実体的記録媒体）、車載表示制御方法など、種々の形態で本発明を実現することもできる。

１…車載表示制御装置、２…前方カメラ、４…後方カメラ、６…右側方カメラ、８…左側方カメラ、１０…カメラ、１２…ＣＰＵ、１４…メモリ、２０…表示制御ユニット、２１…画像認識部、２２…視点変換部、２３…画像合成部、２４…画像設定部、２５…画像強調部、２６…画像出力部、３０…ディスプレイ、Ａ１…前方領域、Ａ２…後方領域、Ａ３…右側方領域、Ａ４…左側方領域、Ｅ１〜Ｅ８…仮想視点、ＯＡ１…右前重複領域、ＯＡ２…左前重複領域、ＯＡ３…右後重複領域、ＯＡ４…左後重複領域、ＳＡ１…前方単領域、ＳＡ２…後方単領域、ＳＡ３…右側方単領域、ＳＡ４…左側方単領域。

Claims (3)

1. 車両の周囲における各撮像領域をそれぞれ撮像するように前記車両に搭載された複数の撮像装置（１０）の撮像画像の中から予め定められた対象物を認識する画像認識部（２１）と、
   前記複数の撮像装置のうち、前記画像認識部により認識された対象物を含む画像を撮像した撮像装置を認識撮像装置として特定し、前記認識撮像装置に予め対応づけられている仮想視点から見た視点変換画像に前記撮像画像を変換する視点変換部（２２）と、
   前記視点変換部により変換された視点変換画像に含まれている前記対象物の画像部分を強調させる画像強調部（２５）と、
   前記画像強調部により前記対象物の画像部分が強調された前記視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に前記運転支援画像を出力する画像出力部（２６）と、
   を備える車載表示制御装置であって、
   前記視点変換部は、前記認識撮像装置が一つである場合、前記撮像装置と前記仮想視点とが一対一に対応づけられた基本対応テーブルを用いて前記仮想視点を設定し（Ｓ２１０−Ｓ２２０）、
   前記視点変換部は、前記認識撮像装置が二つである場合、前記画像認識部により認識された対象物を含む撮像領域に関する所定の撮像領域条件が成立しているときに、前記撮像装置の組合せパターンと前記仮想視点とが一対一に対応づけられた付加対応テーブルを用いて前記仮想視点を設定する（Ｓ２３０−Ｓ２５０）、
   ことを特徴とする車載表示制御装置。
2. 請求項１に記載の車載表示制御装置であって、
   前記視点変換部は、前記画像認識部により認識された対象物を含む撮像領域が二つの前記撮像装置の何れでも撮像可能な重複領域であることを、前記撮像領域条件の成立要件の一つとする、
   ことを特徴とする車載表示制御装置。
3. 車両の周囲における各撮像領域をそれぞれ撮像するように前記車両に搭載された複数の撮像装置（１０）の撮像画像の中から予め定められた対象物を認識する画像認識工程（２１）と、
   前記複数の撮像装置のうち、前記画像認識工程により認識された対象物を含む画像を撮像した撮像装置を認識撮像装置として特定し、前記認識撮像装置に予め対応づけられている仮想視点から見た視点変換画像に前記撮像画像を変換する視点変換工程（２２）と、
   前記視点変換工程により変換された視点変換画像に含まれている前記対象物の画像部分を強調させる画像強調工程（２５）と、
   前記画像強調工程により前記対象物の画像部分が強調された前記視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に前記運転支援画像を出力する画像出力工程（２６）と、
   を備える車載表示制御方法であって、
   前記視点変換工程は、前記認識撮像装置が一つである場合、前記撮像装置と前記仮想視点とが一対一に対応づけられた基本対応テーブルを用いて前記仮想視点を設定し（Ｓ２１０−Ｓ２２０）、
   前記視点変換工程は、前記認識撮像装置が二つである場合、前記画像認識工程により認識された対象物を含む撮像領域に関する所定の撮像領域条件が成立しているときに、前記撮像装置の組合せパターンと前記仮想視点とが一対一に対応づけられた付加対応テーブルを用いて前記仮想視点を設定する（Ｓ２３０−Ｓ２５０）、
   ことを特徴とする車載表示制御方法。