JP2018074503A - 車両用視認装置及び車両用視認画像表示方法 - Google Patents

Abstract

【課題】表示部に表示される画像による車外の視認性を向上する。【解決手段】車両用視認装置では、合成画像５２Ａと合成画像５２Ｂとを重ねた車外後方画像５４をモニタに表示する。合成画像５２Ａは、抽出画像４６Ａ、４８Ａ、５０Ａが境界部３８Ｌ、３８Ｒで合成されており、合成画像５２Ｂは、抽出画像４６Ｂ、４８Ｂ、５０Ｂが境界部３８Ｌ、３８Ｒとは異なる位置の境界部４０Ｌ、４０Ｒで合成されている。このため、車外後方画像５４では、撮像されているにも関わらず合成画像５２Ａに表示されていない対象物の画像が、合成画像５２Ｂに表示され、合成画像５２Ｂに表示されていない対象物の画像が合成画像５２Ａに表示される。これにより、撮像されている画像が車両後方画像５４に表示されなくなるのを抑制できて、車外の視認性を向上できる。【選択図】図３

Description

本発明は、車両の乗員の視認を表示画像が補助する車両用視認装置及び車両用視認画像表示方法に関する。

特許文献１の車両周辺監視装置には、複数のカメラが設けられており、カメラにより撮影されたカメラ画像が視点変換されることで、地面を投影面として所定の仮想視点から投影面を見る俯瞰画像に変換される。また、特許文献１では、カメラ間の重複領域においてカメラ境界を設定し、設定したカメラ境界に基づいて俯瞰画像が必要な画像（領域）を抽出して、抽出した画像をカメラ境界において合成して表示部に表示している。

特開２０１１−７７８０６号公報

ところで、車両後方を複数のカメラによって撮像し、撮像した複数の撮影画像を合成してモニタに表示する場合、複数の撮影画像の間の重複領域に設定した境界で画像を合成することが一般に行われる。これにより、車両後方を広角で撮像したのと同様の画像をモニタに表示できる。

しかしながら、モニタに表示される合成画像では、境界位置の近傍に映るべき対象物の一部が一時的に欠けることがあった。このため、車両後方の対象物が、撮像されているにも関わらずモニタ上に一部が一時的に欠けて表示されて、認識し辛くなってしまうことがある。

本発明は、上記事実を鑑みて成されたものであり、車両の周囲を撮像した複数の撮影画像を合成で表示部に表示したときに、車外の視認性を向上できる車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。

請求項１の車両用視認装置は、画像の一部が相互に重なる第１車外撮影画像及び第２車外撮影画像を車外から撮像する撮像部と、前記第１車外撮影画像と前記第２車外撮影画像との重なり部分内の第１境界部を境界として、前記第１車外撮影画像から前記第１境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第１境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第１境界部が共通となるように合成した第１合成画像と、前記重なり部分内で前記第１境界部より前記第２車外撮影画像側の第２境界部を境界として、前記第１車外撮影画像から前記第２境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第２境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第２境界部が共通になるように合成した第２合成画像とを重ねて表示部に表示するように制御する制御部と、を備えている。

請求項１の車両用視認装置では、撮像部が画像の一部が相互に重なる第１車外撮影画像及び第２車外撮影画像を撮像する。制御部では、第１車外撮影画像及び第２車外撮影画像の重なり部分において、第１境界部が設定されると共に、第２境界部より第２車外撮影画像側に第２境界部が設定されている。

制御部は、第１車外撮影画像から第１境界部より第２車外撮影画像側の部分を除いた抽出画像と、第２車外撮影画像から第１境界部より第１車外撮影画像側の部分を除いた抽出画像とを第１境界部が共通となるように合成した第１合成画像を生成する。また、制御部は、第１車外撮影画像から第２境界部より第２車外撮影画像側の部分を除いた抽出画像と、第２車外撮影画像から第２境界部より第１車外撮影画像側の部分を除いた抽出画像とを第２境界部が共通になるように合成した第２合成画像を生成する。さらに、制御部は、第１合成画像と第２合成画像とを重ねて表示部に表示する。

このため、表示部に表示される画像では、第１境界部にかかる対象物が第２合成画像に現れ、第２境界部にかかる対象物が第１合成画像に現れるので、対象物の一部が欠けてしまうのを抑制できて、車外の視認性を向上できる。

請求項２の車両用視認装置は、請求項１の車両用視認装置において、前記第１境界部及び前記第２境界部は、線状である。

請求項２の車両用視認装置では、第１境界部及び第２境界部が線状にされており、第１合成画像が線状の第１境界部において第１車外撮影画像と第２車外撮影画像とが繋げられ、第２合成画像が線状の第２境界部において第１車外撮影画像と第２車外撮影画像とが繋げられている。これにより、第１合成画像及び第２合成画像の生成を容易にできる。

請求項３の車両用視認装置は、請求項１又は請求項２の車両用視認装置において、前記第１合成画像と前記第２合成画像とは、同じ透過率で重ねられる。

請求項３の車両用視認装置では、第１合成画像と第２合成画像とが同様に透過率（比率）で重ねられる。これにより、第１境界部及び第２境界部にかかる対象物を同様に表示できる。

請求項４の車両用視認装置は、請求項１から請求項３の何れかの車両用視認装置において、前記第１合成画像の画像合成及び前記第２合成画像の画像合成を行う合成部と、前記合成部において前記第１合成画像及び前記第２合成画像のうちで先に合成された画像が一時記憶される記憶部と、を備え、前記制御部は、前記合成部において前記第１合成画像及び前記第２合成画像のうちで後に合成された画像と前記記憶部に記憶された画像とを重ねて表示部に表示するように制御する。

請求項４の車両用視認装置では、合成部及び記憶部を備える。合成部は、第１合成画像の画像合成及び第２合成画像の画像合成を行う。記憶部は、第１合成画像及び第２合成画像のうちで先に合成された画像を一時記憶する。また、合成部において第１合成画像及び第２合成画像のうちで後の画像が合成されると、後に合成された画像と記憶部に記憶されている画像とが重ねて表示部に表示される。これにより、ひとつの合成部により第１合成画像の画像合成及び第２合成画像の画像合成を時分割で行うことができる。

請求項５の車両用視認画像表示方法は、撮像部により画像の一部が相互に重なる第１車外撮影画像及び第２車外撮影画像を車外から撮像し、前記第１車外撮影画像と前記第２車外撮影画像との重なり部分内の第１境界部を境界として、前記第１車外撮影画像から前記第１境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第１境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第１境界部が共通となるように合成して第１合成画像を生成すると共に、前記重なり部分内で前記第１境界部より前記第２車外撮影画像側の第２境界部を境界として、前記第１車外撮影画像から前記第２境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第２境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第２境界部が共通になるように合成して第２合成画像を生成し、前記第１合成画像と前記第２合成画像とを重ねて表示部に表示する、ことを特徴としている。

請求項５の車両用視認画像表示方法では、撮像部が画像の一部が互いに重なる第１車外撮影画像及び第２車外撮影画像を撮像する。また、第１車外撮影画像及び第２車外撮影画像の重なり部分内には、第１境界部が設定されると共に、第２境界部より第２車外撮影画像側に第２境界部が設定されている。

第１合成画像は、第１車外撮影画像から第１境界部より第２車外撮影画像側の部分を除いた抽出画像と、第２車外撮影画像から第１境界部より第１車外撮影画像側の部分を除いた抽出画像とを第１境界部が共通となるように合成される。また、第２合成画像は、第１車外撮影画像から第２境界部より第２車外撮影画像側の部分を除いた抽出画像と、第２車外撮影画像から第２境界部より第１車外撮影画像側の部分を除いた抽出画像とを第２境界部が共通になるように合成される。表示部には、第１合成画像と第２合成画像とが重ねて表示される。

これにより、表示部に表示される画像では、第１境界部にかかる対象物が第２合成画像に現れ、第２境界部にかかる対象物が第１合成画像に現れるので、対象物の一部が欠けてしまうのを抑制できて、車外の視認性を向上できる。

請求項１の車両用視認装置によれば、車外の視認性を向上できる画像を表示部に表示できる、という効果を有する。

請求項２の車両用視認装置によれば、第１合成画像及び第２合成画像の生成を容易にできて、車外の視認性を向上できる、という効果を有する。また、請求項３の車両用視認装置によれば、第１境界部及び第２境界部にかかる対象物を同様に表示できて、車外の視認性を向上できる、という効果を有する。

請求項４の車両用視認装置によれば、第１合成画像の合成及び第２合成画像の合成を時分割で行うことができて、車外の視認性を向上できる画像を表示部に表示できる、という効果を有する。

請求項５の車両用視認装置によれば、車外の視認性を向上できる画像を表示部に表示できる、という効果を有する。

本実施の形態に係る車両用視認装置を示す機能ブロック図である。 車両用視認装置が設けられる車両を上方視した平面図である。 視点変換及び車外後方画像の構成を示す車両上方視の概略図である。 （Ａ）及び（Ｂ）は、視点変換及び合成画像の構成を示す車両上方視の概略図である。 （Ａ）は、モニタに表示される車外後方画像の一例を示す概略図、（Ｂ）及び（Ｃ）は、合成画像の各々をモニタに表示した場合の一例を示す概略図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１には、本実施の形態に係る車両用視認装置１０の概略構成が機能ブロック図にて示されている。また、図２には、車両用視認装置１０が設けられた車両１２が上方視の平面図にて示されている。なお、各図においては、車両前方が矢印ＦＲにて示され、車幅方向が矢印Ｗにて示されている。

車両用視認装置１０には、撮像部としての後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒが設けられている。後方カメラ１４は、車両１２の後部かつ車幅方向中央部（例えば、リアバンパの車幅方向中央部）に配置されて、車両１２の後方を所定の画角（撮像領域）で撮像可能にされている。また、ドアカメラ１６Ｌは、車両１２の車幅左側のドアミラー１２Ｌに設けられ、ドアカメラ１６Ｒは、車両１２の車幅右側のドアミラー１２Ｒに設けられている。

ドアカメラ１６Ｌ、１６Ｒは、車両側方から車両後方を所定の画角（撮像領域）で撮像する。ドアカメラ１６Ｌ、１６Ｒの撮像領域は、一部が後方カメラ１４の撮像領域と重複されている。このため、車両１２の車両後方が、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒにより車体の右斜め後方から左斜め後方の範囲に渡って広角に撮像される。なお、撮像部は、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの３台の撮像手段に限らず、撮像領域の一部が重なる２台又は４台以上を用いたものであれば良い。また、ドアカメラ１６Ｌ、１６Ｒは、ドアミラー１２Ｌ、１２Ｒのミラーに代えて設けられても良く、ドアミラー１２Ｌ、１２Ｒに代えてフロントドアに設けられても良い。さらに、撮像部は、左右のフロントドアに設けられたドアカメラ１６Ｌ、１６Ｒに限らず、車両１２の左右のセンターピラー、フロントフェンダーなどの車両１２の車外側面に設けられた撮像手段（カメラ）が用いられても良い。また、撮像部は、車両後部の車幅両側（例えば、リアバンパの両側）に後方カメラ１４が１台ずつ設けられても良い。

車両用視認装置１０には、表示部としてのモニタ１８が設けられており、モニタ１８が、車室内において車両前側のフロントウインドシールドガラスの上部付近（インナーミラーに対応する位置）に配置されている。モニタ１８は、車幅方向に長い矩形状とされて、表示面が車両後方に向けられており、モニタ１８の表示面が車室内の乗員に視認可能にされている。また、モニタ１８の表示面は、車両後方へ向けて凸状の湾曲面とされていると共に、ハーフミラー（ワイドミラー）が設けられている。このため、モニタ１８が非表示の場合に、ハーフミラーが、車室内と共にリアウインドガラス及びドアガラスを通して後方視界を写すインナーミラーとして機能する。なお、モニタ１８は、インストルメントパネルに設けられても良く、乗員の視認を妨げることなく、かつ乗員が容易に視認可能な任意の位置に設けることができる。

車両用視認装置１０では、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの各々により撮像された第１車外撮影画像及び第２車外撮影画像としての撮影画像を合成して車両後方を広角で映した車外後方画像を生成し、生成した車外後方画像をモニタ１８に表示するように制御する。なお、車両用視認装置１０は、モニタ１８の近傍に室内カメラが設けられて、室内カメラにより撮像される車室内の撮影画像を、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの撮像画像（車外後方画像）に合成してモニタ１８に表示する構成であっても良い。

図１に示されるように、車両用視認装置１０には、制御部としての制御装置２０が設けられている。制御装置２０には、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性の記憶媒体（例えば、ＥＰＲＯＭ）、及びＩ／Ｏ（入出力インタフェース）がそれぞれバスに接続されたマイクロコンピュータが含まれている。また、制御装置２０は、ＲＯＭ等に車両用視認表示制御プログラム等の各種のプログラムが記憶されており、ＣＰＵがＲＯＭ等に記憶されるプログラムを読み出してＲＡＭに展開しながら実行する。

制御装置２０には、画像読込部２２、視点変換部２４、境界設定部２６、画像抽出部２８、画像合成部３０、及び表示画像生成部３２が形成されている。また、制御装置２０では、画像読込部２２に後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒが接続されて、表示画像生成部３２にモニタ１８が接続されている。制御装置２０に記憶された車両用視認制御プログラムには、画像読込プログラム、視点変換プログラム、境界設定プログラム、画像抽出プログラム、画像合成プログラム、及び表示画像生成プログラムが含まれている。制御装置２０は、ＣＰＵが画像読込プログラム、視点変換プログラム、境界設定プログラム、画像抽出プログラム、画像合成プログラム、及び表示画像生成プログラムの各々を実行することで、画像読込部２２、視点変換部２４、境界設定部２６、画像抽出部２８、画像合成部３０、及び表示画像生成部３２として機能する。

画像読込部２２は、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの撮影画像を読み込む。視点変換部２４は、仮想視点及び仮想スクリーンを設定し、撮影画像を仮想スクリーンに投影して、撮影画像の各々を同一の視点（仮想視点）から見た画像に変換する。

また、境界設定部２６は、撮影画像の各々について、モニタ１８に表示する画像を抽出するため第１境界部及び第２境界部の位置を設定する。第１境界部及び第２境界部の位置は、後方カメラ１４の撮影画像とドアカメラ１６Ｌの撮影画像との重なり部分、及び後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像との重なり部分の各々に設定される。画像抽出部２８は、設定された境界部の位置に合わせて画像抽出（トリミング）を行う。画像合成部３０は、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの撮影画像から抽出された抽出画像を合成する。

ここで、境界設定部２６では、２つの撮影画像の重なり部分において、異なる位置に第１境界部及び第２境界部を設定する。これにより、画像抽出部２８では、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの撮影画像から境界部の異なる２組の抽出画像を生成する。画像合成部３０には、第１合成部としての画像合成部３０Ａ、及び第２合成部としての画像合成部３０Ｂが設けられており、画像合成部３０では、第１境界部及び第２境界部で抽出された２組の抽出画像から２つの合成画像を生成する。表示画像生成部３２は、画像合成部３０Ａ、３０Ｂで生成された合成画像を重ねる。

これにより、仮想スクリーンに投影された撮影画像が、モニタ１８に表示される。なお、モニタ１８には、仮想スクリーンに投影された画像が平面になるように広げられて表示される。この際、視点変換部２４では、異なる撮影画像上の同一の被写体について、大きさが同じになるように撮影画像の拡縮処理が行われる。また、モニタ１８は、運転席より車両前側に設けられており、車外画像は撮影画像に対して左右が反転されてモニタ１８に表示される。

次に、車両用視認装置１０の動作を具体的に説明する。
車両用視認装置１０では、車両１２の図示しないイグニッションスイッチ（ＩＧ）がオンされると動作が開始されて、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒによる画像撮影を開始すると共に、モニタ１８への撮影画像の表示を開始する。また、制御装置２０は、動作が開始されると、画像読込部２２が、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの各々により撮像された撮影画像（撮影画像の画像データ）を読み込み、読み込んだ撮影画像を視点変換部２４に出力する。

ここで、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの間では、撮影画像の視点位置が異なっており、視点変換部２４は、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの各々の撮影画像に対して視点位置を合わせる視点変換処理を行う。図３、図４（Ａ）及び図４（Ｂ）には、視点変換処理の概略が上方視にて示されている。なお、図３、図４（Ａ）及び図４（Ｂ）では、車両１２の車幅方向の中心を通り車両前後方向に伸びる中心線が符号Ｃにて示されている。

視点変換処理では、仮想視点３４及び仮想スクリーン３６が設定される。仮想視点３４は、モニタ１８の中心位置（車幅方向の中間位置）よりも車両前方の（中心線Ｃ上の）所定位置に設定され、仮想視点３４の上下方向の位置は、モニタ１８の上下方向の中心位置よりも上方に設定される。また、仮想スクリーン３６は、車両１２から後方へ所定の距離だけ離れた位置において、仮想視点３４から見て所定の視野角が得られるように設定される。このような仮想スクリーン３６は、平面でも良いが、車両後方に凸とされた円弧状又は楕円状の曲面（湾曲面）であることが好ましく、本実施の形態では、楕円状の曲面としている。

視点変換処理では、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒにより撮像された車両後方の撮影画像を仮想スクリーン３６に投影して、撮影画像の各々を仮想視点３４から見た車両後方の画像と同様の風景が、仮想スクリーン３６に投影された状態の画像に変換する。

後方カメラ１４の撮像領域は、車幅左側にドアカメラ１６Ｌの撮像領域が重なり、車幅右側にドアカメラ１６Ｒの撮像領域が重なっている（図２参照）。これにより、仮想スクリーン３６には、車幅方向中央部に後方カメラ１４の撮影画像が投影されると共に、後方カメラ１４の撮影画像の車幅左側にドアカメラ１６Ｌの撮影画像が重ねられて投影され、車幅右側にドアカメラ１６Ｒの撮影画像が重ねられて投影される。

ここで、画像抽出部２８は、視点変換された各撮影画像からモニタ１８に表示する画像を抽出し、画像合成部３０では、各撮影画像からの抽出画像を合成する。また、境界設定部２６は、画像抽出を行う境界部を設定する。なお、画像抽出及び画像合成においては、ドアカメラ１６Ｌの撮影画像と後方カメラ１４の撮影画像との間の処理が、ドアカメラ１６Ｒの撮影画像と後方カメラ１４の撮影画像との間の処理と同様とされている。このため、以下の説明では、主にドアカメラ１６Ｒの撮影画像と後方カメラ１４の撮影画像との間の処理に符号Ｒを付与して説明し、ドアカメラ１６Ｌの撮影画像と後方カメラ１４の撮影画像との間の処理については、符号Ｌを付与して説明を簡略化する。

境界部は、後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像との重なり部分に設定される。第１境界部及び第２境界部の一方としての境界部３８Ｒは、重なり部分の車幅方向の内側となる位置に設定され、第１境界部及び第２境界部の他方としての境界部４０Ｒは、重なり部分において車幅方向の外側の位置に設定される。境界部３８Ｒ、４０Ｒの位置は、仮想スクリーン３６上に仮想的に設定される境界線４２Ｒ、４４Ｒの位置を適用しても良く、境界線４２Ｒ、４４Ｒを中心とした所定幅（所定の画素数の幅）の領域として設定されても良い。また、境界線４２Ｒ、４４Ｒは、仮想スクリーン３６上において上下方向に沿うか上下方向に対して傾斜された直線状であっても良く、曲線であっても良い。また、境界線４２Ｒ、４４Ｒは、折れ線であっても良い。また、境界設定部２６では、境界部３８Ｒ、４０Ｒと共に、中心線Ｃを対称線とする位置に、境界部３８Ｒに対応する境界部３８Ｌ及び境界部４０Ｒに対応する境界部４０Ｌが設定される。

ここで、境界部３８Ｒと境界部４０Ｒとは、少なくとも車両後方の車両等の対象物が映る（投影される）領域においては、互いに重なることのない位置とされている。即ち、境界部３８Ｒと境界部４０Ｒとの間隔（境界部３８Ｒの境界部４０Ｒ側の縁と境界部４０Ｒの境界部３８Ｒ側の縁との間隔）は、少なくとも境界部３８Ｒ、４０Ｒの各々の幅よりも離れていることが好ましく、各々の幅よりも極めて広い間隔とされていることが好ましい。言い換えれば、境界部３８Ｒ、４０Ｒの位置は、仮想視点３４から見た境界部３８Ｒと境界部４０Ｒとの間の角度（境界線４２Ｒと境界線４４Ｒとの間の角度）が小さくても良いが、大きいことがより好ましい。

また、視点変換した場合、撮影画像の周縁側には、撮影画像の中心位置より離れるほど対象物の画像に変形が生じることがある。ここから、後方カメラ１４の撮影画像において画像の変形が許容できる位置に境界部３８Ｒを設定すると共に、ドアカメラ１６Ｒの撮影画像において画像の変形が許容できる位置に境界部４０Ｒを設定するようにしても良い。

なお、境界部３８Ｒ、４０Ｒの幅は、一様でなくとも良く、折れ線とされた境界線４２Ｒ、４４Ｒに対して、屈曲部分で幅が変化されても良い。また、境界部３８Ｒ、４０Ｒは、対象物が投影される領域において互いに離れていれば良く、例えば、車両１２の直下近傍の地面等に対応する領域においては、境界部３８Ｒの一部に境界部４０Ｒが重なっても良い。

画像抽出部２８では、境界部３８Ｌ、３８Ｒに基づいて画像抽出を行うと共に、境界部４０Ｌ、４０Ｒに基づいて画像抽出を行う。これにより、ドアカメラ１６Ｒの撮影画像からは、仮想スクリーン３６上において境界部３８Ｒを境界とし、境界部３８Ｒより後方カメラ１４の撮影画像側の部分を除いた領域に対応する抽出画像４６Ａ（境界部３８Ｒを含む）が抽出される。これと共に、ドアカメラ１６Ｒの撮影画像からは、仮想スクリーン３６上において境界部４０Ｒを境界とし、境界部４０Ｒより後方カメラ１４の撮影画像側の部分を除いた領域に対応する抽出画像４６Ｂ（境界部４０Ｒを含む）が抽出される。また、後方カメラ１４の撮影画像からは、仮想スクリーン３６上において境界部３８Ｌ、３８Ｒを境界とし、境界部３８Ｌよりもドアカメラ１６Ｌの撮影画像側の部分を除いた領域、及び境界部３８Ｒよりもドアカメラ１６Ｒの撮影画像側の部分を除いた領域に対応する抽出画像５０Ａ（境界部３８Ｌ、３８Ｒを含む）が抽出される。これと共に、後方カメラ１４の撮影画像からは、仮想スクリーン３６上において境界部４０Ｌ、４０Ｒを境界とし、境界部４０Ｌよりもドアカメラ１６Ｌの撮影画像側の部分を除いた領域、及び境界部４０Ｒよりもドアカメラ１６Ｒの撮影画像側の部分を除いた領域に対応する抽出画像５０Ｂ（境界部４０Ｌ、４０Ｒを含む）が抽出される。

さらに、ドアカメラ１６Ｌの撮影画像からは、仮想スクリーン３６上において境界部３８Ｌを境界とする領域に対応する抽出画像４８Ａ（境界部３８Ｌを含む）が抽出されると共に、仮想スクリーン３６上において境界部４０Ｌを境界とする領域に対応する抽出画像４８Ｂ（境界部４０Ｌを含む）が抽出される。このため、画像抽出部２８では、境界部３８Ｌ、３８Ｒを含む抽出画像４６Ａ、４８Ａ、５０Ａと境界部４０Ｌ、４０Ｒを含む抽出画像４６Ｂ、４８Ｂ、５０Ｂが生成される。

画像合成部３０Ａには、抽出画像４６Ａ、４８Ａ、５０Ａが入力され、画像合成部３０Ｂには、抽出画像４６Ｂ、４８Ｂ、５０Ｂが入力される。画像合成部３０Ａは、抽出画像５０Ａの境界部３８Ｒと抽出画像４６Ａの境界部３８Ｒとが共通するように抽出画像４６Ａと抽出画像５０Ａとが合成されると共に、抽出画像５０Ａの境界部３８Ｌと抽出画像４８Ａの境界部３８Ｌとが共通するように抽出画像５０Ａと抽出画像４８Ａとが合成される。これにより、画像合成部３０Ａでは、抽出画像４６Ａ、４８Ａ、５０Ａを合成した第１合成画像（又は第２合成画像）としての合成画像５２Ａが生成する。

また、画像合成部３０Ｂは、抽出画像５０Ｂの境界部４０Ｒと抽出画像４６Ｂの境界部４０Ｒとが共通するように抽出画像４６Ｂと抽出画像５０Ｂとが合成されると共に、抽出画像５０Ｂの境界部４０Ｌと抽出画像４８Ｂの境界部４０Ｌとが共通するように抽出画像５０Ｂと抽出画像４８Ｂとが合成される。これにより、画像合成部３０Ｂでは、抽出画像４６Ｂ、４８Ｂ、５０Ｂを合成した第２合成画像（又は第１合成画像）としての合成画像５２Ｂが生成する。なお、画像合成部３０Ａ、３０Ｂにおける画像合成には、公知の任意の画像合成方法を適用できる。

合成画像５２Ａ、５２Ｂは、表示画像生成部３２に入力される。表示画像生成部３２は、合成画像５２Ａ、５２Ｂを重ねることで、車外後方画像５４を生成する。この際、表示画像生成部３２は、合成画像５２Ａと合成画像５２Ｂとを同様の比率（透過率５０％）で重ねて、車外後方画像５４を生成する。これにより、車外後方画像５４は、合成画像５２Ａと合成画像５２Ｂとが同様の濃さとされてモニタ１８に表示される。

制御装置２０は、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒの撮影画像に対して、視点変換処理、画像抽出処理、画像合成処理及び車外後方画像５４の生成処理を繰り返す。これにより、モニタ１８には、後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒにより撮像された映像が表示され、モニタ１８に表示される映像により乗員の視認が補助される。

ここで、図４（Ａ）に示されるように、抽出画像４６Ａには、ドアカメラ１６Ｒの撮像領域に含まれる投影領域５６Ｒ内の対象物（車両６８）が投影された画像が含まれており、抽出画像５０Ａには、後方カメラ１４の撮像領域に含まれる投影領域５８Ａ内の対象物が投影された画像が含まれている。また、図４（Ｂ）に示されるように、抽出画像４６Ｂには、ドアカメラ１６Ｒの撮像領域に含まれる投影領域６０Ｒ内の対象物が投影された画像が含まれており、抽出画像５０Ｂには、後方カメラ１４の撮像領域に含まれる投影領域５８Ｂ内の対象物が投影された画像が含まれている。

一方、合成画像５２Ａには、投影領域５６Ｒと投影領域５８Ａとの間に非投影領域６２Ｒが生じる（図４（Ａ）参照）。また、合成画像５２Ｂには、投影領域６０Ｒと投影領域５８Ｂとの間に非投影領域６４Ｒが生じる（図４（Ｂ）参照）。

合成画像５２Ａでは、対象物（車両６８）の少なくとも一部が非投影領域６２Ｒにかかっている場合、後方カメラ１４及びドアカメラ１６Ｒにより撮像されていても、非投影領域６２Ｒにかかっている部分の画像が一時的に現れなくなる。また、合成画像５２Ｂでは、対象物の少なくとも一部が非投影領域６４Ｒにかかっている場合、後方カメラ１４及びドアカメラ１６Ｒにより撮像されていても、非投影領域６４Ｒにかかっている部分の画像が現れなくなる。

これに対して、車外後方画像５４は、合成画像５２Ａと合成画像５２Ｂとが含まれる。このため、合成画像５２Ａにおける非投影領域６２Ｒに合成画像５２Ｂにおける投影領域５８Ａが重なると共に、合成画像５２Ｂにおける非投影領域６４Ｒに合成画像５２Ｂにおける投影領域５６Ｒが重なる。このため、車外後方画像５４では、合成画像５２Ａの非投影領域６２Ｒと合成画像５２Ｂの非投影領域６４Ｒとが重なった領域のみが非投影領域６６Ｒとなると共に、合成画像５２Ａの非投影領域６２Ｌと合成画像５２Ｂの非投影領域６４Ｌとが重なった領域のみが非投影領域６６Ｌとなる。

これにより、車外後方画像５４の非投影領域６６Ｒは、非投影領域６２Ｒ及び非投影領域６４Ｒの何れよりも狭くなる。従って、ドアカメラ１６Ｒ及び後方カメラ１４により撮像されているにも関わらず、一部が欠けた対象物の画像が一時的にモニタ１８に表示されるのを抑制できる。

ここで、図５（Ａ）には、車外後方画像５４の一例が示されており、図５（Ｂ）には、合成画像５２Ａの一例が示されていると共に、図５（Ｃ）には、合成画像５２Ｂの一例が示されている。なお、図５（Ａ）〜図５（Ｃ）では、説明のために境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒを明示している点で、実際のモニタ１８の表示とは異なっている。

視点変換部２４では、車外後方画像５４（合成画像５２Ａ、５２Ｂ）において、上下方向中間部に地平線が位置するように仮想視点３４及び仮想スクリーン３６が設定されており、モニタ１８には、上下方向の中間部より下側に路面の画像が表示される。

図５（Ｂ）及び図５（Ｃ）に示されるように、合成画像５２Ａ、５２Ｂでは、境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒの各々が所定幅の帯状とされていると共に、上下方向の中間部より上方側が上下方向に沿って設けられている。また、境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒは、上下方向の中間部より下側が、上下方向の下方かつ車幅方向の外方に向けて曲げられていると共に、屈曲部分の上側と下側とで幅が異なっている。

また、境界部３８Ｌ、３８Ｒは、上下方向の中間部より下側の傾きが、後方カメラ１４により撮像されて視点変換された画像上（仮想スクリーン３６に投影された画像上）において車両前後方向に沿うように設けられている。なお、車外後方画像５４の下側で主に地面が写される部分では、境界部４０Ｒの一部が境界部３８Ｒに重なっている。

このため、車外後方画像５４では、境界部３８Ｌ、３８Ｒの間に後方カメラ１４の撮影画像から抽出された抽出画像５０Ａ、５０Ｂが重ねられているので、モニタ１８には、後方カメラ１４により撮像された車両後方が明瞭に表示される。また、モニタ１８に表示された画像が、車両後方に連続する中心線（センターライン）や車線がずれているように見えるのを抑制できる。

また、車外後方画像５４では、境界部４０Ｒよりも車幅方向外側にドアカメラ１６Ｒの撮影画像から抽出された抽出画像４６Ａ、４６Ｂが重ねられる。このため、モニタ１８には、境界部３８Ｒより車幅外側にドアカメラ１６Ｒにより撮像された撮影画像が明瞭に表示される。

一方、合成画像５２Ａでは、仮想スクリーン３６上の境界部３８Ｒの車両１２側に非投影領域６２Ｒが生じ、合成画像５２Ｂでは、仮想スクリーン３６上の境界部４０Ｒの車両１２側に非投影領域６４Ｒが生じる（図４（Ａ）及び図４（Ｂ）参照）。

ここで、境界部３８Ｒ、４０Ｒでは、後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像とが合成されており、境界部３８Ｒと境界部４０Ｒとの間には、後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像とが重ねられている。即ち、境界部３８Ｒでは、後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像とが合成された画像上に後方カメラ１４の撮影画像が重ねられており、境界部４０Ｒでは、後方カメラ１４の撮影画像とドアカメラ１６Ｒの撮影画像とが合成された画像上にドアカメラ１６Ｒの撮影画像が重ねられている。

このため、車外後方画像５４には、境界部３８Ｒと境界部４０Ｒとの間に、合成画像５２Ａ上で一部が非投影領域６２Ｒにかかった対象物（車両６８）が投影された画像、及び合成画像５２Ａ上で合成画像５２Ａとは異なる一部が非投影領域６４Ｒにかかった対象物（車両６８）が投影された画像が含まれる。

これにより、車外後方画像５４には、合成画像５２Ａ又は合成画像５２Ｂの一方に含まれていない画像（車両６８の画像）が含まれるので、合成画像５２Ａ又は合成画像５２Ｂの一方のみをモニタ１８に表示する場合に比べて、乗員の視認性を向上できる。また、車外後方画像５４は、車両１２の近傍の対象物の画像が欠けることがないので、車両１２の近傍の対象物の一部が欠けた画像が一時的にでもモニタ１８に表示されるのを抑制できて、車両１２の近傍の対象物の画像の一部がモニタ１８に表示されないことにより、モニタ１８を視認する乗員に違和感が生じるのを抑制できる。

なお、以上では、中心線Ｃを対称線として境界部３８Ｒ、４０Ｒと境界部３８Ｌ、４０Ｌを設けたが、これに限らず、境界部３８Ｒと境界部３８Ｌ及び境界部４０Ｒと境界部４０Ｌとは、中心線Ｃに対する位置が異なっても良い。また、境界部３８Ｒと境界部４０Ｒとの間隔は、境界部３８Ｌと境界部４０Ｌとの間隔と異なっても良い。即ち、車両１２の右側と左側とで第１境界部及び第２境界部の位置が異なって良い。

境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒは、後方カメラ１４の撮影画像とドアカメラ１６Ｌ、１６Ｒの撮影画像との重なり部分であれば、位置が移動可能とされても良い。境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒの移動可能とする場合、モニタ１８をタッチパネル式等として、モニタ１８の画面をタッチ操作することで、境界部３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒの各々の位置を設定できるようにしても良い。

なお、以上説明した本実施の形態では、帯状に設定した境界部３８Ｒ、４０Ｒによりドアカメラ１６Ｒの撮影画像から抽出画像４６Ａ、４６Ｂを抽出すると共に、後方カメラ１４の撮影画像から抽出画像５０Ａ、５０Ｂを抽出した。しかしながら、境界部３８Ｒ、４０Ｒは、帯状に限らず、線状であっても良い。即ち、抽出画像４６Ａ及び抽出画像５０Ａの各々を境界線４２Ｒに沿って切り出して抽出すると共に、抽出画像４６Ｂ及び抽出画像５０Ｂの各々を境界線４４Ｒに沿って切り出して抽出する。また、合成画像５２Ａは、境界線４２Ｒで抽出画像４６Ａと抽出画像５０Ａと合成し（繋げる）、合成画像５２Ｂは、境界線４４Ｒで抽出画像４６Ｂと抽出画像５０Ｂとを合成する。これにより、車外後方画像５４では、境界線４２Ｌから境界線４２Ｒの間で後方カメラ１４の撮影画像が連続し、境界線４２Ｒから車幅方向の端部までの間でドアカメラ１６Ｒの撮影画像が連続するので、全面が連続しているように見える。また、モニタ１８上で、車両後方の対象物の一部が一時的に欠けて見えるのを抑制できるので、乗員の車両後方の視認性の向上が図られる。しかも、合成画像５２Ａは、抽出画像４６Ａと抽出画像５０Ａとが境界線４２Ｒで繋げられ、合成画像５２Ｂは、抽出画像４６Ｂと抽出画像５０Ｂとが境界線４４Ｒで繋げられるのみであるので、合成画像５２Ａ、５２Ｂの生成が容易となり、制御装置２０の処理負荷が増加するのを抑制できる。

また、合成画像５２Ａと合成画像５２Ｂとでは、対象物の一部が非投影領域６２Ｒ、６４Ｒ（及び非投影領域６２Ｌ、６４Ｌ）にかかることで、境界部３８Ｒから境界部４０Ｒ（及び境界部３８Ｌから境界部４０Ｌ）の間で画像が相違する。ここから、合成画像５２Ａと合成画像５２Ｂとを重ねた際に、合成画像５２Ａと合成画像５２Ｂとの間で差異が生じている部分（画像又は画素）を着色（例えば黄色などの予め設定された色）するようにしても良い。

対象物が非投影領域６２Ｒ、６４Ｒにかかる部分では、自車両（車両１２）に接近している位置であることが多い。このため、当該対象物を着色してモニタ１８に表示することで、自車両に接近している対象物があることを報知できて、車室内の乗員に注意を喚起することができる。

自車両に接近している対象物を抽出する方法としては、後方カメラ１４及びドアカメラ１６Ｌ、１６Ｒの撮影画像から対象物を抽出して、抽出した対象物に対して距離又は距離の変化を算出することで可能である。しかしながら、このような処理を行うためには、制御装置２０の処理負荷が増加してしまう。

これに対して、合成画像５２Ａと合成画像５２Ｂとの間の差異を用いることで、自車両に接近している対象物を容易に特定できるので、制御装置２０の処理負荷を増加させることなく、自車両に接近している対象物を乗員に報知するのが容易となる。

さらに、本実施の形態では、画像合成部３０に画像合成部３０Ａ、３０Ｂを設け、画像合成部３０Ａにおいて合成画像５２Ａを合成すると共に、画像合成部３０Ｂにおいて合成画像５２Ｂを合成した。しかしながら、ひとつの画像合成部３０において合成画像５２Ａの合成及び合成画像５２Ｂの合成を行ってもよい。この場合、制御装置２０に設けられているマイクロコンピュータのＲＡＭが、合成画像５２Ａ（又は合成画像５２Ｂでも良い）を一時的に記憶する記憶部として用いられれば良い。

この場合、画像合成部３０が抽出画像４６Ａ、４８Ａ、５０Ａを合成して合成画像５２Ａを生成すると、生成された合成画像５２ＡがＲＡＭに一時記憶される。また、画像合成部３０が抽出画像４６Ｂ、４８Ｂ、５０Ｂを合成して合成画像５２Ｂを生成すると、表示画像生成部３２は、画像合成部３０で生成された合成画像５２ＢとＲＡＭに記憶されている合成画像５２Ａとを重ねて車外後方画像５４を生成する。これにより、合成画像５２Ａの合成処理と合成画像５２Ｂの合成処理とを時分割で行うことができて、画像合成部３０の構成が簡略にできると共に、制御装置２０の処理負荷を軽減できる。

また、本実施の形態では、撮像部に後方カメラ１４、及びドアカメラ１６Ｌ、１６Ｒを用いて車両後方を撮像したが、これに限らず、車両用視認装置は、撮像部により車両１２の側方或いは車両１２の前方を撮像した複数の撮影画像を合成して表示部に表示するようにしても良い。

１０ 車両用視認装置
１４ 後方カメラ（撮像部）
１６Ｌ、１６Ｒ ドアカメラ（撮像部）
１８ モニタ（表示部）
２０ 制御装置（制御部）
３８Ｌ、３８Ｒ、４０Ｌ、４０Ｒ 境界部（第１境界部、第２境界部）
５２Ａ、５２Ｂ 合成画像（第１合成画像、第２合成画像）
５４ 車外後方画像（表示される画像）

Claims (5)

1. 画像の一部が相互に重なる第１車外撮影画像及び第２車外撮影画像を車外から撮像する撮像部と、
   前記第１車外撮影画像と前記第２車外撮影画像との重なり部分内の第１境界部を境界として、前記第１車外撮影画像から前記第１境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第１境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第１境界部が共通となるように合成した第１合成画像と、前記重なり部分内で前記第１境界部より前記第２車外撮影画像側の第２境界部を境界として、前記第１車外撮影画像から前記第２境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第２境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第２境界部が共通になるように合成した第２合成画像とを重ねて表示部に表示するように制御する制御部と、
   を備えた車両用視認装置。
2. 前記第１境界部及び前記第２境界部は、線状である請求項１記載の車両用視認装置。
3. 前記第１合成画像と前記第２合成画像とは、同じ透過率で重ねられる請求項１又は請求項２記載の車両用視認装置。
4. 前記第１合成画像の画像合成及び前記第２合成画像の画像合成を行う合成部と、
   前記合成部において前記第１合成画像及び前記第２合成画像のうちで先に合成された画像が一時記憶される記憶部と、
   を備え、前記制御部は、前記合成部において前記第１合成画像及び前記第２合成画像のうちで後に合成された画像と前記記憶部に記憶された画像とを重ねて表示部に表示するように制御する請求項１から請求項３の何れか１項記載の車両用視認装置。
5. 撮像部により画像の一部が相互に重なる第１車外撮影画像及び第２車外撮影画像を車外から撮像し、
   前記第１車外撮影画像と前記第２車外撮影画像との重なり部分内の第１境界部を境界として、前記第１車外撮影画像から前記第１境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第１境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第１境界部が共通となるように合成して第１合成画像を生成すると共に、
   前記重なり部分内で前記第１境界部より前記第２車外撮影画像側の第２境界部を境界として、前記第１車外撮影画像から前記第２境界部より前記第２車外撮影画像側の部分を除いた抽出画像と、前記第２車外撮影画像から前記第２境界部より前記第１車外撮影画像側の部分を除いた抽出画像とを前記第２境界部が共通になるように合成して第２合成画像を生成し、
   前記第１合成画像と前記第２合成画像とを重ねて表示部に表示する、
   ことを特徴とする車両用視認画像表示方法。