JP6707007B2 - 車両用視認装置及び車両用視認画像表示方法 - Google Patents

Description

本発明は、乗員の視認を表示画像が補助する車両用視認装置及び車両用視認画像表示方法に関する。

特許文献１の車両死角支援装置では、車両のルームミラーにミラー部及びディスプレイと共に、カメラが設けられており、カメラがミラー部に映るリアウインドウを通して視認可能な車両後方の視認領域、及びリアウインドウ周辺部に遮られる車両後方の死角領域を含む車両後方領域を撮像する。また、車両死角支援装置には、ミラー部に映るリアウインドウ周辺部の複数の車両部品を描画した仮想画像（仮想画像データ）が記憶されている。ディスプレイには、車両後側の車両部品と車両後側の車両部位品とで透過率が変えられた仮想画像が、カメラにより撮像された車両後方の撮影画像が重ねられて表示される。

ところで、車両に設けられるルームミラーには、リアウインドウを通して視認される車両後方の景色（対象物）と共に、車室内の乗員等が映る。特許文献１におけるルームミラーのディスプレイには、カメラにより撮像された車両後方の撮影画像と共に仮想画像が表示される。このために、ディスプレイに表示される画像に違和感が生じる。

特許第５５６２４９８号公報

本発明は、上記事実を鑑みて成されたものであり、乗員の視認を補助できると共に、違和感が生じるのを抑制できる車両用視認装置及び車両用視認画像表示方法を提供することを目的とする。

請求項１の車両用視認装置は、ウインドガラスを通さずに車外の撮像領域を撮像する第１撮像部と、ウインドガラスを通した前記車外の撮像領域を車室内の撮像領域と共に撮像する第２撮像部と、前記第２撮像部により撮像されて所定の透過状態とされた第１車室内画像、及び前記第２撮像部の撮像領域の撮影画像から前記ウインドガラスの画像が除かれ、かつ前記第１車室内画像とは異なる透過状態とされた第２車室内画像が、前記第１撮像部により撮像された車外画像に合成されて表示される表示部と、を備えている。

請求項１の車両用視認装置では、第１撮像部によりウインドガラスを通さずに車外の撮像領域が撮像された車外画像に、第２撮像部によりウインドガラスを通した車外の撮像領域及び車室内の撮像領域が撮像されて所定の透過状態とされた第１車室内画像が合成された合成画像が表示部に表示される。また、合成画像には、第２撮像部の撮像領域の撮影画像からウインドガラスの画像が除かれ、かつ第１車室内画像とは異なる透過状態とされた第２車室内画像が合成される。この第２車室内画像は、予め第２撮像部の撮像領域を撮像した撮影画像を用いることが好ましい。

第１車室内画像、第２車室内画像及び車外画像が合成された合成画像では、第１車室内画像及び第２車室内画像の各々が透過性を有するので、車外画像の視認が可能となっており、合成画像が表示部に表示されることで乗員の視認を補助できる。また、第１車室内画像と第２車室内画像とは透過状態が異なるので、表示部に表示された合成画像では、第１車室内画像に映っている車室内の乗員や荷物等を認識できる。

請求項２の車両用視認装置は、請求項１の車両用視認装置において、前記第２車室内画像は、透過率が前記第１車室内画像の透過率より高い透過状態にされている。

請求項２の車両用視認装置では、第２車室内画像の透過状態が、第１車室内画像の透過率よりも高い透過状態とされている。これにより、第２撮像部により撮像されて得られる第１車室内画像に映る乗員や荷物などの対象物の認識を容易にできる。

請求項３の車両用視認装置は、請求項１又は請求項２の車両用視認装置において、前記第２車室内画像は、前記ウインドガラスに接する前記車体部品を含む車室内の車体部品の画像の透過率について、前記第２撮像部の撮像方向の前記第２撮像部側の車体部品の画像の透過率、及び前記第２撮像部の撮像方向の前記第２撮像部とは反対側の車体部品の画像の透過率の一方が他方よりも低い透過状態にされている。

請求項３の車両用視認装置では、第２車室内画像において、第２撮像部の撮像方向の第２撮像部側の車体部品の画像の透過率と、第２撮像部とは反対側の車体部品の画像の透過率とが異なっている。このため、第２車室内画像が含まれる合成画像上で遠近感が持たせられるので、合成画像上で、車外画像に映っている対象物の相対位置の把握を容易にできる。

請求項４の車両用視認装置は、請求項１から請求項３の何れか１項の車両用視認装置において、前記第２車室内画像は、画像の下辺及び画像の上辺の一方から他方へ向けて透過率が高くなるように変化された透過状態にされている。

請求項４の車両用視認装置では、第２車室内画像の透過状態が、第２車室内画像の下辺及び第２車室内画像の上辺の一方から他方へ向けて透過率が高くされている。このため、第２車室内画像が含まれる合成画像上では、第２車室内画像の下辺から上辺へ向けて透過率が高くされることで、車外遠方の対象物の視認性を向上でき、第２車室内画像の上辺から下辺へ向けて透過率が高くされることで、車両近傍の対象物の視認性を向上できる。

また、請求項１の車両用視認装置は、前記第２車室内画像は、前記ウインドガラスに接する車体部品の画像の透過率について、前記ウインドガラス側の透過率が最も高くされて、前記ウインドガラスから離れるに従って透過率が徐々に低くされた透過状態とされていることを含む。

請求項１の車両用視認装置では、ウインドガラスに接する車体部品の画像について、ウインドガラスとの境界部分の透過率を最も高くし、ウインドガラスとの境界部分から離れるに従って透過率が低くなるようにしている。

これにより、第２車室内画像においては、ウインドガラスに接する車体部品について、ウインドガラスとの境界がぼやけるので、合成画像上では、ウインドガラスの周囲において車外画像の視認性を向上できる。

さらに、請求項１の車両用視認装置は、前記ウインドガラスに接する前記車体部品の画像における前記ウインドガラス側の透過率の変化度合いが、前記第２撮像部の撮像方向において前記第２撮像部側より前記第２撮像部とは反対側が小さくされていることを含む。

請求項１の車両用視認装置では、ウインドガラスに接する車体部品の画像において、ウインドガラスの境界部分から離れるに従って透過率が低くなるように変化させる際、透過率の変化度合いが、第２撮像部の撮像方向の第２撮像部とは反対側より第２撮像部側が大きくされている。このため、第２撮像部に近い車体部品の画像と第２撮像部とは離れた車体部品の画像とでは、輪郭がぼやける範囲が異なり、第２撮像部から離れた車体部品の画像の輪郭が大きくぼやける。これにより、ウインドガラスに接する車体部品の画像に遠近感を持たせることができて、合成画像上において車外画像の対象物の相対位置の把握を容易にできる。

請求項５の車両用視認画像表示方法は、第１撮像部によりウインドガラスを通さずに車外の撮像領域を撮像し、第２撮像部により前記ウインドガラスを通した前記車外の撮像領域を車室内の撮像領域と共に撮像し、前記第２撮像部により撮像した撮影画像から、前記ウインドガラスに接する車体部品の画像の透過率について、前記ウインドガラス側の透過率を最も高くすると共に、前記ウインドガラスから離れるに従って透過率を徐々に低くし、かつ、透過率の変化度合いを、前記第２撮像部の撮像方向において前記第２撮像部側より前記第２撮像部とは反対側を小さくした透過状態の車室内画像を生成し、前記車室内画像を前記第１撮像部により撮像された車外画像に合成して表示部に表示する。

請求項５の車両用視認画像表示方法では、第２撮像部により撮像されて車室内画像を、第１撮像部により撮像された車外画像を合成し、合成画像を表示部に表示する。ここで、車室内画像は、第２撮像部の撮影画像を所定の透過状態にされる。また、車室内画像は、ウインドガラスに接する車体部品の画像について、ウインドガラスとの境界部分の透過率を最も高くすると共に、ウインドガラスとの境界部分から離れるに従って透過率が低くなるようにし、かつ透過率の変化が第２撮像部の撮像方向の第２撮像部とは反対側が第２撮像部側より大きくされている。

これにより、表示部に表示される合成画像では、乗員に違和感が生じるのを抑制できると共に遠近感が持たせられるので、車外画像の対象物の相対位置の把握を容易にできて、乗員の視認を補助できる。

請求項１の車両用視認装置によれば、本発明によれば、乗員の視認を補助できると共に、違和感が生じるのを抑制できる、という効果を有する。

請求項２の車両用視認装置によれば、第２撮像部により撮像される車室内の乗員や荷物などの認識を容易にできる、という効果を有する。また、請求項３の車両用視認装置によれば、車外画像に映っている対象物の相対位置の把握を容易にできる、という効果を有する。

請求項４の車両用視認装置によれば、第２車室内画像の下辺から上辺へ向けて透過率が高くされることで、車外遠方の対象物の視認性を向上でき、第２車室内画像の上辺から下辺へ向けて透過率が高くされることで、車両近傍の対象物の視認性を向上できる、という効果を有する。

請求項１の車両用視認装置によれば、ウインドガラスの周囲において車外画像の視認性を向上できる、という効果を有する。また、請求項１の車両用視認装置によれば、車外画像の対象物の相対位置の把握を容易にできる、という効果を有する。

請求項５の車両用視認画像表示方法によれば、車外画像の対象物の相対位置の把握を容易にできて、乗員の視認を補助できる、という効果を有する。

第１の実施の形態に係る車両用視認装置を示すブロック図である。 （Ａ）車室内のインナーミラーを示す車両後側から見た正面図、（Ｂ）はは車両を上方から見た平面図である。 表示処理を示す流れ図である。 （Ａ）〜（Ｄ）の各々は第１の実施の形態に係る画像を示す概略図であり、（Ａ）は車室画像を示し、（Ｂ）は車室後方画像を示し、（Ｃ）は車両後方画像を示し、（Ｄ）は合成画像を示している。 （Ａ）及び（Ｂ）は、第２の実施の形態に係る画像を示す概略図であり、（Ａ）は車室画像を示し、（Ｂ）は合成画像を示している。 （Ａ）及び（Ｂ）は、第３の実施の形態に係る画像を示す概略図であり、（Ａ）は車室画像を示し、（Ｂ）は合成画像を示している。 （Ａ）〜（Ｄ）は、第４の実施の形態に係る画像を示す概略図であり、（Ａ）及び（Ｃ）は車室画像を示し、（Ｂ）は（Ａ）を含む合成画像を示し、（Ｄ）は（Ｃ）を含む合成画像を示している。 （Ａ）及び（Ｂ）は、第５の実施の形態に係る画像を示す概略図であり、（Ａ）は車室後方画像を示し、（Ｂ）は合成画像を示している。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る車両用視認装置１０の概略構成がブロック図にて示されている。また、図２（Ａ）には、車両用視認装置１０が設けられた車両１２の車室内の主要部が車両後側から見た正面図にて示されており、図２（Ｂ）には、車両１２が上方視の平面図にて示されている。尚、各図において、車両前側が矢印ＦＲにて示され、車幅方向が矢印Ｗにて示され、上方が矢印ＵＰにて示されている。

車両用視認装置１０には、第１撮像部としての車外カメラ１４が設けられており、車外カメラ１４は、車両後部かつ車幅方向中央部（例えば、リアバンパの車幅方向中央部）に配置されて、車両１２の後方を所定の画角（撮像領域）で撮像可能にされている。また、車外カメラ１４は、車両１２のウインドガラスを通さずに車外の撮像領域を撮像する。車外カメラ１４の撮像領域には、車室内に設けられたルームミラーにリアウインドガラス（リアウインドシールドガラス）１６Ａ、及びリアサイドドアのドアガラス（リアサイドドアウインドガラス）１６Ｂを通して映る車両後方の領域が含まれている。

車両１２の車室内には、インナーミラー１８が設けられている。インナーミラー１８には、ブラケット２０が設けられており、ブラケット２０の基部が車室天井面の車両前側かつ車幅方向中央部に取付けられている。ブラケット２０には、表示部としての長尺矩形状とされたモニタ２２が設けられており、モニタ２２は、長手方向が車幅方向とされ、かつ表示面が車両後側に向けられてブラケット２０の下端部に取付けられている。これにより、モニタ２２は、車両前側のフロントウインドシールドガラスの上部付近に配置され、表示面が車室内の乗員に視認可能にされている。

モニタ２２の表示面は、車両後方へ向けて凸状の湾曲面とされている。また、モニタ２２の表示面には、ハーフミラー（ワイドミラー）が設けられており、モニタ２２が非表示の場合に、ハーフミラーには、車室内と共に、ウインドガラスとしてのリアウインドガラス１６Ａ及びドアガラス１６Ｂを通した後方視界が写される。

ブラケット２０には、第２撮像部としてのインナーカメラ２４が設けられており、インナーカメラ２４がモニタ２２の上側（天井側）においてブラケット２０に固定されている。インナーカメラ２４は、車両後側に向けられており、インナーカメラ２４は、車両前側から車室内及びリアウインドガラス１６Ａ及びドアガラス１６Ｂを通した範囲において車外カメラ１４の撮像領域の撮像が可能にされている。

一方、車両用視認装置１０には、表示部を構成する制御部としての制御装置２６が設けられており、制御装置２６に車外カメラ１４、モニタ２２及びインナーカメラ２４が接続されている。制御装置２６には、ＣＰＵ２８Ａ、ＲＯＭ２８Ｂ、ＲＡＭ２８Ｃ、記憶部としての不揮発性記憶媒体（例えば、ＥＰＲＯＭ）２８Ｄ、及びＩ／Ｏ（入出力インタフェース）２８Ｅがそれぞれバス２８Ｆに接続されたマイクロコンピュータが含まれている。ＲＯＭ２８Ｂ等には、乗員の視認を補助する画像をモニタ２２に表示する車両用視認表示制御プログラム等の各種のプログラムが記憶されており、ＣＰＵ２８ＡがＲＯＭ２８Ｂ等に記憶されるプログラムを読み出して実行することで、制御装置２６及びモニタ２２が乗員の視認を補助する表示部として機能する。

制御装置２６は、車外カメラ１４により撮像された車外画像としての車両後方画像に、インナーカメラ２４により撮像された第１車室内画像としての車室後方画像を合成する。また、制御装置２６には、第２車室内画像としての車室画像が記憶されている。制御装置２６は、車室画像、車室後方画像及び車両後方画像を合成し、合成画像をモニタ２２に表示するように制御する。

ここで、車室画像としては、予めインナーカメラ２４等を用いて、車室内の車両前側から車室内の車両後方側を撮像した撮影画像が用いられる。また、車室画像は、乗員が乗車しておらず、かつ車室内に荷物等が載せられていない状態の撮影画像が用いられる。即ち、車室画像には、インナーカメラ２４の撮像領域に含まれる車体部品としての前席１６Ｃ、後席１６Ｄ、車室内天井１６Ｅ、センターピラー１６Ｆ、及びリアピラー１６Ｇなどの車体を構成する部品及び車室内に配置されて車体に取付けられている部品の画像が含まれる（図２（Ｂ）参照）。

この車室画像としては、動画が適用されても良いが、静止画を用いることができ、第１の実施の形態では静止画を用いる。また、車室画像は、車両１２の工場出荷時、納車時などにおいて、インナーカメラ２４により撮像された撮影画像を適用できる。さらに、車室画像は、車両走行するために乗員が車両１２に乗車する際、乗員の乗車に先立ってインナーカメラ２４に撮像された撮影画像を適用しても良く、この場合、乗員が車両１２の運転席側のドアを開けたときや、ドアを開けるために解錠したタイミングなどで撮像される。

制御装置２６は、車室画像に対して、リアウインドガラス１６Ａ、ドアガラス１６Ｂなどの光透過性を有する部分を非画像領域（透過率１００％で固定された領域）に設定する。即ち、車室画像は、車室内の撮影画像からリアウインドガラス１６Ａ及びドアガラス１６Ｂの画像を除いた車室内の車体部品の画像が抽出されて生成される。なお、車室画像は、インナーカメラ２４により撮像された画像に限らず、インナーカメラ２４とは別の撮像手段（カメラ）により車室内の車両前側からインナーカメラ２４の撮像領域を撮像した撮影画像（静止画又は動画）が適用されても良い。この場合、撮影画像を下記仮想視点から見た画像に変換する処理が行われて記憶媒体に記憶されていれば良い。

一方、車外カメラ１４の撮影画像とインナーカメラ２４の撮影画像とでは、視点位置が異なっており、制御装置２６は、各撮影画像の視点位置を合わせる。この際、制御装置２６は、モニタ２２の中心位置（車幅方向及び上下方向の中間位置）よりも車両前側に仮想視点を設定し、車外カメラ１４の撮像画像及びインナーカメラ２４の撮像画像の各々を、仮想視点から見た画像に変換する。なお、インナーカメラ２４がモニタ２２に隣接して設けられているので、仮想視点としてインナーカメラ２４の視点が適用されても良い。

制御装置２６は、仮想視点から見た画像に変換した撮影画像の各々を、仮想視点からの視野角が一致するようにトリミング処理等を行う。これにより、各撮影画像に同一の対象物が映っていると仮定したときに、その対象物の画像が重なった画像が生成される。この際、湾曲面又は平面とされた仮想スクリーンを設定し、各々の撮影画像を仮想スクリーン上に投影させた画像に変換するなどの手法が適用される。

さらに、制御装置２６では、車室後方画像及び車室画像に対する透過状態として、透過率が設定されており、制御装置２６は、車室後方画像及び車室画像の各々に対して、設定された透過率の透過状態となるように画像変換を行う。車両後方画像及び車室画像において、透過率が高くなることで、透明度が増して透過性が高くなり、透過率が低い場合に比べて画像が淡く（薄く）なる（透過率が低い場合には、濃くなる）。車室画像及び車室後方画像に設定される透過率としては、合成画像上で車両後方画像が認識可能となる透過率とされている。また、車室後方画像の透過率よりも車室画像の透過率が高く設定されている。制御装置２６は、設定された透過率となるように画像変換を行った車室画像及び車室後方画像を車両後方画像に重ねて合成し、合成画像をモニタ２２に表示する。

次に、本実施の形態の作用として、車両用視認装置１０の制御装置２６において実行される具体的な処理について説明する。図３には、制御装置２６において実行されるモニタ２２への合成画像の表示処理（画像処理）の流れがフローチャートにて示されている。また、図４（Ａ）〜図４（Ｄ）には、制御装置２６において生成される画像が概略図にて示されており、図４（Ａ）には車室画像３０が示され、図４（Ｂ）には車室後方画像３２が示され、図４（Ｃ）には車両後方画像３４が示され、図４（Ｄ）には合成画像３６が示されている。

図３に示されるフローチャートでは、最初のステップ１００において車室画像３０を生成する撮影画像を読み込む。この撮影画像（車室画像）は、モニタ２２への画像表示に先立ってインナーカメラ２４により撮像された車両１２の車室内の撮影画像が用いられる。次のステップ１０２では、読み込んだ撮影画像に対して、視点変換処理を行うと共に、透過率の変換処理を行う。これにより、図４（Ａ）に示される車室画像３０が得られる。

この車室画像３０では、リアウインドガラス１６Ａの画像及びドアガラス１６Ｂの画像を除いた部分の画像が、所定の透過率とされる。これにより、車室画像３０は、リアウインドガラス１６Ａ及びドアガラス１６Ｂを除く車体部品の画像が、透過率に応じた濃さにされている。例えば、透過率が９０％とされている場合、透過率０％（非透過）の場合に対して１０％の濃さとなり、撮影画像よりも極めて淡い車室画像３０が得られる。このステップ１００、１０２は、予め実行されていても良く、この場合、制御装置２６には、視点変換及び透過率の変換処理が行われた車室画像３０が記憶媒体２８Ｄに記憶される。

一方、車両用視認装置１０では、車両１２の図示しないイグニッションスイッチ（ＩＧ）がオンされると、モニタ２２への画像表示を開始する。なお、以下では、イグニッションスイッチのオン／オフによってモニタ２２の表示／非表示を切り替えるように説明するが、これに限らず、車両用視認装置１０にモニタ２２の表示／非表示を切り替えるスイッチが設けられていても良い。この場合、スイッチがオン操作されることで、モニタ２２への画像表示が開始され、スイッチがオフ操作されることで、モニタ２２への画像表示が終了されて、モニタ２２がルームミラー（ハーフミラー）として機能される。

ここで、イグニッションスイッチがオンされると、図３のステップ１０４で肯定判定されてステップ１０６へ移行する。このステップ１０６では、インナーカメラ２４により撮像された車室内の撮影画像を読み込み、次のステップ１０８では、読み込んだ撮影画像に対して、視点変換処理（トリミング処理を含む）を行うと共に、予め設定された透過率に変換処理される。これにより、図４（Ｂ）に示される車室後方画像３２が得られる。また、車両１２に乗車している乗員がインナーカメラ２４により撮像されると、車室後方画像３２には、この乗員が映り込む。

この車室後方画像３２においては、透過率が車室画像３０の透過率よりも低くされている。例えば、車室画像３０の透過率が９０％とされている場合、車室後方画像３２は、透過率が８０％とされる。これにより、車室後方画像３２は、インナーカメラ２４の撮影画像の濃さに対して２０％の濃さとなり、車室後方画像３２は、車室画像３０よりが僅かに濃くされる。

また、図３のステップ１１０では、車外カメラ１４により撮像された撮影画像を読み込み、次のステップ１１２では、読み込んだ撮影画像に対して、視点変換処理が行われると共に、トリミング処理等が行われる。これにより、図４（Ｃ）に示される車両後方画像３４が得られる。車両後方画像３４では、車室後方画像３２のリアウインドガラス１６Ａに重なる車外の対象物が、車室後方画像３２のリアウインドガラス１６Ａ越しに映るのと同じ大きさの画像にされる。なお、ステップ１０６、１０８の処理とステップ１１０、１１２の処理とは、並行して実行される。

この後、ステップ１１４では、車両後方画像３４に車室画像３０及び車室後方画像３２が重ねられて合成される。これにより、図４（Ｄ）に示される合成画像３６が得られ、この合成画像３６がモニタ２２に表示される。ステップ１１６では、イグニッションスイッチがオフされたか否かが確認され、イグニッションスイッチがオンされている間は、ステップ１１６において肯定判定されて、ステップ１０６〜ステップ１１４の処理が繰り返される。これにより、時間経過に応じて変化する車外カメラ１４の撮影画像及びインナーカメラ２４の撮影画像が合成されてモニタ２２に表示される。

ここで、モニタ２２に表示される合成画像３６では、車室画像３０及び車室後方画像３２の各々に透過性を持たせている。このため、車両後方画像３４に車室画像３０及び車室後方画像３２が重なっていても、車両後方画像３４の視認性が低下するのを抑えられて、乗員の車両後方の視認を補助できる。

また、合成画像３６では、車室画像３０と車室後方画像３２とが重なるので、車室画像３０及び車室後方画像３２の各々に現れている同一の車体部品の画像の濃度が、車室画像３０及び車室後方画像３２の一方の画像の濃度よりも高くなっている。即ち、車室画像３０の透過率が９０％、及び車室後方画像３２の透過率が８０％の場合、合成画像３６上の車体部品の画像の濃度が３０％となる。このため、車室画像３０及び車室後方画像３２の各々の透過率を高くしても、合成画像３６において車体部品（車体野画像）が明瞭となる。しかも、合成画像３６には、車室画像３０及び車室後方画像３２が合成されているので、車両１２の車体を把握できて、車両後方画像３４に映っている車両後方の対象物について車両１２に対する相対位置を把握できる。

さらに、車両１２に乗員が乗車している場合、乗車している乗員の画像は車室後方画像３２に映る。このとき、車室画像３０と車室後方画像３２との間で透過率を異ならせているので、合成画像３６は、車室後方画像３２に映る乗員を認識するのを容易にできる。しかも、車室画像３０の透過率よりも車室後方画像３２の透過率が高くされているので、合成画像３６は、車室後方画像３２に映る乗員（乗員の画像）をより容易に認識できる。

また、車室画像３０では、リアウインドガラス１６Ａ等の透過部材の画像の透過率が１００％とされている。このため、車室後方画像３２の透過率を高くして、合成画像３６上において車両後方画像３４が濃く映るようにしても、車室後方画像３２において乗員（例えば、乗員の頭部野画像）がリアウインドガラス１６Ａの画像に重なることで、車室後方画像３２に映る乗員の視認性が向上する。

従って、車室内に乗員が居るにもかかわらず、車室内の乗員がモニタ２２に表示されないことにより、モニタ２２の表示画像を視認する乗員に違和感が生じるのを抑制できる。しかも、車室後方画像３２に映る乗員の画像は、合成画像３６上で車体部品の画像よりも薄くなっている（透過率が高くなっている）ので、乗員の映像（画像）が車両後方の視認性を損ねるのを抑制できる。

また、車室後方画像３２においてリアウインドガラス１６Ａ等を通して見える車両後方の対象物の画像は、合成画像３６上で車両後方画像３４上の同一対象物の画像と重なるので、リアウインドガラス１６Ａ等を通して見える対象物の画像が濃く表示（例えば１２０％の濃さに表示）されて明瞭になる。しかも、リアウインドガラス１６Ａ等の周囲の車体部品の画像に透過性を持たせているので、車両後方の対象物が何であるかの識別を容易にできる。従って、モニタ２２に表示される合成画像３６は、乗員の視認（車両後方の視認）を適正に補助できる。

なお、以上説明した第１の実施の形態では、車室画像３０の透過率に対して、第１画像としての車室後方画像３２の透過率を高くしたが、車室後方画像３２は、車室内の乗員等が認識できる透過率であれば良く、車室画像３０の透過率よりも低くても良い。即ち、車室画像３０の透過状態は、車室後方画像３２の透過率よりも低い透過率であっても良い。

また、第１の実施の形態では、車室画像３０の透過状態として透過率を一定としたが、これに限らず、車室画像３０の透過状態は、透過率を車両１２の走行速度（車速）に応じて異ならせても良い。この場合、制御装置２６には、車両１２の車速センサ（図示省略）が接続されると共に、透過率の異なる複数の車室画像３０が記憶される。制御装置２６は、車速センサにより検出される車速を複数段階（例えば、低速、中速、高速の３段階）に分け、低速であれば、複数の車室画像から透過率が低くされた車室画像を選択して合成画像３６を生成し、高速であれば、複数の車室画像から透過率の最も高い車室画像を選択して合成画像３６を生成する。これにより、モニタ２２に表示された合成画像から、車速に応じて、車速が低い場合よりも車速が高い場合に、車外の視認範囲を広げて乗員の視認を補助できる。

〔第２の実施の形態〕
次に第２の実施の形態を説明する。なお、第２の実施の形態において第１の実施の形態と同様の機能部品については、第１の実施の形態と同様の符号を付与してその詳細な説明を省略する。

第２の実施の形態は、第２車室内画像において、ウインドガラス周縁部分について車体部品の画像の透過率を高くし（例えば１００％）、周縁部分から離れるに従って車体部品の画像の透過率を徐々に低くする所謂ぼかし処理を行っている。図５（Ａ）には、第２の実施の形態に係る第２車室内画像としての車室画像３０Ａが概略図にて示されており、図５（Ｂ）には、車室画像３０Ａが合成された合成画像３６Ａが概略図にて示されている。

車室画像３０Ａは、全体の透過率として高い透過率（例えば、９０％）が設定されている。また、車室画像３０Ａでは、リアウインドガラス１６Ａの周縁に接する車両後側の車体部品の画像である後席１６Ｄ、車室内天井１６Ｅ、及び車幅方向両側のリアピラー１６Ｇのリアウインドガラス１６Ａ側の周縁部分に対して、輪郭をぼかす処理（ぼかし処理）が行われる。また、車室画像３０Ａでは、リアウインドガラス１６Ａよりも車両前側のドアガラス１６Ｂに接する車体部品である車室内天井の車幅方向両側、センターピラー１６Ｆ、及びリアピラー１６Ｇの周縁部分に対してぼかし処理が行われる。

これにより、車室画像３０Ａには、ぼかし部３８Ａがリアウインドガラス１６Ａの画像の外側に形成されると共に、ぼかし部３８Ｂがドアガラス１６Ｂの画像の外側に形成されている。なお、図５（Ａ）では、ぼかし処理された車体部品の輪郭が二点鎖線で示されている。

ぼかし部３８Ａ、３８Ｂを形成するぼかし処理は、リアウインドガラス１６Ａ及びドアガラス１６Ｂとの境界部分の透過率を最も高くし（例えば、略１００％）、境界部分から離れるに従って透過率が徐々に（段階的でも良い）低くなるようにする。また、ぼかし処理においては、車両後側の車体部品における透過率の変化度合いを、車両前側の車体部品の画像における透過率の変化度合いよりも小さくする（透過率１００％から透過率９０％に達するまでの幅であるぼかし幅を狭くする）。

このため、車室画像３０Ａでは、リアウインドガラス１６Ａの周囲における透過率の高い領域（透明度の高い領域、ぼかし部３８Ａ）が、ドアガラス１６Ｂの周囲における透過率の高い領域（ぼかし部３８Ｂ）より広くされる（ぼかし幅が広くされる）。このようなぼかし処理は、図３のステップ１０２において撮影画像に対して画像処理を行う際、撮影画像上の車体部品の画像ごとに透過率の変換処理が行われれば良い。なお、ドアガラス１６Ｂは、車両前後方向に配置されているので、ぼかし部３８Ｂは、ドアガラス１６Ｂの車両後側と車両前側とでぼかし幅を異ならせてもよい。

これにより、車室画像３０Ａでは、リアウインドガラス１６Ａ及びドアガラス１６Ｂに接する車体部品の輪郭（画像の輪郭）をあいまい（ぼやかす）にできる。また、車室画像３０Ａでは、ぼかし幅の広いぼかし部３８Ａが設けられた車体部品の画像と、ぼかし幅の狭いぼかし部３８Ｂが設けられた車体部品の画像との間で、ぼかし幅の狭い車体部品よりにぼかし幅の広い車体部品が遠く感じるという遠近感が持たせられる。

また、車室画像３０Ａでは、車両後側のリアウインドガラス１６Ａに接する車体部品の輪郭を、車両前側のドアガラス１６Ｂに接する車体部品の輪郭よりもあいまい（ぼやかす）にできて、合成画像３６Ａ上で車両後方の視認性を向上できる。

これにより、図５（Ｂ）に示される合成画像３６Ａにおいては、車体部品の骨格を認識できると共に、車両後方画像３４の視認性が車室画像３０Ａにより低下されるのを抑えられる。従って、モニタ２２に表示される合成画像３６Ａは、乗員の車両後方の視認を補助できる。しかも、合成画像３６Ａには、車室画像３０Ａが含まれることで、乗員に違和感を生じさせるのを抑制できると共に、車体部品の凡その輪郭が示されて、車両後方画像３４に映っている対象物の相対位置を認識可能にできる。

また、車室画像３０Ａは、予め生成しておくことができるので、車体部品ごとの画像の透過率が異なっていても、モニタ２２に車室画像３０Ａを含む合成画像３６Ａを表示するために、制御装置２６（ＣＰＵ２８Ａ）の処理負荷が増加するのを抑制できる。

〔第３の実施の形態〕
次に第３の実施の形態を説明する。なお、第３の実施の形態において第１の実施の形態及び第２の実施の形態と同様の機能部品については、第１の実施の形態及び第２の実施の形態と同様の符号を付与してその詳細な説明を省略する。

第３の実施の形態では、第２車室内画像において、車両前側の車体部品の画像と車両後側の車体部品の画像との間で透過率を異ならせている。図６（Ａ）には、第３の実施の形態に係る第２車室内画像として車室画像３０Ｂが概略図にて示されており、図６（Ｂ）には、車室画像３０Ｂが合成された合成画像３６Ｂが概略図にて示されている。

図６（Ａ）に示されるように、車室画像３０Ｂでは、車両前側の車体部品（前席１６Ｃ、センターピラー１６Ｆ等）の画像の透過率を、車両後側の車体部品（リアウインドガラス１６Ａの周縁の車室内天井１６Ｅ、後席１６Ｄ、及びリアピラー１６Ｇ等）の画像の透過率よりも低くしている。例えば、車室画像３０Ｂでは、車両前側の車体部品の画像の透過率が９０％とされて、車両後側の車体部品の画像の透過率が車幅方向の中央部分で最も高くされ（一例として１００％）、車幅方向外側へ向けて徐々に低くされている（一例として１００％〜９５％）。このような処理は、図３のステップ１０２において撮影画像に対して画像処理を行う際、透過率の変換処理について、撮影画像上の車体部品の画像ごとに透過率の変換処理が行われれば良い。

これにより、車室画像３０Ｂでは、車両後側の車体部品が車両前側の車体部品より遠く感じるように遠近感を持たせられる。また、車室画像３０Ｂでは、車両後側のリアウインドガラス１６Ａが開放されていると感じられる。

図６（Ｂ）に示される合成画像３６Ｂには、車室後方画像３２が含まれるので、車体部品や車室内の乗員を認識でき、モニタ２２に表示される合成画像３６Ｂを視認する乗員に違和感を生じさせるのを抑制できる。また、合成画像３６Ｂでは、車両後側の車体部品の透過率が高くされているので、車両後方画像３４の視認範囲（特に車両後方）を広くできて、視認の車両後方の視認を補助できる。

また、車室画像３０Ｂは、予め生成しておくことができるので、車体部品の画像ごとに透過率が異なっていても、モニタ２２に車室画像３０Ｂを含む合成画像３６Ｂを表示するために、制御装置２６（ＣＰＵ２８Ａ）の処理負荷が増加するのを抑制できる。

なお、第２の実施の形態及び第３の実施の形態では、車両前側の車体部品の画像の透過率を車両後側の車体部品の画像の透過率よりも低くしたが、これに限らず、車両前側の車体部品の画像の透過率を車両後側の車体部品の画像の透過率よりも高くしても良い。

〔第４の実施の形態〕
次に第４の実施の形態を説明する。なお、第４の実施の形態において第１の実施の形態から第３の実施の形態と同様の機能部品については、第１の実施の形態から第３の実施の形態と同様の符号を付与してその詳細な説明を省略する。

第４の実施の形態では、第２車室内画像上において、画像の透過率が、画像下側（画面の下側部分）と画像上側（画面の上側部分）とで透過率を異ならせている。図７（Ａ）には、第４の実施の形態に係る第２車室内画像として車室画像３０Ｃが概略図にて示されており、図７（Ｂ）には、車室画像３０Ｃが合成された合成画像３６Ｃが概略図にて示されている。

図７（Ａ）に示されるように、車室画像３０Ｃでは、下辺側の画像の透過率が所定の透過率（例えば、９０％）とされ、上辺へ向けて徐々に透過率が高くされて、上辺近傍において画像の透過率が最も高く（例えば、透過率１００％）されている。このような処理は、図３のステップ１０２において撮影画像に対して画像処理を行う際、透過率の変換処理について、撮影画像全体に対して透過率の変換処理が行われれば良い。これにより、車室画像３０Ｃでは、下辺から上辺へ向けて画像の濃さが徐々に薄くされている。

図７（Ｂ）に示される合成画像３６Ｃには、車室後方画像３２が含まれるので、車体部品や車室内の乗員を認識でき、モニタ２２に表示される合成画像３６Ｃを視認する乗員に違和感を生じさせるのを抑制できる。また、合成画像３６Ｃでは、上辺側の車体部品の画像の透過率が高くされているので、車両後方画像３４の視認範囲（特に車両後方）を広くできて、視認の車両後方の視認を補助できる。

なお、第２車室内画像は、画像の上辺から画像の下辺へ向けて透過率が高くなるように変化されても良い。図７（Ｃ）には、第４の実施の形態の他の一例とする第２車室内画像として車室画像３０Ｄが概略図にて示されており、図７（Ｄ）には、車室画像３０Ｄが合成された合成画像３６Ｃが概略図にて示されている。

図７（Ｃ）に示されるように、車室画像３０Ｄでは、上辺側の画像の透過率が所定の透過率（９０％）とされ、下辺にいくに従って徐々に透過率が高くされて、下辺近傍において画像の透過率が最も高く（透過率１００％）されている。これにより、車室画像３０Ｄでは、画像の透過率が上辺から下辺へ向けて高くされて、画像の濃さが徐々に薄くされている。

図７（Ｄ）に示される合成画像３６Ｄには、車室後方画像３２が含まれるので、車体部品や車室内の乗員を認識でき、モニタ２２に表示される合成画像３６Ｄを視認する乗員に違和感を生じさせるのを抑制できる。また、合成画像３６Ｄでは、下辺側の車体部品の画像の透過率が高くされているので、車体部品の画像に重なる車両後方画像３４の下側の視認範囲が容易となり、視認の車両後側近傍の視認を補助できる。

また、車室画像３０Ｃ、Ｄは、予め生成しておくことができるので、車体部品の画像ごとに透過率が異なっていたり、画像面の上下で透過率が異なったりしていても、モニタ２２に合成画像３６Ｃ、３６Ｄを表示するために、制御装置２６（ＣＰＵ２８Ａ）の処理負荷が増加するのを抑制できる。

なお、第４の実施の形態では、第２車室内画像の下辺及び上辺の一方から他方へ向けて透過率が高くなるようにしたが、これに限るものではない。第２車室内画像は、画像の横方向（例えば、車幅方向）の一方の辺から他方の辺に向けて透過率が徐々に高くなるようにしても良く、また、画像の幅方向の両側の各々から中央部へ向けて透過率が高くなるようにしても良く、さらに、画像の幅方向の中央部から幅方向の両側へ向けて透過率が高くなるようにしても良い。

また、第４の実施の形態では、車室画像３０Ｃ又は車室画像３０Ｄを車室後方画像３２及び車両後方画像３４に重ねるようにしたが、これに限らず、車両１２の走行速度（車速）に応じて車室画像３０Ｃ及び車室画像３０Ｄの一方を選択して表示するようにしても良い。この場合、制御装置２６は、車速センサにより検出される車速を複数段階（例えば、低速、中速、高速の３段階）に分け、車速が低速であれば、車室画像３０Ｄを選択して、車室画像３０Ｄを含む合成画像３６Ｄを表示し、車速が高速であれば、車室画像３０Ｃを選択して、車室画像３０Ｃを含む合成画像３６Ｃを表示しても良い。

これにより、車両１２が高速走行中は、車両後方の視認性が向上され、車両１２が低速走行中は、車両後方近傍の視認性が向上されるので、車速に応じて乗員の視認を適正に補助できる。なお、車両１２が中速走行中であれば、車室画像３０Ｃ、３０Ｄの何れも用いずに、車室後方画像３２及び車両後方画像３４を合成してモニタ２２に表示するようにしても良い。

一方、第２の実施の形態及び第３の実施の形態では、第２車室内画像としての車室画像３０Ａ、３０Ｂにおいて車体部品の透過率を変化させて、車室画像３０Ａ又は車室画像３０Ｂを車室後方画像３２、及び車両後方画像３４に合成した。また、第４の実施の形態では、第２車室内画像として画像面の上下で透過率の異なる車室画像３０Ｃ、３０Ｄを車室画像３０Ｂを車室後方画像３２、及び車両後方画像３４に合成した。しかしながら、第１車室内画像について車外部品の画像又は画像面の透過率を変化させて、車両後方画像３４に合成しても良い。これにより、第２車室内画像を用いることなく、表示部に表示する合成画像に遠近感を持たせることができる共に、表示される合成画像に違和感を生じるのを抑制できる。

従って、第１の実施の形態から第４の実施の形態は、第１撮像部により車外から車両後方を撮像し、第２撮像部により車室内の車両前側から車室内と共に、ウインドガラスを通して前記第１撮像部の撮影領域を撮像し、前記第２撮像部により撮像されて車両前側の車体部品の透過率及び車両後側の車体部品の透過率の一方を他方よりも低くされた室内画像を前記第１撮像部により撮像された車外画像に合成して、車室内の車両前側に設けられた表示部に表示する車両用視認画像表示方法を含む。

〔第５の実施の形態〕
次に第５の実施の形態を説明する。なお、第５の実施の形態において第１の実施の形態から第４の実施の形態の何れかと同様の機能部品については、第１の実施の形態から第４の実施の形態と同様の符号を付与してその詳細な説明を省略する。

第５の実施の形態では、予め第２撮像部の撮像領域を撮像して得られる第２車室内画像を用いないで、第２撮像部により撮像された撮影画像から得られる車室内画像（第１車室内画像に相当する画像）を第１撮像部により撮像された車外画像に合成する。図８（Ａ）には、第５の実施の形態に係る車室内画像としての車室後方画像３２Ａが概略図にて示されており、図８（Ｂ）には、第５の実施の形態に係る合成画像３６Ｅが概略図にて示されている。

車室後方画像３２Ａは、インナーカメラ２４により車室内が撮像された撮影画像に対して、所定の透過状態とすることで生成される。車室後方画像３２Ａでは、車両前側の車体部品（前席１６Ｃ、センターピラー１６Ｆ等）の画像と車両後側の車体部品（リアウインドガラス１６Ａの周縁の車室内天井１６Ｅ、後席１６Ｄ、及びリアピラー１６Ｇ等）の画像との間で透過率を異なっている。車室後方画像３２Ａでは、インナーミラー１８に近い車両前側の車体部品の画像の透過率が、インナーミラー１８から離れた位置にある車両後側の車体部品の画像の透過率より高くされ、車両前側の車体部品が車両後側の車体部位品より淡く映るようにされる。この際、車両前側の車体部品の画像の透過率は、合成画像上で視認可能となる透過率（例えば、８０％〜９０％）とされ、車両後側の車体部品の画像の透過率は、車両前側の車体部品の画像より濃く視認される透過率（例えば、７０％〜８０％程度）とされる。

また、車室後方画像３２Ａに対しては、リアウインドガラス１６Ａ及びドアガラス１６Ｂに接している車体部品の輪郭に対してぼかし処理（第２の実施の形態参照）を行うことで、ぼかし部３８Ａ、３８Ｂを設ける。ぼかし処理の範囲（ぼかし幅）は、リアウインドガラス１６Ａ及びドアガラス１６Ｂとの間で、車両前側となるドアガラス１６Ｂの車体部品のぼかし部３８Ｂより車両後側となるリアウインドガラス１６Ａの周囲の車体部品のぼかし部３８Ａにおいて広くなるようにされる。なお、図８（Ａ）では、ぼかし処理された車体部品の輪郭が二点鎖線で示されている。

第５の実施の形態に係る処理を実行する場合、図３のフローチャートにおいてステップ１００、１０２が省略され、ステップ１０８の画像処理において、車体部品ごとの透過率の変換処理と共に、及びリアウインドガラス１６Ａ及びドアガラス１６Ｂに接する車体部品に対する輪郭のぼかし処理が行われ、これにより、生成された車室後方画像３２Ａが車両後方画像３４により合成されて、合成画像３６Ｅが得られる。

ここで、合成画像３６Ｅでは、車室後方画像３２Ａにぼかし部３８Ａ、３８Ｂが設けられることで、リアウインドガラス１６Ａ及びドアガラス１６Ｂに接する車体部品の画像の輪郭があいまい（ぼやかす）とされているので、車両後方の視認性を向上できて、乗員の車両後方の視認性を向上できる。

また、合成画像３６Ｅでは、リアウインドガラス１６Ａの周囲のぼかし部３８Ａのぼかし幅が、リアウインドガラス１６Ａより車両前側のドアガラス１６Ｂの周囲のぼかし部３８Ｂのぼかし幅より広くなっている。このため、合成画像３６Ｅでは、車体部品の間で遠近感が得られ、車両１２後方に映る対象物の車両１２に対する相対位置（遠近）を認識可能にできる。しかも、車両前側の車体部品の画像と車両後側の車体部品の画像との間で濃さが相違するので、車体部品の遠近感をより向上できて、車両１２後方に映る対象物の車両１２に対する相対位置（遠近）の認識性を向上できる。

なお、第５の実施の形態では、車両前側の車体部品の画像の透過率を車両前側の車体部品の画像の透過率より高くしたが、これに限らず、車両前側の車体部品の画像の透過率より車両後側の車体部品の画像の透過率を高くしてもよく、車両前側の車体部品の画像と車両部品の画像との間で透過率（ぼかし部分を除く透過率）を同様としても良い。さらに、インナーカメラ２４の撮影画像から得られる車室内画像上において、画像の下辺及び画像の上辺の一方から他方へ向けて透過率が高くなるように変化させると共に、リアウインドガラス１６Ａ及びドアガラス１６Ｂの周縁外側にぼかし部分を設けるようにしても良い。

また、以上説明した第１の実施の形態から第５の実施の形態では、車両後方を撮像する第１撮像部として、１台の車外カメラ１４を用いた。しかしながら、第１撮像部としては、複数台のカメラが用いられても良い。第１撮像部としては、車幅方向の両側において車両後側（車両後側の車幅方向両側）の各々に車外カメラを設けて、車両後側を含む車両右後側及び車両後側を含む車両右後側を撮像しても良い。また、第１撮像部としては、車両後側に撮像手段を設けると共に、左右のドアミラー又は左右のドアミラー付近の各々において車両後側を撮像する撮像手段を設けてもよい。第１撮像部に複数の撮像手段が用いられる場合に、車両後方画像は、各々の撮像手段の撮影画像を合成して生成されるものであれば良い。

さらに、第１の実施の形態から第５の実施の形態では、第１撮像部としての車外カメラ１４及び第２撮像部としてのインナーカメラ２４の撮像方向を車両後方とした。しかしながら、第１撮像部は、車両後方に限らず、車幅右方向、車幅左方向、及び車両前方の何れであっても良く、第２撮像部の撮像方向は、車室内から第１撮像部の撮像領域を含む方向であれば良い。これにより、乗員の車両側方及び車両前方の視認を補助できる。

１０ 車両用視認装置
１４ 車外カメラ（第１撮像部）
２２ モニタ（表示部）
２４ 車内カメラ（第２撮像部）
２６ 制御装置
３０、３０Ａ〜３０Ｄ 車室画像（第２車室内画像）
３２ 車室後方画像（第１車室内画像）
３２Ａ 車室後方画像（車室内画像）
３４ 車両後方画像（車外画像）
３６、３６Ａ〜３６Ｅ 合成画像

Claims (5)

1. ウインドガラスを通さずに車外の撮像領域を撮像する第１撮像部と、
   ウインドガラスを通した前記車外の撮像領域を車室内の撮像領域と共に撮像する第２撮像部と、
   前記第２撮像部により撮像されて所定の透過状態とされた第１車室内画像、及び前記第２撮像部の撮像領域の撮影画像から前記ウインドガラスの画像が除かれ、かつ前記第１車室内画像とは異なる透過状態とされた第２車室内画像が、前記第１撮像部により撮像された車外画像に合成されて表示される表示部と、
   を備え、
   前記第２車室内画像は、前記ウインドガラスに接する車体部品の画像の透過率について、前記ウインドガラス側の透過率が最も高くされて、前記ウインドガラスから離れるに従って透過率が徐々に低くされた透過状態にされ、かつ前記ウインドガラスに接する前記車体部品の画像における前記ウインドガラス側の透過率の変化度合いが、前記第２撮像部の撮像方向において前記第２撮像部側より前記第２撮像部とは反対側が小さくされている車両用視認装置。
2. 前記第２車室内画像は、透過率が前記第１車室内画像の透過率より高い透過状態にされている請求項１記載の車両用視認装置。
3. 前記第２車室内画像は、前記ウインドガラスに接する前記車体部品を含む車室内の車体部品の画像の透過率について、前記第２撮像部の撮像方向の前記第２撮像部側の車体部品の画像の透過率、及び前記第２撮像部の撮像方向の前記第２撮像部とは反対側の車体部品の画像の透過率の一方が他方よりも低い透過状態にされている請求項１又は請求項２記載の車両用視認装置。
4. 前記第２車室内画像は、画像の下辺及び画像の上辺の一方から他方へ向けて透過率が高くなるように変化された透過状態にされている請求項１から請求項３の何れか１項記載の車両用視認装置。
5. 第１撮像部によりウインドガラスを通さずに車外の撮像領域を撮像し、
   第２撮像部により前記ウインドガラスを通した前記車外の撮像領域を車室内の撮像領域と共に撮像し、
   前記第２撮像部により撮像した撮影画像から、前記ウインドガラスに接する車体部品の画像の透過率について、前記ウインドガラス側の透過率を最も高くすると共に、前記ウインドガラスから離れるに従って透過率を徐々に低くし、かつ、透過率の変化度合いを、前記第２撮像部の撮像方向において前記第２撮像部側より前記第２撮像部とは反対側を小さくした透過状態の車室内画像を生成し、
   前記車室内画像を前記第１撮像部により撮像された車外画像に合成して表示部に表示する車両用視認画像表示方法。