JP4251099B2 - 車両用周辺確認装置 - Google Patents

Description

本発明は、車両の後方周囲の状況を確認するのに用いて好適の、車両用周辺確認装置に関する。

近年、車両の周辺の状況を確認するために、車両に小型カメラを搭載してこのカメラによって撮像する車両周囲の画像を車室内の運転席近傍にリアルタイムで表示させるようにする技術が開発されている。特に、一つのカメラでは車両の周囲を十分に捕らえることが困難なので、車両に複数のカメラを設置してこれらのカメラの画像を合成して表示することで、車両の周囲を広範囲に表示できるようにした技術も開発されている。

ところが、複数のカメラで撮影した画像を合成して表示する際に、同一規格のカメラであっても輝度や色バランス等がカメラ毎に違うため、両カメラの画像を滑らかに合成することができない。そこで、特許文献１には、２つのカメラを左右に隣接させて撮影範囲が若干重なるように配置し、これらの画像の重なった部分を参照して両カメラの輝度や色バランス等が均一になるように補正して、両カメラの画像を滑らかに合成できるようにする技術が提案されている。
特許第３２９７０４０号公報

ところで、車両の周辺の状況を確認する装置として、車両の後方を確認する、所謂リヤビュー装置も開発されている。このようなリヤビュー装置では、一般に、車両の真後ろを確認するものが多いが、真後ろだけでなく、車両後部の左右側方も確認できるようにしたい。
この場合、例えば、車両後部に、真後ろを撮影するテレビカメラ（動画用カメラ、以下単にカメラという）と、車両後部左側方を撮影するカメラと、車両後部右側方を撮影するカメラとをそれぞれ設けて、これらを何れも表示できるようにすればよいが、この場合、車両後部に３台ものカメラを設置しなくてはならない。

そこで、真後ろを撮影するカメラは設置せずに、車両後部左側方を撮影するカメラと、車両後部右側方を撮影するカメラとの２台のカメラだけを設置して、車両の真後ろ映像は、これらの２台のカメラ画像を合成することが考えられる。つまり、ある程度広角のカメラを使うと、２台のカメラで車両側方から車両下方までを撮影することができる。
つまり、図３に示すように、車両１の後部に、車両の左側後方から車両下後方（真後ろ）までを撮影するカメラ２Ａと車両の右側後方から車両下後方（真後ろ）までを撮影するカメラ２Ｂとを設置して、車両の真後ろの画像は、図４のディスプレイ３の模式的に示すように、カメラ２Ａにより撮影した画像とカメラ２Ｂにより撮影した画像とを合成して画像領域４に表示する。なお、この例では、ディスプレイ３の合成画像を示す領域４の上部において、左側の領域５Ａに左側方の画像を、右側の領域５Ｂに右側方の画像を表示するようにしている。

この場合、車両の真後ろの画像は、例えば左右の中心線６を境にカメラ２Ａの画像とカメラ２Ｂの画像とを接続して表示することになるが、前述のように、両カメラ２Ａ，２Ｂ同一規格のカメラであっても輝度や色バランス等がカメラ毎に違うため、両カメラの画像を滑らかに合成するには、特許文献１に示すように、２つのカメラの輝度や色バランス等が均一になるように補正することが必要になる。

ところが、広角のカメラの場合、撮影した画像の中心部分に比べて周辺部分が大きく歪んでしまう。車両の側方且つ後方を撮影するカメラを利用して車両の下後方（真後ろ）の画像を得る場合、どうしても、撮影した画像の周辺部分の画像がひずむ部分を利用することになる。このため、左右の歪んだ画像同士を接続することになり、画像補正によって左右の画像を形状が連続するようにすることが必要になり、これに加えて、２つのカメラの輝度や色バランス等に応じた調整が加わることになる。特に、ディスプレイ３の左右の中心線６部分にこの画像の接続部分があると、例え形状が連続していても、輝度や色バランス等の相異によって画像が見難くなり、画像を通じた周辺の認識も難しくなる。

本発明はこのような課題に鑑み案出されたもので、複数のカメラによる車両の周囲の画像を合成して表示する際に、容易にしかも見やすく表示することができるようにして、車両の周囲の確認を適切に行なうことができるようにした、車両用周辺確認装置を提供することを目的とする。

上記目標を達成するため、本発明の車両用周辺確認装置は、撮影範囲が一部重なるように車両に配置され、該車両の周囲を撮影する第１及び第２の撮影手段（テレビカメラ）と、上記の第１及び第２の撮影手段により撮影されたそれぞれの画像を合成して該車両の真後ろの合成画像を表示する表示手段（ディスプレイと）とをそなえ、該表示手段に表示される該車両の真後ろの該合成画像のうちの画像中心部と画像一側部は、上記の第１及び第２の撮影手段のうちの一方の撮影手段による画像によって構成され、該合成画像のうちの画像他側部は上記の第１及び第２の撮影手段のうちの他方の撮影手段による画像によって構成されていることを特徴としている。
また、該第１の撮影手段は該車両の後部の左側に配置され、該車両の後部を該車両の右側方から該車両の真後ろにかけて撮影するように向けられ、該第２の撮影手段は該車両の後部の右側に配置され、該車両の後部を該車両の左側方から該車両の真後ろにかけて撮影するように向けられることを特徴としている（請求項１）。

該合成画像中の該一方の撮影手段による画像と該他方の撮影手段による画像との接続部分が滑らかに連続するように、該接続部分の周辺は画像補正が施されていることが好ましい（請求項２）。

さらに、該表示手段には、該合成画像として表示される該車両の真後ろの画像に加えて、第１の撮影手段により撮影された該車両の右側方の画像と、該第２の撮影手段により撮影された該車両の左側方の画像とが表示されることが好ましい（請求項３）。

また、該合成画像の画像中心部と画像一側部とを構成する画像として、上記の第１及び第２の撮影手段のうちの何れの撮影手段による画像を表示するか選択可能になっていることが好ましい（請求項４）。

本発明の車両用周辺確認装置によれば、合成画像を、画像中心部と画像一側部は１つの撮影手段による画像によって構成し、画像他側部のみに他の撮影手段による画像によって構成することにより、２つの画像の接続部分が一般に注視される画像中心部から側方に外れることになる。このため、画像が接続部分で滑らかに接続していなくても、この画像の接続部分は目立たず、違和感のない合成画像を表示することができる。
また、第１の撮影手段を、車両の後部において車両の右側方から車両の真後ろにかけて撮影するように配置し、第２の撮影手段を、車両の後部において車両の左側方から車両の真後ろにかけて撮影するように配置して、車両の真後ろの画像の合成画像を、画像中心部と画像一側部は、第１及び第２の撮影手段のうちの一方の撮影手段による画像によって構成し、画像他側部は第１及び第２の撮影手段のうちの他方の撮影手段による画像によって構成しているので、車両の後部両側方をも撮影しうる第１及び第２の撮影手段を用いながら、車両に真後ろを向けた専用カメラを設置することなく、車両の真後ろの画像を表示することが可能になる。
さらに、第１の撮影手段を車両の後部の左側に配置し、第２の撮影手段を車両の後部の右側に配置すると、左側に配置した第１の撮影手段により、車両の右側方から車両の真後ろにかけての比較的広い範囲を撮影することができ、右側に配置した第２の撮影手段により、車両の左側方から車両の真後ろにかけての比較的広い範囲を撮影することができるため、２つの撮影手段によって、車両の右側方と左側方と真後ろとを撮影するのに有利になる（請求項１）。

合成画像中の一方の撮影手段による画像と他方の撮影手段による画像との接続部分が滑らかに連続するように、該接続部分の周辺に画像補正を施せば、より違和感のない合成画像を表示することができる（請求項２）。

該表示手段には、該合成画像として表示される該車両の真後ろの画像に加えて、第１の撮影手段により撮影された該車両の右側方の画像と、該第２の撮影手段により撮影された該車両の左側方の画像とが表示されれば、車両の後部の周囲をより認識できるようになる（請求項３）。
該合成画像の画像中心部と画像一側部とを構成する画像として、上記の第１及び第２の撮影手段のうちの何れの撮影手段による画像を表示するか選択可能になっていれば、より見やすい合成画像を選択することができる（請求項４）。

以下、図面により、本発明の実施の形態について説明する。
図１,図２は本発明の一実施形態に係る車両用周辺確認装置を説明するもので、これらの図に基づいて説明する。
本実施形態に係る車両用周辺確認装置は、車両の後方を確認するリヤビュー装置であって、図２に示すように、車両の後部に設定された第１,第２の２台のテレビカメラ（撮影手段、以下、単にカメラともいう）１２Ａ,１２Ｂをそなえている。特に、図２（ａ）に示すように、車両の後部の左側に設置された第１のカメラ（第１の撮影手段）１２Ａは、車両１の右側方から車両１の真後ろにかけて撮影するように配置され、車両の後部の右側に設置された第２のカメラ（第２の撮影手段）１２Ｂは、車両１の左側方から車両１の真後ろにかけて撮影するように配置されている。したがって、両カメラ１２Ａ，１２Ｂの撮影範囲は一部重なるように配置されている。

なお、本実施形態では、各カメラ１２Ａ,１２Ｂは、車両に対して左右対称に配置されており、両カメラ１２Ａ,１２Ｂとも、側面視では、図２（ｂ）に示すように、車輌の略真下から所定距離だけ車輌後方まで撮影できるように配置されている。
本車両用周辺確認装置は、図１に示すように、このように配設された２つのカメラ１２Ａ,１２Ｂと、これらのカメラ１２Ａ,１２Ｂで撮影した画像を処理する画像処理装置（画像処理手段）１７と、画像処理装置１７により処理された画像を表示するディスプレイ（表示手段）１３とをそなえている。

ディスプレイ１３には、画面の上部左側の領域１５Ａに車輌の左側方（左真横から左やや後方までを含む左サイドニュー）の画像を、画面の上部右側の領域１５Ｂに右側方（右真横から右やや後方までを含む右サイドニュー）の画像を表示するようになっている。また、ディスプレイ１３の画面の下部の領域１４には、カメラ１２Ａにより撮影した画像とカメラ１２Ｂにより撮影した画像とを合成したリヤビュー画像（車両真後ろの画像）を表示するようになっている。

画像処理装置１７では、カメラ１２Ａ,１２Ｂで撮影した画像を処理してディスプレイ１３に表示する。この画像処理装置１７は、画像を一時記憶する画像メモリ１８ａ,１８ｂと、画像メモリ１８ａ,１８ｂに記憶された画像情報から、ディスプレイ１３に表示すべき画像情報を抽出する画像抽出部１９ａ，１９ｂと、ディスプレイ１３に表示すべき画像情報を抽出してこれらを合成する画像抽出・合成部２０とをそなえている。

このうち、画像メモリ１８ａは、カメラ１２Ｂで撮影した画像を一時記憶し、画像メモリ１８ｂは、カメラ１２Ａで撮影した画像を一時記憶する。
画像抽出部１９ａは、画像メモリ１８ａに記憶されたカメラ１２Ｂの画像情報（車両１の左側方から車両１の真後ろにかけての画像情報）から、ディスプレイ１３の上部左側の領域１５Ａに表示すべき車両１の左側方の画像情報のみを抽出する。画像抽出部１９ｂは、画像メモリ１８ｂに記憶されたカメラ１２Ａの画像情報（車両１の右側方から車両１の真後ろにかけての画像情報）から、ディスプレイ１３の上部右側の領域１５Ｂに表示すべき車両１の右側方の画像情報のみを抽出する。

画像抽出・合成部２０は、画像メモリ１８ａに記憶されたカメラ１２Ｂの画像情報（車両１の左側方から車両１の真後ろにかけての画像情報）と、画像メモリ１８ｂに記憶されたカメラ１２Ａの画像情報（車両１の右側方から車両１の真後ろにかけての画像情報）とから、ディスプレイ１３の下部の領域１４に表示すべき車両１の真後ろ（リヤビュー）の画像情報を抽出して、これらを合成する。

また、画像抽出・合成部２０では、画像を合成するに当たって、両画像の接続部分で両画像が整合するように、少なくとも接続部分の近傍の画像形状を補正するようにしている。特に、カメラ１２Ａ,１２Ｂは比較的広角のカメラであるため、このような画像補正がないと、接続部分で両画像が滑らかに繋がらないためこうした補正を行っている。ここでは、各カメラ１２Ａ,１２Ｂによって広角で撮影した結果歪んでしまった画像全体をそれぞれ歪みのないものに補正した上で合成している。このような形状補正は、各カメラで撮影した映像の各画素に対して表示する画素位置をそれぞれ対応付けたもので、既知の手法で容易に補正することができる。

ところで、本装置では、カメラ１２Ａの画像とカメラ１２Ｂの画像とを合成されてなる合成画像をディスプレイ１３の下部の領域１４に表示させるとともに、この領域１４に表示される合成画像における両画像の接続部分は、ディスプレイ１３の左右の中心線部分ではなく、左右いずれかに偏在している。ここでは、接続部分がディスプレイ１３の右側１６に設定されている。したがって、合成画像を表示する画面１４は、画像中心部領域１４ａ，画像一側部（左側部）領域１４ｂ及び画像他側部（右側部）領域１４ｃによって構成され、中心部領域１４ａと一側部領域１４ｂとは第２のカメラ１２Ｂの画像が表示され、他側部領域１４ｃとは第１のカメラ１２Ａの画像が表示されることになる。

本発明の一実施形態にかかる車両用周辺確認装置は上述のように構成されているので、ディスプレイ１３の画面領域１４には、画面の上部左側の領域１５Ａに車輌の左側方（左真横から左やや後方までを含む）の画像が、画面の上部右側の領域１５Ｂに右側方（右真横から右やや後方までを含む）の画像がそれぞれ表示され、画面の下部の領域１４には、カメラ１２Ａにより撮影した画像とカメラ１２Ｂにより撮影した画像とを合成したリヤビュー画像（車両真後ろの画像）が表示される。

特に、領域１４の合成画像は、画像中心部と画像一側部（左側部）はカメラ１２Ｂの画像によって構成し、画像他側部（右側部）のみをカメラ１２Ａの画像によって構成しており、合成画像であるリヤビュー画像の接続部分１６は、ディスプレイ１３の左右の中心線部分ではなく、左右いずれかに偏在している。この結果、２つの画像の接続部分が一般に注視される画像中心部から側方に外れることになる。このため、画像が接続部分で滑らかに接続していなくても、この画像の接続部分は目立たず、違和感のない合成画像を表示することができる。これにより、見やすい画面によって車両の周辺認識を良好に行なうことができる。

また、本実施形態では、左側に配置したカメラ１２Ａにより車両の右方向から後ろ下方を撮影し、右側に配置したカメラ１２Ｂにより車両の左方向から後ろ下方を撮影しているため、いずれのカメラ１２Ａ，１２Ｂも車両の後ろ下方をより広い領域で撮影することができる。
つまり、図３に示すように、左側に配置したカメラ２Ａにより車両の左方向から後ろ下方を撮影しようとすると、カメラ２Ａが左側に位置している分だけ車両の後ろ下方を撮影する領域は狭まり、同様に、右側に配置したカメラ２Ｂにより車両の右方向から後ろ下方を撮影しようとすると、カメラ２Ｂが右側に位置している分だけ車両の後ろ下方を撮影する領域は狭まる。これに対して、本実施形態では、車両の右方向から後ろ下方を撮影するカメラ１２Ａは左側に位置しているので、この分だけ車両の後ろ下方を撮影する領域は広まり、同様に、車両の左方向から後ろ下方を撮影するカメラ１２Ｂは右側に位置しているので、この分だけ車両の後ろ下方を撮影する領域は広まることになる。

特に、車両の後部の左右方向中央には、ナンバープレート等が装備されているため、２台のカメラを配置する場合、この左右方向中央を避けて２台のカメラを左右に離して配置せざるを得ない場合が多い。このため、本実施形態［図２（ａ）］のように、左側のカメラ１２Ａで右方向を撮影し右側のカメラ１２Ｂで左方向を撮影するようにカメラを向ければ、両カメラ１２Ａ，１２Ｂとも車両の後ろ下方を十分な広さで撮影することができ、両カメラの領域は広まることになる。この結果、両カメラ１２Ａ，１２Ｂの撮影範囲は広い範囲で重なるようになっており、上述のように、合成画像の接続部分を画面の左右何れかの端に容易に近づけることができるのである。

このようにして、本来、車両の左右の各側方を撮影する２つのカメラを用いて、左右側方の画像に加えて車両の真後ろ（リヤビュー）も見易く表示することができるため、低コストで確認性の良い車両用周辺確認装置を提供することができる。

以上、本発明の実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、接続部分は、ディスプレイ１３の左側１６´に設定されてもよいのはもちろんである。
また、接続部分を右側１６にするか左側１６´にするかを操作スイッチ等によって切り替え操作できるようになっていても良い。これにより、ドライバが例えばリヤビューの左部を中心にみたければ、接続部分１６を図１に破線で示すように右側に設定し、ドライバが例えばリヤビューの右部を中心にみたければ、接続部分１６を図１に二点差線で示すように左側に設定すればよく、車両の周辺認識をより良好に行なうことができる。

また、本実施形態では、合成画像を表示するにあたって、形状補正を行なっているが、合成する２つの画像の間で歪みが少なければ、このような形状補正を行なわなくてもよい。
また本実施形態では、輝度や色バランス等の補正までは必須ではなく、画像補正を形状補正のみとしているが、例えば特許文献１に記載の技術等を用いて、２つのカメラの輝度や色バランス等が均一になるように補正してもよい。これにより、より違和感のない見やすい合成画像を表示することができ、車両の周辺認識をより良好に行なうことができる。

また、画像抽出部１９ａ,１９ｂにおいても、単に画像を抽出するだけでなく、広角で撮影した結果歪んでしまった画像全体をそれぞれ歪みのないものに補正するようにしても、より違和感のない見やすい合成画像を表示することができる。
また、本実施形態では、両カメラ１２Ａ，１２Ｂを左右対称に配置したが、必ずしも左右対称に配置しなくても良い。例えば、合成画面の左右いずれか一端側から左右方向中央部分の領域までの広い範囲を担当するカメラの方を他方のカメラよりもやや下向きに向けるようにしてもよい。これにより、合成画面の中央部分をカメラの撮影範囲の中央よりに写してより見やすい画像とすることや或いは、極端に広角のカメラを用いなくても一方のカメラで合成画面の中央部分のある程度広い領域を分担することができるようになり見やすい画像とすることができる。

また、本実施形態では、合成画面をリヤビュー表示に適用したが、かかる合成画面の表示手法は、これに限らず種々の表示に適用できる。

本発明の一実施形態にかかる車両用周辺確認装置の画像処理部をディスプレイ（表示装置）とともに示す構成図である。 本発明の一実施形態にかかる車両用周辺確認装置のテレビカメラ（撮影手段）の配置を示す車両の模式図であって、（ａ）は車両の後部正面図、（ａ）は車両の後部側面図である。 本発明の案出過程で創案された車両用周辺確認装置のテレビカメラ（撮影手段）の配置を示す車両の模式的な後部正面図である。 本発明の案出過程で創案された車両用周辺確認装置におけるディスプレイ（表示装置）の表示態様を示す模式図である。

符号の説明

１２Ａ 第１のテレビカメラ（第１の撮影手段、カメラ）
１２Ｂ 第２のテレビカメラ（第２の撮影手段、カメラ）
１３ ディスプレイ（表示手段）
１４ ディスプレイ１３の下部の領域（リヤビュー，合成画面）
１４ａ 画像中心部領域
１４ｂ 合成画像の画面の下部領域１４の一側部（左側部）領域
１４ｃ 合成画像の画面の下部領域１４の他側部（右側部）領域
１５Ａ ディスプレイ１３の上部左側の領域（左サイドビュー）
１５Ｂ ディスプレイ１３の上部右側の領域（右サイドビュー）
１６ 合成画面の右側
１６´ 合成画面の左側
１７ 画像処理装置（画像処理手段）
１８ａ,１８ｂ 画像メモリ
１９ａ，１９ｂ 画像抽出部
２０ 画像抽出・合成部

Claims (4)

1. 撮影範囲が一部重なるように車両に配置され、該車両の後部を撮影する第１及び第２の撮影手段と、
   上記の第１及び第２の撮影手段により撮影されたそれぞれの画像を合成して該車両の真後ろの合成画像を表示する表示手段とをそなえ、
   該第１の撮影手段は該車両の後部の左側に配置され、該車両の後部を該車両の右側方から該車両の真後ろにかけて撮影するように向けられ、
   該第２の撮影手段は該車両の後部の右側に配置され、該車両の後部を該車両の左側方から該車両の真後ろにかけて撮影するように向けられ、
   該表示手段に表示される該車両の真後ろの該合成画像のうちの画像中心部と画像一側部は、上記の第１及び第２の撮影手段のうちの一方の撮影手段による画像によって構成され、該合成画像のうちの画像他側部は上記の第１及び第２の撮影手段のうちの他方の撮影手段による画像によって構成されている
   ことを特徴とする、車両用周辺確認装置。
2. 該合成画像中の該一方の撮影手段による画像と該他方の撮影手段による画像との接続部分が滑らかに連続するように、該接続部分の周辺は画像補正が施されている
   ことを特徴とする、請求項１記載の車両用周辺確認装置。
3. 該表示手段には、該合成画像として表示される該車両の真後ろの画像に加えて、
   該第１の撮影手段により撮影された該車両の右側方の画像と、該第２の撮影手段により撮影された該車両の左側方の画像とが表示される
   ことを特徴とする、請求項１記載の車両用周辺確認装置。
4. 該合成画像の画像中心部と画像一側部とを構成する画像として、上記の第１及び第２の撮影手段のうちの何れの撮影手段による画像を表示するか選択可能になっている
   ことを特徴とする、請求項１〜３の何れか１項に記載の車両用周辺確認装置。

Images