JP2014090315A - 車載画像生成装置 - Google Patents

Abstract

【課題】複数の視点変換画像を用いて合成画像を生成する装置において、画像に歪みが発生するのを抑制し、かつ、画像同士の境界部分で画像が不鮮明になるのを防止する。
【解決手段】車載画像生成装置は、車両前方又は後方を撮影する第１カメラ１１と、車両の左右側方を撮影する第２、第３カメラ１２，１３とを備え、視点変換手段が、第２、第３カメラによる撮像画像に基づき、各カメラの視線軸とは異なり互いに平行な視線軸を有する一対の仮想視点Ｖ２、Ｖ３から見た一組の視点変換画像を生成し、中心画像生成手段が、第１カメラによる撮像画像から合成用の中心画像を生成し、合成画像生成手段が、その中心画像の横に一組の視点変換画像を配置することにより、合成画像を生成する。
【選択図】図３

Description

本発明は、車両に搭載された複数のカメラによる撮像画像から視点変換画像を生成し、合成することで、車両前方若しくは後方の合成画像を生成する車載画像生成装置に関する。

従来、この種の合成画像を生成する装置として、車両に搭載された複数のカメラによる撮像画像から、一つの視点で車両後方を広範囲に見渡した広角の視点変換画像を生成する成画像を生成するものが提案されている（例えば、特許文献１参照）。

また、車両に搭載された複数のカメラによる撮像画像から、視点が異なる複数の視点変換画像を生成し、その複数の視点変換画像を合成することで、パノラマ画像を生成するものも提案されている（例えば、特許文献２参照）。

特許第３２８６３０６号公報 特開２００５−２４２６０６号公報

しかしながら、上記前者のものは、複数のカメラによる撮像画像を利用して、特定の視点からみた広角の視点変換画像を生成するものであることから、最終的に得られる合成画像は、周囲（特に左右両側）で歪みが大きくなり、極めて見にくい画像となってしまう。

一方、上記後者のものは、合成する左右の画像が、左右に異なる視点から見た視点変換画像であるので、合成前の各画像は歪みが少なく、最終的に得られる合成画像も見やすいものとなる。

しかしながら、上記後者のものは、視点の異なる複数の視点変換画像をそのまま合成することから、視点変換画像同士が重なる境界部分で、画像が不鮮明になってしまい、合成画像から、その境界部分に存在する物標を認識することができないという問題があった。

本発明は、こうした問題に鑑みなされたものであり、複数の視点変換画像を用いて合成画像を生成する装置において、画像に歪みが発生するのを抑制し、かつ、画像同士の境界部分で画像が不鮮明になるのを防止することを目的とする。

かかる目的を達成するためになされた本発明の車載画像生成装置においては、車両の進行方向前方又は後方の画像を撮影する第１カメラと、車両の左右側方の画像をそれぞれ撮影する第２カメラ及び第３カメラとを備える。

そして、第１の視点変換手段が、第２カメラ及び第３カメラによる撮像画像に基づき、第２カメラ及び第３カメラの視線軸とは異なり、且つ、互いに平行な視線軸を有する一対の仮想視点から見た、対称な形状の一組の視点変換画像を生成する。

また、中心画像生成手段が、第１カメラによる撮像画像に基づき、合成画像の生成に用いる中心画像を生成する。
そして、このように中心画像及び一組の視点変換画像が生成されると、合成画像生成手段が、中心画像を中央に配置し、中心画像の横に一組の視点変換画像を配置することにより、合成画像を生成する。

従って、本発明の車載画像生成装置によれば、視点の異なる視点変換画像をそのまま合成する従来装置のように、視点変換画像同士が重なる境界部分で合成画像が不鮮明になるのを防止できる。

また、合成画像を構成する画像は、視点が異なる左右の視点変換画像と、第１カメラによる撮像画像から生成される中心画像とから構成されており、これら各画像は、広角カメラで撮像した画像のように、左右両側で画像が大きく歪むことがない。

このため、本発明の車載画像生成装置によれば、画像の歪みや不鮮明な部分がなく、使用者にとって見易い画像を生成することができる。

実施形態の画像処理システムの構成を表すブロック図である。 図１の制御部にて実行される合成画像表示処理を表すフローチャートである。 車載カメラの配置及び撮像画像の視点変換動作を説明する説明図である。 合成画像表示処理により生成される合成画像の一例を表す説明図である。 図４に示す合成画像の変形例を表す説明図である。 図５に示す合成画像を生成するための合成画像表示処理を表すフローチャートである。

以下に本発明が適用された実施形態について図面を用いて説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

本実施形態の画像処理システムは、車両に搭載されて車両周囲の画像を撮像及び表示するためのものであり、図１に示すように、３つの車載カメラ１１〜１３と、画像処理装置２０と、表示装置３０と、車速センサ３２と、を備える。

車載カメラ１１〜１３は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラである。
そして、図３（ａ）、（ｂ）に示すように、３つの車載カメラ１１〜１３の内の一つ（以下、第１カメラ１１という）は、車両２の後方の画像を撮影できるように、視線軸１１Ａを車両２の後方に向けて、車両２の幅方向中心位置に配置されている。

また、図３（ａ）に示すように、３つの車載カメラ１１〜１３の内の残りの２つ（以下、第２カメラ１２、第３カメラ１３という）は、車両２の左右側方の画像を撮影できるように、車両２の左右両側に視線軸１２Ａ、１２Ｂを車両２の外側に向けて配置されている。

そして、これら各車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）は、それぞれ、車両周囲の撮像画像を、所定頻度（例えば、１秒間に６０フレーム。）で画像処理装置２０へ出力する。

なお、図３において、（ａ）は車両２を上方から見た状態を表し、（ｂ）は車両２の後部を右側方から見た状態を表しており、各車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）は、図に実線で示すように配置されている。

次に、表示装置３０は、液晶ディスプレイや有機ＥＬディスプレイ等にて構成されており、車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）による撮像画像に基づき画像処理装置２０から出力される画像を表示する。

また、車速センサ３２は、車両２の走行速度（車速）を検出するためのものであり、車速センサ３２により検出された車速は、直接、若しくは、図示しない車両制御用のＥＣＵ（電子制御装置）を介して、画像処理装置２０に入力される。

また、画像処理装置２０は、上記各車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）に対応した画像入力部２１〜２３と、操作部２４と、制御データ記憶部２６と、制御部２８とを備える。

画像入力部２１〜２３は、ＤＲＡＭ等の記憶デバイスからなり、各車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）から逐次出力される撮像画像を取り込み、所定時間分（例えば、過去１０秒分）記憶する。

操作部２４は、運転者等の使用者が制御部２８に対し各種操作指示を入力するためのものであり、表示装置３０の表示面に設けられたタッチパネルや、表示装置３０の周囲等に設置されたメカニカルなキースイッチ等にて構成される。

制御データ記憶部２６は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、制御部２８が実行するプログラムや、各種画像処理に必要なデータを記憶するためのデバイスである。

制御部２８は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等からなるマイコンにて構成されており、制御データ記憶部２６からプログラムを読み込んで各種処理を実行する。
以下、画像処理装置２０の動作について説明する。

なお、以下の説明では、画像処理装置２０（詳しくは制御部２８）にて実行される各種画像処理の内、本願発明に関わる主要な処理である合成画像表示処理について説明する。
合成画像表示処理は、操作部２４を介して画像処理装置２０の動作モードが、合成画像の表示モードに設定されているときに、制御部２８において繰り返し実行される処理である。

図２に示すように、合成画像表示処理が開始されると、まずＳ１１０（Ｓはステップを表す）にて、上記各車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）による撮像画像を、画像入力部２１〜２３を介して取り込む。

そして、続くＳ１２０では、第２カメラ１２による撮像画像を用いて、車両２の左方向外側で車両２の前後方向の中心軸に平行な視線軸１２Ｂ上に設定される仮想視点Ｖ２（図３（ａ）参照）から車両後方を見た、左側方視点変換画像を生成する。

また、Ｓ１３０では、第３カメラ１３による撮像画像を用いて、車両２の右方向外側で車両２の前後方向の中心軸（延いては視線軸１２Ｂ）に平行な視線軸１３Ｂ上に設定される仮想視点Ｖ３（図３（ａ）参照）から車両後方を見た、右側方視点変換画像を生成する。

つまり、Ｓ１２０、Ｓ１３０では、第２カメラ１２及び第３カメラ１３による撮像画像に基づき、各カメラ１２、１３の視線軸１２Ａ、１３Ａとは異なり互いに平行な視線軸１２Ｂ、１３Ｂを有する一対の仮想視点Ｖ２、Ｖ３から見た、対称な一組の視点変換画像を生成する。

なお、仮想視点Ｖ２、Ｖ３は、車両２の後方画像合成用として予め設定されている。
また、Ｓ１２０、Ｓ１３０にて実行される視点変換については、特許文献１、２に記載されているように、従来から知られているので、詳細な説明は省略する。

このように左右一組の視点変換画像が生成されると、今度は、Ｓ１４０に移行して、車速センサ３２にて検出された車速を取り込み、その取り込んだ車速に基づき、第１カメラ１１による撮像画像から視点変換画像を生成するのに用いる仮想視点Ｖ１（図３（ｂ）参照）を設定する。

なお、Ｓ１４０では、車速が低いときには視線軸１１Ｂが車両近傍の路面を向き、車速が高いときには視線軸１１Ｂが車両遠方を向くように（換言すれば、車速に応じて視線軸１１Ｂの上下方向の角度（俯角若しくは仰俯角）が変化するように）、仮想視点Ｖ１を設定する（図３（ｂ）参照）。

次に、Ｓ１５０では、第１カメラ１１による撮像画像を、Ｓ１４０にて設定された仮想視点Ｖ１から見た車両後方の視点変換画像に変換し、続くＳ１６０にて、その変換された視点変換画像から、画像合成用の中心画像を抽出する。

ここで、仮想視点Ｖ１は、第１カメラ１１による撮像画像を、第１カメラ１１を車両近傍若しくは車両遠方に向けたときの画像に変換することで、視点変換後の画像の上下方向の任意の位置で、Ｓ１２０、Ｓ１３０にて生成された一組の視点変換画像と画像を一致させるためのものである。

つまり、第１カメラ１１による撮像画像は、Ｓ１２０、Ｓ１３０にて生成される視点変換画像の仮想視点Ｖ２、Ｖ３とは車両２の左右方向だけでなく車両２の前後方向にも異なる視点位置から撮像したものである。

このため、第１カメラ１１による撮像画像は、Ｓ１２０、Ｓ１３０にて生成された一組の視点変換画像に対し、車両２の左右方向だけでなく車両２の前後方向にもずれてしまう。

よって、Ｓ１２０、Ｓ１３０にて生成された一組の視点変換画像と合成するために、第１カメラ１１による撮像画像を切り化しただけでは、その切り出した撮像画像は、一組の視点変換画像に対し、車両２の前後方向（換言すれば画像の上下方向）にずれてしまう。

また、その切り出した撮像画像は、画像の上下方向の縮尺も、一組の視点変換画像とは異なるものとなる。
そこで、本実施形態では、第１カメラ１１による撮像画像を仮想視点Ｖ１にて視点変換させることで、その視点変換画像と、Ｓ１２０、Ｓ１３０にて生成された一組の視点変換画像とが、仮想視点Ｖ１の位置に応じて車両２の前後方向（換言すれば画像の上下方向）の少なくとも一箇所で一致し、合成後の画像が見易くなるようにしているのである。

一方、Ｓ１６０における中心画像の抽出は、Ｓ１５０の処理にて生成される視点変換画像から、車両後方の路面部分と路上部分とを所定形状に切り出すことにより行われる。
特に、本実施形態では、図４に示すように、中心画像Ｐ１の路面部分は、自車両２の車体の左右側壁に平行な左右の軸に沿って、画像の上方ほど幅が狭くなる台形形状となるよう切り出される。

また、その路面部分よりも上方の路上部分は、路面部分の上端縁から画像の上方に向けて幅が広がる台形形状となるように切り出される。
このため、中心画像Ｐ１の外形は、縦長で上下方向の中央が窪んだ形状となり、使用者は、その中心画像Ｐ１だけで、車両２の真後ろの状態を良好に把握することができるようになる。

なお、視点変換画像からの中心画像Ｐ１の抽出は、中心画像Ｐ１の元となる視点変換画像の仮想視点Ｖ１に応じて予め設定された切り出しパターン（形状パターン）を用いて行われる。

次に、Ｓ１６０にて、仮想視点Ｖ１の視点変換画像から画像合成用の中心画像Ｐ１が抽出されると、Ｓ１７０に移行し、その中心画像Ｐ１と、Ｓ１２０、Ｓ１３０にて生成された左右側方の視点変換画像とを用いて、車両後方の合成画像を生成する。

なお、Ｓ１７０では、中心画像Ｐ１の左右に配置すべき左右後方の画像を、Ｓ１２０、Ｓ１３０にて生成された左右側方の視点変換画像から抽出し、その抽出した画像Ｐ２、Ｐ３を中心画像Ｐ１の左右に配置することで、合成画像を生成する（図４参照）。

また、Ｓ１７０において、中心画像Ｐ１の左右に画像Ｐ２、Ｐ３を配置する際には、中心画像Ｐ１の周り他の画像Ｐ２、Ｐ３との境界を表す境界線Ｌ１を描画することで、合成画像上で中心画像Ｐ１と左右の画像Ｐ２，Ｐ３とを識別できるようにする。

これは、合成画像を構成する各画像Ｐ１〜Ｐ３の視点（つまり、仮想視点Ｖ１〜Ｖ３）が互いに異なるからである。
つまり、例えば、図４に示す合成画像における道路の継ぎ目部分から明らかなように、上記各画像Ｐ１〜Ｐ３を合成すると、中心画像Ｐ１と左右の画像Ｐ２、Ｐ３との境界部分で、画像の上下方向にずれが生じる。

そこで、本実施形態では、合成画像に境界線Ｌ１を入れることで、合成画像内で生じた画像のずれが画像Ｐ１〜Ｐ３の合成によるものであることを明確にし、合成画像を見た使用者が混乱するのを防止している。

そして、続くＳ１８０では、Ｓ１７０にて生成された合成画像を、表示装置３０に出力することで、表示装置３０に合成画像を表示させ、当該合成画像表示処理を一旦終了する。

上記のように、本実施形態の画像処理装置２０によれば、第２カメラ１２及び第３カメラ１３による撮像画像から、車両２の左右側方の仮想視点Ｖ２、Ｖ３から見た視点変換画像を生成するだけでなく、第１カメラ１１による撮像画像から車両後方の中心画像Ｐ１を生成する。

そして、その生成した中心画像Ｐ１の左右に、左右の視点変換画像から切り出した左右後方の画像Ｐ２、Ｐ３を配置することで、表示装置３０に表示させる合成画像を生成する。

このため、左右の視点変換画像をそのまま合成する従来装置のように、視点変換画像同士が重なる境界部分で合成画像が不鮮明になるのを防止できる。
また、合成画像を構成する画像は、左右の視点変換画像から抽出した左右の画像Ｐ２、Ｐ３と、第１カメラ１１による撮像画像から生成した中心画像Ｐ１とから構成されており、これら各画像Ｐ１〜Ｐ３は、広角カメラで撮像した画像のように、左右両側で画像が大きく歪むことがない。

従って、本実施形態の画像処理装置２０によれば、画像の歪みや不鮮明な部分がなく、使用者にとって見易い画像を生成することができる。
特に、本実施形態では、第１カメラ１１による撮像画像に基づき、車速に応じて設定される仮想視点Ｖ１に対応した視点変換画像を生成し、その視点変換画像から、車両２の真後ろの路面部分及び路上部分を切り出すことで、中心画像Ｐ１を生成する。

また、仮想視点Ｖ１は、車速が低い場合には、視線軸１１Ｂが元の視線軸１１Ａよりも車両近傍の路面を向き、車速が高い場合には、視線軸１１Ｂが元の視線軸１１Ａよりも車両２の遠方を向くように設定される。

このため、本実施形態によれば、合成画像において、各画像Ｐ１〜Ｐ３が画像の上下方向で一致する点を、車速が低い場合には、車両近傍の路面位置に設定し、車速が高い場合には、車両２から離れた路面位置に設定することができる。

なお、図４は、車速が高い場合に生成される合成画像を表している。そして、この合成画像における道路の継ぎ目部分から明らかなように、車両２に近い道路の継ぎ目部分では、中心画像Ｐ１と左右の画像Ｐ２、Ｐ３とが上下方向に大きくずれている。これに対し、車両２から離れた後続車両付近では、中心画像Ｐ１と左右の画像Ｐ２、Ｐ３と上下方向に略一致している。

従って、本実施形態によれば、車速が高い場合には、後続車両が見易い合成画像を生成できる。また逆に、車速が低い場合には、合成画像において道路の継ぎ目部分を一致させて、車両２の近傍の画像を見やすくすることができる。

このため、使用者は、表示装置３０に表示された合成画像の内、中心画像Ｐ１を見ることで、車両２の真後ろの道路状況を把握できるようになり、例えば、低速走行時や後退走行時には車両近傍の路面状況を把握し易くなって、車両２の走行安全性を向上することができる。

また、車両２の高速走行時、使用者は、遠方から自車両２に接近してくる車両を把握しやすくなり、例えば、追い越し車線から通常の走行車線への車線変更など、安全性確保のための運転を行うことができる。

また、合成画像の表示画面では、中心画像Ｐ１と左右後方の画像Ｐ２、Ｐ３との間に境界線Ｌ１が形成されることから、使用者はこれら各画像Ｐ１〜Ｐ３を表示画面上で簡単に識別することができる。

このため、各画像Ｐ１〜Ｐ３が上下方向にずれていても、使用者は、そのずれを認識しつつ、車両２の真後ろの路面状況及び車両２の左右後方の路面状況を、それぞれ、明確に把握することができるようになる。

以上、本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内にて、種々の態様をとることができる。
例えば、上記実施形態では、合成画像を生成するに当たって、第１カメラ１１による撮像画像を、車速に応じて設定される仮想視点Ｖ１から見た視点変換画像に変換することで、画像合成後に、合成画像を構成する各画像Ｐ１〜Ｐ３が、合成画像の上下方向の１箇所で一致するようにしている。

しかし、例えば、図５に示すように、合成画像の上下方向の２箇所（つまり遠方位置及び近傍位置）で各画像Ｐ１〜Ｐ３が一致し、中心画像において、その２箇所の間は画像が連続して変化するように、第１カメラ１１による撮像画像を変換するようにしてもよい。

そして、このようにすれば、合成画像の上方である遠方位置及び合成画像の下方である近傍位置で、各画像Ｐ１〜Ｐ３が一致することから、合成画像から、車両２の遠方及び近傍の両方を確認し易くなり、車両２の走行安全性をより向上することができる。

なお、図５に示す合成画像を生成するには、例えば、図６に示すように、Ｓ１１０〜Ｓ１８０にて実行される図２の合成画像表示処理において、Ｓ１４０、Ｓ１５０、Ｓ１６０の処理に代えて、Ｓ１４５、Ｓ１５５、Ｓ１６５の処理を実行するようにすればよい。

すなわち、Ｓ１４５では、合成画像を生成した際、車両に対する遠方位置及び近傍位置の２箇所で左右の画像Ｐ２、Ｐ３と一致するように、第１カメラ１１による撮像画像を、互いに異なる２つの仮想視点から見た画像に視点変換する。

また、Ｓ１５５では、Ｓ１４５による視点変換により得られた２つの画像を、左右の画像Ｐ２、Ｐ３と画像が一致する２箇所の間で、画像がスムーズに連続するよう合成し、Ｓ１６５では、Ｓ１５５で２つの視点変換画像を合成した合成画像から、上記Ｓ１６０と同様の手順で、中心画像Ｐ１を抽出する。

なお、図５に示す合成画像を生成するには、必ずしもこうした手順で第１カメラ１１による撮像画像を変換する必要はなく、予め上記のように撮像画像を変換するための変換用マップを作成しておき、その変換用マップを用いて、第１カメラ１１による撮像画像から中心画像Ｐ１を抽出するための変換画像を生成するようにしてもよい。

次に、上記実施形態では、第１カメラ１１が車両２の後方に配置されて、車両後方の画像を撮像するのに用いられるものとして説明したが、第１カメラ１１は、車両２の前方の画像を撮像するように設けられていてもよい。

なお、この場合、車両２の前方の合成画像を生成することになるので、Ｓ１２０、Ｓ１３０では、仮想視点Ｖ２、Ｖ３から、互いに平行な視線軸１２Ｂ、１３Ｂに沿って車両前方を見た視点変換画像を生成するようにすればよい。

また、上記実施形態では、３つの車載カメラ（第１カメラ１１、第２カメラ１２、第３カメラ１３）を用いて、合成画像を生成するものとして説明したが、第１カメラ１１、第２カメラ１２、及び、第３カメラ１３の少なくとも一つが複数あってもよい。

そして、この場合、その複数のカメラによる撮像画像から視点変換画像を生成するようにすれば、合成画像の各部（画像Ｐ１〜Ｐ３）を、より鮮明にすることができる。
一方、上記実施形態では、生成後の合成画像において、中心画像Ｐ１と左右後方の画像Ｐ２、Ｐ３とを識別できるように、境界線Ｌ１を描画するものとして説明したが、これら各画像Ｐ１〜Ｐ３を識別可能にするには、必ずしも境界線Ｌ１を描画する必要はない。

例えば、図４の合成画像における左右の画像Ｐ２、Ｐ３の間の境界部分（図４においてハッチングを入れた部分）のように、各画像Ｐ１〜Ｐ３を間隔を開けて形成することで、各画像Ｐ１〜Ｐ３を識別可能に表示するようにしてもよい。

また、こうした識別表示は、必ずしも実施する必要はなく、単に、中心画像Ｐ１と左右後方の画像Ｐ２、Ｐ３とを同一画面上に表示するようにしてもよい。
また、上記実施形態では、中心画像Ｐ１は、その元となる視点変換画像から、下方に広がった台形形状の路面部分と、上方に広がった台形形状の路上部分とを切り出した形状にするものとして説明したが、この切り出し形状についても、適宜設定すればよい。

つまり、中心画像Ｐ１の形状は、例えば、中心画像Ｐ１の元となる視点変換画像から、車両２の後端部分に対応した幅で画像の上方にまっすぐ切り出した長方形状にする等、適宜変更することができる。

また、上記実施形態では、中心画像Ｐ１の元となる画像は、第１カメラ１１による撮像画像を、車速に応じて設定される仮想視点Ｖ１から見た画像に変換した視点変換画像であるとして説明したが、この視点変換画像の仮想視点Ｖ１は、予め設定されていてもよい。

つまり、例えば、この視点変換画像の仮想視点Ｖ１は、車両２の後退走行時に路面状況を把握しやすい位置等に固定されていてもよい。
また、この視点変換画像の仮想視点Ｖ１は、予め設定された複数の候補の中から使用者が選択できるようにしてもよい。

また、中心画像Ｐ１の元となる画像は、必ずしも、第１カメラ１１による撮像画像を視点変換した画像にする必要はなく、単に、第１カメラ１１による撮像画像をそのまま用いるようにしてもよい。

なお、この場合、中心画像Ｐ１は、撮像画像の中から、上述した所定の切り出しパターンにて抽出する（切り出す）ようにすればよい。

２…車両、１１…第１カメラ、１２…第２カメラ、１３…第３カメラ、１１Ａ〜１３Ａ，１１Ｂ〜１３Ｂ…視線軸、Ｖ１〜Ｖ３…仮想視点、２０…画像処理装置、２１〜２３…画像入力部、２４…操作部、２６…制御データ記憶部、２８…制御部、３０…表示装置、３２…車速センサ。

Claims (6)

1. 車両の進行方向前方又は後方の画像を撮影する第１カメラ（１１）と、
   車両の左右側方の画像をそれぞれ撮影する第２カメラ（１２）及び第３カメラ（１３）と、
   前記第２カメラ及び前記第３カメラによる撮像画像に基づき、前記第２カメラ及び前記第３カメラの視線軸とは異なり、且つ、互いに平行な視線軸を有する一対の仮想視点（Ｖ２、Ｖ３）から前記車両の進行方向前方又は後方を見た、対称な形状の一組の視点変換画像を生成する第１の視点変換手段（２８、Ｓ１２０、Ｓ１３０）と、
   前記第１カメラによる撮像画像に基づき、合成画像の生成に用いる中心画像を生成する中心画像生成手段（２８、Ｓ１６０）と、
   前記中心画像生成手段にて生成された中心画像を中央に配置し、当該中心画像の横に、前記第１の視点変換手段にて生成された一組の視点変換画像を配置することにより、前記合成画像を生成する合成画像生成手段（２８、Ｓ１７０）と、
   を備えたことを特徴とする車載画像生成装置。
2. 前記第１カメラによる撮像画像に基づき、当該撮像画像に比べて視線軸が車両近傍若しくは車両遠方を向くように設定された仮想視点（Ｖ１）から見た視点変換画像を生成する第２の視点変換手段（２８、Ｓ１５０）、
   を備え、前記中心画像生成手段は、前記第２の視点変換手段にて生成された視点変換画像に基づき、前記中心画像を生成することを特徴とする請求項１に記載の車載画像生成装置。
3. 前記第２の視点変換手段が前記視点変換画像を生成する際の仮想視点を、車両の走行速度に応じて、走行速度が低い程前記視線軸が車両の近傍を向き、走行速度が高い程前記視線軸が車両の遠方を向くように設定する、仮想視点設定手段（２８、Ｓ１４０）、
   を備えたことを特徴とする請求項２に記載の車載画像生成装置。
4. 前記合成画像生成手段にて生成される合成画像において、前記中心画像が、当該中心画像における車両に対する遠方位置及び近傍位置の２箇所で、前記第１の視点変換手段にて生成される一組の視点変換画像と画像位置が一致し、且つ、当該中心画像における前記２箇所の間は画像が連続して変化するよう、前記第１カメラによる撮像画像を変換する画像変換手段（２８、Ｓ１４５、Ｓ１５５）、
   を備え、前記中心画像生成手段は、前記画像変換手段にて変換された撮像画像に基づき、前記中心画像を生成することを特徴とする請求項１に記載の車載画像生成装置。
5. 前記中心画像生成手段は、前記中心画像として、
   当該中心画像の元となる画像から、自車両の車体の左右側壁に平行な左右の軸に沿って、画像の上方ほど幅が狭くなるように切り出される路面部分と、
   当該中心画像の元となる画像から、前記路面部分の上端縁から画像の上方に向けて幅が広がるように切り出される路上部分と、
   からなる画像を生成することを特徴とする請求項１〜請求項４の何れか１項に記載の車載画像生成装置。
6. 前記合成画像生成手段は、前記中心画像と前記一組の視点変換画像との境界を識別可能な合成画像を生成することを特徴とする請求項１〜請求項５の何れか１項に記載の車載画像生成装置。

Images