JP2002087160A - 車両周辺画像処理装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 カメラの視野の外に出た部分を推定して描画
することができる車両周辺画像処理装置及び記録媒体を
提供すること。 【解決手段】 ステップ１００にて、シフト位置がバッ
クであるか否かを判定する。ステップ１１０では、撮影
した画像を座標変換して、鳥瞰図画像を生成する。ステ
ップ１２０では、連続した２つの画像の中で、一致する
領域を抽出する。ステップ１３０では、現在のカメラ１
の視野から外れる移動領域を抽出する。ステップ１４０
では、描画する前に、既に画面Ｂに描画されている部分
を移動領域だけずらせることにより、描画領域を確保す
る。ステップ１４０では、ステップ１５０にて確保した
描画領域に移動領域の画像を描画する。ステップ１６０
では、自車両及び視野角を示す描画を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば車両の後方
を撮影してモニタに表示できる車両周辺画像処理装置及
び記録媒体に関するものである。

【０００２】

【従来の技術】従来より、車両の後方の様子を表示する
装置として、車両の後部に取り付けたカメラの画像を、
そのままモニタに出力する表示装置が知られている。こ
の表示装置では、車両後方の状態が有る程度分かるが、
自車両とモニタに表示されている対象物（例えば駐車
枠）の画像の相対位置関係が分かりに難いという問題が
ある。

【０００３】また、これとは別に、特願平１−２１１８
４９号公報には、後方カメラで撮影した画像（後方カメ
ラ画像）を鳥瞰図に変換し、自車両をその中に表示する
という技術が提案されている。

【０００４】

【発明が解決しようとする課題】この技術の場合には、
鳥瞰図の中に自車両を示すので、画像に表示された対象
物と自車両の位置関係は、撮影した画像をそのままモニ
タに表示するものより分かり易くなっているが、カメラ
の現在の視野の外にあるものは表示できないという別の
問題があった。

【０００５】よって、例えば車両を後退させて駐車枠に
入れるような場合には、カメラの視野外に出た駐車枠を
表示できないので、依然として、車両を駐車枠に入れる
操作が容易ではないという問題があった。本発明は、前
記課題を解決するためになされたものであり、例えばカ
メラの視野の外に出た部分を推定して描画することがで
きる車両周辺画像処理装置及び記録媒体を提供すること
を目的とする。

【０００６】

【課題を解決するための手段及び発明の効果】（１）請
求項１の発明は、車両周辺の画像を撮影する撮影手段
（例えばカメラ）と、画像を表示する表示手段（例えば
モニタ）とを備えた車両に対して、撮影手段により撮影
された画像を処理して表示手段に表示する車両周辺画像
処理装置に関するものである。

【０００７】本発明では、撮影手段により撮影した画像
を、撮影手段を視点として投影した地上面座標系のデー
タに変換して鳥瞰図画像を生成する。これにより、画像
は、例えばカメラで撮影したままの歪んだ画像ではな
く、地面の上方より見たような見やすい鳥瞰図画像とな
る。次に、この様にして生成した第１鳥瞰図画像と、そ
れより後に生成した第２鳥瞰図画像とを比較し、その一
致領域と不一致領域とを判別する。そして、この判別に
より得られた不一致領域を、第２鳥瞰図画像に加味して
合成画像を作成し、この合成画像を、表示手段に表示で
きるように処理して、表示手段に表示する。

【０００８】つまり、車両が移動するにつれて、例えば
カメラの視野が変化するので、当然、（撮影した時間が
異なる）第１鳥瞰図画像と第２鳥瞰図画像では、画像の
ずれである不一致領域（第１鳥瞰図画像では表示されて
いるが、第２鳥瞰図画像では消えている部分）が生ず
る。

【０００９】そこで、本発明では、第１鳥瞰図画像と第
２鳥瞰図画像の画像のずれを検出し、第２鳥瞰図画像に
そのずれの部分（過去に表示されていた部分）の画像を
加味することにより、車両の周囲の状況をより明確に把
握することができる。この様に、本発明では、例えばカ
メラの現在の視野から外れた領域を表示できるので、例
えばバックで駐車する場合に、その操作が極めて容易に
なるという効果を奏する。

【００１０】（２）請求項２の発明では、撮影手段によ
り撮影される画像は、例えば車両後部配置されたカメラ
により撮影された車両の後方の画像である。従って、例
えば車両をバックで駐車枠に入れる場合には、駐車枠と
車両との位置関係がよく分かるので、容易に駐車ができ
るという効果がある。

【００１１】また、撮影手段により、車両の側方も撮影
できる場合には、バックで幅寄せする際に、側方の状況
がよく分かるので、容易に幅寄せを行うことができる。
更に、撮影手段により撮影される画像としては、車両の
後方以外に、車両の前方が挙げられる。この場合、車両
の側方も撮影できる場合には、前進で幅寄せする際に、
側方の状況がよく分かるので、容易に幅寄せを行うこと
ができる。

【００１２】（３）請求項３の発明では、鳥瞰図画像生
成手段は、車線（例えば駐車枠）を示す画像を抽出して
鳥瞰図画像を生成する。つまり、鳥瞰図画像を生成する
場合には、撮影した画像全体を鳥瞰図画像に変換しても
よいが、（例えば白線で示される）車線だけを例えば２
値化処理することにより抽出して表示してもよい。この
場合には、車線だけを処理すれば良いので、画像処理の
負担が軽減されるという効果がある。

【００１３】また、例えば車両を車線で囲まれた駐車枠
に入れる場合には、駐車枠の位置だけを認識できればよ
く、他の画像があるとかえって見づらいという点もある
ので、車線だけを抽出した方が、車両の操作が容易にな
るという利点がある。 （４）請求項４の発明では、第１鳥瞰図画像と第２鳥瞰
図画像とは、時間的に連続した鳥瞰図画像である。

【００１４】この場合、第１鳥瞰図画像と第２鳥瞰図画
像との画像のずれは僅かであるので、一致領域及び不一
致領域の検出が容易である。また、第２鳥瞰図画像に不
一致領域を加味する場合でも、画像間のつながりに違和
感がなく好適である。 （５）請求項５の発明では、表示処理手段は、合成画像
の画像データを、表示手段に表示するための座標変換を
行う。

【００１５】つまり、鳥瞰図画像を例えばモニタに表示
するためには、そのサイズの調節などが必要であるの
で、モニタに好適に表示できる様に必要な処理を行う。 （６）請求項６の発明では、表示手段に合成画像を表示
する場合には、自車両を示す画像を加えて表示する。

【００１６】本発明では、車両の周囲の状況を示す合成
画像に自車両を示す画像を加えて表示することにより、
自車両と例えば駐車枠との位置関係が明瞭となるので、
車両の操作が容易になる。尚、例えばカメラは車両の所
定位置に固定されているので、例えばモニタの画面にお
ける自車両の位置は常に一定である。従って、モニタの
画面の決まった位置に自車両を表示することができ、更
には、モニタの画面上に予めプリント等により車両を記
載してもよい。

【００１７】また、カメラの視野角も通常は一定である
ので、自車両だけでなく、モニタの画面に、カメラの視
野角（左右の範囲）も表示してもよい。 （７）請求項７の発明は、上述した車両周辺画像処理装
置による処理を実行させる手段を記憶している記録媒体
である。

【００１８】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。例えば記
録媒体としては、マイクロコンピュータとして構成され
る電子制御装置、マイクロチップ、フロッピィディス
ク、ハードディスク、光ディスク等の各種の記録媒体が
挙げられる。

【００１９】

【発明の実施の形態】以下に、本発明の車両周辺画像処
理装置及び記録媒体の実施の形態の例（実施例）を説明
する。 （実施例１） ａ）本実施例の基本的なシステム構成を図１及び図２を
用いて説明する。

【００２０】図１に示す様に、本実施例の車両周辺画像
処理装置は、自動車の後部に配置されたカメラ（例えば
ＣＣＤカメラ）１と、ダッシュボードに配置された車載
モニタ（例えば液晶ディスプレイ）３と、画像処理を行
う画像処理ユニット５を備えている。

【００２１】前記画像処理ユニット５は、図２に示す様
に、マイクロコンピュータを主要部とする画像データの
処理を行う電子装置であり、機能的に、カメラ１で撮影
した画像データの座標変換を行って鳥瞰図画像を生成す
る座標変換部１１と、時間的に連続した２つの鳥瞰図画
像を取り込んでその比較を行うマッチング部１３と、そ
の２つの鳥瞰図画像の不一致部分からカメラ１の視野か
ら外れた領域を推定する領域推定部１５と、モニタ３に
表示する画像を描画する描画部１７とを備えている。

【００２２】尚、画像処理ユニット３は、カメラ１と一
体の構造となっていてもよい。 ｂ）次に、本実施例における画像処理の手順等を、図３
〜図５に基づいて説明する。ここでは、車両を後退（バ
ック）させて駐車枠内に入れる場合を例に挙げる。

【００２３】まず、カメラ１から出力される画像（出
力画像）を、図３（ａ）左図に示す。この画像は、車両
の後部の上部に配置されたカメラ１により、地上に描か
れた駐車枠及びその周囲を撮影した画像であるので、自
車両（従ってカメラ１）と駐車枠の各線の位置との距離
などに応じて、本来矩形である駐車枠が歪んで表示され
ている。

【００２４】次に、図３（ａ）左図の画像を、後に
にて詳述する様に、座標変換して鳥瞰図画像を生成し、
更に、その鳥瞰図画像に、自車両の位置やカメラ１の視
野角の画像を加入して合成し、その合成画像を、図３
（ｂ）右図に示す様に、モニタ５の画面に表示する。

【００２５】つまり、カメラ１の取り付け高さや、取り
付け角度、視野角は既知であるため、カメラ１の出力画
像を座標変換部１１にて座標変換（周知の鳥瞰図変換）
し、図３（ａ）右図に示す様な鳥瞰図画像とする。 このカメラ１で撮影した画像を鳥瞰図画像に変換して
モニタ５に表示する処理は、以下に説明する様に、従来
技術（例えば特開平１０−２１１８４９号公報）を利用
できる。

【００２６】ここでは、通常の透視変換の逆の処理を行
うことにより、地上平面における画像（例えば駐車枠）
の位置を鳥瞰図として求める。具体的には、図４に示す
様に、地上の画像の位置データをカメラ位置Ｒからの焦
点距離ｆにあるスクリーン平面Ｔに投影するときの透視
変換を実行する。

【００２７】詳しくは、カメラ１は、Ｚ軸上の点Ｒ
（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ
座標面）における画像をモニタしているとする。従っ
て、ここでは、下記式（１）に示す様にして、スクリー
ン平面Ｔ上の２次元座標（α、β）を、地上面上の座標
（鳥瞰図座標）に変換（逆の透視変換）できる。

【００２８】

【数１】

【００２９】つまり、上記式（１）を用いることによ
り、投影画像データを（鳥瞰図画像を示す）モニタ５の
画面に対応した画像データに変換してモニタ表示するこ
とができる。 次に、車両がバックして駐車枠に近づくと、図３
（ｂ）左図及び図３（ｃ）左図に示す様に、車両に近い
部分は、カメラ１の視野から徐々に外れてしまうが、こ
のとき、マッチング部１３にて、時間的に連続した２つ
の鳥瞰図画像を取り込んで比較を行う。

【００３０】例えば図５（ａ）、図５（ｂ）に連続した
（画像Ａから画像Ｂに変化した）鳥瞰図画像を示すが、
後述する様にして、画像Ａと画像Ｂのマッチングを取る
ことにより、２つの画像で完全に一致する領域（一致領
域）を抽出することができる。

【００３１】尚、画像Ｂは、画像Ａより車両が駐車枠に
近づいている画像であるので、駐車枠の一部がカットさ
れている。よって、領域推定部１５では、画像が一致し
ない領域（不一致領域）のうち、カメラ１側のＶ字状の
領域を、車両の移動により画像が移動した領域（移動領
域）であると推定する。

【００３２】そして、画像Ｂに、画像Ａのうちの移動領
域を合成することにより、図５（ｃ）に示す様に、カメ
ラ１の視野外の車両枠（合成領域）をも表示した合成画
像を作成することができる。ここで、画像Ａと画像Ｂの
マッチングの手法を説明するが、画像処理における従来
の各種の手法を採用できる。

【００３３】例えば画像Ａ、Ｂの所定の（マッチング用
の）領域を、図６に示す様に、複数の細かい領域（ピク
セル）に分割し、各画像Ａ、Ｂのピクセルの一致する程
度が最も高いものを検出し、一致するピクセルの位置関
係から、画像Ａと画像Ｂの位置関係（即ち画像Ａがどれ
だけ移動したか）を求めることができる。

【００３４】具体的には、図６に示す様に、各ピクセル
における例えば図形の明るさ（色彩でもよい）の程度を
数字で示す場合を考えると、ここでは、画像Ａの下３列
のピクセルの明るさと、画像Ｂの上３列のピクセルの明
るさとが一致する。従って、この場合には、画像Ａは、
１列のピクセルの幅だけ図の上下方向に移動して、画像
Ｂと一致すると見なすことができる。この場合は、車両
が図の下方に移動したことにより、画像Ｂの図形が上方
に移動したように見える。

【００３５】つまり、画像Ａと画像Ｂとを比較する場合
には、両画像を細かい領域に区分し、その分割した細か
い領域のうち多くの領域で一致する場合（一致の程度が
高い場合）には、一致する部分が同じ画像であると見な
すものである。従って、画像Ａと画像Ｂにおいて、一致
する部分がずれている場合には、画像が移動することに
よりずれたと見なすことができ、その移動量や移動方向
も求めることができる。

【００３６】尚、同様に、左右方向及び斜め方向の移動
量も求めることができる。 次に、この合成画像をモニタ３に表示する場合には、
図３（ｂ）右図及び図３（ｃ）右図に示す様に、描画部
１７により、上述した合成画像を描画するとともに、車
両の位置とカメラ１の視野角の画像も合成して描画す
る。

【００３７】この場合、カメラ１は車両に固定されて一
定であるので、モニタ３の画面の同じ位置（例えば表示
画面中央の上部）に表示すればよい。 ｃ）次に、前記画像処理ユニット５等にて行われる処理
を、図７のフローチャートに基づいて説明する。

【００３８】図７に示す様に、まず、ステップ１００に
て、シフト位置がバックであるか否かを判定する。ここ
で肯定判断されるとステップ１１０に進み、一方否定判
断されるとステップ１７０に進む。尚、シフト位置は、
シフト位置検出センサ（図示せず）からの信号や、他の
電子制御装置からの信号により検出することができる。

【００３９】ステップ１７０では、以前に描画したカメ
ラの視野外の領域の画像を消去し、即ち、現在のカメラ
の画像（鳥瞰図画像）のみを表示し、前記ステップ１０
０に戻る。一方、ステップ１１０では、カメラ１で撮影
した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰
図画像を得る。

【００４０】続くステップ１２０では、連続した２つの
鳥瞰図画像の中で、一致する領域を抽出する。例えば図
５の画像Ａと画像Ｂとから、一致する領域を抽出する。
続くステップ１３０では、現在のカメラ１の視野から外
れる移動領域を抽出する。

【００４１】続くステップ１４０では、後に画面Ａの移
動領域を画面Ｂのカメラ視野の外に描画するのである
が、描画する前に、既に画面Ｂに描画されている部分を
移動領域だけ（画面Ｂの下方に）ずらせることにより、
描画領域を確保する。続くステップ１５０では、例えば
図５（ｃ）に示す様に、前記ステップ１３０にて確保し
た描画領域に移動領域の画像を描画する（合成画像を作
成する）。

【００４２】続くステップ１６０では、例えば図３
（ｃ）右図に示す様に、自車両及び視野角を示すＶ字状
の線の描画を行い、一旦本処理を終了する。 ｄ）この様に、本実施例では、カメラで撮影した画像を
鳥瞰図画像に変換するとともに、時間的に連続した鳥瞰
図画像の一致領域を抽出して、その両鳥瞰図画像のずれ
部分である移動領域を検出する。

【００４３】そして、現在の画像を示す鳥瞰図画像に移
動領域を合成して合成画像を作成するとともに、合成画
像をモニタ５の画面に表示する場合には、自車両及び視
野角の画像を加えている。つまり、本実施例では、車両
が移動する際にカメラ視野から外れた領域を推定し、合
成することによって、通常はカメラ視野外となる表示で
きない部分も含めて表示することができるので、自車両
と駐車枠との位置関係が明瞭に把握できる。そのため、
バックで駐車する操作などが、極めて容易になるという
顕著な効果を奏する。 （実施例２）次に、実施例２について説明するが、前記
実施例１と同様な箇所の説明は省略する。

【００４４】本実施例は、駐車枠や車止めのみを抽出し
て描画し、その背景の画像は省略するものである。図８
のフローチャートに示す様に、まず、ステップ２００に
て、シフト位置がバックであるか否かを判定する。ここ
で肯定判断されるとステップ２１０に進み、一方否定判
断されるとステップ２８０に進む。

【００４５】ステップ２８０では、以前に描画したカメ
ラの視野外の領域の画像を消去しする。一方、ステップ
２１０では、カメラで撮影した画像から、駐車枠及び車
止めの画像を、２値化処理により抽出する。

【００４６】尚、ここでは、駐車枠及び車止めは、白色
で塗られており、アスファルトの黒色の地面から容易に
分離可能だとする。続くステップ２２０では、２値化処
理した画像を鳥瞰図変換して、駐車枠及び車止めの鳥瞰
図画像を生成する。ここでは、背景は、単一の色彩とす
る。

【００４７】続くステップ２３０では、連続した２つの
鳥瞰図画像の中で、一致する領域を抽出する。続くステ
ップ２４０では、現在のカメラ１の視野から外れる移動
領域を抽出する。

【００４８】続くステップ２５０では、描画する前に、
既に画面Ｂに描画されている部分を移動領域だけ（画面
Ｂの下方に）ずらせることにより、描画領域を確保す
る。続くステップ２６０では、前記ステップ２５０にて
確保した描画領域に移動領域の画像を描画する（合成画
像を作成する）。

【００４９】続くステップ２７０では、自車両及び視野
角を示すＶ字状の線の描画を行い、一旦本処理を終了す
る。本実施例においても、前記実施例１と同様な効果を
奏するが、特に本実施例では、撮影した画像全体を鳥瞰
図変換して表示するのではなく、自車両や視野角以外
に、例えば駐車枠や車止めのみの様に、運転に必要なも
ののみを表示するようにしている。

【００５０】これにより、画像処理の負担が軽減される
とともに、モニタ３における画像表示も見やすくなっ
て、車両の操作が容易になるという利点がある。尚、本
発明は前記実施例になんら限定されるものではなく、本
発明を逸脱しない範囲において種々の態様で実施しうる
ことはいうまでもない。

【００５１】（１）例えば前記実施例１、２では、車両
周辺画像処理装置について述べたが、この装置による処
理を実行させる手段を記憶している記録媒体も、本発明
の範囲である。例えば記録媒体としては、マイクロコン
ピュータとして構成される電子制御装置、マイクロチッ
プ、フロッピィディスク、ハードディスク、光ディスク
等の各種の記録媒体が挙げられる。

【００５２】つまり、上述した車両周辺画像処理装置の
処理を実行させることができる例えばプログラム等の手
段を記憶したものであれば、特に限定はない。 （２）また、前記実施例１において、駐車枠や車止めの
画像は、単に撮影した画像を座標変換して表示するだけ
ではなく、カメラで撮影した画像から、車両の操作の目
印になる駐車枠や車止めの画像を抽出し、その駐車枠や
車止めの色彩や色の濃淡等で強調した画像とすることが
望ましい。

【図面の簡単な説明】

【図１】 実施例１の車両周辺画像処理装置の主要構成
を示す説明図である。

【図２】 実施例１の車両周辺画像処理装置の電気的構
成を示す説明図である。

【図３】 実施例１の車両周辺画像処理装置による処理
の手順を示す説明図である。

【図４】 実施例１の車両周辺画像処理装置による座標
変換の際の位置関係を示す説明図である。

【図５】 実施例１の車両周辺画像処理装置による処理
の手順を示す説明図である。

【図６】 実施例１の車両周辺画像処理装置の画像の移
動量を求めるための手順を示す説明図である。

【図７】 実施例１の車両周辺画像処理装置の処理を示
すフローチャートである。

【図８】 実施例２の車両周辺画像処理装置の処理を示
すフローチャートである。

【符号の説明】

１…カメラ ３…車載モニタ（モニタ） ５…画像処理ユニット １１…座標変換部 １３…マッチング部 １５…領域推定部 １７…描画部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA10 BA04 BA09 BA11 EA18 EA19 EA27 FA02 5B057 AA06 AA16 BA02 CA13 CB13 CD01 CE08 DA16 DC32

Claims (7)

【特許請求の範囲】
1. 【請求項１】 車両周辺の画像を撮影する撮影手段と、
   画像を表示する表示手段とを備えた車両に対して、前記
   撮影手段により撮影された画像を処理して前記表示手段
   に表示する車両周辺画像処理装置において、 前記撮影手段により撮影した画像を、前記撮影手段を視
   点として投影した地上面座標系のデータに変換して鳥瞰
   図画像を生成する鳥瞰図画像生成手段と、 前記鳥瞰図画像生成手段により生成された第１鳥瞰図画
   像と、それより後に撮影されて生成された第２鳥瞰図画
   像とを比較して、その一致領域と不一致領域とを判別す
   る領域判別手段と、 前記領域判別手段により判別された不一致領域を、前記
   第２鳥瞰図画像に加味して合成画像を作成する合成画像
   作成手段と、 前記合成画像を、前記表示手段に表示する表示処理手段
   と、 を備えたことを特徴とする車両周辺画像処理装置。
2. 【請求項２】 前記撮影手段により撮影される画像は、
   車両の後方の画像であることを特徴とする前記請求項１
   に記載の車両周辺画像処理装置。
3. 【請求項３】 前記鳥瞰図画像生成手段は、車線を示す
   画像を抽出して鳥瞰図画像を生成することを特徴とする
   前記請求項１又は２に記載の車両周辺画像処理装置。
4. 【請求項４】 前記第１鳥瞰図画像と第２鳥瞰図画像と
   は、時間的に連続した鳥瞰図画像であることを特徴とす
   る前記請求項１〜３のいずれかに記載の車両周辺画像処
   理装置。
5. 【請求項５】 前記表示処理手段は、前記合成画像の画
   像データを、前記表示手段に表示するための座標変換を
   行うことを特徴とする前記請求項１〜４のいずれかに記
   載の車両周辺画像処理装置。
6. 【請求項６】 前記表示手段に前記合成画像を表示する
   場合には、自車両を示す画像を加えて表示することを特
   徴とする前記請求項１〜５のいずれかに記載の車両周辺
   画像処理装置。
7. 【請求項７】 前記請求項１〜６のいずれかに記載の車
   両周辺画像処理装置による処理を実行させる手段を記憶
   していることを特徴とする記録媒体。