JP3796417B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の（広い画像領域における）時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて、従来より広い範囲を表示する技術が開発されている。
【０００６】
この技術は、それ以前の技術よりも優れているものであるが、画像処理のための演算は膨大なものであるので、演算処理の負担の軽減など、一層の改善が望まれている。
本発明は、前記課題を解決するためになされたものであり、例えばカメラの視野の外に出た部分を推定して描画することができるとともに、その演算処理の負担を軽減することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。即ち、第１鳥瞰図画像及びそれより時間的に後の画像である第２鳥瞰図画像の画像データを作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
更に、本発明では、第１鳥瞰図画像及び第２鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出し、その動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像（例えば表示手段に表示した鳥瞰図画像、例えば前回の合成鳥瞰図画像）を移動させて移動後鳥瞰図画像の画像データを作成する。この移動後鳥瞰図画像の画像データと（新しい）第２鳥瞰図画像の画像データとを合成して、表示手段に表示する合成鳥瞰図画像の画像データを作成する。
【００１０】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、本発明では、この画像をずれを、動きベクトルとして把握し、この動きベクトルに対応するように、例えば前回までに得られた合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成するのである。
【００１１】
これによって、モニタ等にカメラ等の視野から消えた部分を表示できるので、車両の周囲の状況をより明確に把握することができる。
この様に、本発明では、カメラ等の現在の視野から外れた領域を表示できるので、例えばバックで駐車する場合に、その操作が極めて容易になるという効果を奏する。
【００１２】
特に、本発明では、画像の動きベクトル、即ち車両の移動状態を示す動きベクトルを用いて移動後鳥瞰図画像を作成するので、画像処理のための演算等を簡易化できるという利点がある。
よって、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【００１３】
（２）請求項２の発明では、動きベクトルに基づいて、車両の動き量（平行移動した量や回転移動した量）を求め、この車両の動き量に基づいて、例えば前回までに得られた合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成する。
前記動きベクトルは、車両の動き量に対応しているので、この動きベクトルを用いれば、実際に車両がどのように移動したが分かる。よって、車両の動き量から、所定の関係式（例えば後述する式（３））などを用いて、例えば前回の合成鳥瞰図画像から移動後鳥瞰図画像を作成することができる。
【００１４】
（３）請求項３の発明では、動きベクトルに基づいて、車両の回転位置を検出するとともに、動きベクトルに基づいて、車両の回転角を検出する。
本発明は、動きベクトルに基づいて、例えば前回の合成鳥瞰図画像を移動させて、移動後鳥瞰図画像を作成する手法を例示したものである。
【００１５】
これにより、簡易な方法で移動後鳥瞰図画像を作成することができる。
（４）請求項４の発明では、回転中心を後輪車軸上にあるとした場合（これを拘束条件とした場合）に、動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、車両の回転中心とする。
【００１６】
つまり、本発明では、回転中心を算出するにあたり、各動きベクトルの２等分点における直交線と後輪車軸の延長線の交点を算出する。この交点は、動きベクトルの誤差からバラツキをもって存在することがあるが、後輪車軸の延長線を利用することにより、そのバラツキの影響を低減することができる。
【００１７】
また、ここでは、最も頻度が高く交点が存在する位置を、回転中心位置として用いることができる。これにより、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
（５）請求項５の発明では、（１又は複数の）動きベクトルの大きさ（動きベクトルの長さに対応するスカラー量）を判定し、その大きさが所定値より小さい場合には、動きベクトルに基づく移動後鳥瞰図画像の作成を中止する。
【００１８】
動きベクトルが小さい場合には、画像の移動状態（従って車両の移動状態）が把握し難く、例えば車両の回転中心や回転角の演算の際に、誤差が発生する可能性が大きい。よって、動きベクトルが小さい場合には、（この動きベクトルを用いる）それ以降の画像作成の処理を中止するのである。
【００１９】
尚、複数の動きベクトルを用いる場合には、前記動きベクトルの大きさを示す値として、算出した全ての動きベクトルの平均値を採用したり、所定以上の大きさの動きベクトルの平均値などを採用することができる。
（６）請求項６の発明では、動きベクトルとして、複数の動きベクトルを用いる。
【００２０】
本発明では、複数の動きベクトルを用いるので、１つの動きベクトルを用いた場合と比べて、画像の移動状態（従って車両の移動状態）をより正確に把握することができる。
（７）請求項７の発明では、複数の動きベクトルの各直交線の交点に基づいて、車両の回転中心を決定する。
【００２１】
画像は車両の移動に対応して移動するので、図６（ａ）に示す様に、複数の動きベクトルに対して、それぞれ一定の方法で直交線（例えば各動きベクトルの二等分線）を引いた場合には、それらの直交線は理論的には１点（交点）で交わる。従って、その交点が車両の回転中心である。
【００２２】
この交点は、動きベクトルの誤差からバラツキをもって存在することがあるが、最も頻度が高く交点が存在する位置を、回転中心位置として用いることができる。これにより、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
【００２３】
（８）請求項８の発明では、車両の回転中心に対する動きベクトルの大きさに基づいて、車両の回転角を決定する。
図６（ｂ）に示す様に、車両の回転中心から動きベクトルを見た場合、回転角は動きベクトルの両端点間の大きさに対応している。従って、動きベクトルの大きさから回転角を求めることができる。
【００２４】
（９）請求項９の発明では、合成鳥瞰図画像は、第２鳥瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像を加入した画像である。
本発明は、合成鳥瞰図画像の形成方法を例示したものである。これにより、車両の周囲の画像を連続して表示することができる。
【００２５】
つまり、上述した様に、例えばカメラにより現在撮影されている画像は、第２鳥瞰図画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を、移動後鳥瞰図画像として第２鳥瞰図画像の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【００２６】
（１０）請求項１０の発明では、メモリＢに、鳥瞰図画像作成手段により作成された第１鳥瞰図画像を記憶し、メモリＡに、鳥瞰図画像作成手段により作成された第２鳥瞰図画像を記憶し、メモリＣに、合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶する。
【００２７】
本発明は、各鳥瞰図画像を記憶するメモリを例示したものである。
（１１）請求項１１の発明では、メモリＣに記憶された合成鳥瞰図画像を、表示手段に表示する。
これにより、合成鳥瞰図画像をモニタ等に表示することができる。
【００２８】
（１２）請求項１２の発明では、表示手段に合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示する。
本発明では、車両の周囲の状況を示す合成鳥瞰図画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
【００２９】
尚、例えばカメラは車両の所定位置に固定されているので、例えばモニタの画面における自車両の位置は常に一定である。従って、モニタの画面の決まった位置に自車両を表示することができ、更には、モニタの画面上に予めプリント等により車両を記載してもよい。
【００３０】
また、カメラの視野角も通常は一定であるので、自車両だけでなく、モニタの画面に、カメラの視野角（左右の範囲）も表示してもよい。
（１３）請求項１３の発明は、コンピュータを、車両周辺の画像を撮影する撮影手段によって異なる時間に撮影された複数の画像に基づいて、第１鳥瞰図画像とそれより後の第２鳥瞰図画像とを作成する鳥瞰図画像作成手段、前記第１鳥瞰図画像及び第２鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段、前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段、前記第２鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段、として機能させるためのプログラムを記録した記録媒体である。
【００３１】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００３２】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００３３】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、画像処理を行う画像処理ユニット５を備えている。
【００３４】
前記画像処理ユニット５は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部（鳥瞰図変換回路）１１と、今回作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、前回作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＢと、前回と今回の鳥瞰図画像の画像データから画像の動きベクトルを算出する動きベクトル算出回路１３と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＣと、動きベクトルに基づいて鳥瞰図画像を移動（例えば回転移動）させて合成する等の上述した一連の演算処理を行うＣＰＵ１５とを備えている。
【００３５】
ここで、画像メモリＡに記憶する鳥瞰図画像の画像データとは、後述する様に、今回（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）である。
また、画像メモリＢに記憶する鳥瞰図画像の画像データとは、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）である。
【００３６】
更に、画像メモリＣに記憶する鳥瞰図画像の画像データとは、既にモニタ３に表示されている前回までの鳥瞰図画像（前回までの合成鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００３７】
つまり、本実施例では、後に詳述する様に、動きベクトルを用いて、実空間での車両の回転中心位置と回転角とを算出し、この結果より画像メモリＣの画像データを回転移動させる。次に、その結果を画像メモリＣに保存し、これに画像メモリＡの結果を上書きする処理を実行し、その結果をモニタ３に表示する。そして、この様な処理を連続的に実施することにより、今までにカメラ１の視野から消えた部分を含む（時系列的に）連続したモニタ画像を得る。
【００３８】
尚、画像処理ユニット３は、カメラ１と一体の構造となっていてもよく、画像処理ユニット５内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。い。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図７に基づいて説明する。
【００３９】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
図３（ａ）に、カメラ１から出力される原画像（出力画像）を示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００４０】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
尚、次に撮影が行われて新たな鳥瞰図画像が作成された場合には、前回の鳥瞰図画像が画像メモリＢに記憶され、新たな鳥瞰図画像が画像メモリＡに記憶される。従って、画像メモリＡには、新たな時刻（Ｔ＋１）における第２鳥瞰図画像が記憶され、画像メモリＢには、前回の時刻（Ｔ）における第１鳥瞰図画像が記憶される。
【００４１】
▲２▼次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
【００４２】
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
【００４３】
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４４】
【数１】

【００４５】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
▲３▼次に、鳥瞰図画像の動きベクトルに基づいて、画像メモリＣに記憶した鳥瞰図画像（前回の合成鳥瞰図画像）を移動させる手順（i）〜（iv）を説明する。
【００４６】
(i)まず、動きベクトル算出回路１３により、過去の第１鳥瞰図画像に対する現在の第２鳥瞰図画像の動きベクトルを算出する手法を説明する。
ここでは、図５に示す様に、第１鳥瞰図画像及び第２鳥瞰図画像を、同じメッシュ間隔のメッシュにて所定の分割領域に分割し、両画像のマッチング処理により、第１鳥瞰図画像の分割領域の画像データと最も類似するものを第２鳥瞰図画像にて検索する。
【００４７】
例えば図５（ａ）に示す様に、第１鳥瞰図画像にて、座標（ｘ０、ｙ０）と（ｘ０＋８、ｙ０＋８）で指定された縦８ドット×横８ドットの分割領域１を設定した場合には、図５（ｂ）に示す様に、第２鳥瞰図画像にて、分割領域１に対応する分割領域２（同図の斜線部分）を含み、分割領域２より大きな縦２４ドット×横２４ドットの検索領域（同図の破線の枠内）を設定する。
【００４８】
次に、この検索領域にて、縦８ドット×横８ドットのマッチング領域（同図の点描部分）を設定し、このマッチング領域を１ドットづつ横方向（矢印方向）に移動し、その横方向への移動が終了すると１ドット分縦方向（下方向）に移動して、同様に左端から横方向に移動させる処理を行う。
【００４９】
つまり、マッチング領域の始点を（ｘｓ、ｙｓ）とすると、その始点を同図の太線の枠内で、上述した様に１ドットづつ移動させることにより、マッチング領域を順次移動させるのである。
そして、マッチング領域を１ドットづつづらす毎に、前記分割領域１の画像データと各マッチング領域の画像データとの画像のマッチング処理を行う。
【００５０】
このマッチング処理とは、分割領域１の画像データと各マッチング領域の画像データとがどの程度一致するかを示すものであり、下記式（２）により求めることができる。
【００５１】
【数２】

【００５２】
前記式（２）において、ＧＢとは第２鳥瞰図画像（現在）の画像データを示し、ＧＡとは第１鳥瞰図画像（過去）の画像データを示し、この式（２）によって得られるＳ（相関値）が小さいほど、両画像の一致度が高いと見なすことができる。
【００５３】
従って、全てのマッチング処理が終了した後、最も相関値Ｓが小さいマッチング領域（選択マッチング領域）が、分割領域１と同じ画像を示していると判断することができる。
これにより、分割領域１から選択マッチング領域に、画像が移動したと見なすことができる。従って、図５（ｃ）に示す様に、例えば各領域の中心を設定すると、分割領域１の中心から選択マッチング領域の中心に到る動きベクトルを得ることができる。
【００５４】
同様に、第１鳥瞰図画像にて、数カ所分割領域を設定し、これらの分割領域と一致する選択マッチング領域を求め、両領域の位置関係から、動きベクトルを求める。
尚、上述した手法によって求めた複数の動きベクトルを、図６（ａ）に示すが、ベクトル算出画像領域とは、算出した全ての動きベクトルの向きと大きさとを示す画像領域であり、その原点は、例えば図６（ａ）に示す第２鳥瞰図画像に左下端に対応するものである。
【００５５】
(ii)次に、図６（ａ）に示す様に、各動きベクトルの二等分点における直交線を求め、それらの直交線の交点から、車両の回転中心（ＸＣ、ＹＣ）を求める。
また、図６（ｂ）に示す様に、回転中心（ＸＣ、ＹＣ）を中心とした各動きベクトルの始点から終点に到るまでの中心角と車両の回転角とは一致するので、その中心角を車両の回転角θとして求める。
【００５６】
(iii)次に、上述した様にして求めた回転中心（ＸＣ、ＹＣ）及び回転角θを用いて、下記の様にして、鳥瞰図画像を移動する。
画像メモリＣに記憶された前回までの合成鳥瞰図画像の画像データを、ＣＰＵ１５の内部メモリに転送し、前記回転中心（ＸＣ、ＹＣ）及び回転角θを用いて、鳥瞰図画像を回転移動する。
【００５７】
この回転移動を行うための変換式を、下記式（３）に示すが、この変換式を用いたＣＰＵ１５の内部処理により、回転角θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
【００５８】
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（３）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角
そして、全ての座標についてこれらの演算を行うことにより、画像メモリＣに記憶された前回までの鳥瞰図画像（合成鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５９】
(iv)それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、画像メモリＡに記憶した現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、画像メモリＡよりＣＰＵ１５に転送する。
よって、ＣＰＵ１５では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、その画像データを画像メモリＣに記憶する。
【００６０】
例えば、移動後鳥瞰図画像に第２鳥瞰図画像を上書して合成鳥瞰図画像を形成し、それを画像メモリＣに記憶する。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＣに記憶し、その合成鳥瞰図画像をモニタ３の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＣに記憶せずに、モニタ３に画像メモリＣに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００６１】
ｃ）次に、前記画像処理ユニット５等にて行われる処理を、図７のフローチャートに基づいて説明する。
図７に示す様に、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ２３０に進む。
【００６２】
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ２３０では、以前に描画したカメラの視野外の領域の画像を消去し、即ち、現在のカメラの画像（鳥瞰図画像）のみを表示し、前記ステップ１００に戻る。
【００６３】
一方、ステップ１１０では、（時刻Ｔにて）カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、第１鳥瞰図画像を作成する。その後、（時刻Ｔ＋１にて）カメラ１で撮影した画像の鳥瞰図変換を行って、第２鳥瞰図画像を作成する。以後、所定時間毎に、順次画像を撮影して、その鳥瞰図変換を行う。
【００６４】
続くステップ１２０では、時刻Ｔの第１鳥瞰図画像を画像メモリＢに記憶し、時刻Ｔ＋１の第２鳥瞰図画像を画像メモリＡに記憶する。
つまり、今回の新しい鳥瞰図画像を画像メモリＡに記憶し、そのときまでに画像メモリＡに記憶されていた前回の鳥瞰図画像を画像メモリＢに記憶するのである。
【００６５】
続くステップ１３０では、前記第１鳥瞰図画像及び第２鳥瞰図画像を用いて、上述した分割領域のマッチング処理の手法により、その画像間における所定数の動きベクトルを算出する。
続くステップ１４０では、算出した全ての動きベクトルの大きさを求め、その平均値を算出する。
【００６６】
続くステップ１５０では、動きベクトルの平均値が、判定値Ｋ以上か否かを判定する。ここで肯定判断されるとステップ１６０に進み、一方否定判断されると一旦本処理を終了する。
つまり、動きベクトルの平均値が判定値Ｋより小さい場合には、車両が殆ど動いていないと見なすことができ、しかも、後に、その（小さな）動きベクトルに基づいて行われる演算に誤差が発生しやすい。よって、動きベクトルが小さい場合には、その後の後鳥瞰図画像の作成等の処理を中止するのである。
【００６７】
尚、この場合でも、車両は殆ど動いていないので、移動前の画像をモニタ３に表示しても、それほど支障はない。
ステップ１６０では、各動きベクトルの二等分点における直交線を求め、それらの直交線の交点を、車両の回転中心として算出する。尚、交点が１点に定まらない場合には、各交点の平均点を回転中心とする。
【００６８】
続くステップ１７０では、前記回転中心に対して動きベクトルの両端点（始点と終点）がなす角を、車両の回転角として算出する。
続くステップ１８０では、前記式（３）に車両の移動量を示す前記回転角θを用いて、前記画像メモリＣに記憶されている鳥瞰図画像（前回までの処理により得られてモニタ３に表示された合成鳥瞰図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を求める。そして、この移動後鳥瞰図画像の画像データを画像メモリＣに保存する。
【００６９】
続くステップ１９０では、前記画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み込む。
続くステップ２００では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して、即ち今回画像メモリＣに保存した画像データに画像メモリＡの画像データを上書きして合成鳥瞰図画像を作成する。
【００７０】
具体的には、図８に示す様に、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、前回までの合成鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、今回の合成鳥瞰図画像を作成する。
【００７１】
尚、同図で車両は参考にために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。
続くステップ２１０では、合成鳥瞰図画像を、画像メモリＣに記憶する。
続くステップ２２０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＣに記憶した合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００７２】
ｄ）この様に、本実施例では、カメラ１で撮影した画像を鳥瞰図画像に変換し、第１鳥瞰図画像と第２図鳥瞰図画像を用いて動きベクトルを算出し、その動きベクトルに基づいて車両の移動量を算出し、その車両の移動量に応じて、画像メモリＣの前回までの合成鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。そして、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して新たに合成鳥瞰図画像を作成し、その合成鳥瞰図画像に自車両及び視野角の画像を加えて、モニタ３の画面に表示している。
【００７３】
この一連の処理を連続して行うことにより、連続して車両後方の鳥瞰図画像をモニタ３に表示することができる。
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、図９に示す様に、自車両と駐車枠との位置関係が明瞭に把握できる。そのため、バックで駐車する操作などが、極めて容易になるという顕著な効果を奏する。
【００７４】
尚、前記図９では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ３の表示画面を、（ａ）、（ｂ）、（ｃ）と順を追って示している。
特に本実施例では、第１及び第２鳥瞰図画像間の動きベクトルに基づいて移動後鳥瞰図画像を作成するので、その演算処理が容易であるという利点がある。
【００７５】
つまり、多くの演算処理が必要な全画像のマッチングなどによる画像処理ではなく、任意の分割領域における動きベクトルを算出し、その動きベクトルに基づいて画像を移動させるので、演算処理の負担が軽減され、速やかに必要な画像をモニタ３に表示することができる。
【００７６】
また、本実施例では、動きベクトルに基づいて車両の回転位置を検出するとともに、動きベクトルに基づいて車両の回転角を検出し、更に、回転中心を後輪車軸上にあるとして、動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、車両の回転中心としている。
【００７７】
これにより、演算の負担が軽減されるとともに、動きベクトルにバラツキがある場合でも、回転中心位置の検出精度が大幅に向上するという利点がある。
この様に、本実施例では、マイクロコンピュータ等の負担が軽減するので、全体として処理速度を高めることができる。また、演算処理能力の低いマイクロコンピュータでも処理が可能になるので、コストダウンにも寄与する。
【００７８】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）前記実施例では、複数の動きベクトルの大きさを判定する際に、すべての動きベクトルの平均値を用いたが、ある値以上の大きさの動きベクトルを選択して採用したり、大きい方からＮ番目までの動きベクトルを採用するようにしてもよい。
【００７９】
（２）また、動きベクトルを用いて、回転中心や回転角を算出する場合には、誤差の影響を低減するために、所定以上の大きさの動きベクトルのみを用いる様にしてもよい。
（３）更に、例えば前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理をコンピュータにより実行させるプログラムを記憶している記録媒体も、本発明の範囲である。
【００８０】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理をコンピュータにより実行させるプログラムを記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図１】 実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】 実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】 実施例の車両周辺画像処理装置による動きベクトルを求めるための手法を示す説明図である。
【図６】 実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図７】 実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】 実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図９】 実施例の車両周辺画像処理装置により表示されるモニタ画像を示す説明図である。
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…画像処理ユニット
１１…鳥瞰図変換回路
１３…動きベクトル算出回路
１５…ＣＰＵ

Claims (13)

1. 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
   前記撮影手段によって異なる時間に撮影された複数の画像に基づいて、第１鳥瞰図画像とそれより後の第２鳥瞰図画像とを作成する鳥瞰図画像作成手段と、
   前記第１鳥瞰図画像及び第２鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、
   前記第２鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、前記表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
   を備えたことを特徴とする車両周辺画像処理装置。
2. 前記動きベクトルに基づいて、前記車両の動き量を求め、該車両の動き量に基づいて、移動後鳥瞰図画像を作成することを特徴とする前記請求項１に記載の車両周辺画像処理装置。
3. 前記動きベクトルに基づいて、車両の回転位置を検出する回転位置検出手段と、
   前記動きベクトルに基づいて、車両の回転角を検出する回転角検出手段と、
   を備えたことを特徴とする前記請求項２に記載の車両周辺画像処理装置。
4. 前記回転中心を後輪車軸上にあるとした場合に、前記動きベクトルの直交線と車両の後輪車軸の延長線が交わる位置を、前記車両の回転中心とすることを特徴とする前記請求項３に記載の車両周辺画像処理装置。
5. 前記動きベクトルの大きさを判定し、その大きさが所定値より小さい場合には、前記動きベクトルに基づく前記移動後鳥瞰図画像の作成を中止することを特徴とする前記請求項１〜４のいずれかに記載の車両周辺画像処理装置。
6. 前記動きベクトルとして、複数の動きベクトルを用いることを特徴とする前記請求項１〜５のいずれかに記載の車両周辺画像処理装置。
7. 前記複数の動きベクトルの各直交線の交点に基づいて、前記車両の回転中心を決定することを特徴とする前記請求項６に記載の車両周辺画像処理装置。
8. 前記車両の回転中心に対する前記動きベクトルの大きさに基づいて、前記車両の回転角を決定することを特徴とする前記請求項３〜７のいずれかに記載の車両周辺画像処理装置。
9. 前記合成鳥瞰図画像は、前記第２鳥瞰図画像を表示する表示領域以外に、前記移動後鳥瞰図画像を加入した画像であることを特徴とする前記請求項１〜８のいずれかに記載の車両周辺画像処理装置。
10. 前記鳥瞰図画像作成手段により作成された第１鳥瞰図画像を記憶するメモリＢと、
    前記鳥瞰図画像作成手段により作成された第２鳥瞰図画像を記憶するメモリＡと、
    前記合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像を記憶するメモリＣと、
    を備えたことを特徴とする前記請求項１〜９のいずれかに記載の車両周辺画像処理装置。
11. 前記メモリＣに記憶された合成鳥瞰図画像を、前記表示手段に表示することを特徴とする前記請求項１０に記載の車両周辺画像処理装置。
12. 前記表示手段に前記合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示することを特徴とする前記請求項１〜１１のいずれかに記載の車両周辺画像処理装置。
13. コンピュータを、
    車両周辺の画像を撮影する撮影手段によって異なる時間に撮影された複数の画像に基づいて、第１鳥瞰図画像とそれより後の第２鳥瞰図画像とを作成する鳥瞰図画像作成手段、
    前記第１鳥瞰図画像及び第２鳥瞰図画像に対して、その両画像間の画像の移動状態を示す動きベクトルを算出する動きベクトル算出手段、
    前記動きベクトルに基づいて、移動前の状態を示す鳥瞰図画像から移動後鳥瞰図画像を作成する鳥瞰図画像移動手段、
    前記第２鳥瞰図画像と前記移動後鳥瞰図画像とを合成して、表示手段に表示する合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段、
    として機能させるためのプログラムを記録した記録媒体。

Images