JP2009163504A - 画像変形方法等 - Google Patents

Abstract

【課題】自車両が交差点へ進入する場合、交差点でのカメラ画像に誘導経路案内矢印を合成させ、運転手に視覚的にわかりやすく交差点を誘導させる。
【解決手段】自車両から外部の画像を撮像するカメラの画像から道路を認識する手段として、輝度信号／色差信号分離処理部２０２、輝度信号処理部２０３、色差信号処理部２０４、画像認識処理部２０５により構成される。そして、自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段として、注目点座標抽出部２０６により構成される。
【選択図】図２

Description

本発明は、カーナビゲーションシステムにおける誘導経路案内を行うための方法や装置に関するものである。

カーナビゲーションシステムは、予め設定した目的地までの最適な誘導経路を、ナビゲーションシステムに保持された道路地図データに基づき、自車両の走行に伴い経路中の交差点等の重要地点で右左折案内をディスプレイ上に表示させるシステムである。

かかるカーナビゲーションシステムには、どの交差点で進路を変更すべきか正確に認識可能としたカーナビゲーション技術が知られている（例えば、特許文献１参照）。このカーナビゲーション技術では、自車両が経路中の右左折すべき重要地点に対し所定距離まで接近した場合には、地図表示に換えて交差点風景をディスプレイに表示させると共に、自車両に設置したカメラの設置位置と、視野角、焦点距離等の光学的条件とから、交差点位置を特定することで、その交差点風景に右左折方向を示す矢印を合成させる技術である。
特開平７−６３５７２号公報

上記特許文献１に開示されるカーナビゲーション技術では、カメラの設置位置と光学的条件とから、交差点位置を特定し、案内交差点の進路情報を合成するようになっているために、カメラの設置位置とカメラの視野角、焦点距離を予め特定し、そして交差点中心部とカメラ視野角の中心との二者が一致していることが前提となる。さらに加えて、ナビゲーション装置から入力される地図情報位置と車両位置との二者が一致しなければ、交差点での正確な右左折の矢印を合成できず、その結果、自車両運転手に対し交差点での誘導案内を誤る可能性が指摘される。

本発明は、自車両に設置したカメラの設置位置と光学的条件とに依存することなく、自車両運転手を交差点で正確に右左折誘導できるようにすることを解決すべき課題としている。

（１）本発明による画像変形方法は、自車両から外部の画像を撮像するカメラの画像から道路を認識する第１ステップと、自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像とから注目点座標を抽出する第２ステップと、を含むことを特徴とするものである。

本発明において、好ましい態様は、上記第１ステップが、カメラ画像からの輝度信号から輪郭成分を生成し、特定領域と同等の色差情報に隣接する輪郭成分から、道路を認識する、ことである。

本発明において、好ましい態様は、上記第２ステップが、カメラ画像において、道路輪郭の屈折している箇所を交差点としての注目点として検知し、また、ナビゲーション装置による地図画像において、道路画像から交差点としての注目点として検知する、ことである。

本発明において、好ましい態様は、上記第２ステップが、カメラ画像において他車両、障害物等で交差点としての注目点が検知されなかった場合に、カメラ画像の検知された注目点を中心に注目点を変更させる、ことである。

本発明において、好ましい態様は、上記第２ステップが、カメラ画像で認識された道路情報の方向ベクトルと地図画像の方向ベクトルとにより、交差点としての注目点として検知する、ことである。

本発明において、好ましい態様は、抽出された注目点座標から歪み量を算出し、画像を変形させる第３ステップを、含むことである。

本発明において、好ましい態様は、上記第３ステップが、地図画像の注目点座標とカメラ画像の注目点座標とが一致するように歪み量を算出し、歪み量に応じた座標変換により地図画像またはカメラの画像を変形させる、ことである。

本発明において、好ましい態様は、上記第３ステップが、カメラ画像で認識された道路情報の方向ベクトルと地図画像の方向ベクトルとが最小となるように歪み量を算出し、歪み量に応じた座標変換により地図画像またはカメラの画像を変形させる、ことである。

（２）本発明による画像表示方法は、上記（１）に記載の方法における第１ないし第３ステップと、さらに、二つの画像を合成すると共に、この合成された画像を表示する第４ステップと、を備えることを特徴とするものである。

（３）本発明による画像変形装置は、自車両から外部の画像を撮像するカメラの画像から道路画像を出力する画像認識部と、上記画像認識部からの道路画像と、自車両の位置を示すナビゲーション装置からの地図画像を入力し、各々の注目点座標を出力する注目点座標抽出部と、上記注目点座標抽出部からの注目点座標を入力し、カメラ画像もしくは地図画像の変形画像を出力する座標変換処理部と、を備えることを特徴とするものである。

本発明において、好ましい態様は、上記画像認識部が、カメラからの画像を入力し、輝度信号と色差信号を出力する輝度信号／色差信号分離処理部と、上記輝度信号／色差信号分離処理部からの輝度信号を入力し、輪郭信号を出力する輝度信号処理部と、上記輝度信号／色差信号分離処理部からの色差信号を入力し、特定の色差信号を出力する色差信号処理部と、上記輝度信号処理部からの輪郭信号と、上記色差信号処理部からの色差信号を入力し、道路画像を出力する画像認識処理部と、を備えることである。

（４）本発明による画像表示装置は、上記（３）に記載の画像変形装置と、輝度信号処理部および色差信号処理部からのカメラ画像もしくは、自車両の位置を示すナビゲーション装置による地図画像を入力し、座標変換処理部からのカメラ画像もしくは地図画像の変形画像信号を入力し、各々の信号を合成した画像信号を出力する画像合成処理部と、上記画像合成処理部からの画像信号を入力し、表示信号を出力する画像表示処理部と、を備えることを特徴とするものである。

本発明において、好ましい態様は、上記座標変換処理部が、自車両の位置を示すナビゲーション装置からの誘導経路案内矢印画像を入力し、誘導経路案内矢印画像の変形画像を出力し、上記画像合成処理部が、上記座標変換処理部からの誘導経路案内矢印画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像を入力し、各画像にかかる信号を合成した画像信号を出力し、上記画像表示処理部が、上記画像合成処理部からの画像信号を入力し、表示信号を出力する、ことである。

本発明において、好ましい態様は、上記座標変換処理部が、自車両の位置を示すナビゲーション装置からの誘導経路案内矢印画像を含む地図画像を入力し、誘導経路案内矢印画像を含む地図画像の変形画像を出力し、上記画像合成処理部が、上記座標変換処理部からの誘導経路案内矢印画像を含む地図画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像入力し、各々の信号を合成した画像信号を出力し、上記画像表示処理部が、上記画像合成処理部からの画像信号を入力し、表示信号を出力する、ことである。

本発明において、好ましい態様は、上記座標変換処理部が、自車両の位置を示すナビゲーション装置からの目的地マーク画像を入力し、目的地マークの変形画像を出力し、上記画像合成処理部が、上記座標変換処理部からの目的地マーク画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、各画像にかかる信号を合成した画像信号を出力し、上記画像表示処理部が、上記画像合成処理部からの画像信号を入力し、表示信号を出力する、ことである。

本発明において、好ましい態様は、上記座標変換処理部が、自車両の位置を示すナビゲーション装置からの目的地マーク画像を含む地図画像を入力し、目的地マーク画像を含む地図画像の変形画像を出力し、上記画像合成処理部が、上記座標変換処理部からの目的地マーク画像を含む地図画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、各画像にかかる信号を合成した画像信号を出力し、上記画像表示処理部が、上記画像合成処理部からの画像信号を入力し、表示信号を出力する、ことである。

本発明において、好ましい態様は、上記座標変換処理部が、自車両の位置を示すナビゲーション装置からの目的地マーク画像を入力し、目的地マークの変形画像を出力し、上記画像合成処理部が、上記座標変換処理部からの目的地マーク画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、輝度信号もしくは色差信号が変化された目的地建物の画像を含むカメラ画像信号を出力し、上記画像表示処理部が、上記画像合成処理部からの画像信号を入力し、表示信号を出力する、ことである。

本発明によれば、上記課題における自車両に設置したカメラの設置位置と光学条件とに依存することなく、交差点における運転手への正確な誘導が可能であるという格別の効果を奏する。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。本実施形態は、ハードウェアやソフトウェアの実施態様は各種変更であるため、以下の説明では、本発明および実施形態の各機能を実現する仮想的ブロック図を用いる。また、以下の実施形態は特許請求の範囲にかかわる発明を限定するものではなく、また実施形態の中で説明されている特長の組み合わせの全てが発明の開発手段に必須とは限らない。

本カーナビゲーション装置は、ユーザが設定した目的地までの経路をあらかじめ用意された道路地図データに基づいて探索および設定し、その経路に沿った各案内を行う経路誘導装置であり、図１の機能ブロック図に示す各要素を備えている。図１は、本実施例に係わるカーナビゲーション装置の構成を表している。

自立航法制御部１０２は自車両の移動速度を検出する車速度センサや自車両の回転角度を検出する。自立航法とは自車両から検出できる信号のみで現在地カーソルを作動させる航法である。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）制御部１０３は、ＧＰＳ受信機によって地球の高度約２万ｋｍにおける所定の軌道に複数個配置された人工衛星（ＧＰＳ衛星）から伝送されるＧＰＳ信号を受信し、このＧＰＳ信号に含まれた情報を利用して自車両の現在位置と現在方位とを測定する。

ＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）情報受信機１０４は、外部アンテナを介して自車両外部の現在の道路交通情報をＶＩＣＳセンターから逐次受信する。このＶＩＣＳは、ＦＭ多重放送や道路上の発信機から受信した交通情報を図形・文字で表示するシステムであり、ＶＩＣＳセンターで編集・処理された渋滞や交通規制などの道路交通情報をリアルタイムに送信し、カーナビゲーションシステムに用意されている地図上に重ね書きして表示する。

通信制御部１０１は、無線または有線によりデータ通信を可能とする。通信機能は、ナビゲーション装置に内蔵されていても良いし、例えば、携帯電話などの移動体通信端末を外部接続するものであっても良い。ユーザは、通信制御部１０１を介して外部サーバへアクセスすることが可能である。

ナビゲーション制御部１０６は本装置全体を制御する部分である。

地図情報データベース１０７は、本装置の動作に必要な各種のメモリで、記録された地図データおよび施設データなどの各種データが保持され、必要な地図データをナビゲーション制御部１０６から読み出される。

ここにおける地図情報データベース１０７におけるメモリは、ＣＤ／ＤＶＤ−ＲＯＭあるいはハードディスクドライブ（ＨＤＤ）であってもよい。

更新情報データベース１０８は、地図情報データベース１０７から更新された地図情報の差分データをナビゲーション制御部１０６により記憶されるメモリである。

音声出力部１０５は、スピーカを含み、例えば、経路誘導時に交差点案内などの音声を出力する。

撮像部１０９は、自車両の前方に設置されたＣＣＤセンサやＣＭＯＳセンサなど撮像素子を備えたカメラである。

画像処理部１１０は、撮像部１０９からの電気信号を画像データとして変換処理を行うと共に、ナビゲーション制御部１０６からの地図データを入力し、画像処理を行う。

画像合成処理部１１１は、自車両の現在位置による地図データをナビゲーション制御部１０６から入力し、さらに、この入力した地図データを画像処理部１１０から入力されるカメラ画像と合成する。

画像表示処理部１１２は、画像合成処理部１１１による画像をカーナビゲーション装置のディスプレイ等に表示する。

（実施の形態１）
本発明の実施の形態１に係わる画像変形方法および画像変形装置について、図１〜図１２、図３４を用いて説明する。

図２は、画像変形装置とそれに付随する周辺装置のブロック図である。図１と対応する部分には同一の符号を付している。

図２を参照して、画像処理部１１０は、自車両から外部の画像を撮像する撮像部１０９の撮像画像から道路を認識する手段を含む。この道路認識手段は、撮像部１０９からの撮像信号を輝度信号と色差信号とに分離処理する輝度信号／色差信号分離処理部２０２と、輝度信号／色差信号分離処理部２０２で分離された輝度信号を処理する輝度信号処理部２０３と、輝度信号／色差信号分離処理部２０２で分離された色差信号を処理する色差信号処理部２０４と、これら輝度信号処理部２０３と色差信号処理部２０４とで別々に処理された信号から画像認識処理を行う画像認識処理部２０５と、により構成される。

そして、画像処理部１１０は、さらに、自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像とから注目点座標を抽出する手段を含む。この注目点座標抽出手段は、注目点座標抽出部２０６で構成される。

これらから構成される画像変形装置は、図１での画像処理部１１０の基本画像処理の一機能に該当する。

以下、それらの各ブロックを説明する。

輝度信号／色差信号分離処理部２０２は、撮像部１０９からのカメラ画像を入力する。

この輝度信号／色差信号分離処理部２０２は、撮像部１０９から赤（Ｒ）・緑（Ｇ）・青（Ｂ）の三色（光の三原色）データを入力する場合、一般的な色空間変換式を用いた場合、Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ、Ｕ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ、Ｖ＝０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ として変換される。

また、ＩＴＵ−Ｒ ＢＴ．６０１規定のＹＣｂＣｒの場合、Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６、Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４３９Ｂ＋１２８、Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８として変換される。

ここでのＹは、輝度信号（明るさ）を示し、Ｃｂ（Ｕ） は、青の差分信号、Ｃｒ（Ｖ） は、赤の差分信号を示す。

シアン（Ｃ）・マゼンタ（Ｍ）・イエロー（Ｙ）の三色（色料の三原色）データを入力する場合は、一般的な変換式を用いた場合、Ｒ＝１．０−Ｃ、Ｇ＝１．０−Ｍ、Ｂ＝１．０−Ｙを基に、上記のＲ・Ｇ・Ｂの変換式を用いてＹ、Ｃｂ（Ｕ）、Ｃｒ（Ｖ）への変換を行い、その信号を出力する。

すでに撮像部１０９からＹ、Ｕ、Ｖの信号が入力される場合、本輝度信号／色差信号分離処理部２０２は特に信号の変換は行わず、信号分離だけを行う。

輝度信号処理部２０３は、輝度信号／色差信号分離処理部２０２からの輝度信号を入力し、輝度に応じた信号処理を行い、出力する。

さらに輝度信号処理部２０３では、輪郭画素の判定処理を行う。

例えば、簡易的な周辺３×３画素による輪郭画素の判定をする場合、図３での注目画素Ｄ３５に対して、周辺画素Ｄ３１からＤ３４、Ｄ３６からＤ３９の画素とそれぞれ輝度信号を比較し、比較した輝度信号の差が予め設定した値よりも大きければ、輪郭があるとしてその注目画素Ｄ３５を輪郭画素として判断する。

イメージ図として、図４のようなカメラ画像が入力された場合、輝度情報を基に輪郭成分を抽出した画像が図５のような輪郭画像に変換される。

色差信号処理部２０４は、輝度信号／色差信号分離処理部２０２からの色差信号を入力し、色差に応じた信号処理を行い、出力する。

この色差信号処理部２０４では、予め設定した特定領域と同等の色差情報の画素の判定処理を行う。

例えば、自車両が走行中の道路の色差信号を認識するためには、カメラが自車両の前方中央に設置されている場合、自車両は必ず道路上に存在しているため、カメラ画像の下方中央は道路である。

よって、図６において、入力されたカメラ画像に対し、特定領域Ａ６０１のように下方中央に設定し、その領域における色差信号を算出する。

そして、カメラ画像に対して、算出された色差信号と同等信号の画素を選定した場合、図７の道路の色差信号イメージＡ７０１のように道路の色差画像だけとなる。

画像認識処理部２０５は、輝度信号処理部２０３からの図５で示す輪郭画像信号と、色差信号処理部２０４からの図７で示す色差画像信号と、を入力する。

この場合、道路色差信号イメージＡ７０１に隣接、あるいは隣接に順ずる輪郭成分画像信号を認識し、該当する輪郭画素のみを抽出する。そして、これらの画像を合成し、道路画像と認識することで、図８の道路画像のイメージを出力する。

これらの構成により、自車両から外部の画像を撮像するカメラの画像から道路を認識することができる。

注目点座標抽出部２０６は、画像認識処理部２０５で認識処理された図８で示す道路画像と、ナビゲーション制御部１０６からの図９で示す地図画像と、を入力する。

まず、注目点座標抽出部２０６は、図８で示す道路画像において、道路輪郭の屈折している箇所（道路輪郭屈折箇所）を算出し、該当する座標Ｐ１００１〜Ｐ１００４を図１０で示すように交差点としての注目点として検知する。

上記注目点座標抽出部２０６における道路輪郭屈折箇所の算出方法を説明する。

まず、図１０で示すように、道路画像を、画面上下方向垂直な基線Ｌ１００５により、画面上、左右に分ける。

そして、左側の道路輪郭ベクトルＶ１００６を求める。

この左側の道路輪郭ベクトルＶ１００６は、遠近法に基づき、図１１におけるＶ１１０２のように第一象限の方向ベクトルに限る。

ここで、遠近法とは、線遠近法であり、消失点を作り、すべてのものが一点に集まるように設定する技法である。

また、右側の道路輪郭ベクトルＶ１００７を求める。右側の道路輪郭ベクトルＶ１００７は、遠近法に基づき、図１１におけるＶ１１０１のように第二象限の方向ベクトルに限る。

方向ベクトルの求め方は、道路輪郭の画素に対して、線形近似直線を算出することで求めることができる。これら左側道路輪郭ベクトルＶ１００６と、右側道路輪郭ベクトルＶ１００７とに順ずる道路輪郭の屈折する輪郭座標を注目点として算出する。

そして、図９で示す地図画像においても同様に、道路輪郭屈折箇所を算出し、図１２における該当する座標Ｐ１２０１〜座標Ｐ１２０４を、交差点としての注目点（注目点座標）として、検知する。

以上から、道路輪郭屈折箇所の算出方法は、まず、地図画像（図９）を図１２で示すように基線Ｌ１２０５により画面上で左右に分け、左側の道路輪郭ベクトルＶ１２０６を求める。これは、図１１におけるＶ１１０２のように第一象限の方向ベクトルに限る。また、右側の道路輪郭ベクトルＶ１２０７を求める。これは、図１１における方向ベクトルＶ１１０１のように第二象限の方向ベクトルに限る。

これら道路輪郭ベクトルＶ１２０６，Ｖ１２０７に順ずる道路輪郭の屈折する輪郭座標を注目点（注目点座標）として算出する。そして、カメラ画像（図６）と地図画像（図９）それぞれの上記で算出された注目点座標を出力する。このように２次元の地図画像を例としてあげたが、３次元画像でも同様の処理で注目点を算出することができる。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態１に係わる画像変形方法について図３４で示すフローチャートを用いて説明する。

ステップＳ３４０１において、画像処理部１１０においては、撮像部１０９からのカメラ画像（図４）を取得する。

ステップＳ３４０２において、画像処理部１１０においては、上記取得したカメラ画像（図４）に基づいて、内部における輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５と、によって道路を認識する。

ステップＳ３４０３において、画像処理部１１０においては、さらに注目点座標抽出部２０６によりナビゲーション制御部１０６から地図画像（図９）を取得する。

ステップＳ３４０４，Ｓ３４０５は、方向ベクトルを算出しないので、スキップする。

ステップＳ３４０６において、同じく注目点座標抽出部２０６により交差点としての注目点を抽出する。

この構成と方法とにより、撮像部１０９によるカメラ画像（図４）において、道路輪郭の屈折している箇所を交差点としての注目点座標Ｐ１００１〜座標Ｐ１００４として検知し、また、ナビゲーション装置（ナビゲーション制御部１０６）による地図画像（図９）において、道路の屈折している箇所を交差点としての注目点座標Ｐ１２０１〜Ｐ１２０４を検知することができる。

（実施の形態２）
本発明の実施の形態２に係わる画像変形方法および画像変形装置について、図１、図２、および、図１３、図１４、図３４を用いて説明する。

実施の形態１と同様の画像変形装置において、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５と、により構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

実施の形態１において、注目点座標抽出部２０６は、他車両、障害物等が算出すべき注目点に存在した場合、道路画像における交差点としての注目点が検知されない。

例えば、図１３のように道路画像での交差点座標Ｐ１３０１、Ｐ１３０２しか検知されない。

この場合は、図１４での道路輪郭ベクトルＶ１４０５〜Ｖ１４０８を基に、交差点座標Ｐ１４０１（図１３のＰ１３０１）とＰ１４０２（図１３のＰ１３０２）とから方向ベクトルＶ１４０９とＶ１４１０を用いて交差点座標Ｐ１４０３を算出する。ここで、方向ベクトルＶ１４１０は道路輪郭ベクトルＶ１４０７に対し、逆ベクトルになるが、欠如している交差点座標を算出するために、逆ベクトルを用いるようにする。

また、同様に道路輪郭ベクトルＶ１４０５〜Ｖ１４０８を基に、交差点座標Ｐ１４０１とＰ１４０２から方向ベクトルＶ１４１１とＶ１４１２を用いて交差点座標Ｐ１４０４を算出する。ここで、方向ベクトルＶ１４１１は道路輪郭ベクトルＶ１４０６に対し、逆ベクトルになるが、欠如している交差点座標を算出するために、逆ベクトルを用いるようにする。そして、カメラ画像と地図画像の各々で算出された注目点座標を出力する。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態２に係わる画像変形方法について図３４で示すフローチャートを用いて説明する。

ステップＳ３４０１において、撮像部１０９からのカメラ画像を取得する。

ステップＳ３４０２において、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５と、によって道路を認識する。

ステップＳ３４０３において、注目点座標抽出部２０６により地図画像を取得する。

ステップＳ３４０４，Ｓ３４０５は、方向ベクトルを算出しないので、スキップする。

ステップＳ３４０６において、同じく注目点座標抽出部２０６により交差点としての注目点座標を検出する。

ステップＳ３４０７において注目点座標が検出できなかった場合は、次のステップＳ３４０８において、注目点座標を変更する。

この構成と方法により、カメラ画像において、他車両、障害物等で交差点としての注目点が検知されなかった場合に、カメラ画像の検知された注目点を中心に注目点を変更させることができる。

（実施の形態３）
本発明の実施の形態３に係わる画像変形方法および画像変形装置について、図１、図２、図１１、図１５、図３４を用いて説明する。

実施の形態１と同様の画像変形装置において、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２、輝度信号処理部２０３、色差信号処理部２０４、画像認識処理部２０５により構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

本実施の形態において、注目点座標抽出部２０６は、道路画像において、道路輪郭ベクトルの交点を算出し、交差する座標Ｐ１５０５〜座標Ｐ１５０８を交差点としての注目点として検知する。

ベクトルの交点の算出方法は、まず、道路画像に対して、基線Ｌ１５０９を左右に分け、左側の道路輪郭ベクトルＶ１５０１を求める。これは、遠近法に基づき、図１１におけるＶ１１０２のように第一象限の方向ベクトルに限る。

また、右側の道路輪郭ベクトルＶ１５０２を求める。これは、遠近法に基づき、図１１におけるＶ１１０１のように第二象限の方向ベクトルに限る。

これらベクトルＶ１５０１とベクトルＶ１５０２とは別に、道路輪郭ベクトルＶ１５０３とＶ１５０４を求める。

そして、これら道路輪郭ベクトルＶ１５０１〜Ｖ１５０４にそれぞれ交差する座標を交差点としての注目点として検知することができる。

そして、カメラ画像と地図画像のおのおの算出された注目点の座標をならびに、道路輪郭ベクトルを出力する。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態３に係わる画像変形方法について図３４で示すフローチャートを用いて説明する。

ステップＳ３４０１において、撮像部１０９からのカメラ画像を取得する。

ステップＳ３４０２において、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５と、によって道路を認識する。

ステップＳ３４０３において、注目点座標抽出部２０６により地図画像を取得する。

ステップＳ３４０４において、方向ベクトル算出を認識する。

ステップＳ３４０５において、方向ベクトルを算出する。

ステップＳ３４０６において、同じく注目点座標抽出部２０６により交差点としての注目点を検出する。

この構成と方法により、カメラ画像で認識された道路情報の方向ベクトルと地図画像の方向ベクトルにより、交差点としての注目点として検知することができる。

（実施の形態４）
本発明の実施の形態４に係わる画像変形方法および画像変形装置について、図１、図２、ならびに図１６〜図１８、図３４を用いて説明する。

実施の形態１〜実施の形態３と同様に、自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。そして、自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。さらに、抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態３に加え、さらに、座標変換処理部２０８は、注目点座標抽出部２０６から出力される、カメラ画像と地図画像それぞれの注目点座標を直接入力する一方、輝度信号処理部２０３と色差信号処理部２０４によるカメラからの道路画像とナビゲーション制御部１０６からの地図画像とを切り替え入力する。上記切り替えはセレクタ２０７により行われる。

まず、座標変換処理部２０８においては、地図画像の注目点の座標として、図１６の座標Ｐ１６０１〜座標Ｐ１６０４（白抜き円）ならびに、カメラからの道路画像の注目点座標として、座標Ｐ１６０５〜座標Ｐ１６０８（黒抜き円）が入力される。そして、地図画像注目点座標Ｐ１６０１とカメラ道路画像注目点座標Ｐ１６０５とが、座標Ｐ１６０２と座標Ｐ１６０６とが、座標Ｐ１６０３と座標Ｐ１６０７とが、座標Ｐ１６０４と座標Ｐ１６０８とが、それぞれ、一致するように歪み量を算出する。

そして、座標変換処理部２０８においては、セレクタ２０７により、ナビゲーション制御部１０６から入力された地図画像に対して、歪み量に応じた座標変換により、画像変形を行う。

この画像変形には画像の拡大縮小によく使われるバイリニア法（周囲の４つの画素の濃度値からその座標に応じて線形の濃度補間を行う法）や、その発展形であるバイキュービック法（周囲の１６個の画素の濃度値から３次関数を用いて補間する法）などを用いて、任意の四角形用に変換するための手法などでもよい。

上記の図１６において、地図画像注目点座標Ｐ１６０１〜座標Ｐ１６０４、ならびにカメラ道路画像注目点座標Ｐ１６０５〜座標Ｐ１６０８をそれぞれ点線で繋げることで四角形Ｑ１６０９，Ｑ１６１０を表現しているが、これは四角形における画像変形を表したものであり、歪み量を算出するために必要なものではない。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態４に係わる画像変形方法について図３４で示すフローチャートを用いて説明する。

ステップＳ３４０１において、撮像部１０９からのカメラ画像を取得する。

ステップＳ３４０２において、輝度信号／色差信号分離処理部２０２と輝度信号処理部２０３と色差信号処理部２０４と画像認識処理部２０５によって道路を認識する。

ステップＳ３４０３において、注目点座標抽出部２０６により地図画像を取得する。

ステップＳ３４０４，Ｓ３４０５は、方向ベクトルを算出しないので、スキップする。

ステップＳ３４０６において、同じく注目点座標抽出部２０６により交差点としての注目点を検出する。

ステップＳ３４０７において注目点座標が検出できなかった場合は、次のステップＳ３４０８において、注目点座標を変更する。

ステップＳ３４０９で歪み量を算出する。

ステップＳ３４１０において、画像変形の対象をカメラ画像か地図画像かを判定する。

ステップＳ３４１１もしくはＳ３４１２において、対象画像であるカメラ画像か地図画像かのいずれかを変形させる。

この構成と方法により、座標変換処理部２０８においては、地図画像の注目点座標とカメラ画像の注目点座標とが一致するように歪み量を算出し、歪み量に応じた座標変換により地図画像を変形することができる。例えば、図１６での歪み量で図９のような地図画像に対して画像変形を行うと、図１７のようになる。

同様に、座標変換処理部２０８においては、歪み量に応じた座標変換によりカメラの画像を変形するためには、セレクタ２０７により、入力されたカメラ画像に対して歪み量に応じた画像変形を行う。そして、図１６での歪み量を逆ベクトル方向に行い、図４のようなカメラ画像に対して画像変形を行うことにより実現できる（イメージ図１８）。

（実施の形態５）
本発明の実施の形態５に係わる画像変形方法および画像変形装置について、図１、図２、ならびに図１６〜図１９、図３４を用いて説明する。

実施の形態１〜実施の形態３と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態３に加え、さらに、座標変換処理部２０８に、注目点座標抽出部２０６から出力される、カメラ画像と地図画像それぞれの道路輪郭ベクトルと、輝度信号処理部２０３と色差信号処理部２０４とによるカメラ画像、あるいは、ナビゲーション制御部１０６からの地図画像を入力する。カメラ画像と地図画像の切り替えはセレクタ２０７により行われる。

まず、地図画像の道路輪郭ベクトルとして、図１９のベクトルＶ１９０１〜ベクトルＶ１９０４（白抜きベクトル）と、カメラの道路画像の道路輪郭ベクトルとして、ベクトルＶ１９０５〜ベクトルＶ１９０８（黒抜きベクトル）とが入力される。そして、ベクトルＶ１９０１がベクトルＶ１９０５へ、ベクトルＶ１９０２がベクトルＶ１９０６へ、ベクトルＶ１９０３がベクトルＶ１９０７へ、ベクトルＶ１９０４がベクトルＶ１９０８へ、移動するように歪み量を算出する。この歪み量の算出は上記と同様である。そして、セレクタ２０７により、入力された地図画像に対して歪み量に応じた画像変形を行う。この画像変形は上記と同様で、画像の拡大縮小によく使われるバイリニア法（線形補間）や、バイキュービック法などを用いて、任意の四角形用に変換するための手法などでよい。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態５に係わる画像変形方法について図３４で示すフローチャートを用いて説明する。

ステップＳ３４０１において、撮像部１０９からのカメラ画像を取得する。そして、ステップＳ３４０２において、輝度信号／色差信号分離処理部２０２と輝度信号処理部２０３と色差信号処理部２０４と画像認識処理部２０５によって道路を認識する。

ステップＳ３４０３において、注目点座標抽出部２０６により地図画像を取得する。

ステップＳ３４０４において、方向ベクトル算出を認識する。

ステップＳ３４０５において、方向ベクトルを算出する。

ステップＳ３４０６において、同じく注目点座標抽出部２０６により交差点としての注目点を検出する。

ステップＳ３４０７において注目点座標が検出できなかった場合は、次のステップＳ３４０８において、注目点座標を変更する。

ステップＳ３４０９で歪み量を算出する。

ステップＳ３４１０において、画像変形の対象をカメラ画像か地図画像かを判定する。

ステップＳ３４１１もしくはＳ３４１２において、対象画像を変形させる。

この構成と方法により、地図画像の注目点座標とカメラ画像の注目点座標の一致するように歪み量を算出し、歪み量に応じた座標変換により地図画像を変形することができる。

例えば、図１６での歪み量を図９のような地図画像に対して画像変形を行うと、図１７のようになる。

同様に、歪み量に応じた座標変換によりカメラの画像を変形するためには、セレクタ２０７により、入力されたカメラ画像に対して歪み量に応じた画像変形を行う。そして、図１６での歪み量を逆ベクトル方向に行い、図４のようなカメラ画像に対して画像変形を行うことにより実現できる（イメージ図１８）。

（実施の形態６）
本発明の実施の形態６に係わる画像表示方法および画像表示装置について、図１、図２、ならびに図２０〜図２２、図３５を用いて説明する。

実施の形態１〜実施の形態５と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は、図１での画像処理部１１０の基本画像処理の一機能に該当する。

さらに、二つの画像を合成する手段は、画像合成処理部１１１により構成される。

合成された画像を表示する手段は、画像表示処理部１１２により構成される。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態５に加え、座標変換処理部２０８は、ナビゲーション制御部１０６から誘導経路案内矢印を読出す。

例えば、本来、図９のような地図画像において、図２０の誘導経路案内矢印Ａ２００１が合成されることで、交差点での経路誘導がなされる。この誘導経路案内矢印Ａ２００１を座標変換処理部２０８により、実施の形態１〜実施の形態５によって、図２１のような誘導経路案内矢印Ａ２１０１に変換し、座標変換した画像を画像合成処理部１１１に出力する。そして、画像合成処理部１１１はカメラ画像を入力とする。このとき、セレクタ１１３はカメラ画像を入力として切り替える。例えば、図４のようなカメラ画像であれば、画像変形された誘導経路案内矢印Ａ２１０１を合成することで、イメージ図２２のようになる。そして、合成結果の画像を出力する。次に、画像表示処理部１１２はディスプレイ画面等に合成画像を表示させる。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態６に係わる画像表示方法について図３５で示すフローチャートを用いて説明する。

ステップＳ３５０１において、変形すべき画像の対象を判別する。

ステップＳ３５０２において、上記判別からナビゲーション制御部１０６は座標変換処理部２０８へ経路案内矢印の画像を出力する。

ステップＳ３５０３において、上記判別から経路案内矢印を含む地図画像を取得する。

ステップＳ３５０４において、画像を変形する。

ステップＳ３５０５において、画像合成処理部１１１はカメラ画像を取得する。

ステップＳ３５０６において、同じく画像合成処理部１１１は、変形された経路案内矢印とカメラ画像とを合成する。

ステップＳ３５０７において、画像表示処理部１１２により合成画像を表示する。

この構成と方法により、ナビゲーション装置から誘導経路案内矢印を読出し、歪み量に応じた画像変形を行い、誘導経路案内矢印をカメラ画像に合成し、表示することができる（イメージ図２２）。

（実施の形態７）
本発明の実施の形態７に係わる画像表示方法および画像表示装置について、図１、図２、ならびに図２３〜図２５、図３５を用いて説明する。

実施の形態１〜実施の形態５と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

さらに、二つの画像を合成する手段は、画像合成処理部１１１により構成される。

合成された画像を表示する手段は、画像表示処理部１１２により構成される。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態５に加え、座標変換処理部２０８は、ナビゲーション制御部１０６から誘導経路案内矢印を含む地図画像を読出す。

例えば、本来、図９のような地図画像において、図２３の誘導経路案内矢印Ａ２３０１が合成されることで、交差点での経路誘導がなされる。

この誘導経路案内矢印Ａ２３０１を含む地図画像を座標変換処理部２０８により、実施の形態１〜実施の形態５によって、図２４のような案内地図に変換し、座標変換した画像を画像合成処理部１１１に出力する。そして、画像合成処理部１１１はカメラ画像を入力とする。このとき、セレクタ１１３はカメラ画像を入力として切り替える。

例えば、図４のようなカメラ画像であれば、案内地図である図２４を合成することで、イメージ図である図２５のようになる。ここでの画像合成における、カメラ画像における案内地図への、それぞれの合成係数（レイヤーの透明度）は任意に変更できるものとする。

そして、合成結果の画像を出力する。次に、画像表示処理部１１２はディスプレイ画面等に合成画像を表示させる。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態７に係わる画像表示方法について図３５で示すフローチャートを用いて説明する。

ステップＳ３５０１において、変形すべき画像の対象を判別する。

ステップＳ３５０２において、経路案内矢印の画像を取得する。

ステップＳ３５０３において、ナビゲーション制御部１０６は座標変換処理部２０８へ経路案内矢印を含む地図画像を出力する。

ステップＳ３５０４において、画像を変形する。

ステップＳ３５０５において、画像合成処理部１１１はカメラ画像を取得する。

ステップＳ３５０６において、同じく画像合成処理部１１１は、変形された経路案内矢印とカメラ画像を合成する。

ステップＳ３５０７において、画像表示処理部１１２により合成画像を表示する。

この構成と方法により、ナビゲーション装置から誘導経路案内矢印を含む地図画像を読出し、歪み量に応じた画像変形を行い、所定の割合で地図画像をカメラ画像に合成し、表示することができる（イメージは図２５に示す）。

（実施の形態８）
本発明の実施の形態８に係わる画像表示方法および画像表示装置について、図１、図２、ならびに図２６〜図２８、図３６を用いて説明する。

実施の形態１〜実施の形態５と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

さらに、二つの画像を合成する手段は、画像合成処理部１１１により構成される。

合成された画像を表示する手段は、画像表示処理部１１２により構成される。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態５に加え、座標変換処理部２０８は、ナビゲーション制御部１０６から目的地マークを読出す。

例えば、本来、図９のような地図画像において、図２６の目的地マークＭ２６０１が合成されることで、交差点での経路誘導がなされる。

この目的地マークＭ２６０１を座標変換処理部２０８により、実施の形態１〜実施の形態５によって、図２７のような目的地マークＭ２７０１に変換し、座標変換した画像を画像合成処理部１１１に出力する。

画像合成処理部１１１はカメラ画像を入力とする。このとき、セレクタ１１３はカメラ画像を入力として切り替える。例えば、図４のようなカメラ画像であれば、画像変形された目的地マークＭ２７０１を合成することで、そのイメージは図２８のようになる。

そして、合成結果の画像を出力する。

次に、画像表示処理部１１２はディスプレイ画面等に合成画像を表示させる。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態８に係わる画像表示方法について図３６で示すフローチャートを用いて説明する。

ステップＳ３６０１において、変形すべき画像の対象を判別する。

ステップＳ３６０２において、ナビゲーション制御部１０６は座標変換処理部２０８へ目的地マークを出力する。

ステップＳ３６０４において、画像を変形する。

ステップＳ３６０５において、画像合成処理部１１１はカメラ画像を取得する。

ステップＳ３６０６において、変形された目的地マークとカメラ画像とを合成する。

ステップＳ３６０７において、画像表示処理部１１２により合成画像を表示する。

この構成と方法により、ナビゲーション装置から目的地マークを読出し、歪み量に応じた画像変形を行い、目的地マークをカメラ画像に合成し、表示することができる（そのイメージは図２８で示す）。

（実施の形態９）
本発明の実施の形態９に係わる画像表示方法および画像表示装置について、図１、図２、ならびに図２９〜図３１、図３６を用いて説明する。

実施の形態１〜実施の形態５と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段は、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

さらに、二つの画像を合成する手段は、画像合成処理部１１１により構成される。

合成された画像を表示する手段は、画像表示処理部１１２により構成される。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態５に加え、座標変換処理部２０８は、ナビゲーション制御部１０６から目的地マークを含む地図画像を読出す。

例えば、本来、図９のような地図画像において、図２９の目的地マークＭ２９０１が合成されることで、目的地への誘導がなされる。

この目的地マークＭ２９０１を含む地図画像を座標変換処理部２０８により、実施の形態１〜実施の形態５によって、図３０のような目的地マークＭ３００１を含む案内地図に変換し、座標変換した画像を画像合成処理部１１１に出力する。

そして、画像合成処理部１１１はカメラ画像を入力とする。このとき、セレクタ１１３はカメラ画像を入力として切り替える。例えば、図４のようなカメラ画像であれば、案内地図である図３０を合成することで、イメージ図である図３１のようになる。

ここでの画像合成における、カメラ画像と案内地図への、それぞれの合成係数（レイヤーの透明度）は任意に変更できるものとする。そして、合成結果の画像を出力する。

次に、画像表示処理部１１２はディスプレイ画面等に合成画像を表示させる。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態９に係わる画像表示方法について図３６で示すフローチャートを用いて説明する。

ステップＳ３６０１において、変形すべき画像の対象を判別する。

ステップＳ３６０３において、ナビゲーション制御部１０６は座標変換処理部２０８へ目的地マークを含む地図画像を出力する。

ステップＳ３６０４において、画像を変形する。

ステップＳ３６０５において、画像合成処理部１１１はカメラ画像を取得する。

ステップＳ３６０６において、変形された目的地マークを含む地図画像とカメラ画像を合成する。

ステップＳ３６０７において、画像表示処理部１１２により合成画像を表示する。

この構成と方法とにより、ナビゲーション装置から誘導経路案内矢印を含む地図画像を読出し、歪み量に応じた画像変形を行い、所定の割合で地図画像をカメラ画像に合成し、表示することができる（そのイメージを図３１で示す）。

（実施の形態１０）
本発明の実施の形態８に係わる画像表示方法および画像表示装置について、図１、図２、ならびに図２６、図２７、図３２、図３３、図３６を用いて説明する。

実施の形態１〜実施の形態５と同様に、
自車両から外部の画像を撮像するカメラの画像から道路を認識する手段は、輝度信号／色差信号分離処理部２０２と、輝度信号処理部２０３と、色差信号処理部２０４と、画像認識処理部２０５とにより構成される。

自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像から注目点座標を抽出する手段として、注目点座標抽出部２０６により構成される。

抽出された注目点座標から歪み量を算出し、画像を変形させる手段は、座標変換処理部２０８と、座標変換処理部２０８への入力画像を切り替えるためのセレクタ２０７とにより構成される。

これらから構成される画像変形装置は図１での画像処理部１１０の基本画像処理の一機能に該当する。

さらに、二つの画像を合成する手段は、画像合成処理部１１１により構成される。

合成された画像を表示する手段は、画像表示処理部１１２により構成される。

以下、それらの各ブロックを説明する。

実施の形態１〜実施の形態５に加え、座標変換処理部２０８は、ナビゲーション制御部１０６から目的地マークを読出す。

例えば、本来、図９のような地図画像において、図２６の目的地マークＭ２６０１が合成されることで、交差点での経路誘導がなされる。

この目的地マークＭ２６０１を座標変換処理部２０８により、実施の形態１〜実施の形態５によって、図２７のような目的地マークＭ２７０１に変換し、座標変換した画像を画像合成処理部１１１に出力する。

そして、画像合成処理部１１１はカメラ画像を入力とする。このとき、セレクタ１１３はカメラ画像を入力として切り替える。例えば、図４のようなカメラ画像であれば、画像変形された目的地マークＭ２７０１の座標に対し、その座標周辺の輪郭情報を変更することで、イメージ図３２のようになる。

輪郭情報は、輝度信号処理部２０３からのデータを用いることで可能である。

そして、輪郭情報を変更した画像を出力する。

次に、画像表示処理部１１２はディスプレイ画面等に合成画像を表示させる。

また、画像合成処理部１１１において、輪郭情報だけでなく、目的地マークＭ２７０１の座標に対し、その周辺の色差情報を変更することで、イメージ図３３のようになる。色差情報は、色差信号処理部２０４からのデータを用いることで可能である。

以下、上記の構成概念を取り入れつつ、本発明の実施の形態９に係わる画像表示方法について図３６で示すフローチャートを用いて説明する。

ステップＳ３６０１において、変形すべき画像の対象を判別する。

ステップＳ３６０２において、ナビゲーション制御部１０６は座標変換処理部２０８へ目的地マークを出力する。

ステップＳ３６０４において、画像を変形する。

ステップＳ３６０５において、画像合成処理部１１１はカメラ画像を取得する。

ステップＳ３６０８において、目的地マークの座標を算出する。

ステップＳ３６０９において、該当する座標のカメラ画像を変更する。

ステップＳ３６１０において、画像表示処理部１１２により変更したカメラ画像を表示する。

この構成と方法により、ナビゲーション装置から誘導すべき目的地の情報を読出し、歪み量に応じた画像変形を行い、カメラ画像の該当する座標に該当する対象物の画像（輪郭や色差）を変化させて合成させることができる（そのイメージを図３２、図３３で示す）
以上、本発明の好ましい実施形態について詳述したが、このように、本実施例によれば、地図画像データを参照して、次に進入すべき交差点の有無を判別し、交差点がある場合には、運転手にとって注意すべき道路方向を事前に算出するようにしたので、自車両の交差点への進入とほぼ同時に、交差点画像をディスプレイに表示させることができる。これにより、運転手もしくは搭乗者に注意を喚起し、安全運転の支援を行うことができる。

例えば、本実施例では、目的地への誘導経路が設定された経路案内モードにおいて、カメラでの交差点画像を表示する例を示したが、経路案内モード以外であった場合にも交差点画像を表示させるようにしてもよい。この場合にも、自車両位置および地図画像データから、自車両が走行している道路が次に交差する交差点を判別し、当該交差点における所定の道路方向を算出することができる。

さらに、本実施例では、十字路のような交差点を例示したが、無論、これ以外のＴ字路や三叉路、さらには複数分岐した交差点であってもよい。また、道路種別は、優先道路と非優先道路とお交差点に限らず、信号機が設置された交差点であってもよいし、複数車線を有する道路の交差点であってもよい。

さらに、本実施例では、ナビゲーション装置から二次元の地図画像を用いて説明したが、鳥瞰図のような三次元の地図画像を用いても実現が可能である。

さらに、本実施例では、運転手へのナビゲーション支援用途として、ナビゲーション装置から誘導経路案内矢印画像や目的地マーク画像をカメラ画像に合成することによる説明したが、その他特定画像を合成することも可能である。

さらに本実施例によれば、従来のようなカメラの設置高さと向き及び光学的条件を用いる必要がないので、カメラの設置が容易にでき、コストを低減させることが可能となる。また、従来のような地図情報位置と車両位置が多少一致していなくとも、正確に交差点誘導をすることが可能である。また、従来のような交差点中心部とカメラ視野角の中心が一致せずとも、経路誘導を行いえるので、右左折途中もしくは右左折が終わるタイミングまで経路誘導をすることが可能である。

以上、本発明を、実施の形態を用いて、説明したが、本発明の技術的範囲は上記実施例の形態に記載される範囲には限定されない。

上記実施形態に、多様な変更または改良を加えることができることが当業者に明らかである。

その様な変更または改良を加えた形態も本発明の技術的範囲に含まれることが、請求の範囲の記載から明らかである。

本発明にかかる画像変形方法および画像変形装置と、画像表示方法および画像表示装置は、ナビゲーション機能を備えたコンピュータ装置等において利用することができる。また、ナビゲーション機能に加えて、オーディオ機能やビデオ機能等を含むものであってもよい。

本実施例に係わるカーナビゲーション装置の構成ブロック図 本発明の画像変形装置とそれに付随する周辺装置のブロック図 本発明の輪郭画素を判断する画素構成図 本発明のカメラからの画像イメージ図 本発明の実施の形態１に係わる輪郭成分を抽出したカメラ画像イメージ図 本発明の実施の形態１に係わる特定領域を示したカメラ画像イメージ図 本発明の実施の形態１に係わる道路色差信号イメージ図 本発明の実施の形態１に係わる認識された道路画像イメージ図 本発明の実施の形態１、４、５、６、７、８、９、１０に係わる地図画像イメージ図 本発明の実施の形態１に係わるカメラ画像での道路輪郭の屈折している箇所判定イメージ図 本発明の実施の形態１、３に係わる道路輪郭ベクトル図 本発明の実施の形態１に係わる地図画像での道路輪郭の屈折している箇所判定イメージ図 本発明の実施の形態２に係わるカメラ画像での道路輪郭の屈折している箇所判定イメージ図 本発明の実施の形態２に係わるカメラ画像での道路輪郭ベクトル図 本発明の実施の形態３に係わるカメラ画像での道路輪郭ベクトル図 本発明の実施の形態４、５、６に係わる座標変換イメージ図 本発明の実施の形態４、５に係わる地図画像の画像変形イメージ図 本発明の実施の形態４、５に係わるカメラ画像の画像変形イメージ図 本発明の実施の形態５に係わる道路輪郭ベクトル図 本発明の実施の形態６に係わる誘導経路案内矢印イメージ図 本発明の実施の形態６に係わる誘導経路案内矢印の画像変形イメージ図 本発明の実施の形態６に係わる誘導経路案内矢印とカメラ画像の合成イメージ図 本発明の実施の形態７に係わる誘導経路案内矢印を含む地図画像イメージ図 本発明の実施の形態７に係わる誘導経路案内矢印を含む地図画像の画像変形イメージ図 本発明の実施の形態７に係わる誘導経路案内矢印を含む地図画像とカメラ画像の合成イメージ図 本発明の実施の形態８、９、１０に係わる目的地マークイメージ図 本発明の実施の形態８、１０に係わる目的地マークの画像変形イメージ図 本発明の実施の形態８、１９に係わる目的地マークとカメラ画像の合成イメージ図 本発明の実施の形態９に係わる目的地マークを含む地図画像イメージ図 本発明の実施の形態９に係わる目的地マークを含む地図画像の画像変形イメージ図 本発明の実施の形態９に係わる目的地マークを含む地図画像とカメラ画像の合成イメージ図 本発明の実施の形態１０に係わる目的地建物の輪郭を変更したイメージ図 本発明の実施の形態１０に係わる目的地建物の色差情報を変更したイメージ図 本発明の実施の形態１、２、３、４、５に係わる画像変形方法のフローチャート図 本発明の実施の形態６、７に係わる画像表示方法のフローチャート図 本発明の実施の形態８、９、１０に係わる画像表示方法のフローチャート図

符号の説明

１０１ 通信制御部
１０２ 自立航法制御部
１０３ ＧＰＳ制御部
１０４ ＶＩＣＳ情報受信機
１０５ 音声出力部
１０６ ナビゲーション制御部
１０７ 地図情報データベース
１０８ 更新情報データベース
１０９ 撮像部
１１０ 画像処理部
１１１ 画像合成処理部
１１２ 画像表示処理部

Claims (22)

1. 自車両から外部の画像を撮像するカメラの画像から道路を認識する第１ステップと、
   自車両の位置を示すナビゲーション装置による画像を読み出し、カメラ画像と地図画像とから注目点座標を抽出する第２ステップと、
   を含むことを特徴とする画像変形方法。
2. 上記第１ステップは、カメラ画像からの輝度信号から輪郭成分を生成し、特定領域と同等の色差情報に隣接する輪郭成分から、道路を認識する、ことを特徴とする請求項１に記載の画像変形方法。
3. 上記第２ステップは、カメラ画像において、道路輪郭の屈折している箇所を交差点としての注目点として検知し、また、ナビゲーション装置による地図画像において、道路画像から交差点としての注目点として検知する、ことを特徴とする請求項１に記載の画像変形方法。
4. 上記第２ステップは、カメラ画像において他車両、障害物等で交差点としての注目点が検知されなかった場合に、カメラ画像の検知された注目点を中心に注目点を変更させる、ことを特徴とする請求項１に記載の画像変形方法。
5. 上記第２ステップは、カメラ画像で認識された道路情報の方向ベクトルと地図画像の方向ベクトルとにより、交差点としての注目点として検知する、ことを特徴とする請求項１に記載の画像変形方法。
6. 抽出された注目点座標から歪み量を算出し、画像を変形させる第３ステップを、含むことを特徴とする請求項１ないし５のいずれかに記載の画像変形方法。
7. 上記第３ステップは、地図画像の注目点座標とカメラ画像の注目点座標とが一致するように歪み量を算出し、歪み量に応じた座標変換により地図画像またはカメラの画像を変形させる、ことを特徴とする請求項６に記載の画像変形方法。
8. 上記第３ステップは、カメラ画像で認識された道路情報の方向ベクトルと地図画像の方向ベクトルとが最小となるように歪み量を算出し、歪み量に応じた座標変換により地図画像またはカメラの画像を変形させる、ことを特徴とする請求項６に記載の画像変形方法。
9. 請求項１ないし８のいずれかに記載の方法における第１ないし第３ステップと、
   さらに、二つの画像を合成すると共に、この合成された画像を表示する第４ステップと、
   を備えることを特徴とする画像表示方法。
10. さらに、上記第４ステップは、
    ナビゲーション装置から誘導経路案内矢印を読出し、歪み量に応じた画像変形を行い、誘導経路案内矢印をカメラ画像に合成し、表示する、ことを特徴とする請求項９に記載の画像表示方法。
11. さらに、上記第４ステップは、
    ナビゲーション装置から誘導経路案内矢印を含む地図画像を読出し、歪み量に応じた画像変形を行い、所定の割合で地図画像をカメラ画像に合成し、表示する、ことを特徴とする請求項９に記載の画像表示方法。
12. さらに、上記第４ステップは、
    ナビゲーション装置から誘導すべき目的地マークを読出し、歪み量に応じた画像変形を行い、誘導すべき目的地マークをカメラ画像に合成し、表示する、ことを特徴とする請求項９に記載の画像表示方法。
13. さらに、上記第４ステップは、
    ナビゲーション装置から誘導すべき目的地マークを含む地図画像を読出し、歪み量に応じた画像変形を行い、所定の割合で地図画像をカメラ画像に合成し、表示する、ことを特徴とする請求項９に記載の画像表示方法。
14. さらに、上記第４ステップは、
    ナビゲーション装置から誘導すべき目的地の情報を読出し、歪み量に応じた画像変形を行い、カメラ画像の該当する座標に該当する対象物の画像を変化させて合成し、表示する、ことを特徴とする請求項９に記載の画像表示方法。
15. 自車両から外部の画像を撮像するカメラの画像から道路画像を出力する画像認識部と、
    上記画像認識部からの道路画像と、自車両の位置を示すナビゲーション装置からの地図画像を入力し、各々の注目点座標を出力する注目点座標抽出部と、
    上記注目点座標抽出部からの注目点座標を入力し、カメラ画像もしくは地図画像の変形画像を出力する座標変換処理部と、
    を備えることを特徴とする画像変形装置。
16. 上記画像認識部は、
    カメラからの画像を入力し、輝度信号と色差信号を出力する輝度信号／色差信号分離処理部と、
    上記輝度信号／色差信号分離処理部からの輝度信号を入力し、輪郭信号を出力する輝度信号処理部と、
    上記輝度信号／色差信号分離処理部からの色差信号を入力し、特定の色差信号を出力する色差信号処理部と、
    上記輝度信号処理部からの輪郭信号と、上記色差信号処理部からの色差信号を入力し、道路画像を出力する画像認識処理部と、
    を備えることを特徴とする請求項１５に記載の画像変形装置。
17. 請求項１５に記載の画像変形装置と、
    輝度信号処理部および色差信号処理部からのカメラ画像もしくは、自車両の位置を示すナビゲーション装置による地図画像を入力し、座標変換処理部からのカメラ画像もしくは地図画像の変形画像信号を入力し、各々の信号を合成した画像信号を出力する画像合成処理部と、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する画像表示処理部と、
    を備えることを特徴とする画像表示装置。
18. 上記座標変換処理部は、
    自車両の位置を示すナビゲーション装置からの誘導経路案内矢印画像を入力し、誘導経路案内矢印画像の変形画像を出力し、
    上記画像合成処理部は、
    上記座標変換処理部からの誘導経路案内矢印画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像を入力し、各画像にかかる信号を合成した画像信号を出力し、
    上記画像表示処理部は、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する、
    ことを特徴とする請求項１７に記載の画像表示装置。
19. 上記座標変換処理部は、
    自車両の位置を示すナビゲーション装置からの誘導経路案内矢印画像を含む地図画像を入力し、誘導経路案内矢印画像を含む地図画像の変形画像を出力し、
    上記画像合成処理部は、
    上記座標変換処理部からの誘導経路案内矢印画像を含む地図画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像入力し、各々の信号を合成した画像信号を出力し、
    上記画像表示処理部は、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する、
    ことを特徴とする請求項１７に記載の画像表示装置。
20. 上記座標変換処理部は、
    自車両の位置を示すナビゲーション装置からの目的地マーク画像を入力し、目的地マークの変形画像を出力し、
    上記画像合成処理部は、
    上記座標変換処理部からの目的地マーク画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、各画像にかかる信号を合成した画像信号を出力し、
    上記画像表示処理部は、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する、
    ことを特徴とする請求項１７に記載の画像表示装置。
21. 上記座標変換処理部は、
    自車両の位置を示すナビゲーション装置からの目的地マーク画像を含む地図画像を入力し、目的地マーク画像を含む地図画像の変形画像を出力し、
    上記画像合成処理部は、
    上記座標変換処理部からの目的地マーク画像を含む地図画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、各画像にかかる信号を合成した画像信号を出力し、
    上記画像表示処理部は、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する、
    ことを特徴とする請求項１７に記載の画像表示装置。
22. 上記座標変換処理部は、
    自車両の位置を示すナビゲーション装置からの目的地マーク画像を入力し、目的地マークの変形画像を出力し、
    上記画像合成処理部は、
    上記座標変換処理部からの目的地マーク画像の変形画像と、輝度信号処理部および色差信号処理部からのカメラ画像とを入力し、輝度信号もしくは色差信号が変化された目的地建物の画像を含むカメラ画像信号を出力し、
    上記画像表示処理部は、
    上記画像合成処理部からの画像信号を入力し、表示信号を出力する、
    ことを特徴とする請求項１７に記載の画像表示装置。

Images