JP3815291B2

JP3815291B2 - Vehicle rear monitoring device

Info

Publication number: JP3815291B2
Application number: JP2001326173A
Authority: JP
Inventors: 昭夫河合
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-10-24
Filing date: 2001-10-24
Publication date: 2006-08-30
Anticipated expiration: 2021-10-24
Also published as: JP2003134507A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両を後退走行させる際に車両後方の画像を表示手段に表示させて、適切な車両の後退走行を促す車両後方監視装置に関する。
【０００２】
【従来の技術】
従来、車両の後退走行時に車両後方の画像を車室内に設置されたディスプレイに表示させ、運転者に車両後方の様子を認識させることによって、車両の適切な後退走行を促す車両後方監視装置が提案され、実用化されるに至っている。
【０００３】
この種の車両後方監視装置では、運転者に車両後方の様子を的確に認識させるために、運転者にとって見易い画像をディスプレイに表示させることが重要な課題とされており、このような観点から、様々な技術的改良が試みられている。
【０００４】
具体的には、例えば特開２００１−１６３１３２号公報においては、車両後方の画像を撮像するカメラが車体の低い位置に設置され、このような低い位置を視点として車両後方の画像が撮像されることに起因して、ディスプレイに表示される画像が見にくいものとなっている問題を解決するために、カメラで撮像した車両後方の画像を変換テーブルを用いて実際のカメラの視点よりも高い視点から撮像したと仮想される画像に変換し、この変換した画像をディスプレイに表示させる技術が提案されている。
【０００５】
この例のように、車両後方の画像として、実際のカメラの視点よりも高い視点からの画像をディスプレイに表示させるようにすれば、ディスプレイには実際の画像よりも見易い画像が表示されることになり、運転者はこの画像を参照することで車両後方の様子を認識しやすくなる。特に、車両後方の画像を撮像するカメラは、車体レイアウトによる制限や美観性等の観点からナンバープレート近傍の極めて低い位置に設置されることが多く、このような低い位置を視点とした画像は人間の視覚において非常に見にくいものであるため、このような低い視点からの画像を高い視点からの画像に変換してディスプレイに表示させることの有用性は極めて高い。
【０００６】
【発明が解決しようとする課題】
ところで、車体の低い位置に設置されたカメラにより撮像された車両後方の実際の画像（実画像）を高い視点からの画像に変換する場合、特開２００１−１６３１３２号公報にて開示されるように、実画像上に現れる物体の像を全て道路面上にあるものと仮定している。そして、その道路面上における位置座標を基準として、その物体の像を変換するようにしている。したがって、道路面上に描かれている白線や文字などの立体的でないものは適切に変換されるが、建物や他の車両などの高さを有する物体については、大きく歪んだ状態に変換されてしまうことになる。
【０００７】
このため、運転者が車両後方の状況を目視によってある程度認識した上で車両の後退走行を開始する際に、ディスプレイに直ちに変換後の画像（変換画像）を表示させるようにすると、変換画像上に現れる物体と運転者が目視により認識した物体との対応付けが困難な場合があり、このことが、車両の適切な後退走行を却って妨げてしまう要因となるといった問題がある。
【０００８】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両後方の画像を運転者に見易く、且つ、実際の状況との対応付けが適切に行えるように表示するようにした車両後方監視装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の車両後方監視装置は、車両後部に設置されて前記車両後方の画像を撮像するカメラと、前記カメラにより撮像された前記車両後方の実画像を座標変換して、前記カメラの実際の視点よりも高い位置を視点として撮像したと仮想される変換画像を生成する変換画像生成手段と、前記車両後方の実画像と前記変換画像とが選択的に表示される表示手段と、前記車両の状況に応じて前記表示手段に表示させる画像を選択する表示制御手段とを備えている。そして、この車両後方監視装置は、前記表示制御手段が、前記車両が後退走行を開始する際に、先ず、前記表示手段に表示させる画像として前記車両後方の実画像を選択し、前記車両が所定距離後退走行したとき、或いは前記車両の後退走行開始時から所定時間経過したときに、前記表示手段に表示させる画像を前記変換画像に切り換えることを特徴としている。
【００１０】
また、請求項２に記載の車両後方監視装置は、請求項１に記載の車両後方監視装置において、前記変換画像生成手段が、互いに視点高さの異なる複数の変換画像を生成し、前記表示制御手段が、前記変換画像生成手段により生成された複数の変換画像を、前記車両が所定距離後退走行する毎に或いは所定時間経過する毎に切り換えながら、視点の低い変換画像から視点の高い変換画像へと順に前記表示手段に表示させることを特徴とするものである。
【００１１】
また、請求項３に記載の車両後方監視装置は、請求項１又は２に記載の車両後方監視装置において、前記変換画像生成手段が、視点高さが最も高い変換画像として、車両後方の画像を路面に垂直な方向で撮像したと仮想される平面変換画像を生成することを特徴とするものである。
【００１２】
また、請求項４に記載の車両後方監視装置は、請求項３に記載の車両後方監視装置において、前記変換画像生成手段が、前記平面変換画像が前記表示手段に表示されたときに車両の後退走行時における進行方向先端側が前記表示手段の下端側に、進行方向後端側が前記表示手段の上端側に表示されるように、この生成した平面変換画像を上下反転変換することを特徴とするものである。
【００１３】
【発明の効果】
本発明に係る車両後方監視装置によれば、車両の後退走行を開始させる段階では、カメラにより撮像された車両後方の実画像が表示手段に表示されることになるので、運転者は、車両の後退走行を開始させる際に、車両後方に存在する他の車両や建物等の高さのある物体を、表示手段に表示された画像の中で適切に認識することができる。そして、その後、車両が所定距離後退走行した段階で、或いは所定時間経過した段階で、表示手段に表示される画像が、実際のカメラの視点よりも高い視点から撮像したと仮想される変換画像に切り換えられるので、運転者は、この表示手段に表示される変換画像を参照することで車両後方の様子をより適切に認識することができる。
【００１４】
特に、本発明に係る車両後方監視装置では、変換画像として互いに視点高さの異なる複数の変換画像を生成して、これら複数の変換画像を後退走行距離や経過時間に応じて視点の低い変換画像から視点の高い変換画像へと順に表示手段に表示させるようにすれば、表示手段に表示される画像の切り換えをよりスムーズに行うことができ、画像の切り替えが運転者に違和感を与える不都合を有効に抑制することができる。
【００１５】
また、本発明に係る車両後方監視装置では、視点高さが最も高い変換画像として車両後方の画像を路面に垂直な方向で撮像したと仮想される平面変換画像を生成し、車両が所定距離後退走行した段階或いは所定時間経過した段階でこの平面変換画像を表示手段に表示させるようにすれば、運転者は、例えば、車両を後退走行させながら駐車スペースに駐車させる場合に、駐車スペース内で車両位置を合わせるなどの運転操作を極めて適切に行うことができるようになる。
【００１６】
また、視点高さが最も高い変換画像として平面変換画像を生成した場合には、この平面変換画像を上下反転変換して、車両の後退走行時における進行方向先端側が表示手段の下端側に、進行方向後端側が表示手段の上端側になるように、この平面変換画像を表示手段に表示させるようにすれば、表示手段に表示される平面変換画像上における車両の移動方向が、実際の車両の移動方向と感覚的に一致することになり、運転者に違和感を感じさせることなく、車両後方の様子をより適切に認識させることができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
本発明の車両後方監視装置は、例えば、図１に示すような車載システム１において車両後方の画像を表示する機能を実現するためのものとして、この車両システム１に適用される。
【００１９】
車載システム１は、車両に搭載されてこの車両（以下、自車両という。）の乗員に各種情報を提示するためのものであり、車室内に設置されて各種画像を表示するための表示手段としてのディスプレイ２を備え、このディスプレイ２による画像の表示が表示制御手段としてのオーディオ・ビジュアルコントロール装置３によって制御されるようになっている。
【００２０】
また、車載システム１は、自車両後方の地上高さが比較的低い位置、具体的には、例えば自車両のナンバープレート近傍に設置されて、自車両後方の画像を撮像するＣＣＤ（Charge Coupled Device）カメラ４と、このＣＣＤカメラ４により撮像された自車両後方の画像（実画像）を座標変換して変換画像を生成する変換画像生成手段としての視点変換コントローラ５とを備え、この視点変換コントローラ５がオーディオ・ビジュアルコントロール装置３に接続された構造となっている。
【００２１】
また、オーディオ・ビジュアルコントロール装置３には、視点変換コントローラ５の他に、自車両の経路案内を行うナビゲーション装置６や、図示しないテレビチューナ、オーディオ装置、エアコン制御装置等の各種機器が接続されている。そして、オーディオ・ビジュアルコントロール装置３が、自車両の乗員による操作入力や、各種センサからの出力に基づいて判断される自車両の状況等に応じて、視点変換コントローラ５からの自車両後方の画像や、ナビゲーション装置６からのナビゲーション画像、テレビチューナからのテレビ画像、オーディオ装置やエアコン制御装置からの操作表示画面等を、ディスプレイ２に選択的に表示させるようになっている。
【００２２】
また、特に、本発明を適用した車載システム１においては、オーディオ・ビジュアルコントロール装置３に、自車両のギヤがリバース位置にシフトされたときにオンとされるリバーススイッチ７が接続されている。そして、このリバーススイッチ７からのリバースオン信号に基づいて、自車両が後退走行を開始することがオーディオ・ビジュアルコントロール装置３により判断されるようになっている。また、この車載システム１においては、オーディオ・ビジュアルコントロール装置３に、自車両の走行距離に比例したパルス信号を発生する車速センサ８が接続されている。そして、この車速センサ８からのパルス信号に基づいて、自車両が後退走行した距離がオーディオ・ビジュアルコントロール装置３により算出されるようになっている。
【００２３】
自車両後方の実画像を座標変換して変換画像を生成する視点変換コントローラ５は、図２に示すように、入力フレームバッファ１１と、座標変換処理部１２と、複数の変換テーブル１３ａ，１３ｂ，１３ｃと、出力フレームバッファ１４と、視点変換制御部１５とを備えている。
【００２４】
入力フレームバッファ１１は、ＣＣＤカメラ４により撮像された自車両後方の実画像を示す画像データを、１つの画面を構成するフレーム単位で一時的に記憶するものである。すなわち、ＣＣＤカメラ４からリアルタイムで出力される自車両後方の実画像の画像信号Ｓ０は、図示しないＡ／Ｄ変換器によりデジタルの画像データに変換された後にこの入力フレームバッファ１１に入力されるようになっている。そして、この入力フレームバッファ１１に入力された自車両後方の実画像を示す画像データが、この入力フレームバッファ１１にて各フレーム毎に展開されて記憶されることになる。
【００２５】
座標変換処理部１２は、視点変換制御部１５による制御のもとで、入力フレームバッファ１１にフレーム単位で記憶された自車両後方の実画像の画像データを座標変換処理するものであり、例えばＤＳＰ（Digital Signal Processor）等より構成される。この座標変換処理部１２による座標変換処理は、複数の変換テーブル１３ａ，１３ｂ，１３ｃの中から視点変換制御部１５により選択された変換テーブルに記載された所定の規則に基づいて行われる。
【００２６】
複数の変換テーブル１３ａ，１３ｂ，１３ｃには、入力フレームバッファ１１に入力された自車両後方の実画像の画像データを座標変換する規則がそれぞれ記録されている。具体的には、これら各変換テーブル１３ａ，１３ｂ，１３ｃは、入力フレームバッファ１１と１対１で対応する構造となっており、入力フレームバッファ１１に記憶されている画像データの各画素の座標に対応した変換テーブル１３ａ，１３ｂ，１３ｃ上の同一座標に、入力フレームバッファ１１に記憶されている画像データの各画素を変換によってどこの座標に置き換えるかという情報（出力画素のアドレス）が記録されている。
【００２７】
なお、以下の説明においては、図３（ａ）乃至図３（ｃ）に示す各視点（カメラ位置）から撮像されたと仮想される自車両後方の画像をディスプレイ２に選択的に表示させることを前提とし、視点変換コントローラ５に、図３（ａ）に示す視点からの画像を生成するための第１の変換テーブル１３ａと、図３（ｂ）に示す視点からの画像を生成するための第２の変換テーブル１３ｂと、図３（ｃ）に示す視点からの画像を生成するための第３の変換テーブル１３ｃとの３つの変換テーブルが設けられているものとする。ここで、図３（ａ）乃至図３（ｃ）に示す各視点からの画像は、視野範囲が同一範囲となるようにカメラパラメータが設定されているものとする。
【００２８】
詳述すると、第１の変換テーブル１３ａには、図３（ａ）に示すように、地上高さｈ１、カメラ光軸の俯角（路面と平行な面に対するカメラ光軸の下向きの角度）θ１に設置されたＣＣＤカメラ４によって撮像され、入力フレームバッファ１１に記憶された自車両後方の実画像を示す画像データを、そのまま出力する規則が記録されている。
【００２９】
また、第２の変換テーブル１３ｂには、入力フレームバッファ１１に記憶された自車両後方の実画像を示す画像データを座標変換して、図３（ｂ）に示すように、地上高さｈ２（ｈ２＞ｈ１）、俯角θ２（θ２＞θ１）に設置されたと仮想される仮想カメラＡの視点から見た変換画像の画像データとして出力するための規則が記録されている。
【００３０】
また、第３の変換テーブル１３ｃには、入力フレームバッファ１１に記憶された自車両後方の実画像を示す画像データを座標変換して、図３（ｃ）に示すように、地上高さｈ３（ｈ３＞ｈ２）、俯角θ３（θ３≒９０度＞θ２＞θ１）に設置されたと仮想される仮想カメラＢの視点から見た変換画像、すなわち、自車両後方の画像を路面に垂直な方向で撮像したと仮想される平面変換画像の画像データとして出力するための規則が記録されている。
【００３１】
なお、ここでは、構成の簡単化のため、ＣＣＤカメラ４によって撮像された自車両後方の実画像を示す画像データをそのまま出力する場合にも第１の変換テーブル１３ａを利用して、形式上の座標変換を行う構成としたが、ＣＣＤカメラ４によって撮像された自車両後方の実画像を示す画像データをそのまま出力する場合は変換テーブルを使用せずに、スルーで出力する回路構成とすることもできる。
【００３２】
ＣＣＤカメラ４によって撮像された自車両後方の実画像を示す画像データを仮想カメラＡの視点から見た画像の画像データや仮想カメラＢの視点から見た画像の画像データに座標変換するアルゴリズムは、ＣＣＤカメラ４のカメラパラメータと仮想カメラＡや仮想カメラＢのカメラパラメータとから、幾何学的に一義的に決定されるものである。
【００３３】
すなわち、まず、仮想カメラＡや仮想カメラＢのカメラパラメータから求められる地面座標系と、これら仮想カメラＡや仮想カメラＢにおける仮想ＣＣＤ面座標系との対応関係が求められ、仮想カメラＡや仮想カメラＢにおける仮想ＣＣＤ面座標系の各画素が、地面座標系上のどの座標に対応するかが算出される。次に、仮想カメラＡや仮想カメラＢのカメラパラメータから求められる地面座標系と、実際のＣＣＤカメラ４のカメラパラメータから求められる地面座標系との対応関係が求められ、仮想カメラＡや仮想カメラＢのカメラパラメータから求められる地面座標系の各座標が、実際のＣＣＤカメラ４のカメラパラメータから求められる地面座標系上のどの座標に対応するかが算出される。次に、実際のＣＣＤカメラ４のカメラパラメータから求められる地面座標系と、ＣＣＤカメラ４におけるＣＣＤ面座標系との対応関係が求められ、実際のＣＣＤカメラ４のカメラパラメータから求められる地面座標系の各座標が、ＣＣＤカメラ４におけるＣＣＤ面座標系のどの画素に対応するかが算出される。以上の処理手順により、実際のＣＣＤカメラ４のＣＣＤ面座標系と仮想カメラＡや仮想カメラＢにおける仮想ＣＣＤ面座標系とが対応付けられ、これらの対応関係が第２の変換テーブル１３ｂ、第３の変換テーブル１３ｃにそれぞれ記録されることになる。なお、以上のような座標変換アルゴリズムの詳細については、特開２００１−１６３１３２号公報にて開示されている。
【００３４】
出力フレームバッファ１４は、座標変換処理部１２により座標変換処理が行われた画像データを一時的に記憶すると共に、この記憶した画像データを所定タイミングで出力画像データとしてフレーム単位で出力するものである。この出力フレームバッファ１４から出力された出力画像データが、図示しないＤ／Ａ変換器によりアナログの表示画像信号Ｓ１に変換された後に、オーディオ・ビジュアルコントロール装置３に供給されることになる。
【００３５】
視点変換制御部１５は、オーディオ・ビジュアルコントロール装置３からの制御信号Ｓｃに基づいて、座標変換処理部１２における座標変換処理を制御するものであり、例えばＣＰＵ（Central Processing Unit）等より構成される。例えば、オーディオ・ビジュアルコントロール装置３によって、リバーススイッチ７からのリバースオン信号に基づいて自車両が後退走行を開始することが判断され、その旨の信号を含む制御信号Ｓｃが、オーディオ・ビジュアルコントロール装置３から視点変換コントローラ５の視点変換制御部１５に供給されると、視点変換制御部１５は、座標変換処理部１２における座標変換処理の起動制御を行う。また、オーディオ・ビジュアルコントロール装置３によって、車速センサ８からのパルス信号に基づいて自車両が後退走行した距離が算出され、自車両の後退走行距離を示す信号を含む制御信号Ｓｃが、オーディオ・ビジュアルコントロール装置３から視点変換コントローラ５の視点変換制御部１５に供給されると、視点変換制御部１５は、自車両の後退走行距離に応じて、複数の変換テーブル１３ａ，１３ｂ，１３ｃの中から座標変換処理部１２における座標変換処理に使用する変換テーブルを選択する処理を行う。
【００３６】
この変換テーブルの選択処理について、自車両を後退走行させて駐車スペースに駐車させる運転操作を行う場合を例に挙げて具体的に説明すると、例えば、自車両が後退走行を開始してから所定距離Ｄ１（例えば３ｍ）分だけ後退走行するまでの間、すなわち、自車両が図４（ａ）に示す後退走行開始位置Ｐ１から、図４（ｂ）に示すように後退走行開始位置Ｐ１から所定距離Ｄ１分だけ離間した位置Ｐ２に到達するまでの間は、視点変換制御部１５は、座標変換処理部１２における座標変換処理に使用する変換テーブルとして、第１の変換テーブル１３ａを選択する。この第１の変換テーブル１３ａは、上述したように、図３（ａ）に示した設置位置で自車両に設置されたＣＣＤカメラ４により撮像された自車両後方の実画像をそのまま表示するための変換テーブルである。これにより、オーディオ・ビジュアルコントロール装置３には、自車両後方の実画像を示す表示画像信号Ｓ１が供給されることになる。そして、オーディオ・ビジュアルコントロール装置３がディスプレイ２に供給する選択画像信号Ｓ２として、この自車両後方の実画像を示す表示画像信号Ｓ１を選択することによって、ディスプレイ２には、例えば図５（ａ）に示すような自車両後方の実画像（ＣＣＤカメラ４により撮像された画像）が表示されることになる。
【００３７】
また、例えば、自車両が所定距離Ｄ１分だけ後退走行した後更に所定距離Ｄ２（例えば６ｍ）分だけ後退走行するまでの間、すなわち、自車両が図４（ｂ）に示す位置Ｐ２から、図４（ｃ）に示すように後退走行開始位置Ｐ１から所定距離Ｄ２分だけ離間した位置Ｐ３に到達するまでの間は、視点変換制御部１５は、座標変換処理部１２における座標変換処理に使用する変換テーブルとして、第２の変換テーブル１３ｂを選択する。この第２の変換テーブル１３ｂは、上述したように、ＣＣＤカメラ４によって撮像された自車両後方の実画像を座標変換して、図３（ｂ）に示した仮想カメラＡの視点から見た画像（変換画像）を生成するための変換テーブルである。これにより、オーディオ・ビジュアルコントロール装置３には、仮想カメラＡの視点から見た変換画像を示す表示画像信号Ｓ１が供給されることになる。そして、オーディオ・ビジュアルコントロール装置３がディスプレイ２に供給する選択画像信号Ｓ２として、この仮想カメラＡの視点から見た変換画像を示す表示画像信号Ｓ１を選択することによって、ディスプレイ２には、例えば図５（ｂ）に示すような変換画像が表示されることになる。なお、この図５（ｂ）に示す表示例において画像が表示されない領域は、ＣＣＤカメラ４による視野範囲外となる領域であり、座標変換ができない部分である。
【００３８】
また、例えば、自車両が所定距離Ｄ２分だけ後退走行した後、すなわち、自車両が図４（ｃ）に示す位置Ｐ３を超えて後退走行する際は、視点変換制御部１５は、座標変換処理部１２における座標変換に使用する変換テーブルとして、第３の変換テーブル１３ｃを選択する。この第３の変換テーブル１３ｃは、上述したように、ＣＣＤカメラ４によって撮像された自車両後方の実画像を座標変換して、図３（ｃ）に示した仮想カメラＢの視点から見た画像（平面変換画像）を生成するための変換テーブルである。これにより、オーディオ・ビジュアルコントロール装置３には、仮想カメラＢの視点から見た平面変換画像を示す表示画像信号Ｓ１が供給されることになる。そして、オーディオ・ビジュアルコントロール装置３がディスプレイ２に供給する選択画像信号Ｓ２として、この仮想カメラＢの視点から見た平面変換画像を示す表示画像信号Ｓ１を選択することによって、ディスプレイ２には、例えば図５（ｃ）に示すような平面変換画像が表示されることになる。なお、この図５（ｃ）に示す表示例において画像が表示されない領域は、ＣＣＤカメラ４による視野範囲外となる領域であり、座標変換ができない部分である。
【００３９】
なお、変換テーブルの選択処理の基準となる所定距離Ｄ１、Ｄ２は、任意に設定可能であるが、車両を後退走行させて駐車スペースに駐車させる場合における一般的な運転操作を考えると、Ｄ１を３ｍ程度、Ｄ２を６ｍ程度に設定することが適当と思われる。
【００４０】
ここで、本発明を適用した車載システム１における一連の処理動作について、図６のフローチャートを参照して具体的に説明する。なお、この車載システム１では、上述したように、視点変換コントローラ５からの自車両後方の画像や、ナビゲーション装置６からのナビゲーション画像、テレビチューナからのテレビ画像、オーディオ装置やエアコン制御装置からの操作表示画面等が、自車両の乗員による操作入力や各種センサからの出力に基づいて判断される自車両の状況等に応じてディスプレイ２に選択的に表示されるようになっているが、ここでは、自車両の前進走行時にはナビゲーション装置６からのナビゲーション画像をディスプレイ２に表示させ、自車両の後退走行時には視点変換コントローラ５からの自車両後方の画像をディスプレイ２に表示させるものとして説明する。
【００４１】
車載システム１の電源が投入されて動作が開始されると、通常の前進走行時においては、先ず、ステップＳ１−１において、オーディオ・ビジュアルコントロール装置３により、ディスプレイ２に供給する選択画像信号Ｓ２としてナビゲーション装置６からの画像信号が選択され、ディスプレイ２にナビゲーション装置６からのナビゲーション画像が表示される。ナビゲーション装置６からのナビゲーション画像は、ＧＰＳ等によって検出された自車両の現在位置を地図画像上に重ね合わせて表示するものである。
【００４２】
ディスプレイ２にナビゲーション画像を表示させている間、リバーススイッチ７からリバースオン信号が供給されたかどうか、すなわち、自車両のギヤ位置がリバースにシフトされたか否かが、オーディオ・ビジュアルコントロール装置３によって常時監視される（ステップＳ１−２）。そして、自車両のギヤ位置がリバースにシフトされていないと判断されると、ナビゲーション画像の表示が継続される。
【００４３】
一方、ステップＳ１−２において自車両のギヤ位置がリバースにシフトされたと判断されると、次に、ステップＳ１−３において、自車両後方に設置されたＣＣＤカメラ４によって自車両後方の画像（実画像）が撮像され、このＣＣＤカメラ４により撮像された自車両後方の実画像を示す画像信号Ｓ０が、デジタルの画像データに変換されて視点変換コントローラ５の入力フレームバッファ１１に取り込まれる。このとき、視点変換コントローラ５の視点変換制御部１５には、自車両の後退走行を開始する旨の信号を含む制御信号Ｓｃがオーディオ・ビジュアルコントロール装置３から供給され、この制御信号Ｓｃに応じて、視点変換制御部１５により、座標変換処理部１２における座標変換処理の起動制御が行われる。
【００４４】
また、オーディオ・ビジュアルコントロール装置３には、車速センサ８からのパルス信号が常時供給され、この車速センサ８からのパルス信号に基づいて、自車両の後退走行距離がオーディオ・ビジュアルコントロール装置３により算出される。そして、オーディオ・ビジュアルコントロール装置３から視点変換コントローラ５の視点変換制御部１５に対して、自車両の後退走行距離を示す信号を含む制御信号Ｓｃが供給されることになる。
【００４５】
視点変換コントローラ５の入力フレームバッファ１１にＣＣＤカメラ４により撮像された自車両後方の実画像を示す画像データが取り込まれ、視点変換制御部１５にオーディオ・ビジュアルコントロール装置３からの制御信号Ｓｃが供給されると、座標変換処理部１２における座標変換処理が開始される。ここで、自車両のギヤ位置がリバースにシフトされて自車両の後退走行が開始された直後は、視点変換制御部１５に対して自車両の後退走行距離が所定の距離Ｄ１に達していないので、視点変換制御部１５は、座標変換処理部１２における座標変換処理に使用する変換テーブルとして、ＣＣＤカメラ４により撮像された自車両後方の実画像をそのまま表示するための第１の変換テーブル１３ａを選択する。
【００４６】
そして、ステップＳ１−４において、座標変換処理部１２により第１の変換テーブル１３ａを用いた形式的な座標変換処理が行われ、入力フレームバッファ１１に取り込まれた画像データが、自車両後方の実画像を示す画像データとしてそのまま出力フレームバッファ１４に取り込まれる。そして、この出力フレームバッファ１４から、自車両後方の実画像を示す画像データが所定タイミングで出力され、アナログの表示画像信号Ｓ１に変換されてオーディオ・ビジュアルコントロール装置３に供給される。
【００４７】
視点変換コントローラ５からの表示画像信号Ｓ１がオーディオ・ビジュアルコントロール装置３に供給されると、ステップＳ１−５において、オーディオ・ビジュアルコントロール装置３により、ディスプレイ２に供給する選択画像信号Ｓ２として視点変換コントローラ５からの表示画像信号Ｓ１が選択され、ディスプレイ２に自車両後方の画像が表示される。このとき、視点変換コントローラ５からの表示画像信号Ｓ１は、ＣＣＤカメラ４により撮像された自車両後方の実画像を示す画像信号であるので、ディスプレイ２には、ＣＣＤカメラ４により撮像された自車両後方の実画像が表示されることになる。
【００４８】
ディスプレイ２に自車両後方の実画像を表示させている間、自車両のギヤ位置がリバースに保持されているか否かが、オーディオ・ビジュアルコントロール装置３によって常時監視される（ステップＳ１−６）。そして、自車両のギヤ位置がリバース位置からシフトされたと判断されると、ステップＳ１−１に戻って、ディスプレイ２に供給する選択画像信号としてナビゲーション装置６からの画像信号が選択され、ディスプレイ２にナビゲーション装置６からのナビゲーション画像が再度表示される。
【００４９】
一方、ステップＳ１−６において自車両のギヤ位置がリバースに保持されていると判断されると、次に、ステップＳ１−７において、オーディオ・ビジュアルコントロール装置３によって、自車両の後退走行距離が所定の距離Ｄ１（例えば３ｍ）に達したかどうかが判断される。そして、自車両の後退走行距離が所定の距離Ｄ１に達していないと判断されると、ステップＳ１−３以降の処理が繰り返して行われ、ディスプレイ２にＣＣＤカメラ４により撮像された自車両後方の実画像が継続的に表示される。
【００５０】
一方、ステップＳ１−７において自車両の後退走行距離が所定の距離Ｄ１に達したと判断されると、視点変換制御部１５により、座標変換処理部１２における座標変換に使用する変換テーブルとして、ＣＣＤカメラ４により撮像された自車両後方の実画像を図３（ｂ）に示した仮想カメラＡの視点から見た変換画像に座標変換するための第２の変換テーブル１３ｂが選択されて、変換画像の生成、表示が行われる。
【００５１】
具体的には、先ず、ステップＳ１−８において、ステップＳ１−３と同様にＣＣＤカメラ４からの自車両後方の実画像を示す画像データが視点変換コントローラ５の入力フレームバッファ１１に取り込まれる。そして、ステップＳ１−９において、座標変換処理部１２により第２の変換テーブル１３ｂを用いた座標変換処理が行われ、入力フレームバッファ１１に取り込まれた自車両後方の実画像を示す画像データが、仮想カメラＡの視点から見た自車両後方の変換画像を示す画像データに変換されて、出力フレームバッファ１４に取り込まれる。そして、この出力フレームバッファ１４から、仮想カメラＡの視点から見た自車両後方の変換画像を示す画像データが所定タイミングで出力され、アナログの表示画像信号Ｓ１に変換されてオーディオ・ビジュアルコントロール装置３に供給される。
【００５２】
そして、この表示画像信号Ｓ１が、オーディオ・ビジュアルコントロール装置３によってディスプレイ２に供給する選択画像信号Ｓ２として選択され、ステップＳ１−１０において、仮想カメラＡの視点から見た自車両後方の変換画像がディスプレイ２に表示されることになる。
【００５３】
ディスプレイ２に仮想カメラＡの視点から見た自車両後方の変換画像を表示させている間、自車両のギヤ位置がリバースに保持されているか否かが、オーディオ・ビジュアルコントロール装置３によって常時監視される（ステップＳ１−１１）。そして、自車両のギヤ位置がリバース位置からシフトされたと判断されると、ステップＳ１−１に戻って、ディスプレイ２に供給する選択画像信号としてナビゲーション装置６からの画像信号が選択され、ディスプレイ２にナビゲーション装置６からのナビゲーション画像が再度表示される。
【００５４】
一方、ステップＳ１−１１において自車両のギヤ位置がリバースに保持されていると判断されると、次に、ステップＳ１−１２において、オーディオ・ビジュアルコントロール装置３によって、自車両の後退走行距離が所定の距離Ｄ２（例えば６ｍ）に達したかどうかが判断される。そして、自車両の後退走行距離が所定の距離Ｄ２に達していないと判断されると、ステップＳ１−８以降の処理が繰り返して行われ、ディスプレイ２に仮想カメラＡの視点から見た自車両後方の変換画像が継続的に表示される。
【００５５】
一方、ステップＳ１−１２において自車両の後退走行距離が所定の距離Ｄ２に達したと判断されると、視点変換制御部１５により、座標変換処理部１２における座標変換に使用する変換テーブルとして、ＣＣＤカメラ４により撮像された自車両後方の実画像を図３（ｃ）に示した仮想カメラＢの視点から見た平面変換画像に座標変換するための第３の変換テーブル１３ｃが選択されて、平面変換画像の生成、表示が行われる。
【００５６】
具体的には、先ず、ステップＳ１−１３において、ステップＳ１−３，ステップＳ１−８と同様にＣＣＤカメラ４からの自車両後方の実画像を示す画像データが視点変換コントローラ５の入力フレームバッファ１１に取り込まれる。そして、ステップＳ１−１４において、座標変換処理部１２により第３の変換テーブル１３ｃを用いた座標変換処理が行われ、入力フレームバッファ１１に取り込まれた自車両後方の実画像を示す画像データが、仮想カメラＢの視点から見た自車両後方の平面変換画像を示す画像データに変換されて、出力フレームバッファ１４に取り込まれる。そして、この出力フレームバッファ１４から、仮想カメラＢの視点から見た自車両後方の平面変換画像を示す画像データが所定タイミングで出力され、アナログの表示画像信号Ｓ１に変換されてオーディオ・ビジュアルコントロール装置３に供給される。
【００５７】
そして、この表示画像信号Ｓ１が、オーディオ・ビジュアルコントロール装置３によってディスプレイ２に供給する選択画像信号Ｓ２として選択され、ステップＳ１−１５において、仮想カメラＢの視点から見た自車両後方の平面変換画像がディスプレイ２に表示されることになる。
【００５８】
ディスプレイ２に仮想カメラＢの視点から見た自車両後方の平面変換画像を表示させている間、自車両のギヤ位置がリバースに保持されているか否かが、オーディオ・ビジュアルコントロール装置３によって常時監視される（ステップＳ１−１６）。そして、自車両のギヤ位置がリバース位置からシフトされたと判断されると、ステップＳ１−１に戻って、ディスプレイ２に供給する選択画像信号としてナビゲーション装置６からの画像信号が選択され、ディスプレイ２にナビゲーション装置６からのナビゲーション画像が再度表示される。一方、自車両のギヤ位置がリバースに保持されていると判断されると、ステップＳ１−１３以降の処理が繰り返して行われ、ディスプレイ２に仮想カメラＢの視点から見た自車両後方の平面変換画像が継続的に表示されることになる。
【００５９】
以上説明したように、本発明を適用した車載システム１においては、自車両の後退走行時においてディスプレイ２に自車両後方の画像を表示させる際に、自車両の後退走行を開始させる段階では、ＣＣＤカメラ４により撮像された自車両後方の実画像をディスプレイ２に表示させ、自車両の後退走行距離が所定の距離に達した段階で、ＣＣＤカメラ４の視点よりも高い視点から見たと仮想される変換画像をディスプレイ２に表示させるようにしているので、運転者は、自車両の後退走行を開始させる際には、自車両後方に存在する他の車両や建物等の高さのある物体をディスプレイ２に表示された自車両後方の実画像の中で適切に認識することができると共に、自車両を所定距離後退走行させた後は、実画像よりも見易い変換画像を参照することで、自車両後方の様子をより適切に認識することができる。
【００６０】
また、この車載システム１においては、ディスプレイ２に表示させる自車両後方の画像を自車両の後退走行距離に応じて段階的に切り換え、後退走行開始時においてはＣＣＤカメラ４により撮像された自車両後方の実画像を表示させ、自車両が所定距離後退走行するとＣＣＤカメラ４の視点よりも高い視点から見たと仮想される変換画像を表示させ、自車両が更に所定距離後退走行すると更に高い視点から路面と垂直な方向に見たと仮想される平面変換画像を表示させるようにしているので、ディスプレイ２に表示される自車両後方の画像の切り換えを、運転者に違和感を与えないようにスムーズに行うことができると共に、特に、車両を後退走行させながら駐車スペースに駐車させる場合等においては、駐車終了間際には自車両後方の平面変換画像がディスプレイ２に表示されることになるので、運転者はこの平面変換画像を参照しながら、駐車スペース内で車両位置を合わせるなどの運転操作を極めて適切に行うことができるようになる。
【００６１】
なお、以上説明した車載システム１は、本発明の一適用例を示したものであり、本発明の特徴を実現する範囲において様々な技術的変更が可能である。例えば、上述した車載システム１においては、ディスプレイ２に表示させる自車両後方の画像を切り換えるタイミングとして自車両の後退走行距離を基準とするようにしているが、自車両の後退走行距離に代えて、自車両が後退走行を開始してからの経過時間を基準とするようにしてもよい。
この場合、オーディオ・ビジュアルコントロール装置３は、経過時間を計数するタイマを備え、例えばリバーススイッチ７からリバースオン信号が供給された段階でディスプレイ２に自車両後方の実画像を表示させると共に、タイマをオンして経過時間を計数する。そして、経過時間が所定時間Ｔ１となった時点で、自車両後方をＣＣＤカメラ４の視点よりも高い視点から見たと仮想される変換画像をディスプレイ２に表示させ、更に経過時間が所定時間Ｔ２となった時点で、自車両後方を更に高い視点から路面と垂直な方向に見たと仮想される平面変換画像をディスプレイ２に表示させる。ここで、所定時間Ｔ１、Ｔ２は任意に設定可能であるが、車両の後退走行時における一般的な運転操作を考えると、Ｔ１を数秒程度、Ｔ２を更に数秒程度に設定することが適当と思われる。
【００６２】
また、上述した車載システム１においては、ディスプレイ２に表示させる自車両後方の画像を実画像、実画像よりも高い視点で見たと仮想される変換画像、変換画像よりも高い視点で路面と垂直な方向に見たと仮想される平面変換画像の３段階で切り換えるようにしているが、ディスプレイ２に表示させる自車両後方の画像を実画像と変換画像、或いは実画像と平面変換画像の２段階で切り換えるようにしてもよい。この場合も、上述した例と同様に、自車両の後退走行開始時においては、自車両後方に存在する他の車両や建物等の高さのある物体を運転者に適切に認識させることができ、自車両を所定距離後退走行させた後は、自車両後方の様子を運転者により適切に認識させることができる。
【００６３】
また、上述した車載システム１においては、ディスプレイ２に表示させる自車両後方の画像を３段階で切り換えるようにしているが、互いに視点高さの異なる変換画像を更に多数生成するようにして、ディスプレイ２に表示させる自車両後方の画像を更に多段階で切り換えるようにしてもよい。この場合、視点変換コントローラ５には更に多数の変換テーブルが設けられ、これら多数の変換テーブルが選択的に使用されて座標変換処理部１２における座標変換処理が行われることで、互いに視点高さの異なる変換画像が順次生成されることになる。そして、自車両の後退走行距離、或いは後退走行を開始してからの経過時間に応じて、これら互いに視点高さの異なる変換画像が、視点の低い変換画像から順にディスプレイ２に表示されることになる。
【００６４】
以上のように、互いに視点高さの異なる変換画像を視点の低い画像から順にディスプレイ２に表示させるようにした場合には、ディスプレイ２に表示される自車両後方の画像の切り換えを更にスムーズに行うことができる。
【００６５】
ところで、上述した平面変換画像、すなわち、自車両後方を高い視点から路面に垂直な方向で見たと仮想される変換画像をディスプレイ２に表示する場合、この平面変換画像をそのままディスプレイ２に表示させるようにすると、自車両が後退走行する際の進行方向先端側がディスプレイ２の上端側に、進行方向後端側がディスプレイ２の下端側に表示されることになる。平面変換画像がこのようにディスプレイ２に表示されると、自車両の後退走行に伴う画像の変化から、運転者は、自車両が前進走行しているような錯覚を受ける場合が多く、運転者に違和感を感じさせることになる。
【００６６】
そこで、自車両後方の画像として平面変換画像をディスプレイ２に表示させる場合には、この平面変換画像を示す画像データに対して上下反転変換処理を行って、上下方向が反転された平面変換画像をディスプレイ２に表示させることが望ましい。なお、ここでの「上下反転変換」とは実画像を鏡像に変換することを意味するものではなく、実画像を１８０度回転させることを意味するものである。
【００６７】
ここで、上述した車載システム１において、上下方向が反転された平面変換画像をディスプレイ２に表示させる場合の処理の一例について、図７のフローチャートを参照して具体的に説明する。なお、この車載システム１の動作が開始されてから自車両後方の実画像、仮想カメラＡの視点から見た自車両後方の変換画像がディスプレイ２に順次表示されるまでの処理は、図６のフローチャートで示したステップＳ１−１〜ステップＳ１−１１までの処理と同様であるので、ここでは説明を省略する。
【００６８】
この例では、図６のフローチャートで示したステップＳ１−１１において自車両のギヤ位置がリバースに保持されているとオーディオ・ビジュアルコントロール装置３により判断されると、次に、ステップＳ２−１において、オーディオ・ビジュアルコントロール装置３によって、自車両の後退走行距離が所定の距離Ｄ２に達したかどうかが判断される。そして、自車両の後退走行距離が所定の距離Ｄ２に達していないと判断されると、ステップＳ１−８以降の処理が繰り返して行われ、ディスプレイ２に図８（ａ）に示すような仮想カメラＡの視点から見た自車両後方の変換画像が継続的に表示される。
【００６９】
一方、ステップＳ２−１において自車両の後退走行距離が所定の距離Ｄ２に達したと判断されると、ステップＳ２−２において、ＣＣＤカメラ４からの自車両後方の実画像を示す画像データが視点変換コントローラ５の入力フレームバッファ１１に取り込まれる。そして、ステップＳ２−３において、座標変換処理部１２により第３の変換テーブル１３ｃを用いた座標変換処理が行われ、入力フレームバッファ１１に取り込まれた自車両後方の実画像を示す画像データが、仮想カメラＢの視点から見た自車両後方の平面変換画像を示す画像データに変換される。
【００７０】
次に、ステップＳ２−４において、この平面変換画像を示す画像データが視点変換制御部１５に取り込まれ、この視点変換制御部１５により平面変換画像を示す画像データに対して上下反転変換処理が行われる。そして、上下反転変換処理が行われた平面変換画像を示す画像データが、出力フレームバッファ１４に取り込まれてこの出力フレームバッファ１４から所定タイミングで出力され、アナログの表示画像信号Ｓ１に変換されてオーディオ・ビジュアルコントロール装置３に供給される。
【００７１】
そして、この表示画像信号Ｓ１が、オーディオ・ビジュアルコントロール装置３によってディスプレイ２に供給する選択画像信号Ｓ２として選択されることで、ステップＳ２−５において、図８（ｂ）に示すような上下方向が反転された自車両後方の平面変換画像がディスプレイ２に表示されることになる。
【００７２】
ディスプレイ２に上下方向が反転された自車両後方の平面変換画像を表示させている間、自車両のギヤ位置がリバースに保持されているか否かが、オーディオ・ビジュアルコントロール装置３によって常時監視される（ステップＳ２−６）。そして、自車両のギヤ位置がリバース位置からシフトされたと判断されると、ステップＳ１−１に戻って、ディスプレイ２に供給する選択画像信号としてナビゲーション装置６からの画像信号が選択され、ディスプレイ２にナビゲーション装置６からのナビゲーション画像が再度表示される。一方、自車両のギヤ位置がリバースに保持されていると判断されると、ステップＳ２−２以降の処理が繰り返して行われ、ディスプレイ２に上下方向が反転された自車両後方の平面変換画像が継続的に表示されることになる。
【００７３】
以上のように、自車両後方を高い視点から路面に垂直な方向で見たと仮想される平面変換画像をディスプレイ２に表示する場合に、この平面変換画像を示す画像データに対して上下反転変換処理を行って、自車両が後退走行する際の進行方向先端側がディスプレイ２の下端側に、進行方向後端側がディスプレイ２の上端側に表示させるようにすれば、ディスプレイ２に表示される平面変換画像上における自車両の移動方向が、実際の自車両の移動方向と感覚的に一致することになり、運転者に違和感を感じさせることなく、自車両後方の様子をより適切に認識させることができる。
【００７４】
なお、以上説明した例では、平面変換画像を示す画像データに対して上下反転変換処理を行う際に、この平面変換画像を示す画像データを視点変換制御部１５に取り込んで、この視点変換制御部１５により上下反転変換処理を行うようにしているが、第３の変換テーブル１３ｃとして、ＣＣＤ４により撮像された自車両後方の実画像を上下方向が反転された平面変換画像に変換するための変換テーブルを用い、座標変換処理部１２により座標変換を行う際に同時に上下反転変換が行われるようにしてもよい。
【００７５】
また、以上説明した例では、自車両のギヤ位置がリバース位置にシフトされたと判断されたときにＣＣＤカメラ４によって撮像された自車両後方の実画像を表示し、その後、自車両の後退走行距離が所定距離に達したとき、或いは自車両が後退走行を開始してからの経過時間が所定時間に達したときに、仮想カメラＡや仮想カメラＢの視点から見た変換画像を表示するようにしているが、自車両の車室内に運転者による操作が可能なスイッチ等を設けておき、このスイッチ等を利用した運転者の操作に応じて、実画像と変換画像とを切り換えて表示するようにしてもよい。
【００７６】
ただし、この場合には、自車両のギヤ位置がリバース位置にシフトされてから所定時間経過するまで、或いは自車両の後退走行距離が所定距離に達するまでは、スイッチ等を利用した運転者による操作があった場合でもこの運転者による操作を受け付けずにディスプレイ２には自車両後方の実画像を表示させ、所定時間経過後、或いは所定距離後退走行した後に運転者による操作があった場合に、その操作に応じてディスプレイ２に表示する画像を仮想カメラＡや仮想カメラＢの視点から見た変換画像に切り換えるようにすることが望ましい。また、ディスプレイ２に仮想カメラＡの視点から見た変換画像を表示している間に、スイッチ等を利用した運転者による操作があった場合に、ディスプレイ２に表示させる画像を仮想カメラＡの視点から見た変換画像から、仮想カメラＢの視点から見た変換画像へと切り換えるようにしてもよい。
【００７７】
以上のようにディスプレイ２に表示される自車両後方の画像の切り換えを行うことで、自車両の後退走行を開始する段階では自車両後方の実画像を表示させ、後退走行距離或いは時間の経過に応じて視点位置の高い変換画像へと切り換えながら適切な表示を行うことができると共に、スイッチ等を利用した運転者による操作に基づいて表示される画像の切り換えを可能とし、運転者の要求する画像の表示を適切に行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した車載システムの全体構成を示すブロック図である。
【図２】前記車載システムが備える視点変換コントローラの内部構成を示すブロック図である。
【図３】自車両後方の実画像、変換画像、平面変換画像の視点高さを説明するための図であり、（ａ）は自車両後方に設置されたＣＣＤカメラの視点を示し、（ｂ）は前記ＣＣＤカメラよりも高い位置に設置されたと仮想される仮想カメラＡの視点を示し、（ｃ）は仮想カメラＡよりも更に高い位置に設置されたと仮想される仮想カメラＢの視点を示している。
【図４】自車両が後退走行する際の様子を示す図であり、（ａ）は自車両が後退走行を開始した段階の様子を示し、（ｂ）は自車両が後退走行開始位置から所定距離Ｄ１分だけ後退走行した段階の様子を示し、（ｃ）は自車両が後退走行開始位置から所定距離Ｄ２分だけ後退走行した段階の様子を示している。
【図５】ディスプレイに表示される自車両後方の画像を示す図であり、（ａ）はＣＣＤにより撮像された自車両後方の実画像の一例を示し、（ｂ）は自車両後方を仮想カメラＡの視点から見たと仮想される変換画像の一例を示し、（ｃ）は自車両後方を仮想カメラＢの視点から路面に垂直方向に見たと仮想される平面変換画像の一例を示している。
【図６】前記車載システムにおける一連の処理の流れを説明するフローチャートである。
【図７】前記車載システムにおいて、上下方向が反転された平面変換画像をディスプレイに表示させる場合の処理の流れを説明するフローチャートである。
【図８】ディスプレイに表示される自車両後方の画像を示す図であり、（ａ）は自車両後方を仮想カメラＡの視点から見たと仮想される変換画像の一例を示し、（ｂ）は上下方向が反転された平面変換画像の一例を示している。
【符号の説明】
１車載システム
２ディスプレイ
３オーディオ・ビジュアルコントロール装置
４ＣＣＤカメラ
５視点変換コントローラ
１１入力フレームバッファ
１２座標変換処理部
１３ａ，１３ｂ，１３ｃ変換テーブル
１４出力フレームバッファ
１５視点変換制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle rear monitoring device that displays an image of the rear of a vehicle on a display unit when the vehicle is moved backward, thereby urging an appropriate vehicle to travel backward.
[0002]
[Prior art]
Conventionally, there has been proposed a vehicle rear monitoring device that prompts the vehicle to travel backward by displaying an image of the rear of the vehicle on a display installed in the passenger compartment when the vehicle is traveling backward, and allowing the driver to recognize the state of the rear of the vehicle. Has been put to practical use.
[0003]
In this type of vehicle rear monitoring device, in order to make the driver accurately recognize the state behind the vehicle, it is an important issue to display an image that is easy to see for the driver on the display. Various technical improvements have been attempted.
[0004]
Specifically, in Japanese Patent Laid-Open No. 2001-163132, for example, a camera that captures an image behind the vehicle is installed at a low position on the vehicle body, and an image behind the vehicle is captured using such a low position as a viewpoint. In order to solve the problem that the image displayed on the display is difficult to see due to the above, an image behind the vehicle captured by the camera is captured from a viewpoint higher than the viewpoint of the actual camera using a conversion table. A technique has been proposed in which the image is converted into a virtual image and the converted image is displayed on a display.
[0005]
If an image from a viewpoint higher than the actual camera viewpoint is displayed on the display as an image behind the vehicle as in this example, an image that is easier to see than the actual image is displayed on the display. Thus, the driver can easily recognize the state behind the vehicle by referring to this image. In particular, a camera that captures an image behind the vehicle is often installed at a very low position in the vicinity of the license plate from the viewpoints of restrictions on vehicle body layout, aesthetics, and the like. Therefore, it is extremely useful to convert such an image from a low viewpoint into an image from a high viewpoint and display it on a display.
[0006]
[Problems to be solved by the invention]
By the way, when converting an actual image (actual image) behind the vehicle imaged by a camera installed at a low position of the vehicle body into an image from a high viewpoint, as disclosed in Japanese Patent Laid-Open No. 2001-163132. It is assumed that all the images of the object appearing on the real image are on the road surface. The image of the object is converted with reference to the position coordinates on the road surface. Therefore, non-stereoscopic objects such as white lines and characters drawn on the road surface are properly converted, but objects with height such as buildings and other vehicles are converted into a largely distorted state. Will end up.
[0007]
For this reason, when the driver recognizes the situation behind the vehicle to some extent by visual observation and starts the backward traveling of the vehicle, the converted image (converted image) is immediately displayed on the display. There is a case where it is difficult to associate the appearing object with the object visually recognized by the driver, which causes a problem that the proper reverse traveling of the vehicle is hindered.
[0008]
The present invention has been developed in view of the above-described conventional situation, and displays an image behind the vehicle so that it can be easily seen by the driver and can be properly associated with the actual situation. An object of the present invention is to provide a vehicle rear monitoring device.
[0009]
[Means for Solving the Problems]
The vehicle rear monitoring apparatus according to claim 1 is a camera that is installed in a rear part of the vehicle and captures an image of the rear of the vehicle, and coordinates-converts an actual image of the rear of the vehicle captured by the camera, A converted image generating means for generating a converted image that is assumed to be taken when a position higher than the actual viewpoint is taken as a viewpoint; a display means for selectively displaying the real image and the converted image behind the vehicle; Display control means for selecting an image to be displayed on the display means in accordance with the situation of the vehicle. In the vehicle rear monitoring device, when the display control unit starts the backward running of the vehicle, first, an actual image behind the vehicle is selected as an image to be displayed on the display unit. The image displayed on the display means is switched to the converted image when the vehicle travels backward, or when a predetermined time has elapsed from the start of backward traveling of the vehicle.
[0010]
The vehicle rear monitoring apparatus according to claim 2 is the vehicle rear monitoring apparatus according to claim 1, wherein the converted image generation unit generates a plurality of converted images having different viewpoint heights, and the display control is performed. The means switches the converted images generated by the converted image generating means from a low-viewpoint converted image to a high-viewpoint converted image every time the vehicle moves backward a predetermined distance or every time a predetermined time elapses. And sequentially displaying on the display means.
[0011]
According to a third aspect of the present invention, there is provided the vehicle rearward monitoring apparatus according to the first or second aspect, wherein the converted image generation means generates an image behind the vehicle as a converted image having the highest viewpoint height. A plane-converted image that is assumed to be captured in a direction perpendicular to the road surface is generated.
[0012]
According to a fourth aspect of the present invention, there is provided the vehicle rearward monitoring apparatus according to the third aspect, in which the converted image generating means moves the vehicle backward when the planar converted image is displayed on the display means. The generated plane conversion image is vertically inverted so that the front end side in the traveling direction during traveling is displayed on the lower end side of the display unit and the rear end side in the traveling direction is displayed on the upper end side of the display unit. It is.
[0013]
【The invention's effect】
According to the vehicle rear monitoring apparatus according to the present invention, at the stage of starting the backward running of the vehicle, an actual image of the vehicle rear imaged by the camera is displayed on the display means. When starting reverse running, it is possible to appropriately recognize an object with a height such as another vehicle or a building existing behind the vehicle in the image displayed on the display means. After that, when the vehicle travels backward by a predetermined distance or when a predetermined time has elapsed, the image displayed on the display means is converted into a converted image that is assumed to be taken from a viewpoint higher than the viewpoint of the actual camera. Since the switching is performed, the driver can more appropriately recognize the state behind the vehicle by referring to the converted image displayed on the display means.
[0014]
In particular, in the vehicle rear monitoring apparatus according to the present invention, a plurality of converted images having different viewpoint heights are generated as converted images, and these converted images are converted into low-viewpoint converted images according to the reverse travel distance and elapsed time. If the display means displays the converted images in order from the highest to the lowest viewpoint, the image displayed on the display means can be switched more smoothly, and the inconvenience that switching the image makes the driver feel uncomfortable is effective. Can be suppressed.
[0015]
Further, the vehicle rear monitoring apparatus according to the present invention generates a plane conversion image that is assumed to be an image of the rear of the vehicle taken in the direction perpendicular to the road surface as the conversion image having the highest viewpoint height, and the vehicle moves backward by a predetermined distance. If the plane-converted image is displayed on the display means when the vehicle has traveled or a predetermined time has elapsed, the driver can drive the vehicle in the parking space, for example, when the vehicle is parked in the parking space while traveling backward. Driving operations such as adjusting the position can be performed extremely appropriately.
[0016]
In addition, when a plane conversion image is generated as a conversion image having the highest viewpoint height, the plane conversion image is inverted upside down so that the front end side in the traveling direction when the vehicle is traveling backward is moved to the lower end side of the display means. If the plane conversion image is displayed on the display unit so that the rear end side of the direction is the upper end side of the display unit, the moving direction of the vehicle on the plane conversion image displayed on the display unit is The direction of movement coincides sensuously, and the state behind the vehicle can be recognized more appropriately without making the driver feel uncomfortable.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0018]
The vehicle rear monitoring apparatus according to the present invention is applied to the vehicle system 1 as a unit for realizing a function of displaying an image behind the vehicle in the in-vehicle system 1 as shown in FIG.
[0019]
The in-vehicle system 1 is mounted on a vehicle and presents various information to the passengers of the vehicle (hereinafter referred to as the host vehicle), and is installed in the passenger compartment as display means for displaying various images. The display 2 is controlled by an audio / visual control device 3 as display control means.
[0020]
The in-vehicle system 1 is installed at a position where the ground height behind the host vehicle is relatively low, specifically, near the license plate of the host vehicle, for example, a CCD (Charge Coupled Device) that captures an image behind the host vehicle. ) A camera 4 and a viewpoint conversion controller 5 as a converted image generation means for generating a converted image by performing coordinate conversion on an image (actual image) behind the host vehicle imaged by the CCD camera 4, and this viewpoint conversion controller 5 is connected to the audio / visual control device 3.
[0021]
In addition to the viewpoint conversion controller 5, the audio / visual control device 3 is connected to various devices such as a navigation device 6 for guiding the route of the host vehicle, a television tuner, an audio device, and an air conditioner control device (not shown). Yes. Then, the audio / visual control device 3 receives an image of the rear side of the host vehicle from the viewpoint conversion controller 5 in accordance with the operation input by the occupant of the host vehicle and the situation of the host vehicle determined based on the output from various sensors. In addition, a navigation image from the navigation device 6, a television image from the television tuner, an operation display screen from the audio device and the air conditioner control device, and the like are selectively displayed on the display 2.
[0022]
In particular, in the in-vehicle system 1 to which the present invention is applied, a reverse switch 7 that is turned on when the gear of the host vehicle is shifted to the reverse position is connected to the audio / visual control device 3. Based on the reverse on signal from the reverse switch 7, the audio / visual control device 3 determines that the host vehicle starts to travel backward. In the in-vehicle system 1, a vehicle speed sensor 8 that generates a pulse signal proportional to the travel distance of the host vehicle is connected to the audio / visual control device 3. Based on the pulse signal from the vehicle speed sensor 8, the distance the host vehicle travels backward is calculated by the audio / visual control device 3.
[0023]
As shown in FIG. 2, the viewpoint conversion controller 5 that converts the actual image behind the host vehicle to generate a converted image generates an input frame buffer 11, a coordinate conversion processing unit 12, and a plurality of conversion tables 13a, 13b, 13c, an output frame buffer 14, and a viewpoint conversion control unit 15.
[0024]
The input frame buffer 11 temporarily stores image data indicating an actual image behind the host vehicle captured by the CCD camera 4 in units of frames constituting one screen. That is, the image signal S0 of the real image behind the host vehicle output from the CCD camera 4 in real time is converted into digital image data by an A / D converter (not shown) and then input to the input frame buffer 11. It has become. Then, image data indicating an actual image behind the host vehicle input to the input frame buffer 11 is developed and stored for each frame in the input frame buffer 11.
[0025]
The coordinate conversion processing unit 12 performs coordinate conversion processing on the image data of the real image behind the host vehicle stored in the input frame buffer 11 in units of frames under the control of the viewpoint conversion control unit 15. (Digital Signal Processor). The coordinate conversion processing by the coordinate conversion processing unit 12 is performed based on a predetermined rule described in the conversion table selected by the viewpoint conversion control unit 15 from the plurality of conversion tables 13a, 13b, and 13c.
[0026]
In the plurality of conversion tables 13a, 13b, and 13c, rules for coordinate conversion of the image data of the real image behind the host vehicle input to the input frame buffer 11 are recorded. Specifically, each of the conversion tables 13a, 13b, and 13c has a one-to-one correspondence with the input frame buffer 11, and the coordinates of each pixel of the image data stored in the input frame buffer 11 are used. Information (output pixel address) indicating where each pixel of the image data stored in the input frame buffer 11 is replaced by conversion is recorded at the same coordinate on the corresponding conversion table 13a, 13b, 13c. Yes.
[0027]
In the following description, it is assumed that an image behind the host vehicle that is virtually captured from each viewpoint (camera position) shown in FIGS. 3A to 3C is selectively displayed on the display 2. As a premise, the viewpoint conversion controller 5 has a first conversion table 13a for generating an image from the viewpoint shown in FIG. 3A and a first conversion table 13a for generating an image from the viewpoint shown in FIG. It is assumed that three conversion tables, that is, a second conversion table 13b and a third conversion table 13c for generating an image from the viewpoint shown in FIG. Here, it is assumed that the camera parameters are set so that the visual field range of the images from the respective viewpoints illustrated in FIGS. 3A to 3C is the same range.
[0028]
More specifically, as shown in FIG. 3A, the first conversion table 13a has a ground height h1 and a depression angle of the camera optical axis (a downward angle of the camera optical axis with respect to a plane parallel to the road surface) θ1. A rule for outputting the image data indicating the actual image behind the host vehicle captured by the installed CCD camera 4 and stored in the input frame buffer 11 as it is is recorded.
[0029]
Further, in the second conversion table 13b, image data indicating the real image behind the host vehicle stored in the input frame buffer 11 is subjected to coordinate conversion, and as shown in FIG. A rule for outputting as image data of a converted image viewed from the viewpoint of the virtual camera A assumed to be installed at h2> h1) and depression angle θ2 (θ2> θ1) is recorded.
[0030]
In addition, the third conversion table 13c is obtained by coordinate-converting image data indicating an actual image behind the host vehicle stored in the input frame buffer 11, and as shown in FIG. h3> h2), a converted image viewed from the viewpoint of the virtual camera B assumed to be installed at a depression angle θ3 (θ3≈90 degrees>θ2> θ1), that is, an image behind the host vehicle is taken in a direction perpendicular to the road surface A rule for outputting as image data of a plane conversion image virtually assumed to be recorded is recorded.
[0031]
Here, for simplification of the configuration, the first conversion table 13a is used to output the image data indicating the actual image behind the host vehicle captured by the CCD camera 4 as it is. Although the configuration is such that the coordinate conversion is performed, when the image data indicating the real image behind the host vehicle captured by the CCD camera 4 is output as it is, the circuit configuration may be configured to output through without using the conversion table. it can.
[0032]
An algorithm for coordinate-converting image data indicating a real image behind the host vehicle captured by the CCD camera 4 into image data of an image viewed from the viewpoint of the virtual camera A and image data of an image viewed from the viewpoint of the virtual camera B is as follows: It is uniquely determined geometrically from the camera parameters of the CCD camera 4 and the camera parameters of the virtual camera A and the virtual camera B.
[0033]
That is, first, a correspondence relationship between the ground coordinate system obtained from the camera parameters of the virtual camera A and the virtual camera B and the virtual CCD plane coordinate system of the virtual camera A and the virtual camera B is obtained, and the virtual camera A and the virtual camera are obtained. It is calculated which coordinate on the ground coordinate system each pixel of the virtual CCD plane coordinate system in B corresponds to. Next, the correspondence between the ground coordinate system obtained from the camera parameters of the virtual camera A and the virtual camera B and the ground coordinate system obtained from the actual camera parameters of the CCD camera 4 is obtained, and the virtual camera A and the virtual camera B are obtained. The coordinates on the ground coordinate system obtained from the actual camera parameters of the CCD camera 4 correspond to the coordinates of the ground coordinate system obtained from the camera parameters. Next, the correspondence between the ground coordinate system obtained from the camera parameters of the actual CCD camera 4 and the CCD plane coordinate system of the CCD camera 4 is obtained, and the ground coordinate system obtained from the camera parameters of the actual CCD camera 4 is obtained. It is calculated which pixel in the CCD plane coordinate system in the CCD camera 4 corresponds to each coordinate. With the above processing procedure, the CCD surface coordinate system of the actual CCD camera 4 is associated with the virtual CCD surface coordinate system of the virtual camera A and the virtual camera B, and these correspondences are represented by the second conversion table 13b and the third conversion table 13b. Are respectively recorded in the conversion table 13c. The details of the coordinate conversion algorithm as described above are disclosed in Japanese Patent Laid-Open No. 2001-163132.
[0034]
The output frame buffer 14 temporarily stores the image data subjected to the coordinate conversion processing by the coordinate conversion processing unit 12 and outputs the stored image data as output image data in units of frames at a predetermined timing. . The output image data output from the output frame buffer 14 is converted into an analog display image signal S1 by a D / A converter (not shown) and then supplied to the audio / visual control device 3.
[0035]
The viewpoint conversion control unit 15 controls the coordinate conversion processing in the coordinate conversion processing unit 12 based on the control signal Sc from the audio / visual control device 3, and is composed of, for example, a CPU (Central Processing Unit) or the like. . For example, it is determined by the audio / visual control device 3 that the host vehicle starts to travel backward based on the reverse-on signal from the reverse switch 7, and the control signal Sc including this signal is sent to the audio / visual control device. 3 is supplied to the viewpoint conversion control unit 15 of the viewpoint conversion controller 5, the viewpoint conversion control unit 15 performs start control of the coordinate conversion processing in the coordinate conversion processing unit 12. Further, the audio / visual control device 3 calculates the distance traveled by the host vehicle based on the pulse signal from the vehicle speed sensor 8, and the control signal Sc including a signal indicating the travel distance of the host vehicle is an audio / visual control. When supplied from the control device 3 to the viewpoint conversion control unit 15 of the viewpoint conversion controller 5, the viewpoint conversion control unit 15 selects coordinates from the plurality of conversion tables 13a, 13b, and 13c according to the backward travel distance of the host vehicle. A process of selecting a conversion table to be used for the coordinate conversion process in the conversion processing unit 12 is performed.
[0036]
The conversion table selection process will be described in detail by taking as an example a case where a driving operation for causing the host vehicle to travel backward and park in the parking space is performed. For example, a predetermined distance after the host vehicle starts traveling backward. Until the vehicle travels backward by D1 (for example, 3 m), that is, the vehicle travels from the reverse travel start position P1 shown in FIG. 4A to a predetermined distance from the reverse travel start position P1 as shown in FIG. 4B. The viewpoint conversion control unit 15 selects the first conversion table 13a as a conversion table used for the coordinate conversion processing in the coordinate conversion processing unit 12 until the position P2 separated by D1 is reached. As described above, the first conversion table 13a displays an actual image behind the host vehicle captured by the CCD camera 4 installed in the host vehicle at the installation position shown in FIG. It is a conversion table. As a result, the audio / visual control device 3 is supplied with a display image signal S1 indicating a real image behind the host vehicle. Then, by selecting the display image signal S1 indicating the actual image behind the host vehicle as the selection image signal S2 supplied to the display 2 by the audio / visual control device 3, the display 2 has, for example, FIG. A real image (image captured by the CCD camera 4) behind the host vehicle as shown in FIG.
[0037]
Further, for example, after the host vehicle travels backward by a predetermined distance D1 and further travels backward by a predetermined distance D2 (for example, 6 m), that is, from the position P2 shown in FIG. As shown in FIG. 4C, the viewpoint conversion control unit 15 uses the coordinate conversion processing unit 12 for coordinate conversion processing until it reaches a position P3 that is separated from the reverse travel start position P1 by a predetermined distance D2. The second conversion table 13b is selected as the conversion table. As described above, the second conversion table 13b performs coordinate conversion on the real image behind the host vehicle captured by the CCD camera 4, and is an image viewed from the viewpoint of the virtual camera A shown in FIG. It is a conversion table for producing | generating (converted image). As a result, the audio / visual control device 3 is supplied with the display image signal S1 indicating the converted image viewed from the viewpoint of the virtual camera A. Then, by selecting the display image signal S1 indicating the converted image viewed from the viewpoint of the virtual camera A as the selection image signal S2 supplied to the display 2 by the audio / visual control device 3, the display 2 displays, for example, FIG. A converted image as shown in FIG. 5B is displayed. In the display example shown in FIG. 5B, an area where no image is displayed is an area outside the visual field range by the CCD camera 4 and is a portion where coordinate conversion cannot be performed.
[0038]
Further, for example, after the host vehicle travels backward by a predetermined distance D2, that is, when the host vehicle travels backward beyond the position P3 shown in FIG. 4C, the viewpoint conversion control unit 15 performs coordinate conversion processing. The third conversion table 13c is selected as a conversion table used for coordinate conversion in the unit 12. As described above, the third conversion table 13c performs coordinate conversion on the real image behind the host vehicle captured by the CCD camera 4, and is an image viewed from the viewpoint of the virtual camera B shown in FIG. It is a conversion table for producing | generating (plane conversion image). As a result, the audio / visual control device 3 is supplied with a display image signal S1 indicating a plane-converted image viewed from the viewpoint of the virtual camera B. Then, by selecting the display image signal S1 indicating the plane-converted image viewed from the viewpoint of the virtual camera B as the selection image signal S2 supplied to the display 2 by the audio / visual control device 3, the display 2 has, for example, A plane conversion image as shown in FIG. 5C is displayed. In the display example shown in FIG. 5C, the area where no image is displayed is an area outside the field of view by the CCD camera 4 and is a part where coordinate conversion cannot be performed.
[0039]
The predetermined distances D1 and D2 that serve as the reference for the conversion table selection process can be arbitrarily set. However, considering a general driving operation when the vehicle is driven backward and parked in the parking space, D1 is set as follows. It seems appropriate to set about 3 m and D2 to about 6 m.
[0040]
Here, a series of processing operations in the in-vehicle system 1 to which the present invention is applied will be specifically described with reference to a flowchart of FIG. In the in-vehicle system 1, as described above, an image behind the host vehicle from the viewpoint conversion controller 5, a navigation image from the navigation device 6, a television image from the TV tuner, an operation from an audio device or an air conditioner control device. A display screen or the like is selectively displayed on the display 2 according to the situation of the host vehicle determined based on the operation input by the passenger of the host vehicle or the output from various sensors. In the following description, it is assumed that a navigation image from the navigation device 6 is displayed on the display 2 when the host vehicle is traveling forward, and an image behind the host vehicle from the viewpoint conversion controller 5 is displayed on the display 2 when the host vehicle is traveling backward.
[0041]
When the operation of the in-vehicle system 1 is turned on and the operation is started, at the time of normal forward running, first, in step S1-1, the audio / visual control device 3 selects the selection image signal S2 to be supplied to the display 2. The image signal from the navigation device 6 is selected, and the navigation image from the navigation device 6 is displayed on the display 2. The navigation image from the navigation device 6 displays the current position of the host vehicle detected by GPS or the like superimposed on the map image.
[0042]
While the navigation image is displayed on the display 2, whether or not the reverse on signal is supplied from the reverse switch 7, that is, whether or not the gear position of the host vehicle is shifted to reverse is always checked by the audio / visual control device 3. Monitored (step S1-2). If it is determined that the gear position of the host vehicle is not shifted in reverse, the display of the navigation image is continued.
[0043]
On the other hand, if it is determined in step S1-2 that the gear position of the host vehicle has been shifted in reverse, then in step S1-3, an image (actual) of the rear of the host vehicle is detected by the CCD camera 4 installed behind the host vehicle. An image signal S0 indicating a real image behind the host vehicle captured by the CCD camera 4 is converted into digital image data and is taken into the input frame buffer 11 of the viewpoint conversion controller 5. At this time, a control signal Sc including a signal for starting the backward traveling of the host vehicle is supplied from the audio / visual control device 3 to the viewpoint conversion control unit 15 of the viewpoint conversion controller 5, and according to the control signal Sc. The viewpoint conversion control unit 15 performs start control of the coordinate conversion processing in the coordinate conversion processing unit 12.
[0044]
The audio / visual control device 3 is constantly supplied with a pulse signal from the vehicle speed sensor 8, and the audio / visual control device 3 calculates the backward travel distance of the host vehicle based on the pulse signal from the vehicle speed sensor 8. Is done. Then, a control signal Sc including a signal indicating the backward travel distance of the host vehicle is supplied from the audio / visual control device 3 to the viewpoint conversion control unit 15 of the viewpoint conversion controller 5.
[0045]
Image data indicating an actual image behind the host vehicle captured by the CCD camera 4 is captured in the input frame buffer 11 of the viewpoint conversion controller 5, and the control signal Sc from the audio / visual control device 3 is supplied to the viewpoint conversion control unit 15. Then, the coordinate conversion processing in the coordinate conversion processing unit 12 is started. Here, immediately after the gear position of the host vehicle is shifted to reverse and the backward travel of the host vehicle is started, the backward travel distance of the host vehicle does not reach the predetermined distance D1 with respect to the viewpoint conversion control unit 15. The viewpoint conversion control unit 15 uses, as a conversion table used for the coordinate conversion processing in the coordinate conversion processing unit 12, a first conversion table 13a for displaying an actual image behind the host vehicle captured by the CCD camera 4 as it is. select.
[0046]
In step S1-4, the coordinate conversion processing unit 12 performs a formal coordinate conversion process using the first conversion table 13a, and the image data captured in the input frame buffer 11 is displayed on the rear side of the host vehicle. The image data representing the image is taken into the output frame buffer 14 as it is. The output frame buffer 14 outputs image data indicating a real image behind the host vehicle at a predetermined timing, converts the image data into an analog display image signal S1, and supplies the analog display image signal S1 to the audio / visual control device 3.
[0047]
When the display image signal S1 from the viewpoint conversion controller 5 is supplied to the audio / visual control device 3, the viewpoint conversion controller uses the audio / visual control device 3 as a selected image signal S2 to be supplied to the display 2 in step S1-5. The display image signal S 1 from 5 is selected, and an image behind the host vehicle is displayed on the display 2. At this time, the display image signal S 1 from the viewpoint conversion controller 5 is an image signal indicating a real image behind the host vehicle captured by the CCD camera 4, and therefore the host vehicle captured by the CCD camera 4 is displayed on the display 2. A rear real image is displayed.
[0048]
While the real image behind the host vehicle is displayed on the display 2, whether or not the gear position of the host vehicle is held in reverse is constantly monitored by the audio / visual control device 3 (step S1-6). When it is determined that the gear position of the host vehicle has been shifted from the reverse position, the process returns to step S 1-1, and the image signal from the navigation device 6 is selected as the selection image signal to be supplied to the display 2. The navigation image from the navigation device 6 is displayed again.
[0049]
On the other hand, if it is determined in step S1-6 that the gear position of the host vehicle is held in reverse, then in step S1-7, the audio / visual control device 3 determines the backward travel distance of the host vehicle. It is determined whether or not a distance D1 (for example, 3 m) has been reached. When it is determined that the reverse travel distance of the host vehicle has not reached the predetermined distance D1, the processes after step S1-3 are repeated, and the rear of the host vehicle captured by the CCD camera 4 on the display 2 is displayed. Real images are displayed continuously.
[0050]
On the other hand, if it is determined in step S1-7 that the backward travel distance of the host vehicle has reached the predetermined distance D1, the viewpoint conversion control unit 15 uses the CCD as a conversion table used for coordinate conversion in the coordinate conversion processing unit 12. The second conversion table 13b for converting the actual image captured by the camera 4 to the converted image viewed from the viewpoint of the virtual camera A shown in FIG. 3B is selected, and the converted image is displayed. Is generated and displayed.
[0051]
Specifically, first, in step S1-8, image data indicating an actual image behind the host vehicle from the CCD camera 4 is taken into the input frame buffer 11 of the viewpoint conversion controller 5 in the same manner as in step S1-3. In step S1-9, the coordinate conversion processing unit 12 performs coordinate conversion processing using the second conversion table 13b, and image data indicating an actual image behind the host vehicle captured in the input frame buffer 11 is obtained. It is converted into image data indicating a converted image behind the host vehicle viewed from the viewpoint of the virtual camera A, and is taken into the output frame buffer 14. The output frame buffer 14 outputs image data indicating a converted image of the rear side of the host vehicle viewed from the viewpoint of the virtual camera A at a predetermined timing, is converted into an analog display image signal S1, and is converted into the audio / visual control device 3. To be supplied.
[0052]
This display image signal S1 is selected as a selection image signal S2 to be supplied to the display 2 by the audio / visual control device 3, and in step S1-10, a converted image of the rear side of the host vehicle viewed from the viewpoint of the virtual camera A is obtained. It will be displayed on the display 2.
[0053]
While the converted image of the rear side of the host vehicle viewed from the viewpoint of the virtual camera A is displayed on the display 2, whether or not the gear position of the host vehicle is held in reverse is constantly monitored by the audio / visual control device 3. (Step S1-11). When it is determined that the gear position of the host vehicle has been shifted from the reverse position, the process returns to step S 1-1, and the image signal from the navigation device 6 is selected as the selection image signal to be supplied to the display 2. The navigation image from the navigation device 6 is displayed again.
[0054]
On the other hand, if it is determined in step S1-11 that the gear position of the host vehicle is held in reverse, then in step S1-12, the audio / visual control device 3 determines the backward travel distance of the host vehicle. It is determined whether or not a distance D2 (for example, 6 m) has been reached. When it is determined that the backward travel distance of the host vehicle has not reached the predetermined distance D2, the processes after step S1-8 are repeated, and the rear of the host vehicle viewed from the viewpoint of the virtual camera A is displayed on the display 2. The converted image is continuously displayed.
[0055]
On the other hand, if it is determined in step S1-12 that the backward running distance of the host vehicle has reached the predetermined distance D2, the viewpoint conversion control unit 15 uses the CCD as a conversion table used for coordinate conversion in the coordinate conversion processing unit 12. A third conversion table 13c for converting the real image captured by the camera 4 to the plane conversion image viewed from the viewpoint of the virtual camera B shown in FIG. A converted image is generated and displayed.
[0056]
Specifically, first, in step S1-13, as in steps S1-3 and S1-8, image data indicating an actual image behind the host vehicle from the CCD camera 4 is input to the input frame buffer 11 of the viewpoint conversion controller 5. Is taken in. In step S1-14, the coordinate conversion processing unit 12 performs coordinate conversion processing using the third conversion table 13c, and image data indicating an actual image behind the host vehicle captured in the input frame buffer 11 is obtained. It is converted into image data indicating a plane-converted image behind the host vehicle viewed from the viewpoint of the virtual camera B, and is taken into the output frame buffer 14. The output frame buffer 14 outputs image data indicating a plane-converted image behind the host vehicle as viewed from the viewpoint of the virtual camera B at a predetermined timing, and is converted into an analog display image signal S1 to be an audio / visual control device. 3 is supplied.
[0057]
Then, this display image signal S1 is selected as a selection image signal S2 to be supplied to the display 2 by the audio / visual control device 3, and in step S1-15, a plane conversion image behind the host vehicle viewed from the viewpoint of the virtual camera B is displayed. Will be displayed on the display 2.
[0058]
The audio / visual control device 3 constantly monitors whether or not the gear position of the host vehicle is held in reverse while displaying a plane conversion image behind the host vehicle viewed from the viewpoint of the virtual camera B on the display 2. (Step S1-16). When it is determined that the gear position of the host vehicle has been shifted from the reverse position, the process returns to step S 1-1, and the image signal from the navigation device 6 is selected as the selection image signal to be supplied to the display 2. The navigation image from the navigation device 6 is displayed again. On the other hand, if it is determined that the gear position of the host vehicle is held in reverse, the processes after step S1-13 are repeated, and the display 2 is converted to a plane behind the host vehicle as viewed from the viewpoint of the virtual camera B. Images will be displayed continuously.
[0059]
As described above, in the in-vehicle system 1 to which the present invention is applied, when displaying the image behind the host vehicle on the display 2 when the host vehicle is traveling backward, at the stage of starting the host vehicle traveling backward, An actual image of the rear side of the host vehicle captured by the camera 4 is displayed on the display 2, and it is assumed that the host vehicle is viewed from a viewpoint higher than the viewpoint of the CCD camera 4 when the backward traveling distance of the host vehicle reaches a predetermined distance. Since the converted image is displayed on the display 2, when the driver starts the backward traveling of the host vehicle, the driver displays a height object such as another vehicle or a building existing behind the host vehicle. 2 can be appropriately recognized in the real image behind the host vehicle displayed in FIG. 2, and after the host vehicle has traveled backward by a predetermined distance, a converted image that is easier to see than the actual image is referred to. And in, it is possible to recognize the state of the vehicle rear better.
[0060]
Further, in the in-vehicle system 1, an image behind the host vehicle displayed on the display 2 is switched in a stepwise manner according to the backward travel distance of the host vehicle, and the rear of the host vehicle imaged by the CCD camera 4 at the start of the backward travel. When the host vehicle travels backward by a predetermined distance, a converted image that is virtually viewed from a viewpoint higher than the viewpoint of the CCD camera 4 is displayed, and when the host vehicle further travels backward by a predetermined distance, the road surface from a higher viewpoint is displayed. Since a plane-converted image that is virtually viewed when viewed in a direction perpendicular to the vehicle is displayed, the image behind the host vehicle displayed on the display 2 can be switched smoothly so as not to give the driver a sense of incongruity. In particular, when parking in a parking space while the vehicle is running backward, the plane behind the host vehicle is just before parking. Since conversion image is to be displayed on the display 2, driver with reference to this plane transformation image, it is possible to perform the driving operation such as aligning the position of the vehicle very appropriately in the parking space.
[0061]
In addition, the vehicle-mounted system 1 demonstrated above shows the example of 1 application of this invention, and various technical changes are possible in the range which implement | achieves the characteristic of this invention. For example, in the in-vehicle system 1 described above, the backward travel distance of the own vehicle is used as a reference as a timing for switching the image behind the own vehicle to be displayed on the display 2, but instead of the backward travel distance of the own vehicle, The elapsed time after the host vehicle starts to travel backward may be used as a reference.
In this case, the audio / visual control device 3 includes a timer for counting the elapsed time. For example, when the reverse-on signal is supplied from the reverse switch 7, the audio / visual control device 3 displays the actual image behind the host vehicle on the display 2 and Turn on and count elapsed time. Then, when the elapsed time reaches the predetermined time T1, a converted image that is assumed to be viewed from the viewpoint higher than the viewpoint of the CCD camera 4 is displayed on the display 2, and the elapsed time is further set to the predetermined time T2. At that time, the display 2 displays a plane-converted image that is virtually assumed when the rear of the host vehicle is viewed from a higher viewpoint in a direction perpendicular to the road surface. Here, the predetermined times T1 and T2 can be arbitrarily set. However, considering a general driving operation when the vehicle is traveling backward, it is appropriate to set T1 to about several seconds and T2 to about several seconds. It is.
[0062]
Further, in the above-described in-vehicle system 1, an image behind the host vehicle displayed on the display 2 is a real image, a converted image that is virtually assumed when viewed from a higher viewpoint than the real image, and is perpendicular to the road surface from a higher viewpoint than the converted image. Switching is made in three stages of a plane-converted image virtually viewed when viewed in the direction, but the image behind the host vehicle displayed on the display 2 is switched in two stages: a real image and a converted image, or a real image and a plane-converted image. You may do it. In this case as well, as in the above-described example, when the host vehicle starts to move backward, the driver can be made to properly recognize other objects, such as other vehicles and buildings, existing behind the host vehicle. After the host vehicle travels backward by a predetermined distance, the driver can recognize the state behind the host vehicle appropriately.
[0063]
In the in-vehicle system 1 described above, the image behind the host vehicle to be displayed on the display 2 is switched in three stages. However, a larger number of converted images having different viewpoint heights are generated so that the display 2 You may make it switch the image of the back of the own vehicle displayed on in multiple steps. In this case, the viewpoint conversion controller 5 is further provided with a large number of conversion tables, and these multiple conversion tables are selectively used to perform coordinate conversion processing in the coordinate conversion processing unit 12, so that the viewpoint heights of the viewpoint conversion controllers 5 can be adjusted. Different converted images are sequentially generated. Then, the converted images having different viewpoint heights are displayed on the display 2 in order from the converted image having the lowest viewpoint according to the backward travel distance of the host vehicle or the elapsed time from the start of the reverse travel. Become.
[0064]
As described above, when the converted images having different viewpoint heights are displayed on the display 2 in order from the image with the lowest viewpoint, switching of the image behind the host vehicle displayed on the display 2 is performed more smoothly. be able to.
[0065]
By the way, when the above-described plane conversion image, that is, a conversion image virtually imagined when the rear of the host vehicle is viewed from a high viewpoint in a direction perpendicular to the road surface is displayed on the display 2, the plane conversion image is displayed on the display 2 as it is. Then, the front end side in the traveling direction when the host vehicle travels backward is displayed on the upper end side of the display 2, and the rear end side in the traveling direction is displayed on the lower end side of the display 2. When the plane-converted image is displayed on the display 2 in this way, the driver often receives the illusion that the host vehicle is traveling forward from the change in the image accompanying the host vehicle traveling backward. Makes you feel uncomfortable.
[0066]
Therefore, when a plane conversion image is displayed on the display 2 as an image behind the host vehicle, the plane conversion image with the vertical direction inverted is obtained by performing upside down conversion processing on the image data indicating the plane conversion image. It is desirable to display on the display 2. Here, “upside down conversion” does not mean that the real image is converted into a mirror image, but means that the real image is rotated 180 degrees.
[0067]
Here, an example of processing in the case where the plane-converted image in which the vertical direction is inverted is displayed on the display 2 in the above-described in-vehicle system 1 will be specifically described with reference to the flowchart of FIG. The process from the start of the operation of the in-vehicle system 1 until the actual image behind the host vehicle and the converted image behind the host vehicle viewed from the viewpoint of the virtual camera A are sequentially displayed on the display 2 is shown in FIG. Since this is the same as the processing from step S1-1 to step S1-11 shown in the flowchart, the description is omitted here.
[0068]
In this example, if the audio / visual control device 3 determines in step S1-11 shown in the flowchart of FIG. 6 that the gear position of the host vehicle is held in reverse, then in step S2-1, The audio / visual control device 3 determines whether the backward travel distance of the host vehicle has reached a predetermined distance D2. If it is determined that the reverse travel distance of the host vehicle has not reached the predetermined distance D2, the processes after step S1-8 are repeated, and the virtual camera as shown in FIG. The converted image behind the host vehicle viewed from the viewpoint of A is continuously displayed.
[0069]
On the other hand, if it is determined in step S2-1 that the backward running distance of the host vehicle has reached the predetermined distance D2, image data indicating the actual image behind the host vehicle from the CCD camera 4 is viewed in step S2-2. The data is taken into the input frame buffer 11 of the conversion controller 5. In step S2-3, coordinate conversion processing using the third conversion table 13c is performed by the coordinate conversion processing unit 12, and image data indicating an actual image behind the host vehicle captured in the input frame buffer 11 is obtained. It is converted into image data indicating a plane conversion image behind the host vehicle viewed from the viewpoint of the virtual camera B.
[0070]
Next, in step S2-4, the image data indicating the plane conversion image is taken into the viewpoint conversion control unit 15, and the viewpoint conversion control unit 15 performs upside down conversion processing on the image data indicating the plane conversion image. Is called. Then, the image data indicating the plane-converted image that has been subjected to the upside down conversion process is taken into the output frame buffer 14 and output from the output frame buffer 14 at a predetermined timing, converted into an analog display image signal S1, and audio. Supplied to the visual control device 3
[0071]
The display image signal S1 is selected as the selection image signal S2 to be supplied to the display 2 by the audio / visual control device 3, so that the vertical direction as shown in FIG. The inverted plane conversion image behind the host vehicle is displayed on the display 2.
[0072]
While displaying the plane conversion image of the rear side of the host vehicle whose vertical direction is reversed on the display 2, whether or not the gear position of the host vehicle is held in reverse is constantly monitored by the audio / visual control device 3. (Step S2-6). When it is determined that the gear position of the host vehicle has been shifted from the reverse position, the process returns to step S 1-1, and the image signal from the navigation device 6 is selected as the selection image signal to be supplied to the display 2. The navigation image from the navigation device 6 is displayed again. On the other hand, if it is determined that the gear position of the host vehicle is held in reverse, the process after step S2-2 is repeatedly performed, and a plane-converted image of the rear side of the host vehicle in which the vertical direction is reversed is displayed on the display 2. It will be displayed continuously.
[0073]
As described above, when a plane-converted image that is assumed to be viewed from behind the vehicle in a direction perpendicular to the road surface from a high viewpoint is displayed on the display 2, upside down conversion processing is performed on the image data indicating the plane-converted image. When the vehicle is traveling backward, the front end side in the traveling direction is displayed on the lower end side of the display 2 and the rear end side in the traveling direction is displayed on the upper end side of the display 2. The moving direction of the host vehicle in the above is sensibly coincident with the actual moving direction of the own vehicle, and the driver can feel the uncomfortable feeling and can more appropriately recognize the state behind the host vehicle. .
[0074]
In the example described above, when the upside down conversion process is performed on the image data indicating the plane conversion image, the viewpoint conversion control unit 15 captures the image data indicating the plane conversion image. 15, the up / down inversion conversion process is performed, but as the third conversion table 13 c, a conversion table for converting the real image behind the host vehicle imaged by the CCD 4 into a plane conversion image in which the vertical direction is inverted. When performing coordinate conversion by the coordinate conversion processing unit 12, upside down conversion may be performed at the same time.
[0075]
In the example described above, an actual image of the rear side of the host vehicle captured by the CCD camera 4 when the gear position of the host vehicle is determined to be shifted to the reverse position is displayed, and then the backward travel distance of the host vehicle is displayed. When the vehicle reaches a predetermined distance, or when the elapsed time since the host vehicle started reverse traveling reaches a predetermined time, a converted image viewed from the viewpoint of virtual camera A or virtual camera B is displayed. However, a switch or the like that can be operated by the driver is provided in the passenger compartment of the own vehicle, and the actual image and the converted image are switched and displayed according to the driver's operation using the switch or the like. It may be.
[0076]
However, in this case, the operation by the driver using a switch or the like until a predetermined time elapses after the gear position of the own vehicle is shifted to the reverse position or until the reverse travel distance of the own vehicle reaches the predetermined distance. Even if there is, the display 2 displays the actual image behind the host vehicle without accepting the operation by the driver, and when there is an operation by the driver after elapse of a predetermined time or after traveling backward by a predetermined distance, It is desirable to switch the image displayed on the display 2 to a converted image viewed from the viewpoint of the virtual camera A or the virtual camera B according to the operation. Further, when an operation by a driver using a switch or the like is performed while a converted image viewed from the viewpoint of the virtual camera A is displayed on the display 2, an image displayed on the display 2 is displayed as the viewpoint of the virtual camera A. The converted image viewed from the viewpoint may be switched to the converted image viewed from the viewpoint of the virtual camera B.
[0077]
By switching the image behind the host vehicle displayed on the display 2 as described above, the actual image behind the host vehicle is displayed at the stage of starting the backward traveling of the host vehicle, and the backward traveling distance or time elapses. Accordingly, it is possible to perform appropriate display while switching to a converted image with a high viewpoint position, and it is possible to switch an image displayed based on an operation by a driver using a switch or the like, and an image requested by the driver Can be displayed appropriately.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of an in-vehicle system to which the present invention is applied.
FIG. 2 is a block diagram showing an internal configuration of a viewpoint conversion controller provided in the in-vehicle system.
FIG. 3 is a diagram for explaining viewpoint heights of a real image, a converted image, and a plane-converted image behind the host vehicle. FIG. 3A shows a viewpoint of a CCD camera installed behind the host vehicle. ) Shows the viewpoint of virtual camera A that is virtually installed at a higher position than the CCD camera, and (c) shows the viewpoint of virtual camera B that is virtually installed at a higher position than virtual camera A. ing.
FIGS. 4A and 4B are diagrams showing a situation when the host vehicle is traveling backward, FIG. 4A is a diagram showing a state in which the host vehicle has started backward traveling, and FIG. FIG. 4C shows a state where the vehicle has traveled backward by the distance D1, and FIG. 5C shows a state where the vehicle has traveled backward by the predetermined distance D2 from the reverse travel start position.
5A and 5B are diagrams showing an image of the rear of the host vehicle displayed on the display, in which FIG. 5A shows an example of an actual image of the rear of the host vehicle captured by the CCD, and FIG. An example of a converted image virtually viewed from the viewpoint of A is shown, and (c) shows an example of a planar converted image virtually imagined when the rear of the host vehicle is viewed from the viewpoint of the virtual camera B in the direction perpendicular to the road surface.
FIG. 6 is a flowchart for explaining a flow of a series of processes in the in-vehicle system.
FIG. 7 is a flowchart for explaining the flow of processing in the case where a plane-converted image with the up-down direction inverted is displayed on the display in the in-vehicle system.
8A and 8B are diagrams showing an image of the rear side of the host vehicle displayed on the display, in which FIG. 8A shows an example of a converted image virtual when the rear side of the host vehicle is viewed from the viewpoint of the virtual camera A, and FIG. An example of a plane conversion image in which the vertical direction is inverted is shown.
[Explanation of symbols]
1 In-vehicle system
2 display
3 Audio visual control device
4 CCD camera
5 Viewpoint conversion controller
11 Input frame buffer
12 Coordinate transformation processing unit
13a, 13b, 13c conversion table
14 Output frame buffer
15 Viewpoint conversion control unit

Claims

A camera that is installed at the rear of the vehicle and captures an image of the rear of the vehicle;
A converted image generating means for generating a converted image that is virtual when the actual image of the rear of the vehicle imaged by the camera is coordinate-converted and captured at a position higher than the actual viewpoint of the camera;
Display means for selectively displaying the real image behind the vehicle and the converted image;
Display control means for selecting an image to be displayed on the display means according to the situation of the vehicle,
When the vehicle starts to travel backward, the display control unit first selects an actual image behind the vehicle as an image to be displayed on the display unit, and when the vehicle travels backward by a predetermined distance, or the vehicle A vehicle rearward monitoring device that switches an image to be displayed on the display means to the converted image when a predetermined time has elapsed since the start of reverse running of the vehicle.

The converted image generating means generates a plurality of converted images having different viewpoint heights;
The display control means switches a plurality of conversion images generated by the conversion image generation means every time the vehicle travels backward by a predetermined distance or every time a predetermined time elapses, from a conversion image having a low viewpoint to a high viewpoint. The vehicle rear monitoring apparatus according to claim 1, wherein the display unit sequentially displays the converted images on the display unit.

The converted image generation means generates a plane converted image virtually assumed as an image of the rear of the vehicle taken in a direction perpendicular to the road surface as the converted image having the highest viewpoint height. The vehicle rear monitoring apparatus according to claim 1.

The converted image generating means is configured such that when the plane-converted image is displayed on the display means, the front end side in the traveling direction when the vehicle is traveling backward is the lower end side of the display means, and the rear end side in the traveling direction is the upper end side of the display means. The vehicle rear monitoring device according to claim 3, wherein the generated plane conversion image is inverted upside down so as to be displayed on the vehicle.