JP2009105660A - 車載用撮像装置 - Google Patents

Abstract

【課題】 車両に搭載された複数のカメラの撮影画像を合成して、車両の周囲の地面の画像を平面的に表示し、しかも車両の外形と障害物との間の関係をマージンを持って表示できる「車載用撮像装置」を提供する。
【解決手段】 車両に搭載した複数のカメラの画像を合成し、自車両表示部１５０の周囲に、地面１００の画像を平面状に展開して表示する。自車両表示部１５０では、車両の外形を示すイラスト境界線１６１を描画する。このイラスト境界線１６１で示される車両の輪郭は、車両の実画像の外形よりもひとまわり大きく描画されて表示される。その結果、車両とその周囲との間にマージン領域Ｄ２，Ｅ２を形成でき、走行時の障害物との接触などの危険性を低減できる。
【選択図】図９

Description

本発明は、車両に複数のカメラが設けられ、このカメラで撮影された画像を合成して表示するものであり、特に車両とその外側の領域との境界部を認識しやすくした車載用撮像装置に関する。

以下の各特許文献には、車両に複数のカメラを搭載した車載用撮像装置が開示されている。車両に設置されたそれぞれのカメラは、魚眼レンズのように広角の空間領域の画像を集光するレンズを備えており、このレンズで集光された画像をＣＣＤなどの光検知素子で検知できるようにしている。

これら車載用撮像装置では、複数のカメラで撮影された車両の外側の領域の画像を、上方から見た投影画像となるように合成し、この合成画像に、車両のイラスト画像を組み合わせて表示している。このように表示することで、車両とその周囲領域の関係を画面上で把握しやすくしている。

しかし、車両の複数箇所に設けたカメラで車両とその外側の領域との境界部を撮影する場合に、カメラがドアミラーなどに取り付けられて車両から離れた位置にあれば、画像を合成したときに、車両とその外側の領域との境界部をほぼ正確に表示することができる。しかし、車両の前端部や後端部に設置したカメラは、前記前端部や後端部よりもやや車両の中心部側に後退した位置に設けられるために、このカメラから前方や後方を見たときに、その手前に位置する車両の一部で前方領域や後方領域の一部が隠される領域が存在する。そのため、このカメラで撮影した画像を合成しても、車両の前端部や後端部の直近に位置する領域の画像を取得することができない。

そこで、以下の特許文献３に記載された車載用撮像装置では、車両の直近の外側領域のうちの画像として取得できない領域を、死角領域または注意喚起領域として、この領域を特定の色で塗りつぶすなどの処理を行っている。
特開平３−９９９５２号公報 特開平８−３０５９９９号公報 特許第３３００３３４号公報

従来のように、平面に投影した周囲領域の画像と車両のイラスト画像とを組み合わせる表示形態では、イラスト画像として表示される車両の輪郭線が、車両の実画像の輪郭線とほぼ一致するように表示されるのが一般的である。この場合に、運転者らは画面に表示されているイラスト画像の車両の輪郭と障害物との間の距離を過信して運転するおそれがある。この場合に、画面上でのイラスト画像の車両と障害物の画像との間に十分な距離があると勘違いして、車両を障害物に異常に接近させるなどの危険性がある。

また、道路が傾いていたり、凹凸の激しい道を走行しているときは、車両が揺れて、車両の外端部の位置が左右に大きく揺れ、これにより車両が道路の両側にある障害物に触れるなどのおそれがある。しかし、表示画面に表示されている車両のイラスト画像を目視して運転すると、車両の揺れによる障害物への接近を避けることが難しい。

また、特許文献３に記載のように、死角領域または注意喚起領域を特定の色で塗りつぶしてしまうと、表示画面を見た操作者にとって、塗りつぶされた部分がなにを意味しているのか、すなわち車両の一部であるのか、地面などを意味しているのかを直感で理解できなくなり、操作者らは、車両の外縁部の位置を把握するのが困難になる。

本発明は、上記従来の課題を解決するものであり、複数のカメラで撮影された車両の周囲領域の画像が合成されて表示されるとともに車両のイラストが表示されるものであり、車両と障害物などとの距離を余裕をもって判断することができる車載用撮像装置を提供することを目的としている。

第１の本発明は、車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有しており、
前記画像処理部では、それぞれのカメラで撮影された車両の周囲領域の画像を合成するとともに、車両の外形を示すイラスト境界線を画面の自車両表示部に表示する処理を行うとともに、
車両に近接した周囲領域の画像が得られない画像不存在部分を、前記イラスト境界線で囲まれた領域内に含むように、前記イラスト境界線を表示する処理が行われることを特徴とするものである。

本発明の車載用撮像装置では、カメラで撮影した車両の周囲領域の画像が平面座標に投影され合成されて表示されるが、カメラの斜め前方の下側で且つ車両の直近に位置している領域の画像は車両の一部で遮られるために表示することができない。このように周囲領域の画像が得られていない画像不存在部分に、車両の外形を示すイラスト境界線を配置する。つまり、画面では、前記画像不存在部分に車両の一部が位置しているかのような表示が行われる。そのために、表示画面上において、画像不存在部分に、何も映らない領域を設けたり、一定の色で塗りつぶした領域を設けたりするような、不自然な表示状態となるのを防止できる。

また、表示画面では、画像不存在部分に車両の一部が存在しているかのように表示しているため、画面上で確認されるこのイラスト境界線と障害物の画像との距離は、実際の車両と障害物との距離よりも短く表示されることになり、実際の車両と障害物との距離に安全率を含ませることができる。

本明細書での「イラスト境界線」とは、画像を上方から見た状態に投影したときに、車両とそれよりも外側の領域との境界線のみをイラストで示したものである。このイラスト境界線で囲まれた範囲の内部は、車両の形状のイラストが描かれていてもよいし、または何も描かなかったり、あるいは一定の色で塗りつぶしてもよい。

すなわち、本発明は、前記イラスト境界線で囲まれた領域内に、車両のイラスト画像を形成して表示するものにできる。

本明細書での「車両のイラスト画像」とは、車両を上方から見た輪郭と近似した輪郭の内側に、車両の窓やボンネットの形状が記載されているものを意味する。

本発明は、例えば、前記画像不存在部分は、車両の前端部の前方および車両の後端部の後方の領域である。

第２の本発明は、車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有しており、
前記画像処理部では、それぞれのカメラで撮影された車両の周囲領域の画像を合成する処理と、車両の外形を示すイラスト境界線を画面の自車両表示部に合成する処理とが行なわれ、
前記イラスト境界線が、画像内での車両の実画像の境界線よりも外側に表示されることを特徴とするものである。

例えば、本発明は、前記イラスト境界線を、車両の実画像の前端部よりも前方に形成し、または前記イラスト境界線を、車両の実画像の後端部よりも後方に形成する。あるいは前端部の前方と後端部の後方の双方に形成する。

または、本発明は、前記イラスト境界線を、車両の実画像の左右両端部よりも外側に形成する。

第２の本発明においても、前記イラスト境界線で囲まれた領域内に、車両のイラスト画像を形成して表示することが可能である。

第２の本発明では、表示画面に、周囲領域の画像とともに、イラスト境界線またはイラスト画像で表された車両の形状を表示する。このとき、車両のイラストの輪郭を、車両の実画像の端部よりもはみだした位置に形成する。すなわち、イラストで描かれる車両の画像を実画像の車両よりも大きめにしておく。そのために、表示画面に表示された車両の画像と障害物の画像との距離を、実際の車両と障害物との相対距離よりも短くでき、安全性の高い運転に寄与できる。

また、本発明は、前記画像処理部において、表示画面上で、前記イラスト境界線の位置を変化させて表示させる処理を行なうことができる。

例えば、前記画像処理部で、車両の水平面に対する傾斜角を検知し、車両が傾いている側に位置する前記イラスト境界線を、車両の実画像の端部よりも外側の位置に表示する。また、車両が傾いている側と逆側に位置する前記イラスト境界線を、車両の実画像の端部に近づく位置に表示する。

このように、車両の姿勢などに応じて、イラスト境界線の表示位置を変化させると、実際の車両の揺れなどを表示画面に反映して表示でき、揺れている車両と側方の障害物との距離などを画面から把握しやすくなる。

あるいは、車両の速度を監視する速度監視部を有しており、前記画像処理部では、車両の速度に応じて、イラスト境界線の描画位置を変更する処理が行なわれるものであってもよい。

第１の本発明の車載用の撮像装置では、カメラで映すことができない、車両の直近に位置する画像不存在部分に、車両の形状を示すイラスト画像を当てはめている。そのため、画像不存在部分に何も表示されないとか、車両や地面と全く無関係な塗りつぶし部が生じるような不自然な表示状態となるのを防止でき、自然な画像を表示できる。

第２の本発明の車載用の撮像装置では、平面に投影した周囲領域の画像と車両のイラスト画像とが表示されるものであって、イラスト画像で表示される車両を、車両の実画像よりもやや大きくしている。そのために、画面で表示される車両と障害物との距離を、実際の距離よりも短く表示できることになり、運転の安全性を高めることができる。

図１は車両でのカメラの配置を示す左側面図、図２はその平面図、図３はその正面図である。図４は、本発明の車載用撮像装置の実施の形態を示すブロック図である。図５は前カメラの光検知素子で受光した実画像、図６は後カメラの光検知素子で受光した実画像、図７は、左カメラの光検知素子で受光した実画像をそれぞれ示す説明図である。図８と図９は、表示装置の画面の表示内容の一例を示す説明図である。図１０は、図９に示す表示例と車両の揺れとの関係を示す説明図である。

図１ないし図３には、自動車の車両１が示されているが、この車両１の図形は、表示装置の表示画面に表示される画像を意味しているのではなく、実際の自動車の車両を意味している。

車両１には、前端部２に前バンパー３が設けられ、後端部４に後バンパー５が設けられている。車両１の両側部には前輪７，７と後輪８，８が設けられている。車両１の両側部では、前輪７，７と後輪８，８との中間で且つ前輪７に寄った位置の上方に、ドアミラー６，６が設けられている。

車両１の前端部２に前カメラ２１が設置されている。前カメラ２１は車両１の前端部２において、車両の幅寸法の中心に位置している。図１と図２に示すように、前カメラ２１は、車両１の最前端である前バンパー３の前端部３ａよりもやや後方に位置している。車両１の後端部４には後カメラ２２が設置されている。後カメラ２２は車両１の後端部４において、車両の幅寸法の中心に位置している。図１と図２に示すように、後カメラ２２は、車両１の最後端である後バンパー５の後端部５ａよりもやや前方に位置している。

左側のドアミラー６には、左カメラ２３が取り付けられており、右側のドアミラー６には右カメラ２４が取り付けられている。図２に示すように、左カメラ２３は、車両１の左側面１１より左方へ離れた位置にあり、右カメラ２４は、車両１の右側面１２よりも右方へ離れた位置にある。

それぞれのカメラ２１，２２，２３，２４は、魚眼レンズと、魚眼レンズで集光された光を検知する複数の検知点を有する光検知素子（撮像素子）とを有している。光検知素子は、ＣＣＤまたはＣＭＯＳである。

魚眼レンズは、複数枚のレンズが組み合わされて構成されている。魚眼レンズを使用したカメラ２１，２２，２３，２４の光検知素子で検知できる画角は広角であり、その画角は１５０度から１８０度の範囲または１５０度から１９０度の範囲程度にすることが可能である。

前カメラ２１は、光軸が前方に向けられているとともに、光軸が地面１００に向けて水平よりもやや下向きに傾斜するように設置されている。同様に、後カメラも、光軸が後方に向けられているとともに、光軸が地面１００に向けて水平よりもやや下向きに傾斜するように設置されている。

図１では、前カメラ２１の縦方向の画角がα１で示され、画角α１の視野の限界がＹ１で示されている。図２には、前カメラ２１で撮影可能な地面１００の横方向の視野の限界Ｘ１が示されている。この限界Ｘ１は、縦方向での画角の限界Ｙ１と地面１００との交線に相当している。この限界Ｙ１の横方向の画角はβ１である。

同様に、図１には、後カメラ２２の縦方向の画角がα２で示され、画角α２の視野の限界がＹ２で示されている。図２には、後カメラ２２で撮影可能な地面１００の横方向の視野の限界Ｘ２が示されている。この限界Ｘ２は、縦方向での画角の限界Ｙ２と地面１００との交線に相当している。この限界Ｙ２の横方向の画角はβ２である。

図３に示すように、左カメラ２３と右カメラ２４の光軸は、それぞれ右方向と左方向に向けられているが、それぞれの光軸は水平線に対して下向きに傾いて地面１００に向くように設定されている。

図３には、左カメラ２３と右カメラ２４のそれぞれの縦方向の画角がα３で示されているとともに、この画角α３の視野の限界がＹ３で示されている。また、図２では、左カメラ２３と右カメラ２４で撮影可能な地面１００の横方向の視野の限界Ｘ３が示されている。この限界Ｘ３は、縦方向の限界Ｙ３と地面１００との交線に相当している。前記限界Ｘ３の横方向の画角はβ３である。前述のように、それぞれの画角α１，β１，α２，β２，α３，β３の最大値は、魚眼レンズの仕様にもよるが、１８０度程度であり、または１９０度やそれ以上の角度とすることも可能である。

図５は、前カメラ２１の魚眼レンズで集光されて、複数の受光画素が平面的に配列したＣＣＤなどの光検知素子で撮影された実画像１２１を示している。この実画像１２１には、画角α１とβ１の範囲で、車両１の前方の景色が映されている。ただし、図１に示すように、前カメラ２１のレンズが、前バンパー３の前端部３ａよりも後方に位置しているために、前端部３ａに直近の地面１００やその他の障害物などのように近接した周囲領域の画像は、その手前に位置する前バンパー３で隠されて取得することができない。

図１では、前端部３ａよりも前方の領域で且つ前カメラ２１で画像を取得できない領域をＡ１で示している。図２では、車両１の上方から地面に垂直な視線で下向きに見たときに、前カメラ２１で画像を取得できない前記領域を、破線を付してＡ１で示している。前記Ａ１が、前方の画像不存在部分である。

ただし、図５に示す実画像１２１では、前記画像不存在部分Ａ１を斜め手前側で隠している車両１の一部である前バンパー３が映っている。

図６は、後カメラ２２の魚眼レンズで集光されてＣＣＤなどの光検知素子で撮影された実画像１２２を示している。この実画像１２２には、前記画角α２，β２の範囲で、車両１の後方の景色が映されている。図１に示すように、後カメラ２２のレンズは、後バンパー５の後端部５ａよりもやや前方に配置されているため、後カメラ２２で撮影される地面１００やその他の障害物などのうちの、後バンパー５の後端部５ａの直近の領域の画像を取得することができない。図１ではこの領域をＢ１で示し、図２でも破線を付した領域としてＢ１で示している。このＢ１の領域が、後方の画像不存在部分である。この画像不存在部分Ｂ１は、図２に示すように、全ての領域を地面１００と垂直な視野で上方から見たときに本来は見えるはずの画像である。

ただし、図６に示す実画像では、前記画像不存在部分Ｂ１よりも手前側から画像不存在部分Ｂ１を隠している後バンパー５の一部が映っている。

また、図６の実画像１２２では、車両１の後方において、地面１００に印された白線９１，９１と、車両１の左側面１１よりもさらに左側に離れた位置で、地面１００に印された側方の白線９２が歪んで映っている。また、車両１の真後ろに位置する他の自動車９３の画像と、車両１の左斜め後方に位置する他の自動車９４の画像も歪んで映っている。

図７は、左カメラ２３の魚眼レンズで集光されてＣＣＤなどの光検知素子で撮像された実画像を示している。この映像の画角はα３とβ３の範囲である。図３に示すように、左カメラ２３は、ドアミラー６に設置されて、車両１の左側面１１から離れた位置にあり、且つレンズの光軸は、水平面よりもやや地面１００に向く斜め下向きに設定されている。そのため、実画像１２３には、車両１の左側面１１の下方部分の画像が前後方向の全域にわたって映っており、さらに、前輪７と後輪８も映っている。図３に示す画角の限界Ｙ３からも明らかなように、図７に示す実画像１２３では、車両１と地面１００との境界部、すなわち前輪７と地面１００との接触部および後輪８と地面１００との接触部が明確に映っている。

図７に示す実画像１２３では、図１と図２に示す前方の画像不存在部分Ａ１や後方の画像不存在部分Ｂ１のように、車両１の直近に位置する地面１００の画像が欠落する領域が存在していない。

また、図７に示す実画像１２３には、図６にも示されている車両１の左側方において地面１００に記された側方の白線９２と、車両１の左斜め後方に位置する他の自動車９４の画像が映っている。

図では省略しているが、右カメラ２４で映された画像は、図７の画像と近似しており、車両１の右側面１２の下方部分および、前輪７と後輪８が映されている。すなわち、車両１の右側面１２と地面１００との境界部である前輪７と地面１００との接触部および後輪８と地面１００との接触部も映されている。

図４は、各カメラで撮像した画像を処理して表示するための回路構成を示すブロック図である。

前カメラ２１のＣＣＤなどの光検知素子で検知された画像は画像メモリ３１ａに与えられて保持される。同様に、後カメラ２２、左カメラ２３および右カメラ２４のそれぞれの光検知素子で検知された画像は、画像メモリ３１ｂ、画像メモリ３１ｃおよび画像メモリ３１ｄに与えられて保持される。

それぞれのカメラ２１，２２，２３，２４の光検知素子で検知された画像信号は、それぞれの画像メモリ３１ａ，３１ｂ，３１ｃ，３１ｄから、各画素毎の画素データとして、画像処理部３２に与えられる。画像処理部３２には表示メモリ３３が併設されており、リアルタイムで変化していく映像の各画素データが表示メモリ３３に保持された後に画像処理部３２で画像処理されていく。画像処理部３２と表示メモリ３３は、制御部３４によって制御される。制御部３４は、ＣＰＵを主体とするものであり、前記画像処理部３２を制御するとともに、表示ドライバ３５を制御する。画像処理部３２で処理されて得られた画像データは、表示ドライバ３５に送られ、車内に設けられた液晶表示パネルなどの表示パネル３６に画像が表示される。

それぞれのカメラ２１，２２，２３，２４に使用されている魚眼レンズの一般的な射影モデルは、等距離射影であり、像高をｒａとし焦点距離をｆとしたときに、ｒａ＝ｆ・θｉである。その他の魚眼レンズの射影モデルは、等立体角射影が、ｒａ＝２ｆ・ｓｉｎ（θｉ／２）であり、正射影が、ｒａ＝ｆ・ｓｉｎθｉである。

カメラに設けられたＣＣＤなどの平面状の光検知素子を撮像面とし、この撮像面の中心から垂直に延びる軸を光軸としたときに、魚眼レンズの射影モデルが分かれば、撮像面に結像している画像点の基となる空間点が、光軸に対してどの天頂角を有する線上に位置し、また光軸回りのどの方位角の位置に有るかを知ることができる。

したがって、カメラの設置位置と光軸の向きを知ることができれば、カメラの魚眼レンズの射影モデルに基づいて、図５ないし図７に示すそれぞれの画像のうちのどの部分をどの方向へどれだけ拡大すれば、その画像を地面１００と平行な平面画像上に投影できるかを計算できる。すなわち、それぞれの画像メモリ３１ａ，３１ｂ，３１ｃ，３１ｄに保持されている画素データは、一度表示メモリ３３で保持された後に、画像処理部３２に与えられ、画像処理部３２では、それぞれの画素データの座標位置に応じて拡大処理または縮小処理がなされ、それぞれの画素データが、地面１００と平行な平面画像のそれぞれの位置に当てはめられて、平面的に投影された画像が合成される。

図２に示すように、車両１の両側の左斜め前方では、前カメラ２１で取得した画像と、左カメラ２３で取得した画像とで重複する部分があり、右斜め前方では、前カメラ２１で取得した画像と、右カメラ２４で取得した画像とで重複する部分がある。同様に、車両１の左斜め後方には、後カメラ２２で取得した画像と、左カメラ２３で取得した画像とで重複する部分がある。図６に示す後カメラ２２の実画像１２２と、図７に示す左カメラ２３の実画像では、自動車９４の画像と白線９２の画像が、重複部分である。また、車両１の右斜め後方では、後カメラ２２の画像と、右カメラ２４の画像とで重複する部分がある。

画像処理部３２では、２つのカメラの画像が重複する部分において、予め決められたいずれか一方のカメラからの画像が使用される。この場合、図５ないし図７に示すように光検知素子で検知された画像のうち、実画像での縮小度が低い方の画像を優先して使用することが、表示画像の品質を高める上で望ましい。

上記のように、画像処理部３２では、それぞれの画像メモリ３１ａ，３１ｂ，３１ｄ，３１ｅから得られる各画素のデータを合成することで、車両１の周囲にある地面１００と平行な平面座標上に投影された画像が合成される。制御部３４の制御動作に基づき、画像処理部３２で合成された平面画像が時間経過とともに順番に表示ドライバ３５に送られて、動画の表示データが生成される。この表示データに基づいて、表示パネル３６の表示画面に合成画像が表示される。表示画面では、合成画像が、時間の経過にしたがって順次変化していく動画として表示される。

図８は、液晶表示パネルなどの表示パネル３６の表示画面に表示される画像の一例を示す部分拡大図である。各カメラで取得された図５ないし図７に示す実画像のうちの車両の周囲領域の画像である地面１００の画像が、画像処理部３２で処理されて、平面座標上に投影された画像に変換される。そして、表示画面には、主に自車両表示部５０の周囲に存在している地面１００が平面画像として表示される。

図８に示すように、地面１００と平行な平面座標に投影した画像を生成することにより、表示画面では、車両１の後方に、地面１００に印された白線９１，９１がほぼ平行に延びて表示され、車両１の後方には、自動車９３の平面画像が表示される。また、図７に示す左カメラ２３で取得された実画像の白線９２が、自車両表示部５０の左側方において前後方向に直線的に延びるように表示される。また、図６の実画像１２２と図７の実画像とから、自車両表示部５０の斜め後方に自動車９４の画像が平面的に表示される。

自動車９３と自動車９４の形状は、図６の実画像１２２と図７の実画像１２３とから得られる画像を合成することで、またはいずれか一方の実画像を使用することで、図８の平面的に投影された画像内においてやや斜めに傾いた形状で表示される。

図８に示すように、自車両表示部５０には、イラスト境界線６１が表示される。このイラスト境界線６１は、予め作成された描画データが図４に示すメモリ３３に記憶されている。図８に示すように、表示画面に車両１の周囲領域の景色である地面１００などがリアルタイムに表示されているときに、画像処理部３２では、画像内において車両１が存在しているべき箇所を自車両表示部５０として推定する。そしてメモリ３３から随時読み出される描画データに基づいて、画面上の前記推定位置に、車両の外形を示すイラスト境界線６１が作画されて表示される。

図７に示すように、左カメラ２３で取得した実画像１２３では、車両１の左側面１１と地面１００との境界部の画像が直接に得られる。よって、画像処理部３２では、図７に示す実画像１２３を平面座標に投影するときに、図８の表示画面内において、車両１の左側面１１と地面１００との境界線がどの位置にあるかの情報を知ることができる。この情報に基づいて、イラスト境界線６１の左側部６１ａの描画位置を決めれば、この左側部６１ａを、車両１の左側面１１と地面１００との境界線とほぼ同じ位置に対応させて表示できる。同様に、右カメラ２４で取得した情報からイラスト境界線６１の右側部６１ｂの描画位置を決めることができる。

ただし、イラスト境界線６１の前端部６１ｃは、車両１の前バンパー３の前端部３ａに相当する画像位置よりもさらに前方の位置に描画されて表示される。すなわち、イラスト境界線６１の前端部６１ｃは、前バンパー３の前端部３ａの前方に位置する領域Ａ２よりもさらに前方に表示される。

図８に示す画像では、車両１の前バンパー３の前端部３ａよりも前方の領域Ａ２が、図１と図２に示す前方の画像不存在部分Ａ１に対応する領域である。仮にイラスト境界線６１の前端部６１ｃを、前バンパー３の前記前端部３ａに一致した位置に描画すると、イラスト境界線６１の前端部６１ｃの前方の領域Ａ２は、地面１００の画像が表示されない部分となってしまう。そこで、図８に示す表示例では、画像不存在部分Ａ１に対応する画像内の領域Ａ２を、車両の輪郭を表わすイラスト境界線６１で囲まれる範囲内に取り込むことで、画面上に、画像不存在部分Ａ１が実質的に表示されないようにしている。

同様に、イラスト境界線６１の後端部６１ｄは、車両１の後バンパー５の後端部５ａに相当する画像位置よりもさらに後方の位置に描画されて表示され、画像不存在領域Ａ１に対応する画像領域Ｂ２が、イラスト境界線６１で形成される車両の画像の輪郭の内側に設定される。そのために、画面上に、画像不存在部分Ｂ１が実質的に表示されることはない。

すなわち、図８に示す画像の自車両表示位置５０に表示されるイラスト境界線６１は、その左側部６１ａと右側部６１ｂがそれぞれ車両１の実画像の左側面１１と右側面１２にほぼ対応する位置に描画されるが、イラスト境界線６１の前端部６１ｃは、前バンパー３の前端部３ａに相当する画像位置よりも、さらに画像不存在部分Ａ１に相当する画像領域Ａ２分だけ前方へ膨らんだ位置に描画される。同様に、イラスト境界線６１の後端部６１ｄは、後バンパー５の後端面５ａに相当する画像位置よりも、さらに画像不存在部分Ａ２に相当する画像領域Ｂ２分だけ後方へ膨らんだ位置に描画される。

前記イラスト境界線６１で囲まれた領域の内部は、イラスト境界線６１の線の画像以外に何の画像も存在していなくてもよい。または、イラスト境界線６１に囲まれている領域内が白色やその他の色で一面が同色に塗りつぶされて表示されてもよい。または、図８に示すように、イラスト境界線６１で囲まれている領域内に、窓やボンネットの画像を描画することで、イラスト境界線６１で囲まれた領域を、車両１を上方から平面視した車両と同等のイラスト画像６２としてもよい。

なお、図８では、領域Ａ２と領域Ｂ２を破線のハッチングを付した領域としているが、これは説明の都合のために記載したものであり、実際の画像では、イラスト境界線６１で囲まれる領域内に、前記破線のハッチングは表示されない。

図８に示す表示画像では、自車両表示部５０に車両１の画像に対応するものとして描かれたイラスト境界線６１の前端部６１ｃの前方に画像不存在部分Ａ１が存在しておらず、後端部６１ｄの後方にも画像不存在部分Ｂ１が存在していない。そのため、イラスト境界線６１の前端部６１ｃの前方と、後端部６１ｄの後方に、何の画像も存在していない領域や、車両とは全く異なる単一色などで塗られた表示領域を設ける必要がない。よって、前端部６１ｃの前方と後端部６１ｄの後方で表示が途切れることによって走者者が感じる不安を解消できる。

また、図８の状態から車両１が後退走行するときに、イラスト境界線６１の後端部６１ｄと後方の自動車９３の画像との距離を画面上で確認することで、車両と障害物とが当たる危険性を大幅に低減できる。

特に、図８に示すイラスト境界線６１は、領域Ａ２の広さに相当する分だけ実際の車両１の大きさの画像よりも前方へ突出し、領域Ｂ２の広さに相当する分だけ実際の車両１の大きさの画像よりも後方へ突出している。そのため、実際の車両と障害物との間隔に、さらに安全距離を付加でき、安全性を高めることができる。

図９は、表示パネル３６の表示画面での第２の表示例を示す説明図である。
図９に示す表示例では、表示画面に、車両１の周囲領域の景色である地面１００の画像が平面座標上に投影されて表示されている。車両１の周囲の表示は図８と同じである。ただし、図９では、自車両表示部１５０の表示形態が、図８に示す表示例での自車両表示部５０の表示形態と相違している。

図９に示す表示例では、自車両表示部１５０に車両の外形を表わすイラスト境界線１６１が描画されて表示されている。図９ではイラスト境界線１６１が実線で示され、車両１の実画像の輪郭が破線で示されている。自車両表示部１５０では、イラスト境界線１６１が車両１の実画像の輪郭よりもひとまわり大きく描画されている。なお、図９では、車両１の実画像の輪郭を示す破線が、説明のために記載されているが、この破線は実際の画像には表示されず、自車両表示部１５０には、実線で記載されたイラスト境界線１６１が表示される。また、イラスト境界線１６１で囲まれた領域内は画像が存在していなくてもよいし、いずれかの一色で塗りつぶされていてもよい。または、イラスト境界線１６１で囲まれた部分が、窓やボンネットのイラストが描かれた車両のイラスト画像１６２とされていてもよい。

図８に示した自車両表示部５０と同様に、イラスト境界線１６１の前端部１６１ｃは、車両１の実画像の前端部３ａよりも前方に描画されて表示され、前記領域Ａ２はイラスト境界線１６１で示される車両形状の画像の内側に含まれている。同様に、イラスト境界線１６１の後端部１６１ｄは、車両１の実画像の後端部５ａよりも後方に表示され、前記領域Ｂ２はイラスト境界線１６１で示される車両形状の画像の内側に含まれている。

イラスト境界線１６１の左側部１６１ａは、車両１の実画像の左側面１１に対応する画像位置よりもさらに左側方に描画されて表示されている。また、イラスト境界線１６１の右側部１６１ｂは、車両の実画像の右側面１２に対応する画像位置よりもさらに右側方に描画されて表示されている。

すなわち、イラスト境界線１６１の左側部１６１ａと、車両１の実画像の左側面１１との間にはマージン領域Ｄ２が設けられ、イラスト境界線１６１の右側部１６１ｂと、車両１の実画像の右側面１２との間にはマージン領域Ｅ２が設けられている。図９では、車両１の実画像の横幅寸法がＷａで示されており、マージン領域Ｄ２の横幅寸法がＷ１で示され、マージン領域Ｅ２の横幅寸法がＷ２で示されている。車両１の通常の走行状態では、マージン領域Ｄ２の横幅寸法Ｗ１とマージン領域Ｅ２の横幅寸法Ｗ２とが同じ寸法である。

図９に示す自車両表示部１５０では、イラスト境界線１６１が、破線で示す車両１の実画像の輪郭よりも前後左右の全ての方向でひとまわり大きく表示されている。そのために、図８に示す自車両表示部１５０と同様に、イラスト境界線１６１の前端部１６１ｃの前方に地面１００の画像の無い領域Ａ２が存在せず、後端部１６１ｄの後方にも地面１００の画像の無い領域Ｂ２が存在しない。よって、イラスト境界線１６１で表わされる車両の輪郭の前方と後方で画像が途切れることによる不安を解消できる。

さらに、自車両表示部１５０では、左側と右側にマージン領域Ｄ２とＥ２が設けられているため、狭い道路を走行しているときや駐車するときなどにおいて、画像で確認できるイラスト境界線１６１と障害物の画像との距離よりも、実際の車両の外面と障害物との距離の方を長く確保できる。よって、画像に基づいて障害物の位置を判断することにより、実際の車両１が障害物に触れる危険性を低下させることができる。

また、画像処理部３２では、イラスト境界線１６１の位置、例えば左側部１６１ａや右側部１６１ｂの位置を状況に応じて変えて表示することが可能である。その一例として、右側部１６１ａと左側部１６１ｂとの間の幅寸法を変えずに、または窓やボンネットが描かれている車両のイラスト画像１６２の幅寸法を変えずに、イラスト境界線１６１と車両１の実画像との相対位置を左右に変えることができる。

図１０は、車両１が走行している地面１００が角度θだけ傾いており、走行中の車両１が右方向へ大きく傾いている状態を示している。このような車両１の傾きは、車両１に実装された姿勢検知器、または前輪７や後輪８を支持するサスペンションの伸縮量を検知する検知器などの傾き監視部３７（図４参照）によって検知できる。あるいは、カーナビゲーションなどの外部からの通信情報によって、地面１００が傾いていることの情報を取得することができる。

図１０に示すように、地面１００が傾いているときは、上方から垂直に見た車両１の位置が、傾き方向である右側に大きく位置ずれする。そこで、制御部３４で得られた車両１の傾き情報を基に、画像処理部３２では車両１の傾き量に応じて、マージン領域Ｄ２とマージン領域Ｅ２の幅寸法を変更する処理を行う。図１０の場合、右側のマージン領域Ｅ２の幅寸法Ｗ２を広くし、左側のマージン領域Ｄ２の幅寸法Ｗ１を狭くする。その結果、イラスト境界線１６１で示されている車両の輪郭の画像が、車両１の傾き方向である右側へずれて表示される。

この処理を行うことで、実際に傾いている車両１の右側部と左側部に適切な幅のマージン領域を設定でき、例えば、車両が傾くことによって、ドアミラー６などの車両１の一部が、側方に位置する障害物に当たりやすくなるなどの問題を、画像を見ることで未然に防止できるようになる。

なお、地面１００が、車両の前方が下向きとなるように傾斜しているときには、イラスト境界線１６１の前端部１６１ｃをさらに前方位置に表示し、地面１００が車両の後方が下向きとなるように傾斜している場合には、イラスト境界線１６１の後端部１６１ｄをさらに後方位置に表示するようにしてもよい。

また、図４に示すように制御部３４に速度監視部３８を設け、高速で走行しているときは、マージ領域Ｄ２の幅寸法Ｗ１とマージン領域Ｅ２の幅寸法Ｗ２を小さくし、あるいはゼロとし、所定速度以下の低速走行になってときに、前記幅寸法Ｗ１とＷ２を広くして、狭い道路を走行したり、駐車するときなどに、マージン領域Ｄ２，Ｅ２を確保する制御も可能である。

なお、本発明では、図８と図９の表示例において、イラスト境界線６１，１６１の前端部６１ｃ，１６１ｃのみを領域Ａ２よりも前方に表示し、後方には画像の存在しない領域Ｂ２を残してもよいし、逆に、イラスト境界線６１，１６１の後端部６１ｄ，１６１ｄを領域Ｂ２よりも後方に表示し、前方には画像が存在しない領域Ａ２を残してもよい。

あるいは、図９の表示例で、マージン領域Ｄ２，Ｅ２のみを形成し、前後の領域Ａ２，Ｂ２をイラスト境界線６１，１６１で表示される車両の輪郭の内側に含めなくてもよい。すなわち、イラスト境界線と車両の実画像との間のマージン領域は、車両の全周に設けてもよいし、車両の周囲のいずれか一部にのみ設けてもよい。

本発明の実施の形態の車載用撮像装置を装備した車両の側面図、 本発明の実施の形態の車載用撮像装置を装備した車両の平面図、 本発明の実施の形態の車載用撮像装置を装備した車両の正面図、 車載用撮像装置の回路ブロック図、 前カメラで撮影した実画像の説明図、 後カメラで撮影した実画像の説明図、 左カメラで撮影した実画像の説明図、 表示画面での表示例を示す説明図、 表示画面での他の表示例を示す説明図、 車両の傾きと、イラスト境界線との位置関係を示す説明図、

符号の説明

１ 車両
２ 前端部
３ 前バンパー
３ａ 前バンパーの前端部
４ 後端部
５ 後バンパー
５ａ 後バンパーの後端部
６ ドアミラー
７ 前輪
８ 後輪
１１ 左側面
１２ 右側面
２１ 前カメラ
２２ 後カメラ
２３ 左カメラ
２４ 右カメラ
３１ａ，３１ｂ，３１ｃ，３１ｄ 画像検出部
３２ 画像処理部
３３ メモリ
３４ 制御部
３５ 表示ドライバ
３６ 表示パネル
３７ 傾き監視部
３８ 速度監視部
５０，１５０ 自車両表示部
６１，１６１ イラスト境界線
６２，１６２ 車両のイラスト画像
１２１，１２２，１２３ 実画像
Ａ１ 前方の画像不存在部分
Ｂ１ 後方の画像不存在部分
Ｄ２，Ｅ２ マージン領域

Claims (12)

1. 車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
   前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有しており、
   前記画像処理部では、それぞれのカメラで撮影された車両の周囲領域の画像を合成するとともに、車両の外形を示すイラスト境界線を画面の自車両表示部に表示する処理を行うとともに、
   車両に近接した周囲領域の画像が得られない画像不存在部分を、前記イラスト境界線で囲まれた領域内に含むように、前記イラスト境界線を表示する処理が行われることを特徴とする車載用撮像装置。
2. 前記イラスト境界線で囲まれた領域内に、車両のイラスト画像を形成する請求項１記載の車載用撮像装置。
3. 前記画像不存在部分は、車両の前端部の前方および車両の後端部の後方の領域である請求項１または２記載の車載用撮像装置。
4. 車両の複数箇所に設けられたカメラと、複数のカメラで撮影された画像を処理する画像処理部と、前記画像処理部で処理された画像を表示する表示装置とを有する車載用撮像装置において、
   前記カメラは広角な空間領域の画像を集光できるレンズと、前記レンズで集光された光を検知する光検知素子とを有しており、
   前記画像処理部では、それぞれのカメラで撮影された車両の周囲領域の画像を合成する処理と、車両の外形を示すイラスト境界線を画面の自車両表示部に合成する処理とが行なわれ、
   前記イラスト境界線が、画像内での車両の実画像の境界線よりも外側に表示されることを特徴とする車載用撮像装置。
5. 前記イラスト境界線を、車両の実画像の前端部よりも前方に形成する請求項４記載の車載用撮像装置。
6. 前記イラスト境界線を、車両の実画像の後端部よりも後方に形成する請求項４または５記載の車載用撮像装置。
7. 前記イラスト境界線を、車両の実画像の左右両端部よりも外側に形成する請求項４ないし６のいずれかに記載の車載用撮像装置。
8. 前記イラスト境界線で囲まれた領域内に、車両のイラスト画像を形成する請求項４ないし７のいずれかに記載の車載用撮像装置。
9. 前記画像処理部では、表示画面上で、前記イラスト境界線の位置を変化させて表示させる処理が行われる請求項４ないし８のいずれかに記載の車載用撮像装置。
10. 前記画像処理部で、車両の水平面に対する傾斜角を検知し、車両が傾いている側に位置する前記イラスト境界線を、車両の実画像の端部よりも外側の位置に表示する請求項９記載の車載用撮像装置。
11. 車両が傾いている側と逆側に位置する前記イラスト境界線を、車両の実画像の端部に近づく位置に表示する請求項１０記載の車載用撮像装置。
12. 車両の速度を監視する速度監視部を有しており、前記画像処理部では、車両の速度に応じて、イラスト境界線の描画位置を変更する処理が行なわれる請求項９記載の車載用撮像装置。

Images