JP3980565B2 - 運転支援装置 - Google Patents

Description

本発明は、運転支援装置に関し、例えば、車両周辺を撮像して車内の表示手段に表示するようにした運転支援装置に関する。

従来から車両の後方、後側方あるいは左前側方等のように、運転者の死角を補うためにフェンダーミラーやバックミラー等のミラーが用いられており、近年では同じ目的で車両にカメラを設置することが考えられている。これは車両に設置されたカメラを用いて車両の周囲を撮像し、得られた画像をモニタ画面に表示して運転者の車両操作を支援するようにしたものである。

例えば、特許文献１に示す技術においては、車両の後退時の運転者の操作を支援するために車両の後方を監視する車両用カメラが用いられており、このような車両用カメラは、その用途により車両の様々な位置に設置されることが考えられる。

また、特許文献２に示す技術にあっては、ロッド形状の先端にレンズと撮像素子を設け、より自由度の高い視点から車両の周囲を監視するようにしており、安全性がより一層高まっている。

ところで、特許文献２に示すものは、ロッド形状の先端にレンズと撮像素子を設けているので、ロッドの揺れによって撮像画像の乱れが発生してしまうという不具合が発生してしまう。

このような撮像画像の乱れを防止するものとしては、車両に適用されるものではないが特許文献３に示すような技術がある。特許文献３に示すものは、監視カメラを伸縮軸に設置して観察対象の位置に設定する位置設定装置と、観察対象の監視の基準となる基準映像を設定するための基準映像設定装置とを備え、監視カメラは、レンズ部から入力される観察対象の監視映像を記憶するためのフレームメモリ部と、観察対象の監視映像中に検出領域を設定するための検出領域指定部と、監視映像と基準映像との相関関係を検出領域の映像に基づいて判定し相関関係があると判定した場合にはフレームメモリ部の内容を更新する相関制御部とを備えており、ロッドの揺れによる監視映像の乱れを防止し監視作業の効率を向上させることができる。
特開平２−３６４１７号公報 特開平２００３−６３３１０号公報 特開平０９−３１２８３６号公報

しかしながら、特許文献３に示すものを車両に適用した場合に、監視対象である車両周辺の路面、他車両、あるいは障害物が運転による自車両の動きによって動くので、ロッドの揺れによる監視映像の乱れを防止することはできないという問題が発生してしまう。

ここで、一般的に、ムービーカメラ等で使われる揺れ補正は、図２２に示すように視点位置が一定で、視線のみが回転する揺れ４に対して撮像装置１の光学系や画像処理によって揺れを補正するが、これは揺れ４に対して距離の異なる対象物２、３の画像上での変化が同じなので有効である。ところが、ロッドの揺れには図２３に示すように視点位置の揺れ５も含まれるので、この場合には距離の異なる対象物６、７の画像上での影響（揺れ量）が距離によって異なるため、従来の揺れ補正が一般には有効でない。

本発明はこのような問題を解決するためになされたもので、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができる運転支援装置を提供するものである。

本発明の運転支援装置は、車両から突出する棒状の保持手段と、前記保持手段に設置され、前記車両の周囲を撮像する撮像手段と、前記撮像手段から特定距離面の揺れを補正量として前記撮像手段によって撮像された画像を処理して出力する揺れ補正画像処理手段とを備えたものから構成される。

この構成により、棒状の保持手段が揺れることにより撮像手段の回転揺れと位置揺れが生じた場合でも、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、自車両に設定された複数の特徴点を追跡することにより、前記保持手段に設けられた前記撮像手段の回転揺れと位置揺れとを検出し、検出された前記撮像手段の回転揺れと位置揺れとによる撮像手段から特定距離面までの画像への影響を打ち消すように補正するものから構成される。

この構成により、自車両に設定された複数の特徴点を追跡することにより保持手段に設けられた撮像手段の回転揺れと位置揺れとを検出し、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

また、本発明の運転支援装置は、前記撮像手段の回転揺れと位置揺れとを検出する検出手段を有し、前記揺れ補正画像処理手段は、前記検出手段によって検出された撮像手段の回転揺れと位置揺れによって前記撮像手段から特定距離面で生じる画像上の揺れを打ち消すように揺れを補正するものから構成される。

この構成により、撮像手段の回転揺れと位置揺れとを検出手段によって直接的に検出し、撮像手段から特定距離面、例えば、路面等を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、前記撮像手段から特定距離面に撮像画像を投影変換した後、揺れの生じない仮想撮像手段に逆投影変換する画像合成を行うものから構成される。

この構成により、路面のように撮像手段からのある特定距離面を想定して撮像画像を投影変換した後に逆投影変換し、この投影変換と逆投影変換の間で撮像手段の位置揺れと回転揺れの影響を補正することによって見やすい監視画像を得ることができる。

また、本発明の運転支援装置は、前記撮像手段の撮像範囲について前記撮像手段からの距離を測距する測距手段を有し、前記揺れ補正画像処理手段は、前記測距手段の検出情報に基づいて前記特定距離面を可変にするものから構成される。

この構成により、監視画像内に他車両のバンパー等の障害物が入って来た場合に、特定距離面を路面からバンパーの高さに変更することにより、路面よりも重要な監視対象である障害物であるバンパーの部分をより揺れが少なく見やすい画像にして提示することができる。

また、本発明の運転支援装置は、前記揺れ補正画像処理手段は、複数の距離面を想定し、それぞれの距離面について前記撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動きから過去の画像を用いて予測した予測画像との一致を判定した後、前記撮像手段の画面の各部において最も一致する距離面の補正画像を選択し、補正画像を合成するものから構成される。

この構成により、複数の距離面を想定してそれぞれについて撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動きから過去の画像を用いて予測した予測画像の一致を判定することによって、障害物が画面に入った場合でも障害物の部分でも路面の部分でも揺れの影響が抑制された見やすい監視画像を得ることができる。

また、本発明の運転支援装置は、前記保持手段を振動させる振動手段を有し、前記揺れ補正画像処理手段は、前記振動手段によって前記保持手段を振動させたときに、前記振動に対する撮像画像の揺れ量から前記特定距離面を検出するものから構成される。

この構成により、振動手段によって棒状の保持手段を振動させることによって撮像手段に位置揺れが生じさせ、それによる画像の揺れ量により撮像手段からの距離を検出することができ、特定距離面が路面であるか障害物であるかを検出することができる。

また、本発明の運転支援装置は、前記撮像手段によって撮像された画像を表示する表示手段を備えたものから構成される。

この構成により、車両の周囲の状況を容易に視認することができ、運転の安全性をより一層確保することができる。

以上説明したように、本発明は、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができる運転支援装置を提供することができる。

以下、本発明の実施の形態について、図面を用いて説明する。

図１乃至図５は本発明に係る運転支援装置の第１の実施の形態を示す図である。

まず、構成を説明する。図１、図２において、運転支援装置は車両１１のバンパー１１ａから突出して設けられた伸縮自在なロッド部（棒状の保持手段）１２と、ロッド部１２の先端に設置され、車両１１の周囲を撮像する撮像手段としてのカメラ１３と、カメラ１３によって撮像された画像が入力され、カメラ１３から特定距離面の揺れを補正量として撮像画像を平行移動して出力する揺れ補正画像処理部（揺れ補正画像処理部）１４と、車室内に設けられ、揺れが補正された画像が表示される表示手段としてのディスプレイ１５とを含んで構成される。

本実施の形態では、揺れ補正画像処理部１４は、車両１１に設定された２つの特徴点を追跡することにより、ロッド部１２に設けられたカメラ１３の回転揺れと位置揺れとを検出し、検出されたカメラ１３の回転揺れと位置揺れとによるカメラ１３から特定距離面までの画像への影響を打ち消すように補正するようになっている。

また、バンパー１１ａにはロッド収納保持部１６が設けられており、ロッド部１２はこのロッド収納保持部１６に支持されるとともに、長手方向に縮小したときにカメラ１３と共にロッド収納保持部１６に収納されるようになっている。

具体的には、ロッド部１２は車両１１の左前方角のバンパー１１ａの内部に設置されており、撮像時には図１に示すように車両１１の左前方角のバンパー１１ａの上方から突出することにより、カメラ１３はその位置からの画像を撮像して駐車操作やすり抜け時等に左前方の死角の画像を運転者に提示する。また、不使用時には、図２に示すようにロッド収納保持部１６内に収納されることにより、カメラ１３がバンパー１１ａ内に格納される。

図３、図４は揺れ補正画像処理部１４の揺れ補正処理を示す図である。図１に示すように伸長した状態にあるロッド部１２の下方の車両には上下方向に離隔してマーカー１７、１８が設けられており、ロッド部１２が伸長したときには、カメラ１３は図３に示す画像を撮像するようになっている。図３はこのときの撮像画像を示す図であり、カメラ１３はマーカー１７、１８、路面１９、路面１９上の白線２０、ロッド部１２、自車両１１のバンパー１１ａを撮像する。

揺れ補正画像処理部１４は、撮像画像中のマーカー１７、１８の動きを追跡してカメラ１３の位置揺れと回転揺れを検出し、その結果から図１中の路面１９の高さの画像上での揺れの影響を想定してこれを補正する。

この結果、図３中の路面１９や路面１９上の白線２０はロッド部１２の揺れによる画像の揺れが補正され、運転操作による自車両１１の動きに合わせた動きのみになり、運転者の視認性が向上する。

次に、図４に基づいて揺れ補正処理を具体的に説明する。

図４は車両１１の２つの特徴点であるマーカー１７、１８を追跡することによって路面１９上の揺れを推定する方法を示したものである。図４において、マーカー１７、１８は車両１１の上下方向に離隔して設けられており、カメラ１３からマーカー１７、１８、路面１９までの距離をそれぞれＺ１，Ｚ２，Ｚ０で示す。

カメラ１３はレンズが真下を向いており、カメラ１３の揺れとしてはカメラ１３の水平方向の位置揺れＤｘおよび回転揺れＡｘとし、画像の揺れはこれらの揺れの影響の線形和と仮定する。

位置揺れＤｘによる画像揺れ（ｄｘ０，ｄｘ１，ｄｘ２）は、カメラ１３からの距離Ｚによってｄｘ０＝Ｄｘ・ｆ／Ｚ０、ｄｘ１＝Ｄｘ・ｆ／Ｚ１、ｄｘ２＝Ｄｘ・ｆ／Ｚ２で表せられる（但し、ｆは焦点距離）。また、回転揺れＡｘによる揺れは、カメラ１３からの距離Ｚに関係なく、ａｘ０＝ａｘ１＝ａｘ２で表わされる。

実際に観測できる車両１１の２つの特徴点の揺れ（ｘ１，ｘ２）は、それぞれの線形和：ｘ１＝ｄｘ１＋ａｘ１、ｘ２＝ｄｘ２＋ａｘ２であるから、路面１９上の揺れＸ０＝ｄｘ０＋ａｘ０は、Ｘ０＝（Ｘ２ーＸ１)・Ｚ２・Ｚ１／（Ｚ０・（Ｚ１−Ｚ２））＋（Ｚ１・Ｘ１−Ｚ２・Ｘ２)／（Ｚ１−Ｚ２）と想定される。

揺れ補正画像処理部１４は、この想定される路面上の揺れＸ０を補正量として入力画像の平行移動によって揺れを補正した出力画像を作ることができる。実際には、画像は２次元（Ｘ，Ｙ）情報であるのでＸ方向を横方向としたとき縦方向であるＹ方向にも同様の操作をすることによって、Ｘ方向とＹ方向のそれぞれの揺れを補正できる。

また、この方法は主にカメラ１３の光軸に近い画像に有効で撮像対称が光軸から離れるにしたがって補正量の誤差が生じてくるが、それでも入力の揺れを１／２乃至１／４以下に補正できれば、視覚上の見やすさは向上するので効果的である。

このように本実施の形態では、車両１１から突出する棒状のロッド部１２と、ロッド部１２に設置され、車両１１の周囲を撮像するカメラ１３と、カメラ１３によって撮像された画像が入力され、カメラ１３から路面（特定距離面）１９の揺れを補正量Ｘ０として撮像画像を平行移動して出力する揺れ補正画像処理部１４とを設けたので、ロッド部１２が揺れることによりカメラ１３の回転揺れＡｘと位置揺れＤｘが生じた場合でも、路面１９を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

特に、本実施の形態では、揺れ補正画像処理部１４は、自車両１１に設定された複数のマーカー１７、１８を追跡することにより、ロッド部１２に設けられたカメラ１３の回転揺れＡｘと位置揺れＤｘとを検出し、検出されたカメラ１３の回転揺れＡｘと位置揺れＤｘとによるカメラ１３から路面１９までの画像への影響を打ち消すように補正するようにしたので、路面１９を想定した監視対象での画像の揺れを極力抑えることができ、良好な画像を得ることができる。

また、本実施の形態では、カメラ１３によって撮像された画像をディスプレイ１５に表示するようにしたので、車両１１の周囲の状況を簡単に視認することができ、運転の安全性をより一層確保することができる。

なお、本実施の形態の揺れ補正画像処理部１４は、カメラ１３から路面１９の揺れを補正量Ｘ０として撮像画像を平行移動して出力しているので、カメラ１３が光軸方向を中心とした回転揺れを生じた場合に対応することができないが、この場合には、図５に示すようにカメラ１３が光軸方向に回転揺れを生じないようにすれば良い。

図５において、ロッド部１２にカメラ１３を取り付けるときに、ロッド部１２の先端にカメラ１３と反対側に位置するようにカウンターウエイト２１を取り付ければ良い。

すなわち、上述した揺れの補正方法は、画像をＸ方向とＹ方向を独立して平行移動することによって揺れを補正するが、これ以外に、カメラ１３の揺れにはカメラ１３の光軸方向を中心とした回転揺れＲがある。この回転揺れＲが生じた場合には、撮像画像は画面中心点を中心とした回転揺れが生じるので、平行移動では補正できない。

図５（ａ）に示すようにカメラ１３の重心位置２２がロッド部１２の中心軸１２ａからずれていた場合、車両の加減速２３によってカメラ１３の重心位置２２とロッド部１２の中心軸１２ａの間で回転モーメント２５が発生し、この結果、回転揺れＲが発生しやすくなる。

図５（ｂ）ではこの回転揺れＲを押さえるためにカメラ１３の重心位置２２と対称の位置にカウンターウエイト２１の重心位置２６を設置することによって２つを合わせた重心位置２７をロッド部１２の中心に一致するようにしている。これにより車両１１の加減速２３によってカメラ１３とカウンターウエイト２１それぞれに発生する回転モーメント２５と２８が打ち消し合い、それによりカメラ１３光軸方向を中心とした回転揺れＲは殆ど発生しない。この結果、このカウンターウエイト２１によりカメラ１３光軸方向を中心とした回転揺れＲを抑制することができ、より補正効果の高い揺れ補正画像を得ることができる。

図６乃至図１０は本発明に係る運転支援装置の第２の実施の形態を示す図であり、第１の実施の形態と同様の構成には同一番号を付して説明を省略する。

図６において、ロッド部１２の先端にはカメラ１３と同じ位置に加速度センサ（検出手段）３１が設けられており、この加速度センサ３１はカメラ１３の位置揺れと回転揺れを検出して、この検出情報を揺れ補正画像処理部１４に出力するようになっている。

本実施の形態の揺れ補正画像処理部１４は、図７に示すように投影変換部３２および逆投影変換部３３を備えており、カメラ１３から特定距離面、例えば、路面１９に撮像画像を投影変換部３２によって投影変換した後、逆投影変換部３３によって揺れの生じない仮想撮像装置に逆投影変換する画像合成を行うことで揺れ補正を行うようになっている。

次に、図７、図８に基づいて揺れ補正処理を具体的に説明する。

図７は揺れ補正画像処理部１４のブロック図を示すものであり、図８は揺れ補正画像処理部１４の揺れ補正を説明するための概念図である。なお、図８中、カメラ１３はその光軸がやや真下からやや左前方方向に傾いて設置されている。

運転中にあっては、カメラ１３は位置揺れＤｘと回転揺れＡｘを生じ、この揺れ情報３４は加速度センサ３１によって検出された後、揺れ補正画像処理部１４に入力される。

揺れ補正画像処理部１４はカメラ１３の撮像画像３５と加速度センサ３１から入力された位置揺れＤｘと回転揺れＡｘの揺れ量を表わす揺れ情報３４を用いて図７に示すアルゴリズムに従って揺れを補正し補正画像を出力する。

本実施の形態では、カメラ１３は水平画角１１０度〜１４０度の広角レンズを用いるものとし、このような広角レンズの場合レンズ歪みは不可避であるので、このレンズ固有のレンズ歪みや画角等のレンズデータ３６を揺れ補正画像処理部１４内部に記憶しておく。

さらにカメラ初期位置データ３８を基準に加速度センサ３１から入力された位置揺れＤｘと回転揺れＡｘの揺れ情報３４を用いて、撮像画像３５が得られた時点のカメラ１３の位置と角度を計算し、これらのデータによってレンズ歪み補正と位置揺れおよび回転揺れを補正して投影変換部３２によって車両１１を基準とした路面１９上に入力画像を投影変換する。

このことを図８によって説明すると、揺れがない場合に初期位置１３ａにあるカメラ１３は、位置揺れＤｘと回転揺れＡｘによってカメラ位置１３ｂやカメラ位置１３ｃのように変化する。この位置に基づいて撮像画像を車両１１の基準点３９を原点とした路面１９上にＷで示すように投影変換する。

この投影変換された画像を、カメラ仮想視点データ４０（位置と方向）に位置してレンズデータ３７を持つ仮想撮像手段としての仮想カメラ４２で撮像した場合の画像を逆投影変換部３３によって合成して出力する。

図８で説明すると、車体の基準点３９を原点とした路面１９上にＷで示すように投影変換された画像を、さらに仮想視点４１に設置されたレンズデータ３７を持つ仮想カメラ４２で撮像されるであろう画像を逆投影変換部３３によって合成する。

これらの処理により、路面１９上に入力画像を投影変換した時点で揺れが補正されるので、さらに仮想カメラ４２で撮像した場合の画像を逆投影変換によって合成し出力した画像上でも揺れが補正された良好な画像を得ることができる。

このように本実施の形態では、カメラ１３のレンズデータ３６を用いることにより、第１の実施の形態のように画像の中心付近だけでなく画面全体で揺れの少ない良好な画像を得ることができる。

また、一度路面１９に投影変換し、さらに仮想視点４１から見た画像を逆投影変換部３３によって合成する構成によって、第１の実施例のようにカメラ１３を真下ではなく、斜め左前方に向けて設定した場合であっても、路面１９を特定距離面として揺れを補正できる。したがって、カメラ１３を斜め左前方に向けることができるので、より広い範囲の周囲監視を行うことができる。

なお、カメラ仮想視点データ４０（位置と方向）は、図８のＷに示すように揺れがない場合のカメラ１３の初期位置の視点と同じでも良いし、仮想視点４１に示すようにカメラ１３の初期位置と異なるものでも良い。

また、レンズデータ３７は、実際のカメラ１３のレンズデータ３６と同じ物でも良いし、異なる物でも良い。例えば、図８（ｂ）に示すように実際のカメラ１３の広いレンズの画角４３に比べて少し狭い画角４４のレンズを想定したレンズデータ３７を用いることにより、揺れ補正による出力画像の周辺部の欠落を防ぐことができる。

また、本実施の形態では、加速度センサ３１を用いてカメラ１３の位置揺れＤｘと回転揺れＡｘを検出しているが、第１の実施例のように画像上で自車両１１の特徴点であるマーカー１７、１８を追跡することでカメラ１３の位置揺れＤｘと回転揺れＡｘを検出しても良い。

また、本実施の形態では、図７に示すような構成で入力された撮像画像を投影変換部３２と逆投影変換部３３で２回の変換を行ったが、図９に示すような構成にして、画像の変換処理を１回にすることも可能である。

以下、その方法を具体的に説明する。まず、図１０に示すように、入力撮像画像について縦６列横８列の長方形に分割し各長方形の頂点をポリゴン頂点としてサンプルする。

ここで、各ポリゴンは３角ポリゴンであり、例えば、図１０（ａ）の長方形６１は２つの３角ポリゴン６１ａ、６１ｂに分割される。図１０（ａ）の撮像画面は縦７列横９列のポリゴン頂点でサンプルされることになる。

図９ではこの撮像画面のポリゴン頂点データ５１について、揺れ情報３４、レンズデータ３６、カメラ初期位置データ３８を用いて路面１９上に投影した場合のポリゴン頂点位置をポリゴン頂点座標投影変換部５２で計算する。

図１０（ｂ）は路面１９上に投影されたポリゴン頂点位置を示したものであり、例えば、図１０（ａ）に示す撮像画面中の１ポリゴン頂点６２は、図１０（ｂ）に示す路面１９上のポリゴン頂点６３の位置に変換される。図１０（ｂ）において、自車両１１のバンパー１１ａの位置６４が路面１９上に投影されており、この位置６４は自車両１１位置に固定された路面１９の基準点３９に連続する。

また、図９においてポリゴン頂点座標逆投影変換部５３では、レンズデータ３７とカメラ仮想視点データ４０を用いて、図１０（ｂ）に示す路面１９上に投影されたポリゴン頂点データを、図８に示す仮想カメラ４２で撮像されるであろう画像画面上に図１０（ｃ）に示すように逆投影変換する。

このとき、例えば図１０（ｂ）に示す路面１９上の１ポリゴン頂点６３は、図１０（ｃ）に示す仮想カメラ撮像画面中のポリゴン頂点６５の位置に変換される。ここで、図１０（ｃ）に示す仮想カメラ４２で撮像されるであろう画像画面の枠６６の外のポリゴン頂点データも計算される。）
また、図９に示すポリゴン画像合成部５４では、図１０（ｃ）に示す仮想カメラ４２画面上のポリゴン頂点データと撮像画面ポリゴン頂点５１を用いて撮像画像を変換して揺れ補正画像４５を出力する。

例えば、撮像画像の１長方形６１の２つの３角ポリゴン６１ａ、６１ｂは、図１０（ｃ）上で３角ポリゴン６７ａ、６７ｂに投影変換されているので、その内部の各画素の画像データはアフィン変換６８によって線形的に変換される。

また、このときレンズデータ３６内にレンズのシェーディングデータ５５、すなわち、画面中央が明るく周囲が暗い現象データを合わせ持ち、ポリゴン頂点データにそれを補正するゲインデータを添付し、ポリゴン画像合成部５４での変換時にこのゲインを乗じて変換することにより、シェーディングを持った撮像カメラの揺れによる揺れ補正画像上の明るさの揺れも補正され、より見やすい画像を得ることができる。

また、仮想カメラ４２のレンズデータ３７内に仮想レンズのシェーディングデータ５６を持たせることで、補正画像上により自然なシェーディングを持った画像を合成することができる。

図１１乃至図１３は本発明に係る運転支援装置の第３の実施の形態を示す図であり、第１、第２の実施の形態と同様の構成には同一番号を付して説明を省略する。

図１１において、ロッド部１２の先端にはカメラ１３と同じ位置に測距センサ（測距手段）７１が設けられており、この測距センサ７１はカメラ１３の撮像範囲についてカメラ１３からの距離を測距してこの検出情報を揺れ補正画像処理部１４に出力するようになっている。

また、揺れ補正画像処理部１４は測距センサ７１の検出情報に基づいて特定距離面を可変にするようになっており、ディスプレイ１５はこの揺れ補正画像処理部１４の出力画像上に測距センサ７１によって検出された路面、バンパー等の障害物（特定距離面）警報を合成して表示するようになっている。

次に、図１２、図１３に基づいて揺れ補正方法を具体的に説明する。

まず、測距センサ７１はカメラ１３の撮像範囲７２内に障害物がない場合、撮像範囲内で自車両１１を除く最も近い物体である路面１９までの距離Ｚ０を測距データとして出力する。なお、予め撮像範囲内で自車両１１の部分はマスキングによって測距範囲から除いておく。

このとき、揺れ補正画像処理部１４は、第１の実施例と同様に特徴点であるマーカー１７、１８の揺れ量Ｘ１、Ｘ２から路面上の揺れＸ０を下式のように推定し、この揺れを打ち消すように画像を平行移動することによって揺れを補正する。

Ｘ０＝（Ｘ２−Ｘ１)・Ｚ２・Ｚ１／（Ｚ０・（Ｚ１−Ｚ２））＋（Ｚ１・Ｘ１−Ｚ２・Ｘ２)／（Ｚ１−Ｚ２）。

次いで、撮像範囲内に図１２に示すように他車両７３が入って来た場合、測距センサ７１は、撮像範囲内で自車両を除く最も近い物体である他車両７３のバンパーまでの距離Ｚ３を測距データとして出力する。

このとき、揺れ補正画像処理部１４は、第１の実施例と同様に特徴点であるマーカー１７、１８の揺れ量Ｘ１、Ｘ２から図１２中、カメラ１３からＺ３の距離にある面７４での揺れＸ３を下式のように推定し、この揺れを打ち消すように画像を平行移動することによって揺れを補正する。

Ｘ３＝（Ｘ２−Ｘ１)・Ｚ２・Ｚ１／（Ｚ３・（Ｚ１−Ｚ２））＋（Ｚ１・Ｘ１−Ｚ２・Ｘ２)／（Ｚ１−Ｚ２）。

このように本実施の形態では、カメラ１３の撮像範囲についてカメラ１３からの距離を測距する測距センサ７１を設け、揺れ補正画像処理部１４が測距センサ７１に検出情報に基づいて特定距離面を可変にするようにしたので、障害物がない場合は路面１９の揺れが少ない見やすい画像を得ることができ、また、画像内に他車両７３のバンパー等の障害物が入って来た場合には、路面１９よりも障害物において揺れの少ない画像を得ることができるので、運転者は障害物が自車両１１にどの程度接近しているかを容易に確認することができ、より安全な運転を行うことができる。

一方、図１３は、このときにディスプレイ１５に表示される画像を示したものであり、図１３（ａ）は、障害物がない場合で路面１９や路面１９上の白線２０の揺れが少ない見やすい監視画像が表示されている。

また、図１３（ｂ）は画像内に他車両７３のバンパー等の障害物７５が進入したものを示す図であり、路面１９や路面１９上の白線２０よりも障害物７５において揺れの少ない画像を得ることができるので、運転者は障害物７５と自車両１１との距離７６を容易に確認することができ、より安全な運転を行うことができる。また、画像内に他車両７４のバンパー等の障害物が入って来た場合にはディスプレイ１５上に障害物警報７７を点滅するようにすれば、運転者の注意を促すことができる。

特に、運転者は、車内のディスプレイ１５だけを注視しているわけでなく常に周囲を直視でも確認する必要があるので、この障害物警報７７を点滅させることにより障害物の見逃しを現象させることができ、視認性をより向上させることができる。

図１４乃至図１８は本発明に係る運転支援装置の第４の実施の形態を示す図であり、第１、第２の実施の形態と同様の構成には同一番号を付して説明を省略する。

図１４において、ロッド部１２の揺れによるカメラの位置揺れと回転揺れを検出する加速度センサ（検出手段）８１と、舵角を検出する舵角センサ８２と、車輪の回転を検出する車輪センサ８３とを備えている。

また、揺れ補正画像処理部１４は、図１５に示すようにポリゴン頂点座標投影変換部８８、ポリゴン頂点座標逆投影変換部８９、ポリゴン画像合成部９０、フロー解析部９１、一致判定画像合成部９２、車両動き推定部９５および予測画像作成部９８を備えている。

本実施の形態では、図１６に示すように路面１９以外に路面１９上の複数の高さに設定された面８４、８５、８６を想定し、これを図１５の複数距離面８７として、それぞれの面で揺れが補正できるようにポリゴン頂点座標投影変換部８８およびポリゴン頂点座標逆投影変換部８９でポリゴン座標の変換計算を行い、ポリゴン画像合成部９０がそれぞれの８４、８５、８６面で揺れが補正できるよう調整された複数の揺れ補正画像１２０を出力する。

その複数の揺れ補正画像１２０は、メモリ９４とフロー解析部９１と一致判定画像合成手段９２に出力される。メモリ９４では、過去の複数の揺れ補正画像１２０が記憶されており、フロー解析部９１では現在の複数の揺れ補正画像１２０との比較によって画像の各部の動きを解析したフロー解析結果を車両動き推定部９５に出力する。

車両動き推定部９５は舵角センサ８２から舵角情報９６、車輪センサ８３からの車輪情報９７を用いて車両１１の動きを推定するとともにフロー解析部９１の解析結果を用いてこれを調整し、予測画像作成部９８に出力する。

予測画像作成部９８は、車両動き推定部９５の出力結果に基づいて各複数距離面８７に対応した動き推定予測画像を出力する。また、一致判定画像合成部９２は、実際の複数の揺れ補正画像１２０の画面の各部において、各複数距離面８７に対応した予測画像と最も一致する距離面の揺れ補正画像９３を判定選択して１画面の画像を合成する。

図１７はこれらの様子を説明するための概略図であり、図１７（ａ）は路面１９での補正画像を示したものである。このとき、自車両が矢印９９ａや９９ｂの方向に動いた場合、補正画像中の路面１９の部分は矢印１００に示すように略反対方向に流れる。

このような流れはフロー解析９１において過去の補正画像と現在の補正画像を比較することによって検出される。一方、舵角情報９６および車輪情報９７からも車両の動きを推定できる。

図１７（ａ）中、舵角情報９６および車輪情報９７からも推定された車両の動き９９ａを示す。但し、この推定された車両の動き９９ａには車輪のスリップ等により誤差を含む場合がある。この誤差を減らすために、フロー解析結果１００を加味することによって、より正確な車両の動き９９ｂの推定結果が求められ、予測画像作成部９８に出力される。

予測画像作成部９８では、この車両の動き９９ｂの推定結果に対して、複数距離面８７に対応した動き推定予測画像を出力する。例えば、車両の動き９９ｂに対しては、路面１９においては図１７（ａ）中、符号１０１のように画像が動き、また路面１９から高さＨ１の面では符号１０２のように画像が動くと想定され、すなわち、カメラ１３に近い高い面ほど動きの大きさが大きくなるので、それぞれ過去の補正画像を、符号１０３、１０４のように動かすことによって現在の補正画像の予測画像を得ることができる。

一致判定画像合成部９２では、複数距離面８７における補正画像と予測画像を画面各部で比較し、最も一致する距離面の補正画像を判定選択し、１画面の画像を合成する。このとき、画像にエッジが無くて同様に一致する場合などは路面１９に近いより低い面が選択される。

図１７（ｂ）はその様子を示したものであり、図１７（ｂ）中、路面１９や路面１９上の白線２０の部分は、路面１９上における補正画像と予測画像が最も一致するので、路面１９上における補正画像が選択される。

一方、他車両のバンパー等の障害物１０５が画面に入ってくると、例えば、路面１９から高さＨ１面での補正画像と予測画像が最も一致するので、高さＨ１の面補正画像が選択される。

このように選択された各部の画像を合成して１枚の揺れ補正画像９３を出力する。なお、このとき、高さＨ１の面と路面の補正画像がそれぞれ選択される部分の境界線１０７では、画像の不連続性が強調されるので、高い位置Ｈ１に有る面の選択部分から低い位置にある路面１９の選択部分へと拡張する形で緩衝域１０８を設け、その間で重み付けを変えながら２つの補正画像を合成することで画像の不連続性を抑えるようにする。

この一致判定画像合成部９２では画面中のどの部分が複数距離面８７の何れかに近いかを判定するので、この判定結果を車両動き推定部９５にフィードバックして、次の時点でフロー解析結果を用いた車両の動き推定の調整に利用する。

また、一致判定画像合成部９２では画面中、どの部分が複数距離面８７の何れかに近いかを判定するので、その結果、障害物判定も可能となる。したがって、この判定結果は、別途障害物検出警報にも利用できる。障害物が検出された場合には、図１７（ｂ）に示すように障害物警報部１０９によって障害物検出警報１１０を点滅させても良く、あるいは障害物１０５と路面１９の境界の緩衝域１０８上全体に警報をスーパーインポーズして点滅させても良い。

また、ここでは一致判定画像合成部９２は、実際の複数揺れ補正画像１２０の画面の各部において、複数距離面８７に対応した予測画像と最も一致する距離面の補正画像を判定選択し、１画面の画像を合成する構成にしたが、他の態様として図１８に示す構成も可能である。

このように本実施の形態では、複数距離面８７を想定してそれぞれについてカメラ１３の位置揺れと回転揺れの影響を補正した補正画像と自車両１１の動きから過去の画像を用いて予測した予測画像の一致を判定することによって、障害物１０５が画面に入った場合でも障害物の部分でも路面１９の部分でも揺れの影響が抑制された見やすい監視画像を得ることができる。

なお、図１８では図１５に示す一致判定画像合成部９２の代わりに、一致判定部１１１、ポリゴン頂点合成部１１２、ポリゴン画像合成部１１３を備えている。一致判定部１１１は、複数補正画像１２０の画面の各部において、複数距離面８７に対応した予測画像と最も一致する距離面の判定のみを行い、その結果をポリゴン頂点合成部１１２に出力する。

ポリゴン頂点合成部１１２は、ポリゴン頂点座標逆投影変換部８９の出力である複数距離面８７で揺れ補正する場合のポリゴン頂点データと一致判定部１１１の出力に基づき、画像の各部で予測画像と最も一致する距離面で揺れ補正した場合のポリゴン頂点データを合成し出力する。ポリゴン画像合成部１１３はこのポリゴン頂点データを元に撮像画像３５を用いて画像合成し、揺れ補正画像９３を出力する。

このようにすれば、高さの異なる面が選択される部分の境界でもポリゴン頂点データで線形的に位置データが補間することができるので、画像の不連続性が強調されるのを防止することができる。したがって、図１７（ｂ）に示すような緩衝域１０８を設け、その間で重み付けを変えながら２つの補正画像を合成することで画像の不連続性を抑えるのを不要にできる。

図１９乃至図２１は本発明に係る運転支援装置の第５の実施の形態を示す図であり、第１、第４の実施の形態と同様の構成には同一番号を付して説明を省略する。

第４の実施例では、揺れ補正画像９３を出力するのと同時に障害物検出警報１１０を副次的に出力することができるが、自車両の動きが少なくなり、カメラ１３の揺れが少なくなった場合、カメラ１３の位置がほとんど動かないために、どの距離面においても同様に予測画像と補正画像が一致する。この場合、一致判定画像合成部９２では画像中に障害物が有っても路面が選択されるので、障害物検出精度が悪くなる。

本実施の形態では、第４の実施の形態をさらに効果的なものにするために、図１９に示す振動手段１２１をロッド部１２の先端のカメラ１３の位置に装着し、カメラ１３を積極的に振動させている点に特徴があり、図２０に示すように振動手段１２１からは振動のタイミング信号を出力している。

すなわち、本実施の形態は、ロッド部１２を振動させる振動手段１２１と、カメラ１３で得られる画像を入力し、振動に対する画像の揺れ量から路面等の特定距離面を検出する揺れ補正画像処理部（距離検出手段）１４とを備えており、揺れ補正画像処理部１４は第４の実施の形態の構成に加えて、図２０に示すように、振動手段１２１からの振動のタイミング信号の出力に基づいて振幅の片方の端点で撮像された画像のみを選択してポリゴン頂点合成部１１２とポリゴン画像合成部１１３を動作させて揺れ補正画像９３を合成させるためのスイッチ１２２を備えている。

図２１（ｂ）は振動の振幅の時間変化１４１をグラフにしたものである。カメラ１３は振動手段１２１からの振動のタイミング信号を元に、振幅の両端である時間、具体的には時間１４２乃至１４７のタイミングでシャッターを開けて画像を撮像する。したがって、振動手段１２１は３０Ｈｚでカメラ位置を振動させるときにカメラ１３はその振幅の両端で秒６０枚の動画像を撮像する。

このようにカメラ位置を積極的に動かすことによって図２１（ａ）に示すように障害物１３２が画像内に入って来た場合、その部分の画像は路面１９よりも距離面８４等で予測画像と補正画像が一致するので、これを判定することによって障害物の検出が可能となる。

したがって、自車両１１の動きが止まった状態で、本来ロッド部１２が揺れないような場合でも、カメラ位置を積極的に揺らすことによって安定した障害物検出精度を得ることができる。

また、図２０に示すように振動手段１２１からの振動のタイミング信号の出力に基づいてスイッチ１２２によって振幅の片方の端点で撮像された画像のみを選択し、ポリゴン頂点合成部１１２とポリゴン画像合成部１１３を動作させ揺れ補正画像９３を合成する。

また、振幅の片方の端点で撮像された画像として、図２１（ｂ）に示すように、時間１４２、１４４、１４６で撮像されたものを選択し、揺れ補正画像９３を合成し出力する。この場合には秒３０枚の動画像を出力する。

以上のように、本実施の形態では、振動手段１２１によってロッド部１２を振動させることによってカメラ１３に位置揺れが生じさせるようにしたので、それによる画像の揺れ量によりカメラ１３からの距離を検出することができ、特定距離面が路面であるか障害物であるかを検出することができる。

この結果、揺れ補正画像９３における振動手段１２１によるカメラ位置の振幅の影響はほとんど除去することができ、振動手段１２１によるカメラ位置の振幅があるにもかかわらず第４の実施例と略同等の揺れ補正画像を出力することができる。

以上のように、本発明に係る運転支援装置は、棒状の保持手段の揺れによる画像の乱れを防止して、良好な画像を得ることができるという効果を有し、車両周辺を撮像して車内の表示手段に表示するようにした運転支援装置等して有用である。

本発明の第１の実施の形態の運転支援装置を示す図 （ａ）ロッド部を伸長させたときの車両の概略前面図 （ｂ）ロッド部を伸長させたときの車両の概略側面図 本発明の第１の実施の形態の運転支援装置を示す図 （ａ）ロッド部を縮小させたときの車両の概略前面図 （ｂ）ロッド部を縮小させたときの車両の概略側面図 本発明の第１の実施の形態の運転支援装置のカメラで撮像される画像を示す図 本発明の第１の実施の形態の運転支援装置において画像中の２つの特徴点を追跡することによって路面上の揺れを推定する方法を説明する図 本発明の第１の実施の形態の運転支援装置のロッド部にカメラを取り付けるとき別途カウンターウエイトを取り付けた例を示す図 本発明の第２の実施の形態の運転支援装置を示す図 （ａ）運転支援装置を備えた車両の概略前面図 （ｂ）運転支援装置を備えた車両の概略側面図 本発明の第２の実施の形態の運転支援装置のブロック図 本発明の第２の実施の形態の運転支援装置の揺れ補正処理の動作を説明するための図 本発明の第２の実施の形態の運転支援装置の他の構成のブロック図 本発明の第２の実施の形態の運転支援装置の揺れ補正処理の他の手順を示す図 本発明の第３の実施の形態の運転支援装置を示す図 （ａ）運転支援装置を備えた車両の概略前面図 （ｂ）運転支援装置を備えた車両の概略側面図 本発明の第３の実施の形態の運転支援装置の測距センサーと揺れ補正画像処理部の動作を説明するための概略図 本発明の第３の実施の形態の運転支援装置の出力画像 （ａ）障害物がないときの出力画像 （ｂ）障害物を検出したときの出力画像 本発明の第４の実施の形態の運転支援装置を示す図 （ａ）運転支援装置を備えた車両の概略前面図 （ｂ）運転支援装置を備えた車両の概略側面図 本発明の第４の実施の形態の運転支援装置のブロック図 本発明の第４の実施の形態の運転支援装置の揺れ補正処理を示す図 （ａ）撮像画像を投影変換するときのカメラと投影範囲を示す図 （ｂ）撮像画像を逆投影変換するときの仮想カメラと逆投影範囲を示す図 本発明の第４の実施の形態の運転支援装置の出力画像 （ａ）障害物がないときの出力画像 （ｂ）障害物を検出したときの出力画像 本発明の第４の実施の形態の運転支援装置の他の構成のブロック図 本発明の第５の実施の形態の運転支援装置を示す図 （ａ）運転支援装置を備えた車両の概略前面図 （ｂ）運転支援装置を備えた車両の概略側面図 本発明の第５の実施の形態の運転支援装置のブロック図 本発明の第５の実施の形態の運転支援装置を揺れ補正処理を説明する図 （ａ）カメラを振動させたときの障害物とカメラの位置関係を示す図 （ｂ）カメラを振動させたときの振幅と時間の関係を示す図 ムービーカメラ等で使われる一般的な揺れ補正を説明するための図 ロッド部が揺れたときのカメラの視点揺れを説明するための図

符号の説明

１１ 車両
１２ ロッド部（棒状の保持手段）
１３ カメラ（撮像手段）
１４ 揺れ補正画像処理部（揺れ補正画像処理手段、距離検出手段）
１５ ディスプレイ（表示手段）
３１、８１ 加速度センサ（検出手段）
４２ 仮想カメラ（仮想撮像手段）
７１ 測距センサ（測距手段）
１２１ 振動手段

Claims (8)

1. 車両から突出する棒状の保持手段と、前記保持手段に設置され、前記車両の周囲を撮像する撮像手段と、前記撮像手段から特定距離面の揺れを補正量として前記撮像手段によって撮像された画像を処理して出力する揺れ補正画像処理手段とを備えたことを特徴とする運転支援装置。
2. 前記揺れ補正画像処理手段は、前記車両に設定された複数の特徴点を追跡することにより、前記保持手段に設けられた前記撮像手段の回転揺れと位置揺れとを検出し、検出された前記撮像手段の回転揺れと位置揺れとによる撮像手段から特定距離面までの画像への影響を打ち消すように補正することを特徴とする請求項１に記載の運転支援装置。
3. 前記撮像手段の回転揺れと位置揺れとを検出する検出手段を有し、
   前記揺れ補正画像処理手段は、前記検出手段によって検出された撮像手段の回転揺れと位置揺れによって前記撮像手段から特定距離面で生じる画像上の揺れを打ち消すように揺れを補正することを特徴とする請求項１に記載の運転支援装置。
4. 前記揺れ補正画像処理手段は、前記撮像手段から特定距離面に撮像画像を投影変換した後、揺れの生じない仮想撮像手段に逆投影変換する画像合成を行うことを特徴とする請求項１に記載の運転支援装置。
5. 前記撮像手段の撮像範囲について前記撮像手段からの距離を測距する測距手段を有し、
   前記揺れ補正画像処理手段は、前記測距手段の検出情報に基づいて前記特定距離面を可変にすることを特徴とする請求項１乃至請求項４の何れかに記載の運転支援装置。
6. 前記揺れ補正画像処理手段は、複数の距離面を想定し、それぞれの距離面について前記撮像手段の位置揺れと回転揺れの影響を補正した補正画像と自車両の動きから過去の画像を用いて予測した予測画像との一致を判定した後、前記撮像手段の画面の各部において最も一致する距離面の補正画像を選択し、補正画像を合成することを特徴とする請求項１に記載の運転支援装置。
7. 前記保持手段を振動させる振動手段を有し、前記揺れ補正画像処理手段は、前記振動手段によって前記保持手段を振動させたときに、前記振動に対する撮像画像の揺れ量から前記特定距離面を検出することを特徴とする請求項１乃至請求項６の何れかに記載の運転支援装置。
8. 前記撮像手段によって撮像された画像を表示する表示手段を備えたことを特徴とする請求項１乃至請求項７の何れかに記載の運転支援装置。

Images