JP2006298217A - 車両周辺監視装置 - Google Patents

Abstract

【課題】 撮像装置の撮像方向が変化しても、撮像画像に重畳する補助画像の重畳位置を補正して表示できるようにする。
【解決手段】 撮像装置１２で撮像した撮像画像６１に補助画像６２を重畳して表示装置１４に表示させる画像重畳部３２ａと、撮像画像６１に映し込まれた所定の目印Ｍａ、Ｍｂに基づいて撮像画像６１に於ける補助画像６２の相対的な重畳位置を補正する重畳位置補正部３２ｂを備える。
【選択図】図９

Description

本発明は、車両周辺の画像を撮像して表示部に表示するようにした車両周辺監視装置に関するものである。

近年、映像処理技術の発達に伴い、車載カメラによって撮像された映像に対して、運転支援の目的で補助画像を重畳して、車室内に設置された表示装置に表示させる車両周辺監視装置が提案されている。例えば、車両後端部に設置された車載カメラで車両後方を撮像し、表示画面上の所定位置に、自車の車幅を示す車幅ラインや車両後端からの距離を示す距離ライン等の補助画像を重畳することによって、運転者に後退駐車を容易に実現させるものである。

しかしながら、従来技術では以下に示すような問題点があった。即ち、車載カメラへの衝撃や経年変化によって撮像方向が変化した場合、従来技術では、表示画面上の所定位置に車幅ライン及び距離ライン等の補助画像を重畳するので、重畳された各種のラインが実際の自車の走行位置に対してずれて表示され、運転者は容易に後退駐車を実現することができないだけでなく、むしろ後退駐車が困難になる場合がある。

そこで、本発明の課題は、車載カメラの撮像方向の変化に依らず、車幅ライン及び距離ライン等の補助画像を撮像画像に対して一定の位置関係で表示できるようにする車両周辺監視装置を提供することにある。

上記課題を解決すべく、請求項１に記載の発明は、車両に搭載された撮像装置と、前記車両に搭載されて、前記撮像装置によって撮像された撮像画像を表示する表示部と、補助画像のデータを格納した記憶部と、前記撮像画像上に、前記補助画像を重畳して、前記表示部に表示させる画像重畳部と、前記撮像画像に映し込まれた所定の目印に基づいて、前記撮像画像に於ける前記補助画像の相対的な重畳位置を補正する重畳位置補正部とを備えることを特徴とするものである。

請求項２に記載の発明は、請求項１に記載の車両周辺監視装置であって、前記目印は、前記車両の駐車位置に対して一定の位置関係で配置され、前記重畳位置補正部は、前記撮像画像に映し込まれた前記目印に対して前記補助画像が所定の位置関係を保って表示されるように、前記撮像画像に於ける前記補助画像の相対的な重畳位置を補正することを特徴とするものである。

請求項３に記載の発明は、請求項１または請求項２に記載の車両周辺監視装置であって、補正指令を入力するための入力部を更に備え、前記重畳位置補正部は、前記補正指令の入力に応答して前記補助画像の重畳位置の補正を行うことを特徴とするものである。

請求項１に記載の発明に依れば、撮像画像に於いて、撮像画像に映し込まれた所定の目印に基づいて補助画像の相対的な重畳位置を補正するので、撮像装置の撮像方向が変化した場合でも、車幅ライン及び距離ライン等の補助画像が撮像画像に対して一定の位置関係で表示され、運転者は容易に運転操作を実現することが可能となる。

請求項２に記載の発明に依れば、駐車位置に対して一定の位置関係に付された目印を撮像画像に映し込むことによって、目印との位置関係が一定となるように補助画像の相対的な重畳位置を補正するので、運転者が自宅の駐車場等を利用して簡単に補助画像の重畳位置の補正処理を行うことが可能となる。

請求項３に記載の発明に依れば、補助画像の重畳位置を補正する補正指令を入力するための入力部を備えているので、運転者が希望する時に、入力部を通じて補正指令を与えるだけで、簡単に補助画像の重畳位置の補正処理を行うことが可能となる。

＜構成＞
図１は本発明の実施の形態に係る車両周辺監視装置１０が搭載された車両１１を示す平面図、図２は同じくその側面図、図３は車両周辺監視装置１０を示すブロック図である。

この車両周辺監視装置１０は、図１〜図３に示す如く、運転者にとって死角となる視野範囲を含む車両１１周辺の所定の視野範囲Ａ１、Ａ２を撮像するものであって、車両１１の外部を撮像するよう取り付けられた撮像装置１２と、この撮像装置１２からの映像信号を受信して映像処理等の所定の信号処理を行うカメラ用電子制御ユニット１３と、カメラ用電子制御ユニット１３で信号処理された映像を表示する表示装置１４と、表示装置１４に表示される補助画像６２（図６〜図９参照）の表示位置の補正指令を入力するための入力部１５とを備える。

撮像装置１２は、例えば、図４に示す如く、レンズ系４１と、撮像素子４２と、それらを収容するケース４３とを備えている。尚、この図１に示した実施の形態では、車両１１の後端中央部に撮像装置１２を設置しているが、その他、例えば車両１１の前端部に設置しても差し支えないのは勿論である。

レンズ系４１は、例えば、その前端部を除いてレンズケース４４に収容された状態でケース４３内に収容されており、複数のレンズ４４ａ〜４４ｇを光軸方向に順次配置することで、撮像装置１２に於いて要求される広い視野範囲Ａ１、Ａ２の映像を撮像できるようになっている。尚、レンズ系４１によって撮像される映像は水平方向と鉛直方向の拡大倍率が異なっていても良いし、同じであっても良い。

撮像素子４２は、図４に示す如く、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）によって構成され、回路基板４７上に実装された状態で、ケース４３内に於けるレンズ系４１の後方側に設置されている。

尚、図４中のケーブル４５は、撮像装置１２に対する電源、制御信号の供給及び、画像信号の取り出し等を行うためのもので、図１及び図３中のワイヤハーネス１６を構成する。また、撮像装置１２は、防水コネクタ４６を備えている。

入力部１５は、図５に示す如く、操作者による押し釦またはタッチパネル１５ａ、ドライブシフト１５ｂが所定の位置にあることを検知するドライブシフト検知スイッチ、パーキングブレーキ１５ｃに連動したブレーキスイッチ等の所定の操作手段であり、これら各種信号の何れかを受信して、カメラ用電子制御ユニット１３に対して、撮像装置１２が目印Ｍａ及びＭｂ（例えば、図１、図２及び図８に示す如く、駐車区画Ｐ１の後壁面の所定位置に付された２つの図形「◎」）の近傍を撮像している状態で撮像画像６１に重畳する補助画像６２の位置の補正指令を与えるものである。

カメラ用電子制御ユニット１３は、図３に示す如く、映像伝送路としてのワイヤハーネス１６により撮像装置１２に接続されており、フラッシュＲＯＭ等の書換可能な不揮発性記憶装置（記憶部）３１と、入力部１５に接続されて撮像装置１２により撮像された撮像画像６１に所定の映像処理を実行する映像処理部３２と、表示装置１４の表示制御をする表示制御部３３とを備える。

不揮発性記憶装置３１には、その記憶領域のアドレスを異ならせることにより、例えば、図６及び図７に示したような補助画像６２のパターンを記憶する補助画像記憶部３１ａと、撮像画像６１に映し込まれた目印Ｍａ、Ｍｂに対して補助画像６２が所定の位置関係を保って表示されるように撮像画像６１に於ける補助画像６２の相対的な重畳位置を補正するための補正データを記憶する補正データ記憶部３１ｂとを備える。

尚、重畳される補助画像６２としては、例えば、図６及び図７に示す如く、車両１１の車幅を示す車幅ライン６２ａ、車両１１の後端からの距離を示す距離ライン６２ｂ等の運転操作を補助するための画像が考えられる。

また、上記補正データとしては、例えば、次のようなデータが考えられる。ここでは、理解を容易にするために図８〜図１０を用いて説明する。ここで、図８は、撮像装置１２が正規の位置に取り付けられた状態で車両１１が駐車区画Ｐ１に後退駐車を行おうとしている時の表示画面の一例を示す図であり、図９は、撮像装置１２が正規の位置から傾いてズレた状態で車両１１が駐車区画Ｐ１に後退駐車を行おうとしている時の表示画面の他の例を示す図であり、図１０は入力部１５より補正指令与えられた時の補正処理を説明するための仮想的な図である。今、図１、図２、図８及び図９に示す如く、駐車区画Ｐ１後方の所定位置に目印Ｍａ、Ｍｂを配置した状態で、車両１１を駐車区画Ｐ１の所定位置に駐車して、撮像装置１２により車両後方の撮像画像を得る。この時、撮像装置１２の姿勢及び撮像方向が正規位置にある時に、図１０に示す如く、画面上に映り込む目印Ｍａ、Ｍｂの基準位置をｍａ０、ｍｂ０とし、撮像装置１２の姿勢または撮像方向が正規位置からズレた時に画面上に映り込む目印Ｍａ、Ｍｂの変動位置をｍａ１、ｍｂ１とすると、変動位置ｍａ１、ｍｂ１の基準位置ｍａ０、ｍｂ０に対するズレが、例えば、画面上でのｘ、ｙ方向へのズレ量Δｘ、Δｙと、線分ｍａ１ｍｂ１の線分ｍａ０ｍｂ０に対するズレ角Δθを用いて表される。そこで、補助画像６２が画面に映し込まれる目印Ｍａ、Ｍｂに対して所定の位置関係を保って表示されるように、ズレ（Δｘ，Δｙ，Δθ）に応じて補助画像６２の表示位置を補正する補正データが、ズレ（Δｘ，Δｙ，Δθ）の関数式として、或いは予め実験により求められたデータテーブルとして補正データ記憶部３１ｂに記憶される。例えば、図１０の例では、目印Ｍａ、Ｍｂが基準位置ｍａ０、ｍｂ０に映し込まれた時の補助画像６２の表示位置が実線で表され、目印Ｍａ、Ｍｂが変動位置ｍａ１、ｍｂ１に映し込まれた時の補正データによる補正処理後の補助画像６２の表示位置が一点鎖線で表されている。このように、上記補正データはズレ（Δｘ，Δｙ，Δθ）に基づいて補正画像６２の表示位置を演算補正するデータとして準備される。

尚、目印Ｍａ及びＭｂの種類は必ずしも上述したような壁面に付された２つの図形「◎」に限られるものである必要はなく、任意の図形または物体で任意の個数であっても良い。例えば、上向きの矢印「↑」のような回転対称でない図形（図示省略）を用いれば、単一の目印によりズレ（Δｘ，Δｙ，Δθ）を求めることができ、補助画像６２の表示位置の補正を行うことができる。

映像処理部３２は、撮像装置１２からワイヤハーネス１６を通じて伝送されてきた撮像画像６１上に補助画像記憶部３１ａに記憶された補助画像６２を重畳する画像重畳部３２ａと、入力部１５からの補正指令に応答して撮像画像６１に映し込まれた目印Ｍａ及びＭｂに基づき上記補正データを用いて撮像画像６１上に重畳する補助画像６２の重畳位置を補正する重畳位置補正部３２ｂとを備える。

具体的には、例えば、図１及び図２に示す如く、車両１１が駐車区画Ｐ１に駐車した状態で、運転者等によってタッチパネル１５ａ等の入力部１５（図３及び図５参照）から補正指令が入力されると、図６に示す如く、撮像装置１２によって車両１１の後方が撮像され、その撮像画像６１がワイヤハーネス１６を通じて映像処理部３２に伝送される。

そして、映像処理部３２は撮像画像６１に対して特徴抽出等の画像処理を施して目印Ｍａ、Ｍｂを検出し、その検出位置を変動位置ｍａ１、ｍｂ１として基準位置ｍａ０、ｍｂ０からのズレ（Δｘ，Δｙ，Δθ）を算出する。その後、算出されたズレ（Δｘ，Δｙ，Δθ）に基づいて補正データ記憶部３１ｂに記憶された補正データを用いて補助画像６２の相対的な重畳位置を算出し、その結果を記憶すると共に、画像重畳部３２ａが、補助画像記憶部３１ａに記憶された補助画像６２を、上記記憶部３１に更新記憶された結果に基づいて撮像画像６１に重畳して表示部１４に表示する。

上記の補正指令が実行されることにより、以後は補正指令が入力されない限り、画像重畳部３２ａは、補助画像記憶部３１ａに格納された補助画像６２を記憶部３１に更新記憶されたデータに基づいて撮像画像６１に対して重畳するので、運転者が後退駐車等を行う際には、図８または図９に示す如く、撮像画像６１内の目印Ｍａ、Ｍｂに対して適切な位置に重畳補正された補助画像６２に基づいて車両１１を操作することが可能となる。

表示制御部３３は、図８に示す如く、映像処理部３２で画像合成された合成画像８３のフレームレートや出力信号の方式等を調整・変換を行った後、その映像信号を表示装置１４に出力する。

表示装置１４は、液晶表示装置等により構成されて車室内に設置され、カメラ用電子制御ユニット１３の表示制御部３３から出力された映像信号の表示を行う。

尚、映像処理部３２及び表示制御部３３は、ＲＯＭおよびＲＡＭ等が接続された一般的なコンピュータのＣＰＵ（マイクプロセッサ）内において所定のソフトウェアプログラムによって動作する機能部品である。

＜動作＞
上記構成の車両周辺監視装置の動作を説明する。まず、車両１１は、図１に示す如く、手動の運転操作によって駐車区画Ｐ１に駐車される。この時、車両１１の停止位置及び姿勢は駐車区画Ｐ１内にあり、撮像装置１２の視野範囲Ａ１、Ａ２内の所定位置に目印Ｍａ及びＭｂが予め取り付けられているものとする。

尚、上記の駐車操作を容易且つ確実にし、目印Ｍａ及びＭｂを撮像装置１２の視野範囲Ａ１、Ａ２内に捉えるために、駐車区画Ｐ１の路面上に凹みを形成して、車両１１を駐車区画Ｐ１の所定の位置に導くようにしても良い。

車両１１の駐車後に、運転者によって、例えば、タッチパネル１５ａに入力操作（補正指令）が行われると、撮像装置１２は、図１に示す如く、車両１１の後方を撮像し、この撮像画像６１を映像処理部３２に伝送する。

映像処理部３２は、撮像装置１２により撮像された撮像画像６１に対して特徴抽出等の画像処理を施して目印Ｍａ、Ｍｂを検出し、その検出位置を変動位置ｍａ１、ｍｂ１として基準位置ｍａ０、ｍｂ０からのズレ（Δｘ，Δｙ，Δθ）を算出する。その後、算出されたズレ（Δｘ，Δｙ，Δθ）に基づいて補正データ記憶部３１ｂに記憶された補正データを用いて補助画像６２の相対的な重畳位置を算出し、その結果を記憶部３１に更新記憶すると共に、画像重畳部３２ａが、補助画像記憶部３１ａに記憶された補助画像６２を、上記記憶部３１に更新記憶された結果に基づいて撮像画像６１に重畳して表示部１４に表示する。

上記の補正指令が実行されることにより、以後は補正指令が入力されない限り、画像重畳部３２ａは、補助画像記憶部３１ａに格納された補助画像６２を記憶部３１に更新記憶されたデータに基づいて撮像画像６１に対して重畳するので、運転者が後退駐車等を行う際には、図８または図９に示す如く、適切な位置に重畳された補助画像６２に基づいて車両１１を操作することが可能となる。

このようにして表示装置１４に撮像装置１２で撮像された映像が表示される際、図８及び図９に示す如く、撮像画像６１に於ける補助画像６２の重畳位置を目印Ｍａ及びＭｂを基準として補正することによって、撮像装置１２の取付位置のズレに影響されることなく補助画像６２を目印Ｍａ、Ｍｂに対し所定の位置関係を保って表示することが可能となり、以後は表示位置が補正された補助画像６２を確認しながら運転者は駐車操作を確実に行うことが可能となる。

また、車両１１の駐車位置に対して一定の位置関係に付された目印Ｍａ、Ｍｂを撮像画像６１に映し込むことによって、目印Ｍａ、Ｍｂとの位置関係が一定となるように補助画像６２の相対的な重畳位置を補正するので、運転者が自宅の駐車場等を利用して簡単に補助画像６２の重畳位置の補正を行うことが可能となる。

更に、補助画像６２の重畳位置を補正する補正指令を入力するための入力部１５を備えているので、運転者が希望する時に、入力部１５を通じて補正指令をあたえるだけで、簡単に補助画像６２の重畳位置の補正処理を行うことが可能となる。

尚、図９に示す如く、撮像画像６１に映し出された目印Ｍａ及びＭｂを結んだ直線が画面の水平ラインに対して傾いている場合には、先に検出したズレ（Δｘ，Δｙ，Δθ）を用いて、図８に示す如く、目印Ｍａ及びＭｂを結んだ直線が水平になるように、図９に示す重畳画像に対して回転補正処理を更に行うようにしても良い。このようにすれば、撮像装置１２が衝撃や経時変化により傾いた場合でも、その傾きを補正した状態で撮像画像６１と補助画像６２とを表示することが可能となり、運転者の視認性を向上できる。

本発明の実施の形態に係る車両周辺監視装置を示す平面図である。 本発明の実施の形態に係る車両周辺監視装置を示す側面図である。 本発明の実施の形態に係る車両周辺監視装置を示すブロック図である。 本発明の実施の形態に係る車両周辺監視装置の撮像装置を示す図である。 本発明の実施の形態に係る車両周辺監視装置を示す図である。 本発明の実施の形態に係る車両周辺監視装置に於いて撮像装置が正規の位置に取り付けられた状態での撮像画像を示す図である。 本発明の実施の形態に係る車両周辺監視装置に於いて撮像装置が正規の位置からズレた状態での撮像画像を示す図である。 本発明の実施の形態に係る車両周辺監視装置の表示画面の第１例図である。 本発明の実施の形態に係る車両周辺監視装置の表示画面の第２例図である。 本発明の実施の形態に係る車両周辺監視装置の補正処理を説明するための仮想的な図である。

符号の説明

１０ 車両周辺監視装置
１１ 車両
１２ 撮像装置
１３ カメラ用電子制御ユニット
１４ 表示装置

Claims (3)

1. 車両に搭載された撮像装置と、
   前記車両に搭載されて、前記撮像装置によって撮像された撮像画像を表示する表示部と、
   補助画像のデータを格納した記憶部と、
   前記撮像画像上に、前記補助画像を重畳して、前記表示部に表示させる画像重畳部と、
   前記撮像画像に映し込まれた所定の目印に基づいて、前記撮像画像に於ける前記補助画像の相対的な重畳位置を補正する重畳位置補正部と、
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１に記載の車両周辺監視装置であって、
   前記目印は、前記車両の駐車位置に対して一定の位置関係で配置され、
   前記重畳位置補正部は、前記撮像画像に映し込まれた前記目印に対して前記補助画像が所定の位置関係を保って表示されるように、前記撮像画像に於ける前記補助画像の相対的な重畳位置を補正することを特徴とする車両周辺監視装置。
3. 請求項１または請求項２に記載の車両周辺監視装置であって、
   補正指令を入力するための入力部を更に備え、
   前記重畳位置補正部は、前記補正指令の入力に応答して前記補助画像の重畳位置の補正を行うことを特徴とする車両周辺監視装置。

Images