JP6047975B2 - 車両用画像処理装置 - Google Patents

Description

この発明は、車両の姿勢の変化による画像のブレ、および、車両の振動などによる画像のブレを補正することができる車両用画像処理装置に関するものである。

この種の車両用画像処理装置は、従来からある（たとえば、特許文献１）。以下、従来の車両用画像処理装置について説明する。従来の車両用画像処理装置は、被写体を撮像する撮像手段と、車両の上下振動を検出する振動検出手段と、被写体までの距離を算出する距離算出手段と、撮像手段の生成した映像信号について、振動検出手段の検出結果および距離算出手段の算出結果に基づいて、出力する映像についての補正処理を行う映像出力補正手段と、を備えるものである。この結果、従来の車両用画像処理装置は、車両の上下振動による映像の上下揺れを補正することができるものである。

特開平１１−３３１６８１号公報

ところが、従来の車両用画像処理装置では、車両の姿勢の変化による映像の揺れ（画像のブレ）を補正することができない。

この発明が解決しようとする課題は、従来の車両用画像処理装置では、車両の姿勢の変化による映像の揺れ（画像のブレ）を補正することができないという点にある。

この発明（請求項１にかかる発明）は、車両の周辺を所定の撮像範囲よりも広角に撮像して広角画像を出力する撮像装置と、車両の傾きを検出して検出結果を出力する傾き検出装置と、車両の振動を検出して検出結果を出力する振動検出装置と、画像補正装置と、を備え、画像補正装置が、傾き検出装置からの検出結果に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて広角画像から所定の撮像範囲よりも広角な一部の画像を切り出す車両姿勢補正部と、振動検出装置からの検出結果に基づいて車両姿勢補正部からの切り出し画像のブレ量を算出して、算出したブレ量に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部により切り出された切り出し画像から所定の撮像範囲の画像を切り出すブレ補正部と、から構成されている、ことを特徴とする。

この発明（請求項２にかかる発明）は、車両の周辺を所定の撮像範囲よりも広角に撮像して広角画像を出力する撮像装置と、車両の傾きを検出して検出結果を出力する傾き検出装置と、画像補正装置と、を備え、画像補正装置が、傾き検出装置からの検出結果に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて広角画像から所定の撮像範囲よりも広角な一部の画像を切り出す車両姿勢補正部と、切り出し画像を記憶するバッファと、車両姿勢補正部からの切り出し画像とバッファからの記憶されている切り出し画像とを比較してブレ量を算出して、算出したブレ量に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部により切り出された切り出し画像から所定の撮像範囲の画像を切り出し、切り出した切り出し画像をバッファに記憶させるブレ補正部と、から構成されている、ことを特徴とする。

この発明の車両用画像処理装置は、傾き検出装置により、車両の傾きを検出し、かつ、画像補正装置の車両姿勢補正部あるいは画像補正装置により、車両の傾きに基づいて切り出し座標を算出して、算出した切り出し座標に基づいて撮像装置の広角画像から一部の画像を切り出すものである。この結果、車両の姿勢の変化による画像のブレを補正することができる。

また、この発明の車両用画像処理装置は、前記の従来の車両用画像処理装置と同様に、車両の振動などによる画像のブレを補正することができる。

すなわち、この発明（請求項１に記載の発明）の車両用画像処理装置は、振動検出装置により、車両の振動を検出し、かつ、画像補正装置のブレ補正部により、車両の振動に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部により切り出された切り出し画像から一部の画像を切り出すものである。この結果、車両の振動などによる画像のブレを補正することができる。

また、この発明（請求項２に記載の発明）の車両用画像処理装置は、画像補正装置のブレ補正部により、車両姿勢補正部からの切り出し画像とバッファからの記憶されている切り出し画像とを比較してブレ量を算出して、算出したブレ量に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部により切り出された切り出し画像から一部の画像を切り出し、切り出した切り出し画像をバッファに記憶させるものである。この結果、車両の振動などによる画像のブレを補正することができる。

図１は、この発明にかかる車両用画像処理装置の実施形態１を示す全体構成の機能ブロック図である。 図２は、画像のブレを補正する状態を示す説明図である。 図３は、作用を示すフローチャートである。 図４は、この発明にかかる車両用画像処理装置の実施形態２を示す全体構成の機能ブロック図である。 図５は、作用を示すフローチャートである。 図６は、この発明にかかる車両用画像処理装置の実施形態３を示す全体構成の機能ブロック図である。

以下、この発明にかかる車両用画像処理装置の実施形態（実施例）の３例を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

（実施形態１の構成の説明）
図１〜図３は、この発明にかかる車両用画像処理装置の実施形態１を示す。以下、この実施形態１にかかる車両用画像処理装置の構成について説明する。この実施形態１にかかる車両用画像処理装置は、図１に示すように、撮像装置（カメラ）１と、傾き検出装置２Ｆ、２Ｂと、振動検出装置３と、画像補正装置（画像処理ＥＣＵ）４と、を備えるものである。この実施形態１にかかる車両用画像処理装置の前記画像補正装置４には、画像表示装置（モニタ）５が接続されている。

（撮像装置１の説明）
前記撮像装置１は、車両（図示せず）の左右両側に搭載されている。たとえば、前記車両の左右のドアに装備されているアウトサイドミラー装置たとえばドアミラー装置（図示せず）のミラーベースに、もしくは、前記車両の車体に、搭載されている。

前記撮像装置１は、前記画像補正装置４に接続されている。前記撮像装置１は、前記車両に対して後側に向いている。前記撮像装置１は、前記車両の周辺、この例では、図２に示すように、後側方（後右側）の情報を撮像し、撮像した車両周辺の情報を画像データ（図２参照）として前記画像補正装置４に出力するものである。すなわち、前記撮像装置１は、所定（所望）の範囲の画像（図２（Ａ）、（Ｂ）、（Ｃ）中の点線で囲まれた範囲の画像）Ｐよりも広角（広い範囲）で撮像して、この広角画像（図２（Ａ）、（Ｂ）、（Ｃ）中の実線で囲まれた範囲の画像）Ｐ０を前記画像補正装置４に出力するものである。

（傾き検出装置２Ｆ、２Ｂの説明）
前記傾き検出装置２Ｆ、２Ｂは、前記画像補正装置４に接続されている。前記傾き検出装置２Ｆ、２Ｂは、前記車両の傾き、この例では、前記車両の前後方向の傾き（姿勢の変化など）を検出し、検出した結果を前記画像補正装置４に出力するものである。

前記傾き検出装置は、前記車両の前輪側に搭載された前輪車高センサ２Ｆと、前記車両の後輪側に搭載された後輪車高センサ２Ｂと、から構成されている。前記前輪車高センサ２Ｆは、前輪側の車高を検出するものである。前記後輪車高センサ２Ｂは、後輪側の車高を検出するものである。前記前輪車高センサ２Ｆにより検出された前輪側の車高と、前記後輪車高センサ２Ｂにより検出された後輪側の車高とにより、前記車両の前後方向の傾き量が検出される。

（振動検出装置３の説明）
前記振動検出装置３は、前記画像補正装置４に接続されている。前記振動検出装置３は、前記車両の上下方向の振動、この例では、前記車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレを検出し、検出した結果を前記画像補正装置４に出力するものである。

前記振動検出装置は、前記車両のうち前記撮像装置１が搭載されている箇所もしくはその近傍に搭載された振動センサ３から構成されている。前記振動センサ３は、たとえば、前記の特許文献１に記載の加速度センサなどを使用して、前記車両、特に、前記撮像装置１が搭載されている箇所もしくはその近傍の上下方向の振動量（ブレ量）を検出するものである。

（画像補正装置４の説明）
前記画像補正装置４は、前記撮像装置１、前記傾き検出装置の前記前輪車高センサ２Ｆおよび前記後輪車高センサ２Ｂ、前記振動検出装置の前記振動センサ３、前記画像表示装置５にそれぞれ接続されている。前記画像補正装置４は、車両姿勢補正部６と、ブレ補正部７と、から構成されている。

前記車両姿勢補正部６は、前記撮像装置１、前記傾き検出装置の前記前輪車高センサ２Ｆおよび前記後輪車高センサ２Ｂ、前記ブレ補正部７にそれぞれ接続されている。前記車両姿勢補正部６は、前記前輪車高センサ２Ｆおよび前記後輪車高センサ２Ｂからの検出結果に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて前記広角画像Ｐ０から一部の画像すなわち前記所定範囲の画像Ｐを切り出すものである。

ここで、前記車両の姿勢の変化すなわち前記車両の前後方向の傾きにより、前記撮像装置１が撮像する前記広角画像Ｐ０が変化することについて、図２を参照して説明する。図２（Ａ）に示す前記広角画像Ｐ０は、前記車両が上向きに傾いた場合の広角画像を示す。図２（Ｂ）に示す前記広角画像Ｐ０は、前記車両の前後方向の傾きが０の場合の広角画像を示す。図２（Ｃ）に示す前記広角画像Ｐ０は、前記車両が下向きに傾いた場合の広角画像を示す。図２中の符号「Ｃ」、「Ｗ」は、前記撮像装置１により撮像された他車両、白線である。

前記車両の前側が上向きに傾くと、前記車両に対して後側に向いている前記撮像装置１が下向きに傾くので、図２（Ｂ）に示す前記広角画像Ｐ０が下側に変化する。このために、図２（Ａ）に示す前記広角画像Ｐ０中の前記他車両Ｃおよび前記白線Ｗは、図２（Ｂ）に示す前記広角画像Ｐ０中の前記他車両Ｃおよび前記白線Ｗに対して、相対的に上側に変化する。一方、前記車両が下向きに傾くと、前記撮像装置１が上向きに傾くので、図２（Ｂ）に示す前記広角画像Ｐ０が上側に変化する。このために、図２（Ｃ）に示す前記他車両Ｃおよび前記白線Ｗは、図２（Ｂ）に示す前記他車両Ｃおよび前記白線Ｗに対して、相対的に下側に変化する。

このために、前記所定範囲の画像Ｐの切り出し座標（位置）が固定されていると、図２（Ａ）、（Ｃ）中の二点鎖線に示す前記所定範囲の画像Ｐ中の前記他車両Ｃおよび前記白線Ｗが、図２（Ｂ）中の点線に示す前記所定範囲の画像Ｐ中の前記他車両Ｃおよび前記白線Ｗに対して、上下に変化する。この結果、前記所定範囲の画像Ｐにおいて、前記他車両Ｃおよび前記白線Ｗの上下のブレが発生する。

そこで、図２（Ａ）、（Ｃ）中の実線矢印に示すように、前記他車両Ｃおよび前記白線Ｗの上下の変化量と同量の変化量で、前記所定範囲の画像Ｐの切り出し座標（位置）を、二点鎖線に示す座標（位置）から点線に示す座標（位置）に、補正する。前記所定範囲の画像Ｐにおいて、前記他車両Ｃおよび前記白線Ｗの上下のブレを抑制すること（打ち消すこと）ができる。

前記車両の前後方向の傾き量と、前記広角画像Ｐ０の上下方向の変化量とは、相対関係にある。このために、前記車両姿勢補正部６は、前記前輪車高センサ２Ｆおよび前記後輪車高センサ２Ｂからの検出結果、すなわち、前記車両の前後方向の傾き量から、前記広角画像Ｐ０の上下方向の変化量を算出し、その変化量に基づいて、補正された前記所定範囲の画像Ｐの切り出し座標を算出することができる。そして、前記車両姿勢補正部６は、算出された前記切り出し座標に基づいて前記広角画像Ｐ０から一部の画像すなわち補正された前記所定範囲の画像Ｐよりも一回り広角の画像（図示せず）を切り出す。

前記ブレ補正部７は、前記振動検出装置の前記振動センサ３、前記画像表示装置５、前記車両姿勢補正部６にそれぞれ接続されている。前記ブレ補正部７は、前記振動センサ３からの検出結果に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて前記車両姿勢補正部６により切り出された前記切り出し画像（前記所定範囲の画像Ｐよりも一回り広角の画像）から一部の画像すなわち前記所定範囲の画像Ｐを切り出すものである。

ここで、前記車両が上側に振れると、前記切り出し画像が上側に変化し、前記車両が下側に振れると、前記切り出し画像が下側に変化する。なお、前記車両の上下方向の振動による前記切り出し画像の上下方向の変化は、図２に示す前記車両の前後方向の傾きによる前記広角画像Ｐ０の上下方向の変化とほぼ同様であるから、詳細な説明を省略する。

また、前記車両の上下方向の振動量と前記切り出し画像の上下方向の変化量とは、前記車両の前後方向の傾き量と前記広角画像Ｐ０の上下方向の変化量との相対関係と同様に、相対関係にある。

このために、前記ブレ補正部７は、前記振動センサ３からの検出結果、すなわち、前記車両の上下方向の振動量（ブレ量）から、前記切り出し画像の上下方向の変化量を算出し、その変化量に基づいて、補正された前記所定範囲の画像Ｐの切り出し座標を算出することができる。そして、前記ブレ補正部７は、算出された前記切り出し座標に基づいて前記切り出し画像から一部の画像すなわち補正された前記所定範囲の画像Ｐを切り出す。

（画像表示装置５の説明）
前記画像表示装置５は、前記ブレ補正部７により補正された前記所定範囲の画像Ｐを表示するものである。前記画像表示装置５は、たとえば、運転室内のインストルメントパネルの中央に設けられていて、左右の補正された前記所定範囲の画像Ｐを一緒（同時）に表示するものである。また、前記画像表示装置５は、たとえば、運転室内の左右のフロントピラーにそれぞれ設けられていて、左右の補正された前記所定範囲の画像Ｐを左右に振り分け表示するものである。

前記画像表示装置５は、たとえば、有機ＥＬディスプレイ、プラズマディスプレイ、液晶ディスプレイ、あるいは、前記車両のフロントウインドガラスに表示するレーザープロジェクタ、ヘッドアップディスプレイなどを使用する。前記画像表示装置５は、他の機能の表示装置（図示せず）と一体にもしくは別体に設けられている。

（実施形態１の作用の説明）
この実施形態１にかかる車両用画像処理装置は、以上のごとき構成からなり、以下、その作用について図３のフローチャートを参照して説明する。

まず、イグニションスイッチ（図示せず）をＯＮすることにより、スタートとなる。まず、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂが車両の前後方向の傾きを検出し、検出した結果を画像補正装置４の車両姿勢補正部６に出力する。また、振動検出装置の振動センサ３が車両の上下方向の振動（ブレ）を検出し、検出した結果を画像補正装置４のブレ補正部７に出力する。さらに、撮像装置１は、車両の周辺を撮像し、撮像した広角画像Ｐ０を画像補正装置４の車両姿勢補正部６に出力する。

車両姿勢補正部６は、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂから入力された検出結果に基づいて、切り出し座標を算出する（傾きセンサに基づき切り出し座標を算出 Ｓ１）。つぎに、車両姿勢補正部６は、前記の（Ｓ１）において算出された切り出し座標に基づいて、撮像装置１より入力された広角画像Ｐ０から一部の画像すなわち補正された所定範囲の画像Ｐよりも一回り広角の画像を切り出す。すなわち、一次画像切り出し処理を行う（画像切り出し処理 Ｓ２）。車両姿勢補正部６は、切り出した切り出し画像をブレ補正部７に出力する。

ブレ補正部７は、振動検出装置の振動センサ３から入力された検出結果に基づいて、補正された所定範囲の画像Ｐの切り出し座標を算出する（振動センサに基づき切り出し座標を算出 Ｓ３）。つぎに、ブレ補正部７は、前記の（Ｓ３）において算出された切り出し座標に基づいて、切り出し画像から一部の画像すなわち補正された所定範囲の画像Ｐを切り出す。すなわち、二次画像切り出し処理を行う（画像切り出し処理 Ｓ４）。ブレ補正部７は、切り出した所定範囲の画像Ｐを画像表示装置５に出力する（切り出した画像を表示装置に出力 Ｓ５）。

そして、前記の（Ｓ１）に戻る。また、画像表示装置５は、画像補正装置４のブレ補正部７から入力された所定範囲の画像Ｐを表示する。

（実施形態１の効果の説明）
この実施形態１にかかる車両用画像処理装置は、以上のごとき構成および作用からなり、以下、その効果について説明する。

この実施形態１にかかる車両用画像処理装置は、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂにより、車両の傾きを検出し、かつ、画像補正装置４の車両姿勢補正部６により、車両の傾きに基づいて切り出し座標を算出して、算出した切り出し座標に基づいて撮像装置１の広角画像Ｐ０から一部の画像を切り出すものである。この結果、車両の姿勢の変化（車両の前後方向の傾き）による画像の上下方向のブレを補正することができる。

また、この実施形態１にかかる車両用画像処理装置は、振動検出装置の振動センサ３により、車両の振動を検出し、かつ、画像補正装置４のブレ補正部７により、車両の振動に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部６により切り出された切り出し画像から一部の画像を切り出すものである。この結果、車両の上下方向の振動などによる画像の上下方向のブレ（車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレ）を補正することができる。

このように、この実施形態１にかかる車両用画像処理装置は、車両の姿勢の変化による画像のブレ、および、車両の振動などによる画像のブレを補正することができる。このために、車両の姿勢の変化によるブレおよび車両の振動などによるブレが打ち消されたもしくは抑制された画像が得られる。この画像が画像表示装置５の一定の位置に表示され、ドライバーにとって見易く視認性が高い表示画像が得られる。特に、車両が中高速で走行する場合において、ブレが無く、ドライバーにとって見易く視認性が高い画像が得られる。

（実施形態２の構成の説明）
図４、図５は、この発明にかかる車両用画像処理装置の実施形態２を示す。以下、この実施形態２における車両用画像処理装置の構成について説明する。図中、図１〜図３と同符号は、同一のものを示す。

この実施形態２の車両用画像処理装置のデジタル補正によるブレ補正手段（画像補正装置４０のブレ補正部７０およびバッファ８）と前記の実施形態１の車両用画像処理装置の振動検出装置によるブレ補正手段（振動検出装置の振動センサ３、画像補正装置４のブレ補正部７）との構成が相違している。

すなわち、この実施形態２の車両用画像処理装置の画像補正装置４０は、前記の実施形態１の車両姿勢補正部６と、ブレ補正部７０と、バッファ８と、から構成されている。前記バッファ８は、前記ブレ補正部７０に接続されている。前記バッファ８は、切り出し画像（補正された所定範囲の画像Ｐ）であって、前記ブレ補正部７０により切り出された切り出し画像を記憶するものである。

前記ブレ補正部７０は、画像表示装置５、車両姿勢補正部６、前記バッファ８にそれぞれ接続されている。前記ブレ補正部７０は、前記車両姿勢補正部６からの切り出し画像（所定範囲の画像Ｐよりも一回り広角の画像）と前記バッファ８からの記憶されている切り出し画像とを比較して上下方向のブレ量を算出する。すなわち、前記車両姿勢補正部６からの切り出し画像が前記バッファ８からの記憶されている切り出し画像に対して上下方向に変化している量を算出する。

前記ブレ補正部７０は、算出した前記ブレ量に基づいて切り出し座標を算出する。すなわち、算出した前記ブレ量と同量上下方向に補正した切り出し座標を算出する。前記ブレ補正部７０は、算出した前記切り出し座標に基づいて前記車両姿勢補正部６により切り出された前記切り出し画像から一部の画像を切り出す。前記ブレ補正部７０は、切り出した前記切り出し画像を前記バッファ８に出力して記憶させ、かつ、前記画像表示装置５に出力する。

（実施形態２の作用の説明）
この実施形態２にかかる車両用画像処理装置は、以上のごとき構成からなり、以下、その作用について図５のフローチャートを参照して説明する。

まず、イグニションスイッチ（図示せず）をＯＮすることにより、スタートとなる。まず、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂが車両の前後方向の傾きを検出し、検出した結果を画像補正装置４０の車両姿勢補正部６に出力する。また、撮像装置１は、車両の周辺を撮像し、撮像した広角画像Ｐ０を画像補正装置４０の車両姿勢補正部６に出力する。さらに、ブレ補正部７０は、切り出した切り出し画像をバッファ８に出力して記憶させる。

車両姿勢補正部６は、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂから入力された検出結果に基づいて、切り出し座標を算出する（傾きセンサに基づき切り出し座標を算出 Ｓ１１）。つぎに、車両姿勢補正部６は、前記の（Ｓ１１）において算出された切り出し座標に基づいて、撮像装置１より入力された広角画像Ｐ０から一部の画像すなわち補正された所定範囲の画像Ｐよりも一回り広角の画像を切り出す。すなわち、一次画像切り出し処理を行う（画像切り出し処理 Ｓ１２）。車両姿勢補正部６は、切り出した切り出し画像をブレ補正部７０に出力する。

ブレ補正部７０は、車両姿勢補正部６からの切り出し画像（現在の画像）とバッファ８からの記憶されている切り出し画像とを比較して上下方向のブレ量を算出する（バッファの画像と現在の画像からブレ量を算出 Ｓ１３）。ブレ補正部７０は、算出したブレ量に基づいて切り出し座標を算出する（ブレ量に基づき切り出し座標を算出 Ｓ１４）。ブレ補正部７０は、算出した切り出し座標に基づいて車両姿勢補正部６により切り出された切り出し画像から一部の画像を切り出す。すなわち、二次画像切り出し処理を行う（画像切り出し処理 Ｓ１５）。ブレ補正部７０は、切り出した切り出し画像をバッファ８に出力して記憶させ、かつ、画像表示装置５に出力する（切り出した画像を、バッファに保存し、表示装置に出力 Ｓ１６）。

そして、前記の（Ｓ１１）に戻る。また、画像表示装置５は、画像補正装置４０のブレ補正部７０から入力された所定範囲の画像Ｐを表示する。

（実施形態２の効果の説明）
この実施形態２にかかる車両用画像処理装置は、以上のごとき構成および作用からなるので、前記の実施形態１にかかる車両用画像処理装置とほぼ同様の効果を達成することができる。

すなわち、この実施形態２にかかる車両用画像処理装置は、前記の実施形態１にかかる車両用画像処理装置と同様に、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂにより、車両の傾きを検出し、かつ、画像補正装置４０の車両姿勢補正部６により、車両の傾きに基づいて切り出し座標を算出して、算出した切り出し座標に基づいて撮像装置１の広角画像Ｐ０から一部の画像を切り出すものである。この結果、車両の姿勢の変化（車両の前後方向の傾き）による画像の上下方向のブレを補正することができる。

また、この実施形態２にかかる車両用画像処理装置は、画像補正装置４０のブレ補正部７０により、車両姿勢補正部６からの切り出し画像とバッファ８からの記憶されている切り出し画像とを比較してブレ量を算出して、算出したブレ量に基づいて切り出し座標を算出し、かつ、算出した切り出し座標に基づいて車両姿勢補正部６により切り出された切り出し画像から一部の画像を切り出し、切り出した切り出し画像をバッファ８に記憶させるものである。この結果、車両の上下方向の振動などによる画像の上下方向のブレ（車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレ）を補正することができる。

（実施形態３の構成の説明）
図６は、この発明にかかる車両用画像処理装置の実施形態３を示す。以下、この実施形態３における車両用画像処理装置の構成について説明する。図中、図１〜図５と同符号は、同一のものを示す。

この実施形態３の車両用画像処理装置の光学補正によるブレ補正手段（撮像装置１００、画像補正装置４００）と、前記の実施形態１の車両用画像処理装置の振動検出装置によるブレ補正手段（振動検出装置の振動センサ３、画像補正装置４のブレ補正部７）、および、前記の実施形態２の車両用画像処理装置のデジタル補正によるブレ補正手段（画像補正装置４０のブレ補正部７０およびバッファ８）との構成が相違している。

すなわち、この実施形態３の車両用画像処理装置の撮像装置１００は、車両の振動によるブレを補正する機能を有する。前記補正機能手段は、車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレを打ち消すように、前記撮像装置１００のレンズまたは撮像素子を動かすものである。すなわち、前記補正機能手段は、手ブレ補正を用いて車両の上下方向の振動による画像の上下方向のブレを抑制するものである。

前記撮像装置１００は、車両の周辺を所定の撮像範囲よりも広角に撮像して前記車両の振動によるブレが前記補正機能手段で補正された広角画像を出力するものである。

この実施形態３の車両用画像処理装置の画像補正装置４００は、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂからの検出結果に基づいて切り出し座標を算出して、算出した前記切り出し座標に基づいて、前記撮像装置１００から入力した前記広角画像（前記補正機能手段により、車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレが打ち消されている画像）から一部の画像（所定範囲の画像Ｐ）を切り出す。画像補正装置４００は、切り出した画像を画像表示装置５に出力する。

（実施形態３の作用、効果の説明）
この実施形態３にかかる車両用画像処理装置は、以上のごとき構成からなるので、前記の実施形態１、２にかかる車両用画像処理装置とほぼ同様の作用、効果を達成することができる。

すなわち、この実施形態３にかかる車両用画像処理装置は、前記の実施形態１、２にかかる車両用画像処理装置とほぼ同様に、傾き検出装置の前輪車高センサ２Ｆ、後輪車高センサ２Ｂにより、車両の傾きを検出し、かつ、画像補正装置４００により、車両の傾きに基づいて切り出し座標を算出して、算出した切り出し座標に基づいて撮像装置１００の広角画像（車両の振動によるブレが補正機能手段で補正された広角画像）から一部の画像を切り出すものである。この結果、車両の姿勢の変化（車両の前後方向の傾き）による画像の上下方向のブレを補正することができる。

また、この実施形態３にかかる車両用画像処理装置は、撮像装置１００の車両の振動によるブレを補正する機能により、撮像装置１００で車両の周辺を所定の撮像範囲よりも広角に撮像された画像において、車両の振動によるブレを補正するものである。この結果、車両の上下方向の振動などによる画像の上下方向のブレ（車両の前後方向の傾きに対して、周期の短い小刻みな上下方向のブレ）を補正することができる。

「実施形態１、２、３以外の例の説明」
なお、前記の実施形態１、２、３においては、撮像装置１、１００を車両の左右両側、たとえば、車両の左右のドアに装備されているアウトサイドミラー装置のミラーベースに、もしくは、車両の車体に、搭載されている。ところが、この発明においては、撮像装置１、１００を搭載する位置を特に限定しない。

また、前記の実施形態１、２、３においては、画像補正装置４、４０、４００から出力された画像を画像表示装置５で表示するものである。ところが、この発明においては、画像補正装置４、４０、４００から出力された画像を画像表示装置５以外の装置に使用する場合がある。たとえば、撮像装置が広角レンズ（魚眼レンズ）を使用する広角カメラ（魚眼カメラ）の場合、広角画像（魚眼画像）の周辺部分を補正する装置、また、画像補正装置４、４０、４００から出力された画像から歩行者、自転車、他の車両などの対象物を検出する装置、また、検出した対象物との相対距離もしくは相対速度を算出する装置などに使用する場合がある。この場合において、車両の姿勢の変化によるブレおよび車両の振動などによるブレが打ち消されたもしくは抑制された画像が得られるので、高精度の補正精度や検出精度や算出精度が得られる。

１、１００ 撮像装置
２Ｆ 前輪車高センサ（傾き検出装置）
２Ｂ 後輪車高センサ（傾き検出装置）
３ 振動センサ（振動検出装置）
４、４０、４００ 画像補正装置
５ 画像表示装置
６ 車両姿勢補正部
７、７０ ブレ補正部
８ バッファ
Ｐ 所定範囲の画像
Ｐ０ 広角画像
Ｃ 他車両
Ｗ 白線

Claims (2)

1. 車両の周辺を所定の撮像範囲よりも広角に撮像して広角画像を出力する撮像装置と、
   前記車両の傾きを検出して検出結果を出力する傾き検出装置と、
   前記車両の振動を検出して検出結果を出力する振動検出装置と、
   画像補正装置と、
   を備え、
   前記画像補正装置は、前記傾き検出装置からの前記検出結果に基づいて切り出し座標を算出し、かつ、算出した前記切り出し座標に基づいて前記広角画像から前記所定の撮像範囲よりも広角な一部の画像を切り出す車両姿勢補正部と、前記振動検出装置からの検出結果に基づいて前記車両姿勢補正部からの切り出し画像のブレ量を算出して、算出したブレ量に基づいて切り出し座標を算出し、かつ、算出した前記切り出し座標に基づいて前記車両姿勢補正部により切り出された前記切り出し画像から前記所定の撮像範囲の画像を切り出すブレ補正部と、から構成されている、
   ことを特徴とする車両用画像処理装置。
2. 車両の周辺を所定の撮像範囲よりも広角に撮像して広角画像を出力する撮像装置と、
   前記車両の傾きを検出して検出結果を出力する傾き検出装置と、
   画像補正装置と、
   を備え、
   前記画像補正装置は、前記傾き検出装置からの前記検出結果に基づいて切り出し座標を算出し、かつ、算出した前記切り出し座標に基づいて前記広角画像から前記所定の撮像範囲よりも広角な一部の画像を切り出す車両姿勢補正部と、切り出し画像を記憶するバッファと、前記車両姿勢補正部からの切り出し画像と前記バッファからの記憶されている切り出し画像とを比較してブレ量を算出して、算出した前記ブレ量に基づいて切り出し座標を算出し、かつ、算出した前記切り出し座標に基づいて前記車両姿勢補正部により切り出された前記切り出し画像から前記所定の撮像範囲の画像を切り出し、切り出した前記切り出し画像を前記バッファに記憶させるブレ補正部と、から構成されている、
   ことを特徴とする車両用画像処理装置。

Images