JP5523730B2 - 車載周辺画像表示装置 - Google Patents

Description

本発明は、運転者に対して自動車周辺を撮影した画像を提示する技術に関するものである。

運転者に対して自動車周辺を撮影した画像を提示する技術としては、自動車周辺を複数のカメラによって撮影した複数の画像を、自動車上方の視点から自動車周辺を俯瞰的に表す俯瞰画像に射影変換して表示する装置が知られている。

また、カメラで撮影した画像を、自動車周辺を俯瞰的に表す車載周辺画像に射影変換するための変換規則を求める技術としては、校正パターンをカメラで撮影し、変換規則を、当該変換規則によってカメラで撮影した画像を変換した俯瞰画像上に校正パターンが正しく配置されるように定める技術が知られている（特許文献１）。なお、俯瞰画像上の校正パターンの正しい配置位置は、校正パターンの現実の位置の実測値より定められる（特許文献１で引用する特許文献２）。

特開２００８−１９３１８８号公報 特開２００４−３４２０６７号公報

前記特許文献１記載の正方形の校正パターンを用いてカメラで撮影した画像を、自動車周辺を俯瞰的に表す俯瞰画像に変換するための変換規則を求める技術によれば、校正パターンの現実の位置の実測を行う必要があるため、その作業は大がかりで高度の技術を要するものとなる。

そして、このために、専門業者により適正に変換規則が設定された、俯瞰画像を生成表示する装置の利用をユーザが開始した後に、カメラの位置/姿勢ずれ等が発生し、変換規則が不適正なものとなった場合に、その修正をユーザが行うことは困難であった。

そこで、本発明は、カメラの位置/姿勢ずれなどによって、カメラで撮影した画像を、自動車周辺を表す車両周辺画像に変換するための変換規則が不適正なものとなった場合に、当該変換規則を容易に修正できるようにすることを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車載周辺画像表示装置に、前記自動車周囲を撮影する複数のカメラと、前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像生成手段が生成した車両周辺画像を表示する表示装置と、前記カメラ毎に定めた変換規則を調整する調整手段とを備えたものである。ここで、前記複数のカメラ各々の撮影範囲のうちの隣接する撮影範囲は部分的に重複しており、前記調整手段は、調整対象カメラとして設定されたカメラの撮影範囲と、他のカメラの撮影範囲との重複部分に所定の校正パターンが配置されている状態において、前記調整対象カメラで撮影した画像を当該調整対象カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標が、前記他のカメラで撮影した画像を当該他のカメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標と一致するように、前記調整対象カメラに対して定められた前記変換規則を調整するものである。

ここで、このような車載周辺画像表示装置には、前記カメラであって、当該カメラで撮影した画像を当該カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像が、前記校正パターンの形状と相似な形状を備えていないカメラを、前記調整対象カメラとして設定する調整対象カメラ設定手段を設けるようにしてもよい。

以上のような車載周辺画像表示装置によれば、ユーザは、カメラの位置/姿勢ずれなどによって変換規則の調整が必要となったカメラを調整対象カメラとして、調整対象カメラの撮影範囲と、他のカメラの撮影範囲との重複部分に所定の校正パターンを配置するだけで、当該調整対象カメラの画像を射影変換するための変換規則を適正な変換規則に修正することができる。

以上のように、本発明によれば、カメラの位置/姿勢ずれなどによって、カメラで撮影した画像を、自動車周辺を表す車両周辺画像に変換するための変換規則が不適正なものとなった場合に、当該変換規則を容易に修正できるようになる。

本発明の実施形態に係る周辺状況表示装置の構成を示すブロック図である。 本発明の実施形態に係る俯瞰画像生成処理の処理例を示す図である。 本発明の実施形態に係る調整処理の処理例を示す図である。 本発明の実施形態に係る調整処理を示すフローチャートである。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る周辺状況表示装置の構成を示す。
図示するように、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４、画像記憶部１０５、調整部１０６、俯瞰画像生成部１０７、変換テーブル保持部１０８、表示装置１０９、表示装置１０９の表示を制御する表示処理部１１０、ユーザの操作を受け付ける操作部１１１、以上各部を制御する制御部１１２を有している。

ここで、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４は、たとえば魚眼レンズ等を用いた広角のカメラであり、図２ａに示すように、フロントカメラ１０１は車両前方向の領域２０１を撮影し、リアカメラ１０２は車両後方向の領域２０２を撮影し、レフトサイドカメラ１０３は車両左方向の領域２０３を撮影し、ライトサイドカメラ１０４は車両右方向の領域２０４を撮影する。ここで、フロントカメラ１０１の撮影領域２０１は、その左側においてレフトサイドカメラ１０３の撮影領域２０３と一部重複し、その右側においてライトサイドカメラ１０４の撮影領域２０４と一部重複し、リアカメラ１０２の撮影領域２０２は、その左側においてレフトサイドカメラ１０３の撮影領域２０３と一部重複し、その右側においてライトサイドカメラ１０４の撮影領域２０４と一部重複するように各カメラは設置されている。

次に、図２ｂは、このようなフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した画像の例を示したものであり、図２ａに示すような状況では、図２ｂに示すように、フロントカメラ１０１によって前方画像ＦＯが撮影され、リアカメラ１０２によって後方画像ＢＯが撮影され、レフトサイドカメラ１０３によって左方画像ＬＯが撮影され、ライトサイドカメラ１０４によって右方画像ＲＯが撮影されることになる。そして、このような、フロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した各画像ＦＯ、ＢＯ、ＬＯ、ＲＯは、逐次、画像記憶部１０５に格納される。

そして、俯瞰画像生成部１０７は、このようにして画像記憶部１０５に格納されたフロントカメラ１０１、リアカメラ１０２、レフトサイドカメラ１０３、ライトサイドカメラ１０４が撮影した各画像ＦＯ、ＢＯ、ＬＯ、ＲＯに対して、射影変換処理を施して俯瞰画像を生成し、俯瞰画像を画像記憶部１０５に格納する。そして、表示処理部１１０は、画像記憶部１０５に格納された俯瞰画像を、表示装置１０９に表示する。

ここで、俯瞰画像生成部１０７が行う射影変換処理では、図２ｂに示すように、変換テーブル保持部１０８に保持されているフロントカメラ用変換テーブルを用いて、フロントカメラ１０１が撮影した前方画像ＦＯを、予め定めた自動車上方の視点よりフロントカメラ１０１の撮影範囲を撮影した場合に得られたであろう画像を表すように、俯瞰画像Ｇの上方の領域２１１の画像部分に射影変換する。ここで、フロントカメラ用変換テーブルは、フロントカメラ１０１が撮影した前方画像ＦＯを、俯瞰画像Ｇの画像空間に座標変換する変換規則を規定するものである。また、図示するように、フロントカメラ１０１の撮影した前方画像ＦＯの全ての範囲が俯瞰画像Ｇの一部として用いられるわけではなく、俯瞰画像Ｇの画像空間の領域２１１に射影変換される前方画像ＦＯの部分のみが、俯瞰画像Ｇの一部として用いられるが、フロントカメラ用変換テーブルは、フロントカメラ１０１の撮影した前方画像ＦＯの全ての範囲について、前方画像ＦＯを俯瞰画像Ｇの画像空間に座標変換するための変換規則を規定するように構成されている。

また、同様に、俯瞰画像生成部１０７が行う射影変換処理では、図２ｂに示すように、変換テーブル保持部１０８に保持されているリアカメラ用変換テーブルを用いて、リアカメラ１０２が撮影した後方画像ＢＯを、予め定めた自動車上方の視点よりリアカメラ１０２の撮影範囲を撮影した場合に得られたであろう画像を表すように、俯瞰画像Ｇの下方の領域２１２の画像部分に射影変換する。ここで、リアカメラ用変換テーブルは、リアカメラ１０２が撮影した後方画像ＢＯを、俯瞰画像Ｇの画像空間に座標変換する変換規則を規定するものである。また、図示するように、リアカメラ１０２の撮影した後方画像ＢＯの全ての範囲が俯瞰画像Ｇの一部として用いられるわけではなく、俯瞰画像Ｇの画像空間の領域２１２に射影変換される後方画像ＢＯの部分のみが、俯瞰画像Ｇの一部として用いられるが、リアカメラ用変換テーブルは、リアカメラ１０２の撮影した後方画像ＢＯの全ての範囲について、後方画像ＢＯを俯瞰画像Ｇの画像空間に座標変換するための変換規則を規定するように構成されている。

また、同様に、俯瞰画像生成部１０７が行う射影変換処理では、図２ｂに示すように、変換テーブル保持部１０８に保持されているレフトサイドカメラ用変換テーブルを用いて、レフトサイドカメラ１０３が撮影した左方画像LＯを、予め定めた自動車上方の視点よりレフトサイドカメラ１０３の撮影範囲を撮影した場合に得られたであろう画像を表すように、俯瞰画像Ｇの左方の領域２１３の画像部分に射影変換する。ここで、レフトサイドカメラ用変換テーブルは、レフトサイドカメラ１０３が撮影した左方画像LＯを、俯瞰画像Ｇの画像空間に座標変換する変換規則を規定するものである。また、図示するように、レフトサイドカメラ１０３の撮影した左方画像LＯの全ての範囲が俯瞰画像Ｇの一部として用いられるわけではなく、俯瞰画像Ｇの画像空間の領域２１３に射影変換される左方画像LＯの部分のみが、俯瞰画像Ｇの一部として用いられるが、レフトサイドカメラ用変換テーブルは、レフトサイドカメラ１０３の撮影した左方画像LＯの全ての範囲について、左方画像LＯを俯瞰画像Ｇの画像空間に座標変換するための変換規則を規定するように構成されている。

また、同様に、俯瞰画像生成部１０７が行う射影変換処理では、図２ｂに示すように、変換テーブル保持部１０８に保持されているライトサイドカメラ用変換テーブルを用いて、ライトサイドカメラ１０４が撮影した右方画像ＲＯを、予め定めた自動車上方の視点よりライトサイドカメラ１０４の撮影範囲を撮影した場合に得られたであろう画像を表すように、俯瞰画像Ｇの右方の領域２１４の画像部分に射影変換する。ここで、ライトサイドカメラ用変換テーブルは、ライトサイドカメラ１０４が撮影した右方画像ＲＯを、俯瞰画像Ｇの画像空間に座標変換する変換規則を規定するものである。また、図示するように、ライトサイドカメラ１０４の撮影した右方画像ＲＯの全ての範囲が俯瞰画像Ｇの一部として用いられるわけではなく、俯瞰画像Ｇの画像空間の領域２１４に射影変換される右方画像ＲＯの部分のみが、俯瞰画像Ｇの一部として用いられるが、ライトサイドカメラ用変換テーブルは、ライトサイドカメラ１０４の撮影した右方画像ＲＯの全ての範囲について、右方画像ＲＯを俯瞰画像Ｇの画像空間に座標変換するための変換規則を規定するように構成されている。
なお、俯瞰画像Ｇの中央には、図２ｃに示すような自動車を表す、予め用意された画像も合成される。

以下、このような周辺状況表示装置において、カメラの位置/姿勢ずれが発生した場合の、変換テーブルの調整処理について説明する。
まず、ユーザは、表示装置１０９に表示処理部１１０によって表示される俯瞰画像に、カメラの位置/姿勢ずれが原因と思われる不具合が視認されたならば、調整対象カメラを選択する。ここで、ユーザは、図３ａに示すように、俯瞰画像の左側の領域（車両左方が写り込む領域）２１３の画像中の被写体が他の領域の画像中の被写体に対してずれている場合にはレフトサイドカメラ１０３を調整対象カメラとして選択する。また、同様に、俯瞰画像の右側の領域（車両右方が写り込む領域）２１４の画像中の被写体が他の領域の画像中の被写体に対してずれている場合にはライトサイドカメラ１０４を調整対象カメラとして選択し、俯瞰画像の上側の領域（車両前方が写り込む領域）２１１の画像中の被写体が他の領域の画像中の被写体に対してずれている場合にはフロントカメラ１０１を調整対象カメラとして選択し、俯瞰画像の下側の領域（車両後方が写り込む領域）２１２の画像中の被写体が他の領域の画像中の被写体に対してずれている場合にはリアカメラ１０２を調整対象カメラとして選択する。

また、ユーザは、選択した調整対象カメラの撮影領域と、他のカメラと撮影領域の重複範囲内の地面に、予め用意されている正方形の校正パターンが描かれているターゲットボードを配置する。
すなわち、たとえば、レフトサイドカメラ１０３を調整対象カメラとして選択した場合には、予め調整用にユーザに提供されている正方形の校正パターンが描かれている図３ｂに示すようなターゲットボードを、図３ｃに示すように、調整対象カメラであるレフトサイドカメラ１０３の撮影領域２０３と、レフトサイドカメラ１０３と撮影領域が一部重複するフロントカメラ１０１の撮影領域２０１との重複範囲の地面に配置する。なお、ここでは、調整対象カメラであるレフトサイドカメラ１０３と撮影領域が一部重複するカメラとしてはリアカメラ１０２も存在するので、ターゲットボードは、調整対象カメラであるレフトサイドカメラ１０３の撮影領域２０３と、リアトカメラの撮影領域２０２との重複範囲の地面に配置するようにしてもよい。

そして、ユーザは、操作部１１１の所定の操作によって、制御部１１２が行う調整処理を起動する。
図４に示すように制御部１１２は、この調整処理において、まず、ユーザから調整対象カメラの指定を受け付ける（ステップ４０２）。
そして、次に、調整対象カメラの撮影した画像中の校正パターンの画像を識別する（ステップ４０４）。また、ターゲットボードの映像を撮影画像中に含む調整対象カメラ以外のカメラを基準カメラに設定する（ステップ４０６）。ここで、基準カメラは、調整対象カメラと撮影領域が重複する撮影領域を有する二つのカメラのうちの、撮影画像中に校正パターンの画像が識別されるカメラとして定まる。

そして、基準カメラ撮影画像中の校正パターンを基準カメラ用変換テーブルで座標変換した俯瞰画像Ｇの画像空間上の座標と、調整対象カメラ撮影画像中の校正パターンを調整対象カメラ用変換テーブルで座標変換した俯瞰画像Ｇの画像空間上の座標との差分が解消されるように、調整対象カメラ用変換テーブルを調整し（ステップ４０８）、処理を終了する。

ここで、ステップ４０８における調整対象カメラ用変換テーブルの調整の手法としてはいくつかの手法があるが、この調整は、たとえば、調整対象カメラ撮影画像中の校正パターンの正方形の四つの角の座標を、調整対象カメラ用変換テーブルで座標変換した、図３ｄに示す俯瞰画像Ｇの画像空間上４つの座標a1,a2,a3,a4を、基準カメラ撮影画像中の校正パターンの正方形の四つの角の座標を、基準カメラ用変換テーブルで座標変換した、図３ｄに示す俯瞰画像Ｇの画像空間上の４つの座標b1,b2,b3,b4に最小誤差で座標変換する射影変換を求め、求めた射影変換を、調整前の調整対象カメラ用変換テーブルが規定する座標変換に加えて行う座標変換を規定するように、調整対象カメラ用変換テーブルを更新することにより実現できる。

または、ステップ４０８における調整対象カメラ用変換テーブルの調整は、たとえば、上述した特許文献１、２に記載の手法等を用いて、調整対象カメラ撮影画像中の校正パターンの正方形の四つの角の座標を、基準カメラ撮影画像中の校正パターンの正方形の四つの角の座標を、基準カメラ用変換テーブルで座標変換した俯瞰画像Ｇの画像空間上の４つの座標に最小誤差で座標変換する射影変換を求め、求めた射影変換を規定するように、調整対象カメラ用変換テーブルを更新することによっても実現できる。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、調整対象カメラとする、カメラの位置/姿勢ずれが発生したカメラをユーザが俯瞰画像の目視によって選定するようにしたが、調整対象カメラとするカメラは、周辺状況表示装置において次のようにして選定するようにしてもよい。
すなわち、ユーザは、順次ターゲットボードを各カメラの撮影領域内に配置しながら、周辺状況表示装置にカメラの正常性判定処理を行わせる。周辺状況表示装置の制御部１１２は、正常性判定処理において、ユーザによってターゲットボードが撮影領域に配置されたカメラの位置/姿勢ずれが発生を、俯瞰画像に表れる校正パターンが正しく正方形を表しているかどうかにより判定し、正しく正方形を表していない場合に、ターゲットボードが撮影領域に配置されたカメラを調整対象カメラとして設定する。

以上、本実施形態に係る車載周辺画像表示装置によれば、ユーザは、カメラの位置/姿勢ずれなどによって変換規則の調整が必要となったカメラを調整対象カメラとして、調整対象カメラの撮影範囲と、他のカメラの撮影範囲との重複部分に所定のターゲットボードを配置するだけで、当該調整対象カメラ用の変換テーブルが規定する射影変換の規則を適正に修正することができる。

１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトサイドカメラ、１０４…ライトサイドカメラ、１０５…画像記憶部、１０６…調整部、１０７…俯瞰画像生成部、１０８…変換テーブル保持部、１０９…表示装置、１１０…表示処理部、１１１…操作部、１１２…制御部。

Claims (2)

1. 自動車に搭載される車載周辺画像表示装置であって、
   前記自動車周囲を撮影する複数のカメラと、
   前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、
   前記車両周辺画像生成手段が生成した車両周辺画像を表示する表示装置と、
   前記カメラ毎に定めた変換規則を調整する調整手段と、
   前記複数のカメラのうちのいずれかのカメラを調整対象カメラとして設定する調整対象カメラ設定手段とを有し、
   前記複数のカメラ各々の撮影範囲のうちの隣接する撮影範囲は部分的に重複しており、
   前記調整手段は、前記調整対象カメラとして設定されたカメラの撮影範囲と、他のカメラの撮影範囲との重複部分に所定の校正パターンが配置されている状態において、前記調整対象カメラで撮影した画像を当該調整対象カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標が、前記他のカメラで撮影した画像を当該他のカメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標と一致するように、前記調整対象カメラに対して定められた前記変換規則を調整し、
   前記調整対象カメラ設定手段は、前記カメラであって、当該カメラで撮影した画像を当該カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像が、前記校正パターンの形状と相似な形状を備えていないカメラを、前記調整対象カメラとして設定することを特徴とする車載周辺画像表示装置。
2. 自動車周囲を撮影する複数のカメラと、前記複数のカメラが撮影した各画像に対して、当該画像を撮影したカメラ毎に定めた変換規則に従った射影変換を施して、単一の画像空間上に合成し、前記自動車周囲を所定の視点から観測したようすを表す車両周辺画像を生成する車両周辺画像生成手段と、前記車両周辺画像生成手段が生成した車両周辺画像を表示する表示装置とを備えた、自動車に搭載される車載周辺画像表示装置において、前記カメラ毎に定めた変換規則を調整する射影変換規則の調整方法であって、
   前記複数のカメラ各々の撮影範囲のうちの隣接する撮影範囲は部分的に重複しており、
   前記車載周辺画像表示装置が、前記複数のカメラのうちのいずれかのカメラを調整対象カメラとして設定するステップと、
   前記車載周辺画像表示装置が、前記調整対象カメラとして設定されたカメラの撮影範囲と、他のカメラの撮影範囲との重複部分に所定の校正パターンが配置されている状態において、前記他のカメラで撮影した画像を当該他のカメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標を基準座標として求めるステップと、
   前記車載周辺画像表示装置が、前記調整対象カメラで撮影した画像を当該調整対象カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像の座標が、前記基準座標と一致するように、前記調整対象カメラに対して定められた前記変換規則を調整するステップとを有し、
   前記車載周辺画像表示装置は、前記調整対象カメラを設定するステップにおいて、前記カメラであって、当該カメラで撮影した画像を当該カメラに対して定められた前記変換規則に従って射影変換した前記画像空間上の前記校正パターンの映像が、前記校正パターンの形状と相似な形状を備えていないカメラを、前記調整対象カメラとして設定することを特徴とする射影変換規則の調整方法。