JP6154905B2 - カメラ校正装置、カメラ校正システム、及びカメラ校正方法 - Google Patents

Description

本発明は、カメラ校正装置、カメラ校正システム、及びカメラ校正方法に関する。

従来、例えば車両後退時の視認性を向上させるために、車載カメラで撮影された車両後方の画像を車載モニタに表示し、運転者から死角となる車両後方近傍の状況を車載モニタに表示される画像として視認させる装置が知られている。

このような装置においては、車載モニタに表示される画像を適正に校正（キャリブレーション）するために、車両後方に校正用指標を設置し、車載モニタに映った校正用指標の像を見ながら、その校正用指標の像が車載モニタ上で適正に映るように車載カメラの取付け状態を調整することが行われている。また、車載カメラから得られた画像に対し、校正用指標の像に基づく所定の演算処理を施すことで、車載モニタに表示される画像を適正に校正することも行われている。

近年では、運転者等に車両周囲の状況を視認させるために、車両の全周囲を複数の車載カメラで撮影し、各車載カメラから得られた複数の画像をそれぞれ車両を真上から見下ろしたような画像（俯瞰画像）に変換すると共に、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得る装置も実用化されている。

このような装置においては、例えば隣接する２つの画像間で精緻に位置合わせを行う必要があるため、より精度の高いキャリブレーション技術が要望されている。

ところで、従来のキャリブレーション方法においては、校正用指標と車両との相対的な位置関係を厳密に規定する必要があり、車両を所定位置に設置した後にその車両に対して精緻に校正用指標を設置するか、または校正用指標を所定位置に設置した後にその校正用指標に対して精緻に車両を設置する必要があった。そのため、例えば、車両の生産ラインでは、車両と校正用指標との位置合わせ精度を向上させるために、多額の費用を掛けて設備を改造する必要があった。また、例えば、生産現場から一旦出荷された後に販売・サービス会社の整備部門等でキャリブレーションをし直す場合（修理の場合や車載カメラを後付けする場合等）には、その都度、車両に対して校正用指標を精緻に設置する必要があり、キャリブレーションの作業工程が煩雑となるといった問題があった。

このような問題に対し、特許文献１には、校正環境の整備の簡便化に寄与するカメラ校正装置が開示されている。

特許文献１に開示されているカメラ校正装置では、Ｎ台のカメラからの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段が、各共通撮影領域内に配置された校正パターンの、各カメラによる撮影結果に基づいて前記パラメータを求め、各校正パターンは互いに独立に配置される。

特開２００８−１８７５６６号公報

特許文献１に開示されているカメラ校正装置によれば、各共通撮影領域内に配置された校正パターンの撮影結果を利用することにより、共通撮影領域を共有する複数のカメラ間で画像の位置合わせが可能となり、各撮影画像を合成するためのパラメータを導出することができる。また、各校正パターンは互いに独立に配置されるため、校正環境の整備を簡便化することができる。

しかしながら、特許文献１に開示されているカメラ校正装置においては、各共通撮影領域内に配置された校正パターンの撮影結果を利用する必要があり、例えば、バスやトラック、大型の建設用機械などといった大型の車両に適用される場合、一般にカメラの設置位置が高くなり、それに応じて画像上で校正パターンが小さく映るため、画像上での特徴点（校正パターン）の位置を精緻に設定することが難しくなる。そのため、車両の体格に応じた校正パターンを用意する必要があり、例えば建設機械などの大型の車両では、１〜３メートル程度の大きさの校正パターンを用意する必要がある。そして、このように校正パターンが大きくなると、作業員による校正作業時の校正パターンの運搬もしくは設置作業が困難となるといった問題や、校正パターンのための大きな保管場所を用意する必要があるといった問題が生じ得る。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、校正作業時の校正パターンの運搬もしくは設置作業に伴う作業者の負担を大幅に軽減し、校正パターンの保管場所を格段に小型化することのできるカメラ校正装置、カメラ校正システム、及びカメラ校正方法を提供することにある。

上記する課題を解決するために、本発明に係るカメラ校正装置は、少なくとも２個の校正パターンが配置された共通撮像領域を有する複数のカメラで撮像された画像同士を校正するカメラ校正装置であって、各カメラの初期パラメータに基づき俯瞰視点に変換する射影行列に基づいて各カメラで撮像された画像を変換して変換画像を生成する画像変換部と、前記変換画像のうち、前記複数のカメラから選択された基準カメラによる変換画像と前記基準カメラ以外のカメラによる変換画像との誤差を算出する誤差評価部と、前記誤差に基づいて各カメラの共通撮像領域の映像が一致するように射影行列を更新する射影行列更新部と、更新後の射影行列に基づいて各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出するカメラパラメータ算出部と、を備えていることを特徴とする。

また、本発明に係るカメラ校正システムは、前記カメラ校正装置と、共通撮像領域を有する複数のカメラと、前記カメラ校正装置から得られる各カメラのカメラパラメータを用いて前記複数のカメラで撮像された画像同士を校正して合成画像を生成する合成画像生成装置と、前記合成画像を表示する表示装置と、を備えていることを特徴とする。

また、本発明に係るカメラ校正方法は、少なくとも２個の校正パターンが配置された共通撮像領域を有する複数のカメラで撮像された画像同士を校正するカメラ校正方法であって、各カメラの初期パラメータに基づき俯瞰視点に変換する射影行列に基づいて各カメラで撮像された画像を変換して変換画像を生成し、前記変換画像のうち、前記複数のカメラから選択された基準カメラによる変換画像と前記基準カメラ以外のカメラによる変換画像との誤差を算出し、前記誤差に基づいて各カメラの共通撮像領域の映像が一致するように射影行列を更新し、更新後の射影行列に基づいて各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出することを特徴とする。

本発明によれば、カメラ画像の校正時において共通撮像領域における校正パターンといった特徴点の配置関係の使用が不要となり、当該校正パターンの数や寸法を必要最低限に抑制することができるため、校正作業時の校正パターンの運搬もしくは設置作業に伴う作業者の負担を大幅に軽減できると共に、校正作業に用いる校正パターンの保管場所を格段に小型化することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係るカメラ校正システムの実施形態の全体構成を示す全体構成図。 各カメラの設置位置と撮像領域を模式的に示す上面図。 図１に示すカメラ校正装置によるカメラの校正演算処理を説明する図であって、キャリブレーションターゲットに配置された車両と校正パターンを模式的に示す上面図。 図１に示すカメラ校正装置の基本構成を示す基本構成図。 図１に示すカメラ校正システムによるカメラ校正方法を説明したフロー図。

以下、本発明に係るカメラ校正装置及びカメラ校正システムの実施形態を図面を参照して説明する。なお、以下では、主に、車両に搭載された車載カメラで撮像された画像同士を校正（キャリブレーション）する場合について説明するが、本実施形態のカメラ校正装置及びカメラ校正システムは、車両以外のものに取付けられた複数のカメラで撮像された画像同士を校正する場合にも適用することができる。また、以下では、４台のカメラを使用し、隣接する２台のカメラ同士が共通撮像領域を有する場合について説明するが、システム全体のカメラの台数や共通撮像領域を撮像するカメラの台数は、使用者等の要請に応じて適宜変更することができる。また、以下で説明するように、キャリブレーションターゲットを用いてキャリブレーションする以外にも、キャリブレーションターゲットを用いず、共通撮像領域に存在する特徴物体を用いてキャリブレーションすることもできる。

＜カメラ校正システムの実施形態＞
図１は、本発明に係るカメラ校正システムの実施形態の全体構成を示したものである。図示するカメラ校正システム１００は、主に、４台のカメラ１１１〜１１４を有する撮像装置１０１と、カメラインターフェース１０２と、画像記憶装置（ＲＡＭ）１０４と、パラメータ記憶装置（ＲＯＭ）１０５と、入力装置１０６と、カメラ校正装置１０８と合成画像生成装置１０９を有する演算装置１０３と、表示装置１０７と、を備えている。

撮像装置１０１を構成する各カメラ１１１〜１１４はそれぞれ、図２に示すように、例えば車両１の前後左右に設置され、その４台のカメラ１１１〜１１４によってキャリブレーションターゲットＲを含む車両１の周囲の画像が撮像されている。

キャリブレーションターゲットＲは、後述する校正用指標である校正パターン（図３参照）等といったカメラの校正に必要な情報を有しており、各カメラ１１１〜１１４はそれぞれ、カメラ画像の校正時にキャリブレーションターゲットＲを撮像し、撮像した画像をカメラインターフェース１０２を介して演算装置１０３に送信する。なお、図２中の点線は各カメラ１１１〜１１４の撮像領域を表しており、カメラ画像を精緻に校正するために、隣り合うカメラは重複部分、すなわち双方のカメラに共通して撮影される領域（以下「共通撮像領域」という。）ＲＫ１〜ＲＫ４を有している。演算装置１０３は、各カメラ１１１〜１１４で撮像された画像同士を校正するためのカメラパラメータをカメラ校正装置１０８により算出する。

カメラ校正装置１０８によりカメラパラメータを算出した後、そのカメラパラメータは合成画像生成装置１０９へ送信される。また、カメラ１１１〜１１４によって撮像された画像はカメラインターフェース１０２を介して演算装置１０３へ送信され、演算装置１０３の合成画像生成装置１０９により前記カメラパラメータを利用して視点変換・合成されて表示装置１０７に送信され、表示装置１０７を介して使用者等に対し車両１を真上から見下ろした画像（俯瞰画像）として提示される。なお、本実施形態では、各カメラ１１１〜１１４から得られる画像を視点変換・合成して車両１の周囲の俯瞰画像を生成することを想定しているため、各カメラ１１１〜１１４は、例えば魚眼カメラ等の広角に撮影し得るものが採用されることが望ましい。

カメラインターフェース１０２は、上記したように、各カメラ１１１〜１１４から送信された画像信号を適正にサンプリングして演算装置１０３へ送信する。

画像記憶装置（ＲＡＭ）１０４には、各カメラ１１１〜１１４によって撮像された画像や演算装置１０３によって演算された各種の演算結果が格納される。

また、パラメータ記憶装置（ＲＯＭ）１０５には、例えば、各カメラ１１１〜１１４の設置位置や姿勢（設置角度）に関する設計値等（これらを外部パラメータという）、各カメラ１１１〜１１４の焦点距離、画素サイズ、光軸中心、歪み関数に関する設計値等（これらを内部パラメータという）といったカメラパラメータの、カメラ画像の校正に必要な事前の情報（カメラパラメータ初期値）が書き込まれて格納されている。

また、入力装置１０６は、使用者等の操作に基づいてカメラの校正に必要な情報等の入力情報を受信し、その入力情報を演算装置１０３へ送信する。

演算装置１０３は、カメラインターフェース１０２、画像記憶装置（ＲＡＭ）１０４、パラメータ記憶装置（ＲＯＭ）１０５、入力装置１０６、表示装置１０７等と連携し、上記したようなカメラ画像校正時の演算を含む各種の演算を実施する。具体的には、演算装置１０３は、カメラインターフェース１０２から送信された画像信号を画像記憶装置１０４に格納したり、パラメータ記憶装置１０５に格納されたカメラパラメータ初期値や画像記憶装置１０４に格納された画像を読み出してその画像を視点変換・合成したり（合成画像生成装置１０９）、視点変換・合成された画像を表示装置１０７に表示させる処理等を実施する。また、視点変換・合成されて生成された俯瞰画像が車両１を真上から見下ろした画像となるように、カメラの設置位置や設置姿勢を算出する校正演算を実施したり（カメラ校正装置１０８）、入力装置１０６において使用者等から受信した入力情報を校正演算に活用する処理等を実施する。なお、このカメラ画像の校正演算処理ついては後述する。

表示装置１０７は、演算装置１０３から送信される指示に基づいて、各カメラ１１１〜１１４から得られる画像を表示する。例えば、表示装置１０７は、演算装置１０３から送信される指示に応じて後方を向くカメラ１１２のみの画像を変換せずに表示して使用者等に提示したり、カメラ１１１〜１１４から得られる画像を視点変換・合成して生成した俯瞰画像を表示する。

＜カメラ校正装置の実施形態＞
次に、図１に示す演算装置１０３のカメラ校正装置１０８（本発明に係るカメラ校正装置の実施形態）によるカメラ画像の校正演算処理、すなわちカメラ校正装置１０８による各カメラ１１１〜１１４のカメラパラメータの演算処理について図３、４を参照して詳述する。

図３に示すように、カメラ校正装置１０８によるカメラ画像の校正演算処理で用いるキャリブレーションターゲットＲには車両１が配置され、その車両１の周囲であって少なくとも隣り合うカメラの共通撮像領域ＲＫ１〜ＲＫ４に校正用指標である校正パターンＰ１〜Ｐ１６が配置されている。この校正パターンＰ１〜Ｐ１６は、例えば平面を有する円板状や正方形状等の多角形状等のプレートから構成され、各カメラ１１１〜１１４で撮影された際に画像上で視認し得る程度の大きさを有している。なお、校正パターンＰ１〜Ｐ１６が円形状のプレートからなる場合はその中心部、正方形状のプレートからなる場合にはそのプレートの角部など、各校正パターンが一意に規定される目印になる部位を有していれば、その形状は適宜に選択することができる。また、各共通撮像領域内の校正パターンは、同一の形状であってもよいし、異なる形状であってもよい。

図３に示す形態では、カメラ１１１とカメラ１１４の共通撮像領域ＲＫ１に４個の校正パターンＰ１〜Ｐ４が設置され、カメラ１１１とカメラ１１３の共通撮像領域ＲＫ２に４個の校正パターンＰ５〜Ｐ８が設置され、カメラ１１３とカメラ１１２の共通撮像領域ＲＫ３に４個の校正パターンＰ９〜Ｐ１２が設置され、カメラ１１２とカメラ１１４の共通撮像領域ＲＫ４に４個の校正パターンＰ１３〜Ｐ１６が設置されている。なお、これらの校正パターンは、各共通撮像領域内で任意の位置に設置し得るが、各校正パターンの間隔は大きい方が望ましい。また、各共通撮像領域内に配置される校正パターンの数は、例えば校正精度等に応じて適宜変更することができる。

また、校正パターンの数は多い方が校正精度が向上するが、これらはカメラ画像の校正時に使用される補助的な校正用指標である。カメラ画像の校正は、原理的には校正パターン等の点が存在しなくても、背景となる平面にテクスチャパターンが描画されていれば可能である。

ただし、カメラの高さを一意に規定するために、本実施形態に示した１６個の校正パターンのうちすくなくとも２個（例えば、図３中、Ｐ１とＰ５）が必要であり、その２個の校正パターンの間隔は、作業員等により測定されて入力装置１０６を介して予めカメラパラメータ算出部１４５へ入力されるようになっている。

具体的には、作業員等によって入力された２個の校正パターンの間隔は、１画素が対応する距離を決定するために用いられる。複数のカメラ間で校正を実施し、１画素に対応する距離は未知のまま俯瞰視点画像を生成した後、作業員等によって入力された２個の校正パターンの間隔を利用して、１画素のサイズがどれくらいの距離若しくはスケールに相当するかを計算した上で、最終的な俯瞰画像が生成される。

なお、校正パターンが１個の場合には、俯瞰視点の画像を生成するまでの校正は実施し得るものの、映像の１画素のサイズが実際にはどれくらいの距離に相当するか（何ｍｍに相当するか）を決定することができないため、そのような場合は許容されない。

また、上記校正パターンは、４台のカメラのいずれかによって撮影される範囲であれば、任意の位置に設置してよい。ただし、その校正パターンは、共通撮像領域に設置されている方が望ましい。なぜなら、本実施形態では、各共通撮像領域を撮影している２つの画像の位置合わせによってキャリブレーションを実施しており、校正パターンが共通撮像領域に設置されていれば、２つの画像の位置合わせを実施する際の目印とすることができるからである。つまり、画像の位置合わせの目印が多い方が画像の位置合わせが容易になるため、校正パターンは共通撮像領域に多く設置されている方が望ましい。

ただし、そのような目印がなくても、共通撮像領域の画像中にテクスチャパターンが含まれていれば、例えばそのテクスチャパターンの輝度などの情報を利用して、画像の位置合わせを実施することが可能であるため、校正パターンは必ずしも共通撮像領域に必要なわけではない。したがって、４台のカメラのいずれかによって撮影される範囲に２個の校正パターンが設置してあれば、４つの共通撮像領域に校正パターンが一つも設置されていない場合も許容される。

なお、校正を行う目的で配置される校正用指標が存在しない場合であっても、校正に利用可能となり得る点（即ち、特徴点）を有する物体（特徴物体）が共通撮像領域に存在する場合には、このような物体の特徴点を用いて校正を行うことが可能である。このような物体は、立体物だけでなく、模様やテクスチャなどの平面的なものであってもよく、例えば、砂地やアスファルトなどであってもよい。共通撮像領域に存在する物体の特徴点を用いて校正する場合には、その物体が対象となる共通撮像領域に含まれているか否かを判断する必要がある。物体が共通撮像領域に含まれているか否かを判断する方法としては、例えば共通撮像領域内の輝度値の標準偏差を利用することができ、例えば、算出された標準偏差の値があらかじめ定めた閾値以上であれば校正に利用可能な特徴点となり得る物体が存在し、閾値未満であれば物体が存在しないと判定することができる。物体が存在しないと判定された場合には、校正パターンが必要となるため、校正パターンを設置すべき旨を表示装置１０７を介して作業者に報知する。

上記したキャリブレーションターゲットＲを用いたカメラ校正装置１０８によるカメラ画像の校正演算処理は、地面（平面）に関する射影行列を利用して実施される。ここで、ある共通撮像領域に対応する２つのカメラの画像にはそれぞれ地面（平面）が映っており、これらは同一のものである。撮像対象は平面であるため、射影行列を用いた幾何変換によって、同一の画像（一方のカメラの視点から見た画像を他方の視点から見た画像）に変換することができる。ここで、射影行列とは、ある共通撮像領域に対応する２つのカメラ画像に映る平面の射影関係を表す行列であり、この射影行列は２つのカメラ間の相対的な外部パラメータと画像中の平面の法線ベクトルを含んでいる。この射影行列に対して特異値分解を用いることで、２つのカメラ間の外部パラメータと平面の法線ベクトルを抽出することができる。なお、射影行列に対する特異値分解は、公知の技術であるためその詳細な説明は省略する。そして、各カメラの平面の法線ベクトルが分かれば、各カメラの画像を車両１を真上から見下ろした俯瞰画像に視点変換することができ、カメラ間の外部パラメータが分かれば、共通撮像領域に対応する２つのカメラの俯瞰画像をズレ無く合成して合成画像を生成することができる。

また、カメラ画像の校正演算処理で利用される射影行列は、例えば反復法に基づいて算出される。この反復法は、現在の誤差を求め、誤差が減少するように射影行列を更新するという手順を繰り返し実施する方法であり、例えば最急降下法やガウスニュートン法、レーベンバーグマーカート法などの微分に基づく方法や、パーティクルフィルタや遺伝的アルゴリズムなどの微分を用いない方法などが挙げられる。そのような反復法のうち、例えば最急降下法は、誤差関数を微分し、誤差関数の減少方向を求め、その減少方向に僅かにパラメータを更新する、という手続きを誤差の減少が止まるまで繰り返し実施する方法である。

一方、カメラ校正装置１０８は、ズレのない俯瞰映像を生成するためのカメラパラメータを推定するために、図４に示すように、画像変換部１４１と誤差評価部１４２と射影行列更新部１４３とを有する校正部１４４と、カメラパラメータ算出部１４５と、を備えている。

校正部１４４は、それぞれの共通撮像領域に対応するカメラ間の射影行列を算出するものであり、４つの共通撮像領域ＲＫ１〜ＲＫ４のそれぞれに対応する２つの画像のそれぞれに対し、画像変換部１４１による画像変換処理、誤差評価部１４２による誤差評価処理、射影行列更新部１４３による更新処理を実施する。すなわち、校正部１４４は、共通撮像領域ＲＫ１に対応するカメラ１１１とカメラ１１４の２つの画像、共通撮像領域ＲＫ２に対応するカメラ１１１とカメラ１１３の２つの画像、共通撮像領域ＲＫ３に対応するカメラ１１２とカメラ１１３の２つの画像、共通撮像領域ＲＫ４に対応するカメラ１１２とカメラ１１４の２つの画像に対してそれぞれ、画像変換部１４１による画像変換処理、誤差評価部１４２による誤差評価処理、射影行列更新部１４３による更新処理を実施する。

より具体的には、校正部１４４の画像変換部１４１は、画像記憶部１０４からカメラ１１１〜１１４の画像を受信し、主に、射影行列更新部１４３で得られる射影行列を用いてそれぞれの共通撮像領域に対応する２つの画像の視点変換を行い、その視点変換後の変換画像を誤差評価部１４２へ送信する。この視点変換で用いられる射影行列は、例えば共通撮像領域ＲＫ１に対応する２つのカメラ１１１、１１４の画像に対して処理を実施する場合、カメラ１１４で撮像される校正パターンＰ１〜Ｐ４を含む地面（平面）の画像を、カメラ１１１に撮像される校正パターンＰ１〜Ｐ４を含む地面の画像に一致させる変換を行うための行列である。なお、実際には２つの画像間には必然的に誤差が含まれるため、前記射影行例を用いても完全に一致する画像とはならないが、カメラ１１４に映る画像はカメラ１１１に映る画像と近い画像となる。

なお、画像変換部１４１による最初の校正時の画像変換処理では、射影行列更新部１４３から射影行列を得ることができないため、パラメータ記憶部１０５に予め記憶された各カメラ１１１〜１１４の姿勢に関する設計値（初期パラメータ）に基づいてそれぞれの共通撮像領域に対応する２つのカメラで撮像される地面（平面）の画像を一致させる変換を行うための射影行列（初期射影行列）を算出して画像変換を実施する。そして、２回目以降の校正時の画像変換処理では、射影行列更新部１４３で得られた射影行列を用いてそれぞれの共通撮像領域に対応する２つのカメラの画像の視点変換を実施する。

本実施形態においては、キャリブレーションターゲットの特徴点として、それぞれの共通撮像領域に４個の校正パターンが配置されている。このように、それぞれの共通撮像領域に校正用指標である４個の校正パターンが配置されている場合、共通撮像領域に対応する２つのカメラで撮像された画像中の４個の校正パターンに関して作成された連立方程式を解くことで、一方のカメラの画像中の４個の校正パターンの座標位置を他方のカメラの画像中の４個の校正パターンの座標位置に変換する射影行列を一意に算出することができる。すなわち、それぞれの共通撮像領域に４個以上の校正パターンが配置されている場合には、画像変換部１４１は、そのような校正パターンに関して作成された連立方程式から得られる射影行列を、画像変換部１４１による最初の画像変換処理で利用される初期射影行列として用いて画像変換を実施することができる。

誤差評価部１４２は、画像変換部１４１で画像変換されたそれぞれの共通撮像領域に対応する２つのカメラの画像に関して誤差を評価し、その２つのカメラの画像間の誤差を射影行列更新部１４３へ送信する。例えば、共通撮像領域ＲＫ１に対応する２つのカメラ１１１、１１４の画像に対して処理を実施する場合、画像変換部１４１により、カメラ１１４に映る画像はカメラ１１１に映る画像と一致するように変換されるが、例えば画像変換部１４１による最初の画像変換処理ではパラメータ記憶部１０５に予め記憶された設計値に基づいて画像が変換されるため、実際のカメラの取り付け誤差等に基づき、設計値に基づく画像変換を行っても、カメラ１１４に映る画像はカメラ１１１に映る画像と完全に一致せず、２つの画像間には必然的に誤差が生じる。誤差評価部１４２は、このような２つのカメラの画像間の誤差量を評価する。なお、誤差評価部１４２は、画像変換部１４１で出力された射影行列をカメラパラメータ算出部１４５へ送信する。

ここで、誤差評価部１４２によって評価される２つのカメラの画像間の誤差量としては、例えば、対応する校正パターン同士の距離の二乗和、対応する画素の輝度差の二乗和、あるいは、距離の二乗和と輝度差の二乗和を合算したもの等が挙げられる。

なお、校正を行う目的で校正用指標を配置することなく、共通撮像領域に存在する物体を用いてキャリブレーションを行う場合、共通撮像領域の対応する画素における物体の特徴量の差を誤差量とする。物体の特徴量は、カメラ間の感度の違いや入射光量の違いの影響を受けないものが望ましく、例えばエッジ方向特徴量などが用いられる。このエッジ方向特徴量は、各画素における局所的な輝度の増加方向をあらわすもので、このエッジ方向特徴量の画像中の分布や物体ごとのエッジ方向特徴量の統計量（例えば平均値）に基づいて特徴物体を判別することができる。共通撮像領域を撮影するカメラで、同一の物体を撮影している場合、理想的には対応画素での特徴量が一致する。したがって、この特徴量の一致度を誤差関数とし、誤差が最小となるように最適化を実施することで、画像間の射影行列を求めることができる。

射影行列更新部１４３は、誤差評価部１４２で得られた誤差と校正部１４４からカメラパラメータ算出部１４５へ送信された更新前の射影行列に基づき、反復法を用いてその誤差が減少するように射影行列を更新し、更新後の射影行列を画像変換部１４１へ送信する。例えば、射影行列更新部１４３は、現在のカメラパラメータにおける誤差関数の偏微分を求め、誤差関数の偏微分が表すベクトルとは逆方向に僅かにカメラパラメータを更新することによって射影行列を更新する。

校正部１４４は、上記したように、カメラ画像の校正時に、それぞれの共通撮像領域に対応するカメラの２つの画像のそれぞれに対し、画像変換部１４１による画像変換処理、誤差評価部１４２による誤差評価処理、射影行列更新部１４３による更新処理を繰り返し行うことで、共通撮像領域に対応する２つのカメラの画像が等しくなる（誤差がゼロとなる）ように変換する射影行列を算出し、その算出結果をカメラパラメータ算出部１４５へ送信する。

カメラパラメータ算出部１４５は、校正部１４４で得られた４つのカメラ１１１〜１１４に対応する射影行列を特異値分解などを用いて分解し、地面（平面）の法線ベクトルとカメラ間の相対的な外部パラメータを抽出し、そのカメラ間の外部パラメータから算出されるカメラパラメータ（特に、カメラの平面（地面）に対する姿勢に関する外部パラメータ）を合成画像生成装置１０９へ送信する。具体的には、カメラ間の外部パラメータは、カメラ１１１に対するカメラ１１４の外部パラメータ、カメラ１１１に対するカメラ１１３の外部パラメータ、カメラ１１４に対するカメラ１１２の外部パラメータ、カメラ１１３に対するカメラ１１２の外部パラメータといった形式で得られるため、これらをカメラ１１１〜１１４から選択される基準となるカメラ（基準カメラ）に対する外部パラメータになるように再計算し、基準カメラについては平面（地面）に対する法線ベクトルから平面（地面）に対する姿勢を算出し、これにより、全てのカメラの平面（地面）に対する姿勢に関する外部パラメータを算出する。なお、カメラパラメータ算出部１４５は、必要に応じて、例えば、各カメラの焦点距離、画素サイズ、光軸中心、歪み関数等に関する内部パラメータを推定してもよい。

カメラパラメータ算出部１４５から出力されたカメラパラメータは、合成画像生成装置１０９で俯瞰画像を生成するマッピングテーブルを作成する際に利用される。マッピングテーブルとは、合成俯瞰画像の各画素と、カメラ１１１〜１１４の各画像における画素の対応関係を記述したものであり、この対応関係に基づいて輝度値をマッピングすることで最終的な合成俯瞰画像を得ることができる。

このように、本実施形態のカメラ校正装置１０８によれば、地面（平面）に関する射影行列を利用して各カメラで撮像された画像同士を校正することにより、カメラ画像の校正時において共通撮像領域における校正パターン等の特徴点の配置関係の使用が不要となり、当該校正パターンの数や寸法を必要最低限に抑制することができるため、校正作業時の校正パターンの運搬もしくは設置作業に伴う作業者の負担を大幅に軽減できると共に、校正作業に用いる校正パターンの保管場所を格段に小型化することができる。

なお、各カメラで撮像された画像同士を校正する際には、校正用指標である校正パターンを含む画像が共通撮像領域に対応するカメラ間で一致するような俯瞰視点への視点変換を行う射影行列を求めている。その際、共通撮像領域に対応する２つのカメラの画像が一致するという条件を満たすものを求めるが、テクスチャ情報が不足している場合、共通撮像領域に対応する２つのカメラの画像が一致するという条件だけでは十分な位置合わせを実施できない場合がある。このような場合には、キャリブレーションターゲット、特にキャリブレーションターゲットに含まれる共通撮像領域の特徴点を抽出し、その特徴点の座標を校正部１４４の画像変換部１４１に入力し、特徴点の座標が一致するという条件を付加して視点変換を行う射影行列を求めることで、当該射影行列の算出精度を向上させることができる。なお、特徴点の座標は、画像認識によって抽出しても良いし、表示装置１０７等を介して使用者等に画像を提示し、画像上の特徴点座標をマウスなどの入力装置１０６を介して使用者等が指定してもよい（図４中、点線で示す情報入力）。

また、実施形態のカメラ校正装置１０８で得られる情報は、各カメラの平面（地面）に対するカメラ姿勢とカメラ間の相対的な位置及び姿勢の関係である。そのため、地面に対する車両１の相対的な回転量（車両１のヨー方向の回転量）は原理的に求めることができない。ただし、カメラの初期設置位置の誤差が小さい場合には、地面に対する車両１の相対的な回転量は、カメラの取り付け位置情報を利用することで車両１の車軸の方向から推定することができる。一方、カメラの初期設置位置の誤差が大きいと想定される場合には、カメラの取り付け位置情報から地面に対する車両１の相対的な回転量を推定することは難しい。そのような場合には、例えば、車両１の周囲に地面と車両１の関係を認識するための目印を配置し（例えば、車両１に平行に棒を配置）、地面に対する車両１の相対的な回転量を補正させる手段を設けることで、地面に対する車両１の相対的な回転量を推定することができる。例えば、表示装置１０７等を介して使用者等に画像を提示し、地面と車両１の関係を認識するための目印が所定の見え方になるように入力装置１０６を介して使用者等が微調整しながら回転量を入力してもよい（図４中、一点鎖線で示す情報入力）。なお、入力された入力結果は即座に画像に反映されるため、使用者等は画像を確認しながら地面に対する車両１の相対的な回転量を調整することができる。

＜カメラ校正方法の実施形態＞
以下、カメラ画像の校正演算処理の一連の流れを図５を参照して説明する。図１に示す演算装置１０３のカメラ校正装置１０８（本発明に係るカメラ校正装置の実施形態）によるカメラ画像の校正演算処理、すなわちカメラ校正装置１０８による各カメラ１１１〜１１４のカメラパラメータの演算処理について、この校正演算処理フローは、画像取得処理Ｓ５０１、初期射影行列生成処理Ｓ５０２、画像変換処理Ｓ５０３、誤差評価処理Ｓ５０４、射影行列更新処理Ｓ５０５、収束判定処理Ｓ５０８、スケール補正処理Ｓ５０９から構成され、射影行列更新処理Ｓ５０５は、更新量計算処理５０６と射影行列計算処理５０７から構成される。初回の校正時は、画像取得処理Ｓ５０１、画像変換処理Ｓ５０３、誤差評価処理Ｓ５０４、収束判定処理Ｓ５０８、射影行列更新処理Ｓ５０５の順で実施され、以降は、画像変換処理Ｓ５０３、誤差評価処理Ｓ５０４、収束判定処理Ｓ５０８、射影行列更新処理Ｓ５０５が繰り返して実施される。なお、収束判定処理Ｓ５０８で誤差評価値を評価し、誤差評価値が収束したと判定されれば当該処理は停止する。

まず、画像取得処理Ｓ５０１が実施され、画像記憶装置１０４から各カメラで撮影された画像を読み出す。本実施形態では、例えば校正パターンを含む地面を撮影した４台のカメラ分に相当する４つの画像を入力する。

次に、映像取得処理Ｓ５０１で取得された画像に対し、図４に示す画像変換部１４１によって画像変換処理Ｓ５０３を実施する。この画像変換処理Ｓ５０３は射影行列を用いて実施される。ここで、初回の校正時の射影行列は、初期射影行列生成処理Ｓ５０２によって計算され、初期射影行列生成処理Ｓ５０２では、パラメータ記憶装置１０５からカメラ姿勢や位置からなる初期カメラパラメータを受信し、初期カメラパラメータに対応する射影行列を算出する。得られた初期射影行列は、画像変換処理Ｓ５０３での初回の処理において利用され、以降の画像変換処理Ｓ５０３では、射影行列更新処理Ｓ５０５で出力された射影行列を用いて実施される。

次に、図４に示す誤差評価部１４２によって誤差評価処理Ｓ５０４が実施され、この誤差評価処理Ｓ５０４では、画像変換処理Ｓ５０３の出力を受信し、各共通撮像領域に対応する２つのカメラ画像に関して一方の共通撮像領域部分の画像が他方の共通撮像領域部分の画像に対してどれくらいずれているかを表す誤差量を計算して出力する。

次に、誤差評価処理Ｓ５０４で出力された誤差量と所定の判定閾値を比較して収束判定処理Ｓ５０８を実施する。この収束判定処理Ｓ５０８で、誤差評価処理Ｓ５０４で出力された誤差量の収束判定を実施し、誤差が収束していないと判定された場合、図４に示す射影行列更新部１４３によって射影行列更新処理Ｓ５０５が実施される。この射影行列更新処理Ｓ５０５は、更新量計算処理Ｓ５０６と射影行列計算処理Ｓ５０７からなり、更新量計算処理Ｓ５０６では、カメラ姿勢や位置等のカメラパラメータの更新量を算出する。ここで、更新量は、一方の共通撮像領域部分の画像が他方の共通撮像領域部分の画像にどれくらい一致しているかを表す誤差量が減少するようにカメラ姿勢や位置等のカメラパラメータを微修正する量となっている。具体的には、更新量は、例えば、現在のカメラパラメータにおける誤差関数の偏微分を求めることによって算出することができる。更新量計算処理Ｓ５０６では、カメラパラメータの微修正後の値が出力され、射影行列計算処理Ｓ５０７では、更新量計算処理Ｓ５０６の出力値を受信し、そのカメラパラメータに相当する射影行列を計算して出力する。

本実施形態では、誤差評価処理Ｓ５０４での出力値が収束するまで、画像変換処理Ｓ５０３、誤差評価処理Ｓ５０４、射影行列更新処理Ｓ５０５が繰り返して実施される。実行毎の誤差評価処理Ｓ５０４で出力された誤差量を評価し、その誤差量が極めて小さくなれば、誤差が収束したと判定して処理を終了する。このように画像変換処理Ｓ５０３、誤差評価処理Ｓ５０４、射影行列更新処理Ｓ５０５の処理を繰り返して実施することで、一方の共通撮像領域部分の画像を他方の共通撮像領域部分の映像に一致させることができ、そこから共通撮像領域の法線ベクトルを得ることによって、各画像がずれなく繋ぎ合わせられ、さらにカメラと平面の関係を明らかにすることができるため、複数のカメラの画像から俯瞰画像の生成を実現することができる。

ただし、この上記の処理では、画像が繋ぎ合わせられて上方から見下ろした画像にはなっているものの、１画素のサイズがどれくらいの距離に相当するかが未知であって補正されていない。そこで、スケール補正処理Ｓ５０９を実施してこれを補正する。スケール補正処理Ｓ５０９では、作業員等により測定されて入力装置１０６を介して入力された校正パターンの間隔に関する距離情報を利用し、カメラパラメータを補正して最終的な俯瞰画像を生成する。その処理としては、俯瞰視点のカメラの外部パラメータに基づいて、俯瞰画像中で校正パターンの間隔が何ピクセルに見えなければならないかを計算し、俯瞰画像中の校正パターンの間隔が実際に計算されたピクセル間隔になるように、カメラパラメータを補正する。以上の処理を実施することによって、カメラのキャリブレーションを実現することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 車両
１００ カメラ校正システム
１０１ 撮像装置
１０２ カメラインターフェース
１０３ 演算装置
１０４ 画像記憶装置（ＲＡＭ）
１０５ パラメータ記憶装置（ＲＯＭ）
１０６ 入力装置
１０７ 表示装置
１０８ カメラ校正装置
１０９ 合成画像生成装置
１１１〜１１４ カメラ
１４１ 画像変換部
１４２ 誤差評価部
１４３ 射影行列更新部
１４４ 校正部
１４５ カメラパラメータ算出部
Ｐ１〜Ｐ１６ 校正パターン
Ｒ キャリブレーションターゲット
ＲＫ１〜ＲＫ４ 共通撮像領域
Ｓ５０１ 映像取得処理
Ｓ５０２ 初期射影行列生成処理
Ｓ５０３ 画像変換処理
Ｓ５０４ 誤差評価処理
Ｓ５０５ 射影行列更新処理
Ｓ５０６ 更新量計算処理
Ｓ５０７ 射影行列計算処理
Ｓ５０８ 収束判定処理
Ｓ５０９ スケール補正処理

Claims (6)

1. 車両に搭載され、地面を含む車両周囲を撮像し、かつ共通撮像領域を有する複数のカメラを前記共通撮像領域に配置された少なくとも３つの校正パターンによって校正するカメラ校正装置であって、
   各カメラで撮像された画像を所定の射影行列に基づいて俯瞰視点の画像に変換する画像変換部と、
   前記複数のカメラのうち、所定のカメラで撮像された前記校正パターンの変換画像と該所定のカメラとの間で共通撮像領域を有する他のカメラで撮像された前記校正パターンの変換画像との誤差を算出する誤差評価部と、
   前記誤差に基づいて前記所定の射影行列を更新する射影行列更新部と、
   前記校正パターンのうちの任意の２つの校正パターンの間の距離情報を入力する距離情報入力部と、
   前記誤差評価部で算出される前記誤差がゼロになる射影行列を変換画像中の地面の法線ベクトルとカメラ間の相対的な外部パラメータとに分解し、前記地面の法線ベクトルとカメラ間の相対的な外部パラメータと、前記距離情報入力部から入力された距離情報とから、各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出するカメラパラメータ算出部と、を備えていることを特徴とするカメラ校正装置。
2. 前記地面に対する前記車両の相対的な回転量を入力する回転量入力部をさらに備え、
   前記カメラパラメータ算出部は、前記回転量入力部から入力された前記回転量を加味して前記カメラパラメータを算出することを特徴とする、請求項１に記載のカメラ校正装置。
3. 車両に搭載され、地面を含む車両周囲を撮像し、かつ共通撮像領域を有する複数のカメラを前記共通撮像領域に存在する物体の特徴点を用いて校正するカメラ校正装置であって、
   各カメラで撮像された画像を所定の射影行列に基づいて俯瞰視点の画像に変換する画像変換部と、
   前記複数のカメラのうち、所定のカメラで撮像された前記物体の変換画像と該所定のカメラとの間で共通撮像領域を有する他のカメラで撮像された前記物体の変換画像との誤差を算出する誤差評価部と、
   前記誤差に基づいて前記所定の射影行列を更新する射影行列更新部と、
   前記物体のうちの任意の２点の間の距離情報を入力する距離情報入力部と、
   前記誤差評価部で算出される前記誤差がゼロになる射影行列を変換画像中の地面の法線ベクトルとカメラ間の相対的な外部パラメータとに分解し、前記地面の法線ベクトルとカメラ間の相対的な外部パラメータと、前記距離情報入力部から入力された距離情報とから、各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出するカメラパラメータ算出部と、を備えていることを特徴とするカメラ校正装置。
4. 前記地面に対する前記車両の相対的な回転量を入力する回転量入力部をさらに備え、
   前記カメラパラメータ算出部は、前記回転量入力部から入力された前記回転量を加味して前記カメラパラメータを算出することを特徴とする、請求項３に記載のカメラ校正装置。
5. 車両に搭載され、地面を含む車両周囲を撮像し、かつ共通撮像領域を有する複数のカメラを前記共通撮像領域に配置された少なくとも３つの校正パターンによって校正するカメラ校正方法であって、
   各カメラで撮像された画像を所定の射影行列に基づいて俯瞰視点の画像に変換するステップと、
   前記複数のカメラのうち、所定のカメラで撮像された前記校正パターンの変換画像と該所定のカメラとの間で共通撮像領域を有する他のカメラで撮像された前記校正パターンの変換画像との誤差を算出するステップと、
   前記誤差に基づいて前記所定の射影行列を更新するステップと、
   前記誤差がゼロになる射影行列を変換画像中の地面の法線ベクトルとカメラ間の相対的な外部パラメータとに分解し、前記地面の法線ベクトルとカメラ間の相対的な外部パラメータと、前記校正パターンのうちの任意の２つの校正パターンの間の距離情報とから、各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出するステップと、からなることを特徴とする、カメラ校正方法。
6. 車両に搭載され、地面を含む車両周囲を撮像し、かつ共通撮像領域を有する複数のカメラを前記共通撮像領域に存在する特徴物体によって校正するカメラ校正方法であって、
   各カメラで撮像された画像を所定の射影行列に基づいて俯瞰視点の画像に変換するステップと、
   前記複数のカメラのうち、所定のカメラで撮像された前記特徴物体の変換画像と該所定のカメラとの間で共通撮像領域を有する他のカメラで撮像された前記特徴物体の変換画像との誤差を算出するステップと、
   前記誤差に基づいて前記所定の射影行列を更新するステップと、
   前記誤差がゼロになる射影行列を変換画像中の地面の法線ベクトルとカメラ間の相対的な外部パラメータとに分解し、前記地面の法線ベクトルとカメラ間の相対的な外部パラメータと、前記特徴物体のうちの任意の２点の間の距離情報とから、各カメラの地面に対する姿勢に関する外部パラメータを含むカメラパラメータを算出するステップと、からなることを特徴とする、カメラ校正方法。

Images