JP4501239B2

JP4501239B2 - カメラ・キャリブレーション装置及び方法、並びに、記憶媒体

Info

Publication number: JP4501239B2
Application number: JP2000212381A
Authority: JP
Inventors: 嘉昭岩井; 隆之芦ヶ原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-13
Filing date: 2000-07-13
Publication date: 2010-07-14
Anticipated expiration: 2020-07-13
Also published as: US20050185049A1; US20020113878A1; JP2002027507A; US7023473B2; US6985175B2

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラの特性を表すパラメータを算出するカメラ・キャリブレーション方法及び装置に係り、特に、対象物を撮像して電子的な画像データを出力するタイプのカメラに対してパラメータ算出を行うカメラ・キャリブレーション方法及び装置に関する。
【０００２】
更に詳しくは、本発明は、ステレオ法のカメラ・キャリブレーションにおいて、空間的な位置拘束のない任意の平面を用いて、距離計測に必要なパラメータを算出するためのカメラ・キャリブレーション方法及び装置に関する。
【０００３】
【従来の技術】
実在するカメラの多くは、ピンホールカメラ・モデルによる中心投影を行う。中心投影とは、投影中心Ｃと３次元物体表面の点Ｍとを結ぶ直線（「視線」とも言う）とカメラの投影スクリーンとの交点に物体表面の点Ｍの色濃度値を配置していくことで、投影画像を形成することができる。中心投影では、同じ大きさの物体であっても、カメラの投影中心Ｃに近づくにつれて大きな像として投影され、逆に、投影中心Ｃから遠ざかるにつれて小さく投影される性質を持つ。
【０００４】
また、撮像対象が平面である場合、その正面に対して斜め方向から撮像した画像は、正面に正対した位置から撮像した画像を射影変換した射影画像となることは、幾何光学的に明らかである。正面画像を射影変換行列Ｈによって射影変換することで射影画像が得られるということは、画像処理の技術分野において広く知られている。例えば、正面画像がデジタル・カメラにより捕捉された電子的な画像データであれば、捕捉した正面画像を射影変換することによって、任意の方向（視線）から撮像したに等しい射影画像を、比較的高速且つ容易に計算して求めることができる。例えば、金谷健一著の「画像理解」（森北出版，１９９０）には、元の画像を射影変換行列によって別の角度から見える画像に変換できる点が記載されている。撮像画像の射影変換処理は、例えば、コンピュータ資源を用いて高速に行うことができる。
【０００５】
射影変換に関する幾何光学的な性質は、例えば、「ステレオ法」に基づく対象物の距離測定方法にも適用することができる。ここで言うステレオ法とは、所定の位置関係を持つ複数の視点（投影中心）から撮像した画像を用いて、シーンすなわち撮像画像中の各点と投影中心との距離を、いわゆる「三角測量」の原理により測定する方法のことである。
【０００６】
本明細書中では、説明の便宜上、２つの視点すなわち２個のカメラのみを用いてステレオ法を行うこととする。１つのカメラは基準カメラとして使用され、正面と正対した位置から対象物を撮像して、基準画像を出力する。また、他方のカメラは検出カメラとして使用され、斜め方向から対象物を撮像して、検出画像を出力する。図７は、撮像平面に対する基準カメラと検出カメラの配置を模式的に示しており、また、図８には、略正方形のパターンを基準カメラと検出カメラの各々によって撮像した場合の基準画像と検出画像を模式的に示している。
【０００７】
図７に示すように、基準カメラの撮像画像では、撮像対象となる平面上の点Ｍと基準カメラの投影中心Ｃ_bとを結ぶ直線と基準カメラの投影スクリーンＳ_bとの交点ｍに点Ｍが観察される。点Ｍと基準カメラの投影中心Ｃ_bとを結ぶ直線は、基準カメラの視線である。また、検出カメラの撮像画像では、点Ｍと検出カメラの投影中心Ｃ_dとを結ぶ直線と検出カメラの投影スクリーンＳ_dとの交点ｍ’に点Ｍが観察される。点Ｍと検出カメラの投影中心Ｃ_dとを結ぶ直線は、検出カメラの視線である。
【０００８】
基準カメラの視線は、検出カメラの投影スクリーン上では直線として観察されるが、この直線のことを「エピポーラ・ライン」と呼ぶ。
【０００９】
また、図７及び図８に示す例では、略正方形のパターンに正対する基準カメラで撮像した撮像画像は正方形となるのに対し、このパターンを斜視する検出カメラで撮像した画像は、視点からの距離が長い辺が縮小される結果として、台形状ととして現れる。これは、同じ大きさの物体であっても、カメラの投影中心Ｃに近づくにつれて大きな像として投影され、逆に、投影中心Ｃから遠ざかるにつれ小さく投影されるという、中心投影の基本的性質に依拠する。
【００１０】
上述したように、撮像対象が平面である場合、検出カメラの撮像画像は、基準カメラの撮像画像を射影変換した画像である。すなわち、基準カメラの撮像画像中の点ｍ（ｘ_b，ｙ_b）と、これに対応する検出カメラの撮像画像中の点ｍ’（ｘ_d，ｙ_d）の間には、以下の式が成立する。但し、同式中のＨは３×３射影変換行列である。
【００１１】
【数１】

【００１２】
射影変換行列Ｈは、カメラの内部パラメータ及び外部パラメータ、平面の方程式を暗黙的に含んだ行列であり、また、スケール因子に自由度が残るので、８自由度を有する。なお、金谷健一著の「画像理解」（森北出版，１９９０）には、基準画像と参照画像間において、射影変換により互いの対応点を求めることができるということが記載されている。
【００１３】
基準カメラの視線は、検出カメラのカメラの投影スクリーン上ではエピポーラ・ラインと呼ばれる直線として現れる（前述及び図７を参照のこと）。基準カメラの視線上に存在する点Ｍは、点Ｍの奥行き、すなわち基準カメラとの距離の大小に拘らず、基準カメラの投影スクリーン上では同じ観察点ｍ上に現れる。これに対し、検出カメラの投影スクリーン上における点Ｍの観察点ｍ’は、エピポーラ・ライン上で基準カメラと観察点Ｍとの距離の大小に応じた位置に現れる。
【００１４】
図９には、エピポーラ・ラインと、検出カメラの投影スクリーン上における観察点ｍ’の様子を図解している。同図に示すように、点Ｍの位置がＭ₁，Ｍ₂，Ｍ₃へと変化するに従って、参照画像中の観察点はｍ'₁，ｍ'₂，ｍ'₃へとシフトする。言い換えれば、エピポーラ・ライン上の位置が観察点Ｍの奥行きに相当する訳である。
【００１５】
以上の幾何光学的性質を利用して、基準カメラの観察点ｍに対応する観察点ｍ’をエピポーラ・ライン上で探索することにより、基準カメラから点Ｐまでの距離を同定することができる。これが「ステレオ法」の基本的原理である。
【００１６】
しかしながら、撮像対象を実写した正面画像を基にして斜視画像を生成したり、あるいは、ステレオ法に基づいて複数台のカメラによる複数の画像から物体の距離を計測することは、カメラが持つ撮像光学系が理論と完全に一致する特性を持っていることを前提としている。このため、実写により取得した画像に対して所定の補正を施す必要がある。例えば、カメラのレンズは一般に歪みパラメータを有し、観察点は理論上の点から変位した位置に結像される。したがって、カメラ特有のパラメータを算出し、射影変換に際してこのパラメータに従った画像データの補正を行わなければ、正面画像から正確な射影画像を得ることができず、また、ステレオ法により正確な奥行き計測を行うことができない。
【００１７】
カメラが持つパラメータは、レンズの歪みパラメータの他、カメラ特性を表す内部パラメータ、カメラの３次元位置を示す外部パラメータに区分される。カメラのパラメータを算出する方法のことを、一般に、「カメラ・キャリブレーション」と呼ぶ。カメラ・キャリブレーションのための手法は、従来から数多く提案されているが、未だ確立されたものがないのが現状である。一般には、キャリブレーションに用いるデータの拘束などのために専用の器具などを利用する必要もあり、非常に煩雑な処理となってしまう。
【００１８】
最も一般的なカメラ・キャリブレーション方法は、３次元空間中の位置が既知である複数の参照点からなる校正パターンを撮像して、全てのカメラ・パラメータ、すなわち内部パラメータ、外部パラメータ、歪みパラメータを同時に算出する方法である。例えば、Roger Y. Tsai著の論文"An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision "（１９８６，ＩＥＥＥ）には、このようなカメラ・キャリブレーション手法について記載している。しかしながら、Tsaiの方法を実行するためには、正確な参照点が描かれた校正パターンを用意する必要がある。さらに、参照点を正確に位置決めする機構も必要となってしまう。
【００１９】
このようなデータ拘束を軽減すべく、最近では、位置拘束のない任意平面を用いたカメラ・キャリブレーション方法も幾つか提案されている。
【００２０】
例えば、Zhengyou Zhang著の論文:"A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, 1999（http://www.research.microsoft.com/~zhang/）には、カメラの内部パラメータを算出する方法について記載されているが、ステレオ法に関するパラメータを提供するには至っていない。
【００２１】
以上を略言すれば、平面上の既知パターンを異なる方向からカメラで撮像するだけで、平面の位置に関する拘束のない、ステレオ・システムにおけるカメラ・キャリブレーションを簡単に行なえる手順が望まれている訳である。
【００２２】
【発明が解決しようとする課題】
本発明の目的は、カメラの特性を表すパラメータを算出することができる、優れたカメラ・キャリブレーション方法及び装置を提供することにある。
【００２３】
本発明の更なる目的は、平面上の既知パターンを異なる方向からカメラで撮像するだけで、平面の位置に関する拘束のない、ステレオ・システムにおけるカメラ・キャリブレーションを簡単に行なうことができる、優れたカメラ・キャリブレーション方法及び装置を提供することにある。
【００２４】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを行うカメラ・キャリブレーション装置であって、
既知パターンが描かれた平面を前記基準カメラ及び前記検出カメラによって空間的な位置拘束のない３以上の視点で撮像した画像を保持する画像保持手段と、前記画像保持手段に保持された各撮像画像を基に、ステレオ・システムによる距離計測に必要なパラメータを算出するパラメータ算出手段と、
を具備することを特徴とするカメラ・キャリブレーション装置である。
【００２５】
ここで、前記パラメータ算出手段は、
各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１の手段と、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２の手段と、
前記第２の手段により求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３の手段と、
前記第３の手段により算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４の手段と、
前記第４の手段により推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５の手段と、
で構成することができる。
【００２６】
また、該カメラ・キャリブレーション装置は、前記画像保持手段に保持された前記基準カメラ及び前記検出カメラの各２以上の撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化するパラメータ修正手段をさらに備えていてもよい。
【００２７】
また、前記パラメータ修正手段は、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第６の手段と、
前記基準カメラの内部パラメータ及び前記基準カメラの撮像画像を基に、撮像した平面位置を推定する第７の手段と、
前記第７の手段により推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第８の手段と、
各撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化する第９の手段と、
で構成することができる。
【００２８】
また、各撮像画像を所定の合成画像に合わせ込むこと（Image Registration）によって歪みパラメータ及び／又は射影変換行列を算出するようにしてもよい。画像合わせ込みによれば、例えばパターンが撮像された位置が局所的であっても、比較的安定に歪みパラメータを推定することができる。
【００２９】
また、本発明の第２の側面は、基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを既知パターンが描かれた平面を空間的な位置拘束のない３以上の視点で各カメラで撮像した画像を用いて行うカメラ・キャリブレーション方法であって、
各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１のステップと、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２のステップと、
前記第２のステップにより求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３のステップと、
前記第３のステップにより算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４のステップと、
前記第４のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５のステップと、
を具備することを特徴とするカメラ・キャリブレーション方法である。
【００３０】
該カメラ・キャリブレーション方法は、前記基準カメラ及び前記検出カメラの各２以上の撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化するパラメータ修正ステップをさらに備えていてもよい。
【００３１】
また、前記パラメータ修正ステップは、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第６のステップと、
前記基準カメラの内部パラメータ及び前記基準カメラの撮像画像を基に、撮像した平面位置を推定する第７のステップと、
前記第７のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第８のステップと、
各撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化する第９のステップと、
で構成することができる。
【００３２】
また、本発明の第３の側面は、基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを既知パターンが描かれた平面を空間的な位置拘束のない３以上の視点で各カメラで撮像した画像を用いて行うカメラ・キャリブレーション処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１のステップと、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２のステップと、
前記第２のステップにより求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３のステップと、
前記第３のステップにより算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４のステップと、
前記第４のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５のステップと、
を具備することを特徴とする記憶媒体である。
【００３３】
本発明の第３の側面に係る記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用性のコンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で物理的に提供する媒体である。このような媒体は、例えば、ＣＤ（Compact Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムにコンピュータ可読形式で提供することも技術的に可能である。
【００３４】
このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係るカメラ・キャリブレーション装置及び方法と同様の作用効果を得ることができる。
【００３５】
【作用】
本発明に係るカメラ・キャリブレーション装置及び方法では、基準カメラと検出カメラによって空間的な位置拘束のない３以上の視点で撮像した画像を用いて各カメラの歪みパラメータを推定するとともに、各撮像画像を仮想平面へ射影する各射影変換行列を算出する。次いで、基準カメラの各撮像画像毎の射影変換行列を基に基準カメラの内部パラメータを算出する。そして、基準カメラの内部パラメータ及び各撮像画像を基に、撮像した平面位置を推定して、この平面位置のパラメータ及び検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出することができる。
【００３６】
本発明に係るカメラ・キャリブレーション装置及び方法によれば、空間的な位置拘束のない任意平面を用いて、ステレオ法における簡単なカメラ・キャリブレーションを行なうことができる。したがって、撮像平面の位置関係に制約がないので、専用の器具を必要としない。
【００３７】
すなわち、平面上の既知パターンを異なる方向からカメラで撮像するだけでよく、平面の位置に関する拘束はない。
【００３８】
また、パターンは既知である必要はあるが専用の器具を用意したものである必要がないため、例えば、レーザ・プリンタ等でパターンを出力した紙を壁やプレートに貼り付けて行うことができる。
【００３９】
また、撮像の際はパターンの描かれた（貼られた）平面（プレートなど）を動かすか、あるいはカメラを動かして撮像して、３枚の平面撮像画像を取得するだけでよいので、撮像対象（データ）に関する大きな制約がなく、キャリブレーションを簡単に行うことが可能となる。
【００４０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４１】
【発明の実施の形態】
本発明の実施の形態について説明するに先立ち、本明細書で用いるカメラ・パラメータ、並びに、これらのパラメータから距離計測を行なう方法について説明しておく。
【００４２】
以下では、画像上の点を、
【００４３】
【数２】

【００４４】
とし、また、空間中の点を
【００４５】
【数３】

【００４６】
とし、各点の斎次座標系での記述をそれぞれ以下のようにおく。
【００４７】
【数４】

【００４８】
このような場合、空間中の点Ｍと画像上の点ｍの関係は以下に示す式で与えられる。
【００４９】
【数５】

【００５０】
ここで、ｓはスケール因子であり、行列［Ｒ，ｔ］は外部パラメータと呼ばれるもので、カメラの空間内での位置を表す。また、Ｒ，ｔは、それぞれ画像の回転及び並進行列を表す。また、行列Ａは、カメラの内部パラメータと呼ばれるもので、以下に示す式で与えられる。
【００５１】
【数６】

【００５２】
ここで、（ｕ０，ｖ０）は画像中心を表し、α（＝−ｆ・ｋｕ）、β（＝−ｆ・ｋｖ／ｓｉｎθ）はそれぞれ、ｕ軸、ｖ軸のスケール因子を表し、γ（＝ｆ・ｋｕ・ｃｏｔθ）は２つの軸のねじれを表す。また、行列Ｐ＝Ａ・［Ｒ，ｔ］は、空間内の点を画像面に投影する３×４の投影行列とする。
【００５３】
以上の記述では、レンズ歪みによる影響を考慮せず、理想的な条件下での変換を示してきた。しかし、実際には歪みによる影響を無視することはできないので、カメラ・パラメータとしてレンズ歪みも加えるものとする。歪み座標の点ｍ_d＝［ｕｄ，ｖｄ］^Tと点ｍ＝［ｕ，ｖ］^Tの関係は、以下に示す式で表すことができる。
【００５４】
【数７】

【００５５】
但し，ｒｄ²＝（ｕｄ−ｃｕ）²＋（ｖｄ−ｃｖ）²ｓｖ²であり、（ｃｕ，ｃｖ）は歪み中心を、ｓｖはアスペクト比をそれぞれ表すものとする。
【００５６】
続いて、ステレオ法における距離計測方法について説明する。図９に示すように、基準カメラ、検出カメラへの投影行列をそれぞれＰ，Ｐ’とし、基準画像及び検出画像上のそれぞれの点をｍ，ｍ’とする。但し、それぞれの画像上の点は、式（３）を用いてひずみの影響は除去されているものとする。
【００５７】
点Ｍまでの距離を測定する場合、基準画像上の点ｍに対応する検出画像上の点ｍ’を検出する必要がある。点ｍ’は、図９に示すように、エピポーラ・ラインと呼ばれる直線上に位置するので（前述）、参照画像上で点ｍに対応する点を検出するためには、この直線上の探索を行えばよいことになる。
【００５８】
エピポーラ・ラインはカメラ中心と点ｍを結ぶ直線上の点を検出カメラ上へ投影した点の集合である（前述）。例えば、空間内Ｚ方向の計測範囲をＺ0−Ｚnとした場合、エピポーラ・ラインは、各距離に対応した点Ｍ₀，Ｍ_nを投影した点ｍ₀'，ｍ_n'を結ぶ直線となる。実際の探索では、距離Ｚ_iに位置する点を検出画像上に投影して、基準画像上の点との類似度を測り、画像間の点の対応を決定する。
【００５９】
次いで、基準カメラ上の点ｍへ投影される距離Ｚ_iの点Ｍ_iを検出画像上の点ｍ_i'へ投影する手順について説明する。点ｍを通る視線上の点は、式（１）を用いて次式のように記述することができる。
【００６０】
【数８】

【００６１】
ここでＰ⁺はＰの擬似逆行列であり、次式で定義される。
【００６２】
【数９】

【００６３】
また、Ｐ^⊥は次式を満たすベクトルとなり、常に原点に射影されるため実際には光学中心を示す。但し、ωは任意の４次元ベクトルである。
【００６４】
【数１０】

【００６５】
式（４）は、光学中心及び基準画像上の点ｍを通るすべての点を表しているが、距離をＺ_iとすることでスケール因子を決定することができ、空間内の点Ｍ_iを決定することができる。この点を投影行列Ｐ’により投影すれば、検出画像上の点ｍ_i’を算出することが可能となる。
【００６６】
以上のことから、空間内の点の距離を求めるためには、各カメラのカメラ・パラメータＡ，Ｒ，ｔ，Ａ’．Ｒ’，ｔ’をそれぞれ個々に求めるか、又は、投影行列Ｐ，Ｐ’を直接算出し、さらに各カメラの歪みパラメータκ１，ｃｕ１，ｃｖ１，ｓｖ１ κ２，ｃｕ２，ｃｖ２，ｓｖ２を算出すればよいことになる。
【００６７】
以下、図面を参照しながら本発明の実施の形態について詳解する。
【００６８】
図１には、本発明の実施に供されるカメラ・キャリブレーション装置１０の機能構成を模式的に示している。該カメラ・キャリブレーション装置１０は、既知のパターンの描かれた平面を異なる視点で撮像した画像に基づいて、ステレオ法により距離計測をする際に必要なパラメータを算出することができる装置である。
【００６９】
基準カメラ１及び検出カメラ２により、既知のパターンが描かれた平面を撮像する。撮像した濃淡画像はそれぞれ、フレーム・メモリ３及び４にそれぞれ蓄えられる。
【００７０】
パラメータ算出部５では、異なる視点で撮像した３枚の画像から各カメラの歪みパラメータ、及び、各カメラ１及び２への投影行列を算出して、パラメータ格納部７に算出した値を保存する。
【００７１】
一方、パラメータ修正部６では、異なる視点で撮像した２枚の画像から、パラメータ格納部７に保存されているパラメータを修正して（但し、修正するためにはパラメータは少なくとも１度は算出されている必要がある）、修正したパラメータをパラメータ格納部７に保存する。パラメータ修正部６での処理は，パラメータ算出部５の処理を一部用いて実現されている。
【００７２】
図２には、パラメータ算出部５において実行されるパラメータ算出処理の手順をフローチャートの形式で示している。
【００７３】
まず、異なる３視点でパターンの描かれた平面を撮像する（ステップＳ１〜Ｓ３）。ここで、基準カメラ１及び検出カメラ２での撮像は、同期して行う（又は、同時性が保たれなくても撮像パターンの位置関係などその他の撮影条件が一致する）ことが好ましい。
【００７４】
撮像の際、平面の空間的な位置（又は視点）に関しては、相対的に平行でなければよい。また、撮像するパターンについても特に制約はないが、以下では白黒２値の格子パターンを用いるものとして各処理の詳細を説明する。
【００７５】
（１）歪みパラメータの推定（ステップＳ４）
基準カメラ１及び検出カメラ２の各撮像画像を用いて、各カメラ１及び２の歪みパラメータを推定すると同時に、合成画像への射影変換行列を算出する。
【００７６】
ここで言う合成画像とは、ＸＹＺ座標系において、Ｘ−Ｙ平面に平行で且つＺ＝０の位置に配置された仮想平面の次元を落として画像としたものであり、その座標系はＸＹ座標となる。ここで用いる歪みパラメータの推定方法については、例えば本出願人に既に譲渡されている特願平１１−１６１２１７号明細書に開示されたカメラ・キャリブレーション方法を拡張することで実現される。
【００７７】
合成画像上の点をｍ_o＝［Ｘ_o，Ｙ_o］^T、撮像画像上の点をｍ_d＝［ｕｄ，ｖｄ］^T、歪みを除去した画像上の点をｍ＝［ｕ，ｖ］^Tとすると、各点の関係は図３に示すように、射影変換行列Ｈ_oと歪みパラメータ（κ，ｃｕ，ｃｖ，ｓｖ）により表すことができる。つまり、撮像画像上の点ｍ_dを式（３）を用いてｍへ変換し、さらに次式により変換することで合成画像上の点ｍ_oに関連つけられる。
【００７８】
【数１１】

【００７９】
上式に示す関係に基づいて、図４に示すように、撮像した画像を同一の合成画像合わせ込み（Image Registration）を行なうことで、パラメータ推定を行うことができる。この場合、推定するパラメータは、歪みパラメータ（４パラメータ）と、各撮像画像Ｉ_iから合成画像Ｉ_oへの射影変換行列Ｈ_oi（８パラメータ）があり、合計２８個のパラメータとなる。評価値としては、次式に示すように合成画像Ｉ_oと撮像画像Ｉ_iの２乗和を最小化することで、各パラメータを推定する。但し、ｉ＝１，２，３は画像枚数を表す。この処理により、例えばパターンが撮像された位置が、図４に示すように局所的であっても、比較的安定に歪みパラメータを推定することが可能となる。
【００８０】
【数１２】

【００８１】
この評価値の最小化に関しては、非線形問題の一般的な解法であるLevenberg-Marquardt法（以下では、単に「Ｌ−Ｍ法」とする）を適用することができる。例えば、S. A. Teukolsky，W. T. Vetterling，B. P. Flannery著の"NUMERICAL RECIPES in C"（W. H. Press）には、Ｌ−Ｍ法について記載されている。
【００８２】
ここで、歪みパラメータ推定処理の手順をまとめておく。
【００８３】
１：撮像したパターンに応じて計算機内で合成画像I_oを作成する。
２：各カメラ画像Ｉ₁，Ｉ₂，Ｉ₃について、式（３）及び（７）で表される撮像画像と合成画像の関係を使って、式（８）の評価値をＬ−Ｍ法により最小化し、歪みパラメータκ，ｃｕ，ｃｖ，ｓｖ、及び、各画像から合成画像への射影変換行列Ｈ_o1，Ｈ_o2，Ｈ_o3を算出する。
【００８４】
（２）内部パラメータの推定（ステップＳ５）
先の歪みパラメータ推定の際に使用した仮想平面と撮像画像の関係を上式（１）により書き直すと次式のようになる。
【００８５】
【数１３】

【００８６】
但し、Ｒ＝［ｒ１，ｒ２，ｒ３］としている。上式（９）と先述の式（７）より次式を導くことができる。
【００８７】
【数１４】

【００８８】
さらにＨ＝［ｈ１ｈ２ｈ３］とおくと、上式（１０）から次式を得ることができる。
【００８９】
【数１５】

【００９０】
但し、λはスケール因子である。ｒ１とｒ２は正規直交、すなわち＜ｒ１，ｒ２＞＝０且つ｜ｒ１｜＝｜ｒ２｜＝１であることを利用すると、上式（１２）から次式の関係式を導くことができる。
【００９１】
【数１６】

【００９２】
但し、Ｂ＝Ａ^-TＡ^-1とする。上式（１２）において、Ｂは対称行列であり、次式のように表される。
【００９３】
【数１７】

【００９４】
ここで列ベクトルｂ＝［Ｂ１１，Ｂ１２，Ｂ２２，Ｂ１３，Ｂ２３，Ｂ３３］Tとし，Ｈの列ベクトルをｈ_i＝［ｈ_i1，ｈ_i2，ｈ_i3］^Tとおくと、次式を得ることができる。但し、ｖ_ij＝［ｈ_i1ｈ_j1，ｈ_i1ｈ_j2＋ｈ_i2ｈ_j1，ｈ_i2ｈ_j2，ｈ_i3ｈ_j1＋ｈ_i1ｈ_j3，ｈ_i3ｈ_j2＋ｈ_i2ｈ_j3，ｈ_i3ｈ_j3］^Tとする。
【００９５】
【数１８】

【００９６】
式（１３）を式（１２）に代入することによって、上記の列ベクトルｂに関する以下の方程式を得ることができる。
【００９７】
【数１９】

【００９８】
上式（１４）は１枚の撮像平面（射影変換行列）から得られる式であるから、すべての撮像画像について式（１４）を作成することで最終的に次式が得られ、これを解くことで、列ベクトルｂを求めることが可能となる。
【００９９】
【数２０】

【０１００】
但し、Ｖは以下の通りとする。
【０１０１】
【数２１】

【０１０２】
上式（１５）によりベクトルｂを算出することができれば、内部パラメータの各要素は次式から算出可能となる。
【０１０３】
【数２２】

【０１０４】
ここで、基準カメラの内部パラメータ推定処理の手順をまとめておく。
【０１０５】
１：合成画像への射影変換行列の逆行列Ｈ_i＝Ｈ_oi ^-1を算出する。
２：各逆行列Ｈ_iから式（１４）の関係式を算出する。
３：すべての行列Ｈ_iを使って得られた式（１５）を解き、式（１７）から内部パラメータの各要素値を算出する。
【０１０６】
（３）平面の位置推定（ステップＳ６）
続いて、先に算出した基準カメラの内部パラメータを利用して、撮像した平面の空間内での位置及び姿勢を推定する。
【０１０７】
歪みパラメータ算出の際、同時に算出した各画像から合成画像への射影変換行列Ｈ_oの逆行列を用いることにより撮像画像の格子点を抽出することができる。すなわち、合成画像中の任意の格子点（合成画像は作成されたものであり、その位置は既知である）を行列Ｈ_o ^-1により射影することで、歪みを除去した画像上での格子点ｍ＝［ｕ，ｖ］^Tを算出することができる。
【０１０８】
図５に示すように、歪みを除去した画像上での格子点ｍと仮想平面上の点Ｍ_o＝［Ｘ，Ｙ，Ｏ］^Tの関係は、仮想平面を空間内で回転並びに移動し、基準カメラ１への投影行列Ｐにより基準カメラの撮像平面に投影されたものとなる。仮想平面の空間内での回転及び移動を行列［Ｒｗｔｗ］とすると、点ｍと点Ｍ_oの関係は次式のように表される。
【０１０９】
【数２３】

【０１１０】
但し、上式（１９）において、行列Ｄは以下の通りとする。
【０１１１】
【数２４】

【０１１２】
式（１８）を変形すると、以下の式が導かれる。
【０１１３】
【数２５】

【０１１４】
点Ｍは撮像平面上の点の空間座標となるので、行列［Ｒｗｔｗ］を推定することで、平面位置を決定することができ、さらには撮像平面上の格子点の空間座標を算出することができる。
【０１１５】
行列［Ｒｗｔｗ］は、下式（２０）に示すように、各軸周りの回転角（θ1，θ2，θ3）、及び、並進（ｔx，ｔy，ｔz）の合計６自由度である。
【０１１６】
【数２６】

【０１１７】
また、投影行列Ｐの算出は、先に算出した内部パラメータＡと測定範囲に応じて値を決定した外部パラメータを用いて行うことができる。例えば、基準カメラ１のカメラ位置をＣ_b＝［ｘｃ，ｙｃ，ｚｃ］^Tとした場合、投影行列Ｐは次式（２１）を用いて算出することができる。
【０１１８】
【数２７】

【０１１９】
上式（２０）で示した６個のパラメータｔｒ＝［θ1，θ2，θ3，ｔｘ，ｔｙ，ｔｚ］の推定は、次式を評価値として、Ｌ−Ｍ法（前述）により行うことができる。
【０１２０】
【数２８】

【０１２１】
上式（２２）は、基準カメラ１の撮像画像上の格子点ｍ_jと上式（１８）により投影された点との差分の二乗の総和を表す。上式（２２）による推定を各撮像平面に施すことで、仮想平面の空間内での回転及び移動パラメータＲｗ１，Ｒｗ２，Ｒｗ３，ｔｗ１，ｔｗ２．ｔｗ３を得ることができる。
【０１２２】
（４）検出カメラへの投影行列の算出（ステップＳ７）
先に算出した仮想平面の空間内での回転及び移動パラメータＲｗ１，Ｒｗ２，Ｒｗ３，ｔｗ１，ｔｗ２，ｔｗ３を用いると、検出カメラ上の点ｍ'_i＝［u'_i, v'_i］^Tと仮想平面上の点をＤ_iにより変換した撮像平面上の点Ｍ_i＝［Ｘ_i，Ｙ_i，Ｚ_i］^Tの関係は先述の式（１）を満たする。該式に基づいて、さらに次式を得ることができる。
【０１２３】
【数２９】

【０１２４】
但し、ｖ_1i並びにｖ_2iは次式（２４）を満たすものとし、また、ベクトルｐ’は検出カメラ２への投影行列Ｐ’の各要素を次々式（２５）に示すようにベクトルで表したものであるとする。
【０１２５】
【数３０】

【０１２６】
【数３１】

【０１２７】
上式（２３）を解くことで、検出カメラへの投影行列Ｐ’を得ることができる。
【０１２８】
（５）パラメータの最適化（ステップＳ８）
最後に、これまでの処理ステップで算出した各パラメータＡ，Ｒｗ１，Ｒｗ２，Ｒｗ３，ｔｗ１，ｔｗ２，ｔｗ３，Ｐ’の各々について、基準カメラ１、検出カメラ２で撮像したすべての画像を用いることで、最適化処理を施す。
【０１２９】
評価式は次式（２６）で与えられるものとし、Ｌ−Ｍ法（前述）により解くことができる。但し、ｉ＝１，２，３は画像番号であり、ｊ＝１，２，…，ｎは画像上の点数を表す。また、式（２６）中の各点は、それぞれ式（２７）によって投影された点を表す。
【０１３０】
【数３２】

【０１３１】
但し、行列［Ｒ，ｔ］は基準カメラ１のカメラ位置を示す外部パラメータであり、前述したように計測範囲により決定される。
【０１３２】
図６には、パラメータ修正処理の手順をフローチャートの形式で示している。
【０１３３】
パラメータ修正処理では、異なる２つの視点で所定のパターンの描かれた平面を撮像する（ステップＳ１１〜Ｓ１２）。ここでは、基準カメラ１及び検出カメラ２での撮像は同期して行う（又は、同時性が保たれなくてもパターンの位置関係などその他の撮影条件が一致する）。撮像の際、平面の空間的な位置（又は視点）に関しての制約はなく、撮像パターンについても特に制約はない。以下では、パターンは白黒２値の格子パターンを用いるものとして各処理の詳細を説明することにする。
【０１３４】
また、パラメータ修正処理では、カメラの内部パラメータに変化はなく，カメラ間の位置関係のみが変化した場合を前提とする。このような場合、位置関係が変化後の基準カメラ１の位置を基に座標系を考えれば、検出カメラ２の位置変化のみが生じたものとして扱うことが可能である。つまり、修正が必要となるパラメータは、空間内の点を検出カメラ２へ投影する３×４の投影行列Ｐ’のみとなり、歪みパラメータや基準カメラ１の内部パラメータを固定値として処理を行う。
【０１３５】
次いで、ステップＳ１３では、各カメラ１及び２で撮像した画像から合成画像への射影変換行列Ｈ_ob1，Ｈ_ob2，Ｈ_od1，Ｈ_od2を算出する。実際の処理は、前述した「（１）歪みパラメータ推定」の処理に準じて行われるが、ここでは歪みパラメータの推定は行わない。
【０１３６】
続いて、前回のキャリブレーションにより算出したパラメータから、基準カメラ１の内部パラメータＡを読み込む（ステップＳ１４）。この内部パラメータを用いて、次ステップＳ１５では撮像平面の位置推定を行う（前述の「（３）平面の位置推定」を参照のこと）。
【０１３７】
次いで、ステップＳ１５において推定した平面パラメータＲｗ１，Ｒｗ２，ｔｗ１，ｔｗ２を用いて、検出カメラ２への投影行列Ｐ’を算出する（ステップＳ１６）。このステップＳ１６は、パラメータ格納部７に保存されている投影行列を用いることで処理を省略することも可能である。但し、カメラの位置関係の変化が大きい場合には、次の最適化処理において、そのずれを吸収するに多くの時間を有することになるか、又は吸収ができないことがあるので、最適化処理の収束時間を短縮する意味でも、ステップＳ１６を実行することが好ましい。
【０１３８】
最後に、パラメータＲｗ１，Ｒｗ２，ｔｗ１，ｔｗ２，Ｐ’を、基準カメラ１及び検出カメラ２で撮像したすべての画像を用いて最適化する（ステップＳ１７）。このステップでの評価値は上記の式（２６）で与えられるものとし（但し、使用する画像数は２とする）、また、式（２６）中の各点はそれぞれ式（２７）によって投影されるものとする。
【０１３９】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４０】
【発明の効果】
以上詳記したように、本発明によれば、カメラの特性を表すパラメータを算出することができる、優れたカメラ・キャリブレーション方法及び装置を提供することができる。
【０１４１】
また、本発明によれば、平面上の既知パターンを異なる方向からカメラで撮像するだけで、平面の位置に関する拘束のない、ステレオ・システムにおけるカメラ・キャリブレーションを簡単に行なうことができる、優れたカメラ・キャリブレーション方法及び装置を提供することができる。
【０１４２】
本発明に係るカメラ・キャリブレーション装置及び方法によれば、空間的な位置拘束のない任意平面を用いて、ステレオ法における簡単なカメラ・キャリブレーションを行なうことができる。したがって、撮像平面の位置関係に制約がないので、専用の器具を必要としない。
【０１４３】
また、データ撮像は、例えばプリンタなどでパターン出力した紙を貼りつけた壁やプレートを動かすか、又は、カメラを移動すればよいので、キャリブレーション作業の準備を簡単に行なうことができる。
【０１４４】
また、合成画像への画像全体を合わせ込むことによって歪みパラメータ推定や格子点抽出を行なっているので、比較的安定に推定及び抽出を行なうことができる。
【０１４５】
また、撮像したすべての画像から歪みパラメータを推定しているので、対象が小さく画像ないの一部にしか撮像されていない場合でも、比較的安定にパラメータ推定を行なうことができる。
【０１４６】
例えば、歪みの影響を無視し、格子点の抽出を行い、最後に歪みパラメータを加えて最適化するような場合、歪曲収差の大きいレンズを使用した場合には各パラメータの推定をうまく行うことができない可能性がある。これに対し、本発明に係るカメラ・キャリブレーション装置及び方法によれば、格子点抽出と同時に歪みパラメータ推定を行うことができるので、歪曲収差の大きいレンズの場合でも安定してパラメータ推定を行うことができる。
【０１４７】
また、本発明に係るカメラ・キャリブレーション装置及び方法によれば、一度算出したパラメータを修正することが可能である。このような場合、異なる２つの視点で撮像画像を用いて行うことができるので、データ準備が容易である。
【０１４８】
また、本発明に係るカメラ・キャリブレーション装置及び方法では、既知パターンを用いてキャリブレーションを行っているので、処理の安定性を増すことができる。
【０１４９】
【図面の簡単な説明】
【図１】本発明の実施に供されるカメラ・キャリブレーション１０の機能構成を模式的に示した図である。
【図２】パラメータ算出部５において実行されるパラメータ算出処理の手順を示したフローチャートである。
【図３】合成画像上の点ｍ_o＝［Ｘ_o，Ｙ_o］^T、撮像画像上の点ｍ_d＝［ｕｄ，ｖｄ］^T、及び、歪みを除去した画像上の点ｍ＝［ｕ，ｖ］^Tの関係を示した図である。
【図４】撮像した画像を同一の合成画像合わせ込み（Image Registration）を行なう様子を描写した図である。
【図５】歪みを除去した画像上での格子点ｍと仮想平面上の点Ｍ_o＝［Ｘ，Ｙ，Ｏ］^Tの関係を描写した図である。
【図６】パラメータ修正処理の手順を示したフローチャートである。
【図７】撮像対象に対する基準カメラと検出カメラの配置を模式的に示した図である。
【図８】略正方形のパターンを基準カメラと検出カメラの各々によって撮像した画像を示した図である。
【図９】エピポーラ・ラインと、参照画像中における観察点ｍ’の様子を図解したものでる。
【符号の説明】
１…基準カメラ
２…検出カメラ
３，４…フレーム・メモリ
５…パラメータ算出部
６…パラメータ修正部
７…パラメータ格納部
１０…カメラ・キャリブレーション装置

Claims

基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを行うカメラ・キャリブレーション装置であって、
既知パターンが描かれた平面を前記基準カメラ及び前記検出カメラによって空間的な位置拘束のない３以上の視点で撮像した画像を保持する画像保持手段と、
前記画像保持手段に保持された各撮像画像を基に、ステレオ・システムによる距離計測に必要なパラメータを算出するパラメータ算出手段と、
を具備し、
前記パラメータ算出手段は、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２の手段と、
前記第２の手段により求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３の手段と、
前記第３の手段により算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４の手段と、
前記第４の手段により推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５の手段と、
を備える、
ことを特徴とするカメラ・キャリブレーション装置。
前記パラメータ算出手段は、各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１の手段をさらに備える、
ことを特徴とする請求項１に記載のカメラ・キャリブレーション装置。
さらに、前記画像保持手段に保持された前記基準カメラ及び前記検出カメラの各２以上の撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化するパラメータ修正手段を備えることを特徴とする請求項１に記載のカメラ・キャリブレーション装置。
前記パラメータ修正手段は、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第６の手段と、
前記基準カメラの内部パラメータ及び前記基準カメラの撮像画像を基に、撮像した平面位置を推定する第７の手段と、
前記第７の手段により推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第８の手段と、
各撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化する第９の手段と、
を備えることを特徴とする請求項３に記載のカメラ・キャリブレーション装置。
各撮像画像を所定の合成画像に合わせ込むことによって歪みパラメータ及び／又は射影変換行列を算出することを特徴とする請求項１に記載のカメラ・キャリブレーション装置。
基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを既知パターンが描かれた平面を各カメラで空間的な位置拘束のない３以上の視点で撮像した画像を用いて行うカメラ・キャリブレーション方法であって、
各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１のステップと、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２のステップと、
前記第２のステップにより求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３のステップと、
前記第３のステップにより算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４のステップと、
前記第４のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５のステップと、
を具備することを特徴とするカメラ・キャリブレーション方法。
さらに、前記基準カメラ及び前記検出カメラの各２以上の撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化するパラメータ修正ステップを備えることを特徴とする請求項６に記載のカメラ・キャリブレーション方法。
前記パラメータ修正ステップは、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第６のステップと、
前記基準カメラの内部パラメータ及び前記基準カメラの撮像画像を基に、撮像した平面位置を推定する第７のステップと、
前記第７のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第８のステップと、
各撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化する第９のステップと、
を備えることを特徴とする請求項７に記載のカメラ・キャリブレーション方法。
各撮像画像を所定の合成画像に合わせ込むことによって歪みパラメータ及び／又は射影変換行列を算出することを特徴とする請求項６に記載のカメラ・キャリブレーション方法。
基準カメラと検出カメラで構成されるステレオ・システムのキャリブレーションを既知パターンが描かれた平面を各カメラで空間的な位置拘束のない３以上の視点で撮像した画像を用いて行うカメラ・キャリブレーション処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
各撮像画像を用いて前記基準カメラ及び前記検出カメラの歪みパラメータを推定する第１のステップと、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第２のステップと、
前記第２のステップにより求められた前記基準カメラの各撮像画像の射影変換行列を基に前記基準カメラの内部パラメータを算出する第３のステップと、
前記第３のステップにより算出された前記基準カメラの内部パラメータ及び前記基準カメラの各撮像画像を基に、撮像した平面位置を推定する第４のステップと、
前記第４のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第５のステップと、
を具備することを特徴とする記憶媒体。
前記コンピュータ・ソフトウェアは、さらに、前記基準カメラ及び前記検出カメラの各２以上の撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化するパラメータ修正ステップを備えることを特徴とする請求項１０に記載の記憶媒体。
前記パラメータ修正ステップは、
各撮像画像を所定の仮想平面へ射影する各射影変換行列を算出する第６のステップと、
前記基準カメラの内部パラメータ及び前記基準カメラの撮像画像を基に、撮像した平面位置を推定する第７のステップと、
前記第７のステップにより推定された平面位置のパラメータ及び前記検出カメラの各撮像画像を基に、前記検出カメラへの投影行列を算出する第８のステップと、
各撮像画像を基に、平面位置のパラメータ、前記検出カメラへの投影行列を最適化する第９のステップと、
を備えることを特徴とする請求項１１に記載の記憶媒体。