JP5804892B2 - カメラ姿勢算出装置 - Google Patents

Description

本発明は、監視等の対象空間を俯瞰する複数のカメラを互いに撮像領域が重なるように配置したカメラシステムにおいて、これらのカメラの外部パラメータをキャリブレーションするカメラ姿勢算出装置に関する。

対象空間を撮影した画像に基づいて移動物体を追跡してその行動を分析する場合、複数のカメラを用い異なる視点から共通の領域を撮像すれば、移動物体を３次元的に把握してオクルージョンの問題に対処でき、また複数の視野を連結することで広範囲に追跡できるというメリットがある。

そのようなカメラシステムを構築するためには、共通の座標系（世界座標系）における各カメラの外部パラメーター（カメラの位置・姿勢）を計測する校正（キャリブレーション）を行い、キャリブレーション結果に基づいて各カメラによる移動物体の追跡結果を統合する必要がある。

キャリブレーションを行なう場合、下記特許文献１に記載の発明のように複数のマーカーなどの基準物体を設置して撮像したり、またはパターンが描かれたボードを設置して撮像したりすることが行われている。

特開２０１１−８６１１１号公報

キャリブレーションの精度を確保するためには監視カメラの画像上でマーカーの間隔が十分に離れて写されている、またはパターンが十分に大きく写されている必要がある。例えば天井設置された監視カメラのキャリブレーションを行なう場合、マーカーであれば例えば３ｍ間隔で設置する必要があり、ボードであれば３ｍ四方の大きさが必要である。

しかしながら、什器等が設置された建物内、或いは建物内の廊下などで上述のような基準物体を設置するスペースを確保することは困難であった。

本発明は上記問題点を解決するためになされたものであり、キャリブレーションに要するスペースを小さくすることが可能なカメラ姿勢算出装置を提供することを目的とする。

本発明に係るカメラ姿勢算出装置は、自己及び相互の鉛直下を撮像可能に設置された複数のカメラの姿勢を前記複数のカメラに共通の世界座標系にて算出するカメラ姿勢算出装置であって、前記各カメラの鉛直下に配置されたマーカーと、前記各カメラで撮像した画像における自己の鉛直下の自己マーカー及び他のカメラの鉛直下の相手マーカーの位置座標を用いて当該カメラから当該各マーカーへの視線方向を算出する視線方向算出部と、前記自己マーカーへの前記視線方向から得られる鉛直方向と、前記相手マーカーへの前記視線方向から得られる前記カメラ間の方位とを用いて前記世界座標系における前記各カメラの前記姿勢を算出する姿勢算出部と、を備える。

他の本発明に係るカメラ姿勢算出装置においては、前記姿勢算出部は、前記自己マーカーへの前記視線方向を用いて前記各カメラの鉛直回転量を算出する。

別の本発明に係るカメラ姿勢算出装置においては、前記姿勢算出部は、一対の前記カメラにおける一方カメラから前記相手マーカーへの前記視線方向を当該一方カメラの前記鉛直回転量だけ回転させて当該一方カメラからの他方カメラの方位を算出する。

さらに別の本発明に係るカメラ姿勢算出装置においては、前記マーカーは、前記カメラのレンズ部に上端を固定された糸の下端に取り付けられて中空に配置される。

本発明によれば、マーカーの配置に基本的に各カメラの鉛直直下のスペースしか必要としないため、広いスペースを確保できない場所でもキャリブレーションが可能となる。

本発明の実施形態に係る移動物体追跡装置のブロック構成図である。 一対のカメラ及びそれらのマーカーについての位置関係、及び各カメラの姿勢の一例を示す３次元空間の模式的な斜視図である。 図２の設置状況に対応して３次元空間に設定された座標軸及びパラメータを示した模式図である。 図２の配置状況にて２つのカメラそれぞれで撮影される画像の一例を示す模式図である。 鉛直回転量の算出に係るパラメーターを３次元空間内にて図示した模式図である。 水平回転量の算出に係るパラメーターを３次元空間内にて図示した模式図である。 キャリブレーションの概略のフロー図である。 座標変換処理の一例の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。本実施形態は、監視対象空間を俯瞰する複数のカメラを互いに撮像領域が重なるように配置したカメラシステムに本発明に係るカメラ姿勢算出装置を適用したものであり、カメラの外部パラメータをキャリブレーションする。本実施形態においては外部パラメータのうち主にカメラの姿勢のキャリブレーションが行われる。

本カメラシステムとして複数台のカメラが撮像する画像を用いて人物等の移動物体を追跡する移動物体追跡装置を例に以下、説明する。説明を簡単にするためにカメラシステムが２台のカメラからなる例で説明する。なお、カメラシステムが３台以上のカメラからなる場合には、それらの２台ずつを以下に述べる実施形態と同様にしてキャリブレーションすればよい。

図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、カメラ２、制御部３、記憶部４、入力部５及び出力部６を含んで構成される。カメラ２、記憶部４、入力部５及び出力部６は制御部３に接続される。カメラのキャリブレーション作業時には各カメラ２にマーカー７が吊り下げられる。

カメラ２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部３へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、カメラ２は基本的に人を俯瞰撮影可能な高さに設置される。ここでは説明のため、カメラ２は同一高の床上にあるものとし、床は傾いていないものとする。例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、カメラ２は天井に設置される。また、カメラ２のレンズには等距離射影の魚眼レンズを使用する。

制御部３は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、通常動作時には移動物体追跡処理を行う移動物体追跡部３Ａとして機能するが、カメラシステムの設置時等にはキャリブレーションを行うキャリブレーション部３Ｂとして機能する。

移動物体追跡部３Ａは、異なる位置に配置された複数のカメラ２で共通領域を撮影する。そして、各カメラ２による移動物体の追跡結果を統合してそれにより得られる３次元的な位置に基づいて当該移動物体を追跡する。移動物体追跡部３Ａは座標変換部３３を備え、３次元的な位置の追跡をカメラ２に共通する世界座標系にて行う。

キャリブレーション部３Ｂは、視線方向算出部３０、姿勢算出部３１及び変換行列算出部３２として機能する。これら各部３０〜３２の機能については後述する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置である。記憶部４は、制御部３で使用されるプログラムやデータを記憶する。これに記憶されるデータには、設定情報４０、マーカー座標４１及び変換行列４２などがある。記憶部４は制御部３からの要求に応じてこれらデータの参照・更新を行う。

設定情報４０は、本発明を用いたキャリブレーション前にあらかじめ実測しておく情報である。設定情報４０には、カメラの床面からの高さである地上高ｈ、カメラのレンズの焦点距離ｆ、カメラのマーカー間の距離ｄが含まれる。地上高ｈとマーカー間の距離ｄは、カメラ２の設置時に例えば、メジャーで実測する。

マーカー座標４１は、カメラ２で撮像した画像上における自己マーカー座標及び相手マーカー座標である。自己マーカー座標とは、画像を撮影したカメラ２自身の鉛直下に配置されたマーカーの座標であり、相手マーカー座標とは、画像を撮影したカメラ２とは別のカメラ２の下に配置されるマーカーの座標である。ここで、マーカー座標４１はカメラ２の撮像面の２次元座標系ｘｙで表され、画像上のレンズ中心位置を原点とした座標で表される。

変換行列４２は、カメラ２間やカメラ２と世界座標系との間での座標変換に必要な一連の情報である。ここでは、後述する行列Ｋ，Ｈ，Ｒなどが変換行列４２として記憶部４に格納される。変換行列４２はキャリブレーション部３Ｂにより生成されて書き込まれ、移動物体追跡部３Ａにより読み出されて利用される。

入力部５はキーボード、マウス、タッチパネルディスプレイ等のユーザーインターフェース装置であり、ユーザーにより操作され移動物体追跡部３Ａに対する各種設定を入力するために用いられる。また、入力部５は移動物体追跡装置１の設置時やメンテナンス時における管理者等の制御部３に対する設定入力にも用いられる。特に、入力部５はカメラ外部パラメータの校正作業において、設置した各カメラ２から垂らしたマーカー７の当該カメラ２の画像上での位置を指定するマーカー座標設定部として用いられ、指定されたマーカー７の画像上での位置はマーカー座標４１として記憶部４に格納される。

出力部６はカメラ２が撮影した画像を表示する表示手段や、異常発生をユーザに知らせる音声・警告音等を出力する音響出力手段を含む。

マーカー７はキャリブレーション時に各カメラ２に取り付けられ、それが取り付けられたカメラ２の鉛直下の位置を画像上にて指し示す目印である。カメラ２は床面ＦＬがＸＹ平面であるローカル座標系のＺ軸上に配置される。カメラ２のレンズ部２１に設置される固定具から垂らされる糸７１の先端にマーカー７が取り付けられる。カメラ２の鉛直下の位置の目印とする目的から、基本的には糸７１はカメラ２のレンズ中心から垂れ下がるようにレンズ部２１に固定されるが、レンズ部２１での糸７１の取付位置の変動幅はマーカー７までの距離に比べると小さいので、取付位置のレンズ中心からの或る程度のずれは許容され得る。

なお、カメラ２の鉛直下の位置の目印とする上記目的から、マーカー７はそれ自身や糸７１に当たる風などで揺らぎにくく、かつその位置を精度よく見定めやすいように、その材料密度や形状が選択される。例えば、マーカー７は、カメラ２を天井等にて所定の姿勢に支持する取付金具等の耐荷重を超えない範囲で重く、かつ画像上での大きさが目的とするキャリブレーションの精度に応じて小さくなるような密度の材料で、球形等に作られる。なお、マーカー７の形状は球形に限られないが、重心や下端等のマーカー７を代表する位置が鉛直上方から見ても任意の角度で斜め上方から見てもカメラ２の画像上にて特定しやすい形状が好適である。

マーカー７の床面ＦＬからの高さは基本的には各カメラ２に共通に設定され、本実施形態では当該高さを床面ＦＬに設定する。この場合、マーカー７は床面ＦＬのすぐ上に非接触で吊り下げられる。また、このように吊り下げたマーカー７の位置での床面ＦＬに○印や×印を描くなどして目印を残し、これをマーカーとしてキャリブレーションを行うこともできる。また、軽い糸７１と錘となるマーカー７とに代えて、鎖のような或る程度の密度が一様分布し可撓性を有する部材を吊り下げ、その先端をマーカーとしたりそれが床面ＦＬに達する位置に目印を付したりしてもよい。

続いて、キャリブレーション部３Ｂの各部の機能を説明しつつ、本発明におけるカメラ２の外部パラメータのキャリブレーションについて説明する。

図２は、一対のカメラ２ａ，２ｂとマーカー７ａ，７ｂの位置関係及び各カメラの姿勢の一例を示す３次元空間の模式的な斜視図である。カメラ２ａとカメラ２ｂとは床面からの高さｈに互いに水平距離ｄだけ離れて設置されている。カメラ２ａのレンズ中心には糸７１ａの上端が固定設置され、糸７１ａの下端にマーカー７ａが取り付けられる。マーカー７ａからレンズ中心までの高さをｈ_ａとする。これによりマーカー７ａは、カメラ２ａの鉛直下に配置され、カメラ２ａの鉛直軸を規定する。同様に、下端にマーカー７ｂが取り付けられた糸７１ｂの上端がカメラ２ｂのレンズ中心に固定設置されることで、マーカー７ｂがカメラ２ｂの鉛直下に配置され、マーカー７ｂによりカメラ２ｂの鉛直軸が規定される。マーカー７ｂからレンズ中心までの高さをｈ_ｂとする。なお、ここでは、マーカー７ａ，７ｂは同一高の床面位置にあり、ｈ_ａ＝ｈ_ｂ＝ｈであるとする。なお、レンズ中心と光学中心（焦点位置）との間の距離はｈやｄに比して十分に小さいため、レンズ中心を光学中心とみなしてキャリブレーションを行なう。

上記配置の特徴は、キャリブレーションに必要なマーカーが各カメラの鉛直下の僅かな空間しか占有しないこと、各カメラから自己の鉛直下のマーカーへの視線方向が世界座標系の鉛直方向であること、一方のカメラから他方のカメラの鉛直下のマーカーへの視線方向の水平成分が両カメラ間に共通する基準方位として利用できることである。

カメラ２ａ，２ｂそれぞれの視野内にはマーカー７ａ，７ｂの両方が含まれている。例えばカメラ２ａ，２ｂの視野角を１８０度とすると、鉛直軸に対するカメラ２ａの光軸の鉛直回転角θ_ａ及び鉛直軸に対するカメラ２ｂの光軸の鉛直回転角θ_ｂがともに９０度以内となるよう設置される。

図３は、図２の設置状況に対応して３次元空間に設定された座標軸及びパラメータを示した図である。カメラ２ａ側には、カメラ２ａの光学中心ｏ_ａを原点とする右手系のカメラ座標系ｘ_ａｙ_ａｚ_ａが設定されている。ｚ_ａ軸はカメラ２ａの光軸に対応する。世界座標系ＸＹＺは、光学中心ｏ_ａからｈ_ａだけ離れた鉛直下すなわちマーカー７ａの位置を原点Ｏとする左手系の座標系として設定される。Ｚ軸は鉛直上方に向けて設定され、ＸＹ平面は水平面となる。

鉛直軸Ｚに対して光軸ｚ_ａがなす鉛直回転角θ_ａ、及びマーカー７ａとマーカー７ｂを結ぶ直線を基準にした鉛直軸Ｚ回りの水平回転角φ_ａはカメラ２ａの姿勢を表す角度である。鉛直回転角θ_ａは光学中心ｏ_ａを通る水平面に対するｘ_ａｙ_ａ平面の傾きを表していることになる。その回転軸ｔ_ａは水平面とｘ_ａｙ_ａ平面とが交わる直線となり、当該直線はカメラ２ａの光学中心ｏ_ａを通る。カメラ座標系のｘ_ａ軸を回転軸ｔ_ａ回りに鉛直回転角θ_ａだけ回転させて、回転結果を鉛直下方にｈ_ａだけ平行移動すると世界座標系のＸ軸に一致する。ｙ_ａ軸とＹ軸の間にもｘ_ａ軸とＸ軸の間と同様の関係がある。

同様に、カメラ２ｂ側には、その光学中心ｏ_ｂを原点とする右手系のカメラ座標系ｘ_ｂｙ_ｂｚ_ｂが設定されている。ｚ_ｂ軸はカメラ２ｂの光軸に対応する。そして、マーカー７ｂの位置を原点Ｏ_ｂとするカメラ２ｂのローカル座標系Ｘ_ｂＹ_ｂＺ_ｂが設定される。

鉛直軸Ｚ_ｂに対して光軸ｚ_ｂがなす鉛直回転角θ_ｂ、及びマーカー７ｂとマーカー７ａを結ぶ直線を基準にした鉛直軸Ｚ_ｂ回りの水平回転角φ_ｂはカメラ２ｂの姿勢を表す角度である。鉛直回転角θ_ｂの回転軸ｔ_ｂはカメラ２ｂの光学中心ｏ_ｂを通る水平面とｘ_ｂｙ_ｂ平面とが交わる直線となる。カメラ座標系のｘ_ｂ軸を回転軸ｔ_ｂ回りに鉛直回転角θ_ｂだけ回転させて、回転結果を鉛直下方にｈ_ｂだけ平行移動するとローカル座標系のＸ_ｂ軸に一致する。ｙ_ｂ軸とＹ_ｂ軸の間にもｘ_ｂ軸とＸ_ｂ軸の間と同様の関係がある。

また、カメラ２ａからマーカー７ａへの視線方向をベクトルｎ_ａ、カメラ２ｂからマーカー７ｂへの視線方向をベクトルｎ_ｂで表す。各カメラから自己の鉛直下のマーカーへの視線方向ｎ_ａ，ｎ_ｂは世界座標系における鉛直方向に対応する。

カメラ２ａからマーカー７ｂへの視線方向をベクトルｅ_ａ、カメラ２ｂからマーカー７ａへの視線方向をベクトルｅ_ｂで表す。一対のカメラのそれぞれから相互の鉛直下のマーカーへの視線方向ｅ_ａ，ｅ_ｂは同一鉛直面をなし、それらの水平成分は同一直線上にある。

鉛直回転角θ_ａとその回転軸である水平軸（水平回転軸）ｔ_ａが定まれば、これらと高さｈ_ａとを用いることで、世界座標系ＸＹＺとカメラ２ａのカメラ座標系ｘ_ａｙ_ａｚ_ａとの間で座標変換が可能となる。同様に、鉛直回転角θ_ｂと水平回転軸ｔ_ｂと高さｈ_ｂにより、カメラ２ｂのローカル座標系Ｘ_ｂＹ_ｂＺ_ｂとカメラ２ｂのカメラ座標系ｘ_ｂｙ_ｂｚ_ｂとの間で座標変換が可能となる。

また水平回転角φ_ａとφ_ｂが定まれば、これらとカメラ間距離ｄを用いて世界座標系ＸＹＺとローカル座標系Ｘ_ｂＹ_ｂＺ_ｂとの間で座標変換が可能となる。

図４は、図２の配置に対応したカメラ２ａ，２ｂの画像の一例を示す模式図であり、図４（ａ）はマーカー７ａ，７ｂを撮影したカメラ２ａの画像２２ａ、図４（ｂ）はマーカー７ａ，７ｂを撮影したカメラ２ｂの画像２２ｂである。レンズが魚眼レンズであるので、撮像面の中心に位置する円形の画像２２ａ，２２ｂが得られる。カメラ２ａの画像２２ａには、その位置座標Ｐ_a（ｐ_ｘａ，ｐ_ｙａ）に自己マーカー７ａの像２３ａが写り、その位置座標Ｑ_ａ（ｑ_ｘａ，ｑ_ｙａ）に相手マーカー７ｂの像２４ａが写る。また、カメラ２ｂの画像２２ｂには、その位置座標Ｐ_ｂ（ｐ_ｘｂ，ｐ_ｙｂ）に自己マーカー７ｂの像２３ｂが写り、その位置座標Ｑ_ｂ（ｑ_ｘｂ，ｑ_ｙｂ）に相手マーカー７ａの像２４ｂが写る。

視線方向算出部３０は、記憶部４からマーカー座標４１を読み出して、各カメラが撮像した画像における各マーカーの座標を用いて当該カメラから当該マーカーへの視線方向を算出し、各視線方向及びその算出元のカメラとマーカーの別とともに姿勢算出部３１に出力する。具体的には、視線方向算出部３０は、各カメラから各マーカーへの視線方向として、当該視線方向が当該カメラの光軸となす見込み角、及び当該視線方向の当該カメラの光軸回りの方位角、の２つの角度を算出する。

レンズが等距離射影のカメラの場合、光学中心から対象物の像の位置座標までの距離Ｓ、対象物への見込み角θ及び焦点距離ｆの間にはＳ＝ｆ・θの関係が成り立つ。視線方向算出部３０は、この関係を利用して、各カメラ２から各マーカー７への見込み角を当該マーカーの位置座標と当該カメラの焦点距離から算出する。すなわち、カメラ２ａから自己マーカー７ａへの見込み角θ_ａ、カメラ２ｂから自己マーカー７ｂへの見込み角θ_ｂ、カメラ２ａから相手マーカー７ｂへの見込み角α_ａ、カメラ２ｂから相手マーカー７ａへの見込み角α_ｂは式（１）から算出される。

また、視線方向算出部３０は、各カメラ２から各マーカー７への方位角の正弦と余弦を当該マーカーの位置座標から算出する。すなわち、カメラ２ａから自己マーカー７ａへの方位角ψ_ａ、カメラ２ｂから自己マーカー７ｂへの方位角ψ_ｂ、カメラ２ａから相手マーカー７ｂへの方位角β_ａ、カメラ２ｂから相手マーカー７ａへの方位角β_ｂそれぞれの正弦と余弦は式（２）から算出される。

なお、自己マーカーの位置座標が画像上の原点に一致する場合、視線方向算出部３０は式（１）と式（２）を適用せずに、当該自己マーカーへの見込み角を０と算出し、方位角は算出しない。

なお、ここでは等距離射影のレンズを想定しているが、他の特性のレンズを備えたカメラ２であってもレンズ中心からの距離Ｓと角度θとの関係がわかれば本発明のキャリブレーションを適用することができる。例えば、透視投影のレンズの場合には、当該特性はＳ＝ｆtanθとなる。

姿勢算出部３１は、視線方向算出部３０から入力される視線方向を基にして世界座標系における各カメラ２の姿勢を算出し、算出した姿勢を変換行列算出部３２に出力する。

姿勢算出部３１は、鉛直回転量算出部３１０及び水平回転量算出部３１１を備える。鉛直回転量算出部３１０は、各カメラ２から自己マーカーへの視線方向を用いて世界座標における当該カメラの鉛直回転量を算出する。水平回転量算出部３１１は、各カメラ２から相手マーカーへの視線方向を用いて世界座標における当該カメラの水平回転量を算出する。

図５を参照して、鉛直回転量算出部３１０の処理を説明する。図５は、カメラ２ａを例に鉛直回転量の算出に係るパラメーターを図示したものである。図５には、カメラ２ａの視線方向として算出された自己マーカー７ａへの見込み角θ_ａ及び方位角ψ_ａと、カメラ２ａの視線方向の単位ベクトルｎ_ａと、カメラ２ａの光軸ｚ_ａ、撮像面ｘ_ａｙ_ａ及び撮像面の原点ｏ_ａと、原点ｏ_ａを通る水平面と、カメラ２ａの世界座標系ＸＹＺと、回転軸ｔ_ａとの関係が表されている。

各カメラ２の鉛直回転量は、水平面に対する当該カメラの撮像面の傾きの量であり、回転の大きさを表す鉛直回転角と回転の方位を規定する水平回転軸の２つのパラメーターからなる。

各カメラ２の自己マーカーへの視線方向は鉛直方向であることから、鉛直回転角は当該カメラから自己マーカーへの見込み角θに一致し、水平回転軸ｔは視線方向を表すベクトルｎ（視線ベクトル）と光軸方向ｚを表すベクトル（光軸ベクトル）の外積を単位ベクトルに正規化して求めることができる。

まず、鉛直回転量算出部３１０は、視線方向算出部３０から入力された各カメラの自己マーカーへの見込み角を当該カメラの鉛直回転角として算出する。すなわちカメラ２ａ、カメラ２ｂの鉛直回転角はそれぞれθ_ａ，θ_ｂと算出される。

次に、鉛直回転量算出部３１０は、視線方向算出部３０から入力された各カメラの自己マーカーへの見込み角θ及び方位角ψから水平回転軸ｔを算出する。ここで、図５に示した幾何学関係から自己マーカーへの視線ベクトルｎのｘ，ｙ，ｚ成分ｎ_ｘ，ｎ_ｙ，ｎ_ｚはそれぞれ見込み角θ及び方位角ψを用いてｎ_ｘ＝sinθcosψ，ｎ_ｙ＝sinθsinψ，ｎ_ｚ＝cosθと変換することができる。また、各カメラの視線ベクトル（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と光軸ベクトルの単位ベクトルｕ≡（０，０，１）との外積ｕ×ｎは（−ｎ_ｙ，ｎ_ｘ，０）である。よって、鉛直回転量算出部３１０は、カメラ２ａの水平回転軸ｔ_ａを式（３）により算出し、カメラ２ｂの水平回転軸ｔ_ｂを式（４）により算出する。

ただし、θ_ａ＝０の場合、鉛直回転量算出部３１０は式（３）を用いずにｔ_ａを０ベクトルと算出し、θ_ｂ＝０の場合、鉛直回転量算出部３１０は式（４）を用いずにｔ_ｂを０ベクトルと算出する。

なお、ここで算出される鉛直回転量においてはカメラ座標系のｘｙ平面を水平面に回転させる回転方向が正の回転方向となっている。

ローカル座標系での回転行列Ｒを定義するためには水平回転軸ｔはローカル座標系で定義されている必要がある。この点、上述の（−ｎ_ｙ，ｎ_ｘ，０）を正規化したベクトルｔはカメラ座標系で定義しているが、回転軸上に存在するので座標系の回転によって当該ベクトルｔの成分表示は変わらない。よって、（−ｎ_ｙ，ｎ_ｘ，０）を正規化した式（３）、式（４）で表すベクトルｔは世界座標系又はカメラ座標系で定義された回転軸ベクトルとして扱うことができる。

図６を参照して、水平回転量算出部３１１の処理を説明する。図６は、カメラ２ａを例に水平回転量の算出に係るパラメーターを図示したものである。ベクトルｅ_ａは、上述した見込み角α_ａ及び方位角β_ａにより定まるカメラ２ａから相手マーカー７ｂへの視線方向の単位ベクトルである。ベクトルｅ１_ａは視線ベクトルｅ_ａを光学中心ｏ_ａを通る水平面に正射影したものであり、ベクトルｅ２_ａは、ベクトルｅ１_ａ
を鉛直下方にｈ_ａだけ平行移動させたものである。ベクトルｅ２_ｂはカメラ２ｂ側で同様にしてカメラ２ｂから相手マーカー７ａへの視線方向の単位ベクトルを正射影及び平行移動させたものである。

ベクトルｅ２_ａはカメラ２ａからカメラ２ｂへの方位を表し、ベクトルｅ２_ａとＸ軸とがなす角φ_ａは当該方位を基準としたカメラ２ａの水平回転角となる。同様にベクトルｅ２_ｂとＸ_ｂ軸とがなす角φ_ｂはカメラ２ｂからカメラ２ａへの方位を基準としたカメラ２ｂの水平回転角となる。マーカー７を各カメラの鉛直下に配置したことにより、ベクトルｅ２_ａとベクトルｅ２_ｂは同一直線上に存在するため水平回転角φ_ａとφ_ｂは同一直線からの角度として求まる。そのため、水平回転角φ_ａとφ_ｂの関係から世界座標系ＸＹＺとローカル座標系Ｘ_ｂＹ_ｂＺ_ｂの間の回転が表される。

まず、水平回転量算出部３１１は、視線方向算出部３０から入力された各カメラの相手マーカーへの見込み角α及び方位角βで表される視線ベクトルｅのｘｙｚ成分を算出し、視線ベクトルｅを逆回転させてベクトルｅ１を算出する。

図６に示した幾何学関係から相手マーカーへの視線ベクトルｅのｘ，ｙ，ｚ成分ｅ_ｘ，ｅ_ｙ，ｅ_ｚはそれぞれ見込み角α及び方位角βを用いてｅ_ｘ＝sinαcosβ，ｅ_ｙ＝sinαsinβ，ｅ_ｚ＝cosαと算出することができる。ただし、α＝０の場合、水平回転量算出部３１１はｅ_ｘ＝０，ｅ_ｙ＝０，ｅ_ｚ＝１と算出する。

また、図６に示したベクトルｅ１は、ｘｙｚ座標系で表された視線ベクトルｅを世界座標系のベクトルに変換するため、行列Ｋを掛け、これに対して鉛直回転量算出部３１０が算出した鉛直回転量だけ逆回転させ、光学中心ｏ_ａを通る水平面に正射影することで算出できる。そして、水平回転軸ｔ_ａ＝（ｔ_ｘａ，ｔ_ｙａ，ｔ_ｚａ）回りに鉛直回転角θ_ａだけ回転させる回転行列Ｒ_ａは式（５）で与えることができ、水平回転軸ｔ_ｂ＝（ｔ_ｘｂ，ｔ_ｙｂ，ｔ_ｚｂ）回りに鉛直回転角θ_ｂだけ回転させる回転行列Ｒ_ｂは式（６）で与えることができる。

ちなみに、ローカル座標系は左手系であるので、式（５），式（６）は右手系の回転行列とはθの符号を逆にしたものとなる。

水平回転量算出部３１１は、式（５）により回転行列Ｒ_ａ、式（６）により回転行列Ｒ_ｂを算出し、さらにこれらの逆行列Ｒ_ａ ^−１，Ｒ_ｂ ^−１を算出し、式（７）及び式（８）によってベクトルｅ１_ａ，ｅ１_ｂを算出する。

次に、水平回転量算出部３１１は、ベクトルｅ１_ａ ，ｅ１_ｂを単位ベクトルに正規化したベクトルがそれぞれＸ軸、Ｘ_ｂ軸の余弦となっていることに着目して、式（９）及び式（１０）により、直線ＯＯ_ｂとＸ軸がなす角φ_ａ、直線ＯＯ_ｂとＸ_ｂ軸がなす角φ_ｂを算出する。

なお、φの算出にはＺ成分が不要であるため、ここではｅ２の算出は省略してｅ１のＸＹ成分でφを算出している。

変換行列算出部３２は、姿勢算出部３１から入力される各カメラ２の姿勢、及び記憶部４に記憶されている各カメラ２の位置の情報から各座標系間の座標変換を行なうための変換行列４２を算出して記憶部４に記憶させる。

変換行列算出部３２は、世界座標系（Ｘ，Ｙ，Ｚ）^ｔから基準カメラ２ａのカメラ座標系（ｘ_ａ，ｙ_ａ，ｚ_ａ）^ｔへの座標変換式を式（１１）に従い算出し、記憶部４に記憶させる。ただしＲ_ａは式（５）のＲ_ａである。

念のため式（１１）を補足説明する。式（１１）の第１式右辺において、(（Ｘ_ａ，Ｙ_ａ，Ｚ_ａ）^ｔ−Ｈ_ａ)はローカル座標系の原点をカメラ座標系の原点に平行移動させる操作に当たり、移動後の原点を中心として回転行列Ｒ_ａで回転操作を行う。Ｒ_ａによる回転でカメラ座標系のｘ_ａｙ_ａ平面がローカル座標系のＸ_ａＹ_ａ平面に一致する。また、ｘ_ａｙ_ａ平面を水平にしたカメラ座標系のｚ軸とローカル座標系のＺ軸とは向きが逆であるので、Ｚ座標の符号を反転する行列Ｋを作用させ、それらを一致させる座標変換を行う。

また、変換行列算出部３２は、世界座標系（Ｘ，Ｙ，Ｚ）^ｔからカメラ２ｂのローカル座標系（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）^ｔへの座標変換式を算出し、記憶部４に記憶させる。世界座標系におけるカメラ２ｂのローカル座標系の原点、すなわち世界座標系におけるマーカー７ｂの座標は、カメラ間距離ｄと方位角φ_ａを用いて（ｄ・cosφ_ａ，ｄ・sinφ_ａ，０）と表せることから、当該座標変換式は式（１２）によって算出できる。

また、変換行列算出部３２は、同様にして、カメラ２ｂのローカル座標系（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）^ｔから世界座標系（Ｘ，Ｙ，Ｚ）^ｔへの座標変換式を式（１３）に従い算出し、記憶部４に記憶させる。

また、変換行列算出部３２は、カメラ２ｂのローカル座標系（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）^ｔからカメラ２ｂのカメラ座標系（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）^ｔへの座標変換式を式（１４）に従い算出し、記憶部４に記憶させる。ただしＲ_ｂは式（６）のＲ_ｂである。

次に本実施形態におけるマーカー７及びキャリブレーション部３Ｂを用いたキャリブレーションの方法について改めて整理して説明する。移動物体追跡装置１はカメラの設置時等にキャリブレーションを行い、その結果を利用して複数台のカメラ２の画像を用いた移動物体追跡を行う。具体的には、移動物体追跡の事前処理としてキャリブレーションが行われ、キャリブレーション結果に基づき、例えば、カメラ画像間の座標変換処理が行われ、移動物体の追跡処理が行われる。

[キャリブレーション]
図７はキャリブレーションの概略のフロー図である。キャリブレーションでは、カメラ２毎に世界座標系における位置・姿勢の算出と変換行列４２の算出を行う。

キャリブレーション部３Ｂは、まず、入力部５を介した設定情報４０の入力を受け付ける（Ｓ５０）。管理者は入力部５からカメラ２ａと２ｂの間の距離ｄ、基準カメラ２ａの指定、カメラ２ａからマーカー７ａまでの距離ｈ_ａ、カメラ２ｂからマーカー７ｂまでの距離ｈ_ｂ、カメラ２ａの焦点距離ｆ_ａ、カメラ２ｂの焦点距離ｆ_ｂ等を設定情報として入力し、キャリブレーション部３Ｂは入力された設定情報４０を記憶部４に記憶させる。

設定情報４０の入力が終わると、各カメラ２によるマーカー７の撮像が行なわれる（Ｓ５１）。キャリブレーション部３Ｂは、各カメラ２により撮像された各画像を入力部５のモニタに順次表示してマーカー座標４１の入力を受け付ける（Ｓ５２）。管理者は入力部５のマウスを操作するなどして表示画像中の自己マーカー座標及び相手マーカー座標を入力し、キャリブレーション部３Ｂは入力されたマーカー座標４１を撮像したカメラ２の識別子及び自己マーカー／相手マーカーを区別する識別子と関連付けて記憶部４に記憶させる。カメラ２ａの画像に対しては自己マーカー座標Ｐ_ａと相手マーカー座標Ｑ_ａが、カメラ２ｂの画像に対しては自己マーカー座標Ｐ_ｂと相手マーカー座標Ｑ_ｂがそれぞれ入力される。

マーカー座標４１の入力が終わると、キャリブレーション部３Ｂは視線方向算出部３０によりマーカー座標４１それぞれに対する視線方向を算出する（Ｓ５３）。視線方向算出部３０は、自己マーカー座標Ｐ_ａに式（１）及び式（２）を適用してカメラ２ａからマーカー７ａへの視線方向として見込み角θ_ａ、方位角の正弦sinψ_ａ、方位角の余弦cosψ_ａを算出し、同様に自己マーカー座標Ｐ_ｂに基づきカメラ２ｂからマーカー７ｂへの視線方向としてθ_ｂ，sinψ_ｂ、cosψ_ｂを算出する。但し、視線方向算出部３０は、各自己マーカー座標が画像中心ｏと一致するかの確認を行い、一致する自己マーカー座標についてはθを０と算出し、sinψとcosψの算出を省略する。

また視線方向算出部３０は、相手マーカー座標Ｑ_ａに式（１）及び式（２）を適用してカメラ２ａからマーカー７ｂへの視線方向として見込み角α_ａ、方位角の正弦sinβ_ａ、方位角の余弦cosβ_ａを算出し、同様に相手マーカー座標Ｑ_ｂに基づきカメラ２ｂからマーカー７ａへの視線方向としてα_ｂ，sinβ_ｂ、cosβ_ｂを算出する。但し、視線方向算出部３０は、各相手マーカー座標が画像中心ｏと一致するかの確認を行い、一致する相手マーカー座標についてはαを０と算出し、sinβとcosβの算出を省略する。

視線方向の算出が終わると、キャリブレーション部３Ｂは姿勢算出部３１により各カメラ２の姿勢を算出する。姿勢算出部３１の鉛直回転量算出部３１０は、まず、各カメラ２の自己マーカーへの視線方向から当該カメラの鉛直回転量の算出を行なう（Ｓ５４）。すなわち、鉛直回転量算出部３１０は、θ_ａ，θ_bをそれぞれカメラ２ａ，２ｂの鉛直回転角とし、θ_ａとsinψ_ａとcosψ_ａを式（３）に適用して水平回転軸ｔ_ａを算出し、θ_ｂとsinψ_ｂとcosψ_ｂを式（４）に適用して水平回転軸ｔ_ｂを算出する。但し、θ_ａが０の場合は水平回転軸ｔ_ａを（０，０，０）と算出し、θ_ｂが０の場合は水平回転軸ｔ_ｂを（０，０，０）と算出する。

次に、姿勢算出部３１は、水平回転量算出部３１１により水平回転量の算出を行なう（Ｓ５５）。すなわち、まず水平回転量算出部３１１は、θ_ａとｔ_ａを式（５）に適用して回転行列Ｒ_ａを算出し、θ_ｂとｔ_ｂを式（６）に適用して回転行列Ｒ_ｂを算出し、さらにこれらの逆行列Ｒ_ａ ^−１，Ｒ_ｂ ^−１を算出する。続いて水平回転量算出部３１１は、Ｒ_ａ ^−１とα_ａ，sinβ_ａ，cosβ_ａを式（７）に適用してベクトルｅ１_ａを算出し、Ｒ_ｂ ^−１とα_ｂ，sinβ_ｂ，cosβ_ｂを式（８）に適用してベクトルｅ１_ｂを算出する。そして水平回転量算出部３１１は、ベクトルｅ１_ａを式（９）に適用してカメラ２ａの水平回転角φ_ａを算出するとともに、ベクトルｅ１_ｂを式（１０）に適用してカメラ２ｂの水平回転角φ_ｂを算出する。

こうして、カメラ２ａの姿勢として鉛直回転量（鉛直回転角θ_ａ及び水平回転軸ｔ_ａ）と水平回転角φ_ａが算出され、カメラ２ｂの姿勢として鉛直回転量（鉛直回転角θ_ｂ及び水平回転軸ｔ_ｂ）と水平回転角φ_ｂが算出される。

次に、キャリブレーション部３Ｂの変換行列算出部３２は、設定情報４０及び各カメラの姿勢を用いて変換行列４２を算出して記憶部４に記憶させる（Ｓ５６）。すなわち、変換行列算出部３２は、カメラ２ａの鉛直回転量パラメーターθ_ａ及びｔ_ａとマーカーへの距離ｈ_ａを式（１１）に適用して世界座標系からカメラ２ａのカメラ座標系への座標変換式を算出し、カメラ２ａの水平回転角φ_ａとカメラ間距離ｄを式（１２）に適用して世界座標系からカメラ２ｂのローカル座標系への座標変換式を算出し、カメラ２ｂの水平回転角φ_ｂとカメラ間距離ｄを式（１３）に適用してカメラ２ｂのローカル座標系から世界座標系への座標変換式を算出し、カメラ２ｂの鉛直回転量パラメーターθ_ｂ及びｔ_ｂとマーカーへの距離ｈ_ｂを式（１４）に適用してカメラ２ｂのローカル座標系からカメラ２ｂのカメラ座標系への座標変換式を算出する。

以上によりカメラ２ａとカメラ２ｂのキャリブレーションが終了する。

[座標変換処理]
キャリブレーション完了後、その結果である変換行列４２を利用して座標変換処理を行うことができる。座標変換処理は移動物体追跡部３Ａの座標変換部３３により行われる。図８は座標変換処理の一例の概略のフロー図である。座標変換処理としてここでは、世界座標系をカメラ２ａ，２ｂそれぞれのカメラ座標系へ変換する例を説明する。

このような変換の必要性は、例えば、追跡処理の過程でカメラ２ａの画像にて検出された移動物体の像とカメラ２ｂの画像にて検出された移動物体の像が同一移動物体によるものか同定するために生じる。同定のために移動物体追跡部３Ａは世界座標系に同定対象の移動物体の存在が予測される位置に移動物体の３次元形状を模した立体モデルを仮想配置して当該立体モデル内部に複数のサンプリング点を設定し、各サンプリング点を変換対象として順次、座標変換部３３に入力する。

世界座標系における座標（Ｘ，Ｙ，Ｚ）が変換対象として入力されると（Ｓ７０）、座標変換部３３は、記憶部４から変換行列４２を読み出し、当該座標（Ｘ，Ｙ，Ｚ）に式（１１）により算出された変換式を適用して基準カメラ２ａのカメラ座標系に変換し、これを画像平面に投影した対応座標を出力する（Ｓ７１）。また、座標変換部３３は、当該座標（Ｘ，Ｙ，Ｚ）に式（１２）により算出された変換式を適用してカメラ２ｂのローカル座標系に変換して対応座標（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）を求め（Ｓ７２）、さらに対応座標（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）に式（１４）により算出された変換式を適用してカメラ２ｂのカメラ座標系に変換し、これを画像平面に投影した対応座標を出力する（Ｓ７３）。

移動物体追跡部３Ａは座標変換部３３から出力された各サンプリング点の対応座標が対応する各カメラの画像にて検出された移動物体の像の内部にどの程度含まれるかによって移動物体の像の同定を行う。

上述の実施形態では、移動物体追跡装置１の制御部３でキャリブレーション部３Ｂを実現する構成を示したが、キャリブレーション部３Ｂの機能は移動物体追跡装置１から分離した装置により実現することもできる。この場合、移動物体追跡装置１のカメラシステムの設置時に作業者が当該装置を制御部３に接続する等して、カメラ２の画像に基づいてキャリブレーションを実施する。

上述の説明では、マーカー座標４１は例えば、キャリブレーションを行う作業者等がマーカー７を設置した状態でのカメラ２の画像上にてマーカーの像の位置を入力部５から入力するが、制御部３にて画像認識でマーカーの像を認識しその位置を特定して記憶部４に格納する構成とすることもできる。例えば、２台のカメラそれぞれのマーカー７の色を変えることで、各カメラ２の画像にて自己のマーカー７と相手のマーカー７とを識別することが可能である。

以上説明したように本発明によれば、カメラの鉛直下に吊り下げたマーカーのみでキャリブレーションが可能であることにより、狭いスペースでのキャリブレーションが可能になる。

１ 移動物体追跡装置、２ カメラ、３ 制御部、３Ａ 移動物体追跡部、３Ｂ キャリブレーション部、４ 記憶部、５ 入力部、６ 出力部、７ マーカー、２１ レンズ部、３０ 視線方向算出部、３１ 姿勢算出部、３２ 変換行列算出部、３３ 座標変換部、４０ 設定情報、４１ マーカー座標、４２ 変換行列、７１ 糸、３１０ 鉛直回転量算出部、３１１ 水平回転量算出部。

Claims (4)

1. 自己及び相互の鉛直下を撮像可能に設置された複数のカメラの姿勢を前記複数のカメラに共通の世界座標系にて算出するカメラ姿勢算出装置であって、
   前記各カメラの鉛直下に配置されたマーカーと、
   前記複数のカメラのうちの任意の２つからなるカメラ対について、当該カメラ対の任意の一方のカメラで撮像した画像における自己の鉛直下の自己マーカー及び当該カメラ対の他方のカメラの鉛直下の相手マーカーの位置座標を用いて前記一方のカメラから前記各マーカーへの視線方向を算出する視線方向算出部と、
   前記自己マーカーへの前記視線方向から得られる鉛直方向と、前記相手マーカーへの前記視線方向から得られる前記カメラ間の方位とを用いて前記世界座標系における前記カメラ対について前記姿勢を算出する姿勢算出部と、
   を備えたことを特徴とするカメラ姿勢算出装置。
2. 請求項１に記載のカメラ姿勢算出装置において、
   前記姿勢算出部は、前記自己マーカーへの前記視線方向を用いて前記各カメラの鉛直回転量を算出すること、を特徴とするカメラ姿勢算出装置。
3. 請求項２に記載のカメラ姿勢算出装置において、
   前記姿勢算出部は、前記カメラ対における一方カメラから前記相手マーカーへの前記視線方向を当該一方カメラの前記鉛直回転量だけ回転させて当該一方カメラからの他方カメラの方位を算出すること、を特徴とするカメラ姿勢算出装置。
4. 請求項１から請求項３のいずれか１つに記載のカメラ姿勢算出装置において、
   前記マーカーは、前記カメラのレンズ部に上端を固定された糸の下端に取り付けられて中空に配置されること、を特徴とするカメラ姿勢算出装置。

Images