JP6016242B2 - 視点推定装置及びその分類器学習方法 - Google Patents

Description

本発明は、観察対象の三次元座標と当該観察対象をカメラで撮影して得られるカメラ画像の二次元座標とを対応付けてカメラ姿勢の推定等に活用する点推定装置及びその分類器学習方法に係り、特に、計算コストや使用メモリ量を増加させることなく高速かつ高精度での対応付けを可能にする点推定装置及びその分類器学習方法に関する。

近年、現実空間の映像をコンピュータで処理して更なる情報を付加するAR（拡張現実感）技術が、WEBカメラの接続されたPCや、カメラ付き携帯電話端末上で実現されるようになっている。AR技術では、カメラ画像内の対象物に対するカメラ姿勢（カメラの外部パラメータ）を推定する必要があり、センサや基準マーカを利用した手法等が用いられている。また、形状や画像情報が既知である三次元物体を対象物としてカメラ姿勢を推定する技術が検討されている。

特許文献１には、三次元物体を複数の視点から撮影した記憶画像を用意し、入力画像と記憶画像の間の特徴点マッチングによって最も類似する記憶画像（視点）を特定する技術が開示されている。視点の特定後は、その記憶画像と入力画像との間で対応点が取得されてカメラ姿勢が算出される。

非特許文献１には、特徴点のクラス分類によって、特徴点を対象物に対する視点の候補に分類することで視点を推定する技術が開示されている。特許文献２には、対象物に対する視点の情報を利用して、高精度な対応点を取得する技術が開示されている。

特開２０１２−８３８５５号公報 特願２０１２−１７４３２０号

平井 悠貴, 鈴木 覚, 藤吉 弘亘, "2段階のRandomized Treesによる高速3次元物体認識", 画像センシングシンポジウム, IS1-15, 2011.

特許文献１，２では、視点推定の精度が記憶画像の撮影角度に依存するため、特定の方向から撮影された対象物に対しては十分な視点推定の精度が得られないという問題点があった。

非特許文献１では、限られた姿勢の範囲で撮影された三次元物体に対しては十分な視点推定精度が得られるものの、推定する視点の候補が増えた場合に推定精度が劣化する。そのため、対象とする三次元物体が任意の方向から撮影された入力画像に対しては十分な視点推定精度が得られないという問題点があった。

さらに、特許文献１及び非特許文献１の従来技術をカメラ姿勢推定問題に適用した場合、視点の推定と対応点の取得の２段階のマッチング処理を行う必要があることで、カメラ姿勢推定処理全体の計算量が増加するという問題点があった。

本発明の目的は、上述の技術課題を解決し、観察対象とそのカメラ画像との特徴点マッチングの精度及び速度を、計算コストや使用メモリ量を増加させることなく向上させることを可能にした視点推定装置及びその分類器学習方法を提供することにある。

上記の目的を達成するために、本発明は、視点推定装置及びその分類器学習方法において、以下のような手段を講じた点に特徴がある。

(1)本発明の視点推定装置は、観察対象を撮影した二次元のカメラ画像から特徴点を検出する特徴点検出手段と、各特徴点から局所特徴情報を抽出する局所特徴情報抽出手段と、各特徴点及びその局所特徴情報を対応点分類器に適用して各特徴点に対応する観察画像の各対応点及びその尤度を出力するマッチング手段と、対応点及びその尤度を視点分類器に適用して前記カメラ画像の視点を推定する視点推定手段とを具備した。

(2)本発明の視点推定装置の分類器学習方法は、観察対象またはその3Dモデルの投影画像から検出される各特徴点及びその局所特徴情報を、当該各特徴点に対応した観察対象またはその3Dモデルの3D座標を教師ラベルとして分類器に適用し、局所特徴情報の入力に対して3D座標の確率を与える対応点確率分布を学習させることを特徴とする。

本発明によれば、あらゆる方向から撮影され得る三次元物体に対するカメラ視点を、計算コストや使用メモリ量を増加させることなく高精度で推定することが可能になる。

本発明が適用されるARシステムの構成を示した機能ブロック図である。 カメラ視点推定部（３ａ）の機能ブロック図である。 Ferns分類器を用いたパッチ画像の分類方法を示した図である。 カメラの焦点位置の計算方法を示した図である。 学習処理の手順をフローチャートである。 対応点分類器の学習方法を示した図である。 視点候補の設定方法を示した図である。 距離方向への離散化に対応した視点候補の設定方法を示した図である。 視点推定処理の手順を示したフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の視点推定装置が適用されるARシステムの主要部の構成を示した機能ブロック図であり、携帯電話、スマートフォン、タブレット端末、PDAあるいはノートPCなどの情報端末に実装して使用される。

撮像装置（カメラ）１は、各情報端末等に搭載されているデジタルカメラモジュールやオプションとして追加されるWEBカメラ装置であり、観察対象Mを撮影して、そのカメラ画像Icaを表示装置２及びカメラ姿勢推定装置３に出力する。

前記カメラ姿勢推定装置３は、観察対象Mを撮影した際の当該観察対象Mに対するカメラ１の相対的な視点（カメラ視点）を推定するカメラ視点推定部３ａ、カメラ視点の推定結果に基づいて、カメラ画像の二次元(2D)座標と観察対象Mの三次元(3D)座標との対応関係（2D-3D）を高精度化する高精度化部３ｂ及び当該高精度化された2D-3D対応関係に基づいてカメラ姿勢を算出するカメラ姿勢算出部３ｃを主要な構成とする。

付加情報データベース(DB)４は、ハードディスクドライブや半導体メモリモジュール等により構成された記憶装置であり、観察対象Mの位置をARシステムが認識した際に、表示装置２上で観察対象Mに重畳表示するCG、二次元画像あるいはテキスト情報を保持しており、カメラ姿勢推定装置３が推定したカメラ姿勢に対応する観察対象Mの付加情報を表示装置２へ提供する。

前記表示装置２は、カメラ１が連続的に取得するカメラ画像Icaをユーザに掲示できるモニタ装置であり、携帯端末のディスプレイでも良い。また、ヘッドマウントディスプレイ(HMD)のような形態でも良く、特にシースルー型のHMDの場合はカメラ画像Icaを表示せず、視界に付加情報のみを重畳して表示することも可能である。表示装置２がディスプレイの場合、カメラ画像Icaに付加情報DB４から入力された付加情報を、カメラ姿勢推定装置から入力されたカメラ姿勢によって補正された位置に重畳表示する。

カメラ姿勢算出部３ｃは、前記高精度化された2D-3D対応関係、ならびにカメラの内部及び外部パラメータに基づいて、観察対象Mに対するARシステム１の姿勢を推定する。

従来から、3D座標と2D座標とのマッチから、その関係を説明するカメラ姿勢（カメラの外部パラメータ）を推定する手法が検討されており、3D座標と2D座標との関係は、一般的に次式(1)で表される。

[u,v,1]^T=sAW[X,Y,Z,1]^T … (1)

ここで、[u,v]，[X,Y,Z]は、それぞれ２次元ピクセル座標値及び3D座標値を表し、[・]^Tは転置行列を表す。また、Ａ、Ｗは、それぞれカメラの内部パラメータ及び外部パラメータ（カメラ姿勢）を表す。カメラの内部パラメータは予めカメラキャリブレーションによって求められる。カメラ姿勢W=[R,t]=[r1,r2,r3,t]であり、回転行列Rと並進ベクトルtとで表される。3D座標[X,Y,Z,1]^Tと2D座標[u,v,1]^Tとのマッチ及びカメラの内部パラメータを用いて、カメラ姿勢Wを推定できる。

なお、図１では観察対象Mの例として地球儀を扱っているが、直方体形状、円柱形状、球形状等のプリミティブな構造を持つ三次元物体や、より複雑な三次元構造を持つ物体が観察対象である場合でも、その三次元モデルが与えられれば同様のARシステムが構築可能である。

そして、このようなARシステムによれば、観察対象Mに応じた重畳表示を行うことで、ユーザに直観的な情報掲示を実現することが可能である。地球儀の例では、高度を視覚表示するように地表を重畳表示することや、過去の大陸形状の重畳表示、国境や国名に変更があった際に更新した情報を重畳表示、ジェスチャー認識と組み合わせて指差した国名を表示するといった利用例が想定される。

図２は、前記カメラ視点推定部３ａの主要部の構成を示した機能ブロック図であり、観察対象Mを撮影したカメラ画像Icaは特徴点検出部３１に入力される。この特徴点検出部３１は特徴点検出器３１ａを含み、カメラ画像Icaから多数の特徴点を検出して、その局所特徴情報と共にマッチング部３２へ出力する。

前記特徴点検出器３１ａとしては、Harrisコーナー検出器、Hessianキーポイント検出器あるいはFASTコーナー検出器など、特徴を持つ二次元座標を特定できるものであれば、あらゆる種類のものが使用可能である。本実施形態では、特許文献２の手法で採用されているFASTコーナー検出器を利用する。

前記局所特徴情報は、例えばSIFTディスクリプタやSURFディスクリプタ等、特徴点を識別するための情報であり、一般的な局所特徴情報であれば、あらゆる種類のものが使用可能である。本実施形態では、特許文献２で採用されているパッチ画像が局所特徴情報として用いられる。

パッチ画像とは、原画像から特定の大きさで切り出された画像であり、本実施形態では特徴点を中心とした任意の幅と高さ（例えば、幅３２ピクセル、高さ３２ピクセル）の画像のことである。特徴点が大きさ（スケール）の情報も持つ場合、その大きさに応じてパッチ画像の幅と高さを変更することが可能である。パッチ画像の取得は一般的な局所特徴情報と比較して画像の切り出しのみで済むため、非常に高速であるという特徴がある。

マッチング部３２において、対応点分類器３２ａは前記パッチ画像をクラス分類可能なFerns分類器であり、図３に示したように複数の決定木（Fern）から構成され、各Fernはパッチ画像を分岐させる決定規則を持つ多段構成の分岐点（ノード）とノードの末端（リーフ）から構成される。

決定規則は、パッチ画像からランダムに選択した２点のピクセルの輝度の大小関係によって左右に分岐させるというものである。後段のノードは、パッチ画像を別の決定規則によってさらに分岐させるが、同じ段数のノードは同じ決定規則を持つ。そのためにノードの種類はノードの段数と等しい。最終的にパッチ画像が到達するノード（リーフノード）がパッチ画像の分類結果となる。

各リーフノードは、後述する事前学習によって獲得した、パッチ画像に対応するクラスの離散的な確率分布を保持しており、区間の総数は分類候補となるクラスの総数である。Ferns分類器は複数のFernを持っているため、パッチ画像を各Fernに入力し、それぞれの到達したリーフノードに対応する確率分布を取得し、単純ベイズ分類器を用いてその確率を乗算すれば最終的なパッチ画像に対応するクラスの確率分布を決定できる。

前記確率分布の事前学習は、予め教師ラベル（正解のクラス）の付与されたパッチ画像をFerns分類器に適用し、分類結果を各リーフへ投票、分類することにより行われる。本実施形態では、観察対象Mの3Dモデルを様々なカメラパラメータで二次元に投影した画像（投影画像）から多数の特徴点及びそのパッチ画像を検出し、各特徴点の3Dモデルにおける三次元座標（3D座標）を教師ラベルとして各パッチ画像を対応点分類器３２ａに適用することにより、各パッチ画像の3D座標を確率的に推定するための確率分布DB３２ｂが構築される。

したがって、このようにして学習された対応点分類器３２ａに、観察対象Mのカメラ画像Icaから検出された特徴点のパッチ画像が入力されると、その出力として当該パッチ画像に対応した3Dモデルの3D座標（対応点）及びその尤度が得られる。

視点推定部３３において、ベクトル生成部３３ａは、前記マッチング部３２から2D-3Dの対応関係ごとに出力される対応点及びその尤度をベクトル化して「対応点&尤度ベクトルH」を生成する。本実施形態では、例えば５つの3D座標P1，P2，P3，P5，P6が対応点として検出され、それぞれの尤度が１，２，３，４，５であれば、前記対応点&尤度ベクトルHは次式(2)で表される。

対応点&尤度ベクトルH＝[１，２，３，０，４，５] …(2)

視点分類器３３ｂは、前記対応点分類器３２ａと同様のFerns分類器であり、前記マッチング部３２から出力される対応点及びその尤度、またはそのベクトル表現である前記対応点&尤度ベクトルHを入力として視点の推定結果を出力する。このような視点分類器３３ｂの確率分布DB３３ｃは、例えば以下のようにして学習、構築される。なお、前記対応点＆尤度ベクトルHをクラス分類する手法は前記Ferns分類器に限定されるものではなく、Randomized Trees分類器やk近傍法等、一般的に用いられるあらゆるクラス分類手法が適用可能である。

本実施形態では、対応点分類器３２ａの確率分布DB３２ｂを学習、構築する際に、既に観察対象Mの3Dモデルを様々なカメラパラメータで二次元に投影した画像から特徴点が検出されているので、検出された特徴点を前記対応点分類器３２ａに入力することで、カメラパラメータごとに、各特徴点に対応する3Dモデルの対応点及びその尤度を取得することが可能である。

そして、前記投影画像の視点は、当該投影画像を取得した際のカメラパラメータ（観察対象Mの3Dモデルを投影した際のカメラの外部パラメータ）を用いて、3Dモデルを中心としたカメラの焦点の位置を計算し、最近傍の視点候補を選択することで得ることができる。ここで、カメラの焦点位置Pは、図４に示したように、原点の同次座標0及びカメラの外部パラメータ行列Wを用いて次式(3)により計算できる。

P=W^-10 …(3)

そこで、本実施形態では各投影画像を取得した際のカメラパラメータの視点を教師ラベルとして、当該投影画像から検出された各特徴点を前記対応点分類器３２ａに適応して得られる対応点&尤度ベクトルHを視点分類器３３ａへ適用することにより、視点分類器３３ｂの確率分布DB３３ｃが学習、構築される。

このように、本実施形態では観察対象Mの投影画像から得られた対応点&尤度ベクトルHを、当該投影画像の視点を教師ラベルとして視点分類器３３ｂに適用することで視点の確率分布が学習され、その後、観察対象Mのカメラ画像Icaが入力された際は、当該カメラ画像Icaから得られた対応点&尤度ベクトルHを前記視点分類器３３ｂに適用することにより、当該カメラ画像Icaの視点が推定される。

次いで、本実施形態の動作を、各分類器３２ａ，３３ｂの確率分布DB３２ｂ，３３ｃを学習する「学習処理」、及び学習済みの確率分布DB３２ｂ，３３ｃを用いて、任意のカメラ画像Icaの視点を推定する「視点推定処理」に分けて具体的に説明する。

図５は、前記学習処理の手順を示したフローチャートであり、図６、７は各分類器３２ａ，３３ｂの分類動作を模式図に示した図である。ここでは、観察対象Mの形状、模様、色彩、大きさ及び各部の3D座標が忠実に表現された3Dモデルが、予め既知の手法により構築、用意されているものとして説明する。

視点については、3Dモデルの中心から均等な距離にあり、かつ互いに均等に離れるように配置する必要があることから、図７に一例を示したように、3Dモデルを中心部に収容できる多面体（本実施形態では、８０面体）を仮想し、その頂点（本実施形態では、４２個）が視点候補として定義される。

そして、約一万の視点を、その焦点位置に基づいて最近傍のいずれかの頂点候補に関連づけて同一グループに分類し、同一グループの視点には、その視点候補を代表する同一の視点ラベルが付される。すなわち、本実施形態では約一万個の視点が４２個の視点候補のいずれかと同一のグループに分類され、同一グループの視点には同一の視点ラベルが付される。前記カメラの焦点位置Pは、前記図４に示したように、カメラの外部パラメータ行列Wを用いて計算できる。

本実施形態では、多面体の頂点を用いることで、観察対象Mに対する視点をその方向に関して略等間隔に離散化しているが、視点を距離に関しても略等距離に離散化するのであれば、図８に示したように、大きさの異なる多面体を階層的に複数配置し、各視点を最近傍のいずれかの多面体の頂点に分類すれば良い。

このような距離に関する離散化は、3Dモデルの中心からの距離を段階的に大きくした８０面体を、例えば図８に示したように３つ配置し、これらの頂点１２６個（42個×3）を視点候補とすることで実現される。

図５を参照し、ステップＳ１では、カメラパラメータの異なる全ての投影画像（本実施形態では、約１万）から特徴点が検出される。ステップＳ２では、検出された各特徴点と対応する3Dモデルの3D座標とが対応付けられ、各特徴点のパッチ画像が前記各投影画像から抽出される。

ステップＳ３では、図６に示したように、各特徴点のパッチ画像が、当該特徴点と対応付けられた3D座標を教師ラベルとして、前記マッチング部３２の対応点分類器３２ａへ適用される。ステップＳ４では、全ての特徴点について、そのパッチ画像の分類器３２ａへの適用が完了したか否かが判定される。完了していなければステップＳ３へ戻り、注目する特徴点を切り替えながら前記対応点分類器３２ａへの適用が繰り返される。完了していればステップＳ５へ進み、これまでの分類結果が対応点の確率分布として前記対応点確率分布DB３２ｂに登録される。

ステップＳ６では、前記視点推定部３３のベクトル生成部３３ａにおいて、前記マッチング部３２から出力される対応点及びその尤度に基づいて前記対応点&尤度ベクトルHが生成され、当該投影画像のカメラパラメータの一つである視点と紐付けられる。ステップＳ７では、前記視点を教師ラベルとして前記対応点&尤度ベクトルHが視点分類器３３ｂに適用される。ステップＳ８では、全ての投影画像に関して、その対応点&尤度ベクトルHの分類器３３ｂへの適用が完了したか否かが判定される。完了していればステップＳ９へ進み、これまでの分類結果が視点の確率分布として視点確率分布DB３３ｃに登録される。

図９は、前記視点推定処理の手順を示したフローチャートであり、ステップＳ２１では、前記特徴点検出部３１において、入力されたカメラ画像Icaから特徴点が検出される。ステップＳ３２では、各特徴点のパッチ画像が前記カメラ画像Icaから抽出される。ステップＳ３３では、前記各特徴点のパッチ画像が対応点分類器３２ａに適用され、各特徴点の対応点（3D座標）及びその尤度が出力される。

ステップＳ２４において、全ての特徴点について対応点及びその尤度の出力が終了したと判定されるとステップＳ２５へ進み、前記ベクトル生成部３３ａにおいて、前記対応点及びその尤度が対応点&尤度ベクトルHに変換される。ステップＳ２６では、前記対応点&尤度ベクトルHが視点分類器３３ｂへ適用されて、前記カメラ画像Icaの視点推定結果が出力される。

図１へ戻り、前記高精度化部３ｂは、尤度が上位N個の対応点のみを残し、他の対応点は削除することにより対応点を高精度化する。すなわち、前記高精度化前の対応点には、観察対象Mを予め様々な視点で観察して得られた各画像から検出された特徴点の対応点候補が、ここでは、前記事前の学習段階において、前記決定された視点で観察対象Mを観察したときには得られなかった特徴点の3D座標が対応点候補から除外される。これにより、前記事前の学習段階において例えば前記決定された視点とは正反対の視点で観察対象Mを観察したとき得られた特徴点のように、今回の対応点としてあり得ない特徴点の3D座標が対応点候補から除外される。前記カメラ姿勢算出部３ｃは、前記高精度化された3D座標対応関係に基づいてカメラ姿勢を推定する。

なお、上記の実施形態では、2D-3D対応関係ごとに得られる対応点及びその尤度を直接的にベクトル化した対応点&尤度ベクトルHに基づいて視点が推定されるものとして説明したが、本発明はこれのみに限定されるものではなく、3Dモデルの各ポリゴンに含まれる対応点数に基づいて視点を推定するようにしても良い。

例えば、観察対象Mが直方体形状であれば、その3Dモデルは１２面の三角形ポリゴンから構成され、各対応点は１２面のいずれかのポリゴンに含まれる。そして、本実施形態では各対応点の3D座標が既知なので、ポリゴン面ごとに対応点数を集計してヒストグラム化すれば、投影画像ごとに得られる2D-3D対応関係を、１２次元のベクトルで表現できる。

また、前記ヒストグラム化に際しては、前記尤度で閾値処理又は重み付けを行い、例えば閾値処理を行うのであれば、尤度が所定値未満の対応点は集計から除外するようにしても良い。なお、四角形のポリゴンを採用した場合にはポリゴン数が６面となるので６次元のベクトルが生成される。例えば、６つのポリゴン面Q1，Q2，Q3，Q5，Q6の対応点数がそれぞれ１，２，３，４，５であれば、そのベクトルHは次式(4)で表される。

H＝[１，２，３，０，４，５] …(4)

１…撮像装置（カメラ），２…表示装置，３…カメラ姿勢推定装置，３ａ…カメラ視点推定部，３ｂ…高精度化部，３ｃ…カメラ姿勢算出部，４…付加情報データベース(DB)，３１…特徴点検出部，３１ａ…特徴点検出器，３２…マッチング部，３２ａ…対応点分類器，３２ｂ…確率分布DB，３３…視点決定部，３３ａ…ベクトル生成部，３３ｂ…視点分類器，３３ｃ…確率分布DB

Claims (4)

1. 観察対象を撮影したカメラ画像の視点を推定する視点推定装置において、
   観察対象を撮影した二次元のカメラ画像が入力されるカメラ画像入力手段と、
   前記カメラ画像から特徴点を検出する特徴点検出手段と、
   前記カメラ画像の各特徴点から局所特徴情報を抽出する局所特徴情報抽出手段と、
   前記各特徴点及びその局所特徴情報を対応点分類器に適用して各特徴点に対応する観察画像の各対応点及びその尤度を出力するマッチング手段と、
   前記各対応点及びその尤度を一つの分類対象として視点分類器に適用し、前記カメラ画像の視点を１回の分類処理で推定する視点推定手段とを具備したことを特徴とする視点推定装置。
2. 前記視点推定手段は、前記各対応点及びその尤度をベクトル化して一つの対応点及びその尤度ベクトルを生成する手段をさらに具備し、
   前記視点分類器は、前記一つの対応点及びその尤度ベクトルの入力に対して視点を出力することを特徴とする請求項１に記載の視点推定装置。
3. 前記視点推定手段は、
   前記各対応点が観察対象のいずれのポリゴン面に含まれるかを判定する手段と、
   各ポリゴン面に含まれる対応点数を当該各対応点の尤度に基づいて見直す手段と、
   前記各ポリゴン面に含まれる前記見直し後の対応点数に基づいて多次元のベクトルを生成する手段とをさらに具備し、
   前記視点分類器は、前記ベクトルの入力に対して視点を出力することを特徴とする請求項１に記載の視点推定装置。
4. 観察対象を撮影したカメラ画像の視点を推定する視点推定装置の分類器学習方法において、
   観察対象またはその3Dモデルを異なる視点で投影した各投影画像から検出される各特徴点に対応した観察対象またはその3Dモデルの各対応点及びその尤度を一つの分類対象として、前記投影画像の視点を教師ラベルとして分類器に適用し、複数の対応点及びその尤度を一つの分類対象とする入力に対して視点の確率を与える視点確率分布を学習させることを特徴とする視点推定装置の分類器学習方法。