JP2012003724A - 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム - Google Patents

Abstract

【課題】２台のカメラで撮像した操作者の手指の画像から、画像処理によって、操作者の手指の三次元位置を容易に、かつ高精度で検出する。
【解決手段】第１の指先位置検出手段は、第１のカメラ２００で撮像した第１の画像から、操作者の指先位置である第１の指先位置を検出する。第２の指先位置検出手段は、第２のカメラ２１０で撮像した第２の画像から、探索領域を第１の指先位置に対応するエピポーラ線に限定して、操作者の指軸の位置姿勢を検出した後に、操作者の指軸とエピポーラ線との交点を、操作者の指先位置である第２の指先位置として検出する。三次元指先位置推定手段２２４は、第１の指先位置と第２の指先位置とに基づいて、操作者の指先の三次元位置を推定する。
【選択図】図６

Description

本発明は、２台のカメラで撮像した操作者の手指の画像から、画像処理によって、操作者の指先の三次元位置を検出する三次元指先位置検出方法、三次元指先位置検出装置、及びプログラムに関する。

家庭電化製品や、街頭に設置されている情報キオスク端末などの操作対象機器の操作では、リモコンを使用して操作するか、もしくは操作対象機器に備えられたボタンや、タッチスクリーンにより操作するという形態が主流であるが、リモコンを用いる形態では、リモコンを紛失した場合に、操作ができない、また、ボタンや、タッチスクリーンを用いる形態では、不特定多数が素手で操作するものであり、不衛生なので機器に直接触れたくない、といった理由から、操作者が行うジェスチャを認識することにより操作対象機器を操作する形態が考案されている。

その形態は様々であり、ジェスチャとしては、首振り、頷き、眼球運動、ウインク、腕振り、指差し等、また、操作者の動作をセンシングするデバイスとしては、奥行き情報を直接取得可能なデバイスや、通常のビデオカメラ等がある。

ここで、ジェスチャ認識システムを、従来の物理的な機器を代替するものという観点から捉えた場合、通常、ボタンや、タッチスクリーンは、指で操作されていることから、ジェスチャとして指の動きを用いる形態に妥当性があると考えられる。ここで、指の動きとは、指の曲げ伸ばし等ではなく、指先位置の時間的変位、すなわち軌道のことである。また、コストの観点から、ハードウェア構成を安価に実現できる、通常のビデオカメラを用いる形態に妥当性があると考えられる。

以上の考察から、本発明では、指の動きによるジェスチャを通常のビデオカメラで撮像して認識する形態を対象とすることにした。

さて、このようなジェスチャ認識システムでは、先ずは、撮像された画像上において指先位置を検出することが必要となるが、これまでに、そのための技術がいくつか考案されている。大別すると、１つは単純背景下を対象としたものであり、もう１つは複雑背景下を対象としたものである。

前者の原理は、手指を撮像したカラー画像から、色相・明度・彩度等に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出するものである（例えば、特許文献１参照）。

後者の原理は、様々なポーズや、姿勢にある手指の輪郭形状を基に予め作成しておいたテンプレート群を、画像から抽出された輪郭に適用し、最も類似度が大きいテンプレートに対応するポーズや、姿勢を以って手指の位置姿勢を検出するものである（例えば、非特許文献１参照）。

また、これら技術の多くでは、不特定多数の操作者への対応を可能とするために、画像から色ヒストグラムを算出し、その分布から肌の色を動的に推定し、この推定された肌の色を基に手指領域を抽出する技術が共通して用いられている（例えば、特許文献２参照）。

特許第３８６３８０９号 特開２００２−２５９９８９号公報

Bj¨orn Stenger, Arasanathan Thayananthan, Philip H.S. Torr, Roberto Cipolla, "Model-Based Hand Tracking Using a Hierarchical Bayesian Filter," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 9, pp. 1372-1384, Sept. 2006, doi:10.1109/TPAMI.2006.189

しかしながら、前述の特許文献１にも明記されているように、指を撮影したカラー画像から、色相・明度・彩度等に基づいて、肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出する方法では、手領域と他の肌色物体とが重ならないことが必須条件である。

図２０（ａ）、（ｂ）は、従来技術による、指を撮影したカラー画像から、色相・明度・彩度等に基づいて、肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出する方法を説明するための概念図である。例えば、図２０（ａ）に示すように、手指を撮影する際に、操作者以外の人物の顔１０が背後に映り込んで、図２０（ｂ）に示すように、画像上において手領域に他の肌色領域に重なっている場合、検出される領域が手領域と顔領域との和集合領域２０となるため、指先位置を正確に検出することは原理的に不可能である。

これに対して、非特許文献１に示されているように、輝度画像の輪郭情報を基に手指の位置姿勢を検出する方法が提案されているが、複雑背景下では、一般に、画像上における手指領域と背景との差異が小さく、輪郭が検出できない区分が、手指領域の境界上に相当の割合で発生する。

図２１（ａ）、（ｂ）は、従来技術による、輝度画像の輪郭情報を基に手指の位置姿勢を検出する方法を説明するための概念図である。指先の先端位置とは、例えば、図２１（ａ）に示される手指領域の境界４０の左端３０であるが、ＶＧＡ等の低解像度のカメラを用いる場合、図２１（ｂ）に示すように、左右方向の輪郭推定に寄与する画素５０の個数が少ないため、指先の先端位置を正しく推定することは困難である。これは、ノイズが強い場合や手指の背後に複雑な背景が映りこむ場合には、いっそう困難となる。

また、前述の特許文献２に示されている、求めた色ヒストグラムから予め定めた肌の色の有効範囲内のピーク値（度数が最大の値）を検出して肌の色の基準値とする方法では、２つ以上のピークがある場合には、肌の色を誤って推定する恐れがあり、操作者の手指の三次元位置を正確に検出することができないという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、２台のカメラで撮像した操作者の手指の画像から、画像処理によって、操作者の手指の三次元位置を高精度で検出することができる三次元指先位置検出方法、三次元指先位置検出装置、及びプログラムを提供することにある。

本発明は、第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出手段と、前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出手段と、前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを備えることを特徴とする。

本発明は、前記第２の指先位置検出手段は、前記操作者の指軸候補位置に対して、複数の指軸候補を予め登録した指軸検出用テンプレート群を適用することにより、その指類似度が最大となる指軸候補位置およびテンプレートに対応する姿勢を以って指軸の位置姿勢と推定することを特徴とする。

本発明は、前記第２の指先位置検出手段は、類似度が所定値より大きい指軸候補位置が複数検出された場合には、同複数の指軸上の所定の区間の各位置に対して、複数の手領域候補を予め登録した手領域検証用テンプレート群を適用し、その手領域類似度が最大となる指軸候補を以って指軸の位置姿勢と推定することを特徴とする。

本発明は、前記第１の指先位置検出手段は、複数の操作者の手指を撮像した複数の第１の画像から、色ヒストグラムの分布領域を表す２値化モデルを生成する２値化モデル生成手段と、前記色ヒストグラムの主要部分の分布を表すテンプレートを作成するテンプレート作成手段と、入力された対象画像のヒストグラムの分布における、前記テンプレート作成手段によって作成されたテンプレートが最も類似する位置に、前記２値化モデル生成手段によって生成された２値化モデルを配置することによって、前記操作者の手指における色分布を推定する色分布推定手段とを備え、前記推定された色分布によって前記操作者の指先位置を検出することを特徴とする。

本発明は、第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出方法であって、前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出ステップと、前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出ステップと、前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定ステップとを含むことを特徴とする。

本発明は、第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置のコンピュータに、前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出ステップと、前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出ステップと、前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定ステップとを実行させることを特徴とする。

この発明によれば、複数のカメラを用いて指先の三次元位置を検出する装置において、指先位置を容易に、かつ高精度に検出することができる。

本発明の第１実施形態による三次元指先位置検出方法において、指先位置検出方法の動作を説明するためのフローチャートである。 本第１実施形態による、操作者の指先位置検出方法の動作を説明するための概念図である。 本第１実施形態による三次元指先位置検出方法において、指先位置検出方法で算出する色ヒストグラムを示す概念図である。 本第１実施形態による三次元指先位置検出方法において、指先位置検出方法で算出する色ヒストグラムを示す概念図である。 本第２実施形態による三次元指先位置検出装置の概略構成を示すブロック図である。 本第２実施形態による三次元指先位置検出装置の構成を示すブロック図である。 本第２実施形態において、指軸検出用テンプレート作成手段２２１による指軸検出用テンプレートの作成方法を説明するためのフローチャートである。 本第２実施形態において、指先位置、指軸、評価位置群、検証開始位置、及び検証終了位置を算出する方法を説明するための概念図である。 本第２実施形態による、指軸検出用テンプレートの作成方法を説明するための概念図である。 本第２実施形態による、指軸検出用テンプレートの作成方法を説明するための概念図である。 本第２実施形態による、指軸検出用テンプレートを示す概念図である。 本第２実施形態において、手領域検証用テンプレート作成手段２２２による手領域検証用テンプレートの作成方法を説明するためのフローチャートである。 本第２実施形態による手領域検証用テンプレートの作成方法を説明するための概念図である。 本第２実施形態による、手領域検証用テンプレートを示す概念図である。 本第２実施形態による、手領域検証用テンプレートの個数を削減する方法を説明するための概念図である。 本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するためのフローチャートである。 本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するための概念図である。 本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するための概念図である。 本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するための概念図である。 従来技術による、色相・明度・彩度等に基づいて、指先位置を検出する方法を説明するための概念図である。 従来技術による、輝度画像の輪郭情報を基に手指の位置姿勢を検出する方法を説明するための概念図である。

以下、本発明の一実施形態を、図面を参照して説明する。なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。

Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
本第１実施形態は、三次元指先位置検出方法において、肌の色を推定する方法に関するもので、予め、肌の色のヒストグラムの「２値化モデル」と「テンプレート」とを作成しておき、個々の操作者の手指を撮像した画像から得られる色ヒストグラムに、これらのテンプレートを適用し、最も類似度が高くなるテンプレートの位置に、この２値化モデルを移動させた２値化モデルを以って、当該操作者の肌の色と推定する。

図１は、本発明の第１実施形態による三次元指先位置検出方法において、指先位置検出方法の動作を説明するためのフローチャートである。図２（ａ）、（ｂ）は、本第１実施形態による、操作者の指先位置検出方法の動作を説明するための概念図である。また、図３（ａ）〜（ｃ）、及び図４（ａ）〜（ｃ）は、本第１実施形態による三次元指先位置検出方法において、指先位置検出方法で算出する色ヒストグラムを示す概念図である。

まず、図１に示すステップＳ１１０において、肌の色のヒストグラムと２値化色ヒストグラムとを作成する。
（ステップＳ１１０）
（Ａ１）複数人のサンプル取得対象者から任意に選択した第１サンプル取得対象者に対して、図２（ａ）に示すように、青色等の背景７０の下に手指６０を撮像し、例えば、図２（ａ）の手指６０の親指先端部分を拡大した図２（ｂ）に示すように、手指領域と背景領域とがブレンドされた画素９０を除いた純粋手指領域８０を算出する。

該純粋手指領域８０内の画素から、図３（ａ）に示す純粋色ヒストグラム１００を算出し、該純粋色ヒストグラム１００とガウシアンカーネルとの畳み込み処理により、図３（ｂ）に示す、平滑化色ヒストグラム１１０を算出し、求めた平滑化色ヒストグラム１１０の最大値の５０％より小さい頻度をゼロとして、図３（ｃ）に示す、削ぎ落とし色ヒストグラム１２０を算出する。

図３（ａ）〜（ｃ）、図４（ａ）〜（ｃ）において、色ヒストグラムは、２次元の色空間上で表現されている。なお、第１サンプル取得対象者の純粋色ヒストグラム１００、平滑化色ヒストグラム１１０、及び削ぎ落とし色ヒストグラム１２０を、特に、基本純粋色ヒストグラム、基本平滑化色ヒストグラム、及び基本削ぎ落とし色ヒストグラムとする。また、色ヒストグラム座標の原点を色ヒストグラムに相対的に固定された色ヒストグラムの基準点とする。
その他の各サンプル取得対象者に対しても、同様の処理により、純粋色ヒストグラム１００と平滑化色ヒストグラム１１０とを算出する。

（Ａ２）上記（Ａ１）で求めた平滑化色ヒストグラム１１０を２次元的にずらしながら基本削ぎ落とし色ヒストグラムとの類似度を、例えば、正規化相関により求めてゆき、類似度が最も高くなるずらし位置における、平滑化色ヒストグラム１１０の基準点の色ヒストグラム座標の原点からの変位を求め、純粋色ヒストグラム１００をこの変位だけずらしたものを基本純粋色ヒストグラムに加算し、図４（ａ）に示す、加算純粋色ヒストグラム１３０を算出する。該処理を各サンプル取得者全ての色ヒストグラムについて行い、最終的に得られたものを加算純粋色ヒストグラム１３０とする。

加算純粋色ヒストグラム１３０から、図４（ｂ）に示すように、加算平滑化色ヒストグラム１５０を算出し、図４（ｃ）に示すように、加算削ぎ落とし色ヒストグラム１６０を算出し、求めた加算純粋色ヒストグラム１３０を頻度非ゼロの基準で切り詰めて、加算２値化色ヒストグラム１４０を算出する。加算２値化色ヒストグラム１４０が肌の色のヒストグラムの「２値化モデル」として、加算削ぎ落とし色ヒストグラム１６０が「テンプレート」として上記（Ａ２）の操作者の肌の色の推定に利用される。
なお、サンプル取得対象者の人数が少ない場合や、撮像の際に照明変動がある場合等では、加算２値化色ヒストグラム１４０に対してモルフォロジー演算による膨張処理（Dilate）を数回程度施してもよい。

次に、図１に示すステップＳ１２０において、以下で説明するように、操作者の手指を撮像した入力動画から、当該操作者の肌の色を推定する。

（ステップＳ１２０）
（Ｂ１）操作者の手指を撮像した入力動画のフレーム画像の全画素から、純粋色ヒストグラムを算出する。なお、背景差分や、フレーム間差分により、色ヒストグラム算出に用いる画素を絞り込んでもよい。
（Ｂ２）この処理を所定の枚数のフレーム画像に対して行い、それぞれ算出された純粋色ヒストグラムを加算して得られた入力純粋色ヒストグラムとガウシアンカーネルとの畳み込み処理により、入力平滑化色ヒストグラムを得る。

（Ｂ３）加算削ぎ落とし色ヒストグラム１６０（テンプレート）を２次元的にずらしながら、この入力平滑化色ヒストグラムとの類似度を、例えば、正規化相関により求めていき、類似度が最も高くなるずらし位置における、加算削ぎ落とし色ヒストグラム１６０の基準点の入力平滑化色ヒストグラム座標の原点からの変位を求める。加算２値化色ヒストグラム１４０（二値化モデル）を、この変位だけずらし、推定２値化色ヒストグラムとして求め、これを以って、推定された当該操作者の肌の色とする。

上述した第１実施形態によれば、予め、肌の色のヒストグラムの「２値化モデル」と「テンプレート」とを作成しておき、個々の操作者の手指を撮像した画像から得られる色ヒストグラムに、これらのテンプレートを適用し、最も類似度が高くなるテンプレートの位置に、この２値化モデルを移動させた２値化モデルを以って、当該操作者の肌の色と推定するようにしたので、肌色の重なりがあったり、複雑な背景であっても、操作者の手指を高精度で検出することができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態は、２台のカメラで撮影した操作者の手指の画像から、画像処理によって、操作者の手指の三次元位置を検出するものである。

図５（ａ）、（ｂ）は、本第２実施形態による三次元指先位置検出装置の概略構成を示すブロック図である。第１のカメラ２００は、その光軸が鉛直方向下向きに、かつ操作者の手指が検出領域２３９のどのような位置姿勢にあっても撮像可能な具合に載置されている。第２のカメラ２１０は、その光軸が水平方向となるように、かつ操作者の手指が検出領域２３９のどのような位置姿勢にあっても撮像可能な具合に載置されている。また、背景２３０は黒色であり、第１のカメラ２００の撮像範囲を十分に覆うように載置されている。

また、図６は、本第２実施形態による三次元指先位置検出装置の構成を示すブロック図である。三次元指先位置検出装置は、第１のカメラ２００と、第２のカメラ２１０と、第１の指先位置検出手段２２０と、指軸検出用テンプレート作成手段２２１と、手領域検証用テンプレート作成手段２２２と、第２の指先位置検出手段２２３と、三次元指先位置推定手段２２４とを有する。

図７は、本第２実施形態において、指軸検出用テンプレート作成手段２２１による指軸検出用テンプレートの作成方法を説明するためのフローチャートである。また、図８（ａ）、（ｂ）は、本第２実施形態において、指先位置、指軸、評価位置群、検証開始位置、及び検証終了位置を算出する方法を説明するための概念図である。

まず、指軸検出用テンプレート作成手段２２１は、図７に示すステップＳ２１０において、指先位置、指軸、評価位置群、検証開始位置、及び検証終了位置を算出する。
（ステップＳ２１０）
（Ｃ１）検出領域２３９内にある操作者の手指を第２のカメラ２１０で撮像した画像のうち、図８（ａ）に示す指先２４１と中手指節間関節２４２との距離が最も小さい画像において、指領域２６０に対してモルフォロジー演算による浸食処理（Erode）を数回程度施して侵食指領域２６１を算出し、指先２４１と中手指節間関節２４２とを結んで得られる指軸２４０に垂直で、指先２４１、及び中手指節間関節２４２から、それぞれ所定のマージンをとった直線２５１、及び直線２５２を算出し、指軸２４０上にあり、中手指節間関節２４２からそれぞれ所定の距離だけ離れた位置２４３、及び位置２４４を、後述する手領域検証用テンプレートの基準を合わせるための、検証開始位置、及び検証終了位置として、それぞれ算出する。

（Ｃ２）侵食指領域２６１を、直線２５１、及び直線２５２により分割することで、図８（ｂ）に示す有効指領域２６２を算出し、有効指領域２６２内で均一に配置された所定の個数の評価位置群２８０を算出する。以降、該所定の個数をｎＴとする。なお、次のステップＳ２２０のテンプレート作成過程において、指軸２４０、指先２４１、位置２４３、位置２４４、及び評価位置群２８０の相対位置姿勢は固定されているとする。

次に、指軸検出用テンプレート作成手段２２１は、図７に示すステップＳ２２０において、指軸検出用テンプレートを作成する。
ここで、図９、図１０は、本第２実施形態による、指軸検出用テンプレートの作成方法を説明するための概念図である。
（ステップＳ２２０）
図９に示すように、０から２πラジアンの角度を２５６分割した、０ラジアンから始まる各角度区分２７０に対応する方向コードを０、１、…、２５５として、図１０に示すように、指先２４１をローカル座標の原点に固定し、各角度区分に対して、指軸２４０とｘ軸との角度２９０が当該角度区分の中間角度となるようにした際の評価位置群２８０のローカル座標上での位置群を（ｘＴ、ｙＴ）として、図１１に示すテーブルに保存する。併せて、当該角度区分に対応する方向コードをｃＴとして保存する。なお、ここでは、２５６個のテーブルが生成されるが、指の採り得る方向が限定されている場合には、対応する角度区分のテーブルのみ生成すればよい。

次に、手領域検証用テンプレートの作成方法について詳細に説明する。
図１２は、本第２実施形態において、手領域検証用テンプレート作成手段２２２による手領域検証用テンプレートの作成方法を説明するためのフローチャートである。また、図１３（ａ）〜（ｄ）は、本第２実施形態による手領域検証用テンプレートの作成方法を説明するための概念図である。

まず、手領域検証用テンプレート作成手段２２２は、図１２に示すステップＳ３１０において、中手指節間関節位置、及び評価位置群を算出する。
（ステップＳ３１０）
（Ｄ１）検出領域２３９内に均等に分布するＮ個の各位置に指先を合わせた操作者の手指を、第２のカメラ２１０で撮像してＮ枚の画像を取得し、これら取得した各画像に対して、図１３（ａ）に示すように、手指領域３００を算出し、手指領域３００に対してモルフォロジー演算による浸食処理（Erode）を数回程度施して侵食手指領域３０１を算出し、さらに、浸食処理（Erode）を数回程度施して侵食手指領域３０２を算出する。

（Ｄ２）図１３（ｂ）に示すように、取得した各画像上における、中手指節間関節２４２の位置と指節間関節３１０の位置とを結ぶ直線３３０を算出し、予め定めた手の表面上の位置３２０と位置３２１とを結ぶ直線３３１を算出し、侵食手指領域３０２から、これら直線３３０と直線３３１とにより切り出された、図１３（ｃ）に示すテンプレート作成用マスク領域３４０を算出する。なお、テンプレート作成用マスク領域３４０ついては、伸ばした第二指（人差し指）の中手指節間関節における曲げ具合による影響を受けない領域であることが重要である。このため、伸ばした第二指を、中手指節間関節において様々な角度に曲げて撮像した画像群から、輝度値が同一である画素からなる領域に対して、浸食処理（Erode）を数回程度施して得られる領域を、テンプレート作成用マスク領域３４０としてもよい。

（Ｄ３）取得した各画像に勾配演算を施し、各画素の位置における勾配ベクトルの大きさが、同一位置における画素の値である勾配画像を算出し、テンプレート作成用マスク領域３４０内におけるこの勾配画像の最大値を求め、テンプレート作成用マスク領域３４０内におけるこの勾配画像の画素のうち、この最大値の２０％より大きな値を持つ画素からなる領域を図１３（ｄ）に示す有効手領域３４１とし、この有効手領域３４１内で均一に配置された所定の個数の評価位置群３５０を算出する。以降、この所定の個数をｎＦとする。なお、次のステップＳ３２０のテンプレート作成過程において、画像上における中手指節間関節２４２の位置、及び評価位置群３５０の相対位置は固定されているとする。

次に、手領域検証用テンプレート作成手段２２２は、図１２に示すステップＳ３２０において、手領域検証用テンプレートを作成する。
（ステップＳ３２０）
取得した各画像に勾配演算を施し、各画素の位置における勾配ベクトルの方向が含まれる角度区分に対応する方向コードが、同一位置における画素の値である方向コード画像を算出し、方向コード画像において、画像上における中手指節間関節２４２の位置からの、評価位置群３５０の各相対位置、及びそれら位置における方向コード群を（ｘＦ、ｙＦ、ｃＦ）として、図１４に示すテーブルに保存する。

最後に、手領域検証用テンプレート作成手段２２２は、図１２に示すステップＳ３３０において、手領域検証用テンプレートの個数を削減する。ここで、図１５（ａ）、（ｂ）は、本第２実施形態による、手領域検証用テンプレートの個数を削減する方法を説明するための概念図である。

（ステップＳ３３０）
（Ｅ１）取得した各方向コード画像を、侵食手指領域３０１を有効領域としてマスクした方向コード画像に対して、中手指節間関節２４２の近傍領域である図１５（ａ）に示す中手指節間関節近傍領域２９９内の全ての画素位置に対して、１つの手領域検証用テンプレートを適用して得られる最小評価値を、各列に記憶した図１５（ｂ）に示すテーブルを作成し、該テーブルの各要素を所定の域値により二値化する。

（Ｅ２）評価値が非ゼロである要素の個数が少ない列から順に、その列に対応する手領域検証用テンプレートを削除していき、手領域検証用テンプレートの個数が適当な個数となった時点で終了する。

次に、操作者の指先の三次元位置を検出する方法について詳細に説明する。
図１６は、本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するためのフローチャートである。また、図１７（ａ）〜（ｄ）は、本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するための概念図である。また、図１８（ａ）〜（ｃ）は、本第２実施形態において、操作者の指先の三次元位置を検出する方法を説明するための概念図である。

まず、第１の指先位置検出手段２２０は、図１６に示すステップ４１０において、操作者の手指を第１のカメラ２００によって撮像した動画から、第１の指先位置を検出する。
（ステップＳ４１０）
（Ｆ１）図１７（ａ）に示す、入力動画のフレーム画像に対して、第１実施形態で説明した方法により、推定２値化色ヒストグラムを求め、以降の入力動画のフレーム画像に、該推定２値化色ヒストグラムを適用し、図１７（ｂ）に示されるような、手指領域４２０や、ノイズ領域４２１、４２１等が含まれる２値画像を算出する。
なお、黒色背景を利用した背景差分等により、同２値画像を算出してもよい。

次に、該２値画像に対して、モルフォロジー演算による浸食処理（Erode）を数回程度施して、図１７（ｃ）に示すような浸食２値画像を算出し、該浸食２値画像に対してラベリング処理を施して得られた面積最大の領域を核領域４３０として算出する。さらに、図１７（ｄ）において、核領域４３０の重心４３１を起点として、図１７（ｂ）の２値画像に塗り潰し処理を施して手指領域４４０を算出し、該手指領域４４０の先端を暫定指先位置４５０として求める。ここで、最もＶ座標が大きな領域を核領域４３０としてもよい。

（Ｆ２）入力動画のフレーム画像の勾配画像を算出し、図１８（ａ）に示すように、暫定指先位置４５０を通り、ｖ軸に平行な直線上にあり、暫定指先位置４５０からそれぞれ所定のマージンをとった位置４５１、及び位置４５２を算出し、得られた勾配画像において、位置４５１と位置４５２とを結ぶ線分上にある画素のうち、値が最大となる画素の位置４６０を求める。

さらに、この最大値の５０％を探索基準値とし、位置４５１と位置４５２とを結ぶ線分上にある画素において、ｖ軸方向の隣接する２画素のうち、一方が探索基準値より小さく、他方が探索基準値以上となる２画素を、位置４５１を開始位置として探索し、それぞれの画素の値を基にそれぞれの位置を内挿して、探索基準値をとると推定されるサブピクセル位置４７０を求める。

次に、ｕ軸方向に隣接する数個のｖ軸方向画像列に対して、図１８（ｂ）に示すように、このサブピクセル位置４７０から所定のマージンをとった位置４７１を開始位置としてｖ軸の負の向きに同様の探索を行い、サブピクセル位置群４７２を求め、求めたサブピクセル位置群４７２に、図１８（ｃ）に示すように、例えば、二次関数等の曲線５００を当てはめ、その曲線５００上においてｖ座標が最大となる位置５１０を以って第１の指先位置とする。

次に、第２の指先位置検出手段２２３は、図１６に示すステップ４２０において、操作者の手指を第２のカメラ２１０により撮像した動画から、第２の指先位置を検出する。ここで、図１９（ａ）、（ｂ）は、操作者の手指を第２のカメラ２１０により撮像した動画から、第２の指先位置を検出する方法を説明するための概念図である。

（Ｇ１）図１９（ａ）に示す、入力動画のフレーム画像６００の方向コード画像を算出し、該フレーム画像６００の撮像と同一のタイミングで、第１のカメラ２００により撮像された画像における指先位置５１０に対応するエピポーラ線６２０上の各画素位置（ｘ、ｙ）に対して、２５６個の全ての指軸検出用テンプレートを適用して、数式（１）で定義されるＥのうち、最小の値を求め、これを当該画素位置（ｘ、ｙ）における指類似度Ｅとする。ここで、数式（１）において、Ｃは方向コード画像の画素（ｘ、ｙ）における値であり、また、一部において、テンプレートのインデックスである添え字[ｉ]を省略してある。

（Ｇ２）この指類似度Ｅが所定の域値より小さい場合、すなわち、複数の指軸候補が存在する場合には、図１９（ｂ）に示すように、当該指軸検出用テンプレートの方向コードｃＴに対応する角度７０１だけ、指軸２４０をｕ軸７００から回転させた際の上記方向コード画像上での位置２４３、及び位置２４４を結ぶ線分上の全ての画素位置（ｘＳ、ｙＳ）に対して、Ｎ個の全ての手領域検証用テンプレートを適用して、数式（２）で定義されるＥのうち、最小の値を求め、これを当該画素位置（ｘ、ｙ）における手指類似度Ｅとする。ここで、数式（２）において、Ｃは方向コード画像の画素（ｘ、ｙ）における値であり、また、一部において、テンプレートのインデックスである添え字[ｉ]を省略してある。

（Ｇ３）上記指類似度Ｅが所定の域値以上の場合には、当該画素位置（ｘ、ｙ）における手指類似度を１２８とする。

（Ｇ４）これら手領域類似度Ｅが最小の値となる、エピポーラ線６２０上の画素位置（ｘ、ｙ）を以って、第２の指先位置６３０とする。

最後に、図１６にステップ４３０において、操作者の手指を第１のカメラ２００によって撮像した動画における第１の指先位置５１０と、操作者の手指を第２のカメラ２１０によって撮像した動画における第２の指先位置６３０とから、指先の３次元指先位置を検出する。

図５（ａ）に示すように、三次元空間における、第１のカメラ２００のレンズ中心と操作者の指先とを結ぶ半直線２０２、及び第２のカメラ２１０のレンズ中心と操作者の指先とを結ぶ半直線２１２を、それぞれ第１の指先位置５１０と第２の指先位置６３０とから求め、半直線２０２からの距離の二乗と半直線２１２からの距離の二乗との和が最小となる位置を以って、指先の３次元指先位置とする。

上述した第２実施形態によれば、対象物の部分状態、すなわち状態の一部を容易に検出可能な位置姿勢に載置された第１のカメラ２００、第２のカメラ２１０により撮像された画像から、指軸検出用テンプレート、及び手領域検出用テンプレートを用いて、指軸の位置姿勢を検出することにより、肌色の重なりがあったり、複雑な背景であっても、操作者の手指の三次元位置を高精度で検出することができる。

なお、前述の説明において、本実施形態の三次元指先位置検出装置における各処理は、コンピュータに実行させることも可能であり、その場合に、各処理は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

６０ 撮像された手指
７０、２３０ 背景
１４０ 加算２値化色ヒストグラム
１６０ 加算削ぎ落とし色ヒストグラム
２００ 第１のカメラ
２１０ 第２のカメラ
２２０ 第１の指先位置検出手段
２２１ 指軸検出用テンプレート作成手段
２２２ 手領域検証用テンプレート作成手段
２２３ 第２の指先位置検出手段
２２４ 三次元指先位置推定手段
２３９ 検出領域
２４０ 指軸
２４１ 指先
２６０ 指領域
３００、４４０ 手指領域
３４０ テンプレート作成用マスク領域
３４１ 有効手領域

Claims (6)

1. 第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、
   前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出手段と、
   前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出手段と、
   前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段と
   を備えることを特徴とする三次元指先位置検出装置。
2. 前記第２の指先位置検出手段は、
   前記操作者の指軸候補位置に対して、複数の指軸候補を予め登録した指軸検出用テンプレート群を適用することにより、その指類似度が最大となる指軸候補位置およびテンプレートに対応する姿勢を以って指軸の位置姿勢と推定することを特徴とする請求項１に記載の三次元指先位置検出装置。
3. 前記第２の指先位置検出手段は、
   類似度が所定値より大きい指軸候補位置が複数検出された場合には、
   同複数の指軸上の所定の区間の各位置に対して、複数の手領域候補を予め登録した手領域検証用テンプレート群を適用し、その手領域類似度が最大となる指軸候補を以って指軸の位置姿勢と推定することを特徴とする請求項２に記載の三次元指先位置検出装置。
4. 前記第１の指先位置検出手段は、
   複数の操作者の手指を撮像した複数の第１の画像から、色ヒストグラムの分布領域を表す２値化モデルを生成する２値化モデル生成手段と、
   前記色ヒストグラムの主要部分の分布を表すテンプレートを作成するテンプレート作成手段と、
   入力された対象画像のヒストグラムの分布における、前記テンプレート作成手段によって作成されたテンプレートが最も類似する位置に、前記２値化モデル生成手段によって生成された２値化モデルを配置することによって、前記操作者の手指における色分布を推定する色分布推定手段とを備え、
   前記推定された色分布によって前記操作者の指先位置を検出することを特徴とする請求項１ないし３のいずれかに記載の三次元指先位置検出装置。
5. 第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出方法であって、
   前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出ステップと、
   前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出ステップと、
   前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定ステップと
   を含むことを特徴とする三次元指先位置検出方法。
6. 第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置のコンピュータに、
   前記第１の画像から、操作者の指先位置を検出する第１の指先位置検出ステップと、
   前記第２の画像から、探索領域を前記第１の指先位置に対応するエピポーラ線に限定して、前記操作者の指軸の位置姿勢を検出した後に、前記操作者の指軸と前記エピポーラ線との交点を、前記操作者の指先位置である第２の指先位置として検出する第２の指先位置検出ステップと、
   前記第１の指先位置検出手段によって検出された第１の指先位置と前記第２の指先位置検出手段によって検出された第２の指先位置とに基づいて、前記操作者の指先の三次元位置を推定する三次元指先位置推定ステップと
   を実行させることを特徴とするプログラム。

Images