JP4016526B2 - ３次元物体識別装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学的に３次元形状の物体を識別する３次元物体識別装置に関し、例えば、パソコン等の情報機器の正当な利用者以外の不正使用を防止するために人体の一部を識別する３次元物体識別装置に関する。
【０００２】
【従来の技術】
従来、３次元形状の物体を識別する３次元識別装置として、物体から３次元形状を入力し、３次元形状に基づいて物体を識別する装置がある。物体から３次元形状を入力する入力装置としては、複数のカメラから得られる画像のずれ（すなわち視差）から物体の３次元形状を入力するもの、あるいは、スリット光あるいはレーザースポット光を３次元物体に走査照射して、その反射画像を取り込んで物体の３次元形状を入力するもの等が実用化され、あるいは提案されている。
例えば、２つのカメラを用いて３次元形状を認識する方法が、特開平６−３１２２号公報に記載されている。この公報には、２つのカメラを用いて測定対象物の３次元情報を撮影し、これらカメラの画像信号を２つの液晶ディスプレイとプリズムを用いて視差分を色分布に変換して、測定対象物の高さ等を認識する方法が示されている。
【０００３】
また、レーザースポット光を走査照射して３次元形状を入力する方法が特開平６−２０１３４２号公報に記載されている。この方法では、ＲＧＢの単色光のレーザースポット光を走査して測定対象物に照射し、検出側でこれらＲＧＢ成分を分解して得られる観測位置のずれから、測定対象物の距離と色とを正確に取り込んでいる。さらに、この方法では、照射する光線を変調信号により変調し、ＲＧＢの単色光の検出側での選別精度を向上させることで、測定対象物の表面形状あるいは表面色が急激に変化した場合であっても正確に取り込めるようにしている。
【０００４】
さらに、互いに９０度位相のずれた繰り返し信号により駆動する一対の光源からの光線を物体に照射して、物体からのこれら光線の反射光を受光素子により受光し、その位相差から、受光素子と物体の距離を検出する近接センサが特公昭６２−４４２０６号に記載されている。この近接センサをロボットアームなどの機械的手段によって３次元物体の上を走査すれば簡単なセンサー構造による３次元形状の入力ができる。
【０００５】
以上に示した３次元物体の取り込み方法は、いずれも、３次元画像あるいは基準位置からの距離を画像化した距離画像として３次元物体を取り込むものであり、３次元物体を識別するためにはこれらの方法を用いて得られた３次元画像についてさらに識別処理をすることが必要である。
【０００６】
識別処理については、例えば、特開平２−１８１８８０号公報に、距離画像の局所表面を取り出し、この表面の近似式を最小二乗法により求め、近似式の各係数を評価して３次元形状の検出を行なう方法が記載されている。この方法以外にも、３次元形状を識別する方法が数多く考案され実用化されているが、いずれの装置においても３次元物体の３次元形状を正確にデータとして取り込み、３次元形状のデータに基づいて３次元物体を識別する。
【０００７】
３次元物体識別装置には、人の体の一部を３次元物体として識別する装置がある。例えば、米国RECOGNITION SYSTEMS,INCのHandKey-Hand Reader（商品名）は、人間の手の形から個人を識別することができる。この装置を利用して個人の識別をする為には、利用者は装置内に手を入れる必要がある。
【０００８】
また、特開平１０−９４５３４号公報に、耳介の３次元形状を複数の発光部と複数の受光部により検出する特殊な装着具により個人を識別する装置が記載されている。この装置においては、装着具内にある複数の発光部を順次発光させ、耳介に反射した光を受光部により検出し、その検出した信号の時系列的なパターンから個人識別をしている。人間の耳介からの反射光以外の時間的に変化する外光、例えば交流点灯された蛍光灯による照明光あるいはディスプレイ用ＣＲＴ（Ｃａｔｈｏｄｅ‐Ｒａｙ Ｔｕｂｅ）からの光線等が受光部に混入した場合、識別の基本となる受光部の時系列的な信号パターンに影響し、正確な識別ができない。したがって、遮光のための何らかの器具が必要となる。
上記２例の人の体の一部を３次元物体として識別する装置は個人の識別に際して、利用者は、何らかの面倒な操作をするか、特殊な装置を装着する必要がある。
【０００９】
【発明が解決しようとする課題】
上記のように従来の３次元物体識別装置では、３次元形状を取り込む段階では、物体の３次元形状を正確に取り込みことが必要であり、３次元物体を識別する段階では、得られた３次元形状を電子的あるいは光学的な処理により正確に識別することが必要である。このため、従来の装置では、物体の三次元形状を正確に取り込み、正確に取り込んだ形状に基づいて識別するために複雑な処理を行う必要があり、装置が複雑になり、装置が大きくなってしまうという問題が生じる。また、３次元形状を取り込む段階で、光学的に取り込むものでは、外部照明条件などの環境条件の規定が必要なものが多く、オフィスや家庭などパソコン等の情報機器が利用される環境条件で使えないことがある。
【００１０】
また、パソコン等の情報機器の正当な利用者を識別するために、上記従来の人の手によって個人を識別する装置を用いる場合を考えると、パソコン等の情報機器に取り付けるには装置が大きすぎるという問題が生じ、さらに、利用者が意識して装置内の所定の位置に手を入れる必要があり、利用者に違和感を与えるという問題が生じる。
上記従来の耳介の形によって個人を識別する装置を用いる場合を考えると、利用者は識別に際しては特殊な装着具を耳に装着する必要があり、利用者に違和感を与えるという問題が生じる。
【００１１】
本発明の目的は、小型且つ簡便な構成で３次元物体を識別することのできる３次元物体識別装置を提供することにある。また、本発明の目的は、利用者に違和感を与えることなく個人を識別することのできる３次元物体識別装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的は、変調信号を発生する信号発生手段と、変調信号に基づいた光を３次元物体に射出する発光手段と、３次元物体からの反射光を受光して検出信号を生成する受光手段と、検出信号と変調信号との相関情報を検出する検出手段と、予め登録されている相関情報と、検出された相関情報とに基づいて、３次元物体に関する識別処理を行う識別手段とを備えることを特徴とする３次元物体識別装置によって達成される。
【００１３】
また、上記目的は、本発明の３次元物体識別装置において、発光手段および受光手段が、情報機器のユーザインターフェース装置に組み込まれていることを特徴とする３次元物体識別装置によって達成される。
【００１４】
また、上記目的は、入力作業者の入力動作によって、当該入力動作に対応した情報の入力を行う汎用入力手段と、汎用入力手段から入力された情報を処理する処理部と、入力作業者に光を照射する発光手段と、入力作業者からの反射光を受光する受光手段と、入力作業者が汎用入力手段を使用するときの身体姿勢に応じた光量情報を受光手段から取得し、当該光量情報と予め登録された登録情報から入力作業者に関する識別処理を行う識別手段とを備えることを特徴とする情報機器によって達成される。
【００１５】
【発明の実施の形態】
本発明の一実施の形態による３次元物体識別装置を図１乃至図１９を用いて説明する。まず、本実施の形態による３次元物体識別装置の一部の外観の概略構成を図１を用いて説明する。
本３次元物体識別装置は、３次元物体１に光を照射する少なくとも１つ以上の発光素子２と、３次元物体１からの反射光を受光して反射光に応じた検出信号を出力する少なくとも１つ以上の受光素子３とを有している。
【００１６】
発光素子２としては、発光ダイオード、半導体レーザーあるいは白熱電球等を使うことができるが、消費電力が少ない、十分な光量を得られる、放射光に広がりがある、光を変調するために十分な応答速度を持っている、安価であるという点から発光ダイオードが最も適している。発光素子２が放出する光としては可視光線、赤外線を用いることができるが、赤外線（例えば、波長８００ｎｍ〜９００ｎｍ）を用いると人間の目に見えにくく、人間に違和感を与えないという点で有効である。
【００１７】
受光素子３としては、フォトダイオード、フォトトランジスタ、硫化カドミューム素子あるいはＣＣＤ等を用いることができるが、フォトダイオードあるいはフォトトランジスタが感度、応答速度、および価格等の点で適している。なお、発光素子２で赤外線を照射させる場合には、可視光線を遮断し、発光素子２で照射させる光と同じ波長の光を通過させるフィルタを、受光素子２の受光部分に取り付けることで、照明等の外光による影響をさらに抑制して、実質的な感度を向上させることができ、ひいては後述する識別処理の識別精度を向上させることができる。
【００１８】
ここで、本３次元物体識別装置で３次元物体を識別するために使用する受光素子３で受光される反射光の光量（以下、反射光量という）について説明する。
受光素子３における反射光量は、発光素子２の位置、３次元物体１の表面の質と形状、受光素子３の位置によって決まる。したがって、３次元物体１の質と形状が同一であり、発光素子２、受光素子３、および３次元物体１の位置関係が一定であれば、受光素子３で受光される反射光量は常に一定になる。また、３次元物体１の質あるいは形状が変われば、一般には反射光量は変わる。したがって、反射光量を３次元物体が同一であるか否か等の識別に利用することができる。
【００１９】
次に、本３次元物体識別装置が有する発光素子２および受光素子３の数と、３次元物体の識別精度について簡単に説明する。
１つの発光素子２と１つの受光素子３だけを有している場合においては、検出される反射光量が異なっていれば、３次元物体が異なっていると識別することができるが、検出される反射光量が同じである場合には、同じ３次元物体であるとは断定できないことも考えられ、３次元物体の識別精度があまり高くない。
【００２０】
一方、複数の発光素子２をそれぞれ異なる位置に配置すると、方向、距離が違う複数の光線が３次元物体１に照射されるので、受光素子３において受光された反射光量について、後述するようにそれぞれの発光素子２から発光された光に対応する反射光量に分離することにより、３次元物体の形状等で規定される複数種類の反射光量を得ることができ、３次元物体の識別精度を向上させることができる。
【００２１】
また、複数の受光素子３をそれぞれ異なる位置に配置すると、３次元物体１からの反射光を異なった方向、距離で検出することができるので、３次元物体の形状等で規定される複数の反射光量を得ることができ、３次元物体の識別精度を向上させることができる。さらに、複数の発光素子２および複数の受光素子３をそれぞれ異なる位置に配置すると、複数の発光素子２および複数の受光素子３の組み合わせによるさらに多くの反射光量を得ることができ、３次元物体の識別精度をさらに向上させることができる。
【００２２】
なお、発光素子２および受光素子３の数については、それぞれ多く使うようにすれば、識別精度を向上させることができるが、識別する処理が増加することになるので、発光素子２および受光素子３の数はそれぞれ２〜１０程度の範囲に設定することが望ましい。また、発光素子２と受光素子３との数は必ずしも一致させる必要はない。
【００２３】
次に、複数の発光素子２および複数の受光素子３の配置の例を図２に示す。図２では、発光素子２は白丸印で示し、受光素子３は黒丸印で示している。
図２（ａ）は、平面板４に、発光素子２および受光素子３を縦および横方向に交互に並べて配置した例を示している。図２（ｂ）は、平面板４に、発光素子２および受光素子３をＸ字状に並べて配置した例を示している。図２（ｃ）は、平面板４に、発光素子２および受光素子３を一直線状に並べて配置した例を示している。図２（ｄ）は、平面板４に、発光素子２が矩形の４隅になるように発光素子２および受光素子３を配置した例を示している。
発光素子２および受光素子３の配置は、図２に示した配置に限るものではなく、検出する３次元物体を置く位置等によって、種々の配置をとることができる。また、発光素子２及び受光素子３は、平面板４の上に配置する必要はなく、曲面板や立体物体の表面に配置することもできる。
【００２４】
次に、本３次元物体識別装置の内部の一部の概略構成を図３を用いて説明する。
本３次元物体識別装置は、Ｍ個（図３では４個）の出力信号（変調信号）Ｆ１〜Ｆ４を発生させるＭ個の関数発生器を有する関数発生部６と、Ｍ個の変調信号のそれぞれに基づいて発光するＭ個の発光素子２ａ〜２ｄと、Ｎ（図３では４個）個の受光素子３ａ〜３ｄと、Ｍ×Ｎ＝Ｓ個（図３では１６個）の相関検出器７０１〜７１６を有する相関検出部７とを有している。
【００２５】
関数発生部６の関数発生器から出力されるＭ個の変調信号Ｆ１、Ｆ２、Ｆ３、またはＦ４は、それぞれ異なった発光素子２ａ、２ｂ、２ｃ、または２ｄへと入力されるようになっているとともに、それぞれＮ個の相関検出器の一の入力端子に入力されるようになっている。Ｍ個の受光素子３ａ〜３ｄから出力される各検出信号Ｇ１、Ｇ２、Ｇ３またはＧ４は、異なる変調信号が一の入力端子に入力されているＭ個の相関検出器の他の入力端子に入力されるようになっている。
【００２６】
ここで、出力信号Ｆ１に注目すると、出力信号Ｆ１は発光素子２ａに入力されるようになっているとともに、受光手段３ａ、３ｂ、３ｃおよび３ｄによって出力された検出信号Ｇ１、Ｇ２、Ｇ３およびＧ４のそれぞれが一の入力端子に入力されている相関検出器７０１、７０５、７０９、７１３の他の入力端子に入力されるようになっている。
【００２７】
同様にして、出力信号Ｆ２は発光素子２ｂに入力されるようになっているとともに、相関検出器７０２、７０６、７１０、７１４の一の入力端子に入力されるようになっており、出力信号Ｆ３は発光素子２ｃに入力されるようになっているとともに、相関検出器７０３、７０７、７１１、７１５の一の入力端子に入力されるようになっており、出力信号Ｆ４は発光素子２ｄに入力されるようになっているとともに、相関検出器７０４、７０８、７１２、７１６の一の入力端子に入力されるようになっている。
【００２８】
Ｓ個の各相関検出器７０１〜７１６では、入力された検出信号および変調信号に基づいて、当該変調信号に基づいて発光する発光素子から照射されて当該検出信号を出力した受光素子に受光された３次元物体からの反射光の反射光量（相関情報）Ａ０１〜Ａ１６を検出する。例えば、相関検出器７０１では、発光素子２ａから照射されて受光素子３ａで受光された３次元物体の反射光の反射光量Ａ０１を検出する。
【００２９】
ここで、相関検出器による処理を簡単に説明する。
一つの受光素子においては、複数の異なる発光素子の光により照射された光の反射光が重畳されて検出され、さらに発光素子の光による反射光以外の光である外光、たとえば照明光等も重畳されて検出信号が検出される。
相関検出器は、発光素子の光を変調した変調信号と、受光素子の検出信号との相関を求めることで、複数の反射光および外光が重畳されている検出信号から一つの発光素子から照射された光の反射光の成分すなわち反射光量のみを分離している。
【００３０】
そして、相関検出部７では、各相関検出器７０１〜７１６で検出されたＳ個の反射光量Ａ０１〜Ａ１６をＳ次元ベクトルとして、後述する識別部８に出力する。なお、このようにして得られたＳ個の反射光量の値をＳ次元のベクトルＡとすると、ベクトルＡは３次元物体の表面の質および形状により決定される。
【００３１】
関数発生器部６の関数発生器が発生する複数の変調信号に対しては、各受光素子３ａ〜３ｄの検出信号から１つの受光素子から照射された光の反射光量を分離できることが必要とされ、各変調信号の相互相関値がほぼ０であることが必要とされる。ここで、相互相関値とは、２つの信号の各時刻における値の現われ方の類似性を表わす値であり、この相互相関値ｒ_XYは、２つの変調信号の関数をｘ（ｔ）、ｙ（ｔ）とすると、
ｒ_XY＝ ∫_t=0 ^∞ｘ（ｔ）ｙ（ｔ）ｄｔ
と表わされる。
【００３２】
なお、照明光あるいは太陽光線などによる変化の少ない外光を、後に述べる検出回路におけるコンデンサによる直流成分のカットにより適切に分離するためには、個々の変調信号には直流成分が含まれていないことが望ましい。直流成分が多く含まれる変調信号は、コンデンサによる直流成分のカットにより波形ひずみを生じてしまい、三次元物体の識別精度が上がらない場合がある。さらに、照明光あるいはコンピュータディスプレイ等の外光ノイズは蛍光灯やＣＲＴ（Ｃａｔｈｏｄｅ-Ｒａｙ Ｔｕｂｅ）の点滅信号であることが多く、前述の外光ノイズの影響を除去するためには、本発明に採用する変調信号としてはこれら外光ノイズの点滅と相関を持たないことが条件である。
【００３３】
複数の変調信号としては、例えば、それぞれタイミングが異なる複数のダイパルス列の信号、それぞれの周期が異なる複数の三角関数の信号、同周期であるが位相が９０度ずれた複数の三角関数の信号、それぞれのタイミングが異なる複数のバースト正弦波の信号、それぞれのタイミングが異なる複数の疑似雑音符号（ＰＮ符号）の信号、一つのＭ系列発生器のそれぞれのタップから取り出した複数のＭ系列符号の信号、あるいは相互相関値がほぼ０となる複数の直交符号の信号を用いることができる。
【００３４】
図４は、関数発生部６の一例として、疑似雑音符号であるＭ系列符号を出力する関数発生部６の例を示している。７ビットのシフトレジスタ１０には、排他的論理和（ＥＸＯＲ）回路１１のゲートからの出力が入力されるようになっている一方、排他的論理和回路１１には、シストレジスタ１０の１ビット目および７ビット目の値が出力が入力されるようになっている。また、シフトレジスタ１０にはＣＬＫ（クロック）信号が入力されており、ＣＬＫ信号にしたがって、右方向に各ビットの値がシフトするようになっている。この関数発生部では、１２８−１すなわち１２７ビット周期の疑似雑音信号を発生することができる。したがって、シフトレジスタ１０の各ビットからの出力の信号は相互相関値が０となっている。
【００３５】
また、出力となる論理信号は、論理値１と０の割合が６４対６３であり、論理値１を＋１、論理値０を−１とする信号においては、直流成分がほぼ０である。したがって、直流成分をカットしても波形ひずみを起こさない。
さらに、蛍光灯やＣＲＴなどの点滅する外光ノイズの点滅と相関を持たないため、これらの影響がない。
【００３６】
このようにＭ系列符号を変調信号に採用した場合、外光による影響をほとんど受けることがないため、識別すべき三次元物体に明るい照明光あるいは蛍光灯のように点滅する照明光を照射しても三次元物体の識別について影響を受けない。また、ＣＲＴなどのように高速点滅する妨害光の影響もない。
ここで、発光素子の個数がＭ個の場合には、位相ずれのマージンを考慮すると、図４に示すように一つおきのビットからの出力により上記の変調信号Ｆ1、Ｆ2、Ｆ３およびＦ4を得ることができる。
【００３７】
図５は、図３に示す内部構成を、発光素子２ａ〜２ｄとして発光ダイオード１５等を用い、受光素子３ａ〜３ｄとしてフォトダイオード１６等を用いた回路で構成した例を示している。
図３において、１つの発光ダイオード１５および１つのフォトダイオード１６を中心とした回路部分を示しており、他の発光ダイオード、フォトダイオード等は省略している。発振器（関数発生部）６の出力はコンデンサ１３により直流成分がカットされ、トランジスタ等を含む増幅器１４で増幅され、発光ダイオード１５に印加される。発光ダイオード１５から照射される光は発振器６の出力により変調されている。この回路では、発振器６の出力がアナログ信号である例を示しているが、発振器６の出力が図４で示したようにディジタル信号である場合には、当該信号の論理値（１または０）により発光ダイオードの起動電流をオン・オフするようにすればよい。この場合には、市販のドライブ用ロジックＩＣを電流制限抵抗付きの発光ダイオードに直接接続して駆動できる。
【００３８】
また、発振器６の出力は相関検出器１９にも接続される。なお、発振器６の出力は、図示しない他の相関検出器にも接続されている。３次元物体からの反射光を受光したフォトダイオード１６から出力される検出信号は、コンデンサ１７により直流成分がカットされる。これによると、検出信号から照明や外光による光の成分が除去されるとともに、当該検出信号が増幅器１８の入力レンジをオーバーしないようになる。増幅器１８は直流成分が除去されたフォトダイオード１６からの検出信号を増幅して相関検出器１９に入力するとともに、図示しない他の相関検出器に入力する。相関検出器の出力は、ＣＲ積分回路２０により積分されて反射光量（相関情報）の一要素Ａ01となる。
このように図３に示す内部構成は、上記の図５に示すような簡単且つ小型化が可能な回路で実現できる。
【００３９】
相関検出部７の相関検出器としては、アナログ４象限掛算器、例えばモトローラ社ＭＣ１４９５等であれば十分な性能が得られる。また、図４で示したような発振器６の出力がディジタル信号である場合には、相関検出部７の相関検出器としては図６に示す相関検出器を用いることができる。
【００４０】
図６に示す相関検出器は、発振器６から入力されるディジタル信号の変調信号の論理値（１または０）によって、切替部７ａがアナログスイッチ７ｂの切替えを行い、受光素子２によって検出されたアナログ信号の検出信号をオペアンプ７ｃの反転入力端子または非反転入力端子に振り分ける。この相関検出器によると、ディジタル信号の変調信号とアナログ信号の検出信号との相関に基づく信号がオペアンプ７ｃから出力される。オペアンプ７ｃから出力された信号は図示しない積分器によって積算されて反射光量となる。この相関検出器の回路構成は、単純且つ安価であり、集積化が容易である。
【００４１】
相関検出部７の相関検出器の数は、前述のように、Ｍ個の発光素子とＮ個の受光素子があると、Ｍ×Ｎ＝Ｓ個必要である。図３においては１６台必要であるが、相関検出器７の入力部にマルチプレクサを設けて１つの相関検出器を時分割して用いることで、その台数を削減することができる。たとえば、図３の相関検出器７０１、７０２、７０３および７０４の代わりに、図７に示すように、相関検出器７２０の入力にマルチプレクサ９を設けて時分割切り替え信号ＨによりＦ１、Ｆ２、Ｆ３、Ｆ４と順番に切り換えれば、1台の相関検出器７２０で４台分の動作をさせることができる。図７のように相関検出器７２０を接続すると、図３に示した構成において相関検出器が１６台必要だった相関検出部７は、４台の相関検出器７２０とマルチプレクサ９によって構成できることになり、回路の簡素化を図ることができる。
【００４２】
また、相関検出部７の相関検出器の数は、Ｍ×Ｎ＝Ｓ個必要だとしたが、必要とする３次元物体の識別能力に応じて削減することができる。すると、相関検出器の数が減り、コストの削減ができる。また、相関検出部７から出力されるベクトルＡの次元数が減ることで、後に述べる識別部の規模が小さくできるため、コストの削減ができる。
【００４３】
次に、本３次元物体識別装置の識別部８の構成を図８を用いて説明する。
相関検出部７から出力されたベクトルＡと、予め記憶装置８ｃに登録されている３次元物体の情報とが類似度計算器８ａに入力される。類似度計算器８ａは入力されたベクトルＡと登録されている３次元物体の情報に基づいて類似度を計算する。判別器８ｂは類似度に基づいて識別対象の３次元物体について後述する識別処理を行い、識別結果を出力する。
【００４４】
なお、記憶装置８ｃに登録されている３次元物体の情報は、識別対象物の長期的な形状変化に対応するため、適当な時期を見計らって更新することができる。
【００４５】
本３次元物体識別装置の識別部８の識別処理の一例を図９を用いて詳細に説明する。
相関検出部７のＳ個の相関検出器によって検出された反射光量を成分とするＳ次元のベクトル空間上のベクトルＡが識別部８に入力される場合について以下説明する。ここで、３次元物体集合Ｐは３次元物体の集合を示し、Ｐ1、Ｐ2、・・・は、各３次元物体を示している。また、登録ベクトル集合Ｂは、３次元物体集合Ｐに対応するベクトル集合であり、Ｂ1、Ｂ2、・・・は、各３次元物体に対応するベクトルを示している。この登録ベクトル集合Ｂは、Ｓ次元のベクトル空間上のベクトルの集合であり、記憶装置８ｃに記憶されている。
【００４６】
登録ベクトル集合Ｂは、図９の矢印で示す処理Ｒｕにより得られるものである。
処理Ｒｕでは、予め識別するために登録しておく３次元物体集合Ｐの要素となる３次元物体Ｐiについて、ベクトルＡを検出する処理と同様にして、光を照射して相関検出部７から複数の反射光量を成分とするベクトルを検出し、得られたベクトルを要素Ｂiとして記憶装置８ｃに記憶する。また、処理Ｒｕにおいては、３次元物体Ｐiについて、ベクトルＡを検出する処理と同様にして相関検出部７によりベクトルを複数回検出し、得られたベクトルの各成分の平均値ベクトルを要素Ｂiとして記憶装置８ｃに記憶するようにしてもよい。さらに、登録した識別対象物の長期的な形状の変化に対応するため、処理Ｒｕは適当な時期に再実行され、登録情報であるベクトルＢｉを更新することもできる。このときの処理Ｒｕに際して、用いるベクトルＡの検出は、後述する実際の識別操作の中で検出したベクトルＡを用いることができる。
【００４７】
類似度計算器８ａは、識別対象の３次元物体Ｐjが３次元物体集合Ｐの要素となる３次元物体のどれであるかを識別する場合には、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡと、登録ベクトル集合Ｂのすべての要素ＢiとのＳ次元空間でのユークリッド距離Ｃiを類似度として算出し、これを類似度集合Ｃの要素とする。ここで、Ｃi＝｜Ａ−Ｂi｜である。類似度計算器８ａは類似度集合Ｃを判別器８ｂへ出力する。
【００４８】
また、類似度計算器８ａは、３次元物体集合Ｐの１つの要素の３次元物体Ｐiと識別対象の３次元物体Ｐjとが同一か否かを識別する場合には、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡと、３次元物体Ｐiに対応する要素ＢiとのＳ次元空間でのユークリッド距離Ｃiを類似度として算出し、これを判別器８ｂへ出力する。ここで、Ｃi＝｜Ａ−Ｂi｜である。
【００４９】
判別器８ｂは、識別対象の３次元物体Ｐjが３次元物体集合Ｐの要素となる３次元物体のどれであるかを識別する場合には、類似度集合Ｃから一番類似していることを示す値の要素Ｃkを選択し、要素Ｃkに対応する３次元物体Ｐkを識別対象の３次元物体Ｐjであるとする判定結果を出す。ここで、類似度集合Ｃの要素Ｃiはユークリッド距離であるので、値が小さい方が類似していることを示している。もし、類似度集合Ｃの中に同値の要素がありかつそれらが、一番類似していることを示す値であった場合は、再度、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡを得て、類似度集合Ｃを計算し直す。また、判別器８ｂは、３次元物体集合Ｐの１つの要素の３次元物体Ｐiと識別対象の３次元物体Ｐjとが同一か否かを識別する場合には、類似度が予め設定された所定の閾値より類似していることを示す値であれば、「同一」と判定し、一方、閾値より類似していないことを示す値であれば「不同」と判定して、判定結果を出力する。もし、類似度が閾値と同値ならば、再度、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡを得て、新たに類似度を計算し判定結果を出力することができる。
このように、類似度としてユークリッド距離を用いると、比較的簡単な処理で３次元物体の識別をする。
【００５０】
識別部８の識別処理の他の例について図１０を用いて説明する。
図１０中の矢印で示す処理Ｒｍでは、予め登録する次元物体集合Ｐの要素となる３次元物体Ｐiについて、光を照射して相関検出部７から出力されるベクトルを複数回求め、複数回求めたベクトルの各成分の平均値ベクトルＢｍiを求める。この平均値ベクトルの集合をＢｍとする。また、この処理と共に、求めた複数のベクトルに関する分散・共分散行列Σiを求め、分散・共分散行列Σiの逆行列Σi^-1を求める。この逆行列を要素とする集合をＢｓとする。次いで、これら２つの集合ＢｍおよびＢｓを記憶装置８ｃに記憶する。さらに、登録した識別対象物の長期的な形状の変化に対応するため、処理Ｒｍは適当な時期に再実行され、登録情報である平均値ベクトルＢｍｉおよび分散・共分散行列Σiの逆行列Σi^-1を更新することもできる。このときの処理Ｒｍに際して、用いるベクトルＡの検出は、後述する実際の識別操作の中で検出したベクトルＡを利用することができる。
【００５１】
類似度計算器８ａは、識別対象の３次元物体が３次元物体集合Ｐの要素となる３次元物体のどれであるかを識別する場合には、相関検出部７の出力ベクトルＡを横ベクトルとし、集合ＢｍおよびＢｓの３次元物体集合Ｐの要素である３次元物体Ｐiに対応する各要素Ｂｍiおよび各逆行列Σi^-1を記憶装置８ｃから呼び出し、マハラノビスの距離Ｃiを類似度として計算し、それらを類似度集合Ｃの要素とする。
ここで、マハラノビスの距離Ｃiは、
Ｃi＝（Ａ − Ｂｍi）Σi^-1（Ａ − Ｂｍi）^T ［Ｔは転置］
である。
集合ＢｍおよびＢｓに含まれるすべての要素について計算して、類似度集合Ｃを求めて判別器８ｂに出力する。
【００５２】
また、類似度計算器８ａは、３次元物体集合Ｐの１つの要素の３次元物体Ｐiと識別対象の３次元物体とが同一か否かを識別する場合には、３次元物体Ｐiに対応する要素Ｂｍiおよび逆行列Σi^-1を記憶装置８ｃから呼び出し、マハラノビスの距離Ｃiを類似度として計算し、判別器８ｂへ出力する。
ここで、マハラノビスの距離Ｃiは、
Ｃi＝（Ａ − Ｂｍi）Σi^-1（Ａ − Ｂｍi）^T ［Ｔは転置］
である。
【００５３】
判別器８ｂは、識別対象の３次元物体が３次元物体集合Ｐの要素となる３次元物体のどれであるかを識別する場合には、類似度集合Ｃの一番類似していることを示す値の要素Ｃkを選択し、要素Ｃkに対応する３次元物体Ｐkを識別対象の３次元物体であるとする判定結果を出す。もし、類似度集合Ｃの中に同値の要素がありかつそれらが、一番類似していることを示す値であった場合は、再度、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡを得て、類似度集合Ｃを計算し直す。ここで、類似度集合Ｃの要素Ｃiはマハラノビス距離であるので値が小さい方が類似していることを示している。また、判別器８ｂは、３次元物体集合Ｐの１つの要素の３次元物体Ｐiと識別対象の３次元物体とが同一か否かを識別する場合には、類似度が予め設定された所定の閾値より類似していることを示す値であれば、「同一」と判定し、一方、閾値より類似していないことを示す値であれば「不同」と判定して、判定結果を出力する。もし、類似度が閾値と同値ならば、再度、識別対象の３次元物体に光を照射して得られた相関検出部７のベクトルＡを得て、新たに類似度を計算し判定結果を出力する。
【００５４】
このように、類似度としてユークリッド距離を用いると、比較的簡単な処理で３次元物体の識別をすることができる。また、類似度としてマハラノビス距離を用いると、発光素子および受光素子と識別対象の３次元物体との幾何学的位置関係で決まるベクトルＡの各成分および各成分間のバラツキ度合いを正規化できるため、類似度としてユークリッド距離を用いる場合よりもより正確な識別判定を下すことができる。このため、発光素子および受光素子と識別対象物となる３次元物体との位置関係の自由度が増す。また、発光素子および受光素子を、情報機器等のユーザと接するユーザインターフェイス装置に設置する場合に、ユーザに対して違和感の無い場所に設置することができるので、ユーザが快適に情報機器等を操作することができる。
【００５５】
本３次元物体識別装置の識別部８は、より一般的には、ベクトルの弁別を行なう操作であるため、ベクトルの弁別を行なう他の方法、例えば、基準となるベクトルとの角度による弁別あるいはニューラルネットワークによる弁別等の方式を採用することも可能である。
【００５６】
以上のように、本３次元物体識別装置によれば、小型且つ簡便な構成で３次元物体を識別することができ、３次元物体が複数登録してあれば、識別対象の３次元物体が登録してある３次元物体のなかのどれであるかを識別することができ、また、登録してある３次元物体のなかの一つを指定して、識別対象の３次元物体が同一の物であるか否かを識別できる。
【００５７】
上記実施の形態において、動いている３次元物体により識別処理を行う場合には、３次元物体が動いている際の所定の時間間隔おきに３次元物体のベクトル等の情報を予め検出し、それらを登録しておくようにすればよい。このようにすると、当該登録された複数の情報と、識別対象の３次元物体から得られる情報とに基づいて、３次元物体およびその動きの状態を識別することができ、また、この際に識別対象の３次元物体に対して識別処理を連続して行なうことで、識別対象の３次元物体の動きを識別することもできる。
【００５８】
また、本３次元物体識別装置により識別対象の３次元物体として、利用者の体の一部あるいは全体を用いるようにすると、パソコン等の情報機器の正当な利用者か否かを識別でき、正当な利用者以外の不正使用を防止することができる。識別対象の３次元物体とする体の一部は、手のひら、指、頭部、鼻または耳介等、発光素子によって照射された光の反射光を受光素子で検出できる部位であればよい。
【００５９】
また、上記実施の形態において、受光素子および発光素子が収容される部材を他の各部を収容する部材と異ならせるようにすると、受光素子および発光素子の設置の自由度を向上させることができる。また、類似度検出部７は電子回路として実現することができるが、アナログ信号をディジタル化するようにすると、ＤＳＰ（ディジタル信号プロセッサ）あるいは汎用プロセッサによるディジタル信号処理プログラムにより実現することができる。また、識別部８は情報機器のソフトウエアとして実現することができる。いずれにせよ、各機能部の構成は、コスト、設計の容易さおよび形状の制限等を考慮して現実に即して決めることができる。
【００６０】
図１１は、人間の右手の形を識別するために用いる本３次元物体識別装置の発光素子および受光素子を収容する部材の構成例を示している。図中の白丸印は発光素子を示し、黒丸印は受光素子を示している。
金属あるいはプラスチック等でできた基板２５に、発光ダイオード２６とフォトダイオード２７とを、それぞれ主たる発光方向および主たる受光方向が基板２５と垂直になるように複数配置している。また、基板２５は、人差し指を置く窪み２８、中指を置く窪み２９および薬指を置く窪み３０を有しており、これら窪み２８、２９、３０により、基板２５上に常に同じ位置および状態で利用者が右手を置けるようになっている。図１２は、利用者が右手３１を置いた状態を示している。この例では、右手の形を識別する構成となっているが、当然左手の形を識別する構成も同様にして実現できる。
【００６１】
次に、本３次元物体識別装置の発光素子および受光素子を情報機器のユーザインターフェース装置に組み込んだ例を以下に説明する。
図１３は、本３次元物体識別装置の発光素子および受光素子を情報機器のキーボードに組み込んだ例を示している。キーボード本体３２のキー同士の隙間に、複数の発光ダイオード３３およびフォトダイオード３４を埋め込んでいる。したがって、キーボードの使用に関しては、利用者に違和感を与えることがない。
【００６２】
キーボードを打つ場合には、通常利用者はホームポジションと言われる位置に指を置く。キーボード、椅子、机およびディスプレイが同一であり、さらにそれらの位置関係も変わらなければ、指をおいた際の指の位置および角度は同一の利用者であればほぼ一定である。一方、利用者が異なれば、指の大きさおよび形状が異なり、さらに同一の操作環境であっても指を置く位置や角度が異なる。このことから、利用者がキーボードに置く指により、各個人の識別を行うことができる。
【００６３】
図１３により説明した３次元物体識別装置では、識別精度を上げるため、キーボードの打鍵と識別のための３次元形状データあるいは識別に関するデータの取りこみタイミングを連動させる。打鍵動作時は、個人によって異なる打鍵状態である手の形をするため、識別精度が上がる。たとえば、通常のキーボードでは中段の左端にある”Ａ”のキーが押されると同時に手の形を３次元物体として識別するようにすると、利用者の動作が識別に作用するため、他人による模倣が困難となる利点がある。
【００６４】
図１４はそのためのタイミングを示している。図１４に示したロジック信号Ｊはキーボード上のキーが打鍵されているときＨレベルでそれ以外のときはＬレベルとなる信号であり、ロジック信号Ｋは、キーボードを打鍵している指の識別を行なっている状態をＨレベルで示しそれ以外のときはＬレベルとなっている。ロジック信号Ｊが立ち上がると同時にロジック信号Ｋがある決められた時間間隔ＴだけＨレベルとなり、この間にキーボードを打鍵している指の３次元形状により識別を行なう。実際には、相関検出部７のベクトルＡ、受光素子の出力波形、あるいは図８を用いて説明した類似度のいずれかを一時的にメモリ装置などに記録し、この記録されているデータを用いて指の３次元形状の識別をする。または、常に識別動作状態にしておき、その結果をロジック信号ＫがＨレベルである時に一時的なメモリ装置に記憶し、あとにそれを最終結果とする。何れにしても、打鍵に連動して指の３次元形状を捕らえて識別を行なう。
【００６５】
図１５は、本３次元物体識別装置の発光素子および受光素子を、情報機器にデータを入力するマウスに組み込んだ例を示している。マウス本体３５の上部に複数の発光ダイオード３６およびフォトダイオード３７を埋め込んでいる。同じ利用者がマウス３５を握るときの角度や位置はほぼ一定である。また、異なる利用者の間では手の大きさおよび形状が異なり、さらにマウスを握る指の位置や角度が異なる。このため、利用者が普通にマウスを握った際の指の形状により、個人の識別を行うことができる。
【００６６】
本実施の形態による発光ダイオード３６およびフォトダイオード３７は、マウス３５の手のひらを置く部分の曲面形状に合わせて３次元的に分布して配置されている。但しこれに限られず、例えば図１６に示すような直方体状の筐体を有するマウス３５であって、手のひらを置く平面状領域上に発光ダイオード３６およびフォトダイオード３７を１次元的に交互に配置するような構成も採り得る。
【００６７】
図１５に示したマウスに組み込んだ例についての個人の識別実験を行なった結果を以下に示す。実験装置は、発光素子として赤外線発光ダイオード、受光素子としてフォトダイオードをそれぞれ４個持ち、図３に示した基本構成を持つ。関数発生器としては図４に示したＭ系列符号による関数発生器６を用い、ロジック信号出力により発光素子である赤外線発光ダイオードを点滅する変調操作を行なう。相関検出器は図６に示したものと同様の検出系を有している。また、識別処理に用いる類似度としては、マハラノビスの距離を用いている。
【００６８】
実験の被験者は６名、実験場所は通常のオフィス環境であり、蛍光灯による照明下であり、実験装置のマウスとパーソナルコンピュータのＣＲＴディスプレイの位置は通常用いる位置関係である。そのため、実験装置ではあるが、外見上、操作上、被験者は全く通常のパーソナルコンピュータと同じように見える。
【００６９】
まず、被験者6人に対して、識別のための登録作業を行なう。登録作業は、図１０を用いて説明した処理Ｒｍであり、各被験者に対して２０回マウスを握る動作をさせ、手が静止した状態の相関検出部７からの出力ベクトルを検出し、その平均値ベクトルＢｍiおよび分散・共分散行列Σiをそれぞれの被験者について求め、さらに分散・共分散行列Σiの逆行列Σi^-1を求める。
【００７０】
各被験者の平均値ベクトルおよび分散・共分散行列の逆行列に添え字として被験者番号を付加し、平均値ベクトルについてはＢｍ1、Ｂｍ2、Ｂｍ3、Ｂｍ4、Ｂｍ5、Ｂｍ6とし、分散・共分散行列の逆行列についてはΣ1^-1、Σ2^-1、Σ3^-1、Σ4^-1、Σ5^-1、Σ6^-1とする。これら、各被験者についての平均値ベクトルおよび分散・共分散行列の逆行列を登録情報としてき記憶装置に記憶しておく。
【００７１】
ここで、被験者番号１の被験者について、他の５人の被験者から識別できるか否かを試みた。被験者番号１の登録情報は、Ｂｍ１およびΣ１^-1である。これらの情報を用いてサンプルのマハラノビス距離を計算し、この値を類似度とする。この類似度がある閾値より小さければ本人と判断し、大きければ他人とする。各被験者についてマウスを握る動作をしてもらい、動作を静止させた状態での相関検出部７からの出力ベクトルを検出し、これを一つのサンプルとしてその類似度を求めた。図１７は被験者番号１のサンプルとそれ以外の被験者のサンプルについて、類似度を求めてヒストグラムにしたものである。図１７では被験者番号１のサンプルのバーには右下がりのハッチングを施し、それ以外の被験者のサンプルには左下がりのハッチングを施している。さらに、被験者番号１のサンプルとそれ以外の被験者のサンプルが重なる部分には斜め十時格子のハッチングを施している。
【００７２】
この実験において、閾値を８０とすると、本人であっても本人と判断されない誤りが生じる。また、閾値を１００とすると他人を本人として受け入れてしまう誤りが生じる。しかし、大部分のサンプルは正確に識別されることが確認できる。
【００７３】
閾値については、他人の受け入れ誤りをなくす方向で低く設定することもできる。また、本人が拒否される誤りを防ぐため、高く設定することもできる。いずれにせよ、識別の目的に応じて閾値の調整を行なうことができる。
マウスを握った人物が被験者６人のうちどの被験者であるかを本実験装置で識別する実験を行った。表１は被験者番号１の被験者について、自分自身の登録情報による類似度Ｃ１、および被験者番号２〜６の登録情報による類似度Ｃ２〜Ｃ６を表わしている。
【００７４】
【表１】

【００７５】
一つのサンプルについてＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５およびＣ６を計算し、これらが図１０で説明した類似度集合となる。このサンプルは被験者番号１の人物によるものであるから、これらのうち、Ｃ１が他の要素に比べて、類似していることを示す数値、この場合は他の要素に比べて、小さい数値になっていれば、正しく被験者を識別したことになる。この表の結果によれば、サンプル番号１３を除いては、すべて正しく識別していることを示した。他の５人の被験者について、上記と同様な識別実験を行なった結果、全員のサンプル全部についての識別の正解率は９７％であった。より確実な識別を求めるためには、一つのサンプルについての類似度集合のなかで類似度が接近している要素が複数あった場合は、再度サンプルを取り直す等の処置によって、正解率を１００％にすることが可能である。
【００７６】
このように、本３次元物体識別装置によれば、マウスを握っている利用者が、予めマウスを握って指の形状に関する情報を記憶させておいた正当な利用者であるか否かを識別することができる。また、正当な利用者が複数人分記憶されていれば、そのうち誰がマウスを操作しているかを識別できる。このように、マウスに発光素子および受光素子を組み込むと、利用者に対してほとんど違和感を与えることなく、正当な利用者か否かの判断が下せる。
ところで、利用者の入力装置に対する入力動作に伴う瞬間の姿勢（手や指等身体の一部の形状も含む）を検出したところ、その姿勢を強制的に静止させた状態で検出するよりも、利用者の特徴が安定して表れることがわかった。つまり、例えばマウスを握る指の形状のばらつきよりも、ディスプレイ上のポインタを移動するためにマウスを動かして止めた動作の直後の状態や、マウスをクリックした動作の直後の状態の方がその個人毎のばらつきは少なくなり、形状データは比較的安定して得られる。このため、利用者毎の特徴の差が明確となり、より個人の識別能力を高めることができる。
【００７７】
そこで、図１５で示したマウスに組み込んだ例に関していえば、さらに個人の識別精度を向上させるには、利用者のマウスを握る指の形状がマウスに対して安定して同じ位置関係にあった方がよい。そのために、マウスのクリックと識別のための３次元形状データあるいは識別に関するデータの取りこみタイミングを連動させる。すなわち、マウスを握る指の形はマウスを動かしたり、クリックするために変化するが、例えばディスプレイ上に表示されたボタンを押す動作に際し、ディスプレイ上に表示されたマウスのポインタを、そのボタン上に移動した直後のマウスをクリックする直前には、マウスを握る指の形状とマウスが安定して同じ位置関係になる。そこで、このときに指の３次元形状の識別をする。すなわち３次元形状データとなる相関検出部７のベクトルＡ、受光素子の出力波形、あるいは図８を用いて説明した類似度を一時的にメモリ装置などに記録し、この記録されている３次元形状データを用いて指の３次元形状の識別をする。また、装置を常に識別動作状態にしておいて、前記の３次元形状データの取りこみタイミングにおいて、識別結果を一時的なメモリ装置に記憶し、後にそれを最終結果とする。何れにしても、クリックの検出に連動して指の３次元形状を捕らえて識別を行なう。
【００７８】
取りこみタイミングは、マウスを握る指の形状とマウスの位置関係が安定した状態をとらえるようにするため、クリックボタンの押されたことが検出される直前ではなく、指がクリックボタンを押す動作に入る前のマウスのポインタが静止した時点を捕らえてそのときの指の３次元形状を取り込む。これはクリックボタンが押される直前は指がクリック動作をして動いているため、十分高速に検出しないと、検出されたデータのばらつきが大きくなる恐れがあるからである。図１８はその為のタイミング図である。図１８に示したロジック信号Ｐはクリックボタンが押されているときＨレベルでそれ以外の時はＬレベルとなる信号であり、ロジック信号Ｑは、マウスを握る指の識別を行なっている状態をＨレベルで示しそれ以外の時はＬレベルである。ロジック信号Ｐが立ち上がる直前よりＴ１の時間だけ前の時点までのマウスを握る指の３次元形状データをＴ２の時間の間取りこみ、このときに識別を行なう。Ｔ１は０．０５秒から０．２秒の範囲で設定し、Ｔ２は０．０１秒から０．２秒の範囲で設定する。ただし、Ｔ１およびＴ２の値については、利用者それぞれで識別精度を高める最適値が変わるため、適宜調整することができる。
【００７９】
また、マウスをダブルクリックするときは短い時間に２回クリックボタンが押される為、その時の取りこみ動作を防止するように、識別動作を行ったクリックのあと、図１８に示したＴ３の時間は、３次元形状の取りこみ動作を禁止する。複数のクリック動作に伴い、一人の利用者について複数の３次元形状データまたは識別結果を得るが、３次元形状データとしてベクトルＡ、また類似度などのデータを一時的にメモリ装置に記憶し、その後識別をする方法を用いた場合、平均値として一つのベクトルまたは類似度を算出し、これにより指の３次元形状を識別する。
【００８０】
また、個々のクリック動作時に前記のタイミングで識別結果を求め、予め記憶装置に記憶してある３次元形状の相関データの中で、ある時間内で最も一致の回数が多い相関データの指を最終的な識別結果とする。もし、ある時間内での一致回数が最も多い相関データが複数あった場合は、さらに識別結果を求めて、一致回数が多くなるものを求める。
【００８１】
図１８で示したタイミング図では、マウスを握る指の３次元形状データである相関検出部７の出力ベクトルをマウスのクリックボタンが押される前に検出しておく必要がある。そのために３次元形状データとなる相関検出部７のベクトルＡまたは受光素子の出力波形、常に識別動作をさせている場合には類似度あるいはその識別結果の何れかを所定の時間間隔で、あるいは連続的に求めてＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリに記憶し、クリックボタンが押された瞬間に、ＦＩＦＯからの出力として識別のための指の３次元形状データあるいは識別結果を得る。
【００８２】
マウスのクリックとの連動による識別について、マウスを握る指の３次元形状のある一瞬のタイミングを複数使って識別をすることについて述べたが、次に一つのクリックについて、それぞれ形の異なる２つの瞬間の指の３次元形状を捕らえて識別結果を求める方法について説明する。図１８に示すロジック信号Ｒは、ロジック信号Ｑと同様にマウスを握る指の３次元形状を取り込んでいる状態をＨレベルで示しそれ以外の時はＬレベルである。マウスが押されたことを示すロジック信号ＰがＨレベルになった直後に指の３次元形状の取りこみを行なうことを示す。この例では、前述のロジック信号Ｑがクリックする前のマウスを握る指の形状を識別するタイミングを示し、ロジック信号Ｒはクリックボタンを押した状態でのマウスを握る指の形を識別するタイミングを示す。このように１回のクリックと連動して同一の指のそれぞれ異なる形について２回の識別を行なう。
【００８３】
識別を行なうために記録する指の３次元形状に関わるデータが、相関検出部７の出力ベクトルであるベクトルＡであるとすると、ロジック信号Ｑで求めたベクトルＡをベクトルＡ１としロジック信号Ｒで求めたベクトルＡをベクトルＡ２とする。ベクトルＡの次元数がＳであるとし、ベクトルＡ１とベクトルＡ２の各要素を連結して２×Ｓ次元のベクトルＡ３を定義する。また、ベクトルＡ１とベクトルＡ２のうちクリック動作により変化する成分のみをベクトルＡ２から抽出して、これをベクトルＡ１の要素に連結してベクトルＡ３を定義することもある。この例における識別動作は、ベクトルＡ３について、これを前述の識別動作に関する一連の類似度計算およびその後の判別と同様な方法でベクトルＡと同様に扱い識別を行なう。そのため、単独で求めた場合に比べて、識別に供するデータの数は多くなり、識別精度が向上する。
【００８４】
ロジック信号Ｑおよびロジック信号Ｒで示したタイミングでの識別を独立に行なう。ただし、双方のタイミングで識別された人物が同一の人物の指であることを示した場合は、最終結果として、その同一人物の指であることを識別結果とする。また、ある特定の人物の指の形を指定して真偽を判定する場合には、双方のタイミングでの識別結果が真となったときに、最終結果を真とする。この場合も、同一人物の指について異なる形で２回識別を行なうため、人物を対象とした場合に識別精度が向上する。
【００８５】
図１９は、本３次元物体識別装置の発光素子および受光素子を情報機器のディスプレイ装置に組み込んだ例を示している。発光ダイオード３８およびフォトダイオード３９をディスプレイ本体４０の四角に組み込んでいる。同じ利用者がディスプレイ４０に対面する位置や角度は周りの状況が変わらなければほぼ一定である。また、利用者が椅子に座る時、あるいは立ち上がる時もほぼ一定の動作をする。
【００８６】
本３次元物体識別装置では、識別対象となる３次元物体は利用者の体全体であり、且つ動作における利用者の体の状態についても識別するようになっている。具体的には、正当な利用者がディスプレイを正視している状態、ディスプレイ作業用の椅子に座ろうとした状態、その瞬間から椅子に腰掛けるまでの間のある時間間隔おきに観測した連続した複数の状態、椅子から立ちあがろうとした状態、その瞬間から椅子から立つまでの間のある時間間隔おきに観測した連続した複数の状態等、ディスプレイの前での正当な利用者の動作における複数の状態の３次元形状を予め記憶装置に記憶させるようにしている。本３次元物体識別装置においては、椅子に座ろうとした状態、座る途中の状態および座った後の状態に対して識別を行って識別結果を得るようにしている。このような一連の状態の識別結果を用いることにより、静止した３次元物体として、人物の形状を識別することにより、より精度の高い識別結果が得られる。また、このようにすると、利用者に対して全く違和感を与えることなく、正当な利用者かどうかの判断が下せる。
【００８７】
本発明の３次元物体識別装置は、さらに、農作物あるいは工業製品などの３次元形状の識別等にも応用できる。
また、上記実施の形態では、３次元物体識別装置の発光部と受光部とを組み込んだキーボード入力装置とマウス、及びディスプレイ装置を例にとって説明したが、本発明はこれに限られない。パーソナルコンピュータ以外の他の情報機器、例えば、テレビジョン（ＴＶ）受像機、オーディオ機器、ビデオ機器等の本体部、あるいはそれらに用いられるリモコン等のように、手で掴んだり握ったりして使用する機器に本発明の３次元物体識別装置の発光部と受光部とを組み込んで、３次元物体識別を行うようにすることも可能である。またあるいは、一般公衆回線に接続されている電話機や、携帯電話、ＰＨＳ（パーソナル・ハンディ・ホン）等の手で把持して使用する通信機器等に本発明を適用することが可能である。
【００８８】
【発明の効果】
以上の通り、本発明の３次元物体識別装置によれば、小型且つ簡便な構成で３次元物体を識別することができる。また、３次元物体として人の体の一部あるいは全体を用いる場合において、これらの識別によって利用者の識別を行なうことについて、利用者は特別な操作をする必要がなく、利用者は違和感を覚えることがない。
【図面の簡単な説明】
【図１】本発明の一実施の形態による３次元物体識別装置の一部の外観の構成を示す図である。
【図２】本発明の一実施の形態による３次元物体識別装置の発光素子および受光素子の配置の例を示す図である。
【図３】本発明の一実施の形態による３次元物体識別装置の内部の概要構成を示す図である。
【図４】本発明の一実施の形態による関数発生部の一例を示す図である。
【図５】本発明の一実施の形態による３次元物体識別装置の内部の回路構成例を示す図である。
【図６】本発明の一実施の形態による相関検出器の一例を示す図である。
【図７】本発明の一実施の形態による相関検出部の構成の一例を示す図である。
【図８】本発明の一実施の形態による識別部の構成を示す図である。
【図９】本発明の一実施の形態による識別部の処理の一例を示す図である。
【図１０】本発明の一実施の形態による識別部の処理の他の例を示す図である。
【図１１】人間の右手の形を識別するために用いられる発光素子および受光素子を収容する部材を示す図である。
【図１２】図１０に示す部材に右手を置いた状態を示す図である。
【図１３】本発明の一実施の形態による発光素子および受光素子をキーボードに組み込んだ例を示す図である。
【図１４】本発明の一実施の形態による発光素子および受光素子をキーボードに組み込んだ例におけるタイミングを示す図である。
【図１５】本発明の一実施の形態による発光素子および受光素子をマウスに組み込んだ例を示す図である。
【図１６】本発明の一実施の形態による発光素子および受光素子を組み込んだマウスの変形例を示す図である。
【図１７】被験者番号１のサンプルとそれ以外の被験者のサンプルについて、類似度を求めたヒストグラム
【図１８】本発明の一実施の形態による発光素子および受光素子をマウスに組み込んだ例におけるタイミングを示す図である。。
【図１９】本発明の一実施の形態による発光素子および受光素子をディスプレイに組み込んだ例を示す図である。
【符号の説明】
１ ３次元物体
２、２ａ〜２ｄ 発光素子
３、３ａ〜３ｄ 受光素子
４ 平面板
６ 関数発生部
７ 相関検出部
７０１〜７１６ 相関検出器
７２０ 相関検出器
７ａ 切替部
７ｂ アナログスイッチ
７ｃ オペアンプ
８ 識別部
８ａ 類似度計算器
８ｂ 判別器
８ｃ 記憶装置
９ マルチプレクサ
１０ シフトレジスタ
１１ 排他的論理和回路
１３ コンデンサ
１４ 増幅器
１５、２６、３３、３６、３８ 発光ダイオード
１６、２７、３４、３７、３９ フォトダイオード
１７ コンデンサ
１８ 増幅器
１９ 相関検出器
２０ ＣＲ積分回路
２５ 基板
２８ 人差し指を置く窪み
２９ 中指を置く窪み
３０ 薬指を置く窪み
３１ 右手
３２ キーボード本体
３５ マウス本体
４０ ディスプレイ本体

Claims (32)

1. Ｍ種類（Ｍ≧２）の変調信号を発生する信号発生手段と、
   前記Ｍ種類の変調信号それぞれに基づいて発光するＭ個の発光素子を有し、前記変調信号に基づいた光を３次元物体に射出する発光手段と、
   Ｎ個（Ｎ≧２）の受光素子を有し、前記３次元物体からの反射光を受光して検出信号を生成する受光手段と、
   前記検出信号の１種類と、前記変調信号の１種類との入力に基づいて、当該検出信号と当該変調信号との相関情報を検出する相関検出器をＭ×Ｎ（＝Ｓ）個有し、前記検出信号と前記変調信号との相関情報を検出する検出手段と、
   予め登録されている相関情報と、前記検出された相関情報とに基づいて、前記３次元物体に関する識別処理を行う識別手段とを備え、
   前記相関情報は、前記発光手段から射出されて前記受光手段に受光された前記反射光の反射光量であり、
   前記Ｓ個の相関検出器のそれぞれには、前記検出信号と前記変調信号との異なる組が入力され、
   前記識別手段は、前記Ｓ個の相関検出器から検出されるＳ個の相関関数に基づいて識別処理を行うこと
   を特徴とする３次元物体識別装置。
2. 請求項１記載の３次元物体識別装置において、
   前記検出手段は、前記相関情報を複数回検出し、
   前記識別手段は、予め登録されている前記相関情報と、前記複数回検出された相関情報とに基づいて識別処理を行うことを特徴とする３次元物体識別装置。
3. 請求項１記載の３次元物体識別装置において、
   前記検出手段は、前記相関情報を連続して複数回検出し、
   前記識別手段は、予め登録されている前記相関情報と、前記複数回検出された相関情報とに基づいて３次元物体の動きを識別することを特徴とする３次元物体識別装置。
4. 請求項１乃至３のいずれかに記載の３次元物体識別装置において、
   前記発光手段は、複数の前記発光素子により３次元物体に対して複数の方向から光を射出することを特徴とする３次元物体識別装置。
5. 請求項１乃至４のいずれかに記載の３次元物体識別装置において、
   前記発光素子は、赤外線を発光することを特徴とする３次元物体識別装置。
6. 請求項１乃至５のいずれかに記載の３次元物体識別装置において、
   前記受光手段は、前記受光素子を複数有し、前記反射光を複数の位置で受光することを特徴とする３次元物体識別装置。
7. 請求項１乃至６のいずれかに記載の３次元物体識別装置において、
   前記信号発生手段は、相互相関値がほぼ０となる複数の変調信号を発生することを特徴とする３次元物体識別装置。
8. 請求項７記載の３次元物体識別装置において、
   前記複数の変調信号は、それぞれタイミングが異なる複数のダイパルス列の信号、それぞれの周期が異なる複数の三角関数の信号、同周期であるが位相が９０度ずれた複数の三角関数の信号、それぞれのタイミングが異なる複数のバースト正弦波の信号、それぞれのタイミングが異なる複数の疑似雑音符号（ＰＮ符号）の信号、一つのＭ系列発生器のそれぞれのタップから取り出した複数のＭ系列符号の信号、あるいは相互相関値がほぼ０となる複数の直交符号の信号であることを特徴とする３次元物体識別装置。
9. 請求項１乃至８のいずれかに記載の３次元物体識別装置において、
   前記相関検出器はアナログ４象限掛算器であることを特徴とする３次元物体識別装置。
10. 請求項１乃至８のいずれかに記載の３次元物体識別装置において、
    前記相関検出器は、
    反転入力端子と非反転入力端子とを有する演算増幅器と、
    前記変調信号に基づいて前記検出信号を前記反転入力端子または前記非反転入力端子に切替えて入力する切替手段とを有することを特徴とする３次元物体識別装置。
11. 請求項１乃至８のいずれかに記載の３次元物体識別装置において、
    前記相関検出器の入力部分にマルチプレクサを設け、時分割処理を行なうことを特徴とする３次元物体識別装置。
12. 請求項１乃至１１のいずれかに記載の３次元物体識別装置において、
    前記識別手段は、
    相関情報を記憶する記憶装置と、
    前記記憶装置に記憶された前記相関情報と、前記検出手段によって検出された前記相関情報とに基づいて類似度を算出する類似度計算器と、
    前記類似度に基づいて前記３次元物体の識別を行う判別器とを有することを特徴とする３次元物体識別装置。
13. 請求項１２記載の３次元物体識別装置において、
    前記検出手段は、１つの３次元物体に対して複数の相関情報を検出し、
    前記記憶装置は、前記検出手段によって予め検出された前記複数の相関情報を記憶し、
    前記類似度計算器は、予め記憶された前記複数の相関情報からなるベクトルと、前記検出手段により後に検出された前記複数の相関情報からなるベクトルとのユークリッド距離を類似度として算出することを特徴とする３次元物体識別装置。
14. 請求項１３記載の３次元物体識別装置において、
    前記検出手段は、１つの３次元物体に対して相関情報を複数回検出し、
    前記記憶装置は、前記検出手段によって複数回検出された前記相関情報の平均値を記憶することを特徴とする３次元物体識別装置。
15. 請求項１２記載の３次元物体識別装置において、
    前記検出手段は、１つの３次元物体に対して複数の相関情報を検出し、
    前記記憶装置は、前記検出手段によって予め検出された複数の相関情報からなるベクトルに基づいて得られる平均値ベクトルと分散・共分散行列の逆行列とを記憶し、
    前記類似度計算器は、前記検出手段によって後に検出された前記複数の相関情報からなるベクトルと、前記平均値ベクトルおよび分散・共分散行列の逆行列とにより算出されるマハラノビスの距離を類似度として算出することを特徴とする３次元物体識別装置。
16. 請求項１２乃至１５のいずれかに記載の３次元物体識別装置において、
    前記判別器は、算出された複数の前記類似度の中の最も類似していることを示す類似度が算出された前記記憶された相関情報に対応する３次元物体と、前記後に検出された相関関数に対応する３次元物体とが同一であると識別することを特徴とする３次元物体識別装置。
17. 請求項１２乃至１５のいずれかに記載の３次元物体識別装置において、
    前記判別器は、前記類似度が予め設定した所定の閾値を超え類似していることを示せば、前記記憶された相関情報に対応する３次元物体と、前記後に相関関数が検出された３次元物体とが同一であると識別することを特徴とする３次元物体識別装置。
18. 請求項１乃至１７のいずれかに記載の３次元物体識別装置において、
    前記発光手段および前記受光手段は、指を置くための所定の部材に組み込まれており、
    前記所定の部材は、指を置く窪みを有することを特徴とする３次元物体識別装置。
19. 請求項１乃至１８のいずれかに記載の３次元物体識別装置において、
    前記発光手段および前記受光手段は、情報機器のユーザインターフェース装置に組み込まれていることを特徴とする３次元物体識別装置。
20. 請求項１９項記載の３次元物体識別装置において、
    前記ユーザインターフェース装置はキーボード入力装置であり、キーボードの打鍵と連動して３次元物体識別を行なうことを特徴とする３次元物体識別装置。
21. 請求項１９項記載の３次元物体識別装置において、
    前記ユーザインターフェース装置はマウスであり、前記マウスに設けられたクリックボタンによる入力と連動して３次元物体識別を行なうことを特徴とする３次元物体識別装置。
22. 請求項２１項記載の３次元物体識別装置において、
    前記クリックボタンによる入力時点から所定時間ずれた時点で３次元物体識別を行なうことを特徴とする３次元物体識別装置。
23. 情報機器に対してデータを入力するためのキーボード入力装置において、
    請求項１乃至１８のいずれか１項に記載の３次元物体識別装置の発光手段および受光手段が組み込まれていることを特徴とするキーボード入力装置。
24. 情報機器に対してデータを入力するためのマウスにおいて、
    請求項１乃至１８のいずれか１項に記載の３次元物体識別装置の発光手段および受光手段が組み込まれていることを特徴とするマウス。
25. 入力作業者の入力動作によって、当該入力動作に対応した情報の入力を行う汎用入力手段と、
    前記汎用入力手段から入力された情報を処理する処理部と、
    前記入力作業者に光を照射する発光手段と、
    前記入力作業者からの反射光を受光する受光手段と、
    前記入力作業者が前記汎用入力手段を使用するときの身体姿勢に応じた光量情報を前記受光手段から取得し、当該光量情報と予め登録された登録情報から前記入力作業者に関する識別処理を行う識別手段と備え、
    前記光量情報及び前記登録情報は、前記発光手段から照射されて前記受光手段に受光された前記反射光の反射光量であること
    を特徴とする情報機器。
26. 請求項２５記載の情報機器において、
    前記識別手段は、前記汎用入力手段に対する特定の入力動作時に対応した光量情報を用いて識別処理を行うことを特徴とする情報機器。
27. 請求項２６記載の情報機器において、
    前記特定の入力動作時は、前記入力作業者による前記情報機器への一連の入力動作中であって、前記入力作業者の身体姿勢が制止した瞬間であることを特徴とする情報機器。
28. 請求項２５乃至２７のいずれか１項に記載の情報機器において、
    前記汎用入力手段は、マウスであることを特徴とする情報機器。
29. 請求項２５乃至２７のいずれか１項に記載の情報機器において、
    前記汎用入力手段は、キーボードであることを特徴とする情報機器。
30. 情報機器に情報を入力するための汎用入力装置において、
    請求項２５記載の情報機器の汎用入力手段として接続され、前記受光素子及び前記発光素子が一体に設けられたことを特徴とする汎用入力装置。
31. 前記汎用入力装置は、マウスであることを特徴とする請求項３０記載の汎用入力装置。
32. 前記汎用入力装置は、キーボードであることを特徴とする請求項３０記載の汎用入力装置。

Images