JP3763409B2

JP3763409B2 - ３次元位置入力デバイス

Info

Publication number: JP3763409B2
Application number: JP2002087342A
Authority: JP
Inventors: 宏正鈴木; 真一福重
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2002-03-27
Filing date: 2002-03-27
Publication date: 2006-04-05
Anticipated expiration: 2022-03-27
Also published as: JP2003280808A

Description

【０００１】
【発明の属する技術分野】
本発明は、単一方向から撮影された画像により３次元位置を入力する３次元位置入力デバイスに関する。
【０００２】
【従来の技術】
近年、ＣＡＤやゲームソフト等の各種の３次元アプリケーションが開発されているが、それらの入力用装置として、マウスやタブレット等の２次元入力デバイスを用いるのが未だ主流となっている。しかし、２次元入力デバイスによって３次元位置データを入力することは、直接的、直感的な入力ができない欠点がある。そこで、３次元データを直接３次元の入力操作で入力するための３次元位置入力デバイスが種々提案されている（例えば、特開平５−１２７８０９号、特開平５−２６５６３７号、特開平７−１７５５８５号）。
【０００３】
特開平５−１２７８０９号の「三次元空間座標入力装置」は、図６に模式的に示すように、固定された光５８の発光部分５１と、これにある距離を隔てて固定された受光部分５２と、空間を移動する物体に設けられた球面反射部分５４と、空間のある位置に設けられた反射角度を変更できる反射鏡５５と、反射鏡の駆動装置５６とを有し、発光部分５１の光５８が反射鏡５５で反射されて間接的に受光部分５２に入射するように反射鏡５５の回転角度を変更し、発光部分５１と受光部分５２の距離、反射鏡５５と受光部分５２の距離、および反射鏡５５の回転角度等より物体の３次元位置を演算するものである。
【０００４】
特開平５−２６５６３７号の「３次元ポインティング装置」は、図７に模式的に示すように、光検出装置６２の受光素子が配置されている受光面６５に、光発生装置６１の光源部６４から円錐状に光を照射し、受光面６５の受光素子で検出される光の照射範囲の位置および形状に基づいて演算装置６３により、光発生装置６１の光源部６４の３次元位置を算出するものである。
【０００５】
特開平７−１７５５８５号の「コンピュータ多次元位置データ入力装置」は、図８に模式的に示すように、パルス発振が可能な光源を持つ位置データ送信装置７５と、光源からの入力光の入射角を検出するための少なくとも２つの受光素子７０、７１と、各受光素子により検出された光量から位置データ送信装置の３次元位置を算出する演算部を持つ位置データ受信装置７４とを備えるものである。
【０００６】
なお従来の３次元位置入力デバイスとしては、その他に、リンク・ワイヤー機構を用いた機械式、磁気・超音波を用いたもの、対象物の画像を入力するもの等が知られている。
【０００７】
【発明が解決しようとする課題】
上述した従来の３次元位置入力デバイスには以下のような問題点があった。
（１）特開平５−１２７８０９号の「三次元空間座標入力装置」は、任意の広い空間における３次元位置を検出しようとした場合、発光部分５１の光５８が反射鏡５５で反射されて間接的に受光部分５２に入射するように反射鏡５５の回転角度を変更する必要があるため、この変更動作に時間を要し、リアルタイムの３次元位置検出ができない。また、反射鏡を回転させるための駆動系を必要とするため装置が複雑となる。
【０００８】
（２）特開平５−２６５６３７号の「３次元ポインティング装置」は、受光面６５の受光素子で検出される光の照射範囲の位置および形状に基づいて３次元位置を算出するため、位置の検出精度が低い。
【０００９】
（３）特開平７−１７５５８５号の「コンピュータ多次元位置データ入力装置」は、少なくとも２つの受光素子７０、７１（例えばＣＣＤカメラ）を必要とするため、装置が複雑で高価となる。
【００１０】
（４）またリンク・ワイヤー機構を用いた機械式は自由な入力操作ができずかつ広い空間を必要とし、磁気・超音波を用いたものは周囲の磁性体や反射壁の影響を受けやすく、対象物の画像を入力するものは画像処理が複雑で高価となる。
【００１１】
上述したように、従来の３次元位置入力デバイスは、モデリング操作用の３次元インターフェースとしては有用ではあるが、マウス等の２次元入力デバイスと比較すると極めて高価であり大掛かりなものが多いため一般ユーザーに広く浸透しておらず、汎用的なツールとしての立場を確立していないという現状がある。
【００１２】
本発明は上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる３次元位置入力デバイスを提供することにある。
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【課題を解決するための手段】
本発明によれば、所定の３次元領域内を移動可能な先端部（１１）を有する先端部移動手段（１２）と、該先端部を照射する点光源（１３）と、該点光源によって照射された前記先端部の影（１１ａ）を形成する影形成面（１４）と、前記先端部とを同時に撮像する単一の撮像手段（１６）と、該撮像手段で得られた画像から前記先端部の３次元位置を演算する演算装置（１８）と、を備えた、ことを特徴とする３次元位置入力デバイスが提供される。
【００１９】
上記本発明の構成によれば、点光源（１３）と影形成面（１４）で３次元領域内の先端部（１１）の影（１１ａ）を形成し、単一の撮像手段（１６）で前記先端部とその影を同時に撮像し、この画像から、演算装置（１８）により先端部の３次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。またこの構成は影像を利用するため環境光に影響を受けやすいという弱点があるが、装置全体をコンパクトにまとめ一体化することで、その弱点を克服できる。
【００２０】
【発明の実施の形態】
以下、本発明の好ましい実施形態および参考例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００２１】
【００２２】
【００２３】
図１は、鏡像利用方式の３次元位置入力デバイス（参考例）の原理図である。この図において、参考例による鏡像利用方式の３次元位置入力デバイスは、光源移動手段２、反射鏡４ａ、４ｂ、単一の撮像手段６、演算装置８を備える。光源移動手段２は、所定の３次元領域内を移動可能な点光源１を有する。言い換えれば、光源移動手段２は、点光源１を所定の３次元領域内において移動可能にする。光源移動手段２は、この例では点光源１を先端に取り付けた棒状のポインタロッドであり、図に示すように、使用者が手で握り所定の３次元領域内を自由に移動できるようになっている。
【００２４】
また、ポインタロッドには図示しないスイッチが設けられ、点光源１を点灯、点滅、及びその色を信号として切り替えることができる。
【００２５】
２つの反射鏡４ａ、４ｂはこの例では点光源１の移動する３次元領域を挟むように位置し、その内側に設けられた鏡面（反射面）により、点光源１の２つの虚像１ａ、１ｂを形成する。なお、２つの反射鏡４ａ、４ｂに限定されず、３つ以上の反射鏡を用い、３つ以上の点光源１の虚像を形成するように構成してもよい。
【００２６】
この反射鏡４ａ、４ｂは、単一の撮像手段６の２つの仮想撮像手段６ａ、６ｂをそれぞれの鏡面の反対側に設定し、単一の撮像手段６の仮想撮像手段６ａ、６ｂにより単一の点光源１をそれぞれ撮像する状態を鏡面により形成する。
【００２７】
単一の撮像手段６は、例えば、ビデオカメラまたはＣＣＤカメラであり、点光源１の虚像のうち少なくとも２つを同時に撮像するように配置されている。
【００２８】
演算装置８は、例えば画像処理装置あるいはコンピュータであり、撮像手段６で得られた画像から点光源の３次元位置を演算する。この演算装置８では、点光源１、単一の撮像手段６の２つの仮想撮像手段６ａ、６ｂの３点を含むエピポーラ面を定義する。また、このエピポーラ面が撮像画像と交差するエピポーラ線上に沿った１次探索により、点光源１の虚像１ａ、１ｂの光源像の位置を求める。さらにいわゆるエピポーラ方程式及び反射鏡４ａ、４ｂの法線ベクトルを用いて２つの虚像が６ａ、６ｂのいずれの仮想撮像手段から撮像されたものかを判定する。さらに、２方向からの撮像画像から対象物の３次元座標を求める周知の手段を適用して点光源１の３次元位置を演算する。
【００２９】
上述した参考例の構成によれば、反射鏡４ａ、４ｂで３次元領域内の点光源１の虚像１ａ、１ｂを形成し、単一の撮像手段６で点光源１の虚像１ａ、１ｂのうち少なくとも２つを同時に撮像して少なくとも２つの光源像を含む画像を得て、この画像から、演算装置８により光源の３次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。
【００３０】
図２は、本発明による影像利用方式の３次元位置入力デバイスの原理図である。この図において、本発明の影像利用方式の３次元位置入力デバイスは、先端部移動手段１２、点光源１３、影形成面１４、単一の撮像手段１６、演算装置１８を備える。
【００３１】
先端部移動手段１２は、所定の３次元領域内を移動可能な先端部１１を有する。言い換えれば、先端部移動手段１２は、先端部１１を所定の３次元領域内において移動可能にする。先端部移動手段１２は、この例では先端部１１を有する棒状のポインタロッドであり、図に示すように、使用者が手で握り所定の３次元領域内を自由に移動できるようになっている。
【００３２】
点光源１３は、先端部１１を照射する点光源である。影形成面１４は、点光源１３により先端部１１の影１１ａを形成するように、この例では先端部１１の移動する３次元領域の下部に水平に位置する。単一の撮像手段１６は、例えば、ビデオカメラまたはＣＣＤカメラであり、先端部とその影を同時に撮像するように配置されている。演算装置１８は、例えば画像処理装置あるいはコンピュータであり、撮像手段１６で得られた画像から点光源の３次元位置を演算する。
【００３３】
上述した本発明の構成によれば、点光源１３と影形成面１４で３次元領域内の先端部１１の影１１ａを形成し、単一の撮像手段１６で先端部１３とその影１１ａを同時に撮像し、この画像から、演算装置１８により先端部の３次元位置を演算することができる。従って、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる。
【００３４】
（２方式の実装）
上述した空間解像度の評価結果に基づき、鏡像利用方式と影像方式の２つについて実装を行った。それぞれの方式の概観は図１及び図２のようになる。
【００３５】
図１の鏡像利用方式は、複数台のカメラを用いた３次元入力システムと同じ状態を鏡面を利用することで作り出す方式である。カメラ座標系に対する鏡面の法線および位置ベクトルを、あらかじめ求めておき、それらの値を利用することで３次元座標の推定を行う。３次元のポイントには図１に示したような、点光源１を先端に取り付けたポインタ２を用いる。光源はユーザーが自由に点灯、点滅させることが可能であり、それらの光源の色、点灯、点滅を信号として切り替えることで、計算機内のモデルに対する操作に幅広い機能性を付加することが可能となる。
【００３６】
図２の影像利用方式は、ポインタの先端１１と、固定された点光源１３によって床面１４に出来たポインタの影１１ａとの位置関係により３次元座標を推定する方式である。またこの方式ではポインタ１２を用いず、直接指の先端の座標を入力することも可能である。本発明では、更に、指の「つまむ」「回す」といった動作を読み取り、入力操作の機能拡張を実現している。この方式は影像を利用するため環境光に影響を受けやすいという弱点があるが、装置全体をコンパクトにまとめ一体化することで、その弱点を克服することができる。
【００３７】
（入力実験および操作性の評価）
以上、本発明で開発したポインタデバイスを用いて、プリミティブ形状の生成、平行移動、回転、また曲面や曲線の生成、変形といった操作実験を行い。２次元デバイスとしてのマウスと操作性の比較を行った。この結果、ＣＣＤカメラによる雑音のため、わずかなぶれが見られるものの、非常に精度の高い動作認識を実現することが出来た。特に２次元デバイスでは３次元空間内に直接的に曲線や曲面を入力することは出来ない為、本発明の適用で、よりイメージに近い形状を生成することが可能となる。
【００３８】
図３は、参考例による鏡像利用方式の３次元位置入力デバイスの構成を示す図である。この図において、（Ａ）は外観図、（Ｂ）は内部模式図である。図３（Ａ）に示すように、外観はマウスパッドをドーム状カバーで覆うような形態であり、内部は図３（Ｂ）に示す模式図のように底面とカバーの裏面が鏡面とになっている。
【００３９】
図３の３次元位置入力デバイスは、机の上でペンで文字を書くようなスタイルで使用することを前提としている。広い空間の３次元点を入力するのではないので、カメラと鏡面、入力領域を一体化したコンパクトでシンプルなデバイスを実現することができる。
【００４０】
図３（Ｂ）において、カメラ６と鏡面４ａが領域１、鏡面４ａと鏡面４ｂが領域２、鏡面４ｂと鏡面４ｃが領域３、鏡面４ｃと鏡面４ｄが領域４に対応しており、領域１〜領域４が入力用の３次元領域であり、そのすべての点で３次元座標の復元が可能となる。いずれの場合も、カメラ画像には鏡面によって反射された光源の像が２点投影されるだけだが、鏡面４ａと鏡面４ｂ、鏡面４ｂと鏡面４ｃ、鏡面４ｃと鏡面４ｄのそれぞれのエピポーラ線をわずかにずらしておくことで、光源がどの領域内にあるかを判定することができる。
【００４１】
従来のカメラを用いた３次元入力装置では、撮影可能な領域（画角）に限界があるため、カメラ（あるいは鏡面）を駆動させて入力点を追跡するか、カメラを入力点から離して撮影する必要があった。また、駆動系を有する装置は一般的に高価であり、汎用的に用いられるデバイスとしては適切でなく、また、繰り返し誤差が増大されてしまう欠点がある。さらに、カメラを離して撮影する場合は、３次元座標復元の精度が悪くなる、という欠点がある。
【００４２】
これに対して図３に示した参考例による３次元位置入力デバイスでは、複数枚（この例では４枚）の反射鏡（４ａ〜４ｄ）を用いることで、３次元復元が可能な領域同士を密に連結し、任意の空間における３次元入力を可能としている。これにより、所望のデバイスの形状に合わせて入力可能領域を自由に拡大、変形することができる。
【００４３】
また、カメラ６をデバイス内に組み込み、一体化を果たすこともできる。この一体化によりコンパクトかつ高精度の３次元復元が可能となり、ホームＰＣ用のデスクトップツールに最適なシステム構成をとることができる。また駆動系を有しない為、繰り返し誤差の増大もない。
【００４４】
図４は、別の参考例による鏡像利用方式の３次元位置入力デバイスの構成を示す図である。この図において、（Ａ）は全体構成図、（Ｂ）はクロス鏡面の斜視図、（Ｃ）は得られる画像の模式図である。また図５は、図４の３次元位置入力デバイスの外観図である。
【００４５】
この図において５ａは上部と下部の鏡面が交差したクロス鏡面、５ｂは入力範囲の上領域に対応する平面鏡、５ｃは入力範囲の下領域に対応する円弧面鏡である。図４（Ａ）〜（Ｃ）に示すように、カメラ６の視野をクロス鏡面５ａによって切り分けることで擬似的にステレオ画像を取得する。また鏡面５ｃは水平軸を中心とする円弧面鏡になっておりその視野角を拡大させている。
【００４６】
従来のステレオ画像を得るには少なくとも２台以上のカメラが必要である。しかし、複数台のカメラを使用する場合、カメラ同士、互いに離して撮影する必要があるために広い空間を確保しなければならない。これではデスクトップツールとしてのシンプル性、コンパクト性を実現することは困難である。
【００４７】
また、２次元画像から３次元座標を復元するには座標値の３つの成分が得られれば十分だが、２台のカメラを用いた場合、２次元画像＋２次元画像で計４つの座標成分が入力されることになる。そのため、ただでさえ処理負荷が高い動画像を同時に２つ処理するため、極めて効率が悪くなる。
【００４８】
そこで、この例では単一のカメラ６から撮影された画像のうち、わずかな領域（この場合下領域）を切り分け、その下領域をカメラ画像から取得できない視線奥行き方向の深度成分の座標値取得用に特化させている。この切り分けによって、削減される画像領域はわずかなものなので、２台のカメラを用いたステレオ画像による３次元復元とほぼ同じ精度を保つことが可能である。また、カメラ６と鏡面５ａ〜５ｃを一体化することが可能となり、図５の外観図のようにシンプルかつコンパクトなデバイス構成をとることが出来る。
【００４９】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【００５０】
【発明の効果】
上述したように本発明の構成によれば、単一方向から撮影された動画像のみを入力とし、極めてシンプルな構造でユーザーの直感的な入力操作を、そのままリアルタイムに計算機内の空間上に実現できる、等の優れた効果を有する。
【図面の簡単な説明】
【図１】参考例による鏡像利用方式の３次元位置入力デバイスの原理図である。
【図２】本発明による影像利用方式の３次元位置入力デバイスの原理図である。
【図３】参考例による鏡像利用方式の３次元位置入力デバイスの構成を示す図である。
【図４】別の参考例による鏡像利用方式の３次元位置入力デバイスの構成を示す図である。
【図５】図４の３次元位置入力デバイスの外観図である。
【図６】従来の３次元位置入力デバイスの模式図である。
【図７】従来の別の３次元位置入力デバイスの模式図である。
【図８】従来の別の３次元位置入力デバイスの模式図である。
【符号の説明】
１点光源、１ａ、１ｂ虚像、２光源移動手段、４ａ、４ｂ反射鏡、６撮像手段、６ａ、６ｂ仮想撮像手段、８演算装置、１１先端部、１１ａ影、１２先端部移動手段、１３点光源、１４影形成面、１６撮像手段、１８演算装置

Claims

所定の３次元領域内を移動可能な先端部（１１）を有する先端部移動手段（１２）と、
該先端部を照射する点光源（１３）と、
該点光源によって照射された前記先端部の影（１１ａ）を形成する影形成面（１４）と、
前記先端部とを同時に撮像する単一の撮像手段（１６）と、
該撮像手段で得られた画像から前記先端部の３次元位置を演算する演算装置（１８）と、を備えた、
ことを特徴とする３次元位置入力デバイス。