JP3968477B2 - 情報入力装置及び情報入力方法 - Google Patents
情報入力装置及び情報入力方法 Download PDFInfo
- Publication number
- JP3968477B2 JP3968477B2 JP18093697A JP18093697A JP3968477B2 JP 3968477 B2 JP3968477 B2 JP 3968477B2 JP 18093697 A JP18093697 A JP 18093697A JP 18093697 A JP18093697 A JP 18093697A JP 3968477 B2 JP3968477 B2 JP 3968477B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- translucent surface
- imaging
- translucent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばインタラクティブな入出力のために利用して好適な情報入力装置及び情報入力方法に関するものである。
【０００２】
【従来の技術】
例えばコンピュータ装置などでは、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。
【０００３】
上記のようなインタラクティブな入出力を行うために用いられる入力装置の１つとして例えばタッチパネルが広く知られている。タッチパネルは、パネル上に対して例えばユーザの指を接触させながら、任意の方向にスライド操作させるようにして、所要の操作を行うものである。
【０００４】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
【０００５】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【０００６】
【発明が解決しようとする課題】
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの入力装置では次のような点で限界が見えてくる。
タッチパネルを例に採った場合、ポインティングの操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
【０００８】
このように、これまでの入力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
【０００９】
【課題を解決するための手段】
そこで、本発明は上記した課題を解決するため、操作面として機能する半透明面と、第１の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示手段と、上記第１の波長帯域とは異なる第２の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射手段と、上記電磁波を撮像し、上記操作体に反射された上記電磁波に基づき上記操作体による操作情報の検出信号を生成する、撮像手段と、上記半透明面と上記操作体の接近の度合いを検出するための２以上のしきい値を設定するしきい値設定手段と、上記検出信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、この検出用画像情報と設定された上記しきい値の比較を行うことで検出された上記半透明面と上記操作体の接近の度合いの情報と、接近位置の情報を含む入力情報に基づいて所要の制御処理を実行する制御処理手段とを備えることとした。
この構成により本発明としての基本的な情報入力装置の構成が得られるのであるが、上記構成によると、輻射手段から輻射されて撮像手段に入射する第２の波長帯域の電磁波は、例えば半透明面に近づいた物理的対象によって状態が変化することになる。本発明ではこのような第２の波長帯域の電磁波の状態変化を画像情報として捉えることになる。そして、このようにして得られる画像情報を操作情報として扱い、この操作情報に従って所要の制御処理を実行することが可能となる。つまり、半透明面の付近において、撮像手段により撮像される所定波長帯域の電磁波の状態に変化を与えることのできる何らかの物理的対象を近づけたり動かしたりするような操作によって入力情報を与えることで、インタラクティブな入出力を行うことが可能となる。また、本発明において操作パネルとして機能するのは単なる半透明面であり、例えば、透明面を形成する材質と半透明面を形成する材質とを組み合わせることによって形成することが可能であるため、この半透明面としては容易に大型なものを形成することができることにもなる。
また、上記構成のもとで、輻射手段について、上記第２の波長帯域の電磁波を半透明面に対して定常的に輻射するように構成すれば、半透明面に対して行われた操作情報を検出するための媒体が容易に得られることになる。
【００１０】
また、上記制御処理手段が実行する制御処理として、１つには、所要の表示用画像を投影表示手段により投影表示させるための表示用画像生成処理及び投影表示手段に対する制御を実行するように構成することとした。
この構成によると、半透明面は操作パネルとしての機能に加えて表示パネルとしての機能も与えられることになるので、半透明面に対して行われた操作に応じたインタラクティブな応答を、同じ半透明面に画像として表示させることが可能になる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態の情報入力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．第５の実施の形態＞
＜６．第６の実施の形態＞
＜７．第７の実施の形態＞
＜８．第８の実施の形態＞
【００１２】
＜１．第１の実施の形態＞
先ず、図１〜図１０を参照して本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態としての情報入力装置を備えてなるインタラクティブ表示システムの構成例を概念的に示している。
本実施の形態としてのインタラクティブ表示システム１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１３】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして当該インタラクティブ表示システム１における操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１４】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００１５】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００１６】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００１７】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００１８】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００１９】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２０】
しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２１】
データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００２２】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２３】
次に、上記構成による本実施の形態のインタラクティブ表示システム１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２４】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００２５】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該インタラクティブ表示システムの電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００２６】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００２７】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００２８】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００２９】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３０】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
【００３１】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。
【００３２】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。
【００３３】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。
【００３４】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００３５】
次に、上記構成による本実施の形態のインタラクティブ表示システム１の利用例について、図５〜図９を参照して説明する。
図５には、本実施の形態のインタラクティブ表示システム１の第１の利用例として、メニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、インタラクティブ表示システム１の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００３６】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該インタラクティブ表示システム１に対して所望の動作を実行させたりすることになる。あるいは、当該インタラクティブ表示システム１が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００３７】
ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００３８】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００３９】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４０】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４１】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００４２】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００４３】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００４４】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいてもこれを操作情報として認識可能である。
【００４５】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００４６】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００４７】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。
【００４８】
図７には、本実施の形態のインタラクティブ表示システム１の第２の利用例が示されている。この場合には、制御部６の制御によってプロジェクタ５から投影される画像として、世界地図が半透明面２上に表示されている。
例えば、この世界地図を表示するのに際しては、例えば図５に示したようなメニュー画面Ｍの操作により表示させるようにしてもよいし、ユーザ（説明者）が半透明面２に対してある程度近づいたときにこれを「接近体」として検出することにより自動的に表示させるようにすることも考えられる。また、このときの表示形態としても、半透明面２の前面で説明者が立っている水平方向の位置に対応して、基準となる国や地域（例えば日本）が常に説明者の位置する付近に表示されるようにすることなどが可能である。
そして、この場合には、地図（半透明面２）上で説明者が指し示した位置に対して、その指定された地域についての何らかの説明を行う説明画像ＤＴが、地図上にインポーズされるようにして表示される。この場合には、制御装置６において、説明者が指等で指し示した位置（座標）を操作体として検出し、この検出した操作体の位置に一致するとされる地域の説明画像ＤＴを表示するように制御することになる。なお、この場合の地図としての画像データや、各種説明画像ＤＴは、データベースメモリ１５に対して格納されているものとされる。
前述のように、本実施の形態のインタラクティブ表示システム１は表示画面（及び操作パネル）である半透明面２の大型化が容易であることから、この第２例のように、大型の半透明面２を利用した会議やデモンストレーションなどは、その用途として本実施の形態のインタラクティブ表示システム１として、十分に考えられるものである。
【００４９】
次に、図８に本実施の形態のインタラクティブ表示システム１の第３の利用例を示す。ここでは、２つのメニュー画面Ｍ１，Ｍ２が同時に表示されていると共に、これらメニュー画面Ｍ１，Ｍ２に対して、ユーザが同時に操作を行っている状態が示されている。
前述のように、本実施の形態ではＣＣＤカメラ４にて撮像される赤外線光に基づいて得られる「検出画像情報」から操作情報を得るようにされる。つまり、画像状態を認識することにより操作情報を得る。このため、例えば図８の場合のように、操作体（ここではユーザの手や指）が検出画像情報上において、複数同時に検出されたとしても、各操作体についての検出結果をそれぞれ異なる操作情報として処理させることが可能である。
そこで、図８のように複数（ここでは２つ）のメニュー画面Ｍ１，Ｍ２を表示させた上で、ユーザがこれらメニュー画面Ｍ１，Ｍ２に対して両手を使用して同時に操作を行ったとしても、本実施の形態では、メニュー画面Ｍ１，Ｍ２に対して行われた操作に応答する所要の動作を実行するように構成することが可能である。特に、本実施の形態のインタラクティブ表示システム１は半透明面２の大型化が容易なので、このように操作対象となる画像を複数同時に表示してやるようにすれば、大型化された表示パネル（操作パネル）を有効に利用することができるものである。
【００５０】
図９は、本実施の形態のインタラクティブ表示システム１の第４の利用例を示している。この図においては、何らかの所定のパラメータ値を調整するためのパラメータ調整画像ＰＣ１，ＰＣ２が半透明面２に対して表示されていると共に、このパラメータ調整画像ＰＣ１，ＰＣ２に対してユーザが両手を使用して同時操作を行っている場合が示されている。このパラメータ調整画像ＰＣ１，ＰＣ２は、例えばスライドボリュームを模した形態により表示されている。
この場合、例えばユーザは自身の両手を、それぞれパラメータ調整画像ＰＣ１，ＰＣ２におけるレバー部分（レバー画像ＬＶ，ＬＶ）の表示された前面部に位置させ、所望のパラメータ値が得られるようにその手を上下方向にスライドさせるように動かすようにして操作を行うことになる。この場合には、この手の動きに応じてレバー画像ＬＶ，ＬＶが上下に移動するように表示され、これに応じて実際のパラメータ値も可変制御されるように制御装置６における処理が適宜実行されることになる。この際、レバー画像ＬＶ，ＬＶが同時に操作されたとしても、図８の場合と同様に、各操作情報を同時に認識してそれぞれの操作に応じたパラメータ値の変更を同時に行うように構成されるものである。
【００５１】
図１０に、本実施の形態のインタラクティブ表示システム１の第５の利用例を示す。この図では、大人と子供がそれぞれ同時に異なるメニュー画面を同時に操作している状態が示されている。
例えば、この場合の使用状況として、ユーザは立った状態で半透明面２に対する操作を行うことが通常であるとした場合、大人と子供では、図６にて説明したような検出画像情報上における接近体の占有率やその位置状態、及び、操作体として半透明面に現れる垂直方向における位置（高さ）が異なってくることになる。つまり、大人と子供との身長差によって、接近体としては大人よりも子供のほうが検出画像上においては下側の領域に現れることになり、同様に操作体（ユーザが指等により指し示す位置）も、大人よりも子供のほうが検出画像情報上においては下側の領域に現れる傾向となる。
【００５２】
そこで、この第５の利用例では、例えばそのアプリケーションが大人と子供とで異なる種類の操作を行わせるようなものである場合には、検出画像情報上において高さ方向（垂直方向）に対して所定のしきい値を設定し、この所定のしきい値を越えるほどの高さを有する接近体或いは操作体が検出されたときには、半透明面２上においてこの接近体に対応する位置（この場合には表示位置として半透明面２上における高さも変更される）に大人用のメニュー画面Ｍａｄを表示させ、しきい値を越えない高さの接近体或いは操作体が検出されたのであれば、半透明面２上の接近体に対応する位置（及び高さ）に対して子供用のメニュー画面Ｍｃｈを表示させるように構成される。なお、上記しきい値としては、接近体と操作体とでそれぞれ異なる適切な値が設定されても構わないし、大人と子供を識別する高さ方向のしきい値としてもそれぞれ異なる値が設定されて構わない。また、第５の利用例においても、大人用のメニュー画面Ｍａｄと子供用のメニュー画面Ｍｃｈに対して同時に操作が行われた場合には、この操作情報を同時に認識してそれぞれに応答した制御動作が実行可能に構成される点では図８及び図９の場合と同様である。
【００５３】
また、図７〜図１０に示した第２〜第５の利用例に関しては、フローチャートによる制御装置６の処理動作の説明は省略するが、何れの利用例においても、「接近体」或いは「操作体」の有無及びその位置（座標）を検出し、その検出結果と、半透明面２に表示されている何らかの操作対象画像との位置関係を識別することにより所要の制御動作を実行させる点では、図５の第１の利用例の場合と同様であり、図６に示したフローチャートに準じて各利用例における処理動作を実現することができるものである。
【００５４】
＜２．第２の実施の形態＞
図１１は、本発明の第２の実施の形態としてのインタラクティブ表示システムを示す図であり、図１と同一部分には同一符号を付して説明を省略する。また、制御装置６の内部構成は例えば図２に示したものと同様でよいものとされる。
この第２の実施の形態においては、図１１に示すように、赤外線光を出射する赤外線発信器ＰＤをポインティングデバイスとして使用するものとされる。
【００５５】
前述のように、本実施の形態ではＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
【００５６】
例えば、先の第１の実施の形態においては、半透明面２の所望の位置をポインティングするのに指等を用いた代わりに、第２の実施の形態では、ユーザが上記赤外線発信器ＰＤを手に持って、半透明面２の所望の位置に対して赤外線発信器ＰＤにより出射された赤外線光を半透明面２の前面側に対して照射するようにされる。
このようにして赤外線発信器ＰＤからの赤外線光が半透明面２に照射されると、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６の入力画像処理部１２では、この検出画像情報のレベル変化を操作情報として認識するように処理を行えばよいことになる。
なお、赤外線光は不可視であることから、例えば、半透明面２における赤外線発信器ＰＤからの赤外線光の現在の照射位置が分かるように、スポットＳＰなどの表示を半透明面２上に行わせることが好ましい。このスポット表示は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。
【００５７】
＜３．第３の実施の形態＞
図１２及び図１３は、それぞれ本発明の第３の実施の形態としてのインタラクティブ表示システム１Ｂ全体の構成と、制御装置６の内部構成を示すブロック図であり図１及び図２と同一部分については同一符号を付して説明を省略する。
【００５８】
図１２及び図１３に示すように、本実施の形態のインタラクティブ表示システム１Ｂとしては、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられる。 第１ＣＣＤカメラ４Ａは、先の実施の形態におけるＣＣＤカメラ４と同一の役割が与えられているものとされる。つまり、半透明面２の背面側において半透明面２全体を撮像範囲として、ここから入射されてくる赤外線光を撮影するために設けられる。
【００５９】
第２ＣＣＤカメラ４Ｂは、後述するように半透明面２における所要の一部領域を拡大縮小して撮像するために設けられている。このため、第２ＣＣＤカメラ４Ｂには、図のようにパン／チルト／ズーム機構７が設けられる。パン／チルト／ズーム機構７は、第２ＣＣＤカメラ４Ｂを水平方向と垂直方向の両方向に回転移動させることのできる機構（パン／チルト機構）を備えると共に、第２ＣＣＤカメラに備えられているとされるズームレンズを移動させることにより撮像画像の拡大率を可変する機構（ズーム機構）を備えている。このパン／チルト／ズーム機構７に対する制御、つまりパン／チルト位置の可変制御及びズーム率の可変制御は、図１３に示すようにデータベース駆動部１４により行われる。従って、データベースメモリには、必要に応じてパン／チルト／ズーム機構７を制御するためのプログラムが格納されているものとされる。
なお、ＣＣＤカメラ４Ａ，４Ｂの何れに対してもその光学系に赤外線透過フィルタ４ａが備えられて、赤外線光のみによる半透明面２上の画像を撮像するようにされている。
【００６０】
この場合、制御装置６においては図１３に示すように、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられたことに対応して、２つの画像入力部１１Ａ，１１Ｂが設けられることになる。画像入力部１１Ａは、第１ＣＣＤカメラ４Ａの撮像信号を入力して映像信号として入力画像処理部１２に対して供給し、画像入力部１１Ｂは、第２ＣＣＤカメラ４Ｂの撮像信号を入力して映像信号として入力画像処理部１２に対して供給する。従って、本実施の形態の入力画像処理部１２では、第１ＣＣＤカメラ４Ａの映像信号に基づいて得られる検出画像情報と、第２ＣＣＤカメラ４Ｂの映像信号に基づいて得られる検出画像情報を生成し、両者の検出画像情報から所要の操作情報を得るようにされる。
【００６１】
本実施の形態としてのインタラクティブ表示システム１Ｂは例えば次のようにして使用することができる。
例えば図１２に示すようにしてユーザが半透明板２の前面に位置した状態で、半透明板２のある位置に対して指で指定操作を行っているとする。この場合、半透明板２全体を撮像する第１ＣＣＤカメラ４Ａにより撮像されて、入力画像処理部において得られる検出画像情報としては、例えば図１４（ａ）に示すようなものとなる。上記のような操作を行っている場合、通常はユーザの指（手）の部分が最も半透明面２に近接し、残りの身体部分は手の部分よりも半透明面２から離れた距離にあることになる。
従って、図１４（ａ）に示す検出画像情報においては、大きく分けて身体部分が表示される画像領域Ａの部分よりも手の部分が表示される画像領域Ｂの部分のほうが高い値（例えば輝度レベル）が得られることになる。ここでしきい値制御部１３においてしきい値を適切に設定することにより、入力画像処理部１２において、画像領域Ａの部分を含む背景から画像領域Ｂの部分を「操作体」として分離して識別できることは前述したとおりである。なお、前述のように操作体が人体の手又は指に限定される場合には、検出画像情報として得られるユーザの手間他は指の形状に基づいて、これを操作体として認識するように構成することも可能である。
【００６２】
ここで、上記のようにして入力画像処理部１２が画像領域Ｂの部分を「操作体」として検出したとすると、データベース駆動部１４は、上記半透明面２上における操作体の位置情報に基づいて、操作体の部分、つまり画像領域Ｂの部分を第２ＣＣＤカメラ４Ｂによりズーム撮影するように制御を実行する。つまり、半透明面２上における画像領域Ｂの部分の位置情報に基づいて、この画像領域Ｂの部分がほぼ第２ＣＣＤカメラ４Ｂの撮像画像のほぼ中心にくるように、パン／チルト／ズーム機構７に対してパン／チルト制御を実行したうえで、画像領域Ｂの部分が撮像画像のほぼ全体を占めるように、パン／チルト／ズーム機構７に対してズーム制御を実行する。このような制御によって、第２ＣＣＤカメラ４Ｂの撮像信号に基づいて得られる検出画像情報としては、図１４（ｂ）に示すように画像領域Ｂ（操作体）の部分が拡大された画像情報を得ることができる。
【００６３】
例えば、上記図１４（ｂ）に示す検出画像情報に基づいて操作情報を得る場合として、特にその指定位置を操作情報として検出する場合、例えば図１４（ａ）に示す検出画像情報に基づいてその指定位置情報を得る場合よりも、相対的な解像度が上がることになる。従って、より精度の高い指定位置情報を得ることが可能となる。
【００６４】
なお、上記した利用方法はあくまでも一例であって、２つのＣＣＤカメラを利用した適用例は他にも各種考えられるものである。また、２つのＣＣＤカメラに対してパン／チルト／ズーム機構７を設けてもよいし、更には２以上の複数のＣＣＤカメラ（この際、どのＣＣＤカメラにパン／チルト／ズーム機構を設けるのかは任意である）を利用して、これらＣＣＤカメラの各々から独立的に操作情報を得るようにしても、多様な適用例が考えられるものである。
【００６５】
＜４．第４の実施の形態＞
図１５は本発明の第４の実施の形態としてのインタラクティブ表示システム１Ｃの構成例を概念的に示す図であり、例えば図１と同一部分については同一符号を付して説明を省略する。また、制御装置６の内部構成は図２と同様でよいものとされる。
これまで実施の形態として説明してきた各インタラクティブ表示システムは、半透明面２がいわゆる壁面状であるものとして説明してきたのであるが、本発明としての半透明面２の機能（表示パネル機能及び操作パネル機能）を考慮すれば、これに限定されるものではない。そこで、第４の実施の形態のインタラクティブ表示システム１Ｃでは、半透明面２Ａを曲面形状に形成している。図１５においては、半球面状とされた半透明面２Ａが設置されている状態が示されており、この半球面状の半透明面２Ａの内壁側に対して、例えば少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５が設けられるようにされる。ユーザは半透明面２Ａの外壁側から操作を行うことになる。なお、この図においては、ＣＣＤカメラ４に対して設けられる赤外線透過フィルタ４ａと、プロジェクタ５に対して設けられる赤外線遮断フィルタ５ａの図示は省略しているが、実際には、これまでの実施の形態と同様に設けられているものとされる。
なお、この図では半透明面２Ａに対して世界地図が投影表示されている状態が示されているが、例えばこの場合であれば、先の第１の実施の形態において図７にて説明したようにして利用することが考えられる。
【００６６】
＜５．第５の実施の形態＞
図１６は、本発明の第５の実施の形態としてのインタラクティブ表示システム１Ｄの構築例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。この図においても、赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略しているが、実際には、ＣＣＤカメラ４とプロジェクタ５に対してそれぞれ設けられているものである。また、ここでは制御装置６の図示も省略されているが、実際には、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５に対する制御を実現するために設けられているものであり、その内部構成も図２と同様でよい。
【００６７】
この場合には、例えば通路の壁面が半透明面２として構成されており、例えば赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などは、この通路壁面（半透明面２）の背後に設けられる。つまり、本実施の形態のインタラクティブ表示システム１Ｄは通路の壁面の一部として構成されている。
ここで、たとえばユーザ（歩行者）が通路を歩いており、インタラクティブ表示システム１Ｄの半透明面２（壁面）の脇を通過したとする。
前述のように、本発明では操作パネルとして機能する半透明面２からある程度離れた距離にユーザがいたとしても、これを「接近体」として検出することが可能である。そこで、この場合には、歩行者がインタラクティブ表示システム１Ｄの半透明面２（壁面）の脇にきたときに、その姿が接近体として検出するようにされる。そして接近体の検出結果に基づいて、例えば図１６に示すように壁面である半透明面２に対して、行き先などを提示する案内画像ＧＤをプロジェクタ５により投影表示するように動作させることができる。
このようなインタラクティブ表示システム１Ｄの動作を歩行者からみたときには、自分が通路を歩くと壁面に対して自動的に行き先の案内表示が行われることになる。
【００６８】
また、上述した第５の実施の形態において、例えば通路の壁面の裏側において、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）などの設置スペースが限られているような状況では、図１７のようにミラーＭＲを用いて赤外線ＬＥＤパネル３、プロジェクタ５の出射光やＣＣＤカメラ４の入射光を光路を反射により変更させるようにすることが考えられる。特に、ＣＣＤカメラ４やプロジェクタ５の画角によっては、大画面化された半透明面２をカバーできるだけの撮像範囲や投影表示範囲を得るのには相当の距離が必要となるのであるが、このようにしてミラーＭＲを設ければ、狭い奥行きであっても充分な撮像範囲や投影表示範囲を得ることが可能となり、本実施の形態のインタラクティブ表示システム１Ｄを設置環境として要求される条件を緩和させることができる。
【００６９】
＜６．第６の実施の形態＞
図１８は、本発明の第６の実施の形態としてのインタラクティブ表示システム１Ｅの構成例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられるものである。
【００７０】
この場合には、半透明面２Ｂはテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより指示されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２Ｂの下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。
また、本実施の形態においては、後述するようにしてユーザが半透明面２Ｂに対して操作を行うことによって、モニタ装置３０に対する操作制御が行えるようにされている。
【００７１】
図１９には、本実施の形態のインタラクティブ表示システム１Ｅとしての制御装置６の内部構成を示すブロック図であり、図２Ｂと同一部分については同一符号を付して説明を省略する。
この図に示す制御装置６においては、外部機器制御部２０が設けられる。この場合、外部機器制御部２０は、モニタ装置３０に対する操作制御を行うための回路部位とされ、データベース駆動部１４から与えられる操作情報によって、テレビジョン受像機３０に対して所要の操作制御を行うためのコマンド信号を送信出力する。従って、この場合のデータベースメモリ１４には、当該インタラクティブ表示システム１Ｅによりテレビジョン受像機３０に対する操作が実現されるようにするためのプログラムが格納されることになる。
【００７２】
この第６の実施の形態としてのインタラクティブ表示システム１Ｅにおいては、例えば図１８に示すように、半透明面２Ｂの特定の領域にリモートコントロール（以下リモコンと略す）表示ＲＭＤが表示される。このリモコン表示ＲＭＤには、テレビジョン受像機３０に対する各種操作が可能なキーが設けられたリモートコントローラの操作パネル面を模した形態により表示が行われるものとされる。なお、このリモコン表示ＲＭＤの表示制御は、データベースメモリ１４に格納されているとされるリモコン表示ＲＭＤの画像データ利用してデータベース駆動部１４が表示制御を行うことで、リモコン表示ＲＭＤの映像がプロジェクタ５により投影表示されるようにすることで実現される。
なお、リモコン表示ＲＭＤの表示位置は任意に設定されればよく、例えば当該インタラクティブ表示システム１Ｅに対する所定の設定操作によって、ユーザが使いやすいとされる位置に表示されるように任意に設定できるようにすることも考えられる。この際、データベース駆動部１４が現在のリモコン表示ＲＭＤの表示位置を認識してさえいれば、リモコン表示ＲＭＤの各種キーの表示部分の位置（座標）は、常にデータベース駆動部１４において把握することが可能である。
【００７３】
例えば、上記半透明面２Ｂに表示されたリモコン表示ＲＭＤに対するユーザの操作として、ここでは、数字キーの操作によって所望のチャンネルを選択したとする。このとき、例えばユーザは半透明面２Ｂ上のリモコン表示ＲＭＤにおける数字キーのうち、所望の１つの数字キーを押圧操作するようなイメージで半透明面２Ｂ上に対して操作を行えばよい。この場合、しきい値制御部１３におけるキー操作判別のためのしきい値の設定にもよるが、ユーザは必ずしもテーブル面（半透明面２Ｂ）上に対して指などの操作体を接触させる必要はなく、所望のキーが表示されている部分の中空に対して操作を行うようにするだけでもキー操作として判別可能なようにすることは当然可能である。
【００７４】
上記したユーザの操作は、ＣＣＤカメラ４により撮像されて得られる検出画像情報に基づいて、入力画像処理部１２においてその操作位置（座標）が検出される。そして、データベース駆動部１４では、検出された操作位置の座標が、リモコン表示ＲＭＤとして表示されているどのキー部分の座標と一致するのかを識別して、例えば操作位置の座標と一致しているキーの種別を示す情報を外部機器制御部２０に対して伝送する。
外部機器制御部２０においては、データベース駆動部１４から入力されたキー種別を示す情報に基づいて、このキー種別に対応するコマンド信号をモニタ装置３０に出力する。
この場合には、ある１つの数字キーによるチャンネル切換操作であることから、例えばデータベース駆動部１４は、チャンネル番号に対応する数字による数字キーが操作されたとの情報を伝送することになる。そして、外部機器制御部２０では、この指定された数字キーが示すチャンネル番号に切り換えるためのコマンド信号を送信する。これにより、テレビジョン受像機３０においては、ユーザが操作したチャンネルの画面に切り替わるように動作することになる。
【００７５】
なお、当然のこととして当該インタラクティブ表示システム１Ｅにより操作が可能な外部機器はテレビジョン受像機に限定される物ではなく、他の各種電子機器に対しても操作が可能なように構成することは可能であり、更には本発明に基づけば、同時に複数種類の機器に対応するリモコン表示ＲＭＤを表示させてユーザによる操作が可能なように構成することも可能であり、また、１つのリモコン表示ＲＭＤにおける複数キーに対する同時操作を認識して外部機器を制御することも可能とされる。
【００７６】
また、本実施の形態のように半透明面２Ｂがテーブル面である場合には、次のような動作も行わせることができる。
例えば、テーブル面としての半透明面２Ｂに対して食器その他の何らかの物を置いた場合、この半透明面２Ｂに置かれた物が赤外線光を反射することにより、この設置物の形状の画像が検出画像情報として得られることになる。これまで説明してきた実施の形態では、このような画像変化を操作情報として扱ってきたが、この場合には、この検出画像情報としての画像データをプロジェクタ５により投影表示させる画像として利用することもできる。これにより、例えば図１８の影表示ＳＨＤとして示すように、半透明面２Ｂに対して置かれた物の画像を、その影のようにして表示できるように構成することが考えられる。この場合、物が置かれる位置に応じて半透明面２Ｂ上の影表示ＳＨＤの位置も追随するようにして変化したり、半透明面２Ｂの表面からの距離変化に応じて影表示ＳＨＤの形状なども変化するので、ユーザにとって興味深い視覚的効果が得られることになる。
【００７７】
上記のような影表示ＳＨＤを実現するためには、例えば制御装置６の入力画像処理部１２において得られる検出画像情報を画像データとして画像合成部１７に供給すればよい。これにより、画像合成部１７においては、上記検出画像情報としての画像データ（影表示ＳＨＤの画像データ）と、データベース駆動部１４の制御により画像生成部１６において作成されたリモコン表示ＲＭＤが合成されることで、最終的に図１８に示すような半透明面２Ｂに対する投影表示が行われることになる。
なお、ここでは詳しい説明は省略するが、上記検出画像情報を画像データに対して各種信号処理によって、マルチカラー化を施したり、画像の形状を変化させるなどの特殊効果を与えることで更に視覚的効果を高めるように構成することも可能である。
【００７８】
ところで、上述の第６の実施の形態では、テーブルの下側に少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５を配置してやる必要があるが、例えば床からテーブル面（半透明面２Ｂ）までの高さ（距離）はさほど多く取ることができないため、ＣＣＤカメラ４やプロジェクタ５が半透明面２Ｂ全体をカバーできるのに必要な直線距離を得ることが難しい場合が生じる。そこで、先の第５の実施の形態でも説明したが、この場合も同様に、図２０に示すように半透明面２Ｂ（テーブル面）の下側に光路を反射により変更させるミラーＭＲを配置させ、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などの装置はテーブルの横側に配置させるようにすることが考えられる。
【００７９】
なお、ミラーＭＲの代わりに、所定の光透過率と反射率が設定されたハーフミラーＭＲを用いることも考えられる。このようなハーフミラーＭＲを用いた場合には、例えば、赤外線ＬＥＤパネル３はテーブルの横側に配置させずに、テーブル下部の床面部分に設置することなどが可能となってそれだけ設置自由度が高くなる。なお、ハーフミラーを用いた設置方法は、たとえば先の第５の実施の形態における図１７のような設置形態の場合にも適用することができる。
【００８０】
＜７．第７の実施の形態＞
図２１は本発明の第７の実施の形態としてのインタラクティブ表示システム１Ｆの構成例を示す図であり、図１と同一部分には同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｆにおいては、赤外線ＬＥＤパネル３が設けられていない。
たとえば、本発明に基づくインタラクティブ表示システムを屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、本実施の形態のように赤外線ＬＥＤパネル３を省略する代わりに、自然光に含まれる赤外線光を操作情報検出用の光源として利用するものである。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００８１】
そして、例えば半透明面２に対して何らかの操作が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。
なお、インタラクティブ表示システム１Ｆの制御装置６の内部構成の図示は省略するが、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【００８２】
＜８．第８の実施の形態＞
図２２は、本発明の第８の実施の形態としてのインタラクティブ表示システム１Ｇの構成を示す概念図、図２３は本実施の形態のインタラクティブ表示システム１Ｇに備えられる制御装置６の構成を示すブロック図であり、それぞれ図１及び図２と同一部分については同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｇとしては、先に説明した各種実施の形態のインタラクティブ表示システムに備えられた赤外線ＬＥＤパネル３の代わりにマイクロ波発生器４０が備えられ、また、ＣＣＤカメラ４の代わりにマイクロ波受信器４１が備えられる。
【００８３】
そして、これに対応して制御装置６においては、マイクロ波発生器４０を駆動するためのマイクロ波駆動回路１１０がＬＥＤ駆動部１０（図１参照）の代わりに備えられる。また、マイクロ波受信器４１から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力部１１１と、この画像信号入力部１１１から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理部１１２が設けられる。上記画像信号入力部１１１及び入力データ処理部１１２は、それぞれ画像入力部１１及び入力画像処理部１２（図１参照）に代わる機能回路部である。この場合、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
本実施の形態のように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
【００８４】
なお、特に具体的な適用例の図示及び説明は省略するが、本発明としては半透明面２に対して行われたとされる操作情報が検出されればよいことから、上記各実施の形態に示したプロジェクタ５を省略して本発明としての情報入力装置を構成することは当然考えられる。つまり、この場合の半透明面２は操作パネルとしてのみ機能する。この構成に準ずる場合、たとえばインタラクティブな応答表示をする表示手段が必要であれば、半透明面２ではなく、別の他の種類の表示デバイスを使用しても構わない。
また、本発明に基づいて構成されるインタラクティブ表示システムの適用例は、これまで述べてきた実施の形態や適用例に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法やアプリケーションなどの適用は、他にも各種考えられるものである。また、本発明の実施の形態としてのインタラクティブ表示システムにおいて、インタラクティブな応答を音声により行うことも考えられる。
【００８５】
【発明の効果】
以上、実施の形態として説明した内容から分かるように、本発明は以下のような効果を有する。
請求項１に記載した発明により、本発明としての情報入力装置の基本的構成が得られるが、この構成では、第２の波長帯域の電磁波を反射するなどしてこれに状態変化を与えることのできる物体であれば、操作を行うための操作体として成立する。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行ったり、半透明面に接近してくる物体を認識して何らかの応答処理を行わせるといったこともできることになる。
また、本発明の操作パネルとしては単なる半透明面が得られればよく、例えば従来のタッチパネルとは異なり、そのサイズの大型化も容易に実現される。
さらに、半透明面の半透明性を利用してプロジェクタなどによって画像を投影表示していることで、半透明面を操作パネルとしてだけではなく、画像表示を行う表示パネルとしても兼用することが可能となる。
【００８６】
また、請求項２に記載した第１の発明によっては、同時に複数の検出対象を認識して、それぞれに応答した所要の制御処理を独立的に実行することが可能なので、例えば複数のメニュー画面に対して同時に操作を行ったりさせることなどが可能となる。
また、同じ請求項２に記載した第２の発明によっては、例えば検出対象の形状によりこれを操作情報として認識するか否かを決定することができる。例えば下記のようにして、人体の手や指などによる操作のみを操作情報として扱うためには、この発明による技術を適用すれば容易に実現することが可能である。
【００８７】
更に、同じ請求項２に記載した第３の発明によっては、例えば検出画像情報に得られる画像形状に基づいて、人体の手もしくは指の動きを操作情報として認識して、それ以外の検出対象については操作情報として無視できるようにすることも可能である。
【００８８】
続いて、請求項３に記載した発明によれば、半透明面を利用した操作に応じて、プロジェクタなどによる投影画像についての制御も実行させることが可能となる。つまり、操作に対する応答を、操作パネルでもある半透明面に表示させることができるものである。
そこで、請求項４の発明により、上記表示用画像として、ユーザに各種操作を促すためのメニュー画面を設定したり、例えば地図などの初期画像を表示させることが可能となる。そのうえで、請求項５に記載の第１の発明のようにして、例えば地図などの初期画像を表示させて、地図上のある地域を指定すれば、その地域の説明などの属性情報を表示させるなどのようにして利用することができる。この場合には、ユーザが半透明面に対して表示された画像に対して操作を行うという直接的な操作情報の入力形態も実現されることになる。
【００８９】
また、同じ請求項５に記載した第２の発明によれば、上記半透明面に表示すべき画像として、撮像手段により撮像された撮像信号に基づいて検出された検出画像情報を利用して表示することが可能となり、また、同じ請求項５に記載した第３の発明を適用すれば、検出画像情報を利用することで、半透明面上に配置した物体に対応してその影物を表示させるなどの視覚的効果を与えることも可能となる。
【００９０】
請求項６に記載した発明によれば、輻射手段としては、撮像手段が撮像すべき第２の波長帯域の電磁波を上記半透明面に対して定常的に輻射するように構成されることで、撮像手段により撮像される媒体（例えば赤外線光やマイクロ波など）を安定的に得られることになり、本発明としての情報入力装置を備えてなるシステムの設置環境によらず、高い信頼性を得ることができる。
【００９１】
また、請求項７に記載した第１の発明によれば、半透明面は、例えばガラスなどの透明面を形成する材質と何らかの半透明膜などの半透明面を形成する材質とを組み合わせるだけで構成することができ、安価で済ませることができる。また、前述した大型化の可能性も妨げない。
【００９２】
また、同じ請求項７に記載した第２，第３、第４の発明によれば、半透明面は壁面、曲面形状としたり、また、テーブル面として機能させるなど多様な形態に対応することが可能であり、それだけ、本発明の情報入力装置が適用される用途範囲が拡大されることになる。
【００９３】
請求項８に記載の発明は、撮像手段が撮像すべき第２の波長帯域の電磁波を輻射するポインティングデバイスを設けるのであるが、これは、本発明の基本的な構成においては、撮像手段が撮像すべき上記第２の波長帯域の電磁波に対して何らかの変化を与えることのできる物であれば操作体となり得ることに基づいて構成されるものである。つまり、請求項８の発明では、特定のポインティングデバイスを用いることも可能であり、例えば、この場合にはユーザが比較的半透明面から離れた位置から正確な操作情報を与えることが可能になる。
【００９４】
請求項９の発明によれば、異なる拡大率により検出用の画像情報が得られることになるが、ここに請求項１０の発明を適用することで、例えば、ユーザが半透明面に対してポインティングした位置を識別する際にこのポインティングされた領域を拡大して他の撮像手段により撮像させて検出画像情報を得るようにすれば、ポインティングされた位置（座標）をより高精度に検出することができる。
【００９５】
このように本発明は、操作などの情報入力に際して、上記のごとき自由度を与えると共に、表示パネルとして兼用可能な操作パネルとして大型化されたものを容易に提供できるようにすることで様々な利用形態を採る可能性が与えれることになり、容易にインタラクティブな入出力環境を強化拡大することができるという効果が得られることになる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２】第１の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】第１の実施の形態のインタラクティブ表示システムの第１の利用例を示す説明図である。
【図６】図５に示す第１の利用例を実現するための処理動作を示すフローチャートである。
【図７】第１の実施の形態のインタラクティブ表示システムの第２の利用例を示す説明図である。
【図８】第１の実施の形態のインタラクティブ表示システムの第３の利用例を示す説明図である。
【図９】第１の実施の形態のインタラクティブ表示システムの第４の利用例を示す説明図である。
【図１０】第１の実施の形態のインタラクティブ表示システムの第５の利用例を示す説明図である。
【図１１】本発明の第２の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１２】本発明の第３の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１３】第３の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図１４】第３の実施の形態のインタラクティブ表示システムの動作例を示す説明図である。
【図１５】本発明の第４の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１６】本発明の第５の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１７】第５の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。
【図１８】本発明の第６の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１９】第６の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図２０】第６の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。
【図２１】本発明の第７の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２２】本発明の第８の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２３】第８の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ インタラクティブ表示システム、２，２Ａ，２Ｂ 半透明面、３ 赤外線ＬＥＤパネル、４ ＣＣＤカメラ、４Ａ 第１ＣＣＤカメラ、４Ｂ 第２ＣＣＤカメラ、５ プロジェクタ、６ 制御装置、７ パン／チルト／ズーム機構、１０ ＬＥＤ駆動部、１１，１１Ａ，１１Ｂ 画像入力部、１２ 入力画像処理部、１３ しきい値制御部、１４ データベース駆動部、１５ データベースメモリ、１６ 画像生成部、１７ 画像合成部、１８ ＲＧＢ信号生成部、３０ テレビジョン受像機、４０ マイクロ波発生器、４１ マイクロ波受信器、１１０ マイクロ波駆動部、１１１ 受信信号入力部、１１２ 入力データ処理部、ＰＤ 赤外線発信器、ＭＲ ミラー、ハーフミラー、ＲＭＤ リモコン表示、ＳＨＤ 影表示
【発明の属する技術分野】
本発明は、例えばインタラクティブな入出力のために利用して好適な情報入力装置及び情報入力方法に関するものである。
【０００２】
【従来の技術】
例えばコンピュータ装置などでは、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。
【０００３】
上記のようなインタラクティブな入出力を行うために用いられる入力装置の１つとして例えばタッチパネルが広く知られている。タッチパネルは、パネル上に対して例えばユーザの指を接触させながら、任意の方向にスライド操作させるようにして、所要の操作を行うものである。
【０００４】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
【０００５】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【０００６】
【発明が解決しようとする課題】
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの入力装置では次のような点で限界が見えてくる。
タッチパネルを例に採った場合、ポインティングの操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
【０００８】
このように、これまでの入力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
【０００９】
【課題を解決するための手段】
そこで、本発明は上記した課題を解決するため、操作面として機能する半透明面と、第１の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示手段と、上記第１の波長帯域とは異なる第２の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射手段と、上記電磁波を撮像し、上記操作体に反射された上記電磁波に基づき上記操作体による操作情報の検出信号を生成する、撮像手段と、上記半透明面と上記操作体の接近の度合いを検出するための２以上のしきい値を設定するしきい値設定手段と、上記検出信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、この検出用画像情報と設定された上記しきい値の比較を行うことで検出された上記半透明面と上記操作体の接近の度合いの情報と、接近位置の情報を含む入力情報に基づいて所要の制御処理を実行する制御処理手段とを備えることとした。
この構成により本発明としての基本的な情報入力装置の構成が得られるのであるが、上記構成によると、輻射手段から輻射されて撮像手段に入射する第２の波長帯域の電磁波は、例えば半透明面に近づいた物理的対象によって状態が変化することになる。本発明ではこのような第２の波長帯域の電磁波の状態変化を画像情報として捉えることになる。そして、このようにして得られる画像情報を操作情報として扱い、この操作情報に従って所要の制御処理を実行することが可能となる。つまり、半透明面の付近において、撮像手段により撮像される所定波長帯域の電磁波の状態に変化を与えることのできる何らかの物理的対象を近づけたり動かしたりするような操作によって入力情報を与えることで、インタラクティブな入出力を行うことが可能となる。また、本発明において操作パネルとして機能するのは単なる半透明面であり、例えば、透明面を形成する材質と半透明面を形成する材質とを組み合わせることによって形成することが可能であるため、この半透明面としては容易に大型なものを形成することができることにもなる。
また、上記構成のもとで、輻射手段について、上記第２の波長帯域の電磁波を半透明面に対して定常的に輻射するように構成すれば、半透明面に対して行われた操作情報を検出するための媒体が容易に得られることになる。
【００１０】
また、上記制御処理手段が実行する制御処理として、１つには、所要の表示用画像を投影表示手段により投影表示させるための表示用画像生成処理及び投影表示手段に対する制御を実行するように構成することとした。
この構成によると、半透明面は操作パネルとしての機能に加えて表示パネルとしての機能も与えられることになるので、半透明面に対して行われた操作に応じたインタラクティブな応答を、同じ半透明面に画像として表示させることが可能になる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態の情報入力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．第５の実施の形態＞
＜６．第６の実施の形態＞
＜７．第７の実施の形態＞
＜８．第８の実施の形態＞
【００１２】
＜１．第１の実施の形態＞
先ず、図１〜図１０を参照して本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態としての情報入力装置を備えてなるインタラクティブ表示システムの構成例を概念的に示している。
本実施の形態としてのインタラクティブ表示システム１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１３】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして当該インタラクティブ表示システム１における操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１４】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００１５】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００１６】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００１７】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００１８】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００１９】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２０】
しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２１】
データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００２２】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２３】
次に、上記構成による本実施の形態のインタラクティブ表示システム１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２４】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００２５】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該インタラクティブ表示システムの電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００２６】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００２７】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００２８】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００２９】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３０】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
【００３１】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。
【００３２】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。
【００３３】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。
【００３４】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００３５】
次に、上記構成による本実施の形態のインタラクティブ表示システム１の利用例について、図５〜図９を参照して説明する。
図５には、本実施の形態のインタラクティブ表示システム１の第１の利用例として、メニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、インタラクティブ表示システム１の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００３６】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該インタラクティブ表示システム１に対して所望の動作を実行させたりすることになる。あるいは、当該インタラクティブ表示システム１が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００３７】
ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００３８】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００３９】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４０】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４１】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００４２】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００４３】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００４４】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいてもこれを操作情報として認識可能である。
【００４５】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００４６】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００４７】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。
【００４８】
図７には、本実施の形態のインタラクティブ表示システム１の第２の利用例が示されている。この場合には、制御部６の制御によってプロジェクタ５から投影される画像として、世界地図が半透明面２上に表示されている。
例えば、この世界地図を表示するのに際しては、例えば図５に示したようなメニュー画面Ｍの操作により表示させるようにしてもよいし、ユーザ（説明者）が半透明面２に対してある程度近づいたときにこれを「接近体」として検出することにより自動的に表示させるようにすることも考えられる。また、このときの表示形態としても、半透明面２の前面で説明者が立っている水平方向の位置に対応して、基準となる国や地域（例えば日本）が常に説明者の位置する付近に表示されるようにすることなどが可能である。
そして、この場合には、地図（半透明面２）上で説明者が指し示した位置に対して、その指定された地域についての何らかの説明を行う説明画像ＤＴが、地図上にインポーズされるようにして表示される。この場合には、制御装置６において、説明者が指等で指し示した位置（座標）を操作体として検出し、この検出した操作体の位置に一致するとされる地域の説明画像ＤＴを表示するように制御することになる。なお、この場合の地図としての画像データや、各種説明画像ＤＴは、データベースメモリ１５に対して格納されているものとされる。
前述のように、本実施の形態のインタラクティブ表示システム１は表示画面（及び操作パネル）である半透明面２の大型化が容易であることから、この第２例のように、大型の半透明面２を利用した会議やデモンストレーションなどは、その用途として本実施の形態のインタラクティブ表示システム１として、十分に考えられるものである。
【００４９】
次に、図８に本実施の形態のインタラクティブ表示システム１の第３の利用例を示す。ここでは、２つのメニュー画面Ｍ１，Ｍ２が同時に表示されていると共に、これらメニュー画面Ｍ１，Ｍ２に対して、ユーザが同時に操作を行っている状態が示されている。
前述のように、本実施の形態ではＣＣＤカメラ４にて撮像される赤外線光に基づいて得られる「検出画像情報」から操作情報を得るようにされる。つまり、画像状態を認識することにより操作情報を得る。このため、例えば図８の場合のように、操作体（ここではユーザの手や指）が検出画像情報上において、複数同時に検出されたとしても、各操作体についての検出結果をそれぞれ異なる操作情報として処理させることが可能である。
そこで、図８のように複数（ここでは２つ）のメニュー画面Ｍ１，Ｍ２を表示させた上で、ユーザがこれらメニュー画面Ｍ１，Ｍ２に対して両手を使用して同時に操作を行ったとしても、本実施の形態では、メニュー画面Ｍ１，Ｍ２に対して行われた操作に応答する所要の動作を実行するように構成することが可能である。特に、本実施の形態のインタラクティブ表示システム１は半透明面２の大型化が容易なので、このように操作対象となる画像を複数同時に表示してやるようにすれば、大型化された表示パネル（操作パネル）を有効に利用することができるものである。
【００５０】
図９は、本実施の形態のインタラクティブ表示システム１の第４の利用例を示している。この図においては、何らかの所定のパラメータ値を調整するためのパラメータ調整画像ＰＣ１，ＰＣ２が半透明面２に対して表示されていると共に、このパラメータ調整画像ＰＣ１，ＰＣ２に対してユーザが両手を使用して同時操作を行っている場合が示されている。このパラメータ調整画像ＰＣ１，ＰＣ２は、例えばスライドボリュームを模した形態により表示されている。
この場合、例えばユーザは自身の両手を、それぞれパラメータ調整画像ＰＣ１，ＰＣ２におけるレバー部分（レバー画像ＬＶ，ＬＶ）の表示された前面部に位置させ、所望のパラメータ値が得られるようにその手を上下方向にスライドさせるように動かすようにして操作を行うことになる。この場合には、この手の動きに応じてレバー画像ＬＶ，ＬＶが上下に移動するように表示され、これに応じて実際のパラメータ値も可変制御されるように制御装置６における処理が適宜実行されることになる。この際、レバー画像ＬＶ，ＬＶが同時に操作されたとしても、図８の場合と同様に、各操作情報を同時に認識してそれぞれの操作に応じたパラメータ値の変更を同時に行うように構成されるものである。
【００５１】
図１０に、本実施の形態のインタラクティブ表示システム１の第５の利用例を示す。この図では、大人と子供がそれぞれ同時に異なるメニュー画面を同時に操作している状態が示されている。
例えば、この場合の使用状況として、ユーザは立った状態で半透明面２に対する操作を行うことが通常であるとした場合、大人と子供では、図６にて説明したような検出画像情報上における接近体の占有率やその位置状態、及び、操作体として半透明面に現れる垂直方向における位置（高さ）が異なってくることになる。つまり、大人と子供との身長差によって、接近体としては大人よりも子供のほうが検出画像上においては下側の領域に現れることになり、同様に操作体（ユーザが指等により指し示す位置）も、大人よりも子供のほうが検出画像情報上においては下側の領域に現れる傾向となる。
【００５２】
そこで、この第５の利用例では、例えばそのアプリケーションが大人と子供とで異なる種類の操作を行わせるようなものである場合には、検出画像情報上において高さ方向（垂直方向）に対して所定のしきい値を設定し、この所定のしきい値を越えるほどの高さを有する接近体或いは操作体が検出されたときには、半透明面２上においてこの接近体に対応する位置（この場合には表示位置として半透明面２上における高さも変更される）に大人用のメニュー画面Ｍａｄを表示させ、しきい値を越えない高さの接近体或いは操作体が検出されたのであれば、半透明面２上の接近体に対応する位置（及び高さ）に対して子供用のメニュー画面Ｍｃｈを表示させるように構成される。なお、上記しきい値としては、接近体と操作体とでそれぞれ異なる適切な値が設定されても構わないし、大人と子供を識別する高さ方向のしきい値としてもそれぞれ異なる値が設定されて構わない。また、第５の利用例においても、大人用のメニュー画面Ｍａｄと子供用のメニュー画面Ｍｃｈに対して同時に操作が行われた場合には、この操作情報を同時に認識してそれぞれに応答した制御動作が実行可能に構成される点では図８及び図９の場合と同様である。
【００５３】
また、図７〜図１０に示した第２〜第５の利用例に関しては、フローチャートによる制御装置６の処理動作の説明は省略するが、何れの利用例においても、「接近体」或いは「操作体」の有無及びその位置（座標）を検出し、その検出結果と、半透明面２に表示されている何らかの操作対象画像との位置関係を識別することにより所要の制御動作を実行させる点では、図５の第１の利用例の場合と同様であり、図６に示したフローチャートに準じて各利用例における処理動作を実現することができるものである。
【００５４】
＜２．第２の実施の形態＞
図１１は、本発明の第２の実施の形態としてのインタラクティブ表示システムを示す図であり、図１と同一部分には同一符号を付して説明を省略する。また、制御装置６の内部構成は例えば図２に示したものと同様でよいものとされる。
この第２の実施の形態においては、図１１に示すように、赤外線光を出射する赤外線発信器ＰＤをポインティングデバイスとして使用するものとされる。
【００５５】
前述のように、本実施の形態ではＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
【００５６】
例えば、先の第１の実施の形態においては、半透明面２の所望の位置をポインティングするのに指等を用いた代わりに、第２の実施の形態では、ユーザが上記赤外線発信器ＰＤを手に持って、半透明面２の所望の位置に対して赤外線発信器ＰＤにより出射された赤外線光を半透明面２の前面側に対して照射するようにされる。
このようにして赤外線発信器ＰＤからの赤外線光が半透明面２に照射されると、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６の入力画像処理部１２では、この検出画像情報のレベル変化を操作情報として認識するように処理を行えばよいことになる。
なお、赤外線光は不可視であることから、例えば、半透明面２における赤外線発信器ＰＤからの赤外線光の現在の照射位置が分かるように、スポットＳＰなどの表示を半透明面２上に行わせることが好ましい。このスポット表示は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。
【００５７】
＜３．第３の実施の形態＞
図１２及び図１３は、それぞれ本発明の第３の実施の形態としてのインタラクティブ表示システム１Ｂ全体の構成と、制御装置６の内部構成を示すブロック図であり図１及び図２と同一部分については同一符号を付して説明を省略する。
【００５８】
図１２及び図１３に示すように、本実施の形態のインタラクティブ表示システム１Ｂとしては、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられる。 第１ＣＣＤカメラ４Ａは、先の実施の形態におけるＣＣＤカメラ４と同一の役割が与えられているものとされる。つまり、半透明面２の背面側において半透明面２全体を撮像範囲として、ここから入射されてくる赤外線光を撮影するために設けられる。
【００５９】
第２ＣＣＤカメラ４Ｂは、後述するように半透明面２における所要の一部領域を拡大縮小して撮像するために設けられている。このため、第２ＣＣＤカメラ４Ｂには、図のようにパン／チルト／ズーム機構７が設けられる。パン／チルト／ズーム機構７は、第２ＣＣＤカメラ４Ｂを水平方向と垂直方向の両方向に回転移動させることのできる機構（パン／チルト機構）を備えると共に、第２ＣＣＤカメラに備えられているとされるズームレンズを移動させることにより撮像画像の拡大率を可変する機構（ズーム機構）を備えている。このパン／チルト／ズーム機構７に対する制御、つまりパン／チルト位置の可変制御及びズーム率の可変制御は、図１３に示すようにデータベース駆動部１４により行われる。従って、データベースメモリには、必要に応じてパン／チルト／ズーム機構７を制御するためのプログラムが格納されているものとされる。
なお、ＣＣＤカメラ４Ａ，４Ｂの何れに対してもその光学系に赤外線透過フィルタ４ａが備えられて、赤外線光のみによる半透明面２上の画像を撮像するようにされている。
【００６０】
この場合、制御装置６においては図１３に示すように、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられたことに対応して、２つの画像入力部１１Ａ，１１Ｂが設けられることになる。画像入力部１１Ａは、第１ＣＣＤカメラ４Ａの撮像信号を入力して映像信号として入力画像処理部１２に対して供給し、画像入力部１１Ｂは、第２ＣＣＤカメラ４Ｂの撮像信号を入力して映像信号として入力画像処理部１２に対して供給する。従って、本実施の形態の入力画像処理部１２では、第１ＣＣＤカメラ４Ａの映像信号に基づいて得られる検出画像情報と、第２ＣＣＤカメラ４Ｂの映像信号に基づいて得られる検出画像情報を生成し、両者の検出画像情報から所要の操作情報を得るようにされる。
【００６１】
本実施の形態としてのインタラクティブ表示システム１Ｂは例えば次のようにして使用することができる。
例えば図１２に示すようにしてユーザが半透明板２の前面に位置した状態で、半透明板２のある位置に対して指で指定操作を行っているとする。この場合、半透明板２全体を撮像する第１ＣＣＤカメラ４Ａにより撮像されて、入力画像処理部において得られる検出画像情報としては、例えば図１４（ａ）に示すようなものとなる。上記のような操作を行っている場合、通常はユーザの指（手）の部分が最も半透明面２に近接し、残りの身体部分は手の部分よりも半透明面２から離れた距離にあることになる。
従って、図１４（ａ）に示す検出画像情報においては、大きく分けて身体部分が表示される画像領域Ａの部分よりも手の部分が表示される画像領域Ｂの部分のほうが高い値（例えば輝度レベル）が得られることになる。ここでしきい値制御部１３においてしきい値を適切に設定することにより、入力画像処理部１２において、画像領域Ａの部分を含む背景から画像領域Ｂの部分を「操作体」として分離して識別できることは前述したとおりである。なお、前述のように操作体が人体の手又は指に限定される場合には、検出画像情報として得られるユーザの手間他は指の形状に基づいて、これを操作体として認識するように構成することも可能である。
【００６２】
ここで、上記のようにして入力画像処理部１２が画像領域Ｂの部分を「操作体」として検出したとすると、データベース駆動部１４は、上記半透明面２上における操作体の位置情報に基づいて、操作体の部分、つまり画像領域Ｂの部分を第２ＣＣＤカメラ４Ｂによりズーム撮影するように制御を実行する。つまり、半透明面２上における画像領域Ｂの部分の位置情報に基づいて、この画像領域Ｂの部分がほぼ第２ＣＣＤカメラ４Ｂの撮像画像のほぼ中心にくるように、パン／チルト／ズーム機構７に対してパン／チルト制御を実行したうえで、画像領域Ｂの部分が撮像画像のほぼ全体を占めるように、パン／チルト／ズーム機構７に対してズーム制御を実行する。このような制御によって、第２ＣＣＤカメラ４Ｂの撮像信号に基づいて得られる検出画像情報としては、図１４（ｂ）に示すように画像領域Ｂ（操作体）の部分が拡大された画像情報を得ることができる。
【００６３】
例えば、上記図１４（ｂ）に示す検出画像情報に基づいて操作情報を得る場合として、特にその指定位置を操作情報として検出する場合、例えば図１４（ａ）に示す検出画像情報に基づいてその指定位置情報を得る場合よりも、相対的な解像度が上がることになる。従って、より精度の高い指定位置情報を得ることが可能となる。
【００６４】
なお、上記した利用方法はあくまでも一例であって、２つのＣＣＤカメラを利用した適用例は他にも各種考えられるものである。また、２つのＣＣＤカメラに対してパン／チルト／ズーム機構７を設けてもよいし、更には２以上の複数のＣＣＤカメラ（この際、どのＣＣＤカメラにパン／チルト／ズーム機構を設けるのかは任意である）を利用して、これらＣＣＤカメラの各々から独立的に操作情報を得るようにしても、多様な適用例が考えられるものである。
【００６５】
＜４．第４の実施の形態＞
図１５は本発明の第４の実施の形態としてのインタラクティブ表示システム１Ｃの構成例を概念的に示す図であり、例えば図１と同一部分については同一符号を付して説明を省略する。また、制御装置６の内部構成は図２と同様でよいものとされる。
これまで実施の形態として説明してきた各インタラクティブ表示システムは、半透明面２がいわゆる壁面状であるものとして説明してきたのであるが、本発明としての半透明面２の機能（表示パネル機能及び操作パネル機能）を考慮すれば、これに限定されるものではない。そこで、第４の実施の形態のインタラクティブ表示システム１Ｃでは、半透明面２Ａを曲面形状に形成している。図１５においては、半球面状とされた半透明面２Ａが設置されている状態が示されており、この半球面状の半透明面２Ａの内壁側に対して、例えば少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５が設けられるようにされる。ユーザは半透明面２Ａの外壁側から操作を行うことになる。なお、この図においては、ＣＣＤカメラ４に対して設けられる赤外線透過フィルタ４ａと、プロジェクタ５に対して設けられる赤外線遮断フィルタ５ａの図示は省略しているが、実際には、これまでの実施の形態と同様に設けられているものとされる。
なお、この図では半透明面２Ａに対して世界地図が投影表示されている状態が示されているが、例えばこの場合であれば、先の第１の実施の形態において図７にて説明したようにして利用することが考えられる。
【００６６】
＜５．第５の実施の形態＞
図１６は、本発明の第５の実施の形態としてのインタラクティブ表示システム１Ｄの構築例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。この図においても、赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略しているが、実際には、ＣＣＤカメラ４とプロジェクタ５に対してそれぞれ設けられているものである。また、ここでは制御装置６の図示も省略されているが、実際には、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５に対する制御を実現するために設けられているものであり、その内部構成も図２と同様でよい。
【００６７】
この場合には、例えば通路の壁面が半透明面２として構成されており、例えば赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などは、この通路壁面（半透明面２）の背後に設けられる。つまり、本実施の形態のインタラクティブ表示システム１Ｄは通路の壁面の一部として構成されている。
ここで、たとえばユーザ（歩行者）が通路を歩いており、インタラクティブ表示システム１Ｄの半透明面２（壁面）の脇を通過したとする。
前述のように、本発明では操作パネルとして機能する半透明面２からある程度離れた距離にユーザがいたとしても、これを「接近体」として検出することが可能である。そこで、この場合には、歩行者がインタラクティブ表示システム１Ｄの半透明面２（壁面）の脇にきたときに、その姿が接近体として検出するようにされる。そして接近体の検出結果に基づいて、例えば図１６に示すように壁面である半透明面２に対して、行き先などを提示する案内画像ＧＤをプロジェクタ５により投影表示するように動作させることができる。
このようなインタラクティブ表示システム１Ｄの動作を歩行者からみたときには、自分が通路を歩くと壁面に対して自動的に行き先の案内表示が行われることになる。
【００６８】
また、上述した第５の実施の形態において、例えば通路の壁面の裏側において、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）などの設置スペースが限られているような状況では、図１７のようにミラーＭＲを用いて赤外線ＬＥＤパネル３、プロジェクタ５の出射光やＣＣＤカメラ４の入射光を光路を反射により変更させるようにすることが考えられる。特に、ＣＣＤカメラ４やプロジェクタ５の画角によっては、大画面化された半透明面２をカバーできるだけの撮像範囲や投影表示範囲を得るのには相当の距離が必要となるのであるが、このようにしてミラーＭＲを設ければ、狭い奥行きであっても充分な撮像範囲や投影表示範囲を得ることが可能となり、本実施の形態のインタラクティブ表示システム１Ｄを設置環境として要求される条件を緩和させることができる。
【００６９】
＜６．第６の実施の形態＞
図１８は、本発明の第６の実施の形態としてのインタラクティブ表示システム１Ｅの構成例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられるものである。
【００７０】
この場合には、半透明面２Ｂはテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより指示されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２Ｂの下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。
また、本実施の形態においては、後述するようにしてユーザが半透明面２Ｂに対して操作を行うことによって、モニタ装置３０に対する操作制御が行えるようにされている。
【００７１】
図１９には、本実施の形態のインタラクティブ表示システム１Ｅとしての制御装置６の内部構成を示すブロック図であり、図２Ｂと同一部分については同一符号を付して説明を省略する。
この図に示す制御装置６においては、外部機器制御部２０が設けられる。この場合、外部機器制御部２０は、モニタ装置３０に対する操作制御を行うための回路部位とされ、データベース駆動部１４から与えられる操作情報によって、テレビジョン受像機３０に対して所要の操作制御を行うためのコマンド信号を送信出力する。従って、この場合のデータベースメモリ１４には、当該インタラクティブ表示システム１Ｅによりテレビジョン受像機３０に対する操作が実現されるようにするためのプログラムが格納されることになる。
【００７２】
この第６の実施の形態としてのインタラクティブ表示システム１Ｅにおいては、例えば図１８に示すように、半透明面２Ｂの特定の領域にリモートコントロール（以下リモコンと略す）表示ＲＭＤが表示される。このリモコン表示ＲＭＤには、テレビジョン受像機３０に対する各種操作が可能なキーが設けられたリモートコントローラの操作パネル面を模した形態により表示が行われるものとされる。なお、このリモコン表示ＲＭＤの表示制御は、データベースメモリ１４に格納されているとされるリモコン表示ＲＭＤの画像データ利用してデータベース駆動部１４が表示制御を行うことで、リモコン表示ＲＭＤの映像がプロジェクタ５により投影表示されるようにすることで実現される。
なお、リモコン表示ＲＭＤの表示位置は任意に設定されればよく、例えば当該インタラクティブ表示システム１Ｅに対する所定の設定操作によって、ユーザが使いやすいとされる位置に表示されるように任意に設定できるようにすることも考えられる。この際、データベース駆動部１４が現在のリモコン表示ＲＭＤの表示位置を認識してさえいれば、リモコン表示ＲＭＤの各種キーの表示部分の位置（座標）は、常にデータベース駆動部１４において把握することが可能である。
【００７３】
例えば、上記半透明面２Ｂに表示されたリモコン表示ＲＭＤに対するユーザの操作として、ここでは、数字キーの操作によって所望のチャンネルを選択したとする。このとき、例えばユーザは半透明面２Ｂ上のリモコン表示ＲＭＤにおける数字キーのうち、所望の１つの数字キーを押圧操作するようなイメージで半透明面２Ｂ上に対して操作を行えばよい。この場合、しきい値制御部１３におけるキー操作判別のためのしきい値の設定にもよるが、ユーザは必ずしもテーブル面（半透明面２Ｂ）上に対して指などの操作体を接触させる必要はなく、所望のキーが表示されている部分の中空に対して操作を行うようにするだけでもキー操作として判別可能なようにすることは当然可能である。
【００７４】
上記したユーザの操作は、ＣＣＤカメラ４により撮像されて得られる検出画像情報に基づいて、入力画像処理部１２においてその操作位置（座標）が検出される。そして、データベース駆動部１４では、検出された操作位置の座標が、リモコン表示ＲＭＤとして表示されているどのキー部分の座標と一致するのかを識別して、例えば操作位置の座標と一致しているキーの種別を示す情報を外部機器制御部２０に対して伝送する。
外部機器制御部２０においては、データベース駆動部１４から入力されたキー種別を示す情報に基づいて、このキー種別に対応するコマンド信号をモニタ装置３０に出力する。
この場合には、ある１つの数字キーによるチャンネル切換操作であることから、例えばデータベース駆動部１４は、チャンネル番号に対応する数字による数字キーが操作されたとの情報を伝送することになる。そして、外部機器制御部２０では、この指定された数字キーが示すチャンネル番号に切り換えるためのコマンド信号を送信する。これにより、テレビジョン受像機３０においては、ユーザが操作したチャンネルの画面に切り替わるように動作することになる。
【００７５】
なお、当然のこととして当該インタラクティブ表示システム１Ｅにより操作が可能な外部機器はテレビジョン受像機に限定される物ではなく、他の各種電子機器に対しても操作が可能なように構成することは可能であり、更には本発明に基づけば、同時に複数種類の機器に対応するリモコン表示ＲＭＤを表示させてユーザによる操作が可能なように構成することも可能であり、また、１つのリモコン表示ＲＭＤにおける複数キーに対する同時操作を認識して外部機器を制御することも可能とされる。
【００７６】
また、本実施の形態のように半透明面２Ｂがテーブル面である場合には、次のような動作も行わせることができる。
例えば、テーブル面としての半透明面２Ｂに対して食器その他の何らかの物を置いた場合、この半透明面２Ｂに置かれた物が赤外線光を反射することにより、この設置物の形状の画像が検出画像情報として得られることになる。これまで説明してきた実施の形態では、このような画像変化を操作情報として扱ってきたが、この場合には、この検出画像情報としての画像データをプロジェクタ５により投影表示させる画像として利用することもできる。これにより、例えば図１８の影表示ＳＨＤとして示すように、半透明面２Ｂに対して置かれた物の画像を、その影のようにして表示できるように構成することが考えられる。この場合、物が置かれる位置に応じて半透明面２Ｂ上の影表示ＳＨＤの位置も追随するようにして変化したり、半透明面２Ｂの表面からの距離変化に応じて影表示ＳＨＤの形状なども変化するので、ユーザにとって興味深い視覚的効果が得られることになる。
【００７７】
上記のような影表示ＳＨＤを実現するためには、例えば制御装置６の入力画像処理部１２において得られる検出画像情報を画像データとして画像合成部１７に供給すればよい。これにより、画像合成部１７においては、上記検出画像情報としての画像データ（影表示ＳＨＤの画像データ）と、データベース駆動部１４の制御により画像生成部１６において作成されたリモコン表示ＲＭＤが合成されることで、最終的に図１８に示すような半透明面２Ｂに対する投影表示が行われることになる。
なお、ここでは詳しい説明は省略するが、上記検出画像情報を画像データに対して各種信号処理によって、マルチカラー化を施したり、画像の形状を変化させるなどの特殊効果を与えることで更に視覚的効果を高めるように構成することも可能である。
【００７８】
ところで、上述の第６の実施の形態では、テーブルの下側に少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５を配置してやる必要があるが、例えば床からテーブル面（半透明面２Ｂ）までの高さ（距離）はさほど多く取ることができないため、ＣＣＤカメラ４やプロジェクタ５が半透明面２Ｂ全体をカバーできるのに必要な直線距離を得ることが難しい場合が生じる。そこで、先の第５の実施の形態でも説明したが、この場合も同様に、図２０に示すように半透明面２Ｂ（テーブル面）の下側に光路を反射により変更させるミラーＭＲを配置させ、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などの装置はテーブルの横側に配置させるようにすることが考えられる。
【００７９】
なお、ミラーＭＲの代わりに、所定の光透過率と反射率が設定されたハーフミラーＭＲを用いることも考えられる。このようなハーフミラーＭＲを用いた場合には、例えば、赤外線ＬＥＤパネル３はテーブルの横側に配置させずに、テーブル下部の床面部分に設置することなどが可能となってそれだけ設置自由度が高くなる。なお、ハーフミラーを用いた設置方法は、たとえば先の第５の実施の形態における図１７のような設置形態の場合にも適用することができる。
【００８０】
＜７．第７の実施の形態＞
図２１は本発明の第７の実施の形態としてのインタラクティブ表示システム１Ｆの構成例を示す図であり、図１と同一部分には同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｆにおいては、赤外線ＬＥＤパネル３が設けられていない。
たとえば、本発明に基づくインタラクティブ表示システムを屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、本実施の形態のように赤外線ＬＥＤパネル３を省略する代わりに、自然光に含まれる赤外線光を操作情報検出用の光源として利用するものである。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００８１】
そして、例えば半透明面２に対して何らかの操作が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。
なお、インタラクティブ表示システム１Ｆの制御装置６の内部構成の図示は省略するが、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【００８２】
＜８．第８の実施の形態＞
図２２は、本発明の第８の実施の形態としてのインタラクティブ表示システム１Ｇの構成を示す概念図、図２３は本実施の形態のインタラクティブ表示システム１Ｇに備えられる制御装置６の構成を示すブロック図であり、それぞれ図１及び図２と同一部分については同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｇとしては、先に説明した各種実施の形態のインタラクティブ表示システムに備えられた赤外線ＬＥＤパネル３の代わりにマイクロ波発生器４０が備えられ、また、ＣＣＤカメラ４の代わりにマイクロ波受信器４１が備えられる。
【００８３】
そして、これに対応して制御装置６においては、マイクロ波発生器４０を駆動するためのマイクロ波駆動回路１１０がＬＥＤ駆動部１０（図１参照）の代わりに備えられる。また、マイクロ波受信器４１から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力部１１１と、この画像信号入力部１１１から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理部１１２が設けられる。上記画像信号入力部１１１及び入力データ処理部１１２は、それぞれ画像入力部１１及び入力画像処理部１２（図１参照）に代わる機能回路部である。この場合、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
本実施の形態のように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
【００８４】
なお、特に具体的な適用例の図示及び説明は省略するが、本発明としては半透明面２に対して行われたとされる操作情報が検出されればよいことから、上記各実施の形態に示したプロジェクタ５を省略して本発明としての情報入力装置を構成することは当然考えられる。つまり、この場合の半透明面２は操作パネルとしてのみ機能する。この構成に準ずる場合、たとえばインタラクティブな応答表示をする表示手段が必要であれば、半透明面２ではなく、別の他の種類の表示デバイスを使用しても構わない。
また、本発明に基づいて構成されるインタラクティブ表示システムの適用例は、これまで述べてきた実施の形態や適用例に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法やアプリケーションなどの適用は、他にも各種考えられるものである。また、本発明の実施の形態としてのインタラクティブ表示システムにおいて、インタラクティブな応答を音声により行うことも考えられる。
【００８５】
【発明の効果】
以上、実施の形態として説明した内容から分かるように、本発明は以下のような効果を有する。
請求項１に記載した発明により、本発明としての情報入力装置の基本的構成が得られるが、この構成では、第２の波長帯域の電磁波を反射するなどしてこれに状態変化を与えることのできる物体であれば、操作を行うための操作体として成立する。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行ったり、半透明面に接近してくる物体を認識して何らかの応答処理を行わせるといったこともできることになる。
また、本発明の操作パネルとしては単なる半透明面が得られればよく、例えば従来のタッチパネルとは異なり、そのサイズの大型化も容易に実現される。
さらに、半透明面の半透明性を利用してプロジェクタなどによって画像を投影表示していることで、半透明面を操作パネルとしてだけではなく、画像表示を行う表示パネルとしても兼用することが可能となる。
【００８６】
また、請求項２に記載した第１の発明によっては、同時に複数の検出対象を認識して、それぞれに応答した所要の制御処理を独立的に実行することが可能なので、例えば複数のメニュー画面に対して同時に操作を行ったりさせることなどが可能となる。
また、同じ請求項２に記載した第２の発明によっては、例えば検出対象の形状によりこれを操作情報として認識するか否かを決定することができる。例えば下記のようにして、人体の手や指などによる操作のみを操作情報として扱うためには、この発明による技術を適用すれば容易に実現することが可能である。
【００８７】
更に、同じ請求項２に記載した第３の発明によっては、例えば検出画像情報に得られる画像形状に基づいて、人体の手もしくは指の動きを操作情報として認識して、それ以外の検出対象については操作情報として無視できるようにすることも可能である。
【００８８】
続いて、請求項３に記載した発明によれば、半透明面を利用した操作に応じて、プロジェクタなどによる投影画像についての制御も実行させることが可能となる。つまり、操作に対する応答を、操作パネルでもある半透明面に表示させることができるものである。
そこで、請求項４の発明により、上記表示用画像として、ユーザに各種操作を促すためのメニュー画面を設定したり、例えば地図などの初期画像を表示させることが可能となる。そのうえで、請求項５に記載の第１の発明のようにして、例えば地図などの初期画像を表示させて、地図上のある地域を指定すれば、その地域の説明などの属性情報を表示させるなどのようにして利用することができる。この場合には、ユーザが半透明面に対して表示された画像に対して操作を行うという直接的な操作情報の入力形態も実現されることになる。
【００８９】
また、同じ請求項５に記載した第２の発明によれば、上記半透明面に表示すべき画像として、撮像手段により撮像された撮像信号に基づいて検出された検出画像情報を利用して表示することが可能となり、また、同じ請求項５に記載した第３の発明を適用すれば、検出画像情報を利用することで、半透明面上に配置した物体に対応してその影物を表示させるなどの視覚的効果を与えることも可能となる。
【００９０】
請求項６に記載した発明によれば、輻射手段としては、撮像手段が撮像すべき第２の波長帯域の電磁波を上記半透明面に対して定常的に輻射するように構成されることで、撮像手段により撮像される媒体（例えば赤外線光やマイクロ波など）を安定的に得られることになり、本発明としての情報入力装置を備えてなるシステムの設置環境によらず、高い信頼性を得ることができる。
【００９１】
また、請求項７に記載した第１の発明によれば、半透明面は、例えばガラスなどの透明面を形成する材質と何らかの半透明膜などの半透明面を形成する材質とを組み合わせるだけで構成することができ、安価で済ませることができる。また、前述した大型化の可能性も妨げない。
【００９２】
また、同じ請求項７に記載した第２，第３、第４の発明によれば、半透明面は壁面、曲面形状としたり、また、テーブル面として機能させるなど多様な形態に対応することが可能であり、それだけ、本発明の情報入力装置が適用される用途範囲が拡大されることになる。
【００９３】
請求項８に記載の発明は、撮像手段が撮像すべき第２の波長帯域の電磁波を輻射するポインティングデバイスを設けるのであるが、これは、本発明の基本的な構成においては、撮像手段が撮像すべき上記第２の波長帯域の電磁波に対して何らかの変化を与えることのできる物であれば操作体となり得ることに基づいて構成されるものである。つまり、請求項８の発明では、特定のポインティングデバイスを用いることも可能であり、例えば、この場合にはユーザが比較的半透明面から離れた位置から正確な操作情報を与えることが可能になる。
【００９４】
請求項９の発明によれば、異なる拡大率により検出用の画像情報が得られることになるが、ここに請求項１０の発明を適用することで、例えば、ユーザが半透明面に対してポインティングした位置を識別する際にこのポインティングされた領域を拡大して他の撮像手段により撮像させて検出画像情報を得るようにすれば、ポインティングされた位置（座標）をより高精度に検出することができる。
【００９５】
このように本発明は、操作などの情報入力に際して、上記のごとき自由度を与えると共に、表示パネルとして兼用可能な操作パネルとして大型化されたものを容易に提供できるようにすることで様々な利用形態を採る可能性が与えれることになり、容易にインタラクティブな入出力環境を強化拡大することができるという効果が得られることになる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２】第１の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】第１の実施の形態のインタラクティブ表示システムの第１の利用例を示す説明図である。
【図６】図５に示す第１の利用例を実現するための処理動作を示すフローチャートである。
【図７】第１の実施の形態のインタラクティブ表示システムの第２の利用例を示す説明図である。
【図８】第１の実施の形態のインタラクティブ表示システムの第３の利用例を示す説明図である。
【図９】第１の実施の形態のインタラクティブ表示システムの第４の利用例を示す説明図である。
【図１０】第１の実施の形態のインタラクティブ表示システムの第５の利用例を示す説明図である。
【図１１】本発明の第２の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１２】本発明の第３の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１３】第３の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図１４】第３の実施の形態のインタラクティブ表示システムの動作例を示す説明図である。
【図１５】本発明の第４の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１６】本発明の第５の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１７】第５の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。
【図１８】本発明の第６の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図１９】第６の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【図２０】第６の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。
【図２１】本発明の第７の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２２】本発明の第８の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。
【図２３】第８の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ インタラクティブ表示システム、２，２Ａ，２Ｂ 半透明面、３ 赤外線ＬＥＤパネル、４ ＣＣＤカメラ、４Ａ 第１ＣＣＤカメラ、４Ｂ 第２ＣＣＤカメラ、５ プロジェクタ、６ 制御装置、７ パン／チルト／ズーム機構、１０ ＬＥＤ駆動部、１１，１１Ａ，１１Ｂ 画像入力部、１２ 入力画像処理部、１３ しきい値制御部、１４ データベース駆動部、１５ データベースメモリ、１６ 画像生成部、１７ 画像合成部、１８ ＲＧＢ信号生成部、３０ テレビジョン受像機、４０ マイクロ波発生器、４１ マイクロ波受信器、１１０ マイクロ波駆動部、１１１ 受信信号入力部、１１２ 入力データ処理部、ＰＤ 赤外線発信器、ＭＲ ミラー、ハーフミラー、ＲＭＤ リモコン表示、ＳＨＤ 影表示
Claims (11)
- 操作面として機能する半透明面と、
第１の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示手段と、
上記第１の波長帯域とは異なる第２の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射手段と、
上記電磁波を撮像し、上記操作体に反射された上記電磁波に基づき上記操作体による操作情報の検出信号を生成する、撮像手段と、
上記半透明面と上記操作体の接近の度合いを検出するための２以上のしきい値を設定するしきい値設定手段と、
上記検出信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、この検出用画像情報と設定された上記しきい値の比較を行うことで検出された上記半透明面と上記操作体の接近の度合いの情報と、接近位置の情報を含む入力情報に基づいて所要の制御処理を実行する制御処理手段と、
を備えていることを特徴とする情報入力装置。 - 上記制御処理手段は、
上記検出用画像情報の画像状態に基づいて複数の入力情報を識別可能とされ、これら複数の入力情報の各々に基づいてそれぞれ異なる所要の制御処理を実行可能に構成されている、
上記検出用画像情報の画像状態として得られる特定の画像形状に基づいて、入力情報を識別するように構成されている、又は、
上記入力情報の検出対象として人体の手又は指を認識可能なように構成されている、
ことを特徴とする請求項１に記載の情報入力装置。 - 上記制御処理手段が実行する上記制御処理として、所要の表示用画像を上記投影表示手段により投影表示させるための表示用画像生成処理及び上記投影表示手段に対する制御を実行するように構成されている、
ことを特徴とする請求項１に記載の情報入力装置。 - 上記表示用画像として、当該制御処理手段に対して所要の処理を実行させるためのメニュー画面が設定されている、又は、
所定内容の初期画像が設定されている、
ことを特徴とする請求項３に記載の情報入力装置。 - 上記制御処理手段は、
上記初期画像上における特定の領域の画像内容に関連する属性情報を備え、入力情報として上記特定の領域を指定したことが判別された場合には、指定された領域に関連する属性情報を示す表示が上記投影表示手段により行われるように制御処理を実行する、
上記検出用画像情報を利用して上記表示用画像を作成可能に構成されている、又は、
上記半透明面上又はその空間上の物理対象の配置位置に対応して、半透明面上の所定領域に対して所要の表示が行われるように表示用画像生成処理を実行する、
ことを特徴とする請求項３に記載の情報入力装置。 - 上記輻射手段は、
上記第２の波長帯域の電磁波を上記半透明面に対して定常的に輻射することを特徴とする請求項１に記載の情報入力装置。 - 上記半透明面は、
透明面を形成する材質と半透明面を形成する材質とを組み合わせることによって形成される、
壁面を形成するものである、
曲面形状を有するものである、又は、
テーブル面を構成するようにして配置される、
ことを特徴とする請求項１に記載の情報入力装置。 - 上記半透明面に対して、上記撮像手段が撮像すべき上記第２の波長帯域の電磁波を輻射することによって、上記撮像手段が撮像する上記第２の波長帯域の電磁波について状態変化を与えることのできるポインティングデバイス手段が設けられることを特徴とする請求項１に記載の情報入力装置。
- それぞれ異なる拡大率により撮像した撮像信号を出力する複数の撮像手段が備えられ、
上記制御処理手段は、上記複数の撮像手段から入力された撮像信号に基づいて生成した検出用画像情報に基づいて所要の制御処理を実行するように構成されることを特徴とする請求項１に記載の情報入力装置。 - 上記制御処理手段は、
上記複数の撮像手段のうち所定の撮像手段により得られた撮像信号に基づいて得られる検出用画像情報の領域内において特定の撮像領域を所定規則に従って選択すると共に、
上記所定の撮像手段とは異なる他の撮像手段により、上記特定の撮像領域について拡大率を可変して撮像が行われるための制御を実行することを特徴とする請求項９に記載の情報入力装置。 - 操作面として機能する半透明面および上記半透明面と操作体の接近の度合いを検出するための２以上のしきい値を設定するしきい値設定手段を有し、
第１の波長帯域の可視光による画像を上記半透明面に対して投影し、
上記第１の波長帯域とは異なる第２の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の上記操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射し、
上記電磁波を撮像し、上記操作体に反射された上記電磁波に基づき上記操作体による操作情報の検出信号を生成し、
上記検出信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、この検出用画像情報と設定された上記しきい値の比較を行うことで検出された上記半透明面と上記操作体の接近の度合いの情報と、接近位置の情報を含む入力情報に基づいて所要の制御処理を実行することを特徴とする情報入力方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18093697A JP3968477B2 (ja) | 1997-07-07 | 1997-07-07 | 情報入力装置及び情報入力方法 |
| US09/110,570 US6414672B2 (en) | 1997-07-07 | 1998-07-06 | Information input apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18093697A JP3968477B2 (ja) | 1997-07-07 | 1997-07-07 | 情報入力装置及び情報入力方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007102037A Division JP4712754B2 (ja) | 2007-04-09 | 2007-04-09 | 情報処理装置及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1124839A JPH1124839A (ja) | 1999-01-29 |
| JP3968477B2 true JP3968477B2 (ja) | 2007-08-29 |
Family
ID=16091874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18093697A Expired - Lifetime JP3968477B2 (ja) | 1997-07-07 | 1997-07-07 | 情報入力装置及び情報入力方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6414672B2 (ja) |
| JP (1) | JP3968477B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2166435A2 (en) | 2008-08-29 | 2010-03-24 | Sony Corporation | Information processing apparatus and information processing method |
Families Citing this family (262)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7084859B1 (en) | 1992-09-18 | 2006-08-01 | Pryor Timothy R | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US7489303B1 (en) * | 2001-02-22 | 2009-02-10 | Pryor Timothy R | Reconfigurable instrument panels |
| US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
| US8610674B2 (en) | 1995-06-29 | 2013-12-17 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US6526157B2 (en) * | 1997-08-01 | 2003-02-25 | Sony Corporation | Image processing apparatus, image processing method and transmission medium |
| GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US6545670B1 (en) * | 1999-05-11 | 2003-04-08 | Timothy R. Pryor | Methods and apparatus for man machine interfaces and related activity |
| EP1085432B1 (en) * | 1999-09-20 | 2008-12-03 | NCR International, Inc. | Information retrieval and display |
| US8482535B2 (en) | 1999-11-08 | 2013-07-09 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| AU2001227797A1 (en) * | 2000-01-10 | 2001-07-24 | Ic Tech, Inc. | Method and system for interacting with a display |
| JP4803883B2 (ja) * | 2000-01-31 | 2011-10-26 | キヤノン株式会社 | 位置情報処理装置及びその方法及びそのプログラム。 |
| US7138983B2 (en) | 2000-01-31 | 2006-11-21 | Canon Kabushiki Kaisha | Method and apparatus for detecting and interpreting path of designated position |
| JP2001222375A (ja) | 2000-02-08 | 2001-08-17 | Seiko Epson Corp | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
| DE10007891C2 (de) * | 2000-02-21 | 2002-11-21 | Siemens Ag | Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung |
| JP3640156B2 (ja) | 2000-02-22 | 2005-04-20 | セイコーエプソン株式会社 | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
| US20080122799A1 (en) * | 2001-02-22 | 2008-05-29 | Pryor Timothy R | Human interfaces for vehicles, homes, and other applications |
| US8576199B1 (en) | 2000-02-22 | 2013-11-05 | Apple Inc. | Computer control systems |
| JP3620397B2 (ja) * | 2000-03-28 | 2005-02-16 | セイコーエプソン株式会社 | 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体 |
| US7082209B2 (en) * | 2000-08-31 | 2006-07-25 | Hitachi Kokusai Electric, Inc. | Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method |
| GB0027314D0 (en) * | 2000-11-09 | 2000-12-27 | Ncr Int Inc | Information retrieval and display |
| US20080024463A1 (en) * | 2001-02-22 | 2008-01-31 | Timothy Pryor | Reconfigurable tactile control display applications |
| US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| US8300042B2 (en) | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
| US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
| US20030095401A1 (en) * | 2001-11-20 | 2003-05-22 | Palm, Inc. | Non-visible light display illumination system and method |
| US6587752B1 (en) * | 2001-12-25 | 2003-07-01 | National Institute Of Advanced Industrial Science And Technology | Robot operation teaching method and apparatus |
| US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
| US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
| US7710391B2 (en) * | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
| US20050122308A1 (en) * | 2002-05-28 | 2005-06-09 | Matthew Bell | Self-contained interactive video display system |
| JP2004014383A (ja) * | 2002-06-10 | 2004-01-15 | Smk Corp | 接触式入力装置 |
| DE10228110A1 (de) * | 2002-06-24 | 2004-01-15 | Siemens Ag | Bedieneinheit für Kraftfahrzeugkomponenten |
| WO2004017624A1 (de) * | 2002-07-19 | 2004-02-26 | Cognex Ltd. | Bildaufnahmegerät, verfahren zum aufnehmen eines an einem display visualisierten bildes und anordnung aus einer bildaufnahmeeinheit und einem display sowie verwendung des bildaufnahmegerätes und verwendung der anordnung |
| US7358963B2 (en) | 2002-09-09 | 2008-04-15 | Apple Inc. | Mouse having an optically-based scrolling feature |
| KR100575906B1 (ko) | 2002-10-25 | 2006-05-02 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
| AU2003291320A1 (en) * | 2002-11-05 | 2004-06-07 | Disney Enterprises, Inc. | Video actuated interactive environment |
| US7390092B2 (en) * | 2002-11-08 | 2008-06-24 | Belliveau Richard S | Image projection lighting devices with visible and infrared imaging |
| WO2004055776A1 (en) | 2002-12-13 | 2004-07-01 | Reactrix Systems | Interactive directed light/sound system |
| US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
| DE10260305A1 (de) * | 2002-12-20 | 2004-07-15 | Siemens Ag | HMI Einrichtung mit einem optischem Touch Screen |
| GB0311177D0 (en) * | 2003-05-15 | 2003-06-18 | Qinetiq Ltd | Non contact human-computer interface |
| US7536032B2 (en) * | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
| US20050088407A1 (en) | 2003-10-24 | 2005-04-28 | Matthew Bell | Method and system for managing an interactive video display system |
| US20050168448A1 (en) * | 2004-01-30 | 2005-08-04 | Simpson Zachary B. | Interactive touch-screen using infrared illuminators |
| JP4220408B2 (ja) * | 2004-02-13 | 2009-02-04 | 株式会社日立製作所 | テーブル型情報端末 |
| JP2005276139A (ja) * | 2004-02-23 | 2005-10-06 | Aruze Corp | 情報入力装置 |
| JP2005230476A (ja) * | 2004-02-23 | 2005-09-02 | Aruze Corp | ゲーム機 |
| JP2005242694A (ja) | 2004-02-26 | 2005-09-08 | Mitsubishi Fuso Truck & Bus Corp | ハンドパターンスイッチ装置 |
| WO2005091651A2 (en) * | 2004-03-18 | 2005-09-29 | Reactrix Systems, Inc. | Interactive video display system |
| US20050227217A1 (en) * | 2004-03-31 | 2005-10-13 | Wilson Andrew D | Template matching on interactive surface |
| US7379562B2 (en) * | 2004-03-31 | 2008-05-27 | Microsoft Corporation | Determining connectedness and offset of 3D objects relative to an interactive surface |
| US20050225473A1 (en) * | 2004-04-08 | 2005-10-13 | Alex Hill | Infrared emission sensor |
| US7394459B2 (en) | 2004-04-29 | 2008-07-01 | Microsoft Corporation | Interaction between objects and a virtual environment display |
| US20080267465A1 (en) * | 2004-04-30 | 2008-10-30 | Kabushiki Kaisha Dds | Operating Input Device and Operating Input Program |
| US7787706B2 (en) | 2004-06-14 | 2010-08-31 | Microsoft Corporation | Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface |
| US7593593B2 (en) * | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
| US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
| US7743348B2 (en) * | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| WO2006013783A1 (ja) * | 2004-08-04 | 2006-02-09 | Matsushita Electric Industrial Co., Ltd. | 入力装置 |
| US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
| US20060044282A1 (en) * | 2004-08-27 | 2006-03-02 | International Business Machines Corporation | User input apparatus, system, method and computer program for use with a screen having a translucent surface |
| US20060044280A1 (en) * | 2004-08-31 | 2006-03-02 | Huddleston Wyatt A | Interface |
| JP4351599B2 (ja) * | 2004-09-03 | 2009-10-28 | パナソニック株式会社 | 入力装置 |
| US20100231506A1 (en) * | 2004-09-07 | 2010-09-16 | Timothy Pryor | Control of appliances, kitchen and home |
| US7273280B2 (en) * | 2004-10-04 | 2007-09-25 | Disney Enterprises, Inc. | Interactive projection system and method |
| CN101006415B (zh) * | 2004-10-05 | 2010-08-18 | 株式会社尼康 | 具有投影仪装置的电子设备 |
| US7576725B2 (en) * | 2004-10-19 | 2009-08-18 | Microsoft Corporation | Using clear-coded, see-through objects to manipulate virtual objects |
| US7359564B2 (en) * | 2004-10-29 | 2008-04-15 | Microsoft Corporation | Method and system for cancellation of ambient light using light frequency |
| US7925996B2 (en) * | 2004-11-18 | 2011-04-12 | Microsoft Corporation | Method and system for providing multiple input connecting user interface |
| US7847789B2 (en) * | 2004-11-23 | 2010-12-07 | Microsoft Corporation | Reducing accidental touch-sensitive device activation |
| US7898505B2 (en) * | 2004-12-02 | 2011-03-01 | Hewlett-Packard Development Company, L.P. | Display system |
| US8508710B2 (en) * | 2004-12-02 | 2013-08-13 | Hewlett-Packard Development Company, L.P. | Display panel |
| CN101829429B (zh) * | 2004-12-03 | 2011-12-07 | 世嘉股份有限公司 | 游戏装置 |
| US20060118634A1 (en) * | 2004-12-07 | 2006-06-08 | Blythe Michael M | Object with symbology |
| US20060132459A1 (en) * | 2004-12-20 | 2006-06-22 | Huddleston Wyatt A | Interpreting an image |
| WO2006074310A2 (en) * | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Creating 3d images of objects by illuminating with infrared patterns |
| US7379566B2 (en) * | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
| HUE049974T2 (hu) * | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
| US20060158616A1 (en) * | 2005-01-15 | 2006-07-20 | International Business Machines Corporation | Apparatus and method for interacting with a subject in an environment |
| US20060158437A1 (en) * | 2005-01-20 | 2006-07-20 | Blythe Michael M | Display device |
| US7503658B2 (en) * | 2005-01-20 | 2009-03-17 | Hewlett-Packard Development Company, L.P. | Projector |
| US8144118B2 (en) * | 2005-01-21 | 2012-03-27 | Qualcomm Incorporated | Motion-based tracking |
| US7570249B2 (en) * | 2005-03-30 | 2009-08-04 | Microsoft Corporation | Responding to change of state of control on device disposed on an interactive display surface |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US7499027B2 (en) * | 2005-04-29 | 2009-03-03 | Microsoft Corporation | Using a light pointer for input on an interactive display surface |
| RU2007144817A (ru) * | 2005-05-04 | 2009-06-10 | Конинклейке Филипс Электроникс, Н.В. (Nl) | Система и способ проецирования управляющей графики |
| US20060262188A1 (en) * | 2005-05-20 | 2006-11-23 | Oded Elyada | System and method for detecting changes in an environment |
| US8081822B1 (en) | 2005-05-31 | 2011-12-20 | Intellectual Ventures Holding 67 Llc | System and method for sensing a feature of an object in an interactive video display |
| US7535463B2 (en) * | 2005-06-15 | 2009-05-19 | Microsoft Corporation | Optical flow-based manipulation of graphical objects |
| US7525538B2 (en) * | 2005-06-28 | 2009-04-28 | Microsoft Corporation | Using same optics to image, illuminate, and project |
| US20070018989A1 (en) * | 2005-07-20 | 2007-01-25 | Playmotion, Llc | Sensory integration therapy system and associated method of use |
| US7911444B2 (en) * | 2005-08-31 | 2011-03-22 | Microsoft Corporation | Input method for surface of interactive display |
| US20070063981A1 (en) * | 2005-09-16 | 2007-03-22 | Galyean Tinsley A Iii | System and method for providing an interactive interface |
| US8847924B2 (en) * | 2005-10-03 | 2014-09-30 | Hewlett-Packard Development Company, L.P. | Reflecting light |
| EP1958040A1 (en) * | 2005-11-25 | 2008-08-20 | Koninklijke Philips Electronics N.V. | Touchless manipulation of an image |
| US8098277B1 (en) | 2005-12-02 | 2012-01-17 | Intellectual Ventures Holding 67 Llc | Systems and methods for communication between a reactive video system and a mobile communication device |
| US8060840B2 (en) | 2005-12-29 | 2011-11-15 | Microsoft Corporation | Orientation free user interface |
| US8077147B2 (en) | 2005-12-30 | 2011-12-13 | Apple Inc. | Mouse with optical sensing surface |
| US7630002B2 (en) * | 2007-01-05 | 2009-12-08 | Microsoft Corporation | Specular reflection reduction using multiple cameras |
| JP2007223416A (ja) * | 2006-02-22 | 2007-09-06 | Tokai Rika Co Ltd | 車両のインストルメントパネル |
| US7515143B2 (en) * | 2006-02-28 | 2009-04-07 | Microsoft Corporation | Uniform illumination of interactive display panel |
| US10026177B2 (en) * | 2006-02-28 | 2018-07-17 | Microsoft Technology Licensing, Llc | Compact interactive tabletop with projection-vision |
| US8930834B2 (en) * | 2006-03-20 | 2015-01-06 | Microsoft Corporation | Variable orientation user interface |
| US8139059B2 (en) * | 2006-03-31 | 2012-03-20 | Microsoft Corporation | Object illumination in a virtual environment |
| EP2027720A2 (en) * | 2006-05-17 | 2009-02-25 | Eidgenössische Technische Hochschule | Displaying information interactively |
| US7768527B2 (en) * | 2006-05-31 | 2010-08-03 | Beihang University | Hardware-in-the-loop simulation system and method for computer vision |
| US8001613B2 (en) * | 2006-06-23 | 2011-08-16 | Microsoft Corporation | Security using physical objects |
| US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
| US20080096651A1 (en) * | 2006-07-28 | 2008-04-24 | Aruze Corp. | Gaming machine |
| US8599133B2 (en) * | 2006-07-28 | 2013-12-03 | Koninklijke Philips N.V. | Private screens self distributing along the shop window |
| JP4650381B2 (ja) * | 2006-09-08 | 2011-03-16 | 日本ビクター株式会社 | 電子機器 |
| US8356254B2 (en) * | 2006-10-25 | 2013-01-15 | International Business Machines Corporation | System and method for interacting with a display |
| US20080168402A1 (en) | 2007-01-07 | 2008-07-10 | Christopher Blumenberg | Application Programming Interfaces for Gesture Operations |
| US20080168478A1 (en) | 2007-01-07 | 2008-07-10 | Andrew Platzer | Application Programming Interfaces for Scrolling |
| US7844915B2 (en) | 2007-01-07 | 2010-11-30 | Apple Inc. | Application programming interfaces for scrolling operations |
| KR100837166B1 (ko) * | 2007-01-20 | 2008-06-11 | 엘지전자 주식회사 | 전자기기의 정보 표시 방법 및 그 전자기기 |
| US8212857B2 (en) * | 2007-01-26 | 2012-07-03 | Microsoft Corporation | Alternating light sources to reduce specular reflection |
| US20080252596A1 (en) * | 2007-04-10 | 2008-10-16 | Matthew Bell | Display Using a Three-Dimensional vision System |
| JP2008264321A (ja) * | 2007-04-23 | 2008-11-06 | Takahiro Matsuo | 演出装置およびその演出方法 |
| JP5344804B2 (ja) * | 2007-06-07 | 2013-11-20 | 株式会社タイトー | 投影した影を利用するゲーム装置 |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| JP2007299434A (ja) * | 2007-08-23 | 2007-11-15 | Advanced Telecommunication Research Institute International | 大画面タッチパネルシステムおよび検索・表示システム |
| JP4991458B2 (ja) * | 2007-09-04 | 2012-08-01 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
| JP5616223B2 (ja) * | 2007-09-11 | 2014-10-29 | スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッドＳｍａｒｔ Ｉｎｔｅｒｎｅｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｒｃ Ｐｔｙ Ｌｔｄ | デジタル画像をキャプチャするためのシステム及び方法 |
| AU2008299577A1 (en) * | 2007-09-11 | 2009-03-19 | Smart Internet Technology Crc Pty Ltd | Systems and methods for remote file transfer |
| US9013509B2 (en) * | 2007-09-11 | 2015-04-21 | Smart Internet Technology Crc Pty Ltd | System and method for manipulating digital images on a computer display |
| AU2008299576B2 (en) | 2007-09-11 | 2014-04-03 | Cruiser Interactive Pty Ltd | An interface element for a computer interface |
| JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
| JP4933389B2 (ja) * | 2007-09-14 | 2012-05-16 | 株式会社リコー | 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体 |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| CA2707993C (en) * | 2007-12-05 | 2015-06-23 | Almeva Ag | Interaction arrangement for interaction between a display screen and a pointer object |
| KR101079598B1 (ko) * | 2007-12-18 | 2011-11-03 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US9195886B2 (en) * | 2008-01-09 | 2015-11-24 | Cybernet Systems Corporation | Rapid prototyping and machine vision for reconfigurable interfaces |
| US9857915B2 (en) * | 2008-01-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Touch sensing for curved displays |
| US8416196B2 (en) | 2008-03-04 | 2013-04-09 | Apple Inc. | Touch event model programming interface |
| US8717305B2 (en) | 2008-03-04 | 2014-05-06 | Apple Inc. | Touch event model for web pages |
| US8645827B2 (en) | 2008-03-04 | 2014-02-04 | Apple Inc. | Touch event model |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US20090231281A1 (en) * | 2008-03-11 | 2009-09-17 | Microsoft Corporation | Multi-touch virtual keyboard |
| KR101513023B1 (ko) | 2008-03-25 | 2015-04-22 | 엘지전자 주식회사 | 단말기 및 이것의 정보 디스플레이 방법 |
| JP5094566B2 (ja) * | 2008-06-02 | 2012-12-12 | 三菱電機株式会社 | 映像表示システム |
| JP4954143B2 (ja) * | 2008-06-02 | 2012-06-13 | 三菱電機株式会社 | 位置検出装置 |
| WO2009150573A2 (en) * | 2008-06-10 | 2009-12-17 | Koninklijke Philips Electronics N.V. | Programmable user interface device for controlling an electrical power supplied to an electrical consumer |
| US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
| US8944608B2 (en) | 2008-06-17 | 2015-02-03 | The Invention Science Fund I, Llc | Systems and methods associated with projecting in response to conformation |
| US20090309826A1 (en) | 2008-06-17 | 2009-12-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Systems and devices |
| US8430515B2 (en) | 2008-06-17 | 2013-04-30 | The Invention Science Fund I, Llc | Systems and methods for projecting |
| US20100066689A1 (en) * | 2008-06-17 | 2010-03-18 | Jung Edward K Y | Devices related to projection input surfaces |
| US8955984B2 (en) | 2008-06-17 | 2015-02-17 | The Invention Science Fund I, Llc | Projection associated methods and systems |
| US8733952B2 (en) | 2008-06-17 | 2014-05-27 | The Invention Science Fund I, Llc | Methods and systems for coordinated use of two or more user responsive projectors |
| US8384005B2 (en) | 2008-06-17 | 2013-02-26 | The Invention Science Fund I, Llc | Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface |
| US8608321B2 (en) | 2008-06-17 | 2013-12-17 | The Invention Science Fund I, Llc | Systems and methods for projecting in response to conformation |
| US8262236B2 (en) | 2008-06-17 | 2012-09-11 | The Invention Science Fund I, Llc | Systems and methods for transmitting information associated with change of a projection surface |
| US8267526B2 (en) | 2008-06-17 | 2012-09-18 | The Invention Science Fund I, Llc | Methods associated with receiving and transmitting information related to projection |
| US8723787B2 (en) | 2008-06-17 | 2014-05-13 | The Invention Science Fund I, Llc | Methods and systems related to an image capture projection surface |
| US8936367B2 (en) | 2008-06-17 | 2015-01-20 | The Invention Science Fund I, Llc | Systems and methods associated with projecting in response to conformation |
| US8641203B2 (en) | 2008-06-17 | 2014-02-04 | The Invention Science Fund I, Llc | Methods and systems for receiving and transmitting signals between server and projector apparatuses |
| US8308304B2 (en) | 2008-06-17 | 2012-11-13 | The Invention Science Fund I, Llc | Systems associated with receiving and transmitting information related to projection |
| US8602564B2 (en) | 2008-06-17 | 2013-12-10 | The Invention Science Fund I, Llc | Methods and systems for projecting in response to position |
| US8068641B1 (en) * | 2008-06-19 | 2011-11-29 | Qualcomm Incorporated | Interaction interface for controlling an application |
| US8625899B2 (en) * | 2008-07-10 | 2014-01-07 | Samsung Electronics Co., Ltd. | Method for recognizing and translating characters in camera-based image |
| JP4609543B2 (ja) * | 2008-07-25 | 2011-01-12 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| FR2934741B1 (fr) * | 2008-08-01 | 2011-04-01 | Julien Letessier | Dispositif interactif et procede d'utilisation. |
| US8305345B2 (en) * | 2008-08-07 | 2012-11-06 | Life Technologies Co., Ltd. | Multimedia playing device |
| WO2010023348A1 (en) * | 2008-08-26 | 2010-03-04 | Multitouch Oy | Interactive displays |
| FI20085794A0 (fi) * | 2008-08-26 | 2008-08-26 | Multitouch Oy | Vuorovaikutteinen näyttölaite |
| JP5279646B2 (ja) * | 2008-09-03 | 2013-09-04 | キヤノン株式会社 | 情報処理装置、その動作方法及びプログラム |
| FI20080534A0 (fi) * | 2008-09-22 | 2008-09-22 | Envault Corp Oy | Turvallinen ja valikoidusti kiistettävissä oleva tiedostovarasto |
| US20100079409A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Touch panel for an interactive input system, and interactive input system incorporating the touch panel |
| US20100083109A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method |
| US8810522B2 (en) * | 2008-09-29 | 2014-08-19 | Smart Technologies Ulc | Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method |
| JP5345129B2 (ja) * | 2008-09-29 | 2013-11-20 | パナソニック株式会社 | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 |
| EP2333652B1 (en) * | 2008-09-29 | 2016-11-02 | Panasonic Intellectual Property Corporation of America | Method and apparatus for improving privacy of users of a display device for several users wherein each user has a private space allocated to him |
| FR2937753B1 (fr) * | 2008-10-23 | 2011-05-20 | Idealys Entertainment | Livre interactif permettant de lire virtuellement en temps reel, sans toucher tactile et sans accessoire, tout type de contenus images (textes, photos et videos) par capture de mouvements |
| US20100134409A1 (en) * | 2008-11-30 | 2010-06-03 | Lenovo (Singapore) Pte. Ltd. | Three-dimensional user interface |
| EP2194447A1 (en) | 2008-12-08 | 2010-06-09 | IBBT vzw | Electronic painting system and apparatus for input to the same |
| US8384682B2 (en) * | 2009-01-08 | 2013-02-26 | Industrial Technology Research Institute | Optical interactive panel and display system with optical interactive panel |
| JP5050153B2 (ja) * | 2009-01-16 | 2012-10-17 | 株式会社国際電気通信基礎技術研究所 | ウェブサイト検索システム |
| US9652030B2 (en) * | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
| JP5347549B2 (ja) * | 2009-02-13 | 2013-11-20 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| US8566044B2 (en) | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
| US8285499B2 (en) | 2009-03-16 | 2012-10-09 | Apple Inc. | Event recognition |
| US8566045B2 (en) | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
| US9684521B2 (en) | 2010-01-26 | 2017-06-20 | Apple Inc. | Systems having discrete and continuous gesture recognizers |
| US9311112B2 (en) | 2009-03-16 | 2016-04-12 | Apple Inc. | Event recognition |
| US8279200B2 (en) * | 2009-05-19 | 2012-10-02 | Microsoft Corporation | Light-induced shape-memory polymer display screen |
| US9383823B2 (en) * | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US8223196B2 (en) * | 2009-06-10 | 2012-07-17 | Disney Enterprises, Inc. | Projector systems and methods for producing digitally augmented, interactive cakes and other food products |
| EP2284668A3 (en) * | 2009-06-15 | 2012-06-27 | SMART Technologies ULC | Interactive input system and components therefor |
| JP5553546B2 (ja) * | 2009-07-07 | 2014-07-16 | キヤノン株式会社 | 画像投影装置、及びその制御方法 |
| EP2452258B1 (en) * | 2009-07-07 | 2019-01-23 | Elliptic Laboratories AS | Control using movements |
| US8416206B2 (en) * | 2009-07-08 | 2013-04-09 | Smart Technologies Ulc | Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system |
| JP2011028555A (ja) * | 2009-07-27 | 2011-02-10 | Sony Corp | 情報処理装置および情報処理方法 |
| JP5423222B2 (ja) | 2009-08-07 | 2014-02-19 | ソニー株式会社 | 位置検出装置および位置検出方法 |
| KR20120058594A (ko) * | 2009-09-01 | 2012-06-07 | 스마트 테크놀러지스 유엘씨 | 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법 |
| JP5614014B2 (ja) * | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
| JP5418093B2 (ja) | 2009-09-11 | 2014-02-19 | ソニー株式会社 | 表示装置および制御方法 |
| JP5568929B2 (ja) * | 2009-09-15 | 2014-08-13 | ソニー株式会社 | 表示装置および制御方法 |
| US10025321B2 (en) * | 2009-12-21 | 2018-07-17 | Ncr Corporation | Self-service system with user interface positioning |
| JP5506375B2 (ja) * | 2009-12-25 | 2014-05-28 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| CN101776836B (zh) * | 2009-12-28 | 2013-08-07 | 武汉全真光电科技有限公司 | 投影显示系统及桌面计算机 |
| US8502789B2 (en) * | 2010-01-11 | 2013-08-06 | Smart Technologies Ulc | Method for handling user input in an interactive input system, and interactive input system executing the method |
| CN102129151A (zh) * | 2010-01-20 | 2011-07-20 | 鸿富锦精密工业（深圳）有限公司 | 前投影控制系统及方法 |
| EP2502132A4 (en) * | 2010-02-09 | 2014-01-22 | Multitouch Oy | INTERACTIVE DISPLAY DEVICE |
| JP5740822B2 (ja) | 2010-03-04 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2011111706A1 (ja) * | 2010-03-08 | 2011-09-15 | 大日本印刷株式会社 | タッチパネル機能を有する小型表示装置のディスプレイとして使用されるスクリーンおよびこれを備えたタッチパネル機能を有する小型表示装置 |
| JP5605059B2 (ja) * | 2010-07-29 | 2014-10-15 | 大日本印刷株式会社 | 透過型スクリーンおよび表示装置 |
| JP5645444B2 (ja) * | 2010-03-30 | 2014-12-24 | キヤノン株式会社 | 画像表示システムおよびその制御方法 |
| US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
| JP4968360B2 (ja) * | 2010-04-05 | 2012-07-04 | ソニー株式会社 | 画像表示装置 |
| JP2011248041A (ja) | 2010-05-26 | 2011-12-08 | Seiko Epson Corp | 取り付け装置及び投写型表示装置 |
| US8552999B2 (en) | 2010-06-14 | 2013-10-08 | Apple Inc. | Control selection approximation |
| FR2970797B1 (fr) * | 2011-01-25 | 2013-12-20 | Intui Sense | Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe |
| FR2972544B1 (fr) * | 2011-03-10 | 2013-12-20 | Intui Sense | Systeme d'acquisition et de traitement d'images robuste pour facade interactive, facade et dispositif interactifs associes |
| FR2972820B1 (fr) * | 2011-03-18 | 2013-04-19 | Intui Sense | Dispositif interactif robuste aux ombres portees |
| US9298363B2 (en) | 2011-04-11 | 2016-03-29 | Apple Inc. | Region activation for touch sensitive surface |
| CN102289284A (zh) * | 2011-08-05 | 2011-12-21 | 上海源珅多媒体有限公司 | 一种球型互动感应投影装置 |
| JP2013054643A (ja) * | 2011-09-06 | 2013-03-21 | Toshiba Tec Corp | 情報表示装置およびプログラム |
| US9030445B2 (en) | 2011-10-07 | 2015-05-12 | Qualcomm Incorporated | Vision-based interactive projection system |
| JP5849673B2 (ja) * | 2011-12-09 | 2016-02-03 | 株式会社リコー | 電子情報ボード装置 |
| US9395066B2 (en) * | 2012-01-13 | 2016-07-19 | Laser Devices, Inc. | Adjustable beam illuminator |
| JP6281857B2 (ja) * | 2012-01-13 | 2018-02-21 | 株式会社ドワンゴ | 映像システム、および撮影方法 |
| US8833994B2 (en) * | 2012-03-08 | 2014-09-16 | Laser Devices, Inc. | Light pointer having optical fiber light source |
| US9025111B2 (en) | 2012-04-20 | 2015-05-05 | Google Inc. | Seamless display panel using fiber optic carpet |
| KR102035134B1 (ko) | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| US9164596B1 (en) | 2012-10-22 | 2015-10-20 | Google Inc. | Method and apparatus for gesture interaction with a photo-active painted surface |
| US9195320B1 (en) | 2012-10-22 | 2015-11-24 | Google Inc. | Method and apparatus for dynamic signage using a painted surface display system |
| US9014417B1 (en) | 2012-10-22 | 2015-04-21 | Google Inc. | Method and apparatus for themes using photo-active surface paint |
| JP6326714B2 (ja) * | 2012-11-16 | 2018-05-23 | カシオ計算機株式会社 | 投影システム |
| EP2733657A1 (de) * | 2012-11-19 | 2014-05-21 | CSS electronic AG | Vorrichtung zur Eingabe von Daten und/oder Steuerbefehlen |
| US10152135B2 (en) * | 2013-03-15 | 2018-12-11 | Intel Corporation | User interface responsive to operator position and gestures |
| WO2014176682A1 (en) | 2013-05-01 | 2014-11-06 | Lumo Play, Inc. | Content generation for interactive video projection systems |
| US9733716B2 (en) | 2013-06-09 | 2017-08-15 | Apple Inc. | Proxy gesture recognizer |
| KR102187843B1 (ko) * | 2013-08-19 | 2020-12-07 | 삼성전자 주식회사 | 펜을 갖는 사용자 기기의 화면 제공 방법 |
| WO2015036852A2 (en) * | 2013-08-23 | 2015-03-19 | Lumo Play, Inc. | Interactive projection effect and entertainment system |
| JP6202942B2 (ja) * | 2013-08-26 | 2017-09-27 | キヤノン株式会社 | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 |
| ES2629697T3 (es) * | 2013-09-16 | 2017-08-14 | Ameria Gmbh | Sistema de retroproyección controlado por gestos |
| JP2015088050A (ja) * | 2013-10-31 | 2015-05-07 | 船井電機株式会社 | プロジェクタ装置 |
| JP2015127897A (ja) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | 表示制御装置、表示制御システム、表示制御方法、およびプログラム |
| US9993733B2 (en) | 2014-07-09 | 2018-06-12 | Lumo Interactive Inc. | Infrared reflective device interactive projection effect system |
| US9574759B2 (en) | 2015-01-16 | 2017-02-21 | Steiner Eoptics, Inc. | Adjustable laser illumination pattern |
| JP6503828B2 (ja) * | 2015-03-27 | 2019-04-24 | セイコーエプソン株式会社 | インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法 |
| JP6507905B2 (ja) * | 2015-03-31 | 2019-05-08 | 富士通株式会社 | コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示制御プログラム |
| DE102015110760A1 (de) * | 2015-07-03 | 2017-01-05 | Mathias Jatzlauk | Gestensteuerungssystem für Visualisierungsgeräte |
| WO2017006422A1 (ja) * | 2015-07-06 | 2017-01-12 | 富士通株式会社 | 電子装置 |
| DE112017004394T5 (de) * | 2016-09-01 | 2019-05-16 | Mitsubishi Electric Corporation | Gestenbeurteilungseinrichtung, Gestenbedienungseinrichtung und Gestenbeurteilungsverfahren |
| WO2018231213A1 (en) * | 2017-06-14 | 2018-12-20 | Hewlett-Packard Development Company, L.P. | Display adjustments |
| WO2019008124A1 (de) * | 2017-07-06 | 2019-01-10 | Allgaier Werke Gmbh | Vorrichtung und verfahren zur aufnahme von bewegungsmustern von taumelsiebmaschinen |
| JP6465197B2 (ja) * | 2017-12-12 | 2019-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2019188046A1 (ja) * | 2018-03-26 | 2019-10-03 | 富士フイルム株式会社 | 投影システム、投影制御装置、投影制御方法、投影制御プログラム |
| CN109597530B (zh) * | 2018-11-21 | 2022-04-19 | 深圳闳宸科技有限公司 | 显示设备及屏幕定位方法 |
| JP2020135096A (ja) * | 2019-02-14 | 2020-08-31 | セイコーエプソン株式会社 | 表示方法、表示装置、及び、インタラクティブプロジェクター |
| CN111949111B (zh) * | 2019-05-14 | 2022-04-26 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
| JP2021128657A (ja) * | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 位置検出方法、位置検出装置及び位置検出システム |
| CN114173026A (zh) * | 2020-09-16 | 2022-03-11 | 北京德胜智课教育科技有限公司 | 一种教学视频录制系统及教学视频录制方法 |
| CN114816206A (zh) * | 2022-03-15 | 2022-07-29 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5012284A (en) * | 1989-09-29 | 1991-04-30 | Xerox Corporation | Magnification adjustment for computer forms |
| US6008800A (en) * | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
| DE4423005C1 (de) * | 1994-06-30 | 1995-11-30 | Siemens Ag | Eingabevorrichtung für einen Computer |
| US5687297A (en) * | 1995-06-29 | 1997-11-11 | Xerox Corporation | Multifunctional apparatus for appearance tuning and resolution reconstruction of digital images |
| US5736975A (en) * | 1996-02-02 | 1998-04-07 | Interactive Sales System | Interactive video display |
-
1997
- 1997-07-07 JP JP18093697A patent/JP3968477B2/ja not_active Expired - Lifetime
-
1998
- 1998-07-06 US US09/110,570 patent/US6414672B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2166435A2 (en) | 2008-08-29 | 2010-03-24 | Sony Corporation | Information processing apparatus and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1124839A (ja) | 1999-01-29 |
| US6414672B2 (en) | 2002-07-02 |
| US20010012001A1 (en) | 2001-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3968477B2 (ja) | 情報入力装置及び情報入力方法 | |
| CN109564495B (zh) | 显示装置、存储介质、显示方法及控制装置 | |
| JP6791994B2 (ja) | 表示装置 | |
| US9772720B2 (en) | Flexible room controls | |
| US8907894B2 (en) | Touchless pointing device | |
| JP3321053B2 (ja) | 情報入力装置及び情報入力方法及び補正データ生成装置 | |
| US8693732B2 (en) | Computer vision gesture based control of a device | |
| WO2012124730A1 (ja) | 検出装置、入力装置、プロジェクタ、及び電子機器 | |
| WO2018003861A1 (ja) | 表示装置および制御装置 | |
| JPH0844490A (ja) | インターフェイス装置 | |
| KR20050075031A (ko) | 지시 디바이스에 기초한 유저 인터페이스 시스템 | |
| WO2012070950A1 (en) | Camera-based multi-touch interaction and illumination system and method | |
| JP2008511069A (ja) | 半透明表面を有するスクリーンとともに使用されるユーザ入力の装置、システム、方法、およびコンピュータ・プログラム | |
| JP2000222097A (ja) | 固体撮像装置 | |
| US20140053115A1 (en) | Computer vision gesture based control of a device | |
| JPH1157216A (ja) | ゲーム装置 | |
| JP4712754B2 (ja) | 情報処理装置及び情報処理方法 | |
| US8823648B2 (en) | Virtual interface and control device | |
| JP4296607B2 (ja) | 情報入出力装置及び情報入出力方法 | |
| JP4687820B2 (ja) | 情報入力装置及び情報入力方法 | |
| JP2000056916A (ja) | ハンドポインティング装置 | |
| JP2021015637A (ja) | 表示装置 | |
| JP4296606B2 (ja) | 電子装置及び表示方法 | |
| JP2007272927A (ja) | 情報入出力装置、及び情報入出力方法 | |
| JP2008181434A (ja) | 入出力システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050922 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |