JP2007200353A

JP2007200353A - 情報処理装置及び情報処理方法

Info

Publication number: JP2007200353A
Application number: JP2007102037A
Authority: JP
Inventors: Jiyunichi Rekimoto; 純一暦本; Nobuyuki Matsushita; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-09
Filing date: 2007-04-09
Publication date: 2007-08-09
Anticipated expiration: 2017-07-07
Also published as: JP4712754B2

Abstract

【課題】インタラクティブな入出力環境を強化拡大する。
【解決手段】半透明面と、半透明面に情報を表示する情報表示部と、画像を撮像する撮像部と、撮像部により撮像された画像に基づいて表示部に対する信号、および情報処理装置の所定のパラメータ値を変更するためのパラメータ変更信号を出力する制御部と、半透明面に所定の波長帯域の光を照射する照射部とを含み、撮像部は、撮像素子と、所定の波長帯域の光のみを透過するフィルタとを備え、制御部は、撮像部により撮像された画像に基づき、半透明面の近傍における操作体の動きの方向を認識し、当該動きの方向に応じた表示部に対する信号を出力すると共に、当該動きの方向に応じたパラメータ変更信号を出力する。
【選択図】図１

Description

本発明は、例えばインタラクティブな入出力のために利用して好適な情報処理装置及び情報処理方法に関するものである。

例えばコンピュータ装置などでは、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。

上記のようなインタラクティブな入出力を行うために用いられる入力装置の１つとして例えばタッチパネルが広く知られている。タッチパネルは、パネル上に対して例えばユーザの指を接触させながら、任意の方向にスライド操作させるようにして、所要の操作を行うものである。

また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。

また、「ビデオプレイス」といわれるインタラクティブな効果をねらった装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。

ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの入力装置では次のような点で限界が見えてくる。
タッチパネルを例に採った場合、ポインティングの操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。

また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。

このように、これまでの入力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。

そこで、本発明は上記した課題を解決するため、情報処理装置として、半透明面と、前記半透明面に情報を表示する情報表示部と、画像を撮像する撮像部と、前記撮像部により撮像された画像に基づいて前記表示部に対する信号、および情報処理装置の所定のパラメータ値を変更するためのパラメータ変更信号を出力する制御部と、前記半透明面に所定の波長帯域の光を照射する照射部とを含み、前記撮像部は、撮像素子と、前記所定の波長帯域の光のみを透過するフィルタとを備え、前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面の近傍における操作体の動きの方向を認識し、当該動きの方向に応じた前記表示部に対する信号を出力すると共に、当該動きの方向に応じたパラメータ変更信号を出力することとした。
また、前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面に対して前記操作体が近接することによって生じる所定の波長帯域の光の強度が変化する領域の大きさを認識し、当該領域の大きさに応じた前記表示部に対する信号を出力することとした。
さらに、前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面と前記操作体との距離が変化することによって生じる所定の波長帯域の光の強度の変化を認識し、当該強度の変化に応じた前記表示部に対する信号を出力することとした。
また、前記情報処理装置はテーブル状の形状を有し、前記半透明面はテーブル面に配置され、前記撮像部はテーブルの下部からテーブル面を撮像するように配置され、前記照射部はテーブルの下部からテーブル面に向けて光を照射するように配置されている構成とした。
また、前記撮像部および前記照射部は、テーブル下部に設けられたミラーによる反射を利用することで、テーブル面を撮像および照射を行うこととした。

さらに本発明は、情報処理方法として、半透明面と、前記半透明面に情報を表示する情報表示部と、画像を撮像する撮像部と、前記撮像部により撮像された画像に基づいて前記表示部に対する信号、および情報処理装置の所定のパラメータ値を変更するためのパラメータ変更信号を出力する制御部と、前記半透明面に所定の波長帯域の光を照射する照射部とを含む情報処理装置の情報処理方法において、前記所定の波長帯域の光のみを透過するフィルタを介して前記撮像部の撮像素子により画像を撮像し、前記撮像部により撮像された画像に基づき、前記半透明面の近傍における操作体の動きの方向を認識し、当該動きの方向に応じた前記表示部に対する信号を出力すると共に、当該動きの方向に応じたパラメータ変更信号を出力することとした。

本発明は以下のような効果を有する。
本発明としての情報処理装置は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化を与えることのできる物体であれば、操作を行うための操作体として成立する。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行ったり、半透明面に接近してくる物体を認識して何らかの応答処理を行わせるといったこともできることになる。
また、半発明の操作パネルとしては単なる半透明面が得られればよく、例えば従来のタッチパネルとは異なり、そのサイズの大型化も容易に実現される。

そして、同時に複数の検出対象を認識して、それぞれに応答した所要の制御処理を独立的に実行することが可能なので、例えば複数のメニュー画面に対して同時に操作を行ったりさせることなどが可能となる。
また、検出対象の形状によりこれを操作情報として認識するか否かを決定することができ、人体の手や指などによる操作のみを操作情報として扱うことが容易に実現することが可能である。

更に、検出画像情報に得られる画像形状に基づいて、人体の手もしくは指の動きを操作情報として認識して、それ以外の検出対象については操作情報として無視できるようにすることも可能である。

続いて、半透明面の半透明性を利用してプロジェクタなどによって画像を投影表示することで、半透明面を操作パネルとしてだけではなく、画像表示を行う表示パネルとしても兼用することが可能となり、表示用画像として、ユーザに各種操作を促すためのメニュー画面を設定したり、地図などのの初期画像を表示させて、地図上のある地域を指定すれば、その地域の説明などの属性情報を表示させるなどのようにして利用することができる。この場合には、ユーザが半透明面に対して表示された画像に対して操作を行うという直接的な操作情報の入力形態も実現されることになる。

また、半透明面に表示すべき画像として、撮像手段により撮像された撮像信号に基づいて検出された検出画像情報を利用して表示することが可能となり、また、検出画像情報を利用することで、半透明面上に配置した物体に対応してその影物を表示させるなどの視覚的効果を与えることも可能となる。

また、撮像手段が撮像すべき光又は電磁波を上記半透明面に対して定常的に輻射する輻射手段が備えられることで、撮像手段により撮像される媒体（例えば赤外線光やマイクロ波など）を安定的に得られることになり、当該情報処理装置を備えてなるシステムの設置環境によらず、高い信頼性を得ることができる。

また、半透明面は、例えばガラスなどの透明面を形成する材質と何らかの半透明膜などの半透明面を形成する材質とを組み合わせるだけで構成することができ、安価で済ませることができる。また、前述した大型化の可能性も妨げない。

さらに、半透明面は壁面、曲面形状としたり、また、テーブル面として機能させるなど多様な形態に対応することが可能であり、それだけ、本発明の情報処理装置が適用される用途範囲が拡大されることになる。

また、、撮像手段が撮像すべき所定の波長帯域の光又は電磁波を輻射するポインティングデバイスを設けることで、本発明の基本的な構成においては、撮像手段が撮像すべき所定の波長帯域の光又は電磁波に対して何らかの変化を与えることのできる物であれば操作体となり得ることに基づいて構成されるもので、特定のポインティングデバイスを用いることで、ユーザが比較的半透明面から離れた位置から正確な操作情報を与えることが可能になる。

また、異なる拡大率により検出用の画像情報を得られることができ、ユーザが半透明面に対してポインティングした位置を識別する際にこのポインティングされた領域を拡大して他の撮像手段により撮像させて検出画像情報を得るようにすれば、ポインティングされた位置（座標）をより高精度に検出することができる。

このように本発明は、操作などの情報入力に際して、上記のごとき自由度を与えると共に、表示パネルとして兼用可能な操作パネルとして大型化されたものを容易に提供できるようにすることで様々な利用形態を採る可能性が与えれることになり、容易にインタラクティブな入出力環境を強化拡大することができるという効果が得られることになる。

以下、本発明の実施の形態の情報処理装置について説明する。なお、以降の説明は次の順序で行う。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．第５の実施の形態＞
＜６．第６の実施の形態＞
＜７．第７の実施の形態＞
＜８．第８の実施の形態＞

＜１．第１の実施の形態＞
先ず、図１〜図１０を参照して本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態としての情報入力装置を備えてなるインタラクティブ表示システムの構成例を概念的に示している。
本実施の形態としてのインタラクティブ表示システム１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。

半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして当該インタラクティブ表示システム１における操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。

ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。

プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。

制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。

図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。

画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。

入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。

しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。

データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。

画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。

次に、上記構成による本実施の形態のインタラクティブ表示システム１における操作情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。

上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。

なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該インタラクティブ表示システムの電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。

上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。

上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。

ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。

また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。

このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。

また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。

また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。

更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。

そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。

次に、上記構成による本実施の形態のインタラクティブ表示システム１の利用例について、図５〜図９を参照して説明する。
図５には、本実施の形態のインタラクティブ表示システム１の第１の利用例として、メニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、インタラクティブ表示システム１の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。

これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該インタラクティブ表示システム１に対して所望の動作を実行させたりすることになる。あるいは、当該インタラクティブ表示システム１が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。

ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記操作情報に基づいて適宜処理動作を実行することにより実現されるものである。

この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。

上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。

これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。

続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるよう
に制御を行うことになる。
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。

上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。

上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。

なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいてもこれを操作情報として認識可能である。

ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。

ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）

これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。

図７には、本実施の形態のインタラクティブ表示システム１の第２の利用例が示されている。この場合には、制御部６の制御によってプロジェクタ５から投影される画像として、世界地図が半透明面２上に表示されている。
例えば、この世界地図を表示するのに際しては、例えば図５に示したようなメニュー画面Ｍの操作により表示させるようにしてもよいし、ユーザ（説明者）が半透明面２に対してある程度近づいたときにこれを「接近体」として検出することにより自動的に表示させるようにすることも考えられる。また、このときの表示形態としても、半透明面２の前面で説明者が立っている水平方向の位置に対応して、基準となる国や地域（例えば日本）が常に説明者の位置する付近に表示されるようにすることなどが可能である。
そして、この場合には、地図（半透明面２）上で説明者が指し示した位置に対して、その指定された地域についての何らかの説明を行う説明画像ＤＴが、地図上にインポーズされるようにして表示される。この場合には、制御装置６において、説明者が指等で指し示した位置（座標）を操作体として検出し、この検出した操作体の位置に一致するとされる地域の説明画像ＤＴを表示するように制御することになる。なお、この場合の地図としての画像データや、各種説明画像ＤＴは、データベースメモリ１５に対して格納されているものとされる。
前述のように、本実施の形態のインタラクティブ表示システム１は表示画面（及び操作パネル）である半透明面２の大型化が容易であることから、この第２例のように、大型の半透明面２を利用した会議やデモンストレーションなどは、その用途として本実施の形態のインタラクティブ表示システム１として、十分に考えられるものである。

次に、図８に本実施の形態のインタラクティブ表示システム１の第３の利用例を示す。ここでは、２つのメニュー画面Ｍ１，Ｍ２が同時に表示されていると共に、これらメニュー画面Ｍ１，Ｍ２に対して、ユーザが同時に操作を行っている状態が示されている。
前述のように、本実施の形態ではＣＣＤカメラ４にて撮像される赤外線光に基づいて得られる「検出画像情報」から操作情報を得るようにされる。つまり、画像状態を認識することにより操作情報を得る。このため、例えば図８の場合のように、操作体（ここではユーザの手や指）が検出画像情報上において、複数同時に検出されたとしても、各操作体についての検出結果をそれぞれ異なる操作情報として処理させることが可能である。
そこで、図８のように複数（ここでは２つ）のメニュー画面Ｍ１，Ｍ２を表示させた上で、ユーザがこれらメニュー画面Ｍ１，Ｍ２に対して両手を使用して同時に操作を行ったとしても、本実施の形態では、メニュー画面Ｍ１，Ｍ２に対して行われた操作に応答する所要の動作を実行するように構成することが可能である。特に、本実施の形態のインタラクティブ表示システム１は半透明面２の大型化が容易なので、このように操作対象となる画像を複数同時に表示してやるようにすれば、大型化された表示パネル（操作パネル）を有効に利用することができるものである。

図９は、本実施の形態のインタラクティブ表示システム１の第４の利用例を示している。この図においては、何らかの所定のパラメータ値を調整するためのパラメータ調整画像ＰＣ１，ＰＣ２が半透明面２に対して表示されていると共に、このパラメータ調整画像ＰＣ１，ＰＣ２に対してユーザが両手を使用して同時操作を行っている場合が示されている。このパラメータ調整画像ＰＣ１，ＰＣ２は、例えばスライドボリュームを模した形態により表示されている。
この場合、例えばユーザは自身の両手を、それぞれパラメータ調整画像ＰＣ１，ＰＣ２におけるレバー部分（レバー画像ＬＶ，ＬＶ）の表示された前面部に位置させ、所望のパラメータ値が得られるようにその手を上下方向にスライドさせるように動かすようにして操作を行うことになる。この場合には、この手の動きに応じてレバー画像ＬＶ，ＬＶが上下に移動するように表示され、これに応じて実際のパラメータ値も可変制御されるように制御装置６における処理が適宜実行されることになる。この際、レバー画像ＬＶ，ＬＶが同時に操作されたとしても、図８の場合と同様に、各操作情報を同時に認識してそれぞれの操作に応じたパラメータ値の変更を同時に行うように構成されるものである。

図１０に、本実施の形態のインタラクティブ表示システム１の第５の利用例を示す。この図では、大人と子供がそれぞれ同時に異なるメニュー画面を同時に操作している状態が示されている。
例えば、この場合の使用状況として、ユーザは立った状態で半透明面２に対する操作を行うことが通常であるとした場合、大人と子供では、図６にて説明したような検出画像情報上における接近体の占有率やその位置状態、及び、操作体として半透明面に現れる垂直方向における位置（高さ）が異なってくることになる。つまり、大人と子供との身長差によって、接近体としては大人よりも子供のほうが検出画像上においては下側の領域に現れることになり、同様に操作体（ユーザが指等により指し示す位置）も、大人よりも子供のほうが検出画像情報上においては下側の領域に現れる傾向となる。

そこで、この第５の利用例では、例えばそのアプリケーションが大人と子供とで異なる種類の操作を行わせるようなものである場合には、検出画像情報上において高さ方向（垂直方向）に対して所定のしきい値を設定し、この所定のしきい値を越えるほどの高さを有する接近体或いは操作体が検出されたときには、半透明面２上においてこの接近体に対応する位置（この場合には表示位置として半透明面２上における高さも変更される）に大人用のメニュー画面Ｍａｄを表示させ、しきい値を越えない高さの接近体或いは操作体が検出されたのであれば、半透明面２上の接近体に対応する位置（及び高さ）に対して子供用のメニュー画面Ｍｃｈを表示させるように構成される。なお、上記しきい値としては、接近体と操作体とでそれぞれ異なる適切な値が設定されても構わないし、大人と子供を識別する高さ方向のしきい値としてもそれぞれ異なる値が設定されて構わない。また、第５の利用例においても、大人用のメニュー画面Ｍａｄと子供用のメニュー画面Ｍｃｈに対して同時に操作が行われた場合には、この操作情報を同時に認識してそれぞれに応答した制御動作が実行可能に構成される点では図８及び図９の場合と同様である。

また、図７〜図１０に示した第２〜第５の利用例に関しては、フローチャートによる制御装置６の処理動作の説明は省略するが、何れの利用例においても、「接近体」或いは「操作体」の有無及びその位置（座標）を検出し、その検出結果と、半透明面２に表示されている何らかの操作対象画像との位置関係を識別することにより所要の制御動作を実行させる点では、図５の第１の利用例の場合と同様であり、図６に示したフローチャートに準じて各利用例における処理動作を実現することができるものである。

＜２．第２の実施の形態＞
図１１は、本発明の第２の実施の形態としてのインタラクティブ表示システムを示す図であり、図１と同一部分には同一符号を付して説明を省略する。また、制御装置６の内部構成は例えば図２に示したものと同様でよいものとされる。
この第２の実施の形態においては、図１１に示すように、赤外線光を出射する赤外線発信器ＰＤをポインティングデバイスとして使用するものとされる。

前述のように、本実施の形態ではＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。

例えば、先の第１の実施の形態においては、半透明面２の所望の位置をポインティングするのに指等を用いた代わりに、第２の実施の形態では、ユーザが上記赤外線発信器ＰＤを手に持って、半透明面２の所望の位置に対して赤外線発信器ＰＤにより出射された赤外線光を半透明面２の前面側に対して照射するようにされる。
このようにして赤外線発信器ＰＤからの赤外線光が半透明面２に照射されると、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６の入力画像処理部１２では、この検出画像情報のレベル変化を操作情報として認識するように処理を行えばよいことになる。
なお、赤外線光は不可視であることから、例えば、半透明面２における赤外線発信器ＰＤからの赤外線光の現在の照射位置が分かるように、スポットＳＰなどの表示を半透明面２上に行わせることが好ましい。このスポット表示は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。

＜３．第３の実施の形態＞
図１２及び図１３は、それぞれ本発明の第３の実施の形態としてのインタラクティブ表示システム１Ｂ全体の構成と、制御装置６の内部構成を示すブロック図であり図１及び図２と同一部分については同一符号を付して説明を省略する。

図１２及び図１３に示すように、本実施の形態のインタラクティブ表示システム１Ｂとしては、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられる。第１ＣＣＤカメラ４Ａは、先の実施の形態におけるＣＣＤカメラ４と同一の役割が与えられているものとされる。つまり、半透明面２の背面側において半透明面２全体を撮像範囲として、ここから入射されてくる赤外線光を撮影するために設けられる。

第２ＣＣＤカメラ４Ｂは、後述するように半透明面２における所要の一部領域を拡大縮小して撮像するために設けられている。このため、第２ＣＣＤカメラ４Ｂには、図のようにパン／チルト／ズーム機構７が設けられる。パン／チルト／ズーム機構７は、第２ＣＣＤカメラ４Ｂを水平方向と垂直方向の両方向に回転移動させることのできる機構（パン／チルト機構）を備えると共に、第２ＣＣＤカメラに備えられているとされるズームレンズを移動させることにより撮像画像の拡大率を可変する機構（ズーム機構）を備えている。このパン／チルト／ズーム機構７に対する制御、つまりパン／チルト位置の可変制御及びズーム率の可変制御は、図１３に示すようにデータベース駆動部１４により行われる。従って、データベースメモリには、必要に応じてパン／チルト／ズーム機構７を制御するためのプログラムが格納されているものとされる。
なお、ＣＣＤカメラ４Ａ，４Ｂの何れに対してもその光学系に赤外線透過フィルタ４ａが備えられて、赤外線光のみによる半透明面２上の画像を撮像するようにされている。

この場合、制御装置６においては図１３に示すように、第１ＣＣＤカメラ４Ａ及び第２ＣＣＤカメラ４Ｂの２台のＣＣＤカメラが設けられたことに対応して、２つの画像入力部１１Ａ，１１Ｂが設けられることになる。画像入力部１１Ａは、第１ＣＣＤカメラ４Ａの撮像信号を入力して映像信号として入力画像処理部１２に対して供給し、画像入力部１１Ｂは、第２ＣＣＤカメラ４Ｂの撮像信号を入力して映像信号として入力画像処理部１２に対して供給する。従って、本実施の形態の入力画像処理部１２では、第１ＣＣＤカメラ４Ａの映像信号に基づいて得られる検出画像情報と、第２ＣＣＤカメラ４Ｂの映像信号に基づいて得られる検出画像情報を生成し、両者の検出画像情報から所要の操作情報を得るようにされる。

本実施の形態としてのインタラクティブ表示システム１Ｂは例えば次のようにして使用することができる。
例えば図１２に示すようにしてユーザが半透明板２の前面に位置した状態で、半透明板２のある位置に対して指で指定操作を行っているとする。この場合、半透明板２全体を撮像する第１ＣＣＤカメラ４Ａにより撮像されて、入力画像処理部において得られる検出画像情報としては、例えば図１４（ａ）に示すようなものとなる。上記のような操作を行っている場合、通常はユーザの指（手）の部分が最も半透明面２に近接し、残りの身体部分は手の部分よりも半透明面２から離れた距離にあることになる。
従って、図１４（ａ）に示す検出画像情報においては、大きく分けて身体部分が表示される画像領域Ａの部分よりも手の部分が表示される画像領域Ｂの部分のほうが高い値（例えば輝度レベル）が得られることになる。ここでしきい値制御部１３においてしきい値を適切に設定することにより、入力画像処理部１２において、画像領域Ａの部分を含む背景から画像領域Ｂの部分を「操作体」として分離して識別できることは前述したとおりである。なお、前述のように操作体が人体の手又は指に限定される場合には、検出画像情報として得られるユーザの手間他は指の形状に基づいて、これを操作体として認識するように構成することも可能である。

ここで、上記のようにして入力画像処理部１２が画像領域Ｂの部分を「操作体」として検出したとすると、データベース駆動部１４は、上記半透明面２上における操作体の位置情報に基づいて、操作体の部分、つまり画像領域Ｂの部分を第２ＣＣＤカメラ４Ｂによりズーム撮影するように制御を実行する。つまり、半透明面２上における画像領域Ｂの部分の位置情報に基づいて、この画像領域Ｂの部分がほぼ第２ＣＣＤカメラ４Ｂの撮像画像のほぼ中心にくるように、パン／チルト／ズーム機構７に対してパン／チルト制御を実行したうえで、画像領域Ｂの部分が撮像画像のほぼ全体を占めるように、パン／チルト／ズーム機構７に対してズーム制御を実行する。このような制御によって、第２ＣＣＤカメラ４Ｂの撮像信号に基づいて得られる検出画像情報としては、図１４（ｂ）に示すように画像領域Ｂ（操作体）の部分が拡大された画像情報を得ることができる。

例えば、上記図１４（ｂ）に示す検出画像情報に基づいて操作情報を得る場合として、特にその指定位置を操作情報として検出する場合、例えば図１４（ａ）に示す検出画像情報に基づいてその指定位置情報を得る場合よりも、相対的な解像度が上がることになる。従って、より精度の高い指定位置情報を得ることが可能となる。

なお、上記した利用方法はあくまでも一例であって、２つのＣＣＤカメラを利用した適用例は他にも各種考えられるものである。また、２つのＣＣＤカメラに対してパン／チルト／ズーム機構７を設けてもよいし、更には２以上の複数のＣＣＤカメラ（この際、どのＣＣＤカメラにパン／チルト／ズーム機構を設けるのかは任意である）を利用して、これらＣＣＤカメラの各々から独立的に操作情報を得るようにしても、多様な適用例が考えられるものである。

＜４．第４の実施の形態＞
図１５は本発明の第４の実施の形態としてのインタラクティブ表示システム１Ｃの構成例を概念的に示す図であり、例えば図１と同一部分については同一符号を付して説明を省略する。また、制御装置６の内部構成は図２と同様でよいものとされる。
これまで実施の形態として説明してきた各インタラクティブ表示システムは、半透明面２がいわゆる壁面状であるものとして説明してきたのであるが、本発明としての半透明面２の機能（表示パネル機能及び操作パネル機能）を考慮すれば、これに限定されるものではない。そこで、第４の実施の形態のインタラクティブ表示システム１Ｃでは、半透明面２Ａを曲面形状に形成している。図１５においては、半球面状とされた半透明面２Ａが設置されている状態が示されており、この半球面状の半透明面２Ａの内壁側に対して、例えば少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５が設けられるようにされる。ユーザは半透明面２Ａの外壁側から操作を行うことになる。なお、この図においては、ＣＣＤカメラ４に対して設けられる赤外線透過フィルタ４ａと、プロジェクタ５に対して設けられる赤外線遮断フィルタ５ａの図示は省略しているが、実際には、これまでの実施の形態と同様に設けられているものとされる。
なお、この図では半透明面２Ａに対して世界地図が投影表示されている状態が示されているが、例えばこの場合であれば、先の第１の実施の形態において図７にて説明したようにして利用することが考えられる。

＜５．第５の実施の形態＞
図１６は、本発明の第５の実施の形態としてのインタラクティブ表示システム１Ｄの構築例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。この図においても、赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略しているが、実際には、ＣＣＤカメラ４とプロジェクタ５に対してそれぞれ設けられているものである。また、ここでは制御装置６の図示も省略されているが、実際には、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５に対する制御を実現するために設けられているものであり、その内部構成も図２と同様でよい。

この場合には、例えば通路の壁面が半透明面２として構成されており、例えば赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などは、この通路壁面（半透明面２）の背後に設けられる。つまり、本実施の形態のインタラクティブ表示システム１Ｄは通路の壁面の一部として構成されている。
ここで、たとえばユーザ（歩行者）が通路を歩いており、インタラクティブ表示システム１Ｄの半透明面２（壁面）の脇を通過したとする。
前述のように、本発明では操作パネルとして機能する半透明面２からある程度離れた距離にユーザがいたとしても、これを「接近体」として検出することが可能である。そこで、この場合には、歩行者がインタラクティブ表示システム１Ｄの半透明面２（壁面）の脇にきたときに、その姿が接近体として検出するようにされる。そして接近体の検出結果に基づいて、例えば図１６に示すように壁面である半透明面２に対して、行き先などを提示する案内画像ＧＤをプロジェクタ５により投影表示するように動作させることができる。
このようなインタラクティブ表示システム１Ｄの動作を歩行者からみたときには、自分が通路を歩くと壁面に対して自動的に行き先の案内表示が行われることになる。

また、上述した第５の実施の形態において、例えば通路の壁面の裏側において、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）などの設置スペースが限られているような状況では、図１７のようにミラーＭＲを用いて赤外線ＬＥＤパネル３、プロジェクタ５の出射光やＣＣＤカメラ４の入射光を光路を反射により変更させるようにすることが考えられる。特に、ＣＣＤカメラ４やプロジェクタ５の画角によっては、大画面化された半透明面２をカバーできるだけの撮像範囲や投影表示範囲を得るのには相当の距離が必要となるのであるが、このようにしてミラーＭＲを設ければ、狭い奥行きであっても充分な撮像範囲や投影表示範囲を得ることが可能となり、本実施の形態のインタラクティブ表示システム１Ｄを設置環境として要求される条件を緩和させることができる。

＜６．第６の実施の形態＞
図１８は、本発明の第６の実施の形態としてのインタラクティブ表示システム１Ｅの構成例を概念的に示す図であり、図１と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられるものである。

この場合には、半透明面２Ｂはテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより指示されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２Ｂの下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。
また、本実施の形態においては、後述するようにしてユーザが半透明面２Ｂに対して操作を行うことによって、モニタ装置３０に対する操作制御が行えるようにされている。

図１９には、本実施の形態のインタラクティブ表示システム１Ｅとしての制御装置６の内部構成を示すブロック図であり、図２Ｂと同一部分については同一符号を付して説明を省略する。
この図に示す制御装置６においては、外部機器制御部２０が設けられる。この場合、外部機器制御部２０は、モニタ装置３０に対する操作制御を行うための回路部位とされ、データベース駆動部１４から与えられる操作情報によって、テレビジョン受像機３０に対して所要の操作制御を行うためのコマンド信号を送信出力する。従って、この場合のデータベースメモリ１４には、当該インタラクティブ表示システム１Ｅによりテレビジョン受像機３０に対する操作が実現されるようにするためのプログラムが格納されることになる。

この第６の実施の形態としてのインタラクティブ表示システム１Ｅにおいては、例えば図１８に示すように、半透明面２Ｂの特定の領域にリモートコントロール（以下リモコンと略す）表示ＲＭＤが表示される。このリモコン表示ＲＭＤには、テレビジョン受像機３０に対する各種操作が可能なキーが設けられたリモートコントローラの操作パネル面を模した形態により表示が行われるものとされる。なお、このリモコン表示ＲＭＤの表示制御は、データベースメモリ１４に格納されているとされるリモコン表示ＲＭＤの画像データ利用してデータベース駆動部１４が表示制御を行うことで、リモコン表示ＲＭＤの映像がプロジェクタ５により投影表示されるようにすることで実現される。
なお、リモコン表示ＲＭＤの表示位置は任意に設定されればよく、例えば当該インタラクティブ表示システム１Ｅに対する所定の設定操作によって、ユーザが使いやすいとされる位置に表示されるように任意に設定できるようにすることも考えられる。この際、データベース駆動部１４が現在のリモコン表示ＲＭＤの表示位置を認識してさえいれば、リモコン表示ＲＭＤの各種キーの表示部分の位置（座標）は、常にデータベース駆動部１４において把握することが可能である。

例えば、上記半透明面２Ｂに表示されたリモコン表示ＲＭＤに対するユーザの操作として、ここでは、数字キーの操作によって所望のチャンネルを選択したとする。このとき、例えばユーザは半透明面２Ｂ上のリモコン表示ＲＭＤにおける数字キーのうち、所望の１つの数字キーを押圧操作するようなイメージで半透明面２Ｂ上に対して操作を行えばよい。この場合、しきい値制御部１３におけるキー操作判別のためのしきい値の設定にもよるが、ユーザは必ずしもテーブル面（半透明面２Ｂ）上に対して指などの操作体を接触させる必要はなく、所望のキーが表示されている部分の中空に対して操作を行うようにするだけでもキー操作として判別可能なようにすることは当然可能である。

上記したユーザの操作は、ＣＣＤカメラ４により撮像されて得られる検出画像情報に基づいて、入力画像処理部１２においてその操作位置（座標）が検出される。そして、データベース駆動部１４では、検出された操作位置の座標が、リモコン表示ＲＭＤとして表示されているどのキー部分の座標と一致するのかを識別して、例えば操作位置の座標と一致しているキーの種別を示す情報を外部機器制御部２０に対して伝送する。
外部機器制御部２０においては、データベース駆動部１４から入力されたキー種別を示す情報に基づいて、このキー種別に対応するコマンド信号をモニタ装置３０に出力する。
この場合には、ある１つの数字キーによるチャンネル切換操作であることから、例えばデータベース駆動部１４は、チャンネル番号に対応する数字による数字キーが操作されたとの情報を伝送することになる。そして、外部機器制御部２０では、この指定された数字キーが示すチャンネル番号に切り換えるためのコマンド信号を送信する。これにより、テレビジョン受像機３０においては、ユーザが操作したチャンネルの画面に切り替わるように動作することになる。

なお、当然のこととして当該インタラクティブ表示システム１Ｅにより操作が可能な外部機器はテレビジョン受像機に限定される物ではなく、他の各種電子機器に対しても操作が可能なように構成することは可能であり、更には本発明に基づけば、同時に複数種類の機器に対応するリモコン表示ＲＭＤを表示させてユーザによる操作が可能なように構成することも可能であり、また、１つのリモコン表示ＲＭＤにおける複数キーに対する同時操作を認識して外部機器を制御することも可能とされる。

また、本実施の形態のように半透明面２Ｂがテーブル面である場合には、次のような動作も行わせることができる。
例えば、テーブル面としての半透明面２Ｂに対して食器その他の何らかの物を置いた場合、この半透明面２Ｂに置かれた物が赤外線光を反射することにより、この設置物の形状の画像が検出画像情報として得られることになる。これまで説明してきた実施の形態では、このような画像変化を操作情報として扱ってきたが、この場合には、この検出画像情報としての画像データをプロジェクタ５により投影表示させる画像として利用することもできる。これにより、例えば図１８の影表示ＳＨＤとして示すように、半透明面２Ｂに対して置かれた物の画像を、その影のようにして表示できるように構成することが考えられる。この場合、物が置かれる位置に応じて半透明面２Ｂ上の影表示ＳＨＤの位置も追随するようにして変化したり、半透明面２Ｂの表面からの距離変化に応じて影表示ＳＨＤの形状なども変化するので、ユーザにとって興味深い視覚的効果が得られることになる。

上記のような影表示ＳＨＤを実現するためには、例えば制御装置６の入力画像処理部１２において得られる検出画像情報を画像データとして画像合成部１７に供給すればよい。これにより、画像合成部１７においては、上記検出画像情報としての画像データ（影表示ＳＨＤの画像データ）と、データベース駆動部１４の制御により画像生成部１６において作成されたリモコン表示ＲＭＤが合成されることで、最終的に図１８に示すような半透明面２Ｂに対する投影表示が行われることになる。
なお、ここでは詳しい説明は省略するが、上記検出画像情報を画像データに対して各種信号処理によって、マルチカラー化を施したり、画像の形状を変化させるなどの特殊効果を与えることで更に視覚的効果を高めるように構成することも可能である。

ところで、上述の第６の実施の形態では、テーブルの下側に少なくとも赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５を配置してやる必要があるが、例えば床からテーブル面（半透明面２Ｂ）までの高さ（距離）はさほど多く取ることができないため、ＣＣＤカメラ４やプロジェクタ５が半透明面２Ｂ全体をカバーできるのに必要な直線距離を得ることが難しい場合が生じる。そこで、先の第５の実施の形態でも説明したが、この場合も同様に、図２０に示すように半透明面２Ｂ（テーブル面）の下側に光路を反射により変更させるミラーＭＲを配置させ、赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５などの装置はテーブルの横側に配置させるようにすることが考えられる。

なお、ミラーＭＲの代わりに、所定の光透過率と反射率が設定されたハーフミラーＭＲを用いることも考えられる。このようなハーフミラーＭＲを用いた場合には、例えば、赤外線ＬＥＤパネル３はテーブルの横側に配置させずに、テーブル下部の床面部分に設置することなどが可能となってそれだけ設置自由度が高くなる。なお、ハーフミラーを用いた設置方法は、たとえば先の第５の実施の形態における図１７のような設置形態の場合にも適用することができる。

＜７．第７の実施の形態＞
図２１は本発明の第７の実施の形態としてのインタラクティブ表示システム１Ｆの構成例を示す図であり、図１と同一部分には同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｆにおいては、赤外線ＬＥＤパネル３が設けられていない。
たとえば、本発明に基づくインタラクティブ表示システムを屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、本実施の形態のように赤外線ＬＥＤパネル３を省略する代わりに、自然光に含まれる赤外線光を操作情報検出用の光源として利用するものである。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。

そして、例えば半透明面２に対して何らかの操作が行われるとすると、このと
きの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。
なお、インタラクティブ表示システム１Ｆの制御装置６の内部構成の図示は省略するが、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。

＜８．第８の実施の形態＞
図２２は、本発明の第８の実施の形態としてのインタラクティブ表示システム１Ｇの構成を示す概念図、図２３は本実施の形態のインタラクティブ表示システム１Ｇに備えられる制御装置６の構成を示すブロック図であり、それぞれ図１及び図２と同一部分については同一符号を付して説明を省略する。
インタラクティブ表示システム１Ｇとしては、先に説明した各種実施の形態のインタラクティブ表示システムに備えられた赤外線ＬＥＤパネル３の代わりにマイクロ波発生器４０が備えられ、また、ＣＣＤカメラ４の代わりにマイクロ波受信器４１が備えられる。

そして、これに対応して制御装置６においては、マイクロ波発生器４０を駆動するためのマイクロ波駆動回路１１０がＬＥＤ駆動部１０（図１参照）の代わりに備えられる。また、マイクロ波受信器４１から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力部１１１と、この画像信号入力部１１１から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理部１１２が設けられる。上記画像信号入力部１１１及び入力データ処理部１１２は、それぞれ画像入力部１１及び入力画像処理部１２（図１参照）に代わる機能回路部である。この場合、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
本実施の形態のように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての情報処理装置を構成することが可能である。

なお、特に具体的な適用例の図示及び説明は省略するが、本発明としては半透明面２に対して行われたとされる操作情報が検出されればよいことから、上記各実施の形態に示したプロジェクタ５を省略して本発明としての情報処理装置を構成することは当然考えられる。つまり、この場合の半透明面２は操作パネルとしてのみ機能する。この構成に準ずる場合、たとえばインタラクティブな応答表示をする表示手段が必要であれば、半透明面２ではなく、別の他の種類の表示デバイスを使用しても構わない。
また、本発明に基づいて構成されるインタラクティブ表示システムの適用例は、これまで述べてきた実施の形態や適用例に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法やアプリケーションなどの適用は、他にも各種考えられるものである。また、本発明の実施の形態としてのインタラクティブ表示システムにおいて、インタラクティブな応答を音声により行うことも考えられる。

本発明の第１の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。第１の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。検出画像情報を生成するための処理動作を示すフローチャートである。第１の実施の形態のインタラクティブ表示システムの第１の利用例を示す説明図である。図５に示す第１の利用例を実現するための処理動作を示すフローチャートである。第１の実施の形態のインタラクティブ表示システムの第２の利用例を示す説明図である。第１の実施の形態のインタラクティブ表示システムの第３の利用例を示す説明図である。第１の実施の形態のインタラクティブ表示システムの第４の利用例を示す説明図である。第１の実施の形態のインタラクティブ表示システムの第５の利用例を示す説明図である。本発明の第２の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。本発明の第３の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。第３の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。第３の実施の形態のインタラクティブ表示システムの動作例を示す説明図である。本発明の第４の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。本発明の第５の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。第５の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。本発明の第６の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。第６の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。第６の実施の形態としてのインタラクティブ表示システムの他の構成例を示す概念図である。本発明の第７の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。本発明の第８の実施の形態としてのインタラクティブ表示システムの構成例を示す概念図である。第８の実施の形態のインタラクティブ表示システムに備えられる制御装置の内部構成を示す図である。

符号の説明

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇインタラクティブ表示システム、２，２Ａ，２Ｂ半透明面、３赤外線ＬＥＤパネル、４ＣＣＤカメラ、４Ａ第１ＣＣＤカメラ、４Ｂ第２ＣＣＤカメラ、５プロジェクタ、６制御装置、７パン／チルト／ズーム機構、１０ＬＥＤ駆動部、１１，１１Ａ，１１Ｂ画像入力部、１２入力画像処理部、１３しきい値制御部、１４データベース駆動部、１５データベースメモリ、１６画像生成部、１７画像合成部、１８ＲＧＢ信号生成部、３０テレビジョン受像機、４０マイクロ波発生器、４１マイクロ波受信器、１１０マイクロ波駆動部、１１１受信信号入力部、１１２入力データ処理部、ＰＤ赤外線発信器、ＭＲミラー、ハーフミラー、ＲＭＤリモコン表示、ＳＨＤ影表示

Claims

半透明面と、
前記半透明面に情報を表示する情報表示部と、
画像を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて前記表示部に対する信号、および情報処理装置の所定のパラメータ値を変更するためのパラメータ変更信号を出力する制御部と、
前記半透明面に所定の波長帯域の光を照射する照射部とを含み、
前記撮像部は、撮像素子と、前記所定の波長帯域の光のみを透過するフィルタとを備え、
前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面の近傍における操作体の動きの方向を認識し、当該動きの方向に応じた前記表示部に対する信号を出力すると共に、当該動きの方向に応じたパラメータ変更信号を出力すること
を特徴とする情報処理装置。
請求項１記載の情報処理装置において、
前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面に対して前記操作体が近接することによって生じる所定の波長帯域の光の強度が変化する領域の大きさを認識し、当該領域の大きさに応じた前記表示部に対する信号を出力することを特徴とする情報処理装置。
請求項１記載の情報処理装置において、
前記制御部は、前記撮像部により撮像された画像に基づき、前記半透明面と前記操作体との距離が変化することによって生じる所定の波長帯域の光の強度の変化を認識し、当該強度の変化に応じた前記表示部に対する信号を出力することを特徴とする情報処理装置。
請求項１記載の情報処理装置において、
前記情報処理装置はテーブル状の形状を有し、
前記半透明面はテーブル面に配置され、
前記撮像部はテーブルの下部からテーブル面を撮像するように配置され、
前記照射部はテーブルの下部からテーブル面に向けて光を照射するように配置されていること
を特徴とする情報処理装置。
請求項４記載の情報処理装置において、
前記撮像部および前記照射部は、テーブル下部に設けられたミラーによる反射を利用することで、テーブル面を撮像および照射を行うことを特徴とする情報処理装置。
半透明面と、前記半透明面に情報を表示する情報表示部と、画像を撮像する撮像部と、前記撮像部により撮像された画像に基づいて前記表示部に対する信号、および情報処理装置の所定のパラメータ値を変更するためのパラメータ変更信号を出力する制御部と、前記半透明面に所定の波長帯域の光を照射する照射部とを含む情報処理装置の情報処理方法において、
前記所定の波長帯域の光のみを透過するフィルタを介して前記撮像部の撮像素子により画像を撮像し、
前記撮像部により撮像された画像に基づき、前記半透明面の近傍における操作体の動きの方向を認識し、
当該動きの方向に応じた前記表示部に対する信号を出力すると共に、当該動きの方向に応じたパラメータ変更信号を出力すること
を特徴とする情報処理方法。