JP2005301668A - 情報処理装置および情報処理プログラム - Google Patents

Abstract

【課題】 グラフィカルユーザインターフェースの操作性を向上させること。
【解決手段】 情報処理装置１は、撮像装置１０によって撮影されたポインタまでの距離（奥行き）と、各アプリケーションのＧＵＩとが対応付けられており、ユーザが撮像装置１０の前でポインタを前後に移動させることにより、各アプリケーションのＧＵＩを切り換えて表示させることができる。したがって、情報処理装置１のディスプレイ６０に多数のボタンを表示することのないＧＵＩを構築することができる。即ち、表示画面内にボタンを表示する領域が十分確保できない場合にも、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
【選択図】 図３

Description

本発明は、グラフィカルユーザインターフェースを備える情報処理装置およびそれを実現するための情報処理プログラムに関する。

現在、ＰＣ（Personal Computer）や携帯情報端末あるいは携帯電話といった情報処理装置におけるユーザインターフェースとして、グラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）が用いられている。
ＧＵＩは、グラフィックを多用して装置とユーザとの間における情報の入出力を行うユーザインターフェースであり、ユーザはマウス等によって画面上で入力操作ができることから利便性が高いものである。

ところで、情報処理装置のうち、携帯電話等の携帯型の機器においては、キーボード、マウスあるいはトラックボールといった入力機器を用いることが実質上困難である。また、携帯型の機器は機器自体が小型であり、ハードウェアのボタン等を本体に多数備えることも困難である。
そのため、携帯型の機器においては、表示画面に対する操作によって入力が可能なタッチパネルを用いることが考えられる。

ところが、近年、携帯型の機器は小型化が進んでおり、このような機器にＧＵＩを備える場合、限られたサイズの表示画面内に多数のボタンを表示しなければならず、操作性が低下してしまう。その上、表示画面に直接接触したり押圧を加えたりするため、表示画面の汚れや機器の故障の原因となる場合がある。
そこで、携帯型の機器に適用可能なＧＵＩとして、ユーザの身体、例えば手等を撮像装置によって撮影し、その動きによって入力操作を行う技術が提案されている。

例えば、インタラクション２００１講演論文集，「空中での手書き文字入力システム−ウェアラブルコンピュータ環境での入力インターフェース−」，園田 智也，村岡 洋一（非特許文献１参照）には、利用者の装着しているヘッドマウントディスプレイにタッチパネルを表示し、利用者の手の動作を画像解析することによって、そのボタンを指先で仮想的に押すことができるインターフェースに関する技術が開示されている。

非特許文献１に記載された技術によれば、表示画面上に表示されたボタンを仮想的に押下することによって入力操作を行うことができるため、マウス等の入力機器を備える必要がなく、また、タッチパネルに実際に接触することもないため、上述の問題が生ずることのないＧＵＩを実現することができる。
園田 智也，村岡 洋一，「空中での手書き文字入力システム−ウェアラブルコンピュータ環境での入力インターフェース−」，インタラクション２００１講演論文集，情報処理学会，２００１年，ｐｐ．３−１０

しかしながら、非特許文献１に記載された技術は、ヘッドマウントディスプレイを想定していることから、携帯型の機器における限られたサイズの表示画面の場合に直ちに適用することは困難であった。即ち、携帯型の機器における表示画面の場合、ボタンを表示する領域が十分に確保できず、操作性が低下するという問題があった。
本発明の課題は、グラフィカルユーザインターフェースの操作性を向上させることである。

以上の課題を解決するため、本発明は、
被写体の画像を撮影する撮像手段（例えば、図１および図２の撮像装置１０）を備えた情報処理装置であって、予め設定された対象物の画像が前記撮像手段によって撮影されている際に、該対象物に関する所定パラメータ（例えば、対象物までの距離といった対象物との位置関係に基づくパラメータ、対象物の大きさあるいは対象物の色とった対象物自体の形態を示すパラメータ、あるいは、撮影された画像における対象物の画像の大きさ等、上記対象物との位置関係あるいは対象物自体の形態を間接的に示すパラメータ等）を取得するパラメータ取得手段（例えば、図１および図２の撮像装置１０、あるいは、対象物との距離や対象物の大きさ等を直接測定する測定装置等）と、前記所定パラメータに応じて、自装置に入力操作を行うための複数の操作画面（例えば、複数のアプリケーションに対応するグラフィカルユーザインターフェース、あるいは、１つのアプリケーションのグラフィカルユーザインターフェースにおける複数のボタン等）を切り換えて表示するインターフェース表示手段（例えば、図２の制御部３０、表示制御部５０およびディスプレイ６０）とを備えることを特徴としている。

これにより、予め設定された対象物が撮影されている場合に、その対象物について取得された所定パラメータに応じて、操作画面が切り換えて表示される。
したがって、対象物における所定パラメータを変化させることにより、ユーザは操作画面を切り換えることが可能となり、表示画面内にボタンを表示する領域が十分確保できない場合であっても、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。

また、前記パラメータ取得手段は、前記撮像手段によって撮影された画像における前記対象物の画像の大きさ（例えば、対象物の画像における累積画素数等）を、前記所定パラメータとして取得することを特徴としている。
これにより、撮像手段によって撮影された画像から所定パラメータを取得することができるため、簡易な機器構成とすることが可能となる。

また、前記インターフェース表示手段は、前記所定パラメータに応じて、自装置が実行可能な複数のアプリケーションに対応するグラフィカルユーザインターフェースを切り換えて表示することを特徴としている。
これにより、複数のアプリケーションを備える場合に、これらの選択を容易に行うことが可能となる。

また、前記インターフェース表示手段は、前記所定パラメータと表示される操作画面との対応関係を示唆する表示（例えば、図８のインジケータ）を行うことを特徴としている。
これにより、ユーザが所定パラメータを変化させる際の操作を支援することが可能となる。

また、前記インターフェース表示手段は、前記複数の操作画面を切り換えて表示する際、表示されている操作画面に対し、前記所定パラメータが変化することにより、新たに表示されることとなる他の操作画面を示唆する画面（例えば、図７（ｂ）の撮像装置１０の制御ソフトウェア）を重畳して表示することを特徴としている。
これにより、操作画面を徐々に切り換えることができるため、操作画面が突然切り換わることにより、操作性が低下する事態を防止することが可能となる。

また、前記インターフェース表示手段は、前記所定パラメータが変化した場合に表示が予定される操作画面に関する情報を、現在表示されている操作画面内に表示することを特徴としている。
これにより、ユーザが所定パラメータを変化させる場合の操作を支援することが可能となる。

また、前記対象物の画像を入力操作のためのポインタとして認識し、表示された操作画面内において移動された前記対象物の画像によって、前記操作画面に対する入力操作が可能であることを特徴としている。
これにより、操作画面の切り換えに用いた対象物を、そのまま入力操作に用いることができるため、操作性を向上させることが可能となる。

また、前記インターフェース表示手段は、前記操作画面に入力ボタンを表示し、該入力ボタンに前記対象物の画像が重ねられた時間に応じて、該入力ボタンに対する操作内容を変化させることを特徴としている。
これにより、対象物を用いた簡単な操作で操作画面に対する入力を行うことが可能となる。

また、前記撮像手段によって撮影された対象物の画像における形態の変化を検出する検出手段（例えば、図１および図２の撮像装置１０および制御部３０）をさらに備え、前記対象物の画像における形態の変化（例えば、対象物の色の変化、大きさの変化あるいは形の変化等）によって、前記操作画面における入力操作が可能であることを特徴としている。

これにより、対象物を用いた簡単な操作で、比較的多様な入力操作を行うことが可能となる。
また、前記所定パラメータと前記複数の操作画面それぞれとの対応関係（例えば、所定パラメータに対して操作画面が配置されている順序や、各操作画面に割り当てる所定パラメータの範囲の大きさ等）を変更可能であることを特徴としている。

これにより、ユーザの要求に応じて、柔軟な設定を行うことが可能となり、操作性のさらなる向上を図ることが可能となる。
また、前記複数の操作画面それぞれの使用頻度を計測する使用頻度計測手段（例えば、図１の制御部３０）をさらに備え、該使用頻度計測手段によって計測された使用頻度に応じて、前記所定パラメータと前記複数の操作画面それぞれとの対応関係を設定することを特徴としている。

これにより、使用頻度の高い操作画面を、操作し易い順序に自動的に配置することができ、操作性をさらに向上させることが可能となる。
また、前記所定パラメータの変化に関わらず、前記インターフェース表示手段が表示している操作画面を表示させる操作画面固定手段（例えば、発明を実施するための最良の形態における、ハードウェアとして備えられたＧＵＩ固定用のボタンやＧＵＩ上に表示されたＧＵＩ固定用のボタン）をさらに備えることを特徴としている。

これにより、ユーザが入力操作を行いたい操作画面に固定することができるため、対象物の状態が変化することによって不意に操作画面が切り換わってしまうことを防止できる。
また、本発明は、
被写体の画像を撮影する撮像手段を備えた情報処理装置を制御するための情報処理プログラムであって、予め設定された対象物の画像が前記撮像手段によって撮影されている際に、該対象物に関する所定パラメータを取得するパラメータ取得機能と、前記所定パラメータに応じて、自装置に入力操作を行うための複数の操作画面を切り換えて表示するインターフェース表示機能とを実現させることを特徴としている。
本発明によれば、対象物に関する所定パラメータと、複数の操作画面とが対応付けられており、ユーザが所定パラメータを変化させることにより、各操作画面を切り換えて表示させることができる。

したがって、表示画面内にボタン等を表示する領域が十分確保できない場合であっても、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。

以下、図を参照して本発明に係る情報処理装置の実施の形態を説明する。
まず、構成を説明する。
図１は、本発明を適用した情報処理装置１の外観構成を示す概略図であり、図１（ａ）は正面図、図１（ｂ）は背面図である。また、図２は、情報処理装置１の機能構成を示すブロック図である。なお、図１においては、情報処理装置１に対する指示入力時に用いられる指示具２を併せて示している。

図１および図２において、情報処理装置１は、撮像装置１０と、撮像画像処理ユニット２０と、制御部３０と、記憶部４０と、表示制御部５０と、ディスプレイ６０とを含んで構成される。
撮像装置１０は、レンズの結像をＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の光電変換可能なデバイスによって電気信号に変換する。そして、撮像装置１０は、その電気信号によって示される画像のデータ（以下、「撮像画像データ」と言う。）を撮像画像処理ユニット２０に出力する。

なお、本実施の形態においては、撮像装置１０を特許請求の範囲におけるパラメータ取得手段として用い、撮影された画像から、対象物である指示具２等との距離を所定パラメータとして取得するものとして説明するが、この他にも、対象物である指示具２等との距離あるいは指示具２の大きさもしくは形等を直接測定する測定装置を備え、測定された距離、大きさあるいは形を所定パラメータとして取得することとしても良い。

撮像画像処理ユニット２０は、画像処理部２１と、画像処理用メモリ２２とをさらに含んで構成される。
画像処理部２１は、撮像装置１０によって入力された撮像画像データに対し、例えば色補間やサイズの変更といった、所定形式の画像データに変換する処理を施し、処理結果を画像処理用メモリ２２に記憶させる。

画像処理用メモリ２２は、ＳＲＡＭ（Static Random Access Memory）等の半導体メモリによって構成され、撮像装置１０によって入力された撮像画像データや、画像処理部２１の処理結果である所定形式の画像データを記憶する。
制御部３０は、プロセッサ３１と、メモリ３２とをさらに含んで構成される。
プロセッサ３１は、情報処理装置１全体を制御するものであり、電源ボタン（不図示）や後述するグラフィカルユーザインターフェース（ＧＵＩ）によって入力された各種の指示信号に従って、記憶部４０に記憶された各種処理に関するプログラムを読み出して実行する。例えば、プロセッサ３１は、電源ボタンが押下され、情報処理装置１の電源が投入されると、記憶部４０に記憶されたＧＵＩ構築処理プログラムを読み出して、本発明に係るＧＵＩを実現するためのＧＵＩ構築処理を実行する。そして、プロセッサ３１は、各種処理結果をメモリ３２や記憶部４０の所定の領域に格納したり、表示制御部５０に出力したりする。

メモリ３２は、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリによって構成され、プロセッサ３１により実行される各種処理において生成された各種データを一時的に格納するワークエリアを有する。
記憶部４０は、フラッシュＲＯＭ等の不揮発性の記憶装置によって構成され、情報処理装置１のオペレーティングシステムプログラム、アプリケーションプログラム、システムデータファイルあるいはＧＵＩ構築処理プログラムといった不揮発的に保持されるデータを記憶している。また、記憶部４０は、ユーザによって設定された各種パラメータや、情報処理装置１が動作中に取得した種々のデータ、例えば、アプリケーションの使用頻度等を記憶している。

なお、アプリケーションの使用頻度については、ユーザの要求に応じて表示することが可能であり、ユーザは、表示された使用頻度に応じて、ＧＵＩの配置順序を設定することが可能である。
表示制御部５０は、ディスプレイコントローラやディスプレイドライバを含んで構成され、プロセッサ３１によって入力された画像データをディスプレイ６０に表示させるための制御信号を生成する。

ディスプレイ６０は、ＬＣＤ（Liquid Crystal Display）等の表示装置であり、表示制御部５０によって生成された制御信号に応じて、種々の画像を表示する。
続いて、本実施の形態において使用される指示具２について説明する。
図１に示す指示具２は、ユーザが手に持つ部分である棒状の保持部２ａと、その先端に取り付けられた球体の被認識部２ｂとによって構成されている。

この被認識部２ｂは、赤色に着色されており、情報処理装置１は、撮影された画像における形状および色から被認識部２ｂを識別する。そして、被認識部２ｂの画像が、ＧＵＩにおけるポインタ（カーソル）とされ、ユーザが保持部２ａを持って指示具２を各方向へ移動させることにより、種々の指示入力を行うことが可能である。
なお、指示具２の具体的な形態（形状および色等）は設計に応じて定めることが可能であるが、例えば、保持部２ａを直径５ミリメートル、長さ１０センチメートルの円柱状とし、被認識部２ｂを直径２センチメートルの球体とすること等が可能である。

次に、動作を説明する。
情報処理装置１は、電源投入と共にＧＵＩ構築処理を起動し、以後の入力操作は、ＧＵＩ構築処理によって構築されたＧＵＩを介して行われる。
ＧＵＩ構築処理は、ＧＵＩのポインタとして予め設定された指示具２を情報処理装置１によって撮影し、撮影された指示具２までの距離によって複数のアプリケーションのＧＵＩを切り換える処理である。

ＧＵＩ構築処理が実行される際には、その初期化処理において、情報処理装置１にインストールされている各アプリケーションが、撮影された指示具２までの距離範囲と対応付けられる。即ち、各アプリケーションのＧＵＩが、撮影された画像における奥行き方向に所定の配置順序で仮想的に配置された状態とされる。なお、各アプリケーションが対応付けられた距離範囲相互の間に、いずれのアプリケーションのＧＵＩにも対応付けられていない緩衝部分（以下、適宜「遊び幅」という。）が備えられている。

図３は、各アプリケーションが指示具２までの距離（奥行き）と対応付けられている状態を示す概念図である。
図３において、撮影された画像空間の奥行き方向には、一定範囲に１つずつ各アプリケーションのＧＵＩが配置されている。
各アプリケーションの配置順序は、ユーザの要求あるいは設計仕様等に応じて種々の形態とすることが可能であるが、例えば、上述のようにユーザの設定により、あるいは、自動的に使用頻度が高い順番で各アプリケーションのＧＵＩを配置するといったことが考えられる。

このような初期設定の下、ＧＵＩ構築処理が実行される。
図４は、情報処理装置１のプロセッサ３１が実行するＧＵＩ構築処理を示すフローチャートである。
ＧＵＩ構築処理が起動されると、プロセッサ３１は、撮像装置１０および撮像画像処理ユニット２０によって所定形式の画像データを取得し（ステップＳ１）、取得した画像データにおいて、ＧＵＩのポインタとして設定された指示具２までの距離を導出するための処理（以下、「距離導出処理」という。）を実行する（ステップＳ２）。

次に、プロセッサ３１は、ステップＳ２において導出された、指示具２までの距離に応じたアプリケーションのＧＵＩを表示する処理（以下、「ＧＵＩ表示処理」という。）を実行し（ステップＳ３）、以後、ステップＳ１〜Ｓ３を繰り返す。
続いて、ＧＵＩ構築処理のステップＳ２において実行される距離導出処理について説明する。

図５は、ＧＵＩ構築処理において実行される距離導出処理を示すフローチャートである。
距離導出処理が開始されると、プロセッサ３１は、ＧＵＩ構築処理のステップＳ１において取得された画像データから、赤色の領域（以下、「対象領域」という。）を抽出する（ステップＳ１０１）。

ここで、赤色の領域を抽出するのは、指示具２の被認識部２ｂが赤色に着色されているためである
次いで、プロセッサ３１は、抽出された赤色の領域（対象領域）を黒色、赤色以外の領域を白色に変換し、画像データを２値化する（ステップＳ１０２）。
次に、プロセッサ３１は、画像データに含まれる画素を間引くことにより画像の縮小処理を行う（ステップＳ１０３）。

縮小処理を行うことにより、１画素からなる対象領域のようにノイズとみなすことができる領域を消去することができる。
そして、プロセッサ３１は、ステップＳ１０３において縮小された画像を再度元のサイズに戻し（ステップＳ１０４）、この時点で対象領域として残存している領域それぞれに識別番号を付与（ラベリング）する（ステップＳ１０５）。

さらに、プロセッサ３１は、ステップＳ１０５において識別番号を付与された各対象領域について、円形度の導出を行う（ステップＳ１０６）。
なお、各対象領域の円形度は、その輪郭と円とのマッチングを行うことによって導出される。
そして、プロセッサ３１は、最も円形度が高いと導出された識別番号の対象領域について画像上の面積Ｘ（ここでは累積画素数）を導出し（ステップＳ１０７）、ＧＵＩ構築処理に戻る。

次に、ＧＵＩ構築処理のステップＳ３において実行されるＧＵＩ表示処理について説明する。
図６は、ＧＵＩ構築処理において実行されるＧＵＩ表示処理を示すフローチャートである。
情報処理装置１においては、面積Ｘの閾値として小さい順にＸ１，Ｘ２，Ｘ３，Ｘ４が予め設定されており、ＧＵＩ表示処理が開始されると、プロセッサ３１は、面積ＸがＸ１以上かつＸ２未満であるか否かの判定を行う（ステップＳ２０１）。

ステップＳ２０１において、面積ＸがＸ１以上かつＸ２未満であると判定した場合、プロセッサ３１は、第１のアプリケーションのＧＵＩ（例えば、撮像装置１０の制御ソフトウェアのＧＵＩ）を表示する（ステップＳ２０２）。
一方、ステップＳ２０１において、面積ＸがＸ１以上かつＸ２未満でないと判定した場合、プロセッサ３１は、面積ＸがＸ２以上かつＸ３未満であるか否かの判定を行う（ステップＳ２０３）。

ステップＳ２０３において、面積ＸがＸ２以上かつＸ３未満であると判定した場合、プロセッサ３１は、第２のアプリケーションのＧＵＩ（例えば、ミュージックプレイソフトウェアのＧＵＩ）を表示する（ステップＳ２０４）。
一方、ステップＳ２０３において、面積ＸがＸ２以上かつＸ３未満でないと判定した場合、プロセッサ３１は、面積ＸがＸ３以上かつＸ４未満であるか否かの判定を行う（ステップＳ２０５）。

ステップＳ２０５において、面積ＸがＸ３以上かつＸ４未満であると判定した場合、プロセッサ３１は、第３のアプリケーションのＧＵＩを表示する（ステップＳ２０６）。
一方、ステップＳ２０５において、面積ＸがＸ３以上かつＸ４未満でないと判定した場合、プロセッサ３１は、ＧＵＩ構築処理のステップＳ１に移行する。
そして、プロセッサ３１は、ＧＵＩ表示処理で表示されたＧＵＩにおいて、表示されたボタンが押下されることにより入力操作が行われたと判定した場合には、入力操作に対応する各種処理に移行する。

なお、ＧＵＩ構築処理で表示されたＧＵＩにおいて、入力操作が行われていないと判定した場合には、プロセッサ３１は、入力操作が行われるまでＧＵＩ構築処理を繰り返す。
このようなＧＵＩ構築処理が実行される結果、ユーザが指示具２を撮像装置１０の前で近づけたり遠ざけたりすることにより、ディスプレイ６０に第１〜第３のアプリケーションのＧＵＩが順次切り換えて表示される。そのため、ユーザは、指示具２を撮像装置１０の前で近づけたり遠ざけたりしながら、所望のアプリケーションのＧＵＩが表示された時点で指示具２の位置を固定し、その奥行きに位置する面内（ディスプレイ６０に表示されているＧＵＩの面内）で指示具２を移動させて、必要なボタンを押下することができる。
ボタンを押下する操作の具体的な形態としては、表示されたボタンの位置に指示具２の被認識部２ｂの画像を重ならせ、その時間経過に応じて、接触している状態、押下した状態と変化させることが可能である。

このとき、ボタンの状態に応じて、ボタンの表示形態を順次変化させることとしても良い。
例えば、経過時間に応じてボタンの色を変化させたり、アルファ値（透過度）を変化させたりすることが可能である。
このようにボタンの表示形態が変化することによって、ユーザにボタンの状態（接触されている状態あるいは押下された状態）を知らせることが可能となる。

なお、ボタンの表示形態を変化させる際の経過時間の長さは、ユーザの要求に応じて設定可能である。
また、ボタンを押下する際の他の形態としては、ポインタとして設定された対象物の色あるいは形状を変化可能なものとしておき（例えば、上述の指示具２の被認識部２ｂにおいて表を赤、裏を青にする、あるいは、ペンライト等、光の色あるいは輝度を変化可能なものとする等）、ボタンを押下する際には、ポインタをボタンに重ねた状態で、対象物の色あるいは形状を変化させる（被認識部２ｂを反転させ表裏を入れ替える、あるいは、ペンライト等のスイッチを操作することにより光の色あるいは輝度を切り替える等）ことによってボタンが押下されたものと判定することとしても良い。

また、ユーザが指示具２を撮像装置１０の前で近づけたり遠ざけたりする際、一定の奥行きに位置する面内を維持して指示具２を移動させることは、ユーザにとってやや困難な場合もあるため、所望のアプリケーションのＧＵＩが表示された時点で、表示されているＧＵＩを固定し、操作性を向上させることも可能である。この場合、情報処理装置１にハードウェアとして備えられたＧＵＩ固定用のボタンや、ＧＵＩ上に表示されたＧＵＩ固定用のボタンが押下されることに対応して、プロセッサ３１が、表示されているＧＵＩを固定するように制御することが可能である。

なお、上述の指示具２をＧＵＩのポインタとして設定する場合の他にも、人差し指等、任意のものをポインタとして設定することが可能である。この場合、ポインタとして設定する対象物を撮像装置１０によって撮影し、その形状および色等を認識しておくことによって、以後、ポインタとして用いることが可能である。
また、ユーザがポインタとして設定された対象物を撮像装置１０の前で近づけたり遠ざけたりした場合、ＧＵＩ構築処理によって、ＧＵＩが表示されるアプリケーションが順次切り換わることとなるが、このとき、異なるアプリケーションのＧＵＩを択一的に切り換えて表示するのではなく、現在選択されているＧＵＩ（ポインタとして設定された対象物の位置に対応するＧＵＩ）が表示されている状態から、ＧＵＩが切り換わりつつあることを示唆する表示を行うこととしても良い。

例えば、現在選択されているＧＵＩを透かした状態とし、切り換わりつつある新たなＧＵＩを重畳して表示すること等が可能である。
図７は、ＧＵＩ構築処理において、ミュージックプレイソフトウェアのＧＵＩのみが表示された状態（図７（ａ）参照）と、撮像装置１０の制御ソフトウェアのＧＵＩが重畳された状態（図７（ｂ）参照）とを示す図である。

なお、図７においては、指示具２に代えて、人差し指をポインタとして設定した場合を示している。
図７において、ミュージックプレイソフトウェアのＧＵＩのみが表示されている状態（図７（ａ）の状態）から、ポインタとして設定された人差し指を徐々に情報処理装置１に近づけていくと、所定位置から、次に表示されることとなる撮像装置１０の制御ソフトウェアのＧＵＩが重畳された状態で表示されるようになる（図７（ｂ）の状態）。

このような表示を行うことにより、ユーザがポインタ（人差し指）を移動させている際に、突然、異なるアプリケーションのＧＵＩに切り換わってしまい、操作における違和感が生じることを防止できるため、操作性を向上させることが可能となる。
なお、このような表示を上述の遊び幅の部分において行うことが可能である。
以上のように、本実施の形態に係る情報処理装置１は、撮像装置１０によって撮影された指示具２までの距離（奥行き）と、各アプリケーションのＧＵＩとが対応付けられており、ユーザが撮像装置１０の前で指示具２を前後に移動させることにより、各アプリケーションのＧＵＩを切り換えて表示させることができる。

したがって、情報処理装置１のディスプレイ６０に多数のボタンを表示することのないＧＵＩを構築することができる。即ち、表示画面内にボタンを表示する領域が十分確保できない場合であっても、操作性の高いグラフィカルユーザインターフェースを実現することが可能となる。
なお、ポインタとして設定された対象物までの距離と表示されるＧＵＩとの対応関係を明瞭なものとするため、ディスプレイ６０に対象物までの距離範囲とアプリケーションとの対応関係を示すインジケータを表示することとしても良い。

図８は、ポインタとして設定された対象物までの距離範囲とアプリケーションとの対応関係を示すインジケータをディスプレイ６０に表示する場合の表示画面を示す図である。
図８においては、画像における奥行きを示すメータ上に、アプリケーションが割り当てられている距離範囲と、ポインタ（人差し指）の位置とが対応付けられたインジケータが示されている。

ユーザは、このインジケータを参照しながらポインタを前後に移動させることにより、ＧＵＩが切り換わる状態を適確に把握しつつ操作を行うことが可能である。
また、図８においては、現在のポインタの位置の奥および手前に位置しているＧＵＩのアプリケーションをユーザに示唆するため、画像の上部および下部にそれぞれアプリケーション名を表示している。

このような表示を行うことにより、ユーザはいずれの方向にポインタを移動させれば良いかを容易に把握することが可能となる。
ここで、アプリケーションが割り当てられている距離範囲（奥行きの範囲）間の遊び幅は、過度に狭ければ、頻繁にＧＵＩが切り換わることとなり、反対に、過度に広ければ、ＧＵＩの切り換えのために対象物を奥行き方向に移動させる距離が長くなるため、ユーザが要求に応じて適切な割り当てを設定することができる。また、アプリケーションが割り当てられている距離範囲自体の長さも、ユーザが要求に応じて設定可能である。

なお、このような割り当ては、ＧＵＩ構築処理の初期化処理において、情報処理装置１にインストールされている各アプリケーションが、撮影された対象物までの距離範囲と対応付けられる際に、設定を反映させることによって実現可能である。
また、本実施の形態において、撮像装置１０によって撮影された画像上にＧＵＩが表示されることについて説明したが、このとき、ポインタの画像を最前面、撮影された画像を最背面に表示し、ＧＵＩの上にはポインタの画像のみが表示されている状態とすることが可能である。

図９は、ＧＵＩ上にポインタの画像のみが表示されている状態を示す図である。
図９においては、撮影された画像、ＧＵＩ、ポインタの画像の順に手前に表示されているため、ユーザがＧＵＩの操作を行い易く、操作性をさらに向上させることが可能である。なお、図９に示す状態からポインタとして設定された対象物（人差し指）を一定距離だけ奥に移動させることにより、ポインタの画像をＧＵＩの背面に表示するといったことも可能である。

また、本実施の形態においては、ポインタとして設定された対象物までの距離（奥行き）に応じて、複数のアプリケーションのＧＵＩを切り換えて表示する場合を例に挙げて説明したが、本発明の適用対象はこれに限られず、種々の入力操作を行う場合に適用することが可能である。例えば、１つのアプリケーションのＧＵＩにおいて、多数のボタンから１つを選択する場合等に、ポインタの距離に応じて、異なるボタンを順次切り換えて表示すること等が可能である。
また、本実施の形態においては、図３に示すように、各アプリケーションのＧＵＩが画像空間の奥行き方向に配置されているものとして説明したが、アプリケーションが多数備えられている場合には、アプリケーションの選択過程を階層的なものとすることが可能である。即ち、多数のアプリケーションをグループに区分しておき、図３に示す各ＧＵＩをグループそれぞれの選択画面とすることによって、まず、いずれかのグループの選択画面であるＧＵＩを選択し、その後に、その選択画面において特定のアプリケーションを選択することが可能である。

本発明を適用した情報処理装置１の外観構成を示す概略図である。 情報処理装置１の機能構成を示すブロック図である。 各アプリケーションが指示具２までの距離と対応付けられている状態を示す概念図である。 情報処理装置１のプロセッサ３１が実行するＧＵＩ構築処理を示すフローチャートである。 ＧＵＩ構築処理において実行される距離導出処理を示すフローチャートである。 ＧＵＩ構築処理において実行されるＧＵＩ表示処理を示すフローチャートである。 ＧＵＩ構築処理において、ミュージックプレイソフトウェアのＧＵＩのみが表示された状態と、撮像装置１０の制御ソフトウェアのＧＵＩが重畳された状態とを示す図である。 ポインタの距離範囲とアプリケーションとの対応関係を示すインジケータをディスプレイ６０に表示する場合の表示画面を示す図である。 ＧＵＩ上にポインタの画像のみが表示されている状態を示す図である。

符号の説明

１ 情報処理装置、２ 指示具、２ａ 保持部、２ｂ 被認識部、１０ 撮像装置、２０ 撮像画像処理ユニット、２１ 画像処理部、２２ 画像処理用メモリ、３０ 制御部、３１ プロセッサ、３２ メモリ、４０ 記憶部、５０ 表示制御部、６０ ディスプレイ

Claims (13)

1. 被写体の画像を撮影する撮像手段を備えた情報処理装置であって、
   予め設定された対象物の画像が前記撮像手段によって撮影されている際に、該対象物に関する所定パラメータを取得するパラメータ取得手段と、
   前記所定パラメータに応じて、自装置に入力操作を行うための複数の操作画面を切り換えて表示するインターフェース表示手段と、
   を備えることを特徴とする情報処理装置。
2. 前記パラメータ取得手段は、前記撮像手段によって撮影された画像における前記対象物の画像の大きさを、前記所定パラメータとして取得することを特徴とする請求項１記載の情報処理装置。
3. 前記インターフェース表示手段は、前記所定パラメータに応じて、自装置が実行可能な複数のアプリケーションに対応するグラフィカルユーザインターフェースを切り換えて表示することを特徴とする請求項１または２記載の情報処理装置。
4. 前記インターフェース表示手段は、前記所定パラメータと表示される操作画面との対応関係を示唆する表示を行うことを特徴とする請求項１から３のいずれか1項に記載の情報処理装置。
5. 前記インターフェース表示手段は、前記複数の操作画面を切り換えて表示する際、表示されている操作画面に対し、前記所定パラメータが変化することにより、新たに表示されることとなる他の操作画面を示唆する画面を重畳して表示することを特徴とする請求項１から４のいずれか1項に記載の情報処理装置。
6. 前記インターフェース表示手段は、前記所定パラメータが変化した場合に表示が予定される操作画面に関する情報を、現在表示されている操作画面内に表示することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記対象物の画像を入力操作のためのポインタとして認識し、表示された操作画面内において移動された前記対象物の画像によって、前記操作画面に対する入力操作が可能であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記インターフェース表示手段は、前記操作画面に入力ボタンを表示し、
   該入力ボタンに前記対象物の画像が重ねられた時間に応じて、該入力ボタンに対する操作内容を変化させることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記撮像手段によって撮影された対象物の画像における形態の変化を検出する検出手段をさらに備え、
   前記対象物の画像における形態の変化によって、前記操作画面における入力操作が可能であることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記所定パラメータと前記複数の操作画面それぞれとの対応関係を変更可能であることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記複数の操作画面それぞれの使用頻度を計測する使用頻度計測手段をさらに備え、該使用頻度計測手段によって計測された使用頻度に応じて、前記所定パラメータと前記複数の操作画面それぞれとの対応関係を設定することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記所定パラメータの変化に関わらず、前記インターフェース表示手段が表示している操作画面を表示させる操作画面固定手段をさらに備えることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 被写体の画像を撮影する撮像手段を備えた情報処理装置を制御するための情報処理プログラムであって、
    予め設定された対象物の画像が前記撮像手段によって撮影されている際に、該対象物に関する所定パラメータを取得するパラメータ取得機能と、
    前記所定パラメータに応じて、自装置に入力操作を行うための複数の操作画面を切り換えて表示するインターフェース表示機能と、
    を実現させることを特徴とする情報処理プログラム。