JP5627314B2

JP5627314B2 - 情報処理装置

Info

Publication number: JP5627314B2
Application number: JP2010144219A
Authority: JP
Inventors: 基起仲間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-06-24
Filing date: 2010-06-24
Publication date: 2014-11-19
Anticipated expiration: 2030-06-24
Also published as: JP2012008808A

Description

本発明は、表示オブジェクトに対する操作性を向上する技術に関する。

電子化されたドキュメントを大型のテーブル・ディスプレイや壁面ディスプレイに表示し、表示されたドキュメントをインタラクティブに操作可能にすることで、アイディアの整理や議論の活性化を支援するシステムが注目されている。このようなシステムでは、ディスプレイにタッチパネルやデジタイザなどが組み込まれており、画面上に表示されたドキュメント（オブジェクト）をタッチ操作するといった、直感的なオブジェクト操作が可能である。一般的にタッチパネルを利用した操作は、情報機器に不慣れなユーザにも馴染みやすいため、モバイル端末やコピー機など多くの情報機器で利用されるようになっている。

これらタッチパネル式の情報処理装置は、誰でも簡単に目的のオブジェクトをタッチ操作で選択できることが求められているが、表示されるオブジェクトが小さい場合には間違ったオブジェクトを選択してしまう可能性が高い。また、同様に隣り合うオブジェクトの間隔が狭い場合なども間違って隣のオブジェクトをタッチ選択してしまう。

このような課題を解決するため、特許文献１は、操作者の指先が接近したことを検出して、指先と表示画面間の距離を求め、その距離が小さくなるにつれて、ユーザが選択したい表示オブジェクトを選択しやすいように大きく表示する処理を行う。

特開２００９‐２５９１１０号公報

しかし、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、表示オブジェクトが重なって表示されている場合、タッチ操作でオブジェクトを選択するのは煩わしく、操作性を低下させてしまう。

また、テーブル上に表示されたオブジェクトをタッチして選択する場合、特許文献１では、選択するオブジェクトが操作者の手の届かない距離に表示されていると選択できない。例えば、図１（ａ）において操作者Ａは、手が届かないため表示されているオブジェクト１０３ｄや１０３ｅを直接タッチして選択することができない。

本発明は、上記課題を考慮してなされたもので、オブジェクトが重なっている場合や手の届かない場所に表示されていても、オブジェクトを容易に選択することが可能な情報処理装置を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、
表示部によって表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、操作物体による操作方向を取得する取得手段と、前記複数のオブジェクトのうち、前記取得手段によって取得された前記操作方向に表示された各オブジェクトを選択候補に限定し、前記操作物体から前記複数のオブジェクトが表示された面までの距離が、前記選択候補である各オブジェクトの表示位置に基づいて決定された順序と対応するオブジェクトを、前記複数のオブジェクトから選択するオブジェクト選択手段を有することを特徴とする。

本発明によれば、重なって表示されているため選択しにくいオブジェクトや、遠くに表示されて選択できないオブジェクトを容易に選択することが可能となる。

情報処理装置のシステム概要図。情報処理装置のハードウェア構成図。情報処理装置の機能ブロック図。オブジェクト選択処理の説明図。情報処理装置の処理を示すメインフローチャート。初期画面表示処理のフローチャート。オブジェクト選択処理のフローチャート。第２の実施形態の具体例を示す図。遠隔操作距離算出方法を示す図。第２の実施形態におけるオブジェクト選択順の説明図。第３の実施形態における情報処理装置の概観図。対応付けのテーブルを示す図。物体とオブジェクトの位置情報取得方法を示す図。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。

［第１の実施形態］
図１（Ａ）は、本実施形態におけるシステム概要図である。テーブル型ディスプレイ１０１、壁面型ディスプレイ１０２を利用して、アイディアの整理や議論をインタラクティブに行うためのシステムである。参加者Ａ、Ｂは表示装置であるディスプレイ（１０１、１０２）に表示されたオブジェクト（１０３ａ〜１０３ｅ）を指や手を使ってタッチ操作、もしくはジェスチャ操作することで選択し、操作する。

図１（Ｂ）では、下方と側方の両方向に投影可能なプロジェクタ１０４を利用してテーブル型ディスプレイ１０１、壁面型ディスプレイ１０２の両方にプロジェクタ１０４を用いてオブジェクトを投影するシステム１００１の例を示す。また、オブジェクトに対するジェスチャ操作を認識するためのセンサとして距離センサ１０５を利用する。これらの各デバイスは、情報処理装置１００とネットワークもしくはＵＳＢによって接続されており、協調して機能する。図１（Ｂ）では、２つの表示装置と一つの距離センサを利用する例を示したが、その限りではない。表示装置は１つでも良く、プロジェクタ１０４のような投影型表示装置ではなく、図１（Ｃ）に示したような、タッチパネルが組み込まれた大型ディスプレイをテーブルもしくは壁面に設置して利用してもよい。また、センサも距離情報を算出可能なセンサとして、複数の近接センサや超音波センサを利用してもよい。また画像の解析結果から距離情報を算出することも可能である。

図２は本実施形態における、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ２００（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２、バス２０３から構成される。またさらに、ディスプレイＩ／Ｆ２０４、ストレージＩ／Ｆ２０５、ストレージ２０６、入力Ｉ／Ｆ２０７から構成される。ただし、本発明はこれらのインターフェースだけに限らない。タッチパネルＩ／ＦやメモリーカードＩ／Ｆなどのインターフェースを含み、それを利用して情報処理装置を実現しても構わない。

以下、情報処理装置１００のハードウェア構成について、その詳細を説明する。

ＣＰＵ２００は、ＲＡＭ２０１、ＲＯＭ２０２、バス２０３を利用して情報処理装置１００全体の制御を行う。ここでは図示されていないが、オペレーティングシステム（以下ＯＳ）をはじめ、本発明に係る各処理プログラム、デバイスドライバ等はＲＯＭ２０２に記憶されており、ＲＡＭ２０１に一時記憶され、ＣＰＵ２００によって適宜実行される。ここでＯＳおよび各処理プログラム等はストレージ２０６に記憶されていてもよく、その場合は電源投入時にＲＡＭ２０１に適宜読み込まれ、ＣＰＵ２００によって起動される。

ディスプレイＩ／Ｆ２０４は、情報処理装置１００内部で作成される表示画面をディスプレイ１０１が処理可能な信号に変換する。ストレージＩ／Ｆ２０５は、情報処理装置１００内部で利用可能な映像データ形式とストレージ２０６に記憶するための映像データ形式を互いに変換する。入力Ｉ／Ｆ２０７は、距離センサ１０５からの距離情報を入力信号として受信し、情報処理装置１００が処理可能な情報に変換する。

ストレージ２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であって、ストレージ２０６には情報処理装置１００で表示するためのオブジェクトが膨大に記録されている。ストレージ２０６自体は、情報処理装置１００内部に搭載されていても良いし、イーサネット（登録商標）やＵＳＢ、メモリーカードＩ／Ｆなどの各種インターフェースを介して接続されていてもよい。またその際、ストレージ２０６は複数台接続されていても構わない。尚、以下特に断らない限り、他図を用いて説明されたものは同一の符号を付し、その説明を省略する。

図３（Ａ）は本実施形態における情報処理装置１００の機能ブロック図である。情報処理装置１００は、距離取得部３００、保持部３０１、オブジェクト取得部３０２、表示制御部３０３、選択部３０４から構成される。上記これらの各機能ブロックはハードウェア、ソフトウェアの組み合わせによって様々な形態で実現できる。

本実施形態では、ストレージ２０６に記憶されているデータ（オブジェクト）は主にマルチメディアデータであり、映像や静止画、音声データ、各種電子化ドキュメントである。以降これらデータをオブジェクトと記述する。これらオブジェクトには作成日時の情報や編集日時の情報、グループの情報など、オブジェクトの順序を決定するために必要なメタ情報が付与されているものとする。しかし、本実施形態はこれらのメタ情報に限定して利用されるものではない。例えば、オブジェクトの順序を決定するためのメタ情報がない場合は、オブジェクトを読み込んだ後、各オブジェクトの名前でオブジェクトをソートすることで、オブジェクトの順序を決定してもよい。

情報処理装置１００が起動すると、オブジェクト取得部３０２は表示するオブジェクトとメタ情報をストレージ２０６から読み出す。読み出したオブジェクト及びメタ情報はＲＡＭ２０１に保持される。この時、読み出したデータがＲＡＭ２０１に対して大きすぎる場合は、読み込むデータを小分けにして順次読み込んで処理しても構わない。または、即座に読み出し可能なスワップデータとしてストレージ２０６に退避させておいても構わない。

保持部３０１は、ＲＡＭ２０１に保持されているオブジェクトのメタ情報からオブジェクトの順序を決定し、保持する。ここでは、オブジェクトの順序を、表示画面上でオブジェクトが属している表示レイヤーの順とする。

表示制御部３０３は、ＲＡＭ２０１に保持されているオブジェクトから表示画面を生成しディスプレイ１０１に出力する。表示制御部３０３で作成される表示画面の一例を図４の４００に示す。図４では、４０１ａ、４０１ｂ、４０１ｃがディスプレイ１０１に表示出力されたオブジェクトを示している。

情報処理装置１００に対する操作は、手や指などの物体を使いジェスチャ操作（遠隔操作指示）することによって行う。オブジェクトが表示装置（ディスプレイ１０１）に表示されている状態で、距離取得部３００が、物体を検出すると、オブジェクト選択処理を開始する。距離取得部３００は、物体を検出し、物体から表示画面までの遠隔操作距離を算出する。そして算出した遠隔操作距離を選択部３０４に入力する。以下では、物体の一例である手を用いて説明する。

選択部３０４は、保持部３０１で保持しているオブジェクトの順序と距離取得部３００で取得した遠隔操作距離とから、オブジェクトを操作対象として選択する。

図４を用いて、本実施形態のオブジェクト選択処理の概要を説明する。

図４の４００は、本実施形態におけるオブジェクトが表示されている表示画面の一例を示しており、複数のオブジェクト４０１ａ、４０１ｂ、４０１ｃが一画面上に表示されている。

一般的にディスプレイに表示された複数のオブジェクトを個別に選択可能とするには、オブジェクトを１つの表示レイヤーで管理する必要がある。オブジェクトが表示レイヤー毎に管理されている状態を図４の（４０１ｘ、４０１ｙ、４０１ｚ）に示す。

本実施形態においても、各オブジェクトを表示レイヤーで管理する。また保持部３０１は、オブジェクトが属するレイヤーの順序に基づいて、オブジェクトの順序を決定し、保持する。

表示制御部３０３は、オブジェクトを各表示レイヤーで管理し、表示レイヤーを表示レイヤー順に重ね合わせることにより１つの表示画面を生成し、ディスプレイに出力する。そのようにして生成した表示画面が図４の表示画面４００である。

表示画面４００が表示されている状態で、物体４０３を使ってジェスチャ入力を行う。本実施形態におけるジェスチャ入力は、表示画面４００に対して手を垂直方向に動かす操作である。そのジェスチャ入力を距離取得部３００によって検出し、遠隔操作距離を算出する。本実施形態では、ジェスチャ入力を、表示画面４００や物体４０３よりも上部に取り付けられた距離センサ１０５によってジェスチャ操作を検出し、遠隔操作距離を算出する。

本実施形態における具体的な遠隔操作距離の算出方法を図９に示す。ここでは、物体の一例である手を用いて説明する。まず距離センサ１０５からディスプレイ１０１の表示画面１０１までの垂直距離Ｄｈ１を距離センサ１０５で取得する。そしてさらに、ジェスチャ操作を行う手の甲を認識し、距離センサ１０５から手の甲までの垂直距離Ｄｈ２を距離センサ１０５で取得する。本実施形態で算出する遠隔操作距離ｘは表示画面と手の垂直距離であり、ｘ＝Ｄｈ１−Ｄｈ２で算出できる。本実施形態では距離センサを利用して遠隔操作距離を算出したが、その限りではない。表示画面４００上に近接センサや超音波センサを設置して、センサの情報から遠隔操作距離を算出しても良い。

次に、選択部３０４は、保持部３０１で保持しているオブジェクトの順序に従って、算出した遠隔操作距離から、オブジェクトを選択する。

本実施形態では、オブジェクトの順序は表示レイヤー順に基づく。従ってオブジェクトの順序は図４に示すように、表示レイヤー順であるＯｂｊｅｃｔ１（４０１ａ）、Ｏｂｊｅｃｔ２（４０１ｂ）、Ｏｂｊｅｃｔ３（４０１ｃ）となっている。この時、ジェスチャ操作を行う物体４０３と表示画面４００までの遠隔操作距離ｘが、０＜ｘ＜＝ａの場合はＯｂｊｅｃｔ３を操作対象として、選択し、ａ＜ｘ＜＝ｂの場合はＯｂｊｅｃｔ２を操作対象として選択する。同様に遠隔操作距離ｘが、ｂ＜ｘ＜＝ｃの場合はＯｂｊｅｃｔ３を操作対象として選択する。またｘ＝０およびｃ＜ｘの場合はジェスチャ操作対象外とし、オブジェクトを選択しない。

オブジェクトの順序（本実施形態では表示レイヤー順）と距離を対応付けてオブジェクトを選択するため、表示オブジェクトが重なって表示されている場合でも、オブジェクトを簡単に選択できる。

また本実施形態のように、表示レイヤーが上位であるオブジェクトを長い距離に対応付け（マッピング）することで操作するユーザの感覚にマッチさせ、より直感的にオブジェクトを選択することも可能である。

さらに、図４の４０４ａ、４０４ｂ、４０４ｃで示すように、表示制御部３０３は、選択されているオブジェクトをディスプレイに強調表示し、距離と選択オブジェクトの対応付けを４０５ａ、４０５ｂ、４０５ｃで示すインジケータでフィードバック表示する。このようなフィードバック表示を行うことで、ユーザは次にどのようにジェスチャ入力を行えば選択したいオブジェクトを選択できるのかを予め知ることができ、より使い勝手の良いユーザインターフェース（以下ＵＩ）を実現できる。

本実施形態では、ユーザ操作のし易さを考慮して手を上下させる範囲（操作可能な距離）を６０ｃｍとし、その範囲を３分割することによって、境界ａ、ｂ、ｃとする。しかし、この限りではない。オブジェクトを操作するユーザの状態（立っているのか、座っているのか）によって手の上下操作のし易い範囲も異なってくる。従って操作者の状態を認識して、手を上下させる範囲を動的に変更してもよい。尚、操作可能な距離は、情報処理装置１００のＲＯＭ２０２で予め保持しているものとする。

また、操作するオブジェクトの総数によっても手を上下させる範囲や分割数（境界数）異なってくる。例えば、操作対象オブジェクトが６個の場合は、６０ｃｍを６分割することによってオブジェクトと距離を対応付けてもよい。また逆に、手の上下操作の分解能を２ｃｍに固定して、操作対象オブジェクトの数に応じて、手を上下させる範囲を決定してもよい。このように、手を上下させる範囲の最小値Ｍｉｎと最大値Ｍａｘは、様々な方法で決定できる。

図５（Ａ）は本実施形態における情報処理装置１００の処理の流れを示すフローチャートである。このフローチャートを参照して、本実施形態におけるデータ表示処理、およびオブジェクト選択処理の詳細を説明する。

情報処理装置１００はデータ表示処理を開始すると、まずオブジェクト取得部３０２において、表示するオブジェクトと順序を決定するために利用されるメタ情報を取得し、ＲＡＭ２０１に保持する。次に保持部３０１にて取得したメタ情報からオブジェクトの順序を保持し、この情報もＲＡＭ２０１に保持する（Ｓ１０）。第１の実施形態の場合は表示レイヤーの順序に基づいてオブジェクトの順序と決定する。

オブジェクトの順序が決定すると、初期画面表示処理（Ｓ１１）を実行する。

図６は初期画面表示処理（Ｓ１１）の処理フロー図である。初期画面表示処理は、ＲＡＭ２０１に保持されたオブジェクトの表示レイヤー順とオブジェクトから表示画面を作成する。表示制御部３０３は、オブジェクトの表示レイヤーが低位のものから順に重ねて表示画面を作成する（Ｓ２０）。そして、作成した画面をディスプレイ１０１に表示出力する（Ｓ２１）。この時、ディスプレイ１０１に表示される初期画面の一例を図４の４００に示す。以上の処理で初期画面表示処理（Ｓ１１）は完了し、呼び出し元にその結果がリターンされる。

初期画面表示処理（Ｓ１０）が終了すると、距離センサ１０５にて、遠隔操作の検知を行う（Ｓ１２）。遠隔操作を検知しなかった場合（Ｓ１２、Ｎ）は、何も行わず、再びＳ１２の処理に移行し、遠隔操作待ちのループとなる。遠隔操作を検知した場合（Ｓ１２、Ｙ）は、距離センサ１０５の情報から、遠隔操作距離（表示画面と手などの物体までの垂直距離）を取得し、ＲＡＭ２０１に保持する。遠隔操作距離の取得が完了すると、オブジェクト選択処理が開始される（Ｓ１４）。

図７（Ａ）は、第１の実施形態のオブジェクト選択処理（Ｓ１４）の処理フロー図である。オブジェクト選択処理が開始されると、選択部３０４は、ＲＡＭ２０１からオブジェクトの表示レイヤー順を読み出す。そして、表示レイヤー順に基づいて、オブジェクトと距離の対応付けを行う（Ｓ３０）。対応つけは、表示レイヤー順に基づいて、オブジェクトと距離（操作可能な距離）と関係を示すテーブルを作成する。テーブルの例としては、図１２（Ａ）で示すようなテーブルを保持する。

さらに選択部３０４は、ＲＡＭ２０１から遠隔操作距離を読出し、対応付けの結果（テーブル）に基づいて、オブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）ことで、ユーザにフィードバックを行う。選択したオブジェクトをフィードバック表示した画面の一例を図４の４０４ａ（Ｏｂｊｅｃｔ３を選択）、４０４ｂ（Ｏｂｊｅｃｔ２を選択）、４０４ｃ（Ｏｂｊｅｃｔ１を選択）に示す。以上の処理でオブジェクト選択処理（Ｓ１４）は完了し、呼び出し元の処理にその結果がリターンされる。

オブジェクト選択処理（Ｓ１４）が終了すると、データ表示を終了するかどうかの判定が行われる（Ｓ１５）。データ表示を終了しない場合（Ｓ１５、Ｎ）は、再びＳ１２に処理が移行する。データ表示を終了する場合（Ｓ１５、Ｙ）は、情報処理装置１００は、データ表示処理を終了する。

以上、本実施形態で述べたように、表示レイヤー順に基づいてオブジェクトと距離（操作可能な距離）を対応付けることで、簡単なジェスチャ操作で任意のオブジェクトを選択できる。また、オブジェクトが重なって表示されていて選択しにくい場合でも、簡単に選択し、操作することが可能となる。

本実施形態では、表示レイヤー順が上位のオブジェクトを長い距離に対応付けすることによって、より直感的に（ユーザの操作感にマッチするように）オブジェクトを選択することができる。

尚、本実施形態では、オブジェクトの順序を表示画面上でオブジェクトが属している表示レイヤーに基づいて決定したが、例えば、オブジェクトが作成された日時の情報を利用して、最も作成日時が新しい順にオブジェクトの順序を決定してもよい。また関連するメタ情報をもつオブジェクトをグループ化し、各グループ内でソートすることで順序を決定するなど、オブジェクトの順序は、アプリケーションの用途によって決定できる。

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。ここで、システムの概要図、ハードウェア構成図、初期画面表示処理フロー図は、図１、図２、図６を用いて説明した第１の実施形態と同様である。尚、第２の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

第１の実施形態との差異は、ジェスチャ操作を行う物体とオブジェクトの位置情報を取得する位置情報取得部３０５を機能ブロックに追加したことである。

図３（Ｂ）に、第２の実施形態における機能ブロック図を示す。位置情報取得部３０５以外は図３（Ａ）を用いて説明した第１の実施形態と同様である。

位置情報取得部３０５は、表示制御部３０３から取得できるオブジェクトの表示位置情報と距離センサ１０５から取得できる物体の位置情報から、ジェスチャ操作を行う物体と表示オブジェクトとの位置を取得する。本実施形態２では、位置情報として、遠隔操作を行う物体の遠隔操作方向と、その方向に表示されているオブジェクトと物体との距離を取得する。また、取得した物体の遠隔操作方向に位置するオブジェクトのみを選択対象にし、保持部３０１で、選択対象のオブジェクトの順序を決定し、保持する。

図５（Ｂ）は、第２の実施形態における情報処理装置１００の処理の流れを示すフローチャートである。物体とオブジェクトの位置情報を取得する処理Ｓ１６とオブジェクト選択処理Ｓ１７以外は、図５（Ａ）を用いて説明した第１の実施形態と同様である。Ｓ１６では、遠隔操作方向とその方向にあるオブジェクトまでの距離を取得し、その情報をＲＡＭ２０１に保持する。

本実施形態における物体とオブジェクトの位置情報の取得方法を図１３に示す。ここでは物体の一例である手４０３を用いて説明する。まず遠隔操作距離ｘは図９を用いて説明した第１の実施形態と同様である。本実施形態では遠隔操作距離ｘに加え、手４０３の重心位置とオブジェクト１０３ａの重心位置までの水平距離ｙも算出する。水平距離ｙを算出するには、まず前提条件としてプロジェクタ１０４と距離センサ１０５が正確にキャリブレーションされている必要がある。正しくキャリブレーションされている場合、距離センサの情報から表示画面上における手の重心位置ｐ１を求める。またオブジェクト１０３ａの表示情報からオブジェクト１０３ａの重心位置ｐ２を求める。これらの情報から手とオブジェクトの水平距離はｙ＝｜ｐ１−ｐ２｜で算出できる。

図７（Ｂ）に、第２の実施形態におけるオブジェクト選択処理（Ｓ１７）の処理フローを示す。

オブジェクト選択処理が開始されると、選択部３０４は、Ｓ１６で取得した位置情報を読み出す。そして遠隔操作方向にあるオブジェクトのみが選択対象となるように、オブジェクトをフィルタリングする（Ｓ３３）。次に、遠方にあるオブジェクトを長い距離に対応つける（Ｓ３４）。

本実施形態では、遠方にあるオブジェクト（水平距離ｙが大きいオブジェクト）を長い距離に対応付け、さらに、オブジェクトが重なっている場合は、第１の実施形態と同様に、表示レイヤーが上位に位置するものを長い距離に対応付ける。具体例を図１０に示す。図１０のオブジェクトＢとオブジェクトＣはほぼ等距離にオブジェクトが重ねて表示されているとする。手とオブジェクトの位置情報に加え、オブジェクトの重なり順も考慮してオブジェクトの順序を決定する。本実施形態の場合は、遠方にある、かつ重なり順が上位のオブジェクトに長い距離を対応づけるため、図１０の例では、オブジェクト選択順は距離が長い順から、Ｅ、Ｄ、Ｂ、Ｃ、Ａとなる。テーブルの例としては、図１２（Ｂ）で示す。

さらに選択部３０４は、対応付けの結果（テーブル）に基づいて、１つのオブジェクトを操作対象として選択する。また表示制御部３０３は、選択したオブジェクトを強調表示する表示画面を作成し（Ｓ３１）、画面に出力する（Ｓ３２）。

以上の処理でオブジェクト選択処理（Ｓ１７）は完了し、呼び出し元の処理にその結果がリターンされる。オブジェクト選択処理（Ｓ１７）が終了後の処理は、図５（Ａ）を用いて説明した第１の実施形態と同様である。

次に、手の届く範囲のオブジェクトは、タッチ操作で選択し、手の届かない範囲のオブジェクトをジェスチャ操作で選択する例を示す。

図８は、大量のオブジェクトが表示されている場合のオブジェクト選択操作の例を示す。この例は、本実施形態の情報処理装置１００を利用して、ブレインストーミング等のアイディア出しを行う場合を考慮したものである。この場合、オブジェクトにはアイディアが記載されている。尚、この例では、複数のオブジェクトは重ならずに表示されている場合である。

表示するオブジェクトを縦横１０ｃｍと仮定すると、約１００インチ（２００ｃｍ×１５０ｃｍ）の表示画面５００には少なくとも３００枚のオブジェクトが表示可能である。そのうち、手の届く範囲５０２（６０ｃｍ以内と想定）のオブジェクトは、タッチ操作で選択するものとして、遠隔操作対象オブジェクトから除外する。また、図８に示すように角度の分解能を１０度とすると、位置情報取得部３０５では、１８段階で方向を取得できる。さらに表示画面に対して垂直方向にジェスチャ操作する範囲を６０ｃｍ、分解能を５ｃｍとすると、選択部３０４は、１２段階で距離と操作対象となるオブジェクトを対応付けることができる。

前記仮定の場合、図８の領域５０３の方向が最もオブジェクトを多く表示可能であり、その数は１１個である。ここで、前述したように１２段階でオブジェクトと距離を対応付けることが可能であるので、手の上下動作という簡単なジェスチャ操作で、手の届かない領域に表示されている１１個のオブジェクトを選択可能となる。

以上、本実施形態で述べたように、物体とオブジェクトの位置情報を取得し、任意の方向にあるオブジェクトまでの距離に基づいて、オブジェクトと距離を対応付けることで、簡単にオブジェクトを選択することができる。つまり、大量にオブジェクトが表示されている場合においても簡単なジェスチャ操作でオブジェクトを選択できる。

［第３の実施形態］
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。ここで、ハードウェア構成図、処理フロー図は、図２、図５（Ａ）、図６、図７（Ａ）を用いて説明した第１の実施形態と同様である。尚、第３の実施形態においても、特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。

第１の実施形態との差異は、情報処理装置が一体型のモバイルデバイスになったことである。本実施形態３における情報処理装置１０６の概観図を図１１に示す。

本実施形態３の情報処理装置１０６は、小型ディスプレイ１０７と遠隔操作距離を算出可能な１つまたは複数個の近接センサ１０８から構成される。１０９ａ、１０９ｂ、１０９ｃは小型ディスプレイ１０７に表示されているオブジェクトである。

第１の実施形態で示した場合と同様に、第３の実施形態で示した小型の情報処理装置１０６においても、簡単なジェスチャ操作によって、任意のオブジェクトを選択できる。これを利用すれば、小型ディスプレイ上に重なって表示されているため選択しずらいオブジェクトを簡単に選択する操作をモバイルデバイスでも実現できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

表示部によって表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置であって、
操作物体による操作方向を取得する取得手段と、
前記複数のオブジェクトのうち、前記取得手段によって取得された前記操作方向に表示された各オブジェクトを選択候補に限定し、前記操作物体から前記複数のオブジェクトが表示された面までの距離が、前記選択候補である各オブジェクトの表示位置に基づいて決定された順序と対応するオブジェクトを、前記複数のオブジェクトから選択するオブジェクト選択手段を有することを特徴とする情報処理装置。
前記操作物体から前記複数のオブジェクトが表示された面までの距離を取得する距離取得手段を更に備え、
前記オブジェクト選択手段は、前記選択候補である各オブジェクトの表示位置に基づいて決定された順序に基づいて、前記各オブジェクトと前記操作物体が操作可能な距離とを対応付け、前記対応付けと前記距離取得手段が前記取得した距離に基づいて、オブジェクトを選択することを特徴とする請求項１に記載の情報処理装置。
前記オブジェクトの順序は、表示画面上でオブジェクトが属する表示レイヤーの順序であり、
前記オブジェクト選択手段は、表示レイヤーの順序が上位であるオブジェクトを長い距離に対応付け、前記対応付けと前記取得した距離に基づいて、オブジェクトを選択することを特徴とする請求項２に記載の情報処理装置。
さらに、前記オブジェクト選択手段は、前記表示位置が前記操作物体から遠いオブジェクトを長い距離に対応付け、前記対応付けと前記距離取得手段が前記取得した距離に基づいて、オブジェクトを選択することを特徴とする請求項２又は３に記載の情報処理装置。
さらに、前記オブジェクト選択手段は、前記選択候補である各オブジェクトのうち、前記複数のオブジェクトが表示された面において、前記操作物体がタッチ可能な範囲に表示されたオブジェクトは選択候補から除外して、前記対応付けを行うことを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
さらに、前記オブジェクト選択手段は、前記操作物体がタッチ可能な範囲に表示されたオブジジェクトがタッチされたことが検知された場合に、該オブジェクトを選択することを特徴とする請求項５に記載の情報処理装置。
さらに、前記表示部に、前記オブジェクト選択手段が選択したオブジェクトを強調表示させ、選択オブジェクトと距離との対応付けを示すインジケータを表示させる表示制御手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
表示部によって表示されている複数のオブジェクトから、オブジェクトを選択する情報処理装置の制御方法であって、
取得手段により、操作物体による操作方向を取得する取得工程と、
オブジェクト選択手段により、前記複数のオブジェクトのうち、前記取得工程において取得された前記操作方向に表示された各オブジェクトを選択候補に限定し、前記操作物体から前記複数のオブジェクトが表示された面までの距離が、前記選択候補である各オブジェクトの表示位置に基づいて決定された順序と対応するオブジェクトを、前記複数のオブジェクトから選択するオブジェクト選択工程を有することを特徴とする情報処理装置の制御方法。