JP5845969B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP5845969B2 JP5845969B2 JP2012040193A JP2012040193A JP5845969B2 JP 5845969 B2 JP5845969 B2 JP 5845969B2 JP 2012040193 A JP2012040193 A JP 2012040193A JP 2012040193 A JP2012040193 A JP 2012040193A JP 5845969 B2 JP5845969 B2 JP 5845969B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- dimensional
- information processing
- control
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出手段と、
前記3次元位置検出手段により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受付手段と、
前記3次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備え、
前記3次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記3次元操作受け付け手段は、
前記表示画面に略平行な2次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、を含み、
前記制御手段は、前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
前記制御手段は、前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする。
図1は、本発明の第1実施形態に係る情報処理装置のハードウェアの構成を示すブロック図である。
情報処理装置1は、例えばスマートフォンとして構成される。
入力部17は、表示部16の表示画面に積層されるタッチパネル31で構成されており、ユーザの指示操作に応じて各種情報を入力する。入力部17は、後述の図3を参照して説明するように、静電容量式タッチパネル31aと、抵抗膜式タッチパネル31bと、を備えている。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
入力操作受付処理とは、ユーザにより図示せぬ電源ボタンが押下されたことを契機として開始される、次のような処理をいう。即ち、入力操作受付処理とは、入力部17のタッチパネル31に対するタッチ操作を受け付け、当該タッチ操作に応じてオブジェクトに関する処理を実効するまでの一連の処理をいう。
図3は、入力部17の一部を示す断面図である。
静電容量式タッチパネル31aと、抵抗膜式タッチパネル31bとは、表示部16(図1参照)のディスプレイの表示画面全体にそれぞれ積層され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、上述したように、タッチパネル31に対する物体(ユーザの指やタッチペンなど)の接触又は近接の操作をいう。
静電容量式タッチパネル31aと、抵抗膜式タッチパネル31bとは入力操作受付部51を介して、検出した位置の座標を制御部53へ供給する。
ここで、当該2次元平面(画面)上に、X軸と、X軸と直交するY軸とが構築され、X軸及びY軸と直交するZ軸、即ち画面の法線と平行なZ軸が構築されているものする。この場合、2次元平面(画面)は、「XY平面」と呼ぶことができる。
具体的には、静電容量式タッチパネル31aは、指101が静電容量式タッチパネル31aに対し非接触状態でも、即ち近接状態でも、タッチ操作がなされた2次元平面上の位置の座標(即ち、XY平面上のX座標及びY座標)を検出することができる。さらにこの場合、静電容量式タッチパネル31aは、指101と静電容量式タッチパネル31aとの距離、換言すると、指101の高さ方向の位置の座標(即ち、Z軸上のZ座標)を、高精度とはいえないまでも検出することができる。
また、制御部53は、入力部17に対する物体(ユーザの指やタッチペンなど)の接触又は近接が開始される行為(以下、「タッチダウン」と呼ぶ)や、タッチダウンの状態から物体(ユーザの指やタッチペンなど)の接触又は近接が解除される行為(以下、「タッチアップ」と呼ぶ)を検出することができる。即ち、タッチダウンにより一のタッチ操作が開始され、タッチアップにより当該一のタッチ操作が終了する。
図4は、図2の機能的構成を有する図1の情報処理装置1が実行する第1実施形態の入力操作受付処理の流れを説明するフローチャートである。
情報処理装置1により入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、別ファイルの読み込み又はページ送りのうち所望のオブジェクトを制御することができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS19においてYESであると判定されて、入力操作受付処理は終了となる。
図5は、図1の情報処理装置の入力部17に対しフリック操作がなされた状態を示している図である。
これに対し、図5(b)に示すように、ユーザが、入力部17と指101との間の距離が離れている状態でフリック操作をした場合、即ち、指101が入力部17に対して非接触の状態を維持してフリック操作をした場合には、制御部53は、静電容量式タッチパネル31aでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第2の処理を実行する。
ここで、第1の処理と第2の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部16に表示されるファイル(オブジェクトの一種)を記憶部19から読み込み、読み込んだ新たなファイルを表示部16に表示する処理が第1の処理として採用されている。また、表示部16に表示されている本やノート(オブジェクトの別の一種)のページを送る処理が第2の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が0でフリック操作をした場合(図5(a)の場合)、制御部53は、表示部16に表示されている本やノート(オブジェクトの一種)のページを送り、次ページを表示部16に表示する。これに対し、ユーザが、入力部17と指101との間の距離が離れている状態でフリック操作をした場合(図5(b)の場合)、制御部53は、表示部16に表示されるファイルを記憶部19から読み込んで、読み込んだ新たなファイルを表示部16に表示する。
次に、本発明の第2実施形態に係る情報処理装置1について説明する。
次に、図6を参照して、図2の機能的構成の情報処理装置1が実行する第2実施形態の入力操作受付処理について説明する。第2実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部16に表示されている画像の角度をタッチ操作の接触点に沿った任意の角度に回転するか、規定の大まかな角度(例えば90度)に回転するかのうち何れかの処理が行われる。
情報処理装置1により第2実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図6は、図2の機能的構成を有する図1の情報処理装置1が実行する第2実施形態の入力操作受付処理の流れを説明するフローチャートである。
ステップS35において、制御部53は、抵抗膜式タッチパネル31bに対してタッチ操作がなされたと判断して、抵抗膜式タッチパネル31bに対するタッチ操作の回転角度を算出する。具体的には、制御部53は、入力操作受付部51を介して受け付けられたタッチ操作受付開始時の2次元上の位置の座標の角度と、現在のタッチ操作受付時の2次元上の位置の座標の角度と、の角度の差分に基づいて、現在のタッチ操作の回転角度を算出する。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、表示部16に表示されている画像(オブジェクト)を任意の角度(n度)回転して表示するか又は画像(オブジェクト)を予め設定された角度(本実施形態においては90度)に回転して表示するか制御することができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS38においてYESであると判定されて、入力操作受付処理は終了となる。
表示部16の表示画面(2次元平面)に対し円を描くようなフリック操作をした場合であっても、指101と入力部17の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図7は、図1の情報処理装置の入力部17に対し円を描くようなフリック操作がなされた状態を示す図である。
これに対し、図7(b)に示すように、ユーザが、入力部17と指101との間の距離が離れている状態で円を描くようなフリック操作をした場合、即ち、指101が入力部17に対して非接触の状態を維持してフリック操作をした場合には、制御部53は、静電容量式タッチパネル31aでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第4の処理を実行する。
本実施形態では、表示部16に表示される画像(オブジェクトの一種)を任意の角度(n度)に回転して表示する処理が第3の処理として採用されている。また、表示部16に表示されている画像(オブジェクトの別の一種)を90度(ユーザにより予め設定された任意の角度)に回転して表示する処理が第4の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が0で円を描くようなフリック操作をした場合(図7(a)の場合)、制御部53は、表示部16に表示されている画像を90度(ユーザにより予め設定された大まかな角度)に回転して表示部16に表示する。これに対し、ユーザが、入力部17と指101との間の距離が離れている状態で円を描くようなフリック操作をした場合(図7(b)の場合)、制御部53は、表示部16に表示されている画像をタッチ操作の接触位置に沿ってきめ細かく任意の角度(n度)に回転して表示部16に表示する。
次に、本発明の第3実施形態に係る情報処理装置1について説明する。
次に、図8及び図9を参照して、図2の機能的構成の情報処理装置1が実行する第3実施形態の入力操作受付処理について説明する。
第3実施形態においては、表示部16に表示されるオブジェクトとして、ソフトウェアボタン(以下、単に「ボタン」と称する)が採用されている。具体的には、表示部16の画面上に構築される3次元空間内に表示される複数の層に複数のボタンが散在しているとユーザの目に映るように、所定の3D画像が表示部16に表示される。即ち、複数のボタンの中には、画面上の層に配置されているボタンも存在するし、画面の上方の空中に浮いて層に配置されているボタンも存在する。ユーザは、これらの空間内に散在する複数の層のボタンのうち、所望のボタンを押下するようなタッチ操作をすることができる。
この場合、情報処理装置1は、このボタンの押下を、静電容量式タッチパネル31aに対するタッチ操作として検出し、当該ボタンに割り当てられた機能を発揮させるための処理(以下、「押下処理」と呼ぶ)を実行する。
情報処理装置1により第3実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図8は、図2の機能的構成を有する図1の情報処理装置1の表示部16で表示される表示例を説明する図である。
表示部16に表示される3D画像は、Z軸方向(高さの方向)に複数の層が積み重なってユーザの目に映るように構成される。ここで、3D画像の最下位の層が、抵抗膜式タッチパネル31bと同位置の層であるものとし、その最下位以外の上位の層からは空間に浮いているようにユーザの目には映り、配置位置が高くなる層程(Z軸方向にユーザの目に近づく程)上位になっていくものとする。
ただし、ここでは説明の簡略上、図8に示すように、3D画像は、最上位の層16−1と、最下位の層16−2とのみから構成されているものとする。即ち、3D画像は、指101を有するユーザからみて、手前の層16−1と、その奥の層16−2とのみから構成されているものとする。そして、最上位の層16−1には、ボタン111−1が配置され、最下位の層16−2には、ボタン111−2が配置されているように、3D画像を見たユーザの目に映るものとする。即ち、ボタン111−1と、ボタン111−2とは、それぞれ略同一の座標(x、y)に配置され、座標zのみが異なるものとする。ここで、座標xはX軸の座標であり、座標yはY軸の座標であり、座標zはZ軸の座標である。
最上位の層16−1に対するタッチ操作は、静電容量式タッチパネル31a上の静電容量の電位変化に基づいて検出することができる。また、最下位の層16−2に対するタッチ操作は、抵抗膜式タッチパネル31bに対する接触の有無に基づいて検出することができる。
尚、本実施形態では、最上位の層16−1と最下位の層16−2との関係について説明したが、これに限られない。例えば、静電容量式タッチパネル31aは、座標zを検出することが可能であるため、最下位層以外の層が複数存在する場合には、検出された座標zに応じて、タッチ操作がなされた層を検出することができる。
図9は、図2の機能的構成を有する図1の情報処理装置1が実行する第3実施形態の入力操作受付処理の流れを説明するフローチャートである。
ここで、静電容量式タッチパネル31aに指101が近づけられると、静電容量が少し増加する。このとき、静電容量はまだ「小」の状態である。その後、指101が静電容量式タッチパネル31aに対してさらに近づけられて、静電容量式タッチパネル31aに対して指101が略接触したときに、静電容量が最大となる。このとき、静電容量は「大」の状態となる。その後、静電容量式タッチパネル31aに対する指101の略接触が解除されて、指101が上方向(Z軸方向)に遠ざかるように移動していくにつれ、静電容量が徐々に減少する。このとき、静電容量は徐々に「小」の状態となる。
このように、ユーザが、その指101を、静電容量式タッチパネル31aに対し近づけ始めて、静電容量式タッチパネル31aに対して略接触させ、その後遠ざけるまでの一連の動作を以下、「タップ操作」と呼ぶ。即ち、タップ操作は、指101を、静電容量式タッチパネル31aに対し近づけ始めることにより一のタッチ操作が開始してから、その後指101を遠ざけることにより当該一のタッチ操作を終了するまでの一連の動作をいう。
制御部53は、静電容量の遷移が「小」→「大」→「小」の順で変化するか否かに応じて、タップ操作をしたか否かを検出することができる。
このようにして、ユーザにより入力操作受付終了の指示が行われるまでの間、ユーザによるタッチ操作が繰り返し行われることで、最上位の層16−1又は最下位の層16−2のうち何れかの層に対応するボタンに対する押下処理の制御が行われる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS59においてYESであると判定されて、入力操作受付処理は終了となる。
次に、本発明の第4実施形態に係る情報処理装置1について説明する。
次に、図10及び図11を参照して、このような図2の機能的構成の情報処理装置1が実行する第4実施形態の入力操作受付処理について説明する。第4実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、PC(Personal computer:パーソナルコンピュータ)のUI(User Interface)におけるファイル操作を制御することができる。ファイル(オブジェクトの一種)操作の制御の具体例としては、タッチ操作の移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。第4実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、移動範囲内のファイルを全て選択するか、タッチ操作がなされた際のファイルを移動するか、のうち何れかの処理が行われる。ファイルの移動とは、タッチダウンされた際の座標位置に存在するファイルをタッチアップされた際の座標位置に移動する、いわゆる、ドラッグアンドドロップの処理を意味する。
情報処理装置1により第4実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図10は、図2の機能的構成を有する図1の情報処理装置1が実行する第4実施形態の入力操作受付処理の流れを説明するフローチャートである。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、移動範囲内のファイル(オブジェクト)を全て選択するか又はタッチダウンされた座標位置のファイルをタッチアップされた座標位置まで移動(いわゆるドラッグアンドドロップ)するか制御することができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS78においてYESであると判定されて、入力操作受付処理は終了となる。
表示部16の表示画面(2次元平面)に対しタッチダウンとタッチアップとをした場合であっても、指101と入力部17の距離の違いに応じて、オブジェクトに関する処理を変更する例について説明する。
図11は、図1の情報処理装置の入力部17に対しタッチダウンとタッチアップとがなされた状態を示す図である。
これに対し、図11(b)に示すように、ユーザが、入力部17と指101との間の距離が離れている状態でタッチダウン及びタッチアップをした場合、即ち、指101が入力部17に対して非接触の状態を維持してフリック操作をした場合には、制御部53は、静電容量式タッチパネル31aでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第6の処理を実行する。
本実施形態では、タッチダウンの座標位置にあるファイルを選択してからタッチアップの座標位置にファイルを移動する処理が第5の処理として採用されている。また、タッチダウンの座標位置からタッチアップの座標位置までに含まれる移動範囲内のファイルを全て選択する処理が第6の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が0でタッチダウンとタッチアップとをした場合(図11(a)の場合)、制御部53は、表示部16に表示されているファイルのうち、タッチダウンされた座標位置のファイル(オブジェクトの一種)をタッチアップされた座標位置に移動する。これに対し、ユーザが、入力部17と指101との間の距離が離れている状態でタッチアップとタッチダウンとをした場合(図11(b)の場合)、制御部53は、表示部16に表示されているファイル(オブジェクトの一種)のうち移動範囲内にあるファイルを全て選択する。
次に、本発明の第5実施形態に係る情報処理装置1について説明する。
次に、図12及び図13を参照して、このような図2の機能的構成の情報処理装置1が実行する第5実施形態の入力操作受付処理について説明する。
第5実施形態に係る情報処理装置1は、第1実施形態に係る情報処理装置1と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
したがって、図1は、第5実施形態に係る情報処理装置1のハードウェアの構成を示すブロック図でもある。また、図2は、第5実施形態に係る情報処理装置1の機能的構成を示す機能ブロック図でもある。
また、第5実施形態に係る情報処理装置1が実行する入力操作受付処理は、第1実施形態に係る入力操作受付処理と基本的に同様の流れとなる。
但し、第5実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかのうち何れかの処理が行われる点で第1実施形態と異なる。
したがって、第5実施形態では、ステップS15及びステップS18の処理については、第1実施形態で採用された図4のフローチャートではなく、図12のフローチャートが採用される。具体的には、第5実施形態では、図4の入力操作受付処理のうち、ステップS15に代えてステップS95の処理が行われ、ステップS18に代えてステップS98の処理が行われる。
そこで、以下、このような差異点である、ステップS95及びステップS98についてのみ説明し、一致点の説明は適宜省略する。
情報処理装置1により第5実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図12は、図2の機能的構成を有する図1の情報処理装置1が実行する第5実施形態の入力操作受付処理の流れを説明するフローチャートである。
図13は、図1の情報処理装置の入力部17に対しフリック操作がなされた状態を示す図である。
図13(a)に示すように、表示部16の中央には、ブラウスを着たモデルが配置されたファイル131−1が表示されている。また、表示部16の左には、ロングTシャツを着たモデルが配置されたファイル131−2が表示されている。また、表示部16の右には、リボン付きワンピースを着たモデルが配置されたファイル131−3が表示されている。ファイル131−1と、ファイル131−2と、ファイル131−3と、は互いに異なる別カテゴリの別のファイルにより構成され、各々記憶部19に記憶されている。
また、図13(b)に示すように、表示部16の中央には、赤色のブラウスを着たモデルが配置されたファイル141−1が表示されている。また、表示部16の左には、青色のブラウスを着たモデルが配置されたファイル141−2が表示されている。また、表示部16の右には、黄色のブラウスを着たモデルが配置されたファイル141−3が表示されている。ファイル141−1に配置されたモデルと、ファイル141−2に配置されたモデルと、ファイル141−3に配置されたモデルと、はそれぞれ同じモデルが採用されている。したがって、ファイル141−1と、ファイル141−2と、ファイル141−3と、は互いに同じカテゴリ(ブラウス)の別のファイルにより構成され、各々記憶部19に記憶されている。
これに対し、図13(b)に示すように、ユーザが、入力部17と指101との間の距離が離れている状態でフリック操作をした場合、即ち、指101が入力部17に対して非接触の状態を維持してフリック操作をした場合には、制御部53は、静電容量式タッチパネル31aでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第8の処理を実行する。
ここで、第7の処理と第8の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、表示部16に表示されているファイル(オブジェクトの一種)を、現在表示部16に表示されているファイルと別カテゴリの別のファイルを記憶部19から読み込み、読み込んだ新たなファイルを表示部16の中央に表示する処理が第7の処理として採用されている。また、表示部16に表示されているファイル(オブジェクトの別の一種)を、現在表示部16に表示されているファイルと同カテゴリの別のファイルを記憶部19から読み込み、読み込んだ新たなファイルを表示部16の中央に表示する処理が第8の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が0で右側にフリック操作をした場合(図13(a)の場合)、制御部53は、表示部16の中央に表示されているファイル131−1を別カテゴリの別のファイル131−2に変えて表示部16の中央に表示する。同様に、ユーザが、入力部17と指101との間の距離が0で左側にフリック操作をした場合(図13(a)の場合)、制御部53は、表示部16の中央に表示されているファイル131−1を別カテゴリの別のファイル131−3に変えて表示部16の中央に表示する。
これに対し、ユーザが、入力部17と指101との間の距離が離れている状態で右側にフリック操作をした場合(図13(b)の場合)、制御部53は、表示部16の中央に表示されているファイル141−1を同カテゴリの別のファイル141−2に変えて表示部16の中央に表示する。同様に、ユーザが、入力部17と指101との間の距離が離れている状態で左側にフリック操作をした場合(図13(b)の場合)、制御部53は、表示部16の中央に表示されているファイル141−1を同カテゴリの別のファイル141−3に変えて表示部16の中央に表示する。
次に、本発明の第6実施形態に係る情報処理装置1について説明する。
次に、図14及び図15を参照して、このような図2の機能的構成の情報処理装置1が実行する第6実施形態の入力操作受付処理について説明する。第6実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、表示部16に表示されている地球儀(オブジェクトの一種)の画像を縮小したり、拡大したりするなどの処理が行われる。
情報処理装置1により第6実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図14は、図2の機能的構成を有する図1の情報処理装置1が実行する第6実施形態の入力操作受付処理の流れを説明するフローチャートである。
ステップS116において、制御部53は、静電容量式タッチパネル31aで座標位置の移動を検出したか否かを判定する。座標位置の移動を検出した場合、ステップS116においてYESであると判定されて、処理はステップS117に進む。
ステップS118において、制御部53は、抵抗膜式タッチパネル31bに対してタッチ操作が行われたと判断して、表示部16に表示されている地球儀(オブジェクトの一種)においてタッチ操作された位置座標を選択する。タッチ操作された位置座標を選択する具体例については、後述の図15を参照して説明する。この処理が終了すると、処理はステップS119に進む。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、表示部16に表示されている画像(オブジェクト)を縮小したり拡大したりして表示する制御を行うことができる。また、表示部16に表示されている画像(オブジェクト)を回転したりタッチ操作した位置座標を選択したりする制御を行うことができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS119においてYESであると判定されて、入力操作受付処理は終了となる。
指101と入力部17の距離の違いに応じて、表示部16の表示画面(2次元平面)に表示された地球儀(オブジェクトの一種)に関する処理を変更する例について説明する。
図15は、図1の情報処理装置の入力部17に対し指を近づけたり遠ざけたりしながらフリック操作がなされた状態を示す図である。
これに対し、図15(a)に示すように、ユーザが、入力部17に指101を近づける方向に動かした場合、制御部53は、オブジェクトに関する処理として、第10の処理を実行する。
また、図15(b)に示すように、ユーザが、入力部17と指101との間の距離を一定にした状態でフリック操作をした場合には、制御部53は、オブジェクトに関する処理として、第11の処理を実行する。
これに対し、図15(b)に示すように、ユーザが、抵抗膜式タッチパネル31bに指101を接触させてタッチ操作をした場合には、制御部53は、オブジェクトに関する処理として、第12の処理を実行する。
即ち、ユーザが、入力部17と指101との間の距離が離間するように指101を動かした場合(図15(a)の場合)、制御部53は、表示部16に表示されている地球儀151を縮小して表示させる制御を行う。これに対し、ユーザが、入力部17と指101との間の距離が近接するように指101を動かした場合(図15(a)の場合)、制御部53は、表示部16に表示されている地球儀151を拡大して表示させる制御を行う。
また、ユーザが、入力部17と指101との間の距離を一定にした状態でフリック操作をした場合、(図15(b)の場合)、制御部53は、表示部16に表示されている地球儀151を回転して表示させる制御を行う。これに対し、ユーザが、抵抗膜式タッチパネル31bに指101を接触させてタッチ操作をした場合に(図15(b)の場合)、制御部53は、表示部16に表示されている地球儀151のうち、タッチ操作された位置座標を選択する制御を行う。
なお、本実施形態においては、静電容量式タッチパネル31aでの静電容量が増減したか否かに基づいて表示部16に表示されている地球儀151を拡大したり縮小して表示する制御を行っていたがこれに限られるものではない。例えば、静電容量式タッチパネル31aでの静電容量の増減に基づいて地球儀151を回転する速度を変えて表示する制御を行うことができる。具体的には、静電容量式タッチパネル31aでの静電容量の変化量が減少した場合、即ち、ユーザが指101を静電容量式タッチパネル31aから遠ざけた状態で、フリック操作を行った場合、制御部53は、表示部16に表示されている地球儀151を高速で回転して表示する制御を行う。これに対し、静電容量式タッチパネル31aでの静電容量の変化量が増加した場合、即ち、ユーザが指101を静電容量式タッチパネル31aに近づけた状態で、フリック操作を行った場合、制御部53は、表示部16に表示されている地球儀151を低速で回転して表示する制御を行う。
次に、本発明の第7実施形態に係る情報処理装置1について説明する。
次に、図16を参照して、このような図2の機能的構成の情報処理装置1が実行する第7実施形態の入力操作受付処理について説明する。第7実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、文字認識アルゴリズムにより取得される変換候補の文字として小文字を選択したり、大文字を選択したり、するなど異なる文字種を選択する処理が行われる。
図16は、図2の機能的構成を有する図1の情報処理装置1が実行する第7実施形態の入力操作受付処理の流れを説明するフローチャートである。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、文字認識アルゴリズムにより取得される変換候補の文字として小文字か大文字かを選択して表示する制御を行うことができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS139においてYESであると判定されて、入力操作受付処理は終了となる。
指101と入力部17の距離の違いに応じて、変換候補の文字から小文字又は大文字のうち何れかの文字(オブジェクトの一種)を選択する例について図17を参照して説明する。
図17は、タッチダウンからタッチアップまでの間に移動した指の各々の位置の座標に基づき作成された軌跡データに対応する文字ストローク161の表示例を示す図である。
制御部53は、入力操作受付部51により取得された各々の位置の座標の軌跡に基づき軌跡データを作成し、作成した軌跡データを公知の文字認識アルゴリズムに基づきパターンマッチングなどを行い、複数の変換候補の文字を取得する。
ユーザが、入力部17と指101との間の距離が離れている状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、静電容量式タッチパネル31aに対してタッチ操作をした場合には、制御部53は、オブジェクトに関する処理として、第13の処理を実行する。これに対し、ユーザが、入力部17と指101との間の距離を略0にした(接触した)状態でタッチアップからタッチダウンまでの間に指を移動した場合、即ち、抵抗膜式タッチパネル31bに対してタッチ操作をした場合には、制御部53は、オブジェクトに関する処理として、第14の処理を実行する。
即ち、ユーザが、入力部17と指101との間の距離が離れている状態でタッチ操作をした場合、制御部53は、文字認識アルゴリズムに基づき選択される文字として小文字を選択する。これに対し、ユーザが、入力部17と指101との間の距離を略0にした状態でタッチ操作をした場合、制御部53は、文字認識アルゴリズムに基づき選択される文字として大文字を選択する。
なお、本実施形態においては、静電容量式タッチパネル31aでタッチ操作を受け付けたか否かに基づいて、変換候補の文字から小文字を選択したり大文字を選択したりしていたがこれに限られるものではない。例えば、静電容量式タッチパネル31aでタッチ操作を受け付けたか否かに基づいて濁点(半濁点)と、濁点がない通常の文字のうち何れかの文字を選択したり、通常の「つ」と、小書きの「っ」とのうち何れかの文字を選択することができる。具体的には、静電容量式タッチパネル31aでタッチ操作を受け付けた場合、即ち、ユーザが指101をタッチパネル31から遠ざけた状態で、タッチ操作をした場合、制御部53は、変換候補から、濁点(半濁点)の文字や小書きの「っ」を選択する。これに対し、静電容量式タッチパネル31aでタッチ操作を受け付けていない場合、即ち、ユーザが指101を抵抗膜式タッチパネル31bに接触させた状態で、タッチ操作をした場合、制御部53は、変換候補から、濁点や小書きでない通常の文字を選択する。
次に、本発明の第8実施形態に係る情報処理装置1について説明する。
次に、図18及び図19を参照して、このような図2の機能的構成の情報処理装置1が実行する第8実施形態の入力操作受付処理について説明する。第8実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、静電容量式タッチパネル31aに対するタッチ操作に基づき撮影を行ったり、抵抗膜式タッチパネル31bに対するタッチ操作に基づき撮影を行ったり、するなどの処理が行われる。
情報処理装置1により第8実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図18は、図2の機能的構成を有する図1の情報処理装置1が実行する第8実施形態の入力操作受付処理の流れを説明するフローチャートである。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、タッチパネル31に対するタッチ操作を繰り返すことで、抵抗膜式タッチパネル31b又は静電容量式タッチパネル31aのうち何れかに対するタッチ操作に基づき撮像処理を開始する制御を行うことができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS155においてYESであると判定されて、入力操作受付処理は終了となる。
指101と入力部17の距離の違いに応じて、静電容量式タッチパネル31a(オブジェクトの一種)又は抵抗膜式タッチパネル31b(オブジェクトの他の一種)に基づき撮像処理を行う制御を行う例について図19を参照して説明する。
図19は、図1の情報処理装置の入力部17に対しタッチ操作がなされた状態を示す図である。
本実施形態においては、入力部17のうち、静電容量式タッチパネル31aは、表示部16の略全体に配置されているのに対し、抵抗膜式タッチパネル31bは、表示部16の右側に配置された所定のエリア171にのみ配置されている。
これに対し、ユーザが、入力部17と指101との間の距離が離れている状態でタッチ操作をした場合、即ち、指101が入力部17に対して非接触の状態を維持してタッチ操作をした場合には、制御部53は、静電容量式タッチパネル31aでタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第16の処理を実行する。
ここで、第15の処理と第16の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル31a(オブジェクトの一種)に対するタッチ操作に基づき撮像を行う撮像処理が第15の処理として採用されている。また、抵抗膜式タッチパネル31b(オブジェクトの別の一種)に対するタッチ操作に基づき撮像(オブジェクトの一種)を行う撮像処理が第16の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が0でタッチ操作をした場合、制御部53は、抵抗膜式タッチパネル31bに対するタッチ操作に基づき撮像を行う制御を実行する。これに対し、ユーザが、入力部17と指101との間の距離が離れている状態でタッチ操作をした場合、制御部53は、静電容量式タッチパネル31aに対するタッチ操作に基づき撮像を行う制御を実行する。
静電容量式タッチパネル31aは、軽快な操作感で操作することができる一方で、水中又は水滴が付いている状態では感度が落ちてしまい操作ができなくなってしまう。本実施形態においては、地上では、静電容量式タッチパネル31aによる軽快な操作感で撮像を指示することができるとともに、水中や水滴が付着される環境下においては、抵抗膜式タッチパネル31bによる確実な操作感で撮像を指示することができる。
次に、本発明の第9実施形態に係る情報処理装置1について説明する。
次に、図20及び図21を参照して、このような図2の機能的構成の情報処理装置1が実行する第9実施形態の入力操作受付処理について説明する。第9実施形態においては、ユーザが、静電容量式タッチパネル31aにタッチ操作をしたか否かに応じて、オブジェクトに対する制御として、連続撮影を開始したり、連続撮影を停止したり、するなどの処理が行われる。連続撮影とは、撮像部18により連続して撮像される撮像画像のデータを、バッファ(図示せず)に一次的に記憶する処理をいう。また、連続撮影を停止するとは、連続撮影によりバッファに一時的に記憶されている撮像画像のデータを記憶部19又はリムーバブルメディア41に記録し、連続した撮像を停止する処理をいう。
情報処理装置1により第9実施形態の入力操作受付処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
図20は、図2の機能的構成を有する図1の情報処理装置1が実行する第9実施形態の入力操作受付処理の流れを説明するフローチャートである。
このようにして、ユーザは入力操作受付終了の指示を行うまでの間、静電容量式タッチパネル31aに対するタッチ操作を継続することで、連続撮影を継続して行うことができる。その後、例えばユーザが情報処理装置1に対して所定の操作を行うことで、入力操作受付終了の指示をした場合、ステップS174においてYESであると判定されて、入力操作受付処理は終了となる。
図21は、図1の情報処理装置1の入力部17に対しタッチ操作がなされた状態を示す図である。本実施形態においては、入力部17は表示部16の右側端部近辺に配置されている。
これに対し、ユーザが、入力部17と指101との間の距離が0でタッチ操作をした場合、即ち、指101を入力部17に接触した状態を維持してタッチ操作をした場合には、制御部53は、抵抗膜式タッチパネル31b(オブジェクトの他の一種)でタッチ操作を受け付けたと判定して、オブジェクトに関する処理として、第18の処理を実行する。
ここで、第17の処理と第18の処理とは、相互に異なる処理であれば任意の処理でよいが、本実施形態では、静電容量式タッチパネル31aに対するタッチ操作に基づき連続撮影を開始する処理が第17の処理として採用されている。また、抵抗膜式タッチパネル31bに対するタッチ操作に連続撮影を停止する処理が第18の処理として採用されている。
即ち、ユーザが、入力部17と指101との間の距離が離れている状態でタッチ操作をした場合、制御部53は、連続撮影を開始し、静電容量式タッチパネル31aに対するタッチ操作に基づき撮像画像のデータをバッファ(図示せず)に一時的に連続して記憶していく。そして、ユーザが、入力部17と指101との間の距離が0でタッチ操作をした場合、制御部53は、抵抗膜式タッチパネル31bに対するタッチ操作に基づきバッファに記憶されている撮像画像のデータをリムーバブルメディア41に記憶する。制御部53は、撮像画像のデータをリムーバブルメディア41に記憶することにより連続撮影を停止する。これにより、ユーザが撮影を意識した時点から撮影するまでを連続撮影し、ユーザが撮影するタイミングと実際に撮影されるタイミングとのズレを解消することで、シャッターチャンスを逃すことなくユーザが所望する撮影タイミングで撮影することができる。
入力操作受付部51は、タッチパネル31が積層された表示部16の表示面(2次元平面)に略平行な物体の移動を、タッチパネル31に対するタッチ操作として受け付ける。
距離特定部52は、タッチ操作がなされた場合の物体についての、表示部16の表示面(2次元平面)からの距離を検出する。
制御部53は、入力操作受付部51により受け付けられたタッチ操作の種類(物体の移動の軌跡に応じて異なる種類)と、距離特定部52により検出された物体の表示部16の表示面からの法線方向の距離に基づいて、表示されたオブジェクトに関する処理の実行を可変制御する。
これにより、タッチパネル31に対する操作が不慣れなユーザであっても直感的にジェスチャ操作(指や手といった物体を移動させるという直感的なタッチ操作)を行うだけで、オブジェクトに関する処理の各種指示を行うことができる。これにより、タッチパネル31に不慣れなユーザであっても容易にオブジェクトの処理を指示することができる。
これにより、タッチパネル31に対する操作が不慣れなユーザであっても直感的にジェスチャ操作を行う際の距離を変更するだけで、表示部16に表示されている漫画のコンテンツのページ送りをしたり、現在表示されている漫画のコンテンツに代えて次の巻のコンテンツに変えることができる。これにより、タッチパネル31に不慣れなユーザであっても容易に表示部16に表示されているコンテンツの制御を変更して指示することができる。
この場合、静電容量式タッチパネル31aの表面により、抵抗膜式タッチパネル31bを保護することができる。さらに、静電容量式タッチパネル31aにより、非接触状態でもタッチ操作がなされた位置の座標及び、指101と静電容量式タッチパネル31aとの距離を検出することができるとともに、接触した場合には、抵抗膜式タッチパネル31bにより、より詳細にタッチ操作がなされた位置の座標を検出することができる。
してみると、上述した実施形態とは、入力操作受付部51及び距離特定部52が、表示部16の表示画面を基準平面として、基準平面に対する3次元方向の物体の移動の操作を受け付けていることとなど価である。そこで、入力操作受付部51及び距離特定部52をまとめて、以下、「3次元操作受付部」と呼ぶ。
この場合、基準平面は、表示部16の表示画面である必要は特になく、任意の平面でよい。この場合、基準平面は、ユーザから肉眼視できる平面を採用する必要はなく、何らかの物体内の平面を採用してもよいし、仮想的な平面を基準平面として定義してもよい。
また、物体の3次元上の位置を測定する3次元位置検出部は、上述の実施形態では静電容量式タッチパネル31a及び抵抗膜式タッチパネル31bとして構成されたが、特にこれに限定されず、任意の種類の任意の個数の位置検出部を組み合わせて構成することができる。ここで、上述の距離とは、基準面の法線方向の物体の位置に他ならないので、距離を検出することは、基準面の法線方向の位置を検出することに他ならない。
即ち、本発明が適用される情報処理装置とは、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出機能と、
時間的に離間して複数回検出された物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付け機能と、
受け付けられた指示操作に応じて、当該オブジェクトに関する処理を可変制御する制御機能と、
を有している。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、デジタルカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機などに適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
[付記1]
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出手段と、
前記3次元位置検出手段により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受付手段と、
前記3次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備えることを特徴とする情報処理装置。
[付記2]
前記3次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記3次元操作受け付け手段は、
前記表示画面に略平行な2次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、
を含み、
前記制御手段は、
前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御する
ことを特徴とする付記1に記載の情報処理装置。
[付記3]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記4]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記5]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記6]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記7]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記8]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記9]
前記制御手段は、
前記3次元操作受け付け手段により認識された前記物体の3次元方向の移動に応じて、前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記10]
前記制御手段は、
前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記11]
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記12]
被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする付記2に記載の情報処理装置。
[付記13]
オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出ステップと、
前記3次元位置検出ステップにより時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付けステップと、
前記3次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含むことを特徴とする情報処理方法。
[付記14]
オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出機能と、
前記3次元位置検出機能により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付け機能と、
前記3次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させるプログラム。
Claims (15)
- 基準平面に対する物体の3次元方向の位置を検出する3次元位置検出手段と、
前記3次元位置検出手段により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受付手段と、
前記3次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備え、
前記3次元位置検出手段は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルを含み、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記3次元操作受け付け手段は、
前記表示画面に略平行な2次元方向の物体の移動操作を受け付ける入力操作受付手段と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定手段と、を含み、
前記制御手段は、前記入力操作受付手段により受け付けられた移動操作、及び前記距離特定手段により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
前記制御手段は、前記距離特定手段により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトのページ送り又は別のオブジェクトの読み込みの何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトの任意の角度への回転又は規定の角度への回転の何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数の層に配置されたオブジェクトのうち、何れかの層に配置された前記オブジェクトに対する押下処理の制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示される複数のオブジェクトを選択するか又は前記複数のオブジェクトのうち一部のオブジェクトのみを移動するかの何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを同カテゴリの別ファイルを表示するか別カテゴリの別ファイルを表示するかの何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記表示画面に表示されるオブジェクトを拡大又は縮小して表示する制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 前記制御手段は、
前記3次元操作受け付け手段により認識された前記物体の3次元方向の移動に応じて、前記オブジェクトを回転するか又は選択するかの何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記積層されたタッチパネルを構成する複数のパネルのうち、何れかのタッチパネルに基づく指示により前記撮像手段を制御して撮像する制御を実行することを特徴とする請求項1に記載の情報処理装置。 - 被写体を撮像する撮像手段をさらに備え、
前記制御手段は、
前記距離特定手段により特定された距離に応じて、前記撮像手段により連続撮影を開始するか又は前記連続撮影を停止するかのうち、何れかの制御を実行することを特徴とする請求項1に記載の情報処理装置。 - オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出ステップと、
前記3次元位置検出ステップにより時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付けステップと、
前記3次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含み、
前記3次元位置検出ステップは、表示画面を基準平面として、当該表示画面に積層されたタッチパネルにおける基準平面に対する物体の3次元方向の位置を検出し、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記3次元操作受け付けステップは、
前記表示画面に略平行な2次元方向の物体の移動操作を受け付ける入力操作受付ステップと、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定ステップと、を含み、
前記制御ステップは、前記入力操作受付ステップにより受け付けられた移動操作、及び前記距離特定ステップにより特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
前記制御ステップは、前記距離特定ステップにより特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理方法。 - オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出機能と、
前記3次元位置検出機能により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付け機能と、
前記3次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させ、
前記3次元位置検出機能は、表示画面を基準平面として、当該表示画面に積層されたタッチパネルにおける基準平面に対する物体の3次元方向の位置を検出し、
前記オブジェクトに関する処理として、異なる処理がそれぞれ対応付けられた複数種のタッチ操作が、前記表示画面の法線方向の距離に応じてそれぞれ割り当てられており、
前記3次元操作受け付け機能は、
前記表示画面に略平行な2次元方向の物体の移動操作を受け付ける入力操作受付機能と、
前記物体の前記表示画面からの法線方向の距離を特定する距離特定機能と、を含み、
前記制御機能は、前記入力操作受付機能により受け付けられた移動操作、及び前記距離特定機能により特定された距離に基づいて、前記複数種のタッチ操作のうち、実行されたタッチ操作を認識し、当該タッチ操作に対応した前記オブジェクトに関する処理を制御し、更に、
前記制御機能は、前記距離特定機能により特定された距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するプログラム。 - 基準平面に対する物体の3次元方向の位置を検出する3次元位置検出手段と、
前記3次元位置検出手段により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受付手段と、
前記3次元操作受付手段により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御手段と、
を備え、
前記制御手段は、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理装置。 - オブジェクトに関する処理を制御する情報処理装置が実行する情報処理方法において、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出ステップと、
前記3次元位置検出ステップにより時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付けステップと、
前記3次元操作受け付けステップにより受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御ステップと、
を含み、
前記制御ステップは、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行することを特徴とする情報処理方法。 - オブジェクトに関する処理を制御する情報処理装置を制御するコンピュータに、
基準平面に対する物体の3次元方向の位置を検出する3次元位置検出機能と、
前記3次元位置検出機能により時間的に離間して複数回検出された前記物体の3次元方向の各位置に基づいて、当該物体の3次元方向の移動を認識し、その認識結果を、オブジェクトに対する指示操作として受け付ける3次元操作受け付け機能と、
前記3次元操作受け付け機能により受け付けられた前記指示操作及び、前記物体の前記基準平面からの法線方向の距離に応じて、前記オブジェクトに関する処理を可変制御する制御機能と、
を含む情報処理を実行させ、
前記制御機能は、前記法線方向の距離に応じて、文字認識の結果に基づき取得される変換候補の文字として異なる文字種を選択する制御を実行するプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040193A JP5845969B2 (ja) | 2012-02-27 | 2012-02-27 | 情報処理装置、情報処理方法及びプログラム |
US13/489,917 US20120317516A1 (en) | 2011-06-09 | 2012-06-06 | Information processing device, information processing method, and recording medium |
CN201210264466.3A CN102981644B (zh) | 2011-06-09 | 2012-06-07 | 信息处理装置及信息处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012040193A JP5845969B2 (ja) | 2012-02-27 | 2012-02-27 | 情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015229255A Division JP2016042383A (ja) | 2015-11-25 | 2015-11-25 | ユーザ操作処理装置、ユーザ操作処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013175113A JP2013175113A (ja) | 2013-09-05 |
JP5845969B2 true JP5845969B2 (ja) | 2016-01-20 |
Family
ID=49267948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012040193A Active JP5845969B2 (ja) | 2011-06-09 | 2012-02-27 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5845969B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170214862A1 (en) * | 2014-08-07 | 2017-07-27 | Hitachi Maxell, Ltd. | Projection video display device and control method thereof |
JP2016095795A (ja) | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 認識装置、方法、及びプログラム |
JP6483556B2 (ja) | 2015-07-15 | 2019-03-13 | 株式会社東芝 | 操作認識装置、操作認識方法及びプログラム |
JP5993072B1 (ja) * | 2015-08-27 | 2016-09-14 | レノボ・シンガポール・プライベート・リミテッド | 電子機器のユーザ・インターフェース、入力の処理方法および電子機器 |
WO2017037877A1 (ja) * | 2015-09-01 | 2017-03-09 | 楽天株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
JP6373537B1 (ja) * | 2017-09-04 | 2018-08-15 | 株式会社ワコム | 空間位置指示システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3202483B2 (ja) * | 1994-06-06 | 2001-08-27 | 日本電気株式会社 | 座標検出装置 |
JP3523517B2 (ja) * | 1999-03-17 | 2004-04-26 | 富士通株式会社 | 画像処理装置及び画像処理方法並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8381135B2 (en) * | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
JP4787087B2 (ja) * | 2006-03-23 | 2011-10-05 | 株式会社ワコム | 位置検出装置及び情報処理装置 |
US8793621B2 (en) * | 2006-11-09 | 2014-07-29 | Navisense | Method and device to control touchless recognition |
US7877707B2 (en) * | 2007-01-06 | 2011-01-25 | Apple Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
JP2008210348A (ja) * | 2007-02-28 | 2008-09-11 | Univ Of Tokyo | 画像表示装置 |
JP2010026565A (ja) * | 2008-07-15 | 2010-02-04 | Seiko Epson Corp | 表示装置及びプログラム |
KR20100041006A (ko) * | 2008-10-13 | 2010-04-22 | 엘지전자 주식회사 | 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법 |
JP2011053971A (ja) * | 2009-09-02 | 2011-03-17 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2012033104A (ja) * | 2010-08-02 | 2012-02-16 | Olympus Imaging Corp | 表示装置及び撮像装置 |
-
2012
- 2012-02-27 JP JP2012040193A patent/JP5845969B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013175113A (ja) | 2013-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12073008B2 (en) | Three-dimensional object tracking to augment display area | |
US11048333B2 (en) | System and method for close-range movement tracking | |
US9405404B2 (en) | Multi-touch marking menus and directional chording gestures | |
JP5107453B1 (ja) | 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 | |
JP5845969B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9696882B2 (en) | Operation processing method, operation processing device, and control method | |
US20130335324A1 (en) | Computer vision based two hand control of content | |
US20130234957A1 (en) | Information processing apparatus and information processing method | |
US10180714B1 (en) | Two-handed multi-stroke marking menus for multi-touch devices | |
US20120317516A1 (en) | Information processing device, information processing method, and recording medium | |
EP2972727A1 (en) | Non-occluded display for hover interactions | |
JP2013025409A (ja) | 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体 | |
US9477398B2 (en) | Terminal and method for processing multi-point input | |
CN102822774A (zh) | 代表性图像 | |
US10331333B2 (en) | Touch digital ruler | |
CN105488832B (zh) | 光学数字尺 | |
JP2016042383A (ja) | ユーザ操作処理装置、ユーザ操作処理方法及びプログラム | |
JP5360631B1 (ja) | 指先検出方法及び指先検出ユーザーインターフェースモジュール | |
US20220084287A1 (en) | Information processing apparatus, display device, information processing system, and non-transitory computer readable medium storing program | |
KR20140086805A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체 | |
WO2021223536A1 (en) | Using a touch input tool to modify content rendered on touchscreen displays | |
CN114327229A (zh) | 基于影像的手势控制方法与使用此方法的电子装置 | |
TW202213040A (zh) | 基於影像的手勢控制方法與使用此方法的電子裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5845969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |