JP6660309B2 - ペンおよびタッチ感応コンピューティングデバイスのインタラクションのためのセンサ相関 - Google Patents

Description

[01] 多くのモバイルコンピューティングデバイス（例えば、タブレット、電話など）、ならびにデスクトップデジタイザ、製図板、卓上装置、電子書籍リーダー、電子ホワイトボードおよび他の大型ディスプレイなどの他のデバイスは、ペン、ポインタ、またはペンタイプ入力デバイスを入力目的でコンピューティングデバイスのデジタイザ構成要素と組み合わせて使用する。これらのコンピューティングデバイスの多くは、タッチ感応画面を有し、ペンとインタラクトし、および素手のタッチとインタラクトし、または２つの組合せとインタラクトする。

[02] 本概要は、発明を実施するための形態において以下にさらに説明する概念の抜粋を簡略化した形で紹介するために提供される。本概要は、特許請求される主題の主要な特徴または不可欠な特徴を識別することが意図されていないし、特許請求される主題の範囲を決定する際の助けとして使用されることも意図されていない。

[03] 概して、ペンおよびコンピューティングデバイスセンサ相関技法の実施形態は、本明細書に説明するように、タッチ感応ペン（例えば、本明細書ではペン、センサペンまたはタッチ感応スタイラスペンとも呼ばれる）上の様々な握りおよびタッチ感応コンピューティングデバイス（例えば、タッチ感応タブレットコンピューティングデバイス）へのタッチまたはタッチ感応コンピューティングデバイス上の握りから受け取ったセンサ信号を相関させて、そのような握りおよびタッチの文脈を決定し、文脈に適したコマンドをタッチ感応ペンおよび／またはタッチ感応コンピューティングデバイスに発行する。

[04] ペンおよびコンピューティングデバイスセンサ相関技法の様々な実施形態において、タッチ感応ペンおよびタッチ感応コンピューティングデバイスの両方から受け取った並行センサ入力の組合せが相関される。どのようにタッチ感応ペンが握られ、どのようにタッチ感応コンピューティングデバイスがタッチされまたは握られるのかは、それらの使用およびユーザの意図の文脈を決定するのに使用される。次いで、これらの握りおよびタッチの入力に基づくユーザインターフェース作用を開始することができる。

[05] ペンおよびコンピューティングデバイスセンサ相関技法のいくつかの実施形態において、ペンとコンピューティングデバイスとの運動も、並行のタッチおよび握りセンサ入力と相関させて、いずれかのデバイスがユーザの好む手またはユーザの好まない手に保持されているかどうかを決定する、推論された文脈を決定する、文脈に適したコマンドおよび機能を開始することができる。例えば、決定された文脈は、ディスプレイ上の不測のコンテンツの回転を抑える、ディスプレイ上に表示されたコンテンツをパンまたはズームする、ペン特有のツールのメニューを表示する、キャンバスツールまたは製図ツールのメニューを表示する、または、とりわけコンピューティングデバイスのディスプレイ上のコンテンツを拡大する拡大鏡／ルーペツールを表示するコマンドを開始するのに使用することができる。

[06] さらに、ペンおよびコンピューティングデバイスセンサ相関技法のいくつかの実施形態は、メタ情報を見つけて、感知された握りまたはタッチの文脈を意味的にラベル付けするのに使用することができる。例えば、いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実施形態は、ユーザによる２つ以上のタッチ感応デバイスへの接触の受け取った信号を相関させ、信号の相関に基づいて接触の文脈を決定する。決定された接触の文脈は、アプリケーションで使用するためにメタデータとしてラベル付けされる。例えば、この文脈は、ユーザがどちらの手でデバイスを保持しているのか、ユーザがどのようにデバイスを保持しているのか、何人のユーザがデバイスを保持しているのか、等々であり得る。導出されたメタデータは、任意のタイプの入力をラベル付けするのに使用することができ、他の目的に使用することができる。文脈メタデータは、文脈に適したユーザインターフェース作用を開始するのに使用することもできる。

[07] ユーザに文脈特有のツールを提供するために、ユーザがタッチ感応ペンおよび／またはタッチ感応コンピューティングデバイスを保持し、タッチする自然なやり方を利用する実に多くの機能が可能である。

[08] 特許請求される主題の具体的な特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および付属の図面を参照すると、よりよく理解されることになろう。

[09]例示的な自然に発生する中核になるペンの握りおよびポーズを示す図である。 [010]タッチ画面操作のための例示的な自然に発生する単一の指伸長握りを示す図である。 [011]タッチ画面操作のための例示的な自然に発生する複数の指伸長握りを示す図である。 [012]他のタイプの自然に発生するペンの握りを示す図である。 [013]本明細書に説明するように、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態を実装するためのプログラムモジュールを例示する例示的なシステムの図である。 [014]本明細書に説明するように、相関されたタッチおよびセンサペン入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な流れ図である。 [015]２つ以上のタッチ感応デバイス上への接触により受け取った相関された信号に基づいてメタデータを提供するためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な流れ図である。 [016]タッチ感応コンピューティングデバイスのディスプレイ画面上の入力の制御を継続するためにポインティングデバイスを使用する例示的な流れ図である。 [017]タッチ感応コンピューティングデバイスを主ユーザから副ユーザに手渡す例示的な流れ図である。 [018]タッチ感応コンピューティングデバイスおよびタッチ感応ペンの両方を主ユーザから副ユーザに手渡す例示的な流れ図である。 [019]本明細書に説明するように、タック握りでユーザの好む手に保持されるペンに基づいて拡大鏡／ルーペツール入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な図である。 [020]本明細書に説明するように、ユーザの好まない手の動作に基づいて全キャンバスパン／ズーム入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な図である。 [021]本明細書に説明するように、ユーザの好む手およびユーザの好まない手の両方のタッチおよび握りパターンに基づいて製図ツール入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な図である。 [022]本明細書に説明するように、ユーザの好む手およびユーザの好まない手の両方のタッチおよび握りパターンに基づいてペンツール入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な図である。 [023]本明細書に説明するように、ユーザの好む手およびユーザの好まない手の両方のタッチおよび握りパターンに基づいてキャンバスツール入力機構を設けるためにペンおよびコンピューティングデバイスセンサ相関技法を使用する例示的な例示の図である。 [024]本明細書に説明するように、２人のユーザが２人の間でタッチ感応ペンを手渡し、両方のユーザのタッチ感応ペン上の握りパターンおよびペンの向きに基づいて文脈に適した機能を開始する例示的な図である。 [025]本明細書に説明するように、２人のユーザのタッチ感応コンピューティングデバイス上の握りパターンおよびタッチ感応コンピューティングデバイスの向きに基づいて２人のユーザが２人の間でタッチ感応コンピューティングデバイスを手渡しまたは共有する例示的な図である。 [026]本明細書に説明するように、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態を実装する際に使用するための、様々なセンサ、電源および通信機能を有するタッチ感応ペンと組み合わせて、簡略化されたコンピューティングおよびＩ／Ｏ機能を有する簡略化された汎用コンピューティングデバイスを示す全体のシステム図である。

[027] 特許請求される主題の実装形態の以下の説明において、本明細書の一部を形成し、特許請求される主題を実施することができる例示特有の実装形態により示される付属の図面を参照する。現在特許請求される主題の範囲から逸脱することなく他の実装形態を利用することができ、構造的変更を加えることができることを理解されたい。

[028] １．０序章
[029] 以下の段落は、タッチ感応コンピューティングデバイス上のモバイル感知、センサ増強ペン、握り感知、およびペン＋タッチ入力の序章を提供する。

[030] １．１携帯用コンピューティングデバイス上のモバイル感知
[031]モバイルデバイス上の傾斜、圧力、および近接感知により、利き手の検出、縦位置／横位置検出、または歩行対静止使用などの文脈適合が可能となる。握り感知により、モバイルデバイスは、どのようにユーザがそれを保持するのかを検出することが可能になり、または電話をかけること、写真を撮ること、またはビデオを見ることなどの機能を自動的に作動させるためにつかみを使用することが可能になる。本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、自然なユーザの挙動を感知し、それを単一のまたは複数のタッチ感応ペンとタッチ感応コンピューティングデバイス（例えば、タブレット）とのインタラクションに適用する視点を採用する。

[032] マルチタッチ入力および慣性センサ（３軸ジャイロスコープ、加速度計、および磁力計を有する慣性測定ユニット（IMU））が、つかみおよび運動力学に基づいてユーザの意図を判別するためにモバイルデバイスの新たな可能性を提供する。さらに、他のセンサがこれらのモバイルデバイスの位置を追跡することができる。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、これらのタイプの運動感知、握り感知、およびマルチタッチ入力を、それらが別々のペンおよびタッチ感応コンピューティング（例えば、タブレット）デバイスにわたって分散されるとき、利用する新たな技法を例示する。

[033] １．２タブレットの握りおよび感知
[034] タブレットなどの軽量のコンピューティングデバイスは、多くの新たな握り、動き、および感知技法を提供する。本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ペン＋タッチインタラクションを感知するためのタブレットおよびペンの両方に対して同時に完全な握り感知および運動感知を最初に実装している。「握り」が装置またはデバイスの３Ｄ定位または動きも考慮に入れる具体的な手の接触パターンの全体的組合せとしてシステムによって認識され得ることに留意されたい。すなわち、タッチ感応握り感知と慣性運動感知との間には、すべてのこれらの自由度を、現在観察された「握り」をできるだけ正確に分類する認識手順によって採用することができるので、ある意味、明確な線を引くことができない。したがって、「握り」という用語が使用されているときはいつでも、タッチと運動または向きの自由度との可能な組合せが暗示される。

[035] １．３手のひら検出および意図的でないタッチの処理
[036] 手のひら接触により、ペン＋タッチインタラクションの間、重大な誤作動の問題が起こることがある。例えば、あるノート取りアプリケーションは、手のひらブロッキングを含むが、どのようにおよびどこにユーザ筆記するのかに関するアプリケーション特有の仮定を利用するように見える。ある手のひら拒絶技法では、ユーザがペン先を画面上にまたは画面近くに持ってきてから手のひらを下に置くことを必要とし、それによって、ユーザは自分の自然な動きを変更する必要がある。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、いつタッチ画面接触がペンを保持する手に関連付けられるのかを検出するのにセンサを使用する。

[037] １．４センサ増強およびマルチＤＯＦペン入力
[038] 補助的傾斜、ロール、および他のペン自由度は、必ずしも自然な使用を中断しなくてもメニューを呼び出すまたはモードスイッチを作動させるために組み合わせることができる。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ユーザがペンをタックしながら１つまたは複数の指を伸ばすことができる機能を実装する。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、たとえユーザがペンを画面から十分に離して保持しても、これらの接触を別々の機能を有する別個の文脈として感知することができる。

[039] ペンは、運動、握り、および表面近くの範囲感知を用いて増強することができる。１つのタイプのペンは、三脚筆記握りを検出するため、または異なるタイプのブラシを呼び出すために握り感知を使用する。他のシステムは、握り認識を手助けする特徴としてペン上の統合されたＩＭＵを使用し、適切なスケッチ教材を提供するのを助けるために関連したコンピューティングデバイス／タブレットの向きを感知する（例えば、水平対製図台用）。本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ペン＋タッチジェスチャと組み合わせて感知されたペン握りおよび運動を探索することによってならびに握り感知をタブレット自体まで拡大することによってもこれらの作業の範囲を超える。

[040] ２．０自然なペンおよびタブレットユーザの挙動
[041] 本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、自然なペンおよびタッチ感応コンピューティングデバイス（例えば、タブレット）のユーザ挙動を使用して、これらの挙動に関連付けられた文脈を決定し、それによって、文脈に適したツールをユーザに提供する。したがって、デジタルペンおよびタブレットのタスクの間に起こるある共通の握り、特にペンが手の中にある間、明示されたタッチ画面インタラクションは、見直すのに有用であり、以下に列挙し、図１、２、３および４に示す。実に様々な挙動（以下にＢ１−Ｂ１１として列挙される）が観察されており、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態を設計する際に使用された。以下の段落は、右利きの人の挙動に集中している。左利きの人は、さらに様々な握りおよび適応を示すことが知られている。以下に論じ、図１、２、３および４に示す挙動は、本質的に例示的だけであり、他の挙動がまったく可能であることに留意された。

[042] ２．１挙動Ｂ１．タッチを使用しながらペンをしまう
[043] タブレットなどのタッチ感応コンピューティングデバイスのタッチ画面上でタッチジェスチャを実施するときユーザがペンをしまう傾向があるのは、明らかである。ユーザは、長時間ペンを再び必要としないことを予測するとき、または画面上のキーボードを使用してたくさんのテキストをタイプするなど、ペンを手に持ったまま実施するのには難しすぎる、もしくは落ち着かないと感じるタスクに出会った場合、典型的にはペンを下に置くだけである。

[044] ２．２挙動Ｂ２．ペンをしまうためのタック対手のひら
[045] ユーザがペンをしまうのに採用する２つの異なる握りがある。これらは図１ １０４に示すタック握り（指の間にペンを通す）と図１ １０６に示す手のひら握り（指をペン軸の周りに軽く巻く）とである。ユーザは、休止の間またはタッチインタラクションを提供するためにペンをしまう。

[046] ２．３挙動Ｂ３．好ましいペンしまい込み握りはタスク文脈による
[047] タック握り１０４および手のひら握り１０６の両方を採用するユーザの場合、タック握りは、迅速な一時的タッチインタラクションを提供するが、手のひら握りは、ユーザがより長いシーケンスのタッチインタラクションを予測する場合に主として使用される。他のユーザはペンをしまうのにタック握り１０４だけを使用する。

[048] ２．４挙動Ｂ４握り対ポーズ
[049] 各握り、すなわち、ペンを保持する各やり方に対して、ペンの向きが変更される一連のポーズは、しばしば手首の回外（すなわち、手のひらを上に向ける）によって起こる。したがって、人間のペンを用いたつかみ運動は、ペン軸上の手の接触のパターンならびにペンの３Ｄ定位を包含する。図１に示すように、全手のひら回外１１２がタック握り１０４と手のひら握り１０６とに対して観察されるが、筆記握りに対しては半回外１１０だけである。

[050] ２．５挙動Ｂ５．タッチのための伸長握り
[051] 図２および３に示すように、ユーザがタッチ画面と接触するようにペンを保持しながら１つまたは複数の指を伸ばす多くの伸長握りが存在する。これらは、ユーザがタック握りまたは手のひら握りのいずれかと区別することができる単一の指伸長握り（図２、２００）対複数の指伸長握り（図３、３００）として大きく分類された。（例示されていないが、３本指伸長握りもいくつかの握りから可能であることに留意されたい）。

[052] ２．６挙動Ｂ６．ペン握りの変形
[053] ユーザは、結果として生じるユーザのタック、手のひら、および伸長握りの変形につながる、筆記用三脚握りの多くの変形を示す。例えば、１人のユーザのタックのスタイルは、単一のタッチジェスチャとして彼女の薬指を好むものとなった（タック薬指伸長握り（図２、２０６）参照）。

[054] ２．７挙動Ｂ７．握りの一貫性
[055] 各ユーザは、一貫して同じ状況で同じペン握りを適用する傾向がある。ユーザは、インタラクションにおける障壁の知覚（疲労や非効率など）により、ユーザが握りを変える動機を得るまで、どの握りでも最も少ない労力を要する握りを維持する傾向もある。ユーザは、たぶん立っている間にモバイルコンピューティングデバイス（例えば、タブレット）を保持するまたは握りなおす効果的なやり方があまりないので、しばしば立っているときよりも座っているとき、そのようなデバイス上の握りを切り換える。

[056] ２．８挙動Ｂ８．タッチ画面回避挙動
[057] ユーザは、筆記しながら、またはユーザの指をカニのような形で外に広げながら、手のひらをタッチ画面より上に浮かせるなどの、ペン握りおよび手のポーズをしばしば採用して、画面との偶発的な接触を避ける。タッチ画面回避の別の形態は、タッチ感応コンピューティングデバイスを取り上げるときタッチ画面にあまりに近接して親指を遊ばせるのではなく、タッチ感応コンピューティングデバイスの外側の縁（例えば、タブレットベゼル）に沿って親指を載せることである。これらの不自然なおよび場合により心身を疲れさせる対応は、システムが意図的なタッチ対意図的でないタッチの文脈を区別できないことを反映している。

[058] ２．９挙動Ｂ９．ペンコントロールを始動させるための指持ち上げ
[059] ユーザは、筆記握り（図１、１０２、１０８、１１０）からペン軸ボタンだけを始動させ、次いで、人差し指だけを用いることが観察された。ユーザは、ボタンをタップするときペンを依然として保持する。親指は、場合により、手のひら状の親指スライド握り（図４、４０４）からのコントロールに利用可能でもある。

[060] ２．１０挙動Ｂ１０．外部精密握り
[061] ユーザは、小さな対象物に精密に向けるためにペンを指先の方に筆記面に垂直に保持する外部精密握り（図４、４０２）を採用する。これにより、この握りが検出されたとき、タブレット画面のペン先の下の領域を自動的にズームするなど、文脈強化を提供する可能性が得られる。

[062] ２．１１挙動Ｂ１１．手渡し握り
[063] 参加者がペンおよびタッチ感応コンピューティングデバイス（例えば、タブレット）を別の人に手渡すとき、手渡し把持が観察される。ユーザは、強力握りよりももっとデバイスをしっかり保持する傾向があり、デバイスを水平に保ちながら自分の体からデバイスを差し出し、したがって、ユーザの意図は明確であり、相手の人は遠端側からデバイスをつかみ取ることができる。

[064] これらの自然な挙動を説明してきたので、以下の節では、ユーザの意図した動作を実行するための文脈に適したツールを設けるために、どのようにこれらの握り、タッチおよび運動のすべての認識が、これらの挙動を活用するのに使用されるのかを説明する。

[065] ３．０ペンおよびコンピューティングデバイスセンサ相関技法への序章
[066] 本明細書に説明する、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、自然に発生するユーザ挙動およびペン＋タッチインタラクションに対して起こる固有の文脈を感知するためにタッチ感応コンピューティングデバイス／ペン（例えば、タブレットスタイラスペン）分散型感知システムにデバイス間同期ジェスチャおよびチャネル間入力をもたらす。しかし、本明細書では議論の多くがペン／タブレットインタラクションに集中するが、他のペン状の機械的媒介または小型のウェアラブルデバイスは、ペンおよびコンピューティングデバイスセンサ相関技法の変形を使用してタブレットとインタラクトしながら文脈感知を可能にすることができることに留意されたい。例えば、人差し指に装着した小型の運動感知リングは、いつユーザがその指対別の指で画面をタップしたのかを感知することができる。ウォッチ、指先または指の爪に装着したセンサ、腕輪、腕章、包帯もしくはおおい、肘当て、ブレース、リストバンド、センサで増強された手袋、皮下埋め込み、またはさらには埋め込みセンサ付きｅテキスタイルワイシャツの袖も、当業者に対して関連技法を可能にし、提案する他の同様の例を表す。同様に、定規、コンパス、外科用メス、ピンセット、スタンプ、拡大鏡、レンズ、キーパッド、計算機、雲形定規、形状テンプレート、ペイントブラシ、またはエアブラシなどの他の手動ツールは、好むまたは好まない手に保持されているかどうかにかかわらず、関連技法も可能にするペン状用具として働くことができる。

[067] 本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、どのようにユーザが自然にこれらのデバイスを操作するのかを活用する新たな技法を提供するために握りおよびタッチ感知を採用する。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ユーザがペンを筆記握りで保持するのか、または手のひらに保持するのか、および／またはしまい込みモードで自分の指の間にタックして保持するのかを検出することができる。さらに、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ユーザの好まない手によって生じたドラッグアンドピンチジェスチャなどの素手の入力を、必ず検出可能な運動信号をペンに伝えるタッチ感応ペンを保持する手によって生じたタッチジェスチャと区別することができる。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、どちらの手がタッチ感応コンピューティングデバイス（例えば、タブレット）を握っているのかを感知し、ペンに対する画面の相対的な向きを決定し、画面の向きおよびタッチパターンを使用して、不測の画面コンテンツの回転を防止することができる。タッチ感応ペンおよびタッチ感応コンピューティングデバイスからのセンサ信号を選択的に組み合わせることによってならびにそれらを使用して、相互に補完することによって、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、例えば、筆記しながら意図的でないタッチ入力を無視することによってなど、またはユーザが自分の指の間にタックしたタッチ感応ペンを用いてピンチしたとき現れる詳細なストローク作業のための拡大鏡など、文脈的に適したツールを支持することによってなど、それらとのユーザのインタラクションを使用の文脈に合わせることができる。

[068] 本明細書に説明するように、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、電力供給装置（例えば、電池）および複数のセンサ（例えば、センサペン）で機能強化されたタッチ感応ペンを使用して、タッチ感応ペンを保持するユーザの相関された握りパターンならびにタッチ感応コンピューティングデバイス（例えば、タッチ感応タブレットコンピュータ）上のタッチ接触および握りならびにこれらのデバイスの関連した運動および向きに基づいて様々な入力技法およびコマンドコマンドを可能にする。例えば、圧力センサを使用して、センサペン上のユーザの握りパターンならびにタッチ感応コンピューティングデバイス上のタッチおよび握りパターンを検出することができる。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、センサペンの握りと、タッチ感応コンピューティングデバイスのタッチおよび握りとを相関させて、ユーザの意図およびユーザがタッチ感応ペンまたはタッチ感応コンピューティングデバイスを使用することを望む文脈を決定する。これは、例えば、ユーザが自分の好む手を用いてデバイスを握っているのかまたは自分の好まない手を用いてデバイスを握っているのかのいずれであるかなど、自然に発生するユーザ挙動に基づいている。次いで、決定されたユーザの意図および使用の文脈を使用して、タッチ感応コンピューティングデバイスおよび／またはタッチ感応ペンの文脈に適したコマンドおよび機能を生成する。

[069] 圧力センサ等々に関係するものとして本明細書に説明するように圧力という用語は、様々なセンサタイプおよび形状を表すことができる。例えば、様々な場合および実装形態において、圧力とはディスプレイ上に及ぼされたペン先圧力を表すことができる。概して、ペン先圧力は、典型的にはペンの内側のあるタイプの圧力トランスデューサによって感知されるが、あるデバイスではペン先圧力感知をディスプレイ／デジタイザ自体に行わせることも可能である。さらに、圧力または圧力感知等々の用語は、タッチ感応ペンまたはタッチ感応コンピューティングデバイスの外部ケーシングまたは表面に接触する手（または指）の握り圧力を感知する別個のチャネルを表すこともできる。ペンおよびコンピューティングデバイスセンサ相関技法によって採用された様々な感知様式は、様々な機能およびコマンドを開始するために両方のタイプの圧力感知（すなわち、ペン先圧力および握り圧力）を採用することができる。

[070] 本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の多くの実装形態のいくつかを可能にするために使用される様々なデバイスは、本明細書では議論のためにしばしばセンサペンまたはタッチ感応ペンと称するペン、ポインタ、ペンタイプ入力デバイスなどを含む。さらに、本明細書に説明するセンサペンまたはタッチ感応ペンは、電力供給装置および様々なセンサの組合せを組み込むように適合することができる。例えば、誘導結合、ペンがコンピューティングデバイスの範囲内に入ったとき、またはコンピューティングデバイスのドックに入れられたとき、またはコンピューティングデバイス上／近くに配置されたとき急速に再充電するペンに組み込まれた超コンデンサ、ペンテザーを介して電力を得る、またはペンの運動を介して寄生電力を取得する、ペン内に組み込まれた電池によるなど、電源をペンに組み込む様々な可能性がある。電力供給装置は、ペンが動いていないとき、または保持されていないときの自動低電力モードを特徴とすることができる。センサは、この決定も知らせることができる。センサの様々な組合せは、様々なコンピューティングデバイスとインターフェースするために様々なワイヤレス通信機能と組み合わせた、慣性センサ、加速度計、圧力センサ、握りセンサ、近距離無線通信センサ、ＲＦＩＤタグおよび／またはセンサ、温度センサ、マイクロホン、磁力計、容量センサ、ジャイロスコープ、デバイスの位置を追跡することができるセンサ、指紋センサ、電気皮膚反応センサなどを含むことができるが、それらに限定されない。これらのセンサのいずれかまたはすべては、多軸または多位置センサ（例えば、３軸加速度計、ジャイロスコープ、および磁力計）であり得ることに留意されたい。さらに、様々な実装形態において、本明細書に説明するタッチ感応ペンは、他のコンピューティングデバイス、または他のタッチ感応ペンと組み合わせて、または協調して、またはさらには独立型のコンピューティングデバイスとしても動作することが可能になるメモリおよび／またはコンピューティング機能を組み込むようにさらに適合されている。

[071] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、１つまたは複数のタッチ感応表面または領域（例えば、タッチ画面、タッチ感応ベゼルまたはケース、ホバータイプ入力の検出のためのセンサ、光学タッチセンサなど）を有する任意のタッチ感応コンピューティングデバイスに使用するように適合可能である。タッチ感応コンピューティングデバイスは、単一およびマルチタッチデバイスの両方を含むことに留意されたい。タッチ感応コンピューティングデバイスの例は、コンピューティングデバイスに接続されたタッチ感応ディスプレイデバイス、タッチ感応電話デバイス、タッチ感応メディアプレーヤ、タッチ感応電子書籍リーダー、ノートブック、ネットブック、ブックレット（デュアル画面）、タブレットタイプコンピュータ、または１つもしくは複数のタッチ感応表面もしくは入力様式を有する任意の他のデバイスを含むことができるが、それらに限定されない。そのようなコンピューティングデバイスのタッチ感応領域は、ディスプレイと関連付けられる必要がなく、接触感応領域（例えば、ディスプレイ上のデバイスの前部対任意の関連したディスプレイなしのデバイスの後部）の位置またはタイプは、１つまたは複数の運動ジェスチャ（すなわち、運動ジェスチャに対応するユーザインターフェース作用）を開始するための入力パラメータとみなすことができる。

[072] 本文書全体を通して使用されるときの「タッチ」という用語は、一般に、容量センサ等々を使用するコンピューティングデバイスのタッチ感応ディスプレイ上のまたは他のタッチ感応表面上の物理的なユーザ接触（例えば、指、手のひら、手など）を表す。しかし、あるタッチ技術は、ディスプレイ近くの指、ペン、および手の幾何形状をならびにペン先ホバー感知を検出するための感受性の高い自己容量検出器の使用など、ある程度の非接触感知を組み込む。ＩＲセンサ−エミッタ対または画素内センサ表示素子のアレイを、このためにペン、タブレット、およびキーボード上に配備することもできる。したがって、タッチおよび握りは、「握り」検出の全体的なまたは統一的な考えとしてもそのような非接触信号を組み込むことができる。

[073] さらに、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチ感応コンピューティングデバイスの１つまたは複数のタッチ感応表面によって受け取られた有効なタッチと無効なタッチとを見分けるために様々な技法を使用することができる。有効なタッチおよび接触の例は、ユーザの指のタッチ（ジェスチャタイプのタッチを含む）、ペンもしくはペンタッチもしくは入力、ホバータイプ入力、またはそれらの任意の組合せを含む。無効なまたは意図的でないタッチに関して、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、デバイスまたはアプリケーション制御のために意図的でない接触または入力として意図されていない意図的な接触を受け取ることが期待されているタッチ感応入力表面の１つまたは複数の領域またはサブ領域を無効にしまたは無視する。入力として意図されない可能性がある接触の例は、ユーザがその画面上でペンを用いて筆記しているまたはタッチ感応ベゼルなどを握ることによってコンピューティングデバイスを保持している間、タッチ画面上に置かれたユーザの手のひらを含むがそれらに限定されない。

[074] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、
− ペンおよびタッチ感応コンピューティングデバイス（例えば、タブレット）の使用の全文脈を捕捉するための握りおよび運動を感知する新規の解決策と、
− 意図的でないタッチ（デバイスを取り上げたときの手のひらからまたは親指からの）を軽減するためだが、好まない手による、またはペン入力とタッチ入力とを交互に行うために伸長握りを介した意図的なタッチを促進するためにも、センサを使用するステップと、
− 例えば、素手の入力、ペンをタックしながらのピンチ入力の個別のツールおよびペンが筆記に備えた態勢にあるときユーザが好まない手を用いて呼び出すことができる製図ツールを含む、握り、運動、およびタッチ画面接触を組み合わせる新規の文脈的に適したツールとを含むがそれらに限定されない、タッチ感応ペンおよびタッチ感応コンピューティングデバイスとのペンベースのユーザインタラクションに関連するいくつかの利点を提供する。

[075] ３．０例示的なシステム
[076] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチ感応ペンまたはタッチ感応コンピューティングデバイスのいずれかまたは両方に対して様々な動作および機能を作動させるために、部分的に、タッチ感応ペンからとタッチ感応コンピューティングデバイスとからのセンサ入力を相関させることによって動作する。

[077] 図５は、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態を実装するためのプログラムモジュールを例示する例示的なシステム５００の図を提供する。より具体的には、図５は通信リンク５０６を介してタッチ感応コンピューティングデバイス５０４と通信するタッチ感応ペンまたはセンサペン５０２を示す。本明細書にさらに詳細に論じるように、センサペン５０２は、様々なセンサを含むことができる。センサペン５０２内のセンサモジュール５０８は、それらのセンサのうちの１つまたは複数の表示を監視し、タッチ感応コンピューティングデバイス５０４（または、場合により、計算を実施し入力をタッチ感応コンピューティングデバイス５０４に提供する別のコンピューティングデバイス（図示せず））に送られるそれらを通信モジュール５１０に提供する。別の実装形態において、一部の（または全部の）計算を送る前に直接ペン上で行うことができ（すなわち、機械学習による握り認識）、一部のデータは、常にタッチ感応コンピューティングデバイスに送られない可能性がある（すなわち、結果をペンに対して局所的に使用する場合）ことに留意されたい。場合によっては、タッチ感応コンピューティングデバイスは、データをタッチ感応コンピューティングデバイスに送るペンの代わりに、またはペンに加えて、情報をペンに送ることができる。

[078] センサペン入力モジュール５１２は、センサペン５０２の１つまたは複数のセンサ（例えば、慣性、加速度計、圧力、タッチ、握り、近距離無線通信、ＲＦＩＤ、温度、マイクロホン、磁力計、容量センサ、ジャイロスコープ、ＩＲもしくは容量近接センサ、指紋センサ、電気皮膚反応センサなど）から入力を受け取り、そのセンサ入力を握りおよびタッチ決定モジュール５１６に提供する。同様に、コンピューティングデバイスタッチ入力モジュール５１４は、タッチ感応コンピューティングデバイス５０４の１つまたは複数のセンサ（例えば、慣性、加速度計、圧力、タッチ、握り、近距離無線通信、ＲＦＩＤ、温度、マイクロホン、磁力計、容量センサ、ジャイロスコープ、ＩＲもしくは容量近接センサ、指紋センサ、電気皮膚反応センサなど）から入力を受け取り、そのセンサ入力を握りおよびタッチ決定モジュール５１６に提供する。

[079] 握りおよびタッチ決定モジュール５１６は、センサペンのタッチ感応表面上へのユーザの手の接触（および／またはペンの向き、すなわち、ヨー、ピッチロールまたはそれのあるサブセットおよび／またはセンサからの他の情報）に基づいてセンサペン５０２上のユーザの握りを決定する。例えば、ペン上のユーザの握りからのセンサ信号は、ペンを握るユーザの握りパターンを決定するために握りパターンのデータベース５１８と比較することができる。一実装形態において、訓練された分類子が、握り訓練データに基づいてセンサ信号をセンサペン５０２上の握りパターンに分類するのに使用される。この握り訓練データは、（１）多くのユーザの大きなサンプルに対して、（２）具体的なユーザからの入力、および（３）ある重み付けされた２つの組合せだけに基づいて適合または訓練することができることに留意されたい。また、入力の際立った次元（例えば、左利きのユーザ対右利きのユーザ、使用されるデバイスのサイズまたはタイプ、デバイスの現在の使用姿勢、机上にあるのか、手に保持されているのか、膝の上に載せているのか等々）に基づく別々のデータベースは、全体的にまたは部分的に各使用事例に合わせて最適化された別々のデータベースの使用を作動させることができる。同様に、握りおよびタッチ決定モジュール５１６は、タッチ感応コンピューティングデバイスのディスプレイ上のユーザの指または手の接触の信号（および／またはデバイスの向きおよび／またはセンサからの他の情報）に基づいて、タッチ感応コンピューティングデバイス５０４のディスプレイ上のユーザのタッチを決定する。さらに、握りおよびタッチ決定モジュール５１６は、ユーザがタッチ感応コンピューティングデバイスのケースのタッチ感応表面を握っているのかどうかを決定することができる。例えば、タッチ感応コンピューティングデバイスのケース上のユーザの握りからのセンサ信号は、デバイスを握るユーザの握りパターンを決定するために握りパターンのデータベース５１８と比較することができる。一実装形態において、１つまたは複数のタッチ感応センサは、ケースのどの部分がタッチされているのかを示す画像を報告する。様々な画像処理技法を、画像を解釈し、握りを推定するために使用することができる。一実装形態において、（マルチタッチ、容量）握りパターンがデバイスのケース（例えば、容量センサの行列を組み込んだケース）上で感知され、タッチ感応コンピューティングデバイス（および／またはペン）の運動信号および向きもこの決定に供給される。いくつかの実装形態において、タッチ画面が非接触近接感知機能を有する場合、デバイスの画面端部への近接を感知することは、ケース上の握り感知の良好なプロキシとして働くことができる。一実装形態において、訓練された分類子は、握り訓練データに基づいてセンサ信号をタッチ感応コンピューティングデバイスのケース上の握りパターンに分類するのに使用される。

[080] 握りおよびタッチ決定モジュール５１６は、どのようにユーザがペンを握っているのかをどのようにユーザがタッチ感応コンピューティングデバイスの画面またはケースとインタラクトしているのかと関連付けるために、センサペン５０２のセンサからのセンサ入力と、タッチ感応コンピューティングデバイス５０４のセンサからのセンサ入力とを相関させる。この相関されたデータを使用して、センサペンおよび／またはタッチ感応コンピューティングデバイスに接触しているユーザの好む手／好まない手を決定することができる。一実装形態において、ペン運動により好む手が好まない手と区別される。好む手の一部がコンピューティングデバイスのタッチ画面と接触したときペン運動のバンプが測定される。接触の後に、ペンを保持する手がユーザの好む手に保持されていることを確認するためにペン運動がタッチ画面の運動に相関することを継続的に確認することもできる。いくつかの実装形態において、相関運動が観察される限りユーザの好む手または好まない手を決定するためにペンが画面にタッチしたとき（例えば、画面へのタッチが非常に微妙またはソフトである場合）ペンがバンプを登録する必要はない。

[081] 決定された握りおよびタッチのパターンならびに他の相関されたセンサ入力は、文脈決定モジュール５２０に入力することもできる。文脈決定モジュール５２０は、ユーザの意図、および相関された握りパターン、タッチパターンおよび他のセンサデータからユーザが意図している動作の文脈を決定する。文脈の例は、何人のユーザがペンまたはタッチ感応コンピューティングデバイスとインタラクトしているのか、何台のデバイスがインタラクトされているのか、ユーザがユーザの好む手対好まない手にセンサペンまたはコンピューティングデバイスを保持しているのかどうか、ペンまたはコンピューティングデバイスの個別のまたは相対的な運動、タッチ感応ペンまたはタッチ感応コンピューティングデバイスがどのように握られまたはタッチされるのか、アプリケーションの状態、ペンの向き、タッチ感応コンピューティングデバイスの向き、コンピューティングデバイスに対するセンサペンの相対的な向き、タッチ感応ペンおよびタッチ感応コンピューティングデバイスの軌跡および／または加速度、ユーザの身元等々を含むがそれらに限定されない。この文脈データは、このデータを意味的にラベル付けするのに使用することができるメタデータラベリングモジュール５２４に送ることができる。

[082] タッチ／握りパターンおよび他の関連したセンサの表示ならびに任意の関連した文脈データは、コマンド開始モジュール５２２に入力される。コマンド開始モジュール５２２は、タッチ感応コンピューティングデバイスおよび／またはセンサペン上の１つまたは複数のコマンドまたは機能を作動させて、タッチ感応ペン５０２および／またはタッチ感応コンピューティングデバイス５０４上の１つまたは複数のコマンドまたは運動ジェスチャを作動または始動させることによって、より効率的でユーザフレンドリーなやり方でユーザの意図を実行する手助けをするために利用可能な入力を評価する。作動される様々な運動ジェスチャまたは以下に詳細に論じるコマンド（５２６、５２８、５３０、５３２、５３４、５３６、５３８、および５４０）の例は、コマンド開始モジュール５２２によって始動される。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態により、ユーザ定義の運動ジェスチャ５４２は、ユーザがタッチ感応コンピューティングデバイス５０４上のタッチ入力および／または握りと組み合わせてセンサペン握りを使用して１つまたは複数の機能または運動ジェスチャを定義することが可能になるユーザインターフェースを介して定義が可能になる。運動ジェスチャまたは機能５２６〜５４０の多くは、後でさらに詳細に本文書に説明され、これらの運動ジェスチャおよび機能の多くの例は図１１〜図１７に例示される。

[083] ホバー範囲に関して、様々な実装形態において、ペンおよびコンピューティングデバイスセンサ相関技法は、タッチ感応コンピューティングデバイス５０４のデジタイザより上のセンサペン５０２の距離を考慮する。様々な範囲を考慮することができるが、様々な試験された実装形態において、物理的な接触、デジタイザのホバー範囲内、またはデジタイザの範囲外を含めて３つの範囲カテゴリーが考慮される。任意の特定の運動ジェスチャの始動機構は、コンピューティングデバイスの任意の他の相関された入力、タッチ、および／または運動と組み合わせて、センサペンのこれらの異なる範囲を考慮することができる。

[084] いくつかの実装形態において、生のセンサ表示をセンサペン５０２からコンピューティングデバイス５０４にコンピューティングデバイスによる評価および特徴付けのために報告または伝送することができる。例えば、センサペン５０２内の慣性センサからの生のセンサデータは、センサペンによってタッチ感応コンピューティングデバイス５０４に報告することができ、次いで、コンピューティングデバイスは、ペンの向きを慣性センサからのデータの関数として決定する。あるいは、様々な実装形態において、センサペン５０２は、オンボード計算機能を使用して、様々なセンサからの入力を評価する。例えば、センサペン５０２内の慣性センサから導出されたセンサデータをセンサペンの計算構成要素によって処理してペンの向きを決定し、次いで、傾斜の向きをセンサペンによってコンピューティングデバイス５０４に報告することができる。

[085] センサペン５０２によるコンピューティングデバイスへの生のセンサデータの報告と処理されたセンサデータの報告との任意の所望の組合せは、センサペンの計算機能に応じて実施することができる。しかし、説明のために、本明細書における議論は、一般に、コンピューティングデバイスによってさらに処理して、様々なコマンド、運動ジェスチャまたは他の入力のシナリオを決定するために、センサペン５０２によるタッチ感応コンピューティングデバイス５０４へのセンサデータの報告を表す。いくつかの実装形態において、コンピューティングデバイスのタッチ感応画面上へのユーザのタッチは、ユーザが何をしているのか決定するためにペン内のジャイロスコープまたは加速度計とのバンプと相関される。事実、技法の多くの実装形態がユーザの意図が何であるのか決定するためにタッチと、ペンとのバンプと、ペンの握りとの相関を使用する。ペンおよびコンピューティングデバイスセンサ相関技法によって可能にされた様々な運動ジェスチャおよび機能の少数の例を以下に簡単に紹介する。

[086] 例えば、「拡大鏡」または「ルーペツール」（図５、５３０）と称される１つのそのような入力技法は、タッチ感応ペン５０２上のユーザの握りからのセンサ入力を使用して、ペンがユーザの手のタックされた位置に保持されることを識別する。並行して、コンピューティングデバイスのタッチ感応画面上へのユーザのタッチは、画面に対してピンチする運動など２本指タッチジェスチャを行うユーザのタッチに登録される。これらの２つの感知された入力は、相関され、したがって、ペンを保持する手を用いてピンチする運動は、拡大鏡／ルーペツール５３０をもたらす。その原理は、ペンが一時的にだけしまわれ、まだすぐ使える状態にあるという事実によって、ユーザがペンをすぐにまた使用する意図を示すので、ペンを保持する手とのタッチインタラクションは、ペンを支持する機能を強調すべきであるということである。拡大鏡／ルーペツール５３０は、ペンを用いた詳細な作業に特によく適している、画面上に表示されるコンテンツの局所領域だけに影響する迅速なズーミングを支持し強調する点において有利である。いくつかの実装形態において、コンピューティングデバイスのタッチ感応画面上へのユーザのタッチは、ユーザの意図を決定するためにペン内のジャイロスコープまたは加速度計とのバンプと相関される。

[087] 「全キャンバスパン／ズーム」ジェスチャ（図５、５３２）と称される関連したジェスチャは、一実装形態において、ユーザの好まない手を用いて、タッチ感応コンピューティングデバイス５０４（例えば、タブレット）のディスプレイ上のピンチする運動などのユーザの感知された２本指タッチジェスチャを使用して、コンピューティングデバイスのディスプレイ上に表示されるコンテンツの標準的な全キャンバスズームを作動させる。この機能性は、センサペン５０２がすぐ使える状態にないとき（例えば、センサペンがタック握りまたは手のひら握りでユーザの好む手に保持されないとき、またはユーザがセンサペンをまったく保持していないとき）提供される。次いで、好まない手のジェスチャは、ペンにおける対応する運動がないことにより、認識され得る。

[088] 「ペンツール」ジェスチャ（図５、５３６）と本明細書で称される別のジェスチャは、センサペン５０２およびタッチ感応コンピューティングデバイス５０４のセンサを使用して、ユーザがセンサペンをタック位置（例えば、タック握り）でユーザの好む手に保持していることを検出し、コンピューティングデバイス５０４のタッチ感応ディスプレイ上のユーザの好む手の指からのタップなどの並行接触を検出する。これらの２つの動作の相関は、ペン特有のツールのメニューをもたらす。いくつかの実装形態において、ペンツール選択肢の異なるパレットを、ペンがユーザの好む手の完全に手のひらに入れた位置に保持されるとき表示させることができる。

[089] 「キャンバスツール」ジェスチャ（図５、５３８）と本明細書で称される同様のジェスチャは、ペンのセンサとタッチ感応コンピューティングデバイス上のセンサとを使用して、ユーザがいつタッチ感応ペン５０２を非筆記位置でユーザの好む手に保持するのかを検出し、コンピューティングデバイス５０４のタッチ画面上へのユーザの好まない手を用いた指タップなどの接触を検出する。これらの相関された並行動作により、キャンバスツールのメニューがコンピューティングデバイスのディスプレイ上に表示される。例えば、このツールのメニューは、取り消し／やり直し、切り取り−複写−貼り付け、改ページ、検索および同様のコマンドを含むことができる。

[090] 「製図ツール」ジェスチャ（図５、５４０）と本明細書で称される別のジェスチャは、ペン５０２のセンサと、タッチ感応コンピューティングデバイス５０４のセンサとを使用して、タッチ感応ペンが筆記握りでユーザの好む手に保持されていることを検出し、ユーザの好まない手を用いたコンピューティングデバイス５０４のタッチ感応ディスプレイとの１本指タッチなどの接触を検出する。ユーザの好まない素手を用いた１本指タップは、ペンがすぐに筆記できるとき、製図ツールの組をもたらす。これらの特殊ツールは、ペンの使用を支持する。そのようなツールは、例えば、画面上で弧を描くコンパスまたはコンテンツに色を塗るエアブラシである可能性がある。

[091] さらに、「高度な製図ツール」ジェスチャ（図５、５２８）は、ペン５０２上のセンサとタッチ感応コンピューティングデバイス５０４上のセンサとを使用して、センサペンが筆記握りでユーザの好む手に保持されていることを検出し、コンピューティングデバイスのタッチ感応ディスプレイにおけるユーザの好まない手を用いたピンチする運動などの２本指タッチジェスチャを検出する。ユーザの好まない手を用いたピンチする運動は、ペンがすぐに筆記できるとき、高度な製図ツールの組をもたらす。これらの特殊ツールは、第２のタッチから利益を得るペンの使用をさらに支持する。例えば、これらの高度な製図ツールは、定規もしくはガイド縁、雲形定規もしくは新たな用紙を引き出す機能（２本指の位置、回転、および／または場合により採用された特定の高度な製図ツールによる拡大縮小を用いた）を含むことができる。

[092] コンピューティングデバイスに対する相関されたセンサペンの運動の他の例は、ペンセンサ（例えば、加速度計、圧力センサ、慣性センサ、握りセンサなど）を使用して、いつセンサペンがユーザによって取り上げられまたは下に置かれたのかを決定することを含む。ユーザのコンピューティングデバイス上の握りパターン（例えば、ユーザによって保持されていない、ユーザの好まない手または好まない手を用いてディスプレイをタッチすることなど）と相関された現在のセンサの握りパターン（すなわち、ユーザの好む手にタックされているのか、ユーザの好む手ですぐに筆記できるのか、下に置かれているのか）を考慮することによって適切なコマンドを開始することができる。

[093] いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチ感応コンピューティングデバイス５０４のケースの後面および側面上の容量握り感知を使用して、さらにいくつかの接触を検出する。

[094] いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、複数のユーザ／複数のデバイスモードで使用することができる。例えば、いくつかの実装形態において、タッチ感応コンピューティングデバイス５０４上の主ユーザの握りと、タッチ感応コンピューティングデバイス上の副ユーザの握りとが、感知され相関される。握りは、例えば、タッチ感応コンピューティングデバイス上のタッチ感応表面によって感知することができ、または握りは、各ユーザの電気皮膚反応を決定することによって感知することができ、電気皮膚反応の差を使用して、一方のユーザと他方のユーザとを区別することができる。例えば、加速度計データ、位置データ、軌跡データなどの他のセンサデータを使用することもできる。主および副ユーザの握りは、タッチ感応コンピューティングデバイス５０４上で実行するアプリケーションにおいてコマンドを開始するために評価される。相関されたタッチ感応コンピューティングデバイス５０４の握りと向きとは、副ユーザの握りが副ユーザから主ユーザへのコンピューティングデバイスのハンドオフを表すことを決定するために評価することができる。この場合、タッチ感応コンピューティングデバイスの１つまたは複数の機能は、ハンドオフの後に制限することができる。あるいは、副ユーザの握りは、主ユーザの握りと並行であるとして決定することができる。この場合、共有モードをコンピューティングデバイス上で入力することができる。例えば、副ユーザは、コンピューティングデバイスのディスプレイ上で現在表示されているコンテンツだけを閲覧し、書き加えることだけが可能になり得る。ユーザが両手を用いてペンを取り上げ、保持し、ペンを利用不可能にする多くの場合がある。

[095] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、握りを使用して、どちらの手を用いてユーザがタッチ感応コンピューティングデバイス５０４を保持しているのかを感知する。次いで、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態はこれを使用して、「親指メニュー」（図５、５３４）をタッチ感応コンピューティングデバイス５０４の適切な側に呼び出し、それによって、有利にはユーザが様々なボタンおよびメニューを直接親指を用いて始動させることが可能になる。ユーザが第２の手を用いてタッチ感応コンピューティングデバイスをつかむ場合、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、親指メニューを最初に現れた側で見えるままにする。

[096] タッチ感応コンピューティングデバイスと同様に、いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態において、タッチ感応ペン５０２上の主ユーザの握りと、副ユーザの握りとを感知することができる。前に説明したように、加速度、位置および軌跡データなどの他のデータは、例えば、考慮することもできる。次いで、主および副ユーザの握りは、タッチ感応ペン５０２上で実行するアプリケーションにおいてコマンドを開始させるために相関させることができる。例えば、副ユーザの握りは、副ユーザから主ユーザへのペン５０２のハンドオフを表すと決定することができる。この場合、データは、ペン５０２のハンドオフを介して主ユーザから副ユーザに転送することができる。次いで、副ユーザは、転送されたデータをコンピューティングデバイス、例えば、スタイラスペンが元々使用されていた異なるコンピューティングデバイスにダウンロードすることができる。あるいは、タッチ感応ペン５０２の１つまたは複数の機能は、ハンドオフの後に制限することができる。

[097] センサペン５０２上およびコンピューティングデバイス５０４上の握りパターン以外に、いくつかの実装形態は、コンピューティングデバイスおよびセンサペンの運動を考慮する。例えば、実装形態は、握りパターンとともにセンサペン５０２の運動と、コンピューティングデバイスの運動とを使用して、ペンがユーザの好む手（または好まない手）に保持されているのかどうかを決定する。ユーザの好む手と好まない手とは、相関された握りパターンおよび関連した情報から決定することができる。例えば、ペンバンプを表す運動信号がタッチ感応コンピューティングデバイス上への新たな接触と同時に起こるとき、センサペン５０２およびタッチ感応コンピューティングデバイス５０４の両方上の握り／タッチが相関され、具体的な運動ジェスチャまたはコマンドがこれらの認識された握りパターンに基づいて開始される。

[098] さらに、様々な実装形態において、ペンおよびコンピューティングデバイスセンサ相関技法は、有利には、不要なまたは意図的でないユーザによるタッチも拒絶しまたは無視する。手のひら拒絶モジュール（図５、５２６）は、この目的で使用することができる。具体的には、手のひら拒絶モジュール５２６は、タッチが意図的であったものか、またはタッチ感応コンピューティングデバイス上にうっかり置いた手のひらによって行われたものかを決定するために任意のタッチを評価し、次いで、さらに処理するためにそのタッチを入力として受け入れるのか、またはそのタッチを拒絶するのかのいずれかをする。さらに、様々な実装形態において、手のひら拒絶モジュールは、任意のタッチ感応表面の特定の領域上または特定の領域近くのユーザの手のひらのタッチをそのタッチの文脈により無効とするかまたは無視する（すなわち、「拒絶する」）。「拒絶された」タッチは、どこに手のひらが載せられたのかを知るために依然としてペンおよびコンピューティングデバイスセンサ相関技法によって入力として処理することができるが、意図的でないボタン押しまたはジェスチャがオペレーティングシステムまたはアプリケーションにおいて偶然に作動されないようにフラッグを立てることができることに留意された。いくつかの実装形態において、ペンおよびコンピューティングデバイスセンサ相関技法は、接触が動いているとき（接触がタッチしている限り）、手のひらを追跡することができる（例えば、割り当てられた接触識別子を使用して）。さらに、いくつかの実装形態において、新たな接触が手のひらの接触の所与の半径内で検出された場合、それらはやはり手のひら接触（例えば、指関節）としてラベル付けされ、無視される。手のひら拒絶モジュール５２６と同様に、親指接触拒絶モジュール５４４も有効にすることができる。

[099] ４．０例示的な方法
[0100] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態を実施するための例示的なシステムを説明してきたので、以下の節では、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態を実施するための例示的な方法を論じる。

[0101] 図６は技法の一実装形態を実施するための例示的な方法６００を示す。ブロック６０２に示すように、タッチ感応ペンデバイスおよびタッチ感応コンピューティングデバイスからの並行センサ入力の組合せが受け取られる。これらの並行センサ入力は、タッチ感応ペン上の握りパターンに基づく１つまたは複数のセンサ入力と、タッチ感応コンピューティングデバイス上のタッチパターンに基づく１つまたは複数のセンサ入力とを含む。場合によっては、これらの２つの品目のうちの１つをタッチしていないかまたは握っていない場合、ペンまたはタッチ感応コンピューティングデバイス上にタッチパターンが何もないことがある。センサ入力は、ブロック６０４に示すように、どのようにタッチ感応コンピューティングデバイスがタッチされているのかということと並行して、どのようにタッチ感応ペンが握られているのかを決定するのに使用される。例えば、握りパターンとタッチパターンとは、ユーザがユーザの好む手を使用しているのか、またはユーザの好まない手を使用しているのかを決定するために評価される（すなわち、いくつかの実装形態において、タッチ感応コンピューティングデバイス上への手のタッチダウンと、タッチ感応ペンの加速度計またはジャイロスコープにおけるバンプとの相関に基づいて優勢な／好む手が検出され、ペンが好む手に保持されていると仮定される）。文脈に適したユーザインターフェース作用が、ブロック６０６に示すように、タッチ感応ペン上の握りパターンとタッチ感応コンピューティングデバイス上のタッチパターンとの組合せに基づいて開始される。例えば、どのようにペンデバイスがユーザの好む手または好まない手によってタッチされるのかということの決定は、図５に関して説明されるものなど、文脈に適したコマンドまたは機能を開始するために、使用の文脈および／またはユーザの意図を推論するのに使用することができる。

[0102] 図７は、メタ情報を見つけるためにペンおよびコンピューティングデバイスセンサ相関技法を実施するための別の例示的な実装形態７００を示す。ブロック７０２に示すように、２つ以上のタッチ感応デバイス上への単一のユーザによる接触の信号が相関される。例えば、２つ以上のタッチ感応コンピューティングデバイスのうちの１つは、センサペンであることでき、１つはタブレットコンピューティングデバイスであることができる。２つ以上のタッチ感応デバイス上への接触の文脈は、ブロック７０４に示すように、信号の相関に基づいて決定される。決定された接触の文脈は、ブロック７０６に示すように、アプリケーションで使用するためにメタデータとしてラベル付けされる。例えば、文脈メタデータは、何人のユーザがペンまたはタッチ感応コンピューティングデバイスとインタラクトしているのか、何台のデバイスがインタラクトされているのか、ユーザがユーザの好む手にセンサペンを保持しているのかまたはコンピューティングデバイスを保持しているのか、ペンまたはコンピューティングデバイスの個別のまたは相対的な運動、どのようにセンサペンまたはタッチ感応コンピューティングデバイスが握られているのかまたはタッチされているのか、ペンの向き、タッチ感応コンピューティングデバイスの向き、コンピューティングデバイスに対するセンサペンの相対的な向き等々を含むことができるが、それらに限定されない。指紋センサが利用可能である場合、指紋を使用して、どのユーザがデバイスを保持しているのか、ユーザはどの指でデバイスとタッチしているのか、ユーザは自分の好む手を用いてデバイスを保持しているのかどうか、およびとりわけどの握りで保持しているのかを決定することができる。指紋センサは、例えば、ユーザをその指紋によって認識して、ユーザの好みのモードを設定するのにも使用することもできる。ブロック７０８に示すように、メタデータをさらに使用して、文脈に適したユーザインターフェース作用を開始することができ、またはある他の目的で使用することができる。同様の方法を、有利には、２人以上のユーザのメタデータを見つけ、ラベル付けするのに使用することができることに留意されたい。

[0103] 図８は、ペンおよびコンピューティングデバイスセンサ相関技法を実施するためのさらに別の例示的な実装形態８００を示す。ブロック８０２に示すように、ポインティングデバイスがコンピューティングデバイスのタッチ感応表面の所定の範囲内に入るとき、コンピューティングデバイスの存在は感知される。例えば、ポインティングデバイスは、タッチ感応ペンとすることができる。コンピューティングデバイスのディスプレイ画面上の入力の制御は、ブロック８０４に示すように、ポインティングデバイスが所定の範囲内にあるとき、ポインティングデバイスの運動を使用して開始される。ディスプレイ画面上の入力の制御は、ブロック８０６に示すように、ポインティングデバイスが所定の範囲の外側にあるとき、ポインティングデバイスの運動を使用して継続される。ホバー感知が、ポインタ（例えば、ペン）が画面に十分に近いとき、ポインタ先端（例えば、ペン先）のｘ、ｙ位置を感知する電磁デジタイザに固有であることを留意されたい。ポインタ（例えば、ペン）は、その３Ｄ定位（および運動信号）を無線リンクを介して報告し続ける。これは、ある相対的運動を推論するのに、またはカーソル制御を継続するのに使用することもできる。いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、コンピューティングデバイスの位置を追跡するために加速度計または他のセンサデータを使用することもできる。

[0104] 図９は、ペンおよびコンピューティングデバイスセンサ相関技法を実施するための別の例示的な方法９００を示す。タッチ感応コンピューティングデバイス上の主ユーザの握りが、ブロック９０２に示すように、センサデータを使用して感知される（例えば、センサデータは、握りが一方の手を用いており、デバイスが平坦であり、デバイスの加速が主ユーザの対向側にある可能性が最も高い副ユーザに向かっていることを示す）。タッチ感応コンピューティングデバイス上の副ユーザの握りが、ブロック９０４に示すように、センサデータを使用してやはり感知される（例えば、センサデータは、デバイスの対向側の副ユーザの握りを主ユーザとして示す）。主および副ユーザの握りは、ブロック９０６に示すように、握りの文脈を決定するために（例えば、それらがデバイスを共有しているのか、またはデバイスを他のユーザに手渡しているのか）、およびブロック９０８に示すように、タッチ感応コンピューティングデバイス上で実行するアプリケーションにおいてコマンドを開始するために相関される。前に論じたように、握りの文脈は、タッチ感応コンピューティングデバイスが主ユーザから副ユーザに手渡されていることを示すことができる。あるいは、握りの文脈は、主ユーザがタッチ感応コンピューティングデバイスを副ユーザと共有していることを示すことができる。文脈により、異なるコマンドと機能とがタッチ感応コンピューティングデバイス上で有効になる。例えば、それらのデバイスを共有するユーザの意図は、例えば、音声コマンドを使用することによって確認することができる。

[0105] 図１０は、ペンおよびコンピューティングデバイスセンサ相関技法を実施するためのさらに別の例示的な方法１０００を示す。この実装形態において、タッチ感応コンピューティングデバイスおよびタッチ感応ペンの両方は、主ユーザから副ユーザに手渡される。ブロック１００２に示すように、タッチ感応コンピューティングデバイスおよびタッチ感応ペン上の主ユーザの握りを表すセンサ入力が感知される。ブロック１００４に示すように、ほぼ同時に、タッチ感応コンピューティングデバイスおよびタッチ感応ペン上の副ユーザの握りを表すセンサ入力も感知される。ペンおよびタッチ感応コンピューティングデバイス上の主および副ユーザの握りは、握りの文脈を決定するために（ブロック１００６）、および、ブロック１００８に示すように、タッチ感応ペン上またはタッチ感応コンピューティングデバイス上で実行するアプリケーションにおいてコマンドを開始するために相関される。例えば、握りを副ユーザから主ユーザへのペンおよびコンピューティングデバイスのハンドオフを表すと決定することができる。この場合、タッチ感応ペンまたはタッチ感応コンピューティングデバイスの１つまたは複数の機能は、ハンドオフの後に制限することができる。同様に、タッチ感応コンピューティングデバイス上のセンサおよびデジタイザは、同じユーザが異なるデジタイザ上で（例えば、異なるコンピューティングデバイス上で）同じペンを採用していることを示す場合、これは状態情報（ペンのモードまたは色／厚さ／ペン先スタイルなど）またはファイルおよびデータ（現在のクリップボード内容など）を別のデバイスに搬送することができる。これは、例えば、ユーザが一方のタブレットを保持しながら、別の別個のタブレットに筆記しているまたは指をタッチしていることを観察することによって決定することができる。これらの実装形態のいずれかにおいて、決定された文脈は、タッチ感応コンピューティングデバイス上またはタッチ感応ペン上で実行しているアプリケーションにおいてコマンドを開始するのに使用することができる。変形も可能である。例えば、単一のユーザは、単一のタッチ感応ペンを使用して多くのタッチ感応コンピューティングデバイスにコマンドを送るまたはデータを転送することができる。これは、ユーザがデータまたはオブジェクトを１つのデバイスから１つまたは多くの他のデバイスに転送することが可能になる点において有利である。

[0106] ５．０詳細および例示的な実装形態
[0107] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態ならびに技法を実施するための例示的なシステムおよび例示的な方法の序章を提供してきたので、以下の段落では、様々な例示的なペンおよびコンピューティングデバイスセンサ相関技法の実装形態の詳細を提供する。以下の詳細の多くはペンと組み合わせてタブレットコンピュータを使用することを参照するが、これは説明を簡略化するために使用されたただ１つの例示的なデバイスにすぎないことを理解されたい。以下に説明する例示的な実装形態は、任意のタッチ感応コンピューティングデバイス（例えば、電話、デスクトップデジタイザ、ファブレット、電子書籍リーダー、電子ホワイトボード、車両用タッチディスプレイ等々）に使用することができるはずである。

[0108] タッチ画面入力（またはコンピューティングデバイスの他の表面上のタッチ入力）と、タッチ感応ペンの握りとのやりとりを評価することによって、ペンおよびコンピューティングデバイスセンサ相関技法は、どのようにユーザが画面または他のタッチ感応表面をタッチしているのかに関する追加の情報を推論する。タッチ感応ペンの握りからの信号と、コンピューティングデバイス上の素手のタッチ入力からの信号ならびにペンおよびコンピューティングデバイスの運動および向きならびに他のセンサデータとを相関することによって、ペンおよびコンピューティングデバイスセンサ相関技法は、様々な文脈に適したツールおよび運動ジェスチャが、ユーザが相関されたセンサ信号から推論することができる意図的なタスクを完了するのを手助けすることを可能にする。そのような相関は、タッチ画面との接触の前、間、および後に起こる運動または握りセンサデータにおけるやりとり（または場合によって非やりとり）を見ることができる（タブレットデジタイザが関与する相関に対して）に留意されたい。接触の時点におけるまたは時点に近い情報は、例えば、その後になって、さらにセンサ信号およびデバイス入力事象が実時間で到来するとき、より確定的な評価をする可能性があるので、接触のタイプの初期評価を決定するのに使用することができる。このようにして、システムは、ユーザの入力事象に対して即時の、またはほぼ即時の、実時間の応答およびフィードバックを提供する一方で、すべての情報を最大限利用して、できるだけ正しくユーザの動作の文脈を決定することができる。

[0109] 説明のために、以下の議論は、タブレットタイプコンピューティングデバイスの文脈で素描または描画タイプのアプリケーションを参照する。しかし、センサペンおよびタッチ感応コンピューティングデバイスの両方は、任意の所望のアプリケーションタイプまたはオペレーティングシステムタイプと完全にインタラクションおよび相互運用することができることを理解されたい。例えば、能動精読または数学的素描などの他のアプリケーション文脈で、異なるジェスチャまたはマッピングを定義することができる。事実、上記のように、任意の所望のユーザ定義可能なジェスチャおよび並行のペンおよびタッチ入力を、任意の所望のアプリケーション、オペレーティングシステム、またはコンピューティングデバイス用の任意の所望の動作に対して構成することができる。さらに、音声またはスピーチ入力、視線入力、ならびにユーザ近接および身体姿勢入力（深度カメラによって提供されるなど）を、広範囲のハイブリッド入力技法を可能するために、上記に本明細書に論じる様々な入力技法のいずれかと組み合わせることができることも理解されたい。

[0110] ５．１握り＋運動インタラクション技法
[0111] ペンおよびコンピューティングデバイスセンサ相関技法の例示的な実装形態は、注釈、パニングおよびズーミング、ならびにある追加の素描ツールを支持するシンプル素描アプリケーションの文脈で採用された。これらの実装形態の機能のうちのいくつかを以下の段落で論じる。多くの他の実装形態およびこれらの機能の組合せは可能である。

[0112] ５．１．１タッチ感応コンピューティングデバイスに対する感知されたペンの向き
[0113] いくつかの実装形態において、慣性センサ融合により、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、例えば、タブレットなどのタッチ感応コンピューティングデバイスに対して共通の基準フレームを維持することが可能になる。技法のいくつかの実装形態は、握り認識フェーズにおいて、ならびにペン運動（後でより詳細に説明する、エアブラシツール用などの）の解釈において、タブレットの相対的向きを採用する。技法のいくつかの実装形態だけが、タッチ感応コンピューティングデバイス（例えば、タブレット）に対するペンの向きを感知することができる。いくつかの実装形態において、慣性感知は、ある他の絶対的外部基準に頼らずにペンの（ｘ，ｙ）変換またはｚの高さを確実に決定することができない。外部絶対基準が利用可能である他の実装形態において、技法の実装形態は、それが画面自体の感知範囲外であるときでも内部感知機能を絶対基準と融合することによってペン先の絶対（ｘ，ｙ）および高さ（ｚ）を継続して追跡することができる。絶対基準は、外部源（例えば、ペン上のマーキングまたはＩＲ源の光学的追跡）または内部源（例えば、ペンの無線送受信機の近似距離を決定するためのタブレットまたは環境内の他の送受信機からの無線信号強度三角測量）であることができる。概して、ワイヤレスおよび無線信号強度は、別のデバイスに対するデバイスのｘ、ｙ、ｚ位置の良好な推定を得るのに十分であり得る（きめの細かい慣性感知と組み合わせたとき）位置を近似するのに使用することができ、これは複数の内部源または外部源の三角測量により達成することができる。さらに、いくつかの実装形態において、深度カメラを使用して、ペンおよび／またはタッチ感応コンピューティングデバイスを追跡することができる。

[0114] ５．１．２意図的でない手のひら接触の検出
[0115] タッチ感応表面または画面上への意図的でない手のひら接触を感知することは、タッチの始まりに、どのタイプのタッチが起きているのかを区別するにはしばしば不十分な情報であるので、難しい問題である。手のひらを大きな接触領域とのタッチとして認識することができるが、そのような接触は、典型的には、小さく始まり、あるサイズ閾値を通過するにはしばらく時間がかかることがある。また、ある意図的でないタッチ（指関節によって生じた接触など）は、「大きな」接触に変わることは決してない可能性がある。したがって、この戦略は、タッチ事象を処理する際に遅延を必然的に伴い（遅れを生じ）、依然として多くの接触を検出しそこなう可能性がある。

[0116] 安定性を増大させ、疲労を回避するために、ユーザは、自然に自分の手を筆記面上に置くが、現在のタブレットユーザは、タッチ画面回避挙動を採用することが強いられる。単純にユーザがペンを保持していることを感知することは、人々がタッチを使用しながらペンをしまい、画面にタッチするために様々な伸長握りを採用するので、十分でない。各握りを手首の回外の範囲に関連付けることができるので、またユーザがペンを様々なやり方で保持するので、ペンの向きも不十分である。

[0117] しかし、意図的でないタッチは、主として筆記に付随して起こるので、特にユーザが典型的には自分の手をディスプレイ上に置く前に筆記握りを採用するので、筆記握り自体を感知することは、強力な合図である。したがって、非常に控えめな手のひら拒絶手順では、ペンが筆記握りで保持されているとき起こる任意のタッチを単純に拒絶することができる。しかし、これは、ペンが筆記握りで保持されているときはいつでも、好まない手によって行われた意図的なタッチを除外し、それは多くの望ましいシナリオ（例えば、好まない手を用いたパニングおよびズーミング）ならびに同時に起こるペン＋タッチジェスチャを排除する。

[0118] ユーザが自分の手をコンピューティングデバイス（例えば、タブレット）のタッチ感応画面上に載せたとき、それは同時にペンの運動センサ上に対応する信号を誘導する。（デバイスの運動センサはこの運動の一部も拾い上げるが、デバイスのより大きな質量によって幾分減衰される。）それにもかかわらず、ペンおよび／またはタッチ感応コンピューティングデバイス（例えば、タブレット）からの運動信号は、起こる接触のタイプを推論する手助けをするために組み合わせて使用することができ、それら自体、相互に相関させて、したがって、ペンがタッチ感応コンピューティングデバイス（例えば、タブレット）のドックに入れられている（取り付けられている）またはドックに入れられていない間、タッチ感応コンピューティングデバイス（例えば、タブレット）が動かされていることを感知することができる。

[0119] ペンを保持する手がタッチ感応コンピューティングデバイス（例えば、タブレット）と接触するとき、ペンの運動は、他の文脈でバンプ、強打、および激打ジェスチャを用いて示されるものと同様の特徴的な強力な接触プロファイルを示す。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、所与の窓、例えば、１０のサンプルの窓内の最小閾値を超える、ペンの運動センサに対応する信号のピークを探す（例えば、加速度計またはジャイロスコープの３つの組み合わせた軸上の二次有限差分を使用することによって）。手のひら載せが、タッチ画面が新たな接触を検出するのと同時にペンの運動におけるバンプを生じるので、正確にいつこの信号を探すかは知られている。試験されたペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、このピークをわずか５ｍｓ以内にまたは最悪の場合タッチダウン事象後最大５６ｍｓまでに識別することができる。概して、ここで焦点はデバイスの画面部分上への手のひらの接触にあるが、このバンプ信号は、デバイスの前面および後面の両方と手との接触、すなわち、タッチ画面によって、タブレットのケーシング上の握りセンサによって、または両方によって生じたタッチ信号に適用することができることに留意されたい。したがって、デバイスの後面／側面の接触は、様々なタイプの手とペンとの接触も識別することができる。

[0120] したがって、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、バンプ信号にかなり低い閾値を採用し、どちらかと言えば微妙な手のひら接触でも感知が可能になり、その一方で、新たなタッチ画面接触と並行して起きない他の運動信号を自明に拒絶もする。この検出方式は、筆記時のほとんどの通常のペンインタラクションにうまく働く。

[0121] 検出された手のひら接触が存続する限り、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、任意の新たなタッチが初期接触の既定の半径（例えば、３００画素の半径）以内で行われる場合、任意の新たなタッチを「手のひら」としてフラッグを立てることもできる。いくつかの実装形態において、これは、ユーザの握りおよびペンを保持する角度、ならびに、とりわけ手の閉塞モデルなどの相対的な画面の向きを所与として、期待される手の接触領域のモデルを組み込むことができる。ペンおよびコンピューティングデバイスセンサ相関技法の一実施形態は、拡大するにつれてフェードする、手のひらを下にした位置を中心にした「レーダ円」の短い動画を再生することによって、初期手のひら検出のフィードバックを提供する。これは、有利には、ユーザに対して手のひら接触が首尾よく検出されたことを確認する気を散らさないフィードバックを提供する。このフィードバックがないと、ユーザは、自分の手のひらが現在手によって閉塞されている所望されない動作（メニューを呼び出すこと、またはインクトレースを残すことなど）を作動させたか否かに関して不透明感を持ち続ける可能性がある。しかし、そのようなフィードバックは、任意選択であり、ユーザによって、または特定のアプリケーションによって無効にすることができる。

[0122] ５．１．３意図的なタッチの許可
[0123] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、手のひらが画面上に置かれているときでも同時に起こる意図的なタッチを許可する。概して、いくつかの実装形態において、前に検出された手のひら接触の所定の半径の外側にあり、ペン上のバンプに付随していない、手のひらから離れて起こる任意の新たなタッチは、真の意図的なタッチを表す。いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ピンチからズームへのジェスチャを支持するために手のひら接触としてフラッグが立てられていない最初の２つの追加のタッチを使用する。手のひら接触は、手のひらが動いていても、無視され、パン／ズームを妨害しない。他の単一のまたは複数の指または手全体のジェスチャも、支持することができる。

[0124] しかし、いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、手のひらをある意味完全に「拒絶する」のではなく、依然として手のひらを追跡するので、この方式は、正しくメニューを向けるのを助けるためにまたはオブジェクトを固定するためになど、手のひらの位置を入力として使用する技法を支持することもできる。

[0125] ５．１．４拡大鏡ツール対全キャンバスズーム
[0126] 図１１に示す拡大鏡／ルーペツール１１００の機能性は、ユーザが作業空間の文脈全体を失うことなく少数の詳細なストロークをすることを望む素描タスクに特によく適している焦点プラス文脈拡大技法（「ルーペ」と呼ばれる）を採用する。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、どのようにユーザがペンおよびタッチ感応コンピューティングデバイス（例えば、タブレット）とインタラクトしているのかを感知することによって、拡大鏡および全キャンバスズーミングの両方を支持する。

[0127] ユーザがペンをしまうとき（タックまたは手のひら握りで）、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、この握りを認識する。次いで、ユーザが２本指をディスプレイとの接触の状態にする場合、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチ信号とおよそ同じ時間に起こる対応する「バンプ」があるかどうかペンを調べる。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、このペンのバンプ＋２本指タッチ信号の組合せを確認したとき、拡大鏡／ルーペツールをもたらす。２本指タッチ信号は、指が正確に同時にタッチすることを必要としないことに留意されたい。短い猶予時間が許容されるので、同時に行われないタッチがルーペを呼び出すものとして正しく認識され得る。いくつかの実装形態において、単一の指のタッチへの応答が第２の指のタッチが届くためにはわずかに遅延される。他の実装形態において、第２の指が割り振られた時間窓の間、検出された場合、単一の指の動作が開始され、次いで取り消される（またはやり直しされる）。２本指の接触がどのくらい近接して（または離れて）いなければならないかということに関する空間制約は、所望であれば適用することもできる。

[0128] いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態がスタイラスペン上への任意の対応するバンプなしで２本指のタッチを確認した場合、実装形態は、代わりに、ユーザがペンを保持していない自分の他の（好まない）手を用いてタッチを行ったと推論する。いくつかの実装形態において、次いで、これは、図１２に示すように、標準的な２本指のパンおよびズームインタラクションを作動させて、全キャンバスズーム１２００（焦点プラス文脈拡大鏡ツールではなく）を可能にする。

[0129] いくつかの実装形態において、拡大鏡／ルーペツールは、円形ツールの下のキャンバスの領域だけをズームする。拡大鏡／ルーペツールは、ユーザの２本指の間の広がりにより、それ自体のサイズをインタラクション形式で変更する。ユーザは、拡大鏡／ルーペツールの縁上に指をタッチダウンさせて、それを新たな位置にドラッグすることもできる。拡大鏡／ルーペツールの外側のどこかでの単一の指のタップ、またはペンのストロークは、棄却され、キャンバスをそのままその元のズームレベルにする。

[0130] ペンおよびコンピューティングデバイスセンサ相関技法のいくつかの実装形態が、最小運動閾値を採用して、バンプ信号を検出するので、ユーザが自分の指を非常に軽くタッチダウンした場合、ペンはこの閾値を超えるのに十分な運動信号を検出しない可能性があることに留意されたい。それにもかかわらず、ペンおよびコンピューティングデバイスセンサ相関技法のこれらの閾値は、ユーザがペンをしまって自然に自分の指を画面に持ってきたとき生じる運動を検出するのに十分である。

[0131] ５．１．６製図ツール
[0132] 製図ツール（図１３、１３００）機能は、ユーザがしばしば筆記活動が連続する間、筆記握りを維持するとの観察から生まれた。例えば、休止の間、ユーザは、しばしば手首を画面から離して回転させて、ペンを筆記半回外ポーズの状態にする。したがって、筆記握り自体は、ユーザがすぐに筆記できる姿勢でペンを保持することを考慮に入れた様々な製図ツールを提供することによって、明確に支持することができる興味ある文脈を表す。

[0133] いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態において、ユーザは、好まない手の単一の指をタッチダウンすることなどの単一の接触（ペン上の対応するバンプ信号なしの単一のタッチによって認識される）によって製図ツールメニューを明確に呼び出す。ペンが筆記握りで保持される場合、これは、エアブラシおよびコンパス等々を含めて様々なペン＋タッチツールモードを提供する小さなパレットをもたらす。ペンおよびコンピューティングデバイスセンサ相関技法のいくつかの実装形態において、製図ツールメニューが、ユーザが自分の指をタッチダウンさせるとすぐに呼び出される。技法のいくつかの実装形態において、エアブラシは、初期デフォルトモードである。技法のいくつかの実装形態において、次いで、ユーザは別のツール（コンパスなど）をタップして、モードを変更することができる。いくつかの実装形態において、すべての製図ツールは、ばね荷重モードとして実装される。すなわち、モードは、ユーザが自分の指を押し下げる限りにおいてのみ維持される。ユーザが接触を開始したとき、製図ツールメニューは、デフォルトで、ごく最近使用されたツール（モード）を始動させることができることにも留意されたい。これにより、複数の位置における同じツールの反復使用がより効率的になる。エアブラシツール、コンパスツール、ならびに単一タップ仮想ペン軸ボタンの実装形態を以下により詳細に説明する。

[0134] さらに、いくつかの実装形態において、「高度な製図ツール」機能が、ペン上のセンサとタッチ感応コンピューティングデバイス上のセンサとを使用して、センサペンが筆記握りでユーザの好む手に保持されていることを検出し、ユーザの好まない手を用いたコンピューティングデバイスのタッチ感応ディスプレイにおけるピンチする運動などの２本指タッチジェスチャを検出することができる。ユーザの好まない手を用いたピンチする運動は、ペンがすぐに筆記できるとき高度な製図ツールをもたらす。これらの特殊ツールは、第２のタッチから利益が得られるペンの使用をさらに支持する。例えば、これらの製図ツールは、定規もしくはガイド縁、雲形定規もしくは新たな用紙を引き出す機能（２本指の位置および回転を用いて）を含むことができる。ユーザは、２本指のうちの一方を持ち上げる（または下に戻す）ことによって高度な製図ツールと標準的な製図ツールとの間を前後に動くこともできる。図示するツールセットは、ディスプレイ上に置いた指の数に対応する。

[0135] ５．１．６．１エアブラシツール
[0136] エアブラシツールの一実施形態は、はじめは、ユーザがペイントフローを開始した場合エアブラシがスプレーをかける場所のカーソルフィードバックを灰色の断続線の楕円として示す。ユーザが（好まない手）指の位置によってエアブラシツールがスプレーをかけるべき場所を示す。これは、（前に記載したように）慣性感知がタブレットより上のペン先の絶対（ｘ，ｙ，ｚ）位置を決定することができず、タブレットに対する３Ｄ定位だけしか決定できないので、必要である。ペンの向きの相対的感知は、スタイラスペンではなく、タッチ感応コンピューティングデバイス（例えば、タブレット）を回転させることによって示すことができる。

[0137] 一実装形態において、ユーザは、ペンのタッチ感応画面／タブレット表面に対するアジマスおよび迎角を変更することによって、スプレー楕円を制御する。タブレットの制限された約１５ｍｍの近接感知範囲内にもペンを維持しながらペンの向きを変えることが困難な可能性があるので、ペンの傾斜角を採用しないエアブラシ風ツールの前の探索と異なり、ユーザは画面の十分に上にペンを保持することができ、ペンを所望の通りの角度にすることが容易にできる。いくつかの実装形態において、別個の感知チャネル（近接センサなど）を使用して、画面より上のペンの高さを決定することができ、次いで、それによって、スプレー楕円のサイズ（範囲）が決定される。

[0138] いくつかの実装形態において、ユーザは、以下にさらに詳述されるように感知される、自分の人差し指でペンの軸上をタップすることによってペイントフローをオンおよびオフにする。ユーザがスプレーを始動させたとき、フィードバックは、ボールド体の赤色断続線の楕円に変わって、作り出されるスプレーの形状の明確なフィードバックを与える。一試作品において、透明性の高い楕円がキャンバス上に「スプレーされる」。ユーザは、ペン軸と接触した指を物理的なスライダーコントロールであるかのようにスライドさせることによって、楕円のサイズまたはスプレーの透明性も調整することができる。指の接触の運動は、ペンの握りセンサによって感知し、追跡することができる。

[0139] ５．１．６．２単一タップ仮想ペン軸ボタン
[0140] 技法の実装形態は、スタイラスペン感知チャネルの一部または全部を戦略的に組み合わせることによって仮想軸ボタンの単一タップ始動を首尾よく支持する。本明細書に説明する単一タップ仮想ペン軸ボタンの実装形態は、ペンの運動データに加えて握り感知データを使用する。

[0141] 候補タップ事象を識別するために、ペンおよびタッチ感応コンピューティングデバイスセンサ相関技法のいくつかの実装形態は、新たなタッチ接触がペンの軸上の容量センサを使用することによって作成される容量画像マップ上に現れるのと同時に、指タップからのペンの軸上のバンプ信号を探す。しかし、これだけでは、握りを変えることにより、新たな指接触と一致するバンプ信号も生じることがあるので、ペンを握りなおすことによって生じる誤判定を除去するのに十分でない可能性がある。これらを除去するために、技法のいくつかの実装形態は、ユーザが人差し指を持ち上げて軸上をタップするとき（観察Ｂ９による）、ユーザがペンを依然として筆記握りで保持して、安定した三脚つかみを維持するとの観察を利用する。筆記握りの検出により、誤検出が起きそうにないことを確認するゲートが設けられるので、これは有利である。したがって、技法の様々な実装形態は、進行中の加速度計およびジャイロスコープの信号を調べ、単純な時間減衰運動信号を計算して、デバイスが移動していのるかまたは依然として保持されているのかを決定する。次いで、ペンが移動していないときに起こる候補タップ事象だけが受け入れられ、それは効果的に任意の誤接触を除去する。１つの実際に使える実装形態において、ペンは、新たな移動（または移動していない）状態に少なくとも１００ｍｓにわたってとどまらなければならない。それ以外の場合、ペン軸タップ自体が「移動」信号の短い始動を作動させることがあり、それによって、もちろん、軸タップの認識が妨害されるはずである。

[0142] ５．１．６．３コンパスツール
[0143] 製図ツールパレットは、コンパスも含み、コンパスは、ペンが指の（この場合もやはり好まない手の）現在の位置を中心とした円弧を描くように強いられるペン＋タッチモードを支持する。

[0144] ５．１．７ペンコントロール
[0145] 別の例として、ペンがしまわれている間のタップなどの単一の指接触により、ペンコントロール（図１４、１４００）を含む小さなインプレースパレットがもたらされ、ユーザは、作業空間の端においてドックに入れられたツールバーを往復しなくても、モードを変更することまたはペンの色およびストロークの深さを変更することが可能になる。この例は、ユーザが任意の単一の指を使用して伸長握りからタッチ画面をタップして、タッチ画面接触をしたとき、この場合もやはりペン上に発生されたバンプを利用する。ツールは指の隣に現れる。次いで、研究によるとユーザがペンおよびタッチがＵＩコントロールと互換可能であることを期待していることが一貫して分かっているので、ユーザはペンまたはタッチのいずれかを使用してラジアルメニューとインタラクトすることができる。いくつかの実装形態において、これらのまたは関連したコントロールは、タップ（すなわち、フィンガーダウン＋フィンガーアップシーケンス）またはタップアンドホールド（フィンガーダウン＋画面との指の接触の維持）のいずれかによって作動させることができることに留意されたい。後者は、特に、指がデジタイザと接触したままである限り維持されるばね荷重モードにつながる。

[0146] ５．１．８キャンバスツール
[0147] キャンバスツール（図１５、１５００）は、ペンのセンサとタッチ感応コンピューティングデバイス上のセンサとを使用して、いつユーザがセンサペンを非筆記位置でユーザの好む手に保持しているのかを検出し、いつ、例えば、指タップなどの単一の接触をコンピューティングデバイスのタッチ画面上へのユーザの好まない手を用いて行われたのかを検出する。これらの相関された並行動作により、キャンバスツールのメニューがコンピューティングデバイスのディスプレイ上に表示される。例えば、このツールのメニューは、取り消し／やり直し、切り取り−複写−貼り付け、改ページ、検索および同様のコマンドを含むことができる。ペンツールのように、いくつかの実装形態において、キャンバスツールおよび関連したツールは、実装形態により、タップまたはタップアンドホールドジェスチャのいずれかによって作動させることができる。

[0148] ５．１．９タッチ感応コンピューティングデバイス／タブレットの握り検出
[0149] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチ感応コンピューティングデバイスのケースの後面および側面上の容量握り感知を使用して、いくつかの追加の接触を検出し、それらの文脈を決定する。

[0150] ５．１．９．１親指メニューおよび利き手検出
[0151] ユーザがタッチ感応コンピューティングデバイス（例えば、タブレットまたは他の同様のデバイス）を、両手を用いて取り上げ、保持し、ペンを利用不可能にするする多くの場合がある。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、握りを使用して、どちらの手を用いてユーザがタッチ感応コンピューティングデバイスを保持しているのかを感知する。次いで、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、これを使用して、親指メニュー（図５、５３４）をタッチ感応コンピューティングデバイス（例えば、タブレット）の適切な側に呼び出し、親指メニューにより、ユーザは、様々なボタンおよびメニューを、直接親指を用いて始動させることが可能になる。ユーザがタッチ感応コンピューティングデバイス（例えば、タブレット）を第２の手を用いてつかんだ場合、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、親指メニューを最初に現れた側に見えるままにする。他の実装形態において、親指メニューを２つの親指の間で分割する（または複製する）ことができる。

[0152] ユーザがタッチ感応コンピューティングデバイスを一方の手を用いて保持しながら、ペンをつかむのが観察される場合、ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、ユーザの利き手を直ちに推論することができる。ペンを保持する手が好む手であると推論され、タッチ感応コンピューティングデバイス（例えば、タブレット）を保持する手が好む手でないと推測することができる。いくつかの技法の実装形態は、ユーザの手がタッチ感応コンピューティングデバイス（例えば、タブレット）上の握りセンサに接触するときにペン上へのバンプを探すことによって、タッチ感応コンピューティングデバイス（例えば、タブレット）を、ペンを保持する手でつかみ取るまたは握るのかどうかを見分けることもできる。

[0153] ５．１．９．２意図的でない親指接触の検出
[0154] いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態において、親指メニューが最初に現れたとき、短い（例えば、1.5秒）間隔にわたってフェードし、同様に、ユーザがタッチ感応コンピューティングデバイスから手を離した場合、親指メニューが短い時間（例えば、350ms）の後フェードアウトする。この動画フィードバックの目的は、親指メニューを暫定的な状態で提示することにあり、したがって、タブレットを取り上げながらユーザの親指がタッチ画面上にそれた場合、親指接触を無視する、またはそれ以外の場合、意図的でなさそうな入力として取り扱うことができる。

[0155] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、タッチがタブレットケースの対応する後面部分上の新たな手の握りと同時に（または、その後すぐに）起きた場合、親指が意図的でないタッチを表すことを推論する。次いで、いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、親指を意図的でない接触として検出し、意図的でない親指接触がそれと重なる場合、親指メニューのフェードインをフリーズさせる。このフィードバックは、親指接触が認識されたが、メニューの不測の始動を防止するためにインターセプトされたことをユーザに示す。次いで、ユーザは、所望であれば、単純に親指を持ち上げ、それをメニュー上に戻すことによって意図的に親指メニューとインタラクトすることができる。フェードイン動画は、ユーザが自分の親指を持ち上げ次第、継続する。ユーザがタッチ感応コンピューティングデバイスを取り上げるとき親指を画面上に置かなかった場合、フェードインは、親指メニューが完全に使える状態にあるとの二次的合図としても働く。不測の始動は、主に、ユーザが最初にタッチ感応コンピューティングデバイスをつかんだときに起こる傾向があるので、数秒が経過した後、画面との任意の手の接触が意図的であったと仮定される。したがって、これは、あるアプリケーションにおける画面の端近くの任意の手の接触を無視する単純な親指ブロッキング発見的問題解決法と異なり、どのようにペンおよびコンピューティングデバイスセンサ相関技法の実装形態の検出方式が、意図的なタッチが通り抜けることを可能にしながらも、意図的でないタッチをブロックするのかを例示する。

[0156] ５．１．１０．３ハンドオフ：別のユーザへのペンまたはタッチ感応コンピューティングデバイスの手渡し
[0157] ペンおよびコンピューティングデバイスセンサ相関技法の実装形態において、タッチ感応コンピューティングデバイス（例えば、タブレット）またはペンを別のユーザに手渡しすることが、コンテンツを別のユーザと共有する代替の、より物理的な意味論を提供するためのやり方として使用される。手渡し把持の研究および他のユーザ観察は、ユーザが具体的な運動のシーケンスを経ることを示す。まず、ユーザは、相手の人に対象物を提供するためにおよそ水平にそれを保持しながらそれを差し出し、次いで、ユーザは相手の人が対象物をしっかりとつかむまで自分の握りを維持する。次いで、デバイスを手渡す人は手を放し、相手の人はそれを自分の体により近づけ、しばしば、その一方で、画面を自分の好む視野角にも向ける。このシーケンスの全部または一部は、手渡し把持インタラクションを検出するために感知することができる。

[0158] 例えば、図１６はペン１６０４を副ユーザ１６０６に手渡しする主ユーザ１６０２を示す。タッチ感応ペン上の主ユーザの握りは、感知される（例えば、バトン握り）。同時に、またはほぼ同時に、タッチ感応ペン上の副ユーザの握りも感知される。ペン上の主および副ユーザの握りは、握りの文脈を決定するために、およびタッチ感応ペン（および／またはペンと通信するコンピューティングデバイス）上で実行するアプリケーションにおいてコマンドを開始するために相関される。例えば、副ユーザの握りは、副ユーザから主ユーザへのペンのハンドオフを表すと決定することができる。この場合、データをペンのハンドオフを介して主ユーザから副ユーザに転送することができる。あるいは、タッチ感応ペンの１つまたは複数の機能をハンドオフの後に制限することができる。

[0159] 同様に、図１７は、タッチ感応コンピューティングデバイス１７０４を副ユーザ１７０６に手渡しする主ユーザ１７０２を示す。いくつかのペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、いつ各ユーザがデバイスをつかむのかを決定するためにデバイスのケースの握り感知を使用し、デバイスの向きが水平であることを決定するためにデバイスの向きを使用して、タッチ感応コンピューティングデバイス上の２人のユーザの握りを検出するためにセンサを採用する。検出された握りおよびデバイスの向き（ならびに場合により他のデータ）を使用して、タッチ感応コンピューティングデバイスを使用する際に異なる許可の組を有する異なる役割を各ユーザに割り当てる。いくつかの実装形態において、これらの状態が検出されたとき、透明フィルムまたはベラムのシートがディスプレイ一面にわたって落とされたかのように特殊注釈層が画面一面にわたってはがれる。次いで、他のユーザは、コンテンツに自由に注釈を加えることができるが、デジタル複写はできない、または他の文書もしくはファイルにナビゲートできない。これは、他のデバイス間情報転送技法によって支持される情報のデジタル転送とは非常に異なり、それよりもずっと多く限定された共有の形である。ペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、単一のユーザが両手を用いてディスプレイを保持し続けるとき、タブレットハンドオフを作動させない。そのようなインタラクションの間、ユーザはタブレットを自分自身の方に傾ける傾向があり、したがって、タブレットは水平ではない。同様のやり方で、デバイスが机上で完全に平らであるインタラクションは、ユーザが両手を用いて自分のデバイスをふとタッチするまたは保持する場合、ユーザが非意図的にタブレットハンドオフを作動させないように検出することができる。

[0160] ５．２センサ上のバンプとの相関の前の履歴
[0161] ペンおよびコンピューティングデバイスセンサ相関技法のいくつかの実装形態は、タッチ感応ペンおよび／またはタッチ感応コンピューティングデバイス上のセンサの過去のデータ（例えば、センサデータを絶えず記録することによって取得された）を分析する。このデータを、例えば、タッチがペンの動きと相関されたことを確認または強化するためにペンのタッチダウンに関連付けられているバンプの時点でとられたセンサデータと相関させることができる。現在の相関データに加えて過去の相関データを使用する技法の実装形態は、そうでないものよりも堅牢であることができる。例えば、接触が手のひらであり、ペンが同時に動かされている間、非優位の手を用いて偶然にタッチダウンされていないことを確認するためにバンプ検出の時点で認識される自分の手を下に置いて書く人に関連付けられたセンサデータの少し前にペンに関連付けられた加速度／減速度パターンがあり得る。

[0162] ６．０例示的なシステムハードウェア
[0163] 試作品の実装形態において、予測される文脈感知技法の範囲を支持するために、カスタムハードウェアが、タッチ画面からの同時に起こるペン＋タッチ事象を処理するために慣性センサおよび容量握り感知、ならびにカスタムソフトウェア／ファームウェアを用いてペンおよびタッチ感応コンピューティングデバイスを増強するように設計された。以下の例示的な試作品のハードウェアおよびソフトウェア／ファームウェアの説明は、どのように本明細書に論じる実装形態を実装することができるのかを、限定することが意図されているのでなくて、示すために提供される。当業者は、多くの他の実装形態が可能であることを理解されよう。

[0164] ６．１．ペンのハードウェア設計
[0165] １つの例示的な実際に使える実装形態において、７ｘ３０感知素子からなる可撓容量性グリッドが、センサを保護するためにおよび感知のための滑らかで握りやすい円筒表面を提供するために熱収縮チューブでくるまれたペンの軸全体を覆う。ペンの内部は、小型の電磁ペン、単６形電池、およびカスタム回路を保持する３Ｄ印刷されたケースからなる。慣性感知には、ジャイロスコープならびに加速度計／磁力計モジュールが使用された。容量感知には、タッチコントローラが採用された。ペンは、２Ｍｂｐｓで動作する送受信機を使用してすべてのデータをホストコンピュータに流す。マイクロコントローラがファームウェアを起動する。

[0166] この特定の実装形態において、すべての慣性センサデータが１３０Ｈｚでペンにおよび３０Ｈｚで７ｘ３０容量マップに流される。結果として得られるペンは、長さが１９ｃｍであり、外径が１３ｍｍである。

[0167] ６．２タッチ感応コンピューティングデバイス／タブレットのハードウェア設計
[0168] この例示的な試作品システムにおけるタッチ感応コンピューティングデバイスは、タブレットコンピュータである。タブレットケースは、タブレットの後部表面と側面との全体を覆う。硬質ケースは、４４ｘ２６容量感知素子からなる印刷回路板から構築される。集積回路が取り付けられる小さな非感受性領域（ケースの後面の中央に）がある。ケースは、ペンと同じセンサ構成要素を含むが、ただし、容量性グリッドの異なる部分に対して４つのタッチコントローラがある。タブレットセンサデータは、ＵＳＢを介して流され、タブレットの慣性センサは１００Ｈｚで標本化され、タブレットの４４ｘ２６容量マップは２５Ｈｚで標本化される。

[0169] ６．３タッチ画面から同時に起こるペンおよびタッチ
[0170] マルチタッチおよびペン事象は、それらを直接ヒューマンインターフェースデバイス（ＨＩＤ）コントローラからインターセプトすることによって処理された。この方式を使用して、Ｓａｍｓｕｎｇ Ｃｏｒｐｏｒａｔｉｏｎ Ｓｅｒｉｅｓ ７ Ｓｌａｔｅが、ペン入力と同時に最大８つまでのタッチ接触を報告することができる試作品に使用された。

[0171] ６．４ソフトウェア／ファームウェアの設計
[0172] いくつかの技法の実装形態は、外部ＰＣ上のペンおよびタブレットのセンサデータを処理のために集め、タイムスタンプし、次いで、関連する入力事象をユーザインターフェースにおける提示のためにタブレットに伝送する。さらに、いくつかの技法の実装形態は、外部ＰＣ上の握り認識を計算する。したがって、一実装形態は、タッチ感応ペン、タブレットケース、タブレット自体、および外部ＰＣの４つの協調構成要素を有する分散型システムからなる。しかし、センサデータならびに握り認識を集め、タイムスタンプすることは、タブレットコンピュータ上で実施することができ、それによって、独立型のパーソナルコンピュータ（ＰＣ）の必要がなくなることに留意されたい。ケースは、直接タッチ感応コンピューティングデバイスに統合することができる。いくつかの実装形態において、すべての分散型事象ストリームからのタイムスタンプされたデータは、同期バッファにおいて待ち行列に入れられる。次いで、いくつかの技法の実装形態は、これらのバッファからの事象をすべての事象が利用可能である最新のタイムスタンプまで処理する。他の実装形態において、いくつかの事象は、実時間で送り出されるが、続いて、将来の事象サンプルがそれらの解釈を改変するはずの他の伝送源から到来した場合変更される。これは、フィードバックを遅延させ、暫定的フィードバックを表示し、またはエンドユーザアプリケーションにおける推測動作を取り消すことによって達成することができる。

[0173] ６．５慣性センサの融合
[0174] いくつかの技法の実装形態は、方向余弦行列アルゴリズムを使用して加速度計、ジャイロスコープ、および磁力計のセンサ入力を組み合わせる。これにより、東−北−上地球座標系において安定したヨー、ピッチ、およびロールの値が得られる。これは、タブレットに対して一貫性のある基準座標系においてペンの向きを導出するのに使用される。

[0175] ６．６ペン握りの分類
[0176] 試作品の実装形態は、筆記、タック、手のひら、および握りなし（ペンが保持されていないときの）の４つの個別の握りを認識する。観察された挙動Ｂ４（握り対ポーズ）により、握り認識は、手の接触（容量握り感知）のパターンならびにスタイラスペンのポーズ（向き）を考慮する。システムの試作品の実装形態は、際立った特徴を抽出するために入力データを処理し、次いで、ペン握りを抽出するようにマルチクラス分類子を訓練する。技法の実装形態は、各学習者がサポートベクターマシン（ＳＶＭ）分類子である一対全の学習者の組を使用することによってペン握りパターンのマルチクラス分類を実施する。その結果は、すべての４つの握りにわたる確率分布である。

[0177] 技法の実装形態は、ペンのフォームファクタの独自の検討を考慮に入れる握り分類の特徴を選択する。具体的には、ペンはペン軸の対称軸に沿って対称（円筒形）であるので、感知された握りはペンのロール角に対して不可知である。同様に、ユーザがペンを軸の下部で握るのかまたは上部で握るのか、またはユーザの手のサイズは、握り分類に影響してはならない。したがって、システムのいくつかの実装形態は、握りの高さおよびロール角の両方に対して不変の正規化画像を計算する。生の７ｘ３０容量マップから、システムは、非ゼロ容量値を７ｘ１０正規化画像に収める。容量マップはｙ次元でシフトされ、したがって、点灯（非ゼロ容量）画素の最初の行は正規化画像の底部に対応し、次いで、正規化画像の１０行に収まるように非ゼロ容量画素を拡大縮小する。したがって、握り分類に採用された特徴は、ｘおよびｙ次元におけるペンのヨー角およびピッチ角、正規化握り画像、ならびに正規化握りヒストグラムを含む。技法の実装形態は、点灯（非ゼロ）画素の数の特徴および生の容量マップからすべての７ｘ３０容量値の画素合計も含む。

[0178] ６．６握り訓練データセット収集
[0179] 一実装形態において、全員がペンおよびタブレットの使用に以前に触れたことがある右利きの参加者９人（女性４人）が、握り訓練データセットを生成するのに利用された。ユーザは、具体的な握りを例示する台本と、各握りを実施する動作とに導かれた。これらは、タックおよび手のひら握り（挙動Ｂ２）の両方からタッチ（観察された挙動Ｂ１による）を使用しながらペンをしまうことを含んでいた。握り（挙動Ｂ３）の間の様々な共通の移行を捕捉するために異なるタスクのシーケンスも含まれた。ユーザは、タップ、ドラッグ、およびピンチなどの直接操作ジェスチャの明確な表現とともに、筆記と単一の指および２本指伸長握り（挙動Ｂ５）との間の移行を含む各握りの回外の全範囲（挙動Ｂ４）に導かれた。しかし、使用する特定の三脚握りは何も指定されず、むしろ、ユーザは、データセットがユーザ間の筆記握りの変形（挙動Ｂ６による）を捕捉するように、ペンを自然に保持することが許容された。データ収集は、ユーザごとにおよそ１５分持続し、各ユーザに対して握りごとに合計１２００サンプルが得られ、１２００ｘ３種類の握りｘユーザ９人＝３２４００サンプルの合計訓練データセットが生じた。

[0180] ６．６ペン握り認識精度
[0181] 収集された握り訓練データセットを使用する１０分割交差検証により、ユーザに依存しないモデルとして８８％の全体の精度が得られた。さらに右利きのユーザ９人により別個の確認が行われ、それらのだれもデータを訓練データセットに寄与しなかった。これにより、筆記握りに対してユーザに依存しない握り認識精度９３％、タック握りに対して９３％、および手のひら握りに対して７７％が得られた。手のひら握りに対する相対的に低い認識率は、この握りではペンを非常に軽く保持する何人かのユーザの傾向から起こるように見え、結果として、容量握りアレイによって感知された接触の幾分一貫性のないパターンとなった。しかし、システムは、依然として、精度９７％で筆記対非筆記握り（すなわち、タックまたは手のひら）を区別することができた。ほとんどのインタラクション技法がタック対手のひら握りの任意の区別に依存しないので、新たに出会ったユーザの訓練データを収集しなくても大変うまくいくこのユーザに依存しない握りモデルが使用された。

[0182] ７．０例示的な動作環境
[0183] 本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の実装形態は、数多くのタイプの汎用または専用コンピューティングシステム環境または構成内で動作可能である。図１８はペン、または本明細書に説明するように、ペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態および要素を実装することができる様々なセンサで機能強化されたペンと組み合わせた汎用コンピュータシステムの簡略化された例を例示する。図１８に破線または断続線で表される任意の四角形は、簡略化されたコンピューティングデバイスおよびセンサペンの代替の実装形態を表すこと、およびこれらの代替の実装形態のいずれかまたは全部は、以下に説明するように、本文書全体を通して説明される他の代替の実装形態と組み合わせて使用することができることに留意されたい。

[0184] 例えば、図１８は、簡略化されたタッチ感応コンピューティングデバイス１８００を示す全体的なシステムの図を示す。概して、そのようなタッチ感応コンピューティングデバイス１８００は、１つまたは複数のタッチ感応表面１８０５または領域（例えば、タッチ画面、タッチ感応ベゼルまたはケース、ホバータイプ入力の検出のためのセンサ、光学タッチセンサなど）を有する。タッチ感応コンピューティングデバイス１８００の例は、コンピューティングデバイスに接続されたタッチ感応ディスプレイデバイス、タッチ感応電話デバイス、タッチ感応メディアプレーヤ、タッチ感応電子書籍リーダー、ノートブック、ネットブック、ブックレット（デュアル画面）、タブレットタイプコンピュータ、または１つまたは複数のタッチ感応表面または入力様式を有する任意の他のデバイスを含むが、それらに限定されない。

[0185] デバイスがペンおよびコンピューティングデバイスセンサ相関技法を実装することを可能にするために、コンピューティングデバイス１８００は、基本的計算動作を可能にするために十分な計算機能とシステムメモリを有するべきである。さらに、コンピューティングデバイス１８００は、加速度計、ジャイロスコープ、磁力計、指紋検出器、深度カメラを含むカメラ、容量センサ、近接センサ、マイクロホン、マルチスペクトルセンサなどを含むがそれらに限定されない１つまたは複数のセンサ１８１０を含むことができる。図１８によって例示されるように、計算機能は一般に１つまたは複数の処理ユニット１８２５によって例示され、１つまたは複数のＧＰＵ１８１５も含むことができ、いずれかまたは両方ともシステムメモリ１８２０と通信する。コンピューティングデバイス１８００の処理ユニット１８２５は、ＤＳＰ、ＶＬＩＷ、または他のマイクロコントローラなどの専用マイクロプロセッサであることができ、あるいはマルチコアＣＰＵ内の専用ＧＰＵベースコアを含む１つまたは複数の処理コアを有する従来のＣＰＵであることができることに留意されたい。

[0186] さらに、コンピューティングデバイス１８００は、例えば、センサペンデバイス１８３５からの通信を受信するための通信インターフェース１８３０などの他の構成要素を含むこともできる。コンピューティングデバイス１８００は、１つまたは複数の従来のコンピュータ入力デバイス１８４０またはそのようなデバイス（例えば、ポインティングデバイス、キーボード、オーディオ入力デバイス、音声またはスピーチベース入力および制御デバイス、ビデオ入力デバイス、触覚入力デバイス、タッチ入力デバイス、有線またはワイヤレスデータ送信を受信するためのデバイスなど）の組合せを含むこともできる。コンピューティングデバイス１８００は、例えば、１つまたは複数の従来のコンピュータ出力デバイス１８５０（例えば、ディスプレイデバイス１８５５、オーディオ出力デバイス、ビデオ出力デバイス、有線またはワイヤレスデータ送信を送信するためのデバイスなど）などの他の任意選択の構成要素を含むこともできる。典型的な通信インターフェース１８３０、入力デバイス１８４０、出力デバイス１８５０、および汎用コンピュータ用記憶デバイス１８６０は、当業者によく知られており、本明細書には詳細に説明しないことに留意されたい。

[0187] コンピューティングデバイス１８００は、様々なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、記憶デバイス１８６０を介してコンピュータデバイス１８００によってアクセスすることができ、コンピュータ可読またはコンピュータ実行可能命令、データ構造、プログラムモジュール、または他のデータなど、情報の記憶のための、取り外し可能１８７０であるか、および／または取り外し不可能１８８０であるかのいずれかである揮発性および不揮発性媒体の両方を含む任意の利用可能な媒体であることができる。例により、および限定ではなく、コンピュータ可読媒体は、コンピュータ記憶媒体と、通信媒体とを備えることができる。コンピュータ記憶媒体とは、ＤＶＤ、ＣＤ、フロッピーディスク、テープドライブ、ハードドライブ、光学ドライブ、固体メモリデバイス、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶デバイス、または所望の情報を記憶するのに使用することができ、１つまたは複数のコンピューティングデバイスによってアクセスすることができる任意の他のデバイスなど、有形のコンピュータもしくは機械可読媒体または記憶デバイスを表す。

[0188] コンピュータ可読またはコンピュータ実行可能命令、データ構造、プログラムモジュールなどの情報の記憶は、様々な上述の通信媒体のいずれかを使用して、１つまたは複数の変調データ信号もしくは搬送波、または他の輸送機構もしくは通信プロトコルを符号化することによって達成することもでき、任意の有線またはワイヤレス情報配信機構を含む。「変調データ信号」または「搬送波」という用語は、一般に、その特性集合のうちの１つまたは複数を有する、または情報を信号内に符号化するようなやり方で変更した信号を表すことに留意されたい。例えば、通信媒体は、１つまたは複数の変調データ信号または搬送波を送信するおよび／または受信するために、１つまたは複数の変調データ信号を搬送する有線ネットワークまたは直接有線接続などの有線媒体と、音響、ＲＦ、赤外線、レーザ、および他のワイヤレス媒体などのワイヤレス媒体とを含む。上記のいずれかの組合せも、通信媒体の範囲内に含まれるはずである。

[0189] コンピュータ可読またはコンピュータ実行可能命令、データ構造、プログラムモジュールなどの情報の保持は、様々な上述の通信媒体のいずれかを使用して、１つまたは複数の変調データ信号もしくは搬送波、または他の輸送機構もしくは通信プロトコルを符号化することによって達成することもでき、任意の有線またはワイヤレス情報配信機構を含む。「変調データ信号」または「搬送波」は、一般に、その特性集合のうちの１つまたは複数を有する、または情報を信号内に符号化するようなやり方で変更した信号を表すことに留意されたい。例えば、通信媒体は、１つまたは複数の変調データ信号または搬送波を送信するおよび／または受信するために、１つまたは複数の変調データ信号を搬送する有線ネットワークまたは直接有線接続などの有線媒体と、音響、ＲＦ、赤外線、レーザおよび他のワイヤレス媒体などのワイヤレス媒体を含む。上記のいずれかの組合せも、通信媒体の範囲内に含まれるはずである。

[0190] さらに、本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の様々な実装形態の一部または全部を採用するソフトウェア、プログラム、および／またはコンピュータプログラム製品、またはそれらの部分は、コンピュータ実行可能命令および／または他のデータ構造の形でコンピュータもしくは機械可読媒体もしくは記憶デバイスおよび通信媒体の任意の所望の組合せから記憶し、受信し、送信し、および／または読み取ることができる。

[0191] 最後に、本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法は、コンピューティングデバイスによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈でさらに説明することができる。一般に、プログラムモジュールは、特定のタスクを実施するまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。本明細書に説明する実装形態は、タスクが１つまたは複数の遠隔処理デバイスによって、または１つまたは複数の通信ネットワークを通してリンクされる１つまたは複数のデバイスのクラウド内で実施される、分散型コンピューティング環境で実施することもできる。分散型コンピューティング環境において、プログラムモジュールは、媒体記憶デバイスを含む局所および遠隔コンピュータ記憶媒体の両方に配置することができる。またさらに、上述の命令を、部分的にまたは全体的に、プロセッサを含んでも含まなくてもよいハードウェアロジック回路として実装することができる。

[0192] 図１８によって例示されるセンサペンデバイス１８３５は、ペン、またはペンセンサ１８４５、ロジック１８６５、電源１８７５（例えば、電池）、基本Ｉ／Ｏ機能１８８５を用いて増強されたペンの簡略化されたバージョンを示す。上に論じたように、センサペンデバイス１８３５に使用するためのペンセンサ１８４５の例は、慣性センサ、深度カメラを含むカメラ、近接センサ、指紋センサ、電気皮膚反応センサ、加速度計、圧力センサ、握りセンサ、近距離無線通信センサ、ＲＦＩＤタグおよび／またはセンサ、温度センサ、マイクロホン、磁力計、容量センサ、ジャイロスコープなどを含むが、それらに限定されない。

[0193] 概して、センサペンデバイス１８３５のロジック１８６５は、コンピューティングデバイス１８００の計算機能と同様であるが、一般に計算速度、メモリなどに関してより強力ではない。しかし、センサペンデバイス１８３５は、独立型の能力がある計算デバイスとみなすことができるように十分なロジック１８６５を用いて構築することができる。

[0194] センサペンデバイス１８３５の電源１８７５は、交換可能電池、再充電可能電池、容量性エネルギー蓄積デバイス、燃料電池などを含むがそれらに限定されない様々なフォームファクタで実装される。最後に、センサペンデバイス１８３５のＩ／Ｏ１８８５は、センサペンデバイスがセンサデータおよび／または他の情報をコンピューティングデバイス１８００に通信することが可能になる従来の有線またはワイヤレス通信機能を提供する。

[0195] ペンおよびコンピューティングデバイスセンサ相関技法の前述の説明は、例示および説明の目的で提示されてきた。開示される正確な形態で網羅することまたは特許請求される主題を限定することは意図されていない。上記の教示に照らして多くの変更および変形が可能である。さらに、上述の代替の実装形態のいずれかまたは全部は、所望の任意の組合せで使用して、ペンおよびコンピューティングデバイスセンサ相関技法のさらにハイブリッドな実装形態を形成することができることに留意されたい。例えば、本明細書に説明するペンおよびコンピューティングデバイスセンサ相関技法の多くの実装形態の一部を可能にするのに使用される様々なデバイスは、ペン、ポインタ、ペンタイプ入力デバイスを含む。しかし、本明細書に説明する機能性は、任意の所望のフォームファクタ、例えば、様々なゲームデバイス、ゲーム機、または他のコンピューティングデバイスに使用するための電話、ペン型スキャナ、杖、ボールラケット、おもちゃの剣などで実装することができる。さらに、本明細書に説明するセンサペンは、電力供給装置、および様々なコンピューティングデバイスとインターフェースするための様々なワイヤレス通信機能と組み合わせて、慣性センサ、深度カメラを含むカメラ、加速度計、圧力センサ、握りセンサ、近距離無線通信センサ、ＲＦＩＤタグおよび／またはセンサ、温度センサ、マイクロホン、磁力計、容量センサ、ジャイロスコープなどを含むが、それらに限定されないセンサの様々な組合せを組み込むように適合される。これらのセンサのいずれかまたは全部は、多軸または多位置センサ（例えば、３軸加速度計、ジャイロスコープ、および磁力計）であることができることに留意されたい。さらに、様々な実装形態において、本明細書に説明するセンサペンは、センサペンが他のコンピューティングデバイス、他のセンサペンと組み合わせてまたは協調して、あるいは独立型のコンピューティングデバイスとしても働くことが可能になるメモリおよび／またはコンピューティング機能を組み込むようにさらに適合されている。

[0196] ペンおよびコンピューティングデバイスセンサ相関技法は、センサペンおよびタッチ感応コンピューティングデバイスへの実際のタッチを感知するが、仮想タッチ入力に採用することもできる。投影されたディスプレイ、電子ホワイトボード、または他の表面もしくは物体に対する仮想タッチ入力は、ペンおよびコンピューティングデバイスセンサ相関技法によってタッチ感応表面上への実際のタッチ入力と同じやり方で取り扱われる。そのような仮想タッチ入力は、例えば、カメラまたは他の画像技術を使用して、投影された画像に対する、電子ホワイトボード上の文章に対する、物理的な物体に対するユーザの指の動きを追跡するなど、従来の技法を使用して検出される。

[0197] さらに、ペンおよびコンピューティングデバイスセンサ相関技法は、タッチまたは圧力を決定するまたは感知するために実に様々なタッチおよび屈曲感応材料を用いて動作可能であることを理解されたい。例えば、ペンおよびコンピューティングデバイスセンサ相関技法によって使用されるように適合された１つのタッチ感知技術は、接触を感知するタッチされた表面のある明確な変形に対して光源を評価することによってタッチまたは圧力を決定する。また、本明細書に論じるように、センサペンは、複数のタイプのタッチおよび／または圧力感知基板を含むことができることに留意されたい。例えば、センサペンは、例えば、容量センサ、圧力センサ、屈曲もしくは変形ベースのセンサ、深度センサなどのセンサの任意の組合せを使用してタッチ感応および／または圧力感応の両方であることができる。

[0198] 本開示の範囲は、この詳細な説明によって限定されず、むしろ本明細書に添付された特許請求の範囲によって限定されることが意図されている。主題を構造的な特徴および／または方法論的行為に特有の言語で説明してきたが、添付の特許請求の範囲に定義される主題は、必ずしも上記の具体的な特徴または行為に限定されないことを理解されたい。むしろ、上記の具体的な特徴および行為は、特許請求の範囲を実装する例の形として開示される。

Claims (8)

1. タッチ感応ペン上の握りパターンに基づく１つまたは複数のセンサ入力と、タッチ感応コンピューティングデバイス上のタッチパターンに基づく１つまたは複数のセンサ入力とを含む、前記タッチ感応ペンおよび前記タッチ感応コンピューティングデバイスから受け取った並行センサ入力の組合せを受け取るステップと、
   どのように前記タッチ感応コンピューティングデバイスがタッチされているのかということと並行して、どのように前記タッチ感応ペンが握られているのかということを決定するために前記センサ入力を使用するステップと、
   前記タッチ感応ペンデバイス上の前記握りパターンと前記タッチ感応コンピューティングデバイス上の前記タッチパターンとの組合せに基づいてユーザインターフェース作用を開始するステップと、
   前記センサ入力から前記ユーザの利き手と、非利き手とを決定するステップを含み、
   前記ユーザの利き手は、前記タッチ感応コンピューティングデバイスと接触が行われたとき、前記タッチ感応ペンの運動における衝撃を感知するステップと、前記タッチ感応ペンを保持する前記手が前記利き手であることを決定するために、タッチ感応ペンの運動における前記衝撃と前記タッチ感応コンピューティングデバイスの運動とを相関させるステップとによって決定される、ユーザインターフェース作用を開始するためのコンピュータ実装方法。
2. 前記タッチ感応コンピューティングデバイスの運動を感知するステップと、
   前記感知されたタッチ感応コンピューティングデバイスの運動と前記タッチ感応コンピューティングデバイス上の前記タッチパターンとを相関させるステップと、
   前記タッチ感応コンピューティングデバイスのディスプレイ上の不測の画面コンテンツの回転を抑制するために前記タッチ感応コンピューティングデバイス上の前記相関された運動およびタッチパターンを使用するステップとをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記タッチ感応ペンが前記ユーザの利き手の中に収容された位置で保持されていることを決定するステップと、
   前記タッチ感応コンピューティングデバイスのディスプレイ上への前記ユーザの利き手からの接触を検出するステップと、
   前記接触に応答して文脈特有のツールを表示するステップとをさらに含む、請求項１に記載のコンピュータ実装方法。
4. 前記タッチ感応コンピューティングデバイスのタッチ感応画面上へのタッチが、前記タッチ感応コンピューティングデバイスのケースの対応する後面部分上の新たな手の握りパターンが検出されるのと同時にユーザの親指によって行われることを決定するステップと、
   前記タッチ感応画面上で前記親指によって行われた意図的でない前記タッチを無視するステップとをさらに含む、請求項１に記載のコンピュータ実装方法。
5. ユーザがどちらの手を用いて前記タッチ感応コンピューティングデバイスを保持しているのかを決定するステップと、
   前記タッチ感応コンピューティングデバイスを保持する前記手の前記親指を用いて前記ユーザによって始動させることができる前記タッチ感応コンピューティングデバイスの前記画面上の位置に親指メニューを表示するステップとをさらに含む、請求項１に記載のコンピュータ実装方法。
6. 単一のユーザによって２つ以上のタッチ感応デバイス上に同時に起こる接触の信号を相関させるステップと、
   前記信号の前記相関に基づいて前記２つ以上のタッチ感応デバイス上への前記接触の文脈を決定するステップと、
   前記接触の前記決定された文脈をアプリケーションにおいて使用するためのメタデータとしてラベル付けするステップと、
   アプリケーションにおいてコマンドを開始するために前記メタデータを使用するステップと、
   前記信号の前記相関から前記ユーザの利き手と非利き手とを決定するステップを含み、
   前記ユーザの利き手は、第１タッチ感応デバイスと接触が行われたとき、前記第１タッチ感応デバイスの運動における衝撃を感知するステップと、前記第１タッチ感応デバイスを保持する前記手が前記利き手であることを決定するために前記第１感応デバイスの運動における前記衝撃と前記第２感応デバイスの運動とを相関させるステップとによって決定される、メタ情報を見つけるためのコンピュータ実装方法。
7. 一方のタッチ感応デバイスが、タッチ感応ペンであり、他方のタッチ感応デバイスが、タッチ感応コンピューティングデバイスであり、前記接触の前記文脈が、どのように前記タッチ感応ペンが握られているのか、およびどのように前記タッチ感応コンピューティングデバイスがユーザの素手を用いてタッチされているのかによって決定される、請求項６に記載のコンピュータ実装方法。
8. 前記信号の１つまたは複数が、前記ユーザを識別するのに使用される前記ユーザの指紋を表す、請求項６に記載のコンピュータ実装方法。
   

Images