JP5522578B2 - ハンドヘルドデバイス用のアダプティブ仮想キーボード - Google Patents

Description

汎用無線デバイスが小型化して、標準的な機械／電子キーボードで対応できなくなることに伴い、タッチスクリーン上にキーを配置した仮想キーボードを利用することが増えてきている。ユーザは、所望のキーが表示されているスクリーンの位置を指先で触るだけでキーストロークを入力することができる。これらデバイスの、小型で手持ち利用されるという性質上、ユーザが親指のみを使ってデータを入力する場合が多くなる。しかし、殆どの仮想キーボードのキーは、矩形の行列の配列、または、標準的なＱＷＥＲＴＹ配列である。これらの配置においては行が直線状に形成されるので、親指での操作に向いていない。特に、片手の親指をキーの行の長さまたは列の高さ一杯に移動させるようとすると、ユーザは親指の関節の幾つかを幾らか不自然に動かせねばならなくなる。実際、この構成に慣れるには、ユーザはかなり自己受容能力を発達させる必要があると思われる。汎用無線デバイス上の物理的なキーボードの設計のなかには、人間工学上進歩したものもあるが（矩形のキーマトリクスに比べて）、人間工学を個人に適合させることのできる度合いは依然として限られている。更に、これら設計は、様々なユーザのそれぞれ異なる手、指、親指の大きさは考慮に入れていないので、あるユーザに適した大きさのキーボードが別のユーザには適さないことも多い。

本発明の一部の実施形態は、本発明の実施形態を説明するために利用される以下の記載および添付図面を参照することでよりよく理解される。

本発明の一実施形態による多機能ハンドヘルドユーザデバイスを示す。 本発明の一実施形態による両手のための仮想キーボードを示す。 本発明の一実施形態による、個々のユーザに対してキーボードのサイズを較正する方法のフロー図を示す。 本発明の一実施形態による初期接触パッチ較正方法のフロー図を示す。 本発明の一実施形態による、キーストロークをアダプティブに解釈する方法のフロー図を示す。

以下で数多くの具体的詳細を記載する。しかし本発明の実施形態は、これら特定の詳細がなくても実行できることは理解されたい。また、公知の回路、構造、および技術については詳述を避け、記載の理解を曖昧にしないようにしている箇所もある。

「一実施形態」「１つの実施形態」「例示的な実施形態」「様々な実施形態」といった言い回しは、本発明の実施形態が特定の特徴、構造、または特性を含みうるが、必ずしも全ての実施形態がこれら特定の特徴、構造、または特性を含まねばならないという意味ではない。更に一部の実施形態は、他の実施形態に記載されている特徴の一部、全てを含んでもよいし、全く含まなくてもよい。

以下の記載および請求項において、「連結」および「接続」、およびこれらの派生語を利用して記載されている場合がある。これらの用語は、互いに同義語を意図していない。例えば、実施形態が「接続」および／または「連結」という用語を利用して記載されている場合、これは２以上のエレメントが互いに直接物理的または電気的な接触状態にあることを示す。「連結」という用語は、更に、２以上のエレメントが互いに直接接触状態にはないが、互いに協働または相互作用する場合も含みうる。

請求項における「第１」「第２」「第３」等の序数形容詞の利用は、そうではないと明記しない限り、同一の部材のことを示しており、単に、同様の部材の異なるインスタンスを示しているにすぎず、部材が時間的、空間的、ランク上、または任意の点において一定の順序でなければならないという意味ではない。

本発明の様々な実施形態は、ハードウェア、ファームウェア、およびソフトウェアの１つの組み合わせまたは任意の組み合わせで実装可能である。本発明は更に、１以上のプロセッサにより読み取られて実行されることで、ここに記載する処理を実行させるコンピュータ可読媒体に含まれる命令として実装することもできる。コンピュータ可読媒体には、１以上のコンピュータにより可読な形態で情報が格納されていてよい。例えばコンピュータ可読媒体には有形の格納媒体（これらに限られないが、ＲＯＭ、ＲＡＭ、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス等）が含まれてよい。

本発明の様々な実施形態は、仮想キーボードのタッチスクリーン上の仮想キー構成に関する。キーは、まっすぐの水平列に配置されるのではなくて、デバイスがユーザの手に収まったときにユーザの親指が無理なく届くような弧を描く形状に配置することができる。一部の実施形態では、キーの配置は、個々のユーザの親指に合うように、および／または、個人の好みに合うようにカスタマイズすることができる。一部の実施形態では、ユーザの親指の接触表面がキーの中心から外れること、および／または、キーより大きいことを補償するためにアダプティブ検知が行われてもよい。

図１は、本発明の一実施形態による多機能ハンドヘルドユーザデバイスを示す。図示されているデバイス１１０は、ユーザに情報を表示したり、ユーザがスクリーンの１以上の特定の位置に触れたときにユーザからの触覚入力を受け付けたりするタッチスクリーン１２０を含む。３つのハードボタンもディスプレイの上方に示されている。他の物理的ボタン、センサ、特徴等も含まれてよいが、図面を不当に煩雑なものとしないために図示は行わない。本文書のコンテキストにおいては、「ハード」ボタンとは、特定の領域に永続的に位置する物理的ボタンのことを示す。デバイスは更に、それぞれ接触式の表示スクリーン（ここではタッチスクリーンと称される）上の画像からなる「ソフト」ボタンも含んでよい。ユーザがソフトボタンに触れると、デバイスはその接触を感知して、そのソフトボタンに関連付けられている機能を実行することができる。「キー」という用語は本文書では、タッチスクリーン上に示されている仮想キーボード上の個々のキーを表すソフトボタンのことを示すために利用される。

図示されているデバイス１１０は、特定の形状、比率、および外形で、特定の位置にボタンを有するものとして示されているが、これはあくまで一例であって、本発明の実施形態はこの特定の物理的較正に限定はされない。例えば、一部の実施形態では、様々な特徴をデバイスの同じ側または異なる側に設けることもできる。一実施形態では、デバイス１１０の全体形状が図示されたものと異なっていてもよい。

デバイス１１０は、更に、ここには特に明記されない様々な視覚、音声、および物理的入力用の、且つ、視覚、音声、および物理的出力用の無線通信機能を含んでよい。一部の実施形態では、デバイスは、利用されるモードによって、異なる方法でこの機能を利用することができる。

＜層状の弧を有する仮想キーボード＞
図１は、タッチスクリーンディスプレイ上の仮想キーボードも示している。仮想キーボードでは、キーボード上の各キーが、タッチスクリーン上のソフトボタンとして実装される。ユーザが親指（または指、スタイラスペン、その他のオブジェクト）で、あるキーに触ると、デバイス１１０は接触を検知して、接触されたスクリーンの位置を判断して、その位置に関連付けられているキーを判断して、接触を、選択されたキーのキーストロークとして解釈する。一部の実施形態では、二度目の接触が登録されるには、一度目の接触の後で最低限の時間は指を離してから再度タッチする必要のあるヒステリシス効果が利用される。

この例では、キーボードのキーは、３つの行に配置されており、各行が弧の形状になっている。これらの行は、ユーザの親指が届き易いように配置される。人間の親指の構成上、弧は完璧な円形ではなく、各弧が可変曲率を有するようにするとよいであろう。この理由から、ここでは「円形」「同心円形」といった用語は使われないが、一部の例においては、弧が円形および／または同心円形ではある場合もある。弧は、ここでは「層状の」弧として称されるが、これは、各弧が略同じ位置にある回転中心（ユーザの親指の回転中心）を有し、各弧が同様の形状を有し、回転中心から半径方向に計測したときに各弧が全弧の全長にわたり隣接する弧と略等しい距離を置いて設けられることに起因している。各弧の曲率および位置を決定する際には、柔軟性のない形状にするのではなくて、ユーザの親指の届きやすさを重視したものにする、というのが原則となる。

図１の例は、３つのキーの行を示しているが、他の実施形態では、１つ、２つ、４つ、またはこれ以上の行を有してもよい。キーは全ての行で同じ大きさで描かれているが、一部の実施形態では、幾つかのキーが他のものより大きかったり、小さかったりしてもよい。例えば、内側のキーの行が外側の行のものより小さくてもよい。こうすることで、キーを配置する場所が少ない内側の行に、より多くのキーを配置できるだけでなく、親指により広域に接触される外側のキーの行よりも接触領域が狭い内側のキーの行にユーザが親指の先で接触しがちであると認識することができるようにもなる。図示されている例は、３つの行の間の距離がどれも同じであるように描かれているが、他の実施形態は異なる構成であってもよい。この間隔についても、人間の親指の構造および柔軟性により決定することができる。

各キーは、矩形に近い形状で示されているが、ソフトキーは任意の都合のよい形状で表示されてよい。一部の実施形態では、キー毎に形状を異ならせることで、ユーザに追加情報を伝えることもできるだろう（例えば、正方形の形状で、大文字が割り当てられていることを知らせたり、丸形で、小文字が割り当てられていることを知らせたりする等）。また色を変えることで、キーの追加情報を伝えることもできるだろう。各キーには、該キーが表す文字をラベル表示する。これらのラベルは、全てデバイスの底面に対して配向させる（ユーザが読み取りやすいように）が、他の実施形態では、弧の半径方向中心に対して、または、その他の定義可能な参照点に対してラベルを配向させることもできる。一部の実施形態では、表示される文字を大文字または小文字で示すことで、そのキーの示す文字が大文字であるか小文字であるかを示すようにしてもよい。

一部の実施形態では、キーの接触をデバイスが登録する毎に、キーが表すシンボルを拡大表示してユーザへフィードバックするようにしてもよく、且つ、拡大するキーの位置をずらして、ユーザの指に邪魔されないようにすることもできる。図１の例では、ユーザは、「Ｍ」キー（ユーザの親指で隠されている）に触れ、「Ｍ」キーの拡大版がユーザの親指の直ぐ上に表示され、一時的に他のキーが位置する場所に重なっている。この接触のインジケータを残りのキーから区別する方法としては、異なる色、スタイル、形状等を利用することもできる。

図１の例は、特定のキーの位置に割り当てられた特定の文字を示しているが、これは一例にすぎない。他の実施形態においては、ＱＷＥＲＴＹ、Ｄｖｏｒａｋ等の任意の所望の配列のキーの位置に文字を割り当てることができる。一部の実施形態では、キーの割り当てをプログラム可能なものとしてもよい。

図１の構成は、片手処理用に設計されたものであるので、キーボードは、片手の親指が届くスペースに限定されていたが、ユーザがタイプしようとする全ての文字を同時に表すことのできるスペースはない場合もある。これを補償するために、キーの位置全てまたはその一部を、他の文字を表すように再割り当てして、これらのキーのために新たな文字を表す新たなラベルをタッチスクリーン上に生成してもよい。この変更は、１）この機能に割り当てられたキーボードのキーの１つを触る、２）キーボード領域外の特定のソフトキーに触る、３）ハードボタンを押下する、４）弧の実質的な部分に沿って指をドラッグする、５）その他、を含むが、これらに限定はされない。

一部の実施形態では、利用可能なキーボード全体を４つの四分円状の適切なホイールと考えることもでき、各四分円が別個の文字のセットを有し、一度につき、単一の四分円のみがタッチスクリーンに見えるようにすることもできる（後述する両手処理用の場合には２つの四分円が見えるようにすることができる）。ユーザは、表示したい四分円を自由に呼び出すことができる。例えば、１つの四分円が文字を有するキーを含み、別の四分円が数字および句読点を有するキーを含み、別の四分円が、ユーザが文書に挿入を希望する画像、アイコン、レターヘッド等を表すキーを含み、４つ目の四分円が、頻繁利用されるフレーズ、文、パラグラフ等を含む、とすることができる。もちろん、これは仮想の構想であり、実際の物理的な円には限らず、四分円の数は４つより多くても少なくてもよい。

図１に示すキーボードの構成は、右下隅を中心にして同心円を描くようにキーの行を形成し、右利きの人用に設計されている。しかし、左下隅を中心にして同心円を描くようにキーの行を形成することによって、デバイスは左利きの人用に設計することもできる。図示されているキーボードは更に、垂直方向を処理方向とすることもできる（つまり、ディスプレイの長手側を垂直方向とする）。一部の実施形態は、水平方向を処理方向とすることもできる（つまり、ディスプレイの長手側を水平方向とする）。一部の実施形態では、右利き／左利き構成および／または垂直方向処理構成および／または水平方向処理構成は、ユーザにより選択可能としてよい。一部の実施形態では、これらの構成は、デバイスにより自動的に選択されるようにしてもよい（例えば、重力を検出して、垂直／水平方向処理構成いずれかを選んだり、ユーザの親指が触れるディスプレイの部分を検知して、右利き／左利き構成いずれかを選んだりすることができる）。

図２は、本発明の一実施形態による両手のための仮想キーボードを示す。この両手のための構成の、図１に示す片手のための構成からの主要な差異は、仮想キーボードに２つの部分があることであり、片方が右手の親指での動作用に構成されており、他方が左手の親指での動作用に構成されている点である。この構成では、図１の片手用の構成と比べて、これより多くのキー（従ってこれより多くの文字）を同時に表示することができる。２つのキーボードの部分は、同じまたは異なる数の行から構成されていてよいし、各行に同じまたは異なる数のキーが異なる間隔で含まれていてもよい。一部の実施形態では、文字の個々のキーへの割り当ては、ユーザが右手および左手のいずれを好むかに応じて、左側領域および右側領域の間で切り替えることができる。片手構成に利用可能なものと同じ特徴、技術、選択肢が全てこの両手構成にも利用可能であり、一部の実施形態では、キーボードの各部分に別個に利用することもできる。一部の実施形態では、ユーザが手動で、片手構成または両手構成のいずれかを選択することもできる。一部の実施形態では、デバイスが、自動的に検知する基準に基づいて（例えば、デバイスの向き、または、タッチスクリーンの両側に対する接触の検知により）、片手構成または両手構成のいずれかを自動選択することもできる。

図３は、本発明の一実施形態による、個々のユーザに対してキーボードのサイズを較正する方法を示すフロー図を示す。フロー図３００では、３１０で、ａ）デバイスの電源投入、ｂ）新たなユーザアカウントの生成、ｃ）仮想キーボード上の文字のフロントサイズの変更、ｄ）その他等であるがこれらに限定はされない所定の基準に基づいて、較正プロセスをユーザが開始する、または、較正プロセスが自動開始されてよい。ユーザは３２０で、親指をタッチスクリーンの表面に置いて弧を描き、手を通常のデータ入力位置にするよう促される。この弧は、その目的がキーボードの行の位置を較正してその行の上のキーがユーザの親指に適した位置にくるようにすることであることから、「較正用の弧」と称することができよう。一部の実施形態では、この弧は、ユーザが描いた後でタッチスクリーン上に見えるようになるが、他の実施形態では、較正用の弧は表示されなくてもよい。

いずれにしても、この弧のディスプレイ上の位置は３３０で記録されてよい。この位置は、対応するキーの行の、スクリーン上の配置を決めるために利用することができる。一部の実施形態では、ユーザは、２以上の弧の入力を促されてもよい。例えば、両手によるキーボード処理用のデバイスを較正するには、ユーザは、両手の親指それぞれで別個の弧を描くように促される。２以上の行を較正する場合には、ユーザは、中央の弧、外側の弧、および／または、内側の弧を描くよう促される場合もある。一部の実施形態では、ユーザは、同じ弧を２度以上描くように指示され、デバイスにこの弧の平均位置を計測させる場合もあるこれらオプションのいずれかまたは全てが、３２０−３３０−３４０における処理において行われてよい。

一部の実施形態では、ユーザの親指により、一行のキーの弧のみが入力され、その親指の他の行の他の弧は、その弧に対して自動配列される。この場合には、他の弧の位置が３５０で決定される。一実施形態では、ユーザは、親指を完全に延ばさず完全に縮めないようにして、中間位置の弧を描くよう促され、他の行をそれぞれ、その弧より大きく、およびより小さくなるよう配置する。別の実施形態では、ユーザは、指を精一杯延ばして外側のキーの行の位置をなぞるように弧を描き、他の弧をその内側に作ることもできる。または、ユーザが指を完全に精一杯縮めて内側のキーの行の位置をなぞるように弧を描き、他の弧をその外側に作ることもできる。

各弧の位置が決定されると、３６０でデバイスは、各弧に沿って各キーの位置を割り当て、各弧が１行のキーを表すようにする。一部の実施形態では、同じ行における隣接するキーの間の間隔を一定とすることができる。他の実施形態では、この間隔が変化してもよい。例えば、較正プロセスにより様々な場所でユーザの指紋の幅を測ることができる場合には、この情報を利用してキー間の間隔を決定することができる。指紋の幅が広い場合には、キーの間の間隔も広くすると、複数のキーに触ってエラーを起こす可能性を低減させることができる。

３７０で、様々な文字（記号、数字、句読点等も含む）（various characters (letters, numerals, punctuation marks, etc.)）を、異なる行の様々なキーの位置に割り当てることができる。一部の実施形態では、この配置を予め定めておくことができる。他の実施形態では、この配置は、様々な基準に基づいてカスタマイズされてもよい。例えば、最も頻繁に利用される文字は中間の行に配置して、指をあまり移動させないようにしてもよい。一般的に親指は縮めるよりも延ばすほうが簡単であることを考慮して、次に最もよく利用される文字は、外側の行に配置することができる。よく利用される文字列（例えば二重字）は、弧に沿って連続した順序で配置されて、親指がより自然に「内側に向かう」ようにすることができる。両手の処理においては、よく利用する文字列は、２つの親指の間で交互に打たれるような配置にすることで、両手の親指を交互に利用させるようにすることもできる。文字のキー位置に対する割り当ては他の方法を用いることもできる。一部の実施形態では、ユーザが、特定のキーの位置に文字を割り当てることもできてもよい。３８０で、デバイスはこれらの文字の割り当てに基づいてディスプレイに完全なキーボードを生成して、３９０で較正シーケンスを終了してよい。これらおよびその他の特徴により、本発明の様々な実施形態は、ユーザの親指（片手または両手）の自然な動きによく合致しており、ユーザの特徴および好みに合うようにカスタマイズされた仮想キーボードを提供することができる。本発明はこのようにして、ユーザがデバイスにテキストを入力する際の簡便性、速度、および精度を向上させることができる。

キーの間隔が狭いのにユーザの親指の接触領域が比較的広いことから、ユーザは２つ以上のキーに同時に触ってしまうことが多いであろうと想定される。このような負の影響を低減させるためには、様々な方法でユーザが触れようとしたキーを見つける方法が考えられる。方法の１つとして、ユーザの親指が接触する領域を見つけることに基づくものもあれば、文脈や繰り返されるエラーに基づくものもある。以下で両方の方法を説明する。

＜接触パッチ調節＞
「接触パッチ」とは、ユーザがキーまたはその他のアイコンに接触を試みる際に接触するタッチスクリーンの領域のことである。スタイラスペンを利用する際には、接触パッチは非常に小さく、その形状も輪郭がはっきりしたものになる（well-defined in shape）。ユーザの指先を接触させる場合には、接触パッチは、それよりいくらか大きくなり、そのサイズもユーザが指を押し付ける圧力に応じて変わることが想定できよう。接触パッチのサイズおよび形状は両方とも、指がタッチスクリーンに接触する角度に応じて変わると思われる。親指を接触させる場合には、同じような条件となるが、親指は概して断面積が大きいことからサイズが指先の場合よりも大きくなるであろうし、接触角度に応じた形状やサイズの変動も親指の場合には大きいと思われ、接触角度は他の指より親指は一般的に浅い。

接触パッチは、接触されるタッチスクリーン上のキーより更に大きい場合があり、検知デバイスは、センサ情報を解釈して、接触が意図された点を判断する必要がある。本文書では、この点を、「アクティブ点」と称し、これは接触パッチの質量中心（地理的中心）である場合もあれば、そうではない場合もある。これらの計算は、接触パッチのサイズおよび形状が、１）キーが存在する行（親指の角度に影響する）、２）ユーザが片手用キーボードまたは両手用キーボードのいずれを利用してデータを入力しているか（手の位置、ひいては親指の角度も、一般的には両手入力の場合と片手入力の場合とでは異なる）に応じて変わるために、複雑なものになる。更に、実際の接触パッチおよび／または実際の接触パッチの実際の質量中心は、ユーザが認識する接触パッチおよび質量中心とは異なる。

一部の実施形態では、デバイスは、特定のキーの行が楕円形の接触パッチとなり、特定の方向に楕円形に向かうと想定するが、異なるキーの行は、楕円が異なる方向に向かう楕円形の接触パッチになったり、または、円形の接触パッチとなったりすることが想定される。これらの想定は、アクティブ点を計算する際の考慮に入れられてよい。中間の行の接触パッチに関する想定は、内側および外側の行の接触パッチについての想定値を補間したものとしてよい。これらはあくまで例示であり、実際の想定値は、ユーザの実際の行動および／または母集団に基づく過去の研究に応じてこれとは異なってもよい。

ユーザの認識の例としては、一部の行においてユーザがアクティブ点を親指の指先の端部付近であると認知すると、デバイスはアクティブ点を、この認知を考慮して質量中心から離した位置としてよい。

親指の角度ひいては接触パッチの形状は、両手のときと片手のときとでは一般的に異なるので、デバイスは、現在利用されている処理モードを検出して、それに応じてアクティブ点の計算を調節することができる。例えばデバイスは、両手のキーボードがタッチスクリーンに表示されているときには、両手による処理を想定してよい。別の例では、デバイスは、これを、スクリーンの両側の接触を検出することで推察してもよい。別の実施形態では、デバイスは、加速度計その他のセンサに基づいて、デバイスが垂直方向に保持されているときには、片手処理を想定してよく（短い辺が水平方向である）、デバイスが水平方向に保持されているときには、両手処理を想定してよい（長い辺が水平方向である）。しかし、ユーザは、所望の場合にこれらの自動想定を手動で変更することもできる。

一部の実施形態では、スクリーンに接触するために利用されるツールの種類を、接触パッチのサイズおよび形状に基づいてデバイスから推察してもよい。接触パッチが比較的大きい場合には、デバイスは親指が利用されていると推察して、それに応じてアクティブ点を調節することができる。接触パッチがこれより小さい場合には、デバイスは指が利用されていると推察して、この推察に応じてアクティブ点を調節することができる。接触パッチが非常に小さい場合には、デバイスはスタイラスペンが利用されていると推察して、調節を行わなくてよい。

調節の種類に関らず、一部の実施形態では、標準的なパラメータセットに基づいて、または、１以上の較正セッションの結果に基づいて、これらの調節を予め定めておいてもよい。他の実施形態では、最近の処理履歴に基づいて調節を連続して、または頻繁に修正することもできる。一部の実施形態では、初期の較正および継続中の調節の両方を組み込むこともできる。

図４は、本発明の一実施形態による接触パッチ較正シーケンスの方法のフロー図を示す。フロー図４００の方法は、デバイスを特定のユーザの特性に予め較正する際に利用することができる。処理４３０−４６０は更に、仮想キーボードの通常使用中に継続して行う調節に利用することもできる。４１０で接触パッチ較正シーケンスを開始して、４２０で、デバイスはユーザに、選択されたキーを押下するよう促してよい。一部の実施形態では、キーボード（例えば図３のキーボード較正シーケンスが生成したキーボード）が完全表示されていることもあるが、他の実施形態では、キーはキーボードが占有する同じ位置に隔離されて示されている場合もある。

ユーザが選択されたキーに触れると、デバイスは、４３０で接触パッチの関連情報を判断する。タッチスクリーンの個々の接触センサの示数に基づいて、デバイスは接触パッチのサイズおよび形状を判断してよく、一部の実施形態では、４４０で接触パッチの異なる領域の接触の示数を記録してよい。４５０で、デバイスは接触パッチの質量中心（接触パッチの幾何学中心）を判断してよい。一部のプロシージャでは、質量中心は、接触パッチの初期のアクティブ点とみなすこともできるが、後には、他の要素（前述したものを含む）に基づいて配置しなおされてもよい。一部の実施形態では、タッチスクリーンは、複数の接触センサ示数を与えてデバイスに質量中心を計算させるのではなく、接触パッチについて既に計算された質量中心の位置をデバイスに提供することもできる。

４６０で、デバイスは４２０に戻り、キーボード上の別のキーの接触パッチを較正してよい。一部の実施形態では、このプロセスをキーボード上の全てのキーについて繰り返してよい。他の実施形態では、この較正プロシージャにおいて一部のキーまたはタッチスクリーン位置のみを利用して、残りのものの較正データは、これらのキーの結果から補間することもできる。一部の実施形態では、同じキーを２度以上較正して、そのキーについての示数の平均をとってもよい。タッチスクリーンの選択されたキーまたは領域全てを較正した後で（直接または補間により）、４７０で較正シーケンスを終了してよい。

＜キーボード適合＞
２以上のキーが同時にユーザにより触れられると、デバイスは様々な技術を利用して、ユーザが接触しようとしたキーを判断することができる。一部の技術は性質上コンテキストベースであり、即座に行うことはできない。例えば一例では、デバイスが、複数の接触された文字を、単語の残りのものと比較して、どの文字が実際の単語を形成するかを、綴りの辞書を参照して判断する。２以上の可能性ある文字で実際に存在する単語が形成される場合には、その文脈を調べて、どの単語が意図された可能性が高いかを調べ、そして意図された文字を判断する。

一部のケースにおいては、隣接するキーの同じ組み合わせが入力された履歴があり、これらキーのいずれかが実際に意図されていた場合もあり、このような履歴は考慮に入れられる。

タッチスクリーンで局所的な圧力計測を行うことができる場合には、親指から最高圧力を受けたキーを、意図したキーと想定することができる。または、接触された様々なキーのそれぞれ異なる圧力計測値を、予測テキスト解析に基づいて、確率係数で乗算して、どのキーが意図された確率が最も高いかを判断することもできる。

「ホットスポット」（デバイスがキーの中央と考えるスポットのことである）は、ユーザが一貫して同じ方向にホットスポットを外した場合には、位置をずらすことができる。例えばユーザが一貫して「ｓ」キーのホットスポットより下をタイプした場合には、デバイスは、「ｓ」キーのホットスポットを下方修正することができる。ユーザが一貫して同じ方向にタイプミスを犯したという判断は、複数の方法で行うことができる。例えば、接触パッチの様々な点における局所圧力検知を行うことで、接触パッチの最高圧力点が、同じ方向にキーの中央を一貫して外していると判断することができる。別の例としては、質量中心またはアクティブ点が一貫してキーまたはそのホットスポットを同じ方向に外していると判断することもできる。

別の例では、特定の文字を有する単語が、同じ隣接する文字で置き換わってしまって頻繁にスペルミスされていることがあるとする。これは、例えば、ユーザがこのようなスペルミスを手動で修正する、および／または、ユーザが自動スペル修正機能を受諾している際に検証できる。一部の実施形態では、キーのホットスポットだけを再配置して、キーの表示位置を変えないこともできる。他の実施形態では、キーの表示位置を動かして、新たなホットスポットが表示されるキー内におさまるようにすることもできる。一部の実施形態では、デバイスは、単に誤った文字をタイプしてしまったケース（例えば接触した文字が単語を成さず、または、意味を成さない文字の逆位（dyslexic letter inversion）が頻繁に起こるなど）と、ホットスポットを外したことによるエラーとを区別して、後者の場合のみにホットスポットを調節しようと試みてもよい。

図５は、本発明の一実施形態による、キーストロークをアダプティブに解釈する方法のフロー図を示す。フロー図５００の５１０で、デバイスは、キーが触れられたことを示すタッチスクリーンからの入力を受け取って、接触パッチの質量中心を判断してよい。一部の実施形態では、この入力には、接触パッチを定義する複数の接触センサからの示数が含まれてよく、これは、次に質量中心の位置に変換される。他の実施形態では、タッチスクリーンからの入力は、単に、タッチスクリーン論理が決定する質量中心の位置を表していてもよい。

いずれにしても、５２０でアクティブ点は、質量中心の位置、および、前に求めたタッチスクリーンのその部分のアクティブ点と質量中心との間の差異に基づいて決定されてよい。意図されたキーがアクティブ点の位置から明らかな場合には、５３５で、デバイスはそのキーが意図されていると想定してよい。しかしアクティブ点が複数のキーに近くて、どのキーが意図されていたか定かでない場合には（５３０）、デバイスは、５４０でこれらの複数のキーのホットスポットを調べてよい。５５０で、デバイスは、これらキーのそれぞれが正確なキーを表す確率を、様々な基準に基づいて判断してよい。重要な基準としては、この同じキー群の履歴が挙げられる。

これらおよびその他の考察に基づいて、５６０で、デバイスは、どのキーが最もユーザにより意図された可能性が高いかを判断して、その文字をタイプシーケンスに入力する。この時点では、残りの単語または文章が完了していないために、その特定のキーストロークについて綴りまたは文脈の考慮を行うことはできないと思われる。次いでデバイスは５３０に戻り、より多くのキーストロークを処理してよい。５６５を通過するたびに、デバイスは、その特定のキーストロークについて綴りまたは文脈の考慮を行ったかを判断する。判断結果が肯定的であった場合には、５７０でこれらの要素に基づいて、前に選択されたキーを変更することもできる。

選択された文字および関連するキーが確定されると、このプロセスで学んだ教訓を将来の処理に組み込むことができる。例えば５８０で、このキーのホットスポットの位置を調節する等が可能である。この情報を５９０で将来の利用に備えて記録してよい。

前述した記載は、例示を意図しており限定は意図していない。変形例も当業者には明らかであろう。これらの変形例は、本発明の様々な実施形態に組み込まれることが意図されており、以下の請求項の範囲によってのみ限定が意図される。

Claims (12)

1. 仮想キーボードを表示するタッチスクリーンを含むハンドヘルド電子デバイスを備える装置であって、
   前記ハンドヘルド電子デバイスは、
   ユーザが前記タッチスクリーンに接触すると、最初のキーストロークとして接触パッチを検知して、
   前記ユーザの前記接触が意図されたと判断された位置である前記接触パッチのアクティブ点を判断して、
   前記アクティブ点の付近に位置しているキー群のうち複数のキー各々の、前記ハンドヘルド電子デバイスがキーの中心とみなすスポットであるホットスポットを判断して、
   前記複数のキーのうちの特定のキーを、前記最初のキーストロークについて前記ユーザが意図したキーとして選択して、
   前記特定のキーが表す特定の文字を、前記ユーザが入力中の文脈に文字として含め、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了したかどうかを判断し、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了していない場合、１以上の追加のキーストロークを処理し、前記１以上の追加のキーストロークのそれぞれの後に、前記最初のキーストークについての綴りおよび文脈の考慮が完了したかどうかを判断し、
   前記最初のキーストロークについて綴りおよび文脈の考慮が完了すると、前記最初のキーストロークについての綴りおよび文脈の考慮に基づいて、前記最初のキーストロークについて前記ユーザが意図した前記キーとして前記特定のキーを選択したことを変更するかどうかを判断し、
   前記特定のキーについて前記ホットスポットを再配置するかどうかを判断し、
   前記特定のキーについての前記ホットスポットの再配置は、前記最初のキーストロークについて前記ユーザが意図したキーの前記選択につながる前記判断に少なくとも部分的に基づき、将来の利用のために記録される、
   装置。
2. 前記最初のキーストロークについて前記ユーザが意図した前記キーの前記選択は、
   前記アクティブ点に対する前記キー群についての前記ホットスポットの各々の位置、および、
   前記キー群のうちの前記複数のキーの少なくとも一部および前記アクティブ点の履歴に少なくとも部分的に基づく確率に基づいて行われる請求項１に記載の装置。
3. 前記特定のキーについての前記ホットスポットの再配置は、前記特定のキーについて再配置された前記ホットスポットが表示されたキーの中心に位置するように、前記ハンドヘルド電子デバイスが前記特定のキーについて表示されたキーを移動させる、請求項１または請求項２に記載の装置。
4. 前記文脈の考慮は、前記最初のキーストロークについて２以上の可能性がある文字で文内に実際に存在する単語が形成される場合、複数の単語のうちどれが前記ユーザによって意図されたものかを選択すべく、文の前記文脈を調べることを含む、請求項１から請求項３のいずれか１つに記載の装置。
5. ハンドヘルド電子デバイスのタッチスクリーンに最初のキーストロークとしてユーザが接触したときに、前記ユーザの接触が意図されたと判断される位置である接触パッチのアクティブ点を判断する段階と、
   前記アクティブ点が、前記タッチスクリーン上の仮想キーボード上のキー群のうち複数のキー各々の、前記ハンドヘルド電子デバイスがキーの中心とみなすスポットであるホットスポット付近に位置していると判断する段階と、
   前記複数のキーのうちの特定のキーを、前記最初のキーストロークについて前記ユーザが意図したキーとして選択する段階と、
   前記特定のキーが表す特定の文字を、前記ユーザが入力中の文脈における文字として含める段階と、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了したかどうかを判断する段階と、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了していない場合、１以上の追加のキーストロークを処理し、前記１以上の追加のキーストロークのそれぞれの後に、前記最初のキーストークについての綴りおよび文脈の考慮が完了したかどうかを判断する段階と、
   前記最初のキーストロークについて綴りおよび文脈の考慮が完了すると、前記最初のキーストロークについての綴りおよび文脈の考慮に基づいて、前記最初のキーストロークについて前記ユーザが意図した前記キーとして前記特定のキーを選択したことを変更するかどうかを判断する段階と、
   前記特定のキーについて前記ホットスポットを再配置するかどうかを判断する段階と
   を備え、
   前記特定のキーについての前記ホットスポットの再配置は、前記最初のキーストロークについて前記ユーザが意図したキーの前記選択につながる前記判断に少なくとも部分的に基づき、将来の利用のために記録される、方法。
6. 前記最初のキーストロークについて前記ユーザによって意図された前記キーを前記選択する段階は、
   前記接触パッチに対する前記ホットスポットの各々の位置、および、
   前記キー群のうちの前記複数のキーの履歴に少なくとも部分的に基づく確率に基づいて行われる請求項５に記載の方法。
7. 前記特定のキーについての前記ホットスポットの再配置は、前記特定のキーについて再配置された前記ホットスポットが表示されたキーの中心に位置するように、前記特定のキーについて表示されたキーを移動させることを含む、請求項５または請求項６に記載の方法。
8. 前記文脈の考慮は、前記最初のキーストロークについて２以上の可能性がある文字で文内に実際に存在する単語が形成される場合、複数の単語のうちどれが前記ユーザによって意図されたものかを選択すべく、文の前記文脈を調べることを含む、請求項５から請求項７のいずれか１つに記載の方法。
9. プロセッサに、
   ハンドヘルド電子デバイスのタッチスクリーンに最初のキーストロークとしてユーザが接触したときに、前記ユーザの接触が意図されたと判断される位置である接触パッチのアクティブ点を判断する処理と、
   前記アクティブ点が、前記タッチスクリーン上の仮想キーボード上のキー群のうち複数のキー各々の、前記ハンドヘルド電子デバイスがキーの中心とみなすスポットであるホットスポット付近に位置していると判断する処理と、
   前記複数のキーのうちの特定のキーを、前記最初のキーストロークとして前記ユーザが意図したキーとして選択する処理と、
   前記特定のキーが表す特定の文字を、前記ユーザが入力中の文脈における文字として含める処理と、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了したかどうかを判断する処理と、
   前記最初のキーストロークについての綴りおよび文脈の考慮が完了していない場合、１以上の追加のキーストロークを処理し、前記１以上の追加のキーストロークのそれぞれの後に、前記最初のキーストークについての綴りおよび文脈の考慮が完了したかどうかを判断する処理と、
   前記最初のキーストロークについて綴りおよび文脈の考慮が完了すると、前記最初のキーストロークについての綴りおよび文脈の考慮に基づいて、前記最初のキーストロークについて前記ユーザが意図した前記キーとして前記特定のキーを選択したことを変更するかどうかを判断する処理と、
   前記特定のキーについて前記ホットスポットを再配置するかどうかを判断する処理と
   を実行させ、
   前記特定のキーについての前記ホットスポットの再配置は、前記最初のキーストロークについて前記ユーザが意図したキーの前記選択につながる前記判断に少なくとも部分的に基づき、将来の利用のために記録される、プログラム。
10. 前記最初のキーストロークとして前記ユーザによって意図された前記キーを前記選択する処理は、
    前記接触パッチに対する前記ホットスポットの各々の位置、および、
    前記キー群のうちの前記複数のキーの履歴に少なくとも部分的に基づく確率に基づいて行われる請求項９に記載のプログラム。
11. 前記特定のキーについての前記ホットスポットの再配置は、前記特定のキーについて再配置された前記ホットスポットが表示されたキーの中心に位置するように、前記特定のキーについて表示されたキーを移動させることを含む、請求項９または請求項１０に記載のプログラム。
12. 前記文脈の考慮は、前記最初のキーストロークについて２以上の可能性がある文字で文内に実際に存在する単語が形成される場合、複数の単語のうちどれが前記ユーザによって意図されたものかを選択すべく、文の前記文脈を調べることを含む、請求項９から請求項１１のいずれか１つに記載のプログラム。

Images