JP5598104B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びコンピュータプログラムに関し、より詳細には、マルチタッチを検出可能なセンサを用いた入力デバイスの操作入力を処理する情報処理装置、情報処理方法及びコンピュータプログラムに関する。

スマートフォン等として普及しているＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のコントローラとして、タッチパネルなどのセンサを用いた入力デバイスがある。近年では、複数の指の接触を同時に検出できる、いわゆるマルチタッチを検出可能なタッチパネルも普及し始めている。

タッチパネルを用いた操作入力デバイスに関する技術として、例えば特許文献１には、タッチパネルセンサで検出されたタッチ位置のうち所定の押圧力が加えられていない状態で検出されたタッチ位置は除かれた上で押圧点の座標値を算出する座標入力装置が開示されている。これにより、実際の押圧点に対するタッチパネルセンサの押圧点の座標値の誤差を小さくすることができる。

また、例えば特許文献２には、操作体による表示画面上の摺動や押下操作によって情報を入力する表示入力装置が開示されている。かかる装置では、操作面を有して入力操作画像を表示する表示部と、表示部の操作面に対して反対側の面に連設された平面状の入力検出部とを設けて、入力検出部により、表示部を介在して加圧される押圧力を検知する。これにより、操作入力する際に、表示部が荷重伝達部材となって操作体の摺動位置及び押圧力の量を表示部裏面側で検知できる。

さらに、例えば特許文献３には、接触感知式入力装置により与えられるパラメータに基づき、ユーザの意思を適応的に解釈するためのシステムが開示されている。かかるシステムは、プロセッサがタッチパッド等の入力装置から圧力を示す圧力信号を受け取り、擬似圧力と圧力閾値とを比較し、擬似圧力が圧力閾値よりも大きい場合に信号をインプットされたとし、出力する。

特開２００９−２７６９９２号公報 特開２００９−１７６２４５号公報 特表２００７−５１２６１９号公報

マルチタッチを検出可能なタッチセンサでは、複数の指で同時操作が可能であることから、作業の高速化が可能となることが期待されている。しかしながら、タッチパネルの操作体系は、主として触る、離す、スライドさせることの３種類しかないため、操作方法が限定されており、必ずしも作業の高速化を達成できるとは限らない。

例えば、ＯＳＫ（Ｏｎ Ｓｃｒｅｅｎ Ｋｅｙｂｏａｒｄ）等の入力デバイスでは、タップ入力をする必要があり、マルチタッチ対応（両手操作が可能）でありながら、実質的には一本指で交互に操作しなければならず、操作速度を上げることができないという問題点があった。

また、マルチタッチ対応のものに限らず、タッチパネル全般で、スライドさせてプレビューを表示させ、指をリリースさせると決定させるという入力操作が多く用いられている。しかし、指をリリースさせる操作（すなわち、離す操作）は押す操作に比べて習熟が必要であるとともに、指を引く（離す）動作は押す動作より負担が大きいという問題があった。

このような問題を解決するために、例えばタッチセンサ上に投影される指の面積の大きさが所定値を超えた場合や、指の面積が大きくなる方向に変化した場合に、押圧されたと判定する擬似圧力が提唱されている。このような技術を用いることで、タッチパネルを押すことで選択された処理を決定することができ、複数の指をタッチパネルに置いたままでも押す動作を行った指を認識することが可能となる。しかし、指の置き方や押し方などにより検出誤差が大きく信頼性に欠けるという問題があった。正確な押圧の検出のために複数の力センサをタッチセンサ上（または下）にマトリクス状に敷き詰めるという方法も提唱されているが、構造が複雑でコスト増要因になるという問題があった。さらには、センサの構造上、筐体のタッチ面を硬質にすることができず、信頼性の確保や意匠の自由度が制限されるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、タッチセンサへの押圧箇所を高精度に推定することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、操作面における複数の接触座標を検出可能であり、検出結果として接触検出信号を出力する接触検出部と、操作面に対する荷重を検出する荷重検出部と、荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、少なくとも接触検出信号に基づいて、操作面における複数の接触座標から押圧されている座標を推定する座標推定部と、を備える、情報処理装置が提供される。

座標推定部は、接触検出信号及び荷重検出部による荷重検出結果から、接触検出信号と荷重検出結果との関連性を取得し、関連性が所定値以上である接触座標を押圧されている座標と推定してもよい。

また、接触検出部は、接触座標における接触面積または接触強度のいずれか一方を接触検出信号として出力してもよい。

あるいは、座標推定部は、操作面における接触検出信号の大きさの変化に基づいて、変化が最大の接触座標を押圧されている座標と推定してもよい。

また、座標推定部は、各接触座標における接触検出信号の変化の波形と、荷重検出部の荷重検出結果の時間変化の波形との類似度が最大となる接触座標を、押圧されている座標と推定してもよい。

座標推定部は、各接触座標における座標履歴情報を接触検出信号として出力してもよい

このとき、座標推定部は、接触検出信号から取得される、荷重検出結果が押圧座標取得条件を満たした時点より前の座標履歴情報から、接触座標の変化が最大の座標を押圧されている接触座標と推定してもよい。

また、座標推定部は、接触検出信号から、荷重検出結果が押圧座標取得条件を満たした時点の前時間における接触座標を、押圧されている接触座標と推定してもよい。

押圧座標取得条件は、荷重検出部の荷重検出結果が荷重閾値を超えたときとしてもよい。あるいは、押圧座標取得条件は、荷重検出部の荷重検出結果の変化率が荷重変化閾値を超えたときとしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、操作面における複数の接触座標を検出可能な接触検出部により、検出結果である接触検出信号が出力されるステップと、荷重検出部により操作面に対する荷重を検出するステップと、荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、座標推定部により、少なくとも接触検出信号に基づいて、操作面における複数の接触座標から押圧されている座標を推定するステップと、を含む、情報処理方法が提供される。

さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、操作面における複数の接触座標を検出可能な接触検出部を制御し、接触検出部から検出結果として接触検出信号を取得する接触検出制御手段と、荷重検出部に操作面に対する荷重を検出させる荷重検出制御手段と、荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、少なくとも接触検出信号に基づいて、操作面における複数の接触座標から押圧されている座標を推定する座標推定手段と、を備える、情報処理装置として機能させるためのコンピュータプログラムが提供される。

プログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記情報処理装置として機能させることができる。また、プログラムが記録された、コンピュータによって読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどである。磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

以上説明したように本発明によれば、タッチセンサへの押圧箇所を高精度に推定することが可能な情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。

本発明の実施形態に係る押圧検出可能なタッチセンサの構成を示した構成図である。 同実施形態に係る押圧検出可能なタッチセンサの構成を示したブロック図である。 同実施形態に係るタッチセンサを搭載した入力デバイスの一例を示す概略斜視図である。 図３の入力デバイスによりＯＳＫを機能させた状態を示す説明図である。 図３の入力デバイスの構成を示す断面図である。 入力デバイスにおける力センサの配置例を示す断面図である。 入力デバイスにおける力センサの他の配置例を示す断面図である。 入力デバイスにおける力センサの他の配置例を示す断面図である。 入力デバイスにおける力センサの他の配置例を示す断面図である。 入力デバイスにおける力センサの他の配置例を示す断面図である。 入力デバイスにおける力センサの他の配置例を示す断面図である。 同実施形態に係る接触座標を推定するための機能構成を示すブロック図である。 同実施形態に係る接触座標推定処理を示すフローチャートである。 静電センサ基板による操作体の接触位置の検出について示す説明図である。 静電センサ基板および力センサの検出値と、これらの相関関係を示すグラフである。 指を動かしながら左右の手で操作入力を行ったときの静電センサ基板による検出結果と力センサによる検出結果とを示すグラフである。 接触座標推定処理を行うプロセッサを備えるリモートコントローラを示す概略斜視図である。 図１７のリモートコントローラの構成を示す断面図である。 図１７のリモートコントローラを用いてテレビへの文字入力操作を行う状態を示す説明図である。 接触座標推定処理を行うプロセッサを備えるフルキーボードを示す概略斜視図である。 モバイル機器等のハードウェア構成の一構成例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．モバイル機器の構成
２．接触座標推定機能
３．他の入力デバイスへの適用
４．ハードウェア構成例

＜１．モバイル機器の構成＞
まず、図１〜図１１を参照して、本発明の実施形態に係る入力デバイスの概略構成について説明する。なお、図１は、本実施形態に係る押圧検出可能なタッチセンサの構成を示した構成図である。図２は、本実施形態に係る押圧検出可能なタッチセンサの構成を示したブロック図である。図３は、本実施形態に係るタッチセンサを搭載した入力デバイスの一例を示す概略斜視図である。図４は、図３の入力デバイスによりＯＳＫを機能させた状態を示す説明図である。図５は、図３の入力デバイスの構成を示す断面図である。図６〜図１１は、入力デバイスにおける力センサの配置例を示す断面図である。

［タッチセンサの構成］
まず、図１及び図２に基づいて、本実施形態に係る入力デバイスに用いるタッチセンサの構成とその機能について説明する。本実施形態に係るタッチセンサ１２０は、図１に示すように、静電センサ基板１２２と、力センサ１２４とからなる。

静電センサ基板１２２には、ｘ座標及びｙ座標の検出を行う静電検出用グリッド（図示せず。）が形成されている。静電センサ基板１２２は、操作体の接触に応じた各グリッドの静電容量の変化から、基板上における操作体の接触座標を特定することができる。本実施形態の静電センサ基板１２２は、複数の操作体の接触を同時に検出することができる。

力センサ１２４は、静電センサ基板１２２の外周に沿って配置される枠型のセンサである。力センサ１２４は、ユーザが操作体により静電センサ基板１２２または静電センサ基板１２２が設けられた入力デバイスの筺体のタッチエリアを押圧するときの押圧力を検出する。

静電センサ基板１２２及び力センサ１２４は、図２に示すように、ＦＰＣを通して外部に配置されたプロセッサ１４０と電気的に接続される。プロセッサ１４０は、静電センサ基板１２２及び力センサ１２４の検出結果から、複数の位置信号及び操作体により押圧された位置における決定信号を取得する。なお、プロセッサ１４０における処理の詳細については後述する。

［モバイル機器の構成］
図１に示したタッチセンサ１２０は、例えば図３に示すようなモバイル機器１００に設けられる。モバイル機器１００にて、例えばＯＳＫの機能を実行させると、図４に示すように、ディスプレイ１３０に文字入力のためのＯＳＫが表示される。モバイル機器１００には、後述する本実施形態の情報処理装置が搭載される。これにより、ユーザは任意の複数個所を同時に触れることができ、所望する文字キーを押圧することで文字を入力することができる。また、操作に対するデバイス起因の制約が従来のタッチパネルより少なく、押すことで入力ができるため、操作が速くユーザの負荷も少なくすることができる。

モバイル機器１００は、図５に示すように、手で把持可能な筐体１１０内部に、図１に示した静電センサ基板１２２及び力センサ１２４と、液晶ディスプレイ１３０と、ＭＰＵなどを含むメイン基板やバッテリーなど（図示せず。）を備える。モバイル機器１００の表示面側（図５の上側）から、カバー１１２、静電センサ基板１２２、液晶ディスプレイ１３０、力センサ１２４の順に設けられており、力センサ１２４は、筺体１１０内部で受け板１１４に固定されている。受け板１１４は、筺体１１０に固定されている。

なお、本実施形態では、タッチパネルとして、静電容量の変化を検出する静電容量センサを用いているが、本発明は係る例に限定されない。例えば、戻り光の強さや接触面積から操作体の接触を検出する光学式インセル型タッチセンサや、指からの反射波の強さから操作体の接触を検出するＳＡＷ型タッチセンサを用いることができる。あるいは、抵抗の大きさから操作体の接触を検出するグリッド型抵抗膜式タッチセンサなどを用いてもよい。このように、他の検出原理を用いたタッチセンサを本実施形態のモバイル機器１００に適用することも可能である。また、タッチセンサの種類として、タッチパネル、タッチパッドなどの２次元での座標判定を行う２次元センサの他、インライン状の１次元センサを適用してもよい。

力センサ１２４には、ＰＺＴ型、静電容量型、抵抗型、歪ゲージなど、各種センサを適用することができる。また、本実施形態では、力センサ１２４の検出結果から押圧位置を特定しないため、力センサ１２４の配置位置に自由度がある。このため、モバイル機器１００の意匠の自由度を高めることができる。力センサの配置位置の例を、図６〜図１１に示す。

図６は、図５と同一の構成を示しており、静電センサ基板１２２の下部（筺体１１０内部側）に力センサ１２４ａを配置している。力センサ１２４ａは静電センサ基板１２２の外周に沿った枠型をしている。かかる構成は、力センサ１２４ａとして、静電式力センサや抵抗式力センサを用いる場合に適している。

図７は、図６と同等に、静電センサ基板１２２の下部（筺体１１０内部側）に力センサ１２４ｂを配置しているが、力センサ１２４ｂは面状をしている点で図６の構成と相違する。すなわち、力センサ１２４ｂは静電センサ基板１２２の全面と対向して設けられている。かかる構成は、力センサ１２４ｂとして、静電式力センサや抵抗式力センサを用いる場合に適している。

図８は、静電センサ基板１２２の上部（筺体１１０外部側）に力センサ１２４ｃを配置した例である。力センサ１２４ｃは、筺体１１０の一部と、カバー１１２を介した静電センサ基板１２２との間に設けられる。モバイル機器１００の表示面側から力が加えられると、力センサ１２４ｃは当該力センサ１２４ｃが固定されている筺体面から離隔する方向に引っ張られることで、荷重を検出する。このとき、筺体１１０内部の受け板１１４は、表示面側からの荷重によって移動する力センサ１２４ｃ等の移動を規制するストロークリミッタとして機能する。かかる構成も、力センサ１２４ｃとして、静電式力センサや抵抗式力センサを用いる場合に適している。

図９は、静電センサ基板１２２の下部（筺体１１０内部側）に力センサ１２４ｄを配置した例であり、力センサ１２４ｄが静電センサ基板１２２と点接触している点で図５、図６の構成と相違する。図９では、静電センサ基板１２２の外縁付近に２つの力センサ１２４ｄを設けたが、本発明はかかる例に限定されず、例えば静電センサ基板１２２の中央付近に１つの力センサ１２４ｄを設けてもよい。かかる構成は、力センサ１２４ｄとして、ＰＺＴ式力センサを用いる場合に適している。

図１０は、力センサ１２４ｅを、モバイル機器１００の表示面とは反対側の筺体１１０内部に配置した例である。力センサ１２４ｅは、モバイル機器１００の表示面が押圧されたときに背面側にも荷重が加わるという作用反作用を利用して、表示面に対する押圧を検出する。なお、図５のように、筺体１１０が表示面側と背面側との２つに分離可能に構成されている場合、力センサ１２４ｅを分離される筺体の間に挟み込むように設けてもよい。かかる構成は、力センサ１２４ｅとして、静電式力センサや抵抗式力センサを用いる場合に適している。

図１１は、力センサ１２４ｆとして歪ゲージを用いた例である、歪ゲージを用いることで、筺体１１０内部に設けることが可能となり、継ぎ目のない造形が可能となる。なお、図１１では、力センサ１２４ｆを筺体１１０内部背面側に設けた例を示したが、本発明は係る例に限定されず、例えば筺体１１０内部表示面側に設けてもよい。

このようなモバイル機器１００では、マルチタッチを検出可能な静電センサ基板１２２と、荷重を検出する力センサ１２４とを用いて、操作体により押圧された表示面における接触座標を高精度に推定する。以下、接触座標を推定する情報処理装置として機能するプロセッサ１４０の機能構成と、これによる接触座標推定処理について説明する。

＜２．接触座標推定機能＞
［接触座標を推定するための機能構成］
まず、図１２に基づいて、本実施形態に係る接触座標を推定するための機能構成について説明する。なお、図１２は、本実施形態に係る接触座標を推定するための機能構成を示すブロック図である。

本実施形態に係るモバイル機器１００において、接触座標の推定はプロセッサ１４０によって行われる。プロセッサ１４０は、図１２に示すように、座標推定部１４２と、出力部１４４とを備える。座標推定部１４２は、静電センサ基板１２２及び力センサ１２４の検出結果に基づいて、操作体により操作された座標位置を推定し、出力部１４４を介して推定結果をモバイル機器１００の他の構成要素（図示せず。）に出力する。また、座標推定部１４２は、記憶部１５０に記憶された情報を参照し、更新することができる。

［接触座標推定処理］
次に、図１３〜図１５に基づいて、本実施形態に係るプロセッサ１４０の座標推定部１４２による接触座標推定処理について説明する。なお、図１３は、本実施形態に係る接触座標推定処理を示すフローチャートである。図１４は、静電センサ基板１２２による操作体の接触位置の検出について示す説明図である。図１５は、静電センサ基板１２２および力センサ１２４の検出値と、これらの相関関係を示すグラフである。

情報処理装置による接触座標推定処理は、ユーザが静電センサ基板１２２、または静電センサ基板１２２が設けられた筐体１１０に、１または複数の指が触れることで開始される。指が静電センサ基板１２２に触れると、座標推定部１４２は、静電センサ基板１２２の各グリッドの静電容量の変化から、これらの接触座標をそれぞれ特定する（Ｓ１００）。図１４に示すように、静電センサ基板１２２には、静電容量のノード（検出点）１２３がマトリクス状に配列されており、指が表示面に接触することにより各ノード１２３が検出する静電容量が変化する。このとき、座標推定部１４２は、例えば、３×３個のノード１２３からなる判定領域１２５の静電容量の値を、静電センサ基板１２２全体について確認し、静電容量の高い判定領域１２５の中心ノード１２３ａとして、指が接触している位置として特定する。

一方、ユーザが操作決定を行う等のため、１本の指を押圧すると、力センサ１２４の出力が変化し、力センサ１２４により検出された押圧力がプロセッサ１４０の座標推定部１４２へ出力される。座標推定部１４２は、力センサ１２４より入力された押圧力に基づいて、ユーザが指により表示面を押圧したか否かを判定する（Ｓ１１０）。かかる判定は、例えば、座標推定部１４２に入力された押圧力の大きさが圧力閾値を超えた場合、または力の単位当たりの変化率が所定値を超えた場合の少なくともいずれか一方を具備したときとすることができる。

力センサ１２４の検出結果のみでは表示面のどの位置が押下されたのかを判別することはできない。そこで、本実施形態では、力センサ１２４の検出結果に基づいて、表示面が指で押圧されている押圧箇所を特定する処理を開始するトリガー（押圧座標取得条件）を設定し、押圧箇所を特定する処理の実行を判定する。ステップＳ１１０にて力センサ１２４により表示面が押圧されたと判断されたとき（あるいはその前後の時間）の接触箇所の情報を用いることで、押圧したタイミングの接触箇所の情報を用いることができ、正確に押圧箇所を判定できる。

ステップＳ１１０で、表示面は押圧されていないと判定されたとき、座標推定部１４２は、各接触箇所の座標のみを出力部１４４へ出力し、処理を終了する（Ｓ１２０）。

一方、ステップＳ１１０で、表示面が押圧されたと判定されたとき、座標推定部１４２は、各接触箇所の静電容量の時間変化と押圧力の時間変化との相関関係をそれぞれ算出する（Ｓ１３０）。各接触箇所の静電容量の時間変化は、具体的には、例えば、ステップＳ１１０にて押圧の有無が判定されたタイミングを基点とする過去の履歴（ｎ個）、未来の履歴（ｍ個）において、静電センサ基板１２２の接触座標における指の面積の変化で表すことができる。あるいは、静電容量ピーク値の大きさの変化によっても各接触箇所の静電容量の時間変化を表すことができる。

そして、ステップＳ１３０で得られた相関関係から、相関関係が最も１に近い接触箇所を押圧箇所と推定する（Ｓ１４０）。例えば、図１５のグラフは、静電センサ基板１２２により検出される２箇所の押圧点における静電容量のピーク値、力センサ１２４の検出値、及びｎ＝２、ｍ＝２としたときの時間波形の相関係数を表している。相関係数のグラフでは、各押圧点と力センサ１２４の検出値との相関係数を表しており、押圧力を示すグラフと同一の線種で示している。相関係数が１に近いほど、関連性が高いことを示している。押圧力を示すグラフを参照すると、静電容量自体は、ベースラインの揺らぎ、押圧による静電容量の変化のばらつきが大きく、それだけではどの接触箇所で押圧されたかを判定をすることができない。

そこで、本実施形態では力センサ１２４の出力を併用することによって、各押圧点と力センサ１２４の検出値との相関係数を算出し、これらの関連性をみる。相関係数が１に近づくほど関連性が高いことから、このときの接触箇所における押圧点を押圧箇所と認識することができる。図１５の相関係数を示すグラフを参照しても、押圧力を示すグラフからは明確に認識することができなかったこれらの関連性を明確に認識することができる。したがって、正確にモバイル機器１００の表示面を押圧したタイミングと箇所とを認識することが可能となる。

その後、座標推定部１４２は、静電センサ基板１２２により検出された各接触箇所の座標及びステップＳ１４０にて推定した接触箇所に対する決定コマンドを、出力部１４４へ出力する（Ｓ１５０）。出力部１４４は、接触箇所に関する情報および決定コマンドに基づき処理を実行する構成要素へ、接触箇所および決定コマンドを出力し、処理を終了する。

（関連性の取得）
ステップＳ１４０では、各接触箇所の静電容量の時間変化と押圧力の時間変化との相関関係を用いて押圧箇所を推定したが、本発明はかかる例に限定されず、静電センサ基板１２２および力センサ１２４の検出結果から取得できる他の情報も用いることができる。

静電センサ基板１２２の検出結果から取得できる情報としては、例えば、表示面が押圧されたときの座標がある。この場合、座標変化の大小比較をし、時間波形や周波数波形の力センサ１２４からの出力との関連性をみて、押圧箇所を特定することができる。また、例えば、前回の押圧時と今回の押圧時とにおける指の動きについて大小比較することで関連性をみることもできる。さらに、例えば、指の面積の時間経過前後の変化率が最大の接触箇所を押圧箇所としてしてもよい。あるいは、単に、最も静電容量の大きい接触箇所、静電容量の差が最も大きい接触箇所等を押圧箇所と推定することもできる。静電センサ基板１２２とは検出方式の異なるセンサを用いる場合については、例えば、抵抗膜センサでは抵抗値の大きさ、インセル光学式センサでは光強度の大きさを用いることができる。

また、力センサ１２４の検出結果から取得できる情報としては、例えば、波形の時間波形や周波数波形等がある。一般に、表示面が押圧されると周波数が高くなる。このような情報と、静電センサ基板１２２から取得された情報との関連性から、接触箇所から押圧箇所を特定することができる。

なお、上記説明では、各接触箇所の静電容量の時間変化と押圧力の時間変化との相関関係を用いて押圧箇所を推定したが、例えば、回帰曲線の傾き等によっても静電センサ基板１２２の検出結果と力センサ１２４の検出結果との関連性を表すことができる。

（指の動き履歴を用いた押圧箇所の推定）
押圧箇所を推定する別の方法として、指の動き履歴を用いる方法も考えられる。具体的には、表示面に対して押圧させると想定される指は、押圧前の最後にスライドされたり、あるいはタッチセンサ上に置かれたりことが多い。かかるユーザ特性を利用し、各接触箇所の動き履歴を記憶部１５０に記憶しておき、押圧値が閾値を超えたところで、動き履歴を参照して、押圧前の最後にスライドされた接触箇所、あるいはタッチセンサ上に置かれた接触箇所を押圧箇所と推定することができる。実際には、判定精度を高めるため、かかる判定方法は、面積や静電容量による判定と併用して補助的に用いることが好ましい。まれに静電容量に基づく検出結果だけでは判断がつきにくいケースがあり、そのときに本ロジックを併用することが考えられる。

（指を動かしながら文字入力を行ったときの検出結果）
図１６に、指を動かしながら左右の手で操作入力を行ったときの静電センサ基板１２２による検出結果と力センサ１２４による検出結果とを示す。図１６では、静電容量の変化を、ＯＳＫの操作領域を右手領域と左手領域とに分けて示している。右手によって入力されれば右手領域の静電容量が増加し、左手によって入力されれば左手領域の静電容量が増加する。なお、静電センサ基板１２２は１つであってもよく、右側基板と左側基板とに物理的に分けて設けていてもよい。

グラフ内の＜Ｒ＞は右手での入力、＜Ｌ＞は左手での入力であることを示す。図１６より、左手で入力が行われているときには、力センサ１２４による検出結果と左手領域の静電容量とがともに増加しており、これらに関連性があることがわかる。一方、右手で入力が行われているときには、力センサ１２４による検出結果と右手領域の静電容量とがともに増加している。このように、指を動かしながら左右の手で操作入力を行ったことも正確に認識することができる。

なお、図１６に示す例において、表示面を押圧したときの静電容量の時間変化を表すテンプレートを予め取得しておき、当該テンプレートと静電センサ基板１２２による検出結果とを比較して、いずれの手で操作入力が行われたかを特定することもできる。

例えば、図１３に示すフローチャートのステップＳ１１０にて表示面が押圧されたことが検出されたとする。押圧されたか否かの判断は、例えば、上述したような力センサ１２４による検出結果が所定の圧力閾値を超えたとき、図１６の例では検出結果（押圧力）が黒丸の位置を超えたときとすることができる。そして、ステップＳ１３０にて、静電センサ基板１２２の検出結果と、予め取得されたテンプレートとの相関をとり、ステップＳ１４０にて、これらの値を統計的に比較して、最も合致する静電容量の時間変化が検出された位置を接触箇所として決定する。

ここで、相関は、トリガーを検出した時点を基点とし、その後のｎ個の履歴を用いて計算してもよく、また、トリガーが検出された時点から過去ｎ個の履歴および未来ｍ個の履歴を用いて計算してもよい。すなわち、静電センサ基板１２２による検出結果（静電容量）と力センサ１２４による検出結果（押圧力）との相関をとる代わりに、予め取得されたテンプレートと静電容量との相関をとることによっても、押圧箇所を推定することができる。

また、押圧箇所を特定する処理を開始するトリガーを、力センサ１２４の検出結果が第１の圧力閾値を超えた後、第２の圧力閾値を下回ったときとすることもできる。例えば、図１６に示す例では、検出結果（押圧力）が黒丸の位置を超えた後、白丸の位置を下回ったときがトリガーとなる。ステップＳ１１０にてかかるトリガーが検出された場合にも、座標推定部１４２は、ステップＳ１３０にて静電センサ基板１２２の検出結果と、予め取得されたテンプレートとの相関をとる。そして、ステップＳ１４０にて、座標推定部１４２は、これらの値を統計的に比較して、最も合致する静電容量の時間変化が検出された位置を接触箇所として決定する。

ここで、相関は、例えば力センサ１２４の検出結果が第１の圧力閾値を超えた時点を基点（図１６の黒丸）とし、第２の圧力閾値を下回った時点を終点（図１６の白丸）として、その間のｎ個の履歴を用いて算出するようにしてもよい。相関の算出に用いる過去の履歴の数ｎは不定数とする。テンプレートは、相関の算出に用いる過去の履歴の数ｎに合わせて複数用意してもよく、１つのみ用意してもよく、過去の履歴の数ｎに合わせて拡張してもよい。

このように、予め押圧時の静電容量の時間変化を表す情報等をテンプレートとして取得することで、力センサ１２４による検出結果を利用せずとも、当該テンプレートと静電センサ基板１２２による検出結果とに基づいて、押圧箇所を推定することができる。なお、ここでは静電容量の時間変化に関してテンプレートと静電センサ基板１２２による検出結果との関連性を算出したが、本発明はかかる例に限定されず、上述したような、静電センサ基板１２２の検出結果から取得できる情報を用いて関連性を算出することも可能である。

＜３．他の入力デバイスへの適用＞
本実施形態では、モバイル機器１００にてＯＳＫを機能させて操作する場合について説明したが、本実施形態に係る接触座標推定処理は他の入力デバイスにも適用可能である。例えば、図１７〜図１９に示すように、リモートコントローラ２００に適用することができる。将来的に、テレビのチャンネル数の増加や、ＩＰＴＶの普及により、例えばキーワード検索の機会が大きく増加することが予想される。そこで、リモートコントローラ２００に、本実施形態に係る接触座標推定処理を適用することで、テレビに対して高速に文字入力をすることが可能となる。

リモートコントローラ２００は、図１７、１８に示すように、手で把持可能な筐体２１０の内部に、タッチセンサやＭＰＵ等を含むメイン基板、バッテリー、テレビとの通信を行うアンテナ（図示せず。）等が設けられている。操作面側（図１８の上側）から、カバー２１２、接触センサ基板２２２、力センサ２２４、の順に設けられている。力センサ２２４は、筺体２１０内部で受け板２１４に固定されている。受け板２１４は、筺体２１０に固定されている。

このようなリモートコントローラ２００を用いてテレビ４００への文字入力を行う場合には、図１９に示すように、テレビ４００のディスプレイ４１０にＯＳＫ４２０が表示される。このとき、リモートコントローラ２００にディスプレイがなくとも、ユーザは、リモートコントローラ２００の操作面上に接触させている指の位置を、テレビ４００のディスプレイ４１０によって確認できる。したがって、ユーザは、テレビ４００のディスプレイ４１０を見ながら、入力する文字が対応付けられた文字キーに触れ、押圧することで、テレビ４００の文字入力エリア（図示せず。）に文字を入力することができる。

このように、従来のリモートコントローラやキーボードでは、キーの位置確認のためユーザは手元を確認する動作が必要であったが、本実施形態の接触座標推定処理を適用することで、手元を確認する動作が不要となり、ユーザの操作負荷を軽減することができる。

また、他の適用例として、例えば、図２０に示すように、タッチ式のフルキーボード３００にも本実施形態の接触座標推定処理を適用できる。フルキーボード３００の筐体３１０の上面は、入力操作を行うタッチ面がフラットに形成されており、キーが印刷されている。筐体３１０の上面のタッチ面に、キー位置を触覚で認識できるようにテクスチャーを付加することもできる。

ユーザは、両手の指を同時にタッチ面に接触させた状態であっても、接触座標推定処理にとって、各指の接所箇所を認識することができる。そして、座標推定部１４２は、タッチ面が押圧された押圧箇所を特定することによって、どのキーの文字が入力されたかを認識することができる。

以上、本実施形態に係る座標推定装置を行うプロセッサ１４０を備えた入力デバイス（例えば、モバイル機器１００）の構成と、接触座標推定処理について説明した。本実施形態によれば、マルチタッチを検出可能な静電センサ基板１２２と、デバイスに対する加重を検出する力センサ１２４とを備える。座標推定部１４２は、力センサ１２４の出力をトリガーとして、トリガーの掛った時点、あるいはその前後における、静電センサ基板１２２からの出力信号の演算結果に基づいて、押圧箇所を推定する。このとき、座標推定部１４２は、静電センサ基板１２２および力センサ１２４の出力信号の演算結果に基づいて、押圧箇所を推定してもよい。

このように、押圧を判定することで、複数の接触箇所から決定動作が行われた押圧箇所を推定し、決定することから、複数の接触箇所があっても押圧箇所を分離することができるので、操作の制限が少なく、操作性を向上させることができる。また、操作の制限が少なくなることによって、ユーザの操作負荷も軽減することができる。さらに、押圧箇所を特定するために、静電センサ基板１２２および力センサ１２４の出力信号を用いることで、押圧箇所の判定の際の検出誤差を低減することができる。また、装置構成も簡単であり、低コストに実現することができるとともに、信頼性の高い装置を実現することもできる。力センサ１２４の配置位置についても、自由度が高く、装置の信頼性を確保することができ、意匠の自由度も高くすることができる。

＜４．ハードウェア構成例＞
本実施形態にかかるモバイル機器１００等による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、モバイル機器１００等は、図１３に示すようなコンピュータとして構成することもできる。以下、図１３に基づいて、本実施形態に係るモバイル機器１００等の一ハードウェア構成例について説明する。

本実施形態に係るモバイル機器１００等は、上述したように、コンピュータ等の処理装置により実現することができる。モバイル機器１００等は、図１３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４ａとを備える。また、モバイル機器１００等は、ブリッジ１０４と、外部バス１０４ｂと、インタフェース１０５と、入力装置１０６と、出力装置１０７と、ストレージ装置（ＨＤＤ）１０８と、ドライブ１０９と、接続ポート１１１と、通信装置１１３とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってモバイル機器１００等内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４ａにより相互に接続されている。

ホストバス１０４ａは、ブリッジ１０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。なお、必ずしもホストバス１０４ａ、ブリッジ１０４および外部バス１０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。出力装置１０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置１０８は、モバイル機器１００等の記憶部の一例であり、データ格納用の装置である。ストレージ装置１０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１０８は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。

ドライブ１０９は、記憶媒体用リーダライタであり、モバイル機器１００等に内蔵、あるいは外付けされる。ドライブ１０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

接続ポート１１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置１１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ モバイル機器
１１０ 筺体
１１２ カバー
１１４ 受け板
１２０ タッチセンサ
１２２ 静電センサ基板
１２４ 力センサ
１３０ 液晶ディスプレイ
１４０ プロセッサ
１４２ 座標推定部
１４４ 出力部
１５０ 記憶部

Claims (12)

1. 操作面における複数の接触座標を検出可能であり、検出結果として接触検出信号を出力する接触検出部と、
   前記操作面に対する荷重を検出する荷重検出部と、
   前記荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、少なくとも前記接触検出信号に基づいて、前記操作面における複数の接触座標から押圧されている座標を推定する座標推定部と、
   を備え、
   前記座標推定部は、前記接触検出信号及び前記荷重検出部による荷重検出結果から、前記接触検出信号と荷重検出結果との関連性を取得し、当該関連性の有無に基づき押圧されている座標を推定する、情報処理装置。
2. 前記座標推定部は、前記接触検出信号と荷重検出結果との関連性を相関係数として取得し、
   前記相関係数が所定値以上である前記接触座標を押圧されている座標と推定する、請求項１に記載の情報処理装置。
3. 前記接触検出部は、前記接触座標における接触面積または静電容量の大きさのいずれか一方を接触検出信号として出力する、請求項１または２に記載の情報処理装置。
4. 前記座標推定部は、前記操作面における前記接触検出信号の大きさの変化に基づいて、変化が最大の接触座標を押圧されている座標と推定する、請求項３に記載の情報処理装置。
5. 前記座標推定部は、前記各接触座標のうち、前記接触検出信号の変化の波形と前記荷重検出部の荷重検出結果の時間変化の波形との関連性が最も高い接触座標を、押圧されている座標と推定する、請求項３に記載の情報処理装置。
6. 前記座標推定部は、前記各接触座標における座標履歴情報を前記接触検出信号として出力する、請求項１に記載の情報処理装置。
7. 前記座標推定部は、前記接触検出信号から取得される、前記荷重検出結果が押圧座標取得条件を満たした時点より前の座標履歴情報から、前記接触座標の変化が最大の座標を押圧されている接触座標と推定する、請求項６に記載の情報処理装置。
8. 前記座標推定部は、前記接触検出信号から、前記荷重検出結果が押圧座標取得条件を満たした時点の前時間における前記接触座標を、押圧されている接触座標と推定する、請求項６に記載の情報処理装置。
9. 前記押圧座標取得条件は、前記荷重検出部の荷重検出結果が荷重閾値を超えたときとする、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記押圧座標取得条件は、前記荷重検出部の荷重検出結果の変化率が荷重変化閾値を超えたときとする、請求項１〜８のいずれか１項に記載の情報処理装置。
11. 操作面における複数の接触座標を検出可能な接触検出部により、検出結果である接触検出信号が出力されるステップと、
    荷重検出部により前記操作面に対する荷重を検出するステップと、
    前記荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、座標推定部により、前記接触検出信号及び前記荷重検出部による荷重検出結果から、前記接触検出信号と荷重検出結果との関連性を取得し、当該関連性の有無に基づき前記操作面における複数の接触座標から押圧されている座標を推定するステップと、
    を含む、情報処理方法。
12. コンピュータを、
    操作面における複数の接触座標を検出可能な接触検出部を制御し、前記接触検出部から検出結果として接触検出信号を取得する接触検出制御手段と、
    荷重検出部に前記操作面に対する荷重を検出させる荷重検出制御手段と、
    前記荷重検出部による荷重検出結果が押圧座標取得条件を満たしたとき、少なくとも前記接触検出信号に基づいて、前記操作面における複数の接触座標から押圧されている座標を推定する座標推定手段と、
    を備え、
    前記座標推定手段は、前記接触検出信号及び前記荷重検出部による荷重検出結果から、前記接触検出信号と荷重検出結果との関連性を取得し、当該関連性の有無に基づき押圧されている座標を推定する、情報処理装置として機能させるためのコンピュータプログラム。
    

Images