上記特許文献1および特許文献2に開示の技術によれば、タッチセンサに対する操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。したがって、このような入力装置を用いて入力を行う操作者は、タッチセンサに対して行った操作入力が入力装置に適正に受け付けられたことを、触覚により認識することができる。
しかしながら、このような入力装置を用いて操作入力を受け付けた際に触感を呈示するためには、所定の条件に応じて触感を呈示する処理が、予めアプリケーションプログラム(以下、単に「アプリケーション」と記す)に組み込まれている必要がある。すなわち、上述の入力装置においては、振動を発生させることを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて触感を呈示することができる。しかしながら、上述の入力装置に、振動を発生させることを想定していないアプリケーションをそのまま適用しても、適切に触感を呈示することはできない。
したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を呈示するための処理を追加する改変を加える必要がある。
具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して入力がなされた際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して入力がなされても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびGUI(Graphical User Interface)を入出力に用いたユーザインタフェースによって操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する入力により、当該入力を受け付けたことを、触感を呈示することにより報知することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する入力がなされても、フィードバックが発生しないようにできる。
このような制御を行う場合、入力装置は、タッチセンサに対して入力がなされた際のGUIの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。
以下、触感を呈示する際に想定される処理について説明する。図7は、想定される入力装置の概略構成を示すブロック図である。図7に示すように、入力装置100は、制御部110と、アプリケーション実行部120と、表示部130と、タッチセンサ140と、触感呈示部150と、を備えている。また、制御部110は、表示制御部112と、触感制御部114とを含んでいる。
制御部110は、入力装置100の各機能部をはじめとして入力装置100の全体を制御する。アプリケーション実行部120は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、アプリケーション実行部120が実行しているアプリケーションは、以下の説明においては、表示部130に表示した入力用オブジェクトの位置に対応するタッチセンサ140に入力があった際に、所定の触感を呈示する処理が予め追加されているものとする。
表示部130は、液晶ディスプレイや有機ELディスプレイ等で構成し、入力を行うためのキーまたはボタン等のオブジェクトの画像を表示する。タッチセンサ140は、通常は表示部130の前面に配置して、表示部130に表示したオブジェクトに対する操作者の指等によるタッチ入力を、対応するタッチセンサ140のタッチ面により受け付ける。また、タッチセンサ140は、タッチ面により受け付けたタッチ入力の位置を、制御部110を介してアプリケーション実行部120に通知する。触感呈示部150は、小型の偏心モータや圧電素子等で構成し、タッチセンサ140のタッチ面を振動させることにより、操作者の指等のタッチ対象に触感を呈示する。
制御部110の表示制御部112は、アプリケーション実行部120から供給される表示データに基づいて、表示部130にオブジェクトなどの画像を表示したり、あるいは当該画像の表示態様を変更したりする等、表示に係る制御を行う。触感制御部114は、アプリケーション実行部120の指示に基づいて、所定の条件に基づく振動パターンを、触感呈示部150に供給する。
図8は、入力装置100により触感の呈示を制御する動作の例を概略的に説明するフローチャートである。
タッチセンサ140のタッチ面に対するタッチ入力が検知された時点で、入力装置100による触感の呈示を制御する動作は開始する。本動作が開始すると、まず、タッチセンサ140は、タッチ面に対するタッチ入力の位置をアプリケーション実行部120に通知する(ステップS100)。この通知を受けると、アプリケーション実行部120は、当該入力位置が表示部130にキーまたはボタン等のオブジェクトを画像表示している位置に対応するか否かを判定する(ステップS102)。ステップS102において、入力位置が表示部130にキーまたはボタン等のオブジェクトの画像を表示している位置に対応しない場合、アプリケーション実行部120は、表示または触感に関する指示は行わずに動作を終了する。
一方、ステップS102において、入力の位置がキーまたはボタン等のオブジェクトの画像を表示している位置に対応する場合、アプリケーション実行部120は、表示制御部112に対して、入力を受け付けた旨の表示を行うための表示データを提供する。ここでいう入力を受け付けた旨の表示とは、例えばキーまたはボタン等のオブジェクトを一瞬だけ反転表示したり、キーまたはボタン等が押下された状態を示す画像を表示するなど、操作者が視認できるような表示にすることである。このような表示データを受信したら、表示制御部112は、当該表示データに基づいて、表示部130に表示される画像を変更する(ステップS104)。
続いて、アプリケーション実行部120は、触感制御部114に対して、入力を受け付けた旨を操作者に報知するため、所定の触感を呈示するように指示する。ここでいう所定の触感の呈示とは、タッチセンサ140のタッチ面を一瞬だけ振動させるなど、操作者の触覚により認識できるフィードバックを提供することである。このような触感の呈示の指示を受けたら、触感制御部114は、当該指示に従って触感呈示部150が所定の振動パターンを呈示するように制御する。これにより、触感呈示部150は、タッチセンサ140のタッチ面をタッチしているタッチ対象に対して所定の振動パターンによる触感を呈示する(ステップS106)。このような処理を行うことで、入力装置100は、入力の際にタッチセンサおよびGUIを採用するユーザインタフェースによって、入力を受け付けるオブジェクトに対する操作入力を受け付けた際にのみ、触感を呈示することができる。
以下、想定する入力装置において、触感を呈示する際の動作の他の例について説明する。
上述した例においては、タッチセンサ140に入力があるたびに、当該入力がオブジェクトの位置に対応した入力であるか否かをアプリケーション実行部120が判定した。以下の例においては、入力受付開始前に(すなわち図8の動作の前提として)、アプリケーション実行部120が、触感制御部114に対して、所定の条件に応じて触感を呈示する動作を予め設定しておく。例えば、ボタンなどのオブジェクトが表示された位置に対応するタッチセンサに対する入力に応じて触感を呈示したり、オブジェクトの種別に応じて異なる態様の触感を呈示したりする等の各種条件を、予め触感制御部114に設定しておく。また、このような設定は、GUIの変化に伴って更新されるようにすることもできる。すなわち、ボタンのオブジェクトに対する入力がなされた後、さらに入力を受け付けた際に呈示すべき触感や、あるいは別のユーザインタフェースに変化した後に呈示すべき触感も、予め定義しておくことができる。
このように設定することで、上述したステップS100およびステップS102の動作において、タッチセンサ140に入力があるたびに、当該入力がオブジェクトの位置に対応する入力であるか否かをアプリケーション実行部120が判定する必要はなくなる。この場合、ステップS100にてタッチセンサ140が入力位置を触感制御部114に通知して、ステップ102にて、触感制御部114は、当該入力がオブジェクトの位置に対応する入力であるか否かを、判定する。それ以外の動作は、上述した例と同様に行うことができる。このような動作により、触感の呈示の有無に関して、アプリケーション実行部120にかかる処理の負荷を軽減することができる。
以下、想定する入力装置において、触感を呈示する際の動作のさらに他の例について説明する。
上述した例においては、触感制御部114に対して、所定の条件に応じて所定の触感を呈示する動作を予め設定することにより、入力のたびにアプリケーション実行部120が触感の呈示に関する判断を行わなくても済むようにした。しかしながら、図8のステップS104にて、表示制御部112が表示部130に表示するオブジェクトの画像を変更するためには、タッチ入力の位置がオブジェクトの位置に対応するか否かを、やはりアプリケーション実行部120が判定する必要がある。したがって、入力受付開始前に(すなわち図8の動作の前提として)、アプリケーション実行部120が、表示制御部112に対して、所定の条件に応じてオブジェクトの表示を変化させる動作も、予め設定しておくことが考えられる。
この場合、上述したステップS100の動作において、タッチセンサ140に対する入力が検知されたら、タッチセンサ140は、入力の位置を、触感制御部114に通知するとともに、表示制御部112にも通知する。当該入力がオブジェクトの位置に対応した入力である場合、表示制御部112は、オブジェクトの表示を変化するように表示部130を制御する。それ以外の処理は、上述した例と同様に行うことができる。このような動作により、触感の呈示のみならず、表示に関しても、アプリケーション実行部120にかかる処理負荷を低減することができる。
以上説明したように、入力があるたびに対応する処理をアプリケーション実行部が指示する場合も、入力に対応する動作を予め他の機能部に設定しておく場合も、アプリケーションが触感の呈示の動作に対応していれば、問題なく上述の動作を行うことができる。すなわち、触感を呈示する処理を予め組み込んだアプリケーションであれば、上述の動作により、所定の触感を適切に呈示することができる。
しかしながら、上述した入力装置100においては、触感の呈示に対応していないアプリケーションを適用すると、そのままの状態では、入力に基づいてオブジェクトが変化しても、適切に触感を呈示することはできない。したがって、入力装置100において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。
このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびGUIを採用したプラットフォームの普及が遅延する要因にもなり得る。
また、例えば上記特許文献1および特許文献2に開示の技術は、単にタッチセンサが入力を受け付けると、当該入力に応じてタッチセンサを振動させているに過ぎない。このため、上記特許文献1および特許文献2に開示の技術において、触感の呈示に対応したアプリケーションを適用しても、そのままの状態では、触感を必要な場合にのみ適切に呈示することができないことも想定される。特に、機械式の押しボタンスイッチ(プッシュ式ボタンスイッチ)のようなボタンスイッチがタッチセンサ上部に描画されている場合、タッチセンサの入力を受け付ける閾値が低いと、タッチセンサに指などが軽く触れた(タッチした)だけで触感が呈示されてしまう。このため、操作者がタッチセンサをプッシュする前段階で軽く触れる動作(タッチ)に反応してしまうため、描画イメージ(押しボタン)の反応と異なり、誤操作を誘発するおそれがある。また、描画されたボタンスイッチを操作者がプッシュする意図はなくても(力を入れていなくても)、タッチセンサをプッシュする前段階の軽く触れる動作(タッチ)に応じて触感が呈示されるため、操作者に違和感を与えることにもなる。ここで、タッチセンサのタッチによる入力を受け付ける閾値とは、タッチセンサが反応する閾値で、例えば抵抗膜方式においては、上部導電膜が下部導電膜に接触する押圧力の閾値であり、静電容量方式においては、接触による電気的信号の検出閾値である。
さらに、従来の入力装置は、タッチセンサにより触感を呈示するための処理を予め組み込んだアプリケーションに基づくユーザインタフェースを採用したとしても、入力を受け付けた際に機械式の押しボタンスイッチのような操作感を提供することはできなかった。すなわち、従来の入力装置により呈示される触感は、あくまでも入力が受け付けられたことを操作者に報知するためのものであり、単にタッチ面を振動させる等の動作を行うのみである。したがって、従来の入力装置により呈示される触感は、機械式の押しボタンスイッチを操作する場合のような操作感を操作者に提供するものではなかった。
しかしながら、タッチセンサおよびGUIを採用するユーザインタフェースにおいては、機械式の押しボタンスイッチなどに倣ったオブジェクトの画像を表示することが多い。したがって、そのようなオブジェクトに対する入力を受け付けた場合、やはり機械式の押しボタンスイッチに倣った触感を呈示するほうが、操作者に与える操作感としては好適である。表示されたオブジェクトに対して押圧入力を受け付けた際に、現実のキーまたはボタン等をクリックした場合のようなフィードバックを返すことができれば、操作者に与える操作感を向上することができる。
機械式の押しボタンスイッチの場合、操作者は、ある程度の押圧力を加えることにより、当該スイッチが押下されて、例えばメタルドームスイッチなどが坐屈する際の触感(以下、クリック触感という)を得ることができる。同様に、機械式の押しボタンスイッチの場合、操作者は、押下されていたスイッチに対する押圧力を、ある程度まで弱めることにより、メタルドームスイッチなどが元の押下されていない状態に戻る触感(以下、リリース触感という)を得ることができる。また、機械式の押しボタンスイッチの場合、操作者は、非常に弱い押圧力によって押圧位置に触れても(タッチしても)クリック触感は呈示されず、また、クリック触感が呈示されない状態からは、リリース触感も呈示されない。従来のタッチセンサおよびGUIを採用した入力装置においては、上述のようなクリック触感およびリリース触感を呈示することはできなかった。
したがって、かかる事情に鑑みてなされた本発明の目的は、ユーザインタフェースを構成する既存のアプリケーションを流用することができる入力装置であって、操作者に与える操作感を向上する入力装置を提供することにある。
上記目的を達成する第1の観点に係る入力装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知している状態で、前記荷重検出部が触感を呈示する荷重基準を満たす押圧荷重を検出すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御する制御部と、
を備えることを特徴とするものである。
第2の観点に係る発明は、第1の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定範囲内の表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。
第3の観点に係る発明は、第1または2の観点に係る入力装置において、
前記制御部は、前記表示変化検知部が前記入力から所定時間内に表示画像の変化を検知すると、前記押圧対象に対して触感を呈示するように前記触感呈示部を制御するものである。
第4の観点に係る発明は、第1乃至第3のいずれか1つの観点に係る入力装置において、
前記制御部は、前記表示画像の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
第5の観点に係る発明は、第4の観点に係る入力装置において、
前記制御部は、前記表示画像の色の変化に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
第6の観点に係る発明は、第4の観点に係る入力装置において、
前記制御部は、前記表示画像の変化の速度に基づく触感を前記押圧対象に対して呈示するように前記触感呈示部を制御するものである。
本発明によれば、入力に対して触感を呈示する処理を予め想定していないアプリケーションを改変せずに流用しても、所定の条件に応じて適切な触感を呈示することができる。したがって、本発明によれば、既存のアプリケーションを無駄にすることなく利用することができるとともに、このようなアプリケーションを用いて、操作性の優れたユーザインタフェースを提供することができる。また、本発明によれば、タッチセンサに対する入力を受け付けた際に、機械式の押しボタンスイッチのような触感を呈示することができる。したがって、本発明によれば、操作者に与える操作感を向上することができる。
以下、本発明の各実施の形態について、図面を参照して説明する。
本発明は、タッチセンサに対するタッチ入力により表示部に表示された(オブジェクトの)画像に変化があった際に、当該画像の変化に基づいて(つまりオブジェクトに対する入力がなされたものとみなして)、触感を呈示するものである。また、本発明は、このように触感を呈示する際、タッチセンサに対して軽く触れる(タッチする)程度の押圧に対しては触感を呈示せず、操作者が意図してタッチセンサを押圧する(プッシュする)動作に対して触感を呈示する。
(第1実施の形態)
図1は、本発明の第1実施の形態に係る入力装置の概略構成を示すブロック図である。
図1に示すように、入力装置1は、制御部10と、アプリケーション実行部20と、表示部30と、タッチセンサ40と、触感呈示部50と、荷重検出部60と、を備えている。また、制御部10は、表示制御部12と、触感制御部14と、表示変化検知部16と、を含んでいる。
制御部10は、入力装置1の各機能部をはじめとして入力装置1の全体を制御するが、本実施の形態においては、特に、触感の呈示に係る動作を主とした制御を行うものとして説明する。アプリケーション実行部20は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、本実施の形態においては、アプリケーション実行部20が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。
表示部30は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のような入力用オブジェクトを画像表示する。なお、押しボタンスイッチとは、入力ボタンやキー等(以下、単に「キー等」と総称する)である。表示部30は、例えば、液晶表示パネルや有機EL表示パネル等を用いて構成する。
タッチセンサ40は、通常は表示部30の前面に配置して、表示部30に表示したオブジェクトに対する操作者の指等(押圧対象)による押圧入力(タッチ入力)を、対応するタッチセンサ40のタッチ面により受け付ける。また、タッチセンサ40は、タッチ面に対するタッチ入力の位置を検出し、当該検出した入力の位置を、制御部10(表示変化検知部16)を介してアプリケーション実行部20等に通知する。このタッチセンサ40は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。
触感呈示部50は、圧電振動子等を用いて構成し、タッチセンサ40のタッチ面に振動を発生させる。この触感呈示部50は、タッチセンサ40のタッチ面に振動を発生させることにより、タッチ面を押圧している押圧対象に対して触感を呈示する。荷重検出部60は、タッチセンサ40のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部60は、検出したタッチセンサ40のタッチ面に対する押圧荷重を、触感制御部14に通知する。
制御部10の表示制御部12は、アプリケーション実行部20から供給される表示データに基づいて、表示部30にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示に係る制御を行う。触感制御部14は、荷重検出部60により検出される押圧荷重が、触感を呈示する荷重基準を満たしているか否かを判定する。また、触感制御部14は、表示変化検知部16の指示と、上述の触感を呈示する荷重基準を満たす押圧荷重とを検出すると、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部50を制御する。
また、表示変化検知部16は、表示部30に表示される画像を解析して、当該画像の変化を検知する。この表示変化検知部16そのものは、例えば所定の時間間隔で画像を比較して経時的な変化を検知するなど、既存の種々の画像解析技術に基づくものを利用することができる。また、変化に係るパラメータは、特定領域または特定点の画素(ピクセル)における表示の有無、色の変化、輝度や明度の変化など、既存の種々のパラメータとすることができる。
図2は、図1に示した入力装置1の実装構造の一例を示すもので、図2(A)は要部断面図、図2(B)は要部平面図である。表示部30は、筐体61内に収納保持する。表示部30上には、弾性部材からなるインシュレータ62を介して、タッチセンサ40を保持する。なお、本実施の形態に係る入力装置1は、表示部30およびタッチセンサ40を、平面視で矩形状としている。また、入力装置1は、タッチセンサ40を、図2(B)に仮想線で示す表示部30の表示領域Aから外れた4隅に配設したインシュレータ62を介して表示部30上に保持する。
また、筐体61には、表示部30の表示領域から外れたタッチセンサ40の表面領域を覆うようにアッパカバー63を設け、このアッパカバー63とタッチセンサ40との間に、弾性部材からなるインシュレータ64を配設する。なお、図2に示すタッチセンサ40は、タッチ面40aを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ40は、タッチ面40aが押圧されると、押圧部分が押圧力に応じて微少量撓む(歪む)、または構造体そのものが微少量撓む構造のものを用いる。
タッチセンサ40の表面上には、アッパカバー63で覆われる各辺の近傍に、タッチセンサ40に加わる荷重(押圧力)を検出するための歪みゲージセンサ51をそれぞれ接着等により設ける。さらに、タッチセンサ40の裏面上には、対向する2つの辺の近傍に、タッチセンサ40を振動させるための圧電振動子52をそれぞれ接着等により設ける。すなわち、図2に示す入力装置1は、図1に示した荷重検出部60を4つの歪みゲージセンサ51を用いて構成し、触感呈示部50を、2つの圧電振動子52を用いて構成している。そして、触感呈示部50によりタッチセンサ40を振動させることにより、タッチ面40aを振動させるようにしている。なお、図2(B)は、図2(A)に示した筐体61、アッパカバー63およびインシュレータ64の図示を省略している。
次に、本実施の形態に係る入力装置の動作を説明する。
本実施の形態に係る入力装置1は、タッチセンサ40に対する入力により表示部30に表示された画像に変化があった状態で、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たすと、触感を呈示するものである。これは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、当該オブジェクトにタッチ入力が受け付けられている旨を操作者に視認させるため、通常、オブジェクトの画像を変化させて表示することに基づく。このようなオブジェクトの画像を変化させる表示は、アプリケーションに基づく設定により、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させて表示したり、アプリケーションによって種々の態様が考えられる。また、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たす場合に触感を呈示するのは、このような場合に、操作者が意図してタッチセンサを押圧する(プッシュする)動作を行ったとみなせることに基づく。
図3は、本実施の形態に係る入力装置1の動作を示すフローチャートである。本実施の形態に係る入力装置1の動作は、アプリケーション実行部20が関与する動作と、アプリケーション実行部20が関与しない動作と、に分離して捉えることができる。図3において、図3(A)はアプリケーション実行部20が関与する動作を示し、図3(B)はアプリケーション実行部20が関与しない動作を示している。
本実施の形態に係る入力装置1の動作を行うにあたり、予め、表示部30には、操作者の指などによる入力を受け付けるために、キー等のオブジェクトの画像を表示しておくものとする。この際、アプリケーション実行部20は、GUIを構成する各オブジェクトの表示データを、表示変化検知部16を介して表示制御部12に供給する。そして、表示制御部12は、アプリケーション実行部20から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示(描画)するように表示部30を制御する。上述したように、以下、本実施の形態に係る入力装置1の動作に用いるアプリケーションは、タッチセンサを使用してGUIを構成する既存のものであって、触感の呈示に対応していないものを用いる場合について説明する。なお、このアプリケーションは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、オブジェクトの画像に何らかの変化を施して表示するものとする。
本実施の形態に係る入力装置1の動作を開始する際には、まず、制御部10は、タッチセンサ40に対するタッチ入力の有無を監視する。また、これとともに、制御部10は、表示部30に表示された画像(表示画像)の変化を監視するように表示変化検知部16を制御する。
上述のような準備が完了した状態で、操作者の指などによるタッチセンサ40のタッチ面に対するタッチ入力があった時点から、本実施の形態に係る入力装置1の動作は開始する。
まず、図3(A)に示すように、本実施の形態に係る入力装置1の動作が開始すると、タッチセンサ40は、タッチ面に対するタッチ入力の位置を制御部10に通知する(ステップS10)。このようにして検出した入力の位置を、制御部10は、表示変化検知部16を介してアプリケーション実行部20に通知する。
タッチセンサ40におけるタッチ入力の位置が通知されたら、アプリケーション実行部20は、当該入力の位置が、現在のGUIにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する(ステップS12)。ステップS12において、入力の位置が、オブジェクトの画像が表示された位置に対応する場合、アプリケーション実行部20は、アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データを表示制御部12に送る。この表示データを受け取ったら、表示制御部12は、表示されるオブジェクトの画像を変更するように表示部30を制御する(ステップS14)。すなわち、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に触れた(タッチした)ことを操作者が視認できるようにするのが好適である。
一方、ステップS12において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部20は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部20は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部30に表示される画像(表示画像)は変化しない。
図3(B)は、図3(A)の後に続く動作を説明するフローチャートである。図3(A)に示した動作が終了した後、表示変化検知部16は、図3(B)に示すように、表示部30に表示された画像(表示画像)を解析して、表示画像の変化の有無を検知する(ステップS20)。あるいは、この際、表示変化検知部16は、アプリケーション実行部20から表示変化検知部16を介して表示制御部12に供給される表示データに基づいて、表示画像の変化の有無を判断してもよい。
ステップS20において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS22の動作に移行する。ステップS22において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。なお、荷重検出部60は、例えば、4つの歪みゲージセンサ51の出力の平均値から荷重を検出する。ここで、所定の基準を満たす荷重は、操作者が通常の押圧操作を行う際の押圧荷重に基づいて、例えば1N(ニュートン)などの値を予め設定し、その後も設定変更できるようにするのが好適である。また、この所定の基準は、操作者の意図に基づく押圧入力の際の押圧荷重を考慮して(例えば平均値など)、過度に低い基準を設定しないようにする。これは、操作者が意図せずに軽く触れてしまったような場合の操作は押圧(プッシュ)入力として受け付けないようにするため、および後述するリアルな触感のための圧覚を操作者に与えるためである。
ステップS22において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS24)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。
なお、本実施の形態では、ステップS24において触感呈示部50が押圧対象に対して呈示する触感は、上述したクリック触感とすることができる。操作者に対してリアルなクリック触感を呈示するためには、入力装置1は、操作者の圧覚が刺激された状態で触覚を刺激する。すなわち、入力装置1は、タッチセンサ40に加わる荷重が、触感を呈示する基準(例えば1N)を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、圧電振動子52を所定の駆動信号で駆動してタッチ面40aを振動させて触覚を刺激する。これにより、入力装置1は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画された押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ40に対して入力操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ40を「押した」という意識との連動で入力操作を行うことができるので、単なる押圧による入力ミスも防止することができる。
上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期(波長)、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、170Hzの一定周波数のSin波からなる1周期分の駆動信号により触感呈示部50を駆動する。このような駆動信号により触感呈示部50を駆動させて、タッチ面40aを、基準の押圧荷重が加わった状態で、約15μm振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。
また、ステップS22において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS26)。ステップS26において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、操作者のタッチセンサ40に対するタッチ入力が解除(リリース)されていないため、ステップS22に戻る。一方、ステップS26において荷重検出部60により検出される押圧荷重がゼロになった場合は、操作者がタッチセンサ40に対するタッチ入力を解除(リリース)していると判定できるため、本実施による動作を終了する。なお、ステップS26における動作は、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。
一方、ステップS20において表示画像の変化が検知されない場合(すなわちキー等のオブジェクトに対するタッチ入力がない場合)、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクト以外の位置に対する入力があっても、オブジェクトに対する押圧入力は受け付けられていないことを、触感が呈示されないことによって操作者に認識させることができる。また、ステップS20において表示画像の変化が検知されていても、ステップS22において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、本実施の形態による動作は行わない。
このように、本実施の形態によれば、タッチセンサに対する入力の検知から触感の呈示の有無までの動作を2段階に分離して考えることができ、特に、触感の呈示の有無については、アプリケーション実行部が関与しない動作とすることができる。そのため、実行中のアプリケーションが触感の呈示に係る動作に対応していない場合でも、制御部10は、表示部30に表示されたオブジェクトに対応するタッチセンサ40における押圧入力に基づいて、触感の呈示の有無を適切に制御することができる。したがって、本実施の形態に係る入力装置に1よれば、タッチセンサに対する入力を受け付ける際の触感を呈示することができるとともに、ユーザインタフェースを構成する既存のアプリケーションプログラムを改変せずに流用することができる。また、本実施の形態に係る入力装置1は、キー等のオブジェクトに対して押圧(プッシュ)する入力により、当該オブジェクトに対する入力が受け付けられたことを、リアルなクリック触覚によって操作者に認識させることができる。
なお、上述した本実施の形態では、タッチセンサが押圧された際のクリック触感についてのみ言及したが、さらに、押圧されているタッチセンサの押圧が解除(リリース)される途中で、リリース触感を呈示するようにもできる。この場合、触感制御部14は、クリック触感を呈示した後で、荷重検出部60が検出する押圧荷重が所定の基準を満たしたら、リリース触感を呈示するように触感呈示部50を制御する。なお、ここで「押圧荷重が所定の基準を満たす」とは、リリース時においては、押圧荷重が所定の基準を超えている状態から当該所定の基準を下回ることを意味する。
ここで、リリース触感を呈示する荷重基準は、押圧時にクリック触感を呈示する上記の荷重基準と同じに設定することもできるが、好ましくは、押圧時にクリック触感を呈示する荷重基準よりも50%〜80%低い値に設定する。このようにすれば、同一位置(入力用オブジェクト)を連続入力(連打)する場合に、順次の入力と触感呈示タイミングとが合致し、違和感のないリアルなクリック触感を呈示することができる。すなわち、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重よりも小さくすることにより、違和感を与えないようにし、かつ、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ50%以上とすることにより、連続入力時の操作性を格段に向上できる。また、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ80%以下とすることにより、連続入力時のホールド状態での微小な荷重変化にも対応できる。
このようにすれば、押下時に「カッ」、リリース時に「チッ」と感じられるよりリアルなクリック触感を呈示することができる。勿論、リリース触感は、クリック触感と同一の駆動信号を用いることもできるが、必ずしもクリック触感と同一の駆動信号でなくてもよい。
(第2実施の形態)
上述した第1実施の形態においては、タッチセンサ40のタッチ面に対するタッチ入力により表示部30の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たした際、当該タッチ面を押圧している押圧対象に対して触感を呈示した。しかしながら、このように、表示部30の表示画像の変化およびタッチ面の押圧荷重のみに基づいて触感の呈示の有無を決定すると、表示変化検知部16が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。
すなわち、図3(A)のステップS12においては、オブジェクトの位置に対する入力が検知されない場合、ステップS14の処理を行わないため、表示部30におけるオブジェクトの表示画像は変化しない。しかしながら、入力用オブジェクト以外の位置に対する入力が検知された場合に、表示部30において、入力用オブジェクト以外の表示画像が入力とは関係なく変化することも想定される。例えば、入力用オブジェクト以外の位置に対する入力が検出された後、たまたま時刻表示の画像が変化する場合などが想定される。他にも、表示部30の入力用オブジェクトを表示している位置以外の箇所に、画像のアニメーションを表示したり、放送の再生動画を表示している場合、これらの画像は、通常、常に変化していると考えられる。
このような場合にまで、表示画像に変化が生じたと表示変化検知部16が判断してしまうと、タッチセンサに対する入力を受け付けた際に触感の呈示の有無を適切に制御することはできない。したがって、第2実施の形態においては、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。
第2実施の形態に係る入力装置は、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1実施の形態と同じ内容の説明は、適宜省略する。
第2実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30における表示画像を解析して、当該表示画像の変化の有無を検知する。しかしながら、第2実施の形態において、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力から所定範囲内の表示部30における表示画像の変化の有無を検知する。したがって、本実施の形態においては、タッチセンサ40のタッチ面に対する入力のから所定範囲内に存在しない、例えば入力から離れた位置の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たしても、入力装置1は触感を呈示しない。このような場合の表示画像の変化は、操作者の入力による変化ではないと判断できるためである。
図4は、第2実施の形態に係る入力装置の動作のうち、第1実施の形態で説明した図3(B)の動作に相当する、アプリケーション実行部20が関与しない動作を説明するフローチャートである。なお、第2実施の形態において、アプリケーション実行部20が関与する動作は、図3(A)で説明したのと同様に行う。すなわち、タッチセンサ40は、タッチ面に対するタッチ入力の位置を検出すると、当該入力位置を、表示変化検知部16を介してアプリケーション実行部20に通知する(ステップS10)。アプリケーション実行部20は、当該入力の位置が、現在のGUIにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する(ステップS12)。当該入力の位置が、オブジェクトの画像が表示された位置に対応する場合、表示制御部12は、表示されるオブジェクトの表示画像を変更する(ステップS14)。つまり、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に触れた(タッチした)ことを操作者が視認できるようにするのが好適である。
一方、ステップS12において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部20は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部20は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部30に表示される画像(表示画像)は変化しない。
図4は、図3(A)の後に続く動作を説明するフローチャートである。図3(A)に示した動作が終了した後、図4に示すように、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力から所定範囲内の表示部30における表示画像が変化したか否かを検知する(ステップS30)。なお、この際、表示変化検知部16は、第1実施の形態と同様に、表示部30に表示される画像を解析して、表示画像の変化を検知する。
タッチセンサ40のタッチ面に対する入力からの「所定範囲」とは、例えば「入力の位置から周囲5mmまで」など、入力の態様に応じて、また入力の位置の検出態様に応じて、好適な値を適切に設定する。この場合の「入力の位置」も、種々の態様で検出することができる。タッチセンサ40のタッチ面に対するタッチ入力が面積を有する状態で検出される場合は、例えば当該面積全体を「入力の位置」とすることができる。また、タッチ入力が点で検出される場合は、前記面積の例えば重心を算出したものを「入力の位置」とすることができる。このような所定範囲の設定により、入力の位置の周囲に存在する画像の変化のみを検知することができる。
ステップS30において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS32の動作に移行する。ステップS32において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。
ステップS32において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS34)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力から所定範囲内の表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクトに対するタッチ入力により、当該入力の位置付近の画像が変化した状態で、基準を満たす押圧荷重を検出した場合に、当該オブジェクトに対する押圧入力が受け付けられた旨の触感を呈示する。
また、ステップS32において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS36)。ステップS36において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、ステップS32に戻る。一方、ステップS36において荷重検出部60により検出される押圧荷重がゼロになった場合は、本実施による動作を終了する。なお、ステップS36における動作も、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。
一方、ステップS30において表示部30における表示画像の変化が検知されない場合、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップS30において表示部30の表示画像の変化が検知されても、当該変化が、入力から所定範囲内の表示画像の変化でない場合も、触感を呈示する旨の指示を出さずに処理を終了する。さらに、ステップS30において表示画像の変化が検知されていても、ステップS32において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、触感を呈示しない。
このように、本実施の形態に係る入力装置1は、表示部30における表示画像が変化したとしても、当該変化が、入力の位置の付近(所定範囲内)ではない場合、操作者の入力による変化とは想定し難いため、触感を呈示しない。
(第3実施の形態)
第3実施の形態においては、上述した第2実施の形態と同様に、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に判定できるようにする。
上述した第1および第2実施の形態においては、タッチセンサ40のタッチ面に対するタッチ入力がなされてから、当該入力により表示部30に表示される画像が変化するまでの時間については、特に考慮していない。しかしながら、入力の検知から、当該入力による表示画像の変化までの時間を考慮せずに触感の呈示の有無を決定すると、表示変化検知部16が検知した表示画像の変化が、実際には操作者による入力に基づく変化ではない場合も考えられる。
すなわち、例えば、第1および第2実施の形態で説明したように、図3(A)に示した動作に引き続き図3(B)に示した動作を行う場合には、入力の検知(ステップS10)の後すぐに表示部30の表示画像の変化が検知される(ステップS20)。このため、ステップS20で検知される表示画像の変化は、ステップS10で検知された入力に基づくものであると推定できる。しかしながら、例えば、図3(A)と(B)とをそれぞれ並存させて処理する場合のように、図3(B)の動作を独立したものとする場合などは、表示画像の変化が検知された際、当該変化が入力の検知に基づくものである必要がある。
例えば、図3(B)のステップS20にて表示変化検知部16が表示部30の表示画像の変化を検知する時点が、図3(A)のステップS10にて入力位置を検出した時点から離れている場合、触感を呈示するタイミングが不自然になるおそれがある。また、図3(A)のステップS10から図3(B)のステップS20までに時間が経過している場合、その間に操作者の入力によるものではない表示画像の変化が発生しても、触感を呈示してしまう不都合も考えられる。このような触感の呈示は、操作者の入力に基づかないため、操作者にとっては、入力をしていないにもかかわらず触感の呈示を受けることになり、違和感のある動作になる。
このような場合にまで、表示変化検知部16が表示部30における表示画像の変化を検知してしまうと、タッチセンサ40のタッチ面に対する入力を受け付けた際に呈示する触感の有無を適切に制御することはできない。したがって、第3実施の形態においても、表示変化検知部16が、オブジェクトに対するタッチ入力による表示画像の変化を一層正確に検知できるようにする。
第3実施の形態に係る入力装置も、第2実施の形態と同様に、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1および第2実施の形態と同じ内容の説明は、適宜省略する。
第3実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30における表示画像を解析して、当該表示画像の変化の有無を検知する。しかしながら、第3実施の形態において、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力が検知されてから所定時間内の表示画像の変化の有無を検知する。すなわち、タッチセンサ40のタッチ面に対するタッチ入力から所定時間内に、表示変化検知部16が表示部30の表示画像の変化を検知したまま、タッチ面に対する押圧荷重が所定の基準を満たした際、触感制御部14は、制御部10の制御により、触感を呈示するように触感呈示部50を制御する。したがって、本実施の形態においては、触感呈示部50は、タッチセンサ40に対する入力から所定時間が過ぎてから表示部30の表示画像が変化したまま、タッチ面に対する押圧荷重が所定の基準を満たしても、入力装置1は触感を呈示しない。ここで、上述の「所定時間」とは、表示部30の表示画像の変化が、タッチセンサ40に対するタッチ入力による変化として検知できるように、例えば0.2秒などの短い時間を設定するのが好適である。
図5は、第3実施の形態に係る入力装置の動作のうち、第1実施の形態で説明した図3(B)の動作に相当する、アプリケーション実行部20が関与しない動作を説明するフローチャートである。なお、第2実施の形態において、アプリケーション実行部20が関与する動作は、図3(A)で説明したのと同様に行う。
第3実施の形態においては、図3(A)に示した動作の後に、または図3(A)に示した動作と別個に、図5に示す動作を行う。すなわち、図5に示すように、表示変化検知部16は、タッチセンサ40のタッチ面に対する入力が検知されてから所定時間内に、表示部30の表示画像が変化したか否かを検知する(ステップS40)。なお、この際、表示変化検知部16は、第1実施の形態と同様に、表示部30の表示画像を解析して、当該表示画像の変化を検知する。また、所定時間については、制御部10が内蔵するタイマ(図示せず)を用いて計測することができる。
ステップS40において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS42の動作に移行する。ステップS42において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。
ステップS42において押圧荷重が所定の基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS44)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力から所定時間内に表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクトに対するタッチ入力により、当該入力から所定時間内に表示部30の画像が変化した状態で、基準を満たす押圧荷重を検出した場合に、当該オブジェクトに対するタッチ入力が受け付けられた旨の触感を呈示する。
また、ステップS42において押圧荷重が所定の基準を満たしていない場合、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する(ステップS46)。ステップS46において荷重検出部60により検出される押圧荷重がまだゼロになっていない場合は、ステップS42に戻る。一方、ステップS36において荷重検出部60により検出される押圧荷重がゼロになった場合は、本実施による動作を終了する。なお、ステップS46における動作も、荷重検出部60により検出される押圧荷重がゼロになったか否かを判定する動作に代えて、タッチパネル40に対する入力がまだ検知されているか否かを判定する動作とすることもできる。
一方、ステップS40において表示部30における表示画像の変化が検知されない場合、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。また、ステップS40において表示部30の表示画像の変化が検知されても、当該変化が、タッチ入力の検知から所定時間を経過してからの変化である場合も、触感を呈示する旨の指示を出さずに処理を終了する。さらに、ステップS40において表示画像の変化が検知されていても、ステップS42において、荷重検出部60により検出される押圧荷重が触感を呈示する荷重基準を満たしていない場合も、触感を呈示しない。
このように、本実施の形態に係る入力装置1は、表示部30における表示画像が変化したとしても、当該変化が、タッチ入力の検知から所定時間経過後の変化である場合、操作者による入力に基づく変化とは想定し難いため、触感を呈示しない。
なお、ステップS40は、ステップS30との組合せにより構成してもよい。
(第4実施の形態)
第4実施の形態は、上述した第1〜第3実施の形態において、検知された表示画像の変化の態様に応じて、呈示する触感の態様を変更するものである。
上述した第1〜第3実施の形態において、表示変化検知部16が表示部30における表示画像の変化を検知した際、触感呈示部50が呈示する触感の態様を、例えば所定の短時間の振動などの、全て同じ振動とすることもできる。しかしながら、例えば、オブジェクトに対する入力がなされた際に、表示部30においてオブジェクトの画像を変化させる表示は、当該入力がなされたオブジェクトの種別などに応じて、種々の異なる表示態様があると想定される。したがって、第4実施の形態においては、入力がなされた際の表示画像の変化の態様が、オブジェクトに応じて異なる場合、当該入力がなされた際に呈示する触感の態様にも差異を生じさせる。
第4実施の形態に係る入力装置も、第1実施の形態にて説明した入力装置1と同じ構成により実施することができ、第1実施の形態における動作を一部変更するものである。したがって、第1〜第3実施の形態と同じ内容になる説明は、適宜省略する。
第4実施の形態に係る入力装置1において、表示変化検知部16は、第1実施の形態と同様に、表示部30に表示される画像を解析して、当該表示画像の変化を検知する(図3(B)のステップS20等)。しかしながら、第4実施の形態においては、表示変化検知部16は、タッチ面に対する入力により表示部30の表示画像が変化したことを検知する際、当該表示画像の変化の態様も共に検知する。ここで、「表示画像の変化の態様」とは、例えば、表示部30の表示画像の色が変化する際の変化量や、表示部30の表示画像が変化する際の変化の速度など、種々の態様が考えられる。
このようにして検知した結果に基づいて、基準を満たす押圧荷重を検出した場合に、触感制御部14は、制御部10の制御により、当該表示画像の変化の態様に応じた触感を呈示するように触感呈示部50を制御する(図3(B)のステップS24等)。すなわち、制御部10は、表示変化検知部16がタッチパネル40のタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が触感を呈示する荷重基準を満たす押圧荷重を検出すると、表示部30における表示画像の変化に基づく触感を、タッチ面を押圧している押圧対象に対して呈示するように触感呈示部50を制御する。例えば、制御部10は、表示画像の色の変化に基づく触感を押圧対象に対して呈示するように触感呈示部50を制御する。また、例えば、制御部10は、表示画像の変化の速度に基づく触感を押圧対象に対して呈示するように触感呈示部50を制御する。このように、表示画像の変化の態様に応じた触感を呈示するため、触感制御部14には、複数の振動パターンを予め記憶しておく。
表示部30に表示する画像により構成されるGUIにおいて、入力を受け付けたオブジェクトの表示画像は、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させる等、種々の態様が考えられる。あるいは、従来のアプリケーションにおいては、タッチセンサに触れる(タッチする)入力と、押圧による(プッシュする)入力とを区別していないものも多い。このようなアプリケーションでは、タッチ入力を受け付けた時点で、押圧による(プッシュする)入力を受け付ける前であっても)、例えばキー等が押下された(凹んだ)ような表示をしたりする態様も考えられる。
したがって、例えば、タッチ入力がなされることにより、キー等のオブジェクトが大きく凹んだように表示される画像に変化する場合、基準を満たす押圧荷重を検出した際に、当該入力に応じて大きな触感を呈示することが考えられる。あるいは、入力がなされることにより、キー等のオブジェクトの色(色差)や輝度が大きく変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、当該入力に応じて大きな触感を呈示させることも考えられる。また、入力がなされることにより、キー等のオブジェクトの画像がゆっくり変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、緩やかな変化を暗示させるような態様の触感(例えば所定の時間間隔で微弱な振動を発する等)を呈示することも考えられる。逆に、キー等のオブジェクトの画像が急激に変化する態様で表示される場合、基準を満たす押圧荷重を検出した際に、激しい変化を暗示する強い触感などを発生させることも考えられる。
その他の動作については、上述した第1〜第3実施の形態で説明した動作と同様に行うことができる。
このように、本実施の形態に係る入力装置1は、タッチ面に対する入力により表示部30の表示画像が変化したままの状態で、基準を満たす押圧荷重を検出した場合に、当該表示画像の変化の態様に応じた触感を呈示する。したがって、本実施の形態に係る入力装置1は、触感の態様を適切に設定することにより、実際のキー等により構成されたユーザインタフェースに一層近い操作感を操作者に提供することができる。また、入力装置1は、入力を受け付けるオブジェクトに応じて、入力がなされた際に呈示する触感の態様を種々変更することができるため、より違和感のない操作感を提供することができる。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した各実施の形態では、表示変化検知部16が、制御部10に含まれる構成について説明した。しかしながら、本発明による入力装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図6に示すように、制御部10は表示変化検知部16を含まずに、アプリケーション実行部20の側に表示変化検知部70を設けることもできる。このように、表示変化検知部と制御部との構成上の関係は、適宜変更して設計することができる。
また、上記実施の形態では、タッチセンサ40を用いて、当該タッチパネルのタッチ面に対するタッチ入力を検出したが、荷重センサ(荷重検出部)を用いて、所定の押圧荷重の基準を満たした場合に、入力がなされたものと判定することもできる。このような荷重検出部は、上述した各実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。
また、上述した各実施の形態において、荷重検出部は、タッチセンサにおける入力検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。
また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の1周期で1回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。
上述した各実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による入力装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。
また、本発明は、タッチセンサがオン・オフ動作を行うタッチスイッチとして機能する入力装置にも有効に適用することができる。
また、本発明に係る入力装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際に、当該圧電素子を駆動する。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。