JP6163274B1 - 電子機器、プログラムおよび制御方法 - Google Patents

Abstract

【課題】操作性を向上させた電子機器、プログラムおよび制御方法を提供する。【解決手段】近接センサ１８と、タッチパネルディスプレイ（ディスプレイ１４）と、通信ユニット１７と、近接センサ１８によって検出されたジェスチャに基づいて自機器を使用している場合に、通信ユニット１７によって電話の着信を検出したときにタッチパネルディスプレイ（ディスプレイ１４）に接触して応答した場合は、近接センサ１８によるジェスチャの検出をオフにするコントローラ１１と、を備える。【選択図】図１

Description

本発明は、電子機器、プログラムおよび制御方法に関する。

例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが端末から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャと対応する入力操作を実行する電子機器が知られている（例えば特許文献１）。

特開２０１５−２２５４９３号公報

ここで、ジェスチャによる入力操作が可能な電子機器において、ジェスチャによる入力とタッチパネルへの接触による入力とが併用されることが一般的である。このような電子機器において、ジェスチャによる入力操作が可能であるか否かが明確にユーザに伝わるインタフェースを備えることができれば、さらに操作性を向上させることができる。

かかる事情に鑑みてなされた本発明の目的は、操作性を向上させた電子機器、プログラムおよび制御方法を提供することにある。

本発明の実施形態に係る電子機器は、近接センサと、タッチパネルディスプレイと、通信ユニットと、前記近接センサによって検出されたジェスチャに基づいて自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするコントローラと、を備える。

本発明の実施形態に係るプログラムは、近接センサと、タッチパネルディスプレイと、通信ユニットと、を備える電子機器に、前記近接センサによって検出されたジェスチャに基づいて自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするステップ、を実行させる。

本発明の実施形態に係る制御方法は、近接センサと、タッチパネルディスプレイと、通信ユニットと、を備える電子機器の制御方法であって、前記近接センサによって検出されたジェスチャに基づいて自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするステップ、を含む。

本発明の一実施形態によれば、操作性を向上させた電子機器、プログラムおよび制御方法を提供することができる。

一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を例示する図である。 近接センサの概略構成図である。 各赤外フォトダイオードが検出する検出値の推移を示す図である。 電子機器をジェスチャで操作する状況を例示する図である。 図６（ａ）〜図６（ｆ）は電子機器の画面表示を例示する図である。 図７（ａ）〜図７（ｄ）は接触による電子機器の画面表示の変化を例示する図である。 一実施形態に係る電子機器が実行する処理の一例を示すフローチャートである。

（電子機器の構成）
図１に示すように一実施形態の電子機器１は、タイマー１２と、カメラ１３と、ディスプレイ１４と、マイク１５と、ストレージ１６と、通信ユニット１７と、スピーカー２５と、近接センサ１８（ジェスチャセンサ）と、コントローラ１１と、を備える。電子機器１は、さらにＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを含まなくてもよい。また、電子機器１は図１に示す以外の構成要素を備えていてもよい。

タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は、図１に示すようにコントローラ１１とは独立して設けられていてもよいし、コントローラ１１が内蔵する構成であってもよい。

カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。

ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってもよい。本実施形態において、ディスプレイ１４はタッチパネルディスプレイ（タッチスクリーンディスプレイ）である。タッチパネルディスプレイは、指またはスタイラスペン等の接触を検出して、その接触位置を特定する。ディスプレイ１４は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。

マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。

ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてもよい。

通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は無線通信規格である。例えば、無線通信規格は２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等を含む。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。

スピーカー２５は音を出力する。例えば通話の際に、相手の声がスピーカー２５から出力される。また、例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。

近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤから赤外光を対象物に向けて照射する。近接センサ１８は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ１８は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。ここで、近接センサ１８は可視光フォトダイオードを有していてもよい。

コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってもよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてもよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。

具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えばコントローラ１１は、ユーザによる接触のデータをタッチパネルから取得する。例えばコントローラ１１は、近接センサ１８が検出したユーザのジェスチャに関する情報を取得する。例えばコントローラ１１は、タイマー１２からカウントダウンの残り時間（タイマー時間）等の情報を取得する。また、例えばコントローラ１１は、アプリケーションの起動状況を把握する。

ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。

照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。

加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、例えばｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１は、例えばピエゾ抵抗型であってもよいし、静電容量型であってもよい。

地磁気センサ２２は地磁気の向きを検出して、電子機器１の向きを測定可能にする。

気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。

ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を時間積分することにより、電子機器１の向きの変化を測定することができる。

（ジェスチャによる電子機器の操作）
図２は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてもよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器１の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器１の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。

図２に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でもよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でもよい。

（ジェスチャを検出する手法）
ここで、図３および図４を参照しながら、コントローラ１１が近接センサ１８の出力に基づいてユーザのジェスチャを検出する手法を説明する。図３は、電子機器１を正面から見たときの近接センサ１８の構成例を示す図である。近接センサ１８は、光源用赤外ＬＥＤ１８０と、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬと、を有する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１を介して検出対象物からの反射光を検出する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１の中心から見て対称的に配置されている。ここで、図３に示される仮想線Ｄ１は電子機器１の長手方向と略平行であるとする。図３の仮想線Ｄ１上に、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが離れて配置されている。そして、図３の仮想線Ｄ１の方向において、赤外フォトダイオードＳＲおよびＳＬは、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとの間に配置されている。

図４は、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出対象物（例えばユーザの手等）が、図３の仮想線Ｄ１の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線Ｄ１の方向において、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが最も離れている。そのため、図４に示すように、赤外フォトダイオードＳＵの検出値（破線）の変化（例えば上昇）と、赤外フォトダイオードＳＤの検出値（細い実線）の同じ変化（例えば上昇）との時間差が最も大きい。コントローラ１１は、フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。

コントローラ１１は、近接センサ１８からフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値を取得する。そして、コントローラ１１は、例えば検出対象物の仮想線Ｄ１の方向への移動を把握するために、フォトダイオードＳＤの検出値からフォトダイオードＳＵの検出値を減算した値を所定の時間で積分してもよい。図４の例では、領域Ｒ４１およびＲ４２において積分値は非ゼロの値となる。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１の方向における検出対象物の移動を把握できる。

また、コントローラ１１は、フォトダイオードＳＬの検出値からフォトダイオードＳＲの検出値を減算した値を所定の時間で積分してもよい。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１に直交する方向（電子機器１の短手方向に略平行な方向）における検出対象物の移動を把握できる。

代替例として、コントローラ１１はフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの全ての検出値を用いて演算を行ってもよい。すなわち、コントローラ１１は検出対象物の移動方向を、電子機器１の長手方向および短手方向の成分に分離して演算することなく把握してもよい。

検出されるジェスチャは例えば、左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器１の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器１の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器１と略平行な平面において、電子機器１の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。

（キッチンモード）
図５は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図５の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。つまり、コントローラ１１は、ユーザが自機器（電子機器１）を使用しているときに、料理のレシピを表示する。このとき、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。例えば、コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなくレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れがうつることを回避できる。

ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは第１モードおよび第２モードを含む。第１モードは、例えばキッチン以外の部屋および外出先等での使用に適している通常の動作モード（通常モード）である。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。上記で説明したように、第２モードの場合には、ジェスチャによる入力操作が可能であることが好ましい。つまり、電子機器１のモードが第２モードに切り替わる場合には、連動して近接センサ１８を動作させてジェスチャを検出可能にすることが好ましい。本実施形態の電子機器１は、後述するようにユーザがアイコン３０をタップすることによって、第２モード（キッチンモード）への切り替えと近接センサ１８の動作とを連動させることが可能である。

（画面表示例）
図６（ａ）〜図６（ｆ）は本実施形態に係る電子機器１のディスプレイ１４に表示される画面例を示す。上記のように、電子機器１は第１モード（通常モード）に加えて、キッチンでレシピを表示しながら料理を行うのに最適な第２モード（キッチンモード）を有する。図６（ａ）および図６（ｂ）の画面表示のとき、電子機器１は第１モード（通常モード）で動作する。図６（ｃ）、図６（ｄ）、図６（ｅ）および図６（ｆ）の画面表示のとき、電子機器１は第２モード（キッチンモード）で動作する。

図６（ａ）は、選択ボタン１４０および選択ボタン１４１を含む画面例である。ユーザは、選択ボタン１４０または選択ボタン１４１をタップすることによってレシピの検索画面を表示させる。そして、ユーザは検索結果であるレシピを表示させることができる。

選択ボタン１４０は、ユーザがＷｅｂブラウザを利用してレシピを検索して、検索結果であるレシピを表示させる場合に選択される。つまり、ユーザが選択ボタン１４０を選択すると、料理のレシピは、Ｗｅｂブラウザで表示される。また、選択ボタン１４１は、ユーザが専用のアプリケーションを利用してレシピを検索して、検索結果であるレシピを表示させる場合に選択される。つまり、ユーザが選択ボタン１４０を選択すると、料理のレシピは、料理のレシピに関連した専用のアプリケーションで表示される。ここで、専用のアプリケーションは、インターネット経由でサーバにアクセスしてレシピのデータを取得できるが、既にいくつかのレシピのデータを電子機器１のストレージ１６に記憶している。ユーザは、例えば通信速度が遅い環境にいる場合でも、選択ボタン１４１を選択することによって、専用のアプリケーションを使って素早くストレージ１６に記憶されたレシピの検索および表示が可能である。

図６（ｂ）は、ユーザが選択ボタン１４０または選択ボタン１４１をタップしてＷｅｂブラウザまたは専用のアプリケーションでレシピを検索した後に、検索結果であるレシピを表示させたときの画面例である。図６（ｂ）の画面では、レシピに重ねてアイコン３０が表示されている。アイコン３０は、２つの円が、一部が重なるように連結された形状をしている。アイコン３０の一方の円は、他方の円よりもやや大きい。アイコン３０の大きい方の円の内部には鍋の絵が描かれている。コントローラ１１は、アイコン３０がユーザによってタップされたことを検知すると第１モードと第２モードとを切り替える。図６（ｂ）の画面を表示しているとき、電子機器１は第１モード（通常モード）で動作している。ユーザがアイコン３０をタップすると、電子機器１のモードは第２モード（キッチンモード）に切り替わる。また、電子機器１が第２モードで動作しているときに、ユーザがアイコン３０をタップすると、電子機器１のモードは第１モードに切り替わる。

図６（ｃ）は、ユーザがアイコン３０をタップして、電子機器１のモードが第２モード（キッチンモード）に切り替わったときの画面例である。このとき、電子機器１は近接センサ１８を動作させて、ユーザのジェスチャを検出可能にする。ディスプレイ１４に表示されるアイコン３０は、キッチンモードおよび近接センサ１８によりジェスチャの検出を兼用するアイコンである。また、コントローラ１１は、アイコン３０への接触を検知すると、キッチンモードの開始および近接センサ１８によるジェスチャの検出を開始すると共に、アイコン３０の態様を変化させる。図６（ｃ）の例では、コントローラ１１はアイコン３０の色を変化させる。アイコン３０の２つの円の内部は白色から黒色へと変化している。また、コントローラ１１はアイコン３０の形状を変化させる。アイコン３０の鍋の絵は、蓋が閉じていた状態から開いた状態へと変化している。

図６（ｃ）の画面が表示されている場合に、コントローラ１１は、近接センサ１８によって検出されたユーザのジェスチャに基づいて画面表示を制御する。コントローラ１１は、例えば近接センサ１８によって手を上下方向に移動させるジェスチャが検出されると、レシピが表示されている画面をスクロールさせる操作を行う。また、コントローラ１１は、例えば近接センサ１８によって手を１秒等の所定時間かざすジェスチャが検出されると、レシピの表示をタイマー画面の表示に切り替える。また、コントローラ１１は、第２モード（キッチンモード）で料理のレシピが表示されているときに通信ユニット１７によって電話の着信を検出すると、以下に説明するように、近接センサ１８によって検出されたジェスチャに基づいて応答する。

（第２モードでの着信および通話）
図６（ｄ）は電話の着信があった場合の画面例である。コントローラ１１は、電話の着信があった場合に、図６（ｃ）のレシピの表示画面から図６（ｄ）の着信画面に切り替える。図６（ｄ）の画面例では、ディスプレイ１４に発信者の画像、名前および電話番号が表示される。また、ユーザの手を左から右へと移動させるジェスチャによって応答できることを示すガイドがディスプレイ１４に表示される。ユーザは手を左から右へと移動させるジェスチャによって電話に応答することができる。このとき、コントローラ１１は、マイク１５とスピーカー２５を動作させて、ハンズフリー通話を可能にする。ここで、コントローラ１１は、ユーザが電話に応答せずに所定時間（例えば１５秒）が経過したと判定した場合に、画面を図６（ｃ）のレシピの表示画面に戻す。また、コントローラ１１は、近接センサ１８によって検出されたジェスチャに基づいて通話をキャンセルする。例えば、コントローラ１１は、近接センサ１８によって手を所定時間（例えば３秒）かざすジェスチャが検出されると、通話をキャンセルして画面を図６（ｃ）のレシピの表示画面に戻す。このとき、コントローラ１１は、伝言メモを起動して相手のメッセージを録音してもよい。

図６（ｅ）は電話の着信に対してユーザが応答した場合の画面例である。コントローラ１１は、近接センサ１８によって手を左から右へと移動させるジェスチャが検出されると、図６（ｄ）の着信画面から図６（ｅ）の通話中画面に切り替える。図６（ｅ）の画面例では、ディスプレイ１４に発信者の画像、名前、電話番号および通話時間が小さく表示される。また、ユーザが手をかざすジェスチャによって通話を終了（終話）できることを示すガイドがディスプレイ１４に表示される。コントローラ１１は、近接センサ１８によって手を所定時間（例えば３秒）かざすジェスチャが検出されると、画面を図６（ｃ）のレシピの表示画面に戻す。

図６（ｆ）は通話中にユーザが音量を調整する場合の画面例である。コントローラ１１は、近接センサ１８によって検出されたジェスチャに基づいて通話音量を変更する。例えば、コントローラ１１は、近接センサ１８によって手を上下方向に移動させるジェスチャが検出されると、図６（ｅ）の通話中画面から図６（ｆ）の通話音量画面に切り替える。図６（ｆ）の画面例では、ディスプレイ１４に通話音量を示すスライドバーが表示される。また、ユーザが手を下から上へと移動させるジェスチャで音量が上がること、および、ユーザが手を上から下へと移動させるジェスチャで音量が下がることを示すガイドがディスプレイ１４に表示される。コントローラ１１は、ユーザが音量調整のためのジェスチャをせずに所定時間（例えば３秒）が経過したと判定した場合に、画面を図６（ｅ）の通話中画面に戻す。

（ジェスチャ検出の停止）
ここで、図７（ａ）は、図６（ｄ）に示した第２モード（キッチンモード）の着信画面をより詳細に説明するための図である。図７（ａ）に示すように、第２モードの着信画面の下部には、ジェスチャ検出を停止して、タッチパネルディスプレイ（ディスプレイ１４）への接触による入力操作に切り替えるための切替ボタン１５０が設けられている。また、着信画面は全画面で表示される。全画面とは通知バー１６０を除くディスプレイ１４の全領域である。ここで、通知バー１６０はディスプレイ１４の上部の黒色で示される帯状の領域である。図７（ａ）に示すように、近接センサ１８がジェスチャを検出可能であることを示す手の形のピクト１７０（絵文字）は通知バー１６０に表示される。また、現在時刻が通知バー１６０に表示される。通知バー１６０には、例えば電波状態、マナーモードおよび電池の充電状態等を表す別のピクトがさらに表示されてもよい。

ユーザが近接センサ１８によって検出されたジェスチャに基づいて自機器（電子機器１）を使用している場合に、通信ユニット１７によって電話の着信を検出すると、図７（ａ）に示す画面が表示される。そして、ユーザがタッチパネルディスプレイ（ディスプレイ１４）の切替ボタン１５０に接触して応答した場合は、コントローラ１１は近接センサ１８によるジェスチャの検出をオフにする。

コントローラ１１は近接センサ１８によるジェスチャの検出をオフにして、入力操作の手法をタッチパネルへの接触に切り替える。電子機器１は第１モード（通常モード）で動作する。そして、コントローラ１１は図７（ｂ）の画面を表示する。図７（ｂ）は第１モードの着信画面である。図７（ｂ）の着信画面には、ユーザが左から右方向への接触操作（スライド操作）によって電話に応答できることを示すガイドが表示されている。

コントローラ１１は、近接センサ１８によるジェスチャの検出がオンになると、タッチパネルディスプレイ（ディスプレイ１４）上の通知バー１６０にピクト１７０を表示する。そして、コントローラ１１は、近接センサ１８によるジェスチャの検出がオフになると、タッチパネルディスプレイ（ディスプレイ１４）上の通知バー１６０にピクト１７０を非表示にする。図７（ｂ）の画面で、通知バー１６０には、手の形のピクト１７０（絵文字）が表示されない。ユーザは、通知バー１６０にピクト１７０が表示されていないことから、視覚的に近接センサ１８によるジェスチャの検出がオン（有効）でないことを把握できる。

図７（ｃ）は、図６（ｅ）に示した第２モード（キッチンモード）の通話中画面をより詳細に説明するための図である。図７（ｃ）に示すように、第２モードの通話中画面の下部には、ジェスチャ検出を停止して、タッチパネルディスプレイ（ディスプレイ１４）への接触による入力操作に切り替えるための切替ボタン１５０が設けられている。また、通話中画面は全画面（通知バー１６０を除くディスプレイ１４の全領域）で表示される。図７（ｃ）に示すように、通知バー１６０にはピクト１７０および現在時刻が表示されている。

図７（ｃ）の画面において、ユーザがタッチパネルディスプレイ（ディスプレイ１４）の切替ボタン１５０をタップした場合は、コントローラ１１は近接センサ１８によるジェスチャの検出をオフにする。

コントローラ１１は近接センサ１８によるジェスチャの検出をオフにして、入力操作の手法をタッチパネルへの接触に切り替える。電子機器１は第１モード（通常モード）で動作する。そして、コントローラ１１は図７（ｄ）の画面を表示する。図７（ｄ）は電子機器１の第１モードの通話中画面である。図７（ｄ）の通話中画面には、ハンズフリー通話を終了してスピーカー２５をオフにしたことの通知が表示されている。また、図７（ｄ）の通話中画面には、ユーザが終話アイコンに接触する操作（タップ操作）によって通話を終了（終話）できることが表示されている。ここで、図７（ｄ）の通話中画面には他のアイコン、例えばダイヤルキーを表示するためのアイコン、再びスピーカー２５をオンにするためのアイコン等が表示されていてもよい。

また、図７（ｄ）の画面で、通知バー１６０には、手の形のピクト１７０（絵文字）が表示されない。ユーザは、通知バー１６０にピクト１７０が表示されていないことから、視覚的に近接センサ１８によるジェスチャの検出のオフ（無効）を把握できる。ここで、ピクト１７０の表示または非表示は、近接センサ１８によるジェスチャの検出のオン（有効）またはオフ（無効）と連動する。近接センサ１８が動作中であるが、ジェスチャの検出ではなく例えば周囲の対象物との相対距離を検出している場合には、ピクト１７０は表示されない。

（フローチャート）
図８は、本実施形態に係る電子機器１のコントローラ１１が実行する処理（制御方法）の一例を示すフローチャートである。図８のフローチャートは、電子機器１が第２モード（キッチンモード）であってレシピを表示しているときに電話の着信があった場合の画面切り替え処理を示す。

コントローラ１１は、通信ユニット１７によって電話の着信を検出しなければ（ステップＳ１のＮｏ）、レシピをディスプレイ１４に表示したまま電話の着信を待つ。コントローラ１１は、通信ユニット１７によって電話の着信を検出した場合に（ステップＳ１のＹｅｓ）、第２モードの着信画面を表示する（ステップＳ２）。第２モードの着信画面は、例えば図７（ａ）の画面である。このとき、近接センサ１８によるジェスチャ検出はオン（有効）であるため、ピクト１７０が表示される。

コントローラ１１は、ユーザによるタッチパネルディスプレイ（ディスプレイ１４）への接触を検知しない場合に（ステップＳ３のＮｏ）、ステップＳ４の処理を実行する。つまり、コントローラ１１は、近接センサ１８が着信の応答と関連付けられたジェスチャを検知した場合に（ステップＳ４のＹｅｓ）、第２モードの通話中画面を表示する（ステップＳ５）。第２モードの通話中画面は、例えば図７（ｃ）の画面である。このとき、近接センサ１８によるジェスチャ検出はオン（有効）であるため、ピクト１７０が表示される。また、本実施形態において、応答と関連付けられたジェスチャは、ユーザの手を左から右へと移動させるジェスチャである。

コントローラ１１は、近接センサ１８が着信の応答と関連付けられたジェスチャを検知しない場合に（ステップＳ４のＮｏ）、ステップＳ３の処理に戻る。

コントローラ１１は、第２モードの通話中画面を表示（ステップＳ５）した後に、ステップＳ６の処理を実行する。つまり、コントローラ１１は、ユーザによるタッチパネルディスプレイ（ディスプレイ１４）への接触を検知した場合に（ステップＳ６のＹｅｓ）、ステップＳ１１の処理を実行する。本実施形態において、タッチパネルディスプレイへの接触は切替ボタン１５０へのタップである。

コントローラ１１は、ユーザによるタッチパネルディスプレイ（ディスプレイ１４）への接触を検知しない場合に（ステップＳ６のＮｏ）、ステップＳ７の処理を実行する。つまり、コントローラ１１は、近接センサ１８が終話と関連付けられたジェスチャを検知、または相手方の終話を検知した場合に（ステップＳ７のＹｅｓ）、第２モードでレシピを表示して（ステップＳ８）一連の処理を終了する。ここで、第２モードでレシピを表示する画面は例えば図６（ｃ）の画面である。また、終話と関連付けられたジェスチャは、例えばユーザの手を所定時間（例えば３秒）かざすジェスチャである。また、コントローラ１１は、通信ユニット１７を介して、通話の相手方の終話を検知する。

コントローラ１１は、近接センサ１８が終話と関連付けられたジェスチャを検知せず、かつ、相手方の終話を検知しない場合に（ステップＳ７のＮｏ）、ステップＳ６の処理に戻る。

コントローラ１１は、第２モードの着信画面を表示（ステップＳ２）した後に、ユーザによるタッチパネルディスプレイ（ディスプレイ１４）への接触を検知した場合に（ステップＳ３のＹｅｓ）、ステップＳ９の処理を実行する。本実施形態において、タッチパネルディスプレイへの接触は切替ボタン１５０へのタップである。

コントローラ１１は、ステップＳ９の処理として、第１モードの着信画面を表示する。第１モードの着信画面は例えば図７（ｂ）の画面である。このとき、近接センサ１８によるジェスチャ検出がオフ（無効）であるため、ピクト１７０は表示されない。

コントローラ１１は、着信の応答と関連付けられた接触を検知した場合に（ステップＳ１０のＹｅｓ）、第１モードの通話中画面を表示する（ステップＳ１１）。第１モードの通話中画面は、例えば図７（ｄ）の画面である。このとき、近接センサ１８によるジェスチャ検出がオフ（無効）であるため、ピクト１７０は表示されない。本実施形態において、着信の応答と関連付けられた接触の操作は、左から右方向への接触操作（スライド操作）である。

また、コントローラ１１は、着信の応答と関連付けられた接触を検知しない場合に（ステップＳ１０のＮｏ）、着信の応答と関連付けられた接触を検知するまで待機する。

コントローラ１１は、第１モードの通話中画面を表示（ステップＳ１１）した後に、ステップＳ１２の処理を実行する。つまり、コントローラ１１は、終話と関連付けられた接触、または相手方の終話を検知した場合に（ステップＳ１２のＹｅｓ）、第１モードでレシピを表示して（ステップＳ１３）一連の処理を終了する。ここで、第１モードでレシピを表示する画面は例えば図６（ｂ）の画面である。また、終話と関連付けられた接触の操作は、例えば終話アイコンに接触する操作（タップ操作）である。

また、コントローラ１１は、終話と関連付けられた接触がなく、かつ相手方の終話を検知しない場合に（ステップＳ１２のＮｏ）、終話と関連付けられた接触、または相手方の終話を検知するまで待機する。

以上に説明したように、本実施形態に係る電子機器１は、近接センサ１８と、タッチパネルディスプレイであるディスプレイ１４と、通信ユニット１７と、近接センサ１８によって検出されたジェスチャに基づいて自機器を使用している場合に、通信ユニット１７によって電話の着信を検出したときにタッチパネルディスプレイに接触して応答した場合は、近接センサ１８によるジェスチャの検出をオフにするコントローラ１１と、を備える。電子機器１は、ジェスチャに基づく入力操作を使用していても、ユーザによってタッチパネルディスプレイに接触があった場合にはジェスチャの検出をオフにする。このとき、ユーザは、自らのディスプレイ１４への接触が入力操作の切り替えのトリガーとなるため、ジェスチャの検出がオフになったことを明確に把握できる。よって、本実施形態に係る電子機器１は従来よりも操作性が向上している。

また、本実施形態に係る電子機器１は、近接センサ１８によるジェスチャの検出のオン（有効）またはオフ（無効）と連動して表示または非表示とされるピクト１７０を用いる。そのため、ユーザは、ピクト１７０によって視覚的に近接センサ１８によるジェスチャの検出の状態を把握できる。よって、本実施形態に係る電子機器１は一層操作性が向上している。

（その他の実施形態）
本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーション、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機、データ処理機能を備えた移動電話機、ＲＦＩＤ受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、ＧＰＳ（Global Positioning System）受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、プログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）、一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび／またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサ、ＣＰＵ（中央演算処理ユニット）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置および／またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。

ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気および光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）もしくはフラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体またはこれらいずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および／または数に限定されない。また、記憶が格納される媒体の種類も限定されない。

１ 電子機器
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
１８ 近接センサ
１９ ＵＶセンサ
２０ 照度センサ
２１ 加速度センサ
２２ 地磁気センサ
２３ 気圧センサ
２４ ジャイロセンサ
２５ スピーカー
３０ アイコン
１４０，１４１ 選択ボタン
１５０ 切替ボタン
１６０ 通知バー
１７０ ピクト
１８０ 光源用赤外ＬＥＤ
１８１ レンズ
ＳＵ，ＳＲ，ＳＤ，ＳＬ フォトダイオード

Claims (7)

1. 近接センサと、
   タッチパネルディスプレイと、
   通信ユニットと、
   前記近接センサによって検出されたジェスチャに基づいて自機器に触れずに自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするコントローラと、を備える電子機器。
2. 前記コントローラは、
   前記自機器を使用しているときに、料理のレシピを表示する、請求項１に記載の電子機器。
3. 前記コントローラは、
   前記近接センサによるジェスチャの検出がオンになると、前記タッチパネルディスプレイ上にピクトを表示し、
   前記近接センサによるジェスチャの検出がオフになると、前記タッチパネルディスプレイ上にピクトを非表示にする、請求項１または２に記載の電子機器。
4. 前記ピクトは通知バーに表示される、請求項３に記載の電子機器。
5. 近接センサと、タッチパネルディスプレイと、通信ユニットと、を備える電子機器に、
   前記近接センサによって検出されたジェスチャに基づいて自機器に触れずに自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするステップ、を実行させるプログラム。
6. 近接センサと、タッチパネルディスプレイと、通信ユニットと、を備える電子機器の制御方法であって、
   前記近接センサによって検出されたジェスチャに基づいて自機器に触れずに自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするステップ、を含む制御方法。
7. 近接センサと、
   タッチパネルディスプレイと、
   通信ユニットと、
   前記タッチパネルディスプレイに接触して自機器を使用する場合と前記近接センサによって検出されたジェスチャに基づいて自機器に触れずに自機器を使用する場合とのうち、前記近接センサによって検出されたジェスチャに基づいて自機器に触れずに自機器を使用している場合に、前記通信ユニットによって電話の着信を検出したときに前記タッチパネルディスプレイに接触して応答した場合は、前記近接センサによるジェスチャの検出をオフにするコントローラと、を備える電子機器。

Images