JP2014011511A - 電子機器、制御方法、及び制御プログラム - Google Patents

Abstract

【課題】気導音及び振動音を出力する場合の使い勝手を向上させること。
【解決手段】電子機器（携帯電話）１Ｄは、筐体４０と、筐体４０の第１面に設けられる第１操作部（タッチスクリーン２１）と、筐体４０の第１面に設けられる第１ディスプレイ（ディスプレイ２）と、圧電素子７と、圧電素子７の変形に基づいて、気導音と、人体の一部を振動させて伝わる振動音とを筺体４０の第２面から発生させると共に、第１操作部が操作されると、気導音および振動音として出力される情報に関する制御を変更するコントローラとを備える。
【選択図】図２３

Description

本出願は、電子機器、制御方法、及び制御プログラムに関する。

特許文献１には、気導音と振動音とを利用者に伝える電子機器が記載されている。特許文献１には、電子機器の筐体の外面に配置される振動体の圧電素子に電圧が印加されると、圧電素子が伸縮することにより振動体が屈曲振動することが記載されている。また、特許文献１には、利用者が屈曲振動する振動体を耳介に接触させると、気導音と振動音とが利用者に伝えられることが記載されている。気導音とは、物体の振動に起因する空気の振動が外耳道を通って鼓膜に伝わり、鼓膜が振動することによって利用者の聴覚神経に伝わる音である。振動音とは、振動する物体に接触する利用者の体の一部（例えば外耳の軟骨）を介して利用者の聴覚神経に伝わる音である。

特開２００５−３４８１９３号公報

気導音及び振動音を出力する上記の電子機器には、使い勝手の観点において改善の余地がある。このような理由から、気導音及び振動音を出力する場合の使い勝手を向上させることができる電子機器、制御方法、及び制御プログラムに対するニーズがある。

１つの態様に係る電子機器は、筐体と、前記筐体の第１面に設けられる第１操作部と、前記筐体の前記第１面に設けられる第１ディスプレイと、圧電素子と、前記圧電素子の変形に基づいて、気導音と、人体の一部を振動させて伝わる振動音とを前記筺体の第２面から発生させると共に、前記第１操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更する制御部とを備える。

１つの態様に係る制御方法は、一の面にディスプレイを備える電子機器の制御方法であって、圧電素子を変形させることにより、気導音と、人体の一部を振動させて伝わる振動音とを筐体の他の面から発生させるステップと、前記筐体の一の面に設けられる操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更するステップとを含む。

１つの態様に係る制御プログラムは、一の面にディスプレイを備える電子機器に、圧電素子を変形させることにより、気導音と、人体の一部を振動させて伝わる振動音とを筐体の他の面から発生させるステップと、前記筐体の一の面に設けられる操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更するステップとを実行させる。

図１は、実施形態に係る携帯電話の正面図である。 図２は、実施形態に係る携帯電話の背面図である。 図３は、実施形態に係る携帯電話の断面図である。 図４は、パネルの形状の例を示す図である。 図５は、パネルの振動の例を示す図である。 図６は、実施形態に係る携帯電話のブロック図である。 図７は、ディスプレイに表示されるホーム画面の例を示す図である。 図８は、ホーム画面の表示中に耳の接触が検出された場合に出力される情報の例を示す図である。 図９は、ホーム画面の表示中に耳の接触が検出された場合に出力される情報の他の例を示す図である。 図１０は、耳の位置の検出について説明するための図である。 図１１は、耳の位置の検出について説明するための図である。 図１２は、耳の位置の検出について説明するための図である。 図１３は、携帯電話の使用形態の例を示す図である。 図１４は、背面側のタッチスクリーンの検出結果に基づく制御の変更の例を示す図である。 図１５は、背面側のタッチスクリーンの検出結果に基づく制御の変更の他の例を示す図である。 図１６は、背面側のタッチスクリーンの検出結果に基づく制御の変更の他の例を示す図である。 図１７は、背面側のタッチスクリーンの検出結果に基づく制御の変更の他の例を示す図である。 図１８は、気導音及び振動音として出力される情報に関する制御を変更する処理手順の例を示すフローチャートである。 図１９は、第１の変形例に係る携帯電話の断面図である。 図２０は、背面側のディスプレイに表示される画面の例を示す図である。 図２１は、第２の変形例に係る携帯電話の正面図である。 図２２は、第２の変形例に係る携帯電話の側面図である。 図２３は、第３の変形例に係る携帯電話の断面図である。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、気導音と振動音とを利用者に伝える電子機器の例として、携帯電話について説明する。

（実施形態）
図１から図３を参照しながら、実施形態に係る携帯電話１Ａの全体的な構成について説明する。図１は、携帯電話１Ａの正面図である。図２は、携帯電話１Ａの背面図である。図３は、携帯電話１Ａのａ−ａ断面を模式的に示す断面図である。図１から図３に示すように、携帯電話１Ａは、ディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、圧電素子７と、マイク８と、カメラ１２と、パネル（音発生部）２０と、タッチスクリーン２１と、タッチスクリーン２２と、筐体４０とを備える。

ディスプレイ２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２は、文字、画像、記号、及び図形等を表示する。

ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、図１及び図２に示す例に限定されない。

照度センサ４は、携帯電話１Ａの周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２の輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、赤外線の強度或いは磁界等の物理量の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２が顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、一つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

圧電素子７は、電気信号（音信号に応じた電圧）が印加されると、構成材料の電気機械結合係数に従い伸縮又は屈曲する。すなわち、圧電素子７は、電気信号が印加されると変形する。圧電素子７は、パネル２０に取り付けられ、パネル２０を振動させるための振動源として用いられる。圧電素子７は、例えば、セラミック又は水晶を用いて形成される。圧電素子７は、ユニモルフ、バイモルフ、又は積層型圧電素子であってよい。積層型圧電素子には、バイモルフを積層した（例えば１６層又は２４層積層した）積層型バイモルフ素子が含まれる。積層型の圧電素子は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）からなる複数の誘電体層と、該複数の誘電体層間に配設された電極層との積層構造体から構成される。ユニモルフは、電気信号（電圧）が印加されると伸縮する。バイモルフは、電気信号（電圧）が印加されると屈曲する。

マイク８は、音入力部である。マイク８は、入力される音を電気信号へ変換する。スピーカ１１は、気導方式で音を出力する音出力部である。スピーカ１１は、例えば、ダイナミックスピーカであり、電気信号を変換した音を、耳を携帯電話１Ａに接触させていない人へも伝えることができる。スピーカ１１は、例えば、音楽を出力するために用いられる。

カメラ１２は、ディスプレイ２に面している物体を撮影するインカメラである。カメラ１２は、撮影した画像を電気信号へ変換する。携帯電話１Ａは、カメラ１２に加えて、ディスプレイ２の反対側の面に面している物体を撮影するアウトカメラを備えてもよい。

パネル２０は、圧電素子７の変形（伸縮又は屈曲）にともなって振動し、利用者がパネル２０に接触させる耳の軟骨（耳介軟骨）等にその振動を伝える。パネル２０は、ディスプレイ２及び圧電素子７等を外力から保護する機能も有する。パネル２０は、例えば、ガラス、又はアクリル等の合成樹脂により形成される。パネル２０の形状は、例えば、板状である。パネル２０は、平板であってよい。パネル２０は、表面が滑らかに湾曲する曲面パネルであってもよい。パネル２０は、バッテリリッドであってもよい。バッテリリッドは、筐体４０に取り付けられ、バッテリを覆う部材である。圧電素子７が筺体４０の角部（例えば四隅の少なくとも一か所）を振動させる構成であっても良い。この場合、圧電素子７は、筺体４０の角部の内面に取り付けられる構成でもよいし、中間部材をさらに備え、圧電素子７の振動が中間部材を介して筺体４０の角部に伝達される構成でもよい。この構成によれば、振動する範囲を比較的狭くできるため、振動により発生する気導音が周囲に漏れにくい。また、この構成によれば、例えば利用者が筺体の角部を外耳道に挿入した状態で気導音と振動音とが利用者に伝わるため、周囲のノイズが利用者の外耳道に入りにくい。そのため、利用者に伝わる音の品質を向上することができる。

パネル２０の背面には、接合部材３０により、ディスプレイ２と、圧電素子７とが取り付けられる。圧電素子７は、パネル２０の背面に配置された状態で、筐体４０の内表面と所定の距離だけ離間している。圧電素子７は、伸縮または屈曲した状態でも、筐体４０の内表面と離間しているとよい。すなわち、圧電素子７と筐体４０の内表面との間の距離は、圧電素子７の最大変形量よりも大きいとよい。圧電素子７は、補強部材（例えば、板金又はガラス繊維強化樹脂）を介してパネル２０に取り付けられてもよい。接合部材３０は、例えば、両面テープ、又は熱硬化性あるいは紫外線硬化性等を有する接着剤である。接合部材３０は、無色透明のアクリル系紫外線硬化型接着剤である光学弾性樹脂でもよい。

ディスプレイ２は、パネル２０の短手方向における略中央に配設される。圧電素子７は、パネル２０の長手方向の端部から所定の距離だけ離間した近傍に、圧電素子７の長手方向がパネル２０の短手方向と平行になるように配設される。ディスプレイ２及び圧電素子７は、パネル２０の内側の面に、平行に並べて配設される。

パネル２０の外側の面の略全面には、タッチスクリーン（タッチセンサ）２１が配設される。タッチスクリーン２１は、パネル２０に対する接触を検出する。タッチスクリーン２１の検出結果は、指、ペン、又はスタイラスペン等による利用者の接触操作を検出するために用いられる。タッチスクリーン２１を用いて検出される接触に基づいて判定される操作（ジェスチャ）は、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。タッチスクリーン２１の検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするために、「タッチスクリーンが接触を検出し、その接触に基づいて、ジェスチャの種別をスマートフォン１がＸと判別すること」を、「スマートフォン１がＸを検出する」、「コントローラがＸを検出する」、又は「タッチスクリーンがＸを検出する」と記載することがある。コントローラについては後述する。

「タッチ」は、タッチスクリーンに指が触れるジェスチャである。携帯電話１Ａは、タッチスクリーンに指が接触するジェスチャをタッチとして判別する。「ロングタッチ」は、タッチスクリーンに指が一定時間より長く触れるジェスチャである。携帯電話１Ａは、タッチスクリーンに指が一定時間より長く接触するジェスチャをロングタッチとして判別する。

「リリース」は、指がタッチスクリーンから離れるジェスチャである。携帯電話１Ａは、指がタッチスクリーンから離れるジェスチャをリリースとして判別する。「スワイプ」は、指がタッチスクリーンに接触したままで移動するジェスチャである。携帯電話１Ａは、指がタッチスクリーンに接触したままで移動するジェスチャをスワイプとして判別する。

「タップ」は、タッチに続いてリリースをするジェスチャである。携帯電話１Ａは、タッチに続いてリリースをするジェスチャをタップとして判別する。「ダブルタップ」は、タッチに続いてリリースをするジェスチャが２回連続するジェスチャである。携帯電話１Ａは、タッチに続いてリリースをするジェスチャが２回連続するジェスチャをダブルタップとして判別する。

「ロングタップ」は、ロングタッチに続いてリリースをするジェスチャである。携帯電話１Ａは、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。「ドラッグ」は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。携帯電話１Ａは、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。

「フリック」は、指が、タッチスクリーンに触れた後移動しながらタッチスクリーンから離れるジェスチャである。すなわち、「フリック」は、タッチに続いて指が移動しながらリリースが行われるジェスチャである。携帯電話１Ａは、指が、タッチスクリーンに触れた後移動しながらタッチスクリーンから離れるジェスチャをフリックとして判別する。フリックは、指が一方方向へ移動しながら行われることが多い。フリックは、指が画面の上方向へ移動する「上フリック」、指が画面の下方向へ移動する「下フリック」、指が画面の右方向へ移動する「右フリック」、指が画面の左方向へ移動する「左フリック」等を含む。フリックにおける指の移動は、スワイプにおける指の移動よりも素早いことが多い。

「ピンチイン」は、複数の指が互いに近付く方向にスワイプするジェスチャである。携帯電話１Ａは、タッチスクリーンにより検出されるある指の位置と他の指の位置との間の距離が短くなるジェスチャをピンチインとして判別する。「ピンチアウト」は、複数の指が互いに遠ざかる方向にスワイプするジェスチャである。携帯電話１Ａは、タッチスクリーンにより検出されるある指の位置と他の指の位置との間の距離が長くなるジェスチャをピンチアウトとして判別する。

タッチスクリーン２１は、音を聞くためにパネル２０に接触する耳介軟骨等を検出するためにも用いられる。

タッチスクリーン２２は、ディスプレイ２が配設される面の反対側の面に配設される。以下の説明では、筐体４０が有する面のうち、ディスプレイ２が配設される面を「正面」と呼び、その反対側の面を「背面」と呼ぶことがある。本実施形態において、タッチスクリーン２２は、タッチスクリーン２１と略同じ大きさを有し、タッチスクリーン２１と略重なるように配設される。すなわち、タッチスクリーン２２の４角を通るタッチスクリーン２２と垂直な直線は、それぞれ、タッチスクリーン２１の４角を通るタッチスクリーン２１と垂直な直線と略一致する。

タッチスクリーン２２は、背面に対する接触を検出する。タッチスクリーン２２の検出結果は、指、ペン、又はスタイラスペン等による利用者の接触操作を検出するために用いられる。タッチスクリーン２２用いて検出される接触に基づいて判定される操作（ジェスチャ）は、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。タッチスクリーン２２の検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。タッチスクリーン２２の検出方式は、タッチスクリーン２１の検出方式と異なってもよい。

筐体４０は、樹脂又は金属を用いて形成される。筐体４０は、ボタン３、照度センサ４、近接センサ５、マイク８、スピーカ１１、カメラ１２、及びパネル２０等を支持する。

図１から図５を参照しながら、実施形態に係る携帯電話１Ａによる音の出力についてより詳細に説明する。図４は、パネル２０の形状の例を示す図である。図５は、パネル２０の振動の例を示す図である。

圧電素子７には、出力する音に応じた電気信号が印加される。圧電素子７には、例えば、外耳道を介する気導音によって音を伝える所謂パネルスピーカの印加電圧である±５Ｖよりも高い、±１５Ｖが印加されてもよい。これにより、利用者が、例えば、３Ｎ以上の力（５Ｎ〜１０Ｎの力）でパネル２０に自身の体の一部を押し付けた場合であっても、パネル２０に十分な振動を発生させ、利用者の体の一部を介して伝わる振動音を発生させることができる。圧電素子７に印加される電圧は、パネル２０の筐体４０に対する固定強度、又は圧電素子７の性能等に応じて適宜調整可能である。

電気信号が印加されると、圧電素子７は長手方向に伸縮又は屈曲する。圧電素子７が取り付けられたパネル２０は、圧電素子７の伸縮又は屈曲に合わせて変形する。これにより、パネル２０は、振動し、気導音を発生させる。さらに、利用者が体の一部（例えば、耳介軟骨）をパネル２０に接触させた場合、パネル２０は、体の一部を介して利用者に伝導する振動音を発生させる。すなわち、パネル２０は、圧電素子７の変形にともなって、パネル２０に接触する物体に対して振動音として知覚される周波数で振動する。

例えば、圧電素子７に、通話の相手の音声、又は着信音、音楽等の音データに応じた電気信号が印加されると、パネル２０は、電気信号に対応する気導音及び振動音を発生させる。圧電素子７及びパネル２０を介して出力される音信号は、後述するストレージ９に記憶されている音データに基づくものであってよい。圧電素子７及びパネル２０を介して出力される音信号は、外部のサーバ等に記憶され、後述する通信ユニット６によりネットワークを介して取得される音データに基づくものであってもよい。

本実施形態において、パネル２０は、利用者の耳と略同じ大きさであってよい。また、パネル２０は、図４に示すように、利用者の耳よりも大きなサイズであってもよい。この場合、利用者は、音を聞くときに耳の外周部の略全体をパネル２０に接触させることができる。このようにして音を聞くことにより、周囲音（ノイズ）が外耳道に入り難くなる。本実施形態では、少なくとも、パネル２０は、人間の対耳輪下脚（下対輪脚）から対耳珠までの間の距離に相当する長手方向（又は短手方向）の長さと、耳珠から対耳輪までの間の距離に相当する短手方向（又は長手方向）の長さとを有する領域よりも広い領域が振動する。パネル２０は、耳輪における対耳輪上脚（上対輪脚）近傍の部位から耳垂までの間の距離に相当する長手方向（又は短手方向）の長さと、耳珠から耳輪における対耳輪近傍の部位までの間の距離に相当する短手方向（又は長手方向）の長さを有する領域が振動してもよい。上記の長さ及び幅を有する領域は、長方形状の領域であってもよいし、上記の長手方向の長さを長径、上記の短手方向の長さを短径とする楕円形状であってもよい。人間の耳の平均的な大きさは、例えば、社団法人 人間生活工学研究センター（ＨＱＬ）作成の日本人の人体寸法データベース（１９９２−１９９４）等を参照すれば知ることができる。

図５に示すように、パネル２０は、圧電素子７が取り付けられた取付領域２０ａだけでなく、取付領域２０ａから離れた領域も振動する。パネル２０は、振動する領域において、当該パネル２０の主面と交差する方向に振動する箇所を複数有し、当該複数の箇所の各々において、振動の振幅の値が、時間とともにプラスからマイナスに、あるいはその逆に変化する。パネル２０は、それぞれの瞬間において、振動の振幅が相対的に大きい部分と振動の振幅が相対的に小さい部分とがパネル２０の略全体に一見ランダム又は規則的に分布した振動をする。すなわち、パネル２０全域にわたって、複数の波の振動が検出される。上記のように圧電素子７に対して印加される電圧が±１５Ｖであれば、利用者が例えば５Ｎ〜１０Ｎの力で自身の体にパネル２０を押し付けた場合であっても、パネル２０の上述した振動は減衰しにくい。このため、利用者は、パネル２０上の取付領域２０ａから離れた領域に耳を接触させても、振動音を聞くことができる。

本実施形態では、ディスプレイ２がパネル２０に取り付けられている。このため、パネル２０の下部（ディスプレイ２が取り付けられている側）は、剛性が上がり、パネル２０の上部（圧電素子７が取り付けられている側）と比べて、振動が小さい。このため、パネル２０の下部において、パネル２０が振動することによる気導音の音漏れが低減される。

携帯電話１Ａは、パネル２０の振動により、気導音と、利用者の体の一部（例えば耳介軟骨）を介する振動音とを利用者に伝えることができる。そのため、携帯電話１Ａは、ダイナミックレシーバと同等の音量の音を出力する場合、空気の振動により携帯電話１Ａの周囲へ伝わる音を、ダイナミックスピーカのみを有する電子機器と比較して、少なくすることができる。このような特徴は、例えば、録音されたメッセージを電車内のような近くに他人がいる場所で聞く場合等に好適である。

さらに、携帯電話１Ａは、パネル２０の振動により利用者に振動音を伝える。そのため、利用者は、イヤホン又はヘッドホンを身につけていても、それらに携帯電話１Ａを接触させることで、イヤホン又はヘッドホン及び体の一部を介して、パネル２０の振動による振動音を聞くことができる。

さらに、携帯電話１Ａは、パネル２０の振動により音を伝える。そのため、携帯電話１Ａが別途ダイナミックレシーバを備えない場合、パネル２０が発する音を外部に伝えるための開口部（放音口）を筐体４０に形成する必要がない。このため、防水構造を実現する場合に、構造を簡略化することができる。携帯電話１Ａは、ダイナミックスピーカの放音口等の開口部を筐体４０に形成する必要がある場合、防水構造を実現するために、気体は通すが液体は通さない部材によって開口部を閉塞する構造を採用してもよい。気体は通すが液体は通さない部材は、例えば、ゴアテックス（登録商標）である。

以下の説明では、圧電素子７及びパネル２０の組み合わせを振動レシーバと呼ぶことがある。

図６を参照しながら、携帯電話１Ａの機能的な構成について説明する。図６は、携帯電話１Ａのブロック図である。図６に示すように、携帯電話１Ａは、ディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、圧電素子７及びパネル２０を含む振動レシーバ１３と、姿勢検出ユニット１５と、バイブレータ１８と、タッチスクリーン２１と、タッチスクリーン２２とを備える。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。無線通信規格として、さらに、例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２に画面を表示させ、タッチスクリーン２１によって検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳである。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、例えば、制御プログラム９Ａ、読み上げアプリケーション９Ｂ、ニュースアプリケーション９Ｃ、メールアプリケーション９Ｄ、音楽再生アプリケーション９Ｅ、スケジュールアプリケーション９Ｆ、及び設定データ９Ｚを記憶する。読み上げアプリケーション９Ｂは、テキストデータを、あたかも人が読み上げたような音声データへ変換する読み上げ機能を提供する。読み上げアプリケーション９Ｂによる読み上げ機能は、他の機能と組み合わせて利用されることがある。ニュースアプリケーション９Ｃは、ニュースの記事データを取得し、表示する機能を提供する。メールアプリケーション９Ｄは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。音楽再生アプリケーション９Ｅは、音楽データから音を再生するための音楽再生機能を提供する。スケジュールアプリケーション９Ｆは、スケジュール管理機能を提供する。設定データ９Ｚは、携帯電話１Ａの動作に関連する各種の設定に関する情報を含む。

制御プログラム９Ａは、携帯電話１Ａを稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、通信ユニット６、圧電素子７、及びマイク８等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能には、タッチスクリーン２１又はタッチスクリーン２２の検出結果に基づいて、気導音及び振動音として出力される情報に関する制御を変更する機能が含まれる。気導音及び振動音として出力される情報に関する制御は、例えば、音量、音質、再生方向、再生方向、および再生順序に関する制御を含む。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、携帯電話１Ａの動作を統括的に制御して各種の機能を実現する。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２、通信ユニット６、圧電素子７、マイク８、スピーカ１１、及びバイブレータ１８を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、ボタン３、照度センサ４、近接センサ５、カメラ１２、姿勢検出ユニット１５、タッチスクリーン２１、及びタッチスクリーン２２を含むが、これらに限定されない。

コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、タッチスクリーン２１又はタッチスクリーン２２の検出結果に基づいて、気導音及び振動音として出力される情報に関する制御を変更する。

姿勢検出ユニット１５は、携帯電話１Ａの姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。バイブレータ１８は、携帯電話１Ａの一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータを有する。バイブレータ１８による振動は、音を伝えるためではなく、着信等の各種のイベントを利用者に報知するために用いられる。

図６においてストレージ９が記憶するプログラム及びデータの一部又は全部は、通信ユニット６による無線通信で他の装置からダウンロードされてもよい。図６においてストレージ９が記憶するプログラム及びデータの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。

図６に示した携帯電話１Ａの構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、携帯電話１Ａは、操作のためのボタンとして、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。

図７から図９を参照しながら、タッチスクリーン２１の検出結果に基づいて、気導音及び振動音として出力される情報を切り替える制御について説明する。図７は、ディスプレイ２に表示されるホーム画面の例を示す図である。ホーム画面は、ディスプレイ２に表示される。ホーム画面は、携帯電話１Ａにインストールされているアプリケーションのうち、どのアプリケーションを実行するかを利用者に選択させる画面である。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。

ホーム画面上には、アイコン及びウィジェット等のオブジェクトが配置される。アイコンは、実行されるアプリケーションに対応する画像を含む。携帯電話１Ａは、アイコンへのタップが検出された場合、アイコンに対応するアプリケーションを実行する。ウィジェットは、動的に変化する画像を含む。ウィジェットに含まれる画像は、対応するアプリケーションが提供する機能によって更新される。

図７に示す例では、ホーム画面上に、ウィジェット４１ａと、アイコン４２ａと、アイコン４３ａと、ウィジェット４４ａとが配置されている。ウィジェット４１ａは、ニュースアプリケーション９Ｃの提供する機能によって取得された記事データを表示する。具体的には、ウィジェット４１ａは、割り当てられた領域内で、複数の記事データのテキストが次々とスクロールするように構成される。

アイコン４２ａは、メールアプリケーション９Ｄに対応する。携帯電話１Ａは、アイコン４２ａへのタップを検出すると、メールアプリケーション９Ｄを実行する。アイコン４２ａの右上には、未読メールの件数が表示される。アイコン４３ａは、スケジュールアプリケーション９Ｆに対応する。携帯電話１Ａは、アイコン４３ａへのタップを検出すると、スケジュールアプリケーション９Ｆを実行する。

ウィジェット４４ａは、音楽再生アプリケーション９Ｅによって再生される楽曲を識別するための情報を表示する。識別するための情報は、例えば、アルバムアート、楽曲名、奏者名である。ウィジェット４４ａに割り当てられた領域には、音楽再生アプリケーション９Ｅの機能による音楽再生を制御するための部品が配置される。音楽再生を制御するための部品は、早送りボタン４５ａ、巻き戻しボタン４６ａ、及び再生開始・一時停止ボタン４７ａを含む。

携帯電話１Ａは、ホーム画面を表示しているときに、人体のうち、振動音を聴覚神経へ伝達可能な部分の接触がタッチスクリーン２１によって検出された場合、接触が検出された位置又は領域に基づいて特定されるオブジェクトに関する情報を気導音および振動音として出力する。振動音を聴覚神経へ伝達可能な部分は、例えば、頭部の一部である。以下の説明では、説明を簡単にするため、振動音を聴覚神経へ伝達可能な部分は、耳であるものとする。さらに、以下の説明では、説明を簡単にするため、パネル２０の振動によって生じる気導音についての記載を省略することがある。

図８及び図９は、ホーム画面の表示中に耳の接触が検出された場合に出力される情報の例を示す図である。図８に示すように、ウィジェット４１ａの表示領域を含む領域６１への耳の接触がタッチスクリーン２１によって検出された場合、携帯電話１Ａは、ウィジェット４１ａに対応する情報を振動音として出力する。具体的には、携帯電話１Ａは、ウィジェット４１ａ内でスクロールしている記事データのテキストを、読み上げアプリケーション９Ｂによって提供される読み上げ機能によって、音声データへ変換する。そして、携帯電話１Ａは、音声データに応じた信号を圧電素子７に印加し、パネル２０を振動させる。

図９に示すように、アイコン４２ａの表示領域を含む領域６２への耳の接触がタッチスクリーン２１によって検出された場合、携帯電話１Ａは、アイコン４２ａに対応する情報を振動音として出力する。具体的には、携帯電話１Ａは、未読メールの送信元、受信時刻、件名等の属性情報（ヘッダ情報）を、読み上げアプリケーション９Ｂによって提供される読み上げ機能によって、音声データへ変換する。そして、携帯電話１Ａは、音声データに応じた信号を圧電素子７に印加し、パネル２０を振動させる。携帯電話１Ａは、未読メールの属性情報だけでなく、本文を振動音として出力してもよい。携帯電話１Ａは、未読メールがない場合は、その旨を振動音として出力してもよい。

同様に、アイコン４３ａ又はウィジェット４４ａの表示領域への耳の接触がタッチスクリーン２１によって検出された場合、携帯電話１Ａは、それぞれに対応する情報を振動音として出力する。アイコン４３ａに対応する情報は、例えば、登録されている当日の予定の件名及び開始時刻である。ウィジェット４４ａに対応する情報は、例えば、再生される楽曲の曲名および奏者名、又は楽曲そのものである。

このように、携帯電話１Ａは、タッチスクリーン２１によって耳の接触が検出された場合に、接触が検出された位置又は領域に基づいて特定されるオブジェクトに関する情報を振動音として出力する。このため、利用者は、聞きたい情報に対応する位置へ耳を接触させるだけで、余分な操作をすることなく、聞きたい情報を振動音として聞くことができる。さらに、耳がパネル２０に接触している状態で振動音の出力が開始されるため、情報を聞き漏らす可能性が低い。

耳の接触が検出された領域に基づいてオブジェクトを特定する場合、各オブジェクトの表示領域のうち、耳の接触が検出された領域と重なる部分の面積が算出される。そして、耳の接触が検出された領域と表示領域とが重なる面積が最も広いオブジェクトが、対応する位置に配置されているオブジェクトと決定されてもよい。あるいは、表示領域に対して耳の接触が検出された領域と重なる部分が占める割合が最も高いオブジェクトが、対応する位置に配置されているオブジェクトと決定されてもよい。

耳の接触が検出された位置に基づいてオブジェクトを特定する場合、耳の接触が検出された位置から、ホーム画面上に配置されている各オブジェクトまでの距離が算出される。そして、距離が最も短いオブジェクトが、関連する情報が振動音として出力されるオブジェクトとして特定される。耳の接触が検出された位置は、例えば、耳の接触が検出された領域の重心、耳の接触が検出された領域を含む最小矩形の中心または頂点の一つ、耳の所定の部位に対応する位置、又は耳の接触が検出された領域のうち最初に接触が検出された位置である。耳の接触が検出された位置からオブジェクトまでの距離は、耳の接触が検出された位置から、オブジェクトの中心までの距離であってもよい。耳の接触が検出された位置からオブジェクトまでの距離は、耳の接触が検出された位置から、オブジェクトの外周のうち、耳の接触が検出された位置に最も近い部分までの距離であってもよい。

図１０から図１２を算出しながら、携帯電話１Ａによる耳の位置の検出の例について説明する。携帯電話１Ａは、パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出する。例えば、携帯電話１Ａは、図１０に示すように、タッチスクリーン２１によって耳の接触が検出される領域７１に基づいて決定される位置７２を、耳の位置として検出する。位置７２は、例えば、領域７１の中心（重心）である。位置７２は、領域７１を含む最小矩形の頂点のいずれかであってもよい。位置７２は、耳の所定の部位に対応する位置であってもよい。この場合、耳におけるその部位の一般的な位置に関する情報に基づいて、領域７１との相対的な位置関係から位置７２が算出される。

この方式は、複雑な演算を行うことなく、パネル２０に接触する耳の位置を検出することを可能にする。さらに、この方式は、タッチスクリーン２１がパネル２０に対する接触を同時に検出できる点の数が少ない場合にも適用できる。この方式では、例えば、領域７１の大きさ及び形状に基づいて、パネル２０に接触する物体が耳であるか否かを判定することもできる。

あるいは、携帯電話１Ａは、図１１に示すように、物体の接触時にタッチスクリーン２１の検出結果に基づいて得られる像７３と、予め用意される標本７４とのパターンマッチングによって、耳の位置を検出する。像７３は、タッチスクリーン２１の検出領域を格子状に分割し、分割されたそれぞれの領域における物体の接触の検出状態を、対応する画素の状態に変換することにより得られる。それぞれの領域においてタッチスクリーン２１が検出する値が、例えば、タッチスクリーン２１と物体の距離、物体がタッチスクリーン２１を圧迫する押圧等によって変動する場合、像７３は、多階調の画像となってもよい。

標本７４は、耳の接触時に耳が接触している領域で像７３と同様のやり方で得られるはずの像である。標本７４は、携帯電話１Ａの利用者の耳の接触時に得られるはずの像であってもよいし、一般的な人の耳の接触時に得られるとはずの像であってもよい。標本７４は、右耳の像、左耳の像というように複数枚用意されてもよい。

標本７４は、耳の所定の部位に対応する基準位置７４ａを含む。基準位置７４ａは、標本７４の左上を基準として、（ｘ１，ｙ１）に位置している。基準位置７４ａは、一般的な人の耳におけるその部位の位置に関する情報に基づいて設定されてもよい。標本７４が携帯電話１Ａの利用者の耳の接触時に実際に得られた像である場合、基準位置７４ａは、像を解析して設定されてもよい。

携帯電話１Ａは、像７３が得られると、パターンマッチングによって、像７３と標本７４とが最もマッチする際の両者の相対位置を得る。パターンマッチングによって、像７３と標本７４とがマッチしないと判定された場合（例えば、一致度が閾値よりも低い場合）には、携帯電話１Ａは、耳の接触は検出されていないと判定してもよい。相対位置が得られると、携帯電話１Ａは、相対位置と、基準位置７４ａとに基づいて、耳の位置を算出する。図１１の例の場合、像７３の左上を基準として、標本７４をＸ軸方向にｘ２、Ｙ軸方向にｙ２だけシフトした場合に両者が最もマッチする。この場合、耳の位置は、（ｘ１＋ｘ２，ｙ１＋ｙ２）と算出される。

この方式は、パネル２０に接触する耳の位置を精度よく検出することを可能にする。さらに、この方式は、標本とのマッチングによって、パネル２０に接触する物体が耳であるか否か、あるいは、パネル２０に接触する物体が予め登録されている人物の耳であるかを判定することを可能にする。さらに、この方式は、耳の向き及び傾き等の、耳の接触に関する詳細な情報を検出することを可能にする。

パターンマッチングによって耳の位置を検出する場合、標本は、基準位置を含まなくてもよい。図１２に示す例では、像７３は、基準位置を含まない標本７５とパターンマッチングされている。図１２の例の場合、像７３の左上を基準として、標本７５をＸ軸方向にｘ３、Ｙ軸方向にｙ３だけシフトした場合に両者が最もマッチする。この場合、耳の位置は、例えば、（ｘ３，ｙ３）と算出される。

この方式は、基準位置を含まないため、標本の作成を容易にする。例えば、耳の位置の移動量及び移動方向が必要で、耳の特定の部位の位置を特定する必要がない場合、標本に基準位置を設定しなくても、この方式によって必要な情報を得ることができる。

パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出する方式は、上記の方式に限定されず、他の方式を採用してもよい。

携帯電話１Ａは、消費電力を抑制するために、パネル２０への耳の接触が検出された場合、又はパネル２０への耳の接近が検出された場合、ディスプレイ２を消灯してもよい。この場合でも、消灯前に表示されていたホーム画面上に配置されていたオブジェクトは、消灯後もそのままの位置に配置されているものとして制御が行われる。

図１３から図１７を参照しながら、タッチスクリーン２２の検出結果に基づいて、気導音及び振動音として出力される情報に関する制御の変更について説明する。図１３は、携帯電話１Ａの使用形態の例を示す図である。図１３に示すように、オブジェクトに関する情報が振動音として出力されているとき、利用者は、振動音を聞くためにディスプレイ２及びタッチスクリーン２１が設けられている正面に耳Ｅ１を接触させる。この状態では、利用者がディスプレイ２に表示されている画面を見ながらタッチスクリーン２１に対して操作を行うことは難しい。

しかしながら、図１３に示す状態であっても、利用者は、背面に設けられているタッチスクリーン２２に対して操作を行うことはできる。利用者は、図１３に示すように、携帯電話１Ａをもつ手Ｈ１の指Ｆ１を用いてタッチスクリーン２２を操作することができる。利用者は、もう一方の手の指を用いてタッチスクリーン２２を操作することもできる。

携帯電話１Ａは、オブジェクトに関する情報を振動音として出力しているときにタッチスクリーン２２が操作（ジェスチャ）を検出した場合、検出された操作に応じて、振動音として出力している情報に関する制御を変更する。携帯電話１Ａは、タッチスクリーン２２によって検出された操作に応じて、例えば、音量、音質、再生方向、再生方向、および再生順序の少なくとも１つを変更する。

図１４は、背面側のタッチスクリーン２２の検出結果に基づく制御の変更の例を示す図である。この例において、ディスプレイ２には、図７と同様のホーム画面が表示されているものとする。さらに、位置Ｐ１の反対側の位置で利用者の耳がパネル２０に接触しているものとする。すなわち、位置Ｐ１を通過するパネル２０と垂直な直線は、利用者の耳を通過する。

図１４に示すステップＳ１１において、携帯電話１Ａは、ウィジェット４１ａに関する情報として記事データを振動音として出力している。点線で示される領域４１ｂは、ウィジェット４１ａの表示領域に対応する。領域４１ｂの位置および大きさは、ウィジェット４１ａの表示領域を、正面と垂直な光を用いて背面に投影した場合の位置および大きさと一致する。すなわち、ウィジェット４１ａの表示領域の右上の頂点を通過するパネル２０と垂直な直線は、領域４１ｂの左上の頂点を通過する。ウィジェット４１ａの表示領域の左下の頂点を通過するパネル２０と垂直な直線は、領域４１ｂの右下の頂点を通過する。

携帯電話１Ａは、前面に配置されているオブジェクトに関する情報を振動音として出力しているときに、そのオブジェクトに対応する背面の領域でジェスチャが検出されると、検出されたジェスチャに応じて、出力している情報に関する制御を変更する。

例えば、ステップＳ１２に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて領域４１ｂ内で右フリックを行ったものとする。この場合、携帯電話１Ａは、出力している情報をスキップする。その結果、出力される記事データが次の記事データに切り替わる。

ステップＳ１３に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて領域４１ｂ内で上フリックを行ったものとする。この場合、携帯電話１Ａは、振動音の音量を上げる。ステップＳ１４に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて領域４１ｂ内で下フリックを行ったものとする。この場合、携帯電話１Ａは、振動音の音量を下げる。

図１４の例に示すように、携帯電話１Ａは、振動音を出力しているときに背面でジェスチャが検出された場合に、検出されたジェスチャに応じて、出力している情報に関する制御を変更する。このため、利用者は、耳をパネル２０に接触させたままで、振動音として出力する情報に関する制御を変更することができる。すなわち、利用者は、簡単な動作で、振動音として出力する情報に関する制御を変更ことができる。さらに、振動音として出力される情報の聞き漏らしが発生する可能性が低い。

図１４の例に示すように、携帯電話１Ａは、背面のうち、振動音を出力している情報と関連するオブジェクトの表示領域と対応する領域でジェスチャが検出された場合に、出力している情報に関する制御を変更する。このため、背面の他の領域にたまたま何かが触れても、携帯電話１Ａは、情報に関する制御を変更しない。すなわち、利用者の意図しない接触による誤動作が発生する可能性が低い。

検出されるジェスチャと制御の変更の仕方の対応は、図１４に示した例に限定されない。携帯電話１Ａは、検出されるジェスチャの種類、方向、速度、加速度、および回数の少なくとも１つに応じて、振動音として出力する情報に関する制御を変更してよい。例えば、携帯電話１Ａは、左フリックが検出された場合に、出力中の記事データを最初から出力し直してもよい。例えば、携帯電話１Ａは、背面でスワイプが検出された場合に、スワイプの速度に応じて、情報を再生する速度を変更してもよい。例えば、携帯電話１Ａは、背面で所定時間内に複数回のタップが検出された後にフリックが検出された場合に、タップの回数分だけ記事データをスキップしてもよい。

携帯電話１Ａは、ウィジェット４１ａ以外のオブジェクトに関する情報を振動音として出力しているときにそのオブジェクトの表示領域に対応する背面側の領域でのジェスチャがタッチスクリーン２２によって検出された場合に、制御を変更してもよい。例えば、携帯電話１Ａは、メールを読み上げ中にアイコン４２ａの表示領域に対応する背面側の領域でジェスチャが検出された場合に、読み上げるメールの変更、読み上げる速度の変更、読み上げる音量の変更等を行ってもよい。

携帯電話１Ａは、振動音を出力している情報と関連するオブジェクトの表示領域と対応する領域でのタッチがタッチスクリーン２２によって検出された場合に、音又は振動の少なくとも一方を用いて、タッチした位置が領域内であることを利用者に報知してもよい。このような報知により、利用者は、情報に関する制御を変更するためにジェスチャを行うべき場所を確認することができる。音による報知は、スピーカ１１及び振動レシーバ１３のいずれを用いて実行してもよい。振動による報知は、圧電素子７及びバイブレータ１８のいずれを用いて実行してもよい。

携帯電話１Ａは、ジェスチャが検出された位置を領域と比較する場合に、マージンを設けてもよい。この場合、タッチスクリーン２２によってジェスチャが検出された位置を領域と比較するために用いられるマージンは、タッチスクリーン２１用のマージンよりも大きくてもよい。すなわち、携帯電話１Ａは、タッチスクリーン２２によってジェスチャが検出された位置の指定された領域の外側へのズレが比較的大きい場合でも、検出された位置が指定された領域に含まれると判定してもよい。このようにマージンを設定することにより、ブラインドで行われる背面でのジェスチャが、利用者の意図に沿うように携帯電話１Ａによって判定される可能性が高くなる。

図１４では、背面で検出されるジェスチャの種類に応じて、情報の制御を変更する例を示した。しかしながら、携帯電話１Ａは、背面でジェスチャが検出される領域に応じて、情報の制御を変更してもよい。

図１５は、背面側のタッチスクリーン２２の検出結果に基づく制御の変更の他の例を示す図である。この例において、ディスプレイ２には、図７と同様のホーム画面が表示されているものとする。さらに、ウィジェット４４ａにアルバムアート等が表示されている楽曲が振動音として出力されているものとする。

図１５に示す例において、点線で示される領域４４ｂは、ウィジェット４４ａの表示領域に対応する。さらに、領域４４ｂに含まれる領域４５ｂ、領域４６ｂ、及び領域４７ｂは、それぞれ、ウィジェット４４ａに含まれる早送りボタン４５ａ、巻き戻しボタン４６ａ、及び再生開始・一時停止ボタン４７ａに対応する。領域４５ｂ、領域４６ｂ、及び領域４７ｂの位置および大きさは、それぞれ、早送りボタン４５ａ、巻き戻しボタン４６ａ、及び再生開始・一時停止ボタン４７ａの表示領域を、正面と垂直な光を用いて背面に投影した場合の位置および大きさと一致する。例えば、早送りボタン４５ａの表示領域の右上の頂点を通過するパネル２０と垂直な直線は、領域４５ｂの左上の頂点を通過する。早送りボタン４５ａの表示領域の左下の頂点を通過するパネル２０と垂直な直線は、領域４５ｂの右下の頂点を通過する。

携帯電話１Ａは、前面に配置されているオブジェクトに関する情報を振動音として出力しているときに、そのオブジェクトに含まれる部品に対応する背面の領域でジェスチャが検出されると、検出された領域に対応する部品に応じて、情報の制御を変更する。例えば、携帯電話１Ａは、楽曲を振動音として出力しているときに領域４５ｂに対するタッチがタッチスクリーン２２によって検出された場合、再生中の楽曲を早送りする。携帯電話１Ａは、楽曲を振動音として出力しているときに領域４６ｂに対するタッチがタッチスクリーン２２によって検出された場合、再生中の楽曲を巻き戻す。携帯電話１Ａは、楽曲を振動音として出力しているときに領域４７ｂに対するタップがタッチスクリーン２２によって検出された場合、領域４７ｂに対するタップが再び検出されるまで再生中の楽曲を一時停止する。

このように、携帯電話１Ａは、背面でジェスチャが検出された場合に、ジェスチャが検出された位置に対応する全面側の位置に配置されている部品に応じて、情報の制御を変更する。このように情報の制御を変更することにより、利用者は、画面に表示されているオブジェクトを見ながら操作する場合と同様の操作によって情報の制御を変更することができる。

図１５では、正面に配置されている部品の表示領域を、正面と垂直な光を用いて背面に投影した領域が操作される例を示した。しかしながら、正面に配置されている部品の表示領域と、制御の変更のために背面において操作される領域との対応は、これに限定されない。例えば、図１６に示すように、制御の変更のために背面において操作される領域は、前面におけるオブジェクトの表示領域を拡大した領域であってもよい。このように、制御の変更のために背面において操作される領域を拡大することにより、ブラインドで行われる背面でのジェスチャが、利用者の意図に沿うように携帯電話１Ａによって判定される可能性が高くなる。

携帯電話１Ａは、背面でジェスチャが検出された場合に、ジェスチャが検出された領域にかかわらず、振動音として出力している情報に関する制御を変更してもよい。図１７は、背面側のタッチスクリーン２２の検出結果に基づく制御の変更の他の例を示す図である。図１７に示すステップＳ２１において、携帯電話１Ａは、ウィジェット４１ａに関する情報を振動音として出力している。

携帯電話１Ａは、前面に配置されているオブジェクトに関する情報を振動音として出力しているときに、背面でジェスチャが検出されると、検出されたジェスチャに応じて、出力している情報に関する制御を変更する。

例えば、ステップＳ２２に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて背面で右フリックを行ったものとする。この場合、携帯電話１Ａは、出力している情報をスキップする。その結果、出力される記事データが次の記事データに切り替わる。

ステップＳ２３に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて背面で上フリックを行ったものとする。この場合、携帯電話１Ａは、振動音の音量を上げる。ステップＳ２４に示すように、ウィジェット４１ａに関する情報を振動音として出力しているときに、利用者が指Ｆ１を用いて背面で下フリックを行ったものとする。この場合、携帯電話１Ａは、振動音の音量を下げる。

図１８を参照しながら、タッチスクリーン２１又はタッチスクリーン２２の検出結果に基づいて、気導音及び振動音として出力される情報に関する制御を変更する処理手順の例について説明する。図１８は、気導音及び振動音として出力される情報を切り替える制御の処理手順の例を示すフローチャートである。図１８に示す処理手順は、コントローラ１０が制御プログラム９Ａを実行することによって実現される。

コントローラ１０は、ステップＳ１０１として、パネル２０に接触している物体があるかをタッチスクリーン２１の検出結果に基づいて判定する。パネル２０に接触している物体がない場合（ステップＳ１０１，Ｎｏ）、コントローラ１０は、ステップＳ１０１へ戻る。パネル２０に接触している物体がある場合（ステップＳ１０１，Ｙｅｓ）、コントローラ１０は、ステップＳ１０２へ進む。

ステップＳ１０２として、コントローラ１０は、パネル２０に接触している物体が耳であるかを判定する。パネル２０に接触している物体が耳でない場合（ステップＳ１０２，Ｎｏ）、コントローラ１０は、ステップＳ１０１へ戻る。パネル２０に接触している物体が耳である場合（ステップＳ１０２，Ｙｅｓ）、コントローラ１０は、ステップＳ１０３へ進む。

ステップＳ１０３として、コントローラ１０は、パネル２０に接触している耳の位置を算出する。ステップＳ１０４として、コントローラ１０は、耳の位置に対応するオブジェクトを特定する。ステップＳ１０５として、コントローラ１０は、特定したオブジェクトに関連する情報を気導音及び振動音として振動レシーバ１３から出力し始める。

続いて、コントローラ１０は、ステップＳ１０６として、タッチスクリーン２２によって背面に対するジェスチャが検出されたかを判定する。背面に対するジェスチャが検出されていない場合（ステップＳ１０６，Ｎｏ）、コントローラ１０は、ステップＳ１０８へ進む。背面に対するジェスチャが検出された場合（ステップＳ１０６，Ｙｅｓ）、コントローラ１０は、ステップＳ１０７として、気導音及び振動音として振動レシーバ１３から出力される情報に関する制御をジェスチャに応じて変更する。その後、コントローラ１０は、ステップＳ１０８へ進む。

ステップＳ１０８として、コントローラ１０は、振動レシーバ１３による音の出力を終了するかを判定する。音の出力を終了する場合には、例えば、利用者による音の出力を終了するための操作が検出された場合と、情報の出力が完了した場合とが含まれる。

音の出力を終了しない場合（ステップＳ１０８，Ｎｏ）、コントローラ１０は、ステップＳ１０６へ戻る。音の出力を終了する場合（ステップＳ１０８，Ｙｅｓ）、コントローラ１０は、ステップＳ１０９へ進む。コントローラ１０は、ステップＳ１０９として、振動レシーバ１３からの気導音及び振動音の出力を終了する。

本出願の開示する実施形態は、当業者に明らかな事項を含むことができ、発明の要旨及び範囲を逸脱しない範囲で変形することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。

例えば、図６に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。

上記の実施形態では、ホーム画面を表示しているときに背面への操作が検出された場合に、振動音として出力中の情報に関する制御を変更する例を示した。しかしながら、携帯電話１Ａは、ホーム画面以外の画面を表示しているときに背面への操作が検出された場合に、振動音として出力中の情報に関する制御を変更してもよい。例えば、携帯電話１Ａは、楽曲の再生画面が表示されているときに背面への操作が検出された場合に、背面で検出された操作に応じて楽曲の再生の仕方を変更してもよい。

上記の実施形態では、気導音及び振動音を出力するパネル２０がディスプレイ２と重ねて正面に設けられ、パネル２０の略全面を覆うようにタッチスクリーン２１が配設される。さらに、背面には、タッチスクリーン２１と略重なるように、気導音及び振動音として出力される情報を切り替えるための操作を検出するタッチスクリーン２２が配設される。しかしながら、上述した制御方法を実行する電子機器の構成は、これに限定されない。上述した制御方法を実行する電子機器は、気導音及び振動音を出力するパネルを１つの面に有し、気導音及び振動音として出力される情報に関する制御を変更するための操作を受け付ける操作部を他の面に有していればよい。操作部は、タッチスクリーンに限定されず、他のセンサ、又はボタンであってもよい。

図１９から図２３を参照しながら、上述した制御方法を実行する電子機器の構成の変形例について説明する。図１９は、第１の変形例に係る携帯電話１Ｂの断面図である。図１９に示すように、携帯電話１Ｂは、背面にディスプレイ２３をさらに有する点において、携帯電話１Ａと相違する。タッチスクリーン２２は、ディスプレイ２３の任意の位置に対する操作を検出できるように、ディスプレイ２３の全面を覆うように配設される。

携帯電話１Ｂは、図１８に示した処理手順のステップＳ１０５で正面への耳の接触に反応して気導音及び振動音の出力を開始するときに、ディスプレイ２に表示されている画面を左右反転させた画面をディスプレイ２３に表示する。例えば、気導音及び振動音の出力を開始するときに図７に示したホーム画面がディスプレイ２に表示されている場合、携帯電話１Ｂは、図２０に示すような画面をディスプレイ２３に表示する。図２０に示す例では、文字は左右反転されていないが、携帯電話１Ｂは、文字を左右反転してもよい。携帯電話１Ｂは、耳の位置を示す記号又は図形等をさらにディスプレイ２３に表示してもよい。

このように左右反転させた画面をディスプレイ２３に表示することにより、利用者は、図１４および図１５に示したような操作をタッチスクリーン２２に対して行う場合に、画面を鏡に写して操作すべき位置を正確に把握することができる。

図２１は、第２の変形例に係る携帯電話１Ｃの正面図である。図２２は、携帯電話１Ｃの側面図である。携帯電話１Ｃは、筐体５１と、筐体５２と、ヒンジ部５３とを有する。筐体５１は、ディスプレイ２と、圧電素子７と、パネル２０と、タッチスクリーン２１とを有する。圧電素子７は、パネル２０を振動させることができるようにパネル２０よりも内側に配設される。タッチスクリーン２１は、パネル２０の略全面を覆うように配設される。ディスプレイ２は、パネル２０と同じ面に配設される。筐体５２は、タッチスクリーン２２と、ディスプレイ２３とを有する。タッチスクリーン２２は、ディスプレイ２３を覆うように配設される。

ヒンジ部５３は、筐体５１と筐体５２とを開閉可能に連結する。すなわち、携帯電話１Ｃは、ヒンジ部５３を回転軸として、筐体５１と筐体５２とが相対的に回動するように構成されている。

図２１に示す開状態において、ディスプレイ２及びディスプレイ２３は、略同一平面に並ぶ。この状態において、携帯電話１Ｃは、ディスプレイ２及びディスプレイ２３に、それぞれ異なる画面を表示することができる。さらに、携帯電話１Ｃは、ディスプレイ２及びディスプレイ２３が連結された１つのディスプレイであるかのように、ディスプレイ２及びディスプレイ２３にまたがって１つの画面を表示することができる。

開状態にある携帯電話１Ｃの筐体５１を図２２のＲ１の方向に１８０度回動させると、携帯電話１Ｃは、閉状態となる。閉状態において、タッチスクリーン２２は、気導音及び振動音を出力するパネル２０の反対側の面に配置される。すなわち、閉状態における携帯電話１Ｃにおいては、ディスプレイ２、パネル２０、タッチスクリーン２１、タッチスクリーン２２、及びディスプレイ２３が、図１９に示した携帯電話１Ｂと同様に配置される。このため、閉状態の携帯電話１Ｃは、携帯電話１Ｂと同様に利用することができる。

このように、携帯電話１Ｃは、形態の変化に応じて多様な利用が可能なように構成されている。

図２３は、第３の変形例に係る携帯電話１Ｄの断面図である。図２３に示すように、携帯電話１Ｄは、ディスプレイ２及びタッチスクリーン２１を正面に有する。タッチスクリーン２１は、ディスプレイ２の略前面を覆うように配設される。すなわち、携帯電話１Ｄは、いわゆるタッチパネルを正面に有する。

携帯電話１Ｄは、パネル２０を背面に有する。パネル２０の内側の面の略中央には、接合部材３０により、圧電素子７が取り付けられる。パネル２０と圧電素子７との間には、補強部材３１が配設される。すなわち、携帯電話１Ｃにおいては、圧電素子７と補強部材３１とが接合部材３０により接着され、さらに補強部材３１とパネル２０とが接合部材３０で接着される。

補強部材３１は、例えばゴムまたはシリコン等の弾性部材である。補強部材３１は、例えばある程度の弾性を有するアルミニウム等から成る金属板であってもよい。補強部材３１は、例えばＳＵＳ３０４等のステンレス板であってもよい。ステンレス板等の金属板の厚さは、圧電素子７に印加される電圧値等に応じて、例えば０．２ｍｍ〜０．８ｍｍのものが適宜用いられる。補強部材３１は、例えば樹脂製の板であってもよい。ここでいう樹脂製の板を形成する樹脂としては、例えばポリアミド系樹脂が挙げられる。ポリアミド系樹脂には、例えば、メタキシリレンジアミンとアジピン酸とから得られる結晶性の熱可塑性樹脂から成り、強度及び弾性に富むレニー（登録商標）がある。このようなポリアミド系樹脂は、それ自体をベースポリマーとして、ガラス繊維、金属繊維または炭素繊維等により強化された強化樹脂であってもよい。強化樹脂は、ポリアミド系樹脂に対するガラス繊維、金属繊維または炭素繊維等の付加量に応じて、強度及び弾性が適宜調整される。強化樹脂は、例えば、ガラス繊維、金属繊維または炭素繊維等を編みこんで形成された基材に樹脂を含浸させ、硬化させて形成される。強化樹脂は、液状の樹脂に細かく切断された繊維片を混入させたのちに硬化させて形成されるものであってもよい。強化樹脂は、繊維を編みこんだ基材と樹脂層とを積層したものであってもよい。

圧電素子７とパネル２０との間に補強部材３１を配設することにより、以下の効果が得られる。パネル２０に外力が加わった場合に、その外力が圧電素子７に伝わって圧電素子７が破損する可能性を低減することができる。例えば携帯電話１Ｄが地面に落下することでパネル２０に対して外力が加わると、当該外力はまず補強部材３１に伝わる。補強部材３１は、所定の弾性を有しているため、パネル２０から伝わる外力により弾性変形する。そのため、パネル２０に対して加わった外力は補強部材３１により少なくとも一部が吸収され、圧電素子７に伝達される外力が低減される。結果、圧電素子７の破損を低減することができる。補強部材３１が圧電素子７と筐体４０との間に配置される場合、例えば携帯電話１Ｄが地面に落下することで筐体４０が変形し、変形した筐体４０が圧電素子７に衝突して圧電素子７が破損する可能性を低減できる。

圧電素子７の伸縮または屈曲による振動は、まず補強部材３１に伝達され、さらにパネル２０に伝達される。すなわち、圧電素子７は、まず圧電素子７よりも大きな弾性係数を有する補強部材３１を振動させ、さらにパネル２０を振動させることになる。したがって、携帯電話１Ｄは、補強部材３１を備えず、圧電素子７が接合部材３０によりパネル２０に接合される構造と比較して、圧電素子７の変形が過剰になりにくくすることができる。これにより、パネル２０の変形量（変形の程度）を調節することができる。この構造は、圧電素子７の変形を阻害しにくいパネル２０の場合に特に有効である。

さらに、圧電素子７とパネル２０との間に補強部材３１を配設することにより、パネル２０の共振周波数が下がり、低周波帯域の音響特性が向上する。補強部材３１に換えて、板状の錘を接合部材３０により圧電素子７に取り付けてもよい。

このように圧電素子７をパネル２０の内側の面に取り付ける構造は、携帯電話１Ａ〜１Ｃにも適用することができる。

利用者は、パネル２０の振動によって発生する振動音を聞く場合、耳をパネル２０に接触させる。このとき、タッチスクリーン２１は、耳とは反対側に露出するため、気導音及び振動音として出力される情報を切り替えるための操作を受け付けることができる。すなわち、この変形例では、気導音及び振動音として情報が出力されているときに、タッチスクリーン２１が、携帯電話１Ａ〜１Ｃにおけるタッチスクリーン２２と同様に機能する。携帯電話１Ｄは、気導音及び振動音として情報が出力されているときにタッチスクリーン２１によってジェスチャが検出された場合、検出されたジェスチャに応じて気導音及び振動音として出力する情報に関する制御を変更する。

上記の実施形態では、パネル２０に接触する物体の位置を、タッチスクリーン２１を用いて検出する例を示したが、物体の位置を検出する検出部は、タッチスクリーン２１に限定されない。例えば、物体の位置を検出する検出部は、カメラ１２であってもよい。この場合、物体の位置は、カメラ１２が取得する画像に基づいて検出される。

上記の実施形態では、ディスプレイ２が接合部材３０を用いてパネル２０の内側の面に取り付けられる例を示したが、電子機器は、パネル２０とディスプレイ２の間に空間ができるように構成されてもよい。パネル２０とディスプレイ２の間に空間を設けることにより、パネル２０が振動しやすくなり、パネル２０上において振動音を聞きやすい範囲が広くなる。

上記の実施形態では、圧電素子７をパネル２０に取り付ける例を示したが、他の場所に取り付けられてもよい。例えば、圧電素子７は、バッテリリッドに取り付けられてもよい。バッテリリッドは、筐体４０に取り付けられ、バッテリを覆う部材である。バッテリリッドは、携帯電話等の携帯電子機器においてディスプレイ２と異なる面に取り付けられることが多いため、そのような構成によれば、利用者はディスプレイ２と異なる面に体の一部（例えば耳）を接触させて音を聞くことができる。

上記の実施形態では、補強部材３１は板状部材であるが、補強部材３１の形状はこれに限られない。補強部材３１は、例えば、圧電素子７より大きく、かつその端部が圧電素子７側に湾曲し圧電素子７の側部を覆う形状を有していてもよい。また、補強部材３１は、例えば、板状部と、当該板状部から延設されて圧電素子７の側部を覆う延設部とを有する形状であってもよい。この場合、延設部と圧電素子７の側部とが、所定の距離だけ離間しているとよい。これにより、延設部が圧電素子の変形を阻害しにくくなる。

また、パネル２０は、表示パネル、操作パネル、カバーパネル、充電池を取り外し可能とするためのリッドパネルのいずれかの一部または全部を構成することができる。特に、パネル２０が表示パネルのとき、圧電素子７は、表示機能のための表示領域の外側に配置される。これにより、表示を阻害しにくいという利点がある。操作パネルは、タッチパネルを含む。また、操作パネルは、例えば折畳型携帯電話において操作キーのキートップが一体に形成され操作部側筐体の一面を構成する部材であるシートキーを含む。

なお、パネル２０と圧電素子７とを接着する接合部材及びパネル２０と筐体４０とを接着する接合部材等を同一の符号を有する接合部材３０として説明した。しかしながら、接合部材は、接合する対象である部材に応じて適宜異なるものが用いられてよい。

上記の実施形態では、背面のタッチスクリーン２２が正面のタッチスクリーン２１とほぼ重なるように配設される例を示した。しかしながら、タッチスクリーン２２の配設の仕方は、これに限定されない。タッチスクリーン２２の大きさは、タッチスクリーン２１の大きさと異なっていてもよい。タッチスクリーン２２が配置される位置は、正面から見た場合に、タッチスクリーン２１が配置される位置からシフトしていてもよい。さらに、正面に表示されているオブジェクトに対応する操作が検出される背面の領域は、タッチスクリーン２２の大きさ又は配置のシフトに応じて、大きさ又は配置が変更されてもよい。

上記の実施形態では、気導音及び振動音として出力する情報を耳の接触に基づいて決定する例を示した。しかしながら、気導音及び振動音として出力する情報の決定の仕方は、これに限定されない。例えば、気導音及び振動音として出力する情報は、タッチスクリーンに対する指の操作、ボタンの操作、音声での指示等に基づいて決定されてもよい。

上記の実施形態では、添付の請求項に係る装置の例として、携帯電話について説明したが、添付の請求項に係る装置は、携帯電話に限定されない。添付の請求項に係る装置は、携帯電話以外の電子機器であってもよい。電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これらに限定されない。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。

１Ａ〜１Ｄ 携帯電話
２ ディスプレイ
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ 圧電素子
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ 読み上げアプリケーション
９Ｃ ニュースアプリケーション
９Ｄ メールアプリケーション
９Ｅ 音楽再生アプリケーション
９Ｆ スケジュールアプリケーション
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２ カメラ
１３ 振動レシーバ
１５ 姿勢検出ユニット
１８ バイブレータ
２０ パネル
２１、２２ タッチスクリーン
２３ ディスプレイ
３０ 接合部材
３１ 補強部材
４０、５１、５２ 筐体
５３ ヒンジ部

Claims (7)

1. 筐体と、
   前記筐体の第１面に設けられる第１操作部と、
   前記筐体の前記第１面に設けられる第１ディスプレイと、
   圧電素子と、
   前記圧電素子の変形に基づいて、気導音と、人体の一部を振動させて伝わる振動音とを前記筺体の第２面から発生させると共に、前記第１操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更する制御部と
   を備える電子機器。
2. 前記第１ディスプレイは、前記第１面に表示領域を有し、前記情報に関連するオブジェクトを少なくとも前記表示領域の一部に表示し、
   前記制御部は、前記第１操作部に対して、前記オブジェクトに対応する操作が行われると、前記情報に関する制御を変更する請求項１に記載の電子機器。
3. 前記筐体の第２面に設けられる第２操作部と、
   前記第２面に表示領域を有し、前記情報の制御の変更に関する画面を表示する第２ディスプレイとをさらに備え、
   前記オブジェクトは、前記情報に関する制御を変更するための制御領域を含み、
   前記制御部は、前記第１面のうち、前記制御領域に対応する領域において前記第１操作部が操作されると、前記制御領域への操作が前記第２操作部に行われた場合と同様に、前記情報に関する制御を変更する請求項２に記載の電子機器。
4. 前記第１操作部は、前記第１面に対するジェスチャを前記操作として検出し、
   前記制御部は、前記第１操作部によって検出されるジェスチャに応じて、前記情報に関する制御を変更する請求項１または２に記載の電子機器。
5. 前記制御部は、前記第１操作部によって検出されるジェスチャの種類、方向、速度、加速度、および回数の少なくとも１つに応じて、前記情報に関する制御を変更する請求項４に記載の電子機器。
6. 一の面にディスプレイを備える電子機器の制御方法であって、
   圧電素子を変形させることにより、気導音と、人体の一部を振動させて伝わる振動音とを筐体の他の面から発生させるステップと、
   前記筐体の一の面に設けられる操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更するステップと
   を含む制御方法。
7. 一の面にディスプレイを備える電子機器に、
   圧電素子を変形させることにより、気導音と、人体の一部を振動させて伝わる振動音とを筐体の他の面から発生させるステップと、
   前記筐体の一の面に設けられる操作部が操作されると、前記気導音および前記振動音として出力される情報に関する制御を変更するステップと
   を実行させる制御プログラム。

Images