JP2017117159A - 端末装置及び双方向通信システム - Google Patents

Abstract

【課題】端末装置の装着者に対して認識した対象物からの情報を提示することで、対象物と双方向の通信（対話）を可能とする。【解決手段】実際に見ている光景に情報を重ねて表示する表示手段１１と、顔を向けている方向に存在する対象物を認識する認識手段１２と、表示手段１１に表示されている情報に従って操作可能な操作手段１４と、対象物を操作する制御信号が予め記憶されている制御信号記憶手段１５と、対象物に対して制御信号を送信する送信手段１６と、装置全体を制御する制御手段１８と、を備え、制御手段１８は、認識手段１２により対象物を認識すると、表示手段１１に対象物に対する操作情報を表示し、表示されている操作情報に従って操作手段１４が操作されると、その操作に対応した制御信号を制御信号記憶手段１５から読み出し、送信手段１６を介して対象物に送信する。【選択図】図２

Description

本発明は、眼前に装着して使用されるウエアラブル端末装置及びこの端末装置と記憶装置とが通信回線を介して双方向通信可能に接続された双方向通信システムに関する。

従来から、カメラを備えたヘッドマウンテンディスプレイを用いて被写体から情報を取得する情報通信方法が開示されている（特許文献１参照）。

特許文献１には、カメラによって映し出された対象を特定し、その特定した対象から送信されてくる信号に基づく情報通知画像を表示する構成が開示されている。

この構成によれば、宅内に設置されているテレビや電子レンジ、空気清浄機等といった各種機器から送信されてくる情報をヘッドマウンテンディスプレイに表示することができる。

特許第５５３０５７８号公報（明細書の［１４４４］〜［１４７０］段落、及び、図３５１〜図３６２参照）

しかし、上記特許文献１の情報通信方法は、機器側から一方的に送信されてくる情報を単に表示するのみであり、その表示された情報に従って機器とヘッドマウンテンディスプレイとが双方向の通信を行えるものではない。そのため、カメラを頭部に装着しているにも係わらず、その操作性は限られたものに限定されているといった問題があった。すなわち、ウエアラブル端末装置としてのさらなる操作性の向上が望まれていた。

本発明はかかる問題点を解決すべく創案されたもので、その目的は、各種機器から送信されてくる情報を表示することに加え、表示されている情報に従って操作することで、機器と本装置との間で双方向通信を可能とし、操作性のさらなる向上を図った端末装置及び双方向通信システムを提供することにある。

上記課題を解決するため、本発明の端末装置は、眼前に装着して使用される端末装置であって、実際に見ている光景に情報を重ねて表示する表示手段と、顔を向けている（見ている）方向に存在する対象物を認識する認識手段と、前記表示手段に表示されている前記情報に従って操作可能な操作手段と、前記対象物を操作する制御信号が予め記憶されている制御信号記憶手段と、前記対象物に対して制御信号を送信する送信手段と、装置全体を制御する制御手段と、を備え、前記制御手段は、前記認識手段により前記対象物を認識すると、前記表示手段に前記対象物に対する操作情報を表示し、表示されている前記操作情報に従って前記操作手段が操作されると、その操作に対応した制御信号を前記制御信号記憶手段から読み出し、前記送信手段を介して前記対象物に送信する構成としている。

この構成によれば、端末装置を用いて対象物の情報を表示するのみでなく、その情報に従って対象物を制御することが可能となる。

また、本発明の端末装置によれば、装着者を認証する認証手段と、装着者の認証情報を記憶している認証情報記憶手段と、をさらに備え、前記制御手段は、前記認証手段により認証した装着者の認証情報が前記認証情報記憶手段に記憶されている認証情報と一致する場合にのみ、その後の処理を有効とする構成としてもよい。

この構成によれば、端末装置の使用者を例えば家族等に制限することができる。また、会社等で使用する場合には、担当部署の社員のみが利用できるように制限することも可能である。

また、本発明の端末装置によれば、前記対象物に対応付けて情報を記憶している記憶装置と通信可能な通信手段をさらに備え、前記制御手段は、前記認識手段により前記対象物を認識すると、前記通信手段を介して前記記憶装置に記憶されている前記対象物に対応付けられている情報を受信して前記表示手段に表示する構成としてもよい。

この構成によれば、認識手段により認識された対象物の情報を、記憶装置から受信して表示手段に表示することが可能となる。

また、本発明の端末装置によれば、前記対象物に対応付けて情報を記憶している記憶装置と通信可能な通信手段をさらに備え、前記制御手段は、前記認識手段により前記対象物を認識すると、前記対象物の操作情報を前記表示手段に表示し、前記表示手段に表示されている前記操作情報に従って前記操作手段が操作されると、前記通信手段を介して前記記憶装置から前記操作に対応した情報を受信して前記表示手段に表示する構成としてもよい。

この構成によれば、表示手段に表示されている情報に従って操作手段を操作することで、対象物に対応付けられている情報を順次受信して表示することが可能となる。

また、本発明の端末装置によれば、前記操作手段は、前記端末装置のフレーム部分に配置された構成としてもよい。フレーム部分に配置することで、端末装置を装着したまま操作手段を操作することができる。

また、本発明の双方向通信システムは、上記各構成の端末装置と、前記対象物に対応付けて情報を記憶している記憶装置とが、通信回線を介して双方向通信可能に接続された構成としている。すなわち、記憶装置を別に設けることで、端末装置または対象物の保持する情報を低減することができるので、端末装置や対象物の記憶容量を低減することができる。また、記憶装置を通信ネットワーク上に配置することで、多くの対象物に対応付けられた多くの情報を記憶し、一元管理することが可能となる。

本発明によれば、認識した対象物を操作するだけでなく、端末装置の装着者に対して認識した対象物からの情報を提示することで、対象物と双方向に通信（対話）できるため、日常生活において対象物と自然なやりとりを行うことができる。

本発明の実施形態に係る端末装置を装着した状態の外観図斜視図である。 実施形態に係る端末装置の電気的構成を示す機能ブロック図である。 認証手順の一例を説明するための小型ディスプレイ２に表示される画面の遷移図である。 認証手順の一例を説明するための小型ディスプレイ２に表示される画面の遷移図である。 認証手順の一例を説明するための小型ディスプレイ２に表示される画面の遷移図である。 実施形態１に対応した小型ディスプレイに表示されるテレビ画面の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示されるテレビ画面の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示されるテレビ画面の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示されるテレビ画面の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示される空気清浄機の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示される空気清浄機の画面遷移図である。 実施形態１に対応した小型ディスプレイに表示される空気清浄機の画面遷移図である。 実施形態２に対応した小型ディスプレイに表示されるＡＩプレートボックスの画面遷移図である。 実施形態２に対応した小型ディスプレイに表示されるＡＩプレートボックスの画面遷移図である。 実施形態２に対応した小型ディスプレイに表示されるＡＩプレートボックスの画面遷移図である。 実施形態３に対応した小型ディスプレイに表示されるカレンダーの画面遷移図である。 実施形態３に対応した小型ディスプレイに表示されるカレンダーの画面遷移図である。 実施形態３に対応した小型ディスプレイに表示されるカレンダーの画面遷移図である。 実施形態３に対応した小型ディスプレイに表示されるカレンダーの画面遷移図である。 実施形態５に対応した小型ディスプレイにひび割れ画像を重ねて表示した状態を示す画面図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る端末装置１を装着した状態の外観図である。

図１に示すように、本実施形態の端末装置１は、眼前に装着して使用されるウエアラブル端末であり、いわゆるスマートグラスと呼ばれるものである。

その構成は眼鏡タイプであり、眼鏡のレンズがある位置に透過型または非透過型の小型ディスプレイ２が搭載されている。この小型ディスプレイ２は、ノーズバッド３によって眼前に安定的に装着される。そして、小型ディスプレイ２からフレーム（テンプル）４が延設されており、フレーム４の先端部は、装着者の耳に掛けるイヤーパッド（耳当て）５となっている。このイヤーパッド５には、耳を覆い隠すようにして略円盤状の装置本体部６が装着されており、この装置本体部６の内部に回路基板（図示省略）が搭載されている。

本実施形態では、小型ディスプレイ２は、実際に見ている光景に情報を重ねて表示する透過型の方式を採用している。また、その表示方式は、現在主流となっている網膜走査ディスプレイを採用することが可能であるが、その他にも、透過型の液晶パネルやＥＬパネル等、現在周知の種々の表示方式を本発明においても採用することが可能である。

また、本実施形態では、端末装置１は、小型ディスプレイ２を片方の眼前にのみ設けているが、両方の眼前に設けてもよい。この場合、片方のみを小型ディスプレイ２とし、他方は普通のレンズを装着して、外観上は普通の眼鏡のように構成してもよい。

また、本実施形態では、小型ディスプレイ２に取り付けられているフレーム４の付け根部分に、カメラ７や赤外線センサ８、対象物である各種機器に制御信号（赤外線信号）を送信する送信器９等が搭載されている。

カメラ７は、例えばＣＣＤカメラであり、その撮影方向が装着者の視線方向と一致するように（すなわち、装着者がまっすぐ正面を見ている方向が、カメラ７の撮影範囲のほぼ中央部に位置するように）、その配置方向が調整されている。ただし、この配置方向は必ずしも厳密に設定する必要はない。

赤外線センサ８は、各対象物からの赤外線信号を受信する。

送信器９は、各種機器のリモコン装置と同様、赤外線送信器とすることができるが、必ずしも赤外線に限定する必要はなく、機器側が受信可能であれば他の通信方式を採用することも可能である。

また、本実施形態では、フレーム４の部分に装着者が指でタッチ操作するための操作部１０が設けられている。

なお、小型ディスプレイ２とフレーム４とは、蝶番（ヒンジ）を介して折り畳み自在としてもよい。

図２は、上記構成の端末装置１の電気的構成を示す機能ブロック図である。

本実施形態の端末装置１は、実際に見ている光景に情報を重ねて表示する表示手段１１と、装着状態で顔を向けている（見ている）方向に存在する対象物を認識する認識手段１２と、対象物に対応付けて情報を記憶している記憶装置２１と通信回線Ｎを介して双方向に通信可能な通信手段１３と、表示手段１１に表示されている情報に従って操作可能な操作手段１４と、対象物を操作する制御信号が予め記憶されている制御信号記憶手段１５と、対象物に対して制御信号を送信する送信手段（送信器９に対応）１６と、装着者を認証する認証手段１７と、これら各手段を制御する制御手段１８と、を備えている。

表示手段１１は、小型ディスプレイ２に各種情報を表示する。

認識手段１２は、カメラ７によって撮影された画像のパターンや、赤外線センサ８によって受信された赤外線信号の発光パターンや発光波長等により対象物を認識する構成とすることができる。この場合、各対象物にも赤外線発光素子を搭載し、各対象物に固有の発光パターンや発光波長等を予め設定しておけばよい。これにより、認識手段１２は、これらの発光パターンや発光波長等を判別するだけで、対象物を容易に認識することができるため、画像解析などに比べて認識時間を短縮することができる。ただし、認識手法としては、この他にも従来周知の認識方法を本発明においても採用することは可能である。例えば、ＣＣＤカメラ７で撮影された画像から複数の特徴点を抽出し、その特徴点が予め登録されている対象物の特徴点と一致するか否かで認識（画像認識）する構成としてもよい。

通信手段１３としては、従来周知の無線ＬＡＮやＷｉＭＡＸ、近距離ではブルートゥース（登録商標）や赤外線通信等による機器間の直接通信など、種々の通信方式を採用することが可能である。本実施形態では、赤外線センサ８を介して各対象物からの赤外線信号を受信可能となっている。

操作手段１４としては、従来周知の種々の操作手段を採用することが可能であるが、本実施形態では、細いフレーム４部分に配置することから、例えば指でタッチすることで微弱な静電容量の変化としてその位置を検出するタッチパッドを好適に用いることができる。すなわち、ボタン操作としては、必要に応じて小型ディスプレイ２上に操作ボタンを表示し、その表示位置をタッチパッドの接触位置で判別して、ボタン操作を制御するようにすればよい。この場合、タッチパッドのタッチ位置がわかるように、タッチしている位置に例えば指先等を表示するようにしてもよい。これにより、装着者は、操作手段１４が目視できなくても、タッチパッドのどの部分にタッチしているのかを容易に認識することができるので、ボタン操作もスムーズなものとなる。

認証手段１７としては、最も簡単な方法として自身に予め割り当てられた複数桁の番号や記号の組み合わせを入力することで、個人を特定する方法があるが、この他にも、装着者自身の操作によるものではなく、例えば網膜認証や虹彩認証、静脈認証等の種々の認証方法を本発明においても採用することが可能である。

制御信号記憶手段１５には、対象物が家電製品等である場合、例えばテレビであれば電源のオン／オフ信号、チャンネルのアップ／ダウン信号、音量の増／減信号等が記憶されている。また、空気清浄機であればオン／オフ信号、強／中／弱の切り換え信号等が記憶されている。この他にも、家庭内に設置されている各種機器に対応した制御信号が記憶されている。

制御手段１８は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、ＲＯＭに格納されている端末装置１の制御プログラム（各種通信プログラム）を必要に応じてＲＡＭ上に展開して各種の処理を実効する。また、ＲＯＭには、端末装置１を使用する１または複数の使用者の個人情報等も格納されている。例えば、個人認証で用いられる認証方法が虹彩認証である場合には、各個人の虹彩パターンの情報が予め格納されている。

次に、上記構成の端末装置１を用いて対象物と各種通信を行う実施形態について具体的に説明する。

なお、ここでは、端末装置１を装着した装着者が自宅内で使用する場合を例に挙げて説明する。従って、この場合の対象物とは、テレビ、ビデオデッキ、冷蔵庫、電子レンジ、洗濯機、空調機、空気清浄機、デジタルフォトアルバム（デジタルフォトフレーム）、オーディオ機器等の各種家電製品が対象となる。ただし、本発明の端末装置１をイベント会場等で使用する場合には、その対象物はそのイベント会場に出展されている商品（各種機器）等である。

まず、対象物と通信を行う実施形態を説明する前に、端末装置１を装着したときの装着者の認証手順の一例について説明する。

図３Ａ乃至図３Ｃは、認証手順の一例を説明するための小型ディスプレイ２に表示される画面の遷移図である。

本端末装置１を装着者が装着すると、図３Ａに示すように、まずロック中のアイコン（この例では錠マーク）６１が小型ディスプレイ２に、実際に見ている光景に重ねて表示される。なお、このときの端末装置１の起動は、操作部１０の図示しないスタートボタン等を押す（タッチする）等の操作によって開始する。この後、制御手段１８は、図３Ｂに示すように画面表示を装着者認証中のアイコン（この例では、目のアイコン）６２に切り替え、認証手段１７を起動して個人認証中（装着者の認証中）であることを装着者に通知する。この認証は、上記したように種々の方法が採用可能であるが、例えば虹彩認証によって装着者を認証する。この後、装着者の認証を完了すると、図３Ｃに示すように、認証中のアイコンが消えて視界が明るくなり、実際に見ている光景が小型ディスプレイ２に表示される。これにより、その後の対象物との通信が可能な状態となる。

＜実施形態１＞
実施形態１では、制御手段１８は、表示手段１１に表示されている情報に従って操作手段１４が操作されると、その操作に対応した制御信号を制御信号記憶手段１５から読み出し、送信手段１６を介して対象物に送信する構成としている。以下の説明では、対象物がテレビである場合と空気清浄機である場合とに分けて、それぞれ具体的に説明する。

まず、図４Ａ乃至図４Ｄに示す小型ディスプレイ２に表示されるテレビの画面遷移図を参照して、具体的に説明する。

装着者が室内を見渡して例えばテレビ５１の方を向くと（すなわち、顔の方向（視線）がテレビの方向に向くと）、小型ディスプレイ２には図４Ａに示す光景が映し出される。これにより、認識手段１２が小型ディスプレイ２に映し出された画像を認識して、対象物（この場合には、テレビ５１）を認識すると、制御手段１８は、図４Ｂに示すように、テレビ５１の起動アイコン（電源オンボタン等）６３を小型ディスプレイ２上に表示する。この場合、テレビ５１が電源オフ状態であることは、例えば画面の輝度を検出することで判定することができる。この起動アイコン６３を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６からテレビ５１に対して起動信号（電源オンの制御信号）が送信され、この起動信号を受信したテレビ５１は、電源をオンして起動し、前回電源オフ時に受信していたチャンネルの画像を受信して画面に表示する。一方、制御手段１８は、小型ディスプレイ２に表示されていた起動アイコン６３を画面から消去する。図４Ｃは、このときの小型ディスプレイ２の表示状態、すなわち小型ディスプレイ２を通して実際に見ている光景を示している。

そして、この表示状態（すなわち、テレビ５１の電源オン状態）において、装着者が操作部１０の例えば決定ボタンを再度タッチすると、制御手段１８は、図４Ｄに示すように、テレビ５１の電源オフアイコン（電源オフボタン等）６４を小型ディスプレイ２上に表示する。従って、この電源オフアイコン６４を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６からテレビ５１に対して停止信号（電源オフの制御信号）が送信され、この停止信号を受信したテレビ５１は、電源をオフしてテレビ受信動作を終了する。一方、制御手段１８は、小型ディスプレイ２に表示されていた停止アイコン６４を画面から消去する。

なお、本実施形態１では、各アイコン６３，６４を小型ディスプレイ２の中央部に帯状に重ねて表示する構成としているが、表示位置はあくまで一例であり、これに限定されるものではない。例えば、表示位置は画面の下側または上側であってもよく、左側または右側であってもよい。

次に、図５Ａ乃至図５Ｃに示す小型ディスプレイ２に表示される空気清浄機の画面遷移図を参照して、具体的に説明する。

装着者が室内を見渡して例えば空気清浄機５２の方を向くと（すなわち、顔の方向（視線）が空気清浄機の方向に向くと）、小型ディスプレイ２には図５Ａに示す光景が映し出される。これにより、認識手段１２が小型ディスプレイ２に映し出された画像を認識して、対象物（この場合には、空気清浄機５２）を認識すると、制御手段１８は、図５Ｂに示すように、空気清浄機５２の起動アイコン（電源オンボタン等）６５を小型ディスプレイ２上に表示する。この場合、空気清浄機５２が電源オフ状態であることは、例えば前面上部の表示パネルに表示されている発光素子の発光もしくは点滅の有無等を認識することで判定することができる。若しくは、この段階で空気清浄機５２と通信を行って空気清浄機５２の状態を判定するように構成してもよい。この起動アイコン６５を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６から空気清浄機５２に対して起動信号（電源オンの制御信号）が送信され、この起動信号を受信した空気清浄機５２は、電源をオンして起動し、空気清浄動作を開始する。一方、制御手段１８は、小型ディスプレイ２に表示されていた起動アイコン６５を画面から消去する。

そして、次に装着者が操作部１０の例えば決定ボタンを再度タッチすると、制御手段１８は、図５Ｃに示すように、空気清浄機５２の電源オフアイコン（電源オフボタン等）６６を小型ディスプレイ２上に表示する。従って、この電源オフアイコン６６を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６から空気清浄機５２に対して停止信号（電源オフの制御信号）が送信され、この停止信号を受信した空気清浄機５２は、電源をオフして動作を停止する。一方、制御手段１８は、小型ディスプレイ２に表示されていた電源オフアイコン６６を画面から消去する。

＜実施形態２＞
実施形態２では、制御手段１８は、認識手段１２により対象物を認識すると、通信手段１３を介して記憶装置２１と通信し、記憶装置２１に記憶されている対象物に対応付けられている情報を受信して、表示手段１１の小型ディスプレイ２に、実際に見ている光景に重ねて表示する構成としている。以下、図６Ａ乃至図６Ｃに示す小型ディスプレイ２に表示されるＡＩプレートボックスの画面遷移図を参照して、具体的に説明する。

装着者が室内を見渡して例えば卓上に載置されているＡＩ（エアリアルイメージング）プレートボックス５３の方を向くと（すなわち、顔の方向（視線）がＡＩプレートボックス５３の方向に向くと）、小型ディスプレイ２には図６Ａに示す光景が映し出される。これにより、認識手段１２が小型ディスプレイ２に映し出された画像を解析して、対象物（この場合には、ＡＩプレートボックス５３）を認識すると、制御手段１８は、図６Ｂに示すように、ＡＩプレートボックス５３の起動アイコン６７を小型ディスプレイ２上に表示する。この起動アイコン６７を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６からＡＩプレートボックス５３に対して起動信号（制御信号）が送信される。この起動信号を受信したＡＩプレートボックス５３は、家族や親戚、友達等から送られてきて内部に保存している例えばビデオメッセージ等がある場合には、そのビデオメッセージを端末装置１に送信し、端末装置１は、図６Ｃに示すように、送信されてきたビデオメッセージを、小型ディスプレイ２上において実際に見ている光景に重ねて表示する。

なお、実施形態２では、端末装置１から起動信号を送信することで、ＡＩプレートボックス５３が記憶している全てのメッセージを再生する構成として説明しているが、端末装置１は装着者を認証しているので、起動信号の送信時に認証情報も併せて送信するように構成してもよい。

一方、ＡＩプレートボックス５３の方にも、送られてきたビデオメッセージを個人の識別情報ごとに記憶する機能を付加しておき、個人の識別情報を端末装置１の認識情報と一致させておけばよい。これにより、ＡＩプレートボックス５３は、起動信号を受信したとき、併せて送られてきた認証情報に基づいて、装着者宛に送られてきたビデオメッセージがあるか否かを確認することができる。そして、装着者宛に送られてきたビデオメッセージがある場合にのみ、上記のようにビデオメッセージの再生を開始して、空中ディスプレイに表示するようにしてもよい。一方、装着者宛に送られてきたビデオメッセージが無い場合には、再生可能メッセージがないことを示す信号を端末装置１側に送信し、端末装置１は、通信手段１３を介してこの信号を受信すると、小型ディスプレイ２に例えば「送られてきたビデオメッセージはありません。」等のメッセージを表示するように構成してもよい。

また、上記の通信はＡＩプレートボックス５３と端末装置１との間の直接通信であったが、ＡＩプレートボックス５３に送られてきたビデオメッセージを、ＡＩプレートボックス５３ではなく、図２に示すようにネットワーク上の記憶装置２１に記憶しておく構成としてもよい。この場合には、ＡＩプレートボックス５３も通信回線Ｎを介して記憶装置２１と通信可能に構成する。すなわち、記憶装置２１には、ＡＩプレートボックス５３に割り当てられた記憶領域が設定されており、この記憶領域に、各個人に送られてきたビデオメッセージが個人の識別情報と関連付けられて記憶される。この構成によれば、ＡＩプレートボックス５３自体の記憶容量を低減できるので、その分、ＡＩプレートボックス５３の負荷を軽減することができる。

＜実施形態３＞
実施形態３では、制御手段１８は、認識手段１２により対象物を認識すると、対象物の操作情報を表示手段１１の小型ディスプレイ２に表示し、小型ディスプレイ２に表示されている操作情報に従って操作部１０が操作されると、通信手段１３を介して記憶装置２１と通信し、記憶装置２１から操作に対応した情報を受信して表示手段１１の小型ディスプレイ２に表示する構成としている。以下、図７Ａ乃至図７Ｄに示す小型ディスプレイ２に表示されるカレンダーの画面遷移図を参照して、具体的に説明する。

装着者が室内を見渡して例えば卓上若しくは壁掛けのカレンダー５４の方を向くと（すなわち、顔の方向（視線）がカレンダー５４の方向に向くと）、小型ディスプレイ２には図７Ａに示す光景が映し出される。これにより、認識手段１２が小型ディスプレイ２に映し出された画像を解析して、対象物（この場合には、カレンダー５４）を認識すると、制御手段１８は、通信手段１３を介して記憶装置２１と通信し、記憶装置２１からカレンダー５４に対応付けて記憶されている情報を受信して表示手段１１の小型ディスプレイ２に表示する。

ところで、最近のスマートフォン型の携帯端末やタブレットＰＣ等では、カレンダー機能を利用してスケジュール管理を行うことが一般に行われている。具体的には、ユーザーが卓上や壁掛けカレンダーの該当する日付にマーク等の目印を記入し、その詳細をカレンダー機能を用いて携帯端末やタブレットＰＣ内のカレンダーに登録して管理する、といった使用形態が普及している。従って、本実施形態３においてもこれを利用し、記憶装置２１には、ユーザー（この場合には端末装置１の装着者）が上記した携帯端末やタブレットＰＣによって登録した各種日程の内容と同じ内容の情報を登録するように構成する。

これにより、小型ディスプレイ２には、例えば図７Ｂに示すように、背景が暗転し、記憶装置２１に登録されている予定の詳細が日程順に展開して表示される。この場合、小型ディスプレイ２の画面上には、複数の日程が順次表示できるように、画面の左右の端に三角矢印のカーソルボタン７１，７２を表示し、操作部１０の所定の位置をタッチすることで、このカーソルボタン７１，７２を選択できるように構成しておけばよい。例えば、フレーム４に沿って横長に形成された操作部１０のイヤーパッド５側の端をタッチすると、画面左側のカーソルボタン７１が選択されて一つ前の（古い日付の）情報が表示され、操作部１０の小型ディスプレイ２側の端をタッチすると、画面右側のカーソルボタン７２が選択されて一つ先の日付の情報が表示されるように構成すればよい。

本実施形態３では、一例として図７Ａに示すように、２日、１３日、２０〜３０日にそれぞれ目印（この場合には、○印と矢印）が記入されているものとし、本日が例えば２０１４年１２月３１日であったとすると、図７Ｂでは、本日に一番近い日程（１月３日）の詳細情報がまず表示されている。従って、装着者は、この状態から操作部１０の小型ディスプレイ２側の端（すなわち、カーソルボタン７２）をタッチすると、小型ディスプレイ２には、図７Ｃに示すように、次の日程（１月１３日）の詳細情報が表示され、その状態からさらに操作部１０の小型ディスプレイ２側の端をタッチすると、小型ディスプレイ２には、図７Ｄに示すように、次の日程（１月２８〜３０日）の詳細情報が表示されることになる。

なお、操作部１０のイヤーパッド５側の端（すなわち、カーソルボタン７１）をタッチすると、逆方向に遡って表示が順次切り換わることになる。

また、このような表示を終了する場合には、操作部１０の例えば中央部をタッチする、若しくは、顔を横等に向けてカレンダー５４から目線を外すことで、小型ディスプレイ２上への日程の詳細表示を終了する。

なお、上記実施形態３では、装着者がカレンダーの方向を向くと、記憶装置２１に登録されている予定の詳細が日程順に展開して表示される構成としているが、この他にもカレンダーから該当する日を直接選択することで、その日の予定の詳細のみを表示するように構成してもよい。この場合、該当する日を選択する手法としては、例えば小型ディスプレイ２の画面上に本日の日を表示（本日の表示は、標準電波送信所からの電波を受信することで表示可能である。）し、その表示の左右両側にカーソルボタンを配置して日付を順次切り換えることで、目的とする日付を直接選択し、その表示されている日付で操作部１０の例えば決定キー（中央部）を操作することで、記憶装置２１側にその日に該当する日程の詳細情報のみを要求するように構成してもよい。

＜実施形態４＞
実施形態４は、上記実施形態１におけるテレビ５１の応用例である。

実施形態１では、単なるテレビ５１のオン、オフであったが、実施形態４では、テレビ５１の機能をさらに活用している。

先にも述べたように、端末装置１では、装着者を認証する認証手段１７を備えており、装着者を特定することができる。一方、最近のテレビ５１には、家族全員を個別に登録し、各個人の趣味や好みの番組等を登録できる機能を搭載しているものもある。

そこで、実施形態４では、このような機能を活用している。すなわち、端末装置１の装着者が室内を見渡してテレビ５１の方を向くと（すなわち、顔の方向（視線）がテレビの方向に向くと）、小型ディスプレイ２には図４Ａと同様の光景が映し出される。これにより、認識手段１２が小型ディスプレイ２に映し出された画像を認識して、対象物（この場合には、テレビ５１）を認識すると、制御手段１８は、装着時に認証している装着者の認証情報をテレビ５１側に送信する。テレビ５１は、送信されてきた認証情報に基づき、内部に登録されている個人情報を特定し、その個人情報に登録されている趣味や好みの番組等の情報から、その個人の好みにあった番組を番組表から選択し、選択した番組表の一覧を端末装置１に送信する。この場合、選択する番組には、例えばすでに録画予約によって録画された番組も含めることができる。

端末装置１は、送信されてきた番組表の一覧（番組名）を小型ディスプレイ２上に表示する。この場合の表示は、複数の番組名を一覧で表示してもよいが、装着者が選択し易いように考慮すれば、画面中央部に１件ずつ表示するのがよい。この場合、上記実施形態３と同様にして、画面の左右の端に三角矢印のカーソルボタン７１，７２を表示し、操作部１０の左右いずれかの位置をタッチしていずれかのカーソルボタン７１，７２を選択することで、番組名が順次切り替えられて表示されるように構成しておけばよい。そして、見たい番組があった場合には、その番組名が表示されている状態において、操作部１０の例えば中央部をタッチすることで、その番組が放送される（若しくは放送されている）チャンネルへの切換信号をテレビ５１に送信する構成とすればよい。テレビ５１では、端末装置１から送信されてくるチャンネルの切換信号に従って画面表示を切り換える。これにより、装着者は、自分の好きな番組を容易に選択して視聴することができる。

＜実施形態５＞
実施形態５は、上記実施形態１における空気清浄機５２の応用例である。

実施形態１では、単なる空気清浄機５２のオン、オフであったが、実施形態５ではさらなる機能を追加している。

実施形態５では、端末装置１に室内の温度や湿度を検出する温度／湿度センサ（図示省略）をさらに備えており、温度／湿度センサによる温度及び湿度の検知結果に基づいて、装着者に室内環境の警告を行う構成としている。具体的には、温度が上昇し、湿度が低下しているような乾燥状態になると、制御手段１８は、小型ディスプレイ２の表示画面に例えば図８に示すようなひび割れ画像を背景に重ねて表示する。このひび割れ画像は、乾燥状態に応じて何段階か用意されており、少し乾燥している程度ではひび割れが小さくかつ少ない画像を表示し、乾燥状態が進むにつれて、ひび割れが大きくかつ多い画像に順次切り換えて表示するようにしてもよい。

これにより、装着者は、室内が乾燥状態であることを画面のひび割れ状態から直感的に認識できるので、空気清浄機を動作させたい場合には、空気清浄機の方を向く。これにより、小型ディスプレイ２には、上記実施形態１と同様に、図５Ａに示す光景が映し出される。そして、認識手段１２が小型ディスプレイ２に映し出された画像を認識して、空気清浄機５２を認識すると、図５Ｂに示すように、空気清浄機５２の起動アイコン（電源オンボタン等）６５を小型ディスプレイ２上に表示する。この起動アイコン６５を見た装着者が、フレーム４に設けられている操作部１０の例えば決定ボタンにタッチすると、送信手段１６から空気清浄機５２に対して起動信号（電源オンの制御信号）が送信され、この起動信号を受信した空気清浄機５２は、電源をオンして起動し、空気清浄動作を開始する。この後、制御手段１８は、小型ディスプレイ２に表示されていた起動アイコン６５を画面から消去する。

以上の操作により空気清浄機５２が起動し、室内が乾燥状態から徐々に改善されてくると、小型ディスプレイ２に映し出されるひび割れ画像もひびが少なくかつ小さい画像へと順次切り替わり、乾燥状態が解消されると、小型ディスプレイ２上からひび割れ画像が完全に消去されるように構成すればよい。

ただし、いつまでもひび割れ画像が表示されているとその後の操作にも影響を与える可能性があるため、空気清浄機５２の起動信号を送信した後は、乾燥状態が解消されなくても、小型ディスプレイ２上のひび割れ画像を消去するようにしてもよい。

なお、上記実施形態では、対象物の一例としてテレビ５１、空気清浄機５２、ＡＩプレートボックス５３を例示しているが、この他にも、空調機（エアコン）、オーディオ機器、冷蔵庫、電子レンジ等とも双方向通信可能として、家庭内のほぼすべての電気機器を端末装置１で制御可能に構成してもよい。

また、今回開示した実施形態はすべての点で例示であって、限定的な解釈の根拠となるものではない。従って、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれる。

本発明は、眼前に装着して使用されるスマートグラス等のウエアラブル端末装置に好適に適用されるが、この他にも、身体に装着して使用するウエアラブル端末装置全般に適用可能である。

１ 端末装置
２ 小型ディスプレイ
３ ノーズバッド
４ フレーム
５ イヤーパッド
６ 装置本体部
７ カメラ
８ 赤外線センサ
９ 送信器
１０ 操作部
１１ 表示手段
１２ 認識手段
１３ 通信手段
１４ 操作手段
１５ 制御信号記憶手段
１６ 送信手段
１７ 認証手段
１８ 制御手段
２１ 記憶装置
Ｎ 通信回線

Claims (6)

1. 眼前に装着して使用される端末装置であって、
   実際に見ている光景に情報を重ねて表示する表示手段と、
   顔を向けている方向に存在する対象物を認識する認識手段と、
   前記表示手段に表示されている前記情報に従って操作可能な操作手段と、
   前記対象物を操作する制御信号が予め記憶されている制御信号記憶手段と、
   前記対象物に対して制御信号を送信する送信手段と、
   装置全体を制御する制御手段と、を備え、
   前記制御手段は、前記認識手段により前記対象物を認識すると、前記表示手段に前記対象物に対する操作情報を表示し、表示されている前記操作情報に従って前記操作手段が操作されると、その操作に対応した制御信号を前記制御信号記憶手段から読み出し、前記送信手段を介して前記対象物に送信することを特徴とする端末装置。
2. 請求項１に記載の端末装置であって、
   装着者を認証する認証手段と、
   装着者の認証情報を記憶している認証情報記憶手段と、をさらに備え、
   前記制御手段は、前記認証手段により認証した装着者の認証情報が前記認証情報記憶手段に記憶されている認証情報と一致する場合にのみ、その後の処理を有効とすることを特徴とする端末装置。
3. 請求項１または請求項２に記載の端末装置であって、
   前記対象物に対応付けて情報を記憶している記憶装置と通信可能な通信手段をさらに備え、
   前記制御手段は、前記認識手段により前記対象物を認識すると、前記通信手段を介して前記記憶装置に記憶されている前記対象物に対応付けられている情報を受信して前記表示手段に表示することを特徴とする端末装置。
4. 請求項１または請求項２に記載の端末装置であって、
   前記対象物に対応付けて情報を記憶している記憶装置と通信可能な通信手段をさらに備え、
   前記制御手段は、前記認識手段により前記対象物を認識すると、前記対象物の操作情報を前記表示手段に表示し、前記表示手段に表示されている前記操作情報に従って前記操作手段が操作されると、前記通信手段を介して前記記憶装置から前記操作に対応した情報を受信して前記表示手段に表示することを特徴とする端末装置。
5. 請求項１から請求項４までのいずれか一つに記載の端末装置であって、
   前記操作手段は、前記端末装置のフレーム部分に配置されていることを特徴とする端末装置。
6. 請求項１から請求項５までのいずれか一つに記載の端末装置と、前記対象物に対応付けて情報を記憶している記憶装置とが、通信回線を介して双方向通信可能に接続されていることを特徴とする双方向通信システム。

Images