JP2013197737A - 機器操作装置 - Google Patents

Abstract

【課題】距離検出手段を用いずに機器操作を行う。
【解決手段】操作対象機器を撮像する撮像手段と、姿勢情報を取得する姿勢情報取得手段と、前記操作対象機器に制御信号を送信する制御信号送信手段と、操作者の向いている第１の方向と、操作者の位置を基準として前記姿勢情報に基づいて求めた前記操作対象機器の第２の方向と、を一致させて前記操作対象機器を選択する操作対象機器選択手段と、
前記操作対象機器選択手段により選択された前記操作対象機器に対する操作者の操作を認識する操作認識手段と、前記操作認識手段により認識された前記操作に対応する機器操作の内容に基づいて、前記制御信号送信手段により制御信号を送信して機器操作を行うことを特徴とする機器操作装置。
【選択図】図１１

Description

本発明は、機器操作技術に関する。

一般的な機器操作装置としては、赤外線などを用いたリモコン装置がある。昨今の家電機器等の多機能化や、携帯端末の多機能化に伴い、新しい機器操作技術が提案されつつある。

例えば、特許文献１は、複数の機器の中から、操作対象となる機器を指し示すことにより操作対象機器を操作できる機器操作装置に関する文献である。特許文献１に開示の装置は、その装置を身につけることで、指し示した方向と、指し示した方向にある操作対象機器と機器操作装置との距離情報を取得し、取得した距離情報を用いて操作対象機器を選択するものである。

特開２００７−２６６７７２号公報

上記特許文献１に記載の装置では、操作対象機器の位置を特定して操作対象機器を選択したり、操作対象機器を登録したりするには、機器操作装置に具備された距離検出手段が必要となる。

しかしながら、上記特許文献１において、距離検出手段として挙げられている赤外線距離センサ、超音波センサ、レーザー距離センサは、距離計測のために光線や音波を出すための送信部と反射波を受信するための受信部とが必要であり、機器操作装置への実装面積が大きくなるという問題がある。

また、距離検出手段として、被写体までの距離を検出可能なステレオカメラを使った場合など、その他の距離検出手段の場合も同様の問題がある。
本発明は、距離検出手段を用いずに機器操作を行うことを目的とする。

本発明の一観点によれば、操作対象機器を撮像する撮像手段と、姿勢情報を取得する姿勢情報取得手段と、前記操作対象機器に制御信号を送信する制御信号送信手段と、操作者の向いている第１の方向と、操作者の位置を基準として前記姿勢情報に基づいて求めた前記操作対象機器の第２の方向と、を一致させて前記操作対象機器を選択する操作対象機器選択手段と、前記操作対象機器選択手段により選択された前記操作対象機器に対する操作者の操作を認識する操作認識手段と、前記操作認識手段により認識された前記操作に対応する機器操作の内容に基づいて、前記制御信号送信手段により制御信号を送信して機器操作を行うことを特徴とする機器操作装置が提供される。

前記撮像手段により撮像され、タッチパネル機能を有する表示部に表示された画像から、前記操作対象機器の表示位置を取得する機器表示位置取得手段を備え、前記姿勢情報より前記撮像手段の向いている方向Ｖ_ｃａｍを求め、前記タッチパネルの座標系における、前記撮像手段の画角の中心点を基準とした、前記操作対象機器の方向のずれの大きさＶ_{ｄｉｆｆ１}を求め、前記Ｖ_{ｄｉｆｆ１}を、前記姿勢情報を用いて、水平面の座標系における前記Ｖ_ｃａｍと操作対象機器の方向のずれＶ_{ｄｉｆｆ２}に変換し、前記Ｖ_ｃａｍと前記Ｖ_{ｄｉｆｆ２}とを加算して、前記操作対象機器の存在する前記第２の方向を求める座標変換部を有することが好ましい。

前記姿勢情報取得手段は、加速度センサと地磁気センサであることが好ましい。
前記操作対象機器の存在を検出する範囲を、測定誤差に基づいて広げる第１のマージンを有することが好ましい。

前記第１の方向に向いていると判断する第２のマージンを、第１のマージンと、認識した顔の画像中心からのずれと、に基づいて求めることが好ましい。

本発明の他の観点によれば、操作対象機器を撮像する撮像ステップと、姿勢情報を取得する姿勢情報取得ステップと、前記操作対象機器に制御信号を送信する制御信号送信ステップと、操作者の向いている第１の方向と、前記姿勢情報に基づいて求めた前記操作対象機器の第２の方向と、を一致させて前記操作対象機器を選択する操作対象機器選択ステップと、前記操作対象機器選択ステップにより選択された前記操作対象機器に対する操作者の操作を認識する操作認識ステップと、を有し、前記操作認識ステップにより認識された前記操作に対応する機器操作の内容に基づいて、前記制御信号送信ステップにより制御信号を送信して機器操作を行うことを特徴とする機器操作方法が提供される。

本発明は、コンピュータに、上記に記載の機器操作方法を実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

本発明によれば、機器操作装置の実装面積を小さくすることができる。

本発明の実施の形態による機器操作システムの一構成例を示す図であり、操作対象機器の登録に用いられる構成を示す図である。 本実施の形態による機器操作システムの一構成例を示す図であり、後述するジェスチャリモコン操作に用いられる構成を示す図である。 機器登録時の登録者（ユーザ）の操作位置と機器との位置関係を例示的に示す図である。 図３に示した機器登録のための撮像時における、カメラによる入力画像の例を示す図である。 図５（ａ）は、機器登録における、操作対象機器の存在方向Ｖ_ｏｂｊと、機器操作装置が向いている方向Ｖ_ｃａｍと、の関係を、画角の中心点の方向とタッチパネルのタッチ座標位置との方向のずれＶ_{ｄｉｆｆ２}で示す図である。図５（ｂ）は、タッチパネルを含む表示画面の座標表示例である。 表示部に表示される機器種別選択画面の表示例を示す図であり、操作対象機器選択手段による操作対象機器の選択を行う際のＧＵＩを示す図である。 作成される機器情報ＤＢ内の情報を模式的に示す図である。 操作対象機器を登録した後に、機器操作装置を部屋内に設置して、ユーザの向いている方向を撮像することでどの機器を制御するかを判別し、さらにユーザのジェスチャによる操作（ジェスチャ操作）を撮像することでそのジェスチャを認識して機器操作を行える状態とする処理を示す図であり、機器操作装置の設置位置とジェスチャなどによるジェスチャ操作位置との関係を示す図である。 図８のような状態において、ユーザがジェスチャにより機器選択を行う場合における誤差を考慮した水平面に対するマップの概念図である。 機器登録処理の概要（メイン処理）を示すフローチャート図である。 図１０の機器登録処理の流れを示すフローチャート図である。 図１１の座標変換処理の流れを示すフローチャート図である。 機器操作処理の流れを示すフローチャート図である。 顔認識処理の流れを示すフローチャート図である。 機器選択処理の流れを示すフローチャート図である。 ジェスチャによる機器操作処理の流れを示すフローチャート図である。 座標変換処理における座標の定義を示す図である。 方位角θ_ｃａｍの定義を示す図である。 仰角φ_ｃａｍの定義を示す図である。 タッチパネルの座標系とタップ座標の関係を示す図である。 機器操作装置の設置位置とユーザ操作位置との関係を示す図であり、図８に対応する図である。 誤差を考慮した、画面中央からのずれを考慮して、マージンをさらに広げた例を示す図である。 本発明の第２の実施の形態による顔認識処理の流れを示すフローチャート図である。 機器選択処理の流れを示すフローチャート図である。

以下、本発明の実施の形態による機器操作技術について、図面を参照しながら説明を行う。以下では、機器操作装置として、スマートフォンを例にして説明するが、その他の携帯端末や専用の端末装置を用いても良い。

図１は、本実施の形態による機器操作システムの一構成例を示す図であり、操作対象機器の登録に用いられる構成を示す図である。本実施の形態による機器操作システムＡは、スマートフォンなどの機器操作装置１と、操作対象機器群３と、を有している。

機器操作装置１は、制御部（ＣＰＵ）５と、機器情報ＤＢ７と、カメラ（動画、静止画を含む画像の撮像部）１１と、表示部（表示画面）１５と、タッチパネル１７と、地磁気センサ２１と、加速度センサ２３と、を有している。機器情報ＤＢ７は、機器操作装置１内に設けられていない場合でも、外部から通信により取得できる形態でも良い。

ＣＰＵ５は、機器情報ＤＢ７に機器情報を格納する機器情報格納手段５−１と、操作対象機器の種別を選択する機器種別選択手段５−２と、操作対象機器群３の位置を取得する機器位置取得手段５−３と、操作対象機器３を撮像する際の姿勢情報を取得する姿勢情報取得手段５−４と、を有している。その他、スマートフォンにおいては、通信部、記憶部、操作ボタン（タッチパネルを含む）などを有しているのが一般的である。

操作対象機器群３は、少なくとも１以上の機器、操作対象機器Ａ３ａ、操作対象機器Ｂ３ｂ、操作対象機器Ｃ３ｃ、…を有している。

図２は、図１と同じ本実施の形態による機器操作システムの一構成例を示す図であり、後述するジェスチャリモコン操作に用いられる構成を示す図である。図１と重複する部分については、説明を省略する。

カメラ１１は、ユーザ（などの顔、ここでは簡易化して記載する）画像を撮像する。ＣＰＵ５は、ジェスチャ認識手段５−５と、操作対象機器選択手段５−６と、機器操作手段５−７と、を有している。

さらに、機器操作装置１は、機器情報ＤＢ７と、機器制御信号出力デバイス３３と、機器制御情報ＤＢ３５と、を有しており（又は、関連付けされて通信により取得できるように構成されており）、機器制御手段５−７は、機器制御情報ＤＢ３５を参照しながら、機器制御信号出力デバイス３３を介して、操作対象機器３を制御する。機器制御信号出力デバイス３３は、一般的な赤外線による制御信号でも良いし、無線ＬＡＮなどに用いられる信号でも良い。

図３は、機器登録時の登録者（ユーザ）の操作位置と機器との位置関係の例を示す図である。ユーザが通常ジェスチャ操作を行うであろう場所を位置Ｐ１と決めることができる。また、ユーザはＰ１の位置で360度回転しながら機器登録を行うことができるため、全ての操作対象機器が一度に視野角内に入ることを意識して位置を決めなくても良い。ただし、ユーザからみて同じ方向に機器が複数あるとどちらを選択しているかがわからないため、そのようにならないような位置が好ましい。操作対象機器としては、テレビＴＶ３ａ−１、レコーダＲｅｃ３ａ−２、エアコンＡＣ３ｂ、照明３ｃ、ＣＤプレーヤＣＤ３ｄが存在する。

図４は、図３に示した機器登録のための撮像時における、カメラ１１による入力画像の例を示す図であり、カメラの入力画像Ｒ１には、操作対象機器（ＴＶ）３ａ−１、操作対象機器（Ｒｅｃ）３ａ−２、操作対象機器（ＡＣ）３ｂ、操作対象機器（照明）３ｃが映っている。

以下に、図５から図９までの図と、図１０から図１５までのフローチャート図とを参照して、機器の登録処理、機器の選択処理及び機器の操作処理について説明する。

（機器登録処理）
図１０は、機器登録処理の概要を示すフローチャート図である。まず、機器登録処理のボタンを押すなどして処理が開始されると（開始：ステップＳ１）、カメラ画像のプレビューが開始される（ステップＳ２）。ついで、ステップＳ３において、登録者による操作待ち状態に遷移する。希望する全ての操作対象機器３の登録が完了するまで（ステップＳ４でＮ）、機器登録処理（ステップＳ５）を行いステップＳ３に戻る。全操作対象機器３の登録が完了すると（ステップＳ４でＹ）、ステップＳ６で処理を終了する。

図１１は、ステップＳ５の機器登録処理の流れを示すフローチャート図である。図１１に示すように、図１０のステップＳ４からステップＳ５の処理に入ると（開始：ステップＳ１１）、ステップＳ１２において、表示画面１５のタッチパネル１７上で操作対象機器３を指示するようにタップされた位置のＸ−Ｙ座標を取得する。次いで、ステップＳ１３において、姿勢情報取得手段５−４の地磁気センサの計測情報を取得する。ステップＳ１４において、姿勢情報取得手段５−４の加速度センサの計測情報を取得する。これにより、機器操作装置の姿勢情報を算出することができる。次いで、ステップＳ１５において、図６に示すような機器選択画面１５を表示画面１５に表示させる。ステップＳ１６で、登録者による機器選択（タッチ）を行うことで、機器が選択される。ステップＳ１７において、機器位置取得手段５−３が後述する２次元から３次元への座標変換処理を行い、ステップＳ１８において、３次元的な位置を操作対象機器の種別情報とともに、機器情報ＤＢ７に登録し、機器登録処理を終了する（ステップＳ１９）。

図５は、機器を登録する機器登録における、操作対象機器の存在方向Ｖ_ｏｂｊと、機器操作装置が向いている方向Ｖ_ｃａｍと、の関係を、画角の中心点の方向とタッチパネルのタッチ座標位置との方向のずれＶ_{ｄｉｆｆ２}で示す図である。図５（ｂ）は、タッチパネルを含む表示画面例である。

尚、サフィックスｃａｍはカメラ１１を示し、サフィックスｏｂｊは操作対象機器３を示し、サフィックスｄｉｆｆは、タッチパネルの座標系と３次元座標系との差異を示すものである。図５のように定義することで、操作対象機器の存在方向Ｖ_ｏｂｊと、機器操作装置が向いている方向Ｖ_ｃａｍとを対応付けすることができる。

図１２は、図１１の座標変換処理（ステップＳ１７）の流れを示すフローチャート図である。図１２に示すように、ステップＳ２１で座標変換処理は開始されると、ステップＳ２２で、タッチパネルの水平方向の解像度をＲ_ｈとし、タッチパネルの垂直方向の解像度をＲ_ｖとする。ステップＳ２３において、タッチパネル上のタッチされた座標をＰ_ｏｂｊ(Ｘ_ｏｂｊ, Ｙ_ｏｂｊ)とする。

ステップＳ２４において、カメラ１１の水平方向の画角をαとし、カメラ１１の垂直方向の画角をβとする。ステップＳ２５において、地磁気センサから取得した情報を用いて、カメラ１１が向いている方位角θ_ｃａｍを計算する。ステップＳ２６において、加速度センサから取得した情報を用いて、カメラ１１が向いている仰角φ_ｃａｍを計算し、カメラ１１が向いている方向をＶ_ｃａｍ（θ_ｃａｍ， φ_ｃａｍ）とする。

ステップＳ２７において、Ｒ_ｈとαとＸ_ｏｂｊとを用いて、タッチパネルの座標系における、画角の中心点の方向とタッチ座標の方向のずれのうちの水平方向のずれθ_{ｄｉｆｆ１}を計算する。ステップＳ２８において、Ｒ_ｖとβとＹ_ｏｂｊを用いて、タッチパネルの座標系における、画角の中心点の方向とタッチ座標の方向のずれのうちの垂直方向のずれφ_{ｄｉｆｆ１}を計算する。ステップＳ２９において、タッチパネルの座標系における画角の中心点の座標とタッチ座標の方向のずれＶ_{ｄｉｆｆ１}（θ_{ｄｉｆｆ１}， φ_{ｄｉｆｆ１}）を、地磁気センサと加速度センサから取得した機器操作装置３の姿勢情報を用いて、水平面の座標系に対するずれＶ_{ｄｉｆｆ２}（θ_{ｄｉｆｆ２}， φ_{ｄｉｆｆ２}）に変換する。ステップＳ３０において、Ｖ_ｃａｍとＶ_{ｄｉｆｆ２}を加算し、操作対象機器３が存在する方向Ｖ_ｏｂｊ（θ_ｏｂｊ， φ_ｏｂｊ）とし、これを出力し、ステップＳ３１で処理を終了する。

これにより、操作対象機器３が存在する方向Ｖ_ｏｂｊ（θ_ｏｂｊ， φ_ｏｂｊ）を求めることができる。

図１２に示す座標変換処理について、以下に、より詳細に説明する。
１）ステップＳ２２〜Ｓ２４
これらのステップでは、各変数の定義を行っている。変数Ｒ_ｈ， Ｒ_ｖ， α， βはデバイス毎にあらかじめ決められた値である。Ｐ_ｏｂｊ（Ｘ_ｏｂｊ， Ｙ_ｏｂｊ）は、タッチパネルから取得する。

２）ステップＳ２５
以下のように座標を定義する（図１７参照）。
Ｘ軸はディスプレイ平面に対して横方向に取り、Ｙ軸はディスプレイ平面に対して縦方向に取り、Ｚ軸はカメラの光軸方向及びディスプレイ面に垂直な方向と一致する右手系の座標系である。

求める方位角は、図１８に示す角度θ_ｃａｍを指す。
３軸地磁気センサからの出力情報を用いて方位角を計算する方法は、使用するセンサに依存するが、一般的には以下の計算式で算出できる。

ここで、Ｘ_ｍａｇ， Ｙ_ｍａｇ， Ｚ_ｍａｇは各軸方向の磁気の強さである。

３）ステップＳ２６
求める仰角は、図１９に示す角度φ_ｃａｍを指す。
ステップＳ２５と同じ座標系上における各軸方向の重力加速度を、Ｘ_ｇ，Ｙ_ｇ，Ｚ_ｇとすると、φ_ｃａｍは以下のように計算できる。

４）ステップＳ２７、Ｓ２８
図２０は、タッチパネルの座標系とタップ座標の関係を示す図である。
カメラの水平及び垂直方向の画角α、βを用いて、以下のように計算することができる。

５）ステップＳ２９
ディスプレイの上辺が水平面に対して並行な面上にあるときは、以下のようになる。

ディスプレイの上辺が水平面に対して並行な面上にないときは、上記の状態を０度とするＺ軸周りの回転角θ_Ｚを用いて、以下のように計算できる。

６）ステップＳ３０
ステップＳ２５、Ｓ２６で算出したＶ_ｃａｍと、ステップＳ２９で算出したＶ_{ｄｉｆｆ２}を用いて、操作対象機器がある方向Ｖ_ｏｂｊを以下のように計算する。

（機器操作処理：機器選択処理）
次に、登録された機器のうち制御対象機器として選択する処理例について説明する。
図８は、操作対象機器３を選択した後に、機器操作装置１を部屋Ｒ内に設置してユーザのジェスチャによる操作（ジェスチャ操作）を撮像することでそのジェスチャを認識して機器操作を行える状態とする処理を示す図であり、機器操作装置１の設置位置とジェスチャなどによるジェスチャ操作位置との関係を示す図である。図３に示す機器登録をした位置Ｐ１でユーザ操作を行い、一方、この位置Ｐ１を、カメラ１１の画角中央に入るようにカメラ１１の方向と機器操作装置１の設置位置とを決める。

図１３は、機器操作処理の流れを示すフローチャート図である。図１３に示すように、ステップＳ４１において処理が開始され、ステップＳ４２において顔認識処理が行われ、ステップＳ４３において機器選択処理が行われ、ステップＳ４４においてジェスチャ入力の有無を検出する。ジェスチャ入力があれば（Ｙ）、ステップＳ４５に進み、ジェスチャ認識処理を行う。そして、ステップＳ４６で機器操作実行処理を行い、ステップＳ４７で処理を終了する。

図１４は、顔認識処理（ステップＳ４２）を示すフローチャート図である。処理が開始されると（ステップＳ５１）、ステップＳ５２において、カメラ画像を取得する。ステップＳ５３でユーザの顔を認識し、ステップＳ５４で、タッチパネルの座標系における認識した顔の座標を計算する。ステップＳ５５において、顔の座標が画面中央付近であるか否かを判定し、Ｙであれば、ステップＳ５６に進み、タッチパネルの座標系における、認識した顔の向きを計算する。ステップＳ５７において、地磁気センサと加速度センサから情報を取得し、その情報を用いて顔の向きを水平面の座標系に変換し、処理を終了する（ステップＳ５８）。

以下に、顔認識処理の詳細について説明する。
１）ステップＳ５５
以下２つの式を満たす時、画面中央に顔があると判断する。
ここで、（Ｘ_ｆａｃｅ， Ｙ_ｆａｃｅ）は顔の座標、Ｘ_{ｍａｒｇｉｎ}， Ｙ_{ｍａｒｇｉｎ}は顔の画像が画面中央付近にあるかどうかを判断するための閾値であり、あらかじめ決めておくべき定数である。

２）ステップＳ５７
タッチパネル座標系における顔の向きは、タッチパネルから手前に垂直な方向を０度とし、操作者が左を向く方向を正とする方位角と、上を向く方向を正とする仰角を定義する。

図９は、図８のような状態において、ユーザがジェスチャにより機器選択を行う場合における誤差を考慮した水平面に対するマップの概念図である。図８の操作対象機器３の選択の際には、操作対象機器３の方向に顔を向けるなどのジェスチャを行うが、この場合には、完全に正確な方向に顔を向けるようにすることは難しい。そこで、図９に示すように、誤差を考慮した、水平面に対する機器のマップを考慮する。すなわち、機器を選択していると判断する方向には誤差を考慮したマージンの範囲を操作対象機器３が存在する方向を示す点に対する円として示す。例えば、機器Ｃを選択していると判断する視線の範囲は、機器Ｃが存在する方向の中心点からある円の範囲内であると指定することができる。このようにすることで、機器を選択しているとされる顔の向きに関して、マージンを設けることができる。また、マージンを考慮しても、機器を選択している範囲とされない場合には、操作者の顔の向きの例２のように、機器は選択されてないと判定することができる。また、機器Ａと機器Ｂとが近くにある場合でも、操作者の顔の向きの例１では、機器Ｂを選択していると判定される視線の範囲内ではなく、機器Ａを選択していると判定される視線の範囲内であることから、機器Ａを選択していることがわかる。機器Ａを選択していると判断する円の範囲と、機器Ｂを選択していると判断する円の範囲が重なっているなどして、どちらの機器を選択しているかを判定できない場合には、その旨をユーザに通知して、顔の向きを調整してもらうようにすると良い。

次に、機器選択処理（ステップＳ４３）について、図１５を参照しながら説明する。ステップＳ６１で処理を開始し、ステップＳ６２で、誤差を考慮した機器のマップを作る。ステップＳ６３で、顔の向きと、機器のマップをマッチングさせる。ステップＳ６４で、マッチする機器の有無を判定し、ＹであればステップＳ６５で、マッチした機器を選択した操作対象機器として出力する。ＮであればステップＳ６６で、操作対象機器は選択されていないと判断し、ステップＳ６７で処理を終了する。 また、マージンの計算方法について、以下に説明する。

機器を選択していると判断する範囲の定義は、円形に定義する方法、方形に定義する方法、楕円形に定義する方法等を用いることができるが、ここでは楕円形で定義する方法を例示する。

ある操作対象機器が存在する方向をＶ_ｏｂｊ（θ_ｏｂｊ， φ_ｏｂｊ）とすると、機器を選択していると判断する範囲の境界線を表すθ_{ｂｏｒｄｅｒ}、φ_{ｂｏｒｄｅｒ}は以下のように定義できる。

ａ，ｂはそれぞれ、方位角のマージンと仰角のマージンを表し、例えば以下のように決めることができる。
磁気センサの誤差係数をＥ_ｍａｇ， 加速度センサの誤差係数をＥ_ａｃｃ， タッチパネルの誤差係数をＥ_{ｔｏｕｃｈ}， 顔認識による方向検出の誤差係数をＥ_ｆａｃｅとし、さらに重み係数ｋ_１〜ｋ_８を決めておく。

このようにして決めた境界線情報を用いて、以下の式を満たす時にその機器を選択しているとの判断できる。

ａ，ｂの計算においては、あらかじめ最大値を決めておき、それを超えないようにすることで、あまりに大きい誤差がある場合には機器を選択させず、誤った機器を選択することを防ぐこともできる。

また、他の機器とマージンエリアが重複していて、複数の機器が候補となる場合は、左辺の計算結果がより小さい方を選択することにしたり、複数の候補があることをユーザに提示し、さらに絞り込みを行わせることなどもできる。

（機器操作処理）
次に、選択された機器の操作について説明する。例えば、機器毎にあらかじめ決められた(あるいは登録された)ハンドジェスチャとそれに対応するコマンドを、赤外線、その他の無線通信手段で操作対象機器に送信する。ここで、ハンドジェスチャでなく、音声による操作指示、その他、体の何らかの部位の動作を認識させて、同様にコマンドを送信するようにしてもよい。

次に、本発明の第２の実施の形態について、説明を行う。本実施の形態は、操作者が、機器登録を行った位置からずれた位置にいる場合に対応できる技術を示すものである。基本的な構成は、第１の実施の形態と同様である。

図２１は、機器操作装置の設置位置とユーザ操作位置との関係を示す図であり、図８に対応する図である。図２１に示す例では、機器登録を行った位置Ｐ１と、操作者が操作を行う位置Ｐ２とが、２次元的にずれている場合が多い。

図２２は、誤差を考慮した、画面中央からのずれを考慮して、マージンをさらに広げた例を示す図である。破線の円は、画面中央からのずれを考慮しないマージンであり、それを矢印方向に広げた楕円形は、画面中央からのずれを考慮したマージンを示すものである。このように、認識した顔の画面中央からのずれを考慮して、第１の実施の形態のマージンをさらに広げている。

上記で求めたマージンａ，ｂを、認識した顔の画面中心からのずれ（Ｘ_ｄｉｆｆ， Ｙ_ｄｉｆｆ）と重み係数ｋ９，ｋ１０を用いて以下のように拡張する。

これを用いて、以下の式を満たす時に対象となる機器を選択していると判断する。

図２３は、本実施の形態による顔認識処理の流れを示すフローチャート図である。図２３に示すように、ステップＳ８１で処理が開始し、ステップＳ８２でカメラ画像を取得する。ステップＳ８３で顔を認識し、ステップＳ８４でタッチパネルの座標系における、認識した顔の座標を計算する。ステップＳ８５で、タッチパネルの座標系における、認識した顔の向きを計算する。ステップＳ８６で、地磁気センサと加速度センサとから情報を取得し、その情報を用いて顔の向きを水平面の座標系に変換し、ステップＳ８７で処理を終了する。

図２４は、機器選択処理（ステップＳ４３）の流れを示すフローチャート図である。機器選択処理においては、ステップＳ９１で、処理を開始し、ステップＳ９２において、誤差を考慮した機器のマップを作る。ステップＳ９３において、顔を認識した座標情報を用いて、機器マップの各機器のマージンを広げる。ステップＳ９４において、顔の向きと、機器のマップをマッチングさせる。ステップＳ９５において、マッチする機器が有るか否かを判定し、Ｙの場合には、ステップＳ９６において、マッチした機器を選択した操作対象機器として出力する。Ｎの場合には、ステップＳ９７において、操作対象機器は選択されていないと判断する。そして、処理を終了する（ステップＳ９８）。

以上に説明したように、本実施の形態においては、認識した顔の画面中央からのずれを考慮して、第１の実施の形態のマージンをさらに広げており、認識率が向上する。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

本発明は、機器操作装置に利用することができる。

Ａ…機器操作システム、１…機器操作装置、３…操作対象機器群、５…制御部（ＣＰＵ）、５−１…機器情報格納手段、５−２…機器種別選択手段、５−３…機器位置取得手段、５−４…姿勢情報取得手段、７…機器情報ＤＢ７、１１…カメラ（撮像部）１５…表示部（表示画面）、１７…タッチパネル、２１…地磁気センサ、２３…加速度センサ。

Claims (6)

1. 操作対象機器を撮像する撮像手段と、
   姿勢情報を取得する姿勢情報取得手段と、
   前記操作対象機器に制御信号を送信する制御信号送信手段と、
   操作者の向いている第１の方向と、操作者の位置を基準として前記姿勢情報に基づいて求めた前記操作対象機器の第２の方向と、を一致させて前記操作対象機器を選択する操作対象機器選択手段と、
   前記操作対象機器選択手段により選択された前記操作対象機器に対する操作者の操作を認識する操作認識手段と、
   前記操作認識手段により認識された前記操作に対応する機器操作の内容に基づいて、前記制御信号送信手段により制御信号を送信して機器操作を行うことを特徴とする機器操作装置。
2. 前記撮像手段により撮像され、タッチパネル機能を有する表示部に表示された画像から、前記操作対象機器の表示位置を取得する機器表示位置取得手段を備え、
   前記姿勢情報より前記撮像手段の向いている方向Ｖ_ｃａｍを求め、
   前記タッチパネルの座標系における、前記撮像手段の画角の中心点を基準とした、前記操作対象機器の方向のずれの大きさＶ_{ｄｉｆｆ１}を求め、
   前記Ｖ_{ｄｉｆｆ１}を、前記姿勢情報を用いて、水平面の座標系における前記Ｖ_ｃａｍと操作対象機器の方向のずれＶ_{ｄｉｆｆ２}に変換し、
   前記Ｖ_ｃａｍと前記Ｖ_{ｄｉｆｆ２}とを加算して、前記操作対象機器の存在する前記第２の方向を求める座標変換部を有することを特徴とする請求項１に記載の機器操作装置。
3. 前記操作対象機器の存在を検出する範囲を、測定誤差に基づいて広げる第１のマージンを有することを特徴とする請求項１又は２に記載の機器操作装置。
4. 前記第１の方向に向いていると判断する第２のマージンを、前記第１のマージンと、認識した顔の画像中心からのずれと、に基づいて求めることを特徴とする請求項３に記載の機器操作装置。
5. 操作対象機器を撮像する撮像ステップと、
   姿勢情報を取得する姿勢情報取得ステップと、
   前記操作対象機器に制御信号を送信する制御信号送信ステップと、
   操作者の向いている第１の方向と、前記姿勢情報に基づいて求めた前記操作対象機器の第２の方向と、を一致させて前記操作対象機器を選択する操作対象機器選択ステップと、
   前記操作対象機器選択ステップにより選択された前記操作対象機器に対する操作者の操作を認識する操作認識ステップと、を有し、
   前記操作認識ステップにより認識された前記操作に対応する機器操作の内容に基づいて、前記制御信号送信ステップにより制御信号を送信して機器操作を行うことを特徴とする機器操作方法。
6. コンピュータに、請求項５に記載の機器操作方法を実行させるためのプログラム。

Images