JP4689107B2

JP4689107B2 - 自律行動ロボット

Info

Publication number: JP4689107B2
Application number: JP2001251642A
Authority: JP
Inventors: 義秋坂上; 信男檜垣; 直亮住田; 雄一吉田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-08-22
Filing date: 2001-08-22
Publication date: 2011-05-25
Anticipated expiration: 2021-08-22
Also published as: US6853880B2; JP2003062777A; US20030055532A1

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理と音声処理とを併用して移動や姿勢制御を行う自律行動ロボットに関する。
【０００２】
【従来の技術】
近年、人間のパートナーとして共存することを目的とした自律行動ロボットが開発されてきている。この種の自律行動ロボットには、人間の音声に反応してあらかじめ決められた行動をするものがある。また、カメラ等の各種センサを用いて、認識対象である目標を含んだシーンをイメージ情報として取得し、そのイメージ情報と目標に対する断片的な知識とを利用して目標を認識するものもある。例えば、人間の音声を認識し、音声の種類によっていくつかの動作によってできるだけ人間らしい振る舞いをさせ、親近感を感じさせるような人間型ロボットも自律行動ロボットの一つの実施形態である。
【０００３】
【発明が解決しようとする課題】
しかしながら、本物の人間により近い動作をする人間型ロボットを開発するためには、例えば、ロボットの視野外にいる対面者の呼びかけに反応して振り向いたり、対面者の顔を見分けたりするような機能を備える必要がある。さらに、対面者がジェスチャー等によりある物を提示したような場合には、指示された物等に視線を移して、その物を認識することができるような機能がこれからの人間型ロボットには必要である。
【０００４】
この発明は、このような事情を考慮してなされたものであり、視線を呼びかけた人の方向に向けたり、対面者の顔を認識したり、いくつかの命令に応じた行動をとることができるような自律行動ロボットを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、音源から発せられた音を検出する音検出手段と、検出された音が、あらかじめ決められた指示語の音声であるか否か判定する音声認識手段と、周辺の画像を撮影する撮像手段と、撮影された画像から特定の形状を有する移動体の輪郭を抽出する輪郭抽出手段と、前記音声認識手段によって前記指示語の音声であると判定された場合に、前記移動体の輪郭上の位置であって、前記移動体の重心から遠く且つ前記移動体の重心より上方の位置を手先位置として推定する目標画像決定手段と、前記手先位置に基づいて該手先位置に向かう方向に前記撮像手段の撮影方向を制御する制御手段とを有し、前記撮像手段が、互いに対応付けられた２台の撮像装置から構成され、撮影された２枚の画像で構成されるステレオ画像を立体視することによって奥行き情報を検出する奥行き情報検出手段をさらに備え、前記目標画像決定手段は、複数の移動体が存在する場合には自装置から最も距離が近い前記移動体の輪郭上の位置から、前記手先位置を推定することを特徴とする。
【０００６】
この発明によれば、まず、人物その他の音源から発せられた音が、音検出手段により検出される。次に、検出された音が、あらかじめ決められた指示語の音声であるか否か、音声認識手段によって判定される。次に、撮像手段の作動により、周辺の画像が撮影される。次いで、輪郭抽出手段の作動により、撮影された画像から特定の形状を有する移動体の輪郭が抽出される。次に、目標画像決定手段の作動により、移動体の輪郭上の位置であって、移動体の重心から遠く且つ移動体の重心より上方の位置が手先位置として推定される。そして、制御手段の作動により、撮影手段の撮影方向が制御されて推定された手先位置の方向に向けられる。
また、この発明によれば、人物等の画像を撮影する撮像手段が２台のカメラである撮像装置から構成され、その２台のカメラによってステレオ画像が撮影される。そして、奥行き情報検出手段の作動により、撮影されたステレオ画像を立体視することによって、カメラからの距離を示す奥行き情報が検出される。
したがって、音を発した移動体等の方向だけではなく、カメラとの３次元位置関係に関する情報を検出することが可能となる。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、複数のマイクで検出された音に関して音圧を計算し、前記音圧の差を計算することによって音源の方向を特定する音源定位手段をさらに備え、前記制御手段は、さらに、特定された音源方向に向けて前記撮像手段の撮影方向を制御することを特徴とする。
【０００８】
この発明によれば、検出された音に基づいて、音源定位手段が作動することにより、その音を発した音源の方向が特定される。さらに、制御手段の作動により、周辺の画像を撮影する撮像手段であるカメラが制御されて、その撮影方向が特定された音源の方向に向けられる。
【０００９】
請求項３記載の発明は、請求項１または２記載の発明において、前記音声認識手段は、前記検出された音の音圧の時間変化から波形形状を推定し、前記波形形状がなだらかである場合には人間の音声であると判定し、前記波形形状がなだらかでない場合には人間の音声でないと判定し、人間の音声であると判定した場合に、検出された音が、予め決められた指示語の音声であるか否か判定することを特徴とする。
【００１０】
この発明によれば、音声の波形形状に基づいて人間の音声であるか否か判定される。
【００１１】
本願の発明は、音源から発せられた音を検出する音検出手段と、検出された音に基づいて音源の方向を特定する音源定位手段と、周辺の画像を撮影する撮像手段と、撮影された画像から特定の形状を有する目標画像を抽出する目標画像抽出手段と、特定された音源方向および抽出された目標画像に基づいて該目標画像に向かう方向に姿勢または位置を変更する姿勢位置変更手段とを備えるように構成されても良い。
【００１２】
このように構成された本願発明によれば、まず、人物その他の音源から発せられた音が、音検出手段の作動により検出される。次に、検出された音に基づいて、音源定位手段が作動することにより、その音を発した音源の方向が特定される。一方、撮像手段の作動により、自律移動ロボット周辺の画像が撮影される。次いで、目標画像抽出手段の作動により、撮影された画像から特定の形状を有する目標画像が抽出される。そして、姿勢位置変更手段の作動により、特定された音源方向および抽出された目標画像に基づいて目標画像に向かう方向に姿勢または位置が変更される。
したがって、人物の位置を発生された音声により認識するだけではなく、人間のような振る舞いをして、その人物に対して親近感を抱かせることが可能となる。
【００１３】
請求項４記載の発明は、請求項１から３までのいずれかの項に記載の発明において、前記音声認識手段は、前記波形形状の平均音圧が第一の閾値以上であり、前記波形形状の先頭の音圧と前記平均音圧との差が第二の閾値以下であり、且つ、音の継続時間が第三閾値以上である場合に、人間の音声であると判定することを特徴とする。
【００１４】
この発明によれば、第一の閾値、第二の閾値、及び第三の閾値に基づいて人間の音声であるか否か判定される。
【００１７】
【発明の実施の形態】
以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明の一実施形態による自律行動ロボットの構成を示すブロック図である。本実施形態における自律行動ロボットは、対面者である人物に対して親近感を抱かせるような人間型ロボットを想定しており、目や耳等を有する頭部に相当するロボット頭部１と、胴体に相当するロボット胴体部２と、手足に相当するロボット手足部３とから構成される。尚、犬や猫のタイプのような４本足のペットロボットの場合、ロボットの手や足は４つの部分に分かれてそれぞれの部分が関連して動作するが、本実施形態では便宜上これをまとめて一つのロボット手足部３として記述する。
【００１８】
ロボット頭部１は、周囲のカラー画像を撮影するための撮像部１１と、音源から発せられた音を検知するための音検出部１２と、撮像部１１および音検出部１２が固定されているロボット頭部１自身を左右上下方向に任意の角度で向けることができる頭部駆動部１３とから構成される。
【００１９】
撮像部１１は人間型ロボットの目の役割を果たすため、ロボット頭部前面に同じ高さに水平に設置された、互いに対応付けられた２台のＣＣＤカメラで構成されており、カラーのステレオ画像を撮影することが可能である。これらのカメラは図１において右カメラ１１１と左カメラ１１２で示されている。尚、本実施形態では入力画像は８ビット（２５６階調）の濃淡値で表現されているものとする。また、音検出部１２は、人間型ロボットの耳の役割を果たすため、ロボット頭部１の左右それぞれの側面に設置された２本のマイクで構成されている。図１において、その２本のマイクは、右マイク１２１と左マイク１２２で示されている。これらのマイクで受信したアナログの入力音響信号は、デジタルの時系列信号に変換される。
【００２０】
ロボット胴体部２は、撮像部１１で撮影されたカラーのステレオ画像を記憶するための画像記憶部２３と、記憶された画像を処理してロボット頭部１またはロボット手足部３にあらかじめ決められた動作をさせるための情報を獲得する画像処理部２４とを備える。また、ロボット胴体部２は、音検出部１２で検出された音に関する情報を記憶する入力音記憶部２１と、入力された音を処理してロボット頭部１にあらかじめ決められた動作をさせるための情報を獲得する音声処理部２２とを備える。さらにロボット胴体部２は、音声処理部２２と画像処理部２４における処理の結果に基づいて、ロボット頭部１またはロボット手足部３の動作を制御して、ロボット頭部１の向きを変化させ、ロボットの姿勢や位置を変化させるための動作指示を行う動作指示部２５を備えている。
【００２１】
音声処理部２２は、記憶された音に関する情報に基づいて両マイクの音到達時間差と音圧差により水平方向の音源の相対的な方向を特定する音源定位処理部２２１と、当該音が人間が発した音声か否かを判別するための音声判別部２２２と、特定の音声命令が記憶された音声情報記憶部２２３と、音声情報記憶部２２３に接続され入力された音声が特定の命令であるか否かを認識する音声認識部２２４とから構成される。
【００２２】
一方、画像処理部２４は撮影された画像から特定の目標を抽出するための目標画像抽出部２４１と、特定の個人を識別するための個人情報が記憶された個人識別情報記憶部２４２と、目標画像抽出部２４１と個人識別情報記憶部２４２とに接続され、抽出された人物の顔画像が特定の個人であるか否かを識別する個人識別部２４３と、画像記憶部２３に記憶されたステレオ画像から立体視によって奥行き情報を算出する奥行き情報検出部２４４とから構成される。
【００２３】
また、目標画像抽出部２４１は、人物の顔画像等を含む肌色領域を抽出するための肌色領域抽出部２４１ａと、人物等の輪郭を抽出するための輪郭抽出部２４１ｂと、肌色領域抽出部２４１ａまたは輪郭抽出部２４１ｂで抽出された情報に基づいて特定の目標画像を決定する目標画像決定部２４１ｃとから構成される。
まず、肌色領域抽出部２４１ａは、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域からなる肌色領域画像を作成する。また、輪郭抽出部２４１ｂは、肌色領域抽出手段２４１ａで抽出された肌色領域の輪郭部分をエッジとして抽出してエッジ画像を作成する手段である。尚、肌色領域抽出部２４１ａと輪郭抽出部２４１ｂにおける処理は、特願２００１−０１３８１８に記載されている肌色領域抽出及び輪郭抽出の方法を用いることもできる。
【００２４】
また、輪郭抽出部２４１ｂは上記抽出方法に加えて、スネーク（Ｓｎａｋｅｓ）と呼ばれる動的輪郭モデルを適用する輪郭抽出手段の作動により、撮影された画像の中から目標画像の輪郭を抽出することもできる。
さらに、ロボット手足部３には、ロボット胴体部２の動作指示部２５に接続され、当該ロボットの手足をあらかじめ決められた動作を行うように制御するための手足駆動部３１が備わっている。このように、上述した頭部駆動部１３と動作指示部２５と手足駆動部３１は、人間型ロボットの動作等の制御手段となり対面者に対して親しみを抱かせるような動きをする。
【００２５】
次に、図面を参照して、上述した実施形態の動作について説明する。
図２は、同実施形態における自律行動ロボットの各部の動作を説明するためのフローチャートである。以下の説明において、画像処理、音源定位処理、音声認識処理、動作指示処理は各々並列に処理が実行され、それらの処理結果に基づいて視線制御値の算出を行い頭部の駆動が行なわれるものする。
まず、音源方向、音種別、音量を入力する（ステップＳ１）。続いて、音声認識結果を入力する（ステップＳ２）。さらに、頭部位置候補、及び顔位置候補を入力する（ステップＳ３）。
【００２６】
そして、音の入力があったか否かが判断される（ステップＳ４）。その結果、音検出部１２で音が検出されなかった場合（ＮＯ）、撮影された画像に対して画像処理部２４の作動により、目標画像の抽出処理が行われる（ステップＳ１１）。また、何らかの音が検出された場合（ＹＥＳ）、その音に関する情報が入力音記憶部２１に記憶される。ここで、音に関する情報とは、検出された音の受信信号や、左右マイク１２１、１２２に到達したときの時間、時間差等が含まれる。そして、これらの音声情報を音声処理部２２で処理することにより動作指示部２５に与える各種情報が求められる。
【００２７】
音声処理部２２における音源定位処理部２２１では、当該ロボットに対する左右マイク１２１、１２２で検出された音の音源の方向が特定される（ステップＳ５）。ここで、音源の方向を特定する手順について図面を用いて詳述する。図３は、同実施形態による自律行動ロボットの音源定位処理部２２１の細部の構造を説明するためのブロック図である。図３において、音到達時間差計算部２２１ａには、入力音記憶部２１に記憶された入力音に関する情報に基づいて、左右マイク１２１、１２２で検出された音の到達時間が入力され、その時間差が計算される。すなわち、両入力時系列の相互相関関数から時系列間の位相差を推定し、音到達時間差τの候補を出力する。
【００２８】
また、音圧測定部２２１ｂ、ｃでは、それぞれ右マイク１２１、左マイク１２２で検出された音に関する受信信号から、入力時系列の一定時間窓における二乗平均の平方根を計算することによってｄＢ値によって音圧Ｖ_sが計算される。そして、音圧差計算部２２１ｄにおいて音圧計算部２２１ｂおよび２２１ｃで求められた音圧の差がｄＢ値で計算される。その結果、音源方向計算部２２１ｅにおいて、右マイク１２１と左マイク１２２で検出された音から音源の方向Θ_sを出力することができる。
【００２９】
ここで、音圧の計算方法について説明する。図４は、入力初期位置の音圧の時間変化から推定されたエンベローブ（波形形状）による音圧の計算例について示した図である。例えば、図４（ａ）に示すように、人間の音声「おい」が入力され、左図のように振幅と時間との関係が得られた場合、エンベローブ推定によって右図のように音圧と時間との関係に置き換えることができる。そこで、エンベローブのなだらかさを評価して、なだらかな場合を人間の音声と判定してＶ_sの符号を正の値とし、急峻な立ち上がりをする場合を音声以外の音としてＶ_sの符号を負に設定する。また、図４（ｂ）に示すように、手拍子音の場合は、人間の音声と比較して、振幅は音声よりも大きいが、計測された時間が短いという特徴がある。
【００３０】
一方、図５は、図３に示された音源定位処理部２２１において出力である音源方向を求めるための手順について説明するための図である。ここでは、２つの音響入力端子（右マイク１２１、左マイク１２２）に到達する音響信号における時間差と音圧差により、水平方向の相対的な音源の方向を推定する。図５（ａ）は、音源定位処理部２２１における動作手順について詳細に説明するための図である。図３に示す音到達時間差計算部２２１ａにおいて、音到達時間差τの候補が計算される。また、音圧差計算部２２１ｄにおいて、音圧差Ｖ_sが計算される。次に、図５（ｂ）に示すような音圧差からの音到達時間差τの選択領域マップを用いて、求めた音圧差から音到達時間差τの選択領域Ａを設定する。そして、音到達時間差τの候補から選択領域Ａに属するτを選択する。このようにして求めた音到達時間差τから、以下に示す音源の方向を算出する計算式、あるいは図４（ｃ）に示されるτとΘ_sとを対応付けるマップによって音源の方向Θ_sを求める。
【００３１】
図６は、本実施形態における音源の方向Θ_sを説明するための図である。図６に示すように、音源の方向は、左右マイク１２１、１２２を結んだ線分と、その線分の中点と音源とを結んだ線分とのなす角Θ_s で示す。すなわち、音源の方向は式（１）に示される角度Θ_sで求めることができる。
Θ_s＝ｓｉｎ^ー ¹（Ｖ・τ／ｄ）（１）
ここで、Ｖは音速、τはそれぞれのマイクで検出された音の到達時間差、ｄはそれぞれのマイク間の距離である。
【００３２】
これと同時に、検出された音が人間の音声であるか、それ以外の音であるかの判別が音声判別部２２２において行われる（ステップＳ５）。図７は、音声判別部２２２の細部構成を説明するためのブロック図である。ここでは、音響入力端子（右マイク１２１、左マイク１２２）に到達する音響信号の入力初期位置におけるエンベローブ（波形形状）を評価することにより、その音響信号が音声であるか、それ以外の音であるかを判別する。図７において、音圧計算部２２２ａと２２２ｂは、それぞれ右マイク１２１と左マイク１２２で検出した音の音圧を計算する部分である。また、平均音圧計算部２２２は、計算した音圧の平均音圧を計算する部分である。さらに、エンベローブ推定部２２２ｄは、図４に示す振幅からエンベローブを推定する部分である。そして、判別部２２２ｅは、人間の音声であるか、それ以外の音であるかを判別する部分である。
【００３３】
図８は、図７に示される音声判別部２２２の動作を説明するためのフローチャートである。入力された音は上述したように、音圧が計算されて平均音圧計算部２２２ｃの作動により、平均音圧Ｖ_sが計算され、エンベローブ推定部２２２ｄで図４に示すようなエンベローブが推定される（ステップＳ８１）。そして、計算された平均音圧Ｖ_sがあらかじめ設定された一定値α以上であるか否かが判断される（ステップＳ８２）。その結果、平均音圧Ｖ_sが一定値α以上であれば（ＹＥＳ）、続いて平均音圧Ｖ_sと音響信号先頭の音圧ｐＶ_sとを比較してβ以上減衰しているか否かが判断される（ステップＳ８３）。一方、ステップＳ８２で平均音圧Ｖ_sが一定値α以上でない場合（ＮＯ）、人間の音声以外の音であると判断される（ステップＳ８４）。
【００３４】
そして、ステップＳ８３において、β以上減衰していると判断された場合（ＹＥＳ）、人間の音声以外の音であると判断される（ステップＳ８４）。また、β以上減衰していないと判断された場合（ＮＯ）、ステップＳ８５に進んで一定時間Ｔ以上継続した音か否かが判断される。そして、一定時間Ｔ以上の音であると判断された場合（ＹＥＳ）、人間の音声であると判断される（ステップＳ８６）。また、一定時間Ｔ以上継続していない場合（ＮＯ）、ステップＳ８１に戻る。上述したステップＳ８２以降の一連の処理は、判別部２２２ｅの作動により行われる。
尚、音圧計算部は音源定位処理部２２１と音声判別部２２２の両方に必要であるため、音源定位処理部２２１と音声判別部２２２の両部で音圧計算部を共有する構造にしてもよい。
【００３５】
次に、このようにして求められた音源の位置が人間型ロボットの視野角内にあるか否かが判定される（ステップＳ６）。その結果、すでにロボットの視野角内にあれば、ステップＳ８に進む。また、視野角内にないと判断された場合は、ロボット頭部１の方向が求められた音源の方向Θ_sに基づいて動作指示部２５からの指示による頭部駆動部１３の作動により方向転換される（ステップＳ７）。そして、再びステップＳ１へ戻る。
【００３６】
さらに、ステップＳ５で判定された入力音が人間の音声であるか否かが判定される（ステップＳ８）。その結果、人間の音声であると判断された場合（ＹＥＳ）、さらにその音声が指示語であるか否かが判断される（ステップＳ１０）。また、ステップＳ８で人間の音声でないと判断された場合（ＮＯ）、一定時間経過後に方向転換したロボット頭部１を元の方向に戻す（ステップＳ９）。
【００３７】
ステップＳ１０では、入力された音声があらかじめ決められた指示語であるか否かが判定される。この判定は、音声情報記憶部２２３に記憶されている音声に関する情報と入力音声との比較が音声認識部２２４において行われる。この結果、入力音声が特定の指示語であると判定された場合は、指示された手先位置の領域が推定される（ステップＳ１４）。次いで、この方向に基づいて視線制御値が算出される（ステップＳ１５）。そして、ロボット頭部１が方向転換される（ステップＳ１６）。
【００３８】
一方、画像処理では人間の顔領域の抽出が行われる（ステップＳ１１）。顔領域の抽出に際して、肌色領域および輪郭の抽出方法については、上述したように、肌色領域抽出部２４１ａは、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域とそれ以外の領域とからなる肌色領域画像を生成する。また、輪郭抽出部２４１ｂは、肌色領域抽出部２４１ａにおいて得られた肌色領域画像からエッジ抽出をすることによって肌色領域の輪郭を抽出する。
尚、顔領域の抽出において、画像内輪郭の最上点を始点として、あらかじめ距離に応じた大きさの矩形領域を走査して、輪郭内画素が最も多く含まれる位置を求めて、その位置を頭部候補位置Ｍ（ｘ，ｙ）とする。ここで、（ｘ，ｙ）は原点を画像の左上として、右方向をｘ、左方向をｙとした画像上の座標値を表している。図９は、移動体の輪郭と頭部候補位置および手先位置を説明するための図である。尚、図９（ｃ）に示す手先位置に関する処理については後述する。
図１０は、撮影されたカラー画像と抽出される顔画像候補Ｆ（ｘ，ｙ）との関係を説明するための図である。
【００３９】
そして、上述した手順によって得られた視線制御値である音源の方向Θ_sと、音声認識結果Ｃ_vと、頭部候補位置Ｍ（ｘ，ｙ）と、顔候補位置Ｆ（ｘ，ｙ）とが算出される（ステップＳ１２）。これらのデータが動作指示部２５に入力することによって、頭部駆動部１３あるいは手足駆動部３１の動作が制御され、ロボット頭部１あるいはロボット手足部３が動く（ステップＳ１３）。例えば、頭部候補位置Ｍ（ｘ，ｙ）または顔候補位置Ｆ（ｘ，ｙ）の相対角と音源の方位Θｓとの差が最小となる頭部候補位置Ｍ（ｘ，ｙ）または顔候補位置Ｆ（ｘ，ｙ）を選択して、それよりパン、チルト角が算出される。但し、音の入力がない場合は、頭部候補位置Ｍ（ｘ，ｙ）および顔候補位置Ｆ（ｘ，ｙ）間の距離が、あるしきい値内であるものについて式（２）で求める。
Ｇ（ｘ，ｙ）＝１／ｎ＊｛Ｍ（ｘ，ｙ）＋Ｆ（ｘ，ｙ）｝（２）
但し、ｎは互いの距離がしきい値内の位置の総数である。
【００４０】
そして、この中から移動体までの距離が最も近いＧ（ｘ，ｙ）を選んで、これに基づいてパン、チルトの視線制御値を算出することによって、ロボット頭部１が制御される。尚、移動体までの距離の選択方法は、移動体が複数の場合は、適切な順によってロボット頭部１のパン、チルト制御させ、くまなくロボットの視線を制御させることも可能である。
また、音の入力がなく、顔候補位置Ｆ（ｘ，ｙ）のみが求められた場合には、画像中央からの距離が近い順にパン、チルト角を算出して、ロボット頭部１を制御させる。さらに、音の入力がなく、頭部候補位置Ｍ（ｘ，ｙ）のみが求められた場合には、距離が最も近いものから順にパン、チルト角を算出して、ロボット頭部１を制御させる。
【００４１】
一方、ステップＳ１０で入力音声が、例えば「これ」、「この」、「ここ」等の指示語であった場合、手先位置Ｈ（ｘ，ｙ）が推定される（ステップＳ１４）。すなわち、図９に示すように、頭部候補位置Ｍ（ｘ，ｙ）と輪郭内画素の位置の平均から求められる移動体重心Ｇからより遠い輪郭上の位置であって、かつ、重心Ｇより上の部分にあたる点Ｈ（ｘ，ｙ）が手先位置として目標画像推定部２４１ｃにおいて推定される。ここで、Ｈ（Ｘ，Ｙ）を中心とする矩形領域内から肌色領域を抽出し、手先位置を求めてもよい。次いで、その位置に基づいて、頭部駆動部１３に対してパン、チルト角等の動作指示情報が動作指示部２５において算出される（ステップＳ１５）。そして、動作命令が頭部駆動部１３に伝えられて、例えばロボット頭部１が方向転換される（ステップＳ１６）。
【００４２】
また、本実施形態においては、輪郭抽出手段として上述した差分による方法のほかに、ステレオ画像から得られる時系列画像からスネークと呼ばれる移動体抽出アルゴリズムを用いて移動体の輪郭を抽出してもよい。この方法においては、ある探索領域内において動きのあるエッジが最も多く分布する距離を移動体までの距離と仮定して、その距離近辺にあるエッジを画像エネルギーとする。そして、この画像エネルギーを外部エネルギーとしてスネークアルゴリズムを用いて輪郭を抽出する。
【００４３】
なお、図１における音声処理部２２および画像処理部２４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより顔領域の検出等を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００４４】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４６】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、移動体の手先位置に向かう方向に、撮像手段の撮影方向を制御することが可能となる。また、音を発した人物等の方向だけではなく、カメラとの３次元位置関係に関する情報を検出することができる。したがって、視線を呼びかけた人の方向に向けたり、対面者の顔を認識したり、いくつかの命令に応じた行動をとることができる。
【００４８】
【図面の簡単な説明】
【図１】この発明の一実施形態による自律行動ロボットの構成を示すブロック図である。
【図２】同実施形態における自律行動ロボットの各部の動作を説明するためのフローチャートである。
【図３】同実施形態による自律行動ロボットの音源定位処理部２２１の細部の構造を説明するためのブロック図である。
【図４】入力初期位置の音圧の時間変化から推定されたエンベローブ（波形形状）による音圧の計算例について示した図である。
【図５】図３に示された音源定位処理部２２１において出力である音源方向を求めるための手順について説明するための図である。
【図６】本実施形態における音源の方向Θ_sを説明するための図である。
【図７】音声判別部２２２の細部構成を説明するためのブロック図である。
【図８】図７に示される音声判別部２２２の動作を説明するためのフローチャートである。
【図９】移動体の輪郭と頭部候補位置および手先位置を説明するための図である。
【図１０】撮影されたカラー画像と抽出される顔画像候補Ｍ（ｘ，ｙ）との関係を説明するための図である。
【符号の説明】
１ロボット頭部、２ロボット胴体部、３ロボット手足部、
１１撮像部、１２音検出部、１３頭部駆動部、
２２音声処理部、２４画像処理部、２５動作指示部、
３１手足駆動部、１１１右カメラ、１１２左カメラ、
１２１右マイク、１２２左マイク、
２２１音源定位処理部、２２２音声判別部、
２２３音声情報記憶部、２２４音声認識部、
２４１目標画像抽出部、２４２個人識別情報記憶部、
２４３個人識別部、２４４奥行き情報検出部

Claims

音源から発せられた音を検出する音検出手段と、
検出された音が、あらかじめ決められた指示語の音声であるか否か判定する音声認識手段と、
周辺の画像を撮影する撮像手段と、
撮影された画像から特定の形状を有する移動体の輪郭を抽出する輪郭抽出手段と、
前記音声認識手段によって前記指示語の音声であると判定された場合に、前記移動体の輪郭上の位置であって、前記移動体の重心から遠く且つ前記移動体の重心より上方の位置を手先位置として推定する目標画像決定手段と、
前記手先位置に基づいて該手先位置に向かう方向に前記撮像手段の撮影方向を制御する制御手段と
を有し、
前記撮像手段が、互いに対応付けられた２台の撮像装置から構成され、
撮影された２枚の画像で構成されるステレオ画像を立体視することによって奥行き情報を検出する奥行き情報検出手段をさらに備え、
前記目標画像決定手段は、複数の移動体が存在する場合には自装置から最も距離が近い前記移動体の輪郭上の位置から、前記手先位置を推定することを特徴とする自律行動ロボット。
複数のマイクで検出された音に関して音圧を計算し、前記音圧の差を計算することによって音源の方向を特定する音源定位手段をさらに備え、
前記制御手段は、さらに、特定された音源方向に向けて前記撮像手段の撮影方向を制御することを特徴とする請求項１に記載の自律行動ロボット。
前記音声認識手段は、前記検出された音の音圧の時間変化から波形形状を推定し、前記波形形状がなだらかである場合には人間の音声であると判定し、前記波形形状がなだらかでない場合には人間の音声でないと判定し、人間の音声であると判定した場合に、検出された音が、予め決められた指示語の音声であるか否か判定することを特徴とする請求項１または２のいずれかの項に記載の自律行動ロボット。
前記音声認識手段は、前記波形形状の平均音圧が第一の閾値以上であり、前記波形形状の先頭の音圧と前記平均音圧との差が第二の閾値以下であり、且つ、音の継続時間が第三閾値以上である場合に、人間の音声であると判定することを特徴とする請求項１から３までのいずれかの項に記載の自律行動ロボット。