JP2017514709A - 自律的生活能力を備えた人型ロボット - Google Patents

Abstract

本発明は、特に、人がいる場合を判定するために、且つ人の要望の評価に対応して前記人とのアクティビティに従事するために、自らの環境を調査できる人型ロボットに関する。ロボットのオペレーティングシステムは、エクストラクタ（センサ及び処理機能）によって受信された情報を処理するように、現在条件及び人との関与の履歴の関数として優先順位付けされるアクティビティ（ジェスチャ、ダイアログ等）をリストするように、どのアクティビティが開始されるべきかを決定するように、且つアクチュエータにアクティビティを実行させるように、ロボットにおいて構成される。ロボットのセーフガード条件もまた、実行されるアクティビティのリストにおいて考慮される。

Description

本発明は、ロボットプログラミングシステムの分野に関する。より具体的には、本発明は、関節肢で動き回るか又はそれらを用いるロボット、特に人又は動物の形態のロボットの振る舞い及び動きを編集及び制御することに適用される。

ロボットは、それが人の或る外観属性、即ち頭、胴体、２つの腕、２つの手等を有する瞬間から、人型としての資格を与えられ得る。しかしながら、人型ロボットは、多かれ少なかれ洗練され得る。その肢は、より多数又は少数の関節を有してもよい。それは、それ自体のバランスを静的又は動的に制御し、且つ恐らく三次元において二肢で歩くか又は単にベースで転がってもよい。それは、環境からの信号（「聞く」「見る」「触れる」「感じる」等）を拾い上げて、多かれ少なかれ洗練された振る舞いに従って反応し、スピーチ又はジェスチャによって他のロボット又は人と交流してもよい。現世代の人型ロボット用に、プログラマは、シナリオを作成することができ、シナリオは、ロボットによって対応され／実行されるイベント／行動のシーケンスとして多かれ少なかれ洗練させることができる。これらの行動は、ロボットと交流する人々の或る振る舞いを条件とする場合がある。しかし、第１世代のこれらの人型ロボットにおいて、アプリケーションプログラミングは、開発ツールキットにおいて行われ、各アプリケーションは、イベントを引き起こすことによって開始される必要があり、イベントの発生は、アプリケーションに含まれていた。

従って、ロボットが展開している環境に依存して、決定された方法で振る舞うことができる、人が行うような「自律的生活」を送り得る人型ロボットの必要性が存在する。本発明の目的は、プログラマのどんな介入もなしに、ロボットが展開している状況に適合された自らの生活シーケンスを自律的に決定できるロボットを提供することによって、先行技術のロボットの限界を克服することである。

この趣旨で、本発明は、ロボットにより実行するためのアクティビティを検索及び格納するための処理機能に接続されたメモリであって、アクティビティが、ロボットの予めプログラムされた振る舞い及び前記振る舞いの開始条件を備えたマニフェストファイルのペアから構成されたメモリと、状況、イベント、及びロボットを囲む場面にいる人との交流の１つ又は複数を特徴付ける画像、音声、接触及び慣性信号のエクストラクタと、光信号、表示される情報、音声、スピーチ、運動の１つ又は複数の行動のアクチュエータであって、前記１つ又は複数の行動が、振る舞いに属するアクチュエータと、を少なくとも含む人型ロボットであって、前記人型ロボットが、自動的にアクティビティの優先順位付けリストを作成するための、優先順位付けリストにおける少なくとも１つのアクティビティを選択するための、且つ前記アクティビティの実行を１つ又は複数のアクチュエータに命じるためのマインドモジュールを更に含むことを特徴とする人型ロボットを提供する。

有利なことに、メモリは、ロボットが一緒に交流する人の識別データ及び前記交流の所定のパラメータの照合を可能にするデータを格納するように更に構成される。

有利なことに、アクティビティの優先順位付けリストは、ロボットとコミュニケーションする状況における人の存在の判定、自律アクティビティを行う優先順位、及びいやしくもどんなアクティビティも実行できる能力の１つ又は複数に基づいて作成される。

有利なことに、ロボットとコミュニケーションする状況における人の存在の判定がなされた後で、複数の関与ゾーンが、ロボットのまわりで画定される。

有利なことに、複数の関与ゾーンは、人とロボットとの間の距離によって画定される。

有利なことに、複数の関与ゾーンは、人とロボットとの間の交流の文脈の発展に基づいて変化する。

有利なことに、ロボットとコミュニケーションする状況における人の存在の判定がなされた後で、エクストラクタサービスが、他のアクティビティの実行中に前記人を追跡し続ける。

有利なことに、アクティビティの優先順位付けリストは、ロボットが既に交流した人の好みのアクティビティの判定に基づいて作成される。

有利なことに、アクティビティの優先順位付けリストにおける順位は、第１にロボットをセーフガードする制約、第２に関与ゾーンの１つにおける１人又は複数の人の存在、及び第３にロボットによって自律的に実行できるアクティビティを考慮することによって設定される。

有利なことに、本発明のロボットは、優先順位付けアクティビティのリストの順位付けに寄与するリソースマネージャを更に含む。

有利なことに、アクティビティの優先順位付けリストは、優先順位付けリストにおける第１のアクティビティの実行の前にランダム化される。

本発明はまた、ロボットによって実行するためのアクティビティを検索及び格納することであって、アクティビティが、ロボットの予めプログラムされた振る舞い及び前記振る舞いの開始条件を備えたマニフェストファイルのペアから構成されることと、状況、イベント、及びロボットを囲む場面にいる人との交流の１つ又は複数を特徴付ける画像、音声、接触及び慣性信号の１つ又は複数のエクストラクタから検索することと、光信号、表示される情報、音声、スピーチ、運動の１つ又は複数の行動の１つ又は複数のアクチュエータを始動することあって、前記１つ又は複数の行動が振る舞いに属することと、を含む、人型ロボットを制御するための方法であって、前記方法が、自動的にアクティビティの優先順位付けリストをマインドモジュールに作成することと、優先順位付けリストにおける少なくとも１つのアクティビティを選択することと、前記アクティビティの実行を１つ又は複数のアクチュエータに命じることと、を更に含むことを特徴とする方法を提供する。

本発明はまた、本発明の方法をコンピュータ上で実行する場合に、実行に適したコンピュータコードを含むコンピュータプログラムを提供する。

本発明はまた、オペレーティングシステムの機能性を提供する。即ち、それは、ロボットのセンサの出力によって生成されたコマンドと、センサ読み取り値の異なる値用の振る舞いを定義するアプリケーションとの間の分離を可能にする。これは、コンピュータコードのモジュール方式及び従って協力的なプログラミングを可能にする。即ち、コミュニティのメンバは、たとえ低レベルのプログラミング機能へのアクセスが許されなくても働く異なるアプリケーションを提供することができる。本発明のソフトウェアアーキテクチャのおかげで、アプリケーションを開始できるために、ロボットに開発ツールキットを接続する必要がない。また、分離は、より容易なメンテナンスを可能にする。本発明のおかげで、ロボットが、１人又は複数の人と交流しなければならない状況にいるかどうか（交流モード）、ロボットの環境には人がいないかどうか（自律モード）、又はロボットが、特定の理由（セーフガードであり、低電圧、転倒又は他の理由）で危険な状態にあるかどうかに依存して、ロボットの振る舞いにおける優先順位を確立することがまた可能である。

多くの例示的な実施形態の以下の説明及びその添付の図から、本発明は、よりよく理解され、その様々な特徴及び利点が明らかになろう。

本発明の多くの実施形態における人型ロボットの物理的アーキテクチャを表示する。 本発明の多くの実施形態における人型ロボットのソフトウェアモジュールの機能的アーキテクチャを表示する。 図２のソフトウェアモジュールの機能的アーキテクチャの働きの流れ図を表示する。 本発明の多くの実施形態における優先順位付けアルゴリズムを示す。 本発明の多くの実施形態におけるロボットのまわりの関与ゾーンを決定する概略図を表示する。

図１は、本発明の多くの実施形態における人型ロボットの物理的アーキテクチャを表示する。

図における特定のロボット１００は、本発明が実施され得る人型ロボットの単なる例として理解される。図におけるロボットの下肢は、歩行のためには機能できないが、それが置かれた表面上で回転するそのベース１４０で任意の方向に移動することができる。本発明は、歩行に適したロボットにおいて容易に実施することができる。例として、このロボットは、約１２０ｃｍにできる高さ１１０、約６５ｃｍの奥行き１２０、及び約４０ｃｍの幅１３０を有する。特定の実施形態において、本発明のロボットは、それが、その環境にメッセージ（オーディオ、ビデオ、ウェブページ）を伝達できるか、又はタブレットの触覚インターフェースを介してユーザから入力を受信できるタブレット１５０を有する。タブレットのプロセッサに加えて、本発明のロボットはまた、それ自体のマザーボードのプロセッサを用い、そのプロセッサは、例えばＩｎｔｅｌ（商標）のＡＴＯＭ（商標）Ｚ５３０とすることができる。本発明のロボットはまた、有利なことに、本発明の特定の実施形態において、マザーボードと特に磁気式ロータリエンコーダ（ＭＲＥ）を担持する基板との間、及び肢における継ぎ目のモータを制御するセンサとロボットが車輪として用いるボールとの間のデータフローの処理専用のプロセッサを含む。モータは、明確な継ぎ目用に必要とされる最大トルクの大きさに依存して、異なるタイプにすることができる。例えば、ｅ−ｍｉｎｅｂｅａ（商標）からのブラシＤＣコアレスモータ（例えばＳＥ２４Ｐ２ＣＴＣＡ）、又はＭａｘｏｎ（商標）からのブラシレスＤＣモータ（例えばＥＣ４５＿７０Ｗ）を用いることができる。ＭＲＥは、１２又は１４ビットの精度を備え、ホール効果を用いるタイプが好ましい。

本発明の実施形態において、図１に表示されたロボットはまた、様々な種類のセンサを含む。それらの幾つかは、ロボットの位置及び運動を制御するために用いられる。これは、例えば、３軸ジャイロメータ及び３軸加速度計を含む、ロボットの胴体に位置する慣性ユニットの場合である。ロボットはまた、５フレーム／秒において５メガピクセルの分解能並びに約５７°水平及び４４°垂直の視野（ＦＯＶ）を備えた、Ｓｈｅｎｚｅｎ Ｖ−Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ（商標）からのカメラ（ＯＶ５６４０）など、システムオンチップ（ＳＯＣ）タイプのロボットの額（上端及び底部）に２つの２ＤカラーＲＧＢカメラを含むことができる。２０フレーム／秒において０．３メガピクセルの分解能を備え、且つ２Ｄカメラとほぼ同じＦＯＶを備えた、ＡＳＵＳ ＸＴＩＯＮ（商標）のＳＯＣセンサなどの１つの３Ｄセンサもまた、ロボットの目の後ろに含むことができる。本発明のロボットはまた、その環境における対象物／人に対するその相対的位置を感知できるように、例えば頭に３つ及びベースに３つなど、レーザラインジェネレータを装備することができる。本発明のロボットはまた、その環境において音声を感知できるマイクロホンを含むことができる。実施形態において、１ｋＨｚ及び３００Ｈｚ〜１２ｋＨｚの周波数範囲において３００ｍＶ／Ｐａ＋／−３ｄＢの感度（１ｋＨｚに対して−１０ｄＢ）を備えた４つのマイクロホンが、ロボットの頭に植え付けられ得る。本発明のロボットはまた、その環境における対象物／人への距離を測定するために、そのベースの前面及び背面に恐らく位置する２つのソナーセンサを含むことができる。ロボットはまた、人との交流を可能にするために、その頭及びその手の上に触覚センサを含むことができる。ロボットはまた、それがそのルート上で遭遇する障害物を感知するために、そのベースにバンパーを含むことができる。

ロボットの感情を翻訳し、且つその環境における人とコミュニケーションするために、本発明のロボットはまた、
− 例えば、その目、耳及び肩におけるＬＥＤと、
− その耳に位置する、例えば２つのラウドスピーカと、
を含むことができる。

本発明のロボットは、イーサネットＲＪ４５又はＷｉＦｉ８０２．１１接続を介して基地局又は他のロボットとコミュニケーションしてもよい。

本発明のロボットは、約４００Ｗｈのエネルギを備えたリン酸鉄リチウムバッテリによって電力を供給することができる。ロボットは、それが含むバッテリのタイプに適した充電ステーションにアクセスすることができる。

ロボットの位置／運動は、センサの測定値を考慮して、各肢によって画定されたチェーン及び各肢の端部において画定されたエフェクタを始動するアルゴリズムを用いて、ロボットのモータによって制御される。

図２は、本発明の多くの実施形態における人型ロボットのソフトウェアモジュールの機能的アーキテクチャを表示する。

本発明の目的は、ロボットが直面する条件を予想するために、プログラマのどんな介入もなしに、人型ロボットが自律的な方法でアクティビティを実行できるようにする方法を提供することである。欧州特許出願公開第２４３５２１６号明細書、欧州特許出願公開第２４５１６１７号明細書、欧州特許出願公開第２５８８２０９号明細書の下で公開された欧州特許出願など、本出願人に付与されている多くの特許又は特許出願に開示されているような先行技術において、ロボットは、プログラムされ、且つそのマザーボードにアップロードされたシナリオを実行することができる。これらのシナリオは、その環境において変化する条件への反応を含むことができるが、しかしロボットは、予想されなかった、且つそのマザーボードにアップロードされたコードに含まれていないか又は遠隔でアクセスされない条件に反応することができない。対照的に、本発明の目的は、ロボットが、プログラマによって予想されていないイベント／条件を考慮さえして、自律的に振る舞うことができるようにすることである。この目的は、図２に表示されている機能的アーキテクチャによって達成される。

この機能的アーキテクチャは、本質的に４つの主なソフトウェアモジュールを含む。

サービスモジュール２１０は、少なくとも３つのタイプのサービスを含む。
− エクストラクタサービス２１１。それは、図１に関連して説明したタイプのロボットセンサからの読み取り値を入力として受信する。これらのセンサ読み取り値は、ロボットの位置、その環境における対象物／人の識別、前記対象物／人の距離、人によって発せられた言葉又は人の感情に関係する関連データを抽出するように前処理される。エクストラクタサービスの例は、ロボットの近くにおける人の存在を認知する人認知と、これらの人の運動を検出する運動検出と、音声の位置を特定する音源定位と、ロボット触覚センサに対する接触を解釈する接触検出と、スピーチ認識と、ロボットの近くの人によって表現された感情を、その言葉又はジェスチャを通じて識別する感情認識と、である。
− アクチュエータサービス２１２。それは、継ぎ目又はベースのモータを始動するモーションと、ロボットの環境における人の動きに従うトラッカと、感情を伝達するためのロボットＬＥＤの点灯と、生気のあるスピーチ（スピーチ及びジェスチャの組み合わせ）と、振る舞い（ロボットの感情を表現できる、且つロボットが複雑な行動を実行できるようにする運動、言葉、点灯の組み合わせである）となど、ロボットの物理行動を制御する。
− システムサービス２１３。それは、データサービスを特に含む。データサービスは、一時的又は長期の格納データを提供する。データサービスの例は、次の通りである。
○ ユーザセクションサービス。それは、ユーザデータ及びユーザがロボットと行ったことのユーザ履歴を格納する。
○ パッケージマネージャサービス。それは、手順の高レベルの定義、始動条件及びタグと共に、ロボットによって実行された手順のスケーラブルな記憶装置を提供する。

アクティビティモジュール２２０は、予めプログラムされたロボットの振る舞い２２１を含む。振る舞いのプログラミングは、欧州特許出願公開第２４３５２１６号明細書（それは本特許出願の出願人に付与されている）の下で公開された欧州特許出願の目的であるグラフィカル統合開発環境（Ｃｈｏｒｅｇａｐｈｅ（商標））を用いて達成することができる。Ｃｈｏｒｅｇａｐｈｅ（商標）でプログラムされた振る舞いは、時間ベースの論理及びイベントベースの論理を組み合わせる。各振る舞いは、マニフェスト２２２のタグを付けられ、マニフェスト２２２は、振る舞いの開始条件を特に含むテキストファイルである。

マインドモジュール２３０は、アクティビティの選択を制御することによって、サービス及びアクティビティモジュールを一緒に結び付け、それは、エクストラクタの読み取り値に基づいて、且つセレクタと呼ばれる、マインドにおいて実行されるアルゴリズムに基づいてアクチュエータを始動する。セレクタの例は、次の通りである。
− アクティビティを実行する自律的生活２３１。状況の文脈に基づいて、マインドは、どのアクティビティに集中すべきかを自律的生活に語ることができる（下記の例を参照）。どんなアクティビティも、モジュールＡＰＩの全ての呼び出し手順に対する十分なアクセスを有する。アクティビティは、明確なアクティビティに集中するように自律的生活に指示する制約を含むことができる。
− 基本意識２３２。それは、動くようにモーションサービスに命じるために、人認知、運動検出及び音源定位などのエクストラクタサービスを申し込む。マインドは、状況に基づいて基本意識の振る舞いを構成する。他の時間に、基本意識は、独力で行動するか、又は実行中のアクティビティによって構成されている。
− ダイアログ２３３。それは、話すために、スピーチ認識 エクストラクタを申し込み、且つ生気のあるスピーチアクチュエータサービスを用いる。状況の文脈に基づいて、マインドは、どのトピックに集中すべきかをダイアログに命じることができる。マニフェストにおけるメタデータは、この情報をマインドに結び付ける。ダイアログはまた、会話を管理するためのそれ自体のアルゴリズムを有し、且つ通常は独力で行動している。

実行エンジン２４０は、サービスを引き出すためにＡＰＩ呼び出しを開始する。

図３は、図２のソフトウェアモジュールの機能的アーキテクチャの働きの流れ図を表示する。

図２のアーキテクチャは、パラメータを一緒に働かせるようにパラメータを修正するためにプログラマが従事する必要のない基本サービス（エクストラクタ２１１、アクチュエータ２１２、データ２１３、アクティビティ２２０）をオペレーティングシステムが含むという意味で、（ＮＡＯｑｉ（商標）ＯＳと名付けられた）オペレーティングシステムの機能を実行する。

ＮＡＯｑｉ（商標）ＯＳは、最も適切なインストールされたアクティビティの自律的開始を可能にするための機構を提供する。このアクティビティは、その開始条件を含むマニフェストを含む。これらの開始条件は、ＯＳエクストラクタが認知できるものに基づいている（例えば、ロボットのまわりに２人を超える人々がいるか、又はロボットの使用条件に適合すると判定されるであろう任意の他の条件がある場合は常に開始しようとする）。

マインドは、開始すべき１つ又は幾つかのアクティビティの選択を担当する。そうするために、マインドは、ＯＳエクストラクタに申し込み、且つ全てのインストールされたアクティビティの開始条件を評価する。これらの条件の変数は、イベントに基づいている。イベント条件は、リストされたアクティビティが開始される前にシステムが待つ期間（即ち秒数）用のタイムラグの表示をイベントに追加することによって、時間に依存するようにすることができる。従って、効率的に、変更された変数を含む条件ステートメントだけが、再評価される必要がある。ソートアルゴリズム、その優先順位及びライフサイクル（以下を参照）の結果に基づいて、アクティビティは開始されてもよく、幾つかのアクティビティは、恐らく停止されてもよい。

実行されるアクティビティは、それが行うようにプログラムされたタスクを実行するためのＯＳサービス（エクストラクタ、アクチュエータ及びマインドサービスを含む）へのＡＰＩ呼び出しに依存する。実行中にアクティビティが、集中されるか開始されるか、又は停止される場合は常に、学習を容易にするために（更に下記の説明を参照）マインドは、これが起こった場合に関するデータ、次に条件の現在の状態、及びユーザの反応であると思われるものを収集する。

既存のエクストラクタイベントが、条件にとって十分でない場合に、開発者は、新しいイベントを生成するために追加のエクストラクタを作成し、且つそのアプリケーションと共にそれをパッケージに分配することができる。

生活アクティビティ及びダイアログトピック（即ち、例えば、ロボットが、人とコミュニケーションする状況にいる場合に、自律的に又はトリガ条件に基づいて実行できるアクティビティ）はまた、いつでも、異なるアクティビティ又はトピックに集中を切り替えるように、プログラムによってマインドに命じることができる。

開始されるアクティビティを決定する可能なアルゴリズムの一例が、以下で説明される。
− アクティビティの開始条件が、真又は偽になる瞬間に、その瞬間の全ての可能なアクティビティのリストが、マインドに送信される。
− リストは、（以下で更に説明されるように）アクティビティ優先順位付けに従ってフィルタリングされる。
− リスト順は、ランダム化される。
− リストは、「ユニークで」それほど始動されなかったアクティビティに優先権を与えるためにソートされる（又は得点を付けられる）。
− このリストにおけるトップのアクティビティが、実行された前のアクティビティと同じアクティビティではないことを確かめる特別のチェック。
− ユーザの好みに従って、リストは、再びソートされフィルタリングされる。

単に例として、微笑む人の検出は、ロボットが、共感できる振る舞い（微笑み、親切な言葉等）を示す場合に開始するための候補であるアクティビティをリストする基準として用いられる。これは、エクストラクタの１つである感情認識モジュールによって達成される。また、この感情認識モジュールは、判定された人の面前で、その人の反応の関数として実行されたアクティビティにタグを付けるために、且つ前記判定された人に関与するための優先順位リストを作成するために、フィードバックループにおいて用いられる。

ランダム化は、同じ優先順位を備えた２つ以上のアクティビティが、開始されるようにリストされている場合に、ちょうど前に既に実行されたアクティビティが、もう一方のリストされたアクティビティより多くの開始される確率を有しないように用いられる。ランダム化される振る舞いは、多くの理由でリストのトップに来る可能性がある一連のアクティビティほど「メカニカル」ではないように見える。

図３において、次の表記法は、以下の説明で更に提供される例のデータフローにおける異なるステップを表すために用いられる。
− Ａ：パッケージマネージャ
− Ｂ：エクストラクタ
− Ｃ：アクティビティ提案
− Ｄ：ユーザ＋履歴データ
− Ｅ：マインド優先順位付け
− Ｆ：集中される自律アクティビティ
− Ｇ：集中されるダイアログトピック
− Ｈ：他のマインドサービスを構成する

図４は、本発明の多くの実施形態における優先順位付けアルゴリズムを示す。

最初に、ロボットが電源を投入されると、マインドは、アクティビティもダイアログも実行されていない単純な自律状態にある。マインドは、人を発見するために最適化され方法で、音声及び運動を追跡するために、基本意識サービスを構成する。自律アクティビティ用の条件が真である場合に、マインドは、可能ならばアクティビティを開始する。アクティビティの優先順位付けは、可能性を判定する。好ましい実施形態において、以下の規則に従って、３つの主な優先順位、即ち自律、交流及びセーフガードが、昇順に定義される。
− アクティビティが実行されていない場合に、セーフガード４３０、交流４２０又は通常の自律４１０は、開始することができる。
−自律アクティビティが、既に集中されている場合に、交流又はセーフガード優先順位だけが開始され得、自律アクティビティは、中断及び停止される。
− 交流優先順位のアクティビティが集中されている場合に、セーフガードだけが開始され得、それは、現在の交流優先順位のアクティビティを中断する。
− セーフガードが集中されている場合に、より高いレベルのセーフガードだけが集中され得、それが、現在のセーフガードを中断する。

追加の優先順位は、受動自律、受動交流、及びＰ並列反応である。
− 受動自律アクティビティは、正常自律アクティビティによって中断され得、そうでなければ正常自律アクティビティと同じであるアクティビティである。
− 受動交流は、正常交流優先順位アクティビティによって中断され得、そうでなければ交流優先順位アクティビティと同じであるアクティビティである。
− 単一並列反応アクティビティは、（受動）自律又は交流優先順位アクティビティと並列に行われ得るが、しかしセーフガード優先順位アクティビティ中には行われ得ない。これらは、実行中のアクティビティと衝突しないように、リソースマネージャに依存する。本発明のＯＳと組み合わせて用いることができるリソースマネージャが、欧州特許出願第２６５１６０７号明細書の下で公開された欧州特許出願に開示されている。

新しい交流又は単独アクティビティが集中される前に、マインドは、パラメータをデフォルトするようにロボットを構成し、その結果、アプリケーションは、例えば、全ての自己衝突回避動作アニメーション機能がイネーブルにされることを保証する周知の状態から開始される。前のアクティビティの開発者が、これらの特徴をディスエーブルにした場合に、次のアクティビティが開始する前に、確実に常態に戻るように設定される。構成によって定義されるように、マインドは、より高いレベルで他のモジュールをパラメータ化する。マインドが、交流優先順位アクティビティにある場合に、それは、ユーザの安全性のためにロボットのセンサの盲点を縮小するために、時々動き回るように自律運動アクティビティを構成する。交流優先順位アクティビティにおいて、それはまた、会話のために最適化された方法で、人を追跡するように基本意識サービスを構成する。追加マインドサービスが、システムに追加され得、且つ条件及び状態に従って、実行時に動的に構成され得る。現在の自律優先順位に基づいて、マインドは、条件付きの状況を得るために、必要とされるエクストラクタを始動する。交流優先順位アクティビティである場合に、このサブセットは、人の会話のために縮小／最適化される。

図５は、本発明の多くの実施形態におけるロボットのまわりの関与ゾーンを決定する概略図を表示する。

本発明の多くの実施形態において、本発明のロボットの動作を示すために、様々なシナリオが以下で説明される。例は、この図において境界５３０、５５０によって範囲を定められた番号付き「関与ゾーン」５４０、５６０、５７０における、ロボット５１０に関連する人の位置５２０に依存する。これらの関与ゾーンの形状及び大きさは、実行時に動的に構成可能である。関与ゾーンは、エクストラクタサービスである。

再構成可能な関与ゾーンは、ロボットが、その環境における人と交流すべき場合を決定する効率的な方法である。その理由は、かかるプロセスを用いれば、全てのエクストラクタサービス、特に人認知のように著しい電力量（エネルギ及びコンピュータ）を用いるエクストラクタサービスを永続的に実行する必要がないからである。従って、このサービスが、ロボットの近くで人を「捕捉した」場合に、マインドは、上記の「関与ゾーン」概念に基づく、単純化された追跡モードを用いる。代替として、人認知サービスは、十分な追跡モードで実行し、従って、より長い範囲及びより正確な交流を可能にするように維持することができる。例えば、十分な追跡モードは、ロボットが、ロボットと直接又はコミュニケーションリンクを介してコミュニケーションする状況である場合に、始動することができる。

以下のアクティビティは、ロボットにインストールされる（図３の流れ図における項目Ｂ）。

これは、バッテリが３０秒間６０パーセント未満で、人々が、６００秒間見られない場合か、又はバッテリが３０秒間３０パーセント未満である場合に開始する。しかし、他のアクティビティが進んでいない場合に限る。

これは、バッテリが、３０秒間７パーセント未満であり、且つより高いセーフガードを経験していない場合に開始する。

これは、バッテリが、１０秒間２パーセント未満の場合に開始する。

これは、ロボットが押された場合に開始する。それは、進行中のより低い優先順位のアクティビティを停止する。ロボットは、バランスを保つ。

これは、ロボットが、何かに不意に衝突した場合に開始する。それは、進行中のより低い優先順位のアクティビティを停止する。

これは、ロボットが過熱した場合に開始する。それは、進行中のより低い優先順位のアクティビティを停止する。ロボットは、涼しい場所に行き、それが冷えた後で、アクティビティは終わる。

ロボットが追跡している人がゾーン１にいて、その背の高さが１７５センチメートルより高い場合に、このダイアログトピックに自律的に集中することが可能である。

ロボットが追跡している人がゾーン１にいる場合に、このダイアログトピックに自律的に集中することが可能である。

ロボットが追跡している人がゾーン１にいて、日付が１２月〜２月である場合に、このダイアログトピックに自律的に集中することが可能である。これが、同様にもっぱら季節的にロボットにインストールされ得ることに留意されたい。

ロボットが追跡している人がゾーン１にいる場合に、このダイアログトピックに自律的に集中することが可能である。

少なくとも２人が、少なくとも５秒間ゾーン２にいて、ゾーン２における少なくとも１人が微笑んでいる場合に、このアクティビティに集中することが可能である。

このダイアログトピックは、微笑む男を刺激するアクティビティからプログラムでのみ用いられ、それは、マインドからではなくその振る舞いから開始される。

このアクティビティは、就寝時刻として定義された時間中でない場合、音楽が、少なくとも３０秒間かけられている場合、且つ人々が、最後の６００秒内にいつでも存在し、ロボットの平均温度が７０度未満であり、バッテリが、５０パーセントを超えて充電されている場合に、開始することができる。

このアクティビティは、ロボットが、家庭として定義された場所にいる場合、ロボットの所有者の１人が、２１６００秒見えなかった後に見える場合（６時間、且つ最も遅れた所有者が、その条件キーに報告される）、夕方として定義された時間中である場合、且つ我々が、最後の１８００秒（３０分）内にこの同じアクティビティを（どんな人に対しても）始めなかつた場合に、開始される。

このダイアログトピックは、家族へのお帰りなさいアクティビティからプログラムで用いられるだけであり、それは、マインドからではなくその振る舞いから開始される。

実施例１
人を文脈的に自律的に刺激する
２人の人が、ゾーン２にしばらくの間立っている。彼らの一人が、微笑んでいる。ロボットは、彼らに「向こうでは楽しそうですね」と言う。
Ａ：インストール済みパッケージは、前にリストされた通りである。
Ｂ：エクストラクタによって提供されるメモリの状態は、次の通りである。

Ｃ：それらの条件に基づいて、次のアクティビティが可能である。

Ｄ：出席者は、ロボットとのどんな確立された履歴も有しない。「微笑む人を刺激する」は、その日に前に２度異なる人々と開始された。
Ｅ：ただ１つのアクティビティだけが提案されたので、最終的な優先順位付けされたリストは、このように見える。

アクティビティが、現在集中されていないので、マインドは、「微笑む人を刺激する」を開始する。
Ｆ：自律アクティビティ「微笑む人を刺激する」が集中される。アクティビティは、そのプログラムを実行する。
− ロボットは、タブレットが人に面するように、人の方を向く。
− グラフィックが、タブレットに現れる。
− ロボットは、人に手を振る。
− 次に、にこやかな会話の一部は、アクティビティによって引き起こされる。ロボットは、「向こうでは楽しそうですね」と言い、応答を待つ。
− 身体で又は口頭の両方でユーザが行うことに基づいて、アクティビティは、それが望むことを行うことができる。アクティビティは、ロボットの制御を有する。アクティビティが、意見を述べた直後に終わることをまさに決定することが可能である。
Ｇ：そのダイアログは、この場合にはマインド（Ｅ）によって直接には制御されなかった。しかしアクティビティ（Ｆ）は、その或るプログラム制御を行った。
Ｈ：ロボットが、自律優先順位用に既に構成されていたので、マインド（Ｅ）は、アクティビティ（Ｆ）を開始する前に、基本意識又は他のマインドサービスにおけるどんな設定も変更する必要はなかった。しかしながら、アクティビティ（Ｆ）が、基本意識マインドサービスによって設定された追跡モードを変更した可能性がある。この場合に、自律優先順位においてマインドによって設定された追跡モードは、「Ｕｎｅｎｇａｇｅｄ」あり、それは、ロボットが、今にも何にでもその注意を変更する可能性があることを意味する。アクティビティ開発者は、「ＳｅｍｉＥｎｇａｇｅｄ」の方がよいと決定する可能性があり、「ＳｅｍｉＥｎｇａｇｅｄ」は、次のことを意味する。即ち、基本意識が刺激された場合に、ロボットは、刺激を見るが、常に以前の人に注意を戻すことを意味する。環境における人とロボットの関与条件は、ロボットにおいて絶えず走行している基本意識機能によって決定される。

実施例２
文脈的アクティビティ及び交流優先順位
我々は、ロボットが、実施例１の「微笑む人を刺激する」アクティビティをまだ実行していると考える。ここで、以前には見えなかった新しい人が、横からゾーン１に入る。彼は、背が高い。ロボットは、「向こうの天気はどうですか」と彼に言う。
Ａ：インストール済みパッケージは、前にリストされた通りである。
Ｂ：メモリの状態は、次の通りである。

Ｃ：それらの条件に基づいて、次のアクティビティが可能である。

Ｄ：ユーザの２人が、微笑む人を刺激するを経験したが、他のアクティビティを経験しなかつた。
３番目の（追跡された）ユーザは、これらのアクティビティのどれも経験しなかった。
微笑む人を刺激するは、今日３回開始した。
冬季を提案する及びスポーツを提案するは、それぞれ、今日１回実行された。
一般的な雑談は、今日５回実行された。
背の高い人を提案するは、今日実行されなかった。
Ｅ：ソートされたリストは、このように見える。背の高い人を提案するが、勝者である。

微笑む人を刺激するは、全ての他のアクティビティがより高い優先順位だったので、除去される。
ソートの残りは、どのアクティビティが、今日、最小時間量だけ開始されたかによって決定される。
Ｆ：ここで行うことはない。
Ｇ：マインドは、ダイアログの「背の高い人を提案する」トピックに集中する。
これは、前のより低い優先順位のアクティビティ「微笑む人を刺激する」を停止する。
ロボットは、「あそこでは（ｕｐ ｔｈｅｒｅ）天気はどうですか」と言う。（単語「ｕｐ」を処理する場合に、生気のあるスピーチは、見上げる動作を行う．．．．）
これ以降、この天候トピックは、このトピックの内で始動され得る任意の他のトピックへと会話風に移行することができる。
又は、このトピックが、会話を切らした場合に、それは、終わることができる。次に、異なるアクティビティを開始する決定を下すために、どれがマインドを解放するかは、文脈に基づいている。
Ｈ：マインドがダイアログに集中する前に、それは、注意散漫のない人追跡モード（ＦｕｌｌｙＥｎｇａｇｅｄモード）を用いるために、基本意識を再構成した。何故なら、これが、交流優先順位用のデフォルトであるからである。自律運動及び他のマインドサービスもまた、デフォルトの交流値に従って再構成される。

実施例３
ユーザ履歴を考慮する
これが、異なるロボット上で起こっていると仮定すると、前の２つの例は、接続されない。
１．人がゾーン１に入り、スポーツに関してロボットと会話し、ロボットに自分の名前を教え、人は去る。
２．その後、人は戻る。ロボットは、人が誰かを思い出し、それに言及し、今回は冬について話す。何故なら、スポーツは、既に話されたからである。
１Ａ：インストール済みパッケージは、前にリストされた通りである。
１Ｂ：メモリの状態は、次の通りである。

１Ｃ：それらの条件に基づいて、次のアクティビティが可能である。

１Ｄ：我々は、このユーザ用のどんな履歴も有しない。
スポーツを提案する、冬季を提案する、及び一般的な雑談は、それぞれ今日１回集中された。
１Ｅ：各アクティビティは、ソート後に等しい重みを有する。順序は、ランダム化される。
スポーツを提案するが、勝者である。

１Ｆ：何も行わない。
１Ｇ：マインドは、「スポーツを提案する」ダイアログトピックに集中する。
ロボット及び人は、スポーツに関する会話に従事する。
会話中に、人は、「名前はなんですか」と尋ねる。
これは、集中を「一般的な雑談」トピックに切り替えるように、ダイアログがマインドに直接言うようにさせる。
会話のこの部分において、ロボットは、人の名前が「Ｌｉｎｄｓａｙ」（リンゼー）であることを知る。
Ｌｉｎｄｓａｙは、ロボットから離れ、ロボットは、ダイアログトピックを終了させる。
１Ｈ：ダイアログに集中する前に、他のマインドサービスが、それらの交流優先順位デフォルトで構成された。

２Ａ：インストール済みパッケージは、前にリストされた通りである。
２Ｂ：メモリの状態は、１Ｂと同じである。
２Ｃ：それらの条件に基づいて、次のアクティビティが可能である。

２Ｄ：追跡されたユーザは、「Ｌｉｎｄｓａｙ」と認識され、彼女は、スポーツを提案する及び一般的な雑談を１回経験した。
スポーツを提案する、冬季を提案するは、それぞれ今日２回集中された。
一般的な雑談は、３回集中された。
２Ｅ：ソートされたリストは、以下の通りである。
冬季を提案するが、勝者である。

今日のアクティビティに従って、スポーツを提案する及び冬季を提案するは、一般的な雑談の上にソートされる。その後、次のソートとしてＬｉｎｄｓａｙの履歴を考慮した後で、冬季を提案するが、トップになる。
２Ｆ：何も行わない。
２Ｇ：マインドは、「冬季を提案する」ダイアログトピックに集中する。
トピックが集中されていることをダイアログが理解すると、それは、ユーザが前回と異なることを理解する。その結果、それは、最初に挨拶し、「やあＬｉｎｄｓａｙ」と言う。
次に、彼らは、冬に関して会話を継続する。
２Ｈ：ダイアログに集中する前に、他のマインドサービスは、それらの交流優先順位デフォルトで構成された。

実施例４
ユーザの好みを自律的に学習する
これが異なるロボット上で行われていると仮定すると、前の３つの例は、接続されない。

１．ロボットは、夕方に家にいる。ロボットの所有者として登録されている人が、部屋に入る。ロボットは、朝からこの人を見ていない。
ロボットは、人のところに来てその人を抱き締め、「お帰りなさい。会いたかったです」と言う。その人は、「そうするのを止めてほしいな！」と言う。
２．翌日、同じシナリオは発生するが、しかし今回、ロボットは、何もしない。

１Ａ：インストール済みパッケージは、前にリストされた通りである。
１Ｂ：エクストラクタによって提供されるメモリの状態は、次の通りである。

１Ｃ：それらの条件に基づいて、次のアクティビティが、可能である。

１Ｄ：そのアクティビティは、このユーザのために前に１回実行されたので、今日は実行されなかった。
１Ｅ：同様に開始するのが可能である勝利のアクティビティは、「家族へのお帰りなさい」である。

１Ｆ：自律アクティビティが集中される。ロボットは、ユーザの所へ行き、ユーザを抱き締める。次に、それは、「お帰りなさい会話」ダイアログトピックをプログラムで開始する。
１Ｇ：次に、ロボットは、「お帰りなさい、ジョン。会いたかったです」と言う。そのときその人は、「そうするのを止めてほしいな」と言う。
ダイアログは、ユーザが現在のアクティビティを好まないことをマインドに通知する。
１Ｈ：アクティビティに集中する前に、他のマインドサービスは、それらの交流優先順位デフォルトで構成された。

２Ａ：インストール済みパッケージは、前にリストされた通りである。
２Ｂ：メモリの状態は、１Ｂと同じである。２Ｃ：それらの条件に基づいて、次のアクティビティが可能である。

２Ｄ：この追跡されたユーザ用の履歴は、そのユーザが、前に２度このアクティビティを開始したこと、及びそれが、ユーザから否定的な反応を受けたことを示す。
このアクティビティは、今日は決して開始されなかった。
２Ｅ：ユーザからの否定的な反応故に、ソート後、マインドは、空リストを考え出す。

２Ｆ：何もしない。
２Ｇ：何もしない。
２Ｈ：何もしない。

実施例５
自律的な充電及び優先順位
今や読者が、流れに精通していると予想されるので、この例は、より高いレベルの説明を提供される。
１．バッテリは、３０秒を超えて３０パーセント未満であった。
アクティビティは、集中されない。
ａ．マインドは、「何気なくバッテリを充電する」を開始する。
ロボットは、その充電ステーションに戻り始める。
２．そこへ行く途中で、ロボットは、ゾーン１にいる人に遭遇する。
ａ．マインドは、より高い（交流）優先順位である「一般的な雑談」を開始し、（通常の自律優先順位の）充電アクティビティを停止する。
３．会話中に、バッテリは、７％未満になる。
ａ．マインドは、より高い（セーフガード１）優先順位付けである「緊急にバッテリバッテリを充電する」を開始し、（交流優先順位の）一般的な雑談を停止する。
４．ロボットは、再び充電ステーションに戻り始める。
不運にも、ロボットは、それを見つけることも、遅れずにそこに到着こともできない。
バッテリは、３％未満になる。
ａ．マインドは、より高い（セーフガード１０）優先順位である「低バッテリ停止」を開始し、（セーフガード１の）緊急バッテリ充電を停止する。
ｂ．ロボットは、止まる。

実施例６
過熱セーフガード
今や読者が、流れに精通していると予想されるので、この例は、より高いレベルの説明を提供される。
１．日中であり、ロボットは、バッテリを十分に充電させており、高温ではない。人が部屋にいて、ロボットによって見られる。人は、或る音楽をかけ、次に去る。
ａ．ロボットが、３０秒間続けて音楽を聴いた後で、マインドは、「自律ダンサー」を開始する。
ロボットは、ダンスをし始める。
２．このダンス中に、ロボットの平均体温が、１分を超えて９０度を超える。
ａ．マインドは、より高い（セーフガード５）優先順位である「緊急冷却」を開始し、（通常の自律優先順位の）自律ダンサーを停止する。
３．しばらくこのアクティビティを実行した後で、ロボットは冷える。
ａ．「緊急冷却」は終了し、マインドは、低い優先順位のタスクに再び自由に集中する。
４．音楽がまだ鳴っており、人がまわりにいた場合に、ロボットは、再び自律ダンサーを開始することを決定することが可能である。

実施例７
押されたセーフガード
今や読者が、流れに精通していると予想されるので、この例は、より高いレベルの説明を提供される。

１．ロボットは、再び自律ダンサーを実行している。
２．今回は、誰かが、後ろからこっそり近づき、ロボットを押す。
３．「私は押された」アクティビティが集中される。
ａ．ロボットは、バランスアルゴリズムを行い、次に押された方を向き、その人に苦情を言う。
ｂ．アクティビティは終了する。
４．ロボットは、次に再び自律ダンサーか、又は現在の条件に依存して、異なるアクティビティに集中してもよい。

上記の例は、本発明の実施形態の実例として提供される。それらは、以下の特許請求の範囲によって定義される本発明の範囲を決して限定しない。

Claims (13)

1. − ロボットにより実行するためのアクティビティを検索及び格納するための処理機能に接続されたメモリ（２１３）であって、アクティビティが、前記ロボットの予めプログラムされた振る舞い及び前記振る舞いの開始条件を備えたマニフェストファイルのペアから構成されたメモリ（２１３）と、
   − 状況、イベント、及び前記ロボットを囲む場面にいる人との交流の１つ又は複数を特徴付ける画像、音声、接触及び慣性信号のエクストラクタ（２１１）と、
   − 光信号、表示される情報、音声、スピーチ、運動の１つ又は複数の行動のアクチュエータ（２１２）であって、前記１つ又は複数の行動が振る舞いに属するアクチュエータ（２１２）と、
   を少なくとも含む人型ロボット（１１０）であって、
   前記人型ロボットが、自動的にアクティビティの優先順位付けリストを作成するための、前記優先順位付けリストにおける少なくとも１つのアクティビティを選択するための、且つ前記アクティビティの実行を１つ又は複数のアクチュエータに命じるためのマインドモジュール（２３０）を更に含むことを特徴とする人型ロボット（１１０）。
2. 前記メモリが、前記ロボットが一緒に交流する人の識別データ及び前記交流の所定のパラメータの照合を可能にするデータを格納するように更に構成される、請求項１に記載の人型ロボット。
3. アクティビティの前記優先順位付けリストが、前記ロボットとコミュニケーションする状況における人の存在の判定、自律アクティビティを行う優先順位、及びどんなアクティビティも実行できる能力の１つ又は複数に基づいて作成される、請求項１又は２に記載の人型ロボット。
4. 前記ロボットとコミュニケーションする状況における人の存在の判定がなされた後で、複数の関与ゾーンが、前記ロボットのまわりで画定される、請求項３に記載の人型ロボット。
5. 前記複数の関与ゾーンが、前記人と前記ロボットとの間の距離によって画定される、請求項４に記載の人型ロボット。
6. 前記複数の関与ゾーンが、前記人と前記ロボットとの間の交流の文脈の発展に基づいて変化する、請求項５に記載の人型ロボット。
7. 前記ロボットとコミュニケーションする状況における人の存在の判定がなされた後で、エクストラクタサービスが、他のアクティビティの実行中に前記人を追跡し続ける、請求項３に記載の人型ロボット。
8. アクティビティの前記優先順位付けリストが、前記ロボットが既に交流した人の好みのアクティビティの判定に基づいて作成される、請求項２〜７のいずれか一項に記載の人型ロボット。
9. アクティビティの前記優先順位付けリストにおける順位が、第１に前記ロボットをセーフガードする制約、第２に前記関与ゾーンの１つにおける１人又は複数の人の存在、及び第３に前記ロボットによって自律的に実行できるアクティビティを考慮することによって設定される、請求項２〜８のいずれか一項に記載の人型ロボット。
10. 優先順位付けアクティビティの前記リストの前記順位に寄与するリソースマネージャを更に含む、請求項９に記載の人型ロボット。
11. アクティビティの前記優先順位付けリストが、前記優先順位付けリストにおける第１のアクティビティの実行の前にランダム化される、請求項１〜１０のいずれか一項に記載の人型ロボット。
12. − ロボットによって実行するためのアクティビティを検索及び格納することであって、アクティビティが、前記ロボットの予めプログラムされた振る舞い及び前記振る舞いの開始条件を備えたマニフェストファイルのペアから構成されることと、
    − 状況、イベント、及び前記ロボットを囲む場面にいる人との交流の１つ又は複数を特徴付ける画像、音声、接触及び慣性信号の１つ又は複数のエクストラクタから検索することと、
    − 光信号、表示される情報、音声、スピーチ、運動の１つ又は複数の行動の１つ又は複数のアクチュエータを始動することあって、前記１つ又は複数の行動が振る舞いに属することと、
    を含む、人型ロボットを制御するための方法であって、
    前記方法が、自動的にアクティビティの優先順位付けリストをマインドモジュールに作成することと、前記優先順位付けリストにおける少なくとも１つのアクティビティを選択することと、前記アクティビティの実行を前記１つ又は複数のアクチュエータに命じることと、を更に含むことを特徴とする方法。
13. 請求項１２に記載の方法をコンピュータ上で実行する場合に、実行に適したコンピュータコードを含むコンピュータプログラム。

Images