JP4997419B2 - ロボット用動作変換システム - Google Patents

Description

この発明はロボット用動作変換システムに関し、特にたとえば、人間の表現動作をロボットの表現動作に変換し、それによってロボットに人間の表現動作と類似の表現動作を行わせることができる、新規なロボット用動作変換システムに関する。

モーションキャプチャシステムのようなこの種の表現動作変換システムは、非特許文献１-３に示すように、主として、人間の表現動作（ジェスチャ）をそのまま表現できる３次元ＣＧでのキャラクタの動作に変換するものであった。
http://www.vicon.com/products/bodybuilder.html http://www.vicon.com/products/polygon.html http://www.crescentvideo.co.jp/vicon/mx/software/index.shtml

人間の動作を表現するために多くの自由度を必要とするが、上述の様な３次元ＣＧ（Computer Graphics）キャラクタは自在に変形できるので、モーションキャプチャで取得した人間の動作を３次元ＣＧキャラクタの動作に変換するに当たって大きな困難はない。しかしながら、少ない自由度しか持たないロボットでは、人間の動作を正確になぞると言うことは不可能であり、従来、そのようなロボットのための有用な動作変換システムは存在しなかった。

それゆえに、この発明の主たる目的は、新規な、ロボット用動作変換システムを提供することである。

この発明の他の目的は、人間の動作をロボットに可及的正確に再現させることができる、ロボット用動作変換システムを提供することである。

請求項１の発明は、人間の動作を表現する部位である注目対象の動作をその注目対象に対応するロボットの制御対象の動作に変換する、ロボット用動作変換システムであって、人間の動作に伴う各部位の位置データを入力する位置データ入力手段、人間の頭部，左手，右手および胴体のうちの１つの部位を注目座標系とし、残りの１つの部位を基準座標系として、位置データに基づいて、基準座標系における注目座標系における位置および向きの時間変化を軌跡として記述する人間動作記述手段、および人間動作記述手段で記述した人間の注目対象の軌跡を、ロボットの制御対象の軌跡に近似する近似手段を備える、ロボット用動作変換システムである。

請求項１の発明では、たとえばモーションキャプチャ（１０２）のような位置データ入力手段が、人間の動作に伴う各部位の位置データを入力する。実施例の動作変換コンピュータ（１０４）で構成される人間動作記述手段（Ｓ５）が、入力された位置データに基づいて、人間の注目対象の軌跡（Ｈｐ，Ｈｒ）を頭部，左手，右手および胴体のうちの２つの相対位置関係で記述する。同じく実施例の動作変換コンピュータ（１０４）で構成される近似手段（Ｓ１３，Ｓ１７）が、その人間の注目対象の軌跡を、ロボットの注目対象の頭部，左手，右手および胴体のうちの２つの相対位置関係で記述した軌跡に近似する。したがって、その近似した軌跡に基づいてロボットを制御すれば、人間の動作をロボットに再現させることができる。

請求項１の発明によれば、人間の動作に伴う位置データを入力するだけで、人間よりはるかに少ない自由度のロボットにその人間の動作に近似した動作を行わせることができる。

請求項２の発明は、人間動作記述手段で記述した前記軌跡を、位置および向きを個々に正規化することによって、正規化する正規化手段を備え、近似手段は正規化手段で正規化した人間の注目対象の軌跡をロボットの制御対象の軌跡に近似するようにした、請求項１記載のロボット用動作変換システムである。

請求項２の発明では、実施例では動作変換コンピュータ（１０４）からなる正規化手段（Ｓ７）が人間の動作軌跡を正規化することによって、人間とロボットとのサイズの相違を解消する。

請求項３の発明は、ロボットは制御対象の位置および向きを制御する複数の関節を有し、さらに近似手段によって近似したロボットの注目対象の軌跡に基づいて複数の関節の制御データを設定する制御データ設定手段をさらに備える、請求項２記載のロボット用動作変換システムである。
請求項４の発明は、ロボットの関節角度範囲内で、近似した軌跡を実現できるかどうか判断する判断手段をさらに備え、近似手段は、判断手段が否定的な判断をしたとき人間の注目対象の軌跡を主成分分析することによって、注目対象の軌跡に最大限似ている制御対象の軌跡のための関節角度を求める、請求項３記載のロボット用動作変換システムである。

請求項４の発明では、主成分分析によって必要なデータだけを利用して軌跡を近似するので、最低限の類似度で、ロボットの動作を人間の動作に近似させることができる。

請求項５の発明は、近似手段によって近似したロボットの注目対象の軌跡に基づいてロボットの制御データを設定する制御データ設定手段をさらに備える、請求項１記載のロボット用動作変換システムである。

請求項５の発明では、たとえば実施例の動作変換コンピュータ（１０４）のような制御データ設定手段（Ｓ２７）が、得られた近似軌跡に基づいて、ロボットのたとえば関節角度のような制御データを設定する。

この発明によれば、多くの自由度を有する人間の表現動作を、少ない自由度しか持たないロボットの表現動作に自動的に変換できる。したがって、人間の動作をたとえばモーションキャプチャで入力するだけで、その人間の動作に近似したロボットの動作を再現できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の一実施例の動作変換システム１００は、モーションキャプチャ１０２で検知した人間（図示せず）の動作を、動作変換コンピュータ１０４によって、ロボット１０によって再現させるためのシステムである。つまり、動作変換コンピュータ１０４は、モーションキャプチャ１０２で取得した人間の動作に関する各位置の３次元データに基づいて、その動作を再現するためのロボット１０の各軸の制御データに変換する。

ただし、図１に示すロボットデータベース１０６は、実施例の動作変換システム１００を適用できるロボットの種類とそれぞれのロボットの軸配置を予め設定または登録しておくものである。なお、軸配置としては、後述の図３に示すようなスケルトン図の形式で登録されていてもよい。

この実施例では、人間の動作を、一例として、図２に示すような外観を有するヒューマノイドロボット（以下、単に「ロボット」ともいう。）１０の動作に変換するので、ここで、必要な範囲で、このロボット１０を説明する。

図３はこのロボット１０をモデル表記したスケルトン図である。図３を参照して、この実施例のロボット１０は、垂直方向または縦方向に間隔を隔てて設けられる２つの横杆１２および１４を含み、この上下横杆１２および１４の間には、胴体１６が形成される。

胴体１６の上部には、胸の自由度を形成する１つのヨー（Ｙａｗ）軸関節１８が設けられ、その下方には腰の自由度を形成する１つのピッチ（Ｐｉｔｃｈ）軸関節２０が設けられる。なお、よく知られているように、ヨー軸とは鉛直回転軸（Ｚ軸）であり、ピッチ軸とはこのヨー軸に直行する２つの軸の一方、たとえばＸ軸であり、そして、後述のロール（Ｒｏｌｌ）軸がヨー軸に直行する２つの軸の他方、たとえばＹ軸である。Ｘ軸（ピッチ軸）は図２の紙面に平行な方向に延びる回転軸であり、Ｙ軸（ロール軸）は図２の紙面に直行する方向に延びる回転軸である。

上横杆１２の両端には、腕２２Ｒおよび２２Ｌがそれぞれ取り付けられる。これら左右の腕２２Ｒおよび２２Ｌは同じ構成である。なお、右左を区別する必要があるときは、右を示す「Ｒ」または左を表す「Ｌ」を付し、また区別する必要がないときはこの「Ｒ」や「Ｌ」を付けないで示すようにして、重複する説明はできるだけ省く。このことは、後述の足についても同様である。

腕２２は、肩の自由度を形成するロール軸関節２４を含み、この肩関節２４によって上
横杆１２に、ロール軸周りに回転可能に取り付けられる。この肩関節２４の先には、それぞれ１つずつのピッチ軸関節２６、ヨー軸関節２８、およびロール軸関節３０の直列接続が設けられる。したがって、この実施例のロボット１０の場合、腕２２は、４自由度であり、左右で８自由度である。

また、下横杆１４の両端には、足３２Ｒおよび３２Ｌがそれぞれ取り付けられる。足３２は、股関節の自由度を形成する１つのロール軸関節３４によって下横杆１４に取り付けられ、この股関節３２から先の下端方向には、連続する３つのピッチ軸関節３６、３８および４０、および１つのロール軸関節４２、さらには１つのヨー軸関節４４の直列接続が取り付けられる。したがって、この実施例のロボット１０の場合、足３２は、６自由度であり、左右で１２自由度である。

このロボット１０の電気的構成が図４のブロック図に示される。図４に示すように、このロボット１０は、全体の制御のためにマイクロコンピュータまたはＣＰＵ（ロボットコンピュータ）４８を含み、このロボットコンピュータ４８には、バス５０を通して、メモリ５２，モータ制御ボード５４，およびセンサ入力／出力ボード５６が接続される。

メモリ５２は、図示しないが、ＲＯＭやＲＡＭを含み、ＲＯＭにはこのロボット１０の制御プログラムおよびデータが予め書き込まれていて、ＲＡＭは、一時記憶メモリとして用いられるとともにワーキングメモリとして利用され得る。

センサ入力／出力ボード５６には、図３の胴体１６に設けられる１つの２軸加速度センサ５８と、関節角度センサ６０とが接続される。なお、関節角度センサ６０は１つのブロックで示すが、実際には、上で説明した２２個の関節にそれぞれ個別に設けられ、それぞれの関節角を検出する２２個の関節角度センサを含む。２軸加速度センサ５８は、ロボット１０の前後方向および左右方向の２軸で加速度を検出することができる。この２軸加速度センサ５８の出力を用いて、ロボットコンピュータ４８は、ロボット１０の２足歩行や反動起き上がり等を制御する。

モータ制御ボード５４は、たとえばＤＳＰ(Digital Signal Processor) で構成され、
各腕、各足、胸、腰の各関節軸モータ６２を制御する。図４では図の簡略化のために、関節軸モータ６２は１つのブロックで示すが、実際には、上で説明した２２個の関節のそれぞれに１つのモータ（サーボモータ）が設けられ、それぞれの関節角度を制御する２２個のモータを含む。

図１実施例の動作変換システム１００が適用できるロボット１０は、上で説明したように、かなり多い２２個の自由度を持つものであるが、それでも人間の持つ自由度には到底及ばないので、このロボット１０で人間の動作をそのまま真似させることはできない。一方、この発明が適用可能なロボットは上述のロボット１０に限られる訳ではなく、そのようなロボットの中にはもっと自由度の少ないロボットもある。そこで、この実施例では、人間のジェスチャ（表現動作）を頭部，左手，右手および胴体の４つの部位の関係で記述することによって、自由度の少ないロボットにも適用できるようにした。

なお、殆どの人間の動作（ジェスチャ）を頭部，左手，右手および胴体の４つの部位の関係だけで記述できることは、発明者等が、たとえばジェスチャ辞典などを解析することによって獲得した知見であり、この発明はそのような知見に基づいてなされたものである。

図５のフロー図の最初のステップＳ１では、動作変換コンピュータ１０４（図１）は、図６に示す第１設定画面１０８を表示する。この設定画面１０８は図８に示す第２設定画面１１０と同様に、コンピュータ１０４のユーザに入力や選択動作を行わせるためのＧＵＩ（Graphical User Interface）である。

第１設定画面１０８はユーザがロボット動作への変換を希望する、人間の動作と、その動作を記述する２つの座標系を設定するためのＧＵＩである。そのために、この設定画面１０８には、動作入力部１１２および、基準座標系入力部１１４および注目座標系入力部１１６が設けられる。動作入力部１１２では、いわゆるプルダウンメニューの形式で、変換したい動作、たとえば「手を振る」，「右を見る」，「左を見る」，「うなずく」などを選択的に入力できる。また、注目座標系とは、その動作を表現するために頭部，左手，右手および胴体の４つの座標系のうちどの座標系に注目するのかを示すもので、その動作を表現する部位（注目対象または制御対象）の座標系が選択される。ただし、その注目座標系だけでその中の位置を特定できるものではなく、基準となる座標系の中の位置との相対的な関係でのみ記述できるのであり、その基準となる座標系のことを基準座標系と呼ぶ。ただし、２つの座標系はいずれも、この実施例では３つの軸Ｘ，Ｙ，Ｚを有する直交座標系である。そして、実施例では、上述のように、人間の動作を頭部，左手，右手および胴体の関係で記述するように簡素化しているため、これら２つの座標系入力部１１４および１１６では、いずれも、頭部，左手，右手および胴体の４つの座標系のいずれか１つを選択的に入力することになる。

たとえば、「手を振る」という動作が選択されたとすると、注目対象または制御対象は右手か左手である。したがって、注目座標系としては「右手」または「左手」を設定するが、それの基準となる座標系は「胴体」しかないので、基準座標系としては「胴体」を選択する。たとえば、「うなずく」という動作を選択したときには、注目（制御）対象の座標系は当然「頭部」であり、それに対する基準座標系は「胴体」となる。

そして、ステップＳ３で上のように動作や座標系がすべて選択または設定されたかどうか判断し、“ＮＯ”なら入力されるまで待ち、“ＹＥＳ”なら、次のステップＳ５に進む。

ステップＳ５では、設定画面１０８の動作入力部１１２で設定された人間の動作を、基準座標系における注目座標系の位置Ｈｐおよび向きＨｒの時間変化に変換する。したがって、位置Ｈｐ（ｔ）および向きＨｒ（ｔ）によって、人間の注目対象部位の軌跡を表現することができ、このステップＳ５は、人間動作記述手段として機能する。

基準座標系と注目座標系とが図７のように設定されているとすると、位置Ｈｐとは、基準座標系の原点からみた注目座標系の原点の位置のことであり、３つの軸Ｘ，Ｙ，Ｚの時間ｔ（ｔ＝１，２，…ｎ）ごとの位置ｘｔ，ｙｔ，ｚｔとして、数１のように表現される。また、向きＨｒとは、基準座標系の向きをどのように変化させればその時間ｔ毎の注目座標系の向きになるかを３つの角度φｔ，θｔ，γｔとして、数１のように記述される。ただし、一例として、角度φは、たとえば鉛直回転軸（Ｚ軸）に対する角度であり、角度θは、この鉛直軸に直行する２つの軸の一方（Ｘ軸）に対する角度であり、角度γは、他方の軸（Ｙ軸）に対する角度である。

数１の位置Ｈｐおよび向きＨｒはともに３次元ベクトルの時系列である。ステップＳ７では、人間のサイズとロボットのサイズとを揃えるために、数２に示すように、位置Ｈｐと向きＨｒとを個々に「１」に正規化する。つまり、ステップＳ７は正規化手段として機能する。

ｄｐ０は最大移動量を表わす。ただし、数２におけるｍａｘ（ｘｔ）は、ｔ１-ｔｎまでの各時間毎の位置のうちの最大のｘの値であることを意味していて、同様に、ｍｉｎ（ｘｔ）は、ｔ１-ｔｎまでの各時間毎の位置のうちの最小のｘの値であることを意味している。これはｙ値およびｚ値に付いても同様である。そして、最大角度ｄｒ０＝πと設定しているのは、人間の関節は１８０°以上曲がらないので、その範囲に収めるためである。さらに、Ｍｌは、人間の基準座標系のおよび注目座標系の原点間の最大の距離であり、いわば、人間が手を一番伸ばしたときその手が届く範囲（つまり、手の長さ）を表わす。

なお、正規化の方法は、数２による他、たとえば標準偏差を用いる方法でもよい。

続いて、ステップＳ９では、図８に示す第２設定画面１１０を表示する。この設定画面１１０は人間の動作をシミュレートすべきロボットとそのロボットにおいて設定すべき基準座標系と注目座標系とを設定または入力するためのＧＵＩである。そのために設定画面１１０にはロボット入力部１１８およびスケルトン表示部１２０が形成される。ロボット入力部１１８では、変換動作を適用すべきロボットを、たとえばプルダウンメニューの形式で、たとえば「ロボビーＭ」（商品名），「ロボビーIV」（商品名），…の中から選択的に入力できる。先に説明した図１のロボットデータベース１０６の中には、このようなロボットの種類（型）毎にその軸配置すなわちスケルトンが登録されているので、スケルトン表示部１２０では、このロボットデータベース１０６から読み出したスケルトン図を表示する。そして、ユーザまたはオペレータは、そこに表示されたスケルトン上の位置をたとえばマウスやタッチパネルのようなポインティングデバイスで指示することによって、シミュレーションするロボットにおける注目座標系とそれのための基準座標系とを設定する。

そして、ステップＳ１１では、これらのロボット上の２つの座標系が設定されルーチンまで待ち、それらが設定されると“ＹＥＳ”を判断して次のステップＳ１３に進む。

ステップＳ１３では、数３に従って、正規化した人間の動作、すなわち人間の注目座標系の軌跡Ｈｅ（＝Ｈｐｅ，Ｈｒｅ）をロボットの動作、すなわちロボットの注目座標系（または制御対象）の軌跡Ｒｅ（＝Ｒｐｅ，Ｒｒｅ）（Ｒｐは位置、Ｒｒは向き）に近似する。つまり、ステップＳ１３は近似手段として機能する。

数３において、Ｒｐｔは時間毎の注目座標系の位置であり、Ｒｐｔ＊はＲｐｔの重心であり、ｆ，ｇは、ロボットの関節角度からロボットの注目座標系の位置（基準座標系からみた相対座標）へ変換する関数であり、ロボットの軸配置からきまるものである。このようにして、人間の動作すなわち注目対象の軌跡Ｈｅをロボットの注目対象の動作すなわち軌跡Ｒｅに近似する。

そして、ステップＳ１５において、αを正の実数で十分小さい数としたときに、最小２乗法を示す数４を満足する関節角度（φ_1ｔ，φ_２ｔ，…φ_ｎｔ）（ｔ＝１，２，…ｔｎ）があるかどうか判断する。

ステップＳ１５で“ＹＥＳ”が判断されるということは、ステップＳ１３でした、人間動作Ｈｅのロボット動作Ｒｅへの近似が正しかったことを意味する。しかしながら、ステップＳ１５で“ＮＯ”ということは数４の解が存在しなかったことを意味している。したがって、この場合には、別の方法でロボットの関節角度を決定してやる必要がある。

そこで、ステップＳ１７において、人間動作の軌跡Ｈｅを主成分分析する。
（ａ）まず、Ｈｅの共分散行列をＡとし、その共分散行列Ａの固有値（λｉ（ｉ＝１，…６），｜λ１｜＞｜λ２｜＞…＞｜λ６｜））と対応する固有ベクトル（ψｉ（ｉ＝１，…６））を求める。
（ｂ）ついで、すべての次数Ｎｉ（１≦Ｎｉ≦６）において、数５を最小にする角度（φ_{１ｔ，Ｎｉ}，φ_{２ｔ，Ｎｉ}，…φ_{ｎｔ，Ｎｉ}）と、最小値εＮｉとを求める。

（ｃ）そして、数６を満たす最大の次数Ｎｉを選び、角度（φ_{１ｔ，Ｎｉ}，φ_{２ｔ，Ｎｉ}，…φ_{ｎｔ，Ｎｉ}）を、ロボット動作に変換されたときの角度とする。つまり、人間動作Ｈｅに最大限似ている次数Ｎでのロボット動作Ｒｅのための関節角度を求める。

このようにして、ステップＳ１３でうまく近似できなかった場合には、ステップＳ１７において、人間動作Ｈｅの主成分分析を経て、必要なところだけを残した可能な限り類似するロボット動作Ｒｅのための関節角度を決定する。したがって、このステップＳ１７もまた近似手段と呼ぶことができる。

ステップＳ１３でうまく近似できた場合でも、ステップＳ１７で可及的近似した場合でも、関節可動範囲を表わすロボットの作業領域内に、その近似した軌跡Ｒｅがはいっているかどうか、つまり、その近似に従った関節角度φでロボットが動作し得るのかどうか、調べる。そのためには、コンピュータ１０４は、ロボットデータベース１０６からそのロボットの軸配置を読み出して計算した関節角度φを代入してシミュレーションすればよい。そして、ステップＳ２１でそのシミュレーションの過程をＣＧ（Computer Graphics）ロボットを用いたアニメーションで表示し、可動範囲を越えた場所があればたとえばハイライト表示することによって、ユーザないしオペレータに注意を促す。

そして、ステップＳ２３において、図示しない適宜の調整用ＧＵＩを表示し、問題がある場合、たとえばステップＳ２１でハイライト表示があったような場合、そのＧＵＩを用いて部分的に調整できるようにしてもよい。たとえば、上記ＣＧロボットの問題の箇所をドラックするなどしてハイライト表示を消す。

ただし、そのような部分的な調整で収まらない場合には、ステップＳ２５で“ＮＯ”が判断され、プロセスは先のステップＳ９に戻され、たとえば、注目座標系および／または基準座標系を選び直して、ステップＳ９-Ｓ２３繰り返すことになる。たとえば、人間では「右手を振る」という動作であったが、それがロボットの右手の動作として近似できなかったようなときは、ロボットの制御対象（注目対象）を左手に変更することによって近似できることがあるかも知れない。

そして、ステップＳ２５の完成後は、ステップＳ２７において、近似手段として機能するステップＳ１３またはＳ１７で求めかつ必要に応じてステップＳ２３で調整した関節角度φをロボットの制御データとして設定することによって、ロボットの特定の部位（注目対象または制御対象）で人間の動作を再現させることができる。

具体的に図２に示すロボット１０で「左手を振る」という動作を再現するためには、注目対象は左手の手のひらであり、図３に示すピッチ軸関節２６Ｌ、ヨー軸関節２８Ｌ、およびロール軸関節３０Ｌのそれぞれの関節角度を、その左手の手のひらを制御するための関節角度φとしてステップＳ１３またはステップＳ１７で求めればよい。

図１はこの発明の一実施例の動作変換システムの構成を示すブロック図である。 図２はこの実施例に適用可能なロボットの一例を示す外観図である。 図３は図２に示すロボットの軸配置（スケルトン）を示す図解図である。 図４は図２に示すロボットの電気的な構成を示すブロック図である。 図５はこの実施例の動作を示すフロー図である。 図６は第１設定画面の一例を示す図解図である。 図７は基準座標系と注目座標系との関係およびＨｐならびにＨｒを図解する図解図である。 図８は第２設定画面の一例を示す図解図である。

符号の説明

１０ …ロボット
１００ …動作変換システム
１０２ …モーションキャプチャ
１０４ …動作変換コンピュータ
１０６ …ロボットデータベース
１０８ …第１設定画面
１１０ …第２設定画面

Claims (5)

1. 人間の動作を表現する部位である注目対象の動作をその注目対象に対応するロボットの制御対象の動作に変換する、ロボット用動作変換システムであって、
   人間の動作に伴う各部位の位置データを入力する位置データ入力手段、
   人間の頭部，左手，右手および胴体のうちの１つの部位を注目座標系とし、残りの１つの部位を基準座標系として、前記位置データに基づいて、前記基準座標系における前記注目座標系における位置および向きの時間変化を軌跡として記述する人間動作記述手段、および
   前記人間動作記述手段で記述した前記人間の注目対象の軌跡を、前記ロボットの制御対象の軌跡に近似する近似手段を備える、ロボット用動作変換システム。
2. 前記人間動作記述手段で記述した前記軌跡を、前記位置および前記向きを個々に正規化することによって、正規化する正規化手段を備え、
   前記近似手段は前記正規化手段で正規化した前記人間の注目対象の軌跡を前記ロボットの制御対象の軌跡に近似するようにした、請求項１記載のロボット用動作変換システム。
3. 前記ロボットは前記制御対象の位置および向きを制御する複数の関節を有し、さらに
   前記近似手段によって近似した前記ロボットの注目対象の軌跡に基づいて前記複数の関節の制御データを設定する制御データ設定手段をさらに備える、請求項２記載のロボット用動作変換システム。
4. 前記ロボットの関節角度範囲内で、前記近似した軌跡を実現できるかどうか判断する判断手段をさらに備え、
   前記近似手段は、前記判断手段が否定的な判断をしたとき前記人間の注目対象の軌跡を主成分分析することによって、前記注目対象の軌跡に最大限似ている前記制御対象の軌跡のための関節角度を求める、請求項３記載のロボット用動作変換システム。
5. 前記近似手段によって近似した前記ロボットの注目対象の軌跡に基づいて前記ロボットの制御データを設定する制御データ設定手段をさらに備える、請求項１記載のロボット用動作変換システム。

Images