JP4646943B2 - ロボット - Google Patents

Description

本発明は、物品の状況に応じて物品の保持を行うロボットに関する。

従来の保持装置として、保持対象物を例えば野菜や布といったように一種類に限定し、その保持対象物を最適に保持可能となるように構成されたハンドリング部を備えた装置が知られている（例えば特許文献１，２参照）。

一方、複数種類の保持対象物をそれぞれ最適に保持可能となるように、各種類の保持対象物に対応する複数のハンドリング部を備え、保持対象物の種類に応じて最適なハンドリング部を選択する保持装置も知られている（例えば特許文献３参照）。

また、保持対象物が複数種類存在する場合に、その各種類の保持対象物の特徴データと、当該保持対象物に対する動作情報とを対応付けて記憶しておき、上記特徴データに基づいて視覚センサで保持対象物の種類を認識すると共に、その認識した保持対象物に応じた動作でもってそれを保持する保持装置も知られている（例えば特許文献４参照）。

特許１９７６３４９号公報 特開平８−１３２３７９号公報 特許２７１０８５６号公報 特開昭６４−２８８２号公報

上記各文献に開示された保持装置は、工場や倉庫等における所謂ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）の分野において用いられるため、保持対象物の種類は限られていると共に、保持装置によって保持する際に必要となる情報、例えば形状データ、材質データ、保持対象物における保持位置データ、等は、その各種類の保持対象物について予め得られている。

これに対し、上記保持装置を例えばロボットに搭載して、そのロボットに、一般家庭、オフィス、ホテル、店舗及び病院等の、人間が生活を営む空間（以下、生活空間と呼ぶ）において作業を行わせることが考えられる。しかし、生活空間内には、極めて多くの種類の物品が存在しているため、それに伴い保持装置の保持対象物の種類が極めて多くなる。

そのため、全ての種類の物品について保持に必要となる情報を予め得ることが困難になり、情報の無い物品については保持することができなくなる場合が考えられる。

また、生活空間内においては、保持に必要となる情報を予め得ることができない場合もある。例えば料理が盛り付けられた皿を保持するときには、料理が盛り付けられていない部分を保持（把持）する必要があるが、どの位置に料理が盛り付けられているかは、予め決定することができない。つまり、保持に必要となる情報を予め得ることができないのである。

さらに、工場等においては保持対象物の状況が変化することはないが、生活空間内においては物品の状況が刻々と変化する場合がある。例えば紙は、通常はシート状の形態を有しているが、くしゃくしゃに丸められることでその形態が全く変化してしまう場合がある。そうすると、仮に物品の保持に必要となる情報が予め得られていた、つまり上記の例では、シート状の紙を保持するための情報が得られていたとしても、その情報が丸められた紙を保持する際には役に立たない。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、多種多様な物品をその状況に応じて最適に保持することが可能な、ロボットを提供することにある。

本発明は、上記目的を達成するため、以下のように構成している。

本発明の第１態様によれば、生活空間内の物品のうちの保持対象物の状況を認識する認識装置と、
上記保持対象物の状況に応じて異なる物品保持方法を記憶する保持方法データベースと、
上記認識装置によって認識された状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する物品保持方法特定手段と、
上記物品保持方法特定手段によって特定された物品保持方法を参照して、上記保持対象物の保持を実行する保持装置と、を備えるとともに、
上記認識装置は、物品の移動速度又は位置を含む、人が行っている上記物品の保持動作を認識し、
上記認識装置による、上記人が行っている上記物品の保持動作の認識結果に基づいて上記物品毎の又は上記物品の状況毎の保持方法を学習設定する学習手段をさらに備え、
上記学習手段は、上記人が行っている上記物品の保持動作を参照してその物品の保持方法を学習し、学習した保持方法を上記物品に対応付けて上記保持方法データベースに記憶する、ロボットを提供する。

本発明のロボットによると、保持対象物の状況を認識し、その認識結果に応じて保持方法を特定するため、各種物品の状況に応じた最適な保持方法が特定され、上記保持対象物をその最適な保持方法で保持することができる。

本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。

本発明の実施形態を説明する前に、まずの本発明の種々態様について説明する。

本発明の第１態様によれば、ロボットの保持装置手段を用いて生活空間内の物品の保持を行うための保持ロボット制御方法であって、
上記生活空間内の物品のうちの保持対象物の状況を認識する認識ステップと、
上記認識ステップで認識した状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する特定ステップと、
上記特定ステップで特定した物品保持方法に従って、上記保持装置手段によって上記保持対象物の保持を行う保持ステップと、を含む保持ロボット制御方法を提供する。

本発明の第２態様によれば、生活空間内の物品のうちの保持対象物の状況を認識する認識装置と、
上記保持対象物の状況に応じて異なる物品保持方法を記憶する保持方法データベースと、
上記認識装置によって認識された状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する物品保持方法特定手段と、
上記物品保持方法特定手段によって特定された物品保持方法を参照して、上記保持対象物の保持を実行する保持装置と、を備えたロボットを提供する。

本発明の第３態様によれば、上記保持対象物は、形、温度、内容物を含む形態が変化する物品であり、
上記認識装置は、上記保持対象物の上記形態を上記保持対象物の上記状況として認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された状況としての上記形態に応じて、上記保持方法データベース内の上記異なる物品保持方法のうちから１つの物品保持方法を特定する、第２態様に記載のロボットを提供する。

本発明の第４態様によれば、上記保持方法データベースには、上記保持対象物として複数の異なる保持対象物に対する物品保持方法が記憶されており、上記異なる保持対象物は、物品ＩＤ情報は共通であり、形、温度、又は、内容物などの形態が異なる物品であって、その形態が変わることにより保持方法が変わるように上記物品保持方法が記憶されている、第２態様に記載のロボットを提供する。

本発明の第５態様によれば、上記認識装置は、時間に対して変化する、上記保持対象物の状況を認識する、第２〜４態様のいずれか１つに記載のロボットを提供する。

本発明の第６態様によれば、上記保持対象物は、その内部に物体を収容可能な物品であり、
上記認識装置は、上記保持対象物の内部に物体が収容されているか否かを認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された、上記保持対象物の内部に物体が収容されているか否かの状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する、第５態様に記載のロボットを提供する。

本発明の第７態様によれば、上記保持対象物は、光透過特性を有しており、
上記認識装置は、上記保持対象物における光の屈折を利用して、当該保持対象物の内部に物体が収容されているか否かを認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された、上記保持対象物の内部に物体が収容されているか否かの状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する、第６態様に記載のロボットを提供する。

本発明の第８態様によれば、上記認識装置は、上記保持対象物の温度分布を認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された、上記保持対象物の温度分布の状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する、第４態様に記載のロボットを提供する。

本発明の第９態様によれば、上記保持対象物は、調理器具又は食器であり、
上記保持方法特定手段は、上記認識装置によって認識された上記調理器具又は食器の温度分布に基づいて、上記調理器具又は食器の保持位置を特定する、第８態様に記載のロボットを提供する。

本発明の第１０態様によれば、上記保持対象物は、紙又は衣類である、第５態様に記載のロボットを提供する。

本発明の第１１態様によれば、上記認識装置は、上記保持対象物の上に物体が置かれているか否かを認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された、上記保持対象物の上に物体が置かれているか否かの状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する、第５態様に記載のロボットを提供する。

本発明の第１２態様によれば、上記保持対象物は、食器である、第１１態様に記載のロボットを提供する。

本発明の第１３態様によれば、上記保持方法を学習する学習手段をさらに備え、
上記学習手段は、人が実行している物品の保持動作を参照してその物品の保持方法を学習し、学習した保持方法を上記物品に対応付けて上記保持方法データベースに記憶する、第２態様に記載のロボットを提供する。

本発明の第１４態様によれば、上記保持方法データベースには、物品毎に予め設定された保持方法が記憶されており、
上記保持方法特定手段は、上記認識装置による認識結果を参照して上記保持方法データベースに予め設定されている保持方法の中から上記保持対象物の保持方法を選択し、
上記保持方法特定手段はさらに、上記認識結果に対応する保持方法が上記保持方法データベースに予め設定されていないときには、上記保持対象物の材質又は形状に近似する物品に設定されている保持方法を、上記保持方法データベースから選択して上記保持対象物の保持方法とする、第２態様に記載のロボットを提供する。

本発明の第１５態様によれば、上記認識装置は、上記保持対象物の材質を認識し、
上記物品保持方法特定手段は、上記認識装置によって認識された、上記保持対象物の材質に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する、第２態様に記載のロボットを提供する。

本発明の第１６態様によれば、上記認識装置は、
上記保持対象物を撮像する撮像装置と、
上記撮像装置によって撮像された画像に基づき、上記保持対象物の光学特性を利用してその材質を認識する材質認識手段と、を含む、第１５態様に記載のロボットを提供する。

本発明の第１７態様によれば、上記保持対象物に光を照射する光源をさらに備え、
上記材質認識手段は、上記保持対象物の反射特性を利用してその材質を認識する、第１６態様に記載のロボットを提供する。

本発明の第１８態様によれば、上記光源は、上記保持対象物に対する位置を変更可能に設けられており、
上記撮像装置は、上記光源の位置を変えながら複数の画像を撮像し、
上記材質認識手段は、上記複数の画像を処理することによって上記保持対象物の材質を認識する、第１７態様に記載のロボットを提供する。

本発明の第１９態様によれば、生活空間内の物品の保持を行う物品保持システムであって、
上記生活空間内の物品のうちの保持対象物の状況を認識する認識装置と、
上記認識装置による認識結果に基づいて、上記保持対象物の保持を行うロボットと、を備え、
上記ロボットは、
上記認識装置によって認識された状況を受けて、当該状況に応じた保持方法を特定する保持方法特定手段と、
上記保持方法特定手段によって特定された保持方法に従って、上記保持対象物の保持を実行する保持装置と、を有する保持システムを提供する。

本発明の第２０態様によれば、第１９態様に記載の物品保持システムにおいて、
上記保持装置は、ロボットに搭載されている保持システムを提供する。

以下、本発明の実施形態について、図面を参照しながら説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る、保持装置１０３を有するロボット２による物品保持システム１０の基本構成を示す図である。この物品保持システム１０の基本構成部分は、例えば図２Ａに示すような、人型の家庭用ロボット２に搭載される。このロボット２は、作業命令を受けて、その命令に沿った作業を実行する装置であり、上記物品保持システム１０は、その作業に係る物品の保持を実行する。

上記物品保持システム１０は、図１に示すように、認識装置１０１、保持方法特定手段１０２、保持方法データベース１０２ｄ、及び保持装置１０３を含む。

上記認識装置１０１は、保持対象物の状況を認識する。認識装置１０１による状況認識の具体的な処理については後述する。

上記保持方法特定手段１０２は、上記認識装置１０１が認識した状況を参照して、その状況に最適な物品保持方法をあらかじめ記憶されている複数の物品保持方法の中から特定する。ここでの「物品保持方法」には、後述するように、物品を把持又は吸着する把持ハンド１０３又は吸着ハンド１０３ｓを選択することや、保持した物品をどのように移動させる（把持又は吸着角度、移動速度、移動方向など）か、等が含まれる。

保持方法データベース１０２ｄには、保持対象物の状況に応じて異なる物品保持方法を予め記憶している。

上記保持装置１０３は、例えば、ロボット２の本体部３９０に少なくとも１個配置され、好ましくは、ロボット２の本体部３９０の両側部に一対配置されている。それぞれの保持装置１０３は、上記保持方法特定手段１０２によって特定された保持方法に従って保持対象物の保持を実行する。各保持装置１０３は、例えば図２Ａに示すように、物品の把持を行うハンド１０３ａと、先端にハンド１０３ａが取り付けられた屈曲可能なアーム１０３ｂと、を含むとしてもよい。このハンド１０３ａには、空圧式、油圧式、モータ式、人工筋肉等の複数の指からなるハンド、吸着ハンド１０３ｓ等、が含まれ、後述するように特定された保持方法に応じてそれらが選択される。

図２Ｂは、物品保持時に姿勢制御を行うための上記保持装置１０３の模式図を示したものである。この図２Ｂにおいて、保持装置１０３のアーム１０３ｂは、長さＬ１の基端側のアームと、長さＬ２の先端側のアームと、基端側のアームの基端部が間接Ｐ０によりロボット２の本体部３９０の側部に回動可能に接続されているとともに、基端側のアームの先端部と先端側のアームの基端部とが間接Ｐ１により屈曲可能に接続され、さらに、先端側のアームの先端部に間接Ｐ２を介してハンド１０３ａが接続されている。ここで、説明を簡単にするために、２次元平面上において、ハンド１０３ａとアーム１０３ｂの接点間接Ｐ２を姿勢制御することを考える。

図２Ｃは、後記する移動装置４１４や保持装置１０３のモータ制御形式のアクチュエータなどの任意の駆動部の駆動制御系を表している。なお、すべての駆動部について、同様の駆動制御系が構成されている。

モータ３０４は、その回転軸が、モータドライバ３０３から供給される電流によって正逆駆動されて、たとえば４個の車輪３９４を正逆回転させる。上記モータ３０４には、駆動された回転軸の回転角度を検出するための角度センサが設置されている。角度センサ３０７からの出力信号は、エンコーダ３０６及びエンコーダボード３０５を通して、ＣＰＵ３０１に入力される。

ＣＰＵ３０１は、上記モータ３０４の駆動を制御する。ＣＰＵ３０１には、制御をするために必要な情報を格納するメモリ３１０が接続されている。

また、ハンド１０３ａには、保持対象物をきちんと保持しているかどうかの検出を行う圧力センサ３０９が、たとえば、把持面に設置されており、その圧力センサ３０９からのセンサ出力信号は、Ａ／Ｄコンバータ３０８を通してＣＰＵ３０１に入力される。

角度センサ３０７からの出力信号と圧力センサ３０９からのセンサ出力信号を入力信号として受け取り、受け取られた入力信号に応じて、ＣＰＵ３０１はモータ３０４に対する制御信号を作成し、その制御信号は、Ｄ／Ａコンバータ３０２を通してモータドライバ３０３へ送られる。この制御信号に応じてモータ３０４は正逆駆動されることで、アームやハンドの姿勢制御を実現する。

ここで、アーム１０３ｂの長さはそれぞれＬ１、Ｌ２、角度センサ３０７が間接Ｐ０，Ｐ１において、角度センサ（ここでは、エンコーダ）によって取得されており、その角度をそれぞれθ、φとする。このとき、アーム１０３ｂの先端位置Ｐ２の位置は、以下の関係式で求まる。

この関係式から、保持対象物の位置を推定し、任意の位置へ移動させることができるため、姿勢制御を実現することができる。姿勢制御とは、以上のような角度センサなどの情報を元に微調整を行い、位置や向きを正確に制御することである。また、ここでは簡略化のために２次元平面における位置制御のみについて説明したが、３次元空間における位置・姿勢制御についても同様の処理が可能である。

たとえば、内部に液体の入ったグラスＧＬをハンドで保持する場合、３次元空間における姿勢制御とは、液体がこぼれないように姿勢を制御することである。ここで、座標系を図２Ｄのように設定する。すなわち、対象物の位置に関しては、互いに直交するＸｗ軸とＹｗ軸とで構成される水平な床面をＸｗ−Ｙｗ平面、この平面から垂直上向きにＺｗ軸を設定する。また、姿勢（回転）に関しては、グラスＧＬの底面を互いに直交するｘ軸とｙ軸とで構成されるｘ−ｙ平面、この平面からグラスＧＬの口方向へ向かって垂直方向をｚ方向を設定し、ｘ、ｙ、ｚの各軸に対して原点側から見て右回りの方向にそれぞれ、α、β、γの方向とする。内部に液体ＬＤの入ったグラスＧＬを姿勢制御する場合、この６軸に対して、αとβの方向のみが変化しないようにすればよい。

図２Ｅは、保持レベルに対するαとβの方向の許容変動範囲を示したテーブルであって、保持方法データベース１０２ｄに記憶された保持方法の情報を示している。「保持レベル」は、グラスＧＬに入っている液体ＬＤの量と、グラスＧＬの大きさに依存して予め決定される。図２Ｄに示したように、グラスＧＬの高さをh、グラスＧＬの口の半径をr、グラスＧＬに入っている液体ＬＤの高さをhi、グラスＧＬの水の傾きに対する許容角度をθ_wとすると、保持レベルは以下のように決定される。

グラスＧＬの高さh、グラスＧＬの口の半径rは、グラスＧＬに付された電子タグに書き込んでおけばよい。また、グラスＧＬに入っている液体ＬＤの高さhiは、後述する重量センサを利用して測定することができる。すなわち、グラスＧＬの重量w_g及び、グラスＧＬの形状情報を電子タグに書き込んでおく。重量センサによって測定された対象物の重さをw_wとすると、内部に入った液体ＬＤの重量はw_w−w_gとして求められる。ここで、内容物が水であるとすると、内部に入った液体ＬＤの量が推定できる。ここで、電子タグ情報より、グラスＧＬの形状情報を取得できため、これらの情報からグラスＧＬに入っている液体ＬＤの高さhiを推定することができる。

次に、ロボット２の置かれている環境システムについて説明する。

図２Ｆは本発明の上記第１実施形態にかかるロボット２が活動する環境システムの構成を示すブロック図である。図２Ｆに示すように、環境システムは、大きく分けて、上記物品保持システム１０を設置したロボット２の一例として機能する作業ロボット４０２、環境内の状況を把握するセンシング装置（上記認識装置１０１の一例として機能することができる装置。）４０４を含む、サーバとしての環境管理サーバ４０１、及び操作装置としての操作端末４０３の３個のサブシステムから構成される。サブシステム４０１〜４０３はそれぞれ送受信手段４０９を備えており、これらの送受信手段４０９によって、それぞれの制御手段の制御の基に、無線又は有線のネットワークを介して、情報やデータ、信号などのやり取りを互いに独立して行うことができる。なお、各送受信手段４０９は、共通の処理を行うため、図２Ｆでは同一の符号４０９を付している。

なお、ここでの説明では、「環境」は、一例として、家の部屋とするが、本発明はこれに限られるものではなく、生活空間であって物品が配置されている空間を意味する。

各サブシステムの構成と動作について、順に説明する。

＜環境管理サーバの構成＞
環境管理サーバ４０１は、センシング装置４０４によって把握した状況のうち、環境内に存在する物品と、人やロボット４０２を含む移動体の状況を管理する物品及び移動体検索・管理手段４０５と、その物品及び移動体のデータを蓄積する物品及び移動体データベース４０６と、物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段４０７と、その環境全体のデータを蓄積する環境マップデータベース４０８とを備えている。センシング装置４０４からの出力信号は、物品及び移動体検索・管理手段４０５と環境マップ管理手段４０７とにそれぞれ入力されるように接続されている。物品及び移動体検索・管理手段４０５は、物品及び移動体データベース４０６と制御手段４１０とに接続されている。環境マップ管理手段４０７は、環境マップデータベース４０８と制御手段４１０とに接続されている。送受信手段４０９は、制御手段４１０に接続されている。

送受信手段４０９は、制御手段４１０の制御の基に、物品及び移動体データベース４０６のデータ及び環境マップ４０８のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット４０２に対する制御コマンドを送信したりする。制御手段４１０は、物品及び移動体検索・管理手段４０５、環境マップ管理手段４０７、及び送受信手段４０９のそれぞれの動作を独立してコントロールする。

センシング装置４０４は、環境内に存在する家具などの物品、及び環境内に存在する人やロボット４０２について、その位置（位置座標）と状態（座る、外出、立つ、寝る、歩く、保持、吸着、把持、解放など）を常時監視する。

また、センシング装置４０４は、人やロボット４０２によって、環境内に物品が持ち込まれたことや、環境外へ物品が持ち出されたことも検出可能である。センシング装置４０４は、具体的には、環境内に設置されたカメラ（画像センサ）や、タグセンサ等があるが、詳細については後述する。そして、物品や移動体を検出したとき、センシング装置４０４は、その検出情報を物品及び移動体検索・管理手段４０５及び環境マップ管理手段４０７に送信する。センシング装置４０４から物品及び移動体検索・管理手段４０５及び環境マップ管理手段４０７に送信する情報としては、例えば、物品の検出時刻、物品の位置（位置座標）及び向き等がある。

物品及び移動体検索・管理手段４０５は、センシング装置４０４によって検出された物品及び移動体の情報を、物品及び移動体データベース（ＤＢ）４０６に蓄積して管理する。物品及び移動体データベース４０６に管理する情報は、少なくとも物品及び移動体の現在位置（位置座標）の情報を含む。物品及び移動体データベース４０６の詳細、及びその更新方法については後述する。

また、物品及び移動体検索・管理手段４０５は、センシング装置４０４からの情報に基づいて、物品の操作（物品の保持及び／又は移動などの取扱い）を行っている移動体（人・ロボット）を推論し、その推論結果を物品及び移動体データベース４０６に蓄積する。

さらに、物品及び移動体検索・管理手段４０５は、送受信手段４０９で受信するなどの結果として制御手段４１０から物品及び移動体検索・管理手段４０５に、物品及び移動体データベース４０６に関する問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を物品及び移動体データベース４０６から取り出し、制御手段４１０に送る。

また、環境マップ管理手段４０７は、センシング装置４０４からの情報に基づいて、環境マップを作成して環境マップデータベース４０８に蓄積するとともに、その作成した環境マの管理を環境マップデータベース４０８で行う。環境マップデータベース４０８に蓄積された環境マップはロボット４０２が環境内を移動する際に利用するものであり、ロボット４０２はこの環境マップをサーバ４０１から取得して、移動経路計画を立てる。

さらに、環境マップ管理手段４０７は、送受信手段４０９で受信するなどの結果として制御手段４１０から環境マップ管理手段４０７に、環境マップデータベース４０８に関する問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を環境マップデータベース４０８から取り出し、制御手段４１０に送る。

また、制御手段４１０は、環境管理サーバ４０１の全体を制御する要素であり、主な制御内容としては以下のものがある。

１）送受信手段４０９が、環境管理サーバ４０１内にある各種データに関する問い合わせを受信したとき、その問い合わせ内容を制御手段４１０で判断し、その判断結果に応じて、制御手段４１０から物品及び移動体検索・管理手段４０５や環境マップ管理手段４０７にデータの参照要求を出す。

２）上記要求に対して物品及び移動体検索管理手段４０５又は環境マップ管理手段４０７から制御手段４１０に送られてきた結果を、制御手段４１０の制御の基に、送受信手段４０９を介して、問い合わせ元に送る。

３）操作端末４０３から送受信手段４０９を介して制御手段４１０に送信されたロボット４０２の作業内容メッセージを解釈し、そのロボット４０２に動作を実行させるためのロボット制御コマンド列を制御手段４１０で生成して、制御手段４１０から送受信手段４０９を介してロボット４０２に送信する。なお、ロボット制御コマンド列については、後述する。

４）必要に応じて、一定時間毎に、物品及び移動体データベース４０６で管理している物品の一部又は全部の状況や、環境マップデータベース４０８で管理している環境マップの状況を、送受信手段４０９を介して制御手段４１０により、ロボット４０２やユーザ（操作端末４０３）にブロードキャストする。

（センシング装置の具体例）
上記第１実施形態にかかるロボットによる物品保持システムが対象にする環境は、家庭などの生活空間である。したがって、この環境では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、その位置は常に変化する。また、人やロボットのような移動体も、その移動経路に制限がなく、自由に動き回る。このため、上記ロボットによる物品保持システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。

・画像センサ
物品の検出に最も良く用いられるセンサの一つが、画像センサ（カメラ）である。室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を用いて、室内の物品等の検出を行うのが一般的である。

カメラ画像を用いて環境内の物品や移動体を検出する一般的な手法として、背景差分法がある。背景差分法とは、背景としてのモデル画像を予め準備しておき、現在のカメラ画像とモデル画像との差分を取ることによって、対象物を検出する方法である。上記ロボットによる物品保持システムでは、環境内の物品や移動体を検出・監視する必要があるので、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。

しかしながら、画像センサを用いた物品検出には、一般に、明るさの変化に弱い、解像度が低い、物品が他の物に隠れて見えなくなる（死角の問題）、重なった複数の物品が一個の物品として検出されてしまう等、多くの問題がある。例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能なようにすれば解決する。ところが、死角が無くなるだけでは、物品検出を確実に行い得るとは限らない。つまり、カメラ台数をいくら増やしても、解像度の問題や物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを特定することが必ずしもできない。

・電子タグの利用
近年では、電子タグを用いて物品や移動体の位置（位置座標）検出を行う手法が開発されつつある。電子タグとは、データを蓄えるＩＣと、データを無線で送受信するアンテナとから構成されるデバイスである。リーダライタと呼ばれる装置によって、電子タグに書き込まれた情報を非接触で読み取ったり、電子タグに情報を非接触で書き込んだりすることができる。このようなリーダライタをタグリーダと呼ぶ。

そこで、電子タグを各物品に付し、その物品に関するデータ、例えば物品の種類（又は物品のＩＤ情報）、形状、重さ、その物品の画像、製造年月日等のデータを電子タグに埋め込む。また、移動体（人及びロボット）にも電子タグを付し、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。人の場合は、常時携帯するもの（例えば腕時計や眼鏡等）に電子タグを付してもよい。一方、環境内には、タグリーダを多数設置する。タグリーダが物品や移動体に付された電子タグの情報を読み取ることによって、カメラがなくても、環境内に存在する物品等の検出が可能になる。

また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合は、物品の存在を検出できるだけでなく、電子タグに埋め込まれた当該物品のデータを利用することができる。例えば物品の形状データを利用することによって、後述するように、ロボット４０２による物品の保持を容易にすることができる。また、製造年月日データを利用することによって品質期限の管理が可能になったり、物品の種類データを利用することによって捜し物を見つけるのが容易になったりする等、ユーザに大きなメリットをもたらす。

しかしながら、電子タグを用いた物品検出には、通信距離が短いという問題がある。すなわち、電子タグとタグリーダとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短い。また、通信距離の問題を解消するために、タグリーダを環境内に多数設置することも考えられるが、タグリーダはカメラに比べてコストが高いため、現実的ではない。

・画像センサと電子タグとの組合せ
以上、説明したように、画像センサを用いた方法と、電子タグを利用する方法とには、一長一短がある。そこで、画像センサと電子タグの両方を利用する方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置（位置座標）を特定し、さらに電子タグを用いてその物品を特定する、というハイブリッド処理を行うのである。

具体的な処理の例を、２つ挙げる。

１つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット４０２にタグリーダ４０４ａを取り付けるというものである。また、各物品及び移動体には電子タグを取り付けておく。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置（位置座標）を特定する。そして、特定した物品の近傍にロボット４０２を移動させて、そのロボット４０２に取り付けたタグリーダ４０４ａによって、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。

もう１つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のタグリーダを略均等に設置するというものである。このタグリーダは、電子タグのデータ読み取りに関して指向性を有し、かつ、その読み取り方向が可変であるものとする。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置（位置座標）を特定する。次に、特定した物品に最も近い位置（位置座標）に設置されたタグリーダを選択し、そのタグリーダの読み取り方向をその物品に向ける。そして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。なお、この例では、タグリーダと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いる必要がある。このため、環境内に人がいないことを例えば背景差分法によって確認した上で、電子タグからの情報読み取りを行うのが好ましい。

なお、本システムにおけるセンシングには、ここで説明した画像センサや電子タグを用いた方法以外の方法を採用してもよい。

（物品及び移動体検索管理手段）
図２Ｇは、物品及び移動体検索・管理手段４０５の内部構成を概念的に示す図である。図２Ｇにおいて、物品取扱検出手段４３１は物品が移動体によって取り扱われていること（物品取扱状態）を検出し、取扱者特定手段４３２は物品取扱検出手段４３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する。

物品取扱検出手段４３１はセンシング装置４０４からの情報に基づいて、物品取扱状態を検出する。例えば、上述したような画像センサと背景差分法を利用して物品検出を行っている場合は、カメラ画像とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出する。もちろん、例えば電子タグを利用して、物品取扱状態を検出してもよい。

取扱者特定手段４３２は、物品取扱検出手段４３１が物品取扱状態を検出したとき、その物品を取り扱っている取扱者（人又はロボット）を特定し、その取扱者の情報を物品及び移動体データベース４０６に蓄積する。

取扱者の特定は、具体的には次のようにすればよい。センシング装置４０４としてカメラを利用している場合は、物品取扱状態が検出された領域をそのカメラによって撮像する。そして、撮像画像に対して顔認証処理を行い、移動体を特定する。特定された移動体は、取扱いがなされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定する。なお、センシング装置４０４としては通常、広域を撮影するために広角カメラが利用されるが、広角カメラの撮像画像の解像度は比較的低く、顔認証処理を行うには十分でない可能性がある。そこで、広角カメラとは別個に、顔認証処理用のカメラとして狭角の高分解能カメラを環境内又はロボット４０２に設置してもよい。物品取扱検出手段４３１が物品取扱状態を検出した領域をこの狭角カメラによって撮像し、その撮像画像について顔認証処理を行うことによって、取扱者を精度よく特定できる。

なお、物品取扱者の特定は、顔認証処理に限らず、例えば虹彩認証等その他の認証処理によって行ってもよい。また、認証処理を行わずに、そのカメラ画像自体を物品及び移動体データベース４０６に蓄積してもよい。これは、認証処理によって移動体を特定できなかった場合に限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。

（物品及び移動体データベース）
物品及び移動体データベース４０６は、物品及び移動体の情報を蓄積するデータベースであり、例えば、図２Ｈに示すような物品を扱う物品データベース（ＤＢ）４０６ｂと、図２Ｉに示すような移動体を扱う移動体データベース（ＤＢ）４０６ｍとを備えている。

図２Ｈの物品データベース４０６ｂは、物品データ、物品履歴データ、及び物品属性データをそれぞれ蓄積する３個のサブデータベース４０６ｂ−１、４０６ｂ−２、４０６ｂ−３からなる。

１）物品データ
物品データのサブデータベース４０６ｂ−１に蓄積される物品データには、個々の物品を区別するためのＩＤ情報（例えば、図２Ｈにおいて、小さい缶に対してＩＤとして割り当てられた「ｋａｎ＿ｓｍａｌｌ＿０００１」など）、物品履歴データへのポインタ（例えば、図２Ｈにおいて、小さい缶の位置履歴としての「リスト１」など）、及び物品属性データへのポインタ（例えば、図２Ｈにおいて、小さい缶に対して属性データとしての「ｋａｎ＿ｓｍａｌｌ」など）、を含む。図２Ｈの例では、同種類であっても物理的に異なる物品は異なるＩＤ情報が割り当てられ、別の物品として扱われる。ただし、同種の物品は同じ物的属性を持つため、ＩＤ情報及び位置履歴データへのポインタは異なるが、物品属性データへのポインタは共通である。これにより、データベースの容量が節約できる。

２）物品履歴データ
物品履歴データのサブデータベース４０６ｂ−２に蓄積される物品履歴データは、物品が取り扱われた履歴を表すものであり、図２Ｈでは、取扱時刻（例えば、図２Ｈにおいて、位置履歴リスト１に対して時刻「ｔ１」など）、取扱内容（例えば、図２Ｈにおいて、位置履歴リスト１に対して操作内容「新規」など）、取扱者（例えば、図２Ｈにおいて、位置履歴リスト１に対して操作者「お父さん」など）、取扱後の位置（位置座標）（例えば、図２Ｈにおいて、位置履歴リスト１に対して操作後の位置「ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１」など）、の４項目を含む。なお、位置データ（位置座標データ）の表現は様々なものが考えられるが、図２Ｈの例では、物品の位置（重心位置座標等を用いる）を表す３つのパラメータ（ｘ１，ｙ１，ｚ１）と、物品の向きを表す３つのパラメータ（ｌ１，ｍ１，ｎ１）とを合わせた６つのパラメータで位置（位置座標）を表現している。また、取扱者は、取扱者特定手段４３２によって特定された移動体である。

３）物品属性データ
物品属性データのサブデータベース４０６ｂ−３に蓄積される物品属性データは、物品が有する物理的な属性情報を表すものであり、例としては、図６に示すように、物品の重量（例えば、図２Ｈにおいて、ｋａｎ＿ｓｍａｌｌに対して重量「１００ｇ」など）、形状（例えば、図２Ｈにおいて、ｋａｎ＿ｓｍａｌｌに対して形状モデル・サイズとして円筒の斜視図など）、外観画像データ（例えば、図２Ｈにおいて、ｋａｎ＿ｓｍａｌｌに対して外観画像の画像データなど）等が挙げられる。

また、図２Ｉの移動体データベース４０６ｍは、移動体データ、及び移動体履歴データをそれぞれ蓄積する２つのサブデータベース４０６ｍ−１、４０６ｍ−２からなる。

１）移動体データ
移動体データのサブデータベース４０６ｍ−１に蓄積される移動体データは、個々の移動体を区別するためのＩＤ情報（例えば、図２Ｉにおいて、ＩＤとして「お父さん」など）、及び移動体履歴データへのポインタ（例えば、図２Ｉにおいて、位置履歴として「リスト３」など）、を含む。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。

２）移動体履歴データ
移動体履歴データのサブデータベース４０６ｍ−２に蓄積される移動体履歴データは、時刻（例えば、図２Ｉにおいて、位置履歴リスト３として時刻「ｔ１」など）、その時刻における位置（位置座標）（例えば、図２Ｉにおいて、位置履歴リスト３として位置「（ｘ４，ｙ４，ｚ４）」など）、及びその時刻における状態（例えば、図２Ｉにおいて、位置履歴リスト３として状態「座る」など）の３項目を含む。移動体（ロボット４０２以外のロボット、又は、人）は、物品と異なり、空間内に占める体積が大きいため、ロボット４０２の移動の障害物になりやすい。このため、ロボット４０２がそのような障害物を避けつつ移動できるように、移動体の位置（位置座標）はできるだけ現実に則して表すのが好ましい。図２Ｉでは、必要最小限の情報で表すべく、移動体が床面上で占める領域を円で近似し、円の中心座標と半径によって移動体の位置（位置座標）を表している。もちろん、さらに厳密に表現してもよく、例えば移動体が床面上で占める領域の輪郭を複数個の線分ベクトルを用いて近似してもよい。

また、移動体の状態は、人の場合は「座る」、「立つ」、「寝る」、「歩く」等の一般的な人の動作によって表し、ロボット４０２の場合は、「保持」（又は「把持」若しくは「吸着」）、「解放」等のロボット４０２が物品に対して行う動作によって表す。なお、ロボット４０２に関しては、その動作だけでなく、作業対象の物品ＩＤ情報と併せて「物品ＩＤ：動作内容」と表現する。具体的には例えば、図２Ｉの位置履歴リスト５の時刻ｔ４として示すように「kan_small_0001把持」となる。状態の特定は、例えば移動体履歴データのサブデータベース４０６ｍ−２内に、例えば移動体の状態候補を予め複数準備しておき、センシング装置４０４による検出結果等に基づいて、移動体の状態がどの状態候補に当てはまるかを物品及び移動体検索・管理手段４０５で判断して行えばよい。

物品及び移動体検索・管理手段４０５は、物品及び移動体データベース４０６に物品や移動体の情報を格納し、また各物品や移動体の位置（位置座標）が変更される毎に、その情報を更新する。なお、更新のタイミングはこれに限るものではなく、例えば、所定時間毎に更新するなど、更新のタイミングを適宜設定すればよい。

なお、物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積するのが好ましい。これにより、より過去に遡って履歴を調べることができる。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積するのが好ましい。これにより、人やロボット等の移動体の移動経路をより細かく管理することができる。ただし、データベースの容量には限界があるため、ある所定期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。

（環境マップと設備データベース）
図２Ｊ〜図２Ｌは環境マップデータベース４０８の環境マップの例である。図２Ｊは実環境の例、図２Ｋは図２Ｊの実環境を立体モデルで簡略化した環境マップ、図２Ｌはさらに平面モデルで簡略化した環境マップである。

環境マップは、その用途や、作成にかかる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、図２Ｋのように、環境内に存在する立体物を、それを覆う最小の直方体でモデル化すればよい。図２Ｋでは、テーブルＴｂと本棚Ｂｓはそれぞれ直方体でモデル化され、ゴミ箱Ｔｓは略円柱でモデル化されている。平面モデルからなる環境マップも同様であり、図２Ｌでは、テーブルＴｂと本棚Ｂｓは平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化され、ゴミ箱Ｔｓは円領域（斜線を付した領域）でモデル化されている。これら２つの矩形領域及び円領域は、ロボット４０２が移動不可能な領域に設定される。さらに、図２Ｊに示すような実環境をそのまま立体モデル化したものを、環境マップとしてもよい。

図２Ｍは環境マップに付随する設備データベース４０８ｅの一例を示す図であり、図８の環境に対応したものである。この設備データベースは、設備データと、設備属性データとをそれぞれ蓄積する２つのサブデータベース４０８ｅ−１，４０８ｅ−２からなる。

１）設備データ
設備データのサブデータベース４０８ｅ−１に蓄積される設備データは、環境それ自体、及びこの環境内の個々の設備（物品とは異なり、環境に固定又は設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤ情報（例えば、図２Ｍにおいて、ＩＤとして「ｒｏｏｍ＿０００１」など）と、設備属性データへのポインタ（例えば、図２Ｍにおいて、属性データとして「ｒｏｏｍ０１」など）とを含む。より具体的には、図２Ｍ９では、環境（部屋）にはＩＤ情報として「room_0001」が付され、環境内に存在するテーブルＴｂ、本棚Ｂｓ及びゴミ箱Ｔｓには、それぞれ、ＩＤ情報として「table_0001」、「bookshelf_0001」、「trash_0001」が付されている。

２）設備属性データ
設備属性データのサブデータベース４０８ｅ−２に蓄積される設備属性データは、環境自体に係る設備属性データは、その環境内の床面データを含む。例えばその環境内に互いに高さの異なる複数の床面が存在するときは、その床面の数だけ床面データ（例えば、図２Ｍにおいて、ｒｏｏｍ＿０１の構成面として「床面１，床面２」など）が蓄積される。床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４組の座標値は、床面を構成する各頂点の実世界座標を表し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を表す。また、最後の値（０）は床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。

家具等の設備に係る設備属性データは、その設備を構成する各面のデータ（面１，面２）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢を含む。具体的には例えば、設備を構成する面のデータは次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３組の座標値は、その面を構成する各頂点の実世界座標を表す。次の値（１）はその面に物品が載置可能な否かのフラグであり、「１」は物品が載置可能、「０」は載置不可能を示す。最後の値（４００）は、その面に物品が載置可能であるとき、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときは、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。

設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、例えば、作業ロボット４０２に本を本棚に移動させる作業を指定したとき、その作業ロボット４０２は「主な物品の形状と姿勢」データを基にして、指定された本を立てた姿勢で本棚の棚に載置することができる。

ただし、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。例えばテーブルやゴミ箱は、物品の形状や姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。

＜作業ロボットの構成＞
作業ロボット４０２は、環境内で物品の取扱い作業を行う。ここでは特に、ユーザの指示に従って、環境内で物品を移動させる作業を行うものとする。

図２Ａ及び図２Ｆに示すように、ロボット４０２は、ロボット４０２の近辺の障害物等を検知する障害物センサ（物品保持システム１０の上記認識装置１０１の別の例として機能することができる装置。）４１１と、物品を保持する保持装置１０３を含む物品保持システム１０と、ロボット４０２の送受信手段４０９及び制御手段４１５並びに環境管理サーバ４０１の送受信手段４０９及び制御手段４１０及び物品及び移動体検索・管理手段４０５などを介して環境管理サーバ４０１の環境マップデータベース４０８内の環境マップを参照してロボット４０２の移動計画を立てる移動計画作成手段４１３と、ロボット４０２自体を移動させる移動装置４１４とを備えている。送受信手段４０９は、制御手段４１５の制御の基に、環境管理サーバ４０１や操作端末４０３との間で種々のデータの送受信を行う。制御手段４１５は、障害物センサ４１１と、送受信手段４０９と、物品保持システム１０と、移動計画作成手段４１３と、移動装置４１４とに接続されて、それぞれの動作を独立してコントロールする。

前述の図２Ａはロボット４０２の構造の一例を示した模式図であり、このロボット４０２は、上記したように、移動計画作成手段４１３や制御手段４１５等を収容する略箱型の本体部３９０を備えている。以下、図２Ａにおける紙面手前側を前側、紙面奥側を後側、紙面右側を左側、紙面左側を右側と呼ぶ。

物品保持システム１０の各保持装置１０３は、前述のように、多関節アーム１０３ｂと、そのアーム１０３ｂの先端に配設されたハンド１０３ａと、それぞれのアーム１０３ｂ及びハンド１０３ａを独立してそれぞれ駆動させる駆動装置とから構成され、本体部３９０の両側部の上部に取り付けられている。それぞれのアーム１０３ｂ及びハンド１０３ａの駆動装置は、モータ制御によるアクチュエータにより構成するようにしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータにより構成するようにしてもかまわない。また、保持装置１０３として、さらに、空気の吸引により物品を保持する吸着ハンド１０３ｓを備える場合には、吸着ハンド１０３ｓと吸着ハンド１０３ｓの吸引動作及び吸引解除動作を制御する吸引装置により構成するようにしても構わない。

また、上記ロボットによる物品保持システム１０では、環境内に存在する各物品に電子タグが付されているとして、それぞれの保持装置１０３には、環境管理サーバ４０１のセンシング装置４０４の一例としてのタグリーダ４０４ａを取り付けている（図２Ａ参照）。これにより、保持装置１０３が物品を保持したときに、保持した物品の電子タグに書き込まれた情報をタグリーダ４０４ａが読み取り、読み取られた情報によって、保持装置１０３により保持した物品が何であるかを、環境管理サーバ４０１の物品及び移動体検索・管理手段４０５で物品及び移動体データベース４０６を参照して特定することができる。なお、保持装置１０３に取り付けるタグリーダ４０４ａは省略し、環境に設置されたタグリーダ４０４ａを利用するようにしてもかまわない。

移動装置４１４は、４つの車輪３９４と、４つの車輪３９４を正逆回転駆動するモータ３０４と、モータ３０４を駆動制御するモータドライバと３０３などによって構成されており（図２Ｃ参照）、これらの車輪３９４は、本体部３９０の左右両側にそれぞれ２つずつ取り付けられている（図２Ａの例では、右後側の車輪３９４の図示を省略する）。なお、移動装置４１４の構成は、そのロボット４０２が使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動装置４１４をクローラ型や多足歩行型に構成することが好ましい。

障害物センサ４１１は、ここでは、超音波センサ４１１ａ、視覚センサとしての一対のカメラ１０５、及び衝突センサ４１１ｃとから構成されている。それぞれの超音波センサ４１１ａは、超音波を発してその反射波を受信するまでの時間を測定することによって障害物までのおおよその距離を計算し、近距離の障害物をロボット４０２との衝突前に検知する。超音波センサ４１１ａは、一例として、本体部３９０の各側面（前面、後面、左右側面）の下部に３個ずつ取り付けられている。また、それぞれのカメラ１０５は、ロボット４０２の周囲の状況を画像として入力する。この画像に対して認識処理等を行うことによって、障害物の有無を判断したり、保持対象物品についてより正確な情報を得たりする。カメラ１０５は、本体部３９０の前部の上部に取り付けられている。さらに、衝突センサ４１１ｃは、ロボット４０２に所定の衝撃力が加わったことを検知する。例えば障害物がロボット４０２に衝突してきたり、ロボット４０２自体が移動中に障害物に衝突したことを、衝突センサ４１１ｃによって検知する。衝突センサ４１１ｃは、本体部３９０の前面と後面の下部にそれぞれ取り付けられている。

移動計画作成手段４１３は、物品の移動作業やその他の作業に伴う移動が指定されたとき、ロボット４０２の現在位置の位置座標から目的位置の位置座標までの移動経路を、環境マップデータベース４０８の環境マップを参照して作成する。環境マップには、図２Ｌに示すように、移動不可領域（斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成できる。例えば図２Ｌにおいて、Ａ地点からＢ地点までの移動の際には、ロボット４０２の大きさを考慮して、矢線で示すような移動不可領域を回避するルートが作成される。移動経路の作成には、最も一般的なダイクストラ法を用いればよいし、環境が複雑な場合は、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。なお、環境が複雑すぎるため、移動経路の算出ができない、あるいは、その算出に多大な時間を要するような場合の対策として、ユーザが操作端末４０３を使用してロボット４０２の移動経路を移動計画作成手段４１３に指定するモードを設けてもよい。

（ロボットの制御コマンド）
作業ロボット４０２の制御手段４１５は、主に環境管理サーバ４０１から環境管理サーバ側及び作業ロボット側の送受信手段４０９，４０９を介して送られてきたロボット制御コマンド列を解釈し、その制御コマンドを順に実行する。

ロボット制御コマンドとは、物品の保持や、ロボット４０２自体の移動の制御を行うためのコマンドであり、大きくわけると、主として「移動」、「保持」、「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。

１）移動：（ｍｏｖｅ，座標）又は（ｍｏｖｅ，設備ＩＤ）
ロボット４０２の現在位置の位置座標から位置座標で指定された位置、又は設備ＩＤ情報で指定された設備の位置の位置座標まで移動するコマンドである。位置座標は世界座標系で指定し、現在位置の位置座標から目的位置の位置座標までの移動経路は移動計画作成手段４１３が計画する。また、設備ＩＤ情報で指定された設備の位置の位置座標に移動するときは、その設備に対して所定の距離まで近づくような経路を作成するが、この場合、環境マップ内の設備属性データを利用する。

２）保持：（ｇｒａｂ，物品ＩＤ）
物品ＩＤ情報で指定された物品を、保持装置１０３の一例としてのハンド１０３ｂによって保持するコマンドである。物品の位置（位置座標）は、物品及び移動体データベース４０６を参照して求め、保持計画及び保持解放計画は物品保持システム１０の上記保持方法特定手段１０２が作成する。

３）解放：（ｒｅｌｅａｓｅ）
保持解放計画に基づき、ハンド１０３ｂを解放するコマンドである。

例えば、ある物品をある場所に移動させる作業がユーザから指示されたときは、その作業は、「（物品の位置Ｂ１への）移動」と、「（物品の）保持」と、「（移動先Ｂ２への）移動」と、「（物品の保持）解放」という４つの作業単位に分解される。この場合のロボット制御コマンド列は、
ｍｏｖｅ，Ｂ１（物品が置かれている位置Ｂ１にロボット４０２を移動する）
ｇｒａｂ，物品ＩＤ（位置Ｂ１にある物品を保持装置１０３で保持する）
ｍｏｖｅ，Ｂ２（（物品を保持装置１０３で保持した状態で）移動先である位置Ｂ２にロボット４０２が移動する）
ｒｅｌｅａｓｅ（保持装置１０３で保持している物品を解放する）
となる。複数の物品の移動を指示されたときは、コマンド列は、上記４つのコマンドを一組として物品の数だけ並べられ、ロボット４０２の制御手段４１５は、その順番に従って制御コマンドを順に実行する。

もちろん、ロボット制御コマンドはこの３種類に限られるものではなく、必要に応じて増やしてもよいことはいうまでもない。

図２１は、制御手段４１５の動作例を示すフローチャートである。制御手段４１５は、環境管理サーバ４０１から送信された制御コマンド列をロボット側の送受信手段４０９が受信したとき又は物品保持システム１０から制御コマンド列が入力されたとき、どの作業単位であるかを判定し（図２１のステップＳ１０１〜Ｓ１０３）、その作業単位に応じた処理を実行する。

まず、作業単位が「移動」のときは（図２１のステップＳ１０１でＹＥＳ）、指定された位置（位置座標）までの経路を移動計画作成手段４１３に作成させる（ステップＳ１０４）。そして、移動計画作成手段４１３によって作成されて経路に応じて移動制御コマンドを移動装置４１４に送り、指定された位置（位置座標）までの移動処理を実行する（ステップＳ１０５）。

また、作業単位が「保持」のときは（ステップＳ１０１でＮＯでかつステップＳ１０２でＹＥＳ）、障害物センサ４１１によって保持対象物品の姿勢を検出する（ステップＳ１０６）とともに、その検出結果に応じてアーム１０３ａとハンド１０３ｂの動作を計算する（ステップＳ１０７）。そして、保持制御コマンドを制御手段４１５から物品保持システム１０の保持装置１０３に送り、保持装置１０３による物品の保持処理を実行する（ステップＳ１０８）。なお、ステップＳ１０６において、物品の姿勢は環境管理サーバ４０１の物品及び移動体データベース４０６に記録されているので、環境管理サーバ４０１に物品の姿勢を問い合わせるようにしてもよい。

また、作業単位が「解放」のときは（ステップＳ１０１でＮＯでかつステップＳ１０２でＮＯでかつステップＳ１０３でＹＥＳ）、指定された移動先に物品が設置されるようにアーム１０３ａとハンド１０３ｂの動作を計算する（ステップＳ１０９）。そして、解放制御コマンドを制御手段４１５から保持装置１０３に送り、物品の解放処理を実行する（ステップＳ１１０）。

移動、保持及び解放の各動作が終了したとき、その旨をメッセージとして作業指示元である環境管理サーバ４０１に制御手段４１５の制御の基に送信する（ステップＳ１１１）。このようにして、操作端末４０３によって指示された作業内容が、ロボット４０２によって実行される。

＜操作端末の構成＞
操作端末４０３は、上記ロボットによる物品保持システムにおけるユーザインタフェースであり、ユーザが、ロボット４０２に対して物品の取扱い作業を指示したり、物品に関する問合せをしたりするために操作する端末である。

図２Ｆに示すように、操作端末４０３は、操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示装置４１７と、表示装置４１７の操作画面上でロボット４０２に対して作業内容を指示するための例えばポインティングデバイスからなる入力装置４１６と、表示装置４１７に表示される操作画面の作成等の表示制御を行う表示制御手段４１８とを備えている。送受信手段４０９は、制御手段４１９の制御の基に、入力装置４１６に入力されたロボット４０２の作業内容や問合せ内容をサーバ４０１に送るとともに、問合せに対する回答を環境管理サーバ４０１から受信する。制御手段４１９は、送受信手段４０９と、入力装置４１６と、表示装置４１７と、表示制御手段４１８とに接続されて、それぞれの動作を独立してコントロールする。

この操作端末４０３としては、例えば汎用ＰＣ（パーソナルコンピュータ）を用いることも可能である。この場合、各処理を実行させる制御プログラムを汎用ＰＣに読み込ませることによって、操作端末４０３として用いることが可能になる。

表示制御手段４１８は、環境管理サーバ４０１から送信された情報、具体的には、センシング装置４０４としてのカメラが環境内を撮像した画像のデータ、物品及び移動体データベース４０６に蓄積されたデータ、環境マップデータベース４０８に蓄積された環境マップに基づいて、操作画面を作成する。作成された操作画面は、表示装置４１７に表示される。

すなわち、以上のようなシステムでは、操作端末４０３が、所定の生活空間を表す画像を表示装置４１７に表示し、ユーザが操作端末４０３から、画像に含まれた物品に対する操作の指示を行い、操作端末４０３から送信されたユーザの指示を、環境管理サーバ４０１が、物品及び移動体データベース４０６を参照して、ロボット４０２が実行可能な制御コマンドに変換し、ロボット４０２に送信する。このような物品操作方法によって、ユーザは、生活空間の複雑な状況において、作業ロボット、言い換えれば、生活支援ロボット４０２に的確な動作を、容易に実行させることができる。

また、上記物品保持システム１０によって、それぞれの保持装置１０３は、保持対象物の位置（位置座標）、ＩＤ情報、形状といった対象物情報、及び人物の位置（位置座標）、ＩＤ情報といった人物の情報を利用して、保持動作を行うことが可能である。

以下、上記物品保持システム１０による物品の保持について、具体的な例を挙げて説明する。

（１．内部に物体を収容可能な物品の保持）
上記したように、例えばグラス等の、内部に液体を入れる物品を保持する場合には、その内部に液体が入っているか否かという状況に応じて、保持方法を変えることが好ましい。つまり、内部に液体が入っているグラスを保持するときには、そのグラスを傾けたり、そのグラスに振動を与えたりすると液体をこぼすことになるため、そのグラスはできるだけ水平な状態でかつ振動を与えないような姿勢制御を行うことが好ましい。これに対し、内部に液体が入っていないグラスを保持するときには、そのような姿勢制御は特に必要ない。

そこで、上記物品保持システム１０の保持装置１０３は、内部に物体を収容可能な物品（ここではグラス）を保持するときに、上記認識装置１０１の一例としてのカメラなどによって、その内部に物体が収容されているか否か（ここではグラスに水が入っているか否か）を認識する。この認識方法の一例として、光の屈折を利用した認識方法が挙げられる。

図３は、光の屈折を利用してグラス２０１の内容物の認識を行う認識装置１０１の構成を示す図である。この認識装置１０１は、グラス２０１に対して投光する光源１０４と、グラス２０１に投光された状態を撮像する撮像装置１０５と、撮像装置１０５で撮像された情報を認識処理する上記認識処理部１０１ｐとをさらに有する。光源１０４は、指向性の強い光を照射するものが好ましく、例えばレーザ照射装置とすることが可能である。撮像装置１０５は、レーザ照射装置１０４から照射されたレーザ光線の軌跡を検出可能であればよく、例えばカメラとすることができる。レーザ照射装置１０４は、図２Ａに示すように、ロボット４０２のアーム１０３ｇに取り付けて、その位置（位置座標）を変更可能にすることが好ましい。また、カメラ１０５は、人型ロボット４０２の顔に埋め込むように構成してもよい。

上記認識装置１０１は、上記グラス２０１の内容物を認識するに際し、上記レーザ照射装置１０４によって、保持対象物（ここでは光透過性を有するグラス２０１）にレーザ光線１０４ｇを照射する。

通常、気体（空気）の屈折率と液体（水）の屈折率とは異なる（例えば空気の屈折率は１．０、水の屈折率は約１．３３）ため、グラス２０１の内部に液体２０１ｅは入っているか否かによって、レーザ光線１０４ｇの軌跡が変わる。つまり、図３Ａに示すように、グラス２０１が空のときには、グラス２０１の内もグラス２０１の外も空気で満たされているため、そのグラス２０１に対し斜め上方から照射したレーザ光線１０４ｇは、図３Ａに示すように直進する。これに対し、図３Ｂに示すように、グラス２０１に水２０１ｅが入れられているときには、空気の屈折率と水２０１ｅの屈折率とが異なるため、照射したレーザ光線１０４ｇは屈折する。

レーザ照射装置１０４がレーザ光線１０４ｇを照射している最中に、上記認識装置１０１は、カメラ１０５によってそのグラス２０１を撮像する。このことにより、レーザ光線１０４ｇの軌跡を検出する。認識処理部１０１ｐは、その検出結果に基づいてグラス２０１の内部に液体２０１ｅが入っているか否かを認識する。尚、光の屈折率は、物体（材質）によって異なるため、レーザ光線１０４ｇの屈折角度を検出することによって、グラス２０１の内部に入れられている物体の材質を検出することも可能になる。

上記保持方法特定手段１０２は、上記認識処理部１０１ｐの認識結果に基づいて、保持方法の特定を行う。この特定は、保持方法データベース１０２ｄを利用して行うが、必要に応じて、物品及び移動体データベース４０６を参照してもよい。

上記保持方法データベース１０２ｄには、詳しくは、先に図２Ｅで述べたように保持レベル毎に保持方法が決められているが、ここでは、簡略して、保持対象となる物品毎に、内容物の有無により異なる保持方法が記載されたテーブルが設けられているとする（図４Ａ参照）。各テーブルは、その物品の取り得る状況（例えば、内容物の有無の状況）と、その状況に最適な保持方法と、が対応付けられて記憶されている。図４Ａは、グラス２０１に対応するテーブルの一例を示していて、グラス２０１が取り得る状況として「内容物有」（図４Ｄ参照）と「内容物無」（図４Ｂ参照）とが含まれ、「内容物有」に対応する保持方法として「指型ハンドを使って、姿勢制御を行う」ことが設定され（図４Ｅ参照）、「内容物無」に対応する保持方法として「吸着ハンドを使って、姿勢制御を行わない」ことが設定されている（図４Ｃ参照）。

従って、上記保持方法特定手段１０２は、上記認識装置１０１がグラス２０１の内容物有と認識したときには、保持方法データベース１０２ｄを参照することによって「指型ハンドを使って、姿勢制御を行う」保持方法（図４Ｅ参照）を特定（選択）し、グラス２０１の内容物無と認識したときには、保持方法データベース１０２ｄを参照することによって「吸着ハンドを使って、姿勢制御を行わない」保持方法（図４Ｃ参照）を特定（選択）する。

上記保持装置１０３は、上記保持方法特定手段１０２によって特定された保持方法に従って、制御手段４１５の制御の基に、保持対象物の保持を実行する。従って、上記保持装置１０３は、グラス２０１内に水が満たされているとき（図４Ｄ参照）には、指型ハンド１０３ａによってグラス２０１が水平姿勢を保つように姿勢制御をしながらグラス２０１を保持する（図４Ｅ参照）。一方、グラス２０１が空であるとき（図４Ｂ参照）には、吸着ハンド１０３ｓによってそのグラス２０１を保持する（図４Ｃ参照）。このとき、グラス２０１の姿勢制御は行わない。

尚、保持装置１０３が保持対象物を保持するためには、その保持対象物の位置（位置座標）、形状、及び姿勢情報が必要となる。これらの情報は、例えばレンジファインダやステレオ視、等を利用した、種々の公知の方法により取得可能である。保持対象物の位置（位置座標）、形状、及び姿勢情報の取得方法の詳細は後述するが、物品及び移動体データベース４０６を参照すればよい。

このように、上記で例示したグラス２０１のような、その内部に物体を収容可能な物品は、その内部に物体が収容されたり、収容されなかったりして、時間に対して状況が変化する。そうした物品を保持装置１０３によって保持するときに、認識装置１０１は、上記物品（保持対象物）の内部に物体が収容されているか否かを認識し、保持方法特定手段１０２は、内部に物体が収容されているか否かに応じて保持方法を特定する。このことにより、その内部に物体を収容可能な物品を、その状況に合わせて最適に保持することができる。

（変形例）
上記保持方法特定手段１０２が参照する保持方法データベース１０２ｄは、物品保持システム１０が有している必要はなく、例えば保持対象物（各物品）に電子タグ等のタグを付し、そのタグに、保持対象物の状況に応じた保持方法などの情報を予め書き込んでおいてもよい。この場合、保持方法特定手段１０２は、保持対象物に付されたタグ内の上記保持方法などの情報を参照することによって、認識結果に応じた保持方法を特定することができる。

また、上記タグに、上記保持方法などの情報を予め書き込むのではなく、タグに、上記保持方法などの情報が蓄積されたデータベースを有するサーバのアドレス（インターネットアドレス）を記憶しておいてもよい。この場合、保持方法特定手段１０２は、上記アドレスにアクセスしてデータベースの上記保持方法などの情報を参照することによって、認識結果に応じた保持方法を特定する。尚、これらの情報を記憶する媒体は電子タグに限らない。例えば光学的なタグ、バーコード、２次元バーコード、等であってもよい。

また、上記物品保持システム１０は、図３Ａ及び図３Ｂではレーザ光線１０４ｇの軌跡に基づいてグラス２０１の内容物の有無を認識しているが、光の屈折を利用した認識はこれに限るものではない。例えばカメラ１０５に対する相対的な位置（位置座標）が判明している物体をグラス２０１を通して撮像し、その物体がグラス２０１上のどの位置（位置座標）に見えるか、を検出することによってグラス２０１の内容物の有無を認識することができる。この場合、撮影対象物は、その環境（一般家庭であれば部屋）に存在している物体を利用することができる。ここで、相対的な位置（位置座標）は、例えば、図２３に示されるように、部屋の天井５００にカメラ５０５を取り付け、そのカメラ５０５の画像から地図情報を作成しておき、作成された地図情報内での位置座標を物品及び移動体データベース４０６や保持方法データベース１０２ｄなどのデータベースに予め記憶させておくことにより、求めることができる。

さらに、グラス２０１の内容物の有無は光の屈折を利用する以外でも、認識することが可能である。

例えば重量センサを利用してグラス２０１の重さを量ることによって、グラス２０１の内容物の有無を認識してもよい。この場合は、空のグラス２０１の重量が予め判っていることが必要であるが、空のグラス２０１の重量は例えばグラス２０１に取り付けたタグに埋め込んでおいてもよい。また、重量センサは保持装置１０３に取り付けて、保持方法を特定する前に保持装置１０３によってグラス２０１を保持することによってグラス２０１の重さを量ってもよいし、グラス２０１が置かれている棚、テーブル等に重量センサを取り付けて、グラス２０１の重さを量ってもよい。重量センサを利用した認識は、保持対象物が光透過性を有している必要はなく、どのような物品に対しても認識が可能になるという利点がある。また、重量センサを利用した状況の認識は、例えば皿等を保持する際に、その皿の上に料理等が載っているか、を認識するときにも適用可能である。

また、例えば水滴センサを利用してグラス２０１の内容物の有無を認識してもよい。水滴センサは、ロボット４０２のアーム１０３ｂ先端に取り付けて、グラス２０１の外表面にセンサを接触可能にすればよい。この場合、水滴がついていると判断されたときには「内容物有」、水滴がついていない場合には「内容物無」として、図４Ａのテーブルを参照することで保持方法を決定することができる。

（２．形態の変化に対応した保持方法の特定）
次に、形態が変化する物品の保持について説明する。立体的な形状を有する物品（例えば紙くず）２０２ａを保持（把持する）ときには、図５Ａに示すように、指型ハンド１０３ａによって、その物品を上から挟むことが一般的である。

これに対し、その物品がシート状の物品２０２ｂであるとき、例えば床に置かれた一枚の紙や布であるときには、上記の保持方法を実行することは極めて困難である。こうした紙や布を把持するときには、図５Ｂに示すように、吸着ハンド１０３ｓによって吸着により保持することが効率的である。

また、同じ紙であっても、その紙が１００枚束ねられた形態であるときには、その重量を考慮すれば吸着による保持は困難である。この場合は、図５Ｃに示すように、紙の束２０２ｃを、その厚み方向から指型ハンド１０３ａによって挟む、ことが効率的である。

さらに、同じ紙であっても、その紙がクシャクシャに丸められている形態であるときには、図５Ａに示すように、指型ハンド１０３ａによって上から挟む、ことが効率的である。

このように、物品は同じ紙であっても、その形態によって最適な保持方法は変わる。そこで、上記物品保持システム１０は保持対象物を保持するときに、その保持対象物の形態を認識し、その認識結果に応じて最適な保持方法を特定（選択）する。

保持対象物の形態の認識は、その保持対象物に取り付けられた電子タグの情報を受信するタグリーダ（タグリーダ例えば４０４ａ）と、レンジファインダとを用いて行うことが可能である。つまりこの場合、物品保持システム１０の認識装置１０１としては、タグリーダ（例えばタグリーダ４０４ａ）とレンジファインダ（図示省略）とをさらに有する。また、ここでは、上記電子タグに、その物品が何であるか（物品を特定する情報）と、図６に示すように、その物品（ここでは紙）が取り得る状況（形態）と最適な保持方法とが対応付けられたテーブルと、が記憶されているとする。

上記物品保持システム１０の認識装置１０１は、保持対象物の形態を認識するに際し、先ずタグリーダ（例えばタグリーダ４０４ａ）によって、保持対象物の情報を読み取る。電子タグをアンチコリジョン対応とすることによって、仮に保持対象物が束ねられた複数毎の紙であっても、各紙に付与された電子タグの情報を同時に認識することができる。こうして、電子タグの情報によって、その保持対象物が何であるかを特定すると共に、テーブルを取得する。

次に、上記物品保持システム１０の認識装置１０１は、上記保持対象物の形状をレンジファインダによって検出する。その検出結果から認識処理部１０１ｐにより保持対象物の形態が認識される。

保持方法特定手段１０２は、その認識結果に基づいて、上記テーブルを参照することにより、認識された保持対象物の形態に対応する保持方法を特定する。

保持装置１０３は、保持方法特定手段１０２によって特定された保持方法に従って、保持対象物を保持する。つまり、保持対象物が平らに置かれた１枚の紙２０２ｂであるときには、上記保持装置１０３は、吸着ハンド１０３ｓによってその紙２０２ｂを保持し、保持対象物が丸められた紙２０２ａであるときには、指型ハンド１０３ａによってその丸められた紙２０２ａを上方から挟み、保持対象物が束ねられた複数枚の紙の束２０２ｃであるときには、指型ハンド１０３ａによってその紙の束２０２ｃを横方向から挟む。

こうして、保持対象物をその形態に対応した最適な保持方法でもって、保持することができる。

もちろん、このような紙の保持方法はこれに限るものではなく、例えば、複数の保持装置１０３を組み合わせたものでも構わない。これを、保持対象物が床に置かれた一枚の紙である場合に吸着ハンド１０３ｓと指型ハンド１０３ａを組み合わせて保持する例を、図２Ａ及び図５Ｄを用いて説明する。

図２Ａはこの様子を示したものである。ロボット４０２は、指型ハンド１０３によって挟もうとしても、紙２０２ｂが床に置かれている場合、この操作は非常に困難である。そこで、まず、ロボット４０２は、図５Ｄのように、吸着ハンド１０３ｓによって吸着により紙２０２ｂを保持する。その後、吸着ハンド１０３ｓと指型ハンド１０３ａを近づけるようにロボット４０２を制御し、吸着された紙２０２ｂの端を指型ハンド１０３ａで上下から挟む（図５Ｅ）。その後、吸着ハンド１０３ｓの吸着を停止する（例えば、制御手段４１５の制御により吸引装置を停止させる）ことで、指型ハンド１０３ａによる紙２０２ｂの把持を実現する（図５Ｆ）。

図５Ｇは、保持方法データベース１０２ｄに予め記憶させる、図２Ａに示したロボット４０２における保持方法の一覧を示したものである。このロボット４０２は、上記したように、２本の指型ハンド１０３ａと１本の吸着ハンド１０３ｓを持っている。

まず、指型ハンド１０３ａを利用する場合、単腕の指型ハンド１０３ａで挟んで保持する方法（例えば、図５Ａ及び図５Ｃ）、双腕の２つの指型ハンド１０３ａを利用して挟んで保持する方法（例えば、図９、図５Ｈ）などがある。この双腕の２つの指型ハンド１０３ａを利用する保持方法は、単腕の指型ハンド１０３ａでは安定が取りにくい大きな対象物や、重量の大きな対象物を保持する場合に有効である。

別の保持方法として、吸着ハンド１０３ｓを利用する保持方法（例えば、図５Ｂ）がある。これは、指型ハンド１０３ａでは保持が難しい、床面に置かれた紙や、凸凹の少ない面をもつ対象物に対して有効である。

また、指型ハンド１０３ａと吸着ハンド１０３ｓを組み合わせた保持方法も考えられる。これには、前述の吸着ハンド１０３ｓでまず吸着し、吸着した対象物を単腕の指型ハンド１０３ａ、又は双腕の２つの指型ハンド１０３ａで挟むよう方法（例えば、図５Ｅ）、双腕の２つの指型ハンド１０３ａの上に載せられた対象物を、吸着ハンド１０３ｓで押さえながら保持する方法などがある。図５Ｉはこの様子を示した図である。これは、台車のように、人や別のロボットなどから渡された大量の本や書類などを別の場所へ運搬する際の保持方法として有効である。

保持対象物の形態に対応して保持方法を特定する別の例として、衣類が挙げられる。次に、保持対象物が衣類である場合について、図７を参照しながら説明する。

つまり、衣類は、例えばこれから洗濯を行うために置かれているときには「指型ハンドで把持する」という保持方法が効率的である。これに対し、その衣類が洗濯を終えてハンガーに吊るされているときや、アイロンがかけられて畳まれているときには、衣類に皺が付いてしまうような保持方法を避ける必要がある。

衣類の例においても、保持対象物の形態の認識は、その保持対象物に取り付けられた電子タグの情報を受信するタグリーダ（例えばタグリーダ４０４ａ）と、レンジファインダとを用いて行うことが可能である。この場合、上記電子タグには、例えば図７に示すような情報を有するテーブルを保持方法データベース１０２ｄに記憶させておけばよい。このテーブルによって、衣類２１０がハンガー２１１にかけられた形態では、そのハンガー２１１の部分を指型ハンド１０３ａで保持する（例えばハンガー２１１のフック部分を指型ハンド１０３ａで把持又は引っ掛けるように保持する）ことが設定される。一方、衣類２１０ａが畳まれているときには、例えばアーム１０３ｂ又は２つの指型ハンド１０３ａを利用してその畳んだ状態のまま持ち上げるような保持動作をすることが設定される。また、衣類２１０がそれ以外の形態（例えば丸まった状態等）２１０ｂにあるときには、指型ハンド１０３ａで摘むように保持をすることが設定される。

尚、認識装置１０１が保持対象物の形態を認識する処理、保持方法特定手段１０２が保持方法を特定する処理は、上述したとおりであるため、ここでは説明を省略する。

このように、上記で例示した紙や衣類は、時間に対してその形態が変化する物品であるが、こうした物品を保持装置１０３によって保持するときに、認識装置１０１は、物品の形態を認識し、保持方法特定手段１０２は、その形態に応じた保持方法を特定する。このことにより、形態が変化する物品を、その形態に合わせて最適に保持することができる。

（３．物品の状況に応じた保持位置の特定・変更）
次に、物品の状況に応じた保持位置（位置座標）の特定及び変更について説明する。これは、ロボット４０２（一例として家事支援ロボット）が、料理（食品）２０４が盛り付けられた皿２０３を保持するときに有効である。つまり、料理２０４が盛り付けられた皿２０３を保持する際に、その皿２０３において料理２０４が存在しない部分を保持するようにする。そのために、上記保持装置１０３は保持対象物である皿２０３を保持するときに、その保持対象物である皿２０３の状況を認識し、その認識結果に応じて最適な保持方法を特定する。ここでは、皿２０３を保持するときに、その皿２０３のどの位置（位置座標）に料理２０４が存在しているかを認識し、その認識結果に応じて保持位置（位置座標）を特定する。

この場合は、物品の状況をタグリーダ（例えばタグリーダ４０４ａ）とカメラ（例えばカメラ１０５）とを利用して認識する。つまり、認識装置１０１の一例としてのタグリーダ（例えばタグリーダ４０４ａ）とカメラ（例えばカメラ１０５）とを利用する。

上記タグリーダ（例えばタグリーダ４０４ａ）とカメラ（例えばカメラ１０５）とを利用した、皿２０３の状況の認識について図８Ａを用いて説明する。図８Ｇは処理の流れを示した図である。

まず、上記物品保持システム１０は、時刻t=t₀にカメラによって料理２０４が盛り付けられた皿２０３を撮像する（ステップＳ２００１）。図８Ａ及び図８Ｄは、こうして撮影された、皿２０３とその皿２０３の上に置かれた食品２０４の図である。皿２０３には電子タグが取り付けられているとし、この電子タグには形状データ及びテクスチャ情報（図８Ｂに示す皿２０３が円形であることや皿２０３の模様２０３ａなどの情報）が記憶されているとする。

上記物品保持システム１０は、保持対象物の状況を認識するに際し、先ずタグリーダ４０４ａによって、保持対象物の情報を読み取る（ステップＳ２００２）。それによって、図８Ｂに示すように、料理が載っていない状態の皿２０３のデータが得られる。小さな円は、皿２０３の模様２０３ａである。

そうして、上記認識装置１０１の認識処理部１０１ｐは、図８Ａに示すデータと図８Ｂに示すデータとの差分処理を実行する（ステップＳ２００３）。この差分処理によって、図８Ｃに示すように、皿２０３の上に置かれた食品２０４の領域８１のみが抽出される。図８Ｃにおいて、８２は、食品領域８１以外の領域であって、指型ハンド１０３ａで把持可能な領域である。

次に、一定時刻経過した時刻t=t₁において再度、撮影を行い（図８Ｅ参照）、差分画像を作成する（図８Ｆ参照）。こうして求まった時刻t=t₀と時刻t=t₁の各差分画像の差分を認識処理部１０１ｐで計算することによって、保持対象物の状態変化（ここでは、料理にかけられたソースが移動して起こる状態変化）を推定する（ステップＳ２００４）。図８Ｆはこうして求まった差分領域を示している。

以上の結果を利用して、保持装置１０３による皿２０３の保持位置（位置座標）を推定する（ステップＳ２００５）。

より具体的には、以下のように処理される。

まず、皿２０３の電子タグや保持方法データベース１０２ｄや物品及び移動体データベース４０６などには、図８Ｈのような、保持位置候補（位置座標の候補）が、保持位置情報として、予め記憶されている。この図８Ｈにおいて、Ｈ１〜１２の各領域が保持装置１０３の指型ハンド１０３ａにより把持可能な皿２０３の周囲部分である保持位置候補領域２１０１を示している。保持位置候補領域Ｈ１〜１２は、一例として、皿２０３の周囲部分が均等に分割された領域となっている。また、この保持位置情報は、形状情報として皿２０３の電子タグや保持方法データベース１０２ｄや物品及び移動体データベース４０６などに保持することが望ましい。

次に、ステップＳ２００３で求めた差分画像を保持位置情報に重ね合わせる。

このとき、保持位置候補領域２１０１の中で、食品領域８１と重なる領域は、保持位置候補から除外する。図８Ｉ及び図８Ｊはこの様子を示した図である。この図８Ｉにおいては、領域Ｈ２と食品領域８１が重なっているため、Ｈ２領域を保持位置候補から除外し、保持不可領域とする。

このとき、重ね合わせる食品領域８１は、最新のものを用いることが望ましい。

次に、ステップＳ２００４で求まった差分領域の情報を保持位置情報に重ね合わせる。また、食品領域８１の重心位置（重心位置の位置座標）Ｐｆも同じように保持位置情報に重ね合わせる。ここで、差分領域の各点と食品領域の重心位置Ｐｆを結び、さらに、皿２０３の縁まで延ばした領域（図８Ｊの斜線領域２１０２）は、今後、食品領域８１になる可能性が高い領域であると考えられる。そこで、これらの領域２１０２も保持不可領域とする。

以上の処理より、残った保持位置候補の中から保持可能領域を決定する。図８Ｊでは、領域Ｈ４〜Ｈ１２であるが、好ましくは、保持不可領域２１０２とは反対側の領域Ｈ６〜Ｈ９を保持可能領域とすれば、移動中に食品が移動しても、指型ハンド１０３ａと接触する可能性をより低くすることができる。

もちろん、保持可能領域は上記の方法で決定する必要はなく、例えば、皿の全領域の内、食品領域８１以外の領域を保持可能領域８２（図８Ｋの斜線を付した領域）に特定するようにしても構わない（図８Ｌ参照）。すなわち、図８Ｌは、皿の全領域の内、差分有りの領域を保持可能領域とし、差分無しの領域を保持不可領域とする場合の図である。また、食品領域８１から最も離れた保持位置候補領域２１０１（図８Ｉにおいては領域Ｈ７）を保持位置（位置座標）として選択するようにしても構わない。

保持装置１０３は、特定された保持可能領域８２に従って、アーム１０３ｂ及びハンド１０３ａ，１０３ｂによって、この保持可能領域８２を保持する（図９参照）。こうして、料理が盛り付けられた皿２０３をその料理に触れることなく保持することができる。

差分処理によって食品領域を特定することにより、例えば皿２０３に模様２０３ａが描かれているときであっても、食品領域８１を正確に認識することが可能になる。尚、照明状態によって皿２０３の輝度情報が変化してしまうため、光源の変化に対応した背景差分の方法を利用することが望ましい。このような方法としては、例えば画像をエッジ抽出した後に差分を求める方法等がある。

このように、例えば皿等の物品はその上に物体が置かれる場合があり、時間に対して状況が変化する。そうした物品を保持装置１０３によって保持するときに、認識装置１０１は、上記物品（保持対象物）の上に物体が置かれているか否か、また物体がどこに置かれているかを認識し、保持方法特定手段１０２は、物体が置かれている位置（位置座標）に応じて保持方法（ここでは保持位置（位置座標））を特定する。このことにより、その上に物体が置かれている物品を、その状況に合わせて最適に保持することができる。

また、以上のようにして最適な保持位置（位置座標）を特定して保持対象物を保持している最中に、その保持対象物の状況が変化することに対応して、その保持位置（位置座標）を変更するようにしてもよい。

つまり、図９に示すように、食品領域８１以外の領域を保持してロボット４０２が皿２０３を運搬している最中に、その料理に含まれるソースやケチャップ等が動いて、図１０に示すように、食品領域８１が変化したとする。その場合、ハンド１０３ａが食品に触れてしまうことも起こり得る。

そこで、上記認識装置１０１は、保持対象物を保持している最中もカメラ１０５によって料理が盛り付けられた皿２０３を撮像し、上記の差分処理を逐次実行する。そうして食品領域８１を逐次認識する。

そして、上記保持方法特定手段１０２は、その認識結果に基づいて食品領域８１が変化したときには保持可能領域８２の再特定を行い、例えば図１１に示すように、必要に応じてハンド１０３ａによる保持位置（位置座標）を変更する。

このように、最適な保持方法を一旦特定した後も、保持対象物の状況の認識を継続することによって、状況の変化に対応して保持方法を常に最適化することができる。

（４．物品の温度状況に応じた保持方法の特定）
次に、物品の温度状況を認識することによって、保持方法、特に保持位置（位置座標）の特定について説明する。これは、物品に電子タグ等が取り付けられておらず、その物品の保持方法（保持位置）が予め得られていないときに有効である。つまり、電子タグ等によって保持方法が得られるときにはその物品の保持位置（位置座標）も特定可能であるからである。

ここでは、ロボット４０２（家事支援ロボット）が、コンロ５１１にかけられている鍋やフライパン１２１を、そのコンロ５１１から降ろす作業を行う場合を例に、物品の温度状況に応じた保持方法の特定について説明する。

ここでは、図２３に示すように、認識装置１０１、保持方法特定手段１０２、保持装置１０３、及び、保持方法データベース１０２ｄ又は物品及び移動体データベース４０６として機能する保持情報データベース５１０をそれぞれ独立して設け、これらをネットワークを介して互いに接続した構成を考える。この図２３に示すシステムでは、上記ロボット４０２は、保持装置１０３そのものとなる。また、保持方法特定手段１０２は、認識装置１０１からの認識結果を受けて運搬方法を特定すると共に、その特定した方法に基づいて上記保持装置１０３（ロボット４０２）に運搬指示を出力する運搬指示装置となる。

先ず、認識装置１０１は、レンジファインダやステレオ視等の３次元計測手法を利用して、コンロ５１１にかけられているフライパン１２１の形状を認識する。つまり、物品保持システム１０は、レンジファインダ又はステレオカメラ（例えば１０５）をさらに有する。認識装置１０１は、具体的には、例えばフライパン１２１が置かれていないコンロ５１１の３次元形状情報を予め取得しておき、コンロ５１１を実際に計測した３次元情報と比較することによってフライパン１２１の形状を特定することができる（図１２Ａ参照）。

次に、認識装置１０１は、例えば赤外線センサ等の、温度センサ５２０によって保持対象物の温度分布を測定する。つまり、上記物品保持システム１０は、温度センサ５２０をさらに有する。このような温度センサ５２０は、サーモパイル素子を使ったものや、サーモグラフィ装置などとして広く知られているため、詳細な説明は省略する。本来、このような温度センサ５２０は、対象物の輻射率が既知でない場合、正確な温度を推定することは出来ない。そのため、保持対象物（各物品）に付した電子タグ等のタグ５２１に、その対象物の輻射率のデータを蓄積するようにしても構わない。

図２Ａは、上記物品保持システム１０に、温度センサ５２０を設置した模式図である。この図２Ａに示したように、温度センサ５２０を物品保持システム１０に組み込むのではなく、ハンド１０３aで温度センサ５２０を操作するようにしても構わない。

人が使用する調理器具には、人が保持する部分（フライパン１２１のときには、取っ手部分１２１ａ）が設けられており、その部分は温度が高くならないように設計されている。そのため、保持対象物の温度分布を測定することによって、図１２Ｂに示すように、フライパン１２１において火にかけられている部分は高温であり、取手１２１ａは比較的低温であることが検出される。

保持方法特定手段１０２は、この温度分布に基づいて保持可能領域１２２（この場合、温度Ｔが閾値の温度Ｔｈ_ＴＨ（例えば３０℃）より低い部分である取手１２１ａ）を保持位置（位置座標）に特定する（図１２Ｄ参照）。温度Ｔが閾値の温度Ｔｈ_ＴＨより高い部分は保持不可領域となる。

保持装置１０３は、特定された保持可能領域１２２に従って、図１２Ｃに示すように、ハンド１０３ａ及びアーム１０３ｂによって、フライパン１２１の取手１２１ａを保持する。

このようにして、ロボット４０２は、人が保持する位置（位置座標）と同じ位置（位置座標）を保持することになる。これは、例えばハンド１０３ａの構成が熱に弱い場合等において必要な処理である。また、仮にハンド１０３ａの構成が熱を考慮する必要がない場合においても、例えばロボット４０２の保持する位置（位置座標）が、人が通常保持しない位置（位置座標）であると、人によっては不快感を覚えることも予想されるが、ロボット４０２が人と同じ位置（位置座標）を保持することによってそうした不快感が軽減されるという利点がある。

こうした温度分布に基づく保持位置（把持位置）（位置座標）の特定は、保持対象物が調理器具に限るのではなく、料理が盛り付けられた皿においても可能である。つまり、料理が盛り付けられた皿の温度分布を測定し、保持方法特定手段１０２は、温度が低い部分、換言すれば料理が載っていない皿の部分を保持位置（位置座標）に特定すればよい。

なお、保持対象物の温度状況を取得するために、認識装置１０１は、物品の履歴情報や位置情報を利用しても構わない。これを図１２Ｆを用いて詳述する。

保持対象物が前述のフライパン１２１の場合、保持対象物の温度が上昇するのはガスコンロにかけられるためである。そこで、保持対象物が、最近、ガスレンジ上に存在したかどうか確かめることで、保持対象物の温度状況を推定することができる。具体的には、図１２Ｆのテーブルを参照することで、保持領域１２２を保持位置に特定することで、保持方法を決定する。このような物品の履歴情報を取得する方法はＲＦＩＤやカメラ等を用いればよく、例えば、特開２００４−２４９３８９号公報等によって公知であるため、ここではその方法の説明は省略する。

また、保持対象物の温度状況に応じて、保持装置１０３の温度を変更するようにしても構わない。これは、特に温度の低いものを保持する際に有効である。例えば、氷を保持する場合、保持装置１０３の温度が十分高い場合、氷が溶けてしまい、保持を行うことが出来ない。

そこで、保持対象物の温度が十分に低い場合、保持装置１０３の温度を保持対象物の温度に十分近い温度まで冷やす処理を行う。このような冷却処理は、公知のペルチェ素子などを利用すればよい。

このように、調理器具又は食器といった温度分布が生じる物品、つまり時間に対して状況が変化する物品を保持装置１０３によって保持するときに、認識装置１０１は、上記物品の温度分布を認識し、保持方法特定手段１０２は、認識された温度物品に応じて保持位置（位置座標）を特定することによって、保持の最適化が図られる。

尚、物品の温度状況に応じた保持方法の特定は、上述したように保持位置（位置座標）の特定に限るものではない。例えばお湯の入った鍋を保持するときに、そのお湯の温度に応じた最適な保持方法を選択するようにしてもよい。つまり、例えばお湯が沸騰している（図１２Ｅに示すように、温度ｔが所定の上限温度Ｔｈ_ＴＨより低くかつ所定下限温度Ｔｈ_ＴＬ以上である）ときには、保持方法特定手段１０２は、その鍋を水平状態に保ちつつ遅い移動速度で移動させるような保持方法を選択する一方、温度ｔが所定下限温度Ｔｈ_ＴＬよりも低いときには、保持方法特定手段１０２は、移動速度をお湯をこぼさない程度の移動速度に設定する。温度ｔが所定の上限温度Ｔｈ_ＴＨより高い場合には保持不可となる。また、湯温は時間経過に伴い変化するため、お湯の入った鍋を保持している最中に、認識装置１０１によって湯温を逐次測定し、保持方法特定手段１０２は、その温度の変化に応じて保持方法を最適化させてもよい。

（５．物品とその周囲の物品との関係に応じた保持方法の特定）
次に、物品とその周囲の物品との関係に応じた保持方法の特定について説明する。これは複数の物品をまとめて保持するときの保持方法に係る。ロボット４０２が複数の物品の運搬作業を行う際にその物品を一つ一つ保持して運搬することも可能であるが、作業が非効率となることから、複数の物品をまとめて保持して運搬するのである。そして、保持対象物が１つの物品である場合と、複数の物品がまとまって保持対象物となる場合とのそれぞれにおいて、保持方法を最適化させる。

保持対象物の状況の認識、ここでは、複数の物品が重ねられているか否かは、物品に取り付けられたアンチコリジョン対応の電子タグの情報を読み取ることによって認識可能である。つまり、認識装置１０１は、電子タグの情報に基づいて、保持対象物の近傍に他の物品が存在するか否かを認識すればよい。この場合、保持装置１０３はタグリーダ４０４ａをさらに有する。

また、認識装置１０１は、カメラ１０５で撮像した画像に基づいて、複数の物品が重ねられているか否かを認識することも可能である。

そして、保持方法特定手段１０２は、例えば皿を１枚だけ保持するときは、指型ハンド１０３ａで摘むような保持方法を選択する一方で、複数毎の皿が重ねられているときには、アーム１０３ｂとハンド１０３ａとを利用してその重ねられた皿を下から支えるような保持方法を選択する（図２４参照）。

保持装置１０３は、保持方法特定手段１０２によって特定された保持方法に従って保持対象物の保持を行う。

物品が重ねられているか否かは、時間に対して変化する状況であるが、そうした状況を認識することによって状況に応じた保持方法が特定され、状況に応じた最適な保持方法でもって物品の保持が実行される。
（６．学習を利用した保持方法の特定）
物品毎に保持方法を予め設定することは困難である上に、例えば図４Ａ，６，７に示す物品の状況に対応する保持方法を、全ての物品に対し予め設定することはさらに困難である。一方で、物品毎に、さらには物品の状況毎に保持方法を最適化させるためには、物品毎及び物品の状況毎に保持方法を設定する必要がある。

そこで、保持方法の設定を簡便かつ的確に行うべく、人が行う動作に基づいて物品の保持方法を学習設定してもよい。

図１３は、本発明の上記実施形態の変形例であって、学習を行う、物品保持システム１１のブロック図を示し、この物品保持システム１１は図１に示す物品保持システム１０と比較して、学習手段１０６をさらに含んでいる。この学習手段１０６は、人が行っている物品の保持動作を認識して、その認識結果に基づいて物品毎の又は物品の状況毎の保持方法を学習設定する。人が行っている物品の保持動作を認識は、認識装置１０１が行う。

人が行っている物品の保持動作は、ステレオカメラとタグリーダとを利用して認識することが可能である。つまり、上記物品保持システム１１は、ステレオカメラ１０５とタグリーダ４０４ａとをさらに有する。

次に、２つの学習手法について具体的に説明する。尚、保持対象物となり得る物品には全て、物体の形状情報及びテクスチャ情報などの情報が記憶された電子
タグが取り付けられているとする。また、物品を操作する人物についても、電子タグを常に持ち歩いているため、タグリーダ４０４ａによって、物品と人物の位置（位置座標）やＩＤ情報を取得することができる。

学習手法の１つは、物品の移動速度に基づく保持方法の学習設定である。図２５は、このときの処理の流れを示したものである。この手法では、先ず、上記認識装置１０１は、人が物品を保持しているときに、その保持している状況をステレオカメラで撮像させると共に、撮像した画像からオプティカルフローを求める（ステップＳ２０１）。

ここで、もし、撮像範囲内で何も動きがない（電子タグの移動が無い）場合、検出されるオプティカルフローはすべて、非常に小さいものとなる。

一方、撮像範囲内で動きがあった（電子タグの移動があった）場合、動きがあった領域のオプティカルフローは、大きくなる。そこで、領域内のオプティカルフローの大きさを調べ（ステップＳ２０２）、もし十分に大きなオプティカルフローが存在しなかった場合、撮像範囲には動きがないと判断し、処理を終了する（ステップＳ２０２でＮｏ）。

一方、十分に大きなオプティカルフローが存在した場合、大きなオプティカルフローが存在する領域を動き領域として抽出する（ステップＳ２０２でＹｅｓ）。

次に、上記認識装置１０１は、タグリーダを利用して、その動きがあった領域において、何が動いているかを検出する。つまり、電子タグの情報を受信することによって、人によって動かされている物品が何であるかが特定される。動き領域において、物品と人物の電子タグの両方が検出されなかった場合、その動き領域では現在、学習を行う必要はないと考えられ、処理を終了する（ステップＳ２０３でＮｏ）。一方、物品と人物の電子タグが両方検出された場合（ステップＳ２０３でＹｅｓ）、その動き領域では現在、保持対象物となり得る物品が人物に動かされていると考えられるため、学習を行う。

まず、動き領域内に存在する電子タグの情報を取得することによって、物体の形状情報及びテクスチャ情報を取得する（ステップＳ２０４）。上記撮像した動き領域の画像から物体のみを抽出して、その動き、具体的にはその物体の移動速度を測定する（ステップＳ２０５）。電子タグから取得した物体の形状情報及びテクスチャ情報を利用して、ステレオカメラ画像にパターンマッチング処理を行うことによって、画像中における物体の位置（位置座標）を検出して、その動きを測定することができる。これには、公知の方法を利用することができるので、詳細は省略する（例えば、特許第２９６１２６４号公報参照）。

尚、その物体が小さいときには、人がその物体を掴んだ状態にあって、その物体が人の手に隠れて画像では認識することができない場合も起こり得る。そのような場合には、画像から人の手の領域を抽出してその移動速度を測定すればよい。そして、その測定した移動速度が物体の動きであるとしてもよい。人の手の抽出には、例えば色情報を利用して、画像における肌色の領域のみを抽出すればよい。この抽出処理を各フレームにおいて行うと共に、そのフレーム間で位置（位置座標）の比較を行うことによって物体の動きを測定することができる。

もちろん、上記のようなステレオカメラとタグリーダは上記物品保持システム１１に直接設置されている必要はない。前述の環境管理サーバ４０１に設置し、環境管理サーバ４０１が検出した情報を、送受信手段４０９を利用して、送受信するようにしても構わない。

以上の処理によって、人が物品を保持している状態におけるその物品の移動速度を測定することができ、例えば図１４Ａ及び図１４Ｂに示すように、ぬいぐるみの移動速度（図１４Ａ参照）は、花瓶の移動速度（図１４Ｂ参照）に比べて高いことが判明する。つまり、人はぬいぐるみは素早く動かしている一方で、花瓶はゆっくりと動かしていることになる。物品の移動速度は、前述の超音波を利用したタグセンサを利用することで取得することができる。

学習手段１０６は、その認識結果に基づいて各物品の保持方法を例えば図２６に示すようにテーブル形式で設定し、保持方法特定手段１０２は、認識装置１０１によって認識された結果（保持対象物が何であるかの認識結果）に基づいて、学習手段１０６によって学習設定された保持方法を特定する。そうして、図２６に示すように、保持対象物がぬいぐるみであるときには、比較的速い移動速度の保持方法が特定され、保持対象物が花瓶であるときには、比較的遅い移動速度の保持方法が特定される。これは、前述のようにして、人が各対象物をどのような速度で移動速度で動かしているかを図２６に示すようにテーブル形式で物品及び移動体データベース４０６や保持方法データベース１０２ｄなどのデータベースとして蓄積し、そのデータベースを利用することで実現する。

もう１つの学習手法は、物品に対して人の手の位置（位置座標）がどこに存在しているかに基づく保持方法の学習設定である。

この学習手法について図１５Ａ及び図１５Ｂを参照しながら説明する。図１５Ａは、人がぬいぐるみ１５１を保持しているときの様子を示し、図１５Ｂは人が花瓶１５２を保持しているときの様子を示す。

上記認識装置１０１は、人が物品を保持しているときに、その保持している状況をステレオカメラで撮像させる。上述したように、その撮像画像において、人の手１５３，１５４の位置（位置座標）、物品の位置（位置座標）を特定することによって、人が物品をどのように保持しているかが検出される。

図１５Ａでは、ぬいぐるみ１５１の近傍に人の手１５３が１つ存在しているが、もう１つの手１５４はぬいぐるみ１５１とは離れた位置（位置座標）に存在している。このことから、人はぬいぐるみ１５１を片手で保持していると認識することができる。これに対し、図１５Ｂでは、花瓶１５２の近傍には、人の手１５３，１５４が２つ存在している。このことから、人は花瓶１５２を両手で保持していることが認識される。

学習手段１０６は、この認識結果に基づいて、ぬいぐるみ１５１に対しては１つのハンドによって保持する保持方法を設定し、花瓶１５２に対して２つのハンドによって花瓶の２箇所を保持する保持方法を設定する。尚、この学習手法は、保持装置１０３が人と同様の双腕構成であるときに、採用することが望ましい。

図２７及び図２８は、こうして学習した保持方法をテーブル形式で、物品及び移動体データベース４０６や保持方法データベース１０２ｄなどのデータベースに蓄積した一例を示している。対象物の電子タグには、図２８の保持レベルの中の１つの保持レベルが図２７に示すように記憶されている。このようなデータベースを学習することによって、保持対象物ごとに柔軟な保持動作を実現することができる。

また、単腕・双腕、二つの保持方法を場面に応じて使い分けるために、物品及び移動体データベース４０６や保持方法データベース１０２ｄなどのデータベースを図２９のように作成しても構わない。これは、例えば、既にある対象物を単腕で保持している状態で、別の対象物を保持する場合などに有効である。すなわち、一つの対象物の保持を行う場合には双腕を利用するが、二つの対象物の保持を行う場合には単腕で、別々に保持を行う。これにより、保持対象物が複数ある場合でも、最適な保持方法で対象物を保持することができる。

上述した学習手段１０６による学習は、物品毎の保持方法を学習しているだけであったが、人が保持しているときの物品の状況をさらに認識することによって、物品の状況と保持方法とを対応させて学習することも可能である。例えば人がグラスを保持しているときに、そのグラスに水が入っているか否かをさらに認識することによって、グラスに水が入っているときの保持方法、又は水が入っていないときの保持方法を学習することができる。そうした学習を行うことによって、図４Ａ，６，７に示すようなデータベースを学習によって作成することができる。

学習によって保持方法を設定することにより、物品毎、又は物品の状況毎に保持方法を予め設定しなくてもよくなる一方で、人が行っている保持動作に基づいて保持方法を学習することによって、適切な保持方法を設定することができる。

尚、学習手段１０６による学習は、人が、ロボット４０２に対して物品を手渡しすると共に、その物品に対する作業を指示するときに行ってもよい。つまり、人がロボット４０２に対して物品を手渡しするときの動作を認識すると共に保持方法を学習して、その人と同じ動作でロボット４０２がその後の作業を行うのである。

このタイミングで学習を行うことで、学習精度が高まるという利点がある。つまり、人がロボット４０２に物品を手渡しするときは、その人はロボット４０２に正対している場合が多い。ステレオカメラは通常、正対した物体の計測が精度が高くなるように設計されていることから、人が保持対象物をロボット４０２に手渡すときに学習を行うことによって、手の位置（位置座標）や保持対象物の位置（位置座標）の検出精度が高まり、学習の精度が高まる。

また、上述した学習手法は、人が物品を保持している状況を撮像した画像に基づいて行っているが、これに限るものではない。例えば保持対処物となり得る各物品に、その３次元的な位置（位置座標）が検出可能なＩＤタグを取り付け、そのタグ情報に基づいて学習を行うことが可能である。つまり、タグ情報によってその物体の移動軌跡を検出することが可能になるため、その移動軌跡に基づいてその物体がどのように保持されたか（その移動速度）を検出することができる。尚、３次元位置（位置座標）が検出可能なタグとしては超音波を用いるタグが知られている（例えば「超音波式３次元タグを用いた人の日常活動の頑健な計測 〜冗長なセンサ情報に基づくロバスト位置推定〜」、西田佳史、相澤洋志、堀俊夫、柿倉正義、第２０回日本ロボット学会学術講演会講演論文集、３Ｃ１８、２００２）。

また、例えば「赤外線画像を用いた視体積交差法による把持形状の認識」、橋本健太郎、小川原光一、高松淳、池内克史。コンピュータビジョンとイメージメディア１３５−１０、pp.５５−６２、２００２）に開示されている技術を利用することによっても、人が物品をどのように把持しているかを検出、認識することが可能である。この手法を採用する場合も、保持装置１０３は、人と同様にアーム１０３ｂ及びハンド１０３ａを備えていることが望ましい。

さらに、学習手段１０６による学習は、特定の人を学習対象にして、その人が物品を保持しているときにのみ行うことが好ましい。これは、同じ物品であっても人によって保持動作が異なるためである。例えば、保持する物品が同じぬいぐるみ１５１であっても、子供は乱雑に保持する一方で、お母さんは丁寧に保持し、また、おばあさんはゆっくりと保持する、ということは多々ある。つまり、人による物品の保持動作には個人差があるため、人が行う動作に基づいて物品の保持方法を学習する際に、個人差が含まれてしまう。このことから、特定の人を学習対象に設定して、その人が物品を保持しているときに学習を行う。そのことによって、学習設定される保持方法から、個人差を排除することができる。

これとは異なり、複数の人それぞれによる物品の保持動作を個別に学習すると共に、その中から最適な保持方法を選択するようにしてもよい。最適な保持方法の選択手法としては種々の手法が考えられる。例えば学習した様々な保持方法を実際に試し、その保持方法の安定性を評価することによって選択してもよい。また、学習した様々な保持方法を実際に試し、そのときに周囲に存在している人の反応に応じて選択してもよい。つまり、周囲に存在している人の快・不快を顔画像から認識し、人が最も心地よいと感じている保持方法を選択してもよい。

さらに、複数の人それぞれによる物品の保持動作を個別に学習しておき、物品保持システム１１が物品の保持を実行する際の対象となる人に対応する保持方法を選択してもよい。例えばロボット４０２が物品を人に手渡しする作業を実行するときには、その手渡しする相手の人の保持動作から学習した保持方法に従って、物品の保持を行う。こうすることで、ロボット４０２は、相手の人が通常保持しているように物品を保持することになり、ロボット４０２の保持動作を個別に適用することができる。

（７．保持方法の類推）
次に、保持方法を類推によって特定することについて説明する。この処理も、全ての保持対象物に対して保持方法を予め設定する必要がなくなる、という利点がある。

この処理について、具体例を挙げて説明する。ここでは、皿の保持方法とぬいぐるみの保持方法とは、それぞれ予め設定されている（上述した学習によって設定されていてもよいし、ユーザ又はメーカが予め設定していてもよい）とする一方で、コップの保持方法は未だ設定されていないと仮定する。

そして、認識装置１０１によって保持対象物がコップであることが認識されたときに、保持方法特定手段１０２は、そのコップの保持方法を、既に設定されている保持方法の内から最適と考えられる保持方法を選択する。この選択に際し、保持方法特定手段１０２は、例えば物品の反射パラメータや形状データを利用してもよい。ここで、反射パラメータは物品の材質に依存するパラメータであり、このパラメータが近い程、材質が近いと判断可能である（反射パラメータについては後述する）。つまり、材質又は形状が近似する物品同士は、その保持方法も同じであると考えられ、上記保持方法特定手段１０２は、保持方法が設定されていない物品（未設定物品）に対して、材質又は形状が近似する物品について設定されている保持方法を、上記未設定物品の保持方法に特定する。

具体的に上記の例では、保持方法特定手段１０２は、コップの反射パラメータ、皿の反射パラメータ、ぬいぐるみの反射パラメータを相互に比較する。コップの反射パラメータは、ぬいぐるみの反射パラメータよりも皿の反射パラメータに近いため、上記保持方法特定手段１０２は、コップの保持方法として皿の保持方法を採用する。このように、類推を利用して保持方法を特定することによって、全ての保持対象物に対して保持方法を予め設定していなくても、保持装置１０３によって各種の物品を最適に保持することができる。

（第２実施形態）
図１６は、本発明の第２実施形態における物品保持システム１２の基本構成を示すブロック図である。本実施形態の物品保持システム１２は、認識装置１０１、保持方法特定手段１０２、及び保持装置１０３を含む。上記認識装置１０１は、保持対象物を撮影する撮像装置１０５、撮像した画像から対象物の材質を認識する材質認識手段１０７を含む。

尚、第２実施形態の物品保持システム１２において、第１実施形態の物品保持システム１０と同じ手段や装置については、同一符号を付してその詳細な説明は省略する。

上記撮像装置１０５は、カメラ１０５等の撮像素子を利用して保持対象物を撮影する。

上記材質認識手段１０７は、先ず撮像装置１０５で撮像された画像から対象物の反射パラメータを推定し、次に推定された反射パラメータからその材質を認識する。これは材質によって反射特性が変化することを利用している。

上記保持方法特定手段１０２は、上記材質認識手段１０７によって認識された材質に基づいて保持方法を特定する。

本実施形態の物品保持システム１２も、図２Ａに示すようなロボット４０２に搭載される。このロボット４０２において、撮像装置１０５としてのカメラは人型ロボット４０２の顔に埋め込む、としてもよい。また、保持対象物を照明する光源１０４（本実施形態では、第１実施形態のようにレーザ照射装置とする必要はない）を、ロボット４０２のアーム１０３ｇに取り付けることによって、その位置（位置座標）を任意に変更することが望ましい。

次に、上記材質認識手段１０７による、撮影した画像から対象物の反射パラメータを推定し、その推定された反射パラメータから材質を認識する方法を詳述する。そのために、先ず広く使われている反射モデルであるTorrance-Sparrowモデルについて説明する。

２色性反射モデルの一つであるTorrance-Sparrowモデルは、物体反射光を鏡面反射成分と拡散反射成分の和として表現する。（式１）は簡略化したTorrance-Sparrowモデルの式である。

（式１）における第１項は拡散反射成分を表し、第２項は鏡面反射成分を表している。ここで、ｃはＲＧＢ（赤緑青）のいずれか、ｉ_cは画像面の明るさ、Ｌ_cは光源の光度、Ｒは光源から物体表面の各点までの距離であり、照明光強度がこの距離の２乗に反比例して減衰する特性を考慮して導入されたものである。Ｋ_d,cとＫ_s,cとはそれぞれ、拡散反射成分と鏡面反射成分に対応する反射係数、σは表面粗さを示す。また、θ_iは物体表面の点における入射角であって、法線方向と光源方向とがなす角度、θ_rは法線方向と視線方向とがなす角度、αは光源方向と視線方向の２等分方向と法線方向とがなす角度である。

これらの関係を図１７に示す。この図において、２００，１０５，１０４はそれぞれ保持対象物、カメラ、光源を示し、ベクトルＮは保持対象物２００表面の法線方向を示し、ベクトルＶ，Ｌ，Ｈはそれぞれカメラ方向、光源方向、カメラ方向と光源方向との二等分線方向を示している。ここで、

とすると（式１）は以下のように変形される。

つまり、Ｋ_d、Ｋ_s及びσのパラメータを推定することができれば、対象物の反射特性を記述することができ、対象物の材質を推定することができる。そこで、これらのパラメータを反射パラメータと呼ぶ。

反射パラメータの推定は、以下の３つのステップからなる。
１）保持対象物の正確な位置（位置座標）と形状、姿勢の推定
２）拡散反射領域と鏡面反射領域との分離
３）反射パラメータの推定
以下、順番に各ステップについて説明する。

１）保持対象物の正確な位置（位置座標）と形状、姿勢の推定
保持対象物にはその形状を記憶した電子タグが設置されているとする。

ここでは、その形状情報とステレオ視から求められた保持対象物の３次元位置情報との対応を求めることによって、対象物の正確な位置（位置座標）と形状、姿勢を求める方法を説明する。尚、保持対象物の３次元位置情報は、保持対象物の材質を推定するためだけでなく、上述したように、保持装置１０３が保持対象物の保持を行うためにも必要な情報である。

画像を利用した３次元位置検出法として、ブロックマッチング法を利用したステレオ視が広く使われている。この方法では、対象を複数のカメラで撮影し、画像間の対応を分割したブロック（点）ごとに求める。こうして求まった対応点から３次元位置（位置座標）を求める。

求める対応点の数が十分に多い場合は、この方法によって対象物の形状まで求めることができるが、処理時間やマッチング精度の問題から、対象物に対して疎な３次元位置（位置座標）しか求めることができない場合が多い。そのため、必要な情報は対象物の位置（位置座標）と形状、姿勢情報であるのに対し、この方法で求まるのは、複数点の３次元位置（位置座標）であるという問題が生じる。つまり、３次元位置（位置座標）が求まった点の集合から、保持対象物の正確な位置（位置座標）と形状、姿勢を求める手段が必要となる。そこで、電子タグに記憶された表面形状情報を利用し、その位置（位置座標）と姿勢を推定する。

図１８Ａ〜図１８Ｅはこの処理に関する概念図を示す。図１８Ａの各点はブロックマッチング法により３次元位置（位置座標）の求まった点を示している。図１８Ｂは電子タグに記憶されている保持対象物の形状情報を示している。ここで保持対象物は半径ｒ、高さｈの円柱であるとする。

ブロックマッチング法によって３次元位置（位置座標）が求められた点は全て、対象物の表面上の点であると考えられる。そこで、電子タグから求めた形状データを、３次元空間上に位置姿勢を少しずつ変化させながら順に仮想的に配置する（図１８Ｃ、図１８Ｄ、図１８Ｅ参照）。そして、ブロックマッチング法によって３次元位置（位置座標）が求められた点のうち、仮想の形状データの表面上に存在する点の数をカウントする（図１８Ｃ、図１８Ｄ、図１８Ｅにおいて丸で囲んだ点）。そして、カウントされた点の数が最大となる位置（位置座標）、姿勢を、その対象物の位置（位置座標）、姿勢であると推定する（図例では、図１８Ｄ）。

尚、保持対象物に電子タグが設置されておらず、その形状が未知の場合であっても、レーザーレンジファインダや超音波センサ、光切断法や高精度のステレオ視等の、高精度の３次元計測法を利用することによって、対象物の位置（位置座標）と形状、姿勢を直接求めることも可能である。

２）拡散反射領域と鏡面反射領域との分離
次に、対象物を撮影した画像を拡散反射領域と鏡面反射領域とに分離する。ここでは、カメラ１０５を固定し、光源１０４を動かしながら撮影した複数枚の画像（図１９Ａ〜図１９Ｄ参照）を用いて領域分割を行う方法を利用する（「光学現象の分類基準を利用した画像の線形化」、石井育規、福井孝太郎、向川康博、尺長健、画像の認識・理解シンポジウム（ＭＩＲＵ２００２）、vol.2、pp.167-176）。

この方法は、Lambertianモデルを仮定した画像は、光源の異なる３枚の画像の線形結合により任意光源の画像を表現できることを利用して、画像を完全拡散反射領域、鏡面反射領域等に分類する方法である。

図２０Ａ〜図２０Ｄは、それぞれ、図１９Ａ〜図１９Ｄに示す画像をこの方法で領域分割した図を示している。図２０Ａ〜図２０Ｄにおいて塗りつぶした領域１３０１〜１３０４が、鏡面反射領域を示している。

この際、光源１０４は、その位置を変更するために、上述したように、ロボット４０２のアーム１０３ｂに設置することが望ましいが、例えば光源１０４は、家庭内に設置された照明等の、インフラに設けられているものを利用してもよい。その場合に、光源の位置が変更されるように家電連携を行ってもよい。

また、カメラ１０５を固定して光源１０４の位置を変更するのではなく、光源１０４を固定しカメラ１０５の位置を変更してもよい。この場合は、位置を変更して撮像した各画像間において各画素同士の対応が求められている必要がある。

尚、鏡面反射領域の推定方法は、上述した方法に限らず、例えば偏向フィルタを用いた推定方法であってもよい。また、画像内の高輝度領域を切り出すことによる推定であってもよい。具体的には、鏡面反射領域は輝度が十分に高い画素であると仮定し、ある画素の輝度i(x)が以下の式を満たす場合に、その画素を拡散反射領域とすればよい。

ここで、Th_dとは、鏡面反射と拡散反射を区別する閾値である。

３）反射パラメータの推定
次に、分離された拡散反射領域と鏡面反射領域の情報を利用して反射パラメータを推定する方法について説明する。

まず、拡散反射領域の情報を利用して、反射パラメータＫ_dの推定を行う。拡散反射領域では、鏡面反射成分がほぼ０と考えられるので、（式２）より、以下の関係が成り立つ。

上述したように、光源１０４はアーム１０３ｂによって位置が制御されるため、光源１０４の方向は既知となる。また、保持対象物の位置（位置座標）と形状、姿勢も得られているため、対象物表面の法線方向、つまりｃｏｓ（θ_i）も既知である。

光源１０４の位置を変えて撮影した複数枚の画像全てにおいてこれらの情報が既知であるため、（式３）において、対象物の各点においてを変化させたときのＩ_cの変化が既知であることがわかる。そこで、対象物の点毎に、（式３）を最小自乗法等の手法を用いて解くことにより、各点のＫ_dを推定することができる。この際、各輝度値は、ノイズや３次元位置推定ミスの影響等によって、はずれ値となることが多いため、RANSAC（RANdom Sample Consensus）やSVDMD（Singular Value Decomposition with Missing Data）等、はずれ値を除去することが可能な最適化手法を用いることが望ましい。

尚、反射パラメータＫ_dを点毎に求めるのではなく、前処理として画像を材質毎に領域分割しておき、その領域毎に反射パラメータＫ_dを求めてもよい。

こうした領域分割の方法としては、色が同じ領域は同じ材質であると仮定して色を基準に分割してもよい。また、形状情報を利用して分割してもよい。例えば「ある平面上の領域はすべて同一の材質である」という仮定をおくことによって分割可能である。

次に、鏡面反射領域の情報を利用して、反射パラメータＫ_sとσとを推定する。鏡面反射領域の反射パラメータはその近傍のものと同じである、と仮定すると、鏡面反射領域の拡散反射成分を示すパラメータＫ_dは周辺の領域から求めることができる。そこで、（式２）は以下のように変形することができる。

ここで、右辺とｃｏｓ（θ_r）、αは全て既知であるため、鏡面反射成分を表す反射パラメータＫ_s，σを推定することができる。

こうして求まった反射パラメータと、データベース上に記憶されている各材質の反射パラメータをSVM（Support Vector Machine）等の公知の方法で比較・分類することによって、対象物の材質を推定する。

以上の処理は、撮像装置１０５としてカメラを用いているが、撮像装置１０５は赤外線カメラ等であってもよい。

また、赤外域や可視光域のスペクトル画像を用いて保持対象物の材質を認識することも可能である。前者の方法は赤外分光分析（ＦＴＩＲ）として公知であり、後者の方法は、例えば、（「物体認識のためのスペクトル画像による材質の判別」、眞鍋佳嗣、佐藤宏介、井口征士、電子情報通信学会論文誌D-II、Vol.J79-D-II、No.1、pp.３６−４４、１９９６）等により公知である。

上述したように、本実施形態の物品保持システム１２は、認識された材質に基づいて保持方法を特定する。

本実施形態のように保持対象物の材質を認識する物品保持システム１２は、食器の保持を行うときに利用することができる。つまり、ロボット４０２が食事後の食器を片付けるために、各食器を食器洗い機に運搬する作業を行うとする。このときに、食器に残飯があるときにはその残飯を捨てた後に食器洗い機に投入し、食器に残飯が存在しないときにはそのまま食器洗い機に投入する作業を行う。

この食器を保持する際に、上記材質認識装置１０７は食器表面の材質を認識することにより、残飯の有無を判別する。具体的には、各食器に取り付けた電子タグにその食器の反射パラメータを予め記憶させておく。そうして、上述したように、実際に食器の反射パラメータを検出し、その検出パラメータと記憶パラメータとを比較する。両パラメータが同じ場合は食器上には何もないと判断することができ、両パラメータが十分に違う場合は食器上に何かが存在していると判断することができる。尚、残飯の反射パラメータを予め求めておいて、実際に検出した反射パラメータと残飯の反射パラメータとを比較してもよい。

こうして材質認識装置１０７によって残飯の有無を認識したことを受けて、保持方法特定手段１０２はその後の処理に応じた保持方法を特定する。つまり、食器に残飯が存在しているときには、その残飯を廃棄する作業に最適な保持方法を選択する一方、残飯が存在していないときには、食器洗い機に投入する作業に最適な保持方法を選択する。

保持装置１０３は、保持方法特定手段１０２によって特定された保持方法に従って食器の保持を行う。

また、本実施形態に係る物品保持システム１２は、第１実施形態でも述べたように、物品の状況に応じて保持位置（位置座標）を特定する場合にも利用可能である。つまり、料理（食品）が盛り付けられた皿を保持するときに、上記材質認識装置１０７が料理の反射パラメータと皿の反射パラメータとの違いを利用することによって、皿の上に置かれた料理の領域を特定することができる。その特定結果を受けて、保持方法特定手段１０２は、皿の全領域の内、食品領域以外の領域を保持可能領域に特定することができる。そこで、上記保持方法特定手段１０２は、上記認識装置１０１の認識結果に基づいて、保持方法の特定を行う。この特定は図３０に示された（例えば、テーブル形式の）データベースを利用して行う。これは、前述の（式１）に基づいたパラメータ推定結果を利用すればよい。まず、皿の反射パラメータK_dp、K_sp、σ_pをあらかじめ取得しておく。次に、前述の方法で、把持対象物の各点での反射パラメータを推定する。こうして推定された反射パラメータを

とする。推定された反射パラメータが十分に皿の反射パラメータに近い場合、その点は皿の領域であると判断し、その点を保持可能領域とし保持を行なう。一方、推定された反射パラメータが皿の反射パラメータと大きく異なる場合、その点は食品領域であると判断し、保持を行なわない。

さらに、本実施形態の物品保持システム１２は、物品に電子タグ等が取り付けられておらず、その物品の保持方法が予め得られていないときにも有効である。例えば、保持対象物であるコップに電子タグ等が取り付けられておらず、そのコップを保持する際に必要な情報（位置（位置座標）、形状、及び姿勢情報）が得られないときには、ステレオ視やレンジファインダを利用して、認識装置１０１がそのコップの形状を求める。また、材質認識装置１０７によってコップの材質を認識する。それによって、そのコップが例えばガラス製であるか、ステンレス製であるか、紙製であるかを特定する。

一方、図３１に示すような各材質に対応する保持方法(保持する際のトルク情報を含む。)を記憶させたデータベースを、物品保持システム１２に備えておき、保持方法特定手段１０２は、認識された材質に対応する保持方法を選択する。そうして、保持装置１０３は、保持方法特定手段１０２によって特定された保持方法に従って、コップの保持を行う。このことにより、例えばガラス製コップを保持する際にトルクを上げすぎて割ってしまったり、紙コップを保持する際に潰してしまったり、することが回避される。言い換えれば、ガラス製コップを保持する際には限界トルクＴ_Ｌｇ以下のトルクで保持するとともに、紙コップを保持する際には限界トルクＴ_Ｌｐ以下のトルクで保持することにより、上記した不具合の発生を防止する。

このように、保持対象物の材質を認識することによって物品の状況が認識され、その状況に最適な保持方法でもって、保持対象物を保持することができる。

（他の実施形態）
尚、上記各実施形態では、保持装置１０３〜１２が認識装置１０１を有していたが、認識装置１０１は、物品保持システム１０〜１２の外部に設けてもよい。この場合、認識装置１０１と物品保持システム１０〜１２（ロボット４０２）とを無線及び／又は有線のネットワークを介して互いに接続した保持システムを構成し、認識装置１０１による認識結果を上記ネットワークを介して保持装置に送信すればよい。

上記保持方法データベースなどのデータベースには、上記保持対象物として複数の異なる保持対象物に対する物品保持方法が記憶されており、上記異なる保持対象物は、物品ＩＤ情報は共通であり、形、温度、内容物、又は、水分量などの形態が異なる物品であって、その形態が変わることにより保持方法が変わるものである。上記保持対象物の形、温度、内容物、又は、水分量などの形態が異なる物品、又は、上記保持対象物の形、温度、内容物、又は、水分量などの形態が変化する物品とは、ＩＤ情報は同一であるが、電子タグを付けても変化がとれない物品であり、上記した紙と紙くず、洗う前の洗濯物と洗濯後に畳まれた洗濯物、空のコップと液体の入ったコップ、乾いた紙と濡れた紙などがある。

なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施できる。

例えば、ロボット４０２は移動装置４１４を備えていなくても構わない。図２２は、移動装置４１４をもたないロボットのアーム１０３ｂとハンド１０３ａとを有する保持装置１０３を示している。このロボット４０２は、部屋の天井５００や壁面に固定されており、それ自体で移動することは出来ない。このようなロボット４０２は、キッチンなどでの調理補助など、移動範囲が限られている場合に有効である。

なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

以上説明したように、本発明は、物品の状況を認識した上でその状況に応じた保持方法でもって保持対象物の保持を行うことによって、保持に必要となる情報を予め得ることができない場合や、状況の変化によって予め得られていた情報が役に立たなくなる場合や、予め各物品について保持に必要となる情報を設定することが困難な場合においても、多種多様な物品を最適に保持することができるから、生活空間内で利用される保持装置、家事支援ロボット及び調理補助ロボット等を含む各種ロボットに有用である。

本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図１は、本発明の第１実施形態における物品保持システムの構成を示すブロック図である。 図２Ａは、本発明の第１実施形態における物品保持システムを搭載したロボットを例示する模式図である。 図２Ｂは、姿勢制御を行うための上記物品保持システムの保持装置の模式図を示したものである。 図２Ｃは、移動装置や保持装置のモータ制御形式のアクチュエータなどの任意の駆動部の駆動制御系を示すブロック図である。 図２Ｄは、姿勢を制御するときに設定する座標系の説明図である。 図２Ｅは、保持レベルに対するαとβの方向の許容変動範囲を示したテーブルであって、データベースに記憶されたものを示す図である。 図２Ｆは本発明の上記第１実施形態にかかるロボットが活動する環境システムの構成を示すブロック図である。 図２Ｇは、物品及び移動体検索・管理手段の内部構成を概念的に示す図である。 図２Ｈは、物品を扱う物品データベース内に記憶されるテーブルの説明図である。 図２Ｉは、移動体を扱う移動体データベース内に記憶されるテーブルの説明図である。 図２Ｊは、環境マップデータベースの環境マップの実環境の例の説明図である。 図２Ｋは、環境マップデータベースの環境マップの図２Ｊの実環境を立体モデルで簡略化した環境マップの説明図である。 図２Ｌは、環境マップデータベースの環境マップの図２Ｊの実環境をさらに平面モデルで簡略化した環境マップの説明図である。 図２Ｍは、環境マップに付随する設備データベース内に記憶されるテーブルの一例を示す図である。 図３Ａは、本発明の第１実施形態におけるレーザ光線を使用したセンシング装置の例を示す説明図である。 図３Ｂは、本発明の第１実施形態におけるレーザ光線を使用したセンシング装置の例を示す説明図である。 図４Ａは、グラスについて設定された保持方法を記憶するデータベースをテーブル形式で例示する図である。 図４Ｂは、空のグラスを例示する図である。 図４Ｃは、図４Ｂの空のグラスを吸着ハンドで吸着する例を示す図である。 図４Ｄは、液体が入ったグラスを例示する図である。 図４Ｅは、図４Ｄの液体が入ったグラスを指型ハンドで把持する例を示す図である。 図５Ａは、各態様の紙を保持するときの指型ハンドによって物品を上から挟む保持方法の一例を示す図である。 図５Ｂは、吸着ハンドによって吸着により紙を保持する状態を示す説明図である。 図５Ｃは、紙の束を、その厚み方向から指型ハンドによって挟む状態を示す説明図である。 図５Ｄは、吸着ハンドによって吸着により紙を保持する状態を示す説明図である。 図５Ｅは、吸着された紙の端を指型ハンドで上下から挟む状態を示す説明図である。 図５Ｆは、吸着ハンドの吸着を停止することで、指型ハンドによる紙の把持を実現する状態を示す説明図である。 図５Ｇは、図２Ａに示したロボットにおける保持方法の一覧を示す図である。 図５Ｈは、双腕の２つの指型ハンドを利用して挟んで保持する方法を示す図である。 図５Ｉは、双腕の２つの指型ハンドの上に載せられた対象物を、吸着ハンドで押さえながら保持する方法を示す図である。 図６は、紙について設定された保持方法を記憶するデータベース内に記憶されるテーブルを例示する図である。 図７は、衣類について設定された保持方法を記憶するデータベース内に記憶されるテーブルを例示する図である。 図８Ａは、背景差分による皿と食品の認識処理を説明するときの撮影画像の図である。 図８Ｂは、背景差分による皿と食品の認識処理を説明するときの料理が無いときの模様付きの皿の図である。 図８Ｃは、背景差分による皿と食品の認識処理を説明するときの背景差分画像の図である。 図８Ｄは、図８Ａと同様な図であって、時刻t=t_０において皿とその皿の上に置かれた食品の撮影画像の図である。 図８Ｅは、時刻t=t_０から一定時刻経過した時刻t=t₁において再度、撮影を行っときの撮影画像の図である。 図８Ｆは、図８Ｄの撮影画像と図８Ｅの撮影画像との差分画像の図である。 図８Ｇは、タグリーダとカメラとを利用した、皿の状況の認識処理のフローチャートである。 図８Ｈは、保持位置候補（位置座標の候補）を示す図である。 図８Ｉは、保持位置候補（位置座標の候補）と食品とを示す図である。 図８Ｊは、差分画像を保持位置情報に重ね合わせて保持不可領域を示す図である。 図８Ｋは、皿の全領域の内、食品領域以外の領域を保持可能領域に特定する場合の説明図である。 図８Ｌは、皿の全領域の内、差分有りの領域を保持可能領域とし、差分無しの領域を保持不可領域とする場合の図である。 図９は、保持装置による皿の保持状態を示す図である。 図１０は、図９に対して皿の状況が変化した状態を示す図である。 図１１は、皿の状況の変化に応じて保持位置を変更した状態を示す図である。 図１２Ａは、フライパンの温度分布に応じた保持方法を例示する図である。 図１２Ｂは、フライパンの温度分布に応じた保持方法を例示する図である。 図１２Ｃは、フライパンの温度分布に応じた保持方法を例示する図である。 図１２Ｄは、温度Ｔが閾値の温度Ｔｈ_ＴＨより低い部分は保持可能領域であり、高い部分は保持不可領域とする場合の説明図である。 図１２Ｅは、対象物の温度が所定の上限温度と下限温度との関係で、対象物の保持の可否が選択され、かつ、姿勢制御や移動速度が選択される場合の説明図である。 図１２Ｆは、認識装置が物品の履歴情報や位置情報を利用する場合のテーブルの図である。 図１３は、学習手段をさらに有する保持装置を示すブロック図である。 図１４Ａは、人が保持しているときの物品移動速度履歴を例示する図である。 図１４Ｂは、人が保持しているときの物品移動速度履歴を例示する図である。 図１５Ａは、人が物品を保持している様子の一例を示す図である。 図１５Ｂは、人が物品を保持している様子の別の例を示す図である。 図１６は、本発明の第２実施形態に係る物品保持システムの構成を示すブロック図である。 図１７は、Torrance-Sparrowモデルを説明するための概念図である。 図１８Ａは、保持対象物の位置と形状、姿勢の推定法を説明するための概念図である。 図１８Ｂは、保持対象物の位置と形状、姿勢の推定法を説明するための概念図である。 図１８Ｃは、保持対象物の位置と形状、姿勢の推定法を説明するための概念図である。 図１８Ｄは、保持対象物の位置と形状、姿勢の推定法を説明するための概念図である。 図１８Ｅは、保持対象物の位置と形状、姿勢の推定法を説明するための概念図である。 図１９Ａは、光源を移動させながら球状の対象物を撮影した図である。 図１９Ｂは、光源を移動させながら球状の対象物を撮影した図である。 図１９Ｃは、光源を移動させながら球状の対象物を撮影した図である。 図１９Ｄは、光源を移動させながら球状の対象物を撮影した図である。 図２０Ａは、図１９Ａの画像から鏡面反射領域のみを抽出した図である。 図２０Ｂは、図１９Ｂの画像から鏡面反射領域のみを抽出した図である。 図２０Ｃは、図１９Ｃの画像から鏡面反射領域のみを抽出した図である。 図２０Ｄは、図１９Ｄの画像から鏡面反射領域のみを抽出した図である。 図２１は、作業ロボットの制御手段の動作例を示すフローチャートである。 図２２は、移動装置をもたないロボットを示す図である。 図２３は、ロボットが、コンロにかけられている鍋やフライパンを、そのコンロから降ろす作業を行う場合に、物品の温度状況に応じた保持方法の特定することを説明する説明図である。 図２４は、皿を１枚だけ保持するときは、指型ハンドで摘むような保持方法を選択する一方で、複数毎の皿が重ねられているときには、アームとハンドとを利用してその重ねられた皿を下から支えるような保持方法を選択する場合を説明する図である。 図２５は、学習手法の１つとして、物品の移動速度に基づく保持方法の学習設定を説明するフローチャートである。 図２６は、学習手段により学習された結果に基づいて各物品の保持方法をテーブル形式で設定した例を示す図である。 図２７は、学習した各物品の保持方法を特定する保持レベルと各物品と対応付けるテーブルの一例を示す図である。 図２８は、各物品の保持方法と保持レベルをテーブル形式で設定した例を示す図である。 図２９は、単腕・双腕、二つの保持方法を場面に応じて使い分けるためのテーブルの一例を示す図である。 図３０は、反射パラメータと皿の反射パラメータとの違いを利用することによって、皿の上に置かれた料理の領域を特定して皿の保持可能領域と保持不可領域とを特定する一例を示す図である。 図３１は、認識された材質に対応する保持方法の一例をテーブル形式で示す図である。

符号の説明

２ ロボット
１０〜１２ 物品保持システム
１０１ 認識手段
１０２ 保持方法特定手段
１０３ 保持装置
１０４ 光源
１０５ 撮像装置
１０６ 学習手段
１０７ 材質認識手段

Claims (1)

1. 生活空間内の物品のうちの保持対象物の状況を認識する認識装置と、
   上記保持対象物の状況に応じて異なる物品保持方法を記憶する保持方法データベースと、
   上記認識装置によって認識された状況に応じて、異なる物品保持方法のうちから１つの物品保持方法を特定する物品保持方法特定手段と、
   上記物品保持方法特定手段によって特定された物品保持方法を参照して、上記保持対象物の保持を実行する保持装置と、を備えるとともに、
   上記認識装置は、物品の移動速度又は位置を含む、人が行っている上記物品の保持動作を認識し、
   上記認識装置による、上記人が行っている上記物品の保持動作の認識結果に基づいて上記物品毎の又は上記物品の状況毎の保持方法を学習設定する学習手段をさらに備え、
   上記学習手段は、上記人が行っている上記物品の保持動作を参照してその物品の保持方法を学習し、学習した保持方法を上記物品に対応付けて上記保持方法データベースに記憶する、ロボット。

Images