JP6721998B2 - 物体状態特定方法、物体状態特定装置、および、搬送車 - Google Patents

Description

本発明は、物体の位置や姿勢などの状態を特定するための物体状態特定方法、物体状態特定装置、および、物体状態特定装置を備える搬送車であって、特に、無人搬送車などが物体を保持する際に、開口部を有する平面部を表面に備える物体の位置や姿勢などを示す物体状態を特定するための物体状態特定方法、物体状態特定装置、および、搬送車に関する。

物体を撮影した画像情報に基づいて、物体状態の特定を行う物体状態特定方法としては、種々のものが提案されている。

例えば、特許文献１には、位置を変えて設けられた一対のカメラにより撮影された２つの画像データに基づいて、物体の各点における距離情報を含む三次元情報を生成し、これに基づいて物体状態の特定を行う装置が開示されている。

また、特許文献２には、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラにより得られる物体の各箇所の距離情報（三次元情報）を用い、距離情報の中の特徴点をヒストグラム化して特徴量を算出し、参照パターンとの比較により物体の特定を行う装置が開示されている。

さらに、特許文献３には、物体の各箇所の二次元情報と距離情報とから物体の三次元座標を算出し、参照パターンとなる三次元モデルのデータとマッチングすることで、物体の状態の特定を行う装置が開示されている。

特開平０９−２１８０１４号公報 国際公開第２０１０／１４０６１３号 特開２０１２−１２３７８１号公報

従来の特許文献１〜３に示すような物体の状態を特定する装置では、物体を撮影して得られる三次元情報から、物体の特徴点を抽出し、当該特徴点から物体の状態の特定を行っている。

従来の方法では、高速化と精度とはトレードオフの関係にあり、高速化と精度とを両立することは困難である。

本発明は、上記課題に鑑みなされたものであり、開口部を有する平面部を表面に備える物体に着目することにより、低い演算負荷で高速かつ精度よく特定する物体状態特定方法、物体状態特定装置、および、搬送車の提供を目的としている。

上記目的を達成するために、本願発明にかかる物体状態特定方法は、開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサにより取得し、前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定方法であって、所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出し、前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定し、前記仮想平面に乗る前記実測値を安定点として抽出し、前記安定点に基づいて前記物体の物体状態を特定することを特徴としている。

また、上記目的を達成するために、本願発明にかかる物体状態特定装置は、開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定する仮想平面決定部と、前記仮想平面に乗る前記実測値を安定点として当該安定点に基づいて前記物体の物体状態を特定する物体状態特定部とを備えることを特徴としている。

これにより、高速かつ正確に物体の位置、姿勢を特定することが可能となる。

また、上記目的を達成するために、本願発明にかかる搬送車は、開口部を有する平面部を表面に備える物体の前記開口部にフォークを挿入して前記物体を搬送する搬送車であって、前記搬送車に設けられ、前記物体の平面部の複数箇所について、三次元データである実測値を取得するセンサと、前記実測値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定装置とを備え、前記物体状態特定装置は、開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定する仮想平面決定部と、前記仮想平面に乗る前記実測値を安定点として当該安定点に基づいて前記物体の物体状態を特定する物体状態特定部とを備えることを特徴としている。

これによれば、低い演算負荷の下で物体の位置、姿勢を高速にフィードバックすることができ、高速かつスムーズに物体を保持することができる搬送車を提供することができる。

なお、前記物体状態特定方法が含む各処理をコンピュータに実行させるためのプログラムを実施することも本願発明の実施に該当する。無論、そのプログラムが記録された記録媒体を実施することも本願発明の実施に該当する。

本発明によれば、低い演算負荷の下で物体の位置や姿勢を簡単かつ高速に特定することができ、正確さも両立できる。

図１は、物体および搬送車を示す斜視図である。 図２は、物体状態特定装置の機能構成を示すブロック図である。 図３は、センサにより得られた実測値を視覚化して示す図である。 図４は、物体状態特定部の機能構成を詳細に示すブロック図である。 図５は、姿勢特定部の処理動作を視覚化して示す図である。 図６は、仮想平面から開口部の中心を求める処理動作を視覚化して示す図である。 図７は、仮想平面から物体の位置を求める処理動作を視覚化して示す図である。 図８は、準備段階におけるモデル特徴量の処理の流れを示すフローチャートである。 図９は、搬送車が物体を保持するまでの流れを示すフローチャートである。

次に、本願発明に係る物体状態特定方法の実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本願発明に係る物体状態特定方法の一例を示したものに過ぎない。従って本願発明は、以下の実施の形態を参考に請求の範囲の文言によって範囲が画定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、図面は、本願発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

（実施の形態）
図１は、物体および搬送車を示す斜視図である。

物体２００は、平面部２０１と開口部２１０とを備えているものであり、特に種類が制限されるものではなく、搬送可能な物品や搬送が困難な固定的な構造物などでもよい。

平面部２０１は、物体２００の表面の一部であり、平面部２０１の一部に開口部２１０を備えている。

開口部２１０は、平面部２０１から陥凹する穴の開口端部や平面部２０１から他方の端面まで貫通する孔の平面部２０１側の開口端部である。開口部２１０の形状は、特に限定されるものでは無く、正方形を含む矩形や円、楕円、長円などでもかまわない。また、平面部２０１に設けられる開口部２１０の数も特に制限されるものではなく、一つの平面部２０１に開口部２１０が一つ存在しても複数個存在していてもかまわない。

本実施の形態の場合、物体２００は、物流の現場などにおいて荷物が載置される基板となるパレットである。パレットとしての物体２００は、平面視でほぼ正方形の板状であり、一側面に該当する平面部２０１には二つの開口部２１０が配置されている。開口部２１０は、平面部２０１から反対側の端面まで貫通する孔の開口端部に該当している。二つの開口部２１０は、それぞれ横長の矩形であり同一形状である。また、二つの開口部２１０は、平面部２０１の幅方向（図中Ｘ軸方向）の中心で上下方向(図中Ｙ軸方向）に延びる軸を対称軸として線対称の関係となるように配置されている。開口部２１０は、搬送車１００のフォーク１０１が挿入可能な大きさに設定されている。

搬送車１００は、開口部２１０を有する平面部２０１を表面に備える物体２００の開口部２１０にフォーク１０１を挿入して物体２００を持ち上げて搬送する台車である。本実施の形態の場合、搬送車１００は、フォーク１０１を形成する二本の爪を備えており、それぞれの爪の先端にセンサ１０２を備えている。二本の爪は、相互に平行に配置されており、搬送車１００が走行する床面と平行を維持したまま上下に移動可能となるように搬送車システム１１０に取り付けられている。また、搬送車１００は、無人で自律的に走行し荷物を搬送することができる無人搬送車であり、内部に物体状態特定装置１０３（図２参照）を備えている。

センサ１０２は、物体２００の開口部２１０を含む平面部２０１の複数箇所について、三次元データである実測値を取得することができる装置であれば特に限定されるものではない。例えばセンサ１０２としては、２つのカメラを備え、２つの二次元画像の視差により実測値を取得するセンサや、カメラの周囲に設けられたＬＥＤにより赤外光を照射し、対象物から反射した反射光が、カメラで観測されるまでの時間を撮像画素ごとに計測することで、対象物まで距離を画素ごとに測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや、レーザー光をスキャンさせてレーザー光の反射光に基づき複数箇所の座標と距離とを測定する測距センサを挙示することができる。本実施の形態の場合、センサ１０２は、ＴＯＦカメラであるとして説明する。

図２は、物体状態特定装置の機能構成を示すブロック図である。

物体状態特定装置１０３は、センサ１０２に対する物体２００の位置、および、姿勢の少なくとも一方を含む物体状態を特定する装置であり、実測値取得部１３１と、実特徴量算出部１３４と、対応点抽出部１３５と、物体状態特定部１３６と、モデル特徴量を記憶する記憶部１３７とを備えている。

記憶部１３７は、物体２００の幾何的特徴を表すモデル特徴量を保存する。モデル特徴量は、例えば、センサ１０２に対する位置と姿勢とが明確に判るように物体２００を配置し、センサ１０２から得られる物体２００の表面の各点に関する三次元のデータに基づき得られる特徴量などである。具体的に例えば、モデル特徴量は、点の集合及び各点を結んで構成される線分の集合によって定義される。モデル特徴量は、１）特徴点３点の隣り合う点間の距離範囲、２）３点の両端の点間の距離範囲、３）３点の特徴点の間をなす角度範囲、４）各特徴点・補間点のＦＰＦＨヒストグラムの次元（角度）ごとの平均及び分散などである。

実測値取得部１３１は、センサ１０２により測定された物体２００の平面部２０１の複数箇所のセンサ１０２に対する位置、および、センサ１０２からの距離を示す実測値を取得する処理部である。

本実施の形態の場合、搬送車１００は、フォーク１０１の先端にそれぞれＴＯＦカメラであるセンサ１０２を備えており、一つのセンサ１０２が一つの開口部２１０を含むその周辺の平面部２０１の測定を担っている。実測値取得部１３１は、それぞれのセンサ１０２から得られた実測値をセンサ１０２の位置関係を考慮して統合している。統合された実測値を二次元画像として示すと図３に示す画像のようになる。

実特徴量算出部１３４は、実測値取得部１３１により取得された各実測値を基準として先にモデル特徴量を算出した手法と同じ手法で実特徴量を算出する処理部である。

特徴量を算出する手法は、特に制限されるものではない。前述の手法ばかりでなく、例えば各点における法線方向ベクトルが、周辺特徴点の法線ベクトルとなす角度に基づいて生成される法線方向ヒストグラムにより特徴量を算出してもかまわない。具体的には、ＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ）を用いることができる。また、実測値が三次元データであることから、距離データに基づく各点における距離ヒストグラムにより特徴量を算出してもかまわない。この他にも、特徴量を算出する手法としては、各画素の輝度に基づいて輝度ヒストグラムにより特徴量を算出してもかまわない。

対応点抽出部１３５は、記憶部１３７が記憶しているモデル特徴量と実特徴量算出部１３４が算出した実特徴量とを比較し、モデル特徴量にマッチした実特徴量の基準となった実測値を平面部２０１の位置を示す対応点の値である対応点値を抽出する処理部である。

本実施の形態の場合、対応点抽出部１３５は、実測値について、それぞれ実特徴量算出部１３４で算出される特徴量を、記憶部１３７に保存されたモデルのデータと比較する。マッチングは、記憶部１３７に記憶されているモデル特徴量と実特徴量との類似度に基づき行われる。

なお、対応点抽出部１３５は、実測値のダウンサンプリングを行ってもよい。例えば、実測値のうちから、特定の幾何的関係にある１又は複数の実測値の組を抽出し、所定範囲の距離だけ離間し、各点を結ぶ線分がなす角度が所定範囲であれば、この３点の特徴点をマッチングの候補点とするダウンサンプリングを行ってもよい。また、対応点抽出部１３５は、中央に位置する特徴点と、他の２つの特徴点との間の中間点を、それぞれパターンマッチングの候補点とするダウンサンプリングを行ってもよい。また、このダウンサンプリングは、実特徴量算出部１３４において行ってもかまわない。

物体状態特定部１３６は、対応点抽出部１３５が抽出した対応点値に基づきセンサ１０２に対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する処理部である。

図４は、物体状態特定部１３６を詳細に示すブロック図である。

同図に示すように、物体状態特定部１３６は、仮想平面決定部１６１と、安定点算出部１６２と、姿勢特定部１６３と、位置特定部１６４とを備えている。

仮想平面決定部１６１は、対応点抽出部１３５により抽出された対応点値に基づき平面部２０１を含む面を示す平面方程式を算出する処理部である。平面方程式を算出する手法は特に制限されるものではないが、本実施の形態では対応点抽出部１３５により抽出された対応点の中にはノイズが含まれていると考えられるため、外れ値を除外して平面方程式のパラメータを推定をする手法（例えば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）等）を用いている。

安定点算出部１６２は、仮想平面決定部１６１により算出された仮想平面に乗る実測値を安定点として抽出する処理部である。

ここで、仮想平面に乗るとは、仮想平面決定部１６１により算出された平面方程式を満たす実測値ばかりでなく、誤差の範囲で平面方程式を満たす実測値も含む意味として用いている。

姿勢特定部１６３は、安定点に基づいて物体２００の姿勢を特定する処理部である。ここで、姿勢とは、センサ１０２に対する物体２００の向きである。具体的に例えば、姿勢とは、センサ１０２の測定領域の中心とセンサとを結ぶ測定軸と、物体２００の向きを示す代表軸との三次元的な角度である。また本実施の形態の場合、パレットとしての物体２００と搬送車１００とは、同一平面（床面）上に配置されるものであるため、物体２００の姿勢とは、開口部２１０を形成する貫通孔の管軸である代表軸と搬送車１００の直進方向との角度となる。

姿勢特定部１６３が姿勢を特定する手法は特に限定されるものではない。例えば、仮想平面決定部１６１が決定した仮想平面の法線を物体２００の向きを示す代表軸とし、搬送車１００等から取得した搬送車１００の直進方向を基準に物体２００の姿勢を特定してもよい。

本実施の形態の場合、仮想平面と交差する面であって、物体２００と搬送車１００とが配置される床面に相当する面に安定点を投影し、得られた投影点群の中から前方に位置する点である前方点群を抽出し、当該前方点群に基づき物体２００の姿勢を特定している。前方点群に基づき物体２００の姿勢を特定する手法は、特に限定されるものではない。本実施の形態では前方点の中にはノイズが含まれていると考えられるため、平面方程式を作成した場合と同様に、外れ値を除外して直線方程式のパラメータを推定をする手法（例えば、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）等）を用いている。これにより、正確に物体２００の姿勢を特定することが可能となる。

ここで、前方点の特定は次のようにして行われる。図５の（ａ）の部分に示すように、投影点群１０９は、線状に集まっている。なお、図中は矩形の帯状に整列して記載されているが、実際に投影点は帯状は維持しつつランダムな配置となっている。次に、図５の（ｂ）の部分に示すように、投影点１９０の中の１点を着目点１９１とし、着目点１９１を含む領域１９９（本実施の形態では円）内に含まれる投影点１９０を抽出する。着目点１９１から抽出された各投影点１９０までのベクトルである着目点ベクトル１９２と、仮想平面決定部１６１が決定した仮想平面の法線ベクトル１９３との角度θを算出する。所定の角度範囲（図５の（ｃ）の斜線部）内に角度θが含まれない場合、つまり、着目点ベクトル１９２を中心として所定の角度範囲内に他の投影点１９０がない場合、着目点１９１を前方点として特定する。これを異なる複数の投影点についてそれぞれを着目点１９１として前方点を特定し、前方点群を抽出する。

位置特定部１６４は、安定点算出部１６２が算出した安定点に基づき開口部２１０の中心位置を特定し、これを物体２００の位置として特定する。

開口部２１０の中心位置を特定する手法は、特に制限されるものではないが、例えば以下の方法を例示することができる。

（位置特定方法例１）
まず、仮想平面決定部１６１で決定した仮想平面上にランダムに仮点を生成する。次に、安定点の近傍に存在する仮点を除外する。除外した結果、残存点群１６９は図６に示すような形状となる。次に、残存した仮点である残存点群の重心（中心）を算出する。算出された重心（中心）位置は、開口部２１０の中心位置１６８となる。

本実施の形態の場合、物体２００はパレットであり、平面部２０１に開口部２１０が２箇所設けられている。また、二つの開口部２１０は、物体２００が載置される平面（床面）と平行な面内に配置されている。従って、位置特定部１６４は、二つの開口部２１０のそれぞれについて中心位置を算出し、これら二つの中心位置を結ぶ線分の中点を物体２００の位置としている。

なお、二つの開口部２１０の中心位置を算出する場合に、事前に安定点を二つにクラスタリングし、それぞれのクラスに属する安定点に基づき開口部２１０のそれぞれの中心位置を算出してもかまわない。

（位置特定方法例２）
本実施の形態の場合、物体２００はパレットであり、平面部２０１に開口部２１０が２箇所設けられている。また、二つの開口部２１０は、物体２００が載置される平面（床面）と平行な面内に配置され、二つの開口部２１０の形状は同一である。以上の前提に基づき、安定点が線対称の配置となる対称軸に基づき物体２００の位置を特定する。

まず、仮想平面決定部１６１で決定した仮想平面上にランダムに仮点を生成する。次に、安定点の近傍に存在する仮点を除外する。除外した結果、残存点群１６９は図７に示すような形状となる。残存した仮点である残存点群から上下方向（Ｙ軸方向）の最大値ｙ＿ｍａｘ、および、最小値ｙ＿ｍｉｎを算出する。次に、最大値ｙ＿ｍａｘから最小値ｙ＿ｍｉｎまでの範囲に含まれる安定点から最も内側にある安定点を抽出し、線状の縁成分１６７を抽出する。次に、予め算出した中心位置、例えば二つの開口部２１０の中心を結ぶ線分の中点を通る上下方向に延びる軸を基準にして、折り返した場合に各縁成分１６７の位置合わせ誤差が最小となる折り返し線１６６を探索して決定する。以上により決定された折り返し線１６６が物体２００の位置となる。

なお、二つの開口部２１０の縁成分１６７を算出する場合に、事前に安定点を二つにクラスタリングし、それぞれのクラスに属する安定点に基づき縁成分１６７を算出してもかまわない。

次に、搬送車システム１１０における搬送車１００の物体２００を保持するまでの動作を説明する。

図８は、準備段階におけるモデル特徴量の処理の流れを示すフローチャートである。

まず準備として、モデル特徴量を算出しておく(Ｓ１０１）。モデル特徴量の算出は上述の技術を用いて行うことができる。次に、作成されたモデル特徴量を搬送車１００の記憶部１３７に記憶させる(Ｓ１０２）。

図９は、搬送車が物体を保持するまでの流れを示すフローチャートである。

物体２００であるパレットは、例えば、自動倉庫の搬出入ステーションに配置されている。当該ステーションに存在する物体２００を搬送する指令を受信した搬送車１００は、記憶しているマップなどに基づき物体２００が配置されているステーションにフォーク１０１を物体２００に向けた状態で近づく（Ｓ２０１）。

次に、フォーク１０１の先端に取り付けられているセンサ１０２を稼働させて、物体２００の平面部２０１内における複数箇所の位置、および、距離を三次元的に計測する（Ｓ２０２）。

実測値取得部１３１は、センサ１０２からデータとして実測値を取得する（Ｓ２０３）。

実測値を取得すると、実特徴量算出部１３４は、それぞれの実測値について実特徴量を算出する（Ｓ２０４）。なお、実測値が多く処理に時間を要する場合は、前述の手法などを用いてダウンサンプリングを行った後、実特徴量を算出してもかまわない。

次に、記憶部１３７に記憶されたモデル特徴量と算出された実特徴量とをマッチングし、所定範囲の類似度を示す実特徴量の基準となった実測値を対応点値として抽出する（Ｓ２０５）。

次に、物体状態特定部１３６は、仮想平面を決定して、安定点を算出する（Ｓ２０７）。

次に、物体状態特定部１３６は、安定点に基づき物体状態を特定する（Ｓ２０９）。

最後に、搬送車１００は、得られた物体状態に基づき操舵輪や駆動輪についてフィードバック制御を行い、開口部２１０を端部に有する貫通孔の軸とフォーク１０１の軸とが合致した段階で、フォーク１０１を開口部２１０に挿入し、物体２００を持ち上げて保持する（Ｓ２１０）。

本発明によれば、開口部２１０と平面部２０１に着目し、特徴量でマッチングを行って対応点を抽出し平面方程式により安定点を抽出しているため、多数の安定点に基づき正確に物体２００の位置や姿勢を特定することが可能となる。

さらに、開口部が左右対称に配置されていることに基づき、高速かつ正確に物体２００の状態を把握することが可能となる。

なお、本願発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本願発明の実施の形態としてもよい。また、上記実施の形態に対して本願発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本願発明に含まれる。

例えば、実測値を複数の画像を解析することにより得てもよく、この場合、対応点を抽出する際のマッチングは、画像の特徴点から、所定の幾何的条件を満たす所定数の特徴点をマッチング候補点として抽出してもよい。

また、画像特徴点の検出は、Ｈａｒｒｉｓ処理、又はＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理することにより、特徴点を検出してもよい。また、ＩＳＳ（Ｉｎｔｒｉｎｓｉｃ Ｓｈａｐｅ Ｓｉｇｎａｔｕｒｅｓ）でもよい。

特徴点の検出方法は、画像の各画素について、色や輝度変化が大きくなる点を検出できればよく、Ｈａｒｒｉｓ作用素、又はＳＩＦＴ作用素を用いる方法の他に、公知の技術を用いることができる。

また、モデルを仮想的なモデルを任意に作成してもかまわない。

また、開口部２１０の形状は矩形に限定されるものではなく、多角形、円形、楕円形、長円形などでもかまわない。開口部２１０の形状が円形である場合、コーナーモデルは、扇型の面と当該面と交差する円周面とで構成されるが、円周面は複数の平面の集合面であるとしてコーナーモデルを作成してもかまわない。

本発明は、物体の位置と姿勢とを特定する特定装置に適用でき、例えば、無人搬送車や搬送車などに搭載される物体状態特定装置に適用可能である。

１００ 搬送車
１０１ フォーク
１０２ センサ
１０３ 物体状態特定装置
１０９ 投影点群
１１０ 搬送車システム
１３１ 実測値取得部
１３４ 実特徴量算出部
１３５ 対応点抽出部
１３６ 物体状態特定部
１３７ 記憶部
１６１ 仮想平面決定部
１６２ 安定点算出部
１６３ 姿勢特定部
１６４ 位置特定部
１６６ 折り返し線
１６７ 縁成分
１６８ 中心位置
１６９ 残存点群
１９０ 投影点
１９１ 着目点
１９２ 着目点ベクトル
１９３ 法線ベクトル
１９９ 領域
２００ 物体
２０１ 平面部
２１０ 開口部

Claims (10)

1. 開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサにより取得し、前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定方法であって、
   所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出し、
   前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定し、
   前記仮想平面に乗る前記実測値を安定点として抽出し、
   前記安定点に基づいて前記物体の物体状態を特定する、
   物体状態特定方法。
2. 前記仮想平面と交差する面に前記安定点を投影し、得られた投影点群に基づき前記物体の姿勢を特定する、
   請求項１に記載の物体状態特定方法。
3. 前記仮想平面と交差する面に前記安定点を投影し、得られた投影点群のなかから前方に位置する点である前方点群を抽出し、
   前記前方点群に基づき前記物体の姿勢を特定する、
   請求項１に記載の物体状態特定方法。
4. 前記安定点に基づき前記開口部の中心位置を特定する、
   請求項１〜３のいずれか一項に記載の物体状態特定方法。
5. 前記平面部は開口部を２箇所に備え、
   前記安定点を二つにクラスタリングし、それぞれのクラスに属する前記安定点に基づき前記開口部のそれぞれの中心位置を特定する、
   請求項１〜４のいずれか一項に記載の物体状態特定方法。
6. 前記平面部は開口部を２箇所に備え、
   前記安定点に基づき前記開口部のそれぞれの中心位置を特定し、
   特定された二つの中心位置の中点に基づき前記物体の位置を特定する、
   請求項１〜５のいずれか一項に記載の物体状態特定方法。
7. 前記平面部は、前記開口部を２箇所に備え、
   前記安定点が線対称の配置となる対称軸に基づき前記物体の位置を特定する、
   請求項１〜６のいずれか一項に記載の物体状態特定方法。
8. 前記開口部の形状は矩形であり、
   前記安定点から前記開口部の縁を抽出し、抽出された縁が線対称の配置となる対称軸に基づき前記物体の位置を特定する、
   請求項７に記載の物体状態特定方法。
9. 開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、
   所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、
   前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定する仮想平面決定部と、
   前記仮想平面に乗る前記実測値を安定点として当該安定点に基づいて前記センサに対する前記物体の位置、および、姿勢の少なくとも一方を含む前記物体の物体状態を特定する物体状態特定部と、
   を備える物体状態特定装置。
   
10. 開口部を有する平面部を表面に備える物体の前記開口部にフォークを挿入して前記物体を搬送する搬送車であって、
    前記搬送車に設けられ、前記物体の平面部の複数箇所について、三次元データである実測値を取得するセンサと、
    前記実測値に基づき前記センサに対する物体の位置、および、姿勢の少なくとも一方を含む物体状態を特定する物体状態特定装置とを備え、
    前記物体状態特定装置は、
    開口部を有する平面部を表面に備える物体の前記平面部の複数箇所について、三次元データである実測値をセンサより取得する実測値取得部と、
    所定の特徴量に基づき前記開口部の周縁の位置を示す対応点値を抽出する対応点抽出部と、
    前記対応点値に基づき前記平面部を含む面を示す平面方程式を算出して仮想平面を決定する仮想平面決定部と、
    前記仮想平面に乗る前記実測値を安定点として当該安定点に基づいて前記物体の物体状態を特定する物体状態特定部とを備える、
    搬送車。