JP3242108B2 - ターゲットマークの認識・追跡システム及び方法 - Google Patents
ターゲットマークの認識・追跡システム及び方法Info
- Publication number
- JP3242108B2 JP3242108B2 JP51309693A JP51309693A JP3242108B2 JP 3242108 B2 JP3242108 B2 JP 3242108B2 JP 51309693 A JP51309693 A JP 51309693A JP 51309693 A JP51309693 A JP 51309693A JP 3242108 B2 JP3242108 B2 JP 3242108B2
- Authority
- JP
- Japan
- Prior art keywords
- target mark
- image
- target
- mark
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 90
- 230000036544 posture Effects 0.000 claims description 114
- 238000012545 processing Methods 0.000 claims description 90
- 230000005484 gravity Effects 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000006073 displacement reaction Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 52
- 239000011159 matrix material Substances 0.000 description 14
- 230000009466 transformation Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 239000003550 marker Substances 0.000 description 11
- 238000002372 labelling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 230000001154 acute effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000003251 Pruritus Diseases 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000257465 Echinoidea Species 0.000 description 1
- 238000004971 IR microspectroscopy Methods 0.000 description 1
- 235000000391 Lepidium draba Nutrition 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000020280 flat white Nutrition 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000012060 immune response imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000012889 quartic function Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
- B64G1/64—Systems for coupling or separating cosmonautic vehicles or parts thereof, e.g. docking arrangements
- B64G1/646—Docking or rendezvous systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
- B64G1/00—Cosmonautic vehicles
- B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
- B64G1/64—Systems for coupling or separating cosmonautic vehicles or parts thereof, e.g. docking arrangements
- B64G1/646—Docking or rendezvous systems
- B64G1/6462—Docking or rendezvous systems characterised by the means for engaging other vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39387—Reflex control, follow movement, track face, work, hand, visual servoing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39397—Map image error directly to robot movement, position with relation to world, base not needed, image based visual servoing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
技術分野 本発明はビデオカメラを用いてターゲットマークを認
識し、追跡するターゲットマークの認識・追跡システム
及び方法に関し、特に、ビデオカメラで撮影された画像
の画像処理によってターゲットマークの位置、姿勢等を
検出し、それに基づき、所定位置からのずれ量を検出
し、そのずれ量に応じて自己の位置、姿勢等を制御する
ターゲットマークの認識・追跡システム及び方法に関す
る。 背景技術 ロボットに移動物体を自律的に把持させたり、宇宙機
などをドッキングさせる場合、その移動物体や宇宙機に
設けられたターゲットマークを、ビデオカメラを用いて
認識し、追跡することが必要となる。 従来から、対象物体の位置及び姿勢を計測する方法と
して、対象物体に設けたターゲットマークをビデオカメ
ラを用いて撮像し、その撮像データを画像処理して対象
物体の位置及び姿勢を求める手法が知られている。この
手法は、上述したように、ロボットハンドが対象物体を
把持する場合などで用いられる。その場合、ビデオカメ
ラはロボットに搭載され、ビデオカメラが検出したター
ゲットマークの位置及び姿勢データに応じてロボットは
ターゲットマークの追跡を行い、対象物体を把持する。 しかし、上記従来の方法では、ターゲットマークの撮
像データを画像処理して対象物体の位置及び姿勢を得る
までに時間がかかるため、ロボットへのリアルタイムな
フィードバックが不可能であり、対象物体の追跡が困難
であった。 また、画像上でパターンマッチングにより目標物を追
跡する方法もあるが、２次元空間での計算になるため、
計算量が多く時間を要する。 さらに、対象物体の追跡に関して、対象物体の運動を
把握して移動位置を予測する方法もあるが、この場合
は、対象物体が規則正しく運動していることが前提とな
るので、通常の対象物体の移動には単純には適用するこ
とができない。 なお、ターゲットマークの認識の前段階として、他の
物体が混在したりノイズが多い画像中から目的のマーク
を抽出することが必要となる。このための従来の手法と
しては、マークの面積による比較を行ったり、パターン
マッチングによる特徴抽出が行われている。 しかし、面積による比較の手法は、目的とするマーク
と同じ程度の面積を持つ抽出画像を目的のマークと判定
するものであるが、同程度の大きさの物体が周囲にある
場合やノイズの多い画像から目的のマークを抽出するこ
とは実質的に不可能であり、よって適用範囲が限定され
るという問題点がある。 また、パターンマッチングによる特徴抽出手法では、
画像メモリ内をサーチするために多くの時間が必要とな
り、処理時間が長くかかるという問題点がある。 またさらに、対象物体の三次元空間内での位置、姿勢
等を計測する場合に、３点乃至４点の位置関係を示す三
角形、又は四角形のターゲットマークが使用されてい
る。ターゲットマークが対象物体の特定平面に貼り付け
られていれば、撮像されたターゲットマークの画像空間
での位置関係から物体の位置と姿勢を計測できる。この
計測に際しては、ターゲットマークの物体空間からカメ
ラの画像平面に結像された像点の座標に対して斜影幾何
学に基づく演算が実行される。物体の位置、或いは姿勢
が変化すればターゲットマークの像点間の関係も変化す
るから、その変化に基づいて対象物体の三次元空間にお
ける位置と姿勢についての演算が可能になる。 しかし、従来のターゲットマークによる計測装置で
は、三角形、又は四角形の画像から抽出された像点の座
標値に基づいて位置と姿勢についての演算が実行される
から、ターゲットマークのカメラに対する姿勢によって
測定精度にばらつきが生じる。すなわち、画像平面内で
の各像点から、方向成分が含まれる画像データを得て、
ターゲットマークが貼着された対象物体の特定平面を記
述する場合には、各像点に対する基準距離が変化して位
置と姿勢についての測定精度に安定性が欠けるという問
題点があった。 また、従来のターゲットマークによる位置の演算で
は、ターゲットマークの平面が画像平面に対してある角
度をなしていることを必要とし、したがって、カメラを
ターゲットマークに正対させた場合に比べて演算パラメ
ータが著しく増加する。このため、位置の測定において
も演算が複雑になって、その分だけ測定の精度が低下す
るという問題点があった。 また、４つの点状のマークを撮影手段で画像化した場
合に、画像上ではその点はある面積を有してしまい、画
像データにおいて点の位置を正確に特定することができ
ず、したがって、サブピクセル単位の画像上の位置決め
ができないという問題点があった。すなわち、そうした
画像データにおける不正確な点の位置を基に、対象物ま
での距離やその姿勢を算出することになり、対象物まで
の距離やその姿勢を、精度よく計測することができなか
った。 発明の開示 本発明はこのような点に鑑みてなされたものであり、
本発明の第１の目的は、ビデオカメラを用いて対象物体
のターゲットマークをリアルタイムで追跡することがで
きるターゲットマークの認識・追跡システム及び方法を
提供することである。 本発明の第２の目的は、高速、かつ確実に目的のター
ゲットマークを抽出できるようにしたターゲットマーク
の認識・追跡システム及び方法を提供することである。 本発明の第３の目的は、ターゲットマークとカメラと
の位置関係による測定誤差のばらつきをなくしたターゲ
ットマークの認識・追跡システム及び方法を提供するこ
とである。 本発明の第４の目的は、対象物までの距離やその姿勢
を、精度よく、かつ簡単に計測するようにしたターゲッ
トマークの認識・追跡システム及び方法を提供すること
である。 本発明では上記課題を解決するために、 ビデオカメラを用いてターゲットマークを追跡するタ
ーゲットマーク追跡システムにおいて、対象物体に設け
られ、黒円の中央部に白三角形を立体的にシフトさせて
構成したターゲットマークと、ターゲットマークを撮像
するビデオカメラと、ビデオカメラを搭載し６自由度方
向に移動可能な移動機構と、ビデオカメラによるターゲ
ットマークの画像データを処理する画像処理手段と、画
像処理手段によって得られたターゲットマークの投影ヒ
ストグラム情報からターゲットマークのずれ量を検出す
るずれ量検出手段と、ずれ量に応じて移動機構の移動動
作を制御し、ビデオカメラにターゲットマークの追跡を
行わせる移動機構制御手段と、を有することを特徴とす
るターゲットマーク追跡システムが、提供される。 ターゲットマークは黒円の中央部に白三角形を立体的
にシフトさせて構成したものであり、対象物体に設けら
れる。ビデオカメラは、６自由度方向に移動可能な移動
機構に搭載され、ターゲットマークを撮像する。画像処
理手段は、ビデオカメラによるターゲットマークの画像
データを処理し、ターゲットマークの各座標軸に対する
投影ヒストグラム等を求める。ずれ量検出手段は、その
投影ヒストグラム等の情報からターゲットマークのずれ
量を検出する。移動機構制御手段は、そのずれ量に応じ
て移動機構の移動動作を制御し、ビデオカメラにターゲ
ットマークの追跡を行わせる。 このように、黒円の中央部に白三角形を立体的にシフ
トさせて構成したターゲットマークをビデオカメラを用
いて撮像し、その画像データからターゲットマークの各
座標軸方向のずれ量を求める。このずれ量は、画像デー
タの各軸投影ヒストグラム処理等によって求められる
が、この各軸投影ヒストグラム処理等は一次元領域での
計算である。このため、その計算は複雑な計算を必要と
せず非常に簡単に行うことができ、計算量も僅かであ
る。したがって、ターゲットマークのずれ量は、高速処
理で求められる。その結果、ずれ量に応じた移動機構へ
のリアルタイムなフィードバックが可能となり、ビデオ
カメラによるターゲットマークの追跡がリアルタイムで
可能となる。 また、ターゲットマークをビデオカメラにより撮影
し、その撮影データを処理することで、ビデオカメラを
ターゲットマークに対し常時、所定関係位置に保持する
ようにするターゲットマーク視覚追跡制御方式におい
て、ビデオカメラから出力されたターゲットマークの画
像においてターゲットマークの目標位置・姿勢からの変
化量を検出する画像変化量検出手段と、ビデオカメラと
ターゲットマークとの所定関係位置からの相対的な実変
化量を検出する実変化量検出手段と、ビデオカメラとタ
ーゲットマークとの所定関係位置を実験的にずらし、そ
のときに得られる、画像変化量検出手段の検出値と、実
変化量検出手段の検出値とから、相互の関連づけをする
同定手段と、を有することを特徴とするターゲットマー
ク視覚追跡制御方式が、提供される。 以上の構成により、同定手段は、ビデオカメラとター
ゲットマークとの所定関係位置を実験的にずらし、その
ときに得られる、画像変化量検出手段の検出値、即ち、
画像上のターゲットマークの目標位置・姿勢からの変化
量と、実変化量検出手段の検出値、即ち、ビデオカメラ
とターゲットマークとの所定関係位置からの相対的な実
変化量とから、相互の関連づけをする。 このように、同定をすることにより、ターゲットマー
クの画像変化量を、ビデオカメラとターゲットマークと
の所定関係位置からの相対的な実変化量に高速に変換で
き、ターゲットマークとビデオカメラとの間の距離が大
きく変化した場合においても、応答性能が劣化せず、安
定に移動物体の追跡を行える。 また、少なくとも特定な形状の３角形から成るターゲ
ットマークのカメラ撮影画像に基づいて対象物体のカメ
ラ視線軸回りの姿勢を検出するターゲットマークの姿勢
検出方法において、ターゲットマークの３角形の画像の
X,Y方向の各投影ヒストグラムを求め、求められた各投
影ヒストグラムにおいて、ターゲットマークの３角形の
画像のX,Y方向の各重心位置を求め、求められた各投影
ヒストグラムにおいて、ヒストグラム値が最大になると
きの各最大ヒストグラム値、およびそのときのX,Y軸値
を求め、求められた各重心位置、並びに各最大ヒストグ
ラム値およびX,Y軸値、さらに、ターゲットマークの幾
何的既知データに基づき、ターゲットマークの３角形の
姿勢が、予め分類され設定されている姿勢パターンの中
のいずれのパターンに相当するかを判別し、判別された
パターンにおけるターゲットマークの３角形のカメラ視
線軸回りの姿勢を算出することを特徴とするターゲット
マークの姿勢検出方法が、提供される。 上記構成において、まず、予めターゲットマークの３
角形の姿勢を分類して姿勢パターンを設定しておき、求
められたターゲットマークの３角形の画像のX,Y方向の
各重心位置、並びに各最大ヒストグラム値およびX,Y軸
値、さらに、ターゲットマークの幾何的既知データに基
づき、ターゲットマークの３角形の姿勢が、予め分類さ
れ設定されている姿勢パターンの中のいずれのパターン
に相当するかを判別する。そして、判別されたパターン
におけるターゲットマークの３角形のカメラ視線軸回り
の姿勢を算出するようにする。これにより、ターゲット
マークのロール回転量を的確に、且つ簡単に把握でき
る。 また、原画像を２値化する過程と、２値化した画像の
うちの画素が連結している画像をグループ化する過程
と、グループ化された画像についてXY投影ヒストグラム
を求める過程と、グループ化された画像のXY投影ヒスト
グラムの極値の数を計数する過程と、計数した極値の数
を、目的とするターゲットマークについて予め求めたXY
投影ヒストグラムの極値数と比較して、グループ化され
た画像が目的とするターゲットマークであるか否か判定
する過程とからなるターゲットマークの検出方法が、提
供される。 また、ターゲットマークの像に基づいて物体の位置と
姿勢を計測する位置、姿勢の計測装置において、物体の
特定平面上にあって円とその中心点を含むターゲットマ
ークと、ターゲットマークを撮像して円とその中心点の
画像を作成するカメラと、ターゲットマークの画像から
物体の位置と姿勢の計測に必要な特徴点を抽出する特徴
抽出手段と、特徴点に関する射影幾何学演算によってタ
ーゲットマークの物体空間内での位置及び姿勢を演算す
る演算手段と、を有することを特徴とする位置、姿勢の
計測装置が、提供される。 さらに、対象物までの距離および対象物の姿勢を計測
する距離姿勢計測装置において、各重心が同一平面上に
位置するように対象物に配置され、少なくとも１つの円
の半径が他と異なる４つの円板状マークと、４つの円板
状マークを撮影する撮影手段と、撮影手段から出力され
る４つの円板状マークの画像データに基づき、各円板状
マークの重心位置を算出する重心算出手段と、重心算出
手段が算出した４つの重心位置を基に、４点透視問題を
解き、対象物までの距離および対象物の姿勢を演算する
演算手段と、を有することを特徴とする距離姿勢計測装
置が、提供される。 図面の簡単な説明 図１はターゲットマーク追跡システムの全体構成を示
す図である。 図２はターゲットマークの斜視図である。 図３はターゲットマークの上面図である。 図４はターゲットマークの側面図である。 図５はターゲットマークの検出手順を示すフローチャ
ートである。 図６はターゲットマークのXY投影ヒストグラムを示す
図である。 図７は投影画像の２値化処理の例を示す図である。 図８は２値化処理画像のラベリング処理の例を示す図
である。 図９はグループ番号３の物体を分離する例を示す図で
ある。 図10は分離したグループ番号３の物体のXY投影ヒスト
グラムを示す図である。 図11は他の形態のターゲットマークとそのXY投影ヒス
トグラムを示す図である。 図12はまた他の形態のターゲットマークとそのXY投影
ヒストグラムを示す図である。 図13は位置・姿勢を計測するための４円ターゲットマ
ークの例を示す図である。 図14はターゲットマークのXY方向ずれ量の求め方を説
明する図である。 図15はターゲットマークの中心位置Pmの求め方につい
ての説明図である。 図16はターゲットマークのＺ方向ずれ量の求め方を説
明する図である。 図17はターゲットマークを斜めから見た場合の説明図
であり、（Ａ）はカメラの姿勢を、（Ｂ）はターゲット
マーク画像をそれぞれ示す。 図18は図17のターゲットマーク画像のXY投影ヒストグ
ラムを示す図である。 図19はヨー方向ずれ量の求め方を説明する図である。 図20はピッチ方向ずれ量の求め方を説明する図であ
る。 図21はロール方向に回転したターゲットマークの画像
及びそのＸ軸投影ヒストグラムを示す図である。 図22はロール方向ずれ量の求め方を説明する図であ
る。 図23はウィンドウ設定方法の説明図である。 図24はターゲットマークの他の例を示す図である。 図25はターゲットマークのさらに他の例を示す図であ
る。 図26は図25のターゲットマークの使用例を示す図であ
る。 図27は位置ずれ検出および物体の把持を行うためのフ
ローチャートを示す図である。 図28はビデオカメラとターゲットマークとの所定位置
関係を示す図である。 図29はずれ量実測時のビデオカメラの動きを示す図で
ある。 図30はずれ量の実測位置を示す座標図である。 図31はｚ−Ez関係を示すグラフである。 図32はEx−Dx関係を示すグラフである。 図33はｚ−Ax関係を示すグラムである。 図34は画像上のずれ量Ｅ＊を実ずれ量Ｄ＊に高速に変
換する手順を示すフローチャートである。 図35は実ずれ量の各成分を示す座標図である。 図36はｚ−Ez関係を示すグラフである。 図37はEy−Dy関係を示すグラフである。 図38はｚ−Ay関係を示すグラフである。 図39は第１の制御実施例を示すフローチャートであ
る。 図40は座標変換を説明する座標図である。 図41は第２の制御実施例を示すフローチャートであ
る。 図42は座標変換を説明する座標図である。 図43はターゲットマークの画像において３角形が円の
中心から大きくずれた場合を示す投影ヒストグラムであ
る。 図44はターゲットマークの画像における円の中心の求
め方を説明する投影ヒストグラムである。 図45は３角形と円とから成るターゲットマークの画像
の実測投影ヒストグラムから３角形のみの画像の投影ヒ
ストグラムを求める方法を説明する図である。 図46はターゲットマークの３角形の基準形状と位置を
示す図である。 図47はターゲットマークの３角形の重心位置とヒスト
グラム値の最大値およびその位置とを示す図である。 図48は３角形のロール角を漸増させたときに分けられ
る姿勢パターンの前半を示す図である。 図49は３角形のロール角を漸増させたときに分けられ
る姿勢パターンの後半を示す図である。 図50は重心位置やヒストグラム値の最大値およびその
位置に応じて分類された姿勢パターンを示す図である。 図51は投影ヒストグラムデータを得るためのハードウ
エアの構成を説明する図である。 図52はウィンドウの移動の仕方を説明する図である。 図53は投影ヒストグラムデータを得るためのハードウ
エアの実施例の具体的構成図である。 図54は図53に示す各ブロックにおける信号波形のタイ
ミングチャートである。 図55は位置、姿勢の計測装置を示すブロック図であ
る。 図56はターゲットマークによる計測の原理を示す図で
ある。 図57はターゲットマークとその画像の関係を示す図で
ある。 図58は円と中心点の画像を示す図である。 図59は消失点を決定する方法を示す図である。 図60はターゲットマークの姿勢を求める方法を示す図
である。 図61はターゲットマークの一例を示す図である。 図62は対象物に設けられるターゲットマークの第１の
例を示す平面図である。 図63は第１の距離姿勢演算の手順を示すフローチャー
トである。 図64はラベリングおよびヒストグラム処理を示す図で
ある。 図65はXY投影ヒストグラム図である。 図66は対象物に設けられるターゲットマークの第２の
例を示す平面図である。 図67は第２の距離姿勢演算の手順を示すフローチャー
トである。 図68はXY投影ヒストグラム図である。 図69は対象物に設けられるターゲットマークの第３の
例を示す平面図である。 図70は第３の距離姿勢演算の手順を示すフローチャー
トである。 図71は対象物に固定された座標系とカメラに固定され
た座標系とを示す図である。 発明を実施するための最良の形態 以下、本発明の実施例を図面に基づいて説明する。 図１は本発明に係るターゲットマーク追跡システムの
全体構成を示す図である。図において、ターゲットマー
ク追跡システムは、対象物体１、ターゲットマーク10、
カメラ20、ロボット30、画像処理装置40、位置ずれ演算
装置50及びロボット制御装置60から構成される。 ターゲットマーク10は、後述するように、黒円の中央
部に白三角形を立体的にシフトさせて構成したものであ
り、対象物体１に設けられる。カメラ20は、６自由度方
向に移動可能なロボット30に搭載され、ターゲットマー
ク10を撮像する。画像処理装置40は、カメラ20によるタ
ーゲットマーク10の画像データを処理し、ターゲットマ
ーク10の各座標軸に対する投影ヒストグラム等を求め
る。位置ずれ演算装置50は、例えばワークステーション
が使用され、画像処理装置40から送られてきた投影ヒス
トグラム等の情報から目的とするターゲットマーク10を
抽出し、その抽出したターゲットマーク10のずれ量を検
出する。その詳細は後述する。ロボット制御装置60は、
そのずれ量に応じてロボット30の移動動作を制御し、カ
メラ20にターゲットマーク10の追跡を行わせる。ロボッ
ト30は、その追跡動作によって対象物体１の把持部1Hを
把持して所定の作業目的を達成する。次に、上記のター
ゲットマーク10の構成を図２から図４を用いて説明す
る。 図２、図３、及び図４はターゲットマークの斜視図、
上面図及び側面図である。図に示すように、ターゲット
マーク10は、黒円11の中央に設けられた支柱13に白三角
形12を載せて構成したものである。白三角形12は、支柱
13の高さ分だけシフトしている。黒円11の背後には、詳
細は後述するように、白領域が設けられる。また、支柱
13は、黒円11と同様に黒色に塗られている。なお、支柱
13は、対象物体１の移動態様によってカメラ20の撮影領
域に入ってこないことが明らかな場合は、必ずしも黒色
である必要はない。このターゲットマーク10は、上述し
たように対象物体１に設けられ、そのターゲットマーク
10をカメラ20が撮像する。ターゲットマーク10の抽出及
びターゲットマーク10のずれ量の検出は、その画像デー
タを基にして行われる。以下に、まず図５〜図13を参照
して画像の中からのターゲットマーク10の抽出方法を、
さらに図14〜図50を参照してターゲットマーク10のずれ
量の検出方法を説明する。 図５はターゲットマークの検出手順を示すフローチャ
ートである。この実施例では、投影画像中から、円の内
部に三角形が配置されたターゲットマーク画像を検出す
るものとする。このターゲットマーク画像のXY投影ヒス
トグラム（ヒストグラム）を求めると、図６に示すよう
に、その極値（極大値または極小値で、以下、「山」ま
たは「谷」とも称する）の数はＸ、Ｙともに山が２つ、
谷が１つであり、この特徴はターゲットマークが回転し
ても数が変化しないことである。なお、Ｘ投影ヒストグ
ラムは同じＸ座標値を持つ画素の合計値、Ｙ投影ヒスト
グラムは同じＹ座標値を持つ画素の合計値である。図５
の中で、Ｓに続く数字はステップ番号を表す。 〔S1〕まず、原画像をカメラ20で撮影してその原画像デ
ータを画像処理装置40の画像メモリに取り込む。 〔S2〕次いで、その画像メモリ内の画像データを２値化
する。この処理の結果、例えば図７に示すような２値化
画像が得られる。 〔S3〕次に、ラベリング処理によって、２値化画像中に
おいて同じ値（０または１）を持ち、連結している画素
の集合からなる各画像に対し、それぞれ異なる番号（ラ
ベル）を付与してグループ化する。図８はこのラベリン
グ処理結果の例を示すものであり、図７の２値化画像は
グループ番号１〜８の８個のグループにそれぞれグルー
プ化される。 このようにして求めた各グループ番号１〜８の各画素
に対してステップS5〜S11のターゲットマークの検出処
理を行う。 〔S4〕まず、グループ番号ｎを、ｎ＝１とする。 〔S5〕グループ番号ｎをグループ数８と比較し、グルー
プ番号ｎがグループ数８より小さいならば、ステップS5
へ進み、グループ数８に達したならば、ステップS12へ
進む。 〔S6〕処理対象の画像データ中からグループ番号ｎの画
像を切り出す。つまり、ラベリング処理によってグルー
プ化された各画像をウィンドウ処理によりグループ毎に
分離してそれぞれの２値画像を作成する。図９は、例え
ば、目的とするターゲットマークであるグループ番号３
の画像に対して、このターゲットマーク検出処理が行わ
れた場合を示す。 〔S7〕このようにして切り出した画像に対して面積によ
るフィルタリングを行う。すなわち、計測範囲において
目的とするターゲットマークの面積（画素数）がとり得
る値の最大値と最小値を予め算出し、その範囲内にグル
ープ番号ｎの画像が入っているか否かでフィルタリング
をする。これにより、切り出した画像がターゲットマー
クであるか否かの大雑把な判定を行うことができる。こ
の面積によるフィルタリングで検出対象から除外されな
かった場合には、ステップS8へ進み、除外された場合に
はステップS11へ進む。 〔S8〕次にそのグループ番号ｎの画像についてXY投影ヒ
ストグラムを求め、その結果をメモリに格納する。図10
には、例えば、グループ番号３の画像に対してこの処理
が行われた結果を示す。 〔S9〕このようにして求めたXY投影ヒストグラムにおい
て山を検出し、その数をカウントする。なお、山の代わ
りに、谷であってもよい。 〔S10〕この山の数が、図６のターゲットマークのXY投
影ヒストグラムにおいて予め求めてある山の数と一致す
るか否かを判定する。図６のターゲットマークにおいて
は、山の数がＸ、Ｙともに２つであるという特徴を有
し、グループ番号３の画像はその条件に一致する。一致
するならばステップS13へ進み、一致しなければステッ
プS11へ進む。なお、山の代わりに谷である場合は、図
６のターゲットマークにおいては、谷の数がＸ、Ｙとも
に１つであるという特徴を有し、グループ番号３の画像
はその条件に一致する。 〔S11〕グループ番号を一つインクリメントする。 〔S12〕グループ番号ｎがグループ数８に達してしまっ
た場合は、ターゲットマークを画像の中から抽出できな
かったとして本プログラムを終了する。 〔S13〕切り出した画像が図６のターゲットマークの画
像であると判定して、その画像のグループ番号ｎ（この
実施例では３）を呈示する。 〔S14〕マーク検出（抽出）に成功したものとして本プ
ログラムを終了する。 なお、上記マーク抽出方法において、検出対象のター
ゲットマークは図６の形態のものに限られるものではな
く、例えば図11または図12に示すようなものであっても
よい。かかる形態のマークの場合、Ｘ投影では山は３
つ、谷は２つ、Ｙ投影では山は２つ、谷は１つとなるこ
とを特徴として、マークの検出ができる。 また本実施例では、上述の図６と図11のような異なる
２種類のマークを用いることによって、それが付けられ
ている物体の位置・姿勢を計測することもできる。すな
わち、図13に示すように、図６のマークを原点M1とし、
図11のマークをサブ原点マークM2とし、それらを結ぶ線
とその中点でほぼ直交する線の右左にそれぞれ円M3、M4
を配し、この４つの円M1〜M4で４円ターゲットマークを
構成する。この４円ターゲットマークの位置・姿勢を計
測することで、その４円ターゲットマークの付された物
体の位置・姿勢を推定するものであるが、その処理方法
は以下のようなものである。 前述のマーク検出方法により原点マークM1を検出
し、そのマークM1の２値化画像からその重心位置座標
（原点）を求める。 同様にしてサブ原点マークM2の重心位置座標（サブ
原点）を求める。 原点の座標とサブ原点の座標との中点の座標を求め
る。 重心位置がこの中点の座標に近い物体を２つ選び、
これをターゲットマークの残りの２つの円M3、M4とす
る。 この段階では２円のいずれがM3であり、いずれがM4
であるかの特定はできない。そのため、原点の座標とサ
ブ原点の座標とからそれらを結ぶ直線の方程式を導き、
で求めた２円の座標を直線の方程式に代入することに
よって、円M3、M4が、この直線の方程式の上側にある
か、あるいは下側にあるかをそれぞれ判別して２つの円
M3、M4を特定する。 以上により、４円ターゲットマークの平面上の４点
の座標が求められるので、これの４点を使って４点透視
問題を解き、その４円ターゲットマークの位置・姿勢を
計測する。 以上のターゲットマークの検出（抽出）にあたっては
種々の変形形態が可能である。特に、検出対象のターゲ
ットマークは実施例のものに限られるものではなく、XY
投影ヒストグラムを求めたときにその極値によって特徴
づけられる種々の形態のマークを本手法によって検出で
きるものである。この極値による特徴抽出は、極大値と
極小値を合わせたもので特徴抽出するものであっても、
また何れか一方により特徴抽出するものであってもよ
い。 以上のように、本ターゲットマークの検出手法によれ
ば、画像中に多くの物体が混在したり、ノイズが多い画
像であったりした場合にも、従来手法によりも確実かつ
高速にターゲットマークを検出することができる。 つぎに、以上のようにして検出されたターゲットマー
ク10におけるずれ量を検出する方法を、図14以降の図を
参照して説明する。 図14はターゲットマークのX,Y方向ずれ量の求め方を
説明する図である。図はターゲットマーク10がカメラ20
の画面中心からずれて写っている場合を示す。カメラ20
が撮像したターゲットマーク10の画像（ターゲットマー
ク画像）10Aは、画像処理装置40の画像メモリ41に取り
込まれ、画像座標系42において認識される。ターゲット
マーク画像10Aは、黒円画像11A及び白三角形画像12Aか
ら成る。ここで、画像メモリ41は、Ｘ方向、Ｙ方向とも
に512ピクセルから構成され、画像メモリ41内の各点の
座標位置はピクセルを単位として表示される。 この画像座標系42において、ターゲットマーク10のＸ
方向及びＹ方向のずれ量は、ターゲットマーク画像10A
の目標位置Po（tx,ty）と、ターゲットマーク画像10Aの
中心位置Pm（mx,my）との差分として、次式（１）で表
される。 Ｘ方向のずれ量lx＝mx−tx Ｙ方向のずれ量ly＝my−ty ……（１） 目標位置Po（tx,ty）を画像メモリ41の中心点Po（25
6,256）とし、ターゲットマーク画像10Aの中心位置Pm
（mx,my）をPm（156,356）とすれば、Ｘ方向のずれ量lx
＝156−256＝−100、Ｙ方向のずれ量ly＝356−256＝100
となる。 実際には、ターゲットマーク10のずれ修正は、カメラ
座標系22で行うので、上記の画像座標系42でのずれ量l
x,lyは、次式（２）によってカメラ座標系22でのずれ量
Lx,Lyに変換される。 Lx＝ly Ly＝−1x ……（２） 上記の例では、Lx＝100,Ly＝−100となる。 次に、ターゲットマーク画像10Aの中心位置Pm（mx,m
y）の求め方について説明する。 図15はターゲットマークの中心位置Pmの求め方につい
ての説明図である。図において、ターゲットマーク10A
の中心位置Pm（mx,my）は、黒円画像11Aの中心点に相当
する。画像処理装置40は、２値化したターゲットマーク
画像10Aの各画素値「０」、「１」を積算してＸ軸方向
の投影ヒストグラム（ヒストグラム）15及びＹ軸方向の
投影ヒストグラム16を作成し、続いて、その投影ヒスト
グラム15及び16から中心位置Pm（mx,my）のＸ座標及び
Ｙ座標を求める。すなわち、中心位置Pm（mx,my）のＸ
座標mxは、Ｘ軸方向の投影ヒストグラム15から得られる
両端位置Xb1及びXb2を用いて、次式（３）から求められ
る。 mx＝（Xb1＋Xb2）/2 ……（３） また、中心位置Pm（mx,my）のＹ座標myは、Ｙ軸方向
の投影ヒストグラム16から得られる両端位置Yb1及びYb2
を用いて次式（４）から求められる。 my＝（Yb1＋Yb2）/2 ……（４） このようにして求められた中心位置Pm（mx,my）と、
予め設定されている目標位置Po（tx,ty）との差分が、
上述したように、ターゲットマーク10のＸ方向及びＹ方
向のずれ量となる。次にターゲットマーク10のＺ方向ず
れ量の求め方について説明する。 図16はターゲットマークのＺ方向ずれ量の求め方を説
明する図である。ターゲットマーク10のＺ方向ずれ量
は、ターゲットマーク画像10Aの面積Maと目標面積（10B
で示す円の面積）Taとの差分から求められる。すなわ
ち、画像処理装置40は、上述したＸ軸方向の投影ヒスト
グラム15またはＹ軸方向の投影ヒストグラム16のいずれ
かを全域にわたって積算することによってターゲットマ
ーク10Aの面積Maを求め、その面積MAと予め設定されて
いる目標面積Taとの差分から、Ｚ方向のずれ量を求め
る。例えば、目標面積Taを10000ピクセル、ターゲット
マーク画像10Aの面積Maを6000ピクセルとすると、Ｚ方
向のずれ量Lzは、Ta−Ma＝4000ピクセル（10000−600
0）に応じた値をとる。このずれ量Lzは、上記のずれ量L
x,Lyと同様に、カメラ座標系22でのずれ量である。 次にカメラ座標系22の姿勢ずれ量の求め方について説
明する。 図17はターゲットマークを斜めから見た場合の説明図
であり、（Ａ）はカメラの姿勢を、（Ｂ）はターゲット
マーク画像をそれぞれ示す。カメラ20がターゲットマー
ク10を斜めから撮像する場合、カメラ座標系22はヨー方
向、ピッチ方向、ロール方向にずれている。なお、ヨー
方向、ピッチ方向及びロール方向のずれとは、カメラ座
標系22（図16参照）でのＸ軸回り、Ｙ軸回り及びＺ軸回
りの回転をいう。ここで、ヨー方向及びピッチ方向のず
れによって、カメラ20が図17（Ａ）に示す姿勢をとった
とすると、そのときのターゲットマーク画像10Aは、図1
7（Ｂ）に示すように、白三角形画像12Aが黒円画像11A
に対してずれているように見える。このように、白三角
形画像12Aがずれて見えるのは、白三角形12が黒円11か
ら支柱13の分だけシフトしているからである。この白三
角形画像12Aのずれを検出することによって、ヨー方向
及びピッチ方向のずれ量が基まる。その求め方について
以下に説明する。 図18は図17（Ｂ）のターゲットマーク画像のX,Y投影
ヒストグラムを示す図である。図に示すように、Ｘ軸投
影ヒストグラム17及びＹ軸投影ヒストグラム18では、黒
円画像11Aに対する白三角形画像12Aのずれに対応して、
その山（ピーク）の位置及び谷（ローピーク）の位置が
ずれて現れる。このＸ軸投影ヒストグラム17及びＹ軸投
影ヒストグラム18からヨー方向及びピッチ方向のずれが
求まる。 図19はヨー方向ずれ量の求め方を説明する図である。
図に示したＸ軸投影ヒストグラム17から、先ず、Xb1、X
b2、Xp1、Xp2を求める。Xb1及びXb2はＸ軸投影ヒストグ
ラム17の両端座標値である。このXb1とXb2の間に黒円画
像11Aが位置している。Xp1及びXp2はＸ軸投影ヒストグ
ラム17の山の座標値である。このXp1とXp2との間に白三
角形画像12Aが位置している。ヨー方向ずれ量Lyawを求
めるには、この白三角形画像12aの部分（Xp1〜Xp2）が
黒三角形11A（Xb1〜Xb2）のどの部分に位置するかを求
めればよい。すなわち、黒円画像11A（ターゲットマー
ク画像10A）全体の中心位置Xbcと白三角形画像12Aの中
心位置Xpcとの差を求めればよく、次式（５）、（６）
及び（７）を用いて求めることができる。 Xpc ＝（Xp1＋Xp2）/2 ……（５） Xbc ＝（Xb1＋Xb2）/2 ……（６） Lyaw＝Xbc−Xpc ……（７） ここで、Xpc :白三角形画像12AのＸ軸方向中心位置 Xbc :X軸投影ヒストグラム17の中心位置（黒
円画像11AのＸ軸方向中心位置） Lyaw:ヨー方向ずれ量 図20はピッチ方向ずれ量の求め方を説明する図であ
る。ピッチ方向ずれ量Lpitchは、ヨー方向ずれ量Lyawを
求める場合と全く同様にして求めることができる。すな
わち、先ず、Ｙ軸投影ヒストグラム18からYb1及びYb2
（Ｙ軸投影ヒストグラム18の両端座標値）、並びにYp1
及びYp2（Ｙ軸投影ヒストグラム18の山の座標値）を求
め、これらの値を用いて、次式（８）、（９）及び（1
0）から求めることができる。 Ypc＝（Yp1＋Yp2）/2 ……（８） Ybc＝（Yb1＋Yb2）/2 ……（９） Lpitch＝Ybc−Ypc ……（10） ここで、Ypc:白三角形画像12AのＹ軸方向中心位置 Ybc:Y軸投影ヒストグラム18の中心位置（黒
円画像11AのＹ軸方向中心位置） Lpitch:ピッチ方向ずれ量 次にカメラ座標系22がロール方向に回転した場合のロ
ール方向ずれ量の求め方について説明する。 図21はロール方向に回転したターゲットマークの画像
及びそのＸ軸投影ヒストグラムを示す図である。カメラ
座標系22がロール方向に回転すると、ターゲットマーク
画像10A内の白三角形画像12Aにおいて、図に示すよう
に、その一頂点12Cが回転し、その一頂点12Cの位置に応
じて、Ｘ軸投影ヒストグラム19の谷の位置も変化する。
この点に着目して、ロール方向のずれを図22に示すよう
に、Ｘ軸投影ヒストグラム19から求める。 図22はロール方向ずれ量の求め方を説明する図であ
る。ロール方向ずれ量Lrollを求めるには、先ず、Ｘ軸
投影ヒストグラム19から、Xp1、Xp2及びXlpを求める。X
p1及びXp2はＸ軸投影ヒストグラム19の山の座標値（白
三角形画像12AのＸ軸方向両端の座標値）である。Xlpは
Ｘ軸投影ヒストグラム19の谷の座標値（白三角形画像12
Aの一頂点12CのＸ軸方向座標値）である。ロール方向ず
れ量Lrollは、これらの値を用いて、次式（11）及び（1
2）から求めることができる。 Xpc ＝（Xp1＋Xp2）/2 ……（11） Lroll＝Xpc−Xlp ……（12） ここで、Xpc :白三角形画像12AのＸ軸方向中心位置 Lroll:ロール方向ずれ量 前述した位置ずれ演算装置50では、このようにして求
めたずれ量Lx、Ly、Lz、Lyaw、Lpitch及びLroll（これ
らを代表してＬとする）に、次式（13）に示すように、
比例ゲインｋ（kx、ky、kz、ｋyaw、ｋpitch及びｋrol
l）を掛け、ロボット30に対する速度指令値Ｖ（Vx、V
y、Vz、Vyaw、Vpitch及びVroll）を作成する。 Ｖ＝ｋ・Ｌ ……（13） ここで、Ｖ、ｋ、Ｌはともにベクトルである。 この速度指令値Ｖは位置ずれ演算装置50からロボット
制御装置60に送られる。速度指令値Ｖは、カメラ20の移
動速度（カメラ座標系22の原点の移動速度）、すなわち
カメラ20を搭載しているロボット60の手先の移動速度を
示している。このため、ロボット制御装置60は、その速
度指令値Ｖから、ロボット制御装置60のサンプリング時
間毎の移動量を計算し、その移動量を指令してロボット
30の動作を制御する。ロボット制御装置60のサンプリン
グ時間が、速度指令値Ｖが位置ずれ演算装置50からフィ
ードバックされてくる時間（計測時間）より短いとき
は、その速度指令値Ｖを数サンプリング先の指令値とし
てその間を補間する。例えば、計測時間がサンプリング
時間の５倍ならば５サンプリングの動作でその指令位置
に移動するように、ロボット30の動作を制御する。 次に、ターゲットマーク画像10Aの画像処理時に行わ
れるウィンドウ設定方法について説明する。 図23はウィンドウ設定方法の説明図である。図では、
カメラ20とターゲットマーク10とが垂直でないため、タ
ーゲットマーク画像10Aが偏平に見える場合を示す。タ
ーゲットマーク画像10Aは、画像処理装置40の画像メモ
リ41に取り込まれてマーク認識が行われ、認識されたタ
ーゲットマーク画像10Aの回りにウィンドウ44が設定さ
れる。 すなわち、マーク認識時に投影ヒストグラム処理によ
って得られたターゲットマーク10Aの重心位置をウィン
ドウ44の中心とする。また、ウィンドウ44のサイズWlx
及びWlyは、同様にマーク認識時に投影ヒストグラム処
理によって得られたターゲットマーク10aの縦、横のサ
イズmlx及びmlyに、予め設定した比率、例えば２倍を掛
けて得る。この場合、ウィンドウ44の領域を画像メモリ
41上に確実に確保するため、予め対象物体１上でターゲ
ットマーク10の黒円11の周囲に、ターゲットマーク10の
縦、横サイズに対して設定比率を掛けた分より少し大き
くなるように白領域を設けておく。こうすることによ
り、画像メモリ41に常時、白領域43を確保することがで
きる。このため、ターゲットマーク10とカメラ20との距
離が変化して画像メモリ41に取り込まれたターゲットマ
ーク画像10Aの大きさが変化しても、ターゲットマーク
画像10Aは白領域43からはみだすことなく、ターゲット
マーク画像10Aの回りにウィンドウ44を設定することが
できる。 このように、ターゲットマーク画像10Aの回りに白領
域43を確保し、その白領域43にウィンドウ44を設定する
ことにより、ノイズなどのターゲットマーク画像10A以
外の黒領域を除去することができる。 このウィンドウ設定は、ターゲットマーク10Aの追跡
スタート時には、上述したようにマーク認識時に得られ
た投影ヒストグラム情報を用いて行われるが、その後の
追跡時には、カメラ20による計測時毎に得られる新たな
投影ヒストグラム情報を用いて行われる。 図24はターゲットマークの他の例を示す図であり、
（Ａ）は斜視図、（Ｂ）は側面図である。この例でのタ
ーゲットマーク100は、黒円110の中央に設けられた三角
柱130の上面に白三角形120を描いて構成したものであ
る。三角柱130は、白三角形120の部分以外では黒円110
と同様に黒色に塗られている。 図25はターゲットマークのさらに他の例を示す図であ
る。この例でのターゲットマーク101は、黒円領域を削
って低くし、その低くして形成した黒円領域111の底に
白三角形121を置いたものである。すなわち、白三角形1
21を負の方向にシフトして構成したものである。この例
では、黒円領域111の凹形状を角状にしたが、他の形
状、例えば、お碗型形状とすることもできる。 図26は図25のターゲットマークの使用例を示す図であ
る。上記のターゲットマーク101は、ドッキングなどの
ように、二つの物体が密着するようなときに用いること
ができる。例えば、図に示すように、一方の物体1Aにタ
ーゲットマーク101を設け、他方の物体1Bにカメラ20を
設け、カメラ20でターゲットマーク101を撮像しつつ、
物体1A及び1Bをドッキングさせる。この場合、ターゲッ
トマーク101を撮像するカメラ20がターゲットマーク101
へ接近し、両物体1A及び1Bが接触しても、カメラ20はタ
ーゲットマーク101を撮影を継続することができる。し
たがって、その画像データを用いてドッキングを完了さ
せることができる。 図27はターゲットマークの追跡と物体の把持とを実行
するためのフローチャートを示す図である。図におい
て、Ｓに続く数値はステップ番号を示す。このフローチ
ャートの各ステップの内、ステップS21〜ステップS25は
画像処理装置30側において、ステップS26〜ステップS32
は位置ずれ演算装置50側においてそれぞれ実行される。 〔S21〕カメラ20からの撮像データに基づいてマーク認
識を行う。 〔S22〕ウィンドウ４の設定を行う。 〔S23〕原画を取り込む。 〔S24〕２値化を行う。 〔S25〕Ｘ軸方向及びＹ軸方向の投影ヒストグラム15及
び16を求める。 〔S26〕ターゲットマーク10の確認を行う。 〔S27〕ターゲットマーク10が存在するか否かを判別す
る。存在する場合は次のステップS28に進み、そうでな
ければステップS21に戻る。以上のステップS21〜S27
は、図５に示すマーク検出手順に相当する。 〔S28〕ターゲットマーク10のずれ量Lx、Ly、Lz、Lya
w、Lpitch及びLrollを求める。 〔S29〕速度指令値（制御指令値）Ｖを作成する。 〔S30〕速度指令値Ｖを出力する。 〔S31〕次回の計測のためのウィンドウ44の位置、サイ
ズを決定する。 〔S32〕ロボット30からのセンサ信号によって対象物体
１を把持したか否かを判別する。把持したと判別した場
合はそのまま終了し、そうでなければステップS22に戻
る。 以上述べたように、本実施例では、黒円11の中央に白
三角形12を立体的にシフトさせて構成したターゲットマ
ーク10をカメラ20を用いて撮像し、その画像データから
ターゲットマーク10のずれ量Lx、Ly、Lz、Lyaw、Lpitch
及びLrollを求める。これらのずれ量Lx等は、画像デー
タの各軸投影ヒストグラム処理から求められるが、この
各軸投影ヒストグラム処理は、一次元領域での計算であ
る。このため、その計算は、複雑な計算を必要とせず非
常に簡単に行うことができ、計算量も僅かである。した
がって、ターゲットマーク10のずれ量Lx等は、高速処理
で求められる。その結果、ずれ量Lx等に応じたロボット
30へのリアルタイムなフィードバックが可能となり、カ
メラ20によるターゲットマークの追跡がリアルタイムで
可能となる。ロボット30は、その追跡動作によって対象
物体１を把持し所定の作業目的を達成することができ
る。 上記の説明では、ターゲットマークを黒円と白三角形
で構成したが、その色を逆に組み合わせて白円と黒三角
形で構成することもできる。 ところで、上記の実施例の装置では、ターゲットマー
クの実移動量（mmなどの絶対的なスケール）と、画像上
でのその画像移動量（ピクセル数）との関係が、ターゲ
ットマークとビデオカメラとの間の距離により非線型に
変化するために、ターゲットマークとビデオカメラとの
間の距離が大きく変化する場合には、応答性能が劣化
し、安定に動作させることが困難になる。 すなわち、画像上でのターゲットマークの同一の画像
移動量に対し、ターゲットマークの実移動量は、ターゲ
ットマークとビデオカメラとの間の距離が異なることに
よって異なってしまう。 こうした問題点を解決して、ターゲットマークとビデ
オカメラとの間の距離が大きく変化した場合において
も、応答性能が劣化せず、安定に移動物体の追跡を行え
るようにした他の実施例を、つぎに説明する。 図28は、ビデオカメラ20とターゲットマーク10との所
定の位置関係を示し、（Ａ）は、ビデオカメラ20とター
ゲットマーク10とが所定の位置関係にあるときの座標位
置関係を示す図であり、（Ｂ）は、そのときにビデオカ
メラ20で撮影されたターゲットマーク10の画像を示す図
である。図中、ｏ−xyzはビデオカメラ20に固定された
右手系の座標系を示し、Ｏ−XYZはターゲットマーク10
に固定された右手系の座標系を示す。ｚ軸とＺ軸とが同
一直線上に相反する方向を向いて設定され、ｘ軸とＹ軸
とが平行、ｙ軸とＸ軸とが平行になるように設定され
る。ビデオカメラ20とターゲットマーク10とが所定の位
置関係にあるときには、ビデオカメラ20で撮影されたタ
ーゲットマーク10の画像は、図28（Ｂ）に示すような画
像となり、これが目標位置にあるときのターゲットマー
ク10の画像である。 ところで、ビデオカメラ20とターゲットマーク10との
所定の位置関係（図28に示す状態）がずれた場合、図１
の画像処理装置40および位置ずれ演算装置50は、ビデオ
カメラ20により得られるターゲットマーク10の画像をタ
ーゲットマーク10が目標位置にあったときの画像と比較
することにより、各軸方向のずれ量を次のように求め
る。 ・ X,Y方向については、画面内でのターゲットマーク1
0の白三角板12の中心位置のずれ量として、 ・ Ｚ方向については、画面内でのターゲットマーク10
の黒円板11の面積のずれ量として、 ・ ピッチ，ヨー方向については、画面内でのターゲッ
トマーク10の黒円板11の中心位置と、白三角板11の中心
位置との距離のずれ量として、 ・ ロール方向については、画面内でのターゲットマー
ク10の白三角板12の回転（自転）ずれ量として、 それぞれ求める。 こうしたずれ量が、ビデオカメラ20とターゲットマー
ク10との距離に依存して、実座標系でのずれ量に対し、
非線型に変化するため、図１のロボット制御装置60で
は、まず、両者のずれ量の間の関連性を実測によって求
めて同定（関連付け）を行う。 すなわち、図29に示すように、ターゲットマーク10を
固定し、ロボット30の６自由度マニピュレータ30aの先
端を、ターゲットマーク10に固定された座標系（Ｏ−XY
Z）において実験的に所定量動かし、そのときにビデオ
カメラ20で得られたターゲットマーク10の画像を画像処
理することにより、ターゲットマーク10の目標位置から
の画面上でのずれ量を測定し、記録する。なお、ビデオ
カメラ20を固定し、ターゲットマーク10を６自由度移動
可能なステージに載せ、動かすことにより実測してもよ
い。図29中の30bは対象物体を把持するハンドである。 さらに詳しく言えば、ターゲットマーク10の画面上で
のずれ量、および実座標系でのずれ量の実測は、カメラ
座標系（ｏ−xyz）をターゲット座標系（Ｏ−XYZ）上
で、x,y,z方向、ロール、ピッチ、ヨー方向（Ｚ軸、Ｙ
軸、Ｘ軸回りの回転）にそれぞれ移動・回転させ、その
ときの所定位置からの実移動・回転量と、ターゲットマ
ーク10の画像のずれ量（単位はピクセル）を測定するこ
とで行う。 具体的には、図30に示すように、まず、ビデオカメラ
20をｚ軸方向の各点に移動し、ｚ軸の値（ビデオカメラ
10とターゲットマーク10との距離）と、そのときのター
ゲットマーク10の画面上での面積Ez（ピクセル値）とを
計測する。つぎに、ビデオカメラ20をy,x軸正負方向に
数点移動させ、そのときの実移動量Dx,Dyと、ターゲッ
トマーク10の画面上でのずれ量Ex,Ey（ピクセル値）と
を計測する。また、ビデオカメラ20をターゲット座標系
（Ｏ−XYZ）のX,Y,Z軸回りに数点回転させ、そのときの
実移動量Dyaw,Dpitch,Drollと、ターゲットマーク10の
画面上でのずれ量Eyaw,Epitch,Eroll（ピクセル量）と
を計測する。以上の計測をｚ軸方向の各点において行
う。 なお、追跡フィードバック制御を行なっている最中に
は、ビデオカメラ20とターゲットマーク10との所定関係
位置からのずれが比較的小さいことから、ビデオカメラ
20を各軸方向にずらせる範囲は、所定関係位置近傍だけ
で十分である。 以上の測定を行うことで、 ・ ビデオカメラ20とターゲットマーク10との距離ｚ
と、画面上でのターゲットマーク10の面積Ezとのｚ−Ez
関係 ・ ビデオカメラ20とターゲットマーク10との距離ｚが
一定である場合の各軸方向（x,y,ロール，ピッチ，ヨ
ー）の実ずれ量Ｄ＊と、画面上でのずれ量Ｅ＊とのＤ＊
−Ｅ＊関係（＊は添字であり、ここでは＊＝x,y,roll,p
itch,yaw） ・ ビデオカメラ20とターゲットマーク10との距離ｚ
と、上記Ｄ＊−Ｅ＊関係とのｚ−（Ｄ＊−Ｅ＊）関係 に関するデータを得ることができる。 つぎに、図１のロボット制御装置60では、ｚ−Ez関係
に関するデータをｚ−Ez平面にプロットして、図31に示
す曲線を得る。そして、この曲線を、近似的に４次関数
ｚ＝ｆ（Ez）として数式化する。したがって、この関数
ｚ＝ｆ（Ez）を用いれば、画面上でのターゲットマーク
10の面積Ezから、ビデオカメラ20とターゲットマーク10
との距離ｚを簡単に算出することができる。なお、ビデ
オカメラ20とターゲットマーク10に正対しない場合に生
じるターゲットマーク10の黒円板11の画面上での楕円化
は、面積Ezに殆ど影響はない。 また、上記Ｄ＊−Ｅ＊関係に関するデータから、各軸
方向（x,y,ロール，ピッチ，ヨー）の実ずれ量Ｄ＊と、
画面上でのずれ量Ｅ＊との関係は、例えば図32のように
プロットされる。図32はｘ軸方向のEx−Dx関係を、上記
ｚ−（Ｄ＊−Ｅ＊）関係に関するデータをも使って各距
離ｚ毎にプロットしたものである。この図から分かるよ
うに、ビデオカメラ20とターゲットマーク10との所定関
係位置からのずれが比較的小さく、かつ、ビデオカメラ
20とターゲットマーク10との距離ｚが一定である場合、
Ex−Dx関係は、原点を通る直線で近似することができ
る。これは他の各軸方向についても同様である。 ところで、上記直線において、その傾きは、距離ｚの
値の関数になっているとみることができる。そこで、例
えば図32を基に、直線の傾きAxを距離ｚに対しプロット
すると、図33の曲線が得られる。図33はｘ軸方向のｚ−
Ax関係を示している。ここで、図33の曲線を、近似的に
２次関数Ax＝gx（ｚ）として数式化する。同様に、他の
各軸方向についても、Ａ＊＝ｇ＊（ｚ）（＊＝y,roll,p
itch,yaw）として数式化することができる。 したがって、以上の同定の結果から、画像上での目標
位置からのターゲット10のずれ量Ｅ＊（単位はピクセ
ル）を実ずれ量Ｄ＊に高速に変換することができるよう
になる。 図34は、画像上のずれ量Ｅ＊を実ずれ量Ｄ＊に高速に
変換する手順を示すフローチャートである。図中、Ｓに
続く数字はステップ番号を表す。 〔S41〕図１の画像処理装置40および位置ずれ演算装置5
0から出力される、画像上でのターゲットマーク10の黒
円板11の面積Ezを、予め同定の結果求められた関数ｚ＝
ｆ（Ez）に代入し、ビデオカメラ20とターゲットマーク
10との距離ｚを求める。 〔S42〕ステップS41で求めた距離ｚから、ビデオカメラ
20とターゲットマーク10とが所定関係位置にあるときの
両者の距離Ztを減算することで、ｚ方向の実ずれ量Dzを
求める。 〔S43〕ステップS41で求めた距離ｚを、予め同定の結果
求められた関数Ａ＊＝ｇ＊（ｚ）（＊＝x,y,roll,pitc
h,yaw）に代入し、各軸方向の傾きＡ＊を算出する。 〔S44〕ステップS43で算出された各軸方向の傾きＡ＊
と、図１の画像処理装置40および位置ずれ演算装置50か
ら出力される、画像上での各軸方向の目標位置・姿勢か
らのずれ量Ｅ＊とを、Ｄ＊＝Ｅ＊/A＊（＊＝x,y,roll,p
itch,yaw）に代入して、各軸方向の実ずれ量Ｄ＊を求め
る。 以上の処理で求められた実ずれ量Ｄ＊は、実座標での
絶対的スケール（位置ならばmm、姿勢ならばラジアン
等）で表され、図35に示すように、並進成分Dx,Dy,Dz
は、カメラ座標系ｏ−xyzでのｙ軸、ｘ軸、ｚ軸方向の
各ずれ量であり、回転成分Droll,Dpitch,Dyawは、ター
ゲット座標系Ｏ−XYZで記述されたずれ量である。 図31〜33で示した各関係図に対応する具体的なデータ
を図36〜38において示す。図36はｚ−Ez関係を示す具体
的な数値のグラフである。図37はｙ軸方向のEy−Dy関係
を各距離ｚ毎にプロットしたものである。図38はｙ軸方
向のｚ−Ay関係を示すグラフである。 つぎに、以上のようにして変換された実ずれ量Ｄ＊
（＊＝x,y,roll,pitch,yaw）を用いて、図１のロボット
制御装置60が、ロボット30のマニピュレータ30aへ送る
速度指令値を作成し、それによってターゲットマークの
実時間追跡制御を行うが、その制御手順の２つの実施例
を、図39および図41に示すフローチャートに従って、以
下に説明する。 図39はその第１の制御実施例を示すフローチャートで
ある。第１の制御実施例は、ビデオカメラ20をターゲッ
ト座標系Ｏ−XYZの原点Ｏを中心として回転すること
で、位置修正を行うものであり、この第１の制御実施例
は、姿勢に関するずれ量が比較的小さい場合に有効な方
法であり、厳密さを欠くが処理時間が短いという特徴が
ある。図中、Ｓに続く数字はステップ番号を表す。 〔S51〕ビデオカメラ20からターゲットマーク10の画像
を入力する。 〔S52〕画像処理装置40および位置ずれ演算装置50で、
画面上でのずれ量Ｅ＊（＊＝x,y,z,roll,pitch,yaw）を
検出する。 〔S53〕ロボット制御装置60で、ずれ量Ｅ＊を実ずれ量
Ｄ＊（＊＝x,y,z,roll,pitch,yaw）に変換する。 〔S54〕さらにロボット制御装置60で、ステップS53で変
換された実ずれ量Ｄ＊に、比例ゲインＫ＊（＊＝x,y,z,
roll,pitch,yaw）を次式（14）のように乗じて、速度指
令値Ｖ＊（＊＝x,y,z,roll,pitch,yaw）を算出する。 この速度指令値Ｖ＊は、図40に示すように、回転成分
に対し、カメラ座標系ｏ−xyzをビデオカメラ20とター
ゲットマーク10との距離Ztだけｚ軸方向にずらした新座
標系oR−xRyRzRでの速度指令値となるように変換され
る。これにより、ビデオカメラ20の姿勢のずれ（ピッ
チ、ヨー方向）を近似的にターゲット座標系Ｏ−XYZの
原点Ｏを中心として回転することになる。 〔S55〕ステップS54で算出された速度指令値Ｖ＊をマニ
ピュレータ30aへ出力する。 〔S56〕ステップS55での速度指令値Ｖ＊の出力の結果、
ビデオカメラ20とターゲットマーク10とが所定位置関係
になり、その結果、ハンド30bが対象物体１を把持でき
たか否かを判別し、把持できないならば、ステップS51
へ戻る。 図41は第２の制御実施例を示すフローチャートであ
る。第２の制御実施例は、ターゲット座標系Ｏ−XYZで
の実ずれ量Ｄ＊をカメラ座標系ｏ−xyzでの実ずれ量に
変換し、これによりビデオカメラ20を位置制御するもの
である。この第２の制御実施例は、処理時間が若干かか
るが、厳密な制御方法であり、姿勢に関するずれ量の大
きさに拘らず有効な方法である。図中、Ｓに続く数字は
ステップ番号を表す。 〔S61〕ビデオカメラ20からターゲットマーク10の画像
を入力する。 〔S62〕画像処理装置40および位置ずれ演算装置50で、
画面上でのずれ量Ｅ＊（＊＝x,y,z,roll,pitch,yaw）を
検出する。 〔S63〕ロボット制御装置60で、すれ量Ｅ＊を実ずれ量
Ｄ＊（＊＝x,y,z,roll,pitch,yaw）に変換する。 〔S64〕さらにロボット制御装置60で、ステップS63で変
換された実ずれ量Ｄ＊を、カメラ座標系ｏ−xyzでのず
れ量に変換する。この変換の仕方を以下に説明する。 すなわち、ターゲット座標系Ｏ−XYZからみたビデオ
カメラ20の所定（目標）姿勢を表す回転行列をCd、ビデ
オカメラ20の現在の姿勢を表す回転行列をCa、ターゲッ
ト座標系Ｏ−XYZでのビデオカメラ20の姿勢のずれ量Dro
ll,Dpitch,Dyawの回転変換を表す行列をDtとすると、次
式（15）が成り立つ。 Ca＝DtCd ……（15） これより、次式（16）が求まる。 Cd＝Ca（Cd-1Dt-1Cd） ……（16） ここで、Da＝Cd-1Dt-1Cdとすると、Daは、図42に示す
ように、現在のカメラ座標系oa−xayazaからみたビデオ
カメラ20の姿勢のずれ量の、所定位置のカメラ座標系od
−xdydzdへの回転変換を表す行列である。したがって、
Daを算出してカメラ座標系ｏ−xyzでの実ずれ量を求め
る。 〔S65〕ステップS64で求めたカメラ座標系ｏ−xyzでの
実ずれ量に定数ゲインをかけてビデオカメラ20の速度指
令値を算出する。 〔S66〕ステップS65で算出された速度指令値をマニピュ
レータ30aへ出力する。 〔S67〕ステップS66での速度指令値の出力の結果、ビデ
オカメラ20とターゲットマーク10とが所定位置関係にな
り、その結果、ハンド30bが対象物体１を把持できたか
否かを判別し、把持できないならば、ステップS61へ戻
る。 以上の第２の制御実施例では、若干計算量は増える
が、より応答性能のよい追跡制御が実現できる。 以上説明した実施例ではいずれも、ｚ−Ez関係および
ｚ−Ａ＊関係を、それぞれ４次曲線および２次曲線で近
似的に表せると見做し、適当な近似関数ｚ＝ｆ（Ez）,A
＊＝ｇ＊（ｚ）を設定して、それらの関数を使用して画
面上のずれ量を実ずれ量に変換することが行われている
が、他の方法として、ｚ−Ez関係およびｚ−Ａ＊関係
を、それぞれ直線で近似的に表せると見做し、適当な近
似直線関数を設定するようにしてもよい。その場合に
は、変換誤差が大きくなるか、より高速に変換が行われ
得る。また、ｚ−Ez関係およびｚ−Ａ＊関係を関数に置
き換えず、各テーブルとして保持し、これらテーブルに
よって変換を行えば、各テーブルのための記憶容量が多
少増えるが、より高速に変換が行われ得る。 以上の図28〜42によって示したように、ビデオカメラ
とターゲットマークとの所定関係位置を実験的にずら
し、そのときに得られる、画像上でのターゲットマーク
の目標位置からのずれ量と、ビデオカメラとターゲット
マークとの所定関係位置からの実ずれ量とから、相互の
関連づけである同定を行い、結果的に、画像上でのター
ゲットマークの目標位置からのずれ量を基に、ビデオカ
メラとターゲットマークとの所定関係位置からの実ずれ
量を求める。 このように、同定をすることによに、画像上でのター
ゲットマークの目標位置からのずれ量を、ビデオカメラ
とターゲットマークとの所定関係位置からの実ずれ量に
高速に変換でき、ターゲットマークとビデオカメラとの
間の距離が大きく変化した場合においても、応答性能が
劣化しない、安定な移動物体の追跡を行える。 さらに、上記求められた実ずれ量に、比例ゲインをか
け、さらに回転成分に対し、ビデオカメラとターゲット
マークとの距離だけずらせた座標系での速度指令値を算
出し、ビデオカメラの位置制御の速度指令値とし、これ
によってビデオカメラの位置を制御する。これにより、
ビデオカメラとターゲットマークとの所定関係位置から
のずれ量が比較的小さい場合に、高速なフィードバック
ができ、応答性能のよい追跡制御が実現できる。 あるいは、上記求められた実ずれ量からビデオカメラ
に固定された座標系におけるビデオカメラの姿勢のすれ
量を求め、定数ゲインをかけてビデオカメラの位置制御
の速度指令値とし、これによってビデオカメラの位置を
制御する。これにより、ビデオカメラとターゲットマー
クとの所定関係位置からのずれ量に拘らず追跡制御が正
確に行われ、処理計算量が若干増えるが、より応答性能
のよい追跡制御が実現できる。 以上の実施例では、ターゲットマークのロール方向ず
れ量Lroll〔数式（12）、図22参照〕が僅かであること
を前提に考えてきたが、このロール方向ずれ量Lroll
が、ターゲットマークの３角形の形状にもよるが、±90
度を越えるとどんな形状の３角形でも、このロール方向
ずれ量lrollを検出できなくなるという問題が発生す
る。３角形の形状が鋭角２等辺３角形である場合には、
もっと僅かな回転でも検出不可能になる。 また、上記実施例では、ロール方向のずれ補正を、ロ
ール方向ずれ量Lrollの検出を繰り返し行うことにより
処理するため、補正時間を多く要すという問題や、ロー
ル方向のずれ補正ゲインが対象物体の姿勢により非線型
であるため、キャリブレーションにより補正データを作
成しないと安定収束する補償がないという問題がある。 さらに、図43に示すように、ターゲットマーク画像に
おいて、３角形の中心と背後の円の中心とのX,Y方向の
位置ずれが大きい場合、３角形の頂点位置で投影ヒスト
グラムが最大値になるとは限らないことが生じる。した
がって、上記実施例のように、例えばＸ方向の投影ヒス
トグラムにおける２つのピーク点Xp1,Xp2の中点を３角
形の中心とするような処理をすると、位置ずれを過少検
出してしまうため、ずれ補正に時間がかかることになる
という問題がある。また、上記２つのピーク点XP1,Xp2
の検出を行う際に、ノイズ等の影響によりローカルピー
クを本来のピークと見做してしまうという危険性もあ
る。 こうした問題点を解決した、ターゲットマークの検出
方法の他の実施例を次に説明する。 まず、３角形と背後の円とから成るターゲットマーク
の画像のX,Y方向の実測投影ヒストグラムにおいて、図4
4に示すように、ヒストグラム値がそれぞれ所定値δx,
δｙである２点をそれぞれ求め、これらの２点の中点Xc
g,Ycgをそれぞれ求める。これらXcg,Ycgをターゲットマ
ークの円の画像の中心位置（Xcg,Ycg）とする。上記の
所定値δx,δｙをノイズレベルよりも少し大きい値に設
定することにより、ノイズの影響を受けることなく、タ
ーゲットマークの円の画像の中心位置を検出することが
可能となる。 つぎに、この検出された円の画像の中心位置（Xcg,Yc
g）と、この円の既知の幾何的データ（半径等）とか
ら、この円の画像のX,Y方向の投影ヒストグラムを算出
する。図45（Ｂ）は、こうして算出された円の画像のX,
Y方向の投影ヒストグラムを示し、図45（Ａ）は、３角
形と背後の円とから成るターゲットマークの画像のX,Y
方向の実測投影ヒストグラムを示す。そして、図45
（Ｂ）の円の画像の算出投影ヒストグラムから、図45
（Ａ）の３角形と背後の円とから成るターゲットマーク
の画像の実測投影ヒストグラムを減算することにより、
図45（Ｃ）に示す３角形の画像のX,Y方向の投影ヒスト
グラムを得る。 こうして得られた３角形の画像のX,Y方向の投影ヒス
トグラムを基に、下記のようにして３角形のロール方向
の回転姿勢を検出する。 まず、このターゲットマークの３角形の形状を、鋭角
２等辺３角形とし、その鋭角の頂角が45度よりも小さい
ものと特定する。このターゲットマークの３角形の画像
において、図46に２点鎖線で示すような３角形12aの姿
勢を基準姿勢とし、３角形12aの重心Ｇに対しロール方
向へ回転した３角形12bの反時計方向の回転角をθとす
る。なお、３角形12aの底角Ｅと重心Ｇとを結ぶ線がＸ
軸方向となす角度をθｏとし、また、底角Ｅと重心Ｇと
を結ぶ線が３角形12aの辺に交差する点をＦとすると
き、この線分EFの長さをLp（ピクセル数）とする。 ここで、図47に示すように、３角形の画像のX,Y方向
の投影ヒストグラムを用いて、重心Ｇの座標（Xg,Yg）
と、ヒストグラム値が最大になるX,Y座標値Xm,Ym、およ
びそのときの最大値Hy,Hxとを求める。 一方、これらの値Xg,Yg,Xm,Ym,Hy,Hxの大きさに応じ
て、３角形12bの回転姿勢は次のような姿勢パターンに
分類される。 図48,49は回転角θを漸増させたときの座標値Xm,Ymに
対する重心Ｇの位置関係の推移を示す図であり、24種類
のパターンに分けられる。図中、A,B,a,b,0は座標値Xm,
Ymに対する重量（面積）バランスを示すための符号であ
り、Ａ＞ａ＞０およびＢ＞ｂ＞０という重量（面積）の
大小関係にある。また、矢印は座標値Xm,Ymに対する重
心Ｇ（黒点で表示）の存在する方向を示している。図中
の枠の上にそれぞれ示した〔 〕はパターン番号を表
す。 各姿勢パターンにおける回転角θは次のような式によ
って表される。 〔１〕θ＝０ ……（17） 〔２〕この姿勢パターンは図46に示すものであり、 θ＝θｏ−arcsin〔３（Ym−Yg）/2Lp〕 ……（18） 〔３〕θ＝π/2−θｏ ……（19） 〔４〕θ＝π/2−θｏ＋arcsin〔３（Xg−Xm）/2Lp〕 ……（20） 〔５〕θ＝θｏ ……（21） 〔６〕θ＝π/2−θｏ＋arcsin〔３（Xg−Xm）/2Lp〕 ……（22） 〔７〕θ＝π/2 ……（23） 〔８〕θ＝π/2＋θｏ−arcsin〔３（Xg−Xm）/2Lp〕 ……（24）
識し、追跡するターゲットマークの認識・追跡システム
及び方法に関し、特に、ビデオカメラで撮影された画像
の画像処理によってターゲットマークの位置、姿勢等を
検出し、それに基づき、所定位置からのずれ量を検出
し、そのずれ量に応じて自己の位置、姿勢等を制御する
ターゲットマークの認識・追跡システム及び方法に関す
る。 背景技術 ロボットに移動物体を自律的に把持させたり、宇宙機
などをドッキングさせる場合、その移動物体や宇宙機に
設けられたターゲットマークを、ビデオカメラを用いて
認識し、追跡することが必要となる。 従来から、対象物体の位置及び姿勢を計測する方法と
して、対象物体に設けたターゲットマークをビデオカメ
ラを用いて撮像し、その撮像データを画像処理して対象
物体の位置及び姿勢を求める手法が知られている。この
手法は、上述したように、ロボットハンドが対象物体を
把持する場合などで用いられる。その場合、ビデオカメ
ラはロボットに搭載され、ビデオカメラが検出したター
ゲットマークの位置及び姿勢データに応じてロボットは
ターゲットマークの追跡を行い、対象物体を把持する。 しかし、上記従来の方法では、ターゲットマークの撮
像データを画像処理して対象物体の位置及び姿勢を得る
までに時間がかかるため、ロボットへのリアルタイムな
フィードバックが不可能であり、対象物体の追跡が困難
であった。 また、画像上でパターンマッチングにより目標物を追
跡する方法もあるが、２次元空間での計算になるため、
計算量が多く時間を要する。 さらに、対象物体の追跡に関して、対象物体の運動を
把握して移動位置を予測する方法もあるが、この場合
は、対象物体が規則正しく運動していることが前提とな
るので、通常の対象物体の移動には単純には適用するこ
とができない。 なお、ターゲットマークの認識の前段階として、他の
物体が混在したりノイズが多い画像中から目的のマーク
を抽出することが必要となる。このための従来の手法と
しては、マークの面積による比較を行ったり、パターン
マッチングによる特徴抽出が行われている。 しかし、面積による比較の手法は、目的とするマーク
と同じ程度の面積を持つ抽出画像を目的のマークと判定
するものであるが、同程度の大きさの物体が周囲にある
場合やノイズの多い画像から目的のマークを抽出するこ
とは実質的に不可能であり、よって適用範囲が限定され
るという問題点がある。 また、パターンマッチングによる特徴抽出手法では、
画像メモリ内をサーチするために多くの時間が必要とな
り、処理時間が長くかかるという問題点がある。 またさらに、対象物体の三次元空間内での位置、姿勢
等を計測する場合に、３点乃至４点の位置関係を示す三
角形、又は四角形のターゲットマークが使用されてい
る。ターゲットマークが対象物体の特定平面に貼り付け
られていれば、撮像されたターゲットマークの画像空間
での位置関係から物体の位置と姿勢を計測できる。この
計測に際しては、ターゲットマークの物体空間からカメ
ラの画像平面に結像された像点の座標に対して斜影幾何
学に基づく演算が実行される。物体の位置、或いは姿勢
が変化すればターゲットマークの像点間の関係も変化す
るから、その変化に基づいて対象物体の三次元空間にお
ける位置と姿勢についての演算が可能になる。 しかし、従来のターゲットマークによる計測装置で
は、三角形、又は四角形の画像から抽出された像点の座
標値に基づいて位置と姿勢についての演算が実行される
から、ターゲットマークのカメラに対する姿勢によって
測定精度にばらつきが生じる。すなわち、画像平面内で
の各像点から、方向成分が含まれる画像データを得て、
ターゲットマークが貼着された対象物体の特定平面を記
述する場合には、各像点に対する基準距離が変化して位
置と姿勢についての測定精度に安定性が欠けるという問
題点があった。 また、従来のターゲットマークによる位置の演算で
は、ターゲットマークの平面が画像平面に対してある角
度をなしていることを必要とし、したがって、カメラを
ターゲットマークに正対させた場合に比べて演算パラメ
ータが著しく増加する。このため、位置の測定において
も演算が複雑になって、その分だけ測定の精度が低下す
るという問題点があった。 また、４つの点状のマークを撮影手段で画像化した場
合に、画像上ではその点はある面積を有してしまい、画
像データにおいて点の位置を正確に特定することができ
ず、したがって、サブピクセル単位の画像上の位置決め
ができないという問題点があった。すなわち、そうした
画像データにおける不正確な点の位置を基に、対象物ま
での距離やその姿勢を算出することになり、対象物まで
の距離やその姿勢を、精度よく計測することができなか
った。 発明の開示 本発明はこのような点に鑑みてなされたものであり、
本発明の第１の目的は、ビデオカメラを用いて対象物体
のターゲットマークをリアルタイムで追跡することがで
きるターゲットマークの認識・追跡システム及び方法を
提供することである。 本発明の第２の目的は、高速、かつ確実に目的のター
ゲットマークを抽出できるようにしたターゲットマーク
の認識・追跡システム及び方法を提供することである。 本発明の第３の目的は、ターゲットマークとカメラと
の位置関係による測定誤差のばらつきをなくしたターゲ
ットマークの認識・追跡システム及び方法を提供するこ
とである。 本発明の第４の目的は、対象物までの距離やその姿勢
を、精度よく、かつ簡単に計測するようにしたターゲッ
トマークの認識・追跡システム及び方法を提供すること
である。 本発明では上記課題を解決するために、 ビデオカメラを用いてターゲットマークを追跡するタ
ーゲットマーク追跡システムにおいて、対象物体に設け
られ、黒円の中央部に白三角形を立体的にシフトさせて
構成したターゲットマークと、ターゲットマークを撮像
するビデオカメラと、ビデオカメラを搭載し６自由度方
向に移動可能な移動機構と、ビデオカメラによるターゲ
ットマークの画像データを処理する画像処理手段と、画
像処理手段によって得られたターゲットマークの投影ヒ
ストグラム情報からターゲットマークのずれ量を検出す
るずれ量検出手段と、ずれ量に応じて移動機構の移動動
作を制御し、ビデオカメラにターゲットマークの追跡を
行わせる移動機構制御手段と、を有することを特徴とす
るターゲットマーク追跡システムが、提供される。 ターゲットマークは黒円の中央部に白三角形を立体的
にシフトさせて構成したものであり、対象物体に設けら
れる。ビデオカメラは、６自由度方向に移動可能な移動
機構に搭載され、ターゲットマークを撮像する。画像処
理手段は、ビデオカメラによるターゲットマークの画像
データを処理し、ターゲットマークの各座標軸に対する
投影ヒストグラム等を求める。ずれ量検出手段は、その
投影ヒストグラム等の情報からターゲットマークのずれ
量を検出する。移動機構制御手段は、そのずれ量に応じ
て移動機構の移動動作を制御し、ビデオカメラにターゲ
ットマークの追跡を行わせる。 このように、黒円の中央部に白三角形を立体的にシフ
トさせて構成したターゲットマークをビデオカメラを用
いて撮像し、その画像データからターゲットマークの各
座標軸方向のずれ量を求める。このずれ量は、画像デー
タの各軸投影ヒストグラム処理等によって求められる
が、この各軸投影ヒストグラム処理等は一次元領域での
計算である。このため、その計算は複雑な計算を必要と
せず非常に簡単に行うことができ、計算量も僅かであ
る。したがって、ターゲットマークのずれ量は、高速処
理で求められる。その結果、ずれ量に応じた移動機構へ
のリアルタイムなフィードバックが可能となり、ビデオ
カメラによるターゲットマークの追跡がリアルタイムで
可能となる。 また、ターゲットマークをビデオカメラにより撮影
し、その撮影データを処理することで、ビデオカメラを
ターゲットマークに対し常時、所定関係位置に保持する
ようにするターゲットマーク視覚追跡制御方式におい
て、ビデオカメラから出力されたターゲットマークの画
像においてターゲットマークの目標位置・姿勢からの変
化量を検出する画像変化量検出手段と、ビデオカメラと
ターゲットマークとの所定関係位置からの相対的な実変
化量を検出する実変化量検出手段と、ビデオカメラとタ
ーゲットマークとの所定関係位置を実験的にずらし、そ
のときに得られる、画像変化量検出手段の検出値と、実
変化量検出手段の検出値とから、相互の関連づけをする
同定手段と、を有することを特徴とするターゲットマー
ク視覚追跡制御方式が、提供される。 以上の構成により、同定手段は、ビデオカメラとター
ゲットマークとの所定関係位置を実験的にずらし、その
ときに得られる、画像変化量検出手段の検出値、即ち、
画像上のターゲットマークの目標位置・姿勢からの変化
量と、実変化量検出手段の検出値、即ち、ビデオカメラ
とターゲットマークとの所定関係位置からの相対的な実
変化量とから、相互の関連づけをする。 このように、同定をすることにより、ターゲットマー
クの画像変化量を、ビデオカメラとターゲットマークと
の所定関係位置からの相対的な実変化量に高速に変換で
き、ターゲットマークとビデオカメラとの間の距離が大
きく変化した場合においても、応答性能が劣化せず、安
定に移動物体の追跡を行える。 また、少なくとも特定な形状の３角形から成るターゲ
ットマークのカメラ撮影画像に基づいて対象物体のカメ
ラ視線軸回りの姿勢を検出するターゲットマークの姿勢
検出方法において、ターゲットマークの３角形の画像の
X,Y方向の各投影ヒストグラムを求め、求められた各投
影ヒストグラムにおいて、ターゲットマークの３角形の
画像のX,Y方向の各重心位置を求め、求められた各投影
ヒストグラムにおいて、ヒストグラム値が最大になると
きの各最大ヒストグラム値、およびそのときのX,Y軸値
を求め、求められた各重心位置、並びに各最大ヒストグ
ラム値およびX,Y軸値、さらに、ターゲットマークの幾
何的既知データに基づき、ターゲットマークの３角形の
姿勢が、予め分類され設定されている姿勢パターンの中
のいずれのパターンに相当するかを判別し、判別された
パターンにおけるターゲットマークの３角形のカメラ視
線軸回りの姿勢を算出することを特徴とするターゲット
マークの姿勢検出方法が、提供される。 上記構成において、まず、予めターゲットマークの３
角形の姿勢を分類して姿勢パターンを設定しておき、求
められたターゲットマークの３角形の画像のX,Y方向の
各重心位置、並びに各最大ヒストグラム値およびX,Y軸
値、さらに、ターゲットマークの幾何的既知データに基
づき、ターゲットマークの３角形の姿勢が、予め分類さ
れ設定されている姿勢パターンの中のいずれのパターン
に相当するかを判別する。そして、判別されたパターン
におけるターゲットマークの３角形のカメラ視線軸回り
の姿勢を算出するようにする。これにより、ターゲット
マークのロール回転量を的確に、且つ簡単に把握でき
る。 また、原画像を２値化する過程と、２値化した画像の
うちの画素が連結している画像をグループ化する過程
と、グループ化された画像についてXY投影ヒストグラム
を求める過程と、グループ化された画像のXY投影ヒスト
グラムの極値の数を計数する過程と、計数した極値の数
を、目的とするターゲットマークについて予め求めたXY
投影ヒストグラムの極値数と比較して、グループ化され
た画像が目的とするターゲットマークであるか否か判定
する過程とからなるターゲットマークの検出方法が、提
供される。 また、ターゲットマークの像に基づいて物体の位置と
姿勢を計測する位置、姿勢の計測装置において、物体の
特定平面上にあって円とその中心点を含むターゲットマ
ークと、ターゲットマークを撮像して円とその中心点の
画像を作成するカメラと、ターゲットマークの画像から
物体の位置と姿勢の計測に必要な特徴点を抽出する特徴
抽出手段と、特徴点に関する射影幾何学演算によってタ
ーゲットマークの物体空間内での位置及び姿勢を演算す
る演算手段と、を有することを特徴とする位置、姿勢の
計測装置が、提供される。 さらに、対象物までの距離および対象物の姿勢を計測
する距離姿勢計測装置において、各重心が同一平面上に
位置するように対象物に配置され、少なくとも１つの円
の半径が他と異なる４つの円板状マークと、４つの円板
状マークを撮影する撮影手段と、撮影手段から出力され
る４つの円板状マークの画像データに基づき、各円板状
マークの重心位置を算出する重心算出手段と、重心算出
手段が算出した４つの重心位置を基に、４点透視問題を
解き、対象物までの距離および対象物の姿勢を演算する
演算手段と、を有することを特徴とする距離姿勢計測装
置が、提供される。 図面の簡単な説明 図１はターゲットマーク追跡システムの全体構成を示
す図である。 図２はターゲットマークの斜視図である。 図３はターゲットマークの上面図である。 図４はターゲットマークの側面図である。 図５はターゲットマークの検出手順を示すフローチャ
ートである。 図６はターゲットマークのXY投影ヒストグラムを示す
図である。 図７は投影画像の２値化処理の例を示す図である。 図８は２値化処理画像のラベリング処理の例を示す図
である。 図９はグループ番号３の物体を分離する例を示す図で
ある。 図10は分離したグループ番号３の物体のXY投影ヒスト
グラムを示す図である。 図11は他の形態のターゲットマークとそのXY投影ヒス
トグラムを示す図である。 図12はまた他の形態のターゲットマークとそのXY投影
ヒストグラムを示す図である。 図13は位置・姿勢を計測するための４円ターゲットマ
ークの例を示す図である。 図14はターゲットマークのXY方向ずれ量の求め方を説
明する図である。 図15はターゲットマークの中心位置Pmの求め方につい
ての説明図である。 図16はターゲットマークのＺ方向ずれ量の求め方を説
明する図である。 図17はターゲットマークを斜めから見た場合の説明図
であり、（Ａ）はカメラの姿勢を、（Ｂ）はターゲット
マーク画像をそれぞれ示す。 図18は図17のターゲットマーク画像のXY投影ヒストグ
ラムを示す図である。 図19はヨー方向ずれ量の求め方を説明する図である。 図20はピッチ方向ずれ量の求め方を説明する図であ
る。 図21はロール方向に回転したターゲットマークの画像
及びそのＸ軸投影ヒストグラムを示す図である。 図22はロール方向ずれ量の求め方を説明する図であ
る。 図23はウィンドウ設定方法の説明図である。 図24はターゲットマークの他の例を示す図である。 図25はターゲットマークのさらに他の例を示す図であ
る。 図26は図25のターゲットマークの使用例を示す図であ
る。 図27は位置ずれ検出および物体の把持を行うためのフ
ローチャートを示す図である。 図28はビデオカメラとターゲットマークとの所定位置
関係を示す図である。 図29はずれ量実測時のビデオカメラの動きを示す図で
ある。 図30はずれ量の実測位置を示す座標図である。 図31はｚ−Ez関係を示すグラフである。 図32はEx−Dx関係を示すグラフである。 図33はｚ−Ax関係を示すグラムである。 図34は画像上のずれ量Ｅ＊を実ずれ量Ｄ＊に高速に変
換する手順を示すフローチャートである。 図35は実ずれ量の各成分を示す座標図である。 図36はｚ−Ez関係を示すグラフである。 図37はEy−Dy関係を示すグラフである。 図38はｚ−Ay関係を示すグラフである。 図39は第１の制御実施例を示すフローチャートであ
る。 図40は座標変換を説明する座標図である。 図41は第２の制御実施例を示すフローチャートであ
る。 図42は座標変換を説明する座標図である。 図43はターゲットマークの画像において３角形が円の
中心から大きくずれた場合を示す投影ヒストグラムであ
る。 図44はターゲットマークの画像における円の中心の求
め方を説明する投影ヒストグラムである。 図45は３角形と円とから成るターゲットマークの画像
の実測投影ヒストグラムから３角形のみの画像の投影ヒ
ストグラムを求める方法を説明する図である。 図46はターゲットマークの３角形の基準形状と位置を
示す図である。 図47はターゲットマークの３角形の重心位置とヒスト
グラム値の最大値およびその位置とを示す図である。 図48は３角形のロール角を漸増させたときに分けられ
る姿勢パターンの前半を示す図である。 図49は３角形のロール角を漸増させたときに分けられ
る姿勢パターンの後半を示す図である。 図50は重心位置やヒストグラム値の最大値およびその
位置に応じて分類された姿勢パターンを示す図である。 図51は投影ヒストグラムデータを得るためのハードウ
エアの構成を説明する図である。 図52はウィンドウの移動の仕方を説明する図である。 図53は投影ヒストグラムデータを得るためのハードウ
エアの実施例の具体的構成図である。 図54は図53に示す各ブロックにおける信号波形のタイ
ミングチャートである。 図55は位置、姿勢の計測装置を示すブロック図であ
る。 図56はターゲットマークによる計測の原理を示す図で
ある。 図57はターゲットマークとその画像の関係を示す図で
ある。 図58は円と中心点の画像を示す図である。 図59は消失点を決定する方法を示す図である。 図60はターゲットマークの姿勢を求める方法を示す図
である。 図61はターゲットマークの一例を示す図である。 図62は対象物に設けられるターゲットマークの第１の
例を示す平面図である。 図63は第１の距離姿勢演算の手順を示すフローチャー
トである。 図64はラベリングおよびヒストグラム処理を示す図で
ある。 図65はXY投影ヒストグラム図である。 図66は対象物に設けられるターゲットマークの第２の
例を示す平面図である。 図67は第２の距離姿勢演算の手順を示すフローチャー
トである。 図68はXY投影ヒストグラム図である。 図69は対象物に設けられるターゲットマークの第３の
例を示す平面図である。 図70は第３の距離姿勢演算の手順を示すフローチャー
トである。 図71は対象物に固定された座標系とカメラに固定され
た座標系とを示す図である。 発明を実施するための最良の形態 以下、本発明の実施例を図面に基づいて説明する。 図１は本発明に係るターゲットマーク追跡システムの
全体構成を示す図である。図において、ターゲットマー
ク追跡システムは、対象物体１、ターゲットマーク10、
カメラ20、ロボット30、画像処理装置40、位置ずれ演算
装置50及びロボット制御装置60から構成される。 ターゲットマーク10は、後述するように、黒円の中央
部に白三角形を立体的にシフトさせて構成したものであ
り、対象物体１に設けられる。カメラ20は、６自由度方
向に移動可能なロボット30に搭載され、ターゲットマー
ク10を撮像する。画像処理装置40は、カメラ20によるタ
ーゲットマーク10の画像データを処理し、ターゲットマ
ーク10の各座標軸に対する投影ヒストグラム等を求め
る。位置ずれ演算装置50は、例えばワークステーション
が使用され、画像処理装置40から送られてきた投影ヒス
トグラム等の情報から目的とするターゲットマーク10を
抽出し、その抽出したターゲットマーク10のずれ量を検
出する。その詳細は後述する。ロボット制御装置60は、
そのずれ量に応じてロボット30の移動動作を制御し、カ
メラ20にターゲットマーク10の追跡を行わせる。ロボッ
ト30は、その追跡動作によって対象物体１の把持部1Hを
把持して所定の作業目的を達成する。次に、上記のター
ゲットマーク10の構成を図２から図４を用いて説明す
る。 図２、図３、及び図４はターゲットマークの斜視図、
上面図及び側面図である。図に示すように、ターゲット
マーク10は、黒円11の中央に設けられた支柱13に白三角
形12を載せて構成したものである。白三角形12は、支柱
13の高さ分だけシフトしている。黒円11の背後には、詳
細は後述するように、白領域が設けられる。また、支柱
13は、黒円11と同様に黒色に塗られている。なお、支柱
13は、対象物体１の移動態様によってカメラ20の撮影領
域に入ってこないことが明らかな場合は、必ずしも黒色
である必要はない。このターゲットマーク10は、上述し
たように対象物体１に設けられ、そのターゲットマーク
10をカメラ20が撮像する。ターゲットマーク10の抽出及
びターゲットマーク10のずれ量の検出は、その画像デー
タを基にして行われる。以下に、まず図５〜図13を参照
して画像の中からのターゲットマーク10の抽出方法を、
さらに図14〜図50を参照してターゲットマーク10のずれ
量の検出方法を説明する。 図５はターゲットマークの検出手順を示すフローチャ
ートである。この実施例では、投影画像中から、円の内
部に三角形が配置されたターゲットマーク画像を検出す
るものとする。このターゲットマーク画像のXY投影ヒス
トグラム（ヒストグラム）を求めると、図６に示すよう
に、その極値（極大値または極小値で、以下、「山」ま
たは「谷」とも称する）の数はＸ、Ｙともに山が２つ、
谷が１つであり、この特徴はターゲットマークが回転し
ても数が変化しないことである。なお、Ｘ投影ヒストグ
ラムは同じＸ座標値を持つ画素の合計値、Ｙ投影ヒスト
グラムは同じＹ座標値を持つ画素の合計値である。図５
の中で、Ｓに続く数字はステップ番号を表す。 〔S1〕まず、原画像をカメラ20で撮影してその原画像デ
ータを画像処理装置40の画像メモリに取り込む。 〔S2〕次いで、その画像メモリ内の画像データを２値化
する。この処理の結果、例えば図７に示すような２値化
画像が得られる。 〔S3〕次に、ラベリング処理によって、２値化画像中に
おいて同じ値（０または１）を持ち、連結している画素
の集合からなる各画像に対し、それぞれ異なる番号（ラ
ベル）を付与してグループ化する。図８はこのラベリン
グ処理結果の例を示すものであり、図７の２値化画像は
グループ番号１〜８の８個のグループにそれぞれグルー
プ化される。 このようにして求めた各グループ番号１〜８の各画素
に対してステップS5〜S11のターゲットマークの検出処
理を行う。 〔S4〕まず、グループ番号ｎを、ｎ＝１とする。 〔S5〕グループ番号ｎをグループ数８と比較し、グルー
プ番号ｎがグループ数８より小さいならば、ステップS5
へ進み、グループ数８に達したならば、ステップS12へ
進む。 〔S6〕処理対象の画像データ中からグループ番号ｎの画
像を切り出す。つまり、ラベリング処理によってグルー
プ化された各画像をウィンドウ処理によりグループ毎に
分離してそれぞれの２値画像を作成する。図９は、例え
ば、目的とするターゲットマークであるグループ番号３
の画像に対して、このターゲットマーク検出処理が行わ
れた場合を示す。 〔S7〕このようにして切り出した画像に対して面積によ
るフィルタリングを行う。すなわち、計測範囲において
目的とするターゲットマークの面積（画素数）がとり得
る値の最大値と最小値を予め算出し、その範囲内にグル
ープ番号ｎの画像が入っているか否かでフィルタリング
をする。これにより、切り出した画像がターゲットマー
クであるか否かの大雑把な判定を行うことができる。こ
の面積によるフィルタリングで検出対象から除外されな
かった場合には、ステップS8へ進み、除外された場合に
はステップS11へ進む。 〔S8〕次にそのグループ番号ｎの画像についてXY投影ヒ
ストグラムを求め、その結果をメモリに格納する。図10
には、例えば、グループ番号３の画像に対してこの処理
が行われた結果を示す。 〔S9〕このようにして求めたXY投影ヒストグラムにおい
て山を検出し、その数をカウントする。なお、山の代わ
りに、谷であってもよい。 〔S10〕この山の数が、図６のターゲットマークのXY投
影ヒストグラムにおいて予め求めてある山の数と一致す
るか否かを判定する。図６のターゲットマークにおいて
は、山の数がＸ、Ｙともに２つであるという特徴を有
し、グループ番号３の画像はその条件に一致する。一致
するならばステップS13へ進み、一致しなければステッ
プS11へ進む。なお、山の代わりに谷である場合は、図
６のターゲットマークにおいては、谷の数がＸ、Ｙとも
に１つであるという特徴を有し、グループ番号３の画像
はその条件に一致する。 〔S11〕グループ番号を一つインクリメントする。 〔S12〕グループ番号ｎがグループ数８に達してしまっ
た場合は、ターゲットマークを画像の中から抽出できな
かったとして本プログラムを終了する。 〔S13〕切り出した画像が図６のターゲットマークの画
像であると判定して、その画像のグループ番号ｎ（この
実施例では３）を呈示する。 〔S14〕マーク検出（抽出）に成功したものとして本プ
ログラムを終了する。 なお、上記マーク抽出方法において、検出対象のター
ゲットマークは図６の形態のものに限られるものではな
く、例えば図11または図12に示すようなものであっても
よい。かかる形態のマークの場合、Ｘ投影では山は３
つ、谷は２つ、Ｙ投影では山は２つ、谷は１つとなるこ
とを特徴として、マークの検出ができる。 また本実施例では、上述の図６と図11のような異なる
２種類のマークを用いることによって、それが付けられ
ている物体の位置・姿勢を計測することもできる。すな
わち、図13に示すように、図６のマークを原点M1とし、
図11のマークをサブ原点マークM2とし、それらを結ぶ線
とその中点でほぼ直交する線の右左にそれぞれ円M3、M4
を配し、この４つの円M1〜M4で４円ターゲットマークを
構成する。この４円ターゲットマークの位置・姿勢を計
測することで、その４円ターゲットマークの付された物
体の位置・姿勢を推定するものであるが、その処理方法
は以下のようなものである。 前述のマーク検出方法により原点マークM1を検出
し、そのマークM1の２値化画像からその重心位置座標
（原点）を求める。 同様にしてサブ原点マークM2の重心位置座標（サブ
原点）を求める。 原点の座標とサブ原点の座標との中点の座標を求め
る。 重心位置がこの中点の座標に近い物体を２つ選び、
これをターゲットマークの残りの２つの円M3、M4とす
る。 この段階では２円のいずれがM3であり、いずれがM4
であるかの特定はできない。そのため、原点の座標とサ
ブ原点の座標とからそれらを結ぶ直線の方程式を導き、
で求めた２円の座標を直線の方程式に代入することに
よって、円M3、M4が、この直線の方程式の上側にある
か、あるいは下側にあるかをそれぞれ判別して２つの円
M3、M4を特定する。 以上により、４円ターゲットマークの平面上の４点
の座標が求められるので、これの４点を使って４点透視
問題を解き、その４円ターゲットマークの位置・姿勢を
計測する。 以上のターゲットマークの検出（抽出）にあたっては
種々の変形形態が可能である。特に、検出対象のターゲ
ットマークは実施例のものに限られるものではなく、XY
投影ヒストグラムを求めたときにその極値によって特徴
づけられる種々の形態のマークを本手法によって検出で
きるものである。この極値による特徴抽出は、極大値と
極小値を合わせたもので特徴抽出するものであっても、
また何れか一方により特徴抽出するものであってもよ
い。 以上のように、本ターゲットマークの検出手法によれ
ば、画像中に多くの物体が混在したり、ノイズが多い画
像であったりした場合にも、従来手法によりも確実かつ
高速にターゲットマークを検出することができる。 つぎに、以上のようにして検出されたターゲットマー
ク10におけるずれ量を検出する方法を、図14以降の図を
参照して説明する。 図14はターゲットマークのX,Y方向ずれ量の求め方を
説明する図である。図はターゲットマーク10がカメラ20
の画面中心からずれて写っている場合を示す。カメラ20
が撮像したターゲットマーク10の画像（ターゲットマー
ク画像）10Aは、画像処理装置40の画像メモリ41に取り
込まれ、画像座標系42において認識される。ターゲット
マーク画像10Aは、黒円画像11A及び白三角形画像12Aか
ら成る。ここで、画像メモリ41は、Ｘ方向、Ｙ方向とも
に512ピクセルから構成され、画像メモリ41内の各点の
座標位置はピクセルを単位として表示される。 この画像座標系42において、ターゲットマーク10のＸ
方向及びＹ方向のずれ量は、ターゲットマーク画像10A
の目標位置Po（tx,ty）と、ターゲットマーク画像10Aの
中心位置Pm（mx,my）との差分として、次式（１）で表
される。 Ｘ方向のずれ量lx＝mx−tx Ｙ方向のずれ量ly＝my−ty ……（１） 目標位置Po（tx,ty）を画像メモリ41の中心点Po（25
6,256）とし、ターゲットマーク画像10Aの中心位置Pm
（mx,my）をPm（156,356）とすれば、Ｘ方向のずれ量lx
＝156−256＝−100、Ｙ方向のずれ量ly＝356−256＝100
となる。 実際には、ターゲットマーク10のずれ修正は、カメラ
座標系22で行うので、上記の画像座標系42でのずれ量l
x,lyは、次式（２）によってカメラ座標系22でのずれ量
Lx,Lyに変換される。 Lx＝ly Ly＝−1x ……（２） 上記の例では、Lx＝100,Ly＝−100となる。 次に、ターゲットマーク画像10Aの中心位置Pm（mx,m
y）の求め方について説明する。 図15はターゲットマークの中心位置Pmの求め方につい
ての説明図である。図において、ターゲットマーク10A
の中心位置Pm（mx,my）は、黒円画像11Aの中心点に相当
する。画像処理装置40は、２値化したターゲットマーク
画像10Aの各画素値「０」、「１」を積算してＸ軸方向
の投影ヒストグラム（ヒストグラム）15及びＹ軸方向の
投影ヒストグラム16を作成し、続いて、その投影ヒスト
グラム15及び16から中心位置Pm（mx,my）のＸ座標及び
Ｙ座標を求める。すなわち、中心位置Pm（mx,my）のＸ
座標mxは、Ｘ軸方向の投影ヒストグラム15から得られる
両端位置Xb1及びXb2を用いて、次式（３）から求められ
る。 mx＝（Xb1＋Xb2）/2 ……（３） また、中心位置Pm（mx,my）のＹ座標myは、Ｙ軸方向
の投影ヒストグラム16から得られる両端位置Yb1及びYb2
を用いて次式（４）から求められる。 my＝（Yb1＋Yb2）/2 ……（４） このようにして求められた中心位置Pm（mx,my）と、
予め設定されている目標位置Po（tx,ty）との差分が、
上述したように、ターゲットマーク10のＸ方向及びＹ方
向のずれ量となる。次にターゲットマーク10のＺ方向ず
れ量の求め方について説明する。 図16はターゲットマークのＺ方向ずれ量の求め方を説
明する図である。ターゲットマーク10のＺ方向ずれ量
は、ターゲットマーク画像10Aの面積Maと目標面積（10B
で示す円の面積）Taとの差分から求められる。すなわ
ち、画像処理装置40は、上述したＸ軸方向の投影ヒスト
グラム15またはＹ軸方向の投影ヒストグラム16のいずれ
かを全域にわたって積算することによってターゲットマ
ーク10Aの面積Maを求め、その面積MAと予め設定されて
いる目標面積Taとの差分から、Ｚ方向のずれ量を求め
る。例えば、目標面積Taを10000ピクセル、ターゲット
マーク画像10Aの面積Maを6000ピクセルとすると、Ｚ方
向のずれ量Lzは、Ta−Ma＝4000ピクセル（10000−600
0）に応じた値をとる。このずれ量Lzは、上記のずれ量L
x,Lyと同様に、カメラ座標系22でのずれ量である。 次にカメラ座標系22の姿勢ずれ量の求め方について説
明する。 図17はターゲットマークを斜めから見た場合の説明図
であり、（Ａ）はカメラの姿勢を、（Ｂ）はターゲット
マーク画像をそれぞれ示す。カメラ20がターゲットマー
ク10を斜めから撮像する場合、カメラ座標系22はヨー方
向、ピッチ方向、ロール方向にずれている。なお、ヨー
方向、ピッチ方向及びロール方向のずれとは、カメラ座
標系22（図16参照）でのＸ軸回り、Ｙ軸回り及びＺ軸回
りの回転をいう。ここで、ヨー方向及びピッチ方向のず
れによって、カメラ20が図17（Ａ）に示す姿勢をとった
とすると、そのときのターゲットマーク画像10Aは、図1
7（Ｂ）に示すように、白三角形画像12Aが黒円画像11A
に対してずれているように見える。このように、白三角
形画像12Aがずれて見えるのは、白三角形12が黒円11か
ら支柱13の分だけシフトしているからである。この白三
角形画像12Aのずれを検出することによって、ヨー方向
及びピッチ方向のずれ量が基まる。その求め方について
以下に説明する。 図18は図17（Ｂ）のターゲットマーク画像のX,Y投影
ヒストグラムを示す図である。図に示すように、Ｘ軸投
影ヒストグラム17及びＹ軸投影ヒストグラム18では、黒
円画像11Aに対する白三角形画像12Aのずれに対応して、
その山（ピーク）の位置及び谷（ローピーク）の位置が
ずれて現れる。このＸ軸投影ヒストグラム17及びＹ軸投
影ヒストグラム18からヨー方向及びピッチ方向のずれが
求まる。 図19はヨー方向ずれ量の求め方を説明する図である。
図に示したＸ軸投影ヒストグラム17から、先ず、Xb1、X
b2、Xp1、Xp2を求める。Xb1及びXb2はＸ軸投影ヒストグ
ラム17の両端座標値である。このXb1とXb2の間に黒円画
像11Aが位置している。Xp1及びXp2はＸ軸投影ヒストグ
ラム17の山の座標値である。このXp1とXp2との間に白三
角形画像12Aが位置している。ヨー方向ずれ量Lyawを求
めるには、この白三角形画像12aの部分（Xp1〜Xp2）が
黒三角形11A（Xb1〜Xb2）のどの部分に位置するかを求
めればよい。すなわち、黒円画像11A（ターゲットマー
ク画像10A）全体の中心位置Xbcと白三角形画像12Aの中
心位置Xpcとの差を求めればよく、次式（５）、（６）
及び（７）を用いて求めることができる。 Xpc ＝（Xp1＋Xp2）/2 ……（５） Xbc ＝（Xb1＋Xb2）/2 ……（６） Lyaw＝Xbc−Xpc ……（７） ここで、Xpc :白三角形画像12AのＸ軸方向中心位置 Xbc :X軸投影ヒストグラム17の中心位置（黒
円画像11AのＸ軸方向中心位置） Lyaw:ヨー方向ずれ量 図20はピッチ方向ずれ量の求め方を説明する図であ
る。ピッチ方向ずれ量Lpitchは、ヨー方向ずれ量Lyawを
求める場合と全く同様にして求めることができる。すな
わち、先ず、Ｙ軸投影ヒストグラム18からYb1及びYb2
（Ｙ軸投影ヒストグラム18の両端座標値）、並びにYp1
及びYp2（Ｙ軸投影ヒストグラム18の山の座標値）を求
め、これらの値を用いて、次式（８）、（９）及び（1
0）から求めることができる。 Ypc＝（Yp1＋Yp2）/2 ……（８） Ybc＝（Yb1＋Yb2）/2 ……（９） Lpitch＝Ybc−Ypc ……（10） ここで、Ypc:白三角形画像12AのＹ軸方向中心位置 Ybc:Y軸投影ヒストグラム18の中心位置（黒
円画像11AのＹ軸方向中心位置） Lpitch:ピッチ方向ずれ量 次にカメラ座標系22がロール方向に回転した場合のロ
ール方向ずれ量の求め方について説明する。 図21はロール方向に回転したターゲットマークの画像
及びそのＸ軸投影ヒストグラムを示す図である。カメラ
座標系22がロール方向に回転すると、ターゲットマーク
画像10A内の白三角形画像12Aにおいて、図に示すよう
に、その一頂点12Cが回転し、その一頂点12Cの位置に応
じて、Ｘ軸投影ヒストグラム19の谷の位置も変化する。
この点に着目して、ロール方向のずれを図22に示すよう
に、Ｘ軸投影ヒストグラム19から求める。 図22はロール方向ずれ量の求め方を説明する図であ
る。ロール方向ずれ量Lrollを求めるには、先ず、Ｘ軸
投影ヒストグラム19から、Xp1、Xp2及びXlpを求める。X
p1及びXp2はＸ軸投影ヒストグラム19の山の座標値（白
三角形画像12AのＸ軸方向両端の座標値）である。Xlpは
Ｘ軸投影ヒストグラム19の谷の座標値（白三角形画像12
Aの一頂点12CのＸ軸方向座標値）である。ロール方向ず
れ量Lrollは、これらの値を用いて、次式（11）及び（1
2）から求めることができる。 Xpc ＝（Xp1＋Xp2）/2 ……（11） Lroll＝Xpc−Xlp ……（12） ここで、Xpc :白三角形画像12AのＸ軸方向中心位置 Lroll:ロール方向ずれ量 前述した位置ずれ演算装置50では、このようにして求
めたずれ量Lx、Ly、Lz、Lyaw、Lpitch及びLroll（これ
らを代表してＬとする）に、次式（13）に示すように、
比例ゲインｋ（kx、ky、kz、ｋyaw、ｋpitch及びｋrol
l）を掛け、ロボット30に対する速度指令値Ｖ（Vx、V
y、Vz、Vyaw、Vpitch及びVroll）を作成する。 Ｖ＝ｋ・Ｌ ……（13） ここで、Ｖ、ｋ、Ｌはともにベクトルである。 この速度指令値Ｖは位置ずれ演算装置50からロボット
制御装置60に送られる。速度指令値Ｖは、カメラ20の移
動速度（カメラ座標系22の原点の移動速度）、すなわち
カメラ20を搭載しているロボット60の手先の移動速度を
示している。このため、ロボット制御装置60は、その速
度指令値Ｖから、ロボット制御装置60のサンプリング時
間毎の移動量を計算し、その移動量を指令してロボット
30の動作を制御する。ロボット制御装置60のサンプリン
グ時間が、速度指令値Ｖが位置ずれ演算装置50からフィ
ードバックされてくる時間（計測時間）より短いとき
は、その速度指令値Ｖを数サンプリング先の指令値とし
てその間を補間する。例えば、計測時間がサンプリング
時間の５倍ならば５サンプリングの動作でその指令位置
に移動するように、ロボット30の動作を制御する。 次に、ターゲットマーク画像10Aの画像処理時に行わ
れるウィンドウ設定方法について説明する。 図23はウィンドウ設定方法の説明図である。図では、
カメラ20とターゲットマーク10とが垂直でないため、タ
ーゲットマーク画像10Aが偏平に見える場合を示す。タ
ーゲットマーク画像10Aは、画像処理装置40の画像メモ
リ41に取り込まれてマーク認識が行われ、認識されたタ
ーゲットマーク画像10Aの回りにウィンドウ44が設定さ
れる。 すなわち、マーク認識時に投影ヒストグラム処理によ
って得られたターゲットマーク10Aの重心位置をウィン
ドウ44の中心とする。また、ウィンドウ44のサイズWlx
及びWlyは、同様にマーク認識時に投影ヒストグラム処
理によって得られたターゲットマーク10aの縦、横のサ
イズmlx及びmlyに、予め設定した比率、例えば２倍を掛
けて得る。この場合、ウィンドウ44の領域を画像メモリ
41上に確実に確保するため、予め対象物体１上でターゲ
ットマーク10の黒円11の周囲に、ターゲットマーク10の
縦、横サイズに対して設定比率を掛けた分より少し大き
くなるように白領域を設けておく。こうすることによ
り、画像メモリ41に常時、白領域43を確保することがで
きる。このため、ターゲットマーク10とカメラ20との距
離が変化して画像メモリ41に取り込まれたターゲットマ
ーク画像10Aの大きさが変化しても、ターゲットマーク
画像10Aは白領域43からはみだすことなく、ターゲット
マーク画像10Aの回りにウィンドウ44を設定することが
できる。 このように、ターゲットマーク画像10Aの回りに白領
域43を確保し、その白領域43にウィンドウ44を設定する
ことにより、ノイズなどのターゲットマーク画像10A以
外の黒領域を除去することができる。 このウィンドウ設定は、ターゲットマーク10Aの追跡
スタート時には、上述したようにマーク認識時に得られ
た投影ヒストグラム情報を用いて行われるが、その後の
追跡時には、カメラ20による計測時毎に得られる新たな
投影ヒストグラム情報を用いて行われる。 図24はターゲットマークの他の例を示す図であり、
（Ａ）は斜視図、（Ｂ）は側面図である。この例でのタ
ーゲットマーク100は、黒円110の中央に設けられた三角
柱130の上面に白三角形120を描いて構成したものであ
る。三角柱130は、白三角形120の部分以外では黒円110
と同様に黒色に塗られている。 図25はターゲットマークのさらに他の例を示す図であ
る。この例でのターゲットマーク101は、黒円領域を削
って低くし、その低くして形成した黒円領域111の底に
白三角形121を置いたものである。すなわち、白三角形1
21を負の方向にシフトして構成したものである。この例
では、黒円領域111の凹形状を角状にしたが、他の形
状、例えば、お碗型形状とすることもできる。 図26は図25のターゲットマークの使用例を示す図であ
る。上記のターゲットマーク101は、ドッキングなどの
ように、二つの物体が密着するようなときに用いること
ができる。例えば、図に示すように、一方の物体1Aにタ
ーゲットマーク101を設け、他方の物体1Bにカメラ20を
設け、カメラ20でターゲットマーク101を撮像しつつ、
物体1A及び1Bをドッキングさせる。この場合、ターゲッ
トマーク101を撮像するカメラ20がターゲットマーク101
へ接近し、両物体1A及び1Bが接触しても、カメラ20はタ
ーゲットマーク101を撮影を継続することができる。し
たがって、その画像データを用いてドッキングを完了さ
せることができる。 図27はターゲットマークの追跡と物体の把持とを実行
するためのフローチャートを示す図である。図におい
て、Ｓに続く数値はステップ番号を示す。このフローチ
ャートの各ステップの内、ステップS21〜ステップS25は
画像処理装置30側において、ステップS26〜ステップS32
は位置ずれ演算装置50側においてそれぞれ実行される。 〔S21〕カメラ20からの撮像データに基づいてマーク認
識を行う。 〔S22〕ウィンドウ４の設定を行う。 〔S23〕原画を取り込む。 〔S24〕２値化を行う。 〔S25〕Ｘ軸方向及びＹ軸方向の投影ヒストグラム15及
び16を求める。 〔S26〕ターゲットマーク10の確認を行う。 〔S27〕ターゲットマーク10が存在するか否かを判別す
る。存在する場合は次のステップS28に進み、そうでな
ければステップS21に戻る。以上のステップS21〜S27
は、図５に示すマーク検出手順に相当する。 〔S28〕ターゲットマーク10のずれ量Lx、Ly、Lz、Lya
w、Lpitch及びLrollを求める。 〔S29〕速度指令値（制御指令値）Ｖを作成する。 〔S30〕速度指令値Ｖを出力する。 〔S31〕次回の計測のためのウィンドウ44の位置、サイ
ズを決定する。 〔S32〕ロボット30からのセンサ信号によって対象物体
１を把持したか否かを判別する。把持したと判別した場
合はそのまま終了し、そうでなければステップS22に戻
る。 以上述べたように、本実施例では、黒円11の中央に白
三角形12を立体的にシフトさせて構成したターゲットマ
ーク10をカメラ20を用いて撮像し、その画像データから
ターゲットマーク10のずれ量Lx、Ly、Lz、Lyaw、Lpitch
及びLrollを求める。これらのずれ量Lx等は、画像デー
タの各軸投影ヒストグラム処理から求められるが、この
各軸投影ヒストグラム処理は、一次元領域での計算であ
る。このため、その計算は、複雑な計算を必要とせず非
常に簡単に行うことができ、計算量も僅かである。した
がって、ターゲットマーク10のずれ量Lx等は、高速処理
で求められる。その結果、ずれ量Lx等に応じたロボット
30へのリアルタイムなフィードバックが可能となり、カ
メラ20によるターゲットマークの追跡がリアルタイムで
可能となる。ロボット30は、その追跡動作によって対象
物体１を把持し所定の作業目的を達成することができ
る。 上記の説明では、ターゲットマークを黒円と白三角形
で構成したが、その色を逆に組み合わせて白円と黒三角
形で構成することもできる。 ところで、上記の実施例の装置では、ターゲットマー
クの実移動量（mmなどの絶対的なスケール）と、画像上
でのその画像移動量（ピクセル数）との関係が、ターゲ
ットマークとビデオカメラとの間の距離により非線型に
変化するために、ターゲットマークとビデオカメラとの
間の距離が大きく変化する場合には、応答性能が劣化
し、安定に動作させることが困難になる。 すなわち、画像上でのターゲットマークの同一の画像
移動量に対し、ターゲットマークの実移動量は、ターゲ
ットマークとビデオカメラとの間の距離が異なることに
よって異なってしまう。 こうした問題点を解決して、ターゲットマークとビデ
オカメラとの間の距離が大きく変化した場合において
も、応答性能が劣化せず、安定に移動物体の追跡を行え
るようにした他の実施例を、つぎに説明する。 図28は、ビデオカメラ20とターゲットマーク10との所
定の位置関係を示し、（Ａ）は、ビデオカメラ20とター
ゲットマーク10とが所定の位置関係にあるときの座標位
置関係を示す図であり、（Ｂ）は、そのときにビデオカ
メラ20で撮影されたターゲットマーク10の画像を示す図
である。図中、ｏ−xyzはビデオカメラ20に固定された
右手系の座標系を示し、Ｏ−XYZはターゲットマーク10
に固定された右手系の座標系を示す。ｚ軸とＺ軸とが同
一直線上に相反する方向を向いて設定され、ｘ軸とＹ軸
とが平行、ｙ軸とＸ軸とが平行になるように設定され
る。ビデオカメラ20とターゲットマーク10とが所定の位
置関係にあるときには、ビデオカメラ20で撮影されたタ
ーゲットマーク10の画像は、図28（Ｂ）に示すような画
像となり、これが目標位置にあるときのターゲットマー
ク10の画像である。 ところで、ビデオカメラ20とターゲットマーク10との
所定の位置関係（図28に示す状態）がずれた場合、図１
の画像処理装置40および位置ずれ演算装置50は、ビデオ
カメラ20により得られるターゲットマーク10の画像をタ
ーゲットマーク10が目標位置にあったときの画像と比較
することにより、各軸方向のずれ量を次のように求め
る。 ・ X,Y方向については、画面内でのターゲットマーク1
0の白三角板12の中心位置のずれ量として、 ・ Ｚ方向については、画面内でのターゲットマーク10
の黒円板11の面積のずれ量として、 ・ ピッチ，ヨー方向については、画面内でのターゲッ
トマーク10の黒円板11の中心位置と、白三角板11の中心
位置との距離のずれ量として、 ・ ロール方向については、画面内でのターゲットマー
ク10の白三角板12の回転（自転）ずれ量として、 それぞれ求める。 こうしたずれ量が、ビデオカメラ20とターゲットマー
ク10との距離に依存して、実座標系でのずれ量に対し、
非線型に変化するため、図１のロボット制御装置60で
は、まず、両者のずれ量の間の関連性を実測によって求
めて同定（関連付け）を行う。 すなわち、図29に示すように、ターゲットマーク10を
固定し、ロボット30の６自由度マニピュレータ30aの先
端を、ターゲットマーク10に固定された座標系（Ｏ−XY
Z）において実験的に所定量動かし、そのときにビデオ
カメラ20で得られたターゲットマーク10の画像を画像処
理することにより、ターゲットマーク10の目標位置から
の画面上でのずれ量を測定し、記録する。なお、ビデオ
カメラ20を固定し、ターゲットマーク10を６自由度移動
可能なステージに載せ、動かすことにより実測してもよ
い。図29中の30bは対象物体を把持するハンドである。 さらに詳しく言えば、ターゲットマーク10の画面上で
のずれ量、および実座標系でのずれ量の実測は、カメラ
座標系（ｏ−xyz）をターゲット座標系（Ｏ−XYZ）上
で、x,y,z方向、ロール、ピッチ、ヨー方向（Ｚ軸、Ｙ
軸、Ｘ軸回りの回転）にそれぞれ移動・回転させ、その
ときの所定位置からの実移動・回転量と、ターゲットマ
ーク10の画像のずれ量（単位はピクセル）を測定するこ
とで行う。 具体的には、図30に示すように、まず、ビデオカメラ
20をｚ軸方向の各点に移動し、ｚ軸の値（ビデオカメラ
10とターゲットマーク10との距離）と、そのときのター
ゲットマーク10の画面上での面積Ez（ピクセル値）とを
計測する。つぎに、ビデオカメラ20をy,x軸正負方向に
数点移動させ、そのときの実移動量Dx,Dyと、ターゲッ
トマーク10の画面上でのずれ量Ex,Ey（ピクセル値）と
を計測する。また、ビデオカメラ20をターゲット座標系
（Ｏ−XYZ）のX,Y,Z軸回りに数点回転させ、そのときの
実移動量Dyaw,Dpitch,Drollと、ターゲットマーク10の
画面上でのずれ量Eyaw,Epitch,Eroll（ピクセル量）と
を計測する。以上の計測をｚ軸方向の各点において行
う。 なお、追跡フィードバック制御を行なっている最中に
は、ビデオカメラ20とターゲットマーク10との所定関係
位置からのずれが比較的小さいことから、ビデオカメラ
20を各軸方向にずらせる範囲は、所定関係位置近傍だけ
で十分である。 以上の測定を行うことで、 ・ ビデオカメラ20とターゲットマーク10との距離ｚ
と、画面上でのターゲットマーク10の面積Ezとのｚ−Ez
関係 ・ ビデオカメラ20とターゲットマーク10との距離ｚが
一定である場合の各軸方向（x,y,ロール，ピッチ，ヨ
ー）の実ずれ量Ｄ＊と、画面上でのずれ量Ｅ＊とのＤ＊
−Ｅ＊関係（＊は添字であり、ここでは＊＝x,y,roll,p
itch,yaw） ・ ビデオカメラ20とターゲットマーク10との距離ｚ
と、上記Ｄ＊−Ｅ＊関係とのｚ−（Ｄ＊−Ｅ＊）関係 に関するデータを得ることができる。 つぎに、図１のロボット制御装置60では、ｚ−Ez関係
に関するデータをｚ−Ez平面にプロットして、図31に示
す曲線を得る。そして、この曲線を、近似的に４次関数
ｚ＝ｆ（Ez）として数式化する。したがって、この関数
ｚ＝ｆ（Ez）を用いれば、画面上でのターゲットマーク
10の面積Ezから、ビデオカメラ20とターゲットマーク10
との距離ｚを簡単に算出することができる。なお、ビデ
オカメラ20とターゲットマーク10に正対しない場合に生
じるターゲットマーク10の黒円板11の画面上での楕円化
は、面積Ezに殆ど影響はない。 また、上記Ｄ＊−Ｅ＊関係に関するデータから、各軸
方向（x,y,ロール，ピッチ，ヨー）の実ずれ量Ｄ＊と、
画面上でのずれ量Ｅ＊との関係は、例えば図32のように
プロットされる。図32はｘ軸方向のEx−Dx関係を、上記
ｚ−（Ｄ＊−Ｅ＊）関係に関するデータをも使って各距
離ｚ毎にプロットしたものである。この図から分かるよ
うに、ビデオカメラ20とターゲットマーク10との所定関
係位置からのずれが比較的小さく、かつ、ビデオカメラ
20とターゲットマーク10との距離ｚが一定である場合、
Ex−Dx関係は、原点を通る直線で近似することができ
る。これは他の各軸方向についても同様である。 ところで、上記直線において、その傾きは、距離ｚの
値の関数になっているとみることができる。そこで、例
えば図32を基に、直線の傾きAxを距離ｚに対しプロット
すると、図33の曲線が得られる。図33はｘ軸方向のｚ−
Ax関係を示している。ここで、図33の曲線を、近似的に
２次関数Ax＝gx（ｚ）として数式化する。同様に、他の
各軸方向についても、Ａ＊＝ｇ＊（ｚ）（＊＝y,roll,p
itch,yaw）として数式化することができる。 したがって、以上の同定の結果から、画像上での目標
位置からのターゲット10のずれ量Ｅ＊（単位はピクセ
ル）を実ずれ量Ｄ＊に高速に変換することができるよう
になる。 図34は、画像上のずれ量Ｅ＊を実ずれ量Ｄ＊に高速に
変換する手順を示すフローチャートである。図中、Ｓに
続く数字はステップ番号を表す。 〔S41〕図１の画像処理装置40および位置ずれ演算装置5
0から出力される、画像上でのターゲットマーク10の黒
円板11の面積Ezを、予め同定の結果求められた関数ｚ＝
ｆ（Ez）に代入し、ビデオカメラ20とターゲットマーク
10との距離ｚを求める。 〔S42〕ステップS41で求めた距離ｚから、ビデオカメラ
20とターゲットマーク10とが所定関係位置にあるときの
両者の距離Ztを減算することで、ｚ方向の実ずれ量Dzを
求める。 〔S43〕ステップS41で求めた距離ｚを、予め同定の結果
求められた関数Ａ＊＝ｇ＊（ｚ）（＊＝x,y,roll,pitc
h,yaw）に代入し、各軸方向の傾きＡ＊を算出する。 〔S44〕ステップS43で算出された各軸方向の傾きＡ＊
と、図１の画像処理装置40および位置ずれ演算装置50か
ら出力される、画像上での各軸方向の目標位置・姿勢か
らのずれ量Ｅ＊とを、Ｄ＊＝Ｅ＊/A＊（＊＝x,y,roll,p
itch,yaw）に代入して、各軸方向の実ずれ量Ｄ＊を求め
る。 以上の処理で求められた実ずれ量Ｄ＊は、実座標での
絶対的スケール（位置ならばmm、姿勢ならばラジアン
等）で表され、図35に示すように、並進成分Dx,Dy,Dz
は、カメラ座標系ｏ−xyzでのｙ軸、ｘ軸、ｚ軸方向の
各ずれ量であり、回転成分Droll,Dpitch,Dyawは、ター
ゲット座標系Ｏ−XYZで記述されたずれ量である。 図31〜33で示した各関係図に対応する具体的なデータ
を図36〜38において示す。図36はｚ−Ez関係を示す具体
的な数値のグラフである。図37はｙ軸方向のEy−Dy関係
を各距離ｚ毎にプロットしたものである。図38はｙ軸方
向のｚ−Ay関係を示すグラフである。 つぎに、以上のようにして変換された実ずれ量Ｄ＊
（＊＝x,y,roll,pitch,yaw）を用いて、図１のロボット
制御装置60が、ロボット30のマニピュレータ30aへ送る
速度指令値を作成し、それによってターゲットマークの
実時間追跡制御を行うが、その制御手順の２つの実施例
を、図39および図41に示すフローチャートに従って、以
下に説明する。 図39はその第１の制御実施例を示すフローチャートで
ある。第１の制御実施例は、ビデオカメラ20をターゲッ
ト座標系Ｏ−XYZの原点Ｏを中心として回転すること
で、位置修正を行うものであり、この第１の制御実施例
は、姿勢に関するずれ量が比較的小さい場合に有効な方
法であり、厳密さを欠くが処理時間が短いという特徴が
ある。図中、Ｓに続く数字はステップ番号を表す。 〔S51〕ビデオカメラ20からターゲットマーク10の画像
を入力する。 〔S52〕画像処理装置40および位置ずれ演算装置50で、
画面上でのずれ量Ｅ＊（＊＝x,y,z,roll,pitch,yaw）を
検出する。 〔S53〕ロボット制御装置60で、ずれ量Ｅ＊を実ずれ量
Ｄ＊（＊＝x,y,z,roll,pitch,yaw）に変換する。 〔S54〕さらにロボット制御装置60で、ステップS53で変
換された実ずれ量Ｄ＊に、比例ゲインＫ＊（＊＝x,y,z,
roll,pitch,yaw）を次式（14）のように乗じて、速度指
令値Ｖ＊（＊＝x,y,z,roll,pitch,yaw）を算出する。 この速度指令値Ｖ＊は、図40に示すように、回転成分
に対し、カメラ座標系ｏ−xyzをビデオカメラ20とター
ゲットマーク10との距離Ztだけｚ軸方向にずらした新座
標系oR−xRyRzRでの速度指令値となるように変換され
る。これにより、ビデオカメラ20の姿勢のずれ（ピッ
チ、ヨー方向）を近似的にターゲット座標系Ｏ−XYZの
原点Ｏを中心として回転することになる。 〔S55〕ステップS54で算出された速度指令値Ｖ＊をマニ
ピュレータ30aへ出力する。 〔S56〕ステップS55での速度指令値Ｖ＊の出力の結果、
ビデオカメラ20とターゲットマーク10とが所定位置関係
になり、その結果、ハンド30bが対象物体１を把持でき
たか否かを判別し、把持できないならば、ステップS51
へ戻る。 図41は第２の制御実施例を示すフローチャートであ
る。第２の制御実施例は、ターゲット座標系Ｏ−XYZで
の実ずれ量Ｄ＊をカメラ座標系ｏ−xyzでの実ずれ量に
変換し、これによりビデオカメラ20を位置制御するもの
である。この第２の制御実施例は、処理時間が若干かか
るが、厳密な制御方法であり、姿勢に関するずれ量の大
きさに拘らず有効な方法である。図中、Ｓに続く数字は
ステップ番号を表す。 〔S61〕ビデオカメラ20からターゲットマーク10の画像
を入力する。 〔S62〕画像処理装置40および位置ずれ演算装置50で、
画面上でのずれ量Ｅ＊（＊＝x,y,z,roll,pitch,yaw）を
検出する。 〔S63〕ロボット制御装置60で、すれ量Ｅ＊を実ずれ量
Ｄ＊（＊＝x,y,z,roll,pitch,yaw）に変換する。 〔S64〕さらにロボット制御装置60で、ステップS63で変
換された実ずれ量Ｄ＊を、カメラ座標系ｏ−xyzでのず
れ量に変換する。この変換の仕方を以下に説明する。 すなわち、ターゲット座標系Ｏ−XYZからみたビデオ
カメラ20の所定（目標）姿勢を表す回転行列をCd、ビデ
オカメラ20の現在の姿勢を表す回転行列をCa、ターゲッ
ト座標系Ｏ−XYZでのビデオカメラ20の姿勢のずれ量Dro
ll,Dpitch,Dyawの回転変換を表す行列をDtとすると、次
式（15）が成り立つ。 Ca＝DtCd ……（15） これより、次式（16）が求まる。 Cd＝Ca（Cd-1Dt-1Cd） ……（16） ここで、Da＝Cd-1Dt-1Cdとすると、Daは、図42に示す
ように、現在のカメラ座標系oa−xayazaからみたビデオ
カメラ20の姿勢のずれ量の、所定位置のカメラ座標系od
−xdydzdへの回転変換を表す行列である。したがって、
Daを算出してカメラ座標系ｏ−xyzでの実ずれ量を求め
る。 〔S65〕ステップS64で求めたカメラ座標系ｏ−xyzでの
実ずれ量に定数ゲインをかけてビデオカメラ20の速度指
令値を算出する。 〔S66〕ステップS65で算出された速度指令値をマニピュ
レータ30aへ出力する。 〔S67〕ステップS66での速度指令値の出力の結果、ビデ
オカメラ20とターゲットマーク10とが所定位置関係にな
り、その結果、ハンド30bが対象物体１を把持できたか
否かを判別し、把持できないならば、ステップS61へ戻
る。 以上の第２の制御実施例では、若干計算量は増える
が、より応答性能のよい追跡制御が実現できる。 以上説明した実施例ではいずれも、ｚ−Ez関係および
ｚ−Ａ＊関係を、それぞれ４次曲線および２次曲線で近
似的に表せると見做し、適当な近似関数ｚ＝ｆ（Ez）,A
＊＝ｇ＊（ｚ）を設定して、それらの関数を使用して画
面上のずれ量を実ずれ量に変換することが行われている
が、他の方法として、ｚ−Ez関係およびｚ−Ａ＊関係
を、それぞれ直線で近似的に表せると見做し、適当な近
似直線関数を設定するようにしてもよい。その場合に
は、変換誤差が大きくなるか、より高速に変換が行われ
得る。また、ｚ−Ez関係およびｚ−Ａ＊関係を関数に置
き換えず、各テーブルとして保持し、これらテーブルに
よって変換を行えば、各テーブルのための記憶容量が多
少増えるが、より高速に変換が行われ得る。 以上の図28〜42によって示したように、ビデオカメラ
とターゲットマークとの所定関係位置を実験的にずら
し、そのときに得られる、画像上でのターゲットマーク
の目標位置からのずれ量と、ビデオカメラとターゲット
マークとの所定関係位置からの実ずれ量とから、相互の
関連づけである同定を行い、結果的に、画像上でのター
ゲットマークの目標位置からのずれ量を基に、ビデオカ
メラとターゲットマークとの所定関係位置からの実ずれ
量を求める。 このように、同定をすることによに、画像上でのター
ゲットマークの目標位置からのずれ量を、ビデオカメラ
とターゲットマークとの所定関係位置からの実ずれ量に
高速に変換でき、ターゲットマークとビデオカメラとの
間の距離が大きく変化した場合においても、応答性能が
劣化しない、安定な移動物体の追跡を行える。 さらに、上記求められた実ずれ量に、比例ゲインをか
け、さらに回転成分に対し、ビデオカメラとターゲット
マークとの距離だけずらせた座標系での速度指令値を算
出し、ビデオカメラの位置制御の速度指令値とし、これ
によってビデオカメラの位置を制御する。これにより、
ビデオカメラとターゲットマークとの所定関係位置から
のずれ量が比較的小さい場合に、高速なフィードバック
ができ、応答性能のよい追跡制御が実現できる。 あるいは、上記求められた実ずれ量からビデオカメラ
に固定された座標系におけるビデオカメラの姿勢のすれ
量を求め、定数ゲインをかけてビデオカメラの位置制御
の速度指令値とし、これによってビデオカメラの位置を
制御する。これにより、ビデオカメラとターゲットマー
クとの所定関係位置からのずれ量に拘らず追跡制御が正
確に行われ、処理計算量が若干増えるが、より応答性能
のよい追跡制御が実現できる。 以上の実施例では、ターゲットマークのロール方向ず
れ量Lroll〔数式（12）、図22参照〕が僅かであること
を前提に考えてきたが、このロール方向ずれ量Lroll
が、ターゲットマークの３角形の形状にもよるが、±90
度を越えるとどんな形状の３角形でも、このロール方向
ずれ量lrollを検出できなくなるという問題が発生す
る。３角形の形状が鋭角２等辺３角形である場合には、
もっと僅かな回転でも検出不可能になる。 また、上記実施例では、ロール方向のずれ補正を、ロ
ール方向ずれ量Lrollの検出を繰り返し行うことにより
処理するため、補正時間を多く要すという問題や、ロー
ル方向のずれ補正ゲインが対象物体の姿勢により非線型
であるため、キャリブレーションにより補正データを作
成しないと安定収束する補償がないという問題がある。 さらに、図43に示すように、ターゲットマーク画像に
おいて、３角形の中心と背後の円の中心とのX,Y方向の
位置ずれが大きい場合、３角形の頂点位置で投影ヒスト
グラムが最大値になるとは限らないことが生じる。した
がって、上記実施例のように、例えばＸ方向の投影ヒス
トグラムにおける２つのピーク点Xp1,Xp2の中点を３角
形の中心とするような処理をすると、位置ずれを過少検
出してしまうため、ずれ補正に時間がかかることになる
という問題がある。また、上記２つのピーク点XP1,Xp2
の検出を行う際に、ノイズ等の影響によりローカルピー
クを本来のピークと見做してしまうという危険性もあ
る。 こうした問題点を解決した、ターゲットマークの検出
方法の他の実施例を次に説明する。 まず、３角形と背後の円とから成るターゲットマーク
の画像のX,Y方向の実測投影ヒストグラムにおいて、図4
4に示すように、ヒストグラム値がそれぞれ所定値δx,
δｙである２点をそれぞれ求め、これらの２点の中点Xc
g,Ycgをそれぞれ求める。これらXcg,Ycgをターゲットマ
ークの円の画像の中心位置（Xcg,Ycg）とする。上記の
所定値δx,δｙをノイズレベルよりも少し大きい値に設
定することにより、ノイズの影響を受けることなく、タ
ーゲットマークの円の画像の中心位置を検出することが
可能となる。 つぎに、この検出された円の画像の中心位置（Xcg,Yc
g）と、この円の既知の幾何的データ（半径等）とか
ら、この円の画像のX,Y方向の投影ヒストグラムを算出
する。図45（Ｂ）は、こうして算出された円の画像のX,
Y方向の投影ヒストグラムを示し、図45（Ａ）は、３角
形と背後の円とから成るターゲットマークの画像のX,Y
方向の実測投影ヒストグラムを示す。そして、図45
（Ｂ）の円の画像の算出投影ヒストグラムから、図45
（Ａ）の３角形と背後の円とから成るターゲットマーク
の画像の実測投影ヒストグラムを減算することにより、
図45（Ｃ）に示す３角形の画像のX,Y方向の投影ヒスト
グラムを得る。 こうして得られた３角形の画像のX,Y方向の投影ヒス
トグラムを基に、下記のようにして３角形のロール方向
の回転姿勢を検出する。 まず、このターゲットマークの３角形の形状を、鋭角
２等辺３角形とし、その鋭角の頂角が45度よりも小さい
ものと特定する。このターゲットマークの３角形の画像
において、図46に２点鎖線で示すような３角形12aの姿
勢を基準姿勢とし、３角形12aの重心Ｇに対しロール方
向へ回転した３角形12bの反時計方向の回転角をθとす
る。なお、３角形12aの底角Ｅと重心Ｇとを結ぶ線がＸ
軸方向となす角度をθｏとし、また、底角Ｅと重心Ｇと
を結ぶ線が３角形12aの辺に交差する点をＦとすると
き、この線分EFの長さをLp（ピクセル数）とする。 ここで、図47に示すように、３角形の画像のX,Y方向
の投影ヒストグラムを用いて、重心Ｇの座標（Xg,Yg）
と、ヒストグラム値が最大になるX,Y座標値Xm,Ym、およ
びそのときの最大値Hy,Hxとを求める。 一方、これらの値Xg,Yg,Xm,Ym,Hy,Hxの大きさに応じ
て、３角形12bの回転姿勢は次のような姿勢パターンに
分類される。 図48,49は回転角θを漸増させたときの座標値Xm,Ymに
対する重心Ｇの位置関係の推移を示す図であり、24種類
のパターンに分けられる。図中、A,B,a,b,0は座標値Xm,
Ymに対する重量（面積）バランスを示すための符号であ
り、Ａ＞ａ＞０およびＢ＞ｂ＞０という重量（面積）の
大小関係にある。また、矢印は座標値Xm,Ymに対する重
心Ｇ（黒点で表示）の存在する方向を示している。図中
の枠の上にそれぞれ示した〔 〕はパターン番号を表
す。 各姿勢パターンにおける回転角θは次のような式によ
って表される。 〔１〕θ＝０ ……（17） 〔２〕この姿勢パターンは図46に示すものであり、 θ＝θｏ−arcsin〔３（Ym−Yg）/2Lp〕 ……（18） 〔３〕θ＝π/2−θｏ ……（19） 〔４〕θ＝π/2−θｏ＋arcsin〔３（Xg−Xm）/2Lp〕 ……（20） 〔５〕θ＝θｏ ……（21） 〔６〕θ＝π/2−θｏ＋arcsin〔３（Xg−Xm）/2Lp〕 ……（22） 〔７〕θ＝π/2 ……（23） 〔８〕θ＝π/2＋θｏ−arcsin〔３（Xg−Xm）/2Lp〕 ……（24）
〔９〕θ＝π−θｏ ……（25） 〔10〕θ＝π−θｏ＋arcsin〔３（Yg−Ym）/2Lp〕 ……（26） 〔11〕θ＝π/2＋θｏ ……（27） 〔12〕θ＝π−θｏ＋arcsin〔３（Yg−Ym）/2Lp〕 ……（28） 〔13〕θ＝π ……（29） 〔14〕θ＝π＋θｏ−arcsin〔３（Yg−Ym）/2Lp〕 ……（30） 〔15〕θ＝３π/2−θｏ ……（31） 〔16〕θ＝３π/2−θｏ＋arcsin〔３（Ym−Xg）/2Lp〕 ……（32） 〔17〕θ＝π＋θｏ ……（33） 〔18〕θ＝３π/2−θｏ＋arcsin〔３（Xm−Xg）/2Lp〕 ……（34） 〔19〕θ＝３π/2 ……（35） 〔20〕θ＝３π/2＋θｏ−arcsin〔３（Xm−Xg）/2Lp〕 ……（36） 〔21〕θ＝２π−θｏ ……（37） 〔22〕θ＝２π−θｏ＋arcsin〔３（Ym−Yg）/2Lp〕 ……（38） 〔23〕θ＝３π/2＋θｏ ……（39） 〔24〕θ＝２π−θｏ＋arcsin〔３（Ym−Yg）/2Lp〕 ……（40） 図50は、以上の24のパターンを、値Xg,Yg,Xm,Ym,Hy,H
xの大きさや大小関係から分類したものである。なお、
この中で太枠で囲んで示す姿勢パターンは、特異的に値
Xg,Yg,Xm,Ym,Hy,Hxによって分類することが不可能とな
るものである。 前述のように、３角形の画像のX,Y方向の実測投影ヒ
ストグラムを用いて、重心Ｇの座標（Xg,Yg）と、ヒス
トグラム値が最大になるX,Y座標値Xm,Ym、およびそのと
きの最大値Hy,Hxとが求められたときに、これらの値を
図50に示す分類と照合することによって、実測されたタ
ーゲットマークの３角形がどの姿勢パターンであるかを
知ることができる。さらに、上記式（17）〜（40）によ
って、その回転角θが幾らであるかも知ることができ
る。 ただし、図50において太枠で囲んで示す姿勢パターン
に関しては、２者のいずれであるか特定できない。その
ため、この場合には、カメラをロール方向に僅か回転さ
せて、太枠外の姿勢パターンにし、その後再び、回転角
θの検出を行うようにする。 こうして検出された回転角θを用いて、前述のロール
方向ずれ量Lrollの検出を行うようにする。 なお、３角形と背後の円とから構成されるターゲット
マークにおける３角形の重心Ｇの座標（Xg,Yg）を算出
する簡単な方法を、次に示す。 まず、ターゲットマークの画像の実測投影ヒストグラ
ムを基にターゲットマーク画像の重心座標（Xag,Yag）
を求め、また、既知のターゲットマークの円の面積Scと
３角形の面積Stとを基に、それらの比γ（＝St/Sc）を
求める。なお、前述のようにターゲットマークの円の画
像の中心位置を（Xcg,Ycg）とする。 このとき、次式（41），（42）が成り立つ。 Xag＝（γ・Xg＋Xcg）／（１＋γ） （41） Yag＝（γ・Yg＋Ycg）／（１＋γ） （42） これらを変形して、 Xg＝〔（１＋γ）Xag−Xcg）〕／γ （43） Yg＝〔（１＋γ）Yag−Ycg）〕／γ （44） を得る。したがって、ターゲットマーク画像の重心座標
（Xag,Yag）と、ターゲットマークの円の面積Scと３角
形の面積Stとの比γ（＝St/Sc）とから、ターゲットマ
ークの３角形の重心Ｇの座標（Xg,Yg）を簡単に算出す
ることができる。 以上の実施例では、ターゲットマークの鋭角２等辺３
角形の頂角が、45度より小さい場合の３角形のロール回
転を説明したが、この頂角が45度以上で60度より小さい
場合の３角形のロール回転に関しても、図48〜50に示し
た分類が少し変更になるものの、基本的には同じ発想に
より回転角θが検出可能である。 以上のように、特定な形状の３角形のターゲットマー
クを使用し、３角形の画像のX,Y方向の実測投影ヒスト
グラムを用いて、３角形の画像の重心Ｇの座標（Xg,Y
g）と、ヒストグラム値が最大になるX,Y座標値Xm,Ym、
およびそのときの最大値Hy,Hxとを求め、予め分類され
た姿勢パターンから３角形の姿勢を回転角として求める
ようにする。これにより、広範囲のロール回転角の検出
が安定して行われ得るようになり、また、ロール回転角
のずれ量が正確に検出できるので、位置ずれ補正の補正
時間が少なくてすむようになる。また、上記の検出値X
g,Yg,Xm,Ym,Hy,Hxは、画像処理の上では非常に簡単に検
出できる値である。したがって、境界線抽出を行い、タ
ーゲットマークの３角形の各辺の長さを求め、それらの
比等から画像上の３角形の姿勢を特定するような複雑な
処理を必要とする公知の方法に比べ、３角形の姿勢の特
定が非常に容易となる。 なお、以上の実施例では、図51（Ａ）に示すように、
汎用の画像処理装置を使用している。すなわち、カメラ
からの１フレーム分の画像スキャンデータを、バスを経
由して与えられる各コマンドに従い、ストア処理をして
フレームメモリ301に格納し、次にウィンドウ設定処理
してフレームメモリ302に格納し、次に２値化処理をし
てフレームメモリ303に格納し、最後に投影ヒストグラ
ム処理をしてヒストグラムメモリ304に格納する。そし
て、このヒストグラムメモリ304に格納されたデータがC
PUに読み出され、位置ずれ検出が行われる。 ところで、こうした汎用の画像処理装置を使用した場
合、ストア、ウィンドウ設定、２値化、投影ヒストグラ
ムの各処理毎に１フレーム分のメモリ書き込みおよび読
み出しをする必要があり、それらに要する各時間が、バ
スのアクセス時間を考えると50ms程度必要となる。その
ため、汎用の画像処理装置では、１フレーム分の投影ヒ
ストグラムデータを得るには少なくとも200msは必要で
あった。しかし、高速で移動するターゲットマークの追
跡に対しては、もっと高速な処理が求められる。そこ
で、高速な処理を可能にした画像処理装置の実施例を下
記に示す。 図51（Ｂ）は投影ヒストグラムデータを得るための処
理を高速化した画像処理装置の実施例の原理を説明する
図である。すなわち、本実施例では、ストア、ウィンド
ウ設定、２値化、投影ヒストグラムの各処理を、フレー
ムメモリを使用することなく同時に行ない、そうして得
られた投影ヒストグラムデータをヒストグラムメモリ30
5に格納するようにする。 図53は図51（Ｂ）に示した実施例の具体的なブロック
図である。また、図54は、図53の各ブロックにおける信
号波形を示すタイミングチャートであり、これを以下の
図53の実施例の説明時に随時参照する。 クランプ部308を経て映像信号〔図54（Ａ）〕がアナ
ログのコンパレータ311へ入力し、また、コンパレータ3
11への、バスからの所定のスライスレベルのデータがDA
コンバータ310でアナログ値に変換されて入力される。
コンパレータ311は、スライスレベルを越えた映像信号
により２値化パルス信号〔図54（Ｄ）〕を出力する。一
方、同期分離部309では映像信号から垂直同期信号およ
び水平同期信号〔図54（Ｂ）〕を取り出し、ウィンドウ
判断部312へ出力する。 このウィンドウ判断部において、Ｘ方向のウィンドウ
判断は水平同期信号の入力で、12MHzのドットクロック
〔図54（Ｃ）〕のカウントを開始し、そのカウント値を
バス経由でCPUから設定したウィンドウ位置を示すデー
タと照合することにより行う。また、Ｙ方向のウィンド
ウ判断は垂直同期信号の入力で、水平同期信号をカウン
トし、Ｘの場合と同様にウィンドウ位置と照合すること
により行う。ウィンドウ判断部の出力〔図54（Ｅ）〕
は、Ｘ側のウィンドウ内信号とＹ側のウィンドウ信号の
論理積をとったものである。 AND回路313は、２値化パルス信号〔図54（Ｄ）〕とウ
ィンドウ内信号〔図54（Ｅ）〕との論理積であるAND出
力〔図54（Ｆ）〕を出力する。このAND出力はウィンド
ウ内における２値化信号を示し、ヒストグラム処理部31
6は、このAND出力が「１」の間だけドットクロック〔図
54（Ｃ）〕カウントすることで、ヒストグラム値を得る
ようにする。得られたＸおよびＹ方向のヒストグラム
は、それぞれＸ方向の記憶部（Ｍ）317およびＹ方向の
記憶部（Ｍ）318に記憶される。CPUはバスを介してこれ
ら記憶部317,318のヒストグラムデータを読み出す。ま
た、AND出力は表示部314を介して画像モニタ315へ出力
される。 上記のウィンドウ比較、ストア、２値化、投影ヒスト
グラムの各処理は、水平スキャンの間に行われ、また、
垂直帰線期間中にヒストグラム値が記憶部317,318に格
納される。すなわち、ウィンドウ比較、ストア、２値
化、投影ヒストグラムの各処理、およびヒストグラム値
の格納という一連の処理が、次フレームの画像スキャン
が開始されるまでの間に完了してしまう。 以上のように、汎用の画像処理装置の場合にはトラッ
キングアルゴリズムに不必要なフレームメモリへのアク
セスを繰り返し、そのため、投影ヒストグラムを１回求
めるのに少なくとも200msの処理時間を要するのに対
し、この実施例の画像処理装置では、フレームメモリを
必要とせず、したがって、フレームメモリへのアクセス
等が不要となり、１フレーム（33ms）の処理時間で澄む
ようになる。すなわち、大幅な高速化を実現でき、高速
で移動するターゲットマークに対する追跡が可能とな
る。 また、このハードウェアではラベリング処理ができな
いので、図52のようにウィンドウ307を画面内306におい
て高速に移動させ、そのウィンドウ内の投影ヒストグラ
ムを調べることによりターゲットマークのサーチを行
う。 以上の実施例では、ターゲットマークは３角形の形状
を有していることが必要であったが、次に、３角形の形
状を持たないターゲットマークを認識する実施例につい
て説明する。 図55は、この実施例の構成を示すブロック図である。
この図55において、たとえばロボット作業に際して、ロ
ボットハンドによって把持される作業対象物（以下、単
に物体という）１は、三次元空間内で任意の位置と姿勢
にある。この物体１の位置、姿勢を計測する計測装置に
は、１台のカメラ20によって撮像されたターゲットマー
クＡの像がカメラインタフェース３から入力される。本
実施例の位置、姿勢の計測装置は、このターゲットマー
クＡの画像データに基づいて物体の位置と姿勢を計測す
るものである。 ターゲットマークＡは、物体１の特定平面上にあって
円とその中心点とを含んでいる。このターゲットマーク
Ａはカメラ20で撮像され、円とその中心点との画像が作
成される。カメラインタフェース３は画像メモリ４、画
像処理プロセッサ５に画像バス６によって接続されてい
る。ターゲットマークＡの画像は、例えば画像メモリ４
などに一旦記憶され、画像処理プロセッサ５によって物
体１の位置と姿勢の計測に必要な特徴点が抽出される。 CPU7及び主メモリ８は、物体１の位置及び姿勢を演算
する演算手段であって、像空間から抽出された特徴点に
関する射影幾何学演算を行うことによって、ターゲット
マークＡの物体空間内での位置及び姿勢を算出できる。
この演算手段は、コントロールバス９を介して画像処理
プロセッサ５等に接続されている。 図56は、ターゲットマークＡによる位置、姿勢の計測
の原理を示す図である。ターゲットマークＡは半径ｒの
円とその中心点Ｃから構成される。図56には、このター
ゲットマークＡから、カメラ20の画像面である像平面ｉ
に投影画像Ai,Ciが透視された状態を示す。ここでは視
点Ｏがカメラ20のレンズ中心であって、本来なら像平面
ｉはＺ軸方向で負の側に位置するが、物体空間と像空間
とを明瞭に対応させるために、正の側に描いている。ｆ
は、カメラ20のレンズの焦点距離である。また、X,Y,Z
はカメラ20の基準座標であり、Xt,Yt,Ztはターゲットマ
ークＡの中心点Ｃを原点とする物体空間の基準座標であ
る。 いま、ターゲットマークＡのカメラ20に対する姿勢
は、Yt軸上の直線ｍの周りに少し回転した姿勢であり、
直線ｍとターゲットマークＡの円周との交点S,Tを結ぶ
直径方向ベクトルが像平面ｉに平行になっている。ター
ゲットマークＡの円の像Aiと中心点Ｃの像Ciとから、画
像処理プロセッサ５は所定の特徴点を抽出して、CPU7に
よってターゲットマークＡの位置と姿勢を計測する。本
実施例では、半径が既知である円とその中心点との投影
像から、三次元空間上での円の位置と姿勢が一意的に決
まることを利用している。 また、本実施例では三次元空間上の円を投影した場合
に、物体空間の円の直径をなす直線のうち少なくとも１
つの直線は、像平面と平行になることを利用して、ター
ゲットマークＡの像平面ｉに平行な直径を特定する２つ
の点S,Tを求めて、像平面ｉでの像点間の距離と円の直
径2rとの比から、中心点Ｃの座標を決定するようにして
いる。 さらに、本実施例では三次元空間上の円の任意の直径
の像から２個以上の消失点を求めている。この消失点を
中心点の像Ciと結ぶ線のいずれもが、それぞれ物体空間
での実際の円の直径の方向に一致していることを利用し
て、ターゲットマークＡの円を含む平面に対する法線ベ
クトルZtが求められる。この場合に、ターゲットマーク
Ａの円の半径の値は分からなくても、ターゲットマーク
Ａを含む平面の方向が決定できる。 以下、以上に説明した原理を更に詳しく説明する。 図57は、カメラ20の基準座標におけるターゲットマー
クＡとその像との関係を示す図である。半径ｒの円とそ
の中心点とからなるターゲットマークＡから、円の像Ai
と中心点Ｃの像点Ciとが得られたとき、像点Ciを通る２
本の直線を考える。この直線と円の像Aiとの交点を求め
れば、ターゲットマークＡの位置と姿勢が求められる。
この理由は、図57に基づいて説明する。 図57には、視点Ｏと円の像Aiとから決定される斜円錐
を、視点ＯとターゲットマークＡの直径の内の任意の２
点U,Vとを含む平面で切った断面が示されている。ここ
で点Ｕ、点Ｖ、及び点Ｃのベクトルは、それぞれ次の式
（45）〜（47）で表すことができる。 （OU）＝ｓ（OUi） ……（45） （OV）＝ｔ（OVi） ……（46） （OC）＝ｕ（OCi） ……（47） ここで（OU）などは点Ｏを始点、点Ｕ等を終点とする
ベクトルを示し、s,t,uはスカラー量である。また、図5
7において点U,Vが円周上の点であって、Ｃが円の中心点
であるから、 （UC）＝（CV） ……（48） |UC|＝ｒ ……（49） が成り立つ。これらの式から分かるように、像平面ｉ内
での点Ui、点Vi、及び点Ciの座標値が決まれば、それら
に対応するスカラー量s,t,uは決定されるから、点Ｕ、
点Ｖ、及び点Ｃの座標値が決まる。同様にして、像点Ci
を通る別の直線に対応するターゲットマークＡの円周上
の点の座標値を決定すれば、ターゲットマークＡの位置
と姿勢とが一意的に決定できる。 図58は、像平面ｉに投影されたターゲットマークＡの
円と中心点との画像を示す図である。 カメラ20が物体１のターゲットマークＡの面に正対し
ている場合を除けば、常にターゲットマークＡの円は像
平面ｉに楕円の画像Aiを投影する。ターゲットマークＡ
の円とその中心点Ｃを通る直線ｍとの交点S,Tの像点をS
i,Tiとすれば、中心点Ｃの像点Ciによって２等分される
線分は１つだけ存在し、かつそれは容易に画像処理プロ
セッサ５によって像点Si,Tiとして抽出される。また、
像点Ciの座標を（x0,y0）とすれば、中心点Ｃの座標値
は、円の直径2rと像平面ｉでの像点Si,Ti間の距離との
比ｐによって、次のように決定される。 Ｃ（px0,py0,pf） ……（50） こうして演算パラメータを著しく少なくすることがで
きるから、簡単な計算だけで、精度良くターゲットマー
クＡの位置を計測できる。 ターゲットマークＡの姿勢を計測する別の方法につい
て、次に説明する。 図59は、１直線上の４点が像平面ｉに投影されたとき
の消失点を決定する方法を示す図である。１直線上の４
点a,b,c,dについて、複比ＲをＲ（a,b,c,d）と表せば、
複比は Ｒ（a,b,c,d）＝（ac/bc）／（ad/bd） ……（51） と定義させ、像平面ｉに投影された４点ai,bi,ci,diに
ついての複比Ｒ（ai,bi,ci,di）と等しくなる。複比
は、一般に投影によっても保存されるからである。い
ま、距離の分かっている一直線上の３点とその像点が与
えられているとすれば、それらの複比Ｒが互いに等しい
という関係を利用して、像平面ｉ上での消失点を次のよ
うにして決定することができる。 （ac/bc）／（ad/bd）＝（aici/bici）／（aidi/bidi） ……（52） ここで、点ｄを一直線上で無限大にもっていくと、 di＝（ai＊bici＊ac−bi＊aici＊bc）／ （bici＊ac−aici＊bc） ……（53） このdiが像平面ｉ上での消失点の座標値である。ただ
し、a,bなどはその点の座標値を表し、ab,aiciなどは２
点間の距離を表している。 ここで、点a,b,cの代わりにターゲットマークＡの点
U,C,Vを与えると、それらの間の距離はいずれも半径値
ｒとして既知の値であるから、任意の直径を構成する円
周上の２点と円の中心点Ｃとの像空間内での座標値から
消失点を一義的に決定できる。そして、視点Ｏからこの
消失点に至る線分の方向は、ターゲットマークＡの円周
上の点U,Vを結ぶ線分の方向に一致する。もっとも、上
の式で距離ac,bcに対応する値はいずれもｒとなるか
ら、分子分母で打ち消される結果、ターゲットマークＡ
の円の半径値は既知でなくても良い。 こうして、像空間内でターゲットマークＡの円の直径
を構成する円周上の任意の２点を結ぶ直線の投影画像に
ついての消失点が２個以上求められると、ターゲットマ
ークＡの円を含む平面内での２本の直径方向ベクトルか
ら、ターゲットマークＡの法線ベクトルZt（図56参照）
を求めることにより、物体１の姿勢が決定できる。 つぎに、ターゲットマークＡの法線ベクトルZtが分か
っている場合に、精度良くターゲットマークＡの位置を
計測するやり方について説明する。 図60はターゲットマークＡの画像Aiからターゲットマ
ークＡの姿勢を求める方法を示す図である。像平面ｉで
中心点Ｃの像点Ciを通り、線分SiTiとは異なる２本以上
の直線を想定し、円の投影画像Aiとの交点からそれぞれ
２個以上の消失点を求める。これら消失点からは、上述
した複比の性質に基づいて特定の消失線が決定される。
この消失線は、図60のベクトルＤのような、物体空間の
ターゲットマークＡの像平面ｉに平行な直径となる直線
ｍと平行なベクトルを決定する。これによって、ターゲ
ットマークＡの法線ベクトルが決定される。 また、図60において消失線に平行なベクトルＤから線
分SiTiが求まると、像点Ciの座標から、中心点Ｃの座標
値は、円の直径2rと像平面ｉでの像点Si,Ti間の距離と
の比ｐによって、Ｃ（px0,py0,pf）と決定される。 さらに、ターゲットマークＡの像平面ｉで線分SiTiを
抽出する場合、物体空間の軸Ztの方向、すなわちターゲ
ットマークＡの法線ベクトルが分かっていれば、像平面
ｉの法線ベクトルとの外積によっても、ベクトルＤと同
様にターゲットマークＡの像平面ｉに平行な直径方向ベ
クトルが求められる。 図61は、ターゲットマークＡの一例を示す図である。
このターゲットマークＡは、直交する２本の直径により
４つの領域に区分された円からなり、その中心点を特定
するために、交互に白と黒に塗り分けられている。中心
点を特定するために、一定の面積をもった点で表示すれ
ば、その重心を中心点として抽出する必要が生じる。し
かし、重心が必ずしも中心点と一致しないために、従来
では特徴点の抽出の段階で一定の誤差が発生していた。 本実施例のターゲットマークＡのように、２本の境界
線の交点によって中心点を特定することにより、中心点
を感度良く抽出できるから、ノイズの影響を受けずに、
画像処理プロセッサ５において特徴点の抽出が安定して
行われる。なお、中心点を単に２本の直径の交点などで
特定するだけであっても、中心点の抽出精度の向上が期
待できる。 以上説明したように、本実施例ではターゲットマーク
に物体の姿勢に依存しない円とその中心点とを含むもの
を使用しているので、安定した精度で位置と姿勢の計測
ができる。また、位置と姿勢の計測にあたって、使用す
るパラメータが少なくてすむために、簡単な計算で正確
な計測が可能になる。 つぎに、やはり３角形のターゲットマークを使用しな
い他の実施例を説明する。 図62は、対象物に設けられるターゲットマークの第１
の例を示す平面図である。すなわち、ターゲットマーク
は、平面状の白地230に黒色（ハッチング部）の４つの
円板状のマーク231〜234が、互いに各所定の距離だけ離
れて配置されたものである。マーク231〜234の半径は少
なくとも１つが他と異なっている。こうしたターゲット
マークを対象物に設置する。なお、必ずしも、ターゲッ
トマークの白地230が平面である必要はないが、平面で
ないときは、４つの円板状のマーク231〜234の各重心位
置が平面上に位置するようにする必要がある。 こうしたターゲットマークを、図示はしないが、マニ
ュピレータの先端に取り付けられた小型CCDカメラで撮
影し、その画像データを距離姿勢演算装置により処理す
る。 図63は、この距離姿勢演算装置により行われる第１の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第１の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S71〕カメラからマーク231〜234に関する画像データ
を入力する。 〔S72〕入力した画像データを白黒反転させた上で２値
化する。 〔S73〕２値化されたデータを基に、ラベリングを行
う。すなわち、図64（Ａ）に示すように、例えば、マー
ク231にラベル４を、マーク232にラベル６を、マーク23
3にラベル７を、マーク234にラベル３を付す。そして、
図64（Ｂ）に示すように、同一ラベル番号を付された領
域における画素（ピクセル）数をカウントする。 〔S74〕マーク選択範囲の中から、これらのカウントさ
れた画素数が一番大きいラベル番号を有するマークを選
択する。マーク選択範囲に、最初に、４つのマーク231
〜234全てが含まれ、したがって、図64（Ｂ）の画素数8
500のラベル番号３を付されたマーク234が選択される。
なお、このステップで選択されたマークは、次回以降の
本ステップ実行のときにはマーク選択範囲の中から除か
れる。そのため、次回の本ステップ実行のときには、画
素数5120のマーク232が選択され、同様に、その次の３
回目の本ステップ実行のときには、画素数5114のマーク
233が選択され、４回目の本ステップ実行のときには、
残ったマーク231が選択される。 〔S75〕図65に示すように、ステップS74で選択されたマ
ーク、例えばマーク234に対して、Ｘ方向およびＹ方向
の投影ヒストグラム処理を行い、Ｘ方向の投影ヒストグ
ラム235およびＹ方向の投影ヒストグラム236を得る。 〔S76〕これらのＸ方向の投影ヒストグラム235およびＹ
方向の投影ヒストグラム236の荷重平均Xo,Yoを求め、こ
れらを、マーク234のＸ方向の重心位置アドレス、およ
びＹ方向の重心位置アドレスとする。 〔S77〕４つのマーク231〜234全てに対し、上記ステッ
プS75,S76を実行し終えたならば、ステップS78へ進み、
未完了であればステップS74へ戻る。 〔S78〕算出された４つのマーク231〜234の各重心位置
を基に、各重心の配置を特定し、４点透視問題を解き、
対象物までの距離および対象物の姿勢を演算する。この
４点透視問題の解き方については、最後に詳しく説明す
る。なお、４つの円の半径のうち、少なくとも１つが他
と異なれば、４つの円の重心の配置は一意に決定でき
る。 以上のように、対象物に設けた４つの円板状マーク23
1〜234を基に、それらの重心位置を求めるようにしたの
で、４つのマーク位置が正確に特定でき、対象物までの
距離や対象物の姿勢を、精度よく、かつ簡単に計測する
ことが可能となる。 図66は、対象物に設けられるターゲットマークの第２
の例を示し、（Ａ）はその平面図、（Ｂ）は（Ａ）に示
される矢印C,D方向からみたターゲットマークの断面図
である。すなわち、ターゲットマークは、箱状体240か
ら成り、白地の上面板246にマークとなる２つの円形孔2
41,242（以下、マーク241,242という）が設けられ、底
板245にはマークとなる白く着色された２つの円板243,2
44（以下、マーク243,244という）が設けられる。マー
ク241,242は互いに半径が異なり、また、マーク243,244
は、マーク241,242よりもそれぞれ小さい半径を有する
とともに、マーク241,242の各真下に配置される。箱状
体240内部は黒色に着色されている。こうしたターゲッ
トマークを対象物に設置する。 こうしたターゲットマークを、図示しないが、マニュ
ピレータの先端に取り付けられた小型CCDカメラで撮影
し、その画像データを距離姿勢演算装置により処理す
る。 図67は、この距離姿勢演算装置により行われる第２の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第２の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S81〕カメラからマーク241〜244に関する画像データ
を入力する。 〔S82〕入力した画像データを白黒反転させた上で２値
化する。 〔S83〕２値化されたデータを基にラベリングを行う。
そして、同一ラベル番号を付された領域における画素数
をカウントする。 〔S84〕大円であるマーク241,242のうちから、これらの
カウントされた画素数が大きいラベル番号を有するマー
クを選択する。なお、このステップの次回の実行のとき
には、大円であるマーク241,242のうちから、カウント
された画素数が小さいラベル番号を有するマークを選択
する。 〔S85〕図68（Ａ）に示すように、ステップS84で選択さ
れたマーク、例えばマーク242、およびこのマーク242内
に位置するマーク244に対して、Ｘ方向およびＹ方向の
投影ヒストグラム処理を行い、Ｘ方向の投影ヒストグラ
ム247およびＹ方向の投影ヒストグラム248を得る。 〔S86〕これらのＸ方向の投影ヒストグラム247およびＹ
方向の投影ヒストグラム248の分布荷重を求め、これら
を、それぞれAx,Ayとする。 〔S87〕Ｘ方向の投影ヒストグラム247およびＹ方向の投
影ヒストグラム248における各２つのピークを抽出し、
それらのX,Y座標値を求める。 〔S88〕ステップS87で求められたピークのX,Y座標値で
囲まれる範囲よりも少し外側の範囲に、図68（Ａ）のマ
ーク244付近を拡大した図68（Ｂ）に示すように、マス
ク249を設定する。 〔S89〕図68（Ｂ）に示すように、ステップS88で設定さ
れたマスク249内のデータを白黒反転させた上で、Ｘ方
向およびＹ方向の投影ヒストグラム処理を行い、Ｘ方向
の投影ヒストグラム250およびＹ方向の投影ヒストグラ
ム251を得る。そして、これらのＸ方向の投影ヒストグ
ラム250およびＹ方向の投影ヒストグラム251の分布荷重
を求め、これらを、それぞれBx,Byとする。 〔S90〕ステップS86で算出した分布荷重Ax,Ay、および
ステップS89で算出した分布荷重Bx,Byをそれぞれ合算し
て、Ax＋Ay,Bx＋Byを求め（これらは、大円であるマー
ク242だけの分布荷重となっている）、これらを基にマ
ーク242のＸ方向およびＹ方向の荷重平均をそれぞれ求
めて、マーク242だけのＸ方向の重心位置アドレス、お
よびＹ方向の重心位置アドレスとする。 〔S91〕ステップS89で算出した分布荷重Bx,By（これら
は、小円であるマーク244だけの分布荷重となってい
る）を基にマーク244のＸ方向およびＹ方向の荷重平均
をそれぞれ求めて、マーク244のＸ方向の重心位置アド
レス、およびＹ方向の重心位置アドレスとする。なお、
これらのマーク244のＸ方向の重心位置アドレスおよび
Ｙ方向の重心位置アドレスは、マーク244をカメラ方向
へ投影してマーク242の平面で得られる投影図形におけ
る重心位置のアドレスとなっている。 〔S92〕２つのマーク241,242に対し、上記ステップS85
〜S91を実行し終えたならば、ステップS93へ進み、未完
了であればステップS84へ戻る。 〔S93〕算出された４つのマーク241〜244の各重心位置
を基に、４点透視問題を解き、対象物までの距離および
対象物の姿勢を演算する。この４点透視問題の解き方に
ついては、最後に詳しく説明する。 以上のように、４つのマーク241〜244を、対象物に設
けるようにしたので、カメラが円板状マークの設けられ
た対象物に正対した場合でも分解能を低下させることな
く、対象物までの距離やその姿勢を、精度よく計測でき
る。 図69は、対象物に設けられるターゲットマークの第３
の例を示す平面図である。図中、ターゲットマークのマ
ーク261〜264は、図66に示す第２実施例のターゲットマ
ークのマーク241〜244と同一な構成であり、マーク261,
262,265,266は図62に示す第１実施例のターゲットマー
クのマーク231〜234と同一な構成である。こうしたター
ゲットマークを対象物に設置する。 こうしたターゲットマークを、図示しないが、マニュ
ピレータの先端に取り付けられた小型CCDカメラで撮影
し、その画像データを距離姿勢演算装置により処理す
る。 図70は、この距離姿勢演算装置により行われる第３の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第３の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S101〕カメラからマーク261〜266に関する画像データ
を入力する。 〔S102〕入力した画像データを白黒反転させた上で２値
化する。 〔S103〕２値化されたデータを基にラベリングを行う。
そして、同一ラベル番号を付された領域における画素数
をカウントする。 〔S104〕これらのカウントされた画素数が１番目および
２番目に大きいラベル番号を有するマーク２つ、即ちマ
ーク261,262を選択する。 〔S105〕ステップS104で選択されたマーク261,262、お
よびこれらのマーク261,262内に位置するマーク263,264
に対して、立体マーク検出法、すなわち、図67のステッ
プS84〜ステップS92の処理と同一の処理を実行する。 〔S106〕ステップS105の実行により、４つの重心が検出
できたならば、ステップS109へ進み、一方、カメラの視
線が円板状マークに対して大きく傾き、マーク263,264
がマーク261,262ひ隠れて見えなくなり、検出できない
ならば、ステップS107へ進む。 〔S107〕平面260上に配置されたマーク261,262,265,266
を選択する。 〔S108〕ステップS107で選択されたマーク261、262,26
5,266に対して、図63のステップS74〜ステップS77の処
理と同一の処理を実行する。 〔S109〕ステップ105で算出された４つのマーク261〜26
4の各重心位置を基に、またはステップS108で算出され
た４つのマーク261,262,265,266の各重心位置を基に、
４点透視問題を解き、対象物までの距離および対象物の
姿勢を演算する。この４点透視問題の解き方について
は、以下に詳しく説明する。 以上のように、通常は、分解能のよいステップS105の
立体マーク検出法を適用するが、カメラの視線が円板状
マークに対して大きく傾くと、マーク263,264がマーク2
61,262に隠れて見えなくなり、２つの重心位置が検出で
きなくなるので、その場合には、ステップS108の検出法
を適用する。 つぎに、４点透視問題（アルゴリズム）の解き方につ
いて説明する。 図71は、対象物に固定された座標系とカメラに固定さ
れた座標系とを示す図である。まず、基準となる座標系
をカメラの画像面271上に設定する。このとき、原点Ｏ
は、光軸272と画像面271とが交わる位置にとり、視線方
向（光軸272方向）をＺ軸、視線に向かって左をＸ軸、
上方をＹ軸とする右手系座標を設定する。また、焦点27
3は、Ｚ軸の負の方向に距離ｆだけ離れた点に存在する
として、モデル化を行う。実際の透視変換マトリクス
は、実際のレンズ系を考慮する必要があるが、ここで
は、シンプルなモデル化を行なった。 対象物の座標系としては、計測に利用する４つの特徴
点（前述の重心位置）のうちの一点を、対象物座標原点
ORとする。４点が存在する平面274の法線方向をZR軸と
し、XR,YR軸に関しては、座標系が右手系を構成するよ
うにとる。このように構成した座標系において、原点OR
から他の３つの特徴点への３本のベクトルをそれぞれ、
Ａ（a1,a2,0）,B（b1,b2,0）,C（c1,c2,0）とする（各
点はXR YR平面内に存在する）。 また、各特徴点OR,A,B,Cの画像面271上への投影点
は、O1,α，β，γであり、原点Ｏから各投影点までの
ベクトルを、O1（o1,o2,0），α（α1,α2,0），β（β
1,β2,0），γ（γ1,γ2,0）とする。以上により、各特
徴点OR,A,B,Cと、画面271上の投影された投影点O1,α，
β，γとの、各座標系に対する表現が可能になる。 つぎに、各特徴点OR,A,B,Cと、画面271上の投影され
た特徴点（投影点）O1,α，β，γとの間の座標変換に
ついて、説明する。 まず、対象物座標原点ORからのベクトルA,B,Cと、画
像面上での特徴点ベクトルα，β，γとを結びつける変
換行列を求める。以後、ベクトルは、第４成分を１に規
格化した同次座標表示によって表現する。 図71に示すように、座標系OR−XR YR ZRは、座標系Ｏ
−XYZをＸ軸方向にｓ、Ｙ軸方向にｔ、Ｚ軸方向にｕだ
け平行移動し、さらにそれを回転させたものと理解でき
る。よって、ベクトルA,B,Cとベクトルα，β，γと
は、平行移動および回転を表す変換行列Ｔと、透視変換
Pz Pを表す変換行列との積による行列で結びつく。 すなわち、次式（54）が成り立つ。 Ｉ＝Pz PTU・IR ……（54） ここに、Ｕは、単位の変換行列であり、また、IRは座
標系OR−XR YR ZRで表示されたベクトルであり、Ｉはそ
れをXY面に透視変換したベクトルを座標系Ｏ−XYZで表
示したものである。Pz,P,T,Uは、それぞれ次のような行
列である。 ただし、ｐは、ｐ＝f/F（f:画素数で表される焦点距
離、Ｆ＝メートル等の単位で表される焦点距離）で表さ
れ、単位長さ当たりの画素数である。 ここで、Ｔは、座標系OR−XR YR ZRおよび座標系Ｏ−
XYZの間の平行移動・回転を表し、Ｐは焦点距離ｆの透
視変換、PzはXY面への投影変換を表す。なお、座標系OR
−XR YR ZRのXR軸、YR軸、ZR軸の各単位ベクトルを座標
系Ｏ−XYZで成分表示すると次のようになる。 nXR＝（n11,n21,n31）Ｔ ……（59） nYR＝（n12,n22,n32）Ｔ ……（60） nZR＝（n13,n23,n33）Ｔ ……（61） ここで、式（55）〜（58）を基にPz PTUを計算する
と、結局、次の変換式（62）が得られる。 ただし、ｒ＝1/fとする。 ところで、変換式（62）において、ベクトルIRにベク
トルA,B,Cを、ベクトルＩにベクトルα，β，γを代入
する。すなわち、 これらのうち、式（62），（63），（66）より、次式
（69）が得られる。 まとめると、次式（70）となる。 式（70）は同時座標表示であるため、次式（71）のよ
うに変形できる。 ここで、対象物座標原点ORの投影点O1は、つぎのよう
に表すことができる。 o1＝s/（ru−１） ……（73） o2＝t/（ru−１） ……（74） 式（71）の両辺を比較し、式（73），（74）を代入
し、整理すると、次式（75），（76）となる。 （α１−o1）（ｕ−ｆ）/p＝（f a1 n11＋f a2 n12 −α1 a1 n31＋α1 a2 n32 ……（75） （α２−o2）（ｕ−ｆ）/p＝（f a1 n21＋f a2 n22 −α2 a1 n31＋α2 a2 n32 ……（76） ここで、式（62），（64），（67）、および式（6
2），（65），（68）についても同様に変形整理する
と、以下のようになる。 （β１−o1）（ｕ−ｆ）/p＝（f b1 n11＋f b2 n12 −β1 b1 n31＋β1 b2 n32 ……（77） （β２−o2）（ｕ−ｆ）/p＝（f b1 n21＋f b2 n22 −β2 b1 n31＋β2 b2 n32 ……（78） （γ１−o1）（ｕ−ｆ）/p＝（f c1 n11＋f c2 n12 −γ1 c1 n31＋γ1 c2 n32 ……（79） （γ２−o2）（ｕ−ｆ）/p＝（f c1 n21＋f c2 n22 −γ2 c1 n31＋γ2 c2 n32 ……（80） 以上の式を整理すると、つぎのような線型方程式（8
1）が得られる。 ここで、式（81）中の６×６のマトリクスを計測マト
リクスＭとすると、式（81）から、つぎのようになる。 ここで、nXR＝（n11,n21,n31）T,nYR＝（n12,n22,
n32）Ｔは、式（82）から求めることができる。また、
s,t,uは、以下のようにして求める。 まず、nXRのノルムは、単位ベクトルであるので、 （n11）２＋（n21）２＋（n31）２＝１ ……（83） となり、式（82）からＱが導かれ、以下となる。 （n11 2＋n21 2＋n31 2）（p/（ｕ−ｆ））２＝Ｑ ……（84） よって、 p/（ｕ−ｆ）＝Ｑ1/2 ……（85） となり、式（73），（74），（85）から、 ｕ＝p/Q1/2＋ｆ ……（86） ｓ＝po1/fQ1/2 ……（87） ｔ＝po2/fQ1/2 ……（88） となる。 以上により、式（82），（86），（87），（88）か
ら、座標系OR−XR YR ZRと座標系Ｏ−XYZとの間の変換
式が、すべて決定され、次式（89）で表すことができ
る。 Ｉ＝TIR ……（89） ここで、Ｔを変換マトリクスと呼び、Ｔは次式（90）
で与えられる。 ただし、（n13,n23,n33）Ｔ＝nXR×nYRとする。 なお、XRは、画素数に変換されているものとする。 以上の定式化を行い、特徴点OR,A,B,Cの空間配置が決
定され、導出した変換マトリクスＴにより、対象物まで
の距離および対象物の姿勢を表現できる。 なお、このようなマトリクスの表現形式では、特に、
操作者に対象物の姿勢を直観的に示すことができないの
で、ロボットの姿勢表現で一般的と考えられているroll
−pitch−yaw表現形式に、または、宇宙関係でしばしば
使用される４元数表現形式に変換するようにする。 以上説明したように本実施例では、対象物に設けた４
つの円板状マークを基に、それらの重心位置を求めるよ
うにしたので、４つのマーク位置が正確に特定でき、し
たがって、対象物までの距離やその姿勢を、精度よく、
かつ簡単に計測することが可能となった。 また、円板状の４つのマークからなる立体マークを対
象物に設けるようにしたので、撮影手段が円板状マーク
の設けられた対象物に真っ正面から対向（正対）した場
合でも分解能を低下させることなく、対象物までの距離
やその姿勢を、精度よく計測できる。 さらに、通常は、立体マークを用いて、分解能を低下
させることなく、対象物までの距離やその姿勢を、精度
よく計測し、一方、撮影手段の視線が円板状マークに対
して大きく傾いて、小円マークが大円マークに隠れて見
えなくなったときには、平面状の４つの円板状マークを
用いて、立体マークの欠点を補うようにした。
xの大きさや大小関係から分類したものである。なお、
この中で太枠で囲んで示す姿勢パターンは、特異的に値
Xg,Yg,Xm,Ym,Hy,Hxによって分類することが不可能とな
るものである。 前述のように、３角形の画像のX,Y方向の実測投影ヒ
ストグラムを用いて、重心Ｇの座標（Xg,Yg）と、ヒス
トグラム値が最大になるX,Y座標値Xm,Ym、およびそのと
きの最大値Hy,Hxとが求められたときに、これらの値を
図50に示す分類と照合することによって、実測されたタ
ーゲットマークの３角形がどの姿勢パターンであるかを
知ることができる。さらに、上記式（17）〜（40）によ
って、その回転角θが幾らであるかも知ることができ
る。 ただし、図50において太枠で囲んで示す姿勢パターン
に関しては、２者のいずれであるか特定できない。その
ため、この場合には、カメラをロール方向に僅か回転さ
せて、太枠外の姿勢パターンにし、その後再び、回転角
θの検出を行うようにする。 こうして検出された回転角θを用いて、前述のロール
方向ずれ量Lrollの検出を行うようにする。 なお、３角形と背後の円とから構成されるターゲット
マークにおける３角形の重心Ｇの座標（Xg,Yg）を算出
する簡単な方法を、次に示す。 まず、ターゲットマークの画像の実測投影ヒストグラ
ムを基にターゲットマーク画像の重心座標（Xag,Yag）
を求め、また、既知のターゲットマークの円の面積Scと
３角形の面積Stとを基に、それらの比γ（＝St/Sc）を
求める。なお、前述のようにターゲットマークの円の画
像の中心位置を（Xcg,Ycg）とする。 このとき、次式（41），（42）が成り立つ。 Xag＝（γ・Xg＋Xcg）／（１＋γ） （41） Yag＝（γ・Yg＋Ycg）／（１＋γ） （42） これらを変形して、 Xg＝〔（１＋γ）Xag−Xcg）〕／γ （43） Yg＝〔（１＋γ）Yag−Ycg）〕／γ （44） を得る。したがって、ターゲットマーク画像の重心座標
（Xag,Yag）と、ターゲットマークの円の面積Scと３角
形の面積Stとの比γ（＝St/Sc）とから、ターゲットマ
ークの３角形の重心Ｇの座標（Xg,Yg）を簡単に算出す
ることができる。 以上の実施例では、ターゲットマークの鋭角２等辺３
角形の頂角が、45度より小さい場合の３角形のロール回
転を説明したが、この頂角が45度以上で60度より小さい
場合の３角形のロール回転に関しても、図48〜50に示し
た分類が少し変更になるものの、基本的には同じ発想に
より回転角θが検出可能である。 以上のように、特定な形状の３角形のターゲットマー
クを使用し、３角形の画像のX,Y方向の実測投影ヒスト
グラムを用いて、３角形の画像の重心Ｇの座標（Xg,Y
g）と、ヒストグラム値が最大になるX,Y座標値Xm,Ym、
およびそのときの最大値Hy,Hxとを求め、予め分類され
た姿勢パターンから３角形の姿勢を回転角として求める
ようにする。これにより、広範囲のロール回転角の検出
が安定して行われ得るようになり、また、ロール回転角
のずれ量が正確に検出できるので、位置ずれ補正の補正
時間が少なくてすむようになる。また、上記の検出値X
g,Yg,Xm,Ym,Hy,Hxは、画像処理の上では非常に簡単に検
出できる値である。したがって、境界線抽出を行い、タ
ーゲットマークの３角形の各辺の長さを求め、それらの
比等から画像上の３角形の姿勢を特定するような複雑な
処理を必要とする公知の方法に比べ、３角形の姿勢の特
定が非常に容易となる。 なお、以上の実施例では、図51（Ａ）に示すように、
汎用の画像処理装置を使用している。すなわち、カメラ
からの１フレーム分の画像スキャンデータを、バスを経
由して与えられる各コマンドに従い、ストア処理をして
フレームメモリ301に格納し、次にウィンドウ設定処理
してフレームメモリ302に格納し、次に２値化処理をし
てフレームメモリ303に格納し、最後に投影ヒストグラ
ム処理をしてヒストグラムメモリ304に格納する。そし
て、このヒストグラムメモリ304に格納されたデータがC
PUに読み出され、位置ずれ検出が行われる。 ところで、こうした汎用の画像処理装置を使用した場
合、ストア、ウィンドウ設定、２値化、投影ヒストグラ
ムの各処理毎に１フレーム分のメモリ書き込みおよび読
み出しをする必要があり、それらに要する各時間が、バ
スのアクセス時間を考えると50ms程度必要となる。その
ため、汎用の画像処理装置では、１フレーム分の投影ヒ
ストグラムデータを得るには少なくとも200msは必要で
あった。しかし、高速で移動するターゲットマークの追
跡に対しては、もっと高速な処理が求められる。そこ
で、高速な処理を可能にした画像処理装置の実施例を下
記に示す。 図51（Ｂ）は投影ヒストグラムデータを得るための処
理を高速化した画像処理装置の実施例の原理を説明する
図である。すなわち、本実施例では、ストア、ウィンド
ウ設定、２値化、投影ヒストグラムの各処理を、フレー
ムメモリを使用することなく同時に行ない、そうして得
られた投影ヒストグラムデータをヒストグラムメモリ30
5に格納するようにする。 図53は図51（Ｂ）に示した実施例の具体的なブロック
図である。また、図54は、図53の各ブロックにおける信
号波形を示すタイミングチャートであり、これを以下の
図53の実施例の説明時に随時参照する。 クランプ部308を経て映像信号〔図54（Ａ）〕がアナ
ログのコンパレータ311へ入力し、また、コンパレータ3
11への、バスからの所定のスライスレベルのデータがDA
コンバータ310でアナログ値に変換されて入力される。
コンパレータ311は、スライスレベルを越えた映像信号
により２値化パルス信号〔図54（Ｄ）〕を出力する。一
方、同期分離部309では映像信号から垂直同期信号およ
び水平同期信号〔図54（Ｂ）〕を取り出し、ウィンドウ
判断部312へ出力する。 このウィンドウ判断部において、Ｘ方向のウィンドウ
判断は水平同期信号の入力で、12MHzのドットクロック
〔図54（Ｃ）〕のカウントを開始し、そのカウント値を
バス経由でCPUから設定したウィンドウ位置を示すデー
タと照合することにより行う。また、Ｙ方向のウィンド
ウ判断は垂直同期信号の入力で、水平同期信号をカウン
トし、Ｘの場合と同様にウィンドウ位置と照合すること
により行う。ウィンドウ判断部の出力〔図54（Ｅ）〕
は、Ｘ側のウィンドウ内信号とＹ側のウィンドウ信号の
論理積をとったものである。 AND回路313は、２値化パルス信号〔図54（Ｄ）〕とウ
ィンドウ内信号〔図54（Ｅ）〕との論理積であるAND出
力〔図54（Ｆ）〕を出力する。このAND出力はウィンド
ウ内における２値化信号を示し、ヒストグラム処理部31
6は、このAND出力が「１」の間だけドットクロック〔図
54（Ｃ）〕カウントすることで、ヒストグラム値を得る
ようにする。得られたＸおよびＹ方向のヒストグラム
は、それぞれＸ方向の記憶部（Ｍ）317およびＹ方向の
記憶部（Ｍ）318に記憶される。CPUはバスを介してこれ
ら記憶部317,318のヒストグラムデータを読み出す。ま
た、AND出力は表示部314を介して画像モニタ315へ出力
される。 上記のウィンドウ比較、ストア、２値化、投影ヒスト
グラムの各処理は、水平スキャンの間に行われ、また、
垂直帰線期間中にヒストグラム値が記憶部317,318に格
納される。すなわち、ウィンドウ比較、ストア、２値
化、投影ヒストグラムの各処理、およびヒストグラム値
の格納という一連の処理が、次フレームの画像スキャン
が開始されるまでの間に完了してしまう。 以上のように、汎用の画像処理装置の場合にはトラッ
キングアルゴリズムに不必要なフレームメモリへのアク
セスを繰り返し、そのため、投影ヒストグラムを１回求
めるのに少なくとも200msの処理時間を要するのに対
し、この実施例の画像処理装置では、フレームメモリを
必要とせず、したがって、フレームメモリへのアクセス
等が不要となり、１フレーム（33ms）の処理時間で澄む
ようになる。すなわち、大幅な高速化を実現でき、高速
で移動するターゲットマークに対する追跡が可能とな
る。 また、このハードウェアではラベリング処理ができな
いので、図52のようにウィンドウ307を画面内306におい
て高速に移動させ、そのウィンドウ内の投影ヒストグラ
ムを調べることによりターゲットマークのサーチを行
う。 以上の実施例では、ターゲットマークは３角形の形状
を有していることが必要であったが、次に、３角形の形
状を持たないターゲットマークを認識する実施例につい
て説明する。 図55は、この実施例の構成を示すブロック図である。
この図55において、たとえばロボット作業に際して、ロ
ボットハンドによって把持される作業対象物（以下、単
に物体という）１は、三次元空間内で任意の位置と姿勢
にある。この物体１の位置、姿勢を計測する計測装置に
は、１台のカメラ20によって撮像されたターゲットマー
クＡの像がカメラインタフェース３から入力される。本
実施例の位置、姿勢の計測装置は、このターゲットマー
クＡの画像データに基づいて物体の位置と姿勢を計測す
るものである。 ターゲットマークＡは、物体１の特定平面上にあって
円とその中心点とを含んでいる。このターゲットマーク
Ａはカメラ20で撮像され、円とその中心点との画像が作
成される。カメラインタフェース３は画像メモリ４、画
像処理プロセッサ５に画像バス６によって接続されてい
る。ターゲットマークＡの画像は、例えば画像メモリ４
などに一旦記憶され、画像処理プロセッサ５によって物
体１の位置と姿勢の計測に必要な特徴点が抽出される。 CPU7及び主メモリ８は、物体１の位置及び姿勢を演算
する演算手段であって、像空間から抽出された特徴点に
関する射影幾何学演算を行うことによって、ターゲット
マークＡの物体空間内での位置及び姿勢を算出できる。
この演算手段は、コントロールバス９を介して画像処理
プロセッサ５等に接続されている。 図56は、ターゲットマークＡによる位置、姿勢の計測
の原理を示す図である。ターゲットマークＡは半径ｒの
円とその中心点Ｃから構成される。図56には、このター
ゲットマークＡから、カメラ20の画像面である像平面ｉ
に投影画像Ai,Ciが透視された状態を示す。ここでは視
点Ｏがカメラ20のレンズ中心であって、本来なら像平面
ｉはＺ軸方向で負の側に位置するが、物体空間と像空間
とを明瞭に対応させるために、正の側に描いている。ｆ
は、カメラ20のレンズの焦点距離である。また、X,Y,Z
はカメラ20の基準座標であり、Xt,Yt,Ztはターゲットマ
ークＡの中心点Ｃを原点とする物体空間の基準座標であ
る。 いま、ターゲットマークＡのカメラ20に対する姿勢
は、Yt軸上の直線ｍの周りに少し回転した姿勢であり、
直線ｍとターゲットマークＡの円周との交点S,Tを結ぶ
直径方向ベクトルが像平面ｉに平行になっている。ター
ゲットマークＡの円の像Aiと中心点Ｃの像Ciとから、画
像処理プロセッサ５は所定の特徴点を抽出して、CPU7に
よってターゲットマークＡの位置と姿勢を計測する。本
実施例では、半径が既知である円とその中心点との投影
像から、三次元空間上での円の位置と姿勢が一意的に決
まることを利用している。 また、本実施例では三次元空間上の円を投影した場合
に、物体空間の円の直径をなす直線のうち少なくとも１
つの直線は、像平面と平行になることを利用して、ター
ゲットマークＡの像平面ｉに平行な直径を特定する２つ
の点S,Tを求めて、像平面ｉでの像点間の距離と円の直
径2rとの比から、中心点Ｃの座標を決定するようにして
いる。 さらに、本実施例では三次元空間上の円の任意の直径
の像から２個以上の消失点を求めている。この消失点を
中心点の像Ciと結ぶ線のいずれもが、それぞれ物体空間
での実際の円の直径の方向に一致していることを利用し
て、ターゲットマークＡの円を含む平面に対する法線ベ
クトルZtが求められる。この場合に、ターゲットマーク
Ａの円の半径の値は分からなくても、ターゲットマーク
Ａを含む平面の方向が決定できる。 以下、以上に説明した原理を更に詳しく説明する。 図57は、カメラ20の基準座標におけるターゲットマー
クＡとその像との関係を示す図である。半径ｒの円とそ
の中心点とからなるターゲットマークＡから、円の像Ai
と中心点Ｃの像点Ciとが得られたとき、像点Ciを通る２
本の直線を考える。この直線と円の像Aiとの交点を求め
れば、ターゲットマークＡの位置と姿勢が求められる。
この理由は、図57に基づいて説明する。 図57には、視点Ｏと円の像Aiとから決定される斜円錐
を、視点ＯとターゲットマークＡの直径の内の任意の２
点U,Vとを含む平面で切った断面が示されている。ここ
で点Ｕ、点Ｖ、及び点Ｃのベクトルは、それぞれ次の式
（45）〜（47）で表すことができる。 （OU）＝ｓ（OUi） ……（45） （OV）＝ｔ（OVi） ……（46） （OC）＝ｕ（OCi） ……（47） ここで（OU）などは点Ｏを始点、点Ｕ等を終点とする
ベクトルを示し、s,t,uはスカラー量である。また、図5
7において点U,Vが円周上の点であって、Ｃが円の中心点
であるから、 （UC）＝（CV） ……（48） |UC|＝ｒ ……（49） が成り立つ。これらの式から分かるように、像平面ｉ内
での点Ui、点Vi、及び点Ciの座標値が決まれば、それら
に対応するスカラー量s,t,uは決定されるから、点Ｕ、
点Ｖ、及び点Ｃの座標値が決まる。同様にして、像点Ci
を通る別の直線に対応するターゲットマークＡの円周上
の点の座標値を決定すれば、ターゲットマークＡの位置
と姿勢とが一意的に決定できる。 図58は、像平面ｉに投影されたターゲットマークＡの
円と中心点との画像を示す図である。 カメラ20が物体１のターゲットマークＡの面に正対し
ている場合を除けば、常にターゲットマークＡの円は像
平面ｉに楕円の画像Aiを投影する。ターゲットマークＡ
の円とその中心点Ｃを通る直線ｍとの交点S,Tの像点をS
i,Tiとすれば、中心点Ｃの像点Ciによって２等分される
線分は１つだけ存在し、かつそれは容易に画像処理プロ
セッサ５によって像点Si,Tiとして抽出される。また、
像点Ciの座標を（x0,y0）とすれば、中心点Ｃの座標値
は、円の直径2rと像平面ｉでの像点Si,Ti間の距離との
比ｐによって、次のように決定される。 Ｃ（px0,py0,pf） ……（50） こうして演算パラメータを著しく少なくすることがで
きるから、簡単な計算だけで、精度良くターゲットマー
クＡの位置を計測できる。 ターゲットマークＡの姿勢を計測する別の方法につい
て、次に説明する。 図59は、１直線上の４点が像平面ｉに投影されたとき
の消失点を決定する方法を示す図である。１直線上の４
点a,b,c,dについて、複比ＲをＲ（a,b,c,d）と表せば、
複比は Ｒ（a,b,c,d）＝（ac/bc）／（ad/bd） ……（51） と定義させ、像平面ｉに投影された４点ai,bi,ci,diに
ついての複比Ｒ（ai,bi,ci,di）と等しくなる。複比
は、一般に投影によっても保存されるからである。い
ま、距離の分かっている一直線上の３点とその像点が与
えられているとすれば、それらの複比Ｒが互いに等しい
という関係を利用して、像平面ｉ上での消失点を次のよ
うにして決定することができる。 （ac/bc）／（ad/bd）＝（aici/bici）／（aidi/bidi） ……（52） ここで、点ｄを一直線上で無限大にもっていくと、 di＝（ai＊bici＊ac−bi＊aici＊bc）／ （bici＊ac−aici＊bc） ……（53） このdiが像平面ｉ上での消失点の座標値である。ただ
し、a,bなどはその点の座標値を表し、ab,aiciなどは２
点間の距離を表している。 ここで、点a,b,cの代わりにターゲットマークＡの点
U,C,Vを与えると、それらの間の距離はいずれも半径値
ｒとして既知の値であるから、任意の直径を構成する円
周上の２点と円の中心点Ｃとの像空間内での座標値から
消失点を一義的に決定できる。そして、視点Ｏからこの
消失点に至る線分の方向は、ターゲットマークＡの円周
上の点U,Vを結ぶ線分の方向に一致する。もっとも、上
の式で距離ac,bcに対応する値はいずれもｒとなるか
ら、分子分母で打ち消される結果、ターゲットマークＡ
の円の半径値は既知でなくても良い。 こうして、像空間内でターゲットマークＡの円の直径
を構成する円周上の任意の２点を結ぶ直線の投影画像に
ついての消失点が２個以上求められると、ターゲットマ
ークＡの円を含む平面内での２本の直径方向ベクトルか
ら、ターゲットマークＡの法線ベクトルZt（図56参照）
を求めることにより、物体１の姿勢が決定できる。 つぎに、ターゲットマークＡの法線ベクトルZtが分か
っている場合に、精度良くターゲットマークＡの位置を
計測するやり方について説明する。 図60はターゲットマークＡの画像Aiからターゲットマ
ークＡの姿勢を求める方法を示す図である。像平面ｉで
中心点Ｃの像点Ciを通り、線分SiTiとは異なる２本以上
の直線を想定し、円の投影画像Aiとの交点からそれぞれ
２個以上の消失点を求める。これら消失点からは、上述
した複比の性質に基づいて特定の消失線が決定される。
この消失線は、図60のベクトルＤのような、物体空間の
ターゲットマークＡの像平面ｉに平行な直径となる直線
ｍと平行なベクトルを決定する。これによって、ターゲ
ットマークＡの法線ベクトルが決定される。 また、図60において消失線に平行なベクトルＤから線
分SiTiが求まると、像点Ciの座標から、中心点Ｃの座標
値は、円の直径2rと像平面ｉでの像点Si,Ti間の距離と
の比ｐによって、Ｃ（px0,py0,pf）と決定される。 さらに、ターゲットマークＡの像平面ｉで線分SiTiを
抽出する場合、物体空間の軸Ztの方向、すなわちターゲ
ットマークＡの法線ベクトルが分かっていれば、像平面
ｉの法線ベクトルとの外積によっても、ベクトルＤと同
様にターゲットマークＡの像平面ｉに平行な直径方向ベ
クトルが求められる。 図61は、ターゲットマークＡの一例を示す図である。
このターゲットマークＡは、直交する２本の直径により
４つの領域に区分された円からなり、その中心点を特定
するために、交互に白と黒に塗り分けられている。中心
点を特定するために、一定の面積をもった点で表示すれ
ば、その重心を中心点として抽出する必要が生じる。し
かし、重心が必ずしも中心点と一致しないために、従来
では特徴点の抽出の段階で一定の誤差が発生していた。 本実施例のターゲットマークＡのように、２本の境界
線の交点によって中心点を特定することにより、中心点
を感度良く抽出できるから、ノイズの影響を受けずに、
画像処理プロセッサ５において特徴点の抽出が安定して
行われる。なお、中心点を単に２本の直径の交点などで
特定するだけであっても、中心点の抽出精度の向上が期
待できる。 以上説明したように、本実施例ではターゲットマーク
に物体の姿勢に依存しない円とその中心点とを含むもの
を使用しているので、安定した精度で位置と姿勢の計測
ができる。また、位置と姿勢の計測にあたって、使用す
るパラメータが少なくてすむために、簡単な計算で正確
な計測が可能になる。 つぎに、やはり３角形のターゲットマークを使用しな
い他の実施例を説明する。 図62は、対象物に設けられるターゲットマークの第１
の例を示す平面図である。すなわち、ターゲットマーク
は、平面状の白地230に黒色（ハッチング部）の４つの
円板状のマーク231〜234が、互いに各所定の距離だけ離
れて配置されたものである。マーク231〜234の半径は少
なくとも１つが他と異なっている。こうしたターゲット
マークを対象物に設置する。なお、必ずしも、ターゲッ
トマークの白地230が平面である必要はないが、平面で
ないときは、４つの円板状のマーク231〜234の各重心位
置が平面上に位置するようにする必要がある。 こうしたターゲットマークを、図示はしないが、マニ
ュピレータの先端に取り付けられた小型CCDカメラで撮
影し、その画像データを距離姿勢演算装置により処理す
る。 図63は、この距離姿勢演算装置により行われる第１の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第１の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S71〕カメラからマーク231〜234に関する画像データ
を入力する。 〔S72〕入力した画像データを白黒反転させた上で２値
化する。 〔S73〕２値化されたデータを基に、ラベリングを行
う。すなわち、図64（Ａ）に示すように、例えば、マー
ク231にラベル４を、マーク232にラベル６を、マーク23
3にラベル７を、マーク234にラベル３を付す。そして、
図64（Ｂ）に示すように、同一ラベル番号を付された領
域における画素（ピクセル）数をカウントする。 〔S74〕マーク選択範囲の中から、これらのカウントさ
れた画素数が一番大きいラベル番号を有するマークを選
択する。マーク選択範囲に、最初に、４つのマーク231
〜234全てが含まれ、したがって、図64（Ｂ）の画素数8
500のラベル番号３を付されたマーク234が選択される。
なお、このステップで選択されたマークは、次回以降の
本ステップ実行のときにはマーク選択範囲の中から除か
れる。そのため、次回の本ステップ実行のときには、画
素数5120のマーク232が選択され、同様に、その次の３
回目の本ステップ実行のときには、画素数5114のマーク
233が選択され、４回目の本ステップ実行のときには、
残ったマーク231が選択される。 〔S75〕図65に示すように、ステップS74で選択されたマ
ーク、例えばマーク234に対して、Ｘ方向およびＹ方向
の投影ヒストグラム処理を行い、Ｘ方向の投影ヒストグ
ラム235およびＹ方向の投影ヒストグラム236を得る。 〔S76〕これらのＸ方向の投影ヒストグラム235およびＹ
方向の投影ヒストグラム236の荷重平均Xo,Yoを求め、こ
れらを、マーク234のＸ方向の重心位置アドレス、およ
びＹ方向の重心位置アドレスとする。 〔S77〕４つのマーク231〜234全てに対し、上記ステッ
プS75,S76を実行し終えたならば、ステップS78へ進み、
未完了であればステップS74へ戻る。 〔S78〕算出された４つのマーク231〜234の各重心位置
を基に、各重心の配置を特定し、４点透視問題を解き、
対象物までの距離および対象物の姿勢を演算する。この
４点透視問題の解き方については、最後に詳しく説明す
る。なお、４つの円の半径のうち、少なくとも１つが他
と異なれば、４つの円の重心の配置は一意に決定でき
る。 以上のように、対象物に設けた４つの円板状マーク23
1〜234を基に、それらの重心位置を求めるようにしたの
で、４つのマーク位置が正確に特定でき、対象物までの
距離や対象物の姿勢を、精度よく、かつ簡単に計測する
ことが可能となる。 図66は、対象物に設けられるターゲットマークの第２
の例を示し、（Ａ）はその平面図、（Ｂ）は（Ａ）に示
される矢印C,D方向からみたターゲットマークの断面図
である。すなわち、ターゲットマークは、箱状体240か
ら成り、白地の上面板246にマークとなる２つの円形孔2
41,242（以下、マーク241,242という）が設けられ、底
板245にはマークとなる白く着色された２つの円板243,2
44（以下、マーク243,244という）が設けられる。マー
ク241,242は互いに半径が異なり、また、マーク243,244
は、マーク241,242よりもそれぞれ小さい半径を有する
とともに、マーク241,242の各真下に配置される。箱状
体240内部は黒色に着色されている。こうしたターゲッ
トマークを対象物に設置する。 こうしたターゲットマークを、図示しないが、マニュ
ピレータの先端に取り付けられた小型CCDカメラで撮影
し、その画像データを距離姿勢演算装置により処理す
る。 図67は、この距離姿勢演算装置により行われる第２の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第２の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S81〕カメラからマーク241〜244に関する画像データ
を入力する。 〔S82〕入力した画像データを白黒反転させた上で２値
化する。 〔S83〕２値化されたデータを基にラベリングを行う。
そして、同一ラベル番号を付された領域における画素数
をカウントする。 〔S84〕大円であるマーク241,242のうちから、これらの
カウントされた画素数が大きいラベル番号を有するマー
クを選択する。なお、このステップの次回の実行のとき
には、大円であるマーク241,242のうちから、カウント
された画素数が小さいラベル番号を有するマークを選択
する。 〔S85〕図68（Ａ）に示すように、ステップS84で選択さ
れたマーク、例えばマーク242、およびこのマーク242内
に位置するマーク244に対して、Ｘ方向およびＹ方向の
投影ヒストグラム処理を行い、Ｘ方向の投影ヒストグラ
ム247およびＹ方向の投影ヒストグラム248を得る。 〔S86〕これらのＸ方向の投影ヒストグラム247およびＹ
方向の投影ヒストグラム248の分布荷重を求め、これら
を、それぞれAx,Ayとする。 〔S87〕Ｘ方向の投影ヒストグラム247およびＹ方向の投
影ヒストグラム248における各２つのピークを抽出し、
それらのX,Y座標値を求める。 〔S88〕ステップS87で求められたピークのX,Y座標値で
囲まれる範囲よりも少し外側の範囲に、図68（Ａ）のマ
ーク244付近を拡大した図68（Ｂ）に示すように、マス
ク249を設定する。 〔S89〕図68（Ｂ）に示すように、ステップS88で設定さ
れたマスク249内のデータを白黒反転させた上で、Ｘ方
向およびＹ方向の投影ヒストグラム処理を行い、Ｘ方向
の投影ヒストグラム250およびＹ方向の投影ヒストグラ
ム251を得る。そして、これらのＸ方向の投影ヒストグ
ラム250およびＹ方向の投影ヒストグラム251の分布荷重
を求め、これらを、それぞれBx,Byとする。 〔S90〕ステップS86で算出した分布荷重Ax,Ay、および
ステップS89で算出した分布荷重Bx,Byをそれぞれ合算し
て、Ax＋Ay,Bx＋Byを求め（これらは、大円であるマー
ク242だけの分布荷重となっている）、これらを基にマ
ーク242のＸ方向およびＹ方向の荷重平均をそれぞれ求
めて、マーク242だけのＸ方向の重心位置アドレス、お
よびＹ方向の重心位置アドレスとする。 〔S91〕ステップS89で算出した分布荷重Bx,By（これら
は、小円であるマーク244だけの分布荷重となってい
る）を基にマーク244のＸ方向およびＹ方向の荷重平均
をそれぞれ求めて、マーク244のＸ方向の重心位置アド
レス、およびＹ方向の重心位置アドレスとする。なお、
これらのマーク244のＸ方向の重心位置アドレスおよび
Ｙ方向の重心位置アドレスは、マーク244をカメラ方向
へ投影してマーク242の平面で得られる投影図形におけ
る重心位置のアドレスとなっている。 〔S92〕２つのマーク241,242に対し、上記ステップS85
〜S91を実行し終えたならば、ステップS93へ進み、未完
了であればステップS84へ戻る。 〔S93〕算出された４つのマーク241〜244の各重心位置
を基に、４点透視問題を解き、対象物までの距離および
対象物の姿勢を演算する。この４点透視問題の解き方に
ついては、最後に詳しく説明する。 以上のように、４つのマーク241〜244を、対象物に設
けるようにしたので、カメラが円板状マークの設けられ
た対象物に正対した場合でも分解能を低下させることな
く、対象物までの距離やその姿勢を、精度よく計測でき
る。 図69は、対象物に設けられるターゲットマークの第３
の例を示す平面図である。図中、ターゲットマークのマ
ーク261〜264は、図66に示す第２実施例のターゲットマ
ークのマーク241〜244と同一な構成であり、マーク261,
262,265,266は図62に示す第１実施例のターゲットマー
クのマーク231〜234と同一な構成である。こうしたター
ゲットマークを対象物に設置する。 こうしたターゲットマークを、図示しないが、マニュ
ピレータの先端に取り付けられた小型CCDカメラで撮影
し、その画像データを距離姿勢演算装置により処理す
る。 図70は、この距離姿勢演算装置により行われる第３の
距離姿勢演算の手順を示すフローチャートである。この
フローチャートに沿って第３の距離姿勢演算の手順を説
明する。図中、Ｓに続く数字はステップ番号を表す。 〔S101〕カメラからマーク261〜266に関する画像データ
を入力する。 〔S102〕入力した画像データを白黒反転させた上で２値
化する。 〔S103〕２値化されたデータを基にラベリングを行う。
そして、同一ラベル番号を付された領域における画素数
をカウントする。 〔S104〕これらのカウントされた画素数が１番目および
２番目に大きいラベル番号を有するマーク２つ、即ちマ
ーク261,262を選択する。 〔S105〕ステップS104で選択されたマーク261,262、お
よびこれらのマーク261,262内に位置するマーク263,264
に対して、立体マーク検出法、すなわち、図67のステッ
プS84〜ステップS92の処理と同一の処理を実行する。 〔S106〕ステップS105の実行により、４つの重心が検出
できたならば、ステップS109へ進み、一方、カメラの視
線が円板状マークに対して大きく傾き、マーク263,264
がマーク261,262ひ隠れて見えなくなり、検出できない
ならば、ステップS107へ進む。 〔S107〕平面260上に配置されたマーク261,262,265,266
を選択する。 〔S108〕ステップS107で選択されたマーク261、262,26
5,266に対して、図63のステップS74〜ステップS77の処
理と同一の処理を実行する。 〔S109〕ステップ105で算出された４つのマーク261〜26
4の各重心位置を基に、またはステップS108で算出され
た４つのマーク261,262,265,266の各重心位置を基に、
４点透視問題を解き、対象物までの距離および対象物の
姿勢を演算する。この４点透視問題の解き方について
は、以下に詳しく説明する。 以上のように、通常は、分解能のよいステップS105の
立体マーク検出法を適用するが、カメラの視線が円板状
マークに対して大きく傾くと、マーク263,264がマーク2
61,262に隠れて見えなくなり、２つの重心位置が検出で
きなくなるので、その場合には、ステップS108の検出法
を適用する。 つぎに、４点透視問題（アルゴリズム）の解き方につ
いて説明する。 図71は、対象物に固定された座標系とカメラに固定さ
れた座標系とを示す図である。まず、基準となる座標系
をカメラの画像面271上に設定する。このとき、原点Ｏ
は、光軸272と画像面271とが交わる位置にとり、視線方
向（光軸272方向）をＺ軸、視線に向かって左をＸ軸、
上方をＹ軸とする右手系座標を設定する。また、焦点27
3は、Ｚ軸の負の方向に距離ｆだけ離れた点に存在する
として、モデル化を行う。実際の透視変換マトリクス
は、実際のレンズ系を考慮する必要があるが、ここで
は、シンプルなモデル化を行なった。 対象物の座標系としては、計測に利用する４つの特徴
点（前述の重心位置）のうちの一点を、対象物座標原点
ORとする。４点が存在する平面274の法線方向をZR軸と
し、XR,YR軸に関しては、座標系が右手系を構成するよ
うにとる。このように構成した座標系において、原点OR
から他の３つの特徴点への３本のベクトルをそれぞれ、
Ａ（a1,a2,0）,B（b1,b2,0）,C（c1,c2,0）とする（各
点はXR YR平面内に存在する）。 また、各特徴点OR,A,B,Cの画像面271上への投影点
は、O1,α，β，γであり、原点Ｏから各投影点までの
ベクトルを、O1（o1,o2,0），α（α1,α2,0），β（β
1,β2,0），γ（γ1,γ2,0）とする。以上により、各特
徴点OR,A,B,Cと、画面271上の投影された投影点O1,α，
β，γとの、各座標系に対する表現が可能になる。 つぎに、各特徴点OR,A,B,Cと、画面271上の投影され
た特徴点（投影点）O1,α，β，γとの間の座標変換に
ついて、説明する。 まず、対象物座標原点ORからのベクトルA,B,Cと、画
像面上での特徴点ベクトルα，β，γとを結びつける変
換行列を求める。以後、ベクトルは、第４成分を１に規
格化した同次座標表示によって表現する。 図71に示すように、座標系OR−XR YR ZRは、座標系Ｏ
−XYZをＸ軸方向にｓ、Ｙ軸方向にｔ、Ｚ軸方向にｕだ
け平行移動し、さらにそれを回転させたものと理解でき
る。よって、ベクトルA,B,Cとベクトルα，β，γと
は、平行移動および回転を表す変換行列Ｔと、透視変換
Pz Pを表す変換行列との積による行列で結びつく。 すなわち、次式（54）が成り立つ。 Ｉ＝Pz PTU・IR ……（54） ここに、Ｕは、単位の変換行列であり、また、IRは座
標系OR−XR YR ZRで表示されたベクトルであり、Ｉはそ
れをXY面に透視変換したベクトルを座標系Ｏ−XYZで表
示したものである。Pz,P,T,Uは、それぞれ次のような行
列である。 ただし、ｐは、ｐ＝f/F（f:画素数で表される焦点距
離、Ｆ＝メートル等の単位で表される焦点距離）で表さ
れ、単位長さ当たりの画素数である。 ここで、Ｔは、座標系OR−XR YR ZRおよび座標系Ｏ−
XYZの間の平行移動・回転を表し、Ｐは焦点距離ｆの透
視変換、PzはXY面への投影変換を表す。なお、座標系OR
−XR YR ZRのXR軸、YR軸、ZR軸の各単位ベクトルを座標
系Ｏ−XYZで成分表示すると次のようになる。 nXR＝（n11,n21,n31）Ｔ ……（59） nYR＝（n12,n22,n32）Ｔ ……（60） nZR＝（n13,n23,n33）Ｔ ……（61） ここで、式（55）〜（58）を基にPz PTUを計算する
と、結局、次の変換式（62）が得られる。 ただし、ｒ＝1/fとする。 ところで、変換式（62）において、ベクトルIRにベク
トルA,B,Cを、ベクトルＩにベクトルα，β，γを代入
する。すなわち、 これらのうち、式（62），（63），（66）より、次式
（69）が得られる。 まとめると、次式（70）となる。 式（70）は同時座標表示であるため、次式（71）のよ
うに変形できる。 ここで、対象物座標原点ORの投影点O1は、つぎのよう
に表すことができる。 o1＝s/（ru−１） ……（73） o2＝t/（ru−１） ……（74） 式（71）の両辺を比較し、式（73），（74）を代入
し、整理すると、次式（75），（76）となる。 （α１−o1）（ｕ−ｆ）/p＝（f a1 n11＋f a2 n12 −α1 a1 n31＋α1 a2 n32 ……（75） （α２−o2）（ｕ−ｆ）/p＝（f a1 n21＋f a2 n22 −α2 a1 n31＋α2 a2 n32 ……（76） ここで、式（62），（64），（67）、および式（6
2），（65），（68）についても同様に変形整理する
と、以下のようになる。 （β１−o1）（ｕ−ｆ）/p＝（f b1 n11＋f b2 n12 −β1 b1 n31＋β1 b2 n32 ……（77） （β２−o2）（ｕ−ｆ）/p＝（f b1 n21＋f b2 n22 −β2 b1 n31＋β2 b2 n32 ……（78） （γ１−o1）（ｕ−ｆ）/p＝（f c1 n11＋f c2 n12 −γ1 c1 n31＋γ1 c2 n32 ……（79） （γ２−o2）（ｕ−ｆ）/p＝（f c1 n21＋f c2 n22 −γ2 c1 n31＋γ2 c2 n32 ……（80） 以上の式を整理すると、つぎのような線型方程式（8
1）が得られる。 ここで、式（81）中の６×６のマトリクスを計測マト
リクスＭとすると、式（81）から、つぎのようになる。 ここで、nXR＝（n11,n21,n31）T,nYR＝（n12,n22,
n32）Ｔは、式（82）から求めることができる。また、
s,t,uは、以下のようにして求める。 まず、nXRのノルムは、単位ベクトルであるので、 （n11）２＋（n21）２＋（n31）２＝１ ……（83） となり、式（82）からＱが導かれ、以下となる。 （n11 2＋n21 2＋n31 2）（p/（ｕ−ｆ））２＝Ｑ ……（84） よって、 p/（ｕ−ｆ）＝Ｑ1/2 ……（85） となり、式（73），（74），（85）から、 ｕ＝p/Q1/2＋ｆ ……（86） ｓ＝po1/fQ1/2 ……（87） ｔ＝po2/fQ1/2 ……（88） となる。 以上により、式（82），（86），（87），（88）か
ら、座標系OR−XR YR ZRと座標系Ｏ−XYZとの間の変換
式が、すべて決定され、次式（89）で表すことができ
る。 Ｉ＝TIR ……（89） ここで、Ｔを変換マトリクスと呼び、Ｔは次式（90）
で与えられる。 ただし、（n13,n23,n33）Ｔ＝nXR×nYRとする。 なお、XRは、画素数に変換されているものとする。 以上の定式化を行い、特徴点OR,A,B,Cの空間配置が決
定され、導出した変換マトリクスＴにより、対象物まで
の距離および対象物の姿勢を表現できる。 なお、このようなマトリクスの表現形式では、特に、
操作者に対象物の姿勢を直観的に示すことができないの
で、ロボットの姿勢表現で一般的と考えられているroll
−pitch−yaw表現形式に、または、宇宙関係でしばしば
使用される４元数表現形式に変換するようにする。 以上説明したように本実施例では、対象物に設けた４
つの円板状マークを基に、それらの重心位置を求めるよ
うにしたので、４つのマーク位置が正確に特定でき、し
たがって、対象物までの距離やその姿勢を、精度よく、
かつ簡単に計測することが可能となった。 また、円板状の４つのマークからなる立体マークを対
象物に設けるようにしたので、撮影手段が円板状マーク
の設けられた対象物に真っ正面から対向（正対）した場
合でも分解能を低下させることなく、対象物までの距離
やその姿勢を、精度よく計測できる。 さらに、通常は、立体マークを用いて、分解能を低下
させることなく、対象物までの距離やその姿勢を、精度
よく計測し、一方、撮影手段の視線が円板状マークに対
して大きく傾いて、小円マークが大円マークに隠れて見
えなくなったときには、平面状の４つの円板状マークを
用いて、立体マークの欠点を補うようにした。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０５Ｄ 3/16 Ｇ０５Ｄ 3/16 3/18 3/18 3/20 3/20 (31)優先権主張番号 特願平4−291628 (32)優先日 平成４年10月29日(1992．10．29) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平4−307015 (32)優先日 平成４年11月17日(1992．11．17) (33)優先権主張国 日本（ＪＰ） (72)発明者 渡辺 一郎 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 神田 真司 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 沢崎 直之 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 村瀬 有一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 昭61−126406（ＪＰ，Ａ) 特開 昭63−75508（ＪＰ，Ａ) 特開 平３−181710（ＪＰ，Ａ) 特開 昭62−185106（ＪＰ，Ａ) 特開 昭62−185105（ＪＰ，Ａ) 特開 昭62−54107（ＪＰ，Ａ) 特開 昭62−54108（ＪＰ，Ａ) 特開 平４−119481（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 G01B 11/26 G05D 3/00 G05D 3/12 - 3/20
Claims (38)
- 【請求項１】ビデオカメラを用いてターゲットマークを
追跡するターゲットマーク追跡システムにおいて、 対象物体に設けられ、黒円の中央部に白三角形を立体的
にシフトさせて構成したターゲットマークと、 前記ターゲットマークを撮像するビデオカメラと、 前記ビデオカメラを搭載し６自由度方向に移動可能な移
動機構と、 前記ビデオカメラによる前記ターゲットマークの画像デ
ータを処理する画像処理手段と、 前記画像処理手段によって得られた前記ターゲットマー
クの投影ヒストグラム情報から前記ターゲットマークの
ずれ量を検出するずれ量検出手段と、 前記ずれ量に応じて前記移動機構の移動動作を制御し、
前記ビデオカメラに前記ターゲットマークの追跡を行わ
せる移動機構制御手段と、 を有することを特徴とするターゲットマーク追跡システ
ム。 - 【請求項２】前記ずれ量検出手段は、前記ターゲットマ
ークのずれ量をカメラ座標系において認識することを特
徴とする請求項１記載のターゲットマーク追跡システ
ム。 - 【請求項３】前記画像処理手段は、画像座標系での前記
ターゲットマークの画像データに対してマーク認識、ウ
ィンドウ、ストア、２値化、Ｘ軸投影ヒストグラム及び
Ｙ軸投影ヒストグラムの各処理を行うことを特徴とする
請求項１記載のターゲットマーク追跡システム。 - 【請求項４】前記ずれ量検出手段は、前記Ｘ軸投影ヒス
トグラム処理及び前記Ｙ軸投影ヒストグラム処理によっ
て求められた前記ターゲットマークの重心位置と予め設
定されている前記ターゲットマークの目標位置との差分
から、前記ターゲットマークのＸ軸方向及びＹ軸方向の
ずれ量を検出することを特徴とする請求項３記載のター
ゲットマーク追跡システム。 - 【請求項５】前記ずれ量検出手段は、前記Ｘ軸投影ヒス
トグラム処理または前記Ｙ軸投影ヒストグラム処理によ
って求められた前記ターゲットマークの面積と予め設定
されている前記ターゲットマークの目標面積との差分か
ら、前記ターゲットマークのＺ軸方向のずれ量を検出す
ることを特徴とする請求項３記載のターゲットマーク追
跡システム。 - 【請求項６】前記ずれ量検出手段は、前記Ｘ軸投影ヒス
トグラム処理によって求められたピーク点等から前記タ
ーゲットマークの黒円に対する白三角形のずれ量を求
め、前記ずれ量を前記ターゲットマークのヨー方向のず
れ量とすることを特徴とする請求項３記載のターゲット
マーク追跡システム。 - 【請求項７】前記ずれ量検出手段は、前記Ｙ軸投影ヒス
トグラム処理によって求められたピーク点等から前記タ
ーゲットマークの黒円に対する白三角形のずれ量を求
め、前記ずれ量を前記ターゲットマークのピッチ方向の
ずれとすることを特徴とする請求項３記載のターゲット
マーク追跡システム。 - 【請求項８】前記ずれ量検出手段は、前記Ｘ軸投影ヒス
トグラム処理によって求められたピーク点及びローピー
ク点から前記ターゲットマークのロール方向のずれ量を
求めることを特徴とする請求項３記載のターゲットマー
ク追跡システム。 - 【請求項９】前記画像処理手段は、前記Ｘ軸投影ヒスト
グラム処理及び前記Ｙ軸投影ヒストグラム処理によって
求められた前記ターゲットマークの重心位置及びサイズ
から、前記ウィンドウの位置及びサイズを決定すること
を特徴とする請求項３記載のターゲットマーク追跡シス
テム。 - 【請求項１０】ビデオカメラを用いてターゲットマーク
を撮像し前記ターゲットマークのずれ量を検出するずれ
量検出方式において、 対象物体に設けられ、黒円の中央部に白三角形を立体的
にシフトさせて構成したターゲットマークと、 前記ターゲットマークを撮像するビデオカメラと、 前記ビデオカメラによる前記ターゲットマークの画像デ
ータを処理する画像処理手段と、 前記画像処理手段によって得られた前記ターゲットマー
クの投影ヒストグラム情報から前記ターゲットマークの
ずれ量を検出するずれ量検出手段と、 を有することを特徴とするずれ量検出方式。 - 【請求項１１】ターゲットマークをビデオカメラにより
撮像し、その撮影データを処理することで、前記ビデオ
カメラを前記ターゲットマークに対し常時、所定関係位
置に保持するようにするターゲットマーク視覚追跡制御
方式において、 前記ビデオカメラから出力された前記ターゲットマーク
の画像において前記ターゲットマークの目標位置・姿勢
からの変化量を検出する画像変化量検出手段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置からの相対的な実変化量を検出する実変化量検出手
段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置を実験的にずらし、そのときに得られる、前記画像
変化量検出手段の検出値と、前記実変化量検出手段の検
出値とから、相互の関連づけをする同定手段と、 を有することを特徴とするターゲットマーク視覚追跡制
御方式。 - 【請求項１２】前記同定手段は、前記画像変化量検出手
段の検出値のうちの、画像上での前記ターゲットマーク
の面積を表す検出値と、前記実変化量検出手段の検出値
のうちの、前記ビデオカメラと前記ターゲットマークと
の間の距離とを関連づけて、前記面積を表す検出値か
ら、前記ビデオカメラと前記ターゲットマークとの間の
距離を導き出す第１の導出手段を有することを特徴とす
る請求項11記載のターゲットマーク視覚追跡制御方式。 - 【請求項１３】前記同定手段は、前記画像変化量検出手
段の各種検出値と、前記実変化量検出手段の検出値のう
ちの前記ビデオカメラと前記ターゲットマークとの間の
距離および前記実変化量検出手段の各種検出値とを関連
づけ、前記第１の導出手段が導き出した前記距離および
前記画像変化量検出手段の各種検出値から、前記ビデオ
カメラと前記ターゲットマークとの所定関係位置からの
相対的な実変化量を導き出す第２の導出手段を有するこ
とを特徴とする請求項12記載のターゲットマーク視覚追
跡制御方式。 - 【請求項１４】ターゲットマークをビデオカメラにより
撮影し、その撮影データを処理することで、前記ビデオ
カメラを前記ターゲットマークに対し常時、所定関係位
置に保持するようにするターゲットマーク視覚追跡制御
方式において、 前記ビデオカメラから出力された前記ターゲットマーク
の画像において前記ターゲットマークの目標位置・姿勢
からの変化量を検出する画像変化量検出手段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置からの相対的な実変化量を検出する実変化量検出手
段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置を実験的にずらし、そのときに得られる、前記画像
変化量検出手段の検出値と、前記実変化量検出手段の検
出値とから、相互の関連づけをし、前記画像変化量検出
手段の検出値から、前記ビデオカメラと前記ターゲット
マークとの所定関係位置からの相対的な実変化量を導き
出す導出手段と、 前記導出手段が導き出した実変化量に比例ゲインをか
け、さらに回転成分に対し、前記ビデオカメラと前記タ
ーゲットマークとの距離だけずらせた座標系での速度指
令値を算出し、前記ビデオカメラの位置制御の速度指令
値とする制御手段と、 を有することを特徴とするターゲットマーク視覚追跡制
御方式。 - 【請求項１５】ターゲットマークをビデオカメラにより
撮影し、その撮影データを処理することで、前記ビデオ
カメラを前記ターゲットマークに対し常時、所定関係位
置に保持するようにするターゲットマーク視覚追跡制御
方式において、 前記ビデオカメラから出力された前記ターゲットマーク
の画像において前記ターゲットマークの目標位置・姿勢
からの変化量を検出する画像変化量検出手段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置からの相対的な実変化量を検出する実変化量検出手
段と、 前記ビデオカメラと前記ターゲットマークとの所定関係
位置を実験的にずらし、そのときに得られる、前記画像
変化量検出手段の検出値と、前記実変化量検出手段の検
出値とから、相互の関連づけをし、前記画像変化量検出
手段の検出値から、前記ビデオカメラと前記ターゲット
マークとの所定関係位置からの相対的な実変化量を導き
出す導出手段と、 前記導出手段が導き出した実変化量から前記ビデオカメ
ラに固定された座標系における前記ビデオカメラの姿勢
のずれ量を求め、定数ゲインをかけて前記ビデオカメラ
の位置制御の速度指令値とする制御手段と、 を有することを特徴とするターゲットマーク視覚追跡制
御方式。 - 【請求項１６】少なくとも特定な形状の３角形から成る
ターゲットマークのカメラ撮影画像に基づいて対象物体
のカメラ視線軸回りの姿勢を検出するターゲットマーク
の姿勢検出方法において、 前記ターゲットマークの３角形の画像のX,Y方向の各投
影ヒストグラムを求め、 前記求められた各投影ヒストグラムにおいて、前記ター
ゲットマークの３角形の画像のX,Y方向の各重心位置を
求め、 前記求められた各投影ヒストグラムにおいて、ヒストグ
ラム値が最大になるときの各最大ヒストグラム値、およ
びそのときのX,Y軸値を求め、 前記求められた各重心位置、並びに各最大ヒストグラム
値およびX,Y軸値、さらに、前記ターゲットマークの幾
何的既知データに基づき、前記ターゲットマークの３角
形の姿勢が、予め分類され設定されている姿勢パターン
の中のいずれのパターンに相当するかを判別し、 前記判別されたパターンにおけるターゲットマークの３
角形のカメラ視線軸回りの姿勢を算出することを特徴と
するターゲットマークの姿勢検出方法。 - 【請求項１７】前記算出されたターゲットマークの３角
形のカメラ視線軸回りの姿勢を、前記ターゲットマーク
の３角形のカメラ視線軸回りの基準姿勢と比較して、前
記ターゲットマークの３角形のカメラ視線軸回りの姿勢
のロール回転角ずれ量を求めることを特徴とする請求項
16記載のターゲットマークの姿勢検出方法。 - 【請求項１８】前記予め分類され設定されている姿勢パ
ターンの中に複数の異なる姿勢がある場合には、前記タ
ーゲットマークを撮影するカメラの姿勢を僅かロール回
転させてから再び、姿勢検出を行うことを特徴とする請
求項16記載のターゲットマークの姿勢検出方法。 - 【請求項１９】前記ターゲットマークは前記３角形の他
に、前記３角形の背後に配置された円盤とからなり、前
記３角形の画像のX,Y方向の投影ヒストグラムを、前記
円盤のみの画像のX,Y方向の算出投影ヒストグラムか
ら、前記ターゲットの画像のX,Y方向の実測投影ヒスト
グラムをそれぞれ減算して求めることを特徴とする請求
項16記載のターゲットの姿勢検出方法。 - 【請求項２０】前記円盤のみの画像のX,Y方向の算出投
影ヒストグラムは、前記ターゲットの画像のX,Y方向の
各実測投影ヒストグラムにおいて、前記ヒストグラム値
が所定の値となる各２つの座標値を求め、前記求められ
た各２つの座標値の各中心が前記円盤の中心であるとし
て、既知の前記円盤の幾何的データに基づき算出される
ことを特徴とする請求項19記載のターゲットの姿勢検出
方法。 - 【請求項２１】前記３角形と背後に配置された円盤とか
らなるターゲットマークの画像のX,Y方向の実測投影ヒ
ストグラムの各重心位置を求め、 前記円盤の画像上での中心座標を求め、 前記円盤の面積と前記３角形の面積との比を求め、 前記求められたターゲットマークの各重心位置、円盤の
中心座標、および面積比に基づき、前記３角形の重心位
置を算出することを特徴とする請求項19記載のターゲッ
トマークの姿勢検出方法。 - 【請求項２２】ビデオカメラを用いてターゲットマーク
を追跡するターゲットマーク追跡システムにおいて、 ターゲットマークを撮像するビデオカメラと、 前記ビデオカメラを搭載し、６自由度方向に移動可能な
移動機構と、 前記ビデオカメラによる前記ターゲットマークの画像デ
ータを処理するに際し、ウィンドウ比較、ストア、２値
化、投影ヒストグラムの各処理を１フレーム分の画像走
査の間に行う画像処理手段と、 前記画像処理手段によって得られた前記ターゲットマー
クの投影ヒストグラム情報から前記ターゲットマークの
ずれ量を検出するずれ量検出手段と、 前記ずれ量に応じて前記移動機構の移動動作を制御し、
前記ビデオカメラに前記ターゲットマークの追跡を行わ
せる移動機構制御手段と、 を有することを特徴とするターゲットマーク追跡システ
ム。 - 【請求項２３】原画像を２値化する過程と、 該２値化した画像のうちの画素が連結している画像をグ
ループ化する過程と、 該グループ化された画像についてXY投影ヒストグラムを
求める過程と、 該グループ化された画像のXY投影ヒストグラムの極値の
数を計数する過程と、 該計数した極値の数を、目的とするターゲットマークに
ついて予め求めたXY投影ヒストグラムの極値数と比較し
て、該グループ化された画像が該目的とするターゲット
マークであるか否か判定する過程と からなるターゲットマークの検出方法。 - 【請求項２４】極値数の特徴が異なる２種類以上のマー
クを所定の位置関係で組み合わせてターゲットマークを
構成し、このターゲットマーク中の各マークに対して、
前記各過程を実行して各マークを検出してそれらの座標
点を計測し、さらに、それらの座標点に対してｎ点透視
問題を解くことで、ターゲットマークの位置・姿勢を計
測する請求項23記載のターゲットマークの検出方法。 - 【請求項２５】ターゲットマークの像に基づいて物体の
位置と姿勢を計測する位置、姿勢の計測装置において、 前記物体の特定平面上にあって円とその中心点を含むタ
ーゲットマークと、 前記ターゲットマークを撮像して前記円とその中心点の
画像を作成するカメラと、 前記ターゲットマークの画像から前記物体の位置と姿勢
の計測に必要な特徴点を抽出する特徴抽出手段と、 前記特徴点に関する射影幾何学演算によって前記ターゲ
ットマークの物体空間内での位置及び姿勢を演算する演
算手段と、 を有することを特徴とする位置、姿勢の計測装置。 - 【請求項２６】前記特徴抽出手段は、前記ターゲットマ
ークの円の画像の中から、物体空間の円の直径のうちタ
ーゲットマークの像平面に平行な直径を特定する２つの
像点を抽出するものであり、 前記演算手段では、抽出された２つの像点間の距離、前
記ターゲットマークの円の直径の値、及び前記カメラに
より撮像された前記ターゲットマークの中心点の像空間
内での座標値に基づいて、前記物体空間内での前記ター
ゲットマークの位置を演算することを特徴とする請求項
25記載の位置、姿勢の計測装置。 - 【請求項２７】前記演算手段は、前記ターゲットマーク
の円の直径を構成する円周上の任意の２点とその中心点
の像空間内での座標値から、前記ターゲットマークの物
体空間内での直径方向ベクトルを演算するものであっ
て、 前記ターゲットマークについての少なくとも２以上の直
径方向ベクトルから前記物体空間内での前記ターゲット
マークの法線ベクトルを求めることにより、 前記ターゲットマークが貼着された物体の姿勢を決定す
ることを特徴とする請求項25記載の位置、姿勢の計測装
置。 - 【請求項２８】前記ターゲットマークは、交差する２本
の線分によって前記円の中心点が表示されていることを
特徴とする請求項25記載の位置、姿勢の計測装置。 - 【請求項２９】前記ターゲットマークの円は、２本の直
径によって区分された領域に塗り分けられていることを
特徴とする請求項25記載の位置、姿勢の計測装置。 - 【請求項３０】前記特徴抽出手段は、前記ターゲットマ
ークの円の直径のうち、前記ターゲットマークの像平面
内で前記ターゲットマークの中心点の像によって２等分
される直径を特定することによって、前記２つの像点を
抽出することを特徴とする請求項26記載の位置、姿勢の
計測装置。 - 【請求項３１】前記演算手段では、さらに前記ターゲッ
トマークの法線ベクトルと像平面の法線ベクトルとの外
積によって、前記ターゲットマークの像平面に平行な直
径方向ベクトルを求めることによって、 前記直径方向ベクトルにより特定される前記ターゲット
マークの円の直径を構成する円周上の２点の像空間内で
の２つの像点間の距離、前記ターゲットマークの円の直
径の値、及び前記カメラにより撮像された前記ターゲッ
トマークの中心点の像空間内での座標値に基づいて、前
記物体空間内での前記ターゲットマークの位置を演算す
ることを特徴とする請求項27記載の位置、姿勢の計測装
置。 - 【請求項３２】対象物までの距離および対象物の姿勢を
計測する距離姿勢計測装置において、 各重心が同一平面上に位置するように対象物に配置さ
れ、少なくとも１つの円の半径が他と異なる４つの円板
状マークと、 前記４つの円板状マークを撮影する撮影手段と、 前記撮影手段から出力される４つの円板状マークの画像
データに基づき、各円板状マークの重心位置を算出する
重心算出手段と、 前記重心算出手段が算出した４つの重心位置を基に、４
点透視問題を解き、前記対象物までの距離および前記対
象物の姿勢を演算する演算手段と、 を有することを特徴とする距離姿勢計測装置。 - 【請求項３３】前記重心算出手段は、前記撮影手段から
出力される４つの円板状マークの画像データに基づき、
各円板状マークに対し、２値化、垂直水平投影ヒストグ
ラム作成を行い、そして荷重平均計算による円板状マー
クの重心位置を算出するように構成したことを特徴とす
る請求項32記載の距離姿勢計測装置。 - 【請求項３４】対象物までの距離および対象物の姿勢を
計測する距離姿勢計測装置において、 互いに半径が異なる第１および第２の円板状マークと、 前記第１および第２の円板状マークが設けられた第１の
平面と異なる第２の平面上に配置された第３および第４
の円板状マークと、 前記第１乃至第４の円板状マークを撮影する撮影手段
と、 前記撮影手段から出力される第１乃至第４の円板状マー
クの画像データに基づき、前記第１および第２の円板状
マークの重心位置を算出するとともに、前記第３および
第４の円板状マークを前記撮影手段方向へ投影して前記
第１の平面で得られる各投影図形における重心位置を算
出する重心算出手段と、 前記重心算出手段が算出した４つの重心位置を基に、４
点透視問題を解き、前記対象物までの距離および前記対
象物の姿勢を演算する演算手段と、 を有することを特徴とする距離姿勢計測装置。 - 【請求項３５】前記第３および第４の円板状マークは、
前記第１および第２の円板状マークの各重心を通る平面
に垂直で、かつ、前記第１および第２の円板状マークの
各重心を通る線上にそれぞれ位置するように構成された
ことを特徴とする請求項34記載の距離姿勢計測装置。 - 【請求項３６】前記第３および第４の円板状マークの各
半径は、前記第１および第２の円板状マークの各半径よ
り、それぞれ小さく構成されたことを特徴とする請求項
35記載の距離姿勢計測装置。 - 【請求項３７】対象物までの距離および対象物の姿勢を
計測する距離姿勢計測装置において、 各重心が同一平面上に位置するように対象物に配置さ
れ、少なくとも１つの円の半径が他と異なる第１乃至第
４の円板状マークと、 前記第１乃至第４の円板状マークの各重心を通る第１の
平面と異なる第２の平面上に配置された第５および第６
の円板状マークと、 前記第１乃至第６の円板状マークを撮影する撮影手段
と、 前記撮影手段から出力される第３乃至第６の円板状マー
クの画像データに基づき、前記第３および第４の円板状
マークの重心位置を算出するとともに、前記第５および
第６の円板状マークを前記撮影手段方向へ投影して前記
第１の平面で得られる各投影図形における重心位置を算
出する第１の重心算出手段と、 前記撮影手段から出力される第１乃至第４の円板状マー
クの画像データに基づき、各円板状マークの重心位置を
算出する第２の重心算出手段と、 前記第１の重心算出手段または前記第２の重心算出手段
が算出した４つの重心位置を基に、４点透視問題を解
き、前記対象物までの距離および前記対象物の姿勢を演
算する演算手段と、 を有することを特徴とする距離姿勢計測装置。 - 【請求項３８】前記演算手段は、前記第１の重心算出手
段が４つの重心位置を算出しているときは前記第１の重
心算出手段が算出した４つの重心位置を基に、４点透視
問題を解き、前記対象物までの距離および前記対象物の
姿勢を演算し、一方、前記第１の重心算出手段が４つの
重心位置を算出できないときは前記第２の重心算出手段
が算出した４つの重心位置を基に、４点透視問題を解
き、前記対象物までの距離および前記対象物の姿勢を演
算することを特徴とする請求項37記載の距離姿勢計測装
置。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1555792 | 1992-01-30 | ||
| JP4-193457 | 1992-06-26 | ||
| JP19345792 | 1992-06-26 | ||
| JP4-219029 | 1992-08-18 | ||
| JP21902992 | 1992-08-18 | ||
| JP29162892 | 1992-10-29 | ||
| JP4-291628 | 1992-10-29 | ||
| JP4-15557 | 1992-11-17 | ||
| JP30701592 | 1992-11-17 | ||
| JP4-307015 | 1992-11-17 | ||
| PCT/JP1993/000107 WO1993015376A1 (en) | 1992-01-30 | 1993-01-29 | System for recognizing and tracking target mark, and method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3242108B2 true JP3242108B2 (ja) | 2001-12-25 |
Family
ID=27519724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51309693A Expired - Fee Related JP3242108B2 (ja) | 1992-01-30 | 1993-01-29 | ターゲットマークの認識・追跡システム及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US5521843A (ja) |
| JP (1) | JP3242108B2 (ja) |
| WO (1) | WO1993015376A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008116346A (ja) * | 2006-11-06 | 2008-05-22 | Tadano Ltd | クレーンの吊り荷用フックブロック自動追尾装置 |
| KR101398068B1 (ko) | 2012-09-17 | 2014-05-27 | 주식회사 이미지넥스트 | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 |
| CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移（杭州）信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
| JP2022184683A (ja) * | 2021-05-31 | 2022-12-13 | 韓国機械研究院 | 絶対距離測定に基づくマルチラテレーションシステム及びこれを用いたマルチラテレーション方法 |
Families Citing this family (161)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6947571B1 (en) * | 1999-05-19 | 2005-09-20 | Digimarc Corporation | Cell phones with optical capabilities, and related applications |
| JP3287117B2 (ja) * | 1994-07-05 | 2002-05-27 | 株式会社日立製作所 | 撮像装置を用いた車両用の環境認識装置 |
| IT1271241B (it) * | 1994-10-04 | 1997-05-27 | Consorzio Telerobot | Sistema di navigazione per robot mobile autonomo |
| JPH11513483A (ja) * | 1995-09-21 | 1999-11-16 | オムニプラナー，インコーポレーテッド | 位置及び方位を決定する方法及び装置 |
| JP3079186B2 (ja) * | 1995-09-28 | 2000-08-21 | 株式会社小松製作所 | 構造物計測システム |
| GB2306834B8 (en) * | 1995-11-03 | 2000-02-01 | Abbotsbury Software Ltd | Tracking apparatus for use in tracking an object |
| US7650015B2 (en) * | 1997-07-22 | 2010-01-19 | Image Processing Technologies. LLC | Image processing method |
| US5832139A (en) * | 1996-07-31 | 1998-11-03 | Omniplanar, Inc. | Method and apparatus for determining degrees of freedom of a camera |
| JPH10312238A (ja) * | 1997-05-13 | 1998-11-24 | Nec Corp | ジョイスティック装置 |
| WO1999021134A1 (en) * | 1997-10-22 | 1999-04-29 | Spectra Precision Ab | Contactless measuring of position and orientation |
| US6061644A (en) * | 1997-12-05 | 2000-05-09 | Northern Digital Incorporated | System for determining the spatial position and orientation of a body |
| US6546151B1 (en) * | 1998-01-22 | 2003-04-08 | Matsushita Electric Industrial Co., Ltd | Information processing apparatus and information equipment using the information processing apparatus |
| US6404900B1 (en) * | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
| DE19846283A1 (de) * | 1998-10-08 | 2000-04-20 | Messer Griesheim Gmbh | Automatisiertes Erfassen von Daten von Druckgasflaschen |
| US7474760B2 (en) * | 1998-10-22 | 2009-01-06 | Trimble Ab | Contactless measuring of position and orientation |
| US7483049B2 (en) * | 1998-11-20 | 2009-01-27 | Aman James A | Optimizations for live event, real-time, 3D object tracking |
| US6707487B1 (en) | 1998-11-20 | 2004-03-16 | In The Play, Inc. | Method for representing real-time motion |
| US20020030742A1 (en) * | 1998-11-20 | 2002-03-14 | Aman James A. | Employing electomagnetic by-product radiation for object tracking |
| US6567116B1 (en) * | 1998-11-20 | 2003-05-20 | James A. Aman | Multiple object tracking system |
| US6366701B1 (en) * | 1999-01-28 | 2002-04-02 | Sarnoff Corporation | Apparatus and method for describing the motion parameters of an object in an image sequence |
| JP3629493B2 (ja) * | 1999-03-05 | 2005-03-16 | 独立行政法人 国立印刷局 | 用紙の伸縮挙動測定方法及びその測定装置 |
| US7406214B2 (en) * | 1999-05-19 | 2008-07-29 | Digimarc Corporation | Methods and devices employing optical sensors and/or steganography |
| US6603870B1 (en) * | 1999-09-30 | 2003-08-05 | Siemens Corporate Research, Inc. | Method and apparatus for visual servoing of a linear apparatus |
| US8391851B2 (en) | 1999-11-03 | 2013-03-05 | Digimarc Corporation | Gestural techniques with wireless mobile phone devices |
| US6609951B1 (en) * | 2000-06-30 | 2003-08-26 | 3M Innovative Properties Company | Method of making a surface treating article |
| DE10133624A1 (de) * | 2000-07-13 | 2002-01-24 | Rolf Kleck | Vorrichtung und Anordnung zur Ermittlung von korrigierten Bewegungsdaten für einen vorgegebenen Bewegungsablauf einer bewegbaren Einrichtung sowie bewegbare Einrichtung und System aus bewegbaren Einrichtungen |
| JP4282216B2 (ja) * | 2000-09-19 | 2009-06-17 | オリンパス株式会社 | ３次元位置姿勢センシング装置 |
| DE10051415C2 (de) * | 2000-10-17 | 2003-10-09 | Advanced Realtime Tracking Gmb | Optisches Trackingsystem und -verfahren |
| GB2373942A (en) * | 2001-03-28 | 2002-10-02 | Hewlett Packard Co | Camera records images only when a tag is present |
| DE10130423B4 (de) * | 2001-06-23 | 2004-02-05 | Forschungszentrum Karlsruhe Gmbh | Optisches 3D-Positionsmesssystem für die simultane Erfassung von sechs Freiheitsgraden |
| SG112810A1 (en) * | 2001-09-10 | 2005-07-28 | Panasonic Singapore Lab Pte Lt | Method for automatic camera tracking of moving objects based on a system of cameras |
| US6792811B2 (en) * | 2002-03-04 | 2004-09-21 | The Regents Of The University Of Michigan | Method and system for measuring vibration of an object |
| US7231063B2 (en) * | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
| US7688381B2 (en) * | 2003-04-08 | 2010-03-30 | Vanbree Ken | System for accurately repositioning imaging devices |
| JP4825964B2 (ja) * | 2003-08-18 | 2011-11-30 | 独立行政法人 宇宙航空研究開発機構 | 非接触計測装置 |
| US7845560B2 (en) * | 2004-12-14 | 2010-12-07 | Sky-Trax Incorporated | Method and apparatus for determining position and rotational orientation of an object |
| US7720580B2 (en) * | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| US7168174B2 (en) * | 2005-03-14 | 2007-01-30 | Trimble Navigation Limited | Method and apparatus for machine element control |
| GB2428110A (en) * | 2005-07-06 | 2007-01-17 | Armstrong Healthcare Ltd | A robot and method of registering a robot. |
| US8381982B2 (en) * | 2005-12-03 | 2013-02-26 | Sky-Trax, Inc. | Method and apparatus for managing and controlling manned and automated utility vehicles |
| CA2559667A1 (en) * | 2006-02-16 | 2007-08-16 | Radix Controls Inc. | A vision-based position tracking system |
| EP1870210A1 (en) * | 2006-06-22 | 2007-12-26 | Honda Research Institute Europe GmbH | Evaluating visual proto-objects for robot interaction |
| US8355818B2 (en) * | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| US8073564B2 (en) * | 2006-07-05 | 2011-12-06 | Battelle Energy Alliance, Llc | Multi-robot control interface |
| US8271132B2 (en) * | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
| US8965578B2 (en) | 2006-07-05 | 2015-02-24 | Battelle Energy Alliance, Llc | Real time explosive hazard information sensing, processing, and communication for autonomous operation |
| US7587260B2 (en) * | 2006-07-05 | 2009-09-08 | Battelle Energy Alliance, Llc | Autonomous navigation system and method |
| US7668621B2 (en) * | 2006-07-05 | 2010-02-23 | The United States Of America As Represented By The United States Department Of Energy | Robotic guarded motion system and method |
| US7584020B2 (en) * | 2006-07-05 | 2009-09-01 | Battelle Energy Alliance, Llc | Occupancy change detection system and method |
| US7801644B2 (en) * | 2006-07-05 | 2010-09-21 | Battelle Energy Alliance, Llc | Generic robot architecture |
| US7974738B2 (en) * | 2006-07-05 | 2011-07-05 | Battelle Energy Alliance, Llc | Robotics virtual rail system and method |
| US7620477B2 (en) * | 2006-07-05 | 2009-11-17 | Battelle Energy Alliance, Llc | Robotic intelligence kernel |
| US7427220B2 (en) * | 2006-08-02 | 2008-09-23 | Mcgill University | Amphibious robotic device |
| GB2441765A (en) * | 2006-09-12 | 2008-03-19 | U W G Ltd | Underwater visual inspection of an underwater structure |
| WO2008152733A1 (ja) * | 2007-06-15 | 2008-12-18 | Fujitsu Limited | ロボット |
| DE102007060653A1 (de) † | 2007-12-15 | 2009-06-18 | Abb Ag | Positionsermittlung eines Objektes |
| US8210435B2 (en) * | 2008-01-14 | 2012-07-03 | Sky-Trax, Inc. | Optical position marker apparatus |
| US8565913B2 (en) * | 2008-02-01 | 2013-10-22 | Sky-Trax, Inc. | Apparatus and method for asset tracking |
| SE532222C2 (sv) | 2008-03-04 | 2009-11-17 | Morphic Technologies Ab | En robot för gripande av föremål |
| WO2009146359A1 (en) | 2008-05-28 | 2009-12-03 | Illinois Tool Works Inc. | Welding training system |
| US8346468B2 (en) * | 2008-07-08 | 2013-01-01 | Sky-Trax Incorporated | Method and apparatus for collision avoidance |
| JP5083138B2 (ja) * | 2008-09-12 | 2012-11-28 | 株式会社ニコン | 画像分類装置 |
| FR2936609B1 (fr) * | 2008-09-26 | 2012-10-12 | Thales Sa | Systeme de detection optique de position et/ou d'orientation d'objets comprenant au moins deux capteurs coplanaires |
| FR2936607B1 (fr) * | 2008-09-26 | 2012-10-12 | Thales Sa | Dispositif de detection optique de position et/ou d'orientation d'objets comprenant au moins un capteur lineaire |
| US8199194B2 (en) * | 2008-10-07 | 2012-06-12 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
| WO2010045271A1 (en) * | 2008-10-14 | 2010-04-22 | Joshua Victor Aller | Target and method of detecting, identifying, and determining 3-d pose of the target |
| DE102009050368A1 (de) | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
| JP5233601B2 (ja) * | 2008-11-07 | 2013-07-10 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
| JP2010139329A (ja) * | 2008-12-10 | 2010-06-24 | Fanuc Ltd | キャリブレーション用の校正治具および校正治具を備えた画像計測システム |
| US8964032B2 (en) | 2009-01-30 | 2015-02-24 | Magna Electronics Inc. | Rear illumination system |
| US8125529B2 (en) * | 2009-02-09 | 2012-02-28 | Trimble Navigation Limited | Camera aiming using an electronic positioning system for the target |
| JP5509645B2 (ja) * | 2009-03-25 | 2014-06-04 | 富士ゼロックス株式会社 | 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 |
| US8854453B2 (en) * | 2009-06-23 | 2014-10-07 | Here Global B.V. | Determining geographic position information from a single image |
| US8896686B2 (en) * | 2009-06-23 | 2014-11-25 | Here Global B.V. | Determining a geometric parameter from a single image |
| WO2011085489A1 (en) | 2010-01-13 | 2011-07-21 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| US8737685B2 (en) | 2011-04-25 | 2014-05-27 | Honeywell International Inc. | Systems and methods for detecting the movement of an object |
| US9101994B2 (en) | 2011-08-10 | 2015-08-11 | Illinois Tool Works Inc. | System and device for welding training |
| JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
| WO2013044626A1 (zh) * | 2011-09-28 | 2013-04-04 | 湖南三一智能控制设备有限公司 | 一种执行臂末端运动的控制系统及控制方法 |
| US9573215B2 (en) | 2012-02-10 | 2017-02-21 | Illinois Tool Works Inc. | Sound-based weld travel speed sensing system and method |
| US9754357B2 (en) * | 2012-03-23 | 2017-09-05 | Panasonic Intellectual Property Corporation Of America | Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram |
| FR2993371B1 (fr) * | 2012-07-13 | 2014-08-15 | Thales Sa | Systeme optique de mesure d'orientation et de position sans formation d'image a source ponctuelle et masque |
| US9368045B2 (en) | 2012-11-09 | 2016-06-14 | Illinois Tool Works Inc. | System and device for welding training |
| US9583014B2 (en) | 2012-11-09 | 2017-02-28 | Illinois Tool Works Inc. | System and device for welding training |
| US9666100B2 (en) | 2013-03-15 | 2017-05-30 | Illinois Tool Works Inc. | Calibration devices for a welding training system |
| US9713852B2 (en) | 2013-03-15 | 2017-07-25 | Illinois Tool Works Inc. | Welding training systems and devices |
| US9728103B2 (en) | 2013-03-15 | 2017-08-08 | Illinois Tool Works Inc. | Data storage and analysis for a welding training system |
| US9583023B2 (en) | 2013-03-15 | 2017-02-28 | Illinois Tool Works Inc. | Welding torch for a welding training system |
| US9672757B2 (en) | 2013-03-15 | 2017-06-06 | Illinois Tool Works Inc. | Multi-mode software and method for a welding training system |
| FR3006759B1 (fr) * | 2013-06-07 | 2015-06-05 | Thales Sa | Systeme optique de mesure d'orientation et de position a source ponctuelle, masque central, capteur matriciel photosensible et coin de cube |
| US11090753B2 (en) | 2013-06-21 | 2021-08-17 | Illinois Tool Works Inc. | System and method for determining weld travel speed |
| US9555549B2 (en) * | 2013-10-31 | 2017-01-31 | Seiko Epson Corporation | Control device, robot, robot system, and control method |
| US10056010B2 (en) | 2013-12-03 | 2018-08-21 | Illinois Tool Works Inc. | Systems and methods for a weld training system |
| US9589481B2 (en) | 2014-01-07 | 2017-03-07 | Illinois Tool Works Inc. | Welding software for detection and control of devices and for analysis of data |
| US9724788B2 (en) | 2014-01-07 | 2017-08-08 | Illinois Tool Works Inc. | Electrical assemblies for a welding system |
| US9751149B2 (en) | 2014-01-07 | 2017-09-05 | Illinois Tool Works Inc. | Welding stand for a welding system |
| US9757819B2 (en) | 2014-01-07 | 2017-09-12 | Illinois Tool Works Inc. | Calibration tool and method for a welding system |
| US10105782B2 (en) | 2014-01-07 | 2018-10-23 | Illinois Tool Works Inc. | Feedback from a welding torch of a welding system |
| US10170019B2 (en) | 2014-01-07 | 2019-01-01 | Illinois Tool Works Inc. | Feedback from a welding torch of a welding system |
| CN103895023B (zh) * | 2014-04-04 | 2015-08-19 | 中国民航大学 | 一种基于编码方位装置的机械臂末端跟踪测量系统的跟踪测量方法 |
| US9937578B2 (en) | 2014-06-27 | 2018-04-10 | Illinois Tool Works Inc. | System and method for remote welding training |
| US9862049B2 (en) | 2014-06-27 | 2018-01-09 | Illinois Tool Works Inc. | System and method of welding system operator identification |
| US10665128B2 (en) | 2014-06-27 | 2020-05-26 | Illinois Tool Works Inc. | System and method of monitoring welding information |
| US10307853B2 (en) | 2014-06-27 | 2019-06-04 | Illinois Tool Works Inc. | System and method for managing welding data |
| JP6362954B2 (ja) * | 2014-08-04 | 2018-07-25 | ローランドディー．ジー．株式会社 | ステージ機構 |
| US9724787B2 (en) | 2014-08-07 | 2017-08-08 | Illinois Tool Works Inc. | System and method of monitoring a welding environment |
| US11014183B2 (en) | 2014-08-07 | 2021-05-25 | Illinois Tool Works Inc. | System and method of marking a welding workpiece |
| US9875665B2 (en) | 2014-08-18 | 2018-01-23 | Illinois Tool Works Inc. | Weld training system and method |
| WO2016030890A1 (en) | 2014-08-26 | 2016-03-03 | Effective Space Solutions Ltd | Docking system and method for satellites |
| US11247289B2 (en) | 2014-10-16 | 2022-02-15 | Illinois Tool Works Inc. | Remote power supply parameter adjustment |
| US10239147B2 (en) | 2014-10-16 | 2019-03-26 | Illinois Tool Works Inc. | Sensor-based power controls for a welding system |
| US10417934B2 (en) | 2014-11-05 | 2019-09-17 | Illinois Tool Works Inc. | System and method of reviewing weld data |
| US10373304B2 (en) | 2014-11-05 | 2019-08-06 | Illinois Tool Works Inc. | System and method of arranging welding device markers |
| US10204406B2 (en) | 2014-11-05 | 2019-02-12 | Illinois Tool Works Inc. | System and method of controlling welding system camera exposure and marker illumination |
| US10210773B2 (en) | 2014-11-05 | 2019-02-19 | Illinois Tool Works Inc. | System and method for welding torch display |
| US10490098B2 (en) | 2014-11-05 | 2019-11-26 | Illinois Tool Works Inc. | System and method of recording multi-run data |
| US10402959B2 (en) | 2014-11-05 | 2019-09-03 | Illinois Tool Works Inc. | System and method of active torch marker control |
| CN104524731A (zh) * | 2015-01-14 | 2015-04-22 | 南京国业科技有限公司 | 基于光电转塔的多信息融合智能水炮系统 |
| US10427239B2 (en) | 2015-04-02 | 2019-10-01 | Illinois Tool Works Inc. | Systems and methods for tracking weld training arc parameters |
| CN104869312B (zh) * | 2015-05-22 | 2017-09-29 | 北京橙鑫数据科技有限公司 | 智能跟踪拍摄装置 |
| US9758305B2 (en) | 2015-07-31 | 2017-09-12 | Locus Robotics Corp. | Robotic navigation utilizing semantic mapping |
| US10373517B2 (en) | 2015-08-12 | 2019-08-06 | Illinois Tool Works Inc. | Simulation stick welding electrode holder systems and methods |
| US10657839B2 (en) | 2015-08-12 | 2020-05-19 | Illinois Tool Works Inc. | Stick welding electrode holders with real-time feedback features |
| US10593230B2 (en) | 2015-08-12 | 2020-03-17 | Illinois Tool Works Inc. | Stick welding electrode holder systems and methods |
| US10438505B2 (en) | 2015-08-12 | 2019-10-08 | Illinois Tool Works | Welding training system interface |
| US9910001B2 (en) | 2015-10-01 | 2018-03-06 | Radix Inc. | Fragment detection method and apparatus |
| JP6547106B2 (ja) * | 2016-09-15 | 2019-07-24 | 株式会社五合 | 基準体 |
| US10596700B2 (en) * | 2016-09-16 | 2020-03-24 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
| US10625882B2 (en) | 2017-03-06 | 2020-04-21 | Effective Space Solutions Ltd. | Service satellite for providing in-orbit services using variable thruster control |
| JP6850639B2 (ja) * | 2017-03-09 | 2021-03-31 | 本田技研工業株式会社 | ロボット |
| CN107116531A (zh) * | 2017-06-30 | 2017-09-01 | 合肥博创机械制造有限公司 | 一种药店管理机器人 |
| JP2019025572A (ja) * | 2017-07-28 | 2019-02-21 | セイコーエプソン株式会社 | ロボットの制御装置、ロボット、ロボットシステム、並びに、ロボットの異常を確認する方法 |
| JP2019063984A (ja) * | 2017-10-02 | 2019-04-25 | キヤノン株式会社 | 情報処理装置、方法及びロボットシステム |
| US10436590B2 (en) * | 2017-11-10 | 2019-10-08 | Ankobot (Shanghai) Smart Technologies Co., Ltd. | Localization system and method, and robot using the same |
| CN107797560B (zh) * | 2017-11-28 | 2023-06-20 | 深圳市中科德睿智能科技有限公司 | 一种用于机器人跟踪的视觉识别系统及方法 |
| US11636382B1 (en) * | 2018-08-10 | 2023-04-25 | Textron Innovations, Inc. | Robotic self programming visual inspection |
| US11002529B2 (en) | 2018-08-16 | 2021-05-11 | Mitutoyo Corporation | Robot system with supplementary metrology position determination system |
| US11745354B2 (en) | 2018-08-16 | 2023-09-05 | Mitutoyo Corporation | Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot |
| US10751883B2 (en) | 2018-08-16 | 2020-08-25 | Mitutoyo Corporation | Robot system with supplementary metrology position coordinates determination system |
| US10871366B2 (en) | 2018-08-16 | 2020-12-22 | Mitutoyo Corporation | Supplementary metrology position coordinates determination system for use with a robot |
| CN109062220B (zh) * | 2018-08-31 | 2021-06-29 | 创新先进技术有限公司 | 控制终端运动的方法和装置 |
| JP7163115B2 (ja) * | 2018-09-12 | 2022-10-31 | キヤノン株式会社 | ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体 |
| US10913156B2 (en) | 2018-09-24 | 2021-02-09 | Mitutoyo Corporation | Robot system with end tool metrology position coordinates determination system |
| CN111102940B (zh) * | 2018-10-29 | 2022-07-05 | 北京金风科创风电设备有限公司 | 叶片桨距角偏差的检测方法、装置、存储介质及系统 |
| US11707842B2 (en) | 2018-11-27 | 2023-07-25 | Fanuc Corporation | Robot system and coordinate conversion method |
| CN109500817B (zh) * | 2018-12-07 | 2024-05-10 | 深圳市众智创新科技有限责任公司 | 多足机器人的360度视觉追踪控制系统及控制方法 |
| JP6892134B2 (ja) * | 2019-01-25 | 2021-06-18 | 学校法人福岡工業大学 | 計測システム、計測方法および計測プログラム |
| US11288978B2 (en) | 2019-07-22 | 2022-03-29 | Illinois Tool Works Inc. | Gas tungsten arc welding training systems |
| US11776423B2 (en) | 2019-07-22 | 2023-10-03 | Illinois Tool Works Inc. | Connection boxes for gas tungsten arc welding training systems |
| CN110926462A (zh) * | 2019-11-04 | 2020-03-27 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于机载光电探测系统地面目标标记方法 |
| WO2021166818A1 (ja) * | 2020-02-20 | 2021-08-26 | ファナック株式会社 | ロボットシステム |
| CN111354046A (zh) * | 2020-03-30 | 2020-06-30 | 北京芯龙德大数据科技有限公司 | 室内摄像头定位方法及定位系统 |
| CN111667037A (zh) * | 2020-06-24 | 2020-09-15 | 山西凯永养殖有限公司 | 一种用于室内养猪场的大面积疫情检测系统 |
| CN111918016A (zh) * | 2020-07-24 | 2020-11-10 | 武汉烽火众智数字技术有限责任公司 | 一种视频通话中高效的实时画面标注方法 |
| CN112135042B (zh) * | 2020-09-18 | 2023-04-18 | 成都圭目机器人有限公司 | 一种地面移动机器人搭载相机的调整和标定方法 |
| CN113112546B (zh) * | 2021-04-16 | 2023-01-06 | 北京航空航天大学 | 基于三x组合标记的空间目标检测识别与位姿跟踪方法 |
| CN113687627B (zh) * | 2021-08-18 | 2022-08-19 | 太仓中科信息技术研究院 | 一种基于摄像机器人的目标跟踪方法 |
| CN113901535A (zh) * | 2021-10-12 | 2022-01-07 | 广联达科技股份有限公司 | 标记标签的吸附方法、装置、计算机设备及存储介质 |
| DE102022201316B3 (de) | 2022-02-09 | 2023-06-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Markierung und Verfahren zur Positionsbestimmung sowie zugehöriges Kamerasystem |
| CN114721442B (zh) * | 2022-04-11 | 2023-05-30 | 中国科学院光电技术研究所 | 一种基于旋转三棱镜光电跟踪装置的闭环跟踪方法 |
| CN116503585B (zh) * | 2023-06-25 | 2023-09-05 | 广州视景医疗软件有限公司 | 一种基于细胞自动机的融合功能训练控制方法和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4281342A (en) * | 1978-03-29 | 1981-07-28 | Hitachi, Ltd. | Mark detecting system using image pickup device |
| JPS5927842B2 (ja) * | 1978-08-24 | 1984-07-09 | 工業技術院長 | タ−ゲット・マ−クの変位測定方法 |
| JPS61126406A (ja) * | 1984-11-26 | 1986-06-13 | Yokogawa Electric Corp | 画像計測装置 |
| JPS6254108A (ja) * | 1985-09-02 | 1987-03-09 | Nec Corp | 座標測定装置 |
| JPS6254107A (ja) * | 1985-09-02 | 1987-03-09 | Nec Corp | 座標測定装置 |
| JPS62185105A (ja) * | 1986-02-10 | 1987-08-13 | Agency Of Ind Science & Technol | 方向性基準マ−ク等による対象物の姿勢及び寸法の自動計測方法 |
| JPS62185106A (ja) * | 1986-02-10 | 1987-08-13 | Agency Of Ind Science & Technol | 方向性基準マ−クによる対象物の姿勢の自動計測方法 |
| JPS6375508A (ja) * | 1986-09-18 | 1988-04-05 | Fujitsu Ltd | 線分の３次元方位計測方法 |
| US5008804A (en) * | 1988-06-23 | 1991-04-16 | Total Spectrum Manufacturing Inc. | Robotic television-camera dolly system |
| JPH03131710A (ja) * | 1989-10-18 | 1991-06-05 | Nec Corp | 位置決めマーク |
| JP2564963B2 (ja) * | 1990-03-29 | 1996-12-18 | 三菱電機株式会社 | ターゲット及びこれを用いた三次元位置姿勢計測システム |
| JPH0644293B2 (ja) * | 1990-09-11 | 1994-06-08 | 株式会社日本製鋼所 | 目標画像処理方法および装置 |
-
1993
- 1993-01-29 WO PCT/JP1993/000107 patent/WO1993015376A1/ja active Application Filing
- 1993-01-29 JP JP51309693A patent/JP3242108B2/ja not_active Expired - Fee Related
- 1993-01-29 US US08/119,228 patent/US5521843A/en not_active Expired - Fee Related
-
1996
- 1996-01-18 US US08/588,320 patent/US5617335A/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008116346A (ja) * | 2006-11-06 | 2008-05-22 | Tadano Ltd | クレーンの吊り荷用フックブロック自動追尾装置 |
| KR101398068B1 (ko) | 2012-09-17 | 2014-05-27 | 주식회사 이미지넥스트 | 차량 설치 카메라 외부 파라미터 추정 방법 및 장치 |
| CN111862154A (zh) * | 2020-07-13 | 2020-10-30 | 中移（杭州）信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
| CN111862154B (zh) * | 2020-07-13 | 2024-03-01 | 中移（杭州）信息技术有限公司 | 机器人视觉跟踪方法、装置、机器人及存储介质 |
| JP2022184683A (ja) * | 2021-05-31 | 2022-12-13 | 韓国機械研究院 | 絶対距離測定に基づくマルチラテレーションシステム及びこれを用いたマルチラテレーション方法 |
| JP7264974B2 (ja) | 2021-05-31 | 2023-04-25 | 韓国機械研究院 | 絶対距離測定に基づくマルチラテレーションシステム及びこれを用いたマルチラテレーション方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5617335A (en) | 1997-04-01 |
| US5521843A (en) | 1996-05-28 |
| WO1993015376A1 (en) | 1993-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3242108B2 (ja) | ターゲットマークの認識・追跡システム及び方法 | |
| CN107292927B (zh) | 一种基于双目视觉的对称运动平台位姿测量方法 | |
| US8098928B2 (en) | Apparatus for picking up objects | |
| JP5458885B2 (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
| CN108555908A (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| US11625842B2 (en) | Image processing apparatus and image processing method | |
| US20210023718A1 (en) | Three-dimensional data generation device and robot control system | |
| JP4766269B2 (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
| JPH08136220A (ja) | 物品の位置検出方法およびその装置 | |
| JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JP2009216503A (ja) | 三次元位置姿勢計測方法および装置 | |
| JP2003136465A (ja) | 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ | |
| JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
| JP3516668B2 (ja) | ３次元形状認識方法、装置およびプログラム | |
| JP4793109B2 (ja) | 物体検出法およびロボット | |
| JP2015085434A (ja) | ロボット、画像処理方法及びロボットシステム | |
| WO2019093299A1 (ja) | 位置情報取得装置およびそれを備えたロボット制御装置 | |
| CN115908562A (zh) | 一种异面点合作标志器及测量方法 | |
| JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
| JP7502343B2 (ja) | 画像処理システム | |
| JPH04370704A (ja) | 物体の位置、角度等の固有情報の検出方法 | |
| JPS6361903A (ja) | 三次元座標変換装置 | |
| Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
| JPH04269194A (ja) | 平面計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071019 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |