JP2013500512A - 空間領域を監視する方法および装置 - Google Patents

Abstract

【課題】空間領域に実質的に平行なエッジを有する構造物が存在する場合でも、できるかぎり単純かつ費用効果的に確実な空間領域の監視を可能にする。
【解決手段】空間領域を監視するために、互いに決められた距離だけ離して配置されている第１および第２の画像記録ユニットが提供され、空間領域の第１画像(40')は第１画像記録ユニットで記録し、第２画像は第２画像記録ユニットで記録する。第１および第２の画像に基づいて複数の物体の位置を判定し、各物体の位置は画像記録ユニットに対する物体(42,44)の空間距離を表し、物体の位置に応じて、スイッチング信号が生成される。空間領域は実質的に平行な複数のエッジ(48a, 48b)を有する少なくとも１つの構造物(46)を有し、構造物(46)に複数の参照マーク(56)が配置されている。画像記録ユニットと参照マーク(56)との間の複数の参照距離を判定し、参照距離に基づいて構造物(46)の構造位置を判定する。
【選択図】図５

Description

本発明は複数の可動物体を有する空間領域を監視する方法に関するものである。
前記方法は、互いに決められた距離だけ離して配置されている第１および第２の画像記録ユニットを提供するステップと、前記第１画像記録ユニットによって前記空間領域の第１画像を記録し、前記第２画像記録ユニットによって前記空間領域の第２画像を記録するステップと、前記第１および第２の画像に基づいて複数の物体の位置を判定するステップであって、各物体の位置は前記画像記録ユニットに対する物体の空間距離を表す、前記判定するステップと、前記物体の位置に依存する方法でスイッチング信号を生成するステップとを含む。

さらに本発明は複数の可動物体の空間領域を監視する装置に関し、前記装置は前記空間領域の第１画像を記録する第１画像記録ユニットと、前記空間領域の第２画像を記録する第２画像記録ユニットとを備え、前記第１および第２画像記録ユニットは互いに決められた距離だけ離して配置されており、さらに前記第１および第２の画像に基づいて複数の物体の位置を判定して、前記物体の位置に依存する方法でスイッチング信号を生成する評価・制御ユニットを備える。各物体の位置は前記画像記録ユニットに対する物体の空間距離を表す。

このような方法および装置は下記特許文献１により公知である。
本特許明細書は、自動運転している機械の危険な領域の防護に役立つ方法および装置を開示する。本装置は互いに決められた距離だけ離して配置されている少なくとも２つの画像記録ユニットを有する。各画像記録ユニットは機械が配置されている空間領域の画像を提供する。２つの画像記録ユニットの画像は、監視される空間領域の三次元画像を取得するために、少なくとも２つの異なるシーン解析方法によって評価する。すなわち、空間領域における個々の物体の位置は並列で記録される画像に基づいて判断され、前記位置は距離情報も含む。その後、決められた保護領域または保護空間に基づいて、自動運転している機械にたとえば人などの物体が、危険が生じるほどまで近づいているかどうかを決定することができる。適切であれば、機械を停止するか、または減速して運転する。

このような装置では、シーン解析方法および、特に、物体距離の判定は典型的には２つの記録画像の各々の物体および／または構造物に基づいており、その物体は識別されて、互いに割り当てされなければならない。２つの画像記録ユニットは互いに離れて配置されているため、各画像記録ユニットは異なる視野角を有する。そのため、同一の物体および／または構造物は２つの画像においては互いにずれて見え、２つの画像のある物体の相対的なずれは画像記録ユニット間の決められた距離および画像記録ユニットに対する物体の距離に依存する。その結果、画像記録ユニット間の距離が分かっているとすれば、画像に基づいて物体までの距離を判定することができる。機能的な原理は、ある意味では人の立体視に相当する。

この種の装置に関する出願人の実務的な経験により、この原理を使用した確実で正確な距離の測定は、監視される空間領域内に少なくとも実質的に平行な複数のエッジを有する構造物が存在すると、非常に複雑で難しいことが分かっている。当該エッジは、たとえば階段、格子フェンスまたは垂直ブラインドなどの三次元構造物とすることができ、または、たとえば床または壁のストライプパターンなどの二次元構造物とすることができる。平行なエッジは、２つの記録画像で１つのエッジを明確に割り当てするのをさらに難しくする。異なるエッジが互いに割り当てられるという不正確な割り当ては、一般に不正確な距離測定につながる。このことは、装置および方法を、危険領域（例：自動運転している機械の危険領域など）を防護するために使用する場合には特に問題をはらむ。

下記特許文献２は、先行技術の空間領域を監視する装置を構成するための方法を記述している。この構成は可変幾何学要素に基づいた保護空間および／保護領域の定義を含む。ある実施形態では、幾何学要素は監視すべき空間領域の実像の中または上にグラフィック生成される。実像は構成面を定義するために使用される複数の参照マークを含むことができる。こうして、可変幾何学要素は「仮想」幾何学要素と実空間領域との間の明確な関係を提供するために構成面に対して生成される。

欧州特許第１ ５４３ ２７０ Ｂ１号 独国特許出願公開第１０ ２００５ ０６３ ２１７ Ａ１号

しかし、平行なエッジの不正確な割り当ておよびそれから生じる測定誤差は、周知の方法では回避できない。
こうした背景に照らして、本発明の目的は、空間領域に実質的に平行なエッジを有する構造物が存在する場合でも、できるかぎり単純かつ費用効果的に確実な空間領域の監視ができる、冒頭に述べた種類の方法および装置を提供することである。

特に、機械の付近に実質的に平行なエッジを有する構造物が存在しても、自動運転している機械の危険領域を誤差なしで防護できる方法および装置を提供することが目的である。

本発明のある側面によると、空間領域が少なくとも実質的に平行な複数のエッジを有する構造物を有しており、構造物に複数の決められた参照マークが配置されており、画像記録ユニットと参照マークとの間の複数の参照距離を判定し、構造物の構造位置を参照距離に基づいて判定する、冒頭に述べた種類の方法を提供する。
本発明の別の側面によると、評価・制御ユニットは、画像記録ユニットと構造物に配置されている参照マークとの間の複数の決められた参照距離に基づいて実質的に平行な複数のエッジを有する構造物の構造距離を判定するようにさらに設計された、冒頭に述べた種類の装置を提供する。

本発明の方法および本発明の装置は、好ましくは、前述の装置の評価・制御ユニットで実行されるプログラムコードを備えるコンピュータプログラムによって実施される。
本発明の方法および本発明の装置は、問題のあるエッジ構造物を選択的にマーキングするために決められた参照マークを使用する。参照マークは少なくとも実質的に平行な複数のエッジを有する構造物に配置され、好ましくは固着されている。参照マークは、構造物およびそのすぐ近くとは異なる明領域および／または暗領域を有する目立つ面を有するので、参照マークは記録画像で明確に識別されて、互いに割り当てできる。

本発明の実施形態では、参照マークは平行なエッジを有する構造物の円周および／または角に接着結合されている接着フィルムである。一般に、参照マークはその目立つ面に対して垂直に非常に平坦である、つまり、紙またはフィルム状に具現されていて、参照マークと画像記録ユニットとの間の参照距離が参照マークの領域にある構造物の対応する距離に対して違いが全くないか、またはあってもごくわずかしかないようにすると有利である。その結果、参照マークは構造物に関する距離測定を容易にするために、構造物をマーキングするために使用する記録画像内に人工的に生成される目標点である。参照マークによって、問題のある構造物の位置は「間接的」に比較的単純かつ確実に判定できる。これは特に、画像記録ユニットに対する構造物の距離の判定を含む。参照距離は構造物の距離測定値として少なくとも一時的に使用される。

本発明の好適な改良形態では、仮想参照エリアを画成する少なくとも３つの参照マークを構造物に配置しており、仮想参照エリアは平行な複数のエッジに実質的に重なっている。したがって、本発明の装置の評価・制御ユニットは、構造物に配置されて、平面を画成している少なくとも３つの参照マークに基づいて仮想参照エリアを判定するように設計されている。

この改良形態は、構造物を基本的に改造または隠蔽することなく、構造物の問題のあるエッジの大半または全部でさえもマーキングすることができるという利点を有する。画像では「見えない」仮想参照エリアは、少なくとも３つの、好ましくは少なくとも４つの参照マークによって単純かつ高精度に判定できる。さらに、仮想参照エリアの位置（画像記録ユニットに対する距離を含む）も、並列で記録される画像に基づいて単純かつ高精度に判定できる。その結果、参照エリアは問題のあるエッジ領域をマーキングするので、この領域に的を絞った方法で個別評価の対象とすることができる。このように、本発明の装置および本発明の方法の検出の妥当性および信頼性を非常に効果的に改善できる。

別の改良形態では、平行なエッジの少なくとも１つについて、画像記録ユニットに対するエッジ距離を、第１および第２の画像に基づくとともに、仮想参照エリアにも基づいて判定する。好ましくは、構造物の複数のエッジおよび特に好ましくは全てのエッジについてエッジ距離を判定する。
この改良形態は、画像情報および画像記録ユニット間の既知の距離に加えて、参照エリアの位置および距離を表す新たに取得した情報を評価することから、問題のあるエッジの正確な距離情報を出す。他方で、距離情報は実際の画像の内容、つまり画像で見える平行なエッジに帰属される。この改良形態を使えば、全ての問題のあるエッジの明確かつ正確な距離情報を取得することが可能である。問題のあるエッジ領域を明確に判定された距離に基づいて「正常」または問題のない画像領域のように処理できるため、画像のさらなる評価、特に保護エリアの監視はこの改良形態によって簡略化される。

別の改良形態では、少なくとも１つのエッジについて、第１および／または第２の画像内のエッジ位置を判定して、永久に記憶する。
この改良形態では、二次元の少なくとも１つのエッジの位置を判定して、永久に記憶する。「永久に記憶する」とは、エッジ位置を本発明の装置のメモリに、少なくとも無停電運転の全継続時間中提供されることを意味する。好ましくは、エッジ位置は装置の不揮発性メモリに記憶して、停電後でも読み出すことができるようにする。この改良形態は、第１および第２の画像を繰り返し記録する監視動作モード中に、問題のあるエッジ領域をそれぞれの場合において記録画像に非常に単純かつ迅速に識別できるという利点を有する。周期的な監視動作モードでの新たな画像ペアの評価が簡略化されるので、この改良形態は費用効果的に実現できるリアルタイムの運転に資する。

別の改良形態では、少なくとも１つのエッジのエッジ距離も永久に記憶される。
この改良形態はさらに、問題のあるエッジ構造物を単純かつ費用効果的に考慮しながら、リアルタイムの監視動作モードを使用可能にすることにも資する。明確に判定・記憶されたエッジ距離は有利なことに、現在取得している測定値の検証のために各新たな画像ペアの評価で、および／または現在の測定値の代わりに使用できる。

別の改良形態では、第１および第２の画像は繰り返し記録され、物体の位置は繰り返し判定されて、構造物の位置は記憶されているエッジ距離に基づいて判定される。特に、個別の精密モードで判定され、記憶されているエッジ距離が永久に記憶されて、現在のエッジ距離として各新たな画像ペアに使用されると有利である。
この改良形態では、いったん判定されたエッジ距離は、繰り返し記録される画像のエッジ距離のその後の「測定値」に置き換わる。すなわち、エッジの距離は、画像記録が繰り返されるにもかかわらず、一度しか判定されず、その後永久に使用される。この改良形態は、空間的に静止したまたは動かない構造物の場合にのみ有利に採用される。対して、平行なエッジをもたないエリアを含めて、空間領域の他の全ての物体について、現在の距離を判定する。この改良形態は問題のあるエッジ領域に非常に効率的に正確な「測定値」を入手できるようになるという利点を有する。危険な機械の監視中、間違ったアラームおよびそれに伴って生じる機械の停止が簡単に回避される。他方で、この改良形態は、構造物の前景の物体が必ず画像記録ユニットに対する距離が短くなるはずで、そのため異なる距離に基づいて非常に容易に検証できることから、高い検出信頼性に資する。

別の改良形態では、参照マークのうちの少なくとも１つは構造物に永久に付着した状態にされている。記憶されているエッジ距離が永久に配置されている参照マークに基づいて受け入れられている場合には特に好適である。特に、少なくとも１つの参照マークが当初判定された位置で、および／または当初判定された参照距離に対して検出される場合にのみ受け入れられる。

この改良形態は、残されている少なくとも１つの参照マークに基づいて、構造物の画像記録ユニットに対するその距離および位置が変化していないことを確認した時のみ、記憶されているエッジ距離を「現在の測定値」として使用するため、機械を防護する時さらに高いフェールセーフ性を提供する。
別の改良形態では、可動物体の物体位置は構造物の構造位置に基づいて検証する。この場合記憶されているエッジ距離は構造物の構造位置を表して、可動物体の物体位置を少なくとも１つのエッジ距離に基づいて検証するようにすると有利である。

この改良形態では、検出された可動物体の測定物体位置が利用可能な空間領域内にあるかどうかを点検するために使用される妥当性チェックを行う。エッジ構造物が、例えば空間領域の床の格子またはストライプパターンである場合、可動物体に対する物体距離はエッジ距離より小さくなければならない。すなわち、可動物体は前景に位置しているが、平行なエッジを有する構造物は背景に相当する。このような妥当性チェックは、空間領域を監視する時にさらに高いフェールセーフ性に資するとともに、間違ったアラーム率の低下にも資する。

別の改良形態では、構造物は空間的に静止している。
この改良形態により、特に、いったん判定したエッジ距離を監視運転の過程で現在の測定値の代わりに使用しようとすると、非常に単純かつ効率的に本発明の方法を実施することが可能となる。他方で、この改良形態は、平行なエッジを有する構造物はしばしばバリア、背景マーキングおよび／または他の構造尺度の結果であるため、実務上非常に頻繁に発生する用途に適合する。この改良形態は、平行なエッジにより並列で記録される画像において明確な割り当てを達成するのが難しい空間領域を監視する時、非常に効果的に高い検出信頼性を可能にする。

いうまでもなく、前記述べた特徴および以下説明する特徴は、本発明の範囲を逸脱しない限り、それぞれ明記される組み合わせだけでなく、他の組み合わせまたは単独でも使用することができる。

本発明の方法および本発明の装置は比較的単純かつ費用効果的に実現できる。さらに、高い識別の信頼性を可能にし、同時に記録される画像において不正確な割り当てを防止する、または少なくとも減少させることを可能にする。そのため、本発明の方法および本発明の装置は、危険領域を防護するための使用に特に適している。

本発明の装置の好適な実施形態を示す模式図である。 図１の装置（一部）の平面図である。 監視対象である空間領域の第１画像および第２画像の簡略図を示している。 決められた参照マークが平行なエッジを有する構造物に配置された空間領域の別の画像を示している。 人を含む空間領域の別の画像を示している。 本発明の方法の好適な実施形態を示すフローチャートである。 本発明の方法の好適な実施形態を示す別のフローチャートである。

本発明の実施形態を図面に図示し、以下の説明で詳細に説明する。
図１では、本発明の装置の実施形態を全体として参照番号１０で表している。装置１０はここではロボット１４の作動領域１２の防護のために設置される。
ロボット１４は自動運転する機械であり、その動きのために、作動領域１２に進入する人にとっては危険となる。しかし、本発明の装置および本発明の方法は機械の防護に制限されない。たとえば金庫室の監視など、他の理由のために空間領域を監視するためにも使用できる。

装置１０は２つの画像記録ユニット１６，１８を有しており、これらは互いに決められた既知の距離ｂだけ離れて配置されている（図２を参照）。本発明の実施形態では、装置１０は第３画像記録ユニット（ここでは図示せず）を有しており、２つの画像記録ユニットはそれぞれの場合において互いに決められた既知の距離ｂだけ離れて配置されており、３つの画像記録ユニットは互いにＬ字形に配置されている。この場合、３つの画像記録ユニットは２対の画像記録ユニットを形成するが、単純化するために、これ以降は画像記録ユニット１６，１８を備える１対のみを説明する。少なくとも３つの画像記録ユニットのＬ字形の配置は、確実に任意の進行方向を有するエッジを、対のうちの少なくとも１つによって識別して、評価できるようにする。

装置１０はさらに評価・制御ユニット２０を有しており、これは画像記録ユニット１６，１８に接続されている。評価・制御ユニット２０は画像記録ユニット１６，１８によって画像記録を制御して、記録された画像を評価し、ロボット１４を画像に依存した方法で駆動する。
原則的に、評価・制御ユニット２０はロボット１４の作動コントローラの一部とすることができる。いくつかの実施形態では、評価・制御ユニット２０は、危険な作業領域１２の防護に役立つ個別の安全コントローラである。したがってロボット１４の動作コントローラ（ここでは図示せず）は個別に実現できる。

評価・制御ユニット２０は画像記録ユニット１６，１８の画像に依存した方法でスイッチング信号を生成することができ、そのスイッチング信号によってロボット１４を完全に停止するか、または減速運転にすることができる。参照番号２２は、評価・制御ユニット２０がスイッチング信号をロボット１４に送信するケーブルを表している。スイッチング信号は機械停止信号、制御信号、イネーブル信号および／または警告信号を含むことができる。

参照番号２４は装置１０を構成するための構成装置を表している。本発明の実施形態では、構成装置２４はパーソナルコンピュータＰＣ２６とディスプレイ２８とを含む。ディスプレイ２８は、特に画像記録ユニット１６，１８によって記録される画像を表示するように設計されている。しかし、これら画像のディスプレイは主に装置１０の構成および／または点検のために使用される。通常の運転動作モードでは、装置１０は完全に自動で運転されるのが好ましい。つまり、評価・制御ユニット２０は、ディスプレイ２８に画像を表示する必要なく、画像記録ユニット１６，１８の画像に依存した方法でスイッチング信号２２を生成する。ＰＣ２６および評価・制御ユニット２０は、データおよび画像の送信用の双方向データリンクを介して接続されており、前記データリンクは図１では両矢印で示されている。

参照番号３２，３４は画像記録ユニット１６，１８の記録領域を表す。見てすぐに分かるように、記録領域３２，３４は互いにややずれている。しかし、共通のまたは重なり合う記録領域３３があり、これが監視するべき空間領域を画成し、作業領域１２はここにある。共通の記録領域３３内でのみ、評価・制御ユニット２０は、画像記録ユニット１６，１８と物体との間の距離を以下に説明するように判定できる。

参照番号３４は警告ゾーンを表し、参照番号３６は機械停止ゾーンを表している。警告ゾーン３４および機械停止ゾーン３６は、ロボット１４の作業領域１２の周囲に少なくとも部分的に延びている監視領域である。監視領域３４，３６は構成装置２４によって画成できる仮想保護フェンスである。
人３８など、動いている物体が警告ゾーン３４および／または機械停止ゾーン３６に進入すると、これは装置１０によって識別されて、評価・制御ユニット２０がロボット１４用のスイッチング信号２２を生成する。人３８が警告ゾーン３４に進入すると、評価・制御ユニット２０は、たとえば、ロボット１４を減速運転する効果を有するスイッチング信号を生成してもよい。さらに音声および／または視覚的な警告信号を生成してもよい。これらの措置にもかかわらず人３８が機械停止ゾーン３６に進入すると、評価・制御ユニット２０は、ロボット１４を停止する別のスイッチング信号をさらに生成してもよい。

人３８または何か他の可動物体の、ゾーン３４，３６のうちの１つへの侵入を検出するために、評価・制御ユニット２０は記録領域３３全体の三次元画像を画像記録ユニット１６，１８の画像に依存した方法で判定する。三次元画像は、画像記録ユニット１６，１８と、共通の記録領域３３内の個々の物体および構造物との間の距離を表す距離情報を含む。警告ゾーンおよび機械停止ゾーン３４，３６は三次元画像内の座標に基づいて画成されているので、ゾーンのうちの１つへの人３８の進入は、画像記録ユニット１６，１８からの画像データのみに基づいて検出できる。警告ゾーンおよび機械停止ゾーン３４，３６を構成する好ましい方法は、冒頭で引用した特許文献２に記述されており、その開示を参照することにより、その全体をここに組み込む。

距離情報を判定するための好適な方法を、図３を参照して以下簡潔に説明する。図３(A)は、例として、また簡略化して、第１画像記録ユニット１６によって記録した監視される空間領域の第１画像４０を示している。画像４０は、ここでは例として機械４２およびスイッチギアキャビネット４４を示している。加えて、複数の実質的に平行なエッジ４８を有する構造物４６が機械４２の前に図示されている。構造物４６は、たとえば、機械４２の前の床に配置されている、明ストライプと暗ストライプとを備えるストライプパターンとすることができよう。さらに、構造物４６は、たとえば液体の排水路を備える、機械４２の前に配置されている格子とすることができよう。平行または実質的に平行なエッジを有する構造物４６の別の例は、格子フェンスまたは階段状の三次元構造物であってもよい。

図３(B)は、第２画像記録ユニット１８によって記録した第２画像５０を示している。第２画像５０は第１画像４０と同じ空間領域を示す。本発明の実施形態の全てにおいて、第１および第２の画像は互いに同期してかつ実質的に同時に記録される。しかし、原則的には、２つの画像記録間の時間的なずれが共通の記録領域３３で可動物体の位置に小さな変化しか起こさないほど小さければ、画像４０，５０は時間的にずれて記録することも考えられる。

図３を参照して示されるように、第１画像４０および第２画像５０は同じシーンを共有している。しかし、２つの画像４０，５０の物体および構造物４２，４４，４６は、参照番号５２で示しているように、互いにずれてみえる。オフセットｄは２つの画像記録ユニット１６，１８のオフセット記録領域３０，３２の結果である。
好ましくは、２つの画像記録ユニット１６，１８は平行な光学軸を有し、２つの画像記録ユニット１６，１８は少なくとも実質的に同一である。このケースでは、以下の関係が成り立つ。

ｒ＝ｂ・ｆ／ｄ
前記式において、ｆは画像記録ユニットの焦点距離であり、ｂは２つの画像記録ユニット１６，１８間の距離（いわゆる基準幅）であり、ｒは物体または構造物のエッジと、画像記録ユニット１６，１８の共通の参照点との距離であり、ｄはいわゆる視差、つまり２つの画像のオフセット５２である。既知の基準幅ｂおよび既知の焦点距離ｆが与えられていれば、画像記録ユニットに対する物体または構造物のエッジのそれぞれの距離ｒは、測定した視差に基づいて判定することができる。

しかし、距離ｒを判定する前提条件は、それぞれの視差ｄを判定するために、２つの画像４０，５０で相互に対応する構造物または物体のエッジを明確に識別して、互いに割り当てができることである。複数の平行なエッジ４８ａ，４８ｂを有する構造物４６の場合、同じ外観を有する平行なエッジが大量に存在する場合には、相互に対応するエッジの割り当ては特に難しく、誤差を生じやすい。不正確なエッジ割り当ては不正確な距離情報につながる。

図４は、構造物４６の角に４つの参照マーク５６ａ，５６ｂ，５６ｃ，５６ｄを配置している第１画像４０’を示している。本発明の実施形態では、参照マーク５６は決められた明暗パターンを有する点状または円形のフィルム片である。さらに、参照マークを構造物４６に固着、たとえば接着結合すると有利である。
図４に図示するように、各参照マーク５６は画像内で決められた目標点を形成するが、ここでは簡略化するために第１画像４０’のみを図示している。参照マーク５６は既知の特徴および／または明暗の(high-contrast)特徴に基づいて記録画像内で容易に識別されて、互いに割り当てできる。それぞれの視差に基づいて、画像記録ユニット１６，１８と個々の参照マーク５６ａ，５６ｂ，５６ｃ，５６ｄとの間の距離ｒを判定することができる。

図４でさらに見分けられるように、参照マーク５６ａ，５６ｂ，５６ｃ，５６ｄは仮想参照エリア５８を画成しており、ここでは構造物４６に一致して重なっている。個々の参照マーク５６ａ，５６ｂ，５６ｃ，５６ｄの距離は正確に判定できるため、仮想参照エリア５８の位置および距離も記録画像に基づいて正確に判定できる。
本発明の実施形態では、個々の平行なエッジ４８ａ，４８ｂの視差および距離はこれらのデータに基づいて判定されて、それぞれのエッジ４８ａ，４８ｂに割り当てされる。平行なエッジ４８ａ，４８ｂの視差を判定するために、エッジの視差が（今では既知の）参照エリア内で比例して変化すると有利である。この追加情報によって、第１画像４０’の各エッジ４８ａ，４８ｂについて、第２画像のそれぞれ対応するエッジを明確に割り当てできる。このように、全てのエッジ４８ａ，４８ｂの視差および距離を明確に、かつ誤差のないように判定できる。

図５は第１画像記録ユニット１６の別の画像４０”を示しており、今まさに人３８が機械４２に近づいているところである。人３８は背景を形成する構造物４６の前に位置しなければならない。人３８の距離を判定できるように、平行な画像で人の輪郭エッジ３９を検出して、視差を判定するためにそれを互いに割り当てる必要がある。輪郭エッジ３９に関する視差に基づいて、人３８がエッジ輪郭４６よりもさらに遠くにいることが明らかになると、輪郭エッジ３９に関する不正確なエッジの割り当てが明確に存在する。したがって、好ましくは、輪郭エッジ３９に関するエッジ割り当てを補正して、補正したエッジ割り当てで視差を判定する。ここで人に対する距離が構造物４６に対する距離よりも小さい場合、補正された測定は有効な測定として受け入れられる。ロボットを停止させるのは、有効な測定を生成するエッジ割り当てが可能でない場合に限られる。そうでなければ、妥当として受け入れられる距離をその後の評価で使用する。その結果、輪郭エッジ３９に対する距離を判定することが可能であり、そのため平行なエッジに関わらず、監視される空間領域内の人３８の三次元の位置を効果的かつ確実に判定することが可能である。

図６および図７は、２つのフローチャートに基づいた本発明の方法の好ましい実施形態を示している。図６は、実際の監視動作モードが始まる前に装置１０が構成されている構成モードを示している。ステップ(62)および(64)で、画像４０，５０が、好ましくは同期して、画像記録ユニット１６，１７によって記録される。ステップ(66)は画像内の様々な物体のエッジおよび構造物のエッジに関する視差の探索に関わる。この探索は相互に対応する物体のエッジおよび構造物のエッジの識別および割り当てを含む。その後、ステップ(68)は割り当ての欠如のために、視差の判定に困難が伴う、または全く判定できない構造物の識別に関わる。図３から図５の実施例では、これは構造物４６に適用される。

ステップ(70)に従い、識別された構造物に参照マーク５６が配置されている。ステップ(72)および(74)に従い、別の画像ペアが画像記録ユニット１６，１８によって記録される。その後、ステップ(76)は別の画像で参照マークを識別することに関わる。ステップ(78)は参照マークの視差を判定することに関わる。参照マークの視差によって仮想参照エリア５８を判定する。その後、ステップ(80)は構造物４６の個々のエッジ４８ａ，４８ｂの視差を判定することに関わり、２つの画像でそれぞれ対応するエッジ４８ａ，４８ｂの明確な割り当てを取得するために、参照エリア５８の現在既知の位置および参照マーク５６の既知の視差を使用する。ステップ(82)は個々のエッジ４８ａ，４８ｂの視差を永久的に記憶することに関わる。さらに、ステップ(84)は個々のエッジ４８ａ，４８ｂの画像位置および参照マーク５６の位置を記憶することに関わる。この場合、「画像位置」とは、画像記録ユニット１６，１８の二次元画像内のエッジおよび参照マークの位置を表す。その後、ステップ(86)に従い、たとえば、警告ゾーン３４または機械停止ゾーン３６などの個々の保護空間を構成することができる。保護空間は冒頭で引用した特許文献２に記述される方法に従い構成するのが好ましい。こうして装置１０は図７を参照して図示される監視モードにすることができる。

図７のステップ(88)および(90)に従い、監視動作モードでも、対の画像が画像記録ユニット１６，１８によって記録される。
その後、ステップ(92)に従い記録された画像で参照マーク５６が識別される。さらに、参照マーク５６の距離および位置が視差に基づいて判定される。
ステップ(94)は、参照マーク５６の距離および／または位置が参照マークの記憶されている距離および位置情報に対して変化していないかどうかを点検することに関わる。変化している場合、ステップ(96)はスイッチング信号を生成することに関わり、これは好ましい実施形態では、ロボットまたは監視される機械を停止する機械停止信号を含む。あるいは、スイッチング信号は参照マークおよび／またはエッジ構造物の領域で新たな視差判定をトリガすることができ、新たな視差判定で妥当な距離値が生じない場合に限って機械のスイッチが切られる。

参照マークの位置が構成モードで取得したデータと比較して変化していない場合、監視動作モードを継続する。ステップ(98)は記憶された画像位置に基づいて、構造物４６の平行なエッジを識別することに関わる。ステップ(100)に従い、記憶されているエッジの視差を識別されたエッジ４８ａ，４８ｂに割り当てする。すなわち、本発明の方法の好ましい実施形態は、監視動作モード中それぞれの場合において平行なエッジ４８ａ，４８ｂの視差および距離を繰り返し判定する手順を不要にする。むしろ、構成モードで判定・記憶されているエッジの視差が、現行の測定値に置き換わる。

その後、ステップ(102)は別の全ての物体のエッジの視差を判定することに関わる。次にステップ(104)は保護領域の監視、すなわち、人または他の何らかの物体が決められた保護空間３４，３６のうちの１つに進入したかどうかを評価することに関わる。ステップ(106)に従い保護空間への侵入が検出されたら、ステップ(108)は監視される機械を停止するための機械停止信号をもう一度含むことのできる信号を生成することに関わる。保護空間への侵入が検出されなければ、ループ１１０に従い、方法はステップ(88)，(90)の画像記録に戻る。そのため、監視モードでは図７に従う方法が周期的に繰り返される。

全体として、本発明の方法および本発明の装置は、平行なエッジの視差および距離の判定を正確に行うために、たとえば人工的なリングパターンなどの決められた参照マークを使用することによって、三次元映像で記録される画像の平行なエッジの不正確な割り当ての防止に役立つ。
平行なエッジの視差および／または距離は、好ましくは評価・制御ユニットのメモリに永久的に記憶されて、その後の監視動作モードで問題のあるエッジに割り当てられる。好ましくは、このために、二次元画像における平行なエッジの位置を判定して、視差および／または距離情報とともに記憶する。この方法によってエッジの不正確な割り当てを最小限に減らすことができる。平行なエッジに関する視差／距離を判定するために、構成モードでは少なくとも３つの参照マークを使用すると有利である。

さらに、参照マークのうちの少なくとも１つは問題のある構造物に永久的に残しておいて、前記参照マークによって、構成モードで判定される視差／距離を監視動作モードで確実に有効にするのが好ましい。そのため、平行なエッジを有する問題のある構造物が静止状態であり、監視される空間領域を画定すると、この場合の平行なエッジは監視動作モードで可動物体が移動する背景を形成するため有利である。そのため、可動物体のそれぞれの距離は背景の平行なエッジに対する距離よりも小さくなければならず、これにより単純な妥当性チェックが可能になる。

本発明の方法により、平行なエッジの視差および距離を判定する時、計算上の複雑さを大幅に低減することが可能である。さらに、不正確な割り当てとそれから生じる測定誤差とを回避することができる。

Claims (11)

1. 可動物体（３８）を有する空間領域（３３）を監視する方法であって、
   互いに決められた距離（ｂ）だけ離れて配置されている第１および第２の画像記録ユニット（１６，１８）を提供するステップと、
   前記第１画像記録ユニット（１６）によって前記空間領域（３３）の第１画像（４０）を記録し、前記第２画像記録ユニット（１８）によって前記空間領域（３３）の第２画像（５０）を記録するステップと、
   前記第１および第２の画像（４０，５０）に基づいて物体の位置を判定するステップであって、物体の位置は前記画像記録ユニット（１６，１８）に対する物体（３８，４２，４４）の空間距離を表す、前記判定するステップと、
   前記物体の位置に依存する方法でスイッチング信号（２２）を生成するステップとを含み、
   前記空間領域（３３）は少なくとも実質的に平行な複数のエッジ（４８）を有する構造物（４６）を含んでおり、前記構造物（４６）に複数の決められた参照マーク（５６）が配置されており、前記画像記録ユニット（１６，１８）と前記参照マーク（５６）との間の複数の参照距離を判定し、前記参照距離に基づいて前記構造物（４６）の構造位置を判定することを特徴とする方法。
2. 前記構造物（４６）に仮想参照エリア（５８）を画成する少なくとも３つの参照マーク（５６）が配置されており、前記仮想参照エリア（５８）は前記複数の平行なエッジ（４８）に実質的に重なることを特徴とする、請求項１に記載の方法。
3. 前記平行なエッジ（４８）のうちの少なくとも１つについて、前記画像記録ユニット（１６，１８）に対するエッジ距離を、前記第１および第２の画像（４０，５０）に基づくとともに、前記仮想参照エリア（５８）にも基づいて判定することを特徴とする、請求項２に記載の方法。
4. 前記少なくとも１つのエッジ（４８）について、前記第１および／または第２画像（４０，５０）内のエッジ位置を判定して、永久に記憶することを特徴とする、請求項３に記載の方法。
5. 前記少なくとも１つのエッジ（４８）の前記エッジ距離を永久に記憶することを特徴とする、請求項３または請求項４に記載の方法。
6. 前記第１および第２の画像（４０，５０）を繰り返し記録し、前記物体の位置を繰り返し判定して、前記構造位置を各サイクルで前記記憶したエッジ距離に基づいて判定することを特徴とする、請求項５に記載の方法。
7. 前記参照マーク（５６）のうちの少なくとも１つは前記構造物（４６）に永久に残したままであることを特徴とする、請求項１〜請求項６のいずれか１項に記載の方法。
8. 可動物体（３８，４２，４４）の前記物体の位置を前記構造物（４６）の前記構造位置に基づいて検証することを特徴とする、請求項１〜請求項７のいずれか１項に記載の方法。
9. 前記構造物（４６）は空間的に静止していることを特徴とする、請求項１〜請求項８のいずれか１項に記載の方法。
10. 可動物体（３８）を有する空間領域（３３）を監視する装置であって、前記装置は、前記空間領域（３３）の第１画像（４０）を記録する第１画像記録ユニット（１６）と、前記空間領域（３３）の第２画像（５０）を記録する第２画像記録ユニット（１８）とを備えており、前記第１および第２の画像記録ユニット（１６，１８）は互いに決められた距離（ｂ）だけ離して配置されており、さらに前記第１および第２の画像（４０，５０）に基づいて物体の位置を判定して、前記物体の位置に依存する方法でスイッチング信号（２２）を生成するように設計されている評価・制御ユニット（２０）を備えており、物体の位置は、前記画像記録ユニット（１６，１８）に対する物体（３８，４２，４４）の空間距離を表し、前記評価・制御ユニット（２０）は前記画像記録ユニット（１６，１８）と前記構造物（４６）に配置されている参照マーク（５６）との間の複数の決められた参照距離に基づいて、実質的に平行な複数のエッジ（４８）を有する構造物（４６）の構造位置を判定するようにさらに設計されていることを特徴とする装置。
11. プログラムコードを請求項１０に記載の装置の評価・制御ユニットで実行すると、全体として請求項１〜請求項９のいずれか１項に従う方法を行うように設計されている前記プログラムコードを含むことを特徴とするコンピュータプログラム。

Images