DE4113992A1

DE4113992A1 - Verfahren zur automatischen dreidimensionalen ueberwachung von gefahrenraeumen

Info

Publication number: DE4113992A1
Application number: DE4113992A
Authority: DE
Inventors: Des Erfinders Auf Nennung Verzicht
Original assignee: Individual
Current assignee: Individual
Priority date: 1991-04-29
Filing date: 1991-04-29
Publication date: 1992-11-05

Description

Technisches Gebiet

Die Erfindung betrifft ein Verfahren zur Überwachung von Gefahrenräumen, Sicherheitszonen oder potentiellen Kollisionsbereichen (Überwachungsraum). Hierzu werden im Betriebszustand die Bilder von mindestens zwei, den Überwachungsraum beobachtenden Bildaufnehmern laufend aufgenommen, in eine rechnerverarbeitbare Form gebracht und mit den Bildern verglichen, die den Grundzustand des Überwachungsraumes aus der Sicht der jeweiligen Bildaufnehmer zeigen. Aus dem Ergebnis des Vergleiches wird auf Belegungsveränderungen des Gefahrenraumes, den Ort der Veränderung sowie, in einer Ausgestaltung des Verfahrens, auf die grobe Form und Größe des verändernden Objektes geschlossen.

Zugrundeliegender Stand der Technik

Verfahren zur Detektion und Lokalisierung von räumlichen Belegungsveränderungen in Gefahrenräumen auf der Basis von elektronischen Bildaufnehmern, wie etwa Videokameras, sind bereits mehrfach bekannt. In DE-OS 38 25 757 sind beispielsweise Verfahren und Vorrichtungen beschrieben, mit deren Hilfe über Linsen und Spiegel mehrere Raumbereiche auf einer einzigen lichtempfindlichen Einrichtung abgebildet werden, die nach der Methode des laufenden Bildvergleiches auf Veränderungen überwacht werden. In vielen Anwendungsfällen sind die Verwendungsmöglichkeiten solcher Überwachungseinrichtungen dadurch beschränkt, daß lediglich die durch das zwischen Kamera und Hintergrund tretende Objekt verursachte Grauwert-, Farb- oder Strukturänderung von der Kamera detektiert wird. Diese Verfahren stellen damit eine Erweiterung des Lichtschranken- oder Reflexlichtschrankenprinzips dar. Die Position der Eintrittsstelle des Objektes läßt sich mit diesen Verfahren nicht angeben.

Eine räumliche Lokalisierung läßt sich hingegen durch die Verwendung von zwei oder mehr Bildaufnehmern in Verbindung mit photogrammetrischen Auswerteverfahren erzielen. Durch /CHEN88/, /SRIV90/, /POTM85/ und /MART83/ sind Verfahren bekannt, bei denen die aus verschiedenen Ansichten mit Hilfe von Kameras aufgenommenen Silhouetten eines Objektes rechnerisch und unter Berücksichtigung der photogrammetrischen Abbildungseigenschaften der Kameras in den Raum rückprojiziert werden. Das von allen Silhouettenprojektionskegeln eingeschlossene Schnittvolumen gibt den Ort und die angenäherte Form des Objektes wieder. Nachteilig auf die Verwendungsmöglichkeit als Schutz- und Sicherheitseinrichtung wirkt sich bei diesen Verfahren der hohe Rechenaufwand für die Bildauswertung und für die rechnerische Rückprojektion aus.

Andere photogrammetrische Verfahren vermessen mit Hilfe des Triangulationsverfahrens die Position von Oberflächenpunkten und gewinnen aus einer großen Zahl vermessener Oberflächenpunkte die Form und Position des Objektes. Das zentrale Problem dieser Verfahren ist es, in den Bildern der Bildaufnehmer genau die Bildpunkte zu finden und einander zuzuordnen, die denselben Oberflächenpunkt darstellen (Korrespondenzproblem). Dieses Problem kann durch zusätzlich in den Raum projiziertes Strukturlicht vereinfacht werden. Bei diesen an sich sehr genauen Verfahren wirkt sich jedoch der hohe Rechenaufwand zur Lösung des Korrespondenzproblems und zur Berechnung der Raumpositionen mit Hilfe der Triangulation auf die Verwendungsmöglichkeiten als Schutz- und Sicherheitseinrichtung sehr nachteilig aus.

Offenbarung der Erfindung

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur automatischen Überwachung von Gefahrenräumen so auszubilden, daß in den Gefahrenraum eintretende Objekte detektiert, lokalisiert und gegebenenfalls in Größe und Form abgeschätzt werden können, bei gleichzeitig kurzen Auswertungszeiten.

Diese Aufgaben werden durch die im Hauptanspruch aufgeführten Merkmale gelöst.

Durch die Kalibration der installierten Bildaufnehmer existiert ein mathematischer Zusammenhang, mit dem aus den Koordinaten eines Raumpunktes die Bildkoordinaten seiner Projektion auf der Bildebene eines Bildaufnehmers berechnet werden können. Diese Kalibrationsverfahren sind an sich bekannt (z. B. /FÖHR90/, /MEIS89/). Im Ausführungsbeispiel wird ein einfaches Beispiel hierzu gegeben. Wichtig für das Verfahren ist, daß alle Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kalibriert sind.

Unter Ausnutzung des Kalibrationsergebnisses werden im ersten Verfahrensschritt, jedoch noch vor der Überwachungsphase (Einrichtphase), die Koordinaten der zu überwachenden Raumpunkte (Überwachungsraumpunkte) benutzerseits festgelegt und mit den Kalibrationsparametern in die Bildpunktkoordinaten der Bildaufnehmer (Überwachungsbildpunkte) umgerechnet (s. Fig. 1). Zweckmäßigerweise werden diese Bildkoordinatenwerte für die Überwachungsphase abgespeichert. Die so aus einem Überwachungsraumpunkt entstandenen Überwachungsbildpunkte werden im folgenden als "zum Überwachungsraumpunkt korrespondierend" bezeichnet.

In der Überwachungsphase werden die Überwachungsraumpunkte nach dem Prinzip gekreuzter Lichtschranken überwacht. Der in der Überwachungsphase durchgeführte Auswertevorgang wird zyklisch wiederholt. Dazu werden zunächst die von den Bildaufnehmern aufgenommenen Bilder in eine rechnerverarbeitbare Form überführt. Im Anschluß daran werden die zu einem Überwachungsraumpunkt korrespondierenden Überwachungsbildpunkte, ggf. unter Berücksichtigung ihrer Umgebung, auf Grauwert-, Struktur- oder Texturveränderungen untersucht. Hierzu wird auf an sich bekannte Methoden des Bildvergleiches zurückgegriffen. In einer Ausgestaltung des Verfahrens dienen z. B. die von den Bildaufnehmern im Grundzustand des Überwachungsraumes aufgenommenen Bilder als Vergleichsbilder. Eine Veränderung der Belegungssituation auf der Position eines Überwachungsraumpunktes, z. B. die Anwesenheit eines im Grundzustand des Überwachungsraumes nicht vorhandenen Objektes auf dieser Position, wird i. allg. zu einer Veränderung aller korrespondierenden Überwachungsbildpunkte führen. In einer Ausgestaltung des Verfahrens wird daher ein Überwachungsraumpunkt dann als verändert angenommen, wenn alle korrespondierenden Überwachungsbildpunkte als verändert erkannt wurden. Fig. 3 verdeutlicht dieses Prinzip.

Aus der Tatsache, daß bei der Überprüfung der Überwachungsraumpunkte nur auf bekannte Bildkoordinaten zugegriffen wird, folgt eine hohe Auswertegeschwindigkeit. Durch die Vorgabe der zu überprüfenden Raumpositionen wird zudem das Korrespondenzproblem vermieden.

Die räumliche Dichte der Überwachungsraumpunkte kann an die Größe der zu detektierenden Objekte angepaßt werden. In einer Ausgestaltung des Verfahrens werden die Überwachungsraumpunkte automatisch aus der Angabe des Überwachungsraumbereiches und der gewünschten Punktdichte erzeugt. Durch vier benutzerseits vorgegebene Raumpunkte (Fig. 2: Punkte 5 bis 8) wird ein Spat aufgespannt, dessen Innenraum den Überwachungsraum festlegt. Durch drei weitere Zahlenwerte (Fig. 2: dx, dy, dz) werden die Überwachungspunktabstände in Richtung der Spatvektoren festgelegt. In einer weiteren Ausgestaltung dieses Prinzips werden die vier Raumpunkte, mit denen der Überwachungsraum festgelegt wird, im Überwachungsraum selbst markiert. Hierzu wird ein Markierungspunkt an die gewünschten Raumpositionen bewegt und mit Hilfe der kalibrierten Bildaufnehmer in an sich bekannter Weise photogrammetrisch durch Triangulation vermessen. Hierdurch wird die Festlegung eines Überwachungsbereiches einfach und sicher. In gleicher Weise werden auch einzelne Überwachungspunkte markiert.

In einer Ausgestaltung des Verfahrens ist mindestens ein Teil der Bildaufnehmer farbselektiv, z. B. durch vor die Bildaufnehmer montierte Farbfilter. Weiter ist im Nahbereich eines jeden farbselektiven Bildaufnehmers eine Farblichtquelle mit einem nur für den jeweiligen Bildaufnehmer durchlässigen Lichtspektrum. Auf diese Weise wird der möglicherweise störende Einfluß des Umgebungslichtes ausgeschaltet. Die in manchen Fällen störende Schattenbildung wird durch die bildaufnehmernahe Anbringung der Farblichtquellen erreicht, da hierdurch, vom jeweiligen Bildaufnehmer aus gesehen, der Schatten vom Objekt selbst weitgehend verdeckt wird.

In einer alternativen Ausgestaltung dieses Prinzips wird die Belichtungszeit der Bildaufnehmer so gesteuert, daß zu einem Zeitpunkt jeweils nur ein Bildaufnehmer belichtet wird. Im Nahbereich eines jeden Bildaufnehmers ist jeweils eine schaltbare Lichtquelle, z. B. eine Blitzlichtquelle, die nur im Belichtungszeitraum des jeweiligen Bildaufnehmers eingeschaltet wird. Durch die Nähe der Lichtquellen zu den jeweiligen Bildaufnehmern wird ebenfalls Schattenbildung weitgehend vermieden. Ist die Helligkeit der schaltbaren Lichtquellen größer als die des Umgebungslichtes, dann kann auch bei diesem Verfahren der Einfluß des Umgebungslichtes unterdrückt werden. Durch die zusätzliche Verwendung farbselektiver Bildaufnehmer und schaltbarer Lichtquellen mit einem für die farbselektiven Bildaufnehmer gut sichtbaren Licht, wird die Unterdrückung des Umgebungslichtes weiter verbessert.

Erläuterung der Zeichnungen

Fig. 1 zeigt den Zusammenhang zwischen einem Überwachungsraumpunkt und den korrespondierenden Überwachungsbildpunkten, mit den Bezeichnungen

Überwachungsraumpunkt
Xr_i = (xr_i, yr_i, zr_i),

Überwachungsbildpunkte
Xb_1, i = (xb_1, i, yb_1, i, zb_1, i),
Xb_2, i = (xb_2, i, yb_2, i, zb_2, i).

Vereinfachend wurden die Bildkoordinatensysteme und Überwachungsbildpunkte in die Projektionsebenen der Bildaufnehmer eingezeichnet.

Fig. 2 zeigt die Überwachung eines spatförmigen und mit Überwachungsraumpunkten belegten Raumbereiches mit Hilfe der drei Bildaufnehmer 1 bis 3 sowie dem rechnergestützten Bildverarbeitungssystem 4. Die schwarz gekennzeichneten Überwachungsraumpunkte 5 bis 8 spannen den Spat auf.

Fig. 3 zeigt in einer vereinfachten zweidimensionalen Darstellung die räumliche Lokalisierung eines Störobjektes 3 durch ein Feld von Überwachungsraumpunkten 4, welches mit Hilfe der Bildaufnehmer 1 und 2 überwacht wird. Die schwarz ausgefüllten Punkte kennzeichnen die als verändert erkannten Überwachungsraumpunkte.

Ausführungsbeispiel der Erfindung

Fig. 2 zeigt einen zu überwachenden Raumbereich, in dem drei als elektronische Bildaufnehmer dienende CCD-Kameras 1 bis 3 fest angebracht sind, deren Bilder von einem rechnerbasierten Bildverarbeitungssystem 4 ausgewertet werden.

Zur Beschreibung des Projektionsverhaltens der Kameras wird im vorliegenden Ausführungsbeispiel ein einfaches lineares Kameramodell verwendet (z. B. /KRAU83/):

xb = (h11 _* xr + h12 _* yr + h13 _* zr + h14) / (h31 _* xr + h32 _* yr + h33 _* zr +1) ,
yb = (h21 _* xr + h22 _* yr + h23 _* zr + h24) / (h31 _* xr + h32 _* yr + h33 _* zr +1) ,

mit

(xr, yr, zr) = Xr Raumpunktkoordinaten,
(xb, yb) = Xb Bildpunktkoordinaten,
(h11, . . ., h33) = H Abbildungsparameter.

Die Kalibration der Kameras ist gleichbedeutend mit der Bestimmung der Abbildungsparameter H_k (mit dem Kameraindex k, k = 1 . . . Kameraanzahl). Zur Kalibration wird z. B. ein mit Markierungspunkten versehenes Gestell in den Überwachungsbereich gebracht, wobei die Koordinaten der Markierungspunkte Xr_p (mit dem Markierungspunktindex p, p = 1 . . . Anzahl der Markierungspunkte) bezüglich eines beliebigen Raumkoordinatensystems bekannt sein müssen. Aus den Bildern der Kameras werden die Bildkoordinaten Xb_k, p der Projektionen der Markierungspunkte bestimmt. Durch Einsetzen der Markierungspunktraumkoordinaten Xr_p und der zugehörigen Bildkoordinaten Xb_k, p von mindestens 6 Markierungspunkten in obige Gleichungen erhält man für jede Kamera k ein überbestimmtes Gleichungssystem, welches mit Hilfe der Ausgleichsrechnung gelöst wird. Damit sind die Abbildungsparameter (h11_k, h12_k, . . ., h33_k) = H_k für jede Kamera bekannt.

Zur Markierung des Überwachungsbereiches wird eine Meßmarkierung auf die vier Raumpositionen 5 bis 8 geführt und ihre Bildkoordinaten bezüglich mindestens zweier Kameras bestimmt. Durch Umformung der obigen Gleichungen nach den Raumkoordinaten werden die markierten Positionen 5 bis 8 durch Ausgleichsrechnung errechnet. Diese spannen im Raum einen Spat auf, der den Überwachungsbereich beschreibt. Zur Festlegung des Überwachungsraumpunktrasters werden die Abstände der Überwachungsraumpunkte in Richtung der Spatvektoren vorgegeben. Die so erzeugten Überwachungsraumpunkte Xr_i (i = 1 . . . Anzahl der Überwachungsraumpunkte) werden mit Hilfe der Abbildungsparameter H_k und den obigen Gleichungen in die Überwachungsbildpunkt Xb_k, i umgerechnet.

Für den späteren Bildvergleich wird von jeder Kamera der Überwachungsraum im Grundzustand aufgenommen. Aus diesen Bildern werden die Grauwerte G (Xb_k, i) auf den Bildkoordinaten der Überwachungsbildpunkte Xb_k, i ermittelt und abgespeichert.

In der zyklisch ablaufenden Überwachungsphase wird von den Kameras der Überwachungsraum aufgenommen. Aus diesen Bildern werden die aktuellen Grauwerte B (Xb_k, i) ermittelt. Anschließend werden die Grauwerte G (Xb_k, i) und B (Xb_k, i) nach einem geeigneten Vergleichsalgorithmus miteinander verglichen. Zum Beispiel kann ein Überwachungsbildpunkt B (Xb_k, i) als geändert angenommen werden, wenn die Differenz zwischen G (Xb_k, i) und B (Xb_k, i) einen bestimmten, vorgebbaren Betrag überschreitet. Ein Überwachungsraumpunkt i mit den Koordinaten Xr_i wird dann als geändert angenommen, wenn die korrespondierenden Überwachungsbildpunkte B (Xb_k, i) für alle k (k = 1 . . . Kameraanzahl) geändert erscheinen.

Quellenangaben
[CHEN88]
Homer H. Chen, Thomas S. Huang: A Survey of Construction and Manipulation of Octrees Computer Vision, Graphics, and Image Processing 43, S. 409-431, 1988, Academic Press
[FÖHR90]	R. Föhr: Photogrammetrische Erfassung räumlicher Informationen aus Videobildern industrieller Szenen, Vieweg-Verlag, Wiesbaden, 1990
[KRAU83]	H. Krauß: Das Bild-n-Tupel, ein Verfahren für photogrammetrische Ingenieurvermessungen im Nahbereich, N. Martin, J. K. Aggarwal: Volumetric Descriptions of Objects from Multiple Views IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-5, Nr. 2, March 1983
[MEIS89]	A. Meisel, M. Beccard, R. Föhr, L. Thieling, W. Ameling: Schnelle 3D-Positionsbestimmung mit Hilfe einer CCD-Kamera, Mechatronik im Maschinen- und Fahrzeugbau", VDI-Bericht 787, S. 291-306, VDI-Verlag, Düsseldorf 1989
[POTM87]	M. Potmesil: Generating Octree Models of 3D Objects from their Silhouettes in a Sequence of Images Computer Vision, Graphics, and Image Processing 40, S. 1-29, 1987, Academic Press
[SRIV90]	Sanjay K. Srivastava, Narendra Ahuja: Octree Generation from Object Silhouettes in Perspective Views, Vision, Graphics, and Image Processing 49, S. 68-84, 1990, Academic Press

Claims

1. Verfahren zur automatischen Überwachung von Gefahrenräumen mit dem Ziel, in den Gefahrenraum eintretende Objekte zu detektieren, lokalisieren und gegebenenfalls ihre Größe und Form näherungsweise zu bestimmen, mit den Verfahrensschritten: (a) laufendes Aufnehmen des Gefahrenraumes mit zwei oder mehr elektronischen Bildaufnehmern in der Überwachungsphase, (b) Überführen der aufgenommenen Bilder in eine rechnerverarbeitbare Form mit dem Ziel einer rechnergestützten Weiterverarbeitung, (c) Vergleichen der von den Bildaufnehmern in der Überwachungsphase aufgenommenen Bilder mit den Bildern, die den Grundzustand des Raumes aus der Sicht des jeweiligen Bildaufnehmers wiedergeben, dadurch gekennzeichnet, daß (d) die Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kalibriert sind, (e) die Überwachungsraumpunkte in den Koordinaten des Raumkoordinatensystems festgelegt werden, (f) die Überwachungsbildpunkte aus den Überwachungsraumpunkten und den Kalibrationsparametern bestimmt werden, (g) aus der Veränderung der zu einem Überwachungsraumpunkt korrespondierenden Überwachungsbildpunkte auf die Belegungsveränderung dieses Überwachungsraumpunktes geschlossen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Verfahrensschritt (f) nur einmalig in der Einrichtphase durchgeführt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß während des Verfahrensschrittes (c) nur die zu einem Überwachungsraumpunkt korrespondierenden Überwachungsbildpunkte ggf. unter Berücksichtigung ihrer näheren Bildpunktumgebung, für den Bildvergleich verwendet werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß ein Überwachungsraumpunkt dann als geändert betrachtet wird, wenn alle seine korrespondierenden Überwachungsbildpunkte als verändert erkannt wurden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Überwachungsraumpunkte rechnergestützt aus der Vorgabe eines zu überwachenden Raumbereiches und der Dichte der Überwachungsraumpunkte in diesem Raumbereich erzeugt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß Überwachungspunkte oder der zu überwachende Raumbereich im Raum selbst markiert wird, wobei eine Meßmarkierung, die auf die Überwachungspunkte oder Kennpunkte des Überwachungsraumes geführt wird, mit Hilfe der kalibrierten Bildaufnehmer photogrammetrisch vermessen wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß mindestens ein Teil der Bildaufnehmer farbselektiv ist und daß im Nahbereich eines farbselektiven Bildaufnehmers jeweils eine Farblichtquelle mit einer auf diesen Bildaufnehmer abgestimmten Lichtfarbe angebracht ist.

8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß mindestens ein Teil der Bildaufnehmer so geschaltet ist, daß jeweils nur ein Bildaufnehmer belichtet wird, wobei eine schaltbare Lichtquelle im Nahbereich des Bildaufnehmers eingeschaltet ist.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß mindestens ein Teil der Bildaufnehmer farbselektiv ist und daß die zugehörigen schaltbaren Lichtquellen ein für die farbselektiven Bildaufnehmer gut sichtbares Licht besitzen.