DE10244148A1 - Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs - Google Patents
Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs Download PDFInfo
- Publication number
- DE10244148A1 DE10244148A1 DE10244148A DE10244148A DE10244148A1 DE 10244148 A1 DE10244148 A1 DE 10244148A1 DE 10244148 A DE10244148 A DE 10244148A DE 10244148 A DE10244148 A DE 10244148A DE 10244148 A1 DE10244148 A1 DE 10244148A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- camera
- image
- images
- volume elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Größe des erfassten Bereichs. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiss zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im Allgemeinen keine direkten Entfernungsinformationen. Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich ein System zu schaffen, welches installiert in einem Straßenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3-D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Gemäß der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit, die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage von Bildpaaren ein lokales 3-D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert werden.
Description
- Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug.
- Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Größe des erfaßten Bereichs. So muß sich z.B. die Radarsensorik für eine ACC-Anwendung auf wenige Grad Erfassungsbereich horizontal beschränken, während sich für eine Einparkhilfefunktion bei der Erfassung der Umgebung neben dem Fahrzeug mit Ultraschall nur eine geringe Reichweite und Auflösung realisieren lassen. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiß zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im allgemeinen keine direkte Entfernungsinformation.
- Systeme um von zweidimensionalen Tiefenprofildaten unter Ausnutzung der Fahrzeugeigenbewegung auf dreidimensionale Umgebungsdaten zu gelangen, werden zum einen in den Schriften
US 4 179 216 A1 undUS 4 490 038 A1 für die Kontrolle von Eisenbahntunnel und den fehlerfreien Verlauf von Schienenwegen aufgezeigt und zum anderen inUS 5 278 423 A1 im Zusammenhang mit der gezielten Ausbringung von Pestiziden und der Erfassung des Baumbestandes von Plantagen beschrieben. In all diesen Systemen wird in einer Datenverarbeitungseinheit durch die Aneinanderreihung einer aufeinanderfolgenden Menge von Entfernungsprofilen ein dreidimensionales Abbild der Umgebung erzeugt. Um die Abstände der einzelnen sequentiell aufgenommenen Profile zueinander zu ermitteln sind an den Rädern der die Systeme tragenden Fahrzeuge jeweils Entfernungsaufnehmer angeordnet. - Eine Vorrichtung zur Lageerfassung eines einen abtastenden Sensor tragenden landwirtschaftlichen Fahrzeugs wird in
US 5 809 440 A1 beschrieben. Hierbei wird die Spur des Fahrzeugs mittels eines globalen Navigationssystems (GPS) verfolgt. Da der zur Aufnahme des Bewuchses verwandte abtastende optische Sensor jedoch keine Entfernungsinformation liefert, wird durch Aneinanderreihung der Sensorinformation nur eine zweidimensionale Kartographie des Untergrundes erreicht. - Bei Fahrerassistenzsystemen kommen vermehrt Stereokamerasysteme zum Einsatz, mit deren Hilfe aufgrund der bekannten geometrischen Anordnung des verwendeten Kamerapaares die Objektweite rechnerisch ermittelt werden kann. Bei der Stereobildverarbeitung wird ein Objekt aus unterschiedlichen Richtungen mit einem Kamerapaar abgetastet. Anschließend wird die Entfernung zwischen dem Stereokamerasystem und dem Objekt unter Berücksichtigung der Kamerapositionen und Ausrichtungen sowie der Kameraparameter basierend auf dem Prinzip der Triangulation bestimmt.
- In der
DE 199 26 559 A1 wird ein Verfahren sowie eine Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs genannt. Bei dem vorgestellten Verfahren wird die Entfernung zu einem bewegten Fahrzeug durch Auswertung von Stereobildpaaren berechnet und Eigenschaften der detektierten Objekte ermittelt. Insbesondere wird mittels Stereobildverarbeitung eine entfernungsbasierte Bildsegmentierung durchgeführt. In den segmentierten Bildbereichen wird anschließend eine Objekterkennung durchgeführt. - Ein ähnliches System ist aus der
EP 108 72 57 A2 bekannt, dabei wird eine Anordnung zur Befestigung eines Stereokamerasystems in einem Fahrzeug beschrieben, welches dazu dient, eine dreidimensionale Distanzverteilung für ein betrachtetes Objekt zu berechnen. Beim Einsatz in Straßenfahrzeugen sind solche aus dem Stand der Technik bekannten Systeme zur Stereobildverarbeitung jedoch nur bedingt geeignet, da die Position und Ausrichtung der Kamera sehr exakt sein und mit hohem Aufwand justiert werden muss. Weiterhin ist eine derartige Anordnung für den Alltagseinsatz bei unterschiedlichsten Straßenzuständen oft nicht robust genug und eine Dejustage des Systems jederzeit möglich. - Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs sowie ein Fahrzeug mit einem Sensorsystem zur Durchführung des Verfahrens gemäß den Oberbegriffen der Patentansprüche 1 und 15 zu schaffen, welches eine hohe mechanische Robustheit aufweist und sich ohne hohen Aufwand justieren läßt.
- Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
- Gemäß der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern.
- In besonders vorteilhafter weise umfaßt die Vorrichtung weiterhin eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Es ist ein weiteres Mittel vorgesehen, um die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera zu bestimmen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert werden, wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
- Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich ein System zu schaffen, welches installiert in einem Straßenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Im Gegensatz zu einer paarweisen Kameraanordnung wie sie bei herkömmlichen Stereokamerasystemen eingesetzt wird, bietet das erfinderische monokulare Kamerasystem in Verbindung mit dem erfindungsgemäßen Verfahren den Vorteil eines deutlich geringeren Platzbedarfs. Ein solches System stellt im Hinblick auf Designaspekte eine vorteilhafte Lösung für die Integration in das Fahrzeug dar und bietet zusätzlich den Vorteil von vergleichsweise geringen Kosten durch den Verzicht auf eine zweite Kamera. Die mechanische Robustheit ist bei monokularen Kamerasystemen vergleichsweise höher als bei Stereokameras. Ein weiterer Vorteil den Einzelkamerasysteme bieten, ist ein deutlich reduzierter Aufwand bei der Montage und lustage.
- In einer gewinnbringenden Ausführungsform der Erfindung ist es denkbar, zur Auswahl von Bildern zu Bildpaaren für die Stereobildverarbeitung, die Eigenbewegung und somit die zurückgelegte Wegstrecke aufgrund der erfaßten Anzahl der Radumdrehungen zu ermitteln. Weitere Möglichkeiten zur Erfassung der Eigenbewegung eines Straßenfahrzeugs bieten auch Systeme für die mobile Fahrzeugnavigation die hauptsächlich mit GPS (Global Positioning System) arbeiten und somit Informationen über die genaue Position bereitstellen. Auch kommen vermehrt Fahrdynamiksysteme in Straßenfahrzeugen zum Einsatz, welche unter Berücksichtigung von Motordaten sowie Informationen zu Lenkung und Bremse eine Vielzahl an Daten zur Eigenbewegung eines Fahrzeugs liefern.
- In besonders gewinnbringender Weise ist es insbesondere bei niedrigen Geschwindigkeiten denkbar, daß es sich bei den zu Bildpaaren auszuwählenden Bildern nicht zwingend um zwei unmittelbar aufeinanderfolgende Bildaufnahmen handeln muß. Für zwei Bildaufnahmen zu einem Bildpaar sollte der Zeitstempel Idealerweise derart gewählt sein, daß der Zeitunterschied unter Berücksichtigung der Fahrzeugeigengeschwindigkeit umgerechnet einer fest vorgegebenen Wegstrecke (Stereobasis) entspricht. Die Wegstrecke (Stereobasis) sollte vorzugsweise jedoch derart gewählt werden, daß sich diese in Abhängigkeit von der aktuellen Geschwindigkeit zum Zeitpunkt zweier Bildaufnahmen in einem Bereich zwischen 0,2 m und 1 m befindet. Da die durchschnittliche Fahrzeuggeschwindigkeit beim Einparken eines Straßenfahrzeugs ca. 12Km/h beträgt, ist eine zurückgelegte Wegstrecke (Stereobasis) von 0,13m zwischen den beiden Bildaufnahmen ideal.
- In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist es denkbar, daß nur solche zwischengespeicherten Bildpaare zur weiteren Verarbeitung ausgewählt werden können, bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat. Durch eine Lageänderung des Fahrzeugs, beispielsweise aufgrund sich stark ändernder Straßenverhältnisse, kann eine Änderung der Kameraausrichtung hervorgerufen werden. Eine Änderung der Kameraausrichtung zwischen zwei Aufnahmezeitpunkten führt zu einer Verfälschung; des Ergebnisses bei der weiteren Verarbeitung, ähnlich einer Dejustage eines Stereokamerasystems im Rahmen der Stereobildverarbeitung.
- Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um aus der mittels den Bildpaaren gewonnenen Abfolge von lokalen 3D-Tiefenansichten durch Akkumulieren zu einer globalen 3D-Tiefenansicht zu gelangen. Dabei werden die Bilddaten der einzelnen lokalen 3D-Tiefenansichten, die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert und in einer geometrischen Datenstruktur hinterlegt. Die geometrische Datenstruktur wird dabei kontinuierlich in der gleichen Richtung entsprechend der Fahrtrichtung des Fahrzeugs um die neu hinzugekommenen Bildbereiche erweitert.
- In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die für eine globale 3D-Tiefenansicht zu addierenden Bilddaten der jeweiligen lokalen Ortspunkte vor dem Akkumulieren einer Gewichtung unterzogen. Aufgrund dieser Gewichtung kann das beim Akkumulieren entstandene Rauschen durch nachfolgendes Filtern einzelner Bildpunkte reduziert werden.
- In einer besonders gewinnbringenden Weise wird zum Filtern einzelner Bildpunkte das im Rahmen der Gewichtung mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente unterteilt und die zu addierenden Bildpunkte auf die Volumenelemente verteilt. Bevorzugt umfassen alle Volumenelemente ein vordefiniertes, einheitliches Volumen, beispielsweise in der Form von Kuben.
- Vorteilhaft ist es die einzelnen Volumenelemente in einer hierarchischen Datenstruktur zu hinterlegen, insbesondere in einer Baumstruktur. Bei der Baumstruktur handelt es sich in gewinnbringender Weise um einen Octree. Wobei bei einem Octree jeder Knoten mittels eines 3D-Schlüssels die Menge der gespeicherten Volumen auf acht Unterbäume (Volumenelemente) verteilt. Jeder Unterbaum kann wiederum weiter unterteilt sein.
- In einer gewinnbringenden Weise wird den Volumenelementen die Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente jeweils als Gewicht zugeordnet. Aus diesem Grund wird zusätzlich zu den Daten der Bildpunkte das Gewicht der Volumenelemente in der Baumstruktur hinterlegt.
- Es ist besonders vorteilhaft das durchschnittliche Gewicht aller Volumenelemente ermittelt und somit ein Gesamtgewicht bestimmt. Mit dem Gesamtgewicht wird ein Schwellwert gebildet, auf dessen Grundlage entschieden wird, ob die in den einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden. Dabei werden nur diejenigen Bildpunkte berücksichtigt, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist. In einer vorteilhaften Weise werden zur Bestimmung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen, welche Bildpunkte enthalten.
- Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um den Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor zu bilden. Bei der Untersuchung einer Einparksequenz mit einem Volumen von 8 × 3 × 5 m3 und einer Unterteilung in 8 Zellen ergab sich ein durchschnittliches Gewicht von 7.7 für die Zellen. Mit einem Tuningfaktor von 1.5 konnte die Anzahl der Bildpunkte pro Bild somit von 46013 auf 29792 reduziert werden.
- Bei der im Rahmen der Erfindung genutzten Kamera, kann es sich um eine Kamera handeln, welche Bestandteil eines anderen im Fahrzeug bereits vorhandenen Bildaufnahmesystems ist.
- Im nachfolgenden wird die Erfindung anhand eines Ausführungsbeispiels und einer Figur im Detail erläutert.
- Beispielhaft zeigt die Figur ein Verkehrsszenario unter Einsatz der erfindungsgemäßen Vorrichtung, zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug (
10 ). Die Vermessung der seitlichen 3D-Geometrie eines fahrenden Fahrzeugs zum Fahrbahnrand wird hierbei zum Vermessen einer Parklücke eingesetzt. Am Fahrbahnrand kann sich ein parkendes Fahrzeug (40 ), eine Leitplanke (50 ) oder beliebige andere Objekte (60 ), die sich deutlich von der Fahrbahnoberfläche abheben und somit nicht überfahrbar sind, befinden. - Im Straßenfahrzeug (
10 ) ist dazu eine monokulare Kamera (30 ) in Verbindung mit einer Rechnereinheit eingebaut. Die Kamera (30 ) ist derart ausgerichtet, daß der Winkel zwischen deren optischen Achse und der Fahrtrichtung (20 ) Idealerweise 90° beträgt. Die mögliche Ausrichtung der Kamera (30 ) beschränkt sich jedoch nicht auf die senkrecht zur Fahrtrichtung (20 ) stehende Ausrichtung, sondern kann auch auf zu erfassende Bereiche unter einem Winkel von 45° – 135° zur Fahrtrichtung (20 ) ausgerichtet sein. Die Variation der Ausrichtung der Kamera kann insbesondere für unterschiedliche Gestaltungsmöglichkeiten hinsichtlich der Integration in das Gesamtfahrzeug in vorteilhafter Weise genutzt werden. Die sich aus der Bewegung des Fahrzeugs (10 ) beim Aufzeichnen mit der Kamera (30 ) ergebende Bildfolge wird mittels der Rechnereinheit mit Zeitstempeln versehen und zwischengespeichert. Mit einem Algorithmus zur Stereobildverarbeitung werden aus den zwischengespeicherten Bildern, unter Berücksichtigung der Eigenbewegung des Fahrzeugs (10 ), ein 3D-Abbild des Parkraums generiert. Aufgrund der 3D-Information kann unter Berücksichtigung einer festgelegten Einparkstrategie entschieden werden, ob der erfaßte 3D-Raum für das Einparken des Fahrzeugs geeignet ist und insbesondere ausreichend Platz zum Einparken zur Verfügung steht. - Für den Fachmann ist es selbstverständlich, dass sich der Erfindungsgegenstand auch für andere Verwendung im Straßenverkehr eignet. So eignet sich die Erfindung beispielsweise auch gewinnbringend zur Verwendung als Warnsystem, welches den seitlichen Abstand eines Fahrzeugs zum Fahrbahnrand vermißt und bei Unterschreitung eines Mindestabstandes den Fahrer warnt, analog zu dem oben angeführten Ausführungsbeispiel.
Claims (20)
- Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, wobei mittels einer Kamera digitale Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass die Eigenbewegung des Fahrzeugs erfaßt wird, um auf Grundlage dieser Daten aus den zwischen gespeicherten Bildern Bildpaare auszuwählen, wobei die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera bestimmt wird, und daß mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung der Eigenbewegung des Fahrzeugs insbesondere aufgrund der Geschwindigkeit, der Anzahl der Radumdrehungen, Navigationsinformation oder Daten von Fahrdynamiksystemen erfolgt.
- Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl zwischengespeicherter Bilder zu Bildpaaren derart erfolgt, daß die zwischen den Aufnahmezeitpunkten der Bilder zurückgelegte Wegstrecke einem vorgegebenem Wert entspricht.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der vorgegebene Wert sich vorzugsweise im Bereich zwischen 0,2m und 1 m befindet, insbesondere 0,3 m beträgt.
- Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass nur solche zwischengespeicherten Bilder zu Bildpaaren ausgewählt werden bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat.
- Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Abfolge von lokalen 3D-Tiefenansichten akkumuliert werden wobei die Bilddaten der einzelnen lokalen 3D-Tiefenansichten die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert werden.
- Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Bilddaten vor der Addition einer Gewichtung unterzogen werden.
- Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Rahmen der Gewichtung das mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente geteilt wird.
- Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass alle Volumenelemente einem vordefinierten einheitlichen Volumen entsprechen.
- Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Volumenelemente in einer Baumstruktur hinterlegt werden, insbesondere in der Form eines Octree.
- Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die jeweilige Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente, diesen Volumenelementen jeweils als Gewicht zugeordnet wird.
- Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass ein Gewicht bestimmt wird, welches dem durchschnittlichen Gewicht aller Volumenelemente entspricht, wobei dieses Gesamtgewicht einen Schwellwert bildet, auf Grundlage dessen entschieden wird, ob die in den Einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden, wobei nur diejenigen Bildpunkte berücksichtigt werden, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist.
- Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zur Bildung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen werden, welche Bildpunkte enthalten.
- Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor gebildet wird.
- Vorrichtung zur 3D-Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, umfassend eine Kamera zur Aufnahme digitaler Bilder die mit einer DV-Einheit in Verbindung steht, mittels welcher die Bilder mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs vorhanden ist, und dass ein Mittel vorgesehen ist, um auf Grundlage der Eigenbewegung Bilddaten zu Bildpaaren auszuwählen, und welches mit einer Einheit zur Stereobildverarbeitung in Verbindung steht.
- Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Einheit zur Erfassung der Eigenbewegung des Fahrzeugs insbesondere ein Tachometer, Rad-Drehzahlmesser, Navigationssystem oder ein Fahrdynamiksystem ist.
- Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera vorzugsweise 90° zur Fahrtrichtung ausgerichtet ist.
- Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera unter einem Winkel von 45° – 135° zur Fahrtrichtung ausgerichtet ist.
- Vorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die Kamera, Bestandteil eines bereits im Fahrzeug befindlichen Bildaufnahmesystems ist.
- Verwendung der Vorrichtung oder des Verfahrens nach einem der vorgehenden Ansprüche als Warnsystem, insbesondere zur Vermessung des Abstands des Fahrzeugs zum Straßenrand.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10244148A DE10244148A1 (de) | 2002-09-23 | 2002-09-23 | Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs |
JP2004538958A JP4327726B2 (ja) | 2002-09-23 | 2003-09-19 | 車両の側方周囲の、ビデオベースの監視及び測定のための方法及び装置 |
EP03753435A EP1543475A2 (de) | 2002-09-23 | 2003-09-19 | Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs |
US10/528,810 US7365831B2 (en) | 2002-09-23 | 2003-09-19 | Method and device for video-based observation and measurement of the lateral environment of a vehicle |
PCT/EP2003/010456 WO2004029877A2 (de) | 2002-09-23 | 2003-09-19 | Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10244148A DE10244148A1 (de) | 2002-09-23 | 2002-09-23 | Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10244148A1 true DE10244148A1 (de) | 2004-04-08 |
Family
ID=31983990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10244148A Withdrawn DE10244148A1 (de) | 2002-09-23 | 2002-09-23 | Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs |
Country Status (5)
Country | Link |
---|---|
US (1) | US7365831B2 (de) |
EP (1) | EP1543475A2 (de) |
JP (1) | JP4327726B2 (de) |
DE (1) | DE10244148A1 (de) |
WO (1) | WO2004029877A2 (de) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005015463A1 (de) * | 2005-04-04 | 2006-11-09 | Magna Donnelly Gmbh & Co. Kg | Fahrzeug mit Distanzkontrollsystem |
DE102005022882A1 (de) * | 2005-05-18 | 2006-11-23 | Volkswagen Ag | Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera |
DE102006010275A1 (de) * | 2005-03-03 | 2006-12-14 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zum Vermeiden einer Kollision bei einem Spurwechsel eines Fahrzeugs |
DE102006011590A1 (de) * | 2006-03-10 | 2007-09-13 | Adc Automotive Distance Control Systems Gmbh | Vorrichtung und Verfahren einer Parklücke |
EP1927962A1 (de) * | 2005-06-27 | 2008-06-04 | Aisin Seiki Kabushiki Kaisha | Hinderniserkennungseinrichtung |
FR2921324A1 (fr) * | 2007-09-25 | 2009-03-27 | Renault Sas | Procede et dispositif d'assistance au parcage d'un vehicule automobile |
DE102010019146A1 (de) | 2010-05-03 | 2011-11-03 | Daimler Ag | Verfahren zur Erfassung einer Umgebung eines Fahrzeugs |
DE102011083745A1 (de) * | 2011-09-29 | 2013-04-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen |
DE102011116169A1 (de) * | 2011-10-14 | 2013-04-18 | Continental Teves Ag & Co. Ohg | Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs |
DE102009009815B4 (de) * | 2008-03-28 | 2015-01-15 | Volkswagen Ag | Verfahren und Vorrichtung zur Erkennung von Parklücken |
DE102015205244B3 (de) * | 2015-03-24 | 2015-12-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge |
DE102016104730A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
DE102014118203B4 (de) * | 2013-12-10 | 2017-12-28 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Distanzermittlungssystem unter verwendung eines monoskopischen bildgebers in einem fahrzeug |
DE102020003662A1 (de) | 2020-06-19 | 2020-08-06 | Daimler Ag | Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10260555A1 (de) * | 2002-12-21 | 2004-07-01 | Eads Radio Communication Systems Gmbh & Co.Kg | System zur Hinderniswarnung für spurgeführte Fahrzeuge |
JP4848644B2 (ja) * | 2005-02-25 | 2011-12-28 | トヨタ自動車株式会社 | 障害物認識システム |
DE102006062061B4 (de) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
EP2301318B1 (de) * | 2009-09-07 | 2011-11-16 | CLAAS Agrosystems GmbH & Co. KG | Steuerungssystem eines landwirtschaftlichen Fahrzeugs mit einem Güterträger, landwirtschaftliches Fahrzeug und Verfahren zur Steuerung eines Güterträgers des landwirtschaftlichen Fahrzeugs |
US8451139B2 (en) * | 2010-02-22 | 2013-05-28 | Cnh America Llc | System and method for coordinating harvester and transport vehicle unloading operations |
DE102010011093A1 (de) * | 2010-03-11 | 2011-09-15 | Daimler Ag | Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung |
DE102010011629A1 (de) | 2010-03-16 | 2011-01-05 | Daimler Ag | Verfahren zur Umgebungsrepräsentation eines Fahrzeugs |
DE102010026224A1 (de) * | 2010-07-06 | 2012-01-12 | Daimler Ag | Verfahren und Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges |
US8471908B2 (en) * | 2010-10-18 | 2013-06-25 | GM Global Technology Operations LLC | Three-dimensional mirror display system for a vehicle and method |
IT1403429B1 (it) * | 2010-12-24 | 2013-10-17 | Magneti Marelli Spa | Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo |
DE102011113016A1 (de) | 2011-09-09 | 2012-03-29 | Daimler Ag | Verfahren zur Umgebungsrepräsentation eines Fahrzeugs |
WO2013086249A2 (en) * | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
US9384662B2 (en) * | 2014-04-17 | 2016-07-05 | Ford Global Technologies, Llc | Parking assistance for a vehicle |
WO2017057054A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN105451000B (zh) * | 2015-12-27 | 2019-02-15 | 高田汽车电子(上海)有限公司 | 一种基于单目后视摄像头的车载全景环视系统及方法 |
CN106203272B (zh) * | 2016-06-29 | 2018-07-20 | 上海小蚁科技有限公司 | 确定可移动对象的移动的方法和装置 |
CN109959919B (zh) * | 2017-12-22 | 2021-03-26 | 比亚迪股份有限公司 | 汽车及单目摄像头测距方法、装置 |
CN109764858B (zh) * | 2018-12-24 | 2021-08-06 | 中公高科养护科技股份有限公司 | 一种基于单目相机的摄影测量方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4209936C2 (de) * | 1992-03-27 | 1994-11-03 | Bodenseewerk Geraetetech | Gelände-Bildsimulator |
DE4308776C2 (de) * | 1992-03-23 | 1997-08-21 | Fuji Heavy Ind Ltd | Einrichtung zum Überwachen des Außenraums eines Fahrzeugs |
DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
US6172601B1 (en) * | 1998-11-26 | 2001-01-09 | Matsushita Electric Industrial Co., Ltd. | Three-dimensional scope system with a single camera for vehicles |
EP1087257A2 (de) * | 1999-09-22 | 2001-03-28 | Fuji Jukogyo Kabushiki Kaisha | Montage eines stereoskopischen Kamerasystems in einem Fahrzeug |
EP1094337A2 (de) * | 1999-10-21 | 2001-04-25 | Matsushita Electric Industrial Co., Ltd. | System zur Einparkhilfe |
DE20105340U1 (de) * | 2001-03-26 | 2001-07-26 | Daimler Chrysler Ag | Dimensionale Umfelderfassung |
DE10045616A1 (de) * | 2000-09-15 | 2002-03-28 | Volkswagen Ag | Verfahren zum automatischen Einparken eines Kraftfahrzeugs |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
-
2002
- 2002-09-23 DE DE10244148A patent/DE10244148A1/de not_active Withdrawn
-
2003
- 2003-09-19 WO PCT/EP2003/010456 patent/WO2004029877A2/de active Application Filing
- 2003-09-19 US US10/528,810 patent/US7365831B2/en not_active Expired - Lifetime
- 2003-09-19 EP EP03753435A patent/EP1543475A2/de not_active Withdrawn
- 2003-09-19 JP JP2004538958A patent/JP4327726B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4308776C2 (de) * | 1992-03-23 | 1997-08-21 | Fuji Heavy Ind Ltd | Einrichtung zum Überwachen des Außenraums eines Fahrzeugs |
DE4209936C2 (de) * | 1992-03-27 | 1994-11-03 | Bodenseewerk Geraetetech | Gelände-Bildsimulator |
DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
US6172601B1 (en) * | 1998-11-26 | 2001-01-09 | Matsushita Electric Industrial Co., Ltd. | Three-dimensional scope system with a single camera for vehicles |
EP1087257A2 (de) * | 1999-09-22 | 2001-03-28 | Fuji Jukogyo Kabushiki Kaisha | Montage eines stereoskopischen Kamerasystems in einem Fahrzeug |
EP1094337A2 (de) * | 1999-10-21 | 2001-04-25 | Matsushita Electric Industrial Co., Ltd. | System zur Einparkhilfe |
DE10045616A1 (de) * | 2000-09-15 | 2002-03-28 | Volkswagen Ag | Verfahren zum automatischen Einparken eines Kraftfahrzeugs |
DE20105340U1 (de) * | 2001-03-26 | 2001-07-26 | Daimler Chrysler Ag | Dimensionale Umfelderfassung |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006010275A1 (de) * | 2005-03-03 | 2006-12-14 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zum Vermeiden einer Kollision bei einem Spurwechsel eines Fahrzeugs |
DE102005015463B4 (de) * | 2005-04-04 | 2007-02-15 | Magna Donnelly Gmbh & Co. Kg | Fahrzeug mit Distanzkontrollsystem |
DE102005015463A1 (de) * | 2005-04-04 | 2006-11-09 | Magna Donnelly Gmbh & Co. Kg | Fahrzeug mit Distanzkontrollsystem |
US8077024B2 (en) | 2005-04-04 | 2011-12-13 | Magna Donnelly Engineering Gmbh | Vehicle comprising a distance control system |
DE102005022882A1 (de) * | 2005-05-18 | 2006-11-23 | Volkswagen Ag | Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera |
EP1927962A1 (de) * | 2005-06-27 | 2008-06-04 | Aisin Seiki Kabushiki Kaisha | Hinderniserkennungseinrichtung |
EP1927962A4 (de) * | 2005-06-27 | 2011-08-10 | Aisin Seiki | Hinderniserkennungseinrichtung |
DE102006011590A1 (de) * | 2006-03-10 | 2007-09-13 | Adc Automotive Distance Control Systems Gmbh | Vorrichtung und Verfahren einer Parklücke |
DE102006011590B4 (de) | 2006-03-10 | 2019-02-28 | Adc Automotive Distance Control Systems Gmbh | Vorrichtung zum Vermessen einer Parklücke |
FR2921324A1 (fr) * | 2007-09-25 | 2009-03-27 | Renault Sas | Procede et dispositif d'assistance au parcage d'un vehicule automobile |
EP2043044A1 (de) * | 2007-09-25 | 2009-04-01 | Renault S.A.S. | Verfahren und Vorrichtung zur Einparkhilfe eines Kraftfahrzeugs |
DE102009009815B4 (de) * | 2008-03-28 | 2015-01-15 | Volkswagen Ag | Verfahren und Vorrichtung zur Erkennung von Parklücken |
WO2011137973A2 (de) | 2010-05-03 | 2011-11-10 | Daimler Ag | Verfahren zur erfassung einer umgebung eines fahrzeugs |
DE102010019146A1 (de) | 2010-05-03 | 2011-11-03 | Daimler Ag | Verfahren zur Erfassung einer Umgebung eines Fahrzeugs |
DE102011083745A1 (de) * | 2011-09-29 | 2013-04-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen |
DE102011083745B4 (de) | 2011-09-29 | 2019-01-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung |
DE102011116169A1 (de) * | 2011-10-14 | 2013-04-18 | Continental Teves Ag & Co. Ohg | Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs |
DE102014118203B4 (de) * | 2013-12-10 | 2017-12-28 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Distanzermittlungssystem unter verwendung eines monoskopischen bildgebers in einem fahrzeug |
DE102015205244B3 (de) * | 2015-03-24 | 2015-12-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge |
US10460603B2 (en) | 2015-03-24 | 2019-10-29 | Bayerische Motoren Werke Aktiengesellschaft | Method for providing obstacle maps for vehicles |
DE102016104730A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
US10789731B2 (en) | 2016-03-15 | 2020-09-29 | Connaught Electronics Ltd. | Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle |
DE102020003662A1 (de) | 2020-06-19 | 2020-08-06 | Daimler Ag | Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug |
Also Published As
Publication number | Publication date |
---|---|
JP4327726B2 (ja) | 2009-09-09 |
JP2006501542A (ja) | 2006-01-12 |
US20070165908A1 (en) | 2007-07-19 |
WO2004029877A3 (de) | 2004-06-10 |
EP1543475A2 (de) | 2005-06-22 |
US7365831B2 (en) | 2008-04-29 |
WO2004029877A2 (de) | 2004-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10244148A1 (de) | Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs | |
DE10114932B4 (de) | Dreidimensionale Umfelderfassung | |
DE102009009815B4 (de) | Verfahren und Vorrichtung zur Erkennung von Parklücken | |
EP0541567B1 (de) | Verfahren zur analyse zeitlicher folgen digitaler bilder | |
EP1825276B1 (de) | Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit | |
EP2033165B1 (de) | Verfahren für die erfassung eines verkehrsraums | |
EP2757346A1 (de) | Verfahren zum Messen eines Höhenprofils eines auf einer Straße passierenden Fahrzeugs | |
DE102004018813A1 (de) | Verfahren zur Erkennung und/oder Verfolgung von Objekten | |
DE102013104443A1 (de) | Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul | |
EP1460454B1 (de) | Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern | |
WO2014005804A1 (de) | Verfahren und anordnung zum prüfen eines fahrzeugunterbodens eines kraftfahrzeuges | |
WO2002006851A1 (de) | Verfahren zur sichtweitenbestimmung | |
DE102010018994A1 (de) | Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, Fahrerassistenzsystem und Fahrzeug | |
DE102009031319A1 (de) | Verfahren und System zur Bestimmung einer Fahrzeugklasse | |
DE102012023060A1 (de) | Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug | |
DE10148062A1 (de) | Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes | |
DE102022202548B3 (de) | Verfahren zum Trainieren eines Computerprogrammprodukts | |
EP2801076B1 (de) | Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie | |
EP1724726B1 (de) | Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera | |
DE102011017707A1 (de) | Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera | |
DE112012003630B4 (de) | Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug | |
DE102018121158A1 (de) | Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen | |
DE102018202753A1 (de) | Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt | |
WO2013107561A1 (de) | Gewinnung von tiefeninformationen mit einer in einem fahrzeug verbauten monokamera | |
DE102011108468B4 (de) | Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE |
|
8127 | New person/name/address of the applicant |
Owner name: DAIMLER AG, 70327 STUTTGART, DE |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R120 | Application withdrawn or ip right abandoned |