Nothing Special   »   [go: up one dir, main page]

DE102014009522A1 - Method for detecting an environment of a vehicle - Google Patents

Method for detecting an environment of a vehicle Download PDF

Info

Publication number
DE102014009522A1
DE102014009522A1 DE102014009522.3A DE102014009522A DE102014009522A1 DE 102014009522 A1 DE102014009522 A1 DE 102014009522A1 DE 102014009522 A DE102014009522 A DE 102014009522A DE 102014009522 A1 DE102014009522 A1 DE 102014009522A1
Authority
DE
Germany
Prior art keywords
vehicle
image data
environment
outline
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014009522.3A
Other languages
German (de)
Inventor
Björn Barrois
Marcus Konrad
Alexander Schuh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102014009522.3A priority Critical patent/DE102014009522A1/en
Publication of DE102014009522A1 publication Critical patent/DE102014009522A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung und Darstellung einer Umgebung eines Fahrzeugs (1), wobei mittels zumindest einer Bilderfassungseinheit (2 bis 4) eine Umgebung des Fahrzeugs (1) erfasst wird und erfasste Bilddaten derart verarbeitet werden, dass eine Umgebung des Fahrzeugs (1) aus einer Perspektive seitlich an einer Außenseite des Fahrzeugs (1) angeordneter Rückspiegel dargestellt wird. Erfindungsgemäß werden zumindest Abschnitte eines Umrisses des Fahrzeugs (1) in dessen Heckbereich in den Bilddaten während einer Fahrt des Fahrzeugs (1) anhand eines, aus zeitlich nacheinander erfassten Bilddaten erfassten optischen Flusses ermittelt.The invention relates to a method for capturing and displaying the surroundings of a vehicle (1), an area around the vehicle (1) being captured by means of at least one image capturing unit (2 to 4) and captured image data being processed in such a way that an area surrounding the vehicle (1 ) is shown from a perspective laterally on an outside of the vehicle (1) arranged rearview mirror. According to the invention, at least sections of an outline of the vehicle (1) in its rear area are determined in the image data while the vehicle (1) is driving on the basis of an optical flow acquired from image data acquired one after the other.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung und Darstellung einer Umgebung eines Fahrzeugs, wobei mittels zumindest einer Bilderfassungseinheit eine Umgebung des Fahrzeugs erfasst wird und erfasste Bilddaten derart verarbeitet werden, dass eine Umgebung des Fahrzeugs aus einer Perspektive seitlich an einer Außenseite des Fahrzeugs angeordneter Rückspiegel dargestellt wird.The invention relates to a method for detecting and representing an environment of a vehicle, wherein an environment of the vehicle is detected by means of at least one image capture unit and processed image data are processed such that an environment of the vehicle from a perspective laterally arranged on an outside of the vehicle rearview mirror is displayed ,

Aus der DE 10 2006 004 770 A1 ist ein Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Straßenfahrzeugs bekannt, bei dem Licht wenigstens einer Lichtquelle eines zu erkennenden Fahrzeugs bezüglich seiner Intensität und seines Ortes mittels wenigstens eines Bildsensors erfasst wird. Der Bildsensor wird derart ausgerichtet, dass er Bilddaten eines ungestörten Originalbildes der wenigstens einen Lichtquelle und eines an einer Spiegelfläche des Straßenfahrzeugs erzeugten Spiegelbildes dieser Lichtquelle aufzeichnet. Zur eindeutigen Erkennung des Fahrzeugs werden die der wenigstens einen Lichtquelle zugeordneten Bilddaten von Original- und Spiegelbild bezüglich ihrer Intensitäten verglichen, wobei dann auf die Erkennung eines Fahrzeugs geschlossen wird, falls die Abweichung der Intensitäten der Bilddaten einen bestimmten Wert nicht überschreitet.From the DE 10 2006 004 770 A1 a method for image-based detection of vehicles in the vicinity of a road vehicle is known in which light of at least one light source of a vehicle to be detected in terms of its intensity and its location is detected by means of at least one image sensor. The image sensor is aligned such that it records image data of an undisturbed original image of the at least one light source and a mirror image of this light source generated on a mirror surface of the road vehicle. For unambiguous recognition of the vehicle, the image data of the original and mirror image associated with the at least one light source are compared with regard to their intensities, in which case recognition of a vehicle is made if the deviation of the intensities of the image data does not exceed a specific value.

Weiterhin sind aus dem Stand der Technik Verfahren und Vorrichtungen zur Erfassung einer Umgebung eines Fahrzeugs bekannt, bei welchen mittels Bilderfassungseinheiten eine Umgebung des Fahrzeugs derart erfasst wird, dass erfasste Bilddaten zur Darstellung einer Umgebung des Fahrzeugs aus Sicht herkömmlicher Seitenspiegel verwendet werden.Furthermore, from the prior art methods and devices for detecting an environment of a vehicle are known in which an environment of the vehicle is detected by means of image capture units such that captured image data are used to represent an environment of the vehicle from the perspective of conventional side mirrors.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erfassung einer Umgebung eines Fahrzeugs anzugeben.The invention is based on the object to provide a comparison with the prior art improved method for detecting an environment of a vehicle.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved by a method having the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In einem Verfahren zur Erfassung und Darstellung einer Umgebung eines Fahrzeugs wird mittels zumindest einer Bilderfassungseinheit eine Umgebung des Fahrzeugs erfasst und erfasste Bilddaten werden derart verarbeitet, dass eine Umgebung des Fahrzeugs aus einer Perspektive seitlich an einer Außenseite des Fahrzeugs angeordneter Rückspiegel dargestellt wird.In a method for detecting and representing an environment of a vehicle, an environment of the vehicle is detected by means of at least one image capture unit, and acquired image data are processed in such a way that an environment of the vehicle is represented from a rear view mirror arranged laterally on an outer side of the vehicle.

Erfindungsgemäß werden zumindest Abschnitte eines Umrisses des Fahrzeugs in dessen Heckbereich in den Bilddaten während einer Fahrt des Fahrzeugs anhand eines, aus zeitlich nacheinander erfassten Bilddaten erfassten optischen Flusses ermittelt.According to the invention, at least portions of an outline of the vehicle in its rear area are determined in the image data during a drive of the vehicle on the basis of an optical flow detected from image data acquired temporally one after the other.

Hierbei wird insbesondere ein Bewegungsverhalten von Merkmalen der Umgebung des Fahrzeugs in den Bilddaten ausgewertet, wobei sich eine Bewegungsrichtung von am Fahrzeug gespiegelten Merkmalen und direkt mittels der zumindest einen Bilderfassungseinheit erfassten nicht gespiegelten Merkmalen in den Bilddaten unterscheidet.Here, in particular, a movement behavior of features of the environment of the vehicle in the image data is evaluated, wherein a direction of movement of features mirrored on the vehicle and directly detected by means of the at least one image acquisition unit non-mirrored features in the image data.

Somit sind Umrisse des Fahrzeugs und Bereiche der Umgebung des Fahrzeugs exakt voneinander unterscheidbar. Daraus folgend kann auch eine Position eines Fahrzeughecks zuverlässig in den Bilddaten bestimmt und optisch dargestellt werden. Hierbei ist es beispielsweise möglich, dass eine hintere Kante des Umrisses des Fahrzeugs bei der optischen Darstellung hervorgehoben wird und somit für einen Fahrer des Fahrzeugs sicher erkennbar ist.Thus, outlines of the vehicle and areas surrounding the vehicle are exactly distinguishable from each other. As a result, a position of a vehicle rear can also be reliably determined in the image data and visually displayed. In this case, it is possible, for example, for a rear edge of the outline of the vehicle to be highlighted in the optical representation and thus to be reliably recognizable to a driver of the vehicle.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 schematisch eine Draufsicht eines Fahrzeugs. 1 schematically a plan view of a vehicle.

In der einzigen 1 ist ein Fahrzeug 1 in einer Draufsicht dargestellt. Das Fahrzeug 1 umfasst zwei, jeweils im Bereich eines herkömmlichen an einer Außenseite des Fahrzeugs 1 angeordneten Rückspiegels angeordnete Bilderfassungseinheiten 2, 3.In the only one 1 is a vehicle 1 shown in a plan view. The vehicle 1 includes two, each in the range of a conventional on an outside of the vehicle 1 arranged rearview mirror arranged image acquisition units 2 . 3 ,

Die Bilderfassungseinheiten 2, 3 sind dabei in Richtung eines Heckbereichs des Fahrzeugs 1 gerichtet und insbesondere als Kamera ausgebildet und ersetzen herkömmliche Rückspiegel. Mittels der Bilderfassungseinheiten 2, 3 erfasste Bilddaten werden derart verarbeitet, dass eine Umgebung des Fahrzeugs 1 aus einer Perspektive seitlich an einer Außenseite des Fahrzeugs angeordneter Rückspiegel auf einer Anzeigeeinheit oder mehreren nicht gezeigten Anzeigeeinheiten dargestellt wird. Beispielsweise ist jeweils eine Anzeigeeinheit im Bereich der herkömmlichen Rückspiegel bzw. Seitenspiegel angeordnet. Alternativ oder zusätzlich ist es möglich, dass die Bilddaten auf einer oder mehreren innerhalb des Fahrzeugs 1 angeordneten Anzeigeeinheiten ausgegeben werden.The image capture units 2 . 3 are in the direction of a rear area of the vehicle 1 directed and designed in particular as a camera and replace conventional rearview mirror. By means of image acquisition units 2 . 3 captured image data is processed so that an environment of the vehicle 1 from a perspective laterally arranged on an outer side of the vehicle rearview mirror on a display unit or a plurality of display units, not shown, is shown. For example, in each case one display unit is arranged in the region of the conventional rearview mirrors or side mirrors. Alternatively or additionally, it is possible that the image data is on one or more within the vehicle 1 arranged display units are output.

Hierbei ist ein Sichtfeld der Bilderfassungseinheiten 2, 3 derart eingestellt, dass zusätzlich zur Umgebung des Fahrzeugs 1 auch Teile des Fahrzeugs 1 erfasst und dargestellt werden. Insbesondere bei Fahrzeugen 1 mit großen Seitenflächen, wie beispielsweise Omnibussen, wird die Umgebung an den Seitenflächen des Fahrzeugs 1 gespiegelt. Aufgrund dieser Spiegelungen und der großen Fahrzeuglänge kann es dazu kommen, dass ein Heckbereich des Fahrzeugs 1 bzw. hintere Kanten eines Umrisses des Fahrzeugs 1 nicht sicher erkennbar sind, was jedoch für eine sichere Fahrzeugführung unabdingbar ist.Here is a field of vision of the image acquisition units 2 . 3 adjusted in such a way that in addition to Environment of the vehicle 1 also parts of the vehicle 1 be captured and presented. Especially for vehicles 1 with large side surfaces, such as buses, the environment is on the side surfaces of the vehicle 1 mirrored. Due to these reflections and the large vehicle length, it can happen that a rear area of the vehicle 1 or rear edges of an outline of the vehicle 1 are not clearly recognizable, which, however, is essential for safe vehicle guidance.

Um diesen Nachteil zu überwinden, werden zumindest Abschnitte eines Umrisses des Fahrzeugs 1 in dessen Heckbereich in den Bilddaten während einer Fahrt des Fahrzeugs 1 anhand eines, aus zeitlich nacheinander erfassten Bilddaten erfassten optischen Flusses ermittelt.To overcome this disadvantage, at least portions of an outline of the vehicle 1 in the rear area in the image data during a drive of the vehicle 1 determined on the basis of an acquired from temporally successive image data optical flow.

Somit können die Kanten an den Enden der Seitenflächen des Fahrzeugs 1 sicher detektiert und mittels der Bilddaten der Bilderfassungseinheiten 2, 3 dargestellt werden.Thus, the edges at the ends of the side surfaces of the vehicle 1 safely detected and by means of the image data of the image acquisition units 2 . 3 being represented.

Hierzu werden die Bilderfassungseinheiten 2, 3 bei der Montage am Fahrzeug 1 kalibriert und justiert. Weiterhin erfolgt während eines Betriebs des Fahrzeugs 1 eine so genannte Online-Kalibrierung, d. h. eine fortlaufende Ermittlung einer Abweichung von Sollwerten. Die Online-Kalibrierung wird insbesondere nicht permanent durchgeführt, sondern wird vorzugsweise in für das Verfahren optimalen Situationen ausgeführt.For this purpose, the image acquisition units 2 . 3 when mounting on the vehicle 1 calibrated and adjusted. Furthermore, during operation of the vehicle 1 a so-called online calibration, ie a continuous determination of a deviation from nominal values. In particular, online calibration is not performed permanently, but is preferably performed in optimal situations for the procedure.

Durchfährt das Fahrzeug 1 eine Kurve, bewegen sich mittels der Bilderfassungseinheiten 2, 3 erfasste Merkmale, beispielsweise Objekte, auf den zumindest teilweise im Erfassungsbereich befindlichen Seitenflächen in entgegengesetzter Richtung zu realen Merkmalen in den Bilddaten, welche nicht in den Seitenflächen gespiegelt sind. Beispielsweise bewegen sich in einer Linkskurve reale, ungespiegelte Merkmale in den Bilddaten von rechts nach links, auf der erfassten Seitenfläche jedoch von links nach rechts. Durch eine Berechnung des optischen Flusses in den Bilddaten, welche beispielsweise mittels eines aus ” Horn, B. und Schunck, B: Determining optical flow; In: Artificial Intelligence, vol. 17, no. 1–3, pp. 185–203, 1981 ” bekannten Verfahrens durchgeführt wird, werden die unterschiedlichen Bewegungsrichtungen in den Bilddaten detektiert. Die beiden Bereiche unterschiedlicher Bewegungsrichtung werden voneinander abgegrenzt, so dass mit Grenzflächen der Bereiche der Umriss des Fahrzeugs 1 abgebildet wird.Passes the vehicle 1 a curve, move through the image capture units 2 . 3 detected features, such as objects, on the at least partially located in the detection area side surfaces in the opposite direction to real features in the image data, which are not mirrored in the side surfaces. For example, in a left-hand bend, real, non-mirrored features move from right to left in the image data, but from left to right on the detected side surface. By calculating the optical flow in the image data, which is for example by means of a " Horn, B. and Schunck, B: Determining optical flow; In: Artificial Intelligence, vol. 17, no. 1-3, pp. 185-203, 1981 "Known method is performed, the different directions of movement are detected in the image data. The two areas of different movement direction are delimited from each other, so that with boundary areas of the areas of the outline of the vehicle 1 is shown.

Um eine Zuverlässigkeit der Detektion zu erhöhen, wird der optische Fluss in einem möglichen Ausführungsbeispiel dann ermittelt und zur Ermittlung des Umrisses des Fahrzeugs 1 verwendet, wenn ein minimaler Lenkwinkel des Fahrzeugs 1 vorliegt.In order to increase the reliability of the detection, the optical flow in one possible embodiment is then determined and used to determine the outline of the vehicle 1 used when a minimum steering angle of the vehicle 1 is present.

Zu einer weiteren Erhöhung der Zuverlässigkeit der Ermittlung des Umrisses wird die Ermittlung der Abschnitte des Umrisses des Fahrzeugs 1 zusätzlich anhand von Modelldaten des Fahrzeugs 1 und anhand von in den Bilddaten erfassten Fahrzeugmerkmalen durchgeführt. Vereinfacht wird das Fahrzeug 1 hierbei als Quader beschrieben, jedoch sind auch genauere Modelle möglich. Dieser Quader wird mittels eines beispielsweise aus ” More, J. J.: The Levenberg-Marquardt Algorithm: Implementation and Theory; In: Numerical Analysis, Seiten 105 bis 116, 1977 ” bekannten Optimierungsverfahrens und Nutzung eines Modells der Bilderfassungseinheiten 2, 3 inklusive von Parametern der Bilderfassungseinheiten 2, 3 an die Merkmale angepasst. Das heißt, es wird eine Relation zwischen dem Fahrzeug 1 und den Bilddaten bestimmt. Der Umriss des Fahrzeugs 1 ergibt sich dabei aus dem Modell.To further increase the reliability of the determination of the outline, the determination of the sections of the outline of the vehicle 1 additionally based on model data of the vehicle 1 and based on vehicle characteristics detected in the image data. The vehicle is simplified 1 described here as a cuboid, but also more accurate models are possible. This cuboid is made by means of an example of " More, JJ: The Levenberg-Marquardt Algorithm: Implementation and Theory; In: Numerical Analysis, pages 105 to 116, 1977 "Known optimization method and use of a model of image acquisition units 2 . 3 including parameters of the image acquisition units 2 . 3 adapted to the characteristics. That is, it becomes a relation between the vehicle 1 and the image data. The outline of the vehicle 1 results from the model.

Zusätzlich werden beispielsweise an den Seitenflächen des Fahrzeugs 1 verlaufende Fugen zwischen Türen, Klappen und Fenstern in den Bilddaten detektiert, wobei hierzu beispielsweise ein aus ” Canny, J.: A Computational Approach to Edge Detection, 1986 PAMI ” bekanntes Verfahren verwendet wird. Durch Einbringen von Modellwissen werden die Fugen in Relation zum Fahrzeug 1 gesetzt und zur Beschreibung von dessen Umriss verwendet.In addition, for example, on the side surfaces of the vehicle 1 extending joints between doors, flaps and windows detected in the image data, for this purpose, for example, a " Canny, J .: A Computational Approach to Edge Detection, 1986 PAMI "Known method is used. By introducing model knowledge, the joints become in relation to the vehicle 1 set and used to describe its outline.

Auch hebt sich am Heck des Fahrzeugs 1 in den Bilddaten das gespiegelte vom realen Umfeld ab. Durch die Auswertung von mehreren aufeinanderfolgenden Bildern wird in Abhängigkeit eines Hintergrunds die Kante am Heck über die Zeit zuverlässig mittels eines Kantenfilters, beispielsweise gemäß ” Canny, J.: A Computational Approach to Edge Detection, 1986 PAMI ” detektiert. Auch die so ermittelte Kante wird zur Ermittlung des Umrisses des Fahrzeugs 1 verwendet.Also, stands out at the rear of the vehicle 1 in the image data the mirrored from the real environment. By evaluating several successive images, depending on a background, the edge at the tail is reliable over time by means of an edge filter, for example according to " Canny, J .: A Computational Approach to Edge Detection, 1986 PAMI "Detected. Also, the edge thus determined becomes the determination of the outline of the vehicle 1 used.

Alternativ oder zusätzlich wird die hintere Kante des Umrisses des Fahrzeugs 1 anhand eines Verlaufs eines Horizonts in den Bilddaten ermittelt. Charakteristisch für die Erfassung der Bilddaten in der realen Umgebung und dem Spiegelbild auf den Seitenflächen ist, dass der Horizont in der Abbildung der realen Umgebung leicht zum äußeren Rand hin abfällt. An der Kante des Fahrzeugs 1 kehrt sich die Orientierung des Horizonts aufgrund der Spiegelung in der jeweiligen Seitenfläche um. In den Bilddaten wird somit im Bereich der Kante eine optische Brechung des Horizonts, d. h. ein Knick im Horizont, detektiert und dargestellt. Diese Detektion erfolgt beispielsweise mittels einer so genannten Hough-Transformation, wie beispielsweise in ” Jähne, B.: Digitale Bildverarbeitung; 5. überarbeitete und erweiterte Auflage. Springer, Berlin 2002, ISBN 3-540-41260-3, S. 459 ff. ” beschrieben. Durch den Knick selbst verläuft die Kante des Fahrzeugs 1.Alternatively or additionally, the rear edge of the outline of the vehicle 1 determined on the basis of a gradient of a horizon in the image data. Characteristic for the capture of the image data in the real environment and the mirror image on the side surfaces is that the horizon in the image of the real environment falls slightly towards the outer edge. At the edge of the vehicle 1 The orientation of the horizon reverses due to the reflection in the respective side surface. Thus, in the image data, an optical refraction of the horizon, ie a kink in the horizon, is detected and displayed in the region of the edge. This detection takes place for example by means of a so-called Hough transformation, such as in " Jähne, B .: Digital image processing; 5. revised and expanded edition. Springer, Berlin 2002, ISBN 3-540-41260-3, S. 459 ff. "Described. Due to the kink itself, the edge of the vehicle runs 1 ,

Weiterhin werden in einer möglichen Ausgestaltung die Bilddaten der Bilderfassungseinheiten 2, 3 zusätzlich mit Bilddaten einer im Heckbereich des Fahrzeugs 1 angeordneten und in Richtung eines rückwärtigen Bereichs des Fahrzeugs 1 gerichteten und als Rückfahrkamera ausgebildeten weiteren Bilderfassungseinheit 4 kombiniert, um den Umriss des Fahrzeugs 1 zu erfassen.Furthermore, in one possible embodiment, the image data of the image acquisition units 2 . 3 additionally with image data one in the rear area of the vehicle 1 arranged and toward a rear portion of the vehicle 1 directed and trained as a rear view camera further image capture unit 4 combined to the outline of the vehicle 1 capture.

Hierbei überschneiden sich Erfassungsbereiche der Bilderfassungseinheiten 2, 3, 4 derart, insbesondere im Heckbereich des Fahrzeugs 1, dass die im Heckbereich befindliche Kante mehrfach erfasst wird. Somit können Korrespondenzen in den erfassten Bilddaten im Überlappungsbereich, beispielsweise anhand markanter Objekte, wie Straßenmarkierungen, erfasst werden. In diesem Zusammenhang sind verschiedene Verfahren zur Ermittlung der Korrespondenzen anhand von Korrelationsmaßen, wie beispielsweise in ” Lazarosa, N u. a.: Review of Stereo Vision Algorithms: From Software to Hardware; In: International Journal of Optomechatronic, Seiten 435 bis 462, 2008 ” beschrieben, bekannt. Durch Kenntnis von extrinsischen Parametern der Bilderfassungseinheiten 2 bis 4 ist eine Beschreibung des Hecks des Fahrzeugs 1 möglich.In this case, coverage areas of the image acquisition units overlap 2 . 3 . 4 such, especially in the rear of the vehicle 1 in that the edge located in the rear area is detected several times. Thus, correspondences in the captured image data in the overlapping area, for example, based on prominent objects, such as road markings, can be detected. In this context, different methods for determining correspondences are based on correlation measures, such as in " Lazarosa, N et al: Review of Stereo Vision Algorithms: From Software to Hardware; In: International Journal of Optomechatronic, pages 435 to 462, 2008 "Described, known. By knowing extrinsic parameters of the image acquisition units 2 to 4 is a description of the rear of the vehicle 1 possible.

Weiterhin entstehen in den gespiegelten Abbildern der Umgebung an den Seitenflächen des Fahrzeugs 1 zumindest kleine Unterschiede in den Eigenschaften der Bilddaten. Somit erfolgt in einer möglichen Weiterbildung eine Auswertung der Bilddaten hinsichtlich Schärfe-, Kontrast- und/oder Farbwerten, wobei anhand dieser Unterschiede das Fahrzeug 1 von seiner Umgebung unterschieden wird.Furthermore arise in the mirrored images of the environment on the side surfaces of the vehicle 1 at least small differences in the properties of the image data. Thus, in one possible development, an evaluation of the image data takes place with regard to sharpness, contrast and / or color values, the vehicle being based on these differences 1 is distinguished from its surroundings.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
BilderfassungseinheitImage capture unit
33
BilderfassungseinheitImage capture unit
44
BilderfassungseinheitImage capture unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102006004770 A1 [0002] DE 102006004770 A1 [0002]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Horn, B. und Schunck, B: Determining optical flow; In: Artificial Intelligence, vol. 17, no. 1–3, pp. 185–203, 1981 [0020] Horn, B. and Schunck, B: Determining optical flow; In: Artificial Intelligence, vol. 17, no. 1-3, pp. 185-203, 1981 [0020]
  • More, J. J.: The Levenberg-Marquardt Algorithm: Implementation and Theory; In: Numerical Analysis, Seiten 105 bis 116, 1977 [0022] More, JJ: The Levenberg-Marquardt Algorithm: Implementation and Theory; In: Numerical Analysis, pages 105 to 116, 1977 [0022]
  • Canny, J.: A Computational Approach to Edge Detection, 1986 PAMI [0023] Canny, J .: A Computational Approach to Edge Detection, 1986 PAMI [0023]
  • Canny, J.: A Computational Approach to Edge Detection, 1986 PAMI [0024] Canny, J .: A Computational Approach to Edge Detection, 1986 PAMI [0024]
  • Jähne, B.: Digitale Bildverarbeitung; 5. überarbeitete und erweiterte Auflage. Springer, Berlin 2002, ISBN 3-540-41260-3, S. 459 ff. [0025] Jähne, B .: Digital image processing; 5. revised and expanded edition. Springer, Berlin 2002, ISBN 3-540-41260-3, p. 459 et seq. [0025]
  • Lazarosa, N u. a.: Review of Stereo Vision Algorithms: From Software to Hardware; In: International Journal of Optomechatronic, Seiten 435 bis 462, 2008 [0027] Lazarosa, N et al: Review of Stereo Vision Algorithms: From Software to Hardware; In: International Journal of Optomechatronic, pages 435 to 462, 2008 [0027]

Claims (7)

Verfahren zur Erfassung und Darstellung einer Umgebung eines Fahrzeugs (1), wobei – mittels zumindest einer Bilderfassungseinheit (2 bis 4) eine Umgebung des Fahrzeugs (1) erfasst wird und – erfasste Bilddaten derart verarbeitet werden, dass eine Umgebung des Fahrzeugs (1) aus einer Perspektive seitlich an einer Außenseite des Fahrzeugs (1) angeordneter Rückspiegel dargestellt wird, dadurch gekennzeichnet, dass – zumindest Abschnitte eines Umrisses des Fahrzeugs (1) in dessen Heckbereich in den Bilddaten während einer Fahrt des Fahrzeugs (1) anhand eines, aus zeitlich nacheinander erfassten Bilddaten erfassten optischen Flusses ermittelt werden.Method for detecting and displaying an environment of a vehicle ( 1 ), wherein - by means of at least one image acquisition unit ( 2 to 4 ) an environment of the vehicle ( 1 ) and - captured image data are processed in such a way that an environment of the vehicle ( 1 ) from a perspective laterally on an outside of the vehicle ( 1 ) arranged rearview mirror is shown, characterized in that - at least sections of an outline of the vehicle ( 1 ) in its rear area in the image data during a drive of the vehicle ( 1 ) are determined on the basis of an optical flux acquired from temporally successive image data. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung der Abschnitte des Umrisses des Fahrzeugs (1) zusätzlich anhand von Modelldaten des Fahrzeugs (1) und anhand von in den Bilddaten erfassten Fahrzeugmerkmalen durchgeführt wird.Method according to claim 1, characterized in that the determination of the sections of the outline of the vehicle ( 1 ) additionally on the basis of model data of the vehicle ( 1 ) and based on vehicle characteristics detected in the image data. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Kanten des Umrisses des Fahrzeugs (1) mittels zumindest eines Kantenfilters ermittelt werden.Method according to claim 1 or 2, characterized in that edges of the outline of the vehicle ( 1 ) are determined by means of at least one edge filter. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine hintere Kante des Umrisses des Fahrzeugs (1) anhand eines Verlaufs eines Horizonts in den Bilddaten ermittelt wird.Method according to one of the preceding claims, characterized in that a rear edge of the outline of the vehicle ( 1 ) is determined on the basis of a course of a horizon in the image data. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bilderfassungseinheit (2, 3) zumindest eine seitlich an der Außenseite des Fahrzeugs (1) angeordnete und in Richtung eines Heckbereichs des Fahrzeugs (1) gerichtete Kamera verwendet wird.Method according to one of the preceding claims, characterized in that as an image acquisition unit ( 2 . 3 ) at least one laterally on the outside of the vehicle ( 1 ) and in the direction of a rear area of the vehicle ( 1 ) directed camera is used. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bilderfassungseinheit (4) zumindest eine im Heckbereich des Fahrzeugs (1) angeordnete und in Richtung eines rückwärtigen Bereichs des Fahrzeugs (1) gerichtete Rückfahrkamera verwendet wird.Method according to one of the preceding claims, characterized in that as an image acquisition unit ( 4 ) at least one in the rear area of the vehicle ( 1 ) and in the direction of a rear area of the vehicle ( 1 ) directed rear view camera is used. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug (1) von seiner Umgebung anhand einer Auswertung der Bilddaten hinsichtlich Schärfe-, Kontrast- und/oder Farbwerten unterschieden wird.Method according to one of the preceding claims, characterized in that the vehicle ( 1 ) is distinguished from its surroundings by means of an evaluation of the image data with regard to sharpness, contrast and / or color values.
DE102014009522.3A 2014-06-25 2014-06-25 Method for detecting an environment of a vehicle Withdrawn DE102014009522A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014009522.3A DE102014009522A1 (en) 2014-06-25 2014-06-25 Method for detecting an environment of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014009522.3A DE102014009522A1 (en) 2014-06-25 2014-06-25 Method for detecting an environment of a vehicle

Publications (1)

Publication Number Publication Date
DE102014009522A1 true DE102014009522A1 (en) 2014-11-27

Family

ID=51863300

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014009522.3A Withdrawn DE102014009522A1 (en) 2014-06-25 2014-06-25 Method for detecting an environment of a vehicle

Country Status (1)

Country Link
DE (1) DE102014009522A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223074A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by means of a write process in a plurality of correspondence tables
DE102016223071A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by reading from a plurality of correspondence tables
DE102016223079A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by means of a correspondence table

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004770A1 (en) 2005-11-09 2007-05-10 Daimlerchrysler Ag Vehicle detecting method for use in surroundings of road vehicle, involves comparing image data based on their intensities to detect vehicle, and closing detection of vehicle if deviation of intensities of data does not exceed preset-value

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004770A1 (en) 2005-11-09 2007-05-10 Daimlerchrysler Ag Vehicle detecting method for use in surroundings of road vehicle, involves comparing image data based on their intensities to detect vehicle, and closing detection of vehicle if deviation of intensities of data does not exceed preset-value

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Canny, J.: A Computational Approach to Edge Detection, 1986 PAMI
Horn, B. und Schunck, B: Determining optical flow; In: Artificial Intelligence, vol. 17, no. 1-3, pp. 185-203, 1981
Jähne, B.: Digitale Bildverarbeitung; 5. überarbeitete und erweiterte Auflage. Springer, Berlin 2002, ISBN 3-540-41260-3, S. 459 ff.
Lazarosa, N u. a.: Review of Stereo Vision Algorithms: From Software to Hardware; In: International Journal of Optomechatronic, Seiten 435 bis 462, 2008
More, J. J.: The Levenberg-Marquardt Algorithm: Implementation and Theory; In: Numerical Analysis, Seiten 105 bis 116, 1977

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223074A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by means of a write process in a plurality of correspondence tables
DE102016223071A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by reading from a plurality of correspondence tables
DE102016223079A1 (en) 2016-11-23 2018-05-24 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by means of a correspondence table
EP3327672A1 (en) 2016-11-23 2018-05-30 Robert Bosch GmbH Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by writing in multiple correspondence tables
EP3327671A1 (en) 2016-11-23 2018-05-30 Robert Bosch GmbH Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by reading from multiple correspondence tables
WO2018095698A1 (en) 2016-11-23 2018-05-31 Robert Bosch Gmbh Search for correspondence between matrix elements
DE102016223071B4 (en) 2016-11-23 2019-02-14 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by reading from a plurality of correspondence tables
DE102016223074B4 (en) 2016-11-23 2019-03-28 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix by means of a write process in a plurality of correspondence tables
US11341654B2 (en) 2016-11-23 2022-05-24 Robert Bosch Gmbh Correspondence search between matrix elements
DE102016223079B4 (en) 2016-11-23 2024-03-28 Robert Bosch Gmbh Method and device for determining an association between a matrix element of a matrix and a comparison matrix element of a comparison matrix using a correspondence table

Similar Documents

Publication Publication Date Title
EP2753533B1 (en) Determination of the position of structural elements of a vehicle
DE102009036200A1 (en) Method for monitoring surrounding area of vehicle utilized for transport of e.g. goods, involves generating entire image, where course of boundary lines is given such that lines run away from objects depending on positions of objects
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
DE102011087797A1 (en) Method and device for localizing a predefined parking position
EP3727936B1 (en) Method for detecting at least one object present on a motor vehicle, control device, and motor vehicle
DE102014226185A1 (en) Method for determining a viewing direction of a person
DE102016011853A1 (en) A method of generating three-dimensional information of an environment of a vehicle
DE102020215859A1 (en) Correction of images from a camera in rain, light and dirt
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102013217081A1 (en) Device and method for position detection
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102006044615A1 (en) Image capturing device calibrating method for vehicle, involves locating objects in vehicle surrounding based on image information detected by image capturing device, and evaluating geometrical relations of objects
DE102014009522A1 (en) Method for detecting an environment of a vehicle
DE102014223141A1 (en) Determining a position of a trailer hitch head
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
DE102017202155A1 (en) Camera system for a vehicle
EP3293971B1 (en) Method for reproducing a section of an image
DE102014007565A1 (en) Method for determining a respective boundary of at least one object, sensor device, driver assistance device and motor vehicle
DE102017219123A1 (en) Method for determining object boundaries of an object in an exterior area of a motor vehicle and control device and motor vehicle
DE102017221381A1 (en) Method, apparatus and computer program for determining a distance to an object
DE112017007812T5 (en) Vehicle peripheral image display device and vehicle peripheral image display method
DE102016212730A1 (en) Vehicle camera device with image evaluation electronics
DE102019007121A1 (en) Procedure for warning a driver
DE102019008722A1 (en) Method for operating an optical detection device as a function of a lightsaber probability and optical detection device
DE102015101190A1 (en) Method for determining an image depth value depending on an image area, camera system and motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee