DE102018205241A1

DE102018205241A1 - Fusion of environmental information of a motor vehicle

Info

Publication number: DE102018205241A1
Application number: DE102018205241.7A
Authority: DE
Inventors: Jelena Frtunikj; Hans-Ulrich Michel; Rainer Faller
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2019-10-10

Abstract

Ein Aspekt der Erfindung betrifft eine Fusionseinrichtung zur Fusion von Umfeldinformation zumindest zweier Umfeldsensoren eines Kraftfahrzeugs, wobei die Fusionseinrichtung eingerichtet ist, eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, entgegenzunehmen, in Abhängigkeit von der Umstandsgröße zumindest eine für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße zu bestimmen, Umfeldinformation von den Umfeldsensoren in Abhängigkeit von der Einflussgröße zu fusionieren, und die fusionierte Umfeldinformation einem von dem Kraftfahrzeug umfassten Fahrerassistenzsystem bereitzustellen.

One aspect of the invention relates to a fusion device for the fusion of environmental information of at least two environmental sensors of a motor vehicle, wherein the fusion device is adapted to receive a circumstance variable that is characteristic of a driving situation, depending on the circumstance size at least one for an influence of an environmental sensor to determine the merger characteristic influencing variable to merge environment information from the environmental sensors as a function of the influencing variable, and provide the fused environment information to a driver assistance system included in the motor vehicle.

Description

Die Erfindung betrifft eine Fusionseinrichtung und ein Verfahren zur Fusion von Umfeldinformation eines Kraftfahrzeugs.The invention relates to a fusion device and a method for fusion of environmental information of a motor vehicle.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade gemäß der Definition der BASt entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) gemäß der BASt dem Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.The term "automated driving" in the context of the document can be understood as driving with automated longitudinal or transverse guidance or autonomous driving with automated longitudinal and transverse guidance. The term "automated driving" includes automated driving with any degree of automation. Exemplary levels of automation are assisted, semi-automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication "Forschung kompakt", issue 11/2012). In assisted driving, the driver performs the longitudinal or transverse guidance permanently, while the system assumes the other function within certain limits. In Partial Automated Driving (TAF), the system performs longitudinal and lateral guidance for a period of time and / or in specific situations, with the driver having to permanently monitor the system as in assisted driving. In highly automated driving (HAF), the system takes over the longitudinal and transverse guidance for a certain period of time, without the driver having to permanently monitor the system; However, the driver must be able to take over the vehicle guidance in a certain time. In fully automated driving (VAF), the system can automatically handle driving in all situations for a specific application; no driver is required for this application. The above four degrees of automation according to the definition of BASt correspond to SAE levels 1 to 4 of the SAE J3016 (SAE - Society of Automotive Engineering) standard. For example, according to the BASt, highly automated driving (HAF) complies with Level 3 of the SAE J3016 standard. Furthermore, the SAE level 5 is provided in SAE J3016 as the highest degree of automation, which is not included in the definition of BASt. SAE level 5 is driverless driving, which allows the system to automatically handle all situations like a human driver throughout the journey; a driver is generally no longer required.

Es ist Aufgabe der Erfindung, eine verbesserte Fusionseinrichtung und ein verbessertes Verfahren zur Fusion von Umfeldinformation eines Kraftfahrzeugs anzugeben.It is an object of the invention to provide an improved fusion device and an improved method for merging environmental information of a motor vehicle.

Die Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The object is solved by the features of the independent claims. Advantageous embodiments are described in the dependent claims. It should be noted that additional features of a claim dependent on an independent claim without the features of the independent claim or only in combination with a subset of the features of the independent claim may form a separate invention independent of the combination of all features of the independent claim, the subject of an independent claim, a divisional application or a subsequent application. This applies equally to technical teachings described in the specification, which may form an independent invention of the features of the independent claims.

Ein erster Aspekt der Erfindung betrifft eine Fusionseinrichtung zur Fusion von Umfeldinformation zumindest zweier Umfeldsensoren eines Kraftfahrzeugs.A first aspect of the invention relates to a fusion device for the fusion of environmental information of at least two environmental sensors of a motor vehicle.

Bei den Umfeldsensoren kann es sich beispielsweise um Kamera-, Radar-, Lidar- oder Ultraschallsensoren handeln.The environment sensors can be, for example, camera, radar, lidar or ultrasonic sensors.

Die Fusionseinrichtung ist dabei eingerichtet, eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, entgegenzunehmen.The fusion device is set up to accept a circumstance which is characteristic of a circumstance concerning the driving situation.

Insbesondere handelt es sich bei der Umstandsgröße um eine für den Kontext des Kraftfahrzeugs charakteristische Größe. Beispielsweise handelt es sich bei der Umstandsgröße um einen für die Lichtstärke des Umgebungslichts charakteristische Größe (z.B. Helligkeitswert oder Binärtwert „hell“/„dunkel“). Alternativ kann es sich bei der Umstandsgröße beispielsweise auch um eine für die Uhrzeit charakteristische Größe oder um die Uhrzeit selbst handeln. Alternativ kann es sich bei der Umstandsgröße beispielsweise um ein Erkennungsziel für die Fusion der Umfeldinformation handeln (Belegterkennung oder Freierkennung). Alternativ kann es sich bei der Umstandsgröße beispielsweise um eine für das Wetter charakteristische Größe handeln. Alternativ kann es sich bei der Umstandsgröße beispielsweise um eine für die Position des Kraftfahrzeugs charakteristische Größe handeln, wobei als Position sowohl eine absolute Position (beispielsweise angegeben durch Koordinaten) oder auch eine Verkehrssituation gelten kann.In particular, the circumstance variable is a variable which is characteristic of the context of the motor vehicle. For example, the circumstance variable is a quantity which is characteristic for the intensity of the ambient light (for example brightness value or binary value "light" / "dark"). Alternatively, the circumstance variable may, for example, also be a characteristic variable for the time or the time itself. Alternatively, the circumstance variable may be, for example, an identification target for the fusion of the surroundings information (occupancy recognition or free recognition). Alternatively, the circumstance variable may be, for example, a characteristic variable for the weather. Alternatively, the circumstance variable can be, for example, a variable which is characteristic for the position of the motor vehicle, wherein the position can be both an absolute position (for example indicated by coordinates) or also a traffic situation.

Die Umstandsgröße wird der Fusionseinrichtung dabei insbesondere von einer Vorrichtung übergeben, die sich von den Umfeldsensoren unterscheidet. Beispielsweise kann es sich dabei um einen Sensor oder um ein Steuergerät handeln.The circumstance variable is given to the fusion device in particular by a device that differs from the environment sensors. For example, it may be a sensor or a controller.

Die Fusionseinrichtung ist zusätzlich eingerichtet, In Abhängigkeit von der Umstandsgröße zumindest eine für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße zu bestimmen.The fusion device is additionally set up, depending on the circumstance size at least one for an influence of an environment sensor determine the influencing variable characteristic of the fusion.

Die Einflussgröße ist dabei insbesondere ein einem Umfeldsensor zugeordneter Gewichtungsfaktor, der den Einfluss des Umfeldsensors in einer Linearkombination zumindest zweier Umfeldsensoren angibt.The influencing variable is in particular a weighting factor assigned to an environmental sensor, which indicates the influence of the environmental sensor in a linear combination of at least two environmental sensors.

Außerdem ist die Fusionseinrichtung eingerichtet, Umfeldinformation von den Umfeldsensoren in Abhängigkeit von der Einflussgröße zu fusionieren und die fusionierte Umfeldinformation einem von dem Kraftfahrzeug umfassten Fahrerassistenzsystem bereitzustellen.In addition, the fusion device is set up to fuse environment information from the environmental sensors as a function of the influencing variable and to provide the fused environmental information to a driver assistance system comprised by the motor vehicle.

Bei dem Fahrerassistenzsystem kann es sich beispielsweise um ein Fahrerassistenzsystem zur Längs- und/oder Querführung handeln.The driver assistance system can be, for example, a driver assistance system for longitudinal and / or transverse guidance.

In einer vorteilhaften Ausführungsform ist die Fusionseinrichtung eingerichtet, die Einflussgröße in Abhängigkeit von einem Zusammenhang zwischen der Umstandsgröße und einer Funktionsgüte zumindest eines Umfeldsensors zu bestimmen.In an advantageous embodiment, the fusion device is set up to determine the influencing variable as a function of a relationship between the circumstance variable and a functional quality of at least one environment sensor.

Insbesondere ist die Fusionseinrichtung dabei eingerichtet, die Funktionsweise eines Umfeldsensors bei der Ermittlung der Fusionsgüte zu berücksichtigen. Dies kann beispielsweise bereits während der Entwicklung der Funktionseinrichtung geschehen.In particular, the fusion device is set up to take into account the mode of operation of an environmental sensor in the determination of the merger quality. This can already happen, for example, during the development of the functional device.

Beispielsweise kann der Einfluss eines Kamerasensors auf die Fusion vergleichsweise gering eingestellt werden, wenn die Umstandsgröße angibt, dass die Lichtverhältnisse im Umfeld des Kraftfahrzeugs vergleichsweise schlecht sind. Andererseits kann der Einfluss eines Kamerasensors auf die Fusion vergleichsweise groß eingestellt werden, wenn die Umstandsgröße angibt, dass die Lichtverhältnisse im Umfeld des Kraftfahrzeugs vergleichsweise gut sind.For example, the influence of a camera sensor on the fusion can be set comparatively low if the circumstance indicates that the lighting conditions in the environment of the motor vehicle are comparatively poor. On the other hand, the influence of a camera sensor on the fusion can be set comparatively large if the circumstance indicates that the light conditions in the environment of the motor vehicle are comparatively good.

In einer weiteren vorteilhaften Ausführungsform ist die Fusionseinrichtung eingerichtet, die fusionierte Umfeldinformation vor der Bereitstellung an das Fahrerassistenzsystem in Abhängigkeit von einer Hilfsgröße zu interpretieren.In a further advantageous embodiment, the fusion device is set up to interpret the fused environment information before it is made available to the driver assistance system as a function of an auxiliary variable.

Die Hilfsgröße und die Interpretaion der fusionierten Umfeldinformation kann dabei insbesondere in Abhängigkeit von apriorischem Wissen festgelegt werden.The auxiliary size and the interpretation of the fused environment information can be determined in particular as a function of a priori knowledge.

Insbesondere ist dabei die Fusionseinrichtung eingerichtet, die fusionierte Umfeldinformation in Abhängigkeit von einer Bewegung eines mit den Umfeldsensoren erfassten Objekts als Hilfsgröße zu interpretieren.In particular, the fusion device is set up to interpret the fused environment information as an auxiliary variable as a function of a movement of an object detected by the environment sensors.

Beispielsweise kann aus der Bewegungsrichtung und Bewegungsgeschwindigkeit des Objekts in der Vergangenheit auf Basis von physikalischen Bewegungsgleichungen geschlossen werden, wo sich das Objekt zu einem zukünftigen Zeitpunkt befinden wird.For example, from the moving direction and moving speed of the object in the past on the basis of physical equations of motion, it can be concluded where the object will be at a future time.

Dieses Wissen kann dabei verwendet werden, um die fusionierte Umfeldinformation zu interpretieren. Wenn es sich beispielsweise bei der fusionierten Umfeldinformation um einen Raumbereich handelt, in dem sich das Objekt mit einer hinreichend großen Wahrscheinlichkeit befindet, so kann dieser Raumbereich durch eine Berücksichtigung der Kinematik des Objekts, also der Bewegungsrichtung und Bewegungsgeschwindigkeit des Objekts in der Vergangenheit, interpretiert und somit präzisiert werdenThis knowledge can be used to interpret the fused environment information. If, for example, the merged environment information is a spatial region in which the object is located with a sufficiently high probability, then this spatial region can be interpreted and taken into account by taking into account the kinematics of the object, ie the direction of movement and the speed of movement of the object in the past thus be specified

Alternativ oder zusätzlich ist die Fusionseinrichtung insbesondere eingerichtet, die fusionierte Umfeldinformation in Abhängigkeit von einem Verhaltensmodell eines mit den Umfeldsensoren erfassten Objekts als Hilfsgröße zu interpretieren.Alternatively or additionally, the fusion device is set up in particular to interpret the fused environment information as an auxiliary variable as a function of a behavioral model of an object detected by the environment sensors.

Das Verhaltensmodell kann dabei beispielsweise empirisch ermittelt werden und als Parameter eines Filters, etwa eines Kalman-Filters, in der Fusionseinrichtung hinterlegt werden.The behavioral model can be determined empirically, for example, and stored as a parameter of a filter, such as a Kalman filter, in the fusion device.

Das Verhaltensmodell kann dabei beispielsweise die Wahrscheinlichkeit angeben, mit der das Objekt seine Bewegungsrichtung ändern wird. Wenn es sich bei dem Objekt um einen Verkehrsteilnehmer handelt, so kann das Verhaltensmodell auch die Wahrscheinlichkeit für einen Spurwechsel oder ein Abbiegen des Verkehrsteilnehmers mit oder ohne Verwendung eines Fahrtrichtungsanzeigers angeben.For example, the behavior model can specify the probability with which the object will change its direction of movement. If the object is a road user, the behavioral model may also indicate the likelihood of a lane change or a turn off of the road user with or without the use of a direction indicator.

Alternativ oder zusätzlich ist die Fusionseinrichtung insbesondere eingerichtet, die fusionierte Umfeldinformation in Abhängigkeit von einer Verkehrsregel als Hilfsgröße zu interpretieren.Alternatively or additionally, the fusion device is set up in particular to interpret the fused environment information as an auxiliary variable as a function of a traffic rule.

Insbesondere wenn es sich bei dem Objekt um einen Verkehrsteilnehmer handelt, kann eine Verkehrsregel einen starken Hinweis darauf geben, auf welcher Fahrspur sich der Verkehrsteilnehmer befindet, ob der Verkehrsteilnehmer seine Bewegungsgeschwindigkeit oder Bewegungsrichtung ändert.In particular, if the object is a road user, a traffic rule can give a strong indication as to which lane the road user is located on, whether the road user changes his speed of movement or the direction of movement.

Dieses Wissen kann ebenfalls verwendet werden, um die fusionierte Umfeldinformation derart zu interpretieren, dass eine Präzisierung der fusionierten Umfeldinformation erfolgt.This knowledge can also be used to interpret the fused environment information in such a way that a refinement of the fused environment information takes place.

Ein weiterer Gedanke der Erfindung betrifft ein Fusionssystem für ein Kraftfahrzeug.Another aspect of the invention relates to a fusion system for a motor vehicle.

Das Fusionssystem umfasst dabei zumindest zwei Umfeldsensoren und ein mit den Umfeldsensoren gekoppeltes neuronales Netz zur Fusion von Umfeldinformation der Umfeldsensoren. The fusion system comprises at least two environment sensors and a neural network coupled to the environment sensors for the fusion of environmental information of the environment sensors.

Bei einem neuronalen Netz, das häufig auch als künstliches neuronales Netz bezeichnet wird, handelt es sich um ein Netz aus künstlichen Neuronen. Die Neuronen sind dabei üblicherweise in Schichten eingeteilt und sind untereinander verbunden.A neural network, often referred to as an artificial neural network, is a network of artificial neurons. The neurons are usually divided into layers and are interconnected.

Darüber hinaus umfasst das Fusionssystem eine Fusionseinrichtung zur Fusion von Umfeldinformation der Umfeldsensoren. Insbesondere handelt es sich dabei um eine Fusionseinrichtung nach einem der Patentansprüche, die eingerichtet ist, eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, entgegenzunehmen.In addition, the fusion system includes a fusion device for merging environmental information of the environment sensors. In particular, it is a fusion device according to one of the claims, which is set up to receive a circumstance that is characteristic of a circumstance concerning the driving situation.

Die Fusionseinrichtung ist dabei insbesondere eingerichtet, In Abhängigkeit von der Umstandsgröße zumindest eine für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße zu bestimmen.In this case, the fusion device is in particular configured to determine at least one influencing variable that is characteristic of the influence of an environmental sensor on the merger, depending on the circumstance.

Außerdem ist die Fusionseinrichtung insbesondere eingerichtet, Umfeldinformation von den Umfeldsensoren in Abhängigkeit von der Einflussgröße zu fusionieren.In addition, the fusion device is set up in particular to fuse environment information from the environmental sensors as a function of the influencing variable.

Das Fusionssystem umfasst außerdem eine mit der Fusionseinrichtung dem neuronalen Netz gekoppelte Kontrollvorrichtung umfasst.The fusion system further comprises a control device coupled to the neural network coupled to the fusion device.

Die Kontrollvorrichtung ist dabei eingerichtet, die durch das neuronale Netz fusionierte Umfeldinformation in Abhängigkeit von durch die Fusionseinrichtung fusionierte Umfeldinformation anzupassen, und die angepasste Umfeldinformation einem Fahrerassistenzsystem des Kraftfahrzeugs bereitzustellen.The control device is set up to adapt the environment information fused by the neural network as a function of environment information fused by the fusion device, and to provide the adapted environment information to a driver assistance system of the motor vehicle.

Beispielsweise kann die Kontrollvorrichtung in Abhängigkeit von der durch die Fusionseinrichtung fusionierte Umfeldinformation eine Auswahl treffen, ob die durch das neuronale Netz fusionierte Umfeldinformation oder die durch die Fusionseinrichtung fusionierte Umfeldinformation dem Fahrerassistenzsystem bereitgestellt wird.For example, depending on the environment information fused by the fusion device, the control device may make a selection as to whether the environment information fused by the neural network or the environment information fused by the fusion device is provided to the driver assistance system.

Alternativ dazu kann die Kontrollvorrichtung die durch das neuronale Netz fusionierte Umfeldinformation in Abhängigkeit von der durch die Fusionseinrichtung fusionierte Umfeldinformation interpretieren und das Interpretationsergebnis dem Fahrerassistenzsystem bereitstellen.Alternatively, the control device may interpret the environment information fused by the neural network depending on the environment information fused by the fusion device and provide the interpretation result to the driver assistance system.

Wenn es sich beispielsweise bei den fusionierten Umfeldinformationen um jeweils einen Raumbereich handelt, in dem sich ein Objekt mit einer hinreichend großen Wahrscheinlichkeit befindet, so kann die Kontrollvorrichtung die beiden Raumbereiche miteinander kombinieren und das Kombinationsergebnis dem Fahrerassistenzsystem bereitstellen.If, for example, the fused environment information is in each case a spatial region in which an object with a sufficiently high probability is located, then the control device can combine the two spatial regions with one another and provide the combination result to the driver assistance system.

Dabei liegt der Erfindung die Erkenntnis zugrunde, dass beispielsweise die Fusionseinrichtung zwar eine unschärfere fusionierte Umfeldinformation mit höherer Varianz ausgeben kann, diese aber gegebenenfalls mit relativ hoher Wahrscheinlichkeit den tatsächlichen Aufenthaltsbereich des Objekts abdeckt. Demgegenüber kann beispielsweise das neuronale Netz eine scharfe fusionierte Umfeldinformation mit geringer Varianz ausgeben, diese kann aber gegebenenfalls mit vergleichsweise geringerer Wahrscheinlich den tatsächlichen Aufenthaltsbereich des Objekts abdecken.The invention is based on the finding that, for example, the fusion device can indeed output a blurred fused environment information with higher variance, but this possibly covers the actual location area of the object with a relatively high probability. On the other hand, for example, the neural network can output a sharp fused environment information with low variance, but this may possibly cover the actual location of the object with a comparatively lesser degree of probability.

In diesem Fall könnte beispielsweise die Kontrollvorrichtung eine Schnittmenge der durch das neuronalen Netz fusionierten Umfeldinformation und der durch die Fusionseinrichtung fusionierten Umfeldinformation dem Fahrerassistenzsystem bereitstellen.In this case, for example, the control device could provide an intersection of the environment information fused by the neural network and the environment information fused by the fusion device to the driver assistance system.

Ein weiterer Gedanke der Erfindung betrifft ein Fusionssystem, wobei das Fusionssystem eine mit der Fusionseinrichtung gekoppelte Protokollvorrichtung umfasst.Another aspect of the invention relates to a fusion system wherein the fusion system comprises a protocol device coupled to the fusion device.

Die Protokollvorrichtung ist dabei eingerichtet, für durch die Funktionseinrichtung bereitgestellte verknüpfte Umfeldinformation zumindest eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, und/oder zumindest eine in Abhängigkeit von der Umstandsgröße bestimmte und für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße zu speichern.The protocol device is set up for at least one circumstance variable which is characteristic of a driving situation and / or at least one influencing variable which is determined as a function of the circumstance variable and which is characteristic for the influence of an environment sensor on the fusion, for linked environmental information provided by the functional device to save.

Hierbei liegt der Erfindung die Erkenntnis zugrunde, dass ein neuronales Netz häufig wegen seines vergleichsweise großen Zustandsraums als „Black Box“ bezeichnet wird. Durch die Verknüpfung des neuronalen Netzes mit der Fusionsvorrichtung kann aber trotzdem deterministisch das Berechnungsergebnis des Fusionssystem nachvollzogen werden, da sich dieses insbesondere in dem durch die Fusionseinrichtung gesetzten Rahmen bewegt.In this case, the invention is based on the finding that a neural network is often referred to as a "black box" because of its comparatively large state space. Nevertheless, by combining the neural network with the fusion device, the calculation result of the fusion system can be determined deterministically, since it moves in particular in the frame set by the fusion device.

Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Fusion von Umfeldinformation zumindest zweier Umfeldsensoren eines Kraftfahrzeugs.A second aspect of the invention relates to a method for the fusion of environmental information of at least two environmental sensors of a motor vehicle.

Ein Schritt des Verfahrens ist das Entgegennehmen einer Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist.One step of the method is to accept a circumstance that is characteristic of a circumstance concerning the driving situation.

Ein weiterer Schritt des Verfahrens ist das Bestimmen von zumindest einer für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße in Abhängigkeit von der Umstandsgröße. A further step of the method is the determination of at least one influencing variable, which is characteristic for an influence of an environment sensor on the fusion, as a function of the circumstance variable.

Ein weiterer Schritt des Verfahrens ist das Fusionieren der Umfeldinformation von den Umfeldsensoren in Abhängigkeit von der Einflussgröße.A further step of the method is the fusion of the environmental information from the environmental sensors as a function of the influencing variable.

Ein abschließender Schritt des Verfahrens ist das Bereitstellen der fusionierten Umfeldinformation.A final step of the method is to provide the fused environment information.

Die vorstehenden Ausführungen zur erfindungsgemäßen Fusionseinrichtung nach dem ersten Aspekt der Erfindung gelten in entsprechender Weise auch für das erfindungsgemäße Verfahren nach dem zweiten Aspekt der Erfindung. An dieser Stelle und in den Patentansprüchen nicht explizit beschriebene vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Verfahrens entsprechen den vorstehend beschriebenen oder in den Patentansprüchen beschriebenen vorteilhaften Ausführungsbeispielen der erfindungsgemäßen Fusionseinrichtung.The above statements on the inventive fusion device according to the first aspect of the invention also apply correspondingly to the method according to the invention according to the second aspect of the invention. At this point and in the claims not explicitly described advantageous embodiments of the method according to the invention correspond to the advantageous embodiments of the inventive fusion device described above or described in the claims.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels unter Zuhilfenahme der beigefügten Zeichnungen beschrieben. In diesen zeigen:

1a ein Ausführungsbeispiel einer erfindungsgemäßen Fusionseinrichtung,
1b ein Ausführungsbeispiel eines erfindungsgemäßen Fusionssystem, und
2 ein Ausführungsbeispiel eines erfindungsgemäßen Fusionsverfahrens.

The invention will be described below with reference to an embodiment with the aid of the accompanying drawings. In these show:

1a an embodiment of a fusion device according to the invention,
1b an embodiment of a fusion system according to the invention, and
2 an embodiment of a fusion method according to the invention.

1a zeigt eine Fusionseinrichtung FE zur Fusion von Umfeldinformation zumindest zweier Umfeldsensoren U1, U2 eines Kraftfahrzeugs. Die Fusionseinrichtung FE ist dabei eingerichtet, eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, entgegenzunehmen. 1a shows a fusion device FE for the fusion of environmental information of at least two environment sensors U1 . U2 of a motor vehicle. The fusion device FE is set up to receive a circumstance that is characteristic of a circumstance concerning the driving situation.

Bei der Umstandsgröße handelt es sich insbesondere um eine durch einen Sensor G ermittelte Größe, beispielsweise eine für die Helligkeit der Fahrzeugumgebung charakteristische Größe.The circumstance variable is in particular one through a sensor G determined size, for example, a characteristic of the brightness of the vehicle environment size.

Darüber hinaus ist die Fusionseinrichtung FE eingerichtet, in Abhängigkeit von der Umstandsgröße zumindest eine für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße g1, g2 zu bestimmen.In addition, the fusion device FE arranged, depending on the circumstance size at least one characteristic of an influence of an environmental sensor on the merger influencing variable g1 . g2 to determine.

Insbesondere wenn die Fusionseinrichtung FE die Umfeldinformation der Umfeldsensoren U1, U2 mittels einer Linearkombination fusioniert, kann es sich bei den Einflussgrößen g1, g2 jeweils um einen einem Umfeldsensor U1, U2 zugeordneten Gewichtungsfaktor handeln.Especially if the fusion device FE the environment information of the environment sensors U1 . U2 fused by means of a linear combination, it can affect the influencing variables g1 . g2 each one around an environment sensor U1 . U2 act associated weighting factor.

Die Fusionseinrichtung FE fusioniert Umfeldinformation von den Umfeldsensoren U1, U2 in Abhängigkeit von der Einflussgröße g1, g2 und stellt die fusionierte Umfeldinformation vm einem von dem Kraftfahrzeug umfassten Fahrerassistenzsystem FAS bereit.The fusion device FE fuses environmental information from environmental sensors U1 . U2 depending on the influencing variable g1 . g2 and provides the fused environment information vm in a driver assistance system comprised by the motor vehicle FAS ready.

Die Fusionseinrichtung FE ist dabei eingerichtet, die Einflussgröße g1, g2 in Abhängigkeit von einem Zusammenhang zwischen der Umstandsgröße und einer Funktionsgüte zumindest eines Umfeldsensors U1, U2 zu bestimmen.The fusion device FE is set up, the influencing factor g1 . g2 as a function of a relationship between the circumstance variable and a functional quality of at least one environment sensor U1 . U2 to determine.

Insbesondere wenn es sich bei einem der Umfeldsensoren U1, U2 um einen kamerabasierten Sensor handelt, kann der Einfluss der Umfeldinformation dieses Umfeldsensors U1 auf die fusionierte Umfeldinformation vm relativ gering sein, wenn die Umstandsgröße eine geringe Helligkeit der Fahrzeugumgebung anzeigt.Especially if it is one of the environment sensors U1 . U2 is a camera-based sensor, the influence of the environmental information of this environment sensor U1 be relatively low on the fused environment information vm, if the circumstance size indicates a low brightness of the vehicle environment.

Außerdem ist die Fusionseinrichtung FE eingerichtet, die fusionierte Umfeldinformation vm vor der Bereitstellung an das Fahrerassistenzsystem FAS in Abhängigkeit von einer Hilfsgröße zu interpretieren.Besides, the fusion device is FE set up the fused environment information vm before providing to the driver assistance system FAS depending on an auxiliary variable.

Die Hilfsgröße kann dabei beispielsweise aus einer Hilfsgrößenspeichereinheit H ausgelesen werden, die von der Fusionseinrichtung FE umfasst ist.The auxiliary size can, for example, from an auxiliary size storage unit H be read out by the merger facility FE is included.

Die Fusionseinrichtung FE kann dabei beispielsweise die fusionierte Umfeldinformation vm in Abhängigkeit von einer Bewegung eines mit den Umfeldsensoren U1, U2 erfassten Objekts interpretieren.The fusion device FE For example, the fused environment information vm may be dependent on a movement of one with the environment sensors U1 . U2 interpret the captured object.

Alternativ dazu kann die Fusionseinrichtung FE beispielswiese die fusionierte Umfeldinformation vm in Abhängigkeit von einem Verhaltensmodell eines mit den Umfeldsensoren U1, U2 erfassten Objekts interpretieren.Alternatively, the fusion device FE For example, the fused environment information vm as a function of a behavioral model of one with the environment sensors U1 . U2 interpret the captured object.

Alternativ dazu kann die Fusionseinrichtung FE die fusionierte Umfeldinformation vm in Abhängigkeit von einer Verkehrsregel als Hilfsgröße interpretieren.Alternatively, the fusion device FE interpret the fused environment information vm as an auxiliary variable as a function of a traffic rule.

1b zeigt ein Fusionssystem für ein Kraftfahrzeug, wobei das Fusionssystem zumindest zwei Umfeldsensoren U1, U2, ein mit den Umfeldsensoren U1, U2 gekoppeltes neuronales Netz PV zur Fusion von Umfeldinformation der Umfeldsensoren U1, U2, eine erfindungsgemäße Fusionseinrichtung FE zur Fusion von Umfeldinformation der Umfeldsensoren U1, U2 und eine mit der Fusionseinrichtung FE dem neuronalen Netz PV gekoppelte Kontrollvorrichtung AV umfasst. 1b shows a fusion system for a motor vehicle, wherein the fusion system at least two environmental sensors U1 . U2 , one with the environment sensors U1 . U2 coupled neural network PV for the fusion of environmental information of environmental sensors U1 . U2 , a fusion device according to the invention FE for the fusion of environmental information of environmental sensors U1 . U2 and one with the fusion device FE the neural network PV coupled control device AV includes.

Die Kontrollvorrichtung AV ist dabei eingerichtet, die durch das neuronale Netz PV fusionierte Umfeldinformation pm in Abhängigkeit von durch die Fusionseinrichtung FE fusionierte Umfeldinformation vm anzupassen und die angepasste Umfeldinformation ai einem Fahrerassistenzsystem FAS des Kraftfahrzeugs bereitzustellen.The control device AV is set up by the neural network PV fused environment information pm as a function of the fusion device FE fm adapted environment information vm adapt and the adapted environment information ai a driver assistance system FAS of the motor vehicle.

Beispielsweise kann die Kontrollvorrichtung AV in Abhängigkeit von der durch die Fusionseinrichtung FE fusionierte Umfeldinformation vm eine Auswahl treffen, ob die durch das neuronale Netz PV fusionierte Umfeldinformation pm oder die durch die Fusionseinrichtung FE fusionierte Umfeldinformation vm dem Fahrerassistenzsystem FAS bereitgestellt wird.For example, the control device AV depending on by the fusion device FE fused environment information vm make a selection, whether by the neural network PV fused environment information pm or by the fusion facility FE fused environment information vm the driver assistance system FAS provided.

Alternativ dazu kann die Kontrollvorrichtung AV die durch das neuronale Netz PV fusionierte Umfeldinformation pm in Abhängigkeit von der durch die Fusionseinrichtung FE fusionierte Umfeldinformation vm interpretieren und das Interpretationsergebnis dem Fahrerassistenzsystem FAS bereitstellen.Alternatively, the control device AV through the neural network PV fused environment information pm as a function of the fused by the fusion device FE environment information vm interpret and the interpretation result the driver assistance system FAS provide.

Wenn es sich beispielsweise bei den fusionierten Umfeldinformationen pm, vm um jeweils einen Raumbereich handelt, in dem sich ein Objekt mit einer hinreichend großen Wahrscheinlichkeit befindet, so kann die Kontrollvorrichtung AV die beiden Raumbereiche miteinander kombinieren und das Kombinationsergebnis dem Fahrerassistenzsystem FAS bereitstellen.If, for example, the merged environment information pm, vm is in each case a spatial region in which an object with a sufficiently high probability is located, the control device can AV Combining the two areas of space and the result of the combination with the driver assistance system FAS provide.

Darüber hinaus umfasst das Fusionssystem eine mit der Fusionseinrichtung FE gekoppelte Protokollvorrichtung LV. Die Protokollvorrichtung LV ist eingerichtet, für durch die Funktionseinrichtung FE bereitgestellte verknüpfte Umfeldinformation vm zumindest eine Umstandsgröße, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist, und/oder zumindest eine in Abhängigkeit von der Umstandsgröße bestimmte und für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße g1, g2 zu speichern.In addition, the fusion system includes one with the fusion facility FE coupled protocol device LV , The protocol device LV is set up for by the functional device FE Provided linked environmental information vm at least one circumstance variable that is characteristic of a circumstance concerning the driving situation, and / or at least one depending on the circumstance size and determined for an influence of an environment sensor on the merger influencing variable g1 . g2 save.

2 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Fusionsverfahrens. 2 shows an embodiment of a fusion method according to the invention.

Dabei wird der Raumbereich to in dem sich ein Objekt tatsächlich befindet von den Umfeldsensoren U1, U2 erfasst. Aufgrund verschiedenster Umstände umfassen die Umfeldsensoren U1, U2 üblicherweise nicht den exakten Raumbereich, in dem sich das Objekt befindet.In this case, the space area to in which an object is actually located by the environment sensors U1 . U2 detected. Due to various circumstances, the environment sensors include U1 . U2 usually not the exact space in which the object is located.

Die Fusionseinrichtung FE ist deshalb eingerichtet, Umfeldinformation von den Umfeldsensoren U1, U2 zu fusionieren. Dafür nimmt die Fusionseinrichtung FE eine Umstandsgröße entgegen, die für einen die Fahrsituation betreffenden Umstand charakteristisch ist. In Abhängigkeit von der Umstandsgröße bestimmt die Fusionseinrichtung FE zumindest eine für einen Einfluss eines Umfeldsensors auf die Fusion charakteristische Einflussgröße g1, g2.The fusion device FE is therefore set up environment information from the environment sensors U1 . U2 to merge. For the fusion device takes FE a circumstance that is characteristic of a circumstance concerning the driving situation. Depending on the circumstance size, the fusion device determines FE at least one influencing variable that is characteristic for an influence of an environment sensor on the fusion g1 . g2 ,

Die Umfeldinformation der Umfeldsensoren U1, U2 wird dann durch die Fusionseinrichtung FE in Abhängigkeit von der Einflussgröße g1, g2 fusioniert. Die die fusionierte Umfeldinformation vm gibt dabei den Raumbereich, in dem sich das Objekt befindet, mit höherer Qualität wieder als die Umfeldinformation eines einzelnen Umfeldsensors U1, U2.The environment information of the environment sensors U1 . U2 is then through the fusion device FE depending on the influencing variable g1 . g2 merged. The fused environment information vm returns the space in which the object is located to a higher quality than the environment information of a single environment sensor U1 . U2 ,

Claims

Fusion device (FE) for the fusion of environmental information of at least two environmental sensors (U1, U2) of a motor vehicle, wherein the fusion device (FE) is set up, • to accept a circumstance which is characteristic of a circumstance concerning the driving situation, To determine at least one influencing variable (g1, g2) which is characteristic of the influence of an environment sensor, depending on the circumstance variable, • to merge environmental information from the environment sensors (U1, U2) as a function of the influencing variable (g1, g2), and • provide the merged environment information (vm) to a driver assistance system (FAS) included in the motor vehicle.

Fusion device (FE) according to Claim 1 , wherein the fusion device (FE) is set up to determine the influencing variable (g1, g2) as a function of a relationship between the circumstance variable and a functional quality of at least one environment sensor (U1, U2).

Fusion device (FE) according to one of the preceding claims, wherein the fusion device (FE) is set up to interpret the fused environment information (vm) before provision to the driver assistance system (FAS) as a function of an auxiliary variable.

Fusion device (FE) according to Claim 3 , wherein the fusion device (FE) is set up to interpret the fused environment information (vm) as an auxiliary variable as a function of a movement of an object detected with the environmental sensors (U1, U2).

Fusion device (FE) according to Claim 3 or 4 , wherein the fusion device (FE) is set up to interpret the fused environment information (vm) as an auxiliary variable as a function of a behavioral model of an object detected with the environmental sensors (U1, U2).

Fusion device (FE) according to Claim 3 . 4 or 5 , wherein the fusion device (FE) is set up to interpret the fused environment information (vm) as an auxiliary variable as a function of a traffic rule.

Fusion system for a motor vehicle, wherein • the fusion system At least two environmental sensors (U1, U2), A neural network (PV) coupled to the environmental sensors (U1, U2) for the fusion of environmental information of the environment sensors (U1, U2), A fusion device (FE) for the fusion of environmental information of the environment sensors (U1, U2), • comprises a control device (AV) coupled to the neural network (PV) with the fusion device (FE), and The control device (AV) is adapted to adapt the environment information (pm) fused by the neural network (PV) as a function of environment information (vm) fused by the fusion device (FE), and • To provide the adapted environment information (ai) to a driver assistance system (FAS) of the motor vehicle.

Fusion system after Claim 7 wherein the fusion system comprises a protocol device (LV) coupled to the fusion device (FE), and the protocol device (LV) is set up, for linked environment information (vm) provided by the functional device (FE), at least one circumstance variable for one the driving situation is characteristic of this circumstance, and / or • to store at least one influencing variable (g1, g2) which is determined as a function of the circumstance variable and which is characteristic for the influence of an environmental sensor on the fusion.

Method for fusion of environmental information of at least two environmental sensors (U1, U2) of a motor vehicle, the method comprising the following steps: • receiving a circumstance that is characteristic of a circumstance concerning the driving situation, Determining at least one influencing variable (g1, g2) which is characteristic for an influence of an environment sensor on the fusion, as a function of the circumstance variable, • Fusion of the environment information from the environment sensors (U1, U2) as a function of the influencing variable (g1, g2), and Providing the fused environment information (vm).