DE102004047122A1

DE102004047122A1 - Sensor and guidance system for road vehicle has four different types of sensor in front of vehicle, building up picture of environment in front of vehicle, including IR and video sensors

Info

Publication number: DE102004047122A1
Application number: DE200410047122
Authority: DE
Inventors: Ottmar Gehring; Sascha Paasche; Andreas Schwarzhaupt; Armin Sulzmann; Gernot Spiegelberg; Frederic Holzmann
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2004-09-27
Filing date: 2004-09-27
Publication date: 2006-04-13

Abstract

The road vehicle (F) has a 77 GHz radar (Radar 77 GHz) mounted in the front end, detecting objects at a distance over a narrow angle. An IR sensor (Infrarot) covers a medium range with a wider cone angle. A video sensor (Video) covers a short range with a very wide cone angle. A 24 GHz radar (Radar 24 GHz) covers a very short forward range with a cone angle of nearly 180 degrees. It covers the region immediately in front of the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Überwachen eines Fahrzeugs nach Anspruch 1.The The invention relates to a method for monitoring a vehicle Claim 1.

Bei 97 % aller Unfälle trägt der Fahrer die Schuld, weil er unkonzentriert war oder weil er zu spät gebremst hat. Bei 60 dieser Unfälle wäre es möglich, den Unfall durch Warnen des Fahrers zu verhindern.at 97% of all accidents wears the Driver's fault because he was unfocused or because he braked too late Has. At 60 of these accidents would it be possible to Prevent accident by warning the driver.

Die deutsche Offenlegungsschrift DE 195 27 323 beschreibt eine Schaltungsanordnung in einem Kraftfahrzeug, an der Signale von Sensoren ausgewertet und Stellsignale für eine Einrichtung, zB ein automatisches Getriebe, eine aktive Federung, einen Tempomaten, eine Lenkkraftverstärkung, eine Bremsschlupfregelung (ABS) oÄ, erzeugt werden. Die Erkennung der jeweiligen Fahrsituation beruht auf einem Neuro-Fuzzy-System, das in der Lage ist, maschinell zu lernen und Steuervorschriften selbsttätig zu erarbeiten und zu verbessern. Dabei werden die Sensordaten zunächst fusioniert und klassifizierten Fahrsituationen zugeordnet, aus denen wiederum entsprechende Steuermaßnahmen ableitbar sind.The German patent application DE 195 27 323 describes a circuit arrangement in a motor vehicle, are evaluated at the signals from sensors and control signals for a device, such as an automatic transmission, an active suspension, a cruise control, a steering gain, a brake slip control (ABS) oÄ, generated. The recognition of the respective driving situation is based on a neuro-fuzzy system, which is able to learn by machine and develop and improve tax regulations automatically. The sensor data are first merged and assigned to classified driving situations, from which in turn appropriate tax measures can be derived.

Die internationale Offenlegungsschrift WO 03/045726 offenbart eine Vorrichtung zum Bewerten und/oder Beeinflussen einer Bewegungsgröße und eines Bewegungsverhaltens eines Fahrzeugs.The International Publication WO 03/045726 discloses a device for evaluating and / or influencing a movement quantity and a Movement behavior of a vehicle.

Dabei ist vorgesehen, dass ein und dasselbe Bewertungsmittel, zB ein Einparksystem, ein Bremsschlupfregelsystem (ABS), ein Fahrdynamiksystem (ESP), ein Geschwindigkeitsbegrenzungs- oder Regelungssystem, ein Bremsassistenzsystem oÄ, dem Fahrer in einem ersten Betriebszustand lediglich Informationen bereit stellt, den Fahrer zB vor zu hoher Geschwindigkeit in einer Kurve warnt. In einem zweiten Betriebszustand wird das Mittel zur fahrerunabhängigen Steuerung des Fahrzeugs genutzt, zB zum Abbremsen des Fahrzeugs in vorstehend genannten Fall. Die Betriebszustände sind vom Fahrer umschaltbar.there It is envisaged that one and the same means of assessment, eg a parking system, a brake slip control system (ABS), a vehicle dynamics system (ESP), a speed limit or control system, a brake assist system oÄ, the driver only provides information in a first operating state, warns the driver, for example, of excessive speed in a curve. In a second operating state, the means for driver-independent control used for the vehicle, eg for braking the vehicle in above said case. The operating conditions are switchable by the driver.

Die deutsche Offenlegungsschrift DE 102 56 568 zeigt ein Assistenzsystem für ein Fahrzeug, bei dem eine Fahrzeuggeschwindigkeit, ein Fronthindernis und ein Abstand dazu erfasst werden. Das Gefahrenpotential der aktuellen Fahrsituation wird ermittelt und dem Fahrer, vorzugsweise einem Fahranfänger angezeigt.The German patent application DE 102 56 568 shows an assistance system for a vehicle, in which a vehicle speed, a front obstacle and a distance are detected. The risk potential of the current driving situation is determined and displayed to the driver, preferably a novice driver.

Allem hier genannten Stand der Technik ist allerdings gemein, dass eine selbsttätige Reaktion des Fahrzeugs auf eine kritische Fahrsituation lediglich im Rahmen vorhandener Einzelsysteme und nur auf eine konkrete Gefährdungssituation hin erfolgt. Eine darüber hinausgehende Steuerung bleibt schon auf Grund der regelmäßig unzureichenden Erkennung der Umwelt auf den Eingriff des Fahrers beschränkt.especially However, here mentioned prior art is common that a automatic Reaction of the vehicle to a critical driving situation only in the context of existing individual systems and only on a specific risk situation takes place. One about it Exceeding control remains due to the regularly insufficient Recognition of the environment limited to the intervention of the driver.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren der eingangs genannten Art bereitzustellen, das eine selbsttätige Steuerung des Fahrzeugs auf ein Fahrziel hin erlaubt, einfach aufgebaut sowie leicht umsetzbar ist.It Object of the present invention, a method of the initially to provide said type, which is an automatic control of the vehicle allowed to a destination, simple and easy to implement is.

Diese Aufgabe wird durch ein Verfahren mit Sensoren zum Erfassen der Umwelt des Fahrzeugs gelöst, deren Daten fusioniert und in ein Umweltmodell überführt werden, das zum Er mitteln eines Fahrwegs von einer momentanen Position in Richtung auf ein Fahrziel hin herangezogen wird, und für den Fahrweg Fahrstrategien bestimmbar sind, deren Einhaltung potentielle Kollisionen ausschließt.These Task is by a method with sensors for detecting the environment solved the vehicle, their data will be merged and converted into an environmental model, which will be used to investigate a driveway from a current position towards a Driving objective is used, and for driving infrastructure driving strategies can be determined whose compliance precludes potential collisions.

Ein solches Verfahren kann als 'virtueller Beifahrer' in einem Fahrzeug, insbesondere einem Kraftfahrzeug, softwaremäßig integriert werden. Dieser virtuelle Beifahrer wird wie ein überwachendes System benutzt, bewertet die möglichen Fahrzustände nach ihrer Gefährlichkeit und teilt dies dem Fahrer mit. Hierfür erhält der virtuelle Beifahrer Sensordaten und wertet diese aus. Weiterhin benötigt er Kenntnisse über verschiedene Fahrstrategien, um diese in kritischen Fahrsituationen anwenden zu können.One such procedure may be considered 'virtual Passenger 'in one Vehicle, in particular a motor vehicle, integrated in software become. This virtual passenger is used like a monitoring system evaluates the possible Driving conditions after their dangerousness and tell the driver. For this the virtual passenger receives Sensor data and evaluates this. Furthermore, he needs knowledge about different Driving strategies to apply them in critical driving situations to be able to.

Ein wesentlicher Punkt der vorliegenden Erfindung besteht darin, dass ein Fahrziel unter Berücksichtigung des Umweltmodells erreichbar ist. Damit beschränkt sich das Verfahren nicht allein auf eine temporäre Reaktion auf potentielle Hindernisse. Der virtuelle Beifahrer kann jedes Sensorsystem nutzen, wenn es die folgenden Informationen liefert: Zum einen die Position von Objekten (Fahrzeugen, Fußgängern usw), weiterhin die Position des Fahrzeugs selbst (global, lokal) sowie ein Straßenmodell (Straßenverlauf).One essential point of the present invention is that a destination under consideration of the environmental model is achievable. This does not limit the process alone on a temporary Reaction to potential obstacles. The virtual passenger can use every sensor system when it provides the following information: On the one hand, the position of objects (vehicles, pedestrians, etc.), continue the position of the vehicle itself (global, local) as well a street model (Road).

Übliche Geräte zum Erfassen der Eingangsdaten sind Radar, Kameras und GPS-System. Ist das Umweltmodell bekannt, lässt sich das Fahrziel unter Beachtung der ermittelten Fahrstrategie erreichen.Common devices for detecting The input data are radar, cameras and GPS system. Is this the environmental model known, lets the destination is in compliance with the determined driving strategy to reach.

Der virtuelle Beifahrer ist leicht auf schon im Fahrzeug vorhandenen Funktionseinheiten implementierbar und nutzt üblicherweise schon vorhandene Sensorik.Of the virtual passenger is easy on already existing in the vehicle Function units implementable and usually uses already existing Sensors.

Vorteilhafte Weiterbildungen des Verfahren sind in den Unteransprüchen 2 bis 20 angegeben.advantageous Further developments of the method are in the dependent claims 2 to 20 indicated.

In einer vorteilhaften Weiterbildung werden in einem ersten Fusionsschritt zunächst Ausgangsdaten gleicher Sensoren gemeinsam ausgewertet (erste Datenfusion). Da die verbundenen Sensoren nicht notwendigerweise auf dem gleichen physikalischen Konzept basieren, werden sie normalerweise nicht die gleichen Ausgänge aufweisen. Arbeiten die Systeme mit einem hohen Abstraktionsgrad, können alle Sensordaten parallel verarbeitet werden. Werden die Ausgangsdaten gleicher Sensoren deshalb zunächst gemeinsam ausgewertet, kann ein besseres Ergebnis erzielt werden.In an advantageous development, initial data of the same sensors are first jointly evaluated in a first fusion step (first data fusion). Since the connected sensors are not necessarily on the same physical usually they will not have the same outputs. If the systems work with a high degree of abstraction, all sensor data can be processed in parallel. Therefore, if the output data of the same sensors are initially evaluated together, a better result can be achieved.

Ein weiterer Vorteil entsteht dadurch, dass in einem zweiten Fusionsschritt zusätzlich Ergebnisse der Sensoren parallel oder kooperativ weiterverarbeitet werden (zweite Datenfusion). Ein paralleles Vorgehen lässt eine besonders schnelle Verarbeitung zu, während bei einem kooperativen Vorgehen zB die von einem Radar erfassten Objekte der Kamera nachgeführt werden können, um bessere Ergebnisse zu erhalten.One Another advantage arises from the fact that in a second fusion step additionally Results of the sensors processed in parallel or cooperatively become (second data fusion). A parallel approach leaves one especially fast processing too, while at a cooperative one Procedure, for example, tracked by a radar objects of the camera are tracked can, to get better results.

Bevorzugt wird von den Sensoren eine bewegliche und eine statische Umwelt erfasst. 1 zeigt ein Fahrzeug von oben mit typischen Erfassungsbereichen verschiedener Systeme. Die bewegliche Umwelt wird durch Daten wiedergegeben, die Objekte wie zB PKW, LKW, Fußgänger oÄ im direkten Umfeld des Fahrzeugs beschreiben. Die Eigenschaften solcher Objekte wie zB die Position sollen kontinuierlich gemessen werden. Die statische Umwelt wird hingegen durch Daten wiedergegeben, die das statische (zeitkonstante) Umfeld des Fahrzeugs beschreibt. Es werden Informationen wie Verkehrszeichenerkennung, Spurerkennung usw benötigt. Nach der Modellierung der Umwelt unterliegt diese idR nur geringfügigen Veränderungen. Mit dieser Kenntnis ist es nicht mehr notwendig, die stationären Objekte erneut zu ermitteln.The sensors preferably detect a mobile and a static environment. 1 shows a vehicle from above with typical detection areas of different systems. The mobile environment is represented by data describing objects such as cars, trucks, pedestrians, etc. in the immediate vicinity of the vehicle. The properties of such objects as the position should be measured continuously. The static environment, on the other hand, is represented by data describing the static (time constant) environment of the vehicle. Information such as traffic sign recognition, lane detection, etc. is required. After modeling the environment, this is usually subject to only minor changes. With this knowledge, it is no longer necessary to redetermine the stationary objects.

In einer besonders bevorzugten Weiterbildung ist vorgesehen, dass bei bekannter Umwelt eine Umweltkarte aus einer Datenbank abrufbar oder von einem Leitrechner übermittelbar ist. Unter dem Begriff 'bekannte Umwelt' soll im Folgenden ein fertiges, also ein nicht mehr aus einer Vielzahl von Sensordaten zu erzeugendes Umweltmodell verstanden werden. Die Sensoren umfassen entsprechende Speicherzugriffs- und Übermittlungstechnologien. Die statische Umwelt (Straßen, Straßenverlauf, Verkehrsschilder, Bäume usw) kann zusätzlich mit Hilfe weiterer fahrzeugseitiger Sensoren modelliert werden. Ist die Umwelt zB von einem Leitrechner abrufbar, kann die Auswertung dieser Sensoren entfallen, oder aber steigert zusätzlich die Qualität des Umweltmodells. Im Regelfall wird allerdings eine zB abrufbare Straßenkarte ein hinreichend genaues und leicht zugängliches Umweltmodell darstellen.In a particularly preferred embodiment is provided that at known environmental environment an environmental map from a database or from a master computer can be transmitted is. Under the term 'known Environment 'should in Following a finished, so no longer from a variety of Sensor data to be generated environmental model to be understood. The sensors include appropriate memory access and transmission technologies. The static environment (roads, Road, Road signs, trees etc) can additionally be modeled with the help of other sensors on the vehicle side. If the environment can be called up, for example, by a master computer, the evaluation can be carried out these sensors omitted, or in addition increases the quality of the environmental model. As a rule, however, is an example retrievable road map represent a sufficiently accurate and easily accessible environmental model.

Grundsätzlich lassen sich die Fälle bekannter und unbekannter Umwelt unterscheiden, die eine unterschiedliche Planung der Fahrzielerreichung erfordern. Beide Fälle werden von dem erfindungsgemäßen Verfahren zuverlässig abgedeckt, so dass eine sichere Fahrzielerreichung gewährleistet ist.Basically leave the cases well-known and unknown environments that are different Require planning of the destination achievement. Both cases will of the method according to the invention reliable covered, so that ensures a safe destination achievement is.

Bei unbekannter Umwelt sieht eine vorteilhafte Weiterbildung vor, dass ein Fahrziel durch Extrapolieren der Straßenrichtung bestimmbar ist. Im Fall unbekannter Umwelt liefert die Sensordatenfusion ein Umweltmodell. Das Ziel kann somit ebenfalls bestimmt werden, wobei eine Extrapolation der Straßenrichtung in diesem Fall das Ziel darstellt. Es kann so zB eine optimale Fahrspur berechnet werden. Die Berechnung kann dabei verschiedene Optimierungsparameter benutzen, wie zB kürzeste Länge, größte Krümmung, maximale Geschwindigkeit oÄ.at unknown environment provides an advantageous development that a destination can be determined by extrapolating the road direction. In the case of unknown environment, sensor data fusion provides an environmental model. The target can thus also be determined, with an extrapolation the street direction in this case represents the goal. It can, for example, an optimal lane be calculated. The calculation can be different optimization parameters use, such as shortest Length, largest curvature, maximum Speed oÄ.

Bei bekannter Umwelt sieht eine vorteilhafte Weiterbildung vor, dass ein Fahrziel als Positionspunkt vorgebbar ist. Das Fahrzeug muss dann seine Position genau kennen oder übermittelt bekommen. Die Umweltinformation muss dabei nicht notwendig sein. Steht ein Fahrzeug zB auf einem Speditionshof und ist die Umweltkarte festgelegt, kann diese per Funk zum Fahrzeug geschickt oder von CD geladen werden. Enthält die Karte keine Objekte, kann der zB als Software implementierte virtuelle Beifahrer auch ohne Karte arbeiten. Hierbei sind alle Möglichkeiten erlaubt. Das Fahrzeug muss dann immer die Ziele bekommen, weil ein Extrapolieren nicht möglich ist.at known environment provides an advantageous development that a destination can be specified as a position point. The vehicle must then get to know his position or receive it. The environmental information does not have to be necessary. Is a vehicle eg on one Speditionshof and the environmental card is set, this can be by radio sent to the vehicle or loaded from CD. Contains the card no objects, can be implemented eg as software virtual Passenger working without a map. Here are all possibilities allowed. The vehicle must then always get the goals because extrapolating not possible is.

Bevorzugt ist bei bekannter Umwelt ein Fahrziel als Bewegungsvektor vorgebbar. Das Fahrzeug kann dann unter Beachtung des Umweltmodells seinen Fahrweg generieren. Dies kann in unterschiedlicher Weise geschehen.Prefers is in a known environment a destination as a motion vector specified. The vehicle can then be in compliance with the environmental model its Generate track. This can be done in different ways.

Besonders bevorzugt wird eine Bewegungsberechnung und eine Regelungsstrategie fahrzeugintern durchgeführt. Unter 'Regelungsstrategie' soll im Folgenden die konkrete Umsetzung einer Fahrstrategie in Fahrbewegungen verstanden werden. Bei fahrzeuginterner Umsetzung erübrigen sich weitere Kommunikationsaufwendungen mit einem Leitrechner.Especially preferred is a motion calculation and a control strategy carried out in-vehicle. Under 'regulatory strategy' is below understood the concrete implementation of a driving strategy in driving movements become. With in-vehicle implementation, additional communication expenses are unnecessary with a host computer.

Besonders bevorzugt wird ein Fahrweg übermittelt und eine Regelungsstrategie fahrzeugintern bestimmt. Die Rechenlast zur Fahrwegsermittlung wird damit von dem Fahrzeug auf den Leitrechner verlagert, der ohne Gewichts- und Bauraumrestriktionen entsprechend ausgelegt werden kann. Zusätzliche Hardware im Fahrzeug beschränkt sich auf die Regelungs- und Kommunikationstechnologie mit dem Leitrechner.Especially Preferably, a guideway is transmitted and a control strategy within the vehicle. The workload for driving route determination is thus shifted from the vehicle to the host, the designed without weight and space restrictions accordingly can be. additional Hardware in the vehicle limited on the control and communication technology with the master computer.

Besonders bevorzugt ist der Bewegungsvektor ein Sollbewegungsvektor und eine Bewegungsberechnung sowie eine Regelungsstrategie fahrzeugextern durchgeführt wird. Damit ist auch die Rechenlast zum Bestimmen der Regelungsstrategie vom Fahrzeug wegverlagert, so dass sich der Mehraufwand an Hardware auf die Kommunikationstechnologie beschränkt.Particularly preferably, the motion vector is a target motion vector and a motion calculation and a control strategy is performed outside the vehicle. Thus, the computing load for determining the control strategy is shifted away from the vehicle, so that the additional expenditure of hardware on the Kommunikationsstech limited.

In den vorstehend erwähnten Fällen der Fahrwegberechnung umfasst die Regelungsstrategie in bevorzugter Weise eine optimale Bahnberechnung oder eine Potential-Feld-Methode. Beide Verfahren sind bekannt und zuverlässig und somit leicht implementierbar.In the aforementioned make The path calculation includes the control strategy in a preferred Way an optimal orbit calculation or a potential field method. Both methods are known and reliable and thus easy to implement.

Sind dem Fahrzeug sein Fahrweg und die Objekte in seiner Nähe bekannt, können Kollisionsmöglichkeiten in Echtzeit berechnet werden. Dabei sind unterschiedliche Fahrstrategien anwendbar.are the vehicle's track and the objects in its vicinity, can collision options be calculated in real time. There are different driving strategies applicable.

Bevorzugt umfasst eine Fahrstrategie ein Abbremsen und Anhalten. Das Fahrzeug kann dabei so lange stehen bleiben, bis das Hindernis seine Spur verlassen hat. Dies stellt eine besonders sichere Fahrstrategie dar.Prefers A driving strategy involves braking and stopping. The vehicle It can stand until the obstacle leaves its mark has left. This provides a particularly safe driving strategy represents.

Bevorzugt umfasst eine Fahrstrategie auch das Berechnen eines anderen Fahrwegs. Dabei wird zB eine neue Spur des Fahrzeugs zur Umgehung eines Hindernisses im Straßenverlauf berechnet. Ein neuer Fahrweg kann aber auch eine völlig neue Route zum Fahrziel sein.Prefers Driving strategy also includes calculating another route. In this case, for example, a new track of the vehicle to bypass an obstacle in the street calculated. A new track can also be a completely new Route to the destination.

Bevorzugt umfasst eine Fahrstrategie weiterhin ein bestmögliches Folgen des Fahrwegs. Damit sind leichte Modifikationen des Fahrwegs in Anbetracht von Hindernissen möglich, ohne eine neue Route berechnen zu müssen. Das Fahrzeug kann dafür verschiedene Fahrstrategien wie zB die ACC (Adaptive Cruise Control)-Funktion oder eine Reflex-Funktion, also ein Ausweichen des Hindernisses verwenden.Prefers a driving strategy further includes the best possible following of the infrastructure. With that are slight modifications of the guideway in view of Obstacles possible, without having to calculate a new route. The vehicle can do different Driving strategies such as the ACC (Adaptive Cruise Control) function or a reflex function, so use an evasion of the obstacle.

Zum Erzielen optimaler Ergebnisse muss eine Datenfusion aus den Ergebnissen der vorstehend beschriebenen Fahrstrategien durchgeführt werden.To the Achieving optimal results requires a data fusion from the results the driving strategies described above are performed.

Besonders bevorzugt geht in die Berechnung der Fahrstrategie ein Fahrzeugmodell ein. Dadurch werden beim Einsatz der Fahrstrategie die konkreten Abmessungen des Fahrzeugs in Echtzeit berücksichtigt, um Überlappungen mit Hindernissen und damit Kollisionen zu vermeiden. Auch die Spur kann anhand des Fahrzeugmodells berechnet werden.Especially Preferably, a vehicle model is used in the calculation of the driving strategy one. As a result, when using the driving strategy, the concrete Dimensions of the vehicle taken into account in real time, to overlaps with obstacles and thus to avoid collisions. Even the track can calculated using the vehicle model.

In bevorzugter Weise wird jede mögliche Fahrstrategie berechnet und nach Güte bewertet. Damit stellt der virtuelle Beifahrer eine Rangfolge von Fahrstrategien zur Verfügung, die eine flexible Reaktion auf Fahrsituationen ermöglicht. Ist zB die Strategie höchster Güte auf Grund einer zwischenzeitlichen Veränderung der Verkehrssituation nicht mehr durchführbar, kann eine niedriger klassifizierte Strategie gewählt werden. Dabei sind die Gütekategorien 'optimal' oder 'fast optimal', 'nicht gefährlich', 'gefährlich' und 'verboten' vorgesehen.In preferred is any driving strategy calculated and quality rated. Thus, the virtual passenger sets a ranking of driving strategies to disposal, which allows a flexible response to driving situations. Is eg the strategy highest Goodness Reason for a temporary change in the traffic situation no longer feasible, A lower classified strategy can be chosen. Here are the Quality categories 'optimal' or 'almost optimal', 'not dangerous', 'dangerous' and 'prohibited'.

Besonders bevorzugt ist jede Fahrstrategie abhängig von Beschleunigung und Lenkeinschlag des Fahrzeugs darstellbar. Dem Fahrer bleibt vorbehalten, den Vorschlägen des Verfahrens zu folgen. Schickt ein Fahrer zB eine Sollbeschleunigung oder Sollverzögerung und eine Solllenkung über die Mensch-Maschine-Schnittstelle (MMS), muss der virtuelle Beifahrer ebenfalls diese MMS benutzen. Optimal ist dabei die Angabe der Güte jeder Möglichkeit (Beschleunigung/Lenkung), jedoch ist die Angabe einer Gefährlichkeitskategorie ebenfalls aus reichend. Die MMS kann auch auf Basis der Geschwindigkeit durchgeführt werden.Especially each driving strategy is preferably dependent on acceleration and Steering angle of the vehicle displayed. The driver is reserved, the proposals to follow the procedure. For example, a driver sends a target acceleration or target delay and a target steering over the man-machine interface (MMS), the virtual passenger must also use these MMS. Optimal is the indication of the quality of each possibility (acceleration / steering), however, the indication of a hazard category also sufficient. The MMS can also be performed on the basis of speed.

Es versteht sich, dass die vorstehend genannten und nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar sind. Der Rahmen der vorliegenden Erfindung ist nur durch die Ansprüche definiert.It It is understood that the above and below to be explained features not only in the specified combination, but also in other combinations are usable. The frame of the present Invention is defined only by the claims.

Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert. Dabei zeigen:The Invention will be described below with reference to an embodiment with reference on the associated Drawings closer explained. Showing:

1 ein Fahrzeug von oben mit typischen Erfassungsbereichen verschiedener Sensorsysteme; 1 a vehicle from above with typical detection areas of different sensor systems;

2 eine Prinzipskizze zum Erstellen eines Umweltmodells durch Datenfusion; 2 a schematic diagram for creating an environmental model through data fusion;

3 eine Funktionsintegration von Sensorsystemen über dem erfindungsgemäßen Verfahrensablauf, und 3 a functional integration of sensor systems over the process sequence according to the invention, and

4 in Güteklassen eingeteilte Lenk- und Beschleunigungskurven in einer Fahrsituation. 4 Classified steering and acceleration curves in a driving situation.

1 zeigt ein Fahrzeug F von oben mit typischen Erfassungsbereichen eines Radars (77 und 24 GHz), einer Videokamera und eines Infrarotsensors. Das erfindungsgemäße Verfahren nutzt die Ausgangssignale dieser Sensoren als Eingangsdaten zum Abbilden seiner direkten Umwelt, zB wenn keine bekannte Umwelt von einem Datenträger oder einem Leitrechner verfügbar oder nicht notwendig ist. Die Bestimmung der Fahrstrategie ist danach immer gleich. Aus den gelieferten Sensordaten wird verfahrensgemäß die Umwelt modelliert (Mapping). Danach wird ein Ziel bestimmt oder an das Fahrzeug F übermittelt, worauf sich das Berechnen eines Fahrwegs oder einer Fahrspur anschließt. Schließlich wird eine Regelungsstrategie gewählt, um Hindernissen zwischen Ziel und momentaner Position auszuweichen. 1 shows a vehicle F from above with typical detection areas of a radar (77 and 24 GHz), a video camera and an infrared sensor. The inventive method uses the output signals of these sensors as input data for mapping its direct environment, for example, if no known environment from a disk or a host computer is available or not necessary. The determination of the driving strategy is then always the same. According to the method, the environment is modeled from the sensor data supplied (mapping). Thereafter, a destination is determined or transmitted to the vehicle F, followed by the computation of a driveway or a lane. Finally, a regulatory strategy is chosen to avoid obstacles between the target and the current position.

Die Datenfusion verschiedener Sensoren kann auf zwei verschiedene Weisen durchgeführt werden. Bei paralleler Verarbeitung der Daten gehen alle Sensordaten in die Fusion ein. Bei kooperativer Verarbeitung können die Ergebnisse eines Sensors benutzt werden, um die Verarbeitung der Daten eines anderen Sensors zu erleichtern. Suchen beispielsweise eine Kamera und ein Radar eine Straße nach Hindernissen ab, werden bei paralleler Verarbeitung beide alle Informationen schicken. Die Datenfusion muss also alle Informationen abgleichen, um eine Fehler auszuschließen. Bei kooperativem Vorgehen wird zB das Radar ein Hindernis erfassen. Diese Informationen werden an die Kamera weitergeleitet. Die Kamera braucht also nicht mehr zu suchen, wo sich das Hindernis befindet. Sie kann sich darauf beschränken herausfinden, ob wirklich ein Hindernis vorhanden ist.The Data fusion of different sensors can be done in two different ways be performed. If the data is processed in parallel, all sensor data goes into it the merger. Cooperative processing uses the results of a sensor to facilitate the processing of data from another sensor. For example, a camera and a radar search a road for obstacles when parallel processing both information Send. The data fusion must therefore match all information, to rule out a mistake. In a cooperative approach, for example, the radar will detect an obstacle. This information is forwarded to the camera. The camera So no longer need to search where the obstacle is located. She can confine herself to it Find out if there really is an obstacle.

2 zeigt eine Prinzipskizze zum Erstellen eines Umweltmodells durch Datenfusion im Modellierungsschritt. Dabei werden Daten einer bekannten Umwelt aus einer statischen Karte, zB von einer CD oder DVD (rechts), und einer von fahrzeugseitigen Sensoren, wie zB denen der 1, erfassten dynamischen Liste von Objekten zu einer Graufarbenkarte zusammengefasst und ausgewertet. Aus der statischen Karte geht die Erkennung der Umgebung und aus der dynamischen Liste der Objekte die Erkennung von Risiken ein. 2 shows a schematic diagram for creating an environmental model by data fusion in the modeling step. In this case, data from a known environment from a static map, for example from a CD or DVD (right), and one of vehicle-mounted sensors, such as those of 1 , collected dynamic list of objects to a greyscale map and evaluated. From the static map, the recognition of the environment and from the dynamic list of objects, the identification of risks.

Die statische Karte besteht aus einer zweidimensionalen Matrix, bei der jede Zelle folgende Eigenschafen haben kann. Ist eine Zelle besetzt (wakened), so wurde ein Objekt an dieser Stelle erfasst. Sobald eine Zelle nicht ganz frei ist, gilt sie als besetzt. Ist eine Zelle frei (not wakened), wurde kein Objekt an dieser Stelle erfasst oder die Wahrscheinlichkeit dafür ist sehr gering. Dabei besteht auch keine maximale Geschwindigkeit. Weiterhin ist eine Geschwindigkeitsbegrenzung S (speed limit) und eine Richtung angebbar. Das Fahrzeug F befindet sich dann auf einer freien Straße mit einer maximalen Geschwindigkeit oder in einer Einbahnstraße. Die Graufarbenkarte zeigt eine solche Geschwindigkeitsbegrenzung S auf einer freien Straße. Der Pfeil P weist in Richtung einer Einbahnstraße.The static map consists of a two-dimensional matrix, at Each cell can have the following properties. Is a cell occupied (wakened), so an object was detected at this point. As soon as A cell is not completely free, it is considered occupied. Is a cell free (not wakened), no object was recorded at this point or the likelihood of it is very low. There is no maximum speed. Furthermore, a speed limit S (speed limit) and one direction indicated. The vehicle F is then on a free street at a maximum speed or in a one-way street. The gray color card shows such a speed limit S on a free Street. The arrow P points in the direction of a one-way street.

Die dynamische Liste von Objekten berücksichtigt die momentane Geschwindigkeit und Richtung des Fahrzeugs F sowie eine Kollisionsrisiko mit diesen Objekten, wie dies zB in Systemen zur prediktiven Geschwindigkeitsanpassung, Pre-Crash-Systemen oder ACC-Systemen errechnet wird. Befindet sich das Fahrzeug F in einem bekannte Umweltbereich, zB auf einem Speditionshof, kann der als Software implementierte virtuelle Beifahrer direkt eine gespeicherte Umweltkarte aus einer Datenbank laden oder über eine Leitrechner zur Verfügung gestellt bekommen. Wenn dies nicht erforderlich ist, kann die Software auch ohne Umweltmodell arbeiten. Dann werden die nur beispielhaft 1 dargestellten Sensoren benutzt, um ein Modell der Umwelt zu modellieren.The dynamic list of objects takes into account the instantaneous speed and direction of the vehicle F as well as a risk of collision with these objects, as is calculated, for example, in systems for predictive speed adaptation, pre-crash systems or ACC systems. If the vehicle F is located in a known environmental area, eg on a freight depot, the virtual passenger, who is implemented as a software, can directly load a stored environmental map from a database or have it made available via a host computer. If this is not required, the software can work without an environmental model. Then the only examples 1 used sensors to model a model of the environment.

Durch Fusionieren der statischen und dynamischen Umweltdaten gibt die Graustufenkarte das verfügbare Zeitdiskret wieder, was dem Bestimmen einer Fahrstrategie zugrunde gelegt wird.By Fusion of static and dynamic environmental data gives the Grayscale card available Discrete time again, which is the basis of determining a driving strategy is placed.

3 zeigt eine Funktionsintegration von Sensorsystemen über dem erfindungsgemäßen Verfahrensablauf. Auf der vertikalen Achse sind die Verfahrenschritte nach unten hin aufgetra gen (Mapping, Fahrwegplanung, Regelungsstrategie), auf der horizontalen Achse die zunehmende Integration von Funktionen, die eine intelligentere Verarbeitung erfordern (CD/DVD, Überwachung, Kamera, GPS). Für jede Funktion bestehen danach verschiedene Intelligenzgrade. Es besteht permanent die Möglichkeit, den Intelligenzgrad des Systems (virtueller Beifahrer) für das Fahrzeug F zu wählen. Mit zunehmender Integration von Intelligenz über die Verfahrensschritte hinweg kann dabei von einer Fahrstrategie des Folgen eines (vorgegebenen) Bewegungsvektors ohne bekannte Umwelt zu einer Strategie der selbstständigen Fahrwegsgenerierung und -verfolgung unter Erzeugung einer lokalen Karte übergegangen werden. Im einfachsten Fall folgt das Fahrzeug F dem von einem Leitrechner übermittelten Bewegungsvektor, wird zu einer Straße geführt oder erreicht ein Fahrziel. Bei einem intelligenteren Vorgehen erhält das Fahrzeug F seine momentane Position über GPS und seine momentane Umwelt zB von fahrtrichtungsseitig angebrachten Sensoren. Aus der dynamischen Karte sind dabei die Positionen und Geschwindigkeiten erfasster Objekte bekannt. Diese Informationen werden von einer Regelungsstrategie 'Bewegungsvektor folgen' an die Funktion 'Selbständiges Lernen' übergeben. Diese Funktionen werden immer überprüfen, ob der Bewegungsvektor nicht in Richtung eines Hindernisses steht. Ist dies der Fall, wird das Fahrzeug F zB ein Ausweichmanöver starten oder bremsen. 3 shows a functional integration of sensor systems over the process sequence according to the invention. On the vertical axis, the process steps are downwards (mapping, route planning, control strategy), on the horizontal axis, the increasing integration of functions that require smarter processing (CD / DVD, surveillance, camera, GPS). There are different levels of intelligence for each function. It is always possible to choose the degree of intelligence of the system (virtual passenger) for the vehicle F. With increasing integration of intelligence across the process steps, it is possible to move from a driving strategy of following a (given) motion vector without a known environment to a strategy of autonomous route generation and tracking to generate a local map. In the simplest case, the vehicle F follows the motion vector transmitted by a master computer, is guided to a street or reaches a destination. In a smarter approach, the vehicle F receives its current position via GPS and its current environment eg sensors mounted on the direction of travel. From the dynamic map, the positions and velocities of detected objects are known. This information is passed to the self-learning feature by a 'follow motion vector' control strategy. These functions will always check if the motion vector is not facing an obstacle. If this is the case, the vehicle F will start or brake an evasive maneuver, for example.

Die 4 zeigt in Güteklassen eingeteilte Lenk- und Beschleunigungskurven in einer Fahrsituation. Diese stellen ein Ergebnis einer Fahrstrategieermittlung dar. Es wird eine jeweilige Kombination von maximaler Beschleunigung bzw Verzögerung a_max und maximalem Lenkeinschlag Φ_max in einer Fahrsituation nach drei Gefährlichkeitsstufen 'Optimum', 'Warnung' und 'Grenze' angegeben. Das Fahrzeug wird in der optimalen Fahr strategie betrieben bzw der Fahrer hat die Möglichkeit, sein Fahrverhalten entsprechend anzupassen.The 4 shows divided into quality categories steering and acceleration curves in a driving situation. These represent a result of a driving strategy determination. A respective combination of maximum acceleration or deceleration a _max and maximum steering angle Φ _max in a driving situation after three danger levels 'optimum', 'warning' and 'limit' is indicated. The vehicle is operated in the optimum driving strategy or the driver has the opportunity to adjust his driving behavior accordingly.

Das erfindungsgemäße Verfahren kann als 'virtueller Beifahrer' in ein Fahrzeug integriert werden und ein Fahrziel unter Wahl verschiedener Fahrstrategien selbsttätig erreichen. Dem Fahrer bleibt ein Eingriff in den Ablauf vorbehalten. Das Verfahren ist als Software implementierbar und leicht in ein Fahrzeug zu integrieren, da es bereits vorhandene Sensorsysteme nutzt.The inventive method can be integrated as a 'virtual passenger' in a vehicle and a destination by choosing different Fahrstra automatically achieve goals. The driver reserves the right to interfere with the procedure. The method can be implemented as software and easily integrated into a vehicle because it uses existing sensor systems.

FF: Fahrzeugvehicle
SS: Geschwindigkeitsbegrenzungspeed limit
PP: Einbahnstraßenrichtungone-way direction

Claims

Method for monitoring a vehicle (F), with sensors for capturing its environment, whose data is fused and converted into an environmental model, for determining a travel path from a current position in Direction towards a destination is used, where for driving infrastructure driving strategies can be determined whose compliance precludes potential collisions.

Method according to claim 1, characterized in that that in a first fusion step initially output data of the same Sensors are evaluated together.

Method according to claim 1 or 2, characterized that in a second fusion step additionally results of the sensors be further processed in parallel or cooperatively.

Method according to one of the preceding claims, characterized characterized in that of the sensors a movable and a static Environment is detected.

Method according to one of the preceding claims, characterized characterized in that in known environment an environmental map of a Database retrievable or can be transmitted from a host computer.

Method according to one of the preceding claims, characterized characterized in that in unknown environment a destination by extrapolating the street direction is determinable.

Method according to one of the preceding claims, characterized characterized in that in known environment a destination as a position point can be specified.

Method according to one of the preceding claims, characterized characterized in that in known environment a destination as a motion vector can be specified.

Method according to claim 8, characterized in that that a motion calculation and a control strategy in-vehicle is carried out.

Method according to claim 8, characterized in that that transmits a roadway and a control strategy is determined in-vehicle.

Method according to claim 8, characterized in that that the motion vector is a target motion vector and a motion calculation and a control strategy is carried out vehicle external.

Method according to one of claims 9 to 11, characterized that the control strategy is an optimal orbit calculation or a potential field method include.

Method according to one of the preceding claims, characterized characterized in that a driving strategy is a deceleration and stopping includes.

Method according to one of the preceding claims, characterized characterized in that one driving strategy is calculating another Travel way includes.

Method according to one of the preceding claims, characterized characterized in that a driving strategy is the best possible Consequences of the driveway includes.

Method according to one of claims 13 to 15, characterized that a vehicle model is included in the calculation of a driving strategy.

Method according to one of the preceding claims, characterized marked that any possible Driving strategy calculated and rated by quality.

Method according to one of the preceding claims, characterized characterized in that each driving strategy depends on acceleration and Steering angle of the vehicle (F) can be displayed.