Nothing Special   »   [go: up one dir, main page]

WO2024179733A1 - Adaptive realdatenbasierte simulation eines zentralisiert koordinierten verkehrsraums - Google Patents

Adaptive realdatenbasierte simulation eines zentralisiert koordinierten verkehrsraums Download PDF

Info

Publication number
WO2024179733A1
WO2024179733A1 PCT/EP2024/050781 EP2024050781W WO2024179733A1 WO 2024179733 A1 WO2024179733 A1 WO 2024179733A1 EP 2024050781 W EP2024050781 W EP 2024050781W WO 2024179733 A1 WO2024179733 A1 WO 2024179733A1
Authority
WO
WIPO (PCT)
Prior art keywords
simulation
real
automated vehicles
road users
traffic
Prior art date
Application number
PCT/EP2024/050781
Other languages
English (en)
French (fr)
Inventor
Ulrich Eberle
Christoph THIEM
Nico Weber
Original Assignee
Stellantis Auto Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stellantis Auto Sas filed Critical Stellantis Auto Sas
Publication of WO2024179733A1 publication Critical patent/WO2024179733A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point

Definitions

  • the invention relates to a method for carrying out a traffic simulation for testing a vehicle component.
  • simulation-based methods are used and tested, particularly with regard to the operating areas that are critical for the automated driving control function. For example, through scenario-based development and testing, it is possible to estimate how safely the later real vehicle will operate in the open world (possibly within a limited operating area) by using the digital twin of the automated vehicle during early development phases.
  • DE 10 2019 206 908 B4 relates to a method for training at least one algorithm for a control unit of a motor vehicle, wherein the control unit is provided for implementing an automated or autonomous driving function by intervening in units of the motor vehicle on the basis of input data using the at least one algorithm, wherein the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, wherein the computer program product module contains the algorithm to be trained and the self-learning neural network, b) embedding the trained computer program product module in the control unit of the motor vehicle, c) driving the motor vehicle in a real traffic environment by a human driver, wherein the journey determines a driven trajectory, d) feeding data from an environmental sensor system and a motor vehicle sensor system to the control unit and calculating a virtual trajectory by the algorithm, e) deriving a metric from a comparison of the driven Trajectory and the virtual trajectory and storing the data from the environmental sensors and the motor vehicle sensors in
  • the traffic simulation is carried out as a simulation of the traffic situation from the perspective of the traffic environment, whereby behavior and technology models are provided for each individual road user in the traffic simulation so that a future traffic situation is simulated based on a variation of the behavior and technology models provided and whereby past environmental and vehicle data are also varied in the traffic simulation.
  • scenario libraries For testing and/or validating driver assistance systems to support manual driving of vehicles such as passenger cars or trucks, as well as automation systems for highly automated and even autonomous vehicles (summarized under "automated driving control functions"; English: “Advanced Driver Assistance Systems” or systems for “Autonomous Driving”, abbreviated to ADAS/AD), the use of scenario libraries is also known, which ideally contain descriptions of a large number of (ideally as widely as possible) varying scenarios, so that a vehicle does not encounter fundamentally untested situations in later regular operation.
  • scenario libraries scenario descriptions are typically stored in a machine-readable and automatically storable form. Scenario description languages are usually used for this purpose, which use special documentation and program languages.
  • scenario libraries with data in machine-readable formats that also have a human-understandable context, such as "ADScene” and "Safety Pool”.
  • the data on the behavior of the other real road users and on the environmental parameters reflect facts that have come about because the other road users adapt their reactions to the behavior of the real road user under consideration (who is replaced in the simulation by the "vehicle under test" as a virtual counterpart), the behavior of the other road users recorded in the simulation is only valid according to their stored data if the original behavior of the real road user under consideration and that of its virtual counterpart in the simulation (the simulated "vehicle under test") are essentially the same.
  • the object of the invention is to provide the most efficient possible simulation of a locally delimited traffic area with, in particular, a stationary sensor network and a central coordination unit for coordinating automated vehicles in the presence of non-centrally coordinated road users.
  • a first aspect of the invention relates to a method, in particular a computer-implemented method, for carrying out a traffic simulation, comprising the steps: - Providing from a scenario library: a data set with information about a real traffic scenario from a locally delimited traffic area with a central coordination unit for coordinating automated vehicles by specifying trajectories for the automated vehicles on the basis of sensor information a stationary sensor network of the traffic area, wherein the data set comprises trajectory information of the automated vehicles guided by the coordination unit in the traffic scenario recorded by the sensor network and/or determined by the coordination unit, as well as real movement data and/or behavior models of non-coordinated road users in the traffic scenario recorded by the sensor network,
  • the vehicle component to be tested is tested by executing the traffic simulation.
  • the vehicle component to be tested includes in particular a corresponding sensor and/or a trajectory planner such as a driving control computer.
  • the vehicle component to be tested is either integrated into the simulation as a physical device using a hardware-in-the-loop method, or is virtually mapped and also simulated. This results in improved testing of the vehicle component to be tested compared to conventional testing methods.
  • the scenario library provides a data set with information about a locally defined traffic area.
  • Such a locally defined traffic area for example a parking garage optimized for autonomous vehicles or a logistics area with a large number of work machines, has the advantage over a free traffic area in the general public traffic area of being able to centrally coordinate and specify the paths to be taken by vehicles in order to coordinate the road users with each other, as well as specify optimal trajectories for the individual road users, for example an optimal parking process in a parking garage.
  • the central coordination unit takes on the function of a driving control computer, but in comparison to driving control systems of individual automated vehicles, the coordination unit takes over the control of a large number of automated vehicles synchronously.
  • the control electronics and sensors are no longer necessarily located in the respective vehicle itself.
  • parking garage / logistics area In such a locally delimited traffic area, not all road users are automated vehicles controlled by the coordination unit. Rather, there are also non-coordinated road users, for example pedestrians, vehicles controlled by people directly or from a distance, or other vehicles not controlled by the central coordination unit, i.e. non-coordinated.
  • the data set of the scenario library contains both trajectory information about the movements of the automated vehicles controlled by the central coordination unit and movement data and/or behavior models of the non-coordinated road users such as the pedestrians mentioned above.
  • the movement data of the data set is therefore suitable for being transferred to a simulation in order to recreate realistic scenarios from the locally defined traffic area in the simulation.
  • one or more of the automated vehicles controlled by the central coordination unit are replaced in the simulation by a respective virtual test vehicle. Automated vehicles controlled by the coordination unit that are not replaced are therefore classified as a specific subtype of non- coordinated road users.
  • the behavior models can be determined from the data set in order to use machine learning methods to build catalogs or database scenarios, as well as to classify the scenarios that have occurred and to establish statistical distributions for the behavior of the non-coordinated road users.
  • the virtual counterpart to the real vehicle to be replaced is simulated under changed boundary conditions, which is why a changed planned trajectory of the virtual vehicle can be determined by the simulated coordination unit.
  • This is the basis for determining the dissimilarity metric, which is used to check whether the trajectory of the virtual test vehicle in the simulation is sufficiently similar to the trajectory of the underlying real vehicle.
  • Such a deviation between the respective trajectory information can arise because changed boundary conditions are simulated in the first run of the simulation, such as changed behavior of the non-coordinated road users or changed latencies of the coordination unit.
  • the dissimilarity metric Once the dissimilarity metric has been determined, its value is compared with a limit value. If the limit value is exceeded by the dissimilarity metric, there are already non-negligible deviations between the trajectories of at least one virtual test vehicle and the respective associated real vehicle in the previous journey in the real traffic scenario.
  • agent models are able to actively react to the behavior of the virtual test vehicle during the simulation, which is not possible when using the recorded trajectories of the real road users, because the latter are used statically in the simulation and only the virtual test vehicle would then be able to carry out reactions in the simulation.
  • agent models are used, there is a mutual reaction between the virtual test vehicle and the other road users implemented as agent models.
  • How many agent models should replace the real recorded movement paths of the other road users in the simulation is advantageously decided according to how close or in what potentially reactive effect in the current traffic situation the other road users are located in the vicinity of the virtual test vehicle.
  • the simplest decision to do this is to replace all road users surrounding the virtual test vehicle in the simulation with agent models, but this comes at the expense of the computing power required to run the traffic simulation.
  • the agent-based trajectories are used in particular to generate new synthetic data for the sensor network or directly new trajectory data for the central coordination unit. If the agent-based trajectories are used to generate new synthetic data for one or more sensors of the sensor network to be tested or the respective perception channel thereof, 3D graphic data generated in real time is preferably used, which is generated in particular by a 3D engine and fed into the respective perception channel, i.e. as sensor information.
  • Whether the scenario library is adjusted depends in particular on whether the dissimilarity metric was smaller than the threshold or not.
  • the agent-based simulation advantageously supports the simulation-based approach with its advantages that the enormous effort (personnel/time/financial) for running scenarios by employees of an automobile manufacturer for testing the perception channels can be reduced by the method according to the invention if existing scenarios can be made more flexible in the proposed form and used for testing the perception channel. There is therefore no danger for test drivers or other road users in the event of a problem with the perception technology to be developed or tested or the associated perception train. Simple automated parameter variation and test evaluation are thus possible.
  • the boundary conditions changed in the first run of the simulation include at least one of the following: Changed algorithms of the coordination unit for specifying trajectories for the guided automated vehicles, changed behavior or behavior patterns or other parameterization of the behavior models of the non-coordinated road users, changed latencies in the transmission of the data from the coordination unit to the guided automated vehicles. Vehicles transmitted commands, changed latencies regarding the calculation of the commands determined by the coordination unit for the guided automated vehicles, changed perception by the stationary sensor network.
  • the dissimilarity metric comprises a geometric distance between trajectories from the trajectory information, wherein the dissimilarity metric comprises a sum of respective geometric distances when the dissimilarity metric is related to several of the guided automated vehicles.
  • Such a geometric distance can be determined, for example, by the area between the tracks of the virtual test vehicle (the simulated "vehicle under test") and the real counterpart as a measure of the geometric distance to each other.
  • the locally delimited traffic space is one of the following: a parking lot, a parking garage, a logistics zone.
  • the sensor information includes all trajectory information of the real automated vehicles guided by the coordination unit as well as all real movement data of the non-coordinated road users, each from a bird's eye view.
  • the data set preferably already contains the corresponding, comprehensive information from a bird's eye view.
  • the sensor network monitors the locally defined traffic area, so that the data is either available directly from a bird's eye view or can be reconstructed into one.
  • the sensor network in the locally defined traffic area has ceiling cameras or a so-called "indoor GPS" in order to be able to track the temporal sequence of positions and thus the trajectories of at least the guided automated vehicles and, ideally, also of the non-coordinated road users.
  • the sensor information comprises at least some trajectory information of the real automated vehicles guided by the coordination unit and/or at least some real movement data of the non-coordinated road users, each from a first-person perspective. If, for example, a parking garage is the demarcated traffic area under consideration, it can also be assumed that vehicles approved and intended for general public transport will drive in this traffic area. However, depending on their intended level of automation, such vehicles already have a large number of environmental sensors themselves, the information from which is typically recorded from the ego perspective, but which can be used to support coordination by the coordination unit.
  • the sensor information comprises camera data.
  • the additional synthetic sensor information for the sensor network which completely replaces the real sensor information, comprises synthetic real-time graphic data which is generated by a 3D engine and fed into the respective associated perception channel of the sensor network.
  • the non-coordinated road users comprise at least one pedestrian.
  • one of the following maneuvers is simulated in the simulation for the virtual test vehicle: parking, reversing, vehicle handover on a logistics area.
  • a further aspect of the invention relates to a device for data processing, comprising means for carrying out the steps of the method as described above and below.
  • a further aspect of the invention relates to a computer program product comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method as described above and below.
  • Fig. 1 A method according to an embodiment of the invention.
  • Fig. 1 shows a method for carrying out a traffic simulation of a parking garage with a central coordination unit for coordinating automated vehicles.
  • a data set with information about a real traffic scenario from the parking garage with a central coordination unit for coordinating automated vehicles is provided S1 from a scenario library by specifying trajectories for the automated vehicles based on sensor information from a stationary camera sensor network of the parking garage, wherein the data set includes trajectory information of the automated vehicles guided by the coordination unit in the traffic scenario recorded by the sensor network and determined by the coordination unit, as well as real movement data and/or behavior models of non-coordinated road users such as pedestrians in the traffic scenario recorded by the sensor network.
  • a first run of a simulation with virtual counterparts of the non-coordinated road users is carried out S2 in such a way that all movement data of the virtual counterparts are the same as those from the data set.
  • the guided automated vehicles are simulated as respective virtual test vehicles.
  • at least one boundary condition is changed compared to the data set, whereby the boundary conditions changed in the first run of the simulation include at least one of the following: Changed algorithms of the coordination unit, changed behavior or behavior patterns or other parameterization of the behavior models of the non-coordinated road users, changed latencies in the transmission of the commands transmitted by the coordination unit to the guided automated vehicles, changed latencies with regard to the calculation of the commands determined by the coordination unit for the guided automated vehicles, changed perception by the stationary sensor network.
  • the determination S3 of a dissimilarity metric between the respective trajectory information of the data set and the new trajectories of one or more of the non-coordinated road users determined in the simulation is carried out.
  • several of the guided automated vehicles, in particular the respective virtual test vehicle, and comparing the dissimilarity metric with a predetermined limit value, and if the dissimilarity metric is greater than the limit value repeating S4 the simulation while replacing the real movement data and/or behavior models of non-coordinated road users with virtual agent models and generating additional synthetic sensor information or synthetic sensor information that completely replaces the real sensor information for the sensor network depicted in the simulation on the basis of determined behavior of the agent models, so that the coordination unit in the repeated simulation carries out the coordination of at least some, in particular all, of the automated vehicles depending on the synthetic sensor information; If the dissimilarity metric has exceeded the limit value and new synthetic data has thus been generated for the sensor network, the scenario library is adapted S5 with the synthetic sensor information from the repeated simulation.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren mit den Schritten: Bereitstellen (S1) aus einer Szenarienbibliothek eines Datensatzes mit Informationen über ein reales Verkehrsszenario aus einem Verkehrsraum wie ein Parkhaus mit einer zentralen Koordinationseinheit zur Führung automatisierter Fahrzeuge und einem eigenen Sensornetz, Ausführen (S2) einer Simulation mit virtuellen Gegenstücken von geführten automatisierten Fahrzeugen und nicht-koordinierten Verkehrsteilnehmern mit einem simulierten virtuellen Testfahrzeug, Ermitteln (S3) einer Unähnlichkeitsmetrik zwischen Datensatz und in der Simulation ermittelten Trajektorien, und wenn die Unähnlichkeitsmetrik größer als ein Grenzwert ist: Wiederholen (S4) der Simulation unter Ersetzung der realen Bewegungsdaten und/oder Verhaltensmodelle von nicht-koordinierten Verkehrsteilnehmern durch virtuelle Agentenmodelle; Gegebenenfalls Anpassen (S5) der Szenarienbibliothek mit synthetischen Sensorinformationen der wiederholten Simulation.

Description

ADAPTIVE REALDATENBASIERTE SIMULATION EINES ZENTRALISIERT
KOORDINIERTEN VERKEHRSRAUMS
Die Erfindung betrifft ein Verfahren zum Durchführen einer Verkehrs-Simulation zum Testen einer Fahrzeugkomponente.
In der Entwicklung und Validierung von automatischen Fahrsteuerungssystemen werden besonders in Bezug auf die für die automatisierte Fahrsteuerfunktion kritischen Betriebsbereiche simulationsbasierte Methoden genutzt und geprüft. Durch z.B. szenarienbasier- tes Entwickeln und Testen kann so schon durch Nutzung des digitalen Zwillings des automatisierten Fahrzeugs während früher Entwicklungsphasen eingeschätzt werden, wie sicher das spätere reale Fahrzeug im Einsatz in der offenen Welt (unter Umständen innerhalb eines beschränkten Betriebsbereichs) agieren wird.
Dies gilt generell für (hoch-)automatisierte Fahrzeuge, die für den generellen und öffentlichen Straßenverkehr zugelassen und ausgelegt sind. Hierbei weisen typischerweise die individuellen Fahrzeuge ihre individuellen Implementierungen und Auslegungen (jedoch standardisierten Protokollen und Normen gehorchend) automatischer Fahrsteuerungssysteme auf. Eine andere technische Umsetzung zur Durchführung einer hochautomatisierten Fahrt eines Fahrzeugs, für die jedoch die gleichen Überlegungen zu Anwendungen von Simulationen mit einer sehr großen Vielzahl von Parametervariationen, Hardware-in- the-Loop Tests, Verhaltenssimulationen von anderen Verkehrsteilnehmern etc. zum Tragen kommen, kann prinzipiell in lokal abgrenzbaren Verkehrsräumen erfolgen, wie Parkhäuser, Industrie-Produktionsflächen, Logistikbereichen und Ähnliches, wo automatisierte Fahrzeuge eingesetzt werden, diese aber nicht wie im generellen freien Straßenverkehr auf ihre eigene Sensorik und Fahrsteuerungssysteme angewiesen sind, sondern ein vernetztes System aus Sensoren an eine zentrale Koordinationseinheit Informationen übermittelt, sodass die Koordinationseinheit in der Lage ist, automatisierte Fahrzeuge mittels eines zentralen Fahrsteuerungssystems kollektiv zu koordinieren und ihre Bewegungen vorzugeben. So können in Parkhäusern zentral vorgegebene Parkplatzzuteilungen zur besseren Nutzung von Parkraumflächen wie auch für einen optimiert ausgeführten Einparkvorgang, Umparkvorgang oder Ausparkvorgang je Fahrzeug, oder des Weiteren in Logistikbereichen nicht nur eine optimierte Warensteuerung, sondern auch eine optimierte Bahnführung automatisierter Logistik-Fahrzeuge durchgeführt werden. Da typischerweise in solch lokal abgrenzbaren Verkehrsräumen mit besonderer Sensorik und zentraler Koordinationseinheit dennoch unkoordinierte Verkehrsteilnehmer generell zu erwarten sind, wie beispielhaft Fußgänger, nicht koordinierte Fahrzeuge o. ä., sowie technische Unsicherheiten bestehen können wie bei der Latenz der Berechnungen zur Vorgabe der jeweiligen Trajektorien oder unterschiedliche Softwareversionen zu prüfen sind, empfiehlt sich auch hierbei eine Simulation mit einer Vielzahl von Parametervariationen innerhalb eines maximal zu erwartenden Parameterraums, um die Sicherheit und Zweckmäßigkeit der Fahrten der automatisierten Fahrzeuge gewährleisten zu können.
Im Stand der Technik sind sogenannte "Adaptive-Replay-to-Sim" Verfahren bekannt. In solchen Verfahren werden reale Szenarien aufgenommenen und Informationen darüber für eine Simulation zur Verfügung gestellt, um somit an realistischen Daten angelehnt Tests von Fahrsteuerungssystemen (oder ihrer Sensoren) durchführen zu können. Der Vorteil der Überführung der Daten in eine Simulation ist die Möglichkeit der gefahrlosen virtuellen Testung, sowie die Möglichkeit der bewussten Veränderung der Daten aus der Realität.
Die DE 10 2019 206 908 B4 betrifft hierzu ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs, c) Fahren des Kraftfahrzeugs in einer real existierenden Verkehrsumgebung durch einen menschlichen Fahrer, wobei die Fahrt eine gefahrene Trajektorie bestimmt, d) Zuführen von Daten einer Umgebungssensorik und einer Kraftfahrzeugsensorik zu dem Steuergerät und Berechnen einer virtuellen Trajektorie durch den Algorithmus, e) Ableiten einer Metrik aus einem Vergleich der gefahrenen Trajektorie und der virtuellen Trajektorie sowie Speichern der Daten der Umgebungssensorik und der Kraftfahrzeugsensorik in einem Speicher, wenn für eine Verkehrssituation bestimmte Metrikkriterien erfüllt sind, f) Zurverfügungstellen von Informationen betreffend die Verkehrssituation an eine Verkehrssimulation, g) Analyse der Verkehrssituation durch die Verkehrssimulation, wobei anhand der Kartendaten, der Umgebungssensorik und der Kraftfahrzeugsensorik ein virtuelles Abbild der Verkehrssituation erstellt wird, wobei mittels der Verkehrssimulation die Daten der Verkehrssituation variiert werden, und h) Trainieren des Algorithmus durch die Variation der Verkehrssituation. Die Verkehrssimulation wird als eine Simulation der Verkehrssituation aus der Perspektive der Verkehrsumgebung durchführt, wobei in der Verkehrssimulation Verhaltens- und Technologiemodelle für jeden einzelnen Verkehrsteilnehmer bereitgestellt werden, so dass eine zukünftige Verkehrssituation basierend auf einer Variation der bereitgestellten Verhaltens- und Technologiemodellen simuliert werden und wobei ferner auch zeitlich vergangene Umgebungsund Kraftfahrzeugdaten in der Verkehrssimulation variiert werden.
Auch aus der Publikation "A Needle in a Haystack - How to Derive Relevant Scenarios for Testing Automated Driving Systems in Urban Areas" von Nico Weber, Dr.-lng. Christoph Thiem und Prof. Dr.-lng. Ulrich Konigorski des Preprints für "30th Aachen Colloquium Sustainable Mobility 2021" ist es bekannt, rigide Szenarien zur Verkehrssimulation zu verwenden und zu flexibilisieren. Darin wird basierend auf einem „Adaptive-Replay-to- Sim“ Ansatz eine simulationsbasierte Toolchain für die Entwicklung und den Test von mit automatischen Fahrsteuerungssystemen ausgestatteten Fahrzeugen im urbanen Umfeld vorgestellt. Multimodale Interaktionen verschiedener Verkehrsteilnehmer werden hierbei betrachtet und u.a. für eine Rückspeisung in eine Szenario-Datenbank bereitgestellt.
Zum Testen und/oder Validieren von Fahrerassistenzsystemen für die Unterstützung einer manuellen Fahrzeugführung von Fahrzeugen wie Personenkraftwagen oder Lastkraftwagen, sowie von Automatisierungssystemen für hoch automatisierte bis hin zu autonomen Fahrzeugen (zusammengefasst unter „automatisierte Fahrsteuerfunktionen“; englisch: "Advanced Driver Assistance Systems" bzw. Systeme für "Autonomous Driving", zusammen abgekürzt ADAS/AD) ist zudem die Verwendung von Szenarienbibliotheken bekannt, die idealerweise Beschreibungen einer Vielzahl von (idealerweise möglichst stark) variierenden Szenarien aufweist, sodass ein Fahrzeug im späteren Regelbetrieb möglichst nicht auf prinzipiell ungetestete Situationen trifft. In solchen Szenarienbibliotheken werden typischerweise Szenarien-Beschreibungen in maschinenlesbarer und automatisiert ablegbarer Form gespeichert gehalten. Dazu werden zumeist Szenariobeschreibungssprachen verwendet, welche spezielle Dokumentations- und Programmsprachen verwenden. Ein Beispiel hierfür ist die etablierte Szenarienbeschreibungssprache des Vereins "ASAM e.V." mit dem Namen 'OpenSCENARIO®' für die Nutzung in Szenarien-Bibliotheken. Es existieren darüber hinaus Szenarienbibliotheken mit Daten in maschinen-lesbaren Formaten, die jedoch auch menschlich verständlichen Kontext aufweisen, etwa "ADScene" und "Safety Pool".
Um mit Hilfe einer solchen Szenarienbibliothek das Verhalten eines Fahrsteuerungssystems oder seiner Sensoreinheit in reaktiver Weise auf die Umgebung eines betrachteten Verkehrsteilnehmers, insbesondere eines automatisierten Fahrzeugs (typischerweise genannt "vehicle under test"), untersuchen zu können, kann die Fahrt dieses ausgewählten betrachteten realen Verkehrsteilnehmers simuliert werden, während das Verhalten der anderen realen Verkehrsteilnehmer sowie die Umgebungsparameter der Szenarienbibliothek entnommen werden können und in diesem Fall auf realen Daten basieren.
Dadurch jedoch, dass die Daten über das Verhalten der anderen realen Verkehrsteilnehmer sowie über die Umgebungsparameter Tatsachen wiedergeben, die dadurch zustande gekommen sind, dass die übrigen Verkehrsteilnehmer ihre Reaktionen wiederum auf das Verhalten des betrachteten realen Verkehrsteilnehmers (der in der Simulation durch das "vehicle under test" als virtuelles Gegenstück ersetzt wird) anpassen, ist nur dann das in der Simulation eingespielte Verhalten der übrigen Verkehrsteilnehmer gemäß ihrer abgespeicherter Daten valide, wenn das ursprüngliche Verhalten des betrachteten realen Verkehrsteilnehmers und das seines virtuellen Gegenstücks in der Simulation (das simulierte "vehicle under test") im Wesentlichen gleich sind. Weist das simulierte Verhalten des Verkehrsteilnehmers als virtuelles "vehicle under test" zu sehr vom damaligen Verhalten des betrachteten realen Verkehrsteilnehmers ab, ist die Integrität des Realitätsgrades der Simulationsumgebung eingeschränkt, und in manchen Fällen somit ungeeignet, um für das simulierte und damit virtuelle "vehicle under test" ein Fahrsteuerungssystems oder dessen Sensoren bzw. eine Sensoreinheit zu testen.
Aufgabe der Erfindung ist es, eine möglichst effiziente Simulation eines lokal abgegrenzten Verkehrsraums mit insbesondere einem stationären Sensornetz und einer zentralen Koordinationseinheit zur Koordinierung von automatisierten Fahrzeugen unter Gegenwart von nicht zentral koordinierten Verkehrsteilnehmern bereitzustellen.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren, insbesondere computerimplementiertes Verfahren, zum Durchführen einer Verkehrs-Simulation, aufweisend die Schritte: - Bereitstellen aus einer Szenarienbibliothek: Einen Datensatz mit Informationen über ein reales Verkehrsszenario aus einem lokal abgegrenzten Verkehrsraum mit einer zentralen Koordinationseinheit zur Koordinierung von automatisierten Fahrzeugen durch Vorgabe von Trajektorien für die automatisierten Fahrzeuge auf Basis von Sensorinformationen eines stationären Sensornetzes des Verkehrsraums, wobei der Datensatz vom Sensornetz erfasste und/oder durch die Koordinationseinheit ermittelte Trajektorieninformationen der durch die Koordinationseinheit geführten automatisierten Fahrzeuge im Verkehrsszenario, sowie mittels des Sensornetzes erfasste reale Bewegungsdaten und/oder Verhaltensmodelle jeweils von nicht-koordinierten Verkehrsteilnehmern im Verkehrsszenario, umfasst,
- Ausführen eines ersten Durchlaufs einer Simulation mit virtuellen Gegenstücken der geführten automatisierten Fahrzeuge und der nicht-koordinierten Verkehrsteilnehmer so, dass alle Trajektorieninformationen und Bewegungsdaten der virtuellen Gegenstücke gleich denen aus dem Datensatz sind mit Ausnahme zumindest eines zu ersetzenden aus den geführten automatisierten Fahrzeugen, das jeweils als virtuelles Testfahrzeug simuliert wird, wobei in der Simulation zumindest eine Randbedingung gegenüber dem Datensatz verändert wird,
- Ermitteln einer Unähnlichkeitsmetrik zwischen den jeweiligen Trajektorieninformationen des Datensatzes und den in der Simulation ermittelten neuen Trajektorien eines oder mehrerer der geführten automatisierten Fahrzeuge, insbesondere des jeweiligen virtuellen Testfahrzeugs, und Vergleichen der Unähnlichkeitsmetrik mit einem vorgegebenen Grenzwert, und wenn die Unähnlichkeitsmetrik größer als der Grenzwert ist:
- Wiederholen der Simulation unter Ersetzung der realen Bewegungsdaten und/oder Verhaltensmodelle von nicht-koordinierten Verkehrsteilnehmern durch virtuelle Agentenmodelle und Erzeugen von zusätzlichen oder vollständig die realen Sensorinformationen ersetzenden synthetischen Sensorinformationen für das in der Simulation abgebildete Sensornetz auf Basis von ermittelten Verhalten der Agentenmodellen, sodass die Koordinationseinheit in der wiederholten Simulation abhängig von den synthetischen Sensorinformationen die Koordinierung zumindest eines Teils, insbesondere aller, der automatisierten Fahrzeuge durchführt; und
- gegebenenfalls Anpassen der Szenarienbibliothek mit den synthetischen Sensorinformationen der wiederholten Simulation.
In einem Schritt des Verfahrens wird die zu testende Fahrzeugkomponente mittels der Ausführung der Verkehrssimulation getestet. Die zu testende Fahrzeugkomponente umfasst insbesondere einen entsprechenden Sensor und/oder einen Trajektorien-Planer wie einen Fahrsteuerungsrechner. Die zu testende Fahrzeugkomponente wird entweder als physisches Gerät in der Verwendung in einer Hardware-in-the-Loop Methode in die Simulation integriert, oder virtuell abgebildet und ebenfalls simuliert. Es wird somit eine verbesserte Testung der zu testenden Fahrzeugkomponente gegenüber herkömmlichen Testverfahren erreicht. Es wird durch die Szenarienbibliothek ein Datensatz mit Informationen über einen lokal abgegrenzten Verkehrsraum bereitgestellt. Ein solcher lokal abgegrenzter Verkehrsraum, beispielsweise ein für autonome Fahrzeuge optimiertes Parkhaus oder eine Logistikfläche mit einer Vielzahl von Arbeitsmaschinen, weist den Vorteil gegenüber einer freien Verkehrsfläche des allgemeinen öffentlichen Verkehrsraums auf, eine zentrale Koordinierung und Vorgabe von abzufahrenden Bahnen für Fahrzeuge vornehmen zu können, um die Verkehrsteilnehmer darin untereinander zu koordinieren, sowie optimale Bahnkurven für die einzelnen Verkehrsteilnehmer vorzugeben, beispielsweise einen optimalen Einparkvorgang in einem Parkhaus.
In einem solchen lokal abgegrenzten Verkehrsraum übernimmt die zentrale Koordinationseinheit die Funktion eines Fahrsteuerungsrechners, im Vergleich zu Fahrsteuerungssystemen einzelner automatisierter Fahrzeuge übernimmt die Koordinationseinheit jedoch synchron die Steuerung einer Vielzahl von automatisierten Fahrzeugen. Das heißt die Steuer-Elektronik und Sensorik befindet sich nicht mehr notwendigerweise im jeweiligen Fahrzeug selbst. Dies trifft insbesondere auf das reale Gegenstück zum virtuellen Testfahrzeug aus dem realen Verkehrsszenario zu. Dies sind insbesondere Fahrzeuge mit externer Intelligenz und Perzeption, die sich in derselben kontrollierten Umgebung (Parkhaus / Logistikfläche) bewegen. Es ist jedoch davon auszugehen, dass in einem solchen lokal abgegrenzten Verkehrsraum nicht alle Verkehrsteilnehmer von der Koordinationseinheit geführte automatisierte Fahrzeuge sind. Vielmehr befinden sich darin auch nicht-koor- dinierte Verkehrsteilnehmer, zum Beispiel Fußgänger, von Menschen direkt oder aus der Distanz kontrollierte Fahrzeuge, oder andere nicht von der zentralen Koordinationseinheit geführte, das heißt nicht-koordinierte, Fahrzeuge.
Wegen des Aufbaus und der Struktur des Sensornetzes sind jedoch im Datensatz der Szenarienbibliothek sowohl Trajektorieninformationen über die Bewegungen der von der zentralen Koordinationseinheit geführten automatisierten Fahrzeuge sowie Bewegungsdaten und/oder Verhaltensmodelle der nicht-koordinierten Verkehrsteilnehmer wie der oben genannten Fußgänger vorhanden. In einem Adaptive-Replay-to-Sim Verfahren eignen sich die Bewegungsdaten des Datensatzes somit, in eine Simulation überführt zu werden, um realistische Szenarien aus dem lokal abgegrenzten Verkehrsraum in der Simulation nachzubilden. Eines oder mehrere der von der zentralen Koordinationseinheit geführten automatisierten Fahrzeuge werden dabei in der Simulation jedoch durch ein jeweiliges virtuelles Testfahrzeug ersetzt. Nicht ersetzte durch die Koordinationseinheit geführten automatisierten Fahrzeuge werden in diesem Sinne zu einem bestimmten Subtyp von nicht- koordinierten Verkehrsteilnehmern. Die Verhaltensmodelle können aus dem Datensatz ermittelt werden, um mit Methoden des maschinellen Lernens Kataloge oder Datenbank- Szenarien aufzubauen, sowie die aufgetretenen Szenarien zu klassifizieren, sowie statistische Verteilungen für das Verhalten der nicht-koordinierten Verkehrsteilnehmer aufzustellen.
Das virtuelle Gegenstück zum zu ersetzenden realen Fahrzeug wird unter veränderten Randbedingung simuliert, weswegen unter Umständen eine veränderte geplante Bewegungsbahn des virtuellen Fahrzeugs von der simulierten Koordinationseinheit ermittelt werden kann. Dies ist die Grundlage zur Ermittlung der Unähnlichkeitsmetrik, mittels der überprüft wird, ob die Bewegungsbahn des virtuellen Testfahrzeugs in der Simulation ausreichend ähnlich zur Bewegungsbahn des zugrunde liegenden realen Fahrzeugs ist. Eine solche Abweichung zwischen den jeweiligen Trajektorieninformationen kann sich dadurch ergeben, dass im ersten Durchlauf der Simulation geänderte Randbedingung simuliert werden, wie veränderte Verhalten der nicht-koordinierten Verkehrsteilnehmer oder veränderte Latenzen der Koordinationseinheit.
Ist die besagte Unähnlichkeitsmetrik ermittelt, wird sie ihrem Wert nach mit einem Grenzwert verglichen. Wird der Grenzwert durch die Unähnlichkeitsmetrik überschritten, liegen bereits nicht vernachlässigbare Abweichungen zwischen den Trajektorien des mindestens einen virtuellen Testfahrzeugs und dem jeweilig zugehörigen realen Fahrzeug in der vorangegangenen Fahrt im realen Verkehrs-Szenario vor.
Daher werden die durch ihre real aufgezeichneten Bewegungsbahnen gekennzeichneten weiteren nicht-koordinierten Verkehrsteilnehmer in der Simulation durch Agentenmodelle ersetzt. Solche Agentenmodelle sind dazu in der Lage, während der Simulation auf das Verhalten des virtuellen Testfahrzeugs aktiv zu reagieren, was bei der Verwendung der aufgezeichneten Bewegungsbahnen der realen Verkehrsteilnehmer nicht möglich ist, denn letztere werden statisch in der Simulation verwendet, und lediglich das virtuelle Testfahrzeug wäre dann in der Simulation in der Lage, Reaktionen auszuführen. Werden jedoch Agentenmodelle verwendet, liegt eine wechselseitige Reaktion zwischen dem virtuellen Testfahrzeug und den als Agentenmodellen ausgeführten weiteren Verkehrsteilnehmern vor.
Wie viele Agentenmodelle die real erfassten Bewegungsbahnen der weiteren Verkehrsteilnehmer in der Simulation ersetzen sollen, wird vorteilhaft demnach entschieden, wie nahe oder in welcher potenziell reaktiven Wirkung in der aktuellen Verkehrssituation die weiteren Verkehrsteilnehmer sich zum virtuellen Testfahrzeug befinden. Die einfachste Entscheidung hierzu ist es, sämtliche das virtuelle Testfahrzeug umgebenden Verkehrsteilnehmer in der Simulation durch Agentenmodelle zu ersetzen, dies geht jedoch zulasten der Rechenleistung, welche benötigt wird, um die Verkehrs-Simulation auszuführen.
Die agentenbasierten Trajektorien werden insbesondere genutzt, um neue synthetische Daten für das Sensornetz bzw. direkt neue Trajektoriendaten für die zentrale Koordinationseinheit zu erzeugen. Werden die agentenbasierten Trajektorien genutzt, um neue synthetische Daten für einen oder mehrere zu testende Sensoren des Sensornetzes bzw. den jeweiligen Perzeptionskanal davon zu erzeugen, werden bevorzugt in Echtzeit erzeugte 3D-Grafikdaten verwendet, die insbesondere von einer 3D-Engine erzeugt werden und in den jeweiligen Perzeptionskanal, das heißt als Sensorinformationen, eingespeist werden.
Ob das Anpassen der Szenarienbibliothek erfolgt, ist insbesondere davon abhängig, ob die Unähnlichkeitsmetrik kleiner als der Grenzwert war oder nicht.
Es ist eine vorteilhafte Wirkung der Erfindung, dass X-in-the-Loop-Tests des Perzeptionsstranges realistischer und adaptiver werden, indem solange wie möglich originale Bewegungsbahnen und die damit konsistenten Sensorinformationen (im Gegensatz zu vollständig synthetischen) verwendet werden. Die agentenbasierte Simulation unterstützt wiederum vorteilhaft das simulationsbasierte Vorgehen mit seinen Vorteilen, dass der enorme Aufwand (personell/zeitlich/finanziell) zum Einfahren von Szenarien durch etwa Mitarbeiter eines Automobilherstellers für Tests der Perzeptionskanäle durch das erfindungsgemäße Verfahren reduziert werden kann, wenn schon vorhandene Szenarien in der vorgeschlagenen Form flexibilisiert und für den Test des Perzeptionskanals nutzbar gemacht werden können. Es besteht daher auch keine Gefahr für Testfahrer oder andere Verkehrsbeteiligte im Fall eines Problems der zu entwickelnden bzw. testenden Perzeptionstechnologie bzw. des zugehörigen Perzeptionsstrangs. Einfache automatisierte Parameter-Variation und Testauswertung sind somit möglich.
Gemäß einer vorteilhaften Ausführungsform umfassen die im ersten Durchlauf der Simulation geänderten Randbedingungen zumindest eine der folgenden: Geänderte Algorithmen der Koordinationseinheit zur Trajektorienvorgabe für die geführten automatisierten Fahrzeuge, veränderte Verhalten oder Verhaltensmuster oder andere Parametrierung der Verhaltensmodelle jeweils der nicht-koordinierten Verkehrsteilnehmer, veränderte Latenzen in der Übertragung der von der Koordinationseinheit an die geführten automatisierten Fahrzeuge übertragenen Kommandos, veränderte Latenzen bezüglich der Berechnung der durch die Koordinationseinheit ermittelten Kommandos für die geführten automatisierten Fahrzeuge, veränderte Perzeption durch das stationäre Sensornetz.
Gemäß einer weiteren vorteilhaften Ausführungsform umfasst die Unähnlichkeitsmetrik eine geometrische Distanz zwischen Bahnverläufen aus den Trajektorieninformationen, wobei die Unähnlichkeitsmetrik eine Summe von jeweiligen geometrischen Distanzen umfasst, wenn die Unähnlichkeitsmetrik auf mehrere der geführten automatisierten Fahrzeuge bezogen wird.
Eine solche geometrische Distanz kann beispielsweise durch die Fläche zwischen den Bahnen des virtuellen Testfahrzeugs (das simulierte "vehicle under test") und dem realen Pendant als Maß für die geometrische Distanz zueinander ermittelt werden.
Gemäß einer weiteren vorteilhaften Ausführungsform ist der lokal abgegrenzte Verkehrsraum einer aus den folgenden: Ein Parkplatz, ein Parkhaus, eine Logistikzone.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Sensorinformationen alle Trajektorieninformationen der realen durch die Koordinationseinheit geführten automatisierten Fahrzeuge sowie alle reale Bewegungsdaten der nicht-koordinierten Verkehrsteilnehmern jeweils aus einer Vogelperspektive.
Bevorzugt liegen zu diesem Zweck mit dem Datensatz bereits entsprechende vollumfängliche Informationen aus der Vogelperspektive vor. Dies ist insbesondere dann der Fall, wenn das Sensornetz den lokal abgegrenzten Verkehrsraum überwacht, sodass die Daten entweder unmittelbar aus der Vogelperspektive vorliegen oder in eine solche rekonstruiert werden können. Beispielsweise weist hierzu das Sensornetz im lokal abgegrenzten Verkehrsraum Deckenkameras auf, oder ein sogenanntes "Indoor-GPS", um die zeitliche Positionsabfolge und damit die Trajektorien zumindest der geführten automatisierten Fahrzeuge und idealerweise auch zusätzlich der nicht-koordinierten Verkehrsteilnehmer verfolgen zu können.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Sensorinformationen zumindest manche Trajektorieninformationen der realen durch die Koordinationseinheit geführten automatisierten Fahrzeuge und/oder zumindest manche reale Bewegungsdaten der nicht-koordinierten Verkehrsteilnehmern jeweils aus einer Egoperspektive. Ist beispielsweise ein Parkhaus der betrachtete abgegrenzte Verkehrsraum, so ist auch davon auszugehen, dass für den generellen öffentlichen Verkehr zugelassene und gedachte Fahrzeuge diesen Verkehrsraum befahren. Solche Fahrzeuge weisen abhängig von ihrem vorgesehenen Automatisierungsgrad jedoch bereits selbst eine Vielzahl von Umfeldsensoren auf, deren Information typischerweise aus der Egoperspektive erfasst wird, die jedoch zur Koordinierung durch die Koordinationseinheit stützend verwendet werden können.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die Sensorinformationen Kameradaten.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die zusätzlichen oder vollständig die realen Sensorinformationen ersetzenden synthetischen Sensorinformationen für das Sensornetz synthetische Echtzeit-Grafikdaten, die von einer 3D-Engine erzeugt werden und in den jeweils zugehörigen Perzeptionskanal des Sensornetzes eingespeist werden.
Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die nicht-koordinierten Verkehrsteilnehmer zumindest einen Fußgänger.
Gemäß einer weiteren vorteilhaften Ausführungsform wird in der Simulation jeweils für das virtuelle Testfahrzeug eines der folgenden Manöver simuliert: Einparken, Ausparken, Fahrzeugübergabe auf einer Logistikfläche.
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zur Datenverarbeitung, umfassend Mittel zur Ausführung der Schritte des Verfahrens wie oben und im Folgenden beschrieben.
Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren wie oben und im Folgenden beschrieben auszuführen.
Vorteile und bevorzugte Weiterbildungen der vorgeschlagenen Vorrichtung bzw. des vorgeschlagenen Computerprogrammprodukts ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen. Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigt:
Fig. 1 : Ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung.
Die Darstellungen in der Figur sind schematisch und nicht maßstäblich.
Fig. 1 zeigt ein Verfahren zum Durchführen einer Verkehrs-Simulation eines Parkhauses mit zentraler Koordinationseinheit zur Koordinierung von automatisierten Fahrzeugen. Zunächst erfolgt das Bereitstellen S1 aus einer Szenarienbibliothek eines Datensatzes mit Informationen über ein reales Verkehrsszenario aus dem Parkhaus mit einer zentralen Koordinationseinheit zur Koordinierung von automatisierten Fahrzeugen durch Vorgabe von Trajektorien für die automatisierten Fahrzeuge auf Basis von Sensorinformationen eines stationären Kamera-Sensornetzes des Parkhauses, wobei der Datensatz vom Sensornetz erfasste und durch die Koordinationseinheit ermittelte Trajektorieninformationen der durch die Koordinationseinheit geführten automatisierten Fahrzeuge im Verkehrsszenario, sowie mittels des Sensornetzes erfasste reale Bewegungsdaten und/oder Verhaltensmodelle jeweils von nicht-koordinierten Verkehrsteilnehmern wie Fußgängern im Verkehrsszenario, umfasst. Ferner erfolgt das Ausführen S2 eines ersten Durchlaufs einer Simulation mit virtuellen Gegenstücken der nicht-koordinierten Verkehrsteilnehmer so, dass alle Bewegungsdaten der virtuellen Gegenstücke gleich denen aus dem Datensatz sind. Die geführten automatisierten Fahrzeuge werden als jeweilige virtuelle Testfahrzeuge simuliert. In der Simulation wird zumindest eine Randbedingung gegenüber dem Datensatz verändert wird, wobei die im ersten Durchlauf der Simulation geänderten Randbedingungen zumindest eine der folgenden umfassen: Geänderte Algorithmen der Koordinationseinheit, veränderte Verhalten oder Verhaltensmuster oder andere Parametrierung der Verhaltensmodelle jeweils der nicht-koordinierten Verkehrsteilnehmer, veränderte Latenzen in der Übertragung der von der Koordinationseinheit an die geführten automatisierten Fahrzeuge übertragenen Kommandos, veränderte Latenzen bezüglich der Berechnung der durch die Koordinationseinheit ermittelten Kommandos für die geführten automatisierten Fahrzeuge, veränderte Perzeption durch das stationäre Sensornetz. Weiter erfolgt das Ermitteln S3 einer Unähnlichkeitsmetrik zwischen den jeweiligen Trajektorieninformationen des Datensatzes und den in der Simulation ermittelten neuen Trajektorien eines oder mehrerer der geführten automatisierten Fahrzeuge, insbesondere des jeweiligen virtuellen Testfahrzeugs, und Vergleichen der Unähnlichkeitsmetrik mit einem vorgegebenen Grenzwert, und wenn die Unähnlichkeitsmetrik größer als der Grenzwert ist, das Wiederholen S4 der Simulation unter Ersetzung der realen Bewegungsdaten und/oder Verhaltensmodelle von nicht-koordinierten Verkehrsteilnehmern durch virtuelle Agentenmodelle und Erzeugen von zusätzlichen oder vollständig die realen Sensorinformationen ersetzenden synthetischen Sensorinformationen für das in der Simulation abgebildete Sensornetz auf Basis von ermittelten Verhalten der Agentenmodellen, sodass die Koordinationseinheit in der wiederholten Simulation abhängig von den synthetischen Sensorinformationen die Koordinierung zumindest eines Teils, insbesondere aller, der automatisierten Fahrzeuge durchführt; Hat die Unähnlichkeitsmetrik den Grenzwert überschritten und wurden somit für das Sensornetz neue synthetische Daten erzeugt, erfolgt das Anpassen S5 der Szenarienbibliothek mit den synthetischen Sensorinformationen der wiederholten Simulation.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird. Bezugszeichenliste
51 Bereitstellen
52 Ausführen
53 Ermitteln
54 Wiederholen
55 Anpassen

Claims

Patentansprüche
1. Verfahren zum Durchführen einer Verkehrs-Simulation zum Testen einer Fahrzeugkomponente, aufweisend die Schritte:
- Bereitstellen (S1) aus einer Szenarienbibliothek: Einen Datensatz mit Informationen über ein reales Verkehrsszenario aus einem lokal abgegrenzten Verkehrsraum mit einer zentralen Koordinationseinheit zur Koordinierung von automatisierten Fahrzeugen durch Vorgabe von Trajektorien für die automatisierten Fahrzeuge auf Basis von Sensorinformationen eines stationären Sensornetzes des Verkehrsraums, wobei der Datensatz vom Sensornetz erfasste und/oder durch die Koordinationseinheit vorgegebene Trajektorieninformationen der durch die Koordinationseinheit geführten automatisierten Fahrzeuge im Verkehrsszenario, sowie mittels des Sensornetzes erfasste reale Bewegungsdaten und/oder Verhaltensmodelle jeweils von nicht-koordinierten Verkehrsteilnehmern im Verkehrsszenario, umfasst,
- Ausführen (S2) eines ersten Durchlaufs einer Simulation mit virtuellen Gegenstücken der geführten automatisierten Fahrzeuge und der nicht-koordinierten Verkehrsteilnehmer so, dass alle Trajektorieninformationen und Bewegungsdaten der virtuellen Gegenstücke gleich denen aus dem Datensatz sind mit Ausnahme zumindest eines zu ersetzenden aus den geführten automatisierten Fahrzeugen, das jeweils als virtuelles Testfahrzeug mit einer zu testenden Fahrzeugkomponente simuliert wird, wobei in der Simulation zumindest eine Randbedingung gegenüber dem Datensatz verändert wird,
- Ermitteln (S3) einer Unähnlichkeitsmetrik zwischen den jeweiligen Trajektorieninformationen des Datensatzes und den in der Simulation ermittelten neuen Trajektorien eines oder mehrerer der geführten automatisierten Fahrzeuge, insbesondere des jeweiligen virtuellen Testfahrzeugs, und Vergleichen der Unähnlichkeitsmetrik mit einem vorgegebenen Grenzwert, und wenn die Unähnlichkeitsmetrik größer als der Grenzwert ist:
- Wiederholen (S4) der Simulation unter Ersetzung der realen Bewegungsdaten und/oder Verhaltensmodelle von nicht-koordinierten Verkehrsteilnehmern durch virtuelle Agentenmodelle und Erzeugen von zusätzlichen oder vollständig die realen Sensorinformationen ersetzenden synthetischen Sensorinformationen für das in der Simulation abgebildete Sensornetz auf Basis von ermittelten Verhalten der Agentenmodellen, sodass die Koordinationseinheit in der wiederholten Simulation abhängig von den synthetischen Sensorinformationen die Koordinierung zumindest eines Teils, insbesondere aller, der automatisierten Fahrzeuge durchführt; und - gegebenenfalls Anpassen (S5) der Szenarienbibliothek mit den synthetischen Sensorinformationen der wiederholten Simulation, und Testen der zu testenden Fahrzeugkomponente.
2. Verfahren nach Anspruch 1 , wobei die im ersten Durchlauf der Simulation geänderten Randbedingungen zumindest eine der folgenden umfassen: Geänderte Algorithmen der Koordinationseinheit, veränderte Verhalten oder Verhaltensmuster oder andere Parametrierung der Verhaltensmodelle jeweils der nicht-koordinierten Verkehrsteilnehmer, veränderte Latenzen in der Übertragung der von der Koordinationseinheit an die geführten automatisierten Fahrzeuge übertragenen Kommandos, veränderte Latenzen bezüglich der Berechnung der durch die Koordinationseinheit ermittelten Kommandos für die geführten automatisierten Fahrzeuge, veränderte Perzeption durch das stationäre Sensornetz.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Unähnlichkeitsmetrik eine geometrische Distanz zwischen Bahnverläufen aus den Trajektorieninformationen umfasst, wobei die Unähnlichkeitsmetrik eine Summe von jeweiligen geometrischen Distanzen umfasst, wenn die Unähnlichkeitsmetrik auf mehrere der geführten automatisierten Fahrzeuge bezogen wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei der lokal abgegrenzte Verkehrsraum einer aus den folgenden ist: Ein Parkplatz, ein Parkhaus, eine Logistikzone.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensorinformationen alle Trajektorieninformationen der realen durch die Koordinationseinheit geführten automatisierten Fahrzeuge sowie alle reale Bewegungsdaten der nicht-koordinierten Verkehrsteilnehmern jeweils aus einer Vogelperspektive umfassen.
6. Verfahren nach Anspruch 5, wobei die Sensorinformationen zumindest manche Trajektorieninformationen der realen durch die Koordinationseinheit geführten automatisierten Fahrzeuge und/oder zumindest manche reale Bewegungsdaten der nicht-koordinierten Verkehrsteilnehmern jeweils aus einer Egoperspektive umfassen.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensorinformationen Kameradaten umfassen.
8. Verfahren nach Anspruch 7, wobei die zusätzlichen oder vollständig die realen Sensorinformationen ersetzenden synthetischen Sensorinformationen für das Sensornetz synthetische Echtzeit-Grafikdaten umfassen, die von einer 3D-Engine erzeugt werden und in den jeweils zugehörigen Perzeptionskanal des Sensornetzes eingespeist werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die nicht-koordinierten Verkehrsteilnehmer zumindest einen Fußgänger umfassen.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei in der Simulation jeweils für das virtuelle Testfahrzeug eines der folgenden Manöver simuliert wird: Einparken, Ausparken, Fahrzeugübergabe auf einer Logisti kzone.
PCT/EP2024/050781 2023-02-27 2024-01-15 Adaptive realdatenbasierte simulation eines zentralisiert koordinierten verkehrsraums WO2024179733A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023201784.9 2023-02-27
DE102023201784.9A DE102023201784A1 (de) 2023-02-27 2023-02-27 Adaptive realdatenbasierte Simulation eines zentralisiert koordinierten Verkehrsraums

Publications (1)

Publication Number Publication Date
WO2024179733A1 true WO2024179733A1 (de) 2024-09-06

Family

ID=89661297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/050781 WO2024179733A1 (de) 2023-02-27 2024-01-15 Adaptive realdatenbasierte simulation eines zentralisiert koordinierten verkehrsraums

Country Status (2)

Country Link
DE (1) DE102023201784A1 (de)
WO (1) WO2024179733A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015002405A1 (de) * 2015-02-24 2016-08-25 Audi Ag Verfahren zur Verkehrskoordinierung von Kraftfahrzeugen in einer Parkumgebung
DE112019001605T5 (de) * 2018-03-27 2020-12-17 Nvidia Corporation Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen
DE102019206908B4 (de) 2019-05-13 2022-02-17 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
US20220048533A1 (en) * 2020-08-17 2022-02-17 Volvo Car Corporation Method and system for validating autonomous control software for a self-driving vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217056B4 (de) 2017-09-26 2023-10-12 Audi Ag Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
DE102020202540A1 (de) 2020-02-27 2021-09-02 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015002405A1 (de) * 2015-02-24 2016-08-25 Audi Ag Verfahren zur Verkehrskoordinierung von Kraftfahrzeugen in einer Parkumgebung
DE112019001605T5 (de) * 2018-03-27 2020-12-17 Nvidia Corporation Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen
DE102019206908B4 (de) 2019-05-13 2022-02-17 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
US20220048533A1 (en) * 2020-08-17 2022-02-17 Volvo Car Corporation Method and system for validating autonomous control software for a self-driving vehicle

Also Published As

Publication number Publication date
DE102023201784A1 (de) 2024-08-29

Similar Documents

Publication Publication Date Title
EP3970077B1 (de) Verfahren zum trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt, kraftfahrzeug sowie system
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102006044086B4 (de) System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
DE102017213634A1 (de) Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug
DE102019203712B4 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102007053501A1 (de) Verfahren zur Entwicklung und/oder zum Testen wenigstens eines Sicherheits- und/oder Fahrerassistenzsystems für ein Kraftfahrzeug und Simulationsumgebung
EP4073778B1 (de) Trainieren wenigstens eines algorithmus für ein steuergerät eines kraftfahrzeugs, computerprogrammprodukt sowie kraftfahrzeug
DE102019202090A1 (de) Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Künstlichen-Intelligenz-Moduls für eine Steuervorrichtung eines Roboters
AT523834B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems
WO2021058223A1 (de) Verfahren zur effizienten, simulativen applikation automatisierter fahrfunktionen
DE102019134053A1 (de) Verfahren zur kontinuierlichen Absicherung im Fahrversuch applizierter automatisierter Fahrfunktionen
WO2022077042A1 (de) Verfahren und ein system zum testen eines fahrerassistenzsystems für ein fahrzeug
AT524822B1 (de) Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
WO2020187591A1 (de) Verfahren und vorrichtung zum ansteuern eines roboters
EP4212980A1 (de) Fahrassistenzeinrichtung und verfahren zum durchführen einer wenigstens teilautomatischen fahrzeugfunktion in abhängigkeit von einer zu bewertenden fahrstrecke
EP3979009A1 (de) Erzeugen eines vereinfachten modells für xil-systeme
DE102018207015B4 (de) Verfahren zum Trainieren selbstlernender Steuerungsalgorithmen für autonom bewegbare Vorrichtungen und autonom bewegbare Vorrichtung
WO2024179733A1 (de) Adaptive realdatenbasierte simulation eines zentralisiert koordinierten verkehrsraums
AT524932B1 (de) Verfahren und System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
WO2023099066A1 (de) Simulation zur validierung einer automatisierenden fahrfunktion für ein fahrzeug
EP4451159A1 (de) Hybrid-verkehrssimulation mit agentenmodellen zum test teleoperierter fahrzeuge
DE112020006532T5 (de) Computersystem und verfahren mit ende-zu-ende modellierung für einen simulierten verkehrsagenten in einer simulationsumgebung
DE102023000357B3 (de) Verfahren zum Erzeugen von Testdaten für eine Simulation eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
DE112020006317T5 (de) Computersystem und verfahren zum trainieren eines verkehrsagenten in einer simulationsumgebung
DE102023202132A1 (de) Kompositmetrik in Hybrid-Verkehrssimulation mit Realtrajektorien

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24700961

Country of ref document: EP

Kind code of ref document: A1