DE102019218127B4

DE102019218127B4 - Method and device for the optimal provision of AI systems

Info

Publication number: DE102019218127B4
Application number: DE102019218127.9A
Authority: DE
Inventors: Ruby Moritz; Fabian Hüger; Peter Schlicht
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2024-09-26
Anticipated expiration: 2039-11-26
Also published as: DE102019218127A1

Abstract

Verfahren zum optimalen Bereitstellen von KI-Systemen (10-x),wobei mittels einer Steuereinrichtung (2) ausschließlich auf Grundlage von Eingangsdaten (20), die einer Mehrzahl von KI-Systemen (10-x) zugeführt werden oder zugeführt werden sollen und/oder von mindestens einer Kontextinformation (21) jeweils ein Ausgabekonfidenzwert (11-x) für jedes der Mehrzahl von KI-Systemen (10-x) geschätzt wird,wobei mittels der Steuereinrichtung (2) das Bereitstellen der KI-Systeme (10-x) in Abhängigkeit der geschätzten Ausgabekonfidenzwerte (11-x) angepasst wird und/oder eine aus Ausgaben (30-x) der einzelnen KI-Systeme (10-x) erzeugte Gesamtausgabe (31) in Abhängigkeit der geschätzten Ausgabekonfidenzwerte (11-x) bereitgestellt wird.Method for the optimal provision of AI systems (10-x), wherein an output confidence value (11-x) for each of the plurality of AI systems (10-x) is estimated by means of a control device (2) exclusively on the basis of input data (20) which are or are to be supplied to a plurality of AI systems (10-x) and/or of at least one piece of context information (21), wherein the provision of the AI systems (10-x) is adapted by means of the control device (2) depending on the estimated output confidence values (11-x) and/or a total output (31) generated from outputs (30-x) of the individual AI systems (10-x) is provided depending on the estimated output confidence values (11-x).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum optimalen Bereitstellen von Kl-Systemen.The invention relates to a method and a device for the optimal provision of air conditioning systems.

Das automatisierte Fahren von Fahrzeugen beruht derzeit auf Verfahren, die auf Künstlicher Intelligenz (Kl) basieren und insbesondere auf einer Bilddatenverarbeitung, die auf tiefe Neuronale Netze gestützt ist. Kl-Systeme - selbst wenn diese zur Lösung derselben Aufgabe konzipiert wurden - können sich in ihrer funktionalen Güte stark voneinander unterscheiden. Hierbei ist zu beachten, dass eine Abhängigkeit zwischen der funktionalen Güte eines Kl-Systems und den Eingangsdaten, die es verarbeitet, besteht. Diese Abhängigkeit sorgt dafür, dass Kl-Systeme nicht per se gut oder schlecht sind, sondern umgebungsabhängige funktionale Güten aufweisen.Automated vehicle driving is currently based on processes based on artificial intelligence (AI) and in particular on image data processing based on deep neural networks. AI systems - even if they were designed to solve the same task - can differ greatly from one another in their functional quality. It should be noted that there is a dependency between the functional quality of an AI system and the input data it processes. This dependency ensures that AI systems are not good or bad per se, but have functional qualities that depend on the environment.

Das Bestimmen, inwiefern eine Ausgabe eines Kl-Systems korrekt ist, stellt folglich eine zentrale Herausforderung bei der Umsetzung Kl-gestützter Funktionen dar. Ein wichtiger Bestandteil beim Bestimmen der funktionalen Güte zur Laufzeit ist eine Konfidenz eines Kl-Systems. Hierbei gibt das Kl-System an (üblicherweise mit Werten zwischen 0 und 1), wie wahrscheinlich es ist, dass die Ergebnisse der Ausgabe korrekt sind. Ist die Konfidenz eines Kl-Systems unter bestimmten Umständen sehr niedrig, ist es sehr wahrscheinlich, dass einander ähnelnde Eingangsdaten zu unterschiedlichen Ausgaben führen.Determining the extent to which an output of a Kl system is correct is therefore a central challenge in the implementation of Kl-based functions. An important component in determining the functional quality at runtime is a confidence of a Kl system. Here, the Kl system indicates (usually with values between 0 and 1) how likely it is that the results of the output are correct. If the confidence of a Kl system is very low under certain circumstances, it is very likely that similar input data will lead to different outputs.

Um eine Konfidenz für Ausgaben eines tiefen Neuronalen Netzes zu beurteilen, sind die folgenden Verfahren bekannt: Beispielsweise können Softmax-Werte extrahiert werden, auf denen anschließend ein Dispersionsmaß als Maß für die Konfidenz bestimmt wird. Ferner können Unsicherheiten in der Ausgabe mittels des Monte-Carlo-Dropout-Verfahrens ermittelt werden. Hierbei wird durch das mehrfache Ausführen des tiefen Neuronalen Netzes, bei dem durch Zufall bestimmte Verbindungen im tiefen Neuronalen Netz getrennt werden, das Sampling eines statistischen Inferenzvorgangs imitiert und dessen Varianz als Maß für die Unsicherheit bzw. Konfidenz bestimmt. Weiter sind Ensembling-Verfahren bekannt, bei denen parallel zueinander verschiedene tiefe Neuronale Netze ausgeführt werden, wobei Ausgabevarianzen als Maß für eine Unsicherheit bzw. Konfidenz bestimmt werden. Sodann sind Verfahren zur variationellen Ausführung von tiefen Neuronalen Netzen bekannt, bei denen latente Wahrscheinlichkeitsräume in die tiefen Neuronalen Netze eingebunden werden. Durch ein Sampling aus diesen Wahrscheinlichkeitsräumen können analog zum Monte-Carlo-Dropout-Verfahren Ausgabevarianzen als Maß für eine Unsicherheit bzw. Konfidenz bestimmt werden. Die genannten Verfahren bieten entweder nur eine schwache Aussage zur Konfidenz der Ausgabe eines tiefen Neuronalen Netzes oder haben einen erhöhten Bedarf an Rechenleistung zur Laufzeit zur Folge und sind daher für einen Einsatz in Anwendungsbereichen, in denen eine verfügbare Rechenleistung stark begrenzt ist, insbesondere im automobilen Anwendungsbereich, ungeeignet.The following methods are known for assessing the confidence of the output of a deep neural network: For example, softmax values can be extracted, on which a dispersion measure is then determined as a measure of confidence. Furthermore, uncertainties in the output can be determined using the Monte Carlo dropout method. By executing the deep neural network multiple times, in which certain connections in the deep neural network are randomly severed, the sampling of a statistical inference process is imitated and its variance is determined as a measure of uncertainty or confidence. Ensembling methods are also known in which different deep neural networks are executed in parallel, with output variances being determined as a measure of uncertainty or confidence. Methods for the variational execution of deep neural networks are then known, in which latent probability spaces are integrated into the deep neural networks. By sampling from these probability spaces, output variances can be determined as a measure of uncertainty or confidence, analogous to the Monte Carlo dropout method. The methods mentioned either provide only a weak statement on the confidence of the output of a deep neural network or result in an increased need for computing power at runtime and are therefore unsuitable for use in application areas in which available computing power is very limited, especially in the automotive field.

Arbeiten mehrere KI-Systeme parallel zueinander, so müssen Ausgaben der KI-Systeme in geeigneter Weise zusammengeführt bzw. miteinander verknüpft werden.If several AI systems work in parallel, the outputs of the AI systems must be merged or linked in an appropriate manner.

Aus der US 2016 / 0 358 099 A1 sind maschinelle Lernsysteme und computergestützte Verfahren zum Vergleichen von Kandidatenalgorithmen für maschinelles Lernen bekannt. Das maschinelle Lernsystem umfasst eine Bibliothek mit Algorithmen für maschinelles Lernen, ein Dateneingabemodul zum Empfangen eines Datensatzes und eine Auswahl von Modellen für maschinelles Lernen, die aus der Bibliothek mit Algorithmen für maschinelles Lernen, einem Experimentiermodul und einem Aggregationsmodul abgeleitet sind. Das Experimentiermodul ist so konfiguriert, dass jedes maschinelle Lernmodell trainiert und bewertet wird, um ein Leistungsergebnis für jedes maschinelle Lernmodell zu erzielen. Das Aggregationsmodul ist so konfiguriert, dass die Leistungsergebnisse für alle Modelle des maschinellen Lernens aggregiert werden, um Leistungsvergleichsstatistiken zu erstellen. Computergestützte Methoden umfassen das Empfangen eines Datensatzes, das Empfangen einer Auswahl von maschinellen Lernmodellen, das Trainieren und Bewerten jedes maschinellen Lernmodells, um ein Leistungsergebnis für jedes maschinelle Lernmodell zu erstellen, das Aggregieren der Leistungsergebnisse, um Leistungsvergleichsstatistiken zu bilden, und das Präsentieren der Leistungsvergleichsstatistiken.From the US 2016 / 0 358 099 A1 Machine learning systems and computational methods for comparing candidate machine learning algorithms are known. The machine learning system includes a library of machine learning algorithms, a data input module for receiving a data set and a selection of machine learning models derived from the library of machine learning algorithms, an experimentation module, and an aggregation module. The experimentation module is configured to train and evaluate each machine learning model to produce a performance score for each machine learning model. The aggregation module is configured to aggregate the performance results for all machine learning models to produce performance comparison statistics. Computational methods include receiving a data set, receiving a selection of machine learning models, training and evaluating each machine learning model to produce a performance score for each machine learning model, aggregating the performance results to form performance comparison statistics, and presenting the performance comparison statistics.

Aus der WO 2019 / 199 878 A1 ist ein Verfahren zur Analyse von Szenarien zum Steuern von Fahrzeugoperationen bekannt.From the WO 2019 / 199 878 A1 A method for analyzing scenarios for controlling vehicle operations is known.

Aus der US 2014 / 0 279 745 A1 ist ein dynamischer Klassifizierer bekannt, zum Durchführen einer binären Klassifizierung von Instanzdaten unter Verwendung von Orakeln, die die Genauigkeit von Vorhersagen vorhersagen, die von entsprechenden Modellen gemacht wurden. Ein Orakel, das einem Modell entspricht, wird trainiert, um einen Konfidenzwert zu erzeugen, der die Genauigkeit einer vom Modell gemachten Vorhersage darstellt. Basierend auf dem Konfidenzwert und den Vorhersagen wird eines von mehreren Modellen ausgewählt und seine Vorhersage wird als Zwischenvorhersage verwendet. Die Zwischenvorhersage kann in Verbindung mit einer anderen Vorhersage verwendet werden, die unter Verwendung eines anderen Algorithmus erzeugt wird, um eine endgültige Vorhersage zu erzeugen. Durch Verwendung des Konfidenzwerts für jedes Modell kann eine genauere Vorhersage getroffen werden.From the US 2014 / 0 279 745 A1 A dynamic classifier is known for performing binary classification of instance data using oracles that predict the accuracy of predictions made by corresponding models. An oracle corresponding to a model is trained to produce a confidence value representing the accuracy of a prediction made by the model. Based on the confidence value and the predictions, one of several models is selected and its prediction is used as an intermediate prediction. The intermediate prediction can be used in conjunction with another prediction made using another algorithm to produce a final prediction. By using the confidence value for each model, a more accurate prediction can be made.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum optimalen Bereitstellen von KI-Systemen zu schaffen.The invention is based on the object of creating a method and a device for the optimal provision of AI systems.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The object is achieved according to the invention by a method having the features of patent claim 1 and a device having the features of patent claim 9. Advantageous embodiments of the invention emerge from the subclaims.

Insbesondere wird ein Verfahren zum optimalen Bereitstellen von KI-Systemen zur Verfügung gestellt, wobei mittels einer Steuereinrichtung auf Grundlage von Eingangsdaten, die einer Mehrzahl von KI-Systemen zugeführt werden oder zugeführt werden sollen und/oder von mindestens einer Kontextinformation jeweils ein Ausgabekonfidenzwert für jedes der Mehrzahl von KI-Systemen geschätzt wird, wobei mittels der Steuereinrichtung das Bereitstellen der Kl-Systeme in Abhängigkeit der geschätzten Ausgabekonfidenzwerte angepasst wird und/oder eine aus Ausgaben der einzelnen KI-Systeme erzeugte Gesamtausgabe in Abhängigkeit der geschätzten Ausgabekonfidenzwerte bereitgestellt wird.In particular, a method for optimally providing AI systems is provided, wherein an output confidence value for each of the plurality of AI systems is estimated by means of a control device on the basis of input data that are or are to be supplied to a plurality of AI systems and/or of at least one piece of context information, wherein the provision of the AI systems is adapted by means of the control device depending on the estimated output confidence values and/or an overall output generated from outputs of the individual AI systems is provided depending on the estimated output confidence values.

Weiter wird insbesondere eine Vorrichtung zum optimalen Bereitstellen von KI-Systemen geschaffen, umfassend eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist, auf Grundlage von Eingangsdaten, die einer Mehrzahl von KI-Systemen zugeführt werden oder zugeführt werden sollen und/oder von mindestens einer Kontextinformation jeweils einen Ausgabekonfidenzwert für jedes der Mehrzahl von KI-Systemen zu schätzen, und das Bereitstellen der KI-Systeme in Abhängigkeit der geschätzten Ausgabekonfidenzwerte anzupassen und/oder eine aus Ausgaben der einzelnen KI-Systeme erzeugte Gesamtausgabe in Abhängigkeit der geschätzten Ausgabekonfidenzwerte bereitzustellen.Furthermore, in particular, a device for optimally providing AI systems is created, comprising a control device, wherein the control device is configured to estimate an output confidence value for each of the plurality of AI systems on the basis of input data that are or are to be supplied to a plurality of AI systems and/or of at least one piece of context information, and to adapt the provision of the AI systems depending on the estimated output confidence values and/or to provide an overall output generated from outputs of the individual AI systems depending on the estimated output confidence values.

Das Verfahren und die Vorrichtung ermöglichen es, bei oder vor einem Anwenden der Kl-Systeme einen Ausgabekonfidenzwert für jedes der KI-Systeme verbessert zu schätzen und das Bereitstellen der KI-Systeme entsprechend der jeweiligen Ausgabekonfidenzwerte anzupassen und/oder eine aus den einzelnen Ausgaben der KI-Systeme erzeugte Gesamtausgabe in Abhängigkeit der geschätzten Ausgabekonfidenzwerte bereitzustellen. Das Schätzen der Ausgabekonfidenzwerte erfolgt hierbei unabhängig von den KI-Systemen selbst, das heißt ausschließlich auf Grundlage der Eingangsdaten, die den KI-Systemen zugeführt werden bzw. zugeführt werden sollen, und/oder auf Grundlage von mindestens einer Kontextinformation. Hierdurch kann das Schätzen zuverlässiger und mit einem deutlich geringeren Rechenaufwand durchgeführt werden.The method and the device make it possible to estimate an output confidence value for each of the AI systems during or before application of the AI systems and to adapt the provision of the AI systems according to the respective output confidence values and/or to provide a total output generated from the individual outputs of the AI systems depending on the estimated output confidence values. The output confidence values are estimated independently of the AI systems themselves, i.e. exclusively on the basis of the input data that are or are to be fed to the AI systems and/or on the basis of at least one piece of context information. This allows the estimation to be carried out more reliably and with significantly less computational effort.

Ein KI-System ist insbesondere ein System, eine Einrichtung oder ein Softwaremodul, das mittels Verfahren der Künstlichen Intelligenz (KI) bzw. des Maschinenlernens arbeitet. Insbesondere ist ein KI-System ein System, das mittels eines tiefen Neuronalen Netzes arbeitet. Die KI-Systeme werden insbesondere mittels einer Datenverarbeitungseinrichtung bereitgestellt. Die Mehrzahl von KI-Systemen umfasst insbesondere KI-Systeme, die vollständig oder teilweise die gleichen Funktionen ausführen, sodass in der Mehrzahl der KI-Systeme zumindest teilweise eine funktionelle Redundanz vorhanden ist.An AI system is in particular a system, a device or a software module that works using artificial intelligence (AI) or machine learning methods. In particular, an AI system is a system that works using a deep neural network. The AI systems are provided in particular by means of a data processing device. The majority of AI systems include in particular AI systems that completely or partially perform the same functions, so that in the majority of AI systems there is at least partial functional redundancy.

Ein Ausgabekonfidenzwert gibt insbesondere an, wie zuverlässig eine Ausgabe eines KI-Systems ist, für das der Ausgabekonfidenzwert geschätzt und bereitgestellt wird, das heißt der Ausgabekonfidenzwert gibt insbesondere an, wie wahrscheinlich es ist, dass die Ausgabe des KI-Systems korrekt ist. Der Ausgabekonfidenzwert ist hierbei insbesondere abhängig von den Eingangsdaten der KI-Systeme und/oder von der mindestens einen Kontextinformation. Der Ausgabekonfidenzwert wird beispielsweise durch einen Wert zwischen 0 (= mit Sicherheit falsch) und 1 (= mit Sicherheit richtig) ausgedrückt bzw. dargestellt.An output confidence value indicates in particular how reliable an output of an AI system is for which the output confidence value is estimated and provided, i.e. the output confidence value indicates in particular how likely it is that the output of the AI system is correct. The output confidence value is particularly dependent on the input data of the AI systems and/or on the at least one piece of context information. The output confidence value is expressed or represented, for example, by a value between 0 (= definitely wrong) and 1 (= definitely correct).

Eingangsdaten sind insbesondere Sensordaten eines oder mehrerer Sensoren. Die Sensoren erfassen beispielsweise ein Umfeld eines Fahrzeugs. Die Eingangsdaten können auch fusionierte Sensordaten sein. Handelt es sich bei einem Sensor beispielsweise um eine Kamera, so umfassen die Eingangsdaten beispielsweise ein Kamerabild oder mehrere Kamerabilder der Kamera. Prinzipiell können die Eingangsdaten aber beliebig ausgebildet sein.Input data is in particular sensor data from one or more sensors. The sensors record, for example, the surroundings of a vehicle. The input data can also be fused sensor data. If a sensor is a camera, for example, the input data includes, for example, one or more camera images from the camera. In principle, however, the input data can be of any design.

Eine Kontextinformation ist insbesondere eine Information zu einem (aktuellen) Kontext, in dem die KI-Systeme verwendet werden oder verwendet werden sollen bzw. in dem die Eingangsdaten stehen. Eine Kontextinformation kann beispielsweise eine der folgenden Eigenschaften betreffen: eine Umfeldklasse (z.B. Stadt, Land, Autobahn, Landstraße,...) Witterungsverhältnisse eines Umfelds (z.B. Regen, Nebel, Wind, Schnee, Sonnenschein, Wolken etc.), Lichtverhältnisse eines Umfelds (hell, dunkel,...), Verkehrsverhältnisse eines Umfelds, dynamische Eigenschaften eines Fahrzeugs, in dem die KI-Systeme eingesetzt werden, eine geographische Position, eine Zeitangabe (z.B. Jahreszeit, Tageszeit, Wochentag etc.), eine Fahrzeuginnenraumsituation eines Fahrzeugs, in dem die KI-Systeme eingesetzt werden, Eigenschaften der Eingangsdaten, bei Kamerabildern als Eingangsdaten beispielsweise ein Kontrast, eine Helligkeit und/oder Farbwerte. Die mindestens eine Kontextinformation wird der Steuereinrichtung bereitgestellt. Die mindestens eine Kontextinformation wird insbesondere mittels einer Kontextsensorik (Regensensor, Lichtsensor etc.) und/oder einer Kontexterfassungseinrichtung erfasst und/oder bereitgestellt. Hierbei können sowohl Sensordaten der Kontextsensorik als auch weitere Informationen, beispielsweise Navigationsdaten, eine Uhrzeit etc. berücksichtigt werden. In einem Kraftfahrzeug können die weiteren Informationen beispielsweise mittels der Kontexterfassungseinrichtung über einen Controller Area Network-(CAN)-Bus abgefragt werden.Context information is in particular information about a (current) context in which the AI systems are used or are to be used or in which the input data is located. Context information can, for example, relate to one of the following properties: an environment class (e.g. city, country, motorway, country road,...), weather conditions of an environment (e.g. rain, fog, wind, snow, sunshine, clouds, etc.), lighting conditions of an environment (light, dark,...), traffic conditions of an environment, dynamic properties of a vehicle in which the AI systems are used, a geographical position, a time indication (e.g. season, time of day, day of the week, etc.), a Vehicle interior situation of a vehicle in which the AI systems are used, properties of the input data, for example a contrast, brightness and/or color values in the case of camera images as input data. The at least one piece of context information is provided to the control device. The at least one piece of context information is detected and/or provided in particular by means of a context sensor system (rain sensor, light sensor, etc.) and/or a context detection device. Both sensor data from the context sensor system and other information, such as navigation data, a time of day, etc. can be taken into account. In a motor vehicle, the additional information can be queried, for example, by means of the context detection device via a Controller Area Network (CAN) bus.

Teile der Vorrichtung, insbesondere die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind. Es kann vorgesehen sein, dass die Steuereinrichtung von einer Datenverarbeitungseinrichtung in Form eines Softwarepakets bereitgestellt wird.Parts of the device, in particular the control device, can be designed individually or in combination as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or in combination as an application-specific integrated circuit (ASIC). It can be provided that the control device is provided by a data processing device in the form of a software package.

In einer Ausführungsform ist vorgesehen, dass das Schätzen der Ausgabekonfidenzwerte mittels eines Verfahrens des Maschinenlernens erfolgt, wobei das Verfahren des Maschinenlernens darauf trainiert ist, ausgehend von den Eingangsdaten und/oder der mindestens einen Kontextinformation jeweils die Ausgabekonfidenzwerte der KI-Systeme zu schätzen. Mit Hilfe des Verfahrens des Maschinenlernens wird hierbei insbesondere eine Abbildung der Eingangsdaten und/oder der mindestens einen Kontextinformation auf jeweilige Ausgabekonfidenzwerte der einzelnen KI-Systeme gelernt und anschließend bereitgestellt. Hierdurch kann eine große Bandbreite an Eingangsdaten und/oder Kontextinformationen zuverlässig auf die Ausgabekonfidenzwerte der einzelnen KI-Systeme abgebildet werden. Bei einer Anwendung kann das Verfahren des Maschinenlernens dann ausgehend von der gelernten Abbildung die Ausgabekonfidenzwerte in Abhängigkeit von aktuellen Eingangsdaten und/oder mindestens einer erfassten oder bereitgestellten Kontextinformation schätzen. Das Verfahren des Maschinenlernens ist insbesondere ein Verfahren, bei dem ein tiefes Neuronales Netz verwendet wird, das heißt insbesondere ist vorgesehen, dass die Ausgabekonfidenzwerte der KI-Systeme mittels eines (trainierten) tiefen Neuronalen Netzes geschätzt werden. Einer Eingangsschicht des tiefen Neuronalen Netzes werden hierzu die Eingangsdaten und/oder die mindestens eine Kontextinformation zugeführt. An einer Ausgangsschicht inferiert das tiefe Neuronale Netz dann die einzelnen Ausgabekonfidenzwerte. Das tiefe Neuronale Netz wird vor einer Anwendungsphase in einer Trainingsphase trainiert. Hierzu wird ein Trainingsdatensatz erstellt, indem die KI-Systeme für unterschiedliche Eingangsdaten und/oder unterschiedliche Kontexte jeweils Ausgaben generieren. Die jeweils generierten Ausgaben werden mit einer zu den Eingangsdaten bzw. der mindestens einen Kontextinformation gehörenden Grundwahrheit verglichen und auf Grundlage einer Übereinstimmung der Ausgaben mit der Grundwahrheit werden (empirische) Ausgabekonfidenzwerte bestimmt. In einem einfachen Beispiel wird bestimmt, wie oft ein KI-System ein Objekt in als Eingangsdaten bereitgestellten Kamerabildern richtig klassifiziert hat. Ein Anteil für eine richtige Klassifizierung bzw. Ausgabe des KI-Systems ist dann ein Maß für die Zuverlässigkeit des Kl-Systems bzw. ein Maß für die Konfidenz des KI-Systems. Das tiefe Neuronale Netz wird anschließend ausgehend von denselben Eingangsdaten auf das Schätzen der zugehörigen empirisch bestimmten Ausgabekonfidenzwerte trainiert. Dies erfolgt für eine Vielzahl unterschiedlicher Eingangsdaten und/oder unterschiedlicher Kontextinformationen und für alle KI-Systeme. Nach der Trainingsphase kann das trainierte tiefe Neuronale Netz in einer Anwendungs- bzw. Inferenzphase ausgehend von (aktuellen) Eingangsdaten und/oder einem (aktuellen) Kontext Ausgabekonfidenzwerte für jedes der KI-Systeme schätzen.In one embodiment, it is provided that the output confidence values are estimated using a machine learning method, wherein the machine learning method is trained to estimate the output confidence values of the AI systems based on the input data and/or the at least one piece of context information. With the help of the machine learning method, in particular a mapping of the input data and/or the at least one piece of context information to respective output confidence values of the individual AI systems is learned and then provided. This allows a wide range of input data and/or context information to be reliably mapped to the output confidence values of the individual AI systems. In one application, the machine learning method can then estimate the output confidence values based on the learned mapping as a function of current input data and/or at least one piece of recorded or provided context information. The machine learning method is in particular a method in which a deep neural network is used, i.e. in particular it is provided that the output confidence values of the AI systems are estimated using a (trained) deep neural network. For this purpose, the input data and/or the at least one piece of context information are fed to an input layer of the deep neural network. At an output layer, the deep neural network then infers the individual output confidence values. The deep neural network is trained in a training phase before an application phase. For this purpose, a training data set is created in which the AI systems generate outputs for different input data and/or different contexts. The outputs generated in each case are compared with a ground truth belonging to the input data or the at least one piece of context information, and (empirical) output confidence values are determined based on a match between the outputs and the ground truth. In a simple example, it is determined how often an AI system has correctly classified an object in camera images provided as input data. A proportion of a correct classification or output of the AI system is then a measure of the reliability of the AI system or a measure of the confidence of the AI system. The deep neural network is then trained to estimate the corresponding empirically determined output confidence values based on the same input data. This is done for a variety of different input data and/or different context information and for all AI systems. After the training phase, the trained deep neural network can estimate output confidence values for each of the AI systems in an application or inference phase based on (current) input data and/or a (current) context.

In einer Ausführungsform ist vorgesehen, dass das Schätzen der Ausgabekonfidenzwerte mittels eines regelbasierten Systems erfolgt, wobei das regelbasierte System jeweils eine Zuordnung von der mindestens einen Kontextinformation zu den Ausgabekonfidenzwerten der KI-Systeme umfasst. Hierdurch kann eine Verknüpfung zwischen der mindestens einen Kontextinformation und den jeweiligen Ausgabekonfidenzwerten in nachvollziehbarer Weise erfolgen. Insbesondere können die Zuordnungen auf Plausibilität überprüft werden. Das Vorgehen beim Erstellen des regelbasierten Systems ist prinzipiell analog zu dem Vorgehen, wie es voranstehend für das Training des tiefen Neuronalen Netzes beschrieben wurde, das heißt ausgehend von empirisch anhand einer Grundwahrheit bestimmten Ausgabekonfidenzwerten für die einzelnen KI-Systeme wird eine regelbasierte Zuordnung zwischen der mindestens einen Kontextinformation und den jeweiligen Ausgabekonfidenzwerten der KI-Systeme erstellt. Insbesondere erfolgt die Zuordnung für Kombinationen von verschiedenen Ausprägungen der Kontextinformationen zu entsprechenden Ausgabekonfidenzwerten. In einem einfachen Szenario erfolgt eine Zuordnung beispielsweise, indem ermittelt wird, ob eine Helligkeit eines erfassten Kamerabildes einen bestimmten Schwellenwert überschreitet oder nicht. Wird der Schwellenwert überschritten, so wird einem KI-System beispielsweise ein hoher Ausgabekonfidenzwert zugeordnet, anderenfalls ein geringerer Ausgabekonfidenzwert.In one embodiment, it is provided that the output confidence values are estimated using a rule-based system, wherein the rule-based system comprises an assignment of the at least one piece of context information to the output confidence values of the AI systems. This allows a link between the at least one piece of context information and the respective output confidence values to be made in a comprehensible manner. In particular, the assignments can be checked for plausibility. The procedure for creating the rule-based system is in principle analogous to the procedure described above for training the deep neural network, i.e., based on output confidence values for the individual AI systems determined empirically based on a ground truth, a rule-based assignment is created between the at least one piece of context information and the respective output confidence values of the AI systems. In particular, the assignment is made for combinations of different forms of the context information to corresponding output confidence values. In a simple scenario, an assignment is made, for example, by determining whether the brightness of a captured camera image exceeds a certain threshold or not. If the threshold is exceeded, an AI system is assigned a high output confidence value, otherwise a lower output confidence value.

Es kann vorgesehen sein, dass sowohl Verfahren des Maschinenlernens, insbesondere unter Verwendung von tiefen Neuronalen Netzen, als auch ein regelbasiertes System zum Einsatz kommen. Die von den beiden Ansätzen gelieferten Ergebnisse werden insbesondere zusammengeführt, beispielsweise indem die jeweils bereitgestellten Ausgabekonfidenzwerte für jedes KI-System gewichtet zusammenaddiert werden.It can be envisaged that both machine learning methods, in particular using deep neural networks, and a rule-based system are used. The results provided by the two approaches are in particular combined, for example by adding together the output confidence values provided for each AI system in a weighted manner.

In einer Ausführungsform ist vorgesehen, dass Ausgaben der KI-Systeme beim Erzeugen der Gesamtausgabe jeweils gewichtet berücksichtigt werden, wobei eine Gewichtung jeweils in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte festgelegt wird. Hierdurch können Ausgaben der einzelnen KI-Systeme unter Berücksichtigung der jeweiligen Ausgabekonfidenzwerte zu einer gemeinsamen Gesamtausgabe zusammengeführt werden. Die Gesamtausgabe erhält hierdurch insgesamt eine höhere Zuverlässigkeit bzw. Konfidenz. Beispielsweise kann vorgesehen sein, dass einzelne Bildelemente eines Kamerabildes mittels der KI-Systeme nach Objekten klassifiziert werden sollen. In einem einfachen Beispiel sollen die Bildelemente den Klassen „Fußgänger“ oder „Baum“ zugeordnet werden. Dies erfolgt zeitgleich mittels eines ersten KI-Systems, das auf das Erkennen von Fußgängern spezialisiert ist und mittels eines zweiten KI-Systems, das allgemein eine semantische Segmentierung in dem Kamerabild vornimmt, das heißt keine Spezialisierung auf bestimmte Objekte aufweist. Wird einem Bildelement nun von dem ersten KI-System die Klasse „Fußgänger“ mit einer Wahrscheinlichkeit von 90 % zugeordnet, von dem zweiten KI-System hingegen die Klasse „Baum“ mit einer Wahrscheinlichkeit von 90 %, so wird die Ausgabe des ersten KI-Systems höher gewichtet, als die Ausgabe des zweiten KI-Systems, da ein für die zugehörigen Eingangsdaten (Kamerabilder) für das erste KI-System geschätzter Ausgabekonfidenzwert größer ist als ein für die zugehörigen Eingangsdaten (Kamerabilder) für das zweite KI-System geschätzter Ausgabekonfidenzwert. Einfach ausgedrückt ist das erste KI-System für das Erkennen von Fußgängern in einem Umfeld, in dem Fußgänger vorhanden sind, besser geeignet als das einer allgemeinen Segmentierung dienende zweite KI-System. Dies drückt sich in Form der jeweiligen Ausgabekonfidenzwerte aus.In one embodiment, it is provided that outputs of the AI systems are each taken into account in a weighted manner when generating the overall output, with a weighting being determined in each case depending on the associated estimated output confidence values. This allows outputs of the individual AI systems to be combined into a common overall output, taking into account the respective output confidence values. This gives the overall output a higher overall reliability or confidence. For example, it can be provided that individual image elements of a camera image are to be classified according to objects using the AI systems. In a simple example, the image elements are to be assigned to the classes "pedestrian" or "tree". This is done simultaneously using a first AI system that specializes in recognizing pedestrians and a second AI system that generally carries out semantic segmentation in the camera image, i.e. does not have any specialization in specific objects. If the first AI system assigns the class “pedestrian” to an image element with a probability of 90%, but the second AI system assigns the class “tree” with a probability of 90%, the output of the first AI system is weighted higher than the output of the second AI system, since an output confidence value estimated for the associated input data (camera images) for the first AI system is greater than an output confidence value estimated for the associated input data (camera images) for the second AI system. Simply put, the first AI system is better suited to detecting pedestrians in an environment where pedestrians are present than the second AI system, which is used for general segmentation. This is expressed in the form of the respective output confidence values.

In einer Ausführungsform ist vorgesehen, dass Ausgaben der KI-Systeme zum Erzeugen der Gesamtausgabe auf semantischer Ebene zusammengefasst werden, wobei das Zusammenfassen in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte erfolgt. Hierdurch kann beispielsweise erreicht werden, dass in einem als Eingangsdaten bereitgestellten Kamerabild, in dem Objekte mittels der KI-Systeme erkannt und einer Klasse zugeordnet werden sollen, eine Objekterkennung und/oder Objektklassifizierung in Abhängigkeit der jeweiligen Spezialisierung der KI-Systeme erfolgt. Beispielsweise kann ein erstes KI-System auf das Erkennen von „Fußgängern“ spezialisiert sein, ein zweites KI-System hingegen auf das Erkennen von „Autos“. Die jeweiligen Ausgaben der KI-Systeme für „Fußgänger“ bzw. „Autos“ werden hierbei zusammengeführt und jeweils mit dem entsprechend geschätzten (hohen) Ausgabekonfidenzwert verknüpft, wenn in dem Kamerabild sowohl Fußgänger als auch Autos abgebildet sind.In one embodiment, it is provided that outputs of the AI systems are summarized on a semantic level to generate the overall output, with the summary taking place depending on the associated estimated output confidence values. This can, for example, ensure that in a camera image provided as input data, in which objects are to be recognized by the AI systems and assigned to a class, object recognition and/or object classification takes place depending on the respective specialization of the AI systems. For example, a first AI system can be specialized in recognizing "pedestrians", while a second AI system can be specialized in recognizing "cars". The respective outputs of the AI systems for "pedestrians" or "cars" are merged and each linked to the corresponding estimated (high) output confidence value if both pedestrians and cars are shown in the camera image.

In einer Ausführungsform ist vorgesehen, dass mindestens ein KI-System in Abhängigkeit eines zugehörigen geschätzten Ausgabekonfidenzwertes aktiviert oder deaktiviert wird. Insbesondere kann das Deaktivieren vor einer Anwendungsphase der KI-Systeme, das heißt vorausschauend, oder während der Anwendungsphase der KI-Systeme erfolgen. Hierdurch wird das Einsparen von Rechenleistung durch Deaktivieren eines KI-Systems sowohl vorausschauend als auch während der Anwendungsphase für den Fall ermöglicht, dass für das KI-System ein sehr geringer Ausgabekonfidenzwert (z.B. unterhalb eines vorgegebenen Schwellenwertes) geschätzt wird. Die eingesparte Rechenleistung kann anschließend beispielsweise zum Steigern der Leistung der übrigen KI-Systeme verwendet werden. Ist ein Kl-System deaktiviert und wird für gegebene Eingangsdaten bzw. die mindestens eine Kontextinformation für das KI-System später ein hoher bzw. besserer Ausgabekonfidenzwert (z.B. oberhalb des vorgegebenen Schwellenwertes) geschätzt, so kann das KI-System wieder aktiviert werden.In one embodiment, it is provided that at least one AI system is activated or deactivated depending on an associated estimated output confidence value. In particular, deactivation can take place before an application phase of the AI systems, i.e. in advance, or during the application phase of the AI systems. This makes it possible to save computing power by deactivating an AI system both in advance and during the application phase in the event that a very low output confidence value (e.g. below a predetermined threshold) is estimated for the AI system. The saved computing power can then be used, for example, to increase the performance of the other AI systems. If an AI system is deactivated and a high or better output confidence value (e.g. above the predetermined threshold) is later estimated for given input data or the at least one piece of context information for the AI system, the AI system can be activated again.

In einer Ausführungsform ist vorgesehen, dass eine Konfiguration mindestens eines KI-Systems in Abhängigkeit eines zugehörigen geschätzten Ausgabekonfidenzwertes geändert wird. Hierdurch kann ein KI-System an Eingangsdaten und/oder einen Kontext angepasst werden, sodass sich ein Ausgabekonfidenzwert verbessert. Das Anpassen kann beispielsweise durch Umkonfigurieren des KI-Systems erfolgen, beispielsweise indem Module innerhalb des Kl-Systems aktiviert oder deaktiviert werden, Parameter geändert werden oder eine Verschaltung innerhalb des KI-Systems geändert wird.In one embodiment, it is provided that a configuration of at least one AI system is changed depending on an associated estimated output confidence value. This allows an AI system to be adapted to input data and/or a context so that an output confidence value is improved. The adaptation can be carried out, for example, by reconfiguring the AI system, for example by activating or deactivating modules within the AI system, changing parameters or changing a wiring within the AI system.

In einer Ausführungsform ist vorgesehen, dass die KI-Systeme jeweils eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderkennung für das automatisierte Fahren eines Fahrzeugs bereitstellen. Das Fahrzeug ist insbesondere ein Kraftfahrzeug. Das Fahrzeug kann jedoch auch ein anderes Land-, Wasser-, Luft-, Schienen- oder Raumfahrzeug sein. Die Funktion für die Umfelderkennung kann beispielsweise eine Objekterkennung und/oder eine semantische Segmentierung umfassen.In one embodiment, it is provided that the AI systems each have a function for the automated driving of a vehicle and/or for provide driver assistance for the vehicle and/or for environment recognition for the automated driving of a vehicle. The vehicle is in particular a motor vehicle. However, the vehicle can also be another land, water, air, rail or space vehicle. The function for environment recognition can include, for example, object recognition and/or semantic segmentation.

Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.Further features of the device design emerge from the description of embodiments of the method. The advantages of the device are the same as in the embodiments of the method.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figur näher erläutert. Hierbei zeigt:

1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum optimalen Bereitstellen von KI-Systemen.

The invention is explained in more detail below using preferred embodiments with reference to the figure. Here:

1 a schematic representation of an embodiment of the device for optimally providing AI systems.

In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum optimalen Bereitstellen von KI-Systemen 10-x gezeigt. Die Vorrichtung 1 führt das Verfahren zum optimalen Bereitstellen von KI-Systemen 10-x aus. Die Vorrichtung 1 ist beispielsweise in einem Kraftfahrzeug 50 angeordnet. Die KI-Systeme 10-x dienen beispielsweise einer Umfelderkennung, wobei den KI-Systemen 10-x hierzu als Eingangsdaten 20 Sensordaten eines Sensors 51, beispielsweise einer Kamera, des Kraftfahrzeugs 50 zugeführt werden.In 1 a schematic representation of an embodiment of the device 1 for the optimal provision of AI systems 10-x is shown. The device 1 carries out the method for the optimal provision of AI systems 10-x. The device 1 is arranged, for example, in a motor vehicle 50. The AI systems 10-x are used, for example, for environmental recognition, with sensor data from a sensor 51, for example a camera, of the motor vehicle 50 being fed to the AI systems 10-x as input data 20.

Die Vorrichtung 1 umfasst eine Steuereinrichtung 2. Die Steuereinrichtung 2 umfasst ein Schätzmodul 3 und ein Mischmodul 4. Es kann vorgesehen sein, dass eine Funktionalität der Vorrichtung 1, insbesondere der Steuereinrichtung 2, bzw. das Verfahren in Form von ausgeführtem Programmcode mittels einer Datenverarbeitungseinrichtung bereitgestellt wird. Insbesondere werden das Schätzmodul 3 und das Mischmodul 4 in Form von Programmcode bereitgestellt, der auf einem Mikroprozessor der Datenverarbeitungseinrichtung ausgeführt wird.The device 1 comprises a control device 2. The control device 2 comprises an estimation module 3 and a mixing module 4. It can be provided that a functionality of the device 1, in particular of the control device 2, or the method is provided in the form of executed program code by means of a data processing device. In particular, the estimation module 3 and the mixing module 4 are provided in the form of program code that is executed on a microprocessor of the data processing device.

Die Steuereinrichtung 2 schätzt mittels des Schätzmoduls 3 auf Grundlage der Eingangsdaten 20, die der Mehrzahl von KI-Systemen 10-x zugeführt werden oder zugeführt werden sollen und/oder auf Grundlage von mindestens einer Kontextinformation 21 jeweils einen Ausgabekonfidenzwert 11-x für jedes der Mehrzahl von KI-Systemen 10-x. Die mindestens eine Kontextinformation 21 umfasst insbesondere eine oder mehrere der folgenden Informationen: Witterungsverhältnisse eines Umfelds des Kraftfahrzeugs 50, Lichtverhältnisse eines Umfelds, Verkehrsverhältnisse eines Umfelds, dynamische Eigenschaften des Kraftfahrzeugs 50, eine aktuelle geographische Position des Kraftfahrzeugs 50, eine aktuelle Zeitangabe (z.B. Jahreszeit, Tageszeit, Wochentag etc.), eine Fahrzeuginnenraumsituation des Kraftfahrzeugs 50 und/oder Eigenschaften der Eingangsdaten 20, bei Kamerabildern als Eingangsdaten 20 beispielsweise ein Kontrast, eine Helligkeit und/oder Farbwerte. Die mindestens eine Kontextinformation 21 wird der Steuereinrichtung 2 bereitgestellt. Die mindestens eine Kontextinformation 21 wird beispielsweise mittels einer Kontextsensorik 53 (in dem Kraftfahrzeug 50 beispielsweise ein Helligkeitssensor, ein Außentemperatursensor und/oder ein Regensensor etc.) und/oder einer Kontexterfassungseinrichtung 54 erfasst und bereitgestellt. Hierbei können sowohl Sensordaten der Kontextsensorik 53 als auch weitere Informationen von anderen Einrichtungen des Kraftfahrzeugs 50, beispielsweise Navigationsdaten, eine Uhrzeit etc. berücksichtigt werden. Die Informationen von den anderen Einrichtungen können beispielsweise mittels der Kontexterfassungseinrichtung 54 über einen CAN-Bus des Kraftfahrzeugs 50 abgefragt werden.The control device 2 uses the estimation module 3 to estimate an output confidence value 11-x for each of the plurality of AI systems 10-x on the basis of the input data 20 that are or are to be supplied to the plurality of AI systems 10-x and/or on the basis of at least one piece of context information 21. The at least one piece of context information 21 comprises in particular one or more of the following information: weather conditions of an environment of the motor vehicle 50, lighting conditions of an environment, traffic conditions of an environment, dynamic properties of the motor vehicle 50, a current geographical position of the motor vehicle 50, a current time indication (e.g. season, time of day, day of the week, etc.), a vehicle interior situation of the motor vehicle 50 and/or properties of the input data 20, for example a contrast, a brightness and/or color values in the case of camera images as input data 20. The at least one piece of context information 21 is provided to the control device 2. The at least one piece of context information 21 is detected and provided, for example, by means of a context sensor system 53 (in the motor vehicle 50, for example, a brightness sensor, an outside temperature sensor and/or a rain sensor, etc.) and/or a context detection device 54. In this case, both sensor data from the context sensor system 53 and further information from other devices of the motor vehicle 50, for example navigation data, a time of day, etc., can be taken into account. The information from the other devices can be queried, for example, by means of the context detection device 54 via a CAN bus of the motor vehicle 50.

Insbesondere ist vorgesehen, dass das Schätzen der Ausgabekonfidenzwerte 11-x in dem Schätzmodul 3 mittels eines Verfahrens des Maschinenlernens erfolgt, wobei das Verfahren des Maschinenlernens darauf trainiert ist, ausgehend von den Eingangsdaten 20 und/oder der mindestens einen Kontextinformation 21 jeweils Ausgabekonfidenzwerte 11-x der Kl-Systeme 10-x zu schätzen. Insbesondere wird hierbei ein trainiertes tiefes Neuronales Netz verwendet. Das tiefe Neuronale Netz ist darauf trainiert, ausgehend von den Eingangsdaten 20 und/oder der mindestens einen Kontextinformation 21 für jedes der KI-Systeme 10-x einen zugehörigen Ausgabekonfidenzwert 11-x zu schätzen. Das Training des jeweils verwendeten Verfahrens des Maschinenlernens, insbesondere des tiefen Neuronalen Netzes, erfolgt auf Grundlage von empirisch bestimmten Ausgabekonfidenzwerten der einzelnen KI-Systeme 10-x bei als Eingangsdaten gegebenen Trainingsdaten mit bekannter Grundwahrheit.In particular, it is provided that the estimation of the output confidence values 11-x in the estimation module 3 takes place by means of a machine learning method, wherein the machine learning method is trained to estimate output confidence values 11-x of the AI systems 10-x based on the input data 20 and/or the at least one piece of context information 21. In particular, a trained deep neural network is used here. The deep neural network is trained to estimate an associated output confidence value 11-x for each of the AI systems 10-x based on the input data 20 and/or the at least one piece of context information 21. The training of the machine learning method used in each case, in particular the deep neural network, takes place on the basis of empirically determined output confidence values of the individual AI systems 10-x with training data with known ground truth given as input data.

Alternativ oder zusätzlich kann vorgesehen sein, dass das Schätzen der Ausgabekonfidenzwerte 11-x der KI-Systeme 10-x mittels eines regelbasierten Systems erfolgt, wobei das regelbasierte System jeweils eine Zuordnung von der mindestens einen Kontextinformation 21 zu den Ausgabekonfidenzwerten 11-x der KI-Systeme 10-x umfasst. Werden sowohl ein Verfahren des Maschinenlernens, insbesondere ein tiefes Neuronales Netz, als auch ein regelbasiertes System verwendet, so werden die jeweils bereitgestellten Ausgabekonfidenzwerte 11-x für jedes der KI-Systeme 10-x zusammengefasst, beispielsweise indem die Ausgabekonfidenzwerte 11-x für jedes KI-System 10-x gewichtet zusammenaddiert werden. Das Erstellen des regelbasierten Systems erfolgt auf Grundlage von empirisch bestimmten Ausgabekonfidenzwerten der einzelnen KI-Systeme 10-x mit als Eingangsdaten gegebenen Trainingsdaten mit bekannter Grundwahrheit.Alternatively or additionally, it can be provided that the estimation of the output confidence values 11-x of the AI systems 10-x is carried out by means of a rule-based system, wherein the rule-based system comprises an assignment of the at least one piece of context information 21 to the output confidence values 11-x of the AI systems 10-x. If both a machine learning method, in particular a deep neural network, and a rule-based system are used, the output confidence values 11-x provided in each case are summarized for each of the AI systems 10-x, for example by adding together the output confidence values 11-x for each AI system 10-x in a weighted manner. The creation of the rule based system is based on empirically determined output confidence values of the individual AI systems 10-x with training data with known ground truth given as input data.

Die für jedes der KI-Systeme 10-x geschätzten Ausgabekonfidenzwerte 11-x werden dem Mischmodul 4 zugeführt.The output confidence values 11-x estimated for each of the AI systems 10-x are fed to the mixing module 4.

Das Mischmodul 4 stellt eine aus Ausgaben 30-x der einzelnen KI-Systeme 10-x erzeugte Gesamtausgabe 31 in Abhängigkeit der geschätzten Ausgabekonfidenzwerte 11-x bereit. Die erzeugte Gesamtausgabe 31 wird anschließend beispielsweise einer Fahrzeugsteuerung 52 des Kraftfahrzeugs 50 zugeführt, welche auf Grundlage der Gesamtausgabe 31 beispielsweise eine Plantrajektorie für das Kraftfahrzeug 50 durch das aktuelle Umfeld hindurch bereitstellt.The mixing module 4 provides a total output 31 generated from outputs 30-x of the individual AI systems 10-x depending on the estimated output confidence values 11-x. The generated total output 31 is then fed, for example, to a vehicle control 52 of the motor vehicle 50, which, on the basis of the total output 31, provides, for example, a plan trajectory for the motor vehicle 50 through the current environment.

Es kann vorgesehen sein, dass die Ausgaben 30-x der KI-Systeme 10-x beim Erzeugen der Gesamtausgabe 31 jeweils gewichtet berücksichtigt werden, wobei eine Gewichtung jeweils in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte 11-x festgelegt wird.It can be provided that the outputs 30-x of the AI systems 10-x are each taken into account in a weighted manner when generating the total output 31, whereby a weighting is determined in each case depending on the associated estimated output confidence values 11-x.

Ferner kann auch vorgesehen sein, dass die Ausgaben 30-x der KI-Systeme 10-x zum Erzeugen der Gesamtausgabe 31 auf semantischer Ebene zusammengefasst werden, wobei das Zusammenfassen in Abhängigkeit der zugehörigen geschätzten Ausgabekonfidenzwerte 11-x erfolgt.Furthermore, it can also be provided that the outputs 30-x of the AI systems 10-x are summarized at a semantic level to generate the overall output 31, wherein the summarization takes place depending on the associated estimated output confidence values 11-x.

Alternativ oder zusätzlich passt die Steuereinrichtung 2 mittels des Schätzmoduls 3 das Bereitstellen der KI-Systeme 10-x in Abhängigkeit der geschätzten Ausgabekonfidenzwerte 11-x an.Alternatively or additionally, the control device 2 uses the estimation module 3 to adapt the provision of the AI systems 10-x depending on the estimated output confidence values 11-x.

Insbesondere kann vorgesehen sein, dass mindestens ein KI-System 10-x in Abhängigkeit eines zugehörigen geschätzten Ausgabekonfidenzwertes 11-x aktiviert oder deaktiviert wird. Beispielsweise kann ein KI-System 10-x deaktiviert werden, wenn der zugehörige geschätzte Ausgabekonfidenzwert 11-x für die Eingangsdaten 20 sehr gering ist (z.B., wenn der geschätzte Ausgabekonfidenzwert 11-x einen vorgegebenen Schwellenwert unterschreitet), das Kl-System 10-x also wenig geeignet ist, eine zuverlässige Ausgabe 30-x bereitzustellen. Zu einem späteren Zeitpunkt, das heißt bei anderen Eingangsdaten 20, kann das KI-System 10-x dann wieder aktiviert werden, wenn der zugehörige zu den Eingangsdaten 20 (und/oder der mindestens einen Kontextinformation 21) geschätzte Ausgabekonfidenzwert 11-x sich wieder vergrößert hat (das heißt beispielsweise wieder oberhalb des vorgegebenen Schwellenwertes liegt), das KI-System 10-x also (wieder) eine zuverlässige Ausgabe 30-x bereitstellt.In particular, it can be provided that at least one AI system 10-x is activated or deactivated depending on an associated estimated output confidence value 11-x. For example, an AI system 10-x can be deactivated if the associated estimated output confidence value 11-x for the input data 20 is very low (e.g., if the estimated output confidence value 11-x falls below a predetermined threshold value), i.e. the AI system 10-x is not very suitable for providing a reliable output 30-x. At a later point in time, i.e. with other input data 20, the AI system 10-x can be activated again if the output confidence value 11-x estimated for the input data 20 (and/or the at least one piece of context information 21) has increased again (i.e., for example, is again above the predetermined threshold value), i.e. the AI system 10-x (again) provides a reliable output 30-x.

Ferner kann vorgesehen sein, dass eine Konfiguration mindestens eines Kl-Systems 10-x in Abhängigkeit eines zugehörigen geschätzten Ausgabekonfidenzwertes 11-x geändert wird. Insbesondere kann das KI-System 10-x umkonfiguriert werden, beispielsweise indem einzelne Module bzw. Teile innerhalb des KI-Systems 10-x aktiviert oder deaktiviert werden, Parameter geändert werden oder eine Verschaltung innerhalb des KI-Systems 10-x geändert wird, sodass das KI-System 10-x auf die aktuellen Eingangsdaten 20 bzw. einen aktuellen Kontext angepasst ist und eine Ausgabe 30-x mit einer größeren Zuverlässigkeit, das heißt einem größeren Ausgabekonfidenzwert 11-x liefert. Das Umkonfigurieren kann insbesondere ebenfalls in Abhängigkeit von vorgegebenen Schwellenwerten für die Ausgabekonfidenzwerte 11-x erfolgen. Unterschreitet ein Ausgabekonfidenzwert 11-x eines Kl-Systems 10-x einen vorgegebenen Schwellenwert, so wird das KI-System 10-x umkonfiguriert. Wird der Schwellenwert im Anschluss wieder erreicht oder überschritten, so wird das KI-System 10 wieder in die vorherige Konfiguration zurückversetzt. Die Art und Weise, wie ein KI-System 10-x umkonfiguriert wird, kann beispielsweise empirisch bestimmt werden. Dies kann insbesondere auch unter Berücksichtigung der mindestens einen Kontextinformation 21 erfolgen.Furthermore, it can be provided that a configuration of at least one AI system 10-x is changed depending on an associated estimated output confidence value 11-x. In particular, the AI system 10-x can be reconfigured, for example by activating or deactivating individual modules or parts within the AI system 10-x, changing parameters or changing a connection within the AI system 10-x, so that the AI system 10-x is adapted to the current input data 20 or a current context and delivers an output 30-x with greater reliability, i.e. a larger output confidence value 11-x. The reconfiguration can in particular also take place depending on predetermined threshold values for the output confidence values 11-x. If an output confidence value 11-x of an AI system 10-x falls below a predetermined threshold value, the AI system 10-x is reconfigured. If the threshold value is subsequently reached or exceeded again, the AI system 10 is returned to the previous configuration. The manner in which an AI system 10-x is reconfigured can, for example, be determined empirically. This can in particular also be done taking into account the at least one piece of context information 21.

Die Vorteile der Vorrichtung 1 und des Verfahrens sind, dass Ausgabekonfidenzwerte 11-x mit einer geringeren Rechenleistung geschätzt werden können. Ferner können die KI-Systeme 10-x bzw. deren Ausgaben 30-x hierdurch verbessert bereitgestellt werden. Insbesondere kann eine Konfidenz einer Gesamtausgabe 31 erhöht werden.The advantages of the device 1 and the method are that output confidence values 11-x can be estimated with less computing power. Furthermore, the AI systems 10-x or their outputs 30-x can be provided in an improved manner as a result. In particular, a confidence of an overall output 31 can be increased.

BezugszeichenlisteList of reference symbols

11: Vorrichtungdevice
22: SteuereinrichtungControl device
33: SchätzmodulEstimation module
44: MischmodulMixing module
10-x10-x: KI-SystemAI system
11-x11-x: AusgabekonfidenzwertOutput confidence value
2020: EingangsdatenInput data
2121: KontextinformationContext information
30-x30-x: Ausgabeoutput
3131: GesamtausgabeComplete edition
5050: KraftfahrzeugMotor vehicle
5151: Sensorsensor
5252: FahrzeugsteuerungVehicle control
5353: KontextsensorikContext sensing
5454: KontexterfassungseinrichtungContext detection device

Claims

Method for the optimal provision of AI systems (10-x), wherein an output confidence value (11-x) for each of the plurality of AI systems (10-x) is estimated by means of a control device (2) exclusively on the basis of input data (20) which are or are to be supplied to a plurality of AI systems (10-x) and/or of at least one piece of context information (21), wherein the provision of the AI systems (10-x) is adapted by means of the control device (2) depending on the estimated output confidence values (11-x) and/or a total output (31) generated from outputs (30-x) of the individual AI systems (10-x) is provided depending on the estimated output confidence values (11-x).

Procedure according to Claim 1 , characterized in that the output confidence values (11-x) are estimated by means of a machine learning method, wherein the machine learning method is trained to estimate the output confidence values (11-x) of the AI systems (10-x) on the basis of the input data (20) and/or the at least one piece of context information (21).

Procedure according to Claim 1 or 2 , characterized in that the estimation of the output confidence values (11-x) is carried out by means of a rule-based system, wherein the rule-based system comprises an assignment of the at least one piece of context information (21) to the output confidence values (11-x) of the AI systems (10-x).

Method according to one of the preceding claims, characterized in that outputs (30-x) of the AI systems (10-x) are each taken into account in a weighted manner when generating the total output (31), wherein a weighting is determined in each case as a function of the associated estimated output confidence values (11-x).

Method according to one of the preceding claims, characterized in that outputs (30-x) of the AI systems (10-x) are summarized on a semantic level to generate the overall output (31), wherein the summarizing takes place depending on the associated estimated output confidence values (11-x).

Method according to one of the preceding claims, characterized in that at least one AI system (10-x) is activated or deactivated depending on an associated estimated output confidence value (11-x).

Method according to one of the preceding claims, characterized in that a configuration of at least one AI system (10-x) is changed depending on an associated estimated output confidence value (11-x).

Method according to one of the preceding claims, characterized in that the AI systems (10-x) each provide a function for the automated driving of a vehicle (50) and/or for driver assistance of the vehicle (50) and/or for environmental recognition for the automated driving of a vehicle (50).

Device (1) for the optimal provision of AI systems (10-x), comprising: a control device (2), wherein the control device (2) is designed to estimate an output confidence value (11-x) for each of the plurality of AI systems (10-x) exclusively on the basis of input data (20) that are or are to be supplied to a plurality of AI systems (10-x) and/or of at least one piece of context information (21), and to adapt the provision of the AI systems (10-x) depending on the estimated output confidence values (11-x) and/or to provide a total output (31) generated from outputs (30-x) of the individual AI systems (10-x) depending on the estimated output confidence values (11-x).

Motor vehicle (50), comprising at least one device (1) according to Claim 9