DE102019125094A1

DE102019125094A1 - Verfahren zur Unterbodenüberwachung eines Fahrzeugs

Info

Publication number: DE102019125094A1
Application number: DE102019125094.3A
Authority: DE
Inventors: Maximilian Poepperl; Niko Sommer; Raghavendra Gulagundi; Hans-Christian Herkner
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2021-03-18

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs, aufweisend folgende Schritte: Erstes Detektieren von ersten Untergrundinformationen als Referenzdaten mit einem am Fahrzeug angeordneten Sensorsystem (10), sobald das Fahrzeug abgestellt ist (15); Speichern der Referenzdaten in einem Speichersystem (20); Neues Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem (30), sobald das abgestellte Fahrzeug aktiviert wird (35); Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit (40); Klassifizieren mit einem Klassifikator (50) anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden ist (T, F) zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist; wobei der Klassifikator zum Klassifizieren (50) mit einem Datensatz angelernt ist. Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem mit Mitteln zur Durchführung der Schritte des Verfahrens. Des Weiteren betrifft die vorliegende Erfindung ein Fahrzeug mit dem Fahrunterstützungssystem. Des Weiteren betrifft die vorliegende Erfindung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen. Des Weiteren betrifft die vorliegende Erfindung ein Datenträgersignal, das das Computerprogramm überträgt. Des Weiteren betrifft die vorliegende Erfindung ein computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs.
Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem mit Mitteln zur Durchführung der Schritte des Verfahrens.
Des Weiteren betrifft die vorliegende Erfindung ein Fahrzeug mit dem F ah ru nterstützu ngssystem.
Des Weiteren betrifft die vorliegende Erfindung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.
Des Weiteren betrifft die vorliegende Erfindung ein Datenträgersignal, das das Computerprogramm überträgt.
Des Weiteren betrifft die vorliegende Erfindung ein computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.
Um eine Unterbodenüberwachung zu realisieren gibt es verschiedene Möglichkeiten. Neben kamerabasierten Lösungen, die insbesondere in schlecht ausgeleuchteten Parkhäusern oder bei Nacht an ihre Grenzen stoßen, sind auch infrarotbasierte Lösungen möglich. Wie Kameras erleiden diese Systeme jedoch hohe Leistungseinbußen durch Verschmutzung oder Beschädigung der Sensorhülle.
Ultraschall bietet eine kostengünstige Möglichkeit um den Unterboden eines Fahrzeugs zu überwachen. Störgrößen wie schlechtes Licht oder ähnliches treten hier nicht auf. Die Reichweite der Ultraschallsensoren ist prinzipiell auch für die Überwachung des Unterbodens ausreichend.
Bisherige Implementierungen von Ultraschallsensoren nutzen die direkte Detektion von Objekten, üblicherweise mithilfe von Schwellwerten, zur Bestimmung der Unterbodenfreiheit. Dabei werden beispielsweise Objekte in der Nähe des Radkastens platziert und von dort gemessen, ob sich Objekte vor oder hinter dem Rad befinden. Um eine vollständige Abdeckung mit diesem Verfahren zu erreichen, muss vor und hinter jedem Rad ein Ultraschallsensor eingebaut werden. Dies ist technisch komplex, reduziert die Flexibilität für den Einbau und ist zudem eine kostenintensive Lösung.
Geschickte Einbaupositionen, Auswertungen von Signal-Einhüllenden und Online-Kalibrierverfahren, beziehungsweise Referenzmessungen, lösen viele der klassischen Detektionsprobleme. Online-Kalibrierverfahren, die auf den Signal-Einhüllenden basieren, nutzen hierzu Referenzmessungen beim Abstellen des Fahrzeugs. Wenn das Fahrzeug auf einen Parkplatz gestellt wurde, kann unmittelbar nach diesem Abstellvorgang davon ausgegangen werden, dass keine unerwünschten Objekte unter dem Fahrzeug vorhanden sind. Beim erneuten Starten des Fahrzeugs wird diese Referenz anschließend mit einer aktuellen Messung verglichen. Dabei besteht ein gängiger Ansatz darin, die Referenz mit einer einstellbaren Skalierung oder einem Versatz zu versehen und als Schwellwert für die Detektion von Objekten zu verwenden. Je nach Szenario und Algorithmus kann dabei ein Über- oder Unterschreiten des Schwellwertes als Vorhandensein eines Objekts interpretiert werden. Aufgrund hoher Stör-Echo-Amplituden am Unterboden und weiteren Umgebungseinflüssen ist die Robustheit der Schwellwertlösung jedoch eingeschränkt und führt zu gelegentlichen Fehlern.
Am Fahrzeug seitlich angeordnete Ultraschallsensoren eignen sich grundsätzlich für den Einsatz in Parkszenarien. Hierzu detektieren Ultraschallsensoren bestimmte Objekte, beispielsweise Autos oder Wände. Dabei wird davon ausgegangen, dass in der Szene neben dem Bodenbelag nur diese detektierten Objekte vorhanden sind. In dieser Konstellation treten Störechos hauptsächlich in einem bestimmten Abstandsbereich und mit bekannter Echo-Verteilung abhängig vom Bodenbelag auf.
Im Unterboden eines Fahrzeugs angeordnete Ultraschallsensoren detektieren erheblich mehr Störechos als am Fahrzeug seitlich angeordnete Ultraschallsensoren. Zum einen sind die Ultraschallsensoren deutlich näher zum Untergrund eingebaut, sodass Reflexionen stärker ausfallen. Zum anderen erzeugt auch der Unterboden Störechos, die eine Objektdetektion erschweren. Des Weiteren führen auch weitere Bauteile des Fahrzeugs, beispielsweise Räder oder Reifen, zu Reflexionen. Diese Reflexionen sind für die Detektion von Objekten, die das Fahrzeug beschädigen könnten oder selbst durch das losfahrende Fahrzeug beschädigt würden, kontraproduktiv.
Das Dokument JP H11321497 offenbart eine Unterbodenüberwachung mittels Ultraschallsensoren, wobei nach einem Abstellen des Fahrzeugs eine Referenzmessung durchgeführt wird und diese gespeichert wird. Bei der eigentlichen Messung wird das erzielte Ergebnis mit der Referenz verglichen, um eine Veränderung zu erkennen.
Auch die Offenlegungsschrift DE 102017111932 A1 offenbart eine solche Unterbodenüberwachung. Genauer offenbart sie ein Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Kraftfahrzeug, bei welchem ein Ultraschallsignal in einen Bodenbereich unterhalb des Kraftfahrzeugs ausgesendet wird und ein Ultraschallsignal aus dem Bodenbereich empfangen wird und mittels eines Steuergeräts anhand des ausgesendeten und/oder des empfangenen Ultraschallsignals ein Objekt in dem Bodenbereich erkannt wird. Dabei wird das Ultraschallsignal mit einem ersten Ultraschallsensor der Ultraschallsensorvorrichtung ausgesendet und das von dem ersten Ultraschallsensor ausgesendete und an einer Fahrbahnoberfläche in dem Bodenbereich reflektierte Ultraschallsignal mit einem zweiten Ultraschallsensor der Ultraschallsensorvorrichtung wird empfangen. Das Objekt wird anhand eines Anteils des von dem zweiten Ultraschallsensor empfangenen Ultraschallsignals mittels des Steuergeräts erkannt.
Die Detektion von Objekten im Bereich unter dem Fahrzeug stellt nach alledem hohe Anforderungen an Ultraschallalgorithmen, die mit klassischen Algorithmen, beispielsweise schwellwertbasierten Ansätzen, nicht lösbar sind.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs, ein Fahrunterstützungssystem, ein Fahrzeug, ein Computerprogramm, ein Datenträgersignal und ein computerlesbares Medium anzugeben, die die vorgenannten Probleme lösen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs angegeben, aufweisend folgende Schritte:

Erstes Detektieren von ersten Untergrundinformationen als Referenzdaten mit einem am Fahrzeug angeordneten Sensorsystem, sobald das Fahrzeug abgestellt ist;
Speichern der Referenzdaten in einem Speichersystem;
Neues Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem, sobald das abgestellte Fahrzeug aktiviert wird; Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit; Klassifizieren mit einem Klassifikator anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden ist zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist;
dadurch gekennzeichnet, dass der Klassifikator zum Klassifizieren mit einem Datensatz angelernt ist.

Erfindungsgemäß ist außerdem ein Fahrunterstützungssystem mit Mitteln zur Durchführung der Schritte des Verfahrens angegeben. Das Fahrunterstützungssystem kann ein Fahrunterstützungssystem zum Unterstützen von autonomem oder halbautonomem Fahren entsprechender autonomer oder halbautonomer Fahrzeuge oder ein Fahrerassistenzsystem zum Unterstützen eines Fahrers des Fahrzeugs in verschiedenen Fahrsituationen aufweisen.
Weiter ist erfindungsgemäß ein Fahrzeug mit dem Fahrunterstützungssystem angegeben. Vorzugsweise ist das Fahrzeug ein Ego-Fahrzeug eines Fahrers.
Weiter ist erfindungsgemäß ein Computerprogramm angegeben, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen. Ein Computerprogramm ist eine Sammlung von Anweisungen zum Ausführen einer bestimmten Aufgabe, die dafür konzipiert ist, eine bestimmte Klasse von Problemen zu lösen. Die Anweisungen eines Programms sind dafür konzipiert, durch einen Computer ausgeführt zu werden, wobei es erforderlich ist, dass ein Computer Programme ausführen kann, damit es funktioniert.
Weiter ist erfindungsgemäß ein Datenträgersignal angegeben, das das Computerprogramm überträgt.
Weiter ist erfindungsgemäß ein computerlesbares Medium angegeben, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, Schritte des Verfahrens auszuführen.
Die Grundidee der vorliegenden Erfindung setzt bei der Verarbeitung der Referenzmessung mit der Echtzeitmessung an. Bei der Verarbeitung wird ein System mit einem angelernten Datensatz verwendet. Insbesondere kann dies ein Neuronales Netzwerk und/oder ein Feature-basierter Klassifikator sein. Diese werden trainiert beziehungsweise angelernt, um unterscheiden zu können, ob die Veränderungen tatsächlich ein problematisches Objekt betreffen oder nicht. So kann es schließlich auch sein, dass ein Blatt eines Baumes unter dem Fahrzeug detektiert wird. Dies beeinträchtigt das Ausparken jedoch nicht. Auch kann beispielsweise durch Regen eine Benetzung des Bodens erfolgen, die zu einer veränderten Reflexion des Untergrunds führt und damit generell zu einer Änderung des Messergebnisses. Dennoch ist ein nasser Untergrund kein Hindernis, das es zu beachten gilt.
Anders formuliert bedeutet dies, dass zur Verbesserung der Detektion eines Unterbodens eines Fahrzeugs die Auswertung der Signale mit Hilfe von maschinellem Lernen, auch bekannt als Machine Learning, verwendet wird.
Maschinelles Lernen ist ein Oberbegriff für die künstliche Generierung von Wissen aus Erfahrung. Demnach lernt ein künstliches System aus Beispielen und kann diese nach Beendigung der Lernphase verallgemeinern. Dazu bauen Algorithmen beim maschinellen Lernen ein statistisches Modell auf, das auf Trainingsdaten beruht. Das heißt, es werden nicht einfach die Beispiele auswendig gelernt, sondern es erkennt Muster und Gesetzmäßigkeiten in den Lerndaten. So kann das System auch unbekannte Daten beurteilen, bekannt als Lerntransfer, oder aber am Lernen unbekannter Daten scheitern, bekannt als Überanpassung; Englisch overfitting.
Dabei können beim maschinellen Lernen zwei verschiedene Ansätze unterschieden werden: erstens eine Feature-lose Klassifikation, beispielsweise mittels einem Künstlichen Neuronalen Netzwerk und zweitens eine Feature basierte Klassifikation, beispielsweise mittels einer Support Vector Machine.
Bevorzugte Grundlage für beide Klassifizierungsansätze ist das Aufzeichnen der Hüllkurve im Steuergerät. Prinzipiell kann bereits nach dem Aufzeichnen von nur einer Hüllkurve eine Klassifikation beziehungsweise eine Objektdetektion durchgeführt werden. Robuster hingegen ist ein zweischrittiger Ansatz. Dabei wird beim Abstellen des Fahrzeugs eine Referenzmessung durchgeführt. Beim Starten des Fahrzeugs wird dann eine neue Messung gespeichert. Beide Messungen können nun direkt an einen Klassifikator, insbesondere einem Künstlichen Neuronalen Netz oder einer Support Vector Machine, weitergeleitet werden und eine Objektdetektion durchgeführt werden. Der genaue Zusammenhang zwischen den beiden Messungen, also Referenz- und Echtzeitmessung, wird im Idealfall vom Klassifikator während eines Anlernens, also Trainingsprozesses gelernt. Eine weitere Möglichkeit besteht darin, bereits vorher eine Verarbeitung von Referenzmessung und Echtzeitmessung durchzuführen. Als sinnvolle Varianten ergeben sich beispielsweise ein Differenzsignal zu erzeugen oder den Quotienten der beiden Signale zu berechnen. Für die Differenz- und Quotientenbildung können die Signale unskaliert oder skaliert, insbesondere mit einer nicht linearen Skalierung, genutzt werden. Einem Netz können dann die Differenzen oder Quotienten übergeben werden. Für einen Feature-basierten Klassifikator bieten sich verschiedene Merkmale an, beispielsweise kann im Differenzsignal, die Anzahl der Nulldurchgänge, die Anzahl der Samples größer/kleiner Null, die Symmetrie oder Steilheit der positiven oder negativen Peaks, oder ähnliches verwendet werden.
Aufgrund des Zweiklassenproblems, nämlich Objekt vorhanden oder nicht, bieten sich für die Objektdetektion insbesondere binäre Klassifikatoren, wie beispielsweise eine Support Vector Machine an. Um solche Klassifikatoren nutzen zu können, sind zusätzlich zum zweischrittigen Ansatz Trainingsdaten notwendig, um das Anlernen der Klassifikatoren zu ermöglichen. Dazu sind sowohl Referenzdaten als auch neue Echtzeitdaten notwendig.
Vorteil der beschriebenen Lösung ist insbesondere die höhere Robustheit des Verfahrens gegenüber Fehldetektionen bei gleichzeitiger Erhöhung der Sensitivität. Durch die Verwendung verschiedener Features, die sowohl das Signal global, als auch einzelne Maxima/Peaks sehr spezifisch beschreiben, können Umweltstörungen zuverlässig unterdrückt werden. Des Weiteren bietet das Verwenden diverser Features und das geschickte Kombinieren derer, auch die Möglichkeit schon bei kleineren Differenzausschlägen zuverlässige auf Objekte schließen zu können.
Beim Trainieren des Neuronalen Netzwerks werden insbesondere verschiedene Untergründe und/oder verschiedene Untergrundzustände verwendet. Ferner können unterschiedliche Objekte trainiert werden, insbesondere stark und schwach reflektierende Objekte.
Dabei kann das Neuronale Netzwerk oder der Feature basierte Klassifikator jeweils mit einer Referenz und einer objektbehafteten Messung gespeist werden. Alternativ kann auch eine Vorverarbeitung der Daten erfolgen, beispielsweise durch Differenz-, Quotientenbildung und/oder durch Skalierung.
Das Detektieren der Untergrundinformation erfolgt derart, dass sowohl der Untergrund selbst als auch gegebenenfalls auf dem Untergrund befindliche Objekte, beispielsweise Tiere, als Untergrundinformation detektiert werden. Das Sensorsystem ist folglich dementsprechend anzuordnen, dass sowohl der Untergrund als auch die gegebenenfalls darauf befindlichen Objekte vom Detektionsfeld des Sensorsystems erfasst werden können.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen ein Extrahieren vordefinierter Merkmale der verarbeiteten Referenz- und/oder Echtzeitdaten mit der Recheneinheit zum Klassifizieren mit dem Klassifikator; zwischen dem Verarbeiten der Referenzdaten und der Echtzeitdaten mit der Recheneinheit; und dem Klassifizieren mit dem Klassifikator anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden ist zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist. Dies ist geeignet, um eine reduzierte Rechenleistung zu erfordern. So kann beispielsweise ein Grundrauschen entfernt werden, sodass nur Maxima/Peaks zu berücksichtigen sind. Dies reduziert somit die benötigte Rechenkapazität, beschleunigt die Berechnung und reduziert den Energieverbrauch zum Klassifizieren.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Sensorsystem ein Ultraschallsensorsystem ist. Es hat sich herausgestellt, dass ein Ultraschallsensorsystem ein besonders vorteilhaftes Sensorsystem zur Lösung der erfindungsgemäßen Aufgabe ist. Dies ist insbesondere damit zu begründen, dass Ultraschallsensoren zuverlässig klassifizierbare Detektionsergebnisse erzeugen, wobei die Ultraschallsensoren zudem günstig herstellbar sind.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass die durch das Sensorsystem detektierten Referenz- und/oder Echtzeitdaten als jeweils mindestens eine Hüllkurve verarbeitet werden. Durch eine Hüllkurve kann ein Betrag eines komplexen Basisbandsignals dargestellt werden. Nach einer Vorverarbeitung einer abgetasteten Membranschwingung, die sowohl Peaks als auch eine Trägerfrequenz umfasst, wird dabei die Trägerfrequenz entfernt. Somit werden hochfrequente Oszillationen der Trägerfrequenz entfernt, sodass eine Hüllkurve dieser Oszillationen übrigbleibt. Hierbei handelt es sich um eine zuverlässige Methode, um die detektierten Daten zu klassifizieren. Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass eine Vielzahl von Detektionsvorgängen durchgeführt wird und die Werte gemittelt werden des ersten Detektierens von ersten Untergrundinformationen; und/oder neuen Detektierens von neuen Untergrundinformationen. Dies glättet vereinzelte Messfehler, sodass das Verfahren gegenüber nur einem verwendeten Messergebnis als Verarbeitungsgrundlage robuster beziehungsweise zuverlässiger ist. Es hat sich herausgestellt, dass auch bei dem Bestreben von reduzierten Rechenkapazitäten, der Vorteil des Glättens die erhöhte Rechenkapazität überwiegt, da die Bildung eines Mittelwerts mit sehr wenigen und einfachen Rechenschritten möglich ist.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Klassifikator zum Klassifizieren von verarbeiteten Referenz- und Echtzeitdaten ein Künstliches Neuronales Netzwerk verwendet, wobei das Künstliche Neuronale Netzwerk mindestens eine Eingangs- und eine Ausgangsschicht aufweist, wobei zwischen der Eingangsschicht und der Ausgangsschicht vorzugsweise eine oder mehrere verdeckte Schichten angeordnet sind.
Künstliche Neuronale Netzwerke, sind Netze aus künstlichen Neuronen. Sie sind Gegenstand der Neuroinformatik und stellen einen Zweig der künstlichen Intelligenz dar. Künstliche Neuronale Netzwerke haben, ebenso wie künstliche Neuronen, ein biologisches Vorbild. Man stellt sie natürlichen neuronalen Netzen gegenüber, die eine Vernetzung von Neuronen im Nervensystem eines Lebewesens darstellen. Bei Künstlichen Neuronalen Netzwerken geht es allerdings mehr um eine Abstraktion, also eine Modellbildung, von Informationsverarbeitung, weniger um das Nachbilden biologischer neuronaler Netze und Neuronen. Künstliche Neuronale Netzwerke basieren vorzugsweise auf der Vernetzung vieler McCulloch-Pitts-Neuronen oder Abwandlungen davon. Grundsätzlich können auch andere künstliche Neuronen Anwendung finden, beispielsweise High-Order-Neuronen.
Die Topologie eines Künstlichen Neuronalen Netzwerkes, also die Zuordnung von Verbindungen zu Knoten ist abhängig von seiner Aufgabe sorgfältig auszuwählen. Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Künstliche Neuronale Netzwerk mit einem Datensatz angelernt wird. In Künstlichen Neuronalen Netzwerken bezeichnet die Topologie die Struktur des Netzes. Damit ist im Allgemeinen gemeint, wie viele künstliche Neuronen sich auf wie vielen Schichten befinden, und wie diese miteinander verbunden sind. Künstliche Neuronen können auf vielfältige Weise zu einem Künstlichen Neuronalen Netzwerk verbunden werden. Dabei werden Neuronen bei vielen Modellen in hintereinander liegenden Schichten, englisch layers, angeordnet; bei einem Netz mit nur einer trainierbaren Neuronenschicht spricht man von einem einschichtigen Netzwerk.
Unter Verwendung eines Graphen können die Neuronen als Knoten und ihre Verbindungen als Kanten dargestellt werden. Die Eingaben werden gelegentlich auch als Knoten dargestellt.
Die erste Schicht wird regelmäßig als Eingangsschicht bezeichnet. Die hinterste Schicht des Netzes, deren Neuronenausgaben meist als einzige außerhalb des Netzes sichtbar sind, wird Ausgabeschicht, englisch output layer, genannt. Davorliegende Schichten werden entsprechend als verdeckte Schicht, englisch hidden layer, bezeichnet.
Ein wesentlicher Vorteil von Künstlichen Neuronalen Netzwerken besteht in deren vielseitigen und dabei zuverlässigen Anwendbarkeit. Abhängig von der Menge an angelernten Daten können sie teilweise zuverlässigere Aussagen treffen als Menschen.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Klassifikator zum Klassifizieren von verarbeiteten Referenz- und Echtzeitdaten ein Feature-basiertes System verwendet, insbesondere eine Support Vector Machine, wobei die Support Vector Machine eine Hyperebene aufweist, um Umgebungsinformationen ober- oder unterhalb einer Trennfläche als vorhandenes Objekt beziehungsweise nichtvorhandenes Objekt zu klassifizieren.
Das Feature-basierte System kann ein binäres System sein. Hierbei bildet die Formulierung Feature-basiertes System den allgemein bekannten Begriff. Teilweise ist dies auch bekannt als merkmalsbasiertes System.
Beispielhaft ist eine Support Vector Machine ein solch binäres System. Dies bedeutet, dass nur zwei Zustände klassifiziert werden. Eine Support Vector Machine dient als Klassifikator zum Klassifizieren und Regressor zur Regressionsanalyse. Klassifizieren nennt man das Zusammenfassen von Objekten zu Klassen, beispielsweise Gruppen, Mengen, Kategorien, welche zusammen eine Klassifikation bilden. Regressionsanalysen sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Sie werden insbesondere verwendet, wenn Zusammenhänge quantitativ zu beschreiben oder Werte der abhängigen Variablen zu prognostizieren sind. Eine weitere Anwendung der Regression ist die Trennung von Signal, in Sinne einer Funktion, und Rauschen, im Sinne einer Störgröße, sowie die Abschätzung des dabei gemachten Fehlers.
Eine Support Vector Machine unterteilt eine Menge von Objekten derart in Klassen, dass um die Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt; sie ist ein sogenannter Large Margin Classifier, teilweise bekannt als Breiter-Rand-Klassifikator.
Support Vector Machines sind keine Maschinen im herkömmlichen Sinne, bestehen also nicht aus greifbaren Bauteilen. Es handelt sich um ein mathematisches Verfahren der Mustererkennung, das in Computerprogrammen umgesetzt wird. Der Namensteil machine weist dementsprechend nicht auf eine Maschine hin, sondern auf das Herkunftsgebiet der Support Vector Machines, das maschinelle Lernen.
Vorteilhaft ist bei Feature-basierten Systemen, dass sie zuverlässige und deutliche Ergebnisse herausgeben. Hierzu sind sie mit entsprechenden Datensätzen anzulernen.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit mindestens per Subtraktion erfolgt, um Abweichungen herauszustellen. Die Subtraktion kann derart ausgewählt werden, dass im Wesentlichen Maxima beziehungsweise Peaks übrigbleiben. Das Grundrauschen wird somit herausgetrennt, sodass eine qualitative und zuverlässige Auswertung gefördert wird. Somit besteht die Möglichkeit schon bei kleineren Differenzausschlägen zuverlässig auf Objekte schließen zu können.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit mindestens per Division erfolgt, um Abweichungen herauszustellen. Die Division kann derart ausgewählt werden, dass beispielsweise ein Quotient größer 1 auf das Vorhandensein eines Objekts und ein Quotient kleiner 1 auf das Nichtvorhandensein eines Objekts hindeutet. Dies kann natürlich auch umgekehrt erfolgen. Auch ist beispielhaft möglich, dass aus dem Betrag des Quotienten, beziehungsweise dessen Abstand vom Betrag 1, auf die Größe oder Höhe des Objekts und gegebenenfalls auf die Art des Objekts geschlossen werden kann.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen ein Skalieren der Referenz- und/oder Echtzeitdaten zum Verarbeiten und/oder Klassifizieren. Das Skalieren kann derart ausgewählt werden, dass flache Objekte zuverlässig erfasst werden. Beispielhaft kann durch ein geeignetes Skalieren ein unter dem Unterboden befindliches Blatt identifiziert werden. Dies hilft bei der Auswertung hinsichtlich der Relevanz zur Mitteilung an den Fahrer.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass das erneute Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem in definierten Abständen, beispielsweise stündlich, durchgeführt wird, während das Fahrzeug abgestellt ist. Hierdurch kann beispielsweise ein Verlauf identifiziert werden, etwa die Bildung einer Wasserpfütze während eines Regens in einer Mulde des Untergrunds unter dem Unterboden des Fahrzeugs. Dies ermöglicht zuverlässige Ergebnisse.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Datensatz Untergrundinformationen von unterschiedlichen Untergründen umfasst. Dies erhöht die Zuverlässigkeit der Detektion beziehungsweise im Ergebnis des Klassifizierens. Der Klassifikator benötigt stets einen umfassenden Datensatz, um trotz unterschiedlicher Bedingungen während des täglichen Fahrzeuggebrauchs Objekte zuverlässig zu klassifizieren.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Datensatz Untergrundinformationen von unterschiedlicher Beschaffenheit eines jeweiligen Untergrundes umfasst. Dies erhöht die Zuverlässigkeit der Detektion beziehungsweise im Ergebnis des Klassifizierens. Der Klassifikator benötigt stets einen umfassenden Datensatz, um trotz unterschiedlicher Bedingungen während des täglichen Fahrzeuggebrauchs Objekte zuverlässig zu klassifizieren.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Datensatz Daten aus einer physischen Trainingsphase und/oder einer Simulation aufweist. Dies erhöht die Zuverlässigkeit der Detektion beziehungsweise im Ergebnis des Klassifizierens. Der Klassifikator benötigt stets einen umfassenden Datensatz, um trotz unterschiedlicher Bedingungen während des täglichen Fahrzeuggebrauchs Objekte zuverlässig zu klassifizieren. Insbesondere können durch die Simulation Daten angelernt werden, die im Testlabor nicht realistisch zu erzeugen sind.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
Es zeigt

1 ein schematisches Flussdiagramm eines bevorzugten Verfahrens zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs.

Die 1 zeigt ein schematisches Flussdiagramm eines bevorzugten Verfahrens zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs.
Das bevorzugte Verfahren weist mindestens folgende Schritte auf: Eingangs wird das Fahrzeug auf einem Untergrund abgestellt 15. Es erfolgt ein erstes Detektieren von ersten Untergrundinformationen als Referenzdaten mit einem am Fahrzeug angeordneten Sensorsystem 10. Diese Referenzdaten werden in einem Speichersystem gespeichert 20. Das Speichersystem kann fahrzeugintegriert oder cloudbasiert angeordnet sein.
Sobald das abgestellte Fahrzeug aktiviert wird 35, erfolgt ein erneutes Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem 30. Das Aktivieren des abgestellten Fahrzeugs kann beispielsweise erfolgen durch ein Annähern mit einem Fahrzeugfunkschlüssel oder durch ein Betätigen des Zündschlosses des Fahrzeugs.
Das neue Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem 30 wird bevorzugt in definierten Abständen durchgeführt, während das Fahrzeug abgestellt ist. Ein solcher Zeitabstand kann beispielsweise stündlich sein.
Ein Skalieren der Referenz- und/oder Echtzeitdaten zum Verarbeiten und anschließenden Klassifizieren 25 erhöht die Sensibilität zum Erkennen von Objekten.
Schließlich erfolgt ein Verarbeiten der Referenzdaten aus einem ersten Datenstrang und der Echtzeitdaten aus einem zweiten Datenstrang mit einer Recheneinheit 40.
Eine Möglichkeit, die Robustheit zu erhöhen kann sein, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit 40 mindestens per Subtraktion 40a erfolgt, um Abweichungen herauszustellen.
Ebenfalls möglich, um die Robustheit zu erhöhen kann sein, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit 40 mindestens per Division 40b erfolgt, um Abweichungen herauszustellen.
Bevorzugt schließt sich dem an ein Extrahieren vordefinierter Merkmale der verarbeiteten Referenz- und/oder Echtzeitdaten mit der Recheneinheit 45 zum Klassifizieren mit dem Klassifikator 50.
Abschließend erfolgt ein Klassifizieren mit einem Klassifikator 50 anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden ist T, F zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist. Dabei ist wesentlich, dass der Klassifikator zum Klassifizieren 50 mit einem Datensatz angelernt ist.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Klassifikator zum Klassifizieren 50 von verarbeiteten Referenz- und Echtzeitdaten ein Künstliches Neuronales Netzwerk verwendet 50a, wobei das Künstliche Neuronale Netzwerk mindestens eine Eingangs- und eine Ausgangsschicht aufweist, wobei zwischen der Eingangsschicht und der Ausgangsschicht vorzugsweise eine oder mehrere verdeckte Schichten angeordnet sind.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Klassifikator zum Klassifizieren 50 von verarbeiteten Referenz- und Echtzeitdaten ein Feature-basiertes System verwendet, insbesondere eine Support Vector Machine 50b, wobei die Support Vector Machine eine Hyperebene aufweist, um Umgebungsinformationen ober- oder unterhalb einer Trennfläche als vorhandenes Objekt T beziehungsweise nichtvorhandenes Objekt F zu klassifizieren.
Es ist auch möglich, dass das Künstliche Neuronale Netzwerk mit einem Feature basierten System, insbesondere der Support Vector Machine, kombiniert wird, um die Robustheit weiter zu erhöhen. 1 offenbart hierzu lediglich einen zusammenfassenden Schritt 50.
Um das Verfahren vielseitig und zugleich robust einsetzen zu können ist bevorzugt, dass der Datensatz Untergrundinformationen von unterschiedlichen Untergründen umfasst.
Gemäß einer vorteilhaften Ausführungsform der Erfindung kann das Verfahren derart ausgestaltet sein, dass der Datensatz Untergrundinformationen von unterschiedlicher Beschaffenheit eines jeweiligen Untergrundes umfasst.
Gemäß einer vorteilhaften Ausführungsform der Erfindung ist vorgesehen, dass der Datensatz Daten aus einer physischen Trainingsphase und/oder einer Simulation aufweist.
Hinsichtlich des Sensorsystems ist bevorzugt, dass dieses ein Ultraschallsensorsystem ist, wobei das Ultraschallsensorsystem sowohl das erste Detektieren 10 sowie das neue Detektieren 30 ausführt. Das Sensorsystem weist Sensoren auf, deren Detektionsfeld jeweils einen Bereich zwischen einem Fahrzeugunterboden und dem Untergrund, auf dem das Fahrzeug steht, abdeckt, sodass die Untergrundinformation in diesem Bereich detektiert wird. Dabei ist insbesondere vorgesehen, dass das erste Detektieren 10 und das neue Detektieren 30 auf eine gleiche Weise erfolgt. Insbesondere werden dieselben Sensoren verwendet und/oder das Detektionsfeld nicht verändert.
Insbesondere ist vorgesehen, dass die durch das bevorzugt als Ultraschallsensorsystem ausgebildete Sensorsystem detektierten Referenz- und/oder Echtzeitdaten als jeweils mindestens eine Hüllkurve verarbeitet werden.
Um etwaige vereinzelte Messfehler auszugleichen kann vorgesehen sein, dass eine Vielzahl von Detektionsvorgängen 10, 30 durchgeführt wird und die Werte gemittelt werden des ersten Detektierens von ersten Untergrundinformationen 10; und/oder neuen Detektierens von neuen Untergrundinformationen 30.
Grundsätzlich ist somit gemäß dem bevorzugten Ausführungsbeispiel nach 1 vorgesehen, dass das Fahrzeug ein Sensorsystem aufweist, das dessen Unterbodenbereich detektiert. Im Folgenden wird das Verfahren zwecks besseren Verständnisses mit leicht alternierender Formulierung beschrieben. Mit dem Sensorsystem wird eine Referenzmessung beim Abstellen des Fahrzeugs 15 durchgeführt 10. Diese Referenzmessung ist die Hüllkurve der Empfangs-Amplitude. Die Referenzdaten der Referenzmessung werden im Steuergerät gespeichert 20.
Ganz allgemein kann jedes Steuergerät beziehungsweise jede Recheneinheit ein Speichersystem ausweisen.
Bei längeren Standzeiten kann die Referenzmessung in bestimmten Intervallen aktualisiert werden, beispielsweise einmal pro Stunde. Dazu muss jedoch bei jedem Update sichergestellt sein, dass sich immer noch kein Objekt F unter dem Auto befindet. Dies kann beispielsweise durch eine Objektdetektion sichergestellt werden. Durch die Aktualisierung können beispielsweise Temperaturschwankungen oder Regen kompensiert werden.
Beim Aktivieren beziehungsweise Starten des abgestellten Fahrzeugs 35 wird anschließend erneut eine Messung durchgeführt 30. Als Messung wird nicht zwingend das einmalige Aussenden und Empfangen eines Signals bezeichnet, sondern es kann auch mehrere Sende- und Empfangsvorgänge bezeichnen, die beispielsweise gemittelt werden. Die neue Messung wird dann als Echtzeitmessung mit der Referenzmessung verarbeitet 40. Wie zuvor beschrieben können skalierte Differenzen oder Quotienten beispielhafte Berechnungsvorschriften sein 25.
Das verarbeitete Signal wird dann direkt einem vortrainierten beziehungsweise angelernten Klassifikator übergeben 50, wobei zuvor vordefinierte Merkmale extrahiert werden 45. Diese extrahierten Merkmale 45 können dann einem vortrainierten Klassifikator übergeben werden 50. Die Variante mit einem Feature-basierten, also merkmalsbasierten Klassifikator ist im Ablaufdiagramm nach 1 schematisch und beispielhaft dargestellt.
Bezugszeichenliste

10: Erstes Detektieren von ersten Untergrundinformationen als Referenzdaten mit einem an einem Fahrzeug angeordneten Sensorsystem
15: Abstellen eines Fahrzeugs
20: Speichern der Referenzdaten in einem Speichersystem
25: Skalieren der Referenz- und/oder Echtzeitdaten zum Verarbeiten und/oder Klassifizieren
30: Neues Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit einem am Fahrzeug angeordneten Sensorsystem
35: Aktivieren eines abgestellten Fahrzeugs
40: Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit
40a: Verarbeiten der Referenz- und Echtzeitdaten mindestens per Subtraktion
40b: Verarbeiten der Referenz- und Echtzeitdaten mindestens per Division
45: Extrahieren vordefinierter Merkmale der verarbeiteten Referenz- und/oder Echtzeitdaten mit der Recheneinheit
50: Klassifizieren mit einem Klassifikator anhand der verarbeiteten Referenz- und Echtzeitdaten
50a: Verwenden eines Künstlichen Neuronalen Netzwerks als Klassifikator zum Klassifizieren von verarbeiteten Referenz- und Echtzeitdaten
50b: Verwenden eines Feature basierten Systems als Klassifikator zum Klassifizieren von verarbeiteten Referenz- und Echtzeitdaten
T: Vorhandensein eines Objekts zwischen einem Unterboden eines Fahrzeugs und einem Untergrund auf dem das Fahrzeug abgestellt ist
F: Kein Vorhandensein eines Objekts zwischen einem Unterboden eines Fahrzeugs und einem Untergrund auf dem das Fahrzeug abgestellt ist

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP H11321497 [0013]
DE 102017111932 A1 [0014]

Claims

Verfahren zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs, aufweisend folgende Schritte: - Erstes Detektieren von ersten Untergrundinformationen als Referenzdaten mit einem am Fahrzeug angeordneten Sensorsystem (10), sobald das Fahrzeug abgestellt ist (15); - Speichern der Referenzdaten in einem Speichersystem (20); - Neues Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem (30), sobald das abgestellte Fahrzeug aktiviert wird (35); - Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit (40); - Klassifizieren mit einem Klassifikator (50) anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden ist (T, F) zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist; dadurch gekennzeichnet, dass der Klassifikator zum Klassifizieren (50) mit einem Datensatz angelernt ist.
Verfahren nach Anspruch 1, gekennzeichnet durch ein - Extrahieren vordefinierter Merkmale der verarbeiteten Referenz- und/oder Echtzeitdaten mit der Recheneinheit (45) zum Klassifizieren mit dem Klassifikator (50); zwischen dem - Verarbeiten der Referenzdaten und der Echtzeitdaten mit der Recheneinheit (40); und dem - Klassifizieren mit dem Klassifikator (40) anhand der verarbeiteten Referenz- und Echtzeitdaten, ob ein Objekt vorhanden (T, F) ist zwischen dem Unterboden des Fahrzeugs und dem Untergrund auf dem das Fahrzeug abgestellt ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Sensorsystem ein Ultraschallsensorsystem ist.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass die durch das Sensorsystem detektierten Referenz- und/oder Echtzeitdaten als jeweils mindestens eine Hüllkurve verarbeitet werden.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass eine Vielzahl von Detektionsvorgängen (10, 30) durchgeführt wird und die Werte gemittelt werden des - ersten Detektierens von ersten Untergrundinformationen (10); und/oder - neuen Detektierens von neuen Untergrundinformationen (30).
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Klassifikator zum Klassifizieren (50) von verarbeiteten Referenz- und Echtzeitdaten ein Künstliches Neuronales Netzwerk verwendet (50a), wobei das Künstliche Neuronale Netzwerk mindestens eine Eingangs- und eine Ausgangsschicht aufweist, wobei zwischen der Eingangsschicht und der Ausgangsschicht vorzugsweise eine oder mehrere verdeckte Schichten angeordnet sind.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Klassifikator zum Klassifizieren (50) von verarbeiteten Referenz- und Echtzeitdaten ein Feature basiertes System verwendet, insbesondere eine Support Vector Machine (50b), wobei die Support Vector Machine eine Hyperebene aufweist, um Umgebungsinformationen ober- oder unterhalb einer Trennfläche als vorhandenes Objekt (T) beziehungsweise nichtvorhandenes Objekt (F) zu klassifizieren.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit (40) mindestens per Subtraktion (40a) erfolgt, um Abweichungen herauszustellen.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das Verarbeiten der Referenzdaten und der Echtzeitdaten mit einer Recheneinheit (40) mindestens per Division (40b) erfolgt, um Abweichungen herauszustellen.
Verfahren nach mindestens einem der vorgenannten Ansprüche, gekennzeichnet durch ein Skalieren der Referenz- und/oder Echtzeitdaten zum Verarbeiten und/oder Klassifizieren (25).
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass das neue Detektieren von neuen Untergrundinformationen als Echtzeitdaten mit dem am Fahrzeug angeordneten Sensorsystem (30) in definierten Abständen, beispielsweise stündlich, durchgeführt wird, während das Fahrzeug abgestellt ist.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Datensatz Untergrundinformationen von unterschiedlichen Untergründen umfasst.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Datensatz Untergrundinformationen von unterschiedlicher Beschaffenheit eines jeweiligen Untergrundes umfasst.
Verfahren nach mindestens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass der Datensatz Daten aus einer physischen Trainingsphase und/oder einer Simulation aufweist.
Fahrunterstützungssystem mit Mitteln zur Überwachung eines Unterbodens eines auf einem Untergrund abgestellten Fahrzeugs, zur Durchführung des Verfahrens nach mindestens einem der vorgenannten Ansprüche.
Fahrzeug mit einem Fahrunterstützungssystem nach dem vorgenannten Anspruch.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren nach mindestens einem der vorgenannten Ansprüche auszuführen.
Datenträgersignal, das das Computerprogramm nach dem vorgenannten Anspruch überträgt.
Computerlesbares Medium, umfassend Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, ein Verfahren nach mindestens einem der vorgenannten Ansprüche auszuführen.