-
Die Erfindung betrifft ein Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug, wobei die Umfeldsensoren wenigstens einen Abstandsdaten liefernden Abstandssensor und wenigstens eine Kamerabilder liefernde Kamera umfassen, deren Erfassungsbereiche wenigstens teilweise überlappen und deren unter Verwendung intrinsischer Kalibrierungsparameter aufbereitete Sensordaten unter Verwendung extrinsischer Kalibrierungsparameter in ein gemeinsames Koordinatensystem überführbar sind. Daneben betrifft die Erfindung ein Kraftfahrzeug.
-
Moderne Kraftfahrzeuge weisen oft unterschiedliche Umfeldsensoren auf, um Sensordaten über die Umgebung des Kraftfahrzeugs zu liefern. Dabei ist es insbesondere bekannt, Abstandssensoren, beispielsweise LIDAR-Sensoren, Radarsensoren und dergleichen, zu verwenden, welche wenigstens den Abstand zu Objekten im Umfeld des Kraftfahrzeugs feststellen können, idealerweise auch deren Geschwindigkeit. Derartige Abstandssensoren liefern Abstandsdaten als Sensordaten. Beispielsweise liefern LIDAR-Sensoren als Abstandsdaten letztlich eine Punktwolke mit entsprechenden Abstandswerten. Eine andere häufig verwendete Art von Umfeldsensoren in Kraftfahrzeugen sind Kameras. Kameras liefern Kamerabilder des Umfelds als Sensordaten und können beispielsweise hinter einer Frontscheibe oder anderweitig in der Karoserie verbaut vorgesehen werden.
-
Nachdem die Sensordaten durch verschiedene Fahrzeugsysteme ausgewertet werden sollen, insbesondere gemeinsam, ist es wesentlich, dass die Umfeldsensoren zueinander derart kalibriert sind, dass die Sensordaten in ein gemeinsames Koordinatensystem, beispielsweise ein Kraftfahrzeugkoordinatensystem, überführt werden können. Dies ist insbesondere bei der Zusammenführung von Abstandsdaten und Kamerabildern wichtig. Jedoch erweist sich die Registrierung von Abstandssensoren und Kameras, insbesondere im Fall von LIDAR-Sensoren, häufig als schwierig, was in der Unterschiedlichkeit der erfassten Sensordaten begründet liegt.
-
Bei der Kalibrierung von Umfeldsensoren im Kraftfahrzeug wird üblicherweise zwischen intrinsischen und extrinsischen Kalibrierungsparametern unterschieden. Intrinsische Kalibrierungsparameter betreffen die Erfassungseigenschaften des Umfeldsensors selbst und gehen beispielsweise in die Ermittlung der jeweiligen Sensordaten aus den Rohdaten ein. Im Beispiel einer Kamera können intrinsische Kalibrierungsparameter beispielsweise die Brennweite, das optische Zentrum in der Bildebene und dergleichen sein. Extrinsische Kalibrierungsparameter bestimmen die Position und Orientierung des Umfeldsensors in Bezug auf eine externe Referenz. Diese kann beispielsweise durch ein Kraftfahrzeugkoordinatensystem, welches als Weltkoordinatensystem dienen kann, gegeben sein. Die Position und Orientierung von Umfeldsensoren werden häufig mit dem Begriff der „Pose“ zusammengefasst.
-
Sensordaten von Umfeldsensoren werden in Kraftfahrzeugen beispielsweise in Fahrerassistenzsystemen, insbesondere solchen, die zur teilweise automatischen Führung des Kraftfahrzeugs ausgebildet sind, verwendet. Ein wichtiges Einsatz- und Forschungsgebiet sind jedoch auch Fahrzeugsysteme, die zur vollständig automatischen Führung des Kraftfahrzeugs (autonomer Betrieb) ausgebildet sind.
-
Bekannte extrinsische Kalibrierungsansätze bezüglich einer Kamera und einem Abstandssensor, insbesondere einem LIDAR-Sensor, erfordern eine definierte Messumgebung. Insbesondere wird dabei ein definiertes und bekanntes externes Kalibrierungsziel eingesetzt, wobei üblicherweise eine Schachbrettstruktur herangezogen wird. Das Kalibrierungsobjekt wird gleichzeitig durch mehrere Sensormodalitäten erfasst, insbesondere umfassend wenigstens einen LIDAR-Sensor und wenigstens eine Kamera. Die gemessenen Sensordaten der verschiedenen Umfeldsensoren werden dann einer Merkmalsextraktion unterzogen, um beispielsweise Ecken, Kanten, Ebenen und dergleichen zu identifizieren. In einem folgenden Schritt werden Korrespondenzen zwischen den gleichen physikalischen Punkten des Kalibrierungsziels in den unterschiedlichen Sensordaten gesucht, indem die unterschiedlichen Merkmale verglichen und zugeordnet werden. Aus den resultierenden Merkmalsübereinstimmungen werden die Kalibrierungsparameter, insbesondere sowohl extrinsische als auch intrinsische Kalibrierungsparameter, durch bekannte Optimierungstechniken abgeleitet. Allerdings sind Kalibrierungsprozesse, die definierte Kalibrierungsziele verwenden, arbeitsintensiv und verlangen eine vordefinierte Messumgebung. Zudem kann ein Verlust der Kalibrierung während des Fahrbetriebs des Kraftfahrzeugs nicht detektiert oder kompensiert werden.
-
DE 10 2018 116 108 A1 betrifft ein Kalibrierungsprüfverfahren für den Betrieb von autonomen Fahrzeugen. Ein Fahrzeug beinhaltet eine Kamera an Bord des Fahrzeugs, eine Lidarvorrichtung an Bord des Fahrzeugs, ein Datenspeicherelement an Bord des Fahrzeugs, das einen oder mehrere Transformationsparameterwerte, die einer Paarung der Kamera und der Lidarvorrichtung zugeordnet sind, beibehält, sowie einen oder mehrere Sensoren an Bord des Fahrzeugs und eine Steuerung. Die Steuerung erfasst einen stationären Zustand basierend auf der Ausgabe des einen oder der mehreren Sensoren, erhält einen ersten Satz von Bilddaten von der Kamera während des stationären Zustands, filtert horizontale Randbereiche aus dem ersten Satz, erhält einen zweiten Satz der Entfernungsmessdaten während des stationären Zustands und validiert den einen oder die mehreren Transformationsparameterwerte basierend auf einer Beziehung zwischen dem gefilterten Satz der Bilddaten und dem zweiten Satz der Entfernungsmessdaten. Mit anderen Worten wird dort angenommen, dass Tiefenkanten in den Abstandsdaten mit Kanten in Bilddaten einer Kamera übereinstimmen.
-
US 2020/0145569 A1 betrifft eine LIDAR-zu-Kamera-Kalibrierung zur Erzeugung hochauflösender Karten. Darin erhält das System einen Lidarscan und ein Kamerabild einer Ansicht und bestimmt eine LIDAR-zu-Kamera-Transformation basierend auf dem Lidarscan und dem Kamerabild. Dabei wird ein Kalibrierungsziel verwendet, nämlich ein Schachbrett-Muster.
-
DE 10 2016 009 327 A1 betrifft eine Vorrichtung und ein Verfahren zur Kalibrierung einer Kamera. Dort soll ein LIDAR-Sensor ein definiertes Muster, beispielsweise ein Schachbrettmuster, in die Fahrzeugumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera aussenden, sodass die Kamera das ausgesendete Muster erfassen kann. Eine Auswerteeinheit ist ausgebildet, zu dem in mittels der Kamera erfassten Bildern enthaltenen Muster Entfernungswerte zu ermitteln oder anhand der Entfernungswerte die Kalibrierung der Kamera durchzuführen. Mit anderen Worten wird dort vorgeschlagen, den LIDAR-Sensor selbst zu nutzen, um ein Kalibrierungsobjekt zu erzeugen.
-
Aus der Druckschrift
US 2020/0005489 A1 ist ein Ansatz zur Sensorkalibrierung bekannt, bei dem in Kamerabildern einer ersten und zweiten Kamera jeweils identische Merkmale erkannt werden, wobei in Abhängigkeit der Positionen des jeweiligen Merkmals bzw. des dieses zeigenden Bildpunkts in den verschiedenen Kamerabildern eine Kalibrierung der Kameras erfolgt, ohne dass hierfür eine spezielle Infrastruktur erforderlich ist.
-
Der Erfindung liegt die Aufgabe zugrunde, ein demgegenüber verbessertes, insbesondere ohne Kalibrierungsziel arbeitendes und in beliebigen Umgebungen einsetzbares Kalibrierungsverfahren anzugeben.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art zur Kalibrierung und/oder zur Überprüfung einer möglichen Dekalibrierung erfindungsgemäß vorgesehen,
- - für eine Umfeldszene wenigstens zwei Kamerabilder aus zwei unterschiedlichen Kameraposen und zugeordnete Abstandsdaten aufzunehmen,
- - aus den Abstandsdaten und einem ersten Kamerabild der Kamerabilder unter Verwendung von angenommenen Kalibrierungsparametern ein virtuelles Vergleichsbild zu ermitteln, dessen Kamerapose der eines zweiten Kamerabildes der Kamerabilder entspricht, und
- - eine eine Abweichung der angenommenen Kalibrierungsparameter von tatsächlichen Kalibrierungsparametern anzeigende Abweichungsinformation aufgrund eines Vergleichs des virtuellen Vergleichsbilds mit dem zweiten Kamerabild zu ermitteln,
wobei mit dem virtuellen Vergleichsbild eine Maske ermittelt wird, die anzeigt, wo aufgrund vorliegender Abstandsinformation und Bildinformation in dem ersten Kamerabild eine Ermittlung einer virtuellen Vergleichsbildinformation erfolgte, wobei der Vergleich erst nach Anwendung der Maske auf das zweite Kamerabild erfolgt.
-
Die Erfindung nutzt also aus, dass von einer Umfeldszene Kamerabilder aus unterschiedlichen Blickpunkten und Blickwinkeln, also unterschiedlichen Kameraposen, zusätzlich zu Abstandsdaten der Umfeldszene vorliegen. Eines dieser Kamerabilder - das erste Kamerabild - wird gemeinsam mit den Abstandsdaten genutzt, um ein virtuelles Vergleichsbild zu erzeugen, und zwar für die Kamerapose, in der ein anderes Kamerabild - das zweite Kamerabild - aufgenommen wurde. Das virtuelle Vergleichsbild, welches momentane, angenommene Kalibrierungsparameter nutzt, beschreibt also letztlich, was als zweites Kamerabild erwartet wird, wenn die Kalibrierungsparameter korrekt sind. Das hier beschriebene Konzept geht also von der Annahme aus, dass eine beliebige statische Umfeldszene in den sie betreffenden Kamerabildern gleich wirkt, selbst wenn sie aus unterschiedlichen Kameraposen beobachtet wird. Das synthetisierte, virtuelle Vergleichsbild wird dabei aus einer Tiefenmessung (Abstandsmessung) wenigstens eines Abstandssensors, insbesondere eines oder mehrerer LIDAR-Sensoren, sowie einem ersten Kamerabild generiert und mit dem tatsächlich aufgenommenen zweiten Kamerabild verglichen. Mangelnde Konsistenz zwischen dem virtuellen Vergleichsbild und dem zweiten Kamerabild deutet auf fehlerhafte Kalibrierungsparameter hin.
-
Vorteilhafterweise benötigt das hier vorgestellte Verfahren keine speziellen Kalibrierungsziele, beispielsweise Schachbretter, oder auch von einem LIDAR-Sensor selbst projizierte Kalibrierungsziele. Es kann mithin in beliebigen Umgebungen, insbesondere für beliebige Umfeldszenen beim Betrieb des Kraftfahrzeugs, eingesetzt werden. Mit anderen Worten kann die Kalibrierung und/oder Überprüfung der Dekalibrierung während eines Fahrbetriebs des Kraftfahrzeugs, insbesondere während einer beliebigen Fahrt, erfolgen. Beispielsweise kann vorgesehen sein, während das Kraftfahrzeug im Benutzungseinsatz ist, zyklisch und/oder zu bestimmten Zeitpunkten und/oder bei Erfüllung bestimmter Triggerbedingungen eine Kalibrierung und/oder Überprüfung der Kalibrierung vorzunehmen. Hierfür ist es nicht länger nötig, eine Werkstatt oder eine vordefinierte Kalibrierungsumgebung zu besuchen.
-
Im Rahmen der vorliegenden Erfindung ist auch kein manueller Aufwand erforderlich, um die Kalibrierung und/oder die Überprüfung der Kalibrierung vorzunehmen. Wie bereits erwähnt, kann die Kalibrierung sozusagen „online“, also während einer Fahrt des Kraftfahrzeugs, vorgenommen werden.
-
Mit besonderem Vorteil kann es sich bei dem Abstandssensor um einen LIDAR-Sensor handeln. LIDAR-Sensoren liefern als Abstandsdaten üblicherweise eine Punktewolke. Um für das erste Kamerabild Tiefeninformation zu erhalten, wird die LIDAR-Punktewolke mittels zumindest der extrinsischen Kalibrierungsparameter zwischen dem LIDAR-Sensor und der entsprechenden Kamera sozusagen in den Frame der Kamerapose bei dessen Aufnahme projiziert bzw. transformiert. Eine Transformation zwischen dem 3D-LIDAR-Koordinatensystem und dem 3D-Kamerakoordinatensystem benötigt nur die extrinsischen Kalibrierungsparameter, bei einer Projektion in das 2D-Bildkoordinatensystem sind entsprechend auch die intrinsischen Kalibrierungsparameter relevant.
-
Auch allgemein kann im Rahmen der vorliegenden Erfindung vorgesehen sein, dass zur Ermittlung des virtuellen Vergleichsbilds den Pixeln des ersten Kamerabilds aufgrund von extrinsischen Kalibrierungsparametern, die das geometrische Verhältnis zwischen der Kamerapose, in der das erste Kamerabild aufgenommen wurde, und dem Abstandssensor beschreiben, Tiefeninformationen zur Erzeugung eines Umfeldszenenmodells zugeordnet werden, welches durch Simulation des Bildgebungsvorgangs der das zweite Kamerabild aufnehmenden Kamera, wobei die Simulation das geometrische Verhältnis zwischen der Kamerapose, in der das zweite Kamerabild aufgenommen wurde, und dem Abstandssensor und/oder der Kamerapose, in der das erste Kamerabild aufgenommen wurde, beschreibende extrinsische Kalibrierungsparameter und intrinsische Kalibrierungsparameter der Kamera, die das zweite Kamerabild aufgenommen hat, verwendet, zur Erzeugung des virtuellen Vergleichsbilds verwendet wird. Mit anderen Worten können aufgrund der durch die Abstandsdaten bereitstehenden dreidimensionalen Informationen sowie der angenommenen extrinsischen Kalibrierungsparameter zumindest einem Teil der Pixel, insbesondere jedem Pixel, des ersten Kamerabildes Tiefeninformationen hinzugefügt werden, sodass ein dreidimensionales Umgebungsbild des Anteils der Umfeldszene entsteht, der sowohl von dem Abstandssensor als auch von der das erste Kamerabild aufnehmenden Kamera zu dem betrachteten Zeitpunkt erfasst wurde. Das Umfeldszenenmodell enthält also eine Information darüber, wie ein bestimmter dreidimensionaler Punkt im ersten Kamerabild erscheint und wo er sich befindet. Durch einen simulierten Projektionsvorgang auf der Basis des Umfeldszenenmodells kann nun durch Projektion der Bildgebungsvorgang des zweiten Kamerabilds simuliert werden, um das virtuelle Vergleichsbild zu erhalten. Hierzu werden insbesondere wiederum extrinsische Kalibrierungsparameter der angenommenen Kalibrierungsparameter herangezogen, um die Kamerapose bei der Aufnahme des zweiten Kamerabilds zu dem Umfeldszenenmodell korrekt nachbilden zu können, sowie intrinsische Kalibrierungsparameter der Kamera, um den Bildgebungsprozess abzubilden.
-
Es sei an dieser Stelle noch angemerkt, dass in diesem Kontext eine Ausführungsform denkbar ist, in der nicht für jeden Pixel des ersten Kamerabildes Tiefeninformationen ermittelt werden, sondern nur für „spärliche“ Pixel, beispielsweise nur für auch vom Abstandssensor erfasste Punkte. Dies bringt Vorteile hinsichtlich der Rechenzeit mit sich, kann jedoch die Kalibrierungsgüte erniedrigen.
-
Der Vergleich des virtuellen Vergleichsbilds mit dem zweiten Kamerabild kann durch photometrische Auswertung, insbesondere pixelweise photometrische Auswertung, erfolgen. In diesem Zusammenhang kann zweckmäßigerweise eine pixelweise Verlustfunktion als Abweichungsinformation verwendet werden.
-
Dabei ist festzuhalten, dass selbstverständlich nicht für jedes Pixel des zweiten Kamerabildes aus den Abstandsdaten und dem ersten Kamerabild eine Vergleichsinformation in dem virtuellen Vergleichsbild hergeleitet werden kann, da zwar dieselbe Umfeldszene aufgenommen wird, aber im Normalfall wohl mit lediglich überlappenden Erfassungsbereichen für die verschiedenen Sensordaten. Um einen robusteren und verlässlicheren Vergleich zu ermöglichen, sieht in diesem Zusammenhang die erfindungsgemäße Ausführungsform vor, dass mit dem virtuellen Vergleichsbild eine Maske ermittelt wird, die anzeigt, wo aufgrund vorliegender Abstandsinformation und Bildinformation in dem ersten Kamerabild eine Ermittlung einer virtuellen Vergleichsbildinformation erfolgt, wobei der Vergleich erst nach Anwendung der Maske auf das zweite Kamerabild erfolgt. Mit anderen Worten wird eine Pixel-Validitätsmaske bei der Synthetisierung des virtuellen Vergleichsbilds bestimmt, welche lediglich die Pixel inkludiert, für die Tiefeninformation und die Bildinformation verfügbar sind. Diese Maske wird dann auf das tatsächliche zweite Kamerabild angewandt, wonach der Vergleich, insbesondere durch pixelweise fotometrische Auswertung, erfolgen kann. Auf diese Weise werden nur die Pixel im Vergleich betrachtet, für die auch eine Vergleichsgrundlage vorliegt. Dies sorgt für einen verlässlichen Vergleich und eine möglichst robuste Ermittlung der Abweichungsinformation.
-
Während das erfindungsgemäße Verfahren besonders bevorzugt zur Kalibrierung, insbesondere auch Nachkalibrierung beim Betrieb des Kraftfahrzeugs, eingesetzt werden kann, ist es auch denkbar, eine Dekalibrierung lediglich zu detektieren. Diese ist beispielsweise dann sinnvoll, wenn aufgrund der technischen Gegebenheiten der Überlapp zwischen den Erfassungsbereichen zu klein ist, um eine hinreichend genaue Kalibrierung zu ermöglichen, und dergleichen. Beispielsweise kann eine Dekalibrierung bei einer einen Schwellwert überschreibenden Abweichung festgestellt werden. Dient die Feststellung der Dekalibrierung nicht als Trägersignal für eine vorzunehmende Kalibrierung mittels des erfindungsgemäßen Verfahrens, dann kann beispielsweise eine Nachricht an einen Benutzer, beispielsweise den Fahrer des Kraftfahrzeugs, ausgegeben werden, die auf eine notwendige Kalibrierung hinweist. Denkbar ist es auch, bei einer Dekalibrierung Anpassungen und/oder Deaktivierungen bei Fahrzeugsystemen vorzunehmen, die von der Kalibrierung abhängig sind.
-
Vorzugsweise wird das erfindungsgemäße Verfahren jedoch, gegebenenfalls zusätzlich, zur Kalibrierung eingesetzt. Dabei kann bei einer Erstkalibrierung vorgesehen sein, dass als angenommene Kalibrierungsparameter eine insbesondere aus Vorwissen über den Verbau der Umfeldsensoren in dem Kraftfahrzeug und/oder den Aufbau der Umfeldsensoren abgeleitete Initialvermutung verwendet wird. Von der Auslegung des Kraftfahrzeugs ist bereits bekannt, wie verschiedene Umfeldsensoren zueinander ausgerichtet sein sollten, was als Initialvermutung in die angenommenen Kalibrierungsparameter eingehen kann. Auch die Ausgestaltung der Umfeldsensoren selbst für die intrinsischen Kalibrierungsparameter ist im Grunde bei der Auslegung des Kraftfahrzeugs bereits bekannt. Auf einer solchen Grundlage kann mithin mittels des erfindungsgemäßen Verfahrens auch eine Erstkalibrierung erfolgen, da bereits ein guter Ausgangspunkt in Form der Initialvermutung für die Kalibrierungsparameter gegeben ist. Bei einer Nachkalibrierung/Neukalibrierung sind die angenommenen Kalibrierungsparameter die aktuell im Kraftfahrzeug genutzten Kalibrierungsparameter.
-
Konkret kann zur Kalibrierung vorgesehen sein, dass unter Verwendung der Abweichungsinformation wenigstens ein aktualisierter, die Abweichung zwischen dem Vergleichsbild und dem zweiten Kamerabild minimierender extrinsischer und/oder intrinsischer Kalibrierungsparameter ermittelt wird. Dabei kann zweckmäßigerweise zur Ermittlung des wenigstens einen aktualisierten Kalibrierungsparameters eine iterative Durchführung der Ermittlung des Vergleichsbildes und der Durchführung des Vergleichs mit jeweils angepassten Kandidatenwerten für den wenigstens einen zu aktualisierenden Kalibrierungsparameter, insbesondere in einem Optimierungsverfahren, erfolgen. Mithin werden die zu optimierenden Kalibrierungsparameter im Hinblick auf eine Übereinstimmung zwischen dem Vergleichsbild und dem zweiten Kamerabild optimiert, das bedeutet, die Abweichung zwischen dem Vergleichsbild und dem zweiten Kamerabild wird minimiert bzw. die Konsistenz (Übereinstimmung) zwischen dem virtuellen Vergleichsbild und dem zweiten Kamerabild wird maximiert. Dabei können zweckmäßigerweise die Kalibrierungsparameter als Ganzes, mithin alle intrinsischen und extrinsischen Kalibrierungsparameter, die Optimierungsparameter des entsprechenden Optimierungsverfahrens bilden. Die Abweichung bzw. Konsistenz bildet die Kostenfunktion. Selbstverständlich sind jedoch auch Ausgestaltungen denkbar, in denen nur ein Teil der Kalibrierungsparameter optimiert wird, beispielsweise nur die extrinsischen Kalibrierungsparameter, insbesondere zwischen dem wenigstens einen Abstandssensor und der wenigstens eine Kamera. Grundsätzlich können jedoch selbstverständlich auch intrinsische Kalibrierungsparameter optimiert werden, da diese ja in die Ermittlung der Sensordaten, also der Abstandsdaten und der Kamerabilder, eingehen, wenn diese aus den jeweiligen Rohdaten ermittelt werden. Mit anderen Worten ist es konkret denkbar, bei einer Aktualisierung wenigstens eines intrinsischen Kalibrierungsparameters für jeden Kandidatenwert das Kamerabild bzw. die Abstandsdaten neu aus den zugeordneten Rohdaten zu ermitteln. Immer also dann, wenn in dem Optimierungsverfahren ein neuer Kandidatenwert für einen intrinsischen Kalibrierungsparameter der Kamera respektive des Abstandssensors hinsichtlich der Optimierung überprüft werden soll, werden das entsprechende Kamerabild respektive die entsprechenden Abstandsdaten neu aus den Rohdaten ermittelt.
-
In diesem Zusammenhang ist es ferner zweckmäßig, zur Ermittlung des virtuellen Vergleichsbilds bezüglich der zu optimierenden Kalibrierungsparameter differenzierbare Projektionen durchzuführen. Mit anderen Worten wird für die Ermittlung des virtuellen Vergleichsbilds, insbesondere die Projektion, eine Vorgehensweise eingesetzt, die Differenzierbarkeit bezüglich der Kalibrierungsparameter sicherstellt, sodass bekannte Optimierungsverfahren des Standes der Technik eingesetzt werden können, um die Ermittlung optimierter Kalibrierungsparameter zur Kalibrierung zu ermöglichen.
-
Dabei ist es in einer ersten alternativen Ausführungsform denkbar, dass wenigstens eine erste Kamera für das erste Kamerabild und wenigstens eine zweite, andere Kamera für das zweite Kamerabild verwendet werden, deren relative Pose durch die Kalibrierungsparameter beschrieben wird. beispielsweise wurde in Kraftfahrzeugen bereits vorgeschlagen, an der rechten Seite und an der linken Seite jeweils auf das Vorfeld oder den Rückraum des Kraftfahrzeugs gerichtete Kameras zu verbauen. Diese weisen unterschiedliche Kameraposen auf und bieten somit unterschiedliche Blickpunkte und Blickwinkel auf eine im Vorfeld bzw. im Rückraum des Kraftfahrzeugs befindliche Umfeldszene. Selbstverständlich sind derartige Ausgestaltungen auch für die Seiten des Kraftfahrzeugs denkbar. In einer wieder anderen Ausbildung ist es auch denkbar, sogar drei oder mehr in eine Richtung weisende Kameras an dem Kraftfahrzeug vorzusehen. Werden, wie derart beschrieben, unterschiedliche Kameras für das erste und das zweite Kamerabild verwendet, sind auch diese über die Kalibrierungsparameter extrinsisch miteinander kalibriert; auch die entsprechenden Kalibrierungsparameter von Kamera zu Kamera können dann im Rahmen der hier vorgeschlagenen Kalibrierung optimiert werden.
-
Im Rahmen der vorliegenden Erfindung ist es jedoch auch möglich, dass das erste und das zweite Kamerabild mit derselben Kamera, aber zeitversetzt aufgenommen werden, wobei die relative Pose zwischen den beiden Aufnahmezeitpunkten aus Eigenbewegungsdaten des Kraftfahrzeugs ermittelt wird. Dabei wird ausgenutzt, dass sich das Kraftfahrzeug im Betrieb üblicherweise bewegt, sodass die Kamera bezüglich der Umfeldszene unterschiedliche Kameraposen annimmt, welche genutzt werden können, um das erste und das zweite Kamerabild aus unterschiedlichen Blickpunkten aufnehmen zu können. Kraftfahrzeuge weisen in diesem Kontext häufig Mittel auf, um die Eigenbewegung zwischen den beiden Aufnahmezeitpunkten festzustellen. Beispielsweise kann das Kraftfahrzeug eine Inertialplattform und/oder sonstige Eigenbewegungssensoren umfassen, die die Eigenbewegungsdaten für das Verfahren bereitstellen können. In diesem Zusammenhang ist auch eine Ausführungsform der Erfindung denkbar, in der zusätzlich zu der Kalibrierung und/oder Überprüfung einer möglichen Dekalibrierung auch eine Plausibilisierung der Eigenbewegungsdaten anhand des Vergleichs erfolgt. Das bedeutet, das erfindungsgemäße Vorgehen kann auch ein Feedback hinsichtlich der Eigenbewegungsdaten liefern, da auch jene in den Vergleich und gegebenenfalls sogar bereits in die Ermittlung des virtuellen Vergleichsbilds eingehen.
-
In einer zweckmäßigen Weiterbildung der vorliegenden Erfindung können für jede Kalibrierung und/oder Überprüfung einer möglichen Dekalibrierung mehrere Umfeldszenen gemeinsam betrachtet werden, für die jeweils ein Satz von Abstandsdaten sowie erstem und zweiten Kamerabild vorliegen. Auf diese Weise wird die Robustheit und Genauigkeit des Verfahrens erhöht, indem ausgenutzt wird, dass die Kalibrierung zumindest im Wesentlichen zeitinvariant ist. Daher ist es möglich, beispielsweise mehrere zeitlich nacheinander im Betrieb des Kraftfahrzeugs passierte Umfeldszenen der Kalibrierung/Überprüfung zugrunde zu legen, beispielsweise zwei bis fünf Umfeldszenen. So wird neben einer Erweiterung der Datenbasis auch eine möglichst große Diversität der Umgebung sichergestellt. Für alle Umfeldszenen, die sich auf unterschiedliche Orte beziehen, wird dann ein „Triplet“ aus Abstandsdaten und ersten und zweiten Kamerabild aufgenommen und ausgewertet.
-
Neben dem Verfahren betrifft die vorliegende Erfindung auch ein Kraftfahrzeug, aufweisend als Umfeldsensoren wenigstens einen Abstandsdaten liefernden Abstandssensor und wenigstens eine Kamerabilder liefernde Kamera, deren Erfassungsbereiche wenigstens teilweise überlappen und deren unter Verwendung intrinsischer Kalibrierungsparameter aufbereitete Sensordaten unter Verwendung extrinsischer Kalibrierungsparameter in ein gemeinsames Koordinatensystem überführbar sind. Das erfindungsgemäße Kraftfahrzeug zeichnet sich dadurch aus, dass es ein Steuergerät aufweist, welches zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf das erfindungsgemäße Kraftfahrzeug übertragen, sodass auch mit diesem die bereits genannten Vorteile erhalten werden können.
-
Das Steuergerät kann wenigstens einen Prozessor und wenigstens ein Speichermittel aufweisen. In dem Speichermittel können beispielsweise Kalibrierungsparameter, Sensordaten (also Kamerabilder und Abstandsdaten), aber auch Rohdaten, wenn beispielsweise intrinsische Kalibrierungsparameter optimiert werden sollen, abgelegt werden. Durch Hardware und/oder Software können Funktionseinheiten realisiert werden, um die unterschiedlichen Schritte des erfindungsgemäßen Verfahrens umzusetzen. Beispielsweise kann das Steuergerät eine Ermittlungseinheit für das virtuelle Vergleichsbild und eine Vergleichseinheit zur Durchführung des Vergleichs aufweisen, vorteilhaft jedoch auch eine Optimierungseinheit zur Durchführung eines Optimierungsverfahrens zur Kalibrierung. Über Schnittstellen können die Kamerabilder und die Abstandsdaten entgegengenommen werden.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
- 1 einen Ablaufplan zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 2 eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs, und
- 3 die funktionale Struktur eines Steuergeräts des Kraftfahrzeugs.
-
Ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Kalibrierung zwischen einem LIDAR-Sensor und wenigstens einer Kamera eines Kraftfahrzeugs wird durch 1 erläutert. Dabei werden im vorliegenden Ausführungsbeispiel beispielhaft zwei, beispielsweise, wie der LIDAR-Sensor, auf das Vorfeld oder den Rückraum des Kraftfahrzeugs ausgerichtete Kameras, die beispielsweise an unterschiedlichen Seiten des Kraftfahrzeugs vorgesehen sein können, verwendet, wobei es in anderen Ausführungsbeispielen auch denkbar ist, nur eine Kamera heranzuziehen, die, da sie mit dem Kraftfahrzeug bewegt wird, zu unterschiedlichen Zeitpunkten unterschiedliche Kameraposen bezüglich einer Umfeldszene annehmen kann. Die Erfassungsbereiche der wenigstens einen Kamera und des LIDAR-Sensors überlappen, sodass Merkmale einer Umfeldszene von allen diesen Umfeldsensoren des Kraftfahrzeugs erfasst werden können.
-
Die relativen Posen der Umfeldsensoren zueinander werden durch extrinsische Kalibrierungsparameter beschrieben. Zur Ableitung ihrer jeweiligen Sensordaten, das bedeutet, Abstandsdaten für den LIDAR-Sensor und Kamerabilder für die in diesem Ausführungsbeispiel zwei Kameras, aus den jeweiligen gemessenen Rohdaten werden intrinsische Kalibrierungsparameter verwendet. Für diese Kalibrierungsparameter liegt, wenn das hier beschriebene Verfahren zur Erstkalibrierung eingesetzt werden soll, eine Initialvermutung als angenommene Kalibrierungsparameter vor, die aufgrund der Auslegung des Kraftfahrzeugs sowie der Umfeldsensoren hergeleitet werden können, beispielsweise aus den grundsätzlich bekannten Verbauorten der Umfeldsensoren. Handelt es sich um eine insbesondere während des Fahrbetriebs des Kraftfahrzeugs mit beliebigen Umfeldszenen mögliche Nachkalibrierung, die insbesondere aufgrund einer mit dem hier beschriebenen Verfahren festgestellten Dekalibrierung vorgenommen wird, sind die angenommenen Kalibrierungsparameter die aktuell vor der Rekalibrierung verwendeten Kalibrierungsparameter.
-
Ausgangspunkt des Verfahrens bilden vorliegend zum einen die Abstandsdaten 1 des LIDAR-Sensors, zum anderen ein erstes Kamerabild 2 einer rechten Kamera des Kraftfahrzeugs und ein zweites Kamerabild 3 einer linken Kamera des Kraftfahrzeugs. Die angenommenen Kalibrierungsparameter werden nun in einem ersten Schritt gemäß dem Pfeil 4 genutzt, um aus den Abstandsdaten 1 und dem ersten Kamerabild ein virtuelles Vergleichsbild 5 zu ermitteln, das in seiner Kamerapose der Kamerapose der linken Kamera bei der Aufnahme des zweiten Kamerabilds 3 entspricht. Hierzu werden zunächst den Pixeln (allen oder einem „spärlichen“ Teil) des ersten Kamerabi-Ids 2 aufgrund der Abstandsdaten und des aufgrund der entsprechenden extrinsischen Kalibrierungsparameter bekannten geometrischen Verhältnisses und gegebenenfalls die Kamerawahrnehmung beschreibenden intrinsischen Kalibrierungsparametern Tiefeninformationen zugeordnet, sodass ein Umfeldszenenmodell entsteht. Durch Projektion, mithin Simulation des Bildgebungsvorgangs der das zweite Kamerabild aufnehmenden linken Kamera, wobei das geometrische Verhältnis zwischen der Kamerapose der linken Kamera und dem Umfeldszenenmodell wiederum aufgrund der extrinsischen Kalibrierungsparameter sowie die Kamerawahrnehmung aufgrund der intrinsischen Kalibrierungsparameter bekannt sind, kann dann das virtuelle Vergleichsbild ermittelt werden.
-
Aufgrund der nur überlappenden Erfassungsbereiche und unterschiedlichen Kameraposen werden im Allgemeinen nicht für alle Pixel der Kamerapose des zweiten Kamerabilds 3 Informationen in dem Umfeldszenenmodell vorhanden sein. Daher wird im Ermittlungsschritt für das virtuelle Vergleichsbild 5 auch eine Maske 6 ermittelt, die angibt, für welche Pixel in der Aufnahmegeometrie des zweiten Kamerabilds 3 die Tiefeninformation und die Bildinformation vorliegen, sodass in einem durch den Pfeil 7 angedeuteten Schritt die Maske 6 auf das zweite Kamerabild 3 angewendet werden kann, um es auf die validen Pixel, zu denen im virtuellen Vergleichsbild 5 Sensordaten vorliegen, eingeschränkt werden kann.
-
Das entsprechend eingeschränkte zweite Kamerabild 3' und das virtuelle Vergleichsbild 5 werden in einem Vergleichsschritt 8 pixelweise photometrisch verglichen, um eine Abweichungsinformation, beispielsweise durch Bildung einer pixelweisen Verlustfunktion, zu ermitteln. Die Abweichungsinformation, die im Vergleichsschritt 8 ermittelt wird, beschreibt auch, wie genau die extrinsischen und intrinsischen Kalibrierungsparameter die Realität beschreiben. Wären diese genau, wäre eine maximale Übereinstimmung zwischen dem virtuellen Vergleichsbild 5 und dem zweiten Kamerabild 3' gegeben.
-
Wird das Verfahren im laufenden Fahrbetrieb des Kraftfahrzeugs zur Überprüfung einer möglicherweise vorliegenden Dekalibrierung eingesetzt, kann nun die durch die Abweichungsinformation beschriebene Abweichung, beispielsweise die aufsummierten pixelweisen Verluste, mit einem Schwellwert verglichen werden, der die Dekalibrierung anzeigt. Dann kann mit den nun noch erläuterten Schritten eine neue Kalibrierung erfolgen.
-
Zur Kalibrierung wird, wie durch den Schritt 9 und die Pfeile 10, 11 angedeutet, eine iterative Optimierungstechnik, mithin ein Optimierungsverfahren, eingesetzt. Hierzu wurden zuvor im durch den Pfeil 4 beschriebenen Ermittlungsschritt Projektionstechniken angewendet, die bezüglich der Kalibrierungsparameter differenzierbar sind, sodass sich im Stand der Technik bekannte Optimierungsverfahren einsetzen lassen. Im Optimierungsschritt 9 werden also auf Grundlage der als Kostenfunktion dienenden Abweichungsinformation, wobei die Abweichung minimiert und somit die Konsistenz maximiert werden soll, Kandidatenwerte für zu optimierende Kalibrierungsparameter ermittelt. Mit diesen Kandidatenwerten werden gemäß der Pfeile 10, 11 das virtuelle Vergleichsbild 5 und die Maske 6 sowie dann auch die Abweichungsinformation im Schritt 8 neu ermittelt.
-
Bevorzugt werden hierbei alle Kalibrierungsparameter optimiert, insbesondere sowohl die intrinsischen als auch die extrinsischen Kalibrierungsparameter. Es sind jedoch auch Ausgestaltungen denkbar, in denen nur ein Teil der Kalibrierungsparameter auf diese Weise optimiert wird, beispielsweise nur die extrinsischen Kalibrierungsparameter. Bezieht sich die Optimierung nur auf extrinsische Kalibrierungsparameter, ist es ausreichend, diese bezüglich des durchgezogenen Pfeiles 10 in die Ermittlung des virtuellen Vergleichsbilds 5 eingehen zu lassen. Sollen auch intrinsische Kalibrierungsparameter, beispielsweise des Abstandssensors, optimiert werden, müssen selbstverständlich die Sensordaten (Abstanddaten 1, Kamerabilder 2, 3) unter Nutzung der entsprechenden aktuellen Kandidatenwerte neu aus den Rohdaten hergeleitet werden, vergleiche den gestrichelten Pfeil 11.
-
Sobald ein Abbruchkriterium erreicht ist, beispielsweise ein Minimum für die Abweichung aufgefunden wurde bzw. eine maximale Zahl an Iterationen überschritten wurde, wird abgebrochen und die letzten Kandidatenwerte werden als neue Werte der optimierten Kalibrierungsparameter verwendet.
-
2 zeigt eine Prinzipskizze eines erfindungsgemäßen Kraftfahrzeugs 12. Dieses weist als Umfeldsensoren 13 vorliegend wenigstens zwei auf das Vorfeld des Kraftfahrzeugs gerichtete Kameras 14, 15 und einen ebenso auf das Vorfeld des Kraftfahrzeugs 12 gerichteten LIDAR-Sensor 16 auf. Der LIDAR-Sensor liefert Abstandsdaten 1 als eine Punktwolke, ist also als ein Abstandssensor 17 zu verstehen. Die Erfassungsbereiche der Umfeldsensoren 13, die auf das Vorfeld gerichtet sind, konkret also der Kameras 14, 15 und des LIDAR-Sensors 16 überlappen großräumig, insbesondere jeweils wenigstens 50% der aufgenommenen Umfeldszene gemeinsam erfassend.
-
Das Kraftfahrzeug 12 umfasst ferner ein Steuergerät 18, das zur Durchführung des erfindungsgemäßen Verfahrens, beispielsweise gemäß dem Ausführungsbeispiel in 1, ausgebildet ist. Dabei kann die rechte Kamera 15 beispielsweise das erste Kamerabild 2, die linke Kamera 14 beispielsweise das zweite Kamerabild 3 liefern. Sollen zeitlich versetzt aufgenommene Kamerabilder 2, 3 verwendet werden, können die entsprechenden Eigenbewegungsdaten von einer Eigenbewegungssensorik 19, insbesondere umfassend eine Inertialplattform, bereitgestellt werden.
-
3 zeigt die funktionale Struktur des Steuergeräts 18 genauer. Dieses umfasst zunächst ein Speichermittel 20, in dem Rohdaten, Sensordaten, Kalibrierungsparameter und weitere Informationen abgelegt werden können. In einer Ermittlungseinheit 21 wird der gemäß dem Pfeil 4 in 1 beschriebene Schritt der Ermittlung des virtuellen Vergleichsbilds 5 und der Maske 6 durgeführt. In einer Vergleichseinheit 22 wird der Vergleich gemäß dem Vergleichsschritt 8 ausgeführt. In einer Optimierungseinheit 23 werden gemäß dem Optimierungsverfahren (Schritt 9, Pfeile 10, 11) iterativ aktualisierte Kalibrierungsparameter ermittelt.
-
Die Kamerabilder 2, 3 und die Abstandsdaten 1 können über entsprechende Schnittstellen 24 entgegengenommen werden. Selbstverständlich können auch weitere Schnittstellen vorhanden sein, beispielsweise, um die Kalibrierungsparameter anderen Fahrzeugsystemen bzw. den Umfeldsensoren 13 bereitzustellen und dergleichen.