DE102017000454B4

DE102017000454B4 - Verfahren und System zum Kalibrieren von Bilddaten zweier Kameras

Info

Publication number: DE102017000454B4
Application number: DE102017000454.4A
Authority: DE
Inventors: Roland Lares
Original assignee: eSolutions GmbH
Current assignee: eSolutions GmbH
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2018-09-27
Anticipated expiration: 2037-01-20
Also published as: DE102017000454A1

Abstract

Verfahren zum Kalibrieren mindestens einer von zwei Kameras (200), wobei ein von einer ersten Kamera (200A) eingefangener Bildbereich (210A) an einen von einer zweiten Kamera (200B) eingefangenen Bildbereich (210B) angrenzt oder mit diesem teilweise überlappt, wobei das Verfahren umfasst:
Extrahieren (410) von Kanteninformationen aus Bilddaten der ersten Kamera (200A) und aus Bilddaten der zweiten Kamera (200B);
Extrahieren (420) von Linien (L1, L2) basierend auf den Kanteninformationen;
Vektorisieren (430) der extrahierten Linien (L1, L2) basierend auf Anfangs- und Endpunkten der Linien (L1, L2),
Identifizieren (440) zweier Linienpaare (L1A-L1B, L2A-L2B) jeweils basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße zweier Linien (L1, L2) mit einem Schwellenwert, wobei eine erste Linie (L1A, L2A) des jeweiligen Linienpaares (L1A-L1B, L2A-L2B) auf Basis der Kanteninformationen der Bilddaten der ersten Kamera (200A) extrahiert wurde und eine zweite Linie (L1B, L2B) des jeweiligen Linienpaares (L1A-L1B, L2A-L2B) auf Basis der Kanteninformationen der Bilddaten der zweiten Kamera (200B) extrahiert wurde;
Berechnen (450) eines Versatzes (10, 15, 20, 25, 30, 35) der Linien (L1, L2) jedes Linienpaares (L1A-L1B, L2A-L2B); und
Kalibrieren (460) der Bilddaten mindestens einer der Kameras (200) basierend auf dem berechneten Versatz (10, 15, 20, 25, 30, 35) beider Linienpaare (L1A-L1B, L2A-L2B), wobei das Kalibrieren ein Ausgleichen eines unterschiedlichen horizontalen und/oder vertikalen Zooms einer der Kameras (200) umfasst.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft ein Verfahren und System zum Kalibrieren mindestens einer von zwei Kameras, und insbesondere ein Verfahren und System zum Identifizieren eines Linienpaares und Kalibrieren von Bilddaten mindestens einer der zwei Kameras und/oder der Kameras selbst auf Basis des Linienpaares, wobei eine erste Linie des Linienpaares auf Basis von Bilddaten einer ersten Kamera extrahiert wurde und eine zweite Linie des Linienpaares auf Basis von Bilddaten einer zweiten Kamera extrahiert wurde. Ferner betrifft die vorliegende Erfindung ein Fahrzeug mit einem solchen System.
Hintergrund
In der Fahrzeugindustrie werden vermehrt Kameras verbaut, um die Umgebung eines Fahrzeugs zu erfassen. Beispielsweise können die Fahrzeugumgebung in Fahrtrichtung vor und/oder hinter dem Fahrzeug durch eine oder mehrere eingebaute Kameras erfasst werden und Objekte in der Fahrzeugumgebung anhand der erfassten Bilddaten ermittelt werden. Die so ermittelten Objekte werden durch Assistenzsysteme, beispielsweise Bremsassistenzsysteme oder Unfallwarnsysteme, verwendet. Ferner können die erfassten Bilddaten dem Fahrer direkt auf einem Bildschirm angezeigt werden. So kann mithilfe einer Rückfahrkamera oder mithilfe mehrerer Kameras für einen „Rundumblick“ dem Fahrer des Fahrzeugs das Einparken erleichtert werden.
Ferner werden ständig strengere gesetzliche Bestimmungen erlassen, die zur Erhöhung der Sicherheit im Verkehr beitragen sollen. So ist es beispielsweise für Lastkraftwagen vorgeschrieben, dass dem Fahrer mehrere Blickwinkel/Ansichten eines Bereichs neben und hinter dem Fahrzeug bereitgestellt werden. So werden beispielsweise beifahrerseitig drei und fahrerseitig mindestens zwei Rückspiegel mit unterschiedlich eingestellten Blickrichtungen und/oder Krümmungsgraden installiert. Dabei müssen die Spiegel so eingestellt sein, dass kein Bereich neben dem Fahrzeug uneinsehbar ist, also kein toter Winkel entsteht.
Mit dem Fortschreiten der Digitalisierung im Fahrzeug wurden Versuche unternommen, die Funktion der Rückspiegel auch durch Kameras und Anzeigeeinheiten (z.B. Bildschirme) umzusetzen. Jedoch müssen hierbei die strengen Bestimmungen eingehalten werden, um dem Fahrer jederzeit die üblicherweise durch Spiegel bereitgestellten Blickwinkel/Ansichten bereitzustellen.
So müssen beispielsweise Bilddaten mehrerer Kameras so zusammengefügt werden, dass keine „nicht-sichtbaren“ Bereiche durch mangelhafte oder nicht vorhandene Überlappung der erfassten Bildbereiche entstehen. Auch sind Artefakte in Überlappungsbereichen zweier Kameras zu vermeiden, um zu verhindern, dass ein Betrachter der Bilddaten diese Artefakte als Objekte in der Fahrzeugumgebung wahrnimmt.
Beispielsweise zeigt WO 2012/143036 A1 ein Verfahren zur Kalibrierung eines Fahrzeug-Videosystemsauf Basis von Bilddaten, die Straßenlängsmerkmale enthalten. Benachbarte Abschnitte einer Straßenoberfläche werden von mindestens zwei Kameras des Systems erfasst und Straßenlängsmerkmale dahingehend analysiert, ob Sie basierend auf einem Versatz von Linien der Straßenlängsmerkmale übereinstimmen.
Kurzer Abriss
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren und System zum einfachen und sicheren Kalibrieren von Bilddaten und/oder von Kameras bereitzustellen.
Gemäß einem Aspekt der vorliegenden Offenbarung umfasst ein Verfahren zum Kalibrieren mindestens einer von zwei Kameras die nachfolgenden Schritte, wobei ein von einer ersten Kamera eingefangener Bildbereich an einen von einer zweiten Kamera eingefangenen Bildbereich angrenzt oder mit diesem teilweise überlappt. Zunächst werden Kanteninformationen aus Bilddaten der ersten Kamera und aus Bilddaten der zweiten Kamera extrahiert und Linien basierend auf den Kanteninformationen extrahiert. Die extrahierten Linien können basierend auf Anfangs- und Endpunkten der Linien vektorisiert werden. Basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße zweier (vektorisierter) Linien mit einem Schwellenwert wird ein Linienpaar identifiziert, wobei eine erste Linie des Linienpaares auf Basis der Kanteninformationen der Bilddaten der ersten Kamera extrahiert wurde und eine zweite Linie des Linienpaares auf Basis der Kanteninformationen der Bilddaten der zweite Kamera extrahiert wurde. Anschließend wird ein Versatz der Linien des Linienpaares berechnet und basierend auf dem berechneten Versatz wer den die Bilddaten mindestens einer der Kameras kalibriert und/oder mindestens eine der Kameras kalibriert.
Dieser Kalibriervorgang kann in manchen Varianten lediglich auf Bilddaten beruhen, die von den beiden Kameras gewonnen werden, unabhängig davon, welche Objekte in den von den Kameras eingefangenen Bildbereichen liegen. So kann das Verfahren ohne Testbilder auskommen, auf denen bestimmte Objekte abgebildet sind, deren Ausmaße und Abstände untereinander bekannt sind. Beispielsweise wurden bisher zum Zusammenfügen zweier Kamerabilder beide Kameras so ausgerichtet, dass sie ein bekanntes Testmuster erfassen. Sämtliche Maße und Dimensionen des Testmusters (beispielsweise Rasterabstände, Objektgrößen, Abstände der Zentren von Objekten etc.) sowie die Position der Kameras relativ zu dem Testmuster müssen dabei bekannt sein, zum Beispiel ausgemessen werden. Die Objekte des Testmusters, die in den Bilddaten der zwei Kameras enthalten sind, können so identifiziert und aufgrund der bekannten Maße und Dimensionen dem Testmuster zugeordnet werden. Ferner lässt sich aufgrund der Position der Kameras in Relation zu dem Testmuster eine Ausrichtung der Kameras ableiten und die Bilddaten oder die Kameras können entsprechend kalibriert werden.
Das hier offenbarte Verfahren benötigt in vielen Implementierungen keine Testbilder oder Testmuster, sondern beruht auf der Erkennung beliebiger Linien (Kanten) in den erfassten Bilddaten. Dies vereinfacht nicht nur den Kalibriervorgang, da die Kameras nicht eine bestimmte Position relativ zu einem Testbild oder Testmuster einnehmen müssen. Zudem kann der Kalibriervorgang jederzeit wiederholt werden, ohne Testbilder oder Testmuster zu installieren. Insbesondere im Kraftfahrzeugbereich ist es nicht erforderlich, das gesamte Kraftfahrzeug in eine bestimmte Position relativ zu dem Testbild oder Testmuster zu bringen.
Das Extrahieren von Kanteninformationen aus Bilddaten kann mithilfe bekannter Kantendetektionsalgorithmen erfolgen. Nur beispielhaft ist hier der Canny-Algorithmus genannt, durch den die in einem Ausgangsbild enthaltenen Kanten extrahiert werden.
Die Vektorisierung einer extrahierten Linie bedeutet ein Ermitteln eines oder mehrerer Vektoren, die die Linie sowie deren Verlauf repräsentieren. Im einfachsten Fall kann für eine einzelne Linie, wie beispielsweise eine Kante einer durch die Kameras erfassten Mittellinie auf einer Straße, ein einzelner Vektor ermittelt werden, der einen Ursprung, eine Richtung und eine Länge aufweist. Das Verfahren ist hierbei nicht auf die Ermittlung (und Speicherung) eines Ursprung, Richtung und Länge beschränkt. Ebenso können Koordinaten für einen Anfangspunkt und einen Endpunkt der Linie ermittelt (und gespeichert) werden. Im Fall eines komplexeren Linien Verlaufes, beispielsweise ein Riss in einer Straßendecke, können mehrere Vektoren oder eine Vektorkette ermittelt (und gespeichert) werden. Hierbei entspricht der Endpunkt eines Vektors dem Anfangspunkt des nächsten Vektors in der Kette. Ebenso können auch nicht geradlinige Vektoren ermittelt werden, denen als weitere Vektorgröße ein Radius oder ein Krümmungsverlauf zugeordnet ist.
Die Vektoren der Linien können mit Subpixelgenauigkeit ermittelt werden. Dies bedeutet, dass die Linie oder der Linienverlauf mit einer höheren Auflösung ermittelt wird, als sie/er auf einer Anzeigeeinheit (Bildschirm) dargestellt wird. Dies kann einerseits dadurch erzielt werden, dass mindestens eine der Kameras eine höhere Auflösung aufweist, als die Anzeigeeinheit. Dies ist jedoch mit höheren Kosten für die Kameras verbunden.
Daher können die Bilddaten, wie sie von den Kameras empfangen werden, durch Interpolation zu Bilddaten mit höherer Auflösung umgewandelt werden. Eine höhere Linienauflösung kann beispielsweise durch Extrahieren von Helligkeits-/Grauwerte mehrerer zusammenhängender Pixel, die Teil der extrahierten Kanteninformation sind, gewonnen werden. Dadurch können auch Linien in den Bilddaten erkannt werden, die nicht notgedrungen auf einer Anzeigeeinheit für das menschliche Auge sichtbar sind. Zum Beispiel kann eine inverse Prozedur, wie sie beim Anti-Alias-Filtering angewendet wird, wenn eine schräg verlaufende Kante in 2D/3D mit hoher Vektorauflösung berechnet oder gerendert wird und somit diese Kante auf einer endlichen Monitorauflösung dargestellt wird. Ohne Aliasfilter erscheint eine deutlich sichtbare Treppe (Abstufung) auf dem Display, mit Anti-Aliasfilter ein weicher Kantenverlauf (bei geringerer Schärfe) mit Grauwerten an den an der Kante beteiligten Pixeln.
Die Identifizierung eines Linienpaares bedeutet das Auffinden von einer bestimmten tatsächlichen Linie, die in den Bilddaten beider Kameras erfasst wird. Mit anderen Worten ist ein Linienpaar die Abbildung ein und desselben linienförmigen Objekts in den Bilddaten der ersten Kamera und in den Bilddaten der zweiten Kamera, also einem zwei- oder drei-dimensionalen Objekt mit Kanten/Helligkeitsübergängen, aus denen sich bei der zwei-dimensionalen Abbildung in der Kamera und deren Signalverarbeitung Linien extrahieren lassen.
Gemäß verschiedener Implementierungsvarianten kann die Differenz mindestens einer Vektorgröße unterschiedlich berechnet werden. Beispielsweise kann eine Differenz mindestens eines Koordinatenwerts der Anfangspunkte der ersten und zweiten Linie berechnet werden. Die Vektorgröße ist somit der Anfangspunkt der ersten bzw. zweiten Linie, und insbesondere der Wert einer bestimmten Koordinate des Anfangspunkts der ersten bzw. zweiten Linie. Ein Koordinatenwert des Anfangspunkts der ersten bzw. zweiten Linie ist beispielsweise der Wert der X-Koordinate des Anfangspunkts der ersten Linie bzw. der Wert der X-Koordinate des Anfangspunkts der zweiten Linie. Durch Bilden der Differenz dieser beiden Koordinatenwerte wird ein Abstand in X-Richtung der beiden Anfangspunkte der ersten und zweiten Linie ermittelt. Liegt dieser Abstand unterhalb des Schwellenwerts, können die beiden Linien als ein Linienpaar identifiziert werden.
Alternativ oder zusätzlich hierzu kann eine Differenz mindestens eines Koordinatenwerts der Endpunkte der ersten und zweiten Linie berechnet werden. Hierbei ist die Vektorgröße der Endpunkt der ersten bzw. zweiten Linie. Der Abstand der Endpunkte der ersten und zweiten Linie kann in gleicher Weise berechnet werden, wie oben für die Anfangspunkte der Linien beschrieben.
Selbstverständlich kann auch der Wert einer Y-Koordinate des Anfangspunkts und/oder des Endpunkts der ersten bzw. zweiten Linie zur Berechnung der Differenz verwendet werden. Es können auch beide Koordinatenwerte (der X- und Y-Koordinate) der Anfangspunkte oder der Endpunkte beider Linien verwendet werden, sodass durch Berechnen der Differenz dieser Koordinatenwerte der zweidimensionale Abstand der Anfangspunkte der ersten und zweiten Linie oder der Endpunkte der ersten und zweiten Linie zur Identifizierung eines Linienpaares herangezogen wird.
Es ist ebenso denkbar, eine Differenz der beiden eindimensionalen oder zweidimensionalen Abstände (Koordinatendifferenz) der Anfangs- und Endpunkte der beiden Linien zu berechnen. Mit anderen Worten wird zunächst die Differenz einer oder beider Koordinaten der Anfangspunkte sowie die entsprechende Differenz der Koordinate(n) der Endpunkte berechnet, und anschließend die Differenz aus den Differenzergebnissen der anfangs und Endpunkte gebildet. Das Ergebnis dieser Differenzberechnung entspricht einem Grad der Parallelität der ersten und zweiten Linie. Auch dieser Grad der Parallelität kann zur Identifizierung eines Linienpaares alleine oder zusätzlich zu den berechneten eindimensionalen oder zweidimensionalen Abständen herangezogen werden.
Ebenfalls alternativ oder zusätzlich hierzu kann eine Differenz von Längen der ersten und zweiten Linie berechnet werden. Der Vergleich dieser Längendifferenz mit einem Schwellenwert kann allein oder zusätzlich zu einer anderen auf einer Vektorgröße basierenden Berechnung zur Identifizierung eines Linienpaares herangezogen werden.
Alternativ oder zusätzlich hierzu kann eine Differenz von Winkeln der Vektoren der ersten und zweiten Linie berechnet werden. Der Winkel eines Vektors der ersten und zweiten Linie ist in Bezug auf eine gemeinsame Referenzlinie definiert. Beispielsweise kann der Winkel eines Vektors in Bezug auf eine Achse eines (kartesischen) Koordinatensystems bestimmt werden. Ein solches Koordinatensystem kann seinen Ursprung beispielsweise an einer Ecke der Bilddaten (dem Schnittpunkt zweier Randkanten des Bildbereichs) haben, während die Achsen des Koordinatensystems entlang der Randkanten des Bildbereichs verlaufen.
Ebenfalls alternativ oder zusätzlich hierzu können die oben genannten Differenzberechnung auch für Vektorketten, die für bestimmte Linien extrahiert wurden, durchgeführt werden. Dazu werden Koordinaten von Zwischenpunkten wie Anfangs- oder Endpunkte behandelt. Alternativ können die Vektorketten auch in einzelne Vektoren (gerade Linien) aufgeteilt und entsprechend für die Differenzberechnung verwendet werden.
In einer weiteren alternativen oder zusätzlichen Ausgestaltung kann auch eine Differenz von Krümmungen der ersten und zweiten Linie berechnet werden. Das Verfahren ist somit nicht auf geradlinige Linien beschränkt. Eine weitere Vektorgröße, neben einem Anfangspunkt, einem Endpunkt, und einem (anfänglichen) Richtungswinkel, kann somit auch eine Krümmung eines oder mehrerer bestimmter Punkte auf der Linie oder eine Krümmung über einen bestimmten Linienabschnitt sein.
In einer weiteren Implementierungsvariante kann das Identifizieren eines Linienpaares nur auf Basis von Linien mit einer vorgegebenen Mindestlänge durchgeführt werden. Durch das Vektorisieren der extrahierten Linien sind die Längen der Linien oder der einzelnen Vektoren einer Linie bekannt. Fallen diese unterhalb eines Schwellenwerts, so werden die Linien aussortiert. Zu kurze Linien enthalten nicht genügend Informationen (Länge, Winkellage in einem Koordinatensystem, Krümmung), um dieselbe Linie in den Bilddaten der zwei Kameras ausreichend genau zu identifizieren. Sie erhöhen somit die Wahrscheinlichkeit von falsch identifizierten Linienpaaren.
In einer anderen Implementierungsvariante kann das Identifizieren eines Linienpaares alternativ oder zusätzlich hierzu nur auf Basis von Linien erfolgen, deren Vektor einen Winkel gegenüber allen Randkanten des Bildbereichs der zugrunde liegenden Kamera größer Null aufweist. Liegt das zugrunde liegende Koordinatensystem auf oder parallel zu den Randkanten des Bildbereichs, werden nur Linien berücksichtigt, deren Vektor einen Winkel ungleich Null, 90° oder einem Vielfachen von 90° aufweist.
Gemäß einer weiteren Variante kann das Berechnen eines Versatzes ein Berechnen einer Verschiebung der ersten Linie zur zweiten Linie, und/oder ein Berechnen einer Drehung der ersten Linie zur zweiten Linie umfassen. Die Verschiebung der ersten Linie zur zweiten Linie (oder die Verschiebung der zweiten Linie zur ersten Linie) betrifft eine Parallelverschiebung einer Linie zur anderen. Die Parallelverschiebung kann entlang der X-Achse und/oder der Y-Achse eines gemeinsamen Koordinatensystems bestimmt werden. Alternativ oder zusätzlich hierzu kann der Versatz auch in einer Drehung der ersten Linie zur zweiten Linie (oder der zweiten Linie zur ersten Linie) begründet sein. Die Drehung wird dabei anhand eines Ursprungspunkts für die Drehung bestimmt. Im einfachsten Fall wird hierfür der Anfangspunkte oder Endpunkt der gedrehten Linie herangezogen. Alternativ kann auch ein anderer Punkt, beispielsweise ein Ursprung in einem Koordinatensystem, zur Bestimmung der Drehung herangezogen werden.
Eine einfache Ausgestaltung der Versatzermittlung bezieht sich lediglich auf eine Schnittlinie zwischen den beiden Bildbereichen, die einen späteren Kameraübergang bildet. Dabei werden nur Linien berücksichtigt, die sich mit diesem Kameraübergang schneiden. Nun kann der Versatz von Linienpaaren an und entlang dieser Schnittlinie (Kameraübergang) ermittelt werden. Beispielsweise können Koordinatenwerte für Pixel der Schnittpunkte von Linien mit der Schnittlinie (Kameraübergang) ermittelt werden und für die Berechnung des Versatzes herangezogen werden.
In einer weiteren Implementierungsvariante können die erste und zweite Kamera an einem sich bewegenden Objekt befestigt sein, wobei das Verfahren ein Speichern von Versatzdaten der Linien jedes Linienpaares für jeden Frame der Bilddaten über eine vorgegebene Zeitspanne umfasst. Ein Frame ist dabei ein Einzelbild der jeweiligen Kamera, das alle Aufnahmepixel der Kamera für einen bestimmten Zeitpunkt enthält. Die vorgegebene Zeitspanne ist so gewählt, dass ausreichend Versatzdaten zur statistischen Auswertung zur Verfügung stehen. So kann die vorgegebene Zeitspanne beispielsweise 30 Sekunden betragen. Zusätzlich kann auch eine Bewegungsgeschwindigkeit des Objekts zur Bestimmung der Zeitspanne herangezogen werden. Beispielsweise kann bei einer höheren Geschwindigkeit (z.B. größer 15 km/h) die Zeitspanne auf 20 Sekunden oder bei zum Beispiel 25 km/h auf 10 Sekunden reduziert werden. Aufgrund der größeren Geschwindigkeit ist die Bewegung der identifizierten Linien durch den Bildausschnitt der Kameras größer, sodass schneller genügend Informationen über Linien in den Bilddaten der Kameras an verschiedenen Stellen des Bildausschnitts gesammelt werden können. Allerdings kann die Geschwindigkeit des sich bewegenden Objekts während des Kalibrierens nicht beliebig erhöht werden, da mit zunehmender Geschwindigkeit die Bewegungsunschärfe durch die notwendige Belichtungszeit des Kamerasensors auch zunimmt, wodurch effektiv die Linienschärfe reduziert und somit die Auswertung unpräziser wird.
Das Verfahren kann ferner ein Ermitteln einer statistischen Korrelation der ersten und zweiten Linie für jedes Linienpaar basierend auf den gespeicherten Versatzdaten und in Abhängigkeit einer Zeit während der vorgegebenen Zeitspanne umfassen. Die statistische Korrelation betrifft eine Wahrscheinlichkeit, mit der zwei Linien, jeweils aus den Bilddaten einer der beiden Kameras gewonnen, über die vorgegebene Zeitspanne hinweg immer als Linienpaar identifiziert werden. Dabei kann jede Linie über die Zeit und aufgrund der Bewegung der Kameras in den Bilddaten der ersten bzw. zweiten Kamera verfolgt werden.
Ferner kann das Verfahren ein Aussortieren von Linienpaaren, die eine vorgegebene statistische Korrelation nicht erfüllen, umfassen. Werden beispielsweise für eine erste Linie aus den Bilddaten der ersten Kamera im Laufe der Zeitspanne zwei verschiedene Linien aus den Bilddaten der zweiten Kamera ermittelt, so werden beide identifizierten Linienpaare nicht für das Kalibrieren verwendet.
In einer weiteren Ausgestaltung umfasst das Ermitteln einer statistischen Korrelation ein Ermitteln einer Veränderung der Versatzdaten aus mindestens zwei der Frames. Ändert sich der Versatz der Linien eines Linienpaares zwischen den mindestens zwei Frames, also über die Zeit, so können daraus weitere Schlüsse gezogen werden. Bei einer kontinuierlichen Veränderung des Versatzes kann beispielsweise ein Zoom-Fehler vorliegen, also unterschiedliche Zoom-Faktoren für die erste und die zweite Kamera. Ist die Veränderung des Versatzes hingegen sprunghaft, ist dies ein Indiz dafür, dass einer Linie aus den Bilddaten der ersten Kamera zwei unterschiedliche Linien aus den Bilddaten der zweiten Kamera zugeordnet wurden oder umgekehrt. Im letzteren Fall sind die identifizierten Linienpaare auszusortieren.
So kann in einer weiteren Ausgestaltung das Ermitteln einer statistischen Korrelation ein Bestimmen einer zeitlichen Gleichförmigkeit der Veränderung der Versatzdaten über die Zeitspanne umfassen. Das Verfahren kann dabei des Weiteren ein Beenden des Speicherns von Versatzdaten und des Ermittelns einer statistischen Korrelation umfassen, wenn für mindestens ein Linienpaar eine vorgegebene statistische Relevanz der Korrelation ermittelt wurde. Die zeitliche Gleichförmigkeit der Veränderung der Versatzdaten entspricht einer kontinuierlichen Veränderung des Versatzes, aber auch einer Nicht-Veränderung, also einem Gleichbleiben, der Versatzdaten. Mit anderen Worten wird das Speichern von Versatzdaten und das Ermitteln einer statistischen Korrelation beendet, wenn über eine bestimmte Zeitspanne die Versatzdaten eines Linienpaares unverändert bleiben oder sich im gleichen Maße über die Zeit verändern.
Gemäß einer weiteren alternativen oder zusätzlichen Variante können bei einem sich mit den zwei Kameras bewegenden Objekt die Bildbereiche der beiden Kameras so eingestellt sein, dass sie nicht überlappen, jedoch aneinander angrenzen. In den Bilddaten einer in Bewegungsrichtung ersten Kamera kann eine Linie extrahiert und verfolgt werden. Wenn die Linie aus dem Bildbereich der ersten Kamera austritt, muss sie in den angrenzenden Bildbereich der zweiten Kamera eintreten. Der an der Schnittlinie der beiden Bildbereiche auftretende Versatz oder eine später erkennbare Verschiebung oder Verdrehung der Linie im zweiten Bildbereich kann somit in gleicher Weise ermittelt werden wie bei überlappenden Bildbereichen.
In einer weiteren Variante kann das Kalibrieren ein Ausgleichen eines unterschiedlichen horizontalen und/oder vertikalen Zooms einer der Kameras, und/oder ein Ausgleichen einer horizontalen und/oder vertikalen Verschiebung einer der Kameras umfassen. Dabei kann ein unterschiedliches Zoom der Kameras einen unterschiedlichen Zoomfaktor der Kameraoptik bedeuten, aber auch eine unterschiedliche Bildverarbeitung der Bilddaten der ersten Kamera und der zweiten Kamera, wobei die Bilddaten in horizontaler Richtung und/oder vertikaler Richtung entsprechend einem horizontalen bzw. vertikalen Zoom vergrößert oder verkleinert werden. Ein solcher Zoom-Unterschied lässt sich dadurch erkennen, dass Linienpaare im Zentrum des Bildes einen geringeren Versatz aufweisen als Linienpaare in Randbereichen des Bildes. Eine horizontale und/oder vertikale Verschiebung bedeutet eine unterschiedliche Ausrichtung der Sichtachsen der Kameras oder einer entsprechenden Veränderung der Bilddaten bei der Bildverarbeitung. Diese Verschiebung lässt sich daran erkennen, dass der Versatz von Linienpaaren in horizontaler Richtung und/oder in vertikaler Richtung gleich ist.
Dabei kann das Ausgleichen eines Zooms und/oder einer Verschiebung durch Verändern der Bilddaten einer der Kameras erfolgen. Das Kalibrieren erfolgt somit nicht durch Veränderung eines Zooms bzw. einer Kameraposition der ersten und/oder zweiten Kamera. Diese bleiben unverändert, während die von mindestens einer der Kameras empfangenen Bilddaten verändert werden, um das Ausgleichen zu erzielen.
Selbstverständlich kann anstatt oder zusätzlich zu der Veränderung der empfangenen Bilddaten auch die Kameraeinstellung und/oder Kameraposition selbst verändert werden. Sollte eine der Kameras über ein optisches Zoom verfügen, so kann der Zoom-Faktor entsprechend optisch angepasst werden, um einen Ausgleich eines Zooms zwischen den Bilddaten der beiden Kameras zu erzielen. Gleiches gilt für die Möglichkeit eines horizontalen und/oder vertikalen Verschiebens, falls mindestens eine der Kameras schwenkbar und/oder verschiebbar ist.
Ebenfalls alternativ oder zusätzlich hierzu kann das Kalibrieren auch eine Ent- oder Verzerrung des Bildes mindestens einer der Kameras umfassen. Dieses sogenannte Warping erlaubt einen Ausgleich verschiedener Blickrichtungen (Ausrichtung) der beiden Kameras auf eine gemeinsame Ebene. Wenn beispielsweise die beiden Kameras in unterschiedlichen Höhen über einer Ebene (beispielsweise einer Straße) angebracht sind, sind auch die (trapezförmigen) Bildbereiche der Ebene unterschiedlich. Die dabei entstehende Verzerrung kann durch entsprechende Bearbeitung der zugrunde liegenden Bilddaten (beispielsweise graduelle Verschiebung der Pixel) an den Bildbereich der anderen Kamera angeglichen werden.
In einer weiteren Implementierungsvariante kann das Verfahren des Weiteren ein Übermitteln einer Nachricht an eine Mensch/Maschine-Schnittstelle umfassen, wenn die Bilddaten der mindestens einen Kamera kalibriert wurden. So kann die Mensch/Maschine-Schnittstelle eine visuelle, akustische, haptische oder andere Ausgabe erzeugen, wodurch ein Benutzer auf den Abschluss der Kalibrierung hingewiesen wird.
Gemäß einem weiteren Aspekt umfasst ein Bildverarbeitungssystem zum Kalibrieren mindestens einer von zwei an einem sich bewegenden Objekt befestigten Kameras, wobei ein von einer ersten Kamera eingefangener Bildbereich an einen von einer zweiten Kamera eingefangenen Bildbereich angrenzt oder mit diesem teilweise überlappt, eine Eingangsschnittstelle, die dazu eingerichtet ist, Bilddaten der zwei Kameras zu empfangen, und eine Bildverarbeitungseinheit, die dazu eingerichtet ist, das Verfahren des ersten Aspekts und/oder eine der dazugehörigen Varianten auszuführen.
So kann die Bildverarbeitungseinheit dazu eingerichtet sein, Kanteninformationen aus Bilddaten der ersten Kamera und aus Bilddaten der zweiten Kamera zu extrahieren, und Linien basierend auf den Kanteninformationen zu extrahieren. Ferner kann die Bildverarbeitungseinheit dazu eingerichtet sein, die extrahierten Linien basierend auf Anfangs- und Endpunkten der Linien zu vektorisieren, und ein Linienpaar basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße beider Linien des Linienpaares mit einem Schwellenwert zu identifizieren. Dabei kann eine erste Linie des Linienpaares auf Basis der Kanteninformationen der Bilddaten der ersten Kamera extrahiert werden und eine zweite Linie des Linienpaares auf Basis der Kanteninformationen der Bilddaten der zweiten Kamera extrahiert werden. Die Bildverarbeitungseinheit kann des Weiteren dazu eingerichtet sein, einen Versatz der Linien des Linienpaares zu berechnen, und Bilddaten mindestens einer der Kameras und/oder mindestens eine der Kameras basierend auf dem berechneten Versatz zu kalibrieren.
In einer Ausgestaltung des Bildverarbeitungssystems kann dieses des Weiteren eine Ausgabeeinheit umfassen, die dazu eingerichtet ist, die Bilddaten der kalibrierten ersten und der zweiten Kamera und/oder die kalibrierten Bilddaten der ersten und der zweiten Kamera anzuzeigen. Die Ausgabeeinheit kann ein Bildschirm oder ein Display sein, auf dem Daten unterschiedlicher Herkunft angezeigt werden können. Gemäß einer Variante können auf der Ausgabeeinheit die Bilddaten der ersten und der zweiten Kamera einschließlich der vorgenommenen Kalibrierung nebeneinander angezeigt werden. Aufgrund der Kalibrierung ist die Ausgabeeinheit in der Lage, die Bilddaten der ersten und der zweiten Kamera so nebeneinander darzustellen, dass sie ein einziges zusammenhängendes Bild ergeben. Aufgrund der Kalibrierung entstehen in einem Übergangsbereich zwischen dem Bild der ersten Kamera und dem Bild der zweiten Kamera keine Lücken (kein toter Winkel), keine Artefakte oder Verzerrungen. Der Betrachter dieses Bildes hat somit den Eindruck, die Aufnahme einer einzelnen Kamera zu betrachten. Aufgrund der Zusammenfügung der Bilder zweier Kameras wird ein größerer Bildausschnitt erzielt, ohne dass Bereiche dieses größeren Bildausschnitts fehlerhaft oder gar nicht angezeigt werden.
Gemäß einer weiteren Variante kann das Bildverarbeitungssystem des Weiteren eine Kamerasteuerungseinheit umfassen, die dazu eingerichtet ist, Kalibrierungsinformationen von der Bildverarbeitungseinheit zu empfangen. Basierend auf den Kalibrierungsinformationen kann die Kamerasteuerungseinheit ein horizontales und/oder vertikales Zoom einer der Kameras ausgleichen. Beispielsweise kann die Kamerasteuerungseinheit ein optisches Zoom einer der Kameras bedienen. Alternativ oder zusätzlich kann die Kamerasteuerungseinheit ein digitales Zoom einer der Kameras einstellen, um unterschiedliche Zooms der Kameras auszugleichen.
Alternativ oder zusätzlich hierzu ist die Kamerasteuerungseinheit dazu eingerichtet, eine horizontale und/oder vertikale Verschiebung einer der Kameras basierend auf den Kalibrierungsinformationen auszugleichen. Ein solcher Ausgleich einer Verschiebung kann durch entsprechende Verschiebung und/oder Verschwenkung der Kamera und/oder einer Kameraoptik erfolgen. Alternativ oder zusätzlich hierzu kann die Kamera auch mittels digitaler Verschiebung der Bilddaten den Ausgleich vornehmen, wenn sie von der Kamerasteuerungseinheit dazu veranlasst wird.
Gemäß einem weiteren Aspekt umfasst ein Fahrzeug mindestens zwei Kameras und ein solches Bildverarbeitungssystem. Dabei grenzt ein von einer ersten Kamera eingefangener Bildbereich an einen von einer zweiten Kamera eingefangenen Bildbereich an oder überlappt mit diesem teilweise. Das Bildverarbeitungssystem ist entsprechend dem zweiten Aspekt in einer der beschriebenen Ausgestaltungen und Varianten ausgeführt.
Gemäß einer Variante des Fahrzeugs liegen die Bildbereiche der ersten und zweiten Kamera neben dem Fahrzeug und umfassen zumindest einen Teil einer Seite des Fahrzeugs. Die so ausgerichteten Kameras können mithilfe des Bildverarbeitungssystems ein einzelnes Bild zum Anzeigen auf einer Ausgabeeinheit erfassen, dass einem Blickwinkel eines Rückspiegels des Fahrzeugs entspricht. Da auch ein Teil der Seite des Fahrzeugs in den Bildbereichen umfasst ist, wird ein nicht einsehbare Bereich (ein toter Winkel) ausgeschlossen.
Selbstverständlich können die beschriebenen Aspekte, Varianten und Ausgestaltungen auch mit mehr als zwei Kameras umgesetzt werden. Beispielsweise können für einen Lastkraftwagen mithilfe von drei oder mehr Kameras die Bestimmungen eingehalten werden, dem Fahrer mindestens drei Blickwinkel/Ansichten eines Bereichs neben und/oder hinter dem Lastkraftwagen bereitzustellen.
Alle oben beschriebenen Aspekte, Varianten und Ausgestaltungen sind nicht einzeln zu betrachten. Die vorliegende Offenbarung ist nicht auf die einzelnen Aspekte, Varianten und Ausgestaltungen beschränkt. Vielmehr können die beschriebenen Aspekte, Varianten und Ausgestaltungen beliebig miteinander kombiniert werden.
Figurenliste
Die vorliegende Offenbarung und insbesondere die verschiedenen Aspekte, Varianten und Ausgestaltungen werden nun unter Zuhilfenahme von schematischen Zeichnungen näher erläutert, von denen

1A bis 1C Bilddaten zweier Kameras, die Ergebnisse einer darauf basierenden Kantendetektion (Linienextraktion) und die Ergebnisse einer darauf basierenden Vektorisierung von Linien zeigen;
2 Bilddaten zweier Kameras und darin identifizierter Linienpaare beim Vorliegen eines horizontalen Fehlers zwischen den Bilddaten zeigt;
3 Bilddaten zweier Kameras und darin identifizierter Linienpaare beim Vorliegen eines vertikalen Fehlers zwischen den Bilddaten zeigt;
4 ein Bildverarbeitungssystem zum Kalibrieren von Bilddaten und/oder von zwei Kameras zeigt;
5 ein Fahrzeug mit einem Bildverarbeitungssystem und den Erfassungsbereichen von drei Kameras zeigt; und
6 schematisch ein Verfahren zum Kalibrieren mindestens einer von zwei Kameras zeigt.

Ausführliche Beschreibung
Die vorliegende Offenbarung wird im Folgenden anhand von schematischen Blockdiagrammen und Pixeldarstellungen beispielhaft erläutert. Die diesen Diagrammen zugrunde liegende technische Lehre kann sowohl in Hardware als auch Software oder einer Kombination aus Hardware und Software implementiert werden. Dazu zählen auch digitale Signalprozessoren (DSP), anwendungsspezifische integrierte Schaltkreise (ASICs) sowie andere Schalt- und Rechenkomponenten.
1 zeigt Bilddaten zweier Kameras und verarbeitete Bilddaten während der Durchführung einer Kalibrierung gemäß der vorliegenden Offenbarung. In 1A sind Ausschnitte der Bildbereiche einer ersten Kamera (Kamera A) sowie einer zweiten Kamera (Kamera B) gezeigt. Die dargestellten Ausschnitte betreffen den jeweiligen Bildbereich, der mit dem Bildbereich der anderen Kamera überlappt bzw. sich mit diesem überschneidet. Der Bildbereich der Kamera A erstreckt sich demnach weiter oberhalb des dargestellten Bildausschnitts und der Bildbereich der Kamera B erstreckt sich demnach weiter unterhalb des dargestellten Bildausschnitts. Selbstverständlich können die Bildbereiche der beiden Kameras auch entlang einer vertikalen oder diagonalen Linie aneinander grenzen oder daran entlang überlappen.
Aus den so erhaltenen Bilddaten der ersten und zweiten Kamera werden Kanteninformationen extrahiert. Die dabei entstehenden Bilddaten sind in 1B gezeigt. Durch die Anwendung eines entsprechenden Algorithmus (zum Beispiel der Canny-Algorithmus) werden Übergänge von Pixeln mit starkem Kontrast identifiziert und hervorgehoben. Nach der Kantendetektion können die Bilddaten beispielsweise nur monochrome Informationen enthalten, wobei extrahierte (identifizierte) Kanten schwarz, weiß oder in einem bestimmten Grauton dargestellt sind, während die übrigen Bereiche der Bilddaten weiß bzw. schwarz dargestellt sind.
Auf Basis der so geänderten Bilddaten können Linien auf Basis der Kanteninformationen extrahiert werden. Die Extraktion kann beispielsweise eine Entnahme aller Pixel umfassen, die aufgrund der Kantendetektion mit einer bestimmten Farbe versehen wurden (in 1B bspw. grau). Da dies für die Bilddaten beider Kameras durchgeführt wird, werden Linien in den Bilddaten beider Kameras extrahiert, die ein und dieselbe tatsächliche Linie repräsentieren.
Auf Basis der so extrahierten Linien wird anschließend eine Vektorisierung durchgeführt. Dafür können für die extrahierten Linien Anfangs- und Endpunkte ermittelt werden. Diese entsprechen Pixeln oder Pixelbereichen, die auf mehr als zwei Seiten an Pixel mit anderem Farbton angrenzen. Sind (wie In 1B dargestellt) Bereiche ohne Kanten bzw. Linien schwarz dargestellt, so werden bei der Vektorisierung Pixel oder Pixelbereiche, die auf mehr als zwei Seiten von schwarzen Pixeln umgeben sind, als Anfangs- oder Endpunkt der Linie identifiziert. Ein Algorithmus kann nun ausgehend von einem solchen Anfangs- oder Endpunkt der Linie anhand der vorhandenen Pixelinformationen Pixeln folgen, die die gleiche Farbe aufweisen, also dem Verlauf der Linie folgen.
Dabei können anhand der Pixelkoordinaten, die einer Linie zugeordnet werden, Vektorgrößen ermittelt werden. Hierzu zählen eine Länge des Vektors (die Länge der Linie) und ein Winkel (Richtung) des Vektors in Bezug auf ein vorgegebenes Koordinatensystem, aber auch eine Krümmung der Linie. Das Koordinatensystem kann den Kanten der betrachteten Bildausschnitte entsprechen. So ist in 1B ein Ursprung eines Koordinatensystems an einer linken oberen Ecke des Bildausschnitt der Kamera A dargestellt. Die X-Achse verläuft dabei in horizontaler Richtung, während die Y-Achse entsprechend vertikal ausgerichtet ist. Um Linien und Linienverläufe in den Bildausschnitten der Kameras A und B vergleichen zu können, ist es vorteilhaft, das Koordinatensystem über beide Bildausschnitte zu legen. In 1B entspricht beispielsweise die untere rechte Ecke des Bildausschnitt der Kamera B dem Punkt n/m im Koordinatensystem mit dem Ursprung an der linken oberen Ecke des Bildausschnitts der Kamera (0/0). Dabei entspricht n einem horizontalen Abstand vom Ursprung und m einem vertikalen Abstand vom Ursprung. Beispielsweise können n und m die Anzahl von Pixeln in den Bilddaten in horizontaler und vertikaler Richtung vom Ursprung aus sein.
Die vektorisierten Linien sind in 1C dargestellt. Dabei ist eine tatsächliche Linie in den Bilddaten beider Kameras enthalten. Beispielsweise ist eine erste Linie L1 in den Bilddaten beider Kameras enthalten, die deshalb als L1A bzw. L1B gekennzeichnet sind. Da die Bildbereiche der Kameras A und B in diesem Beispiel überlappen, verlaufen die extrahierten Linien L1A und L1B in beiden Bildbereichen. Entsprechend kann auch eine zweite Linie L2 in den Bilddaten beider Kameras ermittelt werden (siehe L2A und L2B in 1C), die nur im unteren Bildausschnitt sichtbar ist. Selbstverständlich kann die Kantendetektion, Linienextraktion und Vektorisierung der Linien auch auf Basis von Bilddaten beider Kameras erfolgen, wenn die Bildbereiche der beiden Kameras nur aneinandergrenzen und nicht überlappen. Wenn die Kameras bewegt werden, beispielsweise mit einem Fahrzeug, an dem sie befestigt sind, können in den Bilddaten der Kameras Kanten und Linien extrahiert und vektorisiert werden, die zunächst im Bildausschnitt der ersten Kamera sind und später im Bildausschnitt der zweiten Kamera. Mit anderen Worten wird die Überschneidung der beiden Bildbereiche durch eine Betrachtung der Bilddaten über einen bestimmten Zeitraum während der Bewegung erreicht.
Aus den auf Basis der Kanteninformationen der Bilddaten der ersten Kamera sowie der zweiten Kamera vektorisierten Linien wird nun mindestens ein Linienpaar identifiziert. Hierfür wird eine Differenz mindestens einer Vektorgröße zweier Linien L1A, L1B mit einem Schwellenwert verglichen, wobei eine erste Linie L1A aus den Bilddaten der ersten Kamera A stammt und eine zweite Linie L1B aus den Bilddaten der zweiten Kamera B stammt. Beispielsweise kann eine Differenz mindestens einer Koordinate der jeweiligen Anfangspunkte und/oder der jeweiligen Endpunkte der Linien L1A und L1B, eine Differenz einer jeweiligen Länge der Linien L1A und L1B und/oder eine Differenz eines jeweiligen Winkels der Linien L1A und L1B berechnet werden. Fällt das Ergebnis dieser Differenz unterhalb eines bestimmten vorgegebenen Schwellenwerts, werden die Linien L1A und L1B als Linienpaar identifiziert. Ebenso können die Linien L2A und L2B als Linienpaar identifiziert werden, da sie eine im wesentlichen gleiche Länge, Ausrichtung (Winkel) sowie im wesentlichen äquidistante Ausgangs- und Endpunkte aufweisen. Selbst eine Krümmung einer Linie, wie sie im rechten Bereich der 1C dargestellt ist, kann zum Identifizieren eines Linienpaares herangezogen werden.
Der Schwellwert kann dabei in Abhängigkeit von den zu erwartenden Toleranzen des optischen Systems (Optik, Mechanik, Blickwinkel (field of view - FoV), etc.) gewählt werden. Als Toleranzen können ca. 3% Lagefehler für jeden Sensor berücksichtigt werden.
Die Vektorisierung und Identifizierung eines Linienpaares wird nun anhand von 1C an einem konkreten Beispiel beschrieben. Die Linie L1A kann beispielsweise einen Anfangspunkt mit den Koordinaten (3,2/4,4) und einen Endpunkt mit den Koordinaten (3,5/m) aufweisen. Die Linie L1B kann einen Anfangspunkt mit den Koordinaten (3,4/4,6) und einen Endpunkt mit den Koordinaten (3,7/m) aufweisen. Die erste Koordinate bezieht sich hierbei auf einen Abstand entlang der X-Achse (horizontal) zum Ursprung (0/0) und die zweite Koordinate auf einen Abstand entlang der Y-Achse (vertikal) zum Ursprung (0/0). Da beide Endpunkte in Y-Richtung den Koordinatenwert m aufweisen, ist nicht sichergestellt, dass die jeweilige Linie L1A, L1B dort tatsächlich endet. Vielmehr ist davon auszugehen, dass die Linien L1A, L1B über den Bildausschnitt hinausgehen. Für die Anfangspunkte der Linien L1A, L1B hingegen ergibt sich eine Verschiebung in X-Richtung von 3,4 - 3,2 = +0,2 und eine Verschiebung in Y-Richtung von 4,6 - 4,4 = +0,2.
2 zeigt Bilddaten zweier Kameras und darin identifizierter Linienpaare beim Vorliegen eines horizontalen Fehlers zwischen den Bilddaten. Die extrahierten und vektorisierten Linien aus den Bilddaten der Kamera A sind durch ganze Linien dargestellt, während die extrahierten und vektorisiert Linien aus den Bilddaten der Kamera B durch gestrichelte Linien gezeichnet sind.
In der linken Ansicht der 2(a) sind die Bildbereiche der Kameras A und B optimal aufeinander abgestimmt, sodass am Kameraübergang kein Versatz zwischen den Linien über den gesamten Kameraübergang (Schnittlinie zwischen den später anzuzeigenden Bildbereichen der beiden Kameras) entsteht. Dies ist im unteren Bereich der 2(a) dargestellt, wo nur die Linien nach der Kamerazusammenführung (nach dem Erzeugen eines einzigen Bildes aus den Bilddaten beider Kameras) gezeigt sind.
Liegt hingegen ein Zoom-Fehler vor, werden Linienpaare identifiziert, wie sie in 2(b) dargestellt sind. Die Linienpaare in der Mitte (Mittellinie der Straße) fallen noch (nahezu) aufeinander. Je weiter die Linienpaare jedoch in horizontaler Richtung von einem Zentrum der Überschneidung der Bildbereiche entfernt sind, desto größer wird ein Abstand zwischen den Linien eines Linienpaares ausfallen. Dies ist im unteren Bereich der 2(b) durch den entsprechend gekennzeichneten Linksversatz 10 und Rechtsversatz 15 gekennzeichnet. Im dargestellten Beispiel hat die Kamera B einen größeren Zoomfaktor als die Kamera A.
Ein weiterer horizontaler Fehler zwischen den beiden Bilddaten der Kameras A und B kann in einer horizontalen Verschiebung der Ausrichtung der Kameras liegen. Dies ist beispielhaft in 2(c) gezeigt. Wie im unteren Bereich der 2(c) zu erkennen ist, ist in der Nähe des Zentrums der Überschneidung der Bildbereiche der Abstand 20 zwischen den zwei Linien eines Linienpaares (in etwa) gleich groß wie der Abstand 25 zweier Linien eines Linienpaares im Randbereich der Bildbereiche der Kameras A und B. Im dargestellten Beispiel ist der Bildausschnitt (Bildbereich) der Kamera B gegenüber dem Bildausschnitt der Kamera A nach links verschoben.
Der Versatz (10, 15, 20, 25) kann leicht berechnet werden. Einerseits kann eine horizontale Verschiebung der Linien L1A und L1B (oder auch L2A und L2B) aufgrund der Differenz von Koordinatenwerten der Anfangs- und/oder Endpunkte ermittelt werden. Alternativ kann auch der jeweilige Schnittpunkt der Linien L1A und L1B eines Linienpaares am Kameraübergang ermittelt werden und der horizontale Abstand der Koordinaten dieser Schnittpunkte berechnet werden.
Auf Basis des so berechneten Versatzes zwischen den Linien L1A und L1B eines Linienpaares können anschließend die Bilddaten mindestens einer der beiden Kameras A und B und/oder mindestens eine der Kameras A und B kalibriert werden. So kann der Zoomfaktor einer der beiden Kameras (siehe Doppelpfeil in der Mitte der 2(b)) digital oder an einer Kameraoptik verändert werden und/oder der Bildbereich (siehe Pfeil nach links in der Mitte der 2(c)) horizontal verschoben werden (digital oder mittels eines geeigneten Mechanismus an der Kamera). Durch entsprechende Kalibrierung wird somit ein Bildübergang erzeugt, wie er in 2(a) dargestellt ist.
In entsprechender Weise kann auch ein vertikaler Fehler zwischen den Bildbereichen der beiden Kameras A und B erkannt und ausgeglichen werden. 3 zeigt Bilddaten zweier Kameras A und B und darin identifizierter Linienpaare beim Vorliegen eines vertikalen Fehlers zwischen den Bilddaten. Die Linien der Kamera A sind wieder als durchgezogene Linien und die Linien der Kamera B als gestrichelte Linien gezeichnet.
In 3(b) ist zu erkennen, dass bei einem vertikalen Fehler (hier vertikaler Zoom-Fehler) zwischen den Bilddaten der Kameras A und B dieser bei vertikal verlaufenden Linien nicht sofort auffällt und ermittelt werden kann. Bei diagonalen oder gekrümmten Linien ist jedoch ein Versatz 30 entlang des (späteren) Kameraübergangs größer Null ermittelbar. Da im Kraftfahrzeugbereich selten ausschließlich vertikal verlaufende Linien in den Bilddaten der Kameras A und B vorhanden sein dürften, kann das Verfahren und der entsprechende Berechnungsalgorithmus auf Linienpaare mit einem Winkel größer Null beschränkt werden.
Um einen vertikalen Zoom-Fehler zu identifizieren (siehe 3(b)) kann aber auch die Länge der Linien (bekannt aus der Vektorisierung) verglichen werden. Ist beispielsweise eine Linie L1A aus den Bilddaten der Kamera A kürzer als eine Linie L1B aus den Bilddaten der Kamera B, so liegt ein größerer Zoomfaktor bei der Kamera B vor. Bei dieser Implementierungsvariante muss berücksichtigt werden, dass die Identifizierung eines Linienpaares nicht ausschließlich auf einem Vergleich der Längen der Linien L1A und L1B erfolgt. Aufgrund der unterschiedlichen Längen würden bei einem vertikalen Zoom-Fehler kein Linienpaar identifiziert werden können. Um hierbei eine erhöhte Präzision zu erzielen, ist ein großgewählter Überlappungsbereich von Vorteil. Andernfalls führt dies zu größere Messtoleranzen und damit zu große Zoomkalibrierungsfehlern.
Ferner ist es zur Ermittlung eines vertikalen Zoom-Fehlers von Vorteil, wenn mehrere diagonale Linienpaare extrahiert und identifiziert werden. Wenn diese Linienpaare unterschiedlich weit vom (späteren) Kameraübergang entfernt liegen, kann ein vertikaler Zoom-Fehler aufgrund eines unterschiedlichen vertikalen Versatzes zu jedem Linienpaar erkannt werden.
Werden bei der Vektorisierung von Linien auch Krümmungen berücksichtigt und berechnet, ist es auch möglich mit einem einzelnen Linienpaar aufgrund unterschiedlicher Krümmungen (beispielsweise unterschiedlicher Radien) einen vertikalen Zoom-Fehler zu identifizieren und anhand der Differenz der Krümmungen (Differenz der Krümmungsgrade) mathematisch spezifiziert werden. Diese Ermittlung lässt auch Rückschlüsse auf einen horizontalen Zoom-Fehler zu.
In 3(c) ist eine vertikale Verschiebung (Offset) zwischen den Bildbereichen der Kameras A und B dargestellt. Auch diese Verschiebung lässt sich am besten anhand von diagonalen Linien erkennen. Dabei entsteht ein horizontaler Versatz am (späteren) Kameraübergang zwischen den beiden Bilddaten.
In einer aufwändigeren Berechnung ist es hingegen auch möglich, die Länge der Vektoren der Linien L1A und L1B aus den Bilddaten der Kameras A und B mit einer Länge einer dargestellten Linie, wenn die Bilddaten der Kameras A und B zusammengefügt wurden, zu vergleichen. Hierfür müssen die Anfangs- und Endpunkte anhand von Pixelinformationen aus dem zusammengefügten Bild ermittelt werden und anschließend daraus die Länge der dargestellten Linie berechnet werden. Fällt diese kleiner oder größer aus als die Längen der Linien L1A und L1B, liegt eine vertikale Verschiebung (Offset-Fehler) vor.
Durch entsprechende Kalibrierung der Bilddaten mindestens einer der Kameras und/oder Kalibrierung mindestens einer der Kameras basierend auf dem ermittelten Versatz können die Bildbereiche der Kameras am Kameraübergang in Übereinstimmung gebracht werden. Diese aufeinander abgestimmten (kalibrierten) Bilddaten der Kameras A und B mit den entsprechenden Linien sind in 3(a) dargestellt.
4 zeigt ein Bildverarbeitungssystem zum Kalibrieren von Bilddaten und/oder von zwei Kameras. Das Bildverarbeitungssystem 100 ist hierfür mit einer Eingangsschnittstelle 110 versehen. Daran lassen sich zwei oder mehr Kameras 200 anschließen. Die Eingangsschnittstelle 110 ist daher dazu eingerichtet, Bilddaten der Kameras 200 zu empfangen.
Ferner umfasst das Bildverarbeitungssystem 100 eine Bildverarbeitungseinheit 120. Diese Bildverarbeitungseinheit 120 ist dazu eingerichtet, das Verfahren gemäß der vorliegenden Offenbarung auszuführen. So kann die Bildverarbeitungseinheit 120 Kanteninformationen aus Bilddaten einer ersten Kamera 200A und aus Bilddaten einer zweiten Kamera 200B (sowie aus Bilddaten weiterer Kameras 200N) extrahieren. Anschließend kann die Bildverarbeitungseinheit 120 Linien basierend auf den Kanteninformationen extrahieren und die extrahierten Linien basierend auf Anfangs- und Endpunkten der Linien vektorisieren. Schließlich ist die Bildverarbeitungseinheit 120 dazu eingerichtet, ein Linienpaar basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße beider Linien des Linienpaares mit einem Schwellenwert zu identifizieren, einen Versatz des Linienpaares zu berechnen und Bilddaten mindestens einer der Kameras 200 und/oder eine der Kameras 200 selbst basierend auf dem berechneten Versatz zu kalibrieren.
Das Bildverarbeitungssystem 100 kann ferner eine Ausgabeeinheit 130 umfassen, die dazu eingerichtet sein kann, die kalibrierten Bilddaten der ersten und zweiten Kamera 200A, 200B und/oder Bilddaten der kalibrierten ersten und zweiten Kamera 200A, 200B auszugeben. Beispielsweise kann die Ausgabeeinheit 130 mit einer Anzeigevorrichtung 135 gekoppelt sein und Bilddaten an die Anzeigevorrichtung 135 übermitteln.
Die Anzeigevorrichtung 135 kann in Form eines Bildschirms oder Displays implementiert sein. Die Anzeigevorrichtung 135 ist in der Lage, die von der Ausgabeeinheit 130 empfangenen Bilddaten anzuzeigen. Somit können auf einer einzelnen Anzeigevorrichtung 135 die Bilddaten einer oder mehrerer Kameras 200 so angezeigt werden, als würden sie von einer einzelnen Quelle, also einer einzelnen Kamera, stammen.
Ferner kann das Bildverarbeitungssystem 100 eine Kamerasteuerungseinheit 140 umfassen. Die Kamerasteuerungseinheit 140 kann dazu eingerichtet sein, Kalibrierungsinformationen von der Bildverarbeitungseinheit 120 zu empfangen, ein horizontales und/oder vertikales Zoom einer der Kameras 200 basierend auf den Kalibrierungsinformationen der Bildverarbeitungseinheit 120 auszugleichen, und/oder eine horizontale und/oder vertikale Verschiebung einer der Kameras 200 basierend auf den Kalibrierungsinformationen auszugleichen. Die Kamerasteuerungseinheit 140 kann über die Eingangsschnittstelle 110 mit den Kameras 200 verbunden sein. Hierfür kann die Eingangsschnittstelle 110 auch als Ausgangsschnittstelle dienen. Alternativ hierzu kann die Kamerasteuerungseinheit 140 über eine getrennte Schnittstelle (nicht gezeigt) mit den Kameras 200 gekoppelt sein, um eine Kalibrierung an den Kameras 200 vorzunehmen oder Kalibrierungssignale an die Kameras 200 zu senden.
Beispielsweise kann eine Kameraoptik aufgrund von Kalibrierungssignalen von der Kamerasteuerungseinheit 140 einer der Kameras 200 einen Zoomfaktor der Kamera 200 ändern, sodass zwei aneinander grenzende Bildbereiche zweier Kameras 200 unterbrechungsfrei und frei von Artefakten angezeigt werden. Eine Unterbrechung würde bedeuten, dass ein bestimmter Bildausschnitt von keiner der beiden Kameras 200 erfasst wird. Artefakte sind zum Beispiel Objekte, die an einem Kameraübergang versetzt dargestellt sind.
5 zeigt ein Fahrzeug 300 mit einem Bildverarbeitungssystem 100 und den Erfassungsbereichen von drei Kameras 200 (die Kameras sind in 5 nicht dargestellt). So kann das in 4 dargestellte Bildverarbeitungssystem 100 in einem Fahrzeug 300 integriert sein.
In dem Beispiel der 5 sind die Kameras 200 in, an oder in der Nähe eines Außenspiegels des Fahrzeugs 300 angeordnet. Sie können jedoch an einem oder mehreren anderen Bereichen des Fahrzeugs 300 angeordnet sein. Jede der Kameras 200 erfasst einen bestimmten Bildbereich 210. Beispielsweise kann eine erste Kamera einen nach vorne und seitlich ausgerichteten Bildbereich 210A abdecken, eine zweite Kamera einen Bildbereich 210B seitlich des Fahrzeugs 300 abdecken, und eine dritte Kamera einen nach hinten und seitlich ausgerichteten Bildbereich 210C abdecken.
Die Bildbereiche 210 sind so dargestellt, dass sie sich gegenseitig teilweise überlappen. Alternativ dazu können die Bildbereiche 210 der Kameras 200 so eingestellt sein, dass sie direkt aneinandergrenzen. Wichtig ist, dass keine Bereiche entstehen, die durch keinen der Bildbereiche 210 der Kameras 200 erfasst werden.
Schließlich ist es auch von Vorteil, wenn zumindest ein Bildbereich 210A, 210C einen Teil des Fahrzeugs erfasst. Dadurch wird dem Betrachter des Gesamtbildes vermittelt, dass zwischen dem Fahrzeug und den erfassten Bildbereichen keine Lücke ist.
In 6 ist schließlich schematisch ein allgemeines Verfahren zum Kalibrieren mindestens einer von zwei Kameras 200 dargestellt. Ausführliche Details des Verfahrens können den 1 bis 3 und der zugehörigen Beschreibung entnommen werden.
In einem ersten Schritt 410, werden Kanteninformationen aus Bilddaten der ersten Kamera 200A und aus Bilddaten der zweiten Kamera 200B extrahiert. Anschließend können Linien L1, L2 basierend auf den Kanteninformationen extrahiert werden (Schritt 420). Die so extrahierten Linien L1, L2 werden anschließend in Schritt 430 basierend auf Anfangs- und Endpunkten der Linien L1, L2 vektorisiert.
Auf Basis der Vektordaten der Linien L1, L2 kann ein Linienpaar (L1A und L1B, oder L2A und L2B) identifiziert werden (Schritt 440), beispielsweise basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße zweier Linien mit einem Schwellenwert. Dabei kann eine erste Linie L1A des Linienpaares auf Basis der Kanteninformationen der Bilddaten der ersten Kamera 200A extrahiert worden sein, und eine zweite Linie L1B des Linienpaares auf Basis der Kanteninformationen der Bilddaten der zweiten Kamera 200B extrahiert worden sein.
In Schritt 450 wird für die Linien L1, L2 eines Linienpaares ein Versatz der Linien berechnet. Basierend auf dem so berechneten Versatz können in Schritt 460 Bilddaten mindestens einer der Kameras 200 kalibriert werden. Zusätzlich oder alternativ hierzu kann mindestens eine der Kameras 200 kalibriert werden.

Claims

Verfahren zum Kalibrieren mindestens einer von zwei Kameras (200), wobei ein von einer ersten Kamera (200A) eingefangener Bildbereich (210A) an einen von einer zweiten Kamera (200B) eingefangenen Bildbereich (210B) angrenzt oder mit diesem teilweise überlappt, wobei das Verfahren umfasst: Extrahieren (410) von Kanteninformationen aus Bilddaten der ersten Kamera (200A) und aus Bilddaten der zweiten Kamera (200B); Extrahieren (420) von Linien (L1, L2) basierend auf den Kanteninformationen; Vektorisieren (430) der extrahierten Linien (L1, L2) basierend auf Anfangs- und Endpunkten der Linien (L1, L2), Identifizieren (440) zweier Linienpaare (L1A-L1B, L2A-L2B) jeweils basierend auf einem Vergleich einer Differenz mindestens einer Vektorgröße zweier Linien (L1, L2) mit einem Schwellenwert, wobei eine erste Linie (L1A, L2A) des jeweiligen Linienpaares (L1A-L1B, L2A-L2B) auf Basis der Kanteninformationen der Bilddaten der ersten Kamera (200A) extrahiert wurde und eine zweite Linie (L1B, L2B) des jeweiligen Linienpaares (L1A-L1B, L2A-L2B) auf Basis der Kanteninformationen der Bilddaten der zweiten Kamera (200B) extrahiert wurde; Berechnen (450) eines Versatzes (10, 15, 20, 25, 30, 35) der Linien (L1, L2) jedes Linienpaares (L1A-L1B, L2A-L2B); und Kalibrieren (460) der Bilddaten mindestens einer der Kameras (200) basierend auf dem berechneten Versatz (10, 15, 20, 25, 30, 35) beider Linienpaare (L1A-L1B, L2A-L2B), wobei das Kalibrieren ein Ausgleichen eines unterschiedlichen horizontalen und/oder vertikalen Zooms einer der Kameras (200) umfasst.
Verfahren gemäß Anspruch 1, wobei die Differenz mindestens einer Vektorgröße berechnet werden kann als: eine Differenz mindestens eines Koordinatenwerts der Anfangspunkte der ersten Linie (L1A, L2A) und der zweiten Linie (L1B, L2B), eine Differenz mindestens eines Koordinatenwerts der Endpunkte der ersten Linie (L1A, L2A) und der zweiten Linie (L1B, L2B), eine Differenz von Längen der ersten Linie (L1A, L2A) und der zweiten Linie (L1B, L2B), eine Differenz von Winkeln der Vektoren der ersten Linie (L1A, L2A) und der zweiten Linie (L1B, L2B), und/oder eine Differenz von Krümmungen der ersten Linie (L1A, L2A) und der zweiten Linie (L1B, L2B).
Verfahren gemäß Anspruch 1 oder 2, wobei das Identifizieren eines Linienpaares (L1A-L1B, L2A-L2B) nur auf Basis von Linien (L1, L2) mit einer vorgegebenen Mindestlänge durchgeführt wird, und/oder wobei das Identifizieren eines Linienpaares (L1A-L1B, L2A-L2B) nur auf Basis von Linien (L1, L2), deren Vektor einen Winkel gegenüber allen Randkanten des Bildbereichs der zugrunde liegenden Kamera (200) größer Null aufweist, durchgeführt wird.
Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das Berechnen eines Versatzes (10, 15, 20, 25, 30, 35) umfasst: Berechnen einer Verschiebung der ersten Linie (L1A, L2A) zur zweiten Linie (L1B, L2B), und/oder Berechnen einer Drehung der ersten Linie (L1A, L2A) zur zweiten Linie (L1B, L2B).
Verfahren gemäß einem der Ansprüche 1 bis 4, wobei die erste und zweite Kamera (200A, 200B) an einem sich bewegenden Objekt befestigt sind, und wobei das Verfahren umfasst: Speichern von Versatzdaten der Linien (L1, L2) jedes Linienpaares (L1A-L1B, L2A-L2B) für jeden Frame der Bilddaten über eine vorgegebene Zeitspanne, Ermitteln einer statistischen Korrelation der ersten und zweiten Linie (L1, L2) für jedes Linienpaar (L1A-L1B, L2A-L2B) basierend auf den gespeicherten Versatzdaten und in Abhängigkeit einer Zeit während der vorgegebenen Zeitspanne, und Aussortieren von Linienpaaren (L1A-L1B, L2A-L2B), die eine vorgegebene statistische Korrelation nicht erfüllen.
Verfahren gemäß Anspruch 5, wobei das Ermitteln einer statistischen Korrelation ein Ermitteln einer Veränderung der Versatzdaten aus mindestens zwei der Frames umfasst.
Verfahren gemäß Anspruch 6, wobei das Ermitteln einer statistischen Korrelation des Weiteren ein Bestimmen einer zeitlichen Gleichförmigkeit der Veränderung der Versatzdaten über die Zeitspanne umfasst, und wobei das Verfahren des Weiteren umfasst: Beenden des Speicherns von Versatzdaten und des Ermittelns einer statistischen Korrelation, wenn für mindestens ein Linienpaar (L1A-L1B, L2A-L2B) eine vorgegebene statistische Relevanz der Korrelation ermittelt wurde.
Verfahren gemäß einem der Ansprüche 1 bis 7, wobei das Kalibrieren des Weiteren umfasst: Ausgleichen einer horizontalen und/oder vertikalen Verschiebung einer der Kameras (200).
Verfahren gemäß Anspruch 8, wobei das Ausgleichen eines Zooms und/oder einer Verschiebung durch Verändern der Bilddaten einer der Kameras (200) erfolgt.
Verfahren gemäß einem der Ansprüche 1 bis 9, wobei das Verfahren des Weiteren umfasst: Übermitteln einer Nachricht an eine Mensch/Maschine-Schnittstelle (135), wenn die Bilddaten der mindestens einen Kamera (200) kalibriert wurden.
Bildverarbeitungssystem (100) zum Kalibrieren mindestens einer von zwei an einem sich bewegenden Objekt befestigten Kameras (200), wobei das System (100) umfasst: eine Eingangsschnittstelle (110), die dazu eingerichtet ist, Bilddaten der zwei Kameras (200) zu empfangen; und eine Bildverarbeitungseinheit (120), die dazu eingerichtet ist, das Verfahren gemäß einem der Ansprüche 1 bis 10 durchzuführen.
Bildverarbeitungssystem (100) gemäß Anspruch 11, des Weiteren umfassend: eine Ausgabeeinheit (130), die dazu eingerichtet ist, die Bilddaten der kalibrierten ersten und zweiten Kamera (200A, 200B) und/oder die kalibrierten Bilddaten der ersten und zweiten Kamera (200A, 200B) auszugeben.
Bildverarbeitungssystem (100) gemäß Anspruch 11 oder 12, des Weiteren umfassend: eine Kamerasteuerungseinheit (140), die dazu eingerichtet ist: - Kalibrierungsinformationen von der Bildverarbeitungseinheit (120) zu empfangen, - das horizontale und/oder vertikale Zoom einer der Kameras (200) basierend auf den Kalibrierungsinformationen auszugleichen, und/oder - eine horizontale und/oder vertikale Verschiebung einer der Kameras (200) basierend auf den Kalibrierungsinformationen auszugleichen.