-
EINLEITUNG
-
Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen beziehen sich auf das Kalibrieren von Kameras. Insbesondere betreffen Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen das Kalibrieren von Fahrzeugkameras.
-
KURZDARSTELLUNG
-
Eine oder mehrere exemplarische Ausführungsformen stellen ein Verfahren und eine Vorrichtung bereit, die erfassen, ob eine Kamera erneut kalibriert werden muss, und die eine Kamera erneut kalibrieren, wenn die Kamera erneut kalibriert werden muss. Insbesondere stellen eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung bereit, die erfasst, ob eine Kamera basierend auf einem Bild der Kamera erneut kalibriert werden muss, und welche die Kamera je nach Bedarf erneut kalibrieren.
-
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein Verfahren zum Kalibrieren einer Kamera bereitgestellt. Das Verfahren beinhaltet das Erfassen mindestens einer Kante des feststehenden Objekts im von einer Kamera erhaltenen Bild, das Erfassen mindestens eines horizontalen Mittelpunkts mindestens einer Kante, das Berechnen einer ersten Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt, das Berechnen zweiter Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und eine vorgespeicherte Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts, wobei auf Basis der ersten Pixelentfernung und der zweiten Pixelentfernungen ermittelt wird, ob die Kamera erneut kalibriert werden soll, und ein erneutes Kalibrieren der Kamera, falls das Ermitteln ermittelt, dass die Kamera erneut kalibriert werden soll.
-
Das feststehende Objekt kann eine Fahrzeugladefläche sein, die Vielzahl der Punkte kann den Ecken der Fahrzeugladefläche entsprechen, und das Ermitteln des mindestens einen horizontalen Mittelpunkts der mindestens einen Kante kann das Ermitteln eines horizontalen Mittelpunkts mindestens einer Kante, die einer Tür der Fahrzeugladefläche entspricht und eines horizontalen Mittelpunkts einer Kante beinhalten, die einer der Tür der Fahrzeug Ladefläche gegenüberliegenden Seite entspricht, beinhalten.
-
Das feststehende Objekt kann ein Stoßfänger sein, das Ermitteln des mindestens einen horizontalen Mittelpunkts der mindestens einen Kante kann das Ermitteln eines horizontalen Mittelpunkts einer dem Stoßfänger entsprechenden Kante beinhalten, und die Vielzahl der Punkte sind Punkte auf dem Stoßfänger, die einem oder mehreren der Folgenden entsprechen: a) einem ersten Ende des Stoßfängers und einem zweiten Ende des Stoßfängers; und b) einem Punkt zwischen dem horizontalen Mittelpunkt und dem ersten Ende des Stoßfängers und einem Punkt zwischen dem horizontalen Mittelpunkt und dem zweiten Ende des Stoßfängers.
-
Das Ermitteln, ob die Kamera basierend auf der ersten Pixelentfernung und der zweiten Pixelentfernungen erneut kalibriert werden muss, kann das Ermitteln beinhalten, ob die erste Pixelentfernung und die zweite Pixelentfernung größer als eine im Voraus ermittelte Grenzentfernung sind.
-
Das Ermitteln ob die Kamera basierend auf der ersten Pixelentfernung und den zweiten Pixelentfernungen erneut zu kalibrieren ist, kann das Ermitteln, ob eine affine Bewegung basierend auf dem ermittelten horizontalen Mittelpunkt und der Vielzahl von Punkten auf der mindestens einen Kante des feststehenden Objekts stattgefunden hat, beinhalten.
-
Das Rekalibrieren der Kamera kann das Umwandeln des empfangenen Bilds und das erneute Zurechtschneiden des transformierten Bilds beinhalten.
-
Das Umwandeln des empfangenen Bilds beinhaltet das Durchführen einer affinen Umwandlung auf dem empfangenen Bild basierend auf der ersten Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt und den zweiten Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und einer vorgespeicherten Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts.
-
Die Kamera beinhaltet eine Kamera, die einen Bereich hinter einem Fahrzeug einschließlich eines Fahrzeugstoßfängers abbildet oder eine Kamera, die einen Bereich einschließlich einer Ladefläche des Fahrzeugs abbildet.
-
Die Vielzahl von Punkten kann vier Punkte oder sechs Punkte beinhalten.
-
Gemäß einem Aspekt einer exemplarischen Ausführungsform wird ein Verfahren zum Kalibrieren einer Kamera bereitgestellt. Das Verfahren beinhaltet das Erfassen mindestens einer Kante des feststehenden Objekts im von einer Kamera erhaltenen Bild, das Erfassen mindestens eines Mittelpunkts mindestens einer Kante, das Berechnen einer ersten Pixelentfernung zwischen dem ermittelten mindestens einen Mittelpunkt und einem vorgespeicherten mindestens einen Mittelpunkt, das Berechnen zweiter Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und eine vorgespeicherte Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts, wobei auf Basis der ersten Pixel entfernung und der zweiten Pixelentfernungen ermittelt wird, ob die Kamera erneut kalibriert werden soll, und ein erneutes Kalibrieren der Kamera, falls das Ermitteln ermittelt, dass die Kamera erneut kalibriert werden soll.
-
Gemäß einem Aspekt einer weiteren exemplarischen Ausführungsform wird eine Vorrichtung zum Kalibrieren einer Kamera bereitgestellt. Die Vorrichtung beinhaltet mindestens einen Prozessor, der computerausführbare Anweisungen umfasst und mindestens einen Prozessor, der konfiguriert ist, um die computerausführbaren Anweisungen auszuführen. Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, mindestens eine Kante des feststehenden Objekts im von einer Kamera erhaltenen Bild zu erfassen, mindestens einen horizontalen Mittelpunkt mindestens einer Kante zu erfassen, eine erste Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt zu berechnen, zweite Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts zu berechnen und eine vorgespeicherte Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts zu berechnen, basierend auf der ersten Pixel entfernung und der zweiten Pixelentfernungen zu ermitteln, ob die Kamera erneut kalibriert werden soll, und die Kamera erneut zu kalibrieren, falls das Ermitteln ermittelt, dass die Kamera erneut kalibriert werden soll.
-
Das feststehende Objekt kann eine Fahrzeugladefläche sein, die Vielzahl der Punkte kann den Ecken der Fahrzeugladefläche entsprechen, und die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den mindestens einen horizontalen Mittelpunkt der mindestens einen Kante kann durch Ermitteln eines horizontalen Mittelpunkts mindestens einer Kante, die einer Tür der Fahrzeugladefläche entspricht und eines horizontalen Mittelpunkts einer Kante, die einer der Tür der Fahrzeugladefläche gegenüberliegenden Seite entspricht, zu ermitteln.
-
Das feststehende Objekt kann ein Stoßfänger sein, die Vielzahl der Punkte können Punkte auf dem Stoßfänger sein, die einer oder mehreren aus den Folgenden entsprechen: a) einem ersten Ende des Stoßfängers und einem zweiten Ende des Stoßfängers; und b) einem Punkt zwischen dem horizontalen Mittelpunkt und dem ersten Ende des Stoßfängers und einem Punkt zwischen dem horizontalen Mittelpunkt und dem zweiten Ende des Stoßfängers, und die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den mindestens ein horizontalen Mittelpunkt der mindestens einen Kante durch Ermitteln eines horizontalen Mittelpunkts einer dem Stoßfänger entsprechenden Kante zu ermitteln.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, zu ermitteln, ob die Kamera basierend auf der ersten Pixelentfernung und den zweiten Pixelentfernungen durch Ermitteln, ob die erste Pixelentfernung und die zweiten Pixelentfernungen größer als eine im Voraus bestimmte Schwellenwertentfernung sind, erneut zu kalibrieren sind.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor ferner veranlassen, zu ermitteln, ob die Kamera basierend auf der ersten Pixelentfernung und den zweiten Pixelentfernungen durch weiteres Ermitteln, ob eine affine Bewegung basierend auf dem ermittelten horizontalen Mittelpunkt und der Vielzahl von Punkten auf der mindestens einen Kante des feststehenden Objekts stattgefunden hat, erneut zu kalibrieren sind.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor ferner veranlassen, die Kamera durch Umwandeln des empfangenen Bilds und durch erneutes Zurechtschneiden des umgewandelten Bilds erneut kalibrieren.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor ferner veranlassen, das empfangene Bild durch Durchführen einer affinen Umwandlung auf dem empfangenen Bild basierend auf der ersten Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt und den zweiten Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und einer vorgespeicherten Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts umzuwandeln.
-
Die Vorrichtung kann ferner eine Kamera beinhalten, die einen sich hinter dem Fahrzeug befindlichen Bereich einschließlich des Stoßfängers des Fahrzeugs abbildet.
-
Die Vorrichtung kann eine Kamera beinhalten, die einen Bereich einschließlich einer Ladefläche des Fahrzeugs abbildet.
-
Die Vielzahl von Punkten kann vier Punkte oder sechs Punkte beinhalten.
-
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
-
Figurenliste
-
- 1 zeigt ein Blockdiagramm einer Vorrichtung, die eine Kamera gemäß einer exemplarischen Ausführungsform kalibriert;
- 2 zeigt ein Flussdiagramm für ein Verfahren zum Kalibrieren einer Kamera gemäß einer exemplarischen Ausführungsform;
- 3A - 3C zeigen Veranschaulichungen von Bildern und Kanten, die in einem Kalibrierungsverfahren gemäß einem Aspekt einer exemplarischen Ausführungsform verwendet werden; und
- 4 zeigt Veranschaulichungen von Bildern von einer kalibrierten Kamera und einer Kamera, die erneut gemäß einem Aspekt einer exemplarischen Ausführungsform kalibriert werden muss.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
Eine Vorrichtung und ein Verfahren zum Kalibrieren einer Kamera werden nun im Detail unter Bezugnahme auf die 1-4 der beigefügten Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen.
-
Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten Ausführungsbeispiele lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jedes Ausführungsbeispiels normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
-
Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, „gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
-
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
-
Die Kameras werden auf Fahrzeugen, wie LKW, Automobile, Motorroller, Fahrrädern, Boote, Flugzeuge usw., angebracht. Diese Kameras sind kalibriert und werden verwendet, um einem Fahrzeugführer Führungsinformationen bereitzustellen. Eine Art von Führungsinformationen kann durch einen Fahrzeugführer verwendet werden, um ein Fahrzeug zu führen, um eine Anhängerkupplung an einer Befestigungsstelle eines Anhängers anzuordnen. Einige Beispiele von Anhängern, die von einem Fahrzeug gezogen werden können, beinhalten eine Sattelkupplung, eine Schwanenhalskupplung, oder eine standardmäßige niedrig angebrachte Anhängerkupplung. Die Anhängerkupplung kann sich in einer Ladefläche eines Fahrzeugs, z. B. einer Ladefläche eines LKWs, oder am Heck eines Fahrzeugs in der Nähe des Stoßfängers befinden. Wenn eine Kamera oder ein sonstiger Bildsensor sich jedoch bewegt oder falsch ausgerichtet wird, können die Führungsinformationen und/oder das Bild von der Kamera falsch angezeigt werden.
-
Um das vorhergehende Problem zu lösen, kann ein von einer Kamera, wie einer Rückfahrkamera, einer nach hinten gerichteten Kamera, einer hochgesetzten Bremsleuchtenkamera (CHMSL - Center High Mount Stop Lamp), einer auf einem Lkw, einer Heckklappe, oder einem Stoßfänger angebrachten Kamera, bereitgestelltes Bild, verwendet werden, um zu ermitteln, ob eine Kamera erneut kalibriert werden muss. Das Bild kann verwendet werden, um die Bewegung der Kamera zu ermitteln und um das Bild der Kamera durch Umwandeln und/oder Zurechtschneiden des Bildes von der fehlausgerichteten Kamera erneut zu kalibrieren. Die Bewegung der Kamera kann durch Durchführen einer Kantenerfassung an feststehenden Objekten im Bild und durch Identifizieren von Punkten und Orientierungspunkten an den Kanten ermittelt werden. Die Orte der Punkte oder der Orientierungspunkte kann mit einem vorgespeicherten Satz von Werten, die einem richtig kalibrierten Bild entsprechen, verglichen werden. Der Unterschied zwischen einem vorgespeicherten Satz von Werten und identifizierten Stellen oder Punkten kann dann verwendet werden, um zu ermitteln, ob die Kamera sich bewegt hat, oder um die Kamera oder den Bildsensor im Anschluss daran durch Einstellen des Bildes erneut zu kalibrieren.
-
1 zeigt ein Blockdiagramm einer Vorrichtung, die eine Kamera 100 gemäß einer exemplarischen Ausführungsform kalibriert. Wie in 1 gezeigt, beinhaltet die Vorrichtung zum Kalibrieren einer Kamera 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Bildsensor 107 und eine Kommunikationsvorrichtung 108. Jedoch ist die Vorrichtung zum Kalibrieren einer Kamera 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente beinhaltet und/oder ein oder mehrere der vorgenannten Elemente weglässt. Die Vorrichtung zum Kalibrieren einer Kamera 100 kann als Teil eines Fahrzeugs, als eigenständige Komponente, als Hybrid zwischen einer Fahrzeug- und einer Nicht-Fahrzeugvorrichtung oder einem anderen Computergerät implementiert sein.
-
Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung zum Kalibrieren einer Kamera 100. Die Steuerung 101 kann einen oder mehrere Speicher 103, eine Ausgabe 104, eine Benutzereingabe 106, einen Bildsensor 107 und eine Kommunikationsvorrichtung 108 der Vorrichtung zum Kalibrieren einer Kamera 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
-
Die Steuerung 101 ist dazu konfiguriert, Informationen von einen oder mehreren Speichern 103, dem Ausgang 104, der Benutzereingabe 106, dem Bildsensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Kalibrieren einer Kamera 100 zu senden und/oder zu empfangen. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden oder können direkt von einem oder mehreren der Speicher 103, des Ausgangs 104, der Benutzereingabe 106, des Bildsensors 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Kalibrieren einer Kamera 100 gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
-
Die Stromversorgung 102 versorgt eine oder mehrere aus der Steuerung 101, dem Speicher 103, dem Ausgang 104, der Benutzereingabe 106, des Bildsensors 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Kalibrieren einer Kamera 100. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
-
Der Speicher 103 ist zum Speichern und Abrufen von Informationen, die von der Vorrichtung zum Kalibrieren einer Kamera 100 verwendet werden, konfiguriert. Der Speicher 103 kann durch die Steuerung 101 gesteuert werden, um vom Bildsensor 107 empfangene Informationen zu speichern und abzurufen. Die Informationen können das Folgende beinhalten: Bildinformationen von Bildern, die vom Bildsensor 107 aufgenommen wurden, Kalibrierungsinformationen einschließlich einer vorgespeicherten Vielzahl von Punkten einer Kante oder einer Ecke eines feststehenden Objekts und/oder eines vorgespeicherten horizontalen Mittelpunkts einer Kante oder eines feststehenden Objekts, Informationen zu Pixelentfernungen usw. Der Speicher 103 kann auch die computerausführbaren Anweisungen beinhalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung zum Kalibrieren einer Kamera 100 auszuführen.
-
Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
-
Die Ausgabe 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Die Ausgabe 104 kann über die Steuerung 101 gesteuert werden, um dem Benutzer der Vorrichtung zum Kalibrieren einer Kamera 100 Ausgaben bereitzustellen. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Audiovorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
-
Der Ausgang 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung usw. beinhalten. Darüber hinaus kann der Ausgang 104 ein Bild vom Bildsensor 107 oder der Kamera, die dem Heck des Fahrzeugs zugewandt ist, welches die Ladefläche des Fahrzeugs und/oder einen sich hinter dem Fahrzeug befindlichen Bereich einschließlich eines Anhängers, an den das Fahrzeug versucht anzukuppeln, ausgeben.
-
Das Bild von der Rückseite des Fahrzeugs kann gemäß einer Position einer Anhängerkupplung oder eines Anhängers verarbeitet oder eingestellt werden. Zum Beispiel kann das Bild je nach der Zone, in der sich der Anhänger befindet, gezoomt, vergrößert und/oder zurechtgeschnitten werden. Darüber hinaus kann die Ausgabe 104 Führungsinformationen anzeigen. Die Führungsinformationen können auf einem vom Bildsensor 107 aufgenommenen Bild überlagert werden. Die Führungsformationen können in Form eines oder mehrerer aus einer Führungslinie, einem Pfeil, oder einem Gitter vorliegen.
-
Die Benutzereingabe 106 ist dazu konfiguriert, Informationen und Anweisungen an die Vorrichtung zum Kalibrieren einer Kamera 100 bereitzustellen. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einem Lenkrad, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann konfiguriert werden, um Informationen bereitzustellen, die verwendet werden, um den Bildsensor 107 oder eine Kamera durch Einstellen eines Bildes erneut zu kalibrieren. Die Informationen können eine Benutzereingabe beinhalten, um ein Bild zurecht zu schneiden oder umzuwandeln. Die Informationen können auch Lenkwinkel- oder Radwinkelinformationen beinhalten, die verwendet werden, um die Führungsinformationen, die auf dem Ausgang 104 angezeigt werden, einzustellen.
-
Der Bilderfassungssensor 107 kann einen oder mehrere aus einer Vielzahl von Sensoren einschließlich einer Kamera, eines Lasersensors, eines Ultraschallsensors, einer Infrarotkamera, eines LIDAR, eines Radarsensors, eines Ultrakurzbereichsradarsensors, eines Ultrabreitbandradarsensor und eines Mikrowellensensors beinhalten. Die vom Bildsensor 107 bereitgestellten Informationen können verwendet werden, um ein Bild zu erzeugen. Das Bild kann analysiert verwendet werden, um zu ermitteln, ob der Bildsensor erneut kalibriert werden muss.
-
In einem Beispiel kann der Bildsensor 107 ein oder mehrere Bilder aus einer oder mehreren nach hinten gerichteten Kameras bereitstellen, die auf dem Ausgang 104 angezeigt werden können. Zum Beispiel kann ein Bild von einem Bildsensor 107, der als eine CHMSL-Kamera verkörpert ist, bereitgestellt werden. In einem anderen Beispiel kann ein Bild von einem als eine auf einem Kofferraum, einer Heckklappe oder einem Stoßfänger des Fahrzeugs angebrachten Kamera verkörperten Bildsensor 107 bereitgestellt werden.
-
Die Kommunikationsvorrichtung 108 kann von der Vorrichtung zum Kalibrieren einer Kamera 100, verwendet werden, um mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann verwendet werden, um Informationen zu/von der Steuerung 101 der Vorrichtung, welche eine Kamera 100 kalibriert, zu senden/zu empfangen. Dazu gehören unter anderem Informationen vom Bildsensor 107, Kalibrierungsinformationen, Führungsinformationen, Informationen zu Fahrzeugdynamiken, wie der Fahrzeuggeschwindigkeit und der Fahrzeugtrajektorie.
-
Das Kommunikationsgerät 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations (NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder ZigBee, beinhalten.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um mindestens eine Kante des feststehenden Objekts im von einer Kamera erhaltenen Bild zu erfassen, mindestens einen horizontalen Mittelpunkt mindestens einer Kante zu erfassen, eine erste Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt zu berechnen, zweite Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts zu berechnen und eine vorgespeicherte Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts zu berechnen, basierend auf der ersten Pixelentfernung und der zweiten Pixelentfernungen zu ermitteln, ob die Kamera erneut kalibriert werden soll, und die Kamera erneut zu kalibrieren, falls das Ermitteln ermittelt, dass die Kamera erneut kalibriert werden soll.
-
In einem Beispiel kann die Steuerung 101 ermitteln, dass die Kamera sich nach oben oder nach unten bewegt hat, falls die erste Pixelentfernung, die zweite Pixelentfernung oder eine Differenz zwischen der Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts angibt, dass die Vielzahl von Punkten sich oberhalb oder unterhalb der vorgespeicherten Vielzahl von Punkten befindet. In einem anderen Beispiel kann die Steuerung 101 ermitteln, dass die Kamera sich nach vorne oder nach hinten bewegt hat, falls es zwischen einem durch eine oder mehrere Kanten oder der Vielzahl von Punkten definierten Bereich und einem vorgespeicherten Bereich einen Größenunterschied gibt. In einem noch weiteren Beispiel kann die Steuerung 101 ermitteln, dass die Kamera sich gedreht hat, falls die erste Pixelentfernung, die zweite Pixelentfernung oder die Vielzahl von Punkten eine affine Bewegung angibt.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um den mindestens einen horizontalen Mittelpunkt, der mindestens einen Kante durch Ermitteln eines horizontalen Mittelpunkts einer der Tür der Ladefläche des Fahrzeugs entsprechenden Kante und eines horizontalen Mittelpunkts einer gegenüber der Tür der Ladefläche des Fahrzeugs entsprechenden Kante zu ermitteln.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um den mindestens einen horizontalen Mittelpunkt, der mindestens einen Kante durch Ermitteln eines horizontalen Mittelpunkts einer dem Stoßfänger entsprechenden Kante zu ermitteln.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um zu ermitteln, ob die Kamera basierend auf der ersten Pixelentfernung und den zweiten Pixelentfernungen durch Ermitteln, ob die erste Pixelentfernung oder die zweiten Pixelentfernungen größer als ein im Voraus ermittelte Grenzentfernung sind, erneut zu kalibrieren ist.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um zu ermitteln, ob die Kamera basierend auf der ersten Pixelentfernung und den zweiten Pixelentfernungen durch weiteres Ermitteln, ob eine affine Bewegung stattgefunden hat, basierend auf dem ermittelten horizontalen Mittelpunkt und der Vielzahl von Punkten auf der mindestens einen Kante des feststehenden Objekts, erneut zu kalibrieren ist. Wenn zum Beispiel eine affine Bewegung stattgefunden hat, ist die Kamera möglicherweise gedreht worden.
-
Die Steuerung 101 der Vorrichtung, die eine Kamera 100 kalibriert, kann konfiguriert werden, um die Kamera durch Umwandeln des empfangenen Bilds und durch erneutes Zurechtschneiden des umgewandelten Bilds erneut zu kalibrieren.
-
Die Steuerung 101 der Vorrichtung, eine Kamera 100 kalibriert, kann konfiguriert werden, um das empfangene Bild durch Durchführen einer affinen Umwandlung auf dem empfangenen Bild basierend auf der ersten Pixelentfernung zwischen dem ermittelten mindestens einen horizontalen Mittelpunkt und einem vorgespeicherten mindestens einen horizontalen Mittelpunkt und den zweiten Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und einer vorgespeicherten Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts umzuwandeln.
-
2 zeigt ein Flussdiagramm eines Verfahrens zum Kalibrieren einer Kamera gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Vorrichtung zum Kalibrieren einer Kamera 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen.
-
Unter Bezugnahme auf 2 wird mindestens eine Kante eines feststehenden Objekts in einem von einer sich in Schritt S210 befindlichen Kamera erfasst. In Schritt S220 wird ein Mittelpunkt der mindestens einen Kante ermittelt. Darüber hinaus wird eine Position einer Vielzahl von Punkten auf der erfassten mindestens einen Kante ebenfalls ermittelt. Der Mittelpunkt kann ein horizontaler Mittelpunkt oder ein vertikaler Mittelpunkt mindestens einer erfassten Kante sein.
-
In Schritt S230 wird eine erste Pixelentfernung zwischen dem ermittelten mindestens einen Mittelpunkt und einem vorgespeicherten mindestens einen Mittelpunkt berechnet. Zweite Pixelentfernungen zwischen einer Vielzahl von Punkten auf der erfassten mindestens einen Kante des feststehenden Objekts und einer vorgespeicherten Vielzahl von Punkten der mindestens einen Kante des feststehenden Objekts werden ebenfalls in Schritt S240 berechnet.
-
Basierend auf der ersten Pixelentfernung und der zweiten Pixelentfernung wird ermittelt, ob die Kamera in Schritt S250 erneut zu kalibrieren ist. Falls ermittelt wird, dass die Kamera (Schritt S250 - Ja) erneut zu kalibrieren ist, wird das erneute Kalibrieren der Kamera in Schritt S260 durchgeführt. Andernfalls (Schritt S250-Nein) endet das Verfahren.
-
3A - 3C sind Veranschaulichungen von Bildern und Kanten, die in einem Kalibrierverfahren gemäß einem Aspekt einer exemplarischen Ausführungsform verwendet werden. 3A zeigt eine Veranschaulichung einer Draufsicht eines Fahrzeugs, das Kanten und Punkte darstellt, die verwendet werden können, um einen Bildsensor oder eine Kamera erneut zu kalibrieren und 3B zeigt eine Veranschaulichung eines Bilds 312 von einer nach hinten gewandten CHMSL-Fahrzeugkamera, die verwendet werden kann, um die Kanten und Positionen der zu verwendenden Punkte zu erfassen, um zu ermitteln, ob ein erneutes Kalibrieren der Kamera erforderlich ist.
-
Unter Bezugnahme auf 3A und 3B werden die Kanten 308-311 in einem Bild 312 der nach hinten gewandten Kamera erfasst. Die Kante 308 kann einer Fahrzeugtür entsprechen, die Kante 309 kann einer Seite der Ladefläche des Fahrzeugs, die sich gegenüber der Tür befindet, entsprechen, die Kante 310 kann einer Kante entsprechen, die sich parallel zu einer Passagierseite der Ladefläche des Fahrzeugs befindet, und die Kante 311 kann einer Kante entsprechen, die sich parallel zur Fahrerseite der Ladefläche des Fahrzeugs befindet.
-
Basierend auf einem Bild 312 und den erfassten Kanten 308-311 kann eine Vielzahl von Punkten 301, 302, 303 und 304, die den Ecken der Ladefläche des Fahrzeugs entsprechen, ermittelt werden. Darüber hinaus können die horizontalen Mittelpunkte 305 und 306 ebenfalls ermittelt werden. Die ermittelten Pixelpositionen der Vielzahl von Punkten 301-304 und die horizontalen Mittelpunkte 305 und 306 können mit vorgespeicherten Werten von Pixelpositionen verglichen werden, um zu ermitteln, ob eine Kamera sich bewegt hat und/oder erneut kalibriert werden muss. In einem anderen Beispiel können die ermittelten Pixelpositionen der Vielzahl von Punkten 301-304 und die vertikalen Mittelpunkte mit vorgespeicherten Werten von Positionen verglichen werden, um zu ermitteln, ob eine Kamera sich bewegt hat und/oder erneut kalibriert werden muss.
-
Unter Bezugnahme auf 3C, zeigt ein Bild 320 einer Heckklappenkamera einen Stoßfänger 328. Nach der Durchführung der Kantenerfassung, erfasst der Kantenerfassungsalgorithmus die Kante 329. Eine Vielzahl von Punkten 321-326, die Orientierungspunkten auf dem Stoßfänger 328 entsprechen, können ebenfalls erfasst werden. Darüber hinaus kann ein horizontaler Mittelpunkt 327 erfasst werden. Die Position des einen oder der mehreren aus der Vielzahl von Punkten 321-326 und die Position des horizontalen Mittelpunkts 327 können mit vorgespeicherten Informationen zu Positionen der Vielzahl von Punkten 321-326 und dem horizontalen Mittelpunkt 327 verglichen werden, um eine Pixeldifferenz oder -Entfernung zu ermitteln. Diese Informationen können dann verwendet werden, um die Kamera, den Bildsensor, das Kamerabild usw. zu kalibrieren.
-
4 zeigt Veranschaulichungen von Bildern von einer kalibrierten Kamera und einer Kamera, die erneut gemäß einem Aspekt einer exemplarischen Ausführungsform kalibriert werden muss.
-
Unter Bezugnahme auf 4 beinhaltet ein erstes Bild 401 von einem sachgemäß kalibrierten Bildsensor oder einer Kamera eine erste Führungslinie 403, die sich an einer angemessenen Stelle befindet, die der Stelle der Kupplung im ersten Bild 401 entspricht. Aufgrund von Bedingungen, wie Unebenheiten auf der Straße und Schwerkräften kann sich ein Bildsensor bewegen was dazu führt, dass eine Kalibrierung durcheinandergerät. Wenn die Kalibrierung des Bildsensors oder der Kamera durcheinander gerät können die im zweiten Bild 402 dargestellten Probleme auftreten. Im zweiten Bild 402 dargestellt, ist die zweite Führungslinie 404 aufgrund eines nicht sachgemäß kalibrierten Bildsensors, einer nicht sachgemäß kalibrierten Kamera, oder eines nicht sachgemäß kalibrierten Kamerabilds nicht sachgemäß eingestellt.
-
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
-
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.