-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs. Es wird eine erste Information von einem Umgebungsbereich eines Kraftfahrzeugs mit einem örtlich an einer ersten Position am Kraftfahrzeug angeordneten ersten Sensor des Sensorsystems erfasst. Weiterhin wird eine zweite Information von dem Umgebungsbereich des Kraftfahrzeugs mit einem örtlich an einer zur ersten Position unterschiedlichen zweiten Position am Kraftfahrzeug angeordneten zweiten Sensor des Sensorsystems erfasst. Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug wie auch ein System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs.
-
Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. Sensorsysteme werden üblicherweise vor deren operationellen Betrieb einem Kalibrierverfahren unterzogen. Durch das Kalibrierverfahren wird dann beispielsweise unter anderem eine Ausrichtung eines Sensors des Sensorsystems relativ zum Kraftfahrzeug bestimmt. Für eine Kamera als den Sensor werden beispielsweise eine äußere Orientierung und eine innere Orientierung bestimmt. Nach der Kalibrierung können die Daten des Sensors dann messtechnisch verarbeitet werden, so kann dann eine Transformation von einem 3D-Weltkoordinatensystem in ein 3D-Sensorkoordinatensystem durchgeführt werden. Bei Vorliegen einer mit dem Sensor erfassten Information über ein Objekt in einem Umgebungsbereich des Kraftfahrzeugs, kann dann beispielsweise ein Abstand von dem Sensor zu dem Objekt bestimmt werden. Das Kalibrieren des Sensorsystems wird üblicherweise auch dann durchgeführt, wenn das Sensorsystem mehrere Sensoren umfasst. Die Sensoren des Sensorsystems können dann beispielsweise sukzessive oder gleichzeitig kalibriert werden. Das Kalibrieren der Sensoren kann beispielsweise abhängig von einem Kalibrierobjekt erfolgen.
-
Aus der
WO 2004/003586 A1 ist ein Verfahren zur Kalibrierung von Sensoren im Kraftfahrzeug bekannt.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein System bereitzustellen, mit welchem beziehungsweise bei welchem ein Sensorsystem eines Kraftfahrzeugs effektiver und fehlerfreier betrieben werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein System mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren wird ein Sensorsystem eines Kraftfahrzeugs betrieben. Es wird eine erste Information von einem Umgebungsbereich des Kraftfahrzeugs mit einem örtlich an einer ersten Position am Kraftfahrzeug angeordneten ersten Sensor des Sensorsystems erfasst. Weiterhin wird eine zweite Information von dem Umgebungsbereich des Kraftfahrzeugs mit einem örtlich an einer zur ersten Position unterschiedlichen zweiten Position am Kraftfahrzeug angeordneten zweiten Sensor des Sensorsystems erfasst. Ein wesentlicher Gedanke der Erfindung ist darin zu sehen, dass die erste Information und die zweite Information bezogen auf einen kraftfahrzeugseitigen und sensorexternen gemeinsamen Referenzpunkt des ersten Sensors und des zweiten Sensors erfasst und ausgewertet werden.
-
Durch den kraftfahrzeugseitigen gemeinsamen Referenzpunkt kann das Sensorsystem effektiver und fehlerreduzierter betrieben werden. So werden die erste Information und die zweite Information bezüglich des gemeinsamen Referenzpunkts fehlerfreier erfasst und ausgewertet. Dies bedeutet insbesondere, dass die Vergleichbarkeit von erfassten Informationen von im Funktionsprinzip unterschiedlichen Sensoren ermöglicht ist und somit die Aussagegenauigkeit und die Umfänglichkeit der Aussagen über Objekte im Umgebungsbereich des Kraftfahrzeugs erhöht ist.
-
Insbesondere ist durch das Nutzen des gemeinsamen Referenzpunkts während des operationellen Betriebs des Kraftfahrzeugs, also nicht unter Laborbedingungen, keine nachträgliche Koordinatentransformation der ersten Information und/oder der zweiten Information nötig. So werden die erste Information und die zweite Information schon beim Erfassen in einem durch den gemeinsamen Referenzpunkt festgelegten gemeinsamen Koordinatensystem abgespeichert. Die Notwendigkeit einer nachträglichen Transformation von einem ersten Koordinatensystem des ersten Sensors und/oder einem zweiten Koordinatensystem des zweiten Sensors in das gemeinsame Koordinatensystem wird dadurch entbehrlich.
-
Nach dem Erfassen der ersten Information und der zweiten Information bezogen auf den gemeinsamen Referenzpunkt werden die erste Information und die zweite Information dann insbesondere auch zusammen auf den gemeinsamen Referenzpunkt bezogen ausgewertet.
-
Das Auswerten umfasst beispielsweise zumindest ein Vergleichen oder aber auch eine Fusion beziehungsweise ein Zusammenführen der ersten Information und der zweiten Information oder aber das Bestimmen eines Abstands eines Objekts in einem Umgebungsbereich des Kraftfahrzeugs anhand der ersten Information und der zweiten Information.
-
Durch das Erfassen und Auswerten der ersten Information und der zweiten Information bezogen auf den gemeinsamen Referenzpunkt, entfällt beispielsweise ein Schritt des Transformierens, um Bezugsgrößen des ersten Sensors und Bezugsgrößen des zweiten Sensors aneinander anzupassen. Sind die erste Information und die zweite Information nicht auf den gemeinsamen Referenzpunkt bezogen, so ist es üblicherweise nötig, die erste Information und die zweite Information zum gemeinsamen Auswerten in ein gemeinsames Koordinatensystem zu überführen. Beim Überführen in das gemeinsame Koordinatensystem treten dann üblicherweise Abweichungen beziehungsweise Residuen auf. Die Residuen werden dann üblicherweise eingeführt, da eine Transformationsgleichung nicht erfüllt werden kann und eine ungenaue Näherung der Lösung erforderlich ist. Die Abweichungen sind unerwünscht und werden als Fehler betrachtet, da die von dem Umgebungsbereich erfassten Informationen dadurch ungenauer bereitgestellt werden. Mit dem gemeinsamen Referenzpunkt hingegen ist das nicht erforderlich und das Sensorsystem kann insbesondere ohne die Abweichungen und deshalb fehlerfreier betrieben werden.
-
Durch den gemeinsamen Referenzpunkt ist insbesondere die Lage der Sensoren am Kraftfahrzeug auf den gemeinsamen Referenzpunkt bezogen bekannt. So werden beispielsweise eine äußere Orientierung des ersten Sensors und/oder eine äußere Orientierung des zweiten Sensors direkt auf den gemeinsamen Referenzpunkt bezogen. Das bedeutet insbesondere, dass der Ursprung eines für die äußere Orientierung des ersten Sensors genutzten Koordinatensystems beispielsweise ebenfalls auf den gemeinsamen Referenzpunkt gelegt wird. Dadurch wird eine nachträgliche Translation des Ursprungs beziehungsweise sogar Transformation des Ursprungs entbehrlich.
-
Die erste Position ist insbesondere beabstandet von der zweiten Position.
-
Vorzugsweise ist es vorgesehen, dass der gemeinsame Referenzpunkt durch ein Kalibrierverfahren abhängig von dem am Kraftfahrzeug angeordneten ersten Sensor und dem am Kraftfahrzeug angeordneten zweiten Sensor bestimmt wird. Damit die erste Information und die zweite Information bezogen auf den kraftfahrzeugseitigen und sensorexternen gemeinsamen Referenzpunkt erfasst und ausgewertet werden kann, wird das Kalibrierverfahren durchgeführt. Durch das Kalibrierverfahren wird beispielsweise eine extrinsische Kalibrierung des Sensorsystems durchgeführt, um extrinsische Parameter der Sensoren des Sensorsystems zu bestimmen. Weiterhin können zusätzlich zu den extrinsischen Parametern intrinsische Parameter, wie beispielsweise ein Kamerahauptpunkt und/oder eine Kamerakonstante und/oder eine Verzeichnung bestimmt werden. Durch das Kalibrierverfahren wird eine simultane aktive extrinsische Kalibrierung der Sensoren des Sensorsystems durchgeführt. Das Kalibrierverfahren wird insbesondere abhängig von dem gemeinsamen Referenzpunkt durchgeführt. Vorteilhaft ist, dass der gemeinsame Referenzpunkt durch das Kalibrierverfahren einfacher und effektiver bestimmt wird.
-
Weiterhin ist es vorzugsweise vorgesehen, dass bei dem Kalibrierverfahren vor dem Bestimmen des gemeinsamen Referenzpunkts ein erster Referenzpunkt des ersten Sensors und ein zweiter Referenzpunkt des zweiten Sensors bestimmt werden. Durch das Bestimmen des ersten Referenzpunkts und des zweiten Referenzpunkts kann das Kalibrierverfahren schrittweise durchgeführt werden. So wird beispielsweise erst der erste Sensor kalibriert und es wird dementsprechend der erste Referenzpunkt bestimmt. Anschließend wird dann beispielsweise der zweite Sensor kalibriert und es wird der zweite Referenzpunkt bestimmt. Der erste Referenzpunkt sowie der zweite Referenzpunkt können beispielsweise zu diesem Zweck an dem jeweiligen Sensor, also sensorintern, angeordnet sein. Nach dem Bestimmen des ersten Referenzpunkts und des zweiten Referenzpunkts wird dann ausgehend davon der gemeinsame Referenzpunkt, welcher sensorextern, aber kraftfahrzeugseitig angeordnet ist, bestimmt. Durch das Bestimmen des ersten Referenzpunkts und des zweiten Referenzpunkts kann das Kalibrierverfahren einfacher durchgeführt werden.
-
Insbesondere ist es vorgesehen, dass bei dem Kalibrierverfahren vor dem Bestimmen des gemeinsamen Referenzpunkts anhand des ersten Referenzpunkts und des zweiten Referenzpunkts ein temporärer Zwischenreferenzpunkt zum Bestimmen des gemeinsamen Referenzpunkts bestimmt wird. Durch den Zwischenreferenzpunkt können der erste Referenzpunkt und der zweite Referenzpunkt zusammen und, insbesondere kraftfahrzeugextern, repräsentiert werden. Vorzugsweise wird der erste Referenzpunkt durch eine erste Transformationsvorschrift zwischen einem ersten Sensorkoordinatensystem des ersten Sensors und einem temporären Zwischenkoordinatensystem des temporären Zwischenreferenzpunkts transformiert und/oder der zweite Referenzpunkt wird durch eine zweite Transformationsvorschrift zwischen einem zweiten Sensorkoordinatensystem des zweiten Sensors und dem temporären Zwischenkoordinatensystem transformiert. Die bei dem Kalibrierverfahren verwendeten Transformationsvorschriften, insbesondere die erste Transformationsvorschrift und die zweite Transformationsvorschrift, sind beim Betreiben des Sensorsystems, also dem Erfassen und Auswerten der ersten Information und der zweiten Information, nicht mehr notwendig. Dieser Schritt dient lediglich dazu, um den gemeinsamen Referenzpunkt bereitzustellen.
-
Weiterhin ist es insbesondere vorgesehen, dass das Kalibrierverfahren abhängig von zumindest einem Kalibrierobjekt in dem Umgebungsbereich des Kraftfahrzeugs durchgeführt wird. Durch das Kalibrierobjekt kann das Kalibrierverfahren präzise und zuverlässig durchgeführt werden, wodurch der gemeinsame Referenzpunkt präzise bestimmt wird und das Erfassen und Auswerten der ersten Information und der zweiten Information fehlerfreier erfolgt.
-
Vorzugsweise ist es vorgesehen, dass der temporäre Zwischenreferenzpunkt örtlich an dem Kalibrierobjekt in dem Umgebungsbereich bestimmt wird. So wird der temporäre Zwischenreferenzpunkt vorzugsweise an dem Kalibrierobjekt im Umgebungsbereich bestimmt. Dies hat zum Vorteil, dass der temporäre Zwischenreferenzpunkt mit einer dritten Transformationsvorschrift zu dem gemeinsamen Referenzpunkt an dem Kraftfahrzeug transformiert werden kann. Den temporären Zwischenreferenzpunkt an dem Kalibrierobjekt anzuordnen ist auch deswegen vorteilhaft, da der erste Referenzpunkt und der zweite Referenzpunkt in einfacher Weise auf das Kalibrierobjekt, zumindest temporär, bezogen werden können. Um das Kraftfahrzeug dann schließlich mit dem gemeinsamen Referenzpunkt zu betreiben, wird der temporäre Zwischenreferenzpunkt beim Kalibrierverfahren von dem Kalibrierobjekt auf das Kraftfahrzeug beziehungsweise in das Kraftfahrzeug transformiert.
-
Weiterhin ist es vorzugsweise vorgesehen, dass der gemeinsame Referenzpunkt örtlich in einem Schwerpunkt der Positionen der Sensoren des Sensorsystems gelegt wird. Durch den Schwerpunkt der Positionen wird ein örtlich eindeutig bestimmter Punkt vorgegeben, welcher verwechslungsfrei für den Bezug der erfassten und ausgewerteten ersten Information und zweiten Information genutzt werden kann.
-
Weiterhin ist es vorzugsweise vorgesehen, dass die erste Information und die zweite Information bei dem Auswerten abhängig von dem gemeinsamen Referenzpunkt zusammengeführt werden. Durch das Zusammenführen werden die erste Information und die zweite Information fusioniert. Dies ist insbesondere dann von Interesse sein, wenn die erste Information durch einen anderen Sensortyp bereitgestellt wird, als dies bei der zweiten Information der Fall ist. In diesem Fall wird dann eine multimodale Sensordatenfusion durchgeführt. Besonders bei der multimodalen Sensordatenfusion können bei bekannten Sensorsystemen Fehler beziehungsweise Abweichungen auftreten. Diese Abweichungen werden durch das Zusammenführen der Informationen abhängig von dem gemeinsamen Referenzpunkt reduziert. So können beispielsweise Daten eines Radarsensors und eines Kamerasystems und eines Laserscanners durch den gemeinsamen Referenzpunkt zuverlässiger und fehlerfreier zusammengeführt werden. Dem Kraftfahrzeug können dadurch Informationen von einer Vielzahl von Sensoren des Kraftfahrzeugs in vergleichbarer Weise bereitgestellt werden. Das Kraftfahrzeug wird dadurch sicherer betrieben.
-
Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, welches dazu ausgebildet ist, ein erfindungsgemäßes Verfahren durchzuführen. Das Fahrerassistenzsystem kann beispielsweise als Abstandswarnsystem oder als Hinderniserkennungssystem oder als Umfeldsichtsystem ausgebildet sein.
-
Die Erfindung betrifft auch ein System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs. Das Sensorsystem umfasst zumindest einen ersten Sensor des Kraftfahrzeugs, einen zweiten Sensor des Kraftfahrzeugs und eine Auswerteeinheit, insbesondere des Kraftfahrzeugs. Das System ist dazu ausgebildet, einen gemeinsamen Referenzpunkt des ersten Sensors und des zweiten Sensors anhand eines ersten Referenzpunktes des ersten Sensors und eines zweiten Referenzpunktes des zweiten Sensors zu bestimmen.
-
Die Auswerteeinheit kann entweder an dem Kraftfahrzeug angeordnet sein oder aber in einem Umgebungsbereich, beispielsweise Teil einer fahrzeugexternen Kalibriervorrichtung, beispielsweise eines Kalibrierobjekts, sein.
-
Vorzugsweise ist es vorgesehen, dass der erste Sensor als ein erster Sensortyp ausgebildet ist und der zweite Sensor als ein von dem ersten Sensor unterschiedlicher zweiter Sensortyp ausgebildet ist. Vorzugsweise ist das Sensorsystem also multimodal ausgebildet. Ein Vorteil der unterschiedlichen Sensortypen ist, dass damit der Umgebungsbereich des Kraftfahrzeugs mehrfach und unter unterschiedlichen Bedingungen erfasst werden kann. So kann der Umgebungsbereich beispielsweise mit dem ersten Sensortyp genau erfasst werden und mit dem zweiten Sensortyp zu jeder Tageszeit. Das System ist dazu ausgebildet, den ersten Sensor mit dem ersten Sensortyp und den zweiten Sensor mit dem zweiten Sensortyp, insbesondere gleichzeitig, zu kalibrieren. Insbesondere kann durch das Bereitstellen der als unterschiedliche Sensortypen ausgebildeten Sensoren des Kraftfahrzeugs eine „Cocoon“-Funktion für das Kraftfahrzeug bereitgestellt werden.
-
In einer weiteren Ausführungsform ist es vorgesehen, dass der jeweilige Sensortyp als Kamera oder Laserscanner oder Radarsensor ausgebildet ist. Durch die Kamera werden beispielsweise Bilder oder Bildsequenzen im sichtbaren Spektralbereich oder aber im infraroten Spektralbereich bereitgestellt. Der Laserscanner tastet den Umgebungsbereich des Kraftfahrzeugs mit Hilfe von Laserstrahlen ab und ist dazu ausgebildet, Abstandswerte zu Objekten in dem Umgebungsbereich bereitzustellen. Mit dem Radarsensor werden Radarwellen in den Umgebungsbereich ausgesendet und es kann beispielsweise auch ein Abstand zu dem Objekt in dem Umgebungsbereich bestimmt werden. Der Laserscanner, der Radarsensor und die Infrarotkamera können beispielsweise bei schlechten Lichtverhältnissen oder zumindest teilweise sogar bei schlechten Witterungsbedingungen betrieben werden.
-
In einer weiteren Ausführungsform ist es vorzugsweise vorgesehen, dass das System zumindest ein Kalibrierobjekt in einem Umgebungsbereich des Kraftfahrzeugs aufweist, und das Kalibrierobjekt in einem ersten Erfassungsbereich des ersten Sensors und/oder in einem zweiten Erfassungsbereich des zweiten Sensors angeordnet ist. Das Kalibrierobjekt kann also von dem ersten Sensor und dem zweiten Sensor gleichzeitig erfasst werden. Ist das Kalibrierobjekt nur in dem ersten Erfassungsbereich angeordnet, so ist in dem zweiten Erfassungsbereich vorzugsweise noch ein weiteres Kalibrierobjekt angeordnet. Abmessungen des Kalibrierobjekts werden als bekannt angenommen. Durch das Kalibrierobjekt kann das Sensorsystem einfach und zuverlässig kalibriert werden.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass der erste Erfassungsbereich und der zweite Erfassungsbereich einen Überschneidungsbereich aufweisen und das Kalibrierobjekt in dem Überschneidungsbereich angeordnet ist. Durch das Anordnen des Kalibrierobjekts in dem Überschneidungsbereich kann die Anzahl der für das System zum Kalibrieren des Sensorsystems benötigten Kalibrierobjekte reduziert werden. Weiterhin können beispielsweise Fehler bei dem Vorgang des Kalibrierens durch das Vorhandensein des Kalibrierobjekts in dem Überschneidungsbereich erkannt werden.
-
Vorzugsweise ist es vorgesehen, dass das System eine Mehrzahl von Kalibrierobjekten aufweist und jeweils zumindest ein Kalibrierobjekt der Mehrzahl der Kalibrierobjekte als sensorspezifisches Kalibrierobjekt für die Kalibrierung des jeweiligen Sensortyps ausgebildet ist. Durch die Mehrzahl der Kalibrierobjekte kann dann vorzugsweise in jedem Erfassungsbereich des jeweiligen Sensors zumindest eines der Kalibrierobjekte angeordnet sein. Weiterhin kann durch die Mehrzahl der Kalibrierobjekte für jeden Sensortyp das sensorspezifische Kalibrierobjekt bereitgestellt werden. Beispielsweise wird vor einem Radarsensor des Kraftfahrzeugs eine Säule als Kalibrierobjekt bereitgestellt, während für eine Kamera des Kraftfahrzeugs und/oder einen Laserscanner des Kraftfahrzeugs vorzugsweise eine Kalibriertafel mit einem Kalibriermuster als das Kalibrierobjekt bereitgestellt wird.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße System.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 eine schematische Draufsicht eines bekannten Kraftfahrzeugs mit einer Kamera und einem vor dem bekannten Kraftfahrzeug angeordneten Kalibrierobjekt;
-
2 eine schematische Darstellung des Kalibrierobjekts;
-
3 eine schematische Darstellung eines bekannten Kalibrierverfahrens der Kamera anhand des Kalibrierobjekts;
-
4 eine schematische Draufsicht auf das bekannte Kraftfahrzeug mit einem Radarsensor und einem neben dem bekannten Kraftfahrzeug angeordneten Kalibrierobjekt;
-
5 eine schematische Draufsicht eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einem Sensorsystem, welches eine Kamera, einen Radarsensor und einen Laserscanner umfasst, wobei in einem Umgebungsbereich des Kraftfahrzeugs eine Mehrzahl von Kalibrierobjekten angeordnet ist;
-
6 eine schematische Darstellung eines Kalibrierobjekts der Mehrzahl der Kalibrierobjekte;
-
7 eine schematische Darstellung eines weiteren Kalibrierobjekts der Mehrzahl der Kalibrierobjekte;
-
8 eine schematische Darstellung eines ersten Schritts eines Kalibrierverfahrens;
-
9 eine schematische Darstellung eines zweiten Schritts des Kalibrierverfahrens; und
-
10 eine schematische Darstellung eines dritten Schritts des Kalibrierverfahrens.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch ein bekanntes Kraftfahrzeug 1 mit einer Kamera 2 dargestellt. Die Kamera 2 ist derart an dem bekannten Kraftfahrzeug 1 ausgerichtet, dass ein Erfassungsbereich 3 der Kamera 2 auf ein Kalibrierobjekt 4 ausgerichtet ist. Die Kamera 2 kann beispielsweise an einer Windschutzscheibe des bekannten Kraftfahrzeugs 1 angeordnet sein. Üblicherweise ist das bekannte Kraftfahrzeug 1 in einer festen senkrechten Position und in einem bestimmten Abstand und einer bestimmten Höhe bezüglich des Kalibrierobjekts 4 ausgerichtet.
-
2 zeigt das Kalibrierobjekt 4. Das Kalibrierobjekt 4 kann beispielsweise als Tafel 5 mit Testmustern 6 ausgebildet sein.
-
3 zeigt das Kalibrieren der Kamera 2 anhand des Kalibrierobjekts 4. Es wird eine Ausrichtung der Kamera 2 an dem bekannten Kraftfahrzeug 1 abhängig von dem Kalibrierobjekt 4 bestimmt. Dazu wird beispielsweise ein Rollwinkel 7, ein Nickwinkel 8 und ein Gierwinkel 9 bestimmt. Dies kann beispielsweise mit einem in der Kamera 2 integrierten Programm erfolgen. Durch das Programm wird das Testmuster 6 des Kalibrierobjekts 4 erkannt und ausgewertet.
-
4 zeigt das bekannte Kraftfahrzeug 1 mit einem Radarsensor 10. In einem Erfassungsbereich 11 des Radarsensors 10 ist ein zweites Kalibrierobjekt 12 angeordnet. Das zweite Kalibrierobjekt 12 wird von einem Radarsignal 13 des Radarsensors 10 erfasst, während der Radarsensor 10 beim Beleuchten eines Erfassungsbereichs 11 einem Winkel von 180° überstreicht. Anhand des zwei ten Kalibrierobjekts 12 kann eine Korrektur der Winkelmessung des Radarsensors 10 durchgeführt werden. So wird das zweite Kalibrierobjekt 12 beispielsweise in verschiedenen Winkelpositionen platziert und jeweils durch das Radarsignal 13 abgetastet.
-
5 zeigt ein System 14. Das System 14 umfasst ein Kraftfahrzeug 15 mit einem Sensorsystem 16. Weiterhin umfasst das System 14 eine Mehrzahl von Kalibrierobjekten 17. Die Mehrzahl der Kalibrierobjekte 17 ist in einem Umgebungsbereich 18 des Kraftfahrzeugs 15 angeordnet. Als ein Kalibrierobjekt des Systems 14 ist ein erstes sensorspezifisches Kalibrierobjekt 19, ein zweites sensorspezifisches Kalibrierobjekt 20, ein drittes sensorspezifisches Kalibrierobjekt 21, ein viertes sensorspezifisches Kalibrierobjekt 22, ein fünftes sensorspezifisches Kalibrierobjekt 23, ein sechstes sensorspezifisches Kalibrierobjekt 24 oder ein siebtes sensorspezifisches Kalibrierobjekt 25 ausgebildet. Das erste sensorspezifische Kalibrierobjekt 19 ist gemäß dem Ausführungsbeispiel in einem vorderen Bereich 26 des Umgebungsbereichs 18 angeordnet. Das zweite sensorspezifische Kalibrierobjekt 20, das dritte sensorspezifische Kalibrierobjekt 21 und das vierte sensorspezifische Kalibrierobjekt 22 sind ebenfalls in dem vorderen Bereich 26 angeordnet. Das fünfte sensorspezifische Kalibrierobjekt 23, das sechste sensorspezifische Kalibrierobjekt 24 und das siebte sensorspezifische Kalibrierobjekt 25 sind in einem hinteren Bereich 27 des Umgebungsbereichs 18 angeordnet.
-
Das Sensorsystem 16 umfasst eine Kamera 28, einen Laserscanner 29, einen ersten Radarsensor 30, einen zweiten Radarsensor 31, einen dritten Radarsensor 32 und einen vierten Radarsensor 33. Die Kamera 28, der Laserscanner 29, der erste Radarsensor 30, der zweite Radarsensor 31, der dritte Radarsensor 32 oder der vierte Radarsensor 33 ist als ein erster Sensor oder ein zweiter Sensor des Sensorsystems 16 ausgebildet. So ist die Kamera 28 beispielsweise als der erste Sensor ausgebildet, während der Laserscanner 29 als der zweite Sensor ausgebildet ist. Die Kamera 28 ist gemäß dem Ausführungsbeispiel in einem mittleren, nahe an einem Dach 34 des Kraftfahrzeugs 15 angeordneten Bereich 35 einer Windschutzscheibe 36 des Kraftfahrzeugs 15 angeordnet. Der Laserscanner 29 ist an einer mittleren Front 37 des Kraftfahrzeugs 15 angeordnet. Der erste Radarsensor 30 ist in einem linken vorderen Bereich 38 des Kraftfahrzeugs 15 angeordnet. Der zweite Radarsensor 31 ist in einem rechten vorderen Bereich 39 des Kraftfahrzeugs 15 angeordnet. Der dritte Radarsensor 32 ist in einem linken hinteren Bereich 40 des Kraftfahrzeugs 15 angeordnet. Der vierte Radarsensor 33 ist in einem rechten hinteren Bereich 41 des Kraftfahrzeugs 15 angeordnet. Der Bereich 35, die Front 37, der linke vordere Bereich 38, der rechte vordere Bereich 39, der linke hintere Bereich 40 und der rechte hintere Bereich 41 beschreiben jeweils eine erste Position des ersten Sensors oder eine zweite Position des zweiten Sensors. So ist die erste Position beispielsweise der Bereich 35, während die zweite Position die Front 37 ist.
-
Die Kamera 28 weist einen Erfassungsbereich 42 auf. Der Laserscanner 29 weist einen Erfassungsbereich 43 auf. Der erste Radarsensor 30 weist einen Erfassungsbereich 44 auf. Der zweite Radarsensor 31 weist einen Erfassungsbereich 45 auf. Der dritte Radarsensor 32 weist einen Erfassungsbereich 46 auf. Der vierte Radarsensor 33 weist einen Erfassungsbereich 47 auf. Jeder der Erfassungsbereiche 42, 43, 44, 45, 46, 47 kann als erster Erfassungsbereich oder als zweiter Erfassungsbereich beschrieben werden. Die Erfassungsbereiche 42, 43, 44, 45 überschneiden sich teilweise in einem ersten Überschneidungsbereich 48. Die Erfassungsbereiche 46, 47 überschneiden sich teilweise in einem zweiten Überschneidungsbereich 49.
-
Das erste sensorspezifische Kalibrierobjekt 19 ist in dem Erfassungsbereich 42 der Kamera 28 und dem Erfassungsbereich 43 des Laserscanners 29 angeordnet. Das zweite sensorspezifische Kalibrierobjekt 20 ist in dem Erfassungsbereich 44 des ersten Radarsensors 30 angeordnet. Das dritte sensorspezifische Kalibrierobjekt 21 ist in dem Erfassungsbereich 44 des ersten Radarsensors 30 und dem Erfassungsbereich 45 des zweiten Radarsensors 31 angeordnet. Das vierte sensorspezifische Kalibrierobjekt 22 ist in dem Erfassungsbereich 45 des zweiten Radarsensors 31 angeordnet. Weiterhin ist das fünfte sensorspezifische Kalibrierobjekt 23 in dem Erfassungsbereich 46 des dritten Radarsensors 32 angeordnet und das siebte sensorspezifische Kalibrierobjekt 25 ist in dem Erfassungsbereich 47 des vierten Radarsensors 33 angeordnet. Das sechste sensorspezifische Kalibrierobjekt 24 ist in dem Erfassungsbereich 46 des dritten Radarsensors 32 und im Erfassungsbereich 47 des vierten Radarsensors 33 angeordnet. Somit befindet sich das dritte sensorspezifische Kalibrierobjekt 21 in dem ersten Überschneidungsbereich 48, und das sechste sensorspezifische Kalibrierobjekt 24 befindet sich in dem zweiten Überschneidungsbereich 49.
-
Das erste sensorspezifische Kalibrierobjekt 19 ist dazu ausgebildet, für das Kalibrieren der Kamera 28 und des Laserscanners 29 verwendet zu werden. Das zweite bis zum siebten sensorspezifische Kalibrierobjekt 20, 21, 22, 23, 24, 25 ist hingegen dazu ausgebildet, für das Kalibrieren der jeweils zugeordneten Radarsensoren 30, 31, 32, 33 genutzt zu werden. Das zweite bis siebte sensorspezifische Kalibrierobjekt 20, 21, 22, 23, 24, 25 ist beispielsweise als zylindrische Säule ausgebildet.
-
6 zeigt ein Ausführungsbeispiel des ersten sensorspezifischen Kalibrierobjekts 19. Das Ausführungsbeispiel des ersten sensorspezifischen Kalibrierobjekts 19 wird insbesondere genutzt, um den Laserscanner 29 zu kalibrieren. Auch hier werden beispielsweise ein Rollwinkel, ein Nickwinkel und ein Gierwinkel bestimmt. Der Laserscanner 29 erkennt beispielsweise ein zentrales Muster 50 des ersten sensorspezifischen Kalibrierobjekts 19. Anhand des zentralen Musters 50 kann dann eine Kreuzkorrelation zwischen dem tatsächlichen Muster des zentralen Musters 50 und der Rekonstruktion des zentralen Musters 50 durch den Laserscanner 29 durchgeführt werden, um einen Nickwinkelfehler des Laserscanners 29 zu bestimmen. Anhand eines linken Musters 51 und eines rechten Musters 52 des ersten sensorspezifischen Kalibrierobjekts 19 kann ein Rollfehler des Laserscanners 29 erkannt werden. Ein Gierfehler des Laserscanners 29 kann beispielsweise erkannt werden, indem ein Winkel zwischen dem ersten sensorspezifischen Kalibrierobjekt 19 und dem Kraftfahrzeug 15 verändert wird, wobei nach dem Verändern des Winkels eine Fehlerabweichung einer Entfernung zwischen dem ersten sensorspezifischen Kalibrierobjekt 19 und dem Laserscanner 19 bestimmt wird.
-
7 zeigt ein weiteres Ausführungsbeispiel des ersten sensorspezifischen Kalibrierobjekts 19. Gemäß dem Ausführungsbeispiel weist das erste sensorspezifische Kalibrierobjekt 19 ein Schachbrettmuster 53 auf.
-
Das erste sensorspezifische Kalibrierobjekt 19 kann aber auch durch das in 2 gezeigte Testmuster 6 ausgebildet sein. Vorzugsweise ist das erste sensorspezifische Kalibrierobjekt 19 mit einer speziellen reflektiven Oberfläche oder Lackierung ausgebildet.
-
Die Ausführungsbeispiele des ersten sensorspezifischen Kalibrierobjekts 19 gemäß 2, 6 und 7 können insbesondere sowohl für die Kalibrierung des Laserscanners 29 als auch für die Kalibrierung der Kamera 28 genutzt werden.
-
Insbesondere ist die Position der sensorspezifischen Kalibrierobjekte 19, 20, 21, 22, 23, 24, 25 zueinander bekannt. Dieser Bezug kann beispielsweise durch ein externes Messsystem bereitgestellt werden. Für das externe Messsystem kommen beispielsweise Infrarotmesssysteme, Stereomesssysteme oder Tiefenmesssysteme in Frage.
-
8 zeigt das System 14 und einen ersten Schritt eines Kalibrierverfahrens 54. Die Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 werden insbesondere bezüglich ihrer externen Orientierung kalibriert. Somit liegen nach dem Kalibrieren insbesondere die extrinsischen Parameter des jeweiligen Sensors 28, 29, 30, 31, 32, 33 des Sensorsystems 16 vor. In dem ersten Schritt gemäß 8 wird ein erster Referenzpunkt 55 der Kamera 28 bestimmt. Der erste Referenzpunkt 55 ist der Bezug für ein erstes Sensorkoordinatensystem 56 der Kamera 28. Die Kamera 28 wird bezüglich des ersten Referenzpunkts 55 kalibriert. Weiterhin wird ein zweiter Referenzpunkt 57 des Laserscanners 29 bestimmt. Der zweite Referenzpunkt 57 ist der Bezug für ein zweites Sensorkoordinatensystem 58 des Laserscanners 29. Der Laserscanner 29 wird bezüglich des zweiten Referenzpunkts 57 kalibriert. Für den ersten Radarsensor 50 wird ein dritter Referenzpunkt 59 bestimmt, welcher Bezug für ein drittes Sensorkoordinatensystem 60 ist. Der erste Radarsensor 30 wird bezüglich des dritten Referenzpunkts 59 kalibriert. Für den zweiten Radarsensor 31 wird ein vierter Referenzpunkt 61 bestimmt, welcher Bezug für ein viertes Sensorkoordinatensystem 62 ist. Der zweite Radarsensor 31 wird bezüglich des vierten Referenzpunkts 61 kalibriert. Für den dritten Radarsensor 32 wird ein fünfter Referenzpunkt 63 bestimmt, welcher Bezugspunkt für ein fünftes Sensorkoordinatensystem 64 ist. Der dritte Radarsensor 32 wird bezüglich des fünften Referenzpunkts 63 kalibriert. Für den vierten Radarsensor 33 wird ein sechster Referenzpunkt 65 bestimmt, welcher Bezugspunkt für ein sechstes Sensorkoordinatensystem 66 ist. Der vierte Radarsensor 33 wird bezüglich des sechsten Referenzpunktes 65 kalibriert.
-
So wird in dem ersten Schritt des Kalibrierverfahrens 54 gemäß 8 jeder der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 kalibriert. Nach dem Kalibrieren ist die Position jedes der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 bezüglich des ersten sensorspezifischen Kalibrierobjekts 19 bekannt, da wie bereits erwähnt, die relativen Positionen der sensorspezifischen Kalibrierobjekte 19, 20, 21, 22, 23, 24, 25 untereinander bekannt sind.
-
9 zeigt nun einen zweiten Schritt des Kalibrierverfahrens 54. In dem zweiten Schritt wird ein temporärer Zwischenreferenzpunkt 67 bestimmt. Der temporäre Zwischenreferenzpunkt 67 wird gemäß dem Ausführungsbeispiel an dem ersten sensorspezifischen Kalibrierobjekt 19 bestimmt. Der erste Referenzpunkt 55, der zweite Referenzpunkt 57, der dritte Referenzpunkt 59, der vierte Referenzpunkt 61, der fünfte Referenzpunkt 63 und der sechste Referenzpunkt 65 werden auf den Zwischenreferenzpunkt 67 gelegt. Dies erfolgt durch jeweilige Transformationsvorschriften. Der Zwischenreferenzpunkt 67 ist Bezug für ein temporäres Zwischenkoordinatensystem 68. Die in dem ersten Schritt des Kalibrierverfahrens 54 bestimmten jeweiligen extrinsischen Parameter der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 liegen nun in dem Zwischenkoordinatensystem 68 vor.
-
10 zeigt einen dritten Schritt des Kalibrierverfahrens 54. In dem dritten Schritt wird ein kraftfahrzeugseitiger und sensorexterner gemeinsamer Referenzpunkt 69 der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 bestimmt. Der gemeinsame Referenzpunkt 69 ist Bezugspunkt für ein gemeinsames Koordinatensystem 70. Der gemeinsame Referenzpunkt 69 ist gemäß dem Ausführungsbeispiel in einem Schwerpunkt der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 angeordnet. In dem dritten Schritt des Kalibrierverfahrens 54 wird der Zwischenreferenzpunkt 67, welcher kraftfahrzeugextern vorliegt, auf den gemeinsamen Referenzpunkt 69, welcher kraftfahrzeugseitig vorliegt, gelegt. Dies erfolgt durch eine Transformationsvorschrift zwischen dem Zwischenkoordinatensystem 68 und dem gemeinsamen Koordinatensystem 70.
-
Die jeweilige Transformationsvorschrift ist beispielsweise durch zumindest eine Rotation und eine Translation charakterisiert.
-
Die Position des gemeinsamen Referenzpunkts 69 ist nicht an den Schwerpunkt gebunden, sondern kann beispielsweise auch an einem Mittelpunkt einer Hinterachse des Kraftfahrzeugs 15 angeordnet sein oder aber vielfältig innerhalb des Kraftfahrzeugs 15.
-
Durch den gemeinsamen Referenzpunkt kann nun eine erste Information aus dem Umgebungsbereich 18 des Kraftfahrzeugs 15 bezogen auf den gemeinsamen Referenzpunkt 69 mit einem der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 als der erste Sensor erfasst werden und es kann eine zweite Information aus dem Umgebungsbereich 18 bezogen auf den gemeinsamen Referenzpunkt 69 mit einem anderen der Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 als der zweite Sensor erfasst werden. Somit findet bereits das Erfassen von Information aus dem Umgebungsbereich mit unterschiedlichen Sensoren 28, 29, 30, 31, 32, 33 des Sensorsystems 16 in dem gemeinsamen Koordinatensystem 70 statt.
-
Weiterhin findet nicht nur das Erfassen der Information aus dem Umgebungsbereich 18 in dem gemeinsamen Koordinatensystem 70 statt, sondern auch das Auswerten der gesammelten Informationen. Der gemeinsame Referenzpunkt ermöglicht also ein fehlerfreieres Erfassen und Auswerten der aus dem Umgebungsbereich 18 mittels der Sensoren 28, 29, 30, 31, 32, 33 erfassten Information. So ist insbesondere nach dem Erfassen der Information keine weitere Transformation in ein weiteres von dem gemeinsamen Koordinatensystem 70 unterschiedliches Koordinatensystem nötig. Das Risiko, dass es hierbei, beispielsweise bei der Fusion von multimodalen Sensordaten zu Abweichungen kommt, wird dadurch reduziert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-