DE102020205550A1

DE102020205550A1 - Transportmittel-Assistenz- oder Steuerungssystem sowie dessen Verwendung als Lotsen

Info

Publication number: DE102020205550A1
Application number: DE102020205550.5A
Authority: DE
Inventors: Volker Patricio Schomerus
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-04-30
Filing date: 2020-04-30
Publication date: 2021-11-04
Also published as: US11840218B2; CN113581166A; CN113581166B; US20210339740A1

Abstract

Die Erfindung betrifft ein Transportmittel-Assistenz- oder Steuerungssystem mit einem Transportmittel (VHCL) und mit einem, insbesondere autonom verfahrbaren Offboard-Hinderniserkennungssensor (RMTS) zum Erkennen von Hindernissen für das Transportmittel (VHCL), wobei das Transportmittel einen Onboard-Hinderniserkennungssensor (EGOS) zum Erkennen von Hindernissen für das Transportmittel (VHCL) umfasst, wobei das Transportmittel-Assistenz- oder Steuerungssystem ein Synchronisationsmodul zur Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor (EGOS) in Abhängigkeit eines Ausgangssignals des Offboard-Hinderniserkennungssensors und eines Ausgangssignals des Onboard-Hinderniserkennungssensors umfasst.

Description

Die Erfindung betrifft ein Transportmittel-Assistenz- oder Steuerungssystem. Die Erfindung betrifft zudem eine Verwendung des vorgenannten Transportmittel-Assistenz- oder Steuerungssystems als Lotsen für ein Transportmittel.
Die US 2016/0368489 A1 offenbart ein Parkassistenzsystem, bei dem eine Kommunikationsverbindung zwischen einem externen Parkautomationssystems und einem Fahrzeug hergestellt wird, wobei die Distanz zwischen einem erkannten Objekt und dem Fahrzeug gemessen wird. Aufgrund der gemessenen Distanz wird ein Bremskontrollsystem des Fahrzeugs aktiviert. Die US 2018/0012497 A1 offenbart ein Fahrzeugnavigationssystem zum automatischen Überführen eines Fahrzeuges von einer Ausgangsposition zu einer Zielposition. Dabei kann vorgesehen sein, dass ein Sensor außerhalb des Fahrzeugs mit einem Sensor auf dem Fahrzeug kommuniziert, z.B. zwecks Führung des Fahrzeugs. Die US 2016/0368489 A1 offenbart ein System zur Führung von Kraftfahrzeugen auf der Basis von Bilddaten.
Es ist Aufgabe der Erfindung, ein verbessertes bzw. ein alternatives Transportmittel-Assistenz- oder Steuerungssystem anzugeben.
Vorgenannte Aufgabe wird durch ein Transportmittel-Assistenz- oder Steuerungssystem mit einem Transportmittel und mit einem, insbesondere autonom, verfahrbaren Offboard-Hinderniserkennungssensor zum Erkennen von Hindernissen für das Transportmittel gelöst, wobei das Transportmittel einen Onboard-Hinderniserkennungssensor zum Erkennen von Hindernissen für das Transportmittel umfasst, wobei das Transportmittel-Assistenz- oder Steuerungssystem ein Synchronisationsmodul zur Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor in Abhängigkeit eines Ausgangssignals des Offboard-Hinderniserkennungssensors und eines Ausgangssignals des Onboard-Hinderniserkennungssensors umfasst.
In vorteilhafter Ausgestaltung der Erfindung umfasst der Offboard-Hinderniserkennungssensor einen Marker und das Transportmittel zumindest eine Kamera zur Erkennung des Markers sowie ein Trackingmodul zur Bestimmung des Winkels der Lage des Offboard-Hinderniserkennungssensors in Bezug auf eine Referenzachse des Transportmittels umfasst, insbesondere jedoch nicht des Abstandes zwischen dem Onboard-Hinderniserkennungssensor und dem Offboard-Hinderniserkennungssensor. Eine Referenzachse im Sinne dieser Offenbarung kann zum Beispiel die Längsachse eines Fahrzeugs sein, wenn das Transportmittel ein Fahrzeug ist. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor zudem in Abhängigkeit des Winkels, des Ausgangssignals des Offboard-Hinderniserkennungssensors und des Ausgangssignals des Onboard-Hinderniserkennungssensors bestimmbar.
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Transportmittel (VHCL) eine mittels des Synchronisationsmoduls erzeugte Gitterkarte. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Gitterkarte Information in Bezug auf ein Ausgangssignal des Onboard-Hinderniserkennungssensors, in die Information in Bezug auf das Ausgangssignal des Offboard-Hinderniserkennungssensors integriert ist. Dabei ist insbesondere vorgesehen, dass in der Gitterkarte die Raster den Zustand „frei“ bzw. „nicht belegt“ aufweisen, für die das Ausgangssignal des Onboard-Hinderniserkennungssensors und/oder für die das Ausgangssignal des Offboard-Hinderniserkennungssensors den Zustand „frei“ bzw. „nicht belegt“ ergeben. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist in der Gitterkarte Information entfernt, die das Transportmittel als Hindernis ausweist.
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist oder umfasst der Onboard-Hinderniserkennungssensor und/oder der Offboard-Hinderniserkennungssensor ein Lidar.
In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Transportmittel ein Lastkraftwagen mit einer Zugmaschine und einem Auflieger. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist der der Onboard-Hinderniserkennungssensor Teil der Zugmaschine. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die Kamera Teil der Zugmaschine. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist in einem linken und/oder in einem rechten Seitenspiegel der Zugmaschine je zumindest eine nach hinten gerichtete Kamera und/oder je zumindest eine nach vorne gerichtete Kamera implementiert.
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Transportmittel-Assistenz- oder Steuerungssystem eine, insbesondere bidirektionale, drahtlose Kommunikationsverbindung zwischen den Offboard-Hinderniserkennungssensor und dem Transportmittel bzw. dem Onboard-Hinderniserkennungssensor.
Vorgenannte Aufgabe wird zudem durch die Verwendung eines Offboard-Hinderniserkennungssensors eines vorgenannten Transportmittel-Assistenz- oder Steuerungssystems nach einem der vorherigen Ansprüche als Lotsen für das Transportmittel gelöst, wobei der Offboard-Hinderniserkennungssensor das Transportmittel von einem Ausgangsort zu einem Wunschort, insbesondere entlang einer vorgegebenen Trajektorie, führt. Dabei kann vorgesehen sein, dass das Transportmittel den Offboard-Hinderniserkennungssensor seinen Wunschort überträgt. Die gewünschte Route bzw. eine entsprechende Trajektorie wird dann beispielsweise von dem Offboard-Hinderniserkennungssensor oder eine diesem übergeordnete Zentrale zur Steuerung von Offboard-Hinderniserkennungssensoren oder einer Mehrzahl von Offboard-Hinderniserkennungssensoren mitgeteilt.
Vorgenannte Aufgabe wird zudem durch ein Transportmittel eines vorgenannten Transportmittel-Assistenz- oder Steuerungssystems gelöst, zum Beispiel durch ein Transportmittel mit einem Onboard-Hinderniserkennungssensor zum Erkennen von Hindernissen für das Transportmittel, und mit einer Empfangseinrichtung zum Empfangen eines Ausgangssignals eines Offboard-Hinderniserkennungssensors zum Erkennen von Hindernissen (für das Transportmittel), wobei das Transportmittel ein Synchronisationsmodul zur Bestimmung der Ausrichtung bzw. der Pose des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor umfasst.
Es kann vorgesehen sein, dass die Gitterkarte in dem Transportmittel mittels eines Displays angezeigt bzw. dargestellt wird. Dabei kann insbesondere vorgesehen sein, dass das Transportmittel in die Gitterkarte integriert angezeigt wird. Alternativ oder zusätzlich kann vorgesehen sein, dass die Gitterkarte einer Steuerung zum autonomen Einparken oder Führen des Transportmittels dient.
In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das Transportmittel-Assistenz- oder Steuerungssystem ein, insbesondere drahtloses, Kommunikationssystem zur Übertragung eines Ausgangssignals des Offboard-Hinderniserkennungssensors an die Empfangseinrichtung.
Offboard im Sinne dieser Offenbarung bedeutet insbesondere nicht Teil des Transportmittels bzw. nicht mit dem Transportmittel in fester Weise verbunden. Onboard bedeutet im Sinne dieser Offenbarung insbesondere das Gegenteil von Offboard. Onboard bedeutet im Sinne dieser Offenbarung insbesondere integriert in ein Transportmittel oder zumindest mit diesem fest verbunden.
Ausgangssignal in Bezug auf Onboard-Hinderniserkennungssensoren und Offboard-Hinderniserkennungssensoren steht synonym für Messwerte dieser Sensoren oder enthalten zumindest Messwerte dieser Sensoren.
Eine Gitterkarte im Sinne dieser Offenbarung ist insbesondere synonym für Belegungs-Gitterkarte bzw. für eine Rasterkarte (occupancy grid map, grid map). Es ist insbesondere vorgesehen, dass die Raster (oder auch Zellen) der Gitterkarte bzw. Rasterkarte zumindest zwei verschiedene Zustände einnehmen können. Einen Zustand der anzeigt, dass ein Hindernis in dem Raster bzw. der Zelle vorliegt, und einen Zustand, in dem angezeigt ist, dass kein Hindernis in dem Raster bzw. der Zelle vorliegt. Es kann jedoch auch vorgesehen sein, dass zumindest drei Zustände in der Rasterkarte bzw. Gitterkarte angezeigt werden, wobei der dritte Zustand angibt, dass nicht bekannt ist, ob das Raster oder die Zelle belegt oder nicht belegt ist, d.h. dass nicht bekannt ist, ob ein Hindernis in dem Raster oder der Zelle vorliegt oder nicht.
Ein Messwert-Synchronisations-Algorithmus im Sinne dieser Offenbarung ist insbesondere ein ICP Algorithmus. Ein ICP bzw. Iterative Closest Point Algorithm im Sinne dieser Offenbarung ist insbesondere ein Algorithmus der es ermöglicht, Punktwolken aneinander anzupassen. Für die Anwendung des Verfahrens ist insbesondere vorgesehen, dass die Punktwolken bereits vorab näherungsweise aufeinander ausgerichtet sind bzw. werden. Bei der Durchführung des Algorithmus wird insbesondere versucht, die Punktwolken mittels Rotation und Translation möglichst gut miteinander in Deckung zu bringen. Ausgehend von einem Satz von näherungsweise bestimmten anfänglichen Transformationsparametern für Rotation und Translation wird dazu für jeden Punkt aus der einen Punktwolke der jeweils nächste Punkt (closest point) aus der anderen Punktwolke bestimmt. Anschließend wird die Summe S, insbesondere der Quadrate, der Abstände über alle diese Punktepaare gebildet. Damit ergibt sich ein Maß für die Güte der Übereinstimmung zwischen den Punktwolken. Das Ziel insbesondere ist es, dieses Optimierungsmaß, also die vorstehende Summe S, durch die Veränderung der Transformationsparameter zu minimieren. Für die Bestimmung der geeigneten Transformationsparameter gibt es unterschiedliche Ansätze, die z. T. auf der Struktur der zugrundeliegenden Punktwolken basieren. Ein entsprechender iterativer Prozess wird so lange fortgeführt wird, bis ein akzeptables Optimum gefunden ist oder abgebrochen wird, wenn kein gewünschtes Optimum auffindbar bzw. ermittelbar ist. Dabei ist insbesondere vorgesehen, dass die Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor mittels einer Optimierung und/oder Minimierung der Abstände zwischen

- rotierten Messwerten des Offboard-Hinderniserkennungssensors und verschobenen Messwerten des Onboard-Hinderniserkennungssensors,
- rotierten Messwerten des Onboard-Hinderniserkennungssensors und verschobenen Messwerten des Offboard-Hinderniserkennungssensors,
- rotierten und verschobenen Messwerten des Offboard-Hinderniserkennungssensors und Messwerten des Onboard-Hinderniserkennungssensors, oder
- rotierten und verschobenen Messwerten des Onboard-Hinderniserkennungssensors und Messwerten des Offboard-Hinderniserkennungssensors,

S (R, T) = \frac{1}{N} \sum_{i = 1}^{N} {‖ E G O S_{i} - R \cdot R M T S_{i} - T ‖}^{2}

Dabei ist N die Anzahl der Punktpaare aus den beiden Punktwolken, die für die Optimierung vorgesehen sind. Dies sind insbesondere benachbarte Messwerte. R steht für die Rotation und T steht für die Translation bzw. Verschiebung. Dabei bezeichnet EGOS_i einen i-ten Messwert (gegebenenfalls abzüglich des Schwerpunktes der N Messwerte) des Onboard-Hinderniserkennungssensors. Entsprechendes gilt für RMTS_i in Bezug auf den Offboard-Hinderniserkennungssensor Im Sinne dieser Offenbarung ist aber insbesondere vorgesehen, dass die Gleichung nicht dreidimensional sondern lediglich zweidimensional ist. Damit lässt sich die Gleichung auch wie folgt darstellen: $S (R, x T, y T) = \frac{1}{N} \sum_{i = 1}^{N} {‖ [\begin{matrix} x E G O S_{i} \\ y E G O S_{i} \end{matrix}] - R \cdot [\begin{matrix} x R M T S_{i} \\ y R M T S_{i} \end{matrix}] - [\begin{matrix} x T \\ y T \end{matrix}] ‖}^{2}$
Dabei bezeichnet xEGOSi die x-Komponente eines i-ten Messwertes (gegebenenfalls abzüglich des Schwerpunktes der N Messwerte) des Onboard-Hinderniserkennungssensors und yEGOS_i den entsprechenden Wert in der y Richtung. Entsprechendes gilt für xRMTSi und yRMTSi in Bezug auf den Offboard-Hinderniserkennungssensor. xT bezeichnet die Verschiebung bzw. Translation in x Richtung und yT bezeichnet die Translation bzw. Verschiebung in y Richtung.
In besonders geeigneter Weise ist vorgesehen, zusätzlich durch ein anderes Verfahren, insbesondere durch einen Marker auf dem Offboard-Hinderniserkennungssensor, den Winkel der Lage des Offboard-Hinderniserkennungssensors in Bezug auf eine Referenzachse des Transportmittels, insbesondere jedoch nicht des Abstandes zwischen dem Onboard-Hinderniserkennungssensor und dem Offboard-Hinderniserkennungssensor, zu bestimmen. Auf diese Weise verringert sich die Anzahl der Freiheitsgrade von drei auf zwei. Während die obige Gleichung drei Freiheitsgrade umfasst und zwar einen rotatorischen Freiheitsgrad und zwei translatorische, ergibt sich durch die Berücksichtigung des Winkels θ gegenüber einer Referenzachse, wie etwa der einer Längsachse eines Fahrzeugs, folgende Gleichung für die Optimierung: $S (R, x T) = \frac{1}{N} \sum_{i = 1}^{N} {‖ [\begin{matrix} x E G O S_{i} \\ y E G O S_{i} \end{matrix}] - R \cdot [\begin{matrix} x R M T S_{i} \\ y R M T S_{i} \end{matrix}] - [\begin{matrix} x T \\ x T \cdot tan θ \end{matrix}] ‖}^{2}$
Die Optimierung ist damit nur noch für zwei Freiheitsgrade zu ermitteln, und zwar für einen rotatorischen Freiheitsgrad in Bezug auf die Rotation R und einen translatorischen Freiheitsgrad xT. Bei unzureichender Anzahl der Messwerte kann die Ergänzung der Messwerte aus der Vergangenheit ergänzt werden. Dabei ist beispielsweise ein SLAM Algorithmus einsetzbar.
Statt die Optimierung durch Reduzierung der Freiheitsgrade zu vereinfachen kann auch vorgesehen sein, die Bestimmung des Winkels zur Plausibilität oder zur Abfrage für das autonome Fahren zu verwenden. So kann zum Beispiel das autonome Fahren des Transportmittels nur dann erlaubt werden, wenn gilt: $Δ \geq | 1 - \frac{y T}{x T \cdot tan θ} |$
Ein Transportmittel im Sinne dieser Offenbarung kann ein Fortbewegungsmittel sein. Ein Transportmittel im Sinne dieser Offenbarung kann ein Transportmittel zur Beförderung von Personen und/oder Gütern sein bzw. als solches verstanden werden. Ein Transportmittel im Sinne dieser Offenbarung kann ein angetriebenes Fahrzeug sein. Ein angetriebenes Fahrzeug im Sinne dieser Offenbarung bedeutet insbesondere, dass ein technischer Antrieb vorgesehen ist, wobei vorgesehen sein kann, dass wesentliche Teile des Antriebs außerhalb des Fahrzeuges, bevorzugt jedoch innerhalb des Fahrzeugs bzw. in dem Fahrzeug integriert, angeordnet sind. Ein angetriebenes Fahrzeug im Sinne dieser Offenbarung ist insbesondere ein Fahrzeug, das nicht maßgeblich durch die Kraft von Tieren und/oder Menschen angetrieben wird. Ein angetriebenes Fahrzeug im Sinne dieser Offenbarung kann jedoch optional einen Antrieb durch Wind und/oder Sonne umfassen. Ein Antrieb im Sinne dieser Offenbarung kann ein Verbrennungsmotor und/oder ein Elektromotor sein. Ein angetriebenes Fahrzeug im Sinne dieser Offenbarung ist insbesondere ein Landfahrzeug und/oder ein Kraftfahrzeug. Ein Kraftfahrzeug im Sinne dieser Offenbarung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne dieser Offenbarung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt. Unter einem Kraftfahrzeug im Sinne dieser Offenbarung kann auch ein motorisch angetriebenes Fahrzeug verstanden werden, zum Beispiel auch ein Fahrzeug für 3D Mobilität. Ein Transportmittel im Sinne dieser Offenbarung ist insbesondere ein Lastkraftwagen, insbesondere ein Lastkraftwagen mit einer Zugmaschine und einem Auflieger. Dabei kann der Auflieger insbesondere ein Container sein.
Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:

1 ein Ausführungsbeispiel eines Transportmittel-Assistenz oder Steuerungssystems in einer Prinzipdarstellung,
2 ein beispielhaftes Szenario für ein Kraftfahrzeug das sich einer Parklücke nähert, wobei zur Assistenz ein Transportmittel-Assistenz oder Steuerungssystem gemäß 1 vorgesehen ist,
3 eine Gitterkarte korrespondierend zu der Szene aus 2,
4 die Situation gemäß 2, jedoch unter Darstellung von Messpunkten mittels eines Offboard-Hinderniserkennungssensors,
5 ein Ausführungsbeispiel für eine Gittermatrix unter Zugrundelegung von Messpunkten, die mittels eines Onboard-Hinderniserkennungssensors und eines Offboard-Hinderniserkennungssensors gewonnen worden sind,
6 eine Situation, in der sich ein Lastkraftwagen einer Parklücke nähert,
7 ein Ausführungsbeispiel einer Gitterkarte bezüglich einer Situation, in der sich ein Lastkraftwagen rückwärts einparkend der Parklücke gemäß 6 nähert,
8 ein Ausführungsbeispiel für eine Weiterführung der Situation gemäß 6, wobei der Lastkraftwagen rückwärts unter Assistenz eines Offboard-Hinderniserkennungssensors in die Parklücke gemäß 6 einparkt,
9 ein Ausführungsbeispiel für ein weiteres Szenario mit einer Parklücke und einem Hindernisobjekt sowie unter Verwendung eins mobilen Offboard-Hinderniserkennungssensors zur Verwendung als Lotse oder Pilot für einen Lastkraftwagen mit einem Onboard-Hinderniserkennungssensor,
10 ein Ausführungsbeispiel für eine Gitterkarte unter Verwendung des Ausgangssignals des Onboard-Hinderniserkennungssensors gemäß 9, jedoch bereinigt um den Offboard-Hinderniserkennungssensor als Hindernis,
11 ein Ausführungsbeispiel für eine Gitterkarte unter Verwendung des Ausgangssignals des mobilen Offboard-Hinderniserkennungssensors, jedoch bereinigt um den Lastkraftwagen als bekanntes Hindernis,
12 eine Überlagerung der Gitterkarten gemäß 10 und 11 zu einer konsolidierenden Gitterkarte für die Verwendung der Steuerung des Lastkraftwagens,
13 ein Ausführungsbeispiel für die Weiterführung der Situation gemäß 9, wobei sich der Lastkraftwagen der Parklücke nähert und der mobile Offboard-Hinderniserkennungssensor in die Parklücke bewegt wurde,
14 ein Ausführungsbeispiel für eine konsolidierte Gitterkarte, wobei zur Orientierung ein Abbild des Lastkraftwagens eingefügt ist, das nicht notwendigerweise zur Gitterkarte gehört,
15 ein Ausführungsbeispiel für eine Weiterführung der Situation gemäß 13, wobei der Lastkraftwagen ein Manöver zum Einparken in die Parklücke mittels Unterstützung des Offboard-Hinderniserkennungssensors ausführt,
16 ein Ausführungsbeispiel für eine Gitterkarte basierend auf dem Ausgangssignal des Onboard-Hinderniserkennungssensors des Lastkraftwagens, wobei der Onboard-Hinderniserkennungssensor auf der Zugmaschine des Lastkraftwagens angeordnet ist und ein Auflieger des Lastkraftwagens zu einer Abschattung hinter dem Lastkraftwagen führt,
17 ein Ausführungsbeispiel für eine konsolidierte Gitterkarte unter Verwendung der Ausgangssignale des Onboard-Hinderniserkennungssensors und des Offboard-Hinderniserkennungssensors, wobei durch die Nutzung des Offboard-Hinderniserkennungssensors die Abschattung hinter dem Auflieger kompensiert wird, und
18 ein Verfahren zur Steuerung der Bewegung des Offboard-Hindernissensors.

1 zeigt ein Transportmittel-Assistenz oder Steuerungssystem, das zumindest einen mobilen bzw. verfahrbaren Offboard-Hinderniserkennungssensor RMTS sowie ein Transportmittel, wie etwa ein Fahrzeug VHCL, insbesondere einen Lastkraftwagen, umfasst. Das Transportmittel bzw. Fahrzeug VHCL umfasst einen Onboard-Hinderniserkennungssensor zum Erkennen von Hindernissen für das Transportmittel und eine Empfangseinrichtung IO zum Empfangen eines Ausgangssignals des Offboard-Hinderniserkennungssensors RMTS. Der Datenaustausch zwischen dem Transportmittel VHCL und dem Offboard-Hinderniserkennungssensor RMTS kann über eine separate drahtlose Kommunikationsverbindung erfolgen oder über ein Signal, mittels dessen die Hinderniserkennung erfolgt.
Das Transportmittel bzw. Fahrzeug VHCL umfasst weiterhin ein Synchronisationsmodul zur Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors RMTS in Bezug auf das Transportmittel bzw. Fahrzeug VHCL bzw. in Bezug auf den Onboard-Hinderniserkennungssensor EGOS. Im vorliegenden Ausführungsbeispiel umfasst das Synchronisationsmodul ein Modul ICP, in dem ein Meßwert-Synchronisations-Algorithmus, wie z.B. ein ICP Algorithmus, implementiert ist. In ergänzender Ausgestaltung kann auch ein „1D-Tracking“, insbesondere ein markerbasiertes „1D-Tracking“ des Offboard-Hinderniserkennungssensors RMTS erfolgen. Dazu kann das Transportmittel bzw. Fahrzeug VHCL ein Kamerasystem CAM aufweisen, dessen Ausgangssignal bzw. Ausgangssignale von einem Trackingmodul TRK ausgewertet werden dahingehend, dass die Richtung (Winkel gegenüber einer Referenzachse) des Transportmittels bzw. Fahrzeugs VHCL zum Offboard-Hinderniserkennungssensors RMTS bestimmt wird.
Das Transportmittel bzw. Fahrzeug VHCL umfasst zudem einen Kartengenerator MG2 zum Erzeugen einer Gitterkarte EGOM aus dem Ausgangssignal des Onboard-Hinderniserkennungssensors EGOS. In der Gitterkarte EGOM wird die Umgebung des Transportmittels VHCL in Form eines Rasters wiedergegeben, dessen Rasterflächen wie beispielsweise in 3 dargestellt, den Zustand „unbekannt“ U, den Zustand „frei“ F und den Zustand „belegt“ B umfassen können. Zudem umfasst das Transportmittel VHCL einen Kartengenerator MG1, mittels dessen aus dem Ausgangssignal des Offboard-Hinderniserkennungssensors RMTS eine Gitterkarte RMTM erzeugt wird. Ein Zusammenführungsmodul MPM fasst die Gitterkarte EGOM und die Gitterkarte RMTM in Abhängigkeit der Pose bzw. Ausrichtung des Transportmittels VHCL zum Offboard-Hinderniserkennungssensors RMTS zu einer (konsolidierten) integrierten Gitterkarte, wie sie beispielsweise in 5 dargestellt ist, zusammen. Dabei werden Rasterflächen nicht als belegt sondern als frei angezeigt, die von dem Offboard-Hinderniserkennungssensors RMTS als zum Transportmittel bzw. Fahrzeug VHCL gehörend erkannten Hindernissen korrespondieren.
Es kann vorgesehen sein, dass die Gitterkarte MAP mittels eines Displays DSP des Transportmittels VHCL angezeigt wird und/oder von einer Steuerung CTRL genutzt wird, um das Transportmittel VHCL (autonom) zu bewegen.
Die Funktionsweise des vorgenannten Transportmittel-Assistenz oder Steuerungssystems ist anhand der folgenden Figuren erläutert. Dabei zeigt 2 ebenso wie 4 ein Szenario mit einer Parklücke PL. Mit Bezugszeichen 1 sind die Punkte gekennzeichnet, die mittels des Offboard-Hinderniserkennungssensors RMTS als Hindernis erkannt werden, mit Bezugszeichen 2 sind die Punkte gekennzeichnet, die mittels des Onboard-Hinderniserkennungssensors EGOS als Hindernis erkannt werden.
3 zeigt die entsprechende Gitterkarte EGOM, die durch Auswertung des Ausgangssignals des Onboard-Hinderniserkennungssensors EGOS erhalten wird. Dabei sind das Transportmittel VHCL und der Offboard-Hinderniserkennungssensor RMTS lediglich zur besseren Orientierung in der Gitterkarte EGOM dargestellt. Sie können jedoch auch in einer Ausgestaltung Teil der Gitterkarte EGOM sein. 4 zeigt die Parklücke mit den Punkten, die seitens des Offboard-Hinderniserkennungssensors RMTS als Hindernisse erkannt werden (siehe oben). Die sich ergebende Gitterkarte MAP ist in 5 dargestellt. Das Szenario in Bezug auf die 2, 3, 4 und 5 bezieht sich auf ein Bewegen des Offboard-Hinderniserkennungssensors RMTLs vor die Parkbucht PL.
6 zeigt ein weiteres Szenario, wobei das Transportmittel VHCL ein Auflieger-Lastkraftwagen LKW ist, wobei der Onboard-Hinderniserkennungssensor in der Zugmaschine ZM, nicht jedoch im Auflieger AUFL angeordnet ist. Zudem ist vorgesehen, dass der Offboard-Hinderniserkennungssensor RMTS im Inneren der Parklücke PL2 angeordnet ist. 7 zeigt die Situation an der der LKW an der Parklücke PL2 vorbeigefahren ist, und zwar anhand einer korrespondierenden Gitterkarte MAP. Dabei ist ein Einparkmanöver des Lastkraftwagens LKW gezeigt, das sich in 8 fortsetzt.
9, 13 und 15 zeigen verschiedene Szenen eines weiteren Szenarios bzw. Ausführungsbeispiels für ein vorgenanntes Transportmittel-Assistenz oder Steuerungssystem. Dabei bezeichnet Bezugszeichen PL3 die Begrenzung einer Parkbucht und OB3 ein weiteres Hindernis. Ziel ist das Einparken des Auflieger-Lastkraftwagens LKW in die Parkbucht, die durch die Begrenzung PL3 gebildet wird. In dem dargestellten Szenario bzw. in der in 9 dargestellten Szene ist der Offboard-Hinderniserkennungssensor RMTS nicht ortsfest, sondern auf einem autonom fahrenden Roboterfahrzeug angeordnet. Als autonom operierender Lotse oder Pilot führt der Offboard-Hinderniserkennungssensor RMTS den Auflieger-Lastkraftwagen LKW zur gewünschten Parklücke und assistiert beim Einparken wie im Folgenden anhand der Figuren dargestellt: Zur Erläuterung zeigen 10 und 11 zunächst die bereits um die jeweiligen Partner als Hindernis bereinigten Gitterkarten EGOM und RMTM. D.h., 10 zeigt die Gitterkarte EGOM, wobei der als Hindernis erkannte Offboard-Hinderniserkennungssensor nicht als Hindernis, sondern als unbekannte Fläche U einschließlich des geworfenen „Sichtschattens“ dargestellt ist, und 11 zeigt die Gitterkarte EGOM, wobei der als Hindernis erkannte Offboard-Hinderniserkennungssensor nicht als Hindernis, sondern als unbekannte Fläche U einschließlich des geworfenen „Sichtschattens“ dargestellt ist. Durch Kombinieren der in 10 und 11 dargestellten Gitterkarten, ergibt sich die Gitterkarte MAP gemäß 12.
In 13 ist eine Szene dargestellt, in der der Auflieger-Lastkraftwagen LKW sich der Parklücke weiter angenähert hat. Zudem ist der Offboard-Hinderniserkennungssensor RMTS in die die durch die Parklückenbegrenzung PL3 gebildete Parklücke gefahren. Die sich ergebende Gitterkarte MAP zeigt 14. Dabei ist der Auflieger-Lastkraftwagen LKW symbolisch in der Gitterkarte platziert. Dies dient in erster Linie der Orientierung, wobei der Auflieger-Lastkraftwagen LKW nicht Teil der Gitterkarte MAP ist, sondern nur der Erläuterung dieser Offenbarung dient. Es kann jedoch auch vorgesehen sein, dass in einer Ausführungsform die Gitterkarte MAP um eine entsprechende symbolhafte Darstellung des Auflieger-Lastkraftwagens LKW ergänzt ist. In der in 15 dargestellten Szene ist der Auflieger-Lastkraftwagen LKW an der Parklücke vorbeigefahren und setzt zurück zwecks Einparkens in die durch die Parklückenbegrenzung PL3 gebildete Parklücke. Die besondere Problematik dabei zeigt die Gitternetzkarte EGOM, die in 16 für die entsprechende Szene dargestellt ist. Dabei ist ein mit Bezugszeichen SIS bezeichneter Sichtschatten erkennbar, der daraus resultiert, dass der Onboard-Hinderniserkennungssensor EGOS an der Zugmaschine ZM des Auflieger-Lastkraftwagens LKW montiert ist und nicht am Auflieger AUFL. D.h., dass der Auflieger AUFL des Auflieger-Lastkraftwagens LKW einen rückwärtigen Sichtschatten SIS erzeugt. Dieser wird durch den Offboard-Hinderniserkennungssensor RMTS in der Parklücke kompensiert, wie sich an der entsprechenden Gitterkarte MAP zeigt, die in 17 dargestellt ist.
Die Parklückenbegrenzung PL3 kann auch eine Begrenzung einer Be- bzw. Entladerampe sein bzw. darstellen oder Teil einer derartigen Be- oder Entladerampe sein. Es kann vorgesehen sein, dass der Offboard-Hinderniserkennungssensor bzw. sein fahrbarer Untersatz derart niedrig ist, dass er unter dem Auflieger AUFL bzw. der Zugmaschine ZUG hindurchfahren kann, so dass er das nächste Fahrzeug lotsen kann.
Es kann vorgesehen sein, dass die Steuerung des Offboard-Hinderniserkennungssensor in Abhängigkeit einer Güte bei der Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor gesteuert wird. Dies dient beispielsweise der Rückkopplung, ob das Transportmittel dem Offboard-Hinderniserkennungssensor in geeigneter Weise folgt und/oder der Sicherstellung, dass die Ausgangssignale des Offboard-Hinderniserkennungssensors und des Onboard-Hinderniserkennungssensors ausreichend sind für eine Bestimmung der Ausrichtung.
Eine beispielhafte Implementierung dieses Vorgehens zeigt 18, wobei in einem Schritt S101 die Güte G (= 1/S bzw. 1/S (R,T) bzw. 1/S (R, xT)) zur Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel VHCL bzw. LKW oder in Bezug auf den Onboard-Hinderniserkennungssensor eingelesen bzw. ermittelt wird. Ist die Güte G kleiner als Grenzwert SG, so folgt der entsprechenden Abfrage S102 in einem Schritt S103 eine Korrektur der Bewegung des Offboard-Hinderniserkennungssensors. Diese Korrektur der Bewegung kann beispielsweise ein Rückwärtsfahren, also ein Verfahren in Bezug auf die vermutete Richtung des Transportmittels, und/oder eine laterale Bewegung zur vorgesehenen Trajektorie der geplanten Bewegung des Offboard-Hinderniserkennungssensors sein. Ist dagegen die Güte G nicht kleiner als der Grenzwert SG, so setzt der Offboard-Hinderniserkennungssensor in einem der Abfrage S102 folgenden Schritt S104 seine Bewegung in geplanter Weise fort. In Bezug auf das Szenario gemäß 15 würde der Offboard-Hinderniserkennungssensor durch das beschriebene Verfahren sicherstellen, dass eine ausreichende Deckung der Messwerte besteht. Daher würde der Offboard-Hinderniserkennungssensor im Szenario gemäß 15 nicht sofort an das Ende der Parklücke fahren, sondern Stück für Stück entsprechend der Bewegung des Transportmittels und unter Umständen am rechten Rand entlangfahrend.
Eine ähnliche Bewegungskorrektur kann auch dadurch erfolgen, dass die Sicht des Offboard-Hindernissensors auf das Transportmittel mit der bekannten Geometrie des Transportmittels verglichen wird. Auf der Grundlage dieses Vergleichs kann der Offboard-Hindernissensor die Trajektorie seiner Bewegung bzw. seine Bewegung ganz allgemein der Situation bzw. dem Folgen des Transportmittels anpassen. Es kann jedoch auch vorgesehen sein, dass durch die Auswertung des Vergleichs der Geometrie des Transportmittels mit den Messpunkten, die der Offboard-Hindernissensor als Fahrzeug identifiziert, ebenfalls und zwar in alternativer oder in zusätzlicher Weise zum beschriebenen Verfahren unter Verwendung des Markers, ein Winkel bestimmt wird, der ebenfalls zum Einsparen eines Freiheitsgrades bei der Bestimmung der Ausrichtung des Transportmittels zum Offboard-Hindernissensor verwendet wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2016/0368489 A1 [0002]
US 2018/0012497 A1 [0002]

Claims

Transportmittel-Assistenz- oder Steuerungssystem mit einem Transportmittel (VHCL) und mit einem verfahrbaren Offboard-Hinderniserkennungssensor (RMTS) zum Erkennen von Hindernissen für das Transportmittel (VHCL), wobei das Transportmittel einen Onboard-Hinderniserkennungssensor (EGOS) zum Erkennen von Hindernissen für das Transportmittel (VHCL) umfasst, wobei das Transportmittel-Assistenz- oder Steuerungssystem ein Synchronisationsmodul zur Bestimmung der Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor (EGOS) in Abhängigkeit eines Ausgangssignals des Offboard-Hinderniserkennungssensors und eines Ausgangssignals des Onboard-Hinderniserkennungssensors umfasst.
Transportmittel-Assistenz- oder Steuerungssystem nach Anspruch 1, dadurch gekennzeichnet, dass der Offboard-Hinderniserkennungssensor einen Marker umfasst.
Transportmittel-Assistenz- oder Steuerungssystem nach Anspruch 2, dadurch gekennzeichnet, dass das Transportmittel (VHCL) zumindest eine Kamera zur Erkennung des Markers sowie ein Trackingmodul zur Bestimmung des Winkels der Lage des Offboard-Hinderniserkennungssensors in Bezug auf eine Referenzachse des Transportmittels umfasst.
Transportmittel-Assistenz- oder Steuerungssystem nach Anspruch 3, dadurch gekennzeichnet, dass die Ausrichtung des Offboard-Hinderniserkennungssensors in Bezug auf das Transportmittel und/oder in Bezug auf den Onboard-Hinderniserkennungssensor zudem in Abhängigkeit des Winkels, des Ausgangssignals des Offboard-Hinderniserkennungssensors und des Ausgangssignals des Onboard-Hinderniserkennungssensors bestimmbar ist.
Transportmittel-Assistenz- oder Steuerungssystem nach einem der vorherigen Ansprüche dadurch gekennzeichnet dass das Transportmittel (VHCL) eine mittels des Synchronisationsmoduls erzeugte Gitterkarte umfasst.
Transportmittel-Assistenz- oder Steuerungssystem nach Anspruch 5, dadurch gekennzeichnet, dass die Gitterkarte Information in Bezug auf ein Ausgangssignal des Onboard-Hinderniserkennungssensors (EGOS) umfasst, in die Information in Bezug auf das Ausgangssignal des Offboard-Hinderniserkennungssensors integriert ist.
Transportmittel-Assistenz- oder Steuerungssystem nach Anspruch 6, dadurch gekennzeichnet, dass in der Gitterkarte Information, die das Transportmittel als Hindernis ausweist, entfernt ist.
Transportmittel-Assistenz- oder Steuerungssystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Onboard-Hinderniserkennungssensor (EGOS) und/oder der Offboard-Hinderniserkennungssensor (RMTS) ein Lidar ist oder umfasst.
Transportmittel-Assistenz- oder Steuerungssystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Transportmittel ein Lastkraftwagen (LKW) mit einer Zugmaschine und einem Auflieger ist.
Verwendung eines Offboard-Hinderniserkennungssensors eines Transportmittel-Assistenz- oder Steuerungssystems nach einem der vorherigen Ansprüche als Lotsen für das Transportmittel, wobei der Offboard-Hinderniserkennungssensor das Transportmittel von einem Ausgangsort zu einem Wunschort, insbesondere entlang einer vorgegebenen Trajektorie, führt.