DE102019219212A1

DE102019219212A1 - Dynamisch erweiterte Vogelperspektive

Info

Publication number: DE102019219212A1
Application number: DE102019219212.2A
Authority: DE
Inventors: Noel W Anderson
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2019-01-22
Filing date: 2019-12-10
Publication date: 2020-07-23
Also published as: US11072368B2; US20200231210A1; BR102019024302A2

Abstract

Gemäß einem Ausführungsbeispiel umfasst ein Fahrzeug ein bewegliches Element, ein Positionssensorsystem, ein Kamerasystem in Vogelperspektive, eine Anzeige und eine Steuerung. Das Positionssensorsystem zeigt die Position des beweglichen Elements an. Das Kamerasystem in Vogelperspektive stellt Bilder seines Sichtfelds einschließlich der das Fahrzeug umgebenden Bodenfläche bereit. Die Steuerung empfängt ein Positionssignal vom Positionssensorsystem und Bilder vom Kamerasystem, erzeugt eine gerenderte Darstellung des Fahrzeugs, eine gerenderte Wegprojektion und eine dynamisch erweiterte Vogelperspektive und zeigt diese auf dem Display an. Das bewegliche Element wird mithilfe des Positionssignals innerhalb der gerenderten Fahrzeugdarstellung platziert. Die gerenderte Wegprojektion umfasst eine Außenlinie, die den projizierten Weg des äußersten Punktes des Fahrzeugs repräsentiert und mithilfe des Positionssignals bestimmt wird. Die dynamisch erweiterte Vogelperspektive wird durch Kombination der Bilder, gerenderten Fahrzeugdarstellung und gerenderten Wegprojektion generiert.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf ein System und Verfahren zur Visualisierung eines Fahrzeugs und seiner Umgebung mithilfe mehrerer Sensoren. Eine Ausführungsform der vorliegenden Offenbarung bezieht sich auf die Erstellung einer dynamisch erweiterten Vogelperspektive des Fahrzeugs.
Hintergrund
Fahrzeuge können mit mehreren Sensoren ausgestattet sein, die konfiguriert sind, um die Umgebung des Fahrzeugs zu erfassen. Diese Sensoren können Kameras mit einem Sichtfeld des das Fahrzeug umgebenden Bereichs umfassen oder Radar- oder Lidareinheiten, die Hindernisse in ihren Sichtfeldern erfassen können. Im Fahrzeug kann eine mit Daten dieser Sensoren generierte Anzeige bereitgestellt werden, um dem Bediener eine Ansicht der Umgebung des Fahrzeugs zur Verfügung zu stellen, die das ergänzt, was vom Platz des Bedieners aus direkt sichtbar ist.
Zusammenfassung
Verschiedene Aspekte von Beispielen der vorliegenden Offenbarung sind in den Ansprüchen aufgeführt.
Gemäß einem ersten Aspekt der vorliegenden Offenbarung kann ein Fahrzeug mit einer dynamisch erweiterten Vogelperspektive ein daran angebrachtes bewegliches Element, ein Positionssensorsystem, ein Kamerasystem in Vogelperspektive, eine Anzeige und eine Steuerung umfassen. Das Positionssensorsystem kann konfiguriert sein, um ein Positionssignal vorzusehen, das eine Position des beweglichen Elements anzeigt. Das Kamerasystem in Vogelperspektive kann in sein Sichtfeld die an das Fahrzeug angrenzende Bodenfläche einbeziehen und konfiguriert sein, um Bilder seines Sichtfelds bereitzustellen. Die Steuerung kann mit dem Positionssensorsystem, den Kameras und der Anzeige in Verbindung stehen. Die Steuerung kann konfiguriert sein, um das Positionssignal vom Positionssensorsystem und die Bilder des Kamerasystems in Vogelperspektive zu empfangen, eine Darstellung des Fahrzeugs, eine Projektion des Wegs und eine dynamisch erweiterte Vogelperspektive zu erstellen und auf dem Display anzuzeigen. Die gerenderte Fahrzeugdarstellung kann mithilfe des Positionssignals das bewegliche Element enthalten. Die gerenderte Wegprojektion kann eine Außenlinie umfassen, die den projizierten Weg des äußersten Punktes des Fahrzeugs repräsentiert und mithilfe des Positionssignals bestimmt wird. Die dynamisch erweiterte Vogelperspektive kann durch Kombination der Bilder, Fahrzeugdarstellung und Wegprojektion generiert werden.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann das Fahrzeug auch ein Lenkwinkelsensorsystem umfassen, das konfiguriert ist, um ein den Lenkwinkel des Fahrzeugs anzeigendes Signal auszugeben. Die Steuerung kann mit dem Lenkwinkelsensorsystem kommunizieren und ferner konfiguriert sein, um das Lenkwinkelsignal vom Lenkwinkelsensorsystem zu empfangen und über dieses Signal die Außenlinie anzupassen.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann das Fahrzeug auch ein Fahrzeugleitsystem umfassen, das konfiguriert ist, um die Lenkung des Fahrzeugs automatisch zu steuern und ein Signal für den geplanten Weg abzugeben. Die Steuerung kann mit dem Fahrzeugführungssystem kommunizieren und ferner konfiguriert sein, um das Signal für den geplanten Weg vom Fahrzeugleitsystem zu empfangen und über dieses Signal die Außenlinie anzupassen.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann das Fahrzeug auch ein Hindernissensorsystem umfassen, das konfiguriert ist, um zumindest eine Position eines Hindernisses im Bereich um das Fahrzeug zu signalisieren. Die Steuerung kann mit dem Hindernissensorsystem kommunizieren und ferner konfiguriert sein, um das Hindernissignal zu empfangen, eine gerenderte Hindernisdarstellung zu erstellen mit dem Hindernis in der gerenderten Hindernisdarstellung mithilfe des Hindernissignals und mithilfe einer Kombination der Bilder, der gerenderten Fahrzeugdarstellung, der gerenderten Wegprojektion und der gerenderten Hindernisdarstellung zu erzeugen.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann die Steuerung konfiguriert sein, die Wegprojektion zu erzeugen, um ferner mindestens zwei Reifenlinien, die den projizierten Weg der Fahrzeugreifen mithilfe des Lenkwinkelsignals repräsentieren, hinzuzufügen.
Gemäß einer anderen Ausführungsform der vorliegenden Offenbarung kann die Steuerung konfiguriert sein, um Hindernisse in der gerenderten Hindernisdarstellung auf eine von drei Arten darzustellen, abhängig davon, ob sie sich außerhalb des Fahrzeugwegs, innerhalb eines Abstandsschwellenwertes des Fahrzeugs oder auf dem Fahrzeugweg aber unter einem Höhenschwellenwert oder in geplanter Überschneidung mit dem Weg des Fahrzeugs befinden.
Die oben genannten und andere Funktionen werden aus der folgenden Beschreibung und den beiliegenden Zeichnungen ersichtlich.
Figurenliste
Die detaillierte Beschreibung der Zeichnungen bezieht sich auf die beigefügten Figuren, in denen:

1 eine Draufsicht eines Arbeitsfahrzeugs, in diesem Fall eines Mähdreschers, gemäß einer Ausführungsform der vorliegenden Offenbarung ist;
2 eine Ansicht einer Anzeige des Arbeitsfahrzeugs aus der Vogelperspektive ist, während sich das Fahrzeug in einer ersten Einstellung befindet;
3 eine Ansicht einer Anzeige des Arbeitsfahrzeugs aus der Vogelperspektive ist, während sich das Fahrzeug in einer zweiten Einstellung befindet;
4 eine Ansicht einer Anzeige des Arbeitsfahrzeugs aus der Vogelperspektive ist, während sich das Fahrzeug in einer dritten Einstellung befindet;
5 eine Ansicht einer Anzeige des Arbeitsfahrzeugs aus der Vogelperspektive ist, während sich das Fahrzeug in einer vierten Einstellung befindet;
6 ein Flussdiagramm ist, das einen Prozess zur Erstellung der Vogelperspektive zeigt.

Gleiche Bezugszahlen werden verwendet, um gleiche Elemente in den einzelnen Figuren zu bezeichnen.
Ausführliche Beschreibung
Mindestens eine exemplarische Ausführungsform des Gegenstands dieser Offenbarung wird unter Bezugnahme auf die 1 bis 6 der Zeichnungen verstanden.
1 veranschaulicht ein Arbeitsfahrzeug 100, in dieser Ausführungsform ein Mähdrescher mit einem daran befestigten Erntevorsatz. Das Arbeitsfahrzeug 100 bewegt sich über eine Bodenfläche 102 in Vorwärtsrichtung V auf vier Reifen, 104a (vorne links), 104b (vorne rechts), 104c (hinten links) und 104d (hinten rechts). Das Arbeitsfahrzeug 100 hat lenkbare Hinterräder, sodass die Reifen 104c und 104d in einem Winkel im Verhältnis zum restlichen Arbeitsfahrzeug 100 gesteuert werden können, um das Fahrzeug zu lenken. Ein Lenkwinkelsensorsystem 105 ist konfiguriert, um den Lenkwinkel des Arbeitsfahrzeugs 100, zum Beispiel durch Messung des Winkels zwischen bestimmten Komponenten der Lenkmechanismus (z. B. Lenkverbindungen) mithilfe eines Drehsensors und eines kinematischen Modells zur Bestimmung des Lenkwinkels auf Basis dieses gemessenen Winkels zu erfassen. In alternativen Ausführungsformen kann der Lenkwinkel von Arbeitsfahrzeug 100 mit anderen Mitteln bestimmt werden, zum Beispiel mit Sensoren, die konfiguriert sind, um die Position anderer Teile des Lenksystems zu erfassen.
Das Arbeitsfahrzeug 100 wird von einem Bediener gesteuert, der sich in der Bedienerstation 106 befindet. Eine Anzeige 108, auch als Monitor, Bildschirm oder Display bezeichnet, ist so innerhalb der Bedienerstation 106 positioniert, dass der Bediener sie während der Bedienung des Arbeitsfahrzeugs 100 sehen kann. Die Anzeige 108 kann dem Bediener verschiedene Elemente anzeigen, zum Beispiel die Leistung des Arbeitsfahrzeugs 100, eine Karte mit dem Standort oder eine Vogelperspektive des Fahrzeugs 100. Dies sind nur einige der möglichen Ansichten der Anzeige 108. Eine Vogelperspektive, auch Draufsicht genannt, ist die Ansicht des Arbeitsfahrzeugs 100 aus der Perspektive eines direkt über ihm positionierten Beobachters, der gerade nach unten blickt. Dieser Blick kann durch ein Kamerasystem in Vogelperspektive, wie etwa eine an einer Halterung am Fahrzeug oder in einer Drohne platzierten Kamera oder mehrere Kameras, die sich unterhalb einer solchen Perspektive befinden, aber so angeordnet sind, dass jede ein bestimmtes Sichtfeld der Vogelperspektive umfasst und diese zusammen den gesamten gewünschten Bereich abdecken.
Das Arbeitsfahrzeug 100 weist ein Kamerasystem der Vogelperspektive auf, das aus mehreren Kameras (110a, 110b, 110c und 110d) besteht, die an unterschiedlichen Stellen am Arbeitsfahrzeug 100 angebracht sind, um verschiedene Sichtfelder abzudecken, die gemeinsam den gewünschten sichtbaren Bereich abdecken. Kamera 110a befindet sich vorne links am Arbeitsfahrzeug 100 in der Nähe des Daches der Bedienerstation 106, um ein Sichtfeld 112a eines Teils der das Fahrzeug 100 umgebenden Bodenfläche 102 zu gewährleisten. Kamera 110b befindet sich ähnlich vorne rechts am Arbeitsfahrzeug 100 nahe der Oberseite eines Karosserieteils, Kamera 110c befindet sich hinten links in der Nähe des Daches der Bedienerstation 106 und Kamera 110d hinten rechts nahe der Oberseite eines Karosserieteils, sodass sie jeweils ein Sichtfeld 112b, 112c bzw. 112d bzw. einen Teil der das Fahrzeug 100 umgebenden Bodenfläche 102 bereitstellen. Abhängig von der Anwendung können Kameratyp, -objektiv und -position so ausgewählt werden, dass je nach Anwendung verschiedene Sichtfelder erzielt werden. Ein größeres Sichtfeld kann zum Beispiel durch eine Kamera mit Fischaugenobjektiv, die besonders hoch am Fahrzeug angebracht ist, erreicht werden. Die Obergrenze des Sichtfelds wird hierbei durch die Linsenoptik und die Höhe der Kamera bestimmt. In alternativen Ausführungsformen kann das Kamerasystem in Vogelperspektive eine einzelne Kamera mit einem derartigen Objektiv sein, die in ausreichender Höhe relativ zum Fahrzeug angebracht ist. Als weiteres Beispiel kann ein kleineres Sichtfeld erreicht werden mithilfe eines Teleobjektivs und/oder einer niedrigeren Kameraposition, wodurch sich das Sichtfeld verkleinert, aber eine höhere Auflösung und weniger Verzerrung ermöglicht oder den Fokus auf einen bestimmten Ausschnitt legt.
Das Arbeitsfahrzeug 100 verfügt auch über ein Hindernissensorsystem 114 mit Kameras 110a-b, Radareinheiten 116a-d und einer Lidareinheit 118 zur Erfassung des Geländes und möglicher Hindernisse vor dem Arbeitsfahrzeug 100. Die Bilder der Kameras 1 10a-b können mit gängigen Stereo-Visionstechniken verarbeitetet werden, um Hindernisse und deren Umfang und Größe zu erfassen. Die Radareinheiten 116a-d können jeweils ein Radar-Sender-Empfängergerät oder ein System zur Übertragung von Funkwellen sein und von dieser Übertragung zurückgeworfene Funkwellen aufnehmen und das Rücksignal analysieren, um die Umgebung zu erfassen und zum Beispiel Umfang und relative Geschwindigkeit von Funkwellen reflektierenden Hindernissen (oder Gelände) zu ermitteln. Gleichermaßen verwendet die Lidareinheit 118 übermitteltes und reflektiertes Licht, um die Entfernung und/oder relative Geschwindigkeit von Hindernissen (oder Gelände), die das übermittelte Licht reflektieren, zu erfassen. Die Radareinheiten 116a-d und die Lidareinheit 118 können in Fachkreisen gut bekannte Systeme für die Erfassung der Umgebung eines Fahrzeugs sein. Mehrere Kameras, Radar- und Lidareinheiten können genutzt werden, um alle relevanten Bereiche abzudecken. In 1 beinhaltet dies zwei Kameras 110a-b, vier Radareinheiten 116a-d und eine Lidareinheit 118. Diese decken gemeinsam den Bereich vor dem Arbeitsfahrzeug 100, etwa 180 Grad, ab. In anderen Ausführungsformen können Radar- und/oder Lidareinheiten in anderem Abstand angebracht sein, oder es können zusätzliche Einheiten verwendet werden, um den gesamten Bereich um das Arbeitsfahrzeug 100, also 360 Grad, abzudecken. In weiteren Ausführungformen können Radareinheiten nur für Bereiche verwendet werden, in denen die Sichtbarkeit für den Bediener eingeschränkt ist. In dieser Ausführungsform senden Kameras 110a-b, Radareinheiten 116a-d und Lidareinheit 118 jeweils direkt Signale an eine Fahrzeugniveausteuerung, die zusammen das Hindernissignal bilden. In anderen Ausführungsformen ist das Hindernissensorsystem 114 ein Teilsystem mit eigener Steuerung, die Signale von den Radareinheiten 116a-d und der Lidareinheit 118 empfängt und diese verwendet, um ein Hindernissignal zu bilden, welches dann an die Fahrzeugniveausteuerung gesendet wird.
Das Arbeitsfahrzeug 100 besitzt ein bewegliches Element 120, das sich von einer verstauten in eine Entladeposition bewegen kann (vgl. 2 mit 3). In dieser Ausführung ist das Arbeitsfahrzeug 100 ein Mähdrescher und das bewegliche Element 120 einen Komauswurf, der zur Entladung von Getreide aus einem Getreidetank 122 des Arbeitsfahrzeugs 100 dient. Das bewegliche Element 120 ist ein hohler, zylindrischer Schacht, der an einem Ende schwenkbar mit dem Arbeitsfahrzeug 100 verbunden aber am zweiten, dem ersten Ende gegenüberliegenden Ende offen ist, sodass das Korn am ersten Ende hinein und zum zweiten Ende hinaus fließen kann. Wenn das Arbeitsfahrzeug 100 kein Getreide entlädt, kann sich das bewegliche Element 120 in eingefahrener Position befinden, wobei sich das zweite Ende direkt hinter dem ersten (der Richtung V entgegengesetzt) befindet. Wenn das Arbeitsfahrzeug 100 Korn entlädt, zum Beispiel auf einen Getreidewagen, der neben dem Arbeitsfahrzeug 100 gezogen wird, kann das bewegliche Element 120 gegen den Uhrzeigersinn geschwenkt werden, wobei sich das zweite Ende nach links über die Karosserie des Fahrzeugs 100 hinaus und über eine Öffnung des Getreidewagens erstreckt. Das Getreide (oder ein anderes Schüttgut) kann dann über das bewegliche Element 120 vom Getreidetank 122 in den Getreidewagen entladen werden. In dieser Ausführungsform ist das bewegliche Element 120 ein Komauswurf. In anderen Ausführungsformen kann es sich auch um andere Ausführungsformen handeln, zum Beispiel um einen Ausleger eines Spritzgerätes, der eingefahren oder in Sprühposition sein kann, oder um ein einklappbares, vom Arbeitsfahrzeug 100 gezogenes Anbaugerät (zum Säen, Sprühen oder zur Bodenbearbeitung) oder eine am Fahrzeug angebrachte Vorrichtung (zum Beispiel ein Vorsatz), die von einer Transport- in eine Arbeitsposition gebracht werden kann. Die anderen Ausführungsformen müssen sich nicht auf die Landwirtschaft beschränken. Das bewegliche Element kann beispielsweise auch ein Vorsatz zur Verteilung von Baumaterialien für ein Asphaltreparaturfahrzeug, der Kran oder die Schaufel eines Servicefahrzeugs oder ausziehbare Stützen für ein Arbeits- oder Campingfahrzeug sein. Dies sind nur einige Beispiele von Ausführungsformen des beweglichen Elements.
Die Position des beweglichen Elements 120 wird über das Positionssensorsystem 124 erfasst, in dieser Ausführungsform handelt es sich dabei um einen an der Karosserie des Arbeitsfahrzeugs 100 und am beweglichen Element 120 befestigten Winkelsensor. Dies kann zum Beispiel ein an der Karosserie des Arbeitsfahrzeugs 100 angebrachter und mit einem Arm am beweglichen Element 120 befestigter Hall-Effekt-Drehsensor sein. Das Positionssensorsystem 124 zeigt über ein Positionssignal die Position des beweglichen Elements 120 an. Dazu kann auch dessen Ausrichtung gehören. Das Positionssensorsystem 124 ist notwendig, da das bewegliche Element sich zumindest teilweise außerhalb des Sichtfelds der Kameras 110a-d befindet. In dieser Ausführungsform befindet sich das bewegliche Element 120 komplett außerhalb des Sichtfelds der Kameras 110a-d. Ohne das Positionssensorsystem 124 könnte kein Teil des beweglichen Elements 120 erfasst oder gesehen werden. In dieser Ausführungsform kann das Element 120 nur auf eine Art, nämlich durch Drehung über seine schwenkbare Befestigung am Arbeitsfahrzeug 100) bewegt werden. Die Position des beweglichen Elements kann also mit einer einzigen Variable wie seinem Winkel (z. B. 180 Grad, 255 Grad) erfasst werden. In anderen Ausführungsformen kann das Positionssensorsystem 124 die Position des beweglichen Elements 120 anders erfassen, oder das bewegliche Element 188 kann sich zusätzlich freier bewegen, wodurch zusätzliche Informationen zur kompletten Erfassung seiner Position notwendig sein könnten. Eine alternative Ausführung kann ein Positionssensorsystem umfassen, das die Position des beweglichen Elements nicht direkt erfasst, sondern sie über ein Vorsteuerungsmodell (z. B. beginnend bei 180 Grad, dann innerhalb von fünf Sekunden bis auf 255 Grad bewegt) schätzt. Eine weitere alternative Ausführungsform kann ein Positionssensorsystem sein, das mehrere Sensoren benötigt, zum Beispiel ein Servicefahrzeug mit einer Schaufel (auch Hubsteiger genannt) mit linearen Verschiebungssensoren an jedem Gestängezylinder und einem Winkelsensor am Gestängedrehgelenk, wobei die Sensorausgabe mit einem kinematischen Modell kombiniert wird, um die Position der Schaufel und aller Elemente in ihrem Gestänge festzustellen. Eine weitere alternative Ausführungsform kann ein Positionssensorsystem, das einen Tag auf einem Arbeitswerkzeug, zum Beispiel ein RFID oder einen Referenzpunkt auf der Schaufel eines Baggers, verwendet, wobei dessen Position (und damit die des Arbeitswerkzeugs) direkt und ohne die Erfassung des Gestänges, das das Arbeitswerkzeug unterstützt, erfasst wird.
Das Lenkwinkelsensorsystem 105, die Anzeige 108, die Kameras 110a-d, das Hindernissensorsystem 114 und das Positionssensorsystem 124 kommunizieren jeweils mit einer Steuerung 126. Wie hierin verwendet, entspricht der Begriff „Steuerung“ der gängigen Verwendung durch Fachleute auf dem Gebiet und bezeichnet eine verarbeitungs-, speicher- und kommunikationsfähige Computerkomponente, die zur Steuerung von oder Kommunikation mit einer oder mehreren Komponenten dient. In bestimmten Ausführungsformen kann eine Steuerung auch als Steuereinheit, Fahrzeugsteuereinheit (VCU), Motorsteuereinheit (ECU), Getriebesteuereinheit (TCU) oder hydraulische, elektrische oder elektrohydraulische Steuerung bezeichnet werden. In einigen Ausführungsformen kann die Steuerung konfiguriert sein, um Eingabesignale in verschiedenen Formaten (z. B. als Hydrauliksignale, Spannungssignale, Stromsignale, CAN-Nachrichten, optische Signale, Funksignale) zu empfangen und Befehlssignale in verschiedenen Formaten (z. B. als Hydrauliksignale, Spannungssignale, Stromsignale, CAN-Nachrichten, optische Signale, Funksignale) auszugeben. Die Steuerung 126, auch Fahrzeugsteuereinheit (VCU), in dieser Ausführungsform, in der mehrere Fahrzeugsysteme von einer zentralen Steuerung gesteuert werden, empfängt Signale von Lenkwinkelsensorsystem 105 (Lenkwinkelsignal), Anzeige 108 (Bedienereingabe über Touchscreen oder Tasten), Kameras 110a-d (Bilder), Hindernissensorsystem 114 (Hindernissignal) und Positionssensorsystem 124 (Positionssignal). Die Steuerung 126 kann diese Signale über verschiedene Kommunikationsarchitekturen (z. B. Controller Area Network (CAN), direkte Punkt-zu-Punkt-Kommunikation) und eine Reieh von verschiedenen Medien (z. B. Kabel oder kabellose Verbindung) empfangen. Die Steuerung 126 sendet außerdem Signale an die Anzeige 108, damit dem Bediener Inhalte angezeigt werden können. In dieser Ausführungsform sind Steuerung 126 und Anzeige 108 im Arbeitsfahrzeug 100 installiert. In alternativen Ausführungsformen können sich eine oder beide Komponenten außerhalb des Arbeitsfahrzeugs 100 befinden und über ein externes Kommunikationsnetzwerk (z. B. Mobilfunk) kommunizieren.
Die Steuerung 126 nutzt die Signale, die sie empfängt, um eine dynamisch erweiterte Vogelperspektive 128 des Arbeitsfahrzeugs 100 zu erzeugen, wie unter Bezugnahme auf 2-6 beschrieben. 2-5 stellen die Ansicht der Anzeige 108, die eine dynamisch erweiterte Vogelperspektive 128 des Arbeitsfahrzeugs 100 zeigt, für den Bediener dar. In alternativen Ausführungsformen kann diese Anzeige auch außerhalb des Arbeitsfahrzeugs 100, zum Beispiel über ein Smartphone oder Tablet, dargestellt werden.
Die dynamisch erweiterte Vogelperspektive 128 des Arbeitsfahrzeugs 100 ist eine von der Steuerung 126 unter Verwendung mehrerer Signale erstellte kombinierte Ansicht. Die Bilder der Kameras 1 10a-d werden mit in Fachkreisen bekannten Verfahren (siehe z. B. Beschreibung in Patent US 7.734.417 ) zu einem einzigen Bild der Bodenfläche 130 zusammengefügt, in dem mindestens ein Teil jedes Sichtfelds enthalten ist.
Die Steuerung 126 verwendet das Positionssignal des Positionssensorsystems 124 für eine gerenderte Darstellung des Fahrzeugs 132, also eine Darstellung des Arbeitsfahrzeugs 100, so wie es aus der Vogelperspektive aussehen würde. Die gerenderte Fahrzeugdarstellung 132 kann über eine für die Steuerung 126 zugängliche gespeicherte vereinfachte Darstellung des Arbeitsfahrzeugs 100, zum Beispiel aus der Draufsicht, erzeugt werden. Dieses Modell kann dann durch Anpassung der Position des beweglichen Elements 120 mithilfe des Positionssignals des Positionssensorsystems 124 bearbeitet werden, sodass die Fahrzeugdarstellung 132 in etwa der Realität entspricht.
Als ein Beispiel für eine Technik hierfür kann die vereinfachte Darstellung des Arbeitsfahrzeugs 100 alles außer dem beweglichen Element 120 umfassen. Eine separate vereinfachte Darstellung des beweglichen Elements kann basierend auf dem Positionssignal gedreht werden, bis sie sich im gleichen Winkel zum Arbeitsfahrzeug 100 befindet wie ihre reale Entsprechung und dann über die vereinfachte Darstellung des Arbeitsfahrzeugs 100 gelegt werden. Durch diese Kombination entsteht eine vereinfachte Darstellung des Arbeitsfahrzeugs 100 einschließlich des beweglichen Elements 120 (die gerenderte Fahrzeugdarstellung 120). Ein solches Beispiel kann ein Positionssignal von 180 Grad verwenden zum Rendern des gerade nach hinten zeigenden beweglichen Elements wie in der ersten Einstellung, in 2 veranschaulicht, und es kann ein Positionssignal von 255 Grad verwenden zur Darstellung des nach links und hinten zeigenden beweglichen Elements wie in der zweiten Einstellung in 3 gezeigt. Alternative Ausführungsformen können verschiedene Techniken zur Bearbeitung der Position des beweglichen Elements 120 nutzen.
2-5 bilden ein zusätzliches dynamisches Merkmal der Fahrzeugdarstellung 120 ab, und zwar die gelenkte Position des linken 104c und des rechten Hinterreifens 104d. In der gezeigten Ausführungsform sind die Hinterreifen 104c-d in der gerenderten Fahrzeugdarstellung 120 gemäß dem Positionssignal gedreht, damit ihre Darstellung aus der Vogelperspektive mit dem realen Winkel übereinstimmt. Alternative Ausführungsformen nutzen dieses zusätzliche dynamische Merkmal möglicherweise nicht, sondern geben die Räder in konstanter Ausrichtung wieder.
Die Steuerung 126 erstellt mithilfe des Lenkwinkelsignals des Lenkwinkelsensorsystems 105 eine gerenderte Wegprojektion 134. Die gerenderte Wegprojektion 134 stellt den bevorstehenden Weg einiger wichtiger Punkte am Arbeitsfahrzeug 100 dar. In der Ausführungsform in 2-5 gehören zu diesen wichtigen Punkten der Punkt ganz links 136a, ganz rechts 136b und der mittige Punkt 136c, sowie der linke Vorderreifen 104a und der rechte Vorderreifen 104b. Der Punkt ganz links 136a stellt den Punkt des Arbeitsfahrzeugs 100 dar, der in Vorwärtsrichtung V am weitesten links gelegen ist. Er wird nach außen projiziert, um die linke Außenlinie 138a zu erzeugen. Der Punkt ganz rechts 136b stellt den Punkt des Arbeitsfahrzeugs 100 dar, der in Vorwärtsrichtung V am weitesten rechts gelegen ist. Er wird nach außen projiziert, um die rechte Außenlinie 138b zu erzeugen. Der mittlere Punkt 136c stellt einen Punkt entlang der Mittellinie des Arbeitsfahrzeugs 100 dar (in diesem Fall der vorderste Teil der Karosserie des Arbeitsfahrzeugs 100 ausschließlich des Vorsatzes, bei anderen Ausführungsformen kann ein zentraler Punkt vorne am Vorsatz oder mittig in Längsrichtung des Fahrzeugs 100 gewählt werden) und wird nach außen projiziert, um die Mittellinie 138c zu erzeugen. Der linke Vorderreifen 104a wird nach außen projiziert, um die linke Reifenlinie 140a zu erzeugen. Der rechte Vorderreifen 104b wird nach außen projiziert, um die rechte Reifenlinie 140b zu erzeugen. In alternativen Ausführungsformen können die Wege der Hinterreifen 104c und 104d zusätzlich zu den Vorderreifen 104a und 104b oder an deren Stelle nach außen projiziert werden. In weiteren alternativen Ausführungsformen können die Reifenlinien 140a-b so dick sein wie die Reifen 104a-b, um nicht nur die Mittellinie des Reifenweges, sondern die tatsächliche geplante Kontaktfläche der Reifen zu zeigen. In anderen alternativen Ausführungsformen können Ketten anstelle von Reifen verwendet und der projizierte Weg der Ketten wird durch Linien angezeigt.
Die Projektionen für die Außenlinien 138a-b, Mittellinie 138c und Reifenlinien 140ab können auf der Grundlage der bekannten Beziehung zwischen dem Lenkwinkelsignal des Lenkwinkelsensorsystems 105 und den resultierenden Kurven dieser Linien so angepasst (als Kurven angelegt) werden, dass sie den projizierten Weg des Arbeitsfahrzeugs 100 wiedergeben. Die Steuerung 126 kann die Linien mithilfe des Lenkwinkelsignals zur Bestimmung der jeweiligen Kurven zum Beispiel über eine Nachschlagetabelle mit dem Lenkwinkelsignal als Eingabe und den entsprechenden Ausgabeparametern zur Erstellung der Linien erzeugen. Abhängig von der für die Anwendung gewünschten Genauigkeit können unterschiedliche Verfahren zur Erzeugung dieser Projektionen verwendet werden.
In alternativen Ausführungsformen erstellt die Steuerung 126 ohne das Lenkwinkelsignal des Lenkwinkelsensorsystems 105 die gerenderte Wegprojektion 134. In diesen Ausführungsformen sind die Linien der gerenderten Wegprojektion 134 gerade und weisen keine dem Lenkwinkel entsprechenden Kurven auf.
In anderen alternativen Ausführungsformen kann die Steuerung 126 ein integriertes Fahrzeugleitsystem einschließlich einer mit einem GPS-Empfänger verbundenen GPS-Antenne und ein über die Steuerung 126 laufendes Fahrzeugleitsteuersystem aufweisen. Dieses Steuersystem kann ein Fahrzeugpositionssignal vom GPS-Empfänger empfangen und dieses nutzen, um einen geplanten Weg zu bestimmen und die Lenkung des Arbeitsfahrzeugs 100 so steuern, dass es dem geplanten Weg folgt, siehe auch die hierin durch Bezug aufgenommene Beschreibung in Patent US 8.190.364 . In diesen alternativen Ausführungsformen kann das über die Steuerung 126 laufende Fahrzeugleitsteuersystem das Signal für den geplanten Weg an das Steuersystem senden. Daraufhin wird über die Steuerung 126 die gerenderte Wegprojektion 134 erzeugt, die komplexer ausfällt als bei Annahme eines unveränderten Lenkwinkels des Arbeitsfahrzeugs 100. Bei vorhandenem Signal des geplanten Wegs kann die Steuerung 126 auf Basis dieses Signals die Außenlinien 138a-b, die Mittellinie 138c und die Reifenlinien 140a-b erzeugen und dabei zum Beispiel die Kurven des geplanten Wegs übernehmen.
Wie durch den Vergleich von 2 und 3 gezeigt, wird das Positionssignal von der Steuerung 126 verwendet, um den Punkt ganz links 136a zu bestimmen. In der in 1 dargestellten ersten Einstellung befindet sich das bewegliche Element 120 in eingefahrener Position und der Punkt ganz links 136a befindet sich an der linken äußeren Kante des Vorsatzes des Arbeitsfahrzeugs 100. In der in 2 dargestellten zweiten Einstellung befindet sich das bewegliche Element 120 in Entladeposition und der Punkt ganz links 136a am Arbeitsfahrzeug 100 befindet sich nun am beweglichen Element 120 und nicht am Vorsatz. Das Positionssignal wird verwendet, um den Punkt ganz links 136a zu bestimmen. Die linke Außenlinie 138a ist ein auf dem Punkt ganz links 136a und dem Lenkwinkelsignal basierender projizierter Weg. Das Positionssignal wird für die Bestimmung der linken Außenlinie 138a in der gerenderten Wegprojektion 134 verwendet. In dieser Ausführungsform hängt die Position der linken Außenlinie 138a vom Positionssignal und die Form der linken Außenlinie 138a wiederum vom Lenkwinkelsignal ab. Der Unterschied der gerenderten Wegprojektion 134 zwischen 3 und 4 zeigt eine Möglichkeit, wie eine dynamische Erweiterung einer Vogelperspektive für das Arbeitsfahrzeug 100 dazu führen kann, dass dem Betrachter unterschiedliche Informationen präsentiert werden, die einen sich ändernden Zustand des Arbeitsfahrzeugs 100 und seines Lenkwinkels widerspiegeln, anstelle der Ansicht mit einer statischen Wegprojektion oder einer Wegprojektion, die nur in Bezug auf den geänderten Lenkwinkel des Arbeitsfahrzeugs 100, nicht jedoch auf die Position des beweglichen Elements 120 dynamisch ist.
In dieser Ausführungsform hängt nur der Punkt ganz links 136a von der Position des beweglichen Elements 120 ab. Alternative Ausführungsformen können das Positionssignal weitergehend verwenden. In alternativen Ausführungsformen muss bzw. müssen der Punkt ganz rechts 136b oder die beiden äußersten Punkte des Arbeitsfahrzeugs 100 möglicherweise über das Positionssignal bestimmt werden, wenn in Abhängigkeit von seiner Position ein Teil des beweglichen Elements 120 der äußerste Punkt links oder rechts sein könnte.
4 und 5 veranschaulichen die dynamisch erweiterte Vogelperspektive 128 in einer dritten bzw. vierten Einstellung. Diese gleichen der ersten und zweiten Einstellung, allerdings sind nun Hindernisse vorhanden. Die dritte und die vierte Einstellung veranschaulichen eine gerenderte Hindernisdarstellung 142, die auf der Erfassung von Hindernissen über das Hindernissensorsystem 114 basiert. Die Steuerung 126 empfängt das Hindernissignal vom Hindernissensorsystem 114 und erzeugt damit die Hindernisdarstellung 142, die aus den Hindernissen 144a-d besteht, die gemäß der durch das Hindernissignal angegebenen Positionen und Größen platziert sind. Jedes der Hindernisse 144a-d kann in Abhängigkeit von seiner Position und Größe unterschiedlich dargestellt sein.
Hindernis 144a befindet sich außerhalb der linken Außenlinie 138a in 4 und 5, um mehr als den Schwellenabstand 146 entfernt und ist deshalb mit einer gestrichelten Linie in einem ersten Stil abgebildet. Dieser erste Stil könnte auch eine Liniengewichtung (z. B. dünn, leicht), Linienfarbe (z. B. grün), Füllfarbe (z. B. grün) oder eine beliebige Anzahl anderer stilistischer Möglichkeiten beinhalten, die verdeutlichen sollen, dass das erfasste Hindernis nicht als sich auf dem Weg des Arbeitsfahrzeugs 100 befindend projiziert wird. Der Abstandsschwellenwert 146 ist optional und nicht für alle Ausführungsformen erforderlich. Bei Ausführungen, die einen solchen Schwellenwert verwenden, kann dessen Größe variieren, beispielsweise durch Unterschiede in der Genauigkeit der Bestimmung des am weitesten links gelegenen Punkts 136a des Arbeitsfahrzeugs 100, des Hindernissensorsystems 114, des Lenkwinkelsensorsystems 105 und/oder der gerenderten Wegprojektion 134.
Hindernis 144b liegt mit 0,5 m Höhe gemäß dem Hindernissignal über dem Höhenschwellenwert von 0,25 m und befindet sich außerhalb der linken Außenlinie 138a in der dritten Einstellung gemäß 4, aber innerhalb des Abstandsschwellenwertes 146 der linken Außenlinie 138a. In 5 befindet sich das bewegliche Element 120 in Entladeposition, was es zum Punkt ganz links 136a macht und die linke Außenlinie 138a nach außen erweitert. Durch das Ausfahren des beweglichen Elements 120 befindet sich das Hindernis 144b nun zwischen der linken 138a und der rechten Außenlinie 138b (zwischen diesen Linien wird ein Hindernis dargestellt, wenn sich auch nur ein Teil dessen dazwischen befindet). In 5 ist das Hindernis 144b in einem zweiten Stil (durchgezogene, dicke Linie) dort dargestellt, wo es sich zwischen den Außenlinien 138a-b befindet. In 4 ist das Hindernis 144b in einem dritten Stil (durchgezogene, dünne Linie) dargestellt, weil es sich nicht zwischen den Außenlinien 138a-b, sondern innerhalb des Schwellenabstands 146 zu einer der Linien befindet. Der zweite Stil weicht vom ersten Stil ab und könnte auch eine andere Liniengewichtung (z. B. dick, schwer), Linienfarbe (z. B. rot), Füllfarbe (z. B. rot) oder eine beliebige Anzahl anderer stilistischer Möglichkeiten beinhalten, die verdeutlichen sollen, dass das erfasste Hindernis als beeinträchtigend auf den Weg des Arbeitsfahrzeugs 100 projiziert wird. Der dritte Stil weicht vom ersten und zweiten Stil ab und könnte auch eine andere Liniengewichtung (z. B. mittel), Linienfarbe (z. B. orange), Füllfarbe (z. B. orange) oder eine beliebige Anzahl anderer stilistischer Möglichkeiten beinhalten, die verdeutlichen sollen, dass in Bezug auf das erfasste Hindernis Vorsicht geboten ist, da es zwar außerhalb der Wegprojektion des Arbeitsfahrzeugs 100 aber dennoch nahe am Weg liegt. Die Darstellung des Hindernisses 144b in 4 und 5 zeigt, wie eine dynamische Erweiterung der Vogelperspektive für das Arbeitsfahrzeug 100 zur Darstellung der Position des beweglichen Elements 120 und der Wegprojektion des äußersten linken Punktes 136a zu unterschiedlichen Stile für erfasste Hindernisse führen kann.
Hindernis 144c und 144d sind gemäß dem vom Hindernissensorsystem 114 empfangenen Hindernissignal kleinere Objekte, deren Höhe gleich oder unterhalb des in dieser Ausführung verwendeten Höhenschwellenwertes von 0,25 m liegt, zum Beispiel bei 0,2 m. Der Höhenschwellenwert kann in verschiedenen Ausführungsformen variieren. Hindernis 144c und Hindernis 144d befinden sich zwischen den Außenlinien 138a-b. Hindernis 144c ist allerdings über den Abstandsschwellenwert 146 hinaus von den Reifenlinien 140a-b entfernt, während Hindernis 144d die linke Reifenlinie 140a kreuzt. Das Hindernis 144c wird somit mithilfe des dritten Stils dargestellt, was darauf hinweist, dass in Bezug auf dieses Hindernis erhöhte Vorsicht geboten ist, da es sich auf dem Weg des Arbeitsfahrzeugs 100 befindet. Es wird nicht im zweiten Stil dargestellt, da seine geringere Höhe bedeuten kann, dass es das Arbeitsfahrzeug 100 nicht stört, sondern dieses möglicherweise berührungslos darüber fahren kann. Obwohl das Hindernis 144d genauso groß ist wie das Hindernis 144c, wird projiziert, dass es den Weg des linken Vorderreifens 104a kreuzt. Deshalb wird es mit dem zweiten Stil dargestellt, also angezeigt, dass es dem Arbeitsfahrzeug 100 im Weg ist.
6 stellt ein Steuersystem 200 dar, das über die Steuerung 126 ausgeführt werden kann, um die dynamisch erweiterte Vogelperspektive 128 bereitzustellen. In alternativen Ausführungsformen könnte das Steuersystem 200 über eine Steuerung ausgeführt werden, die sich außerhalb des Arbeitsfahrzeugs 100 befindet, oder die dynamisch erweiterte Vogelperspektive 128 könnte an eine Anzeige gesendet werden, die sich außerhalb des Arbeitsfahrzeugs 100 befindet (z. B. PC-Bildschirm, Smartphone oder Tablet).
Das Steuersystem 200 verfügt über vier Module, die in dieser Ausführung in Reihe geschalten sind, in anderen Ausführungen jedoch parallel ausgeführt werden können. Das Modul 210 dient zum Erzeugen der Vogelperspektive, das Modul 220 zur Fahrzeugdarstellung, das Modul 230 zur Wegprojektion und das Modul 240 zur Hindernisdarstellung.
In Modul 210 empfängt die Steuerung 126 in Schritt 212 Bilder von den Kameras 110a-d. Jede der Kameras 110a-d sendet ein Bild ihres Sichtfelds mit einer Aktualisierungsrate, z. B. 30 Bilder pro Sekunde, die als 30 Frames pro Sekunde bezeichnet werden können, an die Steuerung 126. In Schritt 214 werden die Bilder aller Kameras 110a-d in gut bekannten Verfahren zu einer Vogelperspektive zusammengefügt. Zum Beispiel können die Bilder kombiniert werden, sodass das Bild von jeder der Kameras 1 10a-d in der Vogelperspektive in der gleichen relativen Position zu den anderen Bildern wie die relative Position der Kameras 110a-d zueinander auf dem Arbeitsfahrzeug 100 positioniert wird. Dann kann dort, wo sich die Bilder überlappen, eine Verbindungslinie gebildet werden, sodass die Bilder also jeweils nur bis zu dieser Linie sichtbar sind und dann wird ein anderes Bild nach der Verbindungslinie gezeigt. Diese Technik ermöglicht es, in Bereichen, in denen die Bilder überlappen, nur ein Bild zu zeigen und das andere in diesem Bereich zu unterdrücken, um eine einheitliche Ansicht zu erzeugen.
In Modul 220 empfängt die Steuerung 126 in Schritt 222 das Positionssignal vom Positionssensorsystem 124. Das Positionssignal kann je nach Ausführungsform variieren, in diesem Fall entspricht es aber einem Datenwert, der den Winkel des beweglichen Elements 120 in Grad angibt. Zum Beispiel kann ein Datenwert von 128 eine 180 Grad-Position anzeigen, die einer eingefahrenen Position des beweglichen Elements 120, das gerade nach hinten zeigt (entgegen der Richtung V), entspricht, wie in 2 und 4. gezeigt. In einem anderen Beispiel kann ein Datenwert von 181 einen 255 Grad-Winkel anzeigen, der einer Entladeposition des beweglichen Elements 120, das nach links und nach hinten zeigt, entspricht, wie in 3 und 5 gezeigt. Das Positionssignal kann in anderen Ausführungsformen variieren, zum Beispiel komplexer sein, um ein komplexeres bewegliches Element umfassend zu beschreiben. Zum Beispiel kann ein Datenwert von (56, 72, 12) die Längen der drei Hydraulikzylinder angeben, die in Verbindung mit einem kinematischen Modell verwendet werden können, um die Position eines Baggergestänges und einer Schaufel zu beschreiben.
In Schritt 224 kann die Steuerung 126 das Fahrzeugmodell für das Arbeitsfahrzeug 100 abrufen. Dieses Modell kann als für die Steuerung 126 zugänglich gespeichert werden und eine einfache, zur ungefähren Darstellung des Arbeitsfahrzeugs 100 aus der Draufsicht verwendete Bilddatei sein. Wenn das Steuersystem 200 eine Schleife ausgeführt hat, kann Schritt 224 überflüssig sein, da das Fahrzeugmodell möglicherweise bereits in einer vorigen Schleife abgerufen wurde und noch ohne Weiteres verwendet werden kann. In Schritt 226 kann das bewegliche Element 120 mithilfe des Positionssignals im Fahrzeugmodell platziert werden. In dieser Ausführungsform nähert sich das in Schritt 224 abgerufene Fahrzeugmodell dem Arbeitsfahrzeug 100 mit Ausnahme des beweglichen Elements 120 visuell an. In Schritt 226 wird außerdem eine visuelle Annäherung des beweglichen Elements 120 hinzugefügt. In Schritt 226 wird das erste Ende der visuellen Annäherung des beweglichen Elements 120 auf den Punkt platziert, an dem der Drehpunkt des beweglichen Elements 120 im Fahrzeugmodell erscheint. Dann wird die visuelle Annäherung des beweglichen Elements 120 basierend auf der vom Positionssignal in Schritt 222 angegebenen Position um diesen Punkt gedreht.
In Schritt 228 wird die visuelle Annäherung des beweglichen Elements 120 über die visuelle Annäherung des Arbeitsfahrzeugs 100 gelegt, damit die Kombination die gerenderte Fahrzeugdarstellung erzeugt. In alternativen Ausführungsformen kann die visuelle Annäherung des beweglichen Elements 120 entsprechend positioniert und die gerenderte Fahrzeugdarstellung mit anderen Techniken wie Animation oder gängigen CAD-Techniken durchgeführt werden.
In Modul 230 empfängt die Steuerung 126 in Schritt 232 das Lenkwinkelsignal vom Lenkwinkelsensorsystem 105. Ähnlich wie das Positionssignal kann auch das Lenkwinkelsignal je nach Ausführungsform variieren. In dieser Ausführungsform entspricht es aber dem Datenwert, der den Lenkwinkel des Arbeitsfahrzeugs 100 in Grad angibt. Beispielsweise kann ein Datenwert von 128 einen Lenkwinkel von 0 Grad (Arbeitsfahrzeug geradeaus), während ein Datenwert von 96 einen Lenkwinkel von -9 Grad (neun Grad nach links) und ein Datenwert von 160 einen Lenkwinkel von +9 Grad (neun Grad nach rechts) angibt. In Schritt 234 kann die Steuerung 126 das Positionssignal vom Positionssensorsystem 124 empfangen. Es ist zu beachten, dass Schritt 234 übersprungen werden kann, wenn die Stellung des beweglichen Elements 120 bereits aus Schritt 222 bestimmt wurde und der Wert der Steuerung 126 in Modul 230 weiterhin zur Verfügung steht.
In Schritt 236 wird das Positionssignal von der Steuerung 126 verwendet, um den Punkt ganz links 136a bzw. ganz rechts 136b zu bestimmen. In dieser Ausführungsform kann das bewegliche Element 120 nicht zur rechten Seite des Arbeitsfahrzeugs 100 geschwenkt werden, sodass der äußerste rechte Punkt 136b dem äußersten rechten Punkt des am Arbeitsfahrzeug 100 angebrachten Vorsatzes statistisch zugeordnet werden kann. Die Steuerung 126 kann auf den gespeicherten Wert zugreifen und den Punkt (3, 1,5) m oder 3 m rechts vom Mittelpunkt 136c des Arbeitsfahrzeugs 100 und 1,5 m vor diesem verorten. Im Gegensatz dazu kann das bewegliche Element 120 am Arbeitsfahrzeug 100 so weit nach links bewegt werden, dass das bewegliche Element 120 sich weiter links befindet als der äußerste linke Punkt des Vorsatzes. Für diese Ausführungsform berechnet die Steuerung 126 den am weitesten links liegenden Punkt des beweglichen Elements 120 und vergleicht ihn mit dem bekannten am weitesten links liegenden Punkt des Vorsatzes, der in dieser Ausführungsform statisch ist und daher keine weitere Berechnung erfordert. Die Steuerung 126 berechnet den am weitesten links liegenden Punkt des beweglichen Elements 120, indem sie auf die Position des Drehpunkts (-1, -3) des beweglichen Elements 120 und dann auf seine Länge (3) m zugreift und diese mit dem Sinus und Kosinus des Winkels des beweglichen Elements 120 (z. B. Sinus 255 Grad) multipliziert und zum Drehpunkt addiert. Daraus ergibt sich für den Punkt 138a ganz links ungefähr (-3,9, -3,3) m. Dieser Wert wird dann mit dem äußersten linken Punkt des Vorsatzes verglichen, auf den die Steuerung 126 im Speicher zugreift und feststellt, dass er (-3, 1,5) m beträgt. Daraus ergibt sich, dass das Ende des beweglichen Elements 120 bei (-3,9, -3,3) m der am weitesten links liegende Punkt 136a des Arbeitsfahrzeugs 100 ist.
In Schritt 236 wird das Lenkwinkelsignal von der Steuerung 126 verwendet, um den Punkt ganz links 136a bzw. ganz rechts 136b zu bestimmen und die gerenderte Wegprojektion 134 zu erzeugen. In dieser Ausführungsform legt die Steuerung 126 Anfangspunkte für fünf Linien fest. Die Anfangspunkte der Außenlinie sind die in Schritt 236 festgestellten Punkte ganz links138a (-3,9, -3,3) bzw. ganz rechts 138b (3, 1,5). Der Anfangspunkt der Mittellinie ist der Mittelpunkt 136c (0,0). Die Anfangspunkte der Reifenlinie werden auf einen von der Steuerung 126 aus dem Speicher erfassten, mit den Reifen 104a und 104b verbundenen Punkt festgelegt, zum Beispiel die Aufstandsfläche jedes Reifens (-1,1, -0,5) (1,1, -0,5). Mit diesen Ausgangspunkten können fünf verschiedene Linien gezogen werden. Die linke Außenlinie 138a und die rechte Außenlinie 138b können in einem ersten Stil, zum Beispiel mit einer dicken Strich-Punkt-Punkt-Linie gezeichnet werden, wie in 2-5 gezeigt. Die linke Reifenlinie 140a und die rechte Reifenlinie 140b können in einem zweiten Stil, zum Beispiel mit einer mittleren gestrichelten Linie gezeichnet werden, wie in 2-5 gezeigt. Die Mittellinie 138c kann in einem dritten Stil, zum Beispiel mit einer dünnen gestrichelten Linie gezeichnet werden, wie in 2-5 gezeigt. Während in dieser Ausführungsform diese drei Stile verwendet wurden, können andere Ausführungsformen durch die Variation von Liniengewichtung, -muster und/oder - farbe usw. andere Stile verwenden.
Die fünf Linien können gerade gezeichnet sein, wenn beispielsweise der Lenkwinkel des Arbeitsfahrzeugs 0 Grad beträgt oder unbekannt ist, oder bei Ausführungsformen mit vereinfachter Projektion. Bei bekanntem Lenkwinkel können die fünf Linien angepasst oder Kurven berücksichtigt und anhand des Lenkwinkels genauere Projektionen des Weges erstellt werden. Der Lenkwinkel kann verwendet werden, um diese Kurven mit einer Reihe verschiedener Techniken anzupassen, aber in dieser Ausführungsform wird mithilfe des Lenkwinkels ein Drehkreismittelpunkt und basierend darauf der Radius jeder Linie berechnet. Der Lenkwinkel ist eine Eingabe in einer Nachschlagetabelle, die durch Berechnungen unter Verwendung der Fahrzeuggeometrie oder empirischer Daten erzeugt werden kann und die Position des Mittelpunkts des Dreh- bzw. Wendekreises für das Arbeitsfahrzeug 100 bereitstellt. Zum Beispiel kann ein Lenkwinkel von +10 Grad als Eingabe für die Nachschlagetabelle die Ausgabe (21,5, -4,5) als Position des Drehkreismittelpunktes des Arbeitsfahrzeugs generieren. Der Radius jeder Linie kann dann auf den Abstand zwischen dem Mittelpunkt des Wendekreises und dem Anfangspunkt dieser Linie festgelegt werden, z.B. die Quadratwurzel aus der Summe der Quadrate der x- und y-Abstände zwischen den beiden Punkten. Für dieses Beispiel ergeben sich daraus folgende Radien für die linke Außenlinie 138a, die rechte Außenlinie 138b, die Mittellinie 138c, die linke Reifenlinie 140a, und die rechte Reifenlinie 140b: 25,4, 19,4, 22, 23 bzw. 21 m. Wenn die Anfangspunkte und Radien für jede Linie bestimmt worden sind, kann die Steuerung 126 alle fünf Linien für das Rendern der Wegprojektion 134 in Schritt 238 erzeugen.
In Modul 240 empfängt die Steuerung 126 in Schritt 242 das Hindernissignal vom Hindernissensorsystem 114. In dieser Ausführungsform umfasst das Hindernissignal eine Position, eine Breite und eine Höhe des Hindernisses, z. B. (-4,2, 10,5, 0,8, 0,5) für das Hindernis 144a, (-2,5, 12, 0,8, 0,5) für das Hindernis 144b, (0,5, 12, 0,4, 0,2) für das Hindernis 144c und (3,3, 12,5, 0,4, 0,2) für das Hindernis 144d. Die Breite und Höhe des Hindernisses können mithilfe von für die jeweilige Erfassungsart (Stereo-Vision, Radar, Lidar) bekannten Verfahren geschätzt werden. In alternativen Ausführungsformen kann das Hindernissignal unterschiedlich ausfallen.
In Schritt 244 bestimmt die Steuerung 126 mithilfe des Lenkwinkelsignals und des Positionssignals (die verwendet werden, um die fünf Linien zu erzeugen, welche die Wegprojektion 134 bilden) den Darstellungsstil für jedes über das Hindernissignal kommunizierte Hindernis. Wenn sich das gesamte Hindernis außerhalb der Außenlinie 138ab befindet, was durch Vergleichen des Hindernissignals für dieses Hindernis mit den in Schritt 238 erzeugten Außenlinien 138a-b bestimmt werden kann, dann wird das Hindernis im ersten Stil dargestellt. Wenn sich das Hindernis außerhalb der Außenlinien 138a-b aber innerhalb des Abstandsschwellenwerts 146 der Außenlinien 138a-b befindet, kann es im ersten Stil (wenn kein Abstandsschwellenwert verwendet wird), im zweiten Stil (wenn etwas innerhalb des Abstandsschwellenwerts als störend markiert werden soll) oder im dritten Stil (wenn dargestellt werden soll, dass sich Objekte innerhalb des Abstandsschwellenwerts befinden, die den Weg nicht kreuzen aber möglicherweise trotzdem erhöhte Vorsicht erfordern) dargestellt werden. In dieser Ausführungsform werden Hindernisse, die sich innerhalb des Abstandsschwellenwertes 146 befinden, aber nicht den Weg des Arbeitsfahrzeugs 100 kreuzen, in einem dritten Stil markiert. Siehe dazu Hindernis 144b in 4 gegenüber Hindernis 144b in 5, welches im zweiten Stil markiert wurde, da es die linke Außenlinie 138a kreuzt, wenn das bewegliche Element 120 in eine Entladeposition bewegt wird.
Hindernisse unterhalb des Höhenschwellenwerts, wie etwa Hindernisse 144c-d, können im dritten Stil markiert werden, da unklar ist, ob das Arbeitsfahrzeug 100 problemlos übersie hinweg fahren kann und ob sie möglicherweise erhöhte Aufmerksamkeit erfordern. Wenn jedoch ein solches Hindernis eine Reifenlinie des Arbeitsfahrzeugs kreuzt, wie es bei Hindernis 144d der Fall ist, dann kann das Hindernis in dem zweiten Stil markiert werden, wenn eine mögliche Störung für das Arbeitsfahrzeug 100 durch Kreuzung des Reifens 104a projiziert wird.
Nachdem jedem durch das Hindernissignal kommunizierten Hindernis in Schritt 244 ein Darstellungsstil zugeordnet wurde, fährt die Steuerung 126 mit Schritt 246 fort und erzeugt die gerenderte Hindernisdarstellung 142. Die Steuerung 126 generiert mithilfe der im Hindernissignal enthaltenen Breite und der im Positionssignal enthaltenen Position eine Darstellung für jedes Hindernis, in dieser Ausführungsform als Begrenzungsrechteck oder - kreis im jeweiligen Stil.
Die Steuerung 126 geht zu Schritt 250 über, wo sie die dynamisch erweiterte Vogelperspektive 128 mithilfe des Bildes der Bodenfläche 130, der gerenderten Fahrzeugdarstellung 132, der gerenderten Wegprojektion 134 und der gerenderten Hindernisdarstellung 142 erzeugt. Dieser Schritt kann auf mehrere verschiedene Arten durchgeführt werden, aber in dieser Ausführungsform wird jedes der vier Elemente unter Verwendung des gleichen Koordinatensystems erstellt, sodass sie zu diesem Zeitpunkt übereinander gelegt werden können. Zunächst wird die Wegprojektion 134 über das Bild der Bodenfläche 130 gelegt, sodass die Projektion 134 in jedem Bereich gezeigt wird, in dem sowohl das Bodenflächenbild 130 als auch die gerenderte Wegprojektion 134 Inhalt aufweisen. Daraufhin wird die Hindernisdarstellung 142 über die gerenderte Wegprojektion 134 und das Bild der Bodenfläche 130 gelegt. Zum Schluss wird die gerenderte Fahrzeugdarstellung 132 über die Hindernisprojektion 142, die gerenderte Wegprojektion 134 und das Bild der Bodenfläche 130 gelegt. Daraus ergibt sich eine Prioritätenreihenfolge. Wenn mehr als ein Bild oder Rendering in der dynamisch erweiterten Vogelperspektive 128 erscheint, wird nur das Bild oder das Rendering mit der höchsten Priorität gezeigt. Die Reihenfolge (höchste bis niedrigste Priorität) geht von der gerenderten Fahrzeugdarstellung 132 zur gerenderten Hindernisdarstellung 142 und der gerenderten Wegprojektion 134 bis zum Bild der Bodenfläche 130.
In weiteren Ausführungsformen kann die Priorität der Overlays für die verschiedenen Bilder und Renderings variieren. Ferner kann auch das Verfahren für das Übereinanderlegen variieren, von der einfachen Prioritätenreihenfolge in dieser Ausführungsform, in der nur ein Bild oder eine Ansicht in bestimmten Bereichen gezeigt wird, in denen mehrere vorhanden sind, bis hin zu hybriden Ansätzen, bei denen in Bereichen mit mehreren Bildern und Renderings diese kombiniert werden können. Bei bestimmten Anwendungen kann die Kombination der Bilder und Renderings wünschenswert sein. Zum Beispiel kann es wünschenswert sein, die Bodenfläche 130 in Bereichen in einer Funktion darzustellen, wenn sie sich mit der gerenderten Fahrzeugdarstellung 132 überlappt, damit der Bediener sehen kann, was sich unter dem Arbeitsfahrzeug 100 befindet.
In Schritt 252 sendet die Steuerung 126 die dynamisch erweiterte Vogelperspektive 128 an die Anzeige 108, wo der Bediener des Arbeitsfahrzeugs 100 sie sehen kann. Die dynamisch erweiterte Vogelperspektive 128 wird in dieser Ausführungsform im Arbeitsfahrzeug 100 erzeugt und angezeigt, kann in alternativen Ausführungen aber außerhalb des Fahrzeugs generiert und/oder angesehen werden. Als eine beispielhafte alternative Ausführungsform könnten die Bilder der Kameras 110a-d, sowie Positionssignal, Lenkwinkelsignal und Hindernissignal an einen außerhalb des Arbeitsfahrzeugs befindlichen Server übertragen und dort verarbeitet werden, um die Bilder und Renderings zu erstellen, die für die dynamisch erweiterte Vogelperspektive 128 verwendet werden, die dann an ein Tablet übertragen wird, das von einem Betriebs- oder Standortmanager genutzt wird, um die Umgebung und den Status des Arbeitsfahrzeugs 100 zu visualisieren. Nach Schritt 252 beginnt die Steuerung 126 erneut mit dem ersten Schritt 212, um den Prozess zu wiederholen.
Das Steuersystem 200 wird als Flussdiagramm in 6 dargestellt. Die Offenbarung ist aber auf die gezeigten Schritte und die Reihenfolge der Schritte nicht beschränkt und Durchschnittsfachleute auf dem Gebiet können viele der Schritt in anderer Reihenfolge durchführen, sie kombinieren oder aufteilen und das gleiche Ergebnis erhalten.
Im hier verwendeten Sinne bedeutet „verwenden“ oder „basierend auf“ „zumindest teilweise verwenden“ oder „zumindest teilweise basierend auf“ und nicht „ausschließlich verwenden“ oder „ausschließlich basierend auf“, sodass zusätzliche Faktoren weder ausgeschlossen werden, noch erforderlich sind. Das Bestimmen einer Ausgabe „mithilfe von“ oder „basierend auf“ einer Eingabe bedeutet weder, dass die Eingabe der einzige Faktor ist, der verwendet wird, um die Ausgabe zu bestimmen, noch dass die Ausgabe in jeder Situation durch die Eingabe gesteuert wird. Zum Beispiel wird der äußerste linke Punkt 136a mit dem Positionssignal in der in 2-6 dargestellten und beschriebenen Ausführungsform bestimmt, auch in einer Situation, in der der Punkt ganz links 136a sich nicht ändert, während das Positionssignal anzeigt, dass das bewegliche Element 120 von 180 auf 220 Grad bewegt wurde. In dem Fall wurde das Positionssignal trotzdem verwendet, um zu bestimmen, dass der Punkt ganz links 136a sich nicht auf dem beweglichen Element 120 befinden würde.
Ohne den Umfang, die Auslegung oder die Anwendung der nachstehend aufgeführten Ansprüche in irgendeiner Weise einzuschränken, stellt eine technische Folge einer oder mehrerer der hierin offenbarten exemplarischen Ausführungsformen die Erzeugung der Vogelperspektive eines Arbeitsfahrzeugs dar, die mit einer Fahrzeugdarstellung, einer Wegprojektion und einer Hindernisdarstellung auf der Basis der jeweiligen Signale der Sensorsysteme des Arbeitsfahrzeugs dynamisch erweitert wird. Dazu gehört ein dynamisches Zusammenspiel der Darstellungen, beispielsweise wenn eine sich ändernde Fahrzeugdarstellung (Ausfahren eines beweglichen Elements) eine Änderung der Wegprojektion (eine längere Außenlinie) bewirkt, was wiederum eine Änderung der Hindernisdarstellung erforderlich macht (Hindernisse, die sich außerhalb des Fahrzeugwegs befanden und nun den neuen, breiteren Weg des Fahrzeugs kreuzen). Eine weitere technische Wirkung von einer oder mehreren der hierin offenbarten beispielhaften Ausführungsformen besteht darin, dass durch die dynamische Änderung der Fahrzeugdarstellung, um die Positionen von beweglichen Elementen widerzuspiegeln, ein Betrachter den Status des Fahrzeugs und seiner Umgebung auf einen Blick erfassen kann.
Wie hierin verwendet, wird „z. B.“ verwendet, um Beispiele nicht einschränkend auflisten zu müssen, und dies hat die gleiche Bedeutung wie andere illustrative Formulierungen, wie z. B. „einschließlich“, „einschließlich, aber nicht beschränkt auf“ und „einschließlich ohne Einschränkung“. Wie hierin verwendet, soweit nicht anderweitig eingeschränkt oder geändert, bezeichnen Listen mit Elementen, die durch konjunktive Ausdrücke (z. B. „und“) getrennt sind und denen auch der Ausdruck „eine oder mehrere von“ oder „mindestens eine von“ vorangestellt ist, Konfigurationen oder Anordnungen, die möglicherweise einzelne Elemente der Liste oder eine Kombination daraus umfassen. Zum Beispiel weisen „mindestens eines von A, B und C“ und „eines oder mehrere von A, B und C“ jeweils auf die Möglichkeit hin, dass nur A, nur B, nur C oder eine Kombination von zwei oder mehr von A, B und C (A und B; A und C; B und C; B und C; oder A, B und C) möglich ist. Wie hierin verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen beinhalten, sofern der Kontext nicht eindeutig etwas anderes anzeigt. Darüber hinaus sind „umfasst“, „beinhaltet“ und ähnliche Formulierungen dazu bestimmt, das Vorhandensein bestimmter Merkmale, Schritte, Operationen, Elemente und/oder Komponenten anzugeben, schließen aber nicht das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon aus.
Während die vorliegende Offenbarung in den Zeichnungen und der vorstehenden Beschreibung ausführlich veranschaulicht und beschrieben wurde, hat diese Veranschaulichung und Beschreibung keinen einschränkenden Charakter, wobei davon ausgegangen wird, dass die veranschaulichende(n) Ausführungsform(en) gezeigt und beschrieben wurden und dass alle Änderungen und Modifikationen, die im Sinne der vorliegenden Offenbarung sind, geschützt werden sollen. Alternative Ausführungsformen der vorliegenden Offenbarung enthalten möglicherweise nicht alle der beschriebenen Merkmale, können aber dennoch zumindest einige der Vorteile dieser Merkmale nutzen. Durchschnittsfachleute können ihre eigenen Implementierungen entwickeln, die eines oder mehrere der Merkmale der vorliegenden Offenbarung beinhalten und in den Schutzbereich der vorliegenden Erfindung fallen, wie er durch die beigefügten Ansprüche definiert ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7734417 [0022]
US 8190364 [0029]

Claims

Fahrzeug mit einer dynamisch erweiterten Vogelperspektive, das Folgendes umfasst: ein am Fahrzeug angebrachtes, bewegliches Element; ein Positionssensorsystem, das konfiguriert ist, um ein Positionssignal vorzusehen, das eine Position des beweglichen Elements anzeigt; ein Kamerasystem in Vogelperspektive, in dessen Sichtfeld die an das Fahrzeug angrenzende Bodenfläche liegt und das konfiguriert ist, um Bilder seines Sichtfelds bereitzustellen; eine Anzeige; und eine Steuerung, die mit dem Positionssensorsystem, den Kameras und der Anzeige in Verbindung steht und konfiguriert ist, um: das Positionssignal vom Positionssensorsystem zu empfangen; die Bilder vom Kamerasystem in Vogelperspektive zu erhalten; eine gerenderte Fahrzeugdarstellung zu erzeugen, die das bewegliche Element umfasst, dessen Position sich mithilfe des Positionssignals ergibt; eine gerenderte Wegprojektion zu erzeugen, die eine Außenlinie beinhaltet, die den projizierten Weg des äußersten Punktes des Fahrzeugs darstellt, der mit dem Positionssignal bestimmt wird; die dynamisch erweiterte Vogelperspektive mithilfe der Bilder, der gerenderten Fahrzeugdarstellung und der gerenderten Wegprojektion zu generieren; und die dynamisch erweiterte Vogelperspektive auf dem Display anzuzeigen.
Fahrzeug nach Anspruch 1, ferner umfassend: ein Lenkwinkelsensorsystem, das konfiguriert ist, um ein den Lenkwinkel des Fahrzeugs anzeigendes Signal auszugeben; wobei die Steuerung mit dem Lenkwinkelsensorsystem kommuniziert und ferner konfiguriert ist, um: das Lenkwinkelsignal vom Lenkwinkelsensorsystem zu empfangen und mithilfe des Lenkwinkelsignals die Außenlinie anzupassen.
Fahrzeug nach Anspruch 1, ferner umfassend: ein Fahrzeugleitsystem, das konfiguriert ist, um die Lenkung des Fahrzeugs automatisch zu steuern und ein Signal für den geplanten Weg abzugeben; wobei die Steuerung mit dem Fahrzeugleitsystem kommuniziert und ferner konfiguriert ist, um: das Signal für den geplanten Weg vom Fahrzeugleitsystem zu empfangen; und mithilfe des Signals für den geplanten Weg die Außenlinie anzupassen.
Fahrzeug nach Anspruch 1, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um ein Hindernissignal bereitzustellen, das zumindest eine Position eines Hindernisses im Bereich um das Fahrzeug angibt; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; eine gerenderte Hindernisdarstellung zu erzeugen, bei der das Hindernis mithilfe des Hindernissignals gerendert wird; und die dynamisch erweiterte Vogelperspektive mithilfe der Bilder, gerenderter Fahrzeugdarstellung, gerenderter Wegprojektion und gerenderter Hindernisdarstellung zu generieren.
Fahrzeug nach Anspruch 4, wobei das Kamerasystem in Vogelperspektive aus mehreren Kameras besteht und das Hindernissensorsystem Hindernisse mithilfe der Verarbeitung von Bildern von mindestens zwei Kameras mit Stereo-Visionstechniken identifiziert.
Fahrzeug nach Anspruch 4, wobei das Hindernissensorsystem wenigstens eine Radareinheit umfasst und Hindernisse mithilfe eines Signals von mindestens einer Radareinheit identifiziert.
Fahrzeug nach Anspruch 4, wobei das Hindernissensorsystem wenigstens eine Lidareinheit umfasst und Hindernisse mithilfe eines Signals von mindestens einer Lidareinheit identifiziert.
Fahrzeug nach Anspruch 4, wobei: die Außenlinie eine linke Außenlinie ist; die gerenderte Wegprojektion die linke Außenlinie umfasst, die den projizierten Weg des äußersten linken Punktes des Fahrzeugs repräsentiert, und eine rechte Außenlinie, die den projizierten Weg des äußersten rechten Punktes des Fahrzeugs darstellt und mindestens eine der beiden Außenlinien mithilfe des Positionssignals bestimmt wird; die gerenderte Hindernisdarstellung das Hindernis in einem ersten Stil abbildet, wenn sich das Hindernis außerhalb der linken und rechten Außenlinie befindet; und die gerenderte Hindernisdarstellung das Hindernis in einem vom ersten abweichenden zweiten Stil abbildet, wenn es sich zwischen der linken und rechten Außenlinien befindet.
Fahrzeug nach Anspruch 4, wobei: die Außenlinie eine linke Außenlinie ist; die gerenderte Wegprojektion die linke Außenlinie umfasst, die den projizierten Weg des äußersten linken Punktes des Fahrzeugs repräsentiert, und eine rechte Außenlinie, die den projizierten Weg des äußersten rechten Punktes des Fahrzeugs darstellt und mindestens eine der beiden Außenlinien mithilfe des Positionssignals bestimmt wird; das Hindernissignal ferner eine Höhe des Hindernisses angibt; die gerenderte Hindernisdarstellung das Hindernis in einem ersten Stil abbildet, wenn es sich außerhalb der linken und rechten Außenlinien befindet; die gerenderte Hindernisdarstellung das Hindernis in einem vom ersten abweichenden zweiten Stil abbildet, wenn es sich innerhalb der linken und rechten Außenlinien befindet und seine Höhe einen Höhenschwellenwert überschreitet; und die gerenderte Hindernisdarstellung das Hindernis in einem vom ersten und zweiten abweichenden dritten Stil abbildet, wenn es sich innerhalb der linken und rechten Außenlinien befindet und seine Höhe nicht höher als der Höhenschwellenwert ist.
Fahrzeug nach Anspruch 2, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um ein Hindernissignal bereitzustellen, das zumindest eine Position eines Hindernisses im Bereich um das Fahrzeug angibt; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; eine gerenderte Hindernisdarstellung zu erzeugen, bei der das Hindernis mithilfe des Hindernissignals gerendert wird; und die dynamisch erweiterte Vogelperspektive mithilfe der Bilder, gerenderter Fahrzeugdarstellung, gerenderter Wegprojektion und gerenderter Hindernisdarstellung zu generieren.
Fahrzeug nach Anspruch 10, wobei: die Außenlinie eine linke Außenlinie ist; die gerenderte Wegprojektion die linke Außenlinie beinhaltet, die den projizierten Weg des äußersten linken Punktes des Fahrzeugs repräsentiert, und eine rechte Außenlinie, die den projizierten Weg des äußersten rechten Punktes des Fahrzeugs umfasst, mindestens eine der beiden Außenlinien mit dem Positionssignal bestimmt wird und die Steuerung ferner konfiguriert ist, um die rechte Außenlinie mithilfe des Lenkwinkelsignals anzupassen; die gerenderte Hindernisdarstellung das Hindernis in einem ersten Stil abbildet, wenn sich das Hindernis außerhalb der linken und rechten Außenlinie befindet; und die gerenderte Hindernisdarstellung das Hindernis in einem vom ersten abweichenden zweiten Stil abbildet, wenn es sich zwischen der linken und rechten Außenlinien befindet.
Fahrzeug mit einer dynamisch erweiterten Vogelperspektive, das Folgendes umfasst: ein am Fahrzeug angebrachtes, bewegliches Element; ein Positionssensorsystem, das konfiguriert ist, um ein Positionssignal vorzusehen, das eine Position des beweglichen Elements anzeigt; ein Lenkwinkelsensorsystem, das konfiguriert ist, um ein den Lenkwinkel des Fahrzeugs anzeigendes Signal auszugeben; mehrere Kameras, in deren Sichtfeld die das Fahrzeug umgebende Bodenfläche liegt und die konfiguriert sind, um Bilder ihres jeweiligen Sichtfelds bereitzustellen; eine Anzeige; und eine Steuerung, die mit dem Positionssensorsystem, dem Lenkwinkelsensorsystem, den Kameras und der Anzeige in Verbindung steht und die konfiguriert ist, um: das Positionssignal vom Positionssensorsystem zu empfangen; das Lenkwinkelsignal vom Lenkwinkelsensorsystem zu empfangen; die Bilder der Kameras zu empfangen; eine gerenderte Fahrzeugdarstellung zu erzeugen, die das bewegliche Element umfasst, dessen Position sich mithilfe des Positionssignals ergibt; eine gerenderte Wegprojektion zu erzeugen, die eine linke Außenlinie umfasst, die den projizierten Weg des äußersten linken Punktes des Fahrzeugs repräsentiert, sowie eine rechte Außenlinie, die den projizierten Weg des äußersten rechten Punktes des Fahrzeugs umfasst, wobei der Lenkwinkelsensor verwendet und mindestens eine der beiden Außenlinien mit dem Positionssignal bestimmt wird; die dynamisch erweiterte Vogelperspektive durch Kombination der Bilder, Fahrzeugdarstellung und Wegprojektion zu generieren; und die dynamisch erweiterte Vogelperspektive auf dem Display anzuzeigen.
Fahrzeug nach Anspruch 12, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um die Position und Höhe eines Hindernisses im Bereich um das Fahrzeug zu signalisieren; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; eine Hindernisdarstellung zu erzeugen, wobei das Hindernis mithilfe des Hindernissignals in der gerenderten Hindernisdarstellung positioniert und in einem ersten Stil abgebildet wird, wenn es sich außerhalb der linken und rechten Außenlinie befindet, in einem vom ersten abweichenden zweiten Stil, wenn sich das Hindernis zwischen der rechten und der linken Außenlinie befindet und seine Höhe über dem Höhenschwellenwert liegt und in einem vom ersten und zweiten abweichenden dritten Stil, wenn sich das Hindernis zwischen der linken und der rechten Außenlinie befindet und seine Höhe maximal den Höhenschwellenwert erreicht; und die dynamisch erweiterte Vogelperspektive mithilfe einer Kombination der Bilder, der gerenderten Fahrzeugdarstellung, der gerenderten Wegprojektion und der gerenderten Hindernisdarstellung zu generieren.
Fahrzeug nach Anspruch 12, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um die Position und Höhe eines Hindernisses im Bereich um das Fahrzeug zu signalisieren; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; eine gerenderte Hindernisdarstellung zu erzeugen, wobei das Hindernis mithilfe des Hindernissignals in der gerenderten Hindernisdarstellung positioniert und in einem ersten Stil abgebildet wird, wenn es sich außerhalb der linken und rechten Außenlinie und außerhalb eines auf diese bezogenen Abstandsschwellenwertes befindet, in einem vom ersten abweichenden zweiten Stil abgebildet wird, wenn die Höhe des Hindernisses den Höhenschwellenwert überschreitet und (i) es sich zwischen der rechten und der linken Außenlinie oder (ii) innerhalb des Abstandsschwellenwertes der linken oder rechten Außenlinie befindet, und in einem vom ersten und zweiten abweichenden dritten Stil abgebildet wird, wenn seine Höhe maximal den Höhenschwellenwert erreicht und (i) sich zwischen der linken und der rechten Außenlinie oder (ii) innerhalb des Abstandsschwellenwertes einer der beiden Linien befindet; und die dynamisch erweiterte Vogelperspektive mithilfe einer Kombination der Bilder, der gerenderten Fahrzeugdarstellung, der gerenderten Wegprojektion und der gerenderten Hindernisdarstellung zu generieren.
Fahrzeug nach Anspruch 12, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um die Position und Höhe eines Hindernisses im Bereich um das Fahrzeug zu signalisieren; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; der Wegprojektion ferner mindestens zwei Reifenlinien, die den projizierten Weg der Fahrzeugreifen mithilfe des Lenkwinkelsignals repräsentieren, hinzuzufügen; eine gerenderte Hindernisdarstellung zu erzeugen, wobei das Hindernis mithilfe des Hindernissignals in der gerenderten Hindernisdarstellung positioniert und in einem ersten Stil abgebildet wird, wenn es sich außerhalb der linken und rechten Außenlinie befindet, in einem vom ersten abweichenden zweiten Stil abgebildet wird, wenn (i) die Höhe des Hindernisses einen Höhenschwellenwert überschreitet und es sich zwischen der rechten und der linken Außenlinie befindet oder (ii) eine der Reifenlinien kreuzt und in einem vom ersten und zweiten abweichenden dritten Stil abgebildet wird, wenn die Höhe des Hindernisses maximal den Höhenschwellenwert erreicht und es sich zwischen der linken und der rechten Außenlinie befindet, ohne eine Reifenlinie zu kreuzen; und die dynamisch erweiterte Vogelperspektive mithilfe einer Kombination der Bilder, der gerenderten Fahrzeugdarstellung, der gerenderten Wegprojektion und der gerenderten Hindernisdarstellung zu generieren.
Fahrzeug nach Anspruch 12, ferner umfassend: ein Hindernissensorsystem, das konfiguriert ist, um die Position und Höhe eines Hindernisses im Bereich um das Fahrzeug zu signalisieren; wobei die Steuerung mit dem Hindernissensorsystem kommuniziert und ferner konfiguriert ist, um: das Hindernissignal zu empfangen; der Wegprojektion ferner mindestens zwei Reifenlinien, die den projizierten Weg der Fahrzeugreifen mithilfe des Lenkwinkelsignals repräsentieren, hinzuzufügen; eine gerenderte Hindernisdarstellung zu erzeugen, wobei das Hindernis mithilfe des Hindernissignals positioniert und in einem ersten Stil abgebildet wird, wenn es sich außerhalb der linken und rechten Außenlinie und eines Abstandsschwellenwertes in Bezug auf eine der beiden Linien befindet, in einem vom ersten abweichenden zweiten Stil, wenn (i) die Höhe des Hindernisses einen Höhenschwellenwert überschreitet und es sich zwischen der rechten und der linken Außenlinie oder innerhalb des diesbezüglichen Abstandsschwellenwertes befindet oder (ii) eine der Reifenlinien kreuzt und in einem vom ersten und zweiten abweichenden dritten Stil, wenn die Höhe des Hindernisses maximal den Höhenschwellenwert erreicht und es sich zwischen der linken und der rechten Außenlinie oder innerhalb des diesbezüglichen Abstandsschwellenwertes befindet, ohne eine Reifenlinie zu kreuzen; und die dynamisch erweiterte Vogelperspektive mithilfe einer Kombination der Bilder, der gerenderten Fahrzeugdarstellung, der gerenderten Wegprojektion und der gerenderten Hindernisdarstellung zu generieren.
Verfahren zur Visualisierung eines Fahrzeugs, umfassend: Empfang der Position eines am Fahrzeug angebrachten, beweglichen Elements; Empfang von Bildern von mehreren Kameras, in deren Sichtfeld die das Fahrzeug umgebende Bodenfläche liegt; Erzeugen einer gerenderten Fahrzeugdarstellung mithilfe der empfangenen Position zur Platzierung des beweglichen Elements in der gerenderten Fahrzeugdarstellung; Erstellung einer gerenderten Wegprojektion, die eine linke Außenlinie beinhaltet, die den projizierten Weg des äußersten linken Punktes des Fahrzeugs repräsentiert, sowie eine rechte Außenlinie, die den projizierten Weg des äußersten rechten Punktes des Fahrzeugs umfasst, wobei mindestens eine der beiden Außenlinien über die Position bestimmt wird; Generierung einer dynamisch erweiterten Vogelperspektive durch Kombination der Bilder, gerenderten Fahrzeugdarstellung und gerenderten Wegprojektion; und Senden der dynamisch erweiterten Vogelperspektive an eine Anzeige.
Verfahren nach Anspruch 17, ferner umfassend: Empfang eines Lenkwinkels des Fahrzeugs; und Verwendung des empfangenen Lenkwinkels zur Erzeugung der linken und der rechten Außenlinie.
Verfahren nach Anspruch 18, ferner umfassend: Empfang einer Position eines Hindernisses im Bereich um das Fahrzeug; Erzeugung einer gerenderten Hindernisdarstellung, wobei das Hindernis mithilfe der empfangenen Hindernisposition in der gerenderten Hindernisdarstellung wiedergegeben wird; und Erzeugung der dynamisch erweiterten Vogelperspektive durch Kombination der Bilder, gerenderten Fahrzeugdarstellung, gerenderten Wegprojektion und gerenderten Hindernisdarstellung.
Verfahren nach Anspruch 19, ferner umfassend: die Abbildung des Hindernis in einem ersten Stil, wenn sich das Hindernis außerhalb der linken und rechten Außenlinie bzw. eines auf diese bezogenen Abstandsschwellenwertes befindet; und die Abbildung des Hindernis in einem vom ersten abweichenden zweiten Stil, wenn sich das Hindernis innerhalb der linken und rechten Außenlinie bzw. eines auf diese bezogenen Abstandschwellenwertes befindet.