Nothing Special   »   [go: up one dir, main page]

DE102018107196A1 - Verfahren und vorrichtung zur bereitstellung von anhängerinformationen - Google Patents

Verfahren und vorrichtung zur bereitstellung von anhängerinformationen Download PDF

Info

Publication number
DE102018107196A1
DE102018107196A1 DE102018107196.5A DE102018107196A DE102018107196A1 DE 102018107196 A1 DE102018107196 A1 DE 102018107196A1 DE 102018107196 A DE102018107196 A DE 102018107196A DE 102018107196 A1 DE102018107196 A1 DE 102018107196A1
Authority
DE
Germany
Prior art keywords
hitch
trailer
information
distance
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018107196.5A
Other languages
English (en)
Inventor
Michael Bliss
Yunfei Zhang
Xiaoming Liu jun.
Yousef Atoum
Joseph Roth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Michigan State University MSU
GM Global Technology Operations LLC
Original Assignee
Michigan State University MSU
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Michigan State University MSU, GM Global Technology Operations LLC filed Critical Michigan State University MSU
Publication of DE102018107196A1 publication Critical patent/DE102018107196A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Ein Verfahren und eine Vorrichtung zur Bereitstellung von Anhängerinformationen sind vorgesehen. Das Verfahren beinhaltet das Erfassen einer Position einer Anhängerkupplung im Bild der nach hinten gerichteten Kamera; das Erfassen einer Position der Kupplung in dem empfangenen Bild; und das Ermitteln eines Abstands zwischen der erfassten Position der Anhängerkupplung und einer Anhängevorrichtung des Fahrzeugs. Das Verfahren kann angewendet werden, um Informationen über eine Anhängerkupplung anzuzeigen oder ein Fahrzeug so zu führen, dass es eine Fahrzeuganhängevorrichtung mit einer Anhängerkupplung verbindet.

Description

  • EINLEITUNG
  • Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen beziehen sich auf das Erkennen von Anhängern und bereitstellen von Informationen bezüglich des Anhängers. Insbesondere betreffen Vorrichtungen und Verfahren in Übereinstimmung mit exemplarischen Ausführungsformen auf das Erkennen einer Anhängerkupplung und das Abschätzen von Entfernungen.
  • KURZDARSTELLUNG
  • Eine oder mehrere exemplarische Ausführungsformen sehen ein Verfahren und eine Vorrichtung vor, die eine Kupplung eines Anhängers erkennen und anhand einer Bildanalyse Informationen über die Anhängerkupplung bereitstellen. Insbesondere stellen eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung zur Verfügung, die eine Kupplung eines Anhängers erkennen, eine Position der Kupplung abschätzen, einen Abstand zwischen der Kupplung und einem Fahrzeug ermitteln und eine Führung für ein Fahrzeug zur Kupplung vorsehen.
  • Gemäß einem Aspekt einer exemplarischen Ausführungsform ist ein Verfahren zur Bereitstellung von Anhängerkupplungsinformationen vorgesehen. Das Verfahren beinhaltet: das Empfangen eines Bildes, das von einer nach hinten gerichteten Kamera aufgenommen wurde; das Identifizieren einer Anhängerkupplung im empfangenen Bild; das Erkennen einer Position der identifizierten Kupplung im empfangenen Bild; das Ermitteln eines Abstands zwischen der erkannten Position der Anhängerkupplung und einer Anhängevorrichtung des Fahrzeugs; und das Anzeigen mindestens einer der Informationen über den ermittelten Abstand, Informationen über die erkannte Position der Anhängerkupplung und Informationen, um ein Fahrzeug zur Kupplung zu führen.
  • Die Identifizierung der Kupplung kann das Erfassen von Koordinaten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zur Identifizierung einer Kupplung beinhalten, und das Erfassen der Position der Anhängerkupplung kann Folgendes beinhalten: Erzeugen von N-zufälligen Flecken; und das Testen der N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken, um die Position der Anhängerkupplung zu schätzen.
  • Die Vielzahl an neuronalen Faltungsnetzwerken kann ein erstes neuronales Faltungsnetzwerk beinhalten, das einem ersten Abstand entspricht, welcher der nach hinten gerichteten Kamera am nächsten ist, ein zweites neuronales Faltungsnetzwerk, welches einem zweiten Abstand entspricht, der weiter von der nach hinten gerichteten Kamera entfernt ist als der erste Abstand, und ein drittes neuronales Faltungsnetzwerk, welches einem dritten Abstand entspricht, der zwischen dem ersten Abstand und dem zweiten Abstand liegt.
  • Das Erfassen der Position der Anhängerkupplung im Bild kann ferner Folgendes beinhalten: das Schätzen der Konturpunkte der Kupplung im Bild; das Ermitteln einer Geometrie der Kupplung; das Ermitteln der Konturpunkte und der Geometrie basierend auf den Konturpunkten und der Geometrie, das Ermitteln einer Höhe der Kupplung.
  • Das Schätzen von Konturpunkten der Kupplung kann das Ermitteln von zweidimensionalen Koordinaten der Kanten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Erfassen einer Kontur der Kupplung beinhalten.
  • Das Verfahren kann auch das Ermitteln einer absoluten Position der Kupplung basierend auf der Höhe und den zweidimensionalen Koordinaten der Kanten der Kupplung beinhalten.
  • Das Verfahren kann ferner das Empfangen einer Benutzereingabe zum Anpassen der Position der Anhängerkupplung im Bild und basierend auf der Benutzereingabe, das Wiedererkennen der Position der Anhängerkupplung im Bild beinhalten.
  • Das Verfahren kann ferner das Steuern beinhalten, um das Fahrzeug basierend auf mindestens einer der Informationen über den ermittelten Abstand und die Informationen über die erfasste Position der Anhängerkupplung zur Kupplung zu führen.
  • Gemäß einem weiteren Aspekt einer exemplarischen Ausführungsform ist eine Vorrichtung zur Bereitstellung von Anhängerkupplungsinformationen vorgesehen. Die Vorrichtung beinhaltet: mindestens einen Speicher mit computerausführbaren Anweisungen; und mindestens einen Prozessor, der konfiguriert ist, um die computerausführbaren Anweisungen zu lesen und auszuführen. Das Verfahren beinhaltet: das Empfangen eines Bildes, das von einer nach hinten gerichteten Kamera aufgenommen wurde; das Identifizieren einer Anhängerkupplung im empfangenen Bild; das Erkennen einer Position der identifizierten Kupplung im empfangenen Bild; das Ermitteln eines Abstands zwischen der erkannten Position der Anhängerkupplung und einer Anhängevorrichtung des Fahrzeugs; und das Anzeigen mindestens einer der Informationen über den ermittelten Abstand, Informationen über die erkannte Position der Anhängerkupplung und Informationen, um ein Fahrzeug zur Kupplung zu führen.
  • Die computerausführbaren Anweisungen können bewirken, dass der mindestens eine Prozessor die Kupplung durch das Erfassen von Koordinaten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Identifizieren einer Kupplung beinhalten, und sie können auch bewirken, dass der mindestens eine Prozessor die Position der Anhängerkupplung durch das Erzeugen von N-zufälligen Flecken und Testen der N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken zum Schätzen der Position der Kupplung ermittelt.
  • Die Vielzahl an neuronalen Faltungsnetzwerken kann ein erstes neuronales Faltungsnetzwerk beinhalten, das einem ersten Abstand entspricht, welcher der nach hinten gerichteten Kamera am nächsten ist, ein zweites neuronales Faltungsnetzwerk, welches einem zweiten Abstand entspricht, der weiter von der nach hinten gerichteten Kamera entfernt ist als der erste Abstand, und ein drittes neuronales Faltungsnetzwerk, welches einem dritten Abstand entspricht, der zwischen dem ersten Abstand und dem zweiten Abstand liegt.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, die Position der Anhängerkupplung im Bild durch das Schätzen der Konturpunkte der Kupplung im Bild zu erkennen, eine Geometrie der Kupplung zu ermitteln und basierend auf den Konturpunkten und der Geometrie eine Höhe der Kupplung zu ermitteln.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, Konturpunkte der Kupplung durch das Ermitteln von zweidimensionalen Koordinaten der Kanten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Erfassen der Kontur einer Kupplung zu schätzen.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, eine absolute Position der Kupplung basierend auf der Höhe und den zweidimensionalen Koordinaten der Kanten der Kupplung zu ermitteln.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor ferner veranlassen, eine Benutzereingabe zum Anpassen der Position der Anhängerkupplung im Bild zu empfangen; und basierend auf der Benutzereingabe, die Position der Anhängerkupplung im Bild neu zu ermitteln.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, das Fahrzeug basierend auf mindestens einer der Informationen über den ermittelten Abstand und die Informationen über die erfasste Position der Anhängerkupplung zur Kupplung zu steuern.
  • Gemäß einem Aspekt einer weiteren exemplarischen Ausführungsform wird ein nichtflüchtiges computerlesbares Medium bereitgestellt, das computerausführbare Anweisungen umfasst, die durch einen Prozessor ausführbar sind. Die Computeranweisungen sind ausführbar, um ein Verfahren durchzuführen, welches das Erfassen einer Position einer Anhängerkupplung in einem Bild, das von einer nach hinten gerichteten Kamera unter Verwendung eines neuronalen Faltungsnetzwerks aufgenommen wurde, und das Ermitteln eines Abstands zwischen der erfassten Position der Anhängerkupplung und einer Fahrzeugkupplung beinhaltet.
  • Das Erfassen der Position des Anhängers kann das Erfassen von Koordinaten der Anhängerkupplung durch Verwendung des neuronalen Faltungsnetzwerks zur Identifizierung der Kupplung, das Erzeugen von N-zufälligen Flecken und das Testen der N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken zum Schätzen der Position der Kupplung beinhalten.
  • Das Verfahren kann weiterhin das Ausführen von mindestens einem der Folgenden beinhalten: Steuern des Fahrzeugs zur Kupplung basierend auf mindestens einer der Informationen über den ermittelten Abstand und der Information über die erfasste Position der Anhängerkupplung; und das Anzeigen mindestens einer der Informationen über den ermittelten Abstand, Informationen über die erfasste Position der Anhängerkupplung und Informationen, um ein Fahrzeug zur Kupplung zu führen.
  • Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
  • Figurenliste
    • 1 zeigt ein Blockdiagramm einer Vorrichtung, die gemäß einer exemplarischen Ausführungsform Anhängerinformationen bereitstellt;
    • 2 zeigt ein Flussdiagramm für ein Verfahren zum Bereitstellen von Anhängerinformationen gemäß einer exemplarischen Ausführungsform;
    • 3A zeigt ein Flussdiagramm für ein Verfahren zum Identifizieren und Erfassen einer Position einer Anhängerkupplung im Bild gemäß einem Aspekt einer exemplarischen Ausführungsform;
    • 3B zeigt ein Flussdiagramm für ein Verfahren zum Erfassen einer Position einer Anhängerkupplung im Bild gemäß einem Aspekt einer exemplarischen Ausführungsform;
    • 4 zeigt Darstellungen von Beispielen für visuelle Assistenzbilder, die einem Bediener zur Unterstützung beim Führen eines Fahrzeugs zu einem Anhänger gemäß einem Aspekt einer exemplarischen Ausführungsform angezeigt werden können; und
    • 5 zeigt Darstellungen der Anhängerkupplungserkennung und einer Bedieneranpassung an eine erfasste Position der Anhängerkupplung gemäß einem Aspekt einer exemplarischen Ausführungsform.
  • AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
  • Eine Vorrichtung und ein Verfahren, die Anhängerinformationen bereitstellen, werden nun im Detail unter Bezugnahme auf die 1 - 5 der beigefügten Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen.
  • Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten Ausführungsbeispiele lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jedes Ausführungsbeispiels normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
  • Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, „gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
  • In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
  • Fahrzeuge, wie beispielsweise LKWs, beinhalten Anhängevorrichtungen, die als Befestigungspunkte für Anhänger dienen, die von einem Fahrzeug gezogen werden können. Um einen Anhänger an ein Fahrzeug zu befestigen, muss der Fahrzeugführer das Fahrzeug in eine Position lenken, in der die Anhängevorrichtung des Fahrzeugs nahe genug am Anschlagpunkt des Anhängers ist. Das Führen eines Fahrzeugs zum Anschlagpunkt oder zur Anhängerkupplung kann sich jedoch aufgrund der eingeschränkten Sicht auf den Bereich hinter dem Fahrzeug, der dem Fahrzeugführer zur Verfügung steht, als schwierig erweisen.
  • Um das vorstehende Problem zu beheben, können Fahrzeugführer manuell versuchen, das Fahrzeug zum Anschlagpunkt des Anhängers zu führen, aus dem Fahrzeug auszusteigen und den Abstand zwischen Haken und Kupplung visuell zu überprüfen, die Position des Fahrzeugs anzupassen und den Vorgang zu wiederholen, bis die Fahrzeuganhängevorrichtung mit dem Anschlagpunkt des Anhängers verbunden werden kann. Alternativ kann eine zweite Person, die außerhalb des Fahrzeugs steht, den Fahrzeugführer zum Anschlagpunkt des Anhängers führen. Beide Ansätze können jedoch für den Fahrzeugführer unbequem sein. Daher kann ein Verfahren und eine Vorrichtung, die Anhängerinformationen unter Verwendung einer Fahrzeugkamera bereitstellen, um eine Fahrzeugführung vorzunehmen, und die einem Fahrzeugführer visuelle Unterstützung anzeigen, die vorstehend genannten Probleme lösen.
  • 1 zeigt ein Blockdiagramm einer Vorrichtung, das gemäß einer exemplarischen Ausführungsform Anhängerinformationen 100 bereitstellt. Wie in 1 dargestellt, beinhaltet die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, eine Fahrzeuglenksteuerung 105, eine Benutzereingabe 106, eine nach hinten gerichtete Kamera 107, eine Kommunikationsvorrichtung 108. Jedoch ist die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente beinhaltet und/oder ein oder mehrere der vorgenannten Elemente weglässt. Die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 kann als Teil eines Fahrzeugs, als eigenständige Komponente, als Hybrid zwischen einer Fahrzeug- und einer nicht Fahrzeugvorrichtung oder einem anderen Computergerät implementiert sein.
  • Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung zum Bereitstellen von Anhängerinformationen 100. Die Steuerung 101 kann einen oder mehrere von einem Speicher 103, einem Ausgang 104, einer Fahrzeuglenksteuerung 105, einem Benutzereingang 106, einer nach hinten gerichteten Kamera 107 und einer Kommunikationsvorrichtung 108 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
  • Die Steuerung 101 ist konfiguriert, um Informationen von einem oder mehreren des Speichers 103, des Ausgangs 104, der Fahrzeuglenksteuerung 105, der Benutzereingabe 106, der nach hinten gerichteten Kamera 107, der Kommunikationsvorrichtung 108 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 zu senden und/oder zu empfangen. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden oder können direkt von einem oder mehreren des Speichers 103, des Ausgangs 104, der Benutzereingabe 106, der nach hinten gerichteten Kamera 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
  • Das Netzteil 102 versorgt eine oder mehrere der Steuerungen 101, den Speicher 103, den Ausgang 104, die Fahrzeuglenksteuerung 105, den Benutzereingang 106, die nach hinten gerichtete Kamera 107 und die Kommunikationsvorrichtung 108 der Vorrichtung, welche die Anhängerinformationen 100 bereitstellt. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
  • Der Speicher 103 ist zum Speichern von Informationen und zum Wiedergewinnen von Informationen konfiguriert, die von der Vorrichtung zur Bereitstellung von Anhängerinformationen 100 verwendet werden. Der Speicher 103 kann von der Steuerung 101 gesteuert werden, um Informationen von der nach hinten gerichteten Kamera 107, der Kommunikationsvorrichtung 108, der Benutzereingabe 106 oder der Fahrzeuglenksteuerung 105 zu speichern und abzurufen. Die Informationen können Informationen über einen von der nach hinten gerichteten Kamera 107 erfassten Anhänger, Informationen über die Position einer Anhängerkupplung und/oder Informationen zum Führen eines Fahrzeugs zum Anhänger beinhalten. Darüber hinaus kann der Speicher Bildinformationen speichern, die von der nach hinten gerichteten Kamera 107 bereitgestellt und zur Bestimmung der Position eines Anhängers, einer Position einer Anhängerkupplung und/oder eines Anhängertyps analysiert werden. Der Speicher 103 kann auch die computerausführbaren Anweisungen beinhalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 auszuführen.
  • Der Speicher 103 kann auch eine Vielzahl an neuronalen Faltungsnetzwerken (CNNs) speichern, die ein erstes neuronales Faltungsnetzwerk beinhalten, das einem ersten Abstand entspricht, welcher der nach hinten gerichteten Kamera am nächsten ist, ein zweites neuronales Faltungsnetzwerk, welches einem zweiten Abstand entspricht, der weiter von der nach hinten gerichteten Kamera entfernt ist als der erste Abstand, und ein drittes neuronales Faltungsnetzwerk, welches einem dritten Abstand entspricht, der zwischen dem ersten Abstand und dem zweiten Abstand liegt. Gemäß einem Beispiel werden die neuronalen Faltungsnetzwerke verwendet, um die Position einer Anhängerkupplung zu identifizieren.
  • Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
  • Die Ausgabe 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Der Ausgang 104 kann über die Steuerung 101 gesteuert werden, um dem Benutzer der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 Ausgänge zu liefern. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Audioausgabevorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
  • Der Ausgang 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung usw. beinhalten. Die Benachrichtigung kann Informationen über die Position eines Anhängers, Informationen darüber, wie ein Fahrzeug an eine Anhängerkupplung herangeführt werden kann, und/oder Informationen über den Abstand zwischen einem Fahrzeug und einem Anhänger beinhalten. Darüber hinaus kann der Ausgang 104 ein Bild vom Heck eines Fahrzeugs ausgeben, die Ladefläche des Fahrzeugs, die Anhängevorrichtung des Fahrzeugs und/oder einen Anhänger zeigt, an den das Fahrzeug angekuppelt werden soll.
  • Die Fahrzeuglenksteuerung 105 kann Informationen entsprechend der Position der Anhängerkupplung und/oder Befehle zum Führen des Fahrzeugs zur Position der Anhängerkupplung empfangen. Die Fahrzeuglenksteuerung kann dann Befehle zum Führen des Fahrzeugs erteilen, um die Fahrzeuganhängevorrichtung mit der Anhängerkupplung basierend auf den Informationen, die der Position der Anhängerkupplung entsprechen, und/oder den Befehlen zum Führen des Fahrzeugs zur Position des Anhängers auszurichten.
  • Die Benutzereingabe 106 ist so konfiguriert, um Informationen und Befehle an die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 zu liefern. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einem Lenkrad, einer Maus, einem Touchpad usw. beinhalten.
  • Die Benutzereingabe 106 kann konfiguriert werden, um eine Benutzereingabe zu empfangen und damit die Benachrichtigung durch den Ausgang 104 zu bestätigen oder zu verwerfen. Die Benutzereingabe 106 kann auch konfiguriert werden, um eine Benutzereingabe zu empfangen, um einen Anhängererkennungsalgorithmus zu aktivieren, oder die Vorrichtung, die eine Kollision mit einem Gate eines Fahrzeugs 10 verhindert. So kann zum Beispiel die Einstellung zum Ein- und Ausschalten des Systems von einem Bediener über die Benutzereingabe 106 gewählt werden. Gemäß einem weiteren Beispiel kann die Benutzereingabe ein Lenkrad sein, das Informationen über den Lenkwinkel zum Ermitteln der Trajektorie eines Fahrzeugs und Führungsinformationen zum Anpassen der Trajektorie des Fahrzeugs an einen Fahrer des Fahrzeugs bereitstellt.
  • Die Benutzereingabe 106 kann auch konfiguriert sein, um eine Benutzereingabe zu empfangen, mit welcher die Position der Anhängerkupplung im Bild eingestellt werden kann. Wenn zum Beispiel ein auf dem Bildschirm angezeigter Kasten die identifizierte Position der Kupplung in einem Bild darstellt, kann ein Benutzer den Kasten bewegen, indem er eine Geste durch die Benutzereingabe oder durch Auswählen von Tasten oder anderen Eingangsvorrichtungen ausführt, um eine aktuelle Position der Kupplung auszuwählen. Die Steuerung 101 kann dann einen Algorithmus ausführen, um die Position der Anhängerkupplung im Bild basierend auf der Benutzerauswahl oder -eingabe neu zu ermitteln.
  • Die nach hinten gerichtete Kamera 107 kann einen oder mehrere Sensoren aus einer Vielzahl von Sensoren beinhalten, darunter eine Kamera, eine Infrarotkamera, ein LIDAR, eine Wärmebildkamera usw. Die nach hinten gerichtete Kamera 107 kann ein oder mehrere Bilder bereitstellen, die analysiert werden können, um eine Anhängerkupplung zu identifizieren und die Position der Anhängerkupplung zu ermitteln. Die einen oder mehreren Bilder können auch dazu verwendet werden, einen Bediener des Fahrzeugs zu einer Anhängerkupplung zu führen oder das Fahrzeug so zu steuern, dass es mit der Anhängerkupplung ausgerichtet wird.
  • Die Kommunikationsvorrichtung 108 kann von der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 verwendet werden, um mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann verwendet werden, um Informationen über einen Anhänger zu senden/empfangen, Informationen darüber, ob ein Fahrzeug-Gate geöffnet oder geschlossen ist, und/oder fahrdynamische Informationen wie Geschwindigkeit, Beschleunigung usw., Standortinformationen und/oder Informationen darüber, ob sich ein Fahrzeug in einem Einhängemodus befindet, an die Steuerung 101 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 zu senden/empfangen.
  • Das Kommunikationsgerät 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations (NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder Zigbee, beinhalten.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 kann konfiguriert werden, um ein Bild zu empfangen, das von einer nach hinten gerichteten Kamera aufgenommen wurde, um eine Anhängerkupplung im Bild der nach hinten gerichteten Kamera zu identifizieren, um eine Position der identifizierten Kupplung zu erfassen, um einen Abstand zwischen der erfassten Position der Anhängerkupplung und einer Anhängevorrichtung zu ermitteln, und um die Anzeige von mindestens einer der folgenden Informationen über den ermittelten Abstand, Informationen über die erfasste Position der Anhängerkupplung und Informationen, um ein Fahrzeug zur Kupplung zu führen, zu steuern.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 kann konfiguriert werden, um die Anhängerkupplung im Bild durch Verwendung eines neuronalen Faltungsnetzwerks zur Identifizierung einer Kupplung zu identifizieren.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen der Anhängerinformation 100 kann konfiguriert werden, um die Kupplung durch eine Analyse eines Bildes zu identifizieren, die Kupplung im analysierten Bild zu identifizieren und einen Vertrauenswert entsprechend der identifizierten Kupplung auszugeben. Das Bild kann analysiert werden, indem Flecken (z. B. Teilproben eines Bildes) basierend auf einem geschätzten Abstand zwischen einer nach hinten gerichteten Kamera und einer Kupplung erzeugt werden.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 kann auch konfiguriert werden, um die Position der Anhängerkupplung durch das Erzeugen von N-zufälligen Flecken und das Testen der N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken zum Schätzen der Position der Kupplung zu ermitteln.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen der Anhängerinformation 100 kann konfiguriert werden, um die Position der Anhängerkupplung im Bild durch das Schätzen von Konturpunkten der Kupplung im Bild unter Verwendung eines neuronalen Faltungsnetzwerks zum Schätzen der Kontur der Kupplung, das Ermitteln einer Geometrie der Kupplung und basierend auf den Konturpunkten und der Geometrie, das Ermitteln einer Höhe der Kupplung zu erfassen. Gemäß einem Beispiel kann die Höhe der Kupplung durch Extraktion geometrischer Merkmale, wie beispielsweise Abstände entlang gerader Linien und Neigungen von Linien, ermittelt werden.
  • Die Steuerung 101 kann auch dazu konfiguriert sein, Konturpunkte der Kupplung zu schätzen, indem sie zweidimensionale Koordinaten der Kanten der Kupplung ermittelt und die Position der Kupplung basierend auf der Höhe und den zweidimensionalen Koordinaten der Kanten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Erfassen einer Kontur einer Kupplung aktualisiert. Das Aktualisieren der Position der Kupplung ermittelt eine absolute Position der Kupplung, z. B. die dreidimensionale Koordinate der Kupplung, z. B. die Höhenkoordinate, die Tiefenkoordinate und die Breitenkoordinate der Kupplung. Die absolute Position der Kupplung kann eine Position in Bezug auf einen realen Ursprungspunkt sein.
  • Die Steuerung 101 der Vorrichtung zum Bereitstellen von Anhängerinformationen 100 kann konfiguriert werden, um das Fahrzeug basierend auf mindestens einer der Informationen über den ermittelten Abstand und die Informationen über die identifizierte Position der Anhängerkupplung zu steuern.
  • 2 zeigt ein Flussdiagramm für ein Verfahren zum Bereitstellen von Anhängerinformationen gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen.
  • Unter Bezugnahme auf 2 wird ein Bild, das von einer nach hinten gerichteten Kamera aufgenommen wurde, im Betrieb S210 empfangen. Die Kupplung wird im Betrieb S220 durch die Verwendung eines neuronalen Faltungsnetzwerks zur Identifizierung von Kupplungen identifiziert. Die Position der identifizierten Anhängerkupplung in dem Bild, das von der nach hinten gerichteten Kamera aufgenommen wurde, wird im Betrieb S230 erfasst. Im Betrieb S240 wird ein Abstand zwischen der erfassten Position der Anhängerkupplung und der Anhängevorrichtung des Fahrzeugs ermittelt. Anschließend können im Betrieb S250 eine oder mehrere Informationen über den ermittelten Abstand, Informationen über die erfasste Position der Anhängerkupplung oder Informationen, die das Fahrzeug zur Kupplung leiten, angezeigt werden.
  • 3A zeigt ein Flussdiagramm für ein Verfahren zum Identifizieren und Erfassen einer Position einer Anhängerkupplung in einem Bild gemäß einem Aspekt einer exemplarischen Ausführungsform. Das Verfahren von 3A kann durch die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen.
  • Unter Bezugnahme auf 3A werden die Koordinaten einer Kupplung mittels eines neuronalen Faltungsnetzwerks zum Identifizieren von Kupplungen im Betrieb S310 erfasst. Die Kupplung kann durch Analysieren eines Bildes, Identifizieren der Kupplung im analysierten Bild und Ausgeben eines Vertrauenswerts entsprechend der identifizierten Kupplung identifiziert werden. Das Bild wird analysiert, indem Flecken eines Bildes (z. B. Teilproben eines Bildes) basierend auf einem geschätzten Abstand zwischen einer nach hinten gerichteten Kamera und einer Kupplung erzeugt werden.
  • Im Betrieb S320 werden N-zufällige Flecken erzeugt. Anschließend werden in Betrieb S330 die N-zufälligen Flecken durch Verwendung der Vielzahl von neuronalen Faltungsnetzwerken getestet, um die Position der Anhängerkupplung zu schätzen. Die Vielzahl an neuronalen Faltungsnetzwerken zum Schätzen der Position kann ein oder mehrere aus einem ersten neuronalen Faltungsnetzwerk sein, das einem ersten Abstand entspricht, welcher der nach hinten gerichteten Kamera am nächsten ist, ein zweites neuronales Faltungsnetzwerk, welches einem zweiten Abstand entspricht, der weiter von der nach hinten gerichteten Kamera entfernt ist als der erste Abstand, und ein drittes neuronales Faltungsnetzwerk, welches einem dritten Abstand entspricht, der zwischen dem ersten Abstand und dem zweiten Abstand liegt.
  • 3B zeigt ein Flussdiagramm für ein Verfahren zum Erfassen einer Position einer Anhängerkupplung im Bild gemäß einem Aspekt einer exemplarischen Ausführungsform. Das Verfahren von 3B kann durch die Vorrichtung zum Bereitstellen von Anhängerinformationen 100 durchgeführt werden oder kann in ein computerlesbares Medium als Anweisungen codiert werden, die von einem Computer ausführbar sind, um das Verfahren durchzuführen.
  • Unter Bezugnahme auf 3B werden die Konturpunkte der Kupplung im Bild im Betrieb S340 unter Verwendung eines neuronalen Faltungsnetzwerks zum Schätzen der Kontur geschätzt. Die Geometrie der Kupplung wird im Betrieb S350 ermittelt. Ausgehend von der Geometrie und den Konturpunkten wird anschließend im Betrieb S360 die Höhe der Kupplung ermittelt. Gemäß einem Beispiel kann die Höhe der Kupplung durch Extraktion geometrischer Merkmale, wie beispielsweise Abstände entlang gerader Linien und Neigungen von Linien, ermittelt werden.
  • 4 zeigt Darstellungen von Beispielen für visuelle Assistenzbilder, die einem Bediener zur Unterstützung beim Führen eines Fahrzeugs zu einem Anhänger gemäß einem Aspekt einer exemplarischen Ausführungsform angezeigt werden können. Die Bilder der visuellen Unterstützung können am Ausgang 104 angezeigt werden, z. B. auf einer Anzeige, die von einem Fahrzeuginnenraum aus sichtbar ist.
  • Unter Bezugnahme auf 4 veranschaulicht ein Beispiel für eine Führungsinformation in Form eines Bildes, das die Richtung angibt, in die das Fahrzeug bewegt werden soll, um die Fahrzeuganhängevorrichtung mit der Anhängerkupplung auszurichten. zeigt ein Beispiel für Führungsinformationen in Form von Abstandsinformationen, die einen Abstand zwischen der Fahrzeuganhängevorrichtung und der Anhängerkupplung anzeigen.
  • zeigt eine exemplarische Darstellung eines Bildes, das von einer nach hinten gerichteten Kamera 107 erzeugt wurde. Das Bild zeigt einen Anhänger, eine Anhängerkupplung und einen Kasten 404, der die Position der Anhängerkupplung anzeigt. Der Kasten 404 kann von einem Fahrzeugführer über die Benutzereingabe 106 eingestellt werden, um die Position des Kastens besser an die Position der Anhängerkupplung anzupassen.
  • Darüber hinaus zeigt ein Beispiel für Führungsinformationen und Abstandsinformationen. Wie in dargestellt, kann der Abstand zwischen der Anhängerkupplung und der Anhängevorrichtung sowie der Lenkwinkel des Fahrzeugs angezeigt werden. Darüber hinaus können Anweisungen angezeigt werden, die einen Soll-Lenkwinkel und eine Richtung angeben, in der das Fahrzeug mit der Kupplung fluchten soll.
  • 5 zeigt Darstellungen der Anhängerkupplungserkennung und einer Bedieneranpassung an eine erfasste Position der Anhängerkupplung gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 5 veranschaulicht ein typisches Bild einer nach hinten gerichteten Kamera 107, das eine Anhängevorrichtung eines Fahrzeugs und eine Anhängerkupplung zeigt. zeigt ein Beispiel für ein genaues Erfassen einer Anhängerkupplung, wobei der Kasten 505 die Position der Anhängerkupplung exakt wiedergibt. zeigt ein Beispiel, wobei das Erfassen der Kupplung ungenau ist und ein Bediener den Kasten 505 an die Stelle im Bild bewegen muss, die der Position der Kupplung entspricht, wie in dargestellt. Die aktualisierte Position kann von einer Vorrichtung verwendet werden, die Informationen über den Anhänger bereitstellt, um das Bild der nach hinten gerichteten Kamera besser zu analysieren und die zuvor ermittelte Position der Anhängerkupplung zu korrigieren.
  • Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
  • Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.

Claims (10)

  1. Vorrichtung zum Bereitstellen von Anhängerkupplungsinformationen, die Vorrichtung umfassend: mindestens einen Speicher, umfassend computerausführbare Anweisungen; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen zu lesen und auszuführen, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen zum: Empfangen eines Bildes, das von einer nach hinten gerichteten Kamera aufgenommen wurde; Identifizieren einer Anhängerkupplung im empfangenen Bild; Erfassen einer Position der identifizierten Anhängerkupplung im empfangenen Bild; Ermitteln eines Abstands zwischen der erfassten Position der Anhängerkupplung und einer Anhängevorrichtung des Fahrzeugs; und Steuern zur Anzeige von mindestens einer der folgenden Informationen über den ermittelten Abstand, Informationen über die erfasste Position der Anhängerkupplung und Informationen zur Einleitung eines Fahrzeugs zur Kupplung.
  2. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die Kupplung zu identifizieren, indem er die Koordinaten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Identifizieren einer Kupplung ermittelt, und worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die Position der Anhängerkupplung zu erfassen, indem er N-zufällige Flecken erzeugt und die N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken testet, um die Position der Kupplung zu schätzen.
  3. Vorrichtung nach Anspruch 2, worin die Vielzahl an neuronalen Faltungsnetzwerken ein erstes neuronales Faltungsnetzwerk umfasst, das einem ersten Abstand entspricht, welcher der nach hinten gerichteten Kamera am nächsten ist, ein zweites neuronales Faltungsnetzwerk, welches einem zweiten Abstand entspricht, der weiter von der nach hinten gerichteten Kamera entfernt ist als der erste Abstand, und ein drittes neuronales Faltungsnetzwerk, welches einem dritten Abstand entspricht, der zwischen dem ersten Abstand und dem zweiten Abstand liegt.
  4. Vorrichtung nach Anspruch 3, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die Position der Anhängerkupplung im Bild durch das Schätzen der Konturpunkte der Kupplung im Bild zu erkennen, eine Geometrie der Kupplung zu ermitteln und basierend auf den Konturpunkten und der Geometrie eine Höhe der Kupplung zu ermitteln.
  5. Vorrichtung nach Anspruch 4, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, Konturpunkte der Kupplung durch das Ermitteln von zweidimensionalen Koordinaten der Kanten der Kupplung unter Verwendung eines neuronalen Faltungsnetzwerks zum Erfassen der Kontur einer Kupplung zu schätzen.
  6. Vorrichtung nach Anspruch 5, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, eine absolute Position der Kupplung basierend auf der Höhe und den zweidimensionalen Koordinaten der Kanten der Kupplung zu ermitteln.
  7. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor ferner veranlassen, eine Benutzereingabe zum Anpassen der Position der Anhängerkupplung im Bild zu empfangen; und basierend auf der Benutzereingabe, die Position der Anhängerkupplung im Bild neu zu ermitteln.
  8. Vorrichtung nach Anspruch 7, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, das Fahrzeug basierend auf mindestens einer der Informationen über den ermittelten Abstand und die Informationen über die erfasste Position der Anhängerkupplung zur Kupplung zu steuern.
  9. Nicht-flüchtiges computerlesbares Medium, umfassend computerausführbare Anweisungen, die durch einen Prozessor ausführbar sind, um ein Verfahren zum Bereitstellen von Anhängerinformationen auszuführen, das Verfahren umfassend: das Erfassen einer Position einer Anhängerkupplung in einem Bild, das von einer rückwärts gerichteten Kamera unter Verwendung eines neuronalen Faltungsnetzwerks aufgenommen wurde; und das Ermitteln eines Abstands zwischen der erfassten Position der Anhängerkupplung und einer Anhängevorrichtung des Fahrzeugs.
  10. Nicht-flüchtiges Medium nach Anspruch 9, worin das Erfassen der Position des Anhängers Folgendes umfasst: das Erfassen von Koordinaten der Anhängerkupplung unter Verwendung des neuronalen Faltungsnetzwerks zum Identifizieren der Kupplung; das Erzeugen von N-zufälligen Flecken; und das Testen der N-zufälligen Flecken unter Verwendung einer Vielzahl von neuronalen Faltungsnetzwerken, um die Position der Kupplung zu schätzen.
DE102018107196.5A 2017-03-27 2018-03-26 Verfahren und vorrichtung zur bereitstellung von anhängerinformationen Pending DE102018107196A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/470,159 US10332002B2 (en) 2017-03-27 2017-03-27 Method and apparatus for providing trailer information
US15/470,159 2017-03-27

Publications (1)

Publication Number Publication Date
DE102018107196A1 true DE102018107196A1 (de) 2018-09-27

Family

ID=63450680

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018107196.5A Pending DE102018107196A1 (de) 2017-03-27 2018-03-26 Verfahren und vorrichtung zur bereitstellung von anhängerinformationen

Country Status (3)

Country Link
US (1) US10332002B2 (de)
CN (1) CN108663967B (de)
DE (1) DE102018107196A1 (de)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US20190086927A1 (en) * 2017-09-20 2019-03-21 Continental Automotive Systems, Inc. Automated Trailer Hitching Using GPS
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US10733757B2 (en) 2018-05-10 2020-08-04 Magna Electronics Inc. Trailer assist system with estimation of 3D location of hitch
US10884119B2 (en) * 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
US10748295B2 (en) * 2018-06-08 2020-08-18 Ford Global Technologies, Llc Object tracking in blind-spot
US10960721B2 (en) * 2018-06-26 2021-03-30 Ford Global Technologies, Llc System for detection and response to retreating trailer
JP7208812B2 (ja) * 2019-02-06 2023-01-19 日立Astemo株式会社 電子制御装置
JP7293722B2 (ja) * 2019-02-28 2023-06-20 株式会社デンソーテン 運転支援装置
US11697414B2 (en) * 2020-03-17 2023-07-11 Ford Global Technologies, Llc System and method for remote automated vehicle alignment with a trailer for hitching
US11721108B2 (en) 2020-11-10 2023-08-08 Ford Global Technologies, Llc System and method for training trailer detection systems
US11676300B2 (en) * 2020-12-09 2023-06-13 Continental Autonomous Mobility US, LLC Method for real-time tow ball detection
US12136270B2 (en) 2021-01-05 2024-11-05 Magna Electronics Inc. Vehicular trailer angle detection system for fifth-wheel trailers
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN113296107B (zh) * 2021-06-23 2024-07-23 上海西井科技股份有限公司 传感器协同检测拖挂角度的方法、系统、设备及存储介质
US12115918B2 (en) 2022-01-31 2024-10-15 Magna Mirrors Of America, Inc. Vehicular trailering assist system with auxiliary side trailer cameras

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
JP3945467B2 (ja) * 2003-10-02 2007-07-18 日産自動車株式会社 車両後退支援装置および方法
DE102004029129B4 (de) * 2004-06-17 2008-08-28 Daimler Ag Verfahren und Vorrichtung zur Ankupplung eines Anhängers an ein Kraftfahrzeug
US7568716B2 (en) * 2005-05-13 2009-08-04 Dietz Dan L Method and apparatus for alignment of trailer hitch
US8888121B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
US20090271078A1 (en) * 2008-04-29 2009-10-29 Mike Dickinson System and method for identifying a trailer being towed by a vehicle
JP5178961B2 (ja) * 2010-07-14 2013-04-10 三菱電機株式会社 画像合成装置
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9506774B2 (en) * 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
US9914333B2 (en) * 2012-07-05 2018-03-13 Uusi, Llc Vehicle trailer connect system
US9562878B2 (en) * 2012-09-13 2017-02-07 Nordco Inc. Rail condition monitoring system with carriage
KR20140051615A (ko) * 2012-10-23 2014-05-02 현대자동차주식회사 비주차구역의 주차 지원 장치 및 방법
US20140125795A1 (en) * 2012-11-05 2014-05-08 James Arnold Yerke Trailer Coupling Assistant
GB2515800B (en) * 2013-07-04 2017-06-07 Jaguar Land Rover Ltd Vehicle control system
US9880560B2 (en) * 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US10160382B2 (en) * 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
US9296421B2 (en) * 2014-03-06 2016-03-29 Ford Global Technologies, Llc Vehicle target identification using human gesture recognition
CN106462314B (zh) * 2014-05-06 2019-11-05 罗伯特·博世有限公司 帮助拖车附接的动态相机视图
US10701299B2 (en) * 2014-08-18 2020-06-30 Jaguar Land Rover Limited Display system and method
US9499018B2 (en) 2015-04-01 2016-11-22 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
US10150505B2 (en) * 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US9896130B2 (en) * 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
JP6514624B2 (ja) * 2015-11-02 2019-05-15 クラリオン株式会社 障害物検知装置
US10017115B2 (en) * 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9731568B2 (en) * 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
US10155478B2 (en) * 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9798953B2 (en) * 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US10127459B2 (en) * 2015-12-17 2018-11-13 Ford Global Technologies, Llc Trailer type identification system
US9934572B2 (en) * 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
CN107181908B (zh) * 2016-03-11 2020-09-11 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及计算机可读记录介质
CN105976400B (zh) * 2016-05-10 2017-06-30 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
JP6364042B2 (ja) * 2016-05-23 2018-07-25 株式会社Ｓｕｂａｒｕ 車両の後退支援装置
EP3263370B1 (de) * 2016-06-29 2021-01-20 Volkswagen Aktiengesellschaft Assistenzverfahren und ankuppelassistent zum ankuppeln eines kraftfahrzeuges an einen anhänger
JP7069548B2 (ja) * 2017-03-01 2022-05-18 株式会社アイシン 周辺監視装置
US10906583B2 (en) * 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10384609B2 (en) * 2017-06-20 2019-08-20 Ford Global Technologies, Llc Vehicle rear object proximity system using multiple cameras

Also Published As

Publication number Publication date
CN108663967B (zh) 2021-06-08
US10332002B2 (en) 2019-06-25
US20180272941A1 (en) 2018-09-27
CN108663967A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
DE102018107196A1 (de) Verfahren und vorrichtung zur bereitstellung von anhängerinformationen
DE102018114730A1 (de) Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels
DE102019102989B4 (de) Vorrichtung zum verhindern einer heckklappenkollision mit einem kupplungszubehörteil
DE102018106842B4 (de) Vorrichtung zum Auslösen einer Kupplungsansicht
DE102017119582A1 (de) Verfahren und vorrichtung zur erfassung eines status einer elektrischen verbindung mit einem objekt
DE102018101592A1 (de) Verfahren und vorrichtung zur erweiterung einer rücksichtanzeige
DE102015107677B4 (de) Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung
DE102018112152A1 (de) Verfahren und vorrichtung zum kalibrieren der kamera
DE102015114614A1 (de) Betrieb eines Totwinkelassistenten bei einem Fahrzeug mit Anhänger
DE102018113078A1 (de) Fahrzeugfernparksysteme und -verfahren
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102018112151A1 (de) Verfahren und vorrichtung zum klassifizieren von lidardaten zur objekterkennung
DE102019109671B4 (de) Vorrichtung zum Erfassen eines Radeinstellungszustands
DE102018114190A1 (de) Verfahren und Vorrichtung zur Positionsfehlererfassung
DE102018109951A1 (de) Erfassung von wasser auf der strasse
DE102016112987B4 (de) Direkte kommunikation zwischen fahrzeugen
DE102019116747A1 (de) Systeme und verfahren für verriegelungs-/entriegelungsmeldungen eines fahrzeugs
DE102011102744A1 (de) Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung
DE102018108366A1 (de) Verfahren und vorrichtung zum optimieren der erkennung von verkehrsregelungseinrichtungen
DE102018105237A1 (de) Verfahren und vorrichtung zur verbesserung der draufsicht
DE102018119669A1 (de) Verfahren und Vorrichtung für Bremswegauswahl
DE102019113199A1 (de) Verfahren und vorrichtung zur erkennung von leckagen
DE102017125470A1 (de) Verfahren und vorrichtung zur warnung vor objekten
DE102018101613A1 (de) Verfahren und Vorrichtung zur Steuerung der Heckklappenbewegung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R016 Response to examination communication