Nothing Special   »   [go: up one dir, main page]

EP3014239A1 - Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug - Google Patents

Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug

Info

Publication number
EP3014239A1
EP3014239A1 EP14723428.0A EP14723428A EP3014239A1 EP 3014239 A1 EP3014239 A1 EP 3014239A1 EP 14723428 A EP14723428 A EP 14723428A EP 3014239 A1 EP3014239 A1 EP 3014239A1
Authority
EP
European Patent Office
Prior art keywords
headlight
motor vehicle
projection surface
light
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14723428.0A
Other languages
English (en)
French (fr)
Other versions
EP3014239B1 (de
Inventor
Arne Striegler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3014239A1 publication Critical patent/EP3014239A1/de
Application granted granted Critical
Publication of EP3014239B1 publication Critical patent/EP3014239B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/06—Testing the alignment of vehicle headlight devices
    • G01M11/064—Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis
    • G01M11/065—Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis details about the image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/06—Testing the alignment of vehicle headlight devices
    • G01M11/068—Testing the alignment of vehicle headlight devices with part of the measurements done from inside the vehicle

Definitions

  • the invention relates to a method for checking the adjustment of a headlight in a motor vehicle and to a corresponding device and a corresponding motor vehicle.
  • the document EP 2 485 032 A2 describes a method for adjusting a basic setting of a motor vehicle headlamp, in which the position of a light-dark boundary of the light distribution of the headlamp on a measuring surface is detected for different swivel angles of the headlamp light beam and based thereon a correction angle for adjusting the basic adjustment of the headlamp is determined.
  • the document EP 2 128 590 A1 discloses a method for calibrating a horizontal light-dark boundary generated by a headlight of a vehicle.
  • the light-dark boundary is detected by a camera of the vehicle and a deviation of the actual position from a desired position of the light-dark boundary is determined from the image data.
  • the methods known from the prior art have the disadvantage that the corresponding light distribution of the headlight must always be projected onto a planar projection surface in order to check the headlamp setting.
  • the methods can thus not be used for arbitrarily shaped or aligned projection surfaces.
  • the object of the invention is therefore to provide a method and a device with which the adjustment of the headlight of a motor vehicle can be checked flexibly with different projection surfaces.
  • step a) in a predefined basic position of the headlight by means of an image recording device of the motor vehicle, a projection surface facing the headlight is detected at one or more recording times comprising a recording time with the headlight activated.
  • the predetermined basic position may be a single, fixed headlight position, unless the motor vehicle has a dependent example of the load condition headlight adjustment. Otherwise, the home position is preferably the position of the headlamp in a state where the vehicle is not loaded.
  • step a) image data are obtained with spatial position information, the image data containing the projection surface.
  • the image recording device is designed such that it determines three-dimensional spatial position information about the surroundings of the motor vehicle.
  • three-dimensional position data are to be understood as positions, in particular the actual or desired position or the predetermined beam path described below.
  • TOF Time Of Flight
  • the Dolphinnahr e Huawei may also be part of a pattern projection system in which a defined pattern is projected and recorded on the screen. Three-dimensional distance information is determined on the basis of the distortions of the pattern resulting from the recorded images.
  • a separate light source may be used to generate the pattern. Nonetheless, the pattern can also be generated by the headlight itself.
  • so-called matrix beams also called pixel light
  • matrix beams also called pixel light
  • a 3D model of the projection surface is determined from the image data obtained in step a), which describes the projection surface in a reference system of the motor vehicle based on a plurality of positions on the surface of the projection surface.
  • the creation of appropriate SD Models by means of three-dimensional image data is known per se from the prior art and is therefore not explained in detail.
  • An example of a method for forming a 3D model is described in the publication Ahlvers, U., ZOlzer, U.: 3D evaluation of stereo images, Uniaba Helmut Schmidt University, Hamburg, 2005 Edition, Volume 15 described.
  • the reference system of the motor vehicle is to be understood as meaning a reference system stationary in the motor vehicle, which moves when the position of the motor vehicle is changed.
  • the reference system of the motor vehicle is given by a coordinate system at the installation of the image pickup device.
  • a lst T position of a light region within the light distribution of the headlamp is identified on the screen in the reference system of the motor vehicle from the captured through the image pickup means image data, wherein the light range by a predetermined for the basic position of the headlamp beam path in the Light of the headlamp is characterized in the reference system of the motor vehicle.
  • the term of the light range is to be understood broadly and may include any characteristic structure, such as a light-dark boundary, or even a predetermined light spot (eg the location with the highest brightness). To identify the light range, known pattern recognition algorithms can be used.
  • a desired position of the light region within the light distribution of the headlight on the projection surface in the reference system of the motor vehicle is determined. This determination can easily be made e.g. be done by the piercing points of rays of the beam path are determined by the projection surface described on the 3D model in a conventional manner.
  • an adjustment (ie an incorrect setting) of the headlamp is determined if the (absolute) deviation between the actual position and the desired position of the light range exceeds a predetermined threshold.
  • the inventive method has the advantage that any projection surfaces can be used to check the headlamp, because in the context of the method, a 3D model of the projection is created. In other words, the projection surface is measured during the process. The process can be carried out very quickly.
  • all components for carrying out the method are integrated in the motor vehicle itself, so that it is possible, for example, to check each time a headlight is activated to determine whether it is correctly set.
  • the method can be used for any type of motor vehicle headlamps. In particular, thus the setting of a headlight of the motor vehicle, such as a low beam headlamp or a high beam headlamp or fog lamp, be checked.
  • the projection surface is detected in step a) at a single recording time when the headlight is activated, whereby the method can be carried out very quickly.
  • the projection surface for creating the 3D model is detected when the headlight is not activated or when a special light source is activated, and the light distribution with the headlight activated is recorded again separately on the projection surface.
  • the light range in the light distribution of the headlight can be defined differently on the projection surface.
  • the light area can represent the location with the highest light intensity.
  • a warning message is issued if an adjustment of the headlight is detected in step e).
  • this warning message is issued by the motor vehicle warning message, which can be perceived by the driver of the vehicle.
  • the warning message is in particular a visual and / or acoustic and / or haptic message. In this way, the driver is informed immediately about an obstructed headlight, so that he can cause a readjustment of the headlight.
  • the motor vehicle comprises an automatic adjusting device for adjusting the position of the headlight in the motor vehicle, wherein in a step f), the automatic adjusting device, the position of the headlight corrected for the deviation between the actual position and the target position, if the deviation exceeds the predetermined threshold.
  • the automatic adjusting device for adjusting the position of the headlight in the motor vehicle, wherein in a step f), the automatic adjusting device, the position of the headlight corrected for the deviation between the actual position and the target position, if the deviation exceeds the predetermined threshold.
  • the headlamp does not have to be switched to its normal operating state when carrying out the method. Rather, the headlight at the or the recording times in step a) flash only briefly.
  • a measure of the accuracy of the 3D model is determined in step b).
  • the determination of appropriate measures is known per se or is within the scope of expert action. For example, the larger the adjacent surface positions on the projection surface according to the 3D model, the smaller the degree of accuracy becomes.
  • the method is aborted or a warning message is issued if the measure of the accuracy of the 3D model is below a predetermined threshold. In this way it is taken into account that under certain circumstances the properties of the projection surface are not suitable for carrying out the method.
  • the ambient brightness is determined from the image data obtained in step a), wherein the method is interrupted or a warning message is output when the ambient brightness exceeds a predetermined brightness value.
  • a position of a component of the vehicle in particular a position in the front region of the vehicle, such as the engine hood, is extracted from the image data. Based on this information, the reference system of the motor vehicle is then identified in the image data. This ensures the correct position of the reference system in the image data.
  • the invention further relates to a device for checking the adjustment of a headlamp in a motor vehicle, the device comprising a computer device which is configured such that with the computer device in their operation, the method according to the invention or one or more preferred Variants of the method according to the invention are feasible.
  • the computing device may be implemented by one or more units, e.g.
  • the computer device can represent the light control device described below in combination with the evaluation unit.
  • the components of the device according to the invention are part of the motor vehicle itself. That is, the invention also includes a motor vehicle, which comprises the device according to the invention for checking a headlamp of the motor vehicle.
  • FIG. 1 shows a perspective view of a motor vehicle and a projection surface, with reference to which an embodiment of the method according to the invention is explained;
  • Fig. 2 is a schematic representation of the components in a motor vehicle, which are required for carrying out the method according to the invention.
  • An embodiment of the method according to the invention is explained below, in which the inspection of the headlamp setting of a motor vehicle is performed by the motor vehicle itself. That is, all components needed to check the headlamp setting are installed in the motor vehicle.
  • Fig. 1 shows a perspective view of the front part of a motor vehicle 1 with the two headlights 2 and 3, the setting to be checked. As explained in more detail below, in an adjustment of the headlights and an automatic adjustment of the same can be made by an adjusting device.
  • the method can also analogously for checking the high beam setting when activating the high beam and possibly also for other headlights, such as fog lights, can be used.
  • Fig. 2 the components shown schematically in Fig. 2 are used in the motor vehicle.
  • the two headlights are in Fig. 2 analogous to Fig. 1 denoted by the reference numerals 2 and 3 and connected to a light control unit LS.
  • the left-hand headlight 2 can be changed in position by means of motors M1 and M2, the motor M1 moving the headlight in the vertical direction and the motor M2 moving the headlight in the horizontal direction.
  • motors M3 and M4 are provided for adjusting the position of the headlamp 3, the motor M3 moving the headlamp in the vertical direction and the motor M4 moving the headlamp in the horizontal direction.
  • the motors M1, M2 and M3, M4 each represent an automatic adjusting device for the corresponding headlight 2 or 3.
  • a 3D camera in the form of a stereo camera SK is further installed, which at the front edge of the roof is disposed at the position P of the vehicle C (see FIG. 1).
  • the stereo camera comprises the two cameras K1 and K2, which record the area in front of the vehicle from different angles and thereby capture a stereo image and thus three-dimensional spatial information as image data.
  • the stereo camera SK is connected to an evaluation unit AE in the vehicle, which is a computer unit, which in turn has a connection to the light control unit LS.
  • the light control unit LS and the evaluation unit AE may also be integrated with one another and form a common control and evaluation unit.
  • the headlight adjustment is started by the driver or the vehicle, for example by entering a corresponding operating command via a user interface by the driver. Subsequently, the light control unit LS moves the headlights 2 and 3 to a current home position which is the position of the headlamp without adjustment due to increased load state of the vehicle. Subsequently, the control unit LS activates the headlight illuminants of the headlights 2 and 3 for generating the low-beam distribution.
  • the cameras K1 and K2 of the stereo camera SK take an image, which is sent to the evaluation unit AE.
  • a viewing direction ⁇ KR stored in the evaluation unit is defined, which essentially corresponds to the longitudinal direction of the vehicle 1.
  • a reference system of the vehicle in the form of the coordinate system shown in Fig. 1 originating in the position P K and the orthogonal axes x, y and z is given by the viewing direction.
  • the z-axis corresponds to the viewing direction of the stereo camera SK.
  • This reference system is stationary in the motor vehicle, ie it moves with changing the position of the motor vehicle with this.
  • beam directions ⁇ SR ⁇ 1 for the headlamp 2 and SR ⁇ for the headlamp 3 are also set for the low beam of the two headlamps.
  • the corresponding beams point to the point in the light distribution of the respective headlamp with the highest intensity.
  • the two beam directions are stored in the evaluation unit AE with respect to the above-described reference system of the motor vehicle.
  • a projection surface PF is further shown in front of the vehicle, which may be an arbitrary object with a planar structure, because the inventive method can use to adjust the headlights arbitrarily shaped projection surfaces PF.
  • the point with the highest light intensity in the low-beam distribution with correct adjustment of the headlight 2 on the projection surface PF is denoted by P Ls and represents the desired position of the point with the highest intensity for the low beam distribution of the headlight 2.
  • the position P Rs represents the corresponding desired position for the highest intensity point according to the low beam light distribution generated by the headlamp 3.
  • the highest brightness positions generally correspond to the center of the light cone generated by the respective headlamps.
  • the headlights 2 and 3 are adjusted, so that the actual position P L , the point with the highest brightness for the headlight 2 and, analogously, the actual position P Ri for the point with the highest brightness for the headlight 3 from the corresponding desired positions P Rs or P
  • the images captured by the stereo camera SK are transmitted to the evaluation unit AE.
  • This evaluation unit calculates, using known algorithms, a 3D model of the surface of the projection surface PF.
  • This SD model contains a plurality of positions identified on the surface with three-dimensional spatial coordinates, these coordinates in turn being indicated in the reference system of the vehicle.
  • the actual positions P Li and P Ri in the light distribution of the headlamp are determined by the evaluation unit AE.
  • known per se pattern recognition algorithms can be used.
  • the evaluation unit AE computes the target positions P Ls and Rs P by the intersection points of the corresponding vectors SR ⁇ l and SR ⁇ are determined by the projection area using the 3D model of the projection surface PF. Subsequently, the evaluation unit AE determines the (absolute) difference between the desired position P Ls and the actual position P Li, as well as the (absolute) difference between the desired position P Rs and the actual position P Ri . In the evaluation unit while a threshold value is specified, which describes a tolerance measure for the adjustment of the headlights. If at least one of the deviations determined is greater than the threshold value, an adjustment (ie incorrect setting) of the headlights is detected in the evaluation unit AE. In the case of such an adjustment, the evaluation unit AE calculates corresponding horizontal and vertical adjustment angles of the headlights 2 and 3 from the above deviations between the desired position and the actual position.
  • the headlights are then readjusted via the light control device LS by means of the above-described motors M1 to M4, so that the actual positions coincide again with the desired positions.
  • a check of the headlights may be carried out again, starting with the acquisition of new images by the stereo camera SK, if necessary, in order to ensure len that the realignment has actually led to the actual positions correspond to the target positions. If necessary, the adjustment can be adjusted again. Finally, if no deviation between the actual positions and nominal positions is detected, the current position of the headlights is permanently stored as a new basic position in the light control unit.
  • the headlights do not have to be switched to their normal operating state when taking pictures by the stereo camera, but they can flash only briefly for this purpose.
  • the inspection of the headlamps does not require automatic headlamp adjustment, i. E. the method can also be used in a vehicle without an automatic adjustment device. In this case, whenever an adjustment of the headlight is detected by the evaluation unit, a corresponding warning message is issued, with which the driver is informed that the headlights are adjusted and a corresponding service should be performed.
  • the evaluation unit can also determine properties of the projection surface PF. For example, if it is determined that the projection surface is rugged (ie there are large differences between adjacent surface coordinates), the operator is informed by means of a user interface that the projection surface is not suitable for checking the adjustment of the headlights and for reliable adjustment of the headlights ,
  • the evaluation unit can also determine the ambient brightness by evaluating the camera images. If this is too high, the driver can be informed via an appropriate user interface that the ambient brightness is too high for a reliable inspection or adjustment of the headlight.
  • the evaluation unit can extract a position of the vehicle front (eg engine hood) from the image data via a corresponding pattern recognition algorithm. Based on this information, then the line of sight the stereo camera SK are determined. If this line of sight does not correlate with the direction 1 ⁇ R of FIG. 1, this can be taken into account suitably in the evaluation of the images in the context of a correction door. In other words, the reference system of the motor vehicle for which the respective beam directions SRR and S ⁇ R ⁇ are set can be identified in the image data.
  • the inspection of a headlamp can be made using a variety of projection surfaces, without the shape, orientation or position of the projection surface are known in advance.
  • This is made possible by modeling the surface of the projection surface based on a 3D model, which is generated based on the image data of a stereo camera or another 3D camera.
  • the process works very fast and can be done with each activation of the headlamp if necessary.
  • the motor vehicle can also carry out an automatic adjustment, provided that a corresponding adjusting device is installed in the vehicle.
  • the method according to the invention was carried out by components in a motor vehicle.
  • the method can also be performed by a computer outside of the motor vehicle, which controls the stereo camera and the headlights of the motor vehicle and in particular reads out the image data of the camera and processed for checking the headlights.
  • a computer outside of the motor vehicle which controls the stereo camera and the headlights of the motor vehicle and in particular reads out the image data of the camera and processed for checking the headlights.
  • the components for carrying out the method must be provided in the motor vehicle. Rather, e.g. a motor vehicle workshop have a device for checking the headlight adjustment according to the inventive method.

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überprüfen der Einstellung eines Scheinwerfers (2, 3) in einem Kraftfahrzeug (1). In dem Verfahren wird in einem Schritt a) in einer vorgegebenen Grundposition des Scheinwerfers (2, 3) mittels einer Bildaufnahmeeinrichtung (SK) des Kraftfahrzeugs (1) eine auf den Scheinwerfer (2, 3) zuweisende Projektionsfläche (PF) zu einem oder mehreren Aufnahmezeitpunkten umfassend einen Aufnahmezeitpunkt mit aktiviertem Scheinwerfer (2, 3) erfasst, wodurch Bilddaten (PF) mit räumlichen Positionsinformationen erhalten werden, wobei die Bilddaten die Projektionsfläche (PF) enthalten. In einem Schritt b) wird aus den Bilddaten ein 3D-Modell der Projektionsfläche (PF) ermittelt, welches die Projektionsfläche (PF) in einem Bezugssystem des Kraftfahrzeugs (1) basierend auf einer Vielzahl von Positionen auf der Oberfläche der Projektionsfläche (PF) beschreibt. In einem Schritt c) wird aus den Bilddaten eine Ist-Position (PLi, PRi) eines Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahrzeugs (1) identifiziert, wobei der Lichtbereich durch einen für die Grundposition vorgegebenen Strahlengahg (SR L , SR R )) im Licht des Scheinwerfers (2, 3) in dem Bezugssystem des Kraftfahrzeugs (1) charakterisiert ist. Basierend auf dem vorgegebenen Strahlengang (SR L , SR R ) und dem 3D-Modell der Projektionsfläche (PF) wird in einem Schritt d) eine Soll-Position (PLs, PRs) des Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahrzeugs (1) ermittelt. Schließlich wird in einem Schritt e) eine Verstellung des Scheinwerfers (1, 2) festgestellt, falls die Abweichung zwischen der Ist-Position (PLi, PRi,) und der Soll-Position (PLs, PRs) des Lichtbereichs einen vorgegebenen Schwellwert überschreitet.

Description

Verfahren zum Überprüfen der Einstellung eines Scheinwerfers in einem
Kraftfahrzeug
Die Erfindung betrifft ein Verfahren zum Überprüfen der Einstellung eines Scheinwerfers in einem Kraftfahrzeug sowie eine entsprechende Vorrichtung und ein entsprechendes Kraftfahrzeug.
Aus dem Stand der Technik sind verschiedene Verfahren zur Überprüfung der Einstellung von Scheinwerfern eines Kraftfahrzeugs bekannt. In dem Dokument EP 2 485 032 A2 wird ein Verfahren zur Justierung einer Grundeinstellung eines Kraftfahrzeug-Scheinwerfers beschrieben, bei dem die Position einer Hell-Dunkel-Grenze der Lichtverteilung des Scheinwerfers auf einer Messfläche für unterschiedliche Schwenkwinkel des Scheinwerfer-Lichtbündels erfasst wird und basierend darauf ein Korrekturwinkel zum Justieren der Grundeinstellung des Scheinwerfers bestimmt wird.
In dem Dokument EP 2 128 590 A1 ist ein Verfahren zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze offenbart. Dabei wird die Hell-Dunkel-Grenze mit einer Kamera des Fahrzeugs erfasst und aus den Bilddaten eine Abweichung der Ist-Position von einer Soll-Position der Hell-Dunkel- Grenze ermittelt.
Die aus dem Stand der Technik bekannten Verfahren weisen den Nachteil auf, dass zur Überprüfung der Scheinwerfereinstellung die entsprechende Lichtverteilung des Scheinwerfers immer auf eine planare Projektionsfläche projiziert werden muss. Die Verfahren können somit nicht für beliebig geformte bzw. ausgerichtete Projektionsflächen verwendet werden.
Aufgabe der Erfindung ist es deshalb, ein Verfahren bzw. eine Vorrichtung zu schaffen, mit denen flexibel mit unterschiedlichen Projektionsflächen die Einstellung des Scheinwerfers eines Kraftfahrzeugs überprüft werden kann.
Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch 13 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert. In dem erfindungsgemäßen Verfahren wird in einem Schritt a) in einer vorgegebenen Grundposition des Scheinwerfers mittels einer Bildaufnahmeeinrichtung des Kraftfahrzeugs eine auf den Scheinwerfer zuweisende Projektionsfläche zu einem oder mehreren Aufnahmezeitpunkten umfassend einen Aufnahmezeitpunkt mit aktiviertem Scheinwerfer erfasst. Die vorgegebene Grundposition kann eine einzelne, fest eingestellte Scheinwerferposition sein, sofern das Kraftfahrzeug nicht über eine z.B. vom Beladungszustand abhängige Scheinwerferverstellung verfügt. Ansonsten ist die Grundposition vorzugsweise die Position des Scheinwerfers in einem Zustand, in dem das Fahrzeug nicht beladen ist. Gemäß Schritt a) werden Bilddaten mit räumlichen Positionsinformationen erhalten, wobei die Bilddaten die Projektionsfläche enthalten. Mit anderen Worten ist die Bildaufnahmeeinrichtung derart ausgestaltet, dass sie dreidimensionale räumliche Positionsinformationen über die Umgebung des Kraftfahrzeugs ermittelt. Hier und im Folgenden sind unter Positionen, insbesondere der nachfolgend beschriebenen Ist- bzw. Soll-Position bzw. dem vorgegebenen Strahlengang, dreidimensionale Positionsdaten zu verstehen.
In einer besonders bevorzugten Ausführungsform ist die Bildaufnahmeeinrichtung eine 3D-Kamera, wie z.B. eine Stereokamera oder eine TOF-Kamera (TOF = Time Of Flight). Solche Kameras werden heutzutage oftmals standardmäßig in Kraftfahrzeugen verbaut und können somit zur Durchführung des erfindungsgemäßen Verfahrens genutzt werden. Gegebenenfalls kann die Bildaufnahr eeinrichtung auch Teil eines Muster-Projektionssystems sein, bei dem ein definiertes Muster auf die Projektionsfläche projiziert und aufgenommen wird. Anhand der sich aus den aufgenommenen Bildern ergebenden Verzerrungen des Musters werden dreidimensionale Abstandsinformationen ermittelt. In einem solchen Muster-Projektionssystem kann eine separate Leuchtquelle zur Generierung des Musters verwendet werden. Nichtsdestotrotz kann das Muster auch durch den Scheinwerfer selbst erzeugt werden. Hierzu können so genannte Matrixbeams (auch Pixellicht genannt) genutzt werden, mit denen definierte Muster auf eine Fläche vor dem Fahrzeug projiziert werden können.
In einem Schritt b) des erfindungsgemäßen Verfahrens wird aus den in Schritt a) erhaltenen Bilddaten ein 3D-Modell der Projektionsfläche ermittelt, welches die Projektionsfläche in einem Bezugssystem des Kraftfahrzeugs basierend auf einer Vielzahl von Positionen auf der Oberfläche der Projektionsfläche beschreibt. Die Erstellung entsprechender SD- Modelle mittels dreidimensionaler Bilddaten ist dabei an sich aus dem Stand der Technik bekannt und wird deshalb nicht im Detail erläutert. Ein Beispiel eines Verfahrens zur Bildung eines 3D-Modells ist in der Druckschrift Ahlvers, U., ZÖlzer, U. : 3D-Auswertung von Stereobildern, Uniforschung Helmut Schmidt Universität, Hamburg, Ausgabe 2005, Jahrgang 15, beschrieben. Unter dem obigen Begriff des Bezugssystems des Kraftfahrzeugs ist ein im Kraftfahrzeug ortsfestes Bezugssystem zu verstehen, welches sich bei der Veränderung der Position des Kraftfahrzeugs mitbewegt. Vorzugsweise ist das Bezugssystem des Kraftfahrzeugs durch ein Koordinatensystem am Verbauort der Bildaufnahmeeinrichtung gegeben.
In einem Schritt c) des erfindungsgemäßen Verfahrens wird aus den über die Bildaufnahmeeinrichtung erfassten Bilddaten eine lstTPosition eines Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers auf der Projektionsfläche in dem Bezugssystem des Kraftfahrzeugs identifiziert, wobei der Lichtbereich durch einen für die Grundposition des Scheinwerfers vorgegebenen Strahlengang im Licht des Scheinwerfers in dem Bezugssystem des Kraftfahrzeugs charakterisiert ist. Der Begriff des Lichtbereichs ist dabei weit zu verstehen und kann eine beliebige charakteristische Struktur, wie z.B. eine Hell- Dunkel-Grenze, oder auch einen vorbestimmten Lichtpunkt (z.B. den Ort mit der höchsten Helligkeit) umfassen. Zur Identifikation des Lichtbereichs können an sich bekannte Mus- tererkennungs-Algorithmen eingesetzt werden.
In einem Schritt d) des erfindungsgemäßen Verfahrens wird basierend auf dem vorgegebenen Strahlengang und dem 3D-Modell der Projektionsfläche eine Soll-Position des Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers auf der Projektionsfläche in dem Bezugssystem des Kraftfahrzeugs ermittelt. Diese Ermittlung kann in einfacher Weise z.B. dadurch geschehen, dass die Durchstoßpunkte von Strahlen des Strahlengangs durch die über das 3D-Modell beschriebene Projektionsfläche in an sich bekannter Weise bestimmt werden.
Schließlich wird in einem Schritt e) eine Verstellung (d.h. eine nicht korrekte Einstellung) des Scheinwerfers festgestellt, falls die (betragsmäßige) Abweichung zwischen der Ist- Position und der Soll-Position des Lichtbereichs einen vorgegebenen Schwellwert überschreitet. Das erfindungsgemäße Verfahren weist den Vorteil auf, dass zur Überprüfung des Scheinwerfers beliebige Projektionsflächen verwendet werden können, denn im Rahmen des Verfahrens wird ein 3D-Modell der Projektionsflächen erstellt. Mit anderen Worten wird die Projektionsfläche während des Verfahrens mit vermessen. Das Verfahren kann dabei sehr schnell durchgeführt werden. In einer bevorzugten Variante sind alle Komponenten zur Durchführung des Verfahrens in dem Kraftfahrzeug selbst integriert, so dass z.B. bei jeder Aktivierung eines Scheinwerfers überprüft werden kann, ob dieser korrekt eingestellt ist. Das Verfahren kann für beliebige Arten von Kraftfahrzeug-Scheinwerfern zum Einsatz kommen. Insbesondere kann damit die Einstellung eines Frontscheinwerfers des Kraftfahrzeugs, wie z.B. eines Abblendlichtscheinwerfers oder eines Fernlichtscheinwerfers oder eines Nebelscheinwerfers, überprüft werden.
In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird die Projektionsfläche in Schritt a) zu einem einzelnen Aufnahmezeitpunkt bei aktiviertem Scheinwerfer erfasst, wodurch das Verfahren sehr schnell durchgeführt werden kann. Nichtsdestotrotz besteht gegebenenfalls die Möglichkeit, dass die Projektionsfläche zur Erstellung des 3D-Modells bei nicht aktiviertem Scheinwerfer bzw. bei Aktivierung eines speziellen Leuchtmittels erfasst wird und separat nochmals die Lichtverteilung bei aktiviertem Scheinwerfer auf der Projektionsfläche aufgenommen wird. Wie bereits oben erwähnt, kann der Lichtbereich in der Lichtverteilung des Scheinwerfers auf der Projektionsfläche verschieden definiert sein. Insbesondere kann der Lichtbereich dabei den Ort mit der höchsten Lichtintensität darstellen.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine Warnmeldung ausgegeben, falls in Schritt e) eine Verstellung des Scheinwerfers festgestellt wird. Vorzugsweise ist diese Warnmeldung eine durch das Kraftfahrzeug ausgegebene Warnmeldung, welche durch den Fahrer des Fahrzeugs wahrgenommen werden kann. Die Warnmeldung ist insbesondere eine visuelle und/oder akustische und/oder haptische Meldung. Auf diese Weise wird der Fahrer unmittelbar über einen verstellten Scheinwerfer informiert, so dass er eine Neujustierung des Scheinwerfers veranlassen kann.
In einer besonders bevorzugten Ausführungsform umfasst das Kraftfahrzeug eine automatische Justiereinrichtung zur Justage der Position des Scheinwerfers im Kraftfahrzeug, wobei in einem Schritt f) die automatische Justiereinrichtung die Position des Scheinwer- fers um die Abweichung zwischen der Ist-Position und der Soll-Position korrigiert, falls die Abweichung den vorgegebenen Schwellwert überschreitet. Auf diese Weise kann durch das Fahrzeug selbst unmittelbar bei Feststellung einer Verstellung eine Korrektur der Scheinwerfereinstellung vorgenommen werden.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird nach der Korrektur der Position des Scheinwerfers um die Abweichung zwischen der Ist-Position und der Soll-Position die korrigierte Position des Scheinwerfers als neue vorgegebene Grundposition im Kraftfahrzeug gespeichert, wobei die oben beschriebenen Schritte a) bis f) vorzugsweise solange wiederholt werden, bis die Abweichung zwischen der Ist-Position und der Soll-Position in Schritt e) kleiner oder gleich dem vorgegebenen Schwellwert ist. Auf diese Weise wird eine sehr zuverlässige Einstellung der neuen Grundposition gewährleistet.
Gegebenenfalls muss der Scheinwerfer bei der Durchführung des Verfahrens nicht in seinem Normalbetriebszustand geschaltet werden. Vielmehr kann der Scheinwerfer zu dem oder den Aufnahmezeitpunkten in Schritt a) auch nur kurz aufblitzen.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in Schritt b) ein Maß für die Genauigkeit des 3D-Modells ermittelt. Die Bestimmung entsprechender Maße ist an sich bekannt bzw. liegt im Rahmen von fachmännischem Handeln. Zum Beispiel kann das Maß für die Genauigkeit umso kleiner werden, je größer benachbarte Oberflächenpositionen auf der Projektionsfläche gemäß dem 3D-Modell voneinander abweichen. Das Verfahren wird abgebrochen oder es wird eine Warnmeldung ausgegeben, wenn das Maß für die Genauigkeit des 3D-Modells unterhalb einer vorbestimmten Schwelle liegt. Auf diese Weise wird berücksichtigt, dass unter bestimmten Umständen die Eigenschaften der Projektionsfläche zur Durchführung des Verfahrens nicht geeignet sind.
In einer weiteren Variante wird aus den in Schritt a) erhaltenen Bilddaten die Umgebungshelligkeit ermittelt, wobei das Verfahren abgebrochen wird oder eine Warnmeldung ausgegeben wird, wenn die Umgebungshelligkeit einen vorbestimmten Helligkeitswert überschreitet. Hierdurch wird berücksichtigt, dass bei zu heller Umgebung eine ordnungsgemäße Durchführung des Verfahrens und insbesondere die Bestimmung der Ist-Position des entsprechenden Lichtbereichs nicht mehr gewährleistet sind. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird aus den Bilddaten eine Position eines Bauteils des Fahrzeugs, insbesondere eine Position im Frontbereich des Fahrzeugs, wie z.B. die Motorhaube, extrahiert. Basierend auf dieser Information wird dann das Bezugssystem des Kraftfahrzeugs in den Bilddaten identifiziert. Hierdurch wird die korrekte Lage des Bezugssystems in den Bilddaten sichergestellt.
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Vorrichtung zum Überprüfen der Einstellung eines Scheinwerfers in einem Kraftfahrzeug, wobei die Vorrichtung eine Rechnereinrichtung umfasst, welche derart ausgestaltet ist, dass mit der Rechnereinrichtung in deren Betrieb das erfindungsgemäße Verfahren bzw. eine'oder mehrere bevorzugte Varianten des erfindungsgemäßen Verfahrens durchführbar sind. Die Rechnereinrichtung kann durch eine oder mehrere Einheiten realisiert sein, z.B. kann die Rechnereinrichtung das weiter unten beschriebene Lichtsteuergerät in Kombination mit der Auswerteeinheit darstellen.
In einer besonders bevorzugten Ausführungsform sind die Komponenten der erfindungsgemäßen Vorrichtung Teil des Kraftfahrzeugs selbst. Das heißt, die Erfindung umfasst auch ein Kraftfahrzeug, welches die erfindungsgemäße Vorrichtung zur Überprüfung eines Scheinwerfers des Kraftfahrzeugs umfasst.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
Fig. 1 eine perspektivische Darstellung eines Kraftfahrzeugs und einer Projektionsfläche, ■ anhand der eine Ausführungsform des erfindungsgemäßen Verfahrens erläutert wird; und
Fig. 2 eine schematische Darstellung der Komponenten in einem Kraftfahrzeug, welche zur Durchführung des erfindungsgemäßen Verfahrens benötigt werden. Nachfolgend wird eine Ausführungsform des erfindungsgemäßen Verfahrens erläutert, bei der die Überprüfung der Scheinwerfereinstellung eines Kraftfahrzeugs durch das Kraftfahrzeug selbst vorgenommen wird. Das heißt, alle zur Überprüfung der Scheinwerfereinstellung benötigten Komponenten sind im Kraftfahrzeug verbaut. Fig. 1 zeigt in perspektivischer Darstellung den vorderen Teil eines Kraftfahrzeugs 1 mit den beiden Frontscheinwerfern 2 und 3, deren Einstellung überprüft werden soll. Wie weiter unten näher erläutert, kann bei einer Verstellung der Scheinwerfer auch eine automatische Justierung derselben durch eine Justiereinrichtung vorgenommen werden. Im Folgenden wird die Überprüfung der Einstellung des Abblendlichts der Scheinwerfer 2 und 3 erläutert, wobei das Verfahren analog auch zur Überprüfung der Fernlichteinstellung bei Aktivierung des Fernlichts sowie gegebenenfalls auch für andere Scheinwerfer, wie z.B. Nebelscheinwerfer, eingesetzt werden kann.
Bei der Durchführung des Verfahrens werden die schematisch in Fig. 2 dargestellten Komponenten im Kraftfahrzeug verwendet. Die beiden Scheinwerfer sind in Fig. 2 analog zu Fig. 1 mit den Bezugszeichen 2 und 3 bezeichnet und mit einem Lichtsteuergerät LS verbunden. Der linke Scheinwerfer 2 kann dabei über Motoren M1 und M2 in seiner Position verändert werden, wobei der Motor M1 den Scheinwerfer in vertikaler Richtung und der Motor M2 den Scheinwerfer in horizontaler Richtung bewegt. Analog sind Motoren M3 und M4 zur Einstellung der Position des Scheinwerfers 3 vorgesehen, wobei der Motor M3 den Scheinwerfer in vertikaler Richtung und der Motor M4 den Scheinwerfer in horizontaler Richtung bewegt. Die Motoren M1 , M2 bzw. M3, M4 stellen jeweils eine automatische Justiereinrichtung für den entsprechenden Scheinwerfer 2 bzw. 3 dar. In dem Fahrzeug 1 ist ferner eine 3D-Kamera in der Form einer Stereokamera SK verbaut, welche an der vorderen Kante des Dachs des Fahrzeugs an der Position PK angeordnet ist (siehe Fig. 1 ). Die Stereokamera umfasst die beiden Kameras K1 und K2, welche den Bereich vor dem Fahrzeug aus verschiedenen Blinkwinkeln aufnehmen und hierdurch ein Stereobild und somit dreidimensionale räumliche Informationen als Bilddaten erfassen. Die Stereokamera SK ist mit einer Auswerteeinheit AE im Fahrzeug verbunden, bei der es sich um eine Rechnereinheit handelt, welche wiederum eine Verbindung zu dem Lichtsteuergerät LS aufweist. Gegebenenfalls können das Lichtsteuergerät LS und die Auswerteeinheit AE auch ineinander integriert sein und eine gemeinsame Steuer- und Auswerteeinheit bilden. Zur Überprüfung der Scheinwerfer wird durch den Fahrer bzw. das Fahrzeug die Scheinwerferjustierung gestartet, z.B. indem ein entsprechender Bedienbefehl über eine Benutzerschnittstelle durch den Fahrer eingegeben wird. Anschließend fährt das Lichtsteuergerät LS die Scheinwerfer 2 und 3 in eine aktuelle Grundposition, welche die Position des Scheinwerfers ohne eine Anpassung aufgrund erhöhten Beladungszustands des Fahrzeugs ist. Anschließend aktiviert das Steuergerät LS die Scheinwerferleuchtmittel der Scheinwerfer 2 und 3 zur Generierung der Abblendlichtverteilung. Zeitgleich nehmen die Kameras K1 und K2 der Stereokamera SK ein Bild auf, welches an die Auswerteeinheit AE gesendet wird. Für die Stereokamera ist dabei eine in der Auswerteeinheit hinterlegte Blickrichtung ~KR festgelegt, welche im Wesentlichen der Längsrichtung des Fahrzeugs 1 entspricht. Über die Blickrichtung ist auch ein Bezugssystem des Fahrzeugs in der Form des in Fig. 1 gezeigten Koordinatensystems mit Ursprung in der Position PK und den orthogonalen Achsen x, y und z gegeben. Die z-Achse entspricht dabei der Blickrichtung der Stereokamera SK. Dieses Bezugssystem ist ortsfest in dem Kraftfahrzeug, d.h. es bewegt sich bei Veränderung der Position des Kraftfahrzeugs mit diesem mit.
Gemäß Fig. 1 sind ferner für das Abblendlicht der beiden Scheinwerfer jeweils Strahlrichtungen ~SR~l für den Scheinwerfer 2 und SR^ für den Scheinwerfer 3 festgelegt. In der hier beschriebenen Ausführungsform weisen die entsprechenden Strahlen bei korrekter Einstellung der Scheinwerfer auf den Punkt in der Lichtverteilung des jeweiligen Scheinwerfers mit der höchsten Intensität. Die beiden Strahlrichtungen sind in der Auswerteeinheit AE in Bezug auf das oben beschriebene Bezugssystem des Kraftfahrzeugs abgespeichert. In Fig. 1 ist ferner eine Projektionsfläche PF vor dem Fahrzeug gezeigt, bei der es sich um ein beliebiges Objekt mit flächiger Struktur handeln kann, denn das erfindungsgemäße Verfahren kann zur Justierung der Scheinwerfer beliebig geformte Projektionsflächen PF verwenden. Der Punkt mit der höchsten Lichtintensität in der Abblendlichtverteilung bei korrekter Justage des Scheinwerfers 2 auf der Projektionsfläche PF ist dabei mit PLs bezeichnet und stellt die Soll-Position des Punkts mit der höchsten Intensität für die Abblendlichtverteilung des Scheinwerfers 2 dar. Analog stellt die Position PRs die entsprechende Soll-Position für den Punkt mit der höchsten Intensität gemäß der von dem Scheinwerfer 3 generierten Abblendlichtverteilung dar. Die Positionen mit der höchsten Helligkeit entsprechen in der Regel der Mitte, der durch die jeweiligen Scheinwerfer generierten Lichtkegel. In dem Szenario der Fig. 1 sind die Scheinwerfer 2 und 3 verstellt, so dass die Ist-Position PL, des Punkts mit der höchsten Helligkeit für den Scheinwerfer 2 und analog die Ist-Position PRi für den Punkt mit der höchsten Helligkeit für den Scheinwerfer 3 von den entsprechenden Soll-Positionen PRs bzw. P|_s abweichen.
Wie oben beschrieben, werden die von der Stereokamera SK erfassten Bilder an die Auswerteeinheit AE übermittelt. Diese Auswerteeinheit berechnet dann mit an sich bekannten Algorithmen ein 3D-Modell der Oberfläche der Projektionsfläche PF. Dieses SD- Modell enthält eine Vielzahl von auf der Oberfläche identifizierten Positionen mit dreidimensionalen räumlichen Koordinaten, wobei diese Koordinaten wiederum in dem Bezugssystem des Fahrzeugs angegeben sind. Anschließend werden durch die Auswerteeinheit AE die Ist-Positionen PLi und PRi in der Lichtverteilung des Scheinwerfers ermittelt. Hierfür können an sich bekannte Mustererkennungs-Algorithmen eingesetzt werden.
In einem nächsten Schritt berechnet die Auswerteeinheit AE die Soll-Positionen PLs und PRs, indem unter Verwendung des 3D-Modells der Projektionsfläche PF die Durchstoßpunkte der entsprechenden Vektoren SR~l und SR^ durch die Projektionsfläche ermittelt werden. Anschließend bestimmt die Auswerteeinheit AE den (betragsmäßigen) Unterschied zwischen der Soll-Position PLs und der Ist-Position PLi sowie analog den (betragsmäßigen) Unterschied zwischen der Soll-Position PRs und der Ist-Position PRi. In der Auswerteeinheit ist dabei ein Schwellwert vorgegeben, der ein Toleranzmaß für die Einstellung der Scheinwerfer beschreibt. Sollte zumindest eine der ermittelten Abweichungen größer als der Schwellwert sein, wird in der Auswerteeinheit AE eine Verstellung (d.h. nicht korrekte Einstellung) der Scheinwerfer festgestellt. Im Falle einer solchen Verstellung berechnet die Auswerteeinheit AE aus den obigen Abweichungen zwischen Soll- Position und Ist-Position entsprechende horizontale und vertikale Verstellwinkel der Scheinwerfer 2 und 3.
Diese Verstellwinkel werden von der Auswerteeinheit AE an das Lichtsteuergerät LS gegeben, welche die aktuelle Grundposition basierend auf diesen Winkeln korrigiert. Basierend auf dieser korrigierten Grundposition werden dann mittels der oben beschriebenen Motoren M1 bis M4 die Scheinwerfer über das Lichtsteuergerät LS neu justiert, so dass die Ist-Positionen wieder mit den Soll-Positionen übereinstimmen. Nach der Justage kann gegebenenfalls nochmals eine Überprüfung der Scheinwerfer beginnend mit der Aufnahme von neuen Bildern durch die Stereokamera SK durchgeführt werden, um sicherzustel- len, dass die Neujustierung auch tatsächlich dazu geführt hat, dass die Ist-Positionen den Soll-Positionen entsprechen. Gegebenenfalls kann die Justierung dabei nochmals ange- passt werden. Wird schließlich keine Abweichung zwischen den Ist-Positionen und Soll- Positionen mehr festgestellt, wird die aktuelle Position der Scheinwerfer als neue Grundposition in dem Lichtsteuergerät dauerhaft gespeichert.
Für die oben beschriebene Ausführungsform des erfindungsgemäßen Verfahrens sind verschiedene Variationen möglich. Insbesondere müssen die Scheinwerfer bei der Bildaufnahme durch die Stereokamera nicht in ihren normalen Betriebszustand geschaltet werden, sondern sie können hierzu nur kurz aufblitzen. Auch muss sich an die Überprüfung der Scheinwerfer keine automatische Scheinwerferjustierung anschließen, d.h. das Verfahren kann auch in einem Fahrzeug ohne automatische Justiereinrichtung verwendet werden. In diesem Fall wird immer dann, wenn durch die Auswerteeinheit eine Verstellung des Scheinwerfers festgestellt wird, eine entsprechende Warnmeldung ausgegeben, mit der der Fahrer darüber informiert wird, dass die Scheinwerfer verstellt sind und ein entsprechender Service durchgeführt werden sollte.
Gegebenenfalls kann die Auswerteeinheit auch Eigenschaften der Projektionsfläche PF ermitteln. Wird beispielsweise festgestellt, dass die Projektionsfläche zerklüftet ist (d.h. es bestehen starke Unterschiede zwischen benachbarten Oberflächenkoordinaten), wird der Fahrer mittels einer Benutzerschnittstelle darüber informiert, dass die Projektionsfläche nicht geeignet ist, um die Einstellung der Scheinwerfer zu überprüfen und eine verlässliche Justierung der Scheinwerfer vorzunehmen.
Ferner kann die Auswerteeinheit durch Auswertung der Kamerabilder auch die Umgebungshelligkeit ermitteln. Falls diese zu hoch ist, kann der Fahrer über eine entsprechende Benutzerschnittstelle informiert werden, dass die Umgebungshelligkeit für eine verlässliche Überprüfung bzw. Justierung des Scheinwerfers zu hoch ist. Man macht sich hierbei die Erkenntnis zu Nutze, dass die oben beschriebene Ist-Position der höchsten Intensität aufgrund zu hoher Umgebungshelligkeit nicht mehr genau ermittelt werden kann.
In einer weiteren Ausgestaltung kann die Auswerteeinheit über einen entsprechenden Mustererkennungs-Algorithmus aus den Bilddaten eine Position der Fahrzeugfront (z.B. Motorhaube) extrahieren. Basierend auf dieser Information kann dann die Blickrichtung der Stereokamera SK bestimmt werden. Sollte diese Blickrichtung nicht mit der Richtung 1<R der Fig. 1 korrelieren, kann dies geeignet bei der Auswertung der Bilder im Rahmen einer Korrektür berücksichtigt werden. Mit anderen Worten kann das Bezugssystem des Kraftfahrzeugs, für das die entsprechenden Strahlrichtungen SRR bzw. S~R~ festgelegt sind, in den Bilddaten identifiziert werden.
Die im Vorangegangenen beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Insbesondere kann die Überprüfung eines Scheinwerfers unter Verwendung von verschiedensten Projektionsflächen vorgenommen werden, ohne dass die Form, Ausrichtung bzw. Position der Projektionsfläche vorab bekannt sind. Dies wird dadurch ermöglicht, dass die Oberfläche der Projektionsfläche basierend auf einem 3D-Modell modelliert wird, welches basierend auf den Bilddaten einer Stereokamera bzw. einer anderen 3D-Kamera erzeugt wird. Das Verfahren arbeitet dabei sehr schnell und kann gegebenenfalls bei jeder Aktivierung des Scheinwerfers durchgeführt werden. Ferner kann das Kraftfahrzeug im Falle einer Verstellung des Scheinwerfers auch eine automatische Justierung vornehmen, sofern eine entsprechende Justiereinrichtung im Fahrzeug verbaut ist.
Vorstehend wurde das erfindungsgemäße Verfahren durch Komponenten in einem Kraftfahrzeug durchgeführt. Gegebenenfalls kann das Verfahren auch durch einen Rechner außerhalb des Kraftfahrzeugs ausgeführt werden, der die Stereokamera und die Scheinwerfer des Kraftfahrzeugs ansteuert und insbesondere die Bilddaten der Kamera ausliest und zur Überprüfung der Scheinwerfer verarbeitet. Mit anderen Worten ist es nicht unbedingt erforderlich, dass die Komponenten zur Durchführung des Verfahrens (mit Ausnahme der Bildaufnahmeeinrichtung) im Kraftfahrzeug vorgesehen sein müssen. Vielmehr kann z.B. eine Kraftfahrzeugwerkstatt über eine Einrichtung zur Überprüfung der Scheinwerfereinstellung gemäß dem erfindungsgemäßen Verfahren verfügen.

Claims

Patentansprüche
Verfahren zum Überprüfen der Einstellung eines Scheinwerfers (2, 3) in einem Kraftfahrzeug (1 ), bei dem:
a) in einer vorgegebenen Grundposition des Scheinwerfers (2, 3) mittels einer Bildaufnahmeeinrichtung (SK) des Kraftfahrzeugs (1) eine auf den Scheinwerfer (2, 3) zuweisende Projektionsfläche (PF) zu einem oder mehreren Aufnahmezeitpunkten umfassend einen Aufnahmezeitpunkt mit aktiviertem Scheinwerfer (2, 3) erfasst wird, wodurch Bilddaten (PF) mit räumlichen Positionsinformationen erhalten werden, wobei die Bilddaten die Projektionsfläche (PF) enthalten;
b) aus den Bilddaten ein 3D-Modell der Projektionsfläche (PF) ermittelt wird, welches die Projektionsfläche (PF) in einem Bezugssystem des Kraftfahrzeugs (1) basierend auf einer Vielzahl von Positionen auf der Oberfläche der Projektionsfläche (PF) beschreibt;
c) aus den Bilddaten eine Ist-Position (Pu, Pm) eines Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahrzeugs (1 ) identifiziert wird, wobei der Lichtbereich durch einen für die Grundposition vorgegebenen Strahlengäng (5R7," SRR) im Licht des Scheinwerfers (2, 3) in dem Bezugssystem des Kraftfahrzeugs (1 ) charakterisiert ist;
d) basierend auf dem vorgegebenen Strahlengang (SR~l, SRR) und dem 3D- Modell der Projektionsfläche (PF) eine Soll-Position (PLs, PRs) des Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahrzeugs (1 ) ermittelt wird; e) eine Verstellung des Scheinwerfers (1 ,
2) festgestellt wird, falls die Abweichung zwischen der Ist-Position (PLi, PRi) und der Soll-Position (PLs, PRs) des Lichtbereichs einen vorgegebenen Schwellwert überschreitet.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in Schritt a) die Projektionsfläche (PF) mit einer Bildaufnahmeeinrichtung (SK) in der Form einer SD- Kamera, insbesondere einer Stereokamera und/oder einer TOF-Kamera, oder mit einer Bildaufnahmeeinrichtung eines Muster-Projektionssystems erfasst wird, dessen Lichtquelle vorzugsweise den Scheinwerfer (2, 3) umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in die Projektionsfläche (PF) in Schritt a) zu einem einzelnen Aufnahmezeitpunkt bei aktiviertem Scheinwerfer (2, 3) erfasst wird.
4. Verfahren nach einem der vorhergehende Ansprüche, bei dem der Lichtbereich innerhalb der Lichtverteilung des Scheinwerfers (2, 3) der Ort mit der höchsten Lichtintensität ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Warnmeldung ausgegeben wird, falls in Schritt e) eine Verstellung des Scheinwerfers (2, 3) festgestellt wird, wobei die Warnmeldung insbesondere eine durch das Kraftfahrzeug (1) ausgegebene Warnmeldung ist, welche durch den Fahrer des Kraftfahrzeugs wahrgenommen werden kann.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug (1 ) eine automatische Justiereinrichtung (M1 , M2, M3, M4) zur Justage der Position des Scheinwerfers (2, 3) im Kraftfahrzeug umfasst, wobei in einem Schritt f) die automatische Justiereinrichtung (M , M2, M3, M4) die Position des Scheinwerfers (2, 3) um die Abweichung zwischen der Ist-Position (Pu, PRi) und der Soll-Position (PLs, PRs) korrigiert, falls die Abweichung den vorgegebenen Schwellwert überschreitet.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass nach der Korrektur der Position des Scheinwerfers (2, 3) um die Abweichung zwischen der Ist-Position (Pu, PRI) und der Soll-Position (PLs, PRs) die korrigierte Position des Scheinwerfers (2, 3) als neue vorgegebene Grundposition im Kraftfahrzeug (1) gespeichert wird, wobei die Schritte a) bis f) vorzugsweise solange wiederholt werden, bis die Abweichung zwischen der Ist-Position (Pu, PRi) und der Soll-Position (PLs, PRs) in Schritt e) kleiner oder kleiner gleich dem vorgegebenen Schwellwert ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Scheinwerfer (2, 3) zu dem oder den Aufnahmezeitpunkten aufblitzt.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Schritt b) ein Maß für die Genauigkeit des 3D-Modells ermittelt wird, wobei das Verfahren abgebrochen wird oder eine Warnmeldung ausgegeben wird, wenn das Maß für die Genauigkeit des 3D-Mode|ls unterhalb einer vorbestimmten Schwelle liegt.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Bilddaten die Umgebungshelligkeit ermittelt wird, und das Verfahren abgebrochen wird oder eine Warnmeldung ausgegeben wird, wenn die Umgebungshelligkeit einen vorbestimmten Helligkeitswert überschreitet.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Bilddaten eine Position eines Bauteils des Kraftfahrzeugs (1) extrahiert wird und hierüber das Bezugssystem des Kraftfahrzeugs (1) in den Bilddaten identifiziert wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit dem Verfahren ein Frontscheinwerfer des Kraftfahrzeugs (1 ), insbesondere ein Abblendlichtscheinwerfer oder ein Fernlichtscheinwerfer oder ein
Tagfahrlicht-Scheinwerfer oder ein Nebelscheinwerfer, überprüft wird.
13. Vorrichtung zum Überprüfen der Einstellung eines Scheinwerfers (2, 3) in einem Kraftfahrzeug (1 ), wobei die Vorrichtung eine Rechnereinrichtung umfasst, welche derart ausgestaltet sind, dass die Rechnereinrichtung in deren Betrieb:
a) eine Bildaufnahmeeinrichtung (SK) des Kraftfahrzeugs (1 ) anweist, in einer vorgegebenen Grundposition des Scheinwerfers (2, 3) eine auf den Scheinwerfer (2, 3) zuweisende Projektionsfläche (PF) zu einem oder mehreren Aufnahmezeitpunkten umfassend einen Aufnahmezeitpunkt mit aktiviertem Scheinwerfer (2, 3) zu erfassen, wodurch Bilddaten (PF) mit räumlichen Positionsinformationen erhalten werden, wobei die Bilddaten die Projektionsfläche (PF) enthalten; b) aus den Bilddaten ein 3D-Modell der Projektionsfläche (PF) ermittelt, welches die Projektionsfläche (PF) in einem Bezugssystem des Kraftfahrzeugs (1 ) basierend auf einer Vielzahl von Positionen auf der Oberfläche der Projektionsfläche (PF) beschreibt;
c) aus den Bilddaten eine Ist-Position (PU, PR,) eines Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahrzeugs (1 ) identifiziert, wobei der Lichtbereich durch einen für die Grundposition vorgegebenen Strahlengang (SR~ , SRR) im Licht des Scheinwerfers (2, 3) in dem Bezugssystem des Kraftfahrzeugs (1 ) charakterisiert ist;
d) basierend auf dem vorgegebenen Strahlengang (SßL', SRR) eine Soll-Position (PLS, PRS) des Lichtbereichs innerhalb der Lichtverteilung des Scheinwerfers (2, 3) auf der Projektionsfläche (PF) in dem Bezugssystem des Kraftfahr- zeugs (1 ) ermittelt;
e) eine Verstellung des Scheinwerfers (1 , 2) feststellt, falls die Abweichung zwischen der Ist-Position (PLi, PRi) und der Soll-Position (PLs, PRs) des Lichtbereichs einen vorgegebenen Schwellwert überschreitet.
Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Vorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 2 bis 12 eingerichtet ist.
Kraftfahrzeug, umfassend eine Vorrichtung nach Anspruch 13 oder 14 zur Überprüfung eines Scheinwerfers des Kraftfahrzeugs (1 ).
EP14723428.0A 2013-06-24 2014-05-12 Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug Active EP3014239B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013211876.7A DE102013211876A1 (de) 2013-06-24 2013-06-24 Verfahren zum Überprüfen der Einstellung eines Scheinwerfers in einem Kraftfahrzeug
PCT/EP2014/059624 WO2014206624A1 (de) 2013-06-24 2014-05-12 Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug

Publications (2)

Publication Number Publication Date
EP3014239A1 true EP3014239A1 (de) 2016-05-04
EP3014239B1 EP3014239B1 (de) 2019-04-10

Family

ID=50693676

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14723428.0A Active EP3014239B1 (de) 2013-06-24 2014-05-12 Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug

Country Status (3)

Country Link
EP (1) EP3014239B1 (de)
DE (1) DE102013211876A1 (de)
WO (1) WO2014206624A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015109828A1 (de) * 2015-06-19 2016-12-22 Hella Kgaa Hueck & Co. Verfahren und System zur manuellen Justage eines Scheinwerfers eines Kraftfahrzeugs
DE102016213028A1 (de) * 2016-07-18 2018-01-18 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einem oder mehreren Scheinwerfern
DE102017117594A1 (de) 2017-08-03 2019-02-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Automatisierte Erkennung einer Scheinwerferfehlstellung
DE102018101686B3 (de) 2018-01-25 2019-01-24 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Erkennung von Pixelelementzuständen eines Matrixscheinwerfers eines Matrixscheinwerfersystems
DE102018204424B3 (de) 2018-03-22 2019-08-08 Audi Ag Verfahren zum Kalibrieren einer Position eines Matrix-Scheinwerfers eines Kraftfahrzeugs, Steuereinrichtung und Kraftfahrzeug
IT201800010372A1 (it) * 2018-11-15 2020-05-15 Nexion Spa Sistema prova-fari per un veicolo.
CN114441139B (zh) * 2020-11-04 2023-08-15 中移物联网有限公司 一种汽车大灯测试方法和装置
US12017577B2 (en) * 2021-06-30 2024-06-25 Apple Inc. Vehicles with automatic headlight alignment

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19932294A1 (de) * 1999-07-10 2001-01-11 Volkswagen Ag Verfahren zur Einstellung eines Scheinwerfers an einem Fahrzeug
DE102007010273A1 (de) * 2007-03-02 2008-09-04 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Fahrzeugs abhängig vom Verlauf einer Fahrbahn
DE102008025458B4 (de) 2008-05-28 2020-03-12 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
DE102008002026A1 (de) * 2008-05-28 2009-12-03 Robert Bosch Gmbh Vorrichtung, Kamera und Verfahren zur Erzeugung von Bildern der Umgebung eines Kraftfahrzeuges
DE102010049047A1 (de) * 2010-10-18 2012-04-19 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Überprüfung eines lichttechnischen Fahrassistenzsystems
DE102011003550A1 (de) 2011-02-03 2012-08-09 Automotive Lighting Reutlingen Gmbh Verfahren und Vorrichtung zum Justieren einer Grundeinstellung eines Scheinwerfers eines Kraftfahrzeugs
DE102011017697A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Leuchtweitenregulierung zumindest eines Scheinwerfers eines Fahrzeugs und Lichtsteuergerät
DE102011081392B4 (de) * 2011-08-23 2023-01-26 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102012102446A1 (de) * 2012-03-22 2013-09-26 Hella Kgaa Hueck & Co. Kamerabasierte Scheinwerferjustage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2014206624A1 *

Also Published As

Publication number Publication date
DE102013211876A1 (de) 2014-12-24
WO2014206624A1 (de) 2014-12-31
EP3014239B1 (de) 2019-04-10

Similar Documents

Publication Publication Date Title
EP3014239B1 (de) Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug
EP2630463B1 (de) Verfahren und vorrichtung zur überprüfung eines lichttechnischen fahrassistenzsystems
DE102008025459B4 (de) Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten vertikalen Hell-Dunkel-Grenze
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102011081392B4 (de) Verfahren zur Kalibrierung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102018204424B3 (de) Verfahren zum Kalibrieren einer Position eines Matrix-Scheinwerfers eines Kraftfahrzeugs, Steuereinrichtung und Kraftfahrzeug
DE112017005111T5 (de) Bordanzeigesteuervorrichtung
DE102010033351A1 (de) Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeugs ansteuernden Fahrzeugsystems
DE102016213028A1 (de) Kraftfahrzeug mit einem oder mehreren Scheinwerfern
DE102008025458A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
DE102012102446A1 (de) Kamerabasierte Scheinwerferjustage
EP3084385B1 (de) Verfahren und vorrichtung zum bestimmen einer leuchtweitenausrichtung eines scheinwerfers
DE102009031650B4 (de) Verfahren zur Erweiterung eines Kamerasystems, Kamerasystem, Fahrerassistenzsysem und entsprechendes Fahrzeug
DE102015223500A1 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102015008551A1 (de) Kalibrierung einer Kameraeinheit eines Kraftwagens
DE102018004829A1 (de) Ermittlung von Vorverzerrungsdaten für eine Projektion und Projektormodul
DE102008034166A1 (de) Verfahren und Vorrichtung zum Emitteln einer geeigneten Lichtverteilung des durch mindestens einen Frontscheinwerfer eines Fahrzeugs abgestrahlten Lichts
EP3208656B1 (de) Verfahren zum bestimmen einer projektionsfläche für eine projektionsvorrichtung eines kraftfahrzeugs, projektionssystem, sowie kraftfahrzeug
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102015012816A1 (de) Verfahren zum Kalibrieren eines Laserscheinwerfers in einem Kraftfahrzeug und Kraftfahrzeug
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102018102113B4 (de) Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102013105506A1 (de) Leuchtsystem für ein Kraftfahrzeug sowie Verfahren zur Justage einer Lichteinheit eines derartigen Leuchtsystems
DE102017214950A1 (de) Verfahren zur automatischen Scheinwerferkalibrierung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160111

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190103

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1119360

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190415

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502014011404

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190410

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190710

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190910

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190711

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190710

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190810

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502014011404

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190531

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190531

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190531

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190512

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

26N No opposition filed

Effective date: 20200113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190531

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1119360

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140512

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190410

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240522

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240516

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240522

Year of fee payment: 11