DE102011056690A1

DE102011056690A1 - Method and device for detecting moisture on a vehicle window

Info

Publication number: DE102011056690A1
Application number: DE102011056690A
Authority: DE
Inventors: Henryk Frenzel; Andreas Aumer; Roland Ertl
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive GmbH
Priority date: 2011-12-20
Filing date: 2011-12-20
Publication date: 2013-06-20
Also published as: DE112012003675A5; WO2013091619A1

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung von Feuchtigkeit (1) auf der Scheibe (2) eines Fahrzeugs mittels einer Kameravorrichtung sowie eine Kameravorrichtung zur Umsetzung des Verfahrens.The invention relates to a method for determining moisture (1) on the window (2) of a vehicle by means of a camera device and to a camera device for implementing the method.

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung von Feuchtigkeit auf der Scheibe eines Fahrzeugs mittels einer Kameravorrichtung. Die Erfindung betrifft weiterhin eine Kameravorrichtung zur Umsetzung des Verfahrens. The invention relates to a method for determining moisture on the window of a vehicle by means of a camera device. The invention further relates to a camera device for implementing the method.

Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine Kameravorrichtung zur Erfassung der Fahrzeugumgebung, beispielsweise zur Erkennung verschiedenster Objekte im Umfeld des Fahrzeugs. Driver assistance systems in vehicles often use a camera device to detect the vehicle environment, for example, to detect a wide variety of objects in the vicinity of the vehicle.

Die Kameravorrichtung ist dabei in der Regel hinter der Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Fahrbahnmarkierungen, Nachtsichtkameras und Stereokameras als optische Abstandssensoren. The camera device is usually arranged behind the windshield of the vehicle and looks in the direction of travel through the disc. For example, vehicle cameras for detecting lane markings, night vision cameras and stereo cameras are known as optical distance sensors.

Bekannt ist heutzutage bereits die Ausgestaltung einer Kameravorrichtung mit einer Zusatzfunktion bzw. Sekundärfunktion, insbesondere mit einer Funktion zur Ermittlung von Feuchtigkeit auf der Fahrzeugscheibe, d.h. von feuchten Ablagerungen wie beispielsweise Schnee, Eis und Regen. Already known today is the design of a camera device with an additional function or secondary function, in particular with a function for detecting moisture on the vehicle window, i. from damp deposits such as snow, ice and rain.

In der DE 10 2004 015 040 A1 ist eine Kameravorrichtung zur Erfassung einer Fahrzeugumgebung durch eine Fahrzeugscheibe gezeigt, z.B. zur Verkehrszeichenerkennung, die neben der Erfassung der Fahrzeugumgebung eine Sekundärfunktion in Form einer Regenerkennung zur Verfügung stellt. Hierfür weist die Kameravorrichtung eine Strahlungsquelle auf, wobei von der Strahlungsquelle ausgegebene optische Strahlung in die Fahrzeugscheibe zunächst ein- und dann auskoppelbar ist, und wobei der ausgekoppelte Teil der optischen Strahlung von dem Bildaufnahmeelement der Kameravorrichtung erfasst wird. Die von der Strahlungsquelle ausgegebene optische Strahlung wird dabei derart in die Fahrzeugscheibe eingekoppelt, dass diese, wenn sich keine Feuchtigkeit auf der Fahrzeugscheibe befindet, bis zum Ort des Auskoppelns totalreflektiert wird. Für den Fall, dass sich Feuchtigkeit auf der Fahrzeugscheibe befindet, reduziert sich der totalreflektierte Anteil der Strahlung. Anhand der reduzierten Intensität lässt sich mittels der Kameravorrichtung Feuchtigkeit auf der Fahrzeugscheibe ermitteln. In the DE 10 2004 015 040 A1 a camera device for detecting a vehicle environment is shown by a vehicle window, for example for traffic sign recognition, which provides a secondary function in the form of rain detection in addition to the detection of the vehicle environment. For this purpose, the camera apparatus has a radiation source, wherein optical radiation emitted by the radiation source is first input and then decoupled into the vehicle window, and wherein the decoupled part of the optical radiation is detected by the image recording element of the camera apparatus. The optical radiation emitted by the radiation source is thereby coupled into the vehicle window in such a way that, if there is no moisture on the vehicle window, it is totally reflected up to the point of decoupling. In the event that moisture is on the vehicle window, the total reflected portion of the radiation is reduced. On the basis of the reduced intensity can be determined by means of the camera device moisture on the vehicle window.

Eine weitere Fahrzeugkamera mit einer Sekundärfunktion zeigt die DE 10 2009 000 003 A1 . In diesem Fall dient die Sekundärfunktion ebenfalls zur Erfassung des Zustands einer Fahrzeugscheibe. Die Kameravorrichtung umfasst ein Bildaufnahmeelement, mittels dem primär Bilder aus der Fahrzeugumgebung erfasst und als Bildsignale ausgegebene werden. Die Kameravorrichtung umfasst weiterhin eine Strahlungsquelle zur Ausgabe von optischer Strahlung auf die Fahrzeugscheibe, wobei durch das Bildaufnahmeelement in Abhängigkeit des Scheibenzustands zumindest ein Teil der von der Strahlungsquelle ausgegebenen optischen Strahlung erfassbar ist. Es ist weiterhin eine Auswerteeinheit vorgesehen, welche die vom Bildaufnahmeelement ausgegebenen Bildsignale erfasst und daraus den Scheibenzustand ermittelt, insbesondere durch Ermittlung von Lichtreflexen auf der Fahrzeugscheibe im Kamerabild, welche das Bild der Fahrzeugumgebung überlagern. Another vehicle camera with a secondary function shows the DE 10 2009 000 003 A1 , In this case, the secondary function also serves to detect the state of a vehicle window. The camera apparatus includes an image pickup element by means of which images from the vehicle surroundings are primarily acquired and output as image signals. The camera apparatus further comprises a radiation source for emitting optical radiation onto the vehicle window, wherein at least part of the optical radiation emitted by the radiation source can be detected by the image recording element as a function of the pane state. Furthermore, an evaluation unit is provided, which detects the image signals output by the image recording element and determines therefrom the disk state, in particular by determining light reflections on the vehicle window in the camera image, which superimpose the image of the vehicle surroundings.

Nachteilig bei den aus dem Stand der Technik bekannten Verfahren zur Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe, insbesondere mit einer Kameravorrichtung, die primär auf einen Fernbereich fokussiert ist und bei der mittels einer Strahlungsquelle und geeigneter Bildverarbeitung eine Regen- bzw. Feuchtigkeitserkennung als Sekundärfunktion realisiert ist, ist die Tatsache, dass nicht immer eine sichere und zuverlässige Erkennung von Feuchtigkeit möglich ist, beispielsweise bei ungünstigen Lichtverhältnissen in der Fahrzeugumgebung. Bei den bislang eingesetzten Verfahren und Vorrichtungen ist es nicht immer möglich, die optische Strahlung der Fahrzeugumgebung von der optischen Strahlung der Strahlungsquelle zu trennen. Dadurch, dass der Fokus der verwendeten Kameravorrichtungen auf einen Fernbereich ausgerichtet ist, sind Strukturen und Lichtreflexe, die an feuchten Ablagerungen auf der Scheibe entstehen, im Unschärfebereich der Kameravorrichtung und können nur schwierig mittels einer Bildverarbeitung detektiert werden. Zudem ist es für die Kameravorrichtung bzw. den Bildverarbeitungsalgorithmus schwierig, Bildinformationen im Schärfebereich (Fernbereich) von Bildinformationen im Unschärfebereich (Oberfläche der Fahrzeugscheibe) zu trennen bzw. zu filtern und damit eindeutig auf den Scheibenzustand zu schließen. A disadvantage of the method known from the prior art for detecting moisture on a vehicle window, in particular with a camera device which is primarily focused on a long range and in which a rain or moisture detection is implemented as a secondary function by means of a radiation source and suitable image processing, is the fact that not always a safe and reliable detection of moisture is possible, for example in adverse light conditions in the vehicle environment. In the previously used methods and devices, it is not always possible to separate the optical radiation of the vehicle environment from the optical radiation of the radiation source. Due to the fact that the focus of the camera devices used is oriented to a long-range area, structures and light reflections that arise on moist deposits on the disc are in the blur area of the camera apparatus and can only be detected with difficulty by means of image processing. In addition, it is difficult for the camera apparatus or the image processing algorithm to separate or filter image information in the focus range (far range) of image information in the blur range (surface of the vehicle window), thus clearly concluding the disk condition.

Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung anzugeben, mit denen eine zuverlässigere und sicherere Erkennung von Feuchtigkeit auf einer Fahrzeugscheibe möglich ist, als mit den bislang bekannten Lösungen. The invention is therefore based on the object to provide a method and a device with which a more reliable and safer detection of moisture on a vehicle window is possible, as with the previously known solutions.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch eine Vorrichtung mit den Merkmalen nach Anspruch 7 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind. This object is achieved by a method having the features of claim 1 and by a device having the features of claim 7. Advantageous embodiments and further developments are the subject of dependent claims, wherein combinations and developments of individual features are conceivable with each other.

Ein wesentlicher Gedanke der Erfindung besteht darin, die Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe, mittels einer Kameravorrichtung zu realisieren, die primär auf einen Fernbereich fokussiert ist, wobei die Fahrzeugscheibe mittels zumindest einer Strahlungsquelle mit optischer Strahlung unterschiedlicher Wellenlänge beleuchtet wird, insbesondere mit unterschiedlich farbigem Licht. Die Beleuchtung mit optischer Strahlung unterschiedlicher Wellenlänge kann insbesondere mit meiner LED-Beleuchtung umgesetzt werden, z.B. mit verschiedenen Farben innerhalb einer LED (z.B. Multicolor-LED) oder aber mit einzelnen verschiedenfarbigen LEDs. Der Erfindung liegt dabei die Idee zugrunde, dieselbe Szene bzw. dasselbe Bild mit denselben Wassertropen (oder anderen feuchten Ablagerungen) auf der Fahrzeugscheibe in kurzer Zeit insbesondere mit verschieden farbigem Licht zu beleuchten und durch farbliche Lichtmuster, d.h. durch Lichtreflexe bzw. Kantenbildungen, die an feuchten Ablagerungen auf der Scheibe entstehen, in denselben Bildpositionen mit unterschiedlichen Farben bzw. Wellenlängenbereich passend zur Beleuchtung, eine einfache Feuchtigkeitserkennung zu realisieren. Durch die aufeinanderfolgende Beleuchtung mit insbesondere unterschiedlich farbigem Licht, können auf einfach Weise alle anderen Informationen aus dem Bild herausgefiltert werden. Durch eine geeignete Synchronisierung der von einer Strahlungsquelle ausgegebenen optischen Strahlung unterschiedlicher Wellenlänge mit der Bildaufnahme bzw. der Bildverarbeitung des aufgenommenen Bildes, können hierbei unscharfe Bildinformationen der Fahrzeugscheibe von scharfen Bildinformationen des Fernbereichs auf einfache Weise voneinander getrennt werden. An essential concept of the invention is to realize the determination of moisture on a vehicle window, by means of a camera device, which is primarily focused on a long range, wherein the vehicle window by means of at least one radiation source is illuminated with optical radiation of different wavelengths, in particular with differently colored light. The illumination with optical radiation of different wavelengths can be implemented in particular with my LED lighting, for example with different colors within an LED (eg multicolor LED) or with individual differently colored LEDs. The invention is based on the idea to illuminate the same scene or the same picture with the same water tropics (or other moist deposits) on the vehicle window in a short time, especially with differently colored light and by color light patterns, ie by light reflections or edge formations, the damp deposits on the disc arise in the same image positions with different colors or wavelength range suitable for lighting, to realize a simple moisture detection. The successive illumination, in particular with differently colored light, makes it easy to filter out all other information from the image. By appropriately synchronizing the optical radiation of different wavelengths output by a radiation source with the image recording or the image processing of the recorded image, blurred image information of the vehicle window can be easily separated from sharp image information of the long range.

Das erfindungsgemäße Verfahren dient zur Erkennung von Feuchtigkeit auf einer Scheibe eines Fahrzeugs, insbesondere von feuchten Ablagerungen, wie beispielsweise Schnee, Eis und/oder Regen. Die Information über Feuchtigkeit kann insbesondere von Fahrzeugsystemen bzw. für Fahrerassistenzfunktionen genutzt werden, beispielsweise für Systeme zur automatischen Ansteuerung von Scheibenwischern, Scheibenheizungen oder eines Schiebedach und/oder zur Konditionierung von verschiedenen Fahrstabilitätssystemen, wie ESP, ABS, etc. The method according to the invention serves to detect moisture on a window of a vehicle, in particular moist deposits, such as snow, ice and / or rain. The information about moisture can be used in particular by vehicle systems or for driver assistance functions, for example for systems for the automatic control of windshield wipers, window heaters or a sunroof and / or for the conditioning of various driving stability systems, such as ESP, ABS, etc.

Im Rahmen des erfindungsgemäßen Verfahrens kommt bevorzugt eine Kameravorrichtung zum Einsatz, die im Innenraum eines Fahrzeugs hinter einer Scheibe angeordnet ist und bei der mittels eines Bildaufnahmeelements Bilder aus einer Fahrzeugumgebung durch die Scheibe hindurch erfassbar sind, insbesondere indem die Kameravorrichtung mit Blickrichtung durch die Scheibe hindurch angeordnet und auf einen Fernbereich bzw. auf unendlich fokussiert ist, beispielsweise auf Entfernungen größer als 10 m und/oder auf Entfernungen im Bereich von 10 bis 50 m. In the context of the method according to the invention, a camera device is preferably used which is arranged in the interior of a vehicle behind a pane and in which images from a vehicle environment can be detected through the pane by means of an image recording element, in particular by the camera device being arranged through the pane with a viewing direction and is focussed to a far-field or to infinity, for example to distances greater than 10 m and / or to distances in the range of 10 to 50 m.

Die Kameravorrichtung kann weiterhin wenigstens eine Strahlungsquelle umfassen, mittels derer optische Strahlung ausgebbar ist, insbesondere auf und/oder in die Scheibe des Fahrzeugs, sowie auf einen Bereich der Scheibe durch den die Kameravorrichtung blickt und die Fahrzeugumgebung erfasst. Die wenigstens eine Strahlungsquelle ist dabei bevorzugt derart ausgeordnet, dass bei Vorhandensein von Feuchtigkeit auf der Scheibe die von der Strahlungsquelle ausgegebene optische Strahlung bzw. zumindest ein Teil der optischen Strahlung durch das Bildaufnahmeelement erfassbar ist. Die von der Strahlungsquelle ausgegebene optische Strahlung kann dabei das Bild aus der Fahrzeugumgebung zumindest teilweise, d.h. in einzelnen Bildbereichen, überlagern, beispielsweise in Form von unscharfen Strukturen bzw. Lichtmustern. The camera device can furthermore comprise at least one radiation source, by means of which optical radiation can be output, in particular onto and / or into the window of the vehicle, as well as onto a region of the window through which the camera device looks and detects the vehicle surroundings. The at least one radiation source is preferably arranged such that in the presence of moisture on the disc, the optical radiation emitted by the radiation source or at least part of the optical radiation can be detected by the image recording element. The optical radiation emitted by the radiation source can thereby at least partially, for example, the image from the vehicle environment, i. in individual image areas, overlay, for example in the form of blurred structures or light patterns.

Das erfindungsgemäße Verfahren kann somit grundsätzlich bei jeder aus dem Stand der Technik bekannten, insbesondere auf einen Fernbereich fokussierten, Kameravorrichtung zum Einsatz kommen, die im Fahrzeuginnenraum hinter einer Fahrzeugscheibe angeordnet ist, insbesondere mit Blickrichtung durch die Scheibe hindurch, wobei die Fahrzeugscheibe, bzw. deren Oberfläche, im Unschärfebereich der Kameravorrichtung liegt und wobei die Kameravorrichtung zur Feuchtigkeitserkennung wenigstens eine Strahlungsquelle umfasst, die optische Strahlung auf und/oder in die Fahrzeugscheibe derart ausgibt, dass bei Feuchtigkeit auf der Fahrzeugscheibe zumindest ein Teil der optischen Strahlung durch die Kameravorrichtung erfassbar ist, insbesondere als unscharfe Lichtmuster bzw. Strukturen, welche das mittels der Kameravorrichtung erfasste Bild der Fahrzeugumgebung zumindest teilweise überlagern. The method according to the invention can thus basically be used in any camera device known from the prior art, in particular focused on a long range, which is arranged in the vehicle interior behind a vehicle window, in particular with a view through the window, the vehicle window or its Surface, is in the blur range of the camera device and wherein the camera device for detecting moisture comprises at least one radiation source that outputs optical radiation on and / or in the vehicle window such that when moisture on the vehicle window at least a portion of the optical radiation is detected by the camera device, in particular as blurred light patterns or structures which at least partially overlay the image of the vehicle environment captured by the camera device.

Bei der Scheibe des Fahrzeugs, hinter der die Kameravorrichtung angeordnet ist und auf welcher mittels des erfindungsgemäßen Verfahrens bzw. mittels der erfindungsgemäßen Vorrichtung Feuchtigkeit erfasst wird, handelt es sich vorzugweise um die Windschutzscheibe des Fahrzeugs. In the window of the vehicle, behind which the camera device is arranged and on which by means of the method according to the invention or by means of the device according to the invention moisture is detected, it is preferable to the windshield of the vehicle.

Bei der Fahrzeugumgebung handelt es sich vorzugsweise um einen Bereich der Umgebung des Fahrzeugs, insbesondere um den in Fahrtrichtung vorausliegenden Verkehrsraum. The vehicle environment is preferably an area of the surroundings of the vehicle, in particular the traffic space ahead in the direction of travel.

Bei der von der zumindest einen Strahlungsquelle ausgegebenen optischen Strahlung handelt es sich vorzugsweise um elektromagnetische Strahlung, die von der Strahlungsquelle, beispielsweise in Abhängigkeit von Steuersignalen, ausgeben wird, wobei die spektrale Zusammensetzung bzw. die Wellenlänge der von der Strahlungsquelle ausgegebenen optischen Strahlung vorzugsweise bestimmbar ist. Dabei kann sowohl optische Strahlung im sichtbaren Wellenlängenbereich (etwa im Bereich von 400 bis 700 nm) als auch optische Strahlung im unsichtbaren Wellenlängenbereich, z.B. infrarotes oder ultraviolettes Licht, von der zumindest einen Strahlungsquelle ausgegeben werden. The optical radiation emitted by the at least one radiation source is preferably electromagnetic radiation which is emitted by the radiation source, for example as a function of control signals, the spectral composition or the wavelength of the optical radiation emitted by the radiation source preferably being determinable , In this case, both optical radiation in the visible wavelength range (approximately in the range of 400 to 700 nm) and optical radiation in the invisible wavelength range, such as infrared or ultraviolet light from which at least one radiation source is output.

Bei der Strahlungsquelle kann es sich beispielsweise um eine oder mehrere LEDs (LED; Light Emitting Diode) handeln oder auch um eine oder mehrere Mehrfarben-LEDs (Multicolor-LEDs), d.h. LEDs die in der Lage sind elektromagnetische Strahlung mit unterschiedlichen Wellenlängen bzw. unterschiedlich farbiges Licht zu erzeugen und auszugeben. Die zumindest eine Strahlungsquelle der Kameravorrichtung kann ebenfalls im Innenraum des Fahrzeugs angeordnet sein, beispielsweise direkt hinter der Fahrzeugscheibe im Einbauraum der Kameravorrichtung und insbesondere derart, dass die zweite optische Strahlung direkt und/oder in einem definierten Winkel auf die Scheibe des Fahrzeugs ausgegeben wird. Dabei kann die Scheibe von dergleichen Position aus beleuchtet werden, z.B. mittels nur einer Strahlungsquelle, und/oder von verschiedenen Positionen aus, z.B. mittels mehrerer Strahlungsquellen. For example, the radiation source may be one or more LEDs (Light Emitting Diode) or one or more multicolor LEDs, i. LEDs that are capable of generating electromagnetic radiation with different wavelengths or different colored light and output. The at least one radiation source of the camera device can also be arranged in the interior of the vehicle, for example directly behind the vehicle window in the installation space of the camera device and in particular such that the second optical radiation is output directly and / or at a defined angle to the window of the vehicle. In this case, the disc can be illuminated from the same position, e.g. by means of only one radiation source, and / or from different positions, e.g. by means of several radiation sources.

Die optische Strahlung kann mittels der zumindest einen Strahlungsquelle insbesondere frei auf die Fahrzeugscheibe ausgegebenen werden. Es können aber auch beispielsweise eines oder mehrere Einkoppelelemente vorgesehen sein, z.B. Lichtleiter aus Glas, über die die von der zumindest einen Strahlungsquelle ausgegebene optische Strahlung in die Scheibe eingekoppelt wird. Die von der Strahlungsquelle ausgegebene optische Strahlung kann insbesondere auch unter einem derartigen Winkel auf und/oder in die Scheibe ausgegeben werden, dass die optische Strahlung über Totalreflektion in der Scheibe geführt wird. Die von der zumindest einen Strahlungsquelle ausgegebene optische Strahlung wird dabei vorzugsweise nur dann von dem Bildaufnahmeelement der Kameravorrichtung erfasst, wenn sich Feuchtigkeit auf der Fahrzeugscheibe befindet, insbesondere wenn die von der zumindest einen Strahlungsquelle ausgegebene optische Strahlung von feuchten Ablagerungen, z.B. Regentropfen, in Richtung der auf den Fernbereich fokussierten Kameravorrichtung reflektiert wird. The optical radiation can be emitted, in particular, freely onto the vehicle window by means of the at least one radiation source. However, it is also possible for example to provide one or more coupling elements, e.g. Optical fiber made of glass, via which the optical radiation emitted by the at least one radiation source is coupled into the pane. In particular, the optical radiation emitted by the radiation source can also be output onto and / or into the pane at such an angle that the optical radiation is guided by total reflection in the pane. The optical radiation output by the at least one radiation source is preferably detected by the image recording element of the camera device only when moisture is present on the vehicle window, in particular when the optical radiation emitted by the at least one radiation source is blocked by moist deposits, e.g. Raindrop, is reflected in the direction of the far-field focused camera device.

Gemäß dem erfindungsgemäßen Verfahren werden wenigstens zwei Messungen durchgeführt. Bei jeder der Messungen wird dabei von der zumindest einen Strahlungsquelle optische Strahlung mit einer unterschiedlichen Wellenlänge ausgegebenen, d.h. insbesondere verschiedenfarbiges Licht. Gemäß dem erfindungsgemäßen Verfahren werden weiterhin die bei den wenigstens zwei Messungen vom Bildaufnahmeelement ausgegebenen Bildsignale erfasst und zur Ermittlung von Feuchtigkeit ausgewertet. Bei den Bildsignalen, die bei den wenigstens zwei Messungen erfasst werden, handelt es sich dabei vorzugsweise um je ein Bild je Messung, das vom Bildaufnahmeelement in Form von Bildsignalen ausgegebenen wurde, wobei es sich insbesondere um in Bild der Fahrzeugumgebung handelt, welches bei Vorhandensein von Feuchtigkeit auf der Scheibe von der optischen Strahlung, die von der Strahlungsquelle bei den Messungen ausgegebenen wurde, überlagert ist. According to the method of the invention at least two measurements are performed. In each of the measurements, optical radiation having a different wavelength is output from the at least one radiation source, i. in particular different colored light. In accordance with the method according to the invention, furthermore, the image signals output by the image recording element during the at least two measurements are detected and evaluated to determine moisture. The image signals which are detected in the at least two measurements are preferably one image per measurement, which was output by the image recording element in the form of image signals, which in particular is an image of the vehicle surroundings, which in the presence of Moisture on the disc is superimposed by the optical radiation emitted by the radiation source during the measurements.

Das erfindungsgemäße Verfahren kann somit beispielsweise derart ausgebildet, dass bei einer ersten Messung von der zumindest einen Strahlungsquelle optische Strahlung aus einem ersten Wellenlängenbereich ausgegeben wird und ein erstes vom Bildaufnahmeelement ausgegebenes Bild erfasst wird, und bei einer zweiten Messung von der zumindest einen Strahlungsquelle optische Strahlung aus einem zweiten Wellenlängenbereich ausgegeben und ein zweites Bild erfasst wird. The method according to the invention can thus be designed, for example, such that optical radiation is emitted from a first wavelength range from the at least one radiation source and a first image output from the image recording element is detected, and optical radiation from the at least one radiation source during a second measurement a second wavelength range and a second image is detected.

Die Bildsignale bzw. die Bilder können dabei beispielsweise mittels einer Bildverarbeitungseinrichtung erfasst und zur Erkennung von Feuchtigkeit auf der Fahrzeugscheibe ausgewertet werden. Bei der Auswertung kann insbesondere verglichen werden in welchen Bereichen der Bilder gleiche Strukturen bzw. Lichtreflexe mit unterschiedlichen Farben bzw. mit unterschiedlicher Wellenlänge auftauchen, passend zu den von der Strahlungsquelle ausgegebenen Wellenlängen, wobei diese Strukturen dann auf feuchte Ablagerungen im Nahbereich, d.h. auf der Fahrzeugscheibe, deuten. Über eine bestimmte Anzahl derartiger Strukturen kann beispielsweise auf Regen geschlossen werden. The image signals or the images can be detected, for example, by means of an image processing device and evaluated for detecting moisture on the vehicle window. In the evaluation, it can be compared, in particular, in which areas of the images the same structures or light reflections with different colors or with a different wavelength emerge, matching the wavelengths emitted by the radiation source, these structures then responding to moist deposits in the near zone, i. on the vehicle window, interpret. Over a certain number of such structures, for example, rain can be concluded.

Erfindungsgemäß können auch drei oder mehr Messungen durchgeführt werden, wobei analog zur vorangegangenen Beschreibung, bei jeder Messung von der Strahlungsquelle vorzugsweise optische Strahlung mit jeweils einer anderen Wellenlänge ausgegeben wird und bei jeder Messung die vom Bildaufnahmeelement ausgegebenen Bildsignale bzw. Bilder der Fahrzeugumgebung erfasst und ausgewertet werden. According to the invention, three or more measurements can also be carried out, wherein, analogously to the preceding description, optical radiation with a different wavelength is output for each measurement from the radiation source and the image signals or images of the vehicle environment output by the image recording element are recorded and evaluated during each measurement ,

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens ist die Tatsache, dass durch die Beleuchtung der Fahrzeugscheibe mit optischer Strahlung unterschiedlicher Wellenlänge, gemäß dem erfindungsgemäßen Verfahren, die Erkennung von Feuchtigkeit auf der Fahrzeugscheibe wesentlich vereinfacht wird, da die optische Strahlung, die aus dem Unschärfebereich der Kameravorrichtung erfasst wird, auf einfach Weise von optischer Strahlung getrennt werden, die aus der Fahrzeugumgebung erfasst wird. A significant advantage of the method according to the invention is the fact that the illumination of the vehicle window with optical radiation of different wavelengths, according to the method of the invention, the detection of moisture on the vehicle window is significantly simplified, since the optical radiation detected from the blur range of the camera device will be easily separated from optical radiation detected from the vehicle environment.

In einer bevorzugten Ausführungsvariante des erfindungsgemäßen Verfahrens werden die zumindest zwei Messung aufeinander folgend und insbesondere in sehr kurzem Zeitabstand, z.B. innerhalb eines Zeitfensters von 5ms, durchgeführt. Vorzugsweise werden die zumindest zwei Messungen direkt aufeinander folgend durchgeführt, d.h. die zumindest eine Strahlungsquelle wird direkt von einer Wellenlänge einer vorangehenden Messung auf die Wellenlänge der darauffolgenden Messung umgeschaltet, wobei erfindungsgemäß bei jeder Messung wenigstens ein vom Bildaufnahmeelement in Form von Bildsignalen ausgegebenes Bild erfasst und die bei den Messungen erfassten Bilder zur Ermittlung von Feuchtigkeit ausgewertet werden. In a preferred embodiment of the method according to the invention, the at least two measurements are carried out consecutively and in particular in a very short time interval, for example within a time window of 5 ms. Preferably, the at least two measurements become direct performed sequentially, ie, the at least one radiation source is switched directly from a wavelength of a previous measurement to the wavelength of the subsequent measurement, according to the invention detected at each measurement at least one image output by the image pickup element in the form of image signals and captured during the measurements images for determination be evaluated by moisture.

In einer weiteren bevorzugten Ausführungsvariante des erfindungsgemäßen Verfahrens erfolgt die Ermittlung von Feuchtigkeit auf der Fahrzeugscheibe durch einen Vergleich der Bilder, die bei den wenigstens zwei Messungen mittels des Bildaufnahmeelements erfassten und in Form von Bildsignalen ausgegebenen werden. In a further preferred embodiment variant of the method according to the invention, the determination of moisture on the vehicle window takes place by a comparison of the images which are acquired by the image recording element in the at least two measurements and output in the form of image signals.

Bei dem Vergleich der Bilder werden bevorzugt unscharfe Lichtmuster bzw. Strukturen in den Bildern ermittelt, die eine im Wesentlichen identische Form aufweisen und/oder in gleichen Bildbereichen der Bilder ermittelt werden. Bei den unscharfen Lichtmustern handelt es sich dabei insbesondere um in den Bildern erkannte unscharfe Strukturen, deren spektrale Zusammensetzung bzw. deren Wellenlängen jeweils den Wellenlängen entsprechen, die bei den einzelnen Messungen von der Strahlungsquelle ausgegebenen wurden. Die genannten unscharfen Lichtmuster können insbesondere dann entstehen, wenn die von der zumindest einen Strahlungsquelle ausgegebene optische Strahlung an feuchten Ablagerungen auf der Fahrzeugscheibe gebrochen, gestreut und/oder reflektiert wird, beispielsweise an Regen- bzw. Wassertropfen. When comparing the images, fuzzy light patterns or structures are preferably determined in the images, which have a substantially identical shape and / or are determined in the same image areas of the images. The blurred light patterns are, in particular, blurred structures recognized in the images whose spectral composition or their wavelengths respectively correspond to the wavelengths which were emitted by the radiation source in the individual measurements. The said blurred light patterns can arise, in particular, when the optical radiation emitted by the at least one radiation source is refracted, scattered and / or reflected by moist deposits on the vehicle window, for example to rain or water droplets.

Unter unscharfen Lichtmustern mit im Wesentlichen identischer Form sind dabei insbesondere Lichtmuster zu verstehen, deren Form von Bild zu Bild gar keine oder nur geringe Unterschiede aufweisen, beispielsweise wenn es zwischen der Erfassung einzelner Bilder aufeinander folgender Messungen zu einem Verlaufen von einzelnen feuchten Ablagerungen kommt. Unter unscharfen Lichtmustern, die in gleichen Bildbereichen ermittelt werden, sind insbesondere Lichtmuster zu verstehen, die in allen Bildern ermittelt werden und deren Position, z.B. Abstände zu den Bildrändern, in allen Bildern identisch ist. Blurred light patterns of substantially identical shape are understood to mean, in particular, light patterns whose shape does not show any or only slight differences from image to image, for example if a run-off of individual moist deposits occurs between the acquisition of individual images of successive measurements. Blurred light patterns, which are determined in the same image areas, are to be understood in particular as light patterns which are determined in all images and whose position, e.g. Distances to the image edges, is identical in all images.

Bei einer besonderen Ausführungsvariante des erfindungsgemäßen Verfahrens wird dann auf das Vorhandensein von Feuchtigkeit auf der Scheibe des Fahrzeugs geschlossen, wenn bei dem Vergleich der vom Bildaufnahmeelement bei den Messungen ausgegebenen Bildern eine bestimmte Anzahl an Lichtmustern ermitteltet wird, insbesondere deren Form bzw. Struktur in den einzelnen Bildern der verschiedenen Messungen identisch ist und/oder die in gleichen Bildbereichen erkannt werden. In a particular embodiment variant of the method according to the invention, the presence of moisture on the window of the vehicle is then concluded when a specific number of light patterns is determined in the comparison of the images output by the image recording element during the measurements, in particular their shape or structure in the individual Pictures of the different measurements is identical and / or which are detected in the same image areas.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden bei der Ermittlung von Feuchtigkeit die Bildinformationen der Fahrzeugumgebung aus den Bildern herausgefiltert. In an advantageous embodiment of the method according to the invention, the image information of the vehicle environment is filtered out of the images in the determination of moisture.

Die erfindungsgemäße Kameravorrichtung umfasst vorzugsweise eine Steuerungs- und/oder Auswerteeinheit, zur Ansteuerung der wenigstens einen Strahlungsquelle und zur Synchronisation von Beleuchtung und Bildverarbeitung bei den wenigstens zwei Messungen derart, dass bei den wenigstens zwei Messungen jeweils optische Strahlung unterschiedlicher Wellenlänge von der Strahlungsquelle ausgegeben wird und synchron zur Ausgabe der optischen Strahlung jeweils wenigstens ein von dem Bildaufnahmeelement in Form von Bildsignalen ausgegebenes Bild der Fahrzeugumgebung, beispielsweise von einer Bildverarbeitungseinrichtung, gemäß dem erfindungsgemäßen Verfahren erfasst und ausgewertet wird. Bei der Steuerungs- und/oder Auswerteeinheit zur Synchronisation von Beleuchtung und Bildverarbeitung kann es sich insbesondere auch um die Bildverarbeitungseinrichtung handeln, d.h. die Synchronisation von Beleuchtung Bildverarbeitung erfolgt vorzugsweise direkt durch die Bildverarbeitungseinrichtung, mittels derer die Bilder der wenigstens zwei Messungen ausgewertet werden. The camera apparatus according to the invention preferably comprises a control and / or evaluation unit for controlling the at least one radiation source and for synchronizing illumination and image processing in the at least two measurements such that optical radiation of different wavelength is output from the radiation source in the at least two measurements and synchronously with the output of the optical radiation, in each case at least one image of the vehicle surroundings output by the image recording element in the form of image signals, for example from an image processing device, is detected and evaluated in accordance with the method according to the invention. The control and / or evaluation unit for the synchronization of illumination and image processing may in particular also be the image processing device, i. the synchronization of illumination image processing is preferably carried out directly by the image processing device, by means of which the images of the at least two measurements are evaluated.

Weitere Vorteile sowie optionale Ausgestaltungen der Erfindung gehen aus der nachfolgenden Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert. Further advantages and optional embodiments of the invention will become apparent from the following description and the drawings. Embodiments are shown in simplified form in the drawings and explained in more detail in the following description.

1 zeigt ein Beispiel für eine Kameravorrichtung zur Umsetzung des erfindungsgemäßen Verfahrens. 1 shows an example of a camera device for implementing the method according to the invention.

2a und 2b zeigen beispielhaft Bilder, die im Rahmen des erfindungsgemäßen Verfahrens bei zwei Messungen mit unterschiedlicher Beleuchtung vom Bildaufnahmeelement erfasst werden können. 2a and 2 B show exemplary images that can be detected in the context of the inventive method in two measurements with different lighting from the image pickup element.

In 1 ist ein Beispiel für eine Kameravorrichtung gezeigt, welche im Rahmen des erfindungsgemäßen Verfahrens, zur Ermittlung von Feuchtigkeit 1 auf der Scheibe 2 eines Fahrzeugs, zum Einsatz kommen kann. Die Kameravorrichtung ist in diesem Fall hinter der Windschutzscheibe 2 im Innenraum des Fahrzeugs angeordnet. Die Kameravorrichtung umfasst ein Gehäuse 3, ein Bildaufnahmeelement 4, das auf einer Leiterplatte 5 angeordnet ist, sowie ein Objektiv 6 mit mehreren Linsen 7, das als Abbildungssystem zur Projektion von optischer Strahlung 8 aus einem Fernbereich auf eine für optischer Strahlung 8, 12 sensitive Fläche des Bildaufnahmeelements 4 dient und damit zur Erfassung eines Bildes der Fahrzeugumgebung. Die Kameravorrichtung ist mit Blickrichtung durch einen Bereich 9 der Windschutzscheibe 2 ausgerichtet, in diesem Fall zur Erfassung eines in Fahrtrichtung vorausliegenden Verkehrsraumes des Fahrzeugs. Die Windschutzscheibe 2 selbst befindet sich damit im Unschärfebereich der Kameravorrichtung, d.h. auf der Windschutzscheibe 2 befindliche Objekte 1 führen zu keiner bildscharfen auf dem Bildaufnahmeelement 4. Die Kameravorrichtung entsprechend 1 dient primär zur Erfassung und Ausgabe von Bildern B1, B2 aus dem in Fahrtrichtung vorausliegenden Umgebungsbereich des Fahrzeugs, insbesondere in Form von Bildsignalen, z.B. zur Objekt-, Fahrspur- und/oder Verkehrszeichenerkennung. In 1 an example of a camera device is shown, which in the context of the method according to the invention, for the determination of moisture 1 on the disc 2 a vehicle can be used. The camera device is in this case behind the windshield 2 arranged in the interior of the vehicle. The camera device comprises a housing 3 , an image pickup element 4 on a circuit board 5 is arranged, as well as a lens 6 with several lenses 7 , which serves as an imaging system for the projection of optical radiation 8th from a remote area to one for optical radiation 8th . 12 sensitive surface of the image pickup element 4 serves and thus to capture a picture of the vehicle environment. The Camera device is looking through an area 9 the windshield 2 aligned, in this case for detecting a vehicle ahead in the direction of travel traffic volume. The windshield 2 itself is thus in the blur area of the camera device, ie on the windshield 2 located objects 1 lead to no sharp focus on the image pickup element 4 , The camera device accordingly 1 is used primarily for capturing and outputting images B1, B2 from the surrounding area of the vehicle ahead in the direction of travel, in particular in the form of image signals, eg for object, lane and / or traffic sign recognition.

Die Kameravorrichtung ist zudem zur Umsetzung einer Sekundärfunktion ausgebildet, insbesondere zur Ermittlung von Feuchtigkeit 1 auf der Windschutzscheibe 2 gemäß dem erfindungsgemäßen Verfahren, und umfasst hierzu eine Strahlungsquelle 10, die in Beispiel aus 1 innerhalb einer Aussparung einer Streulichtblende 11 der Kameravorrichtung auf einer Leiterplatte 5 angeordnet ist. The camera device is also designed for implementing a secondary function, in particular for determining moisture 1 on the windshield 2 according to the method of the invention, and for this purpose comprises a radiation source 10 that in example out 1 within a recess of a lens hood 11 the camera device on a circuit board 5 is arranged.

Bei der Strahlungsquelle 10 handelt sich beispielsweise um eine LED, mittels derer optische Strahlung 12 auf die Windschutzscheibe 2 ausgebbar ist, insbesondere auf den Bereich 9, durch den Kameravorrichtung die Bilder B1, B2 aus der Fahrzeugumgebung erfasst. Für den Fall, dass sich gemäß 1 Feuchtigkeit 1 auf der Windschutzscheibe 2 befindet, wird zumindest ein Teil der von der Strahlungsquelle 10 ausgegebenen optischen Strahlung 12 vom Bildaufnahmeelement 4 erfasst, beispielsweise aufgrund von Reflektion, Streuung und/oder Brechung der optischen Strahlung 12 an Wassertropfen 1 in Richtung des Objektivs 6 der Kameravorrichtung, z.B. an der Grenzfläche der Medien Glas (Scheibe) und Wasser (Regentropfen). Die von dem Bildaufnahmeelement 4 erfassten und in Form von Bildsignalen ausgegebenen Bilder B1, B2 der Fahrzeugumgebung, werden in dem Fall durch die von der Strahlungsquelle 10 ausgegebenen optischen Strahlung 12 überlagert, beispielsweise in Gestalt von unscharfen Strukturen bzw. Lichtmustern 1.1, 1.2 und 1.3, wie beispielhaft in den 2a und 2b dargestellt. At the radiation source 10 is for example an LED, by means of which optical radiation 12 on the windshield 2 is dispensable, in particular to the area 9 , Captured by the camera device, the images B1, B2 from the vehicle environment. In the event that according to 1 humidity 1 on the windshield 2 is located at least part of the radiation source 10 output optical radiation 12 from the image pickup element 4 detected, for example due to reflection, scattering and / or refraction of the optical radiation 12 on drops of water 1 in the direction of the lens 6 the camera device, eg at the interface of the media glass (disk) and water (raindrops). That of the image pickup element 4 In this case, images B1, B2 of the vehicle environment which have been acquired and output in the form of image signals become the images emitted by the radiation source 10 output optical radiation 12 superimposed, for example in the form of blurred structures or light patterns 1.1 . 1.2 and 1.3 as exemplified in the 2a and 2 B shown.

Gemäß dem erfindungsgemäßen Verfahren werden wenigstens zwei Messungen durchgeführt, bei denen von der Strahlungsquelle 10 optische Strahlung 12 mit unterschiedlicher Wellenlänge W1, W2 ausgegeben wird, und die bei den wenigstens zwei Messungen vom Bildaufnahmeelement 4 als Bildsignale ausgegebenen Bilder B1, B2, erfasst und zur Ermittlung von Feuchtigkeit 1 ausgewertet werden. Hierzu können die bei den wenigstens zwei Messungen erfassten Bilder B1, B2 beispielsweise mittels einer zur Umsetzung des erfindungsgemäßen Verfahrens ausgebildeten Bildverarbeitungseinrichtung (nicht dargestellt) ausgewertet werden. Die Auswertung bzw. die Ermittlung von Feuchtigkeit 1 erfolgt dabei vorzugsweise durch einen Vergleich der bei den wenigstens zwei Messungen erfassten Bilder B1, B2, wobei in den erfassten Bildern B1, B2 unscharfe Lichtmuster 1.1, 1.2 und 1.3 ermittelt werden, die eine identische Form aufweisen und/oder die in gleichen Bildbereichen ermittelt werden und deren Wellenlängen W1, W2 jeweils der Wellenlänge W1, W2 der bei den wenigstens zwei Messungen von der Strahlungsquelle 10 ausgegebenen optischen Strahlung 12 entspricht. According to the method of the invention at least two measurements are carried out, in which of the radiation source 10 optical radiation 12 with different wavelengths W1, W2, and those at least two measurements from the image pickup element 4 taken as image signals output images B1, B2, and to detect moisture 1 be evaluated. For this purpose, the images B1, B2 acquired during the at least two measurements can be evaluated, for example, by means of an image processing device (not shown) designed to implement the method according to the invention. The evaluation or determination of moisture 1 This is preferably done by comparing the images B1, B2 recorded in the at least two measurements, wherein in the captured images B1, B2 blurred light patterns 1.1 . 1.2 and 1.3 are determined, which have an identical shape and / or which are determined in the same image areas and their wavelengths W1, W2 each of the wavelength W1, W2 of the at least two measurements from the radiation source 10 output optical radiation 12 equivalent.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Feuchtigkeit (Regentropfen) Moisture (raindrops)
2 2: Windschutzscheibe Windshield
3 3: Gehäuse casing
4 4: Bildaufnahmeelement Image Sensor
5 5: Leiterplatten PCBs
6 6: Objektiv lens
7 7: Linsen lenses
8 8th: optische Strahlung aus Fernbereich optical radiation from a distance
9 9: Blickbereich der Kameravorrichtung durch die WindschutzscheibeViewing area of the camera device through the windshield
10 10: Strahlungsquelle radiation source
11 11: Streulichtblende Lens Hood
12 12: optische Strahlung optical radiation
B1 B1: Bild aus erster Messung Picture from first measurement
B2 B2: Bild aus zweiter Messung Image from second measurement
W1 W1: erste Wellenlänge first wavelength
W2 W2: zweite Wellenlänge second wavelength
1.11.1: erste unscharfe Struktur first blurred structure
1.21.2: zweite unscharfe Struktur second blurred structure
1.31.3: dritte unscharfe Struktur third blurred structure

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102004015040 A1 [0005]
DE 102009000003 A1 [0006]

Claims

Method for determining moisture ( 1 ) on a disc ( 2 ) of a vehicle by means of a camera device, wherein - the camera device in the interior of the vehicle viewed through a vehicle window ( 2 ) is arranged, - by means of an image pickup element ( 4 ) the camera device captures images (B1, B2) from a vehicle environment and outputs them as image signals, by means of at least one radiation source ( 10 ) optical radiation ( 12 ) on or in the vehicle window ( 2 ) is issued that - in moisture ( 1 ) on the vehicle window ( 2 ) at least part of the radiation source ( 10 ) output optical radiation ( 12 ) by means of the image recording element ( 4 ) and superimposes the images (B1, B2) captured from the vehicle environment, characterized in that - at least two measurements are carried out in which the radiation source ( 10 ) optical radiation ( 12 ) with different wavelengths (W1, W2) is output, and - which in the at least two measurements from the image pickup element ( 4 ) are output as image signals output images (B1, B2) and for detecting moisture ( 1 ) be evaluated.

A method according to claim 1, characterized in that the at least two measurements are carried out directly following each other.

Method according to one of the preceding claims, characterized in that the determination of moisture ( 1 ) on the vehicle window ( 2 ) by a comparison of the at least two measurements of the image pickup element ( 4 ) (B1, B2).

A method according to claim 3, characterized in that in the comparison blurred light pattern ( 1.1 . 1.2 . 1.3 ) in the images (B1, B2) which have an identical shape and / or are determined in the same image areas and whose wavelengths (W1, W2) respectively correspond to the wavelength (W1, W2) of the at least two measurements from the radiation source ( 10 ) output optical radiation ( 12 ) corresponds.

A method according to claim 4, characterized in that when a certain number of detected light patterns ( 1.1 . 1.2 . 1.3 ) to a presence of moisture ( 1 ) on the vehicle window ( 2 ) is closed.

Method according to one of the preceding claims, characterized in that in the evaluation of the images (B1, B2) image information from the vehicle environment from the images (B1, B2) are filtered out.

Camera device for implementing a method according to one of the preceding claims, in the interior of a vehicle as viewed through a vehicle window ( 2 ), comprising - an image pickup element ( 4 ), by means of which images (B1, B2) can be detected from a vehicle environment and output as image signals, and - at least one radiation source ( 10 ), by means of optical radiation ( 12 ) on or in the disc ( 2 ) is dispensable, such that when moisture ( 1 ) on the disc ( 2 ) at least part of the radiation source ( 10 ) output optical radiation ( 12 ) of the image recording element ( 4 ) is detectable, wherein the optical radiation ( 12 ) the images (B1, B2) of the vehicle environment superimposed, characterized in that - means are provided for controlling the at least one radiation source ( 10 ), such that the radiation source ( 10 ) at least two measurements optical radiation ( 12 ) outputs with different wavelengths (W1, W2), and - by means of image processing, that of the image recording element ( 4 ) are recorded in the at least two measurements output images (B1, B2) and to determine moisture ( 1 ) be evaluated.