Nothing Special   »   [go: up one dir, main page]

DE102009047437A1 - Method and device for adapting image information of an optical system - Google Patents

Method and device for adapting image information of an optical system Download PDF

Info

Publication number
DE102009047437A1
DE102009047437A1 DE102009047437A DE102009047437A DE102009047437A1 DE 102009047437 A1 DE102009047437 A1 DE 102009047437A1 DE 102009047437 A DE102009047437 A DE 102009047437A DE 102009047437 A DE102009047437 A DE 102009047437A DE 102009047437 A1 DE102009047437 A1 DE 102009047437A1
Authority
DE
Germany
Prior art keywords
image
optical system
standard image
standard
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102009047437A
Other languages
German (de)
Inventor
Karsten Muehlmann
Alexander Wuerz-Wessel
Klaus-Guenther Fleischer
Marcus Lorei
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102009047437A priority Critical patent/DE102009047437A1/en
Priority to CN2010800546843A priority patent/CN102640183A/en
Priority to PCT/EP2010/068524 priority patent/WO2011067249A1/en
Priority to EP10788289A priority patent/EP2507765A1/en
Publication of DE102009047437A1 publication Critical patent/DE102009047437A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Es wird ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems (101) an Qualitätsmaßanforderungen mindestens einen nachverarbeitenden Algorithmus (103) vorgeschlagen, das einen Schritt des Empfangens einer Bildinformation über eine Empfangsschnittstelle aufweist, wobei die Bildinformation von dem optischen System bereitgestellte Intensitätswerte umfasst. Es folgt ein Bestimmen (205) mindestens eines Normbildes aus der Bildinformation unter Einsatz einer Kombination aus mindestens einer Methode der Bilderzeugung und einer Methode zur Bildkorrektur oder Bildauswertung, so dass das mindestens eine Normbild die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt.A method is proposed for adapting image information of an optical system (101) to quality measurement requirements, at least one postprocessing algorithm (103) comprising a step of receiving image information via a reception interface, wherein the image information comprises intensity values provided by the optical system. This is followed by determining (205) at least one standard image from the image information using a combination of at least one image generation method and a method for image correction or image evaluation so that the at least one standard image satisfies the quality measurement requirements of the at least one postprocessing algorithm.

Figure 00000001
Figure 00000001

Description

Stand der TechnikState of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems sowie auf eine entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt.The present invention relates to a method for adapting image information of an optical system and to a corresponding device and a corresponding computer program product.

Beim Auswechseln der Optik oder des Bildwandlers (Imagers) eines optischen Systems, müssen die auf das Bild aufsetzende Messprogramme von Grund auf angepasst werden, um die neuen Eigenschaften des optischen System, wie z. B. Bildauflösung (Pixel/Grad, Öffnungswinkel, ...), Kontrasteigenschaften des Bildes, Auswirkungen der Kameraregelung, etc. aufzufangen. Gewissen Algorithmen können bildabhängig parametriert werden. Dies erfordert aber, dass das aktuelle Bild in den Recheneinheiten analysiert und im Speicher abgelegt wird, damit nachfolgend Verarbeitungsschritte auf das Bild parametriert werden können. Dies erzeugt Speicherbandbreiten- und Speicheranforderungen, die im System realisiert werden müssen und Kosten verursachen.When replacing the optics or image imager of an optical system, the measurement programs placed on the image must be completely redesigned to accommodate the new features of the optical system, such as the optical system. Image resolution (pixel / degree, aperture angle, ...), contrast properties of the image, effects of camera control, etc. to catch. Certain algorithms can be parameterized depending on the image. However, this requires that the current image is analyzed in the arithmetic units and stored in the memory, so that subsequent processing steps can be parameterized on the image. This creates memory bandwidth and memory requirements that must be realized in the system and incur costs.

Eigenschaften des Bildwandlers sowohl im statischen (z. B. Dead Pixel) als auch im dynamischen Bereich (z. B. temperaturabhängige Korrektur des Fixed Pattern Noise) werden derzeit durch geeignete Maßnahmen angepasst. Dies geschieht jedoch auf Basis einer Analyse der Hardware des optischen Systems und vernachlässigt wesentlich die Aspekte und Anforderungen der Messprogramme.Characteristics of the image converter both in the static (eg dead pixel) and in the dynamic range (eg temperature-dependent correction of the fixed pattern noise) are currently being adapted by suitable measures. However, this is done on the basis of an analysis of the hardware of the optical system and significantly neglects the aspects and requirements of the measurement programs.

Die DE 102 02 163 A1 offenbart ein Verfahren und eine Vorrichtung zur Bildverarbeitung sowie ein Nachtsichtsystem für Kraftfahrzeuge, bei dem eine im nahen Infrarot empfindliche Standardkamera Bilder liefert, die auf einem gegenüber der Kamera geringere Auflösung aufweisenden Anzeigemittel angezeigt werden. Eine Bildverarbeitung kann die Rohbilder des Sensors mittels Bildschärfungsverfahren und/oder Kontrastverstärkungsverfahren verbessern, so dass eine Anzeige auf einem Anzeigemittel zur Betrachtung durch einen Betrachter ermöglicht wird.The DE 102 02 163 A1 discloses an image processing method and apparatus as well as a motor vehicle night vision system in which a near infrared sensitive standard camera provides images displayed on a lower resolution display means. Image processing may enhance the raw images of the sensor by means of image sharpening techniques and / or contrast enhancement techniques so as to enable display on a display means for viewing by a viewer.

Algorithmen wie Night Vision verbessern das Bild im Hinblick auf eine konkrete Anwendung, hier die Betrachtung des Bildes durch den Menschen.Algorithms such as Night Vision enhance the image in terms of a concrete application, here the human viewing of the image.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems an mindestens einen nachverarbeitenden Algorithmus, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, the present invention proposes a method for adapting image information of an optical system to at least one postprocessing algorithm, furthermore a device which uses this method and finally a corresponding computer program product according to the independent patent claims. Advantageous embodiments emerge from the respective subclaims and the following description.

Die Erfindung basiert auf der Schaffung einer Trennung zwischen einem optischen System und den nachfolgenden bildbasierten Messprogrammen.The invention is based on the provision of a separation between an optical system and the subsequent image-based measuring programs.

Erfindungsgemäß wird in einem System eine Bild-Abstraktions-Schicht, ein sogenannter Image Abstraction Layer (IAL) eingeführt, der das optische System und die nachverarbeitenden Algorithmen trennt. In diesem Sinne stellt der Image Abstraction Layer ein „Normbild” dar, das weitestgehend unabhängig vom optischen System realisiert wird. Dabei ist unter dem Normbild nicht nur ein Bild zu verstehen, sondern es können auch mehrere Bilder sein, die aus dem Originalbild abgeleitet sind. Ferner können die Bilder nicht nur Bilder im klassischen Sinne sein, sondern können auch bildbasierte Karten von Vorverarbeitungsstufen darstellen.According to the invention, an image abstraction layer, a so-called image abstraction layer (IAL), is introduced in a system which separates the optical system and the postprocessing algorithms. In this sense, the Image Abstraction Layer represents a "norm image", which is realized largely independent of the optical system. In this case, not only an image is to be understood by the standard image, but it may also be several images that are derived from the original image. Further, the images may not only be images in the classic sense, but may also represent image-based maps of preprocessing levels.

Ausgangsdaten des optischen Systems sind Intensitätswerte als Datenstrom, wobei der Datenstrom als Strom oder in Kombination mit der Bildbreite als Bild ausgewertet werden kann. Das Bild kann vor Prozessierung durch den IAL-Algorithmus im Speicher abgelegt werden. Alternativ kann der Pixelstrom direkt ausgewertet werden. Je nach Ausprägung stellt dies die Schnittstelle zwischen optischen System (Imager) und IAL dar. Die Ausgangsdaten des IAL sind wiederum Pixelströme oder Bilder, die im Speicher abgelegt oder direkt nachfolgend bearbeitet werden können. Dies ist anwendungs- und timingabhängig.Output data of the optical system are intensity values as a data stream, whereby the data stream can be evaluated as stream or in combination with the image width as image. The image can be stored in memory prior to processing by the IAL algorithm. Alternatively, the pixel stream can be evaluated directly. Depending on the severity, this represents the interface between the optical system (imager) and the IAL. The output data of the IAL are again pixel streams or images which can be stored in the memory or processed directly afterwards. This is application and timing dependent.

Der IAL kann sowohl in Hardware wie auch in Software realisiert werden. Da die Methoden in Abhängigkeit von der Anwendung eingesetzt werden, bietet sich für eine Hardware-Umsetzung programmierbare Logik, beispielsweise in Form eines FPGA an. Bei der Umsetzung in Software findet diese üblicherweise auf frei programmierbaren Mikrokontrollern statt.The IAL can be implemented both in hardware and in software. Since the methods are used depending on the application, programmable logic, for example in the form of an FPGA, is suitable for a hardware implementation. When implemented in software, this usually takes place on freely programmable microcontrollers.

Eines der Normbilder kann eine Rekonstruktion der Linsenfehler sein. Dabei werden durch Vermessung des optischen Systems Daten gewonnen, die die optischen Fehler des Linsensystems beschreiben. Aus diesen lassen sich mit Hilfe der Modelle der optischen Fehler Korrekturvorschriften für das Originalbild, beispielsweise in Form von Pixelverschiebungen, berechnen. Bei geeigneter Implementierung lassen sich diese Pixelverschiebungen im FPGA realisieren. Durch die Pixelverschiebung entsteht ein Bild, welches Strukturierungen aufweist, die ihren Ursprung nicht in der beobachteten Szene haben, sondern in der Pixelverschiebung. Deshalb wird nach der Verschiebung eine Glättung des Bildes gerechnet, z. B. eine bilineare Interpolation. In diesem konkreten Fall wird das Originalbild zunächst im Speicher abgelegt und dann die Pixelverschiebung im FPGA gerechnet. Das Ergebnis der Pixelverschiebung wird dann direkt im FPGA als Pixelstrom in der Glättung weiterverarbeitet und dann im Speicher abgelegt. Diese Normbild unterscheidet sich vom Originalbild durch die Linsenfehlereffekte. Bei entsprechender Auslegung des Verfahrens kann hier von den Linsenfehlern abstrahiert werden, wodurch sich ein Vorteil des IAL ergibt.One of the norm images may be a reconstruction of the lens aberrations. In this case, data are obtained by measuring the optical system, which describe the optical errors of the lens system. From these, correction rules for the original image, for example in the form of pixel shifts, can be calculated with the aid of the models of the optical errors. If implemented properly, these pixel shifts can be realized in the FPGA. The pixel shift creates an image that has structurings that do not originate in the observed scene but in the pixel shift. Therefore, after the shift calculated a smoothing of the image, z. B. a bilinear interpolation. In this specific case, the original image is first stored in memory and then the pixel shift in the FPGA is calculated. The result of the pixel shift is then further processed directly in the FPGA as pixel stream in the smoothing and then stored in memory. This standard image differs from the original image due to lens aberration effects. With appropriate design of the method can be abstracted here from the lens aberrations, resulting in an advantage of the IAL.

Ein weiteres Normbild kann eines mit ausgewerteter Farbinformation sein. Zur Aufnahme von Farbinformation kann auf dem Imager ein Muster (Pattern) von Farbfiltern aufgebracht werden, je nach Anwendung kann das Muster unterschiedlich ausgeprägt sein. Es können auf einem 2×2 Bildpixelbereich Muster wie Rot-Intensität-Intensität-Intensität (kein Filter), sog. R3I, ein Rot-Grün-Blau-Intensität (RGBI), ein Cyan-Intensität-Intensität-Intensität (C3I), oder ähnliche, verwendet werden.Another standard image may be one with evaluated color information. To record color information, a pattern of color filters can be applied to the imager, depending on the application, the pattern may be different. Patterns such as red intensity intensity intensity (no filter), so-called R3I, a red-green-blue intensity (RGBI), a cyan intensity intensity intensity (C3I) can be displayed on a 2 × 2 image pixel area, or similar.

Auf Basis eines lokalen Weißabgleichs lassen sich aus dem Muster z. B. Information zur „Rotheit” des Bildpunktes ableiten, d. h. es wir lokal Weiß mit Rot verglichen und Rot relativ zu Weiß bewertet. Je nach eingesetztem Imager-Pattern ist das Verfahren unterschiedlich. Das Ergebnis ist jedoch vom optischen System unabhängig, wodurch sich ein Vorteil des IAL ergibt. Im konkreten Fall wird je nach eingesetztem Pattern ein mehr oder minder großer Bildbereich um einen Bildpunkt ausgewertet und ein Rotheitsmaß generiert. Diese Ergebnisdaten werden als Bild im Speicher abgelegt. Die nachverarbeitenden Algorithmen können dann auf dieses Bild zur Rotklassifikation zugreifen, z. B. ein Algorithmus zur Detektion von Verkehrszeichen (Geschwindigkeitsbegrenzungen mit rotem Rand), kann pixelweiße die Randpixel des detektierten Schildes auf Basis des Rotheitsbildes klassifizieren.Based on a local white balance can be calculated from the pattern z. B. derive information on the "rottenness" of the pixel, d. H. we locally compared white with red and rated red relative to white. The procedure varies depending on the imager pattern used. However, the result is independent of the optical system, giving an advantage of the IAL. In the specific case, depending on the pattern used, a more or less large image area is evaluated by one pixel and a measure of redness is generated. This result data is stored as an image in memory. The post-processing algorithms can then access this image for red classification, e.g. For example, an algorithm for detecting traffic signs (red border speed limits) may pixel-wise classify the edge pixels of the detected sign based on the rotacity image.

Zur erfindungsgemäßen Realisierung können neben Methoden der Bilderzeugung geeignete weitere Methoden kombiniert werden. Die Methoden der Bilderzeugung können z. B. eine Dead Pixel Correction, bei der eine Korrektur durch Interpolation aus umliegenden Bildpunkten (Pixeln) erfolgt, oder eine Fixed-Pattern-Noise Correction, bei der eine Korrektur durch Anpassung der Farbwerte auf Basis von tabellarisch abgelegten Korrekturwerten erfolgt, umfassen. Die geeigneten Methoden können sich dabei beispielsweise auf den Linsenfehler, das Rotheitsbild oder das Kantenbild beziehen.For realization according to the invention, in addition to methods of image formation, suitable further methods can be combined. The methods of image generation can z. B. a dead pixel correction, in which a correction by interpolation from surrounding pixels (pixels) takes place, or a fixed-pattern noise correction, in which a correction is carried out by adjusting the color values on the basis of tabulated correction values include. The suitable methods may relate, for example, to the lens aberration, the red image or the edge image.

Ziel der Kombination ist dabei das Normbild in gewissen engen Qualitätsmaßen zu erzeugen und die Qualitätsmaße zu bestimmen. Beispielhafte Qualitätsmaße sind dabei etwa Histogramme der Grauwertverteilung, Frequenzuntersuchungen des Bildes, Änderungen des Frequenzspektrums über die Zeit, etc.The aim of the combination is to produce the standard image in certain narrow quality measures and to determine the quality measures. Exemplary quality measures include histograms of the gray value distribution, frequency analyzes of the image, changes in the frequency spectrum over time, etc.

Bei einem Kantennormbild kann die Länge der Kantensegmente als Qualiätsmaß herangezogen werden. Ein Kantennormbild ist z. B. die Grundlage für eine Spuranwendung im Fahrzeugbereich. Im Bild werden Gradienten pro Bildpunkt berechnet und beschwellwertet. Die Beschwellwertung dient dazu, die Gradienten zu kategorisieren.For an edge standard image, the length of the edge segments can be used as a measure of quality. An edge standard image is z. B. the basis for a trace application in the vehicle sector. Gradients per pixel are calculated and weighted in the image. The decay rating is used to categorize the gradients.

Nachfolgend werden die Kategorisierten Gradienten pro Bildpunkt zu Kanten verkettet, wobei die Kategorisierung der Gradienten über die Verkettung bzw. den Abbruch der Kettenbildung entscheidet. Nachfolgend werden die mittlere Länge der Ketten und die Verteilung der Kettenlängen um den Mittelwert als Q-Maß herangezogen. Auf Basis dieser Maße werden dann die Schwellwerte für das folgende Bild eingestellt. Über diese Bildabstraktion ist sichergestellt, dass der nachfolgende Spuralgorithmus mit einer gleichbleibenden Qualität und Ausregelung der Kanteninformation im Bild rechnen kann.Subsequently, the categorized gradients per pixel are concatenated into edges, with the categorization of the gradients deciding on the chaining or discontinuation of the chain formation. In the following, the average length of the chains and the distribution of the chain lengths around the mean value are used as the Q measure. Based on these measurements, the threshold values for the following image are then set. This image abstraction ensures that the subsequent spur algorithm can calculate with consistent quality and compensation of the edge information in the image.

Die Qualitätsmaße können anschließend zur Parametrierung der nachfolgenden Algorithmen eingesetzt werden, wie es beispielsweise anhand der Ausführungsform des Kantenbilds erläutert ist.The quality measures can then be used to parameterize the subsequent algorithms, as explained for example with reference to the embodiment of the edge image.

Darüber hinaus ist auf Basis der Qualitätsmaße auch eine Überwachung des optischen Systems als ganzen möglich. Dies kann wiederum dazu verwendet werden die Systemverfügbarkeit z. B. im Rahmen eines Sicherheitskonzeptes zu überwachen.In addition, based on the quality measures, it is also possible to monitor the optical system as a whole. This can in turn be used for system availability z. B. to monitor as part of a security concept.

Wenn die Ausregelung des Kantenbildes über eine bestimmte Dauer oder dauerhaft am Anschlag ist, d. h. die mittlere Länge der Ketten nicht eingeregelt werden kann, dann lässt dies auf eine Beeinträchtigung des optischen Systems, z. B. eine Verschmutzung des Sichtbereichs oder einen Ausfall des Imagers schließen. Diese Art Blindheitserkennung kann Teil eines Sicherheitskonzeptes sein und auf dem Kantenbild aufbauen.If the adjustment of the edge image is for a certain duration or permanently at the stop, d. H. the average length of the chains can not be adjusted, then this is due to an impairment of the optical system, for. As a pollution of the field of view or a failure of the imager close. This type of blindness detection can be part of a security concept and build on the edge image.

Darüber hinaus können zur Bestimmung des Normbildes Methoden eingesetzt werden, die das Bild korrigieren, wie z. B. Linsenfehlerkorrekturen, eine Rückrechnung nicht-linearer Kennlinien zum Ausgleich von Kameraregelungsartefakten und/oder eine Umsetzung von Farbbildern in Grauwertbilder.In addition, methods can be used to determine the standard image, which correct the image, such. For example, lens aberration corrections, a recalculation of non-linear characteristics to compensate for camera control artifacts and / or a conversion of color images in gray value images.

Unterschiedliche Funktionen oder nachverarbeitende Algorithmen haben unterschiedliche Anforderungen an das Bild, welche ggf. zu Konflikten in der Auslegung von Systemkomponenten führen können. Je nach Anforderungsunterschied kann damit die Kombinierbarkeit von Funktionen stark beeinträchtigt sein. Zumindest muss dann in einigen oder allen Funktionen Performance-Einbußen hingenommen werden. Beispielhaft können die Messprogramme „Spurdetektion” und „Verkehrszeichenerkennung bei Dunkelheit” angeführt werden. Die Verkehrszeichenerkennung benötigt zur Klassifikation der Zeichen Bilder mit möglichst wenig Bewegungsunschärfe, da sonst z. B. Ziffern in Verkehrszeichen unkenntlich werden. Da auf funktionaler Seite die Verfügbarkeit der Funktion über den Geschwindigkeitsbereich des Fahrzeugs nicht limitiert werden kann, führt dies zur Anforderung kurzer Belichtungszeiten. Die Spurerkennung hingegen ist auf Kontrast angewiesen, was letztendlich durch lange Belichtungszeiten umgesetzt. Letztendlich ist aber die lange Belichtungszeit keine Anforderung der Spurvermessung.Different functions or post-processing algorithms have different requirements for the image, which may possibly lead to conflicts in the design of system components. Depending on the requirement difference, the combinability of functions can thus be severely impaired. At least then in some or all functions performance losses are accepted. By way of example, the measuring programs "track detection" and "traffic sign recognition in the dark" can be cited. The traffic sign recognition needs to classify the characters images with the least possible motion blur, otherwise z. B. digits in traffic signs are unrecognizable. Since on the functional side the availability of the function over the speed range of the vehicle can not be limited, this leads to the requirement of short exposure times. On the other hand, the track recognition relies on contrast, which is ultimately implemented by long exposure times. Ultimately, however, the long exposure time is not a requirement of lane measurement.

Um solch unterschiedlichen Anforderungen gerecht zu werden, können letztendlich zur Bestimmung des Normbildes Filter zum Einsatz kommen, die wie am Beispiel Spur- und Verkehrszeichenerkennung verdeutlicht, z. B. auch bei kurzen Belichtungszeiten kontrastverbessernd wirkend, analog zum Vorgehen bei Night Vision, allerdings nicht zur optimierten Ansicht des Bild durch den Menschen, sondern angepasst auf die Anforderungen der Messprogramme oder nachverarbeitenden Algorithmen.To meet such different requirements, can ultimately be used to determine the standard image filter, which illustrates as the example track and traffic sign recognition, z. Example, even with short exposure times contrast-enhancing, analogous to the procedure in Night Vision, but not for optimized view of the image by humans, but adapted to the requirements of the measurement programs or post-processing algorithms.

Wenn ggf. die Anforderungen der zu kombinierenden Funktionen unterschiedlich sind, kann der Image Abstraction Layer auch mehrere Bilder beinhalten und/oder bildbasierte Karten von Filterergebnissen darstellen. Beispielsweise kann das Rotheitsbild für Verkehrszeichen, das Kantenbild für eine Spurvermessung und die Linsenfehlerkorrektur für Verkehrszeichen und Spurvermessung eingesetzt werden.If necessary, the requirements of the functions to be combined are different, the Image Abstraction Layer can also contain multiple images and / or display image-based maps of filter results. For example, the traffic image, the edge image for a lane measurement and the lens error correction for traffic signs and lane measurement can be used.

Vorteilhafterweise kann durch eine Realisierung des erfindungsgemäßen Ansatzes, ein System durch Auswahl und Kombination von Optiken und Bildgebern in seiner Leistungsfähigkeit skaliert werden, ohne dass die bildverarbeitenden Systemkomponenten jeweils grundlegend neu ausgerichtet werden müssen. Ferner können Funktionen mit ggf. sehr unterschiedlichen Anforderungen an die Auslegung von Systemkomponenten miteinander kombiniert werden.Advantageously, by implementing the inventive approach, a system can be scaled in its performance by selection and combination of optics and imagers without the need to fundamentally reorient the image processing system components. Furthermore, functions with possibly very different requirements for the design of system components can be combined with each other.

Die vorliegende Erfindung schafft ein Verfahren zur Anpassung von Bildinformationen eines optischen Systems an Qualitätsmaßanforderungen mindestens einen nachverarbeitenden Algorithmus, das die folgenden Schritte umfasst: Empfangen einer Bildinformation über eine Empfangsschnittstelle, wobei die Bildinformation von dem optischen System bereitgestellte Intensitätswerte umfasst; und Bestimmen mindestens eines Normbildes aus der Bildinformation unter Einsatz einer Kombination aus mindestens einer Methode der Bilderzeugung und einer Methode zur Bildkorrektur und/oder einer Methode zur Bildauswertung, so dass das mindestens eine Normbild die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt.The present invention provides a method for matching image information of an optical system to quality measurement requirements, at least one post-processing algorithm, comprising the steps of: receiving image information via a receiving interface, the image information comprising intensity values provided by the optical system; and determining at least one standard image from the image information using a combination of at least one method of image generation and a method for image correction and / or a method for image evaluation, such that the at least one standard image satisfies the quality requirements of the at least one postprocessing algorithm.

Das optische System kann eine Bilderfassungsvorrichtung oder Kamera aufweisen oder einen Bildgeber darstellen. Beispielsweise kann es sich bei dem optischen System um ein videobasiertes System eines Fahrzeugs handeln. Das optische System kann einen Umgebungsbereich des Fahrzeugs erfassen und entsprechende Bildinformationen über den Umgebungsbereich über die Empfangsschnittstelle zur Weiterverarbeitung an das erfindungsgemäße Verfahren bereitstellen. Die Bildinformationen können ein oder mehrere Rohbilder umfassen. Das oder die Rohbilder können von dem optischen System, beispielsweise von einem (mager oder Bildwandler bereitgestellt werden. Die Intensitätswerte können eine Helligkeit eines die Bildinformation betreffenden Bildes betreffen und gegebenenfalls auf Farbkanäle bezogen sein. Mittels der eingesetzten Methoden der Bilderzeugung, der Bildkorrektur oder der Bildauswertung können die Bildinformationen so verändert oder angepasst werden, dass sie den Qualitätsanforderungen genügen. Es kann also beispielsweise aus einem Rohbild, das die Qualitätsanforderungen nicht erfüllt, das Normbild erzeugt werden, das die Qualitätsanforderungen erfüllt. Dazu können bestimmte Bildparameter oder Bildeigenschaften angepasst werden. Bei dem mindestens einen nachverarbeitenden Algorithmus, der die die Qualitätsanforderungen erfüllt, kann es sich um einen Algorithmus handeln, der von einem Fahrerassistenzsystem umgesetzt wird. Beispielsweise kann es sich um einen Algorithmus zur Verkehrszeichenerkennung oder Fahrspurerkennung handeln. Das Normbild, das auf den Bildinformationen des optischen Systems basiert, kann eine Eingangsgröße des nachverarbeitenden Algorithmus darstellen. Dazu kann das Normbild über eine Ausgangsschnittstelle an den nachverarbeitenden Algorithmus, oder an eine Vorrichtung, die den nachverarbeitenden Algorithmus umsetzt, bereitgestellt werden. Um das Normbild weiterzuverarbeiten können, werden vom nachverarbeitenden Algorithmus die vorbestimmten Qualitätsmaßanforderungen gestellt. Die vorbestimmten Qualitätsmaßanforderungen können speziell auf einen oder auf eine Gruppe nachverarbeitender Algorithmen abgestimmt sein. Die Methoden können ausgebildet sein, um das Normbild unabhängig vom optischen System und somit unabhängig von den Bildinformationen so zu bestimmen, dass das Normbild ein Qualitätsmaß aufweist, das die Qualitätsmaßanforderungen erfüllen. Beispielsweise können die Qualitätsmaßanforderungen einen Gültigkeitsbereich für zulässige Qualitätsmaße definieren. Die Qualitätsmaßanforderungen können Grenzwerte für Bildparameter darstellen. Solche Bildparameter können sich auf die Kantenlänge von Kantensegmenten, die Grauwertverteilung oder das Frequenzspektrum beziehen.The optical system may include an image capture device or camera, or may be an imager. For example, the optical system may be a video-based system of a vehicle. The optical system can detect a surrounding area of the vehicle and provide corresponding image information about the surrounding area via the receiving interface for further processing to the method according to the invention. The image information may include one or more raw images. The raw image or images may be provided by the optical system, for example by a (lean or image converter) The intensity values may relate to a brightness of an image relating to the image information and may be related to color channels, using the methods of image generation, image correction or image analysis For example, from a raw image that does not meet the quality requirements, the standard image that meets the quality requirements can be generated by adapting certain image parameters or image properties to the image information at least one post-processing algorithm that meets the quality requirements may be an algorithm implemented by a driver assistance system, for example, an algorithm for traffic signs detection or lane detection. The standard image based on the image information of the optical system may represent an input of the postprocessing algorithm. For this purpose, the standard image can be provided via an output interface to the postprocessing algorithm, or to a device that implements the postprocessing algorithm. In order to be able to process the standard image, the postprocessing algorithm sets the predetermined quality requirements. The predetermined quality measure requirements may be specific to one or a group of post-processing algorithms. The methods can be designed to determine the standard image independently of the optical system and thus independently of the image information so that the standard image has a quality measure that meets the quality requirements. For example, the quality measure requirements may define a scope for acceptable quality measures. The quality measure requirements can represent limits for image parameters. Such image parameters can relate to the edge length of edge segments, the gray value distribution or the frequency spectrum.

Beispielsweise kann der mindestens eine nachverarbeitende Algorithmus ausgebildet sein, um basierend auf dem Normbild eine Verkehrszeichenerkennung und/oder eine Spurdetektion durchzuführen. Dadurch, dass über die Kombination der Methoden gewährleistet wird, das das Normbild unabhängig von dem eingesetzten optischen System die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt, kann das Normbild ohne weitere Nachbearbeitung oder Anpassung von dem mindestens einen nachverarbeitenden Algorithmus weiterverarbeitet werden. Auch ist keine Anpassung des nachverarbeitenden Algorithmus an das aktuell eingesetzte optische System erforderlich. For example, the at least one post-processing algorithm can be designed to perform traffic sign recognition and / or track detection based on the standard image. The fact that the combination of the methods ensures that the standard image fulfills the quality requirements of the at least one postprocessing algorithm, irrespective of the optical system used, allows the standard image to be further processed by the at least one postprocessing algorithm without further postprocessing or adaptation. Also, no adaptation of the post-processing algorithm to the currently used optical system is required.

Die mindestens eine Methode der Bilderzeugung kann eine Bildpunktinterpolation und/oder eine Farbwerteanpassung umfassen. Dadurch können beispielsweise Eigenschaften des Bildgebers sowohl im statischen als auch im dynamischen Bereich berücksichtigt werden. Beispielsweise kann eine temperaturabhängige Korrektur von festgelegten periodischen Störungen (Fixed Pattern Noise) durchgeführt werden.The at least one method of image generation may comprise a pixel interpolation and / or a color value adjustment. As a result, for example, properties of the imager can be taken into account both in the static and in the dynamic range. For example, a temperature-dependent correction of fixed period noise (fixed pattern noise) can be performed.

Die Methode zur Bildkorrektur kann ausgebildet sein, um einen Fehler eines Linsensystems des optischen Systems zu korrigieren. Basierend auf der Bildinformation kann ein linsenfehlerkorrigiertes Normbild bestimmt werden. Auf diese Weise können durch Linsenfehler hervorgerufene Bildstörungen eliminiert werden, bevor das Normbild von dem nachverarbeitenden Algorithmus nachverarbeitet wird.The image correction method may be configured to correct an error of a lens system of the optical system. Based on the image information, a lens error corrected standard image can be determined. In this way, image interference caused by lens aberration can be eliminated before the standard image is post processed by the postprocessing algorithm.

Die Methode zur Bildauswertung kann ausgebildet sein, um eine Farbinformation oder einen Strukturverlauf der Bildinformation auszuwerten. Die Farbinformation kann beispielweise für eine Verkehrszeichenerkennung relevant sein. Der Der Strukturverlauf kann einen Kantenverlauf repräsentieren, der für eine Spurerkennung relevant sein kann.The method for image evaluation can be designed to evaluate a color information or a structure profile of the image information. The color information may be relevant for traffic sign recognition, for example. The Structure History may represent an edge history that may be relevant to track recognition.

Gemäß einer Ausführungsform kann die Methode zur Bildauswertung somit ausgebildet sein, um für unterschiedliche Bildbereiche basierend auf der Bildinformation Werte eines Farbmaßes zu ermitteln um das Normbild basierend auf den Werten des Farbmaßes zu bestimmen. Ein Bildbereich kann eine Region um einen Bildpunkt darstellen. Das Farbmaß kann beispielsweise für die Farbe Rot bestimmt werden.According to one embodiment, the method for image evaluation can thus be designed to determine values of a color measure for different image regions based on the image information in order to determine the standard image based on the values of the color measurement. An image area can represent a region around a pixel. The color measure can be determined, for example, for the color red.

Alternativ oder zusätzlich kann die Methode zur Bildauswertung ausgebildet sein, um basierend auf der Bildinformation eine Kanteninformation und basierend auf der Kanteninformation ein Kantennormbild zu bestimmen. Das Kantennormbild oder Kantenbild stellt eine Karte dar. Darin sind Daten abgelegt, die beispielsweise Kanteninformationen mit verbundenen Vorgängern und Nachfolgern, z. B. der horizontale Abstand des nächsten Bildpunktes in der Zeile darüber oder darunter, umfassen. Diese stellt eine bildbasierte oder bildpunktkoordinatenorientierte Karte dar, deren Daten nicht den Intensitätsdaten eines Bildes entsprechen. In diesem Fall können die Qualitätsmaßanforderungen Anforderungen an eine Kantenlänge von Kantensegmenten des Kantennormbilds stellen.Alternatively or additionally, the method for image evaluation may be designed to determine an edge information based on the image information and an edge standard image based on the edge information. The edge standard image or edge image represents a map. Therein, data are stored which, for example, contain edge information with associated predecessors and successors, for example. As the horizontal distance of the next pixel in the line above or below include. This represents an image-based or pixel-coordinate map whose data does not correspond to the intensity data of an image. In this case, the quality measure requirements may make demands on an edge length of edge segments of the edge standard image.

Generell können die Qualitätsmaßanforderungen Histogramme einer Grauwertverteilung des Normbildes, Frequenzuntersuchungen des Normbildes, und/oder Änderungen des Frequenzspektrums des Normbildes über die Zeit umfassen. Die Kenntnis des exakten Qualitätsmaßes kann auf unterschiedliche Art und Weise genutzt werden. Beispielsweise kann das Qualitätsmaß verwendet werden, um das optische System zu überwachen. Zusätzlich oder alternativ kann das Qualitätsmaß verwendet werden, um den mindestens einen nachverarbeitenden Algorithmus zu parametrieren.Generally, the quality measure requirements may include histograms of a gray value distribution of the standard image, frequency analyzes of the standard image, and / or changes in the frequency spectrum of the standard image over time. The knowledge of the exact quality measure can be used in different ways. For example, the quality measure can be used to monitor the optical system. Additionally or alternatively, the quality measure can be used to parameterize the at least one postprocessing algorithm.

Gemäß einer Ausführungsform kann das erfindungsgemäße Verfahren einen Schritt des Auswertens mindestens eines Normbildes umfassen, um eine Funktionalität des optischen Systems zu überwachen.According to one embodiment, the method according to the invention may comprise a step of evaluating at least one standard image in order to monitor a functionality of the optical system.

Im Schritt des Bestimmens kann ein erstes Normbildbestimmt werden, das die Qualitätsmaßanforderungen eines ersten nachverarbeitenden Algorithmus erfüllt und ein zweites Normbild bestimmt werden, das die Qualitätsmaßanforderungen eines zweiten nachverarbeitenden Algorithmus erfüllt. Die Bestimmung des ersten und des zweiten Normbildes kann parallel oder nacheinander ausgeführt werden. Durch die Bestimmung unterschiedlicher Normbilder können unterschiedliche Anforderungen unterschiedlicher nachverarbeitender Algorithmen berücksichtigt werden.In the step of determining, a first standard image may be determined that satisfies the quality measurement requirements of a first postprocessing algorithm and that determines a second standard image that meets the quality measurement requirements of a second postprocessing algorithm. The determination of the first and the second standard image can be carried out in parallel or in succession. By determining different standard images, different requirements of different post-processing algorithms can be taken into account.

Die unterschiedlichen Normbilder können beispielsweise in Bezug auf die Linsenfehlerkorrektur, das Kantenbild oder das Rotheitsbild bestimmt werden. Die Linsenfehlerkorrektur und das Rotheitsbild können parallel berechnet werden, da das Rotheitsbild auf dem Originalbild berechnet werden muss. Ansonsten wird durch die Linsenfehlerkorrektur und vor allem die Interpolation zur Glättung die Farbinformation z. B. Rot und Weiß bei R3I, untrennbar vermischt. Das Rotheitsbild muss dann nachfolgend entsprechend der Verschiebungsvorschriften für die Linsenfehlerkorrektur verschoben, da sonst die Bildpositionen nicht mehr übereinstimmen. Die Kanteninformation wird dann nachfolgend auf dem linsenfeherkorriegierten Bild berechnet. So ist sichergestellt, dass die jeweiligen Positionsangaben in den Normbilder des IAL physikalisch im Ursprung übereinstimmen.The different standard images can be determined, for example, with regard to the lens aberration correction, the edge image or the red image. The lens error correction and the redness image can be calculated in parallel since the red image must be calculated on the original image. Otherwise, by the lens error correction and especially the interpolation for smoothing the color information z. B. red and white at R3I, inseparably mixed. The red image must then subsequently be shifted in accordance with the lens aberration correction rules, otherwise the image positions will no longer match. The edge information is then calculated subsequently on the lens-lens-warped image. This ensures that the respective position data in the standard images of the IAL are physically identical in origin.

Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides a device which is designed to carry out or implement the steps of the method according to the invention. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.

Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product with program code, which is stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out the method according to one of the embodiments described above, when the program is executed on a device.

Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The invention will now be described by way of example with reference to the accompanying drawings. Show it:

1 ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung; und 1 a block diagram of an embodiment of the present invention; and

2 ein Ablaufdiagramm eines weiteren Ausführungsbeispiels der vorliegenden Erfindung. 2 a flowchart of another embodiment of the present invention.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.

1 zeigt eine schematische Darstellung eines optischen Systems 101, eines nachverarbeitenden Algorithmus 103 und eine Einrichtung 105 zur Anpassung von Bildinformationen des optischen Systems 101 an den nachverarbeitenden Algorithmus 103, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Einrichtung 105 kann als Steuergerät ausgeführt sein, und ausgebildet sein, um das erfindungsgemäße Verfahren zur Anpassung von Bildinformationen durchzuführen oder umzusetzen. Insbesondere kann die Einrichtung 105 ein Normbild als definierte Schnittstelle zwischen dem optischen System 101 und dem nachverarbeitenden Algorithmus 105 bereitstellen. 1 shows a schematic representation of an optical system 101 , a postprocessing algorithm 103 and a facility 105 for adapting image information of the optical system 101 to the postprocessing algorithm 103 , according to an embodiment of the present invention. The device 105 may be embodied as a control device, and be designed to perform or implement the method according to the invention for adjusting image information. In particular, the device may 105 a standard image as a defined interface between the optical system 101 and the postprocessing algorithm 105 provide.

Die Einrichtung 105 kann eine Empfangsschnittstelle zum Empfangen einer Bildinformation des optischen Systems 101 aufweisen. Basierend auf der Bildinformation kann die Einrichtung 105 ausgebildet sein, um ein Normbildes zu bestimmen. Dazu kann die Einrichtung 105 ausgebildet sein, um eine Kombination aus Methoden der Bilderzeugung und weiteren geeigneten Methoden auszuführen, um das Normbild so aus der Bildinformation zu bestimmen, das das Normbild vorbestimmte Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus 105 erfüllt. Die Einrichtung 105 kann eine Ausgabeschnittstelle aufweisen, über die das Normbild an den nachverarbeitenden Algorithmus 105 bereitgestellt werden kann. Somit kann die Einrichtung 105 ein Image Abstraction Layer darstellen, das zwischen dem optischen System 101 und dem nachverarbeitenden Algorithmus 105 angeordnet ist.The device 105 may be a receiving interface for receiving image information of the optical system 101 exhibit. Based on the image information, the device can 105 be formed to determine a standard image. This may be the device 105 be formed to perform a combination of methods of image generation and other suitable methods to determine the standard image from the image information, the standard image predetermined quality requirements of the at least one post-processing algorithm 105 Fulfills. The device 105 may have an output interface through which the standard image is sent to the post-processing algorithm 105 can be provided. Thus, the device 105 represent an image abstraction layer that is between the optical system 101 and the postprocessing algorithm 105 is arranged.

2 zeigt ein Ablaufdiagramm eines Verfahrens zur Anpassung von Bildinformationen eines optischen Systems an mindestens einen nachverarbeitenden Algorithmus, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 2 FIG. 12 shows a flowchart of a method for adapting image information of an optical system to at least one postprocessing algorithm, according to an embodiment of the present invention.

In einem ersten Schritt 201 erfolgt ein Empfangen einer Bildinformation über eine Empfangsschnittstelle. Die Bildinformation kann beispielsweise von dem in 1 gezeigten optischen System 101 bereitgestellt werden. In einem zweiten Schritt 205 erfolgt ein Bestimmen eines Normbildes aus der Bildinformation. Die Bestimmung kann beispielsweise in der in 1 gezeigten Einrichtung 105 ausgeführt werden.In a first step 201 there is received image information via a receiving interface. The image information may be, for example, from the in 1 shown optical system 101 to be provided. In a second step 205 a standard image is determined from the image information. The determination may, for example, in the in 1 shown device 105 be executed.

Um beispielsweise auf ein Auswechseln der Optik oder des Bildgebers angemessen reagieren zu können, können grundsätzlich zwei Wege gewählt werden. Zum einen können die verarbeitenden Algorithmen so parameterbar und robust ausgelegt sein, dass sie mit stark schwankenden Eingangssignalen, beispielsweise Bildern von sehr unterschiedlichen optischen Systemen und Bildgebern zurechtkommen. Zum anderen kann das Eingangssignal dahingehend bearbeitet werden, dass es nach der Bearbeitung in Abhängigkeit vom optischen System nur noch sehr wenig schwankt. Dann können die verarbeitenden Algorithmen, z. B. zur Spurerkennung, in engeren Grenzen festgelegt werden.In order to be able to react appropriately, for example, to a replacement of the optics or of the image generator, basically two ways can be selected. On the one hand, the processing algorithms can be designed so as to be parameterizable and robust, so that they can cope with strongly fluctuating input signals, for example images of very different optical systems and imagers. On the other hand, the input signal can be processed so that it only fluctuates very little after processing depending on the optical system. Then the processing algorithms, e.g. B. for lane detection, are set within narrower limits.

Erfindungsgemäß wird die Variante der Bearbeitung des Eingangssignals umgesetzt. Der erfindungsgemäße Ansatz kann bei einem Video-ASSP eingesetzt werden. Durch das Normbild kann dabei gewährleistet werden, dass bei in Hardware festgelegten nachverarbeitenden Algorithmen sicherstellen werden kann, dass das System mit einer Reihen ggf. sogar unbekannten Optiken-Bildgebern-Kombinationen immer noch funktioniert. Durch den erfindungsgemäßen Ansatz wird durch das Normbild eine definierte Schnittstelle geschaffen, durch die die Parametrierbarkeit der Algorithmen nicht mehr erforderlich ist. Dies ist vorteilhaft, da eine solche Parametrierbarkeit in der Hardware teilweise direkt mit Chipfläche bezahlt werden muss. Dieses Problem kann durch die definierte Schnittstelle gelöst werdenAccording to the variant of the processing of the input signal is implemented. The inventive approach can be used in a video ASSP. The standard image can be used to ensure that hardware-defined post-processing algorithms can ensure that the system still works with a series of possibly even unknown optics-imager combinations. Through the approach according to the invention, a defined interface is created by the standard image, through which the parameterability of the algorithms is no longer required. This is advantageous, since such parameterability in the hardware has to be paid in part directly with chip area. This problem can be solved by the defined interface

Erfindungsgemäß kann durch eine Bearbeitung eines Rohbilds ein Normbild erstellt werden, das das optische System vom verarbeitenden System trennt. Es wird also nicht der Bildzugriff standardisiert, so dass, egal in welcher Kodierung das Rohbild vorliegt (z. B. JPEG, GIF, BMP, ...) durch ein Plugin immer gleich zugegriffen werden kann, sonder es findet eine Verarbeitung des Rohbilds statt.According to the invention, a standard image can be created by processing a raw image, which is the optical system of the processing System disconnects. Thus, image access is not standardized so that, no matter in which coding the raw image is present (eg JPEG, GIF, BMP, ...) a plugin can always be accessed at the same time, but processing of the raw image takes place ,

Durch die erfindungsgemäße Schnittstelle können unterschiedliche Kameras und unterschiedliche Algorithmen beliebig kombiniert werden.By means of the interface according to the invention, different cameras and different algorithms can be combined as desired.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder” Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described. If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, this can be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment, either only the first Feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 10202163 A1 [0004] DE 10202163 A1 [0004]

Claims (13)

Verfahren zur Anpassung von Bildinformationen eines optischen Systems (101) an Qualitätsmaßanforderungen mindestens einen nachverarbeitenden Algorithmus (103), das die folgenden Schritte umfasst: Empfangen (201) einer Bildinformation über eine Empfangsschnittstelle, wobei die Bildinformation von dem optischen System bereitgestellte Intensitätswerte umfasst; und Bestimmen (205) mindestens eines Normbildes aus der Bildinformation unter Einsatz einer Kombination aus mindestens einer Methode der Bilderzeugung und einer Methode zur Bildkorrektur und/oder einer Methode zur Bildauswertung, so dass das mindestens eine Normbild die Qualitätsmaßanforderungen des mindestens einen nachverarbeitenden Algorithmus erfüllt.Method for adapting image information of an optical system ( 101 ) at least one postprocessing algorithm ( 103 ), which includes the following steps: receiving ( 201 ) image information via a receiving interface, the image information comprising intensity values provided by the optical system; and determining ( 205 ) At least one standard image from the image information using a combination of at least one method of image generation and a method for image correction and / or a method for image analysis, so that the at least one standard image meets the quality requirements of at least one postprocessing algorithm. Verfahren gemäß Anspruch 1, bei dem der mindestens eine nachverarbeitende Algorithmus (103) ausgebildet ist, um basierend auf dem mindestens einen Normbild eine Verkehrszeichenerkennung und/oder eine Spurdetektion durchzuführen.Method according to Claim 1, in which the at least one postprocessing algorithm ( 103 ) is designed to perform a traffic sign recognition and / or a track detection based on the at least one standard image. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die mindestens eine Methode der Bilderzeugung eine Bildpunktinterpolation und/oder eine Farbwerteanpassung umfasst.Method according to one of the preceding claims, wherein the at least one method of image generation comprises a pixel interpolation and / or a color value adjustment. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildkorrektur ausgebildet ist, um einen Fehler eines Linsensystems des optischen Systems zu korrigieren, um basierend auf der Bildinformation ein linsenfehlerkorrigiertes Normbild zu bestimmen.Method according to one of the preceding claims, in which the method for image correction is designed to correct an error of a lens system of the optical system in order to determine a lens aberration-corrected standard image based on the image information. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um eine Farbinformation oder einen Strukturverlauf der Bildinformation auszuwerten.Method according to one of the preceding claims, in which the method for image evaluation is designed to evaluate a color information or a structure profile of the image information. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um für unterschiedliche Bildbereiche basierend auf der Bildinformation Werte eines Farbmaßes zu ermitteln um das Normbild basierend auf den Werten des Farbmaßes zu bestimmen.Method according to one of the preceding claims, in which the method for image evaluation is designed to determine values of a color measure for different image regions based on the image information in order to determine the standard image based on the values of the colorimetry. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Methode zur Bildauswertung ausgebildet ist, um basierend auf der Bildinformation eine Kanteninformation und basierend auf der Kanteninformation ein Kantennormbild zu bestimmen.Method according to one of the preceding claims, in which the method for image evaluation is designed to determine an edge information based on the image information and an edge standard image based on the edge information. Verfahren gemäß Anspruch 7, bei dem die Qualitätsmaßanforderungen Anforderungen an eine Kantenlänge von Kantensegmenten des Kantennormbilds stellen.The method of claim 7, wherein the quality measure requirements make demands on an edge length of edge segments of the edge standard image. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Qualitätsmaßanforderungen Histogramme einer Grauwertverteilung des Normbildes, Frequenzuntersuchungen des Normbildes, und/oder Änderungen des Frequenzspektrums des Normbildes über die Zeit umfassen.Method according to one of the preceding claims, in which the quality measure requirements comprise histograms of a gray scale distribution of the standard image, frequency investigations of the standard image, and / or changes of the frequency spectrum of the standard image over time. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Auswertens mindestens eines Normbildes, um eine Funktionalität des optischen Systems zu überwachen.Method according to one of the preceding claims, comprising a step of evaluating at least one standard image in order to monitor a functionality of the optical system. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens ein erstes Normbildbestimmt wird, das die Qualitätsmaßanforderungen eines ersten nachverarbeitenden Algorithmus erfüllt und ein zweites Normbild bestimmt wird, das die Qualitätsmaßanforderungen eines zweiten nachverarbeitenden Algorithmus erfüllt.Method according to one of the preceding claims, wherein in the step of determining a first standard image is determined, which meets the quality requirements of a first post-processing algorithm and a second standard image is determined, which meets the quality requirements of a second post-processing algorithm. Vorrichtung (105), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 11 durchzuführen.Contraption ( 105 ) configured to perform the steps of a method according to any one of claims 1 to 11. Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11, wenn das Programm auf einer Vorrichtung ausgeführt wird.Computer program product with program code, which is stored on a machine-readable carrier, for carrying out the method according to one of claims 1 to 11, when the program is executed on a device.
DE102009047437A 2009-12-03 2009-12-03 Method and device for adapting image information of an optical system Pending DE102009047437A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102009047437A DE102009047437A1 (en) 2009-12-03 2009-12-03 Method and device for adapting image information of an optical system
CN2010800546843A CN102640183A (en) 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system
PCT/EP2010/068524 WO2011067249A1 (en) 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system
EP10788289A EP2507765A1 (en) 2009-12-03 2010-11-30 Method and device for adapting image information of an optical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009047437A DE102009047437A1 (en) 2009-12-03 2009-12-03 Method and device for adapting image information of an optical system

Publications (1)

Publication Number Publication Date
DE102009047437A1 true DE102009047437A1 (en) 2011-06-09

Family

ID=43415812

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009047437A Pending DE102009047437A1 (en) 2009-12-03 2009-12-03 Method and device for adapting image information of an optical system

Country Status (4)

Country Link
EP (1) EP2507765A1 (en)
CN (1) CN102640183A (en)
DE (1) DE102009047437A1 (en)
WO (1) WO2011067249A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108860A1 (en) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Method for performing automatic color matching of a vehicle-mounted color camera
DE102012108861A1 (en) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Method for calibrating a color-resolving vehicle camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10202163A1 (en) 2002-01-22 2003-07-31 Bosch Gmbh Robert Process and device for image processing and night vision system for motor vehicles

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744910B1 (en) * 1999-06-25 2004-06-01 Cross Match Technologies, Inc. Hand-held fingerprint scanner with on-board image normalization data storage
JP4953498B2 (en) * 2000-07-12 2012-06-13 富士重工業株式会社 Outside vehicle monitoring device with fail-safe function
US6531707B1 (en) * 2000-12-29 2003-03-11 Cognex Corporation Machine vision method for the inspection of a material for defects
US20070280534A1 (en) * 2006-06-05 2007-12-06 Benjamin Perkins Foss Method for capturing and presenting test using video image capture for optical character recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10202163A1 (en) 2002-01-22 2003-07-31 Bosch Gmbh Robert Process and device for image processing and night vision system for motor vehicles

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108860A1 (en) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Method for performing automatic color matching of a vehicle-mounted color camera
DE102012108861A1 (en) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Method for calibrating a color-resolving vehicle camera

Also Published As

Publication number Publication date
EP2507765A1 (en) 2012-10-10
WO2011067249A1 (en) 2011-06-09
CN102640183A (en) 2012-08-15

Similar Documents

Publication Publication Date Title
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
EP3629241A1 (en) Device and method for automatic image enhancement in vehicles
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
EP3291172B1 (en) Method for calculating final image data
DE102011106072A1 (en) SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS
DE102012221667A1 (en) Apparatus and method for processing remote sensing data
EP2028605A1 (en) Detection method for symmetric patterns
EP3289398B1 (en) Method for generating a reflection-reduced contrast image and corresponding devices
DE102009001122A1 (en) Camera arrangement and method for determining image signals with color values
DE102012218123A1 (en) Method for calibrating optical sensor of driver assistance system-camera of e.g. passenger car, involves extracting calibration information from QR-code, where optical sensor of vehicle is calibrated based on calibration information
DE102018104913A1 (en) Vibration monitoring of an object using a video camera
DE102018205561A1 (en) Device for classifying signals
DE102017011562A1 (en) Process for converting a raw image into a color image
DE102011005780B4 (en) Method and device for determining a distance between a vehicle and an object
DE102009047437A1 (en) Method and device for adapting image information of an optical system
DE102011010315A1 (en) Detection of objects
EP3635677A1 (en) Method and device for image correction
EP2539851B1 (en) Method and apparatus for analysing an image from an image capture device for a vehicle
DE102019204602B4 (en) Method and device for masking objects contained in an image
DE102017124956B4 (en) A method of extracting a light pattern from an image thereof captured by a vehicle camera
DE102020215415A1 (en) Method and device for detecting a sturgeon plant image in a camera raw image and image processing device
DE102009000810A1 (en) Device for segmenting an object in an image, video surveillance system, method and computer program
DE102018101014B3 (en) A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera
DE102013109604A1 (en) Camera-based object recognition technology
DE102018212179A1 (en) IMAGE PROCESSING APPARATUS AND METHOD FOR IMAGE PROCESSING

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000

R084 Declaration of willingness to licence