DE3612268A1

DE3612268A1 - Method for finding areas in an image which exist in a reference image

Info

Publication number: DE3612268A1
Application number: DE19863612268
Authority: DE
Inventors: Hartmut Van Bel; Ulrich Dipl Ing Kolzenburg
Original assignee: Licentia Patent Verwaltungs GmbH
Current assignee: Telefunken Systemtechnik AG
Priority date: 1986-04-11
Filing date: 1986-04-11
Publication date: 1987-10-15

Abstract

A method for finding areas (spots), existing in a reference image, in an image which is preferably supplied by an optronic sensor or an image reproduction device. The areas are detected by means of significant characteristics after the following method steps have been carried out: a. the image is divided into an above-threshold and a below-threshold grey scale area, the above-threshold grey scale area comprising those image sections which are equal in the image and reference image; b. the image is reduced to a preliminary binary image representing the above-threshold grey scale area; c. the binary image is transferred into a segmentation device making it possible to compare the areas; d. each area is assembled by means of markings in the preliminary binary image; e. using a characteristics logic, particular characteristics characterising an area are sought out; and f. detection conclusions for finding the areas are carried out by means of the characterising characteristics of the areas in an evaluating unit. <IMAGE>

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff von Anspruch 1.The invention relates to a method according to the preamble of Claim 1.

Vorzugsweise von einem optronischen Sensor oder einer Bildwiedergabeeinrichtung gelieferte Bilder, beispielsweise Video-Bilder einer laufenden Bildfolge, weisen im allgemeinen diese Bilder kennzeichnende Flächen oder Flecken auf. Es ist nun gewünscht, die in einem Bild festgestellten Flächen in einem Vergleichsbild wiederzuerkennen, und zwar möglichst im annähernden Realzeitbereich. Ein derartiger Vergleich könnte z. B. bildpunktorientiert durchgeführt werden, wobei jedoch nachteiligerweise auf Informationen verzichtet werden müßte, die aus der Gestalt der Fläche oder des Fleckes abzuleiten sind.Preferably from an optronic sensor or an image display device delivered images, for example video images of a running one Sequence of images, generally have surfaces or areas that characterize these images Spots on. It is now desired to find the one found in an image Recognize areas in a comparison image, if possible in approximate real time range. Such a comparison could e.g. B. pixel-oriented be carried out, however disadvantageously on Information would have to be dispensed from the shape of the area or the stain are to be derived.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zu schaffen, das das Auffinden von in einem Vergleichsbild erkannten Flächen oder Flecken anhand ihrer Eigenschaften in einem Bild ermöglicht. The invention is therefore based on the object of a method of the beginning to create the kind that is found in a comparison image recognized areas or stains based on their properties in one Image allows.

Die Aufgabe wird erfindungsgemäß durch die kennzeichnenden Verfahrensschritte des Anspruchs 1 gelöst.The object is achieved by the characterizing process steps of claim 1 solved.

Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen 2 bis 22 beschrieben.Embodiments of the method according to the invention are in the subclaims 2 to 22 described.

Ein Vorteil der Erfindung liegt darin, daß eine Zuordnung allein aufgrund der bekannten Parameter möglich ist. Es wird kein weiterer Bilddurchlauf benötigt. Es ist sogar möglich, im Folgedurchlauf weitere abgelegte Parameter zur Entscheidungsfindung hinzuzuziehen, ohne daß deshalb ein gesonderter Bilddurchlauf erforderlich wird. Auch die Zuordnungskriterien und deren Wichtung sind frei bestimmbar, wie z. B. der Erwartungsbereich, in dem man eine Fläche oder einen Fleck wiederzufinden versucht. Von Vorteil ist auch, daß das Verfahren sehr schnell und damit nahezu realzeitfähig ist. Es ist besonders übersichtlich und damit wiederverwendbar. Es ist möglich, das erfindungsgemäße Verfahren durch eine spezielle Hardware zu realisieren.An advantage of the invention is that an assignment is based solely on the known parameters is possible. There is no further scrolling needed. It is even possible to add further stored parameters in the subsequent run to be involved in decision making without the need for a separate Scrolling is required. Also the assignment criteria and their weighting can be freely determined, such as B. the range of expectations, in which you try to find a surface or a stain. Advantageous is also that the process is very fast and therefore almost real-time capable is. It is particularly clear and therefore reusable. It is possible, the inventive method by special hardware to realize.

In der Zeichnung ist eine Einrichtung zur Durchführung des Verfahrens dargestellt, und zwar zeigen die Fig. 1 und 2 jeweils einen Teil eines Gesamtblockschaltbildes, wobei die beide Teile verbindenden Anschlüsse mit a, b und c gekennzeichnet sind.In the drawing, a device for carrying out the method is shown, namely that FIGS. 1 and 2 each show part of an overall block diagram, the connections connecting the two parts being identified by a, b and c .

Gemäß Fig. 1 kann das Bild, vorzugsweise das Bild einer ununterbrochenen Bildsequenz mittels eines opt. Sensors 1 erstellt werden (LLL-, IR-, Video- Kamera o. ä.) oder von einem Medium 11 stammen, das zur Aufzeichnung derartiger Signale geeignet ist. Dieses Bild n wird einem zweiten Bild n-1 überlagert, welches beispielsweise das vorhergehende Bild dieser Sequenz ist. Die Überlagerung kann in einem Subtrahierer 12 durch Bildung der Differenz erfolgen. Gleiche Bildteile werden dann zu Null, ungleiche Bildteile, wie z. B. ein sich bewegendes Objekt werden ungleich Null. Dieser Schritt ermöglicht ein leichtes Erkennen sich bewegender Bilder in Anschluß an die Binärinirlogik 4. Er ist jedoch in gewisser Weise hinderlich, was die Folgerung im Anschluß an die Betrachtung der dynamischen Eigenschaften (s. u.) betrifft. Daher kann dieser Schritt übersprungen werden, erfordert aber gewisse Änderungen in den folgenden Blöcken, ohne jedoch deren Grobfunktion zu beeinflussen.Referring to FIG. 1, the image, the image is preferably a continuous image sequence by means of an opt. Sensors 1 are created (LLL, IR, video camera or the like) or come from a medium 11 which is suitable for recording such signals. This image n is superimposed on a second image n -1, which is, for example, the previous image of this sequence. The superimposition can take place in a subtractor 12 by forming the difference. The same parts of the image then become zero, unequal parts of the image such as B. a moving object will be non-zero. This step enables moving images to be easily identified following binary binary logic 4 . However, it is somewhat of a hindrance when it comes to the conclusion after considering the dynamic properties (see below). This step can therefore be skipped, but requires certain changes in the following blocks without affecting their rough function.

Der Zustand "0" im Differenzbild wird aus den verschiedensten Gründen nur äußerst selten erreicht. Die Gründe liegen z. B. in Rauschen und/oder wechselnden Lichtverhältnissen, und/oder in, wenn auch geringfügigen, Bewegungen der Kamera 1 etc. Daher muß eine Schwelle in einer Schwellwertlogik 3 festgelegt werden, die alle diejenigen Differenz-Grauwerte umfaßt, die als Bestandteil von Null definiert werden. Diese Schwelle kann in jedem Bild unterschiedlich sein, da auch die Einflüsse auf das Bild wechseln. Auch bei Verwendung des Originalbildes ist eine Anpassung der Schwelle zum späteren Binärisieren nötig. Es muß nur ein anderen Schwellwert (Offset) angelegt werden.The state "0" in the difference image is only very rarely reached for a variety of reasons. The reasons are e.g. B. in noise and / or changing lighting conditions, and / or in, albeit slight, movements of the camera 1 etc. Therefore, a threshold must be defined in a threshold logic 3 , which includes all those difference gray values that are defined as a component of zero will. This threshold can be different in each picture, since the influences on the picture also change. Even when using the original image, an adjustment of the threshold is necessary for later binarization. Only a different threshold value (offset) has to be created.

Weil man das im Bild n vorhandene Rauschen als additiv und normalverteilt mit einem Erwartungswert von 0 annehmen kann, kann man auch davon ausgehen, daß die Grauwertdifferenzen ebenfalls normalverteilt sind. Deshalb läßt sich für ein einfaches Schwellwertverfahren ein Wert T angeben, so daß sich ein Intervall ergibt, außerhalb dessen alle Werte liegen, die eine echte Differenz repräsentieren. Wenn schon mehrere Bilder verarbeitet sind, sind schon Informationen vorhanden, darüber, an welcher Stelle Differenzen existieren.Because the noise in picture n can be assumed to be additive and normally distributed with an expected value of 0, one can also assume that the gray value differences are also normally distributed. A value T can therefore be specified for a simple threshold value method, so that there is an interval outside of which lie all values which represent a real difference. If several images have already been processed, information is already available about where differences exist.

Mithin ergeben sich bei der Schwelle drei Grauwertbereiche:There are therefore three gray value ranges for the threshold:

1. A subliminal area;
2. An intra-threshold area;
3. A cross-threshold area.

Für "Pixel = activ" gilt die Aussage:The following applies to "Pixel = active":

G(T) e (T(u), T(o)), G ( T ) e ( T ( u ), T ( o )),

wobei
T = Größe der Schwelle
G(T) = Grauwert innerhalb der Schwelle
T(u) = Unterer Grenzwert der Schwelle
T(o) = Oberer Grenzwert der Schwelle ist. in which
T = size of the threshold
G ( T ) = gray value within the threshold
T ( u ) = lower limit of the threshold
T ( o ) = upper limit of the threshold.

Mittels der so ermittelten Schwelle wird in einer Binärisierungslogik 4 das vorliegende Bild n auf die Zustände "innerschwellig" und "außerschwellig" reduziert. Es entsteht ein vorläufiges Binärbild n, das in einer Reduktionslogik 13 von solchen Flächen gesäubert wird, die bestimmte Kriterien nicht erfüllen. Ein solches Kriterium kann z. B. die Unterschreitung der Gesamtpixelmenge der Fläche unter einen bestimmten Toleranzwert sein (Säuberung von Schmutzeffekten). Das Originalbild wird nun mit dem entstandenen Binärbild überschrieben um die Zahl der Speicherbausteine zu optimieren.By means of the threshold determined in this way, the present image n is reduced to the states “intrinsically threshold” and “outside threshold” in a binarization logic 4 . A preliminary binary image n results which is cleaned in a reduction logic 13 from areas which do not meet certain criteria. Such a criterion can e.g. B. the shortfall in the total pixel amount of the area below a certain tolerance value (cleaning of dirt effects). The original image is now overwritten with the resulting binary image in order to optimize the number of memory chips.

Das vorliegende, von Schmutz- und Rauscheffekten befreite Bild ist nun zu segmentieren, d. h. es werden seine Flecken herausgearbeitet. Die Form der Flecken ist beliebig. Dazu werden beim Lauf durch das Bild Nachbarschaftsbeziehungen festgehalten, signifikante Pixel in Form ihrer Adressen gespeichert und die bearbeiteten Pixel im Bild markiert. Eine Eigenschaftslogik 51 sorgt für das Heraussuchen bestimmter, den Fleck charakterisierender Eigenschaften. Dies können sein:The present image, which is free from dirt and noise effects, is now to be segmented, ie its spots are worked out. The shape of the spots is arbitrary. For this purpose, neighborhood relationships are recorded while running through the image, significant pixels are saved in the form of their addresses and the processed pixels are marked in the image. A property logic 51 ensures that certain properties characterizing the stain are selected. These can be:

- Expansion in the x / y direction
- focus of the stain
- Number the spot
- Score in the spot
- Shape features of the stain
- Etc.

Diese Eigenschaften sind direkt aus dem Bild ablesbar und bedürfen nicht der Betrachtung weiterer Bilder, um Erkennungsschlüsse zu ziehen. Wir sprechen hier von "statischen Eigenschaften" im Gegensatz zu den im Folgenden erläuterten "dynamischen Eigenschaften".These properties can be read directly from the picture and do not require that Viewing additional images to draw conclusions about the recognition. We speak here of "static properties" in contrast to those explained below "dynamic properties".

Um die Bearbeitung der dynamischen Eigenschaften zu beschleunigen und damit Laufzeiten und Hardwareaufwand zu reduzieren, werden die Erkenntnisse aus den statischen Eigenschaften nach bestimmten Kriterien sortiert. Das ermöglicht die Bearbeitung der dynamischen Eigenschaften beginnend mit dem wichtigsten Fleck und endend mit dem Unwichtigsten. Statussignale erlauben den Bearbeitungsabbruch innerhalb der Tabelle. Durch eine Eigenschaftslogik 52 können nun dynamische Eigenschaften eines Flecks herausgesucht werden. Als dynamische Eigenschaften können beispielsweise folgende angesehen werden:In order to accelerate the processing of the dynamic properties and thus reduce runtimes and hardware expenditure, the findings from the static properties are sorted according to certain criteria. This enables the processing of the dynamic properties starting with the most important stain and ending with the least important. Status signals allow processing to be aborted within the table. Property logic 52 can now be used to search for dynamic properties of a stain. The following can be regarded as dynamic properties, for example:

- speed of movement (pixels / time between two images)
- direction of movement
- distance of the spots
- change of shape characteristics (see above)

Die Eigenschaftslogik 51 kann z. B. jeden Fleck im Bild in drei Stufen bearbeiten und auf diese Weise Korrespondenzen zu ihm suchen. Dazu wird eine Hierarchie von Eigenschaften installiert, die in drei Stufen eingeteilt ist:The property logic 51 can e.g. B. edit every spot in the picture in three stages and in this way search for correspondence to it. For this, a hierarchy of properties is installed, which is divided into three levels:

1st stage: candidate selection

Die alte Flecktabelle wird nach solchen Flecken durchsucht, die sich bezüglich einer Eigenschaft (z. B. ein Formmerkmal) aus der Stufe 1 wenig unterscheiden d. h. es wird z. B. nur ein Vergleich über die ersten Stellen eines numerischen Wertes, der eine Eigenschaft repräsentiert, durchgeführt. Wird ein Fleck gefunden, so wird dessen Nummer in eine Kandidatenliste eingetragen.The old stain table is searched for stains that relate to each other little difference between a property (e.g. a shape feature) from level 1 d. H. it is e.g. B. only a comparison over the first few digits of a numerical value representing a property. Becomes If a stain is found, its number is entered in a candidate list.

2nd stage: delete candidates

Die zweite Stufe ist in sich hierarchisch strukturiert. Diese Hierarchie wird im folgenden Verlauf von oben nach unten durchlaufen. Das bedeutet, daß die Eigenschaften Prioritäten erhalten. Der Vergleicher bearbeitet den Fleck aus der aktuellen Fleck-Tabelle so, daß er prüft, ob die Kandidaten sich bezüglich der gerade aktuellen Eigenschaft in der Hierarchie sich wesentlich von ihm unterscheiden. Falls ja wird der Kandidat gelöscht.The second level is hierarchically structured. This hierarchy is run from top to bottom in the following course. That means, that the properties are given priority. The comparator processes the Stain from the current stain table so that it checks whether the candidates regarding the current property in the hierarchy differ significantly from him. If so, the candidate is deleted.

3rd stage: restriction

Falls mehr als ein Kandidat übrig bleibt, wird geprüft, ob eine oder mehrere Eigenschaften (s. auch Block 5.4.) vorgegebene Restriktionen verletzen. Ist dies der Fall, so wird der Kandidat ebenfalls gelöscht.If more than one candidate remains, it is checked whether one or more Properties (see also block 5.4.) Violate specified restrictions. Is if this is the case, the candidate will also be deleted.

Läßt sich mit dieser dreistufigen Vorgehensweise keine Zuordnung treffen, so wird der Fleck als neu markiert. Ist dieser erste Durchlauf der Eigenschaftslogik 52 abgeschlossen, so wird die Flecktabelle des Vorgänger-Bildes danach durchsucht, ob alle Flecken eine Korrespondenz im aktuellen Bild gefunden haben. Flecken, für die dies nicht gilt, werden als verschwunden markiert. Aus dem Abstand und der Geschwindigkeit kann eine Ablage berechnet werden, die als Vorhersage für ihr Wiedererscheinen als Eingabe für den Vergleicher und als a Priori-Information für die Schwellwertlogik 3 benutzt werden kann.If no assignment can be made with this three-step procedure, the stain is marked as new. When this first pass through the property logic 52 has been completed, the stain table of the previous image is searched for whether all stains have found a correspondence in the current image. Stains for which this does not apply are marked as having disappeared. A distance can be calculated from the distance and the speed, which can be used as a prediction for its reappearance as input for the comparator and as a priori information for the threshold value logic 3 .

Eine Auswerteeinheit, dargestellt durch die Eigenschaftsspeicher 53 und die Bezugslogik 54, schafft die Möglichkeit aus den Sensoreigenschaftsdaten (z. B. Brennweite der Optik) und den geometrischen Daten innerhalb der Bilder auf die Verhältnisse in der Realszene zu schließen. Hierzu bietet sich die Anwendung von Informationen über perspektivische Verzerrungen und/oder der darstellenden Geometrie an. Es ist an dieser Stelle ebenfalls möglich, dem Rechenwerk Daten von extern zuzuführen. Dies gilt z. B. für das mechanische Verhalten der Sensorträger (Plattformen etc.) Die Bildeigenschaften liefern Daten wie Geschwindigkeit, Randbezug, Größenveränderung etc. und lassen dadurch einen Schluß auf im Originalbild vorhandene Objekte zu.An evaluation unit, represented by the property memory 53 and the reference logic 54 , makes it possible to infer the conditions in the real scene from the sensor property data (e.g. focal length of the optics) and the geometric data within the images. For this purpose, the use of information about perspective distortions and / or the representing geometry is appropriate. At this point it is also possible to supply data to the arithmetic unit externally. This applies e.g. B. for the mechanical behavior of the sensor carrier (platforms etc.) The image properties provide data such as speed, edge reference, size change etc. and thereby allow conclusions to be drawn about objects in the original image.

Eine besondere, der Bezugslogik 54 nachgeordnete Folgerungslogik 6 dieses Gerätes gestattet es, mit der Hilfe von Schlußregeln (z. B. Beweisverfahren auf Basis von der Prädikaten-Logik) die Grundlage für Aktionen zu schaffen, die durch einen angeschlossenen Mechanismus ausführbar sind (z. B. Handling- Robot).A special inference logic 6 of this device, which is arranged downstream of the reference logic 54, allows the basis for actions that can be carried out by a connected mechanism to be created with the help of inference rules (for example, evidence based on the predicate logic). B. Handling robot).

Um den Kontakt zur um das Gerät befindlichen Umwelt wieder herstellen zu können, werden die Ergebnisse in einer Ausgabeeinheit 7 zusammengefaßt, die diese Ergebnisse in geeigneter Weise im Bild darstellt (z. B. Umrandung der Objekte). Außerdem werden die o. g. Mechanismen mit den Daten versorgt, die spezifischerweise für sie erforderlich sind (Schnittstellen-Hardware).In order to be able to re-establish contact with the environment around the device, the results are summarized in an output unit 7 , which displays these results in a suitable manner in the image (e.g. border of the objects). In addition, the above mechanisms are supplied with the data that are specifically required for them (interface hardware).

Claims

1. A method for locating areas (spots) present in a comparison image in an image, in particular an image taken from an image sequence, which is supplied by a device, preferably by an optronic sensor or an image display device, the areas being recognized on the basis of significant properties are characterized by the following process steps:

a. the submitted image ( s ) is subdivided into a sub-threshold and a sub-threshold gray-scale range, the super-threshold gray-scale range encompassing those parts of the image which are identical in the image ( s ) and the comparison image ( n -1);
b. the submitted image ( s ) is reduced in a binarization device ( 4 ) into a provisional binary image ( s ) representing the transversal gray value range;
c. the preliminary binary image ( s ) is overwritten in a segmentation device ( 5 ) which enables the comparison of the areas;
d. When the provisional binary image ( s ) passes through the segmentation device ( 5 ), neighborhood relationships of pixels are recorded, significant pixels are stored in the form of their addresses, and the processed pixels in the binary image are marked with an area number;
e. each area is compiled based on its markings in the preliminary binary image ( s );
f. With the help of a property logic ( 51, 52 ) certain properties characterizing an area are selected; and
G. In an evaluation unit ( 53, 54 ), detection inferences are made based on the characterizing properties of the surfaces in order to find the surfaces.

2. The method according to claim 1, characterized in that the submitted image ( s ) is superimposed on a second image ( n -1).

3. The method according to claim 2, characterized in that the image ( n ) preceding the image ( n -1) of an image sequence is used as the second image.

4. The method according to claim 2 or 3, characterized in that the superposition is carried out by forming the difference between the two images ( n, n -1).

5. The method according to claim 1, characterized in that by the transient Gray value range includes an intrinsic gray value range is determined by a lower limit of the threshold and an upper Limit of the threshold is limited and thus a tolerance range of Represents threshold.

6. The method according to claim 1, characterized in that the preliminary binary image ( s ) is cleaned in a reduction logic ( 13 ) of such areas (spots) that do not meet the predetermined criteria.

7. The method according to claim 6, characterized in that as criteria the sizes of the areas are used.

8. The method according to claim 6, characterized by the use of Center of gravity as given criteria.

9. The method according to claim 6, characterized in that as a criterion the falling below the total amount of pixels of an area below a predetermined Tolerance value is used.

10. The method according to claim 1, characterized in that the preliminary binary image ( s ) together with the (original) image ( s ) is overwritten for the purpose of optimizing the memory modules.

11. The method according to claim 1, characterized in that when passing through the binary image ( s ) through the segmentation device ( 5 ) this special properties are added.

12. The method according to claim 1, characterized in that by the property logic ( 51 ) static properties (such as extension in the x / y direction; center of gravity of a surface, numbering of a surface, number of points in the surface, shape features of the surface, etc.) directly on the provisional binary image ( s ) are selected.

13. The method according to claim 1 or 12, characterized in that by the property logic ( 52 ) dynamic properties (such as speed of movement, ie pixels / time between two images, direction of movement, distance of the surfaces, change in shape features, etc.) are selected will.

14. The method according to claim 13, characterized in that for acceleration the processing of the dynamic properties and thus for reduction the insights from the static Properties are sorted according to specified criteria.

15. The method according to claim 13 or 14, characterized in that the dynamic properties of a surface selected by a comparator will.

16. The method according to claim 15, characterized by a comparator, who performs a search in three stages.

17. The method according to claim 15 or 16, characterized in that the Comparator searches for correspondence to the areas.

18. The method according to claim 16, characterized in that a hierarchy of properties with the following three levels is installed: candidate selection, Delete candidate and restriction.

19. The method according to claim 1, characterized in that by means of the evaluation unit ( 53, 54 ) from the sensor property data and the geometric data within the images on the conditions in the real scene.

20. The method according to claim 1 or 19, characterized in that by an evaluation unit ( 53, 54 ) connected inference logic ( 6 ) with the help of closing rules, the basis for actions is made possible by which a subordinate mechanism is actuated.

21. The method according to claim 1, 19 or 20, characterized in that the results are summarized in one of the evaluation unit ( 52, 53 ) or the inference logic ( 6 ) downstream output unit ( 7 ).

22. The method according to claim 21, characterized in that the summarized Results are shown in a suitable way in the picture.