DE3612268A1 - Verfahren zum auffinden von in einem vergleichsbild vorhandenen flaechen in einem bild - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff von Anspruch 1.

Vorzugsweise von einem optronischen Sensor oder einer Bildwiedergabeeinrichtung gelieferte Bilder, beispielsweise Video-Bilder einer laufenden Bildfolge, weisen im allgemeinen diese Bilder kennzeichnende Flächen oder Flecken auf. Es ist nun gewünscht, die in einem Bild festgestellten Flächen in einem Vergleichsbild wiederzuerkennen, und zwar möglichst im annähernden Realzeitbereich. Ein derartiger Vergleich könnte z. B. bildpunktorientiert durchgeführt werden, wobei jedoch nachteiligerweise auf Informationen verzichtet werden müßte, die aus der Gestalt der Fläche oder des Fleckes abzuleiten sind.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zu schaffen, das das Auffinden von in einem Vergleichsbild erkannten Flächen oder Flecken anhand ihrer Eigenschaften in einem Bild ermöglicht.

Die Aufgabe wird erfindungsgemäß durch die kennzeichnenden Verfahrensschritte des Anspruchs 1 gelöst.

Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen 2 bis 22 beschrieben.

Ein Vorteil der Erfindung liegt darin, daß eine Zuordnung allein aufgrund der bekannten Parameter möglich ist. Es wird kein weiterer Bilddurchlauf benötigt. Es ist sogar möglich, im Folgedurchlauf weitere abgelegte Parameter zur Entscheidungsfindung hinzuzuziehen, ohne daß deshalb ein gesonderter Bilddurchlauf erforderlich wird. Auch die Zuordnungskriterien und deren Wichtung sind frei bestimmbar, wie z. B. der Erwartungsbereich, in dem man eine Fläche oder einen Fleck wiederzufinden versucht. Von Vorteil ist auch, daß das Verfahren sehr schnell und damit nahezu realzeitfähig ist. Es ist besonders übersichtlich und damit wiederverwendbar. Es ist möglich, das erfindungsgemäße Verfahren durch eine spezielle Hardware zu realisieren.

In der Zeichnung ist eine Einrichtung zur Durchführung des Verfahrens dargestellt, und zwar zeigen die Fig. 1 und 2 jeweils einen Teil eines Gesamtblockschaltbildes, wobei die beide Teile verbindenden Anschlüsse mit a, b und c gekennzeichnet sind.

Gemäß Fig. 1 kann das Bild, vorzugsweise das Bild einer ununterbrochenen Bildsequenz mittels eines opt. Sensors 1 erstellt werden (LLL-, IR-, Video- Kamera o. ä.) oder von einem Medium 11 stammen, das zur Aufzeichnung derartiger Signale geeignet ist. Dieses Bild n wird einem zweiten Bild n-1 überlagert, welches beispielsweise das vorhergehende Bild dieser Sequenz ist. Die Überlagerung kann in einem Subtrahierer 12 durch Bildung der Differenz erfolgen. Gleiche Bildteile werden dann zu Null, ungleiche Bildteile, wie z. B. ein sich bewegendes Objekt werden ungleich Null. Dieser Schritt ermöglicht ein leichtes Erkennen sich bewegender Bilder in Anschluß an die Binärinirlogik 4. Er ist jedoch in gewisser Weise hinderlich, was die Folgerung im Anschluß an die Betrachtung der dynamischen Eigenschaften (s. u.) betrifft. Daher kann dieser Schritt übersprungen werden, erfordert aber gewisse Änderungen in den folgenden Blöcken, ohne jedoch deren Grobfunktion zu beeinflussen.

Der Zustand "0" im Differenzbild wird aus den verschiedensten Gründen nur äußerst selten erreicht. Die Gründe liegen z. B. in Rauschen und/oder wechselnden Lichtverhältnissen, und/oder in, wenn auch geringfügigen, Bewegungen der Kamera 1 etc. Daher muß eine Schwelle in einer Schwellwertlogik 3 festgelegt werden, die alle diejenigen Differenz-Grauwerte umfaßt, die als Bestandteil von Null definiert werden. Diese Schwelle kann in jedem Bild unterschiedlich sein, da auch die Einflüsse auf das Bild wechseln. Auch bei Verwendung des Originalbildes ist eine Anpassung der Schwelle zum späteren Binärisieren nötig. Es muß nur ein anderen Schwellwert (Offset) angelegt werden.

Weil man das im Bild n vorhandene Rauschen als additiv und normalverteilt mit einem Erwartungswert von 0 annehmen kann, kann man auch davon ausgehen, daß die Grauwertdifferenzen ebenfalls normalverteilt sind. Deshalb läßt sich für ein einfaches Schwellwertverfahren ein Wert T angeben, so daß sich ein Intervall ergibt, außerhalb dessen alle Werte liegen, die eine echte Differenz repräsentieren. Wenn schon mehrere Bilder verarbeitet sind, sind schon Informationen vorhanden, darüber, an welcher Stelle Differenzen existieren.

Mithin ergeben sich bei der Schwelle drei Grauwertbereiche:

• 1. Ein unterschwelliger Bereich;
• 2. Ein innerschwelliger Bereich;
• 3. Ein überschwelliger Bereich.

Für "Pixel = activ" gilt die Aussage:

G(T) e (T(u), T(o)),

wobei
T = Größe der Schwelle
G(T) = Grauwert innerhalb der Schwelle
T(u) = Unterer Grenzwert der Schwelle
T(o) = Oberer Grenzwert der Schwelle ist.

Mittels der so ermittelten Schwelle wird in einer Binärisierungslogik 4 das vorliegende Bild n auf die Zustände "innerschwellig" und "außerschwellig" reduziert. Es entsteht ein vorläufiges Binärbild n, das in einer Reduktionslogik 13 von solchen Flächen gesäubert wird, die bestimmte Kriterien nicht erfüllen. Ein solches Kriterium kann z. B. die Unterschreitung der Gesamtpixelmenge der Fläche unter einen bestimmten Toleranzwert sein (Säuberung von Schmutzeffekten). Das Originalbild wird nun mit dem entstandenen Binärbild überschrieben um die Zahl der Speicherbausteine zu optimieren.

Das vorliegende, von Schmutz- und Rauscheffekten befreite Bild ist nun zu segmentieren, d. h. es werden seine Flecken herausgearbeitet. Die Form der Flecken ist beliebig. Dazu werden beim Lauf durch das Bild Nachbarschaftsbeziehungen festgehalten, signifikante Pixel in Form ihrer Adressen gespeichert und die bearbeiteten Pixel im Bild markiert. Eine Eigenschaftslogik 51 sorgt für das Heraussuchen bestimmter, den Fleck charakterisierender Eigenschaften. Dies können sein:

• - Ausdehnung in x/y-Richtung
• - Schwerpunkt des Fleckes
• - Nummerieren des Fleckes
• - Punktezahl im Fleck
• - Formmerkmale des Fleckes
• - etc.

Diese Eigenschaften sind direkt aus dem Bild ablesbar und bedürfen nicht der Betrachtung weiterer Bilder, um Erkennungsschlüsse zu ziehen. Wir sprechen hier von "statischen Eigenschaften" im Gegensatz zu den im Folgenden erläuterten "dynamischen Eigenschaften".

Um die Bearbeitung der dynamischen Eigenschaften zu beschleunigen und damit Laufzeiten und Hardwareaufwand zu reduzieren, werden die Erkenntnisse aus den statischen Eigenschaften nach bestimmten Kriterien sortiert. Das ermöglicht die Bearbeitung der dynamischen Eigenschaften beginnend mit dem wichtigsten Fleck und endend mit dem Unwichtigsten. Statussignale erlauben den Bearbeitungsabbruch innerhalb der Tabelle. Durch eine Eigenschaftslogik 52 können nun dynamische Eigenschaften eines Flecks herausgesucht werden. Als dynamische Eigenschaften können beispielsweise folgende angesehen werden:

• - Geschwindigkeit der Bewegung (Pixel/Zeit zwischen zwei Bildern)
• - Richtung der Bewegung
• - Abstand der Flecken
• - Veränderung von Formmerkmalen (s. o.)

Die Eigenschaftslogik 51 kann z. B. jeden Fleck im Bild in drei Stufen bearbeiten und auf diese Weise Korrespondenzen zu ihm suchen. Dazu wird eine Hierarchie von Eigenschaften installiert, die in drei Stufen eingeteilt ist:

1. Stufe: Kandidatenauswahl

Die alte Flecktabelle wird nach solchen Flecken durchsucht, die sich bezüglich einer Eigenschaft (z. B. ein Formmerkmal) aus der Stufe 1 wenig unterscheiden d. h. es wird z. B. nur ein Vergleich über die ersten Stellen eines numerischen Wertes, der eine Eigenschaft repräsentiert, durchgeführt. Wird ein Fleck gefunden, so wird dessen Nummer in eine Kandidatenliste eingetragen.

2. Stufe: Kandidaten löschen

Die zweite Stufe ist in sich hierarchisch strukturiert. Diese Hierarchie wird im folgenden Verlauf von oben nach unten durchlaufen. Das bedeutet, daß die Eigenschaften Prioritäten erhalten. Der Vergleicher bearbeitet den Fleck aus der aktuellen Fleck-Tabelle so, daß er prüft, ob die Kandidaten sich bezüglich der gerade aktuellen Eigenschaft in der Hierarchie sich wesentlich von ihm unterscheiden. Falls ja wird der Kandidat gelöscht.

3. Stufe: Restriktion

Falls mehr als ein Kandidat übrig bleibt, wird geprüft, ob eine oder mehrere Eigenschaften (s. auch Block 5.4.) vorgegebene Restriktionen verletzen. Ist dies der Fall, so wird der Kandidat ebenfalls gelöscht.

Läßt sich mit dieser dreistufigen Vorgehensweise keine Zuordnung treffen, so wird der Fleck als neu markiert. Ist dieser erste Durchlauf der Eigenschaftslogik 52 abgeschlossen, so wird die Flecktabelle des Vorgänger-Bildes danach durchsucht, ob alle Flecken eine Korrespondenz im aktuellen Bild gefunden haben. Flecken, für die dies nicht gilt, werden als verschwunden markiert. Aus dem Abstand und der Geschwindigkeit kann eine Ablage berechnet werden, die als Vorhersage für ihr Wiedererscheinen als Eingabe für den Vergleicher und als a Priori-Information für die Schwellwertlogik 3 benutzt werden kann.

Eine Auswerteeinheit, dargestellt durch die Eigenschaftsspeicher 53 und die Bezugslogik 54, schafft die Möglichkeit aus den Sensoreigenschaftsdaten (z. B. Brennweite der Optik) und den geometrischen Daten innerhalb der Bilder auf die Verhältnisse in der Realszene zu schließen. Hierzu bietet sich die Anwendung von Informationen über perspektivische Verzerrungen und/oder der darstellenden Geometrie an. Es ist an dieser Stelle ebenfalls möglich, dem Rechenwerk Daten von extern zuzuführen. Dies gilt z. B. für das mechanische Verhalten der Sensorträger (Plattformen etc.) Die Bildeigenschaften liefern Daten wie Geschwindigkeit, Randbezug, Größenveränderung etc. und lassen dadurch einen Schluß auf im Originalbild vorhandene Objekte zu.

Eine besondere, der Bezugslogik 54 nachgeordnete Folgerungslogik 6 dieses Gerätes gestattet es, mit der Hilfe von Schlußregeln (z. B. Beweisverfahren auf Basis von der Prädikaten-Logik) die Grundlage für Aktionen zu schaffen, die durch einen angeschlossenen Mechanismus ausführbar sind (z. B. Handling- Robot).

Um den Kontakt zur um das Gerät befindlichen Umwelt wieder herstellen zu können, werden die Ergebnisse in einer Ausgabeeinheit 7 zusammengefaßt, die diese Ergebnisse in geeigneter Weise im Bild darstellt (z. B. Umrandung der Objekte). Außerdem werden die o. g. Mechanismen mit den Daten versorgt, die spezifischerweise für sie erforderlich sind (Schnittstellen-Hardware).

Claims (22)

1. Verfahren zum Auffinden von in einem Vergleichsbild vorhandenen Flächen (Flecken) in einem Bild, insbesondere einem einer Bildfolge entnommenen Bild, das von einer Einrichtung, vorzugsweise von einem optronischen Sensor oder einer Bildwiedergabeeinrichtung, geliefert wird, wobei die Flächen anhand von signifikanten Eigenschaften erkannt werden, gekennzeichnet durch folgende Verfahrensschritte:

• a. das vorgelegte Bild (n) wird in einen überschwelligen und einen unterschwelligen Grauwert-Bereich eingeteilt, wobei durch den überschwelligen Grauwert-Bereich diejenigen Bildteile umfaßt werden, die im Bild (n) und Vergleichsbild (n-1) gleich sind;
• b. das vorgelegte Bild (n) wird in einer Binärisierungseinrichtung (4) in ein den überschwelligen Grauwert-Bereich darstellendes vorläufiges Binärbild (n) reduziert;
• c. das vorläufige Binärbild (n) wird in eine, den Vergleich der Flächen ermöglichende Segmentationseinrichtung (5) überschrieben;
• d. beim Durchlauf des vorläufigen Binärbildes (n) durch die Segmentationseinrichtung (5) werden Nachbarschaftsbeziehungen von Pixeln festgehalten, signifikante Pixel in Form ihrer Adressen gespeichert und die bearbeiteten Pixel im Binärbild mit einer Flächennummer markiert;
• e. jede Fläche wird anhand ihrer Markierungen im vorläufigen Binärbild (n) zusammengestellt;
• f. mit Hilfe einer Eigenschaftslogik (51, 52) werden bestimmte, eine Fläche charakterisierende Eigenschaften herausgesucht; und
• g. in einer Auswerteeinheit (53, 54) werden anhand der charakterisierenden Eigenschaften der Flächen Erkennungsschlüsse zum Auffinden der Flächen durchgeführt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das vorgelegte Bild (n) einem zweiten Bild (n-1) überlagert wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß als zweites Bild das dem vorgelegten Bild (n) vorhergehende Bild (n-1) einer Bildfolge verwendet wird.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß die Überlagerung mittels Differenzbildung der beiden Bilder (n, n-1) durchgeführt wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß durch den überschwelligen Grauwert-Bereich ein innerschwelliger Grauwert-Bereich umfaßt wird, der durch einen unteren Grenzwert der Schwelle und einen oberen Grenzwert der Schwelle begrenzt wird und somit einen Toleranzbereich der Schwelle darstellt.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das vorläufige Binärbild (n) in einer Reduktionslogik (13) von solchen Flächen (Flecken) gesäubert wird, die vorgegebene Kriterien nicht erfüllen.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß als Kriterien die Größen der Flächen herangezogen werden.

8. Verfahren nach Anspruch 6, gekennzeichnet durch die Verwendung der Flächenschwerpunkte als vorgegebene Kriterien.

9. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß als Kriterium die Unterschreitung der Gesamtpixelmenge einer Fläche unter einem vorgegebenen Toleranzwert benutzt wird.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das vorläufige Binärbild (n) zusammen mit dem (Original-)Bild (n) zwecks Optimierung der Speicherbausteine überschrieben wird.

11. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß beim Durchlauf des Binärbildes (n) durch die Segmentationseinrichtung (5) diesem besondere Eigenschaften hinzugefügt werden.

12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß durch die Eigenschaftslogik (51) statische Eigenschaften (wie Ausdehnung in x/y-Richtung; Schwerpunkt einer Fläche, Numerierung einer Fläche, Punktezahl in der Fläche, Formmerkmale der Fläche usw.) direkt auf dem vorläufigen Binärbild (n) herausgesucht werden.

13. Verfahren nach Anspruch 1 oder 12, dadurch gekennzeichnet, daß durch die Eigenschaftslogik (52) dynamische Eigenschaften (wie Geschwindigkeit der Bewegung, d. h. Pixel/Zeit zwischen zwei Bildern, Richtung der Bewegung, Abstand der Flächen, Veränderung von Formmerkmalen usw.) herausgesucht werden.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß zur Beschleunigung der Bearbeitung der dynamischen Eigenschaften und damit zur Reduzierung von Laufzeiten und Hardwareaufwand die Erkenntnisse aus den statischen Eigenschaften nach vorgegebenen Kriterien sortiert werden.

15. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, daß die dynamischen Eigenschaften einer Fläche durch einen Vergleicher herausgesucht werden.

16. Verfahren nach Anspruch 15, gekennzeichnet durch einen Vergleicher, der einen Suchvorgang in drei Stufen durchführt.

17. Verfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, daß der Vergleicher Korrespondenzen zu den Flächen sucht.

18. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß eine Hierarchie von Eigenschaften mit folgenden drei Stufen installiert wird: Kandidatenauswahl, Kandidaten löschen und Restriktion.

19. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mittels der Auswerteeinheit (53, 54) aus den Sensoreigenschaftsdaten und den geometrischen Daten innerhalb der Bilder auf die Verhältnisse in der Realszene geschlossen wird.

20. Verfahren nach Anspruch 1 oder 19, dadurch gekennzeichnet, daß durch eine der Auswerteeinheit (53, 54) nachgeschaltete Folgerungslogik (6) mit Hilfe von Schlußregeln die Grundlage für Aktionen ermöglicht wird, durch die ein nachgeordneter Mechanismus betätigt wird.

21. Verfahren nach Anspruch 1, 19 oder 20, dadurch gekennzeichnet, daß die Ergebnisse in einer der Auswerteeinheit (52, 53) bzw. der Folgerungslogik (6) nachgeschalteten Ausgabeeinheit (7) zusammengefaßt werden.

22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, daß die zusammengefaßten Ergebnisse in geeigneter Weise im Bild dargestellt werden.