Es
ist Aufgabe der Erfindung, ein Erfassungsverfahren und eine Erfassungsvorrichtung
anzugeben, mit denen Bereiche des Werkstücks besonders gut beobachtet
werden können.
Diese
Aufgabe wird gelöst
durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch
8. Abhängige
Ansprüche
beziehen sich auf vorteilhafte Ausführungsformen der Erfindung.
Der
Erfindung liegt der Gedanke zugrunde, eine Zeilenkamera als Bilderfassungselement
zu benutzen und das gelieferte Bildsignal einerseits vollständig in
der von der Kamera gelieferten Form einer Merkmalsextraktion zuzuführen und
andererseits aus dem Gesamtbild einzelne, flächige Teilgebiete herauszugreifen
und separat zu verarbeiten oder zu speichern. Die Erfindung kombiniert
die Vorteile von Zeilenkameras mit den Vorteilen der flächenbezogenen
Auswertung.
Erfindungsgemäß weist
die Erfassungsvorrichtung eine erste und eine zweite Verarbeitungseinheit
auf. Es sei darauf hingewiesen, daß es sich bei diesen Begriffen
um rein funktionale Bezeichnungen handelt. Es ist zwar bevorzugt,
die Einheiten als separate Baugruppen der Erfassungsvorrichtung
vorzusehen, dies ist aber nicht notwendig. Die erste und zweite
Verarbeitungseinheit können
auch z. T. oder sogar vollständig
dieselben Bauteile der Erfassungsvorrichtung umfassen. Insbesondere
ist es möglich, daß die in
beiden Verarbeitungseinheiten geleistete Verarbeitungsfunktion teilweise
oder vollständig
in Software realisiert ist, wobei die Anweisungen für beide
Verarbeitungsfunktionen auch auf derselben Zentraleinheit ausgeführt werden
können.
Die
erste Verarbeitungseinheit verarbeitet das gelieferte Bildsignal
der Zeilenkamera vollständig
und extrahiert darin enthaltene Merkmale. Diese Merkmale können bspw.
linien- oder punktförmige Strukturen
sein. So kann bspw. die Kontur eines von der Zei lenkamera aufgenommenen
Objekts als linienförmiges
Merkmal extrahiert werden. Ein solches Merkmal kann bspw. vektoriell
beschrieben werden (z. B. eine Strecke durch Anfangs- und Endpunkt, eine
Kreislinie durch Mittelpunkt und Radius, oder eine Kurvenlinie durch
Koordinaten von Stützstellen, etc.).
Derartige merkmalsbeschreibende Daten sind von weitaus geringerem
Umfang als das rohe Bildsignal und können daher mit deutlich weniger
Aufwand gespeichert oder unter Echtzeitbedingungen weiterverarbeitet
werden.
Die
zweite Verarbeitungseinheit verarbeitet nicht das gesamte Bildsignal.
Statt dessen wird von dem Bildsignal nur mindestens ein Teilbild
verarbeitet oder gespeichert. Bei dem Teilbild handelt es sich um einen
zusammenhängenden,
flächigen
Bereich, der sich über
eine Anzahl von aufeinanderfolgenden Zeilen und innerhalb dieser
Zeilen über
eine Anzahl von zusammenhängenden
Bildpunkten erstreckt. Der Bereich ist bevorzugt bezüglich des
Zeilen/Punkte-Musters rechteckig, dies ist aber nicht zwingend.
Das
Teilbild umfaßt
eine deutlich geringere Anzahl von Bildpunkten als das gesamte von
der Zeilenkamera gelieferte Bildsignal. So kann aus einer Bildzeile
bspw. nur die Hälfte,
ein Viertel oder sogar noch weniger der gesamten gelieferten Bildpunkte herausgegriffen
werden. Durch diese Reduktion der Datenmenge ist es möglich, im
Rahmen der Echtzeitverarbeitung des Bildsignals in der zweiten Verarbeitungseinheit
komplexere Bildverarbeitungen durchzuführen, als in der ersten Verarbeitungseinheit. Während bspw.
zur Merkmalsextraktion unter Echtzeitbedingungen bevorzugt wenig
rechenaufwendige Algorithmen verwendet werden, die bspw. Differenzwerte
der Helligkeitswerte zwischen benachbarten Bildpunkten bilden um
Kontraste zu erkennen, so können
bezüglich
der reduzierten Datenmenge des Teilbildes auch unter Echtzeitbedingungen
erheblich komplexere Algorithmen wie bspw. die Bildung von Durchschnittswerten über einen
Bereich mehrere Bildpunkte, oder sogar eine Betrachtung mittels
einer FFT durchgeführt
werden. Als Maß für die Komplexität eines
Algorithmus kann die Anzahl der hierfür notwendigen Elementar-Rechenoperationen
(Grundrechenarten) je Bildpunkt angesehen werden. Alternativ oder
ergänzend
hierzu ist es auch möglich,
daß von
den als binäre
Werte gelieferten Bildpunkten bei der Verarbeitung in der ersten
Verarbeitungseinheit nur eine reduzierte Bitzahl verwendet wird
(höchstwertige
Bits), während
die Verarbeitung in er zweiten Verarbeitungseinheit eine höhere Bitzahl
oder sogar die gesamte Auflösung
berücksichtigt.
Erfindungsgemäß erfolgt
die Verarbeitung in der ersten und zweiten Verarbeitungseinheit
gleichzeitig, bevorzugt unter Echtzeitbedingungen, d. h., daß die gelieferten
Daten – ggf.
unter Zwischenschaltung eines Puffers – mit derselben Rate gelieferte
wie verarbeitet werden.
Die
Erfindung kombiniert die Vorteile heute verfügbarer, hochauflösender Zeilenkameras
mit der Möglichkeit
einer (für
das Teilbild) komplexen Bildverarbeitung unter Echtzeitbedingungen.
Zeilenkameras bieten gegenüber
Flächenkameras
eine unerreicht hohe Auflösung
und werden deshalb in der Meßtechnik
bevorzugt eingesetzt. Für
das Aufnehmen besonders großer
oder langer Werkstücke,
oder für
eine Folge von Werkstükken,
die auf einer Transportvorrichtung, bspw. einem Transportband, an
der Zeilenkamera vorbei transportiert werden, ist die Aufnahme eines "unendlichen" Bildes möglich.
Das
Teilbild umfaßt
einen flächigen
Bereich und kann daher wie von Flächenkameras aufgenommen als
flächiges
Bild bearbeitet, dargestellt oder gespeichert werden. Das Teilbild
kann bspw. verwendet werden, um auf großen betrachteten Objekten einzelne
Gebiete zur besonderen Betrachtung herauszuheben.
Werden
in der zweiten Verarbeitungseinheit mehrere Teilbilder verarbeitet,
so ist eine Kombination der Bilddaten erheblich leichter, als bei
der separaten Aufnahme durch mehrere Flächenkameras. Aufgrund der Aufnahme
als einheitlicher Datenstrom und der klaren Adressierung über Zeilen/Bildpunkte liegt
die relative Lage mehrere Teilbilder zueinander fest.
Erfindungsgemäß ist vorgesehen,
daß die Lage
des Teilbildes relativ zu einem von der ersten Verarbeitungseinheit
erkannten Startmerkmal festgelegt wird. Von den Merkmalen, die von
dem dargestellten Objekt bspw. seine Kontur, Oberflächenstruktur
oder interessante Bereiche wie Löcher
oder Ausschnitte beschreiben, und die aus dem Bildsignal extrahiert
werden, kann eines oder mehrere als Startmerkmale definiert werden.
Wird bei der Verarbeitung ein Startmerkmal erkannt, so wird ausgehend von
der Lage dieses Startmerkmals dann die Lage des Teilbildes festgelegt.
Dies ist besonders für
die Erfassung zur Prüfung
von Werkstücken
vorteilhaf. Als Startmerkmal kann bspw. die jeweilige Vorderkante
von an der Zeilenkamera vorbei bewegten Werkstücken definiert werden. Es kann
dann bspw. festgelegt sein, daß als
zu verarbeitendes Teilbild ein Bereich in der Mitte des Werkstücks, in
einem festgelegten Abstand (Anzahl Zeilen) von der Vorderkante herausgegriffen
wird.
Besonders
vorteilhaft ist diese relative, dynamische Festlegung des Teilbildes
für die
genauere Beobachtung der Bildstrukturen, die den erkannten Merkmalen
entsprechen. Wird als Startmerkmal bspw. eine Bohrung des Werkstücks festgelegt,
so kann das entsprechende Teilbild so gewählt werden, daß es den
Ort des Startmerkmals, hier die interessierende Bohrung, mit umfaßt. Um auch
den Bereich "vor" dem erkannten Merkmal
mit im Teilbild aufzunehmen, kann die Zwischenspeicherung einer
Anzahl Zeilen des Bildsignals in einem Pufferspeicher, bevorzugt
einem FIFO-Puffer, vorgesehen sein.
Nachfolgend
wird eine Ausführungsform
der Erfindung anhand von Zeichnungen näher beschrieben. In den Zeichnungen
zeigen:
1 eine
perspektivische Ansicht einer Erfassungsvorrichtung;
2 eine
symbolische Darstellung eines von einer Zeilenkamera aufgenommenen
Werkstücks;
3 eine
symbolische Darstellung der Signalverarbeitung in einem Erfassungssystem;
3a eine
flächige
Anordnung von Bildzeilen aus 3;
4 eine
schematische Darstellung von Elementen des Erfassungssystems.
1 zeigt
in schematischer Darstellung ein Erfassungssystem 10. Auf
einem Förderband 12 werden
Werkstücke 14 in
Pfeilrichtung (X) transportiert. Über dem Förderband 12 ist eine
Zeilenkamera 16 angebracht, die den Bereich des Förderbandes 12 und
das durchlaufende Werkstück 14 zeilenweise aufnimmt.
Das Bild der Zeilenkamera 16 wird pixelweise zu einer Auswerteeinheit 18 übertragen
und dort verarbeitet.
Im
dargestellten Beispiel liefert die Zeilenkamera 16 4.000
Bildpunkte pro Zeile, die mit einem Pixeltakt von 50 MHz sequentiell
zeilenweise ausgelesen und durch einen A/D-Wandler in 8-Bit-Digitalwerte überführt werden.
Die Erfassungsvorrichtung 10 wird in dem Beispiel verwendet,
um PKW-Seitenteile, die mit einem Takt von 3 Sekunden auf
dem Band 12 angeliefert werden, zu erfassen und die Bilddaten
in Echtzeit auszuwerten. Hierbei werden die Konturen der Werkstücke sowie
einige Bohrungen jeweils als Merkmale erkannt.
Die
von der Zeilenkamera 16 aufgenommenen Bilder des Werkstücks 14 sind
in 2 noch einmal dargestellt. Es werden jeweils Zeilen 20 aufgenommen,
die in der Bewegungsrichtung X nebeneinander angeordnet sind. Insgesamt
geben die Zeilen 20 so ein Bild des Werkstücks 14 mit
seiner Konturlinie 22 und den Bohrungen 24, 26 wieder.
Der
Ablauf der Signalverarbeitung ist hierbei in 3 dargestellt.
Das von der Zeilenkamera 16 gelieferte und in einem A/D-Wandler 30 digitalisierte Pixel-Signal
enthält
sukzessive die Bildpunkte aufeinanderfolgender Zeilen Z0, Z1, Z2....
In der Darstellung in 3 wird lediglich zwischen hellen
Bildpunkten (leere Quadrate) und dunklen Bildpunkten (schraffierte
Quadrate) unterschieden. Im dargestellten Beispiel wird das Bild
einer Bohrung 32 und einer schräg zur Richtung X laufenden
Linie 34 aufgenommen.
Das
entsprechende Pixel-Bild ist in 3a dargestellt.
Wie gezeigt enthalten die Pixelzeilen Z0, Z1, Z2 das Bild der Objekte 32, 34.
Die
gelieferten Pixeldaten stellen das zu verarbeitende Bildsignal S
dar. Dieses Signal wird nun parallel einer ersten Verarbeitungseinheit 36 und über einen
Pufferspeicher 40 auch einer zweiten Verarbeitungseinheit 38 zugeführt.
Die
ersten Verarbeitungseinheit 36 verarbeitet das Bildsignal
S zeilenweise. Hierbei werden mit einfachen Bildverarbeitungsalgorithmen
Merkmale aus dem Bildsignal S extrahiert.
Die
Merkmalsextraktion umfaßt
eine Kontrasterkennung, bei der eine Differenz der Helligkeitswerte
benachbarter Bildpunkte errechnet wird. Liegt die errechnete Differenz
oberhalb einer festgelegten Schwelle, so wird davon ausgegangen,
daß eine Kante
eines Bildobjektes gefunden wurde. Durch weitere Verarbeitung der
in derselben Zeile benachbarten Punkte sowie durch Verarbeitung
auch der in X-Richtung benachbarten Punkte durch Verarbeitung der
vorhergehenden und nachfolgenden Zeilen, wird die Art des erkannten
Bildobjekts (bspw. linienförmig, flächig, punktförmig) sowie
seine Größe und Lage
ermittelt. Ein so erkanntes Bildobjekt kann dann durch geometrische
Merkmale beschrieben werden. Diese Merkmale können bspw. den Objekttyp und
mehrere Maßparameter
umfassen, z. B. "Objekttyp:
Linie, Startpunkt: (Zeile#Z1, Punkt#P1), Endpunkt: (Zeile#Z2, Punkt#P2)". Oder für eine erkannte
kreisförmige
Bohrung "Objekttyp:
Kreis, Mittelpunkt: (Zeile#Z3, Punkt#P3), Radius: 10 Pixel".
Die
erste Verarbeitungseinheit 36 liefert eine Beschreibung
der erkannten Merkmale als Merkmals-Datenstrom M. Im in 3 dargestellten
Beispiel umfaßt
der Datenstrom M die erkannten Objekte (Loch 32, Linie 34).
Gegenüber
dem verarbeiteten Datenstrom S aus "rohen" Bilddaten, umfaßt der Merkmals-Datenstrom
M nur sehr wenige Daten. Im gezeigten Beispiel werden die Bilddaten
mit 50 MB/s geliefert, während
der Datenstrom M nur wenige kB/s umfaßt.
In
der bevorzugte Ausführungsform
ist die erste Verarbeitungseinheit 36 als separate elektronische
Schaltung realisiert, die den Datenstrom S in Echtzeit verarbeitet.
Das
Bildsignal S wird parallel auch in der zweiten Verarbeitungseinheit 38 verarbeitet.
Die zweite Verarbeitungseinheit 38 verarbeitet das Bildsignal
S ebenfalls in Echtzeit. Hierbei erhält sie das Bildsignal S gegenüber der
ersten Verarbeitungseinheit 36 zeitverzögert, wobei mehrere Bildzeilen,
im dargestellten Beispiel drei Bildzeilen, im Pufferspeicher 40 zwischengespeichert
werden.
In
der zweiten Verarbeitungseinheit 38 wird das Bildsignal
S selektiv verarbeitet. Aus den gesamten gelieferten Bilddaten wird
ein Teilbild 42 herausgegriffen. Die Größe und Lage des Teilbildes
ist durch dessen Zeilen/Pixel-Koordinaten festgelegt.
In
dem in 3 dargestellten vereinfachten Beispiel umfaßt das Teilbild 42 jeweils
die Pixel 7, 8, 9 der Zeilen Z0, Z1, Z2 (siehe 3a).
Das Teilbild 42 ist ein flächiges Bild, das Teile von
mehreren der gelieferten Bildzeilen Z0, Z1, Z2 enthält.
Die
zweite Verarbeitungseinheit 38 wählt aus dem Bilddatenstrom
S das Teilbild 42 nach vorgegebenen X- und Y-Grenzwerten
aus. Mit der X-Koordinate werden hierbei, übereinstimmend mit der Bewegungsrichtung
X, die Zeilen gezählt.
Mit der Y- Koordinate
werden die Punkte innerhalb einer Zeile gezählt. Für die Auswahl des Teilbildes 42 werden
feste Grenzen vorgegeben für
Xmin, Xmax, Ymin, Ymax. Im vorliegenden Beispiel ist Xmin = 0, Xmax
= 2, Ymin = 7 und Ymax = 9. Mit Hilfe zweier Komparatoren (für X und
Y) wird während
der Lieferung des Bilddatenstroms S überprüft, ob die Zählerstände X und
Y der Bedingung genügen: Xmin ≤ Zählerstand
X ≤ Xmax
und
Ymin ≤ Zählerstand
Y ≤ Ymax.
Ist
diese Bedingung erfüllt,
werden die aufgenommenen Bildpunkte in einen separaten Speicher für das Teilbild 42 abgelegt.
Während es
grundsätzlich
möglich
ist, die Grenzwerte Xmax, Ymax, Xmin, Ymin von extern vorzugeben,
ist bei der gezeigten Ausführungsform
vorgesehen, daß die
Lage des Teilbildes 42 nach Erkennung eines Startmerkmals
durch die ersten Verarbeitungseinheit 36 relativ zur Position
des Startmerkmals festgelegt wird. Der entsprechende Ablauf der Verarbeitung
ist in 4 wiedergegeben. Die von der Kamera gelieferten
digitalen Daten werden einerseits in der Verarbeitungseinheit 36 einer
Zeilendaten-Verarbeitung und Objekt-Extraktion (Merkmalserkennung)
unterworfen. Während
die erkannten Objektdaten einer separaten Objekt-Verarbeitung unterzogen
werden können,
wird für
den Fall der Erkennung eines vordefinierten Startobjektes ein objektabhängiger Trigger
ausgelöst,
der für
die zweite Verarbeitungseinheit 38 die X- und Y-Grenzwerte
festlegt.
Im
Beispiel von 3 ist als Startmerkmal das Loch 32 definiert.
Sobald das entsprechende Objekt von der ersten Verarbeitungseinheit 36 erkannt wird,
werden die X- und Y-Grenzwerte für
die zweite Verarbeitungseinheit 38 festgelegt. Im vorliegenden Beispiel
liegt der Mittelpunkt des Loches bei X = 1, Y = 8. Der Radius beträgt 1 Pixel.
Daher wird der rechteckige Bereich Xmin = 0, Xmax = 2, Ymin = 7,
Ymax – 9
als Teilbild ausgewählt,
der das dem erkannten Merkmal (Loch 32) zugeordnete Bild
enthält.
Allerdings
ist die Erkennung des Merkmals 32 erst am Ende der Zeile
Z2 möglich,
da erst dann das vollständige
Bild vorliegt. In einer tatsächlichen Anwendung
wäre es
voraussichtlich sogar vorgesehen, noch die nachfolgende Zeile zu
betrachten, um sicherzu stellen, daß das entsprechende Bild des Merkmals 32 tatsächlich abgeschlossen
ist (helle Bildpunkte 7, 8, 9). Darüber hinaus
ist auch für
die schnelle Echtzeit-Merkmalserkennung in der ersten Verarbeitungseinheit
(36) eine Verarbeitungszeit von bspw. 50 ns erforderlich.
Entsprechend liegend die Initialisierungs-Werte (X/Y-Grenzwerte)
für die
zweite Verarbeitungseinheit 38 erst zu einem Zeitpunkt
vor, zu dem der dem gesuchten Teilbild 42 entsprechende Bilddatenstrom
S bereits verarbeitet ist. Aus diesem Grund ist der Pufferspeicher 40 vorgesehen,
in dem die Pixeldaten mehrere Zeilen zwischengespeichert sind. Enthält der Pufferspeicher 40 im
Beispiel von 3 mindestens drei Zeilen, so
kann die zweite Verarbeitungseinheit 38 rechtzeitig initialisiert
werden, um das Teilbild 42 aus dem Bilddatenstrom S zu extrahieren.
Im
vorliegenden Beispiel wird das Teilbild 42 durch die zweite
Verarbeitungseinheit 38 lediglich in einen zweiseitig schreib-
und lesbaren Speicher (Dual Ported Memory) abgespeichert. Die Auswertung der
Daten kann bei einem solchen Speicher zeitgleich zum Einlesen erfolgen.
Die Verarbeitung kann bspw. umfassen, daß die Bilddaten des Bildes 42 auf einem
Bildschirm angezeigt werden, damit ein menschlicher Benutzer das
Bild überprüfen kann.
So kann bspw. für
die Bohrung 32 festgestellt werden, ob die Bohrungskanten
sauber oder möglicherweise ausgefranst
sind.
Alternativ
kann das Teilbild 42 auch mit Bildverarbeitungsalgorithmen
weiterverarbeitet werden. Aufgrund des erheblich reduzierten Datenstroms
ist es auch unter Echtzeitbedingungen möglich, komplexe Algorithmen
auf das Teilbild 42 anzuwenden und hierbei die von der
Zeilenkamera gelieferten 8-Bit-Daten in voller Bit-Auflösung zu
verarbeiten.
Zurück in 2 soll
nun die Anwendung der Bildverarbeitung mit der der ersten und zweiten
Verarbeitungseinheit 36, 38 auf die Werkstückkontrolle dargestellt
werden. Das in 2 dargestellte Werkstück 14 wird
zeilenweise aufgenommen. Während
in der ersten Verarbeitungseinheit 36 seine Merkmale – Konturlinie 22 und
Bohrungen 24, 26 – erkannt werden, wird durch
die Erkennung des als Startmerkmal festgelegten Lochs 24 ein
Teilbild 28a festgelegt. Das Teilbild 28a umfaßt ein Gebiet
von 640 × 480
Bildpunkten (VGA-Standard), die aus den 4.000 Pixeln jeder Zeile
ausgewählt
werden. Als Startpunkt in X- und Y-Richtung wird das erkannte Merkmal 24 verwendet.
Zusätzlich sind
feste Werte Xmin, Xmax, Ymin, Ymax angegeben, die ein zweites Teilbild 28b, in
diesem Fall unabhängig
von einem bestimmten Startmerkmal festlegen.