-
Diese Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Messen der Form eines Objekts und insbesondere, aber nicht ausschließlich, auf ein Verfahren und eine Vorrichtung zum Messen der Form eines Objekts, dessen Oberfläche kein gleichmäßiges Reflektionsvermögen über die Gesamtheit der Oberfläche des Objekts aufweist.
-
Es ist bekannt, Techniken mit strukturiertem Licht zu verwenden, die zum Beispiel das Projizieren von Streifenmustern auf ein Objekt einbeziehen, dessen Form zu messen ist. Ein Beispiel für eine Technik mit strukturiertem Licht ist die Technik mit projizierten Streifen, bei der Streifen mit sinusförmigen Intensitätsprofilen auf ein Objekt projiziert werden. Durch Aufnehmen einiger Bilder der Beugungsstreifen mit einer Kamera, während die Phase der Streifen mit der Zeit verschoben wird, kann die Phasenverteilung der Streifen und damit die Höhenverteilung des Objekts berechnet werden. In ihrer einfachsten Form wird eine einzige Streifenperiode so angeordnet, dass sie das Blickfeld überspannt. Die resultierende Phase überspannt dann den Bereich von –π bis π, und es gibt eine direkte Entsprechung zwischen der gemessenen Phase an einem gegebenen Pixel in der Kamera und der Höhe des entsprechenden Punkts auf der Objektoberfläche. Die Genauigkeit der Höhenmessungen ist jedoch normalerweise zu gering, und es ist nutzbringend, die Anzahl der Streifen zu erhöhen, die das Blickfeld überspannen.
-
Dann tritt jedoch ein als ”Phasenwicklung” (engl. ”phase wrapping”) bekanntes Problem auf, das Zweideutigkeiten bei der Relativbeziehung zwischen der gemessenen Phase und der berechneten Höhe aufkommen lässt. Diese Zweideutigkeiten können durch das Ausführen von Phasenmessungen mit einem Bereich von unterschiedlichen Streifenperioden aufgelöst werden, wie in dem
europäischen Patent Nr. 088522 beschrieben ist. Bei der dort offenbarten Gray-Codierungstechnik werden nacheinander binäre Streifenmuster mit einem Rechteckwellenprofil auf das Objekt projiziert. Die Periode der Streifen wird mit der Zeit variiert. An jedem Kamerapixel definiert die entsprechende Sequenz von gemessenen Intensitätswerden eineindeutig die Streifenordnung. Durch Kombinieren der verwickelten Phasenwerte von einem einzelnen Satz von phasenverschobenen Bildern mit der Gray-Codesequenz kann deshalb ein entwickelter Phasenwert erhalten werden, der wiederum einen eindeutigen Tiefenwert für das Pixel ergibt.
-
Derartige Techniken sind geeignet, wenn das Objekt, dessen Form zu messen ist, eine diffus streuende Oberfläche mit gleichmäßigen Reflektionseigenschaften aufweist. Wenn derartige Techniken verwendet werden, um die Form von derartigen Objekten zu messen, ermöglich sie es normalerweise, gültige Daten von allen Teilen der Oberfläche des Objekts zu erhalten, die sowohl für den Projektor, der die Streifenmuster auf das Objekt projiziert, als auch für die Kamera sichtbar sind, die verwendet wird, um die resultierenden Bilder aufzuzeichnen.
-
Da in der Praxis viele Konstruktionsteile keine Oberfläche aufweisen, die gleichmäßige Reflektionseigenschaften über der Gesamtheit der Oberfläche aufweist, können große Abweichungen bei der Intensitätsverteilung des Bilds oder der Bilder, die mit der Kamera aufgezeichnet werden, von dem normalen Sinusverlauf (im Falle der Phasenverschiebungstechnik) oder dem binären Verlauf (im Falle der Gray-Codiertechnik) erfahren werden.
-
In Fällen, in denen die Abweichung bei der Intensitätsverteilung sehr hoch ist, ist es möglich, dass die Pixel in einigen Bereichen der Kamera gesättigt werden, während das Signal, das von Pixeln in anderen Bereichen der Kamera aufgezeichnet wird, sehr schwach ist. In beiden Fällen werden von diesen Regionen Bilddaten schlechter Qualität oder überhaupt keine Bilddaten erzeugt. Die bedeutet, dass das erzeugte Gesamtbild oder die erzeugten Gesamtbilder nicht ausreichend sein mögen, um eine Messung der vollständigen Form des gesamten Objekts zu ermöglichen.
-
Zusätzlich kann die Abweichung bei der Intensitätsverteilung, die von der Kamera aufgezeichnet wird, systematische Fehler bei den berechneten Koordinaten induzieren. Dies tritt auf, weil jedes Kamerapixel Licht über einen Bereich endlicher Größe oder einen ”Fußabdruck” auf der Probenoberfläche integriert. Die Anwesenheit eines Intensitätsgradienten über den Fußabdruck führt dazu, dass den Streupunkten in dem Hochintensitätsteil dieses Fußabdrucks mehr Gewicht gegeben wird als in dem Niedrigintensitätsteil, wodurch sich eine systematische Messabweichung der gemessenen Phasenwerte ergibt und damit zu einem Fehler bei der berechneten Koordinate für das Pixel führt. Reduktion der Intensitätsgradienten würde somit die Fehler aus dieser Quelle reduzieren.
-
US-Patent Nr. 7,456,973 beschreibt eine Teillösung für dieses Problem, die als Belichtungsreihe (engl.: exposure bracketing) bekannt ist. Bei solch einer Technik werden Messungen an dem Objekt, dessen Form zu messen ist, bei unterschiedlichen Einstellungen einer Kamera und/oder eines Projektors wiederholt. Eine Mehrzahl von Punktwolken wird erhalten, die eine Punktwolke pro Kamera-/Projektoreinstellung aufweist. Der Datensatz mit den besten Kameraeinstellungen für jedes der Pixel wird dann ausgewählt, so dass die Daten von allen Punktwolken kombiniert werden können, um eine optimierte Punktwolke mit einem insgesamt besseren dynamischen Bereich des Sensors auszubilden.
-
Ein Problem mit diesem Ansatz ist, dass er die Aufnahme- und Berechnungszeit erhöht, die erforderlich ist, um die Form des Objekts zu messen. Wenn zum Beispiel drei unterschiedliche Einstellungen einer Kamera verwendet werden, dann wird die gesamte Aufnahme- und Berechnungszeit um mindestens einen Faktor drei erhöht werden. Weiterhin reduziert er nicht die Intensitätsgradienten in der Bildebene der Kamera und reduziert so nicht die resultierenden systematischen Fehler bei der gemessenen Form.
-
US-Patent Nr. 7,570,370 offenbart ein Verfahren für die Bestimmung der 3D-Form eines Objekts. Das Verfahren ist ein iteratives Verfahren, das mehrere Iterationen erfordert, um die lokale Reflektionsfähigkeit eines Objekts zu bestimmen und dann die Helligkeit eines Streifenmusters, das auf das Objekt projiziert wird, in Abhängigkeit von der lokalen Reflektionsfähigkeit des Objekts anzupassen. Das in der
US 7,570,370 offenbarte Verfahren ist deshalb langwierig und kompliziert, und, weil es keine eineindeutige Entsprechung zwischen einem Kamerapixel und einem entsprechenden Projektorpixel identifiziert, kann es nicht immer erfolgreich sein.
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Bestimmen der Form eines Objekts bereitgestellt, das die Schritte aufweist:
Beleuchten des Objekts durch Projizieren eines strukturierten Lichtmusters, das von einer Mehrzahl von Projektorpixeln erzeugt wird, auf das Objekt;
Ausbilden eines Bilds des Objekts von einer Mehrzahl von Kamerapixeln;
Bestimmen der Intensitätsverteilung des Bilds auf einer Pixel-für-Pixel-Basis;
auf einer Pixel-für-Pixel-Basis Identifizieren eines Projektorpixels, das einem Kamerapixel entspricht;
Abstimmen der Intensität des strukturierten Lichtmusters auf einer Pixel-für-Pixel-Basis in Abhängigkeit von der Intensitätsverteilung des Bilds, um ein intensitätsabgestimmtes strukturiertes Lichtmuster zu erzeugen;
Verwenden des intensitätsabgestimmten strukturierten Lichtmusters, um die Form des Objekts zu bestimmen.
-
Es ist zu verstehen, dass das Objekt durch aufeinanderfolgendes Projizieren einer Mehrzahl von strukturierten Lichtmustern auf das Objekt beleuchtet werden kann und dass auf diese Weise eine Mehrzahl von Bildern ausgebildet werden kann.
-
Das Verfahren kann nach dem Schritt Ausbilden eines Bilds den Schritt Aufzeichnen eines Bilds aufweisen.
-
Der Schritt Identifizieren von Projektorpixeln, die Kamerapixeln entsprechen, kann nach dem Schritt Bestimmen der Intensitätsverteilung des Bilds wie oben dargelegt ausgeführt werden oder vor diesem Schritt.
-
Das strukturierte Lichtmuster kann von irgendeinem geeignetem Lichtprojektor projiziert werden, wie beispielsweise einem, der auf einem räumlichen Lichtmodulator basiert.
-
Die Kamerapixel können Teile irgendeiner geeigneten Vorrichtung sein, wie beispielsweise einer Digitalkamera.
-
Weil die Reflektionsfähigkeit der Oberfläche des Objekts über der Oberfläche des Objekts voraussichtlich variiert, wird die Intensitätsverteilung, wenn ein Objekt mit projiziertem Licht mit einer im Wesentlichen gleichmäßigen Intensitätsverteilung beleuchtet wird, innerhalb eines resultierenden Bilds wegen der räumlich variierenden Reflektionsfähigkeit der Oberfläche des Objekts nichtsdestotrotz ungleichmäßig sein. Mit anderen Worten wird die Intensität des Lichts, das von einzelnen Kamerapixeln gemessen wird, selbst dann variieren, wenn das Objekt mit projiziertem Licht beleuchtet worden ist, das eine im Wesentlichen gleichmäßige Intensitätsverteilung aufweist.
-
Mittels der Erfindung ist es möglich, die Intensität des strukturierten Lichtmusters auf einer Pixel-für-Pixel-Basis individuell einzustellen, um die Intensität der entsprechenden Kamerapixel zu optimieren und somit die Variation bei der Intensität des Bilds auf akzeptable Niveaus zu reduzieren.
-
Insbesondere ist es mittels der Erfindung möglich, sicherzustellen, dass keines oder eine reduzierte Anzahl der Kamerapixel gesättigt oder unakzeptabel schwach wird.
-
Mittels der Erfindung kann deshalb ein intensitätsabgestimmtes strukturiertes Lichtmuster erzeugt werden, ohne dass langwierige iterative Verfahrensschritte durchgeführt werden müssen.
-
Die Intensität des strukturierten Lichtmusters kann nach Bedarf durch Abstimmen der Transmission jedes Projektorpixels variiert werden. Alternativ kann, wenn der Projektor von einem Typ ist, der in einem binären Modus arbeitet, das Verhältnis zwischen einer An-Zeit und einer Aus-Zeit jedes Projektorpixels variiert werden, um eine passende Änderung bei der Transmission jedes Pixels nachzubilden.
-
In einer Ausführungsform der Erfindung können die Schritte Beleuchten des Objekts mit einem strukturierten Lichtmuster und Ausbilden eines Bilds des Objekts auf einem ersten Streifenempfindlichkeitsniveau und für eine erste Belichtungszeit durchgeführt werden, die niedriger als eine Betriebsbelichtungszeit ist. Die Intensität des Bilds kann dann auf dem ersten Streifenempfindlichkeitsniveau und für die erste Belichtungszeit auf einer Pixel-für-Pixel-Basis bestimmt werden.
-
In diesem Kontext ist die Streifenempfindlichkeit (engl. fringe sensitivity) als die maximale Anzahl von Streifen über einem Messvolumen definiert, die für jedes der projizierten Muster innerhalb einer gegebenen Sequenz verwendet wird.
-
In einer anderen Ausführungsform der Erfindung wird die Belichtungszeit nicht variiert. Stattdessen werden Abstimmungen an der Kamera, die verwendet wird, um das Bild auszubilden und aufzuzeichnen, oder an dem Projektor vorgenommen, der verwendet wird, um das Objekt zu beleuchten. Zum Beispiel kann die Empfindlichkeit der Kamera für Licht auf irgendeine geeignete Weise reduziert werden, und/oder die Kamerablendenöffnung könnte verkleinert werden. Alternativ oder zusätzlich könnte die Helligkeit einer Projektorlichtquelle, die verwendet wird, um das Objekt zu beleuchten, heruntergefahren werden. Alternativ oder zusätzlich könnte die Transmission des Projektors gleichmäßig über das projizierte Bild reduziert werden.
-
Das Verfahren kann die weiteren Schritte Identifizieren von Kamerapixeln mit einer maximalen Intensität, die größer als eine Grenzwertintensität ist;
Berechnen eines Dämpfungsfaktors für jedes identifizierte Kamerapixel; und
Reduzieren der Intensität des projizierten Lichts auf einer Pixel-für-Pixel-Basis gemäß dem Dämpfungsfaktor für jedes identifizierte Kamerapixel aufweisen.
-
Der Dämpfungsfaktor wird gewählt, um Sättigung von Kamerapixeln zu verhindern, die bei der Betriebsbelichtungszeit der Kamera auftreten mag. Wenn ein Dämpfungsfaktor für jedes Kamerapixel berechnet worden ist, kann eine Transmissionsmaske erzeugt werden, wobei die Maske die erforderliche Intensität des Lichts von jedem Projektorpixel während des Betriebs der Kamera bestimmt.
-
Das Verfahren kann den weiteren Schritt Beleuchten des Objekts bei einer zweiten Belichtungszeit, die kürzer als die erste Belichtungszeit ist, aufweisen. Auf diese Weise kann dafür gesorgt werden, dass einige Pixel, die bei der ersten Belichtungszeit sättigten, bei der neuen Belichtungszeit nicht länger sättigen, so dass dann ein genauer Dämpfungsfaktor für diese Pixel berechnet werden kann, wo er zuvor nicht berechenbar war.
-
Dieser Prozess kann bei schrittweise reduzierten Kamerabelichtungszeiten erneut wiederholt werden, bis ein Dämpfungsfaktor bei einer ausreichenden Anzahl der Kamerapixel berechnet worden ist.
-
Die Schritte Beleuchten des Objekts und Ausbilden eines Bilds können dann auf einem zweiten höheren Streifenempfindlichkeitsniveau unter Verwendung der Transmissionsmaske durchgeführt werden, die zuvor erzeugt wurde, um sicherzustellen, dass die Intensität des projizierten Lichts auf einer Pixel-für-Pixel-Basis derart ist, dass die Intensitätsmodulation der Kamerapixel über das Bild im Wesentlichen gleichmäßig ist.
-
Die Form des Objekts kann dann aus diesem Bild bestimmt werden.
-
Mittels der vorliegenden Erfindung ist es deshalb möglich, die Intensität der Kamerapixel individuell zu variieren, um so ein optimiertes Bild sicherzustellen. Dies ermöglicht es wiederum, eine vollständigere und genauere Messung der Form des Objekts zu erreichen.
-
Der Schritt Beleuchten des Objekts durch Projizieren eines strukturierten Lichtmusters, das durch eine Mehrzahl von Projektorpixeln erzeugt wird, auf das Objekt kann die Schritte aufweisen:
Beleuchten des Objekts durch Projizieren eines ersten strukturierten Lichtmusters auf das Objekt, wobei das erste strukturierte Lichtmuster eine erste Orientierung aufweist;
Bestimmen eines ersten entwickelten Phasenwerts (ψ) für ein Kamerapixel, wobei der erste Phasenwert eine erste Linie zu den Projektorpixeln von konstantem Phasenwert definiert;
Beleuchten des Objekts durch Projizieren eines zweiten strukturierten Lichtmusters auf das Objekt, wobei das zweite strukturierte Lichtmuster eine zweite Orientierung unterschiedlich zu der ersten Orientierung aufweist;
Bestimmen eines zweiten Phasenwerts (ξ) für ein Kamerapixel, wobei der zweite Phasenwert eine zweite Linie zu den Projektorpixeln von konstantem Phasenwert definiert; und
wobei der Schritt auf einer Pixel-für-Pixel-Basis Identifizieren eines Projektorpixels, der einem Kamerapixel entspricht, den Schritt Berechnen eines Schnittpunkts zwischen der ersten Linie und der zweiten Linie, um dadurch ein Projektorpixel zu identifizieren, das einem Kamerapixel entspricht, aufweist.
-
Somit kann die Entsprechung zwischen einem Kamerapixel und einem Projektorpixel, das einen Bereich des Objekts beleuchtet, der wiederum auf das Kamerapixel abgebildet wird, eineindeutig und nichtiterativ durch Projizieren von zwei strukturierten Lichtmustern, die nicht parallel zueinander sind, auf das Objekt bestimmt werden.
-
Das erste und zweite strukturierte Lichtmuster können jeweils eine Reihe von Streifen aufweisen, die ein Streifenmuster ausbilden.
-
Die zweite Orientierung kann orthogonal zu der ersten Orientierung sein. Alternativ kann die zweite Orientierung irgendeinen geeigneten Winkel ungleich null relativ zu der zweiten Orientierung ausbilden.
-
Selbstverständlich können andere Verfahren angewendet werden, um ein Projektorpixel zu identifizieren, das einem bestimmten Kamerapixel entspricht. Zum Beispiel weist bei einer Ausführungsform der Erfindung der Schritt auf einer Pixel-für-Pixel-Basis Identifizieren eines projizierten Pixels, das einem Kamerapixel entspricht, die Schritte auf:
Beleuchten des Objekts durch Projizieren eines zufälligen Lichtmusters auf das Objekt;
Aufzeichnen eines Bilds des Objekts mit der Kamera, während das Objekt mit dem zufälligen Lichtmuster beleuchtet wird;
Berechnen eines Korrelationskoeffizienten zwischen einem Teilbild zentriert auf das Kamerapixel und entsprechenden Teilbildern zentriert auf Projektorpixel;
Auswählen des Projektorpixels, das den maximalen Korrelationskoeffizienten ergibt, wie er in dem vorherigen Schritt berechnet wird.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Bestimmen der Form eines Objekts bereitgestellt, die einen Projektor zum Beleuchten des Objekts mit projiziertem Licht, der Projektorpixel aufweist und ein strukturiertes Lichtmuster ausbildet;
eine Kamera zum Ausbilden eines Bilds des beleuchteten Objekts, wobei das Bild von einer Mehrzahl von Kamerapixeln erzeugt wird;
einen Sensor zum Bestimmen der Intensität des ausgebildeten Bilds auf einer Pixel-für-Pixel-Basis;
einem Abstimmer zum Abstimmen der Intensität des projizierten Lichts auf einer Pixel-für-Pixel-Basis in Abhängigkeit von der Intensität der Kamerapixel, um dadurch eine Variation in der Intensität über das Bild zu reduzieren:
einen Analysator zum Analysieren des Bilds, um dadurch die Form des Objekts zu bestimmen,
aufweist.
-
Der Projektor kann einen räumlichen Lichtmodulator aufweisen.
-
Die Vorrichtung kann eine Mehrzahl von Kameras und eine Mehrzahl von Projektoren aufweisen.
-
Die Erfindung wird jetzt nur beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen weiter beschrieben, in denen:
-
1 und 2 schematische Darstellungen sind, die die Bestimmung von einander entsprechenden Kamerapixeln und Projektorpixeln gemäß einer Ausführungsform der Erfindung zeigen;
-
3 eine schematische Darstellung ist, die die Graustufenantwort für eine bekannte Kamera zeigt;
-
4 eine schematische Darstellung ist, die eine Ausführungsform der Erfindung illustriert;
-
5 und 6 die entwickelte Phase für ein gegebenes Kamerapixel zeigt, während das Licht von Punkt (P) gestreut wird, unter Anwendung von zwei Verfahren zum Berechnen der entwickelten Phase;
-
7 eine Wiedergabe eines unter Anwendung eines bekannten Grauskalenverfahrens beleuchteten Bilds eines dreidimensionalen Objekts ist;
-
8 eine Wiedergabe eines Bilds eines dreidimensionalen Objekts ist, das unter Anwendung eines bekannten Grauskalenverfahrens erhalten und unter Anwendung eines Verfahrens gemäß einer Ausführungsform der Erfindung weiter verbessert wurde;
-
9 eine Wiedergabe des in 7 gezeigten Objekts ist;
-
10 eine Wiedergabe des in 8 gezeigten Objekts ist, und
-
11a und 11b schematische Zeichnungen sind, die das digitale Bildkorrelationsverfahren zum Identifizieren von Kamerapixeln illustrieren, die Projektorpixeln entsprechen.
-
Bezug nehmend auf die Figuren werden ein Verfahren und eine Vorrichtung gemäß der vorliegenden Erfindung beschrieben.
-
Eine Vorrichtung zum Messen der Form eines Objekts ist allgemein mit dem Bezugszeichen 2 bezeichnet. Die Vorrichtung 2 weist eine Kamera 4 und einen Projektor 6 auf. Die Kamera 4 weist eine Kameralinse 8 und eine Mehrzahl von Kamerapixeln 10 zum Aufzeichnen eines Bilds auf. Der Projektor 6 weist eine Projektorlinse 12 und einen räumlichen Lichtmodulator 14 auf, der eine Mehrzahl von Projektorpixeln 16 aufweist. Die Vorrichtung 2 kann verwendet werden, um die Form eines Objekts 20 mit einer Oberfläche 22 zu messen, die eine nicht gleichmäßige Reflektionsfähigkeit aufweist.
-
In der folgenden Beschreibung werden wir einen Streupunkt (P) auf der Oberfläche 22 mit räumlichen Koordinaten x, y, z betrachten. Der Projektor 6 ist vorgesehen, um ein erstes strukturiertes Lichtmuster 24 auf die Oberfläche 22 zu projizieren. In dieser Ausführungsform der Erfindung weist das strukturierte Lichtmuster 24 eine Reihe von Streifen 26 auf. In der illustrierten Ausführungsform sind die Kamera 4 und der Projektor 6 in einer horizontalen Ebene angeordnet, und das Lichtmuster 24 hat die Form von vertikalen Streifen.
-
Wenn der Streupunkt (P), der auf ein Kamerapixel 10 abgebildet wird, eine hohe Reflektionsfähigkeit aufweist, wird das Pixel 10 gesättigt. Es ist daher wünschenswert, die Intensität des Lichts von dem Projektor 6, das den Punkt (P) beleuchtet, zu reduzieren, damit die Intensität des Pixels 10 reduziert werden kann.
-
Gemäß der Erfindung wird der entwickelte Phasenwert ψ des Streupunkts (P) bestimmt. Der gemessene Wert von ψ an dem Kamerapixel 10 definiert eine erste Ebene 28 im dreidimensionalen Raum, auf der P liegen muss, und eine entsprechende Linie 34 (in diesem Fall eine Spalte von Pixeln 16 in dem räumlichen Lichtmodulator 14, durch welche das Licht hindurchgetreten sein muss. In diesem Stadium ist es nicht möglich, die Koordinaten des Projektorpixels 16 zu bestimmen, das dem Kamerapixel 10 entspricht, da es nur möglich ist, zu bestimmten, dass die Projektorpixel irgendwo auf einer Linie 34 liegen, die eine vertikale Spalte von Projektorpixeln 16 ausmacht, welche in der Bildebene des Projektors liegen.
-
Um das richtige Projektorpixel eineindeutig zu bestimmen, wird das Objekt 20 mit einem zweiten strukturieren Lichtmuster 36 beleuchtet, das in dieser Ausführungsform eine zweite Reihe von Streifen 38 mit einer anderen Orientierung als der Orientierung der ersten Reihe von Streifen aufweist. In dieser Ausführungsform ist die zweite Reihe von Streifen orthogonal zu der ersten Reihe von Streifen und damit im Wesentlichen horizontal. Ein zweiter Phasenwert ξ wird an dem Kamerapixel 10 erhalten, der eine zweite Ebene 40 in dem dreidimensionalen Raum definiert, auf dem P liegen muss, und eine entsprechende Linie 44 (in diesem Fall eine Reihe) von Pixeln 16 in dem räumlichen Lichtmodulator 14, durch die das Licht hindurchgetreten sein muss. Der Schnittpunkt der zwei Linien 34, 44 definiert einen Punkt in der Bildebene des Projektors, der das spezielle Projektorpixel identifiziert, dessen Transmission zu modifizieren ist.
-
Diese Schritte werden für jedes Kamerapixel wiederholt, das einen Streupunkt (P) abbildet, um jedes Kamerapixel mit einem entsprechenden Projektorpixel zu paaren. In einigen Ausführungsformen mögen diese Schritte jedoch für einige, aber nicht alle der Kamerapixel wiederholt werden.
-
Nachdem dieser Prozess abgeschlossen ist, mag es einige Projektorpixel geben, die keinem Kamerapixel zugeordnet wurden. Für diese Projektorpixel kann ein Dämpfungsfaktor durch Interpolieren der Dämpfungsfaktoren von benachbarten Projektorpixeln berechnet werden, denen einzelne Kamerapixel zugeordnet wurden.
-
Obwohl die Streifen, die in den 1 und 2 illustriert sind, orthogonal zueinander sind, müssen sie nicht notwendigerweise orthogonal sein, und zwei Streifenmuster, die durch einen anderen Winkel getrennt sind, könnten ebenfalls verwendet werden.
-
Die Schritte, die voranstehend identifiziert wurden, sind als Phasenverschiebungsmessungen bekannt und werden verwendet, um einander entsprechende Kamerapixel und Projektorpixel zu identifizieren. Andere Verfahren könnten ebenfalls verwendet werden, wie beispielsweise das Gray-Code-Verfahren oder die digitale Bildkorrelation.
-
Das letztere Verfahren wird gemeinhin verwendet, um Verschiebefelder von zwei Bildern eines Objekts, das eine Deformation durchläuft, zu messen, wie zum Beispiel beschrieben ist in:
Chu T. C., Ranson W. F., Sutton M. A. und Peters W. H., "Applications of digital-imagecorrelation techniques to experimental mechanics", Experimental Mechanics 25 232–244 (1985);
Sjodahl, M, "Electronic speckle photography – increased accuracy by nonintegral pixel shifting", Applied Optics 33 6667–6673 (1994). Dieses Verfahren könnte durch Projizieren eines zufälligen Musters auf das Objekt und Korrelieren von Teilbildern des aufgezeichneten Bilds mit dem originalen projizierten Bild für die vorliegende Situation angepasst werden, um eine eineindeutige Abbildung zwischen einem kleinen Cluster von Kamerapixeln und einem entsprechenden kleinen Cluster von Projektorpixeln festzustellen. Dieses Verfahren ist in
11a und
11b illustriert.
11a zeigt ein zufälliges Muster von Punkten
110, das auf einem räumlichen Lichtmodulator angezeigt wird und das auf das zu messende Objekt projiziert wird. Wenn das Objekt in vernünftigem Maße kontinuierlich ist, kann das Punktemuster
120, das mit einer Kamera aufgezeichnet wurde, wie in
11 b gezeigt ist, durch einen Kreuzkorrelationsprozess mit dem Punktemuster
110 verglichen werden, das durch den räumlichen Lichtmodulator des Projektors projiziert wurde.
-
In dem Beispiel, das in 11a und 11b gezeigt ist, würden die Teilbilder IP und IC von der Kamera und dem Projektor jeweils zentriert auf Projektorpixel (i, j) bzw. Kamerapixel (m, n) einen hohen Korrelationskoeffizienten aufweisen, was es erlauben würde, die Entsprechung zwischen dem Projektorpixel (i, j) und dem Kamerapixel (m, n) zweifelsfrei zu identifizieren.
-
Ein Vorteil bei diesem Ansatz gegenüber dem Phasenverschiebungsverfahren ist, dass nur ein Muster projiziert werden muss, um die einander entsprechenden Kamera- und Projektorpixel zu identifizieren. Es hat jedoch insoweit einen Nachteil, als dass es erfordert, dass die Objektoberfläche über die Ausdehnung der Teilbilder stetig ist, um eine verlässliche Kreuzkorrelation und damit eine zweifelsfreie Entsprechung zwischen Kamera- und Projektorpixeln festzustellen.
-
Aus diesem Grund kann ein Verfahren basierend auf Phasenverschiebung gegenüber einem basierend auf Kreuzkorrelation bevorzugt werden. Ein besonders geeignetes Verfahren basierend auf Phasenverschiebungstechnik ist in dem europäischen Patent Nr.
EP 088522 beschrieben. Dieses Verfahren wird jetzt hier unten detaillierter beschrieben werden.
-
Diese Phasenverschiebungsmessungen werden anfänglich auf einem reduzierten Streifenempfindlichkeitsniveau durchgeführt, um die Anzahl der Bilder verglichen mit der Anzahl, die bei der Betriebsstreifenempfindlichkeit erforderlich sind, zu reduzieren und um damit sowohl die Aufnahmezeit als auch die Berechungszeit zu reduzieren. Zusätzlich werden die Messungen mit einer Kamerabelichtungszeit T1 durchgeführt, die niedriger als die Betriebsbelichtungszeit T0 ist, um den Anteil der Kamerapixel zu reduzieren, die überbelichtet sind.
-
Ein Beispiel für die Antwort eines typischen Kamerapixels ist in 3 gezeigt, wo die vertikale Achse die aufgezeichnete Graustufe G wiedergibt und die horizontale Achse die Belichtungszeit T der Kamera wiedergibt. Die Steigung dieser Linie ist gleich der Intensität des Lichts, das auf das Kamerapixel fällt, wenn die Intensität in Einheiten von Graustufen pro Einheit Belichtungszeit ausgedrückt wird. In diesem Beispiel liegt die Graustufe G1, die bei einer Belichtungszeit T1 (Punkt A) aufgezeichnet wird, innerhalb des linearen Bereichs des Kamera, und die Intensität kann als I = G1/T1 berechnet werden. Wenn jedoch die Belichtungszeit auf T0 erhöht wird, liegt die Graustufe, die erreicht werden sollte (Punkt B), jenseits des linearen Bereich der Kamera, und das Resultat ist ein gesättigtes Pixel, von dem keine gültigen Daten erhalten werden können. GS wird verwendet, um die Graustufe zu bezeichnen, die gerade unterhalb des Sättigungsgrenzwerts liegt. Durch Dämpfen des Lichts von dem Projektor, um eine modifizierte Intensität I' = GS/T0 zu ergeben, was dem Punkt C entspricht, wird eine Sättigung des Pixels verhindert. Die erforderliche gedämpfte Intensität kann als I' = γI ausgedrückt werden, wobei γ ein Dämpfungsfaktor ist, der durch I'/I = GST1/G1T0 gegeben ist.
-
Nachdem die Phasenverschiebungsmessungen bei einer Belichtungszeit T1 durchgeführt wurden, werden die Kamerapixel, die bei einer Betriebsbelichtungszeit T0 sättigen würden, als jene identifiziert, deren Graustufe unterhalb GS, aber oberhalb T1GS/T0 liegt. Für diese identifizierten Pixel wird ein Dämpfungsfaktor γ berechnet, wobei γ gleich GST1/G1T0 ist, wobei G1 die maximale aufgezeichnete Graustufe bei dem Pixel ist, von dem die Sequenz von phasenverschobenen Bildern für die Belichtungszeit T1 aufgezeichnet wurde, und GS die Graustufe gerade unterhalb dessen ist, was eine Sättigung des Pixels verursacht.
-
T0 ist eine Belichtungszeit, die ausgewählt ist, um ein angemessenes Signal-zu-Rauschen-Verhältnis in den dunkleren Teilen des Objekts sicherzustellen, dessen Form gemessen wird.
-
Aus den berechneten Werten von ψ, ξ für jedes dieser identifizierten Kamerapixel wird das entsprechende Projektorpixel identifiziert.
-
Die transmittierte Lichtintensität an jedem Projektorpixel, das einem identifizierten Kamerapixel entspricht, wird dann mit dem Faktor γ multipliziert, der an dem entsprechenden Kamerapixel berechnet wurde, wie voranstehend erklärt wurde, um sicherzustellen, dass die nachfolgende Messung mit einer Betriebsbelichtungszeit T0 keine Sättigung von irgendwelchen Kamerapixeln verursacht.
-
Letztlich wird eine normale Hochauflösungsmessung des Objekts durchgeführt unter Verwendung der berechneten Dämpfungsmaske angewandt auf die Streifenmustern, die von dem Projektor angezeigt werden.
-
Bei einer alternativen Ausführungsform der Erfindung können die Phasenverschiebungsmessungen bei einem Satz von zweiten Belichtungszeiten T1a, T1b, ... T1n vorgenommen werden. Diese Belichtungszeiten könnten vorbestimmt werden, zum Beispiel durch Reduzieren der Belichtungszeit um einen konstanten Faktor β bei jeder nachfolgenden Messung. Wenn für ein gegebenes Pixel die Intensität bei einer Belichtungszeit T1j, aber nicht bei einer Belichtungszeit T1k = T1j/β, sättigt, dann würde die Graustufe G1k, die bei der Belichtungszeit T1k aufgezeichnet wurde, verwendet werden, um den Dämpfungsfaktor γ zu berechnen.
-
In anderen Ausführungsformen der Erfindung kann es mehr als eine Kamera und/oder mehr als einen Projektor geben.
-
In solchen Situationen wird es allgemein für jedes Kamera-/Projektorpaar notwendig sein, seine eigene Dämpfungsmaske zu haben, die durch Ausführen der voranstehend beschriebenen Schritte berechnet werden wird. Dies liegt daran, dass die wirksame Reflektionsfähigkeit eines gegebenen Punkts des Objekts, das zu messen ist, normalerweise von dem Blickwinkel abhängig sein wird. Dies bedeutet, dass eine Dämpfungsmaske, die für eine Kamera angelegt ist, nicht notwendigerweise wirksam ist, wenn die Probe von einer anderen Kamera, aber mit demselben Projektor betrachtet wird. Gleichermaßen wird es, wenn die Probe und/oder der Sensor mobil ist, nötig sein, nach jeder Bewegung der Probe und/oder des Sensors eine neue Dämpfungsmaske zu bestimmen.
-
Unten werden mehr Details dargelegt, wie die Phasenverschiebungsmessungen durchgeführt werden können.
-
Das Verfahren wird unter besonderer Bezugnahme auf 4, 5 und 6 beschrieben werden.
-
-
Die Streifen werden so erzeugt, dass die Intensität des Lichts, das durch die räumliche Lichtmodulatorpixelkoordinate (i, j) (i = 0, 1, 2, ..., N
i – 1; j = 0, 1, 2, ..., N
j – 1) hindurchtritt, gegeben ist durch
wobei I
0 die mittlere Intensität ist, I
M die Streifenmodulationsintensität ist, k der Phasenstufenindex ist (k = 1, 2, ..., N
k, wobei N
k die Anzahl von Phasenverschiebungen ist – typischerweise 4) und t der Streifenabstandsindex ist, der die Anzahl von Streifen über das Feld definiert.
-
Für jeden gegebenen Wert von t, N
k werden phasenverschobene Muster gemäß Gleichung (1) in den räumlichen Lichtmodulator geschrieben und von dem Projektor auf das Objekt projiziert. Für jedes dieser Muster wird ein Bild des Objekts mit der Kamera aufgenommen. An jedem Kamerapixel wird die Phase der projizierten Streifen gemäß Standardformeln berechnet. Zum Beispiel verwendet die wohlbekannte Vier-Teilbildformel (N
k = 4) vier an einem gegebenen Pixel gemessene Intensitätswerte (I
k, für k = 1, 2, 3, 4), um einen Phasenwert für das Pixel zu berechnen:
-
Der Index w wird verwendet, um einen Phasenwert zu bezeichnen, der durch die Arkustangensoperation auf dem Bereich –π bis +π verwickelt (engl.: wrapped) ist. Für den Fall t = 1 (ein einziger Streifen über dem Blickfeld) sind die gemessene verwickelte Phase und die wahre entwickelte (engl. unwrapped) Phase identisch, weil die wahre Phase niemals einen Bereich –π bis +π überschreitet. Für größere Werte von t unterscheiden sich die gemessene verwickelte Phase und die wahre entwickelte Phase im Allgemeinen durch ein ganzzahliges Vielfaches von 2π. Wenn wir s verwenden, um den maximalen Wert von t zu bezeichnen, dann ist es durch Messen von Φ
w für t = 1, 2, 3, ..., s möglich, einen verlässlichen entwickelten Phasenwert für das Pixel zu berechnen, den wir hier mit ψ bezeichnen. Die Gesamtzahl von Bildern, die für diese lineare Sequenz von t-Werten benötigt ist, beträgt s × N
k, was typischerweise 64 × 4 = 256 Bilder sein mögen. Dies ist deshalb ein Zeit raubender Prozess, und alternative Techniken sind basierend auf einem Teilsatz dieser linearen Sequenz entwickelt worden (siehe zum Beispiel
Huntley J. M. und Saldner, H. O. "Error reduction methods for shape measurement by temporal phase unwrapping", J. Opt. Soc. Am. A 14 (12) 3188–3196 (1997).) Die exponentiellen Vorwärts- und Rückwärtssequenzen verwenden t-Werte, die sich entweder von dem minimalen oder dem maximalen t-Wert exponentiell ändern (siehe
5 und
6). Das exponentielle Rückwärtsverfahren reduziert die Aufnahmezeit auf (1 + log
2s) × N
k = 7 × 4 = 28 Bilder, nahezu eine Größenordnung weniger als die lineare Sequenz.
-
Wie in 4 gezeigt ist, variiert die berechnete entwickelte Phase ψ von –tπ für Streupunkte, die irgendwo auf einer Ebene auf einer Seite des Messvolumens liegen und durch Licht beleuchtet werden, das durch Spalte 0 (i = 0) des räumlichen Lichtmodulators hindurchgetreten ist, bis zu einem Wert nahe +tπ für jene Streupunkte auf einer Ebene auf der anderen Seite des Messvolumens und beleuchtet durch Licht, das durch Spalte Ni – 1 (i = Ni – 1) des räumlichen Lichtmodulators hindurchgetreten ist.
-
Weil alle Pixel in einer gegebenen Spalte gemäß Gleichung (1) exakt denselben Satz von Intensitätswerten ergeben, ist es aus dem berechneten Phasenwert an einem gegebenen Kamerapixel nicht möglich, zu bestimmen, durch welches Pixel des räumlichen Lichtmodulators in der Spalte das Licht hindurchgetreten ist. Im Ergebnis definiert der gemessene Phasenwert eine Linie auf den räumlichen Lichtmodulator, die parallel zu den Spalten liegt. Um zu bestimmen, von welchem Pixel innerhalb der Spalte die Transmission abgestimmt werden muss, wird eine zweite Folge von Intensitätswerten mit den Streifenmustern gedreht um 90° projiziert, obwohl bei anderen Ausführungsformen die Streifenmuster um einen anderen Winkel gedreht werden können.
-
-
Wenn der mit diesen verdrehten Streifen gemessene entwickelte Phasenwert an dem gegebenen Kamerapixel mit ξ bezeichnet wird, dann definiert ξ eine Linie von Pixeln, in diesem Fall eine Reihe, auf dem räumlichen Lichtmodulator, durch die das beleuchtende Licht hindurchgetreten sein muss. Der Schnittpunkt der zwei Linien tritt an einem Punkt auf, der das einzige Pixel des räumlichen Lichtmodulators ist, das konsistent mit den gemessenen Werten sowohl von ψ als auch von ξ ist. Auf diese Weise kann das Pixel des räumlichen Lichtmodulators, dessen Transmission eingestellt werden muss, eineindeutig und direkt (nicht iterativ) für jedes Pixel in der Bildebene der Kamera bestimmt werden.
-
Merke, dass es wünschenswert ist, einen hohen Wert für s (die maximale Anzahl von Streifen über das Blickfeld) zu verwenden, wenn die Form eines Objekts gemessen wird, weil dies das Signal-zu-Rauschen-Verhältnis bei den gemessenen Koordinaten maximiert. Für den Zweck des Identifizierens der Abbildung zwischen den Kamerapixeln und den Projektorpixeln, wie es oben beschrieben wurde, wird eine so hohe Präzision jedoch normalerweise nicht benötigt. Ein niedrigerer Wert von s kann deshalb für diese Phase des Algorithmus verwendet werden, wodurch die Aufnahme- und Berechnungszeit reduziert wird. In vielen Fällen ist ein Wert von s = 1 ausreichend, in welchem Fall die Anzahl von aufgenommenen Halbbildern auf Nk pro Streifenorientierung reduziert ist, d. h. typischerweise insgesamt 8 anstelle von 56 Halbbildern, die von dem exponentiellen Rückwärtsverfahren gefordert würden, oder 512 Halbbildern, die von der linearen Sequenz gefordert würden.
-
Jetzt Bezug nehmend auf die 7 bis 10 wird die Erfindung weiter beschrieben.
-
7 ist eine Fotografie, die ein dreidimensionales Objekt 70 zeigt, das beleuchtet wurde, um eine Grauskalentextur zu zeigen. Es kann gesehen werden, dass in einigen Fällen eine Sättigung des Bilds auftritt, zum Beispiel in dem Bereich, der durch das Bezugszeichen 72 identifiziert ist und der verglichen mit anderen Teilen des Objekts 70 sehr hell ist. Wenn Daten von dem Objekt nach solch einer Beleuchtung erhalten werden, werden die Teile des Objekts, die überbelichtet oder gesättigt wurden, nicht genau reproduziert werden, und deshalb ist es nicht möglich, die dreidimensionale Form des Objekts in Bereichen, wie beispielsweise dem Bereich 72, genau festzustellen. Dies ist als ein 3D-Maschengraph in 9 gezeigt, wo hellgrau die Anwesenheit einer gemessenen Koordinate und dunkelgrau entweder die Abwesenheit der Probenoberfläche oder ansonsten eine Region auf der Probe anzeigt, die aufgrund von entweder Über- oder Unterbelichtung unmessbar ist. Der große Anteil von dunkelgrauen Punkten auf der Oberfläche 72 ist ein direktes Resultat der Überbelichtung dieser Region der Probe, wie sie in 7 gezeigt ist.
-
Sich jetzt 8 zuwendend, ist ein Bild eines dreidimensionalen Objekts 70 gezeigt, das unter Anwendung eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung belichtet wurde. Es kann gesehen werden, dass der Bereich 72 jetzt nicht länger überbelichtet oder gesättigt ist und dass die Intensität der Beleuchtung über dem Objekt 70 insgesamt gleichmäßiger ist.
-
Wie aus 10 gesehen werden kann, bedeutet dies, dass die Form des Objekts 70 vollständiger gemessen werden kann, und insbesondere weist die Oberfläche 72 jetzt einen viel kleineren Anteil von unmessbaren Punkten auf, wie durch den kleineren Anteil von dunkelgrauen Punkten in diesem Bereich des Objekts angezeigt wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 088522 [0003, 0063]
- US 7456973 [0008]
- US 7570370 [0010, 0010]
-
Zitierte Nicht-Patentliteratur
-
- Chu T. C., Ranson W. F., Sutton M. A. und Peters W. H., ”Applications of digital-imagecorrelation techniques to experimental mechanics”, Experimental Mechanics 25 232–244 (1985) [0060]
- Sjodahl, M, ”Electronic speckle photography – increased accuracy by nonintegral pixel shifting”, Applied Optics 33 6667–6673 (1994) [0060]
- Saldner, H. O. und Huntley J. M. ”Profilometry by temporal Phase unwrapping and spatial light modulator-based fringe projector”, Opt. Eng. 36 (2) 610–615 (1997) [0076]
- Huntley J. M. und Saldner, H. O. ”Error reduction methods for shape measurement by temporal phase unwrapping”, J. Opt. Soc. Am. A 14 (12) 3188–3196 (1997) [0079]