DE102015107517B3

DE102015107517B3 - Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe

Info

Publication number: DE102015107517B3
Application number: DE102015107517.2A
Authority: DE
Inventors: Lars Stoppe; Lars Omlor
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2015-05-13
Filing date: 2015-05-13
Publication date: 2016-06-23
Anticipated expiration: 2035-05-14
Also published as: CN107690595A; US20180122092A1; US10755429B2; CN107690595B; WO2016180960A1

Abstract

Es werden Verfahren und Vorrichtungen bereitgestellt, bei welchen eine Vielzahl von Bildern unter verschiedenen Beleuchtungswinkeln aufgenommen wird. Die Vielzahl von Bildern wird kombiniert, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erzeugen.

Description

Die vorliegende Anmeldung betrifft Vorrichtungen und Verfahren zur Bildaufnahme. Insbesondere betrifft sie derartige Vorrichtungen und Verfahren, bei welchen eine Bildaufnahme mit einer erhöhten Schärfentiefe möglich ist.
Bei verschiedenen Anwendungen, bei denen insbesondere dreidimensionale Objekte mittels einer Bildaufnahmevorrichtung aufgenommen werden, ist eine hohe Schärfentiefe wünschenswert, beispielsweise um einen gewünschten Bereich oder das gesamte aufgenommene Objekt scharf in einem zweidimensionalen Bild abbilden zu können. Unter der Schärfentiefe wird dabei allgemein ein Bereich verstanden, in dem ein Objekt hinreichend scharf, beispielsweise entsprechend einer Auflösung eines Aufnahmemediums wie einem Bildsensor, abgebildet wird.
In klassischen Systemen kann zur Vergrößerung der Schärfentiefe die numerische Apertur verringert werden. Dies führt jedoch gleichzeitig zu einer Verringerung der Auflösung und/oder des zur Verfügung stehenden Lichts.
Eine weitere Möglichkeit, die Schärfentiefe einer Vorrichtung zur Bildaufnahme zu vergrößern, ist der Einsatz von speziellen Pupillen und Feldfiltern. Beispiele hierfür werden in Edward R. Dowski, Jr., and W. Thomas Cathey, „Extended Depth of field through wave-front coding”, Applied Optics, Vol. 34, No. 11, 1859–1866, 1995, beschrieben. Derartige Herangehensweisen haben in der Regel den Nachteil, dass sie den Kontrast bei höheren Ortsfrequenzen deutlich reduzieren, was aufgrund von Rauschen zu Auflösungsverlust führen kann. Weiterhin kann es bei einer hierbei nötigen digitalen Nachbearbeitung zu Artefaktbildung kommen. Des Weiteren ist ein spezielles Optikdesign nötig, bei der die Pupillenebene/Zwischenbildebene zugänglich und optische korrigiert ist, was zu Mehrkosten für die Vorrichtung führt.
Eine dritte herkömmliche Möglichkeit, ein Bild mit erweiterter Schärfentiefe zu erzeugen, ist eine digitale Berechnung eines derartigen Bildes aus einer sogenannten z-Stapelanmessung. Diese Herangehensweise wird auch als „focus stacking” bezeichnet. Bei dieser Herangehensweise wird eine Vielzahl von Bildern mit unterschiedlichem Fokus aufgenommen (beispielsweise durch Verfahren der Probe oder durch eine anderen Änderung der Vorrichtung, beispielsweise durch Änderung der Fokussierung eines optischen Systems). Mittels geeigneter Algorithmen wird dann aus jedem Bild der jeweils schärfste Bereich in das Gesamtbild übertragen. Dabei kann ein Bild erzeugt werden, welches eine nahezu beliebige Schärfentiefe aufweist, ohne dass es zu einem Auflösungsverlust kommt. Nachteilig an dieser Herangehensweise ist, dass der oben genannte z-Stapel, auch als Defokusstapel bezeichnet, durch mechanisches Verfahren einer Komponente der Vorrichtung erzeugt werden muss (beispielsweise Verfahren von Linsen zur Änderung des Fokus und/oder Verfahren der Probe), was relativ lange dauern kann, vergleichsweise kostenintensiv sein kann und/oder im Falle des Verfahrens der Probe die Probe in unerwünschte Bewegungen versetzen kann.
Aus Zheng, G. [et al.]: Wide-field, high-resolution Fourier ptychographic microscopy. In: Nature Photonics 7 (September 2013), S. 739–745. Doi: 10.1038/nphoton.2031.187, ist ein Verfahren zur hochaufgelösten Weiffeldfourierptychographiemikroskopie bekannt. Dabei werden mehrere Bilder mit verschiedenen Beleuchtungen aufgenommen und im Fourierraum kombiniert, wodurch ein Fokusbereich vergrößert werden kann.
Die DE 10 2014 112 666 A1 und DE 10 2014 112 648 A1 betreffen jeweils Verfahren, bei welchem eine Beleuchtung unter verschiedenen Beleuchtungswinkeln vorgenommen wird, um Ergebnisbilder mit verbesserten Eigenschaften zu erhalten.
Aus der DE 10 2004 012 125 B3 ist ein ellipsometrisches Messverfahren mit Region of Interest (ROI) gestützte Bildkorrektur bekannt. Dabei werden nacheinander eine Mehrzahl von Einzelbildern unter unterschiedlichen ellipsometrisch relevanten Aufnahmebedingungen, beispielsweise unterschiedlichen Winkeln, aufgenommen, und zur Erzeugung eines Ergebnisbildes verrechnet. Hierzu werden in einem Referenzbild anhand von Bildinformationsparametern ein interessierender Bereich definiert und die Position und/oder Form in einem ersten Einzelbild ermittelt. In einem zweiten Einzelbild wird die Position und/oder Form des interessierenden Bereichs anhand der gleichen Bildinformationsparameter ermittelt. Das zweite Einzelbild wird dann durch Translation, Rotation, Stauchung und/oder Streckung wenigstens ausschnittsweise derart korrigiert, dass die Position und/oder Form des interessierenden Bereichs in dem zweiten Einzelbild mit der Position und/oder Form des interessierenden Bereichs in dem ersten Einzelbild übereinstimmt.
Chamgoulov, R. [et al.]: Optical computed-tomographic microscope for three-dimensional quantitive histology. In: Cellular Oncology 26 (2004), S. 319–327, offenbaren ebenfalls ein Verfahren, bei welchem zur dreidimensionalen Tomografie ein Objekt aus verschiedenen Richtungen beleuchtet wird.
Es ist daher eine Aufgabe, Verfahren und Vorrichtungen bereitzustellen, mit welchen die oben beschriebenen Nachteile zumindest teilweise überwunden oder abgemildert werden können und eine Bildaufnahme mit verglichen einer herkömmlichen Einzelbildaufnahme erhöhter Schärfentiefe möglich ist.
Es werden ein Verfahren nach Anspruch 1 sowie eine Vorrichtung nach Anspruch 9 bereitgestellt. Die Unteransprüche definieren weitere Ausführungsformen.
Gemäß einem ersten Aspekt wird ein Verfahren zur Bildaufnahme bereitgestellt, umfassend:
Aufnehmen einer Vielzahl von Bildern, wobei zur Aufnahme der Vielzahl von Bildern ein Objekt unter zwischen den Bildern unterschiedlichen Beleuchtungswinkeln beleuchtet wird, und
Verarbeiten der Vielzahl von Bildern, wobei das Verarbeiten umfasst:
Anwenden von Operationen auf die Vielzahl von Bildern, und Kombinieren der Vielzahl von Bildern mit den darauf angewendeten Operationen, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten.
Das Anwenden von Operationen umfasst ein Anwenden einer Verschiebung auf Bildelemente der Bilder, wobei die Verschiebung von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts in einer Richtung parallel zur optischen Achse abhängt.
Durch Verwendung von Bildern, die mit verschiedenen Beleuchtungsrichtungen aufgenommen wurden, zum Erzeugen eines Bildes mit erweiterter Schärfentiefe kann ein mechanisches Verfahren zum Einstellen eines Fokus vermieden oder – im Falle von sehr großen gewünschten Schärfentiefenbereichen – verringert werden.
Die Verschiebung kann von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts in einer Richtung parallel zur optischen Achse abhängen.
Das Anwenden von Operationen kann ein Anwenden von Operationen für eine Vielzahl von Positionen in einer Richtung parallel zu einer optischen Achse und ein Auswählen von Bildteilen für das Ergebnisbild, für welche ein Schärfemaß eine größte Schärfe anzeigt, für das Ergebnisbild umfassen.
Das Schärfemaß kann dabei auf Basis einer lokalen Varianz bestimmt werden.
Das Verarbeiten kann umfassen:
Durchlaufen einer Schleife, in der ein Positionsparameter über einen gewünschten Positionsbereich parallel zu einer optischen Achse einer für die Bildaufnahme verwendeten Vorrichtung durchläuft, und für jeden Positionsparameter der Schleife:
Bestimmen eines Zwischenbildes als Summe über die Vielzahl von Bildern, auf die als Operation jeweils eine von dem jeweiligen Höhenparameter und dem jeweiligen Beleuchtungswinkel angewendete Verschiebung angewendet wurde,
Bilden eines lokalen Varianzwerts für jedes Bildelement des Zwischenbildes, und
Aufnahme derjenigen Bildelemente des Zwischenbildes in ein Ergebnisbild, bei welchem die lokale Varianz größer ist als eine lokale Varianz vorhergehender Schleifendurchläufe.
Das Verfahren kann weiter ein Erstellen einer Höhenkarte auf Basis der Vielzahl von Bildern umfassen.
Das Verarbeiten kann ein Stitching umfassen.
Das Verarbeiten kann ein Anwenden einer Bildkorrektur umfassen.
Das Ergebnisbild kann ein Phasenkontrastbild umfassen.
Gemäß einem zweiten Aspekt wird eine Vorrichtung zur Bildaufnahme bereitgestellt, umfassend:
eine Beleuchtungseinrichtung, die ansteuerbar ist, eine Mehrzahl unterschiedlicher Beleuchtungswinkel für eine Beleuchtung eines Objekts einzustellen,
eine Bildaufnahmeeinrichtung, welche eingerichtet ist, eine Vielzahl von Bildern des Objekts aufzunehmen, wobei sich die Beleuchtungswinkel für verschiedene der Vielzahl von Bildern unterscheiden, und
eine Auswerteeinrichtung zur Verarbeitung der Vielzahl von Bildern, wobei die Auswerteeinrichtung eingerichtet ist, auf jedes Bild der Vielzahl von Bildern eine Operation anzuwenden und die Bilder mit den darauf angewendeten Operationen zu kombinieren, um ein Ergebnisbild mit vergrößerter Schärfentiefe zu erzeugen,
wobei das Anwenden von Operationen ein Anwenden einer Verschiebung auf Bildelemente der Bilder umfasst,
wobei die Verschiebung von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts in einer Richtung parallel zur optischen Achse abhängt.
Die Vorrichtung kann zur Durchführung eines der oben beschriebenen Verfahren eingerichtet sein.
Im Folgenden werden verschiedene Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
1 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel,
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel,
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem weiteren Ausführungsbeispiel,
4 ein Diagramm zur Veranschaulichung von manchen Ausführungsbeispielen, und
5A und 5B Beispiele für ein Bild ohne und mit der Anwendung eines Verfahrens gemäß einem Ausführungsbeispiel.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Darstellungen verschiedener Ausführungsbeispiele der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart widergegeben, dass ihre Funktion und ihr Zweck dem Fachmann verständlich wird.
Während Ausführungsbeispiele mit einer Vielzahl von Merkmalen oder Elementen beschrieben werden, ist dies nicht dahingehend auszulegen, dass alle diese Merkmale oder Elemente zur Implementierung des jeweiligen Ausführungsbeispieles notwendig sind. Vielmehr können bei anderen Ausführungsbeispielen manche der dargestellten Elemente oder Merkmale weggelassen sein und/oder durch alternative Merkmale oder Elemente ersetzt werden. Zudem oder alternativ können neben den dargestellten Merkmalen oder Elementen zusätzliche, nicht explizit dargestellte oder beschriebene, Merkmale oder Elemente bereitgestellt sein, beispielsweise herkömmliche optische Komponenten. Merkmale oder Elemente verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist.
Nachfolgend werden Techniken beschrieben, mit welchen eine Bildaufnahme mit erhöhter Schärfentiefe möglich ist. Hierzu werden insbesondere mehrere Bildaufnahmen mit verschiedenen Beleuchtungswinkeln verwendet. Die Beleuchtungswinkel können sich dabei hinsichtlich des Betrages und/oder der Richtung unterscheiden. Erhöhte Schärfentiefe bedeutet in diesem Zusammenhang insbesondere, dass die Schärfentiefe höher ist als die Schärfentiefe einer einzelnen Bildaufnahme. Optional können dabei auch zusätzlich Abbildungsfehler, die durch einen Defokus hervorgerufen werden, rechnerisch korrigiert werden. Unter einer Korrektur und einem Korrigieren von Abbildungsfehlern werden dabei Maßnahmen verstanden, mit denen die Güte eines erzeugten Ergebnisbildes verbessert und wenigstens bestimmte Abbildungsfehler, wie beispielsweise durch Bildfeldwölbung und/oder Astigmatismus hervorgerufene Defokusfehler, verringert werden können.
Wie nachfolgend ausführlicher beschrieben werden wird, werden bei Ausführungsbeispielen sequentiell mehrere Bilder eines Objekts aufgenommen. Ein Beleuchtungswinkel für eine Beleuchtung des Objekts wird zur Aufnahme der mehreren Bilder auf unterschiedliche Werte eingestellt. Eine Fokuseinstellung einer verwendeten Vorrichtung kann dabei für die Aufnahme der mehreren Bilder unverändert bleiben, sodass keine mechanische Bewegung von Komponenten notwendig ist. Auf zumindest einen Teil der Bilder wird eine Operation angewandt, insbesondere eine Verschiebung von Bildelemente (z. B. Pixeln). Die Verschiebung kann abhängig von der jeweiligen Beleuchtungsrichtung und abhängig von einer Lage eines auf das jeweilige Bildelement abgebildeten Objekts teils in z-Richtung sein, wobei die z-Richtung im Wesentlichen eine Richtung parallel zu einer optischen Achse einer Aufnahmevorrichtung (beispielsweise eines Mikroskopobjektivs oder dergleichen) bezeichnet. Die so mit der Operation veränderten Bilder können miteinander kombiniert werden, um ein Bild mit erhöhter Schärfentiefe zu erzeugen. Zusätzlich kann mittels der Operation eine Korrektur von Abbildungsfehlern wie oben erwähnt vorgenommen werden.
1 ist eine schematische Darstellung einer Bildaufnahmevorrichtung 1 gemäß einem Ausführungsbeispiel. Die Bildaufnahmevorrichtung der 1 kann zur automatischen Ausführung von Verfahren gemäß verschiedenen Ausführungsbeispielen, beispielsweise nachfolgend unter Bezugnahme auf die 2 und 3 erläuterten Verfahren, ausgestaltet sein. Die Bildaufnahmevorrichtung 1 kann ein Mikroskopsystem sein oder kann ein Mikroskop umfassen, das mit einer noch ausführlicher beschriebenen steuerbaren Beleuchtungseinrichtung, einer Kamera mit einem Bildsensor und einer elektronischern Auswerteeinrichtung zur Erzeugung von Bildern mit erhöhter Schärfentiefe und optional auch zur Bildkorrektur versehen ist.
Die Bildaufnahmevorrichtung 1 umfasst eine Beleuchtungseinrichtung mit einer Lichtquelle 11. Eine Kondensorlinse 12 ist bereitgestellt, um das von der Lichtquelle 11 abgegebene Licht auf ein abzubildendes Objekt 2 zu lenken. Die Beleuchtungseinrichtung ist so ausgestaltet, dass Licht unter einer Vielzahl unterschiedlicher Beleuchtungswinkel 4 auf das Objekt 2 eingestrahlt werden kann. Dazu kann beispielsweise die Lichtquelle 11 eine Anordnung mehrerer Lichtquellenelemente, beispielsweise Leuchtdioden, umfassen, die einzeln ansteuerbar sein können. Beispielsweise können derartige Lichtquellenelemente ringförmig angeordnet sein. Alternativ kann ein steuerbares Element in einer Zwischenbildebene, in die eine herkömmliche Lichtquelle vergrößert abgebildet wird, angeordnet sein, um unterschiedliche Beleuchtungswinkel bereitzustellen. Das steuerbare Element kann eine bewegliche Lochblende, eine Mikrospiegelanordnung, eine Flüssigkeitskristallmatrix oder einen räumlichen Lichtmodulator umfassen. Geeignete Beleuchtungseinrichtungen sind beispielsweise in der deutschen Patentanmeldung DE 10 2014 101 219 A1 beschrieben.
Die Beleuchtungseinrichtung kann so eingerichtet sein, dass der Betrag des Beleuchtungswinkels 4, der mit einer optischen Achse 5 eingeschlossen wird, verändert werden kann. Zusätzlich oder alternativ kann die Beleuchtungseinrichtung so eingerichtet sein, dass der Beleuchtungswinkel hinsichtlich der Richtung verändert werden kann, d. h., dass eine Richtung des Strahls 3, mit dem das Objekt unter dem Beleuchtungswinkel 4 beleuchtet werden kann, in Polarrichtung um die optische Achse 5 herum bewegt werden kann. Unter einem veränderbaren Beleuchtungswinkel ist somit ein Beleuchtungswinkel zu verstehen, welcher hinsichtlich des Betrags und/oder hinsichtlich der Richtung veränderbar ist.
Ein Detektor 14 der Bildaufnahmevorrichtung 1 ist eingerichtet, für jeden von mehreren verschiedenen Beleuchtungswinkeln, unter denen das Objekt 2 beleuchtet wird, jeweils mindestens ein Bild des Objekts 2 zu erfassen. Ein Bildsensor 15 des Detektors 14 kann beispielsweise als CCD-Sensor, CMOS-Sensor oder als ein TDI(„Time Delay Integration”)-CCD-Sensor ausgestaltet sein. Eine Abbildungsoptik, beispielsweise ein nur schematisch dargestelltes Mikroskopobjektiv 13 einer Mikroskopanordnung, kann ein Abbild des Objekts 2, insbesondere auch ein vergrößertes Abbild, an dem Bildsensor 15 erzeugen. Der Bildsensor 15 kann eine ebene Fläche zur Bildaufnahme umfassen.
Die Bildaufnahmevorrichtung 1 umfasst weiter eine elektronische Auswerteeinrichtung 20. Die elektronische Auswerteeinrichtung 20 verarbeitet die Mehrzahl von Bildern weiter, die von dem Objekt für die mehreren Beleuchtungswinkel 4 erfasst wurden. Die elektronische Auswerteeinrichtung 20 kann beispielsweise durch entsprechende Programmierung einer Computervorrichtung mit einem oder mehreren Prozessoren implementiert sein. Es können jedoch auch spezielle Hardwareimplementierungen, beispielsweise anwendungsspezifische integrierte Schaltungen (ASICs) zum Einsatz kommen. Die elektronische Auswerteeinrichtung 20 wendet insbesondere Operationen auf die Bilder an und kombiniert dann die Bilder, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten. Die Operationen können insbesondere ein Verschieben von Bildpunkten (Pixeln) umfassen, wobei die Verschiebung von dem Beleuchtungswinkel sowie von der Lage des Teils des Objekts, welches auf den jeweiligen Bildpunkt abgebildet wurde, in z-Richtung abhängen kann. Zudem kann durch eine derartige Operation oder Verschiebung optional ein feldpunktabhängiger Versatz, der durch Bildfeldwölbung oder Astigmatismus oder einen anderen feldpunktabhängigen Defokusfehler hervorgerufen wird, reduziert werden. Für eine derartige Korrektur kann eine feldpunktabhängige Verschiebung, mit der der jeweilige Bildpunkt in der Bildebene verschoben werden, abhängig von einer feldpunktabhängigen Defokussierung festgelegt sein. Korrekturwerte zur Durchführung derartiger Korrekturen können in einem Speichermedium 21 als Korrekturinformation gespeichert werden. Details derartiger Korrekturen von Bildfehlern sind beispielsweise in DE 10 2014 112 666 A1 beschrieben. Die im Folgenden näher beschriebenen Verfahren zur Erhöhung der Schärfentiefe können mit diesen Korrekturen kombiniert werden, können jedoch auch für sich genommen angewendet werden.
In 2 ist ein Verfahren zur Bildaufnahme gemäß einem Ausführungsbeispiel dargestellt. Das Verfahren der 2 kann beispielsweise mittels der Vorrichtung der 1 durchgeführt werden, kann jedoch auch unabhängig hiervon verwendet werden.
Bei Schritt 31 wird ein aufzunehmendes Objekt unter einem ersten Beleuchtungswinkel beleuchtet. Beispielsweise kann bei Verwendung der Vorrichtung der 1 die Beleuchtungseinrichtung von der elektronischen Auswerteeinrichtung 20 so angesteuert werden, dass das Objekt unter dem ersten Beleuchtungswinkel beleuchtet wird. Zudem wird bei Schritt 31 ein erstes Bild erfasst, beispielsweise durch den Bildsensor 15 der 1.
Bei Schritt 31 wird das Objekt unter einem zweiten Beleuchtungswinkel beleuchtet, der hinsichtlich des Betrages und/oder der Richtung von dem ersten Beleuchtungswinkel verschieden ist. Dazu kann wiederum eine verwendete Beleuchtungseinrichtung entsprechend angesteuert werden. Des Weiteren wird ein entsprechendes zweites Bild, beispielsweise durch den Bildsensor 15 erfasst.
Dies kann mit unterschiedlichen Beleuchtungswinkeln wiederholt werden, bis bei Schritt 32 das Objekt unter einem N-ten Beleuchtungswinkel beleuchtet wird und ein N-tes Bild aufgenommen wird. N kann dabei größer als 2 sein, beispielsweise zwischen 10 und 40 liegen.
Bei Schritt 33 wird auf jedes oder zumindest einen Teil der N-Bilder eine jeweilige Operation angewendet, wobei die Operationen auch mehrere Teiloperationen für jedes Bild umfassen können. Die Operationen können insbesondere Verschiebungen von Bildpunkten (Pixeln) umfassen, wobei ein Betrag und/oder eine Richtung der Verschiebung zum einen von dem verwendeten Beleuchtungswinkel abhängen kann, also von Bild zu Bild variieren kann, und von einem zum anderen von einer z-Koordinate eines abgebildeten Objekts abhängen kann, wobei die z-Richtung die Richtung senkrecht zur Bildebene bzw. parallel zu der optischen Achse 5 sein kann, wie dies in 1 dargestellt ist. In Schritt 34 werden die Bilder, auf die in Schritt 33 die Operationen angewendet wurden, kombiniert, beispielsweise summiert, um ein Bild mit vergrößertem Schärfentiefenbereich zu erhalten. Wie bereits erläutert können die Operationen bei 33 zusätzlich dazu dienen, Bildfehler zu korrigieren. Das Anwenden der Operationen bei 33 und das Kombinieren der Bilder bei 34 muss nicht in der dargestellten Reihenfolge geschehen, sondern kann auch miteinander verwoben sein, sodass beispielsweise für verschiedene Teile der Bilder die Operationen angewendet und die Bilder kombiniert werden.
In 3 ist ein Verfahren gemäß einem Ausführungsbeispiel dargestellt, welches insbesondere ein Beispiel für die Schritte 33 und 34 der 2 darstellt.
Bei 36 werden optimierte Verschiebungsvektoren für Bildpunkte für verschiedene z-Ebenen und verschiedene Beleuchtungsrichtungen bestimmt. Diese optimierten Verschiebungsvektoren können dann auch zur späteren Verwendung für weitere Bildaufnahmen abgespeichert werden, beispielsweise in dem Speicher 21 der 1. Bei 37 werden die Verschiebungsvektoren auf die Bilder angewendet. Schließlich werden bei 38 die Bilder kombiniert, um ein Bild mit vergrößerter Schärfentiefe zu erhalten.
Im Folgenden wird die Anwendung von Operationen auf die Bilder und das Kombinieren der Bilder zur Erhöhung der Schärfentiefe noch näher erläutert. Grundlage der Erzeugung von Bildern mit vergrößerter Schärfentiefe gemäß manchen Ausführungsbeispielen ist die Erkenntnis, dass bei einer Beleuchtung unter verschiedenen Beleuchtungswinkeln wie oben beschrieben der Ort, an dem jeweilige Teile eines aufzunehmenden Objekts auf dem Bildsensor abgebildet werden, im defokussierten Fall von der Beleuchtungsrichtung abhängt. In anderen Worten werden Teile des aufzunehmenden Objekts, welche in einer Fokusebene der optischen Anordnung (beispielsweise in einer Fokusebene des Mikroskopobjektivs 13 der 1) liegen, unabhängig von dem Beleuchtungswinkel immer am gleichen Ort des Bildsensors 15 erfasst. Für Teile des Objekts, die außerhalb der Fokusebene liegen, erfolgt die Abbildung auf dem Bildsensor 15 jedoch von Beleuchtungswinkel zu Beleuchtungswinkel gegeneinander verschoben, wobei die Größe der Verschiebung davon abhängt, wie weit der jeweilige Teil des Objekts außerhalb der Fokusebene liegt, oder in anderen Worten, sie hängt von der z-Position des jeweiligen Teils des Objekts ab.
Auf dieser Basis kann beispielsweise bei manchen Ausführungsbeispielen für jede Beleuchtungsrichtung und jede z-Position eine entsprechende Verschiebung bestimmt werden, welche beispielsweise auf Bildpunkte (Pixel) des Bildes angewendet wird. Diese Verschiebung kann insbesondere derart gewählt sein, dass der Versatz zwischen verschiedenen Beleuchtungsrichtungen kompensiert wird. Wenn die so bearbeiteten Bilder dann summiert werden, entsteht ein Bild mit vergrößerter Schärfentiefe.
Zu bemerken ist, dass mit derartigen Herangehensweisen die Schärfentiefe bis auf einen Bereich ausdehnbar ist, welcher der kohärenten Schärfentiefe einer verwendeten Vorrichtung entspricht. Wenn eine noch höhere Schärfentiefe benötigt wird, kann zusätzlich der Fokus der Vorrichtung (beispielsweise wie durch einen Pfeil 22 in 1 angedeutet) verändert werden. Hier ist dann verglichen mit herkömmlichem Fokus-Stacking eine Bewegung des Fokus in weniger verschiedene Positionen nötig. Beispielsweise kann eine Schrittweite im Wesentlichen entsprechend der kohärenten Schärfentiefe gewählt werden. Als Ausgangsbasis für das Fokus-Stacking können dann die mit den oben diskutierten Verfahren erzeugten Bilder dienen, welche über einen jeweiligen kohärenten Schärfentiefenbereich scharf sind.
Das oben erläuterte Grundprinzip kann auf verschiedene Weise angewendet werden, um ein Bild mit vergrößerter Schärfentiefe zu erzeugen.
Bei einer Herangehensweise wird ein z-Stapel mit verschiedenen Fokusebenen „simuliert”, d. h. auf Basis der mit verschiedenen Beleuchtungswinkeln aufgenommenen Bilder errechnet. Dieser z-Stapel kann dann mit herkömmlichen für z-Stapel bekannten Algorithmen zu einem Bild mit vergrößertem Schärfentiefenbereich verrechnet werden. Beispielsweise kann auf die Einzelbilder eine sukzessive Verschiebung als Operation angewendet werden, wobei jede Verschiebung dann einem anderen z-Wert entspricht. Für jeden Bildpunkt kann dann der Verschiebungswert verwendet werden und gespeichert werden, in der das Bild um den jeweiligen Bildpunkt herum am „schärfsten” ist. Als Kriterium kann hier beispielsweise eine lokale Varianz verwendet werden. Andere mögliche Kriterien sind zum Beispiel lokale Kantensteilheit, lokale Bildschärfemaße und ähnliche Maße, wie sie beispielsweise auch zur Einstellung eines Autofokus in der Fotografie verwendet werden.
Unten stehend ist ein Pseudocode dargestellt, welcher veranschaulicht, wie eine derartige Erzeugung eines Bildes mit vergrößerter Schärfentiefe von statten gehen kann.
Zunächst werden Variablen EDof, Zmap und Beste Varianz auf Null initialisiert. Diese Variablen sind beispielsweise zweidimensionale Matrizen, wobei für jeden Bildpunkt (oder bei anderen Ausführungsbeispielen für jeden Farbkanal jedes Bildpunkts) ein Element der Matrix vorgesehen ist.
Dann folgt eine Schleife, die eine Variable z, welche einer z-Koordinate (entsprechend der Definition der z-Richtung der 1) von einem minimalen Wert z_min zu einem maximalen Wert z_max durchlaufen lässt. z_min und z_max liegen dabei innerhalb der bereits erwähnten kohärenten Schärfentiefe des Systems, müssen diesen jedoch nicht vollständig ausnutzen. Vielmehr kann auch nur ein Teilbereich bearbeitet werden, wenn nur dieser Teilbereich in einem bestimmten Fall von Interesse ist.
Für jeden z-Wert in der Schleife wird dann ein Bild als Summe von Einzelbildern berechnet, wobei die Bildpunkte der jeweiligen Einzelbilder um einen Betrag verschoben werden (Shift), welcher vom z-Wert z und dem jeweiligen Beleuchtungswinkel φ des jeweiligen Einzelbildes abhängt. Dann wird durch Anwendung eines lokalen Mittelungsfilters (welcher beispielsweise über einen gewissen Bereich von Bildpunkten, beispielsweise in der Größenordnung von 3 × 3 Bildpunkten mitteln kann) ein lokaler Erwartungswert für jeden Bildpunkt bestimmt. Auf Basis von diesem lokalen Erwartungswert wird dann eine lokale Varianz für jeden Bildpunkt bestimmt, indem der Unterschied zwischen dem Bild und dem jeweiligen lokalen Erwartungswert (für jeden Bildpunkt) quadriert wird und hierauf wiederum der lokale Mittelungsfilter angewendet wird. Die Variablen Lokale Erwartungswert und Lokale Varianz sind also Matrizen mit einem Element für jeden Bildpunkt (oder jeden Farbkanal jedes Bildpunktes). Diese lokale Varianz stellt ein Maß für die Schärfe dar. Dann werden alle Indizes, d. h. alle Bildpunkte, bestimmt, für die die lokale Varianz größer ist als die (bisher) beste Varianz. In anderen Worten werden hier diejenigen Bildpunkte bestimmt, bei welchen die bei dem jetzigen Durchlauf der z-Schleife erzeugte Schärfe besser ist als bei vorherigen Durchläufen erzielte Schärfewerte, jeweils gemäß dem Maß der lokalen Varianz.
Für diese Indizes, d. h. diese Bildpunkte, wird die beste Varianz dann auf die lokale Varianz des jeweiligen Durchgangs gesetzt. Das Endbild EDof wird dann für die so bestimmten Indizes auf die Bildpunkte des jeweiligen Bildes (Variable Bild) aktualisiert, sodass nach dem kompletten Durchlauf der z-Schleife das Bild EDof nur aus den jeweils „besten” Bildpunkten besteht. Optional kann auch die Variable Zmap entsprechend auf den jeweiligen z-Wert gesetzt werden, sodass nach Durchlauf der Schleife Zmap eine Karte der z-Werte für die Bildpunkte des Bildes darstellt, wobei der z-Wert für jeden Bildpunkt dann der Wert ist, bei welchem die lokale Varianz, d. h. der für die Schärfenbestimmung benutzte Parameter, am größten ist.
Bei dem in dem Pseudoprogammcode dargestellten Verfahren können die Verschiebungen in Abhängigkeit von z und φ beispielsweise vorher durch eine Kalibrierung gewonnen werden und abgespeichert werden. Bei anderen Herangehensweisen ist es auch möglich, beispielsweise durch Durchspielen verschiedener Verschiebungsvektoren für jeden Bildpunkt den optimalen Verschiebungsvektor zu finden. Die Verschiebungen können wie bereits erwähnt zusätzlich benutzt werden, um Bildfehler zu korrigieren.
Auch andere Herangehensweisen können verwendet werden. Beispielsweise können mittels lokaler Stiching-Verfahren die Einzelbilder segmentiert werden und in jedem Teilbereich (Segment) eine automatische „Defokus”-Suche durchgeführt werden, d. h. für jeden Teilbereich eine automatisierte „Defokus”-Suche durchgeführt werden. Dabei werden die Einzelbilder, d. h. die unter den verschiedenen Beleuchtungswinkeln beleuchteten Bilder, in den jeweiligen Segmenten so verschoben, dass einander entsprechende Strukturen in den Segmenten bestmöglich übereinander liegen. Ähnliche Verfahren sind beispielsweise in der DE 10 2014 109 687 A1 zum Zwecke einer Einstellung eines Autofokus beschrieben. Eine derartige Defokus-Suche kann beispielsweise mittels einer lokalen Korrelation mit SSIM(„structural similarity”)-Bewertung durchgeführt werden. Bei einer derartigen Herangehensweise wird nicht nur ein Defokus korrigiert, d. h. für jedes Segment eine optimierte Schärfe erreicht, sondern es können auch andere Defokus abhängige Bildfehler korrigiert werden.
Bei wieder einer anderen Herangehensweise wird zunächst eine 3D-Karte der Probe berechnet, im Wesentlichen entsprechend der Zmap in dem oben erläuterten Pseudocode. Eine derartige 3D-Karte kann im Wesentlichen basierend darauf bestimmt werden, dass abhängig von der z-Koordinate wie bereits erläutert Bildbereich in Abhängigkeit von dem Beleuchtungswinkel verschiedene Verschiebungen erfahren, sodass von der Verschiebung auf die z-Koordinate rückgeschlossen werden kann. Derartige Verfahren sind beispielsweise in der DE 10 2014 109 687 A1 oder der DE 10 2014 113 433 A1 näher beschrieben. Bei derartigen Verfahren kann beispielsweise der Versatz von gleichen Strukturen zueinander für verschiedene Beleuchtungswinkel bestimmt werden, beispielsweise durch Bilderkennungsverfahren, und abhängig von diesem Versatz kann die z-Koordinate bestimmt werden, beispielsweise basierend auf einer vorhergehenden Kalibrierung. Das Bild mit erweiterter Schärfentiefe kann dann auf Basis der 3D-Karte der Probe entsprechend einer feldabhängigen Defokus-Korrektur mit entsprechenden Verschiebungen von Bildelementen für jede z-Ebene beschrieben werden, ähnlich einer Defokus-Korrektur, wie sie beispielsweise in der DE 10 2014 112 666 A1 oder der DE 10 2014 112 648 A1 (dort zum Zwecke der Korrektur von Bildfehlern) beschrieben ist.
Zu bemerken ist, dass die hier beschriebenen Techniken nicht nur auf herkömmliche Bilder anwendbar sind. Vielmehr können sie auch auf Phasenkontrastbilder angewendet werden, die ebenfalls durch Beleuchtung unter verschiedenen Beleuchtungswinkeln erzeugt werden können. Beispielsweise ist in der DE 10 2014 112 242 A1 beschrieben, wie durch Beleuchtung unter verschiedenen Beleuchtungswinkeln, insbesondere verschiedenen Beleuchtungsrichtungen, Phasenkontrastbilder erzeugt werden können. Dabei können beispielsweise immer zwei Beleuchtungsrichtungen ein Paar geben und Intensitätsbilder (d. h. herkömmliche Bilder) aus zwei oder drei oder mehreren beliebigen Beleuchtungsrichtungen können kombiniert werden, wobei die Beleuchtungsrichtungen unterschiedliche Winkel mit der optischen Achse einschließen.
Zur Veranschaulichung sind in 4 die angewendeten Prinzipien nochmals schematisch dargestellt. Bei der vereinfachten schematischen Darstellung der 4 werden drei Bilder 41, 42 und 43 unter verschiedenen Beleuchtungswinkeln aufgenommen. Wie zu sehen ist, erscheinen verschiedene Teile des Objekts zueinander verschoben, insbesondere außerhalb eines Fokus liegende Teile, was an den unterschiedlichen Beleuchtungsrichtungen liegt.
Auf die Bilder werden verschiedene Operationen T1 bis T3 angewendet, wobei die auf einen jeweiligen Bildpunkt angewendete Verschiebung zum einen von der z-Koordinate und zum anderen von der Beleuchtungsrichtung abhängt, wie oben erläutert. Dies führt zu entsprechenden Bildern 44–46, bei welchen einander entsprechende Teile im Wesentlichen am gleichen Ort sind. Durch Kombination, beispielsweise Summierung, dieser Bilder kann dann ein Bild 47 mit erhöhter Schärfentiefe erzeugt werden, wobei gleichzeitig Bildfehler korrigiert werden können. Wie bereits erläutert kann die dargestellte Vorgehensweise auch miteinander verschoben oder verschachtelt durchgeführt werden, beispielsweise wie in dem obigen Pseudocode, wo nacheinander die Summen von Bildern, auf die Verschiebungsoperationen angewendet wurden, für verschiedene z-Koordinaten gebildet werden und jeweils die „schärfsten” Teile in das endgültige Bild übernommen werden. Bei anderen Ausführungsbeispielen können auch andere Metriken als dem obigen Pseudocode verwendet werden.
Zur Veranschaulichung der Wirkung der beschriebenen Verfahren und Vorrichtungen zeigt 5A ein Einzelbild, welches beispielsweise mit einem Beleuchtungswinkel aufgenommen wurde. 5B zeigt ein mit einem Verfahren gemäß einem Ausführungsbeispiel erzeugtes Ergebnisbild, bei welchem die Schärfentiefe erhöht wurde. Wie zu sehen ist, sind viele Strukturen deutlich schärfer als in dem Bild der 5A zu erkennen.
Die dargestellten Ausführungsbeispiele bieten verschiedene Vorteile gegenüber herkömmlichen Verfahren und Vorrichtungen zur Bildaufnahme mit erhöhter Schärfentiefe. Beispielsweise kann die Messung schneller sein als ein herkömmlicher z-Stapel, da keine mechanische Einstellung des Fokus möglich ist. Unter Umständen ist auch eine Zahl benötigter Messungen geringer als bei herkömmlichen Verfahren. Abhängig von der zur Verfügung stehenden Rechenleistung kann die Erstellung des Ergebnisbildes mit erhöhter Schärfentiefe schnell erfolgen.
Zudem können gleichzeitig wie bereits erläutert auch andere Bildfehler korrigiert werden, beispielsweise Defokus, Astigmatismus, Bildfeldwölbung und Farblängsfehler, wobei dies auch feldabhängig erfolgen kann.
Innerhalb der kohärenten Schärfentiefe der verwendeten Vorrichtung kann das Bild mit erhöhter Schärfentiefe ohne Auflösungsverlust (mit Einschränkungen, falls Bildfehler mit korrigiert werden) erfolgen. Wie bereits erläutert, können zudem die dargestellten Techniken zur Erzeugung eines Ergebnisbildes mit vergrößerter Schärfentiefe auf Phasenkontrastbilder, welche gleichzeitig digital erzeugt werden können, angewendet werden. Die Techniken sind auch offline durchführbar. Dies bedeutet beispielsweise, dass die Auswerteeinrichtung 20 der 1 auch separat von dem Rest der Vorrichtung bereitgestellt werden kann, solange ihr die Bilder entsprechend zugeführt werden. Gleichzeitig mit der Berechnung des Ergebnisbildes kann eine z-Karte erstellt werden, beispielsweise wie in dem oben diskutierten Pseudocode. Die dargestellten Verfahren und Vorrichtungen sind mit verschiedenen anderen Verfahren und Vorrichtungen auf einfache Weise kombinierbar.
Wenn ein höherer Schärfentiefenbereich als die kohärente Schärfentiefe der entsprechenden Vorrichtung benötigt wird, kann zusätzlich der Fokus verändert werden, wobei hier weniger Fokusänderungen notwendig sind als bei einem herkömmlichen z-Stapel.
Die oben diskutierten Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht einschränkend auszulegen.

Claims

Verfahren zur Bildaufnahme, umfassend: Aufnehmen einer Vielzahl von Bildern (41–43), wobei zur Aufnahme der Vielzahl von Bildern ein Objekt (2) unter zwischen den Bildern (41–43) unterschiedlichen Beleuchtungswinkeln (4) beleuchtet wird, und Verarbeiten der Vielzahl von Bildern (41–43), wobei das Verarbeiten umfasst: Anwenden von Operationen auf die Vielzahl von Bildern, und Kombinieren der Vielzahl von Bildern mit den darauf angewendeten Operationen, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erhalten, wobei das Anwenden von Operationen ein Anwenden einer Verschiebung auf Bildelemente der Bilder umfasst, wobei die Verschiebung von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts (2) in einer Richtung parallel zur optischen Achse (5) abhängt.
Verfahren nach Anspruch 1, wobei das Anwenden von Operationen ein Anwenden von Operationen für eine Vielzahl von Positionen in einer Richtung parallel zu einer optischen Achse und ein Auswählen von Bildteilen für das Ergebnisbild, für welche ein Schärfemaß eine größte Schärfe anzeigt, für das Ergebnisbild umfasst.
Verfahren nach Anspruch 2, wobei das Schärfemaß auf Basis einer lokalen Varianz bestimmt wird.
Verfahren nach einem der Ansprüche 1–3, wobei das Verarbeiten umfasst: Durchlaufen einer Schleife, in der ein Positionsparameter über einen gewünschten Positionsbereich parallel zu einer optischen Achse einer für die Bildaufnahme verwendeten Vorrichtung durchläuft, und für jeden Positionsparameter der Schleife: Bestimmen eines Zwischenbildes als Summe über die Vielzahl von Bildern, auf die als Operation jeweils eine von dem jeweiligen Positionsparameter und dem jeweiligen Beleuchtungswinkel angewendete Verschiebung angewendet wurde, Bilden eines lokalen Varianzwerts für jedes Bildelement des Zwischenbildes, und Aufnahme derjenigen Bildelemente des Zwischenbildes in das Ergebnisbild, bei welchem die lokale Varianz größer ist als eine lokale Varianz vorhergehender Schleifendurchläufe.
Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend Erstellen einer Höhenkarte auf Basis der Vielzahl von Bildern.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verarbeiten ein Stiching umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Verarbeiten ein Anwenden einer Bildkorrektur umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnisbild ein Phasenkontrastbild umfasst.
Vorrichtung zur Bildaufnahme, umfassend: eine Beleuchtungseinrichtung (11, 12), die ansteuerbar ist, eine Mehrzahl unterschiedlicher Beleuchtungswinkel (4) für eine Beleuchtung eines Objekts einzustellen, eine Bildaufnahmeeinrichtung (14, 15), welche eingerichtet ist, eine Vielzahl von Bildern (41–43) des Objekts aufzunehmen, wobei sich die Beleuchtungswinkel für verschiedene der Vielzahl von Bildern unterscheiden, und eine Auswerteeinrichtung (20) zur Verarbeitung der Vielzahl von Bildern, wobei die Auswerteeinrichtung (20) eingerichtet ist, auf jedes Bild der Vielzahl von Bildern (41–43) eine Operation anzuwenden und die Bilder mit den darauf angewendeten Operationen zu kombinieren, um ein Ergebnisbild mit erhöhter Schärfentiefe zu erzeugen, wobei das Anwenden von Operationen ein Anwenden einer Verschiebung auf Bildelemente der Bilder umfasst, wobei die Verschiebung von dem Beleuchtungswinkel des jeweiligen Bildes und von einer Position eines dem jeweiligen Bildelement entsprechenden Teil des Objekts (2) in einer Richtung parallel zur optischen Achse (5) abhängt.
Vorrichtung nach Anspruch 9, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1–8 eingerichtet ist.