DE102020123669A1

DE102020123669A1 - Verfahren zur SIM-Mikroskopie

Info

Publication number: DE102020123669A1
Application number: DE102020123669.7A
Authority: DE
Inventors: Ingo Kleppe; Yauheni Novikau; Ralf Netz
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-09-10
Filing date: 2020-09-10
Publication date: 2022-03-10
Also published as: US11867894B2; US20220075175A1

Abstract

Es wird beschrieben ein Verfahren zur SIM-Mikroskopie einer Probe (4), wobei das Verfahren aufweist Erzeugen (S1) von n Rohbildern (30) der Probe (4), jeweils durch Beleuchten der Probe (4) mit demselben SIM-Beleuchtungsmuster (15), allerdings für jedes Rohbild (30) individuell positioniert, wobei dem SIM-Beleuchtungsmuster (15) p Beugungsordnungen zugeordnet sind, und Erzeugen eines Bildes der Probe (4) aus den n Rohbildern, wobei eine Bildrekonstruktion unter Verwendung der Beugungsordnungen ausgeführt wird, wobei bei der Bildrekonstruktion t höchste Beugungsordnungen unterdrückt werden und n = p - t gilt.

Description

Die Erfindung bezieht sich auf ein Verfahren zur Bildauswertung für die SIM-Mikroskopie einer Probe sowie ein SIM-Mikroskopieverfahren, dass das entsprechende Bildauswertungsverfahren einsetzt.
Die sog. „Structured Illumination Microscopy“-Technik hat sich als mikroskopisches Bildgebungsverfahren etabliert. Sie geht wesentlich auf die Veröffentlichung [1] M. Neil et al.: „Method of obtaining optical sectioning by using structured light in a conventional microscope“, Optics Letters 22, 1905-1907 (1997), https://doi.org/10.1364/OL.22.001905, und [2] M. Gustafsson et al.: „Three-Dimensional Resolution Doubling in Wide-Field Fluorescence Microscopy by Structured Illumination“, Biophysical Journal 94, 4957-4970 (2008) zurück und sieht eine Beleuchtung der Probe mit einem SIM-Beleuchtungsmuster vor. Die Probe wird wiederholt abgebildet, wobei das Beleuchtungsmuster in verschiedene Positionen zur Probe gebracht wird und für jeden, der so realisierten Beleuchtungszustände ein sog. Rohbild erhalten wird. Diese Rohbilder werden dann in einem Bildverarbeitungsprozess zusammengefasst, um ein Bild der Probe zu erhalten, das hinsichtlich Auflösung, insbesondere hinsichtlich Tiefenauflösung, gegenüber einer normalen Weitfeldabbildung mit demselben Mikroskop verbessert ist.
SIM-Beleuchtungsmuster sind regelmäßig. Die individuell positionierten SIM-Beleuchtungsmuster unterscheiden sich also nicht in ihrer grundsätzlichen Struktur, die jeweils identisch ist, sondern in ihrer Relativlage zur Probe bei der Weitfeldabbildung. Oft wird das SIM-Beleuchtungsmuster aus einem Ausgangsstrahl durch ein Gitter erzeugt, welches den Ausgangsstrahl in mehrere Beugungsordnungen beugt, die als zueinander interferenzfähige Teilstrahlen in einer Beleuchtungspupille eines Beleuchtungsstrahlengangs angeordnet werden. Dann entsteht in der Probe das SIM-Beleuchtungsmuster als Interferenzmuster. Es enthält eine abzählbare Menge an diskreten räumlichen Beleuchtungsmusterfrequenzen, wobei die Anzahl sich aus den Kombinationsmöglichkeiten der Teilstrahlen ergibt (vgl. 2 in [2]). In diesem Zusammenhang ist es nicht unüblich, von Beugungsordnungen zu sprechen, wenn die diskreten, räumlichen Beleuchtungsmusterfrequenzen im Frequenzraum gemeint sind. Dennoch ist die Terminologie in der Fachliteratur leider nicht einheitlich. Der Begriff Beugungsordnung ist verständlich, wenn man die (allerdings nur optionale) Erzeugung des Beleuchtungsmusters durch Interferenz im Blick hat, da hierbei ein Beugungseffekt auftritt. Die räumlichen Beleuchtungsmusterfrequenzen entsprechen dann dem Betrag der konjugiert-komplexen Frequenzen von Beugungsordnungen.
Der Begriff Beugungsordnung hat jedoch nichts zu tun mit einer (ebenfalls optionalen) vorgelagerten Erzeugung der Teilstrahlen durch Beugung an einem Gitter.
Das per Interferenz erzeugte SIM-Beleuchtungsmuster liefert ohne weitere Maßnahmen gleich eine in 3D strukturierte Beleuchtung, da es ein Talbot-Muster ist. Es kann damit eine 3D-Abbildung der Probe realisiert werden.
Es werden mehrere Rohbilder bei individuell positionierten SIM-Beleuchtungsmustern aufgenommen. Die Rohbilder enthalten ein Moiré-Muster mit den höheren Frequenzen der Probeninformation. Für die SIM-Mikroskopietechnik ist folglich eine besondere Bildauswertung erforderlich, um aus dem Moiré-Muster der Rohbilder das Bild der Probe zu erhalten. Der Stand der Technik befasst sich vielfältig mit der Bildauswertung, die auf bereits bestehenden Rohbildern aufsetzt. Insbesondere sind folgende Publikationen zu nennen:

[3] R. Heintzmann und T. Huser: „Super-Resolution Structured Illumination Microscopy“, Chemical Reviews 117 (23), 13890-13908 (2017);
[4] F. Ströhl und C. Kaminski: „Frontiers in structured illumination microscopy“, Optica 3, 667-677 (2016);
[5] L. Schermelleh et al.: „Super-resolution microscopy demystified“, Nature Cell Biology 21, 72-84 (2019);
[6] R. Heintzmann: „Saturated patterned excitation microscopy with two-dimensional excitation patterns“, Micron 34 (6-7), 283-291 (2003);
[7] M. Schropp und R. Uhl: „Two-dimensional structured illumination microscopy, Journal of Microscopy 256, 23-36 (2014);
[8] E. Ingerman et al.: „Signal, noise and resolution in linear and nonlinear structured-illumination microscopy“, Journal of Microscopy 273, 3-25 (2019);
[9] Y. Guo et al.: „Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales“, Cell 175, 1430-1442;
[10] J. Frohn et al.: „True optical resolution beyond the Rayleigh limit achieved by standing wave illumination“, Proceedings of the National Academy of Sciences of the United States of America 97, 7232-7236 (2000);
[11] A. Siebenmorgen und Y. Novikau: „Introducing Lattice SIM for ZEISS Elyra 7 - Structured Illumination Microscopy with a3D Lattice for Live Cell Imaging“, https://asset-downloads.zeiss.com/catalogs/download/mic/39039cc1-1e0d-4fdc-81c9-9d3d28966c66/EN_WP_Introducing_Lattice_SIM_for_Elyra-7.pdf, (2018), 1-7;
[12] WO 2013/049646 A1 ;
[13] DE 102018009056 A1 ;
[14] Y. Zhang et al.: „Super-resolution algorithm based on Richardson-Lucy deconvolution for three-dimensional structured illumination microscopy“, J. Opt. Soc. Am. A36, 173-178 (2019);
[15] V. Perez et al.: „Optimal 2D-SIM reconstruction by two filtering steps with Richardson-Lucy deconvolution“, Sci Rep 6, 37149 (2016);
[16] S. Sahl et al.: „Comment on ‚Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics"‘, Science (80), 352, 527 (2016);
[17] D. Li und E. Betzig: „Response to Comment on ‚Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics'“, Science (80), 352, 527 (2016);
[18] L. Jin et al.: „Deep learning enables structured illumination microscopy with low light levels and enhanced speed“, Nature Communications, 11(1), 1934;
[19] J. Cnossen et al.: „Localization microscopy at doubled precision with patterned illumination“. Nature Methods, 17(1), 59-63, 2020;
[20] D. Li et al.: „Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics“, Science, 349(6251), 2015;
[21] S. Bv (2010): „Huygens Professional User Guide“, Im, 1-134, papers3://publication/uuid/7CCF1B64-BB04-41AE-B226-346E8D0F0CC9;
[22] N. Chakrova et al.: „Deconvolution methods for structured illumination microscopy“, Journal of the Optical Society of America A, 33(7), B12 (2016);
[23] F. Ströhl et al.: „A joint Richardson-Lucy deconvolution algorithm for the reconstruction of multifocal structured illumination microscopy data“, Methods and Applications in Fluorescence, 3(1), https://doi.org/10.1088/2050-6120/3/1/014002, (2015);
[24] J. Pospíšil et al.: „Imaging tissues and cells beyond the diffraction limit with structured illumination microscopy and Bayesian image reconstruction“, GigaScience, 8(1), 1-12, https://doi.org/10.1093/gigascience/giy126, (2018);
[25] I. J. Cox et al.: „Information capacity and resolution in an optical system“, J. Opt. Soc. Am. A3, 1152-1158.

Klassischerweise (vgl. [2]) werden folgende Schritte Nr. 1 bis 5 zur Bildauswertung der Rohbilder algorithmisch durchgeführt:

1. Extrahieren der Frequenzbereiche, die Probeninformation tragen. Dazu wird das in den Rohbildern vorhandene Moiré-Muster durch Lösen eines linearen Gleichungssystems im Frequenzraum dekodiert.
2. Bestimmen von Phasenlage und räumlichen Beleuchtungsmusterfrequenzen aus den Rohbildern, um Verrechnungsartefakte zu minimieren.
3. Frequenzfilter zur Unterdrückung von räumlichen Beleuchtungsmusterfrequenzen und insbesondere von teilweisem starkem und niederfrequentem Hintergrund, der durch eine Verschiebung zu höheren Frequenzen gelangt und dort zu Artefakten in der Probe führt.
4. Verschieben der im ersten Schritt extrahierten Bereiche an die entsprechenden Stellen im Frequenzraum, um das Hochauflösungsbild zusammensetzen zu können. Dies geschieht durch:
5. Kombination der Bereiche in einem gemeinsamen Schritt der folgendes beinhaltet:
1. a. Gewichtete Summation mit
  1. i. Gewichten der Beleuchtung, die aus unterschiedlichen Beleuchtungsintensitäten der einzelnen Beleuchtungsmusterfrequenzen herrührt und
  2. ii. Gewichten abgeleitet aus der optischen Transferfunktion (OTF),
2. b. Einsatz eines generalisierten Wiener-Filters, um das Zusammensetzen insbesondere an den inneren Rändern der Frequenzbänder zu glätten,
3. c. Verwenden einer Apodisierungsfunktion, um Ringing-Artefakte, die der Wiener-Filter produziert, zu unterdrücken.

Die Apodisierungsfunktion ist üblicherweise empirisch einstellbar, um die Bildauswertung bei der Rekonstruktion zu verbessern und Artefakte zu vermeiden. Daher ist die SIM-Bildauswertung maßgeblich auch von der verwendeten Apodisierungsfunktion abhängig und die Interpretation der Bilder teilweise sehr umstritten (siehe z. B. [16], [17]).
Neben dieser klassischen Rekonstruktionsmethode und Untervarianten davon, sind in den letzten Jahren noch weitere, zum Teil auch fundamental andersartige Methoden zu Rekonstruktion von SIM-Rohbildern publiziert worden ([14], [15], [22] - [24]). Sie ersetzen den in Nr. 5b eingesetzten Wiener-Filter durch iterative Entfaltungen, um Artefakte zu minimieren. Vorgeschlagen wurden Richardson-Lucy-Iterationsverfahren und Maximum-Likelihood-Schätzverfahren.
Ein anderes, ebenfalls völlig anderes Rekonstruktionsverfahren bedient sich der Verwendung neuronaler Netze mit sogenanntem Deep Learning (vgl. [18]). Dieses Verfahren ist jedoch im Grunde eine Interpretation der gemessenen Daten ist, die sich aus „Erfahrungen“, die das Netz mit den Trainingsdatensätzen, also bereits interpretierten Datensätzen, gemacht hat, speist. Für eine wissenschaftliche Messung ist das kaum möglich, da ein bereits interpretierter Datensatz meist nicht zur Verfügung steht oder die Übertragbarkeit auf andere Messungen fraglich ist.
Die SIM-Technik benötigt zur Rekonstruktion des hochaufgelösten Bildes eine bestimmte Anzahl an Rohbildern. Jedes Rohbild entspricht einer individuellen Positionierung des SIM-Beleuchtungsmusters. Soweit nachfolgend von der Anzahl an Rohbildern gesprochen wird, gilt das deshalb automatisch auch für die Anzahl an individuellen Positionierungen des SIM-Beleuchtungsmusters - und umgekehrt.
Üblicherweise werden bei Beleuchtung mit einem Streifenmuster zur Rekonstruktion eines hochaufgelösten Bildes fünf Positionierungen in Form von Verschiebestellungen benötigt [2]. Die Auflösung ist dadurch quer zur Streifenrichtung erhöht. Nach dem Stand der Technik benötigt man dazu mindestens so viele Verschiebestellungen und damit Rohbilder nötig, wie dem Beleuchtungsmuster Beugungsordnungen zugrunde liegen, die im Fourier-Raum separiert werden müssen (Gustafsson et al. [2]). Um eine isotrope Auflösungserhöhung zu erreichen, werden zusätzlich die fünf Verschiebestellungen mit drei Ausrichtungen des Streifenmusters kombiniert; es erfolgen also 15 Aufnahmen.
Die Regel, dass die Anzahl der Beugungsordnungen die Anzahl der Verschiebestellungen für das SIM-Beleuchtungsmuster vorgibt, gilt auch bei Verwendung mehrdimensionaler, sog. Multispot-SIM-Beleuchtungsmuster. Allerdings benötigt man hier keine Rotationen des Multispot-SIM-Beleuchtungsmusters mehr. Die Anzahl der Beugungsordnungen ist dagegen höher, nämlich mindestens 13. Man braucht also 13 Verschiebestellungen und Rohbilder. Das Multispot-SIM-Beleuchtungsmuster lässt sich auf den 2D-Fall reduzieren (als 2D-SIM bezeichnet), z.B. durch Blocken der 0. Beugungsordnung im Beleuchtungsstrahlengang, was zum Verlust der Modulation in axialer Richtung und damit zur Reduktion von 3D auf 2D führt. Die Anzahl der benötigten Rohbilder ist dann neun, da die Anzahl der zu separierenden Ordnungen im Beleuchtungsmuster reduziert wird. Gleiches gilt auch für die Kombination von TIRF-Mikroskopie mit 2D-SIM. Die 0. Beugungsordnung ist auch dort nicht vorhanden, nämlich aufgrund der TIRF-Beleuchtung. Ebenfalls mit TIRF-Beleuchtung arbeitet die 2D-SIM Variante GI-SIM. GI steht für grazing incidence und drückt aus, dass der Einfallswinkel des Beleuchtungslichtes am Deckglas so eingestellt wird, dass die TIRF-Bedingung gerade noch erfüllt ist und zugleich die beleuchtete Schicht am Deckglas verbreitert ist, z.B. auf 1 µm anstatt 100 nm wie beim „klassischen“ TIRF.
Heintzmann [6] analysiert die Anzahl der notwendigen Rohbilder und ermittelt eine Optimierung der minimalen Anzahl an Rohbildern, die notwendig ist, um unter Berücksichtigung aller Beugungsordnungen auf Basis der Rohbilder das hochaufgelöste Bild zu ermitteln. Er schlägt dabei vor, Redundanzen so zu verringern, dass die Zahl an Rohbildern minimal wird, die für eine Rekonstruktion auf Basis aller Beugungsordnungen erforderlich ist.
Eine Variante zur möglichen Reduktion der Anzahl aufzunehmender Bilder bei der Aufnahme von 3D-Bild-Stapeln ist in [13] offenbart. Hierbei geht es nicht um die Verschiebestellungen und Ausrichtungen der Rohbilder, sondern um die Aufnahme eines z-Stapels, und die Anzahl der z-Positionen zur Aufnahme des Bild-Stapels wird minimiert. Die Reduktion der Anzahl ergibt sich durch die Verwendung von größeren z-Schrittweiten, was durch eine Redundanz von z-Bildinformationen in den einzelnen Rohbildern mit unterschiedlicher z-Position gewährleistet wird.
Die Anzahl der nötigen Rohbilder limitiert die Aufnahmerate. Mehr Rohbilder benötigen mehr Zeit. Die Anzahl der nötigen Rohbilder verringert zudem die Zahl an möglichen hochaufgelösten Bildern einer biologischen Probe, also die möglichen Wiederholungen des Mikroskopieprozesses, da jede Belichtung Fotoschädigungen erzeugt und somit die Gesamtzahl an Belichtungen begrenzt ist, bis die Probe störend geschädigt ist.
Der Erfindung liegt deshalb die Aufgabe zu Grunde, bei der SIM-Mikroskopie die Anzahl der nötigen Rohbilder zu reduzieren.
Die Erfindung ist in den unabhängigen Ansprüchen definiert. Die abhängigen Ansprüche betreffen bevorzugte Ausgestaltungen.
Die Erfindung gibt ein Verfahren zur SIM-Mikroskopie einer Probe an. Das Verfahren weist den Schritt des Erzeugens von n Rohbildern der Probe auf. Jedes Rohbild wird durch Beleuchten der Probe mit demselben SIM-Beleuchtungsmuster erzeugt. Allerdings ist das SIM-Beleuchtungsmuster für jedes Rohbild individuell positioniert, und zwar verschoben. Somit wird mit demselben (Grund-)Beleuchtungsmuster in unterschiedlichen Verschiebepositionen jeweils ein Rohbild aufgenommen. Es gibt folglich n verschiedene Stellungen desselben SIM-Beleuchtungsmusters. Eine Rotation kann noch hinzukommen, bleibt aber in der Angabe n hier außer Betracht. Dem SIM-Beleuchtungsmuster sind p Beugungsordnungen zugeordnet. In einem anschließenden Schritt wird ein Bild der Probe aus den n Rohbildern durchgeführt, wobei eine Bildrekonstruktion unter Verwendung der Beugungsordnungen ausgeführt wird. Zur Bildrekonstruktion werden nun jedoch nicht alle vorhandenen Beugungsordnungen verwendet. Im Verfahren werden t höchste Beugungsordnungen unterdrückt. Es gilt weiter n = p - t, d.h. die nicht verwendeten oder unterdrückten t höchsten Beugungsordnungen führen dazu, dass um genau diese Menge weniger Rohbilder aufgenommen werden müssen, als dem SIM-Beleuchtungsmuster Beugungsordnungen zugrunde liegen. Durch den Verzicht auf die t höchsten Beugungsordnungen bei der Bildrekonstruktion durch Unterdrückung kommt das Verfahren damit mit einer geringeren Anzahl an Rohbildern aus, als im Stand der Technik nötig. Die Reduktion der Anzahl an Rohbildern entspricht der Anzahl an unterdrückten höchsten Beugungsordnungen.
Der Begriff „höchste Beugungsordnung“ ist dabei nicht auf die Ordnungszahl (0., 1. oder 2. etc.) der Beugungsordnungen bezogen, sondern auf die Frequenzen der Beugungsordnungen. Dies wird in der nachfolgenden Figurenbeschreibung noch näher erläutert.
Die Beugungsordnungen entsprechen räumlichen Frequenzen des Beleuchtungsmusters. Die räumlichen Frequenzen des Beleuchtungsmusters dienen in der SIM-Mikroskopie signaltechnisch gesehen als Trägerfrequenzen, auf welche die SIM-Mikroskopie das Frequenzspektrum, welches die Probeninformation darstellt, aufmoduliert. Dadurch kann die SIM-Technik ein Frequenzspektrum der Probe (und letztlich eine Auflösung) durch die Optik abbilden, das eigentlich außerhalb des von der Optik übertragbaren Bereichs liegt. Dieses Frequenzspektrum wird mit dem Verfahren zur Bildrekonstruktion von den mehreren Trägerfrequenzen wieder absepariert.
Der Begriff, dass Beugungsordnungen unterdrückt werden, umfasst, dass die Beugungsordnungen bewusst geschwächt werden, beispielsweise durch eine Filterung. Er umfasst aber auch, dass die Bildrekonstruktion so ausgeführt wird, als wären diese Beugungsordnungen gar nicht vorhanden. Auch dann werden sie in der Bildrekonstruktion unterdrückt, da ihr Informationsgehalt bzw. ihre Wirkung als Trägerfrequenz nicht zum Tragen kommt. Mit anderen Worten, das Verfahren verzichtet auf den Beitrag der t höchsten Beugungsordnungen bei der Bildrekonstruktion.
Im Verfahren findet eine Reduktion der zu separierenden Ordnungen im Frequenzraum, üblicherweise auch als Fourier-Raum bezeichnet, statt. Es sei jedoch betont, dass die Beugungsordnungen und damit die eigentlich zu separierenden Ordnungen im SIM-Beleuchtungsmuster, mit dem die Probe zur Aufnahme der Rohbilder beleuchtet wurde, in den Rohbildern durchaus vorhanden sind. Die Anzahl der Rohbilder ist jedoch um die bei der Bildrekonstruktion unterdrückten Beugungsordnungen reduziert, so dass insgesamt weniger Rohbilder nötig sind.
Die Unterdrückung kann grundsätzlich auf zwei Arten erfolgen:

1. Die höchsten Beugungsordnungen werden bei der Bildrekonstruktion unterdrückt, z.B. durch Filterung.
2. Es wird eine Extrapolation bzw. ein Näherungsverfahren durchgeführt oder es werden nichtlineare iterative Verfahren eingesetzt, die wie nachfolgend noch erläutert werden, um die höchsten Beugungsordnungen nicht zur Bildrekonstruktion zu verwenden.

Der Verzicht auf den Beitrag der höchsten Beugungsordnungen ist deshalb sehr einfach möglich, da diese Beugungsordnungen zwar hohen Modulationsfrequenzen entsprechen, die nach der Interaktion mit der Probe Probenspektrum tragen, jedoch, wie die Erfinder erkannten, mit überraschend wenig Verlust bei Bildreduktion unterdrückt werden können, da sie aufgrund der schwachen Intensität nur geringfügigen Beitrag leisten.
Dies kann verstärkt werden, indem die t höchsten Beugungsordnungen bei der optischen Erzeugung des SIM-Beleuchtungsmusters in ihrer Intensität geschwächt werden. Eine besonders einfache Realisierung hierfür besteht darin, dass zum Bereitstellen des SIM-Beleuchtungsmusters in einer Beleuchtungsobjektivpupille ein Muster aus Beleuchtungslichtpunkten erzeugt wird. Zur Schwächung der t höchsten Beugungsordnungen wird dafür gesorgt, dass die am zentrumfernsten liegenden Lichtpunkte auf mindestens 80 % des Durchmessers der Beleuchtungsobjektivpupille liegen. Hierdurch wird die Intensität der höchsten Beugungsordnungen merklich reduziert. Sie liegen damit im Frequenzraum bei mindestens 80 % der höchsten Beleuchtungsfrequenz, decken also einen sehr hochfrequenten Bereich der Trägerfrequenzen ab.
Bevorzugt liegen die zentrumfernsten Lichtpunkte im Bereich von 90 % bis 95 % des Durchmessers. Weiter bevorzugt ist ein Bereich von 80 % bis 85 %, besonders bevorzugt ein Bereich von 85 % bis 90 %. Diese Bereiche sind deshalb so gewählt, da jenseits der 95 % zum einen die generelle Übertragung einbricht. Dies gilt insbesondere mit Signalstärken, die für biologische lebende Proben eingesetzt werden. Zum anderen spielt durch die zentrumferne Einkopplung und die entsprechenden hohen Winkel, mit denen die Strahlung dann in die Probe fokussiert wird, bei Objektiven mit hoher NA die Polarisation eine zunehmende Rolle und der Modulationskontrast der Strukturierung nimmt ab. Die oben präferierte Reihenfolge der Bereiche ergibt eine optimale Abwägung dieser Effekte.
Die Unterdrückung der t höchsten Beugungsordnungen kann bevorzugt durch einen Filterungsschritt im Frequenzraum erfolgen.
Die Unterdrückung ist rechentechnisch einfach möglich, wenn ein iteratives Richardson-Lucy-Iterationsverfahren verwendet wird und in dessen Simulationsteil bei der Erzeugung der simulierten Rohbilder die t höchsten Beugungsordnungen nicht verwendet werden, indem deren Terme weggelassen werden. Damit wird der durch die höchsten Beugungsordnungen bewirkte Teil des Moiré-Musters, welcher in den aufgenommenen Rohbildern durchaus enthalten ist, im Ergebnis dem Probenspektrum oder dem Hintergrundrauschen zugeordnet. Aufgrund des geringen Beitrags, den die höchsten Beugungsordnungen liefern, ist dadurch kein unzulässiger Fehler verursacht. Dies gilt ganz besonders, wenn durch die zuvor genannten Maßnahmen die Intensität der höchsten Beugungsordnungen geschwächt wird. Etwaige Artefakte, die entstehen könnten, werden optional dann noch zusätzlich gemindert, indem in der Iterationsschleife nach dem Simulationsteil ein Filterungsschritt ausgeführt wird, der die höchsten Beugungsordnungen zusätzlich schwächt oder unterdrückt. Dieser Filterungsschritt wird dann im Frequenzraum ausgeführt. Diese Filterung kann alternativ auch zum Unterdrücken der Beugungsordnungen im Simulationsteil eingesetzt werden. Die Simulation erfolgt dann mit allen Beugungsordnungen, die im SIM-Beleuchtungsmuster vorhanden sind, jedoch natürlich wieder nur für n Rohbilder. Die Filterung nach dem Simulationsteil, d.h. nach dem Vergleich von simulierten Rohbildern und aufgenommenen Rohbildern, unterdrückt dann die Beugungsordnungen. Sie sind im Frequenzraum zur Filterung gut zugänglich.
Die Unterdrückung der höchsten Beugungsordnungen ist auch bei der klassischen Rekonstruktion, beispielsweise wie von Gustafsson et al. [2] beschrieben, möglich. Hier gibt es Alternativen. In einer ersten Variante wird im Schritt Nr. 1 der klassischen Rekonstruktion (siehe oben) ein Gleichungssystem zum Extrahieren der Informationen, die im Moiré-Muster enthalten sind, aufgestellt, welches nur n Gleichungen enthält. Die t = p - n höchsten Beugungsordnungen werden dadurch automatisch nicht berücksichtigt. Dieses Gleichungssystem lässt sich aufgrund der vorhandenen n aufgenommenen Rohbilder lösen. In der zweiten Alternative wird das Gleichungssystem mit p Gleichungen aufgestellt. Es ist aufgrund der zur Verfügung stehenden n = p - t Rohbilder unterbestimmt. Dieses Gleichungssystem wird dann mit einem Näherungsverfahren oder einem Extrapolationsverfahren gelöst, das auf Basis der n Rohbilder aus den (n + t) Gleichungen eine Lösung ermittelt. Hierzu kommen bekannte Werkzeuge in Frage, wie sie dem Fachmann z.B. aus dem Lehrbuch S. Boyd, L. Vandenberghe, „Introduction to applied linear algebra“, Kapitel 11, S. 216, ISBN 978-1-31651-896-0, Cambridge University Press, 2018, https://doi.org/10.1017/9781108583664 bekannt sind. Ein Beispiel ist eine Singulärwertzerlegung. Ein anderes Beispiel ist ein nichtlineares iteratives Verfahren. In beiden Fällen ist es bevorzugt, als Randbedingungen Ähnlichkeiten der durch dasselbe Objekt modulierten Beleuchtungsfrequenzen und/oder Stetigkeit und/oder Positivität des gesuchten Objektspektrums heranzuziehen, um den Lösungsraum zu beschränken und die Extrapolation bzw. das Näherungsverfahren auszuführen.
Das SIM-Mikroskopieverfahren, welches die höchsten Beugungsordnungen unterdrückt, reduziert die Anzahl der nötigen Rohbilder auf n Verschiebestellungen. Mit Streifenmusterbeleuchtung werden damit wegen der für eine isotrope Auflösung erforderlichen drei Rotationen 3·n Rohbilder aufgenommen. Bei einer Reduktion um die zwei höchsten Beugungsordnungen benötigt man damit insgesamt neun Rohbilder. Bei einem Multipunkt-SIM-Beleuchtungsmuster, das statt fünf 13 Beugungsordnungen enthält, reduziert die Erfindung die Zahl der Rohbilder auf neun, wenn die vier höchsten Beugungsordnungen außer Betracht bleiben, also unterdrückt werden. Eine Rotation des Multipunkt-SIM-Beleuchtungsmusters ist hierbei nicht nötig, so dass insgesamt die Zahl an Rohbildern dieselbe ist, wie im Fall des streifenförmigen Beleuchtungsmusters.
Besonders bevorzugt ist für das hier vorgestellte SIM-Mikroskopieverfahren eine Kombination mit den Merkmalen gemäß DE 102018009056 A1 (entsprechend Literaturstelle [13]), da dann ein z-Stapel hochaufgelöster Bilder erhalten wird, ohne dass gegenüber der herkömmlichen Mikroskopie eine höhere Anzahl an Rohbildern erforderlich wäre. Man erhält somit die Tiefenauflösung und die verbesserte laterale Auflösung hinsichtlich der Anzahl an Rohbildern quasi „umsonst“.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:

1 ein Blockschaltbild einer Ausführungsform eines Verfahrens zur SIM-Mikroskopie;
2 ein Mikroskop, das zur Erzeugung von Rohbildern, die im Verfahren gemäß 1 ausgewertet werden, verwendet werden kann,
3A eine Schemadarstellung einer Beleuchtungseinrichtung des Mikroskops der 2,
3B eine Schemadarstellung von Lichtpunkten in einer Beleuchtungspupille zum Erzeugen eines aus Multispots aufgebauten SIM-Beleuchtungsmusters,
3C Beleuchtungsintensitäten im Fourier-Raum erhalten mit den Lichtpunkten gemäß 3B,
3D eine Darstellung der Beleuchtungsintensitäten im Fourier-Raum, die bei der Bildrekonstruktion verwendet werden,
4 eine Schemadarstellung einer Vorrichtung zur Bildauswertung und
5 eine Schemadarstellung zur Veranschaulichung eines Iterationsverfahrens, das im Verfahren zur Bildauswertung gemäß 1 zur Anwendung kommt.

1 zeigt als Blockschaltbild ein Verfahren zur Bildauswertung von Rohbildern, wie sie beispielsweise bei der SIM-Mikroskopie anfallen. Das Verfahren umfasst im Wesentlichen drei Schritte S1-S3, wovon der Schritt S2 ein Schritt ist, in dem mittels eines Iterationsverfahrens ein hochaufgelöstes Bild erzeugt wird.
Im Schritt S1 wird die Probe mehrfach abgebildet, wobei sie mit einem Beleuchtungsmuster beleuchtet wird, wie in der SIM-Technik bekannt. Die Rohbilder unterscheiden sich hinsichtlich der Verschiebestellung und/oder Ausrichtung des Beleuchtungsmusters, wie ebenfalls üblich für SIM-Mikroskopie. Entsprechend der Anzahl an Positionierungen des Beleuchtungsmusters entsteht eine gleich große Anzahl an Rohbildern, jeweils durch Abbildung der Probe mittels einer Punktbildverwaschungsfunktion (PSF). Somit liegen am Ende des Schrittes S1 n Rohbilder vor, wie sie typischerweise bei der SIM-Mikroskopie anfallen. Jedes der Rohbilder ist ein Abbild ein und derselben Probe, die mit dem Beleuchtungsmuster beleuchtet ist. Die Rohbilder unterscheiden sich dahingehend, wie das Beleuchtungsmuster individuell positioniert ist. Die individuelle Positionierung wird jeweils durch eine Beleuchtungsmusterfunktion angegeben, welche die individuelle Lage und/oder Ausrichtung des Beleuchtungsmusters definiert oder wiedergibt. Die Angabe n bezieht sich dabei auf die Zahl der Verschiebestellungen des Beleuchtungsmusters.
Das Beleuchtungsmuster weist Beleuchtungsmusterfrequenzen auf, die z.B. von einer Erzeugung des Beleuchtungsmusters durch Interferenz stammen. Bezieht man sich auf diese Art der Erzeugung, können die Beleuchtungsmusterfrequenzen auch als p Beugungsordnungen verstanden werden. Diese Interpretation ist üblich und sinnvoll, selbst wenn die Erzeugung anderweitig stattfand. Die Frequenzen der p Beugungsordnungen entsprechen räumlichen Beleuchtungsmusterfrequenzen, allerdings unter der Berücksichtigung, dass im Frequenzraum die Beugungsordnungen konjugiert-komplexe Größen sind. Es gibt also oberhalb der Grundfrequenz, die ein Gleichtaktanteil ist, für jede der im Ortsraum definierten Beleuchtungsmusterfrequenzen immer Paare von zwei betragsgleichen Beugungsordnungen im Frequenzraum. Dies ist in 2 der Publikation [2] anschaulich dargestellt.
Die nachfolgende Betrachtung beschränkt sich dabei der Einfachheit halber auf den eindimensionalen Fall, also die Erzeugung der Rohbilder als reine Phasenbilder, d.h. in einer festen Drehstellung des Streifenmusters. Die Auflösung ist dann quer zur Streifenrichtung erhöht. Eine isotrope Erhöhung kann, wie dem Fachmann bekannt ist, durch die Verwendung von beispielsweise drei Rotationsstellungen pro Verschiebestellung erreicht werden. Die Bildrekonstruktion bzw. -auswertung der Rohbilder ist zwar dann rechnerisch aufwendiger, folgt aber völlig den hier für den eindimensionalen Fall geschilderten Prinzipien.
Jedem der n Rohbilder ist genau eine der n Beleuchtungsmusterfunktionen zugeordnet, welche die Verschiebung z.B. als Phase angeben. Deshalb werden die Rohbilder auch als Phasenbilder bezeichnet, wenn man betonen möchte, dass die Unterschiede in der Verschiebung, nicht aber in einer Drehstellung liegen. Mit den in Schritt S1 erzeugten n Rohbildern (also Phasenbildern), den n Beleuchtungsmusterfunktionen und der PSF wird nun im Schritt S2 ein Iterationsverfahren, umfassend Schritte S2a, S2b, S2c, S2d und S2e, ausgeführt. Das Iterationsverfahren ist im vorliegenden Ausführungsbespiel eine Bildbearbeitung, die eine Richardson-Lucy-Iteration durchführt. Dazu wird in einem Iterationsschritt S2a zuerst ein geschätztes Bild der Probe bereitgestellt oder erzeugt. Dieses geschätzte Bild der Probe wird im Iterationsverfahren fortwährend verbessert und stellt am Ende das Bild der Probe dar. Für einen ersten Durchlauf durch die Iterationsschleife S2a-S2e kann in S2a ein einheitliches Graubild bereitgestellt werden.
Anschließend wird in einem Iterationsschritt S2b unter Verwendung der PSF und der n Beleuchtungsmusterfunktionen eine Simulation durchgeführt, welche n simulierte Rohbilder erzeugt. Die Zahl der Rohbilder entspricht der Zahl der Beleuchtungsmusterfunktionen, d.h. der Zahl der individuellen Verschiebestellungen, die das Beleuchtungsmuster in den bereitgestellten n Rohbildern hatte, da jede Beleuchtungsmusterfunktion genau eine der verwendeten Verschiebestellungen - im Sinne von Phasen der Lage des Beleuchtungsmusters - beschreibt. Die Anzahl ist aber (s.u.) kleiner als die Anzahl p an Beugungsordnungen im SIM-Beleuchtungsmuster. Die t höchsten Beugungsordnungen, die in den Beleuchtungsmusterfunktionen vorhanden sind, werden in der Simulation nicht verwertet. Dazu werden die entsprechenden Terme der Funktion in der Simulationsrechnung einfach weggelassen, so dass die höchsten Beugungsordnungen unterdrückt werden. In diesem Fall ist es besonders bevorzugt, zusätzlich die nachfolgend im Hinblick auf einen Teilschritt S2d1 erläuterte Filterung durchzuführen, da die aufgenommenen Rohbilder ja die höheren Beugungsordnungen durchaus enthalten.
Alternativ werden die höchsten Beugungsordnungen bei der Simulation verwertet und die entsprechenden Terme der Beleuchtungsmusterfunktion im Fourier-Raum nicht weggelassen. Dann ist die Filterung des Teilschrittes S2d1 obligatorisch.
Werden die Terme der höchsten Beugungsordnungen bei der Simulation nicht verwendet, sind diejenigen Anteile in den aufgenommenen Rohbildern, welche aufgrund der Beleuchtung mit den tatsächlich ja im Beleuchtungsmuster vorhandenen höchsten Beugungsordnungen erzeugt wurden, in der Bildrekonstruktion nicht berücksichtigt. Sie wirken sich damit so aus, als wären sie Bestandteil der Probeninformation oder Hintergrundrauschen. Dies wird durch die Filterung gemäß Teilschritt S2d1 korrigiert. Sie kann dabei insbesondere auch als Hochpassfilterung ausgeführt werden, da die höchsten Beugungsordnungen besonders hohe Frequenzanteile enthalten.
In einem Schritt S2c werden die simulierten Rohbilder den bereitgestellten Rohbildern 1:1 zugeordnet, wobei die Zuordnung anhand der Beleuchtungsmusterfunktionen erfolgt. Es wird also jedes der n simulierten Rohbilder genau demjenigen der aufgenommenen n Rohbilder zugeordnet, das dieselbe Verschiebestellung hat. Auf diese Weise entstehen n Paare von simulierten und aufgenommenen Rohbildern, wobei jedes Paar auf Basis derselben Beleuchtungsmusterfunktion erzeugt wurde - das bereitgestellte Rohbild in der tatsächlichen, das aufgenommene Rohbild in der simulierten Abbildung. Nach dieser Zuordnung wird im Schritt S2c ein Vergleich innerhalb der Paare, d.h. jeweils zwischen zugeordnetem simuliertem Rohbilder und aufgenommenem Rohbilder gezogen. Dieser Vergleich kann beispielsweise eine Verhältnisbildung sein, so dass für jedes Pixel des aufgenommenen Rohbildes und des zugehörigen simulierten Rohbildes (selbstverständlich erfolgt die Simulation der Rohbilder auf Basis einer kompatiblen Pixelbasis zu den Pixeln des Bildaufnahmeprozesses, idealerweise ist die Pixelbasis identisch) das Intensitätsverhältnis gebildet wird. Auf diese Weise werden am Ende des Schrittes S2c Korrektur-Rohbilder erhalten - für jede der Beleuchtungsmusterfunktionen ein Korrektur-Rohbild. Jedes Korrektur-Rohbild gibt die Abweichung zwischen simuliertem Rohbild und aufgenommenem Rohbild für die jeweilige Phasenlage des Beleuchtungsmusters an.
In einem Schritt S2d wird das Bild der Probe aus den Korrektur-Rohbildern rekonstruiert. Dabei wird in dem Teilschritt S2d1 eine Filterung durchgeführt, die Signalanteile, welche den t höchsten Beugungsordnungen des Beleuchtungsmusters entsprechen, zusätzlich schwächt oder unterdrückt. Bevorzugt wird in Ausführungsformen eine Gauß'sche Kerbfilterung ausgeführt. Für t gilt dabei t = p - n. Diese Filterung kann ergänzend oder ersetzend ausgeführt werden, wie zur Simulation bereits erläutert.
Als Ergebnis der Rekonstruktion des Schrittes S2d steht ein Korrektur-Bild, das die Abweichung zwischen dem geschätzten Bild aus Schritt S2a wiedergibt. Mit dem Korrektur-Bild wird deshalb das geschätzte Bild aktualisiert und dann dieses aktualisierte geschätzte Bild im nächsten Iterationsdurchlauf im Schritt S2a verwendet.
Bei den einzelnen Iterationsdurchläufen kann hinsichtlich der Verwertung der höchsten Beugungsordnungen in der Simulation und der Filterung im Teilschritt S2d1 variiert werden. Es ist also beispielsweise möglich, in einem ersten Durchlauf die höchsten Beugungsordnungen in der Simulation nicht zu verwerten und die Filterung im Teilschritt S2d1 beispielsweise nicht auszuführen und bei einem zweiten Durchlauf die höchsten Beugungsordnungen zu verwerten und hingegen die Filterung im Teilschritt S2d1 auszuführen.
Das Iterationsverfahren des Schrittes S2 wird nach verschiedenen Kriterien abgebrochen. Mögliche Kriterien sind das Erreichen einer maximalen Anzahl an Iterationsdurchläufen oder das Unterschreiten einer Korrekturschwelle im Korrektur-Bild im Schritt S2e, d.h., wenn die für die nächste Iteration vorzunehmende Aktualisierung eine Mindestschwelle unterschreitet. Letzteres ist ein Anzeichen, dass das Iterationsverfahren ausreichend konvergierte.
Als Ergebnis wird im Schritt S3 das letzterhaltene geschätzte Bild, das dann nicht mehr zum Iterationsdurchlauf verwendet wird, da das Iterationsverfahren beendet wurde, ausgegeben. Es stellt ein hochaufgelöstes Bild der Probe dar, das erhalten wurde, obwohl die Zahl an Rohbildern geringer ist, als die Zahl an Beugungsordnungen im Beleuchtungsmuster.
Die bislang gegebene Schilderung darf nicht dahingehend falsch verstanden werden, dass erst nach der Bildauswertung der Wert für n bekannt wäre. Er steht vielmehr nach der Auslegung des Systems fest, da der anzuwendende Bildauswertungsalgorithmus bereits vor der Erzeugung der Rohbilder feststeht. Damit steht auch t fest. Gleichermaßen liegt aufgrund der Art der Bereitstellung des SIM-Beleuchtungsmusters die Zahl der Beugungsordnungen p fest. Somit ist auch der Wert für n vor der Durchführung der Mikroskopie bekannt. Der Zusammenhang n = p - t soll vielmehr veranschaulichen, wie die entsprechenden Werte miteinander im Zusammenhang stehen.
Anstelle des mit Bezug auf 1 beschriebenen Richardson-Lucy-Iterationsverfahrens kann gleichermaßen auch eine Entfaltung unter Verwendung eines Wiener-Filters verwendet werden, wie sie beispielsweise in [2] beschrieben ist und oben bereits mit den Schritten Nr. 1 bis Nr. 5 zur Bildauswertung der Rohbilder erwähnt wurde. Hier wird dann der Schritt Nr. 1 modifiziert. Die Rohbilder stellen ein Moiré-Muster dar, das sowohl die Frequenzen aufgrund der Beugungsordnungen des Beleuchtungsmusters (vorstehend auch als Trägerfrequenzen bezeichnet) als auch die darauf aufmodulierte Probeninformation enthalten. Die im Moiré-Muster enthaltenen Frequenzen werden im Schritt Nr. 1 extrahiert. Dazu wird ein Gleichungssystem aufgestellt und gelöst. Dies erfolgt im Frequenzraum. Die Unterdrückung der höchsten Beugungsordnungen erfolgt nun im Schritt Nr. 1, wozu es zwei Alternativen gibt:
Das Gleichungssystem wird in einer ersten Alternative so aufgestellt, dass es n Gleichungen enthält, obwohl die Moiré-Muster auf n + t = p Frequenzen, weil Beugungsordnungen, beruhen. Dieses n-fache Gleichungssystem lässt sich aufgrund der vorhandenen n Rohbilder lösen. Die Lösungen enthalten die Frequenzen aus den t höchsten Beugungsordnungen quasi aufgemischt. Dies kann entweder toleriert werden, beispielsweise wenn die höchsten Beugungsordnungen schwach ausgeprägt sind, gegebenenfalls weil zusätzlich dafür gesorgt wird, dass sie nur geringe Intensität haben, oder es wird ein zusätzlicher Filterschritt vorgenommen, um die den höchsten Beugungsordnungen entsprechenden Frequenzanteile zu unterdrücken, d.h. zu schwächen oder ganz zu eliminieren.
In einer zweiten Alternative wird das Gleichungssystem bestehend aus p Gleichungen aufgestellt. Es ist unterbestimmt, da nur n Rohbilder zum Lösen zur Verfügung stehen. Die Lösung erfolgt deshalb näherungsweise oder durch Extrapolation, wodurch automatisch die t höchsten Beugungsordnungen nicht berücksichtigt werden. Hierzu können bekannte Näherungsverfahren oder Extrapolationsverfahren in Frage kommen (s.o.). Insbesondere kann eine Singulärwertzerlegung eingesetzt werden. Anders als bei der ersten Alternative werden dabei die höchsten Beugungsordnungen nicht ausdrücklich unterdrückt, sie werden durch die näherungsweise oder extrapolierende Lösung jedoch nicht weiter berücksichtigt, was ebenfalls eine Form der Unterdrückung ist (s.o. im allgemeinen Teil der Beschreibung).
2 zeigt schematisch ein Mikroskop 2, wie es zur Bereitstellung der Rohbilder verwendet werden kann. Das Mikroskop 2 bildet eine Probe 4 ab, die sich auf einem Probenträger 6 befindet. Die Abbildung erfolgt mittels eines Objektivs 8, das die Probe durch eine nicht weiter bezeichnete Tubuslinse auf einen Detektor 10 abbildet. Über einen Strahlteiler 12 beleuchtet eine Beleuchtungseinrichtung 14 die Probe 4 durch das Objektiv 8 derart, dass eine lage- und/oder ausrichtungseinstellbare strukturierte Beleuchtung erfolgt, wie sie für die SIM-Technik dem Fachmann bekannt ist.
Ein Beispiel für die Realisierung der Beleuchtung ist in 3A gezeigt. Die Beleuchtungseinrichtung 14 stellt einen Ursprungsstrahl 14.1 bereit, beispielsweise aus einem (nicht weiter dargestellten) Laser. Mit Hilfe eines Gitters 14.2 wird dieser Ursprungsstrahl 14.1 in drei Teilstrahlen 14.3 zerlegt, die optisch von (nicht weiter dargestellten) geeigneten Linsen oder anderen optischen Elementen so geformt werden, dass in einer Eintrittspupille 9 (in der englischsprachigen Literatur auch als back focal plane bezeichnet) des Objektivs 3 drei nebeneinanderliegende Lichtpunkte, mit einem zentralen Punkt 14.3a für den zentralen Teilstrahl, und zwei benachbarten Punkten 14.3b und 14.3c für die seitlichen Teilstrahlen entstehen. Die drei Punkte in der Objektivpupille 9 führen dazu, dass in der Probe durch Interferenz ein streifenförmiges SIM-Beleuchtungsmuster 15 entsteht. Dieses Beleuchtungsmuster 15 ist in 3A nur in Draufsicht, d.h. um 90° gezeigt, gleiches gilt für die Objektivpupille 9 und die Punkte 14.3a-14.3c. Tatsächlich ist das erzeugte Beleuchtungsmuster 15 ein Talbot-Muster, das nicht nur in der x/y-Ebene, in der es in 3A gezeigt ist, als Streifenmuster ausgebildet ist, sondern auch senkrecht dazu, d.h. längs der Tiefenerstreckung der Probe 4.
Die Punkte können auch anderweitig erzeugt werden, z.B. durch in der Pupille endende Lichtleitfasern oder geeignet angeordnete Kippspiegelmatrizen. Auch ist die Zahl nicht auf drei beschränkt (s.u.).
Die in 3A gezeigte Erzeugung des Beleuchtungsmusters 15 durch Interferenz ist exemplarisch, hat sich jedoch aus historischen Gründen als übliche Betrachtungsweise herausgebildet, in der man die unterschiedlichen, diskreten Frequenzen, die im Beleuchtungsmuster 15 vorhanden sind, als Beugungsordnungen bezeichnet. Signaltechnisch stellen sie, wie bereits erläutert, Trägerfrequenzen dar. Die Beugungsordnungen entsprechen oberhalb der Grundfrequenz/nullten Beugungsordnung räumlichen Beleuchtungsmusterfrequenzen, allerdings als konjugiert-komplexe Größen, so dass oberhalb der Grundfrequenz immer Paare von zwei betragsgleichen Beugungsordnungen vorliegen. Z.B. hat das streifenförmige SIM-Beugungsmuster drei räumliche Frequenzen, eine Grundfrequenz und eine erste und eine zweite höhere Raumfrequenz. Die Grundfrequenz entspricht einer nullten Beugungsordnung. Es gibt zusätzlich vier weitere Beugungsordnungen, zwei erste und zwei zweite. Der Betrag der zwei ersten Beugungsordnungen entspricht jeweils der ersten höheren Raumfrequenz, der Betrag der zwei zweiten Beugungsordnungen entspricht jeweils der zweiten höheren Raumfrequenz.
In der Ausführungsform der 3A gilt p = 5, n = 3, t = 2. An diesem Beispiel lässt sich das Verständnis, das in dieser Beschreibung den Begriff „höchste Beugungsordnung“ zugrunde liegt, gut verdeutlichen. Die Beugungsordnungen ±2sind in dem hier zugrunde liegenden Begriffsverständnis zwei höchste Beugungsordnungen. Würde man nur auf die Ordnungszahl abstellen, wäre es natürlich nur eine Beugungsordnung, welche die oberste ist. Unter der höchsten Beugungsordnung werden aber hier die Beugungsordnungen mit den betragshöchsten Frequenzen verstanden. Bei t = 2 sind dies die +2. Beugungsordnung und die -2. Beugungsordnung. Der Begriff der höchsten Beugungsordnungen stellt also im Ergebnis auf die dem Betrag nach höchsten Raumfrequenzen ab, die in der Frequenzdarstellung zum Beleuchtungsmuster beitragen. Es kommen natürlich nicht nur die allerhöchsten Frequenzen in Frage, sondern auch zweit- oder dritthöchsten usw.
Die t = 2 höchsten Beugungsordnungen entstehen bei der Erzeugung gemäß 3A durch Interferenz der Strahlung aus den Lichtpunkten 14.3c und 14.3b, d.h. ohne Teilnahme des Zentrumstrahls 14.3a. Um in der Bildrekonstruktion die Unterdrückung bzw. Nichtberücksichtigung der höchsten Beugungsordnungen zu erleichtern bzw. Artefakte zu reduzieren, ist dafür gesorgt, dass die zentrumsfernen Lichtpunkte 14.3b und 14.3c auf mindestens 80 % des Pupillendurchmessers liegen. Auf diese Weise wird die Intensität der höchsten Beugungsordnungen gemindert, wodurch sie leichter ausgefiltert werden können oder ihre Nichtberücksichtigung ein reduziertes Risiko zur Artefaktentstehung hat.
3B betrifft den Fall eines SIM-Beleuchtungsmusters, das nicht als Streifenmuster 15, sondern als Multipunktmuster, d.h. als regelmäßige Anordnung leuchtender Punkte in der Fokalebene ausgebildet ist und zudem auch als Talbot-Muster geformt ist. Hierzu werden beispielsweise vier leuchtende Punkte 14.3a bis 14.3d in der Beleuchtungspupille 9 angeordnet. Die in Klammern neben die Beleuchtungspunkte eingetragenen Werte geben die relative Beleuchtungsintensität an. Ein derartiges Muster an Lichtpunkten in der Beleuchtungspupille 9 führt zudem in 3C gezeigten Muster der Beleuchtungsintensitäten im Fourier-Raum. Die Werte in den Klammern bezeichnen wiederum die relative Beleuchtungsintensität der einzelnen Beleuchtungsordnungen. Jeder Punkt entspricht einer Beugungsordnung. Je zentrumsferner ein Punkt liegt, desto höher ist die Beugungsordnung. Wie man sieht, beträgt die Intensität der in den Ecken liegenden vier Beugungsordnungen nur 0,24. Dies sind aufgrund des Abstandes zum Zentrum die vier höchsten Beugungsordnungen. Sie werden nun in der Bildauswertung nicht berücksichtigt oder unterdrückt, so dass durch die Bildrekonstruktion effektiv nur die Beugungsordnungen gemäß 3D wirksam werden. Statt 13 Beugungsordnungen und entsprechend 13 Rohbildern werden bei der Bildrekonstruktion nur neun Beugungsordnungen berücksichtigt, wodurch auch nur neun Rohbilder nötig sind. In diesem Ausführungsbeispiel gilt also, n = 9, p = 13, t = 4. Hier ist keine Drehung nötig, anders beim Streifenmuster. Es genügen Verschiebestellungen. An diesem Beispiel wird nochmals deutlich, dass der Begriff der höchsten Beugungsordnungen nicht auf die höchste Ordnungszahl der Beugungsordnungen abzielt. Vielmehr sind die Beugungsordnungen mit den höchsten Frequenzen gemeint. Die vier im Frequenzraum gezeichneten Punkte mit den Intensitäten 0,24 stellen in der Darstellung der 3C vier höchsten Beugungsordnungen dar. Es wäre allerdings ohne Vorteil, nur eine Teilmenge, z.B. zwei oder drei, der vier betragsgleichen Frequenzen in 3C mit der relativen Intensität 0,24 zu unterdrücken. Es ist deshalb ganz allgemein bevorzugt, die t höheren Beugungsordnungen so zu wählen, dass sie alle betragsgleichen Frequenz der zu unterdrückenden höheren Beugungsordnungen abdecken, also z.B. alle in 3C mit der Intensität 0,24 auftretenden höheren Beugungsordnungen und nicht nur eine Teilmenge davon. Dann sind bei der Unterdrückung der höchsten Beugungsordnung(en) alle Frequenzen eingeschlossen, die zur gleichen Ordnungszahl der Beugungsordnung(en) gehören, also den gleichen Betrag haben.
Andere Werte für t sind möglich, insbesondere bei Beleuchtungsmustern, die mehr als 13 Beugungsordnungen enthalten und wie sie z.B. in Literaturstelle [7] geschildert werden
Die Ausführungsformen arbeiten mit gegenüber dem Stand der Technik reduzierter Anzahl an Rohbildern, indem auf die Beiträge der höchsten Trägerfrequenzen, d.h. der höchsten Beugungsordnungen, verzichtet wird. Es sind dabei nicht nur die Frequenzen an sich gemeint, sondern der Beitrag, den sie als Trägerfrequenz liefern, d.h. auch die aufmodulierten Anteile der Probeninformation. Zwar sind auch diese Beugungsordnungen bzw. ihre entsprechenden Modulationsfrequenzen Träger von Probenspektralinformation, jedoch sind die Amplituden dieser Modulationsfrequenzen eher schwach, sie betragen beispielsweise nur die Hälfte der nach der Unterdrückung verbleibenden nächsten Beugungsordnungen. Dies gilt für die Beleuchtung. Zudem wirken diese Frequenzen sich auch in der Abbildung in die Rohbilder nur schwach aus, da die optische PSF des Objektivs auch in diesen hohen Frequenzen nur relativ niedrig ist, d.h. die Probeninformation, welche auf die höchsten Beugungsordnungen bzw. deren Modulationsfrequenzen aufmoduliert ist, wird nur zu einem sehr geringen Anteil in die Rohbilder übertragen.
Die Rohbilder werden erzeugt, indem die Probe mit dem Beleuchtungsmuster beleuchtet und das von der Probe reflektierte oder im Fall der Fluoreszenzanregung fluoreszenzemittierte Licht registriert wird. Wie später noch anhand des mathematischen Formalismus mit Bezug auf 5 erläutert wird, ist das Bild der Probe eine Faltung der Beleuchtungsmusterfunktion, der eigentlichen Ortsinformation in der Probe und der Punktbildverwaschungsfunktion der mikroskopischen Abbildung.
4 zeigt schematisch eine Vorrichtung, insbesondere einen Computer 16, die zur Bildauswertung geeignet ist und die Bestandteil des Mikroskops 2 sein kann. Der Computer 16 umfasst einen Prozessor 18 sowie einen RAM 20, in dem ein Computerprogramm gespeichert ist, das dem Prozessor 18 Befehle derart erteilt, dass er letztlich das Verfahren der Schritte S1-S3 gemäß 1 ausführt. Dabei werden die Requisiten, d.h. die PSF, die n Rohbilder und die n Beleuchtungsmusterfunktionen über eine Eingabeschnittstelle 22 zur Verfügung gestellt und der Computer 16 gibt das rekonstruierte Bild der Probe über eine Schnittstelle 22 aus. Optional berechnet der Computer 16 die n Beleuchtungsfunktionen vorher.
5 zeigt schematisch den Ablauf im Iterationsverfahren S2. Mit 24 ist das geschätzte Bild bezeichnet. Es ist im Schritt S2b der Startpunkt einer Simulation, welche unter Verwendung der n Beleuchtungsmusterfunktion 26 und der PSF 27 die n simulierten Rohbilder 28 erzeugt - entweder mit oder ohne Berücksichtigung der t höchsten Beugungsordnungen des Beleuchtungsmusters (s.o.). Diese simulierten Rohbilder werden dann mit den n aufgenommenen Rohbildern 30 verglichen, so dass am Ende des Schrittes S2c die n Korrektur-Rohbilder 32 stehen. In der Darstellung der 5 ist exemplarisch n = 3. Die Korrektur-Rohbilder 32 werden dann im Schritt S2d einer Entfaltung unterzogen, wobei wiederum die PSF und die n Beleuchtungsmusterfunktion eingehen. Zusätzlich oder optional findet die bereits genannte Filterung 37 statt (s.o.).
Die einzelnen Iterationsschritte sind in der Figur eingetragen. Das Iterationsverfahren S2 ist in 5 im Frequenzraum dargestellt, insbesondere was die Symbolik des geschätzten Bildes 24, des Korrekturbildes 36 sowie der einzelnen Stadien der Entfaltung im Iterationsschritt S2d angeht. Das geschätzte Bild 24 der Probe ist in 5 im Frequenzraum als entlang der imaginären Achse aufgereihter Stapel von Kreisen gezeigt, deren Zentrum jeweils einer der Trägerfrequenzen bzw. Beugungsordnungen entspricht. Die linke Darstellung expandiert diese aufeinander gestapelten Kreise, indem sowohl ihre Zentren auf der imaginären Achse (der Hochachse) auseinandergezogen sind, als auch der Kreisdurchmesser zur Anschaulichkeit reduziert ist. Es ergeben sich fünf Frequenzbereiche 24.0 bis 24.4, die jeweils Bildinformation der Probe tragen. Die Lage ihrer Zentren ist durch die Beugungsordnungen vorgegeben. Somit sind in der hier dargestellten SIM-Mikroskopie eigentlich fünf Rohbilder entsprechend den fünf Beugungsordnungen nötig, wenn man der klassischen Betrachtung gemäß dem Stand der Technik folgt. Dies ist durch die links dargestellte Expansion der Frequenzen symbolisiert. Tatsächlich wird jedoch zur Auswertung mit weniger Beugungsordnung gearbeitet, nämlich die t höchsten Beugungsordnungen werden nicht berücksichtigt. Das in der Simulation erhaltene Bild 24 umfasst deshalb die gestrichelten höchsten Frequenzbereiche nicht, sondern beruht lediglich auf n = 3 Beugungsordnungen, also t = 2weniger als die eigentlich vorhandenen p = 5 Beugungsordnungen. Diese Reduktion der Beugungsordnungen spielt natürlich bei der erstmaligen Schätzung des Bildes 24 keine Rolle, die beispielsweise ein unstrukturiertes Graubild sein kann, wie für die Richardson-Lucy-Entfaltung bekannt. Vielmehr tritt die Nichtberücksichtigung der höchsten Beugungsordnungen dadurch ein, dass bei der Simulation der simulierten Rohbilder diese Beugungsordnungen nicht berücksichtigt werden und/oder eine entsprechende Filterung im Rückzweig der Iterationsschleife ausgeführt wird (s.o.).
Der Frequenzbereich 24.0 ist derjenige, der vom Objektiv übertragen werden kann. In der Darstellung der 5 liegen im Bild 24 alle Zentren der Kreise, d.h. die Trägerfrequenzen der Frequenzbereiche der Probeninformation innerhalb dieses Frequenzbereiches 24.0, der durch die Optik übertragen werden kann. Die auseinandergezogene Darstellung links vom Bild 24 lässt dies jedoch nicht mehr erkennen, da der Kreisdurchmesser, wie bereits erwähnt, reduziert wurde.
Die Trägerfrequenzen, von denen die niederste Trägerfrequenz, d.h. die nullte Beugungsordnung, des regelmäßigen SIM-Beleuchtungsmusters, mit 24.f0 bezeichnet ist, liegen sämtlich innerhalb des von der Abbildungsoptik des Mikroskops übertragbaren Bereichs. Die Bildinformation ist in Form des bereits weiter oben geschilderten Moiré-Musters den Trägerfrequenzen überlagert und muss, wie im einleitenden Teil erläutert, in der SIM-Bildanalyse geeignet absepariert und zum Bild der Probe synthetisiert werden.
Dazu wird zuerst im Iterationsschritt S2b eine Simulation der Abbildung der Probe mit den verschiedenen Beleuchtungszuständen erzeugt. Bei dieser Simulation werden Beleuchtungsmusterfunktionen 26 verwendet, welche die Beleuchtung der Probe simulieren. In diesen Beleuchtungsmusterfunktionen werden in einer Variante die Terme der höchsten Beugungsordnungen nicht berücksichtigt, so dass zur Simulation im Schritt S2a nur die n = p - t untersten Beugungsordnungen herangezogen werden, die t höchsten Beugungsordnungen jedoch nicht. In einer bereits erwähnten Alternative hierzu werden die Terme der höchsten Beugungsordnungen berücksichtigt, die t höchsten Beugungsordnungen also (hier noch) nicht unterdrückt. In beiden Varianten werden n simulierte Rohbilder erzeugt.
Die so erhaltenen simulierten Rohbilder 28 werden mit den gemessenen Rohbildern 30 verglichen und das Vergleichsergebnis in Form von Korrektur-Rohbildern 32 wird dann in einer Entfaltung wieder in ein Korrekturbild 36 umgesetzt. Diese Entfaltung läuft in mindestens zwei Stufen ab.
Zuerst werden die Frequenzbereiche individuell mit den jeweiligen Trägerfrequenzen aus dem Korrektur-Rohbild 32 extrahiert (Extraktion 34). Man erhält dann n Spektren 35.0, 35.1, 35.2, die jeweils um eine der Trägerfrequenzen 35.f0, 35.f1, 35.f2 zentriert sind. Diese Trägerfrequenzen sind die Trägerfrequenzen, die bereits für das simulierte Bild 24 beschrieben wurden; 35.f0 ist dieselbe Trägerfrequenz wie 24.f0. Die Trägerfrequenzen entsprechen den t höchsten Beugungsordnungen. Dies ist dann der Fall, wenn die Terme der höchsten Beugungsordnungen in der Simulation nicht verwendet wurden. Werden sie verwendet, muss an dieser Stelle eine Filterung erfolgen, die die t höchsten Beugungsordnungen bzw. die zugehörigen Trägerfrequenzen und die darauf modulierten Probenanteile unterdrückt. Ein solcher Filterungsschritt kann natürlich auch zusätzlich ausgeführt werden, wenn die Terme der höchsten Beugungsordnungen nicht bei der Simulation herangezogen werden, um Artefakte zu unterdrücken. Auch ist, wie oben bereits erwähnt, ein Wechsel möglich, d.h. bei einem Durchlauf durch die Iterationsschleife werden die Terme der höchsten Beugungsordnungen nicht verwendet, in einem zweiten Durchlauf werden sie verwendet und es findet die Unterdrückung nach der Extraktion 34 statt.
Die derart individuell erhaltenen Spektren müssen dann an die entsprechende Stelle im Frequenzraum verschoben werden, so dass ihr Zentrum an den Orten der Trägerfrequenzen liegt. Man erhält verschobene Spektren 38. Im Rahmen dieser Verschiebung wird, wie noch erläutert werden wird, eine Filterung ausgeführt, welche die spektrale Information, die auf die Trägerfrequenzen der höchsten Beugungsordnungen aufmontiert ist, samt den Trägerfrequenzen unterdrückt. Anschließend werden die Spektren dann in einer Addition 40 zum Korrekturbild 36 zusammengefasst. Die Iteration wird beispielsweise abgebrochen, wenn im Schritt S2e kein signifikanter Korrekturbedarf von Korrektur-Bild 36 angezeigt wird.
Nachfolgend werden mit Bezug auf 5 die mathematischen Hintergründe für das Bildauswertungsverfahren anhand des Richardson-Lucy-Entfaltungsprozesses exemplarisch für das streifenförmige SIM-Beleuchtungsmuster 15 geschildert. Es wird dabei Fluoreszenzmikroskopie betrachtet, so dass die Beleuchtung einer Anregung entspricht.
Das Beleuchtungsmuster 15 besteht im betrachteten Fall aus einer Abfolge von Streifen, die durch die drei Teilstrahlen 14.3a-14.3c in der Beleuchtungspupille 8 erzeugt werden können (s.o.), so dass das Beleuchtungsmuster 15 durch folgende Gleichung beschrieben wird: $\begin{array}{l} I (x, y, z, φ) = a_{0}^{2} / 2 + a^{2} + a^{2} cos (2 * {\hat{k}}_{x} x + 2 * {\hat{k}}_{y} y + 2 φ) \\ + 2 * a a_{0} cos ({\hat{k}}_{x} x + {\hat{k}}_{y} y + φ) * cos ((\hat{k} - {\hat{k}}_{z}) z - φ_{0}) \end{array}$
Hierbei ist a₀ die Intensität des mittleren Teilstrahls 14.3a und a die Intensität der beiderseits benachbarten Teilstrahlen 14.3b, 14.3c. k̂_x, k̂_y, k̂_z sind die x, y und z Komponenten des Wellenvektors der seitlichen Teilstrahlen 14.3b, 14.3c. k̂ ist die z-Komponente des Wellenvektors des zentralen Teilstrahls 14.3a, (k̂ - k̂_z) beschreibt die Tiefenabhängigkeit des Beleuchtungsmusters 15, die durch einen Kosinus gebildet ist, der um eine Mittelebene, i.d.R. die Fokalebene der Beleuchtung, zentriert ist. Eine derartige Tiefenstruktur wird auch als Talbot-Muster bezeichnet. φ₀ ist die Phasenlage dieses Kosinus-Verlaufs (Talbot-Muster) gegenüber der z-Koordinate. Das Beleuchtungsmuster ist, wie eine Fouriertransformation leicht zeigt, durch Signalanteile mit diskreten räumliche Frequenzen charakterisiert, die Beugungsordnungen entsprechen.
φ bezeichnet die Phasenlage des Beleuchtungsmusters 15 in der x/y-Ebene, ist also der Parameter, der die individuelle Verschiebestellung des SIM-Beleuchtungsmusters kennzeichnet. Sie unterscheiden sich voneinander nur im Wert für φ. Bei z.B. fünf individuellen SIM-Beleuchtungsmuster gibt es fünf verschiedene Werte für φ. Dies wird nachfolgend durch einen Index m ausgedrückt. Gleichung (1) liefert die Beleuchtungsmusterfunktionen 26, für jede Phasenlage φ_m eine. Beim Streifengitter sind bevorzugt die Phasenlagen innerhalb gewisser Grenzen über π gleichverteilt. Eine Drehung des SIM-Beleuchtungsmusters bleibt hier außer Betracht, d.h. die hier gegebene Erläuterung beschränkt sich auf den 1D-Fall der Auflösungssteigerung, welche quer zur Längsrichtung des Streifengitters gegeben ist.
Das Probenbild, also im Falle der Fluoreszenzmikroskopie die emittierte Intensität I_em, entspricht einer Multiplikation der Beleuchtungsmusterintensität I(x, y, z, φ) mit der (zu Beginn unbekannten) Probenintensität S(x, y, z) und der PSF der mikroskopischen Abbildung, H(x, y, z). So erhält man: $I_{e m} (x, y, z, z_{0}, φ) = \int d x' d y' d z' I (x', y', z', φ) S (x', y', z_{0} - z') H (x - x', y - y', z')$
In Gleichung (2) bezeichnet z die Tiefenkoordinate. z₀ ist ein zusätzlicher Tiefenabstand. Bei z = 0 ist die Position der Fokalebene der Beleuchtung, d.h. der Mittenebene des Talbot-Musters. z₀ bezeichnet für den Fall z = 0 den Abstand einer Ebene zur Fokalebene.
Die hohen Ortsfrequenzen der Probe werden, wie Gleichung (2) zeigt, auf die vergleichsweise niederen Beleuchtungsmusterfrequenzen aufmoduliert, die somit als Trägerfrequenzen dienen. Im Ergebnis bewirkt die SIM-Beleuchtung und Abbildung für jedes Rohbild ein Moiré-Bild, dessen Muster die Probeninformation in Frequenzbereichen enthält, die für sich gesehen jenseits der Beugungsgrenze der Optik liegen.
Ziel der nun beschriebenen Bildauswertung ist es, aus dem Moiré-Bild die Frequenzen der Probeninformation zu extrahieren und zum Bild der Probe zusammenzusetzen. Dies erfordert mehrere Rohbilder mit unterschiedlicher Phasenlage, also verschiedenen Werten φ_m für φ, des Beleuchtungsmusters, damit die Frequenzen der Probeinformation absepariert und in die ihnen zugehörigen und die Auflösungssteigerung erreichenden höheren Frequenzbänder verschoben werden können.
Setzt man z = 0, erhält man als Intensität aus einer Ebene der Probe, die um z₀ von der Fokalebene der Beleuchtung beabstandet ist: $I_{e m} (x, y, z_{0}, φ) = \int d x' d y' d z' I (x', y', z', φ) S (x', y', z_{0} - z') H (x - x', y - y', z')$
Im hier exemplarisch eingesetzten Richardson-Lucy-Iterationsverfahren wird diese Gleichung genutzt, um aus dem geschätzten Bild 24, das als Schätzung für die wirkliche Probenintensität S(x, y, z) verwendet wird, n simulierte Rohbilder 28 zu berechnen. Die Erzeugung der simulieren Rohbilder 28 stellt eine Simulation der Abbildung der Probe (in Form des geschätzten Bildes 24) dar, weshalb die Beleuchtungsmusterfunktionen 26 und die PSF 27 eingehen (vgl. 5). Die Erläuterung wird hier rein exemplarisch nun auf den Fall beschränkt, dass die t höchsten Beugungsordnungen bei der Simulation dadurch nicht berücksichtigt werden, dass die entsprechenden Terme der Beleuchtungsmusterfunktion in der Simulation, welche im Frequenzraum ausgeführt wird, nicht verwendet werden. Dass hierzu eine Alternative möglich ist, wurde bereits beschrieben, wird aber der einfacheren Beschreibung halber im nachfolgenden nicht weiter betrachtet.
Die Berechnung wird im Frequenzraum durchgeführt, was im Hinblick auf die spätere Entfaltung günstig ist. Eine Fouriertransformation in x, y und z ergibt (ein hochgestellter Index „f“ bezeichnet nachfolgend Bezug auf den Frequenzraum): $I_{e m}^{f} (k_{x}, k_{y}, k_{z}, φ) = \int d k_{x}^{'} d k_{y}^{'} d k_{z}^{'} I' (k_{x}^{'}, k_{_{y}}^{'}, k_{z}^{'}, φ) S' (k_{x} - k_{x}^{'}, k_{y} - k_{_{y}}^{'}, k_{z}^{'}) H' (k_{x}^{'}, k_{_{y}}^{'}, k_{z} - k_{z}^{'})$
Setzt man Gleichung (1) in Gleichung (4) ein, liefert dies: $\begin{array}{l} I_{e m}^{f} (k_{x}, k_{y}, k_{z}, φ) = \\ A_{0} H^{f} (k_{x}, k_{y}, k_{z}) S^{f} (k_{x}, k_{y}, k_{z}) + \\ A_{2} H^{f} (k_{x}, k_{y}, k_{z}) {S^{f} (k_{x} + 2 {\hat{k}}_{x}, k_{y} + 2 {\hat{k}}_{y}, k_{z}) e^{- i 2 φ} + S^{f} (k_{x} + 2 {\hat{k}}_{x}, k_{y} + 2 {\hat{k}}_{y}, k_{z}) e^{i 2 φ}} + \\ A_{1} {H^{f} (k_{x}, k_{y}, k_{z} + [{\hat{k}}_{z} - \hat{k}]) e^{i φ 0} + H^{f} (k_{x}, k_{y}, k_{z} - [{\hat{k}}_{z} - \hat{k}]) e^{- i φ 0}} S^{f} (k_{x} + {\hat{k}}_{x}, k_{y} + {\hat{k}}_{y}, k_{z}) e^{- i φ} + \\ A_{1} {H^{f} (k_{x}, k_{y}, k_{z} + [{\hat{k}}_{z} - \hat{k}]) e^{i φ 0} + H^{f} (k_{x}, k_{y}, k_{z} - [{\hat{k}}_{z} - \hat{k}]) e^{- i φ 0}} S^{f} (k_{x} - {\hat{k}}_{x}, k_{y} - {\hat{k}}_{y}, k_{z}) e^{i φ} \end{array}$
A_j mit j = 0, 1, 2sind die Intensitäten der p Beugungsordnungen des Beleuchtungsmusters, die sich aus den Vorfaktoren in Gleichung (1) ergeben. Es gilt A₀= a₀ ²/2 + a²; A₁ = a² und A₂ = a₀a. Weiter ist k = (k_x, k_y, k_z) der Wellenvektor, der sich auf die Beugungsordnungen, also die Trägerfrequenzen bezieht. Gleichung (5) lässt die Terme der höchsten Beugungsordnungen, d.h. die Beugungsordnungen +2, -2, bewusst außer Acht, was man daran erkennt, dass es keine Terme mit Vorfaktor A₂ gibt. Im Ausführungsbeispiel gilt beispielsweise p = 5, n = 3, t = 2.
Aufgrund der n unterschiedlichen Verschiebestellungen des Beleuchtungsmusters 15 erhält man Gleichung (5) auch n-mal - für jede der Phasen φ = φ_m, m = 1, ..., n, einmal. Jede Gleichung liefert ein simuliertes Rohbild 28, so dass z.B. n = 3simulierte Rohbilder 28 entstehen (Iterationsschritt S2b).
Das iterative Verfahren führt dann in jedem Iterationsdurchlauf einen Vergleich zwischen den simulierten Rohbildern 28, bezeichnet als I_em (x, y, z₀, φ), und den bereitgestellten Rohbildern 30, nachfolgend als $I_{e m}^{M} (x, y, z, z_{0}, φ)$
geschrieben, durch (Iterationsschritt S2c). Der Unterschied wird in jedem Iterationsdurchlauf ausgewertet und wirkt sich später als Aktualisierung des geschätzten Bildes 24 der Probe aus. Da die Abbildung, d.h. die bereitgestellten Rohbilder 30, einer Poisson-Statistik unterliegen, wird bevorzugt der Unterschied zwischen den simulierten Rohbildern 28 und den bereitgestellten Rohbildern 30 als Verhältnis ausgedrückt; andere Vergleichsmaße sind möglich: $R (x, y, z, z_{0}, φ) = \frac{I_{e m}^{M} (x, y, z, z_{0}, φ)}{I_{e m} (x, y, z, z_{0}, φ)}$
Der Unterschied R stellt Korrektur-Rohbilder 32 dar; wiederum mit den Phasen φ = φ_m, m = 1, ..., n als individualisierendem Parameter.
Die Korrektur-Rohbilder 32 werden in einem Entfaltungsprozess in ein Korrektur-Bild 36 der Probe umgesetzt, mit dem dann im Iterationsschritt S2e die Aktualisierung des geschätzten Bildes 24 durchgeführt wird.
Zur Entfaltung werden die Korrektur-Rohbilder 32 Fourier transformiert $R^{f} (k, φ) = R^{f} (k_{x}, k_{y}, k_{z}, φ) = F T {R (x, y, z, z_{0}, φ)}$
Aus den Korrektur-Rohbildern 32 werden die n einzelnen Spektren S_R ^f extrahiert. Sie sind in 5 bei 35.0 bis 30.2 symbolisiert und sind das Ergebnis einer Extraktion 34, für welche die OTF verwendet werden muss (da es eine Entfaltung ist, muss genauer die konjugiert-komplexe OTF* benutzt werden). Die Spektren müssen für jede der (p - t) Beugungsordnungen, also Trägerfrequenzen, im Frequenzraum an bestimmte Stellen verschoben werden, nämlich an die Orte (k + jk̂_g), wobei j = {0, -1, 1}. Hierin bezeichnet k̂_g = [k̂_x, k̂_y, 0] den Wellenvektor für die Beugungsordnungen, also die Trägerfrequenzen, und damit die Stellen im Frequenzraum, welche den Trägerfrequenzen zugeordnet sind und an die die Spektren zu schieben sind. In 5 sind die Frequenzen im unverschobenen Zustand mit 35.f0 bis 35.f2 bezeichnet. Da die Terme für die höchsten zwei Beugungsordnungen nicht in der Simulation mitgenommen wurden, werden die entsprechenden Frequenzen, welche diesen beiden höchsten Beugungsordnungen zugeordnet sind und die darum angeordneten Spektren, es wären 35.f3 und 35.f4, hier bevorzugt ausgefiltert.
Die so erhaltenen Spektren werden gemäß den Wellenvektoren verschoben (Filterung und Verschiebung 37 in 5). Der Index j individualisiert wiederum die Verschiebungen. Die Zahl der Verschiebungen definiert die Anzahl der nötigen Phasen für die Position des Beleuchtungsmusters 15. Es gibt also genau n verschiedene Werte für j und für m.
Es erfolgt zudem eine optionale Filterung, indem jedes Spektrum mit einer Funktion g_n(k) = g_n(k_x, k_y, 0) multipliziert wird. Hierbei handelt es sich im Ausführungsbespiel um ein Kerbfilter, das Gauß'sche Form hat und folgender Gleichung genügt (andere Filterfunktionen sind gleichermaßen möglich): $g_{n} (k) = g_{n} (k_{x}, k_{y},0) = 1 - b_{n} e x p {- \frac{{(k_{x} - j {\hat{k}}_{x})}^{2}}{2 σ_{n}^{2}} - \frac{{(k_{y} - j {\hat{k}}_{y})}^{2}}{2 σ_{n}^{2}}}$
Mit dem Faktor b_n stellt man den Unterdrückungsgrad (zwischen 0 und 1) ein. Die Größe σ_n stellt die Breite des Filters ein. Die Werte sind in Anpassung an applikative Gegebenheiten zu wählen und könne durch einfache Versuche herausgefunden werden. Dabei können für die Beugungsordnungen unterschiedliche Werte verwendet werden. Bevorzugt ist b_n für die nullte Beugungsordnung am größten. Die Werte für j = {0, -1, 1} bezeichnen die Beugungsordnungen, welche der Filter unterdrückt oder schwächt. j = 0 filtert die nullte Beugungsordnung (Grundfrequenz, s.o.) und j = -1, + 1 filtert die ersten Beugungsordnungen (erste höhere Raumfrequenz, s.o.). Es müssen nicht alle Beugungsordnungen gefiltert werden. Es ist günstig, auf jeden Fall die nullte Beugungsordnung zu filtern. Das gleiche Filterprinzip kann auch zum zusätzlichen Schwächen der t höchsten Beugungsordnungen verwendet werden, allerdings ist dann die Breite des Filters anders zu wählen, nämlich größer.
Diese Prozesse (Extraktion 34, Filterung und Verschiebung 37) können mathematisch in folgendem Gleichungssystem zusammengefasst werden, auf dessen Basis die Korrektur-Rohbilder 32 zum Korrektur-Bild 36 entfaltet werden (Iterationsschritt S2d): $\begin{array}{l} [\begin{matrix} S_{R}^{f} (k) \\ S_{R}^{f} (k + {\hat{k}}_{g}) \\ S_{R}^{f} (k - {\hat{k}}_{g}) \end{matrix}] = [\begin{matrix} g_{0} (k) O T F_{0}^{*} (k) & 0 & 0 \\ 0 & g_{- 1} (k) O T F_{- 1}^{*} (k) & 0 \\ 0 & 0 & g_{1} (k) O T F_{1}^{*} (k) \end{matrix}] \\ \times {[\begin{array}{l} A_{0} & A_{0} & A_{0} & A_{0} & A_{0} \\ A_{1} e^{i φ_{1}} & A_{1} e^{i φ_{2}} & A_{1} e^{i φ_{3}} & A_{1} e^{i φ_{4}} & A_{1} e^{i φ_{5}} \\ A_{1} e^{- i φ_{1}} & A_{1} e^{- i φ_{2}} & A_{1} e^{- i φ_{3}} & A_{1} e^{- i φ_{4}} & A_{1} e^{- i φ_{5}} \end{array}] [\begin{matrix} R^{f} (k, φ_{1} \\ R^{f} (k, φ_{2} \\ R^{f} (k, φ_{3} \end{matrix}]} \end{array}$
Wie zu sehen ist, werden in diesem Beispiel nur drei Beugungsordnungen bei der Rekonstruktion berücksichtigt; die zwei höchsten Beugungsordnungen nicht.
Da es sich im eine Entfaltung handelt, erscheinen in Gleichung (7) die konjugiert-komplexe OTF, die mit einem * bezeichnet sind. Gleichung (9) multipliziert jedes Korrektur-Rohbild 32 mit der konjugiert-komplexen OTF*_n der optischen Transferfunktion OTF_n, die zur jeweiligen Verschiebung passt: $\begin{array}{l} O T F_{1} (k_{x}, k_{y}, k_{z}) = H^{f} (k_{x}, k_{y}, k_{z}), j = 0 \\ O T F_{1} (k_{x}, k_{y}, k_{z}) = H^{f} (k_{x}, k_{y}, k_{z} + [{\hat{k}}_{z} - \hat{k}]) e^{+ i φ_{0}} + H^{f} (k_{x}, k_{y}, k_{z} + [{\hat{k}}_{z} - \hat{k}]) e^{- i φ_{0}}, j = - 1,1 \end{array}$
Die n erhaltenen Spektren $S_{R}^{f} (k + j {\hat{k}}_{g})$
(mit j = 0, -1, 1) werden aufaddiert (Summation 40 in 5) und Fourier-rücktransformiert, um das Korrektur-Bild 36, S^R(x, y, z), zu erhalten. Gemäß dem Richardson-Lucy-Entfaltungsalgorithmus wird das nächste geschätzte Bild 24 der Probe durch Multiplikation des letzten geschätzten Bilds mit dem Korrektur-Bild 36 erhalten (Aktualisierung im Iterationsschritt S2e): $S_{q + 1} (x, y, z,) = S_{q} (x, y, z,) \times S^{R} (x, y, z,)$
Hierbei bezeichnet der Index q+1 das aktualisierte geschätzte Bild und der Index q das letzte geschätzte Bild. Natürlich ist die Aktualisierung (Iterationsschritt S2e) die inverse Operation zum Vergleich (Iterationsschritt S2c). Wurde in S2c keine Division, sondern z.B. eine Differenz verwendet, muss auch die Aktualisierung entsprechend angepasst werden, z.B. auf eine Summation.
Die Aktualisierungsregel vom Korrektur-Bild 36 zum neuen geschätzten Bild 24 folgt im Wesentlichen dem Zusammenhang: $S_{q + 1} (x, y, z_{0}) = S_{q} (x, y, z_{0}) \times \sum_{m = 1}^{n} \frac{I_{e m}^{M} (x, y, z_{0}, φ_{m})}{I_{e m} (x, y, z_{0}, φ_{m})} \otimes H^{f} (x, y, z_{0}) I (x, y, z_{0}, φ_{m})$
In obiger Gleichung stellt der Bruch die Erzeugung der n Korrektur-Rohbilder 32 (im Beispiel n = 3), also den Iterationsschritt S2c dar. ⊗ bezeichnet wie üblich den Faltungsoperator. Die Filterung ist hier zur Vereinfachung nicht enthalten; sie wäre Teil der Entfaltung.
Die Aktualisierung muss nicht im Ortsraum ausgeführt werden. Zur Abkürzung des Rechenverfahrens kann die gesamte Iteration im Frequenzraum vorgenommen werden. Dazu muss nur initial eine Fouriertransformation das allerersten geschätzten Bildes und am Ende eine Rücktransformation des geschätzten Bildes nach der letzten Aktualisierung ausgeführt werden. 5 zeigt diese rechensparsame Variante, bezieht sich also nur auf den Frequenzraum.
Der bislang für ein Streifenmuster, z.B. n = 3, geschilderte Ansatz kann sehr einfach auch auf das Multipunkt-SIM-Beleuchtungsmuster erweitert werden, beispielsweise ein Beleuchtungsmuster, das aus fünf Teilstrahlen erzeugt werden kann, welche in der Beleuchtungspupille in Form der fünf Punkte eines Spielwürfels Punkten angeordnet (vgl. 3B). Bezeichnet a₀ die Intensität des zentralen Strahl und a die Intensität der übrigen Strahlen, erhält man dann $\begin{array}{l} I (x, y, z) = a_{0}^{2} / 2 + 2 * a^{2} + 2 * a^{2} cos (2 * {\hat{k}}_{y} y + φ_{y}) \\ + 2 * a a_{0} cos ({\hat{k}}_{x} x + {\hat{k}}_{y} y + φ_{- 20}) * cos ((\hat{k} - {\hat{k}}_{z}) z - φ_{0}) \\ + 2 * a^{2} cos (2 * {\hat{k}}_{x} x + φ_{x}) + a^{2} cos (2 * {\hat{k}}_{x} x + 2 * {\hat{k}}_{y} y + φ_{- 22}) \\ + 2 * a a_{0} cos ({\hat{k}}_{x} x - {\hat{k}}_{y} y + φ_{- 10}) * cos ((\hat{k} - {\hat{k}}_{z}) z - φ_{0}) \\ + a^{2} cos (2 * {\hat{k}}_{x} x - 2 * {\hat{k}}_{y} y + φ_{- 11}) \end{array}$
Dieses Beleuchtungsmuster führt zu p = 13. Ansonsten gilt gleichermaßen die für den Fall p = 5 oben beschriebene Mathematik für den Algorithmus, wobei die Variablen φ_x, φ_y die Verschiebestellungen individualisieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2013/049646 A1 [0006]
DE 102018009056 A1 [0006, 0032]

Claims

Verfahren zur SIM-Mikroskopie einer Probe (4), wobei das Verfahren aufweist - Erzeugen (S1) von n Rohbildern (30) der Probe (4), jeweils durch Beleuchten der Probe (4) mit demselben SIM-Beleuchtungsmuster (15), allerdings für jedes Rohbild (30) individuell verschoben, wobei dem SIM-Beleuchtungsmuster (15) p Beugungsordnungen zugeordnet sind, und - Erzeugen eines Bildes der Probe (4) aus den n Rohbildern, wobei eine Bildrekonstruktion unter Verwendung der Beugungsordnungen ausgeführt wird, dadurch gekennzeichnet, dass - bei der Bildrekonstruktion t höchste Beugungsordnungen unterdrückt werden und - n = p - t gilt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die t höchsten Beugungsordnungen bei einer optischen Erzeugung des SIM-Beleuchtungsmuster (15) geschwächt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in einer Beleuchtungsobjektivpupille (9) ein Beleuchtungslichtpunktmuster erzeugt wird, um das SIM-Beleuchtungsmuster (15) bereitzustellen, wobei zur Schwächung der t höchsten Beugungsordnungen die in der Beleuchtungsobjektivpupille (9) am zentrumsfernsten liegenden Beleuchtungslichtpunkte auf mind. 80 % des Durchmessers der Beleuchtungsobjektivpupille liegen, bevorzugt im Bereich von 90 % bis 95 % des Durchmessers, weiter bevorzugt im Bereich von 80 % bis 85 % des Durchmessers, besonders bevorzugt im Bereich von 85 % bis 90 % des Durchmessers.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass bei der Bildrekonstruktion die t höchsten Beugungsordnungen durch einen Filterungsschritt im Frequenzraum unterdrückt werden.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass die Bildrekonstruktion ein Richardson-Lucy-Iterationsverfahrens (S2) umfasst, wobei in einer Iterationsschleife ein Vergleich von simulierten Rohbildern (28) mit den aufgenommenen Rohbildern (30) ausgeführt wird und danach die t höchsten Beugungsordnungen geschwächt oder unterdrückt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildrekonstruktion ein Richardson-Lucy-Iterationsverfahrens (S2) umfasst, wobei in einer Iterationsschleife simulierter Rohbildern (28) berechnet werden und dabei nur die n unteren Beugungsordnungen verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildrekonstruktion das Dekodieren eines in den Rohbildern (30) vorhandenen Moiré-Musters durch Aufstellen eines linearen Gleichungssystems aus n Gleichungen und Lösen dieses Gleichungssystems.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildrekonstruktion das Dekodieren eines in den Rohbildern (30) vorhandenen Moiré-Musters durch Aufstellen eines linearen, unterbestimmten Gleichungssystems aus p Gleichungen und Lösen dieses Gleichungssystems.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Gleichungssystem durch ein Näherungs- oder Extrapolationsverfahren gelöst wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Näherungsverfahren eine Singulärwertzerlegung umfasst.
Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass das SIM-Beleuchtungsmuster ein Streifenmuster ist und n = 3, p = 5, t = 2 gilt.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass das SIM-Beleuchtungsmuster zusätzlich pro Verschiebestellung in drei verschiedene Rotationsstellungen gebracht wird, so dass insgesamt 9 Rohbilder aufgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das SIM-Beleuchtungsmuster ein Multipunktmuster ist und n = 9, p = 13, t = 4 gilt.