DE102013214318A1

DE102013214318A1 - Verfahren zum Erstellen eines Mikroskopbildes

Info

Publication number: DE102013214318A1
Application number: DE102013214318.4A
Authority: DE
Inventors: Alexander Ranft; Mathias Katzer
Original assignee: Olympus Soft Imaging Solutions GmbH
Current assignee: Evident Technology Center Europe De GmbH
Priority date: 2013-07-22
Filing date: 2013-07-22
Publication date: 2015-01-22
Also published as: GB2531189B; US20160140746A1; US9779530B2; JP6329262B2; WO2015010771A1; GB2531189A; GB201600141D0; JP2016525258A

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen eines Gesamtbildes (10) eines Objekts (11) aus einer Vielzahl von, insbesondere digitalen, Bildaufnahmen (12), die jeweils einen kleinen Bereich des Objekts (10) abbilden. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass das Gesamtbild (10) in Teilbilder (13) aufgeteilt ist oder wird, wobei jedem Teilbild (13) des Gesamtbildes (10) ein Teil der Vielzahl von Bildaufnahmen (12) zugeordnet ist oder wird, wobei die Bildaufnahmen (12) zu dem Gesamtbild (10) so zusammengesetzt werden, dass zunächst die Bildaufnahmen (12) eines Teilbildes (13) aufgenommen und zusammengesetzt werden und anschließend ein weiteres Teilbild (13) aus Bildaufnahmen (12), die aufgenommen werden, zusammengesetzt wird.

Description

Die Erfindung betrifft ein Verfahren zum Erstellen eines Gesamtbildes eines Objekts aus einer Vielzahl von, insbesondere digitalen, Bildaufnahmen, die jeweils einen kleinen Bereich des Objekts abbilden.
Insbesondere bei der Mikroskopie und bei Mikroskopbildverarbeitungsverfahren existiert das Problem, dass bei hochaufgelösten Mikroskopbildern das zu erstellende Bild eines Objekts bzw. einer Probe, beispielsweise einer Blutprobe, viel größer ist als der Bereich, der mit einem einzigen Bild, beispielsweise einer Digitalkamera, aufgenommen werden kann. Auf diese Weise ergibt sich eine Art Mosaikbild mit einer hohen Auflösung. Die Probe oder das Objekt, von der das Mosaikbild aufzunehmen ist, wird unter Kontrolle durch das Bildaufnahmemittel in einem Raster bewegt und an vorab berechneten Positionen werden einzelne Bilder aufgenommen, die anschließend zu einem Mikroskopbild zusammengesetzt werden.
Dadurch wird erreicht, dass sich die einzelnen Bilder annähernd nahtlos zusammensetzen lassen. Dieses ist beispielsweise in dem Dokument US 4 673 988 A1 beschrieben.
Zudem ist es zur Bearbeitung eines digitalen Mikroskopbildes bekannt, das gesamte Mikroskopbild in den Arbeitsspeicher des Computers zu laden und dann von einem Prozessor des Computers zu verarbeiten. So sei beispielsweise auf das Dokument DE 10 2006 034 996 A1 verwiesen. Da das gesamte Mikroskopbild aber zu groß ist, um als Ganzes in den gegebenenfalls virtuellen Arbeitsspeicher des Computers geladen werden zu können, wird das Mikroskopbild teilweise wieder auf den Massenspeicher ausgelagert. Dieses wird als „Swapping“ oder „Paging“ bezeichnet. Damit die Rechenoperationen durchgeführt werden können, müssen die Bildteile vorher wieder in den Arbeitsspeicher geladen werden, was zeitaufwendig ist.
Wenn das Mikroskopbild so groß ist, dass es nicht vollständig im Arbeitsspeicher gehalten werden kann, werden Teilbilder bei dem bekannten Verfahren einzeln verarbeitet, was zur Folge hat, dass entweder die Informationen über die benachbarten Teilbilder nicht berücksichtigt werden, so dass Ungenauigkeiten am Rand auftreten, oder dass zur Lösung dieses Problems der Ungenauigkeiten spezielle Algorithmen erarbeitet werden müssen. Häufig werden diese Ungenauigkeiten auch einfach akzeptiert. Es müssen dann gesonderte Algorithmen zur Lösung der Genauigkeitsprobleme am Rand gefunden werden. Das Dokument DE 10 2006 034 996 A1 löst dieses Problem dadurch, dass ein Mikroskopbildverarbeitungsverfahren zur Ausführung auf einem Computer angegeben ist, wobei der Computer einen Arbeitsspeicher mit einer vorgegebenen verfügbaren Speicherkapazität und einen Massenspeicher aufweist, der eine höhere Zugriffszeit aufweist als der Arbeitsspeicher, wobei zur Verarbeitung eines digitalen Mikroskopbildes, das aus Pixeln besteht, n-dimensional ist mit n > 1, aus zumindest zwei Teilbildern besteht und eine Größe aufweist, die die verfügbare Speicherkapazität des Arbeitsspeichers übersteigt, wobei eine Rechenoperation auf zumindest einen Teil des Mikroskopbildes angewendet wird mit den folgenden Schritten:

a) Bereitstellen des Mikroskopbildes im Massenspeicher
b) Zerlegen des Mikroskopbildes in mindestens zwei Bildausschnitte, die in den Arbeitsspeicher ladbar sind und eine Dimension m haben, wobei m ≦ n gilt,
c) für einen Bildausschnitt Bestimmen aller Pixel, die in den Bildausschnitt und in mindestens einem der Teilbilder liegen, so dass ein gefüllter Bildausschnitt entsteht,
d) Bereitstellen des gefüllten Bildausschnitts im Arbeitsspeicher,
e) Anwenden der Rechenoperation auf die im gefüllten Bildausschnitt liegenden Pixel, so dass ein Bildausschnittergebnis entsteht,
f) Wiederholen der Schritte c), d) und e) für alle Bildausschnitte und
g) Zusammenfügen aller Bildausschnittergebnisse zu einem Gesamtergebnis.

Diese Patentanmeldung schweigt sich allerdings über das Erstellen eines Gesamtbildes eines Objekts, d.h. beispielsweise eines Mikroskopbildes, vollständig aus.
Es ist Aufgabe der vorliegenden Erfindung, ein effizientes Verfahren zum Erstellen eines Gesamtbildes eines Objekts aus einer Vielzahl von, insbesondere digitalen, Bildaufnahmen bereitzustellen, mittels dessen sehr präzise Gesamtbilder erstellt werden können.
Gelöst wird diese Aufgabe durch ein Verfahren zum Erstellen eines Gesamtbildes eines Objekts aus einer Vielzahl von, insbesondere digitalen, Bildaufnahmen, die jeweils einen kleinen Bereich des Objekts abbilden, das dadurch weitergebildet ist, dass das Gesamtbild in Teilbilder aufgeteilt ist oder wird, wobei jedem Teilbild des Gesamtbildes ein Teil der Vielzahl von Bildaufnahmen zugeordnet ist oder wird, wobei die Bildaufnahmen zu dem Gesamtbild so zusammengesetzt werden, dass zunächst die Bildaufnahmen eines Teilbildes aufgenommen und zusammengesetzt werden und anschließend ein weiteres Teilbild aus Bildaufnahmen, die aufgenommen werden, zusammengesetzt wird.
Durch das erfindungsgemäße Verfahren wird sehr effizient ein sehr genaues Gesamtbild eines Objekts bzw. einer Probe aufgenommen. Hierzu werden nacheinander eine Vielzahl von, insbesondere digitalen, Bildaufnahmen vorgenommen, die zu einem Teilbild gehören, und genau zusammengesetzt. Durch Aufteilen des Gesamtbildes in Teilbilder können in sehr kurzer Zeit, d.h. sehr schnell, die Teilbilder aufgenommen werden, so dass sehr scharfe Bilder erzielt werden, da beispielsweise ein thermischer Drift des Fokus bei der Kürze des Erstellens der Teilbilder keine Rolle spielt. Vorzugsweise werden die Verfahrensschritte für alle Teilbilder oder relevanten Teilbilder ausgeführt, um das Gesamtbild zu erhalten.
Ein besonders genaues Gesamtbild und auch Teilbild wird dann erzielt, wenn zum Zusammensetzen der Bildaufnahmen zu einem Teilbild wenigstens zwei Ränder der jeweiligen Bildaufnahme mit jeweils wenigstens einem Rand von wenigstens zwei zu der Bildaufnahme benachbarten Bildaufnahmen überlappen. Hierdurch können die Bildaufnahmen genau aneinandergesetzt werden.
Bei dieser Art des Zusammensetzens kann es allerdings Probleme geben. Diese Probleme können beispielsweise dann entstehen, wenn beim Zusammensetzen der Bildaufnahmen beispielsweise von einer links oben angeordneten Bildaufnahme eine Anordnung bzw. ein Zusammensetzen mit der rechts danebenliegenden Bildaufnahme vorgenommen wird. Entsprechend kann es beim Zusammensetzen der links unter der links oben angeordneten Bildaufnahme vorkommen, dass das Anpassen der Bildaufnahme, die unter der rechten oberen Bildaufnahme liegt, nicht mit einer Anpassung bzw. mit einem Zusammensetzen der links unten liegenden Bildaufnahme harmoniert.
Aus diesem Grunde ist es bevorzugt, die überlappenden Bildbereiche der Bildaufnahmen miteinander zu korrelieren, wobei für die relative Positionierung der benachbarten Bildaufnahmen zueinander eine Wichtung der Korrelation vorgenommen wird. Es wird insofern eine normierte Kreuzkorrelation der überlappenden Bildbereiche durchgeführt. Hierbei wird insbesondere vorzugsweise auf die Bildintensität normiert.
Bei der Korrelation wird vorzugsweise das Folgende durchgeführt: Bei der Korrelation wird vorzugsweise versucht, die Positionen maximaler Korrelation übereinanderzulegen. Dieses wird auch als Bildregistrierung oder Template Matching bezeichnet. Hierzu wird vorzugsweise der überlappende Bereich des zu korrelierenden Bildaufnahmenpaars in eine vorzugsweise quadratische Zerlegung des überlappenden Bereichs in Überlapp-Teilbereiche vorgenommen.
Die Überlapp-Teilbereiche werden nach Kontrast sortiert abgearbeitet. Die Bereiche, die den meisten Kontrast haben, werden hierbei bevorzugt. Es wird eine Bildregistrierung mit normierten Kreuzkorrelationen auf den Überlapp-Teilbereichen berechnet, bis mindestens zwei Überlapp-Teilbereiche bearbeitet und ein Mindestwert der Korrelation gefunden wurde. Der Mindestwert kann hierbei festlegbar sein. Die Positionen maximaler Korrelation aus den Registrierungen der Überlapp-Teilbereiche werden gewichtet und mit dem Quadrat des zugehörigen Korrelationswertes gemittelt.
Hierbei wird vorzugsweise eine Zerlegung jedes zu registrierenden Überlapp-Teilbereiches in ein Muster und einen Verschieberand vorgenommen. Das so genannte Muster wird hierbei aus einem Überlapp-Teilbereich der früher aufgenommenen der beiden Bildaufnahmen entnommen. Aus der anderen Bildaufnahme wird an jeder möglichen Verschiebeposition im dortigen Überlapp-Teilbereich die normierte Kreuzkorrelation mit dem Muster berechnet. Das Ergebnis ist hierbei die Verschiebeposition mit maximalem Korrelationswert.
Die Breite des Verschieberandes bzw. des Überlappbereichs sollte vorzugsweise den Positionierfehler des Mikroskoptisches abdecken und ist vorzugsweise von der Vergrößerung des Mikroskopes abhängig.
Vorzugsweise werden die Rollen der beiden Bildaufnahmen für das Muster und den Verschiebe-Suchbereich bzw. den Verschieberand vertauscht und der Vorgang der Kreuzkorrelation wiederholt. Hierdurch kann die Genauigkeit und die Robustheit des Systems und des Algorithmus im Sinne der Mustererkennung weiter gesteigert werden.
Vorzugsweise werden für das weitere Verfahren für alle Bildaufnahmen eines Teilbildes bzw. auch der benachbarten Teilbilder, soweit diese für das Zusammenfügen des neu aufgenommenen Teilbildes benötigt werden, die Verschiebepositionen zwischen den Überlapp-Teilbereichen bestimmt und ein Ursprung einer später aufgenommenen Bildaufnahme in der früher aufgenommenen Bildaufnahme berechnet.
Vorzugsweise werden alle Bildaufnahmen eines Teilbildes gleichzeitig zusammengefügt, d.h. für alle Bildaufnahmen eines Teilbildes werden die Korrelation und eine Wichtung der Korrelation durchgeführt. Hierdurch reduziert sich der Gesamtfehler des Zusammenfügens von Bildaufnahmen eines Teilbildes. Bei der Wichtung der Korrelation wird so vorgegangen, dass vorzugsweise Randbereiche bzw. überlappende Bildbereiche der Bildaufnahmen eine höhere Wichtung erfahren, die einen hohen Kontrast aufweisen. Hier ist insbesondere ein Flächenkontrast von Interesse, d.h. ein hoher Kontrast über eine vorgebbar große Fläche. Ein Beispiel, wie die Kreuzkorrelation ausgeführt wird, ist in den Figurenbeispielen beschrieben.
Vorzugsweise sind die Bildaufnahmen viereckig, insbesondere rechteckig, und haben 2ⁿ × 2^m Bildpunkte, wobei n und m vorzugsweise ≧ 9 sind. Die Teilbilder sind vorzugsweise auch viereckig, insbesondere rechteckig, ausgewählt und können mehrere tausend Bildaufnahmen aufweisen. Vorzugsweise sind die Teilbilder kompakt, weisen also möglichst ähnlich lange Seitenlängen auf und/oder grenzen an kompakte Teilbereiche an.
Vorzugsweise ist die Größe der Teilbilder an die Größe eines für einen Prozessor direkt zugreifbaren Speichers (RAM) angepasst. Bei einem für den Prozessor direkt zugreifbaren Speicher handelt es sich um den Arbeitsspeicher eines Computers. Wie in einem Beispiel die Größe genau angepasst werden kann, wird auch in Bezug auf die Figurenbeschreibung näher beschrieben.
Vorzugsweise wird vor dem Aufnehmen von Bildaufnahmen das Gesamtbild eines Objekts zunächst gescannt, um festzustellen, wo überhaupt ein Objekt bzw. eine Probe vorliegt. Es wird dann über das Objekt bzw. die Probe das Gesamtbild so in Teilbilder aufgeteilt, dass vorzugsweise das gesamte Objekt vermessen bzw. aufgenommen werden kann. Hierzu können, soweit dies sinnvoll ist, auch unterschiedlich große Teilbilder Verwendung finden. Bevorzugt sind allerdings gleich große Teilbilder. Bei entsprechend besonders geformten Proben oder Objekten können die Teilbilder auch größer ausfallen, wenn beispielsweise nur ein kleiner Teil des Teilbildes von einem Objekt belegt wird. Der Hintergrund muss dann beispielsweise entweder nicht aufgenommen oder nicht abgespeichert werden. Hierzu werden dann nur die Bildaufnahmen vorgenommen, die zumindest einen Teil des Objektes erfassen.
Vorzugsweise geschieht das Aufnehmen der Bildaufnahmen sequenziell derart, dass Bildaufnahmen gemacht werden, die aneinander angrenzen, wobei hierbei vorzugsweise die Kontur des Objektes bzw. der Probe zumindest im Teilbild abgefahren wird. Insbesondere hierdurch wird gewährleistet, dass beim Zusammensetzen der Bildaufnahmen keine Artefakte bzw. keine großen Zusammensetzfehler entstehen. Hierbei wird der Probenbereich im entstehenden Gesamtbild bzw. Teilbild kompakt gehalten. Registrierungsfehler bleiben so klein, da lange dünne Ketten von Einzelbildern bzw. Bildaufnahmen vermieden werden. Zudem ist der Speicherbedarf für den Bildrand geringer als bei einer fragmentierten Struktur von Teilbereichen oder Teilbildern.
Vorzugsweise wird der Teil der Bildaufnahmen, die nicht mehr zum Zusammensetzen der Bildaufnahmen zu einem Teilbild benötigt werden, komprimiert gespeichert. Das komprimierte Speichern geschieht vorzugsweise im Arbeitsspeicher, kann allerdings auch beispielsweise auf einer Festplatte, die langsamer ist als der Arbeitsspeicher, ausgelagert werden.
Vorzugsweise wird nach dem Zusammenfügen der Bildaufnahmen zu einem Teilbild das Teilbild bis auf Ränder von Bildaufnahmen, die für das Zusammenfügen mit einem weiteren Teilbild benötigt werden, insbesondere komprimiert, in einem weiteren Speicher, wie beispielsweise einer Festplatte, gespeichert.
Vorzugsweise werden zum Zusammensetzen von Teilbildern überlappende Bildbereiche von Bildaufnahmen, die in benachbarten Teilbildern angeordnet sind, miteinander korreliert, wobei für die relative Positionierung der benachbarten Teilbilder zueinander eine Wichtung der Korrelation vorgenommen wird. Auch hier ist es so, dass eine größere Korrelation eine stärkere Wichtung darstellt als eine kleinere Korrelation. Vorzugsweise wird auch hier eine Kreuzkorrelation verwendet, die auf eine Bildintensität normiert ist.
Das Zusammensetzen von Teilbildern untereinander kann hierbei auf der einen Seite so geschehen, dass die zusammenzusetzenden Teilbilder zunächst in sich die Bildaufnahmen jeweils schon zusammengesetzt haben, wobei dann nur noch die Teilbilder an sich zueinander orientiert werden, oder aber, was bevorzugt ist, dergestalt, dass beim Zusammensetzen eines schon zusammengesetzten Teilbildes mit einem weiteren Teilbild die Bildaufnahmen des weiteren Teilbildes beim Zusammensetzen mit dem schon zusammengesetzten Teilbild zusammengesetzt werden. Hierdurch werden die Zusammensetzfehler minimiert.
Vorzugsweise wird eine Reihenfolge eines Erstellens und eines Zusammensetzens der Teilbilder aus Bildaufnahmen automatisch bestimmt. Es wird somit zunächst die Kontur bzw. die Flächenverteilung des Objektes bzw. der Probe bestimmt und anhand dieser Kontur die Reihenfolge der Erstellung von Teilbildern festgelegt. Hierbei ist vorzugsweise ein Kriterium für die Reihenfolge das Aufweisen bzw. Vorhandensein eines Objekts im Teilbereich, die Flächenabdeckung oder Flächen-überdeckung des Teilbereichs mit einem Objekt, die Anzahl der erstellten und zusammengesetzten benachbarten Teilbilder und/oder die Anzahl von Bildaufnahmen eines benachbarten Teilbildes, die zum Zusammenfügen mit dem Teilbild zur Verfügung stehen.
Beispielsweise kann hierbei ein Teilbild in der Reihenfolge des Erstellens und des Zusammensetzens aus Bildaufnahmen weiter nach oben gelangen, wenn die Flächenüberdeckung des Teilbildes mit einem Objekt vergleichsweise groß ist. Entsprechend gelangt ein Teilbild in der Reihenfolge nach oben, wenn die Anzahl der erstellten und zusammengesetzten benachbarten Teilbilder hoch ist. Ferner gelangt ein Teilbild in der Reihenfolge nach oben, wenn im Teilbild ein Objekt vorhanden ist. Wenn in dem Teilbild kein Objekt vorhanden ist bzw. nur ein kleiner Bereich eines Objektes vorhanden ist, gelangt dieses Teilbild in der Reihenfolge nach unten. Ferner gelangt ein Teilbild in der Reihenfolge nach oben, wenn die Anzahl von Bildaufnahmen eines benachbarten Teilbildes, die zum Zusammenfügen mit dem Teilbild zur Verfügung stehen, groß ist. Wenn also beispielsweise schon drei benachbarte Teilbilder vorliegen, die zum Zusammenfügen mit dem noch zu erstellenden Teilbild nötig sind, gelangt dieses Teilbild in der Reihenfolge der Erstellung sehr weit nach oben. Die dargestellten Varianten für eine mögliche Reihenfolge des Erstellens und Zusammensetzens von Teilbildern sind beispielhaft. Es können mehrere Kriterien, die oben genannt sind, angewendet werden oder nur ein einziges Kriterium. Es können auch alle Kriterien angewendet und eine entsprechende Wertungs- oder Wichtungsfunktion gebildet werden. Hierbei können die jeweiligen Kriterien unterschiedlich gewichtet werden.
Vorzugsweise weist ein erstes Teilbild, in dem Bildaufnahmen vorzunehmen sind und das aus den Bildaufnahmen zusammengesetzt wird, eine größte Fläche, die von dem Objekt überdeckt wird, auf und/oder über die Fläche des Teilbildes weist ein erstes Teilbild den größten Kontrast in der Summe auf. Hierdurch wird gewährleistet, dass nach Möglichkeit ein Teil des Objektes, das aufzunehmen ist bzw. von dem ein Gesamtbild zu erstellen ist, mit dem Teilbild anfängt, das am markantesten für die Probe ist.
Vorzugsweise wird ein Fokus für jeweils ein Teilbild vor dem Aufnehmen der Bildaufnahmen des Teilbildes bestimmt. Hierdurch können insbesondere thermische Verschiebungen des Fokus bzw. der Fokusse vermieden werden. Wenn das Erstellen und Zusammensetzen des jeweiligen Teilbildes schnell genug ist, so dass kein Drift in dem Fokus oder den Fokussen aufgrund von thermischen Effekten zu befürchten ist, können auch von zwei oder mehr Teilbildern vor dem Aufnehmen der Bildaufnahmen der Teilbilder der Fokus oder die Fokusse bestimmt werden.
Vorzugsweise wird der Fokus an mehreren Stützstellen bestimmt und zwischen den Stützstellen eine Interpolation vorgenommen. Hierzu werden beispielsweise Dreiecksflächen zwischen den Stützstellen im Hinblick auf die Höhenkontur erstellt. Dieses wird als Triangulation bezeichnet bzw. es wird ein Verfahren nach Delaunay verwendet.
Vorzugsweise ist ein Computerprogramm mit Programmcodemitteln vorgesehen, die angepasst sind, um das erfindungsgemäße Verfahren oder ein bevorzugtes Verfahren auszuführen.
Vorzugsweise ist das Computerprogramm auf einem von einem Computer lesbaren Datenträger gespeichert oder als Datenstrom aus dem Internet ladbar.
Erfindungsgemäß ist ein Mikroskop mit einem Computersystem versehen, das eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen.
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
1 eine schematische Draufsicht auf ein Gesamtbild eines Objektes mit Teilbildern,
2 eine schematische Darstellung zur Erklärung des Erstellens eines Teilbildes,
3 eine schematische Darstellung zur Erklärung des Zusammensetzens eines zweiten Teilbildes an ein erstes Teilbild und
4 eine schematische Draufsicht auf ein Gesamtbild mit vier Teilbildern.
In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
1 zeigt ein Objekt 11 in schematischer Draufsicht, das auf einem Objektträger aufgebracht ist und von dem ein Mikroskopbild als Gesamtbild 10 erstellt werden soll. Das Objekt 11 kann beispielsweise eine Gewebeprobe von einem Menschen, einem Tier oder eine pflanzliche Probe sein. Um beispielsweise eine Mikroskopaufnahme vorzunehmen, wird eine dünne Schicht der Probe auf einen Glasträger aufgebracht und in ein Mikroskop eingebracht, um dort ein Gesamtbild zu erstellen.
Hierbei wird so vorgegangen, dass zunächst die Kontur des Objektes 11 für das Gesamtbild erfasst wird und dann ein Bereich bestimmt wird, von dem Bildaufnahmen gemacht werden sollen. Hierzu wird das Gesamtbild in Teilbilder 13 aufgeteilt, die vorzugsweise Teile des Objektes 11 abbilden. Es werden dann digitale Bildaufnahmen 12 in den jeweiligen Teilbildern aufgenommen und, wie später beschrieben wird, zusammengesetzt, um ein Teilbild aus mehreren digitalen Bildaufnahmen zu erstellen.
Das zweitobere Teilbild von der linken Seite aus gesehen der 1 zeigt hierzu schematisch 35 Bildaufnahmen, die über die Probe bzw. das Objekt 11 gemacht wurden, wobei diese Anzahl an Bildaufnahmen nur beispielhaft genannt ist. Es können tatsächlich mehrere Tausend Bildaufnahmen je Teilbild vorgesehen sein. Die Größe der Teilbilder, d.h. die Anzahl der Bildaufnahmen je Teilbild, hängt wesentlich davon ab, wie viel Speicherplatz bzw. wie viel Arbeitsspeicher für den Prozessor, der die Bildverarbeitung ausführt und die digitalen Bildaufnahmen zu einem Teilbild 13 zusammenfügt, zur Verfügung steht. Ein gutes Beispiel für entsprechende Größen wird auch im Folgenden noch dargestellt.
Vom reinen Hintergrund 14 ist es nicht nötig, Bildaufnahmen vorzunehmen, da dieser völlig uninteressant für das Objekt 11 selbst ist. Aus diesem Grund ist das Teilbild 13‘ nicht vollständig mit Bildaufnahmen gepflastert. Wie in 1 zu erkennen ist, sind auch nicht alle Teilbilder von den Abmessungen her gleich groß. Die Größe der Teilbilder 13–13‘‘‘ hängt im Wesentlichen von der Fläche der digitalen Bildaufnahmen, die vorzunehmen sind, ab und damit von der Datenmenge. Bei den beiden Teilbildern 13‘‘ und 13‘‘‘, die etwas länglich dargestellt sind, ist vergleichsweise wenig Fläche des Objektes vorhanden, so dass nur ein Teil des Teilbildes 13‘‘ bzw. 13‘‘‘ mit entsprechenden Bildaufnahmen versehen werden muss.
Im Zusammenhang mit 2 soll nun ein Beispiel für das Zusammensetzen von digitalen Bildaufnahmen in einem Teilbild erläutert werden. Es wird hier der Einfachheit halber davon ausgegangen, dass vier digitale Bildaufnahmen 1–4 in dem in 2 dargestellten Teilbild vorhanden sind. Diese vier digitalen Bildaufnahmen sind mit den Bezugsziffern 1, 2, 3 und 4 gekennzeichnet. Die Bildaufnahmen weisen entsprechende Ränder auf, die zum Zusammensetzen bzw. zum Zusammenfügen der Bildaufnahmen in der Art eines Mosaiks bzw. in der Art von übereinander gesetzten Kacheln zusammengesetzt werden. Die Bildaufnahme 1 weist einen unteren Rand 17 auf, die Bildaufnahme 3 einen Rand 18, die Bildaufnahme 2 einen Rand 21, die Bildaufnahme 3 noch einen Rand 19 und die Bildaufnahme 4 einen Rand 20. Die Bildaufnahme 1 hat auch rechtsseitig noch einen entsprechenden Rand, der allerdings vollständig verdeckt ist. Die überlappenden Ränder der Bildaufnahmen 2 und 4 sind nicht dargestellt.
2 zeigt zudem sehr schematisch angedeutet, wie die Bildaufnahmen zusammengesetzt werden. Hierzu sind Federn zwischen den Ursprungspunkten der Bildaufnahmen, d.h. in diesem Beispiel die oberen linken Ecken jeder Bildaufnahme, schematisch angedeutet und mit ω_ij gekennzeichnet, wobei „i“ die Bildaufnahme ist, von der die Feder beginnt und „j“ die Nummer der Bildaufnahme ist, bei der die Feder endet. Durch Darstellung als Feder soll eine Art Analogie zu dem Hookeschen Gesetz angedeutet werden. Bei einem paarweisen Zusammenfügen von Bildaufnahmen entspricht die Federenergie der Verschiebung der Lagen der Bilder zueinander von den durch die Mechanik erwarteten Lagen zum Quadrat. Hierbei wird zunächst davon ausgegangen, dass der Antrieb des Probentisches oder des Mikroskops ziemlich genau ist und die Probe 11 relativ zur Linse des Mikrokops so in Schritten verfahren wird, dass relativ genau positionierte Bildaufnahmen mit vorgebbaren Überlappungen von der Probe gemacht werden. Aufgrund mechanischer Ungenauigkeiten müssen die Bildaufnahmen dann allerdings noch wie erfindungsgemäß vorgesehen ist, zusammengefügt werden.
Bei dem Zusammenfügen der Bildaufnahmen wird so vorgegangen, dass bei den Rändern 17 bis 21 Bereiche mit hohem Kontrast herausgesucht werden. In diesen Bereichen wird das Matching bzw. das Zusammenfügen begonnen. Es wird dann eine normierte Kreuzkorrelation, und zwar eine auf die Bildintensität normierte Kreuzkorrelation vorgenommen. Die Bereiche mit höherem Kontrast sind für das Zusammensetzen höher gewichtet als die Bereiche mit niedrigerem Kontrast. Es wird hierbei versucht, die Bilder in den Randbereichen möglichst deckend übereinanderzulegen, so dass die gleichen Strukturen übereinanderliegen. Insgesamt wird mittels eines mathematischen Modells der Werte eine Minimalfunktion berechnet nach der folgenden Formel:
Hierbei ist A die Menge aller Bildaufnahmen, a der Ursprung jeder Bildaufnahme, s sind die Verschiebungsvektoren, d.h. die Verschiebung (d.h. die Koordinatenänderung von der Ausgangslage der Bildaufnahmen) der jeweiligen Bildaufnahmen aufgrund der durchgeführten Kreuzkorrelation, und w ist der Wichtungsfaktor der jeweiligen Kreuzkorrelation. Hierdurch wird eine optimale Positionierung sämtlicher Bildaufnahmen eines Teilbildes erzielt. Adjacentpairs sind die benachbarten Bildaufnahmen, an denen die Kreuzkorrelation ausgeführt wird.
3 zeigt, wie ein weiteres Teilbild in sich zusammengefügt und mit einem ersten Teilbild zusammengefügt wird. Mit 15 ist der Ursprung des ersten Teilbildes umfassend die Bildaufnahmen 1, 2, 3, und 4 dargestellt. Die Bezugsziffer 15 kann auch als a₁ bezeichnet werden, wenn die obige Formel verwendet wird. Das zweite Teilbild umfasst die Bildaufnahmen 5, 6, 7 und 8. Es finden entsprechende Zusammenfügungen des zweiten Teilbildes umfassend die Bildaufnahmen 5, 6, 7 und 8 statt anhand der Stärke der jeweiligen Kreuzkorrelation, die durch die Federn w₅₆, w₅₇, w₆₈ und w₇₈ dargestellt oder angedeutet sind. Gleichzeitig findet allerdings auch eine Korrelation des rechten Randes der Bildaufnahme 2 und der Bildaufnahme 4 mit dem linken Rand der Bildaufnahme 5 und der Bildaufnahme 7 statt, wie durch die schematisch dargestellten Federn w₂₅ und w₄₇ dargestellt ist. Hierdurch kommt es auch bei dem Übergang von einem Teilbild zum nächsten Teilbild zu einem optimalen Zusammenfügungsergebnis.
Entsprechend wird dann auch mit Teilbildern verfahren, die noch mehr fertig zusammengesetzte Teilbilder außenherum aufweisen.
Am Ende ist mit dem erfindungsgemäßen Verfahren eine optimierte Zusammensetzmatrix bzw. eine optimierte Platzierungsmatrix der Bildaufnahmen vorgesehen, die beim Zusammenfügen einen minimalen Fehler zeigt.
Durch das Verwenden von Teilbildern wird die Zeit der Bildaufnahmen so reduziert, dass ein thermischer Drift des Fokus kein Problem mehr darstellt. Zudem wird das Alignment der Bilder, und zwar aller Bildaufnahmen für alle Teilbilder, optimiert bevor die Bildaufnahmen in das resultierende Gesamtbild eingefügt werden. Auf der Fläche des Objektträgers liegen im Übrigen die x, y-Koordinaten des dreidimensionalen Raums.
Vorzugsweise werden die Bildaufnahmen so ausgeführt, dass immer benachbarte Bildaufnahmen sukzessive hintereinander aufgenommen werden. Entsprechend ist es auch bevorzugt, dass immer benachbarte Teilbilder angefertigt werden. So wird erreicht, dass Artefakte beim Zusammenfügen minimiert werden. Zudem sollten die Randbereiche der Bildaufnahmen, die noch zum Zusammenfügen von Bildaufnahmen bzw. von Teilbildern benötigt werden, unkomprimiert gespeichert sein, um so auch Artefakte zu vermeiden.
4 zeigt eine schematische Draufsicht auf eine Probe bzw. ein Objekt 11 und dient zur Erläuterung der Bestimmung der Reihenfolge von aufzunehmenden Teilbildern.
Die Probe 11 hat im Teilbild 13 eine Lücke 16. Wenn mit diesem Teilbild 13 angefangen werden würde, käme es zu Schwierigkeiten bei dem Anfügen des Teilbildes 13‘‘ an das Teilbild 13‘ und an das Teilbild 13‘‘‘. Aus diesem Grunde ist eine sinnvolle Reihenfolge zu bestimmen. Hierzu sollte in dem Teilbild, mit dem begonnen wird, zunächst einmal möglichst viel Probe bzw. Objekt vorhanden sein. Hierfür kommt das Teilbild 13‘‘‘ infrage, da dort die größte Flächenabdeckung bzw. -überdeckung von der Probe vorherrscht und zudem der Kontrast mindestens genauso groß ist wie in den Teilbildern 13‘‘ und 13‘. Also wird das Verfahren automatisch mit dem Teilbild 13‘‘‘ beginnen.
Wenn sämtliche notwendigen Bildaufnahmen des Teilbildes 13‘‘‘ fertiggestellt sind und zusammengesetzt wurden, überprüft der Algorithmus, der ausgeführt wird, weiterhin die Menge an Probenflächen, die in den Teilbildern vorherrscht. Es sieht so aus, dass das Teilbild 13‘‘ ein wenig mehr Probenfläche aufweist als das Teilbild 13, allerdings weniger als das Teilbild 13‘. Nun kann der Algorithmus zur Bestimmung der Reihenfolge so programmiert sein, dass Teilbilder bevorzugt werden, deren Nachbarteilbilder schon fertiggestellt sind. Damit würde das Teilbild 13‘‘ die Bevorzugung erhalten. Zudem kann in dem Algorithmus noch vorgesehen sein, dass Teilbilder, die Proben mit kompletten Unterbrechungen der Probe aufweisen, möglichst spät erstellt werden sollen und in der Reihenfolge nach hinten rücken. In diesem Ausführungsbeispiel wäre also als nächstes das Teilbild 13‘‘ an der Reihe. Da im Teilbild 13‘ wieder mehr Probenmaterial vorhanden ist und zu beiden Teilbildern jeweils ein benachbartes Teilbild schon fertiggestellt ist, wird als nächstes Teilbild das Teilbild 13‘ fertiggestellt.
Als weiterer Algorithmusbestandteil zur Bestimmung der Reihenfolge der Erstellung des Teilbildes kann auch vorgesehen sein, dass die Anzahl der zu dem Teilbild benachbarten Bildaufnahmen, die zum Zusammenfügen dienen, mitbewertet wird. Je mehr Bildaufnahmen zum Zusammenfügen dienen können, umso weiter geht das Teilbild in der Reihenfolge nach oben.
Es wurde vorstehend schon erwähnt, dass vor dem Aufnehmen der Bildaufnahmen das Objekt bzw. die Probe gescannt wird, um eine Autofokussierung vorzunehmen. Da die Objekte verschiedene Höhen aufweisen bzw. nicht die gleiche Dicke an jeder Stelle aufweisen oder gewellt sind, ist der Fokus an verschiedenen Positionen des Objektes verschieden einzustellen. Aus diesem Grunde ist es sinnvoll, an mehreren Stützstellen einen Fokus zu bestimmen. Dieses geschieht vorzugsweise nur in einem Teilbild bzw. wenigen Teilbildern, um einem thermischen Drift entgegenzuwirken. Um nun einen Autofokus durchzuführen, fährt das System das Objekt bzw. den Objektträger so unter die Kamera, dass an den Stützstellen entsprechend der Fokus bestimmt werden kann. Um die Zeit hierfür zu verringern, überprüft das System oder der Algorithmus, ob entsprechende Fokuspunkte schon bestimmt wurden, beispielsweise dadurch, dass in einem benachbarten Teilbild der Fokus oder die Fokusse schon bestimmt wurden. Der entsprechende Fokus hiervon kann dann benutzt werden, solange dessen Aufnahmezeitpunkt innerhalb einer vorgebbaren Zeit zurückliegt, also beispielsweise nicht zu lange zurückliegt.
Zwischen den Positionen, an denen ein Fokus bestimmt wurde, findet dann eine Interpolation statt. Beispielsweise wird zwischen jeweils drei Fokuspunkten ein Dreieck aufgespannt, das entsprechend der Fokushöhe angewinkelt im Raum liegt. Dieses Verfahren entspricht in etwa dem Delaunay-Verfahren.
Bei der verwendeten bevorzugten Verfahrensweise hierzu wird eine Triangulation durchgeführt, die eine lückenlose und überlappungsfreie Menge von Dreiecken liefert, wobei die Dreiecke zwischen den vorgegebenen Stützstellen liegen. Es wird somit sichergestellt, dass die Ebeneninterpolation an jeder Stelle der Probenfläche funktioniert und eindeutig ist. Hierdurch ist an jeder Stelle der Probenoberfläche ein Fokus bestimmbar.
Auf die schon vorab bestimmten Fokuswerte von benachbarten Teilbildern kann allerdings nur dann zurückgegriffen werden, wenn von dem Moment des Bestimmens des Fokus bis zum Benutzen dieses Fokuswertes eine vorbestimmte Zeit noch nicht verstrichen ist. Diese kann beispielsweise 10 Minuten sein. Hierdurch wird ein thermischer Drift vermieden.
Im Rahmen der Erfindung beinhaltet der Begriff „zusammensetzen“ auch ein Anordnen von Bildaufnahmen aneinander bzw. von Teilbildern zueinander oder ein Matchen bzw. ein Anordnen bzw. ein Anpassen oder ein Ausrichten zueinander. Anstelle von „zusammensetzen“ kann auch der Begriff „registrieren“ verwendet werden. Die Ränder der Bildaufnahmen werden somit registriert bzw. es wird eine Bildregistrierung der Ränder der Bildaufnahmen vorgenommen, die miteinander überlappen.
In dem Fall, in dem ein Teilbild bzw. die Bildaufnahmen des Teilbildes zueinander ausgerichtet sind, werden alle Bildaufnahmen für das komplette Teilbild in einen Cache-Speicher gespeichert. Hierbei können alle Bildaufnahmen und auch die Ränder der Bildaufnahmen, die nicht mehr zum Zusammenfügen mit weiteren Bildaufnahmen dienen, komprimiert gespeichert werden. Die Randbereiche der Bildaufnahmen, die noch zum Zusammenfügen mit weiteren Bildaufnahmen von benachbarten Teilbildern benötigt werden, werden gesondert und ohne Komprimierung abgespeichert oder können gesondert abgespeichert werden, vorzugsweise auch ohne Komprimierung.
Die Teilbilder werden von der Größe des Speicherbedarfs her an den Arbeitsspeicher des zum Mikroskop gehörenden Computersystems angepasst. Vorzugsweise wird die Größe des Teilbildes so gewählt, dass alle Bildaufnahmen von zwei Teilbildern in den Arbeitsspeicher passen. Dieses ermöglicht das Aufnehmen von weiteren Bildaufnahmen eines weiteren Teilbildes während eines Zusammenfügens eines Teilbildes mit einem vorher zusammengefügten Teilbild. Zusätzlich kann vorgesehen sein, dass ein gewisser Speicherbereich bzw. eine gewisse Speichermenge des Arbeitsspeichers (RAM) für weitere Aufgaben freigehalten wird, beispielsweise im Bereich von 1 bis 5 Gigabyte, vorzugsweise bei 3 Gigabyte.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
Bezugszeichenliste

1–8: Bildaufnahme
10: Gesamtbild
11: Objekt/Probe
12: Bildaufnahme
12–13‘‘‘: Teilbild
14: Hintergrund
15: Ursprungsstelle
16: Lücke
17–21: Rand
22: Teil der Bildaufnahme ohne Rand
w_ij: Wichtungswert
i, j: Nummer der Bildaufnahme

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 4673988 A1 [0003]
DE 102006034996 A1 [0004, 0005]

Claims

Verfahren zum Erstellen eines Gesamtbildes (10) eines Objekts (11) aus einer Vielzahl von, insbesondere digitalen, Bildaufnahmen (12), die jeweils einen kleinen Bereich des Objekts (10) abbilden, dadurch gekennzeichnet, dass das Gesamtbild (10) in Teilbilder (13) aufgeteilt ist oder wird, wobei jedem Teilbild (13) des Gesamtbildes (10) ein Teil der Vielzahl von Bildaufnahmen (12) zugeordnet ist oder wird, wobei die Bildaufnahmen (12) zu dem Gesamtbild (10) so zusammengesetzt werden, dass zunächst die Bildaufnahmen (12) eines Teilbildes (13) aufgenommen und zusammengesetzt werden und anschließend ein weiteres Teilbild (13) aus Bildaufnahmen (12), die aufgenommen werden, zusammengesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Zusammensetzen der Bildaufnahmen (12) zu einem Teilbild (13) wenigstens zwei Ränder (17–21) der jeweiligen Bildaufnahme (12) mit jeweils wenigstens einem Rand (17–21) von wenigstens zwei zu der Bildaufnahme (12) benachbarten Bildaufnahmen (12) überlappen.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die überlappenden Bildbereiche (17–21) der Bildaufnahmen (12) miteinander korreliert werden, wobei für die relative Positionierung der benachbarten Bildaufnahmen (12) zueinander eine Wichtung der Korrelation vorgenommen wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Größe der Teilbilder (13) an die Größe eines für einen Prozessor direkt zugreifbaren Speichers (RAM) angepasst ist.
Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Teil (22) der Bildaufnahmen (12), die nicht mehr zum Zusammensetzen der Bildaufnahmen (12) zu einem Teilbild (13) benötigt werden, komprimiert gespeichert werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass nach dem Zusammenfügen der Bildaufnahmen (12) zu einem Teilbild (13) das Teilbild (13) bis auf Ränder (17–21) von Bildaufnahmen (12), die für das Zusammenfügen mit einem weiteren Teilbild (13) benötigt werden, insbesondere komprimiert, in einem weiteren Speicher gespeichert werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zum Zusammensetzen von Teilbildern (13) überlappende Bildbereiche (17–21) von Bildaufnahmen (12), die in benachbarten Teilbildern angeordnet sind, miteinander korreliert werden, wobei für die relative Positionierung der benachbarten Teilbilder (13) zueinander eine Wichtung der Korrelation vorgenommen wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass eine Reihenfolge eines Erstellens und eines Zusammensetzens der Teilbilder (13) aus Bildaufnahmen (12) automatisch bestimmt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass ein Kriterium für die Reihenfolge das Aufweisen eines Objekts (11) im Teilbereich (13), die Flächenüberdeckung des Teilbereichs (13) mit einem Objekt (11), die Anzahl der erstellten und zusammengesetzten benachbarten Teilbilder (13) und/oder die Anzahl von Bildaufnahmen (12) eines benachbarten Teilbildes (13), die zum Zusammenfügen mit dem Teilbild (13) zur Verfügung stehen, ist oder sind.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass ein erstes Teilbild (13), in dem Bildaufnahmen (12) vorzunehmen sind und das aus den Bildaufnahmen (12) zusammengesetzt wird, eine größte Fläche, die von dem Objekt überdeckt wird, aufweist und/oder über die Fläche des Teilbildes (13) den größten Kontrast in der Summe aufweist.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Fokus für jeweils ein Teilbild (13) vor dem Aufnehmen der Bildaufnahmen (12) des Teilbildes (13) bestimmt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Fokus an mehreren Stützstellen bestimmt wird und zwischen den Stützstellen eine Interpolation vorgenommen wird.
Computerprogramm mit Programmcodemitteln, die angepasst sind, um das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.
Computerprogramm nach Anspruch 13, das auf einem von einem Computer lesbaren Datenträger gespeichert ist oder als Datenstrom aus dem Internet ladbar ist.
Mikroskop mit einem Computersystem, das eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.