-
Die Erfindung betrifft ein Verfahren zum Identifizieren von Objekten, insbesondere Deckgläsern, auf einem Bild eines Probenträgers, insbesondere Objektträgers, eines Mikroskopsystems, wobei das Bild eingelesen wird und wenigstens eine Region auf dem Probenträger, in welchem die Objekte auf dem Probenträger angeordnet sind, auf der Grundlage des Bilds mittels eines ersten Bilderkennungsmodells segmentiert wird und Trägerdaten, welche wenigstens eine Eigenschaft der wenigstens einen Region charakterisieren, erzeugt werden.
-
Bei klassischen Mikroskopen blickt ein Benutzer sitzend oder stehend durch ein Okular auf einen Probenträger. Dabei kann er direkt mit der Probe in der Weise interagieren, dass er sich einerseits einen kursorischen Überblick über das Sichtfeld des Objektivs, insbesondere über den Probenträger, die Position von Deckgläsern und von Proben verschaffen kann, und zum anderen den Probenträger mit der Probe entweder direkt oder mithilfe eines verstellbaren Probentischs lateral verschieben kann, um andere Bereiche des Probenträgers ins Sichtfeld des Objektivs zu bringen. Der Benutzer des Mikroskops kann dabei an seinem Platz bleiben und muss seinen Kopf nur minimal bewegen, so dass die klassischen Mikroskope in dieser Hinsicht höchst ergonomisch sind.
-
Heutige Mikroskopsysteme erlauben es dagegen, sogenannte Blitzstapel entlang einer Beobachtungsrichtung aufzunehmen und daraus ein räumliches Bild einer Probe zu rekonstruieren. Hierfür werden Bilder mithilfe von Detektoren erzeugt. Als Detektoren dienen vorzugsweise Kameras, die mit entsprechenden Flächensensoren, insbesondere CD-Chips, ausgestattet sind, oder auch sogenannte Photomultiplier.
-
Bei diesen neuartigen Mikroskopsystemen hat sich daher der Arbeitsplatz weg vom Mikroskopstativ und damit weg von der Probe hin zum Computer bzw. zum Bildschirm eines solchen verschoben. Oftmals wird aber auch der Arbeitsplatz vor dem Mikroskopstativ noch benutzt und auch benötigt, um den Probenträger oder die Probe für eine Analyse vorzubereiten oder einzurichten.
-
Dies umfasst die Arbeitsschritte:
- • den Probenträger in das Sichtfeld des Objektivs zu bringen;
- • eine Region auf dem Probenträger auszuwählen, in welchem eine Probe angeordnet ist;
- • diese anzufahren; und
- • schließlich das Mikroskop auf den Probenträger oder die Probe zu fokussieren.
-
Der Arbeitsauflauf bei der Verwendung moderner, komplexer Mikroskopsysteme ist daher oftmals mit zwei Arbeitsbereichen verbunden, an denen unterschiedliche Arbeitsschritte stattfinden und welche räumlich voneinander getrennt sind. Auf der einen Seite das Mikroskopstativ mit Okular zur direkten Beobachtung, und auf der anderen Seite der Bildschirm eines Computers.
-
Das Dokument
DE 10 2017 111 718 A1 betrifft ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbilds eines Probenträgers und/oder auf einem Probenträger angeordneter Proben, bei dem ein mindestens teilweise im Fokus einer Detektionsoptik angeordneter Probenträger im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster beleuchtet wird, wobei mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers detektiert werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Verrechnungsalgorithmus ausgewählt wird, mittels dessen die mindestens zwei Übersichtsrohbilder zu dem Übersichtskontrastbild verrechnet werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen Informationen aus dem Übersichtskontrastbild extrahiert werden.
-
Es ist eine Aufgabe der Erfindung, ein Verfahren und System bereitzustellen, mittels welchem Objekte auf einem Bild eines Probenträgers automatisiert identifiziert werden können.
-
Diese Aufgabe wird durch die Lehre der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen werden in den Unteransprüchen beansprucht.
-
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Identifizieren von Objekten, insbesondere Deckgläsern, auf einem Bild eines Probenträgers, insbesondere Objektträgers, eines Mikroskopsystems, die folgenden Arbeitsschritte aufweisend:
- • Einlesen des Bilds, insbesondere als Bilddaten;
- • Segmentieren wenigstens einer Region auf dem Probenträger, in welcher die Objekte auf dem Probenträger angeordnet sind, auf der Grundlage des Bilds, insbesondere der Bilddaten, mittels eines ersten Bilderkennungsmodells, wobei das erste Bilderkennungsmodell auf einem ersten Maschinenlernmodell, insbesondere einem ersten künstlichen neuronalen Netz, beruht, wobei Trägerdaten, welche wenigstens eine Eigenschaft der wenigstens einen Region charakterisieren, erzeugt werden;
- • Einlesen von Hilfsdaten, wobei die Hilfsdaten wenigstens eine Eigenschaft der Objekte charakterisieren;
- • Separieren von Objekten in der wenigstens einen Region mittels eines Bildverarbeitungsverfahrens auf der Grundlage der Trägerdaten und der Hilfsdaten; und
- • Ausgeben von Informationen in Bezug auf die separierten Objekte.
-
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Objekten, wobei das künstliche neuronale Netz zwei Pfade aufweist, wobei ein erster Pfad ein Bilderkennungsmodell zum Segmentieren von Objekten, insbesondere Deckgläsern, auf einem Übersichtsbild eines Probenträgers eines Mikroskopsystems, bildet und ein zweiter Pfad ein Bilderkennungsmodell zum Erfassen von Eigenschaften der Objekte bildet.
-
Der zweite Aspekt betrifft auch ein Verfahren zum Trainieren von zwei künstlichen neuronalen Netzen zum Identifizieren von Objekten, wobei das erste künstliche neuronale Netz ein Bilderkennungsmodell zum Segmentieren von Objekten, insbesondere Deckgläsern, auf einem Übersichtsbild eines Probenträgers eines Mikroskopsystems, bildet und das zweite künstliche neuronale Netz ein Bilderkennungsmodell zum Erfassen von Eigenschaften der Objekte bildet.
-
Das Verfahren weist, die folgenden Arbeitsschritte auf:
- • Erzeugen eines Datenstroms, insbesondere eines Bildstroms einer Vielzahl von Übersichtsbildern, welche Probenträger eines Mikroskopsystems abbilden, auf welchem Objekte angeordnet sind;
- • Einlesen von Ground Truth-Trägerdaten, welche wenigstens eine Eigenschaft wenigstens einen Region charakterisieren, in welcher die Objekte auf dem Probenträger angeordnet sind; und
- • Bereitstellen des Datenstroms mit den dazugehörigen jeweiligen Ground Truth-Trägerdaten an das künstliche neuronale Netz oder die künstlichen neuronalen Netze.
-
Auf diese Weise kann ein künstliches neuronales Netz oder zwei künstliche neuronale Netze erzeugt werden, welches oder welche in einem Verfahren zum Identifizieren von Objekten zum Einsatz kommen kann bzw. können.
-
Vorzugsweise können die Verfahren von einem Computer, insbesondere einem System mit verschiedenen Mitteln, vorzugsweise automatisiert, ausgeführt werden.
-
Ein dritter Aspekt der Erfindung betrifft ein System zum Identifizieren von Objekten, insbesondere Deckgläsern, auf einem Bild eines Probenträgers eines Mikroskopsystems, aufweisend:
- • eine erste Schnittstelle zum Einlesen des Bilds, insbesondere als Bilddaten, und von Hilfsdaten, wobei die Hilfsdaten wenigstens eine Eigenschaft der Objekte charakterisieren;
- • Mittel zum Segmentieren wenigstens einer Region auf dem Probenträger, in welcher die Objekte auf dem Probenträger angeordnet sind, auf der Grundlage des Bilds, insbesondere der Bilddaten, mittels eines ersten Bilderkennungsmodells, wobei das erste Bilderkennungsmodell auf einem ersten künstlichen neuronalen Netz beruht, wobei Trägerdaten, welche wenigstens eine Eigenschaft der wenigstens einen Region charakterisieren, erzeugt werden;
- • Mittel zum Separieren von Objekten in der wenigstens einen Region mittels eines Bildverarbeitungsverfahrens auf der Grundlage der Trägerdaten und der Hilfsdaten; und
- • eine zweite Schnittstelle zum Ausgeben von Informationen in Bezug auf die separierten Objekte.
-
Ein vierter Aspekt der Erfindung betrifft ein Mikroskopsystem mit einem solchen System zum Identifizieren von Objekten. Weitere Aspekte betreffen ein Computerprogramm und ein computer-lesbares Medium zum Identifizieren von Objekten.
-
Die Trägerdaten entsprechen erfindungsgemäß vorzugsweise einer Segmentierungsmaske.
-
Vorzugsweise weist die Segmentierungsmaske hierbei folgende Klassen auf:
- Klasse 1: Objekt
- Klasse 2: Hintergrund oder Probenträger
- Klasse 3: Rand der Objekte.
-
Eine Segmentierungsmaske im Sinne der Erfindung gibt vorzugsweise an, zu welcher Klasse ein bestimmtes Pixel eines Bildes gehört. In diesem Fall kann die Segmentierung als Klassifizierungsaufgabe betrachtet werden, weil jedes einzelne Pixel einer vordefinierten Klasse identifiziert werden muss.
-
Ein Übersichtsbild im Sinne der Erfindung ist vorzugsweise ein Bild eines Probenträgers, in welchem vorzugsweise der ganze Probenträger, besonders bevorzugt mehr als die Hälfte des Probenträgers und am meisten bevorzugt wenigstens ein Drittel des Probenträgers sichtbar sind.
-
Eine Segmentierung im Sinne der Erfindung ist insbesondere eine semantische Bild-Segmentierung. Vorzugsweise weist die Segmentierung eine gleichzeitige Clusterung eines Bildes und Klassifikation der durch die Clusterung entstandenen Bildsegmente in eine feste Anzahl von Klassen auf. Dazu werden vorzugsweise künstliche neuronale Netze eingesetzt. Vorzugsweise wird das Problem der Segmentierung als ein Klassifikationsproblem für jeden einzelnen Pixel des Bildes formuliert. Vorzugsweise können nach einer Trainingsphase des künstlichen neuronalen Netzes neuartige Eingabedaten, welche das künstliche neuronale Netz nicht während der Trainingsphase verarbeitet hat, semantisch segmentiert werden.
-
Ein Separieren im Sinne der Erfindung ist vorzugsweise ein Identifizieren von einzelnen Objekten in einer Region, in welcher sich mehrere Objekte befinden.
-
Ein Einlesen im Sinne der Erfindung bedeutet vorzugsweise ein Erfassen von Daten, welche bereitgestellt sind. Weiter vorzugsweise bedeutet Einlesen ein Bereitstellen und Erfassen der Daten.
-
Ein Ausgeben im Sinne der Erfindung ist insbesondere ein Bereitstellen an einer Datenschnittstelle oder einer Benutzerschnittstelle.
-
Ein Mittel im Sinne der Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein und insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programm(e) oder Programmmodul(e) aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, so dass die CPU die Schritte solcher Verfahren ausführen kann.
-
Die Erfindung beruht auf dem Ansatz, zusätzlich zu einer Segmentierung eines Übersichtsbilds eines Probenträgers mittels eines Bilderkennungsmodells des Weiteren ein Bildverarbeitungsverfahren zur Analyse des Übersichtsbilds einzusetzen, welches Hilfsinformationen berücksichtigt. Auf diese Weise kann zunächst eine Region auf einem Probenträger identifiziert werden, welche unterschiedlich zu dem Probenträger, der im Hintergrund angeordnet ist, ist und in welcher daher mit hoher Wahrscheinlichkeit Objekte angeordnet sind.
-
In einem zweiten Schritt können einzelne Objekte, sofern vorhanden, in dieser Region unter der Verwendung von Hilfsdaten, welche wenigstens eine Eigenschaft der Objekte charakterisieren, separiert werden.
-
Durch das Separieren von Objekten kann beispielsweise deren Lage, deren Anzahl, deren Form und/oder deren Ausrichtung etc. ermittelt werden.
-
Diese Informationen können wiederum zur Navigation auf dem Probenträger oder auf einer Probe verwendet werden. Vorzugsweise kann das Mikroskopsystem die Position einer Probe auf der Grundlage der Informationen aus dem erfindungsgemäßen Verfahren automatisiert anfahren.
-
Des Weiteren können die Informationen aber auch im Rahmen einer automatisierten Untersuchung, beispielsweise einer High-through-put-Untersuchungen von Proben verwendet werden.
-
In einer vorteilhaften Ausgestaltung des Verfahrens umfasst das Bildverarbeitungsverfahren ein Ermitteln der wenigstens einen Region, wobei einzelne Regionen auf der Grundlage ihrer Form und Ausrichtung zu einer Region verschmolzen oder in mehrere Regionen aufgesplittet werden.
-
Hierdurch können Objekte, welche jeweils eine Region bilden, identifiziert werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst das Bildverarbeitungsverfahren ein Bestimmen von Parametern eines Modells der Objekte auf der Grundlage der Trägerdaten und der Hilfsdaten mittels einer Ausgleichsrechnung.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst das Bildverarbeitungsverfahren ein Optimieren einer Bewertungsfunktion, wobei in die Bewertungsfunktion Trägerdaten sowie die Hilfsdaten eingehen, wobei die Bewertungsfunktion vorzugsweise als Ausgleichsrechnung ausgebildet ist. Durch das Anwenden einer Ausgleichsrechnung und/oder einer Bewertungsfunktion können Objekte, von welchen Eigenschaften, wie beispielsweise Anzahl und Form, bekannt sind, durch das Fitting des Modells separiert werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst das Bildverarbeitungsverfahren ein Region-Growing auf der Grundlage der Trägerdaten sowie der Hilfsdaten, wobei homogene Bildelemente der Region zu Objekten verschmolzen werden.
-
Bei einem Region-Growing im Sinne der Erfindung wird vorzugsweise, ausgehend von einem identifizierten Mittelpunkt oder Schwerpunkt eines Objekts als Anfangsbereich, dieser Anfangsbereich anhand eines Kriteriums, insbesondere der Differenz eines Grauwerts zu den Nachbarzellen, verglichen. Trifft das Kriterium zu, wird die Nachbarzelle zu dem Bereich hinzugefügt. Dieser Vorgang wird vorzugsweise rekursiv wiederholt, indem die Nachbarbereiche der neu hinzugefügten Bereiche ebenfalls untersucht werden. Wenn keine Bereiche mehr hinzugenommen werden können, ist das Objekt identifiziert.
-
Durch ein Region-Growing-Verfahren können die Objekte besonders einfach identifiziert werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst das Bildverarbeitungsverfahren ein Identifizieren von Rändern um die Objekte auf der Grundlage der Trägerdaten sowie der Hilfsdaten.
-
In einer weiteren vorteilhaften Ausgestaltung umfasst das Einlesen der Hilfsdaten ein Ermitteln wenigstens einer Eigenschaft der Objekte mittels des ersten Bilderkennungsmodells oder eines zweiten Bilderkennungsmodells, welches auf einem zweiten künstlichen neuronalen Netz beruht, auf der Grundlage des Übersichtsbilds, wobei die Hilfsdaten in Bezug auf die wenigstens eine Eigenschaft der Objekte erzeugt werden. In diesem Fall werden die Hilfsdaten ebenfalls mittels dem ersten künstlichen neuronalen Netz oder dem zweiten künstlichen neuronalen Netz auf der Grundlage des Übersichtsbilds erzeugt.
-
Werden auch die Hilfsdaten von dem ersten künstlichen neuronalen Netz erzeugt, so wird vorzugsweise ein künstliches neuronales Netz mit mehreren sogenannten Heads eingesetzt. Dies ist insbesondere von Vorteil bei der Bestimmung der Anzahl von Objekten, insbesondere der Anzahl von Deckgläsern.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens beruhen die Hilfsdaten vorzugsweise auf Eingaben eines Benutzers über eine Benutzerschnittstelle. Hierdurch kann Wissen des Benutzers berücksichtigt werden.
-
Eine Benutzerschnittstelle im Sinne der Erfindung ist vorzugsweise eine Tastatur, eine Vorrichtung zur Spracheingabe, ein berührungsempfindliches Display, etc.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens betreffen die Hilfsdaten wenigstens eine der Eigenschaften aus der nachfolgenden Liste an Eigenschaften:
- • Art des Mikroskopsystems;
- • Art, insbesondere Form, des Probenträgers;
- • Benutzerinformationen.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens umfasst das Einlesen der Hilfsdaten ein Ermitteln von wenigstens einer Eigenschaft der Objekte mittels eines zweiten Bilderkennungsverfahrens, wobei die Hilfsdaten in Bezug auf die wenigstens eine Eigenschaft der Objekte erzeugt werden.
-
Durch ein zweites Bilderkennungsverfahren können weitere Erkenntnisse in Bezug auf Eigenschaften der Objekte gewonnen werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens betreffen die Hilfsdaten wenigstens eine der Eigenschaften der Objekte aus der nachfolgenden Liste von Eigenschaften:
- • Anzahl der Objekte;
- • Form der Objekte;
- • Größe der Objekte;
- • Rand der Objekte;
- • Ausrichtung der Objekte;
- • Mittelpunkte oder Schwerpunkte der Objekte.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens betreffen die Trägerdaten wenigstens eine der Eigenschaften der wenigstens einen Region aus der nachfolgenden Liste an Eigenschaften:
- • Anzahl der Regionen;
- • Form der wenigstens einen Region;
- • Größe der wenigstens einen Region;
- • Rand der wenigstens einen Region;
- • Ausrichtung der wenigstens einen Region.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens ist das erste künstliche neuronale Netz ein mehrschichtiges künstliches neuronales Netz, insbesondere ein convolutional artificial neural network, und weist wenigstens einen Verarbeitungsabschnitt (engl.: backbone) und wenigstens zwei Pfade (engl.: heads) auf, wobei ein ersten Pfad die Trägerdaten erzeugt und ein zweiter Pfad die Hilfsdaten erzeugt.
-
Durch ein künstliches neuronales Netz mit mehreren Pfaden können die Hilfsdaten und die Trägerdaten besonders effizient erzeugt werden.
-
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren des Weiteren folgende Arbeitsschritte auf:
- • Labeln der Objekte in dem Übersichtsbild auf der Grundlage der Informationen in Bezug auf die Objekte, wobei ein gelabeltes Übersichtsbild, insbesondere gelabelte Bilddaten, erzeugt wird bzw. werden; und
- • Ausgeben des gelabelten Übersichtsbilds, insbesondere der gelabelten Bilddaten.
-
Hierdurch können anhand der Bilddaten Objekte unmittelbar identifiziert werden.
-
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren des Weiteren den Arbeitsschritt des Steuerns des Mikroskopsystems auf der Grundlage der Informationen auf.
-
Hierdurch kann das Mikroskopsystem, insbesondere das Mikroskop an sich, automatisiert betrieben und beispielsweise eine Probe angefahren werden.
-
Die vorhergenannten Merkmale und Vorteile in Bezug auf den ersten Aspekt der Erfindung gelten entsprechend für den zweiten, dritten und vierten sowie weitere Aspekte der Erfindung und umgekehrt.
-
Weitere Merkmale und Vorteile ergeben sich aus der Beschreibung in Bezug auf die Figuren. Es zeigen wenigstens teilweise schematisch:
- 1a: ein Beispiel eines Übersichtsbilds eines Probenträgers;
- 1b: ein Ausführungsbeispiel eines Übersichtsbilds mit einer segmentierten Region;
- 1c: ein Ausführungsbeispiel von Hilfsdaten in Bezug auf Objekte auf einem Probenträger;
- 1d: ein Ausführungsbeispiel von separierten Objekten auf einem Probenträger;
- 2: ein Ausführungsbeispiel eines Verfahrens zum Identifizieren von Objekten auf einem Übersichtsbild eines Probenträgers;
- 3: ein Ausführungsbeispiel eines Mikroskopsystems mit einem System zum Identifizieren von Objekten; und
- 4: ein Ausführungsbeispiel eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes für ein Bilderkennungsmodell zum Trennen von Objekten auf einem Übersichtsbild eines Probenträgers
-
Ein Verfahren 100 zum Identifizieren von Objekten wird in Bezug auf die 1 und 2 im Nachfolgenden erläutert.
-
Die in diesem Ausführungsbeispiel identifizierten Objekte sind Deckgläser 11, 12, 13, welche auf einem Probenträger 10, insbesondere einem Objektträger, angeordnet sind.
-
Grundlage für das Verfahren ist ein Übersichtsbild eines Probenträgers 10, welches vorzugsweise durch eine an einem Mikroskop 7, insbesondere eine am Mikroskopstativ angebrachte Übersichtskamera 8 (beide nicht dargestellt), aufgenommen werden kann.
-
In einem ersten Arbeitsschritt 101 werden die Bilddaten eines Übersichtsbilds eingelesen.
-
Ein solches Übersichtsbild ist beispielhaft in 1a dargestellt.
-
In einem zweiten Arbeitsschritt 102 wird wenigstens eine Region 14 auf dem Probenträger 10 auf der Grundlage des Übersichtsbilds segmentiert. Hierfür kommt ein Bilderkennungsmodell zum Einsatz, welches durch ein trainiertes erstes künstliches neuronales Netz gebildet wird.
-
Vorzugsweise weist das künstliche neuronale Netz mehrere Schichten auf und ist vorzugsweise ein faltendes künstliches neuronales Netz (engl.: convolutional neural network).
-
Mittels des Bilderkennungsmodells können Trägerdaten erzeugt werden, welche wenigstens eine Eigenschaft der wenigstens einen Region charakterisieren.
-
Vorzugsweise sind solche Eigenschaften eine Anzahl an Regionen 14, eine Form der wenigstens einen Region 14, eine Größe der wenigstens einen Region 14, ein Rand der wenigstens einen Region 14 und/oder eine Ausrichtung der wenigstens einen Region 14.
-
Der Einsatz eines künstlichen neuronalen Netzes ermöglicht es, dass das Bilderkennungsmodell die Region 14 auf dem Probenträger 10 mit Deckgläsern 11, 12, 13, wie in 1a gezeigt, anhand verschiedenster Eigenschaften oder auch in der Interaktion von Merkmalen der Deckgläser 11, 12, 13 und des Probenträgers 10 erkennen kann. Solche Merkmale können beispielsweise die Reflektivität, die Farbe, Artefakte, etc. sein.
-
Bei der erfindungsgemäßen Segmentierung handelt es sich vorzugsweise um eine semantische Bild-Segmentierung. Hierbei werden vorzugsweise einzelne Pixel oder Bereiche des Übersichtsbilds in einem Klassifikationsproblem den einzelnen Klassen zugeordnet. Hierfür werden vorzugsweise die Klassen vorgegeben.
-
Im vorliegenden Fall können solche Klassen beispielsweise sein:
- Klasse 1: Deckglas
- Klasse 2: Hintergrund
- Klasse 3: Deckglasrand.
-
Eine auf einem Probenträger 10 segmentierte Region 14 ist in 1b dargestellt.
-
Die Trägerdaten umfassen hierbei die Lage der Region 14, die Ausrichtung der Region 14, den Rand 15a, 15b, 15c der Region 14, und die Fläche der Region 14.
-
In einem dritten Arbeitsschritt 103 werden Hilfsdaten eingelesen, wobei die Hilfsdaten wenigstens eine Eigenschaft der Objekte charakterisieren.
-
Je nach Art der Hilfsdaten können diese auf verschiedene Art eingelesen werden.
-
So können die Hilfsdaten vorzugsweise aus dem Übersichtsbild ermittelt werden. Hierfür kommt vorzugsweise das Bilderkennungsmodell, welches auch zum Ermitteln der Trägerdaten eingesetzt wird, zum Einsatz. Weiter vorzugsweise weist das dem Bilderkennungsmodell zugrunde liegende künstliche neuronale Netz in diesem Fall einen Verarbeitungsabschnitt (engl.: backbone) und wenigstens zwei Pfade (engl.: heads) auf. Ein erster Pfad erzeugt in diesem Fall die Trägerdaten und ein zweiter Pfad die Hilfsdaten.
-
Alternativ hierzu werden die Hilfsdaten mit einem weiteren künstlichen neuronalen Netz erzeugt, welches ein zweites Bilderkennungsmodell bildet. Auch dieses zweite künstliche neuronale Netz ist trainiert und kann auf diese Weise die Eigenschaften der Deckgläser 11, 12, 13 ermitteln.
-
Alternativ oder zusätzlich können Eigenschaften der Objekte mittels eines zweiten Bildverarbeitungsverfahrens ermittelt werden.
-
Auf diese Weise erzeugte Hilfsdaten können folgende Eigenschaften der Deckgläser 11, 12, 13 sein: Anzahl der Deckgläser 11, 12, 13, Form der Deckgläser 11, 12, 13, Größe der Deckgläser 11, 12, 13, Rand 15a, 15b, 15c der Deckgläser 11, 12, 13, Ausrichtung der Deckgläser 11, 12, 13, Mittelpunkte M1, M2, M3 oder Schwerpunkte der Deckgläser 11, 12, 13.
-
Alternativ oder zusätzlich werden Hilfsdaten durch Einlesen von Eingaben eines Benutzers über eine Benutzerschnittstelle 6 (nicht dargestellt) oder durch Einlesen eines Attributs, beispielsweise einer Systemkennung, einen bestimmten Nutzer, identifizierbar über seinen Login, oder eine Klassifikation des Probenträgers bereitgestellt.
-
Entsprechende Eigenschaften oder Kontextinformationen können beispielsweise die Art des Mikroskopsystems 1, die Art, insbesondere Form des Probenträgers 10 oder auch eine Nutzerinformation sein. Alternativ können diese Informationen auch dazu verwendet werden, ein geeignetes Modell, insbesondere das erste Modell, welches die Segmentierung ausführt, auszuwählen oder beim Trainieren des Bilderkennungsmodells als weitere Eingabedaten einzufließen.
-
In 1c werden beispielsweise die Schwerpunkte M1, M2, M3 der Deckgläser 11, 12, 13 dargestellt. Diese Schwerpunkte M1, M2, M3 können beispielsweise mittels des Bilderkennungsmodells, mittels welchem die Trägerdaten erzeugt wurden, oder mittels des weiteren Bilderkennungsmodells, vorzugsweise mittels semantischer Segmentation, ermittelt sein.
-
Ein weiteres Beispiel für Eigenschaften der Deckgläser 11, 12, 13 kann deren Anzahl, im dargestellten Fall drei, und deren Form, im dargestellten Fall rechteckig, sein. Eine solche Angabe kann auch mittels semantischer Segmentation oder über eine Eingabe eines Benutzers eingelesen werden.
-
In einem vierten Arbeitsschritt 104 werden die Deckgläser 11, 12, 13 in der wenigstens einen Region 14 mittels eines Bildverarbeitungsverfahrens auf der Grundlage der Trägerdaten bzw. der Eigenschaften der wenigstens einen Region 14 und der Hilfsdaten bzw. der Eigenschaften der Deckgläser 11, 12, 13 separiert.
-
Das erste Bildverarbeitungsverfahren umfasst dabei vorzugsweise ein Verschmelzen von einzelnen Regionen 14 auf der Grundlage ihrer Form und Ausrichtung zu einer Region oder ein Aufsplitten einer einzelnen Region 14 in mehrere Regionen 11, 12, 13, wie in 1d dargestellt. In 1d entsprechen die aufgesplitteten Regionen 11, 12, 13 dabei jeweils einem Deckglas. Vorzugsweise kommen hierbei als Hilfsdaten die Form und Ausrichtung der zu separierenden Deckgläser 11, 12, 13 in dem Bildverarbeitungsverfahren zum Einsatz.
-
Alternativ oder zusätzlich umfasst das erste Bildverarbeitungsverfahren ein Bestimmen von Parametern eines Modells der Deckgläser 11, 12, 13 auf der Grundlage der Trägerdaten, insbesondere der Lage der Region 14 mit den Deckgläsern 11, 12, 13 und der Hilfsdaten, insbesondere der Anzahl und der Form der Deckgläser 11, 12, 13 mittels einer Ausgleichsrechnung. Vorzugsweise wird bei der Ausgleichsrechnung hierbei eine Funktion in der Weise gefittet, dass diese zu den ermittelten Trägerdaten und Hilfsdaten passt. Diesbezüglich kann vorzugsweise auch ein Optimieren einer Bewertungsfunktion zum Einsatz kommen, mit welcher die gefittete Funktion optimiert werden kann.
-
Alternativ oder zusätzlich kann als erstes Bildverarbeitungsverfahren ein sogenanntes Region-Growing-Verfahren zum Einsatz kommen. Hierbei werden auf der Grundlage von Trägerdaten, insbesondere der Lage einer Region 14 sowie der Hilfsdaten, insbesondere der Anzahl der gefundenen Mittel- oder Schwerpunkte, homogene Bildelemente 11, 12, 13 der segmentierten Region 14 des Probenträgers 10 zu Bereichen, welche den Deckgläsern entsprechen, verschmolzen.
-
Alternativ oder zusätzlich umfasst das erste Bildverarbeitungsverfahren ein Identifizieren von Rändern 15a, 15b, 15c um die Deckgläser 11, 12, 13. Hierbei werden die einzelnen Deckgläser 11, 12, 13 vorzugsweise auf der Grundlage der Trägerdaten, welche eine Segmentierungsmaske bilden, getrennt. In diesem Fall ist eine Klasse des zu lösenden Klassifizierungsproblems der Rand 15a, 15b, 15c der Deckgläser 11, 12, 13, welcher in dem Übersichtsbild des Probenträgers 10 für das Bildverarbeitungsverfahren zu erkennen sein muss.
-
In einem fünften Arbeitsschritt 105 wird Information in Bezug auf die separierten Deckgläser 11, 12, 13 ausgegeben.
-
Eine solche Information kann beispielsweise Bilddaten in Bezug auf ein bearbeitetes Übersichtsbild sein, beispielsweise wie in 1d dargestellt, in welchem die Deckgläser11, 12, 13 und der Probenträger 10 sichtbar sind. Weitere Informationen können die Lage, die Anzahl, die Form, die Ausrichtung etc. der Deckgläser 11, 12, 13 sein.
-
Diese Information kann vorzugsweise in einem Arbeitsschritt 106 zum Steuern des Mikroskopsystems 1 verwendet werden.
-
In einem siebten Arbeitsschritt 107 kann die erzeugte Information zum Labeln eines Übersichtsbilds verwendet werden, wobei ein gelabeltes Übersichtsbild, insbesondere gelabelte Bilddaten, erzeugt wird bzw. werden.
-
3 zeigt ein Ausführungsbeispiel eines Mikroskopsystems 1 mit einem System 2 zum Identifizieren von Objekten 11, 12, 13. Das Mikroskopsystem 1 weist vorzugweise ein Mikroskop 7 auf, an dessen Stativ eine Übersichtskamera 8 angebracht ist.
-
Bilddaten eines mittels der Übersichtskamera 8 gemachten Übersichtsbilds werden über eine erste Schnittstelle 3 in das System 2 eingelesen. Des Weiteren werden vorzugsweise über die erste Schnittstelle 3 Hilfsdaten, welche eine Eigenschaft der zu identifizierenden Objekte 11, 12, 13 charakterisieren, in das System 2 eingelesen.
-
Bei dem System 2 handelt es sich vorzugsweise um eine Vorrichtung zur Datenverarbeitung.
-
Das System 2 weist des Weiteren vorzugsweise Mittel 4 zum Segmentieren wenigstens einer Region 14 auf dem Probenträger 10 auf, sowie Mittel 5 zum Separieren von Objekten 11, 12, 13 in der wenigstens einen Region 14.
-
Eine zweite Schnittstelle 6 ist schließlich eingerichtet zum Ausgeben von Informationen in Bezug auf die separierten Objekte 11, 12, 13.
-
4 zeigt ein Ausführungsbeispiel eines Verfahrens 200 zum Trainieren eines künstlichen neuronalen Netzes für ein Bilderkennungsmodell zum Trennen von Objekten 11, 12, 13 auf einem Übersichtsbild eines Probenträgers 10 eines Mikroskopsystems 1.
-
In einem ersten Arbeitsschritt 201 des Verfahrens 200 wird ein Datenstrom erzeugt, insbesondere Bildstrom einer Vielzahl von Übersichtsbildern, welche den Probenträger 10 in einem Mikroskop 7 eines Mikroskopsystems 1 abbilden, auf welchem Objekte 11, 12, 13 angeordnet sind.
-
In einem zweiten Arbeitsschritt 202 werden Ground-Truth-Trägerdaten eingelesen, welche wenigstens eine Eigenschaft wenigstens einer Region 14 angeben, in welcher die Objekte 11, 12, 13 auf dem Probenträger 10 angeordnet sind.
-
In einem dritten Arbeitsschritt 203 wird der Datenstrom mit den dazugehörigen jeweiligen Ground-Truth-Trägerdaten für das künstliche neuronale Netz zum Trainieren bereitgestellt.
-
Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich der Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt. Insbesondere können die beschriebenen Verfahren und Systeme dazu verwendet werden, andere Objekte wie Deckgläser auf einem Probenträger zu identifizieren. Nicht einschränkende Beispiele sind Proben, Artefakte, Partikel, etc.
-
Bezugszeichenliste
-
- 1
- Mikroskopsystem
- 2
- System
- 3
- Schnittstelle
- 4
- Mittel zum Segmentieren
- 5
- Mittel zum Einlesen
- 6
- Zweite Schnittstelle
- 10
- Probenträger
- 11, 12, 13
- Deckglas
- 14
- Region
- 15a, 15b, 15c
- Rand eines Deckglases
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017111718 A1 [0007]