DE68926796T2 - System und Verfahren für automatische Zellenklassifizierung, basierend auf ein Neuronalnetzwerk - Google Patents

Description

• Diese Erfindung betrifft allgemein die Zellenklassifizierung und spezieller eine automatische zytologische Zellenklassifiziereinrichtung und ein Verfahren zum Klassifizieren einer zytologischen Probe.
• Der Zervixabstrich (Pap-Test) ist die einzige zytologische Massenklassifizierungsprüfung, die visuelle Beobachtung eigentlich jeder Zelle auf dem Objektträger erfordert. Der Test leidet unter einer hohen negativen Fehlerquote infolge der Uninteressantheit und der Ermüdung, die mit seinem derzeitigen Durchführen von Hand verbunden ist. Zelenklassifizierung erfolgt typischerweise "stückweise" durch "Zytotechniker", die von Pathologielaboratorien verwendet werden, und in einigen Fällen durch bezahlte Techniker. Infolge der eindeutig lebensbedrohenden Natur des negativen Fehlerproblems mit seiner resultierenden Möglichkeit von undiagnostiziertem Zervixkrebs befaßt sich die American Cancer Society mit einer Verdoppelung der Häufigkeit von empfohlenen Pap-Abstrichen. Dies wird jedoch bestimmt eine bereits überlastete Zervixsichtungsindustrie weiter überlasten, da zunehmend weniger Personen willens sind, in das langweilige und anstrengende Gebiet der manuellen Zervixabstrichklassifizierung einzutreten. Eine Empfehlung der American Cancer Society die Häufigkeit des Pap-Abstriches zu erhöhen, kann nur dazu dienen, die Negativfehlerquote durch Senkung der für manuelle Prüfung eines jeden Objektträgers benötigte Zeit zu erhöhen. Eine sorgfältige manuelle Prüfung sollte nicht weniger als 15 min je Objektträger benötigen, obwohl ein Zytotechniker, besonders ein solcher unter schwerer Arbeitsbelastung, weniger als die Hälfte dieser Zeitdauer aufwenden kann. Das College of American Pathology ist sich dieses Problems sehr wohl bewußt und würde rasch eine automatisierte Lösung für die Zervixabstrichsichtung ergreifen.
• Infolge des eindeutigen gewerblichen Potentials für automatisierte Zervixabstrichanalyse wurden nach dem Stand der Technik mehrere Versuche hierfür unternommen. Diese Versuche erwiesen sich aber als erfolglos, da sie ausschließlich auf der klassischen Bilderkennungstechnologie (geometrisch, syntaktisch, Template, statistisch) oder auf der Bilderkennung auf der Basis künstlicher Intelligenz (AI), d. h. auf Expertensystemen auf Regebasis, beruhten. Es gibt jedoch keinen klaren Algorithmus oder einen vollständigen oder eindeutigen Satz von Regeln, nach denen der menschliche Zytotechniker oder Pathologe seine Erfahrung verwendet, um eine Vielzahl von Merkmalen zu kombinieren, um eine Klassifizierung möglich zu machen.
• Hintergrundsliteraturstellen von Interesse sind folgende: D. Tien et al "Automated Cervical Smear Callsification", Proceedings of t he IEEE/Ninth Annual Conference of the Engineering in Medicine and Biology Society, 1987, Seiten 1457 und 1458; US-Patentschrift Nr.3 333 248; David E. Rumehart und James L. Mccielland, "Parallel Distributed Processing", MIT Press, 1986, Band 1; Robert Hecht-Nielsen "Neurocomputing: Picking the Human Brain", IEEE Spectrum, März 1988, Seiten 36 bis 41; und Richard P. Lippmann, "An Introduction to Computing with Neural Nets", IEEE ASSP Magazine, April 1987, Seiten 4 bis 22.
• Insbesondere beschreibt die Literaturstelle von Tien et al eine automatisierte zytologische Probenklassifiziereinrichtung mit einem Mikroskop, um eine Ansicht wenigstens eines Teils einer zytologischen Probe zu erhalten, einer Kamera, um ein Bild einer solchen Ansicht zu erzeugen, einem Bilddigitalumsetzer, um eine digitale Wiedergabe einer solchen Darstellung zu erzeugen, einer Primärklassifiziereinrichtung, um interessierende Bereiche der Probe durch Feststellung von Objekten in der digitalen Wiedergabe, die wahrscheinlich Zellen eines vorbestimmten Typs zu repräsentieren scheinen, und anderer Zellen und von Material, die am Anfang ähnlich der vorbestimmten Type zu sein scheinen, auszuwählen, und einer Sekundärklassifiziereinrichtung, um die interessierten ausgewählten Bereiche zu analysieren, um zu versuchen, Zellen der vorbesetimmten Type in den ausgewählten Bereichen zu unterscheiden.
• Die Sekundärklassifiziereinrichtung von Tien et al ist eine statistische Klassifiziereinrichtung auf Formelbasis, die auf Form, Größen usw. achtet. Tien et al erklären, daß die meisten Fehler durch Überlappen von Zellkernen, Bruchstücken und Klumpen von Leukozyten verursacht werden, und um die Fehlerrate zu reduzieren, beschreiben Tien et al eine tertiätre statistische Klassifiziereinrichtung auf Formelbasis, die auf Grenzen und die Grauskalastruktur achtet. Tien et al schließen, daß die Hinzufügung weiterer statistischer und auf Formelbasis arbeitender Klassifiziereinrichtungen die Möglichkeit einer Reduzierung der Fehlerquoten bietet. Es sei jedoch bemerkt, daß sie auch die Kompliziertheit und daher die Kosten erhöht und die Arbeitszeit verlängert.
• Die vorliegende Erfindung ist in den Ansprüchen 1 und 11 wiedergegeben.
• Gemäß der vorliegenden Erfindung ist die Klassifiziereinrichtung dadurch gekennzeichnet, daß die Sekundärklassifiziereinrichtung eine neutrale Computerapparatur umfaßt, die so eingearbeitet wurde, daß sie Zellen der vorbestimmten Type unter willkürlich angeordneten Zellen und anderem Material der Probe unterscheidet. Die Erfindung ergibt den Vorteil, daß die neutrale Neuronalnetzwerkapparatur so eingearbeitet werden kann, daß sie Zellen unterscheidet, die in anderer als einer einzigen Schicht angeordnet sind, so daß auf diese Weise Fehlerquoten reduziert werden können, während man eine annehmbare Arbeitsgeschwindigkeit bekommt. Beispielsweise kann in der beschriebenen Ausführungsform der Erfindung eine Gruppe von Proben in einer Zeitdauer klassifiziert werden, die zu diesem Zweck durch sorgfältiges manuelles Sichten gebraucht wird (d. h. etwa 15 min/Probe).
• Bevorzugte Merkmale der Erfindung sind in den beigefügten Ansprüchen definiert.
• Während die Erfindung hier hauptsächlich unter Bezug auf eine Klassifizierung zytologischer Proben in der Form eines Zervixabstriches beschrieben ist, z. B. eines solchen, wie er typischerweise in Verbindung mit einem Pap-Test vorgenommen wird, liegt es doch auf der Hand, daß dies nur ein Beispiel der Anwendung der Prinzipien der Erfindung ist, die für eine Anwendung zur Klassifizierung vieler anderer zytologischer Proben bestimmt sind.
• Spezielle Ausführungsformen der vorliegenden Erfindung werden nun beispielhalber unter Bezugnahme auf die beiliegende Zeichnung beschrieben, in welcher
• Fig. 1 ein Blockschema für eine automatisierte Sichtungseinrichtung für zytologische Proben auf Neuronalnetzwerkbasis (hier auch als Klassifiziereinrichtung bezeichnet) gemäß der vorliegenden Erfindung ist,
• Fig. 2 eine Wiedergabe eines dreischichtigen Neuronalnetzwerks der in der bevorzugten Ausführungsform benutzten Type ist,
• Fig. 3 ein Blockschema einer anderen Ausführungsform einer automatisierten Sichtungseinrichtung nach der vorliegenden Erfindung ist,
• Fig. 4 ein Blockschema noch einer anderen Ausführungsform einer automatisierten Sichtungseinrichtung nach der vorliegenden Erfindung ist,
• Fig. 5 ein Blockschema noch einer anderen Ausführungsform einer automatisierten Sichtungseinrichtung nach der vorliegenden Erfindung ist,
• Fig. 6 ein Blockschema noch einer weiteren Ausführungsform einer automatisierten Sichtungseinrichtung nach der vorliegenden Erfindung ist und
• Fig. 7 ein Blockschema noch einer weiteren Ausführungsform einer automatisierten Sichtungseinrichtung nach der vorliegenden Erfindung ist.
• Fig. 1 erläutert eine automatisierte Sichtungseinrichtung für zytologische Proben auf Neuronalnetzwerkbasis gemäß der vorliegenden Erfindung, die mit dem allgemeinen Bezugszeichen 10 ausgestattet ist. Die Klassifiziereinrichtung 10 enthält ein automatisiertes Mikroskop 11, eine Videokamera oder CCD-Einrichtung 12, einen Bilddigitalumsetzer 13 und Klassifizierstufen 14, 15 und 16.
• Das automatische Mikroskop 11 bewirkt eine Relativbewegung des Mikroskopobjektivs und der Probe, und die Videokamera oder CCD 12 bekommt ein Bild oder eine Abbildung eines speziellen Abschnittes der zytologischen Probe. Das Bild wird durch den Bilddigitalumsetzer 13 digitalisiert, und die Information hiervon wird mit der Klassifiziereinrichtung 14 gekoppelt. Bei der bevorzugten Ausführungsform ist die Klassifiziereinrichtung 14 eine handelsübliche statistische Klassifiziereinrichtung, die interessierende Zellkerne durch Messung ihrer integrierten optischen Dichte (Kernfärbungsdichte) identifiziert. Dies ist die Summe der Pixel-Grauwerte für den Gegenstand, korrigiert hinsichtlich optischer Fehler. Im Vergleich mit normalen Zellen neigen bösartige Zellen dazu, einen größeren, dichtergefärbten Kern zu besitzen.
• Objekte, die die Klassifiziereinrichtung 14 passieren, bestehen aus vorbösartigen und bösartigen Zellen, schließen aber auch andere Gegenstände mit hoher integrierter optischer Dichte, wie Zellklumpen, Bruchstücke, Leukozyten und Schleim, ein. Das Ziel der Sekundärklassifiziereinrichtung 15 besteht darin, vorbösartige und bösartige Zellen von diesen anderen Objekten zu unterscheiden.
• Ein Neuronalnetzwerk wird benutzt, um die sekundäre Klassifiziereinrichtung 15 zu betreiben. Detaillierte Beschreibung der Gestaltung und des Betriebs der Neuronalnetzwerke, die für eine Betätigung der Sekundärklassifiziereinrichtung 15 geeignet sind, kann man in den hier zitierten Literaturstelen finden. Eine kurze Beschreibung dieser Information ist nachfolgend angegeben.
• Auf der Basis der durch die Primärklassifiziereinrichtung für die zytologische Probe erhaltenen Daten wird die Sekundärklassifiziereinrichtung verwendet, um spezielle Bereiche der Probe zu suchen, die beispielsweise bestimmt werden, um eine weitere Sichtung oder Klassifizierung zu erfordern. Eine solche weitere Prüfung durch die Sekundärklassifiziereinrichtung kann unter Vertrauen auf die bereits erhaltenen digitalisierten Bilddaten für die ausgewählten Bereiche der Probe oder durch das Nehmen weiterer Daten durch die Teile 11 bis 13 oder durch eine andere handelsübliche optische oder andere Ausrüstung, die annehmbare Daten für die Verwendung und Analyse durch die Sekundärklassifiziereinrichtung 15 liefern würde, bewirkt werden.
• Ein Neuronalnetzwerk ist ein stark parallel verteiltes System mit der Topologie einer gerichteten graphischen Darstellung. Die Knoten in Neuronalnetzen werden gewöhnlich als "Verarbeitungselemente" oder "Neuronen" bezeichnet, während die Verbindungen allgemein als "Zwischenverbindungen" bekannt sind. Jedes Verarbeitungselement nimmt mehrere Eingangssignale an und erzeugt ein einziges Ausgangssignal, welches sich in mehrere Kopien verzweigt, die ihrerseits an andere Verarbeitungselemente als Eingangssignale verteilt werden. Informationen werden in der Stärke der Verbindungen gespeichert, die als Gewichte bekannt sind. In einer asynchronen Weise berechnet jedes Verarbeitungselement die Summe von Produkten des Gewichtes jeder Eingangsleitung, multipliziert mit dem Signalwert (gewöhnlich 0 oder 1) auf jener Eingangsleitung. Wenn die Summe der Produkte einen voreingestellten Aktivierungsschwellenwert überschreitet, wird der Ausgang des Verarbeitungselementes auf 1 eingestellt; wenn die Summe geringer ist, wird er auf 0 eingestellt. Ein Lernen bekommt man durch Einstellung der Werte der Gewichte.
• Für die vorliegende Erfindung bekommt man die bevorzugte Ausführungsform durch Benutzung eines dreischichtigen Neuronalnetzwerks des Typs, der in der Literaturstelle von Lippman als ein "mehrschichtiges Perzeptron" bezeichnet ist und im einzelnen in Kapitel 8 der Literaturstelle von Rumelhart diskutiert wird. Andere Typen von Neuronalnetzwerksystemen können auch verwendet werden.
• Ein dreischichtiges Neuronalnetz besteht aus einer Eingangsschicht, einer Ausgangsschicht und einer verborgenen Zwischenschicht. Die Zwischenschicht ist erforderlich, um eine innere Repräsentation von Bildern innerhalb des Netzes zu erlauben. Wie von Minsky und Papert in ihrem Buch von 1969 mit dem Titel "Perceptrons" (MIT Press) gezeigt, sind einfache zweischichtige sich vereinigende Netze auf die Probemtypen beschränkt, die sie lösen können. Ein zweischichtiges Netz mit nur "Eingangs"- und "Ausgangs"-Verarbeitungselementen kann nur Pläne wiedergeben, in welchen ähnliche Eingangsbilder zu ähnlichen Ausgangsbildern führen. Wann immer das tatsächliche Textproblem nicht dieser Art ist, ist ein dreischichtiges Netz erforderlich. Es wurde gezeigt, daß mit einer genügend großen verborgenen Schicht ein dreischichtiges Neuronalnetz immer eine Repräsentation finden kann, die irgendein Eingangsbild zu irgendeinem erwünschten Ausgangsbild aufzeichnet. Ein allgemeines dreischichtiges Neuronalnetz des in der bevorzugten Ausführungsform benutzten Typs ist in Fig. 2 gezeigt.
• Mehrere wichtige Merkmale von Neuronalnetzarchitektur unterscheiden diese von bekannten Wegen zur Betätigung der Klassifiziereinrichtung 15.
• 1. Es gibt nur geringe oder gar keine Vollzugsfunktion. Es gibt nur sehr einfache Einheiten, die jeweils ihre Produktberechnungssumme leisten. Das Ziel jedes Verarbeitungselmentes ist somit darauf beschränkt, die Eingangswerte von seinen Nachbarn zu empfangen und als eine Funktion dieser Eingangswerte einen Ausgangswert zu berechnen, der es zu seinen Nachbarn sendet. Jedes Verarbeitungselement leistet diese Berechnung periodisch parallel zu den Aktivitäten jedes seiner Nachbarn, doch nicht synchronisiert mit ihnen.
• 2. Die gesamte Kenntnis liegt in den Verbindungen. Nur eine sehr kurzzeitige Speicherung kann in den Zuständen der Verarbeitungselemente auftreten. Alle Langzeitspeicherung wird durch die Werte der Verbindungsstärken oder -gewichte zwischen den Verarbeitungselementen repräsentiert. Es sind die Gesetzmäßigkeiten, die diese Gewichte errichten und sie für das Lernen modifizieren, damit sie ein Neuronalnetzmodell von einem anderen unterscheiden. Alle Kenntnis wird somit implizit in den Stärken der Verbindungsgewichte statt explizit in den Zuständen der Verarbeitungselemente wiedergegeben.
• 3. Im Gegensatz zu algorithmischen Computern und Expertensystemen ist das Ziel von Neuronalnetzlernen nicht die Formulierung eines Algorithmus oder eine Aufstellung expliziter Regeln. Während des Lernens organisiert sich ein Neuronalnetz selbst, um die Gesamteinstellung von Gewichten zu bewirken, die zu seinem Ausgangswert für einen bestimmten Eingangswert führt, der am nächsten dem entspricht, was der korrekte Ausgangswert für jenen Eingangswert sein soll. Es ist diese anpassungsfähige Erfassung von Verbindungsstärken, die es erlaubt, daß ein Neuronalnetz sich so benimmt, als kenne es die Regeln. Herkömmliche Computer zeichnen sich in Anwendungen aus, wo die Kenntnis leicht in einem expliziten Algorithmus oder einem expliziten und vollständigen Satz von Formeln wiedergegeben werden kann. Wo dies nicht der Fall ist, haben herkömmliche Computer große Schwierigkeiten. Obwohl herkömmliche Computer einen Algorithmus viel schneller als ein Mensch ausführen können, sind sie gefordert, sich der menschlichen Leistung in nichtalgorithmischen Zielen anzupassen, wie bei Bilderkennung, der Klassifizierung nächster Nachbarn und beim Erreichen der optimalen Lösung, wenn sie mit mehrfachen gleichzeitigen Beschränkungen konfrontiert werden. Wenn N Bildeexemplare erforscht werden sollen, um ein unbekanntes Eingangsbild zu klassifizieren, kann ein algorithmisches System dieses Ziel etwa in der Größenordnung der Zeit N erreichen. In einem Neuronalnetz werden alle gesuchten Kennzeichnungen gleichzeitig durch den Gesamtsatz von Verbindungsgewichten in dem gesamten System wiedergegeben. Ein Neuronalnetz kommt somit automatisch bei dem nächsten Nachbarn mit dem zweifelhaften Eingangswert in der Größenordnung der Zeit 1 im Gegensatz zur Größenordnung der Zeit N an.
• Für die vorliegende Erfindung bekommt man die bevorzugte Ausführungsform durch Benutzung eines dreischichtigen Rück ubertragungsnetzes, wie in der Literaturstelle von Rumelhart für das Neuronalnetz der Klassifizierstufe 15 beschrieben ist. Rückübertragung wird im einzelnen in der Literaturstelle von Rumelhart beschrieben. Kurz gesagt arbeitet sie folgendermaßen. Während der Netzausbildung werden Fehler (d.h. der Unterschied zwischen dem geeigneten Ausgangswert für einen Mustereingangswert und dem laufenden Netzausgangswert für jenen Ausgang) rückübertragen von der Ausgangsschicht zu der Mittelschicht und dann zu der Eingangsschicht. Diese Fehler werden bei jeder Schicht durch den Ausbildungsalogarithmus benutzt, um die Verbindungsgewichte derart erneut einzustellen, daß eine künftige Präsentation des Musterbildes zu der geeigneten Ausgangskategorie führt. Nach der Netzausbildung werden während der Einspeisung unbekannte Eingangsbilder durch das Neuronalnetz in der Musterkategorie klassifiziert, die am engsten zu ihm paßt.
• Der Ausgangswert der Neuronalnetzklassifiziereinrichtung 15 zeigt die Anwesenheit oder Abwesenheit von vorbösartigen oder bösartigen Zellen. Die Stellung der Zellen auf dem Eingangsobjektträger erhält man aus den Positionskoordinaten der X-Y-Ebene, die kontinuierlich von dem automatischen mikroskop ausgeworfen werden. Diese Positionsinformation wird zu dem Drucker oder Videodisplay 17 zusammen mit Diagnose- und Patientenidentifizierungsinformation übertragen, so daß die Klassifizierung von einem Pathologen abgelesen werden kann.
• Bei der bevorzugten Ausführungsform wird der Parallelstruktur des Neuronalnetzes durch Leitungs-Serienverarbeitung nachgeholfen, wie durch eine solche der handelsüblichen Neurocomputer-Beschleunigerplatten. Der Betrieb dieser Neurocomputer wird in der zitierten Literaturstelle Spectrum diskutiert. Das Neuronalnetzwerk ist vorzugsweise ein "Delta"- Prozessor, der ein handelsüblicher Neurocomputer der Science Applications International Corp. (SAIC) ist (siehe die obige Literaturstelle von Hecht-Nielsen), von dem demonstriert wurde, daß er eine verzögerte Bearbeitungsgeschwindigkeit von 10&sup7; Verbindungen/Sekunde in der Beschickungsweise (d.h. ohne Ausbildung) hat. Für einen typischen Zervixabstrich, der 100 000 Zellen enthält, werden 1 bis 2 % der Zellen oder etwa 1500 Abbildungen eine Verarbeitung durch die Klassifiziereinrichtung 15 erfordern. Als ein Beispiel der Datengeschwindigkeiten, die resultieren, ist anzunehmen, daß nach der Datenverdichtung ein Bild von 50 x 50 Pixel durch die Klassifiziereinrichtung 15 verarbeitet wird. Die Eingangsschicht für das Neuronalnetz besteht daher aus 2500 Bearbeitungselementen oder "Neuronen". Die Mittelschicht besteht aus etwa 25 % der Eingangsschicht oder 625 Neuronen (die Anzahl der Ausgangsneuronen ist gleich der Anzahl der interessierenden diagnostischen Kategorien; diese kleine Anzahl beeinflußt die Berechnung nicht wesentlich). Die Anzahl von Verbindungen ist somit (2500) (625) oder etwa 1,5 x 10&sup6;. Bei einer Verarbeitungsgeschwindigkeit von Verbindungen/Sekunde wird die Verarbeitung der 1500 Bilder durch die Klassifizierein richtung 15, wobei diese Bilder zu ihr durch die Klassifiziereinrichtung 14 geschickt werden, weniger als 4 min benötigen Derzeit verfügbare Ausführungsformen der Klassifiziereinrichtung 14 arbeiten mit einer Geschwindigkeit von 50 000 Zellen/min (siehe die Literaturstelle von Tien et al). Mit der Klassifiziereinrichtung 14, die mit einer Geschwindigkeit von 50 000 Zellen/min arbeitet, werden die von der Klassifiziereinrichtung 15 verbrauchten 4 min zu den von der Klassifiziereinrichtung 14 verbrauchten 2 min zu insgesamt 6 min zum Analysieren der 100 000 Zellbilder auf dem Objektträger addiert. Wie oben diskutiert, braucht eine genaue manuelle Abstrichanalyse etwa 15 min/Objektträger. Bekannte automatische Versuche unter Verwendung einer Nichtneuronalnetzausführungsform in der Klassifiziereinrichtung 15 erfordern mehr als 1 h/Objektträger. Dieses Beispiel soll in keiner Weise die tatsächliche Gestaltung der vorliegenden Erfindung beschränken, sondern eher demonstrieren, daß sie in der Lage ist, das Ziel einer Verarbeitung von Zervixabstrichen und anderen zytologischen Proben in der Zeit zu erreichen, die für einen gewerblich durchführbaren Betrieb erforderlich ist.
• Bei der bevorzugten Ausführungsform ist die Primärklassifiziereinrichtung 14 auf eine Bewertung des Zellkerns beschränkt, während die Sekundärklassifiziereinrichtung 15 sowohl den Kern als auch sein umgebendes Zytoplasma bewertet. Das Verhältnis zwischen dem Kern und dem Zytoplasma ist ein wichtiges Anzeichen für vorbösartige und bösartige Zellenklassifizierung. Bei einer alternativen Ausführungsform sind sowohl die Klassifiziereinrichtung 14 als auch die Klassifiziereinrichtung 15 auf eine Bewertung der Zellkerne beschränkt Ausgangsinformationen von der Sekundärklassifiziereinrichtung 15 werden zu einem Ausgangsmonitor und Drucker 17 geschickt, die verschiedene Informationen anzeigen können, wie wichtigerweise, ob irgendwelche Zellen bösartig oder vorbösartig erscheinen, so aussehen, als erforderten sie eine weitere Prüfung, usw.
• Fig. 3 erläutert eine alternative Ausführungsform, bei der eine weitere Neuronalnetzklassifizierstufe 16 hinzugefügt wird, um den Objektträger hinsichtlich großer Bereiche von Artefaktmaterial, d. h. anderem Material als interessierenden Einzelschichtzellen, vorzuverarbeiten. Dieses schließt Zellklumpen, Bruchstücke, Schleim, Leukozyten usw. ein. Die bei dieser Vorsichtung erhaltenen Lageinformationen werden für eine Verwendung durch den Rest des Klassifizierungssystems gespeichert. Die Informationen aus der Klassifizierstufe 16 werden benutzt, um die durch die Klassifiziereinrichtung 15 erforderliche Verarbeitung zu begrenzen. Die Klassifizierstufe 14 kann alles Material in den Bereichen ignorieren, die durch die Positionskoordinaten begrenzt werden, die von der Klassifizierein richtung 16 abgegeben werden. Dies führt dazu, daß weniger Informationen für die Verarbeitung durch die Klassifiziereinrichtung 15 ausgesandt werden. Eine Diagnose wird daher auf der Basis einer Klassifizierung nur jener Zellen durchgeführt, die außerhalb dieser Bereiche liegen. Wenn eine unzureichende Zellprobe außerhalb dieser Bereiche für eine gültige Diagnose liegt, werden diese Informationen bei 17 als eine "unzureichende Zellprobe" ausgegeben.
• Fig. 4 erläutert eine alternative Ausführungsform bei der die Bilder innerhalb der durch die Klassifiziereinrichtung 16 identifizierten Bereiche nicht ignoriert werden, sondern stattdessen von einer getrennten Klassifiziereinrichtung 18 verarbeitet werden, die parallel zu der Klassifiziereinrichtung 15 arbeitet. Die Ausbildung des Neuronalnetzes, welches die Klassifiziereinrichtung 18 umfaßt, wird der Unterscheidung von vorbösartigen und bösartigen Zellen von dem Artefaktmaterial gewidmet.
• Fig. 5 erläutert eine alternative Ausführungsform, bei der eine zusätzliche Nichtneuronalnetzklassifizierung von morphologischen Kernkomponenten, ausgenommen integrierte optische Dichte, zwischen der Klassifiziereinrichtung 14 und der Klassifiziereinrichtung 15 angeordnet wird. Diese Klassifizierung wird mit der Klassifiziereinrichtung 19 durchgeführt.
• Fig. 6 erläutert eine alternative Ausführungsform, bei welcher ein handelsüblicher SAIC- Neurocomputer für Zufuhrverarbeitung 20 optimiert wird. Durch Streichung der Lernkapazität werden alle Neurocomputerfunktionen dem Zuführbetrieb gewidmet. Das Lernen wird auf einem separaten unmodifizierten Neurocomputer vervollständigt, der sowohl die Lern- als auch die Zuführfunktionen enthält.
• Nach der Beendigung des Lernens werden die Endverbindungsgewichte zu dem optimierten Zuführneurocomputer 20 überführt. Die Tatsache, daß der Neurocomputer 20 der Zuführung gewidmet wird, führt zu einer unterstützten Beschickungsgeschwindigkeit von 10&sup8; Verbindungen/Sekunde gegenüber 10&sup7; Verbindungen/Sekunde für die nichtoptimierte Ein-
• um die Funktionen der Klassifiziereinrichtungen 14 und 16 in den Fig. 1, 3, 4 und 5 auszuführen. Durch Benutzung der Neuronalnetzklassifiziereinrichtung 20 zur Durchführung der Funktion der statistischen Klassifiziereinrichtung 14 würden nichtsdestoweniger interessierende Zellen, die nicht notwendigerweise bösartige Zervixzellen sind und die daher nicht die Schwelle der integrierten optischen Dichtung der Klassifiziereinrichtung 14 überschreiten, ermittelt werden. Ein Beispiel wäre die Feststellung endometrischer Zellen, die, obwohl sie nicht notwendigerweise ein Anzeichen für Zervixbösartigkeit sind, ein Anzeichen für Uterusbösartigkeit sind, wenn man sie in dem Pap-Abstrich einer Postmenopausenpatientin findet.
• Als ein Beispiel der Datengeschwindigkeiten, die man bei dieser Ausführungsform in Fig. 6 bekommt, werden Außenobjektträgerabmessungen von 15 x 45 mm oder eine Gesamtobjektträgerfläche von 675 x 10&sup6; µm² unterstellt. Das Neuronalnetz 20 verarbeitet ein gleitendes Fenster über dieser Fläche zur Analyse. Dieses Fenster hat Abmessungen von 20 x 20 µm oder eine Fläche von 400 µm². Es gibt daher 1,5 x 10&sup6; dieser Fenster auf dem Objektträger von 15 x 45 mm. Für die Primärklassifizierungsfunktion, die von dem Neuronalnetz 20 durchgeführt wird, ist eine Auflösung von 1 µm/Pixel ausreichend, um jene Objekte festzustellen, die zu der sekundären Neuronalnetzklassifiziereinrichtung 15 für weitere Analyse geschickt werden müssen. Das Eingangsbild für das Bildfenster, welches durch die Klassifiziereinrichtung 20 analysiert wird, ist daher 20 x 20 Pixel oder 400 Neuronen zu der Eingangsschicht des Neuronalnetzes 20. Die Mittelschicht besteht aus etwa 25 % der Eingangsschicht oder 100 Neuronen (wie oben bei der Datengeschwindigkeitsberechnung für die Klassifiziereinrichtung 15 diskutiert, ist die Anzahl der Ausgangsschichtneuronen klein und beeinflußt unsere Ergebnisse nicht wesentlich). Die Anzahl der Verbindungen in der Klassifiziereinrichtung 20 ist somit etwa (400) (100) oder 40 x 10³. Bei einer Verarbeitungsgeschwindigkeit von 10&sup8; Verbindungen/Sekunde wird jedes Bild von dem gleitenden Fenster 400 µsec zur Klassifizierung des Neu ronalnetzes 20 benötigen. Bei einem Objektträger von 15 x 45 mm gibt es 1,5 x 10&sup6; der Fenster mit 400 µm, die eine Klassifizierung durch das Neuronalnetz 20 erfordern. Die gesamte Klassifizierungszeit für das Neuronalnetz 20 ist daher (1,5 x 10&sup6;) (400 x 10&supmin;&sup6;) = 600 sec oder 10 min. Wenn diese 10 min zu den etwa 4 min hinzugezählt werden, die für die sekundäre Neuronalnetzklassifiziereinrichtung 15 erforderlich sind, bekommt man insgesamt 14 min/Objektträger. Dieses Beispiel soll die tatsächliche Ausgestaltung der vorliegenden Erfindung keineswegs beschränken, sondern eher demonstrieren, daß es möglich ist, das Ziel einer Verarbeitung von Zervixabstrichen und anderer zytologischer Proben in der Zeit zu erreichen, die für gewerblich durchführbaren Betrieb erforderlich ist.
• Die Geschwindigkeit der Verarbeitungsdaten kann auch durch Verwendung von Parallelverarbeitung verbessert werden. Beispielsweise können mehrere handelsübliche Neurocomputer von SAIC gekoppelt werden, um eine parallele Datenverarbeitung zu bewirken und so die Gesamtgeschwindigkeit der Klassifiziereinrichtungen unter Verwendung derselben zu erhöhen.
• Fig. 7 erläutert eine alternative Ausführungsform, bei welcher die primäre Neuronalnetzklassifizierung 20 in Verbindung mit morphologischer Klassifizierung und Flächenklassifizierung statt Ersatz hiervon benutzt wird. Indem man die Klassifiziereinrichtung 20 dem Auffinden jener wenigen Zelltypen widmet, die von Interesse sind, die aber nicht durch andere Einrichtungen festgestellt werden können, wird die erforderliche Auflösung der Klassifiziereinrichtung 20 minimiert.
• Obwohl die vorliegende Erfindung für die derzeit bevorzugte Ausführungsform beschrieben wurde, ist sie so zu verstehen, daß eine solche Beschreibung nicht als Beschränkung interpretiert werden darf. Verschiedene Anwandlungen und Modifikationen liegen für den Fachmann zweifellos auf der Hand, nachdem er die obige Beschreibung gelesen hat.

Claims (23)

1. Automatisierte Klassifiziereinrichtung für zytologische Proben mit

einem Mikroskop (11), um eine Ansicht wenigstens eines Teils einer zytologischen Probe zu erhalten,

einer Kamera (12), um ein Bild einer solchen Ansicht zu erzeugen,

einem Bilddigitalumsetzer (13), um eine digitale Darstellung einer solchen Ansicht zu erzeugen,

einer primären statistischen Klassifiziereinrichtung (14), um interessierende Bereiche der Probe durch Ermittlung von Zellen in der digitalen Darstellung auf der Basis eines optischen Merkmals, die wahrscheinlich Zellen eines vorbestimmten Typs zu sein scheinen, und anderer Zellen und von Material in der digitalen Darstellung, die am Anfang ähnlich der vorbestimmten Type zu sein scheinen, auszuwählen und

einer sekundären Klassifiziereinrichtung (15), um die ausgewählten interessierenden Bereiche zu analysieren, um zu versuchen, Zellen der vorbestimmten Type in den ausgewählten Bereichen zu unterscheiden, dadurch gekennzeichnet, daß die sekundäre Klassifiziereinrichtung eine Neuronalcomputerapparatur (15) umfaßt, die so eingearbeitet wurde, daß sie Zellen der vorbestimmten Type unter willkürlich angeordneten Zellen und anderem Material der Probe unterscheidet.

2. Automatisierte Klassifiziereinrichtung nach Anspruch 1, bei der die vorbestimmte Zelltype bösartige und vorbösartige Zellen umfaßt.

3. Automatisierte Klassifiziereinrichtung nach Anspruch 1 oder 2, weiterhin mit einer Neuronalnetzvorsichtungsklassifiziereinrichtung (16), um allgemeine Bereiche in der digitalen Darstellung, die anderes Material als eine Zellmonoschicht darstellen, vor der primären Klassifizierung zu identifizieren.

4. Automatisierte Klassifiziereinrichtung nach Anspruch 1 oder 2 weiterhin mit einer Zwischen klassifizierein richtung (19), um eine zusätzliche Nichtneuronalnetzklassifizierung von Komponenten von Kernmorphologie zu machen, wobei diese Zwischenklassifizierung zwischen der primären Klassifiziereinrichtung und der sekundären Klassifiziereinrichtung eingeschaltet ist.

5. Automatisierte Klassifiziereinrichtung nach einem der vorausgehenden Ansprüche, bei der das Mikroskop ein automatisiertes Mikroskop (11) umfaßt.

6. Automatisierte Klassifiziereinrichtung nach einem der vorausgehenden Ansprüche, bei der die Kamera eine Videokamera (12) umfaßt.

7. Automatisierte Klassifiziereinrichtung nach einem der vorausgehenden Ansprüche, bei der die Kamera eine ladungsgekoppelte Einrichtung umfaßt.

8. Automatisierte Klassifiziereinrichtung nach einem der vorausgehenden Ansprüche, bei der die primäre Klassifiziereinrichtung eine Apparatur umfaßt, um Zellen in einer solchen digitalen Darstellung einer zytologischen Probe, die ein optisches Merkmal hat, das einen Schwellenwert überschreitet, festzustellen.

9. Automatisierte Klassifiziereinrichtung nach Anspruch 8, bei der das optische Merkmal die integrierte optische Dichte ist.

10. Automatisierte Klassifiziereinrichtung nach einem der Ansprüche 1 bis 7, bei der die primäre Klassifiziereinrichtung eine Apparatur umfaßt, um Zellen in einer solchen digitalen Darstellung der zytologischen Probe auf der Basis morphologischer Kriterien festzustellen.

11. Verfahren zur Klassifizierung einer zytologischen Probe mit einer primären statistischen Klassifizierungsstufe, in welcher interessierende Bereiche der Probe auf der Basis eines optischen Merkmals ausgewählt werden, indem man Zellen, die wahrscheinlich von einer vorbestimmten Type zu sein scheinen, und andere Zellen und Material, die anfangs ähnlich der vorbestimmten Zelltype zu sein scheinen, feststellt, und

einer zweiten Klassifizierungsstufe, in welcher die ausgewählten interessierenden Bereiche weiter analysiert werden, um Zellen der vorbestimmten Type in den ausgewählten Bereichen zu unterscheiden, dadurch gekennzeichnet, daß die sekundäre Klassifizierungsstufe ein Neuronalnetzwerk verwendet, das auf einer Klassifizierungsfunktion beruht, welche angelernt wurde, um Zellen der vorbestimmten Type unter willkürlich angeordneten Zellen und anderm Material der Probe zu untercheiden.

12. Verfahren nach Anspruch 11, bei dem die vorbestimmte Zelltype bösartige oder vorbösartige Zellen umfaßt.

13. Verfahren nach Anspruch 11 oder 12, bei dem die primäre Klassifizierungsstufe darin besteht, daß man Bilder der Probe erhält, diese Bilder digitalisiert und eine integrierte Funktion der optischen Dichte auf solchen digitalisierten Bildern erzeugt.

14. Verfahren nach Anspruch 11 oder 12, bei dem die primäre statistische Klassifizierungsstufe die Durchführung einer Neuronalnetzwerkanalyse umfaßt.

15. Verfahren nach Anspruch 11 oder 12, bei dem die primäre statistische Klassifizierungsstufe eine Klassifizierung auf Morphologiebasis umfaßt.

16. Verfahren nach Anspruch 11 oder 12, bei dem die primäre Klassifizierungsstufe eine solche primäre Klassifizierung auf der Basis integrierter optischer Dichte umfaßt.

17. Verfahren nach einem der Ansprüche 11 bis 16, bei dem die primäre Klassifizierungsstufe auf eine Bewertung des Zellkernes beschränkt wird, während die sekundäre Klassifizierungsstufe sowohl den Zellkern als auch sein umgebendes Zytoplasma bewertet.

18. Verfahren nach einem der Ansprüche 11 bis 16, bei dem sowohl die primäre Klassifizierungsstufe als auch die sekundäre Klassifizierungsstufe auf eine Bewertung des Zellkernes beschränkt werden.

19. Verfahren nach einem der Ansprüche 11 bis 18, weiterhin mit der Stufe einer Vorsichtung der Probe durch Klassifizierung auf Neuronalnetzwerkbasis zum Erkennen und Klassifizieren allgemeiner Flächen in einer Probe, die anderes Material als eine Zellmonoschicht enthalten.

20. Verfahren nach Anspruch 19, bei dem der Ausgangswert von der Vorsichtungsstufe benutzt wird, die identifizierten Bereiche von der Analyse durch die sekundäre Klassifizierungsstufe auszuschließen.

21. Verfahren nach Anspruch 20, bei dem der Ausgangswert von der Vorsichtungsstufe dazu benutzt wird, sekundäre Klassifizierung von Bildern zu modifizieren, die man in den Bereichen der Probe findet, welche durch die Vorsichtungsstufe identifiziert wurden.

22. Verfahren nach einem der Ansprüche 11 bis 21, weiterhin mit der Stufe eines fortgesetzten Anlernens der Klassifizierungsfunktion auf Neuronalnetzwerkbasis, um interessierende Zellen zu identifizieren.

23. Verfahren nach einem der Ansprüche 11 bis 22, bei dem die zytologische Probe eine Zervixabstrichprobe ist.