DE112014006672T5

DE112014006672T5 - Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm

Info

Publication number: DE112014006672T5
Application number: DE112014006672.9T
Authority: DE
Inventors: Shunichi Koga
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-06-10
Filing date: 2014-12-01
Publication date: 2017-02-23
Also published as: CN106461928B; JP6422967B2; US20170076481A1; CN106461928A; JPWO2015190013A1; US9990752B2; WO2015190013A1

Abstract

Es werden eine Bildverarbeitungsvorrichtung und dergleichen, die in der Lage ist, eine Abschattungskorrektur mit hoher Genauigkeit in kurzer Zeit durchzuführen, bereitgestellt. Die Bildverarbeitungsvorrichtung umfasst: eine Bilderfassungseinheit (11), die erste und zweite Bildgruppen erfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit anderen Bildern in jede von unterschiedlichen ersten und zweiten Richtungen erfasst; eine Abschattungskomponenten-Berechnungseinheit (121), die – als Abschattungskomponente für jede der Bildgruppen – ein Verhältnis einer Leuchtdichte eines Bereichs in einem Bild, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, zu einer Leuchtdichte des weiteren Bereichs, der einen Fachbereich umfasst, wobei eine Abschattungskomponente in einem weiteren Bild konstant ist, berechnet; und eine Bildkorrektureinheit (122), die eine Abschattungskorrektur an Bereichen in den Bildern durchführt. Die Abschattungskomponente umfasst eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz und die Bildkorrektureinheit führt die Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente durch.

Description

Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, eine Bildgebungsvorrichtung, ein Mikroskopsystem, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm zum Durchführen einer Bildverarbeitung an einem Bild, das durch Abbilden eines Prüfkörpers oder dergleichen erfasst wurde.
Hintergrund
In den letzten Jahren wurde eine sogenannte Virtueller-Objektträger-Technologie entwickelt, die ein durch Abbilden eines auf einem Objektträgerglas platziertes Prüfkörpers erfasstes Bild als elektronische Daten aufzeichnet und einem Benutzer ermöglicht, das Bild auf einem Monitor eines Personal Computer oder dergleichen zu beobachten. Gemäß der Virtueller-Objektträger-Technologie wird durch sequentielles Zusammenfügen von Teilbildern eines Prüfkörpers, die durch ein Mikroskop vergrößert sind, ein hochauflösendes Bild konstruiert, auf dem der gesamte Prüfkörper gezeigt ist. Anders ausgedrückt ist die Virtueller-Objektträger-Technologie eine Technologie zum Erzeugen eines Bildes, dessen Sichtfeld für ein Subjekt vergrößert wird, indem eine Mehrzahl von Bildern des gleichen Subjekts mit unterschiedlichen Sichtfeldern erfasst wird und die Bildern zusammengefügt werden.
Ein Mikroskop umfasst eine Lichtquelle zum Beleuchten eines Prüfkörpers und ein optisches System zum Vergrößern eines Bilds des Prüfkörpers. In einer späteren Stufe des optischen Systems wird ein Bildsensor zum Umwandeln eines Bildes eines vergrößerten Prüfkörpers in elektronische Daten bereitgestellt. Aus diesem Grund kann es durch eine ungleichmäßige Beleuchtung einer Lichtquelle, ein nicht-einheitliches optisches System, unregelmäßige Charakteristika eines Bildsensors und dergleichen in einem erfassten Bild zu Helligkeitsunregelmäßigkeiten kommen. Diese Helligkeitsunregelmäßigkeiten werden Abschattung genannt und im Allgemeinen ist ein Teil eines Bilds dunkler als der Teil, der sich weiter von der Mitte des Bilds entfernt befindet, die der Position einer optischen Achse des optischen Systems entspricht. Aus diesem Grund wird, wenn ein Virtueller-Objektträger-Bild durch Zusammenfügen einer Mehrzahl von Bildern erzeugt wird, eine unnatürliche Grenze in einem Abschnitt gebildet, der die Bilder zusammenfügt. Da die Abschattung durch Zusammenfügen der Mehrzahl von Bildern wiederholt wird, wird das Virtueller-Objektträger-Bild so gesehen, als ob ein periodisches Muster im Prüfkörper vorhanden wäre.
Für eine solche Situation ist eine Abschattungskorrekturtechnologie bekannt, die ein Abschattungsmuster vorab als Kalibrierungsbild erfasst und ein Bild, auf dem ein Prüfkörper gezeigt ist, auf Basis des Kalibrierungsbildes korrigiert. Beispielsweise offenbart Patentliteratur 1 eine Abschattungskorrekturtechnik, wobei eine Bildgebung durchgeführt wird, wenn ein Prüfkörper außerhalb des Sichtwinkels des optischen Systems zum Zeitpunkt einer Durchlichtbeobachtung (Transmitting Illumination Observation) zurückgezogen ist, und ein Bild, das durch Durchführen einer Bildgebung, wenn ein Reflexionselement innerhalb des Sichtwinkels des optischen Systems angeordnet ist, wird als Kalibrierungsbild zum Zeitpunkt einer Auflichtbeobachtung verwendet.
Patentliteratur 2 offenbart ein Verfahren zum Erfassen von Daten, die für eine Abschattungskorrektur verwendet werden, indem eine Bildgebung unter Verwendung einer gleichmäßigen fluoreszierenden Probe als Kalibrierungsprobe zum Zeit einer Fluoreszenzbeobachtung durchgeführt wird.
Patentliteratur 3 offenbart eine Technik, wobei ein Referenzsichtfeldbild, das ein Bild in einem vordefinierten Sichtfeldbereich einer Probe ist, aufgenommen wird, die Position der Probe in Bezug auf ein optisches System relativ bewegt wird, eine Mehrzahl von peripheren Sichtfeldbildern, die ein vordefiniertes Gebiet innerhalb des vordefinierten Sichtfeldbereichs umfassen und Bilder eines peripheren Sichtfeldbereichs sind, der sich von dem vordefinierten Sichtbereich unterscheidet, aufgenommen wird und eine Korrekturverstärkung jedes Pixels des Referenzsichtfeldbildes auf Basis des Referenzsichtfeldbildes und der peripheren Sichtfeldbilder berechnet wird.
Liste der Referenzschriften
Patentliteratur

Patentliteratur 1: JP 2006-171213 A
Patentliteratur 2: JP 2008-51773 A
Patentliteratur 3: JP 2013-257422 A

Kurzdarstellung
Technisches Problem
Wenn ein zu beobachtender Prüfkörper jedoch einmal nachbehandelt oder ein Reflexionselement zusätzlich angeordnet ist, um ein Kalibrierungsbild zu erfassen, wird der Vorgang kompliziert und erfordert viel Arbeitsaufwand und die Bildgebungszeit wird lang. Angesichts dieses Punkts ist in der Patentliteratur 1 eine dedizierte Funktion zum Erfassen eines Kalibrierungsbildes vorgesehen, wie z. B. ein Antriebsmechanismus, der zum Nachbehandeln eines Prüfkörpers verwendet wird. Da eine solche Funktion in einem allgemeinen Mikroskop für eine praktische Anwendung nicht vorgesehen ist, wird die Konfiguration kompliziert und die Kosten werden signifikant erhöht.
Wenn wie in der Patentliteratur 2 eine Kalibrierungsprobe verwendet wird, muss neben Vorgängen wie z. B. dem Anordnen und dem Zurückziehen der Kalibrierungsprobe außerdem die Kalibrierungsprobe ohne jedwede Zerstörung, Anhaftung von Abfallstoffen und dergleichen gehandhabt werden und ist dies mit unnötigem Zeitaufwand verbunden. Des Weiteren ist es, da sich das Herstellen einer gleichmäßig fluoreszierenden Probe, die als Kalibrierungsprobe zum Zeitpunkt einer Fluoreszenzbeobachtung verwendet werden kann, äußerst schwierig gestaltet, auch schwierig, die Abschattung mit hoher Genauigkeit zu korrigieren.
Außerdem wird in der Patentliteratur 3 nicht in Erwägung gezogen, die Anzahl der Häufigkeit des Durchführens einer Bildgebung unter Bewegung der Probe und einen Zeitraum, der für eine Abschattungskorrektur für eine Kombination aus einem Referenzsichtfeldbild und einem peripheren Sichtfeldbild erforderlich ist, zu verringern.
Die vorliegende Erfindung wurde unter Berücksichtigung des Vorstehenden entwickelt und ein Ziel der Erfindung liegt in der Bereitstellung einer Bildverarbeitungsvorrichtung, einer Bildgebungsvorrichtung, eines Mikroskopsystems, eines Bildverarbeitungsverfahrens und eines Bildverarbeitungsprogramms, das in der Lage ist, eine Abschattungskorrektur mit hoher Genauigkeit in kurzer Zeit durchzuführen.
Lösung des Problems
Um das oben beschriebene Problem zu lösen und das Ziel zu erreichen, umfasst eine Bildverarbeitungsvorrichtung gemäß der Erfindung: eine Bilderfassungseinheit, die so konfiguriert ist, dass sie erste und zweite Bildgruppen erfasst, die eine Mehrzahl von Bildern umfassen, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest eines der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; eine Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie als Abschattungskomponente ein Verhältnis einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen berechnet; und eine Bildkorrektureinheit, die so konfiguriert ist, dass sie die Abschattungskorrektur in Bereichen der Bilder unter Verwendung der Abschattungskomponente durchführt. Die Abschattungskomponente umfasst eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz. Die Bildkorrektureinheit ist so konfiguriert, dass sie die Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente durchführt.
Bei der Bildverarbeitungsvorrichtung umfasst die Abschattungskomponenten-Berechnungseinheit: eine erste Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie die Abschattungskomponente auf Basis einer Leuchtdichte eines Bereichs, der den Flachbereich in dem einzelnen Bild umfasst und in Bezug auf den Flachbereich in die zweite Richtung ausgerichtet ist, auf Basis der ersten Bildgruppe berechnet; und eine zweite Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie die Abschattungskomponente auf Basis einer Leuchtdichte eines Bereichs, der den Flachbereich in dem einzelnen Bild umfasst und in Bezug auf den Flachbereich in die erste Richtung ausgerichtet ist, auf Basis der zweiten Bildgruppe berechnet.
Bei der Bildverarbeitungsvorrichtung umfasst die Bildkorrektureinheit: eine erste Bildkorrektureinheit, die so konfiguriert ist, dass sie die Abschattungskorrektur an einem ersten Bereich der Bereiche in den Bildern unter Verwendung der normalisierten Abschattungskomponente durchführt, die für den ersten Bereich berechnet wurde; und eine zweite Bildkorrektureinheit, die so konfiguriert ist, dass sie die Abschattungskorrektur an einem zweiten Bereich der Bereiche in den Bildern, wobei die normalisierte Abschattungskomponente für den zweiten Bereich nicht berechnet wurde, unter Verwendung der nicht-normalisierten Abschattungskomponente für den zweiten Bereich und unter Verwendung der normalisierten Abschattungskomponente, die für einen Bereich berechnet wurde, der als Referenz verwendet wird, wenn die nicht-normalisierte Abschattungskomponente für den zweiten Bereich berechnet wird, durchführt.
Bei der Bildverarbeitungsvorrichtung ist die zweite Bildkorrektureinheit so konfiguriert, dass sie die Abschattungskorrektur unter Verwendung der nicht-normalisierten Abschattungskomponente, die aus einem der ersten und zweiten Bildgruppen berechnet wurde, und unter Verwendung der normalisierten Abschattungskomponente, die aus dem anderen der ersten und zweiten Bildgruppen berechnet wurde, durchführt.
Bei der Bildverarbeitungsvorrichtung ist, wenn eine Abschattungskomponente für einen Teilbereich in dem einzelnen Bild bekannt ist, die Abschattungskomponenten-Berechnungseinheit so konfiguriert, dass sie die Abschattungskomponente für den Bereich in dem einen oder den mehreren Bildern unter Verwendung einer Leuchtdichte des Teilbereichs, der Leuchtdichte des Bereichs in dem einen oder den mehreren Bildern, der das gemeinsame Subjekt mit dem Teilbereich gemein hat, und der bekannten Abschattungskomponente berechnet.
Bei der Bildverarbeitungsvorrichtung ist die Abschattungskomponenten-Berechnungseinheit auf Basis einer Mehrzahl von Kombinationen des einzelnen Bildes und des einen oder der mehreren Bilder so konfiguriert, dass sie für jede der ersten und zweiten Bildgruppen eine Mehrzahl von Abschattungskomponenten für die Bereiche in den Bildern berechnet, bei denen es sich nicht um das einzelne Bild handelt, und einen Durchschnitt der Mehrzahl von Abschattungskomponenten berechnet.
Bei der Bildverarbeitungsvorrichtung ist die Abschattungskomponenten-Berechnungseinheit so konfiguriert, dass sie die Abschattungskomponente für jede der ersten und zweiten Bildgruppen auf Basis einer Mehrzahl von Kombinationen des einzelnen Bildes und des einen oder der mehreren Bilder berechnet, wobei die Mehrzahl von Kombinationen unterschiedliche Texturkomponenten in gemeinsamen Bereichen aufweist, wo das einzelne Bild und das eine oder die mehreren Bilder das gemeinsame Subjekt gemein haben.
Bei der Bildverarbeitungsvorrichtung ist die Abschattungskomponenten-Berechnungseinheit so konfiguriert, dass sie Werte der Leuchtdichte entsprechender Bereiche zwischen der Mehrzahl von Bildern für jede der ersten und zweiten Bildgruppen sammelt und die Abschattungskomponente unter Verwendung der gesammelten Werte berechnet.
Bei der Bildverarbeitungsvorrichtung ist die Abschattungskomponenten-Berechnungseinheit so konfiguriert, dass sie eine Mehrzahl von Abschattungskomponenten auf Basis der Mehrzahl von Kombinationen berechnet und einen Durchschnitt der Mehrzahl von Abschattungskomponenten berechnet.
Bei der Bildverarbeitungsvorrichtung ist die Abschattungskomponenten-Berechnungseinheit so konfiguriert, dass sie die Abschattungskomponente der Bereiche in den Bildern unter Verwendung von zwei nicht-normalisierten Abschattungskomponenten, die für die Bereiche in den Bildern berechnet wurden, auf Basis der ersten und zweiten Bildgruppen, und unter Verwendung von zwei normalisierten Abschattungskomponenten, die für zwei Bereiche berechnet wurden, die als Referenz verwendet werden, wenn die zwei nicht-normalisierten Abschattungskomponenten berechnet werden, berechnet.
Die Bildverarbeitungsvorrichtung umfasst des Weiteren eine Flachbereichsucheinheit, die so konfiguriert ist, dass sie auf Basis eines Gradienten der Leuchtdichte von Pixeln, die in einem Bereich umfasst sind, wo das einzelne Bild und das eine oder die mehreren Bilder das gemeinsame Subjekt gemein haben, nach dem Flachbereich sucht.
Bei der Bildverarbeitungsvorrichtung verlaufen die ersten und zweiten Richtungen orthogonal zueinander.
Eine Bildgebungsvorrichtung gemäß der Erfindung umfasst: die optische Bildverarbeitungsvorrichtung; ein optisches System, das so konfiguriert ist, dass es ein Bild des Subjekts erzeugt; eine Bewegungseinheit, die so konfiguriert ist, dass sie zumindest eines des Subjekts und des optischen Systems bewegt, um ein Sichtfeld des optischen Systems in Bezug auf das Subjekt zu bewegen; und eine Bildgebungseinheit, die so konfiguriert ist, dass sie das Subjekt abbildet. Die Bilderfassungseinheit ist so konfiguriert, dass sie die Bildgebungseinheit steuert, um eine Bildgebung durchzuführen, während sie die Bewegungseinheit veranlasst, das Sichtfeld in die ersten und zweiten Richtungen zu bewegen, um die ersten und zweiten Bildgruppen zu erfassen.
Ein Mikroskopsystem gemäß der Erfindung umfasst die Bildgebungsvorrichtung und eine Plattform, wobei das Subjekt so konfiguriert ist, dass es auf dieser platziert wird. Die Bewegungseinheit ist so konfiguriert, dass sie zumindest eines der Plattform und des optischen Systems bewegt.
Beim Mikroskopsystem umfasst die Bildverarbeitungsvorrichtung des Weiteren eine Einheit zum Erzeugen von virtuellen Objektträgern, die so konfiguriert ist, dass sie Bildern, deren Sichtfelder einander benachbart liegen, die in den ersten und zweiten Bildgruppen umfasst sind, zusammenfügt, um ein virtuelles Objektträgerbild zu erzeugen.
Ein Bildverarbeitungsverfahren gemäß der Erfindung umfasst: einen Bilderfassungsschritt des Erfassens von ersten und zweiten Bildgruppen, die eine Mehrzahl von Bildern umfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest einem der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; einen Abschattungskomponenten-Berechnungsschritt des Berechnens – als Abschattungskomponente – eines Verhältnisses einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen; und einen Bildkorrekturschritt des Durchführens einer Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der Abschattungskomponente. Die Abschattungskomponente umfasst eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz. Der Bildkorrekturschritt umfasst das Durchführen der Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente.
Ein Bildverarbeitungsprogramm gemäß der Erfindung veranlasst einen Computer, durchzuführen: einen Bilderfassungsschritt des Erfassens von ersten und zweiten Bildgruppen, die eine Mehrzahl von Bildern umfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest einem der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; einen Abschattungskomponenten-Berechnungsschritt des Berechnens – als Abschattungskomponente – eines Verhältnisses einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen; und einen Bildkorrekturschritt des Durchführens einer Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der Abschattungskomponente. Die Abschattungskomponente umfasst eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz. Der Bildkorrekturschritt umfasst das Durchführen der Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung werden erste und zweite Bildgruppen erfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest einem der anderen Bilder in ersten und zweiten Richtung gemein haben, und werden eine normalisierte Abschattungskomponente und eine nicht-normalisierte Abschattungskomponente auf Basis einer Leuchtdichte eines Bereichs, der einen Flachbereich umfasst, für jede der ersten und zweiten Bildgruppen berechnet, und wird eine Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente durchgeführt. Demgemäß ist es möglich, die Anzahl von Bildern, die für die Berechnung der Abschattungskomponenten erforderlich ist, zu verringern und die Abschattungskorrektur mit hoher Genauigkeit in kurzer Zeit unter Verwendung einer einfachen Konfiguration durchzuführen.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockschaubild, das ein Beispiel der Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung veranschaulicht.
2 ist ein schematisches Schaubild, das den Betrieb einer Bilderfassungseinheit veranschaulicht, die in 1 gezeigt ist.
3 ist ein schematisches Schaubild, das den Grundsatz der Bildverarbeitung veranschaulicht, die von einer in 1 gezeigten Bildverarbeitungseinheit durchgeführt wird.
4 ist ein Ablaufplan, der den Betrieb der in 1 gezeigten Bildverarbeitungsvorrichtung veranschaulicht.
5 ist ein schematisches Schaubild, das eine Bewegungshöhe zum Bewegen eines Bildgebungssichtfelds pro einmalige Durchführung einer Bildgebung veranschaulicht.
6 ist ein schematisches Schaubild, das ein Verfahren zum Bildgeben eines Subjekts veranschaulicht.
7 ist ein schematisches Schaubild, das ein Verfahren zum Bildgeben eines Subjekts veranschaulicht.
8 ist ein schematisches Schaubild, das fünf Bilder veranschaulicht, die durch fünfmaliges Durchführen einer Bildgebung erfasst wurden, während das Bildgebungssichtfeld in horizontaler Richtung bewegt wird.
9 ist ein schematisches Schaubild, das eine Horizontalrichtungs-Abschattungskomponente veranschaulicht, die in einer in 1 gezeigten Speichereinheit gespeichert ist.
10 ist ein schematisches Schaubild, das Vertikalrichtungs-Abschattungskomponenten veranschaulicht, die in der in 1 gezeigten Speichereinheit gespeichert sind.
11 ist ein schematisches Schaubild, das einen Bildkorrekturprozess veranschaulicht, der von einer in 1 gezeigten Bildkorrektureinheit durchgeführt wird.
12 ist ein Ablaufplan, der den Bildkorrekturprozess ausführlich veranschaulicht, der von der in 1 gezeigten Bildkorrektureinheit durchgeführt wird.
13 ist ein schematisches Schaubild, das ein weiteres Beispiel für einen Bildkorrekturprozess veranschaulicht, der von einer zweiten in 1 gezeigten Bildkorrektureinheit durchgeführt wird.
14 ist ein schematisches Schaubild, das ein Verfahren zum Aufnehmen eines Bildes, das zum Berechnen von Abschattungskomponenten verwendet wird, gemäß einer zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
15 ist ein schematisches Schaubild, das ein Verfahren zum Berechnen von Abschattungskomponenten gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
16 ist ein schematisches Schaubild, das ein Verfahren zum Berechnen einer Abschattungskomponente gemäß einer dritten Ausführungsform der vorliegenden Erfindung veranschaulicht.
17 ist ein schematisches Schaubild, das ein Verfahren zum Berechnen von Abschattungskomponenten gemäß einer vierten Ausführungsform der vorliegenden Erfindung veranschaulicht.
18 ist ein Blockschaubild, das ein Beispiel der Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer siebten Ausführungsform der vorliegenden Erfindung veranschaulicht.
19 ist ein schematisches Schaubild, das ein Horizontalrichtungsbild veranschaulicht, das von einer Flachbereichsucheinheit erzeugt wurde, die in 18 gezeigt ist.
20 ist ein schematisches Schaubild, das ein Vertikalrichtungsbild veranschaulicht, das von der Flachbereichsucheinheit erzeugt wurde, die in 18 gezeigt ist.
21 ist ein schematisches Schaubild, das das in 19 gezeigte Horizontalrichtungsbild in Pixeleinheiten veranschaulicht.
22 ist ein schematisches Schaubild, das das in 20 gezeigte Vertikalrichtungsbild in Pixeleinheiten veranschaulicht.
23 ist ein schematisches Schaubild, das Abschattungskomponenten der Horizontalrichtung veranschaulicht, die in einer in 18 gezeigten Speichereinheit gespeichert sind.
24 ist ein schematisches Schaubild, das Abschattungskomponenten der Vertikalrichtung veranschaulicht, die in der in 18 gezeigten Speichereinheit gespeichert sind.
25 ist ein Schaubild, das ein Beispiel der Konfiguration eines Mikroskopsystems gemäß einer achten Ausführungsform der vorliegenden Erfindung veranschaulicht.
26 ist ein schematisches Schaubild, das einen Vorgang des Erfassens einer Mehrzahl von Bildern gemäß der achten Ausführungsform der vorliegenden Erfindung veranschaulicht.
Beschreibung von Ausführungsformen
Im Folgenden werden eine Bildverarbeitungsvorrichtung, eine Bildgebungsvorrichtung, ein Mikroskopsystem, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm gemäß einigen Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Die vorliegende Erfindung ist nicht auf die Ausführungsformen beschränkt. Die gleichen Bezugszeichen werden verwendet, um in den gesamten Zeichnungen die gleichen Elemente auszuweisen.
(Erste Ausführungsform)
1 ist ein Blockschaubild, das ein Beispiel der Konfiguration einer Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung veranschaulicht. Wie in 1 veranschaulicht, umfasst die Bildverarbeitungsvorrichtung 1 gemäß der ersten Ausführungsform: eine Bilderfassungseinheit 11, die ein Bild erfasst, auf dem ein Subjekt als Beobachtungsziel gezeigt ist; eine Bildverarbeitungseinheit 12, die eine Bildverarbeitung für das Bild durchführt; und eine Speichereinheit 13.
Die Bilderfassungseinheit 11 erfasst eine Mehrzahl von Bildern mit unterschiedlichen Bildgebungssichtfeldern für ein Subjekt. Die Bilderfassungseinheit 11 kann die Mehrzahl von Bildern direkt aus der Bildgebungsvorrichtung erfassen oder kann die Bilder durch ein Netzwerk, eine Speichervorrichtung oder dergleichen erfassen. Bei der ersten Ausführungsform erfasst die Bilderfassungseinheit 11 Bilder direkt aus der Bildgebungsvorrichtung. Hier unterliegt die Art der Bildgebungsvorrichtung keinen besonderen Beschränkungen, sondern kann z. B. eine Mikroskopvorrichtung mit einer Bildgebungsfunktion oder eine Digitalkamera sein.
2 ist ein schematisches Schaubild, das den Betrieb der Bilderfassungseinheit 11 veranschaulicht und ein optisches System 30 der Bildgebungsvorrichtung, ein Subjekt SP und ein Bildgebungssichtfeld V des optischen Systems 30 veranschaulicht. Um die Position des Bildgebungssichtfelds V für das Subjekt SP der einfacheren Beschreibung wegen klar darzustellen, ist die Position des optischen Systems 30 in 2 von vor der Plattenfläche des Subjekts SP und dem Bildgebungssichtfeld V verschoben und ist eine Positionsbeziehung zwischen dem optischen System und des Bildgebungssichtfelds V so veranschaulicht, dass die Seitenfläche des optischen Systems 30 auf der Außenfläche des Subjekts SP veranschaulicht ist. Im Folgenden wird auf einer Ebene, die das Bildgebungssichtfeld V umfasst, eine Richtung (eine Horizontalrichtung in 2) parallel zu einer Seite des Bildgebungssichtfelds V als Horizontalrichtung bezeichnet und wird eine Richtung (eine in 2 veranschaulichte Vertikalrichtung) lotrecht zu der einen Seite als Vertikalrichtung bezeichnet.
Die Bilderfassungseinheit 11 umfasst eine Bildgebungssteuereinheit 111, die den Bildgebungsvorgang der Bildgebungsvorrichtung steuert, und eine Antriebssteuereinheit 112, die eine Steuerung der Positionsänderung des Bildgebungssichtfelds V in Bezug auf das Subjekt SP durchführt. Die Antriebssteuereinheit 112 ändert die Position des Bildgebungssichtfelds V in Bezug auf das Subjekt SP durch relatives Bewegen eines oder beides des optischen Systems 30 und des Subjekts SP. Die Bildgebungssteuereinheit 111 veranlasst die Bildgebungsvorrichtung, eine Bildgebung zu einem vordefinierten Zeitpunkt in Verknüpfung mit einem Steuerbetrieb der Antriebssteuereinheit 112 durchzuführen, und nimmt ein Bild M, auf dem das Subjekt innerhalb des Bildgebungssichtfelds V gezeigt ist, von der Bildgebungsvorrichtung auf.
Bei der ersten Ausführungsform sind, auch wenn ein Beispiel beschrieben ist, bei dem das Bildgebungssichtfeld V in zwei Richtungen der Horizontalrichtung und der Vertikalrichtung bewegt wird, die orthogonal zueinander verlaufen, die Bewegungsrichtungen des Bildgebungssichtfelds V nicht auf die Horizontalrichtung und die Vertikalrichtung beschränkt, solange die Bewegungsrichtungen zwei unterschiedliche Richtungen sind. Außerdem müssen die zwei Richtungen, in die das Bildgebungssichtfeld V bewegt wird, nicht notwendigerweise orthogonal zueinander verlaufen.
3 ist ein schematisches Schaubild, das den Grundsatz der Bildverarbeitung veranschaulicht, die von der Bildverarbeitungseinheit 12 durchgeführt wird. Koordinaten (x, y), die in den 3(a) bis 3(c) veranschaulicht sind, stellen Positionen von Pixeln dar, die das Bild M bilden. Wie in 3(a) veranschaulicht, kommt es auf dem von der Bildgebungsvorrichtung erfassten Bild M mit Ausnahme eines Teils des Bereichs in der Mitte zu einer Helligkeitsungleichmäßigkeit oder Farbungleichmäßigkeit, die auf eine Beleuchtungsungleichmäßigkeit der Lichtquelle zurückzuführen ist, einer Ungleichmäßigkeit des optischen Systems, unregelmäßigen Charakteristika des Bildsensors oder dergleichen. Eine solche Helligkeitsungleichmäßigkeit oder Farbungleichmäßigkeit wird Abschattung genannt. Die Leuchtdichte I(x, y) jedes Pixels, das das Bild M bildet, wie in 3(a) veranschaulicht, wird durch Multiplizieren einer Komponente (im Folgenden als Texturkomponente bezeichnet) T(x, y), die ein ursprüngliches Subjektbild darstellt, auf dem die in 3(b) veranschaulichte Abschattung nicht auftritt, mit einer Abschattungskomponente S(x, y) erfasst, die in 3(c) veranschaulicht ist, und kann als I(x, y) = T(x, y) × S(x, y) dargestellt werden. Auch wenn die Leuchtdichte I(x, y), die Texturkomponente T(x, y) und die Abschattungskomponente S(x, y) jeweils die Leuchtdichte, die Texturkomponente und die Abschattungskomponente jedes Farbsignals an jeder Koordinate sind, können die Leuchtdichte, die Texturkomponente und die Abschattungskomponente jeweils eine Leuchtdichte, eine Texturkomponente und eine Abschattungskomponente eines Signals sein, das auf Farbsignalbasis kombiniert wurde.
Die Bildverarbeitungseinheit 12 führt eine Bildverarbeitung zum Korrigieren der im Bild erzeugten Abschattung unter Verwendung einer Mehrzahl von Bildern durch, die von der Bilderfassungseinheit 11 erfasst wurden. Ausführlicher gesagt umfasst die Bildverarbeitungseinheit 12: eine Abschattungskomponenten-Berechnungseinheit 121, die eine im Bild erzeugte Abschattungskomponente M(x, y) berechnet; und eine Bildkorrektureinheit 122, die eine Abschattungskorrektur unter Verwendung der Abschattungskomponente durchführt.
Die Abschattungskomponenten-Berechnungseinheit 121 umfasst eine Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a und eine Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b. Die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a berechnet eine Abschattungskomponente auf Basis einer Mehrzahl von Bildern, die durch Bewegen des Bildgebungssichtfelds V in eine erste Richtung (z. B. die Horizontalrichtung) in Bezug auf das Subjekt SP erfasst wurden. Die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b hingegen berechnet eine Abschattungskomponente auf Basis einer Mehrzahl von Bildern, die durch Bewegen des Bildgebungssichtfelds V in eine zweite Richtung (z. B. die Vertikalrichtung) in Bezug auf das Subjekt SP erfasst wurden.
Die Bildkorrektureinheit 122 umfasst eine erste Bildkorrektureinheit 122a und eine zweite Bildkorrektureinheit 122b. Die erste Bildkorrektureinheit 122a führt eine Abschattungskorrektur an einem Teilbereich im von der Bilderfassungseinheit 11 erfassten Bild unter Verwendung eines der von der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a berechneten Abschattungskomponente und von der Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b berechneten Abschattungskomponente durch. Die zweite Bildkorrektureinheit 122b führt eine Abschattungskorrektur an einem Bereich des Bildes, der nicht von der ersten Bildkorrektureinheit 122a korrigiert wurde, unter Verwendung von beiden der von der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a berechneten Abschattungskomponente und von der Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b berechneten Abschattungskomponente durch. Die Bereiche, die Korrekturziele für die erste Bildkorrektureinheit 122a und die zweite Bildkorrektureinheit 122b sind, und spezifische Korrekturprozesse werden später beschrieben.
Die Speichereinheit 13 wird durch eine Speichervorrichtung konfiguriert, wie z. B. einem Flash-Speicher, für die eine Aktualisierungsaufzeichnung durchgeführt werden kann, Halbleiterspeicher, RAM oder ROM genannt, und dergleichen. Die Speichereinheit 13 speichert diverse Parameter, die von der Bilderfassungseinheit 11 verwendet werden, um die Bildgebungsvorrichtung zu steuern, Bilddaten eines Bildes, für das eine Bildverarbeitung von der Bildverarbeitungseinheit 12 durchgeführt wird, diverse Parameter, die von der Bildverarbeitungseinheit 12 durchgeführt werden, und dergleichen.
Die Bilderfassungseinheit 11 und die Bildverarbeitungseinheit 12 können durch eine dedizierte Hardware konfiguriert sein oder können durch eine CPU und ein Programm konfiguriert sein, das die CPU veranlasst, einen vordefinierten Prozess durchzuführen. Im letzteren Fall können ein Bildverarbeitungsprogramm, das verwendet wird, um die Bilderfassungseinheit 11 und die Bildverarbeitungseinheit 12 zu veranlassen, einen vordefinierten Prozess durchzuführen, diverse Parameter und Einstellungsinformationen, die beim Ausführen eines solchen Programms verwendet werden, in der Speichereinheit 13 gespeichert werden. Alternativ kann so konfiguriert sein, dass eine Speichervorrichtung, die ein Aufzeichnungsmedium wie z. B. eine Festplatte, ein MO, ein CR-R oder ein DVD-R und eine Schreib-/Lesevorrichtung umfasst, die Informationen aus dem Aufzeichnungsmedium liest/in dieses schreibt, mit der Bildverarbeitungsvorrichtung 1 über ein Datenkommunikationsendgerät verbunden ist und das Bildverarbeitungsprogramm und die oben beschriebenen Parameter in der Speichervorrichtung gespeichert werden.
Im Folgenden wird der Betrieb der Bildverarbeitungsvorrichtung 1 beschrieben. 4 ist ein Ablaufplan, der den Betrieb der Bildverarbeitungsvorrichtung 1 veranschaulicht. Im Folgenden wird beispielhaft angenommen, dass ein Bild, auf dem ein in 2 veranschaulichtes Subjekt SP gezeigt ist, zu erfassen ist, und dass ein Korrekturprozess für das Bild durchzuführen ist.
Zunächst erfasst die Bilderfassungseinheit 11 in Schritt S1 eine Mehrzahl von Bildern, die durch Abbilden des Subjekts SP, während das Bildgebungssichtfeld V jeweils um eine vordefinierte Höhe in zwei unterschiedliche Richtungen bewegt wurde, erzeugt wurden. Ausführlicher gesagt bewegt die Antriebssteuereinheit 112 das Bildgebungssichtfeld V in eine vordefinierte Richtung, indem es eines des Subjekts SP und des optischen Systems 30 bewegt, und führt die Bildgebungssteuereinheit 111 eine Steuerung durch, so dass ein Teil des Bildgebungssichtfelds V sich zumindest mit einem unterschiedlichen Bild in der Bewegungsrichtung des Bildgebungssichtfelds V überlappt. Im Folgenden wird angenommen, dass das Bildgebungssichtfeld V jeweils in Horizontalrichtung und Vertikalrichtung bewegt wird.
5 ist ein schematisches Schaubild, das eine Bewegungshöhe zum Bewegen eines Bildgebungssichtfelds V pro einmalige Durchführung einer Bildgebung veranschaulicht. Die Bewegungshöhe des Bildgebungssichtfelds pro einmalige Durchführung einer Bildgebung wird als Länge einer Seite eines Blocks festgelegt, wenn das Bildgebungssichtfeld V in eine Mehrzahl von Blocken unterteilt ist, die jeweils eine vordefinierte Größe haben. Wie beispielsweise in 5 veranschaulicht, ist, wenn ein Bildgebungssichtfeld V mit einer Größe w × h (hier sind w und h die Längen von Seiten) in 5 × 5 = 25 Blöcke unterteilt ist, die Bewegungshöhe des Bildgebungssichtfelds V pro einmaliger Durchführung einer Bildgebung eine Länge Bw = w/5 in Horizontalrichtung und eine Länge Bh = h/5 in Vertikalrichtung. Die Größe jedes Blocks, der durch Dividieren des Bildgebungssichtfelds V erfasst wird, kann auf Basis der Größe eines Flachbereichs (später beschrieben), in dem kaum eine Abschattung innerhalb eines Bildes erzeugt wird und eine Abschattungskomponente als konstant angesehen wird, der erforderlichen Genauigkeit einer Abschattungskorrektur und dergleichen ermittelt werden. Hier kann die Anzahl von Teilungen des Bildgebungssichtfelds V in Horizontalrichtung und Vertikalrichtung gleich sein oder sich voneinander unterscheiden. Wie in 5 veranschaulicht, werden die Koordinaten jedes Blocks, der in einem Bild angeordnet ist, im Folgenden mit (X, Y) ausgewiesen. Bei der ersten Ausführungsform 1 ≤ X ≤ 5 und 1 ≤ Y ≤ 5.
Die 6 und 7 sind schematische Schaubilder, die ein Verfahren zum Bildgeben eines Subjekts SP veranschaulichen. Um die Position des Bildgebungssichtfelds V für das Subjekt SP der einfacheren Beschreibung wegen klar darzustellen, ist die Position des optischen Systems 30 in 6 und 7 von vor einer Plattenfläche des Subjekts SP und dem Bildgebungssichtfeld V verschoben und ist eine Positionsbeziehung zwischen dem optischen System und des Bildgebungssichtfeld V an jeder Position so veranschaulicht, dass die Seitenfläche des optischen Systems 30 außerhalb des Subjekts SP veranschaulicht ist.
Die Bilderfassungseinheit 11, wie in 6 veranschaulicht, erfasst, indem sie eine Bildgebung jedes Mal dann durchführt, wenn das Bildgebungssichtfeld V um eine Länge Bw in Horizontalrichtung bewegt wird, sequentiell eine Mehrzahl von Bildern M_j (hier: j = 0, 1, 2 ...), die jeweils einen Teil des Bildgebungssichtfelds V aufweisen, der sich mit dem zuletzt erzeugten Bild überlappt. 8 ist ein schematisches Schaubild, das fünf Bilder M₀ bis M₄ veranschaulicht, die durch fünfmaliges Durchführen einer Bildgebung erfasst wurden, während das Bildgebungssichtfeld V in horizontaler Richtung bewegt wird. In 8 sind die Bilder M₀ bis M₄ gemäß der Bildgebungsreihenfolge vertikal ausgerichtet und angeordnet, um horizontal verschoben zu werden, so dass Blöcke mit einer gemeinsamen Texturkomponente vertikal gleichmäßig sind.
Die Bilderfassungseinheit 11, wie in 7 veranschaulicht, erfasst außerdem, indem sie eine Bildgebung jedes Mal dann durchführt, wenn das Bildgebungssichtfeld V um eine Länge Bh in Vertikalrichtung bewegt wird, sequentiell eine Mehrzahl von Bildern M_k (hier: k = 0, 1, 2 ...), die jeweils einen Teil des Bildgebungssichtfelds V aufweisen, der sich mit dem zuletzt erfassten Bild überlappt.
Um die Position des Bildgebungssichtfelds V in Bezug auf das Subjekt SP zu ändern, kann so konfiguriert sein, dass die Position des Subjekts SP fest ist und eine Seite des optischen Systems 30 bewegt wird, oder so konfiguriert sein, dass die Position des optischen Systems 30 fest ist und eine Seite des Subjekts SP bewegt wird. Alternativ können sowohl das Subjekt SP als auch das optische System 30 so konfiguriert sein, dass sie in entgegengesetzte Richtungen bewegt werden.
Zwischen einer Mehrzahl von Bildern M_j, die durch Bewegen des Bildgebungssichtfelds V in Horizontalrichtung erfasst wurden, und der Mehrzahl von Bildern M_k, die durch Bewegen des Bildgebungssichtfelds V in Vertikalrichtung erfasst wurden, können Bilder, auf denen das gesamte Subjekt oder ein Teil davon innerhalb des Bildgebungssichtfelds V gleich ist, umfasst sein, oder sind Bilder, auf denen das gesamte Subjekt oder ein Teil davon gleich ist, ggf. überhaupt nicht umfasst sein.
Im folgenden Schritt S2 nimmt die Abschattungskomponenten-Berechnungseinheit 121 die Mehrzahl von Bildern auf, die in Schritt S1 erfasst wurden, und berechnet eine Abschattungskomponente für jedes der Horizontalrichtung und der Vertikalrichtung unter Verwendung solcher Bilder.
Hier wird die Berechnung der Abschattungskomponente im Allgemeinen unter Verwendung der Leuchtdichte eines Bereichs (im Folgenden als Flachbereich bezeichnet), in dem eine Abschattungskomponente innerhalb des Bildes kaum erzeugt wird und eine Änderung der Abschattungskomponente kaum beobachtet wird, als Referenz durchgeführt wird. Mehr im Detail kann die Abschattungskomponente durch Eliminieren der Leuchtdichte jedes Pixels, das in einem Bereich umfasst ist, der ein Berechnungsziel für die Abschattungskomponente ist, unter Verwendung der Leuchtdichte jedes Pixels, das in einem Flachbereich umfasst ist, der eine Texturkomponente mit dem Bereich gemein hat, der das Berechnungsziel ist, erfasst werden.
Im Gegensatz dazu wird die Abschattungskomponente bei der ersten Ausführungsform für jede Spalte oder jede Zeile unter Verwendung der Leuchtdichte einer Spalte oder Zeile von Blöcken, die den Flachbereich umfassen, als Referenz berechnet. Beispielsweise wird zwischen Bildern, die durch Bewegen des Bildgebungssichtfelds V in Horizontalrichtung um jeweils einen Block ein gemeinsamer Bereich in Horizontalrichtung in Spalteneinheiten erzeugt. Demgemäß wird in diesem Fall eine Abschattungskomponente auf Basis der Leuchtdichte von Blöcken einer Spalte berechnet, die den Flachbereich umfasst und in Vertikalrichtung in Bezug auf den Flachbereich ausgerichtet ist. Im Folgenden wird auf diese Weise eine Abschattungskomponente (das Verhältnis der Leuchtdichte), die auf Basis eines gemeinsamen Bereichs berechnet wurde, der in Horizontalrichtung erzeugt wurde, als Abschattungskomponente der Horizontalrichtung bezeichnet. Andererseits wird zwischen Bildern, die durch Bewegen des Bildgebungssichtfelds V in Vertikalrichtung um jeweils einen Block ein gemeinsamer Bereich in Vertikalrichtung in Zeileneinheiten erzeugt. Demgemäß wird in diesem Fall eine Abschattungskomponente auf Basis der Leuchtdichte von Blöcken einer Zeile berechnet, die den Flachbereich umfasst und in Horizontalrichtung in Bezug auf den Flachbereich ausgerichtet ist. Im Folgenden wird auf diese Weise eine Abschattungskomponente (das Verhältnis der Leuchtdichte), die auf Basis eines gemeinsamen Bereichs berechnet wurde, der in Vertikalrichtung erzeugt wurde, als Abschattungskomponente der Vertikalrichtung bezeichnet.
Bei der ersten Ausführungsform, wie in 3(c) veranschaulicht, ist ein Flachbereich in einem Mittenabschnitt eines Bilds vorhanden und wird der Prozess derart durchgeführt, dass Abschattungskomponenten in einem konzentrischen Muster verändert werden. Mehr im Detail wird angenommen, dass unter Blöcken (1, 1) bis (5, 5), die durch Dividieren eines Bildes M erfasst wurden, ein in der Mitte angeordneter Block (3, 3) ein Flachbereich ist.
Zunächst extrahiert die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a eine Spalte, die den Block (3, 3) des Flachbereichs umfasst, aus einem gewissen Bild unter Bildern M₀ bis M₄, wie in 8 veranschaulicht, extrahiert Blöcke (anders ausgedrückt einen gemeinsamen Bereich), in denen das gleiche Subjekt wie jenes solcher Blöcke gezeigt ist, aus einem weiteren Bild und berechnet eine Abschattungskomponente der Horizontalrichtung unter Verwendung einer Leuchtdichte von Pixeln entsprechender Positionen zwischen aus beiden Bildern extrahierten Blöcken.
Mehr im Detail sind, da Blöcke (1, 1), (1, 2), (1, 3), (1, 4) und (1, 5), die in einer ersten Spalte R₀ (X = 1) des Bilds M₀ umfasst sind, und Blöcke (3, 1), (3, 2), (3, 3), (3, 4) und (3, 5), die in einer dritten Spalte R₂ (X = 3) des Bilds M₂ umfasst sind, gemeinsame Bereiche sind, die Texturkomponenten von Pixeln entsprechender Positionen zwischen solchen Blöcken gemein. Demgemäß wird eine Abschattungskomponente jedes Pixels, das innerhalb eines Blocks der ersten Spalte angeordnet ist, durch Dividieren der Leuchtdichte des Pixels, das innerhalb des Blocks der ersten Säule R₀ (X = 1) des Bilds M₀ angeordnet ist, durch die Leuchtdichte eines Pixels, das ein Pixel ist, das innerhalb eines Blocks der dritten Säule R₂ (X = 3) des Bilds M₂ angeordnet ist, einer entsprechenden Position berechnet.
Im Folgenden sind Abschattungskomponenten willkürlicher Pixel, die innerhalb der Blöcke (1, 1), (1, 2), (1, 3), (1, 4) und (1, 5) angeordnet sind, jeweils als Abschattungskomponenten Sh(1, 1), Sh(1, 2), Sh(1, 3), Sh(1, 4) und Sh(1, 5) dargestellt. Außerdem wird die Leuchtdichte willkürlicher Pixel, die innerhalb der Blöcke (1, 1), (1, 2), (1, 3), (1, 4) und (1, 5) des Bilds M₀ angeordnet sind, jeweils als Leuchtdichte H₀(1, 1), H₀(1, 2), H₀(1, 3), H₀(1, 4) und H₀(1, 5) dargestellt. Des Weiteren wird die Leuchtdichte willkürlicher Pixel, die innerhalb der Blöcke (3, 1), (3, 2), (3, 3), (3, 4) und (3, 5) der dritten Spalte des Bilds M₂ angeordnet sind, jeweils als Leuchtdichte H₂(3, 1), H₂(3, 2), H₂(3, 3), H₂(3, 4) und H₂(3, 5) dargestellt. Unter Verwendung dieser sind die Abschattungskomponenten Sh(1, 1) bis Sh(1, 5) willkürlicher Pixel, die innerhalb von Blöcken (1, 1) bis (1, 5) angeordnet sind, durch die folgenden Gleichungen (1a) bis (1e) gegeben.
Die Gleichungen (1a) bis (1e) zeigen, dass die Abschattungskomponente eines willkürlichen Pixels innerhalb jedes Blocks durch Dividieren der Leuchtdichte des Pixels, das innerhalb eines Blocks angeordnet ist, wie in einem Zähler auf der rechten Seite dargestellt, durch die Leuchtdichte eines Pixels einer entsprechenden Position innerhalb des Blocks, wie in einem Nenner dargestellt, erhalten wird. Im Folgenden ist, wie in den Gleichungen (1a) bis (1e) dargestellt, die Berechnung in Bezug auf Pixel entsprechender Positionen zwischen unterschiedlichen Blöcken in Form einer Berechnungsgleichung zwischen Blöcken umfassend dargestellt.
Durch Kombinieren der Gleichungen (1a) bis (1e) miteinander wird die Abschattungskomponente eines willkürlichen Pixels, das innerhalb eines Blocks (X = 1) der ersten Spalte angeordnet ist, durch die folgende Gleichung (1-1) unter Verwendung der Leuchtdichte H₀ (X = 1) des Pixels, das innerhalb des Blocks der ersten Spalte des Bilds M₁ angeordnet ist, und der Leuchtdichte H₂ (X = 3) eines Pixels einer entsprechenden Position innerhalb des Blocks der dritten Spalte des Bilds M₂ erhalten.
Gleichung (1-1) zeigt, dass die Abschattungskomponenten Sh(1, 1), Sh(1, 2), Sh(1, 3), Sh(1, 4) und Sh(1, 5) (diese werden gesammelt als Sh (X = 1) bezeichnet) willkürlicher Pixel innerhalb jedes Blocks der ersten Spalte durch Dividieren einer Leuchtdichte H₀(1, 1), H₀(1, 2), H₀(1, 3), H₀(1, 4) und H₀(1, 5) (diese werden gesammelt als H₀ (X = 1) bezeichnet) willkürlicher Pixel der ersten Spalte des Bilds M₀ durch die Leuchtdichte H₂(3, 1), H₂(3, 2), H₂(3, 3), H₂(3, 4) und H₂(3, 5) (diese werden gesammelt als H₂ (X = 3) bezeichnet) von Pixeln entsprechender Positionen in der dritten Spalte des Bilds M2 erhalten werden.
Gleichermaßen werden auch die Abschattungskomponenten Sh (X = 2), Sh (X = 3), Sh (X = 4) und Sh (X = 5) in willkürlichen Pixeln innerhalb von Blöcken, die in zweiten bis fünften Spalten angeordnet sind, durch die folgenden Gleichungen (1-2), (1-3), (1-4) und (1-5) erhalten. Wie in Gleichung (1-3) gezeigt, wird die Abschattungskomponente Sh (X = 3) jedes Pixels, das innerhalb eines Blocks der dritten Spalte angeordnet ist, zwischen den Leuchtdichtewerten des gleichen Pixels, das innerhalb des gleichen Blocks angeordnet ist, berechnet und ist somit gleich 1,0.
Die Abschattungskomponenten Sh (X = 1) bis Sh (X = 5), die auf diese Weise berechnet werden, werden in einem vordefinierten Speicherbereich der Speichereinheit 13 sequentiell gespeichert. 9 ist ein schematisches Schaubild, das eine Abschattungskomponente Sh der Horizontalrichtung zeigt, die in der Speichereinheit 13 gespeichert ist. In 9 wird eine Diagonallinienabschattung auf eine Spalte (anders ausgedrückt eine Spalte, die als Referenz für die Berechnung eines Abschattungskomponente verwendet wird) angewandt, die einen Flachbereich in der Mitte umfasst.
Hier werden unter den Abschattungskomponenten Sh (X = 1), Sh (X = 2), Sh (X = 4) und Sh (X = 5), die in 9 veranschaulicht sind, Abschattungskomponenten Sh (1, 3), Sh (2, 3), Sh (4, 3) und Sh (5, 3) willkürlicher Pixel innerhalb von Blöcken der dritten Zeile unter Verwendung der Leuchtdichte von Pixeln entsprechender Positionen innerhalb des Blocks (3, 3), der ein Flachbereich ist, als Referenz berechnet. Somit werden im Folgenden Abschattungskomponenten, die unter Verwendung der Leuchtdichte von Pixeln, die innerhalb von Blöcken des Flachbereichs angeordnet sind, berechnet werden, als normalisierte Abschattungskomponenten bezeichnet.
Im Gegensatz dazu werden unter Abschattungskomponenten Sh (X = 1), Sh (X = 2), Sh (X = 4) und Sh (X = 5) Abschattungskomponenten willkürlicher Pixel, die innerhalb von Blöcken erster, zweiter, vierter und fünfter Zeilen angeordnet sind, unter Verwendung von Leuchtdichte von Pixeln entsprechender Positionen, die innerhalb von Blöcken (3, 1), (3, 2), (3, 4), (3, 5), bei denen es sich nicht um den Flachbereich handelt, in den dritten Spalten, als Referenz berechnet. Wie beispielsweise in Gleichung (1a) gezeigt, wird die Abschattungskomponente Sh(1, 1) des Blocks (1, 1) unter Verwendung der Leuchtdichte H₂(3, 1) eines Pixels, das innerhalb des Blocks (3, 1) angeordnet ist, berechnet. Im Folgenden wird eine Abschattungskomponente, die unter Verwendung der Leuchtdichte eines Pixels, das in einem Block angeordnet ist, bei dem es sich nicht um den Flachbereich handelt, berechnet wird, als nicht-normalisierte Abschattungskomponente bezeichnet.
Gleichermaßen berechnet die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b Abschattungskomponenten der Vertikalrichtung auf Basis von fünf Bildern, die durch fünfmaliges Bildgeben des Subjekts SP, während das Bildgebungssichtfeld V jeweils um eine Länge Bh in Vertikalrichtung bewegt wurde, erfasst wurden. Anders ausgedrückt wird eine Zeile, die einen Block (3, 3) eines Flachbereichs umfasst, aus einem gewissen Bild unter fünf solchen Bildern extrahiert und wird ein Block (gemeinsamer Bereich), in dem das gleiche Subjekt wie jenes eines solchen Blocks gezeigt ist, aus einem weiteren Bild extrahiert, und werden die Abschattungskomponenten der Vertikalrichtung unter Verwendung der Leuchtdichte von Pixeln entsprechender Positionen zwischen den Blöcken, die aus beiden Bildern extrahiert wurden, berechnet.
10 ist ein schematisches Schaubild, das Vertikalrichtungs-Abschattungskomponenten Sv veranschaulicht, die in der Speichereinheit 13 gespeichert sind. In 10 wird eine Diagonallinienabschattung auf eine Zeile (anders ausgedrückt eine Zeile, die als Referenz für die Berechnung einer Abschattungskomponente verwendet wird) angewandt, die einen Flachbereich in der Mitte umfasst.
Hier sind unter den Abschattungskomponenten Sv (Y = 1), Sv (Y = 2), Sv (Y = 4) und Sv (Y = 5), die in 10 veranschaulicht sind, Abschattungskomponenten Sv (3, 1), Sv (3, 2), Sv (3, 4) und Sv (3, 5) willkürlicher Pixel innerhalb von Blöcken der dritten Spalte normalisierte Abschattungskomponenten, die unter Verwendung der Leuchtdichte von Pixeln entsprechender Positionen innerhalb des Blocks (3, 3), der ein Flachbereich ist, als Referenz berechnet werden. Im Gegensatz dazu sind unter den Abschattungskomponenten Sv (Y = 1), Sv (Y = 2), Sv (Y = 4) und Sv (Y = 5) Abschattungskomponenten willkürlicher Pixel innerhalb von Blöcken der ersten, zweiten, vierten und fünften Spalten nicht-normalisierte Abschattungskomponenten, die unter Verwendung von Leuchtdichte von Pixeln entsprechender Positionen innerhalb von Blöcken (1, 3), (2, 3), (4, 3) und (5, 3), bei denen es sich nicht um den Flachbereich handelt, obwohl sich die Komponenten auch in den dritten Zeile befinden, berechnet werden.
Bei der oben dargebotenen Beschreibung ist die Verarbeitungsfolge, auch wenn die Berechnung von Abschattungskomponenten der Horizontalrichtung und der Vertikalrichtung nach Erfassen von Bildern durch jeweiliges Bewegen des Bildgebungssichtfelds in Horizontalrichtung und Vertikalrichtung in Schritt S1 in Schritt S2 sequentiell durchgeführt wird, nicht darauf beschränkt. Beispielsweise kann konfiguriert sein, dass die Berechnung von Abschattungskomponenten der Horizontalrichtung nach Erfassen eines Bilds durch Bewegen des Bildgebungssichtfelds in Horizontalrichtung unter Verwendung des erfassten Bilds durchgeführt wird und danach, nachdem ein Bild durch Bewegen des Bildgebungssichtfelds in Vertikalrichtung erfasst wurde, und die Berechnung der Abschattungskomponenten in Vertikalrichtung unter Verwendung des erfassten Bilds durchgeführt wird. Zu diesem Zeitpunkt können die Berechnung der Abschattungskomponente der Horizontalrichtung und das Erfassen eines Bilds, dessen Bildgebungssichtfeld in Vertikalrichtung bewegt wird, gemeinsam durchgeführt werden. Außerdem kann jeder Prozess für die Vertikalrichtung vor jedem Prozess für die Horizontalrichtung durchgeführt werden.
Im folgenden Schritt S3 korrigiert die Bildkorrektureinheit 122 ein willkürliches Bild, das in Schritt S1 erfasst wurde, unter Verwendung der Abschattungskomponenten der Horizontalrichtung und der Vertikalrichtung, die in Schritt S2 berechnet wurden. 11 ist ein schematisches Schaubild, das einen Bildkorrekturprozess veranschaulicht, der von der Bildkorrektureinheit 122 durchgeführt wird. Hier wird als Beispiel der Fall beschrieben, dass ein in 11(a) veranschaulichtes Bild ein Korrekturzielbild ist. Im Folgenden wird die Leuchtdichte eines willkürlichen Pixels, das innerhalb eines Blocks (X, Y) innerhalb des Bilds M angeordnet ist, als H(X, Y) bezeichnet.
12 ist ein Ablaufplan, der den von der Bildkorrektureinheit 122 durchgeführten Bildkorrekturprozess ausführlich veranschaulicht. In Schritt S31 korrigiert die erste Bildkorrektureinheit 122a die Leuchtdichte jedes Pixels, das innerhalb des Blocks angeordnet ist, aus dem eine normalisierte Abschattungskomponente erfasst wurde, im Bild M, unter Verwendung einer normalisierten Abschattungskomponente.
Bei der ersten Ausführungsform sind Blöcke, aus denen normalisierte Abschattungskomponenten Sh der Horizontalrichtung (siehe 9) erfasst werden, Blöcke (1, 3), (2, 3), (4, 3) und (5, 3), und sind Blöcke, aus denen normalisierte Abschattungskomponenten Sv der Vertikalrichtung (siehe 10) erfasst werden, Blöcke (3, 1), (3, 2), (3, 4) und (3, 5). Somit können, wenn ein Block eines Flachbereichs (X₀, V₀) ist, Blöcke, aus denen normalisierte Abschattungskomponenten erfasst werden, als (X, Y₀) oder (X₀, Y) dargestellt werden.
Die erste Bildkorrektureinheit 122a korrigiert die Leuchtdichte H(X, Y₀) eines willkürlichen Pixels, das innerhalb eines Blocks (X, Y₀) angeordnet ist, aus dem die normalisierte Abschattungskomponente Sh der Horizontalrichtung erfasst wird, unter Verwendung der normalisierten Abschattungskomponente Sh(X, Y₀) an der Pixelposition, wodurch eine Texturkomponente T(X, Y₀) des Pixels berechnet wird (siehe Gleichung (2-1)). Außerdem korrigiert die erste Bildkorrektureinheit 122a korrigiert die Leuchtdichte H(X₀, Y) eines willkürlichen Pixels, das innerhalb des Blocks (X₀, Y) angeordnet ist, aus dem die normalisierte Abschattungskomponente Sv der Vertikalrichtung erfasst wird, unter Verwendung der normalisierten Abschattungskomponente Sv(X₀, Y) an der Pixelposition, wodurch eine Texturkomponente T(X₀, Y) des Pixels berechnet wird (siehe Gleichung (2-2)).
Im folgenden Schritt S32 korrigiert die zweite Bildkorrektureinheit 122b die Leuchtdichte jedes Pixels, das innerhalb des Blocks des Bilds M angeordnet ist, aus dem die normalisierte Abschattungskomponente nicht erfasst wird, unter Verwendung der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente.
Als Beispiel wird der Fall in Betracht gezogen, dass eine Abschattungskorrektur für ein willkürliches Pixel durchgeführt wird, das innerhalb eines Blocks (1, 1) angeordnet ist, wie in 11(a) veranschaulicht. Eine Abschattungskomponente Sh(1, 1), die für das Pixel berechnet wurde, das innerhalb des Blocks (1, 1) angeordnet ist, wie in 11(b) und Gleichung (1a) veranschaulicht, ist eine nicht-normalisierte Abschattungskomponente, die unter Verwendung der Leuchtdichte H₂(3, 1) eines Pixels einer entsprechenden Position innerhalb eines Blocks (3, 1), der ein gemeinsamer Bereich des Blocks (1, 1) in Horizontalrichtung ist, als Referenz berechnet wird. Eine Abschattungskomponente, die von der Leuchtdichte H₂(3, 1) umfasst ist, eines Pixels, das innerhalb des Blocks (1, 1) angeordnet ist, wie in 11(c) veranschaulicht, ist eine normalisierte Abschattungskomponente Sv(3, 1), die unter Verwendung der Leuchtdichte eines Pixels einer entsprechenden Position innerhalb des Blocks (3, 3) des Flachbereichs, der ein gemeinsamer Bereich des Blocks (3, 1) in Vertikalrichtung ist, als Referenz gegeben. Somit ist eine Texturkomponente T(1, 1) eines willkürlichen Pixels, das innerhalb des Blocks (1, 1) des Bilds M angeordnet ist, durch die folgende Gleichung (3) unter Verwendung der Leuchtdichte H(1, 1) des Pixels, das innerhalb des Blocks (1, 1) des Bilds M angeordnet ist, der nicht-normalisierten Abschattungskomponente Sh(1, 1) in der Pixelposition und der normalisierten Abschattungskomponente Sv(3, 1) einer entsprechenden Pixelposition innerhalb des Blocks (3, 1) gegeben. T(1, 1) = H(1, 1) × 1 / Sh(1, 1) × 1 / Sv(3, 1) (3)
13 ist ein schematisches Schaubild, das ein weiteres Beispiel für einen Bildkorrekturprozess veranschaulicht, der von der zweiten Bildkorrektureinheit 122b durchgeführt wird. Eine weitere Abschattungskomponente Sv(1, 1), die für ein willkürliches Pixel berechnet wurde, das innerhalb eines Blocks (1, 1) angeordnet ist, der ein Korrekturziel ist, das in 13(a) veranschaulicht ist, ist, wie in 13(b) veranschaulicht, ist eine nicht-normalisierte Abschattungskomponente, die unter Verwendung der Leuchtdichte eines Pixels einer entsprechenden Position innerhalb eines Blocks (1, 3), der ein gemeinsamer Bereich der Vertikalrichtung des Blocks (1, 1) ist, als Referenz berechnet wird. Eine Abschattungskomponente, die von der Leuchtdichte umfasst ist, eines Pixels, das innerhalb des Blocks (1, 3) angeordnet ist, wie in 13(c) veranschaulicht, ist eine normalisierte Abschattungskomponente Sh(1, 3), die unter Verwendung der Leuchtdichte eines Pixels einer entsprechenden Position innerhalb eines Blocks (3, 3) eines Flachbereichs, der ein gemeinsamer Bereich des Blocks (1, 3) in Horizontalrichtung ist, als Referenz gegeben. Somit ist eine Texturkomponente T(1, 1) eines willkürlichen Pixels innerhalb des Blocks (1, 1) des Bilds M durch die folgende Gleichung (4) unter Verwendung der Leuchtdichte H(1, 1) des Pixels innerhalb des Blocks (1, 1) im Bild M, der nicht-normalisierten Abschattungskomponente Sv(1, 1) in der Pixelposition und der normalisierten Abschattungskomponente Sh(1, 3) in einer entsprechenden Pixelposition innerhalb des Blocks (1, 3) gegeben. T(1, 1) = H(1, 1) × 1 / Sv(1, 1) × 1 / Sh(1, 3) (4)
Eine solche Berechnungsgleichung wird unter Verwendung eines Blocks (X₀, Y₀) eines Flachbereichs generalisiert. In einem Bild M ist eine Texturkomponente T(X, Y) eines willkürlichen Pixels, das innerhalb eines Blocks (X, Y) angeordnet ist, aus dem eine normalisierte Abschattungskomponente nicht erfasst wird, durch die folgende Gleichung (5) unter Verwendung der Leuchtdichte H(X, Y) eines Pixels, das innerhalb des Blocks (X, Y) angeordnet ist, einer nicht-normalisierten Abschattungskomponente Sh(X, Y), die unter Verwendung der Leuchtdichte eines gemeinsamen Bereichs des Blocks (X, Y) in Horizontalrichtung als Referenz berechnet wird, und einer normalisierten Abschattungskomponente Sv(X₀, Y), die unter Verwendung der Leuchtdichte eines Flachbereichs, der ein gemeinsamer Bereich in Vertikalrichtung des gemeinsamen Bereichs als Referenz berechnet wird, gegeben.
Alternativ ist im Bild M eine Texturkomponente T(X, Y) eines willkürlichen Pixels, das innerhalb eines Blocks (X, Y) angeordnet ist, aus dem eine normalisierte Abschattungskomponente nicht erfasst wird, durch die folgende Gleichung (6) unter Verwendung der Leuchtdichte H(X, Y) eines Pixels, das innerhalb des Blocks (X, Y) angeordnet ist, einer nicht-normalisierten Abschattungskomponente Sv(X, Y), die unter Verwendung der Leuchtdichte eines gemeinsamen Bereichs des Blocks (X, Y) in Vertikalrichtung als Referenz berechnet wird, und einer normalisierten Abschattungskomponente Sh(Y₀, Y), die unter Verwendung der Leuchtdichte eines Flachbereichs, der ein gemeinsamer Bereich in Horizontalrichtung des gemeinsamen Bereichs als Referenz berechnet wird, gegeben.
Danach kehrt der Prozess zu einer Hauptroutine zurück und der Betrieb der Bildverarbeitungsvorrichtung 1 endet.
Die Reihenfolge der Durchführung der Schritte S31 und S32 ist nicht auf die oben beschriebene Reihenfolge beschränkt. Somit kann Schritt S32 zuerst durchgeführt werden oder können die Schritte S31 und S32 parallel durchgeführt werden.
Wie oben beschrieben, kann die Anzahl von Bildern, die für die Berechnung von Abschattungskomponenten erforderlich ist, gemäß der ersten Ausführungsform so verringert werden, dass sie kleiner als herkömmlich ist. Demgemäß kann die Anzahl der Häufigkeit der Durchführung einer Bildgebung zum Zeitpunkt des Erfassens solcher Bilder verringert werden und kann eine Abschattungskorrektur mit hoher Genauigkeit in kurzer Zeit unter Verwendung einer einfachen Konfiguration durchgeführt werden. Außerdem kann gemäß der ersten Ausführungsform, da das Bildgebungssichtfeld nur in zwei Richtungen der Horizontal- und Vertikalrichtungen bewegt wird, die Steuerung einer Plattform, auf der ein Subjekt SP platziert wird, oder die Steuerung des optischen Systems vereinfacht werden.
Außerdem ist bei der oben dargebotenen Beschreibung, während das Bildgebungssichtfeld bewegt wird und die Abschattungskomponenten berechnet werden, oder die Anzahl der Teilungen eines Blocks, die eine Einheit zum Durchführen einer Bildkorrektur ist, 5 × 5 = 25 ist, die Anzahl von Teilungen eines Bilds (Bildgebungssichtfeld) nicht darauf beschränkt. Wenn die Anzahl von Teilungen erhöht wird, kann eine feinere Abschattungskorrektur durchgeführt werden. Andererseits können, wenn die Anzahl von Teilungen verringert wird, die Anzahl der Häufigkeit der Bildgebung eines Subjekts SP und die Höhe der Berechnung, die im Abschattungskomponentenberechnungsprozess und im Bildkorrekturprozess durchgeführt wird, gedrückt werden und demgemäß kann eine für die Abschattungskorrektur erforderliche Gesamtzeit verkürzt werden.
Des Weiteren wird bei der oben dargebotenen Beschreibung, wenn eine Texturkomponente unter Verwendung von Gleichungen (2-1), (2-2) und (5) oder (6) berechnet wird, anders ausgedrückt wenn die Abschattungskorrektur durchgeführt wird, die Leuchtdichte mit einem Kehrwert (Abschattungskorrekturverstärkung) der Abschattungskomponente multipliziert, die durch die Gleichungen (1a) bis (1e) und (1-1) bis (1-5) gegeben wird. Bei dieser Berechnung kann die Berechnungshöhe verringert werden, indem der Zähler und der Nenner der rechten Seite, die in den Gleichungen (1a) bis (1e) und (1-1) bis (1-5) dargestellt sind, die die Abschattungskomponenten ergeben, durch einander ersetzt werden und die Abschattungskorrekturverstärkung in den Gleichungen (2-1), (2-2), (5) und (6) direkt berechnet wird.
(Erstes modifiziertes Beispiel)
Es wird ein erstes modifiziertes Beispiel gemäß der ersten Ausführungsform der vorliegenden Erfindung beschrieben.
Bei der oben beschriebenen ersten Ausführungsform berechnet die Abschattungskomponenten-Berechnungseinheit 121 eine normalisierte Abschattungskomponente und eine nicht-normalisierte Abschattungskomponente jedes der Horizontalrichtung und der Vertikalrichtung und berechnet die Bildkorrektureinheit 122 eine Texturkomponente unter Verwendung der Gleichung (2-1), (2-2), (5) oder (6) gemäß einem Block, der ein Korrekturziel ist, unter Verwendung solcher Abschattungskomponenten. Die Abschattungskomponenten-Berechnungseinheit 121 kann jedoch eine Karte erzeugen, in der eine Abschattungskomponente S(X, Y), die auf die Berechnungsgleichung der gleichen Texturkomponente angewandt werden kann, ohne dass der Block verwendet wird, der das Korrekturziel ist, und die Karte in der Speichereinheit 13 speichern.
Mehr im Detail wird für einen Block (X, Y₀), aus dem eine normalisierte Abschattungskomponente Sh(X, Y₀) der Horizontalrichtung erfasst wird, die normalisierte Abschattungskomponente in einer Karte als Abschattungskomponente S(X, Y) gespeichert. Außerdem wird für einen Block (X₀, Y), aus dem eine normalisierte Abschattungskomponente Sv(X₀, Y) der Vertikalrichtung erfasst wird, die normalisierte Abschattungskomponente in der Karte als Abschattungskomponente S(X, Y) gespeichert. Für einen Block, aus dem nicht-normalisierte Abschattungskomponenten Sh(X, Y) und Sv(X, Y) erfasst werden, wird ein Wert Sh(X, Y) × Sv(X₀, Y) oder Sv(X, Y) × Sh(X, Y₀), der unter Verwendung eines der nicht-normalisierten Abschattungskomponenten und der normalisierten Abschattungskomponente berechnet wird, in der Karte als Abschattungskomponente S(X, Y) gespeichert.
In diesem Fall kann die Bildkorrektureinheit 122 eine Texturkomponente T(X, Y) (= H(X, Y)/S(X, Y)) unter Verwendung der Abschattungskomponente S(X, Y) berechnen, die von der Abschattungskomponenten-Berechnungseinheit 121 erzeugt wird, und die in der Mappe gespeichert wird.
(Zweite Ausführungsform)
Im Folgenden wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben.
Die Konfiguration einer Bildverarbeitungsvorrichtung gemäß der zweiten Ausführungsform ähnelt jener der ersten Ausführungsform (siehe 1) insgesamt gesehen, Details des Abschattungskomponentenberechnungsprozesses, der von einer Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a und einer Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b durchgeführt wird, unterscheiden sich jedoch von der ersten Ausführungsform.
14 ist ein schematisches Schaubild, das ein Verfahren zum Aufnehmen eines Bilds veranschaulicht, das zum Berechnen von Abschattungskomponenten gemäß der zweiten Ausführungsform verwendet wird, und veranschaulicht Änderungen der relativen Horizontalrichtungspositionen P0, P1 ... eines Subjekts SP in Bezug auf ein Bildgebungssichtfeld V eines optischen Systems 30 als Zeitreihe (t). In 14 sind Bereiche, die durch Dividieren des Subjekts SP durch jede Länge Bw in Horizontalrichtung erfasst werden, als Subjektbereiche SP(1) bis SP(5) dargestellt.
Bei der oben beschriebenen ersten Ausführungsform werden in jeder der Horizontalrichtung und der Vertikalrichtung fünf Bilder erfasst, indem eine fünfmalige Bildgebung durchgeführt wird, während das Bildgebungssichtfeld V des optischen Systems 30 in Bezug auf das Subjekt SP jeweils um die Länge Bw (oder die Länge Bh) relativ bewegt wird. Im Gegensatz dazu werden bei der zweiten Ausführungsform neun Bilder in eine Richtung erfasst, indem eine neunmalige Bildgebung durchgeführt wird, während das Bildgebungssichtfeld V um eine gleiche Länge Bw (oder eine Länge Bh) relativ bewegt wird.
15 ist ein schematisches Schaubild, das ein Verfahren zum Berechnen von Abschattungskomponenten gemäß der zweiten Ausführungsform veranschaulicht. Bilder M(0), M(1) ..., die in 15(a) veranschaulicht sind, werden in dem Fall aufgenommen, dass sich das in 14 veranschaulichte Subjekt SP in relativen Positionen P0, P1 ... befindet. 15 ist ein schematisches Schaubild, das Abschattungskomponenten Sh der Horizontalrichtung zeigt, die in einer Speichereinheit 13 gespeichert ist.
Wie in den 14 und 15(a) veranschaulicht, kann, wenn eine Abschattungskomponente eines willkürlichen Pixels, das innerhalb einer Spalte X = 1 angeordnet ist, erfasst wird, die Leuchtdichte des Pixels, das innerhalb der Spalte X = 1 des Bilds M(0) angeordnet ist, auf dem das Subjektbereich SP(1) gezeigt ist, und der Leuchtdichte eines Pixels einer entsprechenden Position, das innerhalb einer Spalte X = 3 des Bilds M(2) angeordnet ist, das der gemeinsame Bereich ist, verwendet werden, oder können die Leuchtdichte des Pixels, das innerhalb der Spalte X = 1 des Bilds M(1) angeordnet ist, auf dem der Subjektbereich SP(2) gezeigt ist, und die Leuchtdichte eines Pixels einer entsprechenden Position, das innerhalb der Spalte X = 3 des Bilds M(3) angeordnet ist, das der gemeinsame Bereich ist, verwendet werden. Außerdem kann die Leuchtdichte des Pixels, das innerhalb der Spalte X = 1 des Bilds M(2) angeordnet ist, auf dem das Subjektbereich SP(3) gezeigt ist, und eines Pixels einer entsprechenden Position, das innerhalb einer Spalte X = 3 des Bilds M(4) angeordnet ist, das der gemeinsame Bereich ist, verwendet werden, oder können die Leuchtdichte des Pixels, das innerhalb der Spalte X = 1 des Bilds M(3) angeordnet ist, auf dem der Subjektbereich SP(4) gezeigt ist, und die Leuchtdichte eines Pixels einer entsprechenden Position, das innerhalb der Spalte X = 3 des Bilds M(5) angeordnet ist, das der gemeinsame Bereich ist, verwendet werden. Des Weiteren können die Leuchtdichte des Pixels, das innerhalb der Spalte X = 1 des Bilds M(4) angeordnet ist, auf dem der Subjektbereich SP (5) gezeigt ist, und die Leuchtdichte eines Pixels einer entsprechenden Position, das innerhalb einer Spalte X = 3 des Bilds M(6) angeordnet ist, das der gemeinsame Bereich ist, verwendet werden. Anders ausgedrückt können für die Spalte X = 1 fünf Arten von Abschattungskomponenten auf Basis von fünf Verfahren des Kombinierens (Kombinationen von Bildern) gemeinsamer Bereiche, die jeweils eine unterschiedliche Texturkomponente aufweisen, berechnet werden. Dies gilt gleichermaßen für die anderen Spalten.
Somit kann unter Verwendung der Leuchtdichte einer Mehrzahl von Spalten mit unterschiedlicher Texturkomponente für eine Spalte verstanden werden, dass Abschattungskomponenten mit einem höheren Grad der Widerstandsfähigkeit berechnet werden können. Mehr im Detail sind die Abschattungskomponenten Sh (X = 1) bis Sh (X = 5) willkürlicher Pixel, die innerhalb jeder Spalte angeordnet sind, durch die folgenden Gleichungen (7-1) bis (7-5) gegeben.
Hier ist unter Fokus auf den ersten Term des Zählers und den ersten Term des Nenners jeder Gleichung, ähnlich Gleichung (1a), eine Form ersichtlich, die das Verhältnis der Leuchtdichte eines Pixels, das innerhalb einer Zeile am linken Ende (X = 1) eines gewissen Bilds angeordnet ist, und der Leuchtdichte eines Pixels, das innerhalb einer Mittelzeile (X = 3) angeordnet ist, die ein gemeinsamer Bereich mit der Zeile am linken Ende ist. Dies gilt gleichermaßen für die zweiten Terme und spätere Terme des Zählers und des Nenners. Anders ausgedrückt können die Gleichungen (7-1) bis (7-5) als Durchschnitt einer Mehrzahl von Abschattungskomponenten angesehen werden, die auf Basis von gemeinsamen Bereich mit unterschiedlichen Texturkomponenten berechnet werden.
Als tatsächlicher Prozess, der von der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a berechnet wird, wie in den 14 und 15 gezeigt, wird, wenn ein Bild aus einer Bilderfassungseinheit 11 aufgenommen wird, die Leuchtdichte jedes Pixels innerhalb des Bilds in einem vordefinierten Speicherbereich der Speichereinheit 13 gesammelt. Mehr im Detail wird in einem Speicherbereich, der einer ersten Spalte des Abschattungskomponente Sh entspricht, eine Leuchtdichte H₀ (X = 1), H₁ (X = 1), H₂ (X = 1), H₃ (X = 1) und H₄ (X = 1) von Pixeln, die innerhalb eines Blocks der ersten Spalte der Bilder M(0) bis M(4) angeordnet sind, für alle Pixel mit entsprechenden Positionen zwischen solchen Spalten sequentiell gesammelt. Außerdem wird in einem Speicherbereich, der einer zweiten Spalte des Abschattungskomponente Sh entspricht, eine Leuchtdichte H₁ (X = 2), H₂ (X = 2), H₃ (X = 2), H₄ (X = 2) und H₅ (X = 2) von Pixeln, die innerhalb eines Blocks der zweiten Spalte der Bilder M(1) bis M(5) angeordnet sind, für alle Pixel mit entsprechenden Positionen zwischen solchen Spalten sequentiell gesammelt. Gleichermaßen wird in einem Speicherbereich, der einer dritten Spalte des Abschattungskomponente Sh entspricht, eine Leuchtdichte H₂ (X = 3), H₃ (X = 3), H₄ (X = 3), H₅ (X = 3) und H₆ (X = 3) von Pixeln, die innerhalb eines Blocks der dritten Spalte der Bilder M(2) bis M(6) angeordnet sind, für alle Pixel mit entsprechenden Positionen zwischen solchen Spalten sequentiell gesammelt. Dies gilt gleichermaßen für die vierte Zeile und die fünfte Zeile.
Auf diese Weise dividiert die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a, nachdem die Leuchtdichte der Pixel, die innerhalb der Bilder M(0) bis M(9) angeordnet sind, im vordefinierten Speicherbereich gesammelt wurden, den gesammelten Wert der Leuchtdichte jeder Spalte durch den gesammelten Wert der Leuchtdichte der Mittelspalte (X = 3). Auf diese Weise kann eine Abschattungskomponente mit einem hohen Grad der Widerstandsfähigkeit erfasst werden.
Die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b kann eine Abschattungskomponente der Vertikalrichtung berechnen, indem sie einen Prozess ähnlich dem der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a durchführt.
Wie oben beschrieben, können gemäß der zweiten Ausführungsform Abschattungskomponenten mit einem hohen Grad der Widerstandsfähigkeit berechnet werden. Demgemäß kann eine Korrektur mit hoher Genauigkeit stabil durchgeführt werden, ohne von den Charakteristika der Texturkomponente des Korrekturzielbilds abhängig zu sein. Außerdem muss gemäß der zweiten Ausführungsform, da die Abschattungskomponente nach Sammeln der Leuchtdichte für jede Spalte oder Zeile berechnet wird, zusätzlich kein neuer Speicher installiert werden und kann der Berechnungsprozess auf einfache Weise durchgeführt werden.
Außerdem können bei der zweiten Ausführungsform, auch wenn die Abschattungskomponenten auf Basis von neun Bildern berechnet werden, die durch Durchführen einer neunmaligen Bildgebung erfasst werden, während das Bildgebungssichtfeld V achtmal in jede Richtung bewegt wird, durch weiteres Wiederholen des Bewegens des Bildgebungssichtfelds und der Bildgebung mehr Bilder verwendet werden. Auf diese Weise kann der Grad der Widerstandsfähigkeit der Abschattungskomponenten weiter verbessert werden.
(Zweites modifiziertes Beispiel)
Es wird ein zweites modifiziertes Beispiel gemäß der zweiten Ausführungsform der vorliegenden Erfindung beschrieben.
Durch einzelnes Berechnen einer Mehrzahl von Arten von Abschattungskomponenten aus einer Mehrzahl von Kombinationen von gemeinsamen Bereichen, die sich auf jede Spalte beziehen, wie oben beschrieben, und durch zusätzliches Mitteln solcher Abschattungskomponenten kann eine Horizontalrichtungs-Abschattungskomponente der Spalte erfasst werden. Beispielsweise werden für die Spalte X = 1 auf Basis von fünf Verfahren des Kombinierens gemeinsamer Bereiche der Spalten X = 1 des Bilds M(0) und der Spalte X = 3 des Bilds M(2), der Spalte X = 1 des Bilds M(1) und der Spalte X = 3 des Bilds M(3), der Spalte X = 1 des Bilds M(2) und der Spalte X = 3 des Bilds M(4), der Spalte X = 1 des Bilds M(3) und der Spalte X = 3 des Bilds M(5) und der Spalte X = 1 des Bilds M(4) und der Spalte X = 3 des Bilds M(6) fünf Arten von Abschattungskomponenten berechnet und wird ein Durchschnitt daraus berechnet. Dies ist für eine Abschattungskomponente der Vertikalrichtung ähnlich.
(Dritte Ausführungsform)
Im Folgenden wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben.
Die Konfiguration einer Bildverarbeitungsvorrichtung gemäß der dritten Ausführungsform ähnelt jener der ersten Ausführungsform (siehe 1) insgesamt gesehen, Details des Abschattungskomponentenberechnungsprozesses, der von einer Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a und einer Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b durchgeführt wird, unterscheiden sich jedoch von der ersten Ausführungsform.
Die 16(a) bis 16(c) sind schematische Schaubilder, die ein Verfahren zum Berechnen von Abschattungskomponenten gemäß der dritten Ausführungsform veranschaulichen, und veranschaulichen, wie in 6 veranschaulicht, drei Bilder, die durch dreimaliges Durchführen einer Bildgebung erfasst werden, während das Bildgebungssichtfeld V in Horizontalrichtung jeweils um eine Länge Bw bewegt wird.
Bei der dritten Ausführungsform berechnet die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a Horizontalrichtungs-Abschattungskomponenten unter Verwendung der folgenden Gleichungen (8-1) bis (8-5), wobei der Fokus auf der Symmetrie von gemeinsamen Bereichen unter drei Bildern M₀ bis M₂ in der Horizontalrichtung liegt.
Anders ausgedrückt wird eine Abschattungskomponente Sh (X = 1) eines willkürlichen Pixels, das in der ersten Spalte umfasst ist, unter Verwendung der Leuchtdichte H₀ (X = 1) des Pixels, das innerhalb eines Blocks R₀ (X = 1) der ersten Spalte des Bilds M₀ angeordnet ist, und der Leuchtdichte H₂ (X = 3) eines Pixels einer entsprechenden Position innerhalb eines Blocks R₂ (X = 3) der dritten Spalte des Bilds M₂, der ein gemeinsamer Bereich ist, berechnet (siehe Gleichung (8-1)). Außerdem wird eine Abschattungskomponente Sh (X = 2) eines willkürlichen Pixels, das in der zweiten Spalte umfasst ist, unter Verwendung der Leuchtdichte H₁ (X = 2) des Pixels, das innerhalb eines Blocks R₁ (X = 2) der zweiten Spalte des Bilds M₁ angeordnet ist, und der Leuchtdichte H₂ (X = 3) des Pixels der entsprechenden Position innerhalb eines Blocks R₂ (X = 3) der dritten Spalte des Bilds M₂, der der gemeinsame Bereich davon ist, berechnet (siehe Gleichung (8-2)). Eine Abschattungskomponente Sh (X = 4) eines willkürlichen Pixels, das in der vierten Spalte umfasst ist, wird unter Verwendung der Leuchtdichte H₁ (X = 4) des Pixels, das innerhalb eines Blocks R₁ (X = 4) der vierten Spalte des Bilds M₁ angeordnet ist, und der Leuchtdichte H₀ (X = 3) eines Pixels einer entsprechenden Position innerhalb eines Blocks R₀ (X = 3) der dritten Spalte des Bilds M₀, der der gemeinsame Bereich davon ist, berechnet (siehe Gleichung (8-4)). Eine Abschattungskomponente Sh (X = 5) eines willkürlichen Pixels, das in der fünften Spalte umfasst ist, wird unter Verwendung der Leuchtdichte H₂ (X = 5) des Pixels, das innerhalb eines Blocks R₂ (X = 5) der fünften Spalte des Bilds M₂ angeordnet ist, und der Leuchtdichte H₀ (X = 3) des Pixels der entsprechenden Position innerhalb eines Blocks R₀ (X = 3) der dritten Spalte des Bilds M₀, der der gemeinsame Bereich davon ist, berechnet (siehe Gleichung (8-5)). Außerdem die Abschattungskomponente jedes Pixels, das in der dritten Spalte umfasst ist, wie in Gleichung (8-3) dargestellt, Sh (X = 3) = 1,0.
Die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b kann Abschattungskomponenten in Vertikalrichtung aus drei Bildern berechnen, indem sie einen Prozess ähnlich dem der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a durchführt.
Ein Verfahren zum Korrigieren eines Bilds unter Verwendung der normalisierten Abschattungskomponenten und der nicht-normalisierten Abschattungskomponenten jedes der Horizontalrichtung und der Vertikalrichtung, die auf diese Weise berechnet wurden, ähnelt jenem der ersten Ausführungsform (siehe 11 bis 13). Alternativ kann ähnlich dem ersten modifizierten Beispiel der ersten Ausführungsform konfiguriert sein, dass eine Karte, in der die Abschattungskomponenten gespeichert werden, erzeugt wird und ein Bild unter Verwendung dieser Karte korrigiert wird.
Wie oben beschrieben, können gemäß der dritten Ausführungsform die Anzahl der Häufigkeit des Bewegens des Bildgebungssichtfelds V und die Anzahl der Häufigkeit des Durchführens einer Bildgebung verringert werden und kann demgemäß eine Abschattungskorrektur in noch kürzerer Zeit durchgeführt werden.
(Vierte Ausführungsform)
Im Folgenden wird eine vierte Ausführungsform der vorliegenden Erfindung beschrieben.
Die Konfiguration einer Bildverarbeitungsvorrichtung gemäß der vierten Ausführungsform ähnelt jener der ersten Ausführungsform (siehe 1) insgesamt gesehen, Details des Abschattungskomponentenberechnungsprozesses, der von einer Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a und einer Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b durchgeführt wird, unterscheiden sich jedoch von jenen der ersten Ausführungsform. 17 ist ein schematisches Schaubild, das ein Verfahren zum Berechnen von Abschattungskomponenten gemäß der vierten Ausführungsform veranschaulicht.
Wie in 6 veranschaulicht, wird zunächst der Fall in Betracht gezogen, dass ein Bild M₀ durch Durchführen einer Bildgebung erfasst wird, wobei das Bildgebungssichtfeld V an einen gewissen Bereich angeglichen ist, der innerhalb eines Subjekts SP angeordnet ist, und danach ein Bild M₁ durch Durchführen einer Bildgebung erfasst wird, wobei das Bildgebungssichtfeld V um eine Länge Bw in Horizontalrichtung verschoben wird. Zu diesem Zeitpunkt ist die Länge Bw so eingestellt, dass ein ausreichender gemeinsamer Bereich zwischen dem Bild M₀ und dem Bild M₁ sichergestellt wird, und mehr im Detail wird zumindest der Mittelabschnitt des Bilds, das ein Flachbereich ist, in gemeinsamen Bereichen beider Bilder M₀ und M₁ umfasst. 17 veranschaulicht Bilder M₀ und M₁, die durch Durchführen einer solchen Bildgebung erfasst werden, und wobei eine Spalte X = 1 des Bilds M₀ und eine Spalte X = 2 des Bilds M₁ gemeinsame Bereiche sind.
Hier kann eine Abschattungskomponente bei der vierten Ausführungsform unter Verwendung eines Paars von Bildern berechnet werden, die durch Verschieben des Bildgebungssichtfelds V in Horizontalrichtung erfasst wurden, und demgemäß muss das Bildgebungssichtfeld V nicht zwei- oder mehrmals in Einheiten definierter Blöcke verschoben werden. Aus diesem Grund kann, wie oben beschrieben, wenn die oben beschriebene Bedingung der Länge Bw erfüllt ist, das Bildgebungssichtfeld V von einem Benutzer verschoben werden, indem dieser eine Plattform, auf der das SP platziert ist, in Horizontalrichtung willkürlich bewegt. In diesem Fall ist eine willkürliche Plattformbewegungshöhe die Länge Bw, die einem Block entspricht. Alternativ kann eine Verschiebungshöhe zwischen einem Paar von Bildern, die aus einer Gruppe von Bildern ausgewählt sind, die aufeinanderfolgend erfasst wurden, während die Plattform in Horizontalrichtung bewegt wurde, als Länge Bw eingestellt werden. In einem solchen Fall wird die Anzahl von Teilungen von Blöcken in Horizontalrichtung durch Dividieren der Länge w des Bilds in Horizontalrichtung durch die Länge Bw eines Blocks ermittelt.
Die Leuchtdichte H₀ (X = 1) eines willkürlichen Pixels, das in einer Spalte X = 1 des Bilds M₀ umfasst ist, ist durch eine Texturkomponente T₀ (X = 1) und eine Abschattungskomponente Sh (X = 1) des Pixels konfiguriert. Anders ausgedrückt ist H₀ (X = 1) = T₀ (X = 1) × Sh (X = 1). Angenommen, dass die Leuchtdichte eines Pixels, das ein gemeinsames Subjekt mit dem willkürlichen Pixel gemein hat und in einer Spalte X = 2 des Bilds M₁ umfasst ist, durch H₁ (X = 2) ausgewiesen ist, so wird die Leuchtdichte H₁ (X = 2) durch eine Texturkomponente T₁ (X = 2) und eine Abschattungskomponente Sh (X = 2) des Pixels konfiguriert. Anders ausgedrückt ist H₁ (X = 2) = T₂ (X = 2) × Sh (X = 2).
Wie oben beschrieben, sind, da die Spalte X = 1 des Bilds M₀ und die Spalte X = 2 des Bilds M₁ gemeinsame Bereiche sind, Texturkomponenten T₀ (X = 1) und T₁ (X = 2) gleich. Demgemäß wird die folgende Gleichung (9-1) erfüllt.
Gleichermaßen werden unter der Annahme, dass die Spalte X = 2 des Bilds M₀ und die Spalte X = 3 des Bilds M₁, die Spalte X = 3 des Bilds M₀ und die Spalte X = 4 des Bilds M₁ und die Spalte X = 4 des Bilds M₀ und die Spalte X = 5 des Bilds M₁ jeweils gemeinsame Bereiche sind, Gleichungen (9-2) bis (9-4) erfasst, die die Abschattungskomponenten Sh (X = 2), Sh (X = 3) und Sh (X = 4) willkürlicher Pixel darstellen, die in den Spalten X = 2, X = 3 und X = 4 umfasst sind.
Hier werden, wenn die Abschattungskomponente Sh (X = 3) = 1,0 in die Gleichungen (9-1) bis (9-4) substituiert wird, indem die Abschattungskomponente Sh (X = 3) jedes Pixels, das innerhalb der Mittelspalte X = 3 angeordnet ist, die den Flachbereich (3, 3) umfasst, als Referenz verwendet wird, und die Gleichungen angeordnet werden, Gleichungen (10-1) bis (10-5) erfasst, die die Abschattungskomponenten Sh (X = 1) bis Sh (X = 5) willkürlicher Pixel darstellen, die in den Spalten umfasst sind.
Wie in Gleichung (10-2) dargestellt, ist die Abschattungskomponente Sh (X = 2) durch die Leuchtdichte H₀ (X = 2) und H₁ (X = 3) gegeben. Außerdem ist, wie in Gleichung (10-1) dargestellt, die Abschattungskomponente Sh (X = 1) durch die Abschattungskomponente Sh (X = 2), die unter Verwendung der Gleichung (10-2) berechnet wird, und die Leuchtdichte H₀ (X = 1) und H₁ (X = 2) gegeben. Des Weiteren ist, wie in Gleichung (10-4) dargestellt, die Abschattungskomponente Sh (X = 4) durch die Leuchtdichte H₀ (X = 3) und H₁ (X = 4) gegeben. Außerdem ist, wie in Gleichung (10-5) dargestellt, die Abschattungskomponente Sh (X = 5) durch die Abschattungskomponente Sh (X = 4), die unter Verwendung der Gleichung (10-4) berechnet wird, und die Leuchtdichte H₀ (X = 4) und H₁ (X = 5) gegeben. Anders ausgedrückt kann, wie in den Gleichungen (10-1) bis (10-5) dargestellt, eine Abschattungskomponente Sh eines willkürlichen Pixels, das in jeder Spalte umfasst ist, unter Verwendung der Leuchtdichte von Pixeln berechnet werden, die innerhalb der zwei Bilder M₀ und M₁ angeordnet sind.
Anders ausgedrückt kann, wenn eine Abschattungskomponente (Sh (X = 3)) für einen Teilbereich im Bild (z. B. die Spalte X = 3) bekannt ist (1,0 in einem Flachbereich), eine unbekannte Abschattungskomponente (Sh (X = 4)) unter Verwendung des Verhältnisses (H₁ (X = 4)/H₀ (X = 3)) zwischen der Leuchtdichte (H₀ (X = 3)) eines Pixels, das innerhalb eines Bereichs (die Spalte X = 3) angeordnet ist, in dem die Abschattungskomponente des Inneren eines Bilds (z. B. das Bild M₀) bekannt ist, und der Leuchtdichte (H₁ (X = 4)) eines Pixels einer entsprechenden Position in einem Bereich (X = 4) des Inneren des anderen Bilds (Bild M₁), auf dem ein Subjekt gezeigt ist, das dem Bereich gemein ist, und der bekannten Abschattungskomponente (Sh (X = 3)) berechnet werden. Durch sequentielles Wiederholen einer solchen Berechnung können die Abschattungskomponenten des gesamten Bilds erfasst werden.
Andererseits erfasst die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b eine Abschattungskomponente aus einem Bild, das durch Durchführen einer Bildgebung erfasst wurde, wobei das Bildgebungssichtfeld V an einem gewissen Bereich des Inneren des Subjekts SP und eines Bilds angeglichen ist (siehe 7), das durch Verschieben des Bildgebungssichtfelds V um einen vordefinierten Abstand (z. B. eine Länge Bh, die einem Block entspricht; siehe 5) in Vertikalrichtung in Bezug auf das Bild erfasst wurde. Außerdem ist die Länge Bh in einem solchen Fall so eingestellt, dass ein ausreichender gemeinsamer Bereich zwischen beiden Bildern sichergestellt ist, und mehr im Detail zumindest ein Mittelabschnitt des Bildes, der ein Flachbereich ist, im gemeinsamen Bereich umfasst ist.
Auch in diesem Fall kann ähnlich dem der Horizontalrichtung, wenn die oben beschriebene Bedingung der Länge Bh erfüllt ist, das Bildgebungssichtfeld V von einem Benutzer verschoben werden, indem dieser eine Plattform, auf der das SP platziert ist, in Vertikalrichtung willkürlich bewegt. Zu diesem Zeitpunkt ist eine willkürliche Plattformbewegungshöhe die Länge Bh, die einem Block entspricht. Alternativ kann eine Verschiebungshöhe zwischen einem Paar von Bildern, die aus einer Gruppe von Bildern ausgewählt sind, die aufeinanderfolgend erfasst wurden, während die Plattform in Vertikalrichtung bewegt wurde, als Länge Bh eingestellt werden. In einem solchen Fall wird die Anzahl von Teilungen von Blöcken in Vertikalrichtung durch Dividieren der Länge h des Bilds in Vertikalrichtung durch die Länge Bh eines Blocks ermittelt.
Eines von Bildern vor und nach der Verschiebung des Bildgebungssichtfelds V kann auch als eines der Bilder M₀ und M₁ verwendet werden, die für die Berechnung durch die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a verwendet wurden. Anders ausgedrückt kann im Wesentlichen nur ein Bild, das durch Verschieben des Bildgebungssichtfelds V in Vertikalrichtung in Bezug auf das Bild M₀ oder M₁ erfasst wurde, neu erfasst werden.
Danach berechnet die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b eine Abschattungskomponente Sh jedes Pixels, das in jeder Zeile (Y = 1, Y = 2, Y = 3, Y = 4 und Y = 5) umfasst ist, indem sie eine Berechnung ähnlich dem oben beschriebenen Verfahren zum Berechnen von Abschattungskomponenten in Horizontalrichtung durchführt.
Ein Verfahren zum Korrigieren eines Bilds unter Verwendung der normalisierten Abschattungskomponenten und der nicht-normalisierten Abschattungskomponenten jeder der Horizontalrichtung und der Vertikalrichtung, die auf diese Weise berechnet wurden, ähnelt jenem der ersten Ausführungsform (siehe 11 bis 13). Alternativ kann ähnlich dem ersten modifizierten Beispiel der ersten Ausführungsform konfiguriert sein, dass eine Karte, in der die Abschattungskomponenten gespeichert werden, erzeugt wird und das Bild unter Verwendung dieser Karte korrigiert wird.
Wie oben beschrieben, können die Abschattungskomponenten des gesamten Bilds gemäß der vierten Ausführungsform auf Basis von Bildern der zwei Sätze berechnet werden, die einen ausreichenden gemeinsamen Bereich in jeder der Horizontalrichtung und der Vertikalrichtung aufweisen. Danach können, da ein Bild jedes Satzes auch als Bild des anderen Satzes verwendet werden kann, die Abschattungskomponenten des gesamten Bilds auf Basis von zumindest drei Bildern berechnet werden. Um Bilder mit einem gemeinsamen Bereich zu erfassen, ist es nicht erforderlich, die Verschiebungshöhen des Bildgebungssichtfelds in Horizontalrichtung und Vertikalrichtung genau zu steuern, und demgemäß ist die Ausführungsform z. B. bei einem Mikroskopsystem nicht auf eine motorbetriebene Plattform beschränkt, sondern kann als manuelle Plattform auf vereinfachte Weise umgesetzt werden.
Außerdem kann bei der vierten Ausführungsform, auch wenn die Horizontalrichtungs-Abschattungskomponenten aus einem Paar von Bildern durch Verschieben des Sichtfelds in Horizontalrichtung erfasst werden, konfiguriert sein, dass eine Mehrzahl von Horizontalrichtungs-Abschattungskomponenten in einer gleichen Pixelposition aus einer Mehrzahl von Paaren von Bildern berechnet wird, die durch Verschieben des Bildgebungssichtfelds V in Horizontalrichtung erfasst wurden, und eine finale Horizontalrichtungs-Abschattungskomponente Sh wird durch Berechnen des Durchschnitts oder dergleichen solcher Horizontalrichtungs-Abschattungskomponenten erfasst. Zu diesem Zeitpunkt können die Verschiebungshöhen der Mehrzahl von Paaren von Bildern in Horizontalrichtung willkürlich sein. Auf diese Weise kann eine Verringerung der Genauigkeit der Abschattungskomponenten aufgrund einer Verschlechterung eines Bilds wie z. B. willkürliches Rauschen, Lichthof oder schwarze Stellen unterdrückt werden.
Auch wenn die Vertikalrichtungs-Abschattungskomponente erfasst wird, kann gleichermaßen konfiguriert sein, dass eine Mehrzahl von Vertikalrichtungs-Abschattungskomponenten in einer gleichen Pixelposition aus einer Mehrzahl von Paaren von Bildern berechnet wird, die durch Verschieben des Bildgebungssichtfelds V in Vertikalrichtung erfasst wurden, und eine finale Vertikalrichtungs-Abschattungskomponente Sv wird durch Berechnen des Durchschnitts oder dergleichen solcher Vertikalrichtungs-Abschattungskomponenten erfasst.
(Fünfte Ausführungsform)
Im Folgenden wird eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben.
Die Konfiguration einer Bildverarbeitungsvorrichtung gemäß der fünften Ausführungsform ähnelt jener der ersten Ausführungsform (siehe 1) insgesamt gesehen, Details des Abschattungskomponentenberechnungsprozesses, der von einer Abschattungskomponenten-Berechnungseinheit 121 durchgeführt wird, unterscheiden sich jedoch von jenen der ersten Ausführungsform.
Bei der oben beschriebenen ersten Ausführungsform kann, auch wenn die Texturkomponente T(X, Y) eines willkürlichen Pixels, das innerhalb eines Blocks angeordnet ist, aus dem eine normalisierte Abschattungskomponente nicht erfasst wird, unter Verwendung einer der Gleichungen (5) und (6) berechnet wird, die Abschattungskomponenten-Berechnungseinheit 121 eine kombinierte Abschattungskomponente berechnen, die durch Gewichten und Kombinieren der Abschattungskomponenten erfasst wird, die bei solchen Gleichungen (5) und (6) verwendet werden, und zwar vorab.
Hier wird für einen Block (X, Y), der ein Korrekturziel ist, eine Abschattungskomponente, die durch eine nicht-normalisierte Abschattungskomponente Sh(X, Y), die unter Verwendung eines Blocks des gemeinsamen Bereichs der Horizontalrichtung als Referenz berechnet wurde, und durch eine normalisierte Abschattungskomponente Sv(X₀, Y), die unter Verwendung eines Blocks (3, 3) eines Flachbereichs der ein gemeinsamer Bereich der Vertikalrichtung des Blocks des oben beschriebenen gemeinsamen Bereichs ist, als Referenz berechnet wurde, als Abschattungskomponente Shv₁(X, Y) eingestellt (siehe Gleichung (11)). Shv₁(X, Y) = Sh(X, Y) × Sv(X₀, Y) (11)
Außerdem wird für einen Block (X, Y), der ein Korrekturziel ist, eine Abschattungskomponente, die durch eine nicht-normalisierte Abschattungskomponente Sv(X, Y), die unter Verwendung eines Blocks des gemeinsamen Bereichs der Vertikalrichtung als Referenz berechnet wurde, und durch eine normalisierte Abschattungskomponente Sh(X, Y₀), die unter Verwendung des Blocks (3, 3) des Flachbereichs der der gemeinsame Bereich der Horizontalrichtung des Blocks des oben beschriebenen gemeinsamen Bereichs ist, als Referenz berechnet wurde, als Abschattungskomponente Shv₂(X, Y) eingestellt (siehe Gleichung (12)). Shv₂(X, Y) = Sv(X, Y) × Sh(X, Y₀) (12)
Die kombinierte Abschattungskomponente S(X, Y), die durch Gewichten und Kombinieren solcher Abschattungskomponenten Shv₁(X, Y) und Shv₂(X, Y) erfasst wird, ist durch die folgende Gleichung (13) gegeben. S(X, Y) = (1 – w(X, Y)) × Shv₁(X, Y) + w(X, Y) × Shv₂(X, Y) (13)
In Gleichung (13) ist w(X, y) ein Gewicht, das zum Kombinieren der Abschattungskomponenten verwendet wird. Im Allgemeinen kann, da die Abschattungskomponente als glatt angesehen werden kann, das Gewicht w(X, Y), wie in der folgenden Gleichung (14) gezeigt, z. B. auf Basis eines Verhältnisses zwischen Gesamtsummen von Randmengen ermittelt werden.
In Gleichung (14) ist ein Parameter α ein Normalisierungskoeffizient. Außerdem stellt Edge_h[ ] eine Gesamtsumme aller Horizontalrichtungs-Randmengen in einem Zielbereich (Block (X, Y) oder (X, Y₀)) für die Verteilung von Horizontalrichtungs-Abschattungskomponenten dar. Edge_v[ ] stellt eine Gesamtsumme aller Vertikalrichtungs-Randmengen in einem Zielbereich (Block (X₀, Y) oder (X, Y)) für die Verteilung von Vertikalrichtungs-Abschattungskomponenten dar.
Beispielsweise wenn eine Gesamtsumme von Randmengen in Blöcken (X, Y) und (X₀, Y), die für die Berechnung der Abschattungskomponente Shv₁(X, Y) verwendet wurden, geringer als eine Gesamtsumme von Randmengen in Blöcken (X, Y₀) und (X₀, Y) ist, die für die Berechnung der Abschattungskomponente Shv₂(X, Y) verwendet wurden, ist der Wert des Gewichts w(X, Y) ebenfalls verringert. Demgemäß ist das Ausmaß des Beitrags der Abschattungskomponente Shv₁ in Gleichung (13) erhöht.
Wie in Gleichung (14) gezeigt, können durch Einstellen des Gewichts w(X, Y) auf Basis der Randmenge oder des Kontrasts zwei Abschattungskomponenten Shv₁ und Shv₂ auf Basis der Glattheit dieser kombiniert werden. Demgemäß kann eine glattere kombinierte Abschattungskomponente S berechnet werden.
In diesem Fall berechnet die zweite Bildkorrektureinheit 122b eine Texturkomponente T(X, Y) unter Verwendung der folgenden Gleichung (15) für den Block (X, Y), aus dem eine normalisierte Abschattungskomponente nicht erfasst wird. T(X, Y) = H(X, Y) × 1 / S(X, Y) (15)
Wie oben beschrieben, kann gemäß der fünften Ausführungsform eine robuste Abschattungskorrektur für die Abschattungskomponenten unabhängig von der berechneten Richtung (der Horizontalrichtung oder der Vertikalrichtung) durchgeführt werden.
Bei der oben beschriebenen fünften Ausführungsform kann, auch wenn eine glatte kombinierte Abschattungskomponente S durch Einstellen des Gewichts w(X, Y) unter Verwendung der Gleichung (14) berechnet wird, eine noch glattere kombinierte Abschattungskomponente S so konfiguriert sein, dass sie durch Kombinieren eines Filterprozesses mithilfe eines Medianfilters, eines Mittelungsfilters, eines Gaußfilters oder dergleichen erzeugt wird.
(Sechste Ausführungsform)
Im Folgenden wird eine sechste Ausführungsform der vorliegenden Erfindung beschrieben. Die oben beschriebenen ersten bis fünften Ausführungsformen können miteinander kombiniert werden.
Beispielweise werden, wenn die ersten, dritten und fünften Ausführungsformen kombiniert werden, zunächst ähnlich der ersten Ausführungsform für jede der Horizontalrichtung und der Vertikalrichtung fünf Bilder (z. B. Bilder M₀ bis M₄) erfasst, indem eine fünfmalige Bildgebung durchgeführt wird, während das Bildgebungssichtfeld V bewegt wird. Danach werden Abschattungskomponenten der Horizontalrichtung und der Vertikalrichtung auf Basis solcher fünf Bilder berechnet und wird eine kombinierte Abschattungskomponente S(X, Y) ähnlich der fünften Ausführungsform für einen Block berechnet, aus dem eine normalisierte Abschattungskomponente nicht erfasst wurde.
Abschattungskomponenten können aus jeder der Kombinationen (M₀, M₁, M₂), (M₁, M₂, M₃) und (M₂, M₃, M₄) von drei aufeinanderfolgenden Bildern unter den oben beschriebenen Bildern M₀ bis M₄ berechnet werden, ähnlich der dritten Ausführungsform. Somit werden drei kombinierte Abschattungskomponenten S(X, Y) ähnlich der fünften Ausführungsform unter Verwendung der Abschattungskomponenten berechnet, die jeweils aus den drei Kombinationen berechnet wurden. Schließlich werden für einen Block eine kombinierte Abschattungskomponente auf Basis der fünf Bilder und die drei kombinierten Abschattungskomponente S(X, Y) auf Basis der Kombinationen der drei Bilder erfasst. Durch Berechnen eines Durchschnitts solcher vier kombinierter Abschattungskomponenten S(X, Y) kann eine robustere kombinierte Abschattungskomponente erfasst werden.
Außerdem werden, wenn die zweiten, dritten und fünften Ausführungsform kombiniert werden, ähnlich der zweiten Ausführungsform Abschattungskomponenten aus neun Bildern berechnet und wird eine kombinierte Abschattungskomponente S(X, Y) ähnlich der fünften Ausführungsform berechnet. Zwischenzeitlich werden Abschattungskomponenten aus einer Kombination von drei aufeinanderfolgenden Bildern aus unter den oben beschriebenen neun Bildern ähnlich der dritten Ausführungsform berechnet und wird außerdem eine kombinierte Abschattungskomponente S(X, Y) ähnlich der fünften Ausführungsform berechnet. Danach kann eine robustere Abschattungskomponente durch Berechnen eines Durchschnitts der kombinierten Abschattungskomponente S(X, Y) berechnet werden.
(Siebte Ausführungsform)
Im Folgenden wird eine siebte Ausführungsform der vorliegenden Erfindung beschrieben.
18 ist ein Blockschaubild, das ein Beispiel der Konfiguration einer Bildverarbeitungsvorrichtung gemäß der siebten Ausführungsform veranschaulicht. Wie in 18 veranschaulicht, umfasst die Bildverarbeitungsvorrichtung 2 gemäß der siebten Ausführungsform eine Bildverarbeitungseinheit 21, die des Weiteren eine Flachbereichsucheinheit 211 in der Bildverarbeitungseinheit 12 anstatt der Bildverarbeitungseinheit 12 umfasst, die in 1 veranschaulicht ist.
Hier wird bei den oben beschriebenen ersten bis fünften Ausführungsformen ein Mittelbereich eines Bilds als Flachbereich angesehen, in dem die Abschattungskomponenten gleichmäßig sind, und werden Abschattungskomponenten von Bereichen, bei denen es sich nicht um Mittelblöcke handelt, berechnet. Im Gegensatz dazu werden bei der siebten Ausführungsform, nachdem eine Suche nach einem Flachbereich aus dem Inneren eines Bilds durchgeführt wurde, Abschattungskomponenten berechnet.
Vor der Suche nach einem Flachbereich nimmt die Bildverarbeitungseinheit 21 ähnlich der ersten Ausführungsform Bilder (z. B. im Fall der Horizontalrichtung die Bilder M₀ bis M₄, die in 8 veranschaulicht sind) auf, die durch Durchführen einer Bildgebung erfasst wurden, während das Bildgebungssichtfeld jeweils um eine vordefinierte Höhe jeweils in Horizontalrichtung und Horizontalrichtung bewegt wurde, und zwar aus der Bilderfassungseinheit 11.
Die Flachbereichsucheinheit 211 erfasst ein Horizontalrichtungsbild Fh, das in 19 veranschaulicht ist, aus unter den Bildern M₀ bis M₄, die durch Bewegen des Bildgebungssichtfelds in Horizontalrichtung erfasst wurden, auf Basis der Leuchtdichte H₀ (X = 1), H₁ (X = 2), H₂ (X = 3), H₃ (X = 4) und H₄ (X = 5) von willkürlichen Pixeln, die in Blöcken mit einer gemeinsamen Texturkomponente umfasst sind, und speichert das Horizontalrichtungsbild Fh in einer Speichereinheit 13. Die Leuchtdichte eines willkürlichen Pixels, das in jeder der Spalten Fh (X = 1) bis Fh (X = 5) umfasst ist, die das Horizontalrichtungsbild Fh bilden, ist durch die folgenden Gleichungen (16-1) bis (16-5) gegeben. Fh(X = 1) = H₀(X = 1) (16-1) Fh(X = 2) = H₁(X = 2) (16-2) Fh(X = 3) = H₂(X = 3) (16-3) Fh(X = 4) = H₃(X = 4) (16-4) Fh(X = 5) = H₄(X = 5) (16-5)
Gleichermaßen erfasst die Flachbereichsucheinheit 211 erfasst ein Vertikalrichtungsbild Fv, das in 20 veranschaulicht ist, aus den Bildern, die durch Bewegen des Bildgebungssichtfelds V in Vertikalrichtung erfasst wurden, auf Basis der Leuchtdichte von willkürlichen Pixeln, die in Blöcken mit einer gemeinsamen Texturkomponente umfasst sind, und speichert das Vertikalrichtungbilds Fv in der Speichereinheit 13.
21 ist ein schematisches Schaubild, das das in 19 gezeigte Horizontalrichtungsbild Fh in Pixeleinheiten veranschaulicht. 22 ist ein schematisches Schaubild, das das in 20 gezeigte Vertikalrichtungsbild Fv in Pixeleinheiten veranschaulicht. In den 21 und 22 wird der einfacheren Beschreibung wegen ein Block (X, Y) als durch 5 Pixel×5 Pixel konfiguriert angenommen. Im Folgenden sind die Koordinaten eines Pixels in den 21 und 22 durch (x, y) ausgewiesen und sind die Koordinaten eines Blocks durch (X, Y) ausgewiesen. Außerdem ist ein Block (X, Y), der ein Ziel für die Berechnung eines Gradienten ist, durch ROI(X, Y) ausgewiesen.
Die Flachbereichsucheinheit 211 berechnet einen Gradienten N(x, y) einer Abschattungskomponente, die durch die folgende Gleichung (17) gegeben ist, für jeden Block (X, Y) aus dem Horizontalrichtungsbild Fh und dem Vertikalrichtungsbild Fv. N(x, y) = |Fh(x – Bw, y) – Fh(x, y)| + |Fh(x, y) – Fh(x + Bw, y)| + |Fv(x, y – Bh) – Fv(x, y)| + |Fv(x, y) – Fv(x, y + Bh)| (17)
Ein in der Gleichung (17) gezeigtes Symbol Bw stellt eine Größe (Länge) jedes Blocks in Horizontalrichtung unter Verwendung der Anzahl von Pixeln dar. Außerdem stellt ein in der Gleichung (17) gezeigtes Symbol Bh stellt eine Größe (Länge) jedes Blocks in Vertikalrichtung unter Verwendung der Anzahl von Pixeln dar (siehe 5).
Beispielsweise wird der Fall beschrieben, dass der Gradient N(x, y) der Abschattungskomponente eines ROI (X = 2, Y = 2) berechnet wird. Im Horizontalrichtungsbild Fh ist eine Texturkomponente in Pixeln (x = 3, y = 8), (x = 8, y = 8) und (x = 13, y = 8) gleich. Aus diesem Grund entspricht eine Änderung der Leuchtdichte in solchen Pixeln einer Änderung der Abschattungskomponente. Außerdem ist eine Texturkomponente im Vertikalrichtungsbild Fv in Pixeln (x = 8, y = 3), (x = 8, y = 8) und (x = 8, y = 13) gleich. Aus diesem Grund entspricht eine Änderung der Leuchtdichte in solchen Pixeln einer Änderung der Abschattungskomponente.
Somit ist der Gradient N(8, 8) der Abschattungskomponente im Mittelpixel (x = 8, y = 8) des ROI (X = 2, Y = 2) durch die folgende Gleichung (18) gegeben. N(8, 8) = |Sh(3, 8) – Sh(8, 8)| + |Sh(8, 8) – Sh(13, 8)| + |Sv(8, 3) – Sv(8, 8)| + |Sv(8, 8) – Sv(8, 13)| (18)
Die Flachbereichsucheinheit 211 stellt den Gradienten der Abschattungskomponente im Pixel (x = 8, y = 8), das sich in der Mitte des ROI (X = 2, Y = 2) befindet, als Gradient der Abschattungskomponente des ROI (X = 2, Y = 2) ein. Auf diese Weise berechnet die Flachbereichsucheinheit 211 Gradienten der Abschattungskomponenten für alle Blöcke mit Ausnahme von Bildecken und ermittelt einen Block mit einem kleinsten Gradienten als Flachbereich.
Der Gradient der Abschattungskomponente jedes Blocks ist nicht auf den Gradienten der Abschattungskomponente eines Pixels beschränkt, das sich in der Mitte des ROI befindet, sondern kann ein statistischer Wert (ein Summenwert, ein Durchschnittswert, ein Am-Häufigsten-Wert, ein Medianwert oder dergleichen) von Gradienten von Abschattungskomponenten aller Pixel innerhalb des ROI verwendet werden oder kann ein statistischer Wert (oben beschrieben) der Gradienten der Abschattungskomponenten mancher Pixel, die innerhalb des ROI angeordnet sind, verwendet werden.
Wenn ein Bereich, bei dem es sich nicht um den Mittelbereich handelt, von der Flachbereichsucheinheit 211 infolge der Suche als Flachbereich ermittelt wird, berechnen die Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a und die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b Abschattungskomponenten jeder Richtung unter Verwendung des Flachbereichs, der infolge der Suche ermittelt wurde, als Referenz (anders ausgedrückt wird die Abschattungskomponente als 1,0 angesehen). Beispielsweise wenn ein Block (X = 2, Y = 2) ein Flachbereich ist, berechnet der Erstrichtungs-Abschattungskomponenten-Berechnungseinheit 121a Abschattungskomponenten Sh (X = 1) bis Sh (X = 5) der Horizontalrichtung unter Verwendung der folgenden Gleichungen (19-1) bis (19-5) unter Verwendung von Blöcken der zweiten Spalte, die den Flachbereich umfassen, als Referenz und speichert die berechneten Abschattungskomponenten in der Speichereinheit 13.
23 ist ein schematisches Schaubild, das Abschattungskomponenten Sh der Horizontalrichtung zeigt, die in der Speichereinheit 13 gespeichert sind.
Gleichermaßen berechnet die Zweitrichtungs-Abschattungskomponenten-Berechnungseinheit 121b Abschattungskomponenten Sv (Y = 1) bis Sv (Y = 5) der Vertikalrichtung unter Verwendung von Blöcken der zweiten Zeile, die den Flachbereich umfassen, als Referenz und speichert die berechneten Abschattungskomponenten in der Speichereinheit 13. 24 ist ein schematisches Schaubild, das Abschattungskomponenten Sv der Vertikalrichtung zeigt, die in der Speichereinheit 13 gespeichert sind. In den 23 und 24 werden Abschattungen von Diagonallinien auf die Spalte und die Zeile angewandt, die den Flachbereich umfassen.
In diesem Fall berechnet die zweite Bildkorrektureinheit 122b eine Texturkomponente T(X, Y) eines Blocks, aus dem eine normalisierte Abschattungskomponente nicht erfasst wurde, unter Verwendung der folgenden Gleichung (20) oder (21). T(X, Y) = H(X, Y) × 1 / Sh(X, Y) × 1 / Sv(2, Y) (20) T(X, Y) = H(X, Y) × 1 / Sh(X, 2) × 1 / Sv(X, Y) (21)
Wie oben beschrieben, kann gemäß der siebten Ausführungsform auch wenn ein Flachbereich, in dem die Abschattung gleichmäßig ist, aufgrund einer Abweichung der optischen Achse oder dergleichen von der Mitte abweicht, eine Abschattungskorrektur mit hoher Genauigkeit durchgeführt werden.
Bei der oben beschriebenen siebten Ausführungsform gibt es, auch wenn die Abschattungskomponente jedes Blocks unter Verwendung der Abschattungskomponente des Flachbereichs berechnet wird, die infolge der Suche mit 1,0 ermittelt wurde, Fälle, in denen die Abschattungskomponente des Flachbereichs nicht 1.0 ist. In solchen Fällen kann die Bildkorrektureinheit 122 die Texturkomponenten, die durch die Abschattungskorrektur berechnet wurden, unter Verwendung einer gleichmäßigen Verstärkung für das ganze Bild zusätzlich normalisieren.
Außerdem kann bei der oben beschriebenen siebten Ausführungsform, auch wenn ein Block als Flachbereich ermittelt wird, der ein Pixel umfasst, in dem der Gradient N(x, y) minimal ist, konfiguriert sein, dass ein Schwellenwert des Gradienten N(x, y) eingestellt wird und alle Blöcke, deren Gradienten N(x, y) der Schwellenwert oder weniger sind, werden als Flachbereiche ermittelt. In einem solchen Fall kann die finale Abschattungskomponente durch Gewichten und Kombinieren der Abschattungskomponenten, die unter Verwendung der Flachbereiche als Referenz berechnet wurden, auf Basis der Werte der Gradienten N(x, y) berechnet werden.
(Achte Ausführungsform)
Im Folgenden wird eine achte Ausführungsform der vorliegenden Erfindung beschrieben.
25 ist ein Schaubild, das ein Beispiel der Konfiguration eines Mikroskopsystems gemäß der achten Ausführungsform veranschaulicht. Wie in 25 veranschaulicht, umfasst das Mikroskopsystem 6 gemäß der achten Ausführungsform: eine Mikroskopvorrichtung 3; eine Bildverarbeitungsvorrichtung 4; und eine Anzeigevorrichtung 5.
Die Mikroskopvorrichtung 3 umfasst: einen Arm 300 mit einer ungefähren „C”-Form, wobei eine Auflichteinheit 301 und eine Durchlichteinheit 302 (Transmitting Illumination Unit) bereitgestellt sind; eine Prüfkörperplattform 303, auf der ein Subjekt SP platziert ist, das ein Beobachtungsziel ist, die an dem Arm 300 angebracht ist; eine Objektivlinse 304, die so bereitgestellt ist, dass sie der Prüfkörperplattform 303 zugewandt ist, durch eine trinokulare Röhreneinheit 308 an einer Endseite eines Linsenzylinders 305; eine Bildgebungseinheit 306, die auf der anderen Endseite des Linsenzylinders 305 bereitgestellt ist; und eine Plattformpositionsänderungseinheit 307, die die Prüfkörperplattform 303 bewegt. Die trinokulare Röhreneinheit 308 zweigt Beobachtungslicht des Subjekts SP, das von der Objektivlinse 304 einfällt, in die Bildgebungseinheit 306 und eine Okularlinseneinheit 309 die, später beschrieben werden. Die Okularlinseneinheit 309 wird verwendet, damit ein Benutzer das Subjekt SP direkt beobachten kann.
Die Auflichteinheit 301 umfasst eine Auflicht-Lichtquelle 301a und ein optisches Auflichtsystem 301b und emittiert Auflicht auf das Subjekt SP. Das optische Auflichtsystem 301b umfasst diverse optische Elemente (eine Filtereinheit, einen Verschluss, eine Sehfeldblende und eine Aperturblende), die Auflicht sammeln, das von der Auflicht-Lichtquelle 301a emittiert wird, und führt das Auflicht in die Richtung eines optischen Beobachtungswegs L.
Die Durchlichteinheit 302 umfasst eine Durchlicht-Lichtquelle 302a und ein optisches Durchlichtsystem 302b und emittiert Durchlicht auf das Subjekt SP. Das optische Durchlichtsystem 302b umfasst diverse optische Elemente (eine Filtereinheit, einen Verschluss, eine Sehfeldblende und eine Aperturblende), die Auflicht sammeln, das von der Durchlicht-Lichtquelle 302a emittiert wird, und führt das Auflicht in die Richtung des optischen Beobachtungswegs L.
Die Objektivlinse 304 ist an einem Revolver 310 angebracht, der eine Mehrzahl von Objektivlinsen (z. B. Objektivlinsen 304 und 304') mit unterschiedlichen Vergrößerungen halten kann. Durch Ändern der Objektivlinse 304 oder 304', die der Prüfkörperplattform 303 zugewandt ist, indem der Revolver 310 gedreht wird, kann die Bildgebungsvergrößerung verändert werden.
Innerhalb des Linsenzylinders 305 ist eine Zoomeinheit bereitgestellt, die eine Mehrzahl von Zoomlinsen und eine Antriebseinheit (allesamt nicht in der Zeichnung dargestellt) umfasst, die die Positionen solcher Zoomlinsen ändert. Die Zoomeinheit vergrößert oder verkleinert ein Subjektbild innerhalb des Bildgebungssichtfelds durch Anpassen der Positionen der Zoomlinsen. Außerdem kann ein Codierer des Weiteren in der Antriebseinheit innerhalb des Linsenzylinders 305 bereitgestellt sein. In einem solchen Fall kann konfiguriert sein, dass ein Ausgabewert des Codierers an die Bildverarbeitungsvorrichtung 4 ausgegeben wird und die Bildgebungsvergrößerung automatisch berechnet wird, indem die Positionen der Zoomlinsen auf Basis des Ausgabewerts des Codierers in der Bildverarbeitungsvorrichtung 4 erkannt werden.
Die Bildgebungseinheit 306 ist eine Kamera, die einen Bildsensor wie z. B. ein CCD oder ein CMOS umfasst, und kann ein Farbbild mit Pixelebenen (Pixelwerten) von Banden R (Rot), G (Grün) und B (Blau) in jedem Pixel aufnehmen, das dem Bildsensor bereitgestellt wird, und wird unter einem vordefinierten Zeitplan unter Steuerung der Bildgebungssteuereinheit 111 der Bildverarbeitungsvorrichtung 4 betrieben. Die Bildgebungseinheit 306 empfängt Licht (Beobachtungslicht), das von der Objektivlinse 304 durch das optische System einfällt, das innerhalb des Linsenzylinders 305 bereitgestellt ist, erzeugt Bilddaten, die dem Beobachtungslicht entsprechen, und gibt die erzeugten Bilddaten an die Bildverarbeitungsvorrichtung 4 aus. Alternativ kann die Bildgebungseinheit 306 Pixelwerte, die in einem RGB-Farbraum dargestellt sind, in Pixelwerte umwandeln, die in einem YCbCr-Farbraum dargestellt sind, und die umgewandelten Pixelwerte an die Bildverarbeitungsvorrichtung 4 ausgeben.
Die Plattformpositionsänderungseinheit 307 beispielsweise umfasst eine Kugelrollspindel (in der Zeichnung nicht gezeigt) und einen Schrittmotor 307a und ändert das Bildgebungssichtfeld durch Bewegen der Position der Prüfkörperplattform 303 innerhalb einer XY-Ebene. Außerdem stellt die Plattformpositionsänderungseinheit 307 den Fokus der Objektivlinse 304 auf das Subjekt SP ein, indem es die Prüfkörperplattform 303 entlang einer Z-Achse bewegt. Die Konfiguration der Plattformpositionsänderungseinheit 307 ist nicht auf die oben beschriebene Konfiguration beschränkt und kann sich z. B. eines Ultraschallmotors oder dergleichen bedienen.
Bei der achten Ausführungsform ist die Position des optischen Systems, das die Objektivlinse 304 umfasst, fest und wird das Bildgebungssichtfeld in Bezug auf das Subjekt SP durch Bewegen der Prüfkörperplattform 303 verändert. Ein Bewegungsmechanismus zum Bewegen der Objektivlinse 304 innerhalb einer Ebene orthogonal zur optischen Achse kann jedoch bereitgestellt sein, die Prüfkörperplattform 303 kann fest sein und das Bildgebungssichtfeld kann durch Bewegen der Objektivlinse 304 verändert werden. Alternativ können sowohl die Prüfkörperplattform 303 als auch die Objektivlinse 304 relativ bewegt werden.
Die Bildverarbeitungsvorrichtung 4 umfasst: eine Bilderfassungseinheit 11; eine Bildverarbeitungseinheit 41; und eine Speichereinheit 13. Unter diesen ähneln die Konfigurationen und die Betriebe der Bilderfassungseinheit 11 und der Speichereinheit 13 jenen der ersten Ausführungsform (siehe 1). Bei der Bilderfassungseinheit 11 kann, auch wenn eine Antriebssteuereinheit 112 eine Positionssteuerung der Prüfkörperplattform 303 durch Lenken der Antriebskoordinaten der Prüfkörperplattform 303 in einer Neigung, die vorab auf Basis des Werts der Skala und dergleichen ermittelt wurde, wie an der Prüfkörperplattform 303 angebracht, durchführt, die Positionssteuerung der Prüfkörperplattform 303 auf Basis einer Ergebnisses eines Bildabgleichs wie z. B. eines Vorlagenabgleichs auf Basis eines von der Mikroskopvorrichtung 3 erfassten Bilds durchgeführt werden. Bei der achten Ausführungsform wird, nachdem das Bildgebungssichtfeld V innerhalb der Ebene des Subjekts SP in Horizontalrichtung bewegt wurde, das Bildgebungssichtfeld V nur in Vertikalrichtung bewegt und demgemäß kann die Steuerung der Prüfkörperplattform 303 sehr einfach durchgeführt werden.
Die Bildverarbeitungsvorrichtung 411 umfasst neben der Bildverarbeitungseinheit 12, die in 1 veranschaulicht ist, des Weiteren eine VS-Bilderzeugungseinheit 411. Die VS-Bilderzeugungseinheit 411 erzeugt ein Virtueller-Objektträger-(VS)-Bild auf Basis einer Mehrzahl von Bildern, in Bezug auf welche eine Abschattungskorrektur von der Bildkorrektureinheit 122 durchgeführt wird.
Das Virtueller-Objektträger-Bild ist ein Bild mit einem breiten Sichtfeld, das durch Zusammenfügen einer Mehrzahl von Bildern mit unterschiedlichen Bildgebungssichtfeldern erzeugt wird, und im Mikroskopsystem 6 ist eine Funktion zum Erzeugen eines Virtueller-Objektträger-Bilds vorgesehen. Hier wird, wenn eine Mehrzahl von Bildern, die von der Mikroskopvorrichtung 3 aufgenommen wurden, direkt zusammengefügt wird, eine unnatürliche Grenze in einem Abschnitt erzeugt, der die Bilder zusammenfügt, was auf den Einfluss der Abschattung zurückzuführen ist, die gemäß den Charakteristika des optischen Systems und dergleichen erzeugt wird. Somit werden bei der achten Ausführungsform Bilder, in Bezug auf welche eine Abschattungskorrektur von der Bildkorrektureinheit 122 durchgeführt wurde, miteinander zusammengefügt. Die Konfigurationen und die Betriebe der Abschattungskomponenten-Berechnungseinheit 121 und der Bildkorrektureinheit 122 ähneln jenen der ersten Ausführungsform. Alternativ können die Abschattungskomponenten-Berechnungseinheit 121 und die Bildkorrektureinheit 122 ähnlich einer der zweiten bis fünften Ausführungsformen betrieben werden. Außerdem kann ähnlich der siebten Ausführungsform des Weiteren eine Flachbereichsucheinheit 211 bereitgestellt werden.
Die Bilderfassungseinheit 11 und die Bildverarbeitungseinheit 12 können durch eine dedizierte Hardware konfiguriert sein oder können durch Lesen eines vordefinierten Programms in Hardware wie z. B. eine CPU konfiguriert sein. Im letzteren Fall können ein Steuerprogramm, das verwendet wird, um die Bilderfassungseinheit 11 zu veranlassen, eine Steuerung eines Bildgebungsvorgangs der Mikroskopvorrichtung 3 durchzuführen, wie später beschrieben, ein Bildverarbeitungsprogramm, das verwendet wird, um die Bildverarbeitungseinheit 12 zu veranlassen, eine Bildverarbeitung durchzuführen, die eine Abschattungskorrektur umfasst, diverse Parameter und Einstellungsinformationen, die beim Ausführen solcher Programme verwendet werden, in der Speichereinheit 13 gespeichert werden.
Die Anzeigevorrichtung 5 ist durch eine Anzeigevorrichtung wie z. B. ein LCD, eine EL-Anzeige oder eine CRT-Anzeige konfiguriert und zeigt eine Bildausgabe aus der Bildverarbeitungsvorrichtung 4 und zugehörige Informationen an.
Im Folgenden wird ein Bilderfassungsvorgang des Mikroskopsystems 6 beschrieben. Das Mikroskopsystem 6 kann das Erfassen von Bildern, die für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet werden, und das Erfassen von Bildern, die für das Berechnen einer Abschattungskomponente verwendet werden, kombiniert durchführen. 26 ist ein schematisches Schaubild, das einen Vorgang des Erfassens einer Mehrzahl von Bildern gemäß der achten Ausführungsform veranschaulicht.
Wie beispielsweise in 26 veranschaulicht, wird, wenn Bilder V0 bis V7 erfasst werden, die für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet wurden, eine Bildgebung nur während eines Abschnitts (z. B. während eines Zeitraums, in dem die Bilder V0 und V1 erfasst werden) eines Teils eines Zeitraums, in dem das Bildgebungssichtfeld in Horizontalrichtung bewegt wird, durchgeführt, wobei die Bewegungsneigung des Bildgebungssichtfelds verkleinert ist (z. B. auf die Länge Bw eingestellt), wodurch Bilder M_j=0, M_j=1, M_j=2, M_j=3 und M_j=4, die für das Berechnen der Abschattungskomponenten in Horizontalrichtung verwendet wurden, erfasst werden. Unter diesen haben das Bild M_j=0 und das Bild V0 ein gemeinsames Subjekt innerhalb des Bildgebungssichtfeld, und jedes der Bilder kann verwendet werden, wie beide Bilder. Außerdem wird eine Bildgebung nur während eines Abschnitts (z. B. während eines Zeitraums, in dem die Bilder V4 und V5 erfasst werden) eines Teils eines Zeitraums, in dem das Bildgebungssichtfeld in Vertikalrichtung bewegt wird, durchgeführt, wobei die Bewegungsneigung des Bildgebungssichtfeld verkleinert ist (z. B. auf die Länge Bh eingestellt), wodurch Bilder M_k=0, M_k=1, M_k=2, M_k=3 und M_k=4, die für das Berechnen von Abschattungskomponenten in Vertikalrichtung verwendet wurden, erfasst werden. Unter diesen haben das Bild M_k=0 und das Bild V4 ein gemeinsames Subjekt innerhalb des Bildgebungssichtfeld, und jedes der Bilder kann verwendet werden, wie beide Bilder. Auch wenn die Bildaufnahme der Bilder V0, V1 ... durchgeführt wird, kann die Berechnung der Abschattungskomponenten aus den erfassten Bildern M_j=0 bis M_j=4 parallel dazu durchgeführt werden oder kann eine Abschattungskorrektur unter Verwendung der berechneten Abschattungskomponenten parallel dazu durchgeführt werden.
Auf diese Weise sind gemäß der achten Ausführungsform die Bewegungsrichtung des Bildgebungssichtfelds zum Zeitpunkt des Erfassens von Bildern, die für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet werden, und die Bewegungsrichtung des Bildgebungssichtfelds zum Zeitpunkt des Erfassens von Bildern, die für das Berechnen von Abschattungskomponenten verwendet werden, gemeinsam und demgemäß können solche Bilder effizient erfasst werden, ohne dass die Prüfkörperplattform 303 unnötig bewegt wird. Außerdem kann, da manche der Bilder, die für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet werden, für das Erzeugen von Abschattungskomponenten verwendet werden können, die Anzahl der Häufigkeit der Bildgebung verringert werden.
Außerdem kann am Erfassungsweg für Bilder, die für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet wurden, eine Position willkürlich eingestellt werden, an der Bilder erfasst werden, die für das Berechnen von Abschattungskomponenten verwendet werden. Des Weiteren kann konfiguriert sein, dass Bilder, die für das Berechnen von Abschattungskomponenten verwendet werden, an einer Mehrzahl von Positionen auf dem Erfassungsweg für Bilder erfasst werden, die zum Erzeugen eines Virtueller-Objektträger-Bilds verwendet werden, und eine berechnete Abschattungskomponente kann an jeder Position kombiniert werden, an der das Bild erfasst wird. In einem solchen Fall kann der Grad der Robustheit der Abschattungskorrektur unter Verwendung der kombinierten Abschattungskomponente verbessert werden.
Außerdem gibt es je nach Genauigkeit der Positionierung der Prüfkörperplattform 303 und der Auflösung der Mikroskopvorrichtung 3 Fälle, in denen es zu einer Abweichung der Bewegungshöhe der Prüfkörperplattform 303 kommt, die vorab eingestellt wurde. In einem solchen Fall kann die Positionierung eines Bilds, das für das Erzeugen eines Virtueller-Objektträger-Bilds verwendet wird, auf Basis des Werts der Skala, die auf der Plattform angeordnet ist, der Anzahl von Impulsen des Schrittmotors 307a oder des Bildabgleichs oder einer Kombination davon durchgeführt werden. Gemäß der achten Ausführungsform wird das Bildgebungssichtfeld V nur sequentiell in zwei Richtungen innerhalb der Ebene des Subjekts SP bewegt und kann demgemäß eine solche Positionierung auf einfache Weise durchgeführt werden.
Die vorliegende Erfindung ist nicht auf die oben beschriebenen ersten bis achten Ausführungsformen beschränkt, sondern diverse Erfindungen können durch entsprechendes Kombinieren einer Mehrzahl von Elementen, die in den ersten bis achten Ausführungsformen offenbart sind, gebildet werden. Beispielsweise können mehrere Elemente aus all den Elementen ausgeschlossen werden, die in den ersten bis achten Ausführungsformen dargestellt sind. Alternativ können Elemente, die in unterschiedlichen Ausführungsformen dargestellt sind, entsprechend kombiniert werden.
Bezugszeichenliste

1, 2, 4: BILDVERARBEITUNGSVORRICHTUNG
3: MIKROSKOPVORRICHTUNG
5: ANZEIGEVORRICHTUNG
6: MIKROSKOPSYSTEM
11: BILDERFASSUNGSEINHEIT
12, 21, 41: BILDVERARBEITUNGSEINHEIT
13: SPEICHEREINHEIT
30: OPTISCHES SYSTEM
111: BILDGEBUNGSSTEUEREINHEIT
112: ANTRIEBSSTEUEREINHEIT
121: ABSCHATTUNGSKOMPONENTEN-BERECHNUNGSEINHEIT
121a: ERSTRICHTUNGS-ABSCHATTUNGSKOMPONENTEN-BERECHNUNGSEINHEIT
121b: ZWEITRICHTUNGS-ABSCHATTUNGSKOMPONENTEN-BERECHNUNGSEINHEIT
122: BILDKORREKTUREINHEIT
122a: ERSTE BILDKORREKTUREINHEIT
122b: ZWEITE BILDKORREKTUREINHEIT
211: FLACHBEREICHSUCHEINHEIT
300: ARM
301: AUFLICHTEINHEIT
301a: AUFLICHT-LICHTQUELLE
301b: OPTISCHES AUFLICHTSYSTEM
302: DURCHLICHTEINHEIT
302a: DURCHLICHT-LICHTQUELLE
302b: OPTISCHES DURCHLICHTSYSTEM
303: PRÜFKÖRPERPLATTFORM
304, 304': OBJEKTIVLINSE
305: LINSENZYLINDER
306: BILDGEBUNGSEINHEIT
307: PLATTFORMPOSITIONSÄNDERUNGSEINHEIT
307a: SCHRITTMOTOR
308: TRINOKULARE RÖHRENEINHEIT
309: OKULARLINSENEINHEIT
310: REVOLVER
411: VS-BILDERZEUGUNGSEINHEIT

Claims

Bildverarbeitungsvorrichtung, die umfasst: eine Bilderfassungseinheit, die so konfiguriert ist, dass sie erste und zweite Bildgruppen erfasst, die eine Mehrzahl von Bildern umfassen, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest einem der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; eine Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie als Abschattungskomponente ein Verhältnis einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen berechnet; und eine Bildkorrektureinheit, die so konfiguriert ist, dass die eine Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der Abschattungskomponente durchführt, wobei die Abschattungskomponente eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz umfasst, und die Bildkorrektureinheit so konfiguriert ist, dass sie die Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der: die Abschattungskomponenten-Berechnungseinheit umfasst: eine erste Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie die Abschattungskomponente auf Basis einer Leuchtdichte eines Bereichs, der den Flachbereich in dem einzelnen Bild umfasst und in Bezug auf den Flachbereich in die zweite Richtung ausgerichtet ist, auf Basis der ersten Bildgruppe berechnet; und eine zweite Abschattungskomponenten-Berechnungseinheit, die so konfiguriert ist, dass sie die Abschattungskomponente auf Basis einer Leuchtdichte eines Bereichs, der den Flachbereich in dem einzelnen Bild umfasst und in Bezug auf den Flachbereich in die erste Richtung ausgerichtet ist, auf Basis der zweiten Bildgruppe berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 1 oder 2, bei der: die Bildkorrektureinheit umfasst: eine erste Bildkorrektureinheit, die so konfiguriert ist, dass sie die Abschattungskorrektur an einem ersten Bereich der Bereiche in den Bildern unter Verwendung der normalisierten Abschattungskomponente durchführt, die für den ersten Bereich berechnet wurde; und eine zweite Bildkorrektureinheit, die so konfiguriert ist, dass sie die Abschattungskorrektur an einem zweiten Bereich der Bereiche in den Bildern, wobei die normalisierte Abschattungskomponente für den zweiten Bereich nicht berechnet wurde, unter Verwendung der nicht-normalisierten Abschattungskomponente für den zweiten Bereich und unter Verwendung der normalisierten Abschattungskomponente, die für einen Bereich berechnet wurde, der als Referenz verwendet wird, wenn die nicht-normalisierte Abschattungskomponente für den zweiten Bereich berechnet wird, durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 3, bei der: die zweite Bildkorrektureinheit so konfiguriert ist, dass sie die Abschattungskorrektur unter Verwendung der nicht-normalisierten Abschattungskomponente, die aus einem der ersten und zweiten Bildgruppen berechnet wurde, und unter Verwendung der normalisierten Abschattungskomponente, die aus dem anderen der ersten und zweiten Bildgruppen berechnet wurde, durchführt.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 4, bei der: wenn eine Abschattungskomponente für einen Teilbereich in dem einzelnen Bild bekannt ist, die Abschattungskomponenten-Berechnungseinheit so konfiguriert ist, dass sie die Abschattungskomponente für den Bereich in dem einen oder den mehreren Bildern unter Verwendung einer Leuchtdichte des Teilbereichs, der Leuchtdichte des Bereichs in dem einen oder den mehreren Bildern, der das gemeinsame Subjekt mit dem Teilbereich gemein hat, und der bekannten Abschattungskomponente berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 5, bei der: die Abschattungskomponenten-Berechnungseinheit auf Basis einer Mehrzahl von Kombinationen des einzelnen Bildes und des einen oder der mehreren Bilder so konfiguriert ist, dass sie für jede der ersten und zweiten Bildgruppen eine Mehrzahl von Abschattungskomponenten für die Bereiche in den Bildern berechnet, bei denen es sich nicht um das einzelne Bild handelt, und einen Durchschnitt der Mehrzahl von Abschattungskomponenten berechnet.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 5, bei der: die Abschattungskomponenten-Berechnungseinheit so konfiguriert ist, dass sie die Abschattungskomponente für jede der ersten und zweiten Bildgruppen auf Basis einer Mehrzahl von Kombinationen des einzelnen Bildes und des einen oder der mehreren Bilder berechnet, wobei die Mehrzahl von Kombinationen unterschiedliche Texturkomponenten in gemeinsamen Bereichen aufweist, wo das einzelne Bild und das eine oder die mehreren Bilder das gemeinsame Subjekt gemein haben.
Bildverarbeitungsvorrichtung nach Anspruch 7, bei der: die Abschattungskomponenten-Berechnungseinheit so konfiguriert ist, dass sie Werte der Leuchtdichte entsprechender Bereiche zwischen der Mehrzahl von Bildern für jede der ersten und zweiten Bildgruppen sammelt und die Abschattungskomponente unter Verwendung der gesammelten Werte berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 7, bei der: die Abschattungskomponenten-Berechnungseinheit so konfiguriert ist, dass sie eine Mehrzahl von Abschattungskomponenten auf Basis der Mehrzahl von Kombinationen berechnet und einen Durchschnitt der Mehrzahl von Abschattungskomponenten berechnet.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 9, bei der: die Abschattungskomponenten-Berechnungseinheit so konfiguriert ist, dass sie die Abschattungskomponente der Bereiche in den Bildern unter Verwendung von zwei nicht-normalisierten Abschattungskomponenten, die für die Bereiche in den Bildern berechnet wurden, auf Basis der ersten und zweiten Bildgruppen, und unter Verwendung von zwei normalisierten Abschattungskomponenten, die für zwei Bereiche berechnet wurden, die als Referenz verwendet werden, wenn die zwei nicht-normalisierten Abschattungskomponenten berechnet werden, berechnet.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 10, die des Weiteren eine Flachbereichsucheinheit umfasst, die so konfiguriert ist, dass sie auf Basis eines Gradienten der Leuchtdichte von Pixeln, die in einem Bereich umfasst sind, wo das einzelne Bild und das eine oder die mehreren Bilder das gemeinsame Subjekt gemein haben, nach dem Flachbereich sucht.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 11, bei der: die ersten und zweiten Richtungen orthogonal zueinander verlaufen.
Bildgebungsvorrichtung, die umfasst: die Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 12; ein optisches System, das so konfiguriert ist, dass es ein Bild des Subjekts erzeugt; eine Bewegungseinheit, die so konfiguriert ist, dass sie zumindest eines des Subjekts und des optischen Systems bewegt, um ein Sichtfeld des optischen Systems in Bezug auf das Subjekt zu bewegen; und eine Bildgebungseinheit, die so konfiguriert ist, dass sie das Subjekt abbildet, wobei die Bilderfassungseinheit so konfiguriert ist, dass sie die Bildgebungseinheit steuert, um eine Bildgebung durchzuführen, während sie die Bewegungseinheit veranlasst, das Sichtfeld in die ersten und zweiten Richtungen zu bewegen, um die ersten und zweiten Bildgruppen zu erfassen.
Mikroskopsystem, das umfasst: die Bildgebungsvorrichtung nach Anspruch 13; und eine Plattform, wobei das Subjekt so konfiguriert ist, dass es auf dieser platziert wird, wobei die Bewegungseinheit so konfiguriert ist, dass sie zumindest eines der Plattform und des optischen Systems bewegt.
Mikroskopsystem nach Anspruch 14, wobei: die Bildverarbeitungsvorrichtung des Weiteren eine Einheit zum Erzeugen von virtuellen Objektträgern umfasst, die so konfiguriert ist, dass sie Bildern, deren Sichtfelder einander benachbart liegen, die in den ersten und zweiten Bildgruppen umfasst sind, zusammenfügt, um ein virtuelles Objektträgerbild zu erzeugen.
Bildverarbeitungsverfahren, das umfasst: einen Bilderfassungsschritt des Erfassens von ersten und zweiten Bildgruppen, die eine Mehrzahl von Bildern umfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest einem der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; einen Abschattungskomponenten-Berechnungsschritt des Berechnens, als eine Abschattungskomponente, eines Verhältnisses einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen; und einen Bildkorrekturschritt des Durchführens einer Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der Abschattungskomponente, wobei die Abschattungskomponente eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz umfasst, und der Bildkorrekturschritt das Durchführen der Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente umfasst.
Bildverarbeitungsprogramm, das einen Computer veranlasst, durchzuführen: einen Bilderfassungsschritt des Erfassens von ersten und zweiten Bildgruppen, die eine Mehrzahl von Bildern umfasst, die jeweils einen gemeinsamen Teil eines Subjekts mit zumindest eines der anderen Bilder in jeder von unterschiedlichen ersten und zweiten Richtungen gemein haben; einen Abschattungskomponenten-Berechnungsschritt des Berechnens, als eine Abschattungskomponente, eines Verhältnisses einer Leuchtdichte eines Bereichs in einem oder mehreren Bildern, wobei der Bereich, der ein gemeinsames Subjekt mit einem weiteren Bereich gemein hat, einen Flachbereich umfasst, dessen Abschattungskomponente in einem einzelnen Bild konstant ist, bei dem es sich nicht um das eine oder die mehreren Bilder handelt, zu einer Leuchtdichte des anderen Bereichs für jede der ersten und zweiten Bildgruppen; und einen Bildkorrekturschritt des Durchführens einer Abschattungskorrektur an Bereichen in den Bildern unter Verwendung der Abschattungskomponente, wobei die Abschattungskomponente eine normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte des Flachbereichs als Referenz und eine nicht-normalisierte Abschattungskomponente unter Verwendung einer Leuchtdichte eines Bereichs, bei dem es sich nicht um den Flachbereich handelt, als Referenz umfasst, und der Bildkorrekturschritt das Durchführen der Abschattungskorrektur auf Basis der normalisierten Abschattungskomponente und der nicht-normalisierten Abschattungskomponente umfasst.