DE69132130T2

DE69132130T2 - Gerät und Verfahren zur Informationserkennung

Info

Publication number: DE69132130T2
Application number: DE69132130T
Authority: DE
Inventors: Masami Kugai; Tetsuomi Tanaka; Shugoro Ueno
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-05-15
Filing date: 1991-05-14
Publication date: 2000-09-28
Anticipated expiration: 2011-05-15
Also published as: EP0457547A2; US5563957A; DE69132130D1; EP0457547A3; EP0457547B1

Description

ALLGEMEINER STAND DER TECHNIK

1. Gebiet der Erfindung

Diese Erfindung betrifft ein Gerät und ein Verfahren zur Erkennung eingegebener Informationen.

2. Beschreibung des Standes der Technik

Es gibt Techniken, bei denen ein Hauptcomputer über einen Übertragungskanal mit einem Erkennungsgerät verbunden ist, wobei der Hauptcomputer die Eingabe von Bildinformationen und die Anzeige/Bearbeitung der Ergebnisse der Erkennung ausführt, und das Erkennungsgerät ein Segmentieren von Zeichen und Symbolbildern aus der Bildinformation und die Erkennung segmentierter Zeichen und Symbole ausführt.
Die zuvor genannten herkömmlichen Techniken haben jedoch die folgenden Nachteile, da Bildinformationen vom Hauptcomputer, dem ein Bild eingegeben wurde, zum Erkennungsgerät über den Übertragungskanal übertragen werden und das Erkennungsgerät das Segmentieren von Zeichen/Symbolen aus der Bildinformation ausführt.
(1) Das Erkennungsgerät muß einen Speicher mit einer großen Kapazität haben, um Bildinformationen zur Segmentierung von Zeichen/Symbolen zu speichern.
(2) Wegen des großen Umfangs der in der Bildinformation enthalten Daten, übertragen vom Hauptcomputer zum Erkennungsgerät, ist eine lange Übertragungszeit erforderlich.
(3) Da das Segmentieren von Zeichen/Symbolen im Erkennungsgerät ausgeführt wird, ist ein Hochgeschwindigkeitsprozessor für die Segmentierungsverarbeitung erforderlich.
Bei der Zeichenerkennung bezüglich eines Textes in einer Sprache mit verschiedenen Arten von herauszufindenden und zu erkennenden Zeichen, beispielsweise in der japanischen Sprache, gibt es Techniken, bei denen die Verarbeitung parallel unter Verwendung einer Vielzahl identischer Verarbeitungseinheiten ausgeführt wird, um die Geschwindigkeit des Auslesens von Zeichen und die Erkennungsverarbeitung zu erhöhen.
Nun wird von eine derartige Technik anhand Fig. 18 beschrieben. In Fig. 18 wird ein eingegebenes Bild separat in Speichereinheiten 1, 2 und 3 (Elemente 91-93) gespeichert. Danach lesen drei Zeichenausleseeinheiten 1, 2 und 3 (Elemente 94-96) charakteristische Daten parallel aus und geben die ausgelesenen Daten in eine Speichereinheit 97 für charakteristische Daten. Danach führen drei Identifikationseinheiten 1, 2 und 3 (Elemente 98-100) eine parallele Identifikation aus, und letztlich wird im Element 101 eine Sortierung ausgeführt.
Die zuvor beschriebenen herkömmlichen Techniken haben jedoch den Nachteil relativ hoher Kosten, da die Technik eine Vielzahl identischer Verarbeitungseinheiten enthalten muß.
Erkennungsalgorithmen, die bei der Zeichenerkennung verwendet werden, haben Techniken eingeschlossen, die das Auslesen von Zeichen betonen, wobei eine komplizierte Verarbeitung in einer Stufe des Auslesens von Eigenschaften ausgeführt wird, und die auf die ausgelesenen Kennzeichen zur Bewirkung einer Erkennung der Zeichen angewandte Identifikationsfunktion hat eine einfache Form.
Die zuvor beschriebenen herkömmlichen Techniken haben jedoch den Nachteil, daß wegen der komplizierten Verarbeitung in der Stufe des Auslesens von Eigenschaften eine sehr lange Erkennungszeit erforderlich ist, und eine komplizierte anwendungsbezogene Schaltung ist hierfür erforderlich, um die Verarbeitung mit hoher Geschwindigkeit auszuführen.
Unter Techniken, die die Identifikationsfunktion betonen, gibt es solche, bei denen der Ähnlichkeitsgrad errechnet wird, die Ausdrücke höherer Ordnung von Eigenwerten vernachlässigen, und es werden nur Hauptkomponenten analysiert, um die Zeit der Erkennungsverarbeitung zu verkürzen.
Die zuvor beschriebenen herkömmlichen Techniken haben jedoch den Nachteil, daß die Erkennungsrate sinkt trotz einer speziellen Gegenmaßnahme, wie dem Erhöhen der Anzahl von Dimensionen des Kennzeichnungsvektors oder dergleichen, da diese Techniken die Erkennungsfunktion betonen, die auf der Analyse der Hauptkomponenten basiert.
Aus PROCEEDINGS OF THE 1987 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS, Band 2, 20. bis 23. Oktober, 1987, Alexandria, VA, USA, Seiten 759 bis 763; O. IWAKI et al.: "A segmentation method based on office document hierarchical structure" ist es bekannt, ein Gerät zur Bilderkennung durch Verarbeitung aus dem Bild abgeleiteter segmentierter Bilddaten zu schaffen, wobei das Gerät Mittel enthält, die betriebsbereit sind, die eingegebenen segmentierten Bilddaten bezüglich der individuellen Eigenschaften für das Erkennungsgerät einzugeben sowie Ausgabemittel zur Ausgabe von Ergebnissen des Erkennungsprozesses.
Die vorliegende Erfindung ist dadurch gekennzeichnet, daß das Gerät ausgestattet ist mit: einem Segmentbildspeichermittel, das betriebsbereit ist, die segmentierten Bilddaten zu speichern;
einem Identifiziermittel, das betriebsbereit ist zum Errechnen von Merkmalsdaten aus den segmentierten Bilddaten eines im Segmentbildspeichermittel gespeicherten individuellen Zeichens;
einem Merkmalspeichermittel, das betriebsbereit ist, Merkmalsdaten zu speichern, die das erste Identifiziermittel errechnet; und mit
einem zweiten Identifiziermittel, das betriebsbereit ist, eine Zeichenerkennungsverarbeitung durch Errechnen der Ähnlichkeit der gespeicherten Merkmalsdaten und Standardzeichendaten auszuführen;
wobei das zweite Identifiziermittel betriebsbereit ist, eine Zeichenerkennungsverarbeitung bezüglich im Merkmalspeicher gespeicherter Merkmalsdaten unabhängig von der Operation des ersten Identifiziermittels auszuführen, wobei das erste und zweite Identifiziermittel betriebsbereit ist, während wenigstens einer Operationsperiode parallel zu arbeiten.
Die vorliegende Erfindung hat die Wirkung, daß die Zeit für den Erkennungsprozeß abgekürzt werden kann durch Bereitstellen eines Informationserkennungsgerätes mit einem ersten Identifikationsmittel zum Ausführen einer ersten Identifikationsverarbeitung und mit einem zweiten Identifikationsmittel zum Ausführen einer zweiten Identifikationsverarbeitung als Mittel zum Identifizieren von Informationen, wobei das erste Identifikationsmittel und das zweite Identifikationsmittel die Identifikationsverarbeitung parallel ausführen können.
Ausführungsbeispiele der vorliegenden Erfindung sind nachstehend beispielhaft anhand der beiliegenden Zeichnung beschrieben.
Fig. 1 ist ein Systemblockdiagramm, das eine Übersicht der Zeichenerkennungsverarbeitung nach der vorliegenden Erfindung zeigt;
Fig. 2 zeigt den grundlegenden Aufbau eines Ausführungsbeispiels nach der vorliegenden Erfindung;
Fig. 3 ist ein Ablaufplan, der eine Übersicht des Ablaufs der Zeichenerkennungsverarbeitung nach der vorliegenden Erfindung zeigt;
Fig. 4 stellt eine Anzeige dar, die einen Erkennungsbereich zum Ausführen der Zeichenerkennung ausführt;
Fig. 5 stellt segmentierte Zeichen/Symbole aus der Bildinformation dar;
Fig. 6 stellt die Zeitsequenz der Erkennungsverarbeitung vom Segmentieren von Zeichen/Symbolen zur Anzeige der Ergebnisse der Erkennung dar;
Fig. 7 stellt ein Übertragungsformat dar, das bei der Übertragung von einer Hauptmaschine zum Erkennungsgerät verwendet wird;
Fig. 8 stellt ein Übertragungsformat dar, das bei der Übertragung vom Erkennungsgerät zur Hauptmaschine zu verwenden ist;
Fig. 9 stellt ein Übertragungsformat dar, das bei der Übertragung vom Erkennungsgerät zur Hauptmaschine zu verwenden ist, die die Ergebnisse der Rechnung zusammenfaßt;
Fig. 10 ist ein Blockdiagramm eines zweiten Ausführungsbeispiels nach der vorliegenden Erfindung;
Fig. 11 stellt die Zeitsequenz der Arbeitsweise vom zweiten Ausführungsbeispiel dar;
Fig. 12 ist ein Ablaufplan, der den Ablauf der Verarbeitung im zweiten Ausführungsbeispiel darstellt;
Fig. 13 stellt Bilddatenformate dar, die in einer zweiten Speichereinheit 65 zu speichern sind;
Fig. 14 ist ein Blockdiagramm des zweiten Ausführungsbeispiels, um eine Zeichenerkennung auszuführen, während eine Verbindung zu einem Computer besteht;
Fig. 15 stellt die Zeitsequenz der
Zeichenerkennungsverarbeitung dar, die während einer Verbindung mit einem Computer ausgeführt wird;
Fig. 16 ist ein Ablaufplan einer
Zeichenerkennungsverarbeitung, die während der Verbindung mit einem Computer ausgeführt wird;
Fig. 17 stellt Richtungsindizes dar, die bei der Analyseverarbeitung zum Ausführung der Zeichenerkennung verwendet werden; und
Fig. 18 ist ein Blockdiagramm, das eine herkömmliche Zeichenerkennung zeigt.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE

In den meisten Fällen wird ein Gerät zur Zeichenerkennung nicht allein, sondern mit einem Hauptcomputer als ein Gesamtsystem kombiniert verwendet. Die Rolle des Hauptcomputers als eine Schnittstelle zu einem Anwender ist von größter Wichtigkeit.
Die erforderlichen Funktionen für ein Gerät zur Zeichenerkennung sind das Segmentieren von Zeichen, das Auslesen von Eigenschaften, die Gesamtklassifizierung, die Detailklassifizierung und die Nachverarbeitung. Nun wird ein Verfahren des Ausführens der Segmentierung von Zeichen und der Nachverarbeitung beschrieben.
Die Anwendung dieses Verfahrens hat den Vorteil, daß das Gerät zur Zeichenerkennung keinen Speicher für den Empfang von Bildinformationen benötigt. Durch Aufteilen der Verarbeitung zwischen dem Hauptcomputer und dem Gerät zur Zeichenerkennung kann des weiteren die Ausführungsbeschwindigkeit der Verarbeitung erhöht werden, und die Kapazität eines Speichers, der im Gerät zur Zeichenerkennung enthalten ist, kann minimiert werden.
Nun wird die Beziehung zwischen der Verarbeitung im Hauptcomputer und der Verarbeitung im Gerät zur Zeichenerkennung zur Ausführung der Zeichenerkennung anhand Fig. 1 beschrieben.
Von einem Scanner gelesene Bilddaten werden zunächst zum Hauptcomputer 10 übertragen. Der Hauptcomputer 10 segmentiert Zeichen (im Element 11), und sendet Bilddaten für eine Vielzahl von Zeichen an einen Hauptkörper 20 eines OCR-Gerätes. Nach Ausführen des Auslesens von Eigenschaften im Element 21, der Gesamtklassifizierung im Element 22 und der Detailklassifizierung im Element 23 werden die Erkennungsergebnisse zurück zum Hauptcomputer 10 gesandt. Im Element 12 im Hauptcomputer 10 wird eine Nachverarbeitung ausgeführt. Durch Neuschreiben eines Einrichtungstreibers in bekannter Weise kann das OCR-Gerät 20 mit einem anderen Computer verbunden werden.
Nun wird die in Fig. 1 gezeigte Verarbeitung detaillierter erläutert.
Fig. 2 ist der grundlegende Aufbau der vorliegenden Erfindung. Ein Bildscanner 31, ein FAX (Faksimilegerät) 32 und eine Bilddatei 33 sind Bildeingabegeräte für eine Hauptmaschine 34. Die Hauptmaschine 34 enthält einen Bildspeicher 35 zum Speichern von Bildern, die aus einer Gruppe von Eingabegeräten eingegeben und an eine Anzeigeeinheit 36 abgegeben werden, eine Tastatur 37, die als Eingabemittel zum Bestimmen von Bereichen im Bildspeicher 35 und zum Bearbeiten/Korrigieren der Ergebnisse der Erkennung dient, eine Zeigereinrichtung 38, wie beispielsweise eine Maus, und eine Zeichen-/Symbolsegmentiereinheit 39 zum Segmentieren von Zeichen und Symbolen. Die Hauptmaschine 34 enthält des weiteren eine Kommunikationssteuereinheit 40 zum Steuern der Kommunikation mit einem Erkennungsgerät, einen DMA- Speicher (Direktzugriffsspeicher) 41 zum Ausführen der Kommunikation mit einem Erkennungsgerät durch DMA-Übertragung, eine DMAC (Direktzugriffsspeichersteuerung) 42 zur DMA-Steuerung und eine CPU 43 zum Steuern der Hauptmaschine 34.
Ein Erkennungsgerät 44 enthält eine Erkennungseinheit 45 zum Ausführen des Auslesens und Identifizierens von Eigenschaften von Zeichen/Symbolen und eine Kommunikationssteuereinheit 46 zum Ausführen der Kommunikationssteuerung mit der Hauptmaschine 34. Das Erkennungsgerät 44 enthält des weiteren einen Rx-Speicher 47 und einen Rx-Speicher 48 zum Ausführen eine DMA-Übertragung von Zeichen-/Symbolbildblöcken aus der Hauptmaschine 34 und zum Speichern derselben, einen Tx-Speicher 49 zum Speichern der Erkennungsergebnisse und zum Ausführen der DMA-Übertragung der gespeicherten Ergebnisse an die Hauptmaschine 34, eine DMAC 50 zum Steuern der DMA-Übertragung und eine CPU 51 zum Steuern des gesamten Erkennungsgerätes 44.
Ein Übertragungskanal 52 verbindet das Erkennungsgerät 44 mit der Hauptmaschine 34.
Fig. 3 ist ein Ablaufplan, der den Ablauf der Verarbeitung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt, der in den CPU 43 und 51 ausgeführt wird.
Eine Bildinformation (ein Originalbild) wird von irgendeiner der Eingabeeinrichtungen 31, 32 und 33 in den Bildspeicher 45 der Hauptmaschine 34 eingegeben (51).
Das im Bildspeicher 35 gespeicherte Originalbild wird an die Anzeigeeinheit 36 abgegeben, und ein Bereich, dessen Inhalte zu erkennen sind, wird unter Verwendung einer Tastatur 37 oder der Maus 38 bestimmt (52).
Zeichen-/Symbolbildblöcke im zu erkennenden Bereich, bestimmt von der Zeichen-/Symbolsegmentiereinheit 39, werden segmentiert (53).
Die segmentierten Zeichen-/Symbolbildblöcke werden zum Erkennungsgerät 44 über die Kommunikationssteuereinheit 40 übertragen. Zu dieser Zeit wird die Anzahl von Zeichen- /Symbolbildblöcken, die von der Hauptmaschine 34 zum Erkennungsgerät 44 zu übertragen sind, bestimmt (54).
Die zum Erkennungsgerät 44 übertragenen Zeichen- /Symbolbildblöcke werden in den Rx-Speichern 47 und 48 gespeichert und dann zum Auslesen von Eigenschaften und zur Identifikationsrechnung für jeden der Zeichen-/Symbolbildblöcke zur Erkennungseinheit 45 übertragen. Im Ergebnis werden Kandidatenzeichen (wenigstens eines), die als Codeinformation für Zeichen/Symbole dienen, gewonnen und im Tx-Speicher 49 gespeichert (55).
Die Codeinformation für im Tx-Speicher 49 gespeicherte Zeichen/Symbole werden über die Kommunikationssteuereinheit 46 zur Hauptmaschine 34 übertragen. Der Umfang der Codeinformation für Zeichen/Symbole, die vom Erkennungsgerät 44 zur Hauptmaschine 34 zu dieser Zeit zu übertragen werden (beispielsweise die Anzahl derartiger Zeichen/Symbole oder andere passende Maßnahmen des Informationsumfangs, der zu übertragen ist), sind vorbestimmt (56).
Des weiteren wird das Ergebnis der in Schritt S5 ausgeführten Identifikationsrechnung der Information hinzugefügt, die im Tx-Speicher 49 gespeichert ist, und zu dieser Zeit übertragen.
Die Hauptmaschine 34 zeigt die vom Erkennungsgerät 44 gesendete Codeinformation auf der Anzeigeeinheit 36 als Ergebnisse der Erkennung an, und korrigiert/bearbeitet die Codeinformation in Abhängigkeit von Anweisungen, die von der Bedienperson unter Verwendung der Tastatur 37 oder der Maus 38 eingegeben werden (57).
Fig. 6 zeigt die Zeitsequenz von Ereignissen bei der Erkennung von Zeichen/Symbolen auf drei Zeilen, die mit einem Rahmen auf einer Anzeige auf der Anzeigeeinheit 36 umschlossen sind, wie in Fig. 4 gezeigt. Die Verarbeitung gemäß der in Fig. 6 gezeigten Zeitsequenz wird nun detailliert erläutert. Im vorliegenden Ausführungsbeispiel ist ein Fall gezeigt, bei dem das Segmentieren von Zeichen/Symbolen in der Hauptmaschine 34 in Zeileneinheiten ausgeführt wird, und die Übertragung wird ebenfalls in Einheiten einer Zeile ausgeführt.
Zuerst werden Bildblöcke in Einheiten von einem Zeichen/Symbol segmentiert, umrahmt und in gestrichelter Linie auf der ersten Zeile, wie in Fig. 5 gezeigt, aus dem Erkennungsbereich mit drei umrahmten Zeilen auf der in Fig. 4 dargestellten Anzeige von der Zeichen-/Symbolsegementiereinheit 39 (L1). Wenn das Segmentieren für eine Zeile abgeschlossen ist, werden die Inhalte (für 5 Zeichen im dargestellten Beispiel) im DMA-Speicher 41 gespeichert und vom DMA-Speicher 41 zum Erkennungsgerät 44 über die Kommunikationssteuereinheit 40 und den Übertragungskanal 52 unter Steuerung der DMAC 42 (Rx1) übertragen. Wenn die Inhalte übertragen sind, führt die CPU 43 das Segmentieren von Zeichen/Symbolen auf der zweiten Zeile unter Verwendung der Zeichen-/Symbolsegmentiereinheit 39 aus.
Das Erkennungsgerät 44 speichert die übertragenen Inhalte (L1) aus der Kommunikationssteuereinheit 46 durch DMA-Übertragung über die DMAC 50 im Rx-Speicher 47. Die Erkennungseinheit 45 erkennt danach jeden Zeichen-/Symbolbildblock aus den Zeichen- /Symbolbildblöcken, die im Rx-Speicher 47 gespeichert sind, und speichert die Ergebnisse der Erkennung in den Tx-Speicher 49 (L&sub1;&submin;&sub1; - L&sub1;&submin;&sub5;). Wenn die Erkennung für eine Zeile abgeschlossen ist, werden die Ergebnisse vom Tx-Speicher 49 über die Kommunikationssteuereinheit 46 und den Übertragungskanal 52 durch DMA-übertragung zur Hauptmaschine 34 übertragen (Tx1).
Die Hauptmaschine 34 speichert die Ergebnisse der Erkennung im DMA-Speicher 41 über die Kommunikationssteuereinheit 40 durch DMA-Übertragung und gibt die Inhalte auf der Anzeigeeinheit 36 aus (Dispi).
Wenn die Hauptmaschine 34 das Segmentieren der Zeichen/Symbole auf der zweiten Zeile abgeschlossen hat (L2), werden die Zeichen-/Symbolbildblöcke in L2 zum Erkennungsgerät 44 übertragen, wie bei der Übertragungsoperation in L1. Das Erkennungsgerät 44 speichert die übertragenen Zeichen- /Symbolbildblöcke in L2 im Rx-Speicher 48. Nach Abschluß der Erkennung in L1 startet das Erkennungsgerät 44 sofort die Erkennung der Inhalte, die im Rx-Speicher 48 gespeichert sind (RX2, L&sub2;&submin;&sub1; - L&sub2;&submin;&sub3;).
Die Erkennung wird in derselben Weise fortgesetzt, bis die dritte Zeile abgeschlossen ist, wie in Fig. 6 gezeigt.
Fig. 7 zeigt ein Übertragungsformat, das bei der Übertragung von der Hauptmaschine 32 zum Erkennungsgerät 44 zu verwenden ist. Der Kopfteil zeigt die Größe eines 1-Zeichen- oder 1-Symbol- Bildblockes an. Symbole Lx-1-Lx-n stellen die Inhalte von jeweiligen Zeichen-/Symbolbildblöcken dar.
Fig. 8 und 9 zeigen zwei Beispiele von Übertragungsformaten, die bei der Übertragung vom Erkennungsgerät 44 zur Hauptmaschine 34 zu verwenden sind. Fig. 8 zeigt Informationen von Kandidatenzeichen. In Fig. 9 werden die Ergebnisse der Rechnung der in Fig. 8 gezeigten Kandidatenzeicheninformation hinzugefügt. Obwohl im vorliegenden Ausführungsbeispiel ein Fall dargestellt ist, bei dem die Anzahl von Kandidatenzeichen vier beträgt, ist die Anzahl jedoch nicht auf vier beschränkt. Der Kopfteil zeigt die Größe der Gesamtkapazität an. Symbole K-1 bis K-4 stellen Kandidatenzeichencodes dar, und Symbole S-1 bis S-4 stellen die Ergebnisse der Errechnung in der Erkennungsseinheit 45 dar, die den jeweiligen Kandidatenzeichen entsprechen.
Als nächstes wird ein zweites Ausführungsbeispiel anhand Fig. 14 beschrieben, bei dem die Erkennungsgeschwindigkeit in einem Zeichenerkennungsgerät erhöht ist durch Vorsehen einer Vielzweck-CPU, einem DSP (digitaler Signalprozessor) und zwei anwendungsspezifischen LSI (integrierte Großintegrationsschaltungen) und durch Ausführen einer Pipeline- Verarbeitung, wobei die Verarbeitung unter diesen Komponenten aufgeteilt ist.
Eine Erkennungstafel im OCR-Gerät enthält eine Kommunikationssteuereinheit und eine Erkennungseinheit. Die Kommunikationssteuereinheit steuert das Senden/Empfangen von Daten zwischen dem Hauptcomputer und der Erkennungseinheit und umfaßt eine SCSI (Kleincomputerschnittstelle)-Steuerung 75 zur Kommunikation mit dem Hauptcomputer. Die Kommunikationssteuereinheit enthält auch einen Kommunikationspuffer 73, eine DMA-Steuerung 74 und einen PROM (programmierbarer Nur-Lese-Speicher) 72.
Die Erkennungseinheit führt das Auslesen von Eigenschaften, Gesamtklassifikation und Teilklassifikation aus. Zwei Arten von anwendungsspezischen LSI befinden sich auf der Erkennungseinheit. Eine ist eine anwendungsspezische LSI zum Auslesen von Eigenschaften eines zu erkennenden Zeichens. Die andere ist eine anwendungsspezische LSI zur groben Auswahl von Kandidatenzeichen. Die Erkennungseinheit enthält auch einen DSP 81, ein Gesamtklassifizierungs-Wörterbuch 85, ein Teilklassifizierungs- Wörterbuch 86 und einen PROM 82. Die Erkennungseinheit enthält des weiteren einen internen Puffer 76 zur Datenübertragung zur Kommunikationssteuereinheit. Der interne Pufferspeicher hat eine Zweikanalkonfiguration.
Die CPU 71, der DSP 81 und die beiden Arten anwendungsspezischer LSI führen unterschiedliche Verarbeitungen untereinander aus. Die CPU 71 überträgt Bilddaten aus dem Kommunikationspuffer 73 an den internen Puffer 76. Der DSP 81 liest Eigenschaften eines zu erkennenden Zeichens aus durch Steuern der Eigenschaftsauslese-LSI 83 und führt eine Verarbeitung zur einengenden Auswahl von Kandidaten unter jenen als Ergebnis der Verarbeitung von der Gesamtklassifizierungs-LSI 84 dargestellten aus.
Inder Teilklassifizierung wird der Abstand zu einem Standardmuster errechnet unter Verwendung einer Pseudo-Bayes- Identifikationsfunktion für 48 von der Gesamtklassifizierungs-LSI 48 ausgewählten Kandidaten zur Erkennung, und die 8 ähnlichsten Zeichen werden als letztliche Kandidatenzeichen ausgewählt. Um die Pseudo-Bayes-Identifikationsfunktion für einen Kandidaten zur Erkennung zu errechnen, sind 519 Produkt-/Summenrechnungen erforderlich.
In Fig. 1 wird das OCR-Gerät 20 von der Seite des Hauptcomputers 10 betrieben. Wenn ein Anwendungswerkzeug für diesen Zweck erforderlich ist, kann der Nutzer einen zu erkennenden Bereich vom OCR-Gerät 20 zum Lesen von Bilddaten durch einen Bildleser unter Verwendung der Maus benennen. Des weiteren wird eine Nachverarbeitung des erkannten Dokuments unter Verwendung dieses Werkzeugs ausgeführt. Beispielsweise ist eine Funktion zum Ausführen einer Umkehranzeige eines ungewissen Zeichens unter dem Ergebnis der Erkennung durch das OCR-Gerät 20 vorgesehen. Für jedes derartige ungewisse Zeichen, das der Umkehranzeige unterzogen wird, kann ein Zeichen, das der Nutzer als geeignet ansieht, aus den anderen Kandidatenzeichen für diesen Block ausgewählt werden.
Fig. 10 bis 13 stellen das vorliegende Ausführungsbeispiel dar. Fig. 10 zeigt höchst klar den Gesamtaufbau der vorliegenden Erfindung. In Fig. 10 ist ein Übertragungskanal 69 gezeigt, der das Gerät mit dem Computer verbindet. Eine Kommunikationssteuereinheit 60 führt die Kommunikation von Daten mit der Außenwelt über den Übertragungskanal 69 aus. Eine erste Speichereinheit 64 speichert eine Vielzahl von Zeichenbildern, die aus dem Übertragungskanal 69 empfangen werden. Eine zweite Speichereinheit 65 speichert ein Zeichenbild. Eine CPU 61 überträgt sequentiell ein Zeichenbild nach dem anderen aus der ersten Speichereinheit 64 zur zweiten Speichereinheit 65 und steuert das gesamte Gerät. Eine dritte Speichereinheit 66 speichert Eigenschaftsdaten. Eine Eigenschaftsausleseeinheit 62 liest das Zeichenbild, gespeichert in der zweiten Speichereinheit 65, liest Eigenschaften des gelesenen Eigenschaftsbildes und speichert Eigenschaftsdaten in der dritten Speichereinheit 66. Ein Erkennungswörterbuch 68 speichert Bezugsmuster. Eine Identifikationseinheit 63 führt die Zeichenerkennung durch Lesen von in der dritten Speichereinheit 66 gespeicherten Eigenschaftsdaten aus und errechnet den Abstand zu einem Standardmuster, das im Erkennungswörterbuch 68 gespeichert ist, und speichert die Ergebnisse der Erkennung in der Speichereinheit 67 zur Übertragung. Fig. 11 ist eine Zeittafel, die die Arbeitsweise des vorliegenden Ausführungsbeispiels darstellt. Fig. 12 ist ein Ablaufplan der Verarbeitung vom vorliegenden Ausführungsbeispiel. Eine Beschreibung ist nun anhand Fig. 12 vorgesehen.
Bevor die Verarbeitung ausgeführt wird, werden zuerst die jeweiligen Speichereinheiten 64, 65, 66 und 67 in Schritt S30 initialisiert. Danach werden in Schritt S31 eine Vielzahl von (M) Zeichenbildern und Daten, wie sie in Fig. 13 gezeigt sind, beispielsweise als Information bezüglich der Größe der Zeichenbilder und dergleichen, vom Computer (nicht dargestellt) zur Kommunikationssteuereinheit 60 über den Übertragungskanal 69 übertragen und in der ersten Speichereinheit 64 gespeichert. Schritte 532 bis S35 sind für die Anzahl der Zeichenbilder (M mal) als Schleife ausgebildet. Wenn in Schritt S32 die Anzahl i von bereits ausgeführten Schleifen geringer als M ist, schreitet der Prozeß fort zu Schritt S33, in dem die CPU 61 auf die erste Speichereinheit 64 zugreift, um ein i-tes Zeichenbild i auszulesen und überträgt dieses zur zweiten Speichereinheit 65. In Schritt S34 liest die Zeichenausleseeinheit 62 Daten des Zeichenbildes i aus der zweiten Speichereinheit 65, führt eine Bildverarbeitung aus und speichert Eigenschaftsdaten in der dritten Speichereinheit 66. Eine beliebige geeignete bekannte Technik (beispielsweise eine in der japanischen Patentanmeldung- Veröffentlichungsnummer Nr. 59-177684 (1984) (Kokai)) kann als Verfahren zum Auslesen der Eigenschaften verwendet werden. In der erwähnten Technik werden beispielsweise Eigenschaftsdaten durch Eigenschaftsvektoren dargestellt, die ein gewichtetes Richtungsindexhistogramm umfassen. Wenn Schritt S34 abgeschlossen ist, werden zwei Arten der Verarbeitung parallel ausgeführt. Die erste Verarbeitung ist die Identifikationsverarbeitung bezüglich des Zeichenbildes i in Schritt S35. Die zweite Verarbeitung ist die Bildübertragung vom Zeichenbild i+1 in Schritt S33 (wenn die Schleife noch nicht in Schritt S32 M mal wiederholt wurde). Zeitvorgaben für eine derartige Parallelverarbeitung sind in Fig. 11 gezeigt. Bei der Identifikationsverarbeitung in Schritt S35 wird der Abstand zwischen dem Standardmuster und dem zuvor beschriebenen charakteristischen Vektor unter Verwendung eines Pseudo-Bayes-Identifikationsausdrucks errechnet, wie er in der zuvor zitierten japanischen Anmeldungsveröffentlichung (Kokai) Nr. 59-177684 (1984) offenbart ist, und die Identifikation wird ausgeführt, während Zeichen in der Reihenfolge des Abstands sortiert werden, und die Ergebnisse der Erkennung (Zeichencodes für die 8 bedeutendsten Zeichen mit geringen Abständen und die errechneten Werte jener Abstände) werden in der Speichereinheit 67 zur Übertragung gespeichert. Während die Identifikationsverarbeitung bezüglich des Zeichenbildes i läuft, wird die Bildübertragung des Zeichenbildes i+1 aus der ersten Speichereinheit 64 zur zweiten Speichereinheit 65 parallel ausgeführt. Die Operation ist in der vorliegenden Erfindung möglich, da die Bildübertragung und der Zugriff der Eigenschaftsausleseeinheit 62 zur zweiten Speichereinheit 65 keine zeitliche Überlappung hat (siehe Fig. 11).
Wenn die Schleife von Schritt S32 bis zu Schritt S35 M mal wiederholt wurde, schreitet der Prozeß zu Schritt S36 fort, in dem die Ergebnisse der Zeichenerkennung für die M Zeichen (die Inhalte der Speichereinheit 67 zur Übertragung) von der Kommunikationssteuereinheit 60 zum Sendekanal 69 übertragen werden.
Als nächstes ist das Zeichenerkennungsgerätes anhand der Fig. 14 bis 17 beschrieben, das über den Übertragungskanal mit dem Computer verbunden ist.
In Fig. 14 führt die CPU 71 eine Bildübertragung und die Steuerung des gesamten Gerätes aus. Der PROM 72 speichert die Verarbeitungsprozedur der CPU 71. Der Kommunikationspuffer 73 speichert die von außen über den Übertragungskanal empfangenen Zeichenbilder. Die DMA-Steuerung 74 führt das Senden/Empfangen von Daten zwischen dem Übertragungskanal und dem Kommunikationspuffer 73 aus, ohne die CPU 71 zu durchlaufen. Die Kommunikationssteuereinheit 75 steuert das Protokoll des Sendekanals. Gezeigt ist auch ein Datenbus 70 für die CPU 71, der interne Puffer 76, der DSP 81, der Datenbus 80 für den DSP 81, der PROM 82 zum Speichern der Verarbeitungsprozedur des DSP 81, die erste Eigenschaftsausleseeinheit 83, die Gesamtklassifizierungseinheit 84 mit der Recheneinheit, das Wörterbuch 85 zur Gesamtklassifizierung und das Wörterbuch 86 zur Teilklassifizierung. Fig. 15 ist eine Zeittafel des vorliegenden Ausführungsbeispiels. Fig. 16 ist ein Ablaufplan des Ausführungsbeispiels. Die Arbeitsweise des Gerätes wird nun gemäß dem Ablaufplan von Fig. 16 beschrieben.
Das vorliegende Gerät ist über den Übertragungskanal mit dem Computer verbunden. Der Computer sendet Erkennungsbefehle und andere Befehle (Statusanforderungen und dergleichen)an das Gerät. In Schritt S71 wird ein Befehl analysiert. Wenn der Befehl ein Erkennungsbefehl ist, wird danach die Erkennungsverarbeitung ausgeführt. Wenn der Befehl ein anderer als der Erkennungsbefehl ist, wird die jeweilige Verarbeitung (die auszuführen ist unter Verwendung für den Fachmann bekannter Techniken, und wird daher hier nicht detailliert beschrieben) gemäß dem Befehl ausgeführt. In Schritt S72 werden Zeichenbilddaten (M Zeichenbilder), die den Erkennungsbefehl begleiten, dem Kommunikationspuffer 73 über die Kommunikationssteuereinheit 75 von der DMA-Steuerung 74 eingegeben. Das Format der Zeichenbilddaten ist dasselbe wie das in Fig. 13 gezeigte. Danach initialisiert die CPU 71 die Speicher und dergleichen vor der Erkennung (S73). Die Verarbeitung von Schritt S75 bis Schritt S79 wird dann schleifenweise in einer Häufigkeit ausgeführt, die der Anzahl von Zeichenbildern gleich ist (M mal). Schritt S74 ist ein Schritt zur Bestimmung, ob die Schleife M mal wiederholt wurde. Wenn die Anzahl wiederholter Schleifen in Schritt S74 geringer als M ist (die Schleife wird als eine i-te Schleife angesehen), schreitet der Prozeß fort zu Schritt S75, in dem die CPU 71 das im Kommunikationspuffer 73 gespeicherte i-te Zeichenbild zum internen Puffer 76 überträgt (Verarbeitung Ai in Fig. 15). Danach steuert in Schritt S76 der DSP 81 die erste Eigenschaftsausleseeinheit 83 zum Auslesen von Eigenschaften des i-ten Zeichenbildes, während auf den internen Puffer 76 zugegriffen wird. In diesem Prozeß nimmt der DSP 81 eine vorbestimmte Größe an, beispielsweise ein Zeichenbild mit 63 Pixeln · 63 Pixeln (ein normiertes Zeichenbild), und bildet das i-te Zeichenbild auf diesem normierten Zeichenbild ab. Das normierte Zeichenbild ist vertikal und horizontal in sieben Abschnitte eingeteilt, um 49 kleine Bereiche bereitzustellen (jeder mit einer Größe von 9 Pixeln · 9 Pixeln). Der DSP 81 führt eine Rasterabtastung jeweiliger kleiner Bereiche des normierten Bildes von links oberen nach rechts unteren aus und sendet die Werte (0 oder 1) der Bildelemente des i-ten Zeichenbildes entsprechend der jeweiligen Bildelemente des durch die zuvor beschriebene Abbildung zugeordneten normierten Bildes zur Eigenschaftsausleseeinheit 83. Die erste Eigenschaftsausleseeinheit 83 enthält einen 2-Zeilen-Puffer und speichert die vom DSP 81 übertragenen Daten in den 2-Zeilen- Puffer. Wenn der 2-Zeilen-Puffer voll ist, tastet der 2-Zeilen- Puffer die enthaltenen Daten unter Verwendung von 2 · 2-Masken ab und errechnet die Anzahlen von Richtungsindizes gemäß dem in Fig. 17 gezeigten jeweiligen Muster. Die jeweiligen Richtungsindizes, wie sie in Fig. 17 gezeigt sind, werden zum DSP 81 übertragen. Der Richtungsindex für den k-ten kleinen Bereich ist mit dargestellt (j: Richtungsindex, j = 1, 2, 3 oder 4). Der DSP 81 empfängt sequentiell die Zahlen fkj (K = 1 bis 49, j = 1 bis 4) der Richtungsindizes in all den 49 kleinen Bereichen und speichert sie in einem internen RAM 87 im DSP 81. Durch Ausführen einer räumlichen Defokussierverarbeitung (wie beispielsweise in der japanischen Patentanmeldungsveröffentlichung (Kokai) Nr. 59- 177684 (1984) offenbart) ändert der DSP 81 196-dimensionale Vektoren fkj in 64-dimensionale Zeichenvektoren Fmj (m = 1 bis 16, j = 1 bis 4) um, die im internen RAM 87 gespeichert werden. Diese Verarbeitung in Schritt S76 ist in Fig. 15 mit Bi gekennzeichnet.
Als nächstes werden zwei Arten der Verarbeitung parallel ausgeführt. Die erste Verarbeitung ist die Gesamtklassifizierungsverarbeitung des i-ten Zeichens (der nächste Schritt S77, Verarbeitung Cl, gezeigt in Fig. 15). Die zweite Verarbeitung ist die Bildübertragung des nächsten Zeichens (des (i + 1)-ten Zeichens) (Verarbeitung Ai+1, gezeigt in Fig. 15), das heißt, die Verarbeitung kehrt zu Schritt S74 zurück.
Das Wörterbuch 85 zur Gesamtklassifizierung enthält Standardmuster für jeweilige Zeichen. Das Standardmuster für jedes Zeichen enthält einen Vektor, der durch Durchschnittsbildung der Eigenschaftsvektoren des Zeichens für eine bestimmte Anzahl verschiedener Arten von Zeichen dargestellt wird. Das Wörterbuch 85 zur Gesamtklassifizierung speichert derartige Standardmuster für 3 310 Zeichen.
In Schritt S77 wird der Abstand (der Unterschiedsgrad) zwischen dem gewonnenen Eigenschaftsvektor und dem Standardmuster (der Durchschnittsvektor Mmi) mittels unten stehendem Ausdruck (1) errechnet, und man erhält die 48 höchst signifikanten Kandidatenzeichen mit geringen Abständen (Gesämtklassifizierungsverarbeitung).
Abstand = ΣmΣj(Fmj - Mmj)² ... (1)
Die Gesamtklassifizierungsverarbeitung wird unabhängig vom DSP 81 ausgeführt, da der Abstand unter Verwendung der Recheneinheit errechnet wird, die in der Gesamtklassifizierungseinheit 84 vorgesehen ist. Während dieser Arbeit können folglich das Auslesen Eigenschaften des (i + 1)-ten Zeichenbildes und die Teilklassifizierung des (i - 1) -ten Zeichenbildes (wird hiernach beschrieben) parallel ausgeführt werden.
Als nächstes wird in Schritt S78 die Teilklassifizierung ausgeführt. Das Wörterbuch 86 zur Teilklassifizierung speichert die zuvor gewonnenen Durchschnittsvektoren, Eigenwerte und Eigenschaftsvektoren für die 3 310 Zeichen. Der Eigenwert und der Eigenschaftsvektor sind der Kovarianz-Matrix-Eigenwert und der in der japanischen veröffentlichten Patentanmeldung (Kokai) Nr. 59-177684 (1984) offenbarte Eigenschaftsvektor. Der Abstand zwischen dem zuvor beschriebenen Eigenschaftsvektor und jedem der bei der Gesamtklassifizierungsverarbeitung gewonnenen 48 Kandidatenzeichen wird mit dem Pseudo-Bayes- Identifikationsausdruck dargestellt. Die Kandidatenzeichen werden in der Reihenfolge geringer Abstände sortiert, und Zeichencodes und die Werte der Abstände von Kandidatenzeichen mit hoher Genauigkeit werden für die 8 höchst signifikanten Zeichen (höchst wahrscheinlichen Zeichen) gewonnen. Die Ergebnisse dieser Erkennung (die Zeichencodes und die Werte der Abstände von den Kandidatenzeichen) werden dem internen RAM 87 im DSP 81 eingegeben. Derartige Teilklassifizierung wird vom DSP 81 ausgeführt. Aus Fig. 15 ist ersichtlich, daß die zuvor beschriebene Teilklassifizierungsverarbeitung parallel mit der Gesamtklassifizierungsverarbeitung des (i + 1)-ten Zeichenbildes ausgeführt wird.
Danach überträgt in Schritt S79 der DSP 81 die zuvor beschriebenen und im internen RAM 87 gespeicherten Ergebnisse der Erkennung an den internen Puffer 76.
Wenn die Schleife aus Schritt S75 bis Schritt S79 M mal wiederholt worden ist, schreitet der Prozeß fort zu Schritt S80, in dem die CPU 71 die Ergebnisse der Erkennung für M Zeichenbilder aus dem internen Puffer 76 zum Kommunikationspuffer 73 überträgt. Danach sendet die DMA-Steuerung 74 in Schritt S81 die Ergebnisse der Erkennung auf den Übertragungskanal über die Kommunikationssteuereinheit 75.

Claims

1. Gerät (20) zur Bilderkennung durch Verarbeitung segmentierter, aus dem Bild abgeleiteter Bilddaten; mit

einem Eingabemittel (75), das betriebsbereit ist zur Eingabe segmentierter Bilddaten, die individuelle Zeichen für das Gerät zur Erkennung darstellen; und mit einem Ausgabemittel (75) zur Ausgabe von Ergebnissen des Erkennungsprozesses, dadurch

gekennzeichnet, daß

das Gerät zur Erkennung über ein Segmentbildspeichermittel (76) verfügt, das betriebsbereit ist, die segmentierten Bilddaten zu speichern;

einem Identifiziermittel (83), das betriebsbereit ist zum Errechnen von Merkmalsdaten aus den segmentierten Bilddaten eines im Segmentbildspeichermittel gespeicherten individuellen Zeichens;

einem Merkmalspeichermittel (87), das betriebsbereit ist, Merkmalsdaten zu speichern, die das erste Identifiziermittel errechnet; und mit

einem zweiten Identifiziermittel (84), das betriebsbereit ist, eine Zeichenerkennungsverarbeitung durch Errechnen der Ähnlichkeit der gespeicherten Merkmalsdaten und Standardzeichendaten (85) auszuführen;

wobei das zweite Identifiziermittel betriebsbereit ist, eine Zeichenerkennungsverarbeitung bezüglich im Merkmalspeicher gespeicherter Merkmalsdaten unabhängig von der Operation des ersten Identifiziermittels auszuführen, wobei das erste und zweite Identifiziermittel betriebsbereit ist, während wenigstens einer Operationsperiode parallel zu arbeiten.

2. Gerät zur Bilderkennung nach Anspruch 1, dessen zweites Identifiziermittel einen ersten Prozessor (84) enthält, der betriebsbereit ist, eine Gesamtklassifizierungsstufe von der Zeichenidentifikationsverarbeitung auszuführen, und einen zweiten zweiten Prozessor (81), der betriebsbereit ist, eine detaillierte Klassifizierungsstufe der Zeichenidentifikationsverarbeitung auf der Grundlage der Gesamtklassifizierungsstufe auszuführen.

3. Gerät zur Bilderkennung nach Anspruch 2, dessen erster und zweiter Prozessor eine erste anwendungsspezifische Großintegrationsschaltung (84) beziehungsweise einen Digitalsignalprozessor (81) enthält.

4. Gerät zur Bilderkennung nach Anspruch 3, dessen erstes Identifiziermittel über eine zweite vom Digitalsignalprozessor gesteuerte Großintegrationsschaltung (83) verfügt.

5. Gerät zur Bilderkennung nach einem der Ansprüche 3 und 4, dessen Merkmalspeichermittel über einen internen Direktzugriffsspeicher (87) des Digitalsignalprozessors verfügt.

6. System zur Bilderkennung mit einem Gerät zur Bilderkennung nach einem der vorstehenden Ansprüche, das ausgestattet ist mit einem externen Prozessor (10), der betriebsbereit ist, das Bild zu segmentieren, wobei das Eingabemittel betriebsbereit ist zur Eingabe segmentierter Bilddaten aus dem externen Prozessor in das Gerät zur Erkennung, und mit einem Ausgabemittel, das betriebsbereit ist zur Ausgabe der Ergebnisse des Erkennungsprozesses aus dem Gerät zur Erkennung an den externen Prozessor.

7. Verfahren zum Betrieb eines Gerätes (44) zur Bilderkennung, mit den Verfahrensschritten:

Eingeben segmentierter Bilddaten, die individuelle Zeichen darstellen, die aus einem Bild im Gerät zur Erkennung abgeleitet sind, Betreiben des Gerätes zum Erkennen und Ausgeben der Ergebnisse des Erkennungsprozesses; gekennzeichnet durch die Verfahrensschritte:

Eingeben der aus einem Bild in einem Speichermittel (76) für das segmentierte Bild abgeleiteten segmentierten Bilddaten;

Ausführen eines ersten Identifikationsverarbeitungsschrittes durch Betrieb eines ersten Identifiziermittels (83)1 das die im Speichermittel für das segmentierte Bild gespeicherten segmentierten Bilddaten bearbeitet, um Merkmalsdaten zu erzeugen;

Speichern der Merkmalsdaten in einem Merkmalspeichermittel (87);

Ausführen eines zweiten Identifizierungsverarbeitungsschrittes durch Betrieb eines zweiten Identifiziermittels (84), das eine Ähnlichkeit der gespeicherten Merkmalsdaten und Standardmerkmalsdaten (85) errechnet;

Betreiben des ersten und zweiten Identifiziermitteis unabhängig voneinander, so daß der erste und zweite Identifizierungsverarbeitungsschritt während wenigstens eines Teils einer Operationsperiode parallel erfolgt.

8. Verfahren nach Anspruch 7, bei dem der Verfahrensschritt der zweiten Identifizierverarbeitung eine Gesamtklassifizierungsstufe der Zeichenerkennung umfaßt durch Betrieb eines ersten Prozessors (84) und eine detaillierte Klassifizierungsstufe der Zeichenerkennung basierend auf den Ergebnissen der Gesamtklassifizierungsstufe durch Betrieb eines zweiten Prozessors (81).

9. Verfahren nach Anspruch 8, bei dem der erste und der zweite Prozessor aufgebaut sind mit einer ersten Großintegrationsschaltung (84) beziehungsweise einem Digitalsignalprozessor (81).

10. Verfahren nach Anspruch 9, bei dem das erste Identifiziermittel eine vom Digitalsignalprozessor gesteuerte zweite Großintegrationsschaltung (83) ist.

11. Verfahren nach einem der Ansprüche 8 und 9, dessen Verfahrensschritt des Speicherns der Merkmalsdaten das Speichern der Daten in einem Direktzugriffsspeicher (87) des Digitalsignalprozessors umfaßt.

12. Verfahren nach einem der Ansprüche 7 bis 11, mit dem Verfahrensschritt des Segmentierens des Bildes durch Betrieb eines externen Prozessors (10), Eingeben segmentierter Daten aus dem externen Prozessor in das Gerät zur Erkennung und Ausgabe der Ergebnisse des Erkennungsprozesses an den externen Prozessor.