DE19609455A1 - Erfassung des geöffneten/geschlossenen Zustands von Augen auf der Grundlage einer Untersuchung der Beziehung zwischen Augen- und Augenbrauenbildern in Eingangs-Gesichtsbildern - Google Patents

Description

Die vorliegende Erfindung betrifft allgemein die Bildmustererkennung, und insbesondere Gesichtsbild-Bearbeitungssysteme mit einer Erfassung und Überwachung des geöffneten oder geschlossenen Zustands zumindest eines Augenbildes, welches unter Verwendung von Gesichtsbild-Verarbeitungsverfahren herausgezogen wird. Weiterhin betrifft die vorliegende Erfindung eine Gesichtsbild-Verarbeitungsvorrichtung zur Verwendung in Sicherheitssystemen, die dazu dient, die sichere Fortsetzung angestrebter Handarbeiten dadurch sicherzustellen, daß beim Auftreten des Einschlafens oder Schlafens während der Arbeit ein Alarm ausgelöst wird.

Als eines von Bildmustererkennungsverfahren weist ein Gesichtsbild-Verarbeitungssystem einen weiten Einsatzbereich auf, beispielsweise bei einer Vorrichtung zur Erfassung des Einschlafens einer Person, beispielsweise des Fahrers eines Kraftfahrzeugs, durch Überwachung des offenen/geschlossenen Zustands seiner oder ihrer Augen (im Falle einer Fahrerin). Ein derartiges Fahrerzustandsüberwachungssystem wurde beispielsweise in der veröffentlichten, ungeprüften japanischen Patentanmeldung Nr. 6-227278 beschrieben, und ist insgesamt so wie in Fig. 33 gezeigt ausgebildet. Die Vorrichtung nach dem Stand der Technik gemäß Fig. 33 weist einen Bildeingabeabschnitt 82 auf, um ein eingegebenes Gesichtsbild eines Fahrers zu erhalten, einen Digitalisierer 83 zum Digitalisieren des von dem Gesichtseingabeabschnitt 82 erhaltenen Bilds zur Erzeugung eines binären Gesichtsbildsignals, und eine Augapfelvorhandenseinsbereichs Einstellvorrichtung 56 zur Bestimmung des exakten Ortes eines Augapfelbildbereichs in dem binären Gesichtsbild. Ein Detektor 57 für den offenen/geschlossenen Zustand des Auges ist so ausgebildet, daß er den geöffneten oder geschlossenen Zustand eines Auges innerhalb des so ermittelten Augapfelvorhandenseinsbereichs feststellt. Der Detektor 57 ist an eine Fahrzustands-Identifizierungsvorrichtung 86 angeschlossen, welche den momentanen Zustand des Fahrer s auf der Grundlage des sich ergebenden Musters des geöffneten/geschlossenen Auges feststellt, welches von dem Detektor 57 für das geschlossene/geöffnete Auge festgestellt wird. Eine Ermittlungsfehler-Identifizierungsvorrichtung 84 ist dazu vorgesehen, das Auftreten irgendeines Fehlers bei der Ermittlung des Augapfelvorhandenseinsbereichs festzustellen, auf der Grundlage der Erfassungsergebnisse des Detektors 57 für den offenen/geschlossenen Zustand. Weiterhin ist eine Rücksetzvorrichtung 85 vorgesehen, um den Augenvorhandenseinsbereich in Reaktion auf die Erfassungsfehler-Identifizierungsergebnisse zu modifizieren oder zu aktualisieren.

Der Betriebsablauf der aus dem Stand der Technik bekannten Vorrichtung wird unter Bezugnahme auf die Fig. 33 bis 36 beschrieben. Wenn ein Gesichtsbild eines betreffenden Fahrers erhalten und von dem Bildeingabeabschnitt 62 eingegeben wird, wird das sich ergebende Gesichtsbild dann dem Digitalisierer 83 zugeführt, der es zur Erzeugung eines binären Gesichtsbildsignals digitalisiert. Dieses Bildsignal wird der Augapfelvorhandenseinsbereichs-Einstellvorrichtung 56 zugeführt, welche aus dem Gesichtsbild einen Augapfelbildabschnitt heraus zieht, um den Ort dieses Augapfels zu bestimmen und einzustellen, also den dort vorhandenen Augapfelvorhandenseinsbereich. Die Ermittlung des geöffneten oder geschlossenen Zustands durch den hierfür vorgesehenen Detektor 57 wird innerhalb eines Fensters 58 (sh. Fig. 34) durchgeführt, welches aus dem Gesichtsbild herausgenommen wird, so daß es den Augapfelbildabschnitt enthält, der durch die Augapfelvorhandenseinsbereichs-Einstellvorrichtung 56 eingestellt wird. Der Detektor 57 für den geöffneten/geschlossenen Zustand kann als Feststellungsverfahren für den geöffneten/geschlossenen Zustand eine von zwei unterschiedlichen Vorgehensweisen einsetzen, wie nachstehend noch genauer erläutert wird.

Bei einer ersten Vorgehensweise zur Ermittlung des offenen/geschlossenen Zustands eines Auges wird eine Iris in dem Gesichtsbildfenster 58 von Fig. 3 festgestellt, welches den Augapfelvorhandenseinsbereich darstellt. Wie aus Fig. 35 hervorgeht, kann diese Iris dadurch festgestellt werden, daß (i) ein bestimmter Kreis 59, der durch einen vorgegebenen Punkt (x, y) als Zentrum definiert wird, innerhalb des Fensters 58 definiert wird, sowie vier schlitzförmige, rechteckige Markierungen 60, die von dem Zentrumspunkt (x, y) in vier Radialrichtungen ausgehen, (ii) jede mögliche Differenz bei der Gesamtsumme der Helligkeitswerte jeweiliger weißer Abschnitte der rechteckigen Markierungen 60 und von deren schraffierten Abschnitten berechnet wird, und (iii) als das Iriszentrum ein Punkt bestimmt wird, der eine maximale Helligkeitsdifferenz zeigt.

Die Erfassung des geöffneten/geschlossenen Zustands des Auges wird auf der Grundlage der Erfassung einer derartigen maximalen Helligkeitsdifferenz an dem so bestimmten Iriszentrum durchgeführt. Wenn zu diesem Zeitpunkt für einen vorbestimmten Zeitraum keine maximale Helligkeitsdifferenz festgestellt wird, stellt dann die Erfassungsfehler-Identifizierungsvorrichtung 84 fest, daß die Augenerfassung versagt, und ein Erfassungsfehler oder Meßfehler aufgetreten ist. Sobald ein derartiger Augenerfassungsfehler stattfindet, zwingt die Rücksetzvorrichtung 85 die Augapfelvorhandenseinsbereichs-Einstellvorrichtung 56 zu einer Rücksetzung des Augapfelvorhandenseinsbereichs.

Eine zweite Vorgehensweise zur Erfassung des offenen/geschlossenen Zustands des Auges ist folgendermaßen. Wie aus Fig. 36 hervorgeht, wird das Augenfenster 58 vertikal abgetastet, um nach irgendwelchen durchgehenden schwarzfarbigen Bildelementen (Pixeln) zu suchen, um ein Augapfelbild zu erfassen, und um hierdurch einen spezifischen Bildabschnitt aufzufinden, der aus einer Maximalanzahl 63 durchgehender schwarzer Pixel besteht. Die Berechnung dieser maximalen durchgehenden Anzahl schwarzer Pixel 63 wird wiederholt in Bezug auf mehrere Bilder durchgeführt; die sich hierbei ergebenden Maximal- und Minimalwerte werden zur Einstellung eines geeigneten Schwellenwertes verwendet. Nachdem der Schwellenwert eingestellt wurde, kann der geöffnete/geschlossene Zustand eines Auges oder mehrerer Augen dadurch festgestellt werden, daß die maximale Anzahl 63 durchgehender schwarzer Pixel mit dem Schwellenwert verglichen wird. Zu diesem Zeitpunkt kann die Erfassungsfehler-Identifizierungsvorrichtung 84 feststellen, daß während eines vorbestimmten Zeitraums die maximale Anzahl 63 durchgehender schwarzer Pixel unverändert bleibt; falls dies der Fall ist, wird daraus geschlossen, daß keine korrekte Augenerfassung erfolgt. In Reaktion auf die Bestimmung eines derartigen Augapfel-Erfassungsfehlers veranlaßt die Rücksetzvorrichtung 85 dann die Augapfelvorhandenseinsbereichs-Einstellvorrichtung 56 zur Durchführung eines Augapfelvorhandenseinsbereichs-Rücksetzvorgangs, also zur Wiederholung eines entsprechenden Augapfelvorhandenseinsbereichs-Einstellvorgangs in Bezug auf einen unterschiedlichen Gesichtsbildbereich.

Wie aus der voranstehenden Erläuterung deutlich wird, ist die Vorrichtung nach dem Stand der Technik so aufgebaut, daß sie die erforderliche Information, die zur Bestimmung verwendet wird, ob ein Fahrer einschläft oder nicht, dadurch erlangt, daß Variationen eines Irisabschnitts untersucht werden, der aus einem Augenfenster festgestellt wird, welches aus einem binären Gesichtsbild stammt. Alternativ hierzu ist die Vorrichtung nach dem Stand der Technik so ausgebildet, daß sie (i) einen möglichen Augapfelvorhandenseinsbereich erfaßt, aus welchem die Information erhältlich ist, ob ein Fahrer einschläft, durch vertikale Abtastung des Augenfensters 58 zur Suche nach einer Reihe durchgehender schwarzer Bildpunkte darin, (ii) die maximale Anzahl durchgehender schwarzer Pixel berechnet wird, und (iii) schließlich bestimmt wird, ob die Augapfelerfassung erfolgreich ist oder nicht, durch Analyse überwachter Änderungen der Anzahl durchgehender schwarzer Bildpunkte während eines vorbestimmten Zeitraums.

Ein Nachteil bei diesem Stand der Technik besteht darin, daß die Augapfelerfassung instabil ist, und darüber hinaus weniger verläßlich, aus folgenden Gründen. Bei einem erfaßten Gesichtsbild eines Fahrers können Schatten auftreten, infolge von Änderungen von Bildaufnahmelichtstrahlen, die auf das Gesicht des Fahrers auftreffen, und/oder infolge von Änderungen der Ausrichtung des Gesichts des Fahrers zum Zeitpunkt der Bildaufnahme. Wenn dies der Fall ist, kann der binäre Augapfelvorhandenseinsbereich, der aus einem digitalisierten Gesichtsbild herausgezogen wurde, instabil werden, was dazu führt, daß ein gewünschtes Augapfelbild seine Position gegenüber dem eigentlichen Ort verschiebt, oder ein Augapfelbild zu einer Ellipsenform verformt wird. Wenn die Ermittlung des geöffneten/geschlossenen Zustands eines Auges durch Erfassung eines Irisbildes in einem derartig instabilen Zustand durchgeführt wird, ist die Vorrichtung nach dem Stand der Technik unfähig, das Auftreten von Erfassungsfehlern zu unterdrücken oder auszuschalten.

Ein weiterer Nachteil des Standes der Technik besteht darin, daß ein fehlerhafter Schwellenwert möglicherweise eingestellt werden kann, abhängig von dem aktuellen binären Zustand eines eingegebenen Gesichtsbildes, wodurch die Erfassung des geöffneten/geschlossenen Zustands infolge der Tatsache versagt, daß die Vorrichtung nach dem Stand der Technik sich nur auf einen Augenabschnitt des Augapfelvorhandenseinsbereichs in dem eingegebenen Gesichtsbild konzentriert und einen Schwellenwert mit einem derartigen Augenabschnitt als Bezugsgröße festlegt.

Ein Ziel der vorliegenden Erfindung besteht daher in der Bereitstellung eines neuen und verbesserten Gesichtsbild-Bearbeitungsverfahrens.

Ein weiteres Ziel der Erfindung besteht in der Bereitstellung einer neuen und verbesserten Gesichtsbild-Verarbeitungsvorrichtung, welche den geöffneten oder geschlossenen Zustand eines Auges mit höherer Genauigkeit bestimmen kann.

Ein weiteres Ziel der Erfindung besteht in der Bereitstellung einer neuen und verbesserten Gesichtsbild- Bearbeitungsvorrichtung, welche exakt den geöffneten/geschlossenen Zustand des Auges eines Fahrers unter Verwendung bestimmter Information feststellen kann, nämlich von Änderungen von Relativpositionen eines Augenbildes und eines Augenbrauenbildes, deren Zustand sich innerhalb eines erfaßten, eingegebenen Gesichtsbildes nicht ändern.

Entsprechend den voranstehend angegebenen Zielen richtet sich die vorliegende Erfindung auf ein spezifisches Gesichtsbild-Verarbeitungssystem, welches den geöffneten oder geschlossenen Zustand zumindest eines Auges einer überwachten Person erfaßt, durch Analyse der Positionsbeziehung zwischen einem Augenbild und dessen zugeordnetem Augenbrauenbild in einem eingegebenen Gesichtsbild, statt nur den Zustand eines bloßen Irisbildes zu erfassen.

Gemäß einer Zielrichtung der vorliegenden Erfindung weist eine Gesichtsbild-Verarbeitungsvorrichtung einen Eingabeabschnitt zur Annahme eines Eingangs/Gesichtsbildes einer Person auf, eine Augenherausziehbereichs-Einstellvorrichtung zur Bestimmung eines Augenherausziehbereiches innerhalb des Eingangs-Gesichtsbilds, eine Herausziehvorrichtung zum Herausziehen aus dem Augenherausziehbereich erster und zweiter Bildkomponenten entsprechend einem Augenbrauenbild bzw. einem Augenbild, einen ersten Detektor zur Erfassung von Relativpositionen der herausgezogenen ersten und zweiten Bildkomponenten, und einen zweiten Detektor zur Erfassung des Schließungsgrades des Augenbildes durch Untersuchung von Variationen bei den erfaßten Relativpositionen.

Gemäß einer weiteren Zielrichtung der Erfindung weist eine Gesichtsbild-Bearbeitungsvorrichtung einen Gesichtsbild-Eingabeabschnitt auf, um ein Eingangs-Gesichtsbild eines überwachten Gesichts zu erhalten, eine Augenherausziehbereichs- Einstellvorrichtung zur Einstellung eines Augenherausziehbereichs innerhalb des Eingangs-Gesichtsbilds, eine Gesichtsbild-Eigenschaftsherausziehvorrichtung zum Herausziehen eines Augenbrauenbildes und eines Augenbildes aus dem Augenherausziehbereich, einen Flächendetektor zur Erfassung der Fläche des Augenbrauenbilds und der Fläche des Augenbilds, eine Flächenverhältnisberechnungsvorrichtung zur Berechnung eines Flächenverhältnisses des Augenbrauenbildes und des Augenbildes, und einen Schließgraddetektor zur Erfassung des Grades eines geöffneten oder geschlossenen Zustands eines Auges, durch Untersuchung von Variationen des Flächenverhältnisses zwischen den Flächen des Augenbrauenbildes und des Augenbildes, das von der Flächenverhältnisberechnungsvorrichtung berechnet wird.

Gemäß einer weiteren Zielrichtung der Erfindung weist eine Gesichtsbild-Verarbeitungsvorrichtung einen Gesichtsbild-Eingabeabschnitt auf, um ein Eingangs-Gesichtsbild eines überwachten Gesichts zu erhalten, eine Augenherausziehbereichs-Einstellvorrichtung zur Einstellung eines Augenherausziehbereichs innerhalb des Eingangs-Gesichtsbilds, eine Gesichtsbild-Eigenschaftsherausziehvorrichtung zum Herausziehen eines Augenbrauenbildes und eines Augenbildes aus dem Augenherausziehbereich, einen Breitenmeßabschnitt zur Messung einer Breite bestimmter Abschnitte sowohl des Augenbrauenbildes als auch des Augenbildes entlang der Länge des Gesichts, eine Breitenverhältnis-Berechnungsvorrichtung zur Berechnung eines Breitenverhältnisses zwischen der Breite des Augenbrauenbildes und der Breite des Augenbildes, und einen Detektor zur Feststellung eines geöffneten oder geschlossenen Zustands eines Auges auf der Grundlage von Variationen des Breitenverhältnisses, welches von der Breitenverhältnis-Berechnungsvorrichtung berechnet wird.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:

Fig. 1 ein schematisches Blockschaltbild eines Gesichtsbild-Verarbeitungssystems gemäß der vorliegenden Erfindung;

Fig. 2 ein Blockschaltbild eines Bildverarbeitungsabschnitts der Ausführungsform gemäß Fig. 1;

Fig. 3 ein Beispiel für ein Gesichtsbild, welches von einer CCD-Überwachungskamera von Fig. 1 aufgenommen wird;

Fig. 4 eine Gesichtsbereichsschablone, die durch eine Augenherausziehbereichs-Einstellvorrichtung, die in Fig. 2 gezeigt ist, aus dem Gesichtsbild von Fig. 3 herausgenommen wird;

Fig. 5 zwei Augenherausziehbereiche, die aus dem Eingangs-Gesichtsbild herausgenommen werden und das rechte und das linke Auge eines überwachten Fahrers darstellen;

Fig. 6 eine Augenbereichsschablone, die durch einen Gesichtsbild-Eigenschaftsherausziehabschnitt von Fig. 2 erzeugt wird, um einen Augenbereich aus jeweiligen Augenherausziehbereichen von Fig. 5 herauszuziehen;

Fig. 7 ein Augenbrauenbild und ein Augenbild, die unter Verwendung der Augenbereichsschablone von Fig. 6 durch die Gesichtsbild-Eigenschaftsherausziehvorrichtung von Fig. 2 herausgezogen werden;

Fig. 8 ein schematisches Blockschaltbild eines Relativpositionsdetektors von Fig. 2;

Fig. 9 ein Modell, welches eine Entfernung zwischen beabstandeten Augenbrauen- und Augenzentrumspunkten zeigt, die von einem Augenbrauenzentrumsdetektor bzw. einem Augenzentrumsdetektor ermittelt werden, der in Fig. 8 gezeigt ist;

Fig. 10A und 10B jeweilige Bildmuster, die von einem Detektor gemäß Fig. 2 für den offenen/geschlossenen Zustand eines Auges erzeugt werden;

Fig. 11 ein schematisches Blockschaltbild einer Gesichtsbild-Verarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung;

Fig. 12 verschiedene Eigenschaften eines MAX/MIN-Filters, welches in einem Digitalisierer von Fig. 11 verwendet wird;

Fig. 13 schematisch ein Muster eines binären Gesichtsbilds, welches durch einen Digitalisierungsvorgang in einem in Fig. 11 gezeigten Digitalisierer erhalten wird;

Fig. 14A und 14B Signalformen wesentlicher Signale, die im Betrieb des Digitalisierers erzeugt werden;

Fig. 15A und 15B Bildmuster, die im Betrieb einer Augenheraus ziehbereichs-Einstellvorrichtung von Fig. 11 erzeugt werden;

Fig. 16 ein schematisches Blockschaltbild einer Gesichtsbild-Bearbeitungsvorrichtung gemäß einer dritten Ausführungsform der Erfindung;

Fig. 17 ein Modell mit beabstandeten Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor gemäß der dritten Ausführungsform von Fig. 16 bearbeitet werden sollen;

Fig. 18A und 18B jeweilige Kombinationen von Bildmustern, die von einem Detektor für den geöffneten/geschlossenen Zustand eines Auges gemäß der dritten Ausführungsform von Fig. 16 bearbeitet werden sollen;

Fig. 19 ein schematisches Blockschaltbild eines Relativpositionsdetektors gemäß einer vierten Ausführungsform der Erfindung;

Fig. 20A und 20B Gesichtshistogrammprofile in Querrichtung, die von einem Augenbrauenbild-Blockbearbeitungsabschnitt von Fig. 19 erzeugt werden;

Fig. 21A und 21B Gesichtshistogrammuster in Längsrichtung, die von dem Augenbrauenbild-Blockbearbeitungsabschnitt erzeugt werden;

Fig. 22 ein Bildmuster, welches eine Blockbearbeitung durch den Augenbrauenbildblockprozessor erfährt;

Fig. 23 ein Modell beabstandeter Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor bei der vierten Ausführungsform bearbeitet werden sollen;

Fig. 24A und 24B jeweilige Kombinationen von Bildmustern, die von einem Detektor für den geöffneten/geschlossenen Zustand des Auges bei der vierten Ausführungsform bearbeitet werden sollen;

Fig. 25 eine Kombination von Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor gemäß einer fünften Ausführungsform der Erfindung bearbeitet werden sollen;

Fig. 26 eine Kombination von Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor gemäß einer sechsten Ausführungsform der Erfindung bearbeitet werden sollen;

Fig. 27 ein schematisches Blockschaltbild einer Gesichtsbild-Bearbeitungsvorrichtung gemäß einer siebten Ausführungsform der Erfindung;

Fig. 28 eine Kombination von Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor gemäß der siebten Ausführungsform bearbeitet werden sollen;

Fig. 29A und 29B jeweilige Kombinationen von Augenbrauen- und Augenbildkomponenten, die von einem Detektor für den geöffneten/geschlossenen Zustand des Auges gemäß der siebten Ausführungsform bearbeitet werden sollen;

Fig. 30 ein Blockschaltbild eines Relativpositionsdetektors gemäß einer achten Ausführungsform der Erfindung;

Fig. 31 eine Kombination von Augenbrauen- und Augenbildkomponenten, die von einem Relativpositionsdetektor gemäß der achten Ausführungsform der Erfindung bearbeitet werden sollen;

Fig. 32A und 32B jeweilige Kombinationen von Augenbrauen- und Augenbildkomponenten, die von einem Detektor für den geöffneten/geschlossenen Zustand des Auges bei der achten Ausführungsform bearbeitet werden sollen;

Fig. 33 ein Blockschaltbild einer Gesichtsbild-Bearbeitungsvorrichtung nach dem Stand der Technik;

Fig. 34 ein Fenster entsprechend einem Augapfelvorhandenseinsbereich, der aus einem Eingangs-Gesichtsbild bei der Vorrichtung nach dem Stand der Technik herausgezogen wurde;

Fig. 35 ein Modell, welches zur Erläuterung des Betriebsablaufs eines Detektors für den geöffneten/geschlossenen Zustand eines Auges beim Stand der Technik verwendet wird; und

Fig. 36 ein Augapfelvorhandenseinsbereichsfenster, welches von dem Detektor für den geöffneten/geschlossenen Zustand eines Auges nach dem Stand der Technik vertikal abgetastet wird.

In Fig. 1 ist eine Gesichtsbild-Bearbeitungsvorrichtung gemäß der Erfindung gezeigt, welche vorzugsweise bei momentan verfügbaren Fahrzeugsicherheitssystemen verwendet werden kann, welche den geöffneten oder geschlossenen Zustand der Augen einer Person überwachen, beispielsweise des Fahrers eines Kraftfahrzeugs, und dadurch Sicherheit zur Verfügung stellen, daß beim Auftreten eines Einschlafens oder eines Halbschlafs beim Fahren ein Alarm übertragen wird. Der Gesichtsbildprozessor weist eine CCD-Monitorkamera 1 zum Erfassen oder "Photographieren" des Gesichts des Fahrers zur Erzeugung eines Gesichtsbilddatensignals auf. Ein Bildspeicher 2 ist einer CCD-Kamera 1 zum Speichern der Gesichtsbilddaten angeschlossen, die von der CCD-Kamera 1 stammen. Eine Bildbearbeitungseinheit 3 ist an den Bildspeicher 2 zur Durchführung von Bildbearbeitungsvorgängen auf der Grundlage der in dem Bildspeicher 2 gespeicherten Daten angeschlossen.

Die Ausbildung des Gesichtsbildprozessors 3 von Fig. 1 ist in Fig. 2 dargestellt. Der Bildprozessor 3 weist einen Gesichtsbildeingabeabschnitt 4 auf. Die Bilddaten, welche das Gesicht des Fahrers repräsentieren, wie es von der CCD-Kamera 1 aufgenommen wurde, und dann in dem Bildspeicher 2 gespeichert werden (die Bilddaten werden nachstehend als das "Gesichtsbild" bezeichnet), werden von dem Gesichtsbildeingabeabschnitt 4 an einen Augenherausziehbereichs-Einstellabschnitt 5 geschickt. Die Augenherausziehbereichs-Einstellvorrichtung 5 bestimmt einen geeigneten Teil des Eingangs-Gesichtsbilds als Augenherausziehbereich, welcher dazu verwendet wird, hieraus eine Augenbildkomponente herauszuziehen. Ein Gesichtsbild-Eigenschaftsherausziehabschnitt 6 ist an einen Ausgang der Augenherausziehbereichs-Einstellvorrichtung 5 angeschlossen, um aus dem Augenherausziehbereich bestimmte Arten charakteristischer Bildkomponenten herauszuziehen, welche eine Augenbraue bzw. ein Auge des überwachten Fahrers darstellen. Die Herausziehvorrichtung 6 ist an ihrem Ausgang an einen Relativpositions-Erfassungsabschnitt 7 angeschlossen, der so arbeitet, daß er Relativpositionen der auf diese Weise herausgezogenen Augenbrauen- und Augenbilder erfaßt. Die Ergebnisse dieser Erfassung werden dann einem Detektorabschnitt 8 einer Endstufe zugeführt, der so arbeitet, daß er das aktuelle Ausmaß des Schließzustandes zumindest eines Auges des Fahrers dadurch feststellt, daß er Variationen der erfaßten Relativpositionen untersucht, und hierdurch den geöffneten oder geschlossenen Zustand des Auges bestimmt; in dieser Hinsicht wird der Abschnitt 8 nachstehend als "Detektor für den geöffneten/geschlossenen Zustand des Auges" bezeichnet. Der Gesichtsbildprozessor gemäß einer bevorzugten Ausführungsform der Erfindung ist so ausgebildet, daß er ein ausgewähltes Schablonenanpassungskorrelationsverfahren dazu verwendet, aus dem Eingangs-Gesichtsbild einige Herausziehgegenstände herauszuziehen, einschließlich des Augenherausziehbereiches, des Augenbrauenbildes und des Augenbildes, und zwar auf eine Art und Weise, die nachstehend noch genauer erläutert wird.

Der Betriebsablauf des Gesichtsbildprozessors unter Verwendung von Schablonen über Einstimmungsverfahren wird nunmehr unter Bezugnahme auf die Fig. 4 bis 7 beschrieben. Der Gesichtsbild-Eingabeabschnitt 4 nimmt ein Gesichtsbild 9 eines Fahrers auf, wie es von der CCD-Kamera 1 erfaßt wird, und in dem Speicher von Fig. 1 gespeichert ist. Die Augenherausziehbereichs-Einstellvorrichtung 5 bestimmt dann innerhalb des Gesichtsbildes 9 eine rechteckige Gesichtsbildschablone 10, die in Fig. 4 gezeigt ist, welche im wesentlichen dem Gesichtsbildabschnitt entspricht. Dann zieht die Gesichtsbild-Eigenschaftsherausziehvorrichtung 6 aus der Gesichtsbildschablone 10 zwei kleine rechteckige Bildabschnitte 12a, 12b heraus, die im wesentlichen dem rechten bzw. linken Auge des Fahrers entsprechen, und aus welchen die Gesichtsbilder herausgezogen werden sollen. Eine in Fig. 6 gezeigte Augenbereichsschablone 13 wird dazu verwendet, einen Augenbereich aus jedem der Herausziehbereiche 12a, 12b für das rechte bzw. linke Auge herauszuziehen, um hierdurch ein Augenbrauenbild 15 und ein Augenbild 16 zur Verfügung zu stellen, die unter Verwendung der Augenbereichsschablone 13 herausgezogen werden, wie in Fig. 7 gezeigt ist.

Die Augenherauszieh-Einstellvorrichtung 5 führt eine Korrelationsarithmetikverarbeitung für die Gesichtsbereichsschablone 10 und das Gesichtsbild 9 durch, während vorher die Gesichtsbereichsschablone 10 eingestellt wird, welche den Gesichtsbereich festlegt. Wenn während einer derartigen Korrelationsbearbeitung eine bestimmte Position aufgefunden wird, bei welcher das Korrelationsarithmetik- Bearbeitungsergebnis S ein Minimum wird, wird diese Position dann als der Gesichtsbereich 11 von Fig. 5 genommen. Es wird darauf hingewiesen, daß das Korrelationsverarbeitungsergebnis S folgendermaßen dargestellt werden kann:

S = | N-T |

wobei N die Helligkeit des Gesichtsbildes 9 ist, und T die Helligkeit der Gesichtsbereichsschablone 10. In dem so festgelegten Gesichtsbereich 11 wird dessen oberer linker Abschnitt entlang der Länge des Gesichts des Fahrers als der Herausziehbereich 12a für das linke Auge festgelegt, wogegen dessen oberer rechter Abschnitt als der Herausziehbereich 12b für das rechte Auge festgelegt wird. Ein entsprechender Schablonenanpassungsvorgang wird in Bezug auf diese Augenherausziehbereiche 12a, 12b durchgeführt, um hierdurch das Augenbrauenbild 15 und das Augenbild 16 herauszuziehen, die in Fig. 7 gezeigt sind.

In Bezug auf das Herausziehen der Augenbrauen- und Augenbilder 15, 16 erzeugt die Gesichtsbild- Eigenschaftsherausziehvorrichtung 6 von Fig. 2 vorher die Augenbereichsschablone 13, welche einen Augenbereich festlegt, der das Bild eines Auges und das Bild einer Augenbraue enthält, und führt dann eine geeignete Korrelationsarithmetikbearbeitung für die Augenbereichsschablone 13 und den Augenherausziehbereich 12a entsprechend der voranstehend angegebenen Gleichung (1) durch. Falls sich eine bestimmte Position findet, bei welcher das Korrelationsbearbeitungsergebnis S ein Minimum ist, wird diese Position dann als ein Augenbereich 14 ausgewählt. Innerhalb dieses Augenbereichs wird eine weitere Korrelationsbearbeitung unter Verwendung der Augenbereichsschablone 13 durchgeführt, um das Vorhandensein einer Augenbraue und eines zugehörigen Auges festzustellen, wodurch wie in Fig. 7 gezeigt das Augenbrauenbild und das Augenbild 15 bzw. 16 hieraus herausgezogen werden.

Daraufhin erfaßt der Relativpositionsdetektor 7 die Relativpositionen des Augenbrauenbildes 15 und des Augenbildes 16, die auf diese Weise herausgezogen wurden. Wie aus Fig. 8 hervorgeht, weist der Relativpositionsdetektor 7 eine Augenbrauenzentrums-Erfassungseinheit 71 auf, um die Koordinaten eines Zentrumspunktes oder "Schwerpunktes" des Augenbrauenbildes 15 in der Mitte zwischen den gegenüberliegenden Kanten entlang der Breite des Gesichts zu berechnen. Eine Augenzentrumserfassungseinheit 72 ist an den Detektor 71 angeschlossen, um den Schwerpunkt des Augenbildes 16 in der Mitte entlang der Länge des Gesichts zu berechnen. Eine Entfernungsmeßeinheit 73 ist an den Detektor 72 dazu angeschlossen, die aktuelle Entfernung zwischen dem Augenbrauenzentrum und dem Augenzentrum zu messen, die wie voranstehend geschildert erfaßt wurden.

Wie aus Fig. 9 hervorgeht, berechnen der Augenbrauenzentrumsdetektor 71 und der Augenzentrumsdetektor 72 die Positionen zweier Zentren oder "Schwerpunkte" 17, 18, die entlang der Länge des Gesichts voneinander beabstandet sind, in Bezug auf das Augenbrauenbild 15 bzw. das Augenbild 16. Es wird darauf hingewiesen, daß ein Schwerpunkt (X, Y) unter Verwendung der nachstehend angegebenen Gleichungen (2) und (3) erhalten werden kann:

X = Xt/Gesamt (2)
Y = Yt/Gesamt (3)

wobei Xt die Gesamtsumme der x-Koordinatenwerte sämtlicher Pixel xi des Bildes ist, "Gesamt" die Gesamtanzahl an Pixeln (Xi, Yj) ist, und Yj die Gesamtsumme der y-Koordinatenwerte sämtlicher Pixel yj ist. Es wird darauf hingewiesen, daß der Zentrumswert X als der Schwerpunkt entlang der Länge des Gesichts verwendet wird.

Dann mißt die Entfernungsmeßeinheit 73 eine aktuelle Entfernung 19 zwischen den Schwerpunkten 17, 18 in der Längsrichtung des Gesichts. Der Detektor 8 für das geschlossene/geöffnete Auge von Fig. 2 erfaßt den Schließzustand des Auges auf der Grundlage der gemessenen Entfernung zwischen den Schwerpunkten 17, 18, um ein Erfassungssignal zu erzeugen, welches anzeigt, in welchem Ausmaß das Auge geschlossen ist, was wiederum angibt, ob der Fahrer beim Fahren schlummert oder nicht. Im einzelnen ist, wenn wie in Fig. 10A gezeigt das Auge des Fahrers geöffnet ist, infolge der Tatsache, daß er sich nicht schläfrig fühlt, die sich ergebende Entfernung zwischen den Schwerpunkten 17, 18 kleiner als ein vorbestimmter Schwellenwert 20; wenn im Gegensatz hierzu das Auge des Fahrers infolge des Auftretens eines Einschlafvorgangs geschlossen ist, wird die sich ergebende Entfernung zwischen den Schwerpunkten 17, 18 größer als der Schwellenwert 20.

Daher kann der Detektor 8 für das geöffnete/geschlossene Auge exakt den aktuellen geöffneten oder geschlossenen Zustand der Augen des Fahrers feststellen, und zwar durch Vergleichen der gemessenen Entfernung 20 zwischen den Schwerpunkten 17, 18 mit einer Bezugsentfernung des Schwellenwertes 20. Bei dieser Ausführungsform werden spezifisch der Augenbrauenbildschwerpunkt und der Augenbildschwerpunkt als die Bezugspunkte zur Erfassung von Variationen der Positionsbeziehung zwischen den Augenbrauen- und Augenbildern verwendet. Dies kann die Vorgänge zur Erfassung des offenen/geschlossenen Zustands des Auges beschleunigen, während die zugehörigen erforderlichen Algorithmen erheblich vereinfacht werden.

Ein Gesichtsbildprozessor von Fig. 11 gemäß einer zweiten Ausführungsform der Erfindung ist ähnlich wie in Fig. 2, wobei die Augenherausziehbereichs-Einstellvorrichtung von Fig. 2 durch einen Digitalisierabschnitt 21 ersetzt ist. Während die erste Ausführungsform das Ausmaß des Schließens des Auges unter Verwendung der Augenbrauen- und Augenbilder feststellt, die durch Schablonenanpassungsverfahren aus einem Eingangs-Gesichtsbild herausgezogen wurden, ist die zweite Ausführungsform so ausgebildet, daß Augenbrauen- und Augenbilder in Form binärer Daten aus einem digitalisierten Gesichtsbild herausgezogen werden, unter Verwendung eines Filtervorgangs, und dazu verwendet werden, die Erfassung des Schließzustandes des Auges zu erzielen.

Wie aus Fig. 11 hervorgeht, ist der Digitalisierer zwischen den Gesichtsbild-Eingangsabschnitt 4 und die Augenherausziehbereichs-Einstellvorrichtung 5 geschaltet. Ein Eingangs-Gesichtsbild, welches durch den Gesichtsbildeingabeabschnitt 4 erlangt wird, wird an den Digitalisierer 21 geschickt, der auf eine Art und Weise Filteroperationen durchführt, wie nachstehend noch genauer erläutert wird, wodurch ein binäres Gesichtsbilddatenausgangssignal erhalten wird. Das binäre Gesichtsbild erfährt dann an der Augenherausziehbereichs-Einstellvorrichtung 5 einen Augenherausziehbereichs-Definitionsvorgang, um hierdurch einen Augenherausziehbereich zu bestimmen, der aus dem binären Gesichtsbild herausgezogen wurde. Der sich ergebende Augenherausziehbereich wird der Gesichtsbild-Eigenschaftsherausziehvorrichtung 6 zugeführt, welche aus dem Bereich ein Augenbrauenbild und ein Augenbild herauszieht. Diese Bilder werden dann an den Relativpositionsdetektor 7 geliefert, die die Relativpositionen der herausgezogenen Augenbrauen- und Augenbilder erfaßt, um deren Positionsbeziehung zu untersuchen. In Reaktion auf den Empfang der Ergebnisse der Untersuchung stellt der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges den geöffneten bzw. geschlossenen Zustand des Auges durch Untersuchung von Änderungen der Positionsbeziehung zwischen den Augenbrauen- und Augenbildern fest.

Die zweite Ausführungsform arbeitet folgendermaßen. Verschiedene Eigenschaften von MAX/MIN-Filterschaltungen zur Verwendung in dem Digitalisierer 21 von Fig. 11 sind in Fig. 12 durch Teile (a) bis (d) bezeichnet. Der Digitalisierer 21 empfängt und digitalisiert ein Eingangs-Gesichtsbild von dem Gesichtsbild-Eingabeabschnitt 4 zur Erzeugung eines entsprechenden binären Datensignals, welches das Gesichtsbild 22 anzeigt, wie in Fig. 13 dargestellt ist.

Nach Empfang eines Bildsignals 24, welches einen Teil des Eingangs-Gesichtsbildes darstellt, führt der Digitalisierer 21 eine MAX-Filteroperation mit dem Signal durch, um ein MAX-gefiltertes Bildsignal 25 zu erzeugen, und führt dann eine MIN-Filterung in Bezug auf das MAX-gefilterte Bildsignal 25 durch, um ein MIN-gefiltertes Bildsignal 26 zu erzeugen, wobei die beiden Signale 25, 26 im Abschnitt (a) von Fig. 12 gezeigt sind. Fig. 12 zeigt auch einen Teil (b), nämlich ein Feld von Pixeln 27 bis 29 entsprechend formatierten Pixeln, die durch Formatierung von Helligkeitswerten der Bildsignale 24 bis 26 erhalten werden. Es wird darauf hingewiesen, daß ein quadratischer Rahmen, der einen Helligkeitswert umgibt, einen einzelnen Pixel repräsentiert, und daß bei den Helligkeitswerten nur zur Vereinfachung angenommen wird, daß sie einen Bereich von 0 bis 20 aufweisen.

Zuerst wird mit dem Eingangs-Gesichtsbild eine MAX-Filterung durch ein MAX-Filter durchgeführt, welches eine festgelegte Länge aufweist (nachstehend als die "Filtergröße" bezeichnet), wenn die Pixelnummer gleich a ist, und den Helligkeitswert eines Zentrumspixels des Bildes in den maximalen Helligkeitswert umwandelt. Es wird angenommen, daß die Pixelnummer a gleich 5 ist. Wenn ein Pixelfeld 27 eine MAX-Filterung in seinen schraffierten Abschnitten erfährt, die im Teil (b) von Fig. 12 gezeigt sind, wird der Helligkeitswert eines Pixels 27a, der im Zentrum eines derartigen Filterraums liegt, dann von 8 auf 10 umgewandelt, infolge der Tatsache, daß der maximale Helligkeitswert gleich 10 ist.

Ein ähnlicher MAX-Filtervorgang wird wiederholt, während das Eingangsbild dazu veranlaßt wird, aufeinander folgend in der Position nach rechts um jeweils einen Pixel als Einheit verschoben zu werden. Hierdurch kann das im Teil (b) von Fig. 12 gezeigte Pixelfeld 27 in ein Pixelfeld 28 umgewandelt werden. Nach der Beendigung der MAX-Filterung wird dann mit dem sich ergebenden MAX-gefilterten Bild eine MIN-Filterung durchgeführt. Das MIN-Filter weist die gleiche Filtergröße auf wie das MAX-Filter, und wandelt die Helligkeit eines Filter-Zentrumspixels in den minimalen Helligkeitswert um, der in dem Filterraum aufgefunden wird.

Infolge der Durchführung einer derartigen MIN-Filterung in Bezug auf die schraffierten Abschnitte des Pixelfeldes 28, die im Teil (b) von Fig. 12 gezeigt sind, nach Beendigung der MAX-Filterung, wird der Helligkeitswert eines Pixels 28b, der sich im Zentrum des Filterraums befindet, von 12 in 10 umgewandelt, infolge der Tatsache, daß der minimale Helligkeitswert in diesem Falle 10 beträgt.

Die MIN-Filterung wird wiederholt, während das Eingangsbild dazu veranlaßt wird, aufeinanderfolgend seine Position nach rechts in Intervallen von jeweils der Größe eines Pixels zu verschieben, was dazu führt, daß das Pixelfeld 28 in ein aktualisiertes Pixelfeld 29 umgewandelt wird, welches im Teil (b) von Fig. 12 gezeigt ist. Das sich ergebende MIN/MAX-gefilterte Bild wird dann so bearbeitet, daß von ihm das Eingangsbild subtrahiert wird, wodurch ein Bereich niedriger Helligkeit herausgezogen wird, der eine geringere Breite als die Größe des Filters aufweist. Im einzelnen wird bei dem dargestellten Beispiel der Helligkeitswert des Pixelfeldes 27 von dem Helligkeitswert des Pixelfeldes 29 subrahiert, welches im Teil (b) von Fig. 12 gezeigt ist, um ein neues Pixelfeld zu erzeugen, das im Teil (d) von Fig. 12 dargestellt ist, und welches dann in ein elektrisches Bildsignal umgewandelt wird, wie im Teil (d) von Fig. 12 gezeigt ist.

Während der voranstehend geschilderten Filteroperationen sind sowohl das MAX-Filter als auch das MIN-Filter so ausgebildet, daß sie ihre Umwandlungen im Zentrum eines ursprünglich gefilterten Bildes beginnen, und die Umwandlungen im Zentrum endgültiger gefilterter Bilder beenden. Dies führt dazu, daß die MAX-gefilterten Bilddaten einem Feld von Pixeln 28c bis 28d entsprechen, und daß die MIN-gefilterten Bilddaten einem Feld von Pixeln 29e bis 29f entsprechen, die im Teil (b) in Fig. 12 gezeigt sind. Im Ergebnis wird das Bild, das schließlich durch die MAX/MIN-Filteroperationen erhalten wird, mit kleineren Abmessungen versehen als in der Filterstartposition und der Filterendposition, und zwar um eine Länge entsprechend "a-1" Pixeln.

Der Digitalisierer 21 von Fig. 11 arbeitet folgendermaßen. Bei der vorliegenden Ausführungsform wird die Filterung nacheinander in Bezug auf jede von mehreren parallelen Abtastzeilen 30 entlang der Länge des Gesichts durchgeführt, wie in Fig. 13 dargestellt ist. Dies führt dazu, wie aus Fig. 14A hervorgeht, daß ein Bildsignal 31 nach der Beendigung der MAX/MIN-Filteroperationen mit dem Eingangs-Gesichtsbild erhalten wird, wobei die Filterlängen den Breiten von Augenbrauen und Augen entsprechen. In diesem Fall werden darüber hinaus einige zusätzliche Bildkomponenten ebenfalls herausgezogen, welche eine Nase und die Lippen eines Mundes darstellen, die eine geringere Breite aufweisen als die Augenbrauen und Augen. Aus einer Betrachtung des Impulsmusters von Fig. 14A geht hervor, daß infolge der Tatsache, daß die charakteristischen Punkte 31a der Augenbrauen- und Augenbilder eine größere Helligkeitsdifferenz aufweisen als die anderen, die umgebenden Punkte, ihre Helligkeitswerte erhöht sind, nachdem die Subtraktionsbearbeitung durchgeführt wurde.

Im Gegensatz hierzu bleiben bei Schatten oder Bildern der Kleidung eines überwachten Fahrers die Helligkeitsunterschiede kleiner als die anderen, wie aus einer Pulskomponente 31b in Fig. 14A hervorgeht. Unter Berücksichtigung dieser Tatsachen wird ein Schwellenwertpegel 32 auf einen festen Schwellenwert eingestellt, wie in Fig. 14A gezeigt ist, so daß die Impulskomponenten 31a, 31b des Bildsignals 31 dadurch in binäre Form umgewandelt werden können, daß der Schwellenwertpegel 32 so genutzt wird, daß jene (31a) Impulse, die größer sind oder ein "höheres" Potential aufweisen als der Schwellenwertpegel 32, in entsprechende Impulse mit fester Höhe umgewandelt werden, und jene (31b), die kleiner oder "niedriger" sind, sowie der Schwellenwertpegel 32 vernachlässigt werden, wodurch ein binäres Impulssignal erzeugt wird, das in Fig. 14B dargestellt ist. Das gefilterte Gesichtsbild ist in Fig. 13 gezeigt. Es wird darauf hingewiesen, daß schwarz gefärbte Abschnitte in dieser und den folgenden Figuren, auf die nachstehend noch Bezug genommen wird, binäre Bildabschnitte oder Komponenten bezeichnen sollen, die eine größere Helligkeitsdifferenz aufweisen als der Schwellenwertpegel 32. Anders ausgedrückt weisen schwarze Bereiche einen Logikwert "1" oder "High" auf, wogegen der weiße Hintergrund einen Logikwert von "0" oder "Low" aufweist.

Nachdem der Digitalisierungsvorgang beendet ist, wird dann ein Augenherausziehbereich von der Augenherauszieh-Einstellvorrichtung 5 von Fig. 11 herausgezogen, auf die nachstehend geschilderte Art und Weise. Zuerst berechnet die Augenherauszieh-Einstellvorrichtung 5 die Position eines Bezugspunktes 33 (sh. Fig. 15A) für den gesamten Bereich des sich ergebenden binären Bildes 22 von Fig. 13. Der Bezugspunkt 33 ist ein bestimmter Punkt, der typisch für sämtliche schwarzen binären Bildabschnitte ist; in diesem Sinn kann der Bezugspunkt 33 alternativ hierzu als "Schwerpunkt" bezeichnet werden. Der Schwerpunkt 33 kann dadurch aufgefunden werden, daß Berechnungen ähnlich jenen wie in den Gleichungen (2) und (3) durchgeführt werden, die weiter voranstehend angegeben wurde, mit Ausnahme der Tatsache, daß "xi" und yj" in diesem Fall dazu verwendet werden, schwarze Bildbereiche in dem binären Bild 22 festzulegen.

Nachdem die Berechnung des Schwerpunkts 33 beendet ist, wird dann ein Teilbereich 34 auf der Grundlage des Schwerpunkts 33 festgelegt. Dieser Bereich 33 kann möglicherweise ein Gesichtsbild enthalten; in dieser Beziehung wird er nachstehend als der "Gesichtsbereich" bezeichnet. Der Gesichtsbereich 34 ist so definiert, daß er einen rechteckigen Rahmen aufweist, der einige oder sämtliche der Eigenschaften eines Gesichts (zumindest die Augen) enthält. Dies wird dadurch durchgeführt, daß die Tatsache berücksichtigt wird, daß der Gesichtsbereich 34 zumindest teilweise den Hauptabschnitt des Eingangs-Gesichtsbilds mit erhöhter Wahrscheinlichkeit enthalten kann, und daß der Schwerpunkt eines menschlichen Gesichts gewöhnlich zwischen der Nase und den Augen im Zentrum des Gesichts liegt. Ein Schwerpunkt 35 in Bezug auf den Gesichtsbereich 34 kann durch ähnliche Berechnungen aufgefunden werden, wie sie in den voranstehend angegebenen Gleichungen (2) und (3) angegeben sind. Der Schwerpunkt 35 wird zur Festlegung eines Augenherausziehbereiches verwendet, wie nachstehend unter Bezugnahme auf Fig. 15B geschildert wird. Es wird angenommen, daß der Schwerpunkt 35 des Gesichtsbereiches 34 in der Nähe der Nase liegt. Der Gesichtsbereich 34 wird in Hälften unterteilt, wobei der Schwerpunkt 35 das Zentrum der Unterteilung darstellt, wobei eine der Hälften (also der linke Teil der um 90° gedrehten Gesichtsdarstellung von Fig. 15A) höchstwahrscheinlich Augenbilder enthält, und die andere Hälfte (also der rechte Teil der Darstellung in Fig. 15A) die Nasen- und Mundbilder enthalten kann. Der linke Halbbereich wird, wie in Fig. 15B gezeigt, als ein Augenherausziehbereich 36 bestimmt. Dieser Bereich 36 wird dann durch eine Linie unterteilt, die durch die beiden Schwerpunkte 33, 35 hindurchgeht, und zwar in ein Paar benachbarter Abschnitte 36a und 36b; ein Abschnitt 36b dient als Augenherausziehbereich für das rechte Auge, wogegen der andere Bereich 36a als Augenherausziehbereich für das linke Auge dient.

Die Gesichtsbild-Eigenschaftsherausziehvorrichtung 6 von Fig. 11 zieht verschiedene Eigenschaften aus dem binären Gesichtsbild heraus, durch (i) Erkennung eines von zwei schwarzen Bereichen, der an der Oberseite entlang der Länge des Gesichts innerhalb jedes der Augenherausziehbereiche 36a, 36b liegt, als ein Augenbrauenbild 15, und durch (ii) Interpretation des anderen Bereiches an der unteren Seite als Augenbild 16. Die folgenden Operationen des Relativpositionsdetektors 7 und des Detektors 8 für den geöffneten/geschlossenen Zustand des Auges, nämlich das Auffinden von "Schwerpunkten" für die Augenbrauen- und Augenbilder, und die Festlegung des Augenschließungsgrades auf der Grundlage von Variationen der Entfernung zwischen diesen, sind ähnlich wie bei der ersten Ausführungsform.

Bei der zweiten Ausführungsform lassen sich ähnliche Vorteile wie bei der ersten Ausführungsform in Bezug auf eine Erfassung des geöffneten/geschlossenen Zustands des Auges mit hoher Geschwindigkeit durch eine vereinfachte Vorgehensweise erzielen. Darüber hinaus kann die zweite Ausführungsform eine erhöhte Genauigkeit für die Feststellung zur Verfügung stellen, infolge der Tatsache, daß die Erfassung des geöffneten/geschlossenen Zustands des Auges unter Einsatz einer genauen Untersuchung der aktuellen Variationen der Form binärer Augenbilder ohne Graustufenabschnitte durchgeführt wird.

Ein gemeinsames Merkmal der ersten und zweiten Ausführungsform besteht darin, daß der Relativpositionsdetektor dazu ausgebildet ist, eine Entfernung zwischen den Zentren oder "Schwerpunkten" der Augenbrauen- und Augenbilder festzustellen, und daß der Detektor für den geöffneten/geschlossenen Zustand des Auges dazu vorgesehen ist, den geöffneten oder geschlossenen Zustand der Augen des Fahrers zu ermitteln. Der Betriebsablauf dieses Detektors ist folgendermaßen: Wenn die festgestellte Entfernung größer ist als der Schwellenwert, der einen festen Wert aufweist, so stellt der Detektor für den geöffneten/geschlossenen Zustand des Auges fest, daß die Augen zumindest teilweise geschlossen sind; wenn die erfaßte Entfernung kleiner als der Schwellenwertpegel ist, so bestimmt der Detektor, daß die Augen geöffnet sind.

Ein Gesichtsbildprozessor gemäß einer dritten Ausführungsform der Erfindung ist in Fig. 16 gezeigt. Dieser Prozessor weist einen Augenbrauenzentrumserfassungsabschnitt 71 auf, zur Erfassung eines Zentrums oder "Schwerpunkts" 17 eines Augenbrauenbildes 15, einen Augenrepräsentations- Positionserfassungsabschnitt 74 zur Erfassung des Maximalwertes im oberen Zentrum eines Augenbildes 16 entlang der Länge eines menschlichen Gesichts, und zur Festlegung der Position zumindest eines repräsentativen Punktes (der repräsentativen Position des Auges) entlang der Gesichtslänge, sowie einen Entfernungsmeßabschnitt 73 zur Messung der aktuellen Entfernung zwischen den repräsentativen Positionen des Augenbrauenzentrums und des Auges.

Die dritte Ausführungsform arbeitet folgendermaßen. Da der Betriebsablauf des Augenschwerpunktdetektors 71 ähnlich ist wie bei der ersten Ausführungsform, erfolgt zur Vereinfachung insoweit keine erneute Beschreibung. Die nachstehende Beschreibung beginnt mit der Operation des Augenrepräsentationspositionsdetektors 74.

Wie in Fig. 17 gezeigt, erfaßt dieser Detektor 74 (i) einen Maximalwert 73a in der oberen Zentrumsposition des Augenbildes 16, welches von der Gesichtsbild-Eigenschaftsherausziehvorrichtung 6 herausgezogen wird, und (ii) ein Paar von Augenrepräsentationspositionen 37b, 37c des Augenbildes 16, welche zwei gegenüberliegenden Kanten (beiden Seitenkanten) eines Auges entsprechen, und entlang der Breite eines menschlichen Gesichts beabstandet sind. Die Festlegung dieser charakteristischen Punkte 37a bis 73c kann durch das folgende Verfahren erfolgen. Zuerst wird die Anzahl einer Reihe durchgehender schwarzer Pixel in einem Augenbild gezählt, um ein entsprechendes Histogramm zur Verfügung zu stellen. Dann wird ein Spitzenwert in dem Histogramm aufgefunden, um diesen Spitzenwert als momentanen Maximalwert festzustellen. Dann wird nach Minimalwerten gesucht, die auf der rechten und linken Seite des Spitzenwertes in dem Histogramm auftreten, und diese werden als die Augenrepräsentationspositionen 37a, 37b gewählt. Während einer derartigen Operation werden darüber hinaus erforderliche Koordinatenwerte einschließlich des Augenbrauenschwerpunkts, des Maximalwertes 37a, und der Augenrepräsentationspositionen 37b, 37c berechnet. Sind die Augen des Fahrers geschlossen, weil dieser eingenickt ist, so liegt der Koordinatenwert des Maximums 37a in der Mitte oder beinahe im Zentrum zwischen den Koordinatenwerten der Augenrepräsentationspositionen 37b, 37c.

Sobald die jeweiligen Positionen ermittelt sind, erfaßt dann der Entfernungsmeßabschnitt 73 (i) eine Entfernung 38a zwischen dem Augenbrauenschwerpunkt 17 und dem Maximalwert 37a sowie (ii) Entfernungen 38b, 38c zwischen dem Schwerpunkt 17 und jeweiligen Augenrepräsentationspositionen 37b, 37c durch Untersuchung jeweiliger, auf diese Weise erhaltener Koordinatenwerte, wie in den Fig. 18A und 18B gezeigt ist. Daraufhin stellt der Detektor 8 für den Öffnungs/Schließzustand des Auges den aktuellen Schließungsgrad der Augen fest, auf der Grundlage von Variationen der Entfernungswerte 38a bis 38c, die wie voranstehend geschildert ermittelt wurden, auf ähnliche Weise wie bei den vorherigen Ausführungsformen. Wie aus Fig. 18A hervorgeht ist dann, wenn die Augen des Fahrers offen sind, die sich ergebende "mittlere" Entfernung 38a kürzer als die verbleibenden "Kantenabstände" 38b, 38c, wobei dazwischen eine wachsende Differenz beobachtet wird. Wenn andererseits wie in Fig. 18B gezeigt die Augen geschlossen sind, so zeigt die mittlere Entfernung 38a nicht länger eine signifikante Differenz, im Vergleich zu den Kantenentfernungen 38b und 38c.

Mit der dritten Ausführungsform ist es möglich, die Geschwindigkeit der Erfasssungsverarbeitung zu erhöhen, infolge der Ausführung der Erfassung des geöffneten/geschlossenen Zustands des Auges unter Verwendung der binären Bilddaten. Darüber hinaus kann auch die Genauigkeit der Erfassung des geöffneten/geschlossenen Zustands der Augen wesentlich erhöht werden, infolge der Tatsache, daß diese Erfassung auf der Grundlage der tatsächlich gemessenen Änderungen der Form des Auges durchgeführt wird.

Ein Gesichtsbildprozessor gemäß einer vierten Ausführungsform der Erfindung weist einen in Fig. 16 dargestellten Relativpositionsdetektor auf. Während die erste bis dritte Ausführungsform die vollständig herausgezogenen Augenbrauen- und Augenbilder als Objekte für die Erfassung des geöffneten/geschlossenen Zustandes des Auges verwenden, ist die vierte Ausführungsform so ausgebildet, daß (i) das Augenbrauenbild, welches sich nicht infolge einer Öffnungs/Schließbewegung eines Auges ändert, aus einem binären Gesichtsbild unter Verwendung eines Blockrahmens mit fester Fläche herausgezogen wird, und dann (ii) der geöffnete/geschlossene Zustand des Auges dadurch erfaßt wird, daß Variationen der Entfernung zwischen einem derartigen Block- bearbeiteten Augenbrauenbild und dem Augenbild untersucht werden. Wie aus Fig. 19 hervorgeht, weist der Relativpositionsdetektor einen Augenbrauenbild-Blockbearbeitungsabschnitt 75 auf, um ein Augenbrauenbild 15 in eine Gruppe von Blockabschnitten umzuwandeln, einen Augenbrauenbezugspositionseinstellabschnitt 76 zur Festlegung einer Bezugsposition der Augenbrauenblöcke entlang der Länge eines menschlichen Gesichts, und einen Entfernungsmeßabschnitt 73 ähnlich wie bei der vorherigen Ausführungsform.

Der Betriebsablauf dieser Ausführungsform wird unter Bezugnahme auf die Fig. 20A bis 20B, 21A bis 21B sowie 22 beschrieben. Die Blockumwandlungsbearbeitung wird entweder für einige ausgewählte schwarze Pixel innerhalb eines vorbestimmten Bereiches eines binären Gesichtsbilds durchgeführt, oder für bestimmte Pixel, welche Schwellenwerte aufweisen, die größer als ein vorbestimmter Wert sind, innerhalb eines bestimmten Bereiches eines nicht binären Bildes. Die Beschreibung erfolgt in Bezug auf die erstgenannte Alternative, da die zweite Alternative ähnlich durchgeführt werden kann.

Zuerst wird die Anzahl von Pixeln in einem Feld schwarzer Pixel entlang der Breite eines menschlichen Gesichts innerhalb des vorbestimmten Bereiches des binären Gesichtsbildes gezählt. Die Zählung der Anzahl schwarzer Pixel wird in Bezug auf die Richtung der x-Koordinate durchgeführt. Der sich ergebende x-Koordinatenzählwert wird dazu verwendet, ein in Fig. 20A dargestelltes Histogramm in Querrichtung des Gesichts zur Verfügung zu stellen, in welchem die Vertikalachse die Anzahl schwarzer Pixel und die Horizontalachse die x-Koordinatenwerte angibt. Dann erfolgt, wie in Fig. 20B gezeigt, eine Suche nach irgendwelchen Spitzenwerten, bei welchen Extremmalpunkte der Anzahl schwarzer Pixel größer werden als ein Wert 40a in dem Histogramm. Für jeden Spitzenwert wird eine Startposition 40ci und eine Endposition 40di eingestellt, die jeweils eine Anzahl schwarzer Pixel aufweisen, der größer als ein Wert 40e, sowie eine Entfernung, die kleiner als ein Wert 40b ist, um einen begrenzten Bereich entlang der x-Koordinatenachse festzulegen. Anders ausgedrückt wird jeder Spitzenwert des Verteilungsprofils für die Anzahl schwarzer Pixel in Fig. 20B weggeschnitten", durch eine Linie, die parallel zur x-Koordinatenachse verläuft und zwei spezifische Punkte der Anzahl schwarzer Pixel verbindet, die gleich dem Wert 40e ist, wobei dieser Punkt dem Startpunkt 40ci bzw. dem Endpunkt 40di entspricht.

Dann werden, wie in Fig. 21 gezeigt, mehrere streifenförmige Bereiche 40ai festgelegt, welche jeweiligen Spitzenwerten entsprechen, und die jeweils eine spezifische Breite aufweisen, die durch die Start- und Endpositionen 40ci bzw. 40di festgelegt ist. Für jeden Streifen 40ai wird die Anzahl schwarzer Pixel gezählt, die in Richtung der y-Koordinatenachse ausgerichtet sind, wodurch ein Histogramm gemäß Fig. 21A in Längsrichtung des Gesichts zur Verfügung gestellt wird. Dann wird aus jedem Streifen zumindest ein Abschnitt herausgezogen, der von seinem benachbarten Block um eine Entfernung beabstandet ist, die größer als ein Wert 41c ist, und eine größere Anzahl schwarzer Pixel als einen Wert 41b enthält. Jeder herausgezogene Abschnitt wird als ein Einheitsblock 42i verwendet. Schließlich legt der Augenbrauenblockprozessor 75 in dem binären Gesichtsbild ein Paar von Augenbildblöcken 43 fest, die in Fig. 22 gezeigt sind, durch Wiederholung der Blockumwandlungsprozedur in y-Richtung, die für das Augenbrauenbild 15 durchgeführt wurde. Zu diesem Zeitpunkt werden auch der Maximalwert 37a und Augenrepräsentationspositionen 37b, 37c eines Augenbildes im wesentlichen ebenso wie bei den vorherigen Ausführungsformen erhalten, mit Ausnahme der Tatsache, daß ihre Koordinaten unter Verwendung der Maximalwertposition der Augenbrauenblöcke 43 als Bezugsposition festgelegt werden.

Wie aus Fig. 23 hervorgeht, nimmt die Augenbrauenbezugspositions-Einstellvorrichtung 76 von Fig. 19 die Maximalwertposition der Augenbrauenblöcke 43 entlang der Länge des Gesichts als Bezugsposition 44. Der Entfernungsmeßabschnitt 73 führt dann die erforderlichen Messungen auf der Grundlage jeweiliger Werte 45a, 45b und 45c durch, die jeweils Entfernungen von den Augenrepräsentationspositionen 37a, 37b bzw. 37c angeben, die von dem Augenrepräsentationspositionsdetektor 74 festgestellt werden.

Auch bei der vorliegenden Ausführungsform wird der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges verwendet, der den geöffneten oder geschlossenen Zustand der Augen auf der Grundlage der Beziehung zwischen den Entfernungen 45a bis 45c im vorliegenden Fall ermittelt. Wie aus den Fig. 24A und 24B hervorgeht, zeigt dann, wenn eine Person ihre Augen öffnet, die Entfernung 45a eine extreme Differenz gegenüber den übrigen Entfernungen 45b, 45c in einem entsprechenden, blockgewandelten Bild; wenn dagegen die Person ihre Augen schließt, unterscheidet die sich ergebende Entfernung 45a geringfügig von den übrigen Entfernungen 45b, 45c, so daß keine extreme Differenz zwischen der Entfernung 45a und den anderen Entfernungen 45b, 45c vorhanden ist. Daher wird es mit dieser Ausführungsform möglich, eine Erfassung des geöffneten oder geschlossenen Zustands der Augen mit höherer Genauigkeit durchzuführen, selbst wenn sich die Form der Augenbrauenbilder bei möglicherweise auftretenden Änderungen der Gesichtsbildaufnahmezustände ändert.

Nunmehr wird eine fünfte Ausführungsform der Erfindung beschrieben, die ähnlich der vierten Ausführungsform ist, mit Ausnahme der Tatsache, daß die vierte Ausführungsform die Maximalwertposition von Augenbrauenblöcken 43 entlang der Länge eines menschlichen Gesichts als Bezugsposition verwendet, wogegen die fünfte Ausführungsform die Bezugsposition unter Verwendung einer Minimalwertposition bestimmt. In diesem Fall erkennt, wie in Fig. 25 gezeigt ist, die Augenbrauenbezugspositions-Einstellvorrichtung 76 von Fig. 19 die Minimalwertposition eines Augenbrauenbildblockes 43 als Bezugsposition 46. Hierbei werden der Maximalwert 37a und die Koordinatenwerte der Augenrepräsentationspositionen 37b, 37c eines Augenbildes auf im wesentlichen dieselbe Weise wie bei der vierten Ausführungsform erhalten, mit der Ausnahme, daß ihre Koordinaten durch die Minimalwertposition des Augenbrauenblocks 43 als Bezugsposition festgelegt werden. Auf der Grundlage der jeweiligen Koordinatenwerte mißt dann der Entfernungsmeßabschnitt 73 jeweilige Entfernungen 47a, 47b, 47c zwischen der Bezugsposition 46 und den Augenrepräsentationspositionen 37a, 37b, 37c (vgl. Fig. 23), die von dem Augenrepräsentationspositionsdetektor 74 festgestellt werden.

Der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges erfaßt den geöffneten oder geschlossenen Zustand von Augen auf der Grundlage der Beziehungen zwischen den so erhaltenen Entfernungen 47a bis 47c. Wie unter Bezugnahme auf die in den Fig. 24A und 24B gezeigten Lehren festgestellt werden kann, zeigt dann, wenn die Augen einer Person geöffnet sind, die Entfernung 47a eine extreme Differenz gegenüber den übrigen Entfernungen 47b, 47c in einem entsprechenden, blockgewandelten Bild; wenn die Person die Augen schließt, so gibt es im wesentlichen keine extreme Differenz zwischen der Entfernung 45a und den anderen Entfernungen 47b, 47c. Daher ist es auch bei der vorliegenden Ausführungsform möglich, eine Erfassung des geöffneten oder geschlossenen Zustands der Augen mit höherer Genauigkeit durchzuführen, selbst wenn die Augenbrauenbilder eine unterschiedliche Form bei möglichen Änderungen der Gesichtsfeldaufnahmebedingungen zeigen.

Die fünfte Ausführungsform kann so abgeändert werden, daß die Bezugsposition ein Punkt in der Mitte oder im Zentrum von Augenbrauenbildblöcken 43 entlang der Gesichtslänge ist, statt die Minimalwertposition der Blöcke wie bei der fünften Ausführungsform. Eine derartige Anordnung wird nachstehend als eine sechste Ausführungsform der Erfindung beschrieben. Wie aus Fig. 26 hervorgeht, nimmt die Augenbrauenbezugspositions- Einstellvorrichtung 76 (sh. Fig. 19) als Bezugsposition 48 einen Punkt in der Mitte eines Augenbrauenbildblockes 43 entlang der Länge des Gesichts. Hierbei werden der Maximalwert 37a und die Koordinatenwerte von Augenrepräsentationspositionen 37b, 37c eines Augenbildes ebenfalls im wesentlichen auf dieselbe Weise wie bei der fünften Ausführungsform erhalten, abgesehen von der Tatsache, daß ihre Koordinaten so festgelegt werden, daß die Zentrumsposition des Augenbrauenblocks 43 die Bezugsposition darstellt. Der Entfernungsmeßabschnitt 73 mißt dann auf der Grundlage der jeweiligen Koordinatenwerte jeweilige Entfernungen 49a, 49b, 49c zwischen der Bezugsposition 46 und den Augenrepräsentationspositionen 37a, 37b, 37c (sh. Fig. 23), die von dem Augenrepräsentationspositionsdetektor 74 festgestellt werden.

Der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges erfaßt den geöffneten oder geschlossenen Zustand der Augen auf der Grundlage der Beziehung zwischen den so erhaltenen Entfernungen 49a bis 49c. Wie unter Berücksichtigung der Lehren der Fig. 24A und 24B festgestellt werden kann, zeigt dann, wenn die Augen einer Person geöffnet sind, die Entfernung 49a eine extreme Differenz in Bezug auf die übrigen Entfernungen 49b, 49c; wenn andererseits die Person die Augen schließt, so gibt es keine extreme Differenz zwischen der Entfernung 49a und den anderen Entfernungen 49b, 49c. Daher kann auch diese Ausführungsform eine exakte Erfassung des geöffneten/geschlossenen Zustands der Augen durchführen, selbst wenn sich die Form der Augenbrauenbilder bei möglichen Änderungen der Gesichtsbildaufnahmebedingungen ändert.

Ein Gesichtsbildprozessor gemäß einer siebten Ausführungsform der Erfindung ist in Fig. 27 gezeigt. Während die zweite bis sechste Ausführungsform den geöffneten/geschlossenen Zustand der Augen dadurch ermitteln, daß die relative Positionsbeziehung zwischen einem Augenbrauenbildblock und dem zugehörigen Augenbild untersucht wird, ist die siebte Ausführungsform so ausgebildet, daß auch mit dem Augenbild zusammen mit dem Augenbrauenblock eine Blockbearbeitung durchgeführt wird, wodurch der geöffnete/geschlossene Zustand der Augen dadurch ermittelt werden kann, daß Variationen ihres Flächenverhältnisses untersucht werden. Die in Fig. 27 gezeigte Anordnung ist ähnlich der Anordnung von Fig. 2, wobei der Relativpositionsdetektor 7 durch eine Reihenschaltung eines Augenbrauenbildblock-Bearbeitungsabschnitts 75, eines Augenbild-Berechnungsabschnitts 77, eines Flächenerfassungsabschnitts 78 und eines Flächenverhältnisberechnungsabschnitts 79 ersetzt ist. Der Augenbrauenbildblockprozessor 75 und der Augenbildblockprozessor 77 führen eine Blockumwandlungsbearbeitung für ein Augenbrauenbild bzw. ein Augenbild durch, im wesentlichen auf dieselbe Weise wie voranstehend geschildert, wodurch ein Augenbrauenbildblock 43 und ein zugehöriger, entsprechender Augenbildblock 50 zur Verfügung gestellt werden, wie in Fig. 28 gezeigt ist.

Dann stellt der Flächendetektor 78 die exakte Fläche jedes Blocks auf der Grundlage der Koordinatenwerte jeweiliger "blockförmiger" Bildabschnitte fest. Die festgestellte Fläche ("51a" in Fig. 28) des Augenbrauenblocks 43 bleibt im wesentlichen konstant, unabhängig von dem geöffneten oder geschlossenen Zustand eines Auges, wogegen die Fläche ("51b" in Fig. 28) des Augenblocks 50 sich ändern kann, abhängig von dem geöffneten/geschlossenen Zustand des Auges. Die Flächenverhältnisberechnungsvorrichtung 79 berechnet dann das Flächenverhältnis der Blöcke 43 und 51. Der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges erfaßt den geöffneten/geschlossenen Zustand des Auges durch Untersuchung von Änderungen des Flächenverhältnisses.

Die vorliegende Ausführungsform arbeitet folgendermaßen. Der Augenbildblockprozessor 77 wandelt das Augenbild 16 (vgl. Fig. 7) in ein entsprechendes Bildblockmuster um, im wesentlichen auf dieselbe Weise wie bei dem Augenbrauenbildblockprozessor 75, wodurch der sich ergebende Block ein Augenblock 50 wird. Der Flächendetektor 78 berechnet die Fläche jedes der Augenbrauen- und Augenblöcke 43 bzw. 50, wie durch "51a" bzw. "51b" in Fig. 28 dargestellt.

Dann berechnet die Flächenverhältnisberechnungsvorrichtung 79 das Verhältnis der Augenfläche 51b zur Augenbrauenfläche 51a. Auf der Grundlage von Änderungen dieses Flächenverhältnisses ermittelt dann der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges den geöffneten oder geschlossenen Zustand eines betreffenden Auges. Wie aus den Fig. 29A und 29B hervorgeht, ist das Flächenverhältnis kleiner, wenn das Auge geschlossen ist, als wenn es geöffnet ist. Daher ist es bei dieser Ausführungsform möglich, eine exakte Erfassung des geöffneten oder geschlossenen Zustands der Augen selbst dann durchzuführen, wenn sich die Form der Augenbrauen- und Augenbilder bei möglichen Änderungen der Gesichtsbildaufnahmebedingungen ändert.

Ein Gesichtsbildprozessor gemäß einer achten Ausführungsform der Erfindung ist in Fig. 30 gezeigt. Während die siebte Ausführungsform den geöffneten/geschlossenen Zustand von Augen durch Untersuchung von Variationen des Flächenverhältnisses der Augenbrauen- und Augenbildblöcke feststellt, ist die achte Ausführungsform so ausgebildet, daß diese Erfassung auf der Grundlage von Variationen des Verhältnisses der Breite des Augenbrauenblocks entlang der Länge des Gesichts und der Breite des Augenblocks durchgeführt wird.

Die achte Ausführungsform, die in Fig. 30 gezeigt ist, ist ähnlich jener von Fig. 27, wobei der Flächendetektor 78 und die Flächenverhältnisberechnungsvorrichtung 79 durch einen Blockbreitenmeßabschnitt 80 und einen Breitenverhältnisberechnungsabschnitt 81 ersetzt sind. Der Abschnitt 80 wird dazu verwendet, die Breite jedes der Augenbrauenblöcke 43 und der Augenblöcke 50 entlang der Länge des Gesichtes zu messen. Der Abschnitt 81 dient zur Berechnung des Verhältnisses der Breiten der Augenbrauen- und Augenblöcke 43 bzw. 50.

Die vorliegende Ausführungsform arbeitet wie folgt. Nach Empfang des Augenbrauenblocks 43 und des Augenblocks 50, die wie in Fig. 31 erfaßt wurden, mißt der Blockbreitenmeßabschnitt 80 die Breiten 53, 54 jeweiliger Blöcke entlang der Länge des Gesichts auf der Grundlage von deren Koordinatenwerten. Die Breitenverhältnisberechnungsvorrichtung 81 berechnet dann das Verhältnis der Augenbreite 54 zur Augenbrauenbreite 53.

Der Detektor 8 für den geöffneten/geschlossenen Zustand des Auges erfaßt den geöffneten oder geschlossenen Zustand von Augen auf der Grundlage von Änderungen des Breitenverhältnisses. Aus den Fig. 32A und 32B wird deutlich, daß das Breitenverhältnis kleiner ist, wenn das Auge geschlossen ist, als wenn dieses geöffnet ist. Dies führt dazu, daß auch diese Ausführungsform eine exakte Erfassung des geöffneten/geschlossenen Zustands der Augen durchführen kann, selbst wenn sich die Form der Augenbrauenbilder bei möglichen Änderungen der Gesichtsbildaufnahmebedingungen ändert.

Wie voranstehend geschildert kann durch die vorliegende Erfindung die Erfassung des geöffneten/geschlossenen Zustands der Augen einer Person erfolgreich sowohl in Bezug auf die Genauigkeit als auch die Verläßlichkeit verbessert werden, infolge der Tatsache, daß diese Erfassung auf der Erfassung der Positionsbeziehung zumindest eines Augenbrauenbildes und eines zugehörigen, entsprechenden Augenbildes beruht, wobei das Augenbrauenbild natürlicherweise im Zustand unverändert bleiben kann, und seine Position einfach feststellbar ist, sobald das zugeordnete Augenbild erfaßt wurde.

Zwar wurde die Erfindung im einzelnen unter Bezugnahme auf ihre bevorzugten Ausführungsformen gezeigt und beschrieben, jedoch wird Fachleuten auf diesem Gebiet deutlich werden, daß sich die voranstehenden und weitere Änderungen der Form und Einzelheiten vornehmen lassen, ohne vom Wesen und Umfang der Erfindung abzuweichen.

Claims (11)

1. Gesichtsbild-Verarbeitungssystem mit:
einer Eingabevorrichtung, um ein Eingangsbild zu erhalten, welches ein Gesicht einer Person darstellt;
einer Augenheraus ziehbereichs-Einstellvorrichtung zur Bestimmung eines Augenherausziehbereiches innerhalb des Eingangs-Gesichtsbilds;
einer Herausziehvorrichtung zum Herausziehen erster und zweiter Bildabschnitte aus dem Augenherausziehbereich, wobei die ersten und zweiten Bildabschnitte einem Augenbrauenbild bzw. einem Augenbild entsprechen;
einer ersten Detektorvorrichtung zur Erfassung von Relativpositionen der herausgezogenen ersten und zweiten Bildabschnitte; und
einer zweiten Detektorvorrichtung zur Erfassung eines geöffneten oder geschlossenen Zustands des Augenbilds durch Untersuchung von Variationen der erfaßten Relativpositionen.

2. System nach Anspruch 1, dadurch gekennzeichnet, daß die erste Detektorvorrichtung Variationen der Relativpositionen des Augenbrauenbildes und des Augenbildes auf der Grundlage von Änderungen der Entfernung zwischen diesen Bildern feststellt.

3. System nach Anspruch 1, dadurch gekennzeichnet, daß die erste Detektorvorrichtung aufweist:
eine Bezugspositions-Einstellvorrichtung zur Einstellung einer Bezugsposition des Augenbrauenbildes entlang der Länge des Gesichts;
eine Augeneigenschaftspositionsdetektorvorrichtung zur Erfassung eines Maximalwertes eines Punktes in der Mitte des Augenbildes entlang der Länge des Gesichts und einer Position zumindest eines repräsentativen Punktes des Augenbildes entlang der Länge des Gesichts; und
eine Entfernungsmeßvorrichtung zur Messung einer Entfernung zwischen der Bezugsposition und dem repräsentativen Punkt.

4. System nach Anspruch 1, dadurch gekennzeichnet, daß die erste Detektorvorrichtung aufweist:
eine Schwerpunktdetektorvorrichtung zur Erfassung jeweiliger Zentren des Augenbrauenbildes und des Augenbildes entlang der Breite des Gesichts; und
eine Entfernungsmeßvorrichtung zur Messung einer Entfernung zwischen den Zentren des Augenbrauenbildes und des Augenbildes, die auf die voranstehend geschilderte Weise erfaßt wurden.

5. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Augenherausziehbereichs-Einstellvorrichtung aufweist:
eine Digitalisierungsvorrichtung zum Digitalisieren des Eingangs-Gesichtsbildes zur Bereitstellung eines entsprechenden binären Bildes, und zur Bestimmung eines Augenherausziehbereiches innerhalb des binären Bildes.

6. Gesichtsbild-Bearbeitungssystem mit:
einer Gesichtsbild-Eingabevorrichtung zur Bereitstellung eines Eingangs-Gesichtsbildes eines überwachten Gesichts;
einer Augenheraus ziehbereichs-Einstellvorrichtung zur Einstellung eines Augenherausziehbereiches innerhalb eines Eingangs-Gesichtsbilds;
einer Gesichtsbild-Eigenschaftsherausziehvorrichtung zum Herausziehen erster und zweiter Bildabschnitte entsprechend einem Augenbrauenbild und einem Augenbild aus dem Augenherausziehbereich;
einer Flächendetektorvorrichtung zur Erfassung von Flächen des herausgezogenen Augenbrauenbilds und des herausgezogenen Augenbilds;
einer Flächenverhältnisberechnungsvorrichtung zur Verwendung der genannten Flächen zur Berechnung eines Flächenverhältnisses zwischen dem Augenbrauenbild und dem Augenbild; und
einer Detektorvorrichtung zur Erfassung des Ausmaßes eines geöffneten oder geschlossenen Zustands eines Auges auf der Grundlage von Änderungen des Flächenverhältnisses, welches von der Flächenverhältnisberechnungsvorrichtung berechnet wird.

7. Vorrichtung nach Anspruch 6, gekennzeichnet durch:
eine Vorrichtung zur Umwandlung sowohl des Augenbrauenbildes als auch des Augenbildes in entsprechende Blockabschnitte, die jeweils einen Rahmen mit einer festgelegten Fläche aufweisen, und zur Bereitstellung von Augenbrauen-Bildblöcken und Augen-Bildblöcken; und
wobei die Flächendetektorvorrichtung die Fläche jedes der Augenbrauen-Bildblöcke und der Augen-Bildblöcke feststellt.

8. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Augenherausziehbereichs-Einstellvorrichtung aufweist:
eine Digitalisierungsvorrichtung zum Digitalisieren des Eingangs-Gesichtsbildes zur Bereitstellung eines entsprechenden binären Bildes, und zur Bestimmung eines Augenherausziehbereiches innerhalb des binären Bildes.

9. Gesichtsbild-Bearbeitungsvorrichtung mit:
einer Gesichtsbild-Eingabevorrichtung zur Bereitstellung eines Eingangs-Gesichtsbildes eines überwachten Gesichts;
einer Augenherausziehbereichs-Einstellvorrichtung zur Einstellung eines Augenherausziehbereiches innerhalb des Eingangs-Gesichtsbilds;
einer Gesichtsbild-Eigenschaftsherausziehvorrichtung zum Herausziehen eines Augenbrauenbildes und eines Augenbildes aus dem Augenherausziehbereich;
einer Meßvorrichtung zur Messung einer Breite bestimmter Abschnitte sowohl des Augenbrauen- als auch Augenbildes entlang der Länge des Gesichts;
einer Berechnungsvorrichtung zur Berechnung eines Breitenverhältnisses zwischen der Breite des Augenbrauenbildes und der Breite des Augenbildes; und
einer Detektorvorrichtung zur Erfassung eines geöffneten oder geschlossenen Zustands eines Auges auf der Grundlage von Änderungen des Breitenverhältnisses, welches von der Berechnungsvorrichtung berechnet wird.

10. Vorrichtung nach Anspruch 9, gekennzeichnet durch:
eine Vorrichtung zur Umwandlung sowohl des Augenbrauenbildes als auch des Augenbildes in entsprechende Blockabschnitte, die jeweils einen Rahmen mit fester Fläche aufweisen, und zur Bereitstellung von Augenbrauen-Bildblöcken und Augen-Bildblöcken; und
eine Breitenmeßvorrichtung zur Messung der Breite sowohl der Augenbrauen-Bildblöcke als auch der Augen-Bildblöcke entlang der Länge des Gesichts.

11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Augenherausziehbereichs-Einstellvorrichtung aufweist:
eine Digitalisierungsvorrichtung zum Digitalisieren des Eingangs-Gesichtsbildes zur Bereitstellung eines entsprechenden binären Bildes, und zur Festlegung eines Augenherausziehbereiches innerhalb des binären Bildes.