DE4417762C1 - Vorrichtung und Verfahren zum Projizieren und Empfangen von Bildinformation mittels eines Bildschirms - Google Patents

Description

Die Erfindung betrifft eine Vorrichtung zum Projizieren von Bildinformation mit mindestens einem Bildschirm, auf dem die Bildinformation mittels einer Vielzahl von einzelnen Lichtpunkten darstellbar ist, wobei die Lichtpunkte im wesentlichen durch die einen Enden von Lichtwellenleitern gebildet sind, deren anderes Ende mit einer Projektionseinrichtung verbunden ist, die das zur Darstellung der Bildinformation jeweils erforderliche Licht in die Lichtwellenleiter einspeist. Darüber hinaus betrifft die Erfindung ein Verfahren zur Projektion von Bildinformation auf vor den Augen eines Betrachters angeordnete Bildschirme unter Nutzung der erfindungsgemäßen Vorrichtung.

Vorrichtungen der eingangs genannten Art werden beispielsweise zum Projizieren von Bildern in sog. "Virtual-Reality"-Systemen benutzt. Bei diesen Systemen trägt der Betrachter einen Helm, in dem unmittelbar vor seinen Augen jeweils ein Bildschirm angeordnet ist. Auf diese Bildschirme werden über Lichtwellenleiter Bilder projiziert, wobei die den Bildschirmen zugeordneten Enden der Lichtwellenleiter als Lichtpunkte rasterförmig gleichmäßig auf der Bildschirmfläche angeordnet sind. Die Gesamtheit der Bildpunkte ergibt, vergleichbar mit LCD- Bildschirmen, ein vollständiges Bild. Neben der Anwendung in Virtual-Reality-Systemen werden die eingangs genannten Vorrichtungen auch als Monitor in Verbindung mit einem Computer, Fernsehempfänger etc. eingesetzt.

Den genannten Anwendungen gemeinsam ist, daß es bei ihnen oftmals wünschenswert ist, Informationen über den Betrachter, wie z. B. seine Augenbewegung oder seine Annäherung an den Bildschirm, zu erhalten. Dies gilt insbesondere dann, wenn derartige Vorrichtungen zur Diagnose oder Therapie von Menschen mit einem Sehfehler eingesetzt werden.

Aus der Praxis ist es bekannt, z. B. bei einer Verwendung der eingangs genannten Vorrichtung im medizinisch- therapeutischen Bereich, die Augenbewegung mittels einer Infrarot-CCD-Kamera zu erfassen. Die Kamera ist dabei mit einer Auswerteinrichtung verbunden, welche aus dem von der Kamera gelieferten Bild die Stellung der Sehachse des betreffenden Auges ermittelt. Derartige Kameras und Auswerteinrichtungen haben sich im praktischen Einsatz bewährt. Ihr Nachteil besteht jedoch in ihrer Größe, ihrem Gewicht und ihrer stets erforderlichen Anordnung seitlich vom Auge. Diese Nachteile machen sich insbesondere dann bemerkbar, wenn die Kamera mit den Bildschirmen in einem von einer Person getragenen Helm montiert ist. Darüber hinaus ist in vielen Fällen eine Lichtquelle erforderlich, die das beobachtete Auge beleuchtet. Diese zusätzliche Lichtquelle wird vom Betrachter häufig als störend bei der Betrachtung der Bildschirme empfunden. Schließlich steht die Vielzahl der bei den bekannten Systemen erforderlichen Bauelemente einer Miniaturisierung derartiger Systeme entgegen.

Eine zum Erfassen der Blickrichtung einer Person bestimmte Vorrichtung der voranstehend erwähnten Art ist beispielsweise aus der deutschen Offenlegungsschrift 40 37 907 A1 bekannt. Die bekannte Vorrichtung ist insbesondere zum Einsatz in Videokameras zur automatischen Bestimmung der Bildschärfe anhand der jeweiligen Blickrichtung des Benutzers der Kamera bestimmt. Zu diesem Zweck wird bei der bekannten Vorrichtung über ein optisches System Infrarotlicht als paralleles Lichtstrahlenbündel auf das den Sucher der Kamera betrachtende Auge des Kamerabenutzers über ein optisches System projiziert. Das vom Auge reflektierte Infrarotlicht wird über ein weiteres, mit der Sucheroptik der Kamera verkoppeltes optisches System auf einen Infrarotlicht empfindlichen CCD-Zeilensensor geleitet. Das Ausgangssignal des CCD-Zeilensensors wird dann einer Auswerteinrichtung zugeführt. Die Auswertungseinrichtung unter Berücksichtigung der zwischen der visuellen Achse des Kamerasuchers und der jeweiligen Sehachse des beobachteten Auge bestehenden Winkeldifferenz den Sichtbereich auf den der Benutzer der Kamera in den Sucher schaut. Auf diese Weise bestimmt sie das Objekt im Sucher der Kamera, auf welches die Bildschärfe der Kamera eingeregelt werden soll. Nachteilig an dem voranstehend erläuterten bekannten Blickerfassungssystem ist, daß schon aufgrund der für die Projizierung des Infrarotlichtes auf das beobachtete Auge und die Umleitung des von dem Auge reflektierten Lichtes benötigten optischen Bauelemente die bekannte Vorrichtung einen erheblichen Bauraum beansprucht. Darüberhinaus wird, wie schon voranstehend erwähnt, die Beleuchtung des Auges durch eine Infrarotlichtquelle von vielen Benutzern einer mit einer derartigen Blickerfassungsvorrichtung ausgestatteten Kamera als störend empfunden.

Neben Blickerfassungssystemen der voranstehend erläuterten Art sind Lichtwellenleiter, die zur Übertragung von Bildinformationen geeignet sind, ebenfalls schon aus der Praxis bekannt. So wird beispielsweise in der Europäischen Patentanmeldung EP 0 064 899 A2 ein Lichtwellenleiterkabel beschrieben, in dem eine Vielzahl von Glasfasern angeordnet sind. Desweiteren wird in dieser Druckschrift erläutert, daß es möglich ist, über ein entsprechendes optisches System ein Bild in das bekannte Lichtwellenleiterkabel einzuspeisen. Über die einzelnen Lichtwellenleiter wird das betreffende Bild übertragen, und mittels eines weiteren optischen Systems auf eine Mattscheibe projiziert, welche beispielsweise vor dem Auge eines Betrachters angeordnet sein kann.

Die Aufgabe der Erfindung besteht darin, eine Vorrichtung zu schaffen, die es ermöglicht, den Betrachter von Bildschirmen einer Vorrichtung der eingangs genannten Art mit einfachen Mitteln zu beobachten, insbesondere die Sehachse und die Bewegung seiner Augen zu erfassen.

Diese Aufgabe wird erfindungsgemäß dadurch gelöst, daß die Enden einer bestimmten Anzahl der Lichtwellenleiter anstelle der Projektionseinrichtung mit jeweils einem lichtempfindlichen Sensor einer Empfangseinrichtung verbunden sind, welche an eine Auswerteinrichtung angeschlossen ist, die aus den Signalen der Empfangseinrichtung die Stellung des den Schirm betrachtenden Auges ermittelt.

Gemäß der Erfindung dient während des Projizierens der Bildinformation ein Teil der Lichtwellenleiter nicht zum Übertragen von Licht zu dem Bildschirm, sondern diese Lichtwellenleiter übertragen das in sie einfallende, beispielsweise vom Gesicht oder Auge des Betrachters reflektierte Licht an eine Empfangseinrichtung. Diese Empfangseinrichtung weist lichtempfindliche Sensoren auf und ist als solche mit einer Chip-Kamera vergleichbar.

Dementsprechend liefert die Empfangseinrichtung eine Bildinformation über den Betrachter des Schirms. Um diese Information zu erhalten, ist es nicht mehr, wie noch beim Stand der Technik, notwendig, von Gewicht und Bauraum her große, selbständige Kameras zu verwenden. Statt dessen kann die Empfangseinrichtung klein in ihren Abmaßen und abgesetzt von den Bildschirmen an einem nicht störenden Ort plaziert werden. Auch ist keine zusätzliche Beleuchtung mehr notwendig, da der Bildschirm selbst ausreichend viel Licht zur Beleuchtung des Betrachters liefert.

Die Zahl der mit der Empfangseinrichtung verbundenen Lichtwellenleiter kann fest vorgegeben sein. In diesem Fall sollten die dem Bildschirm zugeordneten Enden der mit der Empfangseinrichtung verbundenen Lichtwellenleiter in regelmäßigen Abständen angeordnet sein, wobei die Größe der Abstände sich aus der Anzahl der mit der Empfangseinrichtung verbundenen Lichtwellenleiter bezogen auf die Anzahl der mit der Projektionseinrichtung verbundenen Lichtwellenleiter ergibt. Bei einer derart rasterförmigen Anordnung liefert die erfindungsgemäße Vorrichtung eine leicht zu einem Gesamtbild zusammensetzbare Bildinformation.

Alternativ können die Lichtwellenleiter wahlweise mit der Projektionseinrichtung oder den Sensoren der Empfangseinrichtung verbindbar sein. Dies ist immer dann sinnvoll, wenn nicht der gesamte Bildschirm, sondern nur der den für die jeweilige Anwendung wichtigsten Ausschnitt der Ansicht des Betrachters liefernde Teil des Bildschirms zur Beobachtung des Betrachters eingesetzt werden soll.

Eine Störung des auf dem Bildschirm dargestellten Bildes durch nicht erleuchtete, weil mit der Empfangseinrichtung verbundene Lichtwellenleiter, läßt sich dadurch vermeiden, daß die Lichtwellenleiter in Abhängigkeit von der Stärke oder Farbe des in den jeweiligen Lichtwellenleiter einzuspeisenden Lichtes mit der Projektions- oder der Empfangseinrichtung verbindbar sind. Bei dieser Ausgestaltung der Erfindung werden die Lichtwellenleiter, in die kein oder nur sehr wenig Licht eingespeist worden ist und deren zugehörige Lichtpunkte daher schwarz erscheinen, zum Übertragen des vom Gesicht des Betrachters reflektierten, in sie fallenden Lichtes zu der Empfangseinrichtung verwendet. Darüber hinaus ist es auch möglich, eine Störung des dargestellten Bildes dadurch zu vermeiden, daß jeweils diejenigen Lichtwellenleiter mit der Empfangseinrichtung verbindbar sind, deren dem Bildschirm zugeordnetes Ende jeweils außerhalb des jeweiligen Sichtfeldes des Betrachters liegen.

Bei entsprechend schnellen, vom Auge nicht wahrgenommenen Wechselzeiten ist es auch möglich, eine Beeinträchtigung des auf dem Bildschirm dargestellten Bildes dadurch zu vermeiden, daß die Lichtwellenleiter in wechselnder Folge mit der Projektionseinrichtung und der Empfangseinrichtung verbindbar sind. In einem solchen Fall läßt sich gegebenenfalls der gesamte Bildschirm zur Beobachtung ausnutzen, was insbesondere zur ersten Ermittlung der Position der Sehachse vor der eigentlichen Inbetriebnahme der Vorrichtung ausgenutzt werden kann.

Darüber hinaus ist es auch möglich, ausschließlich oder ergänzend zu dieser und anderen Formen der Ausnutzung der Lichtwellenleiter zum Leiten von empfangenem Licht jeweils fest vorgegebene Bereiche, insbesondere den Randbereich des Bildschirms, zur Beobachtung des Auges zu nutzen.

Die erfindungsgemäße Vorrichtung kann zwei Bildschirme aufweisen, die vor den beiden Augen eines Betrachters positionierbar sind. Dies ermöglicht die getrennte Beobachtung der beiden Augen des Betrachters. Diese Möglichkeit der getrennten Beobachtung der Augen ermöglicht eine Verwendung der erfindungsgemäßen Vorrichtung zur Diagnose und Therapie im Bereich der Medizin. Diese Anwendungsmöglichkeit kann dadurch noch erweitert werden, daß die Empfangseinrichtung mit einer Auswerteinrichtung verbunden ist, die aus dem Signal der Sensoren der Empfangseinrichtung die Stellung des den Schirm betrachtenden Auges ermittelt. Gleiches gilt, wenn die Projektionseinrichtung mit einer Bilderzeugungseinrichtung verbunden ist, die jeweils ein der jeweiligen Augenstellung entsprechendes Bild für jeden der Bildschirme erzeugt. Mit einer derart ausgestalteten Vorrichtung ist es beispielsweise möglich, schielenden oder von einer unwillkürlichen, nicht kontrollierbaren Augenbewegung betroffenen Menschen Bilder derart auf die vor ihren Augen angeordneten Bildschirme zu projizieren, daß im Fall eines schielenden Menschen dieser den Eindruck stereoskopischer Bilder erhält, wie sie ein Mensch mit normalen Sehempfinden wahrnimmt, oder daß im Fall eines von unwillkürlichen Augenbewegungen betroffenen Menschens dieser nicht mehr unter der subjektiv empfindenden Bewegung seiner Umwelt leidet.

Sollen die Augenbewegungen eines Menschen beobachtet werden, so kann eine dauerhafte, unterbrechungsfreie Beobachtung bei Anordnung jeweils eines der Bildschirme der erfindungsgemäßen Vorrichtung vor den Augen der zu beobachtenden Person auf vorteilhafte Weise dadurch bewerkstelligt werden, daß in einem ersten Schritt die Position des nicht sehenden blinden Flecks eines jeden der Augen ermittelt und anschließend die Lichtwellenleiter derjenigen Lichtpunkte, die unter Berücksichtigung der Blickrichtung des jeweiligen Auges von diesem Auge nicht wahrgenommen werden, mit ihrem von dem Bildschirm abgewandten Ende mit der Empfangseinrichtung verbunden werden. Dabei sollte, um eine Störung des von dem Betrachter wahrgenommene Bildes zu vermeiden, die durch die für die Verarbeitung der Bildinformation und das Erzeugen neuer Bilder benötigte Zeit verursacht wird, die Anzahl der mit der Empfangseinrichtung verbundenen Lichtwellenleiter stets kleiner sein, als die Anzahl der Lichtpunkte, die zur Bildung einer der Größe des blinden Flecks entsprechenden Bildfläche auf dem Bildschirm benötigt wird. Auf diese Weise lassen sich Überschneidungen von dem noch nicht nachgeführten Bereich der Lichtpunkt-Fläche, deren Lichtwellenleiter noch mit der Empfangseinrichtung verbunden sind, mit dem Sichtfeld des Betrachters sicher vermeiden.

Nachfolgend wird die Erfindung anhand einer ein Ausführungsbeispiel der Erfindung zeigenden Zeichnung näher erläutert. Die Figur zeigt schematisch den Aufbau einer erfindungsgemäßen Vorrichtung.

Bildschirme 1, 2 sind in einem nicht gezeigten, auf den Kopf einer Person mit einem durch Schielen verursachten Sehfehler aufgesetzten Helm oder einer entsprechenden Brille angeordnet, wobei die Bildschirme 1, 2 vor den Augen A1, A2 der Person positioniert sind. Jeder der Bildschirme 1, 2 weist eine Vielzahl rasterförmig angeordneter Lichtpunkte 3, 4, 5 auf, die im wesentlichen durch die Enden von Lichtwellenleitern 6, 7, 8 gebildet werden. Mit ihrem anderen Ende sind die Lichtwellenleiter 6, 7, 8 an optische Umschalteinrichtungen 9 angeschlossen. Mittels dieser Umschalteinrichtungen 9 ist es möglich, die Lichtwellenleiter 6, 7, 8 mit einer Projektionseinrichtung 10 oder einer Empfangseinrichtung 11 zu verbinden.

Die Projektionseinrichtung 10 weist optoelektrische Elemente 12 auf, über die Licht in die Lichtwellenleiter 6, 7, 8 derart einspeisbar ist, daß auf den Bildschirmen 1, 2 ein vom Betrachter als Einheit wahrgenommenes Gesamtbild entsteht. Die Empfangseinrichtung 11 dagegen weist lichtempfindliche Sensoren 13 auf, die das von den Augen A1, A2 in die Lichtwellenleiter reflektierte Licht in elektrische Signale umwandeln. Diese Signale werden an eine Auswerteinrichtung 14 geliefert, die aus den Signalen die Stellung der Sehachse des jeweiligen Auges A1, A2 ermittelt.

Unter Berücksichtigung des Ergebnisses dieser Auswertung erzeugt eine an die Auswerteinrichtung 14 angeschlossene Bilderzeugungseinrichtung 15 Bildinformationen unter Verwendung von Bildern, die beispielsweise von einem Videorecorder 16 stammen. Dabei werden die Bilder derart für die Bildschirme 1, 2 umgerechnet, daß der Betrachter einen Bildausschnitt wahrnimmt, der demjenigen Bildausschnitt entspricht, den ein Betrachter ohne Sehstörung sehen würde. Die erzeugten Bilder werden von der Projektionseinrichtung 10 auf die Bildschirme 1, 2 projiziert. Neben der Bilderzeugungseinrichtung 15 wird das Ergebnis der Auswertung durch die Auswerteinrichtung 14 auch an die Umschaltvorrichtungen 9 übermittelt.

Die erfindungsgemäße Vorrichtung arbeitet wie folgt:
Nachdem der Helm mit den Schirmen 1, 2 auf den Kopf des Betrachters gesetzt worden ist, wird durch eine Anzahl von Versuchen die Position des blinden, nicht sehenden Flecks für jedes der Augen A1, A2 des Betrachters ermittelt. Der Ort dieses Fleckes wird in der Umschaltvorrichtung 9 als Bildschirmkoordinaten gespeichert. Im folgenden projiziert dann die Projektionsvorrichtung 10 Bildinformation über die Lichtwellenleiter 6, 7, 8 auf die Bildschirme 1, 2. Dabei verbindet die Umschaltvorrichtung 9 stets diejenigen Lichtwellenleiter mit der Empfangseinrichtung 11, die in einem Bereich des Bildschirms 1 bzw. 2 liegen, der von dem jeweiligen Auge A1, A2 wegen des blinden Flecks nicht wahrgenommen wird. Die Auswerteinrichtung 14 bestimmt aus den Signalen der Empfangseinrichtung 11 beständig die jeweilige Stellung der Augen A1, A2 und gibt die entsprechenden Werte an die Bilderzeugungseinrichtung 15 und die Umschalteinrichtungen 9 weiter. Die Bilderzeugungseinrichtung 15 erzeugt dementsprechende Bildinformationen für die Bildschirme 1, 2 während die Umschalteinrichtungen 9 unter Berücksichtigung des zuvor bestimmten Ortes des blinden Flecks des jeweiligen Auges A1, A2 die Lichtwellenleiter 5, 6, 7 mit der Projektionseinrichtung 10 oder der Empfangseinrichtung 11 verbindet. Treten Störungen der Wahrnehmung des Betrachters auf, die durch den für die Auswertung und Erzeugung der Bildinformation erforderlichen Zeitbedarf verursacht werden, so kann der Betrachter selbständig die Größe des für die Beobachtung der Augen A1, A2 verwendeten Bereich der Bildschirme 1, 2 verkleinern.

Claims (12)

1. Vorrichtung zum Projizieren von Bildinformation mit mindestens einem Bildschirm (1, 2), auf dem die Bildinformation mittels einer Vielzahl von einzelnen Lichtpunkten (3, 4, 5) darstellbar ist, wobei die Lichtpunkte (3, 4, 5) im wesentlichen durch die einen Enden von Lichtwellenleitern (6, 7, 8) gebildet sind, deren anderes Ende mit einer Projektionseinrichtung (10) verbunden ist, die das zur Darstellung der Bildinformation jeweils erforderliche Licht in die Lichtwellenleiter (6, 7, 8) einspeist, dadurch gekennzeichnet, daß die Enden einer bestimmten Anzahl der Lichtwellenleiter (6, 7, 8) anstelle der Projektionseinrichtung (10) mit jeweils einem lichtempfindlichen Sensor einer Empfangseinrichtung (11) verbunden sind, welche an eine Auswerteinrichtung (14) angeschlossen ist, die aus den Signalen der Empfangseinrichtung (11) die Stellung des den Schirm (1, 2) betrachtenden Auges (A1, A2) ermittelt.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß eine fest vorgegebene Anzahl an Lichtwellenleitern (6, 7, 8) mit der Empfangseinrichtung (11) verbunden ist.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die dem Bildschirm (1, 2) zugeordneten Enden der mit der Empfangseinrichtung (11) verbundenen Lichtwellenleiter (6, 7, 8) rasterförmig in regelmäßigen Abständen angeordnet sind, deren Größe sich aus der Anzahl der mit der Empfangseinrichtung (11) verbundenen Lichtwellenleiter (6, 7, 8) bezogen auf die Anzahl der mit der Projektionseinrichtung (10) verbundenen Lichtwellenleiter (6, 7, 8) ergibt.

4. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Lichtwellenleiter (6, 7, 8) wahlweise mit der Projektionseinrichtung (10) oder der Empfangseinrichtung (11) verbindbar sind.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Lichtwellenleiter (6, 7, 8) in Abhängigkeit von der Stärke oder Farbe des in den jeweiligen Lichtwellenleiter (6, 7, 8) einzuspeisenden oder eingespeisten Lichtes mit der Projektions- (10) oder der Empfangseinrichtung (11) verbindbar sind.

6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß jeweils diejenigen Lichtwellenleiter (6, 7, 8) mit der Empfangseinrichtung (11) verbindbar sind, deren dem Bildschirm (1, 2) zugeordnetes Ende außerhalb des jeweiligen Sichtfeldes des Betrachters liegen.

7. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Lichtwellenleiter (6, 7, 8) in abwechselnder Folge mit der Projektionseinrichtung (10) und der Empfangseinrichtung (11) verbindbar sind.

8. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß jeweils die einem fest vorgegebenen Bereich, insbesondere dem Randbereich, des Bildschirms (1, 2) zugeordneten Lichtwellenleiter (6, 7, 8) mit der Empfangseinrichtung (11) verbunden sind.

9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß sie zwei Bildschirme (1, 2) aufweist, die vor den beiden Augen (A1, A2) eines Betrachters positionierbar sind.

10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Projektionseinrichtung (10) mit einer Bilderzeugungseinrichtung (15) verbunden ist, die jeweils ein der jeweiligen Stellung der Augen (A1, A2) entsprechendes Bild für jeden der Bildschirme (1, 2) erzeugt.

11. Verfahren zur Projektion von Bildinformation auf vor den Augen (A1, A2) eines Betrachters angeordnete Bildschirme (1, 2) nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß
in einem ersten Schritt der nicht sehende blinde Fleck eines jeden der Augen (A1, A2) ermittelt und
anschließend die Lichtwellenleiter (6, 7, 8) derjenigen Lichtpunkte die unter Berücksichtigung der Blickrichtung des jeweiligen Auges (A1, A2) von diesem Auge nicht wahrgenommen werden, mit ihrem von dem Bildschirm (1, 2) abgewandten Ende mit der Empfangseinrichtung (11) verbunden werden.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß die Anzahl der mit der Empfangseinrichtung (11) verbundenen Lichtwellenleiter (6, 7, 8) stets kleiner ist, als die Anzahl der Lichtpunkte (3, 4, 5), die zur Bildung einer der Größe des blinden Flecks entsprechenden Bildfläche auf dem Bildschirm (1, 2) benötigt wird.