DE69411849T2 - Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens - Google Patents

Description

• Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens Beschreibung:
• Die Erfindung bezieht sich auf ein Verfahren zur Verarbeitung von Helligkeitsstufen in einem zusammengesetzten Bild mit einem Schritt zur Erstellung eines sogenannten digitalen Zielbildes (Iv) mit Hilfe von wenigstens zwei aneinandergrenzenden Bildteilen (Ivi, Ivj), die aus aneinandergrenzenden, sogenannten Quellbildern (Ii, Ij) mit fester Ausrichtung gebildet werden, die von einem System von n realen Festkameras geliefert werden, die so angeordnet sind, daß ihre jeweiligen Sehfelder sich so zusammenfügen, daß sie ein einziges weitwinkliges Sehfeld zur Aufnahme einer Panoramaszene bilden. Die Erfindung bezieht sich auch auf ein Bildverarbeitungssystem zur Ausführung dieses Verfahrens. Dieses Verfahren und System wird in Überwachungsgeräten und Panoramasuchern für bewegliche Maschinen angewendet.
• Ein Bildverarbeitungsverfahren ist bereits aus der Veröffentlichung "Boundary value problem of image modification, 2417, Optical Engineering, 31(1992), Februar, Nr. 2, Bellingham, WA, US" bekannt. Dieses Dokument beschreibt ein Verfahren mit Schritten zur Konstruktion eines zusammengesetzten Digitalbildes auf der Basis von drei aneinandergrenzenden Bildern, von denen jeweils zwei durch einen gemeinsamen Rand miteinander verbunden sind. Aufgrund verschiedener Aufnahmebedingungen weisen die drei Bilder insgesamt unterschiedliche Graustufen auf, so daß an den Grenzen, die mit den gemeinsamen Ränder zusammenfallen, "Nähte" erscheinen.
• Das bekannte Verfahren umfaßt einen Schritt, um eine Gruppe von 9 Pixeln des mittleren Bildes einer Gruppe von 9 Pixeln des linken Bildes sowie eine andere Gruppe von 9 Pixeln des mittleren Bildes einer Gruppe von 9 Pixeln des rechten Bildes entsprechen zu lassen, einen Schritt zur Bestimmung einer linken Entsprechungssfunktion (M) und einer rechten Entsprechungssfunktion (M), einen Schritt zur Bestimmung einer Bildkorrekturfunktion (T) und einem Schritt zur Anwendung der Bildkorrekturfunktion (T).
• Bei dem bekannten Verfahren wird der Entsprechungsschritt verwendet, um allen Randpunkten in Abhängigkeit von den Graustufen der entsprechenden Punkte Am Rand des nebenliegenden Bild neue Graustufen zuzuweisen. Zuerst nehmen die 9 Pixel am rechten bzw. linken Rand des mittleren Bildes die Graustufen der 9 Pixel am rechten und linken Rand der angrenzenden Bilder an. Dann nehmen die Punkte, die sich zwischen den neun an jedem Rand des mittleren Bildes ausgewählten Punkten befinden, eine Graustufe an, die anhand einer ersten und zweiten Entsprechungssfunktion M bezüglich der entsprechenden Ränder bestimmt wird. Die Entsprechungssfunktionen M sind Funktionen zur stückweisen linearen Interpolation.
• Dann werden pixelweise alle Pixel des mittleren Bildes - und zwar nur des mittleren Bildes - lokal korrigiert. Dazu liefert das Dokument eine von den Funktionen M unabhängige Determinante T, um durch lineare Interpolation in einem Dreieck die Graustufe und die Koordinaten der Spitzen dieses Dreiecks zu berechnen. Dieser Schritt wird durchgeführt, indem Spitzen des Dreiecks unter den selektierten Pixeln am linken und rechten Rand des mittleren Bildes ausgewählt werden. Die Anwendung der Determinante T ermöglicht es, durch Interpolation neue Graustufen für die Pixel x,y innerhalb der so im mittleren Bild gebildeten Dreiecke zu bestimmen. Die Bestimmung der Graustufen der übrigen Pixel im mittleren Bild erfolgt durch Bildung anderer Dreiecke zwischen den bereits verarbeiteten in diesem mittleren Bild, wobei man Spitzen an den Rändern des mittleren Bildes nimmt.
• In dem genannten Dokument werden das linke und das rechte Bild nie verändert; nur das mittlere Bild wird durch die lineare Interpolationsdeterminante T verändert, die die Ausbreitung der aus dem linken Bild stammenden Helligkeitsvorgaben mittels eines Systems für die Aufteilung der Fläche in erste Dreiecke und die Ausbreitung der aus dem rechten Bild stammenden Helligkeitsvorgaben mittels eines Systems für die Aufteilung der Fläche in zweite Dreiecke ermöglicht, die zu den ersten Dreiecken versetzt sind. So erhält das mittlere Bild eine Helligkeit, die lokal in diesen Dreiecken interpoliert ist, von links nach rechts und umgekehrt, um von der insgesamt unveränderten Helligkeit im linken Bild zur der insgesamt unveränderten Helligkeit im rechten Bild überzugehen. Jedes Pixel des mittleren Bildes erhält eine Helligkeit, die von den Koordinaten und jeweiligen Helligkeiten der drei Punkte des rechten und linken Bildes sowie von seinen eigenen Koordinaten und seiner eigenen Helligkeit im mittleren Bild abhängt. Die Determinante T ist keine Funktion der Entsprechungsgesetze M. Die Funktionen M liefern lediglich die Graustufen der Pixel an den Rändern des mittleren Bildes.
• Ein Bildverarbeitungssystem ist bereits aus der Patentanmeldung WO-A- 9214341 bekannt. Dieses Dokument beschreibt ein beim Fernsehen verwendetes Bildverarbeitungssystem. Dieses System umfaßt eine Sendestation mit einer Anzahl von Festkameras, die so nebeneinander angeordnet sind, daß ihre Sehfelder sich verbinden und ein weitwinkliges Sehfeld bilden. Dieses System umfaßt auch eine Verarbeitungsstation mit Mitteln zur Erzeugung eines Verbundvideosignals des dem weitwinkligen Sehfeld entsprechenden Gesamtbildes und Mittel zur Selektierung eines Teilbildes von diesem Verbundbild. Schließlich umfaßt dieses System auch Mittel zur Wiedergabe dieses Teilbildes, das heißt einen Monitor. Dieses Teilbild entspricht einem Sehfeld mit geringeren Winkel als dem des Verbundbildes, der als Teilabschnitt des weitwinkligen Sehfeldes bezeichnet wird.
• Dieses Bildverarbeitungssystem ist ausschließlich für herkömmliche Fernsehsysteme verwendbar, bei denen das Bild mit Hilfe eines zeilenweisen Abtastungsstrahls erzeugt wird.
• Die Verarbeitungsstation ermöglicht es dem Benutzer, die Wahl des Teilabschnitts des weitwinkligen Sehfeldes selbst vorzunehmen. Das entsprechende Teilbild hat die gleiche Größe wie das von einer einzelnen Kamera gelieferte Bild. Der Benutzer wählt dieses Teilbild aus, indem er den Anfangspunkt der Abtastung gegenüber dem Verbundbild, das dem weitwinkligen Sehfeld entspricht, verändert. Das weitwinklige Sehfeld hat eine zur Videoabtastung parallele Achse, was dazu führt, daß der Anfangspunkt der Videoabtastung des Teilbildes beliebig und kontinuierlich parallel zu dieser Achse verschoben werden kann.
• Der Winkels des Sehfeldes, dem das Teilbild entspricht, kann eventuell kleiner sein als der einer echten Kamera. Die Lokalisierung des Teilbildes beinhaltet jedoch keine vertikale Verschiebung der Abtastung; dessen Lokalisierung beinhaltet lediglich Verschiebungen parallel zu dieser Abtastung. Außerdem beinhaltet die Erzeugung des Teilbildes keinen Zoom-Effekt gegenüber dem Verbundbild, das heißt eine Fokusveränderung des Teilbildes gegenüber dem Fokus der Aufnahmekameras.
• Die Verarbeitungsstation umfaßt daher Mittel zur zeilenweisen Erzeugung eines ausgewählten Video-Teilbildes. Diese Mittel beinhalten im wesentlichen eine Schaltung zur Synchronisationssteuerung für die Videosignale der verschiedenen Kameras.
• Aufgabe der vorliegenden Erfindung ist es, das Problem zu lösen, das auftritt, wenn das Teilbild oder erzeugte Zielbild digital ist und aus wenigstens zwei aneinandergrenzenden digitalen Quellbildteilen berechnet wird, die jeweils von einer realen Aufnahmekamera geliefert werden, wobei diese beiden Kameras so angeordnet sind, daß sich ihre Sehfelder verbinden. In diesem Fall erscheint im Zielbild eine Grenzlinie zwischen den beiden aneinandergrenzenden Zielbildteilen, die aus zwei verschiedenen Quellbildern errechnet wurden. Dies liegt daran, daß jede der beiden realen Kameras ein Quellbild liefert, das insgesamt eine Helligkeit hat, die sich geringfügig von der des anderen unterscheidet, so daß die daraus entstehenden Zielbildteile ebenfalls unterschiedliche Helligkeiten haben.
• Dieser Helligkeitsunterschied zwischen den beiden Zielbildteilen, die aus den von den zwei nebeneinanderliegenden Kameras stammenden Quellbildern errechnet wurden, führt dazu, daß das wiederhergestellte Zielbild nicht perfekt ist.
• Diese Grenzlinie befindet sich auf dem Zielbild zwischen den Punkten, die aus den Punkten des Quellbildes der ersten Festkamera berechnet werden, und den Punkten, die aus den Punkten des Quellbildes der zweiten Festkamera berechnet werden.
• Wenn das Zielbild aus Bildpunkten von mehr als zwei Kameras erzeugt wird, gibt es soviele Grenzlinien wie Paare von nebeneinanderliegenden Kameras.
• Eine Aufgabe der vorliegenden Erfindung ist es, Mittel zu verschaffen, um die Gesamthelligkeit zwischen zwei aneinandergrenzenden digitalen Bildteilen eines Zielbildes auszugleichen, das aus digitalen Quellbildern erzeugt wird, die von zwei realen Festkameras geliefert werden, deren Sehfelder sich verbinden.
• Der Helligkeitsunterschied zwischen den beiden aneinandergrenzenden digitalen Quellbildern hat verschiedene Ursachen. Zunächst ist die Empfindlichkeit der realen Kameras für eine identische, empfangene Lichtleistung nicht gleich. Dies liegt an Streuungen bei den Konstruktionseigenschaften der Kameras. Dann empfangen die Kameras nicht die gleiche Lichtleistung, da sie nicht gleich auf die Lichtquelle der gefilmten Szene ausgerichtet sind. Jede Aufnahmekamera ist im allgemeinen mit einem System ausgestattet, das ihre Empfindlichkeit abhängig von der empfangenen Lichtleistung anpaßt. Da ja die empfangene Lichtleistung bei jeder Kamera unterschiedlich ist, ist auch die Empfindlichkeit unterschiedlich.
• Außerdem ist, selbst wenn jede Kamera eine hinsichtlich der Helligkeit völlig einheitliche Oberfläche aufnimmt, das Bild, das sie daraus bildet, nicht einheitlich, sondern zeigt einen Vignettierungseffekt. Es handelt sich dabei um eine Veränderung der Helligkeit im Bild, die im allgemeinen von der Mitte zu den Rändern hin abnimmt.
• Es kommt jedoch vor, daß zwei nebeneinanderliegende Pixel, die sich beiderseits der Grenzlinie des wiederhergestellten Zielbildes befinden, nicht aus einem Bereich stammen, der sich in gleicher Entfernung zum Mittelpunkt jedes ursprünglichen Quellbildes befindet. Es tritt also nicht der gleiche Vignettierungseffekt bei diesen nebeneinanderliegenden Pixeln auf.
• Außerdem kann es vorkommen, daß eine der beiden Aufnahmekameras mehr Störlicht empfängt als die andere - beispielsweise wegen einer ungünstigen Störreflexion -, was die von dieser Kamera lokal empfangene Lichtleistung ebenfalls erhöht und daher einen lokalen Unterschied der Empfindlichkeit zwischen den beiden Kameras hervorruft.
• Von all diesen Ursachen für Helligkeitsunterschiede zwischen den beiden, von den zwei digitalen realen Kameras gelieferten Quellbildern, die zu einem Helligkeitsunterschied auf beiden Seiten der Grenzlinie im wiederhergestellten digitalen Zielbild führen, sind die beiden zuerst genannten Gründe offensichtlich die wichtigsten, und die störende Grenzlinie im wiederhergestellten Zielbild ergibt sich im wesentlichen daraus, daß jede der beiden nebeneinanderliegenden realen Kameras insgesamt nicht die gleiche Menge an Lichtstrom empfängt und daß jede der beiden realen Kameras für die gleiche Lichtleistung insgesamt eine unterschiedliche Empfindlichkeit hat.
• Die anderen Gründe können vernachlässigt werden, oder man kann dagegen Maßnahmen treffen. Die Störreflexionen können beispielsweise vermieden werden, indem man die beiden Kameras mit einer Sonnenblende versieht. Man stellt ebenfalls fest, daß jeder der beiden vorherrschenden Gründe für den Helligkeitsunterschied einen globalen Effekt hervorruft, das heißt daß der hervorgerufene Effekt sich in einheitlicher Weise auf das Quellbild jeder realen Kamera und daher auch auf den entsprechenden Teil im wiederhergestellten Zielbild auswirkt, während jeder der beiden andere Gründe für den Helligkeitsunterschied einen lokalen Effekt hervorruft (Vignettierung, Bereich mit Störlicht, usw.), der am Ende möglicherweise nur in einem kleinen Teil des wiederhergestellten Bildes auftritt.
• Eine Aufgabe der vorliegenden Erfindung ist es daher, Mittel zu verschaffen, um aus dem wiederhergestellten Zielbild die Grenzlinie zu eliminieren, die zwischen den beiden nebeneinanderliegenden Bildteilen auftritt, die aus Quellbildelementen berechnet werden, die von zwei realen Kameras stammen, deren Sehfelder sich verbinden.
• Erfindungsgemäß wird diese Aufgabe durch ein Verfahren nach Anspruch 1 gelöst.
• Erfindungsgemäß transformiert man global erstens die verschiedenen Helligkeitsstufen des einen der beiden Teile des wiederhergestellten Zielbildes und zweitens die verschiedenen Helligkeitsstufen des anderen der beiden Teile des wiederhergestellten Zielbildes mit Hilfe zweier globaler Transformationsgesetze für die Helligkeitsstufen, so daß die Helligkeitsstufen entsprechender Pixel im wiederhergestellten Zielbild ausgeglichen werden. Unter entsprechenden Pixeln werden Pixel verstanden, die sich beiderseits der Grenzlinie befinden und dabei Teilen des weitwinkligen Sehfeldes entsprechen, die die gleiche Helligkeit haben würden, wenn deren Bild von einer einzigen realen Kamera erzeugt worden wäre.
• Als Ergebnis einer solchen globalen Verarbeitung mit Hilfe von zwei Gesetzen, die auf die Helligkeitsstufen der Pixel des ersten bzw. des zweiten Teils des Zielbildes auf beiden Seiten der Grenzlinie angewendet werden, ergibt sich beispielsweise, daß wenn der erste Bildteil eine insgesamt niedrige Helligkeitsstufe (dunkles Bild) und der zweite eine insgesamt hohe Helligkeitsstufe (helles Bild) hatte, die Helligkeit des ersten Teils insgesamt erhöht und die Helligkeit des zweiten Teils insgesamt verringert wird, in der Weise, daß die sogenannten entsprechenden Pixel beiderseits der Grenzlinie danach die gleiche Helligkeitsstufe haben. Dies führt dazu, daß die Grenzlinie verschwindet. Diese Korrekturgesetze werden auf die Pixel ausschließlich in Abhängigkeit von ihren Helligkeitsstufen und unabhängig von ihrer Position in jedem beiden Bildteile angewendet. Dennoch ist deutlich, daß die in beiden Bildteilen anzuwendenden Gesetze unterschiedlich sein müssen, um die entsprechenden Helligkeitsstufen auf beiden Seiten der Grenzlinie auszugleichen.
• Ein Problem bei der Neuerstellung eines Bildes, zur Erzeugung eines Zielbildes aus Elementen von zwei Quellbildern, die von realen Festkameras mit konstantem Fokus stammen, deren Sehfelder sich verbinden, liegt darin, daß der Benutzer die Parameter des Geräts zur Berechnung des Zielbildes - im folgenden als virtuelle Kamera bezeichnet - verändern kann. Diese virtuelle Kamera simuliert faktisch eine bewegliche Kamera, wie man sie bei Überwachungssystemen finden kann.
• Erfindungsgemäß werden Bildverarbeitungsmittel verschafft, die auf das Bild einer virtuellen Kamera anwendbar sind, die mobil ist und durch die folgenden drei Parameter gesteuert wird:
• 1) Panorama-Ausrichtungsveränderung (PAN), sogenannte Azimutveränderung ihrer optischen Achse, was einer Ausrichtungsveränderung in horizontaler Ebene dieser optischen Achse entspricht, die durch einen festen optischen Mittelpunkt verläuft, den alle festen realen Bildkameras und die beweglichen virtuelle Kamera gleichzeitig gemeinsam haben, wobei der Benutzer die Panoramaveränderung wie eine Steuerung wahrnimmt, die es ermöglicht, die bewegliche Kamera nach rechts oder links zu schwenken,
• 2) sogenannte Elevations-Ausrichtungsveränderung (TILT) ihrer optischen Achse, die immer durch den festen optischen Mittelpunkt in einer vertikalen Ebene verläuft, wobei der Benutzer die Elevationsveränderung als eine Steuerung wahrnimmt, die es ermöglicht, die Kamera nach oben oder unten zu schwenken,
• 3) Veränderung des Fokussierungsabstands der virtuellen Kamera, die es ermöglicht, ein mehr oder weniger vergrößertes Zielbild der Kamera zu liefern, wobei der Benutzer die Veränderung als einen Zoom-Effekt wahrnimmt.
• Erfindungsgemäß wird diese Aufgabe mit Hilfe eines Systems nach Anspruch 11 gelöst.
• Dieses Bildverarbeitungssystem ist darum mit Mitteln versehen zur Berechnung des ersten und zweiten globalen Korrekturgesetzes für die Helligkeit in Abhängigkeit von Eigenschaften von sowohl dem ersten als dem zweiten Bildteil auf beiden Seiten der wiederhergestellten Grenzlinie im Zielbild und zur Anwendung des ersten Gesetzes auf alle Pixel mit jeder Helligkeitsstufe des ersten Bildteils und des zweitens Gesetzes auf alle Pixel mit jeder Helligkeitsstufe des zweiten Bildteils.
• Die aus dem an zweiter Stelle genannten Dokument bekannte Anordnung hatte keine Mittel, um eine andere Veränderung als die des Azimuts zu erhalten und hatte auch keine Mittel, um die Helligkeiten auf beiden Seiten der Grenzlinie im wiederhergestellten Bild der beweglichen Kamera auszugleichen.
• Wenn man eine bewegliche virtuelle Kamera anstrebt, die über die drei obengenannten Steuerparameter verfügt, so müssen die Gesetze zur Helligkeitskorrektur für jeden Bildteil auf beiden Seiten einer Grenzlinie eines wiederhergestellten Zielbildes jedesmal in Echtzeit berechnet werden, wenn der Benutzer einen oder mehrere der drei Steuerparameter der virtuellen Kamera verändert.
• Es muß nämlich darauf hingewiesen werden, daß jede Veränderung einer der drei Parameter einem unterschiedlichen Beitrag von jedem der Bilder der realen Kameras zur Erzeugung des wiederhergestellten Bildes entspricht und daher die Korrekturgesetze bei jeder dieser Veränderungen neu berechnet werden müssen, um beispielsweise den relativen Einfluß der verschiedenen Teile des Zielbildes zu berücksichtigen. Das Problem würde in gleicher Weise nicht auftreten, wenn das wiederhergestellte Bild fest wäre oder anders als durch digitale Verarbeitung erstellt werden würde.
• Erfindungsgemäß wird diese Aufgabe durch ein System nach Anspruch 12 gelöst.
• Daraus ergibt sich, daß die globalen Korrekturgesetze bei jeder Veränderung der Parameter der mobilen Kamera und in Abhängigkeit von den Bildänderungen des Zielbildes, die jedesmal eintreten, wenn der Benutzer neue Parameter wählt, berechnet und angewendet werden müssen.
• Um die Rechenzeit zu verkürzen, damit die Berechnungen in Echtzeit erfolgen können, ist das erfindungsgemäße Bildverarbeitungssystem außerdem mit Mitteln nach Anspruch 13 und 14 versehen.
• Die Erfindung wird im folgenden anhand der beigefügten Zeichnung näher beschrieben. Es zeigen:
• - Fig. 1A eine Aufsicht, die die Linien der verschiedenen Bildebenen in einer horizontalen Ebene des Ortungspunkts zeigt, für den Fall, daß die realen Kameras Bildebenen senkrecht zur dieser horizontalen Ebene haben,
• - Fig. 1B den Ortungspunkt Px, Py, Pz als Projektion in der horizontalen Ebene gesehen,
• - Fig. 1C in der Aufsicht eine reale Bildebene mit ihrem besonderen System von Koordinatenachsen,
• - Fig. 1D in der Aufsicht die Zielbildebene mit ihrem besonderen System von Koordinatenachsen,
• - Fig. 2A den Effekt der Begrenzung eines Abschnitt des weitwinkligen Sehfeldes von zwei benachbarten realen Kameras mit Hilfe von durch den Benutzer gewählten Parametern für die virtuelle Kamera, um ein Teilbild einer Panoramaszene zu erstellen,
• - Fig. 2B das von der virtuellen Kamera erstellte und durch diese Parameter definierte Zielbild, wobei dieses Zielbild aus einem ersten Bildteil besteht, der aus dem von der ersten der beiden realen Kameras gelieferten Quellbild erstellt wird, und aus einem zweiten Bildteil, der aus dem von der zweiten dieser Kameras gelieferten Quellbild erstellt wird, wenn diese beiden Zielbildteile genau nebeneinanderliegen,
• - Fig. 2C das auf die gleiche Weise wie in Fig. 2B erstellte Zielbild, wenn die beiden von den benachbarten realen Kameras gelieferten Quellbilder einen überlappenden Bereich aufweisen
• - Fig. 3A ein auf die gleiche Weise wie in Fig. 2B oder 2C hergestelltes digitales Zielbild (gerastert), bei dem der globale Helligkeitsunterschied zwischen dem ersten, aus dem ersten Quellbild erstellten Zielbildteil und dem zweiten, aus dem zweiten Quellbildteil erstellten Zielbildteil hervorgehoben ist,
• - Fig. 3B das digitale Zielbild (gerastert) aus Fig. 3A nach Bearbeitung durch die Anordnung zum globalen Helligkeitsausgleich,
• - Fig. 4A die Selektierung der aneinandergrenzenden Zielbildteile,
• - Fig. 5 die Kurve der Punkte mit einander entsprechenden Helligkeitspegeln (r,s) zur Berechnung des Gesetzes F, und
• - Fig. 6 das Funktionsschema des Bildverarbeitungssystems in Blockdarstellung.
• In Fig. 1A umfaßt das Bildaufnahmegerät eine Menge von n bekannten, realen Festkameras mit dem gleichen festen Fokus, die so nebeneinander angeordnet sind, daß ihre einzelnen Sehfelder aneinander anschließen, um ein weitwinkliges Sehfeld abzudecken. Die n festen nebeneinanderliegenden Kameras liefern daher n feste nebeneinanderliegende Bilder, so daß dieses Aufnahmegerät eine Panoramaszene filmen kann. Die Sehfelder der Kameras sind so, daß die Details der Panoramaszene von der einen oder anderen Kamera aufgenommen werden, damit kein Objekt der Beobachtung entgeht.
• Um dieses Ergebnis zu erhalten, sind diese n festen nebeneinanderliegenden Kameras so angeordnet, daß ihren optischen Mittelpunkte P, auch Fluchtpunkte (oder View Point auf Englisch) genannt, zusammenfallen. Der optische Mittelpunkt einer Kamera wird so definiert, daß jeder aus einer Lichtquelle kommende und durch diesen Punkt verlaufende Strahl die Kameraoptik ohne Ablenkung passiert.
• Faktisch können die optischen Mittelpunkte der n Kameras physikalisch nicht zusammenfallen. Im folgenden wird jedoch angenommen, daß die Bedingung des Zusammenfallens in zufriedenstellender Weise erfüllt ist, wenn der Abstand, der zwischen den einzelnen optischen Mittelpunkten liegt, gegenüber ihrem Abstand zur gefilmten Panoramaszene gering ist, beispielsweise wenn ihr jeweiliger Abstand 5 oder 10 cm und der Abstand zur Panoramaszene 5 m beträgt. Die Bedingung des Zusammenfallens wird dann als erfüllt betrachtet, wenn das Verhältnis dieser Abstände in einer Größenordnung von 50 oder darüber liegt, und es ist erfindungsgemäß nicht notwendig, Optiken mit Spiegeln zu verwenden, die schwierig zu justieren und außerdem teuer sind, um ein exaktes Zusammenfallen der optischen Mittelpunkte zu erreichen.
• Die n Kameras sind mit C1, ... Cl, Cj, ... Cn numeriert; diese Kameras liefern dann jeweils die digitalen Quellbilder Il...,Ii, Ij...,In. Im folgenden sollen lediglich die Quellbilder Ii und Ij betrachtet werden, die von den beiden festen, nebeneinanderliegen realen Kameras Ci und Cj erzeugt werden.
• Diese realen Festkameras Ci und Cj erzeugen Bilder Ii bzw. Ij der Panoramaszene in den nebeneinanderliegenden realen Bildebenen. In Fig. 1A stellen die Achsen PZi und PZj, die durch die geometrischen Mittelpunkte Oi bzw. Oj der Quellbilder Ii bzw. Ij. verlaufen, die optischen Achsen der realen Festkameras Ci und Cj dar.
• In Fig. 1B wird zunächst ein Ortungspunkt Px, Py, Pz von orthogonalen Achsen definiert, in dem diese Achsen Px und Pz horizontal sind und die Achse Py vertikal ist.
• Die Quellbilder, wie die Bilder Ii und Ij, werden digitalisiert, und jedes Pixel m dieser Bilder wird mit seinen Koordinaten in der Bildebene angegeben. Dazu definiert man, wie in Fig. 1C dargestellt, in jeder Bildebene einen Bezugspunkt mit rechtwinkligen Koordinaten (OiXi, OiYi) und (OjXj, OjYj), in dem die Achsen OiXi oder OjXj horizontal sind, das heißt in der Ebene des Ortungspunktes Px, Pz. Die durch (OiXi, OiYi). und (OjXj, OjYj) definierten Bildebenen sind rechtwinklig zu den optischen Achsen Pzi und Pzj, und haben als geometrische Mittelpunkte Oi bzw. Oj. Wenn die mit jeder Bildebene der Kameras verbundenen einzelnen Bezugspunkte einmal aufgestellt worden sind, können diese festen realen Bildebenen mit dem Ortungspunkt verbunden werden durch:
• - ihren Azimutwinkel (engl. PAN) θi, θj,
• - ihren Elevationswinkel (engl. TILT) Φi, Φj.
• Der Azimutwinkel θi oder θj ist der Winkel, den eine vertikale Ebene, die die optische Achse PZi oder PZj enthält, mit der horizontalen Achse PZ des Ortungspunktes bildet. Es ist also ein Winkel für eine horizontale Rotation um die vertikale Achse Py.
• Der Elevationswinkel Φi oder Φj ist der Winkel, den eine optische Achse PZi oder PZj mit der horizontalen Ebene (Px, Pz) bildet. Es ist also ein Winkel für eine vertikale Rotation um eine horizontale Achse, die Achse OiXi oder OjXj jeder Bildebene.
• Der Einfachheit halber wird in den folgenden Erläuterungen davon ausgegangen, daß in Fig. 1A die von den Festkameras Ci, Cj gelieferten ebenen realen Bilder Ii, Ij vertikal sind, das heißt daß ihr Elevationswinkel 0 beträgt.
• Ebenfalls wurde der Einfachheit halber in Fig. 1A in der gleichen Weise die Spur der Ebenen und Achsen, sowie die Ebenen und entsprechenden Achsen sowohl für die Quellbilder als auch für das im folgenden noch zu beschreibende Zielbild angegeben.
• Fig. 1A, die eine schematische Aufsicht der erzeugten Bilder ist, zeigt daher nur die Spuren Ii und Ij der ebenen, festen realen Bilder, die durch die Abschnitte in der horizontalen Ebene Px, Pz dargestellt werden.
• Aufgabe der Erfindung ist es, ein System zur Herstellung eines digitalen Bildes zu verschaffen, das eine mobile Kamera simuliert, die mit Hilfe einer Steuerung durch den Benutzer ein digitales Bild von einem beliebigen Teil oder Teilbild der von I den n Festkameras aufgenommenen Bilder liefern kann.
• Fig. 2A zeigt beispielsweise die aneinander angrenzenden Bilder Ii und Ij der Panoramaszene, die von zwei nebeneinanderliegenden Festkameras Ci und Cj geliefert werden. In Fig. 2A sind der Einfachheit halber die Bilder Ii und Ij beide als in der gleichen Ebene projiziert dargestellt, während sie in Wirklichkeit zueinander einen Winkel bilden, der gleich dem der beiden optischen Achsen der Festkameras zueinander ist. In diesen Bildern kann der Benutzer ein beliebiges Teilbild zur Betrachtung auswählen, das mehr oder weniger links oder rechts und mehr oder weniger oben oder unten durch die Linie Io begrenzt wird und die gleiche, eine höhere oder eventuell eine niedrigere Vergrößerung als die Festkameras hat.
• Die simulierte mobile Kamera kann ein sogenanntes Zielbild Iv aus den durch die Linie Io aus Fig. 2A begrenzten Quellbildteilen Si, Sj erzeugen. Diese Kamera wird virtuelle Kamera genannt, da sie eine nicht wirklich existierende Kamera simuliert.
• Diese virtuelle Kamera kann auf die gleiche Weise wie die realen Festkameras definiert werden durch:
• - ihren Azimutwinkel θv,
• - ihren Elevationswinkel Φv
• - und ihre Vergrößerung (Zoom-Effekt), konkretisiert durch ihre Brennweite POv, unter der Bedingung, daß ihr optischer Mittelpunkt P mit den optischen Mittelpunkten P der realen Festkameras in Übereinstimmung gebracht wird, wobei Ov der geometrische Mittelpunkt des Zielbildes Iv ist. Das optische Zentrum der virtuellen Kamera wird in Übereinstimmung mit dem näherungsweisen optischen Mittelpunkt gebracht, der bereits für die realen Kameras definiert wurde.
• Fig. 1A zeigt die mit Iv bezeichnete Spur des ebenen Bildes der virtuellen Kamera in der horizontalen Ebene und seine optische Achse PZv, die durch den geometrischen Mittelpunkt Ov des Zielbildes Iv verläuft.
• Bei der Definition dieser virtuellen mobilen Kamera ist der Azimutwinkel θv derjenige Winkel, den die vertikale Ebene, die ihre optische Achse PZv enthält, mit der horizontalen Achse Pz des Ortungspunktes bildet; der Elevationswinkel Φv ist derjenige Winkel, den ihre optische Achse PZv mit der horizontalen Ebene Px, Pz des Ortungspunktes bildet; schließlich ist ihre Brennweite POv variabel, wodurch eine Veränderung der Vergrößerung dieses Bildes gegenüber derjenigen der Quellbilder möglich ist (Zoom-Effekt).
• So wird durch Veränderung des Azimut- und Elevationswinkels θv und Fv sowie der Brennweite POv die virtuelle Kamera einer mobilen Kamera sehr ähnlich, die das weitwinklige Sehfeld abtastet, das durch die aneinander anschließenden Sehfelder der verschiedenen, realen Festkameras C1 bis Cn erzeugt wird.
• Es sei darauf hingewiesen, daß die virtuelle Kamera einen kleinen, durch Io begrenzten Teil (oder Teilabschnitt) des weitwinkligen Sehfeldes anvisieren kann und daraus durch Einstellung ihrer variablen Brennweite POv ein vergrößertes Bild Iv mit beispielsweise der gleichen Endgröße wie jedes der Bilder I1...In bilden kann, die von jeder der realen Kameras C1... Cn geliefert werden.
• Es sei ebenfalls darauf hingewiesen, daß die Verschiebung des Sehfeldes der mobilen Kamera kontinuierlich und beliebig erfolgen kann; dieses Io entsprechende Sehfeld kann auf zwei Teile (Si, Sj) von in LO aneinandergrenzenden und von zwei nebeneinanderliegenden Kameras Ci und Cj gelieferten Bildern Ii und Ij übergreifen.
• In diesem Fall enthält das von der virtuellen Kamera erzeugte Bild Iv zwei verschiedene Bildteile, und zwar erstens Ivi, das aus den im digitalen Bild Ii enthaltenen Informationen erzeugt wird, und zweitens Ivj, das aus den im digitalen Bild Ij enthaltenen Informationen erzeugt wird. In Fig. 1A stellen Ivi und Ivj die Spuren der Zielbilder Ivi und Ivj in der horizontalen Ebene dar.
• Es wurde gezeigt, daß sich ein technisches Problem ergibt, da die Gesamthelligkeiten der von den realen Kameras gelieferten Bilder Ii und Ij unterschiedlich sind. Daraus ergibt sich, daß die Gesamthelligkeiten der Bildteile Ivi und Ivj ebenfalls unterschiedlich sind, wie es sich in dem in Fig. 3A als Beispiel dargestellten digitalen Landschaftsbild zeigt.
• Die vorliegende Erfindung verschafft Mittel zur Beseitigung dieses Fehlers und liefert ein wiederhergestelltes digitales Bild, das eine gleichmäßige Gesamthelligkeit auf seiner gesamten Fläche aufweist.
• Fig. 3B zeigt das digitale Bild der Landschaft aus Fig. 3A, in dem der Helligkeitsfehler durch die erfindungsgemäßen Mittel korrigiert wurden.
• Zunächst wird, wie in Fig. 1D gezeigt in der Ebene des digitalen Zielbildes Iv ein Bezugspunkt mit rechtwinkligen Koordinaten (Ov Xv, Ov Yv) definiert, in dem die Achse Ov Xv horizontal ist, das heißt in der horizontalen Ebene des Ortungspunktes Px, Pz, wobei das Pixel Ov der geometrische Mittelpunkt des Zielbildes Iv ist, der außerdem auf der optischen Achse PZv der virtuellen Kamera liegt. Diese virtuelle Kamera wird im folgenden als Cv bezeichnet. Jedes Pixel m' des ebenen Zielbildes Iv wird also durch die Koordinaten in diesem System rechtwinkliger Achsen (Ov Xv, Ov Yv) angegeben.
• Die vorliegende Erfindung hat zunächst die Aufgabe, ein erstes, mit Gi bezeichnetes Gesetz zur Gesamtkorrektur der Helligkeit der Pixel zu verschaffen, die den ersten Zielbildteil Ivi bilden, das aus Elementen der ersten Bildquelle Ii erzeugt wurde, und ein zweites mit Gj bezeichnetes Gesetz zur Gesamtkorrektur der Helligkeit der Pixel zu verschaffen, die den zweiten Zielbildteil Ivj bilden, der aus Elementen der zweiten Bildquelle Ij erzeugt wurde.
• In jedem erzeugten Zielbildteil ist jedes Pixel durch seine Position im Bild gekennzeichnet, die durch ihre Koordinaten im Bezugspunkt (OvXv, OvYv) definiert ist, durch ihre Stufe auf einer Skala von Helligkeitsstufen oder Graustufen, beispielsweise eingeteilt von 1 bis 256, wobei den hellsten oder leuchtendsten Pixel die höchste Helligkeitsstufe zugewiesen ist und den am wenigsten hellen Pixeln die niedrigste Helligkeitsstufe. Der Ausdruck Helligkeitsstufe ist gleichbedeutend mit dem Ausdruck Graustufe. Im folgenden wird nur noch von Helligkeitsstufen gesprochen.
• Unter Gesamtkorrektur wird verstanden, daß die Gesetze auf alle Pixel mit einer gegebenen Helligkeitsstufe unabhängig von ihrer Position im Bild angewendet werden.
I - Schritt Nr. 1: Selektion der Zielbildteile
• Um das erste Gesetz Gi und das zweite Gesetz Gj zu berechnen und diese Gesetze danach auch in Echtzeit auf die Bildteile Ivi bzw. Ivj anwenden zu können, werden in einem ersten durch die erfindungsgemäße Rechenanordnung ausgeführten Schritt im digitalen Zielbild Iv zwei Pixelentsprechungsgruppen von Pixeln selektiert.
• Diese zwei mit Ai bzw Aj bezeichneten Pixelentsprechungsgruppen können als Gruppen von sich in den digitalen Bildern Ivi und Ivj entsprechenden Pixeln jeweils durch zwei unterschiedliche Verfahren selektiert werden, die für das Lösen der Aufgabe der Erfindung gleichwertig sind.
• Bei beiden Verfahren wird der erste Zielbildteil Ivi selektiert, um die erste I Teilmenge Ai zu liefern, und der zweite Zielbildteil Ivj, um die zweite Teilmenge Aj zu liefern.
a) Erstes Verfahren
• Das erste Verfahren, als Grenz-Verfahren (engl. Border Method) bezeichnet, um es von dem zweiten zu unterscheiden, berücksichtigt die Hypothese, nach der das digitale Zielbild Iv durch das einfache Nebeneinanderstellen der digitalen Zielbildteile Ivi und Ivj erzeugt wird, aneinandergrenzend ohne Überlappung. Das Zielbild Iv hat also eine einfache gerade Grenze L zwischen den Bildteilen Ivi und Ivj. Diese gerade Grenze befindet sich zwischen zwei Zeilen oder zwei Spalten von Pixeln des digitalen Zielbildes Iv.
• Fig. 4A verdeutlicht die Ausführung des Grenz-Verfahrens, wenn die gerade Grenze L vertikal ist und sich also zwischen zwei Spalten von Pixeln des Zielbildes Iv befindet.
• Bei dem "Grenz"-Verfahren werden als erste Pixelgruppe Ai die Pixel selektiert, die sich in den Pixelspalten Ki befinden und einen an die gerade Grenze L grenzenden Streifen im ersten Teil des Bildes Ivi bilden, und man selektiert als zweite Pixelgruppe Aj die bezüglich der geraden Grenze L symmetrischen Pixel, die sich in den Pixelspalten Kj befinden und einen an die gerade Grenze L grenzenden Streifen im zweiten Teil des Bildes Ivj bilden.
• Wenn die gerade Grenze horizontal ist, selektiert man die Pixel der beiden Gruppen Ai und Aj in den Zeilen, die sich beiderseits dieser Grenze befinden.
• Sollte die gerade Grenze beliebig sein, so würde man als sich entsprechende Pixel diejenigen selektieren, die bezüglich der geraden Grenze symmetrisch sind. Als Beispiel, das der Fachmann leicht für eine andere Anordnung der geraden Grenze verallgemeinern kann, wird die Erfindung im folgenden für den Fall einer vertikalen Grenze beschrieben.
• In diesem Fall sind die sogenannten entsprechenden Pixel aus den Entsprechungsgruppen Ai und Aj die Paare, die sich auf der gleichen horizontalen Zeile des digitalen Zielbildes Iv in zwei aneinandergrenzenden Spalten Ki und Kj beiderseits der geraden Grenze L befinden. Jedes Paar von entsprechenden Punkten, beispielsweise m'i, m'j im besonderen orthogonalen Bezugssystem des Zielbildes Iv, hat daher:
• - die gleiche Ordinate auf der Achse Yv,
• - eine um 1 Pixel auf der Achse Xv unterschiedliche Abszisse
• - und eine unterschiedliche Helligkeitsstufe, die die erfindungsgemäße Anordnung ausgleichen soll.
b) Zweites Verfahren
• Das zweite, sogenannte "Überlappungs"-Verfahren (engl. Overlap Method) berücksichtigt die Hypothese, nach der das digitale Zielbild mit einem Überlappungsbereich von wenigen Pixeln Breite (höchstens 10 Pixel) des zweiten Zielbildteils Ivj über dem ersten Zielbildteil Ivi oder umgekehrt erzeugt wird. Der zweite Zielbildteil hat Lj als Begrenzung und der erste Zielbildteil Li, so daß der Überlappungsbereich eine Breite LiLj hat und zu den Begrenzungen Li, Lj parallel ist.
• Fig. 4B veranschaulicht die Ausführung des "Überlappüngs-Verfahrens", wenn die Grenze, also hier der Bereich LiLj, vertikal ist. Der Fachmann wird dieses Verfahren leicht auf den Fall einer horizontalen Grenze übertragen können.
• Bei einer vertikalen Grenze wird die Entsprechungsgruppe, die aus den Pixeln gebildet wird, die sich in dem zu dem ersten Zielbildteil Ivi gehörenden Überlappungsbereichs-Teil befinden, nun Ai genannt. Die Entsprechungsgruppe, die aus den Pixeln gebildet wird, die sich in dem zu dem zweiten Zielbildteil Ivj gehörenden Überlappungsbereichs-Teil befinden, wird nun Aj genannt.
• In diesem Fall sind die sich entsprechenden Pixel der Entsprechungsgruppen Ai und Aj die Paare von Pixeln, beispielsweise m'i, m',j, die gleichzeitig die gleichen Abszissen und die gleichen Ordinaten im orthogonalen Bezugssystem OvXv, OvYv des Zielbildes Iv haben, aber wie bei dem Grenz-Verfahren nicht die gleiche Helligkeitsstufe haben.
• Bei dieser Erfindung, wo die Bilder ja digital sind, impliziert das Vorhandensein einer Überlappung zwischen zwei Zielbildteilen Ivi und Ivj nicht, daß der Bereich LiLj eine unterschiedliche Gesamthelligkeit hat als der Zielbildteil Ivi und Ivj gleichzeitig. Wenn in der virtuellen Kamera keine Helligkeitsausgleichmittel vorhanden sind, bietet sich bei ihr zumindest die Möglichkeit, das Zielbild Iv durch Nebeneinanderstellen der Teile Ivi, Ivj zu erzeugen. Bei dem Überlappungsverfahren, strebt man also nicht den Ausgleich der Helligkeit von drei Bereichen, nämlich dem ersten Zielbildteil, dem Überlappungsbereich und dem zweiten Zielbildteil an, sondern nur den von zwei Bereichen: dem ersten Zielbildteil Ivi und dem zweiten Zielbildteil Ivj I wie bei dem Grenz-Verfahren.
II - Schritt Nr. 2: Berechnung des Entsprechungsgesetzes F
• In einem zweiten Schritt zur Ausführung der erfindungsgemäßen Anord nung wird ein Gesetz F berechnet, das die Menge der Helligkeitsstufen S des zweiten Zielbildteils Ivj der Menge der entsprechenden Helligkeitsstufen R des ersten Zielbildteils Ivi entsprechen läßt, so daß:
• S = F(R)
• Diese so formulierte Gleichheit über die Mengen S und R bedeutet, daß man ein Gesetz F zu berechnen versucht, das am besten jede Helligkeitsstufe von R mit jeder entsprechenden Helligkeitsstufe von S verbindet.
• Unter entsprechenden Helligkeitsstufen versteht man die Helligkeitsstufen, die gleich wären, wenn der erste und der zweite Bildteil Ivi und Ivj von einer einzigen Kamera erzeugt worden wären.
• Bei jedem der beiden Verfahren wird dieses Gesetz F berechnet, indem die in den Entsprechungsgruppen Ai, Aj enthaltenen Pixel berücksichtigt werden, das heißt eine geringe Anzahl von Pixeln: Bei dem Grenzverfahren beschränkt sich die Anzahl der in die Berechnung einbezogenen Pixel auf 2 mal einige Spalten von Pixeln; bei dem Überlappungsverfahren beschränkt sich die Anzahl der in die Berechnung einbezogenen Pixel ebenfalls auf 2 mal einige Spalten von Pixeln. Unter einigen Spalten sollen beispielsweise 1 bis 10 verstanden. Wenn man bedenkt, daß ein normales digitales Bild leicht eine Anzahl von Pixeln über 500 Spalten (oder auch 1000 Spalten) mit jeweils mehr als 500 (oder 1000) Pixeln enthalten kann, dann ermöglicht das Grenz- oder Überlappungsverfahren eine beträchtliche Verkürzung der Rechenzeit.
• Im folgenden heißen:
• - r die Menge der verschiedenen in der ersten Entsprechungsgruppe Ai vorhandenen Helligkeitsstufen,
• - s die Menge der verschiedenen in der zweiten Entsprechungsgruppe Aj vorhandenen Helligkeitsstufen.
• Jede Helligkeitsstufe der Menge r hat eine entsprechende Helligkeitsstufe in der Menge s, da ja jede Gruppe Ai, Aj die gleiche Anzahl von Pixeln hat.
• Man versucht, das Gesetz F zu berechnen, das die Helligkeitsstufen r der Teilmenge Ai am besten mit den Helligkeitsstufen s der Teilmenge Aj verbindet.
• Daher wird jede Helligkeitsstufe in der Menge r mit einer Helligkeitsstufe in der Menge s durch das Entsprechungssgesetz F so verbunden, daß die Gleichung s = F(r) am besten erfüllt wird.
• Wenn das Gesetz F mit Hilfe der selektierten Entsprechungsgruppen Ai, Aj einmal berechnet ist, kann dieses Gesetz F angewendet werden, um die Menge R der Helligkeitsstufen von Ivi und die Menge S der Helligkeitsstufen von Ivj so einander entsprechen zu lassen, daß S = F(R) am besten erfüllt wird.
• Auf einer Kurve kann man, wie in Fig. 5 gezeigt, folgendes angeben:
• - auf der horizontalen Achse f die Helligkeitsstufen aller ersten Pixel m'i der entsprechenden Pixelpaare, die in der ersten Entsprechungsgruppe Ai- enthalten sind,
• - auf der vertikalen Achse s die Helligkeitsstufen aller zweiten Pixel m' j der entsprechenden Pixelpaare, die in der zweiten Entsprechungsgruppe Aj enthalten sind.
• Indem man auf dieser Kurve die Helligkeitsstufen jedes einander grafisch entsprechen läßt, findet man Koordinatenpunkte (r,s), die theoretisch einem Entsprechungssgesetz F der Helligkeitsstufen Ai und Aj folgen müssen.
• In dieser Kurve, die die entsprechenden Pixelpaare (m'i, m'j) der Gruppen Ai, Aj berücksichtigt, sind einige Paare nicht repräsentativ für das Entsprechungssgesetz, das man zu berechnen wünscht:
• - entweder, weil man das Grenz-Verfahren gewählt hat, das eine sehr beschränkte Anzahl von Pixeln berücksichtigt, und weil von den Paaren sich bestimmte nicht auf eine Helligkeitsentsprechung beziehen, sondern auf eine tatsächliche Diskontinuität in der ursprünglichen Panoramszene,
• - oder weil das Berechnungssystem für das Zielbild - hier nicht beschrieben, weil es nicht Teil der Erfindung ist, aber trotzdem erforderlich ist, um die Pixel des Zielbildes Iv zu liefern (d.g. ihre Koordinaten und ihre Helligkeitsstufe) - keine geometrisch perfekte Rekonstruktion abhängig von den Ursprungsbildern geliefert hat (beispielsweise ein Fall von sphärischen Abweichungen in den Quellbildern, die bei der Zielbildrekonstruktion unzureichend korrigiert wurden); daher stammen die zwei sich entsprechenden Pixel in bestimmten Paaren in Wirklichkeit nicht aus dem gleichen Gebiet der Panoramaszene und brauchen daher keinesfalls die gleiche Helligkeit im endgültigen Zielbild zu haben.
• In der Kurve führen, wenn man den Entsprechungspunkt von Koordinaten (r,s) für ihre Helligkeitsstufen sucht, bestimmte Paare (m'i, m'j) also nicht zu einem Punkt, der sich auf dem Gesetz F befindet. Ein solcher Punkt wird abweichend genannt.
• Das führt aufgrund der obengenannten Fehler dazu, daß die Entsprechungspunkte von Koordinaten (r,s) sich nicht alle genau entlang der Kurve befinden, die das Gesetz F darstellt, sondern faktisch eine Wolke von Punkten bilden, die alle mehr oder weniger weit von dieser Kurve entfernt sind.
• Erfindungsgemäß definiert man das Gesetz F als jenes, das die Energie der Differenz zwischen den Helligkeitsstufen der Menge r und den Helligkeitsstufen der Menge s minimal werden läßt.
• Dem Fachmann sind zahlreiche Verfahren bekannt, mit denen dieses Problem gelöst werden kann und die Entsprechungsfindung der Helligkeitsstufen r und s durchgeführt werden kann.
• Die folgende Erfindung hat allerdings auch zur Aufgabe, Mittel zu verschaffen:
• - um dieses Problem bei Vorhandensein von abweichenden Pixeln zu lösen und
• - um dieses Problem in Echtzeit zu lösen,
• - wobei diese Mittel in einer Anordnung ausgeführt werden sollen.
• Beispielhaft soll davon ausgegangen werden, daß man in der ersten Entsprechungsgruppe Ai eine Menge r vorfindet, die die Helligkeitsstufen:
• r (1, 2, 3, 4...)
• enthält, und daß man in einer zweiten Entsprechungsgruppe Aj eine Menge s vorfindet, die die jeweiligen Graustufen:
• s (1, 3,5...)
• enthält.
• Das bedeutet:
• - Die Helligkeitsstufe 1 der Menge r entspricht der Helligkeitsstufe 1 der Menge s, was in der Kurve zu dem Entsprechungspunkt α(1,1) führt,
• - die Helligkeitsstufe 2 von r entspricht der Helligkeitsstufe 3 von s, was in der Kurve zu dem Entsprechungspunkt β(2,3) führt,
• - die Helligkeitsstufe 3 von r entspricht der Helligkeitsstufe 5 von s, was in der Kurve zu einem Entsprechungspunkt γ(3,5) führt, etc.
• Das Gesetz F ist dasjenige, das am besten durch die Entsprechungspunkte α, β, γ... verläuft. In der Praxis führt die Aufstellung dieser Kurve nicht zu einer Entsprechungskurve F, die einfach die Entsprechungspunkte verbindet, da diese Entsprechungspunkte eine Wolke N von Punkten bilden. In dem Fall muß man das Gesetz F suchen, das am besten durch eine maximale Anzahl von Entsprechungspunkten verläuft.
• Es soll nun ein Berechnungsverfahren für die Funktion F beschrieben werden, die die Helligkeitsstufen der Menge r von Ai mit der Menge s von Aj verbindet.
• Eine der Schwierigkeiten, die bei der Bestimmung dieses Gesetzes auftritt, liegt darin, daß die Menge r von Ai und daher auch die entsprechende Menge s von. Aj nicht notwendigerweise alle Werte von Helligkeitsstufen enthalten, die in den Zielbildteilen Ii und Ij vorkommen. Die Erfahrung zeigt im allgemeinen jedoch, daß man in Ai und Aj, so wie sie oben definiert wurden, eine ausreichende Anzahl von Werten für die Helligkeitsstufen findet, unter der Bedingung, daß für F ein Gesetz gewählt wird, das:
• - uniform und
• - monoton ist
• - und konkav oder konvex sein kann.
• Da die Anzahl der Helligkeitsstufe in (r,s) kleiner ist als in (R,S), können nämlich bestimmte Gesetze eine korrekte Entsprechung der Helligkeitsstufen in (r,s) von Ai, Aj liefern und zu einem völlig falschen Ergebnis führen, wenn sie in (R,S) angewendet werden, um Iv ausgehend von Ivi, Ivj zu bilden.
• Die Erfahrung hat gezeigt, daß Gesetze der Form:
• F(r) = ar + b
• oder F(r) = ar² + br + c
• dieses Problem der Entsprechungsfindung der Helligkeitsstufen von Ai für die Helligkeitsstufen von Aj nicht in allen vorauszusehenden Fällen lösen können.
• Erfindungsgemäß werden deshalb das sogenannte "Gamma-Gesetz" F(r) = a + br², sowie Mittel zur Bestimmung der Koeffizienten a, b, c vorgeschlagen, die die Verwendung dieses Gesetzes bei der Berechnung von F in Echtzeit in einer solchen Weise ermöglichen, daß die Mittel in einer Anordnung ausgeführt werden können. Dieses Gesetz führte im Vergleich zu anderen geprüften Gesetzen zu besseren Ergebnissen, wenn es auf eine große Anzahl von Situationen angewendet wurde.
• Zum Schutz vor Fehlern bei der Bestimmung der Koeffizienten a, b, c, die sich, wie bereits erläutert, aus dem Vorhandensein von Paaren sogenannter abweichender Pixel ergeben, verschafft die Erfindung rekursive Berechnungsmittel, die es ermöglichen ausgehend von einer groben Berechnung dieser Koeffizienten zu einer genauen Bestimmung zu gelangen, indem bei jedem Schritt der Iteration in der Kurve ein Abstand zu Punkten festgelegt wird, die sich auf der Kurve befinden, die das bei diesem Schritt berechnete Gesetz F repräsentiert; indem die Punkte (r,s) der Kurve eliminiert werden, die einen größeren Abstand als den gewählten haben und indem beim folgenden Iterationsschritt ein geringerer Abstand gewählt wird, der die Eliminierung der Punkte (r,s) ermöglicht, die einen größeren als diesen neuen, gewählten Abstand haben, etc.
• Bei einem allgemeineren Verfahren kann jedem Koordinatenpunkt (r,s) ein Gewicht zugewiesen werden, das um so höher ist, je näher (in einem geringeren geometrischen Abstand) dieser Punkt an der Kurve liegt, die das beim vorangegangenen Iterationsschritt bestimmte Gesetz F repräsentiert. Bei jedem Iterationsschritt werden dann die Gewichte verändert, um die Punkte (r,s) um so mehr zu begünstigen, je näher sie an der Kurve liegen. Die Kurve F wird dann neu berechnet.
• Die Form des "Gamma-Gesetzes" mit einem Koeffizienten "c" als Exponent könnte die Berechnungen jedoch langsam machen. Um nämlich das beste "Gamma-Gesetz" zu bestimmen, erfordert das Verfahren mit Iteration das Ausprobieren mehrerer Werte für jeden Koeffizienten c bei jedem Iterationsschritt und dann die Berechnung der Koeffizienten a und b.
• Um diesen Nachteil zu vermeiden und die Berechnungen zu beschleunigen, erfolgt das erfindungsgemäße Verfahren zur Bestimmung von F mit Hilfe einer doppelten Iteration, bei der jeder Schritt zwei Phasen umfaßt.
• Bei einer ersten sogenannten Phase zur Bestimmung der Parameter a,b,c wird zunächst ein erster Schritt ausgeführt, bei dem ein erster Wert des Parameters c des Exponenten festgelegt wird und die Parameter a und b für eine erste Wolke N1 berechnet werden, wobei man alle Koordinatenpunkte (r,s) berücksichtigt, und dann werden nachfolgende Schritte ausgeführt, bei denen zweite und dritte Werte für den Parameter c des Exponenten festgelegt und die Parameter a und b für die gleiche erste Wolke von Punkte (r,s) berechnet werden. Nach diesen Schritten werden die Werte einer Parametergruppe a,b,c als diejenigen selektiert, die die beste Funktion F(r) = a + br² liefern, die am besten durch die erste Wolke von Punkten (r,s) verläuft.
• Dann folgt eine zweite, sogenannten Lichtungsphase. Während dieser Phase werden die Punkte der ersten Wolke eliminiert, die am weitesten von der in der ersten Phase bestimmten Funktion F(r) entfernt sind, um eine zweite, sogenannte gelichtete Wolke N2 von Punkten zurückzubehalten.
• Beim zweiten Schritt des Verfahrens mit doppelter Iteration wird die erste Phase beendet, indem die Versuchswerte für den Parameter c um den im vorherigen Schritt bestimmten Wert herum festgelegt, indem die Parameter a,b,c so gewählt werden, daß die F(r)a + brc am besten durch die zweite, gelichtete Wolke N2 von Punkten (r,s) verläuft.
• Mit dieser doppelten Iteration wird fortgefahren, bis die Funktion F(r) = a + brc am besten durch die verbleibenden Punkte (r,s) verläuft, deren Abstand zu der diese Funktion F(r) repräsentierenden Kurve kleiner ist als der als zulässig bestimmte Abstand.
• Das durch die Berechnung von s = F(r) gefundene Gesetz F wird dann auf die entsprechenden Helligkeitsstufen angewendet, die in den zu den den beiden Zielbildteilen Ivi, Ivj gehörenden Mengen R und S gefunden wurden, und zwar entsprechend der Beziehung:
• S = F(R)
III - Schritt Nr. 3: Berechnung der Helligkeitskorrekturgesetze Gi, Gj
• In einem dritten erfindungsgemäßen Schritt werden dann Mittel zur Berechnung der beiden Gesetze Gi und Gj verschafft, die auf die Helligkeitsstufen der Menge R bzw. der Menge (S) einwirken, um diese Stufen einzeln anzupassen, damit ein Ausgleich der Helligkeiten der entsprechenden Stufen erhalten wird.
• Daraus ergibt sich, daß der Gesamtausgleich der Helligkeiten im ersten und im zweiten Zielbildteil Ivi, Ivj erreicht wird, wenn die geschriebene Gleichheit über die entsprechenden Helligkeitsstufen der Mengen R und S am besten verwirklicht worden ist:
• Gi(R) = Gj (S)
• Wie bei dem ersten in der erfindungsgemäßen Anordnung ausgeführten Schritt hat man die Mengen R und S von Helligkeitsstufen durch die Berechnung des Gesetzes F einander entsprechen lassen, das so angewendet wurde, daß S = F(R); daraus ergibt sich, daß die Gesetze Gi und Gj zu einem Gesamtausgleich der entsprechenden Helligkeitsstufen nach folgender Gleichung führen:
• Gi(R) = Gj [F(R)], wobei diese Gleichheit am besten realisiert wird und in diesem Fall die gerade Grenze aus dem wiederhergestellten Zielbild verschwindet.
• Zurückkommend auf das zur Erläuterung des Schrittes Nr. 2 beschriebene Beispiel, wenn man in der Menge R Helligkeitsstufen 1, 2, 3... und in der Menge S die entsprechenden Helligkeitsstufen 1, 3, 5... vorfindet, wirkt das gefundene Gesetz Gi auf die verschiedenen Helligkeitsstufen 1, 2, 3... von R, um diese Stufen auf einen Wert zu bringen, der zwischen ihrem aktuellen Wert und dem entsprechenden Wert der entsprechenden Stufe in S liegt. Ebenso wirkt das gefundene Gesetz Gi auf die Helligkeitsstufen 1, 3, 5, ... von S. um diese Stufen auf einen Wert zu bringen, der zwischen ihrem aktuellen Wert und dem Wert der entsprechenden Stufe in R liegt, so daß gilt:
• Gi(1) = Gj(1)
• Gi(2) = Gj(3)
• Gi(3) = Gj(5) etc.,
• allgemein formuliert
• Gi(R) = Gj(S) in günstigster Weise.
• Der Fachmann wird sich in den meisten Fällen für den Gleichheit von Gi oder Gj entscheiden und dafür sorgen, daß eine der Mengen von Graustufen bei der Anwendung der Gesetze für den Helligkeitsausgleich mit sich selbst identisch bleibt und die andere Menge von Graustufen verkleinert oder vergrößert wird, um die Gleichheit zu erhalten; beispielsweise indem einfach das Gesetz F oder F&supmin;¹ auf die Helligkeitsi stufen einer dieser Menge angewendet wird.
• Wenn der Fachmann tatsächlich auf diese Weise vorginge, dann würde das erhaltene Bild zwar eine gleichmäßige Helligkeit aufweisen, aber dieses endgültige Zielbild würde einen korrekten und einen deutlich verschlechterten Bildteil enthalten. Es muß nämlich berücksichtigt werden, daß jede der realen Kameras eigene Regeleinheiten haben, die zur Lieferung von optimalen Bildern dienen: Wenn die beiden Zielbildteile Helligkeitsunterschiede aufweisen, dann liegt das daran, daß jede der realen Kameras das Quellbild, aus dem einer der Zielbildteile stammt, optimiert hat und daß diese Optimierung von Kamera zu Kamera unterschiedlich ist.
• Man kann daher nicht auf die Helligkeitsstufen der Zielbildteile einwirken, ohne sie etwas zu verschlechtern.
• Erfindungsgemäß wird eine Lösung vorgeschlagen, um einen Gesamtausgleich der Helligkeiten mit einer minimalen Verschlechterung der Bildteile zu erhalten.
• Dazu werden die folgenden zwei Ausgleichsgesetze vorgeschlagen:
• Gi(R) = kF(R) + (1-k)R
• Gj(S) = kS + (1-k)F&supmin;¹ (S)
• In diesen Beziehungen ist K eine Konstante
• 0 ≤ k ≤ 1,
• die Mischkonstante genannt wird, und R und S sind verschiedene Helligkeitsstufen, die in dem ersten und zweiten Zielbild Ivi vorkommen.
• Diese Konstante k wirkt auf folgende. Weise:
• Falls k = 1, dann führt dies dazu, daß die Helligkeitsstufen der Menge R mit den Helligkeitsstufen der Menge S gleichgesetzt werden, wenn k = 0, dann erfolgt die umgekehrte Operation.
• Vorzugsweise wählt man k so, daß es gleich dem prozentualen Anteil der Fläche des zweiten Zielbildteils vj im gesamten Zielbild Iv ist.
• Dann zeigt sich, daß wenn im gesamten Bild Iv die Bildfläche Ivj klein ist, k nahezu 0 ist und die Helligkeitsstufen des ersten Bildteils Ivi mit der größten Fläche wenig verändert werden, während die Helligkeitsstufen des zweiten Bildteils Ivj mit dem kleinsten Anteil am stärksten verändert werden, um den Gesamthelligkeitsausgleich herbeizuführen.
• Wenn also bei dem als virtuelle Kamera bezeichneten Gerät der Benutzer die Parameter θ, Φ oder die Brennweite verändert, dann verändert sich die Konstante k, ein neues Gesetz F wird berechnet und die neuen Gesetze Gi, Gj werden auf die Mengen R und S angewendet.
• Eine Anordnung zur Ausführung der Berechnungen der obenbeschriebenen Funktionen Gi und Gj wird im folgenden beschrieben.
IV - Anordnung zur Ausführung der Schritte des Verfahrens zum Helligkeitsausgleich
• In Fig. 6, die ein Anordnung zur Signalverarbeitung in Form eines Funktions blockdiagramms zeigt, umfaßt diese Anordnung:
• a) die n Festkameras C1, ..., Ci, Cj, ... Cn zur Bildaufnahme, und zwar so angeordnet, daß ihre jeweiligen Sehfelder sich zu einem einzigen, weitwinkligen Sehfeld für die Aufnahme einer Panoramaszene zusammensetzen. Ihre optischen Mittelpunkte P fallen im wesentlichen zusammen, und zwar mit der zuvor beschriebenen Genauigkeit, und ihre Brennweiten sind fest und bekannt.
• b) Ein Steuersystem (CONTROL), mit dessen Hilfe der Benutzer den Elevations- und Azimutwinkel sowie die Brennweite so einstellen kann, daß die zu einem Bilderzeugungssystem gehörende Steuereinheit eine sogenannte virtuelle, mobile Kamera CV simuliert.
• c) Ein Zielbild-Erzeugungssystem, GVVB (engl. Geometrical Virtual View Builder). Dieses System erzeugt anhand der Eigenschaften der von den realen Kameras gelieferten Quellbilder I1, ... Ii, Ij... In ein sogenanntes Zielbild Iv, das heißt anhand der Koordinaten der Pixel und ihrer Helligkeit abhängig von den Benutzer am Steuersystem eingestellten Parametern.
• Das Bilderzeugungssystem liefert vier Gruppen von Daten:
• I) Die Daten, die zu den Pixeln des restlichen Teils A'i des ersten Bildteils Ivi gehören, das heißt die in dem selektierten Teil Ai nicht enthaltenen Pixel. Die Pixel von A'i sind ebenfalls durch ihre Position im Zielbild Iv und durch ihre Helligkeitsstufe in der Menge R von Ivi gekennzeichnet.
• II) Die Daten, die zu den Pixeln des selektierten Teils Ai des ersten Bildteils Ivi gehören: das heißt die Koordinaten und die Helligkeitsstufen r jedes Pixels von Ai.
• III) Die Daten, die zu den Pixeln des selektierten Teils Aj des zweiten Bildteils Ivj gehören: das heißt die Koordinaten und die Helligkeitsstufen s jedes Pixels von Aj.
• IV) Die Daten, die zu den Pixeln des restlichen Teils A'j des zweiten Bildteils Ivj gehören, das heißt die in dem selektierten Teil Aj nicht enthaltenen Pixel. Die Pixel von A'j sind ebenfalls durch ihre Position im Zielbild Iv und durch ihre Helligkeitsstufe in der Menge S von Ivj gekennzeichnet.
• d) Zwei Speicher MEM. A und MEM. B. Der erste Speicher MEM. A empfängt die zu den Pixeln des selektierten Teils Ai gehörenden Daten und der zweite Speicher MEM. B die zu den Pixeln des selektierten Teils Aj gehörenden Daten.
• e) Das Modul LUT. calcul: Dieses Modul berechnet zunächst das Gesetz F entsprechend der Beziehung s = F(r) durch die im Schritt Nr. 2 des erfindungsgemäßen Verfahrens beschriebene doppelte Rekursion aus den Daten, die zu den Pixeln der selektierten Teile Ai, Aj gehören und sich in MEM. A und MEM. B befinden.
• Dieses Modul berechnet dann die Korrekturgesetze Gi und Gj. Dieses Modul wendet das zuvor berechnete Gesetz F auf die Daten an, die zu dem selektierten Teil Ai gehören und im Speicher MEM. A verfügbar sind, sowie auf die Daten, die zu dem komplementären Teil A'i gehören und am Ausgang I) von GVVB verfügbar sind. Dieses Modul berechnet also für jede Helligkeitsstufe der Menge R von Ivi das Gesetz Gi(R) = kF(R) + (1-k)R. Dieses Modul wendet das Gesetz F auch auf die Daten an, die zu dem selektierten Teil Aj gehören und im Speicher MEM. B verfügbar sind, sowie auf die Daten, die zu dem komplementären Teil A'j gehören und am Ausgang IV) von GVVB verfügbar sind. Dieses Modul berechnet also für jede Helligkeitsstufe F(R) = S von Ivj, das Gesetz Gj(R) = kR + (1-k)F&supmin;¹(R). Man kann k so wählen, daß es gleich dem Verhältnis der Fläche des ersten Bildteils Ivj zur Gesamtfläche des Zielbildes Iv ist.
• f) Zwei Module LUT.A bzw. LUT.B, die die Gesetze Gi und Gj auf jedes Pixel des ersten und zweiten Zielbildteils Ivi, Ivj in Abhängigkeit von ihren Helligkeitsstufen in den Mengen R und S anwenden, so daß die entsprechenden Helligkeitsstufen global ausgeglichen werden.
• g) Zwei Module PART.A und PART.B, die die aus LUT.A bzw. LUT.B kommenden Daten speichern, um den ersten und zweiten Bildteil Ivi und Ivj zu bilden.
• h) Ein Modul D zur Anzeige oder Aufnahme.
• Das Berechnungsmodul LUT ist nicht verschaltet; es ist ein Mikroprozessor, der die obenbeschriebenen Berechnungen ausführt. Die anderen Module können verschaltete Module sein, beispielsweise Codiertabellen (engl. Look Up Table).
• Die in diesen Ausführungen beschriebene Anordnung zum Helligkeitsausgleich ist nicht auf die Helligkeitskorrektur in Bildern beschränkt, die von nebeneinanderliegenden Kameras stammen. Sie kann ebenfalls auf die Überlagerung von temporären Bildern in einer Bildfolge angewendet werden.
• Bei einer anderen Ausführungsform der Erfindung ist es möglich, daß die Kameras C1... Cn Bildaufnahmetabellen verwenden, von denen jede bereits eine Codiertabelle enthält.
• Das bedeutet, daß in jedem Kameramodul C1... CN bereits ein Modul LUT wie LUT.1..., LUT.n vorhanden ist. In diesem Fall können die Module LUT.A und LUT.B aus dem Schema von Fig. 6 entfallen. Dann muß das Ergebnis der Berechnung des Moduls LUT.calcul weitergeleitet werden, um die Daten, die in den den Kameras C1, Cj entsprechenden Tabellen LUT.i, LUTj enthalten sind, zu verändern.
• Dann werden die Ausgaben der verschiedenen Tabellen der Kameras LUT.1... LUT.i, LUTj... LUT.n in ein Bilderzeugungssystem GVVB eingegeben.
• Dies erfordert allerdings zwei Bilderzeugungsysteme vom Typ GVVB: ein erstes System, das die Daten an MEM. A und MEM. B für Berechnungsmodul LUT liefert, und ein zweites System, das nun das endgültige, korrigierte Bild erzeugt.
• Außerdem muß darauf hingewiesen werden, daß die realen Kameras analoge Daten liefern können. In diesem Fall werden Analog/ Digital-Umsetzer verwendet, um die digitalen Quellbilder zu erzeugen.
• Erfindungsgemäß sind zur Erzeugung des Zielbildes allerdings höchstens zwei oder drei Quellbilder notwendig, das heißt nur maximal zwei bzw. drei Umsetzer.
• Wenn die Anzahl der realen Kameras C1... Cn größer ist als die Anzahl der verwendeten Quellbilder, kann ein Multiplex-Modul zwischen den analogen Ausgängen der Kameras und den Eingängen der Umsetzer eingesetzt werden, um die 1 aktiven realen Kameras abhängig von den Eigenschaften der virtuellen Kamera auszuwählen, beispielsweise abhängig vom Azimut-Winkel.
• Wenn die Anzahl der realen Kameras also sechs beträgt und die Anzahl der erforderlichen Quellbilder höchstens zwei, dann wird man nur zwei Analog/Digital- Umsetzer und einen Multiplexer verwenden, um unter den sechs die zwei aktiven realen Kameras Ci, Cj auszuwählen und die zwei digitalen Quellbilder Ii, Ij am Ausgang der entsprechenden Umsetzer zu erhalten.
• Das Ausgangssignal der Umsetzer wird dann dem Eingang des Bilderzeugungssystems GVVB zugeführt.

Claims (13)

1. Bildverarbeitungsverfahren mit einem Schritt zur Erstellung eines sogenannten digitalen Zielbildes (Iv) mit Hilfe von wenigstens zwei aneinandergrenzenden Bildteilen (Ivi, Ivj), die aus aneinandergrenzenden, sogenannten Quellbildern (Ii, Ij) mit fester Ausrichtung gebildet werden, die von einem System von n realen Festkameras geliefert werden, die so angeordnet sind, daß ihre jeweiligen Sehfelder sich so zusammenfügen, daß sie ein einziges weitwinkliges Sehfeld zur Aufnahme einer Panoramaszene bilden, dadurch gekennzeichnet, daß es einen Schritt zum Ausgleich der verschiedenen Helligkeitsstufen von sogenannten entsprechenden Pixeln umfaßt, die sich in den aneinandergrenzenden Bildteilen (Ivi,Ivj) befinden und die die gleiche Helligkeitsstufe hätten, wenn sie sich im gleichen Bildteil befänden, und das die folgenden Teilschritte beinhaltet:

Bestimmung einer ersten und einer zweiten Menge (S. R) von Graustufen der Pixel eines ersten bzw. zweiten aneinandergrenzenden Bildteils (Ivi,Ivj),

Bestimmung einer ersten und einer zweiten Teilmenge (s,r) von Helligkeitsstufen der ersten bzw. zweiten Teilmenge (Ai, Aj) von entsprechenden Pixeln (m'i,m'j) des ersten und zweiten Bildteils (Ivi,Ivj),

Bestimmung eines Entsprechungsgesetzes (F) zwischen den Helligkeitsstufen der entsprechenden Pixel (m'i,m'j) der ersten und der zweiten Teilmenge (s,r) von Helligkeitsstufen,

Bestimmung in Abhängigkeit von dem genannten Gesetz (F) eines ersten und eines zweiten Gesamtausgleichsgesetzes [Gi(R),Gj(S)] für die Helligkeitsstufen der entsprechenden Pixel der ersten und der zweite Menge von Helligkeitsstufen (S,R),

Anwendung des ersten und des zweiten Gesamthelligkeits-Ausgleichsgesetz [Gi(R),Gj(S)] im ersten bzw. im zweiten Bildteil (Ivi, Ivj).

2. Bildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Teilschritt zur Bestimmung des Entsprechungsgesetzes (F) folgendes umfaßt:

eine Berechnung einer Funktion, die die Helligkeitsstufen der Pixel der ersten Teilmenge (s) von Helligkeitsstufen den Helligkeitsstufen der entsprechenden Pixel der zweiten Teilmenge (r) von Helligkeitsstufen durch eine Beziehurig mit höherem Grad als 2 der Form s = F(r) entsprechen läßt.

3. Bildverarbeitungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Teilschritt zur Bestimmung der ersten und der zweiten Helligkeits-Teilmenge (r,s) folgendes umfaßt:

eine Bestimmung der Position einer Grenzgeraden (L), die sich zwischen zwei nebeneinanderliegenden Rändern der zwei Bildteile (Ivi,Ivj) befindet, die aus den zwei angrenzenden und Rand an Rand positionierten Quellbildern (Ii, Ij) erzeugt werden,

eine Selektion von Pixeln, die in dem ersten bzw. zweiten Bildteil (Ivi, Ivj) entlang der Zeilen oder Spalten parallel zur Grenzgeraden ausgerichtet und symmetrisch bezüglich dieser Grenzgeraden sind, um die ersten und die zweite Teilmenge (Ai, Aj) von Pixeln zu bilden,

eine Gruppierung der Pixel der ersten bzw. der zweiten (Ai, Aj) in Paare von Pixeln, die als entsprechend bezeichnet werden, wenn sie als Koordinaten die gleiche Koordinate auf einer Achse parallel zur Grenzgeraden und eine bezüglich der Grenzgeraden symmetrische Koordinate auf einer zu dieser Grenzgeraden senkrechten Achse in einem Achsensystem des Zielbildes (Iv) haben,

Bildung einer ersten und einer zweiten Teilmenge (s,r) von Helligkeitsstufen mittels der ersten und zweiten Pixel der Paare (m'i,m'j) von entsprechenden Pixeln.

4. Bildverarbeitungsverfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Teilschritt zur Bestimmung der ersten und der zweiten Helligkeits-Teilmenge (r,s) folgendes umfaßt:

eine Bestimmung eines Bereichs (LiLj) mit gegenseitiger Überlappung zweier aneinandergrenzender Bildteile (Ivi,Ivj), die aus zwei Quellbildern (Ii, Ij) mit einer Überschneidungszone erzeugt werden,

eine Selektion von Pixeln des Überlappungsbereich, die sich in dem ersten bzw. dem zweiten Teil aneinandergrenzender Bilder (Ivi,Ivj) befinden, um die erste und die zweite Teilmenge (Ai,Aj) von Pixeln zu bilden,

eine Gruppierung der Pixel der ersten bzw. der zweiten Teilmenge (Ai,Aj) in Paare von Pixeln, die als entsprechend bezeichnet werden, wenn sie die gleichen Koordinaten in einem Achsensystem im Zielbild (Iv) haben,

Bildung einer ersten und einer zweiten Teilmenge (s,r) von Helligkeitsstufen mittels der ersten bzw. der zweiten Pixel der Paare (m'j,m'j) von entsprechenden Pixeln.

5. Bildverarbeitungsverfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, daß der Teilschritt zur Bestimmung des Entsprechungsgesetzes (F) die Ausführung eines sogenannten iterativen Aufhellungsverfahren umfaßt, das folgendes beinhaltet:

einen ersten Schritt zur Berechnung einer ersten Entsprechungsfunktion (F) mit einer ersten repräsentativen Kurve der Form s = F(r), die am besten die Punkte einer ersten Wolke von Punkten (N1) durchläuft, die durch die Helligkeitsstufen (r,s) der Paare von entsprechenden Pixeln gebildet werden,

einen zweiten Schritt zur Berechnung einer zweiten Entsprechungsfunktion (F) mit einer zweiten repräsentativen Kurve, die am besten die Punkte einer zweiten Wolke von Punkten (N2) durchläuft, die durch die Helligkeitsstufen (r,s) der Paare von Pixeln gebildet wird, die in Abhängigkeit von ihrem Abstand zur ersten repräsentativen Kurve gewichtet sind, wobei die geringsten Gewichte den am weitesten von der ersten repräsentativen Kurve entfernten Punkte zugeordnet werden,

und spätere Schritte zur Berechnung von nachfolgenden Entsprechungsfunktionen (F) mit repräsentativen Kurven, die am besten die Wolken von Punkten durchlaufen, die nacheinander gebildet werden, indem bei jedem Schritt das Gewicht der Punkte verringert wird, die am weitesten von der beim vorherigen Schritt berechneten repräsentativen Kurve entfernt sind, bis eine repräsentative Kurve s = F(r) im wesentlichen durch die restlichen Punkte verläuft, denen zuvor bestimmte höhere Gewicht zugeordnet sind,

die Bestimmung der im letzten Schritt berechneten Funktion als Entsprechungsgesetz (F), das bei der Berechnung des ersten und des zweiten Gesamtausgleichsgesetzes (Gi,Gj) verwendet wird.

6. Bildverarbeitungsverfahren nach Ansprach 5, dadurch gekennzeichnet, daß die Gewichte, die den Punkten der Wolken jenseits von zuvor bestimmten Abständen zu den bei einem Schritt betrachteten Kurven zugewiesen wurden, auf null gesetzt werden, um diese Punkte beim folgenden Rechenschritt zu eliminieren.

7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, daß das Entsprechungsgesetz eine sogenannte Gamma-Funktion der Form F(r) = a + brc ist, wobei r die Helligkeitsstufen der ersten Teilmenge (r) von Helligkeitsstufen der ersten Teilmenge (Ai) von Pixeln (m'i) repräsentiert und a, b und c Konstanten sind, und daß es einen Schritt zur Bestimmung der Konstanten a, b und c durch Iteration umfaßt.

8. Bildverarbeitungsverfahren nach Anspruch 7, dadurch gekennzeichnet, daß es die Bestimmung des Entsprechungsgesetzes (F) durch eine doppelte Iteration umfaßt, bei der der erste Rechenschritt folgendes umfaßt:

eine erste Phase zur Bestimmung der Parameter a,b,c, die mittels eines ersten Schrittes erfolgt, bei dem ein erster Wert des Parameters c des Exponenten festgelegt wird und die Parameter a und b für eine erste Wolke (N1) von Paaren von Punkten (r,s) berechnet werden, und spätere Schritte, in denen zweite, dritte... usw. Werte des Parameters c des Exponenten festgelegt werden und die Parameter a und b für die gleiche Wolke (N1) von Paaren von Punkten (r,s) berechnet werden, und im Anschluß daran Werte einer Gruppe von Parametern a,b,c als diejenigen ausgewählt werden, die eine erste Entsprechungsfunktion (F) liefern, so daß F(r) = a + brc am besten durch die erste Wolke (N1) von Punkten (r,s) verläuft,

eine zweite Aufhellungsphase, bei der in einem ersten Schritt die Punkte der ersten Wolke (N1) eliminiert werden, die am weitesten von der die Funktion (F) repräsentierenden und in der ersten Phase bestimmten Kurve entfernt sind, um eine zweite, aufgehellte Wolke (N2) von Punkten zurückzubehalten, und eine doppelte Iteration, bei der der zweite Rechenschritt folgendes umfaßt:

eine erste Phase zur Bestimmung der Parameter a,b,c, die durchgeführt wird, indem der im ersten Schritt berechnete Wert des Parameters c verwendet wird und die Parameter a,b so ausgewählt werden, daß die Funktion F(r) = a + brc am besten durch die zweite aufgehellte Wolke (N2) von Punkten (r,s) verläuft,

und eine zweite Phase, die durchgeführt wird, indem man die Versuche unter Verwendung von Werten für den Parameter c, die um den bei dem ersten Schritt bestimmten Wert herumliegen, fortsetzt, bis die Funktion F(r) = a + bc am besten durch die restlichen Punkte (r,s) verläuft, deren Abstand zu der diese Funktion (F) repräsentierenden Kurve unter einem zuvor bestimmten Abstand liegt.

9. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß es folgendes umfaßt:

die Berechnung des ersten Gesamtausgleichsgesetzes (Gi) und des zweiten Gesamtausgleichsgesetzes (Gj) als lineare Funktionen des Entsprechungsgesetzes (F).

10. Bildverarbeitungsverfahren nach Anspruch 9, dadurch gekennzeichnet, daß das erste Gesamtausgleichsgesetz in der Form Gi(R) = kF(R) + (1-k)R und das zweite Gesamtausgleichsgesetz in der Form Gj(S) = kS + (1-k)F&supmin;¹(S) gewählt wird, wobei F das Entsprechungsgesetz ist, k eine Konstante, die den flächenmäßigen Anteil einer der beiden Bildteile (Ivi,Ivj) im gesamten Zielbild (Iv) berücksichtigt, und R und S entsprechende Helligkeitsstufen der ersten und der zweiten Menge (R,S) von Helligkeitsstufen sind.

11. Bildverarbeitungssystem mit:

einem System zur Digitalisierung von Bildern,

einem eine Reihe von aneinandergrenzenden sogenannten Quellbildern (I1,..Ii,Ij..In) lieferndes System aus n realen Festkameras (C1,..Ci, Cj,..Cn), die so angeordnet sind, daß ihre jeweiligen Sehfelder sich so zusammensetzen, daß sie ein einziges weitwinkliges Sehfeld zur Aufnahme einer Panoramaszene bilden,

einem Bilderzeugungssystem (GWB), das eine sogenannte virtuelle Kamera (Cv) simuliert, die die Panoramszene kontinuierlich abtastet, um ein sogenanntes Zielteilbild (Iv) zu liefern, das aus wenigstens zwei aneinandergrenzenden Bildteilen (Ivi, Ivj) gebildet wird, einem ausgewählten Abschnitt des weitwinkligen Sehfeldes entspricht und aus den aneinandergrenzenden Quellbildern (Ii, Ij) erzeugt wird, dadurch gekennzeichnet, daß dieses Verarbeitungssystem außerdem Mittel zur Ausführung des in Anspruch 1 beschriebenen Verfahrens umfaßt, wobei diese Mittel ein System zum Helligkeitsausgleich beinhalten, um global die verschiedenen, Helligkeitsstufen von sogenannten entsprechenden Pixeln auszugleichen, die sich in aneinandergrenzenden Bildteilen (Ivi, Ivj) befinden und die die gleiche Helligkeitsstufe hätten, wenn sie sich im gleichen Bildteil befinden würden, mit:

Speichermodulen (MEM.A,MEM.B), um eine erste und eine zweite Menge (S,R) von Helligkeitsstufen der Pixel eines ersten bzw. zweiten aneinandergrenzenden Bildteils (Ivi, Ivj) sowie eine erste und eine zweite Teilmenge (s,r) von Helligkeitsstufen einer ersten bzw. zweiten Teilmenge (Ai, Aj) von entsprechenden Pixeln (m'i,m'j) des ersten und des zweiten Bildteils (Ivi, Ivj) zu liefern,

einem Berechnungsmodul (LUT.CALCUL) für ein Entsprechungsgesetz (F) zwischen den Helligkeitsstufen entsprechender Pixel (m'i,m'j) der ersten und der zweiten Teilmenge (s,r) von Helligkeitsstufen,

einem ersten und einem zweiten Tabellenmodul (LUT.A,LUT.B), um ein erstes und ein zweites Gesamtausgleichsgesetz [Gi(R),Gj(S)] im ersten bzw. im zweiten Bildteil (Ivi,Ivj) auf Helligkeitsstufen der entsprechenden Pixel der ersten und zweiten Menge von Helligkeitsstufen (S. R) anzuwenden, wobei diese Gesetze abhängig von dem genannten Entsprechungsgesetz (F) berechnet werden.

12. System nach Anspruch 11, dadurch gekennzeichnet, daß es außerdem zur Erzeugung des Zielbildes (Iv) im Erzeugungssystem (GVVB) folgendes umfaßt:

ein Steuermodul (CONTROL), das die virtuelle mobile Kamera (Cv) mittels dreier Parameter regelt:

1) die als Azimutveränderung bezeichnete Panorama-Ausrichtungsveränderung (PAN) ihrer optischen Achse, die einer Ausrichtungsveränderung, parallel zu einer horizontalen Ebene, dieser optischen Achse entspricht, die durch einen festen optischen Mittelpunkt verläuft, den gleichzeitig alle realen Festkameras und die virtuelle mobile Kamera gemeinsam haben,

2) die als Elevationsveränderung bezeichnete Ausrichtungsveränderung (TILT) ihrer immer durch den festen optischen Mittelpunkt verlaufenden optischen Achse in einer vertikalen Ebene,

3) die Veränderung des Fokussierungsabstandes der virtuellen Kamera, die es ermöglicht, ein mehr oder weniger vergrößertes Bild zu liefern, und ein Multiplexmodul, um von allen realen Kameras (C1, ... Cn) die zwei Kameras (Ci, Cj) auszuwählen, die den Quellbildern (Ii, Ij) entsprechen, die zur Lieferung der Daten der in die Erzeugung des Zielbildes (Iv) eingehenden Zielteilbilder (Ivi,Ivj) erforderlich sind.

13. System nach einem der Ansprüche 11 oder 12, dadurch gekennzeichnet, daß es außerdem Module (PART.A, PART.B) zur Speicherung der verarbeiteten Daten des ersten und des zweiten Zielteilbildes (Ivi, Ivj) und ein Modul (D) zur Anzeige oder Aufzeichnung umfaßt.