DE69131251T2

DE69131251T2 - System und Verfahren zur Verarbeitung von gespeicherte Bilder darstellenden Daten

Info

Publication number: DE69131251T2
Application number: DE69131251T
Authority: DE
Inventors: Michael John Garrett; Andrew Key; Kenneth Morse
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1991-08-15
Filing date: 1991-08-15
Publication date: 1999-12-09
Anticipated expiration: 2011-08-16
Also published as: DE69131251D1; US5557728A; JPH0711778B2; EP0528084A1; EP0528084B1; JPH05216615A

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Verarbeitung von Daten, die gespeicherte Bilder darstellen.
Die elektronische Bildverarbeitung ist zu einem wichtigen Entwicklungsbereich geworden, und in vielen Lebensbereichen wie Konstruktion, Design, Sicherheit und Bildung sind bereits große Mengen elektronisch generierter Bilder produziert worden. Diese Bilder werden mit verschiedenen Verfahren erzeugt, z. B. durch Erstellung am Computer oder durch Reproduktion von Bildern mit Hilfe von Scannern. Insbesondere die Entwicklung von Scannern hat ermöglicht, daß große Mengen detailgenauer Bilddaten erzeugt werden können.
Solche elektronisch erzeugten Bilder können als Datendateien gespeichert werden, die zu einem späteren Zeitpunkt abgerufen und bearbeitet werden können. Mit wachsender Anzahl dieser Bilder und zunehmender Größe der Datenbanken, in denen die zugehörigen Datendateien gespeichert werden, ist es aber schwierig geworden, schnell und einfach auf diese Datendateien zuzugreifen und sie zu bearbeiten.
Nach dem Stand der Technik gibt es einige Verfahren zum Abrufen von Daten, die gespeicherte Bilder darstellen. Ein solches System ermöglicht es dem Benutzer, die Datendateien bei der Speicherung mit einer alphanumerischen Kennung zu versehen, anhand derer später auf die Daten zugegriffen werden kann. Auch wenn diese Kennungen beschreibend sein können, kann es beim Zugrei fen auf den Dateiinhalt Schwierigkeiten geben, vor allem für einen Benutzer, der die Bilddaten nicht selber erfaßt hat und die Kennung nicht weiß, oder für einen Benutzer, der die Kennung schlicht und einfach vergessen hat. Einem Benutzer in dieser Situation bleibt nur die Möglichkeit, den Inhalt aller Dateien nacheinander zu betrachten, bis er das gewünschte Bild gefunden hat.
An dem erwähnten System wurden bereits Verbesserungen vorgenommen, die es dem Benutzer erlauben, der Datendatei bei der Speicherung in der Datenbank nicht nur eine einzige alphanumerische Kennung anzuhängen, sondern gleich mehrere. Davon ist eine der eigentliche Dateiname und die übrigen sind beschreibende Schlüsselwörter, die die Suche nach der Datei zu einem späteren Zeitpunkt erleichtern. Der Benutzer kann dann die Datenbank nach einem gewünschten Bild durchsuchen, indem er eine Auswahl von Schlüsselwörtern eingibt, von denen er annimmt, daß sie das gewünschte Bild beschreiben. Diese Schlüsselwörter werden vom Datenbanksystem als Suchwörter benutzt, wobei die in der Datenbank gespeicherten Datendateien daraufhin durchsucht werden, ob sie eines oder mehrere dieser angehängten Schlüsselwörter besitzen. Nach der Datenbanksuche erhält der Benutzer eine Liste der Dateinamen von Datendateien, die eines oder mehrere der angehängten Schlüsselwörter besitzen. Aus diesen Dateinamen kann der Benutzer eine oder mehrere Dateien auswählen und bearbeiten oder eine weitere Suche starten, wenn z. B. die Liste der Dateinamen zu lang ist, oder wenn die gewünschte Datendatei nicht in der Liste aufgeführt ist. Der Benutzer steht aber immer noch vor dem gleichen Problem wie oben, nämlich daß ihm die Dateinamen möglicherweise nichts sagen und er dann die einzelnen Bilder nacheinander betrachten muß.
Seitenorientierte Systeme greifen auf Benutzerbefehl seitenweise auf Bilddaten zu. Eine Datei kann beispielsweise Daten enthalten, die zu mehreren Bildern gehören. Damit der Benutzer das richtige Bild für eine nachfolgende Datenbearbeitung (z. B. Senden an den Drucker) aufrufen kann, werden die einzelnen Seiten der Daten nacheinander auf dem Bildschirm angezeigt, und der Benutzer wählt das Bild aus, das gedruckt werden soll. Bei solchen Systemen müssen für jede Seite die gesamten Bilddaten seitenweise bearbeitet und auf dem Bildschirm dargestellt werden; es wird also viel Zeit darauf verwendet, überflüssige Daten (d. h. Seiten der Datei, die der Benutzer gar nicht drucken will) im System zu übertragen.
In der Europapatentanmeldung EP 0,415,529 wird ein Informationsverarbeitungssystem beschrieben, in dem Daten, z. B. über einen Scanner, in das System eingegeben und in einem Bildspeicher gespeichert werden. Eine Komprimierungslogik reduziert dann die Datenmenge im Bildspeicher zu einem Piktogramm der ursprünglichen vollständigen Bilddaten, das in Form einer Bitmap in Verbindung mit Daten für das Vollbild im System gespeichert wird. Das Piktogramm enthält die markanten Merkmale des Vollbildes, aber keine unnötig feinen Details und fungiert als ein bildhaftes Etikett des Vollbildes und als Ersatz für die Dateinamen in älteren Systemen. Wenn ein Benutzer eine Datei öffnet, erscheinen die Piktogramme zu jedem Vollbild in der Datei gemeinsam auf dem Monitor. Dieses Piktogrammsystem kann auch in Systeme integriert werden, die nach Schlüsselwörtern suchen wie oben beschrieben, wobei als Ergebnis der Suche anstelle einer Liste von Dateinamen eine Gruppe von Piktogrammen angezeigt wird. Der Benutzer kann dann beispielsweise mit Hilfe einer Maus oder eines Cursors ein bestimmtes Piktogramm auswählen und sich so das zugehörige Vollbild auf dem Bildschirm anzeigen lassen. Dieses Verfahren hat sich als vorteilhafter als die anderen beschrie benen Verfahren erwiesen, da die Identifizierung anhand eines auf eine vorgegebene Größe verkleinerten Bildes erfolgt, und nicht anhand eines Dateinamens, der dem Benutzer möglicherweise nicht viel sagt.
Die Identifizierung von Bildern mittels Piktogrammen hat aber auch Nachteile. Da Piktogramme nur die markanten Merkmale eines ursprünglichen Bildes und keine feinen Details besitzen, sind sie ziemlich grob aufgelöst und eignen sich deshalb nicht für eine qualitativ hochwertige Komprimierung, vor allem bei Farbbildern. Auch können die Piktogramme nicht zu einer detaillierteren Darstellung dekomprimiert werden, da sie keine Informationen enthalten, die eine solche Dekomprimierung ermöglichen würde. Einmal erstellte Piktogramme haben deshalb eine festgelegte Größe. Dieser Mangel an Flexibilität bedeutet, daß eine Gruppe von Piktogrammen in der Regel nicht ideal für die Anzeige geeignet ist, da ihre Anzahl zu groß ist, um alle Piktogramme einer Gruppe auf einmal anzuzeigen, oder im anderen Extremfall nur wenige Piktogramme vorhanden sind, wobei ein großer Teil der Anzeigefläche nicht genutzt wird.
In DE-A-39 40 051 wird ein System beschrieben, in dem eine Reihe von Bildern anfangs mit einer vorgegebenen reduzierten räumlichen Auflösung angezeigt werden, um die Anzahl der Bilder, die gleichzeitig angezeigt werden können, zu erhöhen. Die Bilder mit der vollen Auflösung werden dann abgerufen, indem die betreffenden reduzierten Bilder ausgewählt werden.
Eine Aufgabe der vorliegenden Erfindung ist es, ein System und ein Verfahren zur Verarbeitung von Daten, die gespeicherte Bilder darstellen, zur Verfügung zu stellen, so daß eine Gruppe gespeicherter Bilder gleichzeitig auf einem Ausgabemedium mit einem vorgegebenen Bereich auf eine Weise dargestellt werden kann, bei der der Ausgabebereich effektiver genutzt wird.
Die vorliegende Erfindung liefert deshalb ein System zur Verarbeitung von Daten, die gespeicherte Bilder darstellen, so daß ein Satz gespeicherter Bilder gleichzeitig auf einem Ausgabemedium mit einem festgelegten Ausgabebereich dargestellt werden kann, wobei das System folgende Komponenten besitzt: ein Skalierungsmittel zum Skalieren eines gespeicherten Bildes aus dem Satz, so daß das Bild auf dem Ausgabemedium in einem von mehreren Teilbereichen des Ausgabebereichs dargestellt werden kann; und eine Zuordnungsvorrichtung zum Zuordnen jedes der gespeicherten Bilder aus dem Satz zu einem zugeteilten Teilbereich; wobei das System gekennzeichnet ist durch: ein Teilungsmittel zum Unterteilen des Ausgabebereichs in die bestimmte Anzahl von Teilbereichen, wobei das Teilungsmittel die Anzahl der Teilbereiche in Abhängigkeit von der Anzahl der im Satz gespeicherten Bilder festlegt und daran angepaßt ist, den Ausgabebereich in eine bestimmte Anzahl von Teilbereichen zu unterteilen, die der Anzahl der im Satz gespeicherten Bilder bis zu einer maximalen Anzahl von Teilbereichen entspricht, und wobei die Zuordnungsvorrichtung dann jedem gespeicherten Bild des Satzes einen der Teilbereiche zuordnet; und wobei das Teilungsmittel daran angepaßt ist, wenn die Anzahl der gespeicherten Bilder im Satz einen Maximalwert überschreitet, den Ausgabebereich in aufeinanderfolgende Teilbereichssätze zu unterteilen, damit jeweils ein Teilbereichssatz nach dem anderen dargestellt wird, wobei jeder Teilbereichssatz nicht mehr als die maximale Anzahl von Teilbereichen enthält; wobei das Skalierungsmittel so aufgebaut ist, daß das gespeicherte Bild um einen Faktor skaliert wird, der von den Abmessungen der vom Teilungsmittel erzeugten Teilbereiche abhängig ist, und das Bild bei der Darstellung auf dem Ausgabemedium einen ausgewählten Bereich innerhalb des zugeordne ten Abschnitts des Ausgabebereichs in Anspruch nimmt; wodurch der Satz von Bildern gleichzeitig oder in aufeinanderfolgenden Darstellungen, die gleichzeitig mehrere Bilder des Satzes umfassen, auf dem Ausgabemedium dargestellt werden kann, so daß im wesentlichen unabhängig von der Anzahl der im Satz gespeicherten Bilder der gesamte Ausgabebereich benutzt werden kann.
Das erfindungsgemäße System kann den Ausgabebereich in mehrere Teilbereiche unterteilen, wobei die Anzahl der Teilbereiche größer oder gleich groß wie die Anzahl der gespeicherten Bilder des Satzes ist. In der bevorzugten Ausführungsform unterteilt das Teilungsmittel den Ausgabebereich in eine Anzahl von Teilbereichen, die mit der Anzahl der gespeicherten Bilder des betreffenden Satzes identisch ist, solange dadurch keine Teilbereiche entstehen, deren Seitenverhältnis zu stark von dem der darin darzustellenden Bildern abweicht. Wenn die Anzahl der Teilbereiche mit der Anzahl der gespeicherten Bilder des Satzes identisch ist, ordnet das Zuordnungsmittel jedem gespeicherten Bild des Satzes einen der Teilbereiche zu, so daß allen Teilbereichen ein Bild zugeordnet wird. Außerdem kann das Skalierungsmittel so gestaltet sein, daß die gespeicherten Bilder so skaliert werden, daß sie im wesentlichen den gesamten ihnen zugeordneten Teilbereich ausfüllen, so daß im wesentlichen der gesamte Ausgabebereich zur Darstellung der gespeicherten Bilder des Satzes genutzt wird.
Das erfindungsgemäße System kann mit oder ohne Obergrenze für die Anzahl der vom Teilungsmittel erstellbaren Bereiche arbeiten. In der bevorzugten Ausführungsform darf die Anzahl der vom Teilungsmittel erstellten Bereiche aber eine vorgegebene Zahl nicht überschreiten, und wenn die Anzahl der gespeicherten Bilder im Satz größer ist als diese Zahl, ordnet das Zuordnungsmittel die gespeicherten Bilder aufeinanderfolgenden Sätzen von Teilbereichen zu, wobei jeder Satz nicht mehr als die vorgegebene Anzahl von Teilbereichen enthält. Diese Sätze werden dann im Ausgabebereich Satz für Satz dargestellt.
Das erfindungsgemäße System kann Bilddaten aus verschiedenen Quellen verarbeiten. In der bevorzugten Ausführungsform sind die Daten, die gespeicherte Bilder darstellen, aber das Ergebnis einer Suche in einer Bilddatenbank.
Das im erfindungsgemäßen System verwendete Ausgabemedium kann der Bildschirm eines Monitors, eine von einem Drucker ausgegebene Seite oder eine beliebige Anzahl anderer Ausgabemedien sein, die sich für die Reproduktion von Bildern eignen. In der bevorzugten Ausführungsform ist das Ausgabemedium der Bildschirm eines Monitors.
Die vorliegende Erfindung liefert außerdem ein Verfahren zur Verarbeitung von Daten, die gespeicherte Bilder darstellen, damit ein Satz der gespeicherten Bilder gleichzeitig auf einem Ausgabemedium mit einem festgelegten Ausgabebereich dargestellt werden kann, wobei das Verfahren folgende Schritte umfaßt: Skalieren eines gespeicherten Bildes aus dem Satz, so daß das Bild auf dem Ausgabemedium in einer bestimmten Anzahl von Teilbereichen des Ausgabebereichs dargestellt werden kann; und Zuordnen eines der Bereiche zu jedem gespeicherten Bild in dem Satz; wobei das Verfahren durch folgende Schritte gekennzeichnet ist: Unterteilen des Ausgabebereichs in eine bestimmte Anzahl von Teilbereichen, wobei die Anzahl der Teilbereiche so festgelegt wird, daß sie bis zu einer maximalen Anzahl von Teilbereichen der Anzahl der in dem Satz gespeicherten Bilder entspricht, wobei jedem Bild des Satzes einer der Teilbereiche zugeordnet wird, und wobei der Unterteilungsschritt bei Überschreitung der maximalen Anzahl den Ausgabebereich in Abhängigkeit von der An zahl der gespeicherten Bilder in dem Satz in aufeinanderfolgende Gruppen von Teilbereichen unterteilt, von denen jeweils ein Satz dargestellt wird, wobei jeder Satz von Teilbereichen nicht mehr als die maximale Anzahl von Teilbereichen enthält; im Skalierungsschritt Skalieren des gespeicherten Bildes um einen Faktor, der von den Abmessungen der vom Teilungsmittel erzeugten Teilbereiche abhängig ist, so daß bei der Darstellung des Bildes auf dem Ausgabemedium das Bild einen ausgewählten Ausschnitt innerhalb des zugehörigen Teilbereichs des Ausgabebereichs belegt; und Übertragung des skalierten gespeicherten Bildes auf das Ausgabemedium zur Darstellung in dem zugeordneten Teilbereich des Ausgabebereichs; wodurch der Satz von Bildern gleichzeitig oder in aufeinanderfolgenden Darstellungen, die gleichzeitig mehrere Bilder des Satzes umfassen, auf dem Ausgabemedium dargestellt werden kann, so daß im wesentlichen unabhängig von der Anzahl der in der Gruppe gespeicherten Bilder der gesamte Ausgabebereich benutzt werden kann.
Die vorliegende Erfindung kann in vielen Bereichen Anwendung finden, in denen Bilder gespeichert und abgerufen werden, z. B. in der Fotographie, in Museen, Kunstsammlungen und bei Zeitungs- und Zeitschriftenverlagen. Die vorliegende Erfindung erleichtert auch das Senden und Betrachten verkleinerter Bilder über ein Netzwerk, mit der inhärenten geringeren Bandbreite bei solchen verkleinerten Bildern.
Die Erfindung wird im folgenden an einer Ausführungsform unter Bezugnahme auf die beigefügten Zeichnungen exemplarisch beschrieben. Die Zeichnungen haben folgenden Inhalt:
Fig. 1 ist ein Blockdiagramm, das den Aufbau eines Systems gemäß einer Ausführungsform der Erfindung zeigt.
In Fig. 2 ist ein Komprimierungsschritt dargestellt, der von einem typischen Komprimierungsalgorithmus ausgeführt wird, um ein komprimiertes Bild für die Speicherung zu erzeugen.
In Fig. 3 ist zu sehen, wie ein Komprimierungs-/Dekomprimierungsalgorithmus auf der Basis der Gaußschen Pyramide der progressiven Transmission nach Burt und Adelson in der bevorzugten Ausführungsform der Erfindung verwendet wird.
Fig. 4 zeigt einen Bildschirm, auf dem sechs Bilder in "zurechtgeschnittenen" Anzeigebereichen dargestellt werden.
In einer typischen Umgebung kann ein erfindungsgemäßes System benutzt werden, um Daten zu verarbeiten, die einen Satz Bilder darstellen, welcher aus einer Standard-Schlüsselwortsuche in einer Bilderdatenbank mit einem Computerterminal, über das der Benutzer mit dem System kommuniziert, hervorgeht.
Mit zunehmender Zahl der erzeugten elektronischen Bilder mußten die Datenbanken, in denen sie gespeichert wurden, angepaßt werden. In den meisten modernen Umgebungen ist es nicht mehr praktisch, jedes Bild in seiner vollständigen, unkomprimierten Form zu speichern, da dies viel teuren Speicherplatz beanspruchen würde. Typischerweise werden Bilder mit Hilfe bekannter Komprimierungsalgorithmen reversibel komprimiert und dann in komprimierter Form als Datendatei mit den zugehörigen alphanumerischen Kennungen gespeichert. Das in einem typischen Komprimierungsalgorithmus verwendete Verfahren wird anhand von Fig. 2 beschrieben, wo ein Komprimierungsschritt detailliert dargestellt ist.
In Fig. 2 wird ein Bild von einem Scanner gelesen, um eine Bild 100 in realer Größe von beispielsweise 128 · 128 Bildpunkten zu erzeugen. Der Komprimierungsalgorithmus komprimiert dann dieses Bild 100 mit Hilfe eines Durchschnittsbildungsverfahrens, um ein Bild 200 mit einer Größe von 64 · 64 Bildpunkten zu erzeugen. Dann wird mit Hilfe eines Interpolationsverfahrens aus dem komprimierten Bild 200 ein Bild mit 128 · 128 Bildpunkten erzeugt. Dieses interpolierte Bild 300 wird dann mit dem ursprünglichen Bild 100 verglichen, um einen Satz Differenzwerte zu generieren, die die Unterschiede zwischen den Bildpunkten im ursprünglichen Bild 100 und den entsprechenden Bildpunkten in der aus dem komprimierten Bild 200 interpolierten Version 300 des Bildes zu definieren. In der Regel sind die Differenzwerte niedrig, und bei einem großen Teil der Bildpunkte sogar gleich null. Das komprimierte Bild 200 zusammen mit den Differenzwerten kann deshalb wesentlich ökonomischer gespeichert werden als das ursprüngliche Bild 100. Das komprimierte Bild kann dann abgerufen, interpoliert und auf die übliche Weise auf 128 · 128 Bildpunkte interpoliert werden, und anschließend kann das 128 · 128 Bildpunkte große Bild 300 mit Hilfe der Differenzwerte so adaptiert werden, daß eine exakte Kopie des ursprünglichen Bildes 100 entsteht.
Die obige Beschreibung ist eine Erläuterung des allgemeinen Komprimierungsverfahrens; in der Praxis finden viele solche Komprimierungsschritte statt, so daß ein stark komprimiertes Bild zusammen mit mehreren Differenzwertesätzen gespeichert wird. Die mit solchen komprimierten Bildern gespeicherten alphanumerischen Kennungen können Angaben wie Vertraulichkeitsstatus, Bildqualität, eine eindeutige Fotonummer für jedes Bild und einen Satz Schlüsselwörter enthalten, damit die Datei zu einem späteren Zeitpunkt leichter abgerufen werden kann. Es können auch mehrere Bilder in einer Datendatei gespeichert wer den; dies kann von Vorteil sein, wenn beispielsweise mehrere Bilder zum gleichen Thema vorhanden sind.
Im typischen Fall besitzt das Computersystem, das die Datenbank verwaltet, einen Monitor und eine Tastatur, über die der Benutzer mit dem System kommunizieren kann, sowie eine Standardlogik, die das Suchen und Abrufen von Dateien aus der Datenbank durch Eingabe von Fotonummern oder Schlüsselwörtern ermöglicht. In der bevorzugten Ausführungsform ist ein erfindungsgemäßes System in das Computerterminal integriert und bearbeitet die Ergebnisse der Datenbanksuche so, daß sie auf dem Monitor angezeigt werden können.
Ein Benutzer, der ein bestimmtes Bild oder eine bestimmte Bildergruppe abrufen will, kann am Terminal entweder die Fotonummer des gewünschten Bildes oder mehrere beschreibende Schlüsselwörter eingeben. Wenn der Benutzer eine bestimmte Fotonummer eingibt, wird die Datenbank danach durchsucht, und die entsprechende Datendatei wird abgerufen. Hat der Benutzer statt dessen beschreibende Schlüsselwörter eingegeben, so wird die Datenbank auf die übliche Weise durchsucht, um alle Datendateien zu finden, denen eines oder mehrere dieser Schlüsselwörter zugeordnet sind.
In der bevorzugten Ausführungsform der vorliegenden Erfindung unterzieht das Terminal die abgerufenen Dateien weiteren Operationen wie Skalierung und Positionierung der Bilder, bevor sie angezeigt werden. Wie dies im einzelnen geschieht wird im Zusammenhang mit Fig. 1 beschrieben.
In Fig. 1 gibt ein Benutzer auf einer Tastatur 10, die zum Durchsuchen einer Bilderdatenbank 20 benutzt wird, eine "Abfra ge", z. B. eine Suchwörterliste, ein. Daraufhin wird eine Gruppe von Fotonummern erzeugt, die alle Bilder in der Datenbank 20 enthält, die die in der Abfrage eingegebenen Suchkriterien erfüllen. Diese Gruppe von Fotonummern wird dann in einem Speicherelement 30 gespeichert, wobei jede Fotonummer ein bestimmtes Bild in der Datenbank 20 bezeichnet. Wenn jede Datei nur ein Bild enthält, ist die Anzahl der Fotonummern gleich der Anzahl der bei der Suche gefundenen Dateien. Es ist jedoch auch möglich, daß eine Datei mehrere Bilder enthält; in diesem Fall können mehrere Fotonummern für diese eine Datei abgerufen werden.
Die im Speicherelement 30 gespeicherten Fotonummerinformationen werden dann an ein Teilungsmittel 40 übergeben, wo anhand dieser Informationen bestimmt wird, wie die entsprechenden Bilder auf dem Anzeigebereich des Monitorbildschirms 80 positioniert werden.
Zuerst stellt das Teilungsmittel 40 fest, wieviele Bilder maximal zusammen auf dem Bildschirm angezeigt werden können. Diese maximale Anzahl wird in der Regel durch eine vorgegebene Zahl im Speicher bestimmt, kann aber ebenso gut vom Benutzer als Antwort auf eine Eingabeaufforderung auf dem Monitorbildschirm 80 eingegeben werden. Wenn der Bildschirm des Monitors beispielsweise einen Anzeigebereich von 1000 · 600 Bildpunkten besitzt und festgestellt wurde, daß Bilder mit weniger als 200 · 200 Bildpunkten nicht mehr deutlich zu erkennen sind, könnte der Benutzer über die Tastatur 10 eingeben, daß die gewünschte maximale Anzahl der Bilder 15 (d. h. 5 · 3) beträgt. Im folgenden wird die maximale Anzahl gewünschter Bilder mit "MAX- BILDER-GLEICHZEITIG" bezeichnet.
Dann wird anhand der Fotonummerinformationen, die das Teilungsmittel 40 aus dem Speicherelement 30 erhält, die Gesamtanzahl der Fotonummern, im folgenden mit "BILDER" bezeichnet, ermittelt. Ist BILDER kleiner als MAX-BILDER-GLEICHZEITIG, muß das Teilungsmittel verschiedene Regeln anwenden, um den Anzeigebereich in Teilbereiche zu unterteilen. Dabei gibt es mehrere Möglichkeiten. Erstens kann das Teilungsmittel den Anzeigebereich in eine Anzahl von Bereichen unterteilen, die gleich MAX- BILDER-GLEICHZEITIG ist; wenn BILDER viel größer ist als MAX- BILDER-GLEICHZEITIG, z. B. wenn BILDER gleich 50 und MAX-BILDER- GLEICHZEITIG gleich 8 ist, kann dies die beste Möglichkeit sein. Wenn BILDER aber ähnlich groß ist wie MAX-BILDER-GLEICH- ZEITIG, z. B. BILDER gleich 12 und MAX-BILDER-GLEICHZEITIG gleich 11, ist dies sicher nicht akzeptabel. In diesem Fall wäre es wünschenswert, den Anzeigebereich 80 in 6 Teilbereiche zu unterteilen und dann, falls gewünscht, den Anzeigebereich für eine weitere Anzeige wiederum in sechs Teilbereiche für die verbleibenden sechs Bilder zu unterteilen. Diese Möglichkeit wird vom Teilungsmittel 40 der bevorzugten Ausführungsform der Erfindung genutzt.
Wenn das Teilungsmittel 40 entschieden hat, wieviele Teilbereiche erzeugt werden sollen, muß es entscheiden, wie der Anzeigebereich unter den einzelnen Bildern aufgeteilt werden soll. In der bevorzugten Ausführungsform erzeugt das Teilungsmittel eine bestimmte Anzahl von Teilbereichen mit gleicher Fläche, wobei die Form der Teilbereiche ähnlich ist wie die der Bilder, so daß die Bilder bei der Anzeige in den entsprechenden Teilbereichen das gleiche Seitenverhältnis haben können wie das Original und trotzdem einen möglichst großen Teil ihres Bereichs belegen. Wenn beispielsweise 5 Bilder auf einem Bildschirm mit einer Anzeigefläche von 400 · 300 Bildpunkten angezeigt werden sollen, wäre es ungünstig, fünf Bereiche mit jeweils 80 · 300 Bildpunkten zu erzeugen, wenn die Originalbilder ein Seitenverhältnis von ca. 1 : 1 aufweisen. In der bevorzugten Ausführungsform wird der Anzeigebereich statt dessen in sechs Teilbereiche mit ca. 133 · 150 Bildpunkten unterteilt, und ein Teilbereich würde vom Zuordnungsmittel 50 nicht zugeordnet werden.
Zwar erzeugt das Teilungsmittel 40 in der bevorzugten Ausführungsform gleich große Teilbereiche, für den Fachmann liegt es aber auf der Hand, das das Teilungsmittel auch so gestaltet werden kann, daß der Anzeigebereich in Abhängigkeit von Gewichtungsfaktoren, die zusammen mit den Fotonummern im Speicherelement 30 gespeichert sind und Informationen über den Grad der Übereinstimmung der Bilder mit den Suchkriterien angeben, in verschieden große Teilbereiche unterteilt werden kann. Wenn zum Beispiel ein Bild die Suchkriterien in höherem Maße erfüllt als alle anderen, könnte das Teilungsmittel einen Teilbereich erzeugen, der größer ist als die anderen, mit der Absicht, daß das Zuordnungsmittel dann anhand der gleichen Information dieses Bild dem großen Teilbereich zuordnet; auf diese Weise würden solche Bilder dem Benutzer auffallen.
Da in der bevorzugten Ausführungsform die Anzahl der vom Teilungsmittel 40 erzeugten Teilbereiche immer kleiner oder gleich MAX-BILDER-GLEICHZEITIG ist und MAX-BILDER-GLEICHZEITIG wahrscheinlich klein ist, ist es möglich, alle Zahlen, die kleiner oder gleich MAX-BILDER-GLEICHZEITIG sind, aufzuführen und für jeden Fall ein wünschenswertes Layout zu definieren.
Angenommen, die Bildschirmgröße beträgt 400 · 300 und die gewünschte Mindestgröße pro Bild 100 · 100; in diesem Fall ist MAX-BILDER-GLEICHZEITIG = 12. Mit den Layouts der bevorzugten Ausführungsform, in der gleich große Teilbereiche erzeugt werden, kann das Teilungsmittel 40 eine Wertetabelle (siehe Tabel le I) für alle möglichen Situationen erstellen und die Anzeigefläche so aufteilen wie im Layout für die betreffende Anzahl von Teilbereichen vorgesehen.

TABELLE I

BILDER Layout
1 1 · 1
2 2 · 1
3 3 · 1
4 2 · 2
5 3 · 2 (1 nicht benutzter Teilbereich)
6 3 · 2
7 4 · 2 (1 nicht benutzter Teilbereich)
8 4 · 2
9 3 · 3
10 4 · 3 (2 nicht benutzte Teilbereiche)
11 4 · 3 (1 nicht benutzter Teilbereich)
12 4 · 3
Bei der Erstellung der Tabelle muß eine Prüfung durchgeführt werden, um sicherzustellen, daß die Mindestbildgröße eingehalten wird. Wenn beispielsweise das Layout für 5 Bilder mit 5 · 1 gewählt wurde, würde die Bildbreite 400/5 = 80 Bildpunkte betragen. Dies wäre natürlich nicht akzeptabel, da die Mindestbildgröße 100 · 100 beträgt.
Die Werte in Tabelle I bilden natürlich nicht das einzig mögliche Layout. Für 8 Bilder wäre selbstverständlich auch 3 · 3 möglich. Im vorliegenden Beispiel wurde 4 · 2 gewählt, weil so am wenigsten Platz ungenutzt bleibt. Entsprechend wäre für 6 Bilder auch 2 · 3 möglich. Im Beispiel wurde 3 · 2 gewählt, weil so der Bildschirm in Teilbereiche aufgeteilt wird, deren Form einem Quadrat näherkommt. In Tabelle I wurde von einem Seitenver hältnis der Bilder von 1 : 1 ausgegangen. Dies muß nicht immer der Fall sein, und die Rechenvorschriften zur Generierung der Wertetabelle können entsprechend angepaßt werden. Ferner wird angenommen, daß Bilder mit gleicher Wahrscheinlichkeit im Hochformat und im Querformat vorkommen. Sollte dies nicht der Fall sein, können die Layouts so gewählt werden, daß eher hohe, schmale Teilbereiche für Hochformat oder eher niedrige, breite Teilbereiche für Querformat erzeugt werden. Wenn das Teilungsmittel wie erwähnt so angepaßt wird, daß das Seitenverhältnis der Teilbereiche dem der Bilder möglichst ähnlich ist, müßte eine solche Tabelle dynamisch generiert werden.
Wenn erst einmal die Anzahl der vom Teilungsmittel erzeugten Teilbereiche, im folgenden als 'n' bezeichnet, festgelegt und ein geeignetes Layout zugeordnet worden ist, werden diese Informationen an das Zuordnungsmittel 50 übergeben. Das Zuordnungsmittel verwendet diese Information zusammen mit den Bildinformationen aus dem Speicherelement 30, um den einzelnen Teilbereichen der Anzeigefläche bestimmte Fotonummern zuzuordnen. In der bevorzugten Ausführungsform werden dabei die ersten n Fotonummern den n Teilbereichen zugeordnet. Falls Daten über den Übereinstimmungsgrad vorliegen, werden allerdings die n Fotonummern der n Bilder mit der höchsten Übereinstimmung zugeordnet. Wenn wie erwähnt die Anzeigefläche vom Teilungsmittel in ungleiche Teilbereiche aufgeteilt wurde, so kann das Zuordnungsmittel 50 auch dieser Tatsache Rechnung tragen und die Fotonummern so zuordnen, daß die Fotonummern mit dem höchsten Übereinstimmungsgrad in den größten Bereichen angezeigt werden. Nach der Zuordnung der Fotonummern werden diese Informationen an eine Skalierungsvorrichtung 60 übergeben. Hier werden wiederum die Fotonummern zum Abrufen der zugehörigen komprimierten Bilddaten aus der Datenbank benutzt. Für jedes komprimierte Bild bestimmt die Skalierungsvorrichtung das größtmögliche Rechteck, das das gleiche Seitenverhältnis wie das Bild hat und in den zugeordneten Teilbereich der Anzeigefläche paßt. Dieses Rechteck wird dann innerhalb des zugeordneten Teilbereichs zentriert, und das komprimierte Bild wird so vergrößert, daß es dieses Rechteck ausfüllt. Zum Vergrößern des Bildes kann jeder beliebige Komprimierungs-/Dekomprimierungsalgorithmus verwendet werden; in bevorzugten Ausführungsformen der Erfindung wird jedoch ein hierarchischer Komprimierungs-/Dekomprimierungsalgorithmus verwendet, da dann die Anzeigezeit nicht direkt proportional zur Anzahl der anzuzeigender Bilder ist.
Speziell kann ein Algorithmus verwendet werden, der auf der Gaußschen Pyramide der progressiven Transmission nach Burt und Adelson basiert. Die Verwendung dieses Algorithmus in der hier beschriebenen Ausführungsform wird in Fig. 3 näher erläutert. Angenommen, ein gespeichertes Bild soll so dekomprimiert werden, daß es ein Rechteck von 50 · 50 Bildpunkten auf der Anzeigefläche ausfüllt. In diesem Fall ruft der Dekomprimierungsalgorithmus Informationen ab, um erst einmal ein Bild mit beispielsweise 4 · 4 zu erzeugen. In Erweiterungsschritt "A" wird zuerst eine Interpolation durchgeführt, um ein Bild mit 8 · 8 zu generieren, und dann werden die gespeicherten Differenzwerte benutzt, um dieses Bild so zu verändern, daß eine originalgetreue Wiedergabe in 8 · 8 Bildpunkten erreicht wird. Dieser Prozeß wird dann in den Schritten "B", "C" und "D" wiederholt, bis ein originalgetreues Bild mit 64 · 64 Bildpunkten erzeugt worden ist. Nun wird das 64 · 64 Bildpunkte große Bild mit Hilfe von Standardverfahren auf 50 · 50 Bildpunkte herunterskaliert. Wenn gewünscht wurde, daß aus einem gespeicherten Bild mit einer Originalgröße von beispielsweise 128 · 128 Bildpunkten ein Bild mit 200 · 200 Bildpunkten erzeugt werden soll, könnte das Dekomprimierungsverfahren von Burt und Adelson bis Erweiterungsschritt "E" ausgeführt werden. Um ein Bild mit 200 x 200 Bildpunkten zu generieren, müssen die verbleibenden Bildpunkte mit Hilfe eines Skalierungsverfahrens abgeschätzt werden.
Der oben beschriebene Algorithmus ist vorzuziehen, da mit ihm ein Bild in etwa der doppelten Zeit auf die doppelte Größe decodiert werden kann; und in der vorliegenden Anwendung wird dies dadurch ausgeglichen, daß bei der Decodierung auf die doppelte Größe in der Regel nur halb so viele Bilder decodiert werden. Wenn beispielsweise statt zehn Bildern nur fünf Bilder angezeigt werden sollen, dauert es zwar doppelt so lange, bis jedes Bild sein Rechteck ausgefüllt hat. Da aber statt zehn Bildern nur fünf Bilder vergrößert werden, dauert die Decodierung in etwa genauso lange wie für zehn Bilder. Bei der Vergrößerung werden die Werte für jeden Bildpunkt auf der Anzeigefläche des Monitors in einen APA-Puffer 70 geschrieben.
In der bevorzugten Ausführungsform der Erfindung wird nach Abschluß jedes Vergrößerungsprozesses das entsprechende vergrößerte Bild aus dem Puffer 70 an den Monitor gesendet, damit es auf der Anzeigefläche 80 angezeigt wird. Während also der nächste Vergrößerungsprozeß ausgeführt wird, werden die Ergebnisse der vorherigen Vergrößerung angezeigt, wobei nachfolgende Bilder auf dem Bildschirm Bildpunkt für Bildpunkt aufgebaut werden. Alternativ können alle Bilder, die den Teilbereichen der Anzeigefläche zugeordnet sind, vergrößert und Bildpunkt für Bildpunkt im Puffer 70 gespeichert werden, bevor Informationen an den Monitor 80 ausgelesen werden. In diesem Fall wird der Inhalt von Puffer 70 wie üblich zeilenweise an den Monitor ausgelesen. Das erstgenannte Verfahren hat sich aber als günstiger erwiesen, da der Benutzer die Ergebnisse seiner Suche früher zu sehen bekommt und die Darstellung der nachfolgenden Bilder weniger ruckartig erfolgt.
In der obigen Beschreibung wurde eine bevorzugte Ausführungsform der vorliegenden Erfindung erläutert, wobei die genannten Werte nur eine erläuternde Funktion haben. In einer getesteten Implementierung wurde MAX-BILDER-GLEICHZEITIG ein Wert von 25 zugeordnet und eine Anzeigefläche von 1024 · 768 verwendet. Außerdem wurde die Skalierungsvorrichtung 60 so angepaßt, daß um jedes angezeigte Bild ein schmaler freier Rand übrig blieb, damit die Bilder bei der Anzeige nicht direkt aneinander angrenzten. Dazu wurden die Kanten der zugeordneten Teilbereiche "zurechtgeschnitten" (indem effektiv die äußersten Bildpunkte der Bereiche ignoriert wurden), bevor das größte Rechteck mit dem richtigen Seitenverhältnis berechnet wurde. Dieser freie Rand wurde dann als Textbereich verwendet, so daß auf dem Rand unter den einzelnen Bildern Text angezeigt werden kann. Dadurch können nützliche Informationen wie die Fotonummer unter dem Bild angezeigt werden. Fig. 4 zeigt einen Bildschirm 90 mit solchen zurechtgeschnittenen Teilbereichen, auf dem 6 Bilder dargestellt sind. Die Grenzen zwischen den unbeschnittenen Teilbereichen sind durch die gestrichelten Linien 150 dargestellt, die Grenzen der zurechtgeschnittenen Teilbereiche durch die Linien 160. Die Bilder werden dann in den schraffierten Bereichen 170 angezeigt, wobei in Fig. 4 sowohl Bilder im Hochformat als auch Bilder im Querformat dargestellt sind.
Wenn alle Bilder für einen bestimmten Satz von Teilbereichen angezeigt worden sind, kann der Benutzer sie auf verschiedene Weise bearbeiten. Er kann beispielsweise mit einer Maus und einem Cursor ein Bild oder mehrere Bilder auswählen, um sie weiter zu vergrößern. Die Bildnummern dieser Bilder werden dann dem Teilungsmittel übergeben, damit dieses die Anzeigefläche nur unter ihnen aufteilt, das Zuordnungsmittel 50 ordnet die Bilder den neu erzeugten Teilbereichen zu, und die Skalierungsvorrichtung vergrößert die Bilder so, daß sie die entsprechenden Rechtecke in den zugeordneten Bereichen ausfüllen. Auf diese Weise kann der Benutzer nach und nach die Anzahl der Bilder verringern, bis nur noch das benötigte Bild übrig ist. Alternativ kann der Benutzer, wenn auf dem Rand unter den einzelnen Bildern die Fotonummer angezeigt wird, statt der Auswahl mit der Maus und dem Cursor die Fotonummern der Bilder, die er weiter vergrößert haben möchte, eingeben (auf der Tastatur 10).
Wenn der Benutzer beschließt, seine Aufmerksamkeit auf ein einziges Bild zu konzentrieren, kann er dieses Bild auswählen, damit es zusammen mit allen alphanumerischen Kenndaten auf dem Bildschirm wiedergegeben wird. Auf diese Weise kann er beispielsweise die zur Beschreibung des Bildes verwendeten Schlüsselwörter betrachten und gegebenenfalls ändern.
Wenn BILDER größer als MAX-BILDER-GLEICHZEITIG war, kann dafür gesorgt werden, daß am unteren Bildschirmrand eine Meldung erscheint, in der der Benutzer gefragt wird, ob er weitere Suchergebnisse sehen möchte. Wenn der Benutzer diese Meldung mit "ja" beantwortet, wird der Prozeß ab dem Aufteilungsschritt durch das Teilungsmittel 40 wiederholt, wobei das Zuordnungsmittel 50 den Teilbereichen auf dem Bildschirm eine neue Gruppe von Fotonummern, die die Suchkriterien erfüllen, zuordnet. Durch Wiederholung dieses Prozesses können alle Bilder aus einer Datenbanksuche angezeigt werden.
Dem Fachmann leuchtet ein, daß die im Puffer 70 gespeicherten vergrößerten Bilder nicht nur an den Monitor 80 gesendet, sondern auch auf andere Weise verarbeitet werden kann. So kann der Pufferinhalt beispielsweise auf einem Drucker ausgegeben, für eine spätere Präsentation auf einer Platte gespeichert oder über ein Netzwerk auf fernen Terminals angezeigt werden.

Claims

1. Ein System zur Verarbeitung von Daten, die gespeicherte Bilder darstellen, so daß ein Satz gespeicherter Bilder gleichzeitig auf einem Ausgabemedium mit einem festgelegten Ausgabebereich dargestellt werden kann, wobei das System folgende Komponenten besitzt:

ein Skalierungsmittel 60 zum Skalieren eines gespeicherten Bildes aus dem Satz, so daß das Bild auf dem Ausgabemedium in einem von mehreren Teilbereichen des Ausgabebereichs dargestellt werden kann; und

ein Zuordnungsvorrichtung 50 zum Zuordnen jedes der gespeicherten Bilder aus dem Satz zu einem zugeteilten Teilbereich;

wobei das System gekennzeichnet ist durch:

ein Teilungsmittel 40 zum Unterteilen des Ausgabebereichs in die bestimmte Anzahl von Teilbereichen, wobei das Teilungsmittel die Anzahl der Teilbereiche in Abhängigkeit von der Anzahl der im Satz gespeicherten Bilder festlegt und daran angepaßt ist, den Ausgabebereich in eine bestimmte Anzahl von Teilbereichen zu unterteilen, die der Anzahl der im Satz gespeicherten Bilder bis zu einer maximalen Anzahl von Teilbereichen entspricht, und wobei die Zuordnungsvorrichtung dann jedem gespeicherten Bild des Satzes einen der Teilbereiche zuordnet;

und wobei das Teilungsmittel daran angepaßt ist, wenn die Anzahl der gespeicherten Bilder im Satz einen Maximalwert überschreitet, den Ausgabebereich in aufeinanderfolgende Teilbereichssätze zu unterteilen, damit jeweils ein Teilbereichssatz nach dem anderen dargestellt wird, wobei jeder Teilbereichssatz nicht mehr als die maximale Anzahl von Teilbereichen enthält;

wobei das Skalierungsmittel 60 so aufgebaut ist, daß das gespeicherte Bild um einen Faktor skaliert wird, der von den Abmessungen der vom Teilungsmittel erzeugte Teilbereiche abhängig ist, und das Bild bei der Darstellung auf dem Ausgabemedium einen ausgewählten Bereich innerhalb des zugeordneten Abschnitts des Ausgabebereichs in Anspruch nimmt;

wodurch der Satz von Bildern gleichzeitig oder in aufeinanderfolgenden Darstellungen, die gleichzeitig mehrere Bilder des Satzes umfassen, auf dem Ausgabemedium dargestellt werden kann, so daß im wesentlichen unabhängig von der Anzahl der im Satz gespeicherten Bilder der gesamte Ausgabebereich benutzt werden kann.

2. Ein System gemäß Anspruch 1, bei dem das Skalierungsmittel 60 daran angepaßt ist, die gespeicherten Bilder so zu skalieren, daß sie im wesentlichen die zugeordneten Teilbereiche vollständig ausfüllen.

3. Ein System gemäß Anspruch 2, bei dem das Skalierungsmittel 60 daran angepaßt ist, die Bilder derart zu skalieren, daß ein Seitenverhältnis, das dem der ursprünglichen gespeicherten Bilder entspricht, beibehalten wird, und bei dem das Teilungsmittel daran angepaßt ist, den Ausgabebereich in Teilbereiche aufzuteilen, die skaliert sind und eine für das Seitenverhältnis geeignete Form haben.

4. Ein System gemäß Anspruch 1 bis 3, das Mittel enthält, die prüfen, ob eine Mindestgröße eingehalten wird.

5. Ein System gemäß Anspruch 1 bis 4, bei dem die Daten, welche gespeicherte Bilder darstellen, das Ergebnis einer Suche in einer Bilderdatenbank sind.

6. Ein System gemäß Anspruch 1 bis 5, bei dem das Ausgabemedium ein Bildschirm 80 eines Monitors ist.

7. Ein Verfahren zur Verarbeitung von Daten, die gespeicherte Bilder darstellen, damit ein Satz der gespeicherten Bilder gleichzeitig auf einem Ausgabemedium mit einem festgelegten Ausgabebereich dargestellt werden können, wobei das Verfahren folgende Schritte umfaßt:

Skalieren eines gespeicherten Bildes aus dem Satz, so daß das Bild auf dem Ausgabemedium in einer bestimmten Anzahl von Teilbereichen des Ausgabebereichs dargestellt werden kann; und

Zuordnen eines der Bereiche zu jedem gespeicherten Bild in dem Satz;

wobei das Verfahren durch folgende Schritte gekennzeichnet ist:

Unterteilen des Ausgabebereichs in eine bestimmte Anzahl von Teilbereichen, wobei die Anzahl der Teilbereiche so festgelegt wird, daß sie bis zu einer maximalen Anzahl von Teilbereichen der Anzahl der in dem Satz gespeicherten Bilder entspricht, wobei jedem Bild des Satzes einer der Teilbereiche zugeordnet wird, und wobei der Unterteilungsschritt bei Überschreitung der maximalen Anzahl den Ausgabebereich in Abhängigkeit von der Anzahl der gespeicherten Bilder in dem Satz in aufeinanderfolgende Gruppen von Teilbereichen unterteilt, von denen jeweils ein Satz dargestellt wird, wobei jeder Satz von Teilbereichen nicht mehr als die maximale Anzahl von Teilbereichen enthält;

im Skalierungsschritt Skalieren des gespeicherten Bildes um einen Faktor, der von den Abmessungen der vom Teilungsmittel erzeugten Teilbereiche abhängig ist, so daß bei der Darstellung des Bildes auf dem Ausgabemedium das Bild einen ausgewählten Ausschnitt innerhalb des zugehörigen Teilbereichs des Ausgabebereichs belegt; und

Übertragung des skalierten gespeicherten Bildes auf das Ausgabemedium zur Darstellung in dem zugeordneten Teilbereich des Ausgabebereichs;

wodurch der Satz von Bildern gleichzeitig oder in aufeinanderfolgenden Darstellungen, die gleichzeitig mehrere Bilder des Satzes umfassen, auf dem Ausgabemedium dargestellt werden kann, so daß im wesentlichen unabhängig von der Anzahl der in der Gruppe gespeicherten Bilder der gesamte Ausgabebereich benutzt werden kann.

8. Ein Verfahren gemäß Anspruch 7, bei dem die gespeicherten Bilder so skaliert werden, daß die Bilder im wesentlichen die gesamten ihnen zugeordneten Bereiche einnehmen.

9. Ein Verfahren gemäß Anspruch 8, bei dem die Bilder so skaliert werden, daß bei den Bildern ein Seitenverhältnis beibehalten wird, das mit dem der ursprünglichen gespeicherten Bilder identisch ist, und bei dem der Ausgabebereich in Teilbereiche unterteilt wird, die skaliert sind und eine für das Seitenverhältnis geeignete Form haben.

10. Ein Verfahren gemäß Anspruch 7 bis 9, bei dem geprüft wird, ob eine Mindestbildgröße nicht unterschritten wird.

11. Ein Verfahren gemäß Anspruch 7 bis 10, bei dem die Daten, die gespeicherte Bilder darstellen, das Ergebnis einer Suche in einer Bilderdatenbank sind.

12. Ein Verfahren gemäß Anspruch 7 bis 11, bei dem das Ausgabemedium ein Bildschirm 80 eines Monitors ist.