-
Die
vorliegende Erfindung betrifft allgemein den Bereich der digitalen
Bildverarbeitung und insbesondere ein Verfahren zum Bewahren von
Bilddetails beim Einstellen des Kontrasts eines digitalen Bildes.
-
Vorhandene
Verfahren zum Anwenden von Tonwertskalen auf digitale Farbbilder
umfassen das unabhängige
Anwenden der Tonwertskala auf jeden der Farbkanäle, das Anwenden der Tonwertskala
auf den neutralen Kanal und das Bewahren des originalen Pixel-Farbdifferenzsignals
oder das Anwenden der Tonwertskala auf nur das niederfrequente Bild. Diese
Verfahren der Tonwertskalenanwendung verändern die Schärfe und
Darstellung der Farbe in den verarbeiteten Bildern, wobei das letztere
unansehnliche Artefakte erzeugen kann.
-
Traditionelle
Verfahren zur Anwendung einer Tonwertfunktion auf ein digitales
Farbbild modifizieren die Erscheinungsschärfe des Bildes, weil die Tonwertskala
die Amplituden der hochfrequenten Detailinformationen modifiziert.
Dieses Phänomen
tritt auf, wenn die Tonwertfunktion auf jeden der Farbkanäle unabhängig voneinander
angewandt wird, oder wenn die Tonwertfunktion auf den neutralen
Kanal angewandt und die originalen Pixel-Farbdifferenzsignale bewahrt
werden.
-
In
dem Bemühen,
eine Tonwertfunktion auf ein digitales Bild anzuwenden, ohne die
Detailinformationen zu beeinträchtigen,
beschreiben Lee et al. in US-A-5,012,333 das Trennen des Bildes
in ein Hochfrequenz- und in ein Niederfrequenzbild mithilfe von
FIR-Filtern. Die Tonwertfunktion wird dann nur auf das Niederfrequenzbild
angewandt, und das Hochfrequenzbild wird anschließend dem
tonwertskalierten Niederfrequenzbild hinzugefügt.
-
In
US-A-5,454,044 beschreibt Nakajima die Modifikation des Bildkontrasts
durch folgende Formel: Sproc = Sorg + f(Sus).
-
Das
Niederfrequenzbild (Sus) wird durch die Funktion f() geführt, die
eine monoton fallende Funktion ist. Dieses Signal wird dem Original
(Sorg) hinzugefügt,
um das verarbeitete Bild Sproc zu erzeugen.
-
Beide
Verfahren bewahren die hohen Frequenzen des Bildes, aber dies kann
zur Erzeugung von Unschärfemasken-Artefakten
(Über-
und Untersteuerung) in Nachbarschaft großer Kanten führen (charakteristisch
für dunkle
Schatten oder Dunkelfeldgrenzen).
-
EP 0 849 940 A2 beschreibt
eine Vorrichtung zum Umwandeln von Graustufen eines monochromen
Bildes in weniger Graustufen, ohne eine örtliche Gradation zu verlieren.
Hierzu wird ein Originalbild in eine niederfrequente Komponente
geteilt, die eine breite Gradation des Bildes darstellt, und eine
hochfrequente Komponente, die eine örtliche Gradation des Bildes
darstellt. Die in dem Teilungsverfahren verwendeten Teilungseigenschaften
werden gemäß einer
Kantenstärke
geändert,
die als eine Differenz zwischen den Graustufen benachbarter Pixel
definiert ist.
-
EP 0 525 949 A2 beschreibt
eine Vorrichtung zur Bereitstellung eines Ausgabebildes, das die Summe
von Chrominanzsignalen ist, die von der Farbverarbeitungsschaltung
verarbeitet werden, und Luminanzsignalen, die von der Farbverarbeitungs- und
der Schärfeschaltung
verarbeitet werden. Für
die Luminanz erzeugt die Farbverarbeitungsschaltung niedrige Raumfrequenz-Luminanzsignale,
und die Schärfeschaltung
erzeugt hohe Raumfrequenz-Luminanzsignale, worauf beide derart kombiniert
werden, dass ein Ausgabe-Luminanzsignal entsteht, in dem die Amplitude
der Hochfrequenz-Rauschkomponente minimiert ist.
-
Trotz
des beschriebenen Standes der Technik besteht Bedarf nach Anwendung
einer Tonwertfunktion auf ein digitales Bild, um den Makrokontrast des
Bildes einzustellen, die hochfrequenten Detailinformationen zu bewahren
und Artefakte in Nachbarschaft großer Kanten zu vermeiden.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, eines oder mehrere
der zuvor genannten Probleme zu überwinden.
-
Die
vorliegende Erfindung stellt ein Verfahren zum Einstellen der Tonwertskala
eines digitalen Bildkanals gemäß der anhängenden
Ansprüche
dar.
-
Die
vorliegende Erfindung hat den Vorteil, dass sie Kantendetails bewahrt,
während
sie den Kontrast eines digitalen Bildes ändert.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele näher erläutert.
-
Es zeigen
-
1 ein Blockdiagramm zur Übersicht über die
vorliegende Erfindung;
-
2 eine auseinander gezogene
Darstellung des Schwarzwert-Splitters aus 1;
-
3 eine auseinander gezogene
Darstellung des Vermeidungssignal-Generators aus 2;
-
4 die Artefaktvermeidungs-Transformationstabelle;
-
5 ein Beispiel einer typischen
Tonwertfunktion; und
-
6 ein alternatives Ausführungsbeispiel der
vorliegenden Erfindung.
-
Im
folgenden wird die vorliegende Erfindung in dem bevorzugten Ausführungsbeispiel
als Softwareprogramm beschrieben. Fachleuten ist selbstverständlich klar,
dass sich ein Äquivalent
einer derartigen Software auch in Form von Hardware konstruieren
lässt.
-
1 zeigt eine Übersicht
der vorliegenden Erfindung. Es sei darauf hingewiesen, dass die
vorliegende Erfindung ein digitales Bild verwendet, das typischerweise
eine zweidimensionale Anordnung von roten, grünen und blauen Pixelwerten
ist, oder ein einzelner monochromer Pixelwert, der den jeweiligen
Lichtstärken
entspricht. In dieser Hinsicht wird eine digitale Darstellung eines
Bildes, typischerweise im RGB-Farbraum, der aus getrennten roten,
grünen und
blauen Bildkanälen
besteht, in einen Luminanz-Chrominanz-Farbraum mittels Farbraum-Matrixtransformation
umgesetzt, woraus ein Luminanz-Bildkanal und zwei Chrominanz-Bild kanäle entstehen.
Die vorliegende Erfindung wirkt nur mit dem Luminanzkanal oder einzeln
auf jeden Chrominanzkanal, beispielsweise auf den roten, grünen und
blauen Kanal. Diese Luminanz-Chrominanz-Transformation ist in der
Technik bekannt. Nachdem die vorliegende Erfindung die betreffenden
Vorgänge
abgeschlossen hat, wird das digitale Bild mit einer inversen Farbraum-Matrixtransformation
vorzugsweise in einen RGB-Farbraum zurückgewandelt, um auf einer Ausgabevorrichtung
eine Hardcopy zu drucken oder darauf anzuzeigen.
-
Die
digitale Darstellung des digitalen Bildkanals wird dann von einem
Schwarzwert-Splitter 20 in zwei Teile geteilt, nämlich ein
Schwarzwertsignal und ein Textursignal, wie nachfolgend detaillierter
beschrieben wird. Das Schwarzwertsignal wird von einem Tonwertskalenapplikator 30 einer
Tonwertfunktion unterzogen, um die Eigenschaften des Bildes zur Bildverbesserung
zu ändern.
Die Tonwertfunktion kann zwecks Änderung
der relativen Helligkeit oder des Kontrasts des digitalen Bildes
angewandt werden. Ein Tonwertskalenapplikator 30 wird durch
Anwenden einer Transformationstabelle auf ein Eingabesignal implementiert,
wie in der Technik bekannt ist. 5 zeigt
ein Beispiel einer Tonwertskala mit einer 1 : 1-Zuordnung zwischen
Ein- und Ausgabewerten. Das Textursignal kann bei Bedarf durch den
Texturmodifikator 40 verstärkt oder in anderer Weise verändert werden.
Der Texturmodifikator 40 kann als eine Multiplikation des
Textursignals durch eine Zählerkonstante
implementiert sein. Das modifizierte Textursignal und das modifizierte
Schwarzwertsignal werden von einem Addierer 50 addiert
und bilden ein transformiertes Bildsignal. Die Addition von zwei
Signalen durch einen Addierer 50 ist in der Technik bekannt
und wird an dieser Stelle nicht näher erörtert.
-
Wie
in 2 gezeigt, wird die
Eingabe in den digitalen Bildkanal vom Schwarzwert-Splitter 20 durch
ein räumliches
Filterverfahren 70 in ein Hochpasssignal und in ein Tiefpasssignal
unterteilt, und zwar vorzugsweise mit einem Gaußschen Filter mit einer Standardabweichung
(Sigma) von 2,5 Pixeln. Der bevorzugte Wert der Standardabweichung
des Gaußschen
Filters kann sich je nach Bildgröße ändern. Der
Wert von 2,5 Pixeln für
den Sigma-Wert wurde durch Optimierung der vorliegenden Erfindung mit
Bildgrößen von
1024 × 1536
Pixeln abgeleitet. Das Gaußsche
Filter ist ein zweidimensionales, kreisförmig symmetrisches Tiefpassfilter,
dessen Filterkoeffizienten nach folgender Formel ableitbar sind, die
in der Technik bekannt ist: G(i, j) = 1/(Sigma
sqrt(2π))exp[–(i2 + j2)/(2 Sigma2)] wobei G(i, j) = der Gaußsche Filterkoeffizient
an Pixel (i, j)
Sigma = die Standardabweichung des Gaußschen Filters
(2.5)
π =
die Konstante von ca. 3,1415 ...
-
Das
Tiefpasssignal wird in einen Vermeidungssignal-Generator 80 zur
Erzeugung eines Vermeidungssignals eingegeben, wie nachfolgend detaillierter
beschrieben wird. Ein Textursignal-Generator 90 empfängt sowohl
das Hochpasssignal als auch das Vermeidungssignal, worauf beide
Signale zur Erzeugung eines Textursignals multipliziert werden.
-
Der
Schwarzwertgenerator 100 empfängt das ursprüngliche
Luminanzsignal sowie das Textursignal und subtrahiert das Textursignal
von dem Luminanzsignal, wodurch ein Schwarzwertsignal erzeugt wird.
-
3 zeigt ein auseinander
gezogenes Blockdiagramm des Vermeidungssignal-Generators 80.
Das Tiefpasssignal wird in einen ungerichteten Quadratgradientenberechner 110 eingegeben,
um ein ungerichtetes Gradientensignal zu erzeugen. Diese Berechnung
wird durchgeführt,
indem zunächst
die Differenz zwischen dem Pixel und dem oberen vertikalen Nachbarn
berechnet wird sowie die Differenz zwischen dem Pixel und dem horizontalen Nachbarn
zur Rechten. Der ungerichtete Quadratgradient ist dann die Summe
der Quadrate dieser beiden Differenzen. Das ungerichtete Quadratgradientensignal
wird dann durch einen Artefaktvermeidungs-Funktionsapplikator 120 zugeordnet,
um ein Artefaktvermeidungssignal als Ausgabe des Vermeidungssignal-Generators 80 zu
erzeugen. Dieses Ausgabesignal des Vermeidungssignal-Generators 80 wird
nachfolgend mit a(x) bezeichnet.
-
4 zeigt, dass die Zuordnungsfunktion durchgeführt wird,
indem das ungerichtete Quadratgradientensignal ndg(x) durch eine
Artefaktvermeidungsfunktion av() geführt wird, die in folgender
Weise gebildet wird. Das bevorzugte Ausführungsbeispiel der vorliegenden
Erfindung nutzt eine wie folgt definierte Artefaktvermeidungsfunktion: av(y) = (1/2)(1 + COS(π(y – Co)/(C1 – Co))for
y > Co und y < C1, av(y) = 0 für y >= C1 und av(y) = 1für y <= Co wobei Co und C1 numerische
Konstanten sind.
-
Die
bevorzugten Werte für
Co und C1 hängen von dem Bereich der Eingabedaten
ab. Der Eingabedatenbereich in den Bildern, die in der Entwicklung des
bevorzugten Ausführungsbeispiels
verwendet wurden, beträgt
0 bis 4095. In diesem Fall ist der bevorzugte Wert für Co 148,
der bevorzugte Wert für
C1 ist 1300. Ein alternatives Verfahren
zur Erstellung der Artefakt-Vermeidungsfunktion beschreibt folgende Gleichung: av(y) = 1 – sqrt((y – Co)/(C1 – Co)) av(y) = 1 – √, ((y – Co)/(C1 – Co))für y >= Co und y <= C1, av(y) = 1für y < Co und av(y) =
0für
y > C1.
-
Das
Artefaktvermeidungssignal a(x) wird von dem Artefaktvermeidungs-Funktionsapplikator 120 erzeugt.
Hierzu wird die Artefaktvermeidungsfunktion av() an das ungerichtete
Gradientensignal ndg(x) angelegt. Das mathematische Ergebnis wird
durch folgende Gleichung beschrieben: a(x) =
av(ndg(x)).
-
Die
Artefaktvermeidungsfunktion lässt
sich am effizientesten als Transformationstabelle implementieren.
-
Ein
generalisiertes, lineares Raumfilter wird durch folgende Gleichung
beschrieben yij = Σcmnxmn wobei xmn für
die lokalen Pixelwerte steht, die das Pixel ij umgeben, und cmn steht für die numerischen Koeffizienten,
die nicht von den Pixelwerten xmn abhängen. Ein
nicht lineares Raumfilter ist hier als Raumfilter definiert, das
sich durch die lineare Raumfilterfunktion nicht beschreiben lässt. Die
Ausgabe eines generalisierten Steuersignals an ein Eingabesignal ist
durch ein multiplikatives Verhältnis
zum Eingabesignal gekennzeichnet. Folgende Gleichung zeigt ein Beispiel
für die
Anwendung eines Steuersignals: yij =
aij xij wobei
die Werte xij für die Pixelwerte des Eingabesignals
ijth stehen, und die Werte aij stehen
für die
Pixelwerte ijth des Steuersignals. Durch
Anlegen eines Steuersignals an ein Eingabesignal erzielt man ein Ergebnis,
das in die allgemeine Kategorie eines nicht linearen Raumfilters
fällt,
wenn das Steuersignal von einer räumlich gefilterten Version
des Eingabesignals abgeleitet wird. Das Vermeidungssignal a(x) ist
ein Beispiel eines Steuersignals, das aus einer räumlich gefilterten
Version des digitalen Bildkanals erzeugt wird. Das in dem bevorzugten
Ausführungsbeispiel beschriebene
Textursignal q(x) ist ein Beispiel eines nicht linearen Raumfilters,
das durch Anlegen eines Steuersignals an ein Hochpasssignal erzeugt
wird.
-
6 zeigt eine alternative
Konfiguration der vorliegenden Erfindung. In dieser Konfiguration
wird das digitale Bildsignal durch einen Frequenzteiler 70 geführt, der
ein Tiefpasssignal und ein Hochpasssignal aus dem ursprünglichen
digitalen Bildkanal erzeugt. Das Tiefpasssignal wird dann durch
einen Tonwertskalenapplikator 30 geführt. Das Hochpasssignal wird
mithilfe eines Addierers 50 zum Tonwertskalen-Tiefpasssignal
addiert.
-
6 zeigt ebenfalls, dass
das digitale Bildsignal durch einen Tonwertskalenapplikator 30 geführt wird.
Die Signalausgabe dieses Tonwertskalenapplikators 30 wird
an den Eingang (1 – a(x))
des Vermeidungssignaladdierers 130 angelegt, der nachfolgend
detaillierter beschrieben wird, und zwar zusammen mit dem Ergebnis
aus dem Addierer 50, das ebenfalls an den Eingang (a(x))
des Vermeidungssignaladdierers 130 angelegt wird. Nachdem
sämtliche Bildpixel
auf diese Weise verarbeitet worden sind, ist die Anordnung von Pixeln,
wie durch die Ausgabe des Vermeidungssignaladdierers 130 dargestellt,
ein digitaler Bildkanal mit eine abgestimmten Tonwertskala, die
die ursprüngliche
Schärfe
des Originalbildes mit minimalen Artefakten bewahrt. Dieser Ausgabebildkanal
ist bei Wiedergabe auf einer Ausgabevorrichtung mithilfe eines in
der Technik bekannten Verfahrens der Ausgabe des bevorzugten Ausführungsbeispiels
sehr ähnlich.
-
Ein
Vermeidungssignaladdierer 130 benötigt drei Eingaben, nämlich zwei
zu addierende Signale sowie das Artefaktvermeidungssignal (a(x)).
Die beiden zu addierenden Signale werden einer Transformation unterzogen,
wobei eines der zu addierenden Signale mit (a(x)) multipliziert
wird und das andere mit (1 – a(x)).
Die beiden transformierten Signale werden dann addiert. Die um (a(x))
skalierte Signaleingabe ist als "(a(x))" Eingabe des Vermeidungssignaladdierers 130 bekannt,
und die um (1 – a(x))
skalierte Eingabe ist als "(1 – a(x))" Eingabe des Vermeidungssignaladdierers 130 bekannt.
Wenn S1 und S2 die mit einem Vermeidungssignaladdierer 130 zu
addierenden Signale sind, dessen Ergebnis A ist, dann lässt sich
das Vorausgehende auf einen algebraischen Ausdruck reduzieren: A = (a(x))(S1) + (1 – a(x))(S2)
-
Mathematik
-
Das
fertig verarbeitete Pixel des bevorzugten Ausführungsbeispiels lässt sich
auch in Funktionsform darstellen: t(x) = [x – [g(x)
+ a(x)h(x)]] + f(g(x) + a(x)h(x)) (1)wobei:
x
= Eingabe des Bildkanals
t(x) = transformierter digitaler Bildkanal
g(x)
= eine tiefpassgefilterte Version von x
h(x) = eine hochpassgefilterte
Version von x., d. h. h(x) = x – g(x)
f()
= eine entweder an einen digitalen Bildkanal oder an ein Bildsignal
angelegte Tonskalenfunktion
a(x) = das Artefaktvermeidungssignal
(das Kontrollsignal)
-
Das
Artefaktvermeidungssignal a(x) ist für Pixel in den Bereichen des
Bildes, die im Allgemeinen flach sind, 1 (d. h. Bereiche des Bildes,
in denen US-A-5,012,333 keine Artefakte erzeugt.) Das Signal a(x)
wird für
Pixel in den Bereichen des Bildes, die Kanten mit hohen Übergängen enthalten,
0 (d. h. Bereiche des Bildes, in denen US-A-5,012,333 Artefakte
erzeugt.) Das Signal a(x) kann einen Wert im Bereich von 0,0 bis
1,0 annehmen, je nach Struktur des lokalen Bereichs des Bildes.
-
An
diesem Punkt sind einige Näherungsrechnungen
sinnvoll. Die erste betrifft die fast linearen Tonwertfunktionen,
die in der Bildverarbeitung gängig
ist, wobei g(f(x))
= f(g(x)), (2)näherungsweise
entspricht.
-
Die
zweite betrifft den Fall, in dem eine Tonewertskala f(x) an ein
Signal x angelegt wird, wobei das Ergebnis näherungsweise wie folgt ist: f(x) = f(g(x)) + f'(g(x))*(h(x)) (3)
-
Aufgrund
der nahezu linearen Natur (langsam abweichende zweite Ableitung)
der meisten Tonwertskalen, ist die Anwendung einer Tonwertskala
auf ein Bildsignal nahezu gleich der Anwendung der Tonwertskala
auf den Tiefpass des Originalbildkanals, und Skalieren des Hochpasses
des Originalbildkanals um die Steigung der Tonskalenfunktion, bewertet
beim Tiefpass des Originalbildkanals.
-
Die
dritte Näherung
folgt direkt aus der ersten und zweiten Näherung. f'(g(x))*(h(x)) = h(f(x)) (4)
-
Wenn
die Gleichung mit den drei Näherungen
ausgewertet wird, wird die resultierende Näherung für den ausgegebenen Pixelwert
in relativ flachen Regionen (a(x) = 1) zu: t(x)
= f(g(x)) + h(x)
-
Dieses
Ergebnis impliziert, dass in relativ flachen Regionen des Bildes
das Detailsignal des verarbeiteten Pixels gleich dem Detailsignal
des Originals ist (h(x)), dass aber der Kontrast des Tiefpasssignals
modifiziert um f(x) worden ist. Die Gleichung wird unter der Annahme
vereinfacht, dass das zu verarbeitende Pixel nahe einer Kante mit
hohem Übergang
liegt (a(x) = 0), t(x) = f(x)
-
Das
Ergebnis impliziert, dass die verarbeitete Version der Originalpixel
nur eine Funktion der ursprünglichen
Pixelwerte und der Tonwertfunktion in Bereichen in der Nähe von Kanten
mit hohen Übergängen ist.
Das Ergebnis verhindert das Auftreten von Artefakten in den Kantenbereichen.
-
Für Pixel
mit einem Zwischenwert von a(x), (0 < a(x) < 1), wird das verarbeitete Pixel begrenzt durch
f(x) and f(g(x)) + h(x).
-
Zusammenfassend
erlaubt das erfindungsgemäße Verfahren
das Anlegen einer Tonskalenfunktion an ein Bild in der Weise, dass
die Details des Originalbildes bewahrt werden, mit Ausnahme der Bereiche,
in denen die Bewahrung der Details unnatürliche Artefakte erzeugen würde. In
diesen Bereichen wird die Tonwertfunktion an das Originalpixel angelegt,
um das endgültige
Ausgabepixel zu erzeugen.
-
Es
lassen sich viele andere Ablaufdiagramme konstruieren, die ein Ergebnis
erzeugen, das bei Auswertung mit den drei Näherungen folgendes ergibt: t(x) = f(g(x)) + h(x) für (a(x) = 1) t(x)
= f(x) für
(a(x) = 0)
-
Diese
alternativen Ablaufdiagramme können stark
von dem abweichen, was für
das bevorzugte Ausführungsbeispiel
beschrieben worden ist, nutzen jedoch dieselben Komponenten eines
Vermeidungssignals, die Frequenzzerlegung durch räumliche
Filterung und eine Tonwertfunktion. Diese mit den verschiedenen
Verfahren verarbeiteten Bilder enthalten oft kleine numerische Differenzen
(aufgrund der Näherungen),
erzeugen jedoch Ergebnisse, die visuell vergleichbar sind.
-
Beispielsweise
kann das in 6 gezeigte alternative
Ausführungsbeispiel
algebraisch aus dem Ablaufdiagramm folgendermaßen dargestellt werden: t(x) = (1 – a(x))f(x)
+ a(x)[f(g(x) + h(x))]
-
Diese
Gleichung lässt
sich mit a(x) = 1,0 (d. h. flache Regionen des digitalen Bildkanals)
und mit a(x) = 0 (d. h. Kantenregionen des Bildes) durch die drei
Näherungen
(Gleichung (2), (3) und (4) wie folgt auswerten: t(x)
= f(g(x)) + h(x) für
(a(x) = 1) t(x) = f(x) für (a(x) = 0)
-
Das
alternative Ausführungsbeispiel
der vorliegenden Erfindung ist somit ähnlich (innerhalb der Grenzen
der mathematischen Näherungen)
dem bevorzugten Ausführungsbeispiel.