JP4533287B2

JP4533287B2 - 色処理方法およびその装置

Info

Publication number: JP4533287B2
Application number: JP2005259602A
Authority: JP
Inventors: 隆広鈴木; 修山田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-09-07
Filing date: 2005-09-07
Publication date: 2010-09-01
Anticipated expiration: 2025-09-07
Also published as: US20070053023A1; US7965427B2; JP2007074414A

Description

本発明は、第一のデバイスの画像データを第二のデバイスの色域にマッピングする色処理に関する。

近年、ディジタルカメラ、カラースキャナなどの画像入力デバイスによって画像を入力し、CRT、LCDなどの画像表示デバイスを用いて画像を表示、確認して、カラープリンタなどの画像出力デバイスによって画像を出力するシステムが普及した。これらのシステムは、画像入力デバイスが画像を記録する色空間の色域（以下「入力色域」と呼ぶ）と、画像表示、画像出力デバイスの色域（以下「出力色域」と呼ぶ）の差による、色の見えの違いを吸収するために、カラーマッチング処理を行う。つまり、カラーマッチング処理により、色域をマッピングして、デバイス間の色の見えの差を補正する。

色域のマッピングに関しては、様々な手法が提案されている。とくに写真画像を対象にする色域マッピングは、写真画像の階調を保存するマッピング方法を用いる。

図1、2はCIELAB空間のある色相Hにおいて、入力色域および出力色域の断面（LC平面）の一例を示す図である。

図1は、各色相面において、入力色域の明度ごとの最大彩度Cin_maxを出力色域の当該明度の最大彩度Cout_maxにマッピングする。そして、色域内部は、その彩度比Cin/Cin_maxに対応する比Cout/Cout_maxをもつ出力色域の色にマッピングする方法である。

また、図2は、出力色域の最大彩度の所定割合x%の彩度をもつ入力色域の色はそのまま保存し、それより彩度が大きい色は、出力色域の残りの部分(100 - x)%に圧縮するマッピング方法である。

上述した色域のマッピング方法を用いると、入力色域で再現される階調を出力色域において概ね再現することはできる。しかし、入力色域と出力色域の彩度差が非常に大きい場合、前者のマッピング方法によれば、マッピング前後で彩度が大幅に低下する。また、後者のマッピング方法によれば、圧縮部分（高彩度部）の階調がほとんど潰れてしまう問題がある。

ディジタルカメラに代表される画像入力デバイスは、例えばsRGB色空間のような色空間画像データとして画像を記録するものの、sRGB色空間の色域、すなわち入力色域のすべてを使用するわけではない。これは、画像入力デバイスの内部演算処理に起因する。

例えば、ディジタルカメラの場合、色作りのために、撮影した環境に応じて内部色変換パラメータを切り替え、そのパラメータを用いて色変換処理を行う。どのような撮影環境用のパラメータを用いて色変換を行ったとしても、入力色域であるsRGB色域内の一部の色域しか記録に使用しない。なお、入力色域の中で実際に使用する色域を使用色域と呼ぶ。

図3は入力色域、使用色域、出力色域の関係例をLC平面で示す図である。

それにもかかわらず、上記の二例を含むほとんどのマッピング方法は、入力色域のすべてを出力色域にマッピングするため、実際には使用しない色域まで出力色域にマッピングすることになる。その結果、必要以上に彩度の低下や階調の潰れを発生させる。

これに対して、特開2000-83177公報が開示する技術は、入力画像の色分布を解析し、入力画像に存在する色域を出力色域にマッピングする。この技術を用いれば、マッピングが不要な入力色域を出力色域にマッピングすることはなく、彩度の低下や階調性の悪化を防止することができる。しかし、この技術は、入力画像の色分布によってマッピング（圧縮の度合い）を変化させるため、対象物の背景色によっては、対象物の色を変化させる可能性がある。

特開2000-83177公報

本発明は、撮影デバイスが出力する画像データを出力色域にマッピングする際に、必要以上の彩度の低下や階調の潰れを防ぐことを目的とする。

また、画像の色分布によって色再現が変化することを防止することを他の目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる色処理は、撮影デバイスが出力する画像データを出力デバイスの出力色域にマッピングする際に、前記撮影デバイスによって撮影された画像データに当該撮影における撮影条件に応じた変換パラメータを用いる変換を施すことにより得られた、所定の色空間で表され、前記撮影条件に対応した色域であり前記所定の色空間の色域より狭い色域である使用色域の入力画像データを入力し、前記入力画像データの撮影条件を取得し、使用色域の情報と撮影条件の関係を示すテーブルから、前記取得した撮影条件に対応する使用色域の情報を取得し、前記出力デバイスの出力色域の情報を取得し、前記使用色域の情報および前記出力色域の情報を用いて、前記入力画像データを前記出力色域内にマッピングし、前記撮影デバイスによって撮影された画像データの各色成分が取り得る値の範囲をそれぞれ複数にスライスして得られる複数の色データに、前記撮影条件に応じた変換パラメータを用いる変換を施し、前記変換後の複数の色データの色域を求めることにより、前記撮影条件に対応する使用色域の情報が得られることを特徴とする。

本発明によれば、撮影デバイスが出力する画像データを出力色域にマッピングする際に、必要以上の彩度の低下や階調の潰れを防ぐことができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図4は画像処理装置1の構成例を示すブロック図である。

入力部101は、ディジタルカメラなどの入力デバイス2から画像データを入力する。取得条件設定部102は、入力画像データを取得（撮影）した際の取得（撮影）条件を設定する。使用色域設定部103は、取得条件設定部102が設定した画像の取得条件を基に、入力デバイス2が実際に使用する使用色域を設定する。出力部104は、マッピング後の画像データをモニタなどの画像表示デバイス3、または、プリンタなどの画像出力デバイス4に出力する。なお、入力部101および出力部104には、例えばUSB (Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイスを利用すればよい。また、入力部101としてメモリカードリーダを設定し、メモリカードから画像データを入力してもよい。

出力色域設定部105は、画像データの出力先のデバイスの出力色域を設定する。色域マッピング部106は、入力部101が入力した画像データを、使用色域設定部103が設定した使用色域を用いて、出力色域設定部105が設定した出力色域にマッピングする。

対応表保持部107は、画像データの取得（撮影）条件と使用色域の対応を示すテーブルを保持する。色域情報保持部108は、入力色域、使用色域、出力色域の色域情報を保持する。なお、対応表保持部107および色域情報保持部108は、例えばハードディスクのような不揮発性メモリである。

また、バッファメモリ109は、演算途中の各種データを一時保存する、例えばRAMのようなメモリである。

制御部110は、システムバス111を介して上記の各構成を制御する、例えばCPUである。制御部110は、バッファメモリ109をワークメモリとして、例えばハードディスクやROMなどに格納されたプログラムを実行することで、後述する画像処理などを実行する。

［画像処理］
図5は画像処理装置1の画像処理例を示すフローチャートで、制御部110によって実行される処理である。

まず、入力部101により、画像入力デバイス2から画像データを入力し、バッファメモリ109に保持する(S1)。続いて、取得条件設定部102により、バッファメモリ109に保持された画像データから入力画像データの取得条件を取得し、使用色域設定部103に設定する(S2)。

図6は画像データのフォーマット例を示す図である。画像データは、例えば画像を撮影した際のディジタルカメラの撮影モード、撮影レンズの焦点距離などの情報を保持する取得条件記憶部1001と、画像データそのものを保持する画像情報記憶部1002を有する。つまり、取得条件設定部102は、取得条件記憶部1001から取得条件を取得する。ディジタルカメラの撮影モードには、例えば高解像度、標準解像度、高画質、標準画質などがある。さらに、色温度または色温度の設定（晴天、雲天、室内（蛍光灯）、室内（白熱灯）、夕景など）、ISO感度、シャッタ速度、撮影レンズのf値および絞り値、ストロボの設定などがある。

次に、使用色域設定部103により、入力画像データの取得条件に応じた使用色域を色域マッピング部106に設定する(S3)。なお、使用色域設定部103の具体的な処理は後述する。

次に、出力色域設定部105により、色域情報保持部108に格納された、画像データの出力先のデバイスの色域データを取得し、色域マッピング部106に設定する(S4)。

図7は色域情報保持部108に保持された色域のデータ形式の一例を示す図である。色域データは、RGB値（8ビット）をRGBそれぞれ9スライスしたデバイスRGB値と、デバイスRGB値をデバイスに入力して得られた色の測色結果である測色値（CIELAB値）との対応を記録する。

次に、色域マッピング部106により、ステップS3で設定した取得条件に応じた使用色域、ステップS4で設定した色域データを基に、バッファメモリ109に保持した入力画像データの各画素を出力色域にマッピングする(S5)。なお、色域マッピング部106の具体的な処理は後述する。

次に、出力部104により、ステップS5で出力色域にマッピングした画像データを出力先のデバイスに出力する(S6)。

［使用色域設定部］
図8は実際色域設定部103の処理(S3)の詳細を示すフローチャートである。

まず、入力画像データの取得条件を入力し(S31)、対応表保持部107が保持する取得条件と使用色域の対応テーブルを参照する(S32)。

図9は対応テーブルの一例を示す図で、例えば図3に示す撮影条件と使用色域の対応関係を示している。本実施例において、使用色域は取得条件ごとに予め算出してあるとし、対応テーブルには、取得条件ごとに対応する使用色域が記述されている。なお、対応テーブルの使用色域のデータ形式は、例えば、図7に示した出力色域と同じデータ形式である。また、使用色域の算出方法は後述する。

次に、対応テーブルを参照して、取得条件に対応する使用色域のデータを取得し(S33)、使用色域のデータを色域マッピング部106に設定する(S34)。

［使用色域の算出方法］
画像入力デバイスとしてディジタルカメラを例にすると、まず、被写体からの光をレンズ、カラーフィルタを介して、CCDやCMOSなどのセンサで受光し、rawRGBデータを生成する。そして、rawRGBデータに、撮影条件に依存する色変換、例えばホワイトバランス補正などのゲイン調整、色変換のためのマトリクス変換などを施し、画像を記録する色空間、例えばsRGB色空間などの画像データとして保存する。

そこで、ディジタルカメラが内部演算する前のrawRGBデータとして擬似的なRGBデータを入力し、撮影条件によって異なるゲイン調整やマトリクス変換などの画像処理を行えば、撮影条件ごとの使用色域を算出することができる。

例えば、rawRGBデータのビット数を8ビットと仮定すると、rawRGBが取り得る範囲（0≦R, G, B≦255）を9スライスした擬似的なRGBデータを用意して、ある撮影条件においてディジタルカメラが内部演算する画像処理を施す。これにより、当該ディジタルカメラが、ある撮影条件において出力する使用色域を算出することができる。

［色域マッピング部］
図10は色域マッピング部106の処理(S5)の詳細を示すフローチャートである。

まず、出力色域内の収束点OおよびパラメータXを設定する(S51)。収束点Oは、色域マッピングの方向を規定するための点で、例えばCIELAB値(50, 0, 0)の点にする。また、パラメータXは、圧縮領域と非圧縮領域を切り替えるためのパラメータであるが、その詳細は後述する。なお、収束点OとパラメータXは、色域マッピング部106に予め保持しておいてもよいし、外部から入力してもよい。

次に、バッファメモリ109に保持した入力画像データの一画素の画素値（RGB値）を取得する(S52)。入力画像データの各画素を、左上から右下に順に画素番号iを振ったとして、まず画素番号i=0の画素のRGB値を取得する。

次に、画素値（RGB値）をCIELAB値に変換する(S53)。以下では、入力画像を表現する色空間をsRGB (IEC61966-2-1)として処理を説明する。画素のRGB値をRi、Gi、Biとすると、まず、式(1)を用いて、CIE三刺激値XYZに変換する。
┌ ┐ ┌ ┐┌ ┐
│Xi│ │0.4124 0.3576 0.1805││Ri│
│Yi│=│0.2126 0.7152 0.0722││Gi│ …(1)
│Zi│ │0.0193 0.1192 0.9505││Bi│
└ ┘ └ ┘└ ┘

そして、白色点をD65として式(2)によってCIELAB値に変換する。
Yi/Yn＞0.008856の場合は Li* = 116(Yi/Yn)^1/3 - 16
Yi/Yn≦0.008856の場合は Li* = 903.29(Yi/Yn)
ai* = 500[f(Xi/Xn) - f(Yi/Yn)]
bi* = 200[f(Yi/Yn) - f(Zi/Zn)]
Xi/Xn＞0.008856の場合は f(Xi/Xn) = (X/Xn)^1/3
Xi/Xn≦0.008856の場合は f(Xi/Xn) = 7.78X/Xn + 16/116
Yi/Yn＞0.008856の場合は f(Yi/Yn) = (Y/Yn)^1/3
Yi/Yn≦0.008856の場合は f(Yi/Yn) = 7.78Y/Yn + 16/116
Zi/Zn＞0.008856の場合は f(Zi/Zn) = (Z/Zn)^1/3
Zi/Zn≦0.008856の場合は f(Zi/Zn) = 7.78Z/Zn + 16/116 …(2)
ここで、 Xn、Yn、Znは白色点のXYZの値
D65の場合はXn=95.05、Yn=100.0、Zn=108.91

入力画像がIEC61966-2-1で規定されるsRGB色空間で表現される場合は式(1)および(2)の変換式を使用する。なお、入力画像がsRGB以外の色空間で表される場合は、式(1)は当該色空間に対応するものになり、CIELAB値へ変換する際の白色点も当該色空間に対応する白色点を用いる。また、その場合、入力色域データも当該色空間のデータになる。以下では、CIELAB値に変換された画素値を(Li, ai, bi)とする。

次に、収束点Oと入力点λi=(Li, ai, bi)を結ぶ直線Oλi、直線Oλiと使用色域の最外郭の交点P、直線Oλiと出力色域の最外郭の交点Qを算出する。また、式(3)とパラメータXを用いて、圧縮領域と非圧縮領域の切替点Rを算出する(S54)。
OR = X/100×OQ …(3)
ここで、ORはO-R間の距離
OQはO-Q間の距離

図11は収束点O、入力点λi、直線Oλi、交点PとQ、切替点Rの関係をL*a*平面（またはL*b*平面）で示す図である。

次に、入力点λiが線分OR上に存在するか否かを判定し(S55)、線分OR上に存在する場合は入力点λiの圧縮処理は不要と判断して、出力点（マッピング後のデータ）をλi'(Li', ai', bi')=λi(Li, ai, bi)にする(S56)。

また、入力点λiが線分OR上に存在しない場合は、入力点λiを出力色域にマッピングした出力点λi'を式(4)によって算出する(S57)。
λi' = OR + (λi - OR)(QR/PR) …(4)
ここで、ORはO-R間の距離
QRはQ-R間の距離
PRはP-R間の距離

次に、ステップS56またはステップS57で算出した出力点λi'から出力先のデバイスのデバイスRGB値を算出し、バッファメモリ109に保存する(S58)。なお、デバイスRGB値の算出は後述する。

そして、ステップS59の判定により、入力画像データの全画素を処理するまで、画素番号iをインクリメント(S60)して、ステップS52〜S59を繰り返す。

［デバイスRGB値の算出］
本実施例において、出力色域データは、図7に示したように、0≦R, G, B≦255の範囲で9スライスしたRGBデータと、それらに対応する出力デバイスの出力値（CIELAB値）からなる。すなわち、本実施例における出力色域データは、RGBを各9スライスした729点のデータから構成される512個の六面体からなる。そこで、CIELAB空間上の六面体を、さらに六つの四面体に分割し（図12参照）、出力色域にマッピング後の出力点λi'が、どの四面体中に存在するかを判定する。

図13は四面体を用いる内外判定を説明する図である。

四面体の各頂点をA、B、C、Dとし、出力点をPとすると、各頂点と点Pの関係は式(5)で表される。
↑AP = s↑AB + t↑AC + u↑AD …(5)
ここで、↑XYは点Xから点Yを指すベクトル

点Pが四面体ABCDの中にあれば、式(6)(7)がなり立つ。
s + t + u ≦ 1 …(6)
s ≧ 0、t ≧ 0、u ≧ 0 …(7)

従って、点Pは、式(6)(7)がなり立てば四面体ABCDの中にあり、なり立たなければ四面体ABCDの外にあると判定する。一つの出力点λi'に対して、以上の四面体の内外判定を使用色域を構成する全四面体に対して行えば、出力点λi'がどの四面体の中に存在するかを決定することができる。そして、四面体の各頂点のRGB値から式(5)におけるs、t、uを用いて線形補間を行えば、出力点λi'に対応する出力デバイスのデバイスRGB値を算出することができる。

このように、実際に画像入力デバイスが出力し得る使用色域を、画像の取得条件ごとに予め算出しておく。そして、ディジタルカメラで撮影した画像などを画像表示デバイスや画像出力デバイスに出力する際、入力色域のすべてを出力色域に色域マッピングせず、画像の取得条件に対応する使用色域を、出力色域にマッピングする。その結果、必要以上に彩度の低下や階調の潰れを発生させることなく、画質の高い画像を表示、出力することができる。

さらに、画像自体の色域ではなく、画像の取得条件によって画像入力デバイスの使用色域を用いて色域をマッピングするため、画像の色分布によって色が変化することはない。

［変形例］
上記では、入力画像がsRGB (IEC61966-2-1)色空間で表現されていると仮定して、処理を説明したが、画像処理装置1へ入力される画像の色空間はsRGBに限るものではなく、どのような色空間でもよい。

また、上記では、取得条件設定部102は、入力画像データの撮影条件記憶部1001から取得条件を取得する例を説明したが、例えば外部から取得条件を読み込む、入力するようにしてもよい。

また、上記では、色域情報保持部108に色域情報を予め保持する例を説明したが、例えば、入力部101によって、入力画像とともに外部から入力するようにしてもよい。また、色域情報保持部108に複数の色域情報を予め保持し、外部からの入力に対応する色域情報を選択するようにしてもよい。

また、上記では、取得条件と使用色域の対応を対応表保持部107が保持する例を説明したが、例えば、入力部101によって画像データとともに外部から入力してもよい。

また、上記では、色域マッピング部106の処理が出力色域のX%の色を保存し、それ以外の色を出力色域の(100-X)%領域にマッピングする例を説明した。しかし、この方法に限らず、階調をなるべく保存するようにマッピングする方法であれば、どのようなマッピング方法であってもよい。

また、上記では、マッピング用の色空間としてCIELAB空間を用いる例を説明したが、例えばCIELUV色空間、XYZ空間でもよいし、CIECAM97、CIECAM97s、CIECAM02のようなカラーアピアランス空間を用いても構わない。

また、ユーザが、レタッチソフトを使用して、画像を表現する色空間を例えばsRGBからAdobeRGBなど、より広い色空間に拡げた後、使用色域外の色を追加する場合もある。また、AdobeRGB色空間の画像データを出力するディジタルカメラなどの画像入力デバイスもある。この場合、画像データに付加された情報を参照して、使用色域としてAdobeRGBなどの広い色空間の色域を設定し、上記の処理を行い、プリンタ色域やsRGBモニタの色域にマッピングすればよい。

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するソフトウェアを記録した記憶媒体（記録媒体）をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記ソフトウェアを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのソフトウェアを記憶した記憶媒体は本発明を構成する。

また、前記ソフトウェアの実行により上記機能が実現されるだけでなく、そのソフトウェアの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによっｔ上記機能が実現される場合も含む。

また、前記ソフトウェアがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれ、そのソフトウェアの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するソフトウェアが格納される。

写真画像の色域マッピングを説明する図、写真画像の色域マッピングを説明する図、入力色域と、実際に使用される色域を示す図、実施例の画像処理装置の構成例を示すブロック図、画像処理装置の画像処理例を示すフローチャート、入力画像データのフォーマット例を示す図、出力色域データのデータ形式の一例を示す図、使用色域設定部の処理の詳細を示すフローチャート、取得条件と使用色域の対応を示すテーブル例を示す図、色域マッピング部の処理の詳細を示すフローチャート、収束点O、入力点λi、直線Oλi、交点PとQ、切替点Rの関係をL*a*平面（またはL*b*平面）で示す図、デバイスRGB値を算出するための六面体および四面体を示す図、四面体を用いる内外判定を説明する図である。

Claims

撮影デバイスが出力する画像データを出力デバイスの出力色域にマッピングする色処理方法であって、
前記撮影デバイスによって撮影された画像データに当該撮影における撮影条件に応じた変換パラメータを用いる変換を施すことにより得られた、所定の色空間で表され、前記撮影条件に対応した色域であり前記所定の色空間の色域より狭い色域である使用色域の入力画像データを入力するステップと、
前記入力画像データの撮影条件を取得するステップと、
使用色域の情報と撮影条件の関係を示すテーブルから、前記取得した撮影条件に対応する使用色域の情報を取得するステップと、
前記出力デバイスの出力色域の情報を取得するステップと、
前記使用色域の情報および前記出力色域の情報を用いて、前記入力画像データを前記出力色域内にマッピングするステップとを有し、
前記撮影デバイスによって撮影された画像データの各色成分が取り得る値の範囲をそれぞれ複数にスライスして得られる複数の色データに、前記撮影条件に応じた変換パラメータを用いる変換を施し、前記変換後の複数の色データの色域を求めることにより、前記撮影条件に対応する使用色域の情報が得られることを特徴とする色処理方法。
前記使用色域内の入力画像データを、前記出力色域内に階調を保存するようにマッピングすることを特徴とする請求項1に記載された色処理方法。
前記撮影デバイスはディジタルカメラであり、前記所定の色空間は規格化されたRGB色空間であることを特徴とする請求項1または請求項2に記載された色処理方法。
前記撮影条件には色温度、色温度の設定、ISO感度、シャッタ速度、撮影レンズのf値および絞り値、並びに、ストロボの設定の少なくとも一つが含まれることを特徴とする請求項1から請求項3の何れか一項に記載された色処理方法。
前記出力デバイスはプリンタであり、前記出力色域の情報は前記プリンタの色域を示すことを特徴とする請求項1から請求項3の何れか一項に記載された色処理方法。
撮影デバイスが出力する画像データを出力デバイスの出力色域にマッピングする色処理装置であって、
前記撮影デバイスによって撮影された画像データに当該撮影における撮影条件に応じた変換パラメータを用いる変換を施すことにより得られた、所定の色空間で表され、前記撮影条件に対応した色域であり前記所定の色空間の色域より狭い使用色域の入力画像データを入力する入力手段と、
前記入力画像データの撮影条件を取得する条件取得手段と、
使用色域の情報と撮影条件の関係を示すテーブルから、前記取得した撮影条件に対応する使用色域の情報を取得する第一の色域情報取得手段と、
前記出力デバイスの出力色域の情報を取得する第二の色域情報取得手段と、
前記使用色域の情報および前記出力色域の情報を用いて、前記入力画像データを前記出力色域内にマッピングするマッピング手段とを有し、
前記撮影デバイスによって撮影された画像データの各色成分が取り得る値の範囲をそれぞれ複数にスライスして得られる複数の色データに、前記撮影条件に応じた変換パラメータを用いる変換を施し、前記変換後の複数の色データの色域を求めることにより、前記撮影条件に対応する使用色域の情報が得られることを特徴とする色処理装置。
請求項1から請求項5の何れか一項に記載された色処理をコンピュータに実行させることを特徴とするプログラム。