JP4066090B2 - 画像処理装置、画像処理プログラム、および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号の輝度レベルに応じて、彩度レベルのゲイン調整を行う画像処理装置およびその方法に関する。
本発明は、この画像処理装置をコンピュータ上で実現するための画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、画像信号の輝度レベルに応じて、彩度レベルのゲイン調整を行う電子カメラが知られている。
このような電子カメラでは、画像信号の低輝度領域において彩度レベルを抑制することにより、低輝度領域の色ノイズを低減することができる。
さらに、このような電子カメラでは、画像信号の高輝度領域において彩度レベルを抑制することにより、高輝度領域に見られる不自然な色付きを抑制することもできる（例えば、特開平５−２４４６２３号公報を参照）。
【０００３】
【発明が解決しようとする課題】
ところで、画像信号の色彩表現は、光源の色温度、被写体の色や明るさ、さらには電子カメラの撮像条件などによっても、敏感に変化する。
このような色彩表現の変化を考慮せずに、低輝度領域の色ノイズを一定の割合で低減した場合、低輝度領域の色ノイズが十分に除去しきれなかっり、逆に低輝度領域の色あいが必要以上に失われてしまうなどの弊害が懸念される。
本発明は、このような問題点に鑑みて、多様な画像信号に対して、彩度変調特性（輝度レベルに対して彩度レべルのゲインを定めた特性のこと）を的確に決定することを目的とする。
【０００４】
【課題を解決するための手段】
以下、本発明について説明する。
《請求項１》
請求項１の画像処理装置は、撮像部で生成された画像信号を処理する画像処理装置であって、彩度変調制御部と彩度変調部とを備える。
この彩度変調制御部は、画像信号の色彩表現に影響を与えるとともに各々の影響度が異なり、かつ撮像で画像信号を生成するときの撮影条件を含む複数種類の色彩関連情報を情報取得して、前記影響度の相違を加味して前記各色彩関連情報の値をそれぞれ変換し、該変換後の各色彩関連情報に基づく彩度変調特性の組み合わせに応じて、『輝度レベルに対して彩度レべルのゲインを定めた彩度変調特性』をコントロールする。
また、彩度変調部は、彩度変調制御部でコントロールされる彩度変調特性に従って、画像信号の輝度レベルに応じて彩度レベルのゲイン調整を行う。
このような動作により、色彩関連情報から推測される色彩表現の変化に対処して、彩度変調特性をコントロールすることが可能になる。
《請求項２》
請求項２の画像処理装置は、色彩関連情報の少なくとも一つとして、撮像部の撮像感度を採用する。彩度変調制御部は、画像信号を撮像した際の撮像感度を情報取得し、この撮像感度に応じて彩度変調特性をコントロールする。
このような動作により、撮像感度から推測される色彩表現の変化に対処して、彩度変調特性をコントロールすることが可能になる。
《請求項３》
請求項３の画像処理装置は、色彩関連情報の少なくとも一つとして、画像信号に施した階調変換特性を採用する。
彩度変調制御部は、この階調変換特性に応じて彩度変調特性をコントロールする。
このような動作により、階調変換特性から推測される色彩表現の変化に対処して、彩度変調特性をコントロールすることが可能になる。
《請求項４》
請求項４の画像処理プログラムは、コンピュータを、請求項１ないし請求項３のいずれか１項に記載の彩度変調制御部および彩度変調部として機能させることを特徴とする。
《請求項５》
請求項５の画像処理方法は、撮像部で生成された画像信号を画像処理する画像処理方法であって、画像信号の色彩表現に影響を与えるとともに各々の影響度が異なり、かつ撮像で画像信号を生成するときの撮影条件を含む複数種類の色彩関連情報を情報取得し、前記影響度の相違を加味して前記各色彩関連情報の値をそれぞれ変換し、該変換後の各色彩関連情報に基づく彩度変調特性の組み合わせに応じて『輝度レベルに対して彩度レベルのゲインを定めた彩度変調特性』をコントロールするステップと、コントロールされた彩度変調特性に従って、画像信号の輝度レベルに応じて彩度レベルのゲイン調整を行うステップとを有することを特徴とする。
【０００５】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【０００６】
［電子カメラ１１の概略説明］
図１は、本実施形態の電子カメラ１１（画像処理装置を含む）の構成を説明する図である。まず、図１を用いて、電子カメラ１１の構成および概略動作について説明を行う。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の内部には、レンズ内ＭＰＵ１２ａが内蔵される。この撮影レンズ１２の像空間側には、シャッタ機構（不図示）を間に介して、撮像素子１３の受光面が配置される。
【０００７】
この撮像素子１３から出力される画像信号は、アンプ１４において撮像感度に従ってゲイン調整された後、Ａ／Ｄ変換部１６に出力される。Ａ／Ｄ変換部１６は、この画像信号を画素単位にデジタル化して、ホワイトバランス処理部１７、色分布評価部１７ａ、および輝度分布評価部２５へ出力する。
色分布評価部１７ａは、この画像信号の色分布評価を行って、光源の色温度を推定する。ホワイトバランス処理部１７は、この色温度の推定値に従って、画像信号にホワイトバランス調整を施す。
【０００８】
補間処理部１８は、このホワイトバランス調整後の画像信号に対して、欠落信号成分を補間する処理を実施する。
ノイズ抑制部１９は、この補間処理後の画像信号に対して、局所積和演算などのノイズ抑制処理を施す。
ガンマ変換部２０は、輝度分布評価部２５の輝度分布評価に従って、階調変換特性を選択する。ガンマ変換部２０は、選択した階調変換特性を従って、ノイズ抑制後の画像信号に対して階調変換を施す。
【０００９】
マトリクス変換部２１では、この階調変換後の画像信号を色座標変換して、ＹＣｂＣｒなどの信号成分に変換する。このとき、マトリクス変換部２１は、色に関する信号成分ＣｂＣｒの変換ゲインを画像全体に対して一律にコントロールし、画像全体の色再現性を調整する。この色信号成分の変換ゲイン（すなわち、色再現性の調整値）は、ユーザーの手動設定や、被写体の測光コントラストなどに基づいて設定される値である。
【００１０】
マトリクス変換部２１では、輝度成分Ｙを輪郭調整部２２へ出力し、色再現性の調整された色差成分ＣｂＣｒを色ノイズ抑制部２３へ出力する。
輪郭調整部２２では、輝度成分Ｙに対してアンシャープマスクなどの輪郭強調処理を施す。
一方、色ノイズ抑制部２３では、輝度成分Ｙの信号レベルに応じて、色差成分ＣｂＣｒの信号ゲインを下式の従って変化させる。
Ｃｂ′＝Ｃｂ・Ｋ（Ｙ）／１２８
Ｃｒ′＝Ｃｒ・Ｋ（Ｙ）／１２８
ここで、Ｋ（Ｙ）は、輝度成分Ｙに応じて彩度レベルのゲインを定めた関数テーブル（例えば図３参照）を参照して決定される値である。ここでの処理により、例えば、画像の低輝度領域や高輝度領域に現れやすい色ノイズを選択的に抑制することができる。
【００１１】
このような一連の信号処理を完了した後、電子カメラ１１は、画像信号ＹＣｂＣｒに対して圧縮・記録保存などの処理を施す。
なお、上述したような信号処理の構成とは別に、電子カメラ１１内には、撮像動作のための構成として、分割測光センサ２９、内蔵または外付けの閃光装置３０、および撮影制御部３１が設けられる。
【００１２】
この分割測光センサ２９は、被写界をＴＴＬ（Through The Lens）方式または直に分割測光して、分割測光値を出力する。この分割測光値に基づいて、撮影制御部３１は撮像時の露出条件を決定し、撮影レンズ１２の絞り値、撮像素子１３のシャッタ速度、アンプ１４の撮像感度（ゲイン）、および閃光装置３０の発光タイミングなどをそれぞれコントロールする。
さらに、電子カメラ１１には、本発明の特徴的な構成要素として、彩度変調制御部２４が設けられる。
【００１３】
［発明との対応関係］
次に、特許請求の範囲の記載事項と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の撮像部は、撮影レンズ１２、撮像素子１３、アンプ１４、および撮影制御部３１に対応する。
請求項記載の彩度変調制御部は、彩度変調制御部２４に対応する。
請求項記載の彩度変調部は、色ノイズ抑制部２３が有する『色差成分ＣｂＣｒのゲインを輝度レベルに応じて可変する機能』に対応する。
【００１４】
［彩度変調制御部２４の動作説明］
図２は、彩度変調制御部２４の動作を説明する流れ図である。以下、図２のステップ番号に沿って、彩度変調制御部２４の動作説明を行う。
【００１５】
ステップＳ１： 彩度変調制御部２４は、処理対象の画像信号について、画像信号の色彩表現に影響を与える色彩関連情報を情報取得する。
なお、この『色彩表現』とは、画像信号を表示やプリントした際の色の見え方を意味する。例えば、『色彩表現』としては、色の鮮やかさやくっきり感、色のくすみ感、色相の偏り、色の調子（ハイキー、ローキー、温調、冷調など）、微妙な色の違いの見え方、平坦部の色の見え方、エッジ部の色の見え方、ディテール部の色の見え方、低輝度領域の色の見え方、ハイライト部の色の見え方、色ズレ、不自然な色つき、または色ノイズなどが該当する。
彩度変調制御部２４は、例えば、下記のような色彩関連情報を情報収集する。
（Ａ）マトリクス変換部２１から伝達される色再現性の調整値
（Ｂ）撮影制御部３１から伝達される撮像感度の情報
（Ｃ）ガンマ変換部２０から伝達される階調変換特性の情報
（Ｄ）分割測光センサ２９の測光値（分割測光値）
（Ｅ）閃光装置内ＭＰＵ３０ａから伝達される照明情報
（Ｆ）撮影制御部３１から伝達される露出条件
（Ｇ）レンズ内ＭＰＵ１２ａから伝達されるレンズ情報
（Ｈ）色分布評価部１７ａから伝達される色彩情報（例えば、光源の色温度，色相角度，彩度など）
（Ｉ）色分布評価部１７ａから伝達される色集中度（色彩の画面占有度を示す値）
【００１６】
ステップＳ２： 彩度変調制御部２４は、これらの色彩関連情報をそれぞれ正規化する。なお、正規化の適正な刻みは、使用する撮像素子１３の特性などによって大きく変動する。そこで、電子カメラ１１の撮像実験を行って色彩関連情報が色彩表現に与える影響をそれぞれ求め、その影響の大きな色彩関連情報ほど、細かな刻みで正規化を行うことが好ましい。
【００１７】
ステップＳ３： 彩度変調制御部２４は、個々の色彩関連情報の正規化値を組み合わせて、一意なデータ参照アドレスを生成する。このデータ参照アドレスは、彩度変調制御部２４の内部データ領域のアドレスに対応する。この内部データ領域には、正規化値の組み合わせの個々に対応して、彩度変調特性の指示ナンバーが格納される。これら彩度変調特性の指示ナンバーは、実写評価や後述する規則に従って、予め決定されたものである。
【００１８】
ステップＳ４： 彩度変調制御部２４は、このデータ参照アドレスに基づいて内部データ領域を参照し、彩度変調特性の指示ナンバーを得る。彩度変調制御部２４は、このように求めた指示ナンバーを色ノイズ抑制部２３に伝達する。色ノイズ抑制部２３は、この指示ナンバーに従って内部の関数テーブルから彩度変調特性を選択し、画像信号の彩度変調を実行する。
【００１９】
［彩度変調特性の調整傾向について］
個々の電子カメラでは、使用する撮像素子１３のダイナミックレンジやノイズ特性などの違いによって、最適な彩度変調特性が大きくばらつく。そこで、本明細書では、個々の電子カメラについて具体的な調整値をあげる代わりに、より本質的な『彩度変調特性の調整傾向』を詳細に説明する。
当業者は、予め定めた標準的な彩度変調特性（以下『標準特性』という）を、これから説明する調整傾向に従って変化させることによって、本実施形態を具体的に実施することが可能になる。
【００２０】
（１）色再現性の調整値に基づく彩度変調特性
図３は、色再現性の調整値に基づく彩度変調特性の調整傾向を示す図である。この図３には、彩度変調特性のカーブが複数示されている。これらカーブの中から、低輝度領域のカーブと高輝度領域のカーブをそれぞれ選択して組み合わせることにより、彩度変調特性を高い自由度で選択することができる。
通常、色再現性の調整値が高くなると、色信号の信号レベルが全般に大きくなる。この場合、低輝度領域の色ノイズや、高輝度領域の不自然な色付きが強調され、目立ちやすくなる。そこで、彩度変調制御部２４は、図３に示すように、色再現性の調整値が高くなるに従って、低輝度領域および高輝度領域の彩度ゲインを標準特性よりも低めにコントロールする。その結果、色再現性が通常より高く設定されても、低輝度領域および高輝度領域の彩度レベルは適度に抑制され、色ノイズや不自然な色付きはさほど強調されなくなる。
【００２１】
（２）撮像感度の調整値に基づく彩度変調特性
図４は、撮像感度の設定値に基づく彩度変調特性の調整傾向を示す図である。
通常、撮像感度の設定値が高くなると、色信号のＳ／Ｎが全般に悪化する。この場合、低輝度領域の色ノイズや、高輝度領域の不自然な色付きが悪化して、目立ちやすくなる。そこで、彩度変調制御部２４は、図４に示すように、撮像感度の設定値が高くなるに従って、低輝度領域および高輝度領域の彩度ゲインを低めにコントロールする。その結果、撮像感度が高く設定されると、低輝度領域および高輝度領域の彩度レベルは抑制され、色ノイズや不自然な色付きはさほど強調されなくなる。
【００２２】
（３）階調変換特性の調整値に基づく彩度変調特性
図５は、軟調の階調変換特性の一例を示す図である。この軟調の階調変換特性は、ガンマカーブ状の特性であり、低輝度ゲイン（低輝度領域の階調変換の傾き）が大きく、かつ高輝度ゲイン（高輝度領域の階調変換の傾き）が中程度に設定される。
一方、図６は、硬調の階調変換特性の一例を示す図である。この硬調の階調変換特性は、中間輝度領域のコントラストを拡大するＳ状の特性であり、低輝度ゲインが小さく、かつ高輝度ゲインも小さく設定される。
彩度変調制御部２４は、階調変換特性の低輝度ゲインおよび高輝度ゲインに応じて、彩度変調特性をコントロールする。
図７は、階調変換特性の設定に基づく彩度変調特性の調整傾向を示す図である。
階調変換特性の設定により低輝度ゲインが大きくなると、低輝度領域の色信号の振幅レベルが大きくなり、色ノイズが悪化する。そこで、彩度変調制御部２４は、図７に示すように、低輝度ゲインが大きくなるに従って、低輝度領域の彩度ゲインを低めにコントロールする。その結果、階調変換特性において低輝度ゲインが大きく設定されても、低輝度領域の彩度レベルは適度に抑制され、色ノイズはさほど強調されなくなる。
一方、階調変換特性の設定により高輝度ゲインが大きくなると、高輝度領域の色信号の振幅レベルが大きくなり、不自然な色つきが目立つようになる。そこで、彩度変調制御部２４は、図７に示すように、高輝度ゲインが大きくなるに従って、高輝度領域の彩度ゲインを低めにコントロールする。その結果、階調変換特性において高輝度ゲインが大きく設定されても、高輝度領域の彩度レベルは適度に抑制され、不自然な色つきはさほど強調されなくなる。
【００２３】
［実施形態の補足事項］
上述した実施形態では、色再現性、撮像感度、および階調変換特性といった色彩関連情報を複数使用して、彩度変調特性をコントロールしている。そのため、どれか一つの色彩関連情報において色ノイズや色付きが悪化すると判断した場合、彩度を抑制するといった安全なコントロールが実現する。また逆に、一部の色彩関連情報において色ノイズや色付きが悪化しても、別の色彩関連情報において色ノイズや色付きが改善されると判断される場合、彩度の抑制度合いを弱めるといった協調的なコントロールを実現することもできる。
【００２４】
このように、本実施形態では、色彩関連情報を複数使用することにより、画像信号の色彩表現の状況を詳細かつ正確に把握し、彩度変調特性をより適切にコントロールすることが可能になる。
【００２５】
なお、このような協調的なコントロールでは、標準特性の更新を各色彩関連情報ごとに順番に実施し、最終的な更新結果を彩度変調特性として選択する処理が簡単で好ましい。さらに、その順番については、色ノイズや色付きに与える影響の大きな色彩関連情報を、（特に、抑制的に働く情報ほど）後で実施することが、安全かつ正確で好ましい。なお、この順番を固定的に実施する場合には、上述した実施形態のようにテーブル参照により発明を実施することが簡単かつ迅速で好ましい。
【００２６】
また、上述した実施形態では、信号成分ＣｂＣｒの値を操作して彩度変調を行っている。しかしながら、本発明はこれに限定されるものではない。一般に、任意の表色系（例えば、原色表色系、補色表色系、輝度色差表色系、Ｌａｂ表色系、またはＨＳＢ表色系など）において、彩度に関係する信号成分を操作すればよい。
【００２７】
なお、上述した実施形態では、彩度レベルを抑制するタイプの彩度変調特性（例えば、図３参照）について説明した。しかしながら、本発明の彩度変調特性は、このような抑制するタイプに限定されるものではない。一部の輝度領域において彩度レベルを強調するタイプの彩度変調特性を選択肢にしてもよい。このように一部の輝度領域において彩度を強調することにより、色彩関連情報の影響による一部の輝度領域（肌色の輝度領域など）の色のくすみに対処して、色のくすみを補正することなどが可能になる。
【００２８】
また、上述した実施形態では、電子カメラ１１について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を、撮像部（電子カメラやビデオカメラなど）とは別に、単体の画像処理装置として実現してもよい。
【００２９】
さらに、上述した本発明に関連する処理動作をプログラムコード化することにより、画像処理プログラム（請求項４に対応）を作成してもよい。この画像処理プログラムを実行することにより、コンピュータを本発明の画像処理装置として機能させることが可能になる。さらに、上述したような画像処理方法を、インターネットなどの通信回線を介して、サービス提供することも可能である。
【００３０】
なお、以上の説明では、色彩関連情報の例を具体的に上げて詳細に説明した。しかしながら、本発明は、これらの色彩関連情報の例に限定されるものではない。本発明は、特許請求の範囲に示される精神または主要な特徴から逸脱しなければ、色々な形で実施することが可能である。
【００３１】
【発明の効果】
本発明では、画像信号の色彩表現に影響を与えるとともに各々の影響度が異なり、かつ撮像で画像信号を生成するときの撮影条件を含む複数種類の色彩関連情報を情報取得し、影響度の相違を加味して各色彩関連情報の値をそれぞれ変換し、該変換後の各色彩関連情報に基づく彩度変調特性の組み合わせに応じて、最終的な彩度変調特性をコントロールする。
したがって、本発明では、色彩関連情報から把握される色彩表現の変化状況に合わせて、彩度変調処理の特性をフレキシブルにコントロールすることが可能になる。
このような本発明の適用により、例えば、色彩関連情報から低輝度領域の色ノイズの程度を推定して、低輝度領域の彩度ゲインを的確に抑制するなどの対処が容易に実現できる。また例えば、色彩関連情報から高輝度領域の不自然な色つきの程度を推定して、高輝度領域の彩度ゲインを的確に抑制するなどの対処が容易に実現できる。さらに例えは、色彩関連情報から特定輝度域の彩度変化（過度な鮮やかさや不自然なくすみなど）を推定して、その彩度変化を抑制するなどの対処が容易に実現できる。
【図面の簡単な説明】
【図１】電子カメラ１１（画像処理装置を含む）の構成を説明する図である。
【図２】彩度変調制御部２４の動作を説明する流れ図である。
【図３】色再現性の調整値に基づく彩度変調特性の調整傾向を示す図である。
【図４】撮像感度の設定値に基づく彩度変調特性の調整傾向を示す図である。
【図５】軟調の階調変換特性の一例を示す図である。
【図６】硬調の階調変換特性の一例を示す図である。
【図７】階調変換特性の設定に基づく彩度変調特性の調整傾向を示す図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１２ａ レンズ内ＭＰＵ
１３ 撮像素子
１４ アンプ
１６ Ａ／Ｄ変換部
１７ ホワイトバランス処理部
１７ａ 色分布評価部
１７ｂ 光源推定部
１８ 補間処理部
１９ ノイズ抑制部
２０ ガンマ変換部
２１ マトリクス変換部
２２ 輪郭調整部
２３ 色ノイズ抑制部
２４ 彩度変調制御部
２５ 輝度分布評価部
２９ 分割測光センサ
３０ 閃光装置
３１ 撮影制御部

Claims (5)

1. 撮像部で生成された画像信号を処理する画像処理装置であって、
   前記画像信号の色彩表現に影響を与えるとともに各々の影響度が異なり、かつ撮像で前記画像信号を生成するときの撮影条件を含む複数種類の色彩関連情報を情報取得し、前記影響度の相違を加味して前記各色彩関連情報の値をそれぞれ変換し、該変換後の前記各色彩関連情報に基づく彩度変調特性の組み合わせに応じて、『輝度レベルに対して彩度レべルのゲインを定めた彩度変調特性』をコントロールする彩度変調制御部と、
   前記彩度変調制御部でコントロールされる前記彩度変調特性に従って、前記画像信号の前記輝度レベルに応じて前記彩度レベルのゲイン調整を行う彩度変調部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記色彩関連情報の少なくとも一つは、前記撮像部の撮像感度であり、
   前記彩度変調制御部は、前記画像信号を撮像した際の前記撮像感度を情報取得し、前記撮像感度に応じて前記彩度変調特性をコントロールする
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記色彩関連情報の少なくとも一つは、前記画像信号に施した階調変換特性であり、
   前記彩度変調制御部は、前記階調変換特性を情報取得し、前記階調変換特性に応じて前記彩度変調特性をコントロールする
   ことを特徴とする画像処理装置。
4. コンピュータを、請求項１ないし請求項３のいずれか１項に記載の前記彩度変調制御部および前記彩度変調部として機能させることを特徴とする画像処理プログラム。
5. 撮像部で生成された画像信号を画像処理する画像処理方法であって、
   前記画像信号の色彩表現に影響を与えるとともに各々の影響度が異なり、かつ撮像で前記画像信号を生成するときの撮影条件を含む複数種類の色彩関連情報を情報取得し、前記影響度の相違を加味して前記各色彩関連情報の値をそれぞれ変換し、該変換後の前記各色彩関連情報に基づく彩度変調特性の組み合わせに応じて『輝度レベルに対して彩度レベルのゲインを定めた彩度変調特性』をコントロールするステップと、
   コントロールされた前記彩度変調特性に従って、前記画像信号の前記輝度レベルに応じて前記彩度レベルのゲイン調整を行うステップと
   を有することを特徴とする画像処理方法。

Images