JP2010068465A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】色滲みを十分に低減した高画質の画像を得る。
【解決手段】第１及び第２の画像を構成する複数の色プレーンのうち、色滲みを推定するための基準となる色プレーンを第１の色プレーンとし、色滲みが発生する色プレーンを第２の色プレーンとする。画像処理装置は、第１の画像よりも低露出の第２の画像を用いて、第１の画像のうち第１及び第２の色プレーンの両方で輝度飽和が生じている第１の領域、第２の色プレーンのみで輝度飽和が生じている第２の領域、及び第１及び第２の色プレーンの両方で輝度飽和が生じていない第３の領域を特定する領域特定部２００と、第２及び第３の領域のそれぞれに対する色滲み推定量を、第１及び第２の色プレーンでの画素値に基づいて算出する色滲み推定部２００と、第２及び第３の領域に対する色滲み推定量を用いて第１の画像に対する色滲み低減処理を行う処理部２００とを有する。
【選択図】図２

Description

本発明は、撮像により得られた画像中の色滲みを低減し、高画質な画像を再現する画像処理技術に関する。

デジタルカメラ等の撮像装置では、イメージセンサの高解像度化と光学系の小型化に伴い、光学系の色収差が撮像により得られた画像（以下、撮影画像という）に与える影響を無視できなくなってきている。色収差に起因する画像劣化には、飽和輝度を与えるような明るい被写体付近において不要回折光や軸上色収差により発生する局所的な色滲みがある。

図１（ａ）に示すように、光源１から射出した光線がレンズ２により結像される光学系において、例えば、Ｂチャネルの収差がＲ及びＧチャネルの収差に対して大きいと、Ｒ及びＧチャネルの光線は像面４上で結像するが、Ｂチャネルの光線は位置３にて結像する。これが軸上色収差である。

この場合、像面４では、図１（ｂ）に示すように、画素飽和領域である白色領域１０の周囲に、水色領域１１及び青色領域１２からなる同心円状のアーキテクチャとしての色滲みが形成される。このような色滲みは、青滲みとも称される。

通常の撮像装置では、各色チャネルに対応する、全ての光線についての結像特性が劣化しているのではなく、例えばＲＧＢ系のカラー撮像系においては、Ｇチャネルの光線による結像について収差が補正されている。すなわち、色滲みは、収差を含まないチャネルの光線による結像に対し、収差を含むチャネルの光線による非結像性の像が、結像上面で重なって表示されたものと考えられる。

色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。ただし、光学系の小型化により、色収差を光学系のみで十分に低減することが困難となってきている。このため、画像処理による色滲みの低減が求められている。

特許文献１にて開示された色滲みの低減方法では、まず輝度飽和画素を含む通常の撮影画像と、輝度飽和画素を含まない露出アンダーの撮影画像とを用意する。次に、通常撮影画像から検索される飽和輝度領域から色滲みの発生位置を特定する。そして、上記２つの撮影画像の露出値の違いから、上記通常撮影画像の画素値を算出し、輝度飽和画素、レンズの回折特性およびデータ化されている、飽和輝度画素位置から決まる色滲みの位置を参照して色滲み成分の強度を算出する。輝度飽和領域が所定の画素数以上であれば、色滲み成分を通常撮影画像から減算する。このような補正処理を各色プレーンで行い、色滲みを低減する。
特開２０００−３３３０７６号公報

しかしながら、図１（ｂ）に示すような軸上色収差による色滲みが発生した場合、各色プレーンでの輝度飽和画素数が異なる。このため、色プレーンごとに輝度飽和領域の大きさによって補正処理を行うか否かを判定する特許文献１にて開示された色滲み低減方法では、色滲みを十分に低減できない場合がある。

すなわち、軸上色収差による色滲みを十分に低減するためには、色プレーンごとに独立して補正処理を行うのではなく、複数の色プレーンの輝度飽和画素を同時に参照して補正対象領域をより高精度に特定することが求められる。また、色滲みは、画像データの観点で考えると、同一画素位置において収差を含むチャネルに対応する色プレーンの画素値が、収差を含まないチャネルに対応する色プレーンの画素値に比べて大きくなる現象である。したがって、色滲みの補正処理は、色プレーン間の画素値の差分を考慮して行うとよい。

本発明は、複数の色プレーンを同時に考慮して色滲み補正対象領域をより高精度に特定し、かつ同一画素位置における色プレーン間の画素値の差分を考慮した良好な色滲みの低減処理を行えるようにした画像処理装置、撮像装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像装置により被写体を第１の露出量で撮像して得られた第１の画像と、前記撮像装置により該被写体を第１の露出量よりも低い第２の露出量で撮像して得られた第２の画像とを用いて、色滲みを低減した画像を生成する。第１の画像及び第２の画像のそれぞれを構成する複数の色プレーンのうち、色滲みを推定するための基準となる色プレーンを第１の色プレーンとし、色滲みが発生する色プレーンを第２の色プレーンとする。該装置は、第２の画像を用いて、第１の画像のうち、第１及び第２の色プレーンの両方で輝度飽和が生じている第１の領域、第２の色プレーンのみで輝度飽和が生じている第２の領域、及び第１及び第２の色プレーンの両方で輝度飽和が生じていない第３の領域を特定する領域特定部と、第２の領域及び第３の領域のそれぞれに対する色滲み推定量を、第１及び第２の色プレーンでの画素値に基づいて算出する色滲み推定部と、第２及び第３の領域に対する色滲み推定量を用いて第１の画像に対する色滲み低減処理を行う処理部とを有することを特徴とする。

なお、被写体を撮像して画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理方法は、撮像装置により被写体を第１の露出量で撮像して得られた第１の画像と、撮像装置により該被写体を第１の露出量よりも低い第２の露出量で撮像して得られた第２の画像とを用いて、色滲みを低減した画像を生成する。第１の画像及び第２の画像のそれぞれを構成する複数の色プレーンのうち、色滲みを推定するための基準となる色プレーンを第１の色プレーンとし、色滲みが発生する色プレーンを第２の色プレーンとする。該方法は、第２の画像を用いて、第１の画像のうち、第１及び第２の色プレーンの両方で輝度飽和が生じている第１の領域、第２の色プレーンのみで輝度飽和が生じている第２の領域、及び第１及び第２の色プレーンの両方で輝度飽和が生じていない第３の領域を特定するステップと、第２の領域及び第３の領域のそれぞれに対する色滲み推定量を、第１及び第２の色プレーンでの画素値に基づいて算出するステップと、第２及び第３の領域に対する色滲み推定量を用いて第１の画像に対する色滲み低減処理を行うステップとを有することを特徴とする。

本発明によれば、複数の色プレーンを同時に考慮して色滲み補正対象領域をより高精度に特定できる。しかも、同一画素位置における色プレーン間の画素値の差分を考慮して色滲みの低減処理を行う。このため、色滲みを十分に低減した高画質の画像を得ることができる。

以下、図面を参照しながら本発明の実施例である画像処理装置、撮像装置及び画像処理方法について説明する。

図２には、Ｒ，Ｇ，Ｂの３色用イメージセンサ（撮像素子）を有する３板式カラー撮像装置の構成を示している。

不図示の被写体から光は、絞り１１０と結像光学系（撮像光学系）１２０とを通じて、色分解プリズム１３０に入射する。色分解プリズム１３０は、入射した光をＲ，Ｇ，Ｂの３つのチャネル（波長帯域）に分解する。これにより、Ｒチャネル光、Ｇチャネル光及びＢチャネル光がそれぞれＲ用、Ｇ用及びＢ用イメージセンサ１４０に導かれる。

本実施例における結像光学系１２０は、Ｒ及びＧチャネルにおいてのみ軸上色収差が良好に補正され、Ｂチャネルでは軸上色収差が残存している。また、３つのイメージセンサ１４０の位置を調整することにより、倍率色収差は補正できている。このため、Ｒ及びＧチャネルに比べてＢチャネルの解像度が劣り、ＲＧＢチャネルに対応するＲＧＢプレーン構成を有するＲＧＢカラー画像において、明暗の境界部で青がぼやける。つまり、明部の周囲に青の縁取りのようなアーチファクト、すなわち色滲み（青滲み）が発生する。このため、本実施例では、Ｇプレーンを色滲みを推定するための基準となる基準プレーン（第１の色プレーン）に設定し、Ｂプレーンを色滲みが発生する色滲みプレーン（第２の色プレーン）に設定する。基準プレーンとは、結像光学系の色収差を良好に補正した波長域の強度を示す色プレーンや輝度を示すプレーンである。

ＣＰＵ１００は、測光手段による測光結果に基づいて露出量を決定する。測光手段としては、上記３つのイメージセンサ１４０が用いられる。ＣＰＵ１００は、３つのイメージセンサ１４０からのＲＧＢチャネルの露光データにより、Ｆ値とシャッタースピードを決定する。絞り制御部１５０は、決定されたＦ値に応じて絞り１１０を調節する。また、イメージセンサドライバ１６０は、決定されたシャッタースピードに応じて３つのイメージセンサ１４０のシャッタースピードを制御する。こうして、決定された露出量に応じた撮像が行われる。

ＡＤ変換部１７０では、撮像により得られたＲＧＢ画像データ（撮影画像）を、以降の画像処理に適したデジタルデータへと変換する。絞り１１０、結像光学系１２０、色分解プリズム１３０、イメージセンサ１４０及びＡＤ変換部１７０によりカラー撮像系が構成される。

作業メモリ２４０は、後述する色滲み低減処理（以下、補正処理という）の対象となる撮影画像と、該補正処理に用いるパラメータとを保存する。

色滲み除去部２００は、画像処理によって撮影画像に対する補正処理を行って、該撮影画像内の色滲みを除去（低減）したカラー画像を生成する。色滲み除去部２００での処理については後に詳しく説明する。また、色滲み除去部２００は、領域特定部、色滲み推定部及び処理部を含む画像処理装置として機能する。

視覚補正部２１０は、カラー画像に対して、主として画像の見栄えを改善するための処理を行う。具体的には、ガンマ補正、彩度強調、色相補正、エッジ強調等を行う。

圧縮部２２０は、補正処理されたカラー画像をＪＰＥＧ等の方法で圧縮する。記録部２３０は、圧縮されたカラー画像を、不図示の半導体メモリや光ディスク等の記録媒体に記録する。

次に、色滲み除去部２００での補正処理（画像処理方法）を含む撮像装置での撮像処理について、図３に示すフローチャートを用いて説明する。この撮像処理は、コンピュータプログラムに従って実行される。

まず、通常撮像ステップＭ１では、ＣＰＵ１００は、３つのイメージセンサ１４０に測光を行わせ、測光結果に基づいて、第１の撮像での露出量（適正露出量としての第１の露出量：以下、Ｅ１とする）を決定する。そして、該露出量が得られるように、Ｆ値（Ｆ１）及びシャッタースピードＴ秒（Ｔ１）を演算する。この演算では、Ｅｖ値を使用する。Ｅｖ値とは、
Ｅｖ＝ｌｏｇ_２（Ｆ^２）−ｌｏｇ_２（Ｔ） …（１）
と定義される露出量であり、ＦはＦ値、Ｔはシャッタースピード（秒）である。ただし、ｌｏｇ_２（Ａ）は、２を底とするＡの対数である。式（１）による演算では、Ｆ１又はＴ１のどちらかを固定し、Ｅ１と式（１）から、残りのＦ１又はＴ１を計算する。

次に、ＣＰＵ１００は、Ｆ値がＦ１になるように絞り制御部１５０に絞り１１０を調整させ、かつイメージセンサドライバ１６０に３つのイメージセンサ１４０をシャッタースピードＴ１で露光させて第１の撮像を行う。第１の撮像による３つのイメージセンサ１４０からのＲ，Ｇ，Ｂのアナログ出力により得られた第１の画像データ（第１の画像又は第１の撮影画像）は、ＡＤ変換部１７０でデジタルデータに変換されて作業メモリ２４０に格納される。また、第１の画像データは、色滲み除去部２００に送信される。

ここで、第１の画像データは、複数の輝度飽和画素の集合によって形成される輝度飽和領域を含むものとする。輝度飽和画素とは、デジタルデータの画素値（輝度値）の最大諧調数、例えば８ｂｉｔデータにおける２５５を示す画素である。

次に、低露出量撮像ステップＭ２では、ＣＰＵ１００は、Ｅ１よりも低い露出量（第２の露出量：以下、Ｅ２という）で第２の撮像を行う。第２の撮像の手順は第１の撮像とほぼ同様であるが、Ｅｖ値の設定が異なる。具体的には、３つのイメージセンサ１４０によるＲ，Ｇ及びＢチャネルにそれぞれ対応するＲ，Ｇ及びＢプレーンでの測光において、互いに隣り合う輝度飽和領域同士が互いに離れるようにＥｖ値が設定される。ここでは、１つの輝度飽和領域の構成画素数は、最大で１０程度になるようにする。第２の撮像では、このＥｖ値から求められるＦ値（Ｆ２）及びシャッタースピードＴ（Ｔ２）により撮像を行う。これにより、３つのイメージセンサ１４０からのＲ，Ｇ，Ｂのアナログ出力による第２の画像データ（第２の画像又は第２の撮影画像）が得られる。

また、ＣＰＵ１００は、第２の撮像を行うとともに、各輝度飽和領域の中央の画素に対する輝度飽和プレーンと位置（アドレス）を作業メモリ２４０に格納する。輝度飽和領域の中央の画素は、色滲みを生じさせる輝度のプロファイルの中央に位置していると考えられるので、色滲みが存在する領域近辺（以下、色滲み周辺という）での輝度ピーク値を有するとみなせる。この方法によれば、同一の高輝度被写体は、任意のホワイトバランスを持ったとしても、図４に示すように、第２の画像データ３００のＲ，Ｇ及びＢプレーンのうちいずれかの輝度飽和領域３０１にて検出される。第２の画像データは、ＡＤ変換部１７０でデジタルデータに変換されて、色滲み除去部２００に送信される。

上述した低露出量撮像ステップＭ２では、輝度飽和画素の集合である輝度飽和領域を参照して撮像を行ったが、画素値の閾値を設定し、該閾値より高い画素の集合である高輝度領域を参照してもよい。

また、上述した通常撮影ステップＭ１と低露出量撮像ステップＭ２は、低露出量撮像ステップＭ２を先に行ってもよい。例えば、撮像装置のシャッターボタンが半押し操作（第１ストローク操作）された状態で低露出量撮像ステップＭ２を行い、シャッターボタンが全押し操作（第２ストローク操作）されることに応じて通常撮像ステップＭ１を行ってもよい。

色滲み推定ステップＭ３では、色滲み除去部２００は、第１の画像データにおける色滲み周辺における両プレーン飽和領域、単プレーン飽和領域及びプレーン非飽和領域を特定（言い換えれば、推定）する。色滲み推定ステップＭ３での詳しい処理を図５に示す。

まず、周辺輝度データ読み取りステップＭ３１では、色滲み除去部２００は、第２の画像データから、色滲み周辺における輝度値がピークである輝度ピーク画素（輝度値が閾値より高い画素でもよい）を中心とした周辺画素の輝度データを読み出す。この場合、図４に示すように同一の画素位置に輝度飽和したプレーンが１つでもあれば、該画素位置を中心とした周辺画素の輝度データを全色プレーン分読み出す。

また、このとき、各色プレーンの輝度プロファイルは、輝度ピーク画素の位置（以下、輝度ピーク位置という）を中心とした指数関数又はガウス関数として想定される。つまり、図６（ａ）に示すように、Ｂプレーンでは輝度ピーク位置４００を中心とした点線４０１で示すような輝度プロファイルになり、Ｒ及びＧプレーンでは同じく輝度ピーク位置４００を中心とした実線４０２で示すような輝度プロファイルになる。輝度データを読み出す周辺画素の範囲は、Ｂプレーンの輝度プロファイルにおいて、画素値が輝度飽和画素値の１０パーセント程度になるところまでの範囲とする。

次に、輝度変換ステップＭ３２では、色滲み除去部２００は、上記ステップＭ３１で得た第２の画像データでの周辺画素の輝度データを、通常撮像ステップＭ１で得られた第１の画像データの露出量（Ｅ１）に対応する輝度データ（輝度プロファイル）に変換する。

ここでは、各色プレーンでの周辺画素の輝度データ（画素値）と、通常撮像ステップＭ１と低露出量撮像ステップＭ２で設定されたＦ値（Ｆ１，Ｆ２）及びシャッタースピードＴ（Ｔ１，Ｔ２）とを参照して、以下の式から露出量Ｅ１のときの輝度を算出する。

変換後の輝度＝（Ｆ１／Ｆ２）^２×（Ｔ１／Ｔ２）×変換前の輝度 …（２）。

そして、上記輝度変換を周辺画素の全ての画素位置において色プレーンごとに行い、図６（ｂ）に示すようなＢプレーンの輝度プロファイル（点線）４０３と、Ｒ及びＧプレーンの輝度プロファイル（実線）４０４とを得る。なお、本実施例では、ＲプレーンとＧプレーンの輝度プロファイルは同じであるので、以下の処理では、基準プレーンとしてのＧプレーンの輝度プロファイルのみを用いる。

なお、輝度変換ステップＭ３２では、輝度変換後のＢプレーンの輝度プロファイル４０３とＧプレーンの輝度プロファイル４０２とを指数関数とし、図６（ｂ）に示す輝度ピーク位置４００におけるピーク輝度４０６を初期値として輝度プロファイルを得てもよい。ただし、ピーク輝度４０６は上記の式（２）から計算する。

輝度変換された各画素位置での輝度が飽和している場合は、その画素位置での画素値は輝度飽和画素値４０５と同一となる。

次に、飽和画素カウントステップＭ３３では、色滲み除去部２００は、輝度変換ステップＭ３２で得た輝度変換された輝度プロファイルデータにおいて輝度飽和している色プレーンの個数を画素ごとにカウントする。そして、両プレーン飽和領域、単プレーン飽和領域及びプレーン非飽和領域を特定する。

本実施例の低減対象としている青滲みでは、図７に示すように、Ｇプレーンの輝度飽和画素数に比べてＢプレーンでの輝度飽和画素数が多い。図７は、図１（ｂ）に示した青滲みを詳細に示した図である。

第１の領域としての両プレーン飽和領域５０１においてはＧプレーンとＢプレーンの両方（２つ）で輝度飽和が生じており（すなわち輝度飽和画素が存在しており）、第２の領域としての単プレーン領域５０２ではＢプレーンの１つのみで輝度飽和が生じている。第３の領域としてのプレーン非飽和領域である水色滲み領域５０３と真っ青滲み領域５０４では、輝度飽和が生じている色プレーンは０である。色滲み除去部２００は、各画素についてカウントした輝度飽和色プレーン数を作業メモリ２４０に記憶させる。

以上のようにして、色滲み推定ステップＭ３では、色滲み除去部２００は、第２の画像データを用いて、第１の画像データにおける両プレーン飽和領域、単プレーン飽和領域及びプレーン非飽和領域を特定（推定）する。

次に、図３に示す色滲み除去ステップＭ４では、色滲み除去部２００は、色滲み（青滲み）を除去（低減）する補正処理を行う。本実施例では、青滲みの補正処理は、第１の画像データを対象とする。そして、色滲み推定ステップＭ３で特定した両プレーン飽和領域、単プレーン飽和領域及びプレーン非飽和領域の各領域で適切な補正処理を行う。

また、色滲み除去ステップＭ４では、第１の画像データを構成するＢプレーンの画素値から減算する減算量としての除去量（言い換えれば、色滲み推定量：以下、Ｂプレーン除去量という）を算出する。該Ｂプレーン除去量は、Ｂプレーンの画素値と基準プレーンであるＧプレーンの画素値との差分に基づいて算出する。

ただし、Ｂプレーン除去量を単純に各画素位置でのＢプレーン画素値とＧプレーン画素値の差分として設定すると、プレーン非飽和領域において撮影画像の地の色を適切に再現することができず、不自然な画像が生成されてしまうおそれがある。このため、本実施例では、生成画像に不自然さを発生させないように、以下のようにして青滲みの補正処理を行う。

まず、図７に示した両プレーン飽和領域５０１では、Ｇプレーン及びＢプレーンの画素値はともに輝度飽和画素値であるので、補正処理は行わない。

一方、単プレーン飽和領域５０２では、Ｇプレーンの輝度プロファイル４０４の減衰率は輝度ピーク位置４００からの距離に対して一定とみなせる。そこで、単プレーン飽和領域５０２と水色滲み領域５０３との境界におけるＧプレーン及びＢプレーンの画素値の差分を基準にして、Ｂプレーン除去量を輝度ピーク位置４００からの距離に比例するように決定する。ただし、輝度ピーク位置４００からの距離とは、注目画素までの横及び縦位置の差の二乗和の平方根とする。

また、水色滲み領域５０３及び真っ青滲み領域５０４を含むプレーン非飽和領域については、Ｂプレーンの輝度プロファイルは指数関数的に減衰しているとみなせる。ただし、この指数関数は、輝度ピーク位置４００からの２次元的な画素間の距離の関数である。そこで、該指数関数を、単プレーン飽和領域５０２と水色滲み領域５０３との境界における、Ｂプレーン及びＧプレーンの画素値の差分を初期値とした指数関数としてＢプレーン除去量を決定する。この指数関数の引数に現れるパラメータは、予め青滲みを起こすような撮影画像におけるＢプレーンの輝度プロファイルに対してフィッティングしたパラメータを作業メモリ２４０に記憶させておけばよい。

このように、本実施例では、単プレーン飽和領域５０２とプレーン非飽和領域５０３，５０４とで異なる算出方法により色滲み推定量としてのＢプレーン除去量を算出する。

また、Ｂプレーン除去量は、輝度プロファイルの傾斜に比例する量としても与えられる。この場合、減算対象となる画素の両側に隣接する２画素間の画素値の差分を計算し、所定の比例係数を乗じてＢプレーン除去量を決定する。ただし、両側に隣接する画素とは、画像の横方向及び縦方向のそれぞれでの隣接画素である。このため、輝度プロファイルの傾斜は、２次元ベクトルになる。比例係数は、上述したように予めフィッティングして、作業メモリ２４０に記憶させておけばよい。

このように輝度プロファイルの傾斜を利用する場合でも、領域ごとに除去量を異ならせて設定することも可能である。これは、傾斜を与える輝度プロファイルの色プレーンを領域ごと切り替えることで実現することができる。すなわち、単プレーン飽和領域５０２ではＧプレーンの輝度プロファイルを参照し、水色滲み領域５０３及び真っ青滲み領域５０４を含むプレーン非飽和領域ではＢプレーンの輝度プロファイルを参照して処理を行うことも可能である。

ここまでの処理によってＢプレーン除去量が過大になり、Ｂプレーンの画素値が過小になることで緑滲みが発生する等の場合も起こり得る。そこで、Ｂプレーン除去量が過大に算出される場合に、Ｂプレーン除去量を調整する必要がある。

この場合、減算対象となっているＢプレーン画素の画素値からＢプレーン除去量を減算する前と減算した後のＲ，Ｇ，Ｂプレーン画素値を、図８に示すようにＬａｂ表色系に表色変換する。図８中の矢印の始点は、Ｂプレーン除去量を減算する前の色相値であり、終点はＢプレーン除去量を減算した後の色相値を表している。

図８の第四象限（青色色相領域）にＢプレーン除去量を減算する前の画素の色相値がある場合に限り、Ｂプレーン除去量を以下のように調整する。

まず、Ｂプレーン除去量を減算した後の色相値が第四象限にあれば、Ｂプレーン除去量をそのままとする。次に、Ｂプレーン除去量を減算した後の色相値が第四象限からはみ出ている場合は、象限間の境界に矢印が収まるようにＢプレーン除去量を調整する。この後、調整されたＢプレーン除去量（調整後減算量）を、Ｂプレーン画素値から減算する。

一方、Ｂプレーン除去量を減算する前の色相値が第四象限以外にある場合は、青滲みを起こしているものとは考えられないので、Ｂプレーン除去量の減算は行わない。

以上で色滲み除去ステップＭ４が完了し、第１の画像データにおいて青滲みが補正されることで生成された画像データ（露出量Ｅ１のカラー画像）は、視覚補正部２１０に送信される。

このように、本実施例の色滲み補正処理によれば、高輝度被写体に対して影響を与えることなく、青滲みを視覚的に自然な色に補正することができ、露出量Ｅ１の高画質の撮影画像を得ることができる。

なお、本実施例の色滲み補正処理は、青滲みの除去についてのみ有効というわけではなく、基準プレーンがひとつ決まれば、色滲みを除去するプレーンの種類や数は任意である。この場合の補正処理において色滲みの除去量を推定する際には、対応する色相領域を変更すればよい。

実施例１では、３板式カラー撮像装置について説明したが、本発明は、単板式カラー撮像装置にも適用することができる。図９には、本発明の実施例２である単板式カラー撮像装置の構成を示している。

本実施例において、実施例１と共通する構成要素には実施例１と同じ符号を付して説明に代える。本実施例の単板式カラー撮像装置は、実施例１の３板式カラー撮像装置から色分解プリズム１３０を取り除き、３つのイメージセンサ１４０を単板イメージセンサ１４５に変更した構成を有する。また、本実施例の単板式カラー撮像装置は、ＡＤ変換部１７０から出力されたデジタルデータに対して、欠損画素データを補間する画像補間部１５５を有する。また、本実施例における結像光学系１２０は、実施例１と同様に、倍率色収差はなく、軸上色収差による色滲みが発生するものとする。

単板イメージセンサ１４５は、原色系ＲＧＢ又は補色系ＹＭＣＧの色プレーン構成を有する。画像補間部１５５は、チャネルの違いに応じて生じた欠損画素の画素値を補間し、色プレーンごとの画素数が互いに同一になる撮影画像を生成する。ＣＰＵ１００及び色滲み除去部２００は、この撮影画像について、図１０のフローチャートに示す撮像処理（補正処理を含む）を行う。

図１０に示す処理は、基本的には実施例１で図３を用いて説明した処理と同じ内容であり、実施例１と共通するステップには実施例１と同じ符号を付している。ただし、本実施例では、画像補間部１５５により上記画像補間を行う画像補間ステップＭ８が追加されている。

色プレーン構成が補色系ＹＭＣＧである場合でも、撮像画像の色滲みについては、予め除去対象となる基準プレーン及び色滲みプレーンを作業メモリ２４０に記憶させておけばよい。また、ＹＭＣＧプレーン画像については、表色変換してＲＧＢプレーン画像として扱い、色滲み低減処理を行うことも可能である。

本実施例の色滲み補正処理によれば、単板カラー撮像装置においても、高輝度被写体に対して影響を与えることなく、青滲みを視覚的に自然な色に補正することができ、露出量Ｅ１の高画質の撮影画像を得ることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例１，２では、絞り１１０及び結像光学系１２０から記録部２３０までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み除去部２００を有する画像処理装置（パーソナルコンピュータ等）を構成してもよい。この場合、カラー撮像装置により撮像されて記録媒体に格納された撮影画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線ＬＡＮ等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。

軸上色収差及び色滲み（青滲み）の説明図。 本発明の実施例１である３板式カラー撮像装置の構成を示すブロック図。 実施例１における撮像処理を示すフローチャート。 実施例１における撮影画像のＲＧＢプレーンを示す図。 実施例１における色滲み除去部での処理を示すフローチャート。 輝度変換処理前と処理後の輝度プロファイルを示す図。 輝度プロファイルの２次元的構造を示す図。 Ｌａｂ表色系のａｂ空間を示す図。 本発明の実施例２である単板式カラー撮像装置の構成を示すブロック図。 実施例２における撮像処理を示すフローチャート。

符号の説明

１ 光源
２ レンズ
１０ 白色領域
１１ 水色領域
１２ 青色領域
１００ ＣＰＵ
１１０ 絞り
１２０ 結像光学系
１３０ 色分解プリズム
１４０ イメージセンサ
１４５ 単板イメージセンサ
２００ 色滲み除去部
２１０ 視覚補正部
３００ 撮影画像
３１０ 輝度飽和領域
４００ 輝度ピーク位置

Claims (5)

1. 撮像装置により被写体を第１の露出量で撮像して得られた第１の画像と、前記撮像装置により前記被写体を前記第１の露出量よりも低い第２の露出量で撮像して得られた第２の画像とを用いて、色滲みを低減した画像を生成する画像処理装置であって、
   前記第１の画像及び前記第２の画像のそれぞれを構成する複数の色プレーンのうち、色滲みを推定するための基準となる色プレーンを第１の色プレーンとし、色滲みが発生する色プレーンを第２の色プレーンとするとき、
   前記第２の画像を用いて、前記第１の画像のうち、前記第１及び第２の色プレーンの両方で輝度飽和が生じている第１の領域、前記第２の色プレーンのみで輝度飽和が生じている第２の領域、及び前記第１及び第２の色プレーンの両方で輝度飽和が生じていない第３の領域を特定する領域特定部と、
   前記第２の領域及び前記第３の領域のそれぞれに対する色滲み推定量を、前記第１及び第２の色プレーンでの画素値に基づいて算出する色滲み推定部と、
   前記第２及び第３の領域に対する色滲み推定量を用いて前記第１の画像に対する色滲み低減処理を行う処理部とを有することを特徴とする画像処理装置。
2. 前記領域特定部は、前記第２の画像における輝度がピークである又は閾値より高い画素を中心とした周辺画素の輝度データを前記第１の露出量に対応する輝度データに変換し、該変換後の輝度データを用いて前記第１、第２及び第３の領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記色滲み推定部は、前記第２の領域と前記第３の領域とで異なる算出方法により前記色滲み推定量を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 被写体を撮像して画像を生成する撮像系と、
   請求項１から３のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
5. 撮像装置により被写体を第１の露出量で撮像して得られた第１の画像と、前記撮像装置により前記被写体を前記第１の露出量よりも低い第２の露出量で撮像して得られた第２の画像とを用いて、色滲みを低減した画像を生成する画像処理方法であって、
   前記第１の画像及び前記第２の画像のそれぞれを構成する複数の色プレーンのうち、色滲みを推定するための基準となる色プレーンを第１の色プレーンとし、色滲みが発生する色プレーンを第２の色プレーンとするとき、
   前記第２の画像を用いて、前記第１の画像のうち、前記第１及び第２の色プレーンの両方で輝度飽和が生じている第１の領域、前記第２の色プレーンのみで輝度飽和が生じている第２の領域、及び前記第１及び第２の色プレーンの両方で輝度飽和が生じていない第３の領域を特定するステップと、
   前記第２の領域及び前記第３の領域のそれぞれに対する色滲み推定量を、前記第１及び第２の色プレーンでの画素値に基づいて算出するステップと、
   前記第２及び第３の領域に対する色滲み推定量を用いて前記第１の画像に対する色滲み低減処理を行うステップとを有することを特徴とする画像処理方法。