JP2009260620A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像に含まれる倍率色収差成分と軸上色収差成分の両方を良好に低減する。
【解決手段】画像処理装置１２５０は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該装置は、画像に含まれる倍率色収差成分を低減する第１の低減手段Ｓ１０１と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２の低減手段Ｓ１０２とを有する。また、画像処理方法は、画像に含まれる倍率色収差成分を低減する第１のステップＳ１０１と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２のステップＳ１０２とを有する。
【選択図】図１２

Description

本発明は、デジタルカメラ等の撮像装置により生成された画像の画質を向上させる画像処理技術に関する。

レンズ等の屈折光学系により形成された光学像には収差が含まれており、該収差をいかに抑えるかが光学設計において重要である。特に近年では、イメージセンサ（撮像素子）の解像度が高くなり、さらに撮像装置により取得した画像をユーザが拡大表示して鑑賞することが多いため、ごく僅かな収差でも目立つ。

収差を抑える方法としては、屈折率や曲率の異なる複数の凹凸レンズを組み合わせる方法や、特殊な光学特性を持つ蛍石やＤＯＥ（回折光学素子）等の光学素子を用いる方法がある。ただし、このような光学系による収差補正はコストや重量の増加につながり、撮像装置の小型化及び軽量化の要請に反する。

このため、画像処理によって収差補正を行うことが望まれる。画像処理による収差補正は、例えば特許文献１にて開示されている。特許文献１にて開示された収差補正方法では、輝度及び色差データにより構成されるデジタル画像データに対して歪曲収差の補正を行い、続いて、輝度及び色差データをＲＧＢデータに変換して倍率色収差を補正する。
特開２０００−００３４３７号公報

しかしながら、特許文献１にて開示された収差補正方法では、歪曲収差と倍率色収差が補正されるものの、色収差に関しては倍率色収差が補正されるに留まっている。

このため、さらに高画質なデジタル画像データを得るためには、より高精度な色収差の補正、すなわち軸上色収差を含めた色収差の補正が求められる。

本発明は、画像に含まれる倍率色収差成分と軸上色収差成分の両方を低減することができる画像処理装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する。該画像処理装置は、画像に含まれる倍率色収差成分を低減する第１の低減手段と、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２の低減手段とを有することを特徴とする。

また、本発明の他の一側面としての画像処理方法は、撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する。該方法は、画像に含まれる倍率色収差成分を低減する第１のステップと、倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２のステップとを有することを特徴とする。

本発明によれば、画像に含まれる倍率色収差成分及び軸上色収差成分を低減して良好な画質の画像を得ることができる。そして、このような処理を行うことにより、撮像装置（光学系）の小型化、軽量化及び低コスト化を図ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１２には、本発明の実施例１である画像処理装置を搭載したカラー撮像装置１２００の基本的な構成を示す。

カラー撮像装置１２００は、結像光学系（撮像光学系）１２１０と、イメージセンサ（撮像素子）１２２０と、ＡＤ変換部１２３０、デモザイク部１２４０と、色滲み除去部１２５０と、視覚補正部１２６０と、圧縮部１２７０と、記録部１２８０とを有する。

被写体からの光は、結像光学系１２１０を経てイメージセンサ１２２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、サイズやコスト等、種々の収差補正のトレードオフの中で一定の色収補正機能が持たされている。これに対し、本実施例の結像光学系１２１０では、Ｒ〜Ｇの波長域においてのみ縦色収差が良好に補正され、Ｂの波長域で縦色収差を残存させている。このようにＢ波長域の縦色収差を残存させることにより、その他の収差の補正や、小型化及び低コスト化をより高い水準で実現できる。

イメージセンサ１２２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図１３に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類の色フィルタにより構成されている。これにより、イメージセンサ１２２０は、Ｒ，Ｇ，Ｂの波長域に対応する複数（３つ）の色プレーン（Ｒプレーン、Ｇプレーン及びＢプレーン）を撮像する。単板カラーイメージセンサでは、色フィルタを図１４に示すように画素毎に空間的に配列し、各画素に対して単一の色プレーンにおける強度を得ることしかできない。このため、イメージセンサからは色モザイク画像が出力される。

なお、ここではイメージセンサ１２２０に設けられるカラーフィルタを、Ｒ，Ｇ，Ｂからなる原色系としてＲ，Ｇ，Ｂの色プレーンにより構成されるカラー画像を得る場合について説明する。ただし、イメージセンサに補色系カラーフィルタを設けた場合であっても、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンにより構成されるカラー画像が得られる。このため、イメージセンサ１２２０として、補色系カラーフィルタを有するイメージセンサを用いてもよい。

ＡＤ変換部１２３０は、イメージセンサ１２２０からアナログ信号として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータへと変換する。

デモザイク部１２４０は、色モザイク画像を補間することによって、全ての画素においてＲＧＢの色情報を含むカラー画像を生成する。補間手法としては、単純な線形補間手法から複雑な補間手法まで様々な手法を用いることができる。

デモザイク部１２４０で生成されたカラー画像は、結像光学系１２１０の色収差に対応した画像成分（以下、色収差成分という）を含み、ＲプレーンやＧプレーンに比べて、Ｂプレーンの解像度が劣る画像となる。このため明暗の境界部では、図１５に示すように、青がぼやけ、明部の周囲に青い縁取りのようなアーチファクトが生じる。

色滲み除去部１２５０は、撮像装置内において画像処理装置として機能し、画像処理によってカラー画像に含まれる青色のアーチファクトを除去（低減）する。色滲み除去部１２５０は、後述するステップＳ１０１，Ｓ１０２の処理をそれぞれ行う倍率色収差補正部（第１の低減手段）１２５１と、軸上色収差補正部（第２の低減手段）１２５２とを有す。色滲み除去部１２５０での具体的な処理については後述する。なお、「低減する」とは、色滲みを完全に除去する場合と、多少の色滲みが残存する場合を含む。

視覚補正部１２６０は、主として画像の見栄えを改善するための処理をカラー画像に対し行う。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調等の画像処理を行う。

圧縮部１２７０は、視覚補正部１２６０で処理されたカラー画像を、ＪＰＥＧ等の方法で圧縮し、記録用のサイズを小さくする。圧縮部１２７０で圧縮されたデジタル画像は、記録部１２８０にてフラッシュメモリ等の記録媒体に記録される
ＡＤ変換部１２３０から記録部１２８０までの構成部は、別々のデバイスによって実現してもよいし、単一のマイクロプロセッサによって実現してもよい。

次に、色滲み除去部１２５０での具体的な処理について説明する。

図１には、色滲み除去部１２５０で行われる処理のフローチャートを示している。

色滲み除去部１２５０は、まず、カラー画像に含まれる倍率色収差成分（以下、単に倍率色収差ともいう）を低減する倍率色収差補正処理を行う（ステップＳ１０１）。

次に、倍率色収差補正処理を受けたカラー画像に含まれる軸上色収差成分（以下、単に軸上色収差ともいう）を低減する軸上色収差補正処理を行う（ステップＳ１０２）。

結像光学系において色収差が発生する原因は、波長によるレンズの屈折率の違いである。色収差には、２種類の現れ方がある。１つは倍率色収差、もう１つは軸上色収差である。

軸上と軸外では、色収差に起因する色滲みとしての出現のしかたが大きく異なるため、高精度に色滲みを補正するには、それぞれに適した画像処理アルゴリズムを適用することが望ましい。

（軸上色収差）
まず、軸上色収差について説明する。軸上色収差とは、波長によるレンズの屈折率の違いにより、光軸上で像が結像する位置が異なり、結果として像に色滲みが発生する現象をいう。

図２には、軸上色収差が発生する様子を示す。光源から出た光は、光学系により光軸上の焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長によって焦点距離（結像位置）が変化する。

Ｒ，Ｇ，Ｂの代表波長（例えばそれぞれ、６５０ｎｍ、５５０ｎｍ、４５０ｎｍ）の結像位置を考えると、Ｂの代表波長はＧの代表波長よりも物体側で、Ｒの代表波長はＧの代表波長よりも光軸の進行方向側で結像する。通常、カメラ等の撮像装置の光学設計では、人間の視感度の高いＧの代表波長でフォーカス位置を決めているため、Ｇの代表波長の像に比べて、ＢとＲの代表波長の像は広がり、色滲みが発生する。

図４には、軸上色収差を含む像の焦点面での強度分布の例を示す。４０１は高輝度な被写体の像における像面での強度分布を示している。この強度分布４０１では、Ｇプレーンでの像の広がりが最も小さく、Ｒプレーン及びＢプレーンでの像の広がりがより大きい。ここでは、Ｂプレーンでの像の広がりが、Ｒプレーンでの像の広がりよりも大きいものとする。

このような高輝度被写体像をイメージセンサで取得すると、強度分布４０２に示すように、照度が飽和する中心部では白飛びが生じ、その周囲に各色プレーンにおける像の広がりの差による色滲み（青滲み）を伴う回転対称な像が得られる。
（軸上色収差の出現のしかた）
高輝度な被写体に対するＢ及びＧプレーンの典型的なプロファイルを図８に示す。図８において、横軸は画像上の断面であり、縦軸はＢ及びＧプレーンの強度である。この図において、ＲはＧと同じプロファイルとする。

図８では、中心部に飽和輝度を超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体の周囲も、収差やフレアによって高輝度被写体から滲んだ光によって、プロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また、高輝度被写体から離れるに従って指数関数的に弱くなる。

Ｇプレーンでは、滲みが全くないわけではなく、ある程度の滲み（拡がり）が存在するが、その滲みはＢプレーンに比べると小さい。

また、イメージセンサは、そのイメージセンサの飽和レベル以上の強度を測定することはできず、該飽和レベル以上の強度はカットされる。このため、画像としては、本来の高輝度被写体より大きい範囲でＧとＢが飽和し、飽和領域は白くなる。この白飽和領域から離れるに従ってＧの強度は減衰していくが、Ｂの飽和領域の半径はさらに広いため、徐々にＧとＢの強度差が大きくなる。したがって、白飽和領域の外側の領域（１）（図には丸囲みの１として示す）では、水色の滲みが発生し、外側に向かって青みが増す。

Ｂの飽和領域の外側の領域（２）（図には丸囲みの２として示す）では、Ｂの飽和領域から離れるに従ってＢも減衰し始め、ＧとＢの強度差が小さくなっていく。そして、Ｇの強度がほとんどなくなる領域（２）の端よりも外側では、Ｂのみが強度を持ち、真っ青の滲みとなる。

上記の滲みのうち水色部分における青みが増した滲みと真っ青な滲みとが、青滲みとして不自然なものとなる。仮に、Ｂの滲みがＧと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは、飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。

（倍率色収差）
次に、倍率色収差について説明する。倍率色収差とは、レンズの波長による屈折率の違いにより、光学系による物体の結像倍率が異なり、結果として像に色滲みが発生する現象をいう。

図３には、倍率色収差が発生する様子を示す。光学系の光軸から外れた位置にある光源から出た光は、光学系により焦点面で結像する。しかし、波長によって光学系の屈折率が異なるため、波長ごとに焦点面での像高が異なる。例えば、Ｒ，Ｇ，Ｂの代表波長の結像位置を考える場合、図３に示すように、光源の像の中心が異なる位置に出現する。

図５には、倍率色収差を含む像の焦点面での強度分布の例を示す。なお、実際には、像の倍率が異なるため、Ｒ，Ｇ，Ｂの代表波長における強度分布の広がりは等しくはならないが、理解を容易にするために図５ではほぼ等しい広がりを持つものとして強度分布を示す。

５０１は高輝度な被写体の像の像面での強度分布を示している。強度分布５０１において、Ｒ，Ｇ，Ｂの代表波長における光源の像の中心位置が異なっている。この像をイメージセンサで撮像すると、像面照度が高い領域では白飛びが発生し、ある方向ではＲの広がりによる色滲みが、別の方向ではＢの広がりによる色滲みが発生した光源の像が得られる。このように、倍率色収差による色滲みは、軸上色収差と異なり、回転対称にはならない。

（画角による色滲みの違い）
次に、撮像により取得された画像中の画角による色滲みの違いについて説明する。図６には、画像中の位置による色滲みの違いを示す。６０１は撮像により取得された画像（撮影画像）を示す。６０２の図は撮影画像６０１における光学系の光軸位置に対応する（軸上の）Ａ地点に高輝度の光源が写る場合の色滲みの出方を示している。６０２の図では、軸上色収差のみが発生し、光源を中心に同心円状に色滲みが発生している。

一方、６０３の図は、撮影画像６０１における軸外に対応するＢ地点における色滲みの出方を示す。６０３の図では、倍率色収差と軸上色収差により、波長ごとに被写体像の大きさと中心位置が異なっている。

以上説明したように、軸上色収差と倍率色収差では色の滲み方が異なる。このため、高精度に色滲みを除去するには、軸上色収差と倍率色収差のそれぞれに適した補正処理が必要である。以下、それぞれの色収差の補正アルゴリズムについて説明する。
（倍率色収差補正のアルゴリズム）
まず、倍率色収差補正のアルゴリズムについて説明する。図７には、図６のＢ地点における高輝度被写体像の倍率色収差を補正する前の画像７０２と補正した後の画像７０３を表している。図７に示すように、倍率色収差を補正した結果、各色プレーンでの高輝度被写体像の位置が揃い、色滲みが同心円状に出現するようになる。

倍率色収差は、基準色プレーンとしてのＧプレーン以外の色プレーン（Ｒプレーン及びＢプレーンのうち少なくとも一方：以下、Ｒ又はＢプレーンという）の像倍率の違いによって発生する。したがって、倍率色収差補正においては、基準色プレーン（Ｇ）に対しては画像処理を行わず、Ｒプレーン又はＢプレーン、基準色プレーン（Ｇ）と同じ像倍率になるように画像処理する。

倍率色収差補正の具体的なアルゴリズムの例について説明する。倍率色収差補正は、幾何変換マトリックス計算処理とその幾何変換マトリックスに基づく画像補正処理とを含む。

幾何変換マトリックス計算処理は、Ｒ又はＢプレーンにおける幾何的変換を基準色プレーン（Ｇ）に合わせるための幾何変換マトリックスを求める処理である。幾何変換マトリクスは、歪みのない複数の格子点の、Ｇの代表波長から求めた像と、Ｒの代表波長又はＢの代表波長から求めた像をそれぞれ対応づけることで求められる。

続いて、計算したＲ又はＢプレーンにおける幾何変換マトリクスを使って、Ｒ又はＢプレーンの画像を補正する。これにより、Ｒ又はＢプレーンにおける倍率色収差を基準色プレーン（Ｇ）と同じ倍率色収差に合わせることができる。この処理は、一般にワーピング又はモーフィングと呼ばれる。

ここで、幾何変換マトリックスは、撮像装置により画像を生成するとき（撮像時）の撮像条件、すなわち、撮像装置が用いる結像光学系（撮像レンズ）の機種や、ズーム位置、絞り値、フォーカス位置といった状態によって異なる。撮像レンズの設計データがあれば、該レンズの機種と撮影時の該レンズの状態が分かれば、光線追跡による解析からどのようなレンズの状態であっても幾何変換マトリックスを求められる。ただし、処理に時間がかかる。

このため、予め、レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを計算して、撮像装置内のメモリ又はファームウェア内に参照テーブルの形で保存しておくとよい。そして、この参照テーブルから、撮像時のズーム位置、絞り値及びフォーカス位置をインデックスとして、幾何変換マトリックスを読み取る。これにより、処理の高速化が図れる。

ところで、データ容量の観点から、全てのズーム位置、絞り値及びフォーカス位置に対応する幾何変換マトリクスを参照テーブルとして保存することは実用上困難である。このため、参照テーブルには、代表的なズーム位置、絞り値及びフォーカス位置での幾何変換マトリクスを格納しておくとよい。この場合、実際の撮像条件に最も近い代表撮像条件に対応する幾何変換マトリクスを参照テーブルから読み出して使用したり、複数の代表撮像条件に対応する複数の幾何変換マトリクスから補間演算によって使用する幾何変換マトリクスを生成したりする。

（軸上色収差補正のアルゴリズム）
次に、軸上色収差補正のアルゴリズムについて説明する。軸上色収差補正における基本的な考え方は、Ｒ又はＢプレーンの像の広がりを最も色滲みが少ないＧプレーンにおける像の広がりと同等なレベルまで抑えることである。仮に、ＲとＢの滲みがＧと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは飽和輝度を超えた高輝度被写体の明るさを示す有益な画像情報となる。

ここで、色収差によってＧ及びＢプレーンに比べてＲプレーンの解像度が劣り、３つの色プレーンを合成した状態で明暗の境界部で赤がぼやけ、明部の周囲に赤い縁取りのようなアーチファクトが生じている画像の軸上色収差補正について考える。

図１７には、赤滲みを伴う高輝度被写体像の強度分布プロファイルを示している。図１７において、Ｇ及びＢがともに飽和する領域に隣接し、Ｂのみが飽和する領域を領域（１）（図には丸囲みの１として示す）とし、領域（１）に隣接してＢもＧも飽和しない領域を領域（２）（図には丸囲みの２として示す）とする。

このようなプロファイルを持つ色滲みを除去（低減）する方法として、種々の色滲み除去アルゴリズムが考えられる。

ここでは、画素値の傾きに注目して色滲みを除去するアルゴリズムについて説明する。なお、以下に説明するアルゴリズムは例にすぎず、本発明で使用される色滲み除去アルゴリズムが以下に説明するアルゴリズムに限定されるわけではない。

図１８には、色滲み除去アルゴリズムにおける軸上色収差補正のアルゴリズムのフローチャートを示す。

まず、空間演算ステップＳ１８０１では、Ｒ又はＧプレーンに対する輝度傾斜マップ∇Ｒ，∇Ｇを以下の式により計算する。

ここで、Ｇ（ｘ＋１，ｙ），Ｒ（ｘ＋１，ｙ）はそれぞれ、Ｇ及びＲプレーンにおける注目画素の右隣の画素の画素値を示す。Ｇ（ｘ−１，ｙ），Ｒ（ｘ−１，ｙ）はそれぞれ、Ｇ及びＲプレーンにおける注目画素の左隣の画素の画素値を示す。

Ｇ（ｘ，ｙ＋１），Ｒ（ｘ，ｙ＋１）はそれぞれ、Ｇ及びＲプレーンにおける注目画素の下隣の画素の画素値を示す。Ｇ（ｘ，ｙ−１），Ｒ（ｘ，ｙ−１）はそれぞれ、Ｇ及びＲプレーンにおける注目画素の上隣の画素の画素値とする。

次に、推定ステップＳ１８０２では、カラー画像の各画素に対して、色滲みとなっている余計なＲプレーンの強度を推定する。推定手法は、Ｂが飽和しているか否かによって異なる。すなわち、領域（２）（ＧもＲも飽和しない領域）では、Ｒの画素値の傾きからＲの滲み量を推定する。また、領域（２）（Ｒのみ飽和する領域）では、Ｇの滲み量からＲの滲み量を推定する。

領域（２）における推定滲み量Ｅ_１は、Ｒの傾き∇Ｒの絶対値に係数ｋ_１を乗じて、
Ｅ_１＝ｋ_１｜∇Ｒ｜
とする。ここで、ｋ_１は正の値であり、３前後が好適である。

一方、Ｒが飽和している領域（１）では、輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。そこで、領域（１）における推定滲み量Ｅ_２は、Ｇの傾き∇Ｇの絶対値に係数ｋ_２を乗じて、
Ｅ_２＝ｋ_２｜∇Ｇ｜
とする。ここで、ｋ_２は正の値であり、３前後が好適である。

次に、領域判定ステップＳ１８０３では、まずＲプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換は、Ｒが飽和しているか否かを示すものであり、Ｂの強度が飽和している領域では１となり、Ｒの強度が小さい場合は０となる。飽和度Ｓは、０，１の２値でもよいが、図１９のように、０〜１で連続的に変化する（ただし、図にはＲの強度の中間点から変化する）値としてもよい。

そして、この飽和度ＳによってステップＳ１８０２で算出したＥ_１又はＥ_２を選択する。すなわち、飽和度Ｓが０，１の２値であれば、新たな推定滲み量Ｅを、

とする。飽和度Ｓが０〜１で連続的に変化する値であれば、新たな推定滲み量Ｅを、
Ｅ＝（１−Ｓ）Ｅ_１＋ＳＥ_２
とする。

次に、過除去抑制ステップＳ１８０４では、推定滲み量Ｅを修正し、Ｒプレーンにおいて実際に除去する滲み量Ｅ’を決める。ここでは、除去による色相Ｈの変化を一定角度δ以内にする。色相−彩度面を図２０に示す。

図２０において、Ｒの強度から推定滲み量Ｅを除去すると、点線矢印で示すように、色相が下方に移動する。色相の変化を角度δ以内にするには、まず除去前の色相、
Ｈ_ｏｒｉ＝Ｈ（Ｒ，Ｇ，Ｂ）
を求める。次に、除去前の色相と除去後の色相との間で角度δの変化を与えるＲの滲み除去量Ｅ_ｒ，Ｅ_ｌを以下の式により計算する。

Ｈ（Ｒ−Ｅ_ｒ，Ｇ，Ｂ）＝Ｈ_ｏｒｉ−δ
Ｈ（Ｒ−Ｅ_ｌ，Ｇ，Ｂ）＝Ｈ_ｏｒｉ＋δ
ここで、角度δとしては、１０〜４５度程度が好適である
これらの滲み除去量Ｅ_ｒ，Ｅ_ｌと領域判定ステップＳ１８０３で求めた推定滲み量Ｅを比較して、これらのうちの最小値としての滲み除去量Ｅ’を、
Ｅ’＝ｍｉｎ（Ｅ，ｍａｘ（Ｅ_ｒ，Ｅ_ｌ，０））
とし、除去ステップＳ１８０４に移行する。図２０においては、滲み除去量Ｅ’＝Ｅ_ｒとなる。

次に、除去ステップＳ１８０４では、滲み除去量Ｅ’をＲプレーンの強度Ｒから差し引き、新たなＲプレーン強度Ｒを、
Ｒ＝Ｒ−Ｅ’
により求める。

このように、Ｒプレーンを修正したカラー画像を色滲み除去部１２５０の出力として視覚補正部１２６０に出力する。

この方式では、滲み除去対象画素に対して上下左右に隣接する画素のみを参照している。このため、大きな容量のフレームメモリを必要とせず、２画素ライン分のバッファメモリがあれば、ラスタ走査によって画像全体を処理することができる。これにより、高速でコンパクトな回路として撮像装置に実装することが可能となる。

上述した色滲み量の推定方法以外にも、以下のような推定方法を用いることもできる。

例えば、輝度飽和領域を判定し、非線形に補正した輝度と補正対象である色プレーンの像の位置に応じたＰＳＦ（点像分布関数：point spread function）をコンボリューションすることにより色滲み量を推定（算出）してもよい。

また、輝度飽和領域からの距離に応じて指数関数又はガウス関数でモデル化した関数を用いて、色滲み量と像の広がりを推定してもよい。

ただし、色滲みを除去する前には、はじめに説明した方法と同様に、過除去による色相の変化を抑制する処理を導入することが好ましい。この処理により、処理の前後での色相の変化を一定の範囲内に抑えて、元の色（地の色）を残した形での自然な色滲み除去を行うことができる。

（補正の順序）
上述したように、倍率色収差と軸上色収差をそれぞれ精度良く除去（低減）するには、それぞれ異なるアルゴリズムを用いる必要がある。

先に説明した通り、軸外の色収差には、倍率色収差と軸上色収差の双方が含まれている。このため、倍率色収差補正を先に実行し、その後、画像全体に対して軸上色収差補正を実行すると、画像全体から色収差を良好に除去できる。

この順序について、図９を用いてより詳細に説明する。まず、図９のステップ１において、軸外の高輝度被写体像（すなわち、撮影画像）９０１に対して倍率色収差を補正する。これにより、図７でも述べたように、軸上色収差は残るものの、倍率色収差は良好に補正される（９０２参照）。

続いて、図９のステップ２において、倍率色収差が補正された高輝度被写体像９０３に対して、軸上色収差補正を実行する。倍率色収差が補正された高輝度被写体像９０３においては同心円状に色滲みが出現するため、軸上色収差補正により良好に色滲みを補正することができる（９０４参照）。

次に、上記の順序とは逆の順序で色収差を補正する場合について、図１０を用いて説明する。まず、図１０のステップ１′において、軸外の高輝度被写体像に対して軸上色収差を補正する。しかし、軸外では倍率色収差による色滲みも含まれるため、軸上色収差補正アルゴリズムでは良好に色収差を補正できない。

続いて、図１０のステップ２′において、軸上色収差を補正した高輝度被写体像に対して倍率色収差補正を実行する。しかし、各色プレーン上での像位置が空間的に移動するため、ある程度除去した色滲みが再び顕在化し、新たな色滲みを生み出す結果となる。

したがって、色滲み除去部１２５０では、倍率色収差補正を最初に行い、その後、軸上色収差補正を行うことで良好に色滲みを補正する。この処理順序は、高精度に色滲みを除去するために必須な順序である。

実施例１では、色収差補正のみについて説明したが、本実施例では、色収差補正に加えて、単色収差（ザイデルの５収差）の補正を行う場合について説明する。

単色収差には、球面収差、非点収差、像面湾曲、コマ収差、歪曲収差がある。このうち、球面収差、非点収差、像面湾曲、コマ収差は、像のぼやけを生むが、歪曲収差は像の歪みを生む収差であり、画像処理による収差補正が比較的容易である。

図１１には、歪曲収差（幾何的歪）の出現のしかたを示す。１１０１は歪曲収差がない場合を示しており、１１０２は糸巻き型の歪曲収差を示している。また、１１０３は樽型の歪曲収差を示している。単色収差の場合、波長依存性がないため、どの色プレーンに対しても同じ補正値を用いて補正する。

歪曲収差補正は、倍率色収差補正と同じくワーピングにより行えるため、倍率色収差と同じタイミングで歪曲収差を補正するとよい。歪曲収差補正も、実施例１（図１２）に示した色滲み除去部１２５０で行う。

図２１は、本実施例における色滲み除去部１２５０の処理を示すフローチャートである。

ステップＳ２１０１では、基準色プレーン（Ｇ）に対しては歪曲収差（理想像高からのずれ）のみを補正する。そして、基準色プレーン以外の色プレーン（Ｒ又はＢプレーン）に対しては倍率色収差と歪曲収差（幾何的歪成分）を補正する。歪曲収差の補正には、倍率色収差の補正と同様、幾何変換マトリクスを用いる。

幾何変換マトリクスは、各色プレーンにおいて理想結像する複数の格子点と各色プレーンの代表波長から求めた像とをそれぞれ対応づけることで求められる。幾何変換マトリクスの算出についても同様である。ここでも、実施例１と同様に、撮像レンズの機種ごとに、各ズーム位置、各絞り値及び各フォーカス位置に対応する幾何変換マトリックスを予め計算し、メモリ又はファームウェア等に参照テーブルのかたちで保存しておくとよい。

次にステップＳ２１０２では、実施例１で説明したステップＳ１０２と同様に、倍率色収差補正処理（及び歪曲収差補正処理）を受けたカラー画像に含まれる軸上色収差を低減する軸上色収差補正処理を行う。

上記実施例１，２では、単板イメージセンサにより取得した画像から色滲みを除去する場合について説明したが、３板式イメージセンサにより取得した画像に対しても、同様に色滲みの除去が可能である。この場合、図１２に示したデモザイク部１２４０の処理が不要になる。ただし、イメージセンサで得られる解像度の倍の解像度の画像を生成する画素ずらし法を用いる場合には、デモザイク部１２４０の代わりに、高解像度化処理を行う処理部を入れるとよい。

図１６には、実施例１にて説明した撮像装置のより具体的な構成を示す。撮像装置１は、結像光学系を有する撮像レンズ１６０１、露光制御ユニット１６０２、撮像素子１６０３、画像生成回路１６０４、メモリ制御回路１６１１、画像出力部１６１２及びフレームメモリ１６１３等を備えている。

撮像レンズ１６０１は、露光制御ユニット１６０２を介して撮像素子１６０３に被写体からの光を導く。露光制御ユニット１６０２は、絞りやシャッタを含む。撮像素子１６０３は、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサにより構成され、被写体像を電気信号に変換して出力する。

画像生成回路１６０４は、撮像素子１６０３からのアナログ出力信号をデジタル化し、該デジタル信号から画像を生成する。画像生成回路１６０４は、Ａ／Ｄ変換回路、オートゲイン制御回路（ＡＧＣ）、オートホワイトバランス回路、画素補間処理回路、色変換処理回路等を含む。

１６０５は撮像レンズ１６０１のフォーカシングを制御するフォーカス制御部である。１６０６は露光制御ユニット１６０２を制御する露光制御部である。フォーカス制御部１６０５及び露光制御部１６０６は、例えば、ＴＴＬ方式を用いて制御される。また、１６２１は撮像レンズ１６０１のズームを制御するズーム制御回路であり、１６２２はズーム位置を検出するズーム位置検出回路である。

１６０７は撮像装置１の全体の動作及び制御を司るシステム制御回路である。１６０８はシステム制御回路１６０７での動作制御用のデータや処理プログラム等を記録するメモリである。１６０９は各種調整値等の情報を記憶する不揮発性メモリである。

１６２０は画像生成回路１６０４で生成された画像データから色滲みを除去（低減）する色滲み除去回路である。該色滲み除去回路１６２０には、図１２に示した色滲み除去部１２５０が含まれる。色滲み除去回路１６２０の機能の有効／無効は、不図示の操作部から設定できる色滲み除去モードのＯＮ／ＯＦＦによって選択される。

色滲み除去回路１６２０に入力される画像データは、必ずしも画像生成回路１６０４で全ての処理を終えたデータでなくてもよい。すなわち、画像生成回路１６０４の処理途中の画像データを色滲み除去回路１６２０に入力し、色滲み除去回路１６２０で処理された画像データを再び画像生成回路１６０４に入力してここでの処理を継続してもよい。

フレームメモリ１６１３は、生成された画像データを１フレーム単位又は複数フレーム単位で一時的に保持する。

メモリ制御回路１６１１は、フレームメモリ１６１３に対する画像データの入出力を制御する。

画像出力部１６１２は、色滲み除去回路１６２０で色滲みが除去された画像データを、図示しないディスプレイに表示したり、記録媒体に記録したりする。

実施例３では、撮像装置内に画像処理装置として機能する色滲み除去回路を設けた場合について説明したが、本発明はこれに限らない。

例えば図２２に示すように、撮像装置１４０１により生成した画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１４０２にインストールしたコンピュータプログラム（画像処理プログラム）に、実施例１で説明した色滲み除去部１２５０に相当する処理を実行させるようにしてもよい。この場合、パーソナルコンピュータが、本発明にいう画像処理装置として機能する。

上記実施例１，２では、幾何変換マトリクスの参照テーブルを撮像装置内に保持する場合について説明したが、参照テーブルをインターネット上のデータベースに格納し、インターネット経由で該参照テーブルをダウンロードして使用するようにしてもよい。

また、撮像レンズが撮像装置に対して交換可能である場合に、撮像レンズ内のメモリに参照テーブルを保持させてもよい。この場合、撮像レンズが撮像装置に接続されたときに、参照テーブルを撮像装置に転送すればよい。また、撮像装置から撮像レンズ内のメモリに格納された参照テーブルを更新するようにしてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１における色滲み除去部の処理を示すフローチャート。 軸上色収差が発生する様子を示す図。 倍率色収差が発生する様子を示す図。 軸上色収差を含む像の焦点面での強度分布の例を示す図。 倍率色収差を含む像の焦点面での強度分布の例を示す図。 撮影画像中の位置による色滲みの違いを示す図。 図６のＢ地点における光源の像に加わった倍率色収差を補正する様子を示す図。 高輝度被写体に対するＢ及びＧプレーンの典型的なプロファイルを示す図。 軸上色収差補正の後に倍率色収差補正を実行した場合の高輝度被写体像を示す図。 軸上色収差補正アルゴリズムの原理を説明する図。 歪曲収差の出現のしかたを説明する図。 実施例１であるカラー撮像装置での処理を示すフローチャート。 原色系カラーフィルタの分光特性分布を示す図。 単板イメージセンサのカラーフィルタの配列を示す図。 明暗境界部に発生する色滲みの強度分布を示す図。 本発明の実施例３（実施例１）である撮像装置の構成を示すブロック図。 赤滲みを伴う高輝度被写体像の強度分布プロファイルを示す図。 軸上色収差補正アルゴリズムのフローチャート。 Ｒ強度に対する非線形変換を表す図。 過除去抑制処理を説明するための色相−彩度面を表す図。 本発明の実施例２における色滲み除去部での処理を示すフローチャート。 本発明の実施例４である画像処理装置を示す図。

符号の説明

１２１０ 結像光学系
１２２０ イメージセンサ
１２５０ 色滲み除去部
Ｓ１０１ 倍率色収差補正処理
Ｓ１０２，Ｓ２１０２ 軸上色収差補正処理
Ｓ２１０１ 倍率色収差＋幾何的歪補正処理

Claims (8)

1. 撮像装置により生成された、複数の色プレーンにより構成される画像に含まれる色滲みを低減する画像処理装置であって、
   前記画像に含まれる倍率色収差成分を低減する第１の低減手段と、
   前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２の低減手段とを有することを特徴とする画像処理装置。
2. 前記第１の低減手段は、前記複数の色プレーンのうち基準色プレーン以外の色プレーンに含まれる倍率色収差成分を低減することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の低減手段は、前記各色プレーンの画素値の傾きから算出した前記軸上色収差成分を低減することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の低減手段は、前記画像中の輝度飽和領域からの距離に基づいて算出した前記軸上色収差成分を低減することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第２の低減手段は、前記色プレーンごとの像の位置に応じた点像分布関数をコンボリューションすることにより算出した前記軸上色収差成分を低減することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記第１の低減手段は、前記撮像装置により前記画像を生成するときの撮像条件に基づいて前記倍率色収差成分を算出することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 前記第１の低減手段は、前記倍率色収差成分を低減し、かつ前記各色プレーンに含まれる幾何的歪成分を低減することを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
8. 撮像装置により生成された、複数の色プレーンにより構成される画像から色滲みを低減する画像処理方法であって、
   前記画像に含まれる倍率色収差成分を低減する第１のステップと、
   前記倍率色収差成分が低減された画像に含まれる軸上色収差成分を低減する第２のステップとを有することを特徴とする画像処理方法。