JP5506528B2 - 画像処理装置及び画像処理方法及びプログラム - Google Patents

Description

本発明は、色収差補正を行う画像処理技術に関する。

デジタルカメラ等の撮影レンズを用いた撮像装置が様々な用途に使用されている。しかし、撮影レンズにより発生する倍率色収差は、画像に色ズレを発生させ、品質を低下させる要因として問題となっている。デジタルカメラ等に使用される撮像素子は年々画素数が増大し、単位画素サイズが縮小傾向にあるため、従来では殆ど問題とならなかった程度の倍率色収差でも画質を低下させる主要因となってきている。

このような色ズレを画像処理により補正する技術として、その補正量となる色ズレ量を画像から取得する技術が提案されている。画像から色ズレ量を取得する技術として、画像のエッジ部分に着目し、各色成分間の相関による類似度を利用する方法がある。例えば、特許文献１に記載されている各色成分間の差分の合計が最小となる位置を探すことでズレ量を取得する方法や、特許文献２に記載されている各色成分の差分絶対値の合計が最小となる位置を探すことでズレ量を取得する方法である。

特開２０００−２９９８７４号公報 特開２００６−０２０２７５号公報

しかしながら、上記のような各色成分の相関による類似度を利用した（最小となる位置を求める）色ズレ量取得方法では、図８（ａ）に示すような、にじみの発生しているエッジで正しい色ズレ量を取得できない場合がある。その結果、エッジ部分の色相が補正前後で大きく変わってしまい、補正による効果が十分に得られない問題がある。

図８（ｂ）に、各色成分の相関による類似度を利用した色ズレ量取得方法による補正後の状態を示す。例えば、Ｇ（緑）プレーンとＲ（赤）プレーンに色ズレは無く、Ｇ（緑）プレーンとＢ（青）プレーンに図８（ａ）のような色ズレがある場合、図８（ａ）の斜線部に相当する部分は黄色である。ここで、図８（ｂ）の状態になるような補正を施すと、図８（ｂ）の斜線部に相当する部分は、過補正により別の色である青色に変化するため、補正前後で比較すると観測者に大きな違和感を与えてしまう。補正後のエッジ部分の色相を調整することでこの違和感を減少させる方法もあるが、本来の被写体の色構造を失う場合がある。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、倍率色収差による色ズレを画像処理により補正する場合に、適切な色ズレ量を取得して、より適切な色ズレ補正を行なえるようにすることである。

本発明に係わる画像処理装置は、複数色の色信号を含む画像データからエッジ部を抽出するエッジ抽出手段と、前記複数色の色信号のうちの第１の色信号と第２の色信号について、それぞれの色信号ごとに、前記エッジ部を横切る方向の高域成分を抽出する高域成分抽出手段と、前記画像データの画面内において、前記高域成分抽出手段により抽出された前記第１の色信号と前記第２の色信号の高域成分が最大値を示す前記画面内の位置と最小値を示す前記画面内の位置とに基づいて、前記第１の色信号と第２の色信号の位置ズレ量を取得するズレ量取得手段と、前記ズレ量取得手段により取得された位置ズレ量に基づいて、前記第１の色信号と前記第２の色信号の少なくとも一方を、前記画像データの画面内において移動させることにより、前記第１の色信号と前記第２の色信号の位置ズレを補正する補正手段と、を備えることを特徴とする。

本発明によれば、倍率色収差による色ズレを画像処理により補正する場合に、適切な色ズレ量を取得して、より適切な色ズレ補正を行なうことが可能となる。

本発明の一実施形態に係わる撮像装置を示すブロック図。 一実施形態の撮像装置内の画像処理装置における処理を示すフローチャート。 像高毎に分割した領域と、色ズレ率を示す図。 色ズレ量検出処理を示すフローチャート。 注目エッジと注目ラインを示す図。 色ズレの様子を示す図。 ＨＰＦのフィルタ係数を示す図 エッジ部分の色ズレを示す図。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。以下、対象とする色プレーンについて、特に言及していない場合でも、ＧプレーンとＲプレーンの色ズレ補正、及びＧプレーンとＢプレーンの色ズレ補正はどちらも同様に下記の方法により補正を行うことができるものとする。

また、本実施形態では、本発明をデジタルカメラ等の撮影系を有する撮像装置に適用した例について説明するが、本発明は、デジタルカメラ以外の撮影レンズを用いた撮影系により撮影された、複数の色プレーンからなる画像に対しても適用できる。そのため、本発明の対象となる画像は、ＲＡＷデータや、現像処理後のＪＰＥＧデータなどの何れかに限定されるものではない。

まず、倍率色収差補正を行う画像処理装置を有する撮像装置において、画像から倍率色収差補正データを作成し、補正するまでの処理の概要について説明する。図１は、本実施形態に係わる画像処理装置を有する撮像装置の構成を示すブロック図である。

撮像装置１００は、結像光学系１０、撮像素子２０、Ａ／Ｄ変換部３０、色分離部４０、エッジ抽出部５０、ＨＰＦ（ハイパスフィルタ）部６１を含む補正データ作成部６０、画像補正部７０を有する。

図１において、被写体からの光は結像光学系１０を経て、被写体像を光電変換する撮像素子２０上に結像される。撮像素子２０は一般的なベイヤー配列の原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーン（複数色の色信号）を生成する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される。

Ａ／Ｄ変換部３０では撮像素子からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータ（画像データ）へと変換する。色分離部４０では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。なお、この補間手法には、バイリニア補間やバイキュービック補間など、多くの方式が提案されているが、本発明は補間手法を限定するものではなく、いずれの補間手法を用いてもよい。

エッジ抽出部５０では生成された画像に対し、エッジ（エッジ部）の検出を行う。検出されたエッジ情報を元に、ＨＰＦ部６１を含む補正データ作成部６０では画像から倍率色収差補正データを作成する。画像補正部７０では作成された倍率色収差補正データを用いて倍率色収差補正を行う。

図２は、本実施形態の撮像装置における倍率色収差補正部分である、エッジ抽出部５０、ＨＰＦ部６１を含む補正データ作成部６０、画像補正部７０における処理の流れを示したフローチャートである。以下、図２を参照して、本実施形態の撮像装置における倍率色収差補正について説明する。

まず、エッジ検出ステップＳ１０１では、倍率色収差による色ズレが顕著に現れるエッジを画像から検出する。色分離部４０で補間されたＲ、Ｇ、ＢプレーンからＹ（輝度）プレーンを生成し、エッジの検出にはこのＹプレーンを使用する。ここで検出するエッジは光学中心からの動径方向に大きく画素値の変化するエッジに限定することで精度の高い色ズレ量取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレは、にじみとなって現れるので、画素値が単調増加、もしくは単調減少する画素が複数画素続くような、ある程度幅のあるエッジを対象とするのが良い。

色ズレ量取得ステップＳ１０２では、エッジ検出ステップＳ１０１で検出された各エッジにおいて色ズレ量を取得する。色ズレ量の取得には本実施形態による色ズレ量取得処理を適用するものとし、詳細は後述する。ここで扱う色ズレの方向は、光学中心と各エッジの位置関係により上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向の何れかを適用することで処理の簡略化を図る。

色ズレ量取得ステップＳ１０２の出力となる色ズレ量は、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合に負の値とする。また、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。

補正データ作成ステップＳ１０３では、エッジ検出ステップＳ１０１で検出された各エッジの像高と、色ズレ量取得ステップＳ１０２で取得した各エッジの色ズレ量から、像高と色ズレの関係を求めることで補正データを作成する。ここでいう像高とは、光学中心に相当する画素（以降、単に光学中心という）からの距離である。

以下、補正データの作成手順について具体的に説明する。
（１）エッジ検出ステップＳ１０１で検出されたエッジの像高をＬ、色ズレ量取得ステップＳ１０２で取得された色ズレ量をＤとした場合、下記のように像高に対する色ズレ率Ｍを求める。

Ｍ＝Ｄ／Ｌ
（２）図３（ａ）に示すように画像を像高毎に８つの領域（ｈ１〜ｈ８）に分割し、上記エッジが属する領域を選別する。
（３）画像内で検出された複数のエッジついて上記（１）（２）を行い、像高毎に分割した８つの領域毎に色ズレ率Ｍを集計し、各領域毎に色ズレ率Ｍの平均値を求め、各領域の色ズレ率を決定する。
（４）図３（ｂ）に示したように、像高と求めた色ズレ率から、像高と色ズレ率の関係を表す高次の多項近似式Ｆ（Ｌ）を算出し、これを補正データとする。図３（ｂ）は三次の多項式により補正データを算出した例である。

なお、エッジの検出と色ズレ量取得は、画面内の全エッジに対して行っても良い。しかし、像高毎に分割した８つの各領域で、ある閾値以上の数の色ズレ率が集計された段階でエッジ検出と色ズレ量取得を終了するなど、信頼度を保ちながら処理の効率化を図ることが可能である。

また、像高毎に分割した８つの領域のうち、該当するエッジが見つかった領域のみを高次の多項近似式算出に使用することで、該当するエッジが見つからない領域があった場合でも補正データの作成が可能となる。

画像補正ステップＳ１０４では、補正データ作成ステップＳ１０３で作成された補正データを使用して色ズレを補正する。まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌから色ズレ率Ｍを求める。なお、光学中心が(０，０)の座標系とする。

Ｍ＝Ｆ（Ｌ）
次に色ズレ補正により生成する画素の座標(Ｘ１，Ｙ１)を求める。

Ｘ１＝Ｘ＋Ｍ×Ｘ
Ｙ１＝Ｙ＋Ｍ×Ｙ
補正したいプレーンにおいて上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ズレ補正を行う。

以上が、画像から倍率色収差補正データを作成し、補正するまでの処理の概要である。以下、本実施形態における色ズレ量取得ステップＳ１０２の詳細について、図４のフローチャートを参照して説明する。

図４は、ＧプレーンとＢプレーン（第１の色信号及び第２の色信号）における色ズレ量（色成分の位置ズレ量）取得の流れを示しているが、ＧプレーンとＲプレーンにおいても同様の処理で色ズレ量取得を行う。まず、各色成分の対象画素取得ステップＳ２０１では、エッジ検出ステップＳ１０１で検出された画像内のエッジ付近で、色ズレ量取得処理の対象とする画素を取得する。色ズレ量取得処理の対象とする画素は図５に示すように色ズレ量を取得する注目エッジを横切る色ズレ量取得方向の１ライン（注目ライン）とする。図５の例では、注目エッジが画像右上に位置しているので、色ズレ量取得方向は、右斜め上／左斜め下方向を適用している。以降、色ズレ量取得の対象とする領域を注目ラインと呼ぶ。

注目ラインのサイズは注目エッジの幅と輝度変化量により設定することが好ましい。例えば、エッジの幅の２倍程度の長さとするのがよい。各色成分の対象画素取得ステップＳ２０１で取得したＧプレーン、Ｂプレーンの画素信号の例を図６（ａ）に示す。

次のＨＰＦステップＳ２０２では、各色成分の対象画素取得ステップＳ２０１で取得した画素信号に対し、ハイパスフィルタ処理を施し、高域成分抽出を行う。ここで使用するハイパスフィルタのタップとフィルタ係数を図７に示す。そして、図６（ａ）に示したＧとＢの各画素に図７に示したフィルタを施した結果を図６（ｂ）に示す。周波数領域において、エッジの始点・終点は高域成分を多く含むため、ハイパスフィルタによりエッジの始点・終点（エッジ始点位置及びエッジ終点位置）の抽出が可能となる。ハイパスフィルタの出力値の絶対値が大きい箇所がエッジの始点・終点を表わしている。なお、ノイズなどの影響を抑え、エッジの始点・終点の検出精度を向上させるために、ハイパスフィルタ実施前に、対象画素に対し画素値の平滑化を実施してもよい。

次のエッジ始点・終点検索ステップＳ２０３では、ハイパスフィルタの出力結果からエッジの始点・終点を求める。ハイパスフィルタの出力値の最大値と最小値の位置をそれぞれの色プレーンで求め、その位置をエッジの始点・終点とする。

Ｇプレーンのハイパスフィルタ出力値の最大値位置をＧｍａｘ、最小値位置をＧｍｉｎとし、Ｂプレーンのハイパスフィルタ出力値の最大値位置をＢｍａｘ、最小値位置をＢｍｉｎとする。注目ライン内で、エッジの始点・終点以外の箇所で高域成分を多く含む画素がある場合は、最大値・最小値がエッジの始点・終点ではない場合がある。これに対応するために、注目ラインの中央部に近い変曲点を求めることでエッジの始点・終点を求めてもよい。

さらに、次式を満たす場合は、色ズレ量取得処理に適していないエッジと判断し、このエッジでは色ズレ量取得を行わないようにする。

（Ｇｍａｘ＞Ｂｍａｘ ＡＮＤ Ｇｍｉｎ＜Ｂｍｉｎ） ＯＲ
（Ｇｍａｘ＜Ｂｍａｘ ＡＮＤ Ｇｍｉｎ＞Ｂｍｉｎ）
次の色ズレ量決定ステップＳ２０４では、まず、次式によりズレ量を２つ（ｄ１，ｄ２）求める。ここで、ｄ１，ｄ２は次のように表わされる。

ｄ１＝|Ｇｍａｘ−Ｂｍａｘ|
ｄ２＝|Ｇｍｉｎ−Ｂｍｉｎ|
次に、この２つのズレ量ｄ１、ｄ２を比較し、下記のように色ズレ量を決定する。

ｄ１≧ｄ２の場合 : ｄ２を色ズレ量とする。

ｄ１＜ｄ２の場合 : ｄ１を色ズレ量とする。

図６（ｂ）の例では、ｄ１≧ｄ２となるため、ｄ２が色ズレ量と決定される。このｄ２だけＧ信号及びＢ信号の少なくとも一方を移動させて色ズレを補正した結果を図６（ｃ）に示す。過補正とならず、Ｂをずらす量としてｄ２が適切であることが分かる。

以上が、色ズレ量取得ステップＳ１０２の説明となる。このように差分絶対値和による類似度の判定ではなく、ハイパスフィルタを施すことで求めたエッジの始点・終点位置を、各色成分間で比較することで、適切な色ズレ量を取得でき、補正前後で違和感が無い適切な色ズレ補正を行なうことができる。

なお、上記の実施形態では、色ズレ量の取得単位を１画素としたが、ＨＰＦステップＳ２０２で行われるハイパスフィルタの出力値を、スプライン補間やローパスフィルタなどの補間処理により補間することで、１画素未満の単位で色ズレ量取得が可能となる。また、ハイパスフィルタの代わりに、ウェーブレット変換を用いて、色信号のエッジ部を横切る方向における高域成分を抽出するようにしてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 複数色の色信号を含む画像データからエッジ部を抽出するエッジ抽出手段と、
   前記複数色の色信号のうちの第１の色信号と第２の色信号について、それぞれの色信号ごとに、前記エッジ部を横切る方向の高域成分を抽出する高域成分抽出手段と、
   前記画像データの画面内において、前記高域成分抽出手段により抽出された前記第１の色信号と前記第２の色信号の高域成分が最大値を示す前記画面内の位置と最小値を示す前記画面内の位置とに基づいて、前記第１の色信号と第２の色信号の位置ズレ量を取得するズレ量取得手段と、
   前記ズレ量取得手段により取得された位置ズレ量に基づいて、前記第１の色信号と前記第２の色信号の少なくとも一方を、前記画像データの画面内において移動させることにより、前記第１の色信号と前記第２の色信号の位置ズレを補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記ズレ量取得手段は、前記第１の色信号と前記第２の色信号の高域成分が最大値を示す前記画面内の位置と最小値を示す前記画面内の位置とに基づいて、前記第１の色信号のエッジ始点位置およびエッジ終点位置と、前記第２の色信号のエッジ始点位置およびエッジ終点位置とを求め、前記第１の色信号のエッジ始点位置と前記第２の色信号のエッジ始点位置の差分と、前記第１の色信号のエッジ終点位置と前記第２の色信号のエッジ終点位置の差分のうちの小さい方の値を、前記第１の色信号と第２の色信号の位置ズレ量として取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記ズレ量取得手段は、前記第１の色信号および前記第２の色信号の高域成分を補間することにより、前記第１の色信号のエッジ始点位置およびエッジ終点位置と、前記第２の色信号のエッジ始点位置およびエッジ終点位置を、１画素未満の単位で求めることを特徴とする請求項２に記載の画像処理装置。
4. 画像処理装置における画像処理方法であって、
   前記画像処理装置のエッジ抽出手段が、複数色の色信号を含む画像データからエッジ部を抽出するエッジ抽出工程と、
   前記画像処理装置の高域成分抽出手段が、前記複数色の色信号のうちの第１の色信号と第２の色信号について、それぞれの色信号ごとに、前記エッジ部を横切る方向の高域成分を抽出する高域成分抽出工程と、
   前記画像処理装置のズレ量取得手段が、前記画像データの画面内において、前記高域成分抽出工程において抽出された前記第１の色信号と前記第２の色信号の高域成分が最大値を示す前記画面内の位置と最小値を示す前記画面内の位置とに基づいて、前記第１の色信号と第２の色信号の位置ズレ量を取得するズレ量取得工程と、
   前記画像処理装置の補正手段が、前記ズレ量取得工程において取得された位置ズレ量に基づいて、前記第１の色信号と前記第２の色信号の少なくとも一方を、前記画像データの画面内において移動させることにより、前記第１の色信号と前記第２の色信号の位置ズレを補正する補正工程と、
   を備えることを特徴とする画像処理方法。
5. コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images