JP6249638B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像中の霧等の成分を除去する画像処理に関する。

監視カメラなどの分野において、カメラから被写体までの間に存在する微小な粒子（例えば、霧）によって視認性が低下し、撮像画像が劣化することが問題となっている。このような霧等の成分を撮像画像から除去する技術として、特許文献1や非特許文献1が提案されている。これらの技術では、各画素のＲＧＢチャンネルの画素値のうち最小の画素値に基づいて、各画素に届く光の霧等に対する透過率を算出し、透過率に応じて各画素の画素値を補正することで霧等を除去している。

特開２０１２−２２１２３７号公報

K.He, J.Sun and X.Tang, "Single Image Haze Removal Using Dark Channel Prior", CVPR 2009

しかし、特許文献1や非特許文献1記載の技術では、霧等の成分を除去した後の画像においてホワイトバランスが崩れてしまうことがある。これは、被写体と霧等の色との和に合わせてホワイトバランスが調整されている状態の画像から霧等の成分のみを除いてしまうことに起因する。

また、霧等の成分を除去する場合、霧等の影響で狭くなった階調の幅を引き延ばすように画素値を補正するため、同時にノイズも増幅されてしまう。撮像画像中の位置（画素毎の透過率の違い）によってノイズの増幅量は異なるため、撮像画像全体に一様なノイズ低減処理を行っても、撮像画像中の位置によってノイズ低減が不足な部分と過剰な部分が発生してしまう。

本発明に係る画像処理装置は、微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、高画質化処理のためのパラメータを導出する手段と、導出されたパラメータを用いて高画質化処理を実行する手段と、前記微小粒子成分を除去した撮像画像データを生成する手段とを有することを特徴とする。

本発明によれば、画質を落とすことなく撮像画像から霧等の成分を除去することができる。

画像処理装置の構成の一例を示す図である。 霧画像を模式的に示した図である。 ３種類の被写体の各色チャンネルの平均値と成分毎の内訳を示すテーブルの一例である。 実施例１に係る画像処理装置の機能ブロック図である。 実施例１に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。 実施例２に係る画像処理装置の機能ブロック図である。 実施例２に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。 実施例３に係る画像処理装置の機能ブロック図である。 実施例３に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。

［実施例１］
図１は、本発明に係る画像処理装置の構成の一例を示す図である。

画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ Ｉ／Ｆ１０４、ＨＤＤ１０５、入力 Ｉ／Ｆ１０６、出力 Ｉ／Ｆ１０７、システムバス１０８から構成され、外部メモリ１０９、表示装置１１０、撮像装置１１１が接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。

ＨＤＤ Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ(ＳＡＴＡ)等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５と接続されている。このＨＤＤ Ｉ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出しやＨＤＤ１０５へのデータの書き込みがなされる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。この入力Ｉ／Ｆ１０６を介して、撮像装置１１１や外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。

出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。この出力Ｉ／Ｆ１０７を介して、表示装置１１０（液晶ディスプレイなどの各種出力デバイス）に、撮像装置１１１で撮像された画像などを表示する。

撮像装置１１１は、被写体の光情報をセンサで受光し、Ａ/Ｄ変換を施すことによって撮像画像のデジタルデータ（撮像画像データ）を取得する。

なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

本実施例では、カメラと被写体との間に存在する霧などの微小な粒子によって崩れたホワイトバランスを調整する。微小粒子には、霧の他、靄、煙などがあるが、以下では、霧等のかかった画像を「霧画像」と呼ぶこととする。霧画像は以下の式（１）で表すことができる。

ここで、ｘは注目画素の番号、Ｉ_Ｘは注目画素ｘの画素値、Ｊ_Ｘは注目画素ｘに写る被写体から発せられる光の輝度を画素値に換算した値、λ_Ｘは注目画素ｘに入射する光の霧等に対する透過率、Ｈ_Ｘは画素値Ｉｘのうちの霧等の成分を表す。なお、以下では、「Ｈ_Ｘ」を微小粒子成分と呼び、「Ｊ_Ｘ・λ_Ｘ」を被写体光成分と呼ぶこととする。つまり、上記式（１）は、霧画像が、被写体光成分と微小粒子成分との足し合わせから成ることを表している。以下では、画素値Ｉｘを入力とし、そこから微小量子成分Ｈ_Ｘを除去して、被写体光成分Ｊ_Ｘ・λ_Ｘを導出する処理を「微小粒子除去処理」と呼ぶこととする。

次に、霧画像の具体例について説明する。

図２は、霧画像を模式的に示した図である。図２に示す撮像画像には霧がかかった３種類の被写体２０１〜２０３が写っている。この場合において、被写体２０１における透過率は0.5、被写体２０２における透過率は0.1、被写体２０３における透過率は0.9であるとする。

図３は、被写体２０１〜２０３における各色チャンネルの平均値と成分毎の内訳を示すテーブルであり、（ａ）は被写体２０１に、（ｂ）は被写体２０２に、（ｃ）は被写体２０３に対応している。図３において、画素値（被写体光成分+微小粒子成分）は撮像画像データから直接取得することができるが、被写体光成分と微小粒子成分の各値は、撮像画像データから直接取得することができない。

次に、ホワイトバランスの調整について説明する。

ホワイトバランスの調整とは、撮像画像（ＲＧＢ画像）のＲ値（赤成分）の平均値、Ｇ値（緑成分）の平均値、Ｂ値（青成分）の平均値が同一、もしくは近い値となるように画素値を調整する処理である。一般的には、以下の式（２）〜式（４）によってホワイトバランスが調整される。

ここで、Ｒ_Ｘ、Ｇ_Ｘ、Ｂ_Ｘは、注目画素ｘのホワイトバランス調整前のＲＧＢ値であり、Ｒ_ＷＸ、Ｇ_ＷＸ、Ｂ_ＷＸは、注目画素ｘのホワイトバランス調整後のＲＧＢ値である。また、Ｗ_Ｒ、Ｗ_Ｇ、Ｗ_Ｂはホワイトバランス調整時の重みであり、以下の式（５）〜式（１１）で表される。

ここで、Ωは撮像画像中の画素全体の集合、Ｎは撮像画像の画素数である。図３の例では、
Ｓ_Ｒ=(150+137+188)/3=158.33
Ｓ_Ｇ=(130+150+110)/3=130.00
Ｓ_Ｂ=(110+163+52)/3=108.33
Ｓ=(158.33+130.00+108.33)/3=132.22
となる。その結果、重みは、
Ｗ_Ｒ=132.22/158.33=0.84
Ｗ_Ｇ=132.22/130.00=1.02
Ｗ_Ｂ=132.22/108.33=1.22
となる。そして、これらの値からホワイトバランス調整後のＲＧＢ値Ｒ_ＷＸ、Ｇ_ＷＸ、Ｂ_ＷＸは、以下のようになる。
＜被写体２０１＞
Ｒ_ＷＸ=Ｗ_Ｒ×Ｒ_Ｘ=0.84×150=126.00
Ｇ_ＷＸ=Ｗ_Ｇ×Ｇ_Ｘ=1.02×130=132.60
Ｂ_ＷＸ=Ｗ_Ｂ×Ｂ_Ｘ=1.22×110=134.20
＜被写体２０２＞
Ｒ_ＷＸ=0.84×137=115.08
Ｇ_ＷＸ=1.02×150=153.00
Ｂ_ＷＸ=1.22×163=198.86
＜被写体２０３＞
Ｒ_ＷＸ=0.84×188=157.92
Ｇ_ＷＸ=1.02×110=112.2
Ｂ_ＷＸ=1.22×52=63.44

これを３つの被写体（撮像画像の全画素）について平均すると、Ｒ_ＷＸの平均は133.00、Ｇ_ＷＸの平均は132.60、Ｂ_ＷＸの平均は132.17となる。このように、Ｒ値、Ｇ値、Ｂ値の値がほぼ同一となるように、ホワイトバランスが調整される。

しかし、上記の処理によって調整されるのは、霧等のかかった状態の画像のホワイトバランスであって、微小粒子除去処理によって得られる被写体光成分のみで構成される画像のホワイトバランスが調整されるわけではない。例えば、上述したホワイトバランス調整処理を図３における各被写体光成分に対して行うと、調整後のＲＧＢ値（Ｒ_ＷＸ、Ｇ_ＷＸ、Ｂ_ＷＸ）は、以下のようになる。
＜被写体２０１＞
Ｒ_ＷＸ=Ｗ_Ｒ×Ｒ_Ｘ=0.84×110=92.40
Ｇ_ＷＸ=Ｗ_Ｇ×Ｇ_Ｘ=1.02×80=81.60
Ｂ_ＷＸ=Ｗ_Ｂ×Ｂ_Ｘ=1.22×50=61.00
＜被写体２０２＞
Ｒ_ＷＸ=0.84×65=54.60
Ｇ_ＷＸ=1.02×60=61.20
Ｂ_ＷＸ=1.22×55=67.10
＜被写体２０３＞
Ｒ_ＷＸ=0.84×180=151.2
Ｇ_ＷＸ=1.02×100=102.00
Ｂ_ＷＸ=1.22×40=48.80

これを３つの被写体（撮像画像の全画素）について平均すると、Ｒ_ＷＸの平均は99.40、Ｇ_ＷＸの平均は81.60、Ｂ_ＷＸの平均は58.97となる。霧画像（被写体光成分+微小粒子成分）に対するホワイトバランス調整後の値と比べて、ホワイトバランスが崩れた結果となっているのが分かる。このように、霧画像においてホワイトバランスが取れていても、微小粒子除去処理によって被写体光成分のみを有する画像となった場合にはホワイトバランスが崩れてしまう。本実施例では、この問題を解決するために、ホワイトバランス調整時の重みを、透過率に基づいて導出する。

図４は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部４０１、透過率データ取得部４０２、高画質化パラメータ導出部４０３、高画質化処理部４０４、微小粒子除去処理部４０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。

撮像画像データ取得部４０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部４０２、高画質化パラメータ導出部４０３及び高画質化処理部４０４へ送られる。

透過率データ取得部４０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部４０３及び微小粒子除去処理部４０５へ送られる。

高画質化パラメータ導出部４０３は、撮像画像データと透過率データとから、高画質化処理で用いるパラメータ（本実施例ではホワイトバランス調整処理時の重み）を導出する。導出された高画質化パラメータは、高画質化処理部４０４へ送られる。

高画質化処理部４０４は、導出された高画質化パラメータを用いて、高画質化処理（本実施例ではホワイトバランス調整処理）を撮像画像に対して実行する。高画質化処理が施された撮像画像のデータは、微小粒子除去処理部４０５に送られる。

微小粒子除去処理部４０５は、高画質化処理が施された撮像画像から微小粒子成分を取り除く処理を行い、被写体光成分のみからなる撮像画像データを生成する。

図５は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ５０１において、撮像画像データ取得部４０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部４０２と高画質化処理部４０４へ送られる。

ステップ５０２において、透過率データ取得部４０２は、取得した撮影画像における透過率のデータを取得する。この透過率のデータは、入力Ｉ／Ｆ１０６を通じて外部（例えば不図示のキーボードを介した入力）から取得するようにしてもよいし、取得した撮像画像からダークチャンネルの原理などを用いて推定してもよい。また、透過率は被写体距離に依存するため、被写体までの距離データを取得し、そこから透過率を算出してもよい。ダークチャンネルの原理や、被写体距離から透過率を算出する方法は、本発明の主眼ではないため、説明を省略する。取得した透過率のデータは、高画質化パラメータ導出部４０３及び微小粒子除去処理部４０５へ送られる。

ステップ５０３において、高画質化パラメータ導出部４０３は、撮像画像データと透過率データとから、高画質化パラメータとしてホワイトバランス調整時の重みを導出する。具体的には、前述のとおり、全画素のＲ値の平均値、Ｇ値の平均値、Ｂ値の平均値が相互に近い値になるようなホワイトバランス調整処理時の重みを導出する。撮像画像の全画素の中には、透過率λ_Ｘが低い画素（霧等の影響が大きい画素）も含まれている。そこで、透過率λ_Ｘの値が大きい（霧等の影響が小さい）画素の画素値を強く反映させるような重みを、以下の式（１２）〜式（１８）によって求める。

例えば、上述の図２で示した被写体２０１〜２０３の透過率λ_Ｘと図３の表で示した画素値を上記式（１２）〜式（１８）に適用すると、以下のようになる。
まず、式（１５）〜式（１８）から、
Ｓ’_Ｒ=(0.5×150+0.1×137+0.9×188)/3=85.97
Ｓ’_Ｇ=(0.5×130+0.1×150+0.9×110)/3=59.67
Ｓ’_Ｂ=(0.5×110+0.1×163+0.9×52)/3=39.37
Ｓ’=(85.97+59.67+39.37)/3=61.67
となる。その結果、式（１２）〜式（１４）から、重みは、
Ｗ’_Ｒ=61.67/85.97=0.72
Ｗ’_Ｇ=61.67/59.67=1.03
Ｗ’_Ｂ=61.67/39.37=1.57
となる。このようにして透過率λ_Ｘの値が大きい（霧等の影響が小さい）画素の画素値を強く反映させるような重みが導出される。

図５のフローチャートの説明に戻る。

ステップ５０４において、高画質化処理部４０４は、ステップ５０３で導出した重みを用いて、高画質化処理としてのホワイトバランス調整処理を撮像画像に対して実行する。具体的には、以下の式（１９）〜式（２１）を用いて、新たな画素値Ｒ’_ＷＸ、Ｇ’_ＷＸ、Ｂ’_ＷＸを求める。

例えば、ステップ５０３で導出された各重みが上述のＷ’_Ｒ=0.72、Ｗ’_Ｇ=1.03、Ｗ’_Ｂ=1.57、撮像画像のＲＧＢ値が図３の表で示した被写体光成分のＲＧＢ値であったする。この場合、上記式（１９）〜式（２１）から、以下のように新たな画素値Ｒ’_ＷＸ、Ｇ’_ＷＸ、Ｂ’_ＷＸが求められる。
＜被写体２０１＞
Ｒ’_ＷＸ= 0.72×110=79.2
Ｇ’_ＷＸ= 1.03×80=82.4
Ｂ’_ＷＸ= 1.57×50=78.5
＜被写体２０２＞
Ｒ’_ＷＸ=0.72×65=46.8
Ｇ’_ＷＸ=1.03×60=61.8
Ｂ’_ＷＸ=1.57×55=86.35
＜被写体２０３＞
Ｒ’_ＷＸ=0.72×180=129.6
Ｇ’_ＷＸ=1.03×100=103.00
Ｂ’_ＷＸ=1.57×40=62.8
これを３つ被写体（撮像画像の全画素）について平均すると、Ｒ’_ＷＸの平均は85.20、Ｇ’_ＷＸの平均は82.40、Ｂ’_ＷＸの平均は75.89となる。これは、従来の方法でホワイトバランスを調整した結果（Ｒ_ＷＸの平均：99.40、Ｇ_ＷＸの平均：81.60、Ｂ_ＷＸの平均：58.97）に比べてホワイトバランスの崩れが少ないことが分かる。

図５のフローチャートの説明に戻る。

ステップ５０５において、微小粒子除去処理部４０５は、ステップ５０４で得たホワイトバランスを調整した撮像画像から微小粒子成分を除去し、被写体光成分Ｊ_Ｘ・λ_Ｘのみからなる撮像画像データを生成する。具体的には、まず、撮像画像中で最も霧等の微小粒子が濃い画素を特定する。この微小粒子が濃い画素を特定する処理には任意の方法を用いてよいが、例えば、霧等の色は白いと仮定し、ＲＧＢ値の平均値が全画素の中で最も大きい画素を、最も霧が濃い画素とするなどの方法により特定すればよい。なお、この特定処理において、霧等の影響ではなく、被写体自体が白い部分の画素を特定してしまうことを防ぐために、注目画素の周りの複数画素を参照して、複数画素のうちＲＧＢ値の平均値が最も小さい画素を比較するとよい。上記のような方法で特定された最も霧等が濃い画素の透過率を0とし、最も霧等が濃い画素の画素値に(１−λ_ｘ)を乗算することによって、微小粒子成分Ｈ_Ｘを求めることができる。そして、求められた微小粒子成分Ｈ_Ｘを注目画素ｘの画素値Ｉ_Ｘから差し引くことで、微小粒子成分の除去された撮像画像を得ることができる。なお、ここで述べた微小粒子除去処理の手法は一例であって、これに限定するものではない。

以上のように本実施例では、霧等の影響が小さい（透過率の大きい）画素の画素値を強く反映させるような重みを用いて、微小粒子除去処理前の撮像画像に対しホワイトバランス調整が施される。そして、そのようなホワイトバランス調整が施された撮像画像に対し微小粒子除去処理を行うことで、ホワイトバランスの取れた微小粒子除去画像を得ることができる。

［実施例２］
実施例１では、高画質化処理の内容としてホワイトバランス調整処理を実施する態様について説明した。次に、高画質化処理の内容としてノイズ低減処理を実施する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、差異点を中心に説明することとする。

前述のとおり、微小粒子除去処理では、霧等で埋もれた階調を引き延ばすように画素値を補正するため、同時にノイズが増幅されてしまう。そうなると透過率が小さい（霧等の影響が大きい）画素ほど画素値の補正量が大きくなり、ノイズの増幅量も大きくなる。そのため、撮像画像全体に一様なノイズ低減処理を行うと、透過率が小さい画素ではノイズ低減が不足し、透過率が大きい画素ではノイズ低減が過剰となるという問題が生じることになる。そこで、本実施例では、透過率に基づいてノイズ低減処理の強さを調整し、画素毎に適切なノイズ低減処理を施すことを可能にする。

図６は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部６０１、透過率データ取得部６０２、高画質化パラメータ導出部６０３、微小粒子除去処理部６０４、高画質化処理部６０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。

撮像画像データ取得部６０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部６０２及び微小粒子除去処理部６０４へ送られる。

透過率データ取得部６０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部６０３及び微小粒子除去処理部６０４へ送られる。

高画質化パラメータ導出部６０３は、透過率データから、高画質化処理で用いるパラメータ（本実施例ではノイズ低減処理の強度）を導出する。導出された高画質化パラメータは、高画質化処理部６０５へ送られる。

微小粒子除去処理部６０４は、撮像画像から微小粒子成分を除去する。微小粒子成分が除去された撮像画像のデータは、高画質化処理部６０５へ送られる。

高画質化処理部６０５は、導出された高画質化パラメータを用いた高画質化処理（本実施例ではノイズ低減処理）を、微小粒子成分が除去された撮像画像に対して実行する。

図７は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ７０１において、撮像画像データ取得部６０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部６０２と微小粒子除去処理部６０４へ送られる。

ステップ７０２において、透過率データ取得部６０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部６０３及び微小粒子除去処理部６０４へ送られる。

ステップ７０３において、微小粒子除去処理部６０４は、撮像画像から微小粒子成分を除去する。実施例1と異なり、高画質化処理を施す前の撮像画像に対して微小粒子除去を行って、この微小粒子除去処理によって増幅したノイズを後述のステップ７０５で低減している。

ステップ７０４において、高画質化パラメータ導出部６０３は、透過率データから、高画質化パラメータとしてノイズ低減処理の強度を導出する。ノイズ低減処理の強度としては、例えば、ガウス関数の標準偏差σ_xやフィルタの参照画素範囲の大きさが挙げられる。

まず、ガウス関数の標準偏差σ_xをノイズ低減処理の強度として導出する方法を説明する。一般的なガウスフィルタによるノイズ低減では、注目画素xに拠らず同一の値をσ_xとして用いる。しかし、本実施例では、注目画素xにおけるガウス関数の標準偏差σ_xを以下の式（２４）を用いて求める。

ここで、σ_ｍはノイズ低減の全体的な強さを表す任意の係数である。σ_ｍはユーザが入力Ｉ／Ｆ１０６を介して与えてもよいし、撮像画像に拠らない固定値を用いても良い。上記式（２４）により、透過率λ_Ｘが小さいほどσ_Ｘの値が大きくなり、ノイズ低減処理の強度（ノイズ低減効果）が大きくなることが分かる。

次に、フィルタの参照画素全体の集合Φの範囲の大きさをノイズ低減処理の強度として導出する方法を説明する。一般的なガウスフィルタによるノイズ低減では、Φは注目画素xの周辺画素であり、その範囲の大きさは注目画素xに拠らず同一である。しかし、本実施例では、注目画素xにおけるΦの範囲の半径D_x[pixel]を以下の式（２５）を用いて求める。

ここで、Ｄ_ｍは任意の係数である。Ｄ_ｍはユーザが入力Ｉ／Ｆ１０６を介して与えてもよいし、撮像画像に拠らない固定値を用いても良い。また、round()関数は、四捨五入を表す。上記式（２５）により、透過率λ_Ｘが小さいほどフィルタの参照画素の集合Φの範囲を表す半径Ｄ_Ｘが大きくなり、ノイズ低減処理の強度（ノイズ低減効果）が大きくなることが分かる。

図７のフローチャートの説明に戻る。

ステップ７０５において、高画質化処理部６０５は、ステップ７０４で導出したノイズ低減処理の強度に応じて、撮像画像のノイズを低減する処理を行う。具体的には、例えば、以下の式（２６）で表されるガウスフィルタや、式（２７）で表されるレンジフィルタを用いて、ノイズを低減する。

ここで、ξはフィルタの参照画素番号、Φはフィルタの参照画素全体の集合、Ｉ_Ｘはノイズ低減前の画素値、O_xはノイズ低減後の画素値、σ_ｘは注目画素xにおけるフィルタのガウス関数の標準偏差（フィルタ係数）、Kは規格化係数である。上記式（２６）及び式（２７）において、標準偏差σ_ｘが大きいほどノイズ低減効果は強くなり、また、注目画素xの周りの有限な範囲内の画素の集合であるΦの範囲が大きいほどノイズ低減効果は強くなる。

なお、ノイズ低減フィルタのフィルタ関数としてガウス関数を用いる例を説明したが、本実施例は任意のフィルタ関数を用いるノイズ低減フィルタに適用可能である。

また、上記図７のフローチャートでは、微小粒子除去処理によって増幅したノイズを低減するようにしているが、微小粒子除去処理前の撮像画像に対してノイズ低減処理を行って、ノイズの増幅自体を抑えるようにしてもよい。その場合も、上述の式（２４）及び式（２５）によって、透過率λ_Ｘを考慮したノイズ低減処理の強度を導出すればよい。こうすることで、微小粒子除去によるノイズ増幅量が大きい位置には強いノイズ低減処理を、微小粒子除去によるノイズ増幅量が小さい位置には弱いノイズ低減処理をかけることが可能となる。

以上のように本実施例では、撮像画像の各画素に入射する光の霧等に対する透過率に基づいてノイズ低減処理の強度を決定し、微小粒子除去によるノイズ増幅量に応じたノイズ低減処理を行うことができる。これにより、ノイズの少ない微小粒子除去画像を得ることができる。

［実施例３］
実施例１では、ホワイトバランスの取れた微小粒子除去画像を得るために、撮像画像のホワイトバランスを調整した後、微小粒子除去処理を行っていた。次に、微小粒子除去処理を行った後にホワイトバランスを調整する態様について、実施例３として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、差異点を中心に説明することとする。

微小粒子除去処理を行った後の撮像画像に対しホワイトバランス調整処理を施す場合、微小粒子除去処理によってノイズが増幅された画素値をもとにホワイトバランス調整時の重みを導出することになり、ホワイトバランス調整の精度が低下する。そこで、本実施例では、ノイズ増幅量を考慮してホワイトバランス調整時の重みを導出する。

図８は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部８０１、透過率データ取得部８０２、微小粒子除去処理部８０３、高画質化パラメータ導出部８０４、高画質化処理部８０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。

撮像画像データ取得部８０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部８０２及び微小粒子除去処理部８０３へ送られる。

透過率データ取得部８０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、微小粒子除去処理部８０３及び高画質化パラメータ導出部８０４へ送られる。

微小粒子除去処理部８０３は、撮像画像から微小粒子成分を除去する。微小粒子成分が除去された撮像画像のデータは、高画質化パラメータ導出部８０４及び高画質化処理部８０５へ送られる。

高画質化パラメータ導出部８０４は、微小粒子除去処理が施された撮像画像データと透過率データとから、高画質化処理で用いるパラメータ（本実施例ではホワイトバランス調整処理時の重み）を導出する。導出された高画質化パラメータは、高画質化処理部８０５へ送られる。

高画質化処理部８０５は、微小粒子除去処理が施された撮像画像に対し、導出された高画質化パラメータを用いて高画質化処理（本実施例ではホワイトバランス調整処理）を実行する。

図９は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ９０１において、撮像画像データ取得部８０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部８０２と微小粒子除去処理部８０３へ送られる。

ステップ９０２において、透過率データ取得部８０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、微小粒子除去処理部８０３及び高画質化パラメータ導出部８０４へ送られる。

ステップ９０３において、微小粒子除去処理部８０３は、撮像画像から微小粒子成分を除去する。実施例１と異なり、高画質化処理を施す前の撮像画像に対してなされた微小粒子除去処理によって増幅したノイズを考慮したホワイトバランスの調整を、後述のステップ９０５で行うことになる。

ステップ９０４において、高画質化パラメータ導出部８０４は、微小粒子除去処理後の撮像画像データと透過率データとから、ホワイトバランス調整時の重みを導出する。具体的には、実施例１と同様、前述の式（１２）〜（１８）を用いて、透過率λ_xの大きい画素の画素値を強く反映させたホワイトバランス調整時の重みを求める。透過率λ_xの大きい画素はノイズ増幅量が小さいことから、ホワイトバランス調整の精度低下を抑えることができるためである。この場合において、式（１５）〜式（１７）におけるＲ_Ｘ、Ｇ_Ｘ、Ｂ_Ｘは、霧等の微小粒子の成分を除去した後の撮像画像の画素値となる。

ステップ９０５において、高画質化処理部８０５は、ステップ９０４で導出した重みに応じたホワイトバランス調整処理を行う。このホワイトバランス調整は、実施例1と同様に前述の式（１９）〜式（２１）を用いてなされるが、本実施例では霧等を除去した後の撮像画像における画素値Ｒ_Ｘ、Ｇ_Ｘ、Ｂ_Ｘのホワイトバランスが調整されることになる。

以上のように本実施例では、ノイズ増幅量の小さい（透過率の大きい）画素の情報を強く反映させるような重みを導出して、ホワイトバランスの精度低下を抑えている。これにより、ホワイトバランスの取れた微小粒子除去画像を得ることができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 撮像時の大気中に含まれる微小粒子に対応する微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、ホワイトバランス調整処理のためのパラメータを導出する導出手段と、
   前記撮像画像データに対し、導出された前記パラメータを用いて前記ホワイトバランス調整処理を実行して前記撮像画像データのホワイトバランスを調整し、前記透過率を用いて除去処理を実行して前記撮像画像データから前記微小粒子成分を除去することによって、前記撮像画像データの補正画像データを生成する生成手段と
   を有し、
   前記パラメータは、前記透過率が大きい画素の画素値を前記透過率が小さい画素の画素値よりも反映させるような重みである
   ことを特徴とする画像処理装置。
2. 前記ホワイトバランス調整処理を実行した後に、前記除去処理を実行して、前記補正画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記ホワイトバランス調整処理を実行する前に、前記除去処理を実行して、前記補正画像データを生成することを特徴とする請求項１に記載の画像処理装置。
4. 撮像時の大気中に含まれる微小粒子に対応する微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、ノイズ低減処理のためのパラメータを導出する導出手段と、
   前記撮像画像データに対し、導出された前記パラメータを用いて前記ノイズ低減処理を実行して前記撮像画像データのノイズを低減し、前記透過率を用いて除去処理を実行して前記撮像画像データから前記微小粒子成分を除去することによって、前記撮像画像データの補正画像データを生成する生成手段と
   を有し、
   前記パラメータは、ノイズ低減フィルタのフィルタ係数又はノイズ低減フィルタの参照画素範囲の大きさである
   ことを特徴とする画像処理装置。
5. 前記ノイズ低減処理を実行した後に、前記除去処理を実行して、前記補正画像データを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記ノイズ低減処理を実行する前に、前記除去処理を実行して、前記補正画像データを生成することを特徴とする請求項４に記載の画像処理装置。
7. 撮像時の大気中に含まれる微小粒子に対応する微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、ホワイトバランス調整処理のためのパラメータを導出するステップと、
   前記撮像画像データに対し、導出された前記パラメータを用いて前記ホワイトバランス調整処理を実行して前記撮像画像データのホワイトバランスを調整し、前記透過率を用いて除去処理を実行して前記撮像画像データから前記微小粒子成分を除去することによって、前記撮像画像データの補正画像データを生成するステップと
   を含み、
   前記パラメータは、前記透過率が大きい画素の画素値を前記透過率が小さい画素の画素値よりも反映させるような重みである
   ことを特徴とする画像処理方法。
8. 撮像時の大気中に含まれる微小粒子に対応する微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、ノイズ低減処理のためのパラメータを導出するステップと、
   前記撮像画像データに対し、導出された前記パラメータを用いて前記ノイズ低減処理を実行して前記撮像画像データのノイズを低減し、前記透過率を用いて除去処理を実行して前記撮像画像データから前記微小粒子成分を除去することによって、前記撮像画像データの補正画像データを生成するステップと
   を含み、
   前記パラメータは、ノイズ低減フィルタのフィルタ係数又はノイズ低減フィルタの参照画素範囲の大きさである
   ことを特徴とする画像処理方法。
9. コンピュータを請求項１乃至６のいずれか１項に記載されている画像処理装置として機能させるためのプログラム。