JP2024154274A - 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】複数枚の画像を合成して１枚の合成画像を得る場合に、解像感を損なわずにノイズを低減する。
【解決手段】被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得手段と、複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成手段と、合成手段により合成されていない複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得手段と、合成手段による合成の後の合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得手段と、複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、第１の情報及び第２の情報とに基づいて、合成ＲＡＷ画像を現像するための現像パラメータを決定する決定手段とを備える。
【選択図】 図３

Description

本発明は、複数のＲＡＷ画像を合成して１枚の合成画像を生成する画像処理装置に関するものである。

長秒露光で撮影を行う場合、手振れ等の撮像装置の揺れにより、画像のブレが発生することが一般的に知られている。この画像のブレの補正方法として、総露光時間を分割することで短秒露光の複数枚の画像を撮像し、それらを合成して画像のブレを抑える手法がある。

総露光時間を分割すると、１回あたりの露光時間が短くなるため、適正な明るさの画像を得ようとした場合、撮像装置の感度を上げて撮影する必要がある。しかし撮像装置の感度を上げると、撮像素子のノイズが増幅され、画像の品位が低下するという弊害が起きる。

撮影したＲＡＷ画像を現像する場合、撮像装置を高感度にすることによって増加したノイズに対して適切な現像パラメータを適用し、ノイズを低減させる手法が知られている。この場合、撮像装置の感度を上げることでノイズ量が多くなると、より強いノイズ低減パラメータを使用する必要がある。しかし、一般的に強いノイズ低減パラメータを使用すると、画像内のエッジ部などノイズ以外の高周波成分も除去されてしまい、画像の解像感が損なわれるという問題がある。

一方、ノイズ低減の方法として、複数枚の画像を合成して平均化することにより、画像に含まれるノイズを目立たなくさせる加算平均合成という手法もある。現像後の画像を加算平均合成の対象とする場合、現像後の画像では現像時にノイズ低減処理がかけられているため、損なわれた解像感を戻すことはできない。そのためＲＡＷ画像で加算平均合成を行い、ノイズを低減させてからノイズの低減量に合わせてノイズ低減パラメータを決定して現像することが望ましい。しかしこの場合、事前にノイズ低減量がわからないという課題がある。

特開２０１０－１２４４１２号公報 特開２００９－１９４７００号公報

特許文献１には、ＲＡＷ画像を取得した時の撮影感度と、ＲＡＷ画像を合成に使用する程度とを示す合成係数に基づきノイズ低減の強度を決定する技術が開示されている。しかし、特許文献１では、撮影感度と合成係数は撮影前に決定され、実際の加算平均合成によるノイズの低減量に合わせてノイズ低減パラメータを決定することはできない。

特許文献２には、複数枚の画像を加算して生成された画像データについて、加算の回数に基づきノイズ低減パラメータを制御する技術が開示されている。しかし、この技術においても、加算平均合成によるノイズの低減量に合わせてノイズ低減パラメータを決定することはできない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数枚の画像を合成して１枚の合成画像を得る場合に、解像感の低下を抑えつつノイズを低減することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得手段と、前記複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成手段と、前記合成手段により合成されていない前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得手段と、前記合成手段による合成の後の前記合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得手段と、前記複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、前記第１の情報及び前記第２の情報とに基づいて、前記合成ＲＡＷ画像を現像するための現像パラメータを決定する決定手段と、を備えることを特徴とする。

本発明によれば、複数枚の画像を合成して１枚の合成画像を得る場合に、解像感の低下を抑えつつノイズを低減することが可能となる。

本発明の画像処理装置の一実施形態である撮像装置の構成を示すブロック図。 撮像素子の内部の画素配列を模式的に示した図。 実施形態における分割露光撮影の動作を示すフローチャート。 有効画素領域とＯＢ領域の信号レベルを示す図。 合成ＲＡＷ画像の有効画素領域とＯＢ領域の信号レベルを示す図。 設定された撮像感度と、算出されたＯＢ分散値の差とから、適用するパラメータを決定する例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の画像処理装置の一実施形態である撮像装置１００の構成を示すブロック図である。

図１において、光学レンズ１０１に入射した光線は、絞り１０２を通過し、撮像素子１０３に被写体像として結像される。撮像素子１０３は、被写体像を光電変換し、アナログ画像信号を出力する。Ａ／Ｄ変換部１０４は、このアナログ画像信号をデジタル信号に変換し、デジタルの画像データを出力する。撮像素子１０３には、Ｒ（赤），Ｇ１（緑），Ｇ２（緑），Ｂ（青）の画素が規則的に配置されたベイヤー配列の構成のカラーフィルタが配置されている。Ａ／Ｄ変換部１０４から出力されたデジタル画像データ（ＲＡＷ画像データ）は、メモリ１１３に一度保存される。

図２は、撮像素子１０３の内部の画素配列を模式的に示した図である。図２に示すように、撮像素子１０３は、光電変換素子であるフォトダイオードに光が照射される有効画素領域２０１と、フォトダイオードがアルミ薄膜等により遮光されたオプティカルブラック領域（以下、ＯＢ領域）２０２を備える。つまり、有効画素領域２０１は非遮光、ＯＢ領域２０２は遮光された領域（遮光領域）となる。図１におけるＯＢ積分部１０５は、ＯＢ領域２０２の画素値をベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂごとに積分し、ＯＢ領域の信号の平均値を出力する。ＯＢ積分部１０５の出力値をダークレベル（黒レベル）として、ＯＢクランプ部１０６でＯＢクランプを行う。このＯＢクランプ処理によって黒浮きや色ずれ等の問題の発生を防ぐことができる。

図１に戻り、メモリ１１３は、ＲＡＷ画像データや信号処理部１１０によって処理された画像データなどを保存する。また、制御部１１２により実行される制御プログラム等も保存されている。シェーディング補正部１０７は、Ａ／Ｄ変換部１０４からのデジタル画像データであるＲＡＷ画像データに対して、光学レンズ１０１の収差や撮像素子１０３の特性に起因して生じるシェーディングを補正するよう、画面内の輝度レベルの補正を行う。ＷＢ（ホワイトバランス）処理部１０８は、シェーディング補正部１０７からの出力画像データに対して、画面内の白基準を白に合わせるホワイトバランス処理を行う。本実施形態においては、シェーディング補正は、撮像素子１０３内の２次元の座標（位置）に応じて画素ごとにゲインをかける補正であり、ホワイトバランス処理は、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂごとに異なるゲインをかける処理である。

合成部１０９は、分割露光で撮影されたＮ枚のＲＡＷ画像を加算平均方式によって演算して合成を行う。合成前の画像のそれぞれの輝度値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１～Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の輝度値をＩ（ｘ，ｙ）とする。このとき、加算平均方式による演算では、合成語の輝度値Ｉ（ｘ，ｙ）は、次式で表される。

Ｉ（ｘ，ｙ）＝（Ｉ＿１（ｘ，ｙ）＋Ｉ＿２（ｘ，ｙ）＋
・・・＋Ｉ＿Ｎ（ｘ，ｙ））／Ｎ
そして、画素ごとにＮ枚の画像の輝度値の加算平均処理がなされたものが合成画像データとなる。

信号処理部１１０では、ＲＡＷ画像データや合成部１０９により合成して生成されたＲＡＷ画像データに対して、色マトリクス処理、ガンマ処理、ノイズ低減処理などを含む現像処理を行う。記録部１１１は、ＲＡＷ画像データ、合成部１０９により合成された合成ＲＡＷ画像データ、信号処理部１１０により現像処理された画像データ等を記録する。制御部１１２は、撮像装置１００の全般的な制御を行う。

図３は、本実施形態における分割露光撮影の動作を示すフローチャートである。このフローチャートの動作は、制御部１１２がメモリ１１３に記憶されたプログラムを実行することにより実現される。

ステップＳ３０１では、使用者の操作によって分割露光の撮影枚数が設定される。本実施形態では、適正露出を得るために必要な総露光時間を分割し、短秒露光の複数の画像を取得し、それを後に合成することにより１枚の合成画像を得る。これにより、長秒露光における手振れ等の撮像装置１００の揺れに起因する画像のブレを抑制することができる。

ステップＳ３０２では、使用者はシャッタースイッチを押下げることで、撮影指示を行う。

以下、ステップＳ３０３～Ｓ３０６では、制御部１１２は、ステップＳ３０１で設定された撮影枚数を撮影し終えるまで連続撮影を行い、撮像したＲＡＷ画像のＯＢ領域におけるノイズ信号レベルの分散値を算出しながらＲＡＷ画像の保存を繰り返す。

より具体的には、ステップＳ３０３では、制御部１１２は、ステップＳ３０２での撮影指示に応じて、ＲＡＷ画像を撮像し、メモリ１１３に保存する。

ステップＳ３０４では、制御部１１２は、ＯＢ積分部１０５を用いて、撮影されたＲＡＷ画像のダークレベルを算出する（黒レベル算出）。

ステップＳ３０５では、制御部１１２は、撮像したＲＡＷ画像のＯＢ領域の信号から信号の分散値（ノイズ信号レベルに関する第１の情報）を算出する。

ここで、図４は、有効画素領域とＯＢ領域の信号レベルを示す図である。信号４０１は、撮像素子１０３の遮光されたＯＢ領域２０２において、高い感度で信号蓄積を行った場合に得られる信号を示している。信号４０２は、信号４０１の一部領域を抽出して得られた信号を示している。

信号４０１は、撮像素子１０３に照射された光の影響を受けないため、撮像素子自身のランダムノイズの成分が現れ、高い感度で信号蓄積された場合は、信号４０２のように粒状のノイズが現れる。グラフ４０３は、信号４０２における特定の領域の信号レベルと信号レベルに対応した画素数の分布を示している。ステップＳ３０５では、信号４０２のような特定の領域を参照して、信号レベルと信号レベルごとの画素数の分布から分散値（以下、ノイズ信号レベルの分散値、あるいはノイズ分散値とも呼ぶ））を算出する。

信号４０２は、垂直方向に配置されたＯＢ領域の一部を参照しているが、水平方向に配置されたＯＢ領域を参照してもよい。また、ＯＢ領域の一部に限らず全域を参照してもよい。

ステップＳ３０６では、制御部１１２は、ＯＢクランプ部１０６を用いて、ステップＳ３０４で算出されたダークレベルに基づいてＯＢクランプを実行する。

ステップＳ３０７では、制御部１１２は、撮影した画像の枚数が、ステップＳ３０１で設定した撮影枚数に達したか否かを判定する。制御部１１２は、設定した撮影枚数に達している場合はステップＳ３０８に処理を進め、そうでなければ、ステップＳ３０３に処理を戻し、設定した撮影枚数に達するまで、ステップＳ３０３～ステップＳ３０７を繰り返す。

ステップＳ３０８では、制御部１１２は、合成部１０９を用いて、ステップＳ３０３～ステップＳ３０７で撮影されたＮ枚のＲＡＷ画像を加算平均し、合成する。合成によってマイナス方向のノイズの影響で信号値がゼロ以下になる場合を考慮して、撮像したＲＡＷ画像の出力に特定値のダークレベルを加えて出力してもよい。固定のダークレベルを加える場合は、ステップＳ３０８の合成後に、合成ＲＡＷ画像から固定のダークレベル分を減算する。

ステップＳ３０９では、制御部１１２は、合成したＲＡＷ画像のＯＢ領域の信号から、合成後のダークレベルを算出する。

ステップＳ３１０では、制御部１１２は、合成したＲＡＷ画像のＯＢ領域における信号レベルの分散値（ノイズ信号レベルの分散値、ノイズ分散値、ノイズ信号レベルに関する第２の情報）を算出する。

ここで、図５は、合成ＲＡＷ画像の有効画素領域とＯＢ領域の信号レベルを示す図である。信号５０１は、撮像素子１０３の遮光されたＯＢ領域２０２において加算平均が行われ、ノイズが低減された信号を示している。信号５０２は、信号５０１の一部領域を抽出して得られた信号を示している。信号５０１では、ステップＳ３０３で撮像されたＲＡＷデータのランダムノイズが加算平均によって低減されるため、粒状のノイズ量が低下している。グラフ５０３は、信号５０２における特定の領域の信号レベルと信号レベルに対応した画素数の分布を示している。

合成されたＲＡＷ画像のＯＢ領域は、信号４０２のような１枚のＲＡＷ画像のＯＢ領域よりも信号５０２のようにランダムノイズが低減されているため、グラフ４０３よりも分散の分布は小さくなる。

ステップＳ３１１では、制御部１１２は、ステップＳ３０５で算出されたＲＡＷ画像のいずれか１枚のノイズ分散値と、ステップＳ３１０で算出された合成ＲＡＷ画像のノイズ分散値の差を算出する。これによって分散値の差が小さければ、合成前のＲＡＷに対して加算平均によるノイズ低減効果が小さいことがわかり、分散値の差が大きければ、ノイズ低減効果が大きいことがわかる。

本実施形態では、ステップＳ３０５で算出されたいずれか１枚のＲＡＷ画像のノイズ分散値を用いているが、これは最初の１枚目または最後の１枚の分散値でもよいし、最初と最後を除く撮影中のいずれか１枚の分散値でもよい。

ステップＳ３１２では、制御部１１２は、ステップＳ３１１で算出されたノイズ分散値の差から現像に適用する現像パラメータを決定する。

ここで図６は、設定された撮像感度と、ステップＳ３１１で算出されたノイズ分散値の差とから、適用するパラメータを決定する例を示す図である。

ＩＳＯ感度は、デジタルカメラにおける撮像素子の信号を増幅する目安の値で、ＩＳＯ感度が高いほどノイズが発生しやすい。６０１は、撮影時に設定されたＩＳＯ感度の設定値を示し、６０２は、ステップＳ３１１で適用する現像パラメータの例を示す。このように、ノイズ分散値が小さいほど、設定ＩＳＯ感度に近いＩＳＯ感度に対応する現像パラメータを適用し、ノイズ分散値が大きいほど設定ＩＳＯ感度よりも小さいＩＳＯ感度に対応する現像パラメータを適用する。この場合、適用するパラメータは、ノイズ低減処理に関するパラメータでもよいし、エッジ部の強調に適用するシャープネスのパラメータでもよい。

ステップＳ３１３では、制御部１１２は、ＯＢクランプ部１０６を用いて、ステップＳ３０９で算出した合成後のダークレベルを使用し、ＯＢクランプ処理を行う。

ステップＳ３１４では、制御部１１２は、ＷＢ処理部１０８を用いて、ＯＢクランプ後の合成したＲＡＷ画像に対して、ＷＢ処理を行う。

ステップＳ３１５では、制御部１１２は、ステップＳ３１４でＷＢ処理を行った合成ＲＡＷ画像に対して、現像処理を行う。現像処理にあたり、ステップＳ３１１で決定した現像パラメータを適用して現像処理を行う。

ステップＳ３１６では、制御部１１２は、ステップＳ３１５で現像した画像を、ＳＤカード等の外部の記憶媒体に記録する。この時保存する情報として、現像した画像だけでなく、ステップＳ３１３でＯＢクランプする前の合成ＲＡＷ画像を記録するようにしてもよい。また、ステップＳ３０９で算出したダークレベル、ステップＳ３１１で算出したノイズ分散値も記録し、撮像装置以外の画像処理装置でステップＳ３１２～Ｓ３１５の処理を行うようにしてもよい。

以上説明したように、本実施形態では、加算平均によってノイズが低減されたＲＡＷ画像を現像する場合、加算平均されていない１枚のＲＡＷ画像のノイズ分散値と、加算平均によってノイズが低減されたＲＡＷ画像のノイズ分散値の差から、加算平均によるノイズ低減効果を推定する。そして、そのノイズ低減効果に適した現像パラメータを決定し、現像に適用する。これにより、加算平均されたＲＡＷ画像に対して、必要以上のノイズ低減効果を持つ現像パラメータを適用することが無く、現像後の画像の解像感の低下を抑制することができる。

なお、合成されていないＲＡＷ画像のノイズ信号レベルに関する情報と合成ＲＡＷ画像のノイズ信号レベルに関する情報に基づいて現像パラメータを決定する方法は、分散値の差を用いる方法に限定されない。例えば、ノイズ信号レベルの信号レベルごとの画素数の分布の中で度数が最も大きい信号レベルの差を用いてもよいし、ノイズ信号レベルの平均値の差を用いてもよい。さらに、本実施形態では撮影されたＮ枚のＲＡＷ画像を合成しているが、撮影されたＲＡＷ画像の一部を合成の対象から外し合成しないようにしてもよい。その場合、合成の対象ではないＲＡＷ画像のノイズ信号レベルに関する情報に基づいて現像パラメータを決定してもよい。

また、上記の実施形態では、個人向けのデジタルカメラについて説明した。しかし、本発明は、ＲＡＷ合成の機能とＲＡＷ現像の機能を搭載した機器であれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどの他の機器に適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

本明細書の開示は、以下の画像処理装置、方法、プログラムおよび記憶媒体を含む。

（項目１）
被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得手段と、
前記複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成手段と、
前記合成手段により合成されていない前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得手段と、
前記合成手段による合成の後の前記合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得手段と、
前記複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、前記第１の情報及び前記第２の情報とに基づいて、前記合成ＲＡＷ画像を現像するための現像パラメータを決定する決定手段と、
を備えることを特徴とする画像処理装置。

（項目２）
前記合成手段は、前記複数のＲＡＷ画像を加算平均することにより、前記合成ＲＡＷ画像を生成することを特徴とする項目１に記載の画像処理装置。

（項目３）
前記撮像素子は、有効画素領域と遮光された遮光領域とを有し、
前記第２の取得手段と前記第３の取得手段は、前記遮光領域で得られた信号に基づいて、前記第１の情報と前記第２の情報を取得することを特徴とする項目１または２に記載の画像処理装置。

（項目４）
前記第２の取得手段は、前記複数のＲＡＷ画像のいずれかにおける前記遮光領域の信号に基づいて前記第１の情報を取得し、前記第３の取得手段は、前記複数のＲＡＷ画像における前記遮光領域の信号を合成して得られた信号に基づいて、前記第２の情報を取得することを特徴とする項目３に記載の画像処理装置。

（項目５）
前記第２の取得手段は、前記第１の情報として、前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルの分布に基づいてノイズ信号レベルの第１の分散値を取得し、
前記第３の取得手段は、前記第２の情報として、前記合成ＲＡＷ画像におけるノイズ信号レベルの分布に基づいてノイズ信号レベルの第２の分散値を取得することを特徴とする項目１乃至４のいずれか１項目に記載の画像処理装置。

（項目６）
前記決定手段は、前記撮像感度と、前記第１の分散値と前記第２の分散値の差とに基づいて、前記現像パラメータを決定することを特徴とする項目５に記載の画像処理装置。

（項目７）
前記決定手段は、前記第１の分散値と前記第２の分散値の差が小さいほど、前記現像パラメータを前記撮像感度に近い感度に対応する値に決定し、前記第１の分散値と前記第２の分散値の差が大きいほど、前記現像パラメータを前記撮像感度から離れた感度に対応する値に決定することを特徴とする項目６に記載の画像処理装置。

（項目８）
前記決定手段は、前記第１の分散値と前記第２の分散値の差が大きいほど、前記現像パラメータを前記撮像感度より低い感度に対応する値に決定することを特徴とする項目７に記載の画像処理装置。

（項目９）
前記第２の取得手段は、前記複数のＲＡＷ画像のうちの最初の１枚の画像に基づいて、前記第１の情報を取得することを特徴とする項目５に記載の画像処理装置。

（項目１０）
前記第２の取得手段は、前記複数のＲＡＷ画像のうちの最後の１枚の画像に基づいて、前記第１の情報を取得することを特徴とする項目５に記載の画像処理装置。

（項目１１）
前記第２の取得手段は、前記合成手段による合成の前の前記複数のＲＡＷ画像のいずれかに基づいて、前記第１の情報を取得することを特徴とする項目１乃至１０のいずれか１項目に記載の画像処理装置。

（項目１２）
前記第２の取得手段は、前記合成手段による合成の対象ではない前記複数のＲＡＷ画像のいずれかに基づいて、前記第１の情報を取得することを特徴とする項目１乃至１０のいずれか１項目に記載の画像処理装置。

（項目１３）
前記決定手段は、前記現像パラメータとして、ノイズ低減処理のパラメータを決定することを特徴とする項目１乃至１２のいずれか１項目に記載の画像処理装置。

（項目１４）
前記決定手段は、前記現像パラメータとして、シャープネスのパラメータを決定することを特徴とする請求項１乃至１３のいずれか１項目に記載の画像処理装置。

（項目１５）
項目１乃至１４のいずれか１項目に記載の画像処理装置と、
前記撮像素子と、
を備えることを特徴とする撮像装置。

（項目１６）
被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得工程と、
前記複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成工程と、
合成されていない前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得工程と、
前記合成工程による合成の後の前記合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得工程と、
前記複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、前記第１の情報及び前記第２の情報とに基づいて、前記合成ＲＡＷ画像を現像するための現像パラメータを決定する決定工程と、
を有することを特徴とする画像処理方法。

（項目１７）
項目１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

（項目１８）
項目１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：光学レンズ、１０２：絞り、１０３：撮像素子、１０４：Ａ／Ｄ変換部、１０５：ＯＢ積分部、１０６：ＯＢクランプ部、１０７：シェーディング補正部、１０８：ＷＢ処理部、１０９：合成部、１１０：信号処理部、１１１：記録部、１１２：制御部、１１３：メモリ

Claims (18)

1. 被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得手段と、
   前記複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成手段と、
   前記合成手段により合成されていない前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得手段と、
   前記合成手段による合成の後の前記合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得手段と、
   前記複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、前記第１の情報及び前記第２の情報とに基づいて、前記合成ＲＡＷ画像を現像するための現像パラメータを決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記合成手段は、前記複数のＲＡＷ画像を加算平均することにより、前記合成ＲＡＷ画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子は、有効画素領域と遮光された遮光領域とを有し、
   前記第２の取得手段と前記第３の取得手段は、前記遮光領域で得られた信号に基づいて、前記第１の情報と前記第２の情報を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の取得手段は、前記複数のＲＡＷ画像のいずれかにおける前記遮光領域の信号に基づいて前記第１の情報を取得し、前記第３の取得手段は、前記複数のＲＡＷ画像における前記遮光領域の信号を合成して得られた信号に基づいて、前記第２の情報を取得することを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の取得手段は、前記第１の情報として、前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルの分布に基づいてノイズ信号レベルの第１の分散値を取得し、
   前記第３の取得手段は、前記第２の情報として、前記合成ＲＡＷ画像におけるノイズ信号レベルの分布に基づいてノイズ信号レベルの第２の分散値を取得することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記撮像感度と、前記第１の分散値と前記第２の分散値の差とに基づいて、前記現像パラメータを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記第１の分散値と前記第２の分散値の差が小さいほど、前記現像パラメータを前記撮像感度に近い感度に対応する値に決定し、前記第１の分散値と前記第２の分散値の差が大きいほど、前記現像パラメータを前記撮像感度から離れた感度に対応する値に決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記第１の分散値と前記第２の分散値の差が大きいほど、前記現像パラメータを前記撮像感度より低い感度に対応する値に決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の取得手段は、前記複数のＲＡＷ画像のうちの最初の１枚の画像に基づいて、前記第１の情報を取得することを特徴とする請求項５に記載の画像処理装置。
10. 前記第２の取得手段は、前記複数のＲＡＷ画像のうちの最後の１枚の画像に基づいて、前記第１の情報を取得することを特徴とする請求項５に記載の画像処理装置。
11. 前記第２の取得手段は、前記合成手段による合成の前の前記複数のＲＡＷ画像のいずれかに基づいて、前記第１の情報を取得することを特徴とする請求項１に記載の画像処理装置。
12. 前記第２の取得手段は、前記合成手段による合成の対象ではない前記複数のＲＡＷ画像のいずれかに基づいて、前記第１の情報を取得することを特徴とする請求項１に記載の画像処理装置。
13. 前記決定手段は、前記現像パラメータとして、ノイズ低減処理のパラメータを決定することを特徴とする請求項１に記載の画像処理装置。
14. 前記決定手段は、前記現像パラメータとして、シャープネスのパラメータを決定することを特徴とする請求項１に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    前記撮像素子と、
    を備えることを特徴とする撮像装置。
16. 被写体を連続して撮像することにより得られた複数のＲＡＷ画像を取得する第１の取得工程と、
    前記複数のＲＡＷ画像を合成して合成ＲＡＷ画像を生成する合成工程と、
    合成されていない前記複数のＲＡＷ画像のいずれかにおけるノイズ信号レベルに関する第１の情報を取得する第２の取得工程と、
    前記合成工程による合成の後の前記合成ＲＡＷ画像におけるノイズ信号レベルに関する第２の情報を取得する第３の取得工程と、
    前記複数のＲＡＷ画像を撮像した時の撮像素子の撮像感度と、前記第１の情報及び前記第２の情報とに基づいて、前記合成ＲＡＷ画像を現像するための現像パラメータを決定する決定工程と、
    を有することを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
18. 請求項１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images