JP4468734B2 - 映像信号処理装置と映像信号処理プログラム - Google Patents

Description

本発明は、映像信号を領域ごとに独立に階調変換する処理装置に係わり、特にノイズ特性や撮影シーンを考慮して副作用の少ない高品位な映像信号を生成可能な映像信号処理装置と映像信号処理プログラムに関するものである。

現在のデジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅(通常8bit)に対して入力および処理系における信号の階調幅（10〜12bit程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。従来は、標準的なシーンに対する固定的な階調特性により変換されていた。また、撮影シーンに対応する階調特性を求め、適用的に変換する手法も提案されている。

例えば、特許文献１では撮影状況を推定することで主要被写体を重視した階調変換を行う例が開示されている。上記例では、得られた階調特性に一定の制限を課すことにより、ノイズなどの副作用を抑制する例も併せて開示されている。一方、映像信号を領域ごとに独立に階調変換する手法も提案されている。例えば、特許文献２ではテクスチャ情報に基づき映像信号を領域に分割し、各領域に対して適用的に階調変換を行う例が開示されている。

特開2003-69821号公報 特許3465226号公報

従来の固定的な階調特性では、逆光などの標準的でない状況では適切な映像信号が得られないという課題がある。また、特開2003-69821に示される方法では一枚の映像信号に対して一つの階調特性により階調変換を行うため、明暗比の大きいシーンでは十分な改善効果が得られないという課題がある。さらに、特許3465226に示される方法では領域ごとに独立した階調特性により階調変換を行うため明暗比の大きいシーンでも十分な改善効果が得られるが、個々の階調特性に制限が設定されていない。このため、極端な変換が行なわれる場合があり、ノイズ成分の増加や色再現の破綻など副作用の発生が新たな課題となる。
という問題があった。

本発明は、従来技術のこのような問題点に鑑みてなされたものであり、領域ごとに独立に階調特性を求め、かつ領域ごとに独立に階調特性に対する制限を設定することで、副作用
の少ない高品位な映像信号を生成可能な映像信号処理装置と映像信号処理プログラムの提供を目的とする。

（１）．上記目的を達成するために、本発明の第１の実施形態にかかる映像信号処理装置は、映像信号に対し階調変換を行う映像信号処理装置において、
上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出手段と、上記注目画素に対し階調変換処理を行う変換手段と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う補正手段を有することを特徴とする。

本発明の第１の実施形態にかかる映像信号処理装置の算出手段は、図１，図４，図７，図８に示される補正係数算出部112が、変換手段は図１，図２，図３，図８に示される変換部110が、補正手段は図１，図８に示される補正部111が該当する。この発明の好ましい適用例は、補正係数算出部112にて階調変換処理に関する補正係数を算出し、変換部110にて各注目画素に対して階調変換処理を行い、補正部111にて各注目画素に対して補正係数を用いて階調変換に対する補正を行う映像信号処理装置である。

この発明は、映像信号の注目画素毎に階調変換を行うと共に階調変換に制限を課すための補正係数を算出し、当該の補正係数を用いて階調変換後の注目画素を補正している。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換処理は従来と同一構成で補正処理を追加する形態となるため、従来の装置との親和性が高く実装が容易となる。

（２）.本発明の第２の実施形態にかかる映像信号処理装置は、映像信号に対し階調変換を行う映像信号処理装置において、
上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出手段と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う変換手段と、を有することを特徴とする。

この発明に関する実施形態は、図１０〜図１４に示される第２の実施形態例が対応する。本発明の第２の実施形態にかかる映像信号処理装置の算出手段は、図１０，図１３に示される補正係数算出部112,被写体情報部601が該当し、変換手段は図１０，図１１に示される変換部110が該当する。この発明の好ましい適用例は、補正係数算出部112および被写体情報部601にて階調変換処理に関する補正係数を算出し、変換部110にて各注目画素に対して補正係数を用いて階調変換処理を行う映像信号処理装置である。

この発明は、映像信号の注目画素毎に階調変換に制限を課すための補正係数を算出し、当該の補正係数を用いて独立に階調変換を行っている。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換処理と階調変換に対する制限設定を一体化することで低コストな装置構成が可能となる。

（３）.本発明の第３の実施形態にかかる映像信号処理装置は、映像信号に対し階調変換を行う映像信号処理装置において、
上記映像信号を少なくとも1つ以上の領域に分割する分割手段と、上記各領域に対し補正係数を算出する算出手段と、上記各領域に対し階調変換処理を行う変換手段と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う補正手段を有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。本発明の第３の実施形態にかかる映像信号処理装置の分割手段は、図１５，図１６に示される適用分割部150が、算出手段は図１５に示される補正係数算出部112が、変換手段は図１５に示される変換部110が、補正手段は図１５に示される補正部111が該当する。この発明の好ましい適用例は、適用分割部150にて映像信号を少なくとも1つ以上の領域へ分割し、補正係数算出部112にて階調変換処理に関する補正係数を算出し、変換部110にて各領域に対して階調変換処理を行い、補正部111にて各領域に対して補正係数を用いて階調変換に対する補正を行う映像信号処理装置である。

この発明は、映像信号を少なくとも1つ以上の領域へ分割し、領域ごとに独立に階調変換を行うと共に階調変換に制限を課すための補正係数を算出し、この補正係数を用いて階調変換後の領域を補正している。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換処理は従来と同一構成で補正処理を追加する形態となるため、従来の装置との親和性が高く実装が容易となる。

（４）.本発明の第４の実施形態にかかる映像信号処理装置は、映像信号に対し階調変換を行う映像信号処理装置において、
上記映像信号を少なくとも1つ以上の領域に分割する分割手段と、上記各領域に対し補正係数を算出する算出手段と、上記各領域に対し上記補正係数を用いて階調変換処理を行う変換手段を有することを特徴とする。

この発明に関する実施形態は、図１８、図１９に示される第４の実施形態例が対応する。本発明の第４の実施形態にかかる映像信号処理装置の分割手段は、図１８に示される固定分割部600が、算出手段は図１８に示される補正係数算出部112,被写体情報部601が、変換手段は図１８に示される変換部110が該当する。この発明の好ましい適用例は、固定分割部600にて映像信号を少なくとも1つ以上の領域へ分割し、補正係数算出部112および被写体情報部601にて階調変換処理に関す補正係数を算出し、変換部110にて各領域に対して補正係数を用いて階調変換処理を行う映像信号処理装置である。

この発明は、映像信号を少なくとも1つ以上の領域へ分割し、領域ごとに階調変換に制限を課すための補正係数を算出し、この補正係数を用いて独立に階調変換を行っている。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換処理と階調変換に対する制限設定を一体化することで低コストな装置構成が可能となる。

（５）.（１）の発明における変換手段は、上記階調変換処理後の上記各注目画素に対して上記補正係数を乗算する乗算手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（５）の発明の乗算手段は、図１，図８に示される補正部111が該当する。この発明の好ましい適用例は、補正部111にて階調変換処理後の各領域に対して補正係数を乗算する映像信号処理装置である。

（５）の発明は、注目画素ごとに補正係数を乗算することで階調変換に対する補正を行っている。この構成によれば、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、従来の階調変換処理の後段に追加できるため、従来の装置との親和性が高く実装が容易となる。

（６）.（２）の発明における変換手段は、上記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１０〜図１４に示される第２の実施形態例が対応する。（６）の発明のヒストグラム算出手段は、図１１に示されるヒストグラム作成部301が、クリッピング手段は図１１に示されるクリッピング部700が、階調変換曲線設定手段は第11図に示される累積正規化部302が該当する。この発明の好ましい適用例は、ヒストグラム作成部301にて各領域のヒストグラムを生成し、クリッピング部700にて補正係数に基づきヒストグラムにクリッピング処理を行い、累積正規化部302にて出力階調幅に適した階調変換曲線を設定する映像信号処理装置である。

（６）の発明は、注目画素および近傍領域のヒストグラムを作成し、補正係数に基づきにクリッピング処理を行った後に階調変換曲線を設定している。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストな装置構成が可能となる。

（７）.（１）または（２）の発明における算出手段は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定手段と、上記注目画素に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（７）の発明のノイズ量推定手段は、図４に示されるノイズ算出部402,ノイズ関数用ROM403が、上限値設定手段は図４に示される上限値設定部404, 上限値用ROM405が、係数算出手段は図４に示される上限ゲイン算出部406,係数算出部407が該当する。この発明の好ましい適用例は、ノイズ算出部402,ノイズ関数用ROM403にて注目画素に関するノイズ量を推定し、上限値設定部404,上限値用ROM405にて許容されるノイズの上限値を設定し、上限ゲイン算出部406,係数算出部407にて階調変換に制限を課すための補正係数を算出する映像信号処理装置である。

（７）の発明は、注目画素ごとにノイズ量を推定すると共に容認できるノイズ量から階調変換処理におけるゲインの上限値を算出し、これから補正係数を求めている。この構成によれば、階調変換により生ずるノイズ量の増加を許容されるノイズの上限値以下に抑えることが可能となり、高品位な映像信号が得られる。

（８）.（１）または（２）における算出手段は、上記注目画素および近傍領域の特定色を抽出する特定色抽出手段と、上記注目画素に対し上記特定色の占める割合に基づき補正係数を算出する係数算出手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（８）の発明の特定色抽出手段は、図７に示される特定色抽出部452,特定色用ROM453が、係数算出手段は図７に示される上限ゲイン設定部456,上限値用ROM457,係数算出部459が該当する。この発明の好ましい適用例は、特定色抽出部452,特定色用ROM453にて領域に含まれる所定の特定色を抽出し、上限ゲイン設定部456,上限値用ROM457,係数算出部459にて階調変換に制限を課すための補正係数を算出する映像信号処理装置である。

（８）の発明は、注目画素および近傍領域ごとに特定色の占める占有率を求め、これから補正係数を求めている。この構成によれば、階調変換により生ずるノイズ量の増加を、主観的に重要な特定色に関する上限値以下に抑えることが可能となり、高品位な映像信号が得られる。

（９）.（１）または（２）の発明における変換手段は、上記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（９）の発明のヒストグラム算出手段は、図２に示されるヒストグラム作成部301が、階調変換曲線設定手段は図２に示される累積正規化部302が該当する。この発明の好ましい適用例は、ヒストグラム作成部301にて各領域のヒストグラムを生成し、累積正規化部302にて出力階調幅に適した階調変換曲線を設定する映像信号処理装置である。

（９）の発明は、注目画素および近傍領域のヒストグラムに基づき階調変換曲線を設定している。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られる。

（１０）.（１）または（２）における変換手段は、上記注目画素に対し所定の階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（１０）の発明の階調変換曲線設定手段は、図３に示される標準階調曲線ROM350が該当する。この発明の好ましい適用例は、標準階調曲線ROM350にて標準的な階調変換曲線を設定する映像信号処理装置である。

（１０）の発明は、注目画素に対して標準的な階調変換曲線を設定している。この構成によれば、条件判定を伴わないため、高速な処理が可能となる。

（１１）.（３）の発明における変換手段は、上記階調変換処理後の上記各領域に対して上記補正係数を乗算する乗算手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１１）の発明の乗算手段は、図１５に示される補正部111が該当する。この発明の好ましい適用例は、補正部111にて階調変換処理後の各領域に対して補正係数を乗算する映像信号処理装置である。

（１１）の発明は、領域ごとに補正係数を乗算することで階調変換に対する補正を行っている。この構成によれば、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、従来の階調変換処理の後段に追加できるため、従来の装置との親和性が高く実装が容易となる。

（１２）．（１）または（３）の発明における映像信号処理装置は、上記補正係数が所定の条件を満たす場合に上記変換手段の一部および補正手段を迂回させる迂回手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（１２）の発明の迂回手段は、図１に示される制御部115が該当する。この発明の好ましい適用例は、制御部115にて補正係数が所定の条件を満たす場合に階調変換処理の一部および補正処理を迂回させる映像信号処理装置である。

（１２）の発明は、注目画素に対する補正係数が所定の条件を満たす場合は入力信号の階調変換処理に対する自由度が少ないと判断し、処理の一部を省略している。この構成によれば、画質上改善効果が得られないと判断した注目画素には、適用的な階調変換処理および補正処理を省略することで高速な処理を実現する。

（１３）．（４）の発明における変換手段は、上記各領域のヒストグラムを算出するヒストグラム算出手段と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１８，図１９に示される第４の実施形態例が対応する。（１３）の発明のヒストグラム算出手段は、図１１に示されるヒストグラム作成部301が、クリッピング手段は図１１に示されるクリッピング部700が、階調変換曲線設定手段は図１１に示される累積正規化部302が該当する。この発明の好ましい適用例は、ヒストグラム作成部301にて各領域のヒストグラムを生成し、クリッピング部700にて補正係数に基づきヒストグラムにクリッピング処理を行い、累積正規化部302にて出力階調幅に適した階調変換曲線を設定する映像信号処理装置である。

（１３）の発明は、各領域のヒストグラムを作成し、補正係数に基づきにクリッピング処理を行った後に階調変換曲線を設定している。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。さらに、階調変換曲線の設定と制限の設定を一体化することで低コストな装置構成が可能となる。

（１４）．（３）または（４）の発明における算出手段は、上記各領域の特定色を抽出する特定色抽出手段と、上記各領域に対し上記特定色の占める割合に基づき補正係数を算出する係数算出手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１４）の発明の特定色抽出手段は、図７に示される特定色抽出部452,特定色用ROM453が、係数算出手段は図７に示される上限ゲイン設定部456,上限値用ROM457,係数算出部459が該当する。この発明の好ましい適用例は、特定色抽出部452,特定色用ROM453にて領域に含まれる所定の特定色を抽出し、上限ゲイン設定部456,上限値用ROM457,係数算出部459にて階調変換に制限を課すための補正係数を算出する映像信号処理装置である。

（１４）の発明は、領域ごとに特定色の占める占有率を求め、これから補正係数を求めている。この構成によれば、階調変換により生ずるノイズ量の増加を、主観的に重要な特定色に関する上限値以下に抑えることが可能となり、高品位な映像信号が得られる。

（１５）．前記(３)または (４)の発明における分割手段は、上記映像信号の色情報，輝度情報，テクスチャ情報の少なくとも１つ以上の情報に基づき領域を分割する適用分割手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１５）の発明の適用分割手段は、図１６に示されるテクスチャ解析部201,輝度解析部202,色相解析部203,領域抽出部205が該当する。この発明の好ましい適用例は、テクスチャ解析部201,輝度解析部202,色相解析部203にてテクスチャ，輝度，色相情報を解析し、領域抽出部205にて上記情報を統合して領域を分割する映像信号処理装置である。

（１５）の発明は、テクスチャ，輝度，色相情報を用いて領域分割を行っている。この構成によれば、高精度な分割が可能となり、階調変換処理をより効果的に行うことができる。

（１６）．（３）または（４）の発明における分割手段は、上記映像信号を所定サイズの領域に分割する固定分割手段を更に有することを特徴とする。

この発明に関する実施形態は、図１８，図１９に示される第４の実施の形態が対応する。（１６）の発明の固定分割手段は、図１８に示される固定分割部600が該当する。この発明の好ましい適用例は、固定分割部600にて所定サイズの領域に分割する映像信号処理装置である。

（１６）の発明は、予め定めておいた所定サイズの領域に分割している。この構成によれば、高速処理および装置の低コスト化が可能となる。

（１７）．（３）または（４）の発明における算出手段は、上記各領域のノイズ量を推定するノイズ量推定手段と、上記各領域に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１７）の発明のノイズ量推定手段は、図４に示されるノイズ算出部402,ノイズ関数用ROM403が、上限値設定手段は図４に示される上限値設定部404, 上限値用ROM405が、係数算出手段は図４に示される上限ゲイン算出部406,係数算出部407が該当する。この発明の好ましい適用例は、ノイズ算出部402,ノイズ関数用ROM403にて領域に関するノイズ量を推定し、上限値設定部404,上限値用ROM405にて許容されるノイズの上限値を設定し、上限ゲイン算出部406,係数算出部407にて階調変換に制限を課すための補正係数を算出する映像信号処理装置である。

（１７）の発明は、領域ごとにノイズ量を推定すると共に容認できるノイズ量から階調変換処理におけるゲインの上限値を算出し、これから補正係数を求めている。この構成によれば、階調変換により生ずるノイズ量の増加を許容されるノイズの上限値以下に抑えることが可能となり、高品位な映像信号が得られる。

（１８）．（３）または（４）の発明における変換手段は、上記各領域のヒストグラムを算出するヒストグラム算出手段と、上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１８）の発明のヒストグラム算出手段は、図２に示されるヒストグラム作成部301が、階調変換曲線設定手段は図２に示される累積正規化部302が該当する。この発明の好ましい適用例は、ヒストグラム作成部301にて各領域のヒストグラムを生成し、累積正規化部302にて出力階調幅に適した階調変換曲線を設定する映像信号処理装置である。

（１８）の発明は、各領域のヒストグラムに基づき階調変換曲線を設定する。この構成によれば、明暗比の大きいシーンに対しても高品位な映像信号が得られる。

（１９）．(３)または (４)の発明における変換手段は、上記各領域に対し所定の階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする。

この発明に関する実施形態は、図１５〜図１７に示される第３の実施形態例が対応する。（１９）の発明の階調変換曲線設定手段は、図３に示される標準階調曲線ROM350が該当する。この発明の好ましい適用例は、標準階調曲線ROM350にて標準的な階調変換曲線を設定する映像信号処理装置である。

（１９）の発明は、各領域に対して標準的な階調変換曲線を設定している。この構成によれば、条件判定を伴わないため、高速な処理が可能となる。

（２０）．(２)または (４)の発明における映像信号処理装置は、上記補正係数が所定の条件を満たす場合に上記変換手段の一部を迂回させる迂回手段を更に有することを特徴とする。

この発明に関する実施形態は、図１０〜図１４に示される第２の実施形態例が対応する。（２０）の発明の推定手段は、図１０に示される制御部115が該当する。この発明の好ましい適用例は、制御部115にて補正係数が所定の条件を満たす場合に階調変換処理の一部を迂回させる映像信号処理装置である。

（２０）の発明は、注目画素に対する補正係数が所定の条件を満たす場合は入力信号の階調変換処理に対する自由度が少ないと判断し、処理の一部を省略している。この構成によれば、画質上改善効果が得られないと判断した注目画素には、適用的な階調変換処理を省略することで高速な処理を実現する。

（２１）．（２）または（４）の発明における算出手段は、上記映像信号中の被写体情報を抽出する被写体情報抽出手段と、上記被写体情報に基づき補正係数を算出する係数算出手段を更に有することを特徴とする。

この発明に関する実施形態は、図１０〜図１４に示される第２の実施形態例が対応する。（２１）の発明の被写体情報抽出手段は、図１３に示される合焦位置推定部800,被写体分布推定部801,統合部802が、係数算出手段は図１３に示される第２係数設定部803,シーン別補正係数ROM804が該当する。この発明の好ましい適用例は、合焦位置推定部800,被写体分布推定部801,統合部802にて撮影時のシーンを推定し、第２係数設定部803,シーン別補正係数ROM804にてシーン別の階調変換に制限を課すための補正係数を算出する映像信号処理装置である。

（２１）の発明は、撮影時のシーンを推定し、これから補正係数を求めている。この構成によれば、階調変換により生ずるノイズ量の増加を、撮影シーンごとに制御可能となり、高品位な映像信号が得られる。また、補正係数の算出は一枚の映像信号につき一回であるため、高速な処理が可能となる。

（２２）．（１）ないし（４）のいずれかの発明における上限値設定手段は、所定のISO感度におけるノイズ量を記録した記録手段を更に有することを特徴とする。

この発明に関する実施形態は、図１〜図９に示される第１の実施形態例が対応する。（２２）の発明の記録手段は、第４図に示される上限値用ROM405が該当する。この発明の好ましい適用例は、上限値用ROM405にて許容されるノイズの上限値として所定のISO感度におけるノイズ量を記録した映像信号処理装置である。

（２２）の発明は、容認できるノイズ量として所定のISO感度におけるノイズ量を記録している。この構成によれば、上限値の設定が容易になり、多様な映像信号に柔軟に対応可能となる。

（２３）．本発明の第１の実施形態にかかる映像信号処理プログラムは、コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順と、上記注目画素に対し階調変換処理を行う手順と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う手順とを実行させる。

本発明の第１の実施形態にかかる映像信号処理プログラムは図９のフローチャートが対応する。映像信号を読み込む手順は図９のstep1が、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順はstep11が、注目画素に対し階調変換処理を行う手順はstep12が該当する。

（２４）．本発明の第２の実施形態にかかる映像信号処理プログラムは、コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う手順とを実行させることを特徴とする。

本発明の第２の実施形態にかかる映像信号処理プログラムは、図１４のフローチャートが対応する。映像信号を読み込む手順は図１４のstep1が、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順はstep11が、注目画素に対し上記補正係数を用いて階調変換処理を行う手順はstep12が該当する。

（２５）．本発明の第３の実施形態にかかる映像信号処理プログラムは、コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号を少なくとも1つ以上の領域に分割する手順と、上記各領域に対し補正係数を算出する手順と、上記各領域に対し階調変換処理を行う手順と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う手順とを実行させることを特徴とする。

本発明の第３の実施形態にかかる映像信号処理プログラムは、図１７のフローチャートが対応する。映像信号を読み込む手順は図１７のstep1が、分割する手順はstep34が、補正係数を算出する手順はstep11が、階調変換処理を行う手順はstep12が、補正係数を用いて補正を行う手順はstep13が該当する。

（２６）．本発明の第４の実施形態にかかる映像信号処理プログラムは、コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号を少なくとも1つ以上の領域に分割する手順と、上記各領域に対し補正係数を算出する手順と、上記各領域に対し上記補正係数を用いて階調変換処理を行う手順とを実行させることを特徴とする。

本発明の第４の実施形態にかかる映像信号処理プログラムは、図１９のフローチャートが対応する。映像信号を読み込む手順は図１９のstep1が、分割する手順はstep40が、補正係数を算出する手順はstep11が、階調変換処理を行う手順はstep12が該当する。

（２７）．（２３）の発明の前記階調変換処理を行う手順は、上記階調変換処理後の上記各注目画素に対して上記補正係数を乗算する手順を含むことを特徴とする。（２７）の発明の補正係数を乗算する手順は、図９のstep13が該当する。

（２８）．（２４）の発明の前記階調変換処理を行う手順は、上記注目画素および近傍領域のヒストグラムを算出する手順と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行う手順と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する手順を含むことを特徴とする。（２８）の発明のヒストグラムを算出する手順は図１４のstep4が、クリッピング処理を行う手順はstep25が、階調変換曲線を設定する手順はstep12が該当する。

（２９）．（２５）の発明の前記階調変換処理を行う手順は、上記階調変換処理後の上記各領域に対して上記補正係数を乗算する手順を含むことを特徴とする。（２９）の発明の補正係数を乗算する手順は、図１７のstep13が該当する。

（３０）．（２６）の発明の前記階調変換処理を行う手順は、上記各領域のヒストグラムを算出する手順と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行う手順と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する手順を含むことを特徴とする。（３０）の発明のヒストグラムを算出する手順は図１９のstep4が、クリッピング処理を行う手順はstep25が、階調変換曲線を設定する手順はstep26が該当する。

（３１）．（２３）または（２４）の発明の前記注目画素および近傍領域に対し補正係数を算出する手順は、上記注目画素および近傍領域のノイズ量を推定する手順と、上記注目画素に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順を含むことを特徴とする。（３１）の発明のノイズ量を推定する手順は、図９のstep8および図１４のstep8が、ノイズ量の上限値を設定する手順は図９のstep10および図１４のstep10が、補正係数を算出する手順は図９のstep11および図１４のstep11が該当する。

（３２）．（２５）または（２６）の発明の前記上記各領域に対し補正係数を算出する手順は、上記各領域のノイズ量を推定する手順と、上記各領域に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順を含むことを特徴とする。（３２）の発明のノイズ量を推定する手順は、図１７および図１９のstep8が、ノイズ量の上限値を設定する手順は、図１７および図１９のstep10が、補正係数を算出する手順は、図１７および図１９のstep11が該当する。

（３３）．（２５）または（２６）の発明の上記各領域に対し補正係数を算出する手順は、上記各領域の特定色を抽出する手順と、上記各領域に対し上記特定色の占める割合に基づき補正係数を算出する手順を含むことを特徴とする。（３３）の発明の特定色を抽出する手順は図１７のstep34が該当する。

（３４）．（２４）または（２６）の発明の前記補正係数を算出する手順は、上記映像信号中の被写体情報を抽出する手順と、上記被写体情報に基づき補正係数を算出する手順を含むことを特徴とする。（３４）の発明の被写体情報を抽出する手順は図１４および図１９のstep22が該当する。また、補正係数を算出する手順図１４および図１９のstep24が該当する。

（２３）〜（３４）の発明は、映像信号処理をプログラムでコンピュータに実現させるものである。このため、迅速にしかも正確に高品位な映像信号処理を実行させることが可能となる。

（３５）．本発明の第１の実施形態にかかる映像信号記録媒体は、映像信号に対し階調変換を行う映像信号が記録される記録媒体において、
上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出処理と、上記注目画素に対し階調変換処理を行う変換処理と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う補正処理がなされた映像信号データを保持する手段を有することを特徴とする。

（３５）の発明は、図１の出力部114に設定されるメモリカードのような記録媒体が相当する。補正係数を算出する算出処理は図１の補正係数算出部112の処理が、階調変換処理を行う変換処理は図１の変換部110の処理が、補正処理は図１の補正部111が該当する。

（３６）．本発明の第２の実施形態にかかる映像信号記録媒体は、映像信号に対し階調変換を行う映像信号が記録される記録媒体において、
上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出処理と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う変換処理がなされた映像信号データを保持する手段を有することを特徴とする。

（３６）の発明は、図１０の出力部114に設定されるメモリカードのような記録媒体が相当する。補正係数を算出する算出処理は図１０の補正係数算出部112の処理が、階調変換処理を行う変換処理は図１０の変換部110の処理が該当する。

（３７）．本発明の第３の実施形態にかかる映像信号記録媒体は、映像信号に対し階調変換を行う映像信号が記録される記録媒体において、
上記映像信号を少なくとも1つ以上の領域に分割する分割処理と、上記各領域に対し補正係数を算出する算出処理と、上記各領域に対し階調変換処理を行う変換処理と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う補正処理がなされた映像信号データを保持する手段を有することを特徴とする。

（３７）の発明は、図１５の出力部114に設定されるメモリカードのような記録媒体が相当する。補正係数を算出する算出処理は図１５の補正係数算出部112の処理が、階調変換処理を行う変換処理は図１５の変換部110の処理が、補正処理は図１５の補正部111が該当する。

（３８）．本発明の第４の実施形態にかかる映像信号記録媒体は、映像信号に対し階調変換を行う映像信号が記録される記録媒体において、
上記映像信号を少なくとも1つ以上の領域に分割する分割処理と、上記各領域に対し補正係数を算出する算出処理と、上記各領域に対し上記補正係数を用いて階調変換処理を行う変換処理がなされた映像信号データを保持する手段を有することを特徴とする。

（３８）の発明は、図１８の出力部114に設定されるメモリカードのような記録媒体が相当する。分割処理は図１８の固定分割部600の処理が、補正係数を算出する算出処理は図１８の補正係数算出部112の処理が、階調変換処理を行う変換処理は図１８の変換部110の処理が該当する。

（３９）．（３５）、（３６）に記載の前記算出処理は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定処理と、上記注目画素に対しノイズ量の上限値を設定する上限値設定処理と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出処理を含むことを特徴とする。（３９）の発明のノイズ量推定処理は図４のノイズ算出部402の処理が、上限値設定処理は図４の上限値設定部４０４の処理が、係数算出処理は図４の係数算出部407の処理が該当する。

（４０）．（３７）、（３８）に記載の前記算出処理は、上記各領域のノイズ量を推定するノイズ量推定処理と、上記各領域に対しノイズ量の上限値を設定する上限値設定処理と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出処理を含むことを特徴とする。（４０）の発明のノイズ量推定処理は図４のノイズ算出部402の処理が、上限値設定処理は図４の上限値設定部４０４の処理が、係数算出処理は図４の係数算出部407の処理が該当する。

（３５）〜（４０）の発明は、映像信号処理された記録媒体を対象とするものである。このため、コンピュータなどの情報処理機器に記録媒体をセットすることにより、高品位の映像信号処理を実行させることが可能となる。

本発明においては、領域ごとに独立に階調特性を求め、かつ領域ごとに独立に階調特性に対する制限を設定することで、副作用の少ない高品位な映像信号を生成可能な映像信号処理装置を提供することができる。また、前記のような特色のある映像信号処理をプログラムで実現できる。

以下、本発明の実施形態例について図を参照して説明する。

図１は第１の実施形態例の構成図、図２は変換部の構成図、図３は変換部の別構成の構成図、図４は補正係数算出部の構成図、図５はノイズ量の関数に関する説明図、図６は補正係数に関する説明図、図７は補正係数算出部の別構成の構成図、図８は第１の実施形態例の別構成の構成図、図９は第１の実施形態例における階調変換処理のフローチャートである。

図１において、レンズ系100,絞り101,CCD102を介して撮影された映像は、A/D103にてデジタル信号へ変換される。A/D103からの信号は、バッファ104を介して信号処理部108へ転送される。また、バッファ104からの信号は測光評価部105,合焦点検出部106へも転送される。測光評価部105は絞り101,CCD102へ接続されており、合焦点検出部106はAFモータ107へ接続している。

信号処理部108は、局所領域抽出部109,変換部110,補正部111,圧縮部113を介して出力部114へ接続されている。また、局所領域抽出部109および変換部110は、補正係数算出部112へ接続されており、補正係数算出部112は補正部111へ接続されている。

マイクロコンピュータなどの制御部115は、A/D103,測光評価部105,合焦点検出部106,信号処理部108,局所領域抽出部109,変換部110,補正部111,補正係数算出部112,圧縮部113,出力部114と双方向に接続されている。さらに、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部116も、制御部115と双方向に接続されている。

次に、図１における信号の流れを説明する。外部I/F部116を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,CCD102を介して撮影された映像信号は、A/D103にてデジタル信号へ変換されてバッファ104へ転送される。なお、本実施形態例において、CCD102はRGB原色系の単板CCDを想定し、A/D103による信号の階調幅を例えば12bitとする。バッファ104内の映像信号は、測光評価部105と合焦点検出部106へ転送される。

測光評価部105では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、映像信号中の輝度レベルを求めて適正露光となるように、絞り101やCCD102の電子シャッター速度などを制御する。合焦点検出部106は映像信号のエッジ強度を検出し、エッジ強度が最大となるようにAFモータ107を制御することで合焦画像を得る。次に、外部I/F部116を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ104へ転送される。

本撮影は、測光評価部105にて求められた露光条件、合焦点検出部106にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部115へ転送される。バッファ104内の映像信号は、信号処理部108へ転送される。信号処理部108は、制御部115の制御に基づきバッファ104上の単板状態の映像信号を読み込み、公知の補間処理，ホワイトバランス処理などが行われた三板状態の映像信号を生成し、局所領域抽出部109へ転送する。

局所領域抽出部109は、注目画素を中心とする所定サイズの矩形領域，例えば本例では16×16画素単位の局所領域を抽出する。抽出された局所領域は、制御部115の制御に基づき変換部110および補正係数算出部112へ順次転送される。変換部110では、局所領域のヒストグラムに基づき階調変換曲線を設定し補正係数算出部112へ転送する。補正係数算出部112は、注目画素のノイズ量を推定すると共に、事前に定められたノイズ量の上限値から各注目画素に対しゲインの上限値を求める。さらに、変換部110の階調変換処理により発生する各注目画素に対するゲインを求め、階調変換処理によるゲインが上記ゲインの上限値を超えないように補正係数を算出する。

上記補正係数は、補正部111へ転送される。その後、変換部110にて注目画素の階調変換処理を行い、結果を補正部111へ転送する。補正部111は、制御部115の制御に基づき、変換部110からの階調変換処理後の各注目画素に対し、補正係数算出部112からの補正係数を用いて補正を行う。上記局所領域抽出部109,変換部110,補正部111,補正係数算出部112は、制御部115の制御に基づき各画素単位で同期して処理が行われる。補正部111からの各注目画素の映像信号は圧縮部113へ転送され、全映像信号がそろった時点で公知のJPEGなどの圧縮処理がなされ、出力部114へ転送される。

出力部114は、メモリカードなどの記録媒体へ圧縮信号を記録保存する。したがって、前記記録媒体には、前記したような一連の補正処理がなされた映像信号データが所定のファイルに記録保持されることになる。図１の例では、映像信号に対し階調変換を行う映像信号が記録される記録媒体は、上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出処理と、上記注目画素に対し階調変換処理を行う変換処理と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う補正処理がなされた映像信号を保持する手段を有するものである。

なお、上記補正係数が算出された段階で、所定の閾値との比較により階調変換に対するゲインの自由度がどの程度あるかを判断できる。ゲインの自由度が少ないと判断された場合は、制御部115の制御に基づき変換部110での注目画素の階調変換処理および補正部111の補正処理を迂回して、処理を高速化することも可能である。

図２は変換部110の構成の一例を示すもので、変換部110は、バッファ300,ヒストグラム作成部301,累積正規化部302,階調変換部303からなる。局所領域抽出部109はバッファ300へ接続されており、バッファ300はヒストグラム作成部301および階調変換部303へ接続されている。ヒストグラム作成部301は累積正規化部302へ接続されており、累積正規化部302は補正係数算出部112および階調変換部303へ接続されている。階調変換部303は、補正部111へ接続されている。

制御部115は、ヒストグラム作成部301,累積正規化部302,階調変換部303と双方向に接続されている。局所領域抽出部109から転送される局所領域の信号は、バッファ300に保存される。ヒストグラム作成部301は、局所領域ごとにヒストグラムを作成し、累積正規化部302へ転送する。累積正規化部302は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成する。

本実施形態例では、映像信号の階調幅を12bitと仮定するため、上記階調変換曲線は12bit入力12bit出力になる。上記階調変換曲線は、補正係数算出部112および階調変換部303へ転送される。階調変換部303は、累積正規化部302からの階調変換曲線に基づき、バッファ300上の局所領域中の注目画素を階調変換処理する。その後、出力時の階調幅に適合するように除算処理を行う。本実施形態例では8bitを想定しており、8bitの領域の信号は補正部111へ転送される。なお、上記例では局所領域ごとにヒストグラムに基づく階調変換曲線を算出しているが、このような構成に限定される必要はない。例えば、第３図に示されるように標準的な階調変換曲線を固定的に使用する構成も可能である。

図３は、図２に示す変換部110の構成からヒストグラム作成部301,累積正規化部302を除去し、標準階調曲線ROM350を追加した構成になっている。基本構成は第２図に示す変換部110と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、図２とは異なる部分のみ説明する。バッファ300は階調変換部303へ接続されている。標準階調曲線ROM350は、補正係数算出部112および階調変換部303へ接続されている。本構成では、補正係数算出部112は標準階調曲線ROM350から標準的な階調変換曲線を読み込み、バッファ300上の領域の信号を階調変換処理する。この場合、明暗比の大きいシーンでは改善効果が低下するが、処理速度を高速化することができる。

図４は補正係数算出部112の構成の一例を示すものである。補正係数算出部112は、平均算出部400,ゲイン算出部401, ノイズ算出部402,ノイズ関数用ROM403,上限値設定部404,上限値用ROM405,上限ゲイン算出部406,係数算出部407からなる。局所領域抽出部109は平均算出部400へ接続されており、平均算出部400はノイズ算出部402および上限値設定部404へ接続されている。ゲイン算出部401およびノイズ関数用ROM403はノイズ算出部402へ接続されており、上限値用ROM405は上限値設定部404へ接続されている。

ノイズ算出部402および上限値設定部404は、上限ゲイン算出部406へ接続されている。上限ゲイン算出部406は係数算出部407へ接続されており、係数算出部407は補正部111へ接続されている。変換部110は、係数算出部407へ接続されている。制御部115は、平均算出部400,ゲイン算出部401,ノイズ算出部402,上限値設定部404,上限ゲイン算出部406,係数算出部407と双方向に接続されている。

平均算出部400は、制御部115の制御に基づき局所領域抽出部109から局所領域の信号を読み込み、各色信号、本実施形態例ではRGBの３種類の色信号別に平均値AV_c (c=R,G,B)を算出して、ノイズ算出部402および上限値設定部404へ転送する。ゲイン算出部401は、制御部115から転送されるISO感度などの露光条件に関する情報に基づき映像信号に対するゲインを求め、ノイズ算出部402へ転送する。ノイズ算出部402では、ノイズ量の関数に基づき各色信号のノイズ量を推定する。

第５図は、ノイズ量の関数に関する説明図である。第５図は、信号レベルに対するノイズ量をプロットしたものでベキ乗の関数で近似できる。いま、信号レベルを上記平均値AV_cとすると、ノイズ量N_cは（１）式
N_c = α_cAV_cβ^c + γ_c (1)
で定式化できる。ここで、α_c、β_c、γ_cは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、信号に対するゲインによっても変化する。

図５には、ISO=100,200,400の３種類に対するノイズ量をプロットしてある。個々の曲線は(１)式に示される形態をしているが、その係数はISO感度により異なる。ISO感度をi(i=100,200,400)とし、上記を考慮した形で定式化を行うと、（２）式
N_c = α_ciAV_cβ^ci + γ_ci (２)
となる。

ノイズ関数用ROM403には、(２)式に示す３つの係数、α_ci,β_ci,γ_ciが色信号およびISO感度ごとに記録されている。ノイズ算出部402は、制御部115の制御に基づき対応する色信号およびISO感度に関する上記３つの係数をノイズ関数用ROM403から読み込み、(２)式に基づきRGB各色信号のノイズ量N_cを推定する。推定されたノイズ量N_cは、上限ゲイン算出部406へ転送される。一方、上限値設定部404は主観的に許容可能なノイズ量を上限値用ROM405から読み出す。許容可能なノイズ量の上限値Limit N_cは、上記第５図に示すノイズ量のモデルと同様に信号レベルAV_cに対してテーブルとしての形態で上限値用ROM405に記録され、事前に主観評価実験などにより決定される。

なお、より簡易的なノイズ量の上限値Limit N_cとして、特定のISO感度のノイズモデルで代用することもできる。この場合は、上限値用ROM405を省略し、ノイズ関数用ROM403から読み出す構成となり、装置の低コスト化が可能となる。ノイズ量の上限値Limit N_cは、上限ゲイン算出部406へ転送される。上限ゲイン算出部406は、ノイズ算出部402からのノイズ量N_cと上限値設定部404からのノイズ量の上限値Limit N_cから、映像信号に適用できる上限ゲインLimit gainを（３）式で算出する。

図６(a)は、(３)式に示す上限ゲインLimit gainを説明するものである。撮影時のノイズ量と主観的に許容可能なノイズ量の比から、映像信号に適用できる上限ゲインが求められる。なお、(３)式に示す上限ゲインは色信号ごとに、本実施例ではRGBの3種類が算出される。このうち、値の最小のものを選択し、上限ゲインLimit gainとして係数算出部407へ転送する。これは、最もノイズの目立つ信号を基準に選択することで、ノイズによる副作用のない階調変換処理を実現するためである。

係数算出部407では、上限ゲイン算出部406からの上限ゲインLimit gainと変換部110からの階調変換曲線に基づき、補正係数k_cを算出する。先に、変換部110における階調変換処理により領域の信号に対してどの程度のゲインが発生するかを求める必要がある。いま、階調変換曲線をt()、入力信号レベルをAV_c、階調変換処理により発生するゲインをtone gainとすると、ゲインは（４）式で算出される。

補正係数k_cは、(５)式で与えられる。

上記補正係数k_cは、補正部111へ転送される。図６(b)は、上記補正係数k_cを乗算することで、階調変換処理により発生するゲインtone gainがtone gain'に補正された場合の特性f()を示す。(５)式に示す補正係数k_cでは、上限ゲインLimit gain以下の場合は階調変換処理により発生するゲインtone gainがそのまま出力される。また、上限ゲインLimit gainを超えるとLimit gainへ置換される特性となっている。なお、このような構成に限定される必要はなく、例えば図６(c)に示すように連続的に変化するような特性g()にする構成も可能である。

特性g()は、階調変換処理により発生するゲインtone gainが0〜gain₁までは入力と同じゲインが出力される。また、gain₁〜gain₂までがgain₁〜Lmit gainに非線形に圧縮され、gain₂を超えるとLimit gainへ置換される特性をもつ。ここでgain₁, gain₂は所定の定数からなる閾値で、gain₁< Lmit gain < gain₂である。この特性により、上限ゲインLimit gainを越えたゲインがすべて上限ゲインLimit gainに置換されないため、グラデーションの再現性が向上することになる。

なお、上記補正係数算出部112ではノイズ量に基づき補正係数を求める構成になっていたが、このような構成に限定される必要はない。例えば、図７に示されるように肌色，空色などの記憶色と呼ばれる主観的に重要となる特定色の割合に基づき補正係数を求める構成も可能である。

図７は補正係数算出部112の別構成の一例を示すものである。補正係数算出部112は、Y/C分離部450,色相彩度算出部451,特定色抽出部452,特定色用ROM453,バッファ454,占有率算出部455,上限ゲイン設定部456,上限値用ROM457,平均算出部458,係数算出部459からなる。局所領域抽出部109はY/C分離部450および平均算出部458へ接続されており、Y/C分離部450は色相彩度算出部451および特定色抽出部452へ、色相彩度算出部451は特定色抽出部452へ接続されている。

特定色抽出部452は、バッファ454,占有率算出部455,上限ゲイン設定部456,係数算出部459を介して補正部111へ接続されている。特定色用ROM453は特定色抽出部452へ、上限値用ROM457は上限ゲイン設定部456へ接続されている。変換部110および平均算出部458は、係数算出部459へ接続されている。制御部115は、Y/C分離部450,色相彩度算出部451,特定色抽出部452,占有率算出部455,上限ゲイン設定部456,平均算出部458,係数算出部459と双方向に接続されている。

Y/C分離部450は、制御部115の制御に基づき局所領域抽出部109から領域の信号を読み込み、(1),(2)式に示される輝度信号Yおよび色差信号Cb,Crを算出する。上記輝度信号Yおよび色差信号Cb,Crは、色相彩度算出部451,特定色抽出部452へ転送される。色相彩度算出部451では、(3)式に示される色相信号Hおよび(６)式に示される彩度信号Cを算出して、特定色抽出部452へ転送する。
C = (Cb・Cb + Cr・Cr)^1/2 (６)

特定色抽出部452は、Y/C分離部450からの輝度信号Y、および色相彩度算出部451からの色相信号Hおよび彩度信号Cに基づき、肌色，空色などの特定色を抽出する。特定色は、輝度信号Y,色相信号H,彩度信号Cの範囲を事前に設定し、特定色用ROM453に記録しておく。特定色抽出部452は、特定色用ROM453から輝度信号Y,色相信号H,彩度信号Cの範囲を読み出し、画素単位で特定色を抽出して、ラベル付けを行いバッファ454へ転送する。特定色に関するラベルは、例えば肌色が1、空色が2、特定色以外が0など、識別が可能な形態であればよい。

占有率算出部455は、制御部115の制御に基づき、特定色抽出部452での抽出が完了した後、バッファ454上の特定色の画素が局所領域の全画素に対して占める占有率を算出する。特定色が存在しない場合には占有率は0%となる。なお、１つの局所領域に複数の特定色が混在する場合は、一番数の多い特定色の占有率を選択する。上記特定色およびその占有率は、上限ゲイン設定部456へ転送される。上限ゲイン設定部456は、占有率算出部455からの占有率を所定の閾値、例えば40%と比較し、閾値以上の場合のみ上限ゲインLimit gainを上限値用ROM457から読み込む。

上限ゲインLimit gainは、特定色ごとに主観評価に基づき設定し、上限値用ROM457に記録しておく。上限ゲインLimit gainは、係数算出部459へ転送される。平均算出部458は、制御部115の制御に基づき局所領域抽出部109から領域の信号を読み込み、各色信号の平均値AV_cを算出して係数算出部459へ転送する。係数算出部459は、制御部115の制御に基づき上限ゲイン設定部456から上限ゲインLimit gainが転送された場合に、平均算出部458からの平均値AV_cおよび変換部110からの階調変換曲線に基づき、補正係数k_cを(４),(５)式で示されるように算出する。上限ゲイン設定部456から、上限ゲインLimit gainが転送されない場合には、補正係数k_c=1を設定する。上記補正係数k_cは、補正部111へ転送される。

上記構成により、明暗比の大きいシーンでに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。階調変換処理は従来と同一構成で、補正処理を追加する形態となるため、従来の装置との親和性が高く実装が容易となる。階調変換曲線はヒストグラムに基づき設定するため、多様なシーンに対して適用的な階調変換処理ができる。

また、標準的な階調変換曲線を固定的に設定することにより、高速な処理が可能となる。さらに、階調変換処理に対する制限をノイズ量に基づき行うため、許容されるノイズの上限値以下に抑えることが可能となる。また、階調変換処理に対する制限を特定色の占有率に基づき行うため、主観的に重要な特定色に関するノイズ量を上限値以下に抑えることが可能となる。

なお、上記実施例ではレンズ系100,絞り101,CCD102,A/D103からなる撮像部分と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図８に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。

図８は、図１に示す構成からレンズ系100,絞り101,CCD102,A/D103,測光評価部105,合焦点検出部106,AFモータ107を省略し、入力部500,ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、図１とは異なる部分のみ説明する。入力部500は、バッファ104およびヘッダ情報解析部501へ接続されている。

制御部115は、入力部500,ヘッダ情報解析部501と双方向に接続されている。マウス，キーボードなどの外部I/F部116を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部500から読み込まれる。入力部500からの信号はバッファ104へ転送され、ヘッダ情報はヘッダ情報解析部501へ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部115へ転送する。以後の処理は、図１と同等である。

さらに、上記実施例形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部115からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図９は、本発明の第１の実施形態例における階調変換処理のソフトウェア処理に関するフローチャートを示すものである。

Step1にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Step2にて、公知の補間処理，ホワイトバランス処理などの信号処理を行う。Step3にて、注目画素を中心とする局所領域，例えば16×16画素単位の局所領域を順次抽出する。Step4にて、局所領域のヒストグラムを作成する。Step5にて、ヒストグラムを累積，正規化することで階調変換曲線を生成する。階調変換曲線はStep11,Step12へ転送される。Step6にて、色信号別の平均値AV_c (c=R,G,B)およびISO感度情報を求める。

Step7にて、(２)式に示されるように色信号およびISO感度ごとの３つの係数α_ci,β_ci,γ_ciを読み込む。Step8にて、(２)式に基づき各色信号のノイズ量N_cを推定し、Step10へ転送する。Step9にて、図６(a)に示されるように主観的に許容可能なノイズ量の上限値Limit N_cを読み込み設定する。Step10にて、Step8から転送されたノイズ量N_cと、Step9から転送された上限値Limit N_cに基づき、(３)式に示されるように映像信号に適用できる上限ゲインLimit gainを求める。Step11にて、Step5から転送された階調変換曲線と、Step10から転送された上限ゲインLimit gainに基づき、(４),(５)式に示されるような補正係数k_cを算出する。

Step12にて、Step5から転送された階調変換曲線に基づき注目画素に対して階調変換処理を行う。Step13にて、Step11から転送された補正係数k_cを乗算することで補正を行う。Step14にて、全画素が完了したかを判断し、完了していない場合はStep3へ移行し、完了した場合はStep15へ移行する。Step15にて、公知のJPEGなどの圧縮処理を行う。Step16にて、処理後の信号が出力され処理を終了する。

次に、本発明の第２の実施形態例について説明する。図１０は第２の実施の形態例の構成図、図１１は変換部の構成図、図１２はクリッピング処理の説明図、図１３は被写体情報部の説明図、図１４は第２の実施形態例における階調変換処理のフローチャートである。

図１０においては、図１に示されている第１の実施形態例の補正部111が削除され、被写体情報部601が追加された構成になっている。基本構成は第１の実施形態例と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。変換部110は圧縮部113へ接続されており、被写体情報部601は補正係数算出部112へ接続されている。変換部110および補正係数算出部112は双方向に接続されている。制御部115は、被写体情報部601と双方向に接続されている。

第２の実施形態例の作用は、基本的に第１の実施形態例と同等であり、異なる部分のみ説明する。図１０における信号の流れを説明する。信号処理部108にて公知の補間処理，ホワイトバランス処理などが行われた三板状態の映像信号は、局所領域抽出部109へ転送される。変換部110では、制御部115の制御に基づき局所領域のヒストグラムから１回目の階調変換曲線を算出し、補正係数算出部112へ転送する。補正係数算出部112は、第１の実施形態例と同様に注目画素に対する補正係数k_c (c=R,G,B)を算出する。

一方、被写体情報部601では制御部115の制御に基づき測光評価部105にて求められた露光条件、合焦点検出部106にて求められた合焦条件に基づき、風景，ポートレート，クローズアップなどの被写体情報を推定し、上記被写体情報に基づき第２の補正係数k'を設定する。上記補正係数算出部112における補正係数k_cが画素単位に算出されるのに対し、被写体情報部601における第２の補正係数k'は一枚の映像信号に対して一回のみ算出される。

上記第２の補正係数は補正係数算出部112へ転送される。補正係数算出部112は、先に算出した補正係数k_c中の最小の補正係数k_cに、被写体情報部601における第２の補正係数k'を乗算することで、（７）式により補正係数kを求める。
k = min(k_c)・k' (７)

(７)式において、min()は最小値を得る関数を意味する。上記補正係数kは変換部110へ転送される。変換部110は、補正係数算出部112からの補正係数kに基づき、局所領域のヒストグラムに対してクリッピング処理を行い、２回目の階調変換曲線を求める。２回目に算出された階調変換曲線にて、注目画素に対する階調変換処理を行い、結果を圧縮部113へ転送する。上記変換部110,補正係数算出部112は、制御部115の制御に基づき各画素単位で同期して処理が行われる。

出力部114は、メモリカードなどの記録媒体へ圧縮信号を記録保存する。したがって、図１０の例においても前記記録媒体には、前記したような一連の補正処理がなされた映像信号が所定のファイルに記録保持されることになる。図１０の例では、映像信号に対し階調変換を行う映像信号が記録される記録媒体は、上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出処理と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う変換処理がなされた映像信号データを保持する手段を有するものである。

なお、上記補正係数が算出された段階で、所定の閾値との比較により階調変換に対するゲインの自由度がどの程度あるかを判断できる。ゲインの自由度が少ないと判断された場合は、制御部115の制御に基づき変換部110での２回目の階調変換曲線の算出および階調変換処理を迂回して、処理を高速化することも可能である。

図１１は変換部110の構成の一例を示すものである。図１１の変換部110は、第１の実施形態例における図２に示す変換部110の構成に、クリッピング部700を追加した構成になっている。基本構成は図２に示す変換部110と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、図２とは異なる部分のみ説明する。ヒストグラム作成部301はクリッピング部700へ、クリッピング部700は累積正規化部302へ接続されている。

制御部115は、クリッピング部700と双方向に接続されている。局所領域抽出部109から転送される局所領域の信号は、バッファ300に保存される。ヒストグラム作成部301は、局所領域ごとにヒストグラムを作成し、累積正規化部302へ転送する。累積正規化部302は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで第１回目の階調変換曲線を生成する。上記階調変換曲線は補正係数算出部112へ転送される。補正係数算出部112は、上記補正係数kを算出し、これをクリッピング部700へ転送する。

クリッピング部700は、ヒストグラム作成部301からのヒストグラムに対してクリッピング処理を行う。図１２は、クリッピング処理の説明図である。図１２(a)は、ヒストグラム作成部301からのオリジナルのヒストグラムと、縦軸の頻度に対するクリップ値を示している。図１２(b)は、クリッピング処理によりクリップ値以上の頻度をクリップ値に置換したヒストグラムを示す。図１２(c)は、オリジナルのヒストグラムとクリッピング処理後のヒストグラムを累積，正規化して得られた階調変換曲線を示している。

クリッピング処理により頻度を抑制することにより、階調変換曲線の傾斜が抑制される。傾斜が急峻であると信号に対するゲインも増加し、ノイズなどの副作用が問題となる。クリッピング処理におけるクリップ値は、低めに設定すると信号に対するゲインを低く、高めに設定する信号に対するゲインを高くする効果がある。本実施形態例では、クリップ値Clipは(８)式で算出する。
Clip = w・No・k (８)

(８)式において、wは所定のウェイト係数を、Noは領域の総画素数を意味する。クリッピング処理後のヒストグラムは累積正規化部302へ転送され、２回目の階調変換曲線が生成される。２回目の階調変換曲線は、階調変換部303へ転送され、注目画素に対する階調変換処理がなされる。

図１３(a)は被写体情報部601の構成の一例を示すものである。被写体情報部601は、合焦位置推定部800,被写体分布推定部801,統合部802,第２係数設定部803,シーン別補正係数ROM804からなる。合焦位置推定部800および被写体分布推定部801は統合部802へ接続されており、統合部802は第２係数設定部803を介して補正係数算出部112へ接続されている。シーン別補正係数ROM804は、第２係数設定部803へ接続されている。制御部115は、合焦位置推定部800,被写体分布推定部801,統合部802,第２係数設定部803と双方向に接続されている。

合焦位置推定部800は、制御部115を介して合焦点検出部106の合焦距離の情報を得る。この合焦距離に基づき、例えば風景（5m以上），ポートレート（1m〜5m），クローズアップ（1m以下）の３種類に分類し、合焦情報として統合部802へ転送する。一方、被写体分布推定部801は制御部115を介して測光評価に関する情報を得る。

第13図(b)は、測光評価用の分割パターンの一例を示すもので、13個の領域に分割し、各領域の輝度値(a_i, i=1〜13)を得る。被写体分布推定部801は各領域の輝度値a_Iから以下のパラメータを算出する。
S₁ = |a₂-a₃| (９)
S₂ = max(|a₄-a₆|, |a₄-a₇|) (１０)
S₃ = max(a₁₀-a₁₁)-Σa_i /13 (１１)

ここで、||は絶対値を、max()は最大値を得る関数を意味する。S₁は中心領域の左右の差を求めるもので、クローズアップ撮影時に単一の物体を撮影している場合には値が小さくなり、複数の物体を撮影している場合には値が大きくなる。S₂は中心部上部とその左右の差の大きい方を選択するもので、ポートレート撮影時に複数の人物を撮影する場合には値が小さくなり、一人の人物を撮影する場合には値が大きくなる。

S₃は左右の上部と13の領域の平均値との差を求めるもので、風景撮影時に背景上部に空がない場合には値が小さくなり、空がある場合には値が大きくなる。被写体分布推定部801では、上記のような測光情報を算出し統合部802へ転送する。統合部802は、合焦および測光情報に基づき撮影状況を推定する。

図１３(c)は、合焦および測光情報から６種類の撮影状況を推定する場合を示す。合焦情報から風景に分類された場合、測光情報のパラメータS₃を所定の閾値Th₁と比較することで、空のある風景(Type₁)と空のない風景(Type₂)に分類できる。また、合焦情報からポートレートに分類された場合、測光情報のパラメータS₂を所定の閾値Th₂と比較することで、一人のポートレート(Type₃)と複数のポートレート(Type₄)に分類できる。さらに、合焦情報からクローズアップに分類された場合、測光情報のパラメータS₁を所定の閾値Th₃と比較することで、単一の物体のクローズアップ(Type₅)と複数の物体のクローズアップ(Type₆)に分類できる。統合部802は、上記撮影状況を第２係数設定部803へ転送する。

第２係数設定部803は、６種類の撮影状況に対し、第２の補正係数k'をシーン別補正係数ROM804から読み出し、補正係数算出部112へ転送する。第２の補正係数k'は、主観評価に基づき設定される。第２の補正係数k'は、例えば第13図(c)に示されるように、空や肌などのノイズ成分に敏感な被写体に対しては低めに、それ以外では高めに設定される。

上記構成により、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。階調変換処理と階調変換に対する制限設定を一体化することで、低コストな装置構成が可能となる。また、撮影時のシーンを推定し補正係数を求めるため、撮影シーンごとに制御可能となり、高品位な映像信号が得られる。上記補正係数の算出は一枚の映像信号につき一回であるため、高速な処理が可能となる。なお、上記実施形態例では、原色系の単板CCDを例に説明したがこれに限定される必要はない。例えば、補色系の単板CCDにも、二板，三板CCDにも同様に適応可能である。

さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部115からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図１４は、第２の実施形態例における階調変換処理のソフトウェア処理に関するフローチャートを示す。なお、図９に示す本願第１の実施の形態例における階調変換処理のフローチャートと同一の処理ステップに関しては、同一のStep数を割り当てている。

Step1にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Step2にて、公知の補間処理，ホワイトバランス処理などの信号処理を行う。Step20にて、合焦距離に基づき、例えば風景，ポートレート，クローズアップの３種類に合焦位置の分類を行う。Step21にて、測光評価に基づき、例えば単一の被写体、複数の被写体、空の有無など被写体分布を推定する。Step22にて、上記合焦位置および被写体分布分布を統合し、例えば図１３(c)示す6種類のタイプに分類する。Step23にて、シーン別の補正係数を読み込む。

Step24にて、Step22で推定されたシーンのタイプに基づき第２の補正係数k'を選択する。Step3にて、注目画素を中心とする局所領域を順次抽出する。Step4にて、領域のヒストグラムを作成する。Step5にて、ヒストグラムを累積，正規化することで１回目の階調変換曲線を生成する。階調変換曲線はStep11へ転送される。Step6にて、色信号別の平均値AV_c (c=R,G,B)およびISO感度情報を求める。Step7にて、(２)式に示されるように色信号およびISO感度ごとの３つの係数α_ci、β_ci、γ_ciを読み込む。Step8にて、(２)式に基づき各色信号のノイズ量N_cを推定し、Step10へ転送する。

Step9にて、図６(a)に示されるように主観的に許容可能なノイズ量の上限値Limit N_cを読み込み設定する。Step10にて、Step8からのノイズ量N_cとStep9からの上限値Limit N_cに基づき、(6)式に示されるように映像信号に適用できる上限ゲインLimit gainを求める。Step11にて、Step5からの階調変換曲線とStep10からの上限ゲインLimit gainに基づき(４),(５)式に示されるように補正係数k_cを算出する。

Step25にて、Step24から転送された第２の補正係数k'とStep11から転送された補正係数k_cに基づき、(７)式に示されるように補正係数kを求める。また、(８)式に示されるようにクリップ値Clipを求め、Step4から転送されたヒストグラムに対してクリッピング処理を行う。Step26にて、ヒストグラムを累積，正規化することで２回目の階調変換曲線を生成する。Step12にて、Step26から転送された階調変換曲線に基づき注目画素に対して階調変換処理を行う。Step14にて、全注目画素の処理が完了したか否かを判断し、完了していない場合はStep3へ移行する。処理が完了した場合はStep15へ移行する。Step15にて、公知のJPEGなどの圧縮処理を行う。Step16にて、処理後の信号が出力され終了する。

次に、本発明の第３の実施形態例について説明する。図１５は第３の実施形態例の構成図、図１６は適用分割部の構成図、図１７は第３の実施形態例における階調変換処理のフローチャートである。

図１５においては、図１で説明した第１の実施形態例の局所領域抽出部109が適用分割部150に置換された構成になっている。基本構成は第１の実施形態例と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、図１とは異なる部分のみ説明する。適用分割部150は変換部110および補正係数算出部112へ接続されている．制御部115は、適用分割部150と双方向に接続されている。

第３の実施形態例の作用は、基本的に第１の実施形態例と同等であり、異なる部分のみ説明する。図１５の信号の流れを説明する。信号処理部108にて公知の補間処理，ホワイトバランス処理などが行われた三板状態の映像信号は、適用分割部150へ転送される．適用分割部150は、テクスチャ情報や輝度，色相情報に基づき映像信号を特性の均一な領域へ分割する。分割された領域は、制御部115の制御に基づき変換部110および補正係数算出部112へ順次転送される。その後の処理は，第１の実施の形態例における注目画素毎の処理が，分割された領域毎の処理に置き換わっている以外は同等である。

出力部114は、メモリカードなどの記録媒体へ圧縮信号を記録保存する。したがって、図１５の例においても前記記録媒体には、前記したような一連の補正処理がなされた映像信号が所定のファイルに記録保持されることになる。図１５の例では、映像信号に対し階調変換を行う映像信号が記録される記録媒体は、上記映像信号を少なくとも1つ以上の領域に分割する分割処理と、上記各領域に対し補正係数を算出する算出処理と、上記各領域に対し階調変換処理を行う変換処理と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う補正処理がなされた映像信号データを保持する手段を有するものである。

図１６は適用分割部150の構成の一例を示すものである。適用分割部150は、矩形抽出部200,テクスチャ解析部201,輝度解析部202,色相解析部203,パラメータ用バッファ204,領域抽出部205からなる。信号処理部108は、矩形抽出部200および領域抽出部205へ接続されている。矩形抽出部200は、テクスチャ解析部201,輝度解析部202,色相解析部203へ接続されている。テクスチャ解析部201,輝度解析部202,色相解析部203はパラメータ用バッファ204へ接続されており、パラメータ用バッファ204は領域抽出部205へ接続されている。領域抽出部205は、変換部110および補正係数算出部112へ接続されている。

制御部115は、矩形抽出部200,テクスチャ解析部201,輝度解析部202,色相解析部203,領域抽出部205と双方向に接続されている。矩形抽出部200は、制御部115の制御に基づき信号処理部108から所定サイズの矩形領域、例えば本例では8×8画素単位の矩形領域を順次読み込む。テクスチャ解析部201では、矩形領域のテクスチャ情報を例えば同時生起行列からの統計量に基づき、モーメントやエントロピーなどで数値化する。上記数値データはパラメータ用バッファ204へ転送され記録される。輝度解析部202は、各画素から輝度信号Yを（１２）式で求める。
Y = 0.29900R + 0.58700G + 0.11400B (１２)

次に、矩形領域全体での平均輝度AV_Vを求め、これをクラス分類する。本実施例では階調幅を12bit=4096と想定しており、例えば16段階に均等に分割し、16のクラスを生成する。上記輝度に関するクラスデータはパラメータ用バッファ204へ転送され記録される。色相解析部203は、各画素から色差信号Cb,Crを（１３）式で求める。
Cb = -0.16874R - 0.33126G + 0.50000B
Cr = 0.50000R - 0.41869G - 0.08131B (１３)

次に、色相信号Hを（１４）式で求め、これをクラス分類する。
H = tan^-1(Cb/Cr) (１４)

色相のクラスとしては例えば8方向に均等に分割し、8のクラスを生成する。上記色相に関するクラスデータはパラメータ用バッファ204へ転送され記録される。全矩形領域での解析が完了後、制御部115の制御に基づき領域抽出部205にて均一な領域への分割を行う。これは、公知のラベリング技術を用い、例えばテクスチャ, 輝度，色相の３つの情報に対し２つ以上が同一である場合に同一のラベルを付加するなどで行われる。

領域抽出部205は、上記ラベリングが終了後に、同一のラベルが付けられた矩形領域を一つの領域として抽出し、順次変換部110および補正係数算出部112へ転送する。なお、上記例ではテクスチャ, 輝度，色相の３つの情報に基づき領域の分割を行ったが、このような構成に限定される必要はない。例えば、テクスチャのみにして処理の高速化を図るなど任意の組み合わせによる構成も可能である。

上記構成により、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。領域分割は、テクスチャ，輝度，色相などの情報に基づき適応的に行うため高精度な分割が可能となり、階調変換処理をより効果的に行うことができる．

さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部115からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図１７は、本発明の第３の実施形態例における階調変換処理のソフトウェア処理に関するフローチャートを示すものである。なお、図９に示す第１の実施形態例における階調変換処理のフローチャートと同一な処理ステップに関しては、同一のStep数を割り当てている。

Step1にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Step2にて、公知の補間処理，ホワイトバランス処理などを行う。Step30にて、所定サイズの矩形領域、例えば8×8画素単位の矩形領域を順次抽出する。Step31にて、テクスチャ, 輝度，色相情報に基づきクラス分類を行う。Step32にて、上記クラス情報を出力する。

Step33にて、全矩形領域の抽出が完了したか否かを判断し、完了していない場合はStep30へ移行し、完了した場合はStep34へ移行する。Step34にて、上記クラス情報に基づき均一な領域への分割を行う。Step35にて、領域を順次抽出する。Step4にて、領域のヒストグラムを作成する。Step5にて、ヒストグラムを累積，正規化することで階調変換曲線を生成する。階調変換曲線はStep11,Step12へ転送される。

Step6にて、色信号別の平均値AV_c (c=R,G,B)およびISO感度情報を求める。Step7にて、(２)式に示されるように色信号およびISO感度ごとの３つの係数α_ci、β_ci、γ_ciを読み込む。Step8にて、(２)式に基づき各色信号のノイズ量N_cを推定し、Step10へ転送する。

Step9にて、図６(a)に示されるように主観的に許容可能なノイズ量の上限値Limit N_cを読み込み設定する。Step10にて、Step8から転送されたノイズ量N_cとStep9からの上限値Limit N_cに基づき(３)式に示されるように映像信号に適用できる上限ゲインLimit gainを求める。

Step11にて、Step5から転送された階調変換曲線とStep10から転送された上限ゲインLimit gainに基づき(４),(５)式に示されるように補正係数k_cを算出する。Step12にて、Step5から転送された階調変換曲線に基づき領域に対して階調変換処理を行う。Step13にて、Step11から転送された補正係数k_cを乗算することで補正を行う。Step36にて、全領域が完了したか否かを判断し、完了していない場合はStep35へ移行し、完了した場合はStep15へ移行する。Step15にて、公知のJPEGなどの圧縮処理を行う。Step16にて、処理後の信号が出力され終了する。

次に、本発明の第４の実施形態例について説明する。図１８は第４の実施形態例の構成図、図１９は第４の実施形態例における階調変換処理のフローチャートである。

図１８は、図１０で説明した第２の実施形態例の局所領域抽出部109が固定分割部600に置換された構成になっている。基本構成は第２の実施形態例と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。信号処理部108は固定分割部600へ、固定分割部600は変換部110および補正係数算出部112へ接続している。制御部115は、固定分割部600と双方向に接続している。

第４の実施形態例の作用は、基本的に第２の実施の形態例と同等であり、異なる部分のみ説明する。図１８において、信号の流れを説明する。信号処理部108にて公知の補間処理，ホワイトバランス処理などが行われた三板状態の映像信号は、固定分割部600へ転送される。固定分割部600は、所定サイズの矩形領域、例えば本例では64×64画素単位の矩形領域へ分割する。分割された領域は、制御部115の制御に基づき変換部110および補正係数算出部112へ順次転送される。その後の処理は，第２の実施の形態例における注目画素毎の処理が，分割された領域毎の処理に置き換わっている以外は同等である。

出力部114は、メモリカードなどの記録媒体へ圧縮信号を記録保存する。したがって、図１８の例においても前記記録媒体には、前記したような一連の補正処理がなされた映像信号が所定のファイルに記録保持されることになる。図１８の例では、映像信号に対し階調変換を行う映像信号が記録される記録媒体は、上記映像信号を少なくとも1つ以上の領域に分割する分割処理と、上記各領域に対し補正係数を算出する算出処理と、上記各領域に対し上記補正係数を用いて階調変換処理を行う変換処理がなされた映像信号データを保持する手段を有するものである。

上記構成により、明暗比の大きいシーンに対しても高品位な映像信号が得られ、ノイズ成分の増加や色再現の破綻など副作用を抑制できる。領域分割は所定サイズの領域に分割するため、高速処理および装置の低コスト化が可能となる。なお、上記実施例では、固定的な領域分割を行ったが、このような構成に限定される必要はない。本願第３の実施の形態例と同様に適応的な領域分割と組み合わせた構成も可能である。また、上記実施例では原色系の単板CCDを例に説明したがこれに限定される必要はない。例えば、補色系の単板CCDにも、二板，三板CCDにも同様に適応可能である。

さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部115からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。図１９は、本願第４の実施の形態例における階調変換処理のソフトウェア処理に関するフローを示す。なお、図９，図１４，図１７に示す実施の形態例における階調変換処理のフローと同一な処理ステップに関しては、同一なStep数を割り当てている。

Step1にて、未処理の映像信号と撮像条件などの付随情報を含むヘッダ情報を読み込む。Step2にて、公知の補間処理，ホワイトバランス処理などを行う。Step20にて、合焦距離に基づき、例えば風景，ポートレート，クローズアップの３種類に合焦位置の分類を行う。Step21にて、測光評価に基づき、例えば単一の被写体、複数の被写体、空の有無など被写体分布を推定する。Step22にて、上記合焦位置および被写体分布を統合し、例えば図１３(c)示す6種類のタイプに分類する。

Step23にて、シーン別の補正係数を読み込む。Step24にて、Step22で推定されたシーンのタイプに基づき第２の補正係数k'を選択する。Step40にて、所定サイズの矩形領域、例えば64×64画素単位の領域を順次抽出する。Step35にて、領域を順次抽出する。Step4にて、領域のヒストグラムを作成する。Step5にて、累積，正規化することで１回目の階調変換曲線を生成する。階調変換曲線はStep11へ転送される。Step6にて、色信号別の平均値AV_c (c=R,G,B)およびISO感度情報を求める。Step7にて、(２)式に示されるように色信号およびISO感度ごとの３つの係数α_ci、β_ci、γ_ciを読み込む。

Step8にて、(２)式に基づき各色信号のノイズ量N_cを推定し、Step10へ転送する。Step9にて、図６(a)に示されるように主観的に許容可能なノイズ量の上限値Limit N_cを読み込み設定する。Step15にて、Step13から転送されたノイズ量N_cと、Step9から転送された上限値Limit N_cに基づき、(6)式に示されるように映像信号に適用できる上限ゲインLimit gainを求める。Step11にて、Step5から転送された階調変換曲線と、Step10から転送された上限ゲインLimit gainに基づき(４),(５)式に示されるように補正係数k_cを算出する。

Step25にて、Step24から転送された第２の補正係数k'とStep11から転送された補正係数k_cに基づき、(７)式に示されるように補正係数kを求める。また、(８)式に示されるようにクリップ値Clipを求め、Step4から転送されたヒストグラムに対してクリッピング処理を行う。Step26にて、ヒストグラムを累積，正規化することで２回目の階調変換曲線を生成する。

Step12にて、Step26から転送された階調変換曲線に基づき領域に対して階調変換処理を行う。Step36にて、全領域が完了したか否かを判断し、完了していない場合はStep35へ移行し、完了した場合はStep15へ移行する。Step15にて、公知のJPEGなどの圧縮処理を行う。Step16にて、処理後の信号が出力され終了する。

以上説明したように、本発明によれば、副作用の少ない高品位な映像信号を生成可能な映像信号処理装置と映像信号処理プログラムを提供することができる。

第１の実施形態例の構成図である。 第1の実施形態例における変換部の構成図である。 第１の実施形態例における変換部の他の構成図である。 第１の実施形態例における補正係数算出部の構成図である。 ノイズ量の関数についての説明図である。 補正係数についての説明図である。 第1の実施形態例における補正係数算出部の他の構成図である。 第１の実施形態例における他の構成図である。 第１の実施形態例のフローチャートである。 第２の実施形態例の構成図である。 第２の実施形態例における変換部の構成図である。 クリッピング処理の説明図である。 被写体情報部の説明図である。 第２の実施形態例のフローチャートである。 第３の実施形態例の構成図である。 適用分割部の構成図である。 第３の実施形態例のフローチャートである。 第４の実施形態例の構成図である。 第４の実施形態例のフローチャートである。

符号の説明

１０８・・・信号処理部、１０９・・・局所領域抽出部、１１０・・・変換部１１１・・・補正部、１１３・・・圧縮部、１１４・・・出力部、１１２・・・補正係数算出部、１１５・・・制御部、１５０・・・適用分割部、３０１・・・ヒストグラム作成部、３０２・・・累積正規化部、３０３・・・階調変換部、３５０・・・標準階調曲線ＲＯＭ、４００・・・平均算出部、４０２・・・ノイズ算出部、４０４・・・上限設定部、４５０・・・Ｙ／Ｃ分離部、４５１・・・色相彩度算出部、４５２・・・特定色抽出部、６０１・・・被写体情報部、７００・・・クリッピング部、

Claims (30)

1. 映像信号に対し階調変換を行う映像信号処理装置において、
   上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出手段と、上記注目画素に対し階調変換処理を行う変換手段と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う補正手段とを有し、
   上記算出手段は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定手段と、上記注目画素に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段とを更に有することを特徴とする映像信号処理装置。
2. 映像信号に対し階調変換を行う映像信号処理装置において、
   上記映像信号の注目画素および近傍領域に対し補正係数を算出する算出手段と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う変換手段とを有し、
   上記算出手段は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定手段と、上記注目画素に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段とを更に有することを特徴とする映像信号処理装置。
3. 映像信号に対し階調変換を行う映像信号処理装置において、
   上記映像信号を少なくとも1つ以上の領域に分割する分割手段と、上記各領域に対し補
   正係数を算出する算出手段と、上記各領域に対し階調変換処理を行う変換手段と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う補正手段とを有し、
   上記算出手段は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定手段と、上記注目画素に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段とを更に有することを特徴とする映像信号処理装置。
4. 映像信号に対し階調変換を行う映像信号処理装置において、
   上記映像信号を少なくとも1つ以上の領域に分割する分割手段と、上記各領域に対し補
   正係数を算出する算出手段と、上記各領域に対し上記補正係数を用いて階調変換処理を行う変換手段とを有し、
   上記算出手段は、上記注目画素および近傍領域のノイズ量を推定するノイズ量推定手段と、上記注目画素に対しノイズ量の上限値を設定する上限値設定手段と、上記ノイズ量と上記上限値に基づき補正係数を算出する係数算出手段とを更に有することを特徴とする映像信号処理装置。
5. 前記変換手段は、上記階調変換処理後の上記各注目画素に対して上記補正係数を乗算する乗算手段を更に有することを特徴とする請求項１に記載の映像信号処理装置。
6. 前記変換手段は、上記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項２に記載の映像信号処理装置。
7. 前記算出手段は、上記注目画素および近傍領域の特定色を抽出する特定色抽出手段と、上記注目画素に対し上記特定色の占める割合に基づき補正係数を算出する係数算出手段を更に有することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
8. 前記変換手段は、上記注目画素および近傍領域のヒストグラムを算出するヒストグラム算出手段と、上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
9. 前記変換手段は、上記注目画素に対し所定の階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
10. 前記変換手段は、上記階調変換処理後の上記各領域に対して上記補正係数を乗算する乗算手段を更に有することを特徴とする請求項３に記載の映像信号処理装置。
11. 前記映像信号処理装置は、上記補正係数が所定の条件を満たす場合に上記変換手段の一部および補正手段を迂回させる迂回手段を更に有することを特徴とする請求項１または請求項３に記載の映像信号処理装置。
12. 前記変換手段は、上記各領域のヒストグラムを算出するヒストグラム算出手段と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行うクリッピング手段と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項４に記載の映像信号処理装置。
13. 前記算出手段は、上記各領域の特定色を抽出する特定色抽出手段と、上記各領域に対し上記特定色の占める割合に基づき補正係数を算出する係数算出手段を更に有することを特徴とする請求項３または請求項４に記載の映像信号処理装置。
14. 前記分割手段は、上記映像信号の色情報，輝度情報，テクスチャ情報の少なくとも１つ以上の情報に基づき領域を分割する適用分割手段を更に有することを特徴とする請求項３または請求項４に記載の映像信号処理装置。
15. 前記分割手段は、上記映像信号を所定サイズの領域に分割する固定分割手段を更に有することを特徴とする請求項３または請求項４に記載の映像信号処理装置。
16. 前記変換手段は上記各領域のヒストグラムを算出するヒストグラム算出手段と、上記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項３または請求項４に記載の映像信号処理装置。
17. 前記変換手段は、上記各領域に対し所定の階調変換曲線を設定する階調変換曲線設定手段を更に有することを特徴とする請求項３または請求項４に記載の映像信号処理装置。
18. 前記映像信号処理装置は、上記補正係数が所定の条件を満たす場合に上記変換手段の一部を迂回させる迂回手段を更に有することを特徴とする請求項２または請求項４に記載の映像信号処理装置。
19. 前記算出手段は、上記映像信号中の被写体情報を抽出する被写体情報抽出手段と、上記被写体情報に基づき補正係数を算出する係数算出手段を更に有することを特徴とする請求項２または請求項４に記載の映像信号処理装置。
20. 前記上限値設定手段は、所定のISO感度におけるノイズ量を記録した記録手段を更に有
    することを特徴とする請求項１ないし請求項４のいずれかに記載の映像信号処理装置。
21. コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順と、上記注目画素に対し階調変換処理を行う手順と、上記階調変換処理後の上記各画素に対し上記補正係数を用いて補正を行う手順とを実行させ、
    上記注目画素および近傍領域に対し補正係数を算出する手順は、上記注目画素および近傍領域のノイズ量を推定する手順と、上記注目画素に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順とを含むことを特徴とする映像信号処理プログラム。
22. コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号の注目画素および近傍領域に対し補正係数を算出する手順と、上記注目画素に対し上記補正係数を用いて階調変換処理を行う手順とを実行させ、
    上記注目画素および近傍領域に対し補正係数を算出する手順は、上記注目画素および近傍領域のノイズ量を推定する手順と、上記注目画素に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順とを含むことを特徴とする映像信号処理プログラム。
23. コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号を少なくとも1つ以上の領域に分割する手順と、上記各領域に対し補正係数を算出する手順と、上記
    各領域に対し階調変換処理を行う手順と、上記階調変換処理後の上記各領域に対し上記補正係数を用いて補正を行う手順とを実行させ、
    上記各領域に対し補正係数を算出する手順は、上記各領域のノイズ量を推定する手順と、上記各領域に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順とを含むことを特徴とする映像信号処理プログラム。
24. コンピュータに、映像信号を読み込む手順と、階調変換を行う上記映像信号を少なくとも1つ以上の領域に分割する手順と、上記各領域に対し補正係数を算出する手順と、上記
    各領域に対し上記補正係数を用いて階調変換処理を行う手順とを実行させ、
    上記各領域に対し補正係数を算出する手順は、上記各領域のノイズ量を推定する手順と、上記各領域に対しノイズ量の上限値を設定する手順と、上記ノイズ量と上記上限値に基づき補正係数を算出する手順とを含むことを特徴とする映像信号処理プログラム。
25. 前記階調変換処理を行う手順は、上記階調変換処理後の上記各注目画素に対して上記補正係数を乗算する手順を含むことを特徴とする請求項２１に記載の映像信号処理プログラム。
26. 前記階調変換処理を行う手順は、上記注目画素および近傍領域のヒストグラムを算出する手順と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行う手順と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する手順を含むことを特徴とする請求項２２に記載の映像信号処理プログラム。
27. 前記階調変換処理を行う手順は、上記階調変換処理後の上記各領域に対して上記補正係数を乗算する手順を含むことを特徴とする請求項２３に記載の映像信号処理プログラム。
28. 前記階調変換処理を行う手順は、上記各領域のヒストグラムを算出する手順と、上記補正係数に基づき上記ヒストグラムに対するクリッピング処理を行う手順と、上記クリップ処理後のヒストグラムに基づき階調変換曲線を設定する手順を含むことを特徴とする請求項２４に記載の映像信号処理プログラム。
29. 上記各領域に対し補正係数を算出する手順は、上記各領域の特定色を抽出する手順と、上記各領域に対し上記特定色の占める割合に基づき補正係数を算出する手順を含むことを特徴とする請求項２３または請求項２４に記載の映像信号処理プログラム。
30. 前記補正係数を算出する手順は、上記映像信号中の被写体情報を抽出する手順と、上記被写体情報に基づき補正係数を算出する手順を含むことを特徴とする請求項２２または請求項２４に記載の映像信号処理プログラム。

Images