JP2000307963A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、画像処理装置及び画像処理方法に
関し、例えばテレビジョンカメラに適用して、被写体に
動きがある場合等でも、違和感なく高感度の画像と低感
度の画像とを合成して十分な階調による画像を生成する
ことができるようにする。 【解決手段】 画素値が補正された低感度の画像の中
で、元の低感度の画像ＶＳでは十分な階調により表現さ
れていない領域であって、高感度の画像ＶＬより十分な
階調により表現された領域については、高感度の画像に
より置き換えて合成画像ＶＴを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法に関し、例えばテレビジョンカメラに適用
することができる。本発明は、画素値が補正された低感
度の画像の中で、元の低感度の画像では十分な階調によ
り表現されていない領域であって、高感度の画像より十
分な階調により表現された領域については、高感度の画
像により置き換えて合成画像を生成することにより、被
写体に動きがある場合等でも、違和感なく高感度の画像
と低感度の画像とを合成して十分な階調による画像を生
成することができるようにする。

【０００２】

【従来の技術】従来、撮像装置においては、電荷蓄積時
間を切り換えて撮像した画像を合成することにより、広
ダイナミックレンジの撮像結果を取得する方法が提案さ
れている。

【０００３】すなわち短い電荷蓄積時間により被写体を
撮像すれば、ハイライト部分について十分な階調を確保
した撮像結果（以下短時間露光の撮像結果と呼ぶ）を得
ることができるのに対し、長い電荷蓄積時間により被写
体を撮像すれば、ローライト部分について十分な階調を
確保した撮像結果（以下長時間露光の撮像結果と呼ぶ）
を得ることができる。

【０００４】これによりこの広ダイナミックレンジの撮
像結果を取得する方法にあっては、長時間露光の撮像結
果に対応するように、短時間露光の撮像結果の画素値を
補正した後、長時間露光の撮像結果又は短時間露光の撮
像結果よりマクスを作成し、このマスクを用いて、長時
間露光及び短時間露光の撮像結果より十分な階調が得ら
れている方を選択して１つの画像を生成する。これによ
りこの方法のあっては、何れの輝度レベルの部分であっ
ても十分な階調を確保した撮像結果を生成するようにな
されている。

【０００５】

【発明が解決しようとする課題】ところでこのようにし
て広ダイナミックレンジの撮像結果を生成する方法にあ
っては、電荷蓄積時間を切り換えて同一の被写体を撮像
する必要があり、この電荷蓄積時間を切り換えた画像間
で被写体に動きがあると、背景の一部に被写体が割り当
てられ、又はこれとは逆に被写体の一部に背景が割り当
てられ、これにより処理結果が不自然になる問題があ
る。

【０００６】すなわち図１０（Ａ）に示すように、ハイ
ライトの部分を背景Ｂにした輝度レベルの低い物体Ａを
撮像する場合、長時間露光の撮像結果ＶＬにおいては、
図１０（Ｂ）に示すように、背景Ｂについては、階調の
変化が圧縮されて撮像されるのに対し、物体Ａについて
は、十分な階調で、かつ十分なＳＮ比により撮像され
る。これに対して短時間露光の撮像結果ＶＳにおいて
は、図１０（Ｃ）に示すように、背景Ｂについては、十
分な階調で、かつ十分なＳＮ比により撮像されるのに対
し、物体Ａについては、全体として沈んで階調の変化が
小さく撮像される。

【０００７】これにより長時間露光又は短時間露光の撮
像結果ＶＬ及びＶＳよりマクスを作成し、このマスクを
用いて、長時間露光及び短時間露光の撮像結果ＶＬ及び
ＶＳより十分な階調が得られている方を選択して１つの
画像を生成することにより、物体Ａに動きが無い場合に
は、何れの輝度レベルの部分であっても十分な階調を確
保した合成画像を生成することができる。

【０００８】ところが物体Ａが移動している場合に、図
１１に示すように、長時間露光による撮像結果ＶＬ（図
１１（Ａ））から生成したマスク（図１１（Ｃ１））に
より画像を合成したのでは、短時間露光による十分な階
調が確保されていない物体Ａについても、移動により長
時間露光による撮像結果ＶＬの背景Ｂと重なり合う部分
ＡＲについては画像合成されることになる（図１１（Ｄ
１））。

【０００９】すなわちこの場合、高感度により撮像され
た物体Ａに隣接する背景Ｂに、低感度により撮像された
物体Ａの一部が割り当てられることになる。これにより
物体Ａの移動により合成結果に誤りが発生することにな
る。なおこの場合、この領域ＡＲにより物体Ａの大きさ
が移動方向に広がるように暗く縁取りされて不自然に表
示されることになる。

【００１０】これとは逆に、短時間露光による撮像結果
ＶＳ（図１１（Ｂ））から生成したマスク（図１１（Ｃ
２））により画像を合成したのでは、長時間露光による
十分なＳＮ比、階調が確保されていない背景Ｂついて、
物体Ａの移動により短時間露光による物体Ａと重なり合
う部分ＡＲについては、選択されて画像合成されること
になる（図１１（Ｄ２））。

【００１１】すなわちこの場合、高感度により撮像され
た物体Ａの一部に、高感度により撮像された背景Ｂが一
部割り当てられることになる。これによりこの場合は、
この領域ＡＲにより、物体Ａの大きさが移動方向に縮じ
まったように明るく縁取りされて不自然に表示されるこ
とになる。

【００１２】本発明は以上の点を考慮してなされたもの
で、被写体に動きがある場合等でも、違和感なく高感度
の画像と低感度の画像とを合成して十分な階調による画
像を生成することができる画像処理装置及び画像処理方
法を提案しようとするものである。

【００１３】

【課題を解決するための手段】かかる課題を解決するた
め請求項１に係る発明においては、高い感度で撮像され
た高感度の画像と、低い感度で撮像された低感度の画像
とを合成する画像処理装置に適用して、高感度の画像の
輝度レベルと、低感度の画像の輝度レベルとを基準にし
て、又は高感度の画像の輝度レベルと、画素値補正画像
の輝度レベルとを基準にして、低感度の画像では十分な
階調により表現されていない領域であって、高感度の画
像で十分な階調により表現された領域について、画素値
補正画像を高感度の画像により置き換えて合成画像を生
成する。

【００１４】また請求項６に係る発明においては、画像
処理方法に適用して、高感度の画像の輝度レベルと、低
感度の画像の輝度レベルとを基準にして、又は高感度の
画像の輝度レベルと、画素値補正画像の輝度レベルとを
基準にして、低感度の画像では十分な階調により表現さ
れていない領域であって、高感度の画像で十分な階調に
より表現された領域について、画素値補正画像を高感度
の画像により置き換えて合成画像を生成するステップを
有するようにする。

【００１５】請求項１又は請求項６に係る構成によれ
ば、低感度の画像では十分な階調により表現されていな
い領域であって、高感度の画像で十分な階調により表現
された領域について、画素値補正画像を高感度の画像に
より置き換えて合成画像が生成される。これにより動き
のある物体の輪郭等にあっては、低感度の画像で十分な
階調が得られていない場合でも、高感度の画像で十分な
階調が確保されていない場合には、高感度の画像により
置き換えられることなく、隣接する領域に対応するよう
に画素値が補正されてなる低感度の画像が割り当てられ
ることになる。これにより合成画像においては、画素値
が補正されてなる低感度の画像を基本として、階調が改
善される部分についてだけ、高感度の画像により置き換
えられることになり、これにより背景の一部に被写体が
割り当てられなる場合、またこれとは逆に被写体の一部
に背景が割り当てられてなる場合等を防止して、不自然
な処理結果を回避することができる。

【００１６】

【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。

【００１７】（１）第１の実施の形態の構成 図１は、本発明の第１の実施の形態に係るテレビジョン
カメラを示すブロック図である。このテレビジョンカメ
ラ１において、ＣＣＤ固体撮像素子（ＣＣＤ）２は、い
わゆる補色系のカラーフィルタが配置された単板式の撮
像素子であり、タイミングジェネレータ（ＴＧ）３の駆
動により撮像結果を出力する。

【００１８】ＣＣＤ固体撮像素子２は、いわゆるプログ
レッブスキャン方式による全画素読み出し方式の撮像素
子であり、ユーザーの設定による電荷蓄積時間により１
／６０〔秒〕周期で撮像結果を得、この撮像結果を長時
間露光の撮像結果ＶＬとして出力する。さらにＣＣＤ固
体撮像素子２は、これら長時間露光の撮像結果ＶＬの垂
直ブランキング期間において、この長時間露光による電
荷蓄積時間に比して短い電荷蓄積時間による撮像結果を
得、この撮像結果を短時間露光の撮像結果ＶＳとして出
力する。

【００１９】これにより図２に示すように、ＣＣＤ固体
撮像素子２においては、所定の入射光量以上において
は、出力レベルが飽和してなる長時間露光の撮像結果Ｖ
Ｌ（図２（Ａ））と、これより短い電荷蓄積時間により
出力レベルが飽和していない短時間露光の撮像結果ＶＳ
（図２（Ｂ））とを組にして順次交互に出力する。

【００２０】メモリ４Ｌは、図示しない相関二重サンプ
リング回路、欠陥補正回路、アナログディジタル変換回
路等を介して、この長時間露光による撮像結果ＶＬを入
力し、この長時間露光による撮像結果ＶＬを一時保持し
て出力する。同様に、メモリ４Ｓは、図示しない相関二
重サンプリング回路、欠陥補正回路、アナログディジタ
ル変換回路等を介して、この短時間露光による撮像結果
ＶＳを入力し、この短時間露光による撮像結果ＶＳを一
時保持して出力する。

【００２１】ゲイン補正回路６は、長時間露光の撮像結
果ＶＬに対応するように短時間露光の撮像結果ＶＳの信
号レベルを補正して出力することにより、合成回路７で
長時間露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳ
とを合成して広ダイナミックレンジの撮像結果ＶＴを生
成した際に（図２（Ｃ））、この広ダイナミックレンジ
の撮像結果ＶＴにおける階調の変化に違和感が発生しな
いようにする。

【００２２】Ｈ側マスク生成回路８Ｌは、長時間露光の
撮像結果ＶＬを構成する画像データを順次取り込んでマ
トリックス演算処理し、長時間露光の撮像結果ＶＬより
輝度信号を生成する。さらにＨ側マスク生成回路８Ｌ
は、内蔵したフィルタを用いて生成した輝度信号より入
力画像データの属する領域を判定し、その判定結果を出
力する。このときＨ側マスク生成回路８Ｌは、各入力画
像データの近傍所定範囲の特徴を示す特徴量に従って入
力画像データの属する領域を判定し、ここではこの特徴
量として長時間露光の撮像結果ＶＬより得られる輝度信
号レベルが適用されるようになされている。

【００２３】これによりＨ側マスク生成回路８Ｌは、入
力画像データが何れの平均輝度レベルの領域に属するか
を判定し、その判定結果を入力画像の低周波数成分であ
る平均輝度レベルにより出力する。

【００２４】すなわちＨ側マスク生成回路８Ｌにおい
て、内蔵のフィルタは、２次元のローパスフィルタによ
り構成され、ラスタ走査の順序で入力される輝度信号レ
ベルである画素値ｘ（ｉ，ｊ）について、次式により表
される低周波数成分ｒ（ｉ，ｊ）を検出し、この低周波
数成分ｒ（ｉ，ｊ）を判定結果として出力する。なお
（１）式のＮ、Ｍは平均値を計算するための近傍領域の
大きさを表わす定数である。

【００２５】

【数１】

【００２６】これによりＨ側マスク生成回路８Ｌは、撮
像結果ＶＬより画像中の細かい構造を除去して比較的画
素値が平坦な領域を抽出する。Ｈ側マスク生成回路８Ｌ
は、この低周波数成分ｒ（ｉ，ｊ）を長時間露光の撮像
結果ＶＬの画面を構成する各領域の明るさを示す領域判
定信号ＳＬして出力する。かくするにつき、この領域判
定信号ＳＬは、長時間露光の撮像結果ＶＬについて、階
調を十分に表している領域か否かを示すことになる。

【００２７】Ｌ側マスク生成回路８Ｓは、短時間露光の
撮像結果ＶＳを構成する画像データを順次取り込んでＨ
側マスク生成回路８Ｌを同様に処理することにより、短
時間露光の撮像結果ＶＳについて画面を構成する各領域
の明るさを示す領域判定信号ＳＳを出力する。かくする
につき、この領域判定信号ＳＳは、短長時間露光の撮像
結果ＶＳについて、階調を十分に表している領域か否か
を示すことになる。

【００２８】合成用マスク生成回路９は、Ｈ側マスク生
成回路８Ｌ及びＬ側マスク生成回路８Ｓより出力される
領域判定信号ＳＬ及びＳＳをそれぞれ２値化し、これに
よりそれぞれ長時間露光の撮像結果ＶＬと短時間露光の
撮像結果ＶＳとについて、階調を十分に表している領域
か否かを示すＨ側マスク信号ＭＬ及びＬ側マスク信号Ｍ
Ｓを生成する。

【００２９】これにより図１０及び図１１の場合を例に
採って図３に示すように、それぞれ物体Ａ及び背景Ｂが
十分な階調により撮像されてなる長時間露光の撮像結果
ＶＬと短時間露光の撮像結果ＶＳについて、合成用マス
ク生成回路９は、それぞれ物体Ａと背景Ｂとの領域を識
別するＨ側マスク信号ＭＬ及びＬ側マスク信号ＭＳを生
成することになる。

【００３０】合成用マスク生成回路９は、これらＨ側マ
スク信号ＭＬ及びＬ側マスク信号ＭＳの論理積信号を生
成し、この論理積信号を合成用マスク信号ＭＴとして出
力する。これにより合成用マスク生成回路９は、長時間
露光の撮像結果ＶＬと短時間露光の撮像結果ＶＳとの輝
度レベルを基準にして、短時間露光の撮像結果ＶＳにお
いて十分な階調が得られていない領域であって、長時間
露光の撮像結果ＶＬで十分な階調が確保されている領域
を示す合成用マスク信号ＭＴを生成する（図３）。

【００３１】合成回路７は、この合成用マスク信号ＭＴ
を基準にして、長時間露光の撮像結果ＶＬと短時間露光
の撮像結果ＶＳとを選択出力し、これにより短時間露光
の撮像結果ＶＳにおいて十分な階調が得られていない領
域であって、長時間露光の撮像結果ＶＬで十分な階調が
確保されている領域については、短時間露光の撮像結果
ＶＳを長時間露光の撮像結果ＶＬに置き換えて広ダイナ
ミックレンジの撮像結果ＶＴを出力する。

【００３２】これにより合成回路７は、短時間露光の撮
像結果ＶＳを基本にして、この短時間露光の撮像結果Ｖ
Ｓを長時間露光の撮像結果ＶＬにより改善可能な領域に
ついては、長時間露光の撮像結果ＶＬに置き換えて合成
画像ＶＴを生成する。従って合成回路７は、動きのある
物体についても、短時間露光の撮像結果ＶＳにおいて、
この物体の撮像結果の階調を長時間露光の撮像結果ＶＬ
により改善することができる場合についてのみ長時間露
光の撮像結果ＶＬと置き換えることになる。

【００３３】またこの置き換えについても、階調を改善
可能な領域についてだけ長時間露光の撮像結果ＶＬと置
き換え、長時間露光の撮像結果ＶＬにより階調を改善す
ることが困難な、例えば図１１について上述した領域Ａ
Ｒの部分については、ゲイン補正回路６により信号レベ
ルが補正されて感度が増大されてなる短時間露光の撮像
結果ＶＳを選択する。

【００３４】階調補正回路１０は、Ｌ側マスク生成回路
８Ｓより出力される領域判定信号ＳＳを階調補正用の制
御信号として使用して、合成回路７より出力される撮像
結果ＶＴの階調を補正し、さらにはダイナミックレンジ
を抑圧して出力する。

【００３５】信号処理回路１１は、この階調補正回路１
０の出力信号を続く映像機器の処理に適した信号フォー
マットに変換して出力する。

【００３６】図４は、この階調補正回路１０を詳細に示
すブロック図である。なおこの実施の形態では、図５に
示すように、ラスタ走査順に入力される撮像結果ＶＴに
ついて、水平方向を符号ｉによる添え字により、垂直方
向を符号ｊによる添え字により示す。

【００３７】階調補正回路１０において、係数算出回路
１３は、領域判定信号ＳＳ（ｒ（ｉ，ｊ））の信号レベ
ルに応じて、例えば図６に示すような係数算出関数Ｇに
よりコントラスト補正係数ｇ（ｉ，ｊ）を生成する。こ
こでこの係数算出関数Ｇは、例えば図７に示すレベル変
換関数Ｔ（ｌ）を次式により演算処理して得られる関数
であり、レベル変換関数Ｔ（ｌ）は、周波数の低い輝度
レベルについて、この階調補正回路１０の入出力特性を
示す関数である。この実施の形態において、このレベル
変換関数Ｔ（ｌ）は、所定のしきい値Ｉｋを境にして、
輝度レベルの小さな部分については信号レベルを強調
し、高輝度レベルの部分については信号レベルを抑圧す
る特性であり、かつ入力レベルの最大値ＬＩｍａｘが出
力レベルＬＯｍａｘになるようにダイナミックレンジを
変更する特性である。

【００３８】

【数２】

【００３９】これにより係数算出回路１３は、次式の演
算処理によりコントラスト補正係数ｇ（ｉ，ｊ）を生成
して出力し、入力レベルである低周波数成分ｒ（ｉ，
ｊ）の信号レベルが所定の基準レベルＩｋ以下の領域に
ついては、値１以上の一定値ｇｍａｘによるコントラス
ト補正係数ｇ（ｉ，ｊ）を出力し、この基準レベルＩｋ
以上の領域については、低周波数成分ｒ（ｉ，ｊ）の信
号レベルに応じて徐々に値が値ｇｍｉｎに近づくように
コントラスト補正係数ｇ（ｉ，ｊ）を出力する。

【００４０】

【数３】

【００４１】乗算回路１４は、このようにして生成され
るコントラスト補正係数ｇ（ｉ，ｊ）を用いて撮像結果
ＶＴの画素値ｘ（ｉ，ｊ）を乗算することにより、コン
トラスト補正係数ｇ（ｉ，ｊ）により撮像結果ＶＴの信
号レベルを補正して出力する。

【００４２】（２）第１の実施の形態の動作 以上の構成において、テレビジョンカメラ１においては
（図１）、通常の電荷蓄積時間による長時間露光の撮像
結果ＶＬ（図２（Ａ））と、短い電荷蓄積時間による短
時間露光の撮像結果ＶＳ（図２（Ｂ））とが交互に出力
され、この撮像結果ＶＬ及びＶＳがそれぞれメモリ４Ｌ
及び４Ｓに保持される。テレビジョンカメラ１では、高
感度の画像である長時間露光の撮像結果ＶＬの輝度レベ
ルに対応するように、低感度の画像である短時間露光の
撮像結果ＶＳについて、ゲイン補正回路６により信号レ
ベルが補正される。

【００４３】さらにテレビジョンカメラ１では、信号レ
ベルが補正されてなる短時間露光の撮像結果ＶＳ、長時
間露光の撮像結果ＶＬより、それぞれＬ側マスク生成回
路８Ｓ及びＨ側マスク生成回路８Ｌにおいて輝度信号が
生成され、さらにこの輝度信号より画像中の細かな構造
が除去されて領域判定信号ＳＬ及びＳＳが生成される。
ここで長時間露光の撮像結果ＶＬにおいては（図３）、
被写体のハイライト部分については、階調の変化が抑圧
されて短時間露光による撮像結果ＶＳに比して階調が劣
化しているのに対し、被写体のローライト部分について
は、十分な階調、ＳＮ比により被写体を撮像しているこ
とになる。これによりこのようにして生成される長時間
露光の領域判定信号ＳＬにあっては、十分な階調により
表現されているか否かを、各画素の属する領域について
示していることになる。

【００４４】これに対して短時間露光の撮像結果ＶＳに
おいては、被写体のハイライト部分については、十分な
ＳＮ比、階調により撮像され、被写体のローライト部分
については、ゲイン補正回路６による信号レベルの補正
により、長時間露光による場合に比してＳＮ比は劣化し
ているものの、十分な階調により被写体を撮像している
ことになる。かくするにつき、この短時間露光の領域判
定信号ＳＳにあっても、十分な階調、ＳＮ比により表現
されているか否かを、各画素の属する領域について示し
ていることになる。

【００４５】テレビジョンカメラ１においては、これら
２つの領域判定信号ＳＬ及びＳＳが合成用マスク生成回
路９に出力され、ここでそれぞれ２値化され、各撮像結
果ＶＬ及びＶＳについて、２値により階調を十分に表し
ている領域か否かを示すＨ側マスク信号ＭＬ及びＬ側マ
スク信号ＭＳが生成される。

【００４６】さらにこの２つのマスク信号ＭＬ及びＭＳ
の論理積演算により、元の短時間露光の撮像結果ＶＳに
おいて十分な階調が得られていない領域であって、長時
間露光の撮像結果ＶＬで十分な階調が確保されている領
域を示す合成用マスク信号ＭＴが生成される（図３）。

【００４７】テレビジョンカメラ１では、この合成用マ
スク信号ＭＴに応じて、長時間露光の撮像結果ＶＬ、信
号レベルが補正されてなる短時間露光の撮像結果ＶＳの
画素値が順次選択されて合成画像ＶＴが生成される。こ
れにより合成画像ＶＴは、短時間露光の撮像結果ＶＳを
基本にして、この短時間露光の撮像結果ＶＳを長時間露
光の撮像結果ＶＬにより改善可能な領域についてだけ長
時間露光の撮像結果ＶＬに置き換えて生成され、これに
より図１１について上述したように、被写体に動きがあ
る場合に、背景の一部に被写体が割り当てられてなる状
況、又はこれとは逆に被写体の一部に背景が割り当てら
れてなるような状況が防止される。これによりテレビジ
ョンカメラ１では、動きのある場合でも、違和感無く、
高感度の画像と低感度の画像とを合成して、広ダイナミ
ックレンジの画像を生成することができる。

【００４８】かくするにつきこの実施の形態では、低感
度の画像側で、動きのある部分については、高感度の画
像により置き換えられることなく、ゲイン補正回路６に
おける信号レベルの補正により、ＳＮ比が若干低下する
ものの、隣接する領域と同一の階調により、低感度側の
画像により表現されることになる。

【００４９】このようにして生成された広ダイナミック
レンジによる撮像結果ＶＴは、短時間露光による撮像結
果ＶＳの領域判定信号ＳＳが階調補正用の制御信号とし
て使用されて、階調補正回路１０において、階調の劣化
を防止してダイナミックレンジが抑圧される。

【００５０】すなわち輝度信号ＳＳの領域判定信号ＳＳ
は、画像中の細かな構造が除去され、撮像結果ＶＴの各
画素の属する輝度レベルを表す。

【００５１】これにより撮像結果ＶＴにおいては、係数
算出回路１３により、この領域判定信号ＳＳである低周
波数成分ｒ（ｉ，ｊ）の信号レベルに応じてコントラス
ト補正係数ｇ（ｉ，ｊ）が生成され、このコントラスト
補正係数ｇ（ｉ，ｊ）により乗算回路１４において、撮
像結果ＶＴの画素値ｘ（ｉ，ｊ）が補正される。

【００５２】これにより撮像結果ＶＴにおいては、低周
波数成分ｒ（ｉ，ｊ）の信号レベルが等しい領域におい
ては、等しい利得により画素値が補正されるのに対し、
低周波数成分ｒ（ｉ，ｊ）の信号レベルが異なる領域に
おいては、レベル変換関数Ｔ（ｌ）の設定に応じて、画
素値を近接させることができ、また場合によっては画素
値の大小関係を逆転させることも可能となる。これによ
り全体の階調に対して、各領域内の階調を自然に増加さ
せることができ、部分的な階調の劣化を有効に回避して
全体の階調を補正することが可能となる。

【００５３】すなわち図８に示すように、画素値ｘ
（ｉ，ｊ）がローパスフィルタのカットオフ周波数以上
の周波数により脈動し、さらに画素値ｘ（ｉ，ｊ）の直
流レベルがコントラスト補正係数ｇ（ｉ，ｊ）における
変極点を跨いで急激に立ち上がっている場合（図８
（Ａ）及び（Ｂ））、撮像結果ＶＴにおいては、それぞ
れこの低周波数成分ｒ（ｉ，ｊ）の信号レベルに応じた
利得により画素値ｙ（ｉ，ｊ）が補正され、係数算出関
数Ｇ（ｌ）の設定によって信号レベルが補正されること
になる。このとき画素値ｘ（ｉ，ｊ）が小さな部分にお
いては、ピーク値Ｉ３及びボトム値Ｉ１の平均値レベル
Ｉ２による利得ｇｍａｘにより画素値ｘ（ｉ，ｊ）が補
正され、これにより低レベル領域に対しては十分な階調
を維持することができる（図１１（Ｄ））。なおここ
で、図８（Ｄ）との対比により、各画素値を直接図７の
レベル変換関数により補正する場合を図８（Ｃ）に示
す。

【００５４】これに対して高レベル側においては、同様
に、ピーク値Ｉ６及びボトム値Ｉ４の平均値レベルＩ５
による利得ｇ５により画素値ｘ（ｉ，ｊ）が補正され、
このときこれらピーク値Ｉ６及びボトム値Ｉ４が一様な
利得により画素値が補正されることにより、このピーク
値ｌ６及びボトム値ｌ４間のコントラストにおいては、
この利得ｇ５で増幅されることになる。

【００５５】これによりこの実施の形態に係る階調補正
回路１０においては、全体的に見たときの階調は低下す
るものの、微視的に見た脈動については、入力画像であ
る撮像結果ＶＴによる脈動を維持することが可能とな
る。

【００５６】また図９に示すように、同様に、画素値ｘ
（ｉ，ｊ）が脈動して直流レベルが急激に立ち上がって
いる場合であって、画素値ｘ（ｉ，ｊ）の大きな変化が
係数算出関数Ｇ（ｌ）の変極点より高レベル側に偏って
いる場合でも（図９（Ａ）及び（Ｂ））、低レベル側及
び高レベル側においては、それぞれ平均値レベルＩ２及
びＩ５に対応する利得ｇ２及びｇ５により画素値が補正
され、全体的に見たときの階調は低下するものの、微視
的に見た脈動については、入力画像である撮像結果ＶＴ
による脈動を維持することが可能となる（図９
（Ｄ））。なおこの図９においても、図７のレベル変換
関数により直接画素値を補正した場合を図９（Ｃ）に示
す。

【００５７】これによりこの実施の形態では、信号処理
回路１１により続く映像機器の処理に適したフォーマッ
トに変換して映像信号を出力して、視覚的に広ダイナミ
ックレンジの撮像結果を出力することができる。

【００５８】（３）第１の実施の形態の効果 以上の構成によれば、高感度による画像である長時間露
光の撮像結果と、低感度の画像である短時間露光の撮像
結果とを合成して合成画像を作成するにつき、画素値が
補正された低感度の画像の中で、元の低解像度の画像で
は十分な階調により表現されていない領域であって、高
感度の画像より十分な階調により表現された領域につい
ては、高感度の画像により置き換えて合成画像を生成す
ることにより、被写体に動きがある場合でも、違和感な
く短時間露光による撮像結果と長短時間露光による撮像
結果とを合成して十分な階調による画像を生成すること
ができる。

【００５９】（４）他の実施の形態 なお上述の実施の形態においては、輝度信号の低周波数
成分によるＨ側マスク信号とＬ側マスク信号とを２値化
した後、論理積演算により合成用マスク信号を生成する
場合について述べたが、本発明はこれに限らず、Ｈ側マ
スク信号とＬ側マスク信号とを直接処理して多値の合成
用マスク信号を生成し、この多値の合成用マスク信号に
より画像合成しても良く、さらにはこの多値の合成用マ
スク信号を２値化して上述の実施の形態と同様に合成画
像を生成してもよい。

【００６０】また上述の実施の形態においては、ゲイン
補正された短時間露光の撮像結果よりＬ側マスク信号を
生成する場合について述べたが、本発明はこれに限ら
ず、短時間露光の撮像結果より直接生成するようにして
もよい。

【００６１】また上述の実施の形態においては、輝度信
号を生成してＨ側マスク信号及びＬ側マスク信号を生成
する場合について述べたが、本発明はこれに限らず、例
えば色信号を単純加算して生成されるいわゆるナムＹ信
号をＨ側マスク信号とＬ側マスク信号として使用する場
合等、要は輝度レベルに基準にしてこれらマスク信号を
生成して上述の実施の形態と同様の効果を得ることがで
きる。

【００６２】また上述の実施の形態においては、１つの
撮像素子の電荷蓄積時間を切り換えて長時間露光の撮像
結果と短時間露光の撮像結果を取得して処理する場合に
ついて述べたが、本発明はこれに限らず、専用の撮像素
子よりそれぞれ長時間露光の撮像結果と短時間露光の撮
像結果を取得して処理する場合にも広く適用することが
できる。この場合、長時間露光の撮像結果と短時間露光
の撮像結果とを同時に取得することにより、被写体の動
きによるエラーに対応する２つの撮像結果の視線の相違
によるエラーを防止して、違和感の無い広ダイナミック
レンジの合成画像を生成することができる。

【００６３】また上述の実施の形態においては、本発明
をテレビジョンカメラに適用する場合について述べた
が、本発明はこれに限らず、例えばこの種の長時間露光
の撮像結果と短時間露光の撮像結果とをパーソナルコン
ピュータにより処理して広ダイナミックレンジの画像を
生成する場合等にも広く適用することができる。

【００６４】

【発明の効果】上述のように本発明によれば、画素値が
補正された低感度の画像の中で、元の低感度の画像では
十分な階調により表現されていない領域であって、高感
度の画像で十分な階調により表現された領域について
は、高感度の画像により置き換えて合成画像を生成する
ことにより、被写体に動きがある場合等でも、違和感な
く高感度の画像と低感度の画像とを合成して十分な階調
による画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るテレビジョンカメラ
を示すブロック図である。

【図２】図１のテレビジョンカメラにおける長時間露光
及び短時間露光による撮像結果の説明に供する特性曲線
図である。

【図３】図１のテレビジョンカメラにおける画像合成の
説明に供する略線図である。

【図４】図１のテレビジョンカメラにおける階調補正回
路を示すブロック図である。

【図５】撮像結果の水平、垂直方向を示す略線図であ
る。

【図６】コントラスト補正係数を示す特性曲線図であ
る。

【図７】レベル変換関数を示す特性曲線図である。

【図８】階調補正の説明に供する特性曲線図である。

【図９】図８とは異なる信号レベルによる階調補正の説
明に供する特性曲線図である。

【図１０】複写体と、長時間露光及び短時間露光による
撮像結果との関係を示す略線図である。

【図１１】動きのある被写体についての長時間露光及び
短時間露光による撮像結果と、合成した撮像結果との関
係を示す略線図である。

【符号の説明】

１……テレビジョンカメラ、２……ＣＣＤ固体撮像素
子、６……ゲイン補正回路、７……合成回路、８Ｌ……
Ｈ側マスク生成回路、８Ｓ……Ｌ側マスク生成回路、９
……合成要マスク生成回路、１０……階調補正回路、１
１……信号処理回路、１３……係数算出回路、１４……
乗算回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 土屋 隆史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C024 AA01 BA01 CA15 CA17 DA04 FA01 FA11 GA11 GA41 GA49 HA11 HA12 HA17 HA18 HA19 HA24

Claims (9)

【特許請求の範囲】
1. 【請求項１】高い感度で撮像された高感度の画像と、低
   い感度で撮像された低感度の画像とを合成する画像処理
   装置であって、 前記高感度の画像の輝度レベルに対応するように、前記
   低感度の画像の画素値を補正して画素値補正画像を生成
   する画素値補正手段と、 前記高感度の画像の輝度レベルと、前記低感度の画像の
   輝度レベルとを基準にして、又は前記高感度の画像の輝
   度レベルと、前記画素値補正画像の輝度レベルとを基準
   にして、前記低感度の画像では十分な階調により表現さ
   れていない領域であって、前記高感度の画像で十分な階
   調により表現された領域について、前記画素値補正画像
   を前記高感度の画像により置き換えて合成画像を生成す
   る画像合成手段とを備えることを特徴とする画像処理装
   置。
2. 【請求項２】前記画素値補正画像の輝度レベルを基準に
   して、前記合成画像の階調を補正して出力する階調補正
   手段を有することを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】前記高感度の画像と、前記低感度の画像と
   を手得する撮像手段を有することを特徴とする請求項１
   に記載の画像処理装置。
4. 【請求項４】前記画像合成手段は、 前記高感度の画像の輝度レベルを基準にして、前記高感
   度の画像のうちの十分な階調により表現された領域を判
   定して高感度の領域判定信号を出力する高感度の領域判
   定手段と、 前記低感度の画像の輝度レベル又は前記画素値補正画像
   の輝度レベルを基準にして、前記低感度の画像のうちの
   十分な階調により表現された領域を判定して低感度の領
   域判定信号を出力する低感度の領域判定手段と、 前記高感度の領域判定信号と前記低感度の領域判定信号
   との論理演算処理により合成画像生成用の領域判定信号
   を生成する論理演算回路と、 前記合成画像生成用の領域判定信号を基準にして、前記
   高感度の画像の画素値と、前記画素値補正画像の画素値
   とを選択して前記合成画像を生成する選択手段とを有す
   ることを特徴とする請求項１に記載の画像処理装置。
5. 【請求項５】前記階調補正手段は、 前記画素値補正画像の輝度レベルより解像度の高い成分
   を抑圧して各画素値の属する領域判定信号を生成する領
   域判定手段と、 前記領域判定信号に応じて補正係数を生成する補正係数
   生成手段と、 前記補正係数により前記合成画像の画素値を補正する補
   正手段とを有することを特徴とする請求項２に記載の画
   像処理装置。
6. 【請求項６】高い感度で撮像された高感度の画像と、低
   い感度で撮像された低感度の画像とを合成する画像処理
   方法であって、 前記高感度の画像の輝度レベルに対応するように、前記
   低感度の画像の画素値を補正して画素値補正画像を生成
   するステップと、 前記高感度の画像の輝度レベルと、前記低感度の画像の
   輝度レベルとを基準にして、又は前記高感度の画像の輝
   度レベルと、前記画素値補正画像の輝度レベルとを基準
   にして、前記低感度の画像では十分な階調により表現さ
   れていない領域であって、前記高感度の画像より十分な
   階調により表現された領域について、前記画素値補正画
   像を前記高感度の画像により置き換えて合成画像を生成
   するステップとを備えることを特徴とする画像処理方
   法。
7. 【請求項７】前記低感度の画像の輝度レベルを基準にし
   て、前記合成画像の階調を補正して出力する階調補正の
   ステップを有することを特徴とする請求項６に記載の画
   像処理方法。
8. 【請求項８】前記合成画像を生成するステップは、 前記高感度の画像の輝度レベルを基準にして、前記高感
   度の画像のうちの十分な階調により表現された領域を判
   定して高感度の領域判定信号を出力するステップと、 前記低感度の画像の輝度レベル又は前記画素値補正画像
   の輝度レベルを基準にして、前記低感度の画像のうちの
   十分な階調により表現された領域を判定して低感度の領
   域判定信号を出力するステップと、 前記高感度の領域判定信号と前記低感度の領域判定信号
   との論理演算処理により合成画像生成用の領域判定信号
   を生成するステップと、 前記合成画像生成用の領域判定信号を基準にして、前記
   高感度の画像の画素値と、前記画素値補正画像の画素値
   とを選択して前記合成画像を生成するステップとを有す
   ることを特徴とする請求項６に記載の画像処理方法。
9. 【請求項９】前記階調補正のステップは、 前記低感度の画像の輝度レベルより解像度の高い成分を
   抑圧して各画素値の属する領域判定信号を生成するステ
   ップと、 前記領域判定信号に応じて補正係数を生成するステップ
   と、 前記補正係数により前記合成画像の画素値を補正するス
   テップとを有することを特徴とする請求項７に記載の画
   像処理方法。