JPH07135599A - 撮像装置とその画像処理方法 - Google Patents
撮像装置とその画像処理方法Info
- Publication number
- JPH07135599A JPH07135599A JP5281008A JP28100893A JPH07135599A JP H07135599 A JPH07135599 A JP H07135599A JP 5281008 A JP5281008 A JP 5281008A JP 28100893 A JP28100893 A JP 28100893A JP H07135599 A JPH07135599 A JP H07135599A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- pickup apparatus
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【目的】 デジタル式の撮像装置で、Ｓ／Ｎが良く、高
階調で、かつダイナミックレンジの大きい高画質のデジ
タル画像を得る。 【構成】 同一被写体を露光量を変えて同時もしくは連
続して撮像し、その結果得られた各画像データをデジタ
ルデータに変換してメモリに格納する。次に、それらの
画像データのぶれ分を補正して画像合致処理を行い（ス
テップ１１）、続いて各画像データのゲイン調整処理を
行ってレベルを一致させる（ステップ１２）。そして、
それらの各画像データの画像加算処理を行って画像を合
成し（ステップ１３）、次段のプロセス処理にてＲ，
Ｇ，Ｂの信号に変換して出力し（ステップ１４）、また
輝度信号Ｙ，色差信号Ｃとしてモニタ側に出力する（ス
テップ１５）。
階調で、かつダイナミックレンジの大きい高画質のデジ
タル画像を得る。 【構成】 同一被写体を露光量を変えて同時もしくは連
続して撮像し、その結果得られた各画像データをデジタ
ルデータに変換してメモリに格納する。次に、それらの
画像データのぶれ分を補正して画像合致処理を行い（ス
テップ１１）、続いて各画像データのゲイン調整処理を
行ってレベルを一致させる（ステップ１２）。そして、
それらの各画像データの画像加算処理を行って画像を合
成し（ステップ１３）、次段のプロセス処理にてＲ，
Ｇ，Ｂの信号に変換して出力し（ステップ１４）、また
輝度信号Ｙ，色差信号Ｃとしてモニタ側に出力する（ス
テップ１５）。
Description
【０００１】
【産業上の利用分野】本発明は、特に低ノイズで、階調
が高く、またダイナミックレンジの大きいデジタル画像
を得ることが可能な撮像装置とその画像処理方法に関す
るものである。
が高く、またダイナミックレンジの大きいデジタル画像
を得ることが可能な撮像装置とその画像処理方法に関す
るものである。
【０００２】
【従来の技術】最近、被写体を撮像した画像信号をデジ
タル信号として取り扱うデジタルビデオムービーカメ
ラ，デジタルスチルビデオカメラ等のデジタル式の撮像
装置が実用化されつつある。このような撮像装置では、
固体撮像素子の出力信号はサンプルホールドされた後に
ゲイン調整され、Ａ／Ｄ変換回路によりアナログ信号か
らデジタル信号に変換され、メモリに記録される。そし
て、このデジタル信号化された固体撮像素子からの画像
信号は、ＮＴＳＣ／ＰＡＬ方式の輝度信号と色差信号に
変換処理されるか、あるいはＲ，Ｇ，Ｂ信号として処理
され、Ｄ／Ａ変換回路にによりアナログ信号に変換され
た後、モニタに出力されるか、あるいはまたデジタル画
像情報としてコンピュータ等に入力される。
タル信号として取り扱うデジタルビデオムービーカメ
ラ，デジタルスチルビデオカメラ等のデジタル式の撮像
装置が実用化されつつある。このような撮像装置では、
固体撮像素子の出力信号はサンプルホールドされた後に
ゲイン調整され、Ａ／Ｄ変換回路によりアナログ信号か
らデジタル信号に変換され、メモリに記録される。そし
て、このデジタル信号化された固体撮像素子からの画像
信号は、ＮＴＳＣ／ＰＡＬ方式の輝度信号と色差信号に
変換処理されるか、あるいはＲ，Ｇ，Ｂ信号として処理
され、Ｄ／Ａ変換回路にによりアナログ信号に変換され
た後、モニタに出力されるか、あるいはまたデジタル画
像情報としてコンピュータ等に入力される。
【０００３】ここで、上記のようなデジタル撮像装置の
階調はＡ／Ｄ変換回路によって決まるが、このＡ／Ｄ変
換回路には現在８ｂｉｔ〜１０ｂｉｔのものが実用化さ
れている。しかし、この程度では被写体の低輝度部での
階調に不充分であり、粗い画質となり、不快感を与え
る。
階調はＡ／Ｄ変換回路によって決まるが、このＡ／Ｄ変
換回路には現在８ｂｉｔ〜１０ｂｉｔのものが実用化さ
れている。しかし、この程度では被写体の低輝度部での
階調に不充分であり、粗い画質となり、不快感を与え
る。
【０００４】また、従来の撮像装置では、固体撮像素子
で発生するノイズとＡ／Ｄ変換回路入力までのアナログ
回路系で発生するランダムノイズとが最終画像のＳ／Ｎ
を決定することとなるが、これも低輝度部で目立ち、高
Ｓ／Ｎの良好な画像が得られない。
で発生するノイズとＡ／Ｄ変換回路入力までのアナログ
回路系で発生するランダムノイズとが最終画像のＳ／Ｎ
を決定することとなるが、これも低輝度部で目立ち、高
Ｓ／Ｎの良好な画像が得られない。
【０００５】
【発明が解決しようとする課題】従来のデジタル式の撮
像装置は上記のように構成されており、Ａ／Ｄ変換回路
によって階調が決定され、また撮像素子で発生するノイ
ズとアナログ回路で発生するランダムノイズとにより最
終画像のＳ／Ｎが決定されるため、低輝度部の画質が劣
化するという問題点があった。
像装置は上記のように構成されており、Ａ／Ｄ変換回路
によって階調が決定され、また撮像素子で発生するノイ
ズとアナログ回路で発生するランダムノイズとにより最
終画像のＳ／Ｎが決定されるため、低輝度部の画質が劣
化するという問題点があった。
【０００６】そこで、露光量を大きくして撮像し、その
撮像信号をデジタル信号化した後に演算上でゲイン調整
することが考えられるが、この場合従来の撮像装置では
ダイナミックレンジが低いので、高輝度部が飽和してし
まい、高輝度部の情報が失われることになる。
撮像信号をデジタル信号化した後に演算上でゲイン調整
することが考えられるが、この場合従来の撮像装置では
ダイナミックレンジが低いので、高輝度部が飽和してし
まい、高輝度部の情報が失われることになる。
【０００７】本発明は、上記のような問題点に着目して
なされたもので、Ｓ／Ｎが良く、高階調で、かつダイナ
ミックレンジの大きい高画質のデジタル画像を得ること
が可能な撮像装置とその画像処理方法を提供することを
目的としている。
なされたもので、Ｓ／Ｎが良く、高階調で、かつダイナ
ミックレンジの大きい高画質のデジタル画像を得ること
が可能な撮像装置とその画像処理方法を提供することを
目的としている。
【０００８】
【課題を解決するための手段】本発明の撮像装置は、次
のように構成したものである。
のように構成したものである。
【０００９】（１）露光量を変えて撮像した同一被写体
の複数の画像データをデジタル化する変換手段と、デジ
タル化された各画像データの画像の位置合わせを行う合
致処理手段と、デジタル化された各画像データのレベル
を合わせるレベル調整手段と、レベルを合わせた画像デ
ータを合成する画像合成手段とを備えた。
の複数の画像データをデジタル化する変換手段と、デジ
タル化された各画像データの画像の位置合わせを行う合
致処理手段と、デジタル化された各画像データのレベル
を合わせるレベル調整手段と、レベルを合わせた画像デ
ータを合成する画像合成手段とを備えた。
【００１０】（２）上記（１）の撮像装置において、レ
ベル調整手段は、画像データの飽和している部分とその
周辺を除外した領域の平均値を比較してレベルを合わせ
るようにした。
ベル調整手段は、画像データの飽和している部分とその
周辺を除外した領域の平均値を比較してレベルを合わせ
るようにした。
【００１１】（３）上記（１）の撮像装置において、レ
ベル調整手段は、画像データの輝度変化の少ない領域を
抽出しその領域の平均値を比較してレベルを合わせるよ
うにした。
ベル調整手段は、画像データの輝度変化の少ない領域を
抽出しその領域の平均値を比較してレベルを合わせるよ
うにした。
【００１２】（４）上記（１）の撮像装置において、レ
ベル調整手段は、画像データの白に近い領域を抽出しそ
の領域の平均値を比較してレベルを合わせるようにし
た。
ベル調整手段は、画像データの白に近い領域を抽出しそ
の領域の平均値を比較してレベルを合わせるようにし
た。
【００１３】（５）上記（１）の撮像装置において、レ
ベル調整手段は、画像データの任意の領域を抽出しその
領域の飽和している部分を除外した領域の平均値を比較
してレベルを合わせるようにした。
ベル調整手段は、画像データの任意の領域を抽出しその
領域の飽和している部分を除外した領域の平均値を比較
してレベルを合わせるようにした。
【００１４】（６）上記（１）ないし（５）何れかの撮
像装置において、画像合成手段は、標準より多い露光量
で得られた画像データを低輝度側のデータとし、標準の
露光量で得られた画像データを高輝度側のデータとし、
標準より少ない露光量で得られた画像データを超高輝度
側のデータとして、全てもしくは任意の組み合わせで画
像データを合成するようにした。
像装置において、画像合成手段は、標準より多い露光量
で得られた画像データを低輝度側のデータとし、標準の
露光量で得られた画像データを高輝度側のデータとし、
標準より少ない露光量で得られた画像データを超高輝度
側のデータとして、全てもしくは任意の組み合わせで画
像データを合成するようにした。
【００１５】（７）上記（６）の撮像装置において、画
像合成手段は、画像データの組み合わせの切り換わりの
データ値を固定値として画像データを合成するようにし
た。
像合成手段は、画像データの組み合わせの切り換わりの
データ値を固定値として画像データを合成するようにし
た。
【００１６】（８）上記（６）の撮像装置において、画
像合成手段は、画像データの組み合わせの切り換わりの
データ値に、高輝度側のデータと低輝度側のデータの含
有比率が変化可能なある幅を持たせて画像データを合成
するようにした。
像合成手段は、画像データの組み合わせの切り換わりの
データ値に、高輝度側のデータと低輝度側のデータの含
有比率が変化可能なある幅を持たせて画像データを合成
するようにした。
【００１７】（９）上記（８）の撮像装置において、画
像合成手段は、高輝度側のデータと低輝度側のデータの
含有比率を直線的に変化させて画像を合成するようにし
た。
像合成手段は、高輝度側のデータと低輝度側のデータの
含有比率を直線的に変化させて画像を合成するようにし
た。
【００１８】（１０）上記（８）の撮像装置において、
画像合成手段は、高輝度側のデータと低輝度側のデータ
の含有比率をコサインカーブで変化させて画像を合成す
るようにした。
画像合成手段は、高輝度側のデータと低輝度側のデータ
の含有比率をコサインカーブで変化させて画像を合成す
るようにした。
【００１９】また、本発明の画像処理方法は、同一被写
体を露光量を変えて同時もしくは連続して撮像して得ら
れた各画像データをデジタルデータに変換し、そのデジ
タル化した画像データに対して画像の位置合わせを行う
とともに、各画像データのレベルを一致させた後、それ
らの画像データを合成するようにしたものである。
体を露光量を変えて同時もしくは連続して撮像して得ら
れた各画像データをデジタルデータに変換し、そのデジ
タル化した画像データに対して画像の位置合わせを行う
とともに、各画像データのレベルを一致させた後、それ
らの画像データを合成するようにしたものである。
【００２０】
【作用】本発明によれば、例えば標準露光の撮影によっ
て得られるデジタル画像と、同時もしくは連続して露光
量を変えて撮像することで得られるデジタル画像との複
数の画像データに対し、画像のぶれ成分を補正するなど
の処理と、露光量を異にして得た複数のデジタル画像の
レベルを一致させるゲイン調整などの処理と、それらの
複数のデジタル画像データを合成する処理とを行うこと
によって、高Ｓ／Ｎ，高階調でダイナミックレンジの大
きい一つのデジタル画像が得られる。
て得られるデジタル画像と、同時もしくは連続して露光
量を変えて撮像することで得られるデジタル画像との複
数の画像データに対し、画像のぶれ成分を補正するなど
の処理と、露光量を異にして得た複数のデジタル画像の
レベルを一致させるゲイン調整などの処理と、それらの
複数のデジタル画像データを合成する処理とを行うこと
によって、高Ｓ／Ｎ，高階調でダイナミックレンジの大
きい一つのデジタル画像が得られる。
【００２１】
【実施例】図１は本発明の一実施例による撮像装置の構
成を示すブロック図である。図において、１ａ，１ｂは
露光量を変えて撮像した同一被写体からの撮像光を光電
変換する固体撮像素子、２はこれらの撮像素子１ａ，１
ｂからの複数の画像データをデジタル化するＡ−Ｄ（ア
ナログ−デジタル）変換手段、３はデジタル化された各
画像データに対して画像の位置合わせを行う合致処理手
段と、ここでは各デジタル画像のぶれ分を補正して位置
を合わせる。
成を示すブロック図である。図において、１ａ，１ｂは
露光量を変えて撮像した同一被写体からの撮像光を光電
変換する固体撮像素子、２はこれらの撮像素子１ａ，１
ｂからの複数の画像データをデジタル化するＡ−Ｄ（ア
ナログ−デジタル）変換手段、３はデジタル化された各
画像データに対して画像の位置合わせを行う合致処理手
段と、ここでは各デジタル画像のぶれ分を補正して位置
を合わせる。
【００２２】４は上記デジタル化された各画像データの
レベルを合わせるレベル調整手段、５はレベルを合わせ
た画像データを合成して一つのデジタル画像のデータに
する画像合成手段で、ここから出力される画像信号は不
図示のプロセス処理回路にて所定の画像処理が行われ、
Ｒ，Ｇ，Ｂの各色信号やＹ，Ｃの輝度信号及び色差信号
となって出力される。
レベルを合わせるレベル調整手段、５はレベルを合わせ
た画像データを合成して一つのデジタル画像のデータに
する画像合成手段で、ここから出力される画像信号は不
図示のプロセス処理回路にて所定の画像処理が行われ、
Ｒ，Ｇ，Ｂの各色信号やＹ，Ｃの輝度信号及び色差信号
となって出力される。
【００２３】次に、上記撮像装置の動作について説明す
る。図２はその画像処理の過程を示すフローチャートで
ある。
る。図２はその画像処理の過程を示すフローチャートで
ある。
【００２４】まず、複数条件の露光量での同一被写体の
画像データ（１），（２）を撮像素子１ａ，１ｂから同
一時もしくはほぼ同一時にメモリに取り込む。ここで、
同一時にというのは、多板式カメラと同様にプリズム等
で同一被写体像を複数の固体撮像素子に結合させる光学
系を有したカメラの場合であり、この場合に各固体撮像
素子の露光量を異なるようにする手段としては、各固体
撮像素子の蓄積時間を各々異ならせるか、もしくは固体
撮像素子の前面にＮＤフィルタを入れることでなされ
る。また、ほぼ同一時にというのは、単板式カメラを用
いて短い間隔でかつ異なる露光条件（絞りの開口量，シ
ャッタ秒時を異にする）での連写による画像取り込みが
なされる場合である。
画像データ（１），（２）を撮像素子１ａ，１ｂから同
一時もしくはほぼ同一時にメモリに取り込む。ここで、
同一時にというのは、多板式カメラと同様にプリズム等
で同一被写体像を複数の固体撮像素子に結合させる光学
系を有したカメラの場合であり、この場合に各固体撮像
素子の露光量を異なるようにする手段としては、各固体
撮像素子の蓄積時間を各々異ならせるか、もしくは固体
撮像素子の前面にＮＤフィルタを入れることでなされ
る。また、ほぼ同一時にというのは、単板式カメラを用
いて短い間隔でかつ異なる露光条件（絞りの開口量，シ
ャッタ秒時を異にする）での連写による画像取り込みが
なされる場合である。
【００２５】上記複数の画像データは、固体撮像素子１
ａ，１ｂの出力として読み出され、サンプルホールドさ
れた後、ゲイン調整されてＡ−Ｄ変換後に各メモリに記
録される。
ａ，１ｂの出力として読み出され、サンプルホールドさ
れた後、ゲイン調整されてＡ−Ｄ変換後に各メモリに記
録される。
【００２６】上記の画像データ（１）と画像データ
（２）は、Ａ−Ｄ変換後にメモリに蓄積された画像デー
タであり、本実施例では、画像データ（１）は標準露光
によって得られたデータ、画像データ（２）は標準露光
の３倍の露光量によって得られたデータで、共に１０ビ
ット（ｂｉｔ）のＡ−Ｄ変換回路によってデジタル化さ
れたものである。したがって、おおよそ１０２４段階の
階調を持つ。
（２）は、Ａ−Ｄ変換後にメモリに蓄積された画像デー
タであり、本実施例では、画像データ（１）は標準露光
によって得られたデータ、画像データ（２）は標準露光
の３倍の露光量によって得られたデータで、共に１０ビ
ット（ｂｉｔ）のＡ−Ｄ変換回路によってデジタル化さ
れたものである。したがって、おおよそ１０２４段階の
階調を持つ。
【００２７】なお、実際には１０ビット全て画像データ
に使われるわけでなく、いくらかのオフセット分が加わ
るが、ここでは１０ビット全てが画像情報となるものと
して説明する。
に使われるわけでなく、いくらかのオフセット分が加わ
るが、ここでは１０ビット全てが画像情報となるものと
して説明する。
【００２８】上記画像データ（１）と画像データ（２）
は、続いて画像合致処理が行われる（ステップ１１）。
これは、画像の取り込み手段として多板方式の光学系が
使用された場合には必要としないが、単板方式の場合、
画像データ（１）と画像データ（２）がわずかに時間を
異にして撮影されることから、画像の位置関係がわずか
にぶれる。このことから、画像データ（１）と画像デー
タ（２）のデータを比較して、画像データ（１）の位置
と画像データ（２）の位置が一致するように座標を修正
することが行われる。この処理の方法としては、現在ビ
デオムービーカメラ等で実用化されている“ぶれ防止”
のような方法が採用される。
は、続いて画像合致処理が行われる（ステップ１１）。
これは、画像の取り込み手段として多板方式の光学系が
使用された場合には必要としないが、単板方式の場合、
画像データ（１）と画像データ（２）がわずかに時間を
異にして撮影されることから、画像の位置関係がわずか
にぶれる。このことから、画像データ（１）と画像デー
タ（２）のデータを比較して、画像データ（１）の位置
と画像データ（２）の位置が一致するように座標を修正
することが行われる。この処理の方法としては、現在ビ
デオムービーカメラ等で実用化されている“ぶれ防止”
のような方法が採用される。
【００２９】次に、２つの画像の位置関係が合わされた
後、画像データ（１）の画像レベルに画像データ（２）
のデータが一致するようにゲイン調整処理が行われる
（ステップ１２）。この時、画像データ（１）の露光量
の３倍の露光量で撮影した画像データ（２）を１／３倍
すれば良いのであるが、実際にはカメラの露光量はシス
テムによる誤差、つまり絞り，シャッタ等のメカ的誤
差，測光系のもつ誤差等の誤差分をもつので、実際の画
像データの比較による精度の高いゲイン調整が必要とさ
れる。
後、画像データ（１）の画像レベルに画像データ（２）
のデータが一致するようにゲイン調整処理が行われる
（ステップ１２）。この時、画像データ（１）の露光量
の３倍の露光量で撮影した画像データ（２）を１／３倍
すれば良いのであるが、実際にはカメラの露光量はシス
テムによる誤差、つまり絞り，シャッタ等のメカ的誤
差，測光系のもつ誤差等の誤差分をもつので、実際の画
像データの比較による精度の高いゲイン調整が必要とさ
れる。
【００３０】上記は比較するデータは飽和部分は除外し
なければならないので、例えば画像データ（２）の１０
００段階以下（飽和値である１０２４よりノイズなどの
影響を完全に受けないで飽和値を確実に除外するよう１
０２４よりある程度低い値とする）、画像データ（１）
は３３３段階以下が比較するデータのレベルとなる。
なければならないので、例えば画像データ（２）の１０
００段階以下（飽和値である１０２４よりノイズなどの
影響を完全に受けないで飽和値を確実に除外するよう１
０２４よりある程度低い値とする）、画像データ（１）
は３３３段階以下が比較するデータのレベルとなる。
【００３１】また、低輝度部でのデータは、ノイズ成分
の影響が大きくなるので、これを除外する必要がある。
本実施例では、下限の段階は画像データ（１）は１００
段階、画像データ（２）は３００段階としている。通
常、白１００％のレベルが飽和の１／３〜１／４に設定
されることから、ゲイン調整に参考にされるレベルは、
白３０〜４０％以上のレベルをもつ部分で行われる。
の影響が大きくなるので、これを除外する必要がある。
本実施例では、下限の段階は画像データ（１）は１００
段階、画像データ（２）は３００段階としている。通
常、白１００％のレベルが飽和の１／３〜１／４に設定
されることから、ゲイン調整に参考にされるレベルは、
白３０〜４０％以上のレベルをもつ部分で行われる。
【００３２】そして、上記のように規定された領域の平
均値を各々の画像においてとり、画像データ（１）の平
均値をＡ、画像データ（２）の平均値をＢ、また画像デ
ータ（２）の各画素のデータ値をＣとして、Ａ÷Ｂ×Ｃ
の演算を行い、画像データ（２）のレベルを画像データ
（１）と同じくする。
均値を各々の画像においてとり、画像データ（１）の平
均値をＡ、画像データ（２）の平均値をＢ、また画像デ
ータ（２）の各画素のデータ値をＣとして、Ａ÷Ｂ×Ｃ
の演算を行い、画像データ（２）のレベルを画像データ
（１）と同じくする。
【００３３】ここで、画像データ（１）と画像データ
（２）のゲイン比を計測する他の方法としては、上記の
方法より高精度を得る方法として、画面内の輝度レベル
の変化の少ないなだらかな領域を抽出し、そのレベル変
化の少ない領域だけに限定して各画像の平均値を比較す
る方法をとることができる。
（２）のゲイン比を計測する他の方法としては、上記の
方法より高精度を得る方法として、画面内の輝度レベル
の変化の少ないなだらかな領域を抽出し、そのレベル変
化の少ない領域だけに限定して各画像の平均値を比較す
る方法をとることができる。
【００３４】さらに他の方法として、画面中の白に近い
領域を抽出し、その領域のみの平均値を比較しても良
く、この方法にすれば、各色画素（補色の固体撮像素子
を使用していればＹ，ＭＧ，Ｇ，Ｃｙ、純色であれば
Ｒ，Ｇ，Ｂ）のレベルバランスがとれているので、より
精度を上げることができる。
領域を抽出し、その領域のみの平均値を比較しても良
く、この方法にすれば、各色画素（補色の固体撮像素子
を使用していればＹ，ＭＧ，Ｇ，Ｃｙ、純色であれば
Ｒ，Ｇ，Ｂ）のレベルバランスがとれているので、より
精度を上げることができる。
【００３５】また、あらかじめ画面中央部あるいは画面
中央上部というように比較領域を決めておき、飽和して
いない限りはあらかじめその決められた領域での平均値
を比較することで、精度は多少低下するが、処理時間を
大幅に短縮することができる。
中央上部というように比較領域を決めておき、飽和して
いない限りはあらかじめその決められた領域での平均値
を比較することで、精度は多少低下するが、処理時間を
大幅に短縮することができる。
【００３６】上記のように画像合致処理及びゲイン調整
処理が終了すると、画像データ（１）と画像データ
（２）を加算する画像加算処理が行われる（ステップ１
３）。このデータの加算は、画像データ（１）が高輝度
側のデータ、画像データ（２）が低輝度側のデータとし
て使われる。
処理が終了すると、画像データ（１）と画像データ
（２）を加算する画像加算処理が行われる（ステップ１
３）。このデータの加算は、画像データ（１）が高輝度
側のデータ、画像データ（２）が低輝度側のデータとし
て使われる。
【００３７】上記の加算処理方法を示すのが図３であ
る。先のゲイン調整処理で画像データ（２）は、ほぼ１
／３となっているので、画像データ（２）の最高レベル
はほぼ３４１である。このグラフ（ａ）のＩＮ（１）に
画像データ（１）の各画素のデータ、（ｂ）のＩＮ
（２）に画像データ（２）の各画像のデータ、またＮ１
は画像データ（１）の画素のデータにかかる係数、Ｎ２
は画像データ（２）の画素のデータにかかる係数であ
る。
る。先のゲイン調整処理で画像データ（２）は、ほぼ１
／３となっているので、画像データ（２）の最高レベル
はほぼ３４１である。このグラフ（ａ）のＩＮ（１）に
画像データ（１）の各画素のデータ、（ｂ）のＩＮ
（２）に画像データ（２）の各画像のデータ、またＮ１
は画像データ（１）の画素のデータにかかる係数、Ｎ２
は画像データ（２）の画素のデータにかかる係数であ
る。
【００３８】そして、上記のグラフ（ａ），（ｂ）に応
じて、（ＩＮ（１）×Ｎ１）＋（ＩＮ（２）×Ｎ２）が
計算されて、一つの画像となる。この場合、画像データ
（２）の飽和値３４１よりやや低い３３０未満のデータ
は画像データ（２）のデータが使われ、３３０以上のデ
ータは画像データ（１）のデータが使われる。このよう
にすることで、画像の飽和の１／３以下の部分のＳ／Ｈ
は１／３となり、階調は３倍となり、高品位，高情報の
画像がつくられる。
じて、（ＩＮ（１）×Ｎ１）＋（ＩＮ（２）×Ｎ２）が
計算されて、一つの画像となる。この場合、画像データ
（２）の飽和値３４１よりやや低い３３０未満のデータ
は画像データ（２）のデータが使われ、３３０以上のデ
ータは画像データ（１）のデータが使われる。このよう
にすることで、画像の飽和の１／３以下の部分のＳ／Ｈ
は１／３となり、階調は３倍となり、高品位，高情報の
画像がつくられる。
【００３９】しかし、ここでゲイン調整の誤差分等によ
り、データ値３３０付近の情報が乱れることから、デー
タ値３３０前後の値が偽色として表われ、偽似的な色の
帯等が生じる可能性が残る。
り、データ値３３０付近の情報が乱れることから、デー
タ値３３０前後の値が偽色として表われ、偽似的な色の
帯等が生じる可能性が残る。
【００４０】そこで、図４，図５のように画像データ
（１）と（２）の切り換わり部分のデータの幅をもた
せ、画像データ（１）と（２）の情報を含み、その比率
を徐々に変えていくようにすることで有効である。図４
はその含有比率を直線的に変化させ、図５はコサインカ
ーブで変化させたものであるが、Ｎ１＋Ｎ２は常に１で
あることはいうまでもない。このようにすることで、画
像データ（１）と画像データ（２）の切り換わり部での
ゲイン誤差等による影響を減らし、偽画像の発生を抑え
ることができる。
（１）と（２）の切り換わり部分のデータの幅をもた
せ、画像データ（１）と（２）の情報を含み、その比率
を徐々に変えていくようにすることで有効である。図４
はその含有比率を直線的に変化させ、図５はコサインカ
ーブで変化させたものであるが、Ｎ１＋Ｎ２は常に１で
あることはいうまでもない。このようにすることで、画
像データ（１）と画像データ（２）の切り換わり部での
ゲイン誤差等による影響を減らし、偽画像の発生を抑え
ることができる。
【００４１】次に、上記のように合成された画像データ
は、次段のプロセス処理（１）でＲ，Ｇ，Ｂ信号に変換
処理されて出力される（ステップ１４）。さらに、プロ
セス処理（２）で輝度信号Ｙと色差信号Ｃに変換される
（ステップ１５）。そして、これらの信号はモニタテレ
ビに入力できるか、あるいはコンピュータに画像データ
として入力される。
は、次段のプロセス処理（１）でＲ，Ｇ，Ｂ信号に変換
処理されて出力される（ステップ１４）。さらに、プロ
セス処理（２）で輝度信号Ｙと色差信号Ｃに変換される
（ステップ１５）。そして、これらの信号はモニタテレ
ビに入力できるか、あるいはコンピュータに画像データ
として入力される。
【００４２】なお、上記の例では画像データ（１）と画
像データ（２）の切り換わりレベルを、飽和の１／４〜
１／３程度のところにもってきたが、後のプロセス処理
で付けられるガンマカーブのねてくる高輝度部に切り換
わる部をもってきても良く、この場合上述のゲイン誤差
等の影響をより減らすことができる。
像データ（２）の切り換わりレベルを、飽和の１／４〜
１／３程度のところにもってきたが、後のプロセス処理
で付けられるガンマカーブのねてくる高輝度部に切り換
わる部をもってきても良く、この場合上述のゲイン誤差
等の影響をより減らすことができる。
【００４３】そして、以上のような画像処理を行うこと
で、Ｓ／Ｎが良く、高階調で、かつダイナミックレンジ
の大きい高画質のデジタル画像を得ることができる。
で、Ｓ／Ｎが良く、高階調で、かつダイナミックレンジ
の大きい高画質のデジタル画像を得ることができる。
【００４４】図６は、本発明の他の実施例の動作を示す
フローチャートである。画像データ（１）と画像データ
（２）は上述の実施例の場合と同じである。画像データ
（３）は、標準露光量の１／３の露光で撮影した画像デ
ータである。
フローチャートである。画像データ（１）と画像データ
（２）は上述の実施例の場合と同じである。画像データ
（３）は、標準露光量の１／３の露光で撮影した画像デ
ータである。
【００４５】上記３つの画像データは、画像合致処理
（ステップ１１）で位置合わせがなされ、続いて、３つ
の画像のゲイン調整がなされる（ステップ１２）。この
時、画像データ（２）はほぼ１／３にされ、画像データ
（３）は３倍にされる。これにより、画像データ（３）
の最大値は３０７２に拡大する。
（ステップ１１）で位置合わせがなされ、続いて、３つ
の画像のゲイン調整がなされる（ステップ１２）。この
時、画像データ（２）はほぼ１／３にされ、画像データ
（３）は３倍にされる。これにより、画像データ（３）
の最大値は３０７２に拡大する。
【００４６】次に、画像データ（１）と画像データ
（２）は前述の実施例と同様にして合成され、また画像
データ（３）と画像データ（１）も画像データ（１）と
画像データ（２）の合成と同様の方式で合成される（ス
テップ１３）。この場合、画像データ（１）と画像デー
タ（３）の切り換わりレベルは、７００から１０００段
階の範囲でなされる。
（２）は前述の実施例と同様にして合成され、また画像
データ（３）と画像データ（１）も画像データ（１）と
画像データ（２）の合成と同様の方式で合成される（ス
テップ１３）。この場合、画像データ（１）と画像デー
タ（３）の切り換わりレベルは、７００から１０００段
階の範囲でなされる。
【００４７】このような画像処理を行うことで、出力さ
れるデジタル画像は前述の実施例で出力された画像より
もダイナミックレンジが大幅に拡大する。このため、超
高輝度部の被写体像までも鮮明に写し出され、かつ低輝
度像もノイズが少なく、高情報量をもつ鮮明な画像を実
現することができる。
れるデジタル画像は前述の実施例で出力された画像より
もダイナミックレンジが大幅に拡大する。このため、超
高輝度部の被写体像までも鮮明に写し出され、かつ低輝
度像もノイズが少なく、高情報量をもつ鮮明な画像を実
現することができる。
【００４８】なお、他の実施例として、上記の画像デー
タ（１）と画像データ（３）のみの合成を行っても良
い。この場合、処理方式は前述の各実施例と同様であ
る。また、画像データ（２）と画像データ（３）のみの
合成でも良い。
タ（１）と画像データ（３）のみの合成を行っても良
い。この場合、処理方式は前述の各実施例と同様であ
る。また、画像データ（２）と画像データ（３）のみの
合成でも良い。
【００４９】また、以上の実施例では、標準露光の３倍
と１／３倍の場合で説明したが、例えば４倍と１／４倍
とすれば、さらに高画質の画像を得ることができる。
と１／３倍の場合で説明したが、例えば４倍と１／４倍
とすれば、さらに高画質の画像を得ることができる。
【００５０】
【発明の効果】以上のように、本発明によれば、露光量
を変えて撮像した同一被写体の複数の画像を合成するこ
とで、Ｓ／Ｎの良い、高階調で、かつダイナミックレン
ジの大きい高画質のデジタル画像を得ることができると
いう効果がある。
を変えて撮像した同一被写体の複数の画像を合成するこ
とで、Ｓ／Ｎの良い、高階調で、かつダイナミックレン
ジの大きい高画質のデジタル画像を得ることができると
いう効果がある。
【図１】 本発明の一実施例の構成を示すブロック図
【図２】 一実施例の動作を示すフローチャート
【図３】 画像加算処理の一例を示す説明図
【図４】 画像加算処理の他の例を示す説明図
【図５】 画像加算処理の他の例を示す説明図
【図６】 本発明の他の実施例の動作を示すフローチャ
ート
ート
１ａ，１ｂ 固体撮像素子 ２ Ａ−Ｄ変換手段 ３ 合致処理手段 ４ レベル調整手段 ５ 画像合成手段
Claims (11)
- 【請求項１】 露光量を変えて撮像した同一被写体の複
数の画像データをデジタル化する変換手段と、デジタル
化された各画像データの画像の位置合わせを行う合致処
理手段と、デジタル化された各画像データのレベルを合
わせるレベル調整手段と、レベルを合わせた画像データ
を合成する画像合成手段とを備えたことを特徴とする撮
像装置。 - 【請求項２】 レベル調整手段は、画像データの飽和し
ている部分とその周辺を除外した領域の平均値を比較し
てレベルを合わせることを特徴とする請求項１記載の撮
像装置。 - 【請求項３】 レベル調整手段は、画像データの輝度変
化の少ない領域を抽出しその領域の平均値を比較してレ
ベルを合わせることを特徴とする請求項１記載の撮像装
置。 - 【請求項４】 レベル調整手段は、画像データの白に近
い領域を抽出しその領域の平均値を比較してレベルを合
わせることを特徴とする請求項１記載の撮像装置。 - 【請求項５】 レベル調整手段は、画像データの任意の
領域を抽出しその領域の飽和している部分を除外した領
域の平均値を比較してレベルを合わせることを特徴とす
る請求項１記載の撮像装置。 - 【請求項６】 画像合成手段は、標準より多い露光量で
得られた画像データを低輝度側のデータとし、標準の露
光量で得られた画像データを高輝度側のデータとし、標
準より少ない露光量で得られた画像データを超高輝度側
のデータとして、全てもしくは任意の組み合わせで画像
データを合成することを特徴とする請求項１ないし５何
れか記載の撮像装置。 - 【請求項７】 画像合成手段は、画像データの組み合わ
せの切り換わりのデータ値を固定値として画像データを
合成することを特徴とする請求項６記載の撮像装置。 - 【請求項８】 画像合成手段は、画像データの組み合わ
せの切り換わりのデータ値に、高輝度側のデータと低輝
度側のデータの含有比率が変化可能なある幅を持たせて
画像データを合成することを特徴とする請求項６記載の
撮像装置。 - 【請求項９】 画像合成手段は、高輝度側のデータと低
輝度側のデータの含有比率を直線的に変化させて画像を
合成することを特徴とする請求項８記載の撮像装置。 - 【請求項１０】 画像合成手段は、高輝度側のデータと
低輝度側のデータの含有比率をコサインカーブで変化さ
せて画像を合成することを特徴とする請求項８記載の撮
像装置。 - 【請求項１１】 同一被写体を露光量を変えて同時もし
くは連続して撮像して得られた各画像データをデジタル
データに変換し、そのデジタル化した画像データに対し
て画像の位置合わせを行うとともに、各画像データのレ
ベルを一致させた後、それらの画像データを合成するよ
うにしたことを特徴とする画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28100893A JP3553999B2 (ja) | 1993-11-10 | 1993-11-10 | 撮像装置とその画像処理方法 |
| US08/329,538 US5801773A (en) | 1993-10-29 | 1994-10-26 | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
| US09/009,282 US6204881B1 (en) | 1993-10-10 | 1998-01-20 | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28100893A JP3553999B2 (ja) | 1993-11-10 | 1993-11-10 | 撮像装置とその画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07135599A true JPH07135599A (ja) | 1995-05-23 |
| JP3553999B2 JP3553999B2 (ja) | 2004-08-11 |
Family
ID=17632998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28100893A Expired - Fee Related JP3553999B2 (ja) | 1993-10-10 | 1993-11-10 | 撮像装置とその画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3553999B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0977432A2 (en) * | 1998-07-28 | 2000-02-02 | Olympus Optical Co., Ltd. | Image pickup apparatus |
| WO2006046792A1 (en) * | 2004-10-29 | 2006-05-04 | Mtek Vision Co., Ltd. | Image sensor with expanding dynamic range |
| KR100809345B1 (ko) * | 2006-06-16 | 2008-03-05 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
| JP2008170973A (ja) * | 2006-12-13 | 2008-07-24 | Olympus Corp | 共焦点レーザ顕微鏡 |
| JP2009232382A (ja) * | 2008-03-25 | 2009-10-08 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| KR20150053225A (ko) | 2013-11-07 | 2015-05-15 | 소니 주식회사 | 화상 처리 회로, 화상 처리 방법, 및, 표시 장치 |
| JP2015122110A (ja) * | 2010-02-04 | 2015-07-02 | マイクロソフト コーポレーション | 高ダイナミック・レンジ画像の発生およびレンダリング |
| US9538091B2 (en) | 2013-12-12 | 2017-01-03 | Joled Inc. | Imaging apparatus, imaging signal processing circuit, imaging signal processing method, display apparatus, image signal processing circuit, and image signal processing method |
| US20210073960A1 (en) * | 2019-09-11 | 2021-03-11 | Canon Kabushiki Kaisha | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium |
-
1993
- 1993-11-10 JP JP28100893A patent/JP3553999B2/ja not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0977432A2 (en) * | 1998-07-28 | 2000-02-02 | Olympus Optical Co., Ltd. | Image pickup apparatus |
| EP0977432A3 (en) * | 1998-07-28 | 2005-07-06 | Olympus Optical Co., Ltd. | Image pickup apparatus |
| US7301563B1 (en) | 1998-07-28 | 2007-11-27 | Olympus Optical Co., Ltd. | Image pickup apparatus |
| US7755664B2 (en) | 1998-07-28 | 2010-07-13 | Olympus Optical Co., Ltd | Image pickup apparatus |
| WO2006046792A1 (en) * | 2004-10-29 | 2006-05-04 | Mtek Vision Co., Ltd. | Image sensor with expanding dynamic range |
| US7667172B2 (en) | 2004-10-29 | 2010-02-23 | Mtekvision Co., Ltd. | Image sensor with expanding dynamic range |
| KR100809345B1 (ko) * | 2006-06-16 | 2008-03-05 | 삼성전자주식회사 | 영상 생성 장치 및 방법 |
| JP2008170973A (ja) * | 2006-12-13 | 2008-07-24 | Olympus Corp | 共焦点レーザ顕微鏡 |
| JP4492724B2 (ja) * | 2008-03-25 | 2010-06-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2009232382A (ja) * | 2008-03-25 | 2009-10-08 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| US8285075B2 (en) | 2008-03-25 | 2012-10-09 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2015122110A (ja) * | 2010-02-04 | 2015-07-02 | マイクロソフト コーポレーション | 高ダイナミック・レンジ画像の発生およびレンダリング |
| US9978130B2 (en) | 2010-02-04 | 2018-05-22 | Microsoft Technology Licensing, Llc | High dynamic range image generation and rendering |
| KR20150053225A (ko) | 2013-11-07 | 2015-05-15 | 소니 주식회사 | 화상 처리 회로, 화상 처리 방법, 및, 표시 장치 |
| US9288403B2 (en) | 2013-11-07 | 2016-03-15 | Sony Corporation | Image processing circuit, image processing method, and display device |
| US9538091B2 (en) | 2013-12-12 | 2017-01-03 | Joled Inc. | Imaging apparatus, imaging signal processing circuit, imaging signal processing method, display apparatus, image signal processing circuit, and image signal processing method |
| US20210073960A1 (en) * | 2019-09-11 | 2021-03-11 | Canon Kabushiki Kaisha | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium |
| JP2021044700A (ja) * | 2019-09-11 | 2021-03-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
| US11928798B2 (en) | 2019-09-11 | 2024-03-12 | Canon Kabushiki Kaisha | Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3553999B2 (ja) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100580911B1 (ko) | 화상합성방법 및 촬상장치 | |
| US6204881B1 (en) | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range | |
| US7030913B2 (en) | White balance control apparatus and method, and image pickup apparatus | |
| KR20080102117A (ko) | 화상신호처리장치 및 화상신호처리방법 | |
| JP2010136224A (ja) | 撮像装置及び撮像方法 | |
| US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JP3495768B2 (ja) | 画像合成装置 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2012134745A (ja) | 画像信号処理装置 | |
| JP4530149B2 (ja) | ハイダイナミックレンジカメラシステム | |
| JPH10155158A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
| JP2004048562A (ja) | ノイズ低減回路及び撮像装置 | |
| JP3811610B2 (ja) | 撮像装置 | |
| JP6886026B2 (ja) | 撮像装置 | |
| JP2004032171A (ja) | 撮像装置 | |
| JP3426139B2 (ja) | 映像信号処理方法とその装置および撮像装置 | |
| JPH04172086A (ja) | 撮像装置 | |
| JPH05183805A (ja) | 撮像装置 | |
| JP2006109046A (ja) | 撮像装置 | |
| JP2004048563A (ja) | 撮像装置および画像処理方法 | |
| JP2001103507A (ja) | 撮像装置及び画像処理方法 | |
| JP2002262301A (ja) | 撮像装置 | |
| JP2023064501A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040506 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |