JP4272443B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4272443B2 JP4272443B2 JP2003028652A JP2003028652A JP4272443B2 JP 4272443 B2 JP4272443 B2 JP 4272443B2 JP 2003028652 A JP2003028652 A JP 2003028652A JP 2003028652 A JP2003028652 A JP 2003028652A JP 4272443 B2 JP4272443 B2 JP 4272443B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- level conversion
- level
- conversion coefficient
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 121
- 230000006835 compression Effects 0.000 claims description 29
- 238000007906 compression Methods 0.000 claims description 29
- 230000010354 integration Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 7
- 230000001934 delay Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタルの画像処理装置に関し、特に、ダイナミックレンジの広い画像を得ることができる画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来の画像処理装置には、広いダイナミックレンジの画像を得ることができるものもある（例えば、特許文献１参照）。
【０００３】
図９は、従来の画像処理装置の構成図を示す。
【０００４】
図９に示すように、従来の画像処理装置は、１フィールドごとに露光時間の短い画像信号と露光時間の長い画像信号とが撮像素子１から順次出力され、両方の画像信号が所定の処理後に合成されて画像信号となるもので、被写体が撮像素子１により短い露光時間と長い露光時間で撮像され、露光時間の短い画像信号はメモリ２に蓄積される。メモリ２に蓄積された露光時間の短い画像信号は、タイミング制御部９により撮像素子１から出力される露光時間の長い画像信号とタイミングが合わされ、積算部３で露光時間の比が積算されレベル重み付け処理部５に出力される。レベル重み付け処理部５は、積算部３よりの露光時間の短い画像信号に、その画像信号のレベルに合わせて重み付け係数を積算する。一方、レベル重み付け処理部４は、撮像素子１から出力される露光時間の長い画像信号にその画像信号のレベルに合わせて重み付け係数を積算する。レベル重み付け処理部４とレベル重み付け処理部５により重み付けされた露光時間の短い画像信号と露光時間の長い画像信号とは、加算部６にて加算される。露光時間の短い画像信号と露光時間の長い画像信号の読出しのために撮像素子１で通常の読出し速度よりも速い読出しを行っているため、加算部６により加算された画像信号は、加算速度変換部７でモニタなどの出力系の速度に合わせて画像信号速度が変換され、レベル圧縮部８では出力系のダイナミックレンジに合わせて画像信号レベルの高い部分が圧縮され、モニタなどに出力される。
【０００５】
従って、従来の画像処理装置は、被写体の暗い部分では露光時間の長い画像信号を使用し、被写体の明るい部分では露光時間の短い信号を使用し、画像信号の高レベル部は非線形圧縮により圧縮され、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジの画像を得ている。
【０００６】
【特許文献１】
特開平６−１４１２２９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置は、上記したごとく露光時間の短い画像信号に露光時間の比を積算して露光時間の長い画像信号にレベルを合わせ画像信号の処理を行っているため、処理が複雑で画像信号のビット数が増加し、それに伴い回路規模が増大してしまうという問題があった。
【０００８】
また、画像信号に対する演算回数が多く、処理遅延の増加や、演算誤差の累積により微小な画像情報が欠落するという問題もあった。
【０００９】
さらに、カラー画像信号の場合には、画像信号を輝度信号と色差信号に分け、輝度信号で非線形変化の変化率で色差信号を制御しているため、輝度信号の変化率を求める演算が必要であり、さらに回路規模が増大するという問題があった。
【００１０】
本発明は、このような従来の問題を解決するためになされたもので、広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置および画像処理方法を提供するものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、露光時間の異なるロング画像信号およびショート画像信号を出力する画像信号入力部と、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出する重み付け係数演算部と、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出する第１のレベル係数変換演算部と、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出する第２のレベル係数演算部と、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算する第１の加算部とを備えた構成を有している。
【００１２】
この構成により、レベル変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００１４】
また、この構成により、画像信号に対する演算回数を減らし、回路規模が増大することなく的確に簡潔構成とすることができる。
なお、前記第１のレベル変換係数演算部および前記第２のレベル変換係数演算部は、テーブルを用いて前記第１のレベル変換係数および前記第２のレベル変換係数を算出するのが好ましい。
【００１５】
また、本発明の画像処理装置は、前記ロング画像信号から高周波成分を取り出す第１の高周波成分取出部と、前記第１の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第１の高周波レベル変換係数を算出する第１の高周波レベル変換係数演算部と、前記ショート画像信号から高周波成分を取り出す第２の高周波成分取出部と、前記第２の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第２の高周波レベル変換係数を算出する第２の高周波レベル変換係数演算部と、前記ロング画像信号と前記第１のレベル変換係数とを積算したもの、および、前記第１の高周波成分取出部からの出力信号と前記第１の高周波レベル変換係数とを積算したものを加算する第２の加算部と、前記ショート画像信号と前記第２のレベル変換係数とを積算したもの、および前記第２の高周波成分取出部からの出力信号と前記第２の高周波レベル変換係数とを積算したものを加算する第３の加算部と、前記第１の加算部に代えて、前記第２の加算部からの出力信号と前記ロング画像信号の重み付け係数とを積算したものと、および、前記第３の加算部からの出力信号と前記ショート画像信号の重み付け係数とを積算したものとを加算する第４の加算部とを備えた構成を有している。
【００１６】
この構成により、画像の高周波成分を活かしてメリハリを利かせて暗い部分から明るい部分まで広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができる。
【００１７】
また、本発明の画像処理装置は、前記ロング画像信号および前記ショート画像信号が複数の色成分からなるカラー画像信号のとき、前記ロング画像信号の第１の代表値を算出する第１の代表値算出手段と、前記ショート画像信号の第２の代表値を算出する第２の代表値算出手段とを備え、前記重み付け係数演算部は前記第１の代表値から前記重み付け係数を算出し、前記第１のレベル変換係数演算部は前記第１の代表値から前記第１のレベル変換係数を算出し、前記第２のレベル変換係数演算部は前記第２の代表値から前記第２のレベル変換係数を算出する構成を有している。
【００１８】
この構成により、各色信号成分に対して同一のレベル変換係数を用い、色相の変化のない暗い部分から明るい部分まで広いダイナミックレンジで良質のカラーを回路規模が増大することなく簡潔に得ることができる。
【００２１】
本発明の画像処理方法は、露光時間の異なるロング画像信号およびショート画像信号を出力するステップと、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出するステップと、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出するステップと、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出するステップと、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算するステップとを備えている。
【００２２】
この画像処理方法により、マイクロプロセッサやデジタルシグナルプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。
【００２４】
また、この画像処理方法により、画像信号に対する演算回数を減らし、回路規模が増大することなく容易に簡潔にすることができる。
【００３３】
【本発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３４】
図１は、本発明の第１の実施の形態の画像処理装置のブロック図を示す。
【００３５】
図１に示すように、本発明の第１の実施の形態の画像処理装置は、露光時間の長い画像の画像信号（以下、ロング画像信号と称する）と露光時間の短い画像の画像信号（以下、ショート画像信号と称する）とを入力する画像信号入力部１１と、ロング画像信号のレベル変換係数演算部１２と、ショート画像信号のレベル変換係数演算部１３と、画像信号の重み付け係数を演算する重み付け係数演算部１４と、重み付け係数演算部１４の出力とロング画像信号のレベル変換係数演算部１２の出力とを積算する積算部１５ａと、重み付け係数演算部１４の出力とショート画像信号のレベル変換係数演算部１３の出力とを積算する積算部１５ｂと、積算部１５ａの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ａと、積算部１５ｂの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ｂと、積算部１６ａの出力と積算部１６ｂの出力とを合成するため加算する加算部１７から構成されている。
【００３６】
次に、本発明の第１の実施の形態の画像処理装置の動作につき説明する。
【００３７】
画像信号入力部１１は、露光時間の異なる同じ被写体の複数の画像の画像信号が同時に処理されるように同時化された画像信号を入力する。画像信号入力部１１よりの複数の画像信号のうちのロング画像信号は、ロング画像信号のレベル変換係数演算部１２に入力し、ロング画像信号のレベル変換係数が演算される。同様に、ショート画像信号もショート画像信号のレベル変換係数演算部１３に入力し、ショート画像信号のレベル変換係数が演算される。このロングとショートの画像信号のレベル変換係数の演算方法については後述することとする。
【００３８】
重み付け係数演算部１４では、ロング画像信号のレベルを元にロング画像信号とショート画像信号の重み付け係数をそれぞれ演算する。この重み付け係数の演算方法については後述することとする。
【００３９】
ロング画像信号のレベル変換係数演算部１２で演算されたロング画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ａで積算された後、画像信号入力部１１よりの画像信号に積算部１６ａで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたロング画像信号となる。同じく、ショート画像信号のレベル変換係数演算部１３で演算されたショート画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ｂで積算された後、画像信号入力部１１よりの画像信号に積算部１６ｂで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたショート画像信号となる。
【００４０】
加算部１７では、積算部１６ａ、１６ｂよりのロング画像信号とショート画像信号を加算し、画像信号をモニタなどに出力する。
【００４１】
続いて、ロング画像信号とショート画像信号のレベル変換係数の演算方法について説明する。
【００４２】
図２は、被写体輝度に対する画像信号のグラフを示し、横軸は被写体輝度、縦軸は画像信号レベルを示している。
【００４３】
図２に示すように、ロング画像信号２１は、被写体輝度が高い部分では飽和レベル２３で飽和しており、ショート画像信号２２は、ロング画像信号２１に対して露光時間比の分だけ傾きが小さいことが分かる。つまり、被写体輝度が高い被写体の明るい部分のロング画像信号２１の画像は白く飛んだ画像となり、被写体輝度が低い被写体の暗い部分のショート画像信号２２の画像は暗くてはっきりしない画像となることが分かる。
【００４４】
そこで、本発明の第１の実施の形態の画像処理装置は、明るい部分から暗い部分まで良質の画質を得るために、ロング画像信号２１とショート画像信号２２の両方の画像信号を被写体の明るさに応じて合成する。ロング画像信号２１とショート画像信号２２とを合成するために画像信号レベルの合わせを行うが、レベル合わせのためにショート画像信号２２を露光時間比倍した画像信号２４は、画像信号２４のレンジが大きくなるためビット数が増加したものとなり、画像信号の例えばモニタなどの出力先のビット数は限られているため、所定のビット数に収める処理が必要となる。
【００４５】
そこで、画像信号の高レベル部を非線形に圧縮するレベル圧縮を行い、画像信号のビット数の圧縮を行う。
【００４６】
図３は、ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフを示す。
【００４７】
図３の（ａ）は、ロング画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００４８】
ロング画像信号のレベル圧縮関数３１をＦロング（Ｘ）とすると、このＦロング（Ｘ）の算出値Ｙは、（式１）として表すことができる。
Ｙ＝Ｆロング（Ｘ） （式１）
Ｘ：入力画像信号
レベル圧縮関数３１は、ロング画像信号の低レベルの部分がブーストし、ロング画像信号の高レベルの部分は抑圧するような特性を自由に設定可能であり、これにより、画像信号レベルの低い部分つまり画像の暗い部分は強調されて見やすくなり、信号レベルの高い部分は信号飽和レベル以下に圧縮される。
【００４９】
また、被写体や用途に合わせて、レベル圧縮関数の特性をＳ字状にすることで、中間レベルの信号をより見やすくすることも可能であり、被写体の状態に合わせてマイコンなどで適応的にレベル圧縮関数３１の特性を制御することが可能であり、良好の画質とすることができる。
【００５０】
図３の（ｂ）は、ロング画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５１】
レベル変換係数３２をＡロング（Ｘ）とすると、Ａロング（Ｘ）は、レベル圧縮関数３１のＦロング（Ｘ）に対して（式２）として表すことができる。
Ａロング（Ｘ）＝Ｆロング（Ｘ）／Ｘ （式２）
（式３）に表すように、ロング画像信号にレベル変換係数３２を積算すると、レベル圧縮関数３１を用いたときと同じ結果を得ることができる。
Ａロング（Ｘ）＊Ｘ＝Ｆロング（Ｘ）／Ｘ＊Ｘ＝Ｙ （式３）
つまり、ロング画像信号にレベル変換係数３２を積算することで、信号の高レベル部の圧縮を行うことができる。
【００５２】
図３の（ｃ）は、ショート画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００５３】
ロング画像信号の場合と同様に、ショート画像信号のレベル圧縮関数３３をＦショート（Ｘ）とすると、このＦショート（Ｘ）の算出値Ｙは、（式４）として表すことができる。
Ｙ＝Ｆショート（Ｘ） （式４）
ここで、Ｆショート（Ｘ）は、（式５）を用いることで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
Ｆショート（Ｘ）＝Ｆロング（Ｘ＊Ｎ） （式５）
Ｎ：露光時間の比率
図３の（ｄ）は、ショート画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５４】
ロング画像信号の場合と同様に、ショート画像信号のレベル変換係数３４は、レベル圧縮関数３３のＦショート（Ｘ）に対して（式６）として表すことができる。
Ａショート（Ｘ）＝Ｆショート（Ｘ）／Ｘ （式６）
（式７）に示すように、ショート画像信号にレベル変換係数３４を積算すると、レベル圧縮関数３３を用いた時と同じ結果を得ることができる。
Ａショート（Ｘ）＊Ｘ＝Ｆショート（Ｘ）／Ｘ＊Ｘ＝Ｙ （式７）
つまり、ショート画像信号にレベル変換係数３４を積算することで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
なお、図３の（ｂ）と図３の（ｄ）とに示したレベル変換係数３２、３４は予めマイコンなどで計算し、テーブルとしてメモリなどに記録しておき、入力画像信号レベルでテーブルを参照することで、対応するレベル変換係数３２、３４を得ることができる。
【００５５】
また、図３の（ｂ）と図３（ｄ）とに示したレベル変換係数３２、３４の代表点を選び、代表点のみをテーブルとしてメモリなどに記録しておき、代表点の間は線形補間などで補完することも可能であり、この方法はメモリ削減の点でも好ましいものとなる。
【００５６】
図４は、画像信号に図３に示した変換係数を積算したときの特性のグラフを示し、横軸はレベル変換前の入力画像信号であり、縦軸はレベル変換後の出力画像信号である。ロング画像信号４１とショート画像信号４２ともに、入力が低レベルの部分は出力がブーストされており、入力が高レベルの部分は出力が抑圧されている。また、ロング画像信号４１とショート画像信号４２は、互いに入力が低レベルの部分で一致していることが分かる。
【００５７】
さらに、画像信号の重み付け係数の演算方法について説明する。
【００５８】
図５は、図１に示す重み付け係数演算部１４で演算される重み付け係数を示す。
【００５９】
重み付け係数演算部１４では、ロング画像信号の入力レベルに応じてロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を定める。入力レベルが低い部分ではロング画像信号の重み付け係数５１を大きく、入力レベルが大きい部分ではショート画像信号の重み付け係数５２を大きくする。
【００６０】
これにより、被写体の暗い部分でノイズによる画質劣化の少ないロング画像信号を使用し、明るい部分では飽和していないショート画像信号を使用することで、良質の画質を得ることができる。
【００６１】
また、ロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２の和を常に１に保ちつつ、信号レベルに従ってロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を変化させることで、重み付け係数を積算した画像信号を加算したときにレベル変動がなく、複数の画像信号を信号レベルに従った比率で滑らかに合成することができる。
【００６２】
さらに、画像信号乗り換え開始レベル５３と、画像信号乗り換えの傾き５４は可変とすることで、様々な条件の画像に対応することができる。
【００６３】
なお、本発明の第１の実施の形態の画像処理装置は、ロング画像信号とショート画像信号とをそれぞれ別々に処理することとしたが、ロング画像信号とショート画像信号とで行われる処理はレベル変換係数の値を除いて同じであるため、処理系を１つにして、画像信号を２倍速化してロング画像信号とショート画像信号を時分割信号としてレベル変換係数の値のみを切替えるようにし、重み付け係数演算部１４にはロング画像信号のみが入力されるようスイッチングし、加算部１７にて画像信号同士を加算処理する部分で速度変換を行うこともでき、回路規模の点から好ましいものとすることができる。
【００６４】
また、本発明の第１の実施の形態の画像処理装置は、露光時間の異なる２つの画像信号につき説明したが、３つ以上の異なる露光時間の画像信号を用いても同様の処理を行うことができ、以下の実施の形態の画像処理装置でも同様である。
【００６５】
以上のように、本発明の第１の実施の形態の画像処理装置は、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数による重み付けにより、画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに、レベル変換係数と重み付け係数を積算することで画像信号に対する演算回数が少なく、処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００６６】
また、レベル変換係数を用いることで画像信号のレベル合わせと高レベル部のレベル圧縮とを同時に行うことができ、画像信号のレベル合わせの積算によるビット数増加に伴う回路規模の増大を容易に避けることができる。
【００６７】
図６は、本発明の第２の実施の形態の画像処理装置のブロック図を示す。
【００６８】
図６に示すように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波を取り出す高周波成分取出部であるＨＰＦ（ハイパスフィルタ）６５ａ、６５ｂと、ショート画像信号の高周波レベル変換係数演算部６６と、ロング画像信号の高周波レベル変換係数演算部６７とを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００６９】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７０】
ＨＰＦ６５ａでは、入力されたロング画像信号の高周波成分を抽出し、ＨＰＦ６５ｂでは、入力されたショート画像信号の高周波成分を抽出する。高周波レベル圧縮係数演算部６６はショート画像信号の高周波成分を入力として、高周波レベル変換係数を求める。ここで、予め演算しておく高周波レベル変換係数のテーブルは、ショート画像信号のレベル変換係数と異なった、高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておくことで、後に全ての画像信号を加算したときに高周波成分が残り、メリハリのある画像を得ることができる。
【００７１】
高周波レベル圧縮係数演算部６７も同様にロング画像信号の高周波成分を入力として、高周波レベル変換係数を求め、レベル変換係数にはロング画像信号のレベル変換係数とは異なった高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておく。
【００７２】
加算部７０ａは、積算部６８ａでレベル変換係数演算部６２よりのレベル変換係数が積算された画像信号入力部６１よりのロング画像信号と、積算部６９ａで高周波レベル変換係数演算部６７よりの高周波レベル変換係数が積算されたＨＰＦ６５ａよりの高周波成分のロング画像信号とを加算して合成する。
【００７３】
同様に、加算部７０ｂは、積算部６８ｂでレベル変換係数演算部６３よりのレベル変換係数が積算された画像信号入力部６１よりのショート画像信号と、積算部６９ｂで高周波レベル変換係数演算部６６よりの高周波レベル変換係数が積算されたＨＰＦ６５ｂよりの高周波成分のショート画像信号とを加算して合成する。
【００７４】
加算部７２は、加算部７０ａよりの合成されたロング画像信号に積算部７１ａで重み付けがされたロング画像信号と、加算部７０ｂよりの合成されたショート画像信号に積算部７１ｂで重み付けがされたショート画像信号とを加算する。加算部７２で加算された画像信号はモニタなどに出力され画像表示が行われる。
【００７５】
以上のように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波成分を取り出し、高周波成分に適した特性の高周波レベル変換係数を積算することで、従来のように画像信号レベル合わせによるビット数増加に伴う回路規模の増加なしに、画像信号の高周波成分によるメリハリの利いた広いダイナミックレンジの良質の画像を得ることができる。
【００７６】
図７は、本発明の第３の実施の形態の画像処理装置のブロック図を示す。
【００７７】
本発明の第３の実施の形態の画像処理装置は、カラー画像の処理を行うもので、図７に示すように、ロング画像信号の代表値算出部８２ａと、ショート画像信号の代表値算出部８２ｂとを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００７８】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７９】
カラー画像を扱う場合、画像データはレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の原色信号か、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）の補色信号として入力されることが一般的である。各色成分の画像信号はそれぞれ画像信号レベルが異なるため、第１の実施の形態をそのまま実施した場合、非線形変換によってそれぞれの色成分の画像信号の比率が変わってしまい、色相が変化してしまうことがある。
【００８０】
本発明の第３の実施の形態の画像処理装置は、代表値算出部８２ａ、８２ｂが各色成分の画像信号から代表値を算出し、代表値としては、補色信号においては輝度値となる平均値や、最大値を算出する。原色データの画像信号の場合には、輝度値は、一般的な（式８）により算出し、代表値とすることができる。
輝度値＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ （式８）
代表値算出部８２ａ、８２ｂにて算出された、ロング画像信号とショート画像信号の各々の代表値を入力としてロング画像信号のレベル変換係数演算部８３と画像信号のレベル変換係数演算部８４でそれぞれレベル変換係数を求める。また、重み付け係数演算部８５への入力も、代表値算出部８２ａにて算出されたロング画像信号の代表値とする。以降、本発明の第１の実施の形態の画像処理装置と同様に、元の各々の色成分の画像信号にレベル変換係数と重み付け係数が積算されたもの同士が加算される。
【００８１】
以上のように、本発明の第３の実施の形態の画像処理装置は、入力された色成分の各画像信号に、代表値により求められた同じ係数が積算されるため、各色成分の比率が変化することはなく、画像信号レベル合わせによるビット数増加に伴う回路規模の増加や、画像信号の変化率を得るための割り算処理なしに、色相の変化のない広いダイナミックレンジの良質のカラー画像を得ることができる。
【００８２】
図８は、本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図を示す。
【００８３】
本発明の実施の形態の画像処理装置に用いられる撮像装置は、撮像素子９１と、撮像素子９１よりのアナログ画像信号の画像処理を行うアナログ処理部９２と、アナログ画像信号をディジタル画像信号に変換するＡＤ変換部９３と、ディジタル画像信号の画像処理を行う画像信号処理ユニット９４から構成されている。画像信号処理ユニット９４は、画像信号の同時化を行うためのタイミング制御部９５と、メモリ９６と、ロング画像信号とショート画像信号を合成する画像信号合成部９７と、画像処理部９８から構成されている。
【００８４】
撮像素子９１は固体撮像素子（ＣＣＤやＣＭＯＳ）のセンサで構成され、光を電気信号に変換する。画像信号はアナログ処理部９２で、相関２重サンプリング（ＣＤＳ）や自動振幅制御（ＡＧＣ）といった処理を行った後、ＡＤ変換部９３にてディジタル化され、画像信号処理部ユニット９４に入力する。
【００８５】
タイミング制御部９５は、メモリ９６を使用して画像信号を一旦記録し、ロング画像信号とショート画像信号との同じ被写体の画像信号が同時処理されるように両者のタイミングを合わせ、ロング画像信号とショート画像信号との合成を行い、その後画像処理部９８で合成した画像信号の画像信号処理を行って出力する。
【００８６】
また、露光時間の異なる複数の画像信号を得るために、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを露光時間の異なる画像の個数倍の速度で動かし、画像データをタイミング制御部９５により一旦メモリ９６に記録しておき、他の画像信号とタイミングを合わせて読み出すことを行っている。
【００８７】
そのため、画面の単位で露光時間を切替える場合には、（式９）のメモリ容量が必要となり、
メモリ容量＝１画面全体分のデータ＊（露光時間の異なる画像の個数−１）（式９）
行の単位で露光時間を切替える場合には、（式１０）のメモリ容量が必要となる。
メモリ容量＝１ライン分のデータ＊（露光時間の異なる画像の個数−１）（式１０）
また、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを複数系列用意し、タイミング制御部９５とメモリ９６による画像信号の同時化が必要ない構成にすることもできる。
【００８８】
また、撮像系を複数にすることで撮像した複数の画像間に時間的なずれがない構成とすることもできる。
【００８９】
さらに、画像信号の周波数特性を変えずに画像信号レベルを抑える光量制限フィルタ（以下、ＮＤフィルタと称する）を撮像素子９１に市松状またはストライプ状に配置することで、露光時間を変化させる方法と同様の明るさの異なる複数の画像を得ることもできる。この場合には、高輝度画像と低輝度画像の画素がＮＤフィルタにより交互に出力されるため、時間的なずれを少なくでき、かつタイミング制御部９５による同時化も容易にすることができる。
【００９０】
以上のように、上記した撮像装置を本発明の実施の形態の画像処理装置に用いることにより、明るさの異なる複数の画像を撮像し、それらを合成する構成により、暗い部分の黒つぶれや、明るい部分の白飛びのない、良質の画像を得ることのできる広いダイナミックレンジの画像を得ることができる。
【００９１】
なお、上記の実施の形態では、本発明に関する画像処理装置について説明したが各処理を手順として画像処理装置のプログラムとし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９２】
また、このプログラムを記憶する画像処理装置の記憶媒体とし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９３】
【発明の効果】
以上説明したように、本発明によれば、露光時間の異なる複数の画像信号を入力し、レベル変換と重み付けを同時に行う変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像処理装置のブロック図
【図２】被写体輝度に対する画像信号のグラフの図
【図３】ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフの図
【図４】画像信号に図３に示した変換係数を積算したときの特性のグラフの図
【図５】図１に示す重み付け係数演算部で演算される重み付け係数を示す図
【図６】本発明の第２の実施の形態の画像処理装置のブロック図
【図７】本発明の第３の実施の形態の画像処理装置のブロック図
【図８】本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図
【図９】従来の画像処理装置の構成図
【符号の説明】
１１、６１、８１ 画像信号入力部
１２、６２、８３ ロング画像信号のレベル変換係数演算部
１３、６３、８４ ショート画像信号のレベル変換係数演算部
１４、６４、８５ 重み付け係数演算部
１５ａ、１５ｂ、１６ａ、１６ｂ、６８ａ、６８ｂ、６９ａ、６９ｂ、７１ａ、７１ｂ 積算部
１７、７０ａ、７０ｂ、７２ 加算部
２１、４１ ロング画像信号
２２、４２ ショート画像信号
３１ ロング画像信号のレベル圧縮関数
３２ ロング画像信号のレベル変換係数
３３ ショート画像信号のレベル圧縮関数
３４ ショート画像信号のレベル変換係数
５１ ロング画像信号の重み付け係数
５２ ショート画像信号の重み付け係数
６５ａ、６５ｂ ＨＰＦ
６６ ロング画像信号の高周波レベル変換係数演算部
６７ ショート画像信号の高周波レベル変換係数演算部
８２ａ、８２ｂ 代表値算出部
９１ 撮像素子
９２ アナログ処理部
９３ ＡＤ変換部
９４ 画像信号処理ユニット
９５ タイミング制御部
９６ メモリ
９７ 画像信号合成部
９８ 画像処理部
【発明の属する技術分野】
本発明は、ディジタルの画像処理装置に関し、特に、ダイナミックレンジの広い画像を得ることができる画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来の画像処理装置には、広いダイナミックレンジの画像を得ることができるものもある（例えば、特許文献１参照）。
【０００３】
図９は、従来の画像処理装置の構成図を示す。
【０００４】
図９に示すように、従来の画像処理装置は、１フィールドごとに露光時間の短い画像信号と露光時間の長い画像信号とが撮像素子１から順次出力され、両方の画像信号が所定の処理後に合成されて画像信号となるもので、被写体が撮像素子１により短い露光時間と長い露光時間で撮像され、露光時間の短い画像信号はメモリ２に蓄積される。メモリ２に蓄積された露光時間の短い画像信号は、タイミング制御部９により撮像素子１から出力される露光時間の長い画像信号とタイミングが合わされ、積算部３で露光時間の比が積算されレベル重み付け処理部５に出力される。レベル重み付け処理部５は、積算部３よりの露光時間の短い画像信号に、その画像信号のレベルに合わせて重み付け係数を積算する。一方、レベル重み付け処理部４は、撮像素子１から出力される露光時間の長い画像信号にその画像信号のレベルに合わせて重み付け係数を積算する。レベル重み付け処理部４とレベル重み付け処理部５により重み付けされた露光時間の短い画像信号と露光時間の長い画像信号とは、加算部６にて加算される。露光時間の短い画像信号と露光時間の長い画像信号の読出しのために撮像素子１で通常の読出し速度よりも速い読出しを行っているため、加算部６により加算された画像信号は、加算速度変換部７でモニタなどの出力系の速度に合わせて画像信号速度が変換され、レベル圧縮部８では出力系のダイナミックレンジに合わせて画像信号レベルの高い部分が圧縮され、モニタなどに出力される。
【０００５】
従って、従来の画像処理装置は、被写体の暗い部分では露光時間の長い画像信号を使用し、被写体の明るい部分では露光時間の短い信号を使用し、画像信号の高レベル部は非線形圧縮により圧縮され、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジの画像を得ている。
【０００６】
【特許文献１】
特開平６−１４１２２９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置は、上記したごとく露光時間の短い画像信号に露光時間の比を積算して露光時間の長い画像信号にレベルを合わせ画像信号の処理を行っているため、処理が複雑で画像信号のビット数が増加し、それに伴い回路規模が増大してしまうという問題があった。
【０００８】
また、画像信号に対する演算回数が多く、処理遅延の増加や、演算誤差の累積により微小な画像情報が欠落するという問題もあった。
【０００９】
さらに、カラー画像信号の場合には、画像信号を輝度信号と色差信号に分け、輝度信号で非線形変化の変化率で色差信号を制御しているため、輝度信号の変化率を求める演算が必要であり、さらに回路規模が増大するという問題があった。
【００１０】
本発明は、このような従来の問題を解決するためになされたもので、広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置および画像処理方法を提供するものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、露光時間の異なるロング画像信号およびショート画像信号を出力する画像信号入力部と、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出する重み付け係数演算部と、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出する第１のレベル係数変換演算部と、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出する第２のレベル係数演算部と、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算する第１の加算部とを備えた構成を有している。
【００１２】
この構成により、レベル変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００１４】
また、この構成により、画像信号に対する演算回数を減らし、回路規模が増大することなく的確に簡潔構成とすることができる。
なお、前記第１のレベル変換係数演算部および前記第２のレベル変換係数演算部は、テーブルを用いて前記第１のレベル変換係数および前記第２のレベル変換係数を算出するのが好ましい。
【００１５】
また、本発明の画像処理装置は、前記ロング画像信号から高周波成分を取り出す第１の高周波成分取出部と、前記第１の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第１の高周波レベル変換係数を算出する第１の高周波レベル変換係数演算部と、前記ショート画像信号から高周波成分を取り出す第２の高周波成分取出部と、前記第２の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第２の高周波レベル変換係数を算出する第２の高周波レベル変換係数演算部と、前記ロング画像信号と前記第１のレベル変換係数とを積算したもの、および、前記第１の高周波成分取出部からの出力信号と前記第１の高周波レベル変換係数とを積算したものを加算する第２の加算部と、前記ショート画像信号と前記第２のレベル変換係数とを積算したもの、および前記第２の高周波成分取出部からの出力信号と前記第２の高周波レベル変換係数とを積算したものを加算する第３の加算部と、前記第１の加算部に代えて、前記第２の加算部からの出力信号と前記ロング画像信号の重み付け係数とを積算したものと、および、前記第３の加算部からの出力信号と前記ショート画像信号の重み付け係数とを積算したものとを加算する第４の加算部とを備えた構成を有している。
【００１６】
この構成により、画像の高周波成分を活かしてメリハリを利かせて暗い部分から明るい部分まで広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができる。
【００１７】
また、本発明の画像処理装置は、前記ロング画像信号および前記ショート画像信号が複数の色成分からなるカラー画像信号のとき、前記ロング画像信号の第１の代表値を算出する第１の代表値算出手段と、前記ショート画像信号の第２の代表値を算出する第２の代表値算出手段とを備え、前記重み付け係数演算部は前記第１の代表値から前記重み付け係数を算出し、前記第１のレベル変換係数演算部は前記第１の代表値から前記第１のレベル変換係数を算出し、前記第２のレベル変換係数演算部は前記第２の代表値から前記第２のレベル変換係数を算出する構成を有している。
【００１８】
この構成により、各色信号成分に対して同一のレベル変換係数を用い、色相の変化のない暗い部分から明るい部分まで広いダイナミックレンジで良質のカラーを回路規模が増大することなく簡潔に得ることができる。
【００２１】
本発明の画像処理方法は、露光時間の異なるロング画像信号およびショート画像信号を出力するステップと、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出するステップと、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出するステップと、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出するステップと、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算するステップとを備えている。
【００２２】
この画像処理方法により、マイクロプロセッサやデジタルシグナルプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。
【００２４】
また、この画像処理方法により、画像信号に対する演算回数を減らし、回路規模が増大することなく容易に簡潔にすることができる。
【００３３】
【本発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３４】
図１は、本発明の第１の実施の形態の画像処理装置のブロック図を示す。
【００３５】
図１に示すように、本発明の第１の実施の形態の画像処理装置は、露光時間の長い画像の画像信号（以下、ロング画像信号と称する）と露光時間の短い画像の画像信号（以下、ショート画像信号と称する）とを入力する画像信号入力部１１と、ロング画像信号のレベル変換係数演算部１２と、ショート画像信号のレベル変換係数演算部１３と、画像信号の重み付け係数を演算する重み付け係数演算部１４と、重み付け係数演算部１４の出力とロング画像信号のレベル変換係数演算部１２の出力とを積算する積算部１５ａと、重み付け係数演算部１４の出力とショート画像信号のレベル変換係数演算部１３の出力とを積算する積算部１５ｂと、積算部１５ａの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ａと、積算部１５ｂの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ｂと、積算部１６ａの出力と積算部１６ｂの出力とを合成するため加算する加算部１７から構成されている。
【００３６】
次に、本発明の第１の実施の形態の画像処理装置の動作につき説明する。
【００３７】
画像信号入力部１１は、露光時間の異なる同じ被写体の複数の画像の画像信号が同時に処理されるように同時化された画像信号を入力する。画像信号入力部１１よりの複数の画像信号のうちのロング画像信号は、ロング画像信号のレベル変換係数演算部１２に入力し、ロング画像信号のレベル変換係数が演算される。同様に、ショート画像信号もショート画像信号のレベル変換係数演算部１３に入力し、ショート画像信号のレベル変換係数が演算される。このロングとショートの画像信号のレベル変換係数の演算方法については後述することとする。
【００３８】
重み付け係数演算部１４では、ロング画像信号のレベルを元にロング画像信号とショート画像信号の重み付け係数をそれぞれ演算する。この重み付け係数の演算方法については後述することとする。
【００３９】
ロング画像信号のレベル変換係数演算部１２で演算されたロング画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ａで積算された後、画像信号入力部１１よりの画像信号に積算部１６ａで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたロング画像信号となる。同じく、ショート画像信号のレベル変換係数演算部１３で演算されたショート画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ｂで積算された後、画像信号入力部１１よりの画像信号に積算部１６ｂで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたショート画像信号となる。
【００４０】
加算部１７では、積算部１６ａ、１６ｂよりのロング画像信号とショート画像信号を加算し、画像信号をモニタなどに出力する。
【００４１】
続いて、ロング画像信号とショート画像信号のレベル変換係数の演算方法について説明する。
【００４２】
図２は、被写体輝度に対する画像信号のグラフを示し、横軸は被写体輝度、縦軸は画像信号レベルを示している。
【００４３】
図２に示すように、ロング画像信号２１は、被写体輝度が高い部分では飽和レベル２３で飽和しており、ショート画像信号２２は、ロング画像信号２１に対して露光時間比の分だけ傾きが小さいことが分かる。つまり、被写体輝度が高い被写体の明るい部分のロング画像信号２１の画像は白く飛んだ画像となり、被写体輝度が低い被写体の暗い部分のショート画像信号２２の画像は暗くてはっきりしない画像となることが分かる。
【００４４】
そこで、本発明の第１の実施の形態の画像処理装置は、明るい部分から暗い部分まで良質の画質を得るために、ロング画像信号２１とショート画像信号２２の両方の画像信号を被写体の明るさに応じて合成する。ロング画像信号２１とショート画像信号２２とを合成するために画像信号レベルの合わせを行うが、レベル合わせのためにショート画像信号２２を露光時間比倍した画像信号２４は、画像信号２４のレンジが大きくなるためビット数が増加したものとなり、画像信号の例えばモニタなどの出力先のビット数は限られているため、所定のビット数に収める処理が必要となる。
【００４５】
そこで、画像信号の高レベル部を非線形に圧縮するレベル圧縮を行い、画像信号のビット数の圧縮を行う。
【００４６】
図３は、ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフを示す。
【００４７】
図３の（ａ）は、ロング画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００４８】
ロング画像信号のレベル圧縮関数３１をＦロング（Ｘ）とすると、このＦロング（Ｘ）の算出値Ｙは、（式１）として表すことができる。
Ｙ＝Ｆロング（Ｘ） （式１）
Ｘ：入力画像信号
レベル圧縮関数３１は、ロング画像信号の低レベルの部分がブーストし、ロング画像信号の高レベルの部分は抑圧するような特性を自由に設定可能であり、これにより、画像信号レベルの低い部分つまり画像の暗い部分は強調されて見やすくなり、信号レベルの高い部分は信号飽和レベル以下に圧縮される。
【００４９】
また、被写体や用途に合わせて、レベル圧縮関数の特性をＳ字状にすることで、中間レベルの信号をより見やすくすることも可能であり、被写体の状態に合わせてマイコンなどで適応的にレベル圧縮関数３１の特性を制御することが可能であり、良好の画質とすることができる。
【００５０】
図３の（ｂ）は、ロング画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５１】
レベル変換係数３２をＡロング（Ｘ）とすると、Ａロング（Ｘ）は、レベル圧縮関数３１のＦロング（Ｘ）に対して（式２）として表すことができる。
Ａロング（Ｘ）＝Ｆロング（Ｘ）／Ｘ （式２）
（式３）に表すように、ロング画像信号にレベル変換係数３２を積算すると、レベル圧縮関数３１を用いたときと同じ結果を得ることができる。
Ａロング（Ｘ）＊Ｘ＝Ｆロング（Ｘ）／Ｘ＊Ｘ＝Ｙ （式３）
つまり、ロング画像信号にレベル変換係数３２を積算することで、信号の高レベル部の圧縮を行うことができる。
【００５２】
図３の（ｃ）は、ショート画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００５３】
ロング画像信号の場合と同様に、ショート画像信号のレベル圧縮関数３３をＦショート（Ｘ）とすると、このＦショート（Ｘ）の算出値Ｙは、（式４）として表すことができる。
Ｙ＝Ｆショート（Ｘ） （式４）
ここで、Ｆショート（Ｘ）は、（式５）を用いることで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
Ｆショート（Ｘ）＝Ｆロング（Ｘ＊Ｎ） （式５）
Ｎ：露光時間の比率
図３の（ｄ）は、ショート画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５４】
ロング画像信号の場合と同様に、ショート画像信号のレベル変換係数３４は、レベル圧縮関数３３のＦショート（Ｘ）に対して（式６）として表すことができる。
Ａショート（Ｘ）＝Ｆショート（Ｘ）／Ｘ （式６）
（式７）に示すように、ショート画像信号にレベル変換係数３４を積算すると、レベル圧縮関数３３を用いた時と同じ結果を得ることができる。
Ａショート（Ｘ）＊Ｘ＝Ｆショート（Ｘ）／Ｘ＊Ｘ＝Ｙ （式７）
つまり、ショート画像信号にレベル変換係数３４を積算することで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
なお、図３の（ｂ）と図３の（ｄ）とに示したレベル変換係数３２、３４は予めマイコンなどで計算し、テーブルとしてメモリなどに記録しておき、入力画像信号レベルでテーブルを参照することで、対応するレベル変換係数３２、３４を得ることができる。
【００５５】
また、図３の（ｂ）と図３（ｄ）とに示したレベル変換係数３２、３４の代表点を選び、代表点のみをテーブルとしてメモリなどに記録しておき、代表点の間は線形補間などで補完することも可能であり、この方法はメモリ削減の点でも好ましいものとなる。
【００５６】
図４は、画像信号に図３に示した変換係数を積算したときの特性のグラフを示し、横軸はレベル変換前の入力画像信号であり、縦軸はレベル変換後の出力画像信号である。ロング画像信号４１とショート画像信号４２ともに、入力が低レベルの部分は出力がブーストされており、入力が高レベルの部分は出力が抑圧されている。また、ロング画像信号４１とショート画像信号４２は、互いに入力が低レベルの部分で一致していることが分かる。
【００５７】
さらに、画像信号の重み付け係数の演算方法について説明する。
【００５８】
図５は、図１に示す重み付け係数演算部１４で演算される重み付け係数を示す。
【００５９】
重み付け係数演算部１４では、ロング画像信号の入力レベルに応じてロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を定める。入力レベルが低い部分ではロング画像信号の重み付け係数５１を大きく、入力レベルが大きい部分ではショート画像信号の重み付け係数５２を大きくする。
【００６０】
これにより、被写体の暗い部分でノイズによる画質劣化の少ないロング画像信号を使用し、明るい部分では飽和していないショート画像信号を使用することで、良質の画質を得ることができる。
【００６１】
また、ロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２の和を常に１に保ちつつ、信号レベルに従ってロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を変化させることで、重み付け係数を積算した画像信号を加算したときにレベル変動がなく、複数の画像信号を信号レベルに従った比率で滑らかに合成することができる。
【００６２】
さらに、画像信号乗り換え開始レベル５３と、画像信号乗り換えの傾き５４は可変とすることで、様々な条件の画像に対応することができる。
【００６３】
なお、本発明の第１の実施の形態の画像処理装置は、ロング画像信号とショート画像信号とをそれぞれ別々に処理することとしたが、ロング画像信号とショート画像信号とで行われる処理はレベル変換係数の値を除いて同じであるため、処理系を１つにして、画像信号を２倍速化してロング画像信号とショート画像信号を時分割信号としてレベル変換係数の値のみを切替えるようにし、重み付け係数演算部１４にはロング画像信号のみが入力されるようスイッチングし、加算部１７にて画像信号同士を加算処理する部分で速度変換を行うこともでき、回路規模の点から好ましいものとすることができる。
【００６４】
また、本発明の第１の実施の形態の画像処理装置は、露光時間の異なる２つの画像信号につき説明したが、３つ以上の異なる露光時間の画像信号を用いても同様の処理を行うことができ、以下の実施の形態の画像処理装置でも同様である。
【００６５】
以上のように、本発明の第１の実施の形態の画像処理装置は、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数による重み付けにより、画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに、レベル変換係数と重み付け係数を積算することで画像信号に対する演算回数が少なく、処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００６６】
また、レベル変換係数を用いることで画像信号のレベル合わせと高レベル部のレベル圧縮とを同時に行うことができ、画像信号のレベル合わせの積算によるビット数増加に伴う回路規模の増大を容易に避けることができる。
【００６７】
図６は、本発明の第２の実施の形態の画像処理装置のブロック図を示す。
【００６８】
図６に示すように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波を取り出す高周波成分取出部であるＨＰＦ（ハイパスフィルタ）６５ａ、６５ｂと、ショート画像信号の高周波レベル変換係数演算部６６と、ロング画像信号の高周波レベル変換係数演算部６７とを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００６９】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７０】
ＨＰＦ６５ａでは、入力されたロング画像信号の高周波成分を抽出し、ＨＰＦ６５ｂでは、入力されたショート画像信号の高周波成分を抽出する。高周波レベル圧縮係数演算部６６はショート画像信号の高周波成分を入力として、高周波レベル変換係数を求める。ここで、予め演算しておく高周波レベル変換係数のテーブルは、ショート画像信号のレベル変換係数と異なった、高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておくことで、後に全ての画像信号を加算したときに高周波成分が残り、メリハリのある画像を得ることができる。
【００７１】
高周波レベル圧縮係数演算部６７も同様にロング画像信号の高周波成分を入力として、高周波レベル変換係数を求め、レベル変換係数にはロング画像信号のレベル変換係数とは異なった高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておく。
【００７２】
加算部７０ａは、積算部６８ａでレベル変換係数演算部６２よりのレベル変換係数が積算された画像信号入力部６１よりのロング画像信号と、積算部６９ａで高周波レベル変換係数演算部６７よりの高周波レベル変換係数が積算されたＨＰＦ６５ａよりの高周波成分のロング画像信号とを加算して合成する。
【００７３】
同様に、加算部７０ｂは、積算部６８ｂでレベル変換係数演算部６３よりのレベル変換係数が積算された画像信号入力部６１よりのショート画像信号と、積算部６９ｂで高周波レベル変換係数演算部６６よりの高周波レベル変換係数が積算されたＨＰＦ６５ｂよりの高周波成分のショート画像信号とを加算して合成する。
【００７４】
加算部７２は、加算部７０ａよりの合成されたロング画像信号に積算部７１ａで重み付けがされたロング画像信号と、加算部７０ｂよりの合成されたショート画像信号に積算部７１ｂで重み付けがされたショート画像信号とを加算する。加算部７２で加算された画像信号はモニタなどに出力され画像表示が行われる。
【００７５】
以上のように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波成分を取り出し、高周波成分に適した特性の高周波レベル変換係数を積算することで、従来のように画像信号レベル合わせによるビット数増加に伴う回路規模の増加なしに、画像信号の高周波成分によるメリハリの利いた広いダイナミックレンジの良質の画像を得ることができる。
【００７６】
図７は、本発明の第３の実施の形態の画像処理装置のブロック図を示す。
【００７７】
本発明の第３の実施の形態の画像処理装置は、カラー画像の処理を行うもので、図７に示すように、ロング画像信号の代表値算出部８２ａと、ショート画像信号の代表値算出部８２ｂとを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００７８】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７９】
カラー画像を扱う場合、画像データはレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の原色信号か、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）の補色信号として入力されることが一般的である。各色成分の画像信号はそれぞれ画像信号レベルが異なるため、第１の実施の形態をそのまま実施した場合、非線形変換によってそれぞれの色成分の画像信号の比率が変わってしまい、色相が変化してしまうことがある。
【００８０】
本発明の第３の実施の形態の画像処理装置は、代表値算出部８２ａ、８２ｂが各色成分の画像信号から代表値を算出し、代表値としては、補色信号においては輝度値となる平均値や、最大値を算出する。原色データの画像信号の場合には、輝度値は、一般的な（式８）により算出し、代表値とすることができる。
輝度値＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ （式８）
代表値算出部８２ａ、８２ｂにて算出された、ロング画像信号とショート画像信号の各々の代表値を入力としてロング画像信号のレベル変換係数演算部８３と画像信号のレベル変換係数演算部８４でそれぞれレベル変換係数を求める。また、重み付け係数演算部８５への入力も、代表値算出部８２ａにて算出されたロング画像信号の代表値とする。以降、本発明の第１の実施の形態の画像処理装置と同様に、元の各々の色成分の画像信号にレベル変換係数と重み付け係数が積算されたもの同士が加算される。
【００８１】
以上のように、本発明の第３の実施の形態の画像処理装置は、入力された色成分の各画像信号に、代表値により求められた同じ係数が積算されるため、各色成分の比率が変化することはなく、画像信号レベル合わせによるビット数増加に伴う回路規模の増加や、画像信号の変化率を得るための割り算処理なしに、色相の変化のない広いダイナミックレンジの良質のカラー画像を得ることができる。
【００８２】
図８は、本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図を示す。
【００８３】
本発明の実施の形態の画像処理装置に用いられる撮像装置は、撮像素子９１と、撮像素子９１よりのアナログ画像信号の画像処理を行うアナログ処理部９２と、アナログ画像信号をディジタル画像信号に変換するＡＤ変換部９３と、ディジタル画像信号の画像処理を行う画像信号処理ユニット９４から構成されている。画像信号処理ユニット９４は、画像信号の同時化を行うためのタイミング制御部９５と、メモリ９６と、ロング画像信号とショート画像信号を合成する画像信号合成部９７と、画像処理部９８から構成されている。
【００８４】
撮像素子９１は固体撮像素子（ＣＣＤやＣＭＯＳ）のセンサで構成され、光を電気信号に変換する。画像信号はアナログ処理部９２で、相関２重サンプリング（ＣＤＳ）や自動振幅制御（ＡＧＣ）といった処理を行った後、ＡＤ変換部９３にてディジタル化され、画像信号処理部ユニット９４に入力する。
【００８５】
タイミング制御部９５は、メモリ９６を使用して画像信号を一旦記録し、ロング画像信号とショート画像信号との同じ被写体の画像信号が同時処理されるように両者のタイミングを合わせ、ロング画像信号とショート画像信号との合成を行い、その後画像処理部９８で合成した画像信号の画像信号処理を行って出力する。
【００８６】
また、露光時間の異なる複数の画像信号を得るために、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを露光時間の異なる画像の個数倍の速度で動かし、画像データをタイミング制御部９５により一旦メモリ９６に記録しておき、他の画像信号とタイミングを合わせて読み出すことを行っている。
【００８７】
そのため、画面の単位で露光時間を切替える場合には、（式９）のメモリ容量が必要となり、
メモリ容量＝１画面全体分のデータ＊（露光時間の異なる画像の個数−１）（式９）
行の単位で露光時間を切替える場合には、（式１０）のメモリ容量が必要となる。
メモリ容量＝１ライン分のデータ＊（露光時間の異なる画像の個数−１）（式１０）
また、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを複数系列用意し、タイミング制御部９５とメモリ９６による画像信号の同時化が必要ない構成にすることもできる。
【００８８】
また、撮像系を複数にすることで撮像した複数の画像間に時間的なずれがない構成とすることもできる。
【００８９】
さらに、画像信号の周波数特性を変えずに画像信号レベルを抑える光量制限フィルタ（以下、ＮＤフィルタと称する）を撮像素子９１に市松状またはストライプ状に配置することで、露光時間を変化させる方法と同様の明るさの異なる複数の画像を得ることもできる。この場合には、高輝度画像と低輝度画像の画素がＮＤフィルタにより交互に出力されるため、時間的なずれを少なくでき、かつタイミング制御部９５による同時化も容易にすることができる。
【００９０】
以上のように、上記した撮像装置を本発明の実施の形態の画像処理装置に用いることにより、明るさの異なる複数の画像を撮像し、それらを合成する構成により、暗い部分の黒つぶれや、明るい部分の白飛びのない、良質の画像を得ることのできる広いダイナミックレンジの画像を得ることができる。
【００９１】
なお、上記の実施の形態では、本発明に関する画像処理装置について説明したが各処理を手順として画像処理装置のプログラムとし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９２】
また、このプログラムを記憶する画像処理装置の記憶媒体とし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９３】
【発明の効果】
以上説明したように、本発明によれば、露光時間の異なる複数の画像信号を入力し、レベル変換と重み付けを同時に行う変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像処理装置のブロック図
【図２】被写体輝度に対する画像信号のグラフの図
【図３】ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフの図
【図４】画像信号に図３に示した変換係数を積算したときの特性のグラフの図
【図５】図１に示す重み付け係数演算部で演算される重み付け係数を示す図
【図６】本発明の第２の実施の形態の画像処理装置のブロック図
【図７】本発明の第３の実施の形態の画像処理装置のブロック図
【図８】本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図
【図９】従来の画像処理装置の構成図
【符号の説明】
１１、６１、８１ 画像信号入力部
１２、６２、８３ ロング画像信号のレベル変換係数演算部
１３、６３、８４ ショート画像信号のレベル変換係数演算部
１４、６４、８５ 重み付け係数演算部
１５ａ、１５ｂ、１６ａ、１６ｂ、６８ａ、６８ｂ、６９ａ、６９ｂ、７１ａ、７１ｂ 積算部
１７、７０ａ、７０ｂ、７２ 加算部
２１、４１ ロング画像信号
２２、４２ ショート画像信号
３１ ロング画像信号のレベル圧縮関数
３２ ロング画像信号のレベル変換係数
３３ ショート画像信号のレベル圧縮関数
３４ ショート画像信号のレベル変換係数
５１ ロング画像信号の重み付け係数
５２ ショート画像信号の重み付け係数
６５ａ、６５ｂ ＨＰＦ
６６ ロング画像信号の高周波レベル変換係数演算部
６７ ショート画像信号の高周波レベル変換係数演算部
８２ａ、８２ｂ 代表値算出部
９１ 撮像素子
９２ アナログ処理部
９３ ＡＤ変換部
９４ 画像信号処理ユニット
９５ タイミング制御部
９６ メモリ
９７ 画像信号合成部
９８ 画像処理部
Claims (5)
- 露光時間の異なるロング画像信号およびショート画像信号を出力する画像信号入力部と、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出する重み付け係数演算部と、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出する第１のレベル係数変換演算部と、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出する第２のレベル係数演算部と、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算する第１の加算部とを備えたことを特徴とする画像処理装置。
- 前記第１のレベル変換係数演算部および前記第２のレベル変換係数演算部は、テーブルを用いて前記第１のレベル変換係数および前記第２のレベル変換係数を算出することを特徴とする請求項１記載の画像処理装置。
- 前記ロング画像信号から高周波成分を取り出す第１の高周波成分取出部と、前記第１の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第１の高周波レベル変換係数を算出する第１の高周波レベル変換係数演算部と、前記ショート画像信号から高周波成分を取り出す第２の高周波成分取出部と、前記第２の高周波成分取出部からの出力信号と積算することにより高周波成分に適した特性となる第２の高周波レベル変換係数を算出する第２の高周波レベル変換係数演算部と、前記ロング画像信号と前記第１のレベル変換係数とを積算したもの、および、前記第１の高周波成分取出部からの出力信号と前記第１の高周波レベル変換係数とを積算したものを加算する第２の加算部と、前記ショート画像信号と前記第２のレベル変換係数とを積算したもの、および前記第２の高周波成分取出部からの出力信号と前記第２の高周波レベル変換係数とを積算したものを加算する第３の加算部と、前記第１の加算部に代えて、前記第２の加算部からの出力信号と前記ロング画像信号の重み付け係数とを積算したものと、および、前記第３の加算部からの出力信号と前記ショート画像信号の重み付け係数とを積算したものとを加算する第４の加算部とを備えたことを特徴とする請求項１または２に記載の画像処理装置。
- 前記ロング画像信号および前記ショート画像信号が複数の色成分からなるカラー画像信号のとき、前記ロング画像信号の第１の代表値を算出する第１の代表値算出手段と、前記ショート画像信号の第２の代表値を算出する第２の代表値算出手段とを備え、
前記重み付け係数演算部は前記第１の代表値から前記重み付け係数を算出し、前記第１のレベル変換係数演算部は前記第１の代表値から前記第１のレベル変換係数を算出し、前記第２のレベル変換係数演算部は前記第２の代表値から前記第２のレベル変換係数を算出することを特徴とする請求項１ないし３のいずれかに記載の画像処理装置。 - 露光時間の異なるロング画像信号およびショート画像信号を出力するステップと、前記ロング画像信号のレベルに応じて、前記ロング画像信号および前記ショート画像信号の重み付け係数を算出するステップと、前記ロング画像信号と積算することにより前記ロング画像信号の高レベル部分の圧縮を行う係数である非線形な第１のレベル変換係数を算出するステップと、前記ショート画像信号と積算することにより前記ロング画像信号とのレベル合わせと高レベル部分の圧縮とを行う係数である非線形な第２のレベル変換係数を算出するステップと、前記ロング画像信号に前記第１のレベル変換係数と前記ロング画像信号の重み付け係数とを積算したもの、および、前記ショート画像信号に前記第２のレベル変換係数と前記ショート画像信号の重み付け係数とを積算したものを加算するステップとを備えたことを特徴とする画像処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028652A JP4272443B2 (ja) | 2003-02-05 | 2003-02-05 | 画像処理装置および画像処理方法 |
| CNB2004800035058A CN100355271C (zh) | 2003-02-05 | 2004-02-05 | 图像处理装置及其方法 |
| PCT/JP2004/001226 WO2004071077A1 (ja) | 2003-02-05 | 2004-02-05 | 画像処理装置、画像処理プログラムおよび当該プログラムを記録した記録媒体 |
| US10/544,430 US20060177148A1 (en) | 2003-02-05 | 2004-02-05 | Image processing device, image processing program, and program-recording medium |
| EP04708504A EP1592235B1 (en) | 2003-02-05 | 2004-02-05 | Image processing device, image processing program and recording medium for said program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003028652A JP4272443B2 (ja) | 2003-02-05 | 2003-02-05 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004266347A JP2004266347A (ja) | 2004-09-24 |
| JP4272443B2 true JP4272443B2 (ja) | 2009-06-03 |
Family
ID=32844210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003028652A Expired - Fee Related JP4272443B2 (ja) | 2003-02-05 | 2003-02-05 | 画像処理装置および画像処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20060177148A1 (ja) |
| EP (1) | EP1592235B1 (ja) |
| JP (1) | JP4272443B2 (ja) |
| CN (1) | CN100355271C (ja) |
| WO (1) | WO2004071077A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4855704B2 (ja) * | 2005-03-31 | 2012-01-18 | 株式会社東芝 | 固体撮像装置 |
| JP2008092416A (ja) * | 2006-10-04 | 2008-04-17 | Sony Corp | 撮像装置及び画像処理方法 |
| JP4905229B2 (ja) | 2007-04-11 | 2012-03-28 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理用プログラム |
| KR101665511B1 (ko) * | 2010-02-11 | 2016-10-12 | 삼성전자 주식회사 | 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치 |
| DE102010023166B4 (de) | 2010-06-07 | 2016-01-21 | Dräger Safety AG & Co. KGaA | Wärmebildkamera |
| US8994843B2 (en) * | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
| JP5762756B2 (ja) | 2011-01-20 | 2015-08-12 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 |
| JP2013066145A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2013115470A (ja) | 2011-11-25 | 2013-06-10 | Sony Corp | 固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器 |
| EP2798847B1 (en) * | 2011-12-30 | 2018-08-22 | Barco NV | Method and system for determining image retention |
| JP5567235B2 (ja) * | 2012-03-30 | 2014-08-06 | 富士フイルム株式会社 | 画像処理装置、撮影装置、プログラム及び画像処理方法 |
| JP6563646B2 (ja) | 2014-12-10 | 2019-08-21 | ハンファテクウィン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5247366A (en) * | 1989-08-02 | 1993-09-21 | I Sight Ltd. | Color wide dynamic range camera |
| JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
| EP0739571A1 (en) * | 1993-02-08 | 1996-10-30 | I Sight, Inc. | Color wide dynamic range camera using a charge coupled device with mosaic filter |
| JPH06245151A (ja) * | 1993-02-16 | 1994-09-02 | Hitachi Denshi Ltd | テレビジョンカメラ装置 |
| US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
| JP3989615B2 (ja) * | 1997-06-27 | 2007-10-10 | 松下電器産業株式会社 | 固体撮像装置 |
| US6587149B1 (en) * | 1997-10-17 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Video camera with progressive scanning and dynamic range enlarging modes |
| JP3519002B2 (ja) * | 1997-10-23 | 2004-04-12 | オリンパス株式会社 | 撮像装置 |
| JP3999321B2 (ja) * | 1997-12-05 | 2007-10-31 | オリンパス株式会社 | 電子カメラ |
| KR100335408B1 (ko) * | 1998-03-03 | 2002-08-21 | 삼성전자 주식회사 | 포커스옵셋조정가능한광픽업장치 |
| US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
| JP3458741B2 (ja) * | 1998-12-21 | 2003-10-20 | ソニー株式会社 | 撮像方法及び撮像装置、画像処理方法及び画像処理装置 |
| KR100363826B1 (ko) * | 1999-06-07 | 2002-12-06 | 히다치덴시 가부시키가이샤 | 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법 |
| US6687400B1 (en) * | 1999-06-16 | 2004-02-03 | Microsoft Corporation | System and process for improving the uniformity of the exposure and tone of a digital image |
| JP2001169177A (ja) * | 1999-12-06 | 2001-06-22 | Matsushita Electric Ind Co Ltd | ダイナミックレンジ拡大カメラ |
| JP3642245B2 (ja) * | 2000-01-14 | 2005-04-27 | 松下電器産業株式会社 | 固体撮像装置 |
| US6738510B2 (en) * | 2000-02-22 | 2004-05-18 | Olympus Optical Co., Ltd. | Image processing apparatus |
| DE10064184C1 (de) * | 2000-12-22 | 2002-04-04 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten |
| JP3702222B2 (ja) * | 2001-12-28 | 2005-10-05 | 株式会社東芝 | 撮像装置及び映像信号処理方法 |
-
2003
- 2003-02-05 JP JP2003028652A patent/JP4272443B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-05 CN CNB2004800035058A patent/CN100355271C/zh not_active Expired - Fee Related
- 2004-02-05 WO PCT/JP2004/001226 patent/WO2004071077A1/ja active Application Filing
- 2004-02-05 US US10/544,430 patent/US20060177148A1/en not_active Abandoned
- 2004-02-05 EP EP04708504A patent/EP1592235B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN100355271C (zh) | 2007-12-12 |
| EP1592235A1 (en) | 2005-11-02 |
| WO2004071077A1 (ja) | 2004-08-19 |
| US20060177148A1 (en) | 2006-08-10 |
| JP2004266347A (ja) | 2004-09-24 |
| CN1748409A (zh) | 2006-03-15 |
| EP1592235B1 (en) | 2011-11-23 |
| EP1592235A4 (en) | 2010-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3074967B2 (ja) | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 | |
| EP1187455B1 (en) | Image data processing apparatus and electronic camera | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP3382359B2 (ja) | 撮像装置 | |
| EP1246453A2 (en) | Signal processing apparatus and method, and image sensing apparatus | |
| JP2004128985A (ja) | 撮像システム、再生システム、撮像プログラム、再生プログラム | |
| JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
| EP2214136B1 (en) | Method and program for controlling image capture apparatus | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| US7327876B2 (en) | Image processing device | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US6690418B1 (en) | Image sensing apparatus image signal controller and method | |
| JP2002335454A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP3817635B2 (ja) | カラ−画像処理装置および処理方法 | |
| JP3988760B2 (ja) | 固体撮像装置 | |
| JP2001148805A (ja) | 固体撮像装置 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP3951993B2 (ja) | 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法 | |
| JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
| JP3543766B2 (ja) | 画像処理装置 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP3965556B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP3943762B2 (ja) | ノイズ低減装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |