JP4503740B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4503740B2 JP4503740B2 JP29202099A JP29202099A JP4503740B2 JP 4503740 B2 JP4503740 B2 JP 4503740B2 JP 29202099 A JP29202099 A JP 29202099A JP 29202099 A JP29202099 A JP 29202099A JP 4503740 B2 JP4503740 B2 JP 4503740B2
- Authority
- JP
- Japan
- Prior art keywords
- smear
- signal
- imaging
- value
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000012937 correction Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000005304 optical glass Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004815 dispersion polymer Substances 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、スミア低減機能を有する撮像装置に関する。
【0002】
【従来の技術】
CCD撮像素子等を用いた固体撮像装置においては、固体撮像装置特有の現象として、強烈な光が入射したときに発生するスミア現象(より正確には、スミア及びブルーミングによって総合的に生じる現象であるが、本明細書においては当業者における慣用にならって、これを単にスミアと称している)による画質劣化が問題となっている。すなわち、このスミア現象は本来の電荷蓄積領域に捕捉されなかった電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込んだり、入射光の回折成分や多重反射成分が遮光膜下の垂直転送路に漏れ込んで電荷発生することなどにより生じるものであり、通常の定常的な光に起因する場合は、これが垂直転送期間にわたって発生するため、例えばスポット光の場合は、その上下に伸びる縦筋が生じ、画質を著しく損ねていた。これを低減するために、信号補正を行なう方法が知られており、具体的には、スミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外の遮光された蓄積画素領域である垂直OB(オプティカルブラック:光学的黒)の出力レベルをスミア除去基準信号とし、これを有効画面の画素出力信号から減じる手法が、例えば特開平7−67038号公報等に開示されていて公知である。
【0003】
【発明が解決しようとする課題】
ところで、上記従来の技術を用いて単純にスミア補正を行おうとすると、現実のカメラに使用される撮像素子の出力レンジは限られているため、スミア成分が大きい場合は、補正によって却って画質劣化を来す不具合があった。具体例として、極端な例を挙げると、画面全体にほぼ一様に高いレベル(撮像素子の飽和レベルの50%とする)のスミアが発生していたとすれば、スミア補正によるスミア成分の減算によってスミアは除去されるものの、得られる出力信号は本来の被写体輝度レベルの50%で飽和した極めて暗い画像になってしまうことになる。
【0004】
次に、この事情を、上記態様を一般的に示した図2の(A),(B)に基づいて説明する。図2の(A),(B)において、横軸は撮像素子出力のAD変換値すなわちスミア補正回路の入力値、縦軸はスミア補正回路の出力値である。入力値については撮像素子自身の飽和レベルか又はAD変換の最大レベルのいずれかで飽和してしまうが、このいずれによるかは本質でないので、ここでは撮像素子の出力信号の飽和はAD変換の最大レベルによる場合を想定して、記号Satで表わしている。なお、縦軸のSatは数値的には同じであるが出力ディジタル値の最大値であって、概念的にはスミア補正出力の飽和レベル(出力可能最大値)に対応するものである。図2の(A)に示す特性は、参照のため無補正の場合を示したものであるが、飽和レベルSatを超える信号は有り得ないから、スミアSm を減じて得られた図2の(B)に示す従来のスミア補正の出力信号の特性は、確かにスミアが除去された被写体輝度を反映したものではあるが、最大レベルはSat−Sm しか得られない。
【0005】
この問題は、特に高速シャッタ使用時に顕著になるものである。この点について更に詳述すると、シャッタ速自身はスミアレベルと直接相関はないものの、一般的な撮影時においては、いわゆる適正露出を与えることが前提になるから、高速シャッタを使用する場合とは、すなわちそれだけ短時間の露光であっても、充分な露光量が得られる板面照度の場合ということになる。この意味において、平均的板面照度Lと露光時間Tとの間には、L=k/T(kは撮像素子の感度によって決まる定数)の関係がある。したがって、極めて短時間の露光に関しては画面全体が極めて高輝度になっている状態のため、局所的なスポット光の有無に係らず、高いレベルのスミアが画面全体に亘って(遍在して)発生することになる。そして、このような画像に上記従来のスミア補正を施せば、画面全体が暗い画像しか得られないことになるわけである。
【0006】
本発明は上記問題点を解消するためになされたもので、スミア補正を行なう際に撮像素子やシステムの飽和に起因して生じる上記問題点を解決し、良好な画像の得られる撮像装置を提供することを目的とする。請求項毎の目的を述べると、請求項1に係る発明は、スミア補正を行いつつ画面全体が暗くなる不具合を生じさせないようにした撮像装置を提供することを目的とする。請求項2に係る発明は、均一でないスミア成分を含む撮像に対しても、請求項1に係る発明を適用できるようにすることを目的とする。請求項3に係る発明は、飽和に起因する擬似信号の発生を生じないようにしつつゲインアップに伴うSN比劣化を最小にとどめることができるようにした撮像装置を提供することを目的とする。請求項4に係る発明は、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質の画像が得られるようにした撮像装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記問題点を解決するため、請求項1に係る発明は、撮像素子と、該撮像素子の出力信号である撮像信号に重畳されるスミア成分を検出するスミア検出手段と、該スミア検出手段の検出した前記スミア成分に基づいて前記撮像信号を補正するスミア補正手段とを有し、該スミア補正手段は、前記検出スミア成分のレベルに応じて前記撮像信号の被写体成分に対する実効的なゲインを1画面について同一の値とするようにして撮像装置を構成するものである。
【0008】
このように、スミア補正手段をスミア成分のレベルに応じて撮像信号の被写体成分に対する実効的なゲインを1画面について同一の値とするように構成することにより、スミア補正を行いつつ画面全体が暗くなる不都合を生じさせないようにした撮像装置を実現することができる。
【0009】
請求項2に係る発明は、請求項1に係る撮像装置において、前記スミア検出手段におけるスミア成分の検出は、前記撮像信号の垂直ブランキング期間に対応する出力に基づいて行われるように構成されていることを特徴とするものである。このように、スミア成分の検出を撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて行うように構成することにより、請求項1に係る撮像装置を、均一でないスミア成分を含む撮像に対しても適用することが可能となる。
【0010】
請求項3に係る発明は、請求項1又は2に係る撮像装置において、前記実効的なゲインの値は、前記スミア補正手段の出力飽和レベル値を、前記撮像信号の飽和レベル値と前記スミア検出手段の検出したスミア成分のレベルの最大値との差で除した結果値であることを特徴とするものである。このように、撮像信号の被写体成分に対する実効的なゲインを設定することにより、飽和に起因する擬似信号の発生を生じさせないようにしつつゲインアップに伴うSN比の劣化を最小にとどめることが可能となる。
【0011】
請求項4に係る発明は、請求項1〜3のいずれか1項に係る撮像装置において、前記スミア補正手段における前記ゲイン設定に応じて、前記撮像素子における露出を補正する露出補正手段を有していることを特徴とするものである。このように、露出補正手段を備え、実効的なゲイン設定に応じて露出を補正するように構成することにより、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質の画像を得ることが可能となる。
【0012】
【発明の実施の形態】
次に、実施の形態について説明する。図1は、本発明に係る撮像装置の主たる実施の形態のディジタルカメラを示すブロック構成図である。1は前玉1aと後玉1bとかなる撮像レンズ、2はフォーカスアクチュエータ2aとズームアクチュエータ2bとからなるレンズ駆動機構、3は可動絞り、4はローパスフィルタ及び赤外カットフィルタからなる光学フィルタ、5はCCD撮像素子、6はCCDドライバ、7はADコンバータを含むプリプロセス回路、8はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うもので、スミア検出部8−1とスミア補正部8−2を備えている。9はメモリカードインターフェース、10はメモリカード、11はLCD画像表示系、12は主たる構成としてマイコンを含むシステムコントローラで、露出補正部12−1を備えている。13は操作スイッチ系、14は表示用LCDを含む操作表示系、15は絞りアクチュエータ、16はアクチュエータドライバ、17は光拡散素子、18は光拡散素子ドライバである。
【0013】
そして、本実施の形態のディジタルカメラにおいては、スミア補正の効果をより高いものにするために、局所的スミア発生を低減させるスミア低減撮像を行なうことができる構成としてあり、そのための構成として、いわゆる高分子分散型(ポリマーネットワーク型)液晶を透明電極付き光学ガラスの板状セルに封入した構造の光拡散素子17が、図1に示すように撮像レンズ1の内部の可動絞り3の近傍に設けられている。
【0014】
次に、この光拡散素子17について詳述する。光拡散素子17は2枚の光学ガラスを貼り合わせた、全体としては厚さが 0.9mmの平行平板ガラスを備え、貼り合わせ部に厚さ10μmの平坦な液晶封入部を有している。この封入部に液晶が分散された透明樹脂が封入されて、素子としての能動部分が形成されているものである。そして透明電極から引出された接続線は、光拡散素子ドライバ18に接続され、所定電圧の公知の交流駆動によって駆動されるようになっている。
【0015】
なお、電圧印加時と非印加時(残留電荷排出のため本実施の形態では0電圧印加)に対して、拡散と非拡散(素通し)状態をどのように割り当てるかは本来任意であるが、TTL光学ファインダと組み合わせた場合に、カメラ電源OFFでもファインダが見えるようにする、あるいはスミア低減撮像を必要としない場合に電力を消費する必要が生じないようにするなどの効果を得る目的で、本実施の形態では特に電圧非印加時に非拡散となるようにしており、一旦0電圧印加して残留電荷を排出した後には、ドライバへの電源供給を停止しても素通し状態が保たれるようになっている。このためには媒質に相当する液晶と媒体に相当する樹脂の実効的な屈折率が、電圧非印加状態で等しくなるように構成されていることは言うまでもない。
【0016】
続いて、このスミア低減撮像の制御に関する説明を行なう。本実施の形態のディジタルカメラにおいては、システムコントローラ12が全ての制御を統括的に行なっており、可動絞り3と、CCDドライバ6によるCCD撮像素子5の駆動(電子シャッタ)を制御して、露光(電荷蓄積)及び信号の読み出しを行ない、それをプリプロセス回路7を介してディジタルプロセス回路8に格納し、このディジタルプロセス回路8の中で全ての必要な各種信号処理を施した後に、メモリカード10に記録するものである。なお、上記各種信号処理には、後述する本発明の要部であるところのスミア補正処理が含まれている。また、露光及び信号読み出しのタイミングに合わせて光拡散素子ドライバ18を駆動し、光拡散素子17の拡散特性を変化させることで、スミア低減撮像を行なうことができるようになっている。
【0017】
すなわち、撮影対象である当該被写体像の光電変換電荷を蓄積中は、光拡散素子17を非拡散(素通し)状態のままとしてあり、CCD転送路(垂直シフトレジスタ)への転送パルスTGが出ると同時に、拡散状態にすべく電圧印加を開始する。ただし駆動を開始してから光拡散素子17が現実に充分な拡散状態に転移するまでは、かなりの時間を要する。この転移時間は、素子の材料、印加電圧や駆動周波数にも依存するが、通常数ms〜数 100ms程度である。そして素子(能動部)の厚さにも大きく依存する。本実施の形態では厚さが10μmと薄いため、転移時間は10ms以下と高速であって、これに対応して撮像信号の読み出し(信号電荷のCCD転送)は、転送パルスTGの出力後10msの時点から開始される。そして、信号読み出しが終了した後は次の撮影に備え、また無駄な駆動電力をなくす意味で、速やかな適時に光拡散素子17への電圧印加を0電圧として素通し状態に転移させる。この後、光拡散素子ドライバ18への通電を停止してもよい。
【0018】
このとき、もしも転移時間が異なる値であれば、これに合わせた読み出し開始時刻を設定すればよい。また、このとき更に遅らせて読み出しを開始してもよいが、それに伴う暗電流ノイズの増加を避けるため、本実施の形態では不要な遅延はさせていない。
【0019】
以上のようなスミア低減撮像を行なえば、被写体のスポット光による局所的スミアは、信号読み出し時に像が拡散されていることにより、かなりの程度低減される。しかしながら、高速シャッタ(短時間露光)使用時の遍在スミアは発生するし、また上記のように応答性の要請から、厚みの薄い拡散素子を使用するため拡散性を充分確保できなかったり、あるいはレンズの周辺光量落ちのため、発生するスミアは完全に均一ではない場合がある。したがって、上記のようなスミア低減撮像によってもなお撮像素子出力に重畳されているスミア成分を除去するために、本実施の形態のカメラにおいてはスミア補正手段を有しており、このスミア補正手段によるスミア補正は、上記スミア低減撮像とは相補的に作用するようになっている。
【0020】
次に、上記スミア補正について詳述する。本実施の形態において使用されているスミア補正処理の方式は、「撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて撮像素子のスミア成分を検出するスミア検出手段の検出したスミア成分に基づいて、有効信号出力期間の撮像素子出力である有効画像信号を補正する」ものであって、具体的にはVOB(垂直光学的黒検出用画素)の出力から算出したスミア除去基準信号を有効画像信号から減じる方式である。
【0021】
すなわち、上記スミア低減撮像によって得られた1画面に対応する撮像出力信号をディジタルプロセス回路8の所定メモリ領域に格納すると、まずスミア検出部8−1において、VOBの出力を用いてスミア除去基準信号を算出する。すなわち、複数ライン(ここでは仮に12ラインとする)あるOB画素のデータのうち、同じ水平アドレスを持つ12画素毎の和をとり画素数12で除することで平均値を得る。言い換えれば、このスミア除去基準信号は複数のVOBラインの平均値に相当する、1ライン分の画像信号である。このスミア除去基準信号をSm(i)とする。但しiは水平アドレス、後出のjは垂直アドレスである。このようにして得られたスミア除去基準信号Sm(i)を用いて、スミア補正部8−2において有効画素信号に関するスミア補正が行なわれる。
【0022】
スミア補正処理の内容は概念的に2つに分けて説明できる。第1の処理は、従来公知のものと同様であって、すなわち有効画素部分から読み出された画素信号の各ラインデータからこのスミア除去基準信号を減じたものを補正後の出力とする。言うまでもなく、減算は同じ水平アドレスを持つデータ間で行われる。
【0023】
この処理概念を数式で示すと、スミア補正部8−2における入力画像信号(すなわち有効画像領域に対応する撮像素子出力のディジタル値)をSig(i,j) 、スミア成分を減じた段階の中間データ(概念上のものであり、処理上の実在は問わない)をSdif(i,j)とすると、次式(1)のように表される。
Sdif(i,j)=Sig(i,j)−Sm(i) ・・・・・・・・・・(1)
【0024】
この段階では撮像信号の被写体成分が抜き出されてはいるものの、上記従来例のすなわち図2の(B)に相当する特性であり、画像が暗くなってしまう。本実施の形態のスミア補正は、最終的には更に定数を乗じる補正(これをゲイン補正と称する)を伴うものである。補正後の出力をSout(i,j)とすると、次式(2)で表される。
ただし、上記(2)式の分子分母の各Sat は、この実施の形態の場合数値的には等しいが、概念的には分子のそれは最大出力レベル(出力信号の飽和レベル)に、分母のそれは最大入力レベル(撮像信号の飽和レベル)に対応するものである。
【0025】
また、Sm はSm(i)の1画面代表値である。すなわち、上述のようにスミアは必ずしも充分均一ではないので、一般的には水平アドレスによって異なる値を持つ。しかし、画像のゲインは当然1画面については同一の値である必要があるため、ゲイン項はi,jに関する定数でなければならない。具体的には、本実施の形態ではSm(i)の1画面最大値、Sm =Max[i]{Sm(i)}を採用している。すなわち飽和による最大レベルの低下の影響をもっとも受けるのは、スミア発生レベルが最大の画素列であり、この画素列において最大出力レベルがちょうどSat(出力信号の飽和レベル)に等しくなるように、被写体成分に対する実効的なゲインを調節するものである。このとき、スミア発生レベルが上記Sm (=Max[i]{Sm(i)})に満たない画素列では、本来被写体情報を反映している「レベルがSat−Sm を超えた領域の信号成分」がクリップされてしまうことになるが、これによって「1画面内のどの画素でも(被写体輝度に関して)等しい飽和レベルを持つ」という条件(この条件が充たされないと、画素による飽和レベルの違いが生じ、擬似信号発生の原因になる)が充たされるものであり、且つその条件内では最小のゲイン(ゲインが大きいとSN比が劣化する)であるから、より高画質を求める場合には止むを得ない選択となっている。
【0026】
このときのスミア補正処理の特性を図3に示す。ただし、図3の各軸や記号等の定義は図2と同じであり、また簡略化のためスミアが一様な場合(すなわちSm(i)=const =Sm の場合)を示すものである。図3より判るように、入力信号から被写体成分だけを抜き出した後、この被写体成分に対する実効的なゲインアップを行なったのと等価な特性となっている。
【0027】
さて、このようなスミア補正を行なった場合、ゲイン補正によって画面は明るくなるが、これだけでは被写体輝度域に着目した場合に、再現域は改善されていない。すなわち、スミアによって狭くなった撮像レンジは狭いままで改善されていない。この原因は、ゲインを上げたにも係らず露出はゲインを上げる以前の撮像系に対して適正となるようになされたものであるから、露出オーバー状態を来たしているためである。本実施の形態のカメラは、この露出オーバー状態を生じないように適正露光を得るべく、露出を補正する露出補正部12−1をシステムコントローラ12内に更に有している。具体的には、システムコントローラ12は、一旦上記説明に従ったスミア低減撮像による試行露出を行ない、その後露出を変更して本露光を行なうものである。すなわち試行露出の結果、上記ゲイン項が求まる。試行露出の時の露光時間がTtry であったとするとき、本露光の露光時間Texp は次式(3)に示すように、ゲイン項の逆数を乗ずることによって決定される。
Texp =Ttry ×(Sat−Sm )/Sat ・・・・・・・(3)
ただし、これは試行時の露出が理想的に行われたときの変更条件であって、必要に応じてその他の情報による露出の補正を伴ってもよいことは勿論である。また、始めから上記試行露出を繰り返し実行しつつスミア補正後の出力信号のレベルにのみ着目することで、本露光時の露出を決定してもよい。
【0028】
このように構成した本実施の形態に係るカメラによれば、極めて高速なシャッタを用いた場合も含めて全ての場合に、スミアの影響が除去されて且つ撮像レンジが充分確保された高画質な撮像を行なうことができる。
【0029】
なお、上記実施の形態の他にも様々な実施の形態が考えられる。例えば、上記スミア補正に伴う被写体成分に対する可変ゲインの設定は、事情に合わせて上記実施の形態とは異なる任意の値にしてもよい。上記実施の形態における設定は、既に述べたとおり「1画面内のどの画素でも(被写体輝度に関して)等しい飽和レベルを持つ」という条件を充たす値の中で最小のゲインになっており、上記条件により「飽和に起因する擬似信号の発生を生じない」ようにしつつ、ゲインアップに伴うSN比劣化を最小にとどめるように意図したものであるから、一つの最良設定例と言えるが、これによればゲイン値は任意の値をとるから演算がやや複雑になり、それに対応して露出制御も複雑化するといった問題も生じ得る。したがって、演算や制御の単純化を優先的に意図して、SN劣化を若干許容すれば、上記ゲイン項の値を限って「Sat/(Sat−Sm )の値が2の(n−1)乗倍を超えているときには、ゲイン項を2のn乗倍に設定する(nは自然数)」といったものも好適な実施の形態の一つとなる。
【0030】
また逆に若干の飽和に起因する擬似信号の発生を許容して、よりSN比優先の設定を意図すれば、Sm として上記Max[i]{Sm(i)}に代えて、Sm(i)の1画面平均値Ave[i]{Sm(i)}や、1画面最小値Min[i]{Sm(i)}を採用したものなども、同様に好適な実施の形態となる。このように、Sm(i)の1画面代表値Sm も任意の方法で算出し得る。
【0031】
また上記実施の形態における露出の補正は、露光時間を変更することで行なっているが、これを絞りで行なうようにしてもよい。
【0032】
更に、上記実施の形態のカメラは、スミア補正の効果をより高いものにするために、光拡散素子を用いたスミア低減撮像を行なっているが、言うまでもなくこれは必須ではない。少なくとも上記実施の形態のカメラのようなスミア補正処理を行なえば、スミア低減撮像を採用しない場合においても、従来技術に比して格段の画質向上を図ることができる。
【0033】
また、本発明は、静止画撮影、動画撮影のいずれに対しても適用することができる。
【0034】
以上本発明のいくつかの実施の形態を具体的に示したが、本発明はこれらに限られることなく、特許請求の範囲に記載の限りにおいて如何なる態様をも取り得るものであることは言うまでもない。
【0035】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項1に係る発明によれば、スミアレベルに応じて撮像信号の被写体信号成分に対する実効的なゲインを1画面について同一の値とするように構成したので、スミア補正を行ないつつ画面全体が暗くなる不具合を生じさせないようにした撮像装置を実現することができる。また請求項2に係る発明によれば、スミア成分の検出を、撮像素子の出力信号の垂直ブランキング期間に対応する出力に基づいて行なうように構成しているので、均一でないスミア成分を含む撮像に対しても本発明を適用できるという優れた効果が得られる。また請求項3に係る発明によれば、撮像信号の被写体成分に対する実効的なゲインを、スミア補正手段の出力飽和レベル値を、上記撮像信号の飽和レベル値と上記スミア検出手段の検出したスミア成分のレベルの最大値との差で除した値に設定するように構成しているので、飽和に起因する擬似信号の発生を生じないようにしつつゲインアップに伴うSN比劣化を最小にとどめることができるという優れた効果が得られる。また請求項4に係る発明によれば、更に上記実効的なゲインに応じて露出を補正するように構成しているので、スミアを生じない通常の被写体を撮像した場合と同等の撮像特性の高画質な画像が得られるという優れた効果が得られる。
【図面の簡単な説明】
【図1】本発明に係る撮像装置の実施の形態のディジタルカメラの構成を示すブロック図である。
【図2】従来のスミア補正前後の入出力特性を示す図である。
【図3】図1に示した本発明の実施の形態におけるスミア補正処理後の入出力特性を示す図である。
【符号の説明】
1 撮像レンズ
1a 前玉
1b 後玉
2 レンズ駆動機構
2a フォーカスアクチュエータ
2b ズームアクチュエータ
3 可動絞り
4 光学フィルタ
5 CCD撮像素子
6 CCDドライバ
7 プリプロセス回路
8 ディジタルプロセス回路
8−1 スミア検出部
8−2 スミア補正部
9 メモリカードインターフェース
10 メモリカード
11 LCD画像表示系
12 システムコントローラ
12−1 露出補正部
13 操作スイッチ系
14 操作表示系
15 絞りアクチュエータ
16 アクチュエータドライバ
17 光拡散素子
18 光拡散素子ドライバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus having a smear reduction function.
[0002]
[Prior art]
In a solid-state image pickup device using a CCD image pickup device or the like, a phenomenon peculiar to the solid-state image pickup device is a smear phenomenon that occurs when intense light is incident (more precisely, it is a phenomenon that occurs comprehensively by smear and blooming). However, in this specification, the image quality deterioration due to the common use by those skilled in the art is simply called smear). In other words, this smear phenomenon is caused by charges that are not trapped in the original charge accumulation region leaking over the potential barrier and leaking into the vertical transfer path, or diffraction components and multiple reflection components of incident light leak into the vertical transfer path under the light shielding film. In the case of spot light, for example, in the case of spot light, vertical stripes extending up and down are generated. The image quality was significantly impaired. In order to reduce this, a method of performing signal correction is known. Specifically, focusing on the fact that smear occurs at substantially the same level in the vertical direction from the generation principle, light shielding outside the effective pixel region is performed. A method of subtracting the output level of vertical OB (optical black: optical black), which is the accumulated pixel area, as a smear removal reference signal and subtracting this from the pixel output signal of the effective screen is disclosed in, for example, Japanese Patent Laid-Open No. 7-67038. It is known.
[0003]
[Problems to be solved by the invention]
By the way, if the smear correction is simply performed using the above-described conventional technique, the output range of the image sensor used in an actual camera is limited. There was a bug to come. As a specific example, if an smear of a high level (50% of the saturation level of the image sensor) occurs almost uniformly on the entire screen, the smear component is subtracted by smear correction. Although smear is removed, the output signal obtained will be an extremely dark image saturated at 50% of the original subject luminance level.
[0004]
Next, this situation will be described based on (A) and (B) of FIG. 2A and 2B, the horizontal axis represents the AD conversion value of the image sensor output, that is, the input value of the smear correction circuit, and the vertical axis represents the output value of the smear correction circuit. The input value is saturated at either the saturation level of the image sensor itself or the maximum level of AD conversion, but this is not essential, so here the saturation of the output signal of the image sensor is the maximum of AD conversion. Assuming the case of level, it is represented by the symbol Sat. Note that Sat on the vertical axis is numerically the same, but is the maximum value of the output digital value, and conceptually corresponds to the saturation level (maximum output possible value) of the smear correction output. The characteristics shown in FIG. 2A show the case of no correction for reference. However, since there is no signal exceeding the saturation level Sat, the characteristic (B) of FIG. 2 obtained by reducing the smear Sm can be obtained. The characteristic of the output signal of the conventional smear correction shown in (2) reflects the subject luminance from which the smear has been removed, but the maximum level is only Sat-Sm.
[0005]
This problem is particularly noticeable when a high-speed shutter is used. This point will be described in more detail. Although the shutter speed itself does not directly correlate with the smear level, it is assumed that a so-called appropriate exposure is given during general photographing. In other words, even with such a short exposure, the plate surface illuminance can provide a sufficient exposure amount. In this sense, there is a relationship of L = k / T (k is a constant determined by the sensitivity of the image sensor) between the average plate surface illuminance L and the exposure time T. Therefore, since the entire screen is extremely bright with respect to exposure for a very short time, a high level of smear is ubiquitous over the entire screen regardless of the presence or absence of local spot light. Will occur. Then, if the conventional smear correction is applied to such an image, only an image with a dark entire screen can be obtained.
[0006]
The present invention has been made to solve the above problems, and solves the above problems caused by saturation of an image sensor and a system when smear correction is performed, and provides an image pickup apparatus capable of obtaining a good image. The purpose is to do. The purpose of each claim is to provide an imaging device that prevents smear correction while preventing the entire screen from becoming dark. The invention according to
[0007]
[Means for Solving the Problems]
In order to solve the above problems, the invention according to
[0008]
In this way, by configuring the smear correction means so that the effective gain for the subject component of the imaging signal is the same value for one screen according to the level of the smear component, the entire screen becomes dark while performing smear correction. It is possible to realize an imaging apparatus that does not cause such inconvenience.
[0009]
According to a second aspect of the present invention, in the imaging apparatus according to the first aspect, the smear component is detected by the smear detection means based on an output corresponding to a vertical blanking period of the imaging signal. It is characterized by being. As described above, by configuring the smear component to be detected based on the output corresponding to the vertical blanking period of the output signal of the image sensor, the imaging apparatus according to
[0010]
The invention according to
[0011]
According to a fourth aspect of the present invention, in the image pickup apparatus according to any one of the first to third aspects, the image pickup apparatus further includes an exposure correction unit that corrects exposure in the image pickup device in accordance with the gain setting in the smear correction unit. It is characterized by that. In this way, by providing exposure correction means and correcting the exposure according to the effective gain setting, a high-quality image with the same imaging characteristics as when shooting a normal subject that does not cause smear Can be obtained.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments will be described. FIG. 1 is a block diagram showing a digital camera of a main embodiment of an imaging apparatus according to the present invention.
[0013]
In the digital camera of the present embodiment, in order to enhance the smear correction effect, it is possible to perform smear reduction imaging that reduces local smear generation. A
[0014]
Next, the
[0015]
It should be noted that how to assign the diffusion state and the non-diffusion (through) state to the time of voltage application and non-application (0 voltage application in the present embodiment for discharging residual charges) is arbitrarily arbitrary. Implemented in order to obtain effects such as making the viewfinder visible even when the camera is turned off, or eliminating the need to consume power when smear reduction imaging is not required when combined with an optical viewfinder In this embodiment, non-diffusion is performed particularly when no voltage is applied, and once the zero voltage is applied and residual charges are discharged, the through state is maintained even if the power supply to the driver is stopped. ing. For this purpose, it is needless to say that the effective refractive index of the liquid crystal corresponding to the medium and the resin corresponding to the medium are equal when no voltage is applied.
[0016]
Subsequently, description will be made regarding the control of the smear reduction imaging. In the digital camera of the present embodiment, the
[0017]
That is, while the photoelectric conversion charge of the subject image to be photographed is being accumulated, the
[0018]
At this time, if the transition time is a different value, the read start time may be set in accordance with this. At this time, reading may be started with further delay, but in this embodiment, unnecessary delay is not performed in order to avoid an increase in dark current noise associated therewith.
[0019]
If the above smear reduction imaging is performed, the local smear due to the spot light of the subject is considerably reduced because the image is diffused at the time of signal readout. However, ubiquitous smear occurs when using a high-speed shutter (short-time exposure), and due to the demand for responsiveness as described above, a diffusive element cannot be secured sufficiently because a thin diffusion element is used, or Due to a decrease in the amount of light around the lens, the generated smear may not be completely uniform. Therefore, in order to remove the smear component still superimposed on the image sensor output even by the above-described smear reduction imaging, the camera of the present embodiment has a smear correction unit, and the smear correction unit The smear correction works in a complementary manner to the smear reduction imaging.
[0020]
Next, the smear correction will be described in detail. The smear correction processing method used in the present embodiment is “the smear component detected by the smear detection means for detecting the smear component of the image sensor based on the output corresponding to the vertical blanking period of the output signal of the image sensor” The effective image signal that is the image sensor output during the effective signal output period is corrected based on the above-mentioned, specifically, the smear removal reference signal calculated from the output of the VOB (vertical optical black detection pixel) This is a method of subtracting from the effective image signal.
[0021]
That is, when an imaging output signal corresponding to one screen obtained by the smear reduction imaging is stored in a predetermined memory area of the
[0022]
The contents of the smear correction process can be conceptually divided into two. The first processing is the same as that conventionally known. That is, the output obtained after correction is obtained by subtracting the smear removal reference signal from each line data of the pixel signal read from the effective pixel portion. Needless to say, the subtraction is performed between data having the same horizontal address.
[0023]
When this processing concept is expressed by a mathematical expression, the input image signal (that is, the digital value of the image sensor output corresponding to the effective image area) in the smear correction unit 8-2 is Sig (i, j), and the middle of the stage where the smear component is subtracted. If the data (conceptual, regardless of actual processing) is Sdif (i, j), it is expressed as the following equation (1).
Sdif (i, j) = Sig (i, j) −Sm (i) (1)
[0024]
At this stage, the subject component of the image signal is extracted, but the characteristic corresponds to that of the conventional example, that is, FIG. 2B, and the image becomes dark. The smear correction according to the present embodiment is finally accompanied by a correction (referred to as gain correction) by further multiplying by a constant. When the corrected output is Sout (i, j), it is expressed by the following equation (2).
However, each Sat of the numerator denominator of the above equation (2) is numerically equal in this embodiment, but conceptually, that of the numerator is the maximum output level (saturation level of the output signal), and that of the denominator is This corresponds to the maximum input level (the saturation level of the imaging signal).
[0025]
Sm is a one-screen representative value of Sm (i). That is, as described above, the smear is not necessarily uniform enough, and therefore generally has a different value depending on the horizontal address. However, since the gain of the image naturally needs to be the same value for one screen, the gain term must be a constant related to i and j. Specifically, in this embodiment, the maximum value of one screen of Sm (i), Sm = Max [i] {Sm (i)}, is adopted. In other words, the pixel line with the highest smear generation level is most affected by the decrease in the maximum level due to saturation, and the subject is set so that the maximum output level is exactly equal to Sat (saturation level of the output signal) in this pixel line. It adjusts the effective gain for the component. At this time, in the pixel row where the smear occurrence level is less than the above Sm (= Max [i] {Sm (i)}), “the signal component of the region where the level exceeds Sat−Sm, which originally reflects the subject information. ”Will be clipped, but this causes the condition that“ every pixel in one screen has the same saturation level (in terms of subject brightness) ”(if this condition is not satisfied, the difference in saturation level by pixel will be And causes a pseudo signal to be generated), and the minimum gain within that condition (the signal-to-noise ratio deteriorates when the gain is large). It is a choice that you cannot get.
[0026]
The characteristics of the smear correction process at this time are shown in FIG. However, the definition of each axis, symbol, etc. in FIG. 3 is the same as that in FIG. 2, and for simplification, the smear is uniform (ie, Sm (i) = const = Sm). As can be seen from FIG. 3, after extracting only the subject component from the input signal, the characteristic is equivalent to performing an effective gain increase for the subject component.
[0027]
When such smear correction is performed, the screen is brightened by gain correction. However, when the focus is on the subject luminance range, the reproduction range is not improved. That is, the imaging range narrowed by smear remains narrow and is not improved. This is because, although the gain is increased, the exposure is appropriate for the imaging system before the gain is increased, and the overexposure state has been reached. The camera according to the present embodiment further includes an exposure correction unit 12-1 for correcting exposure in the
Texp = Ttry × (Sat−Sm) / Sat (3)
However, this is a change condition when exposure at the time of trial is ideally performed, and it is needless to say that exposure correction by other information may be accompanied if necessary. Further, the exposure at the main exposure may be determined by focusing on only the level of the output signal after the smear correction while repeatedly performing the trial exposure from the beginning.
[0028]
According to the camera according to the present embodiment configured as described above, in all cases including the case of using an extremely high-speed shutter, the high-quality image in which the influence of smear is removed and the imaging range is sufficiently secured is obtained. Imaging can be performed.
[0029]
In addition to the above-described embodiments, various embodiments can be considered. For example, the variable gain setting for the subject component associated with the smear correction may be an arbitrary value different from that of the above embodiment according to circumstances. As described above, the setting in the above embodiment is the minimum gain among the values satisfying the condition that “every pixel in one screen has the same saturation level (with respect to the subject brightness)”. Although it is intended to minimize the S / N ratio degradation accompanying gain increase while avoiding the generation of a pseudo signal due to saturation, it can be said to be one best setting example. Since the gain value is an arbitrary value, the calculation is slightly complicated, and there is a problem that the exposure control is complicated accordingly. Therefore, if the calculation and control are preferentially intended and SN degradation is allowed to some extent, the value of the gain term is limited and the value of “Sat / (Sat−Sm) is 2 (n−1). When the multiplication factor is exceeded, the gain term is set to 2 to the nth multiplication factor (n is a natural number), which is one of the preferred embodiments.
[0030]
Conversely, if the generation of a pseudo signal due to a slight saturation is allowed and the setting of the S / N ratio priority is intended, Sm (i) is replaced with Sm (i) instead of Max [i] {Sm (i)}. A one-screen average value Ave [i] {Sm (i)} and a one-screen minimum value Min [i] {Sm (i)} are similarly used as preferred embodiments. Thus, the one-screen representative value Sm of Sm (i) can also be calculated by an arbitrary method.
[0031]
Further, although the exposure correction in the above embodiment is performed by changing the exposure time, this may be performed by the diaphragm.
[0032]
Further, the camera of the above embodiment performs smear reduction imaging using a light diffusing element in order to enhance the effect of smear correction, but it is needless to say that this is not essential. If smear correction processing is performed at least as in the camera of the above-described embodiment, even when smear-reduced imaging is not employed, image quality can be significantly improved as compared with the prior art.
[0033]
Further, the present invention can be applied to both still image shooting and moving image shooting.
[0034]
Although several embodiments of the present invention have been specifically shown above, it is needless to say that the present invention is not limited to these and can take any form as long as it is described in the claims. .
[0035]
【The invention's effect】
As described above based on the embodiments, according to the first aspect of the present invention, the effective gain for the subject signal component of the imaging signal is set to the same value for one screen according to the smear level. Therefore, it is possible to realize an imaging apparatus that does not cause a problem that the entire screen becomes dark while performing smear correction. According to the second aspect of the present invention, since the smear component is detected based on the output corresponding to the vertical blanking period of the output signal of the image sensor, imaging including a non-uniform smear component is performed. Also, an excellent effect that the present invention can be applied is obtained. According to the third aspect of the present invention, the effective gain for the subject component of the imaging signal, the output saturation level value of the smear correction means, the saturation level value of the imaging signal, and the smear component detected by the smear detection means. Since it is configured to be set to a value divided by the difference from the maximum value of the level of the signal, it is possible to minimize the SN ratio degradation accompanying gain increase while preventing generation of a pseudo signal due to saturation. An excellent effect that it can be obtained. Further, according to the invention according to
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment of an imaging apparatus according to the present invention.
FIG. 2 is a diagram showing input / output characteristics before and after conventional smear correction.
3 is a diagram showing input / output characteristics after smear correction processing in the embodiment of the present invention shown in FIG. 1; FIG.
[Explanation of symbols]
DESCRIPTION OF
10 Memory card
11 LCD image display system
12 System controller
12-1 Exposure compensation
13 Operation switch system
14 Operation display system
15 Aperture actuator
16 Actuator driver
17 Light diffusing element
18 Light diffusing element driver
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29202099A JP4503740B2 (en) | 1999-10-14 | 1999-10-14 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29202099A JP4503740B2 (en) | 1999-10-14 | 1999-10-14 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001111898A JP2001111898A (en) | 2001-04-20 |
JP4503740B2 true JP4503740B2 (en) | 2010-07-14 |
Family
ID=17776502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29202099A Expired - Fee Related JP4503740B2 (en) | 1999-10-14 | 1999-10-14 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4503740B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4742359B2 (en) | 2005-05-19 | 2011-08-10 | カシオ計算機株式会社 | Movie imaging apparatus and program thereof |
JP2006345422A (en) * | 2005-06-10 | 2006-12-21 | Sanyo Electric Co Ltd | Imaging apparatus and signal processing method |
JP4946262B2 (en) | 2006-08-18 | 2012-06-06 | 富士通セミコンダクター株式会社 | Semiconductor element mounting method and semiconductor device manufacturing method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58204679A (en) * | 1982-05-22 | 1983-11-29 | Hitachi Denshi Ltd | Vertical smear correcting device |
JPS6177476A (en) * | 1984-09-25 | 1986-04-21 | Hitachi Ltd | Video camera |
JPS62154981A (en) * | 1985-12-27 | 1987-07-09 | Hitachi Ltd | Solid-state image pickup element |
JPH02151181A (en) * | 1988-12-02 | 1990-06-11 | Sharp Corp | Video camera |
JPH057335A (en) * | 1991-06-21 | 1993-01-14 | Canon Inc | Electronic still camera |
JPH0556356A (en) * | 1991-08-27 | 1993-03-05 | Olympus Optical Co Ltd | Signal processing circuit |
JPH05110954A (en) * | 1991-10-11 | 1993-04-30 | Olympus Optical Co Ltd | Image pickup device |
JPH07312720A (en) * | 1994-05-16 | 1995-11-28 | Nikon Corp | Image reader |
JPH08331463A (en) * | 1995-06-05 | 1996-12-13 | Eastman Kodak Co | Smear correction in ccd image pickup device using active picture element |
JPH1062305A (en) * | 1996-08-19 | 1998-03-06 | Advantest Corp | Sensitivity correcting method of ccd camera, and lcd panel display test system with ccd camera sensitivity correcting function |
-
1999
- 1999-10-14 JP JP29202099A patent/JP4503740B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58204679A (en) * | 1982-05-22 | 1983-11-29 | Hitachi Denshi Ltd | Vertical smear correcting device |
JPS6177476A (en) * | 1984-09-25 | 1986-04-21 | Hitachi Ltd | Video camera |
JPS62154981A (en) * | 1985-12-27 | 1987-07-09 | Hitachi Ltd | Solid-state image pickup element |
JPH02151181A (en) * | 1988-12-02 | 1990-06-11 | Sharp Corp | Video camera |
JPH057335A (en) * | 1991-06-21 | 1993-01-14 | Canon Inc | Electronic still camera |
JPH0556356A (en) * | 1991-08-27 | 1993-03-05 | Olympus Optical Co Ltd | Signal processing circuit |
JPH05110954A (en) * | 1991-10-11 | 1993-04-30 | Olympus Optical Co Ltd | Image pickup device |
JPH07312720A (en) * | 1994-05-16 | 1995-11-28 | Nikon Corp | Image reader |
JPH08331463A (en) * | 1995-06-05 | 1996-12-13 | Eastman Kodak Co | Smear correction in ccd image pickup device using active picture element |
JPH1062305A (en) * | 1996-08-19 | 1998-03-06 | Advantest Corp | Sensitivity correcting method of ccd camera, and lcd panel display test system with ccd camera sensitivity correcting function |
Also Published As
Publication number | Publication date |
---|---|
JP2001111898A (en) | 2001-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006060678A (en) | Imaging apparatus | |
JP6233718B2 (en) | Imaging apparatus and driving method thereof | |
JP4809537B2 (en) | Imaging control apparatus and imaging control method | |
JP3682482B2 (en) | Imaging device | |
US8488033B2 (en) | Photographing apparatus and photographing method | |
JP2006310969A (en) | Imaging apparatus | |
WO2009067121A1 (en) | Camera sensor system self-calibration | |
JP4503740B2 (en) | Imaging device | |
JP4051701B2 (en) | Defective pixel correction method and imaging apparatus for solid-state imaging device | |
JP4672933B2 (en) | Imaging device | |
JP2008099040A (en) | Solid-state imaging apparatus, and electronic information apparatus | |
JPH06113195A (en) | Video camera device | |
JP2000350091A (en) | Image pickup device and signal processing method therefor | |
JPH09186930A (en) | Image pickup device | |
JP4335648B2 (en) | Digital camera and imaging method of digital camera | |
JP4388177B2 (en) | Imaging device | |
JP4503733B2 (en) | Imaging device | |
JPH0556343A (en) | Electronic image pickup device | |
JPH11234574A (en) | Method for adjusting mechanical shutter for electronic camera | |
JP4262363B2 (en) | Imaging device | |
JP2003304453A (en) | Imaging device | |
JP3907343B2 (en) | Imaging device | |
JP2002010143A (en) | Image pickup device | |
JP2001111897A (en) | Image pickup device | |
JP2001111896A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100422 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |