JP2015180010A - 撮像装置のヘッド、および撮像装置 - Google Patents
撮像装置のヘッド、および撮像装置 Download PDFInfo
- Publication number
- JP2015180010A JP2015180010A JP2014057229A JP2014057229A JP2015180010A JP 2015180010 A JP2015180010 A JP 2015180010A JP 2014057229 A JP2014057229 A JP 2014057229A JP 2014057229 A JP2014057229 A JP 2014057229A JP 2015180010 A JP2015180010 A JP 2015180010A
- Authority
- JP
- Japan
- Prior art keywords
- gain
- image
- amplifier
- brightness
- analog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 90
- 238000006243 chemical reaction Methods 0.000 claims abstract description 55
- 238000005096 rolling process Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 abstract description 14
- 230000000593 degrading effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 124
- 238000000586 desensitisation Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 229920006395 saturated elastomer Polymers 0.000 description 18
- 230000010354 integration Effects 0.000 description 14
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 206010070834 Sensitisation Diseases 0.000 description 8
- 230000002238 attenuated effect Effects 0.000 description 8
- 230000008313 sensitization Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- RSIWALKZYXPAGW-NSHDSACASA-N 6-(3-fluorophenyl)-3-methyl-7-[(1s)-1-(7h-purin-6-ylamino)ethyl]-[1,3]thiazolo[3,2-a]pyrimidin-5-one Chemical compound C=1([C@@H](NC=2C=3N=CNC=3N=CN=2)C)N=C2SC=C(C)N2C(=O)C=1C1=CC=CC(F)=C1 RSIWALKZYXPAGW-NSHDSACASA-N 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】ダイナミックレンジを低下させることなく、撮像の感度を下げる。【解決手段】この撮像素子は、ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力する撮像素子と、入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するアナログ増幅器と、前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合は、前記デジタル信号を前記最大出力レベルにクリップして出力する変換部と、を具備し、前記アナログ増幅器は、入力するマイナス利得に対して、前記変換部から出力されるデジタル信号が前記最大出力レベルを維持する範囲で、前記撮像素子からのアナログ信号の信号レベルを減衰する。【選択図】図1
Description
本発明の実施の形態は、ローリングシャッター機能を有するイメージセンサを用いた撮像装置のヘッド、撮像装置およびその露光調整方法に関する。
近年、医療用の内視鏡や放送局用のカメラなどを始めとする撮像装置において、絞りやNDフィルタを使用せずに、シャッター機能を用いて被写体を撮影するものがある。このような撮像装置では、イメージセンサの高感度化とCMOS(相補型金属酸化膜半導体)化によって、高輝度な被写体を撮影する際にローリングシャッターの影響が顕著になるとともに、センサやカメラの標準感度の高まりによって、標準感度に対して十分過ぎる飽和電子数をもったセンサが出現している。
高輝度な被写体の撮影において、明るさを下げるには、絞り機能がない撮像装置ではシャッタースピードを高速にするしかないが、ローリングシャッターの原理で明るさの変動がライン毎に異なって影響し、この結果、例えば1画面内に明暗の横縞が現れることとなる。また、A/D変換後のデジタルゲインにて感度を下げると、ダイナミックレンジが低下し、明るい部分の映像がいわゆる白抜けすることとなる。
本発明はこのような課題を解決するためになされたもので、ダイナミックレンジを低下させることなく、撮像の感度を下げることのできる撮像装置のヘッド、撮像装置およびその露光調整方法を提供することを目的とする。
上記の課題を解決するために本発明の撮像装置のヘッドは、ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力する撮像素子と、入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するアナログ増幅器と、前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合は、前記デジタル信号を前記最大出力レベルにクリップして出力する変換部と、を具備し、前記アナログ増幅器は、入力するマイナス利得に対して、前記変換部から出力されるデジタル信号が前記最大出力レベルを維持する範囲で、前記撮像素子からのアナログ信号の信号レベルを減衰するものである。
(実施形態1)
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の実施形態1の撮像装置1の構成を示すブロック図である。図2は、図1に示した撮像装置1のヘッドの構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の実施形態1の撮像装置1の構成を示すブロック図である。図2は、図1に示した撮像装置1のヘッドの構成を示すブロック図である。
図1に示すように、この撮像装置1は、撮像素子10、アナログ増幅器20、アナログ/デジタル変換部(以下、「A/D変換部」という)30、デジタル信号処理部40、出力インターフェース(以下、「出力I/F」という)50、ユーザインターフェース(以下、「ユーザI/F」という)52を備える。なお、撮像素子10、アナログ増幅器20、A/D変換部30は、撮像装置1のヘッドを構成し、デジタル信号処理部40、出力I/F50、ユーザI/F52は、撮像装置1の制御ユニットを構成している。
図2に示すように、撮像素子10は、ローリングシャッター機能を有するCMOSイメージセンサからなる。このCMOSイメージセンサ10は、画素11毎にフォトダイオード(受光部)と増幅器(Amp)とを有する。各画素11内のフォトダイオードは、被写体からの光を受光し、光電変換機能により光をその光量に応じた電子数に変換して蓄積する。蓄積された電子は、同じ画素11内の増幅器によって電圧に変換、増幅される。
この増幅された電圧は、垂直読出し回路12による画素選択により、ライン(行)毎に選択されて読み出され、ノイズを除去した後、一時的に保管される。保管された電圧は、水平読出し回路13によって、列毎に選択されて電圧信号(アナログ信号)として読み出される。
このCMOSイメージセンサ10は、単位画素当たりで蓄積可能な最大電子数(飽和電子数)を有し、この最大電子数以下で、被写体の光量に対応した信号レベルのアナログ信号を出力する。
アナログ増幅器20は、CMOSイメージセンサ10の水平読出し回路13から入力するアナログ信号の信号レベルを増加(増感)又は減衰(減感)する。すなわち、このアナログ増幅器20には、ユーザI/F52を介して、ユーザからの利得(ゲイン)指示が入力している。このアナログ増幅器20は、この入力するゲインに応じて、CMOSイメージセンサ10から入力するアナログ信号の信号レベルを増加又は減衰する。
このアナログ増幅器20は、ユーザI/F52から入力するゲイン指示に対して、A/D変換部30から出力されるデジタル信号が最大出力レベルを維持する範囲で、CMOSイメージセンサ10から入力するアナログ信号の信号レベルを減衰する。
なお、ユーザI/F52は、アナログ増幅器20のゲインを、ユーザが任意に設定できるもので、このユーザによって設定されたゲインをゲイン指示としてアナログ増幅器20に出力している。
また、信号レベルを増加させる撮像装置1の増感機能は、アナログ増幅器20でのアナログゲインの設定またはデジタル信号処理部40でのデジタルゲインの設定で実現する。
図3は、図1に示したA/D変換部30の入力信号と出力信号の関係を示すグラフである。
A/D変換部30は、アナログ増幅器20から入力するアナログ信号をデジタル信号に変換する。図3に示すように、A/D変換部30には、入力するアナログ信号に対して、変換するデジタル信号の最大出力レベル、すなわちA/D出力のA/Dmaxが設定されている。
A/D変換部30は、アナログ増幅器20から入力するアナログ信号をデジタル信号に変換する。図3に示すように、A/D変換部30には、入力するアナログ信号に対して、変換するデジタル信号の最大出力レベル、すなわちA/D出力のA/Dmaxが設定されている。
ここで、CMOSイメージセンサ10の飽和電子数は、アナログ信号の信号レベルのゲインが標準設定、例えば図3の減感なし(ゲインが0[dB]のとき)の状態で、A/D変換部30のA/D出力がA/Dmaxになるのに十分過ぎるものである。このため、A/D変換部30では、CMOSイメージセンサ10のフォトダイオードが飽和する前に、A/D出力がA/Dmaxでクリップされている。
この飽和電子数は、画素によってばらつきを持つため、飽和した画像が撮像装置1から出力されると、この画像は明るさの異なる粒状の画像(ノイズを含んだ画像)となってしまう。
そこで、本実施形態では、アナログ増幅器20のアナログ信号の信号レベルのゲインをマイナス、例えば−15[dB]に設定しても、A/D変換部30のA/D出力のクリップが先に起こるような飽和電子数を持つCMOSイメージセンサ10を採用している。
このようにCMOSイメージセンサ10、A/D変換部30を構成することで、アナログ増幅器20では、例えば標準設定の状態でのアナログ信号の信号レベルを、ユーザI/F52から入力するゲイン指示、例えば−15[dB]のゲイン指示に対応して減衰しても、A/D変換部30のA/D出力がA/Dmaxを維持することができる。
図1に示すように、デジタル信号処理部(画像処理部)40は、A/D変換部30からのデジタル信号の被写体の画像を画像処理するものである。
出力I/F50は、画像処理された画像を、例えば図示しない外部の表示装置などに出力するものである。
出力I/F50は、画像処理された画像を、例えば図示しない外部の表示装置などに出力するものである。
なお、この撮像装置1における増感機能は、アナログ増幅器20のアナログゲインの設定、またはデジタル信号処理部40での後述するデジタル増幅器41のデジタルゲインの設定によって行うことができる。
図4は、A/D変換前でアナログ信号を減感した場合とA/D変換後にデジタル信号を減感した場合のA/D変換部30の入力信号(アナログ信号)と出力信号(デジタル信号)の関係を示すブロック図である。
図4に示すように、A/D変換部30でのA/D変換後に減感、すなわちデジタル信号のゲインをマイナスに設定して減衰すると、デジタル信号がA/Dmaxを維持できずに、下回ることとなる。この結果、出力I/F50から出力される画像は、明るい部分の画像がない白抜きされたものとなってしまう。
これに対して、本実施形態では、A/D変換前に減感、すなわちアナログ信号のゲインをマイナスに設定して減衰するので、A/D変換部30で変換されたデジタル信号がA/Dmaxを維持できる。この結果、出力I/Fから出力される画像は、白抜きがない明るい部分の画像を含んだものとなり、ダイナミックレンジを広くして、撮像の感度を下げることができる。
このように、本実施形態では、飽和電子数の大きいイメージセンサを用いるとともに、A/D変換前のアナログゲインを減感する方向に制御するので、ローリングシャッターの悪影響の低減、ノイズの低減向上を図ることができる。
(実施形態2)
図5は、本発明の実施形態2の撮像装置1の構成を示すブロック図である。図6は、図5に示したMPU53の自動露光調整機能部60の各機能を示す機能構成図である。図7は、自動露光調整機能部60の動作を説明するためのグラフである。
図5は、本発明の実施形態2の撮像装置1の構成を示すブロック図である。図6は、図5に示したMPU53の自動露光調整機能部60の各機能を示す機能構成図である。図7は、自動露光調整機能部60の動作を説明するためのグラフである。
本実施形態では、自動露光調整機能部60を備えたMPU(Micro Processing Unit)53を用いてアナログ増幅器20のゲイン設定を、設定された画像の明るさの目標値に基づいて自動制御するものである。
MPU53は、この他に後述するデジタル増幅器41のゲイン設定、ローリングシャッター機能を有するCMOSイメージセンサ10のシャッタースピード設定も、設定された画像の明るさの目標値に基づいて自動制御する。
なお、このMPU53による制御は、現状の明るさが目標の明るさより十分に明るい場合、デジタル増幅器41のゲイン、アナログ増幅器20のゲイン、シャッタースピードの調整の順で行う。
なお、このMPU53による制御は、現状の明るさが目標の明るさより十分に明るい場合、デジタル増幅器41のゲイン、アナログ増幅器20のゲイン、シャッタースピードの調整の順で行う。
図5に示すように、撮像装置1のヘッド2と制御ユニット3は、デジタル信号を通信するデジタル信号線4で接続されている。
撮像装置1のヘッド2は、図1に示した構成部分の他に、デジタル信号線4を介して、A/D変換部30でA/D変換されたデジタル信号を制御ユニット3に出力するとともに、制御ユニット3からゲイン指示を取り込むCUI/F31を備える。
制御ユニット3は、図1に示した構成部分の他に、ヘッドI/F51、MPU53を備える。
また、デジタル信号処理部40は、デジタル増幅器(デジタルAmp)41、画像処理回路42、積算回路43を備える。
また、デジタル信号処理部40は、デジタル増幅器(デジタルAmp)41、画像処理回路42、積算回路43を備える。
ヘッドI/F51は、デジタル信号線4を介して、ヘッド2からデジタル信号を取り込むとともに、MPU53からのゲイン指示およびシャッタースピード指示をヘッド2に出力している。
ユーザI/F52は、画像の目標の明るさを、ユーザが任意に設定できるもので、このユーザによって設定された目標の明るさのデータをMPU53に出力している。
また、ユーザは、画像の明るさを調整する速度を早く又はゆっくり調整させたい場合やその設定範囲を調整させたい場合がある。
そこで、ユーザI/F52では、目標の明るさの設定値の他に、その調整速度や設定範囲などの他の設定値も、ユーザが任意に設定でき、この他の設定値のデータをMPU53に出力している。
また、ユーザは、画像の明るさを調整する速度を早く又はゆっくり調整させたい場合やその設定範囲を調整させたい場合がある。
そこで、ユーザI/F52では、目標の明るさの設定値の他に、その調整速度や設定範囲などの他の設定値も、ユーザが任意に設定でき、この他の設定値のデータをMPU53に出力している。
デジタル増幅器41は、ヘッドI/F51から入力するデジタル信号の信号レベルを増加又は減衰する。すなわち、このデジタル増幅器41には、MPU53からゲイン指示が入力している。このデジタル増幅器41は、この入力するゲイン指示に応じて、ヘッドI/F51から入力するデジタル信号の信号レベルを増加又は減衰する。
画像処理回路42は、A/D変換部30からのデジタル信号の被写体の画像を画像処理するものである。
積算回路43は、デジタル増幅器41から出力されるデジタル信号をサンプリングし、このサンプリングしたデジタル信号の信号レベルを積算したデータを出力する。
積算回路43は、デジタル増幅器41から出力されるデジタル信号をサンプリングし、このサンプリングしたデジタル信号の信号レベルを積算したデータを出力する。
図6に示すように、MPU53は、自動露光調整機能部60を備える。この自動露光調整機能部60は、第1〜第2の記憶機能部61〜62、第1〜第3の計算機能部63〜65を備える。
第1の記憶機能部61は、現在の設定値データを記憶するものである。
これらの現在の設定値データとは、調整対象となる現在のシャッタースピード(フォトダイオードの露光時間)、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲイン、目標の明るさの各データである。
これらの現在の設定値データとは、調整対象となる現在のシャッタースピード(フォトダイオードの露光時間)、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲイン、目標の明るさの各データである。
これらの現在の設定値データのうち、現在のシャッタースピード、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲインの各データは、第3の計算機能部65から入力されて、第1の記憶機能部61に記憶される。
また、目標の明るさのデータは、ユーザの設定によってユーザI/F52から入力されて、第1の記憶機能部61に記憶される。なお、明るさに関するデータは、例えば光量を示すデータからなる。
また、目標の明るさのデータは、ユーザの設定によってユーザI/F52から入力されて、第1の記憶機能部61に記憶される。なお、明るさに関するデータは、例えば光量を示すデータからなる。
第2の記憶機能部62は、目標の明るさのデータ以外の調整速度や設定範囲などの他の設定値データが記憶されている。
これらの他の設定値データは、ユーザの設定によってユーザI/F52から入力されて、第2の記憶機能部62に記憶される。
これらの他の設定値データは、ユーザの設定によってユーザI/F52から入力されて、第2の記憶機能部62に記憶される。
第1の計算機能部63は、積算回路43から入力する積算データから画像の現状の明るさを計算するものである。
第2の計算機能部64は、第1の記憶機能部63で計算された画像の現状の明るさと、目標の明るさとを演算して、目標の明るさとなる設定値を求める。この目標の明るさとなる設定値は、各種設定値の合計、例えばデジタル増幅器41のゲイン設定値、アナログ増幅器20のゲイン設定値、シャッタースピードの設定値、の合計を一元的に表現した値である。
第3の計算機能部65は、入力する画像の現状の明るさ、目標の明るさとなる設定値、現在の設定値、その他の設定値のデータから、次の明るさとなる設定値γと、そのときの各種設定値を計算する。なお、次の明るさとなる設定値γは、設定値α、βと評価される。
第3の計算機能部65には、3段階の次の画像の明るさの設定値α、β〜α、βが設定されている。これらの次の画像の明るさの設定値α、β〜α、βは、計算された次の明るさとなる設定値γと比較される基準となる固定の設定値である。このαとβは、α>βの関係にある。
すなわち、次の明るさとなる設定値γが、γ>αの関係にあるとき、自動露光調整機能部60は、第1段階として、シャッタースピードをオフ、例えば標準の露光時間として1/60[s]に固定し、アナログ増幅器20のゲインを最大に固定し、デジタル増幅器41のゲインを第3の計算機能部65で計算した設定値に調整する。
また、次の明るさとなる設定値γが、γ=β〜αの関係にあるとき、これは次の明るさとなる設定値γがβとαの間にあるときである。このとき、自動露光調整機能部60は、第2段階として、シャッタースピードをオフ、デジタル増幅器41のゲインを0[dB]に固定し、アナログ増幅器20のゲインを第3の計算機能部65で計算した設定値に調整する。
また、次の明るさとなる設定値γが、γ<βの関係にあるときは、自動露光調整機能部60は、第3段階として、シャッタースピードを第3の計算機能部65で計算した設定値に調整し、アナログ増幅器20のゲインを最小(マイナスの最小値、飽和電子数とA/Dmaxの関係から決定)に固定し、デジタル増幅器41のゲインを0[dB]に固定する。
本実施形態では、自動露光調整を行う場合、デジタル信号処理部40の積算回路43がデジタル増幅器41から出力される画像のデジタル信号をサンプリングして積算し、この積算したデータをMPU53の自動露光調整機能部60に出力する。
MPU53は、この積算データと、現在の各種設定値のデータに基づき、出力される画像の明るさが目標の明るさになるよう、各種設定値(デジタル増幅器41およびアナログ増幅器20のゲイン、シャッタースピード)を段階毎に計算し、その設定通りにゲイン、シャッタースピードを制御するものである。
すなわち、図7に示すように、画像の現状の明るさが目標の明るさより十分明るい状態で、次の明るさとなる設定値γが、γ>αの関係にあるとき、MPU53は、ヘッドI/F51、CUI/F31を介して、CMOSイメージセンサ(撮像素子)10のシャッタースピードをオフに、アナログ増幅器20のゲインが最大になるように制御するとともに、デジタル増幅器41のゲインを、第3の計算機能部65で計算したデジタルゲインの設定値になるように制御する。
ここで、画像の現状の明るさが目標の明るさより明るい場合、再び第1の計算機能部63による画像の現状の明るさの計算、第2の計算機能部64による目標の明るさとなる設定値γの計算、第3の計算機能部65でデジタルゲインの値を計算する。
この制御は、画像の現状の明るさが目標の明るさより明るい場合、デジタル増幅器41のゲインが0[dB]になるまで行われる。
この制御は、画像の現状の明るさが目標の明るさより明るい場合、デジタル増幅器41のゲインが0[dB]になるまで行われる。
このときに、第2の計算機能部64によって計算される目標の明るさとなる設定値γは、γ=β〜αの関係となるので、MPU53は、CMOSイメージセンサ10のシャッタースピードをオフに、デジタル増幅器41のゲインを0[dB]に固定するように制御するとともに、アナログ増幅器20のゲインを、第3の計算機能部65で計算したアナログゲインの設定値になるように制御する。
ここで、画像の現状の明るさが目標の明るさより明るい場合、再び第1の計算機能部63による画像の現状の明るさの計算、第2の計算機能部64による目標の明るさとなる設定値γの計算、第3の計算機能部65でアナログゲインの値を計算する。
この制御は、画像の現状の明るさが目標の明るさより明るい場合、アナログ増幅器20のゲインがマイナスの最小になるまで行われる。
この制御は、画像の現状の明るさが目標の明るさより明るい場合、アナログ増幅器20のゲインがマイナスの最小になるまで行われる。
このときに、第2の計算機能部64によって計算される目標の明るさとなる設定値γは、γ<βの関係となるので、MPU53は、デジタル増幅器41のデジタルゲインを0[dB]に固定し、アナログ増幅器20のアナログゲインをマイナスの最小に固定し、CMOSイメージセンサ10のシャッタースピードを、第3の計算機能部65で計算した設定値になるように制御する。
このように、本実施形態の撮像装置1によれば、シャッタースピードの制御の前に、アナログゲインの減感機能による制御を行うので、図7に示すように、アナログゲインによる減感制御の分だけ入力光量に対応できる範囲を拡張することができ、追従範囲の拡大を図ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、様々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…撮像装置、2…ヘッド、3…制御ユニット、4…デジタル信号線、10…撮像素子(CMOSイメージセンサ)、11…画素、12…垂直読出し回路、13…水平読出し回路、20…アナログ増幅器、30…A/D変換部、40…デジタル信号処理部、41…デジタル増幅器、42…画像処理回路、43…積算回路、50…出力I/F、51…ヘッドI/F、52…ユーザI/F、60…自動露光調整機能部、61,62…記憶機能部、63〜65…計算機能部。
本発明の実施の形態は、ローリングシャッター機能を有するイメージセンサを用いた撮像装置のヘッド、および撮像装置に関する。
近年、医療用の内視鏡や放送局用のカメラなどを始めとする撮像装置において、絞りやNDフィルターを使用せずに、シャッター機能を用いて被写体を撮影するものがある。このような撮像装置では、イメージセンサの高感度化とCMOS(相補型金属酸化膜半導体)化によって、高輝度な被写体を撮影する際にローリングシャッターの影響が顕著になるとともに、センサやカメラの標準感度の高まりによって、標準感度に対して十分過ぎる飽和電子数をもったセンサが出現している。
高輝度な被写体の撮影において、明るさを下げるには、絞り機能がない撮像装置ではシャッタースピードを高速にするしかないが、ローリングシャッターの原理で明るさの変動がライン毎に異なって影響し、この結果、例えば1画面内に明暗の横縞が現れることとなる。また、A/D変換後のデジタルゲインにて感度を下げると、ダイナミックレンジが低下し、明るい部分の映像がいわゆる白抜けすることとなる。
本発明はこのような課題を解決するためになされたもので、ダイナミックレンジを低下させることなく、撮像の感度を下げることのできる撮像装置のヘッドおよび撮像装置を提供することを目的とする。
上記の課題を解決するために本発明の撮像装置のヘッドは、ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力する撮像素子と、入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するアナログ増幅器と、前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合は、前記デジタル信号を前記最大出力レベルにクリップして出力する変換部と、を具備し、前記アナログ増幅器は、入力するマイナス利得に対して、前記変換部から出力されるデジタル信号が前記最大出力レベルを維持する範囲で、前記撮像素子からのアナログ信号の信号レベルを減衰するものである。
(実施形態1)
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の実施形態1の撮像装置1の構成を示すブロック図である。図2は、図1に示した撮像装置1のヘッドの構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の実施形態1の撮像装置1の構成を示すブロック図である。図2は、図1に示した撮像装置1のヘッドの構成を示すブロック図である。
図1に示すように、この撮像装置1は、撮像素子10、アナログ増幅器20、アナログ/デジタル変換部(以下、「A/D変換部」という)30、デジタル信号処理部40、出力インターフェース(以下、「出力I/F」という)50、ユーザインターフェース(以下、「ユーザI/F」という)52を備える。なお、撮像素子10、アナログ増幅器20、A/D変換部30は、撮像装置1のヘッドを構成し、デジタル信号処理部40、出力I/F50、ユーザI/F52は、撮像装置1の制御ユニットを構成している。
図2に示すように、撮像素子10は、ローリングシャッター機能を有するCMOSイメージセンサからなる。このCMOSイメージセンサ10は、画素11毎にフォトダイオード(受光部)と増幅器(Amp)とを有する。各画素11内のフォトダイオードは、被写体からの光を受光し、光電変換機能により光をその光量に応じた電子数に変換して蓄積する。蓄積された電子は、同じ画素11内の増幅器によって電圧に変換、増幅される。
この増幅された電圧は、垂直読出し回路12による画素選択により、ライン(行)毎に選択されて読み出され、ノイズを除去した後、一時的に保管される。保管された電圧は、水平読出し回路13によって、列毎に選択されて電圧信号(アナログ信号)として読み出される。
このCMOSイメージセンサ10は、単位画素当たりで蓄積可能な最大電子数(飽和電子数)を有し、この最大電子数以下で、被写体の光量に対応した信号レベルのアナログ信号を出力する。
アナログ増幅器20は、CMOSイメージセンサ10の水平読出し回路13から入力するアナログ信号の信号レベルを増加(増感)又は減衰(減感)する。すなわち、このアナログ増幅器20には、ユーザI/F52を介して、ユーザからの利得(ゲイン)指示が入力している。このアナログ増幅器20は、この入力するゲインに応じて、CMOSイメージセンサ10から入力するアナログ信号の信号レベルを増加又は減衰する。
なお、ユーザI/F52は、アナログ増幅器20のゲインを、ユーザが任意に設定できるもので、このユーザによって設定されたゲインをゲイン指示としてアナログ増幅器20に出力している。
また、信号レベルを増加させる撮像装置1の増感機能は、アナログ増幅器20でのアナログゲインの設定またはデジタル信号処理部40でのデジタルゲインの設定で実現する。
図3は、図1に示したA/D変換部30の入力信号と出力信号の関係を示すグラフである。
A/D変換部30は、アナログ増幅器20から入力するアナログ信号をデジタル信号に変換する。図3に示すように、A/D変換部30には、入力するアナログ信号に対して、変換するデジタル信号の最大出力レベル、すなわちA/D出力のA/Dmaxが設定されている。
A/D変換部30は、アナログ増幅器20から入力するアナログ信号をデジタル信号に変換する。図3に示すように、A/D変換部30には、入力するアナログ信号に対して、変換するデジタル信号の最大出力レベル、すなわちA/D出力のA/Dmaxが設定されている。
ここで、CMOSイメージセンサ10の飽和電子数は、アナログ増幅器20のゲインが標準設定、例えば図3の減感なし(ゲインが0[dB]のとき)の状態で、A/D変換部30のA/D出力がA/Dmaxになるのに十分過ぎるものである。このため、A/D変換部30では、CMOSイメージセンサ10のフォトダイオードが飽和する前に、A/D出力がA/Dmaxでクリップされている。
この飽和電子数は、画素によってばらつきを持つため、飽和した画像が撮像装置1から出力されると、この画像は明るさの異なる粒状の画像(ノイズを含んだ画像)となってしまう。
そこで、本実施形態では、アナログ増幅器20のゲインをマイナス、例えば−15[dB]に設定しても、CMOSイメージセンサ10のフォトダイオードが飽和する前にA/D変換部30から出力されるA/D出力にクリップが生じるような飽和電子数を持つCMOSイメージセンサ10を採用している。換言すると、本実施形態では、アナログ増幅器20のゲインをマイナス、例えば−15[dB]に設定しても、CMOSイメージセンサ10のフォトダイオードで発生する電子の数が飽和電子数に達する前にA/D変換部30から出力されるA/D出力にクリップが生じるような飽和電子数を持つCMOSイメージセンサ10を採用している。
このようにCMOSイメージセンサ10、A/D変換部30を構成することで、アナログ増幅器20では、例えば標準設定の状態でのアナログ信号の信号レベルを、ユーザI/F52から入力するゲイン指示、例えば−15[dB]のゲイン指示に対応して減衰しても、CMOSイメージセンサ10に、飽和電子数の電子を発生させる程度以上の光が入力された場合にA/D変換部30から出力されるA/D出力の信号レベルをA/Dmaxとすることができる。
図1に示すように、デジタル信号処理部(画像処理部)40は、A/D変換部30からのデジタル信号の被写体の画像を画像処理するものである。
出力I/F50は、画像処理された画像を、例えば図示しない外部の表示装置などに出力するものである。
出力I/F50は、画像処理された画像を、例えば図示しない外部の表示装置などに出力するものである。
なお、この撮像装置1における増感機能は、アナログ増幅器20のアナログゲインの設定、またはデジタル信号処理部40での後述するデジタル増幅器41のデジタルゲインの設定によって行うことができる。
図4は、A/D変換前にアナログ信号を減感した場合とA/D変換後にデジタル信号を減感した場合のA/D変換部30の入力信号(アナログ信号)と出力信号(デジタル信号)の関係を示すブロック図である。
図4に示すように、信号をA/D変換部30でのA/D変換後にデジタル信号処理40にて減感させると、すなわち、デジタル信号処理部40におけるゲインをマイナスに設定して信号を減衰させると、デジタル信号処理部40から出力されるデジタル信号のレベルがA/Dmaxに達せずにA/Dmaxを下回ることとなる。この結果、出力I/F50から出力される画像は、明るい部分の画像がない白抜きされたものとなってしまう。
これに対して、本実施形態では、信号をA/D変換部30でのA/D変換前に減感させるため、すなわち、アナログ増幅器20のゲインをマイナスに設定して信号を減衰させるため、A/D変換部30から出力されるデジタル信号の信号レベルがA/Dmaxに達することができる。この結果、出力I/F50から出力される画像は、白抜きがない明るい部分の画像を含んだものとなり、ダイナミックレンジを広くして、撮像の感度を下げることができる。信号を減感処理しない場合のA/D変換部30の入力信号(アナログ信号)と出力信号(デジタル信号)の関係は図4に示す通り変化する。
このように、本実施形態では、飽和電子数の多いイメージセンサを用いるとともに、イメージセンサから出力されるアナログ信号をA/D変換前の時点で減衰させるようアナログ増幅器のゲインを制御するため、ローリングシャッターの悪影響の低減、ノイズの低減向上を図ることができる。
(実施形態2)
図5は、本発明の実施形態2の撮像装置1の構成を示すブロック図である。図6は、図5に示したMPU(Micro Processor Unit)53が図示を省略したメモリに記憶されているプログラムを実行することにより実現する自動露光調整機能を説明するために自動露光調整機能部60の機能構成を図示した機能構成図である。図7は、自動露光調整機能部60の動作を説明するためのグラフである。
図5は、本発明の実施形態2の撮像装置1の構成を示すブロック図である。図6は、図5に示したMPU(Micro Processor Unit)53が図示を省略したメモリに記憶されているプログラムを実行することにより実現する自動露光調整機能を説明するために自動露光調整機能部60の機能構成を図示した機能構成図である。図7は、自動露光調整機能部60の動作を説明するためのグラフである。
本実施形態では、自動露光調整機能部60が、設定された画像の明るさの目標値に基づいて、アナログ増幅器20のゲインを設定することにより、画像の明るさを自動制御する。
自動露光調整機能部60は、設定された画像の明るさの目標値に基づいて、後述するデジタル増幅器41のゲイン、ローリングシャッター機能を有するCMOSイメージセンサ10のシャッタースピードも設定することにより、画像の明るさを自動制御する。
自動露光調整機能部60は、設定された画像の明るさの目標値と画像の現状の明るさとの間の中間に位置する複数の明るさの値を中間目標値として設ける。この中間目標値の詳細は後述する。
自動露光調整機能部60は、画像の現状の明るさが、順次、複数の中間目標値になるようアナログ増幅器20のゲイン、デジタル増幅器41のゲイン、CMOSイメージセンサ10のシャッタースピードを設定することによって、最終的に画像の明るさが目標の明るさになるよう段階的に制御する。
自動露光調整機能部60は、設定された画像の明るさの目標値と画像の現状の明るさとの間の中間に位置する複数の明るさの値を中間目標値として設ける。この中間目標値の詳細は後述する。
自動露光調整機能部60は、画像の現状の明るさが、順次、複数の中間目標値になるようアナログ増幅器20のゲイン、デジタル増幅器41のゲイン、CMOSイメージセンサ10のシャッタースピードを設定することによって、最終的に画像の明るさが目標の明るさになるよう段階的に制御する。
図5に示すように、撮像装置1のヘッド2と制御ユニット3は、デジタル信号線4で接続されている。
撮像装置1のヘッド2は、図1に示した構成部分の他に、デジタル信号線4を介して、A/D変換部30でA/D変換されたデジタル信号を制御ユニット3に出力するとともに、制御ユニット3からゲイン指示を取り込むためのコントロールユニットインタフェース(以下、CUI/Fという)31を備える。
制御ユニット3は、図1に示した構成部分の他に、ヘッドインタフェース(以下、ヘッドI/Fという)51、MPU53を備える。また、デジタル信号処理部40は、デジタル増幅器(デジタルAmp)41、画像処理回路42、積算回路43を備える。
ヘッドI/F51は、デジタル信号線4を介して、ヘッド2からデジタル信号を取り込むとともに、MPU53からのゲイン指示およびシャッタースピード指示をヘッド2に出力している。
ユーザは画像の目標の明るさをユーザI/F52を介して任意に設定できる。ユーザI/F52を介して入力された画像の目標の明るさの設定値のデータはMPU53に出力される。
また、ユーザは、画像の明るさを調整する速度を調整させたい場合がある。そこで、ユーザは目標の明るさの調整速度の設定値をユーザI/F52にて設定でき、この設定値のデータはMPU53に出力される。
また、ユーザは、画像の明るさを調整する速度を調整させたい場合がある。そこで、ユーザは目標の明るさの調整速度の設定値をユーザI/F52にて設定でき、この設定値のデータはMPU53に出力される。
デジタル増幅器41は、ヘッドI/F51から入力するデジタル信号の信号レベルを増加又は減衰する。すなわち、このデジタル増幅器41には、MPU53からゲイン指示が入力している。このデジタル増幅器41は、この入力するゲイン指示に応じて、ヘッドI/F51から入力するデジタル信号の信号レベルを増加又は減衰する。
積算回路43はデジタル増幅器41から出力されるデジタル信号の信号レベルを積算して積算データを計算する。積算回路43は積算データをMPU53に出力する。積算データは後述する第1の計算機能部63で現在の画像の明るさを計算するために使用するものである。
積算回路43は1画面を例えば16分割した各分割領域のデジタル信号の信号レベルを積算する。積算回路43は16個の積算データをMPU53に出力する。積算回路43は必ずしも各分割領域のすべてのデジタル信号の信号レベルを積算する必要はない。積算回路43は各分割領域分のデジタル信号の中から間引いてサンプリングしたデジタル信号の信号レベルを積算するように構成してもよい。
積算回路43は1画面を例えば16分割した各分割領域のデジタル信号の信号レベルを積算する。積算回路43は16個の積算データをMPU53に出力する。積算回路43は必ずしも各分割領域のすべてのデジタル信号の信号レベルを積算する必要はない。積算回路43は各分割領域分のデジタル信号の中から間引いてサンプリングしたデジタル信号の信号レベルを積算するように構成してもよい。
図6に示すように、MPU53は、自動露光調整機能部60を備える。この自動露光調整機能部60は、第1〜第2の記憶機能部61〜62、第1〜第3の計算機能部63〜65を備える。
第1の記憶機能部61は、現在の設定値データを記憶するものである。これらの現在の設定値データとは、調整対象となる現在のシャッタースピード(フォトダイオードの露光時間)、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲイン、画像の目標の明るさの各データである。
これらの現在の設定値データのうち、現在のシャッタースピード、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲインの各データは、第3の計算機能部65から入力されて、第1の記憶機能部61に記憶される。
また、画像の目標の明るさのデータは、ユーザの設定によってユーザI/F52から入力されて、第1の記憶機能部61に記憶される。
また、画像の目標の明るさのデータは、ユーザの設定によってユーザI/F52から入力されて、第1の記憶機能部61に記憶される。
第2の記憶機能部62は、画像の明るさを調整するための調整速度の設定値データが記憶されている。
この画像の明るさを調整するための調整速度の設定値データは、ユーザI/F52を介して入力されて第2の記憶機能部62に記憶される。
この画像の明るさを調整するための調整速度の設定値データは、ユーザI/F52を介して入力されて第2の記憶機能部62に記憶される。
第1の計算機能部63は、積算回路43から入力する積算データから画像の現状の明るさを計算するものである。
現在の画像の明るさを画面全体から求める場合には、積算回路43から入力した16個の積算データの平均値を求め、この平均値を現在の画像の明るさとする。一方、現在の画像の明るさを、例えば画面を16分割した領域の内、特定の着目する一部の領域から求める場合には、この着目した領域に対応する積算データの平均値を求め、この平均値を現在の画像の明るさとする。
現在の画像の明るさを画面全体から求める場合には、積算回路43から入力した16個の積算データの平均値を求め、この平均値を現在の画像の明るさとする。一方、現在の画像の明るさを、例えば画面を16分割した領域の内、特定の着目する一部の領域から求める場合には、この着目した領域に対応する積算データの平均値を求め、この平均値を現在の画像の明るさとする。
第2の計算機能部64は、第1の記憶機能部63で計算された画像の現状の明るさと、第1の記憶機能部61に記憶されている画像の目標の明るさと、第1の記憶機能部61に記憶されている現在のシャッタースピード、現在のアナログ増幅器20のゲイン、現在のデジタル増幅器41のゲインの各データとに基づいて、画像を目標の明るさとするための設定値を演算して求める。この画像を目標の明るさとするための設定値は、制御のために便宜的に求めて一元的に表現した値である。具体的には、この画像を目標の明るさとするための設定値は、合算された撮像装置1全体の増幅率を示す値である。
第3の計算機能部65は、第1の記憶機能部63で計算された画像の現状の明るさと、第2の計算機能部64で計算された画像を目標の明るさとするための設定値と、第2の記憶機能部62に記憶されている画像の明るさを調整するための調整速度とから、画像を次の明るさとするための設定値γを計算する。この画像を次の明るさとするための設定値γも合算された撮像装置1全体の増幅率を示す値である。
この計算で求めた画像を次の明るさとするための設定値γに基づいて制御した結果として画像の明るさとして実現したい次の明るさが、上記説明した複数の中間目標値に相当する。
この計算で求めた画像を次の明るさとするための設定値γに基づいて制御した結果として画像の明るさとして実現したい次の明るさが、上記説明した複数の中間目標値に相当する。
第3の計算機能部65には、画像を次の明るさとするための設定値γと比較するための基準となる2つの設定値αと設定値βとを設けている。ここで、設定値αと設定値βは、固定値であり、設定値α>設定値βの大小関係にある。もちろん、設定値αと設定値βも合算された撮像装置1全体の増幅率を示す値である。
以下に、図7を用いて設定値αと設定値βについて説明する。図7は、自動露光調整機能部60の動作を説明するためのグラフである。グラフの横軸は、撮像装置1に入射した光の光量、即ち、入射光量を示す。グラフの縦軸は、撮像装置1の出力である画像の明るさを示す。
図7では3種類の折れ線グラフが示されている。1つ目の折れ線グラフには、調光しない場合とのラベル付けをした。2つ目の折れ線グラフには、減感なしの場合とのラベル付けをした。3つ目の折れ線グラフには、減感ありの場合とのラベル付けをした。
図7には、アナログ増幅器20のゲインをマイナス、例えば−15[dB]に設定しても、CMOSイメージセンサ10のフォトダイオードが飽和する前にA/D変換部30から出力されるA/D出力にクリップが生じるような飽和電子数を持つCMOSイメージセンサ10を撮像装置1に使用していることを前提とした場合において、調光しない場合と、減感なしの場合と、減感ありの場合の3つの場合における折れ線グラフを図示している。
調光しない場合の折れ線グラフは、アナログ増幅器20のゲインとデジタル増幅器41のゲイン及びシャッタースピードのいずれの調整もしない場合(調光しない場合)での入射光量と画像の明るさとの関係を示す。この調光しない場合とは、アナログ増幅器20のゲインとデジタル増幅器41のゲインとを0[dB]に設定し、シャッタースピードをオフに設定した場合を意味する。
減感なしの場合の折れ線グラフは、アナログ増幅器20のゲインを例えば最小値:0[dB]から最大値:+20[dB]までの範囲で調整した場合、つまりアナログ増幅器20のゲインをマイナスに設定して信号を減衰させることをしない場合(減感しない場合)の入射光量と画像の明るさとの関係を示す。この減感なしの場合の折れ線グラフは、本願発明の従来技術における入射光量と画像の明るさとの関係を示す。この減感なしの場合には、デジタル増幅器41のゲインを例えば0[dB]から20[dB]の範囲で調整しており、シャッタースピードを例えばオフから10000分の1秒まで調整している。
減感ありの場合の折れ線グラフは、アナログ増幅器20のゲインを最小値、例えば−15[dB]から最大値、例えば+20[dB]までの範囲で調整した場合、つまりアナログ増幅器20のゲインをマイナスに設定して信号を減衰させることによって信号を減感した場合の入射光量と画像の明るさとの関係を示す。この減感ありの場合の折れ線グラフは、本実施形態2における入射光量と画像の明るさとの関係を示す。この減感ありの場合には、デジタル増幅器41のゲインを例えば0[dB]から20[dB]の範囲で調整しており、シャッタースピードを例えばオフから10000分の1秒まで調整している。
設定値αは、デジタル増幅器41のゲインを0[dB]、シャッタースピードをオフ、アナログ増幅器20のゲインを最大値、例えば20[dB]に、それぞれ設定したときの、合算された撮像装置1全体の増幅率を示す値である。図7のグラフにおいて入射光量がx1の場合に、撮像装置1全体の増幅率をαとすると、ちょうど画像の明るさが目標の明るさとなる。換言すると、入射光量がx1の場合、第2の計算機能部64が計算で求めた画像を目標の明るさとするための設定値はαとなる。
同様に、設定値βは、デジタル増幅器41のゲインを0[dB]、シャッタースピードをオフ、アナログ増幅器20のゲインを最小値、例えば−15[dB]に、それぞれ設定したときの、合算された撮像装置1全体の増幅率を示す値である。図7のグラフにおいて入射光量がx2の場合に、撮像装置1全体の増幅率をβとすると、ちょうど画像の明るさが目標の明るさとなる。換言すると、入射光量がx2の場合、第2の計算機能部64が計算で求めた画像を目標の明るさとするための設定値はβとなる。
入射光量x1と入射光量x2とは、入射光量x1<入射光量x2の大小関係にある。したがって、撮像装置1にこれらの入射光量x1と入射光量x2の光が入射した場合に、撮像装置1の出力である画像の明るさを目標の明るさにするためには、合算された撮像装置1全体の増幅率をそれぞれ設定値αと設定値βにする必要がある。よって、設定値α>設定値βの大小関係になる。
第3の計算機能部65は、画像の次の明るさとするための設定値γを基準となる2つの設定値α、設定値βと比較した結果に基づいて、デジタル増幅器41に出力するデジタル増幅器41のゲインの設定値、アナログ増幅器20に出力するアナログ増幅器20のゲインの設定値、撮像装置10に出力するCMOSイメージセンサのシャッタースピードの設定値を決定する。
第3の計算機能部65は、デジタル増幅器41のゲインの設定値をデジタル増幅器41に出力して、デジタル増幅器41のゲインを設定する。第3の計算機能部65は、アナログ増幅器20のゲインの設定値をヘッドI/F51、CUI/F31を介してアナログ増幅器20に出力して、アナログ増幅器20のゲインを設定する。第3の計算機能部65は、シャッタースピードの設定値をヘッドI/F51、CUI/F31を介して撮像素子10に出力して、CMOSイメージセンサのシャッタースピードを設定する。
このようにデジタル増幅器41のゲインと、アナログ増幅器20のゲインと、CMOSイメージセンサのシャッタースピードとを設定することによって、画像の明るさが次の明るさとなるように制御する。
この制御の結果として画像の明るさが変化した後、上述と同様に、第3の計算機能部65は、画像の現状の明るさと、画像を目標の明るさとするための設定値と、画像の明るさを調整するための調整速度とから、画像を次の明るさとするための設定値γを計算する。以後、順次第3の計算機能部65が画像を次の明るさとするための設定値γを計算して、デジタル増幅器41のゲインと、アナログ増幅器20のゲインと、CMOSイメージセンサのシャッタースピードとを設定することによって、画像の明るさが目標の明るさとなるよう制御する。
以下に、第3の計算機能部65による、画像を次の明るさとするための設定値γと設定値α、設定値βとの比較動作を説明する。
*[画像を次の明るさとするための設定値γと設定値αとの間にγ>αの関係にある場合]
ここで、γ>αの関係にあるということは、入射光量が少なく、画像が暗くなっていることを意味する。つまり、画像の明るさを目標の明るさにするために、増幅率である設定値γが大きい値として計算で求められたことを意味する。
*[画像を次の明るさとするための設定値γと設定値αとの間にγ>αの関係にある場合]
ここで、γ>αの関係にあるということは、入射光量が少なく、画像が暗くなっていることを意味する。つまり、画像の明るさを目標の明るさにするために、増幅率である設定値γが大きい値として計算で求められたことを意味する。
第3の計算機能部65は、設定値γと設定値α、設定値βとの比較結果に基づいて、次のようにデジタル増幅器41に出力するデジタル増幅器41のゲインの設定値、アナログ増幅器20に出力するアナログ増幅器20のゲインの設定値、撮像素子10に出力するCMOSイメージセンサのシャッタースピードの設定値を決定する。
第3の計算機能部65は、シャッタースピードをオフと決定する。シャッタースピードがオフであるとは、シャッター機能を使用しないということを意味する。したがって、CMOSイメージセンサが1秒間あたりのフレーム数が60、つまり60fpsの動画を撮影している場合を仮定すると、シャッタースピードがオフにすることは、CMOSイメージセンサの露光時間として1/60[s]に設定することである。第3の計算機能部65は、アナログ増幅器20のゲインを最大値、例えば20[dB]に設定する。第3の計算機能部65は、シャッタースピードをオフ、アナログ増幅器20のゲインを最大値と設定したときに、合算された撮像装置1全体の増幅率を設定値γにするために必要とするデジタル増幅器41のゲインの設定値を計算して求める。
*[画像の次の明るさとするための設定値γと設定値α、設定値βとの間にα>γ>βの関係にある場合]
第3の計算機能部65は、シャッタースピードをオフと決定する。つまり、CMOSイメージセンサの露光時間を1/60[s]に設定する。第3の計算機能部65は、デジタル増幅器41のゲインを0[dB]に設定する。第3の計算機能部65は、シャッタースピードをオフ、デジタル増幅器41のゲインを0[dB]と設定したときに、合算された撮像装置1全体の増幅率を設定値γにするために必要とするアナログ増幅器20のゲインの設定値を計算して求める。
第3の計算機能部65は、シャッタースピードをオフと決定する。つまり、CMOSイメージセンサの露光時間を1/60[s]に設定する。第3の計算機能部65は、デジタル増幅器41のゲインを0[dB]に設定する。第3の計算機能部65は、シャッタースピードをオフ、デジタル増幅器41のゲインを0[dB]と設定したときに、合算された撮像装置1全体の増幅率を設定値γにするために必要とするアナログ増幅器20のゲインの設定値を計算して求める。
*[画像の次の明るさとするための設定値γと設定値βとの間にβ>γの関係にある場合]
ここで、β>γの関係にあるということは、入射光量が多くなって画像の明るさが目標の明るさよりも明るくなっていることを意味する。つまり、画像の明るさを目標の明るさにするためには、増幅率である設定値γが小さい値として計算で求められたことを意味する。
ここで、β>γの関係にあるということは、入射光量が多くなって画像の明るさが目標の明るさよりも明るくなっていることを意味する。つまり、画像の明るさを目標の明るさにするためには、増幅率である設定値γが小さい値として計算で求められたことを意味する。
第3の計算機能部65は、アナログ増幅器20のゲインを最小値に決定する。この最小値は、飽和電子数とA/Dmaxの関係から決定されるマイナスの値であり、例えば−15[dB]とする。第3の計算機能部65は、デジタル増幅器41のゲインを0[dB]に決定する。
第3の計算機能部65は、アナログ増幅器20のゲインを最小値、例えば−15[dB]、デジタル増幅器41のゲインを0[dB]と設定した時に、合算された撮像装置1全体の増幅率を設定値γにするために必要とするシャッタースピードの設定値を計算して求める。
図7の減感ありの場合の折れ線グラフを参照していただきたい。γ>αの関係にある場合には、撮像装置1全体の増幅率をαに設定しても、画像の明るさが次の明るさとして設定した明るさに届かない状態である。このため、デジタル増幅器41を増幅(増感)して画像信号を調光する必要がある。よって、第3の計算機能部65は、合算した撮像装置1全体の増幅率を大きくして、画像の明るさが次の明るさとして設定した明るさになるよう制御する。つまり、第3の計算機能部65は、シャッタースピードをオフ、アナログ増幅器20のゲインを最大値と設定し、デジタル増幅器41のゲインを計算で求めた値に設定することで、画像の明るさが次の明るさとして設定した明るさになるように制御する。この計算で求めたデジタル増幅器41のゲインは、画像の明るさが次の明るさとして設定した明るさになるように増加することになる。このように制御する範囲を図7において、デジタルゲイン(増感)による調光範囲1として、ラベル付けした。
α>γ>βの関係にある場合には、撮像装置1全体の増幅率をαに設定すると画像が明るくなり過ぎる状態となる。一方、撮像装置1全体の増幅率をβに設定すると画像が暗過ぎる状態となる。よって、第3の計算機能部65は、画像の明るさが次の明るさとして設定した明るさになるようにアナログ増幅器20のゲインを、最小値と最大値の範囲で制御して、画像信号を増感または減感する。つまり、第3の計算機能部65は、シャッタースピードをオフ、デジタル増幅器41のゲインを0[dB]と設定し、アナログ増幅器20のゲインを計算で求めた値に設定することで、画像の明るさが次の明るさとして設定した明るさとなるように制御する。このように制御する範囲を図7において、アナログゲイン(増感)による調光範囲1およびアナログゲイン(減感)による調光範囲として、ラベル付けした。
β>γの関係にある場合には、撮像装置1全体の増幅率をβに設定すると画像が明るくなり過ぎる。このため増幅率をβ以下に減衰(減感)して画像信号を調光する必要がある。よって、第3の計算機能部65は、合算した撮像装置1全体の増幅率をβ以下に設定して、画像の明るさが次の明るさとして設定した明るさになるよう制御する。つまり、第3の計算機能部65は、アナログ増幅器20のゲインを最小値、デジタル増幅器41のゲインを0[dB]と設定し、シャッタースピードを計算で求めた値に設定することで、画像の明るさが次の明るさとして設定した明るさとなるように制御する。このβ>γの関係にある場合には、アナログ増幅器20のゲインの制御によるこれ以上の調光ができないため、これまで使用してこなかったシャッターを使用し、そのシャッタースピードを制御することによって、画像信号を減衰(減感)して調光している。このように制御する範囲を図7において、シャッターによる調光範囲1として、ラベル付けした。
本実施形態の効果を理解するために、図7に図示した調光しない場合の折れ線グラフと減感なしの場合の折れ線グラフを参照していただきたい。まず、調光しない場合の折れ線グラフを参照されたい。調光しない場合には、画像の明るさが目標の明るさを超えしまうことがある。したがって、画像信号の調光が必要になる。
次に、減感なしの場合の折れ線グラフを参照されたい。この減感なしの場合の折れ線グラフは、本願発明の従来技術における入射光量と画像の明るさとの関係を示す。この減感なしの場合において、入射光量が少なく画像の明るさが目標の明るさを下回っている状態では、アナログ増幅器とデジタル増幅器のゲインを制御して、画像の明るさが目標の明るさになるよう制御している。このとき、アナログ増幅器20のゲインを最小値、例えば0[dB]から最大値、例えば+20[dB]までの範囲で調整する。ここで、アナログ増幅器20のゲインがプラスであることに注目してほしい。
減感なしの場合の折れ線グラフにおいて、デジタル増幅器のゲインを制御して調光している範囲をデジタルゲイン(増感)による調光範囲2として、ラベル付けした。
減感なしの場合の折れ線グラフにおいて、アナログ増幅器のゲインを制御して調光している範囲をアナログゲイン(増感)による調光範囲2として、ラベル付けした。
減感なしの場合の折れ線グラフにおいて、アナログ増幅器のゲインを制御して調光している範囲をアナログゲイン(増感)による調光範囲2として、ラベル付けした。
入射光量が増加して、画像の明るさが目標の明るさを超えてアナログ増幅器とデジタル増幅器のゲインの調整が必要としなくなった状態では、シャッター機能を使用し、シャッタースピードを制御することによって画像の明るさが目標の明るさになるよう制御している。このように制御する範囲を図7において、シャッターによる調光範囲2として、ラベル付した。また更に入射光量が増加すると、シャッタースピードを制御しても画像の明るさが目標の明るさを超える状態になってしまう。
図7において、減感ありの場合の折れ線グラフと減感なしの場合の折れ線グラフとを比較されたい。本実施形態2によれば、入射光量が増加しても画像の明るさを目標の明るさに維持できる範囲が拡大していることがわかる。この拡大した範囲を追従範囲の拡大とラベル付けした。
このように、本実施形態2の撮像装置1によれば、アナログ増幅器のゲインを制御することにより、画像信号を減感して調光することで図7に示すように、画像の明るさを目標の明るさに維持する範囲を拡張することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、様々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…撮像装置、2…ヘッド、3…制御ユニット、4…デジタル信号線、10…撮像素子(CMOSイメージセンサ)、11…画素、12…垂直読出し回路、13…水平読出し回路、20…アナログ増幅器、30…A/D変換部、40…デジタル信号処理部、41…デジタル増幅器、42…画像処理回路、43…積算回路、50…出力I/F、51…ヘッドI/F、52…ユーザI/F、60…自動露光調整機能部、61,62…記憶機能部、63〜65…計算機能部。
Claims (8)
- ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力する撮像素子と、
入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するアナログ増幅器と、
前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合は、前記デジタル信号を前記最大出力レベルにクリップして出力する変換部と、を具備し、
前記アナログ増幅器は、入力するマイナス利得に対して、前記変換部から出力されるデジタル信号が前記最大出力レベルを維持する範囲で、前記撮像素子からのアナログ信号の信号レベルを減衰する撮像装置のヘッド。 - ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力する撮像素子と、入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するとともに、入力するマイナス利得に対して、前記撮像素子からのアナログ信号の信号レベルを減衰するアナログ増幅器と、前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合、前記デジタル信号を前記最大出力レベルにクリップして出力する変換部と、を具備するヘッドと、
前記変換部から出力されるデジタル信号の画像を入力するとともに、前記制御された利得を出力する入出力部と、入力する利得に応じて、前記入出力部から入力されるデジタル信号の信号レベルを増加又は減衰するデジタル増幅器と、前記アナログ増幅器と前記デジタル増幅器の利得および前記ローリングシャッター機能のシャッタースピードを制御する制御部と、前記デジタル増幅器からのデジタル信号に基づく画像を出力する出力部と、を具備する制御ユニットと、を備え、
前記制御部は、前記出力された画像の明るさに応じて、前記デジタル増幅器の利得を優先的に制御し、次に前記アナログ増幅器の利得を制御した後に、前記シャッタースピードの制御を行う撮像装置。 - 前記制御部は、前記出力された画像の明るさに応じて、前記デジタル増幅器の利得を、ゼロ利得まで下げるように制御する請求項2記載の撮像装置。
- 前記制御部は、前記出力された画像の明るさに応じて、前記アナログ増幅器のマイナス利得を、飽和ノイズが出ない範囲で下げるように制御する請求項2記載の撮像装置。
- 前記制御部は、前記シャッタースピードを、前記デジタル増幅器の利得がゼロ利得で、かつ前記アナログ増幅器のマイナス利得が最小になるまで、オフを保つように制御する請求項2記載の撮像装置。
- 前記制御ユニットは、
前記変換部から入力する画像の現在の明るさを算出する明るさ算出部と、前記算出された画像の現在の明るさと入力する前記画像の明るさの目標値とに基づき、前記アナログ増幅器と前記デジタル増幅器の利得を算出する利得算出部と、
前記明るさ算出部で算出された画像の現在の明るさと前記画像の明るさの目標値に基づき、前記シャッタースピードを算出するシャッタースピード算出部と、をさらに具備し、
前記制御部は、前記算出された画像の現在の明るさが前記目標値より明るい場合、前記明るさに応じて、前記デジタル増幅器の利得を、ゼロ利得まで下げ、次に前記アナログ増幅器のマイナス利得を、飽和ノイズが出ない範囲で下げるとともに、前記前記シャッタースピードを、前記デジタル増幅器の利得がゼロ利得で、かつ前記アナログ増幅器のマイナス利得が最小になるまで、オフを保つように制御した後、前記シャッタースピードを、前記算出されたシャッタースピードになるように制御する請求項2記載の撮像装置。 - 撮像素子が、ローリングシャッター機能を有し、被写体の光量に対応したアナログ信号の画像を出力するステップと、
アナログ増幅器が、入力する利得に応じて、前記撮像素子からのアナログ信号の信号レベルを増加又は減衰するとともに、入力するマイナス利得に対して、前記撮像素子からのアナログ信号の信号レベルを減衰するステップと、
変換部が、前記アナログ増幅器から入力するアナログ信号を変換して得られるデジタル信号の信号レベルが最大出力レベルを超える場合、前記デジタル信号を前記最大出力レベルにクリップして出力するステップと、
入出力部が、前記変換部から出力されるデジタル信号の画像を入力するとともに、前記制御された利得を出力するステップと、
デジタル増幅器が、入力する利得に応じて、前記入出力部から入力されるデジタル信号の信号レベルを増加又は減衰するステップと、
制御部が、前記アナログ増幅器と前記デジタル増幅器の利得および前記ローリングシャッター機能のシャッタースピードを制御するステップと、
出力部が、前記デジタル増幅器からのデジタル信号に基づく画像を出力するステップと、を含み、
前記制御するステップでは、前記制御部が、前記出力された画像の明るさに応じて、前記デジタル増幅器の利得を優先的に制御し、次に前記アナログ増幅器の利得を制御した後に、前記シャッタースピードの制御を行う撮像装置の露光調整方法。 - 明るさ算出部が、前記変換部から入力する画像の現在の明るさを算出するステップと、
利得算出部が、前記算出された画像の現在の明るさと入力する前記画像の明るさの目標値とに基づき、前記アナログ増幅器と前記デジタル増幅器の利得を算出するステップと、
シャッタースピード算出部が、前記明るさ算出部で算出された画像の現在の明るさと前記画像の明るさの目標値に基づき、前記シャッタースピードを算出するステップと、をさらに含み、
前記制御するステップでは、前記制御部は、前記算出された画像の現在の明るさが前記目標値より明るい場合、前記明るさに応じて、前記デジタル増幅器の利得を、ゼロ利得まで下げ、次に前記アナログ増幅器のマイナス利得を、飽和ノイズが出ない範囲で下げるとともに、前記前記シャッタースピードを、前記デジタル増幅器の利得がゼロ利得で、かつ前記アナログ増幅器のマイナス利得が最小になるまで、オフを保つように制御した後、前記シャッタースピードを、前記算出されたシャッタースピードになるように制御する請求項7記載の撮像装置の露光調整方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014057229A JP2015180010A (ja) | 2014-03-19 | 2014-03-19 | 撮像装置のヘッド、および撮像装置 |
US14/666,092 US20150271379A1 (en) | 2014-03-19 | 2015-03-23 | Head of imaging apparatus, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014057229A JP2015180010A (ja) | 2014-03-19 | 2014-03-19 | 撮像装置のヘッド、および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015180010A true JP2015180010A (ja) | 2015-10-08 |
Family
ID=54143277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014057229A Pending JP2015180010A (ja) | 2014-03-19 | 2014-03-19 | 撮像装置のヘッド、および撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150271379A1 (ja) |
JP (1) | JP2015180010A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100297714B1 (ko) * | 1998-09-01 | 2001-08-07 | 윤종용 | 넓은동적범위를갖는영상장치및이의영상신호처리방법 |
US6792141B2 (en) * | 2001-04-19 | 2004-09-14 | Raytheon Company | Infrared detection system and method with histogram based manual level and gain control with local gain clipping |
JP5159235B2 (ja) * | 2007-10-02 | 2013-03-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP4483962B2 (ja) * | 2008-03-25 | 2010-06-16 | ソニー株式会社 | 撮像装置、撮像方法 |
JP4770907B2 (ja) * | 2008-10-21 | 2011-09-14 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
US8355059B2 (en) * | 2009-02-06 | 2013-01-15 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
JP2015050671A (ja) * | 2013-09-02 | 2015-03-16 | 株式会社東芝 | 固体撮像装置 |
-
2014
- 2014-03-19 JP JP2014057229A patent/JP2015180010A/ja active Pending
-
2015
- 2015-03-23 US US14/666,092 patent/US20150271379A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150271379A1 (en) | 2015-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10419702B2 (en) | Imaging apparatus, imaging system, and method of driving an imaging system | |
JP4685120B2 (ja) | 光電変換装置及び撮像システム | |
US10284796B2 (en) | Image capture apparatus and control method thereof | |
US11184565B2 (en) | Image pickup apparatus and its control method | |
US9277135B2 (en) | Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium | |
US20150022687A1 (en) | System and method for automatic exposure and dynamic range compression | |
JP2008263547A (ja) | 撮像装置 | |
JP5967902B2 (ja) | 撮像装置及び絞り制御方法 | |
JP2014171123A (ja) | 撮像装置、露出制御方法およびプログラム | |
TW202034679A (zh) | 影像擷取裝置 | |
US11165978B2 (en) | Imaging device, control method thereof, and imaging apparatus | |
US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
JP2016134909A (ja) | 撮像装置及びその制御方法 | |
JP6525602B2 (ja) | 撮像装置及びその制御方法 | |
US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2015180010A (ja) | 撮像装置のヘッド、および撮像装置 | |
JP2016100686A (ja) | 撮像装置および撮像方法 | |
US10484626B2 (en) | Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus | |
JP2011009834A (ja) | 撮像装置及び撮像方法 | |
US11632506B2 (en) | Non-uniformity correction (NUC) self-calibration using images obtained using multiple respective global gain settings | |
US20240155229A1 (en) | Image capturing apparatus and method for controlling the same | |
JP4735006B2 (ja) | 黒バランス調整装置 | |
US20240380996A1 (en) | Image capturing apparatus, method for controlling the same, and storage medium | |
JP2012235534A (ja) | 撮像装置 | |
JP6150969B1 (ja) | ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150805 |