Nothing Special   »   [go: up one dir, main page]

JP2018125840A - 撮像システム及び撮像装置 - Google Patents

撮像システム及び撮像装置 Download PDF

Info

Publication number
JP2018125840A
JP2018125840A JP2017206335A JP2017206335A JP2018125840A JP 2018125840 A JP2018125840 A JP 2018125840A JP 2017206335 A JP2017206335 A JP 2017206335A JP 2017206335 A JP2017206335 A JP 2017206335A JP 2018125840 A JP2018125840 A JP 2018125840A
Authority
JP
Japan
Prior art keywords
pixel
period
pixels
imaging device
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017206335A
Other languages
English (en)
Other versions
JP6953274B2 (ja
Inventor
直樹 河津
Naoki Kawazu
直樹 河津
敦史 鈴木
Atsushi Suzuki
敦史 鈴木
純一郎 薊
Junichiro Azami
純一郎 薊
裕一 本橋
Yuichi Motohashi
裕一 本橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN201780084589.XA priority Critical patent/CN110226325B/zh
Priority to DE112017006977.7T priority patent/DE112017006977T5/de
Priority to US16/471,406 priority patent/US10819928B2/en
Priority to PCT/JP2017/040155 priority patent/WO2018142707A1/ja
Publication of JP2018125840A publication Critical patent/JP2018125840A/ja
Application granted granted Critical
Publication of JP6953274B2 publication Critical patent/JP6953274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/69SSIS comprising testing or correcting structures for circuits other than pixel cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779Circuitry for scanning or addressing the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)

Abstract

【課題】異常を検出するための各種試験をより効率的に実行可能とする。【解決手段】車両に搭載され、車両の周辺領域を撮像して画像を生成する撮像装置と、車両に搭載され、車両を制御する機能に関する処理を実行する処理装置と、を備え、撮像装置は、複数の画素と、複数の画素それぞれによる露光を制御する制御部と、所定の試験を実行する処理部と、を有し、制御部は、複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間において画素信号の読み出しが完了した後に、1回以上の露光が実行される第2の期間において画素信号の読み出しが開始されるように露光を制御し、処理部は、第1の期間における画素信号の読み出しと第2の期間における画素信号の読み出しとの間である第3の期間に、所定の試験を実行し、処理装置は、所定の試験の結果に基づいて、車両を制御する機能を制限する、撮像システム。【選択図】図24

Description

本開示は、撮像システム及び撮像装置に関する。
固体撮像装置として、CMOS(Complementary Metal Oxide Semiconductor)等のMOS型イメージセンサに代表される増幅型固体撮像装置が知られている。また、CCD(Charge Coupled Device)イメージセンサに代表される電荷転送型固体撮像装置が知られている。これら固体撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどに広く用いられている。近年、カメラ付き携帯電話やPDA(Personal Digital Assistant)などのモバイル機器に搭載される固体撮像装置としては、電源電圧が低く、消費電力の観点などからMOS型イメージセンサが多く用いられている。
MOS型の固体撮像装置は、単位画素が光電変換素子(例えば、フォトダイオード)と複数の画素トランジスタで形成され、この複数の単位画素が2次元アレイ状に配列された画素アレイ(画素領域)と、周辺回路領域を有して構成される。複数の画素トランジスタは、MOSトランジスタで形成され、転送トランジスタ、リセットトランジスタ、増幅とトランジスタの3トランジスタ、あるいは選択トランジスタを加えた4トランジスタで構成される。
また、近年では、固体撮像装置の用途も多様化してきており、例えば、画像解析技術や各種認識技術の発展に伴い、単に画像を撮像するのみに限らず、撮像された画像に基づき、人や物などのような所定の対象を認識する各種認識システムへの応用も検討されている。
米国特許出願公開第2008/0158363号明細書
ところで、固体撮像装置を各種認識システムに応用するような状況下においては、当該固体撮像装置に異常が生じた場合に、当該異常を検出するための仕組みが重要となる。例えば、特許文献1には、故障検出回路を用いて固体撮像装置の故障を検出するための仕組みの一例が開示されている。
一方で、特許文献1では、画像検出チップの電源オン時もしくは外部検査機器からの信号受信時に故障検出回路を用いて各種試験を実行するため、例えば撮像中に発生した故障をrun-timeで検出することが困難である。
そこで、本開示では、異常を検出するための各種試験をより効率的に実行することが可能な、撮像システム及び撮像装置を提案する。
本開示によれば、車両に搭載され、前記車両の周辺領域を撮像して画像を生成する撮像装置と、前記車両に搭載され、前記車両を制御する機能に関する処理を実行する処理装置と、を備え、前記撮像装置は、複数の画素と、前記複数の画素それぞれによる露光を制御する制御部と、所定の試験を実行する処理部と、を有し、前記制御部は、前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間において画素信号の読み出しが完了した後に、1回以上の露光が実行される第2の期間において画素信号の読み出しが開始されるように露光を制御し、前記処理部は、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号の読み出しとの間である第3の期間に、前記所定の試験を実行し、前記処理装置は、前記所定の試験の結果に基づいて、前記車両を制御する機能を制限する、撮像システムが提供される。
また、本開示によれば複数の画素と、前記複数の画素それぞれによる露光を制御する制御部と、所定の試験を実行する処理部と、を備え、前記制御部は、前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間において画素信号の読み出しが完了した後に、1回以上の露光が実行される第2の期間において画素信号の読み出しが開始されるように露光を制御し、前記処理部は、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号の読み出しとの間である第3の期間に、前記所定の試験を実行する、撮像装置が提供される。
また、本開示によれば、複数の画素と、前記複数の画素それぞれによる露光を制御する制御部と、前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間のうちの最後の露光結果
に基づく画素信号の読み出しの完了後から、前記第1の期間よりも後の前記1回以上の露光が実行される第2の期間における最初の露光が開始されるまでの第3の期間に、所定の試験を実行する処理部と、を備える撮像装置が提供される。
以上説明したように本開示によれば、異常を検出するための各種試験をより効率的に実行することが可能な、撮像システム及び撮像装置が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る固体撮像装置の構成の一例として、CMOS固体撮像装置の概略構成を示した図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。 本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。 本開示の一実施形態に係る固体撮像装置の機能構成の他の一例を示したブロック図である。 本開示の一実施形態に係る固体撮像装置の構成の他の一例を示した図である。 本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。 本開示の一実施形態に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 本開示の一実施形態に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 本開示の第1の実施形態に係る固体撮像装置の概略的な構成の一例を示したブロック図である。 同実施形態に係る固体撮像装置の概略的な構成の一例を示したブロック図である。 同実施形態に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 同実施形態に係る固体撮像装置の駆動制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置の駆動制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置の駆動制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置における画素信号の補正に係る動作の一例について説明するための説明図である。 同実施形態の変形例に係る固体撮像装置における単位画素の回路構成の一例を示した図である。 同実施形態の変形例に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 同実施形態の変形例に係る固体撮像装置の駆動制御の一例について説明するための説明図である。 同実施形態の応用例に係る固体撮像装置の駆動制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 本開示の第2の実施形態に固体撮像装置の概略的な構成の一例を示したブロック図である。 同実施形態に係る固体撮像装置における画素信号の補正に係る動作の一例について説明するための説明図である。 同実施形態に係る固体撮像装置における画素信号の補正に係る動作の一例について説明するための説明図である。 同実施形態に係る固体撮像装置の駆動制御の一例について示した概略的なタイミングチャートである。 同実施形態に係る固体撮像装置における各画素からの画素信号の読み出しに係る概略的な制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置における各画素からの画素信号の読み出しに係る概略的な制御の一例について説明するための説明図である。 同実施形態に係る固体撮像装置における露光時間の制約と垂直ブランク期間との関係について説明するためのタイミングチャートである。 フロントカメラECUと撮像素子のハードウェアの構成について説明するための説明図である。 フロントカメラECUと撮像素子のハードウェアの構成について説明するための説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 移動体に適用される撮像装置の概略的な構成の一例について示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.固体撮像装置の構成例
1.1.概略構成
1.2.機能構成
1.3.単位画素の回路構成
1.4.駆動制御
2.第1の実施形態
2.1.構成
2.2.駆動制御
2.3.変形例
2.4.評価
3.第2の実施形態
3.1.構成
3.2.駆動制御
3.3.露光時間の制約と垂直ブランク期間との関係
3.4.評価
4.応用例
4.1.移動体への応用例1
4.2.移動体への応用例2
5.むすび
<<1.固体撮像装置の構成例>>
本実施形態に係る固体撮像装置の一構成例について以下に説明する。
<1.1.概略構成>
図1に、本開示の一実施形態に係る固体撮像装置の構成の一例として、CMOS固体撮像装置の概略構成を示す。このCMOS固体撮像装置は、各実施の形態の固体撮像装置に適用される。
図1に示すように、本例の固体撮像装置1は、画素アレイ部3、アドレスレコーダ4、画素タイミング駆動回路5、カラム信号処理回路6、センサコントローラ7、及びアナログ電位生成回路8を含む。
画素アレイ部3には、複数の画素2がアレイ状に配置されており、それぞれの画素2は、水平信号線を介して画素タイミング駆動回路5に接続されるとともに、垂直信号線VSLを介してカラム信号処理回路6に接続される。複数の画素2は、図示しない光学系を介して照射される光の光量に応じた画素信号をそれぞれ出力し、それらの画素信号から、画素アレイ部3に結像する被写体の画像が構築される。
画素2は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ(いわゆるMOSトランジスタ)を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの3つのトランジスタで構成することができる。その他、選択トランジスタ追加して4つのトランジスタで構成することもできる。なお、単位画素の等価回路の一例については別途後述する。画素2は、1つの単位画素として構成することができる。また、画素2は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する1つのフローティングディフージョンと、共有する1つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の1つずつの画素トランジスタを共有して構成される。
また、画素アレイ部3の一部(例えば、非表示領域)には、表示に寄与しないダミー画素2aが配置されていてもよい。ダミー画素2aは、固体撮像装置1に関する各種情報の取得に利用される。例えば、ダミー画素2aは、表示に寄与する画素2が駆動されている期間中に、白輝度に相当する電圧が印可される。このとき、例えば、ダミー画素2aに流れる電流を電圧に変換し、この変換により得られる電圧を計測することで、表示に寄与する画素2の劣化を予測することも可能である。即ち、ダミー画素2aは、固体撮像装置1の電気的特性を検出可能なセンサに相当し得る。
アドレスレコーダ4は、画素アレイ部3の垂直方向のアクセスを制御し、画素タイミング駆動回路5は、アドレスレコーダ4からの制御信号と画素駆動パルスとの論理和に従って画素2を駆動する。
カラム信号処理回路6は、複数の画素2から垂直信号線VSLを介して出力される画素信号に対してCDS(Correlated Double Sampling:相関2重サンプリング)処理を施すことで、画素信号のAD変換を行うとともにリセットノイズを除去する。例えば、カラム信号処理回路6は、画素2の列数に応じた複数のAD変換器を有して構成され、画素2の列ごとに並列的にCDS処理を行うことができる。また、カラム信号処理回路6は、ソースフォロワ回路の負荷MOS部を形成する定電流回路、垂直信号線VSLの電位をアナログデジタル変換するためのシングルスロープ型のDAコンバータを備える。
センサコントローラ7は、固体撮像装置1の全体の駆動を制御する。例えば、センサコントローラ7は、固体撮像装置1を構成する各ブロックの駆動周期に従ったクロック信号を生成して、それぞれのブロックに供給する。
アナログ電位生成回路8は、固体撮像装置1に関する各種情報を取得するために、ダミー画素2aを所望の態様で駆動するためのアナログ電位を生成する。例えば、アナログ電位生成回路8により生成されたアナログ電位に基づき、画素タイミング駆動回路5がダミー画素2aを駆動することで、当該ダミー画素2aからの出力信号に基づき、固体撮像装置1に関する各種情報が取得される。
ここで、図2を参照して、本技術の固体撮像装置1の基本的な概略構成について説明する。
第1の例として、図2上段に示される固体撮像装置330は、1つの半導体チップ331内に、画素領域332、制御回路333、上述した信号処理回路を含むロジック回路334とを搭載して構成される。
第2の例として、図2中段に示される固体撮像装置340は、第1の半導体チップ部341と第2の半導体チップ部342とから構成される。第1の半導体チップ部341には、画素領域343と制御回路344が搭載され、第2の半導体チップ部342には、上述した信号処理回路を含むロジック回路345が搭載される。そして、第1の半導体チップ部341と第2の半導体チップ部342とが相互に電気的に接続されることで、1つの半導体チップとしての固体撮像装置340が構成される。
第3の例として、図2下段に示される固体撮像装置350は、第1の半導体チップ部351と第2の半導体チップ部352とから構成される。第1の半導体チップ部351には、画素領域353が搭載され、第2の半導体チップ部352には、制御回路354と、上述した信号処理回路を含むロジック回路355が搭載される。そして、第1の半導体チップ部351と第2の半導体チップ部352とが相互に電気的に接続されることで、1つの半導体チップとしての固体撮像装置350が構成される。
<1.2.機能構成>
続いて、図3を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明する。図3は、本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。図3に示される固体撮像装置1は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。
図3に示されるように、固体撮像装置1は、制御部101、画素アレイ部111、選択部112、A/D変換部(ADC(Analog Digital Converter))113、及び定電流回路部114を有する。
制御部101は、固体撮像装置1の各部を制御し、画像データ(画素信号)の読み出し等に関する処理を実行させる。
画素アレイ部111は、フォトダイオード等の光電変換素子を有する画素構成が行列(アレイ)状に配置される画素領域である。画素アレイ部111は、制御部101に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。
画素121および画素122は、その画素アレイ部111に配置される画素群の中の、上下に隣接する2画素を示している。画素121および画素122は、互いに同じカラム(列)の連続する行の画素である。図3の例の場合、画素121および画素122に示されるように、各画素の回路には、光電変換素子並びに4つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図3に示される例以外であってもよい。
一般的な画素アレイには、カラム(列)毎に、画素信号の出力線が設けられる。画素アレイ部111の場合、1カラム(列)毎に、2本(2系統)の出力線が設けられる。1カラムの画素の回路は、1行おきに、この2本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図3の例の場合、画素121の回路は、第1の出力線(VSL1)に接続され、画素122の回路は、第2の出力線(VSL2)に接続される。
なお、図3においては、説明の便宜上、1カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に2本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が1行おきに接続される。
選択部112は、画素アレイ部111の各出力線をADC113の入力に接続するスイッチを有し、制御部101に制御されて、画素アレイ部111とADC113との接続を制御する。つまり、画素アレイ部111から読み出された画素信号は、この選択部112を介してADC113に供給される。
選択部112は、スイッチ131、スイッチ132、およびスイッチ133を有する。スイッチ131(選択SW)は、互いに同じカラムに対応する2本の出力線の接続を制御する。例えば、スイッチ131がオン(ON)状態になると、第1の出力線(VSL1)と第2の出力線(VSL2)が接続され、オフ(OFF)状態になると切断される。
固体撮像装置1においては、各出力線に対してADCが1つずつ設けられている(カラムADC)。したがって、スイッチ132およびスイッチ133がともにオン状態であるとすると、スイッチ131がオン状態になれば、同カラムの2本の出力線が接続されるので、1画素の回路が2つのADCに接続されることになる。逆に、スイッチ131がオフ状態になると、同カラムの2本の出力線が切断されて、1画素の回路が1つのADCに接続されることになる。つまり、スイッチ131は、1つの画素の信号の出力先とするADC(カラムADC)の数を選択する。
このようにスイッチ131が画素信号の出力先とするADCの数を制御することにより、固体撮像装置1は、そのADCの数に応じてより多様な画素信号を出力することができる。つまり、固体撮像装置1は、より多様なデータ出力を実現することができる。
スイッチ132は、画素121に対応する第1の出力線(VSL1)と、その出力線に対応するADCとの接続を制御する。スイッチ132がオン(ON)状態になると、第1の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。
スイッチ133は、画素122に対応する第2の出力線(VSL2)と、その出力線に対応するADCとの接続を制御する。スイッチ133がオン(ON)状態になると、第2の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。
選択部112は、制御部101の制御に従って、このようなスイッチ131〜スイッチ133の状態を切り替えることにより、1つの画素の信号の出力先とするADC(カラムADC)の数を制御することができる。
なお、スイッチ132やスイッチ133(いずれか一方もしくは両方)を省略し、各出力線と、その出力線に対応するADCとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、1つの画素の信号の出力先とするADC(カラムADC)の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、固体撮像装置1は、より多様な画素信号を出力することができる。
なお、図3においては、1カラム分の出力線に対する構成のみ示されているが、実際には、選択部112は、カラム毎に、図3に示されるのと同様の構成(スイッチ131〜スイッチ133)を有している。つまり、選択部112は、各カラムについて、制御部101の制御に従って、上述したのと同様の接続制御を行う。
ADC113は、画素アレイ部111から各出力線を介して供給される画素信号を、それぞれA/D変換し、デジタルデータとして出力する。ADC113は、画素アレイ部111からの出力線毎のADC(カラムADC)を有する。つまり、ADC113は、複数のカラムADCを有する。1出力線に対応するカラムADCは、比較器、D/A変換器(DAC)、およびカウンタを有するシングルスロープ型のADCである。
比較器は、垂直信号線VSLを介して供給される画素信号の信号値(電位)と、DACから供給されるランプ波の電位とを比較して、それらの電位が交差するタイミングにおいて反転する反転パルスを出力する。カウンタは、アナログ値をデジタル値に変換するために、画素信号の電位とランプ波の電位とが交差するタイミングに応じたAD期間をカウントする。カウンタは、画素信号の信号値とDACから供給されるランプ波の電位とが等しくなるまで、カウント値(デジタル値)をインクリメントする。比較器は、DAC出力が信号値に達すると、カウンタを停止する。その後カウンタ1,2によってデジタル化された信号をDATA1およびDATA2より固体撮像装置1の外部に出力する。
カウンタは、次のA/D変換のためデータ出力後、カウント値を初期値(例えば0)に戻す。
ADC113は、各カラムに対して2系統のカラムADCを有する。例えば、第1の出力線(VSL1)に対して、比較器141(COMP1)、DAC142(DAC1)、およびカウンタ143(カウンタ1)が設けられ、第2の出力線(VSL2)に対して、比較器151(COMP2)、DAC152(DAC2)、およびカウンタ153(カウンタ2)が設けられている。図示は省略しているが、ADC113は、他のカラムの出力線に対しても同様の構成を有する。
ただし、これらの構成の内、DACは、共通化することができる。DACの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のDACが共通化される。図3の例の場合、各カラムの第1の出力線(VSL1)に対応するDACがDAC142として共通化され、各カラムの第2の出力線(VSL2)に対応するDACがDAC152として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。
定電流回路部114は、各出力線に接続される定電流回路であり、制御部101により制御されて駆動する。定電流回路部114の回路は、例えば、MOS(Metal Oxide Semiconductor)トランジスタ等により構成される。この回路構成は任意であるが、図3においては、説明の便宜上、第1の出力線(VSL1)に対して、MOSトランジスタ161(LOAD1)が設けられ、第2の出力線(VSL2)に対して、MOSトランジスタ162(LOAD2)が設けられている。
制御部101は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部112を制御して、出力線に対する接続を制御する。また、制御部101は、選択した読み出しモードに応じて、カラムADCの駆動を制御したりする。さらに、制御部101は、カラムADC以外にも、必要に応じて、定電流回路部114の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部111の駆動を制御したりする。
つまり、制御部101は、選択部112の制御だけでなく、選択部112以外の各部も、より多様なモードで動作させることができる。したがって、固体撮像装置1は、より多様な画素信号を出力することができる。
ここで、図3に示す画素121及び122が、図1における画素2に相当する。また、選択部112、ADC113、及び定電流回路部114が、図1を参照して説明したカラム信号処理回路6に相当する。また、図3に示す制御部101が、図1を参照して説明したセンサコントローラ7に相当する。
なお、図3に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が3系統以上設けられるようにしてもよい。また、図3に示した、スイッチ132から出力される画素信号の並列数や、スイッチ132自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。
例えば、図4は、本開示の一実施形態に係る固体撮像装置の機能構成の他の一例を示したブロック図である。図4において、参照符号6a及び6bは、図1を参照して説明したカラム信号処理回路6に相当する構成をそれぞれ示している。即ち、図4に示す例では、カラム信号処理回路6に相当する構成(例えば、比較器141及び151、カウンタ143及び153、並びに、定電流回路部114)を複数系統設けている。また、図4に示すように、カラム信号処理回路6a及び6b間において、DAC142及び152が共通化されていてもよい。
また、図5は、本開示の一実施形態に係る固体撮像装置の構成の他の一例を示した図である。図5に示す例では、積層型の固体撮像装置において、上側の半導体チップに複数の画素2が配列された画素アレイ部111を設け、下側のチップにADC113を設けた場合の一例を示している。また、図5に示す例では、画素アレイ部111を、それぞれが複数の画素2を含む複数のエリア1111に分割し、当該エリア1111ごとにADC1131が設けられている。より具体的な一例として、図5に示す例では、10画素×16画素をエリア1111の単位として、画素アレイ部111を複数のエリア1111に分割している。
また、エリア1111に含まれる各画素2と、当該エリア1111に対応して設けられたADC1131との間は、半導体チップ間が積層されることで電気的に接続される。具体的な一例として、エリア1111に含まれる各画素2に接続された配線と、当該エリアに対応して設けられたADC1131に接続された配線との間が、所謂Cu−Cu接合に基づき直接接合されていてもよいし、所謂TSV(Through−Silicon Via)により接続されていてもよい。
以上のように、エリア1111ごとにADC1131を設けることで、例えば、列ごとにADC113が設けられる場合に比べて、各画素2からの画素信号をA/D変換し、デジタルデータとして出力する処理の並列数を増加させることが可能となる。そのため、例えば、各画素2から画素信号の読み出しに係る時間をより短縮することが可能となる。また、エリア1111ごとのADC1131を個々に独立して駆動させることも可能である。そのため、例えば、所望のタイミングで一部のエリア1111に含まれる画素2からの画素信号の読み出しを個別に行う等のように、各画素2からの画素信号の読み出しをより柔軟に制御することも可能となる。
また、図3を参照して説明した構成のうち、一部の構成が固体撮像装置1の外部に設けられていてもよい。具体的な一例として、図3に示す制御部101の少なくとも一部の機能を担う構成が、固体撮像装置1の外部から当該固体撮像装置1内の各構成に対して制御信号を送信することで当該構成の動作を制御してもよい。この場合における、制御部101に相当する構成が、「制御装置」の一例に相当する。
以上、図3〜図5を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明した。
<1.3.単位画素の回路構成>
続いて、図6を参照して、単位画素の回路構成の一例について説明する。図6は、本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。図6に示すように、本開示の一実施形態に係る単位画素2は、光電変換素子(例えばフォトダイオード)PDと、4つの画素トランジスタとを含む。4つの画素トランジスタは、例えば、転送トランジスタTr11、リセットトランジスタTr12、増幅トランジスタTr13、及び選択トランジスタTr14である。これらの画素トランジスタは、例えば、nチャネルのMOSトランジスタにより構成され得る。
転送トランジスタTr11は、光電変換素子PDのカソードとフローティングディフュージョン部FDとの間に接続される。光電変換素子PDで光電変換され、ここに蓄積された信号電荷(ここでは、電子)を、ゲートに転送パルスTRGが与えられることによってフローティングディフュージョン部FDに転送する。
リセットトランジスタTr12は、電源VDDにドレインが、フローティングディフュージョン部FDにソースがそれぞれ接続される。そして、光電変換素子PDからフローティングディフュージョン部FDへの信号電荷の転送に先立って、ゲートにリセットパルスRSTが与えられることによってフローティングディフュージョン部FDの電位をリセットする。
増幅トランジスタTr13は、フローティングディフュージョン部FDにゲートが、電源VDDにドレインが、選択トランジスタTr14のドレインにソースがそれぞれ接続される。増幅トランジスタTr13は、リセットトランジスタTr12によってリセットした後のフローティングディフュージョン部FDの電位をリセットレベルとして選択トランジスタTr14に出力する。さらに増幅トランジスタTr13は、転送トランジスタTr11によって信号電荷を転送した後のフローティングディフュージョン部FDの電位を信号レベルとして選択トランジスタTr14に出力する。
選択トランジスタTr14は、例えば、増幅トランジスタTr13のソースにドレインが、垂直信号線VSLにソースがそれぞれ接続される。そして選択トランジスタTr14のゲートに選択パルスSELが与えられることによってオン状態となり、増幅トランジスタTr13から出力される信号を垂直信号線VSLに出力する。なお、この選択トランジスタTr14については、電源VDDと増幅トランジスタTr13のドレインとの間に接続した構成を採ることも可能である。
本実施形態に係る固体撮像装置1を、積層型の固体撮像装置として構成する場合には、例えば、フォトダイオード及び複数のMOSトランジスタ等の素子が、図2の中段または下段における第1の半導体チップ部341に形成される。また、転送パルス、リセットパルス、選択パルス、電源電圧は、図2の中段または下段における第2の半導体チップ部342から供給される。また、選択トランジスタのドレインに接続される垂直信号線VSLから後段の素子は、選択トランジスタのドレインに接続される垂直信号線VSLから後段の素子は、ロジック回路345に構成されており、第2の半導体チップ部342に形成される。
以上、図6を参照して、単位画素の回路構成の一例について説明した。
<1.4.駆動制御>
続いて、本開示の一実施形態に係る固体撮像装置1の駆動制御の一例として、画素の駆動と、当該画素から供給される画素信号をデジタル信号に変換するADCの駆動と、についてそれぞれ説明する。
(画素の駆動)
まず、図7を参照して、画素2の駆動について説明する。図7は、本開示の一実施形態に係る固体撮像装置1の駆動制御の一例について示した概略的なタイミングチャートであり、画素2の駆動制御の一例について示している。
図7には、1水平同期期間を示す水平同期信号(XHS)、転送トランジスタTr11を駆動するTRG駆動パルス(読み出し時転送パルスおよび電子シャッタ時転送パルス)、リセットトランジスタTr12を駆動するRST駆動パルス(電子シャッタ時リセットパルスおよび読み出し時リセットパルス)、及び、選択トランジスタTr14を駆動するSEL駆動パルス(読み出し時選択パルス)が示されている。
電子シャッタ時には、電子シャッタ時転送パルス及び電子シャッタ時リセットパルスをオンすることで光電変換素子PDの電位をリセット状態にする。その後、蓄積時間中に光電変換素子PDに電荷を蓄積し、センサコントローラ7から読み出しパルスが発行される。
読み出し時には、読み出し時リセットパルスをオンすることでフローティングディフュージョン部FDの電位をリセットさせた後、プリデータ相(P相)の電位をAD変換する。その後、読み出し時転送パルスにて光電変換素子PDの電荷をフローティングディフュージョン部FDへ転送させデータ相(D相)をAD変換する。なお、読み出し時には読み出し時選択パルスはオン状態になっている。
なお、上記はあくまで一例であり、電子シャッタや読み出しの動作に応じて、少なくとも一部の駆動タイミングが変更されてもよい。具体的な一例として、図7において破線で示すように、読み出し時転送パルスにて光電変換素子PDの電荷をフローティングディフュージョン部FDへ転送させた後に、電子シャッタ時転送パルス及び電子シャッタ時リセットパルスをオンすることで光電変換素子PDの電位をリセット状態にしてもよい。
以上、図7を参照して、画素2の駆動について説明した。
次いで、図8を参照して、図3に示したADC113の一般的な駆動について説明する。図8は、本開示の一実施形態に係る固体撮像装置1の駆動制御の一例について示した概略的なタイミングチャートであり、ADC113の駆動制御の一例について示している。なお、本説明では、図3に示したADC113のうち、DAC142、比較器141、及びカウンタ143の動作に着目して、当該ADC113の駆動について説明する。
図8には、1水平同期期間を示す水平同期信号(XHS)、DAC142から出力されるランプ信号の電位(実線)、垂直信号線VSLから出力される画素信号の電位(破線)、比較器141から出力される反転パルス、およびカウンタ143の動作イメージが示されている。
一般的に、DAC142は、画素信号のリセットレベルを読み出すためのP相において一定の勾配で電位が順次降下する第1の傾斜を有し、画素信号のデータレベルを読み出すためのD相において一定の勾配で電位が順次降下する第2の傾斜を有するランプ波を生成する。また、比較器141は、画素信号の電位とランプ波の電位とを比較して、画素信号の電位とランプ波の電位とが交差するタイミングにおいて反転する反転パルスを出力する。そして、カウンタ143は、P相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント(P相カウント値)した後、D相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント(D相カウント値)する。これにより、P相カウント値とD相カウント値との差分が、リセットノイズが除去された画素信号として取得される。以上のようにして、ランプ波を利用して画素信号のAD変換が行われる。
以上、図8を参照して、図3に示したADC113の一般的な駆動について説明した。
<<2.第1の実施形態>>
続いて、本開示の第1の実施形態について説明する。本実施形態では、固体撮像装置1の各画素2に含まれる光電変換素子PDの状態(例えば、飽和特性)を認識することで、当該光電変換素子PDの故障検出を可能とする仕組みの一例について説明する。なお、以降の説明において、本実施形態に係る固体撮像装置1を、他の実施形態に係る固体撮像装置1と区別するために、「固体撮像装置1a」と称する場合がある。
<2.1.構成>
まず、図9及び図10を参照して、本実施形態に係る固体撮像装置1aの概略的な構成の一例について説明する。図9及び図10は、本実施形態に係る固体撮像装置1aの概略的な構成の一例を示したブロック図である。なお、本説明では、当該固体撮像装置1aの構成について、図1〜図8を参照して説明した固体撮像装置1と異なる部分に着目して説明し、当該固体撮像装置1と実質的に同様の部分については詳細な説明は省略する。
図9は、本実施形態に係る固体撮像装置1の電源構成の一例を示している。なお、図9に示す例では、主に、画素タイミング駆動回路5が画素2に対して駆動信号を供給する部分の構成について示しており、その他の構成については図示を省略している。
図9に示すように、本実施形態に係る固体撮像装置1aでは、画素2に対して電源電圧を供給する電源と、画素タイミング駆動回路5が画素2に対して駆動信号を供給するために当該画素タイミング駆動回路5に対して電源電圧を供給する電源とが個別に設けられている。そこで、以降では、画素2に対して電源電圧を供給する電源を「電源VDDHPX」とも称し、画素タイミング駆動回路5に対して電源電圧(即ち、画素2に対して駆動信号を供給するための電源電圧)を供給する電源を「電源VDDHVS」とも称する。
なお、固体撮像装置1aを積層型の固体撮像装置として構成する場合には、電源VDDHPX及びVDDHVSが互いに異なる半導体チップに設けられていてもよい。具体的な一例として、電源VDDHPXは、画素2が配列された半導体チップ(例えば、図2に示す第1の半導体チップ部341)に設けられていてもよい。また、電源VDDHVSについては、画素タイミング駆動回路5が設けられた半導体チップ(例えば、図2に示す第2の半導体チップ部342)に設けられていてもよい。この構成の場合、画素2が配列された半導体チップと画素タイミング駆動回路5が設けられた半導体チップとは、接続部(例えばTSV(Through−Silicon Via)等)を介して接続される。
また、図10は、本実施形態に係る固体撮像装置1aの構成のうち、画素2からの画素信号の読み出しに係る部分の構成の一例を示している。即ち、図10に示す例では、主に、定電流回路部114及びADC113に相当する部分について示しており、その他の構成については図示を省略している。なお、図10において、MOSトランジスタ161、比較器141、DAC142、及びカウンタ143については、図3に示すMOSトランジスタ161、比較器141、DAC142、及びカウンタ143と実質的に同様のため詳細な説明は省略する。また、図10において、比較器141、DAC142、及びカウンタ143が、図3に示すADC113の部分に相当する。また、図10において、MOSトランジスタ161が、図3に示す定電流回路部114の部分に相当する。
図10に示すように、本実施形態に係る固体撮像装置1aは、センサデータユニット211を含む。センサデータユニット211は、カウンタ143から出力される信号、即ち、画素2から供給される画素信号が変換されたデジタル信号に基づき当該画素2の状態を認識し、当該認識結果を利用して各種処理を実行する。
具体的な一例として、センサデータユニット211は、画素2の状態の認識結果を利用することで、所謂故障検出に係る各種処理を行ってもよい。特に、本実施形態に係る固体撮像装置1aにおいては、センサデータユニット211は、画素2に含まれる光電変換素子PDに故障が生じた場合に、当該光電変換素子PDの故障を画素2ごとに個別に認識することが可能である。なお、画素2ごとに、当該画素2に含まれる光電変換素子PDの故障を検出するための仕組みの詳細については、画素2の状態を認識するための駆動制御の一例とあわせて別途後述する。また、センサデータユニット211のうち、画素2の認識に係る部分が、「認識部」の一例に相当する。
また、センサデータユニット211は、上記故障検出の結果として、一部の画素2に異常が生じていることを検出した場合に、当該異常の検出結果を固体撮像装置1aの外部に通知してもよい。具体的な一例として、センサデータユニット211は、所定の出力端子(即ち、Errorピン)を介して、異常を検出したことを示す所定の信号を固体撮像装置1aの外部に出力してもよい。また、他の一例として、固体撮像装置1aの外部に設けられた所定のDSP(Digital Signal Processor)401に、異常を検出したことを通知してもよい。このような構成により、当該DSP401は、例えば、所定の出力部を介して、固体撮像装置1aに異常が生じたことをユーザに報知することが可能となる。また、固体撮像装置1aに異常が検出された場合、当該DSP401は、車両の安全に関する機能(ADAS機能)の全部または一部を制限するよう制御しても良い。また、他の一例として、DSP401は、異常が検出された画素2の出力を、当該画素2とは異なる他の画素2(例えば、隣接する画素)の出力を利用して補正することも可能となる。なお、センサデータユニット211のうち、画素2の異常の検出結果が所定の出力先(例えば、DSP401等)に出力されるように制御する部分が、「出力制御部」の一例に相当する。
また、センサデータユニット211自体が、故障検出の結果を利用することで、異常が検出された画素2の出力を補正してもよい。なお、補正方法については、DSP401が補正を行う場合と同様である。また、センサデータユニット211のうち、異常が検出された画素2の出力を補正する部分が、「補正処理部」の一例に相当する。
以上、図9及び図10を参照して、本実施形態に係る固体撮像装置1aの概略的な構成の一例について説明した。
<2.2.駆動制御>
続いて、本実施形態に係る固体撮像装置1aの駆動制御の一例として、特に、各画素2に含まれる光電変換素子PDの状態を認識し、ひいては当該光電変換素子PDの異常を検出するための制御の一例について説明する。なお、本説明では、図6に示すように、画素2が所謂4トランジスタ構成の場合を例に、固体撮像装置1aの駆動制御の一例について説明する。例えば、図11は、本実施形態に係る固体撮像装置1aの駆動制御の一例について示した概略的なタイミングチャートであり、画素2に含まれる光電変換素子PDの状態を認識するための制御の一例について示している。
図11において、VDDHPXは、電源VDDHPXから画素2に対して印可される電源電圧を示している。また、INCKは、同期信号を示しており、当該同期信号の1パルス分が、固体撮像装置1a内において実行される各種処理の期間の最小単位となる。また、XVS及びXHSは、垂直同期信号及び水平同期信号を示している。即ち、1XVSが、1フレーム期間に相当する。また、TRG、RST、及びSELは、転送トランジスタTr11、リセットトランジスタTr12、及び選択トランジスタTr14それぞれに供給される駆動信号(即ち、TRG駆動パルス、RST駆動パルス、及びSEL駆動パルス)を示している。
本実施形態に係る固体撮像装置1aにおいて、光電変換素子PDの状態の認識に係る制御は、主に、対象となる画素2の光電変換素子PDに対して電荷を蓄積する第1の制御と、当該光電変換素子PDに蓄積された電荷を読み出す第2の制御とを含む。例えば、図11に示す例では、当該第1の制御及び当該第2の制御それぞれに対して、1フレーム期間を割り当てている。そこで、本説明では、図11に示すように、第1の制御が割り当てられたフレーム期間を「蓄積フレーム」とも称し、第2の制御が割り当てられたフレーム期間を「読み出しフレーム」とも称する。
まず、蓄積フレームについて説明する。図11に示すように、蓄積フレームでは、まず、電源VDDHPXから画素2に対して印可される電源電圧が0Vに制御され、その後に、当該電源電圧が所定の電圧VDDに制御されることで当該画素2に対して当該電圧VDDが印可される。
ここで、図12を参照して、図11において参照符号T11で示された期間における、画素2の動作について説明する。図12は、本実施形態に係る固体撮像装置1aの駆動制御の一例について説明するための説明図であり、図11の期間T11における画素2の状態を模式的に示している。
図11に示すように、期間T11においては、TRG駆動パルス及びRST駆動パルスがオン状態に制御され、SEL駆動パルスがオフ状態に制御され、電源VDDHPXから画素2に印加される電圧は0Vに制御される。これにより、図12に示すように、フローティングディフュージョン部FDの電位が0Vに制御され、光電変換素子PDのアノード及びカソード間に電位差が生じ、当該光電変換素子PDに電荷が注入される。なお、図12に示す制御の結果として光電変換素子PDに保持される電荷量は、当該光電変換素子PDの受光状態に関わらず、当該光電変換素子PDの飽和特性によって決定されることとなる。即ち、光電変換素子PDに何らかの異常が生じている場合には、当該光電変換素子PDに保持される電荷量が正常時に比べて変化する(例えば、低下する)こととなる。なお、図12に示すように、光電変換素子PDに対して電荷を注入する制御については、所定のタイミングで全画素2について実行されてもよいし(所謂グローバルリセット)、各画素2について時分割で個別に実行されてもよい。
次いで、図13を参照して、図11において参照符号T13で示された期間における、画素2の動作について説明する。図13は、本実施形態に係る固体撮像装置1aの駆動制御の一例について説明するための説明図であり、図11の期間T13における画素2の状態を模式的に示している。
図11に示すように、期間T13においては、RST駆動パルスはオン状態が保持され、TRG駆動パルスについてはオフ状態に制御される。なお、SEL駆動パルスについてはオフ状態が保持される。また、電源VDDHPXから画素2に印加される電圧はVDDに制御される。このような制御により、図13に示すように、フローティングディフュージョン部FDと光電変換素子PDとの間が非導通状態となり、当該フローティングディフュージョン部FDの電位がVDDに制御される。
次いで、読み出しフレームについて説明する。読み出しフレームでは、所定のタイミングで対象となる画素2が駆動され、当該画素2の光電変換素子PDに蓄積された電荷に応じた画素信号が読み出される。具体的な一例として、図11に示す例では、参照符号T15で示された期間において画素2が駆動され、当該画素2の光電変換素子PDに蓄積された電荷に応じた画素信号が読み出される。ここで、図14を参照して、図11において参照符号T15で示された期間における、画素2の動作について説明する。図14は、本実施形態に係る固体撮像装置1aの駆動制御の一例について説明するための説明図であり、図11の期間T15における画素2の状態を模式的に示している。
図11に示すように、読み出しフレームの開始時に、TRG駆動パルス、RST駆動パルス、及びSEL駆動パルスのそれぞれはオフ状態となるように制御される。また、読み出しフレームでは、画素2に対して電圧VDDが印可された状態が保持される。次いで、期間T15において、TRG駆動パルス、RST駆動パルス、及びSEL駆動パルスのそれぞれがオン状態に制御される。このような制御により、期間T15においては、図14に示すように、転送トランジスタTr11及びリセットトランジスタTr12が導通状態となり、光電変換素子PDに蓄積された電荷が、フローティングディフュージョン部FDに転送され、当該フローティングディフュージョン部FDに蓄積される。また、選択トランジスタTr14が導通状態に制御される。そのため、フローティングディフュージョン部FDに蓄積された電荷(換言すると、光電変換素子PDからリークした電荷)に応じた電圧が増幅トランジスタTr13のゲートに印加され、当該増幅トランジスタTr13が導通状態に制御される。これにより、画素2からは、増幅トランジスタTr13のゲートに印加された電圧に応じた画素信号が、垂直信号線VSLを介して出力される。即ち、光電変換素子PDの飽和特性に応じた電荷が、当該光電変換素子PDから読み出され、当該電荷の読み出し結果に応じた画素信号が、垂直信号線VSLを介して画素2から出力されることとなる。
なお、垂直信号線VSLを介して画素2から出力された画素信号は、ADC113によりデジタル信号に変換され、例えば、図10を参照して説明したセンサデータユニット211に出力される。このとき、センサデータユニット211に出力されるデジタル信号は、当該画素2に含まれる光電変換素子PDの飽和特性に応じた電位を示すこととなる。即ち、センサデータユニット211は、当該デジタル信号に基づき、画素2の状態(ひいては、当該画素2に含まれる光電変換素子PDの状態)を、画素2ごとに個別に認識することが可能となる。そのため、例えば、センサデータユニット211は、画素2に異常が生じた場合に、当該異常を画素2ごとに個別に検出することが可能となる。このような構成に基づき、例えば、センサデータユニット211は、異常が生じた画素2に関する情報を所定の出力先に出力することが可能である。
また、他の一例として、センサデータユニット211は、異常が生じた画素2から出力される画素信号を、他の画素2から出力される画素信号に基づき補正してもよい。例えば、図15は、本実施形態に係る固体撮像装置1aにおける画素信号の補正に係る動作の一例について説明するための説明図である。図15に示す例では、異常が生じた画素2から出力される画素信号を、当該画素2に隣接する他の画素2から出力される画素信号に基づき補正する場合の一例を示している。この場合には、センサデータユニット211は、例えば、異常が生じた画素2からの画素信号が読み出されたタイミングに基づき、当該画素2の位置と、当該画素2に隣接する他の画素2の位置とを認識すればよい。
なお、上記に説明した各画素2に含まれる光電変換素子PDの状態の認識に係る制御(例えば、光電変換素子PDの異常を検出するための制御)については、例えば、対象となる画素2が通常駆動を行っていないタイミングで実行されるとよい。具体的な一例として、固体撮像装置1の起動時に上記制御が実行してもよい。また、他の一例として、一部の画素2のみが画像の撮像に使用されている場合において、当該画像の撮像に使用されていない他の画素2を対象として上記制御が実行されてもよい。
以上、図11〜図15を参照して、本実施形態に係る固体撮像装置1aの駆動制御の一例として、特に、各画素2に含まれる光電変換素子PDの状態を認識し、ひいては当該光電変換素子PDの異常を検出するための制御の一例について説明した。
<2.3.変形例>
続いて、本実施形態に係る固体撮像装置1の変形例について説明する。本変形例では、画素2が所謂共有画素構造を構成する場合の一例について説明する。
(回路構成)
まず、図16を参照して、共有画素構造を構成する場合の単位画素の回路構成の一例について説明する。前述したように、共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する1つのフローティングディフージョンと、共有する1つずつの他の画素トランジスタとから構成される。例えば、図16は、本実施形態の変形例に係る固体撮像装置における単位画素の回路構成の一例を示した図であり、1つの画素に対して高感度のフォトダイオード(PD1)と、低感度のフォトダイオード(PD2)と、画素内容量(FC)とを配置した7トランジスタ構成の一例を示している。なお、本説明では、本実施形態に変形例に係る固体撮像装置を、前述した実施形態に係る固体撮像装置1aと区別するため、「固体撮像装置1c」と称する場合がある。また、本実施形態の変形例に係る固体撮像装置1cの画素、即ち、共有画素構造を構成する画素を、前述した実施形態に係る固体撮像装置1aの画素2と区別する場合に、「画素2c」または「単位画素2c」と称する場合がある。
図16に示すように、単位画素2cは、光電変換素子PD1、第1転送ゲート部Tr21、光電変換素子PD2、第2転送ゲート部Tr22、第3転送ゲート部Tr23、第4転送ゲート部Tr25、電荷蓄積部FC、リセットゲート部Tr24、フローティングディフュージョン部FD、増幅トランジスタTr26、及び、選択トランジスタTr27を含むように構成される。
また、単位画素2cに対して、各種駆動信号を供給するための複数の駆動線が、例えば画素行毎に配線される。そして、図1に示した画素タイミング駆動回路5から複数の駆動線を介して、各種の駆動信号TG1、TG2、FCG、RST、SELが供給される。これらの駆動信号は、例えば、単位画素2cの各トランジスタがNMOSトランジスタの場合には、高レベル(例えば、電源電圧VDD)の状態がアクティブ状態となり、低レベルの状態(例えば、負電位)が非アクティブ状態となるパルス信号である。
光電変換素子PD1は、例えば、PN接合のフォトダイオードからなる。光電変換素子PD1は、受光した光量に応じた電荷を生成し、蓄積する。
第1転送ゲート部Tr21は、光電変換素子PD1とフローティングディフュージョン部FDとの間に接続されている。第1転送ゲート部Tr21のゲート電極には、駆動信号TG1が印加される。駆動信号TG1がアクティブ状態になると、第1転送ゲート部Tr21が導通状態になり、光電変換素子PD1に蓄積されている電荷が、第1転送ゲート部Tr21を介してフローティングディフュージョン部FDに転送される。
光電変換素子PD2は、光電変換素子PD1と同様に、例えば、PN接合のフォトダイオードからなる。光電変換素子PD2は、受光した光量に応じた電荷を生成し、蓄積する。
光電変換素子PD1と光電変換素子PD2を比較すると、例えば、光電変換素子PD1の方が受光面の面積が広く、感度が高く、光電変換素子PD2の方が受光面の面積が狭く、感度が低い。
第2転送ゲート部Tr22は、電荷蓄積部FCとフローティングディフュージョン部FDとの間に接続されている。第2転送ゲート部Tr22のゲート電極には、駆動信号FCGが印加される。駆動信号FCGがアクティブ状態になると、第2転送ゲート部Tr22が導通状態になり、電荷蓄積部FCとフローティングディフュージョン部FDのポテンシャルが結合する。
第3転送ゲート部Tr23は、光電変換素子PD2と電荷蓄積部FCとの間に接続されている。第3転送ゲート部Tr23のゲート電極には、駆動信号TG2が印加される。駆動信号TG2がアクティブ状態になると、第3転送ゲート部Tr23が導通状態になり、光電変換素子PD2に蓄積されている電荷が、第3転送ゲート部Tr23を介して、電荷蓄積部FC、或いは、電荷蓄積部FCとフローティングディフュージョン部FDのポテンシャルが結合した領域に転送される。
また、第3転送ゲート部Tr23のゲート電極の下部は、ポテンシャルが若干深くなっており、光電変換素子PD2の飽和電荷量を超え、光電変換素子PD2から溢れた電荷を電荷蓄積部FCに転送するオーバーフローパスが形成されている。なお、以下、第3転送ゲート部Tr23のゲート電極の下部に形成されているオーバーフローパスを、単に第3転送ゲート部Tr23のオーバーフローパスと称する。
第4転送ゲート部Tr25は、第2転送ゲート部Tr22及びリセットゲート部Tr24と、フローティングディフュージョン部FDとの間に接続されている。第4転送ゲート部Tr25のゲート電極には、駆動信号FDGが印加される。駆動信号FDGがアクティブ状態になると、第4転送ゲート部Tr25が導通状態になり、第2転送ゲート部Tr22、リセットゲート部Tr24、及び、第4転送ゲート部Tr25の間のノード152と、フローティングディフュージョン部FDとのポテンシャルが結合する。
電荷蓄積部FCは、例えば、キャパシタからなり、第2転送ゲート部Tr22と第3転送ゲート部Tr23との間に接続されている。電荷蓄積部FCの対向電極は、電源電圧VDDを供給する電源VDDの間に接続されている。電荷蓄積部FCは、光電変換素子PD2から転送される電荷を蓄積する。
リセットゲート部Tr24は、電源VDDとフローティングディフュージョン部FDとの間に接続されている。リセットゲート部Tr24のゲート電極には、駆動信号RSTが印加される。駆動信号RSTがアクティブ状態になると、リセットゲート部Tr24が導通状態になり、フローティングディフュージョン部FDの電位が、電源電圧VDDのレベルにリセットされる。
フローティングディフュージョン部FDは、電荷を電圧信号に電荷電圧変換して出力する。
増幅トランジスタTr26は、ゲート電極がフローティングディフュージョン部FDに接続され、ドレイン電極が電源VDDに接続されており、フローティングディフュージョン部FDに保持されている電荷を読み出す読出し回路、所謂ソースフォロワ回路の入力部となる。すなわち、増幅トランジスタTr26は、ソース電極が選択トランジスタTr27を介して垂直信号線VSLに接続されることにより、当該垂直信号線VSLの一端に接続される定電流源とソースフォロワ回路を構成する。
選択トランジスタTr27は、増幅トランジスタTr26のソース電極と垂直信号線VSLとの間に接続されている。選択トランジスタTr27のゲート電極には、駆動信号SELが印加される。駆動信号SELがアクティブ状態になると、選択トランジスタTr27が導通状態になり、単位画素2cが選択状態となる。これにより、増幅トランジスタTr26から出力される画素信号が、選択トランジスタTr27を介して、垂直信号線VSLに出力される。
なお、本説明では、各駆動信号がアクティブ状態になることを、各駆動信号がオンする、または、各駆動信号をオン状態に制御するともいい、各駆動信号が非アクティブ状態になることを、各駆動信号がオフする、または、各駆動信号をオフ状態に制御するともいう。また、以下、各ゲート部又は各トランジスタが導通状態になることを、各ゲート部又は各トランジスタがオンするともいい、各ゲート部又は各トランジスタが非導通状態になることを、各ゲート部又は各トランジスタがオフするともいう。
(駆動制御)
続いて、本変形例に係る固体撮像装置における駆動制御の一例にとして、特に、各画素2に含まれる光電変換素子PD1及びPD2の状態を認識し、ひいては当該光電変換素子PD1及びPD2の異常を検出するための制御の一例について説明する。
例えば、図17は、本実施形態の変形例に係る固体撮像装置1cの駆動制御の一例について示した概略的なタイミングチャートであり、画素2cに含まれる光電変換素子PD1及びPD2の状態を認識するための制御の一例について示している。
図11において、VDDHPXは、電源VDDHPXから画素2cに対して印可される電源電圧を示している。また、INCKは、同期信号を示しており、当該同期信号の1パルス分が、固体撮像装置1c内において実行される各種処理の期間の最小単位となる。また、XVS及びXHSは、垂直同期信号及び水平同期信号を示している。即ち、1XVSが、1フレーム期間に相当する。また、TG1、FCG、TG2、及びFDGは、第1転送ゲート部Tr21、第2転送ゲート部Tr22、第3転送ゲート部Tr23、及び第4転送ゲート部Tr25それぞれに供給される駆動信号(以下、「TG1駆動パルス」、「FCG駆動パルス」、「TG2駆動パルス」、及び「FDG駆動パルス」とも称する)を示している。また、RST及びSELは、リセットゲート部Tr24及び選択トランジスタTr27それぞれに供給される駆動信号(即ち、RST駆動パルス及びSEL駆動パルス)を示している。
本実施形態に係る固体撮像装置1cにおいて、光電変換素子PD1及びPD2の状態の認識に係る制御は、対象となる画素2cの光電変換素子PD1及びPD2に対して電荷を蓄積する第1の制御と、当該光電変換素子PDに蓄積された電荷を読み出す第2の制御とを含む。例えば、図17に示す例では、当該第1の制御及び当該第2の制御それぞれに対して、1フレーム期間を割り当てている。即ち、第1の制御が割り当てられたフレーム期間が「蓄積フレーム」に相当し、第2の制御が割り当てられたフレーム期間が「読み出しフレーム」に相当する。
まず、蓄積フレームについて説明する。図17に示すように、蓄積フレームでは、まず、電源VDDHPXから画素2cに対して印可される電源電圧が0Vに制御され、その後に、当該電源電圧が所定の電圧VDDに制御されることで当該画素2cに対して当該電圧VDDが印可される。
ここで、図18を参照して、図17において参照符号T21で示された期間における、画素2cの動作について説明する。図18は、本実施形態の変形例に係る固体撮像装置1cの駆動制御の一例について説明するための説明図であり、図17の期間T21における画素2cの状態を模式的に示している。
図18に示すように、期間T21においては、TG1駆動パルス、FCG駆動パルス、TG2駆動パルス、FDG駆動パルス、及びRST駆動パルスがオン状態に制御され、SEL駆動パルスがオフ状態に制御される。また、前述の通り、電源VDDHPXから画素2に印加される電圧は0Vに制御される。これにより、フローティングディフュージョン部FD及び電荷蓄積部FCそれぞれの電位が0Vに制御され、光電変換素子PD1及びPD2それぞれのアノード及びカソード間に電位差が生じ、当該光電変換素子PDに電荷が注入される。なお、図18に示す制御の結果として光電変換素子PD1及びPD2それぞれに保持される電荷量は、当該光電変換素子PD1及びPD2それぞれの受光状態に関わらず、当該光電変換素子PD1及びPD2それぞれの飽和特性によって決定されることとなる。即ち、光電変換素子PD1に何らかの異常が生じている場合には、当該光電変換素子PD1に保持される電荷量が正常時に比べて変化する(例えば、低下する)こととなる。これは、光電変換素子PD2についても同様である。なお、図18に示すように、光電変換素子PD1及びPD2それぞれに対して電荷を注入する制御については、所定のタイミングで全画素2cについて実行されてもよいし(即ち、グローバルリセット)、各画素2cについて時分割で個別に実行されてもよい。
次いで、図19を参照して、図17において参照符号T23で示された期間における、画素2cの動作について説明する。図19は、本実施形態の応用例に係る固体撮像装置1cの駆動制御の一例について説明するための説明図であり、図17の期間T23における画素2cの状態を模式的に示している。
図17に示すように、期間T23においては、FDG駆動パルス及びRST駆動パルスのそれぞれはオン状態が保持され、TG1駆動パルス、FCG駆動パルス、及びTG2駆動パルスのそれぞれについてはオフ状態に制御される。なお、SEL駆動パルスについてはオフ状態が保持される。また、電源VDDHPXから画素2cに印加される電圧はVDDに制御される。このような制御により、フローティングディフュージョン部FDと光電変換素子PD1との間と、電荷蓄積部FCと光電変換素子PD2との間と、フローティングディフュージョン部FDと電荷蓄積部FCとの間と、のそれぞれが非導通状態となる。また、フローティングディフュージョン部FDの電位はVDDに制御される。
次いで、読み出しフレームについて説明する。読み出しフレームでは、所定のタイミングで対象となる画素2cが駆動され、当該画素2cの光電変換素子PD1及びPD2に蓄積された電荷に応じた画素信号が読み出される。例えば、図20は、本実施形態に係る固体撮像装置1cの駆動制御の一例について示した概略的なタイミングチャートであり、画素2cの光電変換素子PD1及びPD2に蓄積された電荷の読み出しに係る制御の一例について示している。
図20において、XHS、SEL、RST、TG1、FCG、TG2、及びFDGは、図17において同様の符号が付された信号をそれぞれ示している。また、VSLは、垂直信号線を介して出力される信号(即ち、画素2cから出力される画素信号)の電位を示している。なお、図20に示す例では、VSLとして示した信号を、暗状態と明状態とのそれぞれについて個別に示している。また、RAMPは、ADC内のDACから比較器に出力されるランプ波の電位を示している。なお、図20に示す例では、ランプ波の電位の変化を示すパルスに対して、垂直信号線を介して出力される信号の比較器内における電位の変化を示すパルスを重畳させて示している。また、VCOは、ADC内のカウンタから出力される電圧信号を示している。
また、図20において、P相は、画素2cから出力される画素信号のリセットレベルを読み出すためのプリデータ相を示している。また、D相は、当該画素信号のデータレベルを読み出すためのデータ相を示している。
図20に示すように、本実施形態に変形例に係る固体撮像装置1cでは、まず光電変換素子PD1に蓄積された電荷に応じた第1の画素信号を読み出し、その後、光電変換素子PD2に蓄積された電荷に応じた第2の画素信号を読み出す。また、このとき第1の画素信号の読み出しについては、まずP相を読み出し、その後にD相を読み出す。これに対して、第2の画素信号の読み出しについては、P相の読み出しに伴い電荷蓄積部FCに蓄積された電荷がリセットされるため、まず先にD相を読み出したうえで、その後にP相を読み出す。なお、以降では、第1の画素信号及び第2の画素信号それぞれの読み出しに係る固体撮像装置1cの動作について、P相の読み出しに係る動作と、D相の読み出しに係る動作とに分けてそれぞれ説明する。
まず、図17に示すように、読み出しフレームの開始時に、FDG駆動パルス及びRST駆動パルスはオフ状態に制御される。即ち、読み出しフレームの開始時においては、TG1駆動パルス、FCG駆動パルス、TG2駆動パルス、FDG駆動パルス、RST駆動パルス、及びSEL駆動パルスのそれぞれはオフ状態となっている。その後、読み出しフレーム中の所定のタイミング(所定の水平同期期間)で、対象となる画素2cからの画素信号の読み出しが開始される。
図20に示すように、まず、光電変換素子PD1に蓄積された電荷に応じた第1の画素信号についてP相の読み出しが行われる。具体的には、FDG駆動パルス及びSEL駆動パルスがオン状態に制御された状態で、RST駆動パルスが一時的にオン状態に制御されることで、フローティングディフュージョン部FDの電位が、電源電圧VDDのレベルにリセットされる。このとき、TG1駆動パルス、FCG駆動パルス、及びTG2駆動パルスは、オフ状態が維持されている。即ち、光電変換素子PD1とフローティングディフュージョン部FDとの間と、電荷蓄積部FC(ひいては、光電変換素子PD2)とフローティングディフュージョン部FDとの間と、のそれぞれは非導通状態となる。そのため、このとき画素2cから垂直信号線VSLを介して読み出される画素信号は、当該画素2cから出力される画素信号のリセットレベルを示している。
次いで、光電変換素子PD1に蓄積された電荷に応じた第1の画素信号についてD相の読み出しが行われる。具体的には、TG1駆動パルスが一時的にオン状態に制御され、当該TG1駆動パルスがオン状態を示す期間中に、光電変換素子PD1とフローティングディフュージョン部FDとの間が導通状態となる。これにより、光電変換素子PD1に蓄積された電荷が、フローティングディフュージョン部FDに転送され、当該フローティングディフュージョン部FDに蓄積される。そのため、フローティングディフュージョン部FDに蓄積された電荷(換言すると、光電変換素子PD1からリークした電荷)に応じた電圧が増幅トランジスタTr26のゲートに印加され、当該増幅トランジスタTr26が導通状態に制御される。これにより、画素2cからは、増幅トランジスタTr26のゲートに印加された電圧に応じた画素信号(即ち、第1の画素信号)が、垂直信号線VSLを介して出力される。即ち、光電変換素子PD1の飽和特性に応じた電荷が、当該光電変換素子PD1から読み出され、当該電荷の読み出し結果に応じた第1の画素信号が、垂直信号線VSLを介して画素2cから出力されることとなる。
なお、第1の画素信号についてD相の読み出しが完了すると、SEL駆動信号がオフ状態に制御されたうえで、まずFDG駆動信号が一時的にオフ状態に制御され、次いで、RST駆動信号が一時的にオン状態に制御される。これにより、フローティングディフュージョン部FDの電位が、電源電圧VDDのレベルにリセットされる。また、FCG駆動信号がオン状態に制御され、フローティングディフュージョン部FDと電荷蓄積部FCとの間が導通状態となる。その後、SEL駆動信号がオン状態に制御され、光電変換素子PD2に蓄積された電荷に応じた第2の画素信号の読み出しが開始される。
光電変換素子PD2に蓄積された電荷に応じた第2の画素信号の読み出しについては、前述した通り、まずD相の読み出しが行われる。具体的には、TG1駆動パルスが一時的にオン状態に制御され、当該TG2駆動パルスがオン状態を示す期間中に、光電変換素子PD2と電荷蓄積部FCとの間が導通状態となる。即ち、当該期間中においては、光電変換素子PD2、電荷蓄積部FC、及びフローティングディフュージョン部FDそれぞれの間が導通状態となる。これにより、電荷蓄積部FCとフローティングディフュージョン部FDのポテンシャルが結合するとともに、光電変換素子PD2に蓄積された電荷が結合した領域に転送され、当該領域に蓄積される。そのため、上記領域に蓄積された電荷(換言すると、光電変換素子PD2からリークした電荷)に応じた電圧が増幅トランジスタTr26のゲートに印加され、当該増幅トランジスタTr26が導通状態に制御される。これにより、画素2cからは、増幅トランジスタTr26のゲートに印加された電圧に応じた画素信号(即ち、第2の画素信号)が、垂直信号線VSLを介して出力される。即ち、光電変換素子PD2の飽和特性に応じた電荷が、当該光電変換素子PD2から読み出され、当該電荷の読み出し結果に応じた第2の画素信号が、垂直信号線VSLを介して画素2cから出力されることとなる。
次いで、光電変換素子PD2に蓄積された電荷に応じた第2の画素信号についてP相の読み出しが行われる。具体的には、まず、SEL駆動信号がオフ状態に制御されたうえで、RST駆動信号が一時的にオン状態に制御される。これにより、電荷蓄積部FCとフローティングディフュージョン部FDのポテンシャルが結合した領域の電位が、電源電圧VDDのレベルにリセットされる。その後、SEL駆動信号がオン状態に制御され、当該領域の電位に応じた電圧が増幅トランジスタTr26のゲートに印加され、当該電圧に応じた画素信号(即ち、第2の画素信号)が、垂直信号線VSLを介して出力される。このとき、TG1駆動パルス、FCG駆動パルス、及びTG2駆動パルスは、オフ状態が維持されている。即ち、光電変換素子PD1とフローティングディフュージョン部FDとの間と、電荷蓄積部FCとフローティングディフュージョン部FDとの間(ひいては、光電変換素子PD2とフローティングディフュージョン部FDとの間)と、のそれぞれは非導通状態となる。そのため、このとき画素2cから垂直信号線VSLを介して読み出される画素信号は、当該画素2cから出力される画素信号のリセットレベルを示している。
なお、垂直信号線VSLを介して画素2cから順次出力される第1の画素信号及び第2の画素信号は、ADC113によりデジタル信号に変換され、例えば、図10を参照して説明したセンサデータユニット211に出力される。このとき、センサデータユニット211に順次出力されるデジタル信号は、当該画素2cに含まれる光電変換素子PD1及びPD2の飽和特性に応じた電位をそれぞれ示すこととなる。即ち、センサデータユニット211は、当該デジタル信号に基づき、画素2cの状態(ひいては、当該画素2cに含まれる光電変換素子PD1及びPD2それぞれの状態)を、画素2cごとに個別に認識することが可能となる。
以上、本実施形態に係る固体撮像装置の変形例として、図16〜図20を参照して、画素が共有画素構造を構成する場合の一例について説明した。
<2.4.評価>
以上説明したように、本実施形態に係る固体撮像装置では、複数の画素のうち少なくとも一部の画素の光電変換素子に電荷が注入されるように当該画素への電源電圧の印加を制御し、その後に、当該光電変換素子から注入された当該電荷に応じた画素信号が読み出されるように当該画素への駆動信号の供給を制御する。以上のような構成に基づき、本実施形態に係る固体撮像装置は、上記少なくとも一部の画素の光電変換素子からの電荷に応じた画素信号の読み出し結果に応じて、当該画素の状態を認識する。
以上のような構成により、本実施形態に係る固体撮像装置に依れば、各画素から出力される画素信号に基づき当該画素(ひいては、当該画素に含まれる光電変換素子)の状態を個別に認識することが可能である。そのため、当該固体撮像装においては、例えば、一部の画素に故障が生じた場合に、当該異常を画素ごとに検出することが可能である。また、このような仕組みを利用することで、例えば、一部の画素に異常が生じた場合に、当該画素に関する情報を所定の出力先に出力することが可能である。また、他の一例として、故障が生じた画素の位置を特定することが可能であるため、画像の撮像時に当該画素から出力される画素信号を、他の画素(例えば、隣接画素)から出力される画素信号に基づき補正することも可能となる。
また、本実施形態に係る固体撮像装置においては、上述の通り、各画素への電源電圧の印加を制御することで当該画素の光電変換素子に電荷を注入する。即ち、当該制御の結果として光電変換素子に保持される電荷量は、当該光電変換素子の受光状態に関わらず、当該光電変換素子PD1及びPD2それぞれの飽和特性によって決定される。このような特性により、本実施形態に係る固体撮像装置に依れば、外部環境の光量に関わらず、各画素の状態の認識に係る制御(例えば、故障画素を検出するための試験)を実行することが可能である。即ち、本実施形態に係る固体撮像装置に依れば、例えば、外部環境の光量がより少ない環境下においても、各画素2の故障検出のための試験を実行することが可能となる。
<<3.第2の実施形態>>
続いて、本開示の第2の実施形態に係る固体撮像装置について説明する。本実施形態では、固体撮像装置1が、画像(特に、動画像)の撮像期間中に、故障検出等のような各種試験をより効率的に実行するための仕組みの一例について説明する。なお、以降の説明において、本実施形態に係る固体撮像装置1を、他の実施形態に係る固体撮像装置1と区別する場合ために、「固体撮像装置1d」と称する場合がある。
<3.1.構成>
まず、図21を参照して、本実施形態に係る固体撮像装置1dの概略的な構成の一例について説明する。図21は、本実施形態に係る固体撮像装置1dの概略的な構成の一例を示したブロック図である。なお、本説明では、当該固体撮像装置1aの構成について、図1〜図8を参照して説明した固体撮像装置1と異なる部分に着目して説明し、当該固体撮像装置1と実質的に同様の部分については詳細な説明は省略する。
図21は、本実施形態に係る固体撮像装置1dの構成のうち、画素2からの画素信号の読み出しに係る部分の構成の一例を示している。即ち、図21に示す例では、主に、定電流回路部114及びADC113に相当する部分について示しており、その他の構成については図示を省略している。なお、図21において、MOSトランジスタ161、比較器141、DAC142、及びカウンタ143については、図3に示すMOSトランジスタ161、比較器141、DAC142、及びカウンタ143と実質的に同様のため詳細な説明は省略する。また、図21において、比較器141、DAC142、及びカウンタ143が、図3に示すADC113の部分に相当する。また、図21において、MOSトランジスタ161が、図3に示す定電流回路部114の部分に相当する。
図21に示すように、本実施形態に係る固体撮像装置1dは、センサデータユニット221を含む。センサデータユニット221は、図10を参照して説明した第1の実施形態に係る固体撮像装置1aにおけるセンサデータユニット211に相当する。
本実施形態に係る固体撮像装置1dでは、例えば、図3に示す制御部101が、各画素2による露光のタイミングや、当該画素2からの露光結果に基づく画素信号の読み出しのタイミングを制御する。また、当該制御部101は、少なくとも一部の画素2において、所定のフレームレートに応じた単位フレーム期間中の、当該画素2による露光と、当該露光結果に基づく画素信号の読み出しと、が行われていない期間を利用して、故障検出等の所定の試験が実行されるように、固体撮像装置1d内の所定の構成(例えば、センサデータユニット221)の動作を制御する。なお、制御部101が、センサデータユニット221等の所定の構成に、上記所定の試験を実行させるタイミングについては、固体撮像装置1dの駆動制御の一例とあわせて詳細を別途後述する。
センサデータユニット221は、制御部101からの制御に基づき、故障検出等の所定の試験を実行する。具体的には、センサデータユニット221は、カウンタ143から出力される信号、即ち、画素2から供給される画素信号が変換されたデジタル信号に基づき、固体撮像装置1d内の所定の構成の状態を認識することで、当該構成に異常が生じた場合に当該異常を検出する。
例えば、センサデータユニット221は、カウンタ143から出力されるデジタル信号に基づき、少なくとも一部の画素2、各画素2に駆動信号を供給するための構成(例えば、画素タイミング駆動回路5やアドレスデコーダ4等)、及びADC111のうち少なくともいずれかに生じた異常を検出することが可能である。具体的な一例として、一部の画素2についてのみデジタル信号に異常が生じている場合には、当該画素2に異常が生じたものと認識することが可能である。なお、この場合には、センサデータユニット221は、例えば、デジタル信号の出力元となるADC113や、当該デジタル信号の出力タイミングに応じて、異常が生じた画素2を特定すればよい。また、複数の画素2についてデジタル信号に異常が生じている場合には、当該複数の画素2それぞれからの画素信号の出力に関する構成(例えば、アドレスデコーダ4、画素タイミング駆動回路5、ADC113等)に異常が生じたものと認識することが可能である。
また、センサデータユニット221は、カウンタ143からのデジタル信号の出力状況に応じて、少なくとも一部の画素2に接続された配線、各画素2に駆動信号を供給するための構成、及びADC113のうち少なくともいずれかに生じた異常を検出することが可能である。具体的な一例として、一部の列についてデジタル信号の出力状況に異常が生じた場合(例えば、デジタル信号が出力されない場合)には、当該列に対応する垂直信号線や、当該列に対応するADC113に異常が生じたものと認識することが可能である。また、他の一例として、一部の行についてデジタル信号の出力状況に異常が生じた場合には、当該行に対応する水平信号線に異常が生じたものと認識することが可能である。
なお、上述した例はあくまで一例であり、固体撮像装置1a内の少なくとも一部の構成を対象として試験を実行し、当該構成に生じた異常を検出することが可能であれば、当該検出の主体はセンサデータユニット221に限定されず、検出方法についても限定されない。例えば、試験の対象となる構成に応じて、当該構成に生じた異常を検出するためのユニットが、センサデータユニット221とは別に追加で設けられていてもよい。また、他の一例として、各画素2からの画素信号に基づくデジタル信号の出力に対して、所定のフィルタ(例えば、LPF)を適用することで、少なくとも一部の画素2や、当該画素2に関連して駆動する他の構成に生じた異常が検出されてもよい。
また、センサデータユニット221は、固体撮像装置1dの少なくとも一部の構成に異常が生じたことを検出した場合に、当該検出結果に応じて所定の処理を実行してもよい。
具体的な一例として、センサデータユニット221は、少なくとも一部の構成に生じた異常の検出結果を固体撮像装置1dの外部に通知してもよい。具体的な一例として、センサデータユニット211は、所定の出力端子(即ち、Errorピン)を介して、異常を検出したことを示す所定の信号を固体撮像装置1dの外部に出力してもよい。また、他の一例として、固体撮像装置1dの外部に設けられた所定のDSP(Digital Signal Processor)401に、異常を検出したことを通知してもよい。なお、センサデータユニット221のうち、少なくとも一部の構成に生じた異常の検出結果が所定の出力先(例えば、DSP401等)に出力されるように制御する部分が、「出力制御部」の一例に相当する。
また、他の一例として、センサデータユニット221は、少なくとも一部の構成に異常が生じ、結果として、少なくとも一部の画素2からの出力に異常が生じたことを認識した場合には、当該画素2からの出力を、他の画素2からの出力に基づき補正してもよい。
例えば、図22及び図23は、本実施形態に係る固体撮像装置1dにおける画素信号の補正に係る動作の一例について説明するための説明図である。例えば、図22は、一部の列に対応する画素信号の出力に異常が生じた場合の一例を示している。図22に示す例では、異常が生じた列に対応する画素信号を、当該列に隣接する他の列に対応する画素信号に基づき補正する場合の一例を示している。この場合には、センサデータユニット221は、例えば、デジタル信号の出力に異常が検出されたADC113を特定することで、異常が生じた列と、当該列に隣接する他の列とを特定すればよい。
また、他の一例として、図23は、一部の行に対応する画素信号の出力に異常が生じた場合の一例を示している。図23に示す例では、異常が生じた行に対応する画素信号を、当該行に隣接する他の行に対応する画素信号に基づき補正する場合の一例を示している。この場合には、センサデータユニット221は、例えば、異常が生じた画素信号が読み出されたタイミングに基づき、異常が生じた行と、当該行に隣接する他の行とを特定すればよい。
また、図15を参照して前述した例と同様に、異常が生じた画素2から出力される画素信号を、当該画素2に隣接する他の画素2から出力される画素信号に基づき補正することも可能である。
なお、センサデータユニット221のうち、少なくとも一部の画素2からの出力(即ち、異常が生じた出力)を補正する部分が、「補正処理部」の一例に相当する。
以上、図21を参照して、本実施形態に係る固体撮像装置1dの概略的な構成の一例について説明した。
<3.2.駆動制御>
続いて、本実施形態に係る固体撮像装置1dの駆動制御の一例として、特に、当該固体撮像装置1dの所定の試験が実行されるタイミングの制御に着目して説明する。例えば、図24は、本実施形態に係る固体撮像装置1dの駆動制御の一例について示した概略的なタイミングチャートであり、当該固体撮像装置1dの所定の試験が実行されるタイミングの制御の一例について示している。図24において、横軸は時間方向を示しており、縦軸は2次元配列された画素2の行方向の位置を示している。なお、本説明では、本実施形態に係る固体撮像装置1dの特徴をよりわかりやすくするために、各画素2が単位フレーム期間(即ち、1垂直同期期間)中に、露光と、当該露光結果の読み出しと、を複数回実行する場合に着目して、当該固体撮像装置1dの駆動制御について説明する。
例えば、図24に示す例では、固体撮像装置1dは、単位フレーム期間中に互いに露光時間の異なる第1の露光(Long exposure)、第2の露光(Middle exposure)、及び第3の露光(Short exposure)を時分割で順次実行している。具体的には、図24において、参照符号T111及びT112は、第1の露光における露光期間(Long Shutter)を示しており、参照符号T121及びT122は、第1の露光の結果に基づく画素信号の読み出し期間(Long Read)を示している。また、参照符号T131及びT132は、第2の露光における露光期間(Middle Shutter)を示しており、参照符号T141及びT142は、第2の露光の結果に基づく画素信号の読み出し期間(Middle Read)を示している。また、参照符号T151及びT152は、第3の露光における露光期間(Short Shutter)を示しており、参照符号T161及びT162は、第3の露光の結果に基づく画素信号の読み出し期間(Short Read)を示している。
また、参照符号VBLKは、垂直ブランク(Vブランク)期間を示している。なお、垂直ブランク期間VBLKにおいては、例えば、カラム信号線の故障検出やTSVの故障検出等のような所定の試験が実行され、当該期間中には、いずれの画素2からも画素信号の読み出しが行われない。即ち、垂直ブランク期間VBLKは、あるフレーム期間における一連の画素2からの画素信号の読み出しが完了してから、次のフレーム期間における当該一連の画素2からの画素信号の読み出しが開始されるまでの期間に相当する。
また、参照符号T171及びT172は、各行の画素2において、当該画素2による露光(例えば、第1の露光〜第3の露光)と、当該露光結果に基づく画素信号の読み出しと、が行われていない期間に相当する。本実施形態に係る固体撮像装置1dは、この期間T171及びT172を利用して所定の試験(例えば、BIST:Built−In Self−Test)を実行する。所定の試験の具体例としては、各画素に対する故障検出等が挙げられる。なお、以降では、参照符号T171及びT172で示された期間を「BIST期間」とも称する。また、BIST期間T171及びT172を特に区別しない場合には、「BIST期間T170」とも称する。
具体的には、図24に示すように、BIST期間T170は、ある行の画素による1回以上の露光(例えば、第1の露光〜第3の露光)が実行される単位フレーム期間における最後の露光(例えば、第3の露光)の結果に基づく画素信号の読み出しが終了した後に開始される。また、当該BIST期間T170は、当該単位フレーム期間の次のフレーム期間における最初の露光(例えば、第1の露光)が開始される前に終了する。より具体的な一例として、図24に示すBIST期間T171は、第3の露光結果に基づく画素信号の読み出し期間T161の終了後から、次の単位フレーム期間における第1の露光の露光期間T112の開始までの期間となる。なお、当該BIST期間T170は、第1の露光と第2の露光との間や、第2の露光と第3の露光との間に設定されていても良い。詳細は後述するが、BIST期間T170は、垂直ブランク期間VBLKが設定されることで発生する。
次いで、図25及び図26を参照して、単位フレーム期間(即ち、1垂直同期期間)中に、露光と、当該露光結果の読み出しと、を複数回実行する場合における、各画素2からの画素信号の読み出しに係る駆動制御の一例について説明する。図25及び図26は、本実施形態に係る固体撮像装置1dにおける各画素2からの画素信号の読み出しに係る概略的な制御の一例について説明するための説明図である。
図25において、縦軸は垂直同期期間XVSを模式的に示しており、横軸は水平同期期間XHSを模式的に示している。また、図25において、参照符号L、M、Sで示された方形状の領域は、2次元配列された複数の画素2それぞれからの露光結果の読み出しタイミングを模式的に示しており、第1の露光、第2の露光、及び第3の露光のそれぞれに対応している。また、方形状の領域L、M、及びSそれぞれにおいて、横方向は、2次元配列された複数の画素2の列方向に対応しており、縦方向は、当該複数の画素2の行方向に対応している。
即ち、図25に示す例では、1水平同期期間ごとに、行単位で当該行に含まれる画素2からの画素信号の読み出しが実行される。また、図25に示す例では、1水平同期期間ごとに、第1の露光、第2の露光、及び第3の露光の順で、各露光結果に基づく画素信号の読み出しが順次実行される。
なお、第1の露光、第2の露光、及び第3の露光それぞれの結果に基づく画素信号が順次読み出される場合に、必ずしも同じ行に含まれる画素2から画素信号の読み出しが行われなくてもよい。例えば、図25における参照符号R111は、垂直同期期間中の一部の期間を模式的に示している。即ち、図25に示す例では、期間R111において、第1の露光、第2の露光、及び第3の露光の結果に基づく画素信号については、それぞれα行目の画素2、β行目の画素2、及びγ行目の画素2から読み出される。
また、図26は、図25に示す例における、各画素2からの画素信号の読み出しに係る概略的なタイミングチャートを示している。具体的には、図26に示す例では、α行目の画素2からの第1の露光結果に基づく画素信号の読み出し、β行目の画素2からの第2の露光結果に基づく画素信号の読み出し、及びγ行目の画素2からの第3の露光結果に基づく画素信号の読み出しが順次実行される。また、その次には、α+1行目の画素2からの第1の露光結果に基づく画素信号の読み出し、β+1行目の画素2からの第2の露光結果に基づく画素信号の読み出し、及びγ+1行目の画素2からの第3の露光結果に基づく画素信号の読み出しが順次実行されることとなる。
なお、上述した駆動制御はあくまで一例であり、少なくともBIST期間T170が設けられ、当該BIST期間T170中に所定の試験が実行可能であれば、本実施形態に係る固体撮像装置1dの駆動制御は、必ずしも図24〜図26を参照して説明した例には限定されない。具体的な一例として、本実施形態に係る固体撮像装置1dは、各画素2が単位フレーム期間中に、露光と、当該露光結果の読み出しと、を1回だけ実行するように構成されていてもよい。この場合には、BIST期間T170は、ある単位フレーム期間における露光結果に基づく画素信号の読み出しの終了後に開始され、次の単位フレーム期間における露光が開始されるまでに終了することとなる。
以上、図24〜図26を参照して、本実施形態に係る固体撮像装置1dの駆動制御の一例として、特に、当該固体撮像装置1dの所定の試験が実行されるタイミングの制御に着目して説明した。
<3.3.露光時間の制約と垂直ブランク期間との関係>
続いて、図27を参照して、本実施形態に係る固体撮像装置1dにおける、露光時間の制約と垂直ブランク期間VBLKとの関係について、具体的な例を挙げて説明する。図27は、本実施形態に係る固体撮像装置1dにおける露光時間の制約と垂直ブランク期間との関係について説明するためのタイミングチャートである。なお、図27に示す例では、図24に示す例と同様に、単位フレーム期間中に互いに露光時間の異なる第1の露光(Long exposure)、第2の露光(Middle exposure)、及び第3の露光(Short exposure)が順次実行される場合の一例を示している。また、図27における横軸及び縦軸は、図24における横軸及び縦軸と同様である。
図27に示すように、フレームレートを40fpsとした場合に、単位フレーム期間(即ち、1垂直同期期間)は25msとなる。また、第1の露光〜第3の露光それぞれの間における露光期間(換言すると、画素2への電荷の蓄積期間)の比率(以下、「露光比」とも称する)を16倍とした場合に、第1の露光期間(Long Shutter)をAとすると、第2の露光期間間(Middle Shutter)はA/16となり、第3の露光期間間(Short Shutter)は1/256となる。
ここで、垂直ブランク期間VBLK=0となる場合における第1の露光期間Aは、例えば、以下に示す(式1)に基づき算出され、当該(式1)を解くと(式2)となる。
Figure 2018125840
即ち、図27に示す例の場合には、上述した条件よりも露光比が大きく設定された場合か、または、第1の露光期間Aが(式2)に示す条件よりも短く設定された場合に、垂直ブランク期間VBLKが発生し、BIST期間T170を確保することが可能となる。
<3.4.評価>
以上説明したように、本実施形態に係る固体撮像装置は、所定のフレームレートに応じた単位フレーム期間中の、少なくとも一部の画素による露光や、当該露光結果に基づく画素信号の読み出しが行われていないBIST期間に所定の試験を実行する。当該BIST期間は、少なくとも一部の画素(例えば、ある行の画素)による1回以上の露光が実行される単位フレーム期間における最後の露光の結果に基づく画素信号の読み出しが終了した後に開始される。また、当該BIST期間は、当該単位フレーム期間の次のフレーム期間における最初の露光が開始される前に終了する。
このような構成により、本実施形態に係る固体撮像装置に依れば、例えば、各行に含まれる画素2の故障検出のための試験を、当該行に対応して規定されるBIST期間で実行することが可能となる。特に、従来の固体撮像装置においては、全行について故障検出を実行する場合には、試験の実行に少なくとも1フレーム以上の期間を要し、当該試験のために画像の撮像が行われない専用のフレームを設ける必要があった。これに対して、本実施形態に係る固体撮像装置に依れば、画像の撮像と並行して各行についての故障検出のための試験を実行することが可能となり、従来の固体撮像装置に比べて、試験のための画像の撮像が行われない専用のフレームを設ける必要がない。
また、本実施形態に係る固体撮像装置に依れば、垂直ブランク期間で実行されていた試験のうち少なくとも一部の試験を、BIST期間中に実行することも可能である。このような構成により、垂直ブランク期間をより短くすることが可能となり、ひいてはフレームレートをより向上させることも可能となる。一方、TSVに対する故障検出やカラム信号線の故障検出等を垂直ブランク期間に実行させても良い。このような構成により、フレームレートを維持しつつ十分な露光時間を確保しながら、各故障検出を実行することが可能となる。
以上のように、本実施形態に係る固体撮像装置に依れば、BIST期間を利用して所定の試験を実行することで、画像の撮像期間中に故障検出等のような各種試験をより既往率的に実行することが可能となる。
<ハードウェアの構成例>
次に、図28を参照して、フロントカメラECUと撮像素子のハードウェアの構成について説明する。フロントカメラECUと撮像素子のハードウェアは、下チップ1091、および上チップ1092が積層された構成からなる。尚、図28の右部は、下チップ1091のハードウェア構成であるフロアプランを表しており、図28の左部は、上チップ1092のハードウェア構成であるフロアプランを表している。
下チップ1091および上チップ1092には、それぞれの図中左右端部にTCV(Through Chip Via:貫通電極)1093−1,1093−2が設けられており、下チップ1091および上チップ1092が貫通して電気的に接続されている。下チップ1091において、TCV1093−1の図中の右隣には、行駆動部1102(図29)が配置され、電気的に接続されている。TCV1093−2の図中の左隣には、フロントカメラECU73の制御線ゲート1143(図29)が配置され、電気的に接続されている。尚、行駆動部1102および制御線ゲート1143については、図29を参照して詳細を後述する。また、本明細書では、TCVとTSVは同義として扱う。
また、下チップ1091および上チップ1092には、それぞれの図中上下端部にTCV1093−11,1093−12が設けられており、下チップ1091および上チップ1092が貫通して電気的に接続されている。下チップ1091において、TCV1093−11の図中の下部には、カラムADC(Analog to Digital Converter)1111−1が配設され、電気的に接続されており、TCV1093−12の図中の上部には、カラムADC(Analog to Digital Converter)1111−2が配設されており、電気的に接続されている。
カラムADC1111−1,1111−2の図中の右端部の間であって、制御線ゲート1143の左隣に、DAC(Digital to Analog Converter)1112が設けられており、図中の矢印C1,C2で示されるように、カラムADC1111−1,1111−2にランプ電圧を出力する。尚、カラムADC1111−1,1111−2およびDAC1112が、図29における画像信号出力部1103に対応する構成となる。また、DAC1112は、カラムADC1111−1,1111−2に対して同一特性のランプ電圧を出力することが望ましいので、カラムADC1111−1,1111−2のいずれからも等距離であることが望ましい。さらに、DAC1112は、図28の例では、1個の例が示されているが、カラムADC1111−1,1111−2に対して、それぞれ同一特性のものを1個ずつ、合計2個設けるようにしてもよい。尚、画像信号出力部1103については、図29を参照して詳細を後述する。
さらに、上下のカラムADC1111−1,1111−2の間であって、行駆動部1102およびDAC1112の間には、信号処理回路1113が設けられており、図29における制御部1121、画像処理部1122、出力部1123、および故障検出部1124に対応する機能を実現する。
上チップ1092においては、上下左右の端部に設けられたTCV1093−1,1093−2,1093−11,1093−12で囲まれた方形状の範囲の、略全面が画素アレイ1101により構成されている。
画素アレイ1101は、TCV1093−1より画素制御線L(図29)を介して、行駆動部1102より供給される制御信号に基づいて、画素信号のうち、図中の上半分の画素の画素信号を、TCV1093−11を介して、下チップ1091に出力し、図中の下半分の画素の画素信号を、TCV1093−12を介して、下チップ1091に出力する。
制御信号は、図中の矢印B1で示されるように、行駆動部1102を実現する信号処理回路1113より、TCV1093−1を介して上チップ1092の画素アレイの画素制御線Lを介して制御線ゲート1143(図29)に出力される。制御線ゲート1143(図29)は、制御部1121(図29)からの指令情報である行アドレスに対する行駆動部1102(図29)からの画素制御線Lを介した制御信号に応じて制御線ゲート1143より出力される信号と、制御部1121より供給された行アドレスに対応する制御信号の検出パルスとの比較により画素制御線L、およびTCV1093−1,1093−2の断線による故障の有無を検出する。そして、制御線ゲート1143は、図中の矢印B2で示されるように、故障の有無の情報を信号処理回路1113により実現される故障検出部1124に出力する。
カラムADC1111−1は、図中の矢印A1で示されるように、TCV1093−11を介して供給される、画素アレイ1101の図中の上半分の画素の画素信号を、列単位でデジタル信号に変換して信号処理回路1113に出力する。また、カラムADC1111−2は、図中の矢印A2で示されるように、TCV1093−12を介して供給される、画素アレイ1101の図中の下半分の画素の画素信号を、列単位でデジタル信号に変換して信号処理回路1113に出力する。
このように2層化することにより、上チップ1092が画素アレイ1101のみとなるため、画素に特化した半導体プロセスを導入することが可能となる。例えば、上チップ1092には、回路のトランジスタがないため、1000℃のアニール工程などによる特性変動に注意を払う必要がなくなるので、白点対策の高温プロセスなどを導入することができ、結果として、特性を改善することが可能となる。
また、下チップ1091に故障検出部1124を配置することにより、下チップ1091乃至上チップ1092および上チップ1092乃至下チップ1091におけるTCV1093−1,1093−2の通過後の信号を検出することができるので、適切に故障を検出することが可能となる。なお、なお、上チップ1092が「第1の基板」の一例に相当し、下チップ1091が「第2の基板」の一例に相当する。
<<4.応用例>>
続いて、本開示に係る固体撮像装置の応用例について説明する。
<4.1.移動体への応用例1>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図30は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図30に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図30の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図31は、撮像部12031の設置位置の例を示す図である。
図31では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図31には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、図1に示す固体撮像装置1は、撮像部12031に適用され得る。撮像部12031に対して本開示に係る技術を適用することにより、例えば、当該撮像部12031を構成する固体撮像装置の各画素のうち少なくとも一部の画素に異常が生じた場合に、当該異常を検出することが可能となる。また、このような仕組みを利用することで、例えば、一部の画素に異常が生じた場合に、当該異常が生じたことを示す情報を、所定の出力部を介してユーザに報知することが可能となる。また、車両制御システム7000では、認識結果に基づいて、車両を制御する機能を制限することができる。車両を制御する機能の具体例としては、車両の衝突回避あるいは衝撃緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、又は車両のレーン逸脱警告機能等が挙げられる。認識処理の結果、撮像部7410に不具合が生じたと判定された場合、車両を制御する機能を制限あるいは禁止することができる。これにより、撮像部7410の不具合に基づく誤検知に起因した事故を防止することができる。また、他の一例として、異常が生じた画素から出力される画素信号を、正常に動作している他の画素からの画素信号に基づき補正を行うことも可能となる。
<4.2.移動体への応用例2>
続いて、移動体に適用される撮像装置を利用して実現される制御のより具体的な一例について説明する。
例えば、図32は、移動体に適用される撮像装置の概略的な構成の一例について示したブロック図である。なお、図32に示す撮像装置800は、例えば、図30に示す撮像部12031に相当する。図32に示すように、撮像装置800は、光学系801と、固体撮像素子803と、制御ユニット805と、通信部807とを含む。
固体撮像素子803は、例えば、図30に示す撮像部12031に相当し得る。即ち、レンズ等のような光学系801を介して撮像装置800内に入射した光は、固体撮像素子803により電気信号に光電変換され、当該電気信号に応じた画像や、当該電気信号に応じた測距の情報が、制御ユニット805に出力される。
制御ユニット805は、例えば、ECU(Electronic Control Unit)として構成され、固体撮像素子803から出力される画像や測距の情報に基づき各種処理を実行する。具体的な一例として、制御ユニット805は、固体撮像素子803から出力される画像に対して各種解析処理を施すことで、解析結果に基づき外部の人、車両、障害物、標識又は路面上の文字等の物体の認識や、当該物体までの距離の測定を行う。
また、制御ユニット805は、通信部807を介して車載ネットワーク(CAN:Controller Area Network)に接続される。通信部807は、所謂CAN通信とのインタフェースに相当する。このような構成に基づき、例えば、制御ユニット805は、車載ネットワークに接続された他の制御ユニット(例えば、図30に示した統合制御ユニット12050)との間で各種情報を送受信する。
以上のような構成に基づき、制御ユニット805は、例えば、上述したような物体の認識結果や当該物体までの距離の測定結果を利用することで、多様な機能を提供することが可能である。
上述した機能の具体的な一例として、以下に示すような機能が挙げられる。
・FCW(Pedestrian Detection for Forward Collision Warning)
・AEB(Automatic Emergency Braking)
・Vehicle Detection for FCW/AEB
・LDW(Lane Departure Warning)
・TJP(Traffic Jam Pilot)
・LKA(Lane Keeping Aid)
・VO ACC(Vision Only Adaptive Cruise Control)
・VO TSR(Vision Only Traffic Sign Recognition)
・IHC(Intelligent Head Ramp Control)
より具体的な一例として、制御ユニット805は、車両が、人や他の車両等のような外部の物体に衝突しそうな状況下において、当該物体に衝突するまでの時間を算出することが可能である。そのため、例えば、このような時間の算出結果が統合制御ユニット12050に通知されることで、当該統合制御ユニット12050は、通知された情報を、上記FCWの実現に利用することが可能となる。
また、他の一例として、制御ユニット805は、車両の前方の画像の解析結果に基づき、先行車のブレーキランプを検出することが可能である。即ち、当該検出結果が統合制御ユニット12050に通知されることで、統合制御ユニット12050は、通知された情報を、上記AEBの実現に利用することが可能である。
また、他の一例として、制御ユニット805は、車両の前方の画像の解析結果に基づき、当該車両が走行中のレーンの認識や、当該レーンの端や縁石等を認識することが可能である。そのため、当該認識結果が統合制御ユニット12050に通知されることで、統合制御ユニット12050は、通知された情報を、上記LDWの実現に利用することが可能である。
また、制御ユニット805は、車両の前方の画像の解析結果に基づき先行車の存在の有無を認識し、当該認識結果を統合制御ユニット12050に通知してもよい。これにより、統合制御ユニット12050は、例えば、上記TJPの実行時において、先行車の有無に応じて車速を制御することも可能となる。また、制御ユニット805は、車両の前方の画像の解析結果に基づき標識を認識し、当該認識結果を統合制御ユニット12050に通知してもよい。これにより、統合制御ユニット12050は、例えば、上記TJPの実行時において、標識の認識結果に応じて制限速度を認識し、当該制限速度に応じて車速を制御することも可能となる。同様に、制御ユニット805は、高速道路の入口及び出口の認識や、走行中の車両がカーブに差し掛かったか否かの認識等を行うことも可能であり、当該認識結果は、統合制御ユニット12050による車両制御に利用することが可能である。
また、制御ユニット805は、車両の前方の画像の解析結果に基づき、当該車両の前方に位置する光源を認識することも可能である。即ち、当該光源の認識結果が統合制御ユニット12050に通知されることで、当該統合制御ユニット12050は、通知された情報を、上記IHCの実現に利用することが可能である。具体的な一例として、統合制御ユニット12050は、認識された光源の光量に応じて、ヘッドランプの光量を制御することが可能である。また、他の一例として、統合制御ユニット12050は、認識された光源の位置に応じて、左右のヘッドランプのうちいずれかの光量を制限することも可能となる。
また、前述したように、本実施形態に係る固体撮像素子を応用することで、例えば、固体撮像素子803に異常が発生した場合に、制御ユニット805は、固体撮像素子803から出力される情報に基づき当該異常を検知することが可能である。そのため、例えば、制御ユニット805が固体撮像素子803の異常の検知結果を、車載ネットワークを介して統合制御ユニット12050に通知することで、当該統合制御ユニット12050は、安全を確保するための各種制御を実行することが可能となる。
具体的な一例として、統合制御ユニット12050は、ユーザに対して、各種出力装置を介して、固体撮像素子803に異常が発生したことを報知してもよい。なお、当該出力装置としては、例えば、図30に示す、オーディオスピーカ12061、表示部12062、及びインストルメントパネル12063等が挙げられる。
また、他の一例として、統合制御ユニット12050は、固体撮像素子803に異常が発生したことを認識した場合に、認識結果に応じて車両の動作を制御してもよい。より具体的な一例として、統合制御ユニット12050は、上述したTJPやLKA等のような所謂自動制御の機能を制限してもよい。また、統合制御ユニット12050は、車速を制限する等のような、安全を確保するための制御を実行してもよい。
以上のように、本開示に係る技術を車等の移動体の車載システムに応用することにより、固体撮像素子803に異常が生じ、各種認識処理を正常に動作させることが困難となった場合においても、当該異常を検出することが可能となる。そのため、例えば、当該異常の検出結果に応じて、当該異常に関する報知情報をユーザに報知したり、各種認識処理に関連する構成の動作を制御する等のような、安全確保ための各種処置の実行を実現することが可能となる。
<<5.むすび>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数の画素と、
前記複数の画素それぞれによる露光を制御する制御部と、
前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間のうちの最後の露光結果に基づく画素信号の読み出しの完了後から、前記第1の期間よりも後の前記1回以上の露光が実行される第2の期間における最初の露光が開始されるまでの第3の期間に、所定の試験を実行する処理部と、
を備える撮像装置。
(2)
前記第1の期間及び前記第2の期間は、所定のフレームレートに応じた単位フレーム期間である、前記(1)に記載の撮像装置。
(3)
前記第3の期間は、前記単位フレーム期間における垂直ブランキング期間に応じて設定される、前記(2)に記載の撮像装置。
(4)
前記単位フレーム期間において前記画素により複数回の露光が実行され、
前記複数回の露光間における露光時間の合計が、前記単位フレーム期間よりも短い、
前記(3)に記載の撮像装置。
(5)
前記垂直ブランキング期間は、前記複数回の露光間における露光比に応じて決定される、前記(4)に記載の撮像装置。
(6)
前記制御部は、行列状に2次元配列された前記複数の画素それぞれによる露光の開始タイミングを行ごとに制御し、
前記処理部は、前記行ごとに、当該行に含まれる画素による前記第1の期間のうちの前記最後の露光結果に基づく前記画素信号の読み出しの完了後から、前記第2の期間における前記最初の露光が開始されるまでの前記第3の期間に、前記試験を実行する、
前記(1)〜(5)のいずれか一項に記載の撮像装置。
(7)
前記処理部は、前記試験として、前記一部の画素を対象とした試験を実行する、前記(1)〜(6)のいずれか一項に記載の撮像装置。
(8)
前記複数の画素それぞれに対して駆動信号を供給する駆動回路を備え、
前記処理部は、前記試験として、前記駆動回路を対象とした試験を実行する、前記(1)〜(7)のいずれか一項に記載の撮像装置。
(9)
前記画素から読み出されたアナログの前記画素信号をデジタル信号に変換するAD変換部を備え、
前記処理部は、前記試験として、前記AD変換部を対象とした試験を実行する、前記(1)〜(8)のいずれか一項に記載の撮像装置。
(10)
前記処理部は、前記試験として、前記一部の画素に接続された配線を対象とした試験を実行する、前記(1)〜(9)のいずれか一項に記載の撮像装置。
(11)
前記試験の結果に応じた情報が所定の出力先に出力されるように制御する出力制御部を備える、前記(1)〜(10)のいずれか一項に記載の撮像装置。
(12)
前記試験の結果に応じて、少なくとも一部の前記画素から出力される前記画素信号を補正する補正処理部を備える、前記(1)〜(11)のいずれか一項に記載の撮像装置。
(13)
複数の画素それぞれによる露光を制御する制御部と、
前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間のうちの最後の露光結果に基づく画素信号の読み出しの完了後から、前記第1の期間よりも後の前記1回以上の露光が実行される第2の期間における最初の露光が開始されるまでの第3の期間に、前記一部の画素を対象とした試験を実行する処理部と、
を備える制御装置。
(14)
前記試験の結果に応じた情報が、所定の出力部に提示されるように制御する出力制御部を備える、前記(13)に記載の制御装置。
(15)
前記試験の結果に応じて、前記複数の画素からの前記画素信号の読み出し結果に基づく画像を補正する補正処理部を備える、前記(13)または(14)に記載の制御装置。
(16)
コンピュータが、
複数の画素それぞれによる露光を制御することと、
前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間のうちの最後の露光結果に基づく画素信号の読み出しの完了後から、前記第1の期間よりも後の前記1回以上の露光が実行される第2の期間における最初の露光が開始されるまでの第3の期間に、前記一部の画素を対象とした試験を実行することと、
を含む制御方法。
1、1a、1c、1d 固体撮像装置
2、2c 画素
2a ダミー画素
3 画素アレイ部
4 アドレスレコーダ
5 画素タイミング駆動回路
6 カラム信号処理回路
7 センサコントローラ
8 アナログ電位生成回路
101 制御部
111 画素アレイ部
112 選択部
114 定電流回路部
121、122 画素
131、132、133 スイッチ
141 比較器
143 カウンタ
152 ノード
153 カウンタ
161、162 MOSトランジスタ
211 センサデータユニット
221 センサデータユニット
401 DSP

Claims (35)

  1. 車両に搭載され、前記車両の周辺領域を撮像して画像を生成する撮像装置と、
    前記車両に搭載され、前記車両を制御する機能に関する処理を実行する処理装置と、を備え、
    前記撮像装置は、複数の画素と、前記複数の画素それぞれによる露光を制御する制御部と、所定の試験を実行する処理部と、を有し、
    前記制御部は、前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間において画素信号の読み出しが完了した後に、1回以上の露光が実行される第2の期間において画素信号の読み出しが開始されるように露光を制御し、
    前記処理部は、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号の読み出しとの間である第3の期間に、前記所定の試験を実行し、
    前記処理装置は、前記所定の試験の結果に基づいて、前記車両を制御する機能を制限する、
    撮像システム。
  2. 前記処理部は、前記所定の試験の結果に基づいて、前記撮像装置の故障状態を検出し、
    前記処理装置は、前記撮像装置の故障状態を検出した場合に、前記車両を制御する機能を制限する、請求項1に記載の撮像システム。
  3. 前記車両を制御する機能が制限された場合、前記車両を制御する機能が制限された旨を乗員に通知する、請求項1に記載の撮像システム。
  4. 前記第1の期間及び前記第2の期間は、所定のフレームレートに応じた単位フレーム期
    間である、請求項1に記載の撮像システム。
  5. 前記第3の期間は、前記単位フレーム期間における垂直ブランキング期間に応じて設定される、請求項4に記載の撮像システム。
  6. 前記単位フレーム期間において前記複数の画素により複数回の露光が実行され、
    前記複数回の露光間における露光時間の合計が、前記単位フレーム期間よりも短い、請求項4に記載の撮像システム。
  7. 前記垂直ブランキング期間は、複数回の露光間における露光比に応じて決定される、請求項5に記載の撮像システム。
  8. 前記処理部は、前記第3の期間のうち、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号のシャッターとの間に、前記所定の試験を実行する、請求項1に記載の撮像システム。
  9. 前記制御部は、行列状に2次元配列された前記複数の画素それぞれによる露光の開始タ
    イミングを行ごとに制御し、
    前記処理部は、前記行ごとに、前記第3の期間に、前記試験を実行する、
    請求項8に記載の撮像システム。
  10. 前記第3の期間は、垂直ブランキング期間である、請求項1に記載の撮像システム。
  11. 前記処理部は、前記試験として、前記一部の画素を対象とした試験を実行する、請求項
    1に記載の撮像システム。
  12. 前記複数の画素それぞれに対して駆動信号を供給する駆動回路を備え、
    前記処理部は、前記試験として、前記駆動回路を対象とした試験を実行する、請求項1
    に記載の撮像システム。
  13. 前記画素から読み出されたアナログの前記画素信号をデジタル信号に変換するAD変換
    部を備え、
    前記処理部は、前記試験として、前記AD変換部を対象とした試験を実行する、請求項
    1に記載の撮像システム。
  14. 前記処理部は、前記試験として、前記一部の画素に接続された配線を対象とした試験を
    実行する、請求項1に記載の撮像システム。
  15. 前記試験の結果に応じた情報が所定の出力先に出力されるように制御する出力制御部を
    備える、請求項1に記載の撮像システム。
  16. 前記試験の結果に応じて、少なくとも一部の前記画素から出力される前記画素信号を補
    正する補正処理部を備える、請求項1に記載の撮像システム。
  17. 前記複数の画素は、第1の基板に配置され、
    前記制御部および前記処理部は、前記第1の基板と積層される第2の基板に配置される、請求項1に記載の撮像システム。
  18. 前記第1の基板に配置され、前記複数の画素に接続される画素制御線と、
    前記第2の基板に配置され、前記複数の画素それぞれに対して駆動信号を供給する駆動回路を備え、
    前記画素制御線の一端は、第1の接続電極を介して前記駆動回路に接続され、
    前記画素制御線の他端は、第2の接続電極を介して前記処理部に接続され、
    前記駆動回路は、前記第1の接続電極を介して前記画素制御線に前記駆動信号を供給し、
    前記処理部は、前記第1の接続電極、前記画素制御線、および前記第2の接続電極を介して供給される前記駆動信号に基づいて前記試験を実行する、請求項17に記載の撮像システム。
  19. 前記所定の試験の結果に応じた情報を出力する出力部を備える、請求項1に記載の撮像システム。
  20. 前記所定の試験の結果に応じて、前記複数の画素からの前記画素信号の読み出し結果に基づく画像を補正する補正処理部を備える、請求項1に記載の撮像システム。
  21. 複数の画素と、
    前記複数の画素それぞれによる露光を制御する制御部と、
    所定の試験を実行する処理部と、を備え、
    前記制御部は、前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間において画素信号の読み出しが完了した後に、1回以上の露光が実行される第2の期間において画素信号の読み出しが開始されるように露光を制御し、
    前記処理部は、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号の読み出しとの間である第3の期間に、前記所定の試験を実行する、
    撮像装置。
  22. 前記第1の期間及び前記第2の期間は、所定のフレームレートに応じた単位フレーム期
    間である、請求項21に記載の撮像装置。
  23. 前記第3の期間は、前記単位フレーム期間における垂直ブランキング期間に応じて設定
    される、請求項22に記載の撮像装置。
  24. 前記単位フレーム期間において前記複数の画素により複数回の露光が実行され、
    前記複数回の露光間における露光時間の合計が、前記単位フレーム期間よりも短い、
    請求項23に記載の撮像装置。
  25. 前記垂直ブランキング期間は、前記複数回の露光間における露光比に応じて決定される、請求項24に記載の撮像装置。
  26. 前記処理部は、前記第3の期間のうち、前記第1の期間における画素信号の読み出しと前記第2の期間における画素信号のシャッターとの間に、前記所定の試験を実行する、請求項21に記載の撮像装置。
  27. 前記制御部は、行列状に2次元配列された前記複数の画素による露光の開始タイミングを行ごとに制御し、
    前記処理部は、前記行ごとに、前記第3の期間に、前記試験を実行する、
    請求項21に記載の撮像装置。
  28. 前記第3の期間は、垂直ブランキング期間である、請求項21に記載の撮像装置。
  29. 前記処理部は、前記試験として、前記一部の画素を対象とした試験を実行する、請求項21に記載の撮像装置。
  30. 前記複数の画素それぞれに対して駆動信号を供給する駆動回路を備え、
    前記処理部は、前記試験として、前記駆動回路を対象とした試験を実行する、請求項21に記載の撮像装置。
  31. 前記画素から読み出されたアナログの前記画素信号をデジタル信号に変換するAD変換部を備え、
    前記処理部は、前記試験として、前記AD変換部を対象とした試験を実行する、請求項
    21に記載の撮像装置。
  32. 前記処理部は、前記試験として、前記一部の画素に接続された配線を対象とした試験を実行する、請求項21に記載の撮像装置。
  33. 前記試験の結果に応じた情報が所定の出力先に出力されるように制御する出力制御部を備える、請求項21に記載の撮像装置。
  34. 前記試験の結果に応じて、少なくとも一部の前記画素から出力される前記画素信号を補正する補正処理部を備える、請求項21に記載の撮像装置。
  35. 複数の画素と、
    前記複数の画素それぞれによる露光を制御する制御部と、
    前記複数の画素のうち少なくとも一部の画素による1回以上の露光が実行される第1の期間のうちの最後の露光結果
    に基づく画素信号の読み出しの完了後から、前記第1の期間よりも後の前記1回以上の露光が実行される第2の期間における最初の露光が開始されるまでの第3の期間に、所定の試験を実行する処理部と、
    を備える撮像装置。
JP2017206335A 2017-02-01 2017-10-25 撮像システム及び撮像装置 Active JP6953274B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780084589.XA CN110226325B (zh) 2017-02-01 2017-11-07 摄像系统和摄像装置
DE112017006977.7T DE112017006977T5 (de) 2017-02-01 2017-11-07 Abbildungssystem und abbildungseinrichtung
US16/471,406 US10819928B2 (en) 2017-02-01 2017-11-07 Imaging system and imaging apparatus for detection of abnormalities associated with the imaging system
PCT/JP2017/040155 WO2018142707A1 (ja) 2017-02-01 2017-11-07 撮像システム及び撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017016476 2017-02-01
JP2017016476 2017-02-01

Publications (2)

Publication Number Publication Date
JP2018125840A true JP2018125840A (ja) 2018-08-09
JP6953274B2 JP6953274B2 (ja) 2021-10-27

Family

ID=63109801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017206335A Active JP6953274B2 (ja) 2017-02-01 2017-10-25 撮像システム及び撮像装置

Country Status (3)

Country Link
US (1) US10819928B2 (ja)
JP (1) JP6953274B2 (ja)
DE (1) DE112017006977T5 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145173A (ja) * 2020-03-10 2021-09-24 キヤノン株式会社 電子デバイス、システム及び電子デバイスの制御方法
KR20210144122A (ko) * 2020-05-21 2021-11-30 계명대학교 산학협력단 단안 카메라를 이용한 자동긴급제동시스템의 검증 장치와 방법
JP7444664B2 (ja) 2020-03-24 2024-03-06 キヤノン株式会社 撮像装置及び撮像システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020191505A (ja) * 2019-05-20 2020-11-26 キヤノン株式会社 撮像装置および撮像装置の制御方法
JPWO2022009530A1 (ja) * 2020-07-07 2022-01-13
JP2022017646A (ja) * 2020-07-14 2022-01-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、車両制御システム、および、固体撮像素子の制御方法
US11856309B2 (en) * 2021-09-30 2023-12-26 Smartsens Technology (Hk) Co., Limited Pixel array, image sensor, and self-checking method of the image sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158363A1 (en) * 2006-12-28 2008-07-03 Micron Technology, Inc. On-chip test system and method for active pixel sensor arrays
JP2010068179A (ja) * 2008-09-10 2010-03-25 Dainippon Printing Co Ltd 固体撮像装置およびその駆動方法
JP2014112760A (ja) * 2012-12-05 2014-06-19 Sony Corp 固体撮像装置および電子機器
JP2015501578A (ja) * 2011-10-14 2015-01-15 オムロン株式会社 射影空間監視のための方法および装置
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163935B2 (ja) * 2007-05-17 2013-03-13 ソニー株式会社 イメージセンサ
JP5106092B2 (ja) * 2007-12-26 2012-12-26 パナソニック株式会社 固体撮像装置およびカメラ
US9532011B2 (en) 2011-07-05 2016-12-27 Omron Corporation Method and apparatus for projective volume monitoring
TWI672952B (zh) * 2014-03-06 2019-09-21 日商新力股份有限公司 影像擷取器件、控制方法及影像擷取裝置
US10666881B2 (en) * 2015-09-24 2020-05-26 Sony Semiconductor Solutions Corporation Solid-state image sensor and electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080158363A1 (en) * 2006-12-28 2008-07-03 Micron Technology, Inc. On-chip test system and method for active pixel sensor arrays
JP2010068179A (ja) * 2008-09-10 2010-03-25 Dainippon Printing Co Ltd 固体撮像装置およびその駆動方法
JP2015501578A (ja) * 2011-10-14 2015-01-15 オムロン株式会社 射影空間監視のための方法および装置
JP2014112760A (ja) * 2012-12-05 2014-06-19 Sony Corp 固体撮像装置および電子機器
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145173A (ja) * 2020-03-10 2021-09-24 キヤノン株式会社 電子デバイス、システム及び電子デバイスの制御方法
JP7471871B2 (ja) 2020-03-10 2024-04-22 キヤノン株式会社 電子デバイス、システム及び電子デバイスの制御方法
JP7444664B2 (ja) 2020-03-24 2024-03-06 キヤノン株式会社 撮像装置及び撮像システム
KR20210144122A (ko) * 2020-05-21 2021-11-30 계명대학교 산학협력단 단안 카메라를 이용한 자동긴급제동시스템의 검증 장치와 방법
KR102342070B1 (ko) 2020-05-21 2021-12-22 계명대학교 산학협력단 단안 카메라를 이용한 자동긴급제동시스템의 검증 장치와 방법

Also Published As

Publication number Publication date
US10819928B2 (en) 2020-10-27
JP6953274B2 (ja) 2021-10-27
US20190394414A1 (en) 2019-12-26
DE112017006977T5 (de) 2019-10-17

Similar Documents

Publication Publication Date Title
JP6953274B2 (ja) 撮像システム及び撮像装置
TWI820078B (zh) 固體攝像元件
JP7181868B2 (ja) アナログデジタル変換器、固体撮像素子、および、アナログデジタル変換器の制御方法
WO2020110484A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088480A (ja) 固体撮像素子、および、撮像装置
US20210218923A1 (en) Solid-state imaging device and electronic device
US11418746B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US20230300495A1 (en) Solid-state imaging device and control method of the same
JP7071292B2 (ja) 撮像システム、撮像装置、及び制御装置
WO2018142707A1 (ja) 撮像システム及び撮像装置
US11671555B2 (en) Imaging device and imaging system
EP3975551B1 (en) Imaging device
US11381773B2 (en) Imaging device
US20240314467A1 (en) Imaging device and distance measurement system
US20240205557A1 (en) Imaging device, electronic apparatus, and imaging method
WO2022009573A1 (ja) 撮像装置及び撮像方法
US11356656B2 (en) Signal processing device, signal processing method, and signal processing system
WO2023032416A1 (ja) 撮像装置
US20240292130A1 (en) Imaging device and electronic apparatus
US12149861B2 (en) Imaging device and imaging system
WO2024004377A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020149095A1 (ja) 撮像装置および撮像システム
CN117981346A (zh) 固态成像元件、固态成像元件的控制方法和电子装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210929

R150 Certificate of patent or registration of utility model

Ref document number: 6953274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150