Nothing Special   »   [go: up one dir, main page]

JP2017120971A - 固体撮像素子及び撮像装置 - Google Patents

固体撮像素子及び撮像装置 Download PDF

Info

Publication number
JP2017120971A
JP2017120971A JP2015256094A JP2015256094A JP2017120971A JP 2017120971 A JP2017120971 A JP 2017120971A JP 2015256094 A JP2015256094 A JP 2015256094A JP 2015256094 A JP2015256094 A JP 2015256094A JP 2017120971 A JP2017120971 A JP 2017120971A
Authority
JP
Japan
Prior art keywords
image
signal
unit
image signal
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015256094A
Other languages
English (en)
Other versions
JP6674255B2 (ja
JP2017120971A5 (ja
Inventor
聡史 鈴木
Satoshi Suzuki
聡史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015256094A priority Critical patent/JP6674255B2/ja
Priority to KR1020160165513A priority patent/KR102117858B1/ko
Priority to US15/381,840 priority patent/US10122948B2/en
Priority to CN201611236982.XA priority patent/CN107071241B/zh
Publication of JP2017120971A publication Critical patent/JP2017120971A/ja
Publication of JP2017120971A5 publication Critical patent/JP2017120971A5/ja
Application granted granted Critical
Publication of JP6674255B2 publication Critical patent/JP6674255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】HDR画像を高速に取得し得る固体撮像素子及び撮像装置を提供する。
【解決手段】複数の画素が配された画素部と、第1のタイミングで前記画素部から読み出される第1の画像信号と、前記第1のタイミングとは異なる第2のタイミングで前記画素部から読み出される第2の画像信号とを合成することによって、第3の画像信号を生成する画像信号合成手段とを有している。
【選択図】図3

Description

本発明は、固体撮像素子及び撮像装置に関する。
近年、ダイナミックレンジの広い画像を取得し得るデジタルスチルカメラやデジタルビデオカメラ等が提案されている。例えば、特許文献1では、露光量が異なる複数の画像のうちから適切な明るさの画像を切り出し、切り出されたこれらの画像を合成することによってダイナミックレンジの広い画像を生成する技術が開示されている。こうして生成されるダイナミックレンジの広い画像は、HDR(High Dynamic Range)画像と称される。
特開昭63−306777号公報
しかしながら、従来の技術では、HDR画像を必ずしも高速に取得し得ない場合があった。
本発明の目的は、HDR画像を高速に取得し得る固体撮像素子及び撮像装置を提供することにある。
本発明の一観点によれば、複数の画素が配された画素部と、第1のタイミングで前記画素部から読み出される第1の画像信号と、前記第1のタイミングとは異なる第2のタイミングで前記画素部から読み出される第2の画像信号とを合成することによって、第3の画像信号を生成する画像信号合成手段とを有することを特徴とする固体撮像素子が提供される。
本発明によれば、HDR画像を固体撮像素子内において生成するため、HDR画像を生成するための複数の画像信号を固体撮像素子の外部に出力することを要しない。このため、本発明によれば、HDR画像を高速に取得し得る固体撮像素子及び撮像装置を提供することができる。
本発明の第1実施形態による固体撮像素子を示す概略図である。 本発明の第1実施形態による固体撮像素子を示す回路図である。 本発明の第1実施形態による固体撮像素子の信号処理部を示すブロック図である。 本発明の第1実施形態による撮像装置を示すブロック図である。 本発明の第1実施形態による撮像装置における通常撮影時の動作を示すフローチャートである。 本発明の第1実施形態による撮像装置におけるHDR撮影時の動作を示すフローチャートである。 本発明の第1実施形態による撮像装置によってHDR撮影時に取得される画像の例を示す図である。 本発明の第2実施形態による撮像装置によってHDR撮影時に取得される画像の例を示す図である。 本発明の第2実施形態による撮像装置におけるHDR撮影時の動作を示すフローチャートである。 本発明の第3実施形態による固体撮像素子を示す概略図である。 本発明の第3実施形態による固体撮像素子を示す回路図である。 本発明の第3実施形態による固体撮像素子の信号処理部を示すブロック図である。 本発明の第3実施形態による撮像装置によってHDR撮影時に取得される画像の例を示す図である。
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
[第1実施形態]
本発明の第1実施形態による固体撮像素子及びその固体撮像素子を用いた撮像装置について図面を用いて説明する。本実施形態による撮像装置309は、撮影条件の異なる2つの画像、即ち、第1の画像と第2の画像とを取得し、これら2つの画像を固体撮像素子の内部で合成することによってHDR画像を生成するものである。
HDR画像とは、通常の画像よりも表現し得る最小輝度と最大輝度の比率が大きい画像のことである。換言すれば、HDR画像は、通常の画像よりもダイナミックレンジの広い画像のことである。ダイナミックレンジとは、識別可能な信号の最小値と最大値との比率のことである。換言すれば、ダイナミックレンジとは、表現しうる最小輝度と最大輝度との比率のことである。例えば、識別可能な信号の最小値は、固体撮像素子のノイズレベルに対応する輝度レベルである。一方、識別可能な信号の最大値は、固体撮像素子に設けられた光電変換部の飽和電荷量に対応する輝度レベルである。後述するように、第1の画像、即ち、第1の画像信号を取得する際には、予め設定された撮影条件で撮影が行われる。一方、後述するように、第2の画像、即ち、第2の画像信号を取得する際には、第1の画像信号において飽和していた部分が飽和しないような撮影条件で撮影が行われる。第1の画像信号と第2の画像信号とを合成する処理、即ち、HDR合成においては、第1の画像信号のうちの飽和していた部分が第2の画像信号によって置き換えられる。このため、ダイナミックレンジの広い画像、即ち、HDR画像を得ることができる。
まず、本実施形態による固体撮像素子の構成について図面を用いて説明する。図1は、本実施形態による固体撮像素子の構成を示す概略図である。図1に示すように、本実施形態による固体撮像素子302は、基板102上に基板101が積層された構造となっている。
基板101は、受光部104と、A/D変換部(アナログ/デジタル変換部)105と、接続部106と、制御部103とを有している。受光部104は、光学系301(図4参照)によって形成される被写体像を受光するものである。受光部104には、光を電気に変換する光電変換部(光電変換素子)をそれぞれ含む複数の画素(単位画素)601(図2参照)が、行方向及び列方向に2次元的に配置されている。A/D変換部105は、受光部104に配された単位画素601から出力されるアナログの画像信号(画素信号)をデジタルの画像信号に変換する。接続部106は、A/D変換部105から出力されるデジタルの画像信号を基板102側に転送するためのものである。制御部103は、受光部104及びA/D変換部105を制御する。なお、基板101には、後述する周辺回路部606(図2参照)も設けられているが、図1においては省略されている。
基板102は、接続部107と、信号処理部108と、メモリ部109と、出力部110とを有している。接続部107は、基板101からの画像信号を受け取るためのものである。信号処理部108は、基板101からの画像信号やメモリ部109からの画像信号に対し、信号増幅、基準レベル調整、欠陥補正、現像処理等の各種画像処理を行う。また、信号処理部108は、撮影した複数の画像を合成することによってHDR画像の生成をも行う。メモリ部109は、信号処理部108からの画像信号を一時的に格納するためのものである。出力部110は、信号処理部108から出力される画像信号を固体撮像素子302の外部へ出力するためのものである。
基板101に設けられた接続部106と基板102に設けられた接続部107とは、例えばマイクロバンプやビア等によって電気的に接合されている。こうして、基板101と基板102とが電気的に接続されている。
従来の撮像装置においては、複数の画像を固体撮像素子302によって取得し、固体撮像素子302の外部に配された画像処理手段によって複数の画像を合成することにより、HDR画像を生成していた。固体撮像素子302の外部に画像信号を出力する際には、比較的長時間を要する。しかも、HDR画像を生成するためには、複数枚の画像を固体撮像素子302の外部に出力しなければならないため、従来の撮像装置においては、HDR画像の取得に長時間を要していた。
これに対し、本実施形態による固体撮像素子302では、当該固体撮像素子302内に設けられた信号処理部108においてHDR画像の生成を行う。このため、本実施形態では、複数の画像信号を固体撮像素子302の外部に出力することを要しない。このため、本実施形態によれば、高速でHDR画像を取得し得る固体撮像素子及び撮像装置を提供することが可能となる。
ところで、出力部110を多チャンネル化すれば、複数の画像信号を固体撮像素子302の外部に比較的高速に出力することも可能である。しかし、出力部110を多チャンネル化した場合には、出力部110が大規模化し、また、消費電力も増大する。本実施形態では、出力部110を多チャンネル化することを要しないため、出力部110の端子数の増加を要さず、固体撮像素子302の小型化や低消費電力化に資する。
なお、受光部104によって被写体像を受光し、A/D変換部105によってA/D変換を行い、信号処理部108によって信号処理を行うのに要する時間は、出力部110によって1つの画像信号を外部に出力するのに要する時間に対して十分短い。
図2は、本実施形態による固体撮像素子302を示す回路図である。なお、図2には、基板101側の回路が示されている。図2に示すように、受光部(画素部)104には、複数の単位画素601が行列状に配置されている。なお、単位画素601は、1つの画素によって構成されていてもよいし、複数の分割画素によって構成されていてもよい。単位画素601が複数の分割画素によって構成されている場合には、各々の分割画素に光電変換部が設けられる。
周辺回路部606は、垂直選択回路(行選択回路)602と、A/D変換部105と、接続部106と、水平選択回路(列選択回路)603と、駆動信号線604と、垂直信号線605とを含んでいる。垂直選択回路602には、単位画素601に対して駆動信号(駆動パルス)を供給するための駆動信号線604が接続されている。同一の行に位置する単位画素601には、共通の駆動信号線604を介して駆動信号が供給される。なお、ここでは、簡略化のため、駆動信号線604が各行に1本ずつ図示されているが、実際には、各行に複数本ずつ駆動信号線604が配されている。同一の列に位置する単位画素601は、同一の垂直信号線605に接続されている。垂直選択回路602によって選択された行に位置する複数の単位画素601からそれぞれ出力される複数の信号、即ち、複数の画素信号は、複数の垂直信号線605をそれぞれ介してA/D変換部105に一括して出力される。そして、水平選択回路603によって選択された列に位置する単位画素601からの信号であって、A/D変換が行われた後の信号が、接続部106を介して基板102に転送される。
なお、制御部103が垂直選択回路602と水平選択回路603とを制御することによって、信号の読み出しが行われる単位画素601が選択される。図2においては、説明を簡略化するため、8行×8列の単位画素601が図示されているが、実際には、受光部104には、数千行×数千列の単位画素601が設けられている。
図3は、本実施形態による固体撮像素子302の信号処理部108を示すブロック図である。信号レベル解析部205は、接続部107を介して入力される画像信号の信号レベルを画素毎に解析するものである。なお、受光部104によって光電変換が行われ、A/D変換部105によってA/D変換が行われた後の信号が、接続部107を介して信号レベル解析部205に入力される。画像信号合成部206は、受光部104から接続部107を介して入力される第2の画像信号と、メモリ部109に保持されていた第1の画像信号とを合成することによって、HDR画像を生成する。なお、メモリ部109に保持されていた第1の画像信号は、前回の撮影によって取得された画像信号である。
なお、画像信号合成部206は、撮影条件の異なる2つの画像信号を合成することによってHDR画像を生成する際、即ち、HDR合成を行う際には、HDR合成において一般に行われている様々な処理をも適宜行う。例えば、1回目の撮影によって取得された第1の画像と2回目の撮影によって取得された第2の画像との間に被写体像のずれが生じている場合には、像ずれ補正が行われる。具体的には、第1の画像信号と第2の画像信号との双方から特徴点を抽出することによって、像ずれ補正に必要な垂直方向のシフト量と水平方向のシフト量とを求める。そして、求められたシフト量に基づいて座標をシフトさせつつ、第1の画像と第2の画像とを合成する。このような像ずれ補正は、第1の画像と第2の画像との間に回転による像ずれが生じた場合においても同様に適用し得る。なお、1回目の撮影時刻と2回目の撮影時刻との差が極めて小さい場合には、このような像ずれ補正は必須ではない。撮影の状況に応じて、必要な補正を適宜行うようにすればよい。
信号増幅部201は、受光部104から接続部107を介して入力される画像信号又は画像信号合成部206によって合成されたHDRの画像信号を所定のゲインで増幅するものである。基準レベル調整部202は、受光部104に光が入射されていない際、即ち、ダーク状態の際の画像信号のレベルが所定の値となるように調整を行う。補正部203は、画像信号に対して、欠陥補正やダークシェーディング補正等の各種補正を施す。現像処理部204は、画像信号に対してホワイトバランス調整等を行うとともに、現像処理を行う。現像処理部204によって現像処理が行われた画像信号は、出力部110に出力される。
図4は、本実施形態による撮像装置309を示すブロック図である。光学系301は、撮影レンズ(図示せず)、絞り(図示せず)等を含んでいる。なお、撮影レンズは、撮像装置309の本体から着脱不能であってもよいし、着脱可能であってもよい。固体撮像素子302は、光電変換を行うことにより、撮像面に入射される光学像を電気信号に変換する。固体撮像素子302は、上述したように、光電変換によって得られた電気信号に対し、信号増幅、基準レベル調整、欠陥補正、ダークシェーディング補正、現像処理等の各種画像処理を施し、画像信号を生成する。また、上述したように、固体撮像素子302は、撮影した複数の画像を合成することによってHDR画像を生成する。
タイミング信号発生部(タイミング信号発生回路)303は、固体撮像素子302を動作させるための信号を発生する。駆動部304は、光学系301を駆動するためのものである。記録部305は、固体撮像素子302から出力される画像信号等を記録するための記録媒体であり、具体的には、不揮発性メモリやメモリカード等である。制御部306は、撮像装置309全体の制御を司るものであり、具体的には、CPU(Central Processing Unit)等である。制御部306は、固体撮像素子302、タイミング信号発生部303、駆動部304等に対して制御を行う。操作部307は、撮像装置309の本体に配された操作部材(図示せず)を含む。操作部材は、ユーザが撮像装置309を操作するためのものである。操作部307は、ユーザによって行われる操作部材の操作に応じた信号を制御部306に出力する。表示部308は、撮影された画像、ライブビュー画像、各種設定画面等を表示する。
次に、本実施形態による撮像装置309における通常撮影時の動作について図5を用いて説明する。図5は、本実施形態による撮像装置309における通常撮影時の動作を示すフローチャートである。なお、ここで、通常撮影とは、HDR撮影ではない撮影のことを意味する。
まず、操作部307を介してユーザによって行われる指示等に基づいて、感度、絞り値、露光時間等の撮影条件の初期設定が行われる(ステップS401)。次に、光学系301等を制御し、固体撮像素子302を用いて撮影が行われる(ステップS402)。具体的には、固体撮像素子302の受光部104に対して所定時間の露光が行われる。受光部104において行われる光電変換によってアナログの画像信号が生成され、かかるアナログの画像信号がA/D変換部105によってデジタルの画像信号に変換される。そして、こうして得られたデジタルの画像信号が信号処理部108へと読み出される(ステップS403)。
次に、こうして読み出された画像信号に対して、信号処理部108によって様々な信号処理が行われる(ステップS404)。具体的には、信号増幅部201によって信号増幅が行われ、基準レベル調整部202によって基準レベル調整が行われ、補正部203によって欠陥補正等が行われ、現像処理部204によってホワイトバランス調整及び現像処理等が行われる。次に、信号処理部108から出力される画像信号が、出力部110を介して、固体撮像素子302の外部に位置する記録部305や表示部308に出力される(ステップS405)。こうして、通常撮影が完了する。
次に、本実施形態による撮像装置309におけるHDR撮影時の動作について図6を用いて説明する。図6は、本実施形態による撮像装置309におけるHDR撮影時の動作を示すフローチャートである。本実施形態では、HDR撮影時においては、異なる撮影条件、より具体的には、異なる電荷蓄積時間で2回の撮影が行われ、2回の撮影によって得られた2つの画像を固体撮像素子302内において合成することによってHDR画像が生成される。なお、電荷蓄積時間とは、単位画素601に電荷が蓄積される時間のことである。
まず、操作部307を介してユーザによって行われる指示等に基づいて、感度、絞り値、露光時間等の撮影条件の初期設定が行われる(ステップS501)。次に、光学系301等が制御され、1回目の撮影、即ち、第1の画像を取得するための撮影が固体撮像素子302を用いて行われる(ステップS502)。具体的には、固体撮像素子302の受光部104に対して、第1の画像、即ち、第1の画像信号を取得するための所定時間の露光が行われる。受光部104において行われる光電変換によってアナログの画像信号が生成され、かかるアナログの画像信号はA/D変換部105によってデジタルの画像信号に変換される。こうして得られたデジタルの画像信号が第1の画像信号として信号処理部108によって読み出される(ステップS503)。第1の画像信号は、信号処理部108に設けられた信号レベル解析部205によって信号レベルが画素毎に解析された後(ステップS504)、メモリ部109内に保持される(ステップS505)。
次に、信号レベル解析部205による第1の画像信号の解析結果に基づいて、第2の画像を取得する際の撮影条件が設定される(ステップS506)。具体的には、信号レベル解析部205による第1の画像信号の解析の結果に基づいて、第2の画像信号を取得する際の撮影条件が設定される。具体的には、第2の画像信号を取得する際の電荷蓄積時間が設定される。かかる電荷蓄積時間の設定は、制御部103によって行われる。電荷蓄積時間は、例えば、単位画素601に設けられたスイッチを適宜制御することによって、適宜設定することが可能である。例えば、第1の画像信号のレベルのレンジが比較的広い場合には、第1の画像信号を取得した際の電荷蓄積時間と第2の画像信号を取得する際の電荷蓄積時間との差が比較的大きくなるように、第2の画像信号を取得する際の電荷蓄積時間を設定する。一方、第1の画像信号における信号レベルのレンジが比較的狭い場合には、第1の画像信号を取得した際の電荷蓄積時間と第2の画像信号を取得する際の電荷蓄積時間との差が比較的小さくなるように、第2の画像信号を取得する際の電荷蓄積時間を設定する。
なお、第2の画像を取得する際の撮影条件の設定は、電荷蓄積時間の設定に限定されるものではない。例えば、A/D変換部105においてゲインの設定を行うことが可能な場合には、電荷蓄積時間の設定と、A/D変換部105におけるゲインの設定とを組み合わせることによって、第2の画像を取得する際の撮影条件を設定してもよい。ゲインの設定を行うことが可能なA/D変換部105としては、例えば、A/D変換部105に入力されるアナログ信号に対して所定のゲインを乗算するアナログ信号増幅部を備えるA/D変換部が挙げられる。また、ゲインの設定を行うことが可能なA/D変換部105として、A/D変換後のデジタル信号に対して所定量のゲインを乗算するデジタル信号増幅部を備えるA/D変換部を挙げることもできる。例えば、第1の画像信号における信号レベルのレンジが比較的広い場合には、第1の画像信号の信号レベルと第2の画像信号の信号レベルとの差が比較的大きくなるように、第2の画像信号を取得する際のゲイン及び電荷蓄積時間が設定される。一方、第1の画像信号における信号レベルのレンジが比較的狭い場合には、第1の画像信号の信号レベルと第2の画像信号の信号レベルとの差が比較的小さくなるように、第2の画像信号を取得する際のゲイン及び電荷蓄積時間が設定される。
また、A/D変換部105が、シングルスロープ型のA/D変換部であってもよい。シングルスロープ型のA/D変換部は、コンパレータ(図示せず)とカウンタ(図示せず)とを用いたA/D変換部である。シングルスロープ型のA/D変換部においては、当該A/D変換部の内部でランプ信号が生成される。A/D変換部内に配されたコンパレータが、単位画素601からの画素信号とランプ信号とを比較し、コンパレータが反転するまでの時間がカウンタによってカウントされる。カウンタによってカウントされた時間に対応するランプ信号の大きさが、画素信号の大きさである。従って、シングルスロープ型のA/D変換部においては、カウンタによってカウントされた時間に基づいて、画素信号の大きさを求めることができる。シングルスロープ型のA/D変換部においては、単位時間当たりのランプ信号の大きさの変化量、即ち、ランプ信号の傾きを小さくすることが、入力信号に乗算するゲインを大きくすることに相当する。一方、シングルスロープ型のA/D変換部においては、単位時間当たりのランプ信号の大きさの変化量、即ち、ランプ信号の傾きを大きくすることが、入力信号に乗算するゲインを小さくすることに相当する。このため、A/D変換部105が、シングルスロープ型のA/D変換部である場合には、ランプ信号の傾きを調整することによって、A/D変換部105におけるゲインを調整することが可能である。例えば、第1の画像信号における信号レベルのレンジが比較的広い場合には、第1の画像信号の信号レベルと第2の画像信号の信号レベルとの差が比較的大きくなるように、第2の画像信号を取得する際におけるランプ信号の傾き及び電荷蓄積時間が設定される。一方、第1の画像信号における信号レベルのレンジが比較的狭い場合には、第1の画像信号の信号レベルと第2の画像信号の信号レベルとの差が比較的小さくなるように、第2の画像信号を取得する際におけるランプ信号の傾き及び電荷蓄積時間が設定される。
次に、ステップS506において設定された撮影条件に基づいて、第2の画像信号を取得するための撮影が固体撮像素子302を用いて行われる(ステップS507)。具体的には、固体撮像素子302の受光部104に対して、第2の画像信号を取得するための露光が行われる。受光部104において行われる光電変換によってアナログの画像信号が生成され、かかるアナログの画像信号がA/D変換部105によってデジタルの画像信号に変換される。そして、こうして得られたデジタルの画像信号が第2の画像信号として信号処理部108によって読み出される(ステップS508)。なお、第1の画像信号はステップS503において既に読み出されており、第2の画像信号が読み出されるタイミングは、第1の画像信号が読み出されるタイミングとは異なっている。
次に、こうして得られた第2の画像信号と、メモリ部109内に保持されていた第1の画像信号とが、画像信号合成部206によって合成され、これによりHDRの画像信号が生成される(ステップS509)。次に、こうして得られたHDRの画像信号に対し、各種の信号処理が施される(ステップS510)。具体的には、信号増幅部201によって信号増幅が行われ、基準レベル調整部202によって基準レベル調整が行われ、補正部203によって欠陥補正が行われ、現像処理部204によってホワイトバランス調整、現像処理等が行われる。次に、信号処理部108から出力される画像信号が、出力部110を介して、固体撮像素子302の外部に位置する記録部305や表示部308に出力される(ステップS511)。こうして、HDR画像の撮影が完了する。
図7は、本実施形態による撮像装置309によってHDR撮影時に取得される画像の例を示す図である。図7(a)は、第1の画像701、即ち、1回目の撮影によって取得される画像の例を示しており、図7(b)は、第2の画像702、即ち、2回目の撮影によって取得される画像の例を示している。図7(c)は、HDR画像703、即ち、第1の画像701と第2の画像702とを合成することにより得られる画像の例を示している。
図7(a)に示す第1の画像701は、初期設定の撮影条件で取得されたものである。第1の画像701においては、輝度が比較的高い部分が飽和レベルに達している。具体的には、窓枠704の内側の部分が飽和レベルに達している。飽和レベルに達している部分においては、画像情報が欠落している。
図7(b)に示す第2の画像702は、第1の画像701において飽和レベルに達していた部分が飽和レベルに達しないような撮影条件で取得されたものである。第2の画像702においては、輝度が比較的高い部分においても画像情報が存在している。具体的には、第2の画像702においては、窓枠704の内側の部分においても画像情報が存在している。一方、輝度が低い部分においては、画像信号が黒レベルに近い状態となっている。具体的には、人物705の部分において、画像信号が黒レベルに近い状態となっており、人物705の認識が困難になっている。
図7(c)に示すHDR画像703は、図7(a)に示す第1の画像701と図7(b)に示す第2の画像702とを合成することにより得られたものである。図7(c)に示すHDR画像703においては、輝度が比較的高い部分においても、輝度が比較的低い部分においても、十分な情報が存在している。即ち、図7(c)に示すHDR画像703においては、窓枠704の内側の部分においても、人物705の部分においても、被写体情報が十分に反映されている。
このように、本実施形態によれば、固体撮像素子302内でHDR画像が生成されるため、HDR画像を生成するための複数の画像を固体撮像素子302の外部に出力することを要しない。このため、本実施形態によれば、HDR画像を高速で取得し得る固体撮像素子及び撮像装置を提供することができる。
[第2実施形態]
本発明の第2実施形態による固体撮像素子及び撮像装置について図面を用いて説明する。図1乃至図7に示す第1実施形態による固体撮像素子及び撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による固体撮像素子302及び撮像装置309は、第1の画像信号の解析結果に基づいて、第2の画像信号を取得する際の読み出し範囲を限定し、これにより、第2の画像信号を取得する際の読み出し時間を短縮するものである。第2の画像信号を取得する際の読み出し時間が短縮されるため、HDR画像の生成に要する時間を更に短縮することが可能となる。
本実施形態による固体撮像素子302及び撮像装置309の基本的な構成は、図1乃至図4を用いて上述した第1実施形態による固体撮像素子302及び撮像装置309の基本的な構成と同様である。
図8は、本実施形態による撮像装置309によってHDR撮影時に取得される画像の例を示す図である。図8(a)は、第1の画像801、即ち、1回目の撮影によって取得される画像801の例を示しており、図8(b)は、第2の画像802、即ち、2回目の撮影によって取得される画像802の例を示している。図8(c)は、HDR画像803、即ち、第1の画像801と第2の画像802とを合成することにより得られる画像の例を示している。
図8(a)に示す第1の画像801は、初期設定の撮影条件で取得された画像であり、図7(a)を用いて上述した第1実施形態における第1の画像701と同様である。
図8(b)に示す第2の画像802は、図8(a)に示す第1の画像801において飽和レベルに達していた部分が飽和レベルに達しないような撮影条件で取得された画像である。本実施形態では、第2の画像信号を取得する際には、受光部104に配された全ての単位画素601からの信号が読み出されるわけではなく、受光部104のうちの一部の領域内に位置する単位画素601からのみ信号が読み出される。具体的には、図8(a)に示す第1の画像801において信号レベルが飽和レベルに達していた領域と当該領域の周辺の領域とを含む領域内に位置する単位画素601からの信号のみが、第2の画像を取得する際に読み出される。本実施形態によれば、受光部104のうちの一部の領域内に位置する単位画素601からのみ信号が読み出されるため、第2の画像の読み出しに要する時間を短縮することができ、ひいては、HDR画像をより高速に取得することが可能となる。
図8(c)に示すHDR画像803は、図8(a)に示す第1の画像801と、図8(b)に示す第2の画像802とを合成することにより得られた画像である。第1の画像801において信号レベルが飽和レベルに達していた領域と当該領域の周辺の領域とを含む領域については、第1の画像801と第2の画像802とを合成することによって画像信号が生成されている。一方、かかる領域以外の領域については、第1の画像801の画像信号に適切なゲイン等を乗算することによって画像信号が生成されている。
次に、本実施形態による撮像装置309におけるHDR撮影時の動作について図9を用いて詳細に説明する。なお、本実施形態による撮像装置309における通常撮影時の動作は、図5を用いて上述した第1実施形態による撮像装置309における通常撮影時の動作と同様であるため、説明を省略する。図9は、本実施形態による撮像装置309におけるHDR撮影時の動作を示すフローチャートである。本実施形態においても、第1実施形態と同様に、異なる撮影条件で2回の撮影を行うことによって第1の画像801と第2の画像802とが取得される。そして、これら第1の画像801と第2の画像802とを固体撮像素子302内において合成することによってHDR画像が生成される。
まず、ステップS901からS905までは、図6を用いて上述したステップS501からS505までと同様であるため、説明を省略する。
次に、信号レベル解析部205による第1の画像801の解析の結果に基づいて、第2の画像を取得する際の撮影条件と読み出し領域とが設定される(ステップS906)。具体的には、信号レベル解析部205による第1の画像の解析結果に基づいて、例えば、第2の画像を取得する際の露光時間が制御部103によって設定される。なお、第2の画像を取得する際の撮影条件は、電荷蓄積時間の設定のみに限定されるものではない。第1実施形態において上述したように、電荷蓄積時間の設定と、A/D変換部105におけるゲインの設定等とを適宜組み合わせることによって、第2の画像を取得する際の撮影条件を設定するようにしてもよい。第2の画像を取得する際の読み出し領域は、以下のようにして設定される。即ち、信号レベル解析部205によって、第1の画像801に対する解析が行われる。具体的には、各々の単位画素601からの信号が、信号レベル解析部205によって解析される。そして、信号レベル解析部205による解析の結果に基づいて、信号レベルが所定レベル以上である単位画素601を含む領域が読み出し領域として設定される。具体的には、信号レベルが所定レベル以上である単位画素601が位置している領域と、当該領域の周辺の領域とを含む領域が、読み出し領域として設定される。例えば、図8(b)に示す第2の画像802のように、信号レベルが所定レベル以上である単位画素601を含む矩形の領域が、読み出し領域として設定される。読み出し領域をこのように設定した場合には、後述する第2の画像信号の読み出し(ステップS908)においては、以下のような動作となる。即ち、垂直選択回路602による読み出し行の選択と、水平選択回路603による読み出し列の選択とを組み合わせることによって、読み出し領域に位置する単位画素601からの信号が読み出される。なお、読み出し領域が矩形の領域となるのは、読み出し行と読み出し列とを制限することによって、読み出し領域を画定するためである。
次に、ステップS906において設定された撮影条件に基づいて、第2の画像を撮影する(ステップS907)。第2の画像の撮影は、第1の画像の撮影とは異なるタイミングにおいて行われる。次に、ステップS906において設定された読み出し領域内に位置する単位画素601からの信号であって、A/D変換が行われた後の信号が、第2の画像信号として信号処理部108によって読み出される(ステップS908)。
次に、こうして読み出された第2の画像信号と、メモリ部109に保持されていた第1の画像信号とを、画像信号合成部206によって合成することによって、HDR画像を生成する(ステップS909)。次に、こうして得られたHDR画像信号に対し、各種の信号処理が施される(ステップS910)。具体的には、信号増幅部201によって信号増幅が行われ、基準レベル調整部202によって基準レベル調整が行われ、補正部203によって欠陥補正が行われ、現像処理部204によってホワイトバランス調整及び現像処理が行われる。そして、信号処理部108から出力される画像信号が、固体撮像素子302の外部に位置する記録部305や表示部308に出力部110を介して出力される(ステップS911)。こうして、HDR画像の取得が完了する。
このように、本実施形態によれば、第2の画像が読み出される際には、受光部104に設けられた全ての単位画素601からの信号が読み出されるわけではなく、受光部104の一部の領域内に位置する単位画素601からの信号のみが読み出される。このため、本実施形態によれば、第2の画像の読み出し時間を短縮することができ、ひいては、HDR画像の取得に要する時間を更に短縮することができる。
[第3実施形態]
本発明の第3実施形態による固体撮像素子及び撮像装置について図面を用いて説明する。図1乃至図9に示す第1又は第2実施形態による固体撮像素子及び撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による固体撮像素子302は、基板101側に設けられた単位画素601からの信号が基板102側に直接入力されるものである。なお、本実施形態による撮像装置309の基本的な構成は、図4を用いて上述した第1実施形態による撮像装置309の基本的な構成と同様である。
図10は、本実施形態による固体撮像素子302を示す概略図である。図10に示すように、本実施形態による固体撮像素子302は、基板1002上に基板1001が積層された構造となっている。
基板1001は、受光部104と、接続部1003と、制御部103とを有している。受光部104には、複数の単位画素601が行方向及び列方向に2次元的に配置されている。接続部1003は、受光部104からの信号を基板1002に転送するためのものである。なお、ここでは、2×2の4つの単位画素601を含む1つの画素ブロック607に対して1つの接続部1003が割り当てられている。換言すれば、4つの単位画素601が1つの接続部1003を共用している。制御部103は、受光部104を制御する。
基板1002は、接続部1004と、信号処理部108と、メモリ部109と、出力部110とを有している。接続部1004は、基板1001からの信号を受け取るためのものである。信号処理部108は、複数の部分信号処理部1006を備えている。2×2の4つの単位画素601を含む1つの画素ブロック607に対して1つの部分信号処理部1006が割り当てられている。信号処理部108は、基板1001側から接続部1004を介して入力されるアナログの画素信号をデジタルの画素信号に変換する処理であるA/D変換を行う。また、信号処理部108は、接続部1004を介して基板1001側から入力される画像信号や、メモリ部109からの画像信号に対し、各種の画像処理を行う。各種の画像処理としては、例えば、信号増幅、基準レベル調整、欠陥補正、現像処理等が挙げられる。また、信号処理部108は、撮影した複数の画像を合成することによってHDR画像を生成する。メモリ部109は、信号処理部108からの画像信号を一時的に保持する。出力部110は、信号処理部108から出力される画像信号を固体撮像素子302の外部に出力するためのものである。
基板1001側に設けられた複数の接続部1003と基板1002側に設けられた複数の接続部1004とは、貫通電極1005によってそれぞれ電気的に接続されている。貫通電極1005としては、例えば、Through Silicon Via(以下TSV)等が用いられている。
図11は、本実施形態による固体撮像素子302を示す回路図である。なお、図11は、基板1001側の回路が示されている。図11に示すように、基板1001には、複数の単位画素601が行列状に配置された受光部104と、制御部103と、駆動信号線1101とが設けられている。制御部103は、駆動信号線1101を介して各々の単位画素601に駆動パルスを適宜印加する。なお、ここでは、簡略化のため、1行又は2行毎に駆動信号線1101を1本ずつ図示してあるが、実際には、各々の単位画素601を駆動するのに適切な数の駆動信号線1101が適宜設けられる。また、上述したように、2×2の4つの単位画素601を含む画素ブロック607に対して1つの接続部1003が割り当てられている。
ある単位画素601によって生成される信号が、当該単位画素601と接続部1003を共有している他の単位画素601によって生成される信号と混合されないように、制御部103によって適切な制御が行われる。接続部1003を共有する複数の単位画素601の各々によって生成される信号は、制御部103による制御に基づいて、基板1102側に順次出力される。なお、図11においては、説明を簡略化するため、8行×8列の単位画素601が図示されているが、実際には数千行×数千列の単位画素601が設けられている。
図12は、本実施形態による固体撮像素子302の信号処理部108の構成を示すブロック図である。図12に示すように、信号処理部108は、複数の部分信号処理部1006と、補正部203と、現像処理部204とを備えている。2×2の4つの単位画素601を含む1つの画素ブロック607に対して1つの部分信号処理部1006が割り当てられている。換言すれば、4つの単位画素601が1つの部分信号処理部1006を共用している。各々の部分信号処理部1006には、接続部1004と、A/D変換部1201と、信号レベル解析部205と、画像信号合成部206と、信号増幅部201と、基準レベル調整部202とが設けられている。A/D変換部1201は、単位画素601から接続部1004を介して入力されるアナログの画像信号をデジタルの画像信号に変換する。信号レベル解析部205と画像信号合成部206と信号増幅部201と基準レベル調整部202については、図3を用いて第1実施形態において上述したため、説明を省略する。複数の部分信号処理部1006の各々において、複数の単位画素601の各々からの画像信号に対して各種の信号処理が施される。各種の信号処理が施された複数の画像信号が複数の部分信号処理部1006から補正部203に一括して入力される。補正部203によって行われる各種補正処理と、現像処理部204によって行われる現像処理とは、複数の部分信号処理部1006から入力される複数の画像信号に対して一括して行われる。
図13は、本実施形態による撮像装置においてHDR撮影時に取得される画像の例を示す図である。図13(a)は、第1の画像1301、即ち、1回目の撮影によって取得される画像の例を示しており、図13(b)は、第2の画像1302、即ち、2回目の撮影によって取得される画像の例を示している。図13(c)は、第1の画像1301と第2の画像1302とを合成することによって得られるHDR画像1303の例を示している。
図13(a)に示す第1の画像1301は、初期設定で撮影された画像であり、図7(a)を用いて第1実施形態において上述した第1の画像701と同様の画像である。
図13(b)に示す第2の画像1302は、図13(a)に示す第1の画像1301において信号レベルが飽和レベルに達していた領域においても信号レベルが飽和レベルに達しないような撮影条件で設定された画像である。本実施形態では、画素ブロック607毎に部分信号処理部1006が設けられているため、細かい範囲での画像の合成が可能である。このため、本実施形態によれば、第2の画像を取得する際における信号の読み出し範囲をより細かく設定することができ、第2の画像を取得する際に読み出される画像信号を少なくすることができる。このため、本実施形態によれば、第2の画像信号の読み出し時間をより短縮することができ、ひいては、HDR画像をより高速に取得することが可能となる。
図13(c)に示すHDR画像1303は、図13(a)に示す第1の画像1301と、図13(b)に示す第2の画像1302とを合成することにより生成された画像である。第1の画像1301において信号レベルが飽和レベルに達していた領域と、当該領域の周辺の領域については、第1の画像1301と第2の画像1302とを合成することによって画像信号が生成されている。これらの領域以外の領域については、第1の画像1301の画像信号に適切なゲイン等を乗算することによって画像信号が生成されている。
このように、基板1001側に設けられた単位画素601からの信号が基板1002側に直接入力されるようにしてもよい。
[変形実施形態]
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態においては、第2の画像を取得する際の撮影条件を第1の画像の解析結果に基づいて設定する場合を例に説明したが、これに限定されるものではない。第2の画像を取得する際の撮影条件を、第1の画像を解析の結果に基づかずに設定するようにしてもよい。例えば、第1の画像を解析することなく、第1の画像を取得する際の露光量と第2の画像を取得する際の露光量とが所定程度異なるように、第2の画像を取得する際の撮影条件を設定するようにしてもよい。
また、第2実施形態では、図8(b)に示すように、読み出し行の範囲と読み出し列の範囲とを制限することによって読み出し領域を画定したが、これに限定されるものではない。読み出し行のみを制限することによって読み出し領域を画定するようにしてもよいし、読み出し列のみを制限することによって読み出し領域を画定するようにしてもよい。読み出し行のみを制限することによって読み出し領域を画定する場合には、以下のような動作となる。即ち、第2の画像を取得する際の垂直選択開始アドレスと垂直選択終了アドレスとが制御部103によって決定される。第2の画像信号が読み出される際には、垂直選択開始アドレスに対応する行から垂直選択終了アドレスに対応する行までの駆動信号線604が垂直選択回路602によって順次アクティブにされる。そして、単位画素601からの信号が信号処理部108によって順次読み出される。読み出し行のみを制限することによって読み出し領域を画定し得るため、制御の簡略化を図ることができる。また、読み出し列のみを制限することによって読み出し領域を画定する場合には、以下のような動作となる。即ち、水平選択開始アドレスと水平選択終了アドレスとが制御部103によって決定される。第2の画像信号が読み出される際には、垂直選択回路602によって駆動信号線604が順次アクティブにされ、水平選択開始アドレスから水平選択終了アドレスまでの範囲の信号が読み出される。読み出し列のみを制限することによって読み出し領域を画定し得るため、この場合にも、制御の簡略化を図ることができる。
また、上記実施形態では、第1の画像における信号レベルよりも第2の画像における信号レベルの方が低くなるように、第2の画像を取得する際の撮影条件を設定する場合を例に説明したが、これに限定されるものではない。例えば、第1の画像における信号レベルよりも第2の画像における信号レベルの方が高くなるように、第2の画像を取得する際の撮影条件を設定するようにしてもよい。例えば、第1の画像において所定の信号レベル以下の部分が存在するような場合には、第1の画像における信号レベルよりも第2の画像における信号レベルの方が高くなるような撮影条件で第2の画像を取得するようにする。このようにすれば、暗い部分の階調不足が改善されたHDR画像を得ることが可能となる。この場合には、第2及び第3実施形態においては、第1の画像信号において信号レベルが所定レベル以下となっている単位画素601を含む範囲が、第2の画素信号を取得する際に単位画素601からの読み出しが行われる読み出し範囲として決定される。
また、第3実施形態では、1つの画素ブロック607に2×2の4つの単位画素601が含まれている場合を例に説明したが、1つの画素ブロック607に含まれる単位画素601の数は4つに限定されるものではない。例えば、1つの画素ブロック607に含まれる単位画素601の数が、5つ以上であってもよいし、3つ以下であってもよい。例えば、1つの単位画素601に対して1つの部分信号処理部1006が割り当てられていてもよい。
また、上記実施形態では、第2の画像を取得する際における撮影条件が、全ての単位画素601において同一である場合を例に説明したが、これに限定されるものではない。例えば、第2の画像のうちの第1の部分に位置する単位画素601については電荷蓄積時間を第1の時間とする。そして、第2の画像のうちの第1の部分とは異なる第2の部分に位置する単位画素601については、電荷蓄積時間を第1の時間とは異なる第2の時間としてもよい。第3実施形態による固体撮像素子302においては、画素ブロック607の単位で信号処理を行い得るため、第2の画像を取得する際の撮像条件を画素ブロック607の単位で設定してもよい。第2の画像を取得する際の撮影条件を受光部104内の各部において適宜異ならせるようにすれば、より良好なHDR画像を得ることも可能となる。
また、上記実施形態では、2回の撮影によって取得される第1の画像と第2の画像とを画像を合成することによってHDR画像を生成する場合を例に説明したが、これに限定されるものではない。例えば、3回以上の撮影によって取得される3つ以上の画像を合成することによってHDR画像を生成するようにしてもよい。
また、上記実施形態では、固体撮像素子302における電荷蓄積時間やゲインを異ならせることによって、第1の画像を取得する際の撮影条件と第2の画像を取得する際の撮影条件とを異ならせる場合を例に説明したが、これに限定されるものではない。例えば、シャッターが開いている時間、すなわち、露光時間を異ならせることによって、第1の画像を取得する際の撮影条件と第2の画像を取得する際の撮影条件とを異ならせてもよい。また、絞りの絞り量を異ならせることによって、第1の画像を取得する際の撮影条件と第2の画像を取得する際の撮影条件とを異ならせてもよい。
また、上記実施形態では、基板101,1001と基板102,1002とが積層された固体撮像素子302を例に説明したが、これに限定されるものではない。例えば、1つの基板上に受光部104、信号処理部108等の全ての構成要素が含まれていてもよい。また、3つ以上の基板を積層することによって、固体撮像素子302を構成してもよい。
また、上記実施形態では、各種画像処理を固体撮像素子302内に設けられた信号処理部108によって全て行う場合を例に説明したが、これに限定されるものではない。例えば、固体撮像素子302とは別個に画像処理素子(図示せず)を配し、固体撮像素子302内に設けられた信号処理部108と固体撮像素子302の外部に設けられた画像処理素子とで各種画像処理を分担するようにしてもよい。
103…制御部
104…受光部
105…A/D変換部
106、107…接続部
108…信号処理部
109…メモリ部
110…出力部
201…信号増幅部
202…基準レベル調整部
203…補正部
204…現像処理部
205…信号レベル解析部
206…画像信号合成部
301…光学系
302…固体撮像素子
303…タイミング信号発生部
304…駆動部
305…記録部
306…制御部
307…走査部
308…表示部
309…撮像装置
601…単位画素
602…垂直選択回路
603…水平選択回路
604…駆動信号線
605…垂直信号線
606…周辺回路部
607…画素ブロック
1003、1004…接続部
1005…貫通電極
1006…部分信号処理部
1101…駆動信号線
1201…A/D変換部

Claims (9)

  1. 複数の画素が配された画素部と、
    第1のタイミングで前記画素部から読み出される第1の画像信号と、前記第1のタイミングとは異なる第2のタイミングで前記画素部から読み出される第2の画像信号とを合成することによって、第3の画像信号を生成する画像信号合成手段と
    を有することを特徴とする固体撮像素子。
  2. 前記画素からの信号に対してアナログ−デジタル変換を行うアナログ−デジタル変換手段を更に有し、
    前記第1の画像信号及び前記第2の画像信号は、前記アナログ−デジタル変換手段によってアナログ−デジタル変換が行われた後のデジタルの画像信号である
    ことを特徴とする請求項1に記載の固体撮像素子。
  3. 前記第3の画像信号は、表現し得る最小輝度と最大輝度との比率が、前記第1の画像信号と前記第2の画像信号とのいずれよりも大きい
    ことを特徴とする請求項1又は2に記載の固体撮像素子。
  4. 前記第1の画像信号における信号レベルと前記第2の画像信号における信号レベルとを異ならせるように制御を行う制御手段を更に有する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の固体撮像素子。
  5. 前記第1の画像信号における前記信号レベルを解析する信号レベル解析手段を更に備え、
    前記制御手段は、前記信号レベル解析手段による前記解析の結果に基づいて前記第2の画像信号の前記信号レベルを制御する
    ことを特徴とする請求項4に記載の固体撮像素子。
  6. 前記第1の画像信号における前記信号レベルを解析する信号レベル解析手段を更に備え、
    前記制御手段は、前記信号レベル解析手段による前記第1の画像信号の前記解析の結果に基づいて、前記第2の画像信号を取得する際に読み出しが行われる前記画素を決定する
    ことを特徴とする請求項4に記載の固体撮像素子。
  7. 前記制御手段は、前記第1の画像信号において前記信号レベルが所定レベル以上又は所定レベル以下となっている前記画素を含む範囲を、前記第2の画素信号を取得する際に前記画素からの読み出しが行われる読み出し範囲として決定する
    ことを特徴とする請求項5又は6に記載の固体撮像素子。
  8. 第1の基板と、
    前記第1の基板上に配された第2の基板とを更に有し、
    前記画像信号合成手段は、前記第1の基板に配されており、
    前記画素部は、前記第2の基板に配されている
    ことを特徴とする請求項1に記載の固体撮像素子。
  9. 複数の画素が配された画素部と、第1のタイミングで前記画素部から読み出される第1の画像信号と、前記第1のタイミングとは異なる第2のタイミングで前記画素部から読み出される第2の画像信号とを合成することによって、第3の画像信号を生成する画像信号合成手段とを含む固体撮像素子
    を有することを特徴とする撮像装置。
JP2015256094A 2015-12-28 2015-12-28 固体撮像素子及び撮像装置 Active JP6674255B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015256094A JP6674255B2 (ja) 2015-12-28 2015-12-28 固体撮像素子及び撮像装置
KR1020160165513A KR102117858B1 (ko) 2015-12-28 2016-12-07 고체 촬상 소자 및 촬상장치
US15/381,840 US10122948B2 (en) 2015-12-28 2016-12-16 Solid-state image pickup element and image pickup apparatus
CN201611236982.XA CN107071241B (zh) 2015-12-28 2016-12-28 固态摄像元件和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015256094A JP6674255B2 (ja) 2015-12-28 2015-12-28 固体撮像素子及び撮像装置

Publications (3)

Publication Number Publication Date
JP2017120971A true JP2017120971A (ja) 2017-07-06
JP2017120971A5 JP2017120971A5 (ja) 2019-02-14
JP6674255B2 JP6674255B2 (ja) 2020-04-01

Family

ID=59088100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015256094A Active JP6674255B2 (ja) 2015-12-28 2015-12-28 固体撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US10122948B2 (ja)
JP (1) JP6674255B2 (ja)
KR (1) KR102117858B1 (ja)
CN (1) CN107071241B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258967B2 (en) 2019-07-09 2022-02-22 Canon Kabushiki Kaisha Imaging device and method of driving imaging device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301940B1 (ko) 2017-12-01 2021-09-14 삼성전자주식회사 이미지 합성 방법 및 장치
CN108900789B (zh) * 2018-08-23 2024-07-12 Oppo广东移动通信有限公司 一种图像传感器、摄像头模组及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166776B2 (ja) * 1990-11-30 2001-05-14 キヤノン株式会社 撮像装置及び撮像方法
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0817455B2 (ja) 1987-06-09 1996-02-21 キヤノン株式会社 撮像装置
JP4996402B2 (ja) * 2007-09-14 2012-08-08 株式会社東芝 撮像装置
US8115858B2 (en) * 2008-01-16 2012-02-14 Samsung Electronics Co., Ltd. System and method for acquiring moving images
US7795650B2 (en) * 2008-12-09 2010-09-14 Teledyne Scientific & Imaging Llc Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
JP5445235B2 (ja) * 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5655667B2 (ja) * 2011-03-31 2015-01-21 カシオ計算機株式会社 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5787648B2 (ja) * 2011-07-11 2015-09-30 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9185307B2 (en) * 2012-02-21 2015-11-10 Semiconductor Components Industries, Llc Detecting transient signals using stacked-chip imaging systems
JP6137792B2 (ja) * 2012-07-10 2017-05-31 キヤノン株式会社 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
US20140313316A1 (en) * 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US9686537B2 (en) * 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
CN104125408B (zh) * 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
KR102106537B1 (ko) * 2013-09-27 2020-05-04 삼성전자주식회사 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US9894287B2 (en) * 2013-12-06 2018-02-13 Huawei Device (Dongguan) Co., Ltd. Method and apparatus for acquiring a high dynamic image using multiple cameras
TWI530911B (zh) * 2014-02-25 2016-04-21 宏碁股份有限公司 動態曝光調整方法及其電子裝置
US20150296158A1 (en) * 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
US9554506B2 (en) * 2015-04-27 2017-01-31 Cnh Industrial America Llc Fluid flow monitoring and control system for an agricultural sprayer
CN104869297A (zh) * 2015-06-15 2015-08-26 联想(北京)有限公司 图像处理方法和电子设备
US9813635B2 (en) * 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
US9544506B1 (en) * 2015-08-26 2017-01-10 Novatek Microelectronics Corp. Image processing method for image capturing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166776B2 (ja) * 1990-11-30 2001-05-14 キヤノン株式会社 撮像装置及び撮像方法
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258967B2 (en) 2019-07-09 2022-02-22 Canon Kabushiki Kaisha Imaging device and method of driving imaging device

Also Published As

Publication number Publication date
JP6674255B2 (ja) 2020-04-01
CN107071241B (zh) 2020-06-23
CN107071241A (zh) 2017-08-18
US20170187971A1 (en) 2017-06-29
KR102117858B1 (ko) 2020-06-02
US10122948B2 (en) 2018-11-06
KR20170077784A (ko) 2017-07-06

Similar Documents

Publication Publication Date Title
JP4448888B2 (ja) 撮像装置及び撮像装置の信号処理方法
JP5739640B2 (ja) 撮像素子及び撮像装置
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP6082274B2 (ja) 撮像装置、及びその制御方法
US10277853B2 (en) Image capturing apparatus and control method of the same
JP5156148B2 (ja) 撮像装置及び撮像方法
JP2010062638A (ja) 撮像装置
JP6070301B2 (ja) 固体撮像素子及びこれを用いた撮像装置
US9392193B2 (en) Image pickup apparatus, control method therefor and image pickup system
JP4622790B2 (ja) 撮像素子および撮像装置
JP2010062639A (ja) 撮像装置
JP6674255B2 (ja) 固体撮像素子及び撮像装置
JP6362099B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2013012983A (ja) 撮像装置
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP2005303653A (ja) 撮像装置
JP6590055B2 (ja) 撮像装置
JP2009272703A (ja) 撮像装置及びその制御方法
JP6402807B2 (ja) 撮像装置
WO2020203799A1 (ja) 撮像素子、及び、撮像装置
US10306160B2 (en) Image pickup apparatus, image pickup method, and storage medium
JP2018007076A (ja) 撮像装置および画像処理装置
JP6389693B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5175783B2 (ja) 撮像装置及び撮像装置の駆動方法
JP2005150886A (ja) デジタルカメラ

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200306

R151 Written notification of patent or utility model registration

Ref document number: 6674255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151