Nothing Special   »   [go: up one dir, main page]

JP2018022935A - 撮像装置、および、撮像装置の制御方法 - Google Patents

撮像装置、および、撮像装置の制御方法 Download PDF

Info

Publication number
JP2018022935A
JP2018022935A JP2016150946A JP2016150946A JP2018022935A JP 2018022935 A JP2018022935 A JP 2018022935A JP 2016150946 A JP2016150946 A JP 2016150946A JP 2016150946 A JP2016150946 A JP 2016150946A JP 2018022935 A JP2018022935 A JP 2018022935A
Authority
JP
Japan
Prior art keywords
addition
mode
unit
pixel
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016150946A
Other languages
English (en)
Inventor
隆弘 飯沼
Takahiro Iinuma
隆弘 飯沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016150946A priority Critical patent/JP2018022935A/ja
Priority to KR1020197002469A priority patent/KR102327355B1/ko
Priority to PCT/JP2017/018270 priority patent/WO2018025465A1/ja
Priority to EP17836572.2A priority patent/EP3493526B1/en
Priority to CN201780036255.5A priority patent/CN109328457B/zh
Priority to US16/320,199 priority patent/US11025822B2/en
Publication of JP2018022935A publication Critical patent/JP2018022935A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/779—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】イベントの有無を検出する撮像装置において、消費電力を低減する。【解決手段】画素アレイ部には、互いに異なる光電変換素子からの電荷を浮遊拡散層に転送する複数の転送トランジスタが設けられる。走査回路は、画素加算を行う画素加算モードにおいて複数の転送トランジスタを同時に制御して電荷を転送させ、画素加算を行わない通常モードにおいて複数の転送トランジスタを順に制御して電荷を転送させる。イベント検出部は、通常モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成する。モード制御部は、検出結果に基づいて画素加算モードおよび通常モードのいずれかを設定する。【選択図】図２

Description

本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、被写体の動きなどのイベントの有無を検出する撮像装置、および、撮像装置の制御方法に関する。
従来より、計測、交通や防犯などの分野において、被写体の動きなどのイベントの有無を画像処理により検出する撮像装置が広く利用されている。例えば、複数の画像データ（フレーム）を一定の撮像間隔で撮像し、現在のフレームの輝度の積分値と過去のフレームの輝度の積分値との差分からイベントの有無を検出する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、例えば、イベントが生じるまではフレームをメモリに記録せず、イベントが生じたときにフレームの記録を開始してメモリの容量を節約する用途などに用いられる。
特開２００４−２７４５３３号公報
上述の撮像装置では、フレームの画質を高くする観点から、イベント検出の前後において画素加算せずにフレームを撮像している。しかしながら、画素加算せずに撮像すると、画素加算する場合と比較してＡＤ変換（Analog to Digital）の回数が多くなり、消費電力が増大してしまうという問題がある。画素加算によりフレームの解像度を低下させれば、ＡＤ変換の回数を少なくして消費電力を低減することができるが、イベント検出後に記録するフレームの画質が低下するため、望ましくない。
本技術はこのような状況に鑑みて生み出されたものであり、イベントの有無を検出する撮像装置において、消費電力を低減することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、互いに異なる光電変換素子からの前記電荷を浮遊拡散層に転送する複数の転送トランジスタが設けられた画素アレイ部と、画素加算を行う画素加算モードにおいて前記複数の転送トランジスタを同時に制御して前記電荷を転送させ、画素加算を行わない通常モードにおいて前記複数の転送トランジスタを順に制御して前記電荷を転送させる走査回路と、前記画素加算モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成するイベント検出部と、前記検出結果に基づいて前記画素加算モードおよび前記通常モードのいずれかを設定するモード制御部とを具備する撮像装置、および、その制御方法である。これにより、イベントの検出結果に基づいて画素加算モードおよび通常モードのいずれかが設定されるという作用をもたらす。
また、この第１の側面において、上記加算信号に対してアナログデジタル変換を行って加算データとして出力するアナログデジタル変換部をさらに具備してもよい。これにより、加算信号がアナログデジタル変換されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部には、所定数の上記浮遊拡散層が配置され、上記所定数の上記加算データを積算した輝度積分データに基づいて上記画素アレイ部の露光量を制御する露光制御部をさらに具備してもよい。これにより、輝度積分データに基づいて露光量が制御されるという作用をもたらす。
また、この第１の側面において、上記イベント検出部は、被写体の動きの有無を上記所定のイベントの有無として検出してもよい。これにより、被写体の動きの有無の検出結果に基づいて画素加算モードおよび通常モードのいずれかが設定されるという作用をもたらす。
また、この第１の側面において、上記イベント検出部は、上記輝度積分データを過去積分データとして保持する輝度積分データ保持部と、新たな輝度積分データと上記過去積分データとの差分が所定の閾値を超えるか否かにより上記被写体の動きの有無を検出する動き検出部とを備えてもよい。これにより、新たな輝度積分データと上記過去積分データとの差分により被写体の動きの有無が検出されるという作用をもたらす。
また、この第１の側面において、上記イベント検出部は、上記所定数の加算データを過去加算データとして保持する加算データ保持部と、新たな加算データと対応する上記過去加算データとの差分を取得して当該差分に応じた重みを生成する差分取得部とをさらに備え、上記輝度積分データは、上記加算データと当該加算データに対応する上記重みとの加重加算値であってもよい。これにより、上記加算データと当該加算データに対応する上記重みとの加重加算値に基づいて露光量が制御されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部は、上記通常モードにおいて上記アナログ信号からなる画像信号を生成し、上記モード制御部は、上記所定のイベントが生じた旨が検出された場合には上記通常モードを設定し、一定数の上記画像信号が生成された場合には上記画素加算モードを設定してもよい。これにより、一定数の画像信号が生成された場合に画素加算モードが設定されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部、上記走査回路、上記イベント検出部および上記モード制御部は、固体撮像素子に配置されてもよい。これにより、固体撮像素子によりイベントが検出されるという作用をもたらす。
また、この第１の側面において、上記画素アレイ部および上記走査回路は、固体撮像素子に配置され、上記イベント検出部および上記モード制御部は、上記固体撮像素子の外部に配置されてもよい。これにより、固体撮像素子の外部においてイベントが検出されるという作用をもたらす。
本技術によれば、イベントの有無を検出する撮像装置において、消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態におけるイベント検出部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるモード制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるモード信号生成部の動作の一例を示す図である。 本技術の第１の実施の形態における撮像装置の状態遷移図の一例である。 本技術の第１の実施の形態におけるＡＤ変換部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＤＳＰ（Digital Signal Processing）回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における被写体像の一例を示す図である。 本技術の第１の実施の形態における加算データおよび重みの分布の一例を示す図である。 本技術の第１の実施の形態における画素加算モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における通常モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態におけるＤＳＰ回路の一構成例を示すブロック図である。 本技術の第３の実施の形態におけるイベント検出部の一構成例を示すブロック図である。 本技術の第３の実施の形態における重みの分布の一例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（イベントが検出されるまで画素加算を行う例）
２．第２の実施の形態（ＤＳＰ回路でイベントが検出されるまで画素加算を行う例）
３．第３の実施の形態（イベントが検出されるまで画素加算を行い、被写体の動いた領域を重点的に測光する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を備える。撮像装置１００としては、撮像機能を持つ情報処理装置やスマートフォン、あるいは、デジタルカメラなどが想定される。
光学部１１０は、被写体からの入射光を集光して固体撮像素子２００に導くものである。光学部１１０は、例えば、複数のレンズ、絞り、および、シャッターなどにより構成される。
固体撮像素子２００は、入射光を光電変換して画像データを撮像するものである。この固体撮像素子２００は、生成した画像データ（フレーム）をＤＳＰ回路１２０に供給する。
ＤＳＰ回路１２０は、固体撮像素子２００からのフレームに対して所定のデジタル信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理やフィルタ処理などを含む様々なデジタル信号処理が実行される。これらの処理において、ＤＳＰ回路１２０は、必要に応じてフレームメモリ１８０にフレームを保持させる。そして、ＤＳＰ回路１２０は、処理したフレームを表示部１３０や記録部１７０に出力する。
表示部１３０は、フレームなどを表示するものである。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
バス１５０は、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、電源部１６０、記録部１７０およびフレームメモリ１８０が互いにデータをやり取りするための共通の経路である。
電源部１６０は、撮像装置１００内の回路に電源を供給するものである。記録部１７０は、フレームを記録するものである。フレームメモリ１８０は、フレームを保持するものである。
なお、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、光学部１１０や固体撮像素子２００を撮像装置に配置し、ＤＳＰ回路１２０などを情報処理装置に配置してもよい。
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、行走査回路２１０、画素アレイ部２２０、タイミング制御部２１１、ＡＤ変換部２６０、列走査回路２１２、スイッチ２１３、露光制御部２７０、イベント検出部２８０およびモード制御部２９０を備える。
また、画素アレイ部２２０には、二次元格子状に複数の画素が配列される。以下、所定方向（水平方向など）に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
タイミング制御部２１１は、行走査回路２１０、ＡＤ変換部２６０および列走査回路２１２の動作タイミングを制御するものである。このタイミング制御部２１１には、所定の周波数ｆＶＳＹＮＣ（３０ヘルツなど）の垂直同期信号ＶＳＹＮＣがバス１５０を介して入力される。この垂直同期信号ＶＳＹＮＣは、位相同期回路（不図示）やＤＳＰ回路１２０などにより生成される。
タイミング制御部２１１は、垂直同期信号ＶＳＹＮＣに同期して、行走査回路２１０、ＡＤ変換部２６０および列走査回路２１２のそれぞれの動作タイミングを示すタイミング信号を生成して、各部に対応するタイミング信号を供給する。
行走査回路２１０は、画素を駆動して、露光量に応じたレベルのアナログ信号を生成させるものである。この行走査回路２１０には、露光制御信号およびモード信号ＭＯＤＥが入力される。露光制御信号は、露光時間を制御するための信号である。一方、モード信号ＭＯＤＥは、画素加算を行う画素加算モードと、画素加算を行わない通常モードとのいずれかを示す信号である。
行走査回路２１０は、画素加算モードにおいて画素アレイ部２２０を制御して画素加算により、アナログの加算信号を生成させる。一方、通常モードにおいて行走査回路２１０は、画素アレイ部２２０を制御して画素ごとにアナログの画素信号を生成させる。なお、行走査回路２１０は、特許請求の範囲に記載の走査回路の一例である。
ＡＤ変換部２６０は、画素アレイ部２２０からのアナログ信号（加算信号または画素信号）に対してＡＤ変換を行うものである。ＡＤ変換部２６０は、加算信号をＡＤ変換して加算データを生成し、画素信号をＡＤ変換して画素データを生成する。そして、ＡＤ変換部２６０は、生成したデータ（加算データまたは画素データ）をスイッチ２１３に供給する。
ここで、１／ｆＶＳＹＮＣの周期内に生成される加算データの個数は、画像データの解像度と加算単位とにより決定される。例えば、行数がＩで、列数がＪであり、８画素ごとに加算する場合には、撮像間隔Ｔ（＝１／ｆＶＳＹＮＣ）内に生成される加算データの個数Ｍは次の式により表される。ここで、Ｉ、ＪおよびＭは整数である。なお、加算単位は、８画素に限定されず、４画素などであってもよい。
Ｍ＝（Ｉ×Ｊ）／８
スイッチ２１３は、モード信号ＭＯＤＥに従って、ＡＤ変換部２６０からのデータの出力先を切り替えるものである。このスイッチ２１３は、画素加算モードにおいて、ＡＤ変換部２６０からの加算データをイベント検出部２８０に供給する。一方、通常モードにおいてスイッチ２１３は、ＡＤ変換部２６０からの画素データからなる画像データをＲＡＷ画像データとしてＤＳＰ回路１２０に供給する。
イベント検出部２８０は、加算データに基づいて、所定のイベントの有無を検出して検出結果ＤＥＴを生成するものである。例えば、被写体の動きがイベントとして検出される。また、イベント検出部２８０は、Ｍ個の加算データを積算し、輝度積分データとして露光制御部２７０に供給する。この輝度積分データは、画像全体の測光量を示す。
露光制御部２７０は、輝度積分データ（測光量）に基づいて、画素アレイ部２２０の露光量を制御するものである。この露光制御部２７０は、輝度積分データを露出値ＥＶ（Exposure Value）に換算し、例えば、次の式により、露光時間を求める。そして、露光制御部２７０は、求めた露光時間に制御するための露光制御信号を生成し、行走査回路２１０に供給する。
ＥＶ＝ＡＶ＋ＴＶ
上式において、ＡＶは、Ｆ値の対数であり、ＴＶは、露光時間の対数である。
なお、露光制御部２７０は、露光時間を制御しているが、露光時間の代わりに、絞りを制御してもよい。
モード制御部２９０は、画素加算モードおよび通常モードのいずれかを設定するものである。このモード制御部２９０は、ユーザにより所定の操作が行われると、最初にモード信号ＭＯＤＥに画素加算モードを設定する。このモード信号ＭＯＤＥは、行走査回路２１０およびスイッチ２１３に供給される。
そして、その画素加算モードにおいて、所定のイベントが生じるとモード制御部２９０は、モード信号ＭＯＤＥに通常モードを設定する。次いで、通常モードにおいて、一定枚数の画像データが撮像されるとモード制御部２９０は、モード信号ＭＯＤＥに画素加算モードを設定する。
上述したように通常モードにおいては、画素ごとにＡＤ変換が行われるため、ＡＤ変換の回数は、Ｉ×Ｊ回である。一方、画素加算モードでは、画素加算の加算単位ごとにＡＤ変換が行われるため、８画素ごとに加算する場合、ＡＤ変換の回数は、（Ｍ×Ｎ）／８回で済む。また、通常モードでは、後段のＤＳＰ回路１２０により画像処理が実行されるが、画素加算モードでは、ＤＳＰ回路１２０に加算データが出力されず、画像処理は行われない。このようにＡＤ変換の回数が少なく、画像処理の処理量が減少することから、画素加算モードの撮像装置１００の消費電力は、通常モードと比較して低減する。
そして、撮像装置１００は、イベントが検出されるまでは画素加算モードで動作し、イベントが検出されると通常モードに移行する。このため、イベントの有無に関わらず、常に画素加算せずに（すなわち、通常モードで）動作する場合と比較して、撮像装置１００の消費電力を低減することができる。
例えば、画素加算モードの消費電力を１時間当たり１．５ミリワット（ｍＷ）とし、通常モードの消費電力を１時間当たり３４．８ミリワット（ｍＷ）とする。また、垂直同期信号ＶＳＹＮＣの周波数ｆＶＳＹＮＣを３０ヘルツ（Ｈｚ）とし、通常モードにより１時間で６０枚の画像データが撮像されたものとする。この場合の１時間当たりの撮像装置１００の消費電力は、次の式により求められる。
３４．８（ｍＷ）×６０／｛３０（Ｈｚ）×３６００（秒）｝
＋１．５（ｍＷ）×（３０×３６００―６０）／｛３０（Ｈｚ）×３６００（秒）｝
≒１．５２（ｍＷ）
このように、常に通常モードで動作する場合の値（３４．８ミリワット）と比較して、大幅に消費電力を低減することができる。
［画素アレイ部の構成例］
図３は、本技術の第１の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。この画素アレイ部２２０には、複数の画素ブロック２３０が二次元格子状に配列される。それぞれの画素ブロック２３０には、複数の画素（８個など）が設けられる。
以下、所定方向（水平方向など）に配列された画素ブロック２３０の集合を「ブロック行」と称し、ブロック行に垂直な方向に配列された画素ブロック２３０の集合を「ブロック列」と称する。
また、ブロック行ごとに１０本の水平信号線が配線され、ブロック列ごとに１本の垂直信号線２２９が配線される。行ごとの１０本の水平信号線のうち、１本は、リセット信号ＲＳＴｉ（ｉは、０乃至Ｉ−１の整数）を伝送し、１本は選択信号ＳＥＬｉを伝送し、残りの８本は、転送信号ＴＲＧｉ０乃至ＴＲＧｉ７を伝送する。
水平信号線は対応するブロック行内の画素ブロック２３０と行走査回路２１０とに接続される。一方、垂直信号線２２９は、対応するブロック列内の画素ブロック２３０とＡＤ変換部２６０とに接続される。
［画素ブロックの構成例］
図４は、本技術の第１の実施の形態における画素ブロック２３０の一構成例を示す回路図である。この画素ブロック２３０は、転送トランジスタ２３１、２３２、２３５、２３６、２４２、２４３、２４７および２４８と、光電変換素子２３３、２３４、２３７、２３８、２４５、２４６、２４９および２５０とを備える。また、画素ブロック２３０は、リセットトランジスタ２３９、浮遊拡散層２４０、増幅トランジスタ２４１および選択トランジスタ２４４を備える。
光電変換素子２３３、２３４、２３７、２３８、２４５、２４６、２４９および２５０は、入射光を光電変換して電荷を生成するものである。これらの光電変換素子は、互いに異なる転送トランジスタに接続される。
転送トランジスタ２３１、２３２、２３５、２３６、２４２、２４３、２４７および２４８は、転送信号ＴＲＧｉ０乃至ＴＲＧｉ７に従って、対応する光電変換素子から浮遊拡散層２４０へ電荷を転送するものである。浮遊拡散層２４０は、電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。
リセットトランジスタ２３９は、リセット信号ＲＳＴｉに従って、浮遊拡散層２４０の電荷を電源へ掃きだして、電荷量を初期化するものである。
増幅トランジスタ２４１は、浮遊拡散層２４０の電圧の信号を増幅するものである。選択トランジスタ２４４は、選択信号ＳＥＬｉに従って、増幅トランジスタ２４１により増幅された信号を画素信号として、垂直信号線２２９に出力するものである。
行走査回路２１０は、通常モードにおいて画素の行を順に選択して、その行に対応するリセット信号ＲＳＴｉを供給することにより、行の露光を開始させる。また、行走査回路２１０は、選択した行に対応する選択信号ＳＥＬｉを供給する。そして、設定された露光時間が経過すると行走査回路２１０は、対応する転送信号ＴＲＧ０ｉを供給することにより、露光を終了させる。行のそれぞれの露光は、前の行から一定時間が経過したときに開始される。
一方、画素加算モードにおいて行走査回路２１０は、ブロック行を順に選択して、そのブロック行に対応するリセット信号ＲＳＴｉを供給することにより、ブロック行の露光を開始させる。また、行走査回路２１０は、選択したブロック行に対応する選択信号ＳＥＬｉを供給する。そして、設定された露光時間が経過すると行走査回路２１０は、選択したブロック行に対応する転送信号ＴＲＧ０ｉを供給することにより、露光を終了させる。ブロック行のそれぞれの露光は、前のブロック行から一定時間が経過したときに開始される。この制御により、画素ブロック２３０（８画素）の単位で画素加算が行われる。
このように、通常モードでは画素の行の単位で順に露光され、画素加算モードではブロック行の単位で順に露光される。
［イベント検出部の構成例］
図５は、本技術の第１の実施の形態におけるイベント検出部２８０の一構成例を示すブロック図である。このイベント検出部２８０は、重み保持部２８１、積算部２８２、輝度積分データ保持部２８３、差分算出部２８４および比較部２８５を備える。
重み保持部２８１は、加算データごとに、その加算データに乗算する重みを保持するものである。例えば、中央付近の加算データについて、周辺よりも大きな値の重みが設定される。このような設定による測光は、中央重点測光と呼ばれる。なお、撮像装置１００は、分割測光やスポット測光など、中央重点測光以外の方式の測光を行ってもよい。
積算部２８２は、Ｍ個の加算データを積算するものである。積算において積算部２８２は、ユーザの設定に応じて、重み保持部２８１から重みを読み出して加重加算を行う。積算部２８２は、加重加算したデータを輝度積分データとして差分算出部２８４、輝度積分データ保持部２８３および露光制御部２７０に供給する。
輝度積分データ保持部２８３は、輝度積分データを過去の輝度積分データとして保持するものである。
差分算出部２８４は、積算部２８２からの現在の輝度積分データと、輝度積分データ保持部２８３からの過去の輝度積分データとの差分を算出するものである。差分算出部２８４は、算出した差分を比較部２８５に供給する。
比較部２８５は、差分と、所定の閾値とを比較するものである。この比較部２８５は、比較結果を検出結果ＤＥＴとしてモード制御部２９０に供給する。例えば、差分が閾値を超える場合に、被写体に動きがあった（すなわち、イベントがあった）旨が検出され、そうでない場合に被写体に動きが無い旨が検出される。なお、比較部２８５は、特許請求の範囲に記載の動き検出部の一例である。
なお、重み保持部２８１および積算部２８２をイベント検出部２８０に配置しているが、これらを露光制御部２７０に配置してもよい。この場合には、イベント検出部２８０が、露光制御部２７０から輝度積分データを受け取る。
また、イベント検出部２８０は、現在の輝度積分データと、過去の輝度積分データとの差分から被写体の動きの有無を検出しているが、この構成に限定されない。例えば、イベント検出部２８０は、Ｍ個の加算データを積分せずにフレームとして取得し、背景フレームと比較する背景差分法や、過去フレームと現在フレームとを比較するフレーム間差分法などにより被写体の動きの有無を検出してもよい。
また、イベント検出部２８０は、被写体の動きをイベントとして検出しているが、加算データを用いて検出することができるものであれば、検出対象のイベントは、被写体の動きに限定されない。イベント検出部２８０は、例えば、画像認識を行って人物などの特定の物体の有無を検出してもよい。
また、イベント検出部２８０が、撮像装置１００に動きが無い旨を検出したときに、モード制御部２９０が画素加算モードに移行させてもよい。あるいは、イベント検出部２８０は、画像全体で無く、画像の一部に着目し、その一部の変化の有無を検出してもよい。また、イベント検出部２８０は、色ごとに輝度データを積算して、特定の色の変化の有無を検出してもよい。あるいは、イベント検出部２８０は、背景差分法やフレーム間差分法などにより移動体の移動速度を求め、その速度が一定速度を超えるか否かを検出してもよい。
［モード制御部の構成例］
図６は、本技術の第１の実施の形態におけるモード制御部２９０の一構成例を示すブロック図である。このモード制御部２９０は、モード信号生成部２９１およびカウンタ２９２を備える。
カウンタ２９２は、垂直同期信号ＶＳＹＮＣに同期してカウンタ値ＣＮＴを計数するものである。また、カウンタ２９２は、リセット信号ＲＳＴに従ってカウンタ値ＣＮＴを初期値にする。
モード信号生成部２９１は、検出結果ＤＥＴおよびカウンタ値ＣＮＴに基づいてモード信号ＭＯＤＥを生成するものである。このモード信号生成部２９１は、生成したモード信号ＭＯＤＥを行走査回路２１０およびスイッチ２１３に供給する。
図７は、本技術の第１の実施の形態におけるモード信号生成部２９１の動作の一例を示す図である。モード信号ＭＯＤＥには、例えば、画素加算モードにおいて「０」が設定され、通常モードにおいて「１」が設定される。また、検出結果ＤＥＴには、例えば、イベントが無い場合に「０」が設定され、イベントが生じた場合に「１」が設定される。
モード信号ＭＯＤＥが「０」（画素加算モード）のときに、検出結果ＤＥＴが「１」（イベント有り）になると、モード信号生成部２９１は、モード信号ＭＯＤＥに「１」（通常モード）を設定し、カウンタ値ＣＮＴを「０」に初期化する。
また、モード信号ＭＯＤＥが「１」（通常モード）のときに、カウンタ値ＣＮＴがＮ（Ｎは整数）以上になると、モード信号生成部２９１はモード信号ＭＯＤＥに「０」（画素加算モード）を設定する。なお、固体撮像素子２００は、カウンタ値ＣＮＴがＮである（すなわち、Ｎ枚撮像した）際に通常モードから画素加算モードに移行しているが、撮像枚数でなく、固体撮像素子２００の外部のマイコン等からのトリガ信号により画素加算モードに移行してもよい。このトリガ信号は、例えば、通常モードで撮像された画像に対する解析結果や、ユーザの操作などに応じて生成される。
図８は、本技術の第１の実施の形態における撮像装置１００の状態遷移図の一例である。この撮像装置１００の状態は、初期状態６１０、画素加算モード６２０および通常モード６３０の３つに分類される。初期状態６１０は、固体撮像素子２００が停止している状態であり、画素加算モード６２０は、固体撮像素子２００が動作し、画素加算を行う状態である。また、通常モード６３０は、固体撮像素子２００が動作し、画素加算をせずに撮像を行う状態である。
初期状態６１０において、所定のアプリケーションを開始させるための開始操作が行われると、撮像装置１００は、固体撮像素子２００を動作させて画素加算モード６２０に移行する。
画素加算モード６２０において撮像装置１００は、垂直同期信号ＶＳＹＮＣに同期して、画素加算により輝度積分データを取得する。そして、撮像装置１００は、その輝度積分データからイベントの有無を検出する。イベントが生じた場合に撮像装置１００は、通常モード６３０に移行する。
通常モード６３０において、撮像装置１００は、画素加算せずに画像データを撮像し、Ｎ枚撮像すると、画素加算モード６２０に移行する。また、画素加算モード６２０および通常モード６３０において、アプリケーションを終了させるための所定の終了操作が行われると、撮像装置１００は、固体撮像素子２００を停止させて初期状態６１０に移行する。
［ＡＤ変換部の構成例］
図９は、本技術の第１の実施の形態におけるＡＤ変換部２６０の一構成例を示すブロック図である。このＡＤ変換部２６０には、ブロック列ごとにＡＤ変換器２６１が設けられる。
ＡＤ変換器２６１は、対応するブロック列からのアナログ信号を垂直信号線２２９を介して取得し、所定のクロック信号ＣＬＫに同期してＡＤ変換を行うものである。このＡＤ変換器２６１は、ＡＤ変換したデータを、列走査回路２１２の制御に従ってスイッチ２１３へ出力する。
［ＤＳＰ回路の構成例］
図１０は、本技術の第１の実施の形態におけるＤＳＰ回路１２０の一構成例を示すブロック図である。このＤＳＰ回路１２０は、デモザイク処理部１２１および後段処理部１２２を備える。
デモザイク処理部１２１は、固体撮像素子２００からのＲＡＷ画像データに対して、デモザイク処理を行うものである。ここで、デモザイク処理は、それぞれの画素の周囲から、Ｒ（Red）、Ｇ（Green）およびＢ（Blue）の色のうち足りない色を補間する処理である。デモザイク処理部１２１は、デモザイク処理後の画像データをＹＣ画像データとして後段処理部１２２に供給する。
後段処理部１２２は、ＹＣ画像データに対して、ホワイトバランス処理やフィルタ処理などの様々な画像処理を実行するものである。この後段処理部１２２は、処理後のＹＣ画像データをバス１５０を介して表示部１３０や記録部１７０に出力する。
図１１は、本技術の第１の実施の形態における被写体像５００の一例を示す図である。同図に例示するように、被写体として、走る人間が写っている。
図１２は、本技術の第１の実施の形態における加算データおよび重みの分布の一例を示す図である。同図におけるａは、被写体像５００から生成された、Ｍ個の加算データからなる輝度分布データ５１０の一例を示す。同図におけるｂは、重みの分布の一例を示す。また、同図において点線で区切られた部分のそれぞれは、画素ブロックに対応する領域を示す。
固体撮像素子２００は、画素ブロックごとに、その画素ブロックの加算信号から加算データを生成する。例えば、左上の画素ブロックの加算信号から加算データＢ００が生成され、その画素ブロックに隣接する２つの画素ブロックの加算信号から加算データＢ０１およびＢ１０が生成される。
また、中央付近の重みには、周辺よりも大きな値が設定される。そして、加算データと、その加算データに対応する重みとの加重加算により輝度積分データが算出される。例えば、加算データＢ００と、対応する重みＷ００とが乗算される。加算データＢ０１は、重みＷ０１と乗算され、加算データＢ１０は、重みＷ１０と乗算される。
図１３は、本技術の第１の実施の形態における画素加算モードの固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０において画素加算モードが設定されたものとする。
行走査回路２１０は、０番目のブロック行に対応するリセット信号ＲＳＴ０を所定のパルス期間に亘ってハイレベルに制御する。これにより、０番目のブロック行の露光が開始される。そして、一定の露光時間が経過したタイミングＴ１において、行走査回路２１０は、０番目のブロック行に対応する転送信号ＴＲＧ００乃至ＴＲＧ０７の全てについて、パルス期間に亘ってオン状態に制御する。これにより、０番目のブロック行の露光が終了する。
また、行走査回路２１０は、タイミングＴ０からタイミングＴ２までの間において、０番目のブロック行に対応する選択信号ＳＥＬ０をオン状態に制御する。これにより、０番目のブロック行の加算信号が読み出される。
タイミングＴ２以降は、１番目以降のブロック行の露光および読出しが順に実行される。それぞれのブロック行において、露光および読出しは、その前のブロック行の露光および読出しから一定時間が経過したときに開始される。そして、全ブロック行の読出しが、垂直同期信号ＶＳＹＮＣに同期して複数回に亘って実行される。
図１４は、本技術の第１の実施の形態における通常モードの固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０の後のタイミングＴ１０において、イベントが検出されて通常モードが設定されたものとする。
行走査回路２１０は、０番目の画素の行に対応するリセット信号ＲＳＴ０を所定のパルス期間に亘ってハイレベルに制御する。これにより、０番目の行内の一部の画素の露光が開始される。そして、一定の露光時間が経過したタイミングＴ１１において、行走査回路２１０は、０番目の行に対応する転送信号ＴＲＧ００をパルス期間に亘ってオン状態に制御する。これにより、０番目の行内の一部の画素の露光が終了する。
そして、タイミングＴ１２において行走査回路２１０は、再度リセット信号ＲＳＴ０を所定のパルス期間に亘ってハイレベルに制御し、露光期間経過後のタイミングＴ１３において、転送信号ＴＲＧ０１をパルス期間に亘ってオン状態に制御する。これにより、０番目の行内の残りの画素の露光が行われる。
また、行走査回路２１０は、タイミングＴ０から、０乃至３行が読み出されるまでの間において、それらの行に対応する選択信号ＳＥＬ０をオン状態に制御する。
タイミングＴ１３以降は、１行目以降の露光および読出しが順に実行される。それぞれの行において、露光および読出しは、その前の行の露光および読出しから一定時間が経過したときに開始される。そして、全行の読出しが、垂直同期信号ＶＳＹＮＣに同期して複数回に亘って実行される。
［撮像装置の動作例］
図１５は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、所定のアプリケーションが実行されたときに開始する。
撮像装置１００は、まず、画素加算モードに移行し（ステップＳ９０１）、画素加算により輝度積分データを取得する（ステップＳ９０２）。そして、撮像装置１００は、その輝度積分データに基づいて、所定のイベントが生じたか否かを判断する（ステップＳ９０３）。イベントが生じていない場合に（ステップＳ９０３：Ｎｏ）、撮像装置１００は、ステップＳ９０２以降を繰り返し実行する。
一方、イベントが生じた場合に（ステップＳ９０３：Ｙｅｓ）、撮像装置１００は、通常モードに移行し、カウンタ値ＣＮＴを「０」に初期化する（ステップＳ９０４）。そして、撮像装置１００は、画素加算せずに画像データを撮像し、カウンタ値ＣＮＴをインクリメントする（ステップＳ９０５）。撮像装置１００は、カウンタ値ＣＮＴがＮ以上であるか否かを判断する（ステップＳ９０６）。カウンタ値ＣＮＴがＮ未満である場合に（ステップＳ９０６：Ｎｏ）、撮像装置１００は、ステップＳ９０５以降を繰り返し実行する。
一方、カウンタ値ＣＮＴがＮ以上である場合に（ステップＳ９０６：Ｙｅｓ）、撮像装置１００は、ステップＳ９０１以降を繰り返し実行する。
このように、本技術の第１の実施の形態によれば、固体撮像素子２００は、イベントが検出されるまでの間は、画素加算により加算データを生成するため、常に画素加算せずに撮像を行う場合と比較して消費電力を低減することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００が露光制御とイベントの検出とを行っていたが、固体撮像素子２００の処理量を軽減する観点から、これらを固体撮像素子２００の外部（ＤＳＰ回路１２０など）で行う構成としてもよい。この第２の実施の形態の撮像装置１００は、露光制御とイベントの検出とを固体撮像素子２００の外部の回路が行う点において第１の実施の形態と異なる。
図１６は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、スイッチ２１３、露光制御部２７０、イベント検出部２８０およびモード制御部２９０を備えない点において第１の実施の形態と異なる。
図１７は、本技術の第２の実施の形態におけるＤＳＰ回路１２０の一構成例を示すブロック図である。この第２の実施の形態のＤＳＰ回路１２０は、スイッチ１２３、露光制御部１２４、イベント検出部１２５およびモード制御部１２６をさらに備える点において第１の実施の形態と異なる。
ＤＳＰ回路１２０内のスイッチ１２３、露光制御部１２４、イベント検出部１２５およびモード制御部１２６は、第１の実施の形態のスイッチ２１３、露光制御部２７０、イベント検出部２８０およびモード制御部２９０と同様の構成である。なお、ＤＳＰ回路１２０内に、露光制御部１２４、イベント検出部１２５およびモード制御部１２６を配置しているが、固体撮像素子２００の外部であれば、これらをＤＳＰ回路１２０以外の回路に配置してもよい。
このように、本技術の第２の実施の形態によれば、露光制御部１２４およびイベント検出部１２５をＤＳＰ回路１２０内に設けたため、それらを固体撮像素子２００内に設ける場合と比較して、固体撮像素子２００の処理量を軽減することができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、予め設定された領域（中央付近など）を重点的に測光していたが、被写体が移動している場合には、適切な測光量を得られないおそれがある。この場合には、被写体の動きがあった領域を重点的に測光することが望ましい。この第３の実施の形態の撮像装置１００は、被写体の動いた領域を重点的に測光する点において第１の実施の形態と異なる。
図１８は、本技術の第３の実施の形態におけるイベント検出部２８０の一構成例を示すブロック図である。この第３の実施の形態のイベント検出部２８０は、加算データ保持部２８６、差分算出部２８７および重み保持部２８８をさらに備える点において第１の実施の形態と異なる。
加算データ保持部２８６は、Ｍ個の加算データを過去の加算データとして保持するものである。
差分算出部２８７は、スイッチ２１３からの現在の加算データと、加算データ保持部２８６内の対応する加算データとの差分を画素ブロックごとに算出するものである。画素ブロックがＭ個である場合には、Ｍ個の差分が算出される。差分算出部２８７は、画素ブロックごとに、差分が大きい（言い換えれば、動きが大きい）ほど大きな値の重みを生成して重み保持部２８８に保持する。重み保持部２８８は、差分算出部２８７により生成された重みを保持するものである。なお、差分算出部２８７は、特許請求の範囲に記載の差分取得部の一例である。
また、第３の実施の形態の積算部２８２は、最初の測光において重み保持部２８１内の重みにより加重加算を行い、２回目以降の測光において重み保持部２８８内の重みにより加重加算を行う。
図１９は、本技術の第３の実施の形態における重みの分布の一例を示す図である。同図において明るい領域は、被写体が動いた領域を示す。撮像装置１００は、被写体が動いた領域の重み（Ｗ２４など）を、それ以外の領域の重み（Ｗ００など）より大きな値に設定する。これにより、撮像装置１００は、被写体が動いた領域を重点的に測光して、適切な露光量に制御することができる。
このように、本技術の第３の実施の形態によれば、撮像装置１００は、現在の加算データと過去の加算データとの差分に応じた重みにより加重加算を行うため、被写体が動いた領域を重点的に測光することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）互いに異なる光電変換素子からの前記電荷を浮遊拡散層に転送する複数の転送トランジスタが設けられた画素アレイ部と、
画素加算を行う画素加算モードにおいて前記複数の転送トランジスタを同時に制御して前記電荷を転送させ、画素加算を行わない通常モードにおいて前記複数の転送トランジスタを順に制御して前記電荷を転送させる走査回路と、
前記画素加算モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成するイベント検出部と、
前記検出結果に基づいて前記画素加算モードおよび前記通常モードのいずれかを設定するモード制御部と
を具備する撮像装置。
（２）前記加算信号に対してアナログデジタル変換を行って加算データとして出力するアナログデジタル変換部をさらに具備する
前記（１）記載の撮像装置。
（３）前記画素アレイ部には、所定数の前記浮遊拡散層が配置され、
前記所定数の前記加算データを積算した輝度積分データに基づいて前記画素アレイ部の露光量を制御する露光制御部をさらに具備する
前記（２）記載の撮像装置。
（４）前記イベント検出部は、被写体の動きの有無を前記所定のイベントの有無として検出する
前記（３）記載の撮像装置。
（５）前記イベント検出部は、
前記輝度積分データを過去積分データとして保持する輝度積分データ保持部と、
新たな輝度積分データと前記過去積分データとの差分が所定の閾値を超えるか否かにより前記被写体の動きの有無を検出する動き検出部と
を備える前記（４）記載の撮像装置。
（６）前記イベント検出部は、
前記所定数の加算データを過去加算データとして保持する加算データ保持部と、
新たな加算データと対応する前記過去加算データとの差分を取得して当該差分に応じた重みを生成する差分取得部とをさらに備え、
前記輝度積分データは、前記加算データと当該加算データに対応する前記重みとの加重加算値である
前記（５）記載の撮像装置。
（７）前記画素アレイ部は、前記通常モードにおいて前記アナログ信号からなる画像信号を生成し、
前記モード制御部は、前記所定のイベントが生じた旨が検出された場合には前記通常モードを設定し、一定数の前記画像信号が生成された場合には前記画素加算モードを設定する
前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記画素アレイ部、前記走査回路、前記イベント検出部および前記モード制御部は、固体撮像素子に配置される
前記（１）から（８）のいずれかに記載の撮像装置。
（９）前記画素アレイ部および前記走査回路は、固体撮像素子に配置され、
前記イベント検出部および前記モード制御部は、前記固体撮像素子の外部に配置される
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）互いに異なる光電変換素子からの前記電荷を浮遊拡散層に転送する複数の転送トランジスタとが設けられた画素アレイ部内の前記複数の転送トランジスタを画素加算を行う画素加算モードにおいて同時に制御して前記電荷を転送させ、画素加算を行わない通常モードにおいて前記複数の転送トランジスタを順に制御して前記電荷を転送させる走査手順と、
前記画素加算モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成するイベント検出手順と、
前記検出結果に基づいて前記画素加算モードおよび前記通常モードのいずれかを設定するモード制御手順と
を具備する撮像装置の制御方法。
１００ 撮像装置
１１０ 光学部
１２０ ＤＳＰ回路
１２１ デモザイク処理部
１２２ 後段処理部
１２３、２１３ スイッチ
１２４、２７０ 露光制御部
１２５、２８０ イベント検出部
１２６、２９０ モード制御部
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ 電源部
１７０ 記録部
１８０ フレームメモリ
２００ 固体撮像素子
２１０ 行走査回路
２１１ タイミング制御部
２１２ 列走査回路
２２０ 画素アレイ部
２３０ 画素ブロック
２３１、２３２、２３５、２３６、２４２、２４３、２４７、２４８ 転送トランジスタ
２３３、２３４、２３７、２３８、２４５、２４６、２４９、２５０ 光電変換素子
２３９ リセットトランジスタ
２４０ 浮遊拡散層
２４１ 増幅トランジスタ
２４４ 選択トランジスタ
２６０ ＡＤ変換部
２６１ ＡＤ変換器
２８１、２８８ 重み保持部
２８２ 積算部
２８３ 輝度積分データ保持部
２８４、２８７ 差分算出部
２８５ 比較部
２８６ 加算データ保持部
２９１ モード信号生成部
２９２ カウンタ

Claims (10)

  1. 互いに異なる光電変換素子からの前記電荷を浮遊拡散層に転送する複数の転送トランジスタが設けられた画素アレイ部と、
    画素加算を行う画素加算モードにおいて前記複数の転送トランジスタを同時に制御して前記電荷を転送させ、画素加算を行わない通常モードにおいて前記複数の転送トランジスタを順に制御して前記電荷を転送させる走査回路と、
    前記画素加算モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成するイベント検出部と、
    前記検出結果に基づいて前記画素加算モードおよび前記通常モードのいずれかを設定するモード制御部と
    を具備する撮像装置。
  2. 前記加算信号に対してアナログデジタル変換を行って加算データとして出力するアナログデジタル変換部をさらに具備する
    請求項１記載の撮像装置。
  3. 前記画素アレイ部には、所定数の前記浮遊拡散層が配置され、
    前記所定数の前記加算データを積算した輝度積分データに基づいて前記画素アレイ部の露光量を制御する露光制御部をさらに具備する
    請求項２記載の撮像装置。
  4. 前記イベント検出部は、被写体の動きの有無を前記所定のイベントの有無として検出する
    請求項３記載の撮像装置。
  5. 前記イベント検出部は、
    前記輝度積分データを過去積分データとして保持する輝度積分データ保持部と、
    新たな輝度積分データと前記過去積分データとの差分が所定の閾値を超えるか否かにより前記被写体の動きの有無を検出する動き検出部と
    を備える請求項４記載の撮像装置。
  6. 前記イベント検出部は、
    前記所定数の加算データを過去加算データとして保持する加算データ保持部と、
    新たな加算データと対応する前記過去加算データとの差分を取得して当該差分に応じた重みを生成する差分取得部とをさらに備え、
    前記輝度積分データは、前記加算データと当該加算データに対応する前記重みとの加重加算値である
    請求項５記載の撮像装置。
  7. 前記画素アレイ部は、前記通常モードにおいて前記アナログ信号からなる画像信号を生成し、
    前記モード制御部は、前記所定のイベントが生じた旨が検出された場合には前記通常モードを設定し、一定数の前記画像信号が生成された場合には前記画素加算モードを設定する
    請求項１記載の撮像装置。
  8. 前記画素アレイ部、前記走査回路、前記イベント検出部および前記モード制御部は、固体撮像素子に配置される
    請求項１記載の撮像装置。
  9. 前記画素アレイ部および前記走査回路は、固体撮像素子に配置され、
    前記イベント検出部およびモード制御部は、前記固体撮像素子の外部に配置される
    請求項１記載の撮像装置。
  10. 互いに異なる光電変換素子からの前記電荷を浮遊拡散層に転送する複数の転送トランジスタとが設けられた画素アレイ部内の前記複数の転送トランジスタを画素加算を行う画素加算モードにおいて同時に制御して前記電荷を転送させ、画素加算を行わない通常モードにおいて前記複数の転送トランジスタを順に制御して前記電荷を転送させる走査手順と、
    前記画素加算モードにおいて生成されたアナログ信号である加算信号に基づいて所定のイベントの有無を検出して検出結果を生成するイベント検出手順と、
    前記検出結果に基づいて前記画素加算モードおよび前記通常モードのいずれかを設定するモード制御手順と
    を具備する撮像装置の制御方法。
JP2016150946A 2016-08-01 2016-08-01 撮像装置、および、撮像装置の制御方法 Pending JP2018022935A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016150946A JP2018022935A (ja) 2016-08-01 2016-08-01 撮像装置、および、撮像装置の制御方法
KR1020197002469A KR102327355B1 (ko) 2016-08-01 2017-05-16 촬상 장치 및 촬상 장치의 제어 방법
PCT/JP2017/018270 WO2018025465A1 (ja) 2016-08-01 2017-05-16 撮像装置、および、撮像装置の制御方法
EP17836572.2A EP3493526B1 (en) 2016-08-01 2017-05-16 Imaging device and imaging device control method
CN201780036255.5A CN109328457B (zh) 2016-08-01 2017-05-16 摄像装置及摄像装置的控制方法
US16/320,199 US11025822B2 (en) 2016-08-01 2017-05-16 Imaging apparatus and control method for imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016150946A JP2018022935A (ja) 2016-08-01 2016-08-01 撮像装置、および、撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018022935A true JP2018022935A (ja) 2018-02-08

Family

ID=61073006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016150946A Pending JP2018022935A (ja) 2016-08-01 2016-08-01 撮像装置、および、撮像装置の制御方法

Country Status (6)

Country Link
US (1) US11025822B2 (ja)
EP (1) EP3493526B1 (ja)
JP (1) JP2018022935A (ja)
KR (1) KR102327355B1 (ja)
CN (1) CN109328457B (ja)
WO (1) WO2018025465A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208412A1 (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の駆動方法
JP2020010323A (ja) * 2018-07-09 2020-01-16 シャープ株式会社 撮像装置
JP2020039113A (ja) * 2018-08-31 2020-03-12 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
JP2020054007A (ja) * 2018-08-31 2020-04-02 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
WO2020110743A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
JP2020174254A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2021014867A1 (ja) * 2019-07-19 2021-01-28 キヤノン株式会社 撮像装置およびその制御方法
JP2021082994A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP2021082995A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11044434B2 (en) 2019-02-04 2021-06-22 Canon Kabushiki Kaisha Image sensor and control method thereof, and image capturing apparatus
WO2022215371A1 (ja) * 2021-04-09 2022-10-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法
JP2022180369A (ja) * 2018-03-15 2022-12-06 株式会社ニコン センサ
US11863891B2 (en) 2019-07-19 2024-01-02 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP7566960B2 (ja) 2018-06-27 2024-10-15 プロフェセ 複数のスーパーピクセルを有するイメージセンサ

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195700A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像装置及び撮像システム
US11343454B2 (en) * 2019-08-16 2022-05-24 Semiconductor Components Industries, Llc Imaging systems and methods for performing pixel binning and variable integration for analog domain regional feature extraction
EP4099678A4 (en) * 2020-01-30 2023-07-26 Sony Semiconductor Solutions Corporation SOLID STATE IMAGING DEVICE, ELECTRONIC DEVICE AND IMAGING SYSTEM
EP3962069B1 (en) * 2020-08-31 2024-10-16 IniVation AG Event sensor and method for generating a signal stream comprising event data
FR3131163B1 (fr) * 2021-12-21 2024-01-05 Commissariat Energie Atomique Système d’observation et procédé d’observation associé
EP4401418A1 (en) 2023-01-10 2024-07-17 E-Peas Device and method for automated output of an image motion area

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031606B2 (ja) 1995-08-02 2000-04-10 キヤノン株式会社 固体撮像装置と画像撮像装置
JP2004274533A (ja) 2003-03-11 2004-09-30 Sony Corp 動き検出装置、動き検出方法および撮像装置
JP4277216B2 (ja) 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
US7714890B2 (en) * 2005-04-26 2010-05-11 Olympus Imaging Corp. Image pickup apparatus and method for controlling pixel reading using a shake determination
JP4479843B2 (ja) * 2008-04-04 2010-06-09 ソニー株式会社 撮像装置と露出制御方法
CN101304489B (zh) 2008-06-20 2010-12-08 北京中星微电子有限公司 一种自动曝光方法及装置
JP2010171666A (ja) 2009-01-21 2010-08-05 Panasonic Corp 固体撮像素子の駆動方法および固体撮像素子
JP2012010055A (ja) * 2010-06-24 2012-01-12 Sony Corp 固体撮像装置
JP2013115793A (ja) * 2011-12-01 2013-06-10 Canon Inc 撮像装置
US9936132B2 (en) 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
JP5604700B2 (ja) * 2012-10-29 2014-10-15 弘一 関根 動き検出用撮像装置、動き検出カメラおよび動き検出システム
US9674469B2 (en) * 2012-12-25 2017-06-06 Sony Corporation Solid-state imaging device, method of driving the same, and electronic apparatus
JP6070283B2 (ja) * 2013-03-04 2017-02-01 株式会社リコー 撮像装置、露出制御方法およびプログラム
CN104333710A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 相机曝光方法、装置及设备
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022180369A (ja) * 2018-03-15 2022-12-06 株式会社ニコン センサ
US11252348B2 (en) 2018-04-27 2022-02-15 Sony Semiconductor Solutions Corporation Imaging device and driving method of imaging device
WO2019208412A1 (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の駆動方法
JP7566960B2 (ja) 2018-06-27 2024-10-15 プロフェセ 複数のスーパーピクセルを有するイメージセンサ
JP2020010323A (ja) * 2018-07-09 2020-01-16 シャープ株式会社 撮像装置
JP7424051B2 (ja) 2018-08-31 2024-01-30 ソニーグループ株式会社 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2020054007A (ja) * 2018-08-31 2020-04-02 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2020039113A (ja) * 2018-08-31 2020-03-12 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
US12080061B2 (en) 2018-08-31 2024-09-03 Sony Group Corporation Imaging apparatus, imaging system, imaging method, and imaging program
CN112912775A (zh) * 2018-11-28 2021-06-04 索尼半导体解决方案公司 传感器和控制方法
WO2020110743A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 センサ及び制御方法
US12081881B2 (en) 2018-11-28 2024-09-03 Sony Semiconductor Solutions Corporation Sensor and control method
US11044434B2 (en) 2019-02-04 2021-06-22 Canon Kabushiki Kaisha Image sensor and control method thereof, and image capturing apparatus
JP2020174254A (ja) * 2019-04-09 2020-10-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7325211B2 (ja) 2019-04-09 2023-08-14 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN114128252A (zh) * 2019-07-19 2022-03-01 佳能株式会社 摄像设备及其控制方法
US11863891B2 (en) 2019-07-19 2024-01-02 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
JP7433792B2 (ja) 2019-07-19 2024-02-20 キヤノン株式会社 撮像装置およびその制御方法
WO2021014867A1 (ja) * 2019-07-19 2021-01-28 キヤノン株式会社 撮像装置およびその制御方法
JP2021019287A (ja) * 2019-07-19 2021-02-15 キヤノン株式会社 撮像装置およびその制御方法
JP2021082995A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP7446091B2 (ja) 2019-11-21 2024-03-08 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP7506468B2 (ja) 2019-11-21 2024-06-26 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP2021082994A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 撮像装置、撮像装置の制御方法
WO2022215371A1 (ja) * 2021-04-09 2022-10-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
EP3493526A4 (en) 2019-07-24
EP3493526B1 (en) 2023-06-28
CN109328457B (zh) 2021-12-14
US20190268532A1 (en) 2019-08-29
KR102327355B1 (ko) 2021-11-16
US11025822B2 (en) 2021-06-01
CN109328457A (zh) 2019-02-12
WO2018025465A1 (ja) 2018-02-08
KR20190029615A (ko) 2019-03-20
EP3493526A1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
WO2018025465A1 (ja) 撮像装置、および、撮像装置の制御方法
CN105530427B (zh) 摄像元件、摄像装置
CN104869290B (zh) 摄像元件、摄像装置
JP6099904B2 (ja) 撮像装置
JP5911445B2 (ja) 撮像装置及びその制御方法
JP5455798B2 (ja) 画像処理装置
JP5946421B2 (ja) 撮像装置及びその制御方法
US10757348B2 (en) Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program
JP5105843B2 (ja) 撮像装置及び判定方法
JP2019050486A (ja) 撮像装置、撮像装置の制御方法
CN105407299A (zh) 摄像装置及控制摄像装置的方法
JP5452269B2 (ja) 撮像装置
WO2020080013A1 (ja) 撮像装置、撮像装置の制御方法および電子機器
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
US20190238781A1 (en) Image sensor and image capture apparatus
US11368610B2 (en) Image capture apparatus and control method therefor
US11082648B2 (en) Imaging apparatus having correction of signal difference
JP2008053812A (ja) 撮像装置
JP2008072512A (ja) 撮像装置及びその制御方法、撮像システム
JP6393087B2 (ja) 撮像素子及び撮像装置
JP7020463B2 (ja) 撮像装置
JP2009124239A (ja) 撮像装置及びそのフリッカ検出方法
JP2018182549A (ja) 撮像装置
JP5202713B2 (ja) 撮像装置及びその制御方法
JP2011114786A (ja) 固体撮像装置およびカメラシステム