JP4609092B2 - Physical information acquisition method and physical information acquisition device - Google Patents
Physical information acquisition method and physical information acquisition device Download PDFInfo
- Publication number
- JP4609092B2 JP4609092B2 JP2005027363A JP2005027363A JP4609092B2 JP 4609092 B2 JP4609092 B2 JP 4609092B2 JP 2005027363 A JP2005027363 A JP 2005027363A JP 2005027363 A JP2005027363 A JP 2005027363A JP 4609092 B2 JP4609092 B2 JP 4609092B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- vertical
- horizontal
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003384 imaging method Methods 0.000 claims description 132
- 238000012545 processing Methods 0.000 claims description 89
- 230000006870 function Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 32
- 238000009792 diffusion process Methods 0.000 description 30
- 238000007667 floating Methods 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 23
- 239000004065 semiconductor Substances 0.000 description 19
- 238000012546 transfer Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 14
- 230000003321 amplification Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000003199 nucleic acid amplification method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101100205847 Mus musculus Srst gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101000836649 Homo sapiens Selenoprotein V Proteins 0.000 description 1
- 102100027056 Selenoprotein V Human genes 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、物理情報取得方法および物理情報取得装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素を駆動する駆動方法および駆動装置や画像信号処理方法および画像信号処理装置などの移動体信号処理技術に関する。 The present invention relates to a physical information acquisition method and a physical information acquisition device. More specifically, for example, a plurality of unit components that are sensitive to electromagnetic waves input from the outside such as light and radiation are arranged, and the physical quantity distribution converted into an electric signal by the unit components is converted into an electric signal. For example, a solid-state imaging device that can be read as a semiconductor device suitable for physical quantity distribution detection, and a driving method for driving a unit component and a moving device such as a driving device, an image signal processing method, and an image signal processing device The present invention relates to signal processing technology.
光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。 2. Description of the Related Art Physical quantity distribution detection semiconductor devices in which a plurality of unit components (for example, pixels) that are sensitive to electromagnetic waves input from the outside such as light and radiation are arranged in a line or matrix form are used in various fields. ing.
たとえば、映像機器の分野では、物理量のうちの光(電磁波の一例)を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の固体撮像装置が使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。 For example, in the field of video equipment, a CCD (Charge Coupled Device) type, a MOS (Metal Oxide Semiconductor) type, or a CMOS (Complementary Metal-oxide Semiconductor) type solid-state imaging device that detects light (an example of an electromagnetic wave) of a physical quantity. It is used. These read out, as an electrical signal, a physical quantity distribution converted into an electrical signal by a unit component (a pixel in a solid-state imaging device).
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子(APS;Active Pixel Sensor /ゲインセルともいわれる)構成の画素を備えた増幅型固体撮像装置がある。たとえば、CMOS型固体撮像装置の多くはそのような構成をなしている。 Further, in some solid-state imaging devices, an amplifying solid-state imaging device (APS; Active Pixel Sensor) that has a driving transistor for amplification in a pixel signal generation unit that generates a pixel signal corresponding to the signal charge generated in the charge generation unit. There is an amplification type solid-state imaging device including a pixel having a configuration (also called a gain cell). For example, many CMOS solid-state imaging devices have such a configuration.
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。 In such an amplification type solid-state imaging device, in order to read out a pixel signal to the outside, address control is performed on a pixel unit in which a plurality of unit pixels are arranged, and signals from individual unit pixels are arbitrarily selected. I am trying to read it out. That is, the amplification type solid-state imaging device is an example of an address control type solid-state imaging device.
たとえば、単位画素がマトリクス状に配されたX−Yアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、MOS構造などの能動素子(MOSトランジスタ)を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷(光電子)を前記能動素子で増幅し、画像情報として読み出す。 For example, an amplification type solid-state imaging device which is a kind of XY address type solid-state imaging device in which unit pixels are arranged in a matrix form an active element (MOS transistor) such as a MOS structure in order to give the pixel itself an amplification function. ) To form a pixel. That is, signal charges (photoelectrons) accumulated in a photodiode which is a photoelectric conversion element are amplified by the active element and read out as image information.
この種のX−Yアドレス型固体撮像素子では、たとえば、画素トランジスタが2次元行列状に多数配列されて画素部が構成され、ライン(行)ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、MOS(CMOSを含む)型においては、アドレス制御の一例として、1行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。 In this type of XY address type solid-state imaging device, for example, a plurality of pixel transistors are arranged in a two-dimensional matrix to form a pixel unit, and a signal charge corresponding to incident light for each line (row) or each pixel. Accumulation is started, and a current or voltage signal based on the accumulated signal charge is sequentially read out from each pixel by addressing. Here, in the MOS (including CMOS) type, as an example of address control, a system in which one row is accessed simultaneously and a pixel signal is read from the pixel unit in units of rows is often used.
一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、近年、イメージセンサに画像情報の各種演算機能を持たせることにより、画像処理の高速化などを実現する固体撮像装置が提案されている。このようなイメージセンサの1つとして、通常の実画像の取得と、動体検出機能を備えたセンサが提案されている(たとえば特許文献1,2を参照)。
On the other hand, various arithmetic processes are performed on the pixel signals output from the pixels in order to generate high-quality images and use special applications. For example, in recent years, a solid-state imaging device has been proposed in which an image sensor is provided with various image information calculation functions to achieve high-speed image processing. As one of such image sensors, a sensor having a normal real image acquisition and a moving object detection function has been proposed (see, for example,
これら従来技術は、何れも、通常のイメージセンサと同様の画像取得回路に加えて、時間的な光の強度変化を検出する機能を持たせたものであり、具体的なアーキテクチャとしては、異なる撮像時点(撮像タイミング)の画素信号の差に基づいて動体検出を行なうものである。 Each of these conventional techniques has a function of detecting temporal change in light intensity in addition to an image acquisition circuit similar to that of a normal image sensor. Moving object detection is performed based on the difference in pixel signals at the time (imaging timing).
たとえば、特許文献1に記載の仕組みでは、撮像装置により撮像された画像に動体が含まれているか否かを判定するべく、先ず、撮像期間中に複数回それぞれ異なる撮像領域を順次撮像して得られる全体画像を、複数回の撮像それぞれに対応する複数の部分画像に分離する。この後、被写体が静止体のみである場合、すべての部分画像は、ほぼ同じデータとなるが、被写体が静止体に加えて動体を含む場合、撮像タイミングが異なる部分画像に相違が生じるという点に基づき、部分画像を比較することで、複数の部分画像を合成した全体画像に動体が含まれているかどうかを判定するようにしている。いわゆる画素ずらしにより検出した複数枚の画像における部分画像間の信号処理により動体であるか否かを判定する。
For example, in the mechanism described in
また、特許文献2に記載の仕組みでは、複数の画素の各々の光電変換素子部に対し、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設け、信号電荷蓄積素子部の各々に、異なるフレーム制御期間に読み出された光電変換素子部からの信号電荷を蓄積しておき、この信号電荷と、現在読み出しているフレーム制御期間の信号電荷との差を検出することで、リアルタイムで移動体などの画像の検出を行なうようにしている。要するに、複数のフレームで差分演算することで動体であるか否かを判定する。
Further, in the mechanism described in
しかしながら、特許文献1に記載の仕組みでは、複数回分の撮像領域をずらした画像データを得るための特殊な撮像装置が必要になる。
However, the mechanism described in
また、特許文献2に記載の仕組みでは、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造が必要となる。
Further, in the mechanism described in
さらに、上記特許文献1,2を始めとする従来の動体信号処理の仕組みは、何れも、移動物体の移動速度を始めとする移動の様子を特定するには、多数回の撮像により得られた多数のフレーム画像が必要となり、またそれら多数のフレーム画像間での複雑な演算処理が必要となり、短時間では、動体の様子を判断することができない。
Further, the conventional moving body signal processing mechanisms including the above-mentioned
本発明は、上記事情に鑑みてなされたものであり、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定することのできる仕組みを提案することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to propose a mechanism that can specify the state of movement of a moving object in a short time without using a special pixel structure or imaging device. To do.
本発明によれば、入射した光量に応じた電気信号を発生する複数の単位画素が、複数の垂直制御線と、複数の垂直信号線とのそれぞれの交点において二次元状に配設されている、撮像部と、複数の行を垂直走査方向に複数系統に分けて独立して制御する機能を有し、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査可能に構成されており、垂直アドレスに応じて対応する垂直制御線を走査する、垂直走査部と、水平方向のアドレスを規定する水平アドレス設定部と、当該水平アドレス設定部にて規定された読み出しアドレスに従って前記複数の垂直信号線から取り出された前記複数の単位画素の信号を撮像信号を取り出す水平信号線に導く、水平駆動部とを有する、水平走査部と、前記水平信号線に接続された、フレームメモリとを有し、
前記垂直走査部は、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査して、奇数行の複数の単位画素の検出信号と偶数行の複数の単位画素の検出信号とを交互に読みだして、前記フレームメモリに記憶する、
固体撮像装置が提供される。
According to the present invention, the plurality of unit pixels that generate electrical signals according to the amount of incident light are two-dimensionally arranged at the intersections of the plurality of vertical control lines and the plurality of vertical signal lines. The imaging unit has a function of independently controlling a plurality of rows in a vertical scanning direction by dividing them into a plurality of systems, and is configured to be able to scan in a direction opposite to the vertical signal line for each row in one frame. The vertical scanning unit that scans the corresponding vertical control line according to the vertical address, the horizontal address setting unit that defines the address in the horizontal direction, and the plurality of the plurality according to the read address defined by the horizontal address setting unit A horizontal scanning unit having a horizontal driving unit for guiding the signals of the plurality of unit pixels extracted from the vertical signal line to a horizontal signal line for extracting an imaging signal; and a frame connected to the horizontal signal line. Memory,
The vertical scanning unit, the scanning in the opposite direction to the vertical signal line for each row in one frame, the detection signals of a plurality of unit pixels of the detection signal and the even lines of the plurality of unit pixels in the odd rows and the reads out alternately, be stored before Symbol frame memory,
A solid-state imaging device is provided.
好ましくは、当該固体撮像装置は、前記フレームメモリに接続された信号処理手段をさらに有し、前記信号処理手段は、前記偶数行の走査順が逆になるように、前記フレームメモリからの単位画素信号の読み出しを調整する。 Preferably, the solid-state imaging device further includes a signal processing unit connected to the frame memory, and the signal processing unit includes a unit pixel from the frame memory so that the scanning order of the even-numbered rows is reversed. Adjust signal readout .
また好ましくは、当該固体撮像装置は電子シャッタをさらに有し、前記電子シャッタを駆動して十分短い露光時間で前記複数の単位画素で検出させ、前記水平信号線を経由して前記フレームメモリに記憶させ、Preferably, the solid-state imaging device further includes an electronic shutter, and the electronic shutter is driven to detect the plurality of unit pixels with a sufficiently short exposure time, and is stored in the frame memory via the horizontal signal line. Let
前記信号処理手段は、前記フレームメモリに記憶された1フレーム内の奇数行の単位画素の検出信号と偶数行の単位画素の検出信号とから、被写体の動きを検出する。The signal processing means detects the movement of the subject from the detection signal of the odd-numbered unit pixels and the detection signal of the even-numbered unit pixels in one frame stored in the frame memory.
また本発明によれば、入射した光量に応じた電気信号を発生する複数の単位画素が複数の垂直制御線と複数の垂直信号線とのそれぞれの交点において二次元状に配設されている撮像部と、複数の行を垂直走査方向に複数系統に分けて独立して制御する機能を有し、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査可能に構成されており垂直アドレスに応じて対応する垂直制御線を走査する垂直走査部と、水平方向のアドレスを規定する水平アドレス設定部と当該水平アドレス設定部にて規定された読み出しアドレスに従って前記複数の垂直信号線から取り出された前記複数の単位画素の信号を撮像信号を取り出す水平信号線に導く水平駆動部とを有する水平走査部と、前記水平信号線に接続されたフレームメモリとを有する固体撮像装置の制御方法であって、
前記垂直走査部は、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査して、奇数行の複数の単位画素の検出信号と偶数行の複数の単位画素の検出信号とを交互に読みだして、前記フレームメモリに記憶する、
固体撮像装置の制御方法が提供される。
According to the present invention, it is arranged two-dimensionally a plurality of unit pixels for generating an electrical signal corresponding to the amount of incident light is at each intersection of the vertical control lines and multiple vertical signal lines of multiple that the imaging section has a function of controlling independently divided into a plurality of systems multiple lines in the vertical scanning direction, the scanning can be configured in the opposite direction to the vertical signal line for each row in one frame wherein the vertical scanning unit, in accordance with the read address defined by the horizontal address setting unit and those horizontal address setting unit that defines a horizontal address for scanning the vertical control line corresponding in response to has been our Rishide straight address a horizontal scanning unit that have a an electrically rather horizontal driving unit to the horizontal signal line a signal of the plurality of unit pixels taken from a plurality of vertical signal lines taken out imaging signal, which is connected to the horizontal signal line Yes and a frame memory A control method for a solid-state imaging device,
The vertical scanning unit, the scanning in the opposite direction to the vertical signal line for each row in one frame, the detection signals of a plurality of unit pixels of the detection signal and the even lines of the plurality of unit pixels in the odd rows and the reads out alternately, be stored before Symbol frame memory,
A method for controlling a solid-state imaging device is provided.
本発明によれば、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得するようにしたので、この走査方向の異なる情報で表わされた1つの検知領域分の情報だけで、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することができ、またその1つのフレーム画像内での簡単な演算処理で済むようになり、短時間で、動体の様子を判断することができる。 According to the present invention, the physical information for the detection area represented by the information with different scanning directions is acquired by scanning the substantially entire surface of the detection area in order from different directions with respect to the arrangement order of the plurality of detection units. As a result, it is possible to specify the state of movement including the moving speed of the object moving in the detection area only by the information for one detection area represented by the different information in the scanning direction. In addition, it is possible to perform simple arithmetic processing within the one frame image, and the state of the moving object can be determined in a short time.
加えて、そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特許文献1に記載の仕組みのように、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
In addition, the mechanism for this can be realized by a simple process of alternately scanning from different scanning directions. As in the mechanism described in
また、特許文献2に記載の仕組みのように、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造も必要となる。
Further, like the mechanism described in
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、X−Yアドレス型の固体撮像装置の一例である、CMOS撮像素子をデバイスとして使用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following, a case where a CMOS image sensor, which is an example of an XY address type solid-state imaging device, is used as a device will be described as an example.
ただしこれは一例であって、対象となるデバイスはMOS型の撮像デバイスに限らない。光や放射線などの外部から入力される物理量に対して感応性をする検知部と、この検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部を含む単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置のうち、アドレス制御により読出位置が任意に制御可能な構成のもの全てに、後述する実施形態が同様に適用できる。 However, this is merely an example, and the target device is not limited to a MOS imaging device. A unit configuration including a detection unit that is sensitive to a physical quantity input from the outside, such as light or radiation, and a unit signal generation unit that generates and outputs a unit signal based on a change in the physical quantity detected by the detection unit The embodiment described later can be similarly applied to all of the semiconductor device for detecting a physical quantity distribution in which a plurality of elements are arranged in a line or a matrix so that the reading position can be arbitrarily controlled by address control. .
<撮像装置の概略構成>
図1は、本発明に係る物理情報取得装置の一実施形態であるCMOS固体撮像装置の概略構成図である。この固体撮像装置1は、たとえばカラー画像を撮像し得る電子スチルカメラやFA(Factory Automation)カメラとして適用されるようになっている。固体撮像装置1は、物理量分布検知装置の一例である。
<Schematic configuration of imaging device>
FIG. 1 is a schematic configuration diagram of a CMOS solid-state imaging device which is an embodiment of a physical information acquisition device according to the present invention. The solid-
固体撮像装置1は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された(すなわち2次元マトリクス状の)撮像部を有し、各単位画素からの信号出力が電圧信号であって、CDS(Correlated Double Sampling ;相関2重サンプリング)処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
The solid-
すなわち、図1(A)に示すように、固体撮像装置1は、複数の単位画素3(単位構成要素の一例)が行および列に(2次元行列状に)多数配列された撮像部(画素部)10いわゆるエリアセンサ部と、撮像部10の外側に設けられた駆動制御部7と、各垂直列に配されたカラム信号処理部(図ではカラム回路と記す)22を有するカラム処理部20と、水平選択スイッチ部60とを備えている。また、撮像部10が設けられている半導体領域とは別の回路基板上に外部回路100が設けられている。
That is, as shown in FIG. 1A, the solid-
なお、読出電流源部27は、撮像部10とカラム処理部20との間の信号経路(垂直信号線18)上に設けられ、各垂直信号線18に対してドレイン端子が接続された図示を割愛する負荷MOSトランジスタを含む負荷トランジスタ部が配され、各負荷MOSトランジスタを駆動制御する負荷制御部(負荷MOSコントローラ)が設けられている。
The read
駆動制御部7としては、たとえば水平走査部12と垂直走査部14とを備える。また、駆動制御部7の他の構成要素として、水平走査部12、垂直走査部14、あるいはカラム処理部20などの固体撮像装置1の各機能部に所定タイミングの制御パルスを供給する駆動信号走査部(読出アドレス制御装置の一例)16が設けられている。
As the
これらの駆動制御部7の各要素は、撮像部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子(撮像デバイス)として構成される。
Each element of the
図1(A)では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部10の各行や各列には、数十から数千の単位画素3が配置される。なお、図示を割愛するが、撮像部10には、各画素に所定のカラーコーディングを持つ色分離フィルタやオンチップレンズが形成される。また図示を割愛するが、撮像部10の各単位画素3は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている(後述する図2を参照)。
In FIG. 1A, some of the rows and columns are omitted for the sake of simplicity, but in reality, there are tens to thousands of
単位画素3は、垂直列選択のための垂直制御線15を介して垂直走査部14と、また検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素3から出力される複数の画素信号S0(_1〜h;1行中の画素番号)をそれぞれ伝送する伝送線としての垂直信号線18を介してカラム処理部20と、それぞれ接続されている。
The
水平走査部12や垂直走査部14は、駆動信号走査部16から与えられる駆動パルスに応答して読出位置の選択動作(典型的にはシフト動作)を開始するようになっている。垂直制御線15には、単位画素3を駆動するための種々のパルス信号が含まれる。
The
水平走査部12は、水平方向の読出列(水平方向のアドレス)を規定する(カラム処理部20内の個々のカラム信号処理部22を選択する)水平アドレス設定部12xと、水平アドレス設定部12xにて規定された読出アドレスに従ってカラム処理部20の各信号を水平信号線86に導く水平駆動部12yとを有する。
The
水平アドレス設定部12xは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部22からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線86に出力する選択手段としての機能を持つ。
Although not shown, the horizontal
垂直走査部14は、垂直方向の読出行(垂直方向のアドレス)を規定する(撮像部10の行を選択する)垂直アドレス設定部14xと、垂直アドレス設定部14xにて規定された読出行上の単位画素3に対する行制御線15にパルスを供給して単位画素3を駆動する垂直駆動部14yとを有する。
The
垂直アドレス設定部14xは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。
Although not shown in the drawing, the vertical
垂直シフトレジスタは、撮像部10から画素情報を読み出すに当たって各単位画素3を行単位で選択するためのものであり、各行の垂直駆動部14yとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部14yとともに電子シャッタ行選択手段を構成する。
The vertical shift register is for selecting each
ここで、本実施形態特有の構成として、水平走査部12(特に水平アドレス設定部12x)および垂直走査部14(特に垂直アドレス設定部14x)のうちの少なくとも一方は、走査方向を複数系統(典型例としては2系統)に分けて独立に制御する機能を持ち、1フレーム中で、異なる走査系統の信号を得るようにする。
Here, as a configuration unique to the present embodiment, at least one of the horizontal scanning unit 12 (particularly the horizontal
たとえば垂直走査部14は、詳細は後述するが、撮像部10の複数の行を垂直走査方向に複数系統に分けて独立に制御する機能を持ち、1フレーム中で、それぞれ異なる方向への走査系統の信号を得るようにする。具体的には、詳細は後述するが、典型例としては上から下への走査と下から上への走査の2系統に分け、1行ごとに、垂直信号線18に対して互いに相反する方向に走査する。
For example, although the details will be described later, the
駆動信号走査部16は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、端子1aを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子1bを介して固体撮像装置1の情報を含むデータDATAを出力する通信インタフェースの機能ブロックとを備える。また、水平アドレス信号を水平アドレス設定部12xへ、また垂直アドレス信号を垂直アドレス設定部14xへ出力し、各アドレス設定部12x,14xは、それを受けて対応する行もしくは列を選択する。
Although not shown in the figure, the drive
なお、駆動信号走査部16は、撮像部10や水平走査部12など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部10や水平走査部12などから成る撮像デバイスと駆動信号走査部16とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
The drive
カラム処理部20は、垂直列(カラム)ごとにカラム信号処理部22を有して構成されており、1行分の画素の信号を受けて、各カラム信号処理部22が対応列の画素信号S0(_1〜h;1行中の画素番号)を処理して、処理済みの画素信号S1(_1〜h;1行中の画素番号)を出力する。
The
たとえば、カラム信号処理部22は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素3から垂直信号線18を介して読み出された画素信号(単位信号)S0に基づく所定目的用の物理情報を表わす電位信号Vmを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、CDS(Correlated Double Sampling ;相関2重サンプリング)処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
For example, although not shown, the column
CDS処理を行なう場合、駆動信号走査部16から与えられるサンプルパルスSHPとサンプルパルスSHDといった2つのサンプルパルスに基づいて、垂直信号線18を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル(ノイズレベル;0レベル)と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ(FPN;Fixed Pattern Noise )やリセットノイズといわれるノイズ信号成分を取り除く。
When performing the CDS process, the pixel information for the voltage mode pixel information input through the
なお、カラム信号処理部22には、CDS処理機能部などの後段に、必要に応じて信号増幅機能を持つAGC(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
The column
カラム処理部20の後段には、図示を割愛する水平読出用のスイッチ(選択スイッチ)を備えた水平選択スイッチ部60が設けられている。各垂直列のカラム信号処理部22の出力端は、カラム信号処理部22から画素信号S2を順次読み出すための各垂直列に対応する水平選択スイッチ部60の選択スイッチの入力端iにそれぞれ接続されている。
At the subsequent stage of the
水平選択スイッチ部60の各垂直列の制御ゲート端cは、水平方向の読出アドレスを制御・駆動する水平走査部12の水平駆動部12yに接続される。一方、水平選択スイッチ部60の各垂直列の選択スイッチの出力端oは、行方向に画素信号を順次転送出力する水平信号線86が共通接続されている。水平信号線86の後端には出力部88が設けられている。
The control gate terminal c of each vertical column of the horizontal
水平信号線86は、単位画素3のそれぞれから垂直信号線18を介して伝送される個々の画素信号S0(詳しくはそれに基づく画素信号S2)を、垂直信号線18の配列方向である水平方向に所定順に出力するための読出線として機能するものであり、カラム信号処理部22から、垂直列ごとに存在する図示を割愛した選択スイッチによって選択された信号を取り出して出力部88に渡す。
The horizontal signal line 86 transmits individual pixel signals S0 (specifically, pixel signals S2 based thereon) transmitted from the
すなわち、カラム信号処理部22により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部12からの水平選択信号φH1〜φHhに応じた水平読出パルスφg1〜φghにより駆動される垂直列ごとに設けられた選択スイッチにより所定のタイミングで選択され水平信号線86に読み出される。そして、水平信号線86の後端に設けられた出力部88に入力される。
That is, the voltage signal of each vertical column corresponding to the signal charge representing the pixel information processed by the column
出力部88は、撮像部10から水平信号線86を通して出力される各単位画素3の画素信号S2_1〜h(h=n)を適当なゲインで増幅した後、撮像信号S3として外部回路100に出力端子88aを介して供給する。この出力部88は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
The
つまり、本実施形態のカラム型の固体撮像装置1においては、単位画素3からの出力信号(電圧信号)が、垂直信号線18→カラム処理部20(カラム信号処理部22)→水平信号線86→出力部88の順で伝送される。その駆動は、1行分の画素出力信号は垂直信号線18を介してパラレルにカラム処理部20に送り、処理後の信号は水平信号線86を介してシリアルに出力するようにする。この画素信号のカラム処理部20までの転送動作は1行分の単位画素3に対して同時に行なわれる。
That is, in the column-type solid-
なお、垂直列や水平行ごとの駆動が可能である限り、それぞれのパルス信号を単位画素3に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
In addition, as long as driving in each vertical row or horizontal row is possible, each pulse signal is supplied to the
このような構成の固体撮像装置1において、水平走査部12や垂直走査部14およびそれらを制御する駆動信号走査部16により、撮像部10の各画素を水平行単位で順に選択し、その選択した1つの水平行分の画素の情報を同時に読み出すタイプのCMOSイメージセンサが構成される。
In the solid-
出力部88の後段に設けられる外部回路100は、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板(プリント基板もしくは半導体基板)上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
The
撮像部10や駆動制御部7などからなる固体撮像素子(本発明に係る半導体装置や物理情報取得装置の一例)と外部回路100とによって、固体撮像装置1が構成されている。駆動制御部7を撮像部10やカラム処理部20と別体にして、撮像部10やカラム処理部20で固体撮像素子(半導体装置の一例)を構成し、この固体撮像素子と別体の駆動制御部7とで、撮像装置(本発明に係る物理情報取得装置の一例)として構成してもよい。
A solid-
外部回路100は、たとえば図1(B)に示すように、出力部88から出力されたアナログの撮像信号S3をデジタルの撮像データD3に変換するA/D(Analog to Digital )変換部110と、A/D変換部110によりデジタル化された撮像データD3に基づいてデジタル信号処理を施すデジタル信号処理部(DSP;Digital Signal Processor)130とを備える。
For example, as shown in FIG. 1B, the
デジタル信号処理部130は、たとえば、A/D変換部110から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してR(赤),G(緑),B(青)の各画像を表す画像データRGBを生成し、この画像データRGBに対してその他の信号処理を施してモニタ出力用の画像データD4を生成する。また、デジタル信号処理部130には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
The digital
また外部回路100は、デジタル信号処理部130にてデジタル処理された画像データD4をアナログの画像信号S4に変換するD/A(Digital to Analog )変換部136を備える。D/A変換部136から出力された画像信号S4は、図示を割愛する液晶モニタなどの表示デバイスに送られる。走査者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の走査を行なうことが可能になっている。
The
ここで、本実施形態特有の構成として、外部回路100のデジタル信号処理部130には、少なくとも、水平走査部12(特に水平アドレス設定部12x)や垂直走査部14(特に垂直アドレス設定部14x)による複数系統に分けた走査制御により撮像部10の各単位画素3から出力される各画素信号S0(詳しくはカラム信号処理部22からの画素信号S2)に基づいて、動体検知処理や検知結果に基づく所定の信号処理を行なう移動体信号処理部132が設けられる。
Here, as a configuration unique to the present embodiment, the digital
たとえば、1行ごとに、垂直信号線18に対して互いに相反する方向に走査された信号が行単位で撮像部10から出力されて移動体信号処理部132に供給されるので、移動体信号処理部132は、画像情報を垂直方向の行の並びと同じにして元の画像を再現するべく、撮像部10から得られた画像情報の垂直2方向中の何れか一方の画像情報の走査順を反転する。この走査順を反転する処理のため、移動体信号処理部132には、1フレーム分の画素信号を記憶するフレームメモリ133が設けられる。
For example, the signals scanned in the directions opposite to each other with respect to the
なおここでは、固体撮像素子の後段の信号処理を担当する外部回路を固体撮像素子(撮像チップ)外で行なう例を示したが、外部回路の全てもしくは一部(たとえばA/D変換部やデジタルアンプ部など)の機能要素を、固体撮像素子のチップに内蔵するように構成してもよい。つまり、撮像部10や駆動制御部7などが同一の半導体領域に一体的に形成された固体撮像素子と同一の半導体基板上に外部回路を構成して、実質的に、固体撮像装置1と物理情報取得装置とが同一のものとして構成してもよい。
Although an example in which the external circuit in charge of signal processing in the subsequent stage of the solid-state image sensor is performed outside the solid-state image sensor (imaging chip) is shown here, all or part of the external circuit (for example, an A / D converter or digital The functional element of the amplifier unit or the like may be built in the chip of the solid-state imaging device. In other words, an external circuit is configured on the same semiconductor substrate as the solid-state image pickup element in which the image pickup unit 10 and the
また図では、水平選択スイッチ部60や駆動制御部7を撮像部10とともに備えて固体撮像装置1を構成し、実質的に、固体撮像装置1が物理情報取得装置としても機能するように構成しているが、物理情報取得装置は、必ずしもこのような構成に限定されない。水平選択スイッチ部60や駆動制御部7の全体もしくは一機能部分が撮像部10と同一の半導体領域に一体的に形成されたものであることは要件ではない。水平選択スイッチ部60および駆動制御部7を、撮像部10とは異なる回路基板(別の半導体基板に限らず一般的な回路基板をも意味する)、たとえば外部回路が設けられる回路基板に形成してもよい。
Further, in the figure, the solid-
<画素構造>
図2は、図1に示した固体撮像装置1に使用される単位画素3の構成例を説明する図である。撮像部10内の単位画素(画素セル)3の構成は、通常のCMOSイメージセンサと同様であり、本実施形態では、CMOSセンサとして汎用的な4TR構成のものを使用することができるし、4TR構成のものに限らず、たとえば、特許第2708455号公報に記載のように、3つのトランジスタからなる3TR構成のものを使用することもできる。もちろん、これらの画素構成は一例であり、通常のCMOSイメージセンサのアレイ構成であれば、何れのものでも使用できる。
<Pixel structure>
FIG. 2 is a diagram illustrating a configuration example of the
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する構成を使用することができる。 As the intra-pixel amplifier, for example, a floating diffusion amplifier configuration is used. As an example, with respect to the charge generation unit, a read selection transistor that is an example of a charge readout unit (transfer gate unit / read gate unit), a reset transistor that is an example of a reset gate unit, a vertical selection transistor, and a floating diffusion It is possible to use a configuration having an amplification transistor having a source follower configuration, which is an example of a detection element that detects a change in potential of the source follower.
たとえば、図2に示す4TR構成の単位画素3は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたフォトダイオードやフォトゲートなどで構成された電荷生成部32と、電荷生成部32に対して、電荷読出部(転送ゲート部/読出ゲート部)の一例である読出選択用トランジスタ(転送トランジスタ)34、リセットゲート部の一例であるリセットトランジスタ36、垂直選択用トランジスタ40、およびフローティングディフュージョン38の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ42を有する。
For example, the
この単位画素3は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン38とからなるFDA(Floating Diffusion Amp)構成の画素信号生成部5を有するものとなっている。フローティングディフュージョン38は寄生容量を持った拡散層である。画素信号生成部5は、電荷生成部32からフローティングディフュージョン38に移送された電荷の量に応じた電位を発生して垂直信号線53に伝達する手段として機能する。
The
増幅用トランジスタ42は各垂直信号線53(図1の垂直信号線18に相当)に接続されており、また垂直信号線53は垂直列ごとに読出電流源部27の定電流源Inの一部をなす負荷MOSトランジスタ27zのドレインに接続され、また各負荷MOSトランジスタ27zのゲート端子には、図示を割愛する負荷制御部からの負荷制御信号SFLACTが共通に入力されており、信号読出し時には、各増幅用トランジスタ42に接続された負荷MOSトランジスタ27zによって、予め決められた定電流を流し続けるようになっている。つまり、負荷MOSトランジスタ27zは、選択行の増幅用トランジスタ42とソースフォロアを組むことで、垂直信号線53への信号出力をさせる。
The amplifying
横方向配線は同一行の画素について共通となっており、図示を割愛する垂直走査部14の垂直駆動部14yによって駆動制御される。たとえば、垂直駆動部14y内には、転送駆動バッファ250、リセット駆動バッファ252、および選択駆動バッファ254が収容されている。
The horizontal wiring is common to the pixels in the same row, and is driven and controlled by the
読出選択用トランジスタ34は、転送配線(読出選択線TRF)55を介して転送駆動バッファ250からの転送信号TRGにより駆動されるようになっている。リセットトランジスタ36は、リセット配線(RST)56を介してリセット駆動バッファ252からのリセット信号φRSTにより駆動されるようになっている。垂直選択用トランジスタ40は、垂直選択線(SEL)52を介して選択駆動バッファ254からの垂直選択信号φSELにより駆動されるようになっている。各駆動バッファは、垂直走査部14によって駆動可能になっている。
The
画素信号生成部5におけるリセットトランジスタ36は、ソースがフローティングディフュージョン38に、ドレインが電源VDDにそれぞれ接続され、ゲート(リセットゲートRG)にはリセットパルスRSTがリセット駆動バッファから入力される。このリセットトランジスタ36は、フローティングディフュージョン38の電位をリセットする機能を持つ。
The
ここで、この単位画素3は、増幅用トランジスタ42と垂直選択用トランジスタ40のうち、垂直選択用トランジスタ40の方が垂直信号線53側にあるタイプである。すなわち、垂直選択用トランジスタ40は、一例として、ドレインが増幅用トランジスタ42のソースに、ソースが画素線51にそれぞれ接続され、ゲート(特に垂直選択ゲートSELVという)は垂直選択線52に接続されている。
Here, the
垂直選択線52には、垂直選択信号SELが印加される。増幅用トランジスタ42は、ゲートがフローティングディフュージョン38に接続され、ドレインが電源VDDに、ソースは垂直選択用トランジスタ40のドレインを介して画素線51に接続され、さらに垂直信号線53(18)に接続されるようになっている。
A vertical selection signal SEL is applied to the
なおこのような接続構成に限らず、垂直選択用トランジスタ40は、ドレインが電源VDDに、ソースが増幅用トランジスタ42のドレインにそれぞれ接続され、ゲートが垂直選択線52に接続されるようにしてもよい。
The
このような4TR構成では、フローティングディフュージョン38は増幅用トランジスタ42のゲートに接続されているので、増幅用トランジスタ42はフローティングディフュージョン38の電位(以下FD電位という)に対応した信号を電圧モードで、画素線51を介して垂直信号線53(18)に出力する。
In such a 4TR configuration, since the floating
リセットトランジスタ36は、フローティングディフュージョン38をリセットする。読出選択用トランジスタ(転送トランジスタ)34は、電荷生成部32にて生成された信号電荷をフローティングディフュージョン38に転送する。垂直信号線18には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ40をオンする。すると選択画素のみが垂直信号線18と接続され、垂直信号線18には選択画素の信号が出力される。
The
<単位画素の駆動方法>
図3は、図2に示した単位画素3を駆動して画素信号(単位画素3から出力される単位信号)を取得する手法を説明するタイミングチャートである。図2に示した4TR構成では、リセットトランジスタ36は、フローティングディフュージョン38をリセットする。具体的には、フローティングディフュージョンの信号電荷(ここでは電子)を電源配線に捨てることによって、フローティングディフュージョン38をリセットする。
<Driving method of unit pixel>
FIG. 3 is a timing chart for explaining a method of acquiring the pixel signal (unit signal output from the unit pixel 3) by driving the
読出選択用トランジスタ(転送トランジスタ)34は、電荷生成部32にて生成された信号電荷を、電荷蓄積部の一例であるフローティングディフュージョン38に転送する。
The read selection transistor (transfer transistor) 34 transfers the signal charge generated by the charge generation unit 32 to a floating
フローティングディフュージョン38は単位信号生成部の一例である増幅用トランジスタ42のゲートに接続されているので、増幅用トランジスタ42はフローティングディフュージョン38の電位(以下FD電位ともいう)に対応した信号(この例では電圧信号)を、垂直選択用トランジスタ40がオンしているときに、画素線51を介して出力信号線の一例である垂直信号線53に出力する。すなわち、垂直信号線53には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ40をオンする。すると選択画素のみが垂直信号線53と接続され、垂直信号線53には選択画素の信号が出力される。
Since the floating
具体的には、図3のタイミングチャートに示すように、読出パルス(転送ゲートパルス)TRGがアクティブ(本例ではハイレベル)となり、読出選択用トランジスタ34を駆動し、電荷生成部32に入射した光が光電変換されて生成された信号電荷を、蓄積ノードとして機能するフローティングディフュージョン38に移送して読み出す。
Specifically, as shown in the timing chart of FIG. 3, the read pulse (transfer gate pulse) TRG becomes active (high level in this example), drives the
ここで、電荷生成部32に入射した光が光電変換されて生成された信号電荷は、読出選択用トランジスタ34がオンするまで電荷生成部32に蓄積される。
Here, the signal charge generated by photoelectric conversion of the light incident on the charge generation unit 32 is accumulated in the charge generation unit 32 until the
水平走査線帰線期間(ブランキング期間)にまず行なわれるのは、垂直選択パルスSELをアクティブ(本例ではハイレベル)にして垂直選択用トランジスタ40をオンさせ(t10)、増幅用トランジスタ42でフローティングディフュージョン38の電荷を検出できるように、読出し行の増幅用トランジスタ42の出力と垂直信号線53とを接続して、垂直信号線53、電流源In(負荷MOSトランジスタ27)、および増幅用トランジスタ42でソースフォロワ回路を構成する。垂直信号線53の電位は、フローティングディフュージョン38の電位変動に追従する。これにより、フローティングディフュージョン38の電荷量に対応する、増幅用トランジスタ42のゲート電位で決まる電位のみが垂直信号線53に伝達される。
In the horizontal scanning line blanking period (blanking period), the vertical selection pulse SEL is activated (high level in this example) to turn on the vertical selection transistor 40 (t10). The output of the amplifying
また、水平走査線帰線期間の開始とともに、電荷生成部32に信号電荷Qsig が蓄積された状態で、最初に画素信号生成部5を基準電圧にリセットする、つまりリセットゲートパルスRGをアクティブ(本例ではハイレベル)にして(t11)、リセットトランジスタ36をオンさせることで、フローティングディフュージョン38に蓄積された暗電流積分値を排出させる。これによって、フローティングディフュージョン38は、電源電圧値(Vdd)に設定される。なお、リセットゲートパルスRGをインアクティブ(本例ではローレベル)にすると(t12)、カップリングにより、フローティングディフュージョン38の電位が若干落ちる。
Further, with the start of the horizontal scanning line blanking period, the signal signal Qsig is accumulated in the charge generation unit 32, and the pixel
このとき、駆動信号操作部16からサンプルパルスSHPが出力されて、カラム処理部20内のCDS機能部をなすシフトトランジスタのゲートに供給され、各シフトトランジスタがオンする。すなわち、駆動信号操作部16からクランプパルスSHPが供給され、カラム処理部20内のCDS機能部をなすクランプトランジスタのゲートに供給されて、各クランプトランジスタがオンし、リセットレベルSrst が検出される(t14)。
At this time, a sample pulse SHP is output from the drive
次に、電荷生成部32についての読出選択用トランジスタ34を駆動して、電荷生成部32から信号電荷Qsig に応じた信号成分Soを読み出す。すなわち、転送ゲートパルスTRGをハイレベルにして(t16)、読出選択用トランジスタ34をオンさせ、電荷生成部32に蓄積されていた信号電荷Qsig をフローティングディフュージョン38に移送する。このフローティングディフュージョン38に移送された信号電荷Qsig の電荷量は、増幅用トランジスタ42によって検出され、その電荷量に応じた電位が発生されて垂直信号線53に伝達される。
Next, the
この後、駆動信号操作部16からクランプパルスSHDを供給して(t18)、クランプトランジスタをオンさせて、電荷生成部32が検知した信号電荷Qsig に応じた画素信号レベルSsig を検出する。 Thereafter, the clamp pulse SHD is supplied from the drive signal operation unit 16 (t18), the clamp transistor is turned on, and the pixel signal level Ssig corresponding to the signal charge Qsig detected by the charge generation unit 32 is detected.
ここで、カラム処理部20では、CDS処理機能部において、リセット相とデータ相でCDS処理を行なう。すなわち、前述のようにして取得されるリセットレベルSrst と画素信号レベルSsig との差分を取ることで、オフセット成分が取り除かれ、真の信号成分Soを検知できる。画素ごとの固定パターンノイズの除去を行なうことができる。
Here, in the
信号電荷の転送が終わり、十分時間が経った後には、垂直選択パルスSELをインアクティブ(本例ではローレベル)にする(t20)。 After the signal charge transfer is completed and a sufficient time has passed, the vertical selection pulse SEL is made inactive (low level in this example) (t20).
<垂直走査制御機能>
図4は、CMOS撮像素子12を用いた場合における垂直走査制御機能を説明する図である。なお、ここでは説明を簡単にするため、撮像部10は、カラーフィルタが設けられていないモノクロ撮像用のものであるとする。
<Vertical scanning control function>
FIG. 4 is a diagram for explaining the vertical scanning control function when the
図4に示すように、垂直走査部14の垂直アドレス設定部14xは、読出画素位置を指定するアドレス情報(具体的には駆動パルスとしての転送ゲートパルスTRGなど)を生成する機能要素として、撮像部10における奇数行(2v−1;vは正の整数)の読出対象の行アドレスφTRGoを指定する奇数行垂直アドレス設定部414oと、撮像部10における偶数行(2v)の読出対象の行アドレスφTRGeを指定する偶数行垂直アドレス設定部414eとを備えて構成されている。
As shown in FIG. 4, the vertical
ここで、奇数行垂直アドレス設定部414oおよび偶数行垂直アドレス設定部414eは、対応する行アドレスφTRGo,φTRGeを、撮像部10の下側から上側へと上側から下側への相反する方向へ1行ずつ交互に順次指定することで、同一検知条件としての同一の露光条件すなわちシャッタ速度を奇数行領域410oと偶数行領域410eのそれぞれに設定する。
Here, the odd-numbered row vertical address setting unit 414o and the even-numbered row vertical
垂直アドレス設定部14xを奇数行領域410oの読出アドレス指定を担当する機能部と偶数行領域410eの読出アドレス指定を担当する機能部に分けて構成することで、簡易なカウンタやシフトレジスタを用いてアドレス値を順次2ずつ変化させる(一方は繰り上げ、他方は繰り下げる)構成にすることができるようになり、回路構成をコンパクトにできる。もちろん、このように領域別に読出アドレス指定を担当する機能部を設けずに、ランダムアクセス機能を持つようにしてもよい。
The vertical
撮像部410の奇数行領域410oと偶数行領域410eとについて、2系統の垂直走査系統に分け、独立した画素信号の読出しを行なうに当たっては、それぞれの垂直方向の走査起点STo,STeは自由度がある。一例としては、図4に示すように、奇数行領域410oに関しては撮像部10の最下端に設定し、偶数行領域410eに関しては撮像部10の最上端に設定する。 When the odd-numbered row area 410o and the even-numbered row area 410e of the imaging unit 410 are divided into two vertical scanning systems and independent pixel signals are read out, the respective vertical scanning start points STo and STe have a degree of freedom. is there. As an example, as shown in FIG. 4, the odd row region 410 o is set to the lowermost end of the imaging unit 10, and the even row region 410 e is set to the uppermost end of the imaging unit 10.
このような走査起点STo,STeの関係にある場合、1行ごとに垂直信号線18に対して互いに相反する方向に垂直走査がなされるので、垂直信号線18を介して移動体信号処理部132には、1行目、2v行目、3行目、2v−2行目、…、2v−3行目、4行目、2v−1行目、2行目といった行順で画素信号が供給される。たとえば1フレーム200行あるとすれば、1,200,3,198,5,196,…,99,102,101,100,103,…,197,4,199,2という行順で読み出される。移動体信号処理部132は、供給された画素信号をフレームメモリ133に記憶する。
In the case of such a relationship between the scanning starting points STo and STe, the
このような画素信号の読出し方では、フレームメモリ133上の1フレーム分の画像としては、垂直走査方向が互いに逆の、1行が間引かれた1フレーム分の複数の画像情報の組合せで表わされることになる。
In such a pixel signal reading method, an image for one frame on the
このよう走査方向の異なる情報で表わされた撮像部10(1フレーム)分の画像情報を、走査方向が同じ情報で表わされた撮像部10(1フレーム)分の画像情報にする、すなわち、垂直方向の行の並びと同じにして元の画像をフレームメモリ133上で再現するには、移動体信号処理部132は、垂直2方向中の何れか一方の画像情報の走査順を反転すればよい。
The image information for the imaging unit 10 (one frame) represented by the information with different scanning directions is changed to the image information for the imaging unit 10 (one frame) represented by the same scanning direction, that is, In order to reproduce the original image on the
たとえば、偶数行の走査順が逆になるようにフレームメモリ133からの画素信号の読出しを調整することで、偶数行領域410eに関しての画像情報を垂直方向に反転させる。これにより、1行目、2行目、3行目、4行目、…、2v−3行目、2v−2行目、2v−1行目、2v行目といった行順に戻る。たとえば1フレーム200行あるとすれば、1,2,3,4,5,…,199,200の順に戻される。
For example, by adjusting the reading of the pixel signal from the
なお、このように、フレームメモリ133を利用することで画素行の並替えをする場合、フレームメモリ133としては、並替え前の画像情報を記憶する分と、並替え後の画像情報を記憶する分の計2フレーム分が必要となる。
When rearranging pixel rows by using the
一方、移動体信号処理部132に画像情報を取り込む際に、フレームメモリ133上は元の行順となるように書込行を制御するようにすれば、フレームメモリ133としては、並替え前の画像情報を記憶する分が不要となり、並替え後の画像情報を記憶する1フレーム分だけでよくなる。もちろん、ここでは画素行の並替えに関する処理に必要なフレームメモリ数について説明したものである。
On the other hand, when image data is taken into the mobile
なおフレームメモリ133上で元の行順となるように再現するのは、後述する移動体検知処理やその他の移動体に関する信号処理を行なう際に、フレームメモリ133上の画像情報の行順が撮像部10上の画像の状態と同じであることを前提としている公知の処理アルゴリズムを利用・変形できるようにするためである。処理アルゴリズムを独自に開発すれば、行順の並替えをせずに、移動体検知処理やその他の移動体に関する信号処理を行なうこともできる。
The reason for reproducing the original line order on the
<移動体信号処理>
図5は、移動体信号処理の一例を説明する図である。ここでは、1フレーム200行あり、移動体信号処理部132により、1,2,3,4,5,…,199,200の順に画素行が戻された後の画像を示している。
<Mobile signal processing>
FIG. 5 is a diagram for explaining an example of mobile signal processing. Here, there are 200 rows per frame, and the image after the pixel rows are returned in the order of 1, 2, 3, 4, 5,..., 199, 200 by the mobile
簡単のために、電子シャッタにより十分短い露光時間で画像を取り込んだ場合で考える。本実施形態における露光制御は、行ごとに露光開始時刻が異なるフォーカルプレーンシャッタであるので、フレームの開始時刻に細い実線Lstで示された位置にいた四角形画像が、このフレームの終わりの時刻には太い実線Ledで示された位置に移動する。すると撮像部10を下から上に垂直走査される奇数行に基づく画素信号からは細い一点鎖線Gstで示された平行四辺形の画像が得られ、上から下に垂直走査される偶数行に基づく画素信号からは、太い一点鎖線Gedで示された画像が得られる。 For simplicity, let us consider a case where an image is captured with an electronic shutter with a sufficiently short exposure time. Since the exposure control in the present embodiment is a focal plane shutter with different exposure start times for each row, a square image at the position indicated by the thin solid line Lst at the start time of the frame is at the end time of this frame. Move to the position indicated by the thick solid line Led. Then, a parallelogram image indicated by a thin one-dot chain line Gst is obtained from the pixel signal based on the odd-numbered rows that are vertically scanned from the bottom to the top of the imaging unit 10, and is based on the even-numbered rows that are vertically scanned from the top to the bottom. From the pixel signal, an image indicated by a thick alternate long and short dash line Ged is obtained.
このように、奇数行領域410oと偶数行領域410eについて相反する垂直方向に画素信号を読み出すことで、四角形の上側の辺と下側の辺に到達する時刻が異なる。図中に、各読出方向で四角形の上側の辺と下側の辺に到達する時刻を矢印で示す。 As described above, the pixel signals are read in the opposite vertical directions for the odd-numbered row area 410o and the even-numbered row area 410e, so that the time to reach the upper side and the lower side of the quadrilateral is different. In the figure, the time at which the upper side and the lower side of the rectangle are reached in each reading direction is indicated by arrows.
このような画像が、静止物体を撮像したものであるか移動物体を撮像したものであるかを特定するには、一般的な手法としては、撮像時点(撮像タイミング)をずらした2枚の画像の比較が必要であり、本実施形態においても、複数のフレーム画像の比較で動体であるか否かを特定する。 In order to specify whether such an image is an image of a stationary object or an image of a moving object, as a general technique, two images with different imaging time points (imaging timings) are used. In this embodiment as well, it is specified whether or not it is a moving object by comparing a plurality of frame images.
なお、後述するように、本実施形態のように、奇数行領域410oと偶数行領域410eについて相反する垂直方向に画素信号を読み出した1フレームの画像を使用することで、1フレーム内で動体検知を行なうことも可能である。 As will be described later, the moving object detection is performed within one frame by using an image of one frame obtained by reading out pixel signals in the opposite vertical directions for the odd-numbered row region 410o and the even-numbered row region 410e as in the present embodiment. It is also possible to perform.
動体を撮像したものである場合、移動体信号処理部132は、次に、上述のようにして1回の撮像で取得した図5に示す1フレーム分の画像情報を使用して、動体がどのような動作をしていたかを解析する。
If the moving object is imaged, the moving object
たとえば、200tが1フレームとすると、読出順で分かるように100行目付近では露光時刻の差異が少なく、画面の上下端に近づく程露光時刻の差異が大きくなり、動体を撮像した場合には、画面上下端に寄るほど、奇数行と偶数行の位置のずれが大きくなる。 For example, if 200t is one frame, the difference in exposure time is small in the vicinity of the 100th row as seen in the reading order, and the difference in exposure time increases as it approaches the upper and lower ends of the screen. The closer to the top and bottom of the screen, the greater the misalignment between the odd and even lines.
これにより、対応する頂点の位置のずれから移動する物体の移動速度とこのフレームのある時刻での元の形状が計算により求めることができる。たとえば、この図形の上辺は時刻73tから116tまでの時間で73行目から84=(200−116)行目まで移動したことになる。移動速度Fは、移動距離を移動時間で割った値であるから、(84−73)/(116t−73t)が垂直方向の移動速度Fvになる。同様の処理を、列方向の座標で行なえば、水平方向の移動速度Fhを求めることができる。
Thereby, the moving speed of the moving object and the original shape at a certain time of the frame can be obtained by calculation from the shift of the corresponding vertex position. For example, the upper side of the figure has moved from the 73rd line to the 84 = (200-116) line in the time from the
また、垂直方向および水平方向の各移動速度Fv,Fhを求めることができれば、あとは移動速度Fv,Fhから演算処理により、同フレームのある時刻での元の形状を求めることができる。 If the moving speeds Fv and Fh in the vertical direction and the horizontal direction can be obtained, the original shape at a certain time of the same frame can be obtained from the moving speeds Fv and Fh.
ここで、本例では、図4に示したように、奇数行領域410oに関しては撮像部10の最下端に走査起点SToを設定し、偶数行領域410eに関しては撮像部10の最上端に走査起点STeを設定している。この場合、奇数行領域410oについての走査起点SToが偶数行領域410eについての垂直走査の終点EDeと等しくなり、その時間的なずれは1フレーム分と等しくなる。よって、最大で、1フレーム分に亘る移動体の様子を特定できる。 Here, in this example, as shown in FIG. 4, the scanning start point STo is set at the lowermost end of the imaging unit 10 with respect to the odd-numbered region 410o, and the scanning starting point is set at the uppermost end of the imaging unit 10 with respect to the even-numbered region 410e. STe is set. In this case, the scanning start point STo for the odd-numbered row region 410o is equal to the vertical scanning end point EDe for the even-numbered row region 410e, and the temporal shift is equal to one frame. Therefore, it is possible to specify the state of the moving body over one frame at the maximum.
以上説明したように、上記実施形態の移動体信号処理によれば、1回の撮像で得た1フレーム分の画像を用いて、移動体の動きの様子を特定することができ、短時間で動体の様子を判断することができる。複数のフレーム間で信号処理を行なうことで移動体の動きの様子を特定する必要がなく、移動体の動きの様子を特定する信号処理回路としては1フレーム分のメモリがあればよく、フレーム内演算処理も四則演算で済み簡易である。 As described above, according to the moving body signal processing of the above embodiment, the state of movement of the moving body can be specified using an image for one frame obtained by one imaging, in a short time. The state of the moving object can be determined. It is not necessary to specify the state of movement of the moving body by performing signal processing between a plurality of frames, and a signal processing circuit for specifying the state of movement of the moving body may have a memory for one frame. Arithmetic processing is simple and requires only four arithmetic operations.
そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特開2003−162723号公報に記載のような、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。 The mechanism for that can be realized by a simple process of alternately scanning from different scanning directions, and as described in Japanese Patent Application Laid-Open No. 2003-162723, a special method for obtaining image data in which imaging regions are shifted a plurality of times. An imaging device is not required.
また、特開平08−294057号公報に記載のように、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造は必要である。 In addition, as described in Japanese Patent Application Laid-Open No. 08-294057, signal charges such as a plurality of storage capacitors for accumulating signal charges of electrical signals from the photoelectric conversion element unit in order to acquire information on different imaging timings. A special pixel structure provided with a storage element portion is necessary.
さらに、このようなことを利用することで、CMOSセンサ特有の、行によって露光蓄積期間が異なるいわゆるライン露光(あるいはフォーカルプレーンシャッタ)の不都合点を解消できる。すなわち、電子シャッタ動作を行なったときの各画素の露光蓄積期間が一定となるようにする(全行同時刻露光する)グローバルシャッタという機能を実現する特殊な画素構成にしなくても、演算処理により実質的にグローバルシャッタ機能を実現することができる。 Furthermore, by using such a feature, it is possible to eliminate the disadvantages of so-called line exposure (or focal plane shutter), which has a different exposure accumulation period depending on the row, which is peculiar to the CMOS sensor. In other words, even if a special pixel configuration that realizes a function of a global shutter that makes the exposure accumulation period of each pixel constant when performing an electronic shutter operation (exposure at the same time for all rows) is performed by an arithmetic process. A global shutter function can be substantially realized.
図6は、1フレーム分の画像で移動体検知を行なう処理を説明する図である。この図は、図5に示したものの動体部を拡大したものである。なお、本来は下から上への走査(左軸)で得られる図形(Gst)が25本(73−23)/2、上から下への走査(右軸)で得られる図形(Ged)が16本(148−116)/2本分のエリアになるが省略して示している。 FIG. 6 is a diagram illustrating a process for detecting a moving object with an image for one frame. This figure is an enlarged view of the moving part shown in FIG. Note that the figure (Gst) originally obtained by scanning from bottom to top (left axis) is 25 (73-23) / 2, and the figure (Ged) obtained by scanning from top to bottom (right axis) is obtained. The area for 16 (148-116) / 2 lines is omitted.
異なる走査方向から1行ごとに画素信号を読み出すと、1フレームの画像としては、1行ごとに非常に近い画像情報が出てくる。1行ごとに時間差を持った蓄積開始時間の画像であるから、その動体の画像情報は、他のエリアに比較して特定の空間周波数成分が非常に多いエリアになる。 When pixel signals are read out for each row from different scanning directions, very close image information appears for each row as an image of one frame. Since it is an image of the accumulation start time having a time difference for each row, the image information of the moving object is an area having a very large specific spatial frequency component compared to other areas.
たとえば、図5に示したものの動体部では、画面の上下方向の中央部に対して、画面端に近づくほど連続する2行の蓄積開始時間は大きく異なっていくので、図6に示すように、1行ごとの横縞の成分が多い画像になる。具体的には、奇数行O_hと偶数行E_aとの間では、時刻的には43t(116t−73t)の差があり空間的にはこの画面上の位置の差がある。また、奇数行O_aと偶数行E_eとの間では、時刻的には125t(128t−23t)の差があり空間的にはこの画面上の位置の差がある。 For example, in the moving body portion shown in FIG. 5, the accumulation start time of two consecutive rows is greatly different from the center portion in the vertical direction of the screen as it approaches the screen edge. An image having a large amount of horizontal stripe components for each row. More specifically, there is a difference of 43t (116t-73t) in time between the odd-numbered row O_h and the even-numbered row E_a, and there is a spatial difference in position on this screen. Further, there is a difference of 125t (128t-23t) in time between the odd-numbered row O_a and the even-numbered row E_e, and there is a difference in position on the screen spatially.
このような性質に着目して、1フレーム分の画像である2次元情報に基づいて空間的な周波数成分について演算処理を行なうことで抽出すると、1フレームで動体を検出することができる。たとえば、特定空間周波数の高いエリアを切り出してその偶数行と奇数行の形状から時間情報を取り出すことができる(たとえば、“ビデオ信号の基礎とその操作方法”、第5章、p147〜156、今村元一著、CQ出版社、2003.5,1発行を参照)。
Focusing on such properties, if a spatial frequency component is extracted by performing arithmetic processing based on two-dimensional information that is an image for one frame, a moving object can be detected in one frame. For example, it is possible to cut out an area with a high specific spatial frequency and extract time information from the shapes of the even and odd rows (for example, “Video signal basics and operation method”,
これにより、たとえば、複数フレーム分の画像を保持しておくフレームメモリが不要になる利点が得られる。また、その結果を、フォーカルプレーン現象の補正処理に応用することができる。 Thereby, for example, there is an advantage that a frame memory for holding images for a plurality of frames becomes unnecessary. In addition, the result can be applied to the focal plane phenomenon correction process.
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various changes or improvements can be added to the above-described embodiment without departing from the gist of the invention, and embodiments to which such changes or improvements are added are also included in the technical scope of the present invention.
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。 Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of features described in the embodiments are not necessarily essential to the solution means of the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, as long as an effect is obtained, a configuration from which these some constituent requirements are deleted can be extracted as an invention.
たとえば、上記実施形態では、垂直走査方向を複数系統に分けて独立に制御する(典型例としては2系統に分けて逆方向に走査する)事例を示したが、水平走査方向を複数系統に分けて独立に制御する(典型例としては2系統に分けて逆方向に走査する)ことも可能である。また、垂直走査方向と水平走査方向のそれぞれを複数系統に分けて独立に制御することもできる。水平走査は、垂直走査に比べて高速であるから、この例の場合、水平方向への動きの速い被写体の移動の様子を検知することや、その高速移動体の元の形状を特定することができる。 For example, in the above-described embodiment, the vertical scanning direction is divided into a plurality of systems and controlled independently (typically divided into two systems and scanned in the reverse direction). However, the horizontal scanning direction is divided into a plurality of systems. It is also possible to control them independently (typically, they are divided into two lines and scanned in the reverse direction). Further, each of the vertical scanning direction and the horizontal scanning direction can be divided into a plurality of systems and controlled independently. Since horizontal scanning is faster than vertical scanning, in this example, it is possible to detect the movement of a subject that moves quickly in the horizontal direction and to specify the original shape of the high-speed moving body. it can.
また、図5に示した移動体信号処理の説明では、輝度信号のみを考慮してモノクロ撮像用のもので示したが、カラー用の単板撮像素子の場合には、色分離フィルタの配列の繰返単位を構成する色の組合せを基準に、走査方向を制御すればよい。たとえば、ベイヤ(Bayer)配列ならば、1行目と2行目,200行目と199行目,5行目と6行目,196行目と195行目というように、2行を1組にして取り扱えば同様の処理が可能である。 In the description of the mobile signal processing shown in FIG. 5, only the luminance signal is taken into account for monochrome imaging. However, in the case of a single color image sensor for color, the arrangement of the color separation filters is shown. The scanning direction may be controlled on the basis of the combination of colors constituting the repeating unit. For example, in the case of a Bayer array, a set of two rows, such as the first and second rows, the 200th and 199th rows, the fifth and sixth rows, the 196th and 195th rows, etc. The same processing is possible if handled as above.
また、上記実施形態の垂直走査制御動作においては、領域分割した奇数行領域410oと偶数行領域410eについての垂直走査に当たって、その走査起点を撮像部10の最下端と最上端に設定していたが、走査起点が何処であるかに拘らず、走査方向が互いに異なるものであればよく、その他に設定することもできる。 In the vertical scanning control operation of the above-described embodiment, the vertical scanning of the odd-numbered row area 410o and the even-numbered row area 410e obtained by dividing the area is set at the lowermost end and the uppermost end of the imaging unit 10. Regardless of where the scanning starting point is, the scanning directions may be different from each other, and other scanning directions may be set.
たとえば、奇数行領域410oの走査起点SToを奇数行領域410oと偶数行領域410eとの境界に設定しつつ、偶数行領域410eの走査起点STeを、撮像部410の最上端に設定することもできる。この場合、奇数行領域410oについての走査起点SToが偶数行領域410eについての垂直走査の中間位置と等しくなり、その時間的なずれは1フ1/2フレーム分と等しくなる。よって、最大で、1/2フレーム分に亘る移動体の様子を特定できる。 For example, the scanning start point STe of the even-numbered row area 410e can be set to the uppermost end of the imaging unit 410 while setting the scanning start point STo of the odd-numbered row area 410o to the boundary between the odd-numbered row area 410o and the even-numbered row area 410e. . In this case, the scanning start point STo for the odd-numbered row region 410o is equal to the intermediate position of the vertical scanning for the even-numbered row region 410e, and the temporal shift is equal to one half frame. Therefore, it is possible to specify the state of the moving body for a maximum of 1/2 frame.
また、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするCMOS型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置(特開2002−7984や特開2001−125734などを参照)など、その他の物理的な変化を検知する仕組みにおいて、動体を検出する仕組みが必要な場合に、上記実施形態の仕組みを同様に適用することができる。 In the above embodiment, the CMOS type solid-state imaging device that is sensitive to electromagnetic waves input from the outside such as light and radiation is exemplified. However, in any of the above embodiments, any device that detects a change in physical quantity can be used. The described mechanism can be applied, and is not limited to light or the like. For example, a fingerprint authentication device that detects fingerprint images based on changes in electrical characteristics or optical characteristics based on pressure for information related to fingerprints (Japanese Patent Application Laid-Open No. 2002-7984). In the mechanism for detecting other physical changes, such as JP-A-2001-125734 and the like, the mechanism of the above embodiment can be similarly applied when a mechanism for detecting a moving object is required.
1…固体撮像装置、3…単位画素、7…駆動制御部、10…撮像部、12…水平走査部、12x…水平アドレス設定部、14…垂直走査部、14x…垂直アドレス設定部、16…駆動信号操作部、18…垂直信号線、20…カラム処理部、22…カラム信号処理部、86…水平信号線、88…出力部、100…外部回路、130…デジタル信号処理部、132…移動体信号処理部、133…フレームメモリ、410e…偶数行領域、410o…奇数行領域、414e…偶数行垂直アドレス設定部、414o…奇数行垂直アドレス設定部
DESCRIPTION OF
Claims (4)
複数の行を垂直走査方向に複数系統に分けて独立して制御する機能を有し、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査可能に構成されており、垂直アドレスに応じて対応する垂直制御線を走査する、垂直走査部と、
水平方向のアドレスを規定する水平アドレス設定部と、当該水平アドレス設定部にて規定された読み出しアドレスに従って前記複数の垂直信号線から取り出された前記複数の単位画素の信号を撮像信号を取り出す水平信号線に導く、水平駆動部とを有する、水平走査部と、
前記水平信号線に接続された、フレームメモリと、
を有し、
前記垂直走査部は、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査して、奇数行の複数の単位画素の検出信号と偶数行の複数の単位画素の検出信号とを交互に読みだして、前記フレームメモリに記憶する、
固体撮像装置。 An imaging unit in which a plurality of unit pixels that generate electrical signals according to the amount of incident light are two-dimensionally arranged at intersections of a plurality of vertical control lines and a plurality of vertical signal lines;
A plurality of rows are divided into a plurality of systems in the vertical scanning direction and controlled independently, and are configured to be able to scan in a direction opposite to the vertical signal line for each row in one frame. A vertical scanning unit that scans a corresponding vertical control line according to
A horizontal address setting unit for defining a horizontal address, and a horizontal signal for extracting imaging signals from the plurality of unit pixels extracted from the plurality of vertical signal lines in accordance with a read address defined by the horizontal address setting unit A horizontal scanning unit having a horizontal driving unit that leads to a line;
A frame memory connected to the horizontal signal line;
Have
The vertical scanning unit, the scanning in the opposite direction to the vertical signal line for each row in one frame, the detection signals of a plurality of unit pixels of the detection signal and the even lines of the plurality of unit pixels in the odd rows and the reads out alternately, be stored before Symbol frame memory,
Solid-state imaging device.
前記信号処理手段は、前記偶数行の走査順が逆になるように、前記フレームメモリからの単位画素信号の読み出しを調整する、
請求項1に記載の固体撮像装置。 The solid-state imaging device further includes signal processing means connected to the frame memory,
The signal processing means adjusts the reading of the unit pixel signal from the frame memory so that the scanning order of the even-numbered rows is reversed;
The solid-state imaging device according to claim 1.
前記信号処理手段は、前記フレームメモリに記憶された1フレーム内の奇数行の単位画素の検出信号と偶数行の単位画素の検出信号とから被写体の動きを検出する、
請求項1または2に記載の固体撮像装置。 The solid-state imaging device further includes an electronic shutter, and the electronic shutter is driven to detect the plurality of unit pixels with a sufficiently short exposure time, and is stored in the frame memory via the horizontal signal line,
The signal processing means detects the motion of the subject from the detection signal of the odd-numbered unit pixels and the detection signal of the even-numbered unit pixels in one frame stored in the frame memory;
The solid-state imaging device according to claim 1 or 2.
前記垂直走査部は、1フレーム内において1行ごとに前記垂直信号線に相反する方向に走査して、奇数行の複数の単位画素の検出信号と偶数行の複数の単位画素の検出信号とを交互に読みだして、前記フレームメモリに記憶する、
固体撮像装置の制御方法。 And not that imaging section is disposed two-dimensionally in each of the intersections of a plurality of unit pixels for generating an electrical signal corresponding to the incident light quantity and the vertical control lines and multiple vertical signal lines of multiple, more has a line function of controlling independently divided into a plurality of systems in the vertical scanning direction, it is scannable configured in opposite directions to the vertical signal line for each row in one frame Contact Rishide straight address taken corresponds a vertical scanning unit which scans the vertical control lines, from the plurality of vertical signal lines according to a prescribed read address in the horizontal address setting unit and those horizontal address setting unit that defines a horizontal address in accordance with the a solid-state imaging having a horizontal scanning unit that have a an electrically rather horizontal driving unit to the horizontal signal lines, and a frame memory connected to said horizontal signal line for taking out an image signal a signal of the plurality of unit pixels Equipment control It ’s your way,
The vertical scanning unit, the scanning in the opposite direction to the vertical signal line for each row in one frame, the detection signals of a plurality of unit pixels of the detection signal and the even lines of the plurality of unit pixels in the odd rows and the reads out alternately, be stored before Symbol frame memory,
Control method of solid-state imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005027363A JP4609092B2 (en) | 2005-02-03 | 2005-02-03 | Physical information acquisition method and physical information acquisition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005027363A JP4609092B2 (en) | 2005-02-03 | 2005-02-03 | Physical information acquisition method and physical information acquisition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006217213A JP2006217213A (en) | 2006-08-17 |
JP4609092B2 true JP4609092B2 (en) | 2011-01-12 |
Family
ID=36980060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005027363A Expired - Fee Related JP4609092B2 (en) | 2005-02-03 | 2005-02-03 | Physical information acquisition method and physical information acquisition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4609092B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5157377B2 (en) * | 2007-11-12 | 2013-03-06 | 株式会社ニコン | Focus detection apparatus and imaging apparatus |
JP5061858B2 (en) * | 2007-11-12 | 2012-10-31 | 株式会社ニコン | Focus detection apparatus and imaging apparatus |
JP5398610B2 (en) * | 2010-03-19 | 2014-01-29 | 富士フイルム株式会社 | Solid-state electronic imaging device and operation control method thereof |
JP5621485B2 (en) * | 2010-10-06 | 2014-11-12 | 株式会社ニコン | Imaging apparatus and image processing apparatus |
JP5522078B2 (en) * | 2011-02-16 | 2014-06-18 | 株式会社Jvcケンウッド | Imaging apparatus and image distortion correction method for imaging apparatus |
JP2013074372A (en) * | 2011-09-27 | 2013-04-22 | Samsung Electronics Co Ltd | Imaging apparatus and distortion detection method |
JP6131556B2 (en) | 2012-09-28 | 2017-05-24 | 富士通株式会社 | Imaging signal processing apparatus and imaging signal processing method |
CN104052944A (en) * | 2013-03-15 | 2014-09-17 | 三星电子株式会社 | Performing spatial & temporal image contrast detection in pixel array |
US9204143B2 (en) * | 2013-03-15 | 2015-12-01 | Samsung Electronics Co., Ltd. | Image sensor, operation method thereof, and system including the same |
JP6477193B2 (en) * | 2015-04-20 | 2019-03-06 | 株式会社ソシオネクスト | Image processing apparatus and image processing method |
JP6732625B2 (en) * | 2016-10-07 | 2020-07-29 | キヤノン株式会社 | Imaging device and imaging system |
JP7343227B1 (en) | 2022-03-29 | 2023-09-12 | 三男 眞鍋 | position measuring device |
CN117350315B (en) * | 2023-10-30 | 2024-04-05 | 苏州远景达自动识别技术有限公司 | Intelligent code scanning machine based on express delivery is got and is used |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63302680A (en) * | 1987-06-01 | 1988-12-09 | Fujitsu Ltd | Scanning type image pickup device |
JPH02200087A (en) * | 1989-01-30 | 1990-08-08 | Hitachi Denshi Ltd | Image pickup device and image pickup element |
JPH05110950A (en) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | Image displacement detector |
JPH089363A (en) * | 1994-03-24 | 1996-01-12 | Sony Corp | Device and method for detecting motion and image pickup method |
JP2000184282A (en) * | 1998-12-15 | 2000-06-30 | Canon Inc | Image pickup device, drive method for the image pickup device, image processing method, information recording medium and image processing system |
-
2005
- 2005-02-03 JP JP2005027363A patent/JP4609092B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63302680A (en) * | 1987-06-01 | 1988-12-09 | Fujitsu Ltd | Scanning type image pickup device |
JPH02200087A (en) * | 1989-01-30 | 1990-08-08 | Hitachi Denshi Ltd | Image pickup device and image pickup element |
JPH05110950A (en) * | 1991-10-18 | 1993-04-30 | Olympus Optical Co Ltd | Image displacement detector |
JPH089363A (en) * | 1994-03-24 | 1996-01-12 | Sony Corp | Device and method for detecting motion and image pickup method |
JP2000184282A (en) * | 1998-12-15 | 2000-06-30 | Canon Inc | Image pickup device, drive method for the image pickup device, image processing method, information recording medium and image processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2006217213A (en) | 2006-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4609092B2 (en) | Physical information acquisition method and physical information acquisition device | |
CN110771155B (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
US7561199B2 (en) | Solid-state image pickup device | |
JP4979893B2 (en) | Physical quantity distribution detection device, physical information acquisition method, and physical information acquisition device | |
JP4290066B2 (en) | Solid-state imaging device and imaging system | |
JP5089017B2 (en) | Solid-state imaging device and solid-state imaging system | |
JP4691930B2 (en) | PHYSICAL INFORMATION ACQUISITION METHOD, PHYSICAL INFORMATION ACQUISITION DEVICE, PHYSICAL QUANTITY DISTRIBUTION SENSING SEMICONDUCTOR DEVICE, PROGRAM, AND IMAGING MODULE | |
JP4821921B2 (en) | Solid-state imaging device and electronic apparatus | |
US20060043440A1 (en) | Imaging device and imaging system | |
US20060181625A1 (en) | CMOS image sensor with wide dynamic range | |
US8208047B2 (en) | Imager and imaging method for digital cinematography | |
JP2006352843A (en) | Imaging apparatus and control method | |
JP2006197393A (en) | Solid-state imaging device, driving method thereof and camera | |
JP2005347932A (en) | Solid-state imaging unit and imaging system | |
JP2007336519A (en) | Solid-state image pickup device | |
US7528872B2 (en) | Image apparatus, driving method, and camera | |
US20210104562A1 (en) | Image sensor, focus adjustment device, and imaging device | |
JP4736819B2 (en) | PHYSICAL INFORMATION ACQUISITION METHOD, PHYSICAL INFORMATION ACQUISITION DEVICE, AND DRIVE DEVICE | |
JP2007166600A (en) | Solid-state image pickup device | |
JP4510523B2 (en) | Solid-state imaging device and imaging system | |
JP4929584B2 (en) | Signal processing method, signal processing apparatus, and semiconductor device for detecting physical quantity distribution | |
JP4336508B2 (en) | Imaging device | |
JP2007143067A (en) | Image sensing device and image sensing system | |
JP6825675B2 (en) | Image sensor and image sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070830 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091007 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100927 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |