Nothing Special   »   [go: up one dir, main page]

WO2018124050A1 - 撮像装置、カメラ及び撮像方法 - Google Patents

撮像装置、カメラ及び撮像方法 Download PDF

Info

Publication number
WO2018124050A1
WO2018124050A1 PCT/JP2017/046594 JP2017046594W WO2018124050A1 WO 2018124050 A1 WO2018124050 A1 WO 2018124050A1 JP 2017046594 W JP2017046594 W JP 2017046594W WO 2018124050 A1 WO2018124050 A1 WO 2018124050A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel signal
correction
processing unit
image processing
Prior art date
Application number
PCT/JP2017/046594
Other languages
English (en)
French (fr)
Inventor
寿人 吉松
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2018124050A1 publication Critical patent/WO2018124050A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to an imaging apparatus, a camera including the imaging apparatus, and an imaging method thereof.
  • Patent Document 1 An imaging apparatus that captures an image using an image sensor is known (see, for example, Patent Document 1).
  • the present disclosure provides an imaging apparatus, a camera, and an imaging method in which the image processing speed is increased as compared with the conventional art.
  • an imaging device is obtained from a solid-state imaging device having a plurality of pixels arranged in a matrix and capable of non-destructive readout, and after the exposure is completed
  • An image processing unit that generates a captured image by correcting the first pixel signal, and a memory that stores the first pixel signal corrected by the image processing unit. Correction is performed based on the second pixel signal acquired from the solid-state image sensor by nondestructive readout during exposure.
  • a camera includes the above-described imaging device and a lens that collects external light on the imaging device.
  • the imaging method acquires a first pixel signal after completion of exposure from a solid-state imaging device that is arranged in a matrix and includes a plurality of pixels that can be read nondestructively,
  • the captured image is generated by correcting the first pixel signal based on the second pixel signal acquired from the solid-state imaging device by nondestructive readout.
  • the speed of image processing is increased.
  • FIG. 1 is a block diagram illustrating an overall configuration of an imaging apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a circuit configuration of a pixel according to the embodiment.
  • FIG. 3 is a functional block diagram of a camera in which the imaging device according to the embodiment is built.
  • FIG. 4A is a flowchart illustrating the operation of the imaging apparatus according to the embodiment.
  • FIG. 4B is a flowchart illustrating the operation of the imaging apparatus according to the conventional example.
  • FIG. 5 is a diagram for explaining the flow of image processing according to the embodiment.
  • FIG. 6 is a diagram illustrating an image generated by the image processing according to the embodiment.
  • FIG. 7 is an external view of a camera in which the imaging device according to the embodiment is built.
  • FIG. 1 is a block diagram showing an overall configuration of an imaging apparatus 10 according to the present embodiment.
  • the imaging apparatus 10 shown in the figure includes a solid-state imaging device 100, a signal processing unit 300, a display unit 500 (see FIG. 3), and an operation unit 600 (see FIG. 3).
  • the solid-state imaging device 100 includes a pixel array unit 110, a column AD conversion unit 120, a row scanning unit 130, a column scanning unit 140, and a drive control unit 150.
  • a column signal line 160 is arranged for each pixel column
  • a scanning line 170 is arranged for each pixel row.
  • the display unit 500 and the operation unit 600 included in the imaging device 10 are not illustrated.
  • the pixel array unit 110 is an imaging unit in which a plurality of pixels 210 are arranged in a matrix.
  • the column AD conversion (analog / digital converter) unit 120 digitally converts a signal (analog signal) input from each column signal line 160 to acquire, hold, and output a digital value corresponding to the amount of light received by the pixel 210. It is the conversion part.
  • the row scanning unit 130 has a function of controlling the reset operation, charge accumulation operation, and readout operation of the pixels 210 in units of rows.
  • the column scanning unit 140 causes the signal processing unit 300 to output the digital values for one row held in the column AD conversion unit 120 to the row signal line 180 sequentially.
  • the drive control unit 150 controls each unit by supplying various control signals to the row scanning unit 130 and the column scanning unit 140.
  • the drive control unit 150 supplies various control signals to the row scanning unit 130 and the column scanning unit 140 based on a control signal from the signal processing unit 300.
  • FIG. 2 is a diagram illustrating an example of a circuit configuration of the pixel 210 according to this embodiment.
  • the pixel 210 includes a photoelectric conversion element 211, a reset transistor 212, an amplification transistor 213, a selection transistor 214, and a charge storage unit 215.
  • the photoelectric conversion element 211 is a photoelectric conversion unit that photoelectrically converts received light into signal charges (pixel charges).
  • the photoelectric conversion element 211 includes an upper electrode 211a, a lower electrode 211b, and a photoelectric conversion film 211c sandwiched between both electrodes.
  • the photoelectric conversion film 211c is a film made of a photoelectric conversion material that generates an electric charge according to received light.
  • the photoelectric conversion film 211c is made of an organic photoelectric conversion film containing organic molecules having a high light absorption function. ing.
  • the photoelectric conversion element 211 according to the present embodiment is an organic photoelectric conversion element having an organic photoelectric conversion film
  • the solid-state imaging element 100 is an organic sensor using the organic photoelectric conversion element. Note that the organic photoelectric conversion film is formed across the plurality of pixels 210. Each of the plurality of pixels 210 has an organic photoelectric conversion film.
  • the thickness of the photoelectric conversion film 211c is, for example, about 500 nm. Moreover, the photoelectric conversion film 211c is formed using, for example, a vacuum deposition method.
  • the organic molecule has a high light absorption function over the entire visible light wavelength range from about 400 nm to about 700 nm.
  • the photoelectric conversion element 211 included in the pixel 210 according to the present embodiment is not limited to the organic photoelectric conversion film described above, and may be, for example, a photodiode formed of an inorganic material. .
  • the upper electrode 211a is an electrode facing the lower electrode 211b, and is formed on the photoelectric conversion film 211c so as to cover the photoelectric conversion film 211c. That is, the upper electrode 211a is formed across a plurality of pixels 210.
  • the upper electrode 211a is made of a transparent conductive material (for example, ITO: indium / titanium / tin) in order to make light incident on the photoelectric conversion film 211c.
  • the lower electrode 211b is an electrode for taking out electrons or holes generated in the photoelectric conversion film 211c between the opposed upper electrode 211a.
  • the lower electrode 211b is formed for each pixel 210.
  • the lower electrode 211b is made of, for example, Ti, TiN, Ta, Mo, or the like.
  • the charge accumulating unit 215 is connected to the photoelectric conversion element 211 and accumulates signal charges taken out via the lower electrode 211b.
  • the reset transistor 212 has a drain supplied with a reset voltage VRST, a source connected to the charge storage unit 215, and resets (initializes) the potential of the charge storage unit 215. Specifically, a predetermined voltage is supplied (turned on) from the row scanning unit 130 to the gate of the reset transistor 212 via the reset scanning line 170A, so that the reset transistor 212 has the potential of the charge storage unit 215. To reset. Further, by stopping the supply of a predetermined voltage, signal charges are accumulated in the charge accumulation unit 215 (exposure is started).
  • the amplification transistor 213 has a gate connected to the charge storage unit 215, a power supply voltage VDD supplied to the drain, and outputs a pixel signal corresponding to the amount of signal charge stored in the charge storage unit 215.
  • the selection transistor 214 has a drain connected to the source of the amplification transistor 213, a source connected to the column signal line 160, and determines the timing for outputting the pixel signal from the amplification transistor 213. Specifically, a pixel signal is output from the amplification transistor 213 by supplying a predetermined voltage from the row scanning unit 130 to the gate of the selection transistor 214 via the selection scanning line 170B.
  • the pixel 210 having the above configuration can perform nondestructive readout.
  • the non-destructive reading means reading out a pixel signal corresponding to the amount of charge without destroying the charge (signal charge) accumulated in the charge accumulation unit 215 during exposure. Note that “during exposure” is used to mean any timing within the exposure time.
  • the column AD conversion unit 120 includes an AD converter 121 provided for each column signal line 160.
  • the AD converter 121 is, for example, a 14-bit AD converter.
  • the AD converter 121 digitally converts an analog pixel signal output from the pixel 210 using a ramp method, and outputs a digital value corresponding to the amount of light received by the pixel 210.
  • the AD converter 121 includes a comparator and an up / down counter (not shown).
  • the ramp-type AD conversion is an AD conversion using a ramp wave.
  • a ramp wave whose voltage rises at a constant slope is started, and from the start point.
  • the time until the voltages of both signals (the input signal and the ramp wave) coincide with each other is measured, and the measured time is output as a digital value.
  • the comparator compares the voltage of the column signal with the voltage of the reference signal input as a ramp wave, and outputs a signal indicating the timing at which the voltage of the reference signal matches the voltage of the column signal.
  • the up / down counter counts down (or up) during a period from when the reference signal is input to the comparator to when the reference signal reaches the voltage of the column signal indicating the reference component.
  • Digital corresponding to the difference obtained by subtracting the reference component from the signal component of the column signal by performing up-counting (or down-counting) in the period from when the reference signal reaches the voltage of the column signal indicating the signal component Keep the value finally.
  • the digital values held in the up / down counters are sequentially output to the row signal line 180 and output to the signal processing unit 300 via an output circuit (not shown, but an output buffer or the like).
  • the drive control unit 150 controls the row scanning unit 130 and the column scanning unit 140 to perform a reset operation, a charge accumulation operation, and a readout operation in the pixel 210 or a digital signal from the AD converter 121 to the signal processing unit 300. Controls the output operation of.
  • the drive control unit 150 controls the row scanning unit 130, sequentially applies a predetermined voltage to the selection scanning line 170B, and outputs a pixel signal (analog). .
  • the drive control unit 150 also controls the column scanning unit 140 to sequentially output pixel signals (digital values) held in the AD converter 121 to the signal processing unit 300.
  • FIG. 3 is a functional block diagram of the camera 1 including the imaging device 10 and the lens 400 according to the present embodiment.
  • the camera 1 shown in the figure includes a solid-state imaging device 100, a signal processing unit 300, a lens 400, a display unit 500, and an operation unit 600.
  • the signal processing unit 300 includes a control unit 310, an image processing unit 320, and a memory 330.
  • the light that has passed through the lens 400 enters the solid-state imaging device 100.
  • the signal processing unit 300 drives the solid-state image sensor 100 and captures a pixel signal (digital value) from the solid-state image sensor 100.
  • the image processing unit 320 captures a pixel signal from the solid-state imaging device 100.
  • the image processing unit 320 performs predetermined signal processing on the pixel signal acquired from the solid-state imaging device 100 to generate a captured image.
  • the generated captured image is stored in the memory 330.
  • the generated captured image is output to the display unit 500.
  • the pixel signal (digital value) is an example of the first pixel signal.
  • the captured image is an image displayed or recorded to the user in the case of a camera, for example.
  • control unit 310 reads a program from the memory 330 and executes the read program.
  • the control unit 310 is realized by a processor.
  • the processor functions as the control unit 310 when the software program stored in the memory 330 is executed by the processor.
  • the control unit 310 is realized by reading the software program from the nonvolatile memory to the volatile memory and executing the read software program by the processor.
  • the control unit 310 controls the drive control unit 150.
  • other units may be controlled.
  • the control unit 310 may perform control according to the input.
  • the control unit 310 may control the lens 400 (specifically, a motor that controls the position of the lens 400) to adjust the focus of the subject.
  • the image processing unit 320 generates a captured image by performing predetermined correction on the first pixel signal acquired from the solid-state imaging device 100 after the exposure is completed. Specifically, the image processing unit 320 performs a predetermined correction on the first pixel signal based on the second pixel signal acquired from the solid-state imaging device 100 by nondestructive readout during exposure, thereby obtaining a captured image. Generate.
  • the predetermined correction means that information for correction (for example, a correction value for correction applied to the first pixel signal) is obtained unless image data for one frame (second pixel signal for one frame) is used. Correction that cannot be performed, for example, gradation correction, image blur correction, or white balance correction.
  • the present embodiment is characterized in that the above-described correction is performed on the first pixel signal based on the analysis result of the second pixel signal.
  • the image processing unit 320 reads a program from the memory 330 and executes the read program.
  • the image processing unit 320 is realized by a processor.
  • the processor functions as the image processing unit 320 when the software program stored in the memory 330 is executed by the processor.
  • the image processing unit 320 is realized by reading a software program from a nonvolatile memory into a volatile memory and executing the read software program by a processor. Note that the image processing unit 320 may perform the above correction under the control of the control unit 310.
  • control unit 310 and the image processing unit 320 may be realized by a microcomputer.
  • each of the control unit 310 and the image processing unit 320 includes a nonvolatile memory in which an operation program is stored, a volatile memory that is a temporary storage area for executing the program, an input / output port, and a processor that executes the program. Etc.
  • the first pixel signal is corrected so that overexposure and blackout are not likely to occur. Specifically, the overexposed pixels are corrected dark and the blacked out pixels are corrected brightly. In the gradation correction, other pixels are also corrected as necessary, so that an image in which whiteout and blackout are reduced and the brightness balance is adjusted as a whole is generated.
  • the image processing unit 320 uses the second pixel signal (image data generated by the second pixel signal) acquired by nondestructive reading.
  • a blur image is generated from the second pixel signal for one frame, and the first pixel signal is corrected by calculating the generated blur image and the first pixel signal.
  • the first pixel signal is corrected for each pixel 210.
  • the correction value of the first pixel signal is obtained by calculating the brightness of the first pixel signal of one pixel 210 and the brightness of the pixel of the blurred image corresponding to the first pixel signal.
  • a captured image is generated by correcting the first pixel signal with the correction value.
  • the blurred image is an example of a correction image.
  • a blurred image and the first pixel signal are calculated, and a captured image is generated by correcting the first pixel signal from the calculation result.
  • an image (an example of a correction image) generated by the second pixel signal acquired by nondestructive readout and an image generated by the first or second pixel signal in the previous frame, for example.
  • the motion vector is acquired from the above, and the first pixel signal is corrected according to the acquired motion vector.
  • the direction and amount of image blurring are specified from the motion vector, and the image generated by the first pixel signal is translated in accordance with the direction and amount, so that the correction is performed.
  • the image generated by the first pixel signal is translated so that the motion vector becomes small.
  • the signal processing unit 300 calculates one motion vector for one frame image.
  • one frame image is divided into a plurality of windows (smaller areas smaller than one frame image), a motion vector is acquired for each window, and a motion vector in one frame image is acquired from the motion vector in each window.
  • acquiring a motion vector using a correction image is an example of image analysis.
  • the white balance correction the white balance of the first pixel signal is corrected from the analysis result of the second pixel signal in the same manner as described above.
  • the white balance is corrected after correcting the offset (correcting the OB step when the analog signal is converted into the digital signal)
  • the second pixel acquired by nondestructive readout is also used in the offset correction.
  • a signal may be used. Note that image blur correction, white balance correction, and the like need not use a blurred image, and can be performed by using an image for one frame acquired by nondestructive reading.
  • correction image or image analysis using the generated correction image is an example of image processing.
  • the image data (image) generated by the second pixel signal acquired by non-destructive readout during exposure is an image that is generally darker than the captured image generated by the first pixel signal acquired after the exposure is completed. It becomes. Therefore, the brightness of the image data can be adjusted by amplifying the second pixel signal (correcting the gain with respect to the brightness) before generating the correction image using the second pixel signal. Good. Specifically, adjustment to increase the brightness may be performed.
  • the memory 330 functions as a work memory for the image processing unit 320.
  • the memory 330 temporarily stores image data processed by the image processing unit 320, image data (first pixel signal) input from the solid-state imaging device 100 before being processed by the image processing unit 320, and the like. .
  • the memory 330 has a nonvolatile memory and a volatile memory.
  • the non-volatile memory stores a program corresponding to processing executed by the imaging apparatus 10, and captured image data.
  • the volatile memory is used as a work memory when the processor performs processing, for example.
  • the nonvolatile memory can be realized by a semiconductor memory such as a ferroelectric memory or a flash memory, for example.
  • the volatile memory can be realized by a semiconductor memory such as DRAM (Dynamic Random Access Memory).
  • the memory 330 only needs to be included in the imaging apparatus 10 and may not be included in the signal processing unit 300.
  • the non-volatile memory may be an external memory that is detachably connected to the imaging device 10.
  • the external memory is realized by a memory card such as an SD card (registered trademark), for example.
  • image data captured by the imaging device 10 is stored in the external memory.
  • the display unit 500 is a display device that displays the captured image generated by the signal processing unit 300, and is a liquid crystal monitor, for example.
  • the display unit 500 can display various setting information. For example, the display unit 500 can display shooting conditions (aperture, ISO sensitivity, etc.) at the time of shooting.
  • the operation unit 600 is an input unit that receives input from the user, and is, for example, a release button or a touch panel.
  • the touch panel is bonded to a liquid crystal monitor. An imaging instruction from the user, a change in imaging conditions, and the like are accepted.
  • the imaging device 10 may include an interface (not shown) for performing communication between an external circuit and the solid-state imaging device 100 or the signal processing unit 300.
  • the interface is, for example, a communication port made of a semiconductor integrated circuit.
  • FIG. 4A is a flowchart showing the operation of the imaging apparatus 10 according to the present embodiment.
  • FIG. 4B is a flowchart illustrating the operation of the imaging apparatus according to the conventional example.
  • the conventional example shows an example in which correction is performed using a pixel signal (first pixel signal) acquired after the exposure is completed. That is, in the conventional example, correction is performed without performing nondestructive reading.
  • FIG. 4A and FIG. 4B are examples of flowcharts showing the operation in the case where gradation correction is performed.
  • the solid-state imaging device 100 starts exposure under the control of the control unit 310 (S1). Thereby, charges corresponding to the amount of received light are accumulated in each of the plurality of pixels 210. Specifically, charges corresponding to the amount of light received by the photoelectric conversion element 211 are accumulated in the charge accumulation unit 215.
  • control unit 310 performs control to execute non-destructive reading that reads out the charges accumulated in the charge accumulation unit 215 of each pixel 210 during the exposure without destroying them. More specifically, the control unit 310 controls the drive control unit 150 and performs AD conversion in the column AD conversion unit 120 for each pixel row, so that the accumulated charge (pixel signal) is a digital value ( Second pixel signal). The converted digital values are sequentially output to the signal processing unit 300 by the column scanning unit 140. That is, the signal processing unit 300 acquires the second pixel signal by nondestructive reading (S2). Note that the potential of the charge storage portion 215 is not reset by the reset transistor 212 after performing nondestructive reading.
  • the image processing unit 320 generates a blurred image (an example of a correction image) from the acquired second pixel signal (S3).
  • the image processing unit 320 may generate a blurred image having a lower resolution than an image generated from the second pixel signal or a captured image. For example, when the resolution of the image generated from the second pixel signal or the captured image is 5000 ⁇ 4000, the resolution of the blurred image is 50 ⁇ 40 or the like.
  • the blurred image is generated by accumulating the second pixel signals for one frame, reducing the image, and further enlarging the image.
  • the pixel values of a plurality of adjacent pixels 210 are integrated to calculate one pixel value, which is reduced.
  • An image is generated.
  • the resolution of the reduced image is the same as that of the blurred image, and is 50 ⁇ 40, for example.
  • the reduced image is enlarged.
  • the reduced image is enlarged to, for example, the image size before reduction.
  • the resolution of the enlarged image (that is, the blurred image) is the same as the resolution of the reduced image, and is 50 ⁇ 40, for example.
  • the blurred image has, for example, an image size that is the same as the image size before the reduction, and a resolution that is lower than the image before the reduction.
  • the generated blurred image may be held by the image processing unit 320 or stored in the memory 330, for example. That is, the image processing unit 320 may store the generated blurred image in the memory 330, or may store the blurred image in the memory when the image processing unit 320 includes a memory (not shown). In the following description, an example in which the image processing unit 320 stores a blurred image in the memory 330 will be described. Note that the blurred image may be generated by performing low-pass filter processing on an image generated by the acquired second pixel signal.
  • the exposure in the solid-state imaging device 100 ends (S4). That is, in the imaging apparatus 10 according to the present embodiment, generation of a blurred image in the image processing unit 320 is completed before the exposure of the solid-state imaging device 100 is completed.
  • the control unit 310 performs nondestructive readout from the exposure time and the time (first time) required from the acquisition of the second pixel signal until the generation of the blurred image is completed (S2 and S3). You may control the timing to do. For example, the control unit 310 may cause the solid-state imaging device 100 to perform nondestructive reading at a time that is a first time back from the time when the exposure ends.
  • the image processing unit 320 can increase the brightness of the second pixel signal acquired by nondestructive readout and generate a blurred image before the end of exposure. That is, the image processing unit 320 can correct the first pixel signal sequentially acquired for each pixel 210 after the exposure is completed at the time when the first pixel signal is acquired. Further, since the brightness of the second pixel signal (brightness information indicated by the second pixel signal) is bright, the influence of noise when gain is applied to the second pixel signal can be reduced.
  • the first time can be specified before the exposure is started from the processing capability of the signal processing unit 300 and the number of pixels of the pixel array unit 110.
  • step S3 a correction image is generated and an image analysis of the correction image is performed.
  • the control unit 310 is nondestructive based on the exposure time and the time (second time) required from the acquisition of the second pixel signal to the generation and analysis of the correction image (S2 and S3). You may control the timing which performs reading. For example, the control unit 310 may cause the solid-state imaging device 100 to perform nondestructive readout at a time that is a second time after the time when the exposure ends.
  • the control unit 310 controls the drive control unit 150 after the exposure is completed, so that the column AD conversion unit 120 performs AD conversion for each pixel column, and converts the accumulated charge into a digital value corresponding to the accumulated charge. .
  • the converted digital values are sequentially output to the signal processing unit 300 by the column scanning unit 140. That is, the signal processing unit 300 acquires the first pixel signal (S5). More specifically, the signal processing unit 300 sequentially acquires a first pixel signal for each of the plurality of pixels 210.
  • the reading of the first pixel signal is performed by, for example, normal reading.
  • the normal reading is destructive reading, and is a reading in which the accumulated charge is destroyed after the pixel signal is read out (the potential of the charge accumulation unit 215 is reset by turning on the reset transistor 212).
  • the image processing unit 320 uses the blurred image stored in the memory 330 to generate a captured image by correcting the first pixel signal from the blurred image and the first pixel signal (S6).
  • correction for noise such as streaking as an image
  • light amount adjustment for the pixels 210 around the lens 400 may be performed together. Good. Thereby, compared with the case where each correction is performed separately, the time required for correction can be shortened.
  • the image processing unit 320 displays a captured image on the display unit 500 included in the imaging device 10, or via a storage unit (not shown, for example, an external memory) or an interface (not shown) included in the camera 1.
  • the captured image is stored in an external storage medium.
  • the solid-state imaging device starts exposure (S1).
  • the signal processing unit does not perform image processing during the exposure (does not perform reading or the like), and the exposure ends (S4). At this time, a blurred image has not been generated.
  • the signal processing unit acquires the first pixel signal after the exposure is completed (S5).
  • the signal processing unit generates an intermediate image by performing correction for noise generated in the solid-state imaging device and light amount adjustment for pixels around the lens on the first pixel signal (S11). These processes are performed before storing in the memory.
  • the intermediate image is stored in the memory (S12).
  • the intermediate image is stored in a DRAM included in the memory. That is, in the conventional method, it takes time to store the intermediate image in the memory. Furthermore, a memory for storing the intermediate image is required, and therefore the memory capacity needs to be increased. For example, in order to store an intermediate image, an extra memory capable of storing image data for one frame is required.
  • a blurred image is generated using the intermediate image (S13).
  • an intermediate image is used as an image for generating a blurred image.
  • the method for generating a blurred image is the same as the method for generating a blurred image according to the present embodiment (see S3). For example, gain correction is not performed on the first pixel signal. Since step S13 is performed after the exposure is completed, the conventional method takes time for the process after the exposure is completed.
  • the intermediate image is read from the memory (S14), and the captured image is generated by correcting the intermediate image using the blurred image generated in step S13 (S15). That is, in the conventional method, it takes time to read the intermediate image from the memory.
  • the imaging apparatus 10 can perform image processing using an image acquired by non-destructive readout during exposure, so that the time required for image processing can be shortened compared to a conventional imaging apparatus. Can do.
  • FIG. 5 is a diagram for comparing the flow of image processing.
  • (A) of FIG. 5 is a figure for demonstrating the flow of the image processing of the imaging device which concerns on a prior art example.
  • FIG. 5B is a diagram for explaining the flow of image processing of the imaging apparatus 10 according to the present embodiment.
  • the signal processing unit does not perform image processing from the start of exposure to the end of exposure.
  • the signal processing unit 300 acquires the second pixel signal by performing nondestructive readout during exposure (S2). Then, a blurred image is generated using the second pixel signal (S3).
  • FIG. 5B shows an example in which the signal processing unit 300 performs nondestructive reading and image processing so that generation of a blurred image is completed by the end of exposure (S4).
  • the signal processing unit 300 can complete the image processing in step S13 in the conventional method during exposure by performing nondestructive reading.
  • step S3 Even if the exposure time is short and the process of step S3 is not completed by the end of the exposure, a part of the process of step S3 can be performed during the exposure. It is possible to shorten the time from the end to the end of the image processing. In other words, the nondestructive reading may be performed before the exposure is completed.
  • image processing is started after completion of exposure.
  • an intermediate image is generated from the first pixel signal acquired after the exposure is completed (S11).
  • This is processing performed before storing the first pixel signal in the memory, and includes correction for noise and light amount adjustment for pixels around the lens as described above.
  • the processing performed before storing in the memory may be other than the above.
  • the generated intermediate image is stored in the memory (S12).
  • the intermediate image is an image for one frame.
  • the image processing unit generates a blurred image using the intermediate image (S13). That is, the image processing unit generates a blurred image for one frame.
  • the image processing unit generates a captured image from the intermediate image stored in the memory and the blurred image generated in step S13 (S15).
  • the signal processing unit since the signal processing unit starts image processing after the end of exposure, it takes time from the end of exposure to the end of image processing. Specifically, it takes time to perform steps S11 to S15. Therefore, the time required from the start of exposure to the end of image processing (imaging time Ta) also takes time. Further, a memory for storing the intermediate image is required.
  • the image processing performed after the end of exposure is generation of a captured image.
  • the image processing unit 320 generates a captured image from the first pixel signal acquired after the exposure is completed and the blurred image generated in step S3 (S6).
  • the imaging time Tb of the imaging apparatus 10 according to the present embodiment can also be shortened (Tb ⁇ Ta). Specifically, the imaging time can be shortened by the shortened time T (Tb-Ta) shown in the drawing.
  • the image processing unit 320 sequentially acquires the first pixel signal for each pixel 210 after the exposure is completed. For example, the first pixel signal for each pixel 210 acquired sequentially and the pixel of the blurred image corresponding to the pixel 210 are calculated, and the first pixel signal is corrected according to the calculation result. That is, it is possible to sequentially acquire the first pixel signal for each pixel 210 and sequentially perform correction.
  • the first pixel signals that are sequentially corrected are sequentially stored in the memory 330, for example. As a result, it is possible to omit the time for storing the first pixel signal before correction in the memory 330 or reading the first pixel signal stored for correction, so that the imaging time Tb is further reduced. can do. In addition, since the capacity for storing the first pixel signal is not necessary, the capacity of the memory 330 can be reduced.
  • the readout method is a rolling shutter
  • the first pixel signal acquired by the conventional method and the first pixel signal acquired by the method of the present embodiment are the same signal.
  • the readout method is not limited to the rolling shutter.
  • a global shutter may be used.
  • the shutter function can be realized by adjusting the voltage applied to the organic photoelectric conversion film, so a global shutter can be realized without adding an element such as a memory. can do.
  • by causing all the organic photoelectric conversion films to function as shutters during the period of reading by the global shutter it is possible to suppress the accumulation of charges in the charge accumulation unit 215 during the period. That is, by using the organic photoelectric conversion film, it is possible to reduce rolling distortion generated in the global shutter without adding an element. Note that reading by nondestructive reading and reading after completion of exposure are performed by the same method.
  • FIG. 6 is a diagram for comparing images generated by image processing.
  • (A) of FIG. 6 is a figure for demonstrating the image produced
  • FIG. 6B is a diagram for explaining an image generated by the image processing of the imaging apparatus 10 according to the present embodiment.
  • FIG. 6B shows an example in which generation of a blurred image ends during exposure.
  • the conventional method cannot generate an image (for example, an intermediate image or a blurred image) for correcting the first pixel signal during exposure.
  • Image processing cannot be performed.
  • the signal processing unit After the end of exposure (S4), the signal processing unit generates an intermediate image P1 subjected to the above correction from the first pixel signal.
  • the intermediate image P1 is an image for one frame. Note that the intermediate image P1 shows a case where an image that is dark overall (dark due to an actual subject) is captured, and is represented by dot-like hatching.
  • the blurred image P2 is generated from the intermediate image P1.
  • the blurred image is also an image for one frame.
  • a captured image P3 is generated from the intermediate image P1 and the blurred image P2. That is, in the conventional method, it is necessary to generate three images.
  • 6A shows an example in which the captured image P3 is corrected so that the intermediate image P1 is slightly brightened. The correction is not limited to this.
  • image processing is performed during exposure.
  • the signal processing unit 300 generates a blurred image P12 by nondestructive reading (S2) during exposure. Since non-destructive readout is performed during exposure, the blurred image P12 generated using the second pixel signal acquired there is a dark image as a whole.
  • the blurred image P12 is an image that is darker than the captured image P13 generated using the first pixel signal acquired after the end of exposure. Further, the blurred image P12 is an image darker than the blurred image P2 generated from the intermediate image P1 shown in FIG. Therefore, the image processing unit 320 may adjust the gain of the second pixel signal and generate the blurred image P12 using the second pixel signal whose gain has been adjusted. As a result, a blur image P12 that is substantially the same as the blur image P2 in the conventional example can be obtained.
  • a captured image P13 is generated from the blurred image P12 generated by adjusting the gain and the first pixel signal acquired after the exposure is completed.
  • the captured image P13 generated and the captured image P3 generated by the conventional method are substantially the same image.
  • the gain of the second pixel signal By adjusting the gain of the second pixel signal, the accuracy of the captured image P13 can be improved.
  • Examples of the camera 1 in which the imaging apparatus 10 is built in include a digital still camera 1A shown in FIG. 7A and a digital video camera 1B shown in FIG. 7B.
  • the imaging device 10 according to the present embodiment is built in the camera shown in FIG. 7A or 7B, the user can take an image via the operation unit 600 as described above. After the instruction is issued (after the shutter is released), it is possible to shorten the time until the captured image is displayed on the display unit 500. Further, when continuously capturing images, the time from when the shutter is released until the next shutter is released can be shortened.
  • the imaging device 10 is obtained from the solid-state imaging device 100 having a plurality of pixels arranged in a matrix and capable of nondestructive readout, and the solid-state imaging device 100 after completion of exposure.
  • an image processing unit 320 that generates a captured image P13 by correcting the first pixel signal.
  • the image processing unit 320 performs correction based on the second pixel signal acquired from the solid-state imaging device 100 by nondestructive reading during exposure.
  • the imaging apparatus 10 acquires the second pixel signal during exposure by nondestructive readout. Therefore, a process for correcting the first pixel signal using the second pixel signal during exposure (for example, generation of a correction image for correcting the first pixel signal or analysis of the correction image) ).
  • a process for correcting the first pixel signal using the second pixel signal during exposure for example, generation of a correction image for correcting the first pixel signal or analysis of the correction image.
  • the image processing unit 320 generates an image for correction used for correction from the second pixel signal, or generates an image for correction, and performs image processing for image analysis using the generated image for correction. Then, the control unit 310 controls the timing at which the solid-state imaging device 100 performs nondestructive reading so that the image processing in the image processing unit 320 ends before the exposure ends.
  • a blurred image (an example of a correction image) P12 is generated by using the second pixel signal acquired by nondestructive reading before the exposure is completed.
  • the signal of the pixel 210 can be sequentially corrected.
  • the correction is image blur correction or white balance correction
  • a correction image is generated using the second pixel signal acquired by non-destructive reading and the correction is performed before the exposure is completed. Image analysis of the image can be performed.
  • the signal of each pixel 210 is sequentially acquired when the signal for each pixel 210 is acquired with respect to the first pixel signal acquired after the exposure is completed.
  • the signal can be corrected. Therefore, the imaging time Tb can be further shortened.
  • a memory 330 is provided. Then, the image processing unit 320 performs correction corresponding to the pixel 210 on the first pixel signal sequentially obtained for each pixel 210, and stores the corrected first pixel signal in the memory 330.
  • the correction can be performed without temporarily storing the first pixel signal in the memory 330, so that the time for storing and reading the first pixel signal before the correction in the memory 330 can be saved.
  • the capacity of the memory 330 can be reduced.
  • the correction image is a blurred image P12 whose resolution is lower than that of the captured image P13. Then, the image processing unit 320 generates the blurred image P12 from the second pixel signal to which the gain correction for the brightness is added.
  • the processing amount in the signal processing unit 300 can be reduced by using the blurred image P12, the processing time in the signal processing unit 300 can be shortened. Furthermore, the blurred image P12 generated by applying gain correction to the second pixel signal is an image having substantially the same brightness as the blurred image P2 generated in the conventional example. As a result, the first pixel signal can be corrected with higher accuracy.
  • the correction is gradation correction, image blur correction, or white balance correction.
  • each of the plurality of pixels 210 has an organic photoelectric conversion film.
  • the shutter function can be realized by adjusting the voltage applied to the organic photoelectric conversion film, a global shutter can be realized without adding an element such as a memory. Therefore, even when the subject is moving, image data with less distortion can be acquired.
  • the camera 1 includes the imaging device 10 described above.
  • the imaging method acquires a first pixel signal from the solid-state imaging device 100 having a plurality of pixels 210 capable of nondestructive readout after the exposure is completed, and performs nondestructive readout during exposure.
  • a captured image P13 is generated by correcting the first pixel signal based on the second pixel signal acquired from the solid-state imaging device 100.
  • the second pixel signal can be acquired during exposure by nondestructive readout, a blurred image can be generated using the second pixel signal during exposure.
  • the time from the end of exposure to the end of image processing can be shortened. In other words, the time from the start of exposure until the end of image processing (imaging time) can be shortened.
  • the image processing unit 320 may use a pixel-mixed signal acquired from the solid-state imaging device 100 as a blurred image.
  • the image processing unit 320 performs the gradation correction using the blurred image P12.
  • the image processing unit 320 may acquire a histogram for the brightness of the image from the second pixel signal, and use the result as a correction signal to correct the gradation of the first pixel signal.
  • the correction of the gradation of the first pixel signal according to the histogram for the brightness generated by the second pixel signal acquired from the solid-state imaging device 100 is an example of image processing performed by the image processing unit 320. It is.
  • the present invention is not limited to this.
  • the first pixel signal for one frame is temporarily stored in the memory 330, and the image processing unit 320 reads the first pixel signal from the memory 330 for each pixel 210, and the read first pixel signal and blurred image
  • the captured image may be generated by correcting the first pixel signal.
  • Non-destructive readout may be performed a plurality of times during exposure. For example, when image blur correction is performed, two non-destructive readings may be performed during exposure, a motion vector may be acquired from image data based on each pixel signal, and the first pixel signal may be corrected. Further, in order to reduce the influence of subject blurring and flash light during the exposure period, for example, the image processing unit 320 is more affected by subject blurring and flash light from a plurality of images acquired by non-destructive reading. A small number of images may be selected as correction images.
  • the camera 1 including the imaging device 10 according to the present disclosure has been described, but the application is not limited thereto.
  • Various electronic devices incorporating the imaging device 10 according to the present disclosure are also included in the present disclosure.
  • each component (functional block) in the imaging device 10 may be individually made into one chip by a semiconductor device such as an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like, or may include a part or all of it. Alternatively, one chip may be used.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology functional blocks may be integrated using this technology. Biotechnology can be applied as a possibility.
  • all or part of the various processes described above may be realized by hardware such as an electronic circuit or may be realized by using software.
  • the processing by software is realized by a processor included in the imaging apparatus 10 executing a program stored in a memory.
  • the program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program in a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.
  • the camera 1 has been described with respect to the example including the lens 400 that allows light from the outside to enter the solid-state imaging device 100.
  • the lens 400 may be a lens that can be attached to and detached from the camera 1.
  • the camera 1 may not include the lens 400.
  • the lens 400 collects light from the outside and makes it incident on the solid-state imaging device 100.
  • the present disclosure can be widely used for imaging devices that capture images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

撮像装置（１０）は、行列状に配列され、非破壊読み出しが可能な複数の画素（２１０）を有する固体撮像素子（１００）と、露光の終了後に固体撮像素子（１００）から取得した第１の画素信号に補正を行うことで撮像画像（Ｐ１３）を生成する画像処理部（３２０）と、画像処理部（３２０）により補正された第１の画素信号を格納するメモリ（３３０）と、を備える。画像処理部（３２０）は、露光中の非破壊読み出しにより固体撮像素子（１００）から取得した第２の画素信号に基づいて補正を行う。

Description

撮像装置、カメラ及び撮像方法
　本開示は、撮像装置、当該撮像装置を備えるカメラ及びその撮像方法に関する。
　従来、イメージセンサを用いて画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。
特開２００８―０４２１８０号公報
　撮像装置では種々の画像処理が行われるが、撮像装置としては当該画像処理の速度が高速であることが望まれる。
　そこで、本開示は、従来よりも画像処理の速度が高速化された撮像装置、カメラ及び撮像方法を提供する。
　上記目的を達成するために、本開示の一態様に係る撮像装置は、行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像素子と、露光の終了後に固体撮像素子から取得した第１の画素信号に補正を行うことで撮像画像を生成する画像処理部と、前記画像処理部により補正された前記第１の画素信号を格納するメモリと、を備え、画像処理部は、露光中の非破壊読み出しにより固体撮像素子から取得した第２の画素信号に基づいて補正を行う。
　また、本開示の一態様に係るカメラは、上記に記載の撮像装置と、撮像装置に外部の光を集光するレンズとを備える。
　また、本開示の一態様に係る撮像方法は、行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像素子から、露光の終了後に第１の画素信号を取得し、露光中の非破壊読み出しにより固体撮像素子から取得した第２の画素信号に基づいて第１の画素信号に補正を行うことで撮像画像を生成する。
　上記本開示に係る撮像装置、カメラ、及び撮像方法によれば、画像処理の速度が高速化される。
図１は、実施の形態に係る撮像装置の全体構成を示すブロック図である。 図２は、実施の形態に係る画素の回路構成の一例を示す図である。 図３は、実施の形態に係る撮像装置が内蔵されたカメラの機能ブロック図である。 図４Ａは、実施の形態に係る撮像装置の動作を示すフローチャートである。 図４Ｂは、従来例に係る撮像装置の動作を示すフローチャートである。 図５は、実施の形態に係る画像処理の流れを説明するための図である。 図６は、実施の形態に係る画像処理で生成される画像を示す図である。 図７は、実施の形態に係る撮像装置が内蔵されたカメラの外観図である。
　以下では、本開示の撮像装置、カメラ及び撮像方法について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態）
　以下、図１～図７を用いて、実施の形態を説明する。
　［１．撮像装置の全体構成］
　まず、本実施の形態に係る撮像装置の全体構成について、図１を用いて説明する。図１は、本実施の形態に係る撮像装置１０の全体構成を示すブロック図である。同図に示された撮像装置１０は、固体撮像素子１００と、信号処理部３００と、表示部５００（図３を参照）と、操作部６００（図３を参照）とを備える。さらに、固体撮像素子１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。なお、図１では、撮像装置１０が備える表示部５００及び操作部６００は、図示を省略している。
　画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。
　列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログ信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値を取得、保持及び出力する変換部である。
　行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び読み出し動作を制御する機能を有する。
　列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００に出力させる。
　駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、信号処理部３００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。
　［２．固体撮像素子の構成］
　続いて、固体撮像素子１００の構成について、図１を参照しながら、図２を用いて詳細に説明する。
　［２－１．画素］
　まずは、画素２１０について、図２を用いて説明する。図２は、本実施の形態に係る画素２１０の回路構成の一例を示す図である。
　画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。
　光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像素子１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。
　光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍまでの可視光全域にわたって高い光吸収機能を有する。
　なお、本実施の形態に係る画素２１０が備える光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードであってもよい。
　上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：インジウム・チタン・スズ）で構成されている。
　下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。
　電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。
　リセットトランジスタ２１２は、ドレインにリセット電圧ＶＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。
　増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧ＶＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じた画素信号を出力する。
　選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースに列信号線１６０に接続され、増幅トランジスタ２１３から画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３から画素信号が出力される。
　上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じた画素信号を読み出すことを意味する。なお、露光中とは、露光時間内の任意のタイミングを意味するものとして使用している。
　［２－２．その他の構成］
　図１を再び参照して、列ＡＤ変換部１２０は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、１４ｂｉｔのＡＤ変換器である。ＡＤ変換器１２１は、例えば、画素２１０から出力されたアナログの画素信号をランプ方式でデジタル変換することで、画素２１０での受光量に対応するデジタル値を出力する。ＡＤ変換器１２１は、コンパレータ及びアップダウンカウンタ（図示しない）を有する。
　ここで、ランプ方式によるＡＤ変換とは、ランプ波を用いたＡＤ変換であり、アナログの入力信号が入力されると、一定の傾斜で電圧が上昇するランプ波を立ち上げ、その立ち上げ時点から、両信号（入力信号とランプ波）の電圧が一致するまでの時間を計測し、その計測時間をデジタル値で出力する方式である。コンパレータは、列信号の電圧と、ランプ波として入力される参照信号の電圧とを比較し、参照信号の電圧が列信号の電圧と一致するタイミングを示す信号を出力する。
　アップダウンカウンタは、コンパレータに参照信号が入力されてからその参照信号が基準成分を示す列信号の電圧に達するまでの期間においてダウンカウント（あるいは、アップカウント）し、続いて、コンパレータに参照電圧が入力されてからその参照信号が信号成分を示す列信号の電圧に達するまでの期間においてアップカウント（あるいは、ダウンカウント）することで、列信号の信号成分から基準成分を差し引いた差分に相当するデジタル値を最終的に保持する。
　各アップダウンカウンタに保持されたデジタル値は、順次、行信号線１８０に出力され、出力回路（図示しないが、出力バッファなど）を介して、信号処理部３００に出力される。
　駆動制御部１５０は、行走査部１３０及び列走査部１４０を制御することにより、画素２１０におけるリセット動作、電荷の蓄積動作、及び読み出し動作、又はＡＤ変換器１２１から信号処理部３００へのデジタル信号の出力動作を制御する。
　例えば、信号処理部３００から読み出しの指示を受け付けると、駆動制御部１５０は、行走査部１３０を制御し、順次選択用走査線１７０Ｂに所定の電圧を印加させ、画素信号（アナログ）を出力させる。また、駆動制御部１５０は、列走査部１４０を制御し、ＡＤ変換器１２１に保持されている画素信号（デジタル値）を順次信号処理部３００へ出力させる。
　［３．信号処理部の構成］
　続いて、信号処理部３００について、図３を用いて説明する。図３は、本実施の形態に係る、撮像装置１０と、レンズ４００とを備えるカメラ１の機能ブロック図である。同図に示されたカメラ１は、固体撮像素子１００と、信号処理部３００と、レンズ４００と、表示部５００と、操作部６００とを備える。そして、信号処理部３００は、制御部３１０、画像処理部３２０及びメモリ３３０を有する。
　レンズ４００を通過した光は、固体撮像素子１００に入射する。信号処理部３００は、固体撮像素子１００を駆動し、固体撮像素子１００からの画素信号（デジタル値）を取り込む。例えば、制御部３１０が駆動制御部１５０を制御することで、画像処理部３２０は固体撮像素子１００からの画素信号を取り込む。画像処理部３２０は、固体撮像素子１００から取得した画素信号に所定の信号処理を施して、撮像画像を生成する。生成された撮像画像は、メモリ３３０に格納される。また、生成された撮像画像は表示部５００に出力される。なお、画素信号（デジタル値）は、第１の画素信号の一例である。ここで、撮像画像とは、例えば、カメラなどの場合であれば、ユーザに表示される又は記録される画像のことである。
　制御部３１０は、例えば、メモリ３３０からプログラムを読み出し、読み出したプログラムを実行する。制御部３１０は、プロセッサにより実現される。この場合、メモリ３３０に格納されたソフトウェアプログラムがプロセッサにより実行されたときに、プロセッサは制御部３１０として機能する。例えば、ソフトウェアプログラムを不揮発性メモリから揮発性メモリに読み出し、読み出したソフトウェアプログラムをプロセッサが実行することで、制御部３１０が実現される。上記では制御部３１０は駆動制御部１５０を制御することについて説明したが、その他の各部を制御してもよい。例えば、操作部６００がユーザからの入力を受け付けると、制御部３１０は入力に応じた制御を行ってもよい。操作部６００がユーザから撮像の指示を受け付けると、制御部３１０は、レンズ４００（具体的には、レンズ４００の位置を制御するモータ）を制御し、被写体のピントなどを調整してもよい。
　画像処理部３２０は、露光の終了後に固体撮像素子１００から取得した第１の画素信号に所定の補正を行うことで撮像画像を生成する。具体的には、画像処理部３２０は、露光中に非破壊読み出しにより固体撮像素子１００から取得した第２の画素信号に基づいて第１の画素信号に所定の補正を行うことで、撮像画像を生成する。所定の補正とは、１フレーム分の画像データ（１フレーム分の第２の画素信号）を用いないと補正のための情報（例えば、第１の画素信号に施す補正の補正値）を得ることができない補正であり、例えば、階調の補正、像ぶれの補正又はホワイトバランスの補正などである。本実施の形態では、第２の画素信号の解析結果に基づいて、第１の画素信号に上記の補正を行うことに特徴を有する。
　画像処理部３２０は、例えば、メモリ３３０からプログラムを読み出し、読み出したプログラムを実行する。画像処理部３２０は、プロセッサにより実現される。この場合、メモリ３３０に格納されたソフトウェアプログラムがプロセッサにより実行されたときに、プロセッサは画像処理部３２０として機能する。例えば、ソフトウェアプログラムを不揮発性メモリから揮発性メモリに読み出し、読み出したソフトウェアプログラムをプロセッサが実行することで、画像処理部３２０が実現される。なお、画像処理部３２０は、制御部３１０の制御により上記の補正を行ってもよい。
　なお、制御部３１０及び画像処理部３２０は、マイクロコンピュータにより実現されてもよい。この場合、制御部３１０及び画像処理部３２０はそれぞれ、動作プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
　階調補正では、例えば、逆光などの明暗差の大きなシーンの撮像において、白飛びや黒つぶれなどが生じにくいように第１の画素信号が補正される。具体的には、白飛びの画素は暗く、及び、黒つぶれの画素は明るく補正される。階調補正では、その他の画素も必要に応じて適宜補正が行われるので、白飛び及び黒つぶれが低減され、かつ全体として明るさのバランスが調整された画像が生成される。このような補正を行うために、画像処理部３２０は、非破壊読み出しで取得した第２の画素信号（第２の画素信号により生成される画像データ）を用いる。具体的には、１フレーム分の第２の画素信号からボケ画像を生成し、生成したボケ画像と第１の画素信号とを演算することにより、第１の画素信号の補正を行う。第１の画素信号の補正は、画素２１０ごとに行われる。１つの画素２１０の第１の画素信号の明るさと、当該第１の画素信号に対応するボケ画像の画素の明るさとを演算することで、当該第１の画素信号の補正値を取得する。画素２１０ごとに、当該補正値により第１の画素信号を補正することで、撮像画像が生成される。なお、ボケ画像は、補正用画像の一例である。
　また、明暗差の小さなシーンにおいても同様に、ボケ画像と第１の画素信号とを演算し、その演算結果から第１の画素信号を補正することで、撮像画像を生成する。
　像ぶれ補正では、非破壊読み出しで取得した第２の画素信号により生成された画像（補正用画像の一例）と、例えば１つ前のフレームにおける第１又は第２の画素信号により生成された画像とから動きベクトルを取得し、取得した動きベクトルに応じて第１の画素信号を補正する。例えば、動きベクトルから像ぶれした方向及び量を特定し、当該方向及び量に応じて第１の画素信号により生成される画像を平行移動させることで、補正が行われる。具体的には、動きベクトルが小さくなるように第１の画素信号により生成される画像が平行移動される。信号処理部３００は、１フレームの画像に対し、１つの動きベクトルを算出する。例えば、１フレームの画像を複数のウィンドウ（１フレームの画像より小さい小領域）に分け、ウィンドウ単位で動きベクトルを取得し、それぞれのウィンドウでの動きベクトルから１フレームの画像における動きベクトルを取得する。なお、補正用画像を用いて動きベクトルを取得することは、画像解析の一例である。
　ホワイトバランスの補正でも、上記と同様に第２の画素信号の解析結果から第１の画素信号のホワイトバランスを補正する。例えば、オフセットの補正（アナログ信号をデジタル信号に変換する際のＯＢ段差の補正）を行ったのち、ホワイトバランスの補正を行う場合、オフセットの補正においても、非破壊読み出しで取得した第２の画素信号を用いてもよい。なお、像ぶれ補正やホワイトバランスの補正などは、ボケ画像を用いなくてもよく、非破壊読み出しにより取得した１フレーム分の画像を用いることで補正が実施できる。
　なお、補正用画像の生成、又は生成した補正用画像を用いて画像解析することは、画像処理の一例である。
　露光中の非破壊読み出しで取得した第２の画素信号で生成される画像データ（画像）は、露光が終了した後に取得した第１の画素信号で生成される撮像画像に比べ全体的に暗い画像となる。そのため、第２の画素信号を用いて補正用画像を生成する前に、第２の画素信号を増幅する（明るさに対するゲインの補正をする）ことにより、画像データの明るさを調整してもよい。具体的には、明るさを高くする調整を行ってもよい。
　メモリ３３０は、画像処理部３２０のワークメモリとして機能する。メモリ３３０は、画像処理部３２０で処理された画像データや、画像処理部３２０で処理される前の固体撮像素子１００から入力される画像データ（第１の画素信号）などを一時的に格納する。
　メモリ３３０は、不揮発性メモリと揮発性メモリとを有する。不揮発性メモリは、撮像装置１０で実行される処理に対応するプログラム、及び、撮像された画像データなどが記憶される。揮発性メモリは、例えば、プロセッサが処理を行う際のワークメモリとして使用される。不揮発性メモリは、例えば、強誘電体メモリ、又はフラッシュメモリなどの半導体メモリで実現できる。また、揮発性メモリは、例えば、ＤＲＡＭ（Dynamic　Random　Access　Memory）などの半導体メモリで実現できる。なお、メモリ３３０は、撮像装置１０が有していればよく、信号処理部３００が有していなくてもよい。また、不揮発性メモリは、撮像装置１０に着脱可能に接続される外部メモリであってもよい。外部メモリは、例えば、ＳＤカード（登録商標）などのメモリカードにより実現される。例えば、外部メモリには、撮像装置１０が撮像した画像データが記憶される。
　表示部５００は、信号処理部３００で生成した撮像画像を表示する表示デバイスであり、例えば、液晶モニタなどである。また、表示部５００は、各種の設定情報が表示可能である。例えば、表示部５００は、撮影時の撮影条件（絞りやＩＳＯ感度など）を表示可能である。
　操作部６００は、ユーザからの入力を受け付ける入力部であり、例えば、レリーズボタン又はタッチパネルなどである。例えば、タッチパネルは液晶モニタに接着されている。ユーザからの撮像の指示や撮影条件の変更などを受け付ける。
　なお、撮像装置１０は、外部の回路と、固体撮像素子１００又は信号処理部３００との間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。
　［４．撮像装置の処理］
　次に、撮像装置１０の処理について説明する。
　［４－１．撮像装置の処理の流れ］
　撮像装置１０の処理の流れについて、図４Ａ及び図４Ｂを用いて、従来例と比較しながら説明する。図４Ａは、本実施の形態に係る撮像装置１０の動作を示すフローチャートである。図４Ｂは、従来例に係る撮像装置の動作を示すフローチャートである。なお、従来例は、露光の終了後に取得した画素信号（第１の画素信号）を用いて補正を行っている例を示している。つまり、従来例は、非破壊読み出しを行わずに補正を行っている。また、図４Ａ及び図４Ｂは、階調の補正を行う場合の動作を示すフローチャートの一例である。
　まず、固体撮像素子１００は、例えば、制御部３１０の制御により露光を開始する（Ｓ１）。これにより、複数の画素２１０のそれぞれには、受光量に応じた電荷が蓄積される。具体的には、光電変換素子２１１の受光量に応じた電荷が、電荷蓄積部２１５に蓄積される。
　そして、制御部３１０は、露光中にそれぞれの画素２１０の電荷蓄積部２１５に蓄積された電荷を破壊せずに読み出す非破壊読み出しを実行する制御を行う。より具体的には、制御部３１０が駆動制御部１５０を制御し画素行ごとに列ＡＤ変換部１２０でＡＤ変換を行うことで、蓄積電荷（画素信号）が当該蓄積電荷に応じたデジタル値（第２の画素信号）に変換される。そして、変換されたデジタル値は、列走査部１４０によって順次信号処理部３００へ出力される。つまり、信号処理部３００は、非破壊読み出しにより、第２の画素信号を取得する（Ｓ２）。なお、非破壊読み出しを行った後、リセットトランジスタ２１２による電荷蓄積部２１５の電位のリセットは、行われない。
　画像処理部３２０は、取得した第２の画素信号からボケ画像（補正用画像の一例）を生成する（Ｓ３）。例えば、画像処理部３２０は、第２の画素信号から生成される画像又は撮像画像より解像度が低いボケ画像を生成してもよい。例えば、第２の画素信号から生成される画像又は撮像画像の解像度が５０００×４０００である場合、ボケ画像の解像度は５０×４０などである。ボケ画像は、１フレーム分の第２の画素信号を積算することで画像を縮小し、さらにその画像を拡大することで生成される。具体的には、ボケ画像の生成では、まず１フレーム分の第２の画素信号のうち、近接する複数の画素２１０の画素値を積算して１つの画素値を算出することで、縮小された画像が生成される。縮小された画像の解像度は、ボケ画像の解像度と同じであり、例えば５０×４０などである。そして、縮小された画像は、拡大される。縮小された画像は、例えば、縮小する前の画像サイズに拡大される。拡大された画像（つまり、ボケ画像）の解像度は、縮小された画像の解像度と同じであり、例えば、５０×４０である。ボケ画像は、例えば、画像サイズは縮小する前の画像サイズと同じであり、かつ解像度は縮小する前の画像より低い画像となる。
　これにより、一時的にボケ画像を保持するためのメモリ３３０の容量を削減することができる。階調の補正を行う上では、ボケ画像の解像度は５０×４０程度であっても補正が可能である。生成したボケ画像は、例えば、画像処理部３２０が保持していてもよいし、メモリ３３０に格納してもよい。すなわち、画像処理部３２０は、生成したボケ画像をメモリ３３０に格納してもよいし、画像処理部３２０がメモリ（図示しない）を内蔵する場合は、当該メモリに格納してもよい。以降の説明においては、画像処理部３２０は、メモリ３３０にボケ画像を格納する例について説明する。なお、ボケ画像は取得した第２の画素信号により生成される画像に対してローパスフィルタ処理を行うことで生成されてもよい。
　ここで、固体撮像素子１００における露光が終了する（Ｓ４）。つまり、本実施の形態に係る撮像装置１０は、固体撮像素子１００の露光が終了する前に、画像処理部３２０のボケ画像の生成が完了する。言い換えると、制御部３１０は、露光時間と、第２の画素信号の取得からボケ画像の生成が完了する（Ｓ２及びＳ３）までに要する時間（第１の時間）とから、非破壊読み出しを実行するタイミングを制御してもよい。例えば、制御部３１０は、露光が終了する時刻から、第１の時間遡った時刻に、固体撮像素子１００に非破壊読み出しを実行させてもよい。これにより、画像処理部３２０は、非破壊読み出しにより取得される第２の画素信号の明るさをより明るくし、かつ露光の終了までにボケ画像を生成することができる。つまり、画像処理部３２０は、露光の終了後に画素２１０ごとに順次取得した第１の画素信号に、当該第１の画素信号を取得した時点で、補正を行うことができる。また、第２の画素信号の明るさ（第２の画素信号が示す明るさの情報）が明るいことで、第２の画素信号にゲインをかける際のノイズの影響を低減することができる。なお、第１の時間は、信号処理部３００の処理能力及び画素アレイ部１１０の画素数などから、露光を開始する前に特定可能である。
　なお、補正が像ぶれの補正である場合、ステップＳ３では、補正用画像の生成と、補正用画像の画像解析とが行われる。その場合、制御部３１０は、露光時間と、第２の画素信号の取得から補正用画像の生成及び解析が完了する（Ｓ２及びＳ３）までに要する時間（第２の時間）とから、非破壊読み出しを実行するタイミングを制御してもよい。例えば、制御部３１０は、露光が終了する時刻から第２の時間遡った時刻に、固体撮像素子１００に非破壊読み出しを実行させてもよい。
　次に、制御部３１０が露光の終了後に駆動制御部１５０を制御することで、画素列ごとに列ＡＤ変換部１２０でＡＤ変換を行い、蓄積電荷を当該蓄積電荷に応じたデジタル値に変換する。そして、変換されたデジタル値は列走査部１４０によって順次信号処理部３００へ出力される。つまり、信号処理部３００は、第１の画素信号を取得する（Ｓ５）。より具体的には、信号処理部３００は、複数の画素２１０ごとの第１の画素信号を、順次取得する。なお、第１の画素信号の読み出しは、例えば、通常読み出しで行う。通常読み出しとは、破壊読み出しのことであり、画素信号を読み出した後、蓄積した電荷を破壊する（リセットトランジスタ２１２がオンされることで電荷蓄積部２１５の電位をリセットする）読み出しである。
　画像処理部３２０は、メモリ３３０に格納したボケ画像を用いて、当該ボケ画像と第１の画素信号とから、第１の画素信号に補正を行うことで撮像画像を生成する（Ｓ６）。なお、第１の画素信号に補正を行う際、固体撮像素子１００で発生するノイズ（画像としてスジが入るなど）に対する補正、及びレンズ４００の周辺の画素２１０に対する光量調整などを合わせて行ってもよい。これにより、それぞれの補正を別々に行う場合に比べ、補正に要する時間を短縮することができる。
　そして、画像処理部３２０は、例えば、撮像装置１０が備える表示部５００に撮像画像を表示させる、またはカメラ１が備える記憶部（図示しないが、例えば外部メモリ）若しくはインターフェース（図示しない）を介して外部の記憶媒体に撮像画像を格納する。
　続いて、図４Ｂを用いて、従来例に係る撮像装置の動作について説明する。なお、本実施の形態に係る撮像装置１０と同一の動作については、図４Ａと同一の符号を付し、説明を省略する場合がある。
　まず、固体撮像素子は、露光を開始（Ｓ１）する。信号処理部は、露光中に画像処理は行わず（読み出し等を行わず）、露光が終了する（Ｓ４）。この時点で、ボケ画像は生成されていない。
　信号処理部は、露光の終了後に第１の画素信号を取得する（Ｓ５）。信号処理部は、第１の画素信号に、固体撮像素子で発生するノイズに対する補正、及びレンズの周辺の画素に対する光量調整などを行うことで、中間画像を生成する（Ｓ１１）。これらの処理は、メモリに格納する前に実施される。そして、中間画像はメモリに格納される（Ｓ１２）。例えば、中間画像は、メモリが有するＤＲＡＭに格納される。つまり、従来の方法では、中間画像をメモリに格納するための時間を要する。さらに、中間画像を格納するためのメモリが必要となり、そのためメモリの容量を増やす必要がある。例えば、中間画像を格納するために、１フレーム分の画像データを格納できるメモリが余分に必要となる。
　次に、中間画像を用いてボケ画像を生成する（Ｓ１３）。従来では、ボケ画像を生成するための画像に中間画像を用いている。ボケ画像の生成方法は本実施の形態に係るボケ画像の生成方法（Ｓ３を参照）と同じである。なお、例えば、第１の画素信号に対してゲイン補正は行われない。そして、ステップＳ１３が露光の終了後に行われるので、従来の方法では露光が終了した後の処理に時間を要する。
　さらに、メモリから中間画像を読み出し（Ｓ１４）、ステップＳ１３で生成したボケ画像を用いて中間画像に補正を行うことで撮像画像を生成する（Ｓ１５）。つまり、従来の方法では、メモリから中間画像を読み出すための時間を要する。
　上述したように、従来の方法であれば、露光の終了後に画像処理を開始するため、画像処理に要する時間が長い。具体的には、ステップＳ１１～Ｓ１４の処理に要する時間だけ、本実施の形態に係る撮像装置１０に比べ、露光の終了後の画像処理に時間を要する。一方、本実施の形態に係る撮像装置１０は、露光中の非破壊読み出しにより取得した画像を用いて画像処理を行うことができるので、従来の撮像装置に比べ画像処理に要する時間を短縮することができる。
　［４－２．信号処理部の処理の比較］
　続いて、撮像装置の信号処理部が行う画像処理について、図５及び図６を用いてさらに詳細に説明する。
　最初に、信号処理部３００が行う画像処理について、図５を用いて説明する。図５は、画像処理の流れを比較するための図である。図５の（ａ）は、従来例に係る撮像装置の画像処理の流れを説明するための図である。図５の（ｂ）は、本実施の形態に係る撮像装置１０の画像処理の流れを説明するための図である。
　まずは、露光の開始（Ｓ１）から露光の終了（Ｓ４）までの信号処理部の処理について説明する。
　図５の（ａ）に示すように、従来の方法では、露光の開始から露光の終了まで、信号処理部は画像処理を行っていない。
　図５の（ｂ）に示すように、本実施の形態では、露光中に非破壊読み出しを行うことにより、信号処理部３００は第２の画素信号を取得する（Ｓ２）。そして、第２の画素信号を用いてボケ画像を生成する（Ｓ３）。図５（ｂ）では、露光の終了（Ｓ４）までに、ボケ画像の生成が完了するように、信号処理部３００が非破壊読み出し及び画像処理を行っている例を示している。信号処理部３００は、非破壊読み出しを行うことで、従来の方法におけるステップＳ１３の画像処理を、露光中に完了することができる。
　なお、露光時間が短くステップＳ３の処理が露光の終了までに完了しない場合であっても、露光中にステップＳ３のうちの一部の処理を行うことができるので、従来の方法に比べ露光の終了から画像処理の終了までの時間を短縮することが可能である。言い換えると、非破壊読み出しは、露光が終了するまでに行われればよい。
　次に、露光の終了後の処理について説明する。
　従来の方法では、露光の終了後に画像処理を開始する。まず、露光の終了後に取得した第１の画素信号から、中間画像を生成する（Ｓ１１）。これは、第１の画素信号をメモリに格納する前に行う処理であり、上述したようにノイズに対する補正、及びレンズの周辺の画素に対する光量調整などである。なお、メモリに格納する前に行う処理は、上記以外であってもよい。
　生成された中間画像は、メモリに格納される（Ｓ１２）。中間画像は、１フレーム分の画像である。また、画像処理部は、中間画像を用いてボケ画像を生成する（Ｓ１３）。つまり、画像処理部は、１フレーム分のボケ画像を生成する。
　そして、画像処理部は、メモリに格納されている中間画像と、ステップＳ１３で生成したボケ画像とから、撮像画像を生成する（Ｓ１５）。
　従来の方法では、信号処理部は、露光の終了後から画像処理を開始するので、露光の終了から画像処理の終了までに、時間を要する。具体的には、ステップＳ１１～ステップＳ１５までを行う時間を要する。そのため、露光の開始から画像処理の終了までの要する時間（撮像時間Ｔａ）も、時間を要する。さらに、中間画像を格納するためのメモリが必要となる。
　続いて、本実施の形態に係る信号処理部３００の画像処理について説明する。
　上述したように、本実施の形態では、露光の終了までにボケ画像の生成が完了している。そのため、露光の終了後に行う画像処理は、撮像画像の生成である。具体的には、画像処理部３２０は、露光の終了後に取得した第１の画素信号と、ステップＳ３で生成したボケ画像とから、撮像画像を生成する（Ｓ６）。
　これにより、図５に示すように、露光の終了後から画像処理が終了するまでの時間短縮することができる。つまり、本実施の形態に係る撮像装置１０の撮像時間Ｔｂも短縮することができる（Ｔｂ＜Ｔａ）。具体的には、図中に示す短縮された時間Ｔ（Ｔｂ－Ｔａ）だけ、撮像時間を短縮することができる。
　画像処理部３２０は、露光の終了後に、画素２１０ごとに第１の画素信号を順次取得する。例えば、順次取得した画素２１０ごとの第１の画素信号と、当該画素２１０に対応するボケ画像の画素とを演算し、その演算結果に応じて第１の画素信号に補正を行う。つまり、画素２１０ごとの第１の画素信号を順次取得するとともに、順次補正を行うことができる。順次補正された第１の画素信号は、例えば、順次メモリ３３０に格納される。これにより、補正する前の第１の画素信号をメモリ３３０に格納する、又は、補正を行うために格納した第１の画素信号を読み出す時間などを省くことができるので、さらに撮像時間Ｔｂを短縮することができる。また、第１の画素信号を格納するための容量が不要となるため、メモリ３３０の容量を減らすことができる。
　また、例えば、読み出し方式がローリングシャッタである場合、従来の方法で取得する第１の画素信号と、本実施の形態の方法で取得する第１の画素信号とは、同一の信号である。なお、読み出し方式は、ローリングシャッタに限定されない。例えば、グローバルシャッタであってもよい。固体撮像素子１００が有機光電変換膜を有している場合、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できるため、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。また、グローバルシャッタで読み出している期間、全ての有機光電変換膜をシャッタとして機能させることで、その期間中に電荷蓄積部２１５に電荷が蓄積されることを抑制することができる。つまり、有機光電変換膜を用いることで、素子を追加することなくグローバルシャッタで発生するローリング歪を低減することができる。なお、非破壊読み出しでの読み出しと、露光の終了後での読み出しとは、同一の方式で読み出しが行われる。
　続いて、生成される画像について図６を用いて説明する。図６は、画像処理で生成される画像を比較するための図である。図６の（ａ）は、従来例に係る撮像装置の画像処理で生成される画像を説明するための図である。図６の（ｂ）は、本実施の形態に係る撮像装置１０の画像処理で生成される画像を説明するための図である。図６の（ｂ）では、露光中にボケ画像の生成が終了する例について示している。
　図６の（ａ）に示すように、従来の方法では、露光中に第１の画素信号を補正するための画像（例えば、中間画像又は、ボケ画像）を生成することができないため、露光中に画像処理が行うことができない。露光の終了（Ｓ４）後に、信号処理部は第１の画素信号から上記補正を施した中間画像Ｐ１を生成する。中間画像Ｐ１は、１フレーム分の画像である。なお、中間画像Ｐ１は、全体的に暗めの（実際の被写体により暗い）画像が撮像された場合を示しており、ドット状のハッチングでそれを表している。
　次に、生成したが中間画像Ｐ１からボケ画像Ｐ２を生成する。ボケ画像も、１フレーム分の画像である。
　続いて、中間画像Ｐ１とボケ画像Ｐ２とから、撮像画像Ｐ３を生成する。つまり、従来の方法では、３つの画像を生成する必要があった。なお、図６の（ａ）では、撮像画像Ｐ３は、中間画像Ｐ１を若干明るくする補正を行っている例について示している。なお、補正はこれに限定されない。
　図６の（ｂ）に示すように、本実施の形態では、露光中に画像処理が行われる。具体的には、信号処理部３００は、露光中の非破壊読み出し（Ｓ２）により、ボケ画像Ｐ１２を生成する。露光中に非破壊読み出しを行うので、そこで取得した第２の画素信号を用いて生成したボケ画像Ｐ１２は、全体的に暗い画像となる。ボケ画像Ｐ１２は、露光の終了後に取得した第１の画素信号を用いて生成された撮像画像Ｐ１３より暗い画像である。また、ボケ画像Ｐ１２は、図６の（ａ）に示す中間画像Ｐ１から生成されたボケ画像Ｐ２より暗い画像となる。そこで、画像処理部３２０は、第２の画素信号のゲインを調整し、ゲインを調整した第２の画素信号を用いてボケ画像Ｐ１２を生成してもよい。これにより、従来例におけるボケ画像Ｐ２と略同一のボケ画像Ｐ１２を得ることができる。
　次に、ゲインを調整して生成したボケ画像Ｐ１２と、露光の終了後に取得した第１の画素信号とから、撮像画像Ｐ１３を生成する。これにより、生成される撮像画像Ｐ１３と、従来の方法で生成された撮像画像Ｐ３とは、略同一の画像となる。第２の画素信号のゲインを調整することで、撮像画像Ｐ１３の精度を向上させることができる。
　［５．カメラ］
　上記の撮像装置１０が内蔵されたカメラ１の例として、例えば、図７の（ａ）に示されるデジタルスチルカメラ１Ａや図７の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。例えば、図７の（ａ）又は図７の（ｂ）などのカメラに本実施の形態に係る撮像装置１０が内蔵されることで、上記に説明したようにユーザが操作部６００を介して撮像の指示を行ってから（シャッタを切ってから）、表示部５００に撮像画像が表示されるまでの時間を短縮することができる。また、連続して撮像する際、シャッタを切ってから、次にシャッタを切るまでの時間を短縮することができる。
　［６．効果等］
　以上のように、本実施の形態に係る撮像装置１０は、行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像素子１００と、露光の終了後に固体撮像素子１００から取得した第１の画素信号に補正を行うことで撮像画像Ｐ１３を生成する画像処理部３２０とを備える。画像処理部３２０は、露光中の非破壊読み出しにより固体撮像素子１００から取得した第２の画素信号に基づいて補正を行う。
　従来の方法では、露光の終了後に取得した第１の画素信号に基づいて補正を行っていた。そのため、露光が終了しないと、画像処理が開始できなかった。
　本実施の形態に係る撮像装置１０は、非破壊読み出しにより露光中に第２の画素信号を取得する。そのため、露光中に第２の画素信号を用いて、第１の画素信号の補正を行うための処理（例えば、第１の画素信号を補正するための補正用画像の生成又は補正用画像の解析）を行うことできる。これにより、従来の方法に比べ、露光の終了後から画像処理の終了までの時間を短縮することができる。言い換えると、露光を開始してから、画像処理が終了するまでの時間（撮像時間Ｔｂ）を短縮することができる。つまり、画像処理の速度が高速化される。
　また、さらに、制御部３１０を備える。画像処理部３２０は、第２の画素信号から補正に用いる補正用画像を生成する、又は補正用画像を生成し、生成した補正用画像を用いて画像解析する画像処理を行う。そして、制御部３１０は、露光が終了する前に、画像処理部３２０での画像処理が終了するように、固体撮像素子１００が非破壊読み出しを行うタイミングを制御する。
　これにより、例えば、補正が階調の補正である場合、露光が終了するまでに、非破壊読み出しで取得した第２の画素信号を用いてボケ画像（補正用画像の一例）Ｐ１２を生成することができる。つまり、露光の終了後に取得する第１の画素信号に対し、画素２１０ごとの信号を取得した時点で、順次当該画素２１０の信号に補正を行うことができる。また、補正が像ぶれの補正又はホワイトバランスの補正などである場合、露光が終了するまでに、非破壊読み出しで取得した第２の画素信号を用いて補正用画像を生成し、かつ当該補正用画像の画像解析を行うことができる。つまり、露光が終了するまでに画像解析の結果を取得することができるので、露光の終了後に取得する第１の画素信号に対し、画素２１０ごとの信号を取得した時点で、順次当該画素２１０の信号に補正を行うことができる。よって、撮像時間Ｔｂをより短縮することができる。
　また、さらに、メモリ３３０を備える。そして、画像処理部３２０は、画素２１０ごとに順次取得した第１の画素信号に、当該画素２１０に対応した補正を行い、当該補正を行った第１の画素信号をメモリ３３０に格納する。
　これにより、第１の画素信号を一旦メモリ３３０に格納することなく補正を行えるので、補正する前の第１の画素信号をメモリ３３０に格納する及び読み出す時間を省くことができる。また、補正する前の第１の画素信号を格納するためのメモリが不要となるので、メモリ３３０の容量を低減することができる。
　また、補正用画像とは、撮像画像Ｐ１３より解像度が低いボケ画像Ｐ１２である。そして、画像処理部３２０は、明るさに対するゲインの補正を加えた第２の画素信号からボケ画像Ｐ１２を生成する。
　ボケ画像Ｐ１２を用いることにより、信号処理部３００での処理量を減らすことができるので、信号処理部３００における処理時間の短縮が可能となる。さらに、第２の画素信号にゲイン補正を加えることで生成されたボケ画像Ｐ１２は、従来例において生成されるボケ画像Ｐ２と略同一の明るさの画像となる。これにより、より精度良く第１の画素信号の補正が行える。
　また、補正とは、階調の補正、像ぶれの補正、又はホワイトバランスの補正である。
　これにより、階調の補正、像ぶれの補正、又はホワイトバランスの補正を行う場合に、撮像時間Ｔｂを短縮することができる。
　また、複数の画素２１０のそれぞれは、有機光電変換膜を有する。
　これにより、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できるため、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。そのため、被写体が動いている場合でも、より歪みの少ない画像データを取得することができる。
　また、本実施の形態に係るカメラ１は、上記の撮像装置１０を備える。
　これにより、ユーザが操作部６００を介して撮像の指示を行ってから（シャッタを切ってから）、表示部５００に撮像画像が表示されるまでの時間を短縮することができる。また、連続して撮像する際、シャッタを切ってから、次にシャッタを切るまでの時間を短縮することができる。
　また、本実施の形態に係る撮像方法は、露光の終了後に、非破壊読み出しが可能な複数の画素２１０を有する固体撮像素子１００から第１の画素信号を取得し、露光中の非破壊読み出しにより固体撮像素子１００から取得した第２の画素信号に基づいて第１の画素信号に補正を施すことで撮像画像Ｐ１３を生成する。
　これにより、非破壊読み出しにより露光中に第２の画素信号を取得できるので、露光中に第２の画素信号を用いて、ボケ画像の生成を行うことできる。これにより、従来の方法に比べ、露光の終了後から画像処理の終了までの時間を短縮することができる。言い換えると、露光を開始してから、画像処理が終了するまでの時間（撮像時間）を短縮することができる。
　（他の実施の形態）
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　例えば、上記実施の形態では、画像処理部３２０がボケ画像Ｐ１２を生成する例について説明したが、これに限定されない。例えば、画素混合ができる固体撮像素子１００を用いている場合、画像処理部３２０は固体撮像素子１００から取得した画素混合された信号をボケ画像として用いてもよい。
　これにより、実施の形態と同様の効果を奏する。
　また、上記では、画像処理部３２０は、ボケ画像Ｐ１２を用いて階調の補正を行う例について説明したが、これに限定されない。例えば、画像処理部３２０は、第２の画素信号から画像の明るさに対するヒストグラムを取得し、その結果を補正用信号として用いて第１の画素信号に階調の補正を行ってもよい。なお、固体撮像素子１００から取得した第２の画素信号により生成された明るさに対するヒストグラムに応じて第１の画素信号に階調の補正を行うことは、画像処理部３２０が行う画像処理の一例である。
　これにより、ボケ画像Ｐ１２を用いて階調の補正を行う場合と同様の効果を奏する。
　また、上記では、第１の画素信号はメモリ３３０に格納されず、画像処理部３２０により補正され撮像画像が生成される例について説明したが、これに限定されない。例えば、１フレーム分の第１の画素信号は一旦メモリ３３０に格納され、画像処理部３２０はメモリ３３０から第１の画素信号を画素２１０ごとに読み出し、読み出した第１の画素信号とボケ画像とから当該第１の画素信号に補正を行うことで撮像画像を生成してもよい。
　これにより、従来の方法と比べ、非破壊読み出しによりボケ画像を生成している分、画像処理の高速化が可能となる。
　また、上記では、露光中に非破壊読み出しを１回行う例について説明したが、非破壊読み出しを行う回数はこれに限定されない。露光中に非破壊読み出しを複数回行ってもよい。例えば、像ぶれ補正を行う場合、露光中に２回の非破壊読み出しを行い、それぞれの画素信号に基づく画像データから動きベクトルを取得し、第１の画素信号に補正を行ってもよい。また、露光期間中の被写体のブレやフラッシュ光などの影響を低減するために、例えば画像処理部３２０は、非破壊読み出しで取得した複数の画像の中から被写体のブレやフラッシュ光の影響がより少ない画像を補正用画像として選択してもよい。
　また、上記では、本開示に係る撮像装置１０が内蔵されたカメラ１について説明したが、用途はこれに限定されない。本開示に係る撮像装置１０が内蔵された各種電子機器も本開示に含まれる。
　また、撮像装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　また、上記実施の形態では、カメラ１は外部からの光を固体撮像素子１００に入射させるレンズ４００を備えている例について説明したが、これに限定されない。レンズ４００は、例えば、カメラ１に着脱可能なレンズであってもよい。この場合、カメラ１は、レンズ４００を備えていなくてもよい。なお、レンズ４００は、外部からの光を集光して固体撮像素子１００に入射させる。
　また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　本開示は、画像を撮像する撮像装置に広く利用可能である。
　１　　カメラ
　１Ａ　　デジタルスチルカメラ
　１Ｂ　　デジタルビデオカメラ
　１０　　撮像装置
　１００　　固体撮像素子
　１１０　　画素アレイ部
　１２０　　列ＡＤ変換部
　１２１　　ＡＤ変換器
　１３０　　行走査部
　１４０　　列走査部
　１５０　　駆動制御部
　１６０　　列信号線
　１７０　　走査線
　１７０Ａ　　リセット用走査線
　１７０Ｂ　　選択用走査線
　１８０　　行信号線
　２１０　　画素
　２１１　　光電変換素子
　２１１ａ　　上部電極
　２１１ｂ　　下部電極
　２１１ｃ　　光電変換膜
　２１２　　リセットトランジスタ
　２１３　　増幅トランジスタ
　２１４　　選択トランジスタ
　２１５　　電荷蓄積部
　３００　　信号処理部
　３１０　　制御部
　３２０　　画像処理部
　３３０　　メモリ
　４００　　レンズ
　５００　　表示部
　６００　　操作部
　Ｐ１　　中間画像
　Ｐ２、Ｐ１２　　ボケ画像
　Ｐ３、Ｐ１３　　撮像画像
　Ｔａ、Ｔｂ　　撮像時間

Claims (8)

  1. 　行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像素子と、
    　露光の終了後に前記固体撮像素子から取得した第１の画素信号に補正を行うことで撮像画像を生成する画像処理部と、
    　前記画像処理部により補正された前記第１の画素信号を格納するメモリと、を備え、
    　前記画像処理部は、
    　前記露光中の前記非破壊読み出しにより前記固体撮像素子から取得した第２の画素信号に基づいて前記補正を行う
    　撮像装置。
  2. 　さらに、制御部を備え、
    　前記画像処理部は、前記第２の画素信号から前記補正に用いる補正用画像を生成する、又は前記補正用画像を生成し、生成した前記補正用画像を用いて画像解析する画像処理を行い、
    　前記制御部は、前記露光が終了する前に、前記画像処理部での前記画像処理が終了するように、前記固体撮像素子が前記非破壊読み出しを行うタイミングを制御する
    　請求項１に記載の撮像装置。
  3. 　前記画像処理部は、前記画素ごとに順次取得した前記第１の画素信号に、当該画素に対応した前記補正を行い、当該補正を行った前記第１の画素信号を前記メモリに格納する
    　請求項２に記載の撮像装置。
  4. 　前記補正用画像とは、前記撮像画像より解像度が低いボケ画像であり、
    　前記画像処理部は、明るさに対するゲインの補正を加えた前記第２の画素信号から前記ボケ画像を生成する
    　請求項２又は３に記載の撮像装置。
  5. 　前記補正は、階調の補正、像ぶれの補正、又はホワイトバランスの補正である
    　請求項１～４のいずれか１項に記載の撮像装置。
  6. 　前記複数の画素のそれぞれは、有機光電変換膜を有する
    　請求項１～５のいずれか１項に記載の撮像装置。
  7. 　請求項１～６のいずれか１項に記載の撮像装置と、
    　前記撮像装置に外部の光を集光するレンズとを備える
    　カメラ。
  8. 　行列状に配列され、非破壊読み出しが可能な複数の画素を有する固体撮像素子から、露光の終了後に第１の画素信号を取得し、
    　前記露光中の非破壊読み出しにより前記固体撮像素子から取得した第２の画素信号に基づいて前記第１の画素信号に補正を行うことで撮像画像を生成する
    　撮像方法。
PCT/JP2017/046594 2016-12-27 2017-12-26 撮像装置、カメラ及び撮像方法 WO2018124050A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016254492A JP2020031257A (ja) 2016-12-27 2016-12-27 撮像装置、カメラ及び撮像方法
JP2016-254492 2016-12-27

Publications (1)

Publication Number Publication Date
WO2018124050A1 true WO2018124050A1 (ja) 2018-07-05

Family

ID=62709362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046594 WO2018124050A1 (ja) 2016-12-27 2017-12-26 撮像装置、カメラ及び撮像方法

Country Status (2)

Country Link
JP (1) JP2020031257A (ja)
WO (1) WO2018124050A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344249A (ja) * 2003-05-20 2004-12-09 Canon Inc 放射線撮影装置、放射線撮影方法、放射線撮影プログラム及び記録媒体
JP2007281555A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 撮像装置
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2016019090A (ja) * 2014-07-07 2016-02-01 パナソニックＩｐマネジメント株式会社 固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004344249A (ja) * 2003-05-20 2004-12-09 Canon Inc 放射線撮影装置、放射線撮影方法、放射線撮影プログラム及び記録媒体
JP2007281555A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 撮像装置
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置
JP2016019090A (ja) * 2014-07-07 2016-02-01 パナソニックＩｐマネジメント株式会社 固体撮像装置

Also Published As

Publication number Publication date
JP2020031257A (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
TWI373964B (ja)
US9191560B2 (en) Image capturing apparatus that performs photoelectric conversion on incident light that has passed through an imaging lens and outputs an electric signal
JP6414718B2 (ja) 撮像装置
CN109997352B (zh) 摄像装置、相机以及摄像方法
JP5222068B2 (ja) 撮像装置
US9986163B2 (en) Digital photographing apparatus and digital photographing method
WO2018124051A1 (ja) 画像選択装置、カメラ及び画像選択方法
WO2018124050A1 (ja) 撮像装置、カメラ及び撮像方法
WO2018124049A1 (ja) 撮像装置、カメラ及び撮像方法
WO2018124053A1 (ja) 撮像装置、カメラ及び撮像方法
US11546490B2 (en) Image generation method, imaging apparatus, and recording medium
JP2006239117A (ja) 放射線撮像装置
US9794502B2 (en) Image capturing apparatus
JP6704611B2 (ja) 撮影装置及び撮影方法
JP6706850B2 (ja) 撮像装置、カメラ、及び撮像方法
JP2014027520A (ja) 撮像装置及び画像処理方法
JP6706783B2 (ja) 撮像素子、撮像装置、カメラ、及び撮像方法
JP6664066B2 (ja) 撮像装置及びその制御方法
WO2018124057A1 (ja) 撮像装置及びその制御方法
WO2018124048A1 (ja) 撮像装置、カメラ、及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17889145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17889145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP