Nothing Special   »   [go: up one dir, main page]

WO2020246060A1 - 画像生成方法、撮像装置、及び、プログラム - Google Patents

画像生成方法、撮像装置、及び、プログラム Download PDF

Info

Publication number
WO2020246060A1
WO2020246060A1 PCT/JP2019/047315 JP2019047315W WO2020246060A1 WO 2020246060 A1 WO2020246060 A1 WO 2020246060A1 JP 2019047315 W JP2019047315 W JP 2019047315W WO 2020246060 A1 WO2020246060 A1 WO 2020246060A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image data
value
pixels
unit
Prior art date
Application number
PCT/JP2019/047315
Other languages
English (en)
French (fr)
Inventor
省吾 佐々木
直幸 井上
矢野　修志
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19931530.0A priority Critical patent/EP3982622A4/en
Priority to US17/420,021 priority patent/US11546490B2/en
Priority to JP2021524657A priority patent/JP7065417B2/ja
Publication of WO2020246060A1 publication Critical patent/WO2020246060A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present disclosure relates to an image generation method, an imaging device, and a program.
  • an imaging device that captures an image using an image sensor.
  • noise may be included in the acquired image due to the physical characteristics of the image sensor. Therefore, after the imaging operation is performed, the shutter is operated to perform a dummy imaging operation in a state where the light receiving surface of the image sensor is shielded from light, and the captured image data is corrected using the dummy imaging data acquired by this dummy imaging operation.
  • An electronic camera is disclosed (see Patent Document 1).
  • the present disclosure relates to an image generation method, an image pickup device, and a program capable of acquiring noise more appropriately than before.
  • the image generation method is an image generation method in an imaging device including a plurality of pixels, and an image is taken when each of the plurality of pixels is shielded from light.
  • the first image based on the first imaging step of performing the first imaging operation with the reference signal level as the first offset value in the imaging operation and the first pixel signal acquired by the first imaging operation.
  • the first offset value includes a first generation step of generating data, and the first offset value is a second offset which is a reference signal level in a second imaging operation in which an image is taken in a state where light is incident on each of the plurality of pixels. Higher than the value.
  • the imaging device has a signal level that serves as a reference in a first imaging operation in which imaging is performed when a plurality of pixels and each of the plurality of pixels are shielded from light.
  • the control unit includes a control unit that controls the first imaging operation with the first offset value, and a generation unit that generates image data based on the pixel signal acquired by the first imaging operation.
  • the unit controls the first offset value to a value higher than the second offset value, which is a reference signal level in the second imaging operation in which imaging is performed in a state where light is incident on each of the plurality of pixels.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the above image generation method.
  • noise can be acquired more appropriately than before.
  • FIG. 1 is a block diagram showing a configuration of a camera incorporating an imaging device according to an embodiment.
  • FIG. 2 is a block diagram showing a configuration of an imaging device according to an embodiment.
  • FIG. 3 is a diagram showing an example of a pixel circuit configuration according to the embodiment.
  • FIG. 4 is a flowchart showing an operation when correction is performed in the image pickup apparatus according to the embodiment.
  • FIG. 5 is a schematic diagram for explaining an operation when correction is performed in the image pickup apparatus according to the embodiment.
  • FIG. 6 is a flowchart showing an operation when acquiring the first image data in the imaging device according to the embodiment.
  • FIG. 7 is a flowchart showing an operation when the third image data is generated in the image pickup apparatus according to the embodiment.
  • FIG. 8A is a diagram showing an example of image data that is blacked out.
  • FIG. 8B is a diagram showing an example of overexposed image data.
  • FIG. 9 is a flowchart showing an operation when acquiring position information of defective pixels in the imaging device according to the embodiment.
  • FIG. 10 is a diagram showing an example of shading characteristics in the imaging device according to the embodiment.
  • FIG. 11 is a diagram for explaining the shading correction process in the image pickup apparatus according to the embodiment.
  • FIG. 12 is a diagram showing first image data after shading correction processing in the imaging device according to the embodiment.
  • FIG. 13 is an external view of a camera incorporating the imaging device according to the embodiment.
  • FIG. 14 is a first schematic diagram for explaining an operation when correction is performed in the image pickup apparatus according to the comparative example.
  • FIG. 15 is a second schematic diagram for explaining an operation when correction is performed in the image pickup apparatus according to the comparative example.
  • FIG. 14 is a first schematic diagram for explaining an operation when correction is performed in the image pickup apparatus according to the comparative example.
  • FIG. 14 shows a case where only white scratches are generated among white scratches and black scratches in imaging by long-time exposure.
  • white scratches are noise in which a brighter signal level is detected due to pixel defects and grows (increases) with exposure time.
  • white scratches are positive noise values such that a brighter signal level is detected as the exposure time becomes longer.
  • black scratches are noise in which a signal level darker than the original is detected due to pixel defects and grows (increases) with the exposure time.
  • black scratches are negative noise values such that a darker signal level is detected as the exposure time becomes longer.
  • the imaging device can execute the first imaging operation of imaging with the shutter closed and the second imaging operation of imaging with the shutter open.
  • the first imaging operation is, for example, an imaging operation performed to generate shading data for removing noise included in the image data generated by the second imaging operation.
  • the first imaging operation is performed, for example, after the second imaging operation.
  • the first imaging operation is performed under the same exposure conditions (for example, exposure time) as the second imaging operation.
  • light-shielding exposure is performed in which light is exposed (exposure operation is performed).
  • image data (light-shielding data) including only the noise of the imaging device 10 is acquired.
  • the second imaging operation is an imaging operation performed to capture a subject and generate image data.
  • the second imaging operation is performed by, for example, a long-second exposure that exposes for a time longer than a predetermined time, for example, the shutter is opened for 30 seconds or more.
  • the image pickup apparatus according to the comparative example may perform normal exposure in which exposure is performed for a predetermined time with the shutter open.
  • the normal exposure is an exposure for photographing a subject and generating image data, for example, an exposure performed by opening the shutter for a period shorter than 30 seconds.
  • the second imaging operation may be performed by normal exposure.
  • FIG. 14 indicates the signal level (pixel value), and the horizontal axis indicates the pixel position.
  • FIG. 14 shows, for example, signal levels at each of a plurality of pixels arranged on one line. Further, it is assumed that the signal shown in FIG. 14 is image data obtained by AD-converting analog signals from a plurality of pixels.
  • FIG. 14A is image data (long-exposure still image data) acquired by the second imaging operation (for example, long-time exposure).
  • the image data acquired by long-time exposure includes a signal component according to the brightness of the subject and a noise component due to white scratches according to the exposure time. With long exposure, the white scratches appear prominently.
  • the image may be, for example, a still image but a moving image.
  • FIG. 14B is image data (long-time shading exposure data) acquired by the first imaging operation. As shown in FIG. 14B, the image data acquired by the first imaging operation includes white scratches according to the exposure time.
  • FIG. 14 (C) of FIG. 14 shows image data (still image data after noise subtraction) that has been processed to remove noise from (a) of FIG.
  • the image data shown in FIG. 14 (c) is the image data obtained by subtracting the image data shown in FIG. 14 (b) from the image data shown in FIG. 14 (a) and further adding an offset value. Is shown.
  • the offset value is set to remove noise due to, for example, dark noise (for example, thermal noise).
  • the offset value is, for example, a reference signal level in the second imaging operation.
  • the offset value indicates, for example, a value (signal level) when a certain offset signal component is subtracted from the image data after digital conversion.
  • FIG. 15 is a second schematic diagram for explaining an operation when correction is performed in the image pickup apparatus according to the comparative example.
  • the vertical axis of FIG. 15 indicates the signal level, and the horizontal axis indicates the pixel position.
  • FIG. 15 is image data acquired by the second imaging operation.
  • the image data acquired by the second imaging operation includes a signal component according to the brightness of the subject and a noise component due to white scratches and black scratches according to the exposure time. Is done.
  • FIG. 15B is image data acquired by the first imaging operation.
  • the image data acquired by the first imaging operation includes white scratches and black scratches according to the exposure time.
  • the image pickup apparatus according to the comparative example cannot appropriately acquire noise (black scratches in the example of FIG. 15B). Since the signal level of the offset value is smaller than the signal level of black scratches (absolute value of black scratches), such a phenomenon occurs.
  • FIG. 15 among the image data acquired by the first imaging operation and the second imaging operation an example in which an undetected component exists in the image data acquired by the first imaging operation has been described, but the undetected component has been described. May also exist in the image data acquired by the second imaging operation.
  • FIG. 15 (C) of FIG. 15 shows image data obtained by performing a process of removing noise from (a) of FIG.
  • the image data shown in FIG. 15 (c) is the image data obtained by subtracting the image data shown in FIG. 15 (b) from the image data shown in FIG. 15 (a) and further adding an offset value. Is shown.
  • FIG. 15 (c) it can be seen that the white scratches have been removed, but some of the black scratches have not been removed.
  • FIG. 1 is a block diagram showing a configuration of a camera 1 in which an imaging device 10 according to the present embodiment is built.
  • FIG. 2 is a block diagram showing the configuration of the image pickup apparatus 10 according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of the solid-state image sensor 100 in detail. In FIG. 2, the shutter 400 is not shown.
  • the camera 1 includes an image pickup device 10, a lens 600, a display unit 700, and an operation unit 800.
  • the image pickup device 10 photographs a subject in response to an operation (input) from the user, and performs predetermined signal processing on the captured image data.
  • the image pickup apparatus 10 performs long-second exposure, light-shielding exposure, and normal exposure.
  • the long-second exposure and the normal exposure are exposures performed in a state where a subject image is formed on an image pickup device (in this embodiment, an organic photoelectric conversion element described later) by a lens 600 or the like.
  • Long-second exposure and normal exposure are performed to acquire image data of a subject.
  • the long-second exposure has a longer exposure time than the normal exposure, and is performed when, for example, a night view or a night sky is photographed.
  • the normal exposure has a shorter exposure time than the long exposure, that is, the normal exposure time, and is performed, for example, when performing normal shooting.
  • the reference signal level in imaging is set to a second offset value described later.
  • the light-shielding exposure is an exposure performed in a state where the image formation of the subject image is blocked by the shutter 400 or the like.
  • the light-shielding exposure is performed to remove noise (noise including white scratches and black scratches) from the image data acquired by long-time exposure or the like, or to acquire image data for identifying defective pixels.
  • the light-shielding exposure is performed for the same exposure time as the long-time exposure.
  • the reference signal level in imaging is set to the first offset value described later.
  • the shading exposure may be performed only when the long exposure is performed, out of the long exposure and the normal exposure.
  • the operation unit 800 can switch between the long exposure mode in which long exposure is performed and the normal exposure mode in which normal exposure is performed.
  • the long exposure and the normal exposure are examples of transmission exposure. In the following, an example in which the transmission exposure is a long exposure will be described.
  • the image pickup device 10 includes a solid-state image pickup device 100, a signal processing unit 300, a shutter 400, and a control unit 500.
  • the solid-state image sensor 100 further includes a pixel array unit 110, a column AD conversion unit 120, a row scanning unit 130, a column scanning unit 140, and a drive control unit 150.
  • a column signal line 160 is arranged for each pixel column, and a scanning line 170 is arranged for each pixel row.
  • the pixel array unit 110 is an imaging unit in which a plurality of pixels 210 are arranged in a matrix.
  • the column AD conversion (analog / digital converter) unit 120 digitally converts a signal (analog pixel signal) input from each column signal line 160 to a digital value (digital pixel) corresponding to the amount of light received by the pixel 210.
  • the row scanning unit 130 controls the reset operation of the pixel 210, the charge accumulation operation, and the read operation on a row-by-row basis.
  • the column scanning unit 140 outputs the digital value to the signal processing unit 300 by sequentially outputting the digital values for one row held by the column AD conversion unit 120 to the row signal line 180.
  • the drive control unit 150 controls each unit by supplying various control signals to the row scanning unit 130 and the column scanning unit 140.
  • the drive control unit 150 supplies various control signals to the row scanning unit 130 and the column scanning unit 140, for example, based on the control signals from the control unit 500.
  • the image pickup device 10 is, for example, an image pickup device for capturing a still image, but may be an image pickup device for capturing a moving image.
  • the image sensor 10 may include an interface (not shown) for communicating between an external circuit and at least one of the solid-state image sensor 100, the signal processing unit 300, and the control unit 500. ..
  • the interface is, for example, a communication port composed of a semiconductor integrated circuit or the like.
  • the lens 600 includes a lens system that can be driven along the optical axis direction, and by driving the lens system in the optical axis direction, light from the outside of the image pickup apparatus 10 is emitted. Is configured to be focused on the pixel array unit 110.
  • the display unit 700 is a display device capable of displaying an image generated by the signal processing unit 300, and is, for example, a liquid crystal monitor.
  • the display unit 700 can display various setting information on the camera.
  • the display unit 700 can display imaging conditions (aperture, ISO sensitivity, etc.) at the time of imaging.
  • the operation unit 800 is an input unit that receives input from the user, and is, for example, a release button or a touch panel. For example, the touch panel is adhered to the liquid crystal monitor.
  • the operation unit 800 receives an imaging instruction from a user, a change in imaging conditions, and the like.
  • the operation unit 800 may acquire the input from the user by voice or gesture.
  • FIG. 3 is a diagram showing an example of the circuit configuration of the pixel 210 according to the present embodiment.
  • the pixel 210 includes a photoelectric conversion element 211, a reset transistor 212, an amplification transistor 213, a selection transistor 214, and a charge storage unit 215.
  • the photoelectric conversion element 211 is a photoelectric conversion unit that photoelectrically converts the received light into a signal charge (pixel charge). Specifically, the photoelectric conversion element 211 is composed of an upper electrode 211a, a lower electrode 211b, and a photoelectric conversion film 211c sandwiched between both electrodes.
  • the photoelectric conversion film 211c is a film made of a photoelectric conversion material that generates an electric charge according to the received light, and in the present embodiment, it is made of an organic photoelectric conversion film containing an organic molecule having a high light absorption function. ing.
  • the photoelectric conversion element 211 is an organic photoelectric conversion element having an organic photoelectric conversion film
  • the solid-state imaging device 100 is an organic sensor using the organic photoelectric conversion element.
  • the organic photoelectric conversion film is formed over a plurality of pixels 210. Each of the plurality of pixels 210 has an organic photoelectric conversion film.
  • the organic photoelectric conversion film changes the light transmittance by changing the voltage applied to the organic photoelectric conversion film. That is, the shutter function can be realized by adjusting the voltage applied to the organic photoelectric conversion film. As a result, all of the plurality of pixels 210 having the organic photoelectric conversion film can be put into a light-shielding state substantially at the same time, so that the global shutter can be realized without adding an element such as a memory. Therefore, it is possible to reduce the distortion (rolling distortion) caused by the reading by the rolling shutter.
  • the thickness of the photoelectric conversion film 211c is, for example, about 500 nm. Further, the photoelectric conversion film 211c is formed by using, for example, a vacuum vapor deposition method.
  • the organic molecule has a high light absorption function over the entire range of visible light having a wavelength of about 400 nm to about 700 nm.
  • the photoelectric conversion element 211 included in the pixel 210 according to the present embodiment is not limited to the above-mentioned organic photoelectric conversion film, and may be, for example, a photodiode made of an inorganic material. Good.
  • the upper electrode 211a is an electrode facing the lower electrode 211b, and is formed so as to cover the photoelectric conversion film 211c on the photoelectric conversion film 211c. That is, the upper electrode 211a is formed so as to straddle the plurality of pixels 210.
  • the upper electrode 211a is made of a transparent conductive material (for example, ITO: indium tin oxide) in order to allow light to enter the photoelectric conversion film 211c.
  • the lower electrode 211b is an electrode for extracting electrons or holes generated in the photoelectric conversion film 211c between the lower electrode 211b and the opposite upper electrode 211a.
  • the lower electrode 211b is formed for each pixel 210.
  • the lower electrode 211b is made of, for example, Ti, TiN, Ta, Mo, or the like.
  • the charge storage unit 215 is connected to the photoelectric conversion element 211 and stores the signal charge taken out via the lower electrode 211b.
  • a reset voltage VRST is supplied to the drain, the source is connected to the charge storage unit 215, and the potential of the charge storage unit 215 is reset (initialized). Specifically, when a predetermined voltage is supplied (turned on) from the row scanning unit 130 to the gate of the reset transistor 212 via the reset scanning line 170A, the reset transistor 212 has the potential of the charge storage unit 215. To reset. Further, by stopping the supply of a predetermined voltage, the signal charge is accumulated in the charge storage unit 215 (exposure is started).
  • the second reset voltage VRST2 supplied to the drain of the reset transistor 212 before the start of long-time exposure and the first reset supplied to the drain of the reset transistor 212 before the start of light-shielding exposure is a different voltage.
  • the gate is connected to the charge storage unit 215, the power supply voltage VDD is supplied to the drain, and an analog pixel signal corresponding to the amount of charge of the signal charge stored in the charge storage unit 215 is output.
  • the selection transistor 214 determines the timing at which the drain is connected to the source of the amplification transistor 213, the source is connected to the column signal line 160, and the analog pixel signal from the amplification transistor 213 is output. Specifically, an analog pixel signal is output from the amplification transistor 213 by supplying a predetermined voltage from the row scanning unit 130 to the gate of the selection transistor 214 via the selection scanning line 170B.
  • Pixel 210 having the above configuration can be read non-destructively.
  • the non-destructive reading means reading an analog pixel signal according to the amount of electric charge without destroying the electric charge (signal charge) accumulated in the electric charge storage unit 215 during exposure.
  • the term "during exposure” is used to mean an arbitrary timing within the exposure period.
  • the column AD conversion unit 120 is composed of AD converters 121 provided for each column signal line 160.
  • the AD converter 121 is, for example, a 14-bit AD converter.
  • the AD converter 121 outputs, for example, a digital value corresponding to the amount of light received by the pixel 210 by digitally converting the analog pixel signal output from the pixel 210 by a lamp method.
  • the AD converter 121 has a comparator and an up / down counter (not shown).
  • the AD conversion by the lamp method is an AD conversion using a lamp wave, and when an analog pixel signal (input signal) is input, a lamp wave whose voltage rises with a constant gradient is started up and the lamp wave is started up. It is a method that measures the time from the start-up time until the voltages of both signals (input signal and lamp wave) match, and outputs the measured time as a digital value.
  • the comparator compares the voltage of the analog pixel signal (input signal) with the voltage of the reference signal input as a lamp wave, and outputs a signal indicating the timing at which the voltage of the reference signal matches the voltage of the column signal.
  • the up / down counter counts down (or upcounts) the period from when the reference signal is input to the comparator until the reference signal reaches the voltage of the analog pixel signal indicating the reference component, and then refers to the comparator.
  • up-counting or down-counting
  • the reference component is subtracted from the signal component of the analog pixel signal.
  • the digital pixel signal corresponding to the difference is finally held.
  • the analog pixel signal indicating the reference component is a pixel signal output from the pixel 210 to the AD converter 121 at the reset level (for example, the second offset value).
  • the analog pixel signal indicating the signal component is a pixel signal output from the pixel 210 to the AD converter 121 when the electric charge is accumulated by the exposure operation.
  • the digital values held in each up / down counter are sequentially output to the line signal line 180, and are output to the signal processing unit 300 via an output circuit (not shown, an output buffer or the like).
  • the drive control unit 150 By controlling the row scanning unit 130 and the column scanning unit 140, the drive control unit 150 performs a reset operation, a charge accumulation operation, and a read operation in the pixel 210, or a digital digital operation from the AD converter 121 to the signal processing unit 300. Controls the output operation of the pixel signal.
  • the drive control unit 150 When the drive control unit 150 receives a read instruction from the control unit 500, for example, the drive control unit 150 controls the row scanning unit 130, applies a predetermined voltage to the sequential selection scanning line 170B, and converts an analog pixel signal into the AD conversion unit 120. To output to. Further, the drive control unit 150 controls the column scanning unit 140 to sequentially output the digital pixel signals held in the AD converter 121 to the signal processing unit 300.
  • the signal processing unit 300 performs predetermined signal processing on the digital pixel signal acquired from the solid-state imaging device 100, generates image data, and stores and outputs the generated image data.
  • the signal processing unit 300 outputs, for example, the generated image data to the display unit 700. Further, the signal processing unit 300 stores image data in, for example, a storage unit 360 or an external storage device (for example, a USB memory).
  • the signal processing unit 300 includes a generation unit 310, a first determination unit 320, a first correction unit 330, a second correction unit 340, a second determination unit 350, and a storage unit 360.
  • the first determination unit 320 and the first correction unit 330 are provided to execute a process of removing white scratches and black scratches from the image data acquired by the second imaging operation.
  • the second correction unit 340 and the second determination unit 350 are provided to execute a process (pixel refresh) for detecting defective pixels.
  • the defective pixel means, for example, a pixel in which the above-mentioned white scratch or black scratch occurs.
  • the generation unit 310 is a processing unit that generates image data by performing predetermined signal processing on the digital pixel signal acquired from the solid-state image sensor 100.
  • the generation unit 310 generates image data (an example of the first image data) based on, for example, a digital pixel signal (an example of the first pixel signal) acquired by the first imaging operation, and acquires it by the second imaging operation.
  • Image data (an example of the second image data) is generated based on the digital pixel signal (an example of the second pixel signal).
  • the first determination unit 320 is a processing unit that determines whether or not the second image data generated by the generation unit 310 includes pixels that are blacked out or overexposed. In the present embodiment, the first determination unit 320 makes the above determination only for the defective pixel among the defective pixel and the pixel 210 that is not the defective pixel.
  • the first correction unit 330 is a processing unit that performs noise removal processing for removing white scratches and black scratches by correcting the second image data.
  • the first correction unit 330 generates a third image data from which white scratches and black scratches have been removed, based on the second image data and the first image data.
  • the first correction unit 330 is the second from the second image data based on the first image data and the second image data acquired from the generation unit 310 and the determination result acquired from the first determination unit 320.
  • the third image data is generated by subtracting one image data.
  • the second correction unit 340 is a processing unit that performs correction processing on the first image data acquired from the generation unit 310 according to the shading characteristics of each of the plurality of pixels 210.
  • the second correction unit 340 has, for example, one or more filters.
  • the second correction unit 340 has an IIR (Infinite Impulse Response) filter 341.
  • the IIR filter 341 is used, for example, to obtain the shading amount (for example, local shading amount) of each of the plurality of pixels 210 when each of the plurality of pixels 210 has a shading characteristic.
  • the second correction unit 340 may have a filter other than the IIR filter 341, but it is preferable to have the IIR filter 341 from the viewpoint of obtaining a more accurate local shading amount. Although the details will be described later, the IIR filter 341 can remove the white scratch and black scratch components from the first image data having the white scratch and black scratch components, so that a more accurate local shading amount can be obtained. (See FIG. 11).
  • the second determination unit 350 is a processing unit that performs processing for identifying defective pixels from a plurality of pixels 210 based on the correction-processed first image data acquired from the second correction unit 340.
  • the second determination unit 350 identifies defective pixels by, for example, determining in the first image data whether or not the pixel value of the pixel 210 in each of the plurality of pixels 210 is out of the predetermined range.
  • the second determination unit 350 stores the position information indicating the position of the pixel 210, which is a defective pixel, in the storage unit 360.
  • the storage unit 360 is a storage device that stores a program executed by each processing unit of the signal processing unit 300 and information necessary for executing the program.
  • An example of the storage unit 360 is a semiconductor memory.
  • the storage unit 360 may be realized by, for example, a DRAM (Dynamic Random Access Memory), a ferroelectric memory, or the like.
  • the storage unit 360 may be included in the imaging device 10, and may not be included in the signal processing unit 300.
  • the storage unit 360 also functions as a work memory for each processing unit of the signal processing unit 300.
  • the shutter 400 controls the time for the light flux from the lens 600 to reach the pixel array unit 110, and is a mechanical shutter having a configuration for traveling a shutter curtain, such as a focal plane shutter.
  • the opening / closing operation of the shutter 400 is controlled by the control unit 500.
  • the control unit 500 controls various components of the image pickup device 10.
  • the control unit 500 controls the solid-state image sensor 100, the signal processing unit 300, and the shutter 400 based on the input from the operation unit 800.
  • the control unit 500 drives, for example, the solid-state image sensor 100, and causes the signal processing unit 300 to output a digital pixel signal from the solid-state image sensor 100.
  • the control unit 500 may control the start of exposure and the end of exposure by adjusting the voltage applied to the organic photoelectric conversion film. For example, the control unit 500 puts a transmission state by applying a predetermined voltage to the organic photoelectric conversion film, and puts a light-shielding state by stopping the application of the voltage to the organic photoelectric conversion film.
  • control unit 500 controls the signal processing unit 300 to execute a predetermined signal processing. Further, the control unit 500 switches between the first imaging operation and the second imaging operation by controlling the opening and closing of the solid-state image sensor 100 and the shutter 400.
  • control unit 500 further controls the solid-state image sensor 100 so that the reset voltage VRST supplied to the drain of the reset transistor 212 differs between the first imaging operation and the second imaging operation. To do. Specifically, the control unit 500 resets the offset value during the first imaging operation (an example of the first offset value) so as to be higher than the offset value during the second imaging operation (an example of the second offset value). Controls the power supply (not shown) for supplying the voltage VRST .
  • the control unit 500 controls the lens 600 (specifically, a motor that controls the position of the lens 600), such as the degree of light condensing from the outside. May be adjusted.
  • the control unit 500 executes the above processing by reading a program from a memory (not shown) and executing the read program, for example.
  • FIG. 4 is a flowchart showing an operation when correction is performed in the image pickup apparatus 10 according to the present embodiment.
  • FIG. 5 is a schematic diagram for explaining an operation when correction is performed in the image pickup apparatus 10 according to the present embodiment.
  • the vertical axis represents the signal level and the horizontal axis represents the pixel position.
  • the image pickup apparatus 10 acquires image data (an example of the second image data) by the second image pickup operation (S10).
  • the second imaging operation is performed, for example, by long-time exposure, in a state where the shutter 400 is open (transmission state) and in a state where charges are accumulated in the charge storage unit 215, and the first period (for example, 30 seconds to Exposure for about 60 seconds).
  • the first period for example, 30 seconds to Exposure for about 60 seconds.
  • step S10 the control unit 500 resets the potential of the charge storage unit 215 by turning on the reset transistor 212 in a state where the shutter 400 is closed (light-shielding state).
  • the second reset voltage V RST2 at this time is a voltage value (second reset voltage) corresponding to the second offset value.
  • the control unit 500 opens the shutter 400 by controlling the shutter 400 so that the photoelectric conversion element 211 can receive light, and turns off the reset transistor 212. As a result, charges corresponding to the amount of light received by the photoelectric conversion element 211 are accumulated in the charge storage unit 215.
  • control unit 500 controls the drive control unit 150 to sequentially output digital pixel signals corresponding to the accumulated charges to the signal processing unit 300.
  • the signal processing unit 300 acquires image data including white scratches and black scratches, for example, as shown in FIG. 5A.
  • the generation unit 310 performs a predetermined process on the acquired image data. For example, the generation unit 310 executes offset subtraction on the acquired image data (specifically, subtracts the second offset value from the image data), so that, for example, as shown in FIG. 5 (b).
  • Image data an example of the second image data
  • Offset subtraction is a process for subtracting a constant offset signal component from image data.
  • the second offset value is subtracted from the image data.
  • the second offset value is a reference signal level in the second imaging operation.
  • the generation unit 310 outputs the generated second image data to the first determination unit 320 and the first correction unit 330.
  • Step S10 is an example of a second imaging step and a second generation step.
  • the image pickup apparatus 10 acquires image data (an example of the first image data) by the first image pickup operation (S20).
  • the first imaging operation is an exposure performed during the first period in a state where the shutter 400 is closed (light-shielding state) and the electric charge is accumulated in the electric charge storage unit 215.
  • the exposure times of steps S10 and S20 are, for example, the same time.
  • the exposure time in step S20 is a period during which electric charges are accumulated in a light-shielded state.
  • FIG. 6 is a flowchart showing an operation when acquiring the first image data in the image pickup apparatus 10 according to the present embodiment.
  • the control unit 500 sets the first offset value, which is a reference signal level in the first imaging operation, to a value higher than the second offset value (S21). Specifically, the control unit 500 sets the first offset value to a value higher than the second offset value by controlling the voltage value of the first reset voltage VRST1 . In other words, the control unit 500 controls the voltage value of the first reset voltage VRST1 so that the reference value of the signal level in the first imaging operation becomes the signal level corresponding to the first offset value.
  • the second offset value is set before the first offset value.
  • the second offset value is set in advance according to the exposure time and the like, and may be stored in the storage unit 360.
  • control unit 500 has a higher offset value when light-shielding and accumulating charges (acquiring light-shielding data) than an offset value when accumulating charges without shading (acquiring image data). Set to a value.
  • the control unit 500 may set the first offset value so that there is no undetected component in both the white scratch and the black scratch.
  • the control unit 500 may set a first offset value at a signal level between 10% and 90% of the maximum value of the signal level (pixel value) after digital conversion.
  • the control unit 500 more preferably has a first offset between 20% and 80% of the maximum value of the signal level (pixel value), and more preferably between 30% and 70% of the maximum value of the signal level (pixel value). You should set the value.
  • the control unit 500 may set the second offset value to about 50% of the maximum value of the signal level (pixel value).
  • the control unit 500 may set the first offset value to about 8000 pixel values.
  • step S21 the control unit 500 resets the potential of the charge storage unit 215 by first turning on the reset transistor 212 with the shutter 400 closed (light-shielding state).
  • the first reset voltage V RST1 at this time is a voltage value corresponding to the first offset value.
  • the first reset voltage is a voltage different from the second reset voltage.
  • the first reset voltage is, for example, a voltage higher than the second reset voltage.
  • the control unit 500 controls to execute the first imaging operation (S22).
  • the control unit 500 sets the offset value as the first offset value and causes the electric charge to be accumulated in a light-shielded state.
  • the control unit 500 causes the charge accumulation in the second period by turning off the reset transistor 212 while the shutter 400 is closed (light-shielding state).
  • the electric charge corresponding to the pixel defect is accumulated in the electric charge accumulating unit 215.
  • the charge is not substantially accumulated in the charge storage unit 215 of the pixel 210 having no defect.
  • the charge storage unit 215 of the pixel 210 having no defect still stores the charge corresponding to the second reset voltage.
  • Step S22 is an example of the first imaging step.
  • the length of the first period and the length of the second period are, for example, equal.
  • the signal strength of the white scratches and black scratches contained in the generated first image data becomes equal to the signal strength of the white scratches and black scratches contained in the second image data, so that the processing described later is effective.
  • White scratches and black scratches can be removed.
  • the signal intensity of white scratches included in the first image data means the difference between the signal level of the pixel 210 in which the white scratches are generated and the signal level in the case where the white scratches are not generated in the pixel 210. ..
  • the signal intensity of black scratches included in the first image data is the difference between the signal level of the pixel 210 in which the black scratches are generated and the signal level in the case where the black scratches are not generated in the pixel 210.
  • the first period and the second period are not limited to being equal.
  • the generation unit 310 acquires a pixel signal (first pixel signal) from the solid-state image sensor 100 (S23). Specifically, the control unit 500 controls the drive control unit 150 to sequentially output digital pixel signals corresponding to the accumulated charges to the signal processing unit 300 (for example, the generation unit 310). As a result, the signal processing unit 300 acquires image data including white scratches and black scratches, as shown in (c) of FIG. 5, for example.
  • the generation unit 310 generates the first image data by performing a predetermined process on the acquired image data (S24). For example, the generation unit 310 performs offset subtraction on the acquired image data (specifically, subtracts the first offset value from the image data), as shown in (d) of FIG. 5, for example. Image data (an example of the first image data) obtained by subtracting the offset is acquired. Step S24 is an example of the first generation step.
  • the generation unit 310 outputs the generated first image data to the first correction unit 330. Further, at this time, the generation unit 310 may further output the generated first image data to the second correction unit 340. As a result, it is possible to execute a process of identifying defective pixels, which will be described later, using the first image data generated in the process of photographing the subject.
  • the signal processing unit 300 then generates the third image data by subtracting the first image data from the second image data (S30). For example, the signal processing unit 300 subtracts the image data (an example of the first image data) shown in FIG. 5 (d) from the image data (an example of the second image data) shown in FIG. 5 (b). , The image data shown in FIG. 5 (e) (still image data after dark subtraction) is generated, and the second offset value is added to the image data to obtain the image data shown in FIG. 5 (f) (after offset addition). Still image data) is generated.
  • the image data shown in FIG. 5 (f) is an example of the third image data.
  • step S30 is an example of a third generation step.
  • FIG. 7 is a flowchart showing an operation when the third image data is generated in the image pickup apparatus 10 according to the present embodiment.
  • the first determination unit 320 acquires position information indicating the position of the defective pixel (S31).
  • the first determination unit 320 reads, for example, the position information of the defective pixel stored in the storage unit 360.
  • the first determination unit 320 determines for each pixel whether or not the pixel (the target pixel to be determined) is a defective pixel (S32). The first determination unit 320 makes the above determination based on, for example, the position information of the defective pixel.
  • the first determination unit 320 determines whether or not the image data (for example, the image indicated by the image data) is blacked out (S33). .. The first determination unit 320 determines whether or not the defect pixel is blacked out based on the pixel value of the defective pixel.
  • the blackout means, for example, that the pixel value in the resulting pixel is equal to or less than the second offset value.
  • the first determination unit 320 determines whether or not the pixel value of the defective pixel specified by the acquired position information is equal to or less than the first threshold value. Then, the first determination unit 320 determines that the defective pixel is blacked out when the pixel value of the defective pixel is equal to or less than the first threshold value.
  • the first threshold value is set to, for example, a value that can determine whether or not the blackout is blackened.
  • the first threshold value is, for example, a value in which the signal level (pixel value) is equal to the second offset value or the signal level (pixel value) is slightly higher than the second offset value (for example, with respect to the signal level of the second offset value). The value is about 1.1 times).
  • FIG. 8A shows an example of image data that is blacked out.
  • the first determination unit 320 determines that the defective pixel is blacked out.
  • the first determination unit 320 may further determine whether or not the pixels 210 around the defective pixel that are blackened are blacked out.
  • the pixels 210 arranged around the defective pixel are blacked out based on the pixel value of the pixel 210 (normal pixel) arranged around the defective pixel and the first threshold value. It may be determined whether or not it is done.
  • the pixels 210 around the defective pixel are blacked out.
  • FIG. 8A shows a case where the pixels 210 around the defective pixel are not blacked out.
  • the first determination unit 320 determines that the defective pixel is blacked out (Yes in S33)
  • the first determination unit 320 outputs the determination result to the first correction unit 330 (S34).
  • the first determination unit 320 outputs, for example, information for identifying a defective pixel that is blacked out to the first correction unit 330. Then, the process proceeds to step S35.
  • the first determination unit 320 determines that the image data (for example, the image indicated by the image data) is not blacked out (No in S33), and further, the image data (for example, the image indicated by the image data) is determined. It is determined whether or not the image is overexposed (S36). Overexposure means, for example, that the pixel value (signal level) in the defective pixel is saturated.
  • the first determination unit 320 determines, for example, whether or not the pixel value of the defective pixel determined as No in step S33 is equal to or greater than the second threshold value. Then, the first determination unit 320 determines that the image data (for example, the image indicated by the image data) is overexposed when the pixel value of the defective pixel is equal to or greater than the second threshold value.
  • the second threshold value is set to, for example, a value at which it can be determined whether or not overexposure occurs.
  • the second threshold value is, for example, a value whose signal level (pixel value) is larger than that of the first offset value.
  • the second threshold value may be set to, for example, the maximum value of the pixel values that the image pickup apparatus 10 can take.
  • FIG. 8B shows an example of overexposed image data.
  • the first determination unit 320 determines that the defective pixel is overexposed.
  • the first determination unit 320 may further determine whether or not the pixels 210 around the defective pixel that are overexposed are overexposed. In the first determination unit 320, for example, the pixels 210 arranged around the defective pixel are overexposed based on the pixel value of the pixel 210 (normal pixel) arranged around the defective pixel and the second threshold value. It may be determined whether or not it is done.
  • the pixels 210 around the defective pixel are overexposed.
  • FIG. 8B shows a case where the pixels 210 around the defective pixel are overexposed (in other words, when they are saturated).
  • the first determination unit 320 determines that the image data (for example, the image indicated by the image data) is overexposed (Yes in S36)
  • the first determination unit 320 outputs the determination result to the first correction unit 330 (S37). ..
  • the first determination unit 320 outputs, for example, information for identifying a defective pixel that is overexposed to the first correction unit 330. Then, the process proceeds to step S35.
  • the first threshold value and the second threshold value are stored in the storage unit 360 in advance, for example.
  • the black scratch component below the first threshold value is the undetected component.
  • the component of white scratches equal to or higher than the second threshold value is an undetected component. If the subtraction process is performed when an undetected component of black scratches or white scratches is present in this way, the second image data cannot be appropriately corrected (noise removed). Therefore, the first correction unit 330 does not perform the subtraction process for such defective pixels.
  • the first correction unit 330 sets the pixel value of the defective pixel (the pixel) determined by the first determination unit 320 to be blacked out or overexposed to the pixels 210 (normal pixels) around the defective pixel. ) Is determined based on the pixel value (S35). For example, the first correction unit 330 determines the average value of the pixel values of the surrounding pixels 210 as the pixel value of the defective pixel. For example, the above processing is executed by a filter such as a median filter (not shown) included in the first correction unit 330.
  • a filter such as a median filter (not shown) included in the first correction unit 330.
  • the first correction unit 330 is not limited to determining the average value of the pixel values of the surrounding pixels 210 as the pixel value of the defective pixel, and the maximum value and the minimum value of the pixel values of the surrounding pixels 210 are each. , Median, mode, etc. may be determined as the pixel value of the defective pixel.
  • the first correction unit 330 does not perform the subtraction process on the defective pixel (the pixel) determined by the first determination unit 320 to be blacked out or overexposed.
  • the first correction unit 330 executes the process of step S35 in the defective pixel. You don't have to. This is because the pixel values of the pixels 210 around the defective pixels for complementing the pixel values of the defective pixels are not accurate values.
  • the first correction unit 330 executes a subtraction process on the defective pixel (the pixel). (S38).
  • the first correction unit 330 executes a subtraction process on the pixel (normal pixel) (S38).
  • the first correction unit 330 determines whether or not the determination of step S32 has been made for all the pixels (S39). When the determination in step S32 is completed in all the pixels 210 (Yes in S39), the process in step S30 is completed. If the determination in step S32 is not completed for all defective pixels (No in S39), the process returns to step S32 and the processing is continued for the remaining pixels 210.
  • the first correction unit 330 has described an example in which the subtraction process is not executed for the defective pixel determined by the first determination unit 320 to be blacked out or overexposed, but the present invention is limited to this. Not done.
  • the first correction unit 330 may execute the subtraction process on each of the defective pixels, execute the subtraction process, and then execute the process of step S35 on the defective pixel that is blacked out or overexposed.
  • the first determination unit 320 determines whether or not the defective pixel is blacked out or overexposed, but the determination may not be performed.
  • the first correction unit 330 may acquire the position information of the defective pixel from the storage unit 360 and execute the process of step S35 for each of the defective pixels specified by the acquired position information.
  • the pixel value of the defective pixel may be replaced with the average value of the pixel values of the pixels 210 around the defective pixel by a median filter or the like. Further, in this case, the process of subtracting the first image data from the second image data may not be performed.
  • the first correction unit 330 then outputs the third image data (S40).
  • the first correction unit 330 may output the third image data to the display unit 700 to display the image corresponding to the third image data on the display unit 700, or the third image data to the storage unit 360.
  • the third image data may be stored by outputting.
  • the first correction unit 330 may transmit the third image data via the wireless communication module.
  • the process shown in FIG. 4 may be executed every time an image is taken in a long exposure, or may be executed every predetermined period. Further, the acquisition of the first image data in step S20 may be performed by acquiring the first image data acquired when the imaging apparatus 10 performs the imaging operation before executing step S10. In other words, in step S20, the first imaging operation may not be performed.
  • the generation unit 310 stores, for example, the first image data in the storage unit 360.
  • the first determination unit 320 acquires the first image data by reading the first image data acquired before the current imaging and stored in the storage unit 360 from the storage unit 360. You may.
  • the first determination unit 320 may read out the first image data stored in the storage unit 360 most recently, or the first The first image data whose period is close to the second period in the current step S20 may be read out.
  • the first determination unit 320 is the first image when the storage unit 360 stores the first image data captured under the same exposure conditions as the exposure conditions in the second imaging operation in step S10.
  • a read determination for reading data may be performed.
  • the first determination unit 320 may perform the above-mentioned read determination when there is no change between the exposure condition in the previous second imaging operation and the exposure condition in the current second imaging operation.
  • the elapsed time from the previous time is within a predetermined time (for example, 1 minute). If it is within), the above read determination may be performed.
  • the elapsed time from the previous time is, for example, the time from the acquisition of the image data by the second imaging operation in the previous time to the acquisition of the image data by the second imaging operation in this time.
  • the first determination unit 320 has no change in the exposure condition in the previous second imaging operation and the exposure condition in the second imaging operation this time, and the solid-state image sensor 100 in the second second imaging operation.
  • the temperature for example, the temperature of the photoelectric conversion element 211
  • the above-mentioned read determination may be performed.
  • the image pickup device 10 includes a temperature sensor that measures the temperature of the solid-state image pickup device 100 and the like.
  • the temperature sensor measures, for example, the temperature inside the image pickup apparatus 10.
  • the exposure condition includes at least one of aperture, shutter speed, and ISO sensitivity.
  • the first image data may be acquired by reading the first image data from the storage unit 360.
  • the first determination unit 320 may perform the above read determination if there is at least one first image data capable of performing the above read determination. Good.
  • FIG. 9 is a flowchart showing an operation when acquiring position information of defective pixels in the image pickup apparatus 10 according to the present embodiment. The process shown in FIG. 9 is executed when the camera 1 is shipped or when the pixel refresh is performed by the user.
  • step S110 image data (an example of the second image data) is acquired by the second imaging operation (S110).
  • the process of step S110 is the same as that of step S10, and the description thereof will be omitted. Note that step S110 does not have to be performed because the difference between the second image data and the first image data is not calculated when the detection operation for detecting defective pixels is performed.
  • the image pickup apparatus 10 acquires image data (an example of the first image data) by the first image pickup operation (S120).
  • image data an example of the first image data
  • S120 The process of step S120 is the same as that of step S20, and the description thereof will be omitted.
  • Step S130 is an example of a correction step.
  • FIG. 10 is a diagram showing an example of shading characteristics in the image pickup apparatus 10 according to the present embodiment.
  • the vertical axis shows the signal level and the horizontal axis shows the pixel position.
  • the upper limit threshold value and the lower limit threshold value are threshold values for determining whether or not the pixel is defective.
  • the upper limit threshold value is a pixel value for determining whether or not white scratches have occurred.
  • the lower limit threshold value is a pixel value for determining whether or not black scratches have occurred.
  • the alternate long and short dash line indicates the black level (reference signal level, for example, the signal level based on the first offset value) when there is no shading.
  • the shading characteristics tend to vary in each of the plurality of pixels 210. Further, the black level information when there is no shading is stored in, for example, the storage unit 360.
  • white scratches w1 and w2 and black scratches b1 to b3 are generated.
  • the white scratches w1 and w2 are equal to or higher than the upper limit threshold value, and the pixel 210 is determined to be a defective pixel.
  • each of the black scratches b1 to b3 is equal to or less than the lower limit threshold value, and the pixel 210 is determined to be a defective pixel.
  • the pixel value of the pixel 210 in which the white scratch w1 is generated and the pixel value of the pixel 210 in which the black scratch b3 is generated are the upper limit threshold value and the lower limit threshold value, respectively. It is located between.
  • the second determination unit 350 cannot determine that the pixel 210 in which the white scratch w1 is generated and the pixel 210 in which the black scratch b3 is generated are defective pixels when shading is generated. .. Therefore, the second correction unit 340 executes the shading correction process for correcting the shading characteristics as described above.
  • FIG. 11 is a diagram for explaining the shading correction process in the image pickup apparatus 10 according to the present embodiment. Specifically, FIG. 11 is a diagram for explaining a process of calculating a local shading amount in the shading correction process.
  • FIG. 11A corresponds to the broken line region R shown in FIG. 10, and is an enlarged view of the broken line region R.
  • the pixel 210 in which the white scratch w1 is generated is shown as pixel p6, and the peripheral pixels 210 are shown as pixels p1 to p5 and p7 to p11.
  • FIG. 11B shows the amount of local shading in the pixel of the broken line region R shown in FIG. 11C.
  • FIG. 11A is image data input to the IIR filter 341, for example, first image data (long-time exposure shading data) output from the generation unit 310.
  • FIG. 11B is data output from the IIR filter 341 and shows a shading amount (local shading amount).
  • the local shading amount means, for example, the shading amount for each of the pixels 210.
  • the second correction unit 340 executes, for example, a local shading amount calculation process from one of the arrangement directions of the pixels p1 to p11 toward the other. In the present embodiment, the second correction unit 340 sequentially executes the local shading amount calculation process from the pixel p1 to the pixel p11.
  • the second correction unit 340 sets the pixel value of the output of pixel p1 (hereinafter, also referred to as the output pixel value) to the pixel value (input) of the input of pixel p1. It is also described as a pixel value). Then, the second correction unit 340 determines the output pixel value of the pixel p2 based on the difference between the input pixel value of the pixel p2 and the output pixel value of the pixel p1. Specifically, the second correction unit 340 indicates that the difference is equal to or less than a predetermined threshold value (an example of the third threshold value), for example, the absolute value of the difference is equal to or less than a predetermined threshold value.
  • a predetermined threshold value an example of the third threshold value
  • the second correction unit 340 averages the output pixel value of the pixel p2 based on the input pixel value of the pixel p2 and the output pixel value of the pixel p1 (an example of the first average value) (an example of the second average value). And.
  • the second correction unit 340 may calculate the average value by the equivalent average or may calculate by the weighted average.
  • the second correction unit 340 determines the output pixel value of the pixel p3 based on the difference between the input pixel value of the pixel p3 and the output pixel value of the pixel p2. Specifically, when the difference is equal to or less than a predetermined threshold value (an example of the third threshold value), the second correction unit 340 determines that the pixel p3 has no white scratches or black scratches. This means that the pixel p3 is a normal pixel. Then, the second correction unit 340 averages the output pixel value of the pixel p3 based on the input pixel value of the pixel p3 and the output pixel value of the pixel p2 (an example of the first average value) (an example of the second average value). And. In this way, the second correction unit 340 performs a process of averaging the pixel values of the pixels 210 in which no white scratches or black scratches have occurred.
  • a predetermined threshold value an example of the third threshold value
  • the second correction unit 340 sequentially executes the local shading amount calculation process in this way.
  • the second correction unit 340 determines the output pixel value of the pixel p6 based on the difference between the input pixel value of the pixel p6 and the output pixel value of the pixel p5. Specifically, the second correction unit 340 has pixel p6 when the difference is larger than a predetermined threshold value (an example of a third threshold value), for example, when the absolute value of the difference is larger than the predetermined threshold value. It is determined that white scratches or black scratches have occurred on the surface. This means that pixel p6 is a defective pixel. Then, the second correction unit 340 sets the output pixel value of the pixel p6 as the output pixel value of the pixel p5 (an example of the first average value).
  • a predetermined threshold value an example of a third threshold value
  • the output pixel value of the pixel can be set to an average value (local shading amount) excluding the influence of the white scratches or black scratches. ..
  • the second correction unit 340 sets the pixel value of the pixel 210 in which the white scratch or the black scratch is generated to one or more located in one direction (left direction in the example of FIG. 11) with respect to the pixel 210. A process of replacing each pixel value of the pixel 210 with the average value of each pixel value is performed.
  • the second correction unit 340 executes the above processing on each of the plurality of pixels 210.
  • the second correction unit 340 executes the above processing using, for example, the IIR filter 341.
  • the IIR filter 341 the white scratch and the black scratch component can be removed from the first image data having the white scratch and the black scratch component, so that a more accurate local shading amount can be obtained. ..
  • the second correction unit 340 subtracts the correction value based on the local shading amount from the input first image data in each of the plurality of pixels 210.
  • the second correction unit 340 subtracts the correction value of each of the plurality of pixels 210 shown in FIG. 11 (c) from the first image data.
  • the second correction unit 340 calculates the correction value shown in FIG. 11 (c) based on the black level (signal level) when there is no shading and the local shading amount shown in FIG. 11 (b).
  • the second correction unit 340 calculates, for example, the difference between the black level (signal level) when there is no shading and the local shading amount shown in FIG. 11 (b) in each of the plurality of pixels 210 as a correction value.
  • FIG. 11 shows the correction value of the pixel 210 corresponding to the pixel 210 shown in FIG.
  • the correction value in the broken line region R of FIG. 11C shows the correction value based on the local shading amount in the pixels p1 to p11 shown in FIG. 11B.
  • the five broken line circles in FIG. 11 (c) have black scratches or white scratches shown in FIG.
  • the correction values corresponding to the defective pixel and the pixels around the defective pixel are shown.
  • the broken line circles indicate correction values including white scratches w1, black scratches b1, black scratches b2, black scratches b3, and defective pixels in which white scratches w2 are generated from the left side on the paper surface.
  • the correction value of the defective pixel in which white scratches or black scratches are generated is equal to the correction value of the pixel next to the defective pixel.
  • the correction value of the pixel p6 in which the white scratch w1 included in the broken line region R is generated is the pixel 210 next to the pixel p6 ((FIG. 11). In c), it becomes equal to the correction value of the pixel 210) adjacent to the left side.
  • the correction values of the defective pixels in which the black scratches b1, the black scratches b2, the black scratches b3, and the white scratches w2 are generated (the correction values in the other broken line circles in (c) of FIG. 11). is there.
  • the second correction unit 340 can generate the first image data from which the influence of the shading characteristic is removed.
  • the second correction unit 340 outputs the first image data that has undergone shading correction processing to the second determination unit 350.
  • the correction value based on the local shading amount may be calculated by performing a predetermined calculation other than the above on the local shading amount, or may be the local shading amount itself.
  • FIG. 12 is a diagram showing first image data that has undergone shading correction processing in the image pickup apparatus 10 according to the present embodiment. Specifically, the first image data obtained by subjecting the first image data shown in FIG. 10 to shading correction processing is shown.
  • the second determination unit 350 determines whether or not the pixel value in the shading-corrected first image data of each of the plurality of pixels 210 is out of the predetermined range (S140). .. In other words, the second determination unit 350 determines whether or not white scratches or black scratches have occurred in each of the plurality of pixels 210 based on the first image data.
  • the second determination unit 350 can perform the above determination more accurately by using the first image data from which the influence of shading has been removed.
  • the second determination unit 350 can perform the above determination using, for example, a threshold value defined by a certain value such as an upper limit threshold value and a lower limit threshold value.
  • Step S140 is an example of the determination step.
  • the second determination unit 350 determines that the pixel value is out of the predetermined range (Yes in S140)
  • the second determination unit 350 stores the position information of the pixel 210 in the storage unit 360 (S150).
  • the position information is information indicating the position of the pixel 210.
  • Step S150 is an example of a storage step.
  • the second determination unit 350 determines that the pixel value is not out of the predetermined range (No in S140)
  • the second determination unit 350 proceeds to step S160. That is, the second determination unit 350 does not store the position information of the pixel 210 in the storage unit 360 when the pixel value is not out of the predetermined range.
  • the second determination unit 350 determines whether or not the above determination has been made in all the pixels 210 of the plurality of pixels 210 (S160). When the second determination unit 350 determines in step S140 in all the pixels 210 (Yes in S160), the second determination unit 350 ends the process. If the second determination unit 350 has not determined step S140 in all the pixels 210 (No in S160), the second determination unit 350 returns to step S140 and continues processing for the remaining pixels 210.
  • Examples of the camera 1 in which the image pickup apparatus 10 is built-in include the digital still camera 1A shown in FIG. 13A and the digital video camera 1B shown in FIG. 13B.
  • black scratches and white scratches are generated as described above. Even in this case, both black scratches and white scratches can be appropriately detected, and the black scratches and white scratches can be appropriately removed.
  • the camera 1 may be built in a mobile terminal such as a smartphone or tablet terminal, a game machine, or the like.
  • the image generation method is the image generation method in the image pickup apparatus 10 including the plurality of pixels 210, and the first image pickup is performed when each of the plurality of pixels 210 is shielded from light.
  • the first imaging step (S22) in which the first imaging operation is performed with the reference signal level in the operation as the first offset value, and the pixel signal (an example of the first pixel signal) acquired by the first imaging operation. It includes a first generation step (S24) of generating the first image data based on the above.
  • the first offset value is higher than the second offset value, which is a reference signal level in the second imaging operation in which light is incident on each of the plurality of pixels 210.
  • the image generation method according to the present embodiment noise can be acquired more appropriately than before. That is, according to the image generation method according to the present embodiment, noise can be acquired more accurately than before.
  • the imaging device corrects noise (white scratches and black scratches) using the first image data acquired by the above method, the correction can be performed more accurately than before. Especially for black scratches, it is possible to correct with higher accuracy than before.
  • the image generation method further obtains the second image data based on the second imaging step (S10) for performing the second imaging operation and the pixel signal (an example of the second pixel signal) acquired by the second imaging operation.
  • the second generation step (S10) to be generated and the third generation step (S30) to generate the third image data by subtracting the first image data from the second image data are included.
  • the third image data becomes image data in which noise is removed more than before. That is, it is possible to acquire image data in which noise is removed, particularly black scratches are removed, as compared with the conventional case.
  • the defective pixel can be determined more accurately in the determination step. For example, it is possible to detect defective pixels in which black scratches occur more accurately than in the past.
  • the image generation method further includes a correction step of correcting the pixel value in the first image data according to the shading characteristics of each of the plurality of pixels 210 with respect to the first image data generated in the first generation step. (S130). Then, in the determination step, the determination is performed on the first image data corrected in the correction step.
  • the difference between the pixel value of the pixel 210 among the plurality of pixels 210 and the first average value of the pixel values of one or more pixels 210 located in one direction with respect to the pixel 210 is
  • the second average value which is the average value of the pixel value of the pixel 210 and the first average value is set as the pixel value of the pixel 210, and when the difference is larger than the third threshold value, the pixel is used.
  • the shading characteristic is acquired by setting the pixel value of 210 as the first average value.
  • shading characteristics for example, local shading amount
  • white scratches and black scratches are generated, the correction according to the shading characteristics can be performed more accurately.
  • the position information of the defective pixel whose noise component increases with the exposure time is acquired, and the pixel value in the second image data of the defective pixel based on the acquired position information is lower than the second offset value. If it is equal to or less than the first threshold value, the subtraction in the defective pixel is stopped.
  • the subtraction process is not performed on the defective pixel that is blacked out, that is, the defective pixel that has a noise component that is not detected in the black scratch. That is, by not performing the subtraction process on the defective pixel for which the black scratch cannot be properly corrected, it is possible to suppress the improper correction (for example, excessive subtraction).
  • the position information of the defective pixel whose noise component increases with the exposure time is acquired, and the pixel value in the second image data of the defective pixel based on the acquired position information is a signal level higher than the second offset value. If it is equal to or higher than the second threshold value, the subtraction in the defective pixel is stopped.
  • the subtraction process is not performed on the defective pixels that are overexposed, that is, the defective pixels that have noise components that are not detected in the white scratches. That is, by not performing the subtraction process on the defective pixel for which the white scratches cannot be properly corrected, it is possible to suppress the improper correction (for example, excessive subtraction).
  • the pixel value of the defective pixel whose subtraction is stopped is determined based on the pixel value of the pixel 210 arranged around the defective pixel.
  • the pixel values of the defective pixels that are blacked out or overexposed can be complemented based on the pixel values of the surrounding pixels 210. Therefore, even when an appropriate correction for white scratches or black scratches cannot be performed, the pixel value of the defective pixel can be appropriately determined.
  • the exposure time in the second imaging operation and the exposure time in the first imaging operation are equal.
  • the signal levels of the white scratches and the black scratches contained in the first image data and the second image data become equal in each of the defective pixels. Therefore, white scratches and black scratches can be effectively removed from the second image data.
  • the image pickup apparatus 10 can execute a normal exposure for exposing for a predetermined time and a long exposure for performing an exposure longer than the predetermined time.
  • the second imaging operation is performed by long-time exposure, and the second offset value is the same as the third offset value, which is a reference signal level in normal exposure.
  • the white scratches and the black scratches can be appropriately removed in the long-second exposure in which the white scratches and the black scratches are likely to occur remarkably.
  • the image pickup apparatus 10 sets the signal level as a reference in the first image pickup operation in which the image pickup is performed when the plurality of pixels 210 and each of the plurality of pixels 210 are shielded from light. It includes a control unit 500 that controls the first imaging operation with one offset value, and a generation unit 310 that generates image data based on the pixel signal acquired by the first imaging operation. Then, the control unit 500 controls the first offset value to a value higher than the second offset value, which is a reference signal level in the second imaging operation in which light is incident on each of the plurality of pixels 210.
  • the program according to the present embodiment is a program for causing a computer to execute the above image generation method.
  • the image generation method and the like have been described as an example executed when the image data includes both white scratches and black scratches, but the present invention is not limited to this.
  • the image generation method or the like may be executed when the image data contains only black scratches among white scratches and black scratches. As a result, black scratches can be appropriately acquired.
  • the first determination unit 320 determines in steps S32 and S33 whether or not the defective pixel is blacked out or overexposed, but the present invention is not limited to this.
  • the first determination unit 320 may determine whether or not blackouts and whiteouts occur even in normal pixels.
  • the second correction unit 340 in the above embodiment may have a low-pass filter, a minimum value filter, or the like in place of the IIR filter 341 or together with the IIR filter 341.
  • the first correction unit 330 may further perform shading correction processing.
  • the first correction unit 330 may have, for example, an IIR filter, and may perform shading correction processing on at least one of the first image data and the second image data, or the third image data.
  • the second correction unit 340 has described an example of correcting the first image data using the calculated local shading amount, but the present invention is not limited to this.
  • the second correction unit 340 may correct a predetermined third threshold value and fourth threshold value by using, for example, the calculated local shading amount.
  • the second correction unit 340 outputs the third threshold value and the fourth threshold value corrected according to the shading amount to the second determination unit 350.
  • the second determination unit 350 may make a determination in step S140 based on the first image data with shading and the third threshold value and the fourth threshold value corrected according to the shading amount.
  • the second correction unit 340 may set a threshold value (for example, a third threshold value and a fourth threshold value) according to the local shading amount at each pixel position.
  • each component (functional block) in the image pickup apparatus 10 may be individually integrated into one chip by a semiconductor device such as an IC (Integrated Circuit) or an LSI (Large Scale Integration), or may include a part or all of them. It may be made into one chip.
  • the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI may be used.
  • an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology or another technology derived from it, functional blocks may be integrated using that technology. The application of biotechnology, etc. is possible.
  • all or part of the above-mentioned various processes may be realized by hardware such as an electronic circuit or may be realized by software.
  • the processing by the software is realized by the processor included in the image pickup apparatus 10 executing the program stored in the memory.
  • the program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program on a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.
  • the constituent elements constituting the processing units such as the control unit 500, the generation unit 310, the first determination unit 320, the first correction unit 330, the second correction unit 340, and the second determination unit 350 as described above are concentrated. It may be composed of a single element that performs control, or may be composed of a plurality of elements that perform distributed control in cooperation with each other.
  • the software program may be provided as an application by communication via a communication network such as the Internet, communication according to a mobile communication standard, or the like.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • each step in the flowchart is executed is for exemplifying in order to specifically explain the present disclosure, and may be an order other than the above.
  • the order of step S10 and step S20 shown in FIG. 4 may be reversed.
  • a part of the above steps may be executed at the same time (parallel) as other steps.
  • the scope of the present disclosure also includes a form realized by arbitrarily combining the components and functions shown in the above-described embodiment.
  • the present disclosure can be widely used in an imaging device that captures an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

画像処理方法は、複数の画素（２１０）を備える撮像装置（１０）における画像生成方法であって、複数の画素（２１０）のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で第１撮像動作を行う第１撮像ステップ（Ｓ２２）と、第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップ（Ｓ２４）とを含む。そして、第１オフセット値は、複数の画素（２１０）のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。

Description

画像生成方法、撮像装置、及び、プログラム
　本開示は、画像生成方法、撮像装置、及び、プログラムに関する。
　従来、イメージセンサを用いて画像を撮像する撮像装置が知られている。このような撮像装置においては、イメージセンサの物理特性により、取得される画像にノイズが含まれることがある。そこで、撮像動作が行われた後に、シャッタを動作させてイメージセンサの受光面を遮光した状態でダミー撮像動作を行い、このダミー撮像動作により取得されたダミー撮像データを用いて撮像画像データを補正する電子カメラが開示されている（特許文献１参照）。
特開２０００－１２５２０４号公報
　しかしながら、特許文献１の方法では、ノイズの種類によっては、ノイズを適切に取得することができない場合がある。
　そこで、本開示は、従来よりもノイズを適切に取得することができる画像生成方法、撮像装置、及び、プログラムに関する。
　上記目的を達成するために、本開示の一態様に係る画像生成方法は、複数の画素を備える撮像装置における画像生成方法であって、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。
　また、上記目的を達成するために、本開示の一態様に係る撮像装置は、複数の画素と、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。
　また、上記目的を達成するために、本開示の一態様に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　本開示の一態様に係る画像生成方法等によれば、従来よりもノイズを適切に取得することができる。
図１は、実施の形態に係る撮像装置が内蔵されたカメラの構成を示すブロック図である。 図２は、実施の形態に係る撮像装置の構成を示すブロック図である。 図３は、実施の形態に係る画素の回路構成の一例を示す図である。 図４は、実施の形態に係る撮像装置において補正を行うときの動作を示すフローチャートである。 図５は、実施の形態に係る撮像装置において補正を行うときの動作を説明するための模式図である。 図６は、実施の形態に係る撮像装置において第１画像データを取得するときの動作を示すフローチャートである。 図７は、実施の形態に係る撮像装置において第３画像データを生成するときの動作を示すフローチャートである。 図８Ａは、黒つぶれしている画像データの一例を示す図である。 図８Ｂは、白飛びしている画像データの一例を示す図である。 図９は、実施の形態に係る撮像装置において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。 図１０は、実施の形態に係る撮像装置におけるシェーディング特性の一例を示す図である。 図１１は、実施の形態に係る撮像装置におけるシェーディング補正処理を説明するための図である。 図１２は、実施の形態に係る撮像装置におけるシェーディング補正処理後の第１画像データを示す図である。 図１３は、実施の形態に係る撮像装置が内蔵されたカメラの外観図である。 図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。 図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。
　（本開示の基礎となった知見）
　比較例に係る撮像装置において補正を行うときの動作について、図１４及び図１５を参照しながら説明する。図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。図１４は、長秒露光による撮像において、白キズ及び黒キズのうち白キズのみが発生する場合を示している。
　なお、本明細書において、白キズとは、画素欠陥により本来より明るい信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、白キズは、露光時間が長くなるほど、本来より明るい信号レベルが検出されるような正の値のノイズである。また、黒キズとは、画素欠陥により本来より暗い信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、黒キズは、露光時間が長くなるほど、本来より暗い信号レベルが検出されるような負の値のノイズである。
　また、比較例に係る撮像装置は、シャッタを閉じた状態で撮像する第１撮像動作と、シャッタを開いた状態で撮像する第２撮像動作とを実行可能である。第１撮像動作は、例えば、第２撮像動作により生成された画像データに含まれるノイズを除去するための遮光データを生成するために行われる撮像動作である。第１撮像動作は、例えば、第２撮像動作の後に続けて行われる。第１撮像動作は、第２撮像動作と同じ露光条件（例えば、露光時間）で行われる。なお、第１撮像動作においては、遮光した状態で露光する（露光動作する）遮光露光を行う。第１撮像動作では、撮像装置１０のノイズだけを含む画像データ（遮光データ）を取得する。
　第２撮像動作は、被写体を撮影して画像データを生成するために行われる撮像動作である。第２撮像動作は、例えば、所定時間より長い時間露光する長秒露光により行われ、例えば、３０秒以上シャッタを開いて行われる。なお、比較例に係る撮像装置は、上記に加えて、シャッタを開いた状態で所定時間露光する通常露光を行ってもよい。通常露光は、被写体を撮影して画像データを生成するための露光であり、例えば、３０秒より短い期間シャッタを開いて行う露光である。第２撮像動作は、通常露光により行われてもよい。
　図１４の縦軸は、信号レベル（画素値）を示し、横軸は、画素位置を示す。図１４は、例えば、１ライン上に配置された複数の画素のそれぞれにおける信号レベルを示す。また、図１４に示す信号は、複数の画素からのアナログ信号がＡＤ変換された画像データであるとする。
　図１４の（ａ）は、第２撮像動作（例えば、長秒露光）により取得された画像データ（長秒露光静止画データ）である。図１４の（ａ）に示すように、長秒露光により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズによるノイズ成分とが含まれる。長秒露光では、当該白キズが顕著に現れる。なお、画像は、例えば、静止画であるが動画であってもよい。
　図１４の（ｂ）は、第１撮像動作により取得された画像データ（長秒遮光露光データ）である。図１４の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズが含まれる。
　図１４の（ｃ）は、図１４の（ａ）からノイズを除去する処理を行った画像データ（ノイズ減算後静止画データ）を示す。具体的には、図１４の（ｃ）に示す画像データは、図１４の（ａ）に示す画像データから図１４の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１４の（ｃ）に示すように、上記の処理により白キズが除去されていることがわかる。なお、オフセット値は、例えば、ダークノイズ（例えば、熱ノイズ）等によるノイズを除去するために設定される。オフセット値は、例えば、第２撮像動作において基準となる信号レベルである。オフセット値は、例えば、デジタル変換後の画像データに対して一定のオフセット信号成分を減算するときの値（信号レベル）を示す。
　ここで、撮像装置が備える光電変換素子の物理的特性等によっては、白キズ及び黒キズの双方が発生することがある。このような光電変換素子を備える撮像装置において、上記と同様のノイズ除去を行う場合について、図１５を参照しながら説明する。図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。図１５の縦軸は、信号レベルを示し、横軸は、画素位置を示す。
　図１５の（ａ）は、第２撮像動作により取得された画像データである。図１５の（ａ）に示すように、第２撮像動作により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズ及び黒キズによるノイズ成分とが含まれる。
　図１５の（ｂ）は、第１撮像動作により取得された画像データである。図１５の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズ及び黒キズが含まれる。しかしながら、黒キズには、未検出となる成分が存在する。つまり、比較例に係る撮像装置は、ノイズ（図１５の（ｂ）の例では黒キズ）を適切に取得することができない。オフセット値の信号レベルが黒キズの信号レベル（黒キズの絶対値）より小さいため、このような現象が発生する。なお、図１５では、第１撮像動作及び第２撮像動作により取得された画像データのうち、第１撮像動作により取得された画像データにおいて未検出成分が存在する例について説明したが、未検出成分は第２撮像動作により取得された画像データにおいても存在する場合がある。
　図１５の（ｃ）は、図１５の（ａ）からノイズを除去する処理を行った画像データを示す。具体的には、図１５の（ｃ）に示す画像データは、図１５の（ａ）に示す画像データから図１５の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１５の（ｃ）に示すように、白キズは除去できているが、黒キズは一部が除去できていないことがわかる。
　このように、比較例に係るノイズ除去方法では、白キズに加えて黒キズが発生する場合に、黒キズを適切に除去することができない場合があった。そこで、本願発明者らは、白キズ及び黒キズの双方が発生する場合において、白キズ及び黒キズの双方を適切に取得することについて、鋭意検討を行った。そして、本願発明者らは、第１撮像動作のときのオフセット値を調整することで、上記の課題を解決することを見出した。以下、詳細に説明する。
　以下では、本開示の画像生成方法、撮像装置、及び、プログラムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
　なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　（実施の形態）
　以下、本実施の形態について、図１～図１３を参照しながら説明する。
　［１．カメラの全体構成］
　まず、本実施の形態に係る撮像装置１０及び当該撮像装置１０を備えるカメラ１の構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る撮像装置１０が内蔵されたカメラ１の構成を示すブロック図である。図２は、本実施の形態に係る撮像装置１０の構成を示すブロック図である。図２は、固体撮像装置１００の構成を詳細に示すブロック図である。なお、図２では、シャッタ４００の図示を省略している。
　図１に示すように、本実施の形態に係るカメラ１は、撮像装置１０と、レンズ６００と、表示部７００と、操作部８００とを備える。
　撮像装置１０は、ユーザからの操作（入力）に応じて、被写体を撮影し、撮影した画像データに所定の信号処理を施す。撮像装置１０は、長秒露光、遮光露光、及び、通常露光を行う。長秒露光及び通常露光は、レンズ６００等によって被写体像が撮像素子（本実施の形態では、後述する有機光電変換素子）上に結像した状態で行われる露光である。長秒露光及び通常露光は、被写体を撮影した画像データを取得するために行われる。長秒露光は、通常露光より露光時間が長く、例えば、夜景又は夜空などを撮影するときに行われる。通常露光は、長秒露光より露光時間が短い、つまり通常露光時間であり、例えば、通常の撮影を行うときに行われる。長秒露光及び通常露光では、撮像における基準となる信号レベルは、後述する第２オフセット値に設定される。
　一方、遮光露光は、シャッタ４００等によって被写体像の結像が遮断された状態で行われる露光である。遮光露光は、長秒露光などにより取得された画像データからノイズ（白キズ及び黒キズを含むノイズ）を除去するため、又は、欠陥画素を特定するための画像データを取得するために行われる。遮光露光は、例えば、長秒露光により取得された画像データからノイズを除去する場合、当該長秒露光と同じ露光時間行われる。遮光露光では、撮像における基準となる信号レベルは、後述する第１オフセット値に設定される。
　遮光露光は、長秒露光及び通常露光のうち、長秒露光が行われた場合のみ実行されてもよい。長秒露光を行う長秒露光モードと通常露光を行う通常露光モードとは、操作部８００により切り替え可能である。なお、長秒露光及び通常露光は、透過露光の一例である。以下では、透過露光が長秒露光である例について説明する。
　撮像装置１０は、固体撮像装置１００と、信号処理部３００と、シャッタ４００と、制御部５００とを有する。図２に示すように、さらに、固体撮像装置１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。
　画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。
　列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログの画素信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値（デジタルの画素信号）を取得、保持及び出力する変換部である。
　行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び、読み出し動作を制御する。
　列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００にデジタル値を出力する。
　駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、制御部５００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。
　本実施の形態に係る撮像装置１０は、例えば、静止画を撮像するための撮像装置であるが、動画を撮影するための撮像装置であってもよい。
　なお、撮像装置１０は、外部の回路と、固体撮像装置１００、信号処理部３００、及び、制御部５００の少なくとも１つとの間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。
　図１を再び参照して、レンズ６００は、光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、撮像装置１０の外部からの光を画素アレイ部１１０に集光するように構成されている。
　表示部７００は、信号処理部３００で生成した画像を表示可能な表示デバイスであり、例えば、液晶モニタなどである。また、表示部７００は、カメラにおける各種の設定情報が表示可能である。例えば、表示部７００は、撮像時の撮像条件（絞りやＩＳＯ感度など）を表示可能である。
　操作部８００は、ユーザからの入力を受け付ける入力部であり、例えば、レリーズボタン又はタッチパネルなどである。例えば、タッチパネルは液晶モニタに接着されている。操作部８００は、ユーザからの撮像の指示や撮像条件の変更などを受け付ける。なお、操作部８００は、ユーザからの入力を音声又はジェスチャなどにより取得してもよい。
　［２．固体撮像装置の構成］
　続いて、固体撮像装置１００の構成について、さらに図３を参照しながら詳細に説明する。図３は、本実施の形態に係る画素２１０の回路構成の一例を示す図である。
　［２－１．画素］
　図３に示すように、画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。
　光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像装置１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。
　有機光電変換膜は、有機光電変換膜に印加する電圧を可変することで、光の透過率が変化する。つまり、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できる。これにより、有機光電変換膜を有する複数の画素２１０の全てを実質的に同時に遮光状態とすることができるので、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。よって、ローリングシャッタによる読み出しにより生じていた歪み（ローリング歪み）を低減することができる。
　光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍの可視光全域にわたって高い光吸収機能を有する。
　なお、本実施の形態に係る画素２１０が有する光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードなどであってもよい。
　上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：酸化インジウムスズ）で構成されている。
　下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。
　電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。
　リセットトランジスタ２１２は、ドレインにリセット電圧ＶＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。
　なお、本実施の形態において、長秒露光の開始前にリセットトランジスタ２１２のドレインに供給される第２リセット電圧ＶＲＳＴ２と、遮光露光の開始前にリセットトランジスタ２１２のドレインに供給される第１リセット電圧ＶＲＳＴ１とは、異なる電圧である。
　増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧ＶＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じたアナログの画素信号を出力する。
　選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースが列信号線１６０に接続され、増幅トランジスタ２１３からのアナログの画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３からアナログの画素信号が出力される。
　上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じたアナログの画素信号を読み出すことを意味する。なお、露光中とは、露光期間内の任意のタイミングを意味するものとして使用する。
　［２－２．その他の構成］
　列ＡＤ変換部１２０は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、１４ｂｉｔのＡＤ変換器である。ＡＤ変換器１２１は、例えば、画素２１０から出力されたアナログの画素信号をランプ方式でデジタル変換することで、画素２１０での受光量に対応するデジタル値を出力する。ＡＤ変換器１２１は、コンパレータ及びアップダウンカウンタ（図示しない）を有する。
　ここで、ランプ方式によるＡＤ変換とは、ランプ波を用いたＡＤ変換であり、アナログの画素信号（入力信号）が入力されると、一定の傾斜で電圧が上昇するランプ波を立ち上げ、その立ち上げ時点から、両信号（入力信号とランプ波）の電圧が一致するまでの時間を計測し、その計測時間をデジタル値で出力する方式である。コンパレータは、アナログの画素信号（入力信号）の電圧と、ランプ波として入力される参照信号の電圧とを比較し、参照信号の電圧が列信号の電圧と一致するタイミングを示す信号を出力する。
　アップダウンカウンタは、コンパレータに参照信号が入力されてからその参照信号が基準成分を示すアナログの画素信号の電圧に達するまでの期間においてダウンカウント（あるいは、アップカウント）し、続いて、コンパレータに参照電圧が入力されてからその参照信号が信号成分を示すアナログの画素信号の電圧に達するまでの期間においてアップカウント（あるいは、ダウンカウント）することで、アナログの画素信号の信号成分から基準成分を差し引いた差分に相当するデジタルの画素信号を最終的に保持する。基準成分を示すアナログの画素信号は、リセットレベル（例えば、第２オフセット値）のときに画素２１０からＡＤ変換器１２１に出力される画素信号である。また、信号成分を示すアナログの画素信号は、露光動作により電荷が蓄積されたときに画素２１０からＡＤ変換器１２１に出力される画素信号である。
　各アップダウンカウンタに保持されたデジタル値は、順次、行信号線１８０に出力され、出力回路（図示しないが、出力バッファなど）を介して、信号処理部３００に出力される。
　駆動制御部１５０は、行走査部１３０及び列走査部１４０を制御することにより、画素２１０におけるリセット動作、電荷の蓄積動作、及び読み出し動作、又はＡＤ変換器１２１から信号処理部３００へのデジタルの画素信号の出力動作を制御する。
　駆動制御部１５０は、例えば、制御部５００から読み出しの指示を受け付けると、行走査部１３０を制御し、順次選択用走査線１７０Ｂに所定の電圧を印加させ、アナログの画素信号をＡＤ変換部１２０へ出力させる。また、駆動制御部１５０は、列走査部１４０を制御し、ＡＤ変換器１２１に保持されているデジタルの画素信号を順次信号処理部３００へ出力させる。
　［３．信号処理部の構成］
　続いて、信号処理部３００について、図１を参照しながら説明する。
　信号処理部３００は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成し、生成した画像データを格納及び出力する処理を行う。信号処理部３００は、例えば、生成した画像データを表示部７００に出力する。また、信号処理部３００は、例えば、記憶部３６０又は外部の記憶装置（例えば、ＵＳＢメモリなど）に画像データを格納する。
　図１に示すように、信号処理部３００は、生成部３１０と、第１判定部３２０と、第１補正部３３０と、第２補正部３４０と、第２判定部３５０と、記憶部３６０とを有する。第１判定部３２０及び第１補正部３３０は、第２撮像動作により取得した画像データから白キズ及び黒キズを除去する処理を実行するために設けられる。また、第２補正部３４０及び第２判定部３５０は、欠陥画素を検出する処理（ピクセルリフレッシュ）を実行するために設けられる。欠陥画素は、例えば、上記の白キズ又は黒キズが発生する画素を意味する。
　生成部３１０は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成する処理部である。生成部３１０は、例えば、第１撮像動作により取得されたデジタルの画素信号（第１画素信号の一例）に基づいて画像データ（第１画像データの一例）を生成し、第２撮像動作により取得されたデジタルの画素信号（第２画素信号の一例）に基づいて画像データ（第２画像データの一例）を生成する。
　第１判定部３２０は、生成部３１０が生成した第２画像データに黒つぶれ又は白飛びした画素が含まれているか否かを判定する処理部である。本実施の形態では、第１判定部３２０は、欠陥画素及び欠陥画素ではない画素２１０のうち、欠陥画素のみについて、上記の判定を行う。
　第１補正部３３０は、第２画像データを補正することで白キズ及び黒キズを除去するためのノイズ除去処理を行う処理部である。第１補正部３３０は、第２画像データと第１画像データとに基づいて、白キズ及び黒キズが除去された第３画像データを生成する。具体的には、第１補正部３３０は、生成部３１０から取得した第１画像データ及び第２画像データと、第１判定部３２０から取得した判定結果とに基づいて、第２画像データから第１画像データを減算することで、第３画像データを生成する。
　第２補正部３４０は、生成部３１０から取得した第１画像データに対して、複数の画素２１０それぞれのシェーディング特性に応じた補正処理を行う処理部である。第２補正部３４０は、例えば、１以上のフィルタを有する。本実施の形態では、第２補正部３４０は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタ３４１を有する。ＩＩＲフィルタ３４１は、例えば、複数の画素２１０のそれぞれがシェーディング特性を有する場合、複数の画素２１０のそれぞれのシェーディング量（例えば、局所シェーディング量）を求めるために用いられる。
　なお、第２補正部３４０は、ＩＩＲフィルタ３４１以外のフィルタを有していてもよいが、より正確な局所シェーディング量を求める観点からＩＩＲフィルタ３４１を有していることが好ましい。詳細は後述するが、ＩＩＲフィルタ３４１は、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる（図１１を参照）。
　第２判定部３５０は、第２補正部３４０から取得した補正処理された第１画像データに基づいて、複数の画素２１０の中から、欠陥画素を特定するための処理を行う処理部である。第２判定部３５０は、例えば、第１画像データにおいて、複数の画素２１０のそれぞれにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行うことで、欠陥画素を特定する。第２判定部３５０は、欠陥画素である画素２１０の位置を示す位置情報を記憶部３６０に格納する。
　記憶部３６０は、信号処理部３００の各処理部が実行するプログラム及び当該プログラムの実行に必要な情報などを格納する記憶装置である。記憶部３６０は、半導体メモリなどが例示される。記憶部３６０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、又は、強誘電体メモリなどで実現されてもよい。なお、記憶部３６０は、撮像装置１０が有していればよく、信号処理部３００が有していなくてもよい。また、記憶部３６０は、信号処理部３００の各処理部のワークメモリとしても機能する。
　シャッタ４００は、レンズ６００からの光束が画素アレイ部１１０へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタである。このシャッタ４００の開閉動作は、制御部５００により制御される。
　制御部５００は、撮像装置１０の各種構成要素を制御する。制御部５００は、操作部８００からの入力に基づいて、固体撮像装置１００、信号処理部３００、及び、シャッタ４００を制御する。制御部５００は、例えば、固体撮像装置１００を駆動し、固体撮像装置１００からのデジタルの画素信号を信号処理部３００に出力させる。また、制御部５００は、有機光電変換膜に印加する電圧を調整することで、露光の開始と露光の終了とを制御してもよい。制御部５００は、例えば、有機光電変換膜に所定の電圧を印加することで透過状態とし、有機光電変換膜への電圧の印加を停止することで遮光状態とする。
　また、制御部５００は、信号処理部３００を制御することで、所定の信号処理を実行させる。また、制御部５００は、固体撮像装置１００とシャッタ４００の開閉とを制御することで、第１撮像動作と第２撮像動作とを切り替える。
　本実施の形態では、制御部５００は、さらに、リセットトランジスタ２１２のドレインに供給されるリセット電圧ＶＲＳＴを第１撮像動作時と第２撮像動作時とで異ならせるように固体撮像装置１００を制御する。具体的には、制御部５００は、第１撮像動作時のオフセット値（第１オフセット値の一例）が第２撮像動作時のオフセット値（第２オフセット値の一例）より高くなるように、リセット電圧ＶＲＳＴを供給するための電源（図示しない）を制御する。
　なお、制御部５００は、操作部８００がユーザから撮像の指示を受け付けると、レンズ６００（具体的には、レンズ６００の位置を制御するモータ）を制御し、外部からの光の集光度合などを調整してもよい。
　制御部５００は、例えば、メモリ（図示しない）からプログラムを読み出し、読み出しプログラムを実行することで上記の処理を実行する。
　［４．撮像装置の処理］
　次に、撮像装置１０が実行する処理について図４～図１２を参照しながら説明する。まず、撮像して取得した画像データに含まれる白キズ及び黒キズを除去する処理について、図４～図８Ｂを参照しながら説明する。図４は、本実施の形態に係る撮像装置１０において補正を行うときの動作を示すフローチャートである。図５は、本実施の形態に係る撮像装置１０において補正を行うときの動作を説明するための模式図である。なお、図５の（ａ）～図５の（ｆ）のそれぞれにおいて、縦軸は信号レベルを示しており、横軸は画素位置を示している。
　図４に示すように、撮像装置１０は、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１０）。第２撮像動作は、例えば、長秒露光により行われ、シャッタ４００が開いた状態（透過状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間（例えば、３０秒～６０秒程度）の露光を行う。言い換えると、ステップＳ１０において、第１期間の電荷の蓄積が実行される。
　具体的には、ステップＳ１０において、制御部５００は、シャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第２リセット電圧ＶＲＳＴ２は、第２オフセット値に対応した電圧値（第２リセット電圧）である。そして、制御部５００は、シャッタ４００を制御することでシャッタ４００を開いて光電変換素子２１１が受光可能な状態とし、かつ、リセットトランジスタ２１２をオフする。これにより、電荷蓄積部２１５に光電変換素子２１１の受光量に応じた電荷が蓄積される。
　そして、制御部５００は、第１期間の露光が終了すると、駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００へ出力させる。
　これにより、信号処理部３００は、例えば、図５の（ａ）に示すように、白キズ及び黒キズを含む画像データを取得する。生成部３１０は、取得した画像データに所定の処理を施す。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実行する（具体的には、画像データから第２オフセット値を減算する）ことで、例えば、図５の（ｂ）に示すようなオフセット減算した画像データ（第２画像データの一例）を生成する。オフセット減算は、画像データから一定のオフセット信号成分を減算するための処理である。本実施の形態では、オフセット減算では、画像データから第２オフセット値が減算される。第２オフセット値は、第２撮像動作において基準となる信号レベルである。
　生成部３１０は、生成した第２画像データを第１判定部３２０及び第１補正部３３０に出力する。ステップＳ１０は、第２撮像ステップ及び第２生成ステップの一例である。
　次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ２０）。第１撮像動作は、シャッタ４００が閉じた状態（遮光状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間行われる露光である。ステップＳ１０及びＳ２０の露光時間は、例えば、同じ時間である。なお、ステップＳ２０における露光時間は、遮光状態で電荷を蓄積する期間である。
　ここで、第１撮像動作により画像データを取得する処理について、図６を参照しながら説明する。図６は、本実施の形態に係る撮像装置１０において第１画像データを取得するときの動作を示すフローチャートである。
　図６に示すように、制御部５００は、第１撮像動作において基準となる信号レベルである第１オフセット値を第２オフセット値より高い値に設定する（Ｓ２１）。具体的には、制御部５００は、第１リセット電圧ＶＲＳＴ１の電圧値を制御することで、第１オフセット値を第２オフセット値より高い値とする。言い換えると、制御部５００は、第１撮像動作における信号レベルの基準値が第１オフセット値に対応する信号レベルとなるように第１リセット電圧ＶＲＳＴ１の電圧値を制御する。なお、第２オフセット値は、第１オフセット値より前に設定される。第２オフセット値は、露光時間などに応じて予め設定されており、記憶部３６０に記憶されていてもよい。
　このように、制御部５００は、遮光して電荷を蓄積する（遮光データを取得する）ときのオフセット値を、遮光せずに電荷を蓄積する（画像データを取得する）ときのオフセット値より高い値に設定する。
　制御部５００は、白キズ及び黒キズの両方において、未検出となる成分が存在しないように、第１オフセット値を設定するとよい。制御部５００は、デジタル変換後の信号レベル（画素値）の最大値の１０％～９０％の間の信号レベルに第１オフセット値を設定するとよい。制御部５００は、より好ましくは信号レベル（画素値）の最大値の２０％～８０％の間、さらに好ましくは信号レベル（画素値）の最大値の３０％～７０％の間に第１オフセット値を設定するとよい。また、制御部５００は、白キズ及び黒キズの信号レベルが同程度である場合、信号レベル（画素値）の最大値のおよそ５０％に第２オフセット値を設定してもよい。制御部５００は、デジタル変換後の信号レベル（画素値）が１４ｂｉｔ（０～１６３８３）で示される場合、第１オフセット値を画素値８０００程度に設定してもよい。
　制御部５００は、ステップＳ２１において、まずシャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第１リセット電圧ＶＲＳＴ１は、第１オフセット値に対応した電圧値である。第１リセット電圧は、第２リセット電圧とは異なる電圧である。第１リセット電圧は、例えば、第２リセット電圧より高い電圧である。
　次に、制御部５００は、第１撮像動作を実行するように制御する（Ｓ２２）。制御部５００は、オフセット値を第１オフセット値とし、遮光状態で電荷の蓄積を行わせる。具体的には、制御部５００は、シャッタ４００を閉じた状態（遮光状態）のまま、リセットトランジスタ２１２をオフすることで、第２期間の電荷の蓄積を行わせる。これにより、電荷蓄積部２１５に画素欠陥に応じた電荷が蓄積される。このとき、欠陥のない画素２１０の電荷蓄積部２１５には、実質的に電荷は蓄積されない。欠陥のない画素２１０の電荷蓄積部２１５は、第２リセット電圧に応じた電荷が蓄積されたままである。ステップＳ２２は、第１撮像ステップの一例である。
　なお、第１期間の長さと第２期間の長さとは、例えば、等しい。これにより、生成される第１画像データに含まれる白キズ及び黒キズの信号強度は、第２画像データに含まれる白キズ及び黒キズの信号強度と等しくなるので、後述する処理により効果的に白キズ及び黒キズを除去することができる。第１画像データに含まれる白キズの信号強度は、白キズが発生している画素２１０の信号レベルと、当該画素２１０において白キズが発生していなかった場合の信号レベルとの差分を意味する。また、第１画像データに含まれる黒キズの信号強度は、黒キズが発生している画素２１０の信号レベルと、当該画素２１０において黒キズが発生していなかった場合の信号レベルとの差分を意味する。なお、また、第１期間と第２期間とは、等しいことに限定されない。
　次に、生成部３１０は、第１期間の電荷の蓄積が終了すると、固体撮像装置１００から画素信号（第１画素信号）を取得する（Ｓ２３）。具体的には、制御部５００が駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００（例えば、生成部３１０）へ出力させる。これにより、信号処理部３００は、例えば、図５の（ｃ）に示すように、白キズ及び黒キズを含む画像データを取得する。
　次に、生成部３１０は、取得した画像データに所定の処理を施すことで第１画像データを生成する（Ｓ２４）。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実施する（具体的には、画像データから第１オフセット値を減算する）ことで、例えば、図５の（ｄ）に示すようなオフセット減算した画像データ（第１画像データの一例）を取得する。ステップＳ２４は、第１生成ステップの一例である。
　生成部３１０は、生成した第１画像データを第１補正部３３０に出力する。また、このとき生成部３１０は、さらに、生成した第１画像データを第２補正部３４０に出力してもよい。これにより、被写体を撮像する処理において生成された第１画像データを用いて、後述する欠陥画素を特定する処理を実行することができる。
　図４を再び参照して、次に、信号処理部３００は、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する（Ｓ３０）。信号処理部３００は、例えば、図５の（ｂ）に示す画像データ（第２画像データの一例）から図５の（ｄ）に示す画像データ（第１画像データの一例）を減算することで、図５の（ｅ）に示す画像データ（ダーク減算後静止画データ）を生成し、当該画像データに第２オフセット値を加算することで図５の（ｆ）に示す画像データ（オフセット加算後静止画データ）を生成する。図５の（ｆ）に示す画像データは、第３画像データの一例である。また、ステップＳ３０は、第３生成ステップの一例である。
　ここで、第３画像データを生成する処理について、図７を参照しながら説明する。図７は、本実施の形態に係る撮像装置１０において第３画像データを生成するときの動作を示すフローチャートである。
　図７に示すように、まず第１判定部３２０は、欠陥画素の位置を示す位置情報を取得する（Ｓ３１）。第１判定部３２０は、例えば、記憶部３６０に格納されている欠陥画素の位置情報を読み出す。
　次に、第１判定部３２０は、画素ごとに、当該画素（判定を行う対象である対象画素）が欠陥画素であるか否かを判定する（Ｓ３２）。第１判定部３２０は、例えば、欠陥画素の位置情報に基づいて、上記の判定を行う。
　次に、第１判定部３２０は、対象画素が欠陥画素である場合（Ｓ３２でＹｅｓ）、画像データ（例えば、画像データで示される画像）が黒つぶれしているか否かを判定する（Ｓ３３）。第１判定部３２０は、当該欠陥画素における画素値に基づいて、黒つぶれしているか否かの判定を行う。黒つぶれとは、例えば、当該結果画素における画素値が第２オフセット値以下であることを意味する。
　具体的には、第１判定部３２０は、取得した位置情報により特定される欠陥画素における画素値が第１閾値以下であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第１閾値以下である場合に、当該欠陥画素が黒つぶれしていると判定する。なお、第１閾値は、例えば、黒つぶれしているか否かを判定可能な値に設定される。第１閾値は、例えば、第２オフセット値と信号レベル（画素値）が等しい、又は、第２オフセット値より信号レベル（画素値）が若干高い値（例えば、第２オフセット値の信号レベルに対して、１．１倍程度の値）である。
　図８Ａは、黒つぶれしている画像データの一例を示す。図８Ａに示すように欠陥画素の画素値が第１閾値以下である場合、第１判定部３２０は、当該欠陥画素が黒つぶれしていると判定する。
　第１判定部３２０は、ステップＳ３３において、さらに、黒つぶれしている当該欠陥画素の周囲の画素２１０が黒つぶれしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第１閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が黒つぶれしているか否かを判定してもよい。
　第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第１閾値以下である場合、当該欠陥画素の周囲の画素２１０は黒つぶれしていると判定する。例えば、図８Ａは、欠陥画素の周囲の画素２１０が黒つぶれしていない場合を示している。
　第１判定部３２０は、欠陥画素が黒つぶれしていると判定する（Ｓ３３でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３４）。第１判定部３２０は、例えば、黒つぶれしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。
　第１判定部３２０は、画像データ（例えば、画像データで示される画像）が黒つぶれしていないと判定する（Ｓ３３でＮｏ）と、さらに、画像データ（例えば、画像データで示される画像）が白飛びしているか否かを判定する（Ｓ３６）。白飛びとは、例えば、当該欠陥画素における画素値（信号レベル）が飽和していることを意味する。
　具体的には、第１判定部３２０は、例えば、ステップＳ３３でＮｏと判定された欠陥画素における画素値が第２閾値以上であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第２閾値以上である場合に、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する。なお、第２閾値は、例えば、白飛びしているか否かを判定可能な値に設定される。第２閾値は、例えば、第１オフセット値より信号レベル（画素値）が大きな値である。第２閾値は、例えば、撮像装置１０が取る得る画素値の最大値に設定されてもよい。
　図８Ｂは、白飛びしている画像データの一例を示す。図８Ｂに示すように欠陥画素の画素値が第２閾値以上である場合、第１判定部３２０は、当該欠陥画素が白飛びしていると判定する。
　第１判定部３２０は、ステップＳ３６において、さらに、白飛びしている当該欠陥画素の周囲の画素２１０が白飛びしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第２閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が白飛びしているか否かを判定してもよい。
　第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第２閾値以上である場合、当該欠陥画素の周囲の画素２１０は白飛びしていると判定する。例えば、図８Ｂは、欠陥画素の周囲の画素２１０が白飛びしている場合（言い換えると、飽和している場合）を示している。
　第１判定部３２０は、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する（Ｓ３６でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３７）。第１判定部３２０は、例えば、白飛びしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。
　なお、第１閾値及び第２閾値は、例えば、予め記憶部３６０に格納されている。
　黒つぶれ又は白飛びしている場合、長秒露光において、黒キズ又は白キズの未検出成分が存在する。図８Ａの例では、第１閾値以下の黒キズの成分が未検出成分である。また、図８Ｂの例では、第２閾値以上の白キズの成分が未検出成分である。このように黒キズ又は白キズの未検出成分が存在する場合に減算処理を行うと、第２画像データを適切に補正する（ノイズ除去する）ことができない。よって、第１補正部３３０は、そのような欠陥画素に対する減算処理を行わない。
　次に、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）の画素値を、当該欠陥画素の周囲の画素２１０（正常画素）の画素値に基づいて決定する（Ｓ３５）。第１補正部３３０は、例えば、周囲の画素２１０それぞれの画素値の平均値を、当該欠陥画素の画素値に決定する。例えば、第１補正部３３０が有するメディアンフィルタ（図示しない）等のフィルタにより、上記の処理が実行される。なお、第１補正部３３０は、周囲の画素２１０それぞれの画素値の平均値を当該欠陥画素の画素値に決定することに限定されず、周囲の画素２１０それぞれの画素値の最大値、最小値、中央値、最頻値等を当該欠陥画素の画素値に決定してもよい。
　このように、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）における減算処理を行わない。
　なお、第１補正部３３０は、欠陥画素の周囲の画素２１０が黒つぶれしている、又は、欠陥画素の周囲の画素２１０が白飛びしている場合、当該欠陥画素におけるステップＳ３５の処理を実行しなくてもよい。これは、欠陥画素の画素値を補完するための当該欠陥画素の周囲の画素２１０の画素値が、正確な値ではないためである。
　また、第１補正部３３０は、第１判定部３２０により欠陥画素が黒つぶれ及び白飛びしていないと判定される（Ｓ３３及びＳ３６でＮｏ）と、欠陥画素（当該画素）における減算処理を実行する（Ｓ３８）。
　また、第１補正部３３０は、第１判定部３２０により対象画素が欠陥画素ではないと判定される（Ｓ３２でＮｏ）と、当該画素（正常画素）における減算処理を実行する（Ｓ３８）。
　第１補正部３３０は、ステップＳ３５又はＳ３８の処理が終了すると、全ての画素において、ステップＳ３２の判定をしたか否かの判定を行う（Ｓ３９）。全ての画素２１０においてステップＳ３２の判定が終了している場合（Ｓ３９でＹｅｓ）、ステップＳ３０の処理を終了する。また、全ての欠陥画素においてステップＳ３２の判定が終了していない場合（Ｓ３９でＮｏ）、ステップＳ３２に戻り残りの画素２１０に対して処理が継続される。
　なお、図７では、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素においては、減算処理を実行しない例について説明したが、これに限定されない。第１補正部３３０は、欠陥画素のそれぞれにおいて減算処理を実行し、減算処理を実行した後に、黒つぶれ又は白飛びしている欠陥画素において、ステップＳ３５の処理を実行してもよい。
　なお、図７では、第１判定部３２０は、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したが、当該判定を行わなくてもよい。第１補正部３３０は、記憶部３６０から欠陥画素の位置情報を取得し、取得した位置情報により特定される欠陥画素のそれぞれにおいて、ステップＳ３５の処理を実行してもよい。このように、欠陥画素が特定できる場合には、当該欠陥画素の画素値を、メディアンフィルタ等により当該欠陥画素の周囲の画素２１０の画素値の平均値に置き換えてもよい。また、この場合、第２画像データから第１画像データを減算する処理は、行われなくてもよい。
　図４を再び参照して、次に、第１補正部３３０は、第３画像データを出力する（Ｓ４０）。第１補正部３３０は、第３画像データを表示部７００に出力することで当該第３画像データに対応する画像を表示部７００に表示させてもよいし、第３画像データを記憶部３６０に出力することで当該第３画像データを格納してもよい。また、第１補正部３３０は、撮像装置１０が無線通信モジュールを備える場合、当該無線通信モジュールを介して第３画像データを送信してもよい。
　なお、図４に示す処理は、長秒露光における撮像が実施されるたびに実行されてもよいし、所定の期間ごとに実行されてもよい。また、ステップＳ２０における第１画像データの取得は、ステップＳ１０を実行する前に撮像装置１０が撮像動作を行ったときに取得した第１画像データを取得することで行われてもよい。言い換えると、ステップＳ２０では、第１撮像動作を行わなくてもよい。生成部３１０は、例えば、第１画像データを記憶部３６０に格納する。第１判定部３２０は、ステップＳ２０において、現在の撮像よりも以前に取得され、かつ、記憶部３６０に格納されている第１画像データを記憶部３６０から読み出すことで第１画像データを取得してもよい。このとき、第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、最も直近に記憶部３６０に格納された第１画像データを読み出してもよいし、第１期間が現在のステップＳ２０における第２期間と近い第１画像データを読み出してもよい。
　具体的には、第１判定部３２０は、ステップＳ１０の第２撮像動作における露出条件と同じ露出条件で撮像された第１画像データが記憶部３６０に記憶されている場合に、当該第１画像データを読み出す読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がない場合に、上記の読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がなく、かつ、前回からの経過時間が所定時間内（例えば、１分以内など）である場合に、上記の読出判定を行ってもよい。なお、前回からの経過時間とは、例えば、前回における第２撮像動作により画像データを取得してから、今回における第２撮像動作により画像データを取得するまでの時間である。
　また、第１判定部３２０は、前回の第２撮像動作における露出条件と今回の第２撮像動作における露出条件とに変更がなく、かつ、当該２回の第２撮像動作における固体撮像装置１００の温度（例えば、光電変換素子２１１の温度）が同じ場合に、上記の読出判定を行ってもよい。例えば、第１判定部３２０は、当該２回の第２撮像動作における固体撮像装置１００又は撮像装置１０内の温度の差が所定範囲内（例えば、±１度以内）である場合に、上記の読出判定を行ってもよい。なお、この場合、撮像装置１０は、固体撮像装置１００等の温度を計測する温度センサを備える。温度センサは、例えば、撮像装置１０内の温度を計測する。なお、露出条件は、絞り、シャッタースピード、及び、ＩＳＯ感度の少なくとも１つを含む。
　そして、ステップＳ２０において、第１判定部３２０は、読出判定を行った場合、第１画像データを記憶部３６０から読み出すことで、第１画像データを取得してもよい。第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、上記の読出判定を行い得る第１画像データが少なくとも１つあれば、上記の読出判定を行ってもよい。
　続いて、白キズ又は黒キズが発生する画素２１０（欠陥画素）を特定する処理について、図９～図１２を参照しながら説明する。図９は、本実施の形態に係る撮像装置１０において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。図９に示す処理は、カメラ１が出荷されるとき、又は、ユーザによりピクセルリフレッシュが行われたときに実行される。
　図９に示すように、まず、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１１０）。ステップＳ１１０の処理は、ステップＳ１０と同様であり、説明を省略する。なお、欠陥画素を検出する検出動作を行うときには、第２画像データと第１画像データとの差分を算出しないので、ステップＳ１１０は、行われなくてもよい。
　次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ１２０）。ステップＳ１２０の処理は、ステップＳ２０と同様であり、説明を省略する。
　次に、撮像装置１０は、第１画像データに対して、シェーディング補正処理を実行する（Ｓ１３０）。具体的には、第２補正部３４０は、ＩＩＲフィルタ３４１を用いてシェーディング補正処理を実行する。ステップＳ１３０は、補正ステップの一例である。
　図１０は、本実施の形態に係る撮像装置１０におけるシェーディング特性の一例を示す図である。図１０に縦軸は信号レベルを示し、横軸は画素位置を示す。また、上限閾値及び下限閾値は、欠陥画素であるか否かを判定するための閾値である。具体的には、上限閾値は、白キズが発生しているか否かを判定するための画素値である。下限閾値は、黒キズが発生しているか否かを判定するための画素値である。また、一点鎖線は、シェーディングがないときの黒レベル（基準となる信号レベルであり、例えば、第１オフセット値に基づく信号レベル）を示す。なお、シェーディング特性は、複数の画素２１０のそれぞれで、ばらつく傾向がある。また、シェーディングがないときの黒レベルの情報は、例えば、記憶部３６０に記憶されている。
　図１０では、白キズｗ１及びｗ２と、黒キズｂ１～ｂ３とが発生している。シェーディングがないときであれば、白キズｗ１及びｗ２は上限閾値以上であり、当該画素２１０は欠陥画素と判定される。また、シェーディングがないときであれば、黒キズｂ１～ｂ３のそれぞれは、下限閾値以下であり、当該画素２１０は欠陥画素と判定される。しかしながら、図１０に示すように、シェーディングがあることで、白キズｗ１が発生している画素２１０の画素値及び黒キズｂ３が発生している画素２１０の画素値はそれぞれ、上限閾値及び下限閾値の間に位置している。このため、第２判定部３５０は、シェーディングが発生している場合、白キズｗ１が発生している画素２１０及び黒キズｂ３が発生している画素２１０を欠陥画素であると判定することができない。そこで、第２補正部３４０は、上記のように、シェーディング特性を補正するシェーディング補正処理を実行する。
　図１１は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理を説明するための図である。具体的には、図１１は、シェーディング補正処理において、局所シェーディング量を算出する処理を説明するための図である。図１１の（ａ）は、図１０に示す破線領域Ｒに対応しており、破線領域Ｒを拡大して示す図である。図１１の（ａ）では、白キズｗ１が発生している画素２１０を画素ｐ６として図示しており、その周辺の画素２１０を画素ｐ１～ｐ５、及び、ｐ７～ｐ１１として図示している。また、図１１の（ｂ）は、図１１の（ｃ）に示す破線領域Ｒの画素における局所シェーディング量を示す。
　また、図１１の（ａ）は、ＩＩＲフィルタ３４１に入力される画像データであり、例えば、生成部３１０から出力された第１画像データ（長秒露光遮光データ）である。図１１の（ｂ）は、ＩＩＲフィルタ３４１から出力されるデータであり、シェーディング量（局所シェーディング量）を示す。なお、局所シェーディング量は、例えば、画素２１０のそれぞれに対するシェーディング量を意味する。
　図１１の（ａ）に示すように、画素ごとのシェーディング特性による信号レベル（画素値）のバラツキが生じている。第２補正部３４０は、例えば、画素ｐ１～ｐ１１の並び方向の一方から他方に向けて局所シェーディング量算出処理を実行する。本実施の形態では、第２補正部３４０は、画素ｐ１から画素ｐ１１に向けて順次局所シェーディング量算出処理を実行する。
　図１１の（ａ）及び（ｂ）に示すように、第２補正部３４０は、画素ｐ１の出力の画素値（以降において、出力画素値とも記載する）を画素ｐ１の入力の画素値（入力画素値とも記載する）とする。そして、第２補正部３４０は、画素ｐ２の出力画素値を、画素ｐ２の入力画素値と画素ｐ１の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、例えば、当該差分の絶対値が予め定められた閾値以下である場合、画素ｐ２に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ２の出力画素値を画素ｐ２の入力画素値と画素ｐ１の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。第２補正部３４０は、当該平均値を等価平均により算出してもよいし、重みづけ平均により算出してもよい。
　次に、第２補正部３４０は、画素ｐ３の出力画素値を、画素ｐ３の入力画素値と画素ｐ２の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、画素ｐ３に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ３の出力画素値を画素ｐ３の入力画素値と画素ｐ２の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。このように、第２補正部３４０は、白キズ又は黒キズが発生していない画素２１０の画素値を平均化する処理を行う。
　第２補正部３４０は、このように順次局所シェーディング量算出処理を実行する。
　次に、白キズ又は黒キズが発生している欠陥画素における局所シェーディング量算出処理について説明する。第２補正部３４０は、画素ｐ６の出力画素値を、画素ｐ６の入力画素値と画素ｐ５の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）より大きい場合、例えば、当該差分の絶対値が予め定められた閾値より大きい場合、画素ｐ６に白キズ又は黒キズが発生していると判定する。これは、画素ｐ６が欠陥画素であることを意味する。そして、第２補正部３４０は、画素ｐ６の出力画素値を画素ｐ５の出力画素値（第１平均値の一例）とする。
　これにより、白キズ又は黒キズが発生している画素であっても、当該画素の出力画素値を、当該白キズ又は黒キズの影響を排除した平均値（局所シェーディング量）とすることができる。このように、第２補正部３４０は、白キズ又は黒キズが発生している画素２１０の画素値を当該画素２１０に対して一方向（図１１の例では、左側方向）に位置する１以上の画素２１０のそれぞれの画素値の平均値に置き換える処理を行う。
　第２補正部３４０は、上記の処理を複数の画素２１０のそれぞれで実行する。第２補正部３４０は、例えば、ＩＩＲフィルタ３４１を用いて上記の処理を実行する。これにより、白キズ又は黒キズの影響を抑制しつつ、複数の画素２１０のそれぞれにおける局所シェーディング量を算出することができる。つまり、ＩＩＲフィルタ３４１によれば、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる。
　第２補正部３４０は、複数の画素２１０のそれぞれで上記の処理を実行した後、複数の画素２１０のそれぞれにおいて、入力である第１画像データから当該局所シェーディング量に基づく補正値を減算する。第２補正部３４０は、例えば、図１１の（ｃ）に示す複数の画素２１０それぞれの補正値を第１画像データから減算する。第２補正部３４０は、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量とに基づいて、図１１の（ｃ）に示す補正値を算出する。第２補正部３４０は、例えば、複数の画素２１０のそれぞれにおける、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量との差分を補正値として算出する。
　図１１の（ｃ）は、図１０に示した画素２１０と対応する画素２１０の補正値を示している。図１１の（ｃ）の破線領域Ｒにおける補正値は、図１１の（ｂ）に示す画素ｐ１～ｐ１１における局所シェーディング量に基づく補正値を示している。また、図１１の（ｃ）の５つの破線丸は、図１０に示す黒キズ又は白キズが発生している。欠陥画素及び当該欠陥画素の周辺の画素に対応する補正値を示している。具体的には、破線丸は、紙面上における左側から、白キズｗ１、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素を含む補正値を示す。
　白キズ又は黒キズが発生している欠陥画素の補正値は、当該欠陥画素のとなりの画素の補正値と等しくなる。白キズｗ１が発生している欠陥画素を例に説明すると、破線領域Ｒに含まれる白キズｗ１が発生している画素ｐ６の補正値は、当該画素ｐ６のとなりの画素２１０（図１１の（ｃ）では、左側に隣接する画素２１０）の補正値と等しくなる。なお、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素の補正値（図１１の（ｃ）における、他の破線丸内の補正値）も同様である。
　これにより、第２補正部３４０は、シェーディング特性の影響が除去された第１画像データを生成することができる。第２補正部３４０は、シェーディング補正処理した第１画像データを第２判定部３５０に出力する。なお、局所シェーディング量に基づく補正値は、局所シェーディング量に上記以外の所定の演算を行うことで算出されてもよいし、局所シェーディング量そのものであってもよい。
　図１２は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理された第１画像データを示す図である。具体的には、図１０に示す第１画像データにシェーディング補正処理を施した第１画像データを示す。
　図９を再び参照して、第２判定部３５０は、複数の画素２１０のそれぞれの、シェーディング補正処理された第１画像データにおける画素値が所定範囲外であるか否かを判定する（Ｓ１４０）。言い換えると、第２判定部３５０は、複数の画素２１０のそれぞれにおいて、第１画像データに基づいて、白キズ又は黒キズが発生しているか否かを判定する。
　ここで、図１２に示すように、第２判定部３５０は、シェーディングの影響が除去された第１画像データを用いることで、上記の判定をより精度よく行うことができる。第２判定部３５０は、例えば、上限閾値及び下限閾値などの一定の値により規定される閾値を用いて、上記の判定を行うことができる。ステップＳ１４０は、判定ステップの一例である。
　第２判定部３５０は、画素値が所定範囲外であると判定する（Ｓ１４０でＹｅｓ）と、当該画素２１０の位置情報を記憶部３６０に格納する（Ｓ１５０）。位置情報は、当該画素２１０の位置を示す情報である。ステップＳ１５０は、格納ステップの一例である。
　また、第２判定部３５０は、画素値が所定範囲外ではないと判定する（Ｓ１４０でＮｏ）と、ステップＳ１６０に進む。つまり、第２判定部３５０は、画素値が所定範囲外ではない場合、当該画素２１０の位置情報を記憶部３６０に格納しない。
　次に、第２判定部３５０は、複数の画素２１０の全ての画素２１０において上記の判定をしたか否かを判定する（Ｓ１６０）。第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をした場合（Ｓ１６０でＹｅｓ）、処理を終了する。また、第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をしていない場合（Ｓ１６０でＮｏ）、ステップＳ１４０に戻り残りの画素２１０に対して処理を継続する。
　［５．適用例］
　上記の撮像装置１０が内蔵されたカメラ１の例として、例えば、図１３の（ａ）に示されるデジタルスチルカメラ１Ａや図１３の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。例えば、図１３の（ａ）又は図１３の（ｂ）などのカメラに本実施の形態に係る撮像装置１０が内蔵されることで、上記に説明したように、黒キズ及び白キズが発生した場合であっても、黒キズ及び白キズの双方を適切に検出することができ、かつ当該黒キズ及び白キズを適切に除去することができる。
　なお、カメラ１は、スマートフォン又はタブレット端末等の携帯端末、ゲーム機等に内蔵されてもよい。
　［６．効果など］
　以上のように、本実施の形態に係る画像生成方法は、複数の画素２１０を備える撮像装置１０における画像生成方法であって、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で第１撮像動作を行う第１撮像ステップ（Ｓ２２）と、第１撮像動作により取得された画素信号（第１画素信号の一例）に基づいて第１画像データを生成する第１生成ステップ（Ｓ２４）とを含む。そして、第１オフセット値は、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。
　これにより、黒キズが発生している場合に、第１撮像動作におけるオフセット値が第２オフセット値である場合に比べて、当該黒キズによる黒つぶれが発生することを抑制することができるので、当該黒キズを精度よく検出することができる。よって、本実施の形態に係る画像生成方法によれば、従来よりもノイズを適切に取得することができる。すなわち、本実施の形態に係る画像生成方法によれば、従来よりも正確にノイズを取得することができる。
　また、例えば、撮像装置が上記の方法で取得された第１画像データを用いてノイズ（白キズ及び黒キズ）補正を行う場合、従来よりも精度よく補正を行うことができる。特に黒キズにおいて、従来よりも精度よく補正を行うことができる。
　また、画像生成方法は、さらに、第２撮像動作を行う第２撮像ステップ（Ｓ１０）と、第２撮像動作により取得された画素信号（第２画素信号の一例）に基づいて第２画像データを生成する第２生成ステップ（Ｓ１０）と、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップ（Ｓ３０）とを含む。
　これにより、第３画像データは、従来よりもノイズが除去された画像データとなる。つまり、従来よりもノイズが除去された、特に黒キズが除去された画像データを取得することができる。
　また、画像生成方法は、さらに、第１画像データに基づいて、複数の画素２１０のそれぞれにおいて第１画像データにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行う判定ステップ（Ｓ１４０）と、判定ステップにおいて、画素値が所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップ（Ｓ１５０）とを含む。
　これにより、判定ステップにおいて、欠陥画素の判定をより精度よく行うことができる。例えば、従来に比べて黒キズが発生する欠陥画素をより精度よく検出することができる。
　また、画像生成方法は、さらに、第１生成ステップで生成された第１画像データに対して、複数の画素２１０のそれぞれのシェーディング特性に応じて、第１画像データにおける画素値を補正する補正ステップを含む（Ｓ１３０）。そして、判定ステップでは、補正ステップで補正された第１画像データに対して判定を行う。
　これにより、シェーディング特性の影響を受けずに欠陥画素であるか否かの判定を行うことができるので、判定ステップにおける判定精度がさらに向上する。
　また、補正ステップでは、複数の画素２１０のうちの当該画素２１０における画素値と、当該画素２１０に対して一方向に位置する１以上の画素２１０それぞれの画素値の第１平均値との差分が第３閾値以下である場合、当該画素２１０の画素値と第１平均値との平均値である第２平均値を当該画素２１０の画素値とし、当該差分が第３閾値より大きい場合、当該画素２１０の画素値を第１平均値とすることでシェーディング特性を取得する。
　これにより、白キズ及び黒キズの影響を受けずにシェーディング特性（例えば、局所シェーディング量）を取得することができる。よって、白キズ及び黒キズが発生している場合であっても、シェーディング特性に応じた補正をより精度よく行うことができる。
　また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における減算を停止する。
　これにより、黒つぶれしている欠陥画素、つまり黒キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、黒キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。
　また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における減算を停止する。
　これにより、白飛びしている欠陥画素、つまり白キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、白キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。
　また、第３生成ステップでは、減算を停止した欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素２１０の画素値に基づいて決定する。
　これにより、黒つぶれ又は白飛びしている欠陥画素の画素値を、周囲の画素２１０の画素値に基づいて補完することができる。よって、白キズ又は黒キズに対して適切な補正が行えない場合であっても、欠陥画素の画素値を適切に決定することができる。
　また、第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい。
　これにより、欠陥画素のそれぞれにおいて、第１画像データ及び第２画像データに含まれる白キズ及び黒キズの信号レベルが等しくなる。よって、第２画像データから白キズ及び黒キズを効果的に除去することができる。
　また、撮像装置１０は、所定時間の露光を行う通常露光と、所定時間よりも長い露光を行う長秒露光とを実行可能である。そして、第２撮像動作は、長秒露光により行われ、第２オフセット値は、通常露光において基準となる信号レベルである第３オフセット値と同じ値である。
　これにより、白キズ及び黒キズが顕著に発生しやすい長秒露光において、当該白キズ及び黒キズを適切に除去することができる。
　また、以上のように、本実施の形態に係る撮像装置１０は、複数の画素２１０と、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部５００と、第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部３１０とを備える。そして、制御部５００は、第１オフセット値を、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。また、以上のように、本実施の形態に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。
　これにより、上記の画像生成方法と同様の効果を奏する。
　（他の実施の形態）
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　例えば、上記実施の形態では、画像生成方法等は、画像データに白キズ及び黒キズの両方が含まれている場合に実行される例について説明したが、これに限定されない。画像生成方法等は、画像データに白キズ及び黒キズのうち黒キズのみが含まれている場合に実行されてもよい。これにより、黒キズを適切に取得することができる。
　また、上記実施の形態では、第１判定部３２０は、ステップＳ３２及びＳ３３において、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したがこれに限定されない。第１判定部３２０は、正常画素においても黒つぶれ及び白飛びしているか否かを判定してもよい。
　また、上記実施の形態における第２補正部３４０は、ＩＩＲフィルタ３４１に替えて、又は、ＩＩＲフィルタ３４１とともに、ローパスフィルタ又は最小値フィルタ等を有していてもよい。
　また、上記実施の形態において、第１補正部３３０は、さらに、シェーディング補正処理を行ってもよい。第１補正部３３０は、例えば、ＩＩＲフィルタを有し、第１画像データ及び第２画像データの少なくとも一方、又は、第３画像データに対して、シェーディング補正処理を行ってもよい。
　また、上記実施の形態では、第２補正部３４０は、算出した局所シェーディング量を用いて第１画像データを補正する例について説明したが、これに限定されない。第２補正部３４０は、例えば、算出した局所シェーディング量を用いて、予め定められた第３閾値及び第４閾値を補正してもよい。第２補正部３４０は、シェーディング量に応じた補正が行われた第３閾値及び第４閾値を第２判定部３５０に出力する。そして、第２判定部３５０は、シェーディングがある第１画像データと、シェーディング量に応じた補正が行われた第３閾値及び第４閾値とに基づいて、ステップＳ１４０の判定を行ってもよい。このように、第２補正部３４０は、各画素位置において、局所シェーディング量に応じた閾値（例えば、第３閾値及び第４閾値）を設定してもよい。
　また、撮像装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　また、上記のような制御部５００、生成部３１０、第１判定部３２０、第１補正部３３０、第２補正部３４０及び第２判定部３５０等の処理部を構成する各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、図４に示すステップＳ１０とステップＳ２０とは、順序が逆であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　本開示は、画像を撮像する撮像装置に広く利用可能である。
　１　　カメラ
　１Ａ　　デジタルスチルカメラ
　１Ｂ　　デジタルビデオカメラ
　１０　　撮像装置
　１００　　固体撮像装置
　１１０　　画素アレイ部
　１２０　　列ＡＤ変換部
　１２１　　ＡＤ変換器
　１３０　　行走査部
　１４０　　列走査部
　１５０　　駆動制御部
　１６０　　列信号線
　１７０　　走査線
　１７０Ａ　　リセット用走査線
　１７０Ｂ　　選択用走査線
　１８０　　行信号線
　２１０、ｐ１～ｐ１１　　画素
　２１１　　光電変換素子
　２１１ａ　　上部電極
　２１１ｂ　　下部電極
　２１１ｃ　　光電変換膜
　２１２　　リセットトランジスタ
　２１３　　増幅トランジスタ
　２１４　　選択トランジスタ
　２１５　　電荷蓄積部
　３００　　信号処理部
　３１０　　生成部
　３２０　　第１判定部
　３３０　　第１補正部
　３４０　　第２補正部
　３４１　　ＩＩＲフィルタ
　３５０　　第２判定部
　３６０　　記憶部
　４００　　シャッタ
　５００　　制御部
　６００　　レンズ
　７００　　表示部
　８００　　操作部
　ｗ１、ｗ２　　白キズ
　ｂ１～ｂ３　　黒キズ
　Ｒ　　破線領域

Claims (12)

  1. 　複数の画素を備える撮像装置における画像生成方法であって、
    　前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、
    　前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、
    　前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い
    　画像生成方法。
  2. 　さらに、
    　前記第２撮像動作を行う第２撮像ステップと、
    　前記第２撮像動作により取得された第２画素信号に基づいて第２画像データを生成する第２生成ステップと、
    　前記第２画像データから前記第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップとを含む
    　請求項１に記載の画像生成方法。
  3. 　さらに、
    　前記第１画像データに基づいて、前記複数の画素のそれぞれにおいて前記第１画像データにおける当該画素の画素値が所定範囲外であるか否かの判定を行う判定ステップと、
    　前記判定ステップにおいて、前記画素値が前記所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップとを含む
    　請求項１又は２に記載の画像生成方法。
  4. 　さらに、前記第１生成ステップで生成された前記第１画像データに対して、前記複数の画素のそれぞれのシェーディング特性に応じて、前記第１画像データにおける前記画素値を補正する補正ステップを含み、
    　前記判定ステップでは、前記補正ステップで補正された前記第１画像データに対して前記判定を行う
    　請求項３に記載の画像生成方法。
  5. 　前記補正ステップでは、前記複数の画素のうちの当該画素における前記画素値と、当該画素に対して一方向に位置する１以上の画素それぞれの前記画素値の第１平均値との差分が第３閾値以下である場合、当該画素の前記画素値と前記第１平均値との平均値である第２平均値を当該画素の前記画素値とし、前記差分が前記第３閾値より大きい場合、当該画素の前記画素値を前記第１平均値とすることで前記シェーディング特性を取得する
    　請求項４に記載の画像生成方法。
  6. 　前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における前記減算を停止する
    　請求項２に記載の画像生成方法。
  7. 　前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における前記減算を停止する
    　請求項２に記載の画像生成方法。
  8. 　前記第３生成ステップでは、前記減算を停止した前記欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素の画素値に基づいて決定する
    　請求項６又は７に記載の画像生成方法。
  9. 　前記第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい
    　請求項１～８のいずれか１項に記載の画像生成方法。
  10. 　前記撮像装置は、所定時間の露光を行う通常露光と、前記所定時間よりも長い露光を行う長秒露光とを実行可能であり、
    　前記第２撮像動作は、前記長秒露光により行われ、
    　前記第２オフセット値は、前記通常露光において基準となる信号レベルである第３オフセット値と同じ値である
    　請求項１～９のいずれか１項に記載の画像生成方法。
  11. 　複数の画素と、
    　前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、
    　前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、
    　前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する
    　撮像装置。
  12. 　請求項１に記載の画像生成方法をコンピュータに実行させるためのプログラム。
PCT/JP2019/047315 2019-06-07 2019-12-04 画像生成方法、撮像装置、及び、プログラム WO2020246060A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19931530.0A EP3982622A4 (en) 2019-06-07 2019-12-04 IMAGE GENERATING METHOD, IMAGE GENERATING DEVICE AND PROGRAM
US17/420,021 US11546490B2 (en) 2019-06-07 2019-12-04 Image generation method, imaging apparatus, and recording medium
JP2021524657A JP7065417B2 (ja) 2019-06-07 2019-12-04 画像生成方法、撮像装置、及び、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-107183 2019-06-07
JP2019107183 2019-06-07

Publications (1)

Publication Number Publication Date
WO2020246060A1 true WO2020246060A1 (ja) 2020-12-10

Family

ID=73652420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047315 WO2020246060A1 (ja) 2019-06-07 2019-12-04 画像生成方法、撮像装置、及び、プログラム

Country Status (4)

Country Link
US (1) US11546490B2 (ja)
EP (1) EP3982622A4 (ja)
JP (1) JP7065417B2 (ja)
WO (1) WO2020246060A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297259B (zh) * 2022-07-27 2023-10-13 天翼云科技有限公司 一种摄像头的管理方法、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041187A (ja) * 1998-07-22 2000-02-08 Toshiba Corp 画素欠陥補正装置
JP2000125204A (ja) 1998-10-20 2000-04-28 Olympus Optical Co Ltd 電子カメラ
JP2003169258A (ja) * 2001-12-04 2003-06-13 Olympus Optical Co Ltd 撮像装置
JP2010273378A (ja) * 2004-05-17 2010-12-02 Olympus Corp 撮像装置、ノイズ除去方法およびノイズ除去プログラム
JP2011234225A (ja) * 2010-04-28 2011-11-17 Olympus Imaging Corp 画像処理方法、画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973478B2 (ja) * 2007-12-11 2012-07-11 ソニー株式会社 撮像素子および撮像装置
JP5109641B2 (ja) * 2007-12-18 2012-12-26 ソニー株式会社 撮像素子および撮像装置
JP5335327B2 (ja) 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
JP5060535B2 (ja) * 2009-09-24 2012-10-31 株式会社東芝 画像処理装置
US9736406B2 (en) * 2015-01-22 2017-08-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP6602109B2 (ja) 2015-08-28 2019-11-06 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US9961255B2 (en) * 2016-02-09 2018-05-01 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
WO2019078320A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 情報処理装置と情報処理方法および撮像装置とプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041187A (ja) * 1998-07-22 2000-02-08 Toshiba Corp 画素欠陥補正装置
JP2000125204A (ja) 1998-10-20 2000-04-28 Olympus Optical Co Ltd 電子カメラ
JP2003169258A (ja) * 2001-12-04 2003-06-13 Olympus Optical Co Ltd 撮像装置
JP2010273378A (ja) * 2004-05-17 2010-12-02 Olympus Corp 撮像装置、ノイズ除去方法およびノイズ除去プログラム
JP2011234225A (ja) * 2010-04-28 2011-11-17 Olympus Imaging Corp 画像処理方法、画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3982622A4

Also Published As

Publication number Publication date
JP7065417B2 (ja) 2022-05-12
EP3982622A4 (en) 2022-07-27
US11546490B2 (en) 2023-01-03
EP3982622A1 (en) 2022-04-13
JPWO2020246060A1 (ja) 2021-10-28
US20220094819A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
US8203629B2 (en) Image sensing apparatus and correction method
JP6414718B2 (ja) 撮像装置
JP5013811B2 (ja) 撮像装置及び補正方法
JP5013812B2 (ja) 撮像装置及び補正方法
CN109997352B (zh) 摄像装置、相机以及摄像方法
JP7065417B2 (ja) 画像生成方法、撮像装置、及び、プログラム
JP2007019577A (ja) 固体撮像装置
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP6643658B2 (ja) 撮像装置、カメラ及び撮像方法
JP2008288723A (ja) 撮像装置、撮像方法、プログラムおよび集積回路
JP6704611B2 (ja) 撮影装置及び撮影方法
JP2009260871A (ja) 撮像装置
US20120038806A1 (en) Image shooting device
JP2007081453A (ja) 撮像装置及び信号処理方法並びにプログラム
WO2018124056A1 (ja) 撮像装置及びその制御方法
JP2008072512A (ja) 撮像装置及びその制御方法、撮像システム
JP2016039491A (ja) 撮像装置及びその駆動方法
WO2018124050A1 (ja) 撮像装置、カメラ及び撮像方法
JP2010258688A (ja) 撮像装置
JP2010068325A (ja) 撮像装置、制御方法、及びプログラム
JP5515320B2 (ja) 撮像装置
JP2016100694A (ja) 撮像装置
JP2003009001A (ja) 撮像装置
JP2013106185A (ja) 固体撮像装置およびこれを用いた画像処理装置
JP2011009897A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931530

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019931530

Country of ref document: EP

Effective date: 20220107