Nothing Special   »   [go: up one dir, main page]

WO2018193544A1 - 撮像装置および内視鏡装置 - Google Patents

撮像装置および内視鏡装置 Download PDF

Info

Publication number
WO2018193544A1
WO2018193544A1 PCT/JP2017/015698 JP2017015698W WO2018193544A1 WO 2018193544 A1 WO2018193544 A1 WO 2018193544A1 JP 2017015698 W JP2017015698 W JP 2017015698W WO 2018193544 A1 WO2018193544 A1 WO 2018193544A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
monochrome
unit
corrected image
correction
Prior art date
Application number
PCT/JP2017/015698
Other languages
English (en)
French (fr)
Inventor
博 坂井
愼一 今出
秀彰 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/015698 priority Critical patent/WO2018193544A1/ja
Publication of WO2018193544A1 publication Critical patent/WO2018193544A1/ja
Priority to US16/601,821 priority patent/US10778948B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements

Definitions

  • the present invention relates to an imaging apparatus and an endoscope apparatus.
  • Patent Document 1 discloses an imaging apparatus having a pupil division optical system in which a first pupil region transmits R and G light and a second pupil region transmits G and B light. A phase difference is detected based on a positional shift between the R image and the B image obtained by the color image sensor mounted on the image pickup apparatus.
  • the image pickup apparatus disclosed in Patent Document 1 causes a color shift in an image when an image of a subject at a position out of focus is taken.
  • the imaging apparatus having the pupil division optical system disclosed in Patent Document 1 has a color shift 2 by approximating the blur shape and the gravity center position of the R image and the B image to the blur shape and the gravity center position of the G image. Displays an image with reduced multiple images.
  • FIG. 24 shows captured images I10 of white and black subjects.
  • 25 and 26 show the profile of the line L10 in the captured image I10.
  • the horizontal axis in FIGS. 25 and 26 is the horizontal address of the captured image, and the vertical axis is the pixel value of the captured image.
  • FIG. 25 shows a profile when the transmittance characteristics of the color filters of the respective colors do not overlap.
  • FIG. 26 shows a profile when the transmittance characteristics of the color filters of the respective colors overlap.
  • Profile R20 and profile R21 are R image profiles.
  • the R image includes information of pixels in which R color filters are arranged.
  • the profile G20 and the profile G21 are G image profiles.
  • the G image includes information on a pixel in which a G color filter is arranged.
  • Profile B20 and profile B21 are B image profiles.
  • the B image includes information on a pixel in which a B color filter is arranged.
  • Patent Literature 1 is based on the profile G20 shown in FIG. 25, and is not based on the waveform distortion that occurs in the profile G21 shown in FIG. Therefore, when the blur shape and the gravity center position of the R image and the B image are corrected based on the G image indicated by the profile G21 illustrated in FIG. 26, the imaging apparatus displays an image including a double image having a color shift. There are challenges.
  • An object of the present invention is to provide an imaging apparatus and an endoscope apparatus that can reduce double images due to image color misregistration and improve image visibility.
  • the imaging device includes a pupil division optical system, an imaging element, a correction unit, and a display unit.
  • the pupil division optical system includes a first pupil that transmits light in a first wavelength band, and a second pupil that transmits light in a second wavelength band different from the first wavelength band.
  • the imaging device images light transmitted through the pupil division optical system and a first color filter having a first transmittance characteristic, and the pupil division optical system, the first transmittance characteristic, and a part thereof
  • the light that has passed through the second color filter having the second transmittance characteristic overlapping each other is imaged and a captured image is output.
  • the correction unit corrects a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic with respect to the captured image, and generates a monochrome corrected image or a corrected image.
  • the display unit displays the monochrome corrected image, or displays the monochrome corrected image generated by processing the corrected image.
  • the imaging apparatus includes a pupil division optical system, an imaging element, a correction unit, and an output unit.
  • the pupil division optical system includes a first pupil that transmits light in a first wavelength band, and a second pupil that transmits light in a second wavelength band different from the first wavelength band.
  • the imaging device images light transmitted through the pupil division optical system and a first color filter having a first transmittance characteristic, and the pupil division optical system, the first transmittance characteristic, and a part thereof
  • the light that has passed through the second color filter having the second transmittance characteristic overlapping each other is imaged and a captured image is output.
  • the correction unit corrects a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic with respect to the captured image, and generates a monochrome corrected image or a corrected image.
  • the output unit displays the monochrome corrected image or outputs the monochrome corrected image generated by processing the corrected image to the display unit.
  • the imaging device controls the correction unit to generate at least one of a first monochrome correction image and a second monochrome correction image.
  • the first monochrome corrected image corrects a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic with respect to the captured image having a component based on the first transmittance characteristic. It is the said monochrome correction image produced
  • the second monochrome corrected image corrects a value based on a component in which the first transmittance characteristic and the second transmittance characteristic overlap with respect to the captured image having a component based on the second transmittance characteristic. It is the said monochrome correction image produced
  • the correction unit may generate at least one of the first monochrome correction image and the second monochrome correction image in response to an instruction from the control unit.
  • control unit in the third aspect, the control unit generates at least one of the first monochrome corrected image and the second monochrome corrected image in response to an instruction from a user. You may instruct
  • control unit generates at least one of the first monochrome corrected image and the second monochrome corrected image according to an analysis result of the captured image. May be instructed to the correction unit.
  • control unit generates at least one of the first monochrome corrected image and the second monochrome corrected image according to a histogram of the captured image.
  • the correction unit may be instructed.
  • control unit generates at least one of the first monochrome corrected image and the second monochrome corrected image according to a contrast of the captured image.
  • the correction unit may be instructed.
  • control unit in the third aspect, the control unit generates at least one of the first monochrome corrected image and the second monochrome corrected image according to a spectral characteristic of a subject. You may instruct
  • the imaging device may include an image selection unit and a control unit.
  • the image selection unit selects at least one of the first monochrome correction image and the second monochrome correction image from the monochrome correction images generated by the correction unit, and outputs the selected monochrome correction image.
  • the control unit instructs the image selection unit to select at least one of the first monochrome corrected image and the second monochrome corrected image according to the analysis result of the captured image.
  • the first monochrome corrected image corrects a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic with respect to the captured image having a component based on the first transmittance characteristic. It is the said monochrome correction image produced
  • the second monochrome corrected image corrects a value based on a component in which the first transmittance characteristic and the second transmittance characteristic overlap with respect to the captured image having a component based on the second transmittance characteristic. It is the said monochrome correction image produced
  • the correction unit may generate the first monochrome correction image and the second monochrome correction image in parallel with the analysis of the captured image by the control unit.
  • the imaging apparatus includes an image processing unit that processes the correction image generated by the correction unit to generate the monochrome correction image. You may have.
  • an endoscope apparatus includes the imaging device according to the first or second aspect.
  • the imaging device and the endoscope device can reduce the double image due to the color shift of the image and improve the visibility of the image.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention. It is a block diagram which shows the structure of the pupil division
  • FIG. 1 shows a configuration of an imaging apparatus 10 according to the first embodiment of the present invention.
  • the imaging device 10 is a digital still camera, a video camera, a camera-equipped mobile phone, a camera-equipped personal digital assistant, a camera-equipped personal computer, a surveillance camera, an endoscope, a digital microscope, or the like.
  • the imaging apparatus 10 includes a pupil division optical system 100, an imaging element 110, a demosaic processing unit 120, a display image generation unit 130, and a display unit 140.
  • the display image generation unit 130 includes a correction unit 131.
  • the pupil division optical system 100 includes a first pupil 101 that transmits light in the first wavelength band and a second pupil 102 that transmits light in a second wavelength band different from the first wavelength band.
  • the image sensor 110 captures an image of light transmitted through the pupil division optical system 100 and the first color filter having the first transmittance characteristic, and the pupil division optical system 100 and the first transmittance characteristic and a part of the light are transmitted.
  • the light that has passed through the second color filter having the overlapping second transmittance characteristic is imaged, and a captured image is acquired and output.
  • the correction unit 131 corrects the value based on the overlapping component of the first transmittance characteristic and the second transmittance characteristic on the captured image, and generates a monochrome corrected image.
  • the display unit 140 displays a monochrome corrected image.
  • FIG. 2 shows the configuration of the pupil division optical system 100.
  • the pupil division optical system 100 includes a lens 103, a band limiting filter 104, and a stop 105.
  • the lens 103 is generally composed of a plurality of lenses. In FIG. 2, only one lens is shown for simplicity.
  • the band limiting filter 104 is disposed on the optical path of light incident on the image sensor 110.
  • the band limiting filter 104 is disposed at or near the position of the diaphragm 105.
  • the band limiting filter 104 is disposed between the lens 103 and the diaphragm 105.
  • the diaphragm 105 adjusts the brightness of light incident on the image sensor 110 by limiting the passage range of light that has passed through the lens 103.
  • FIG. 3 shows the configuration of the band limiting filter 104.
  • the left half of the band limiting filter 104 constitutes the first pupil 101
  • the right half of the band limiting filter 104 is the second pupil.
  • 102 is configured.
  • the first pupil 101 transmits light having R and G wavelengths and blocks light having B wavelengths.
  • the second pupil 102 transmits light having B and G wavelengths and blocks light having R wavelengths.
  • the imaging element 110 is a photoelectric conversion element such as a CCD (Charge Coupled Device) sensor and an XY address scanning type CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • As a configuration of the image sensor 110 there is a single plate primary color Bayer arrangement, or a three plate method using three sensors.
  • a CMOS sensor 500 ⁇ 500 pixels, depth 10 bits having a single-plate primary color Bayer array is used.
  • the image sensor 110 has a plurality of pixels.
  • the image sensor 110 includes a color filter including a first color filter, a second color filter, and a third color filter.
  • the color filter is disposed in each pixel of the image sensor 110.
  • the first color filter is an R filter
  • the second color filter is a B filter
  • the third color filter is a G filter.
  • Light that passes through the pupil division optical system 100 and passes through the color filter enters each pixel of the image sensor 110.
  • the light transmitted through the pupil division optical system 100 is light transmitted through the first pupil 101 and light transmitted through the second pupil 102.
  • the image sensor 110 transmits the pixel value of the first pixel to which the light transmitted through the first color filter is incident, the pixel value of the second pixel to which the light transmitted through the second color filter is incident, and the third color filter.
  • a captured image including the pixel value of the third pixel on which light is incident is acquired and output.
  • AFE processing such as CDS (Correlated Double Sampling), AGC (Analog Gain Control), and ADC (Analog-to-Digital Converter) is performed on the analog imaging signal generated by photoelectric conversion in the CMOS sensor by the imaging device 110 ( (Analog Front End) is performed.
  • a circuit outside the image sensor 110 may perform the AFE process.
  • the captured image (bayer image) acquired by the image sensor 110 is transferred to the demosaic processing unit 120.
  • FIG. 4 shows a pixel array of a Bayer image.
  • R (red) and Gr (green) pixels are alternately arranged in odd rows, and Gb (green) and B (blue) pixels are alternately arranged in even rows.
  • R (red) and Gb (green) pixels are alternately arranged in the odd columns, and Gr (green) and B (blue) pixels are alternately arranged in the even columns.
  • the demosaic processing unit 120 performs black level correction (OB (Optical Black) subtraction) on the pixel value of the Bayer image. Furthermore, the demosaic processing unit 120 generates the pixel value of the adjacent pixel by copying the pixel value of each pixel. Thereby, an RGB image in which the pixel values of the respective colors are aligned in all the pixels is generated. For example, the demosaic processing unit 120 performs OB subtraction on the R pixel value (R_00), and then copies the pixel value (R_00-OB). Thereby, the R pixel values in the Gr, Gb, and B pixels adjacent to the R pixel are interpolated.
  • FIG. 5 shows a pixel array of the R image.
  • the demosaic processing unit 120 performs OB subtraction on the Gr pixel value (Gr_01), and then copies the pixel value (Gr_01-OB). Further, the demosaic processing unit 120 performs OB subtraction on the Gb pixel value (Gb_10), and then copies the pixel value (Gb_10 ⁇ OB). Thereby, the G pixel value in the R pixel adjacent to the Gr pixel and the B pixel adjacent to the Gb pixel is interpolated.
  • FIG. 6 shows a pixel array of the G image.
  • the demosaic processing unit 120 performs OB subtraction on the B pixel value (B_11), and then copies the pixel value (B_11 ⁇ OB). Thereby, the B pixel value in the R, Gr, and Gb pixels adjacent to the B pixel is interpolated.
  • FIG. 7 shows a pixel arrangement of the B image.
  • the demosaic processing unit 120 generates a color image (RGB image) composed of an R image, a G image, and a B image by the above processing.
  • RGB image a color image
  • the specific method of demosaic processing is not limited to the above method.
  • Filter processing may be applied to the generated RGB image.
  • the RGB image generated by the demosaic processing unit 120 is transferred to the display image generation unit 130.
  • FIG. 8 shows an example of spectral characteristics (transmittance characteristics) of the RG filter of the first pupil 101, the BG filter of the second pupil 102, and the color filter of the image sensor 110.
  • the horizontal axis in FIG. 8 is the wavelength ⁇ [nm], and the vertical axis is the gain.
  • a line f RG indicates the spectral characteristic of the RG filter.
  • a line f BG indicates the spectral characteristic of the BG filter.
  • the wavelength ⁇ C is a boundary between the spectral characteristic of the RG filter and the spectral characteristic of the BG filter.
  • the RG filter transmits light in a wavelength band longer than the wavelength ⁇ C.
  • the BG filter transmits light in a wavelength band shorter than the wavelength ⁇ C.
  • a line f R indicates the spectral characteristic (first transmittance characteristic) of the R filter of the image sensor 110.
  • a line f G indicates the spectral characteristic of the G filter of the image sensor 110. Since the filter characteristics of the Gr filter and the Gb filter are equivalent, the Gr filter and the Gb filter are represented as a G filter.
  • a line f B indicates the spectral characteristic (second transmittance characteristic) of the B filter of the image sensor 110. The spectral characteristics of the filters of the image sensor 110 overlap.
  • a region on the shorter wavelength side than the wavelength ⁇ C in the spectral characteristic indicated by the line f R is defined as a region ⁇ GB .
  • a phase difference between R (red) information and B (blue) information is acquired.
  • R information is acquired by photoelectric conversion in the R pixel of the image sensor 110 in which the R filter is arranged.
  • the R information includes information on the region ⁇ R , the region ⁇ RG , and the region ⁇ GB in FIG.
  • Information areas phi R and region phi RG is based on light transmitted through the RG filter of the first pupil 101.
  • the information on the region ⁇ GB is based on light transmitted through the BG filter of the second pupil 102.
  • information on the region ⁇ GB is based on an overlapping component of the spectral characteristics of the R filter and the spectral characteristics of the B filter. Since the region ⁇ GB is on the shorter wavelength side than the wavelength ⁇ C , information on the region ⁇ GB is B information that causes a double image due to color shift. This information is not preferable for the R information because the waveform of the R image is distorted and a double image is generated.
  • B information is acquired by photoelectric conversion in the B pixel of the image sensor 110 in which the B filter is arranged.
  • the B information includes information on the region ⁇ B , the region ⁇ RG , and the region ⁇ GB in FIG.
  • Information on the region ⁇ B and the region ⁇ GB is based on the light transmitted through the BG filter of the second pupil 102.
  • information on the region ⁇ RG is based on an overlapping component of the spectral characteristics of the B filter and the spectral characteristics of the R filter.
  • Information areas phi RG is based on light transmitted through the RG filter of the first pupil 101.
  • information of the area phi RG is R information that causes double images due to the color shift. This information is not preferable for the B information because it distorts the waveform of the B image and generates a double image.
  • the red information it reduces the information area phi GB including blue information, and the blue information are made correction to reduce the information of the region phi RG including red information.
  • the correction unit 131 performs correction processing on the R image and the B image. That is, the correction unit 131 reduces the information in the area phi GB in the red information, and reduces the information area phi RG in the blue information.
  • FIG. 9 is a view similar to FIG. 9, a line f BR shows the area phi GB and regions phi RG in FIG.
  • the spectral characteristics of the G filter shown by line f G, the spectral characteristics indicated by line f BR, is generally similar.
  • the correction unit 131 performs correction processing using this property. In the correction process, the correction unit 131 calculates red information and blue information using Expression (1) and Expression (2).
  • R ′ R ⁇ ⁇ G (1)
  • B ′ B ⁇ ⁇ G (2)
  • Equation (1) R is red information before the correction process is performed, and R ′ is red information after the correction process is performed.
  • B is blue information before the correction process is performed, and B ′ is blue information after the correction process is performed.
  • ⁇ and ⁇ are greater than 0 and less than 1.
  • ⁇ and ⁇ are set according to the spectral characteristics of the image sensor 110.
  • ⁇ and ⁇ are set according to the spectral characteristics of the imaging element 110 and the spectral characteristics of the light source. For example, ⁇ and ⁇ are stored in a memory (not shown).
  • the correcting unit 131 generates an image (monochrome corrected image) corrected as described above.
  • the correcting unit 131 outputs a monochrome corrected image by outputting any one of the generated R ′ image and B ′ image.
  • the correction unit 131 outputs an R ′ image.
  • one of the R ′ image and the B ′ image is output to the display unit 140.
  • the correcting unit 131 may generate an R ′ image and a B ′ image, and may output only one of the generated R ′ image and B ′ image. Alternatively, the correcting unit 131 may generate only a predetermined one of the R ′ image and the B ′ image.
  • the monochrome correction image (R ′ image) output from the correction unit 131 may be subjected to high image quality processing such as ⁇ correction, scaling processing, edge enhancement, and low-pass filter processing.
  • high image quality processing such as ⁇ correction, scaling processing, edge enhancement, and low-pass filter processing.
  • ⁇ correction ⁇ correction
  • scaling processing e.g., bicubic, Nearest Neighbor, etc. are used.
  • low-pass filter process aliasing is corrected.
  • the demosaic processing unit 120 and the display image generation unit 130 can be configured by an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), a microprocessor, and the like.
  • the demosaic processing unit 120 and the display image generation unit 130 are configured by an ASIC and an embedded processor.
  • the demosaic processing unit 120 and the display image generation unit 130 may be configured by other hardware, software, firmware, or a combination thereof.
  • the display unit 140 is a transmissive LCD (Liquid Crystal Display) that requires a backlight, a self-luminous EL (Electro Luminescence) element (organic EL), or the like.
  • the display unit 140 is composed of a transmissive LCD and has a driving unit necessary for driving the LCD.
  • the drive unit generates a drive signal and drives the LCD by the drive signal.
  • the imaging apparatus 10 includes the correction unit 131, so that it is possible to reduce double images due to image color misregistration. Moreover, the imaging device 10 can improve the visibility of an image by having the display part 140 which displays a monochrome correction image. Even when a user observes an image in a method of acquiring a phase difference based on an R image and a B image, the user can observe an image in which a double image due to color misregistration is reduced and visibility is improved. it can. Since the display unit 140 displays the monochrome corrected image, the amount of information output to the display unit 140 decreases. Therefore, power consumption of the display unit 140 can be reduced.
  • FIG. 10 shows a configuration of an imaging apparatus 10a according to the second embodiment of the present invention.
  • the configuration shown in FIG. 10 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10a does not have the display unit 140.
  • the display unit 140 is configured independently of the imaging device 10a.
  • the imaging device 10a includes an output unit 150 in addition to the configuration excluding the display unit 140 in the configuration of the imaging device 10 illustrated in FIG.
  • the output unit 150 outputs the monochrome corrected image generated by the correction unit 131 to the display unit 140.
  • the output unit 150 is a communication device that communicates with the display unit 140 in a wired or wireless manner.
  • the configuration shown in FIG. 10 is the same as the configuration shown in FIG.
  • the imaging device 10a of the second embodiment can reduce double images due to image color misregistration and improve image visibility. Since the display unit 140 is independent of the imaging device 10a, the imaging device 10a can be reduced in size. Also, by transferring the monochrome corrected image, the frame rate when transferring the image to the display unit 140 is improved and the bit rate is reduced compared to the color image.
  • FIG. 11 shows a configuration of an imaging apparatus 10b according to the third embodiment of the present invention.
  • the configuration shown in FIG. 11 will be described while referring to differences from the configuration shown in FIG.
  • the positions of the demosaic processing unit 120 and the display image generation unit 130 are different from the positions in the imaging apparatus 10 illustrated in FIG.
  • the Bayer image output from the image sensor 110 is input to the display image generation unit 130.
  • the correction unit 131 generates a Bayer 'image that is a correction image by performing correction processing and OB subtraction on the Bayer image.
  • the correction unit 131 performs OB subtraction on the pixel value of the Bayer image. Furthermore, the correction unit 131 generates a pixel value of an adjacent pixel by copying the pixel value of each pixel. Thereby, an RGB image in which the pixel values of the respective colors are aligned in all the pixels is generated. For example, the correction unit 131 performs OB subtraction on the R pixel value (R_00), and then copies the pixel value (R_00-OB). Thereby, the R pixel values in the Gr, Gb, and B pixels adjacent to the R pixel are interpolated.
  • the correction unit 131 performs OB subtraction on the Gr pixel value (Gr_01), and then copies the pixel value (Gr_01-OB).
  • the correction unit 131 performs OB subtraction on the Gb pixel value (Gb_10), and then copies the pixel value (Gb_10 ⁇ OB).
  • the correction unit 131 performs OB subtraction on the B pixel value (B_11), and then copies the pixel value (B_11-OB). Thereby, the B pixel value in the R, Gr, and Gb pixels adjacent to the B pixel is interpolated.
  • the correction unit 131 generates a color image (RGB image) composed of an R image, a G image, and a B image by the above processing. Thereafter, the correcting unit 131 corrects the R image based on the equation (1), thereby generating an R ′ image in which the double image due to the color shift is reduced. In addition, the correction unit 131 corrects the B image based on Expression (2), thereby generating a B ′ image in which a double image due to color misregistration is reduced. The correcting unit 131 extracts the pixel value at the same position as the R pixel position in the Bayer image from the R ′ image, thereby generating the R ′ pixel value in the Bayer ′ image.
  • RGB image color image
  • the correction unit 131 generates Gr ′ and Gb ′ pixel values in the Bayer ′ image by extracting from the G image pixel values at the same positions as the Gr and Gb pixels in the Bayer image. Further, the correcting unit 131 extracts the pixel value at the same position as the position of the B pixel in the Bayer image from the B ′ image, thereby generating the B ′ pixel value in the Bayer ′ image.
  • FIG. 12 shows a pixel array of the Bayer 'image.
  • the arrangement of R ′ (red), Gr ′ (green), Gb ′ (green), and B ′ (blue) pixels in the Bayer ′ image is determined by the arrangement of R, Gr, Gb, and B in the Bayer image shown in FIG. This is the same as the pixel arrangement.
  • the correction unit 131 outputs the generated Bayer 'image to the demosaic processing unit 120.
  • the Bayer' image may be subjected to the high-quality processing performed on the existing Bayer image.
  • the demosaic processing unit 120 generates at least one of the R ′ image and the B ′ image by performing demosaic processing on the Bayer ′ image. That is, the demosaic processing unit 120 interpolates the R ′ pixel values in the Gr ′, Gb ′, and B ′ pixels adjacent to the R ′ pixel by copying the R ′ pixel value. Alternatively, the demosaic processing unit 120 interpolates the B ′ pixel value in the R ′, Gr ′, and Gb ′ pixels adjacent to the B ′ pixel by copying the B ′ pixel value. The demosaic processing unit 120 outputs a monochrome corrected image by outputting one of the R ′ image and the B ′ image to the display unit 140.
  • the demosaic processing unit 120 outputs an R ′ image.
  • one of the R ′ image and the B ′ image is output to the display unit 140.
  • the demosaic processing unit 120 may generate an R ′ image and a B ′ image, and may output only one of the generated R ′ image and B ′ image.
  • the demosaic processing unit 120 may generate only a predetermined one of the R ′ image and the B ′ image.
  • the demosaic processing unit 120 configures an image processing unit that processes the corrected image generated by the correcting unit 131 to generate a monochrome corrected image. High-quality processing such as ⁇ correction may be performed on the monochrome corrected image generated by the demosaic processing unit 120.
  • the display unit 140 may be configured independently of the imaging device 10b.
  • the imaging device 10 b includes an output unit 150.
  • the output unit 150 outputs a processed image obtained by processing the monochrome corrected image to the display unit 140.
  • the display image generation unit 130 may be arranged in front of the demosaic processing unit 120.
  • the imaging device 10b according to the third embodiment can reduce double images due to image color misregistration and improve image visibility, as with the imaging device 10 according to the first embodiment. Further, before the Bayer 'image is input to the demosaic processing unit 120, it is possible to perform, for example, the high-quality processing performed on the existing Bayer image on the Bayer' image.
  • FIG. 13 shows a configuration of an imaging apparatus 10c according to the fourth embodiment of the present invention.
  • the configuration shown in FIG. 13 will be described while referring to differences from the configuration shown in FIG.
  • the display image generation unit 130 shown in FIG. 1 is changed to a display image generation unit 130c.
  • the display image generation unit 130 c includes a correction unit 131 and a control unit 132.
  • the control unit 132 instructs the correction unit 131 to generate at least one of the first monochrome correction image and the second monochrome correction image.
  • the first monochrome corrected image is generated by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on the captured image having the component based on the first transmittance characteristic. It is a monochrome corrected image.
  • the second monochrome corrected image is generated by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on a captured image having a component based on the second transmittance characteristic. It is a monochrome corrected image.
  • the correction unit 131 generates at least one of the first monochrome correction image and the second monochrome correction image in response to an instruction from the control unit 132.
  • the control unit 132 is configured by a microprocessor or the like.
  • the first monochrome corrected image is an R ′ image.
  • the second monochrome corrected image is a B ′ image.
  • the control unit 132 instructs the correction unit 131 to generate at least one of the first monochrome correction image and the second monochrome correction image according to the analysis result of the captured image.
  • the control unit 132 instructs the correction unit 131 to generate at least one of the first monochrome correction image and the second monochrome correction image according to the histogram of the captured image.
  • the control unit 132 instructs the correction unit 131 to generate at least one of the first monochrome correction image and the second monochrome correction image according to the contrast of the captured image.
  • FIG. 14 shows an operation procedure of the control unit 132 in the first example.
  • a Bayer image that is a captured image acquired by the image sensor 110 is input to the control unit 132.
  • the control unit 132 performs histogram analysis of the Bayer image (Step S100).
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined by histogram analysis (step S110).
  • the control unit 132 generates a histogram of pixel values for each color of each pixel in the Bayer image.
  • FIG. 15 shows an example of a histogram of a Bayer image. The horizontal axis in FIG. 15 is the gradation of the pixel value, and the vertical axis is the frequency.
  • FIG. 15 shows a histogram of pixel values of a plurality of R pixels in the Bayer image and a histogram of pixel values of a plurality of B pixels in the Bayer image.
  • a depth of 10 bits (0 to 1023) of the image sensor 110 is distinguished from a region A1 to a region A6.
  • the area A1 is an area having pixel values from 0 to 169.
  • the area A2 is an area having pixel values of 170 to 339.
  • An area A3 is an area having pixel values of 340 to 509.
  • a region A4 is a region having pixel values of 510 to 679.
  • An area A5 is an area having pixel values of 680 to 849.
  • a region A6 is a region having pixel values of 850 to 1023. Pixels with pixel values in the left side area are darker and pixels with pixel values in the right side area are brighter. In the example shown in FIG. 15, the frequency of the R pixel is distributed in a brighter area than the frequency of the B pixel. Therefore, it can be determined that the R image has a higher SNR (signal-to-noise ratio) than the B image.
  • the control unit 132 determines the monochrome corrected image generated by the correction unit 131 as an R ′ image.
  • control unit 132 generates a pixel value histogram of a plurality of R pixels and a pixel value histogram of a plurality of B pixels.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image corresponding to a pixel having a larger frequency of larger pixel values among the R pixel and the B pixel.
  • FIG. 16 shows an operation procedure of the control unit 132 in the second example.
  • a Bayer image that is a captured image acquired by the image sensor 110 is input to the control unit 132.
  • the control unit 132 performs contrast analysis of the Bayer image (Step S200).
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined by contrast analysis (step S210).
  • the control unit 132 generates a histogram similar to the histogram generated in the first example. For example, the histogram shown in FIG. 15 is generated.
  • the control unit 132 calculates the contrast of the Bayer image based on the histogram.
  • the R pixels are distributed from the region A6 to the region A1.
  • the B pixels are distributed from the region A5 to the region A1.
  • the contrast is defined by a value obtained by dividing the maximum luminance value (maximum pixel value) by the minimum luminance value (minimum pixel value)
  • the contrast of the R pixel is higher than the contrast of the B pixel. Therefore, the control unit 132 determines the monochrome corrected image generated by the correction unit 131 as an R ′ image.
  • control unit 132 calculates the contrast of the pixel values of the plurality of R pixels and the contrast of the pixel values of the plurality of B pixels.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome correction image corresponding to a pixel having a higher contrast among the R pixel and the B pixel.
  • the display unit 140 may be configured independently of the imaging device 10c.
  • the imaging device 10 c includes the output unit 150.
  • the output unit 150 outputs the monochrome corrected image generated by the correction unit 131 to the display unit 140.
  • the display image generation unit 130 may be arranged in front of the demosaic processing unit 120.
  • the imaging device 10c according to the fourth embodiment can reduce the double image due to the color shift of the image and improve the visibility of the image, similarly to the imaging device 10 according to the first embodiment.
  • control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined according to the histogram of the captured image.
  • the imaging device 10c can generate an image with a reduced SNR and a high SNR.
  • control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined according to the contrast of the captured image.
  • the imaging device 10c can generate an image with reduced double images due to color misregistration and high contrast.
  • FIG. 17 shows a configuration of an imaging apparatus 10d according to the fifth embodiment of the present invention.
  • the configuration shown in FIG. 17 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10d includes a storage unit 160 in addition to the configuration of the imaging device 10c illustrated in FIG.
  • the imaging device 10d is used for the purpose of acquiring a captured image of a predetermined subject.
  • the control unit 132 instructs the correction unit 131 to generate at least one of the first monochrome correction image and the second monochrome correction image according to the spectral characteristics of the subject.
  • the storage unit 160 stores spectral characteristic data indicating the spectral characteristics of the subject.
  • the storage unit 160 may store a plurality of spectral characteristic data different for each subject.
  • the storage unit 160 is a non-volatile memory such as a ROM (Read Only Memory).
  • the storage unit 160 may be configured independently of the imaging device 10d.
  • FIG. 18 shows an operation procedure of the control unit 132.
  • the user selects a subject using a user interface (not shown). Information on the subject selected by the user is input to the display image generation unit 130c via a system controller (not shown).
  • the control unit 132 reads out the spectral characteristic data of the subject selected by the user from the storage unit 160 and analyzes the spectral characteristic data (step S300). After step S300, the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined by analyzing the spectral characteristic data (step S310).
  • the control unit 132 instructs the correction unit 131 to generate a monochrome correction image corresponding to a pixel on which light having a wavelength with a higher gain in the spectral characteristics of the subject is incident among the R pixel and the B pixel.
  • FIG. 19 shows an example of the spectral characteristics of the subject.
  • the horizontal axis in FIG. 19 is the wavelength [nm], and the vertical axis is the gain.
  • the gain in the vicinity of 600 [nm] is high.
  • the gain of 600 [nm] in the spectral characteristics of the R filter is higher than the gain of 600 [nm] in the spectral characteristics of the B filter. Therefore, the control unit 132 determines the monochrome corrected image generated by the correction unit 131 as an R ′ image.
  • the storage unit 160 may store subject identification information and corrected image information.
  • the corrected image information indicates whether the monochrome corrected image is an R ′ image or a B ′ image.
  • the subject identification information and the corrected image information are associated with each other.
  • the user selects a subject using a user interface (not shown).
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image corresponding to the subject selected by the user.
  • the control unit 132 reads from the storage unit 160 information associated with the identification information of the subject selected by the user.
  • the information read from the storage unit 160 indicates whether the monochrome corrected image is an R ′ image or a B ′ image.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image corresponding to the information read from the storage unit 160.
  • the data amount is reduced.
  • the display unit 140 may be configured independently of the imaging device 10d.
  • the imaging device 10d includes an output unit 150.
  • the output unit 150 outputs the monochrome corrected image generated by the correction unit 131 to the display unit 140.
  • the display image generation unit 130 may be arranged in front of the demosaic processing unit 120.
  • the imaging apparatus 10d according to the fifth embodiment can reduce double images due to image color misregistration and improve image visibility, as with the imaging apparatus 10 according to the first embodiment.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined according to the spectral characteristics of the subject. Thereby, the imaging device 10d can generate an image with a reduced SNR and a high SNR.
  • FIG. 20 shows a configuration of an imaging apparatus 10e according to the sixth embodiment of the present invention.
  • the configuration shown in FIG. 20 will be described while referring to differences from the configuration shown in FIG.
  • the imaging device 10e includes an instruction receiving unit 170 in addition to the configuration of the imaging device 10c illustrated in FIG.
  • the control unit 132 determines whether the monochrome corrected image is an R ′ image or a B ′ image in accordance with an instruction from the user. Information of the monochrome corrected image instructed by the user is instructed to the correcting unit 131.
  • the instruction receiving unit 170 receives an instruction from the user.
  • the instruction receiving unit 170 constitutes a user interface such as buttons, switches, and keys.
  • the instruction receiving unit 170 may be configured independently of the imaging device 10e.
  • the user inputs an instruction to select one of the R ′ image and the B ′ image via the instruction receiving unit 170.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image indicated by the instruction received by the instruction receiving unit 170.
  • FIG. 20 The configuration shown in FIG. 20 is the same as the configuration shown in FIG.
  • the display unit 140 may be configured independently of the imaging device 10e.
  • the imaging device 10 e includes an output unit 150.
  • the output unit 150 outputs the monochrome corrected image generated by the correction unit 131 to the display unit 140.
  • the display image generation unit 130 may be arranged in front of the demosaic processing unit 120.
  • the imaging device 10e of the sixth embodiment can reduce the double image due to the color shift of the image and improve the visibility of the image, similarly to the imaging device 10 of the first embodiment.
  • the control unit 132 instructs the correction unit 131 to generate a monochrome corrected image determined according to an instruction from the user.
  • the imaging device 10e can reduce the double image by the color shift of an image according to a user's liking, and can improve the visibility of an image.
  • FIG. 21 shows a configuration of an imaging apparatus 10f according to the seventh embodiment of the present invention.
  • the configuration shown in FIG. 21 will be described while referring to differences from the configuration shown in FIG.
  • the display image generation unit 130 illustrated in FIG. 1 is changed to a display image generation unit 130f.
  • the display image generation unit 130f includes a correction unit 131, a control unit 132, and an image selection unit 133.
  • the correction unit 131 generates a first monochrome correction image and a second monochrome correction image in parallel with the analysis of the captured image by the control unit 132.
  • the first monochrome corrected image is generated by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on the captured image having the component based on the first transmittance characteristic. It is a monochrome corrected image.
  • the second monochrome corrected image is generated by correcting a value based on an overlapping component of the first transmittance characteristic and the second transmittance characteristic on a captured image having a component based on the second transmittance characteristic. It is a monochrome corrected image.
  • the control unit 132 instructs the image selection unit 133 to select at least one of the first monochrome correction image and the second monochrome correction image according to the analysis result of the captured image.
  • the image selection unit 133 selects at least one of the first monochrome correction image and the second monochrome correction image from the monochrome correction images generated by the correction unit 131, and outputs the selected monochrome correction image.
  • the correction unit 131 generates an R ′ image and a B ′ image, and outputs the generated R ′ image and the B ′ image to the image selection unit 133.
  • the R ′ image and B ′ generated by the correction unit 131 are input to the image selection unit 133.
  • the control unit 132 instructs the image selection unit 133 to select one of the R ′ image and the B ′ image according to the analysis result of the Bayer image that is the captured image.
  • the image selection unit 133 selects an image instructed by the control unit 132 out of the R ′ image and the B ′ image generated by the correction unit 131, and outputs the selected image to the display unit 140.
  • the display unit 140 may be configured independently of the imaging device 10f.
  • the imaging device 10 f includes the output unit 150.
  • the output unit 150 outputs the monochrome corrected image generated by the correction unit 131 to the display unit 140.
  • the imaging device 10f of the seventh embodiment can reduce the double image due to the color shift of the image and improve the visibility of the image, similarly to the imaging device 10 of the first embodiment.
  • the correction unit 131 waits for analysis of the captured image by the control unit 132. After receiving the instruction from the control unit 132, the correction unit 131 generates an R ′ image or a B ′ image indicated by the instruction from the control unit 132. On the other hand, in the imaging device 10f illustrated in FIG. 21, the correction unit 131 generates the R ′ image and the B ′ image without waiting for the analysis of the captured image by the control unit 132. During the generation of the R ′ image and the B ′ image by the correction unit 131, the control unit 132 analyzes the captured image. Therefore, a monochrome correction image is generated without waiting for an instruction from the control unit 132, and the image selection unit 133 outputs a monochrome correction image based on the instruction from the control unit 132. Therefore, the delay time is reduced.
  • FIG. 22 shows a configuration of an endoscope apparatus 11 according to the eighth embodiment of the present invention.
  • the endoscope apparatus 11 includes a pupil division optical system 100, an image sensor 110, a demosaic processing unit 120, a display image generation unit 130, a display unit 140, an instruction reception unit 170, a phase difference calculation unit 180, The light source unit 190 and the system controller 200 are included.
  • Each of the pupil division optical system 100, the image sensor 110, and the demosaic processing unit 120 is configured in the same manner as each of the pupil division optical system 100, the image sensor 110, and the demosaic processing unit 120 shown in FIG.
  • the pupil division optical system 100 and the image sensor 110 are arranged at the distal end of an insertion portion that is inserted into an object to be observed and measured.
  • the display image generation unit 130 is basically the same as the display image generation unit 130 shown in FIG.
  • the display image generation unit 130 generates an R ′ image and a B ′ image, and outputs the generated R ′ image and the B ′ image to the display unit 140.
  • the display unit 140 is basically the same as the display unit 140 shown in FIG.
  • the display unit 140 displays the R ′ image and the B ′ image generated by the display image generation unit 130 in monochrome.
  • the instruction receiving unit 170 receives a measurement point instruction indicating a measurement position on the subject from the user.
  • the phase difference calculation unit 180 calculates the phase difference between the R ′ image and the B ′ image generated by the display image generation unit 130.
  • the phase difference calculation unit 180 may calculate the phase difference between the R image and the B image generated by the demosaic processing unit 120.
  • the phase difference calculation unit 180 includes an ASIC, an FPGA, a microprocessor, and the like.
  • the light source unit 190 irradiates the subject with illumination light based on an instruction from the system controller 200.
  • the light source unit 190 is configured by an LED (Light Emitting Diode).
  • the system controller 200 controls each part in the endoscope apparatus 11.
  • the information of the measurement point instructed by the user is input from the instruction receiving unit 170 to the system controller 200.
  • the system controller 200 outputs measurement point information to the phase difference calculation unit 180.
  • the phase difference calculation unit 180 calculates the phase difference at the measurement point input from the system controller 200 and outputs the calculation result to the system controller 200.
  • the system controller 200 measures the distance to the subject and the three-dimensional shape of the subject based on the phase difference input from the phase difference calculation unit 180.
  • the system controller 200 outputs graphic data for displaying measurement points and character data for displaying measurement results to the display unit 140.
  • the display unit 140 displays an image on which measurement points and measurement results are superimposed.
  • FIG. 23 shows an example of an image displayed on the display unit 140.
  • a monochrome image R ′ image R10 and B ′ image B10 are displayed.
  • the user designates a measurement point for the R ′ image R10.
  • the measurement point P10 and the measurement point P11 designated by the user are superimposed and displayed on the R ′ image R10.
  • the distance (10 [mm]) between two points on the subject corresponding to the measurement point P10 and the measurement point P11 is superimposed and displayed on the R ′ image R10 as a measurement result.
  • a point P12 corresponding to the measurement point P10 and a point P13 corresponding to the measurement point P11 are superimposed and displayed on the B ′ image B10.
  • the display unit 140 may be configured independently of the endoscope apparatus 11.
  • the endoscope apparatus 11 includes an output unit 150.
  • the output unit 150 outputs the monochrome corrected image generated by the display image generation unit 130 to the display unit 140.
  • the display image generation unit 130 may be arranged in front of the demosaic processing unit 120.
  • At least one of the imaging device 10, the imaging device 10a, the imaging device 10b, the imaging device 10c, the imaging device 10d, the imaging device 10e, and the imaging device 10f may include the phase difference calculation unit 180.
  • the endoscope apparatus 11 of the eighth embodiment can reduce the double image due to the color shift of the image and improve the visibility of the image, similarly to the imaging apparatus 10 of the first embodiment.
  • a user can observe an image with reduced visibility due to color misregistration and improved visibility, and can easily specify a measurement point. Therefore, the endoscope apparatus 11 can improve a user's work efficiency.
  • the imaging device and the endoscope device can reduce double images due to image color misregistration and improve image visibility.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置において、瞳分割光学系は、第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する。撮像素子は、前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する。補正部は、前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。表示部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する。

Description

撮像装置および内視鏡装置
　本発明は、撮像装置および内視鏡装置に関する。
　近年の撮像装置には、Ｒ（赤）、Ｇ（緑）、およびＢ（青）で構成される原色のカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域が広くなるほど透過光量が増え、かつ撮像感度が高まる。このため、一般的な撮像素子では、Ｒ、Ｇ、Ｂのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。
　位相差ＡＦ等において、２つの瞳の視差を用いた位相差検出が行われている。例えば、特許文献１には、第１瞳領域がＲおよびＧの光を透過させ、かつ第２瞳領域がＧおよびＢの光を透過させる瞳分割光学系を有する撮像装置が開示されている。この撮像装置に搭載されたカラー撮像素子で得られたＲ画像およびＢ画像の位置ずれに基づいて位相差が検出される。
日本国特開２０１３－０４４８０６号公報
　特許文献１に開示された撮像装置は、合焦位置から外れた位置にある被写体を撮像したとき、画像に色ずれが発生する。特許文献１に開示された瞳分割光学系を有した撮像装置は、Ｒ画像およびＢ画像のボケの形状および重心位置をＧ画像のボケの形状および重心位置に近似させることにより、色ずれによる２重像を軽減した画像を表示する。
　特許文献１に開示された撮像装置において、Ｇ画像のボケの形状を基準にＲ画像およびＢ画像の補正が行われるため、Ｇ画像の波形に歪みがない（２重像がない）ことが前提である。しかし、Ｇ画像の波形が歪む場合もある。以下では、図２４から図２６を用いて、Ｇ画像の波形の歪みについて説明する。
　図２４は、白および黒の被写体の撮像画像Ｉ１０を示す。図２５および図２６は、撮像画像Ｉ１０におけるラインＬ１０のプロファイルを示す。図２５および図２６における横軸は撮像画像の水平方向のアドレスであり、かつ縦軸は撮像画像の画素値である。図２５は、各色のカラーフィルタの透過率特性がオーバーラップしていない場合のプロファイルを示す。図２６は、各色のカラーフィルタの透過率特性がオーバーラップしている場合のプロファイルを示す。プロファイルＲ２０およびプロファイルＲ２１は、Ｒ画像のプロファイルである。Ｒ画像は、Ｒのカラーフィルタが配置された画素の情報を含む。プロファイルＧ２０およびプロファイルＧ２１は、Ｇ画像のプロファイルである。Ｇ画像は、Ｇのカラーフィルタが配置された画素の情報を含む。プロファイルＢ２０およびプロファイルＢ２１は、Ｂ画像のプロファイルである。Ｂ画像は、Ｂのカラーフィルタが配置された画素の情報を含む。
　図２５ではＧ画像のプロファイルＧ２０の波形に歪みがないことがわかるが、図２６では、Ｇ画像のプロファイルＧ２１の波形に歪みがあることがわかる。Ｇのカラーフィルタを透過した光がＲおよびＢの成分を含むため、Ｇ画像のプロファイルＧ２１の波形に歪みが発生する。特許文献１に開示された撮像装置では、図２５に示すプロファイルＧ２０を前提としており、図２６に示すプロファイルＧ２１に生じる波形の歪みを前提としていない。そのため、図２６に示すプロファイルＧ２１で示されるＧ画像を基準にＲ画像およびＢ画像のボケの形状および重心位置を補正した場合、撮像装置は色ずれがある２重像を含む画像を表示するという課題がある。
　本発明は、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる撮像装置および内視鏡装置を提供することを目的とする。
　本発明の第１の態様によれば、撮像装置は、瞳分割光学系、撮像素子、補正部、および表示部を有する。前記瞳分割光学系は、第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する。前記撮像素子は、前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する。前記補正部は、前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。前記表示部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する。
　本発明の第２の態様によれば、撮像装置は、瞳分割光学系、撮像素子、補正部、および出力部を有する。前記瞳分割光学系は、第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する。前記撮像素子は、前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する。前記補正部は、前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する。前記出力部は、前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示部に出力する。
　本発明の第３の態様によれば、第１または第２の態様において、前記撮像装置は、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する制御部を有してもよい。前記第１モノクロ補正画像は、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記第２モノクロ補正画像は、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記補正部は、前記制御部からの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを生成してもよい。
　本発明の第４の態様によれば、第３の態様において、前記制御部は、ユーザーからの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示してもよい。
　本発明の第５の態様によれば、第３の態様において、前記制御部は、前記撮像画像の解析結果に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示してもよい。
　本発明の第６の態様によれば、第３の態様において、前記制御部は、前記撮像画像のヒストグラムに応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示してもよい。
　本発明の第７の態様によれば、第３の態様において、前記制御部は、前記撮像画像のコントラストに応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示してもよい。
　本発明の第８の態様によれば、第３の態様において、前記制御部は、被写体の分光特性に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示してもよい。
　本発明の第９の態様によれば、第１または第２の態様において、前記撮像装置は、画像選択部および制御部を有してもよい。前記画像選択部は、前記補正部によって生成された前記モノクロ補正画像のうち、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを選択し、選択された前記モノクロ補正画像を出力する。前記制御部は、前記撮像画像の解析結果に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記画像選択部に指示する。前記第１モノクロ補正画像は、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記第２モノクロ補正画像は、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像である。前記補正部は、前記制御部による前記撮像画像の解析と並行して、前記第１モノクロ補正画像および前記第２モノクロ補正画像を生成してもよい。
　本発明の第１０の態様によれば、第１または第２の態様において、前記撮像装置は、前記補正部によって生成された前記補正画像を処理して前記モノクロ補正画像を生成する画像処理部を有してもよい。
　本発明の第１１の態様によれば、内視鏡装置は、第１または第２の態様の前記撮像装置を有する。
　上記の各態様によれば、撮像装置および内視鏡装置は、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
本発明の第１の実施形態の撮像装置の構成を示すブロック図である。 本発明の第１の実施形態の瞳分割光学系の構成を示すブロック図である。 本発明の第１の実施形態の帯域制限フィルタの構成を示す図である。 本発明の第１の実施形態におけるｂａｙｅｒ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＲ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＧ画像の画素配列を示す図である。 本発明の第１の実施形態におけるＢ画像の画素配列を示す図である。 本発明の第１の実施形態における第１瞳のＲＧフィルタ、第２瞳のＢＧフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第１の実施形態における第１瞳のＲＧフィルタ、第２瞳のＢＧフィルタ、および撮像素子のカラーフィルタの分光特性の例を示す図である。 本発明の第２の実施形態の撮像装置の構成を示すブロック図である。 本発明の第３の実施形態の撮像装置の構成を示すブロック図である。 本発明の第３の実施形態におけるｂａｙｅｒ’画像の画素配列を示す図である。 本発明の第４の実施形態の撮像装置の構成を示すブロック図である。 本発明の第４の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第４の実施形態におけるｂａｙｅｒ画像のヒストグラムの例を示す図である。 本発明の第４の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第５の実施形態の撮像装置の構成を示すブロック図である。 本発明の第５の実施形態における制御部の動作の手順を示すフローチャートである。 本発明の第５の実施形態における被写体の分光特性の例を示す図である。 本発明の第６の実施形態の撮像装置の構成を示すブロック図である。 本発明の第７の実施形態の撮像装置の構成を示すブロック図である。 本発明の第８の実施形態の内視鏡装置の構成を示すブロック図である。 本発明の第８の実施形態において表示される画像の例を示す図である。 白および黒の被写体の撮像画像を示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。 白および黒の被写体の撮像画像におけるラインのプロファイルを示す図である。
　図面を参照し、本発明の実施形態を説明する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態の撮像装置１０の構成を示している。撮像装置１０は、デジタルスチルカメラ、ビデオカメラ、カメラ付き携帯電話、カメラ付き携帯情報端末、カメラ付きパーソナルコンピュータ、監視カメラ、内視鏡、およびデジタル顕微鏡などである。図１に示すように、撮像装置１０は、瞳分割光学系１００、撮像素子１１０、デモザイク処理部１２０、表示画像生成部１３０、および表示部１４０を有する。表示画像生成部１３０は、補正部１３１を有する。
　撮像装置１０の概略構成について説明する。瞳分割光学系１００は、第１波長帯域の光を透過させる第１瞳１０１と、第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳１０２とを有する。撮像素子１１０は、瞳分割光学系１００と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、瞳分割光学系１００と、第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を取得および出力する。補正部１３１は、撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像を生成する。表示部１４０は、モノクロ補正画像を表示する。
　撮像装置１０の詳細な構成について説明する。瞳分割光学系１００の第１瞳１０１は、Ｒ（赤）およびＧ（緑）の波長の光を透過させるＲＧフィルタを有する。瞳分割光学系１００の第２瞳１０２は、Ｂ（青）およびＧ（緑）の波長の光を透過させるＢＧフィルタを有する。
　図２は、瞳分割光学系１００の構成を示す。図２に示すように、瞳分割光学系１００は、レンズ１０３、帯域制限フィルタ１０４、および絞り１０５を有する。例えば、レンズ１０３は、一般的には複数のレンズで構成されることが多い。図２においては簡単のために１枚のレンズのみが示されている。帯域制限フィルタ１０４は、撮像素子１１０に入射する光の光路上に配置されている。例えば、帯域制限フィルタ１０４は、絞り１０５の位置またはその近傍に配置されている。図２に示す例では、帯域制限フィルタ１０４は、レンズ１０３と絞り１０５との間に配置されている。絞り１０５は、レンズ１０３を通過した光の通過範囲を制限することにより、撮像素子１１０に入射する光の明るさを調節する。
　図３は、帯域制限フィルタ１０４の構成を示す。図３に示す例では、撮像素子１１０側から帯域制限フィルタ１０４を見たときに、帯域制限フィルタ１０４の左半分が第１瞳１０１を構成し、かつ帯域制限フィルタ１０４の右半分が第２瞳１０２を構成する。第１瞳１０１は、ＲおよびＧの波長の光を透過させ、かつＢの波長の光を遮断する。第２瞳１０２は、ＢおよびＧの波長の光を透過させ、かつＲの波長の光を遮断する。
　撮像素子１１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサーおよびＸＹアドレス走査型のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子である。撮像素子１１０の構成としては、単板原色ベイヤー配列、またはセンサーを３つ使用した３板等の方式がある。以下では単板原色ベイヤー配列のＣＭＯＳセンサー（５００×５００画素、深度１０ｂｉｔ）を使用した例で本発明の実施形態を説明する。
　撮像素子１１０は、複数の画素を有する。また、撮像素子１１０は、第１色フィルタ、第２色フィルタ、および第３色フィルタを含むカラーフィルタを有する。カラーフィルタは、撮像素子１１０の各画素に配置されている。例えば、第１色フィルタはＲフィルタであり、第２色フィルタはＢフィルタであり、かつ第３色フィルタはＧフィルタである。瞳分割光学系１００を透過し、かつカラーフィルタを透過した光が撮像素子１１０の各画素に入射する。瞳分割光学系１００を透過した光は、第１瞳１０１を透過した光と、第２瞳１０２を透過した光とである。撮像素子１１０は、第１色フィルタを透過した光が入射した第１画素の画素値と、第２色フィルタを透過した光が入射した第２画素の画素値と、第３色フィルタを透過した光が入射した第３画素の画素値とを含む撮像画像を取得および出力する。
　ＣＭＯＳセンサーにおける光電変換により生成されたアナログ撮像信号に対して、撮像素子１１０によって、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）、ＡＧＣ（Ａｎａｌｏｇ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）、およびＡＤＣ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）などのＡＦＥ処理（Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）が行われる。撮像素子１１０の外部の回路がＡＦＥ処理を行ってもよい。撮像素子１１０によって取得された撮像画像（ｂａｙｅｒ画像）は、デモザイク処理部１２０に転送される。
　デモザイク処理部１２０では、ｂａｙｅｒ画像がＲＧＢ画像に変換され、カラー画像が生成される。図４は、ｂａｙｅｒ画像の画素配列を示す。奇数行においてＲ（赤）およびＧｒ（緑）の画素が交互に配置され、かつ偶数行においてＧｂ（緑）およびＢ（青）の画素が交互に配置される。奇数列においてＲ（赤）およびＧｂ（緑）の画素が交互に配置され、かつ偶数列においてＧｒ（緑）およびＢ（青）の画素が交互に配置される。
　デモザイク処理部１２０は、ｂａｙｅｒ画像の画素値に対して、黒のレベル補正（ＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ）減算）を行う。さらに、デモザイク処理部１２０は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったＲＧＢ画像が生成される。例えば、デモザイク処理部１２０は、Ｒの画素値（Ｒ＿００）にＯＢ減算を行った後、画素値（Ｒ＿００－ＯＢ）をコピーする。これにより、Ｒの画素に隣接するＧｒ、Ｇｂ、およびＢの画素におけるＲの画素値が補間される。図５は、Ｒ画像の画素配列を示す。
　同様に、デモザイク処理部１２０は、Ｇｒの画素値（Ｇｒ＿０１）にＯＢ減算を行った後、画素値（Ｇｒ＿０１－ＯＢ）をコピーする。また、デモザイク処理部１２０は、Ｇｂの画素値（Ｇｂ＿１０）にＯＢ減算を行った後、画素値（Ｇｂ＿１０－ＯＢ）をコピーする。これにより、Ｇｒの画素に隣接するＲの画素およびＧｂの画素に隣接するＢの画素におけるＧの画素値が補間される。図６は、Ｇ画像の画素配列を示す。
　同様に、デモザイク処理部１２０は、Ｂの画素値（Ｂ＿１１）にＯＢ減算を行った後、画素値（Ｂ＿１１－ＯＢ）をコピーする。これにより、Ｂの画素に隣接するＲ、Ｇｒ、およびＧｂの画素におけるＢの画素値が補間される。図７は、Ｂ画像の画素配列を示す。
　デモザイク処理部１２０は、上記の処理により、Ｒ画像、Ｇ画像、およびＢ画像で構成されるカラー画像（ＲＧＢ画像）を生成する。デモザイク処理の具体的な方法は、上記の方法に限らない。生成されたＲＧＢ画像に対してフィルタ処理が施されてもよい。デモザイク処理部１２０によって生成されたＲＧＢ画像は、表示画像生成部１３０に転送される。
　表示画像生成部１３０の補正部１３１が行う処理の詳細について説明する。図８は、第１瞳１０１のＲＧフィルタ、第２瞳１０２のＢＧフィルタ、および撮像素子１１０のカラーフィルタの分光特性（透過率特性）の例を示す。図８における横軸は波長λ［ｎｍ］であり、かつ縦軸はゲインである。線ｆＲＧは、ＲＧフィルタの分光特性を示す。線ｆＢＧは、ＢＧフィルタの分光特性を示す。波長λＣがＲＧフィルタの分光特性とＢＧフィルタの分光特性との境界である。ＲＧフィルタは、波長λＣよりも長波長側の波長帯域の光を透過させる。ＢＧフィルタは、波長λＣよりも短波長側の波長帯域の光を透過させる。線ｆＲは、撮像素子１１０のＲフィルタの分光特性（第１透過率特性）を示す。線ｆＧは、撮像素子１１０のＧフィルタの分光特性を示す。ＧｒフィルタおよびＧｂフィルタのフィルタ特性は同等であるため、ＧｒフィルタおよびＧｂフィルタはＧフィルタとして表されている。線ｆＢは、撮像素子１１０のＢフィルタの分光特性（第２透過率特性）を示す。撮像素子１１０の各フィルタの分光特性は、オーバーラップしている。
　線ｆＲが示す分光特性において波長λＣよりも長波長側の領域のうち線ｆＲおよび線ｆＢの間の領域を領域φＲと定義する。線ｆＢが示す分光特性において波長λＣよりも長波長側の領域を領域φＲＧと定義する。線ｆＢが示す分光特性において波長λＣよりも短波長側の領域のうち線ｆＢおよび線ｆＲの間の領域を領域φＢと定義する。線ｆＲが示す分光特性において波長λＣよりも短波長側の領域を領域φＧＢと定義する。
　Ｒ画像およびＢ画像に基づいて位相差を取得する方式では、例えばＲ（赤）情報およびＢ（青）情報の位相の差が取得される。Ｒフィルタが配置された撮像素子１１０のＲ画素における光電変換により、Ｒ情報が取得される。Ｒ情報は、図８の領域φＲ、領域φＲＧ、および領域φＧＢの情報を含む。領域φＲおよび領域φＲＧの情報は、第１瞳１０１のＲＧフィルタを透過した光に基づく。領域φＧＢの情報は、第２瞳１０２のＢＧフィルタを透過した光に基づく。Ｒ情報において領域φＧＢの情報は、Ｒフィルタの分光特性とＢフィルタの分光特性との重複する成分に基づく。領域φＧＢは波長λＣよりも短波長側であるため、領域φＧＢの情報は、色ずれによる２重像の原因となるＢ情報である。この情報は、Ｒ画像の波形を歪ませ、かつ２重像を発生させるため、Ｒ情報には好ましくない。
　一方、Ｂフィルタが配置された撮像素子１１０のＢ画素における光電変換により、Ｂ情報が取得される。Ｂ情報は、図８の領域φＢ、領域φＲＧ、および領域φＧＢの情報を含む。領域φＢおよび領域φＧＢの情報は、第２瞳１０２のＢＧフィルタを透過した光に基づく。Ｂ情報において領域φＲＧの情報は、Ｂフィルタの分光特性とＲフィルタの分光特性との重複する成分に基づく。領域φＲＧの情報は、第１瞳１０１のＲＧフィルタを透過した光に基づく。領域φＲＧは波長λＣよりも長波長側であるため、領域φＲＧの情報は、色ずれによる２重像の原因となるＲ情報である。この情報は、Ｂ画像の波形を歪ませ、かつ２重像を発生させるため、Ｂ情報には好ましくない。
　赤情報において、青情報を含む領域φＧＢの情報を低減させ、かつ青情報において、赤情報を含む領域φＲＧの情報を低減させる補正がなされる。補正部１３１は、Ｒ画像とＢ画像に対して、補正処理を行う。つまり、補正部１３１は、赤情報において領域φＧＢの情報を低減させ、かつ青情報において領域φＲＧの情報を低減させる。
　図９は、図８と同様の図である。図９において、線ｆＢＲは、図８における領域φＧＢおよび領域φＲＧを示す。線ｆＧで示されるＧフィルタの分光特性と、線ｆＢＲで示される分光特性とは、一般的に相似である。補正部１３１は、この性質を利用して補正処理を行う。補正部１３１は、補正処理において、式（１）および式（２）により赤情報および青情報を算出する。
　　Ｒ’＝Ｒ－α×Ｇ　・・・（１）
　　Ｂ’＝Ｂ－β×Ｇ　・・・（２）
　式（１）において、Ｒは補正処理が行われる前の赤情報であり、かつＲ’は補正処理が行われた後の赤情報である。式（２）において、Ｂは補正処理が行われる前の青情報であり、かつＢ’は補正処理が行われた後の青情報である。この例において、αおよびβは、０よりも大きく、かつ１よりも小さい。αおよびβは、撮像素子１１０の分光特性に応じて設定される。撮像装置１０が照明用の光源を有する場合、αおよびβは、撮像素子１１０の分光特性および光源の分光特性に応じて設定される。例えば、αおよびβは、図示していないメモリに格納されている。
　式（１）および式（２）で示される演算により、Ｒフィルタの分光特性とＢフィルタの分光特性との重複する成分に基づく値が補正される。補正部１３１は、上記のように補正された画像（モノクロ補正画像）を生成する。補正部１３１は、生成されたＲ’画像およびＢ’画像のいずれか１つを出力することにより、モノクロ補正画像を出力する。例えば、補正部１３１は、Ｒ’画像を出力する。第１の実施形態において、Ｒ’画像およびＢ’画像のいずれか１つが表示部１４０に出力される。補正部１３１は、Ｒ’画像およびＢ’画像を生成し、かつ生成されたＲ’画像およびＢ’画像のいずれか１つのみを出力してもよい。あるいは、補正部１３１は、Ｒ’画像およびＢ’画像のうち予め決められた１つのみを生成してもよい。
　補正部１３１から出力されたモノクロ補正画像（Ｒ’画像）に対して、例えばγ補正、スケーリング処理、エッジの強調、およびローパスフィルタ処理等の高画質化処理が行われてもよい。スケーリング処理では、バイキュービックおよびＮｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ等が利用される。ローパスフィルタ処理では、折返し歪み（ａｌｉａｓｉｎｇ）が補正される。
　デモザイク処理部１２０および表示画像生成部１３０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、およびマイクロプロセッサーなどで構成することができる。例えば、デモザイク処理部１２０および表示画像生成部１３０は、ＡＳＩＣおよびエンベデッドプロセッサーで構成される。デモザイク処理部１２０および表示画像生成部１３０は、それ以外のハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせで構成されてもよい。
　表示部１４０は、バックライトが必要な透過型ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）および自発光タイプのＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子（有機ＥＬ）などである。例えば、表示部１４０は透過型ＬＣＤで構成され、かつＬＣＤ駆動に必要な駆動部を有する。駆動部は、駆動信号を生成し、かつ駆動信号によりＬＣＤを駆動する。
　第１の実施形態の撮像装置１０は、補正部１３１を有することにより、画像の色ずれによる２重像を低減することができる。また、撮像装置１０は、モノクロ補正画像を表示する表示部１４０を有することにより、画像の視認性を改善することができる。ユーザーは、Ｒ画像およびＢ画像に基づいて位相差を取得する方式において画像を観察する場合であっても、色ずれによる２重像が低減され、かつ視認性が向上した画像を観察することができる。表示部１４０はモノクロ補正画像を表示するため、表示部１４０に出力される情報量が低下する。そのため、表示部１４０の消費電力を削減することができる。
　（第２の実施形態）
　図１０は、本発明の第２の実施形態の撮像装置１０ａの構成を示す。図１０に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ａは表示部１４０を有していない。表示部１４０は、撮像装置１０ａから独立して構成されている。撮像装置１０ａは、図１に示す撮像装置１０の構成のうち表示部１４０を除く構成に加えて出力部１５０を有する。出力部１５０は、補正部１３１によって生成されたモノクロ補正画像を表示部１４０に出力する。例えば、出力部１５０は、表示部１４０と有線または無線により通信を行う通信機である。
　上記以外の点について、図１０に示す構成は、図１に示す構成と同様である。
　第２の実施形態の撮像装置１０ａは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。表示部１４０が撮像装置１０ａから独立しているため、撮像装置１０ａを小型化することができる。また、モノクロ補正画像を転送することにより、カラー画像に比べて、表示部１４０に対して画像を転送するときのフレームレートが向上し、かつビットレートが低減する。
　（第３の実施形態）
　図１１は、本発明の第３の実施形態の撮像装置１０ｂの構成を示す。図１１に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ｂにおいて、デモザイク処理部１２０および表示画像生成部１３０の位置が、図１に示す撮像装置１０における位置と異なる。撮像素子１１０から出力されたｂａｙｅｒ画像が表示画像生成部１３０に入力される。表示画像生成部１３０において補正部１３１は、ｂａｙｅｒ画像に対して補正処理およびＯＢ減算を行うことにより、補正画像であるｂａｙｅｒ’画像を生成する。
　具体的には、補正部１３１は、ｂａｙｅｒ画像の画素値に対して、ＯＢ減算を行う。さらに、補正部１３１は、各画素の画素値をコピーすることにより、隣接画素の画素値を生成する。これにより、全ての画素において各色の画素値が揃ったＲＧＢ画像が生成される。例えば、補正部１３１は、Ｒの画素値（Ｒ＿００）にＯＢ減算を行った後、画素値（Ｒ＿００－ＯＢ）をコピーする。これにより、Ｒの画素に隣接するＧｒ、Ｇｂ、およびＢの画素におけるＲの画素値が補間される。
　同様に、補正部１３１は、Ｇｒの画素値（Ｇｒ＿０１）にＯＢ減算を行った後、画素値（Ｇｒ＿０１－ＯＢ）をコピーする。また、補正部１３１は、Ｇｂの画素値（Ｇｂ＿１０）にＯＢ減算を行った後、画素値（Ｇｂ＿１０－ＯＢ）をコピーする。これにより、Ｇｒの画素に隣接するＲの画素およびＧｂの画素に隣接するＢの画素におけるＧの画素値が補間される。
　同様に、補正部１３１は、Ｂの画素値（Ｂ＿１１）にＯＢ減算を行った後、画素値（Ｂ＿１１－ＯＢ）をコピーする。これにより、Ｂの画素に隣接するＲ、Ｇｒ、およびＧｂの画素におけるＢの画素値が補間される。
　補正部１３１は、上記の処理により、Ｒ画像、Ｇ画像、およびＢ画像で構成されるカラー画像（ＲＧＢ画像）を生成する。その後、補正部１３１は、式（１）に基づいてＲ画像を補正することにより、色ずれによる２重像が低減されたＲ’画像を生成する。また、補正部１３１は、式（２）に基づいてＢ画像を補正することにより、色ずれによる２重像が低減されたＢ’画像を生成する。補正部１３１は、ｂａｙｅｒ画像におけるＲの画素の位置と同一の位置における画素値をＲ’画像から抽出することにより、ｂａｙｅｒ’画像におけるＲ’の画素値を生成する。また、補正部１３１は、ｂａｙｅｒ画像におけるＧｒおよびＧｂの画素の位置と同一の位置における画素値をＧ画像から抽出することにより、ｂａｙｅｒ’画像におけるＧｒ’およびＧｂ’の画素値を生成する。また、補正部１３１は、ｂａｙｅｒ画像におけるＢの画素の位置と同一の位置における画素値をＢ’画像から抽出することにより、ｂａｙｅｒ’画像におけるＢ’の画素値を生成する。
　図１２は、ｂａｙｅｒ’画像の画素配列を示す。ｂａｙｅｒ’画像におけるＲ’（赤）、Ｇｒ’（緑）、Ｇｂ’（緑）、およびＢ’（青）の画素の配置は、図４に示すｂａｙｅｒ画像におけるＲ、Ｇｒ、Ｇｂ、およびＢの画素の配置と同様である。補正部１３１は、生成されたｂａｙｅｒ’画像をデモザイク処理部１２０に出力する。もちろん、ｂａｙｅｒ’画像がデモザイク処理部１２０に入力される前に、ｂａｙｅｒ’画像に対して、既存のｂａｙｅｒ画像に対して行っていた高画質処理等を行っても構わない。
　デモザイク処理部１２０は、ｂａｙｅｒ’画像にデモザイク処理を行うことにより、Ｒ’画像およびＢ’画像の少なくとも１つを生成する。つまり、デモザイク処理部１２０は、Ｒ’の画素値をコピーすることにより、Ｒ’の画素に隣接するＧｒ’、Ｇｂ’、およびＢ’の画素におけるＲ’の画素値を補間する。あるいは、デモザイク処理部１２０は、Ｂ’の画素値をコピーすることにより、Ｂ’の画素に隣接するＲ’、Ｇｒ’、およびＧｂ’の画素におけるＢ’の画素値を補間する。デモザイク処理部１２０は、Ｒ’画像およびＢ’画像のいずれか１つを表示部１４０に出力することにより、モノクロ補正画像を出力する。例えば、デモザイク処理部１２０は、Ｒ’画像を出力する。第３の実施形態において、Ｒ’画像およびＢ’画像のいずれか１つが表示部１４０に出力される。デモザイク処理部１２０は、Ｒ’画像およびＢ’画像を生成し、かつ生成されたＲ’画像およびＢ’画像のいずれか１つのみを出力してもよい。あるいは、デモザイク処理部１２０は、Ｒ’画像およびＢ’画像のうち予め決められた１つのみを生成してもよい。デモザイク処理部１２０は、補正部１３１によって生成された補正画像を処理してモノクロ補正画像を生成する画像処理部を構成する。デモザイク処理部１２０によって生成されたモノクロ補正画像に対してγ補正等の高画質化処理が行われてもよい。
　上記以外の点について、図１１に示す構成は、図１に示す構成と同様である。
　表示部１４０は、撮像装置１０ｂから独立して構成されてもよい。その場合、撮像装置１０ｂは、出力部１５０を有する。出力部１５０は、モノクロ補正画像を処理した処理画像を表示部１４０に出力する。表示画像生成部１３０は、デモザイク処理部１２０の前段に配置されてもよい。
　第３の実施形態の撮像装置１０ｂは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。また、ｂａｙｅｒ’画像がデモザイク処理部１２０に入力される前に、ｂａｙｅｒ’画像に対して、既存のｂａｙｅｒ画像に対して行っていた高画質処理等を行うこともできる。
　（第４の実施形態）
　図１３は、本発明の第４の実施形態の撮像装置１０ｃの構成を示す。図１３に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ｃにおいて、図１に示す表示画像生成部１３０は表示画像生成部１３０ｃに変更される。表示画像生成部１３０ｃは、補正部１３１および制御部１３２を有する。制御部１３２は、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を補正部１３１に指示する。第１モノクロ補正画像は、第１透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。第２モノクロ補正画像は、第２透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。補正部１３１は、制御部１３２からの指示に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを生成する。制御部１３２は、マイクロプロセッサーなどで構成される。例えば、第１モノクロ補正画像は、Ｒ’画像である。例えば、第２モノクロ補正画像は、Ｂ’画像である。
　制御部１３２は、撮像画像の解析結果に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を補正部１３１に指示する。第１の例では、制御部１３２は、撮像画像のヒストグラムに応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を補正部１３１に指示する。第２の例では、制御部１３２は、撮像画像のコントラストに応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を補正部１３１に指示する。
　上記以外の点について、図１３に示す構成は、図１に示す構成と同様である。
　図１４は、第１の例における制御部１３２の動作の手順を示す。撮像素子１１０によって取得された撮像画像であるｂａｙｅｒ画像が制御部１３２に入力される。制御部１３２は、ｂａｙｅｒ画像のヒストグラム解析を行う（ステップＳ１００）。ステップＳ１００の後、制御部１３２は、ヒストグラム解析によって決定されたモノクロ補正画像の生成を補正部１３１に指示する（ステップＳ１１０）。
　ステップＳ１００における処理の詳細について説明する。制御部１３２は、ｂａｙｅｒ画像における各画素の色毎に画素値のヒストグラムを生成する。図１５は、ｂａｙｅｒ画像のヒストグラムの例を示す。図１５における横軸は画素値の階調であり、かつ縦軸は度数である。図１５において、ｂａｙｅｒ画像における複数のＲ画素の画素値のヒストグラムと、ｂａｙｅｒ画像における複数のＢ画素の画素値のヒストグラムとが示されている。撮像素子１１０の深度１０ｂｉｔ（０から１０２３）は、領域Ａ１から領域Ａ６に区別されている。領域Ａ１は、画素値が０から１６９の領域である。領域Ａ２は、画素値が１７０から３３９の領域である。領域Ａ３は、画素値が３４０から５０９の領域である。領域Ａ４は、画素値が５１０から６７９の領域である。領域Ａ５は、画素値が６８０から８４９の領域である。領域Ａ６は、画素値が８５０から１０２３の領域である。より左側の領域の画素値を有する画素はより暗く、より右側の領域の画素値を有する画素はより明るい。図１５に示す例では、Ｒ画素の度数は、Ｂ画素の度数と比べて、より明るい領域に分布している。そのため、Ｒ画像は、Ｂ画像に比べてＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ　ｒａｔｉｏ）が高いと判断できる。制御部１３２は、補正部１３１が生成するモノクロ補正画像をＲ’画像に決定する。
　第１の例では、制御部１３２は、複数のＲ画素の画素値のヒストグラムと、複数のＢ画素の画素値のヒストグラムとを生成する。制御部１３２は、Ｒ画素およびＢ画素のうち、より大きい画素値の度数がより多い画素に対応するモノクロ補正画像の生成を補正部１３１に指示する。
　図１６は、第２の例における制御部１３２の動作の手順を示す。撮像素子１１０によって取得された撮像画像であるｂａｙｅｒ画像が制御部１３２に入力される。制御部１３２は、ｂａｙｅｒ画像のコントラスト解析を行う（ステップＳ２００）。ステップＳ２００の後、制御部１３２は、コントラスト解析によって決定されたモノクロ補正画像の生成を補正部１３１に指示する（ステップＳ２１０）。
　ステップＳ２００における処理の詳細について説明する。制御部１３２は、第１の例で生成されるヒストグラムと同様のヒストグラムを生成する。例えば、図１５に示すヒストグラムが生成される。制御部１３２は、ヒストグラムに基づいてｂａｙｅｒ画像のコントラストを算出する。図１５に示す例では、Ｒ画素は、領域Ａ６から領域Ａ１まで分布している。一方、Ｂ画素は、領域Ａ５から領域Ａ１まで分布している。最大輝度値（最大画素値）を最小輝度値（最小画素値）で割った値でコントラストが定義される場合、Ｒ画素のコントラストはＢ画素のコントラストよりも高い。そのため、制御部１３２は、補正部１３１が生成するモノクロ補正画像をＲ’画像に決定する。
　第２の例では、制御部１３２は、複数のＲ画素の画素値のコントラストと、複数のＢ画素の画素値のコントラストとを算出する。制御部１３２は、Ｒ画素およびＢ画素のうち、コントラストがより高い画素に対応するモノクロ補正画像の生成を補正部１３１に指示する。
　表示部１４０は、撮像装置１０ｃから独立して構成されてもよい。その場合、撮像装置１０ｃは、出力部１５０を有する。出力部１５０は、補正部１３１によって生成されたモノクロ補正画像を表示部１４０に出力する。表示画像生成部１３０は、デモザイク処理部１２０の前段に配置されてもよい。
　第４の実施形態の撮像装置１０ｃは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　第１の例では、制御部１３２は、撮像画像のヒストグラムに応じて決定されたモノクロ補正画像の生成を補正部１３１に指示する。これにより、撮像装置１０ｃは、色ずれによる２重像が低減され、かつＳＮＲが高い画像を生成することができる。
　第２の例では、制御部１３２は、撮像画像のコントラストに応じて決定されたモノクロ補正画像の生成を補正部１３１に指示する。これにより、撮像装置１０ｃは、色ずれによる２重像が低減され、かつコントラストが高い画像を生成することができる。
　（第５の実施形態）
　図１７は、本発明の第５の実施形態の撮像装置１０ｄの構成を示す。図１７に示す構成について、図１３に示す構成と異なる点を説明する。
　撮像装置１０ｄは、図１３に示す撮像装置１０ｃの構成に加えて記憶部１６０を有する。撮像装置１０ｄは、予め決められた被写体の撮像画像を取得する目的で使用される。制御部１３２は、被写体の分光特性に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を補正部１３１に指示する。記憶部１６０は、被写体の分光特性を示す分光特性データを記憶する。記憶部１６０は、被写体毎に異なる複数の分光特性データを記憶してもよい。記憶部１６０は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの不揮発性メモリである。記憶部１６０は、撮像装置１０ｄから独立して構成されてもよい。
　上記以外の点について、図１７に示す構成は、図１３に示す構成と同様である。
　図１８は、制御部１３２の動作の手順を示す。ユーザーは、図示していないユーザーインターフェースにより、被写体を選択する。ユーザーによって選択された被写体の情報は、図示していないシステムコントローラを介して表示画像生成部１３０ｃに入力される。制御部１３２は、ユーザーによって選択された被写体の分光特性データを記憶部１６０から読み出し、かつ分光特性データの解析を行う（ステップＳ３００）。ステップＳ３００の後、制御部１３２は、分光特性データの解析によって決定されたモノクロ補正画像の生成を補正部１３１に指示する（ステップＳ３１０）。
　ステップＳ３００における処理の詳細について説明する。制御部１３２は、Ｒ画素およびＢ画素のうち、被写体の分光特性におけるゲインがより高い波長の光が入射する画素に対応するモノクロ補正画像の生成を補正部１３１に指示する。図１９は、被写体の分光特性の例を示す。図１９における横軸は波長［ｎｍ］であり、かつ縦軸はゲインである。図１９に示す例では、６００［ｎｍ］付近におけるゲインが高い。Ｒフィルタの分光特性における６００［ｎｍ］のゲインは、Ｂフィルタの分光特性における６００［ｎｍ］のゲインよりも高い。そのため、制御部１３２は、補正部１３１が生成するモノクロ補正画像をＲ’画像に決定する。
　記憶部１６０は、被写体の識別情報と、補正画像情報とを記憶してもよい。補正画像情報は、モノクロ補正画像をＲ’画像およびＢ’画像のどちらにするかを示す。被写体の識別情報と、補正画像情報とは、互いに関連付けられている。ユーザーは、図示していないユーザーインターフェースにより、被写体を選択する。制御部１３２は、ユーザーによって選択された被写体に対応するモノクロ補正画像の生成を補正部１３１に指示する。具体的には、制御部１３２は、ユーザーによって選択された被写体の識別情報に関連付けられた情報を記憶部１６０から読み出す。記憶部１６０から読み出された情報は、モノクロ補正画像をＲ’画像およびＢ’画像のどちらにするかを示す。制御部１３２は、記憶部１６０から読み出された情報に対応するモノクロ補正画像の生成を補正部１３１に指示する。記憶部１６０が被写体の分光特性データを記憶する場合と比べて、データ量が削減される。
　表示部１４０は、撮像装置１０ｄから独立して構成されてもよい。その場合、撮像装置１０ｄは、出力部１５０を有する。出力部１５０は、補正部１３１によって生成されたモノクロ補正画像を表示部１４０に出力する。表示画像生成部１３０は、デモザイク処理部１２０の前段に配置されてもよい。
　第５の実施形態の撮像装置１０ｄは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　制御部１３２は、被写体の分光特性に応じて決定されたモノクロ補正画像の生成を補正部１３１に指示する。これにより、撮像装置１０ｄは、色ずれによる２重像が低減され、かつＳＮＲが高い画像を生成することができる。
　（第６の実施形態）
　図２０は、本発明の第６の実施形態の撮像装置１０ｅの構成を示す。図２０に示す構成について、図１３に示す構成と異なる点を説明する。
　撮像装置１０ｅは、図１３に示す撮像装置１０ｃの構成に加えて指示受付部１７０を有する。制御部１３２は、ユーザーからの指示に応じて、モノクロ補正画像をＲ’画像およびＢ’画像のどちらにするかを決定する。ユーザーが指示したモノクロ補正画像の情報が、補正部１３１に指示される。指示受付部１７０は、ユーザーからの指示を受け付ける。指示受付部１７０は、ボタン、スイッチ、およびキーなどのユーザーインターフェースを構成する。指示受付部１７０は、撮像装置１０ｅから独立して構成されてもよい。
　例えば、ユーザーは、Ｒ’画像およびＢ’画像のいずれか１つを選択する指示を、指示受付部１７０を介して入力する。制御部１３２は、指示受付部１７０によって受け付けられた指示が示すモノクロ補正画像の生成を補正部１３１に指示する。
　上記以外の点について、図２０に示す構成は、図１３に示す構成と同様である。
　表示部１４０は、撮像装置１０ｅから独立して構成されてもよい。その場合、撮像装置１０ｅは、出力部１５０を有する。出力部１５０は、補正部１３１によって生成されたモノクロ補正画像を表示部１４０に出力する。表示画像生成部１３０は、デモザイク処理部１２０の前段に配置されてもよい。
　第６の実施形態の撮像装置１０ｅは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　制御部１３２は、ユーザーからの指示に応じて決定されたモノクロ補正画像の生成を補正部１３１に指示する。これにより、撮像装置１０ｅは、ユーザーの好みに応じて、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　（第７の実施形態）
　図２１は、本発明の第７の実施形態の撮像装置１０ｆの構成を示す。図２１に示す構成について、図１に示す構成と異なる点を説明する。
　撮像装置１０ｆにおいて、図１に示す表示画像生成部１３０は表示画像生成部１３０ｆに変更される。表示画像生成部１３０ｆは、補正部１３１、制御部１３２、および画像選択部１３３を有する。
　補正部１３１は、制御部１３２による撮像画像の解析と並行して、第１モノクロ補正画像および第２モノクロ補正画像を生成する。第１モノクロ補正画像は、第１透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。第２モノクロ補正画像は、第２透過率特性に基づく成分を有する撮像画像に対して、第１透過率特性と第２透過率特性との重複する成分に基づく値を補正することにより生成されたモノクロ補正画像である。制御部１３２は、撮像画像の解析結果に応じて、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの選択を画像選択部１３３に指示する。画像選択部１３３は、補正部１３１によって生成されたモノクロ補正画像のうち、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを選択し、選択されたモノクロ補正画像を出力する。
　例えば、補正部１３１は、Ｒ’画像およびＢ’画像を生成し、生成されたＲ’画像およびＢ’画像を画像選択部１３３に出力する。補正部１３１によって生成されたＲ’画像およびＢ’は、画像選択部１３３に入力される。制御部１３２は、撮像画像であるｂａｙｅｒ画像の解析結果に応じて、Ｒ’画像およびＢ’画像のいずれか１つの選択を画像選択部１３３に指示する。画像選択部１３３は、補正部１３１によって生成されたＲ’画像およびＢ’画像のうち、制御部１３２によって指示された画像を選択し、選択された画像を表示部１４０に出力する。
　上記以外の点について、図２１に示す構成は、図１に示す構成と同様である。
　表示部１４０は、撮像装置１０ｆから独立して構成されてもよい。その場合、撮像装置１０ｆは、出力部１５０を有する。出力部１５０は、補正部１３１によって生成されたモノクロ補正画像を表示部１４０に出力する。
　第７の実施形態の撮像装置１０ｆは、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　図１３に示す撮像装置１０ｃでは、補正部１３１は、制御部１３２による撮像画像の解析を待つ。制御部１３２からの指示を受けた後、補正部１３１は、制御部１３２からの指示が示すＲ’画像またはＢ’画像を生成する。一方、図２１に示す撮像装置１０ｆでは、補正部１３１は、制御部１３２による撮像画像の解析を待つことなく、Ｒ’画像およびＢ’画像を生成する。補正部１３１によるＲ’画像とＢ’画像との生成中に制御部１３２が撮像画像の解析を行う。そのため、制御部１３２からの指示を待つことなくモノクロ補正画像が生成され、画像選択部１３３では、制御部１３２からの指示に基づき、モノクロ補正画像が出力される。そのため、遅延時間が少なくなる。
　（第８の実施形態）
　図２２は、本発明の第８の実施形態の内視鏡装置１１の構成を示す。図２２に示すように、内視鏡装置１１は、瞳分割光学系１００、撮像素子１１０、デモザイク処理部１２０、表示画像生成部１３０、表示部１４０、指示受付部１７０、位相差演算部１８０、光源部１９０、およびシステムコントローラ２００を有する。
　瞳分割光学系１００、撮像素子１１０、およびデモザイク処理部１２０の各々は、図１に示す瞳分割光学系１００、撮像素子１１０、およびデモザイク処理部１２０の各々と同様に構成されている。工業用内視鏡において、瞳分割光学系１００および撮像素子１１０は、観察および計測の対象物の内部に挿入される挿入部の先端に配置される。表示画像生成部１３０は、図１に示す表示画像生成部１３０と基本的には同様である。表示画像生成部１３０は、Ｒ’画像およびＢ’画像を生成し、かつ生成されたＲ’画像およびＢ’画像を表示部１４０に出力する。表示部１４０は、図１に示す表示部１４０と基本的には同様である。表示部１４０は、表示画像生成部１３０によって生成されたＲ’画像およびＢ’画像の各々をモノクロ表示する。
　指示受付部１７０は、被写体上の計測位置を示す計測点の指示をユーザーから受け付ける。位相差演算部１８０は、表示画像生成部１３０によって生成されたＲ’画像およびＢ’画像の位相差を演算する。位相差演算部１８０は、デモザイク処理部１２０によって生成されたＲ画像およびＢ画像の位相差を演算してもよい。位相差演算部１８０は、ＡＳＩＣ、ＦＰＧＡ、およびマイクロプロセッサーなどで構成される。光源部１９０は、システムコントローラ２００からの指示に基づき、照明光を被写体に照射する。例えば、光源部１９０は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）で構成される。システムコントローラ２００は、内視鏡装置１１内の各部を制御する。
　ユーザーによって指示された計測点の情報が指示受付部１７０からシステムコントローラ２００に入力される。システムコントローラ２００は計測点の情報を位相差演算部１８０に出力する。位相差演算部１８０は、システムコントローラ２００から入力された計測点における位相差を演算し、かつ演算結果をシステムコントローラ２００に出力する。システムコントローラ２００は、位相差演算部１８０から入力された位相差に基づいて、被写体までの距離および被写体の三次元形状を計測する。システムコントローラ２００は、計測点を表示するためのグラフィックデータと、計測結果を表示するための文字データとを表示部１４０に出力する。表示部１４０は、計測点および計測結果が重畳された画像を表示する。
　図２３は、表示部１４０に表示された画像の例を示す。モノクロ画像であるＲ’画像Ｒ１０およびＢ’画像Ｂ１０が表示される。例えば、ユーザーは、Ｒ’画像Ｒ１０に対して計測点を指定する。ユーザーによって指定された計測点Ｐ１０および計測点Ｐ１１がＲ’画像Ｒ１０に重畳表示される。また、計測点Ｐ１０および計測点Ｐ１１に対応する被写体上の２点間の距離（１０［ｍｍ］）が計測結果としてＲ’画像Ｒ１０に重畳表示される。計測点Ｐ１０に対応する点Ｐ１２と、計測点Ｐ１１に対応する点Ｐ１３とがＢ’画像Ｂ１０に重畳表示される。
　表示部１４０は、内視鏡装置１１から独立して構成されてもよい。その場合、内視鏡装置１１は、出力部１５０を有する。出力部１５０は、表示画像生成部１３０によって生成されたモノクロ補正画像を表示部１４０に出力する。表示画像生成部１３０は、デモザイク処理部１２０の前段に配置されてもよい。撮像装置１０、撮像装置１０ａ、撮像装置１０ｂ、撮像装置１０ｃ、撮像装置１０ｄ、撮像装置１０ｅ、および撮像装置１０ｆの少なくとも１つは、位相差演算部１８０を有してもよい。
　第８の実施形態の内視鏡装置１１は、第１の実施形態の撮像装置１０と同様に、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。ユーザーは、色ずれによる２重像が低減され、かつ視認性が向上した画像を観察できるため、計測点を指定しやすい。そのため、内視鏡装置１１は、ユーザーの作業効率を向上させることができる。
　以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
　本発明の各実施形態によれば、撮像装置および内視鏡装置は、画像の色ずれによる２重像を低減し、かつ画像の視認性を改善することができる。
　１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ　撮像装置
　１１　内視鏡装置
　１００　瞳分割光学系
　１０１　第１瞳
　１０２　第２瞳
　１０３　レンズ
　１０４　帯域制限フィルタ
　１０５　絞り
　１１０　撮像素子
　１２０　デモザイク処理部
　１３０，１３０ｃ，１３０ｆ　表示画像生成部
　１３１　補正部
　１３２　制御部
　１３３　画像選択部
　１４０　表示部
　１５０　出力部
　１６０　記憶部
　１７０　指示受付部
　１８０　位相差演算部
　１９０　光源部
　２００　システムコントローラ

Claims (11)

  1. 　第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する瞳分割光学系と、
    　前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する撮像素子と、
    　前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する補正部と、
    　前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示する表示部と、
    　を有する撮像装置。
  2. 　第１波長帯域の光を透過させる第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過させる第２瞳とを有する瞳分割光学系と、
    　前記瞳分割光学系と、第１透過率特性を有する第１色フィルタとを透過した光を撮像し、かつ、前記瞳分割光学系と、前記第１透過率特性と一部が重複する第２透過率特性を有する第２色フィルタとを透過した光を撮像して撮像画像を出力する撮像素子と、
    　前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正し、モノクロ補正画像または補正画像を生成する補正部と、
    　前記モノクロ補正画像を表示し、または、前記補正画像を処理することにより生成された前記モノクロ補正画像を表示部に出力する出力部と、
    　を有する撮像装置。
  3. 　第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する制御部を有し、
    　前記第１モノクロ補正画像は、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
    　前記第２モノクロ補正画像は、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
    　前記補正部は、前記制御部からの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つを生成する
    　請求項１または請求項２に記載の撮像装置。
  4. 　前記制御部は、ユーザーからの指示に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する
    　請求項３に記載の撮像装置。
  5. 　前記制御部は、前記撮像画像の解析結果に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する
    　請求項３に記載の撮像装置。
  6. 　前記制御部は、前記撮像画像のヒストグラムに応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する
    　請求項３に記載の撮像装置。
  7. 　前記制御部は、前記撮像画像のコントラストに応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する
    　請求項３に記載の撮像装置。
  8. 　前記制御部は、被写体の分光特性に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの生成を前記補正部に指示する
    　請求項３に記載の撮像装置。
  9. 　前記補正部によって生成された前記モノクロ補正画像のうち、第１モノクロ補正画像および第２モノクロ補正画像の少なくとも１つを選択し、選択された前記モノクロ補正画像を出力する画像選択部と、
    　前記撮像画像の解析結果に応じて、前記第１モノクロ補正画像および前記第２モノクロ補正画像の少なくとも１つの選択を前記画像選択部に指示する制御部と、
    　を有し、
    　前記第１モノクロ補正画像は、前記第１透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
    　前記第２モノクロ補正画像は、前記第２透過率特性に基づく成分を有する前記撮像画像に対して、前記第１透過率特性と前記第２透過率特性との重複する成分に基づく値を補正することにより生成された前記モノクロ補正画像であり、
    　前記補正部は、前記制御部による前記撮像画像の解析と並行して、前記第１モノクロ補正画像および前記第２モノクロ補正画像を生成する
    　請求項１または請求項２に記載の撮像装置。
  10. 　前記補正部によって生成された前記補正画像を処理して前記モノクロ補正画像を生成する画像処理部を有する
    　請求項１または請求項２に記載の撮像装置。
  11. 　請求項１または請求項２に記載の撮像装置を有する内視鏡装置。
PCT/JP2017/015698 2017-04-19 2017-04-19 撮像装置および内視鏡装置 WO2018193544A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置
US16/601,821 US10778948B2 (en) 2017-04-19 2019-10-15 Imaging apparatus and endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/601,821 Continuation US10778948B2 (en) 2017-04-19 2019-10-15 Imaging apparatus and endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2018193544A1 true WO2018193544A1 (ja) 2018-10-25

Family

ID=63856678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015698 WO2018193544A1 (ja) 2017-04-19 2017-04-19 撮像装置および内視鏡装置

Country Status (2)

Country Link
US (1) US10778948B2 (ja)
WO (1) WO2018193544A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107204170A (zh) * 2017-07-21 2017-09-26 京东方科技集团股份有限公司 一种色偏补偿方法、色偏补偿系统和显示面板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2013246052A (ja) * 2012-05-25 2013-12-09 Olympus Corp 距離測定装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248484B2 (ja) * 2013-09-11 2017-12-20 ソニー株式会社 立体視画像生成装置、立体視画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP2013246052A (ja) * 2012-05-25 2013-12-09 Olympus Corp 距離測定装置
JP2015011058A (ja) * 2013-06-26 2015-01-19 オリンパス株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20200045282A1 (en) 2020-02-06
US10778948B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US8023014B2 (en) Method and apparatus for compensating image sensor lens shading
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
US9160937B2 (en) Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
JP2013093914A (ja) 画像入力装置
JPWO2011132618A1 (ja) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
JP5624808B2 (ja) 撮像装置
JP5464982B2 (ja) 撮像装置および画像処理方法
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
WO2013099917A1 (ja) 撮像装置
US10778948B2 (en) Imaging apparatus and endoscope apparatus
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
US20200314391A1 (en) Imaging apparatus
JPWO2010032720A1 (ja) 画像歪み補正方法及び画像処理装置
JP2007318630A (ja) 画像入力装置、撮像モジュール、及び固体撮像装置
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
WO2018193552A1 (ja) 撮像装置および内視鏡装置
WO2018193546A1 (ja) 撮像装置および内視鏡装置
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
JP2007043312A (ja) 撮影装置
JP5109911B2 (ja) 撮像装置および補間処理方法
JP5054659B2 (ja) 撮像装置
JP4781825B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP