Nothing Special   »   [go: up one dir, main page]

WO2015045785A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2015045785A1
WO2015045785A1 PCT/JP2014/073366 JP2014073366W WO2015045785A1 WO 2015045785 A1 WO2015045785 A1 WO 2015045785A1 JP 2014073366 W JP2014073366 W JP 2014073366W WO 2015045785 A1 WO2015045785 A1 WO 2015045785A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
pixels
signal
control unit
Prior art date
Application number
PCT/JP2014/073366
Other languages
English (en)
French (fr)
Inventor
智行 河合
林　淳司
克俊 井澤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2015539057A priority Critical patent/JP6158340B2/ja
Publication of WO2015045785A1 publication Critical patent/WO2015045785A1/ja
Priority to US15/067,864 priority patent/US9900525B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present invention relates to an image processing device, an imaging device, an image processing method, and an image processing program.
  • a digital camera having a so-called manual focus mode in which a user can manually perform focus adjustment in addition to auto-focus using a phase difference detection method or a contrast detection method is widely known.
  • a method using a split micro prism screen that displays a phase difference visually by providing a reflex mirror so that focus adjustment can be performed while checking a subject is known.
  • a method employing a method for visually confirming contrast is also known.
  • a split image is displayed in a live view image (also referred to as a through image) in order to make it easier for a user (for example, a photographer) to focus on a subject in the manual focus mode.
  • a split image is, for example, a divided image in which a display area is divided into a plurality of parts (for example, each image divided in the vertical direction). In the combined state, it indicates a divided image in which there is no deviation in the parallax generation direction.
  • the user adjusts the focus by operating a manual focus ring (hereinafter referred to as “focus ring”) so that the split image (for example, each image divided in the vertical direction) is not displaced.
  • focus ring a manual focus ring
  • the imaging device described in Patent Literature 1 generates a so-called right eye image and left eye image obtained by subjecting a subject image that has passed through a pair of regions in a photographic lens to pupil division and forming each image. Then, a split image is generated using the right eye image and the left eye image, and a normal image obtained by forming a subject image that has passed through the photographing lens without being divided into pupils is generated. Then, a normal image is displayed on the display unit, and a split image is displayed in the normal image.
  • Patent Document 2 discloses imaging in which all pixels are phase difference pixels having a plurality of photoelectric conversion regions, and image signals are read out independently from the respective photoelectric conversion regions, and image signals of the respective photoelectric conversion regions are added and read out. An apparatus is described.
  • the present invention has been proposed in view of such a situation, and an image processing device, an imaging device, and an image processing capable of securing a split image with a simple configuration even when all pixels are phase difference pixels. It is an object to provide a method and an image processing program.
  • an image processing apparatus is obtained by subjecting a subject image that has passed through first and second regions of an imaging lens to pupil division and forming each image.
  • a first pixel group among a plurality of pixels having an output unit that selectively outputs one of the first image signal, the second image signal, and the third image signal obtained by adding the first and second image signals.
  • the first image signal is read from the pixels selected as the second image signal
  • the second image signal is read from the pixels selected as the second pixel group among the plurality of pixels
  • the third image is selected from the pixels selected as the third pixel group among the plurality of pixels.
  • a control unit for reading out signals is included.
  • a plurality of divided images obtained by dividing the first image based on the first image signal in a predetermined division direction.
  • a generation unit that generates a first display image used for focus confirmation arranged adjacent to the second divided image in the division direction.
  • the generation unit further generates a second display image used for confirming the imaging range based on the third image signal. To do.
  • the plurality of pixels are arranged two-dimensionally, and the control unit Among the plurality of pixels arranged in a dimension, pixels are selected as a first, second, and third pixel group in units of one row.
  • the pixel in the 3n-1 row is selected as the third pixel group, and the pixel in the 3n row is selected as the other of the first and second pixel groups.
  • the control unit sets the exposure time of the pixels of the first and second pixel groups to the third.
  • the exposure time is longer than the exposure time of the pixels in the pixel group.
  • the control unit sets the exposure time of the pixels of the first and second pixel groups to the third. Double the exposure time of the pixels in the pixel group.
  • the pixel selected as the group is selected as the second pixel group in the (k + 1) th frame
  • the pixel selected as the second pixel group in the kth frame is selected as the first pixel group in the (k + 1) th frame
  • the second pixel group is selected in the kth frame.
  • the pixels selected as the three pixel group are selected as the third pixel group in the (k + 1) th frame.
  • control unit controls the first and second pixel groups to be exposed from k frames to k + 1 frames.
  • the pixel value of the pixel of the third pixel group and the first pixel group adjacent to the pixel Based on the comparison result obtained by comparing the pixel values of the pixels, the light attenuation characteristics for the first image based on the first image signal are corrected, and the pixel values of the pixels of the third pixel group and the pixels of the second pixel group adjacent to the pixels
  • a correction unit that corrects the dimming characteristic of the second image based on the second image signal based on the comparison result obtained by comparing the pixel value of the second image signal.
  • An imaging device is an image processing device according to any one of the first to thirteenth aspects of the present invention, an imaging device having a plurality of pixels, and an output from the imaging device. And a storage unit that stores an image generated based on the generated signal.
  • the first image signal is read from the pixel
  • the second image signal is read from the pixel selected as the second pixel group among the plurality of pixels
  • the third image signal is read from the pixel selected as the third pixel group among the plurality of pixels.
  • the image processing program is a first image obtained by the control unit dividing the pupil image that has passed through the first and second regions of the imaging lens and forming each image. Pixels selected as the first pixel group among a plurality of pixels having an output unit that selectively outputs one of the signal, the second image signal, and the third image signal obtained by adding the first and second image signals.
  • the first image signal is read from the pixel
  • the second image signal is read from the pixel selected as the second pixel group among the plurality of pixels
  • the third image signal is read from the pixel selected as the third pixel group among the plurality of pixels.
  • FIG. 6 is a perspective view showing an example of an appearance of an imaging apparatus that is a lens interchangeable camera according to the first to sixth embodiments.
  • FIG. 7 is a rear view showing the back side of the imaging apparatus according to the first to sixth embodiments.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of an imaging apparatus according to first to sixth embodiments.
  • FIG. 6 is a schematic diagram illustrating an example of a configuration of an image sensor according to first to sixth embodiments.
  • 7 is a schematic diagram illustrating an example of an arrangement of pixels in a pixel array according to the first to sixth embodiments.
  • FIG. 6 is a schematic diagram illustrating an example of a configuration of one pixel according to the first to sixth embodiments.
  • FIG. 6 is a schematic diagram illustrating an example of a pixel configuration in an image sensor included in an imaging apparatus according to the first to sixth embodiments.
  • FIG. 6 is a schematic diagram illustrating an example of an electrical configuration of one pixel according to the first to sixth embodiments.
  • FIG. 10 is a schematic configuration diagram illustrating an example of a configuration of a color filter provided in an image sensor included in an imaging apparatus according to the first to sixth embodiments. It is a block diagram which shows an example of the principal part function of the imaging device which concerns on 1st-6th embodiment.
  • FIG. 10 is a schematic diagram for explaining a split image generation method generated by an image processing unit included in the imaging apparatus according to the first to sixth embodiments.
  • FIG. 16 is a screen diagram illustrating an example of a live view image including a split image and a normal image displayed on a first display included in the imaging apparatus according to the first to sixth embodiments. It is a flowchart which shows an example of the flow of the image processing which concerns on 1st Embodiment.
  • FIG. 3 is a schematic diagram illustrating an arrangement example of pixels that function as phase difference pixels and normal pixels in an imaging device included in the imaging device according to the first embodiment, and an arrangement example of color filters assigned to each pixel. It is a schematic diagram which shows the example of arrangement
  • 16 is a time chart showing an example of an exposure time extracted for the 3n ⁇ 2 pixel rows in the image sensor of the imaging apparatus according to the fifth embodiment.
  • FIG. 11 is a schematic diagram showing an example of a split image according to the first to seventh embodiments, which is an example of a split image divided by oblique dividing lines inclined with respect to the row direction.
  • FIG. 11 is a schematic diagram showing an example of a split image according to the first to seventh embodiments, which is an example of a split image divided by a grid-like dividing line.
  • FIG. 12 is a schematic diagram showing an example of a split image formed in a checker pattern, which is a modification of the split image according to the first to seventh embodiments.
  • FIG. 1 is a perspective view illustrating an example of an appearance of the imaging apparatus 100 according to the first embodiment
  • FIG. 2 is a rear view of the imaging apparatus 100 illustrated in FIG.
  • the imaging device 100 is an interchangeable lens camera.
  • the imaging apparatus 100 is a digital camera that includes an imaging apparatus main body 200 and an interchangeable lens 300 that is interchangeably attached to the imaging apparatus main body 200, and a reflex mirror is omitted.
  • the interchangeable lens 300 includes a photographing lens 16 (see FIG. 3) having a focus lens 302 that can be moved in the optical axis direction by a manual operation.
  • the imaging apparatus main body 200 is provided with a hybrid finder (registered trademark) 220.
  • the hybrid viewfinder 220 here refers to a viewfinder in which, for example, an optical viewfinder (hereinafter referred to as “OVF”) and an electronic viewfinder (hereinafter referred to as “EVF”) are selectively used.
  • OPF optical viewfinder
  • EMF electronic viewfinder
  • the interchangeable lens 300 is replaceably attached to the imaging apparatus main body 200.
  • the lens barrel of the interchangeable lens 300 is provided with a focus ring 301 used in the manual focus mode. As the focus ring 301 is manually rotated, the focus lens 302 moves in the optical axis direction, and subject light is imaged on an imaging device 20 (see FIG. 3) described later at a focus position corresponding to the subject distance. .
  • the OVF finder window 241 included in the hybrid finder 220 is provided on the front surface of the imaging apparatus main body 200.
  • a finder switching lever (finder switching unit) 214 is provided on the front surface of the imaging apparatus main body 200. When the viewfinder switching lever 214 is rotated in the direction of the arrow SW, it switches between an optical image that can be viewed with OVF and an electronic image (live view image) that can be viewed with EVF (described later).
  • the optical axis L2 of the OVF is an optical axis different from the optical axis L1 of the interchangeable lens 300.
  • a release button 211 and a dial 212 for setting a shooting mode, a playback mode, and the like are mainly provided on the upper surface of the imaging apparatus main body 200.
  • the release button 211 serving as a photographing preparation instruction unit and a photographing instruction unit is configured to detect a two-stage pressing operation between a photographing preparation instruction state and a photographing instruction state.
  • the shooting preparation instruction state refers to, for example, a state where the image is pressed from the standby position to the intermediate position (half-pressed position), and the shooting instruction state refers to a state where the image is pressed to the final pressed position (full-pressed position) exceeding the intermediate position. Point to.
  • half-pressed state a state where the button is pressed from the standby position to the half-pressed position
  • full-pressed state a state where the button is pressed from the standby position to the fully-pressed position
  • the shooting mode and the playback mode are selectively set as the operation mode in accordance with a user instruction.
  • a manual focus mode and an autofocus mode are selectively set according to a user instruction.
  • the autofocus mode the shooting conditions are adjusted by pressing the release button 211 halfway, and then exposure (shooting) is performed when the release button 211 is fully pressed.
  • the AE Automatic Exposure
  • the AF Automatic-Focus
  • a touch panel display 213 is provided with a touch panel display 213, a cross key 222, a MENU / OK key 224, a BACK / DISP button 225, and an OVF viewfinder eyepiece 242.
  • the touch panel display 213 includes a liquid crystal display (hereinafter referred to as “first display”) 215 and a touch panel 216.
  • the first display 215 displays images and character information.
  • the first display 215 is used to display a live view image (through image) that is an example of a continuous frame image obtained by shooting in a continuous frame in the shooting mode.
  • the first display 215 is also used to display a still image that is an example of a single frame image obtained by shooting a single frame when a still image shooting instruction is given. Further, the first display 215 is also used for displaying a reproduction image and a menu screen in the reproduction mode.
  • the touch panel 216 is a transmissive touch panel and is overlaid on the surface of the display area of the first display 215.
  • the touch panel 216 detects contact with an indicator (for example, a finger or a stylus pen).
  • the touch panel 216 outputs detection result information indicating a detection result (whether or not the indicator touches the touch panel 216) to a predetermined output destination (for example, a CPU 12 described later (see FIG. 3)) at a predetermined cycle (for example, 100 milliseconds). To do.
  • the detection result information includes two-dimensional coordinates (hereinafter referred to as “coordinates”) that can specify the contact position of the indicator on the touch panel 216 when the touch panel 216 detects contact by the indicator. If no contact is detected, no coordinates are included.
  • the cross key 222 functions as a multi-function key for outputting various command signals such as selection of one or a plurality of menus, zooming and frame advancement.
  • the MENU / OK key 224 functions as a menu button for instructing to display one or more menus on the screen of the first display 215, and as an OK button for instructing confirmation and execution of the selection contents. This is an operation key that combines functions.
  • the BACK / DISP button 225 is used for deleting a desired object such as a selection item, canceling a designated content, or returning to the previous operation state.
  • FIG. 3 is an electric system block diagram illustrating an example of a hardware configuration of the imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 includes a mount 256 provided in the imaging apparatus main body 200 and a mount 346 on the interchangeable lens 300 side corresponding to the mount 256.
  • the interchangeable lens 300 is attached to the imaging apparatus main body 200 in a replaceable manner by coupling the mount 346 to the mount 256.
  • the interchangeable lens 300 includes a slide mechanism 303 and a motor 304.
  • the slide mechanism 303 moves the focus lens 302 along the optical axis L1 by operating the focus ring 301.
  • a focus lens 302 is attached to the slide mechanism 303 so as to be slidable along the optical axis L1.
  • a motor 304 is connected to the slide mechanism 303, and the slide mechanism 303 receives the power of the motor 304 and slides the focus lens 302 along the optical axis L1.
  • the motor 304 is connected to the imaging apparatus main body 200 via mounts 256 and 346, and driving is controlled in accordance with a command from the imaging apparatus main body 200.
  • a stepping motor is applied as an example of the motor 304. Accordingly, the motor 304 operates in synchronization with the pulse power in accordance with a command from the imaging apparatus main body 200.
  • FIG. 3 an example in which the motor 304 is provided in the interchangeable lens 300 is illustrated.
  • the present invention is not limited thereto, and the motor 304 may be provided in the imaging apparatus main body 200.
  • the imaging device 100 is a digital camera that records captured still images and moving images, and the operation of the entire camera is controlled by a CPU (central processing unit) 12.
  • the imaging apparatus 100 includes an operation unit 14, an interface unit 24, a primary storage unit 25, a secondary storage unit 26, a speaker 35, an eyepiece detection unit 37, and an external interface (I / F) 39.
  • the imaging apparatus 100 includes an image processing unit 28 that is an example of a generation unit according to the present invention.
  • the CPU 12, the operation unit 14, the interface unit 24, the primary storage unit 25, the secondary storage unit 26, the image processing unit 28, the speaker 35, the display control unit 36, the eyepiece detection unit 37, the external I / F 39, and the touch panel 216 are connected to the bus. 40 are connected to each other.
  • the primary storage unit 25 means a volatile memory, for example, a RAM (Random Access Memory).
  • the secondary storage unit 26 means a non-volatile memory, for example, a flash memory or an HDD (Hard Disk Disk Drive).
  • the CPU 12 performs focusing control by driving and controlling the motor 304 so that the contrast value of the image obtained by imaging is maximized. .
  • the CPU 12 calculates AE information that is a physical quantity indicating the brightness of an image obtained by imaging.
  • the CPU 12 derives the shutter speed and F value corresponding to the brightness of the image indicated by the AE information. Then, the exposure state is set by controlling each related part so that the derived shutter speed and F value are obtained.
  • the operation unit 14 is a user interface operated by the user when giving various instructions to the imaging apparatus 100.
  • the operation unit 14 includes a release button 211, a dial 212 for selecting a shooting mode, a finder switching lever 214, a cross key 222, a MENU / OK key 224, and a BACK / DISP button 225.
  • Various instructions received by the operation unit 14 are output as operation signals to the CPU 12, and the CPU 12 executes processing according to the operation signals input from the operation unit 14.
  • the imaging apparatus main body 200 includes a position detection unit 23.
  • the position detection unit 23 is connected to the CPU 12.
  • the position detection unit 23 is connected to the focus ring 301 via mounts 256 and 346, detects the rotation angle of the focus ring 301, and outputs rotation angle information indicating the rotation angle as a detection result to the CPU 12.
  • the CPU 12 executes processing according to the rotation angle information input from the position detection unit 23.
  • the image light indicating the subject is incident on the light receiving surface of the color image sensor (for example, a CMOS sensor) 20 via the photographing lens 16 including the focus lens 302 that can be moved manually and the shutter 18.
  • the signal charge accumulated in the image sensor 20 is sequentially read out as a digital signal corresponding to the signal charge (voltage) based on the control of the device control unit 22.
  • the image pickup device 20 has a so-called electronic shutter function, and controls the charge accumulation time (shutter speed) of each photosensor according to the timing based on the control of the device control unit 22 by using the electronic shutter function.
  • the image sensor 20 according to the first embodiment is a CMOS image sensor, but is not limited thereto, and may be a CCD image sensor.
  • FIG. 4 is a schematic diagram illustrating an example of the configuration of the image sensor 20 according to the first embodiment.
  • the imaging device 20 of the first embodiment includes a control unit 50, a pixel array 52, a scanning circuit 54, and a signal processing unit 56.
  • the image pickup device 20 includes a micro lens 19 (see FIG. 6) and a color filter 21 (see FIG. 9).
  • FIG. 5 is a schematic diagram showing an example of the arrangement of the pixels 10 in the pixel array 52 according to the first embodiment.
  • the pixel array 52 includes pixels 10 arranged in a two-dimensional manner.
  • “4896 ⁇ 3265” pixels are employed as an example of the number of pixels of the image sensor 20.
  • FIG. 6 is a schematic diagram illustrating an example of the configuration of one pixel 10.
  • the pixel 10 includes a photodiode PDR and a photodiode PDL, which are examples of a photosensor.
  • the pixel 10 is provided with a microlens 19, and the light transmitted through the microlens 19 is Photoelectric conversion is performed by the photodiodes PDL and PDR.
  • the photodiode PDL is provided on the right half of the light receiving surface in the row direction (the right side when the subject faces the light receiving surface (in other words, the left side when the subject faces the light receiving surface)). ing.
  • the photodiode PDL is arranged on the left half in the row direction on the light receiving surface (the left side when the subject faces the light receiving surface (in other words, the right side when the light receiving surface faces the subject)). Is provided.
  • the luminous flux that passes through the exit pupil of the photographing lens 16 is roughly classified into left region passing light and right region passing light.
  • the left region passing light refers to the left half of the light beam passing through the exit pupil of the photographing lens 16
  • the right region passing light is the right half of the light beam passing through the exit pupil of the photographing lens 16.
  • the light beam passing through the exit pupil of the photographic lens 16 is divided into left and right by the microlens 19 functioning as a pupil dividing unit, the photodiode PDL receives the left region passing light, and the photodiode PDR receives the right region passing light. .
  • the subject image corresponding to the left region passing light and the subject image corresponding to the right region passing light are acquired as parallax images (left eye image and right eye image described later) having different parallaxes.
  • FIG. 8 is a schematic diagram showing an example of the electrical configuration of one pixel 10. As shown as an example in FIG. 8, the pixel 10 includes readout electrodes 70 ⁇ / b> L and 70 ⁇ / b> R, a floating diffusion (FD) 72, and a readout switch 74.
  • the pixel 10 includes readout electrodes 70 ⁇ / b> L and 70 ⁇ / b> R, a floating diffusion (FD) 72, and a readout switch 74.
  • FD floating diffusion
  • the readout electrode 70L is connected to the left phase difference pixel photodiode readout selection line TGsel_L, and collects signal charges generated in the photodiode PDL based on the left selection signal flowing through the left phase difference pixel photodiode readout selection line TGsel_L. And function as a gate electrode to be read out.
  • the readout electrode 70R is connected to the right phase difference pixel photodiode readout selection line TGsel_R, and the signal charge generated in the photodiode PDR based on the right selection signal flowing through the right phase difference pixel photodiode readout selection line TGsel_R. It functions as a gate electrode that collects and reads out.
  • the FD 72 has a function of transferring the signal charges read by the read electrodes 70L and 70R and temporarily storing the transferred signal charges.
  • the read switch 74 is connected to the read row selection line Read, and on / off is controlled based on a read signal flowing through the read row selection line Read.
  • the readout switch 74 is connected to the FD 72. When the readout switch 74 is turned on, the readout switch 74 reads out the signal charge stored in the FD 72 and outputs an electrical signal (image signal) that is a digital signal corresponding to the signal charge. 58.
  • the readout electrodes 70L and 70R, the FD 72, and the readout switch 74 function as an output unit of the present invention.
  • the FD 72 is connected to the reset row selection line Reset, and the signal charge remaining in the FD 72 is discharged (reset) based on a reset signal flowing through the reset row selection line Reset.
  • examples of the reset destination of the signal charge of the FD 72 include a ground and a predetermined discharge destination (for example, a predetermined signal line).
  • the left phase difference pixel photodiode readout selection line TGsel_L, the right phase difference pixel photodiode readout selection line TGsel_R, the reset row selection line Reset, and the readout row selection line Read are along the row direction for each row of the pixels 10 in the pixel array 52. Is provided.
  • the scanning circuit 54 includes a left phase difference pixel photodiode read selection line TGsel_L, a right phase difference pixel photodiode read selection line TGsel_R, a reset row selection line Reset, and a read row. Each pixel 10 is connected via a selection line Read.
  • the scanning circuit 54 reads the left phase difference pixel photodiode readout selection line TGsel_L, the right phase difference pixel photodiode, and outputs the left selection signal, the right selection signal, the readout signal, and the reset signal at levels according to the control of the control unit 50, respectively.
  • the selection line TGsel_R, the reset row selection line Reset, and the readout row selection line Read the readout of the electrical signal from the pixel 10 is controlled.
  • the readout signal line 58 is provided along the column direction for each column of the pixels 10 of the pixel array 52.
  • the signal processing unit 56 is connected to each pixel 10 via the readout signal line 58.
  • the electrical signal output from each pixel 10 to the signal processing unit 56 via the readout signal line 58 is temporarily stored (overwritten) in the primary storage unit 25 via the interface unit 24 for each frame.
  • the control unit 50 has a function of controlling the entire image sensor 20 based on the control of the device control unit 22. That is, the control unit 50 has a function of controlling reading of signal charges from the pixels 10 by controlling the scanning circuit 54 and the signal processing unit 56.
  • the device control unit 22 and the control unit 50 function as a control unit of the present invention.
  • the first reading method is a method of reading the signal charge generated in the photodiode PDL.
  • a left selection signal having a level corresponding to ON is applied to the left phase difference pixel photodiode read selection line TGsel_L, and a right selection signal having a level corresponding to OFF is applied to the right phase difference pixel photodiode read selection line TGsel_R.
  • the signal charge is transferred from the readout electrode 70L to the FD 72.
  • a read signal that is an ON signal is applied to the read row selection line Read, the read switch 74 is turned on, and an electrical signal is output from the FD 72 to the read signal line 58.
  • an electrical signal corresponding to the signal charge generated in the photodiode PDL is output to the read signal line 58.
  • a RAW image based on an electric signal output in accordance with a signal charge generated in the photodiode PDL is referred to as a “left eye image”.
  • the signal charge generated in the photodiode PDR is not output to the readout signal line 58, but according to the reset signal flowing through the reset row selection line Reset. It is reset via the FD 72 at a predetermined timing. Therefore, according to the first readout method, the pixel 10 functions as a phase difference pixel (hereinafter referred to as “left phase difference pixel”) for generating a left eye image.
  • a signal having a level corresponding to turning on the left selection signal, the right selection signal, the readout signal, and the reset signal is referred to as an “on signal”.
  • a signal having a level corresponding to turning off the left selection signal, the right selection signal, the readout signal, and the reset signal is referred to as an “off signal”.
  • the second reading method is a method of reading the signal charge generated in the photodiode PDR.
  • An on signal is applied to the right phase difference pixel photodiode read selection line TGsel_R, and an off signal is applied to the left phase difference pixel photodiode read selection line TGsel_L to transfer the signal charge from the read electrode 70R to the FD 72.
  • an on signal is applied to the read row selection line Read to turn on the read switch 74, and an electric signal is output from the FD 72 to the read signal line 58. In this way, an electrical signal corresponding to the signal charge generated in the photodiode PDR is output to the read signal line 58.
  • a RAW image based on an electric signal output in accordance with a signal charge generated in the photodiode PDR is referred to as a “right eye image”.
  • the signal charge generated in the photodiode PDL is not output to the read signal line 58, but according to the reset signal flowing through the reset row selection line Reset. It is reset via the FD 72 at a predetermined timing. Therefore, according to the second readout method, the pixel 10 functions as a phase difference pixel (hereinafter referred to as “right phase difference pixel”) for generating a right eye image.
  • the electrical signal corresponding to the signal charge generated in each of the photodiodes PDL and PDR is an example of the first image signal and the second image signal according to the present invention.
  • the third reading method is a method of reading signal charges generated in the photodiodes PDL and PDR.
  • An ON signal is applied to the left phase difference pixel photodiode readout selection line TGsel_L and the right phase difference pixel photodiode readout selection line TGsel_R, and signal charges are transferred from the readout electrodes 70L and 70R to the FD 72, respectively.
  • the signal charges transferred from the readout electrodes 70L and 70R are accumulated and added.
  • an on signal is applied to the read row selection line Read to turn on the read switch 74, and an electric signal is output from the FD 72 to the read signal line 58.
  • an electric signal corresponding to the signal charge obtained by adding the signal charges generated in the photodiodes PDL and PDR is output to the read signal line 58.
  • a RAW image based on an electrical signal output in accordance with a signal charge obtained by adding signal charges generated in the photodiodes PDL and PDR will be referred to as a “normal image”. Therefore, according to the third readout method, the pixel 10 functions as a pixel other than the phase difference pixel (hereinafter referred to as “normal pixel”).
  • the electric signal output according to the signal charge obtained by adding the signal charges generated in the photodiodes PDL and PDR is an example of the third image signal according to the present invention.
  • phase difference pixels when there is no need to distinguish between the left eye image, the right eye image, and the normal image obtained at the same shooting timing, they are referred to as “frames”. Further, when there is no need to distinguish between the right phase difference pixel and the left phase difference pixel, they are referred to as “phase difference pixels”. Similarly, hereinafter, when it is not necessary to distinguish between the left eye image and the right eye image, they are referred to as “phase difference images”.
  • the image sensor 20 includes a color filter 21 shown in FIG. 9 as an example.
  • the color filter 21 includes a G filter G corresponding to G (green) that contributes most to obtain a luminance signal, an R filter R corresponding to R (red), and a B filter corresponding to B (blue).
  • Each pixel 10 of the image sensor 20 is assigned one of the filters “R”, “G”, and “B” included in the color filter 21.
  • a G filter, an R filter, and a B filter are provided with a predetermined periodicity in each of the row direction (horizontal direction) and the column direction (vertical direction) for each pixel 10 of the pixel array 52 shown in FIG. Has been placed.
  • the color filter 21 has a color and arrangement called a Bayer array in which the G filter is used twice as much as the R filter and the B filter. Therefore, the imaging apparatus 100 can perform processing according to a repetitive pattern when performing synchronization (interpolation) processing of R, G, and B signals.
  • the synchronization process is a process for calculating all color information for each pixel from a mosaic image corresponding to a color filter array of a single-plate color image sensor.
  • the synchronization process means a process for calculating color information of all RGB for each pixel from a mosaic image made of RGB.
  • the imaging device 20 outputs a left eye image (digital signal indicating a pixel value) from the left phase difference pixel, and outputs a right eye image (digital signal indicating the pixel value) from the right phase difference pixel. . Further, the image sensor 20 outputs a normal image (digital signal indicating a pixel value) from the normal pixel.
  • the normal image output from the normal pixels is a chromatic image, and is, for example, a color image having the same color array as the normal pixel array.
  • the frame output from the image sensor 20 is temporarily stored (overwritten) in a RAW image storage area (not shown) of the primary storage unit 25 via the interface unit 24.
  • the image processing unit 28 performs various image processing on the frames stored in the primary storage unit 25.
  • the image processing unit 28 is realized by an ASIC (Application Specific Integrated Circuit) which is an integrated circuit in which a plurality of functions related to image processing are integrated into one.
  • ASIC Application Specific Integrated Circuit
  • the hardware configuration is not limited to this, and may be, for example, a programmable logic device or another hardware configuration such as a computer including a CPU, a ROM, and a RAM.
  • Encoder 34 converts the input signal into a signal of another format and outputs it.
  • the hybrid finder 220 includes a liquid crystal display (hereinafter referred to as “second display”) 247 that displays an electronic image.
  • the display control unit 36 is connected to the first display 215 and the second display 247.
  • the display control unit 36 selectively displays the image on the first display 215 and the second display 247 by selectively controlling the first display 215 and the second display 247 in accordance with an instruction from the CPU 12.
  • the first display 215 and the second display 247 are referred to as “display devices” when it is not necessary to distinguish between them.
  • the imaging apparatus 100 is configured to be able to switch between a manual focus mode and an autofocus mode by a dial 212 (focus mode switching unit).
  • the display control unit 36 causes the display device to display a live view image obtained by combining the split images.
  • the CPU 12 operates as a phase difference detection unit and an automatic focus adjustment unit.
  • the phase difference detection unit detects a phase difference between the first image output from the first pixel group and the second image output from the second pixel group.
  • the automatic focus adjustment unit controls the motor 304 from the device control unit 22 via the mounts 256 and 346 so that the defocus amount of the focus lens 302 is zero based on the detected phase difference, and controls the focus lens 302. Move to the in-focus position.
  • defocus amount refers to, for example, the amount of phase shift between the first image and the second image.
  • the eyepiece detection unit 37 detects that a user (for example, a photographer) has looked into the viewfinder eyepiece unit 242 and outputs the detection result to the CPU 12. Therefore, the CPU 12 can grasp whether or not the finder eyepiece unit 242 is used based on the detection result of the eyepiece detection unit 37.
  • the external I / F 39 is connected to a communication network such as a LAN (Local Area Network) or the Internet, and controls transmission / reception of various information between the external device (for example, a printer) and the CPU 12 via the communication network. Therefore, when a printer is connected as an external device, the imaging apparatus 100 can output a captured still image to the printer for printing. Further, when a display is connected as an external device, the imaging apparatus 100 can output and display a captured still image or live view image on the display.
  • a communication network such as a LAN (Local Area Network) or the Internet
  • FIG. 10 is a functional block diagram illustrating an example of main functions of the imaging apparatus 100 according to the first embodiment.
  • symbol is attached
  • the normal processing unit 30 and the split image processing unit 32 each have a WB gain unit, a gamma correction unit, and a synchronization processing unit (not shown), and the original digital signal (RAW image) temporarily stored in the primary storage unit 25.
  • Each processing unit sequentially performs signal processing. That is, the WB gain unit executes white balance (WB) by adjusting the gains of the R, G, and B signals.
  • the gamma correction unit performs gamma correction on each of the R, G, and B signals that have been subjected to WB by the WB gain unit.
  • the synchronization processing unit performs color interpolation processing corresponding to the color filter array of the image sensor 20, and generates synchronized R, G, B signals.
  • the normal processing unit 30 and the split image processing unit 32 perform image processing on the RAW image in parallel every time a RAW image for one screen is acquired by the image sensor 20.
  • the normal processing unit 30 selects the pixel 10 that functions as a normal pixel among the pixels 10 that function as phase difference pixels.
  • a chromatic color normal image is generated by interpolating with peripheral pixels of the same color (for example, adjacent G pixels).
  • the normal processing unit 30 outputs the generated image data of the normal image for recording to the encoder 34.
  • the R, G, and B signals processed by the normal processing unit 30 are converted (encoded) into recording signals by the encoder 34 and recorded in the recording unit 41.
  • the normal image for display processed by the normal processing unit 30 is output to the display control unit 36.
  • the display normal image is an example of a second display image according to the present invention.
  • the split image processing unit 32 extracts a phase difference image of the pixel 10 functioning as a phase difference pixel from the RAW image once stored in the primary storage unit 25, and generates a chromatic color split image.
  • the split image is an image in which a display left-eye image and a display right-eye image are arranged adjacent to each other in a predetermined direction (here, a direction orthogonal to the parallax generation direction).
  • the display left eye image is a partial image of four divided images obtained by dividing the left eye image into four in a predetermined direction (in the example shown in FIG. 11, the first and third images from the front view).
  • Divided image The display right-eye image is a divided image extracted from four divided images obtained by dividing the right-eye image into four in a predetermined direction with respect to a divided region adjacent to the divided region corresponding to the display left-eye image (see FIG. 11). In the example shown, it indicates the second and fourth divided images from the front view).
  • the split image is an example of a first display image according to the present invention.
  • the split image is displayed in a rectangular frame at the center of the screen of the display device, and a normal image is displayed in the outer peripheral area of the split image.
  • a split image in which two display right-eye images and two display left-eye images are alternately arranged in a predetermined direction is shown.
  • the left eye image for display and the right eye image for display included in the split image are shifted in the parallax generation direction according to the in-focus state.
  • a state in which a person is in focus with respect to a peripheral area (for example, a tree) and a person is not in focus is illustrated.
  • display parallax images when it is not necessary to distinguish between the display left-eye image and the display right-eye image, they are referred to as “display parallax images”.
  • the split image is combined with the normal image by fitting the split image in place of a part of the normal image.
  • the present invention is not limited to this. It is also possible to use a synthesis method in which a split image is superimposed on the image.
  • a combining method may be used in which the transmittance of a part of the normal image on which the split image is superimposed and the split image are appropriately adjusted and superimposed.
  • the hybrid finder 220 includes an OVF 240 and an EVF 248.
  • the OVF 240 is an inverse Galileo finder having an objective lens 244 and an eyepiece 246, and the EVF 248 has a second display 247, a prism 245, and an eyepiece 246.
  • a liquid crystal shutter 243 is disposed in front of the objective lens 244, and the liquid crystal shutter 243 shields light so that an optical image does not enter the objective lens 244 when the EVF 248 is used.
  • the prism 245 reflects the electronic image or various information displayed on the second display 247 and guides it to the eyepiece 246, and also displays the optical image and information (electronic image and various information) displayed on the second display 247. And synthesize.
  • an OVF mode in which an optical image can be visually recognized by the OVF 240 and an electronic image can be visually recognized by the EVF 248 each time it is rotated.
  • the EVF mode is switched alternately.
  • the display control unit 36 controls the liquid crystal shutter 243 to be in a non-light-shielded state so that an optical image can be visually recognized from the eyepiece unit. Further, only the split image is displayed on the second display 247. Thereby, a finder image in which a split image is superimposed on a part of the optical image can be displayed.
  • the display control unit 36 controls the liquid crystal shutter 243 to be in a light shielding state so that only the electronic image displayed on the second display 247 can be visually recognized from the eyepiece unit.
  • the second display 247 receives image data equivalent to the image data obtained by combining the split images output to the first display 215. Accordingly, the second display 247 can display an electronic image in which the split image is combined with a part of the normal image, like the first display 215.
  • image processing executed by the imaging apparatus 100 includes signal reading processing for reading signal charges (electrical signals) from each pixel of the image sensor 20, and image generation processing for generating a normal image and a split image based on the read electric signals. Including.
  • the image processing shown in FIG. 13 is performed in the manual focus mode, and the signal reading processing is performed by the control unit 50 based on the control of the device control unit 22 and the device control unit 22.
  • the image generation process is performed by the image processing unit 28.
  • step 400 the device control unit 22 determines whether or not to display a live view image.
  • the determination is negative, and the process proceeds to step 402.
  • step 402 an image signal is read with all the pixels 10 as normal pixels.
  • the device control unit 22 outputs to the control unit 50 a control signal for reading an image signal with all the pixels 10 as normal pixels.
  • the control unit 50 sequentially supplies the left phase difference pixel photodiode readout selection line TGsel_L and the right phase difference pixel photodiode readout selection line TGsel_R via the scanning circuit 54 so as to turn on the readout electrodes 70L and 70R of all the pixels 10.
  • the left selection signal and the right selection signal are output.
  • the control unit 50 sequentially outputs readout signals to the readout row selection line Read via the scanning circuit 54 so that the readout switches 74 of all the pixels 10 are turned on.
  • signal charges generated in the photodiodes PDL and PDR of each pixel 10 are sequentially transferred to the FD 72 and output from the FD 72 to the readout signal line 58. .
  • the image processing unit 28 In the next step 404, the image processing unit 28 generates a normal image based on the signal charge read out by the normal processing unit 30 and outputs it to at least one of the display control unit 36 and the encoder 34. The image processing ends.
  • step 400 determines whether an instruction or setting for displaying a live view image is made in step 400. If an instruction or setting for displaying a live view image is made in step 400, the determination is affirmed and the process proceeds to step 406.
  • the device control unit 22 outputs to the control unit 50 a control signal for reading out an image signal for generating a split image and a normal image, which is used for displaying a live view image.
  • step 406 the control unit 50 outputs an electric signal (image signal) corresponding to the signal charge generated in the photodiode PDL of the first pixel group by the pixels 10 in the 3n-2 (n is a natural number of 1 or more) row. read out. Further, the control unit 50 reads out an electric signal (image signal) corresponding to the signal charge generated in the photodiode PDR of the second pixel group by the pixels 10 in the 3n-th row. Further, the control unit 50 reads out an electrical signal (image signal) corresponding to the signal charge generated in the photodiodes PDL and PDR of the third pixel group by the pixels 10 in the 3n ⁇ 1th row.
  • the left phase difference pixel photodiode readout selection line TGsel_L, the right phase difference pixel photodiode readout selection line TGsel_R, the readout row selection line Read, and the reset row selection line Reset are the rows of the pixels 10. Since it is provided for each, the control unit 50 selects any one of the first pixel group, the second pixel group, and the third pixel group in units of pixel rows.
  • the control unit 50 selects, as an example, the pixel 10 that functions as the left phase difference pixel as the first pixel group.
  • FIG. 14 shows an arrangement example of the phase difference pixels and the pixels 10 functioning as normal pixels in the imaging device 20 included in the imaging apparatus 100 according to the first embodiment, and an arrangement example of the color filter assigned to each pixel 10.
  • the schematic diagram shown is shown.
  • the pixels 10 in the 3n ⁇ 2 (1, 4, 7, 10...) Row are selected as the first pixel group as shown in FIG. 14 and FIGS. 15 to 17 used in the following description, for convenience of explanation, the photodiodes PDL and PDR of each pixel 10 are hatched to represent the color of the color filter 21 corresponding to each pixel 10. Show.
  • the pixel 10 functioning as the left phase difference pixel hatches the color of the color filter 21 only on the photodiode PDL, and the pixel 10 functioning as the right phase difference pixel only applies the color of the color filter 21 on the photodiode PDR. The figure is shown with hatching.
  • control unit 50 sequentially outputs an ON signal to the left phase difference pixel photodiode read selection line TGsel_L in the 3n-2 (1, 4, 7, 10...) Row via the scanning circuit 54. Then, the signal charge generated in the photodiode PDL is transferred from the readout electrode 70L to the FD 72. At this time, the control unit 50 sequentially outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_R in the 3n-2th row via the scanning circuit 54, so that the signal charge generated in the photodiode PDR is read. Not issued.
  • FIG. 15 illustrates an extracted pixel 10 selected as the first pixel group by the control unit 50.
  • the color filters corresponding to the pixels 10 selected as the first pixel group are in a Bayer array, like the color filters 21.
  • control unit 50 selects the pixel 10 that functions as the right phase difference pixel as the second pixel group.
  • the pixels 10 in the 3n (3, 6, 9, 12,%) Rows are selected as the second pixel group as shown in FIG.
  • control unit 50 sequentially outputs an on signal to the right phase difference pixel photodiode readout selection line TGsel_R in the 3n (3, 6, 9, 12,.
  • the signal charge generated in the diode PDR is transferred from the readout electrode 70R to the FD 72.
  • control unit 50 sequentially outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_L in the 3n-th row via the scanning circuit 54, the signal charge generated in the photodiode PDL is not read out. .
  • FIG. 16 illustrates the extracted pixels 10 selected as the second pixel group by the control unit 50.
  • the color filters corresponding to the pixels 10 selected as the first pixel group are in a Bayer array, like the color filters 21.
  • control unit 50 selects a plurality of pixels 10 that function as normal pixels as the third pixel group.
  • the pixels 10 in the 3n-1 (2, 5, 8, 11,...) Rows are selected as the third pixel group as shown in FIG.
  • the control unit 50 scans the left phase difference pixel photodiode readout selection line TGsel_L and the right phase difference pixel photodiode readout selection line TGsel_R in the 3n-1 (2, 5, 8, 11...) Row.
  • the ON signal is sequentially output via the circuit 54 to transfer the signal charges generated in the photodiodes PDL and PDR from the read electrodes 70L and 70R to the FD 72.
  • the control unit 50 sequentially outputs an ON signal to the 3n-1 read row selection line Read via the scanning circuit 54 to turn on the read switch 74, so that the signal read from the FD 72 is output.
  • An electric signal corresponding to the electric charge is output to the read signal line 58.
  • FIG. 17 illustrates the pixel 10 selected as the third pixel group by the control unit 50 extracted. As shown in FIG. 17, the color filters corresponding to the pixels 10 selected as the first pixel group are in a Bayer array, like the color filters 21.
  • the image processing unit 28 In the next step 408, the image processing unit 28 generates a left eye image and a right eye image based on the image signals read from the first pixel group and the second pixel group, and stores the parallax image in the primary storage unit 25. Store (overwrite) in an area (not shown).
  • the image processing unit 28 causes the split image processing unit 32 to generate a split image based on the left eye image and the right eye image. Further, the image processing unit 28 generates a normal image based on the image signal read from the third pixel group by the normal processing unit 30. Then, after the generated split image and normal image are output to the display control unit 36, the main image processing is terminated.
  • the display control unit 36 causes the display device to continuously display the normal image as a moving image, and continuously displays the split image as a moving image within the display area of the normal image. Control to display. In response, the display device displays a live view image as shown in FIG.
  • each pixel 10 of the imaging device 20 includes the photodiodes PDL and PDR.
  • the image sensor 20 includes a color filter 21 arranged in a Bayer array.
  • the pixel 10 in the row is selected as the third pixel group.
  • the pixels 10 of the first pixel group function as left phase difference pixels, and signal charges generated in the photodiode PDL are read out by the readout electrodes 70L, FD72, and readout under the control of the device control unit 22 and the control unit 50.
  • An electrical signal (image signal) is read out to the readout signal line 58 via the switch 74.
  • the pixel 10 of the second pixel group functions as a right phase difference pixel, and the device control unit 2 2 and the control of the control unit 50, the signal charge generated in the photodiode PDR is read as an electrical signal (image signal) to the read signal line 58 via the read electrodes 70R, FD72, and the read switch 74.
  • the pixels 10 in the third pixel group function as normal pixels, and signal charges generated in the photodiodes PDL and PDR are added under the control of the device control unit 22 and the control unit 50, and read electrodes 70L and 70R are added.
  • the FD 72, and the readout switch 74, the readout signal line 58 reads out the electrical signal (image signal).
  • the image processing unit 28 generates a left eye image and a right eye image based on the image signals read from the first pixel group and the second pixel group, and further generates a split image based on the left eye image and the right eye image. Generate.
  • all pixels are phase difference pixels as compared with the case where the imaging device 20 is configured to be able to read signal charges independently from both the photodiodes PDL and PDR.
  • the split image can be secured with a simple configuration.
  • the imaging apparatus 100 since the imaging apparatus 100 includes the color filters 21 arranged in the Bayer arrangement, the color filters corresponding to the phase difference pixels and the normal pixels can be arranged in the Bayer arrangement.
  • the control unit 50 selects the pixels 10 in the 3n ⁇ 2th row as the first pixel group, selects the pixels 10 in the 3nth row as the second pixel group, and 3n ⁇ Although the pixels 10 in the first row are selected as the third pixel group, the present invention is not limited to this.
  • the control unit 50 selects the pixels 10 in the 3n-th row as the first pixel group, selects the pixels 10 in the 3n-2-th row as the second pixel group, and selects the pixels 10 in the 3n-1-th row. You may select as a 3rd pixel group.
  • pixels 10 are extracted for each pixel group, there is no particular limitation as long as the corresponding color filter array is a Bayer array.
  • each process included in the image processing described in the first embodiment may be realized by a software configuration using a computer by executing a program, or by a combination of a hardware configuration and a software configuration. It may be realized.
  • Each process included in the image output process described in the first embodiment may be realized by a hardware configuration such as an ASIC or a programmable logic device, or by a combination of a hardware configuration and a software configuration. Also good.
  • the program may be stored in a predetermined storage area (for example, the secondary storage unit 26) in advance.
  • a program may first be stored in an arbitrary portable storage medium such as an SSD (Solid State Drive) connected to a computer, a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card. Good. Then, the computer may acquire the program from these portable storage media and execute it.
  • the program may be stored in another computer or server device connected to the computer via the Internet, a LAN (Local Area Network), or the like, and the computer may acquire and execute the program from these. .
  • the CPU 12 executes an image output processing program so that the image processing is performed in the imaging apparatus 100. do it.
  • the image processing program refers to, for example, a program having each step of the image processing shown in FIG.
  • the image processing program only needs to be stored in the secondary storage unit 26, and the CPU 12 reads out the image processing program from the secondary storage unit 26 and develops it in the primary storage unit 25, and each step of the image processing shown in FIG. These processes may be executed in order.
  • the CPU 12 functions as an example of the control unit of the present invention.
  • the imaging device 100 described in the first embodiment may have a function of confirming the depth of field (depth of field confirmation function).
  • the imaging apparatus 100 has a depth-of-field confirmation key.
  • the depth-of-field confirmation key may be a hard key or a soft key.
  • a momentary operation type switch non-holding type switch
  • the momentary operation type switch mentioned here refers to a switch that maintains a specific operation state in the imaging apparatus 100 only while being pushed into a predetermined position, for example.
  • the aperture value is changed.
  • the aperture value continues to change until reaching the limit value.
  • the aperture value changes, and thus there may be a case where the phase difference necessary for obtaining the split image cannot be obtained.
  • the split image may be changed to the normal live view display while the split image is being pressed.
  • the CPU 12 may switch the screen so that the split image is displayed again when the pressed state is released.
  • a momentary operation type switch is applied as an example of the depth of field confirmation key.
  • the present invention is not limited to this, and an alternative operation type switch (holding type switch) may be applied.
  • the imaging device 100A according to the second embodiment differs from the imaging device 100 according to the first embodiment in the pixels 10 selected as the first, second, and third pixel groups by the control unit 50.
  • FIG. 18 illustrates an arrangement example of the pixels 10 that function as phase difference pixels and normal pixels in the image sensor 20 included in the imaging device 100A in the second embodiment, and an arrangement example of the color filter 21 assigned to each pixel 10. The schematic diagram shown is shown.
  • the control unit 50 selects the pixels 10 on the 3n-2th row as the first pixel group, and selects the 3n-th row.
  • the pixels 10 are selected as the second pixel group, and the pixels 10 in the 3n-1th row are selected as the third pixel group.
  • control unit 50 selects the pixel 10 in the 3n-2 row and the 3m-2 column as a first pixel group that functions as the left-eye phase difference pixel, and the pixel in the 3n row and the 3m-2 column 10 is selected as the second pixel group that functions as the right-eye phase difference pixel, and the pixel 10 in the 3n ⁇ 1 row and the 3m ⁇ 2 column is selected as the third pixel group that functions as the normal pixel.
  • the control unit 50 When the control unit 50 reads signal charges from each pixel 10 of the first, second, and third pixel groups selected by being thinned out in units of pixel columns, it is preferable to skip the thinned pixel columns. . In this case, the signal charges accumulated in the pixels 10 not selected in any of the first, second, and third pixel groups may be collectively reset. It should be noted that the signal charges were read sequentially for each pixel column without skipping the thinned pixel column, and the signal processing unit 56 did not select any of the first, second, and third pixel groups. The electrical signal of the readout signal line 58 corresponding to the pixel column may be discarded.
  • the control unit 50 of the second embodiment selects the pixels 10 by thinning them out to 1/3 in units of pixel columns.
  • the pixel density in the horizontal direction (row direction) and the vertical direction (column direction) (the density of the pixels 10 selected as each pixel group). ) Can be made equal. Therefore, the image quality of the split image and the normal image can be improved.
  • control unit 50 selects the pixels 10 in the 3m-2 pixel row as the pixels 10 in the first, second, and third pixel groups, but the present invention is not limited to this. Is not to be done.
  • control unit 50 may select the pixels 10 in the 3m column or the 3m-1 column as the pixels 10 in the first, second, and third pixel groups.
  • the imaging device 100B according to the third embodiment differs from the imaging device 100 according to the first embodiment in the pixels 10 selected as the first, second, and third pixel groups by the control unit 50.
  • FIG. 19 in the third embodiment, an arrangement example of the pixels 10 that function as phase difference pixels and normal pixels in the imaging device 20 included in the imaging device 100 ⁇ / b> B, and an arrangement example of the color filter 21 assigned to each pixel 10. The schematic diagram shown is shown.
  • the control unit 50 selects the pixels 10 on the 3n-2th row as the first pixel group, and selects the 3n-th row.
  • the pixels 10 are selected as the second pixel group, and the pixels 10 in the 3n-1th row are selected as the third pixel group.
  • the control unit 50 reads out the signal charges in a unit of pixel with the pixel 10 in the 3m-2 column and the pixel 10 in the 3m-2 column of the same row as one unit.
  • Signal charges are collectively read from the pixels 10 in the 10th, 13th and 15th columns, and the pixel 10 in the 16th and 18th columns.
  • the signal charges read together are added by the signal processing unit 56 for each unit.
  • signal charges are collectively read from the pixels 10 in different pixel columns.
  • the colors of the corresponding color filters 21 are the same among the pixels 10 to be collected, no problem occurs.
  • the pixel value for each pixel unit is an added value.
  • the pixel value that is the addition value may be used as it is, or an average value may be used.
  • control unit 50 of the third embodiment uses the pixel 10 in the 3m-2 column and the 3m column of the 3n-2th row as one unit as a first pixel group that functions as a left-eye phase difference pixel.
  • Select the second pixel group that functions as the right-eye phase difference pixel with the pixel 10 in the 3m-2 column and the 3m column in the 3n row as one unit, and the 3m-2 column in the 3n-1 row The pixel 10 in the eye and the 3m-th column is selected as a unit and a third pixel group that functions as a normal pixel is selected.
  • the control unit 50 When the control unit 50 reads signal charges from each pixel 10 of the first, second, and third pixel groups selected by being thinned out in units of pixel columns, it is preferable to skip the thinned pixel columns. . In this case, the signal charges accumulated in the pixels 10 not selected in any of the first, second, and third pixel groups may be collectively reset. It should be noted that the signal charges were read sequentially for each pixel column without skipping the thinned pixel column, and the signal processing unit 56 did not select any of the first, second, and third pixel groups. The electrical signal of the readout signal line 58 corresponding to the pixel column may be discarded.
  • the pixels 10 in the 3m-2 column and the 3m column it is preferable to read out signal charges from the pixels 10 in the 3m-2 column and the 3m column at the same timing, but they may be read out sequentially for each pixel column.
  • the pixel columns from which the signal charges are read can be reduced to 1/3. Therefore, it is preferable because reading speed can be improved and power consumption can be suppressed.
  • the control unit 50 of the third embodiment selects the pixels 10 by thinning them out to 2/3 in units of pixel columns.
  • the pixel density in the horizontal direction (row direction) and the vertical direction (column direction) (the density of the pixels 10 selected as each pixel group). ) Can be made equal. Therefore, the image quality of the split image and the normal image can be improved.
  • the SN ratio can be improved.
  • control unit 50 selects the pixels 10 in the 3m-2 column and the 3m column as one unit.
  • the present invention is not limited to this.
  • the control unit 50 may select the pixels 10 in the 3m ⁇ 1 and 3m + 1 columns as one unit. It suffices if the color of the color filter 21 corresponding to the pixels 10 grouped as one unit is the same.
  • the imaging device 100C according to the fourth embodiment differs from the imaging device 100 according to the first embodiment in the control of the exposure time of the pixels 10 by the control unit 50.
  • the exposure time of the phase difference pixel is longer than the exposure time of the normal pixel.
  • the image sensor 20 controls the charge accumulation time (shutter speed) based on the vertical synchronization signal (see FIG. 20) and the horizontal synchronization signal (not shown).
  • the control unit 50 outputs a vertical synchronization signal to the scanning circuit 54. Further, the control unit 50 outputs a horizontal synchronization signal to the signal processing unit 56.
  • FIG. 20 shows a time chart showing an example of the exposure time of the pixel 10 in the fourth embodiment.
  • the charge accumulation time during which signal charges are accumulated in the pixels 10 is used as an example of the exposure time.
  • the exposure time may be a time during which the pixel 10 is irradiated with light (a time during which image light is imaged on the light receiving surface).
  • the upper side of the figure corresponds to the first row of the pixel column in the pixel array 52.
  • signal charges are read sequentially from the first pixel column.
  • the period from timing t0 to t3 corresponds to one frame (first frame).
  • the control unit 50 resets the signal charges of the phase difference pixels (pixels of the first and second pixel groups), and releases the signal charges accumulated in the photodiodes PDL and PDR of the phase difference pixels. More specifically, since it takes time to release the signal charge, the control unit 50 sets the reset row selection line Reset connected to the phase difference pixel, the phase difference pixel left phase difference pixel photodiode read selection line TGsel_L, and An ON signal is output to the right phase difference pixel photodiode read selection line TGsel_R for a predetermined reset time until the timing t1. In addition, the control unit 50 outputs an off signal to the read row selection line Read and resets the read switch 74 during resetting.
  • the control unit 50 completes the reset at the timing t1, and sets the reset row selection line Reset, the left phase difference pixel photodiode readout selection line TGsel_L, and the right phase difference pixel photodiode readout selection line TGsel_R connected to the phase difference pixel. , Outputs an off signal. With this operation, in the phase difference pixel, accumulation of signal charges is started in the photodiodes PDL and PDR from the timing t1.
  • the signal charges of the normal pixels are reset by the control unit 50, and the signal charges accumulated in the photodiodes PDL and PDR of the normal pixels are released. More specifically, since it takes time to release signal charges, the control unit 50 sets the reset row selection line Reset, the left phase difference pixel photodiode readout selection line TGsel_L, and the right phase difference pixel photo connected to the normal pixel. An ON signal is output to the diode read selection line TGsel_R for a predetermined reset time until timing t2. Further, during reset, the control unit 50 outputs an off signal to the readout row selection line Read connected to the normal pixel, and turns off the readout switch 74.
  • the control unit 50 completes the reset at the timing t2, and sets the reset row selection line Reset, the left phase difference pixel photodiode read selection line TGsel_L, and the right phase difference pixel photodiode read selection line TGsel_R connected to the normal pixel, Outputs an off signal. With this operation, in the normal difference pixel, signal charge accumulation is started in the photodiodes PDL and PDR from the timing t2.
  • the control unit 50 ends the accumulation of the signal charge and reads the signal charge from the phase difference pixel and the normal pixel. That is, the control unit 50 reads signal charges from all the pixels 10 at the timing t3. More specifically, the control unit 50 outputs an ON signal to the readout row selection line Read and the left retardation pixel photodiode readout selection line TGsel_L for the pixel row of the left retardation pixel. Further, the control unit 50 outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_R. With this operation, the signal charge accumulated in the photodiode PDL of the left phase difference pixel (pixel of the first pixel group) is read out.
  • control unit 50 outputs an ON signal to the readout row selection line Read and the right retardation pixel photodiode readout selection line TGsel_R for the pixel row of the right phase difference pixel.
  • control unit 50 outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_L. With this operation, the signal charge accumulated in the photodiode PDR of the right phase difference pixel (pixels in the second pixel group) is read out.
  • control unit 50 outputs an ON signal to the readout row selection line Read, the left phase difference pixel photodiode readout selection line TGsel_L, and the right phase difference pixel photodiode readout selection line TGsel_R with respect to the pixel row of the normal pixel. To do. With this operation, signal charges accumulated in the photodiodes PDL and PDR of the normal pixels (pixels in the third pixel group) are read out.
  • the exposure time T LR of the phase difference pixel is timing t1 to t3, and the exposure time T N of the normal pixel is timing t2 to t3. Therefore, the phase difference pixel exposure time T LR is longer than the exposure time T N of the normal pixel.
  • the control unit 50 makes the exposure time TLR of the phase difference pixel longer than the exposure time T N of the normal pixel.
  • the phase difference pixel one of the signal charges of the photodiodes PDL and PDR is read out, and in the normal pixel, the signal charges of both the photodiodes PDL and PDR are read out. Since the area of the photodiode is smaller in the phase difference pixel than in the normal pixel, the amount of signal charge is reduced and the sensitivity is lowered.
  • control unit 50 of the fourth embodiment for longer than the exposure time T N of the normal pixel exposure time T LR of the phase difference pixels long to expose state exposure time T LR of the phase difference pixel
  • the luminance of the pixel value of the phase difference pixel can be improved.
  • the exposure time TLR of the phase difference pixel is twice the exposure time TN of the normal pixel.
  • the imaging device 100D according to the fifth embodiment is different from the imaging device 100 according to the first embodiment in the control of the exposure time of the pixels 10 by the control unit 50.
  • the exposure time of the phase difference pixel is longer than the exposure time of the normal pixel.
  • the basic operation for controlling the exposure time and the charge accumulation time in the image sensor 20 (pixel 10) of the imaging device 100D according to the fifth embodiment includes the same operations as those in the fourth embodiment. Will not be described in detail.
  • FIG. 22 to 24 are time charts showing an example of the exposure time of the pixel 10 in the fifth embodiment.
  • FIG. 22 is a time chart showing an example of the exposure time extracted for the 3n-2 pixel rows.
  • FIG. 23 is a time chart showing an example of the exposure time extracted for the 3n ⁇ 1 pixel row.
  • FIG. 24 is a time chart showing an example of the exposure time extracted for the 3n-th pixel row.
  • the imaging device 20 of the fifth embodiment includes two readout signal lines (readout signal lines 58A and 58B) for each pixel column from which electrical signals are output from the FD 72 of each pixel 10. As illustrated in FIGS. 25 to 28, electrical signals are alternately output to the readout signal lines 58A and 58B for each pixel column. In addition, the electrical signal is alternately output to the readout signal lines 58A and 58B for each pixel row.
  • the photodiodes PDL and PDR that are hatched show a state in which signal charges are accumulated.
  • the photodiodes PDL and PDR that are not hatched accumulate signal charges. Indicates a status that has not been reset (reset or read).
  • the control unit 50 selects the pixels 10 in the 3n-2th row as the first pixel group, selects the pixels 10 in the 3n row as the second pixel group, and sets them as the third pixel group.
  • the pixel 10 in the 3n-1th row is selected.
  • the pixel 10 in the 3n row is selected as the first pixel group
  • the pixel 10 in the 3n-2 row is selected as the second pixel group
  • 3n-1 is selected as the third pixel group.
  • the pixel 10 in the row is selected.
  • the pixel 10 in the 3n-2 row is selected as the first pixel group
  • the pixel 10 in the 3n row is selected as the second pixel group
  • the 3n-1 row is selected as the third pixel group.
  • the eye pixel 10 is selected.
  • the control unit 50 alternately selects the pixels on the 3n ⁇ 2 row and the pixels on the 3n row as the first pixel group and the second pixel group for each frame.
  • the operation of the first frame is performed at timings t0, t2, and t4.
  • the control unit 50 of the image sensor 20 of the fifth embodiment performs control in the first frame from the timing t0.
  • a period corresponding to the first frame of the image sensor 20 is timings t1 to t4. Therefore, in the image sensor 20 of the fifth embodiment, the charge accumulation operation is started from the previous frame.
  • the control unit 50 selects the pixels 10 in the 3n-2th row as the first pixel group that functions as the left phase difference pixel, and applies the photodiode PDL of the left phase difference pixel selected as the first pixel group.
  • the accumulated signal charge is reset. More specifically, the controller 50 resets the reset row selection line Reset and the left phase difference pixel photodiode readout selection line TGsel_L connected to the pixels 10 in the (3n-2) th row in advance until the timing t0.
  • An on signal is output for a time.
  • control unit 50 outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_R and the read row selection line Read connected to the pixels 10 in the 3n ⁇ 2th row while resetting. .
  • the signal charges of the photodiode PDL are reset and the signal charges of the photodiode PDR are accumulated in the pixels 10 in the 3n-2th row.
  • control unit 50 selects the pixel 10 in the 3n-th row as the second pixel group that functions as the right phase difference pixel, and is stored in the photodiode PDR of the right phase difference pixel selected as the second pixel group. Reset the signal charge. More specifically, the control unit 50 applies a reset time predetermined until the timing t0 to the reset row selection line Reset and the right phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the 3n-th row. During this time, an ON signal is output.
  • the control unit 50 outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_L and the read row selection line Read connected to the pixels 10 in the 3n-th row.
  • the signal charge of the photodiode PDR is reset and the signal charge of the photodiode PDL is accumulated.
  • the reset of the phase difference pixel is completed at timing t0, signal charge accumulation is started in the photodiode PDL of the left phase difference pixel and the photodiode PDR of the right phase difference pixel.
  • control unit 50 does not control the pixels 10 in the 3n-2 and 3n-1 rows.
  • the control unit 50 selects the pixels 10 in the 3n ⁇ 1th row as a third pixel group that functions as a normal pixel, and the signal charges accumulated in the photodiodes PDL and PDR of the normal pixels selected as the third pixel group. To reset. More specifically, the control unit 50 includes a reset row selection line Reset, a left phase difference pixel photodiode read selection line TGsel_L, and a right phase difference pixel photodiode read selection line connected to the pixels 10 in the 3n-1 row. An ON signal is output to TGsel_R for a predetermined reset time until timing t0.
  • control unit 50 outputs an off signal to the readout row selection line Read connected to the pixels 10 in the 3n-th row while resetting.
  • the signal charges of the photodiodes PDL and PDR are reset in the pixels 10 in the 3n ⁇ 1th row as shown in FIG.
  • the reset of the normal pixel is completed at timing t2
  • signal charge accumulation is started in the photodiodes PDL and PDR of the normal pixel.
  • the control unit 50 includes the photodiode PDL of the pixel 10 in the 3n-2th row, the photodiode PDL, PDR of the pixel 10 in the 3n-1 row, and the photodiode of the pixel 10 in the 3nth row. Read the signal charge from the PDR. More specifically, the control unit 50 outputs an ON signal to the readout row selection line Read and the left phase difference pixel photodiode readout selection line TGsel_L connected to the pixels 10 in the (3n-2) th rows.
  • control unit 50 outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_R and the reset row selection line Reset connected to the pixels 10 in the 3n-2th row.
  • the signal charges of the photodiode PDL are output to the readout signal line 58A or the readout signal line 58B and the signal charges of the photodiode PDR are accumulated in the pixels 10 in the 3n-2th row. It will be in the state that has been done.
  • control unit 50 outputs an ON signal to the readout row selection line Read and the right phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the 3n-th row.
  • control unit 50 outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_L and the reset row selection line Reset connected to the pixels 10 in the 3n-th row.
  • control unit 50 sends an ON signal to the readout row selection line Read, the left phase difference pixel photodiode readout selection line TGsel_L, and the phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the 3n-1 row. Output.
  • control unit 50 outputs an off signal to the reset row selection line Reset connected to the pixels 10 in the 3n ⁇ 1th row. With this operation, in the pixels 10 in the 3n ⁇ 1th row, as shown in FIG. 27, the signal charges of the photodiodes PDL and PDR are output to the read signal line 58A or the read signal line 58B.
  • the exposure time T R of the exposure time T L and the right phase difference pixels of the left phase difference pixel, timing t0 ⁇ t4 becomes over two frames (astride) exposure is performed, in the fifth embodiment of the imaging device 20, the exposure time T R of the exposure time T L and the right phase difference pixels of the left phase difference pixel is longer than the period corresponding to one frame.
  • the exposure time TN of the normal pixel is the timing t2 to t4.
  • the exposure time T R of the exposure time of the phase difference pixel T L and the right phase difference pixel is longer than the exposure time T N of the normal pixel.
  • the operation of the next frame is performed at timings t3, t5, and t7.
  • the control unit 50 of the image sensor 20 according to the fifth embodiment performs control in the second frame from the timing t3.
  • the period corresponding to the second frame of the image sensor 20 is timings t4 to t7. Therefore, in the image sensor 20 of the fifth embodiment, the charge accumulation operation is started from the previous frame.
  • the control unit 50 selects the pixels 10 in the 3n-2nd row 10 as a second pixel group that functions as a right phase difference pixel.
  • the control unit 50 resets the signal charge accumulated in the photodiode PDR of the right phase difference pixel selected as the second pixel group. More specifically, the control unit 50 resets the reset row selection line Reset and the right phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the (3n-2) -th row in advance until timing t3.
  • An on signal is output for a time.
  • control unit 50 outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_L and the read row selection line Read connected to the pixels 10 in the 3n ⁇ 2th row while resetting. .
  • the signal charge of the photodiode PDR is reset, and the signal charge of the photodiode PDL is accumulated.
  • control unit 50 selects the pixels 10 in the 3n-th row as a first pixel group that functions as a left phase difference pixel.
  • the control unit 50 resets the signal charge accumulated in the photodiode PDL of the left phase difference pixel selected as the first pixel group. More specifically, the control unit 50 applies a reset row selection line Reset and a left phase difference pixel photodiode readout selection line TGsel_L connected to the pixels 10 in the 3n-th row for a predetermined reset time until timing t3.
  • the ON signal is output.
  • control unit 50 outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_R and the read row selection line Read connected to the pixels 10 in the 3n-th row.
  • the signal charge of the photodiode PDL is reset, and the signal charge of the photodiode PDR is accumulated.
  • control unit 50 performs the same operation as the timing t2, and resets the normal pixels in the 3n-1th row.
  • the control unit 50 includes the photodiode PDR of the pixel in the 3n-2th row, the photodiode PDL, PDR of the pixel 10 in the 3n-1 row, and the photodiode PDL of the pixel 10 in the 3n row. Read signal charge from. More specifically, the control unit 50 outputs an ON signal to the readout row selection line Read and the left phase difference pixel photodiode readout selection line TGsel_L connected to the pixels 10 in the 3n-th row.
  • control unit 50 outputs an off signal to the right phase difference pixel photodiode read selection line TGsel_R and the reset row selection line Reset connected to the pixels 10 in the 3n-th row.
  • the signal charge of the photodiode PDL is output to the read signal line 58A or the read signal line 58B, and the signal charge of the photodiode PDR is accumulated. It will remain as it is.
  • control unit 50 outputs an ON signal to the readout row selection line Read and the right phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the 3n-2th row.
  • control unit 50 outputs an off signal to the left phase difference pixel photodiode read selection line TGsel_L and the reset row selection line Reset connected to the pixels 10 in the 3n-2th row.
  • the signal charges of the photodiode PDR are output to the readout signal line 58A or the readout signal line 58B, and the signal charges of the photodiode PDL are accumulated in the pixels 10 in the 3n-2th row. It will be in the state that has been done.
  • control unit 50 sends an ON signal to the readout row selection line Read, the left phase difference pixel photodiode readout selection line TGsel_L, and the phase difference pixel photodiode readout selection line TGsel_R connected to the pixels 10 in the 3n-1 row. Output.
  • control unit 50 outputs an off signal to the reset row selection line Reset connected to the pixels 10 in the 3n ⁇ 1th row. With this operation, in the pixels 10 in the 3n ⁇ 1th row, as shown in FIG. 28, the signal charges of the photodiodes PDL and PDR are output to the read signal line 58A or the read signal line 58B.
  • the exposure time T R of the exposure time T L and the right phase difference pixels of the left phase difference pixel in the second frame, next to the timing t3 ⁇ t7, across two frames (astride) exposure in is performed, the imaging device of the fifth embodiment 20, the exposure time T R of the exposure time T L and the right phase difference pixels of the left phase difference pixel is longer than the period corresponding to one frame.
  • the normal pixel exposure time TN is timings t5 to t7.
  • the exposure time T R of the exposure time of the phase difference pixel T L and the right phase difference pixel is longer than the exposure time T N of the normal pixel.
  • the control unit 50 adds the pixels 10 in the 3n-2 row and the pixels 10 in the 3n row as the first and third pixel groups for each frame. Select alternately. Since the pixels 10 in the same row can function alternately as a left phase difference pixel and a right phase difference pixel for each frame, the phase difference pixel can be exposed over two frames. Therefore, since the exposure time of the phase difference pixel can be made longer, the luminance of the pixel value of the phase difference pixel can be further improved.
  • the left region passing light that has passed through the photographing lens 16 passes through the microlens 19 and enters the photodiode PDL of the pixel 10. However, the left region passing light does not enter the photodiode PDR of the pixel 10.
  • the right region passing light that has passed through the photographing lens 16 passes through the microlens 19 and enters the photodiode PDR of the pixel 10. However, the right region passing light does not enter the photodiode PDL of the pixel 10.
  • the photodiodes of the pixels 10 are separately provided on the left and right sides, and the centers of the left region passing light and the right region passing light are deviated from the optical axis of the photographing lens 16.
  • the dimming characteristics linearly change according to the pixel position in the pupil division direction.
  • the change in the dimming characteristic appears as a change in output in the left eye image and the right eye image.
  • the output in the left and right direction depends on the pixel position. Will change approximately linearly. For example, as illustrated in FIG.
  • the output of the left-eye image is smaller as the pixel position is in the right direction, and the output of the right-eye image is smaller as the pixel position is in the left direction.
  • the substantially linear changes in the left and right outputs of the left eye image and the right eye image have an influence on the image quality of the split image.
  • the image processing unit 28 includes a correction unit 28A as illustrated in FIG. 31 as an example, and corrects the light attenuation characteristics of the phase difference image.
  • the correction unit 28A acquires a frame, and corrects the light reduction characteristics of the phase difference pixel based on the comparison result obtained by comparing the pixel value of the phase difference pixel of the phase difference image with the pixel value of the normal pixel of the normal image.
  • the comparison result derived by the correction unit 28A may be derived using an arithmetic expression or may be derived using a table.
  • the correction unit 28A of the sixth embodiment calculates the ratio of the pixel value of the left phase difference pixel to the pixel value of the normal pixel as a ratio of the normal pixel and the left phase difference pixel, and calculates the calculated ratio. Is used as the gain of the left phase difference pixel to correct the dimming characteristic. Further, as an example, the correction unit 28A of the sixth embodiment calculates the ratio of the pixel value of the right phase difference pixel to the pixel value of the normal pixel as a ratio of the normal pixel and the right phase difference pixel, and calculates the calculated ratio. Is used as the gain of the right phase difference pixel to correct the dimming characteristic.
  • the dimming characteristics appear in the right eye image and the left eye image, for example, because the center of the light beam passing through the pair of regions in the photographing lens 16 is deviated from the lens optical axis.
  • the correction of the dimming characteristic refers to a correction for correcting the dimming characteristic appearing in the display left-eye image and the display right-eye image as shown in FIG. 34 as an example.
  • image processing performed by the image processing unit 28 will be described as an operation of the imaging apparatus 100E according to the sixth embodiment.
  • the imaging device 100E according to the sixth embodiment differs from the imaging device 100 according to the first embodiment in the image processing that is executed.
  • Image processing executed by the imaging apparatus 100E according to the sixth embodiment includes correction processing for correcting the dimming characteristics.
  • FIG. 32 shows a flowchart as an example of the flow of image processing according to the sixth embodiment. Since the processes in steps 400 to 408 are the same as the image processes in the first embodiment, detailed description thereof is omitted.
  • the control unit 50 when a live view image is displayed, the control unit 50 performs the first processing by the pixels 10 in the 3n ⁇ 2 (n is a natural number of 1 or more) row by the processing in step 406.
  • the electric signal corresponding to the signal charge generated in the photodiode PDL of the pixel group is read out. Further, the control unit 50 reads out an electric signal corresponding to the signal charge generated in the photodiode PDR of the second pixel group by the pixels 10 in the 3n-th row. In addition, the control unit 50 reads out an electrical signal corresponding to the signal charges generated in the photodiodes PDL and PDR of the third pixel group by the pixels 10 in the 3n ⁇ 1th row.
  • the image processing unit 28 generates a left eye image and a right eye image based on the image signals read from the first pixel group and the second pixel group, and the primary storage unit 25. Are stored (overwritten) in the parallax image storage area (not shown).
  • the process proceeds to step 412.
  • step 412 the image processing unit 28 generates a normal image based on the image signal read from the third pixel group, and stores (overwrites) it in the parallax image storage area (not shown) of the primary storage unit 25.
  • FIG. 33 shows a flowchart as an example of the flow of correction processing executed by the correction unit 28A.
  • step 450 the correction unit 28A acquires a frame from the parallax image storage area of the primary storage unit 25.
  • the correction unit 28A sets a region of interest.
  • the correction unit 28A according to the sixth embodiment divides the phase difference image and the normal image into a plurality of attention areas, and corrects the dimming characteristics for each of the divided attention areas.
  • one attention area for correcting the dimming characteristic is set from the plurality of divided attention areas.
  • the size and number of attention areas may be determined in advance according to the processing speed and characteristics of the imaging device 100E.
  • the correction unit 28A calculates the ratio between the normal pixel and the left phase difference pixel.
  • the correction unit 28A of the sixth embodiment corrects the light attenuation characteristic using a normal pixel adjacent to the left phase difference pixel.
  • the correction unit 28 ⁇ / b> A corrects the dimming characteristics using one left phase difference pixel selected from the attention area and a normal pixel adjacent in the row direction. For example, in the example illustrated in FIG. 14, the ratio between the normal pixel in the fifth row and third column and the left phase difference pixel in the fourth row and third column is calculated. Since the control unit 50 selects the first, second, and third pixel groups for each pixel row, the normal pixels adjacent to the left phase difference pixel are adjacent in the column direction.
  • step 456 the correction unit 28A determines whether or not the ratio has been calculated for all the left phase difference pixels in the region of interest. If the left phase difference pixel for which the ratio has not yet been calculated in step 454 remains in the region of interest, a negative determination is made and the process proceeds to step 458. In step 458, after selecting the next left phase difference pixel, the process returns to step 454, and the processing of step 454 and step 456 is repeated.
  • step 456 when the ratio is calculated in step 456 for all the left phase difference pixels in the region of interest in step 454, the determination is affirmative and the process proceeds to step 460.
  • step 460 the correction unit 28A averages the calculated ratios to calculate an average value.
  • the correction unit 28A corrects the pixel value of the left phase difference pixel in the region of interest based on the average value calculated in step 460.
  • correction is performed by multiplying the pixel value of each left phase difference pixel in the attention area by the average value calculated in step 460 as a gain. This correction corrects the dimming characteristic of the left phase difference pixel in the attention area (so-called shading correction is performed).
  • the pixel value of the left phase difference pixel whose light attenuation characteristic has been corrected is temporarily stored (overwritten) in a parallax image storage area (not shown) of the primary storage unit 25.
  • the correction of the dimming characteristics is performed similarly for the right phase difference pixels in the attention area. To do.
  • the correction unit 28A calculates the ratio between the normal pixel and the right phase difference pixel.
  • the correction unit 28A according to the sixth embodiment corrects the light attenuation characteristic using a normal pixel adjacent to the right phase difference pixel.
  • the correction unit 28 ⁇ / b> A corrects the dimming characteristics using one right phase difference pixel selected from the attention area and a normal pixel adjacent in the row direction. For example, in the example illustrated in FIG. 14, the ratio between the normal pixel in the second row and third column and the right phase difference pixel in the third row and third column is calculated. Since the control unit 50 selects the first, second, and third pixel groups for each pixel row, the normal pixels adjacent to the right phase difference pixel are adjacent in the column direction.
  • step 466 the correction unit 28A determines whether or not the ratio has been calculated for all the right phase difference pixels in the region of interest. If the right phase difference pixel for which the ratio has not yet been calculated in step 464 remains in the attention area, a negative determination is made and the process proceeds to step 468. In step 468, after selecting the next right phase difference pixel, the process returns to step 464, and the processing of step 464 and step 466 is repeated.
  • step 466 when the ratio is calculated in step 466 for all the left phase difference pixels in the attention area in step 464, the determination is affirmative and the process proceeds to step 470.
  • step 470 the correction unit 28A averages the calculated ratios to calculate an average value.
  • the correction unit 28A corrects the pixel value of the right phase difference pixel in the region of interest based on the average value calculated in step 470.
  • correction is performed by multiplying the pixel value of each right phase difference pixel in the region of interest by the average value calculated in step 460 as a gain. This correction corrects the dimming characteristic of the right phase difference pixel in the region of interest (so-called shading correction is performed).
  • the pixel value of the right phase difference pixel whose light attenuation characteristic is corrected is temporarily stored (overwritten) in a parallax image storage area (not shown) of the primary storage unit 25.
  • the correction unit 28A determines whether or not the processes in steps 452 to 472 have been completed for all the attention areas. If there is a region of interest that has not yet been subjected to the processes in steps 452 to 472, the process returns to step 452, and the processes in steps 452 to 472 are repeated. On the other hand, when the processes in steps 452 to 472 have been completed for all the attention areas, the correction of the light attenuation characteristics has been completed for all the phase difference pixels, so this correction process is terminated and the process proceeds to step 416 of the image processing. To do.
  • the image processing unit 28 causes the split image processing unit 32 to generate a split image based on the left eye image and the right eye image. Since the right eye image and the left eye image in the state in which the dimming characteristic is corrected are stored in the parallax image storage area of the primary storage unit 25 by the correction process, the split image processing unit 32 is stored in the primary storage unit 25. A split image is generated based on the right eye image and the left eye image stored in the parallax image storage area.
  • the image processing unit 28 stores (overwrites) the split image generated in step 416 and the parallax image storage area (not shown) of the primary storage unit 25 generated in step 412.
  • the image processing ends.
  • the display control unit 36 causes the display device to continuously display the normal image as a moving image, and continuously displays the split image as a moving image within the display area of the normal image. Control to display. In response, the display device displays a live view image as shown in FIG.
  • the photographer can confirm the in-focus state by the split image displayed on the display device.
  • the focus shift amount (defocus amount) can be made zero by operating the focus ring 301.
  • the linear brightness change of the image is reduced.
  • the image processing unit 28 includes the correction unit 28A.
  • the correction unit 28A calculates the ratio between the pixel value of the normal pixel and the pixel value of the phase difference pixel, and corrects the pixel value of each phase difference pixel value using the calculated ratio as a gain.
  • a live view image including the split image can be displayed on the display device.
  • the correction unit 28A of the sixth embodiment corrects the light attenuation characteristic using the normal pixel adjacent to the phase difference pixel, the correction accuracy is higher than that in the case of using the normal pixel located far away. Can be improved.
  • the correction of the dimming characteristic of the phase difference pixel is performed using the ratio of the pixel value of the phase difference pixel to the pixel value of the normal pixel. It is not a thing.
  • the correction unit 28A may correct the light reduction characteristics of the phase difference pixels using the difference between the pixel value of the normal pixel and the pixel value of the phase difference pixel. Note that, as in the sixth embodiment, the use of the ratio of the pixel value of the phase difference pixel to the pixel value of the normal pixel can appropriately correct the dimming characteristics compared to the case of using the difference. Therefore, it is preferable.
  • the imaging devices 100, 100A, 100B, 100C, 100D, and 100E are illustrated.
  • a mobile terminal device that is a modification of the imaging devices 100, 100A, 100B, 100C, 100D, and 100E, for example, a camera Examples thereof include mobile phones and smartphones having functions.
  • PDA Personal Digital Assistants
  • a portable game machine etc. are mentioned.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 35 is a perspective view showing an example of the appearance of the smartphone 500.
  • a smartphone 500 illustrated in FIG. 35 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541. Note that the configuration of the housing 502 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent may be employed, or a configuration having a folding structure or a slide structure may be employed.
  • FIG. 36 is a block diagram showing an example of the configuration of the smartphone 500 shown in FIG.
  • the main components of the smartphone 500 include a wireless communication unit 510, a display input unit 520, a communication unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output. Part 560.
  • the smartphone 500 includes a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • GPS Global Positioning System
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 is a so-called touch panel, and includes a display panel 521 and an operation panel 522. For this reason, the display input unit 520 displays images (still images and moving images), character information, and the like visually by controlling the main control unit 501, and visually transmits information to the user. Is detected. Note that when viewing the generated 3D, the display panel 521 is preferably a 3D display panel.
  • the display panel 521 uses an LCD, OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the communication unit 530 includes a speaker 531 and a microphone 532.
  • the communication unit 530 converts the user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501. Further, the communication unit 530 decodes the audio data received by the wireless communication unit 510 or the external input / output unit 560 and outputs it from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the surface on which the display input unit 520 is provided, and the microphone 532 can be mounted on the lower front portion of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the lower front portion of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released.
  • This is a push button type switch.
  • the storage unit 550 stores the control program and control data of the main control unit 501, application software, address data that associates the name and telephone number of the communication partner, and transmitted / received e-mail data.
  • the storage unit 550 stores Web data downloaded by Web browsing and downloaded content data.
  • the storage unit 550 temporarily stores streaming data and the like.
  • the storage unit 550 includes an external storage unit 552 having an internal storage unit 551 built in the smartphone and a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 is realized using a storage medium such as a flash memory type (hard memory type) or a hard disk type (hard disk type).
  • multimedia card micro type multimedia card micro type
  • card type memory for example, MicroSD (registered trademark) memory
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and is used to connect directly or indirectly to other external devices through communication or the like or a network. is there. Examples of communication with other external devices include universal serial bus (USB), IEEE 1394, and the like. Examples of the network include the Internet, wireless LAN, Bluetooth (Bluetooth (registered trademark)), RFID (Radio Frequency Identification), and infrared communication (Infrared Data Association: IrDA (registered trademark)). Other examples of the network include UWB (Ultra Wideband (registered trademark)) and ZigBee (registered trademark).
  • Examples of the external device connected to the smartphone 500 include a wired / wireless headset, wired / wireless external charger, wired / wireless data port, and a memory card connected via a card socket.
  • Other examples of external devices include SIM (Subscriber Identity Module Card) / UIM (User Identity Module Card) cards, and external audio / video devices connected via audio / video I / O (Input / Output) terminals. Can be mentioned.
  • an external audio / video device that is wirelessly connected can be used.
  • the external input / output unit 560 transmits data received from such an external device to each component inside the smartphone 500, or allows the data inside the smartphone 500 to be transmitted to the external device. Can do.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 500 Detect the position consisting of longitude and altitude.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes a triaxial acceleration sensor, for example, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 displays an icon for starting application software, a soft key such as a scroll bar, or a window for creating an e-mail.
  • a soft key such as a scroll bar
  • the scroll bar refers to a soft key for accepting an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or, by executing the operation detection control, the main control unit 501 accepts a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the soft key is provided.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that takes an image using an imaging element such as a CMOS or a CCD, and has the same function as the imaging device 100 shown in FIG.
  • the camera unit 541 can switch between a manual focus mode and an autofocus mode.
  • the photographing lens of the camera unit 541 can be focused by operating a focus icon button or the like displayed on the operation unit 540 or the display input unit 520.
  • a live view image obtained by combining the split images is displayed on the display panel 521 so that the in-focus state during manual focus can be confirmed.
  • the camera unit 541 converts image data obtained by shooting into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501.
  • the converted image data can be recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510.
  • the smartphone 500 shown in FIG. 36 the camera unit 541 is mounted on the same surface as the display input unit 520.
  • the mounting position of the camera unit 541 is not limited to this, and the camera unit 541 may be mounted on the back surface of the display input unit 520.
  • a plurality of camera units 541 may be mounted. Note that when a plurality of camera units 541 are mounted, the camera unit 541 used for shooting may be switched to shoot alone, or a plurality of camera units 541 may be used for shooting simultaneously. it can.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • various kinds of information can be added to still image or moving image data and recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510.
  • the “various information” herein include, for example, position information acquired by the GPS receiving unit 570 and image information of the still image or moving image, audio information acquired by the microphone 532 (sound text conversion by the main control unit or the like). May be text information).
  • posture information acquired by the motion sensor unit 580 may be used.
  • the split image divided in the vertical direction is exemplified.
  • the present invention is not limited to this, and an image divided into a plurality of horizontal and diagonal directions may be applied as the split image.
  • the split image 66a shown in FIG. 37 is divided into odd and even lines by a plurality of dividing lines 63a parallel to the row direction.
  • a line-like (eg, strip-like) phase difference image 66La generated based on the output signal outputted from the first pixel group is displayed on an odd line (even an even line is acceptable).
  • a line-shaped (eg, strip-shaped) phase difference image 66Ra generated based on the output signal output from the second pixel group is displayed on even lines.
  • the split image 66b shown in FIG. 38 is divided into two by a dividing line 63b (for example, a diagonal line of the split image 66b) having an inclination angle in the row direction.
  • a dividing line 63b for example, a diagonal line of the split image 66b
  • the phase difference image 66Lb generated based on the output signal output from the first pixel group is displayed in one area.
  • the phase difference image 66Rb generated based on the output signal output from the second pixel group is displayed in the other region.
  • the split image 66c shown in FIGS. 39A and 39B is divided by grid-like dividing lines 63c parallel to the row direction and the column direction, respectively.
  • the phase difference image 66Lc generated based on the output signal output from the first pixel group is displayed in a checker pattern.
  • the phase difference image 66Rc generated based on the output signal output from the second pixel group is displayed in a checker pattern.
  • another in-focus confirmation image may be generated from the two phase difference images, and the in-focus confirmation image may be displayed.
  • two phase difference images may be superimposed and displayed as a composite image. If the image is out of focus, the image may be displayed as a double image, and the image may be clearly displayed when the image is in focus.
  • the display control unit 36 may be configured to suppress continuous display as a moving image of a normal image on the display device and to perform control for continuously displaying a split image as a moving image on the display device.
  • “suppressing the display of a normal image” refers to not displaying a normal image on a display device, for example.
  • the normal image is not displayed on the display device by not outputting the normal image to the display device, or the normal image is not displayed on the display device by not generating the normal image.
  • the split image may be displayed using the entire screen of the display device, or as an example, the split image may be displayed using the entire split image display area shown in FIG.
  • the “split image” is an image output from the phase difference pixel group (for example, from the first image and the second pixel group output from the first pixel group) when a specific image sensor is used. A split image based on the output second image) can be exemplified.
  • Examples of “when using a specific image sensor” include a case where an image sensor consisting of only a phase difference pixel group (for example, a first pixel group and a second pixel group) is used. In addition to this, a case where an image sensor in which phase difference pixels (for example, a first pixel group and a second pixel group) are arranged at a predetermined ratio with respect to a normal pixel can be exemplified.
  • various conditions are conceivable as conditions for displaying the split image while suppressing the display of the normal image.
  • the display control unit 36 performs control to display the split image without displaying the normal image on the display device. It may be. Further, for example, when the photographer looks into the hybrid viewfinder, the display control unit 36 may perform control to display the split image without displaying the normal image on the display device. Further, for example, when the release button 211 is pressed halfway, the display control unit 36 may perform control to display a split image without displaying a normal image on the display device.
  • the display control unit 36 may perform control to display the split image without displaying the normal image on the display device. Further, for example, when the face detection function for detecting the face of the subject is activated, the display control unit 36 may perform control to display the split image without displaying the normal image on the display device.
  • the display control unit 36 suppresses the display of the normal image.
  • the present invention is not limited to this.
  • the display control unit 36 displays the split image of the full screen over the normal image. You may control.
  • imaging lens 20 16 imaging lens 20 imaging device 22 device control unit 28 image processing unit 50 control unit 100, 100A, 100B, 100C, 100D, 100E imaging device

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Theoretical Computer Science (AREA)

Abstract

　本発明は、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。撮像素子（２０）の各画素（１０）は、フォトダイオード（ＰＤＬ、ＰＤＲ）を備えている。また、撮像素子（２０）は、ベイヤ配列されたカラーフィルタ（２１）を備えている。制御部（５０）は、３ｎ（ｎ＝０以上の整数）行目の画素（１０）を左位相差画素として機能する第１の画素群として選択してフォトダイオード（ＰＤＬ）で発生した信号電荷を読み出し、３ｎ＋２行目の画素（１０）を右位相差画素として機能する第２の画素群として選択してフォトダイオード（ＰＤＲ）で発生した信号電荷を読み出し、３ｎ＋１行目の画素（１０）を通常画素として機能する第３の画素群として選択してフォトダイオード（ＰＤＬ，ＰＤＲ）で発生した信号電荷を加算して読み出す。

Description

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
　本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
　デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。
　マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。
　ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため、位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。
　そこで、近年では、マニュアルフォーカスモード時にユーザ（例えば撮影者）が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。
　ここで、特許文献１に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献１に記載の撮像装置は、撮影レンズにおける一対の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる所謂右眼画像及び左眼画像を生成する。そして、右眼画像及び左眼画像を用いてスプリットイメージを生成し、かつ、撮影レンズを透過した被写体像が瞳分割されずに結像されることにより得られる通常画像を生成する。そして、表示部に通常画像を表示し、且つ、通常画像内にスプリットイメージを表示する。
　ところで、右眼画像の生成には、撮影レンズの射出瞳を通過した右領域通過光を受光する位相差画素から出力された画像信号が用いられる。また、左眼画像の生成には、撮影レンズの射出瞳を通過した左領域通過光を受光する位相差画素から出力された画像信号が用いられる。特許文献２には、全画素を複数の光電変換領域を備えた位相差画素として、各光電変換領域から独立して画像信号を読み出し、また、各光電変換領域の画像信号を加算して読み出す撮像装置が記載されている。
特開２００９－１４７６６５号公報 特開２０１３－１１０６０７号公報
　しかしながら特許文献２に記載の技術では、全画素を複数の光電変換領域を備えた位相差画素として、各光電変換領域から独立して画像信号を読み出すため、撮像素子、特に画素の構造が複雑化する懸念がある。
　本発明は、このような実情を鑑みて提案されたものであり、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
　上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として選択した画素から第３画像信号を読み出す制御部を含む。
　本発明の第２の態様に係る画像処理装置では、本発明の第１の態様において、第１画像信号に基づく第１画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１分割画像と、第２画像信号に基づく第２画像を分割方向に分割することにより得た複数の分割画像から第１分割画像に対応する分割領域と隣接する分割領域に対応する第２分割画像とを分割方向に隣接させて配置した合焦確認に使用する第１表示用画像を生成する生成部を更に含む。
　本発明の第３の態様に係る画像処理装置では、本発明の第２の態様において、生成部は、第３画像信号に基づいて、撮像範囲の確認に使用する第２表示用画像を更に生成する。
　本発明の第４の態様に係る画像処理装置では、本発明の第１の態様から第３の態様のいずれかにおいて、複数の画素は、二次元状に配列されており、制御部は、二次元状に配列された複数の画素のうち、１行単位で画素を、第１、第２、及び第３画素群として選択する。
　本発明の第５の態様に係る画像処理装置では、本発明の第４の態様において、複数の画素には、三原色のカラーフィルタがベイヤ配列されており、制御部は、３ｎ－２（ｎ＝１以上の自然数）行目の画素、３ｎ－１行目の画素、及び３ｎ行目の画素、のいずれかをそれぞれ第１、第２、及び第３画素群として選択する。
　本発明の第６の態様に係る画像処理装置では、本発明の第５の態様において、制御部は、３ｎ－２（ｎ＝１以上の自然数）行目の画素を第１及び第２画素群のいずれか一方として選択し、３ｎ－１行目の画素を第３画素群として選択し、３ｎ行目の画素を第１及び第２画素群の他方として選択する。
　本発明の第７の態様に係る画像処理装置では、本発明の第４の態様から第６の態様のいずれかにおいて、制御部は、さらに、３ｍ－２（ｍ＝１以上の自然数）列目の画素を第１、第２、及び第３画素群として選択する。
　本発明の第８の態様に係る画像処理装置では、本発明の第４の態様から第６の態様のいずれかにおいて、制御部は、３ｍ－２（ｍ＝１以上の自然数）及び３ｍ列目の同一行の画素を１画素単位とした画素単位で第１、第２、及び第３画素群として選択する。
　本発明の第９の態様に係る画像処理装置では、本発明の第１の態様から第８の態様のいずれかにおいて、制御部は、第１及び第２画素群の画素の露光時間を第３画素群の画素の露光時間よりも長くする。
　本発明の第１０の態様に係る画像処理装置では、本発明の第１の態様から第９の態様のいずれかにおいて、制御部は、第１及び第２画素群の画素の露光時間を第３画素群の画素の露光時間の倍にする。
　本発明の第１１の態様に係る画像処理装置では、本発明の第１の態様から第１０の態様のいずれかにおいて、制御部は、ｋ（ｋ＝１以上の自然数）フレーム目で第１画素群として選択した画素をｋ＋１フレーム目では、第２画素群として選択し、ｋフレーム目で第２画素群として選択した画素をｋ＋１フレーム目では、第１画素群として選択し、ｋフレーム目で第３画素群として選択した画素をｋ＋１フレーム目では、第３画素群として選択する。
　本発明の第１２の態様に係る画像処理装置では、本発明の第１１の態様において、制御部は、第１及び第２画素群がｋフレームからｋ＋１フレームにわたって露光されるように制御する。
　本発明の第１３の態様に係る画像処理装置では、本発明の第１の態様から第１２の態様のいずれかにおいて、第３画素群の画素の画素値と画素に隣接する第１画素群の画素の画素値とを比較した比較結果に基づいて第１画像信号に基づく第１画像に対する減光特性を補正し、第３画素群の画素の画素値と画素に隣接する第２画素群の画素の画素値とを比較した比較結果に基づいて第２画像信号に基づく第２画像に対する減光特性を補正する補正部を更に含む。
　本発明の第１４の態様に係る撮像装置は、本発明の第１の態様から第１３の態様の何れか１態様である画像処理装置と、複数の画素を有する撮像素子と、撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、を含む。
　本発明の第１５の態様に係る画像処理方法は、制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として選択した画素から第３画像信号を読み出すことを含む。
　本発明の第１６の態様に係る画像処理プログラムは、制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から第１画像信号を読み出し、複数の画素のうち第２画素群として選択した画素から第２画像信号を読み出し、複数の画素のうち第３画素群として選択した画素から第３画像信号を読み出すことを含む処理をコンピュータに実行させるためのものである。
　本発明によれば、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる、という効果が得られる。
第１～第６実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１～第６実施形態に係る撮像装置の背面側を示す背面図である。 第１～第６実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１～第６実施形態に係る撮像素子の構成の一例を示す概略図である。 第１～第６実施形態に係る画素アレイにおける画素の配列の一例を示す概略図である。 第１～第６実施形態に係る１つの画素の構成の一例を示した概略図である。 第１～第６実施形態に係る撮像装置に含まれる撮像素子における画素の構成の一例を示す模式図である。 第１～第６実施形態に係る１つの画素の電気的構成の一例を示した概略図である。 第１～第６実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの構成の一例を示す概略構成図である。 第１～第６実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 第１～第６実施形態に係る撮像装置に含まれる画像処理部によって生成されるスプリットイメージの生成方法の説明に供する模式図である。 第１～第６実施形態に係る撮像装置に含まれる第１ディスプレイに表示されたスプリットイメージ及び通常画像を含むライブビュー画像の一例を示す画面図である。 第１実施形態に係る画像処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第１の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第２の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第１実施形態に係る撮像装置に含まれる撮像素子における第３の画素群として選択された画素、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第２実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第３実施形態に係る撮像装置に含まれる撮像素子における位相差画素及び通常画素として機能させる画素の配置、及び各画素に割り当てられたカラーフィルタの配置例を示す模式図である。 第４実施形態に係る撮像装置の撮像素子における画素の露光時間の一例を示すタイムチャートである。 第４実施形態に係る撮像装置の撮像素子における画素の露光時間のその他の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子における３ｎ－２行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子におけ３ｎ－１行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子におけ３ｎ行目の画素行について抽出した露光時間の一例を示すタイムチャートである。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 第５実施形態に係る撮像装置の撮像素子おける画素から信号電荷を読み出す読み出し動作を説明するための模式図である。 左領域通過光及び右領域通過光による減光特性の原理（フォトダイオードＰＤＬ，ＰＤＲの各々に入射する光束の経路の一例）の説明に供する説明図である。 瞳分割方向の線形的な減光特性が左眼画像及び右眼画像の各々における瞳分割方向に相当する方向の各画素の出力に与える影響の一例を示すグラフである。 第６実施形態に係る撮像装置の本発明に係る要部機能の一例を示すブロック図である。 第６実施形態に係る画像処理の流れの一例を示すフローチャートである。 第６実施形態に係る画像処理における補正処理の流れの一例を示すフローチャートである。 補正前後の表示用左眼画像及び表示用右眼画像が受ける減光特性の影響の一例を示す概念図である。 第７実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第７実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１～第７実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１～第７実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である 第１～第７実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１～第７実施形態に係るスプリットイメージの変形例であって、チェッカーパターン状に形成されたスプリットイメージの一例を示す模式図である。
　以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。
　［第１実施形態］
　図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。
　撮像装置１００は、レンズ交換式カメラである。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図３参照）を含む。また、撮像装置本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。
　交換レンズ３００は、撮像装置本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。
　撮像装置本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、撮像装置本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、撮像装置本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。
　撮影準備指示部及び撮影指示部としてのレリーズボタン２１１は、撮影準備指示状態と撮影指示状態との２段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
　本第１実施形態に係る撮像装置１００では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure）機能が働いて露出状態が設定された後、ＡＦ（Auto-Focus）機能が働いて合焦制御され、レリーズボタン２１１を全押し状態にすると撮影が行われる。
　図２に示す撮像装置本体２００の背面には、タッチパネル・ディスプレイ２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５、及びＯＶＦのファインダー接眼部２４２が設けられている。
　タッチパネル・ディスプレイ２１３は、液晶ディスプレイ（以下、「第１ディスプレイ」という）２１５及びタッチパネル２１６を備えている。
　第１ディスプレイ２１５は、画像及び文字情報等を表示する。第１ディスプレイ２１５は、撮影モード時に連続フレームで撮影されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ２１５は、静止画撮影の指示が与えられた場合に単一フレームで撮影されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ２１５は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
　タッチパネル２１６は、透過型のタッチパネルであり、第１ディスプレイ２１５の表示領域の表面に重ねられている。タッチパネル２１６は、指示体（例えば、指又はスタイラスペン）による接触を検知する。タッチパネル２１６は、検知結果（タッチパネル２１６に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で所定の出力先（例えば、後述のＣＰＵ１２（図３参照））に出力する。検知結果情報は、タッチパネル２１６が指示体による接触を検知した場合、タッチパネル２１６上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル２１６が指示体による接触を検知していない場合、座標を含まない。
　十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、第１ディスプレイ２１５の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。
　図３は、第１実施形態に係る撮像装置１００のハードウェア構成の一例を示す電気系ブロック図である。
　撮像装置１００は、撮像装置本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることにより撮像装置本体２００に交換可能に装着される。
　交換レンズ３００は、スライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１に沿って移動させる。スライド機構３０３には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１に沿ってスライドさせる。
　モータ３０４は、マウント２５６，３４６を介して撮像装置本体２００に接続されており、撮像装置本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、撮像装置本体２００からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ３０４が交換レンズ３００に設けられている例が示されているが、これに限らず、モータ３０４は撮像装置本体２００に設けられていてもよい。
　撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、スピーカ３５、接眼検出部３７、及び外部インタフェース（Ｉ／Ｆ）３９を含む。また、撮像装置１００は、本発明に係る生成部の一例である画像処理部２８を含む。
　ＣＰＵ１２、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、画像処理部２８、スピーカ３５、表示制御部３６、接眼検出部３７、外部Ｉ／Ｆ３９、及びタッチパネル２１６は、バス４０を介して相互に接続されている。
　一次記憶部２５とは、揮発性のメモリを意味し、例えばＲＡＭ（Random Access Memory）を指す。二次記憶部２６とは、不揮発性のメモリを意味し、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）を指す。
　なお、本第１実施形態に係る撮像装置１００では、オートフォーカスモード時に、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ３０４を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズボタン２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。
　操作部１４は、撮像装置１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル２１２、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。
　撮像装置本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。
　撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２の制御に基づいて信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、デバイス制御部２２の制御に基づいたタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。
　本第１実施形態に係る撮像素子２０について更に詳細に説明する。図４は、本第１実施形態に係る撮像素子２０の構成の一例を示す概略図である。本第１実施形態の撮像素子２０は、一例として図４に示すように、制御部５０と、画素アレイ５２と、走査回路５４と、信号処理部５６と、を備えている。また、撮像素子２０は、マイクロレンズ１９（図６参照）及びカラーフィルタ２１（図９参照）を備えている。
　図５は、本第１実施形態に係る画素アレイ５２における画素１０の配列の一例を示す概略図である。図５に示した一例のように、画素アレイ５２は、画素１０が二次元状に配列されている。なお、図５に示す例では、撮像素子２０の画素数の一例として“４８９６×３２６５”画素を採用している。
　画素アレイ５２を構成する画素１０について詳細に説明する。図６は、１つの画素１０の構成の一例を示した概略図である。図６に示すように、画素１０は、フォトセンサの一例であるフォトダイオードＰＤＲ及びフォトダイオードＰＤＬを備えている。また、画素１０には、マイクロレンズ１９が設けられており、マイクロレンズ１９を透過した光は、
フォトダイオードＰＤＬ，ＰＤＲにより光電変換される。フォトダイオードＰＤＬは、図７に一例として示すように、受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））に設けられている。また、フォトダイオードＰＤＬは、図７に一例として示すように、受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））に設けられている。
　撮影レンズ１６の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ１６の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９により左右に分割され、フォトダイオードＰＤＬが左領域通過光を受光し、フォトダイオードＰＤＲが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像（後述する左眼画像及び右眼画像）として取得される。
　また、図８は、１つの画素１０の電気的構成の一例を示した概略図である。図８に一例として示したように、画素１０は、読み出し電極７０Ｌ，７０Ｒ、フローティングディフュージョン（ＦＤ）７２、及び読み出しスイッチ７４を備える。
　読み出し電極７０Ｌは、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに接続されており、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌを流れる左選択信号に基づいて、フォトダイオードＰＤＬで発生した信号電荷を収集して読み出すゲート電極として機能を有する。
　また、読み出し電極７０Ｒは、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに接続されており、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒを流れる右選択信号に基づいて、フォトダイオードＰＤＲで発生した信号電荷を収集して読み出すゲート電極として機能を有する。
　ＦＤ７２には、読み出し電極７０Ｌ，７０Ｒにより読み出された信号電荷が転送され、転送された信号電荷を一時的に蓄積する機能を有する。読み出しスイッチ７４は、読み出し行選択線Ｒｅａｄに接続されており、読み出し行選択線Ｒｅａｄを流れる読み出し信号に基づいて、オン／オフが制御される。また、読み出しスイッチ７４は、ＦＤ７２に接続されており、オン状態になると、ＦＤ７２に蓄積された信号電荷を読み出して当該信号電荷に応じたデジタル信号である電気信号（画像信号）を、読み出し信号線５８に出力する。読み出し電極７０Ｌ、７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４が本発明の出力部として機能する。
　また、ＦＤ７２は、リセット行選択線Ｒｅｓｅｔに接続されており、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に基づいて、ＦＤ７２に残存する信号電荷が排出（リセット）される。本第１実施形態では、ＦＤ７２の信号電荷のリセット先の一例として、グランドや、所定の排出先（例えば、所定の信号線等）等が挙げられる。
　左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄは、画素アレイ５２の画素１０の行毎に行方向に沿って設けられている。本第１実施形態では、図４に示したように走査回路５４が、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄを介して各画素
１０に接続されている。走査回路５４は、制御部５０の制御に応じたレベルの、左選択信号、右選択信号、読み出し信号、及びリセット信号をそれぞれ左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、リセット行選択線Ｒｅｓｅｔ、及び読み出し行選択線Ｒｅａｄに印加することにより、画素１０からの電気信号の読み出しを制御する。
　一方、読み出し信号線５８は、画素アレイ５２の画素１０の列毎に列方向に沿って設けられている。本第１実施形態では、図５に示したように、信号処理部５６が読み出し信号線５８を介して各画素１０に接続されている。読み出し信号線５８を介して各画素１０から信号処理部５６に出力された電気信号は、フレーム毎に、インタフェース部２４を介して一次記憶部２５に一時記憶（上書き保存）される。
　制御部５０は、デバイス制御部２２の制御に基づいて撮像素子２０全体を制御する機能を有している。すなわち、制御部５０は、走査回路５４及び信号処理部５６を制御することにより、画素１０からの信号電荷の読み出しを制御する機能を有している。デバイス制御部２２及び制御部５０が、本発明の制御部として機能する。
　本第１実施形態の撮像素子２０において、画素１０から信号電荷を読み出す方法は、以下に説明する３通りの読み出し方法が挙げられる。
　第１の読み出し方法は、フォトダイオードＰＤＬで発生した信号電荷を読み出す方法である。左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌにオンに対応するレベルの左選択信号を印加し、また、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオフに対応するレベルの右選択信号を印加して、読み出し電極７０Ｌから信号電荷をＦＤ７２へ転送する。また、読み出し行選択線Ｒｅａｄにオン信号である読み出し信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＬで発生した信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「左眼画像」と称する。なお、本第１実施形態の撮像素子２０ではこのように読み出す際は、フォトダイオードＰＤＲで発生した信号電荷は、読み出し信号線５８に出力されず、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に応じた所定のタイミングで、ＦＤ７２を介してリセットされる。従って、第１の読み出し方法によれば、画素１０は、左眼画像を生成するための位相差画素（以下、「左位相差画素」という）として機能する。
　なお、以下では、左選択信号、右選択信号、読み出し信号、及びリセット信号のオンに対応するレベルの信号を「オン信号」と称する。また、左選択信号、右選択信号、読み出し信号、及びリセット信号のオフに対応するレベルの信号を「オフ信号」と称する。
　第２の読み出し方法は、フォトダイオードＰＤＲで発生した信号電荷を読み出す方法である。右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオン信号を印加し、また、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌにオフ信号を印加して、読み出し電極７０Ｒから信号電荷をＦＤ７２へ転送する。また、読み出し行選択線Ｒｅａｄにオン信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＲで発生した信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「右眼画像」と称する。なお、本第１実施形態の撮像素子２０ではこのように読み出す際は、フォトダイオードＰＤＬで発生した信号電荷は、読み出し信号線５８に出力されず、リセット行選択線Ｒｅｓｅｔを流れるリセット信号に応じた所定のタイミングで、ＦＤ７２を介してリセットされる。従って、第２の読み出し方法によれば、画素１０は、右眼画像を生成するための位相差画素（以下、「右位相差画素」という）として機能する。フォトダイオードＰＤＬ及びＰＤＲの各々で発生した信号電荷に応じた電気信号は、本発明に係る第１画像信号及び第２画像信号の一例である。
　第３の読み出し方法は、フォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷を読み出す方法である。左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒにオン信号を印加して、読み出し電極７０Ｌ，７０Ｒ各々から信号電荷をＦＤ７２へ転送する。ＦＤ７２には、読み出し電極７０Ｌ，７０Ｒから転送された信号電荷が加算された状態で蓄積される。また、読み出し行選択線Ｒｅａｄにオン信号を印加して、読み出しスイッチ７４をオン状態にしてＦＤ７２から読み出し信号線５８へ電気信号を出力する。このようにしてフォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じた電気信号が読み出し信号線５８に出力される。以下ではフォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じて出力された電気信号に基づくＲＡＷ画像を「通常画像」と称する。従って、第３の読み出し方法によれば、画素１０は、位相差画素以外の画素（以下、「通常画素」という）として機能する。フォトダイオードＰＤＬ，ＰＤＲの各々で発生した信号電荷が加算された信号電荷に応じて出力された電気信号は、本発明に係る第３画像信号の一例である。
　なお、以下では、同一の撮影タイミングで得られた左眼画像、右眼画像、及び通常画像を区別して説明する必要がない場合、「フレーム」と称する。また、右位相差画素と左位相差画素とを区別して説明する必要がない場合は「位相差画素」と称する。同様に、以下では、左眼画像及び右眼画像を区別して説明する必要がない場合、「位相差画像」と称する。
　撮像素子２０は、一例として図９に示すカラーフィルタ２１を備えている。カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタＧ、Ｒ（赤）に対応するＲフィルタＲ及びＢ（青）に対応するＢフィルタを含む。撮像素子２０の各画素１０には、カラーフィルタ２１に含まれる“Ｒ”、“Ｇ”及び“Ｂ”の何れかのフィルタが割り当てられている。
　カラーフィルタ２１は、図５に示した画素アレイ５２の各画素１０に対してＧフィルタ、Ｒフィルタ及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に所定の周期性で配置されている。具体的には、カラーフィルタ２１は、ＧフィルタがＲフィルタやＢフィルタの２倍使われているベイヤ配列と呼ばれる色と配置になっている。そのため、撮像装置１００は、Ｒ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
　図３に戻って、撮像素子２０は、左位相差画素から左眼画像（画素値を示すデジタル信号）を出力し、右位相差画素から右眼画像（画素値を示すデジタル信号）を出力する。また、撮像素子２０は、通常画素から通常画像（画素値を示すデジタル信号）を出力する。なお、通常画素から出力される通常画像は有彩色画像であり、例えば、通常画素の配列と同じカラー配列のカラー画像である。撮像素子２０から出力されたフレームは、インタフェース部２４を介して一次記憶部２５のＲＡＷ画像記憶領域（図示省略）に一時記憶（上書き保存）される。
　画像処理部２８は、一次記憶部２５に記憶されているフレームに対して各種の画像処理を施す。画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であってもよい。
　エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示する液晶ディスプレイ（以下、「第２ディスプレイ」という）２４７を有する。
　表示制御部３６は、第１ディスプレイ２１５及び第２ディスプレイ２４７に接続されている。表示制御部３６は、ＣＰＵ１２からの指示に従って、第１ディスプレイ２１５及び第２ディスプレイ２４７を選択的に制御することで第１ディスプレイ２１５及び第２ディスプレイ２４７に対して画像を選択的に表示させる。なお、以下では、第１ディスプレイ２１５及び第２ディスプレイ２４７を区別して説明する必要がない場合は「表示装置」と称する。
　なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。
　接眼検出部３７は、ユーザ（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。
　外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
　図１０は、第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。
　通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、一次記憶部２５に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。
　通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、ライブビュー画像を表示させる場合、通常画素として機能する画素１０を、位相差画素として機能する画素１０のうちの同色の周辺画素（例えば隣接するＧ画素）により補間することで、有彩色の通常画像を生成する。
　また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４１に記録される。また、通常処理部３０により処理された表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。表示用の通常画像は、本発明に係る第２表示用画像の一例である。
　一方、スプリットイメージ処理部３２は、一次記憶部２５に一旦記憶されたＲＡＷ画像から位相差画素として機能する画素１０の位相差画像を抽出し、有彩色のスプリットイメージを生成する。
　スプリットイメージは、一例として図１１に示すように、表示用左眼画像と表示用右眼画像とを所定方向（ここでは一例として視差発生方向と直交する方向）に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に４分割して得た４つの分割画像のうちの一部の分割画像（図１１に示す例では、正面視上から１番目及び３番目の分割画像）を指す。表示用右眼画像とは、右眼画像を所定方向に４分割して得た４つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像（図１１に示す例では、正面視上から２番目及び４番目の分割画像）を指す。スプリットイメージは、本発明に係る第１表示用画像の一例である。
　一例として図１２に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図１２に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に２つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図１１に示す例では、人物の周辺領域（例えば、木）に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。
　なお、本第１実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
　一例として図１０に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、第２ディスプレイ２４７、プリズム２４５及び接眼レンズ２４６を有する。
　また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。
　プリズム２４５は、第２ディスプレイ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像と第２ディスプレイ２４７に表示される情報（電子像、各種の情報）とを合成する。
　ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
　表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２ディスプレイ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
　また、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部から第２ディスプレイ２４７に表示される電子像のみが視認できるようにする。なお、第２ディスプレイ２４７には、第１ディスプレイ２１５に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第２ディスプレイ２４７は、第１ディスプレイ２１５と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。
　次に、本第１実施形態に係る撮像装置１００の作用について説明する。図１３を参照して、撮像装置１００で実行される画像処理について説明する。なお、図１３に示す画像処理は、撮像素子２０の各画素から信号電荷（電気信号）を読み出す信号読出処理と、読み出された電気信号に基づいて通常画像及びスプリットイメージを生成する画像生成処理とを含む。図１３に示す画像処理は、マニュアルフォーカスモード時に行われ、信号読出処理は、デバイス制御部２２及びデバイス制御部２２の制御に基づいて制御部５０によって行われる。画像生成処理は、画像処理部２８によって行われる。
　図１３に示す画像処理では、まず、ステップ４００で、デバイス制御部２２は、ライブビュー画像を表示するか否か判定する。本第１実施形態では、一例としてフォーカス調節後の撮影処理、及びユーザによりライブビュー画像の非表示の指示または設定が成されている場合は、否定されてステップ４０２へ移行する。
　ステップ４０２では、全画素１０を通常画素として画像信号を読み出す。本ステップにおいてデバイス制御部２２は、全画素１０を通常画素として画像信号を読み出すための制御信号を制御部５０に出力する。制御部５０は、全画素１０の読み出し電極７０Ｌ，７０Ｒをオンにするよう左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、走査回路５４を介して順次、左選択信号、及び右選択信号を出力する。また、制御部５０は、全画素１０の読み出しスイッチ７４をオン状態にするよう読み出し行選択線Ｒｅａｄに、走査回路５４を介して順次、読み出し信号を出力する。当該左選択信号、右選択信号、及び読み出し信号により、画素行毎に順次、各画素１０のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷がＦＤ７２に転送され、ＦＤ７２から読み出し信号線５８に出力される。
　次のステップ４０４では、画像処理部２８は、通常処理部３０により読み出した信号電荷に基づいて通常画像を生成して表示制御部３６及びエンコーダ３４のうち予め定められた少なくとも一方に出力した後、本画像処理を終了する。
　一方、ステップ４００で、ライブビュー画像の表示の指示または設定が成されている場合は、肯定されてステップ４０６へ移行する。また、デバイス制御部２２は、ライブビュー画像の表示に用いる、スプリットイメージ及び通常画像を生成するための画像信号を読み出すための制御信号を制御部５０に出力する。
　ステップ４０６では、制御部５０は、３ｎ－２（ｎは１以上の自然数）行目の画素１０による第１の画素群のフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号（画像信号）を読み出す。また、制御部５０は、３ｎ行目の画素１０による第２の画素群のフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号（画像信号）を読み出す。また、制御部５０は、３ｎ－１行目の画素１０による第３の画素群のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷に応じた電気信号（画像信号）を読み出す。
　本第１実施形態の撮像素子２０では、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、読み出し行選択線Ｒｅａｄ、及びリセット行選択線Ｒｅｓｅｔが画素１０の行毎に設けられているため、制御部５０は、画素行単位で第１の画素群、第２の画素群、及び第３の画素群のいずれかを選択する。
　本第１実施形態では、制御部５０は、一例として左位相差画素として機能させる画素１０を第１の画素群として選択する。図１４には、本第１実施形態に係る撮像装置１００に含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタの配置例を示す模式図を示す。本第１実施形態では、一例として、図１４に示すように３ｎ－２（１，４，７，１０・・・）行目の画素１０を第１の画素群として選択する。なお、図１４、及び以下の説明に用いられる図１５～１７では、説明の便宜上、各画素１０のフォトダイオードＰＤＬ，ＰＤＲに各画素１０に対応するカラーフィルタ２１の色を表すハッチングを施して図示している。また、左位相差画素として機能する画素１０は、フォトダイオードＰＤＬのみにカラーフィルタ２１の色を表すハッチングを施し、右位相差画素として機能する画素１０は、フォトダイオードＰＤＲのみにカラーフィルタ２１の色を表すハッチングを施して図示している。
　具体的に制御部５０は、３ｎ－２（１，４，７，１０・・・）行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＬで発生した信号電荷を読み出し電極７０ＬからＦＤ７２に転送する。この際、制御部５０は、３ｎ－２行目の右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オフ信号を出力するため、フォトダイオードＰＤＲで発生した信号電荷は読み出されない。また、制御部５０は、３ｎ－２行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１５は、制御部５０により第１の画素群として選択された画素１０を抽出して図示している。図１５に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。
　また、制御部５０は、右位相差画素として機能させる画素１０を第２の画素群として選択する。本第１実施形態では、一例として、図１４に示すように３ｎ（３，６，９，１２・・・）行目の画素１０を第２の画素群として選択する。
　具体的に制御部５０は、３ｎ（３，６，９，１２・・・）行目の右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＲで発生した信号電荷を読み出し電極７０ＲからＦＤ７２に転送する。この際、制御部５０は、３ｎ行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに走査回路５４を介して順次、オフ信号を出力するため、フォトダイオードＰＤＬで発生した信号電荷は読み出されない。また、制御部５０は、３ｎ行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１６は、制御部５０により第２の画素群として選択された画素１０を抽出して図示している。図１６に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。
　また、制御部５０は、通常画素として機能させる複数の画素１０を第３の画素群として選択する。本第１実施形態では、一例として、図１４に示すように３ｎ－１（２，５，８，１１・・・）行目の画素１０を第３の画素群として選択する。
　具体的に制御部５０は、３ｎ－１（２，５，８，１１・・・）行目の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに走査回路５４を介して順次、オン信号を出力してフォトダイオードＰＤＬ、ＰＤＲで発生した信号電荷を読み出し電極７０Ｌ，７０ＲからＦＤ７２に転送する。また、制御部５０は、３ｎ－１行目の読み出し行選択線Ｒｅａｄに走査回路５４を介して順次、オン信号を出力して読み出しスイッチ７４をオン状態にするため、ＦＤ７２から読み出された信号電荷に応じた電気信号が読み出し信号線５８に出力される。図１７は、制御部５０により第３の画素群として選択された画素１０を抽出して図示している。図１７に示すように第１の画素群として選択された画素１０に対応するカラーフィルタは、カラーフィルタ２１と同様に、ベイヤ配列となっている。
　次のステップ４０８では、画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。
　次のステップ４１０では、画像処理部２８は、スプリットイメージ処理部３２により左眼画像及び右眼画像に基づいてスプリットイメージを生成する。また、画像処理部２８は、通常処理部３０により第３の画素群から読み出した画像信号に基づいて通常画像を生成する。そして、生成したスプリットイメージ及び通常画像を表示制御部３６に出力した後、本画像処理を終了する。表示制御部３６は、スプリットイメージ及び通常画像が入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じた、表示装置は、一例として、図１２に示すように、ライブビュー画像を表示する。
　以上説明したように、本第１実施形態の撮像装置１００では、撮像素子２０の各画素１０は、フォトダイオードＰＤＬ、ＰＤＲを備えている。また、撮像素子２０は、ベイヤ配列されたカラーフィルタ２１を備えている。制御部５０は、３ｎ－２（ｎ＝１以上の自然数）行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択する。第１の画素群の画素１０は、左位相差画素として機能し、デバイス制御部２２及び制御部５０の制御に基づいて、フォトダイオードＰＤＬで発生した信号電荷が、読み出し電極７０Ｌ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。第２の画素群の画素１０は、右位相差画素として機能し、デバイス制御部２
２及び制御部５０の制御に基づいて、フォトダイオードＰＤＲで発生した信号電荷が、読み出し電極７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。第３の画素群の画素１０は、通常画素として機能し、デバイス制御部２２及び制御部５０の制御に基づいて、フォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷が加算されて、読み出し電極７０Ｌ，７０Ｒ、ＦＤ７２、及び読み出しスイッチ７４を介して読み出し信号線５８に電気信号（画像信号）として読み出される。画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成し、さらに左眼画像及び右眼画像に基づいてスプリットイメージを生成する。これにより、本第１実施形態の撮像装置１００は、撮像素子２０をフォトダイオードＰＤＬ，ＰＤＲの両方から独立して同時に信号電荷を読み出せるよう構成した場合に比べ、全画素が位相差画素であっても、スプリットイメージを簡易な構成で確保することができる。
　また、撮像装置１００では、ベイヤ配列されたカラーフィルタ２１を備えているため、位相差画素及び通常画素のそれぞれに対応するカラーフィルタをベイヤ配列とすることができる。さらに本第１実施形態では、制御部５０が、１行単位で画素１０を選択しており、３ｎ－２（ｎ＝１以上の自然数）行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択するため、簡易な構成で、位相差画素に対応するカラーフィルタ及び通常画素に対応するカラーフィルタをベイヤ配列とすることができる。
　なお、上記第１実施形態では、制御部５０が、３ｎ－２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｎ行目の画素１０を第１の画素群として選択し、３ｎ－２行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択してもよい。画素群毎に画素１０を抽出した場合に、対応するカラーフィルタの配列がベイヤ配列となれば特に限定されるものではない。
　また、上記第１実施形態で説明した画像処理の流れ（図１３参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した画像処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第１実施形態で説明した画像出力処理に含まれる各処理は、ＡＳＩＣやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
　また、上記第１実施形態で説明した画像処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えば二次記憶部２６）に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などにプログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
　また、上記第１実施形態で説明した画像処理に含まれる各処理をソフトウェア構成により実現するには、例えば、ＣＰＵ１２が画像出力処理プログラムを実行することにより撮像装置１００で画像処理が行われるようにすればよい。ここで、画像処理プログラムとは、例えば、図１３に示した画像処理の各ステップを有するプログラムを指す。画像処理プログラムは二次記憶部２６に記憶されていればよく、ＣＰＵ１２は、二次記憶部２６から画像処理プログラムを読み出して一次記憶部２５に展開し、図１３に示した画像処理の各ステップの処理を順に実行すればよい。この場合、ＣＰＵ１２は、本発明の制御部の一例として機能する。
　また、上記第１実施形態で説明した撮像装置１００は、被写界深度を確認する機能（被写界深度確認機能）を有していてもよい。この場合、例えば撮像装置１００は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ（非保持型スイッチ）を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置１００における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間（所定位置に押し込まれている間）、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをＣＰＵ１２が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ（保持型スイッチ）を適用してもよい。
　［第２実施形態］
　上記第１実施形態では、全画素列の画素１０から信号電荷を読み出す場合を例示したが、本第２実施形態では、所定の画素列の画素１０から信号電荷を読み出す場合について説明する。なお、本第２実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
　本第２実施形態に係る撮像装置１００Ａは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０により第１、第２、及び第３の画素群として選択される画素１０が異なる。図１８には、本第２実施形態において撮像装置１００Ａに含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタ２１の配置例を示す模式図を示す。
　図１８に示したように、本第２実施形態では、上記第１実施形態と同様に、制御部５０は、３ｎ－２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択する。さらに本第２実施形態における制御部５０は、３ｍ－２（ｍ＝１以上の自然数）列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択する。
　すなわち、制御部５０は、３ｎ－２行目かつ３ｍ－２列目の画素１０を左眼位相差画素として機能する第１の画素群として選択し、３ｎ行目かつ３ｍ－２列目の画素１０を右眼位相差画素として機能する第２の画素群として選択し、３ｎ－１行目かつ３ｍ－２列目の画素１０を通常画素として機能する第３の画素群として選択する。
　制御部５０により、画素列単位で間引いて選択された第１、第２、及び第３の画素群の各画素１０から信号電荷を読み出す際は、間引いた画素列をとばし読みするようにするとよい。この場合、第１、第２、及び第３の画素群のいずれにも選択されなかった画素１０に蓄積された信号電荷は、一括リセットするようにすればよい。なお、間引いた画素列をとばし読みせずに、画素列毎に順次、信号電荷を読み出し、信号処理部５６で、第１、第２、及び第３の画素群のいずれにも選択されなかった画素列に対応する読み出し信号線５８の電気信号を読み捨てるようにしてもよい。しかしながら、間引いた画素列をとばし読みすることにより、信号電荷を読み出す画素列を１／３にすることができるため、読み出し速度を向上させることができ、また、消費電力を抑制することができるため好ましい。以上説明したように、本第２実施形態の制御部５０は、画素１０を画素列単位で１／３に間引いて選択する。　このように第１、第２、及び第３の画素群を選択することにより、水平方向（行方向）と垂直方向（列方向）との画素密度（各画素群として選択された画素１０の密度）を等しくすることができる。そのため、スプリットイメージ及び通常画像の画質を向上させることができる。
　なお、上記第２実施形態では、制御部５０が、３ｍ－２列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｍ列目や３ｍ－１列目の画素１０を第１、第２、及び第３の画素群の画素１０として選択してもよい。
　［第３実施形態］
　上記第１実施形態では、全画素列の画素１０から信号電荷を読み出す場合を例示したが、本第３実施形態では、所定の画素列の画素１０から信号電荷を読み出す場合について説明する。なお、本第３実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
　本第３実施形態に係る撮像装置１００Ｂは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０により第１、第２、及び第３の画素群として選択される画素１０が異なる。図１９には、本第３実施形態において撮像装置１００Ｂに含まれる撮像素子２０における位相差画素及び通常画素として機能させる画素１０の配置、及び各画素１０に割り当てられたカラーフィルタ２１の配置例を示す模式図を示す。
　図１９に示したように、本第３実施形態では、上記第１実施形態と同様に、制御部５０は、３ｎ－２行目の画素１０を第１の画素群として選択し、３ｎ行目の画素１０を第２の画素群として選択し、３ｎ－１行目の画素１０を第３の画素群として選択する。さらに本第３実施形態における制御部５０は、３ｍ－２（ｍ＝１以上の自然数）列目及び３ｍ列目の画素列の画素１０を第１、第２、及び第３の画素群の画素１０として選択する。また、制御部５０は、同じ行の３ｍ－２列目の画素１０と３ｍ列目の画素１０とを１単位とした画素単位で信号電荷をまとめて読み出す。図１９に示した例では、１列目及び３列目の画素１０、４列目及び６列目の画素１０、７列目及び９列目の画素１０、１０列目及び１２列目の画素１０、１３列目及び１５列目の画素１０、及び１６列目及び１８列目の画素１０から信号電荷をまとめて読み出す。まとめて読み出された信号電荷は、単位毎に、信号処理部５６で加算される。このように本第３実施形態では、異なる画素列の画素１０から信号電荷をまとめて読み出すが、まとめられる画素１０同士は、対応するカラーフィルタ２１の色が同一であるため、問題は生じない。
　なお、このように２画素分の信号電荷をまとめて読み出して、加算しているため、画素単位毎の画素値は、加算値となる。右眼画像、左眼画像、及び通常画像の生成には、加算値である画素値をそのまま用いてもよいし、平均値を用いてもよい。
　このように本第３実施形態の制御部５０は、３ｎ－２行目の３ｍ－２列目及び３ｍ列目の画素１０を１単位として左眼位相差画素として機能する第１の画素群として選択し、３ｎ行目の３ｍ－２列目及び３ｍ列目の画素１０を１単位として右眼位相差画素として機能する第２の画素群として選択し、３ｎ－１行目の３ｍ－２列目及び３ｍ列目の画素１０を１単位として通常画素として機能する第３の画素群として選択する。
　制御部５０により、画素列単位で間引いて選択された第１、第２、及び第３の画素群の各画素１０から信号電荷を読み出す際は、間引いた画素列をとばし読みするようにするとよい。この場合、第１、第２、及び第３の画素群のいずれにも選択されなかった画素１０に蓄積された信号電荷は、一括リセットするようにすればよい。なお、間引いた画素列をとばし読みせずに、画素列毎に順次、信号電荷を読み出し、信号処理部５６で、第１、第２、及び第３の画素群のいずれにも選択されなかった画素列に対応する読み出し信号線５８の電気信号を読み捨てるようにしてもよい。また、３ｍ－２列目及び３ｍ列目の画素１０から同じタイミングで信号電荷を読み出すことが好ましいが、画素列毎に順次、読み出すようにしてもよい。なお、間引いた画素列をとばし読みし、また、３ｍ－２列目及び３ｍ列目の画素１０から同じタイミングで信号電荷を読み出すことにより、信号電荷を読み出す画素列を１／３にすることができるため、読み出し速度を向上させることができ、また、消費電力を抑制することができるため好ましい。
　以上説明したように、本第３実施形態の制御部５０は、画素１０を画素列単位で２／３に間引いて選択する。このように第１、第２、及び第３の画素群を選択することにより、水平方向（行方向）と垂直方向（列方向）との画素密度（各画素群として選択された画素１０の密度）を等しくすることができる。そのため、スプリットイメージ及び通常画像の画質を向上させることができる。
　さらに、本第３実施形態では、単位毎の信号電荷量が多くなるため、ＳＮ比を向上させることができる。
　なお、上記第３実施形態では、制御部５０が、３ｍ－２列目及び３ｍ列目の画素１０を１単位として選択しているがこれに限定されるものではない。例えば、制御部５０は、３ｍ－１列目及び３ｍ＋１列目の画素１０を１単位として選択するようにしてもよい。１単位としてまとめる画素１０に対応するカラーフィルタ２１の色が同一であればよい。
　［第４実施形態］
　上記第１実施形態では、全画素１０の露光時間を同じとした場合を例示したが、本第４実施形態では、位相差画素と通常画素とで露光時間が異なる場合について説明する。なお、本第４実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
　本第４実施形態に係る撮像装置１００Ｃは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０による画素１０の露光時間の制御が異なっている。本第４実施形態では、制御部５０の制御により、位相差画素の露光時間が通常画素の露光時間よりも長い。
　撮像素子２０は、垂直同期信号（図２０参照）及び水平同期信号（図示省略）に基づいて電荷蓄積時間（シャッタスピード）を制御する。制御部５０は、走査回路５４に垂直同期信号を出力する。また、制御部５０は、信号処理部５６に水平同期信号を出力する。
　図２０には、本第４実施形態における画素１０の露光時間の一例を示すタイムチャートを示す。なお、本第４実施形態では、露光時間の一例として画素１０に信号電荷が蓄積される電荷蓄積時間を用いているが、これに限定されるものではない。例えば、画素１０に光が照射される時間（画像光が受光面に結像される時間）を露光時間としてもよい。
　図２０に示した例では、図の上側が画素アレイ５２における画素列の１行目に対応している。撮像素子２０では、１行目の画素列から順次、信号電荷の読み出しが行われる。また、図２０に示した例では、タイミングｔ０～ｔ３までの期間が、１フレーム（１フレーム目）に対応する。
　タイミングｔ１では、制御部５０により位相差画素（第１及び第２の画素群の画素）の信号電荷がリセットされ、位相差画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が放出される。より具体的には、信号電荷の放出に時間を要するため、制御部５０は、位相差画素に接続されたリセット行選択線Ｒｅｓｅｔ、位相差画素の左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ１まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、読み出し行選択線Ｒｅａｄにオフ信号を出力し、読み出しスイッチ７４をオフ状態にする。
　制御部５０は、タイミングｔ１でリセットを完了して、位相差画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、位相差画素では、タイミングｔ１からフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。
　タイミングｔ１の後のタイミングｔ２では、制御部５０により通常画素（第３の画素群の画素）の信号電荷がリセットされ、通常画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が放出される。より具体的には、信号電荷の放出に時間を要するため、制御部５０は、通常画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ２まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、通常画素に接続された読み出し行選択線Ｒｅａｄにオフ信号を出力し、読み出しスイッチ７４をオフ状態にする。
　制御部５０は、タイミングｔ２でリセットを完了して、通常画素に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、通常差画素では、タイミングｔ２からフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。
　タイミングｔ３では、制御部５０は、信号電荷の蓄積を終了し、位相差画素及び通常画素から信号電荷を読み出す。すなわち、制御部５０は、タイミングｔ３で全画素１０から信号電荷を読み出す。より具体的には、制御部５０は、左位相差画素の画素行に対して、読み出し行選択線Ｒｅａｄ及び左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オフ信号を出力する。当該動作により、左位相差画素（第１の画素群の画素）のフォトダイオードＰＤＬに蓄積された信号電荷が読み出される。
　また、制御部５０は、右位相差画素の画素行に対して、読み出し行選択線Ｒｅａｄ及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オフ信号を出力する。当該動作により、右位相差画素（第２の画素群の画素）のフォトダイオードＰＤＲに蓄積された信号電荷が読み出される。
　また、制御部５０は、通常画素の画素行に対して、読み出し行選択線Ｒｅａｄ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。当該動作により、通常画素（第３の画素群の画素）のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷が読み出される。
　図２０に示したように、位相差画素の露光時間ＴＬＲは、タイミングｔ１～ｔ３となり、通常画素の露光時間ＴＮは、タイミングｔ２～ｔ３となる。従って、位相差画素露光時間ＴＬＲは、通常画素の露光時間ＴＮよりも長くなる。
　以上説明したように、本第４実施形態では、制御部５０は、位相差画素の露光時間ＴＬＲを通常画素の露光時間ＴＮよりも長くする。位相差画素では、フォトダイオードＰＤＬ，ＰＤＲのいずれか一方の信号電荷が読み出され、通常画素では、フォトダイオードＰＤＬ，ＰＤＲ両方の信号電荷が読み出される。位相差画素の方が通常画素よりもフォトダイオードの面積が小さいため、信号電荷の量が少なくなり、感度が低くなる。しかしながら、本第４実施形態の制御部５０は、位相差画素の露光時間ＴＬＲを通常画素の露光時間ＴＮよりも長くするため、位相差画素の露光時間ＴＬＲを長くして露出状態を長期間とすることができ、位相差画素の画素値の輝度を向上させることができる。
　なお、どの程度、位相差画の素露光時間ＴＬＲを通常画素の露光時間ＴＮよりも長くするかは、フォトダイオードＰＤＬ，ＰＤＲの面積や感度等の特性に応じて定めることが好ましい。例えば、上記各実施形態において例示（図５、６等参照）したように、フォトダイオードＰＤＬ，ＰＤＲの面積や感度等が等しい場合は、位相差画素では、通常画素に比べて感度が約半分になる。従って、このような場合は、図２１のタイミングチャートに例示したように、位相差画素の露光時間ＴＬＲを、通常画素の露光時間ＴＮの倍とすることが好ましい。位相差画素の露光時間ＴＬＲを、通常画素の露光時間ＴＮの倍とすることにより、位相画素の画素値の輝度と、通常画素の画素値の輝度とを等しくすることができる。
　［第５実施形態］
　上記第１実施形態では、全画素１０の露光時間を同じとした場合を例示したが、本第５実施形態では、位相差画素と通常画素とで露光時間が異なる場合について説明する。また、上記第１実施形態では、制御部５０が第１、第２、及び第３の画素群として選択する画素行が固定されている場合を例示したが、本第５実施形態では、制御部５０が第１及び第２の画素群として選択する画素行がフレーム毎に入れ替わる場合について説明する。なお、本第５実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
　本第５実施形態に係る撮像装置１００Ｄは、上記第１実施形態に係る撮像装置１００と比べ、制御部５０による画素１０の露光時間の制御が異なっている。本第５実施形態では、制御部５０の制御により、位相差画素の露光時間が通常画素の露光時間よりも長い。なお、本第５実施形態の撮像装置１００Ｄの撮像素子２０（画素１０）における露光時間及び電荷蓄積時間を制御する基本動作は、上記第４実施形態と同様の動作を含むため、同様の動作については、詳細な説明を省略する。
　図２２～２４には、本第５実施形態における画素１０の露光時間の一例を示すタイムチャートを示す。図２２は、３ｎ－２行目の画素行について抽出した露光時間の一例を示すタイムチャートである。図２３は、３ｎ－１行目の画素行について抽出した露光時間の一例を示すタイムチャートである。図２４は、３ｎ行目の画素行について抽出した露光時間の一例を示すタイムチャートである。
　また、図２５～２８には、本第５実施形態における画素１０から信号電荷を読み出す読み出し動作を説明するための模式図を示す。本第５実施形態の撮像素子２０では、各画素１０のＦＤ７２から電気信号が出力される読み出し信号線を画素列毎に、２本（読み出し信号線５８Ａ，５８Ｂ）備えている。図２５～２８に例示したように、電気信号は、画素列毎に交互に、読み出し信号線５８Ａ，５８Ｂに出力される。また、電気信号は、画素行毎に交互に、読み出し信号線５８Ａ，５８Ｂに出力される。なお、図２５～２８では、ハッチングが施されているフォトダイオードＰＤＬ，ＰＤＲは信号電荷が蓄積されている状態を示しており、ハッチングが施されていないフォトダイオードＰＤＬ，ＰＤＲは信号電荷が蓄積されていない（リセットまたは読み出された）状態を示している。
　１フレーム目では、制御部５０は、第１の画素群として３ｎ－２行目の画素１０を選択し、第２の画素群として３ｎ行目の画素１０を選択し、第３の画素群として３ｎ－１行目の画素１０を選択する。また、次のフレームでは、第１の画素群として３ｎ行目の画素１０を選択し、第２の画素群として３ｎ－２行目の画素１０を選択し、第３の画素群として３ｎ－１行目の画素１０を選択する。さらに次のフレームでは、第１の画素群として３ｎ－２行目の画素１０を選択し、第２の画素群として３ｎ行目の画素１０を選択し、第３の画素群として３ｎ－１行目の画素１０を選択する。このように制御部５０は、第１の画素群及び第２の画素群として３ｎ－２行目の画素と３ｎ行目の画素とをフレーム毎に交互に選択する。
　まず、１フレーム目の動作について説明する。１フレーム目の動作は、タイミングｔ０、ｔ２、ｔ４で行われる。本第５実施形態の撮像素子２０の制御部５０は、タイミングｔ０から１フレーム目における制御を行う。撮像素子２０の１フレーム目に対応する期間は、タイミングｔ１～ｔ４である。従って、本第５実施形態の撮像素子２０では、前フレームから電荷蓄積動作を開始する。
　タイミングｔ０で制御部５０は、３ｎ－２行目の画素１０を左位相差画素として機能する第１の画素群として選択し、第１の画素群として選択した左位相差画素のフォトダイオードＰＤＬに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ－２行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ－２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ－２行目の画素１０では、図２５に示したように、フォトダイオードＰＤＬの信号電荷は、リセットされ、フォトダイオードＰＤＲの信号電荷は蓄積された状態となる。
　また、制御部５０は、３ｎ行目の画素１０を右位相差画素として機能する第２の画素群として選択し、第２の画素群として選択した右位相差画素のフォトダイオードＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２５に示したように、フォトダイオードＰＤＲの信号電荷は、リセットされ、フォトダイオードＰＤＬの信号電荷は蓄積された状態となる。また、タイミングｔ０で位相差画素のリセットが完了すると、左位相差画素のフォトダイオードＰＤＬ、及び右位相差画素のフォトダイオードＰＤＲで信号電荷の蓄積が開始される。
　次に、タイミングｔ２では、制御部５０は、３ｎ－２行目及び３ｎ－１行目の画素１０に対しては制御を行わない。
　制御部５０は、３ｎ－１行目の画素１０を通常画素として機能する第３の画素群として選択し、第３の画素群として選択した通常画素のフォトダイオードＰＤＬ，ＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ－１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ０まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ－１行目の画素１０では、図２５に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷がリセットされた状態となる。また、タイミングｔ２で通常画素のリセットが完了すると、通常画素のフォトダイオードＰＤＬ，ＰＤＲで信号電荷の蓄積が開始される。
　次に、タイミングｔ４では、位相差画素及び通常画素の信号電荷を画素１０から読み出す。図２７に例示したように制御部５０は、３ｎ－２行目の画素１０のフォトダイオードＰＤＬ、３ｎ－１行目の画素１０のフォトダイオードＰＤＬ，ＰＤＲ、及び３ｎ行目の画素１０のフォトダイオードＰＤＲから信号電荷を読み出す。より具体的には、制御部５０は、３ｎ－２行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、３ｎ－２行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ－２行目の画素１０では、図２７に示したように、フォトダイオードＰＤＬの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＲの信号電荷は蓄積されたままの状態となる。
　また、制御部５０は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び右相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２７に示したように、フォトダイオードＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＬの信号電荷は蓄積されたままの状態となる。
　また、制御部５０は、３ｎ－１行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ－１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ－１行目の画素１０では、図２７に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力される。
　図２２～２４に示したように、左位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、タイミングｔ０～ｔ４となり、２つのフレームにわたって（またがって）露光が行われる、本第５実施形態の撮像素子２０では、左位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、１フレームに対応する期間よりも長くなる。一方、通常画素の露光時間ＴＮは、タイミングｔ２～ｔ４となる。従って、位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、通常画素の露光時間ＴＮよりも長くなる。
　次に、次フレーム目（２フレーム目）の動作について説明する。２フレーム目の動作は、タイミングｔ３、ｔ５、ｔ７で行われる。本第５実施形態の撮像素子２０の制御部５０は、タイミングｔ３から２フレーム目における制御を行う。撮像素子２０の２フレーム目に対応する期間は、タイミングｔ４～ｔ７である。従って、本第５実施形態の撮像素子２０では、前フレームから電荷蓄積動作を開始する。
　タイミングｔ３で制御部５０は、３ｎ－２行目１０の画素１０を右位相差画素として機能する第２の画素群として選択する。制御部５０は、第２の画素群として選択した右位相差画素のフォトダイオードＰＤＲに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ－２行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、タイミングｔ３まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ－２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ－２行目の画素１０では、図２６に示したように、フォトダイオードＰＤＲの信号電荷は、リセットされ、フォトダイオードＰＤＬの信号電荷は蓄積された状態となる。
　また、制御部５０は、３ｎ行目の画素１０を左位相差画素として機能する第１の画素群として選択する。制御部５０は、第１の画素群として選択した左位相差画素のフォトダイオードＰＤＬに蓄積された信号電荷をリセットする。より具体的には、制御部５０は、３ｎ行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、タイミングｔ３まで予め定められたリセット時間の間、オン信号を出力する。また、制御部５０は、リセットを行っている間は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及び読み出し行選択線Ｒｅａｄにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２６に示したように、フォトダイオードＰＤＬの信号電荷は、リセットされ、フォトダイオードＰＤＲの信号電荷は蓄積された状態となる。
　本第５実施形態の撮像素子２０では、図２２～２４に例示したように、タイミングｔ３～ｔ４の期間は、全画素１０のフォトダイオードＰＤＬ，ＰＤＲに電荷が蓄積された状態になる。
　次に、タイミングｔ５では、制御部５０は、タイミングｔ２と同様の動作を行い、３ｎ－１行目の通常画素のリセットを行う。
　次に、タイミングｔ７では、位相差画素及び通常画素の信号電荷を画素１０から読み出す。図２８に例示したように制御部５０は、３ｎ－２行目の画素のフォトダイオードＰＤＲ、３ｎ－１行目の画素１０のフォトダイオードＰＤＬ，ＰＤＲ、及び３ｎ行目の画素１０のフォトダイオードＰＤＬから信号電荷を読み出す。より具体的には、制御部５０は、３ｎ行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌに、オン信号を出力する。また、制御部５０は、３ｎ行目の画素１０に接続された右位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ行目の画素１０では、図２８に示したように、フォトダイオードＰＤＬの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＲの信号電荷は蓄積されたままの状態となる。
　また、制御部５０は、３ｎ－２行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、及び右相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ－２行目の画素１０に接続された左位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及びリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ－２行目の画素１０では、図２８に示したように、フォトダイオードＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力され、フォトダイオードＰＤＬの信号電荷は蓄積されたままの状態となる。
　また、制御部５０は、３ｎ－１行目の画素１０に接続された読み出し行選択線Ｒｅａｄ、左相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｌ、及び位相差画素フォトダイオード読み出し選択線ＴＧｓｅｌ＿Ｒに、オン信号を出力する。また、制御部５０は、３ｎ－１行目の画素１０に接続されたリセット行選択線Ｒｅｓｅｔにオフ信号を出力する。当該動作により、３ｎ－１行目の画素１０では、図２８に示したように、フォトダイオードＰＤＬ，ＰＤＲの信号電荷が読み出し信号線５８Ａまたは読み出し信号線５８Ｂに出力される。
　図２２～２４に示したように、２フレーム目における左位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、タイミングｔ３～ｔ７となり、２つのフレームにわたって（またがって）露光が行われる、本第５実施形態の撮像素子２０では、左位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、１フレームに対応する期間よりも長くなる。一方、通常画素の露光時間ＴＮは、タイミングｔ５～ｔ７となる。従って、位相差画素の露光時間ＴＬ及び右位相差画素の露光時間ＴＲは、通常画素の露光時間ＴＮよりも長くなる。
　以上説明したように、本第５実施形態の撮像装置１００では、制御部５０は、第１及び第３の画素群として３ｎ－２行目の画素１０と３ｎ行目の画素１０とをフレーム毎に交互に、選択する。同一行の画素１０をフレーム毎に、左位相差画素及び右位相差画素として交互に機能させることができるため、位相差画素では、２つのフレームにわたって（またがって）露光させることができる。従って、位相差画素の露光時間をより長くすることができるため、位相差画素の画素値の輝度をより向上させることができる。
　［第６実施形態］
　本第６実施形態では、減光特性の補正を行う撮像装置について説明する。なお、本第５実施形態では、上記第１実施形態で説明した構成要素については、同一の符号を付し、説明を省略する。
　撮像装置１００Ｅでは、一例として図２９に示すように、被写体が撮影される場合に撮影レンズ１６を通過した左領域通過光は、マイクロレンズ１９を通過し、画素１０のフォトダイオードＰＤＬに入射する。しかし、左領域通過光は、画素１０のフォトダイオードＰＤＲに入射しない。一方、撮影レンズ１６を通過した右領域通過光は、マイクロレンズ１９を通過し、画素１０のフォトダイオードＰＤＲに入射する。しかし、右領域通過光は、画素１０のフォトダイオードＰＤＬに入射しない。このように画素１０のフォトダイオードが左右別個に設けられている上、左領域通過光及び右領域通過光の各々の中心が、撮影レンズ１６の光軸から偏倚しているため、各画素１０では、瞳分割方向の画素位置に応じて減光特性が線形的に変化する。減光特性の変化は、左眼画像及び右眼画像における出力の変化となって現れる。すなわち、仮に撮影レンズ１６に対して正面から光量が均一な光が入射された場合に得られる左眼画像及び右眼画像の左右方向（瞳分割方向に相当する方向）の出力は画素位置に応じて略線形的に変化することとなる。例えば、図３０に示すように、左眼画像は、右方向の画素位置ほど出力が小さくなり、右眼画像は、左方向の画素位置ほど出力が小さくなる。左眼画像及び右眼画像の各出力の左右の相反する方向への略線形的な変化は、スプリットイメージの画質に対しても影響を及ぼす。
　そこで、本第６実施形態に係る撮像装置１００Ｅでは、画像処理部２８が、一例として図３１に示すように、補正部２８Ａを含み、位相差画像の減光特性を補正する。補正部２８Ａは、フレームを取得し、位相差画像の位相差画素の画素値と通常画像の通常画素の画素値とを比較した比較結果に基づいて、位相差画素の減光特性を補正する。補正部２８Ａによって導出される比較結果は、演算式を用いて導出してもよいし、テーブルを用いて導出してもよい。なお、本第６実施形態の補正部２８Ａは、一例として、通常画素の画素値に対する左位相差画素の画素値の比率を、通常画素と左位相差画素との比として算出し、算出した比を左位相差画素のゲインとして用いることにより減光特性を補正する。また、本第６実施形態の補正部２８Ａは、一例として、通常画素の画素値に対する右位相差画素の画素値の比率を、通常画素と右位相差画素との比として算出し、算出した比を右位相差画素のゲインとして用いることにより減光特性を補正する。
　本第６実施形態において、減光特性とは、例えば、撮影レンズ１６における一対の領域を通過する光束の中心が、レンズ光軸から偏倚していることにより、右眼画像及び左眼画像に現れる瞳分割方向における各方向に線形的な減光特性を指す。また、減光特性の補正とは、一例として図３４に示すように、表示用左眼画像及び表示用右眼画像に現れる減光特性を補正するための補正を指す。
　以下、本第６実施形態に係る撮像装置１００Ｅの作用として、画像処理部２８によって行われる画像処理について説明する。上記のように、本第６実施形態に係る撮像装置１００Ｅは、上記第１実施形態に係る撮像装置１００と比べ、実行される画像処理が異なっている。本第６実施形態に係る撮像装置１００Ｅで実行される画像処理は、減光特性を補正する補正処理を含んでいる。
　図３２には、本第６実施形態に係る画像処理の流れの一例であるフローチャートを示す。ステップ４００～４０８の各処理は、上記第１実施形態における画像処理と同様の処理であるため、詳細な説明は省略する。
　本第６実施形態に係る画像処理では、ライブビュー画像を表示する場合は、ステップ４０６の処理により、制御部５０は、３ｎ－２（ｎは１以上の自然数）行目の画素１０による第１の画素群のフォトダイオードＰＤＬで発生した信号電荷に応じた電気信号を読み出す。また、制御部５０は、３ｎ行目の画素１０による第２の画素群のフォトダイオードＰＤＲで発生した信号電荷に応じた電気信号を読み出す。また、制御部５０は、３ｎ－１行目の画素１０による第３の画素群のフォトダイオードＰＤＬ，ＰＤＲで発生した信号電荷に応じた電気信号を読み出す。
　また、次のステップ４０８の処理により、画像処理部２８は、第１の画素群及び第２の画素群から読み出した画像信号に基づいて左眼画像及び右眼画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。本第６実施形態の画像処理では、ステップ４０８の後、ステップ４１２へ移行する。
　ステップ４１２で、画像処理部２８は、第３の画素群から読み出した画像信号に基づいて通常画像を生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。
　次のステップ４１４で、画像処理部２８の補正部２８Ａは、補正処理を実行する。図３３には、補正部２８Ａにより実行される補正処理の流れの一例であるフローチャートを示す。
　ステップ４５０で、補正部２８Ａは、一次記憶部２５の視差画像記憶領域からフレームを取得する。
　次のステップ４５２で、補正部２８Ａは、注目領域を設定する。本第６実施形態の補正部２８Ａでは、位相差画像及び通常画像を複数の注目領域に分割し、分割した注目領域毎に、減光特性の補正を行う。本ステップ４５２では、分割された複数の注目領域の中から減光特性の補正を行う一つの注目領域を設定する。注目領域の大きさ及び数等は、撮像装置１００Ｅの処理速度や特性等に応じて予め定めておけばよい。
　次のステップ４５４で、補正部２８Ａは、通常画素と左位相差画素との比を算出する。本第６実施形態の補正部２８Ａは、左位相差画素に隣接する通常画素を用いて減光特性を補正する。本ステップ４５４で、補正部２８Ａは、注目領域から選択した１つの左位相差画素と行方向に隣接する通常画素を用いて減光特性を補正する。例えば、図１４に示した一例では、５行３列目の通常画素と４行３列目の左位相差画素との比を算出する。なお、制御部５０は、画素行毎に第１，第２，及び第３の画素群を選択するため、左位相差画素と隣接する通常画素は、列方向に隣接する。
　次のステップ４５６で、補正部２８Ａは、注目領域内の全左位相差画素について比を算出したか否か判定する。未だ上記ステップ４５４により比を算出していない左位相差画素が注目領域内に残っている場合は、否定判定となりステップ４５８へ移行する。ステップ４５８では、次の左位相差画素を選択した後、ステップ４５４に戻り、ステップ４５４及びステップ４５６の処理を繰り返す。
　一方、ステップ４５６において、注目領域内の全左位相差画素について上記ステップ４５４により比を算出した場合は、肯定判定となりステップ４６０へ移行する。
　ステップ４６０で、補正部２８Ａは、算出した比を平均化して、平均値を算出する。次のステップ４６２で、補正部２８Ａは、上記ステップ４６０で算出した平均値に基づいて、注目領域内の左位相差画素の画素値を補正する。本第６実施形態の補正部２８Ａでは、注目領域内の各左位相差画素の画素値に上記ステップ４６０で算出した平均値をゲインとして掛けることにより補正を行う。当該補正により、注目領域内の左位相差画素の減光特性が補正される（所謂シェーディング補正が行われる）。減光特性が補正された左位相差画素の画素値は、一次記憶部２５の視差画像記憶領域（図示省略）に一時記憶（上書き保存）される。
　ステップ４５４～４６２の各処理により、注目領域内の左位相差画素に対して減光特性の補正が行われると、次に、注目領域内の右相差画素に対して減光特性の補正を同様に行う。
　次のステップ４６４でで、補正部２８Ａは、通常画素と右位相差画素との比を算出する。本第６実施形態の補正部２８Ａは、右位相差画素に隣接する通常画素を用いて減光特性を補正する。本ステップ４６４で、補正部２８Ａは、注目領域から選択した１つの右位相差画素と行方向に隣接する通常画素を用いて減光特性を補正する。例えば、図１４に示した一例では、２行３列目の通常画素と３行３列目の右位相差画素との比を算出する。なお、制御部５０は、画素行毎に第１，第２，及び第３の画素群を選択するため、右位相差画素と隣接する通常画素は、列方向に隣接する。
　次のステップ４６６で、補正部２８Ａは、注目領域内の全右位相差画素について比を算出したか否か判定する。未だ上記ステップ４６４により比を算出していない右位相差画素
が注目領域内に残っている場合は、否定判定となりステップ４６８へ移行する。ステップ４６８では、次の右位相差画素を選択した後、ステップ４６４に戻り、ステップ４６４及びステップ４６６の処理を繰り返す。
　一方、ステップ４６６において、注目領域内の全左位相差画素について上記ステップ４６４により比を算出した場合は、肯定判定となりステップ４７０へ移行する。
　ステップ４７０で、補正部２８Ａは、算出した比を平均化して、平均値を算出する。次のステップ４７２で、補正部２８Ａは、上記ステップ４７０で算出した平均値に基づいて、注目領域内の右位相差画素の画素値を補正する。本第６実施形態の補正部２８Ａでは、注目領域内の各右位相差画素の画素値に上記ステップ４６０で算出した平均値をゲインとして掛けることにより補正を行う。当該補正により、注目領域内の右位相差画素の減光特性が補正される（所謂シェーディング補正が行われる）。減光特性が補正された右位相差画素の画素値は、一次記憶部２５の視差画像記憶領域（図示省略）に一時記憶（上書き保存）される。
　次のステップ４７４で、補正部２８Ａは、全注目領域について上記ステップ４５２～４７２の各処理を終了したか否か判定する。未だ上記ステップ４５２～４７２の各処理を終了していない注目領域が残っている場合は、ステップ４５２に戻り、ステップ４５２～４７２の各処理を繰り返す。一方、全注目領域についてステップ４５２～４７２の各処理を終了している場合は、全位相差画素について減光特性の補正が終了したため、本補正処理を終了して、画像処理のステップ４１６へ移行する。
　ステップ４１６で、画像処理部２８は、スプリットイメージ処理部３２により左眼画像及び右眼画像に基づいてスプリットイメージを生成する。上記補正処理により、一次記憶部２５の視差画像記憶領域に減光特性が補正された状態の右眼画像及び左眼画像が記憶されているため、スプリットイメージ処理部３２は、一次記憶部２５の視差画像記憶領域に記憶されている右眼画像及び左眼画像に基づいてスプリットイメージを生成する。
　次のステップ４１８で、画像処理部２８は、上記ステップ４１６で生成したスプリットイメージと、上記ステップ４１２において生成して一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）しておいた通常画像と、を表示制御部３６に出力した後、本画像処理を終了する。表示制御部３６は、スプリットイメージ及び通常画像が入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じた、表示装置は、一例として、図１２に示すように、ライブビュー画像を表示する。
　このように、撮影者は、表示装置に表示されるスプリットイメージにより合焦状態を確認することができる。また、マニュアルフォーカスモード時には、フォーカスリング３０１を操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。
　また、補正部２８Ａによりスプリットイメージの減光特性が補正された場合、一例として図３４に示すように、位相差画素の各々の瞳分割方向の画素の線形的な感度変化に起因する表示用視差画像の線形的な輝度変化が軽減される。
　以上説明したように、撮像装置１００Ｅでは、画像処理部２８が補正部２８Ａを含んでいる。補正部２８Ａが通常画素の画素値と位相差画素の画素値との比を算出し、算出した比をゲインとして用いて各位相差画素値の画素値を補正するため、減光特性が補正されたスプリットイメージを含むライブビュー画像を表示装置に表示させることができる。
　また、本第６実施形態の補正部２８Ａは、位相差画素に隣接する通常画素を用いて減光特性の補正を行うため、離れて位置する通常画素を用いる場合に比べて、補正の精度を向上させることができる。
　なお、本第６実施形態の補正部２８Ａでは、通常画素の画素値に対する位相差画素の画素値の比率を用いて位相差画素の減光特性の補正を行っていたが、これに限定されるものではない。例えば、補正部２８Ａは、通常画素の画素値と位相差画素の画素値との差を用いて位相差画素の減光特性の補正を行ってもよい。なお、本第６実施形態のように、通常画素の画素値に対する位相差画素の画素値の比率を用いる方が、差を用いる場合に比べて、減光特性の補正を適切に行うことができるため、好ましい。
　［第７実施形態］
　上記各実施形態では、撮像装置１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅを例示したが、撮像装置１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅの変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、ＰＤＡ（Personal Digital Assistants）や携帯型ゲーム機などが挙げられる。本第７実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　図３５は、スマートフォン５００の外観の一例を示す斜視図である。図３５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
　図３６は、図３５に示すスマートフォン５００の構成の一例を示すブロック図である。図３６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
　表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図３６に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通信部５３０は、スピーカ５３１やマイクロホン５３２を備える。通信部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通信部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図３６に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の正面下部に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３５に示すように、操作部５４０は、スマートフォン５００の筐体５０２の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
　外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮影するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。
　また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１０に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。
　また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図３６に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。
　なお、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
　例えば、図３７に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。
　また、図３８に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。
　また、図３９Ａ及び図３９Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃがチェッカーパターン状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃがチェッカーパターン状に並べられて表示される。
　また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
　また、上記各実施形態では、第１～第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１２に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画素群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。
　また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部３６が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部３６は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
１６　撮影レンズ
２０　撮像素子
２２　デバイス制御部
２８　画像処理部
５０　制御部
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ　撮像装置

Claims (16)

  1. 　撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から前記第１画像信号を読み出し、前記複数の画素のうち第２画素群として選択した画素から前記第２画像信号を読み出し、前記複数の画素のうち第３画素群として選択した画素から前記第３画像信号を読み出す制御部
    　を含む画像処理装置。
  2. 　前記第１画像信号に基づく第１画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１分割画像と、前記第２画像信号に基づく第２画像を前記分割方向に分割することにより得た複数の分割画像から前記第１分割画像に対応する分割領域と隣接する分割領域に対応する第２分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する第１表示用画像を生成する生成部を更に含む請求項１に記載の画像処理装置。
  3. 　前記生成部は、前記第３画像信号に基づいて、撮像範囲の確認に使用する第２表示用画像を更に生成する請求項２に記載の画像処理装置。
  4. 　前記複数の画素は、二次元状に配列されており、
    　前記制御部は、二次元状に配列された前記複数の画素のうち、１行単位で画素を、前記第１、第２、及び第３画素群として選択する
    　請求項１から請求項３のいずれか１項に記載の画像処理装置。
  5. 　前記複数の画素には、三原色のカラーフィルタがベイヤ配列されており、
    　前記制御部は、ｎを１以上の自然数としたとき、３ｎ－２行目の画素、３ｎ－１行目の画素、及び３ｎ行目の画素、のいずれかをそれぞれ前記第１、第２、及び第３画素群として選択する請求項４に記載の画像処理装置。
  6. 　前記制御部は、ｎを１以上の自然数としたとき、３ｎ－２行目の画素を前記第１及び第２画素群のいずれか一方として選択し、３ｎ－１行目の画素を前記第３画素群として選択し、３ｎ行目の画素を前記第１及び第２画素群の他方として選択する請求項５に記載の画像処理装置。
  7. 　前記制御部は、ｍを１以上の自然数としたとき、さらに、３ｍ－２列目の画素を前記第１、第２、及び第３画素群として選択する請求項４から請求項６のいずれか１項に記載の画像処理装置。
  8. 　前記制御部は、ｍを１以上の自然数としたとき、３ｍ－２及び３ｍ列目の同一行の画素を１画素単位とした画素単位で前記第１、第２、及び第３画素群として選択する請求項４から請求項６のいずれか１項に記載の画像処理装置。
  9. 　前記制御部は、前記第１及び第２画素群の画素の露光時間を前記第３画素群の画素の露光時間よりも長くする請求項１から請求項８のいずれか１項に記載の画像処理装置。
  10. 　前記制御部は、前記第１及び第２画素群の画素の露光時間を前記第３画素群の画素の露光時間の倍にする請求項１から請求項９のいずれか１項に記載の画像処理装置。
  11. 　前記制御部は、ｋを１以上の自然数としたとき、ｋフレーム目で第１画素群として選択した画素をｋ＋１フレーム目では、第２画素群として選択し、ｋフレーム目で第２画素群として選択した画素をｋ＋１フレーム目では、第１画素群として選択し、ｋフレーム目で第３画素群として選択した画素をｋ＋１フレーム目では、第３画素群として選択する請求項１から請求項１０のいずれか１項に記載の画像処理装置。
  12. 　前記制御部は、第１及び第２画素群がｋフレームからｋ＋１フレームにわたって露光されるように制御する請求項１１に記載の画像処理装置。
  13. 　前記第３画素群の画素の画素値と前記画素に隣接する前記第１画素群の画素の画素値とを比較した比較結果に基づいて前記第１画像信号に基づく第１画像に対する減光特性を補正し、前記第３画素群の画素の画素値と前記画素に隣接する前記第２画素群の画素の画素値とを比較した比較結果に基づいて前記第２画像信号に基づく第２画像に対する減光特性を補正する補正部を更に含む請求項１から請求項１２のいずれか１項に記載の画像処理装置。
  14. 　請求項１から請求項１３の何れか１項に記載の画像処理装置と、
    　前記複数の画素を有する撮像素子と、
    　前記撮像素子から出力された信号に基づいて生成された画像を記憶する記憶部と、
    　を含む撮像装置。
  15. 　制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から前記第１画像信号を読み出し、前記複数の画素のうち第２画素群として選択した画素から前記第２画像信号を読み出し、前記複数の画素のうち第３画素群として選択した画素から前記第３画像信号を読み出す
    　ことを含む画像処理方法。
  16. 　制御部により、撮像レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより得られる第１画像信号、第２画像信号、及び前記第１及び第２画像信号が加算された第３画像信号のいずれかを選択的に出力する出力部を有する複数の画素のうち、第１画素群として選択した画素から前記第１画像信号を読み出し、前記複数の画素のうち第２画素群として選択した画素から前記第２画像信号を読み出し、前記複数の画素のうち第３画素群として選択した画素から前記第３画像信号を読み出す
    　ことを含む処理をコンピュータに実行させるための画像処理プログラム。
PCT/JP2014/073366 2013-09-30 2014-09-04 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム WO2015045785A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015539057A JP6158340B2 (ja) 2013-09-30 2014-09-04 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US15/067,864 US9900525B2 (en) 2013-09-30 2016-03-11 Image processing device, imaging device, image processing method, and image processing program generating a split image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013205478 2013-09-30
JP2013-205478 2013-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/067,864 Continuation US9900525B2 (en) 2013-09-30 2016-03-11 Image processing device, imaging device, image processing method, and image processing program generating a split image

Publications (1)

Publication Number Publication Date
WO2015045785A1 true WO2015045785A1 (ja) 2015-04-02

Family

ID=52742932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/073366 WO2015045785A1 (ja) 2013-09-30 2014-09-04 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US9900525B2 (ja)
JP (1) JP6158340B2 (ja)
WO (1) WO2015045785A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208702A1 (ja) * 2016-06-01 2017-12-07 富士フイルム株式会社 撮像素子及び撮像装置
WO2019035374A1 (ja) * 2017-08-18 2019-02-21 ソニー株式会社 撮像素子および撮像装置
JPWO2018186302A1 (ja) * 2017-04-05 2020-02-13 株式会社ニコン 撮像素子および撮像装置
US11330212B2 (en) 2017-12-28 2022-05-10 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6712506B2 (ja) * 2016-06-23 2020-06-24 オリンパス株式会社 焦点検出装置および焦点検出方法
JP2018072390A (ja) * 2016-10-24 2018-05-10 オリンパス株式会社 撮像装置
WO2018088119A1 (ja) * 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム
JP6947590B2 (ja) * 2017-09-08 2021-10-13 オリンパス株式会社 撮像装置、撮像装置の制御方法
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
CN111316161B (zh) * 2017-09-28 2021-11-23 富士胶片株式会社 摄像装置、信息获取方法及信息获取程序
JP6911136B2 (ja) 2017-09-28 2021-07-28 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
CN115483236A (zh) * 2017-10-27 2022-12-16 索尼半导体解决方案公司 摄像装置
JP7242332B2 (ja) * 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128892A (ja) * 2007-11-28 2009-06-11 Nikon Corp 撮像素子および撮像装置
JP2009237214A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置
JP2012120127A (ja) * 2010-12-03 2012-06-21 Canon Inc 撮像装置
JP2012191401A (ja) * 2011-03-10 2012-10-04 Nikon Corp 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3977062B2 (ja) * 2001-11-21 2007-09-19 キヤノン株式会社 撮像装置及び焦点調節方法
US7099575B2 (en) * 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP5043626B2 (ja) 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP2011059337A (ja) * 2009-09-09 2011-03-24 Fujifilm Corp 撮像装置
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP5914055B2 (ja) * 2012-03-06 2016-05-11 キヤノン株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009128892A (ja) * 2007-11-28 2009-06-11 Nikon Corp 撮像素子および撮像装置
JP2009237214A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置
JP2012120127A (ja) * 2010-12-03 2012-06-21 Canon Inc 撮像装置
JP2012191401A (ja) * 2011-03-10 2012-10-04 Nikon Corp 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208702A1 (ja) * 2016-06-01 2017-12-07 富士フイルム株式会社 撮像素子及び撮像装置
JPWO2017208702A1 (ja) * 2016-06-01 2018-11-29 富士フイルム株式会社 撮像素子及び撮像装置
US10694130B2 (en) 2016-06-01 2020-06-23 Fujifilm Corporation Imaging element and imaging device
JPWO2018186302A1 (ja) * 2017-04-05 2020-02-13 株式会社ニコン 撮像素子および撮像装置
JP2021122131A (ja) * 2017-04-05 2021-08-26 株式会社ニコン 撮像素子および撮像装置
WO2019035374A1 (ja) * 2017-08-18 2019-02-21 ソニー株式会社 撮像素子および撮像装置
JPWO2019035374A1 (ja) * 2017-08-18 2020-10-08 ソニー株式会社 撮像素子および撮像装置
JP7230808B2 (ja) 2017-08-18 2023-03-01 ソニーグループ株式会社 撮像素子および撮像装置
US11330212B2 (en) 2017-12-28 2022-05-10 Sony Semiconductor Solutions Corporation Imaging device and diagnosis method

Also Published As

Publication number Publication date
JPWO2015045785A1 (ja) 2017-03-09
US9900525B2 (en) 2018-02-20
JP6158340B2 (ja) 2017-07-05
US20160198105A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6033454B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6158340B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5681329B2 (ja) 撮像装置及び画像表示方法
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5960286B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5889441B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5753323B2 (ja) 撮像装置及び画像表示方法
WO2014045740A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JPWO2014046039A1 (ja) 撮像装置及び合焦確認表示方法
JP5955417B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US10015405B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5934844B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14849177

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015539057

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14849177

Country of ref document: EP

Kind code of ref document: A1