Nothing Special   »   [go: up one dir, main page]

WO2006064751A1 - 複眼撮像装置 - Google Patents

複眼撮像装置 Download PDF

Info

Publication number
WO2006064751A1
WO2006064751A1 PCT/JP2005/022751 JP2005022751W WO2006064751A1 WO 2006064751 A1 WO2006064751 A1 WO 2006064751A1 JP 2005022751 W JP2005022751 W JP 2005022751W WO 2006064751 A1 WO2006064751 A1 WO 2006064751A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
amount
blur
pixel
Prior art date
Application number
PCT/JP2005/022751
Other languages
English (en)
French (fr)
Inventor
Hironori Kumagai
Taku Hirasawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006519018A priority Critical patent/JP4699995B2/ja
Priority to US10/597,794 priority patent/US7986343B2/en
Publication of WO2006064751A1 publication Critical patent/WO2006064751A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to a compound eye imaging apparatus having a pixel shifting function.
  • An imaging device used for a portable device is required to achieve both high resolution and small size.
  • the downsizing of the imaging device is limited by the size and focal length of the imaging optical lens and the size of the imaging device.
  • the optical system of a normal imaging device has a configuration in which a plurality of lenses are stacked in order to form red, green, and blue wavelengths of light on the same imaging surface.
  • the optical system of the imaging device is inevitably long and the imaging device is thick. Therefore, a compound eye type imaging apparatus using a single lens with a short focal length has been proposed as an effective technique for downsizing, in particular, thinning of the imaging apparatus (for example, Patent Document 1).
  • an imaging optical system is arranged in a plane with a lens that handles light of a blue wavelength, a lens that handles light of a green wavelength, and a lens that handles light of a red wavelength.
  • the imaging region is provided for each lens.
  • a single imaging element may be divided into a plurality of areas simply by arranging a plurality of imaging elements side by side.
  • a subject image can be formed on the imaging surface by a single lens, and the thickness of the imaging device can be significantly reduced.
  • FIG. 19 is a schematic perspective view of the main part of an example of a conventional compound eye type imaging apparatus.
  • Reference numeral 1900 denotes a lens array, which is formed by three lenses 1901a, 1901b, and 1901c.
  • Reference numeral 1901a denotes a lens that handles light of a red wavelength, and converts the formed subject image into image information in an imaging region 1902a in which a red wavelength separation filter (color filter) is attached to the light receiving unit.
  • 1901b is a lens that handles light of the green wavelength. The image is converted into green image information in the imaging area 1902b
  • 1901c is a lens corresponding to light of a blue wavelength, and is converted into blue image information in the imaging area 1902c.
  • the compound-eye imaging device can reduce the thickness of the imaging device, but when the images of each color are simply superimposed and synthesized, the images are synthesized according to the number of pixels of the image separated into each color. The resolution of the image will be determined. For this reason, there is a problem that the resolution is inferior to that of an ordinary Bayer image pickup device in which green, red and blue filters are arranged in a staggered manner.
  • FIG. 20 is a conceptual explanatory diagram of high resolution using pixel shifting. This figure shows a part of the enlarged portion of the image sensor.
  • the image sensor has a photoelectric conversion unit 2101 (hereinafter referred to as “photoelectric conversion unit”) that converts received light into an electric signal, and light from a transfer electrode or the like can be converted into an electric signal.
  • photoelectric conversion unit There is an invalid part 2102 (hereinafter referred to as “invalid part”).
  • the photoelectric conversion unit 2101 and the invalid portion 2102 are combined to form one pixel. These pixels are usually formed regularly at a certain interval (pitch).
  • the part surrounded by the thick line in Fig. 20A is one pixel, and P indicates one pitch.
  • FIG. 20A An outline of pixel shifting performed using such an image sensor is shown below.
  • photographing is performed at the position of the image sensor shown in FIG. 20A.
  • FIG. 20B the photoelectric conversion unit 2101 of each pixel is moved in an oblique direction (1Z2 pitch of the pixel in both the horizontal direction and the vertical direction) so as to move to the invalid portion 2102, and shooting is performed. To do.
  • these two captured images are combined as shown in FIG. 20C.
  • the imaging state in FIG. 20C has the same resolution as that captured by the imaging element having twice the photoelectric conversion unit as compared to the imaging state for one time captured by the imaging element in FIG. 20A. Therefore, if the image shift as described above is performed, an image equivalent to an image shot using an image sensor having twice the number of pixels without increasing the number of pixels of the image sensor is obtained. An image can be obtained.
  • the resolution is not limited to the case of shifting in the oblique direction as illustrated, but the resolution can be improved in the shifted direction when shifting in the horizontal direction and the vertical direction. For example, when the shift is combined vertically and horizontally, a resolution of 4 times can be obtained. Also, the amount of pixel shift need not be limited to 0.5 pixels, and the resolution can be further improved by finely shifting pixels so as to interpolate invalid portions.
  • the method of shifting the force pixels by changing the relative positional relationship between the image sensor and the incident light beam by moving the image sensor is not limited to this method.
  • the optical lens may be moved instead of the image sensor.
  • a method using a parallel plate has been proposed (for example, Patent Document 1).
  • the image formed on the image sensor is shifted by inclining parallel plates.
  • Another method is to detect and correct camera shake using shake detection means such as an angular velocity sensor.
  • shake detection means such as an angular velocity sensor.
  • a method of correcting by using both the camera shake correction mechanism and the pixel shifting mechanism has been proposed (for example, Patent Document 2 and Patent Document 3).
  • the amount of shake is detected using the shake detection means, and the shake is detected. After correcting the pixel shift direction and pixel shift amount based on the amount, the image sensor is moved to shift the pixel. By doing so, it is possible to reduce the influence of camera shake.
  • Patent Document 3 it is not necessary to be limited to the method of moving the image sensor. By moving a part of the optical lens in accordance with the detected amount of shake, camera shake correction and pixel shift are performed. The same effect is obtained.
  • Various methods have been proposed for blur detection, such as a method using an angular velocity sensor such as a vibration gai mouth, and a method for comparing motion images taken in time series to obtain a motion beta.
  • Patent Document 3 compares a plurality of images taken in time series, and the positional relationship of the images is appropriately shifted due to camera shake or the like, thereby improving resolution.
  • a method has been proposed in which only images having a relationship that can be expected are selected and combined. This method is all performed electronically, and can reduce the size of an imaging apparatus that does not require the provision of a mechanical mechanism for correcting camera shake.
  • Patent Documents 2 and 3 which detects camera shake, and performs camera shake correction and pixel shifting, requires a new sensor and requires a complicated optical system. , Disadvantageous for miniaturization and thinning.
  • Patent Document 1 JP-A-6-261236
  • Patent Document 2 Japanese Patent Laid-Open No. 11-225284
  • Patent Document 3 Japanese Patent Laid-Open No. 10-191135
  • the present invention solves the above-described conventional problems, and in a compound eye imaging device that performs pixel shifting, a compound eye that can prevent a decrease in the effect of pixel shifting even when there is camera shake or subject blurring.
  • An object is to provide an imaging device.
  • the compound eye imaging apparatus of the present invention is a compound eye imaging apparatus including a plurality of imaging systems each including an optical system and an imaging element and having different optical axes, and the plurality of imaging systems. Includes a first imaging system having a pixel shifting unit that changes a relative positional relationship between an image formed on the image sensor and the image sensor, an image formed on the image sensor, and the image sensor.
  • the second imaging system is characterized in that the relative positional relationship is fixed in time-series imaging.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the overall operation of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing a positional relationship between a comparison source region and an evaluation region according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing image movement due to camera shake in the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining adjustment of a pixel shift amount in one embodiment of the present invention.
  • FIG. 6 is a configuration diagram of an image pickup optical system, a pixel shifting unit, and an image pickup element according to Embodiment 1 of the present invention.
  • FIG. 7 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a flowchart of the overall operation of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a diagram for explaining parallax in an embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a method for selecting an optimum image in one embodiment of the present invention.
  • FIG. 11 is another diagram for explaining a method for selecting an optimum image in the embodiment of the present invention.
  • FIG. 12 is a diagram showing an image stored in the image memory after pixel shifting once in Embodiment 2 of the present invention.
  • FIG. 13 is a diagram showing images taken in time series with the second imaging system without pixel shift stored in the image memory in Example 3 of the present invention.
  • FIG. 14 is a diagram showing an image photographed in Example 3 of the present invention and a subject group determined by subject determination means.
  • FIG. 15 is a configuration diagram of an image pickup optical system, a pixel shifting unit, and an image pickup device according to Example 5 of the present invention.
  • FIG. 16 is a plan view of a piezoelectric fine movement mechanism according to an embodiment of the present invention.
  • FIG. 17 is a diagram showing an example of an arrangement of an optical system according to an embodiment of the present invention.
  • FIG. 18 is a flowchart of the entire operation in the imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 19 is a schematic perspective view of a main part of an example of a conventional compound-eye imaging device.
  • FIG. 20 is a conceptual explanatory diagram of high resolution using conventional pixel shifting.
  • the image pickup apparatus using the compound eye type optical system is reduced in size and thickness, and images taken in time series by the second image pickup system that does not shift pixels are compared.
  • the amount of camera shake (the amount of camera shake) can be detected. Using this amount of camera shake, camera shake can be corrected for images shot with the first imaging system that shifts pixels. That is, it is possible to achieve both downsizing and thinning of the imaging device and high resolution.
  • the amount of blur is compared by comparing the image memory storing the image information of a plurality of frames taken in time series with the image information of the plurality of frames stored in the image memory. It is preferable that the camera further includes a blur amount deriving unit that derives the image and an image synthesizing unit that synthesizes the images of the plurality of frames stored in the image memory.
  • the amount of change in the positional relationship by the pixel shifting unit is determined based on the amount of blur obtained by the blur amount deriving unit. According to this configuration, the pixel shift amount can be adjusted according to the amount of camera shake, which is advantageous for improving the resolution.
  • the amount of change in the positional relationship by the pixel shifting unit may be fixed. According to this configuration, it is not necessary to derive the blur amount during shooting and adjust the pixel shift amount, and the time-series shooting time interval can be shortened. This reduces camera shake and enables shooting even when the subject moves quickly.
  • the present invention further includes a parallax amount deriving unit that obtains the magnitude of the parallax for the image forces captured by the plurality of imaging systems having different optical axes, and the image synthesizing unit is obtained by the parallax amount deriving unit. It is preferable that the image is corrected and synthesized based on the parallax amount and the blur amount obtained by the blur amount deriving unit. According to this configuration, when correcting an image, blur correction is performed. In addition, since the parallax correction depending on the distance of the subject is also corrected, the resolution of the synthesized image can be further increased. That is, it is possible to prevent a decrease in resolution depending on the distance of the subject.
  • the image processing apparatus further includes an optimum image selection unit that selects image information used for the composition of the image composition unit from the information and image information captured by the second imaging system.
  • the first and second imaging systems can obtain images before and after blurring, images with parallax, and images with pixel shifts, so images that are suitable for improving resolution without depending on chance. You can choose.
  • the blur amount deriving unit derives a blur amount for each of the different subjects
  • the image composition unit composes an image for each of the different subjects. It is preferable. According to this configuration, by deriving the blur amount for each subject, the resolution can be improved even when the entire image does not move uniformly due to the subject moving.
  • the image processing apparatus further includes means for dividing the image information into a plurality of blocks, the blur amount deriving unit derives a blur amount for each of the plurality of blocks, and the image synthesizing unit includes the plurality of blocks. It is preferable to synthesize an image every time. Also with this configuration, it is possible to improve the resolution when the amount of movement of the subject exists. Furthermore, it is not necessary to detect the subject, and the processing time can be shortened.
  • the plurality of imaging systems having different optical axes include an imaging system that handles red, an imaging system that handles green, and an imaging system that handles blue, and each of the imaging systems corresponding to the respective colors.
  • the number of imaging systems corresponding to at least one color is two or more, and the two or more imaging systems that handle the same color include the first imaging system and the second imaging system. It is preferable that According to this configuration, a color image with improved resolution can be obtained.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment.
  • System The control unit 100 is a central processing unit (CPU) that controls the entire imaging apparatus.
  • the system control means 100 controls the pixel shifting means 101, the transfer means 102, the image memory 103, the blur amount deriving means 104, and the image composition means 105.
  • a subject to be photographed (not shown) is photographed by the first imaging system 106b having the pixel shifting means 101 and the second imaging system 106a having no pixel shifting function.
  • the imaging optical system 107a and the imaging optical system 107b the subject forms an image on the imaging elements 108a and 108b and is converted into image information as a light intensity distribution.
  • the pixel shifting means 101 shifts the relative positional relationship between the object image formed on the image sensor 108b by the image pickup optical system 107b and the image sensor 108b in the in-plane direction of the image sensor 108b. It is. That is, the pixel shift means 101 can change the relative positional relationship between the image sensor 108b and the incident light beam incident on the image sensor 108b in time-series imaging.
  • the positional relationship between the imaging optical system 107a and the imaging element 108a is set so as not to deviate in the in-plane direction of the imaging element 108a. Therefore, the relative positional relationship between the subject image formed on the image sensor 108a by the imaging optical system 107a and the image sensor 108a is fixed in time-series imaging. That is, in the second imaging system 106a, the relative positional relationship between the imaging device 108a and the incident light incident on the imaging device 108a is fixed in time-series imaging.
  • the transfer means 102 transmits the image information photoelectrically converted by the image sensors 108a and 108b to an image memory 103 that stores an image.
  • the first imaging system 106b and the second imaging system 106a are individually driven, and each image is sequentially transferred to the image memory 103 and stored. As will be described later, the pixel shift amount is adjusted while detecting the blur amount using the image captured by the second imaging system 106a. For this reason, the second imaging system 106a can be driven at high speed. That is, the second imaging system 106a can increase the number of times of capturing images per unit time.
  • the blur amount deriving unit 104 derives a blur amount by comparing image information captured at different times (in time series) by the optical system without shifting the pixels, in the second imaging system 106a. It is. The details will be described later.
  • the first imaging system 106 so as to correct this blur amount.
  • the pixel shift amount of b is set, and the pixel shifted image is stored in the image memory 103.
  • the image synthesizing unit 105 synthesizes images captured by the first imaging system 106b and the second imaging system 106a and stored in the image memory 103, and generates a high-resolution image.
  • FIG. 2 is a flowchart showing the overall operation of the imaging apparatus according to the present embodiment.
  • Shooting starts in response to the shooting start command in step 200.
  • shooting pre-processing in step 201 is performed. This calculates the optimal exposure time and performs the focusing process.
  • focusing may be performed by measuring the distance of the subject using a laser or radio wave.
  • the optimal exposure time in consideration of ambient ambient light and the like.
  • These include a method of detecting the brightness with an illuminance sensor and setting the exposure time, and a method of providing a preview function for capturing an image before starting shooting.
  • the method of setting the preview function is to convert the image captured before the start of shooting to brightness information by gray scale. If the histogram is biased to white (bright), it is judged as overexposed (exposure time is too long), and if the histogram is biased to black (dark), it is underexposed (exposure time is too short). And adjust the exposure time.
  • the time from the shooting start command to the start of exposure can be shortened.
  • step 202 imaging by pixel shifting is performed. This photographing is performed by repeating each process from step 203 to step 208.
  • Step 203 is an exposure process of the second imaging system 106a
  • step 204 is a process of transferring an image captured by the second imaging system 106a to the image memory 103. Images taken at different times by the second imaging system 106a are transferred to the image memory 103.
  • the images stored in the image memory 103 are compared to determine the amount of blur (the amount of blur of the imaging device).
  • step 206 based on the pixel shift amount adjusted to reflect the blur amount obtained in step 205, the first imaging system 106b shifts the pixel and takes an image.
  • Step 207 is an exposure process of the first imaging system 106b
  • step 208 is a process of transferring an image photographed by the first imaging system 106b to the image memory 103.
  • the blur amount derivation will be specifically described first. As described above, if images are taken at different times, the image may be blurred due to camera shake or subject shake during that time. In order to utilize the invalid portion of the pixel by pixel shifting, it is necessary to determine the amount of pixel shifting considering this blur.
  • step 202 do not perform pixel shifting immediately before pixel shifting! Capture images taken at different times with the second imaging system 106a, calculate the blur amount, and reflect it in the pixel shift amount. I am letting.
  • the camera shake amount of the imaging apparatus is obtained as described above.
  • the specific method will be described.
  • the subject appears and moves in the time-series images.
  • the time interval is short, the shape of the subject does not change, and the position can be regarded as moving. For this reason, of two images with different shooting times, one is the comparison source image and the other is the comparison destination image, and it is examined to which part of the comparison destination image the predetermined area of the comparison source image has moved. Thus, it is possible to determine how the image has moved.
  • comparison source region a specific region in the comparison source image (hereinafter referred to as “comparison source region”) corresponds to the comparison source image.
  • evaluate source region an evaluation area of the same size as the area, and evaluate how similar the comparison source area and evaluation area are!
  • evaluation areas are sequentially set at different positions, and the movement destination of the comparison source area is searched while performing the above-described evaluation in each evaluation area. In this case, the evaluation area most similar to the comparison source area becomes the movement destination of the comparison source area.
  • the image captured by the image sensor can be regarded as a set of light intensities corresponding to each pixel, the light from the Xth pixel in the horizontal direction to the right and the yth pixel in the vertical direction from the top left is the origin. If the intensity is I (x, y), the image can be considered as a distribution of this light intensity I (x, y). it can.
  • FIG. 3 shows the positional relationship between the comparison source region 301 and the evaluation region 302.
  • the comparison source area is set to a rectangular shape where the upper left pixel position of the comparison source area is (xl, yl) and the lower right pixel position is (x2, y2). is doing.
  • the evaluation area (m, n) moved by m pixels to the right and n pixels downward from the comparison source area the upper left pixel is (xl + m, yl + n) and the lower right position is It can be represented by a region of (x2 + m, y2 + n).
  • the evaluation value R (m, n) shows a smaller value as the correlation between the light intensity distribution (image) of the comparison source region and the evaluation region becomes larger (similar).
  • m and n need not be limited to integers, and the original light intensity I (X, y) force is also interpolated between the pixels I '(X, y ) And calculating the evaluation value R (m, n) from (Equation 1) based on I '(X, y) Can do.
  • equation 1 a method of data interpolation, linear interpolation, nonlinear interpolation, or deviation method may be used!
  • the values of m and n are changed, and an evaluation region whose evaluation value is most similar to the comparison source region is searched with subpixel accuracy.
  • the blur direction of camera shake and subject blur is not limited to a specific direction, so the values of m and n need to be considered including negative values (evaluation of areas moved leftward or upward).
  • m and n may be changed so that the entire range of the comparison target image can be evaluated, the image of the subject moves greatly due to camera shake or the like, and falls outside the light receiving range of the image sensor. Since it cannot be synthesized as an image, it is generally preferable to limit m and n to a predetermined range to shorten the calculation time.
  • the combination of m and n where the evaluation value R (m, n) found in this way is the minimum value is the amount of blur indicating the position of the comparison target image area corresponding to the comparison source area.
  • comparison source region need not be limited to a rectangle, and an arbitrary shape can be set.
  • calculation of the evaluation value does not need to be limited to the sum of absolute values of the differences in light intensity.
  • the evaluation value may be calculated.
  • the comparison method using the correlation of the images can be used for obtaining the amount of parallax described later, and can also be used for calibration of the pixel shifting means. For example, by taking an image before and after pixel shifting by the pixel shifting means and evaluating the amount of shift of the image, the actuator used for pixel shifting is moving accurately due to the surrounding environment (temperature and deterioration over time). Can confirm. By such processing, pixel shifting by the actuator can be ensured.
  • FIG. 4 is a diagram showing image movement due to camera shake in the present embodiment.
  • This figure shows an example of shooting an image of a landscape with little subject movement!
  • FIG. 4A is a diagram when the subject and the camera are moved in parallel, and
  • FIG. 4C shows the change in the image between shooting times 1 and 2 in this case.
  • FIG. 4B is a view when the camera is rotated in the horizontal direction, and
  • FIG. 4C shows a change in the image between shooting times 1 and 2 in this case.
  • the resolution is further improved by detecting and correcting image distortion due to this rotation.
  • only calculating the amount of image blur for one specific evaluation area can only determine the parallel movement of the image, so multiple evaluation areas are set and the amount of blur at each location is calculated.
  • the amount of camera shake and image distortion in each evaluation region can be obtained.
  • FIG. 5 is a diagram for explaining adjustment of the pixel shift amount. This figure shows an enlarged part of a part of the image sensor, and shows the assumed pixel shift vector 400, the blur vector 401 detected by the blur derivation means, and the actual pixel shift vector 402. ing.
  • an image in which the amount of deviation in the X direction and the ⁇ direction of the vector 401 is an integer pitch (integer multiple of one pixel pitch) can be regarded as the same as an image obtained by shifting pixel coordinates by an integer pixel. it can.
  • shooting at shooting time 2 by the second imaging system 106a without pixel shifting is the same as shooting an image that was already shot at shooting time 1 with different pixels.
  • the first pixel shift In the imaging system 106b as in the case where there is no camera shake at all, by shifting 0.5 pixels in the X direction as in the vector 400, the invalid part 405 on the right side of the photoelectric conversion unit 404 can be photographed, and the pixels are shifted. The effect of can be obtained.
  • a new pixel shift vector is set so as to be the same as the shift amount of the partial force vector 400 equal to or smaller than the integer pitch in the hand shake, the pixel shift effect can be obtained.
  • the portion of the blur vector 401 that is less than or equal to the integer pitch in the X direction is 0.25 pixels, and the portion that is less than or equal to the integer pitch in the Y direction is 0.5 pixels.
  • a new pixel shift vector should be set so that the portion below the integer pitch in the X direction is 0.5 pixels and the partial force is less than the integer pitch in the Y direction!
  • the pixel shift vector is set to 0.25 pixels in the X direction and 0.5 pixels in the Y direction as in the vector 402 in FIG.
  • the positional relationship is the same as in the case of pixel shifting using the element shifting vector 400. That is, according to the present embodiment, since the pixel shift vector is adjusted in accordance with the blur vector, it is possible to always obtain the pixel shift effect.
  • step 202 After a series of steps in step 202 is repeated until the set number of image shifts is completed, the images stored in the image memory are combined in step 209, and the images are output in step 210 to complete the shooting.
  • a concrete example is shown below.
  • FIG. 6 shows the configuration of the imaging optical system, the pixel shifting means, and the imaging device according to the first embodiment.
  • an imaging optical system two aspherical lenses 601a and 601b having a diameter of 2.2 mm were used.
  • the optical axis of the lens is almost parallel to the Z axis in Fig. 6, and the distance between them is 3 mm.
  • a glass plate 602 is provided on the optical axis of the lens 601b.
  • the glass plate 602 can be tilted with respect to the X-axis and Y-axis by a piezoelectric actuator and a tilt mechanism (not shown).
  • the pixel is shifted by 1/2 (1.2 m) of the pixel pitch in the horizontal direction (X-axis direction) to double the number of pixels.
  • the glass plate 602 has an optical glass with a width (X-axis direction) of 2 mm, a height (Y-axis direction) of 2 mm, and a thickness (Z-axis direction) of 500 ⁇ m. BK7 is used.
  • a monochrome CCD 603 having a pitch of 2.4 m between adjacent pixels was used as the image sensor 603.
  • the light receiving surfaces of the glass plate 602 and the image sensor 603 are substantially parallel to the XY plane in FIG. Further, the image sensor 603 is divided into two regions 603a and 6003b so as to correspond to each optical system on a one-to-one basis. By providing a readout circuit and a drive circuit for each of the regions 603a and 603b of the image sensor 603, the images of the regions 603a and 603b can be individually read out.
  • a method of inclining the glass plate as the pixel shifting means is used.
  • the method is not limited to this method.
  • an image sensor or lens may be physically powered by a predetermined amount using an actuator using a piezoelectric element, an electromagnetic actuator, or the like. Even when other means are used as the pixel shifting means in this way, the configuration shown in FIG. 6 is the same except for the glass plate 602.
  • one image sensor is divided into two different regions, but an image sensor that uses two different image sensors so as to correspond one-to-one with each optical system may be used.
  • This form may be any form as long as the plurality of imaging areas correspond one-to-one with each optical system.
  • FIG. 7 shows a configuration of the imaging apparatus according to the second embodiment.
  • the main difference from the first embodiment is that the second embodiment is that a parallax amount deriving means 700 is added, and the imaging element 70 1 is a body, which is substantially the same time as the first imaging system.
  • the second imaging system is photographed, and optimum image selection means 702 for selecting an image to be combined based on the parallax amount and the blur amount is added. Explanation of overlapping parts with the first embodiment is omitted.
  • FIG. 8 shows a flowchart of the overall operation of the imaging apparatus according to the present embodiment.
  • the imaging start command in step 200 and the imaging pre-processing in step 201 are the same as in the first embodiment.
  • step 800 photographing by pixel shifting is performed.
  • Step 800 is the same as Step 801
  • the exposure process of the image sensor, the transfer process of the image of the image sensor in step 802 to the image memory 103, and the pixel shift process in step 803 are repeated.
  • the image sensor 701 is configured to be shared by the first image pickup system 106b and the second image pickup system 106a, images are taken at almost the same timing.
  • the pixel shift amount is a fixed value regardless of the amount of camera shake, and is set for pixels that are set so that invalid pixels can be used effectively when there is no camera shake (for example, 0.5 pixels).
  • step 800 is a step of taking in an image and deriving a blur amount in the second imaging system 106a in order to adjust the pixel shift amount ( Step 205) in FIG. 2 is omitted. For this reason, the interval between shooting time 1 for shooting without pixel shifting and shooting time 2 for shooting with pixel shifting can be shortened. As a result, camera shake is reduced, and shooting can be performed even when the subject moves faster than in the first embodiment.
  • step 803 After the pixel-shift imaging in step 803 is completed, the images stored in time series among the images stored in the image memory 103 in step 804 are processed in the same manner as in step 205 in the first embodiment. Compare and find the amount of blur. If there is a movement of the subject, the amount of blur will not be uniform in the image, and if the amount of blur is determined and superimposed together, it will not overlap exactly and resolution will not improve depending on the location.
  • the resolution of the entire image can be improved. For this division, it is not necessary to limit to the rectangle, separately detect the subject, and divide each subject to detect the amount of blur.
  • step 805 images taken by imaging systems with different optical axes at the same time are compared to determine the amount of parallax.
  • the relative position of the subject image formed on the image sensor changes according to the distance of the subject that the image forming position is not only the distance between the centers of the lenses.
  • FIG. 9 is a diagram for explaining parallax.
  • two imaging optical systems 1301a and 130 lb having the same characteristics are installed at a distance D, and the imaging surfaces of the imaging optical systems are denoted by 1302a and 1302b, respectively.
  • the imaging optical systems 1301a and 1301b observe the same subject from different positions. For this reason, parallax occurs between images formed on the imaging surfaces 1302a and 1302b.
  • the parallax amount ⁇ is given by (Equation 2) below.
  • D is the distance between the optical axis of the imaging optical system 1301a and the optical axis of the imaging optical system 1301b
  • f is the focal length of the imaging optical systems 1301a and 1301b
  • A is the distance between the subject and the imaging planes 1302a and 1302b.
  • the parallax amount ⁇ can be expressed as D'fZA, and ⁇ can be considered as 0.
  • the images taken by the imaging optical systems 1301a and 130 lb can be regarded as the same. Therefore, if the distance D between the lens centers is corrected, the composition process can be performed as it is.
  • the images captured by the imaging optical system 1301a and the imaging optical system 1301b are images that have a shift due to parallax depending on the distance of the subject and cannot be regarded as the same. Therefore, it cannot be combined as it is.
  • the lens center distance D may be calculated from the lens distance distance, a subject that is a marker is placed at infinity, and the position where the image is formed is regarded as the center of the lens. It may be calculated.
  • the method of dividing the block is not limited to this method, and the block may be divided by changing the number of pixels or the shape.
  • the direction in which the parallax occurs is the origin of the image sensor (image sensor And the intersection of the corresponding optical system with the optical axis of each optical system)
  • the combination of m and n in (Equation 1) is limited according to the direction when detecting the visual difference. Just do it.
  • step 806 an image is selected that has a combination that improves resolution when combined based on the amount of blur and the amount of parallax. As described above, the resolution is improved by shifting the pixels as long as the pixels to be overlapped are shifted so as to use the invalid portion. It can be used as well.
  • FIG. 10 is an explanatory diagram of a method for selecting an optimum image.
  • the shaded area in this figure is a subject image formed on the image sensor.
  • subject images 1001a and 1001b are formed in the imaging region 1000a of the second imaging system and the imaging region 1000b of the first imaging system. It is assumed that the subject is on the center line of the second imaging system.
  • the subject image 1001b is formed at a position shifted by ⁇ on the imaging region 1000b.
  • the image of each imaging area is transferred to the image memory 103, it is stored as two-dimensional data.
  • the upper left coordinate of the subject image 1001a is (ax, ay)
  • the upper left coordinate of the subject image 1001b is parallax ⁇ Since it is shifted by the amount, (ax + ⁇ , ay) is obtained.
  • the second imaging area is 1002a
  • the first imaging area is 1002b
  • the subject images at that time are 1003a and 1003b.
  • the first imaging system was moved 0.5 pixels to the right by pixel shifting means.
  • the subject image 1003a on the imaging region 1002a is imaged at a position shifted (bx, by) from the origin.
  • FIG. 11 is another explanatory diagram of the optimal image selection method.
  • the amount of deviation bx and the amount of parallax ⁇ can be divided into a case where it is close to an integer pitch and a case where it is close to a value obtained by adding a 0.5 pixel pitch to an integer pitch.
  • bx and ⁇ indicate values equal to or smaller than the integer pitch.
  • Each value in FIG. 11 is obtained by calculating the value of each X coordinate of the subject with 0 as the X coordinate value ax of the reference imaging region 1000a.
  • 0 indicates that the positional relationship between the pixel of the imaging element that converts the subject into an image and the subject is shifted by an integer pitch compared to the case of the reference imaging region 1000a.
  • 0.5 indicates that the pixel pitch is shifted by 0.5.
  • the image corresponding to the portion indicated by 0.5 is an image that can effectively use the invalid portion.
  • the calculated value of the X coordinate is 0.5 for the four images, regardless of the combination of the amount of parallax ⁇ and the amount of camera shake bx. There is an image. Therefore, in any combination, it is possible to obtain an image that effectively uses the invalid portion. That is, the resolution can be improved regardless of camera shake or the distance of the subject.
  • the part where the values of bx and ⁇ in FIG. 11 are 0.5 may be a value close to 0.5 (for example, a value from 0.3 to 0.7).
  • the part set to 0 may be a value close to 0 (for example, a value less than 0.3 or a value greater than 0.7).
  • image data needs to be arranged on a grid. So, when you overlay and combine images, you can do linear interpolation processing! ⁇ .
  • the pixel pitch in the oblique direction may be used as a reference when the optimum image is selected based on the horizontal pixel pitch of the image sensor. Also, pixel pitch standards can be mixed depending on the situation.
  • Example 2 according to Embodiment 2 will be described.
  • Configuration on appearance of Example 2 6 has the same configuration as that of FIG. 6 of the first embodiment, and the optical system and the pixel shifting mechanism of the second embodiment are also the same as those of the first embodiment.
  • the second embodiment is different in that the image sensor 603 exposes at approximately the same time and transfers an image, and the driving amount of the pixel shifting mechanism is fixed.
  • an optical glass BK7 (602 in the figure) with a thickness of 500 m is provided on the optical axis of the lens 601b, and tilted by about 0.4 degrees using a piezoelectric actuator and tilting mechanism.
  • the subject image is shifted in the horizontal direction (X-axis direction) by a pixel pitch of 1Z2 (1.2 / zm) to double the number of pixels.
  • First image capturing time 1 time taken of the time taken to the second image after the pixel shift (after inclining the glass plate) and shooting time 2.
  • the size of the area to be compared need not be limited to a square, and may be set arbitrarily.
  • the parallax amount was obtained from the captured image 701 and the captured image 702 at the imaging time 1 by the parallax amount deriving means.
  • the optimum image selection means selects an image to be synthesized.
  • the method of tilting the glass plate is used as the pixel shifting means.
  • the force is not limited to this method.
  • an image sensor or lens may be physically powered by a predetermined amount using an actuator using a piezoelectric element, an electromagnetic actuator, or the like.
  • one image sensor is divided into two different areas.
  • two different image sensors may be used so as to correspond to each optical system in a one-to-one relationship.
  • the form of the image sensor may be any form as long as the plurality of image areas correspond to each optical system on a one-to-one basis.
  • the present embodiment is different from the second embodiment in that there is a moving amount of a subject to be imaged (for example, a person or an animal).
  • a subject to be imaged for example, a person or an animal.
  • the subject is moved to another location while the first image is shot, the data is stored in the memory and the second shot is taken, and the first image is captured.
  • the scene where a part of the subject moves to another location is shot.
  • block dividing means for dividing an image into a plurality of blocks is provided, and the amount of blur is derived for each block.
  • the block dividing means is controlled by the system control means 100 and divides the entire first image taken by the second imaging system 106a without pixel shifting into 10 ⁇ 10 pixel blocks.
  • the blur amount deriving unit 104 checks, for each block, which position in the second image each of the divided images corresponds to. (Equation 1) was used to derive the amount of image movement.
  • FIG. 13 shows images taken in time series by the second imaging system 106a without shifting the pixels stored in the image memory according to the present embodiment.
  • FIG. 13A shows an image taken at shooting time 1
  • FIG. 13B shows an image taken at shooting time 2.
  • Fig. 13C shows the amount of image movement derived for each block.
  • the block indicated by A is a block from which a 10.1 pixel blur is derived on the right in FIG. 13A
  • the block indicated by B is 8.8 pixels on the left in FIG. 13A. This is the block from which the blur is derived.
  • the amount of camera shake and the movement of the subject are integrated.
  • the parallax can be divided into blocks and obtained for each block. From the sum of the blur amount and the parallax amount, as in the case of the second embodiment, the one having an integer pitch (or close to the integer pitch) and the 0.5 pixel pitch (or 0.5 pixel pitch). By selecting images with a layout close to (2), it is possible to select an image with improved resolution when combined.
  • the resolution of the entire image can be improved even when the movement of the subject is large.
  • the pixel shifting technique is a technique for improving the resolution, there is no effect on a smooth surface of the subject to be photographed or a fine pattern below the resolution performance of the lens.
  • shifting pixels by reducing the time taken between shots, camera shake and subject shake are reduced, and resolution is improved.
  • the shooting interval can be shortened by stopping the processing for that block.
  • high-frequency components can be seen in high-resolution parts when Fourier transform is performed. Therefore, after the image is captured and divided into blocks, the frequency components of the image are analyzed, and if it is below a predetermined condition, the derivation of the blur amount and the parallax calculation for that portion may be stopped.
  • the present embodiment is different from the third embodiment in that the present embodiment uses subject discrimination means for discriminating different subjects in the image.
  • subject discrimination means By using the subject discrimination means, it is easy to derive the blur amount for each subject. For this reason, the amount of blur can be accurately derived even when the amount of blur is different in an image where there is subject blur in addition to camera shake.
  • the blocks can be divided for each subject or the block size can be changed for each subject. It is also possible to selectively synthesize only a specific subject when synthesizing images.
  • the subject discrimination means a means for measuring the distance to the subject using radio waves or the like to identify different image areas, a means for discriminating different subjects by performing edge detection or the like by image processing, and a parallax amount are used. There is a method of extracting a subject from an image. In addition, the specific means is not limited as long as different subjects in the image can be distinguished.
  • the basic configuration of the present embodiment is the same as that of the second embodiment, and therefore overlapped. The description is omitted here.
  • Fig. 14 is a diagram showing an image photographed in the present example and a subject group discriminated by the subject discriminating means.
  • the captured image was divided into 10 ⁇ 10 pixel blocks (horizontal 11 ⁇ vertical 9), and the distance to the subject was measured by radio waves for each block, and different subjects were identified.
  • subject discrimination those within a certain error range in distance measurement were discriminated as the same subject. In this example, the error range was 5%.
  • Fig. 14A is an image taken without pixel shifting with the second imaging system 106a at shooting time 1
  • Fig. 14B is an image shot with no pixel shifting with the second imaging system 106a at shooting time 2.
  • the distance (unit: meters) measured by radio waves for each block is shown.
  • the distance A may be calculated for each block by the above (Equation 1) using the parallax ⁇ obtained for each block.
  • the distance of the subject was measured by radio waves. As shown in Fig. 14A, two groups of subjects could be identified. One is subject group 1 at a distance of approximately 5 meters, and the other is subject group 2 at a distance of approximately 2 meters. Each subject group is identified by the distance within the 5% error range.
  • the blur correction of subject group 1 is performed on the image taken at shooting time 2! / And the image composition is performed.
  • the same method as in Example 2 was used as the method for selecting an image by the optimum image selection means.
  • a value that is less than or equal to an integer pitch among the 10.3 pixel pitch blur of subject group 1 is 0.3 pixels, and bx in FIG. it can.
  • the value of bx can be set to a negative value of 0.5. In this case, it becomes 0.5 force 5 in Table 11.
  • the positive / negative difference of bx is a difference in whether the position of the invalid pixel to be effectively used is the force left which is the right of the photoelectric conversion unit, and the contribution to the resolution is the same.
  • the blur amount can be derived for each subject, so that the blur amount of the image can be corrected accurately.
  • the image may partially protrude from the shooting range due to camera shake and subject blur.
  • V If the image cannot be recognized! /, Increase the resolution by shifting the pixel to the image area. Instead, you only need to select one of the images you have taken.
  • FIG. 15 shows configurations of the imaging system, the pixel shifting means, and the imaging device according to the present embodiment.
  • an aspherical lens 1101a with a diameter of 2 mm: LlOld was used as the imaging optical system.
  • the optical axis of the lens is almost parallel to the Z axis in Fig. 15, and the distance is 2.5 mm.
  • Color filters 1102a to 1102d are provided in front of each lens (subject side) as wavelength separation means that transmits only a specific wavelength.
  • 1102a and 1102d are color filter letters that transmit green
  • 1102b is a color filter that transmits red
  • 1102c is a color filter that transmits blue.
  • 1103a to 1103d are four image sensors corresponding to each lens on a one-to-one basis, using a common drive circuit and operating in synchronization.
  • a color image can be obtained by combining images taken by each optical system (color component).
  • the pixel pitch of the image sensor is 3 ⁇ m in this example.
  • each lens and the image sensor are installed in parallel with the X axis in FIG. 15 and at equal intervals, and the light receiving surface of each image sensor is substantially parallel to the XY plane in FIG. .
  • Reference numeral 1104 denotes a piezoelectric fine movement mechanism serving as a pixel shifting means.
  • the image sensors 1103a to 103c are attached to the piezoelectric fine movement mechanism 1104, and the X direction in the figure. Enabled to drive in Y direction.
  • the 1103d is independent of the piezoelectric fine movement mechanism, and does not perform pixel alignment. It becomes the second imaging system.
  • FIG. 16 is a plan view of the piezoelectric fine movement mechanism 1104.
  • Image sensors 1103a to 1103c are installed on the stage 1201 at the center.
  • the stage 1201 is finely moved in the X-axis direction in the figure by the laminated piezoelectric elements 1202a and 1202b, and the stage fixing frame 1202 is finely moved in the Y-axis direction in the figure by the laminated piezoelectric elements 1203a to 1203d.
  • the image sensor can be finely moved independently in two axial directions perpendicular to each other in the horizontal plane of the image sensor.
  • each image sensor By capturing the first image, four images corresponding to the four image sensors 1103a to 1103d are obtained.
  • Each of the three image sensors 1103 & 1103 was configured to shoot while moving by 0.5 pixel pitch (1.5 m) in the direction and Y direction. Specifically, take the first picture without shifting the pixels, move the picture by 0.5 pixels in the X direction, take the second picture, and then keep the position in the X direction. The third shot was taken with a 0.5 pixel pitch shift in the Y direction, and finally the fourth shot was taken with a power of 0.5 pixel pitch in the X direction while maintaining the position in the Y direction. By combining these four images, a high-resolution image was obtained.
  • the amount of blur at each shooting time was derived for each of a plurality of images taken in time series using the lens l lOld of the second imaging system without pixel shifting.
  • the parallax amount is derived from the first image captured by the first imaging system with the green power filter 1102a and the second imaging system with the green color filter 1102d. Asked. This is because the amount of parallax that makes it easy to compare the direction images of images taken using the same color filter can be obtained more precisely.
  • FIG. 17 shows another example of the arrangement of the four optical systems.
  • FIG. 17A is an example in which four optical systems are arranged at the vertices of a rectangle. GO, G1 are green, R is red, and B is blue, indicating the wavelength separation means (color filter).
  • FIG. 17B is a diagram for explaining the derivation of the amount of parallax in the arrangement of FIG. 17A.
  • a green imaging system arranged on a diagonal line is used for deriving the amount of parallax.
  • the parallax of the other red and blue imaging systems is an orthogonal component of the parallax amount in the green imaging system because the four optical systems are arranged in a rectangular rectangle.
  • a color filter is provided in front of the lens for wavelength separation.
  • a color filter is provided between the lens and the image sensor, or a color filter is directly formed on the lens. May be.
  • the color filter is not necessarily limited to the three primary colors R, G, and B.
  • the complementary color filter is used to separate the wavelengths and invert the color information by image processing. ⁇ .
  • the wavelength separation means is not limited to a color filter.
  • a mechanism for tilting using a glass plate is used as the pixel shifting means, colored glass can be used as the glass plate.
  • any specific means may be used as the wavelength separation means as long as it is a means for separating only a predetermined wavelength component.
  • FIG. 18 is a flowchart illustrating the overall operation of the imaging apparatus according to the third embodiment.
  • the pixel shift operation method is first determined and a predetermined number of times of shooting is performed.
  • Embodiment 3 has a configuration in which the number of shots varies depending on the shot image.
  • Fig. 18 [Steps 1500, 1501, 1503, 1504 ⁇ ] are the same as steps 200, 201, 801, 802 in Fig. 8. The configuration in FIG. 18 is different from the configuration in FIG. 8 in the subsequent configuration.
  • the amount of blur is obtained in step 1505, and the image to be synthesized is selected in step 1506.
  • step 1507 After selecting an image in step 1506, in step 1507, an image lacking in composition is found, and the amount of deviation is determined so that the image can be obtained.
  • step 1508 pixel shifting is executed. To do.
  • Step 1502 is repeated by repeating a series of steps in step 1502 until an image necessary for composition is obtained. Thereafter, the amount of parallax is derived in step 1509, the images stored in the image memory are combined in step 1510, the image is output in step 1511, and the shooting is completed.
  • the present invention is useful for an imaging device in, for example, a digital still camera or a mobile phone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　光学系（１０７ａ，１０７ｂ）と撮像素子（１０８ａ，１０８ｂ）とを含みそれぞれ光軸が異なる複数の撮像系（１０６ａ，１０６ｂ）を備えた複眼撮像装置であって、複数の撮像系（１０６ａ，１０６ｂ）は、撮像素子（１０８ｂ）に結像する画像と撮像素子（１０８ｂ）との相対的な位置関係を変化させる画素ずらし手段（１０１）を持つ第１の撮像系（１０６ｂ）と、撮像素子（１０８ａ）に結像する画像と撮像素子（１０８ａ）との相対的な位置関係が時系列の撮影において固定されている第２の撮像系（１０６ａ）とを含んでいる。                                                                         

Description

明 細 書
複眼撮像装置
技術分野
[0001] 本発明は、画素ずらし機能を有する複眼撮像装置に関する。
背景技術
[0002] 携帯機器に用いる撮像装置には、高解像度化と小型化の両立が必要とされている 。撮像装置の小型化は、撮像光学レンズの大きさや焦点距離、撮像素子の大きさ〖こ より制限される。
[0003] 一般的に、光は波長により屈折率が異なるため、全波長の情報が含まれる景色を 単レンズで撮影面に結像することはできない。このため、通常の撮像装置の光学系 は、赤、緑、青の波長の光を同一の撮像面に結像するため、複数のレンズを重ねた 構成となっている。この構成では、必然的に撮像装置の光学系が長くなり、撮像装置 が厚くなる。そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離 が短い単レンズを用いる複眼方式の撮像装置が提案されている（例えば特許文献 1)
[0004] 複眼方式のカラー画像撮像装置は、撮像光学系を青色の波長の光を受け持つレ ンズと緑色の波長の光を受け持つレンズと赤色の波長の光を受け持つレンズとを平 面内に並べた構成にし、それぞれのレンズに対して、撮像領域を設けるものである。
[0005] この撮像領域は、複数の撮像素子を並べて配置するだけでなぐ一つの撮像素子 を複数の領域に分けてもよい。この構成では、各レンズが受け持つ光の波長が限定 されるため、単レンズにより被写体像を撮像面に結像することが可能となり、撮像装置 の厚さを大幅に小さくできる。
[0006] 図 19に従来の複眼方式の撮像装置の一例について要部の概略斜視図を示す。 1 900はレンズアレイであり、 3つのレンズ 1901a、 1901b, 1901cカ 体で成型され ている。 1901aは、赤色の波長の光を受け持つレンズであり、結像した被写体像を赤 色の波長分離フィルター (カラーフィルター）を受光部に貼り付けた撮像領域 1902a で画像情報に変換する。同様に 1901bは、緑色の波長の光を受け持つレンズであり 、撮像領域 1902bで緑色の画像情報に変換され、 1901cは青色の波長の光に対応 するレンズであり、撮像領域 1902cで青色の画像情報に変換する。
[0007] これらの画像を重ね合わせて合成することにより、カラー画像を取得することができ る。なお、レンズは 3個に限定する必要はなぐ複数の同色の画像を取得し合成する ことちでさる。
[0008] このように複眼方式の撮像装置は、撮像装置の厚さを薄くすることができるが、単純 に各色の画像を重ね合わせて合成する場合、各色に分離した画像の画素数により 合成した画像の解像度が決まることになる。このため、緑、赤、青のフィルターを千鳥 にならベた通常のべィヤー配列の撮像装置に比べて、解像度が劣る問題がある。
[0009] 一方、撮像装置の解像度を向上させるには、「画素ずらし」と呼ばれる技術がある。
図 20は、画素ずらしを用いた高解像度化の概念説明図である。本図は、撮像素子の 一部の拡大部分を示している。図 20Aに示すように、撮像素子には受光した光を電 気信号に変換する光電変換部 2101 (以下、「光電変換部」という）と、転送電極など の光を電気信号に変換することができな 、無効部分 2102 (以下、「無効部分」 、う） が存在する。撮像素子においては、この光電変換部 2101と無効部分 2102とを合わ せて、 1画素となる。この画素は、ある一定の間隔 (ピッチ)で規則正しく形成されてい るのが普通である。図 20Aの太線で囲んだ部分が 1画素分であり、 Pは 1ピッチ分を 指している。
[0010] このような撮像素子を用いて行われる画素ずらしの概略を以下に示す。まず、図 20 Aに示す撮像素子の位置で撮影を行なう。次に、図 20Bに示したように、各画素の光 電変換部 2101が無効部分 2102に移動するように、斜め方向（水平方向、垂直方向 ともに画素の 1Z2ピッチ分）に移動させて、撮影を行なう。その後、撮像素子の移動 量を考慮の上、図 20Cで示したように、これら 2枚の撮影画像を合成する。
[0011] このことにより、本来信号として取り得ることのできな力つた無効部分からも信号を取 り出すことができる。すなわち、図 20Cの撮像状態は、図 20Aの撮像素子で撮像した 1回分の撮像状態と比べると、 2倍の光電変換部を有する撮像素子で撮像したものと 同等の解像度となる。したがって、前記のような画像ずらしを行えば、撮像素子の画 素数を増やすことなぐ 2倍の画素数の撮像素子を用いて撮影した画像と等価な画 像を得ることができる。
[0012] なお、例示したように斜め方向にずらした場合に限らず、水平方向、垂直方向にず らした場合は、ずらした方向に解像度を向上させることができる。例えば、ずらしを縦 横に組み合わせると、 4倍の解像度を得ることができる。また、画素ずらしの量は、 0. 5画素に限る必要は無ぐ無効部分を補間するように、細く画素ずらしすることにより、 解像度をさらに向上させることができる。
[0013] また、前記の例では、撮像素子と入射光線の相対的な位置関係を、撮像素子を移 動させることにより変化させた力 画素ずらしの方法はこの方法に限らない。例えば、 撮像素子の代わりに光学レンズを移動させてもよい。また、別の方法として平行平板 を用いた方法などが提案されて 、る (例えば特許文献 1)。特許文献 1に記載の発明 では、平行平板を傾斜させることによって撮像素子に結像する像をずらして 、る。
[0014] このように画素ずらしにより、解像度を向上させることができる力 画素ずらしにおい ては、複数の画像を時系列で撮影した後、合成処理を行ない、高解像画像を生成し ている。このため、本来、補完しあう画像がずれてしまうと解像度が劣化する可能性が ある。すなわち、時系列的に撮影した複数画像から、高解像度画像を合成するため には、手ぶれなどにより撮影中に撮像装置が動いてしまうことによるぶれ (以下、「手 ぶれ」という）、および被写体が動いてしまうことなどによる被写体側のぶれ (以下、「 被写体ぶれ」とする）を除かなくてはならな 、。
[0015] したがって、小型、薄型化を実現するために採用した複眼方式の短所である解像 度低下を、画素ずらし技術によって補うためには、画素ずらしにおけるぶれを除去ま たは補正することが必須となる。
[0016] ぶれをできる限り除去する方法、またはぶれを補正する先行技術がいくつ力提案さ れている。 1つの方法は、カメラを三脚等で固定して撮影するものである。この方法は 、手ぶれによる影響を低減することができる。
[0017] 別の方法は、角速度センサーなどのぶれ検知手段を用いて、手ぶれを検知し、補 正するものである。この手ぶれ補正を行う機構と画素ずらし機構とを兼用し、補正す る方法が提案されている (例えば、特許文献 2、特許文献 3)。
[0018] 特許文献 2に記載の発明では、ぶれ検知手段を用いてぶれ量を検知し、そのぶれ 量に基づき画素ずらし方向、画素ずらし量の補正をした上で、撮像素子を移動させ て画素ずらしをしている。こうすることで、手ぶれによる影響を低減することができる。
[0019] また、前記のように、撮像素子を移動させる方法に限る必要はなぐ特許文献 3では 、検知されたぶれ量に対応させて光学レンズの一部を動かすことにより、手ぶれ補正 と画素ずらしを行い、同様な効果を得ている。ぶれ検知の方法としては、振動ジャィ 口などの角速度センサーを用いる方法、時系列で撮影した画像を比較し、動きべタト ルを求める方法など多彩な方法が提案されている。
[0020] さらに、ぶれを低減する別の方法として、特許文献 3では、時系列で撮影した複数 の画像を比較し、手ぶれなどにより、画像の位置関係が適切にずれて、解像度の向 上が期待できる関係になっている画像のみ選択し、合成する方法が提案されている 。この方法は、すべて、電子的に行われ、手ぶれ補正をする機械的な機構を設ける 必要がなぐ撮像装置を小型化することができる。
[0021] し力しながら、前記の三脚などにより固定する方法は、三脚を常に持ち歩く必要が あるなどユーザーの利便性を大きく損な 、実用的ではな!/、。
[0022] また、特許文献 2、 3に記載のセンサーにより手ぶれを検知し、手振れ補正と画素ず らしを行う方法は、新たにセンサーが必要であり、また、複雑な光学系が必要である など、小型、薄型化に不利になる。
[0023] 一方、特許文献 3に記載の時系列で撮影した複数の画像を比較し、合成に適切な 画像のみを選び出して合成する方法は、新たにセンサーを加える必要はないが、手 ぶれなどにより偶然に適切な位置に画像が来ることを期待しており、確実に解像度が 向上するとは限らない。
特許文献 1 :特開平 6— 261236号公報
特許文献 2：特開平 11― 225284号公報
特許文献 3 :特開平 10— 191135号公報
発明の開示
[0024] 本発明は、前記のような従来の問題を解決するものであり、画素ずらしをする複眼 撮像装置において、手ぶれ、または被写体ぶれがある場合にも画素ずらしの効果の 低下を防止できる複眼撮像装置を提供することを目的とする。 [0025] 前記目的を達成するために本発明の複眼撮像装置は、光学系と撮像素子とを含 みそれぞれ光軸が異なる撮像系を複数備えた複眼撮像装置であって、前記複数の 撮像系は、前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係を 変化させる画素ずらし手段を持つ第 1の撮像系と、前記撮像素子に結像する画像と 前記撮像素子との相対的な位置関係が時系列の撮影において固定されている第 2 の撮像系とを含んで ヽることを特徴とする。
図面の簡単な説明
[0026] [図 1]本発明の実施の形態 1に係る撮像装置の構成を示すブロック図。
[図 2]本発明の実施の形態 1に係る撮像装置における全体動作を示すフローチャート
[図 3]本発明の一実施の形態に係る比較元領域と評価領域との位置関係を示す図。
[図 4]本発明の一実施の形態において、手ぶれによる画像の動きを示す図。
[図 5]本発明の一実施の形態において、画素ずらし量の調整を説明する図。
[図 6]本発明の実施例 1に係る撮像光学系、画素ずらし手段および撮像素子の構成 図。
[図 7]本発明の実施の形態 2に係る撮像装置の構成を示すブロック図。
[図 8]本発明の実施の形態 2に係る撮像装置の全体動作のフローチャート。
[図 9]本発明の一実施の形態において視差を説明する図。
[図 10]本発明の一実施の形態において、最適画像の選択方法を説明する図。
[図 11]本発明の一実施の形態において、最適画像の選択方法を説明する別の図。
[図 12]本発明の実施例 2において、 1回の画素ずらしをして画像メモリに記憶された 画像を示す図。
[図 13]本発明の実施例 3にお 、て、画像メモリに記憶された画素ずらしをしな 、第 2 の撮像系で時系列撮影した画像を示す図。
[図 14]本発明の実施例 3で撮影した画像、および被写体判別手段により判別した被 写体群を示す図。
[図 15]本発明の実施例 5に係る撮像光学系、画素ずらし手段および撮像素子の構成 図。 [図 16]本発明の一実施の形態に係る圧電微動機構の平面図。
[図 17]本発明の一実施の形態に係る光学系の配置の一例を示す図。
[図 18]本発明の実施の形態 3に係る撮像装置における全体動作のフローチャート。
[図 19]従来の複眼方式の撮像装置の一例の要部の概略斜視図。
[図 20]従来の画素ずらしを用いた高解像度化の概念説明図。
発明を実施するための最良の形態
[0027] 本発明によれば、複眼方式の光学系による撮像装置の小型化、薄型化とともに、画 素ずらしをしない第 2の撮像系により時系列で撮影した画像同士を比較することによ り、撮像装置のぶれ量（手ぶれの量）を検知することができる。このぶれ量を用いて、 画素ずらしをする第 1の撮像系で撮影した画像に対し、手ぶれを補正することができ る。すなわち、撮像装置の小型化及び薄型化と高解像度化とを両立することができる
[0028] 前記本発明の複眼撮像装置においては、時系列で撮影した複数フレームの画像 情報を蓄積する画像メモリと、前記画像メモリに蓄積された前記複数フレームの画像 情報を比較して、ぶれ量を導出するぶれ量導出手段と、前記画像メモリに蓄積され た前記複数フレームの画像を合成する画像合成手段とをさらに備えたことが好ましい
[0029] また、前記画素ずらし手段による前記位置関係の変化量は、前記ぶれ量導出手段 により求めたぶれ量に基づき決定されることが好ましい。この構成によれば、手ぶれ 量に応じて、画素ずらし量を調整することができるので、解像度向上に有利になる。
[0030] また、前記画素ずらし手段による前記位置関係の変化量が固定されている構成で もよい。この構成によれば、撮影中にぶれ量を導出して画素ずらし量を調整する必要 がなく、時系列の撮影時刻間隔を短くすることができる。これにより、手ぶれが少なく なるとともに、被写体の動きが速 、場合にも撮影できるようになる。
[0031] また、前記光軸の異なる複数の撮像系で撮影した画像力も視差の大きさを求める 視差量導出手段をさらに備え、前記画像合成手段は、前記視差量導出手段によつ て求めた視差量と、前記ぶれ量導出手段によって求めたぶれ量とに基づき画像を補 正し合成することが好ましい。この構成によれば、画像を補正する際は、ぶれの補正 に加え、被写体の距離に依存する視差の補正もするので、合成した画像の解像度を さらに高めることができる。すなわち、被写体の距離に依存した解像度の低下を防ぐ ことができる。
[0032] また、前記ぶれ量導出手段により求めたぶれ量と、前記視差量導出手段によって 求めた視差量とに基づいて、前記画像メモリに蓄積された前記第 1の撮像系で撮影 された画像情報と、前記第 2の撮像系で撮影された画像情報とから前記画像合成手 段の合成に用いる画像情報を選択する最適画像選択手段をさらに備えたことが好ま しい。この構成によれば、第 1、 2の撮像系により、ぶれ前後の画像、視差のある画像 、画素ずらしした画像を得ることができるので、偶然性に依存することなぐ解像度向 上に適した画像を選択することができる。
[0033] また、異なる被写体を判別する手段をさらに備えており、前記ぶれ量導出手段は、 前記異なる被写体毎にぶれ量を導出し、前記画像合成手段は、前記異なる被写体 毎に画像を合成することが好ましい。この構成によれば、被写体毎にぶれ量を導出 することにより、被写体が動くことにより画像全体が均一に移動しない場合においても 、解像度を向上させることができる。
[0034] また、画像情報を複数のブロックに分割する手段をさらに備えており、前記ぶれ量 導出手段は、前記複数のブロック毎にぶれ量を導出し、前記画像合成手段は、前記 複数のブロック毎に画像を合成することが好ましい。この構成によっても、被写体の移 動量が存在する場合における解像度の向上を図ることができる。さらに、被写体の検 出が不要となり、処理時間の短縮することができる。
[0035] また、前記光軸が異なる複数の撮影系は、赤色を扱う撮像系と、緑色を扱う撮像系 と、青色を扱う撮像系とで構成されており、前記各色に対応した撮像系のうち、少なく とも 1色に対応した撮像系の個数は、 2個以上であり、前記同色を扱う 2個以上の撮 像系は、前記第 1の撮像系と前記第 2の撮像系とを含んでいることが好ましい。この 構成によれば、解像度を向上させたカラー画像を得ることができる。
[0036] 以下、本発明の一実施の形態について図面を参照しながら説明する。
[0037] (実施の形態 1)
図 1は、実施の形態 1に係る撮像装置の構成を示すブロック図である。システム制 御手段 100は、撮像装置の全体を制御する中央演算装置（Central Processing U nit ; CPU)である。システム制御手段 100は、画素ずらし手段 101、転送手段 102、 画像メモリ 103、ぶれ量導出手段 104、画像合成手段 105を制御するものである。
[0038] 撮影する被写体（図示せず）は、画素ずらし手段 101を持つ第 1の撮像系 106bと、 画素ずらし機能を持たな ヽ第 2の撮像系 106aとによって撮影される。撮像光学系 10 7aおよび撮像光学系 107bとによって、被写体は撮像素子 108a、 108b上に結像し 、光の強度分布として画像情報に変換される。
[0039] 画素ずらし手段 101は、撮像光学系 107bによって撮像素子 108b上に結像する被 写体像と、撮像素子 108bとの相対的な位置関係を、撮像素子 108bの面内方向に ずらすものである。すなわち、画素ずらし手段 101により、撮像素子 108bと、撮像素 子 108bに入射する入射光線との相対的な位置関係を時系列の撮影において変化 させることがでさる。
[0040] 一方、撮像光学系 107aと撮像素子 108aとの位置関係は、撮像素子 108aの面内 方向にずれないようにしてある。したがって、撮像光学系 107aによって撮像素子 108 a上に結像する被写体像と、撮像素子 108aとの相対的な位置関係は、時系列の撮 影において固定されていることになる。すなわち、第 2の撮像系 106aは、撮像素子 1 08aと、撮像素子 108aに入射する入射光線との相対的な位置関係は、時系列の撮 影において固定されていることになる。
[0041] 転送手段 102は、撮像素子 108a、 108bで光電変換した画像情報を、画像を記憶 する画像メモリ 103に伝達するものである。
[0042] 第 1の撮像系 106bと第 2の撮像系 106aは個別に駆動し、それぞれの画像を順次 画像メモリ 103に転送し、蓄積する。後述するように第 2の撮像系 106aで撮影した画 像を用いて、ぶれ量を検出しながら、画素ずらし量を調整する。このため、第 2の撮像 系 106aの方力 高速で駆動できるようになつている。すなわち、第 2の撮像系 106a の方が、単位時間当たりの画像の取り込み回数を多くできるようにしている。
[0043] ぶれ量導出手段 104は、第 2の撮像系 106a、すなわち画素ずらしをしな 、光学系 によって異なる時刻に（時系列的に)撮影した画像情報を比較し、ぶれ量を導出する ものである。詳細は後に説明する力 このぶれ量を補正するように第 1の撮像系 106 bの画素ずらし量を設定し、画素ずらしした画像を画像メモリ 103に蓄積する。
[0044] 画像合成手段 105は、第 1の撮像系 106b及び第 2の撮像系 106aで撮影し、画像 メモリ 103に蓄積された画像を合成し、高解像度画像を生成するものである。
[0045] 図 2は、本実施の形態の撮像装置における全体動作を示すフローチャートである。
ステップ 200の撮影開始指令により、撮影が開始する。撮影が開始すると、まずステ ップ 201の撮影前処理が行われる。これは、最適な露出時間の計算、焦点合わせ処 理を行なうものである。
[0046] 例えば、被写体と撮像装置の距離が変わると、結像距離が変化し画像がぼける現 象がある。この現象を補正するために、撮像光学系と撮像素子との距離調整 (焦点 合わせ）が行われる。焦点合わせは、焦点が合った場合に撮影した画像のコントラス トが最大になる特性を用い、撮像光学系と撮像素子との間 (結像距離)を焦点合わせ 用のァクチユエータ（図示せず)で変化させることで実現できる。
[0047] なお、焦点合わせには必ずしもコントラストを用いる必要はなぐレーザーや電波な どにより被写体の距離を計測し、焦点合わせをしてもよい。
[0048] また、周辺環境光などを考慮のうえ、最適な露光時間を調整する必要がある。これ には、照度センサーにより明るさを検出し、露光時間を設定する方法や、撮影開始前 に画像取り込みをするプレビュー機能を設ける方法などがある。プレビュー機能を設 ける方法は、撮影開始前に取り込んだ画像をグレイスケールィ匕して明るさ情報に変 換する。そして、そのヒストグラムが白色（明るい）に偏っていれば、露出過剰 (露光時 間が長すぎる）と判定し、ヒストグラムが黒色（暗い）に偏っていれば、露出不足（露出 時間が短すぎる）と判定し、露出時間を調整する。
[0049] また、プレビュー機能を有する場合、撮影開始指令前に、この前処理を行なってお くことで、撮影開始指令から、露光を始めるまでの時間を短縮することができる。
[0050] 次に、ステップ 202で画素ずらしによる撮影が行われる。この撮影はステップ 203か らステップ 208までの各処理を繰り返して行われる。
[0051] ステップ 203は第 2の撮像系 106aの露光処理であり、ステップ 204は第 2の撮像系 106aで撮影した画像の画像メモリ 103への転送処理である。画像メモリ 103へは、 第 2の撮像系 106aによって異なる時刻に撮影された画像が転送されることになる。 [0052] ステップ 205において、画像メモリ 103に蓄積された画像を比較し、ぶれ量 (撮像装 置のぶれ量）を求める。ステップ 206では、ステップ 205で求めたぶれ量を反映させ て調整した画素ずらし量に基づいて、第 1の撮像系 106bにより画素ずらしをして撮 影をする。ステップ 207は、第 1の撮像系 106bの露光処理であり、ステップ 208は、 第 1の撮像系 106bで撮影した画像の画像メモリ 103への転送処理である。
[0053] これらの各処理のうち、まずぶれ量導出について、具体的に説明する。前記のよう に、異なる時刻に撮影すると、その間における手ぶれ、または被写体ぶれにより画像 にぶれが生じる。画素ずらしにより画素の無効部分を活用するためには、このぶれを 考慮して画素ずらしの量を決める必要がある。
[0054] そのため、ステップ 202では、画素ずらしをする直前に画素ずらしをしな!、第 2の撮 像系 106aで異なる時刻に撮影した画像を取り込み、ぶれ量を算出し、画素ずらし量 に反映させている。
[0055] ステップ 205のぶれ量の導出処理では、前記のように撮像装置の手ぶれ量を求め る。以下、その具体的な方法を説明する。手ぶれや被写体のぶれがあると時系列で 撮影した画像のなかで、被写体が映って 、る位置が移動することになる。
[0056] 短 、時間間隔であれば、被写体の形状は変らず、位置が移動して 、るとみなすこと ができる。このため、撮影時刻の異なる 2つの画像のうち、一方を比較元画像、他方 を比較先画像とし、その比較元画像の所定の領域が、比較先画像のどの部分に移 動したかを調べることにより、画像がどのように動いたかを求めることができる。
[0057] より具体的には、比較元画像内の特定領域 (以下、「比較元領域」という）が、比較 先画像のどの領域に対応するかを調べるためには、比較先画像に比較元領域と同じ サイズの評価領域を設定し、比較元領域と評価領域がどれだけ似て!ヽるかを評価す る。以後、順次別の位置に評価領域を設定し、各評価領域において前記の評価をし ながら、比較元領域の移動先を探索する。この場合、比較元領域と最も似ている評 価領域が、比較元領域の移動先になる。
[0058] 撮像素子で撮影した画像は、それぞれの画素に対応する光強度の集合とみなせる ので、画像の左上を原点とし、水平方向の右向きに X番目、垂直方向下向きに y番目 の画素の光強度を I (x, y)とすれば、画像はこの光強度 I (x, y)の分布と考えることが できる。
[0059] 図 3に比較元領域 301と評価領域 302との位置関係を示す。図 3の例では、比較 元領域の左上の画素の位置が（xl , yl)であり、右下の画素の位置が（x2, y2)とな るような長方形の形に比較元領域を設定している。この場合、比較元領域から右方 向に m画素、下方向に n画素移動した評価領域 (m, n)は、左上の画素が（xl +m, yl +n)で、右下の位置が（x2+m, y2+n)となる領域で表すことができる。
[0060] この評価領域と比較元領域の相関（どれだけ似て 、る力 を表す評価値 R (m, n) は、（数 1)に示すように、各画素における光強度の差分の絶対値総和によって表さ れる。
[0061] [数 1]
V,— _y， J¾一 J¾ y=y\ χ=χι
[0062] 比較元領域と評価領域とが似ているほど、両領域において対応する両画素間の光 強度の差は小さくなる。このため、評価値 R(m, n)は、比較元領域と評価領域の光 強度分布 (画像)の相関が大き ヽ (似て 、る）ほど小さ ヽ値を示すことになる。
[0063] なお、領域の相関を比較するので、 m、 nは整数に限る必要は無ぐもとの光強度 I ( X, y)力も各々のピクセル間を内挿したデータ I' (X, y)を新たに作成し、 I' (X, y) をもとに (数 1)によって評価値 R (m,n)を算出することで、整数以下 (サブピクセル)で ぶれ量を導出することができる。データの内挿の方法としては、線形補間、非線形補 間 、ずれの方法を用いてもよ!、。
[0064] 以上より、ぶれ量を導出するには、 m、 nの値を変化させて、評価値が比較元領域と 一番似ている評価領域をサブピクセルの精度で探索することになる。この場合、手ぶ れ、および被写体ぶれのぶれ方向は特定方向に限定されないので、 m、 nの値は負 の値 (左方向や上方向に移動した領域の評価)を含めて検討を行なう必要がある。 [0065] また、比較先画像の全ての範囲を評価できるように m、 nを変化させてもょ 、が、手 ぶれなどで大きく被写体の結像が移動し、撮像素子の受光範囲から外れると画像と して合成できないので、一般的に、所定の範囲に m、 nを限定し、計算時間を短縮す るのが好ましい。このようにして見出した評価値 R(m, n)が最小値となる m、 nの組合 せが、比較元領域に対応する比較先画像の領域の位置を示すぶれ量となる。
[0066] なお、比較元領域は長方形に限る必要はなぐ任意形状を設定することが可能で ある。また、評価値の算出は、光強度の差分の絶対値総和に限る必要はなぐ各領 域で正規ィ匕して力も相関を求めるなど、相関を示す関数であれば、どのような関数を 用いて評価値を算出してもよい。
[0067] この画像の相関を用いて、比較する方法は、後述の視差量を求める際にも用いるこ とができ、さらに画素ずらし手段のキャリブレーションにも用いることができる。例えば 、画素ずらし手段により画素ずらしをする前後に、画像を撮影しておき、その画像の ズレ量を評価することにより、周辺環境 (気温や経時劣化）により画素ずらしに用いる ァクチユエータが正確に動いていうか確認することができる。このような処理により、ァ クチユエータによる画素ずらしを確実にすることができる。
[0068] 以下、図 4を参照しながら、手ぶれについてさらに具体的に説明する。図 4は、本実 施の形態において、手ぶれによる画像の動きを示す図である。本図は、被写体の動 きが少な!/、風景の画像を撮影する例を示して ヽる。図 4Aは被写体とカメラとが平行 移動した場合の図であり、図 4Cの A図は、この場合の撮影時刻 1と 2との間の画像の 変化を示している。図 4Bはカメラが横方向に回転した場合の図であり、図 4Cの B図 は、この場合の撮影時刻 1と 2との間の画像の変化を示している。
[0069] 図 4Aのように、撮像装置が平行移動する場合と図 4Bのように回転移動する場合の いずれの場合も、画像が面内で平行移動するとみなすことができるが、図 4Cに示す ように、平行移動した場合よりも、回転して光軸がぶれる場合の方が、画像に与える 影響が大きい。図 4Bはカメラが横方向に回転した例である力 縦方向に回転した場 合も同様である。このような、撮像装置の平行移動または回転による画像の平行移動 を補正することにより、手ぶれの補正をすることができる。
[0070] なお、撮像装置が回転する場合は、画像が平行移動するとみなすことができるが、 厳密には被写体とレンズの距離が一部変化するため、画像にわずかなひずみが生じ ることになる。このわずかにひずんだ画像を単純に重ね合わせると、本来重なりあう部 分が、重なり合わず、画素ずらしによっても高解像度化する効果が低下する。
[0071] したがって、この回転による画像のひずみを検出し、補正することで解像度がさらに 向上する。また、特定の 1ケ所の評価領域を対象に画像のぶれ量を求めるだけでは、 画像の平行移動しか求めることができないので、複数の評価領域を設定し、それぞ れの場所におけるぶれ量を求めることで、それぞれの評価領域における手ぶれ量、 および画像のひずみを求めることができる。この画像のひずみにしたがって、重ね合 わせる画像を変形することにより、画像劣化を防止し、高解像度画像を得ることがで さることになる。
[0072] 次に、画素ずらし量の調整について、具体的に説明する。図 5は、画素ずらし量の 調整を説明する図である。本図は、撮像素子の一部の拡大部分を示しており、想定 していた画素ずらしベクトル 400と、ぶれ導出手段によって検出されたぶれベクトル 4 01と、実際に行った画素ずらしベクトル 402を示している。
[0073] 手ぶれが全く無い場合、光電変換部 404の右にある無効部分 405を有効に活用す るためには、ベクトル 400のように X方向に 0. 5画素、 Y方向に 0画素ずらす必要があ る。一方、べク卜ノレ 401ίま、手ぶれ【こ Jり、 X方向【こ 1. 25画素、 Υ方向【こ 1. 5画素ず れた例を示している。この場合、画素ずらし量を調整せずに画素ずらしを行うと、すな わちベクトル 400のように X方向に 0. 5画素ずらす画素ずらしを行うと、ベクトル 400と ベクトル 401を合成した位置 403で、次の撮影を行うことになる。この場合、本来、活 用しょうとしていた光電変換部 404の右側の部分とは異なる部分を撮影することにな る。
[0074] ここで、手ぶれによる移動により光軸がわずかにずれることになる力 非常に微小で ある。このため、ベクトル 401の X方向、 Υ方向のずれ量がそれぞれ整数ピッチ（1画 素ピッチの整数倍)の場合の画像は、画素の座標を整数画素分ずらした画像と同じ ものとみなすことができる。すなわち、画素ずらしをしない第 2の撮像系 106aによる撮 影時刻 2における撮影は、撮影時刻 1にお ヽてすでに撮影した画像を異なる画素で 重ねて撮影したのと同じことなる。したがって、この場合は、画素ずらしをする第 1の 撮像系 106bでは、手ぶれが全く無い場合と同様に、ベクトル 400のように X方向に 0 . 5画素ずらすことにより、光電変換部 404の右にある無効部分 405の部分を撮影で き、画素ずらしの効果を得ることができる。
[0075] すなわち、画素ずらしの効果に影響を与えるのは、手ぶれのうち、整数ピッチ以下（ 小数点以下）の部分である。
[0076] したがって、手ぶれのうち整数ピッチ以下の部分力 ベクトル 400のずらし量と同じ になるように、新たな画素ずらしベクトルを設定すれば、画素ずらしの効果を得ること ができる。前記の例では、ぶれベクトル 401の X方向の整数ピッチ以下の部分は 0. 2 5画素、 Y方向の整数ピッチ以下の部分は 0. 5画素である。この場合、 X方向の整数 ピッチ以下の部分が 0. 5画素、 Y方向の整数ピッチ以下の部分力^画素になるように 、新たな画素ずらしベクトルを設定すればよ!、ことになる。
[0077] したがって、画素ずらしベクトルを図 5のベクトル 402のように、 X方向に 0. 25画素 、 Y方向に 0. 5画素とすることにより、手ぶれベクトル 401と合成した際に、本来の画 素ずらしベクトル 400による画素ずらしをした場合と同じ位置関係になる。すなわち、 本実施の形態によれば、ぶれベクトルにあわせて、画素ずらしベクトルを調整するの で、常に画素ずらしの効果を得ることができるようになる。
[0078] ステップ 202における一連のステップを、設定した画像ずらしの回数が終わるまで 繰り返した後、ステップ 209において画像メモリに蓄積された画像を合成し、ステップ 210において画像を出力して撮影が終了する。具体的に実施した例を以下に示す。
[0079] (実施例 1)
図 6は実施例 1に係る撮像光学系、画素ずらし手段および撮像素子の構成を示し ている。撮像光学系として、直径 2. 2mmの非球面レンズ 601a、 601bを 2枚用いた 。レンズの光軸は図 6中の Z軸とほぼ平行で、その間隔は 3mmとした。
[0080] 画素ずらしをする第 1の撮像系には、レンズ 601bの光軸上にガラス板 602を設け た。ガラス板 602は、圧電ァクチユエータおよび傾斜機構（図示せず）により X軸、 Y 軸に対して傾けることができる。本実施例は、水平方向（X軸方向）に画素ピッチの 1 /2 (1. 2 m)だけ画素ずらしをし、画素数を 2倍にする構成とした。ガラス板 602に は、幅 (X軸方向） 2mm、高さ（Y軸方向） 2mm、厚さ（Z軸方向） 500 μ mの光学ガラ スである BK7を用いた。
[0081] 撮像素子 603として、隣り合う画素のピッチが 2. 4 mの白黒 CCD603を用いた。
ガラス板 602および撮像素子 603の受光面は、図 6中の XY平面とほぼ平行となって いる。また、各光学系に 1対 1に対応するように撮像素子 603を、 2つの領域 603aと 6 03bとに分けている。読み出し回路、駆動回路を撮像素子 603の各領域 603a、 603 b毎に設けることにより、各領域 603a、 603bの画像を個別に読み出せるようにした。
[0082] 本実施例に係る装置を手で保持し、撮影を行ったところ、晴天における屋外の風景 など、露光時間が短ぐ被写体の動きが少ない環境において、解像度が向上した。
[0083] なお、本実施例では画素ずらし手段としてガラス板を傾斜させる方法を用いて!/、る 力 この方法には限らない。例えば、圧電素子を用いたァクチユエータや、電磁ァク チユエータなどを用いて撮像素子やレンズを所定量だけ物理的に動力してもよい。こ のように画素ずらし手段として他の手段を用いても、図 6に示した構成は、ガラス板 60 2を除き同様である。
[0084] また、本実施例では 1つの撮像素子を異なる 2つの領域に分けているが、それぞれ の光学系と 1対 1に対応するように異なる 2つの撮像素子を用いてもよぐ撮像素子の 形態は、複数の撮像領域がそれぞれの光学系と 1対 1に対応していればどのような形 態でもよい。
[0085] (実施の形態 2)
図 7は、実施の形態 2に係る撮像装置の構成を示している。実施の形態 1との主な 相違点は、実施の形態 2は、視差量導出手段 700が加えられている点、撮像素子 70 1がー体であり、略同一時刻に第 1の撮像系と第 2の撮像系の撮影が行われる点、お よび視差量とぶれ量とをもとに画像合成する画像を選択する最適画像選択手段 702 が加えられている点である。実施の形態 1との重複部分については、説明は省略する
[0086] 図 8は本実施の形態に係る撮像装置の全体動作のフローチャートを示している。ス テツプ 200の撮像開始指令、ステップ 201の撮影前処理については、実施の形態 1 と同様である。
[0087] ステップ 800で画素ずらしによる撮影が行われる。ステップ 800は、ステップ 801の 撮像素子の露光処理と、ステップ 802の撮像素子の画像の画像メモリ 103への転送 処理と、ステップ 803の画素ずらし処理とを繰り返して行われる。
[0088] 撮像素子 701は、第 1の撮像系 106bと第 2の撮像系 106aとで共有する構成にな つているため、ほぼ同じタイミングで撮影されることになる。また、画素ずらし量は、手 ぶれ量にかかわらず固定した値とし、手ぶれがな 、ときに無効画素を有効に活用で きるように設定した画素分 (例えば、 0. 5画素分)とした。
[0089] すなわち、ステップ 800は実施の形態 1の図 2のステップ 202に比べて、画素ずらし 量を調整するために、第 2の撮像系 106aにおいて画像を取り込み、ぶれ量を導出す るステップ（図 2のステップ 205)が省略されている。このため、画素ずらし無しで撮影 する撮影時刻 1と、画素ずらしをして撮影する撮影時刻 2との間隔を短くすることがで きる。これにより、手ぶれが少なくなるとともに、被写体の動きが実施の形態 1に比べ て速 、場合にも撮影できるようになる。
[0090] ステップ 803の画素ずらしの撮影が終わった後、ステップ 804で画像メモリ 103に蓄 積された画像のうち、時系列で撮影されたものを実施の形態 1のステップ 205と同様 の方法で比較し、ぶれ量を求める。被写体の移動などがあると、ぶれ量は、画像の中 においてすべて均一とならず、一括してぶれ量を求め重ね合わせると、正確に重なり 合わず、場所によっては解像度が向上しないことになる。
[0091] そこで、画像をブロックに分割し、その分割したブロックごとにぶれ量を求めることに より、画像全体において解像度を向上させることができる。この分割は、長方形に限 る必要は無ぐ被写体の検出を別途行い、被写体毎に分割して、ぶれ量を検出して ちょい。
[0092] 次に、ステップ 805において、同時刻に光軸の異なる撮像系で撮影した画像を比 較し、視差量を求める。光軸の異なる撮像系で撮影する場合、結像する位置がレン ズの中心間距離だけ離れるだけではなぐ被写体の距離に応じて、撮像素子上に結 像する被写体像の相対位置が変化する。
[0093] この差を視差と呼んでいる。図 9は視差を説明する図である。図 9では、簡単のため 、同じ特性の 2つの撮像光学系 1301a、 130 lbが距離 D離れた位置に設置されてお り、各撮像光学系の結像面をそれぞれ 1302a、 1302bとしている。 [0094] このとき、撮像光学系 1301aと 1301bとでは、異なる位置から同一被写体を観察す ることになる。このため、結像面 1302a、 1302b上で結像する画像の間には視差が 生じる。視差量 Δは、下記の (数 2)で与えられる。 Dは撮像光学系 1301aの光軸と撮 像光学系 1301bの光軸との間隔、 fは撮像光学系 1301aおよび 1301bの焦点距離 、 Aは被写体と結像面 1302aおよび 1302bとの距離である。
[0095] [数 2]
Δ = D · f / ( A— ί )
[0096] Αが十分大きぐ被写体が無限遠にあるとみなせる場合は、視差量 Δは D'fZAと 表すことができ、 Δは 0とみなすことができる。この場合は、撮像光学系 1301aと 130 lbとにより撮影した画像は同一のものとみなすことができる。このため、レンズ中心間 距離 Dの補正をすれば、そのまま合成処理することができる。
[0097] しかし、 Aが小さ 、場合は、視差量 Δは有限の値となり、無視することができな!/、。
すなわち、撮像光学系 1301aと撮像光学系 1301bとで撮影した画像は、被写体の 距離に依存して、視差によるずれがある画像であり、同一とみなすことができない。し たがって、そのまま、重ねあわせて合成することができない。
[0098] この視差を補正するためには、被写体ごとに視差を求める必要がある。この視差は 、同時刻に撮影した光軸の異なる画像を、それぞれブロックに分割し、対応するプロ ックがどの位置に移動しているかを調べればよい。この処理は、前記の画像を比較し 、ぶれ量を求める場合と同様に、（数 1)を用いて画像を比較し、相関の高い場所を探 索する処理をすることにより、実現することができる。
[0099] なお、レンズ中心間距離 Dはレンズ間距離カゝら算出してもよいが、無限遠にマーカ 一となる被写体を設置し、その画像が結像する位置をレンズの中心とみなし、算出し てもよい。
[0100] また、ブロックの分割の方法はこの方法に限らず、画素数や形状を変えて分割して もよい。ぶれ導出のときとは異なり、視差が生じる方向は撮像素子の原点 (撮像素子 と、それぞれが対応する光学系の光軸との交点）を結ぶ直線方向に限られるので、視 差検出の際には、その方向に合わせて (数 1)における m、 nの組み合わせを限定す ればよい。
[0101] 次に、ステップ 806では、ぶれ量と視差量とをもとに合成した場合に解像度が向上 する組み合わせになって 、る画像を選択する。前記のように画素ずらしにより解像度 が向上するのは、重ね合わせる画素が無効部分を活用するようにずれていればよぐ 時系列で画素ずらしした画像だけでなぐ視差や手ぶれによりずれている場合も同様 に利用できる。
[0102] 図 10は最適画像の選択方法の説明図である。本図の斜線部は、撮像素子上に結 像した被写体像である。時刻 1において、第 2の撮像系の撮影領域 1000aと第 1の撮 像系の撮像領域 1000bには、被写体像 1001aと 1001bとが結像している。被写体 は、第 2の撮像系の中心線上にあるとする。このとき、視差により、撮像領域 1000b上 では、 Δだけずれた位置に被写体像 1001bが結像して 、る。
[0103] それぞれの撮像領域の画像を画像メモリ 103に転送すると、 2次元データとして格 納される。各画像領域の左上の点を原点とし、被写体像の位置を座標で示すと、被 写体像 1001aの左上の座標は（ax, ay)となり、被写体像 1001bの左上の座標は、 視差 Δの分だけずれているので、 (ax+ Δ , ay)となる。
[0104] 次に、時刻 2においては、第 2の撮像領域は 1002aとなり、第 1の撮像領域は 1002 bとなり、そのときの被写体像が 1003a、 1003bとなったとする。第 1の撮像系は、画 素ずらし手段により、 0. 5画素右側に移動させた。撮像領域 1002a上の被写体像 1 003aは、原点から (bx、 by)ずれた位置に結像している。
[0105] 被写体の動きが無 、とすると、このずれ量は、手ぶれによりずれである。それぞれの 画像領域の画像を画像メモリに転送し、座標で表示すると、被写体像 1003aの左上 の座標は、 (ax + bx, ay+by)となる。撮像領域 1002bは、画素ずらしされているの で、座標の原点が右側に 0. 5画素ずれることになる。このため、第 2の撮像系の撮像 領域 1002aと比べると、第 1の撮像系の撮像領域 1002bにおいては、座標の原点が 0. 5画素分だけ被写体像 1003bに、近づいていることになる。また、時刻 1と同様に 、被写体像 1003bは、視差 Δの分だけ右側にずれていることになる。したがって、被 写体像 1003bの左上の座標は、（ax+bx+ Δ— 0. 5, ay+by)となる。
[0106] 図 11は、最適画像の選択方法の別の説明図である。ずれ量 bx及び視差量 Δは、 整数ピッチに近い場合と、整数ピッチに 0. 5画素ピッチを加えた値に近い場合とに、 区分することができる。ずれ量 bx及び視差量 Δを整数ピッチ以下の値で表現すると 、整数ピッチの場合は bx=0、 Δ =0となり、整数ピッチに 0. 5画素ピッチをカ卩えた値 の場合は bx=0. 5、 Δ =0. 5になる。
[0107] 図 11の bx、 Δは、整数ピッチ以下の値を示している。図 11中の各値は、基準となる 撮像領域 1000aの X座標の値 axを 0として、被写体の各 X座標の値を算出したもの である。図 11中、 0で示したところは、被写体を画像に変換する撮像素子の画素と被 写体の位置関係が、基準となる撮像領域 1000aの場合に比べ整数ピッチずれてい ることを示している。 0. 5で示したところは、 0. 5画素ピッチずれていることを示してい る。この 0. 5で示した部分に対応する画像は、無効部分を有効活用できる画像であ る。
[0108] ここで、図 11から分るように、視差量 Δ、手ぶれ量 bxがどのような組み合わせにな つても、 4枚の画像には X座標の値の算出値が 0. 5になる画像がある。このため、ど の組み合わせにお 、ても、無効部分を有効に利用した画像を得ることが可能となる。 すなわち、手ぶれ、被写体の距離によらず、解像度を向上させることができる。
[0109] なお、手ぶれ量、視差量ともに、 0. 5画素単位でデジタル的に変化するのではなく 、実際には、連続的に徐々に変化する。このため、図 11中の bx、 Δの値を 0. 5として いる部分は、 0. 5に近い値 (例えば 0. 3から 0. 7までの値）の場合もある。また、 0とし ている部分は、 0に近い値 (例えば 0. 3に満たない値、 0. 7より大きい値)の場合もあ る。一方、画像のデータは、グリッド上に配置されている必要がある。そこで、画像を 重ね合わせ合成する際に、線形補完処理などを行えばよ！ヽ。
[0110] なお、本実施の形態では、撮像素子の水平方向の画素ピッチを基準に最適画像の 選択を行なった力 斜め方向の画素ピッチを基準としてもよい。また、状況に応じて 画素ピッチの基準を混在させてもよ 、。
[0111] (実施例 2)
以下、実施の形態 2に係る実施例 2について説明する。実施例 2の外観上の構成 は実施例 1の図 6と同様の構成であり、実施例 2の光学系、画素ずらし機構について も、実施例 1と同じであり、重複説明は省略する。
[0112] 実施例 2は、撮像素子 603が略同一時刻に露光し、画像を転送する点と、画素ずら し機構の駆動量が固定されている点が異なる。
[0113] 画素ずらしを行う第 1の撮像系として、レンズ 601bの光軸上に厚さ 500 mの光学 ガラス BK7 (図中 602)を設け、圧電ァクチユエータおよび傾斜機構により約 0. 4度 傾けることにより、被写体像を水平方向（X軸方向）に画素ピッチの 1Z2 (1. 2 /z m) だけ画素ずらし、画素数を 2倍にする構成とした。
[0114] この構成により、 1回の画素ずらしをして画像メモリに記憶された画像を図 12に示す
。 1枚目の画像を撮影した時刻を撮影時刻 1、画素ずらしをした後 (ガラス板を傾斜さ せた後）に2枚目の画像を撮影した時刻を撮影時刻 2とする。
[0115] 本実施例では、被写体の移動が十分小さ!、場面 (例えば風景など）を撮影した。し たがって、撮影時刻 1に撮影した画像 701と、撮影時刻 2に撮影した画像 703とには 被写体ぶれはない。ぶれが存在する場合は、異なる時刻 1、 2間において手ぶれによ り画像全体が移動して ヽる場合である。
[0116] そこで、画像全体が均一に移動するとみなし、画素ずらしをしない第 2の撮影系で 撮影した撮像時刻 1の画像 701と、撮影時刻 2に同撮像系で撮影した画像 703とを 比較して手ぶれ量を導出した。より具体的には、画像 701の中央部分 (例えば 100 X
100画素の領域）力 画像 703のどの領域に移動したかを前記の (数 1)を用いた画 像比較方法で評価し、手ぶれ量を導出した。その結果、ぶれ量は画面上方向に 2. 2 画素、横方向に 2. 5画素であった。
[0117] この場合、画面上方向のぶれ量 2. 2画素のうち整数ピッチ以下の値 byは 0. 2画素 になり、 by=0とみなすことができる。横方向のぶれ量 2. 5画素のうち整数ピッチ以下 の値 bxは、 0. 5画素になり、 bx=0. 5となる。
[0118] なお、比較する領域のサイズは、正方形に限る必要はなく任意に設定してもよい。
[0119] また、視差量導出手段により、撮像時刻 1における撮像画像 701と撮像画像 702と から、視差量を求めた。その結果、被写体距離が遠いため、視差量は画像のいずれ の領域においても、 0. 1画素以下であり、 Δ =0とみなすことができる。すなわち、視 差量の分布は無視し、全体が均一な視差であるとみなすことができる。
[0120] これらのぶれ量と視差量をもとに、最適画像選択手段で、合成する画像を選択する 。前記の結果は、図 11の Δ =0、 bx=0. 5の部分に相当する。最適画像選択手段 は、図 11の A =0、bx=0. 5の歹 IJにお!/、て、 0の咅分と 0. 5の咅分にネ目当する画像 の組み合わせを選ぶことになる。
[0121] この場合、 3枚分の画像の値力^であるので、複数の組み合わせが選択可能になる 。このように、複数の組み合わせがある場合、同じ時刻で組み合わせる場合を選択す ると被写体のぶれが小さくなり、より高解像度な画像が得られる。
[0122] なお、前記の図 11の例では、 Y軸方向のぶれ量の整数ピッチ以下の値 byが by=0 とみなされる場合について説明した力 by=0. 5とみなされる場合であってもよい。こ の場合は、解像度向上に寄与する画像が、光電変換部の下側の無効部分に対応し た位置で撮影した画像、または光電変換部の右下部分の無効部分に対応した位置 で撮影した画像になる。
[0123] また、本実施例では画素ずらし手段としてガラス板を傾斜させる方法を用いて!/、る 力 この方法には限らない。例えば、圧電素子を用いたァクチユエータや、電磁ァク チユエータなどを用いて撮像素子やレンズを所定量だけ物理的に動力してもよい。
[0124] また、本実施例では 1つの撮像素子を異なる 2つの領域に分けているが、それぞれ の光学系と 1対 1に対応するように異なる 2つの撮像素子を用いてもょ 、。撮像素子 の形態は、複数の撮像領域がそれぞれの光学系と 1対 1に対応していればどのような 形態でもよい。
[0125] (実施例 3)
本実施例は、撮影対象の被写体の移動量が存在する (例えば人や動物など）点が 実施例 2と異なる。本実施例では、 1枚目の画像を撮影し、そのデータをメモリに記憶 して 2枚目の撮影を行なうまでの間に、被写体が別の場所に移動してしまい、 1枚目 の画像と 2枚目の画とでは、被写体の一部が別の場所に移動するような場面を撮影 する。
[0126] 基本的な構成については実施例 2と同様であるので、重複部分については説明を 省略する。被写体の移動がある場合は、画像全体が均一に移動することはなぐ実 施例 2のように画像の一部領域の移動から、全体の移動を推定することができな!/、。
[0127] そこで実施例 3では、画像を複数のブロックに分割するブロック分割手段を備えて おり、ブロック毎にぶれ量を導出するようにしている。ブロック分割手段は、システム制 御手段 100で制御され、画素ずらしをしない第 2の撮像系 106aで撮影した 1枚目の 画像全体を 10 X 10画素のブロックに分割する。ぶれ量導出手段 104は、そのブロッ クごとに、分割したそれぞれの画像が 2枚目の画像のどの位置に対応するのかを調 ベるようにして 、る。画像の移動量の導出には (数 1)を用いた。
[0128] 図 13は本実施例にぉ 、て画像メモリに記憶された画素ずらしをしな 、第 2の撮像 系 106aで、時系列撮影した画像を示したものである。図 13Aは撮影時刻 1に撮影し た画像であり、図 13Bは、撮影時刻 2に撮影した画像である。また、図 13Cはブロック ごとに導出した画像の移動量を示したものである。
[0129] 図 13Cにおいて、 Aと示しているブロックは図 13Aにおいて右に 10. 1画素のぶれ が導出されたブロックであり、 Bと示しているブロックは図 13Aにおいて左に 8. 8画素 のぶれが導出されたブロックである。このぶれ量には、手ぶれと被写体の動きが積算 されている。
[0130] 同様に視差に関しても、ブロックに分割し、それぞれのブロックについて求めること ができる。これらのぶれ量と視差量を合わせたものの中から、実施例 2の場合と同様 に、整数ピッチ（または整数ピッチに近い）の配置のものと、 0. 5画素ピッチ（または 0 . 5画素ピッチに近い）の配置のものを選び出すことによって、合成したときに、解像 度が向上する画像を選び出すことができる。
[0131] このようにして、ブロック毎に選び出した最適画像を合成することにより、被写体の 移動が大きい場合でも、画像全体で、解像度を向上させることができる。
[0132] なお、ユーザーの選択によって、手ぶれのみ補正を行な!/、、被写体ぶれの補正を 意図的に行わないように画像処理することにより、動きのある場面の躍動感を強調す るネ ΐ正モードを設けることちでさる。
[0133] また、被写体が移動して 、る場合、時系列で撮影した画像にぉ 、て、一部被写体 が隠れる部分が存在する（図 13Cにおいて Xで示したブロック)。このような場合には 、その部分だけ、複数の画像の合成をすることなくある特定の時刻に撮影した画像の みを選択すること自然な仕上がりの画像を得ることができる。
[0134] また、画素ずらし技術は、解像度を向上させる技術であるため、撮影対象の被写体 が滑らかな表面や、レンズの解像性能以下の細かな模様に関しては、効果が無い。 一方で、画素ずらしをする上では、撮影と撮影の間にかかる時間を短縮することで、 手ぶれや被写体ぶれが小さくなり、解像度が向上する。
[0135] そこで、ブロックに分割した画像を分析し、画素ずらしの効果が無 ヽ画像である場 合は、そのブロックについては、処理を中止することで、撮影間隔を短くすることがで きる。一般的に解像度が高い部分は、フーリエ変換すると高周波成分が多く見られる 。そこで、画像を取り込みブロック分割したのちに、画像の周波数成分を分析し、所 定の条件以下であれば、その部分のぶれ量導出や視差計算を中止すればよい。
[0136] また、撮影と撮影の間には、露光する時間と、撮像素子から画像メモリに画像を転 送する時間がある。露光は一括で行われため省略できないが、画像メモリへの転送 は、必要なブロックのみにすることにより、処理時間を短縮することができる。
[0137] (実施例 4)
本実施例は、画像の中の異なる被写体を判別する被写体判別手段を用いて ヽる 点が前記の実施例 3と異なっている。被写体判別手段を用いることにより、被写体ごと にぶれ量を導出することが容易となる。このため、手ぶれに加えて被写体ぶれが存在 するような、画像の中でぶれ量が異なる場合にもぶれ量を正確に導出することができ る。
[0138] また、実施例 3のように画像をブロックに分けてぶれ量を導出する場合にも、被写体 ごとにブロック分けをしたり、被写体ごとにブロックの大きさを変えたりすることができる 。また、画像合成する際に、ある特定の被写体のみを選択的に合成することもできる
[0139] 被写体判別手段としては、電波などにより被写体までの距離を測り、異なる画像領 域を識別する手段、画像処理によりエッジ検出などをして異なる被写体を判別する手 段、視差量を利用し被写体を画像から抽出する方法などがある。また、これらに限る ものではなぐ画像の中の異なる被写体を判別できれば、具体的手段は問わない。 本実施例における基本的な構成については、実施例 2と同様であるので重複部分に ついては説明を省略する。
[0140] 図 14は、本実施例で撮影した画像、および被写体判別手段により判別した被写体 群を示す図である。本実施例では、撮影した画像を 10 X 10画素のブロック (横 11 X 縦 9)に分け、それぞれのブロックごとに電波により被写体までの距離を測り異なる被 写体を判別した。被写体の判別では、距離の測定においてある誤差範囲内に入るも のを同一被写体として判別した。本実施例では、誤差範囲を 5%とした。
[0141] 図 14Aは撮影時刻 1に第 2の撮像系 106aで画素ずらしをせず撮影した画像であり 、図 14Bは撮影時刻 2に第 2の撮像系 106aで画素ずらしをせず撮影した画像である 。また、ブロック毎に電波により測定した距離 (単位はメートル)を示している。この距 離については、ブロック毎に求めた視差 Δを用いて、前記の（数 1)によりブロック毎に 距離 Aを算出するようにしてもょ ヽ。
[0142] 撮影時刻 1に撮影する前、電波により被写体の距離を測定したところ、図 14Aのよう に、大きく 2つの被写体群を判別できた。 1つは距離およそ 5メートルにおける被写体 群 1、もう 1つは距離およそ 2メートルにおける被写体群 2である。各被写体群は、前 記の 5%の誤差範囲内に入る距離で判別されている。
[0143] 撮影時刻 2に撮影する前、電波により被写体の距離を測定したところ、それぞれの 被写体群は図 14Bのように判別された。本実施例では、これら被写体群ごとに画素 ずらし前後におけるぶれ量の導出を行なった。
[0144] ぶれ量導出手段により、それぞれの被写体群のぶれ量を導出したところ、被写体群 1に関しては、図中左方向に 10.3画素ピッチのぶれが導出された。このぶれは、図 中には 1ブロックのぶれとして図示している。被写体群 2に関しては、被写体ぶれが 大きぐ一部画像からはみ出してしまっているため、被写体群全体としてのぶれ量を 正確に導出することができな力つた。
[0145] そこで、本実施例にお!ヽては、撮影時刻 2に撮影した画像にぉ ヽて、被写体群 1の みぶれ補正を行な!/、画像合成を行なうことにした。最適画像選択手段によって画像 を選択する方法は、実施例 2と同様な方法を用いた。
[0146] より具体的には、被写体群 1の 10.3画素ピッチのぶれのうち整数ピッチ以下の値 b Xは 0. 3画素になり、図 11における bxは bx=0. 5とみなすこと力 Sできる。 [0147] なお、被写体群 1は、左方向に移動しているので、 bxの値を負の値 0. 5とするこ ともできる。この場合は、表 11中の 0. 5力 5となる。また、 Δ =0、 bx= -0. 5の ときの ax+bx+ Δ—Ο. 5の値は、 1となる力 これは整数ピッチであるので 0になり 、 bx=0. 5のとさと同じである。
[0148] すなわち、 bxの正負の差は、有効活用する無効画素の位置が光電変換部の右で ある力左であるかの差であり、解像度への寄与は同じである。
[0149] 本実施例のように、被写体判別手段を用いて異なる被写体を判別することにより、 その被写体ごとにぶれ量の導出ができるため、正確に画像のぶれ量を補正すること ができる。
[0150] また、手ぶれ、および被写体ぶれにより画像が一部撮影範囲内からはみ出してしま V、画像を認識できな!/、場合は、その画像領域にぉ 、て画素ずらしによる高解像度化 を行なわず、撮影した複数の画像の中から 1枚のみを選択すればよい。
[0151] (実施例 5)
図 15に、本実施例に係る撮像系、画素ずらし手段および撮像素子の構成を示す。 撮像光学系として、直径 2mmの非球面レンズ 1101a〜： L lOldを用いた。レンズの光 軸は、図 15中の Z軸とほぼ平行となっており、間隔は 2. 5mmである。各レンズの前（ 被写体側）には、特定の波長のみを透過する波長分離手段としてカラーフィルター 1 102a〜1102dを設けた。 1102a、 1102dは緑色を透過するカラーフイノレター、 110 2bは赤色を透過するカラーフィルター、 1102cは青色を透過するカラーフィルターで ある。
[0152] 1103a〜1103dは、各レンズと 1対 1に対応する 4つの撮像素子であり、駆動回路 を共通にし、同期して動作するようにした。各光学系（色成分）により撮影した画像を 合成することにより、カラー画像を得ることができる。撮像素子の画素ピッチは、本実 施例では 3 μ mである。
[0153] また、各レンズおよび撮像素子は、図 15中の X軸と平行かつ等間隔に設置されて おり、各撮像素子の受光面は、図 15中の XY平面とほぼ平行となっている。
[0154] 1104は、画素ずらし手段となる圧電微動機構である。画素ずらしをする第 1の撮像 系として、撮像素子 1103a〜l 103cは圧電微動機構 1104に取り付け、図中 X方向 、 Y方向に駆動できるようにした。 1103dは、圧電微動機構とは独立しており、画素ず らしをしな!ヽ第 2の撮像系となる。
[0155] 図 16は、圧電微動機構 1104の平面図である。中央部分のステージ 1201に、撮像 素子 1103a〜1103cが設置される。積層型の圧電素子 1202a、 1202bによってス テージ 1201を図中の X軸方向に微動し、積層型の圧電素子 1203a〜1203dによつ て、ステージ固定枠 1202を図中の Y軸方向に微動する。このことにより、撮像素子を 撮像素子の水平面内で直交する 2軸方向に、独立して微動させることができる。
[0156] 本実施例では、 1回の撮影指令により画素ずらしをしながら、各撮像素子について 4枚分の撮影をした。 1枚目の撮影により、 4つの各撮像素子 1103a〜1103dに対 応した 4枚の画像が得られる。 3つの各撮像素子 1103&〜1103じは 方向、 Y方向 に 0. 5画素ピッチ（1. 5 m)ずつ移動させながら撮影する構成にした。具体的には 、画素ずらしをしな ヽ状態で 1枚目の撮影を行 ヽ、 X方向に 0. 5画素ピッチ動かして 2枚目の撮影を行ない、次に X方向の位置を保ったまま Y方向に 0. 5画素ピッチ動か して 3枚目の撮影を行ない、最後に Y方向の位置を保ったまま X方向に— 0. 5画素 ピッチ動力して 4枚目の撮影を行なった。これら 4枚の画像を合成することによって、 高解像度な画像を得るようにした。
[0157] まず、画素ずらしをしない第 2の撮像系のレンズ l lOldを用いて時系列的に撮影し た複数の画像カゝらそれぞれの撮影時刻におけるぶれ量を導出した。また、緑色の力 ラーフィルター 1102aを取り付けた第 1の撮像系と、緑色のカラーフィルター 1102d を取り付けた第 2の撮像系とで 1枚目に撮影した画像から、視差量導出手段により、 視差量を求めた。これは、同色のカラーフィルターを用いて撮影した画像の方力 画 像の比較をし易ぐ視差量をより精密に求めることができるためである。
[0158] 次に、導出したぶれ量、視差量をもとにして、最適画像選択手段で画像合成をする 画像を選択し、各色の画像を合成した。カラー画像を生成するためには、各画素に おいて、三原色の輝度データが必要となる。緑色の画像データは、第 1の撮像系と第 2の撮像系の両方に入っているため、解像度を向上させることができる。
[0159] 一方、赤色、青色の画像に関しては、画素ずらしをすることなく撮影した画像が無 いため、ぶれ量や視差量によっては、 0. 5画素ずれている（無効部分を利用した)画 像が得られず解像度が向上しないことがある。
[0160] し力しながら、一般的に人の目は緑色に関する情報を多く受けるので、青色、赤色 の解像度が緑色に比べて悪くなつていても、自然風景や人物などを撮影する際には 影響を受けにくい。また、画像の局所領域では、緑色と青、赤の画像に強い相関があ ることが知られており、この特性を利用し、緑色の画像から、青、赤の画像の補間部 分を推測することも可能である。
[0161] また、緑、赤、青色の各色すべてにっ 、て、画素ずらしをしな 、撮像光学系を備え た構成にすれば、最適画像選択手段が選択する画像に、無効部分を利用できる 0. 5画素ずれて 、る画像を確実に含ませることができ、確実に高解像度な画像が得ら れる。
[0162] なお、本実施例では、 4つの光学系を 1つの直線上に配置した力 この配置に限定 する必要はない。図 17は、 4つの光学系の配置の別の一例を示している。図 17Aは 、 4つの光学系を長方形の頂点に配置した例である。 GO、 G1は緑、 Rは赤、 Bは青 の波長分離手段 (カラーフィルター）を示して 、る。
[0163] 図 17Bは、図 17Aの配置において、視差量の導出を説明する図である。視差量の 導出には、対角線上に配置された緑色の撮像系を用いる。その他の赤色、青色の撮 像系の視差は、 4つの光学系が長方形の長方形状に配置されているため、緑色の撮 像系における視差量の直交成分となる。
[0164] また、本実施例ではレンズの前にカラーフィルターを設けて波長分離をしている力 レンズと撮像素子の間にカラーフィルターを設けたり、レンズ上に直接カラーフィルタ 一を形成したりしてもよい。
[0165] また、カラーフィルタ一は、 R、 G、 Bの 3原色に限る必要はなぐ補色フィルターを用 Vヽて波長を分離し、画像処理によりカラー情報を反転し合成してもよ!/ヽ。
[0166] さらに、波長分離手段はカラーフィルターに限らない。例えば、画素ずらし手段とし てガラス板を用いて傾斜させる機構を用いた場合には、そのガラス板として色ガラス を用いることもできる。このように、波長分離手段としては、所定の波長成分のみを分 離する手段であれば、具体的手段は問わない。
[0167] また、緑色を扱う光学系で撮影された画像を比較し、視差およびぶれ量を導出した 例で説明したが、緑色に限る必要はなぐ同色の波長分離手段を第 1の撮像系と第 2 の撮像系に配置することにより、同様な結果を得ることが可能である。
[0168] (実施の形態 3)
図 18は、実施の形態 3の撮像装置における全体動作を示すフローチャートである。 前記実施の形態 2は、最初に画素ずらしの動作方法を決めて、規定回数撮影する構 成である。実施の形態 3は、撮影した画像に応じて、撮影枚数が異なる構成である。
[0169] 図 18【こお!ヽて、ステップ 1500、 1501、 1503、 1504ίま、図 8のステップ 200、 201 、 801、 802と同様である。図 18の構成は、これ以降の構成が、図 8の構成と異なつ ている。図 18のフローチャートでは、画素ずらしと撮影を繰り返す処理ステップ 1502 のうち、ステップ 1505でぶれ量を求め、ステップ 1506で合成する画像を選択する。
[0170] ぶれ量、視差量によっては、 1回の撮影で、合成に必要な 0. 5画素ピッチずれた画 像が複数得られることになる。このため、最初に決めた画素ずらし動作を行うと、同じ 位置関係の画像を取り込むことになり、高解像度化に貢献しない画像を取り込むこと になる。
[0171] したがって、ステップ 1506で画像の選択を行った後、ステップ 1507では、合成に 足りない画像を見つけ出し、その画像が得られるようにズレ量を決定し、ステップ 150 8では、画素ずらしを実行する。
[0172] ステップ 1502における一連のステップを、合成に必要な画像が得られるまで繰り返 してステップ 1502が終了する。その後は、ステップ 1509で視差量を導出し、ステツ プ 1510にお 、て画像メモリに蓄積された画像を合成し、ステップ 1511にお ヽて画 像を出力して撮影が終了する。
[0173] このような処理により、画素ずらしの回数を少なくすることができ、手ぶれや被写体 の移動の影響を最小限に抑え、より高解像度の画像を得ることができるようになる。 産業上の利用可能性
[0174] 以上のように、本発明によれば、画素ずらしをする際に手ぶれ、被写体ぶれが存在 したとしても、画素ずらしの効果の低下を防止でき、高解像度な画像を得ることができ る。このため、本発明は、例えばデジタルスチルカメラ、携帯電話などにおける撮像 装置に有用である。

Claims

請求の範囲
[1] 光学系と撮像素子とを含みそれぞれ光軸が異なる撮像系を複数備えた複眼撮像 装置であって、
前記複数の撮像系は、
前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係を変化させ る画素ずらし手段を持つ第 1の撮像系と、
前記撮像素子に結像する画像と前記撮像素子との相対的な位置関係が時系列の 撮影にお 1、て固定されて 、る第 2の撮像系とを含んで 、ることを特徴とする複眼撮像 装置。
[2] 時系列で撮影した複数フレームの画像情報を蓄積する画像メモリと、
前記画像メモリに蓄積された前記複数フレームの画像情報を比較して、ぶれ量を 導出するぶれ量導出手段と、
前記画像メモリに蓄積された前記複数フレームの画像を合成する画像合成手段と をさらに備えた請求項 1に記載の複眼撮像装置。
[3] 前記画素ずらし手段による前記位置関係の変化量は、前記ぶれ量導出手段により 求めたぶれ量に基づき決定される請求項 2に記載の複眼撮像装置。
[4] 前記画素ずらし手段による前記位置関係の変化量が固定されている請求項 1に記 載の複眼撮像装置。
[5] 前記光軸の異なる複数の撮像系で撮影した画像から視差の大きさを求める視差量 導出手段をさらに備え、
前記画像合成手段は、前記視差量導出手段によって求めた視差量と、前記ぶれ 量導出手段によって求めたぶれ量とに基づき画像を補正し合成する請求項 2に記載 の複眼撮像装置。
[6] 前記ぶれ量導出手段により求めたぶれ量と、前記視差量導出手段によって求めた 視差量とに基づいて、前記画像メモリに蓄積された前記第 1の撮像系で撮影された 画像情報と、前記第 2の撮像系で撮影された画像情報とから前記画像合成手段の合 成に用いる画像情報を選択する最適画像選択手段をさらに備えた請求項 5に記載 の複眼撮像装置。
[7] 異なる被写体を判別する手段をさらに備えており、
前記ぶれ量導出手段は、前記異なる被写体毎にぶれ量を導出し、
前記画像合成手段は、前記異なる被写体毎に画像を合成する請求項 2に記載の 複眼撮像装置。
[8] 画像情報を複数のブロックに分割する手段をさらに備えており、
前記ぶれ量導出手段は、前記複数のブロック毎にぶれ量を導出し、
前記画像合成手段は、前記複数のブロック毎に画像を合成する請求項 2に記載の 複眼撮像装置。
[9] 前記光軸が異なる複数の撮影系は、
赤色を扱う撮像系と、
緑色を扱う撮像系と、
青色を扱う撮像系とで構成されており、
前記各色に対応した撮像系のうち、少なくとも 1色に対応した撮像系の個数は、 2個 以上であり、
前記同色を扱う 2個以上の撮像系は、前記第 1の撮像系と前記第 2の撮像系とを含 んで 、る請求項 1に複眼撮像装置。
PCT/JP2005/022751 2004-12-16 2005-12-12 複眼撮像装置 WO2006064751A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006519018A JP4699995B2 (ja) 2004-12-16 2005-12-12 複眼撮像装置及び撮像方法
US10/597,794 US7986343B2 (en) 2004-12-16 2005-12-12 Multi-eye imaging apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-363868 2004-12-16
JP2004363868 2004-12-16
JP2005-154447 2005-05-26
JP2005154447 2005-05-26

Publications (1)

Publication Number Publication Date
WO2006064751A1 true WO2006064751A1 (ja) 2006-06-22

Family

ID=36587806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022751 WO2006064751A1 (ja) 2004-12-16 2005-12-12 複眼撮像装置

Country Status (3)

Country Link
US (1) US7986343B2 (ja)
JP (1) JP4699995B2 (ja)
WO (1) WO2006064751A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135847A (ja) * 2006-11-27 2008-06-12 Funai Electric Co Ltd 動き検出撮像装置
JP2009049900A (ja) * 2007-08-22 2009-03-05 Hoya Corp 撮像装置
WO2010013733A1 (ja) * 2008-07-31 2010-02-04 富士フイルム株式会社 複眼撮像装置
WO2010055643A1 (ja) * 2008-11-12 2010-05-20 シャープ株式会社 撮像装置
JP2012070389A (ja) * 2010-03-19 2012-04-05 Fujifilm Corp 撮像装置、方法およびプログラム
WO2015087599A1 (ja) * 2013-12-09 2015-06-18 ソニー株式会社 撮像ユニット、レンズ鏡筒および携帯端末
WO2015182447A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置および測色方法
WO2017094535A1 (en) 2015-12-01 2017-06-08 Sony Corporation Surgery control apparatus, surgery control method, program, and surgery system
JP2017220745A (ja) * 2016-06-06 2017-12-14 オリンパス株式会社 撮像装置
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
WO2006122320A2 (en) * 2005-05-12 2006-11-16 Tenebraex Corporation Improved methods of creating a virtual window
US9063952B2 (en) * 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
WO2009001467A1 (ja) * 2007-06-28 2008-12-31 Fujitsu Limited 低照度環境における撮影画像の明るさを改善する電子機器
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
US20090079842A1 (en) * 2007-09-26 2009-03-26 Honeywell International, Inc. System and method for image processing
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
US8564640B2 (en) * 2007-11-16 2013-10-22 Tenebraex Corporation Systems and methods of creating a virtual window
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
EP2341388A1 (en) * 2008-10-17 2011-07-06 Hoya Corporation Visual field image display device for eyeglasses and method for displaying visual field image for eyeglasses
WO2010103527A2 (en) 2009-03-13 2010-09-16 Ramot At Tel-Aviv University Ltd. Imaging system and method for imaging objects with reduced image blur
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
US20120120282A1 (en) * 2009-08-14 2012-05-17 Goris Andrew C Reducing Temporal Aliasing
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
CN102118556B (zh) * 2009-12-31 2012-12-19 敦南科技股份有限公司 图像感测装置即时调整图像撷取频率的方法
JP2011257541A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体カメラ用レンズシステム
US8717467B2 (en) * 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
JP5956808B2 (ja) 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
JP5762211B2 (ja) * 2011-08-11 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
JP5917054B2 (ja) * 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US9253433B2 (en) 2012-11-27 2016-02-02 International Business Machines Corporation Method and apparatus for tagging media with identity of creator or scene
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
KR20160068407A (ko) * 2014-12-05 2016-06-15 삼성전기주식회사 촬영 장치 및 촬영 장치의 제어 방법
DE102015215840B4 (de) * 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
JP2020096301A (ja) * 2018-12-13 2020-06-18 オリンパス株式会社 撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012927A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像入力装置及び撮像装置
JP2002204462A (ja) * 2000-10-25 2002-07-19 Canon Inc 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261236A (ja) 1993-03-05 1994-09-16 Sony Corp 撮像装置
US6429895B1 (en) 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP3530696B2 (ja) 1996-12-27 2004-05-24 キヤノン株式会社 撮像装置
JPH10341367A (ja) 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JPH11225284A (ja) 1998-02-04 1999-08-17 Ricoh Co Ltd 画像入力装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP2000350123A (ja) * 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd 画像選択装置、カメラ、画像選択方法及び記録媒体
US7262799B2 (en) 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP3866957B2 (ja) 2001-10-23 2007-01-10 オリンパス株式会社 画像合成装置
JP2004048644A (ja) 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP4191639B2 (ja) 2003-03-28 2008-12-03 川崎 光洋 平面画像の５感情報の立体化画像情報関連物
US7162151B2 (en) * 2003-08-08 2007-01-09 Olympus Corporation Camera
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
JP2006140971A (ja) * 2004-11-15 2006-06-01 Canon Inc 画像処理装置及び画像処理方法
JP4401949B2 (ja) * 2004-11-26 2010-01-20 キヤノン株式会社 動画撮像装置及び動画撮像方法
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012927A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像入力装置及び撮像装置
JP2002204462A (ja) * 2000-10-25 2002-07-19 Canon Inc 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135847A (ja) * 2006-11-27 2008-06-12 Funai Electric Co Ltd 動き検出撮像装置
JP2009049900A (ja) * 2007-08-22 2009-03-05 Hoya Corp 撮像装置
WO2010013733A1 (ja) * 2008-07-31 2010-02-04 富士フイルム株式会社 複眼撮像装置
JP2010032969A (ja) * 2008-07-31 2010-02-12 Fujifilm Corp 複眼撮像装置
US8169489B2 (en) 2008-07-31 2012-05-01 Fujifilm Corporation Multi view imaging device and method for correcting image blur
WO2010055643A1 (ja) * 2008-11-12 2010-05-20 シャープ株式会社 撮像装置
JP2010118818A (ja) * 2008-11-12 2010-05-27 Sharp Corp 撮像装置
JP2012070389A (ja) * 2010-03-19 2012-04-05 Fujifilm Corp 撮像装置、方法およびプログラム
WO2015087599A1 (ja) * 2013-12-09 2015-06-18 ソニー株式会社 撮像ユニット、レンズ鏡筒および携帯端末
US10050071B2 (en) 2013-12-09 2018-08-14 Sony Semiconductor Solutions Corporation Imaging unit, lens barrel, and portable terminal
WO2015182447A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置および測色方法
JP5896090B1 (ja) * 2014-05-28 2016-03-30 コニカミノルタ株式会社 撮像装置および測色方法
WO2017094535A1 (en) 2015-12-01 2017-06-08 Sony Corporation Surgery control apparatus, surgery control method, program, and surgery system
US11127116B2 (en) 2015-12-01 2021-09-21 Sony Corporation Surgery control apparatus, surgery control method, program, and surgery system
JP2017220745A (ja) * 2016-06-06 2017-12-14 オリンパス株式会社 撮像装置
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム

Also Published As

Publication number Publication date
JP4699995B2 (ja) 2011-06-15
US20070159535A1 (en) 2007-07-12
JPWO2006064751A1 (ja) 2008-06-12
US7986343B2 (en) 2011-07-26

Similar Documents

Publication Publication Date Title
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
JP5066851B2 (ja) 撮像装置
EP2518995B1 (en) Multocular image pickup apparatus and multocular image pickup method
US9025060B2 (en) Solid-state image sensor having a shielding unit for shielding some of photo-electric converters and image capturing apparatus including the solid-state image sensor
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
EP1841207B1 (en) Imaging device, imaging method, and imaging device design method
US8885026B2 (en) Imaging device and imaging method
JP5901246B2 (ja) 撮像装置
KR101156991B1 (ko) 촬상 장치, 화상 처리 방법 및 기록 매체
EP2160018B1 (en) Image pickup apparatus
US9282312B2 (en) Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof
CN103688536B (zh) 图像处理装置、图像处理方法
JPH08116490A (ja) 画像処理装置
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2009141390A (ja) 撮像素子および撮像装置
JP2012049773A (ja) 撮像装置および方法、並びにプログラム
JP2010213083A (ja) 撮像装置および方法
JP5348258B2 (ja) 撮像装置
JP2010130628A (ja) 撮像装置、映像合成装置および映像合成方法
JP5378283B2 (ja) 撮像装置およびその制御方法
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN100477739C (zh) 复眼摄像装置
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP2006135501A (ja) 撮像装置
JP2004007213A (ja) ディジタル３次元モデル撮像機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006519018

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007159535

Country of ref document: US

Ref document number: 10597794

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580005071.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 10597794

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 05814288

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5814288

Country of ref document: EP