Nothing Special   »   [go: up one dir, main page]

WO2011132364A1 - 立体画像撮影装置および立体画像撮影方法 - Google Patents

立体画像撮影装置および立体画像撮影方法 Download PDF

Info

Publication number
WO2011132364A1
WO2011132364A1 PCT/JP2011/001726 JP2011001726W WO2011132364A1 WO 2011132364 A1 WO2011132364 A1 WO 2011132364A1 JP 2011001726 W JP2011001726 W JP 2011001726W WO 2011132364 A1 WO2011132364 A1 WO 2011132364A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
image
vertical
timing
images
Prior art date
Application number
PCT/JP2011/001726
Other languages
English (en)
French (fr)
Inventor
敏信 秦野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2011800198816A priority Critical patent/CN102860016A/zh
Priority to JP2012511522A priority patent/JP5683025B2/ja
Publication of WO2011132364A1 publication Critical patent/WO2011132364A1/ja
Priority to US13/621,104 priority patent/US9304388B2/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras

Definitions

  • the present invention relates to a stereoscopic image capturing apparatus and a stereoscopic image capturing method provided with a pair of left and right imaging units, and more specifically, corrects a shift between left-eye and right-eye images caused by an optical axis shift between a pair of left and right imaging units.
  • the present invention relates to a technique for ensuring the simultaneity of photographing by the left eye and right eye imaging units.
  • a twin-lens stereoscopic camera that captures a subject with a pair of left and right imaging units and obtains a stereoscopic image from the obtained left and right images is known.
  • the pair of left and right imaging units generally cannot avoid an optical axis shift in the vertical and horizontal directions between them.
  • the optical axis shift in the vertical direction is a problem.
  • the deviation is detected, and the detected deviation amount is determined by each mechanical drive unit in the multiaxial pan head.
  • a technique is known in which the depression angle and elevation angle of the left-eye and right-eye imaging units are adjusted to control the shift so as to be eliminated. This is mechanical deviation correction (see, for example, Patent Document 1).
  • Patent Documents 1 and 2 both perform mechanical adjustment, and the adjustment is naturally limited and cannot be completely corrected. This is because there is always an individual difference even if a pair of left and right imaging units having the same specifications is prepared. In addition, it is difficult to avoid an optical axis shift due to a mounting error. Furthermore, an optical axis shift occurs between the imaging units due to a change over time or vibration accompanying movement, and if a three-dimensional image is synthesized as it is, an appropriate three-dimensional image cannot be obtained.
  • the present invention has been created in view of such circumstances, and even if a vertical optical axis shift occurs between a pair of left and right imaging units, this is reliably corrected and left and right eye imaging units. It is an object to ensure a high-quality three-dimensional image without misalignment between left and right images.
  • ⁇ 1 The present invention solves the above problems based on the following considerations.
  • the basis is the technical idea of adjusting the spatial displacement, which is a shift in the image, by replacing it with the temporal displacement of adjusting the drive timing. This will be described with reference to FIG.
  • the left-eye and right-eye imaging units 1L and 1R and the frame-synchronized drive control unit that controls the image sensors 2L and 2R in both the imaging units 1L and 1R in a frame-synchronized manner.
  • 3 and a camera processing unit 4 that performs image processing on the left and right captured images acquired by the left-eye and right-eye imaging units 1L and 1R to generate a parallax image that is a source of stereoscopic image synthesis.
  • the frame synchronous drive control unit 3 compensates that the left-eye and right-eye imaging units 1L and 1R are matched at the operating frequency.
  • the left-eye and right-eye captured images PL and PR obtained by the left-eye and right-eye imaging units 1L and 1R
  • the left-eye and right-eye captured images PL and PR due to the optical axis shift in the image sensors 2L and 2R.
  • a vertical shift which is a spatial shift
  • the vertical timing adjuster 5 synchronizes the drive timings of the image sensors 2L and 2R with the frame synchronization so that the vertical shift amounts of the framing positions of the subject images AL and AR in the left-eye and right-eye captured images PL and PR approach zero.
  • the drive controller 3 is configured to be adjusted.
  • the drive timing of one of the left-eye and right-eye image sensors 2L and 2R is adjusted.
  • the adjustment of the drive timing of the image sensor is configured to be possible with any image sensor. This is because the right-eye photographic image PR may be shifted downward in the vertical direction with respect to the left-eye photographic image PL, or conversely, the left-eye photographic image PL may be shifted downward in the vertical direction with respect to the right-eye photographic image PR. In order to cope with both cases. That is, the drive timing adjustment of the left-eye and right-eye image sensors 2L and 2R can be performed independently of each other.
  • both the captured images PL and PR are developed on the drawing so that the spatial vertical direction axis is the time axis direction.
  • the vertical direction of the drawing corresponds to the spatial horizontal direction of both captured images PL and PR.
  • the notation of such a figure including ( ⁇ 1) (details will be described later with reference to FIG. 5) is specific to the MOS image sensor of the rolling shutter system, and from the image sensor immediately after completion of exposure for a predetermined time.
  • the reading is sequentially performed in the screen vertical direction (right direction in the figure) in units of lines.
  • the line unit line is one column of pixel groups along the vertical direction of the drawing.
  • AL is a subject image to be read in the left-eye photographed image PL
  • AR is a subject image to be read in the right-eye photographed image PR.
  • the subject images AL and AR advance in time as they go downward (right side).
  • the left eye and right eye image sensors 2L and 2R are displaced within one frame of the same subject at the same time with respect to the imaging surface of the image sensor due to optical axis misalignment.
  • the position (AL, AR) of the right-eye shot image PR is displaced vertically downward (rightward in the figure) relative to the left-eye shot image PL. That is, it is assumed that the subject image AR in the right-eye photographic image PR is shifted downward in the vertical direction with respect to the subject image AL in the left-eye photographic image PL.
  • ⁇ t is a shift time amount obtained by converting a vertical shift amount of the framing position of the subject image AR in the right-eye shot image PR with respect to the framing position of the subject image AL in the left-eye shot image PL into time.
  • the stereoscopic image has a defect with a vertical shift. End up.
  • the left and right trimming areas TL are used to detect the amount of vertical displacement with respect to the framing positions of the subject images AL and AR in the left-eye and right-eye photographed images PL and PR.
  • TR are set.
  • the left and right trimming areas TL are set so that the relative positional relationship of the subject image AL in the left-eye trimming area TL and the relative positional relationship of the subject image AR in the right-eye trimming area TR are equivalent.
  • TR are set.
  • These left-eye and right-eye trimmed images PTL and PTR are spatially equivalent in phase relationship based on the trimming areas TL and TR, as shown in FIG.
  • a spatially equivalent phase relationship is not an immediate solution. This is because the problem of time gap remains. Solving this point is the greatest point of the present invention. This will be described in detail below.
  • both the subject images AL and AR are of a scene that is shifted in time. Furthermore, if the subject is a moving subject, both the subject images AL and AR are further different in position (coordinates), contour shape, size, etc., and further differ from the subject image to be originally extracted, and synthesized into a three-dimensional image. In this case, the shift is not avoided, and the depth position changes depending on the moving speed and the moving direction, and the image is recognized as an image with a sense of incongruity that cannot be found in nature. This is the details of the problem to be solved.
  • the reading of the left-eye trimming image PTL takes a longer time than the reading start pulse SP, which is different from the reading start pulse SP of the right-eye trimming image PTR.
  • a read start pulse SP * delayed by ⁇ t is used. It is the role of the vertical timing adjuster 5 to generate the read start pulse SP * with a delay of time ⁇ t from the standard read start pulse SP.
  • the left-eye trimmed image PTL whose optical axis is relatively below is of the same scene that is not substantially shifted in time from the right-eye trimmed image PTR. It becomes. Therefore, when the left-eye trimmed image PTL and the right-eye trimmed image PTR are combined with a stereoscopic image as a parallax image, a stereoscopic image in which the shift is eliminated is obtained.
  • the upper right eye subject image AR corresponds to the timing (ts + ⁇ t) to (te + ⁇ t)
  • the lower left eye subject image AL also corresponds to the timing (ts + ⁇ t) to (te + ⁇ t).
  • the left and right trimmed images PTL and PTR are matched in the vertical positional relationship. The reason for this is that although it is repeated, as shown in FIG. 3A, a read start pulse SP * delayed in time by ⁇ t from the upper read start pulse SP is used.
  • the image sensor on the side where the photographed image is relatively lower is assumed to be the left-eye image sensor 2L, but naturally the image sensor on the side where the photographed image is relatively below is the image sensor for the right eye. It may be 2R. In that case, the above may be considered symmetrically by replacing the left and right.
  • both the left-eye and right-eye photographic images for the parallax images of the same subject at the same time through the adjustment of the time factor of the drive timing of the two image sensors 2L and 2R by the action of the vertical timing adjuster 5 (The spatial positional relationship in the trimmed images PTL, PTR) is converted into an equivalent one.
  • the spatial displacement of vertical deviation is adjusted so as to approach zero, and is also performed with the spatial positioning of the same dimension. That is mechanical adjustment. Because of the mechanical adjustment, there was a limit, and the ultimate fine adjustment was difficult.
  • the mechanical adjustment in the case of the prior art is adjustment of the spatial relative positional relationship between the subject and the imaging equipment in a state before capturing the optical image of the subject. In other words, this is an “external adjustment”.
  • adjustment is performed in a state where an optical image of a subject is captured and digitized. This is an “internal adjustment”.
  • In the external adjustment there is inevitably a discrepancy between the cause and the result, but in the case of the internal adjustment, the relationship between the cause and the result is close and a fundamental solution.
  • the spatial displacement which is a displacement in the image
  • a temporal displacement called a drive timing adjustment
  • the stereoscopic image capturing apparatus of the present invention is A left-eye imaging unit 1L having a left-eye image sensor 2L; A right-eye imaging unit 1R having a right-eye image sensor 2R; A frame-synchronized drive control unit 3 that controls the left-eye and right-eye image sensors 2L and 2R in frame-synchronization, and
  • the left-eye captured image PL and the right-eye image are processed by performing image processing on the left-eye captured image PL acquired by the left-eye image capturing unit 1L and the right-eye captured image PR acquired by the right-eye image capturing unit 1R.
  • a camera processing unit 4 that generates a parallax image with the captured image PR;
  • the left eye is adjusted so that the amount of vertical deviation between the framing position of the subject image in the left-eye photographic image PL and the framing position of the subject image in the right-eye photographic image PR approaches zero.
  • a vertical timing adjuster 5 that adjusts the drive timing of the right-eye image sensors 2L and 2R; Is provided.
  • the stereoscopic image capturing method of the present invention includes, as an essential processing step, The framing position of the subject image in the left-eye captured image PL obtained by the left-eye image sensor 1L having the left-eye image sensor 2L, and the subject in the right-eye captured image PR obtained by the right-eye image sensor 1R having the right-eye image sensor 2R.
  • a first step for determining a vertical shift amount from the framing position of the image A second step of adjusting the drive timing of the left-eye and right-eye image sensors 2L and 2R based on the vertical direction shift amount ⁇ h; A third step of sequentially reading out image data after completion of exposure acquired by the left-eye and right-eye image sensors 2L and 2R driven according to the adjusted drive timing; including.
  • ⁇ 1 >> and ⁇ 18 >> described above even if a vertical optical axis shift occurs between the pair of left and right imaging units 1L, 1R, the shift is made through electronic timing adjustment by the vertical timing adjuster 5.
  • a parallax image for display / recording is obtained that has a high degree of synchronism in shooting with no spatial vertical deviation between the left-eye and right-eye images.
  • a stereoscopic image can be obtained.
  • the vertical timing adjuster electronically adjusts the left eye and right eye captured images in the vertical direction.
  • a display / recording parallax image in which synchronization of shooting without any deviation is ensured is obtained, and a high-quality stereoscopic image can be obtained.
  • FIG. 1 is a block diagram showing a basic configuration of a stereoscopic image photographing apparatus of the present invention.
  • FIG. 2 is a conceptual diagram (part 1) of read timing adjustment with a rolling shutter in the present invention.
  • FIG. 3 is a conceptual diagram (part 2) of timing adjustment for reading with the rolling shutter in the present invention.
  • FIG. 4 is a block diagram showing a specific configuration of the vertical timing adjuster in the embodiment of the present invention.
  • FIG. 5 is a conceptual diagram of exposure / reading processing with a general rolling shutter.
  • FIG. 6 is a block diagram showing the configuration of the stereoscopic image capturing apparatus in the embodiment of the present invention.
  • FIG. 7 is an explanatory diagram showing a state of vertical shift of the left-eye and right-eye photographed images in the embodiment of the present invention.
  • FIG. 8 is an explanatory diagram of the control of the read timing with respect to the vertical shift in the embodiment of the present invention.
  • FIG. 9 is a timing chart for explaining the operation corresponding to FIG. 7 in the embodiment of the present invention.
  • FIG. 10 is a timing chart for explaining the operation corresponding to FIG. 8 in the embodiment of the present invention.
  • FIG. 11 is a view (No. 1) showing a display state of the left-eye and right-eye photographed images on the monitor display in the embodiment of the present invention.
  • FIG. 12 is a diagram (No. 2) illustrating a display state of the left-eye and right-eye captured images on the monitor display according to the embodiment of the present invention.
  • FIG. 13 is a diagram showing how the face area is detected in the embodiment of the present invention.
  • FIG. 14 is a flowchart showing the operation of the stereoscopic image capturing apparatus according to the embodiment of the present invention.
  • FIG. 15 is a diagram showing an intermediate stage of trimming area adjustment in the embodiment of the present invention.
  • FIG. 16 is a perspective view (No. 1) showing the state of the camera system in the embodiment of the present invention.
  • FIG. 17 is a perspective view (No. 2) showing the camera system in the embodiment of the present invention.
  • ⁇ 2 >> In the above ⁇ 1 >>, the trimming areas TL and TR are mentioned. In the trimming areas TL and TR, the delay amount necessary for the drive timing is finally obtained.
  • the delay amount of the drive timing can be obtained by other methods, but if the trimming areas TL and TR are set, the delay amount can be easily obtained.
  • the vertical timing adjuster 5 is set so that the relative positional relationship of the same subject at the same time is the same in the left-eye photographed image PL and the right-eye photographed image PR.
  • the amount of deviation between the left and right trimming areas TL and TR is obtained, and the delay amount of the drive timing corresponding to the obtained amount of deviation is set in the frame synchronous drive control unit 3.
  • image data corresponding to the number of lines corresponding to the vertical shift amount from the upper side in the image displaced downward in the vertical direction may be invalid data.
  • the image sensors 2L and 2R in the pair of left and right imaging units 1L and 1R are provided with electronic shutters for exposure control.
  • a rolling shutter system is standard.
  • a global shutter system is a standard electronic shutter in the case of a CCD (Charge-Coupled Device) image sensor.
  • the global shutter method of the CCD image sensor is a method in which all pixels simultaneously perform a shutter operation. Therefore, if the drive is synchronized by the left and right image sensors, the left-eye image and the right-eye image are displaced in the vertical direction. However, there is no timing shift.
  • the left-eye and right-eye image sensors 2L and 2R are MOS image sensors having a rolling shutter as an electronic shutter for exposure control. is there.
  • the invention of the above ⁇ 1 >> was originally based on a rolling shutter type MOS image sensor.
  • the invention ⁇ 1> does not necessarily require a rolling shutter as an electronic shutter for exposure control.
  • the inventions ⁇ 1 >> and ⁇ 2 >> are established under such conditions.
  • ⁇ 3 >> the specification with higher applicability is limited.
  • the rolling shutter MOS image sensor that performs line-by-line reading is suitable for the timing adjustment of the read start pulse SP from the image sensors 2L and 2R by the vertical timing adjuster 5 of the above ⁇ 1 >> and ⁇ 2 >>. It is a thing.
  • the present invention is preferably applied to such a rolling shutter type image sensor.
  • ⁇ 4 In the above-described structures ⁇ 1 >> to ⁇ 3 >>, the drive timing adjusted by the vertical timing adjuster 5 is set as the timing of the vertical synchronization signal, and the vertical timing adjuster 5 then takes a picture.
  • the vertical sync signal timing corresponds to the vertical deviation from the sync reference signal timing. It is preferable to delay by a vertical scanning period comparable to the number of lines. In this case, in the image sensor on the side where the subject image framing position in the captured image is relatively below, the timing of the vertical synchronizing signal coincides with the timing of the synchronizing reference signal.
  • the timing of the vertical synchronization signal in the image sensor with the subject image framing position on the upper side is the timing of the vertical synchronization signal on the image sensor with the subject image framing position on the lower side (upper side of the optical axis). This means that the timing is delayed by the vertical scanning period corresponding to the vertical shift amount.
  • Both the image sensor 2L in the left-eye imaging unit 1L and the image sensor 2R in the right-eye imaging unit 1R are driven based on a vertical synchronization signal that is a timing reference.
  • a vertical synchronization signal that is a timing reference.
  • the timings of both vertical synchronizing signals are adjusted independently of each other.
  • a common signal that is the source of the vertical synchronization signal of both the image sensors 2L and 2R is a synchronization reference signal.
  • the timing of the vertical synchronization signal of the image sensor with the subject image framing position on the lower side is the same timing as the synchronization reference signal, and the subject image framing position is on the upper side (
  • the timing of the vertical synchronization signal of the image sensor on the lower side of the optical axis is delayed from the synchronization reference signal.
  • the amount of delay ⁇ t corresponds to a vertical scanning time equivalent to the number of lines corresponding to the amount of vertical deviation ⁇ h of the framing positions of the subject images AL and AR in the left-eye and right-eye captured images PL and PR.
  • the dimension of the delay amount ⁇ t is time, and the dimension of the vertical deviation amount ⁇ h is length.
  • the delay amount ⁇ t may be converted into the number of lines in the setting display mode (resolution standard such as VGA).
  • the vertical shift amount is adjusted to approach zero.
  • the left-eye and right-eye captured images (trimmed images PTL and PTR) for parallax images can be provided with consistency without vertical deviation.
  • the framing position of the subject image AL of the left-eye photographed image PL is relatively displaced upward.
  • the read start timing is delayed in the image sensor 2L for the left eye on the side where the framing position of the subject image of the photographed image is relatively upward (the optical axis lower side).
  • the photographed image PR for the right eye is displaced relatively upward.
  • the read start timing is delayed in the right-eye image sensor 2R on the side where the framing position of the subject image of the captured image is relatively upward.
  • the vertical shift is eliminated in the left-eye and right-eye images constituting the parallax image, and the spatial / temporal positional relationship of the right-eye subject image AR is spatial / temporal of the left-eye subject image AL. It is adjusted to the same as the relative positional relationship.
  • the spatial and temporal positional relationships of the subject images AL and AR in the left-eye and right-eye captured images (trimmed images PTL and PTR) for the parallax images are the same. Adjusted.
  • the spatial displacement which is a shift in the image
  • a temporal displacement called a delay of the read start timing. That is, the vertical timing adjuster 5 is configured to adjust the timing of the vertical synchronization signals of the left-eye and right-eye image sensors 2L and 2R independently of each other.
  • ⁇ 5 the driving timing of the left-eye and right-eye MOS image sensors 2L and 2R is determined by the electronic shutter start pulse ESSP (shutter gate pulse) and the read start pulse SP. There is an aspect in which the timing is delayed by the same time in parallel with the delay of the vertical synchronization signal of the MOS image sensor.
  • ESSP shutter gate pulse
  • the electronic shutter start pulse ESSP sequentially resets the charge accumulation accompanying the incidence of the optical image of the subject in units of lines in response to the output of this pulse, and starts the exposure period (accumulation time) from the pulse release timing. It is.
  • the read start pulse SP is sequentially read in line units starting from this pulse, and one frame period (one field period) is determined based on the cycle.
  • the period from the release timing of the electronic shutter start pulse ESSP to the timing of the next readout start pulse SP corresponds to the exposure period.
  • the electronic shutter start pulse ESSP and the read start pulse SP having such a function are generated based on the vertical synchronization signal. Therefore, when the vertical synchronization signal is delayed, it is preferable that the electronic shutter start pulse ESSP and the read start pulse SP are delayed by the same time.
  • the vertical timing adjuster 5 converts the vertical shift amount ⁇ h into the shift amount of the number of lines and then converts the left-eye and right-eye captured images PL and PR.
  • the shift amount of the number of lines is set as the delay amount of the drive timing in the left-eye image sensor 2L or the right-eye image sensor 2R that acquires the other one in which the subject image framing position is relatively higher than the other.
  • the amount of vertical deviation is captured by the number of pixels in the vertical direction. Adjustment of the drive timing of the image sensor is performed based on the number of lines.
  • the line number shift amount (delay amount information) obtained by converting the vertical shift amount in this way is fed back to the corresponding image sensor (image sensor of optical axis shift, image shift), and matching control is performed. To serve.
  • ⁇ 7 In the above ⁇ 1 >> to ⁇ 6 >>, in order to give a drive timing adjustment instruction from the vertical timing adjuster 5 to the corresponding image sensor via the frame synchronous drive control unit 3, it corresponds to the deviation amount. It is necessary to send the drive timing delay amount ⁇ t. Therefore, the vertical timing adjuster 5 is provided with a function for sending the drive timing delay amount ⁇ t. In this section, the function of sending the drive timing delay amount ⁇ t is assumed to be by an artificial manual operation (manual operation by the operator of the stereoscopic image capturing apparatus).
  • the left-eye shot image PL and the right-eye shot image PR are displayed on the monitor.
  • the captured image displayed on the monitor may be raw image data or image data that has been resized or trimmed for display.
  • the operator grasps whether or not the left-eye subject image AL and the right-eye subject image AR are displaced in the vertical direction, and if so, what the vertical displacement amount ⁇ h is. After that, when the operator manually operates the operation device 6 (see FIG. 1), the position of the trimming area of one of the image sensor images is adjusted so that the operation device approaches zero.
  • a deviation adjustment instruction signal for adjustment is generated, and the deviation adjustment instruction signal is sent to a position adjuster (mounted on a camera processing unit or the like) of an image trimming area.
  • a state in which the trimmed image shift is reduced is displayed on a monitor, for example. While checking the display, the operator performs an adjustment instruction operation until the vertical shift amount becomes zero.
  • the shift adjustment instruction signal at the time when the vertical alignment of the image is completed by changing the trimming position is sent to the vertical timing adjuster 5 to adjust the read start timing, and the above-described adjustment operation is executed here. .
  • This adjustment reduces the amount of vertical deviation between the left-eye trimming area TL including the left-eye subject image AL and the right-eye trimming area TR including the right-eye subject image AR.
  • the decreasing state is displayed on a monitor, for example.
  • the vertical deviation ⁇ h between the left-eye trimming area TL and the right-eye trimming area TR becomes zero, and the synchronism of the vertical vertical deviation between the left-eye and right-eye photographic images is ensured.
  • a display / recording parallax image can be obtained, and a high-quality stereoscopic image can be obtained.
  • this aspect is the configuration of the above ⁇ 1 >> to ⁇ 7 >> An operating device that generates a shift adjustment instruction signal for instructing the vertical timing adjuster 5 to adjust the drive timing based on a manual operation by an operator of the stereoscopic image capturing apparatus;
  • the vertical timing adjuster 5 is configured to adjust the drive timing in the frame synchronous drive control unit 3 based on the shift adjustment instruction signal.
  • the function of the camera processing unit 4 is used.
  • the camera processing unit 4 has a function of reducing and resizing the image data corresponding to the left and right trimming areas TL and TR to a monitor size, and displaying the reduced and resized images side by side on the left and right sides on the monitor. (See FIG. 11). This can be said to be a shift detection function through vision.
  • the reason why the image data corresponding to the left and right trimming areas TL and TR is reduced and resized is to be halved in the horizontal direction so that the two left and right images fit within one monitor size.
  • a reduced resized image based on the right eye trimmed image PTR is displayed in the right half display area
  • a reduced resized image based on the left eye trimmed image PTL is displayed in the left half display area. If there is an optical axis shift in the pair of left and right imaging units 1L and 1R, a vertical shift occurs in the displayed two left and right images.
  • the operator (photographer) cancels the vertical shift of the left-eye display image and the right-eye display image by manual operation with the operation unit 6 while checking the shift of the two images shifted in the vertical direction on the monitor.
  • the start line position of the trimming area may be adjusted up and down so that the continuity of a common horizontal subject in the image can be obtained. Or, outdoors, the landscape of the distant view may be adjusted based on the horizon.
  • the drive timing delay amount ⁇ t corresponding to the shift amount obtained in this way is captured internally and reflected as the drive timing delay amount ⁇ t in the vertical timing adjuster 5.
  • the vertical alignment of the left-eye and right-eye display images by manual operation eventually becomes the vertical alignment of the start line position of the trimming area.
  • ⁇ 11 This section is an alternative to the above ⁇ 10 >>, and displays the left-eye and right-eye trimmed images PTL and PTR by half each.
  • the camera processing unit 4 reduces and resizes the left half of the image data corresponding to the left eye trimming area TL to one half of the monitor size and displays it on the left side on the monitor, as well as the right eye trimming area TR.
  • Of the right half of the image data corresponding to is reduced to half the monitor size and displayed on the right side on the monitor (see FIG. 12). This is also a function of detecting a shift through vision.
  • the line position may be adjusted up and down. For example, when the body of one subject image is divided between the left and right body, and the left and right body images are shifted to a state where they are cut off in the vertical direction, the left and right body images are manually manipulated. The adjustment to match the image exactly is to balance the left and right sides of the body of one person including the face.
  • the drive timing delay amount ⁇ t corresponding to the shift amount thus obtained is captured internally and reflected as the drive timing delay amount ⁇ t.
  • the vertical alignment of the left-eye and right-eye display images by manual operation eventually becomes the vertical alignment of the start line position of the trimming area.
  • the vertical timing adjuster 5 uses the delay information ⁇ t of the drive timing as the start line position information of the left eye trimming area TL and the right eye trimming area. A delay amount obtained by converting the difference from the position information of the TR start line into time is used. Vertical deviation can be corrected based on the start line positions of the left and right trimming areas.
  • ⁇ 14 >> In this section, the automatic method is used to grasp the vertical direction deviation and the vertical direction deviation amount ⁇ h and to instruct the vertical matching. This will be described with reference to FIG.
  • the components of the vertical timing adjuster 5 left eye and right eye attention point coordinate calculators 7L and 7R, a vertical deviation amount calculator 8, a delay amount calculator 9, and a drive timing setter 10 are provided.
  • the left eye attention point coordinate calculator 7L calculates the vertical coordinate YL of the attention point QL (eye, mouth, etc. of the human face) of the subject image AL in the left eye photographed image PL.
  • the right eye attention point coordinate calculator 7R calculates the vertical coordinate YR of the attention point QR of the subject image AR in the right eye photographed image PR.
  • the vertical shift amount calculator 8 calculates the vertical shift amount ⁇ h from the difference between the vertical coordinates YL and YR of the points of interest QL and QR.
  • ⁇ h>0 the subject image AL in the left-eye photographed image PL is displaced downward in the vertical direction from the subject image AR in the right-eye photographed image PR, and when ⁇ h ⁇ 0, the right-eye photography is performed.
  • the subject image AR in the image PR is displaced vertically downward from the subject image AL in the left-eye photographed image PL.
  • the vertical deviation amount ⁇ h is expressed by the number of pixels, it is also the number of lines. This difference in the number of lines (number of pixels) in the vertical direction corresponds to the delay time of the drive timing. That is, the drive timing delay amount ⁇ t can be obtained from the vertical shift amount ⁇ h by calculation.
  • the delay amount ⁇ t is positive, the drive timing for the right-eye photographed image PR is delayed. Conversely, when the delay amount ⁇ t is negative, the drive timing for the left-eye photographed image PL is delayed.
  • the drive timing setting unit 10 sets the drive timing in consideration of the delay amount ⁇ t of the drive timing in the frame synchronous drive control unit 3.
  • the vertical timing adjuster 5 The left and right attention points are calculated by extracting the left attention point QL in the left eye photographed image PL and the right attention point QR in the right eye photographed image PR, and then determining the vertical coordinates of the left and right attention points QL and QR.
  • Point coordinate calculators 7L and 7R Point coordinate calculators 7L and 7R;
  • a vertical shift amount calculator 8 for calculating the vertical shift amount ⁇ h from the difference between the vertical coordinate YL of the left target point QL and the vertical coordinate YR of the right target point QR;
  • a delay amount calculator 9 for converting the vertical direction shift amount ⁇ h by the vertical direction shift amount calculator 8 into a delay amount ⁇ t in units of time;
  • a drive timing setting unit 10 for setting the drive timing in consideration of the delay amount ⁇ t of the drive timing in the frame synchronous drive control unit 3; It is the aspect of having.
  • the stereoscopic image capturing method of ⁇ 18 >> is a stereoscopic image capturing method related to the stereoscopic image capturing apparatus of ⁇ 13>, and
  • the first step includes A 1-1 step of displaying the left-eye captured image PL and the right-side captured image PR side by side on the same screen; In each of the left-eye and right-eye photographic images PL and PR displayed on the same screen, the relative positions of the same subject at the same time are the same between the left-eye photographic image PL and the right-eye photographic image PR.
  • the delay amount ⁇ t corresponding to the vertical shift amount ⁇ h is fed back to the drive timing, so that the vertical optical axis shift is between the pair of left and right imaging units 1L, 1R. Even if the image is generated, the deviation is surely corrected through electronic and automatic timing adjustment by the vertical timing adjuster 5 and, at the same time, there is no spatial vertical deviation between the left-eye and right-eye photographed images. Therefore, a display / recording parallax image in which the quality is ensured can be obtained, so that a high-quality stereoscopic image can be obtained.
  • the first to fourth steps include the trimming area TL of the left-eye captured image QL and the trimming of the right-eye captured image QR.
  • the amount of shift ⁇ h in the vertical direction is detected by detecting the shift amount when the one is shifted in the vertical direction. is there.
  • ⁇ 21 This item is the above-described stereoscopic image capturing method according to ⁇ 19 >>
  • the number of the line to which the target point QL in the trimming area TL of the left-eye photographed image PL belongs and the target point QR in the trimming area TR of the right-eye photographed image PR are determined.
  • the vertical deviation amount ⁇ h is detected by calculating the difference between the line number of the line to which it belongs.
  • ⁇ 15 In ⁇ 14 >> above, A face area detector for detecting a face area of a subject in the left-eye and right-eye captured images QL and PR;
  • the attention point coordinate calculators 7L and 7R are a preferred mode in which specific portions in the face area detected by the face area detector are set as the left and right attention points QL and PR.
  • ⁇ 22 In the three-dimensional image capturing method of the above ⁇ 19> to ⁇ 21 >>, there is an aspect in which a specific part of the face area of the subject in the left-eye and right-eye captured images is used as the attention point.
  • ⁇ 16 For the left-eye and right-eye imaging units 1L and 1R, a zoom lens having a zooming function in its optical system is often used. In the specification in which the left-eye and right-eye imaging units 1L and 1R have zooming lenses in the zoom lens, the zooming lenses of the left-eye and right-eye imaging units 1L and 1R are configured to be linked to each other. Regardless of the shift to the telephoto side or the shift to the wide-angle side, if a magnification error occurs on the left and right sides, the left-eye and right-eye images will be inconsistent, and when combined as a stereoscopic image, an appropriate image cannot be obtained. . When the zoom lens is telephoto zoom, the degree of mismatch between the left-eye and right-eye images increases.
  • the left-eye and right-eye imaging units 1L and 1R each include an optical system having a variable-power lens.
  • the variable-power lens of the left-eye image-capturing unit 1L and the variable-power lens of the right-eye image pickup unit 1R Are configured to be linked to each other.
  • zoom lenses that are reciprocated along the optical axis.
  • this section is not limited to this type, and exhibits a variable magnification function in a form other than reciprocal movement. Also good.
  • ⁇ 17> In the configuration of ⁇ 16> above, when the zoom ratio of the variable power lens of the two imaging units changes, the amount of vertical deviation ⁇ h between the two images changes. This section adjusts this shift. Specifically, the magnification on the most telephoto side with respect to the image on the widest angle side is set to n times, the number of displacement lines on the widest angle side is Lw, and the number of displacement lines on the most telephoto side is Lt.
  • the deviation amount line number Lb at an arbitrary magnification b is ⁇ n: the amount of change per side per n times ⁇ b: the amount of change per side at magnification b ( ⁇ n means the square root of n)
  • Lb [(Lt ⁇ Lw) / ⁇ n] ⁇ ⁇ b + Lw It becomes. This is the number of shift amount lines corresponding to the magnification b, and the drive timing delay amount ⁇ t is calculated from this and fed back.
  • the number of lines which is the amount of deviation in the vertical direction in the imaging area on the widest angle side and the farthest telephoto side of the zoom lens, is registered, and converted into the number of lines at an arbitrary zoom position.
  • the stereo image shooting method in this section is A fourth step of starting to shoot the left-eye and right-eye photographic images PL and PR; A fifth step of reading the left-eye and right-eye photographed images PL and PR; A sixth step of initially setting the trimming areas TL and TR in the left-eye and right-eye photographed images PL and PR, A seventh step of extracting the attention points QL and QR in the trimming areas TL and TR of the left-eye and right-eye photographed images PL and PR; An eighth step of confirming whether or not there is a vertical shift between the attention point QL of the left-eye photographed image PL and the attention point QR of the right-eye photographed image PR; A ninth step of adjusting one position of the trimming area TL of the left-eye photographed image PL and the trimming area TR of the right-eye photographed image PR in the vertical direction when there is a deviation in the vertical direction; A tenth step in which the seventh to ninth steps are
  • FIG. 5A shows the passage of time
  • FIG. 5B shows a photographed image by the image sensor
  • FIG. 5C shows exposure and readout control.
  • (A), (b), and (c) correspond temporally in the vertical direction.
  • the right direction is the time advance direction
  • ESSP is the electronic shutter start pulse
  • SP is the read start pulse.
  • P is a photographed image
  • A is a subject image to be read
  • the vertical direction of the figure is the horizontal direction (direction along the line) of the photographed image
  • the horizontal direction of the figure is This is the vertical direction of the captured image.
  • a strip-shaped object represents imaging data for each line.
  • the horizontal direction corresponds to the time axis
  • the vertical direction corresponds to the vertical direction of the shooting screen.
  • the strip-shaped one shows the imaging situation (temporal transition) for each line (Hiroo Takemura, “Introduction to CCD / CMOS Camera Technology”, p. 64 of Corona Corp. b)
  • CMOS reading method in the case of a rolling shutter.
  • FIG. 5B corresponds to an overhead view of FIG. 5C.
  • the electronic shutter start pulse ESSP sequentially resets the charge accumulation accompanying the incidence of the optical image of the subject by the output of this pulse in each line, and the exposure period (accumulation time) is started from the timing of releasing the pulse.
  • the read start pulse SP is used to sequentially read out image data in units of lines starting from this pulse, and one frame period (one field period) is determined based on the cycle.
  • the electronic shutter start pulse ESSP and the readout start pulse SP correspond to the exposure of the first line and the readout of data in line units. Although not shown, the same electronic shutter start pulse ESSP and set of read start pulse SP are used for each line. They are output sequentially shifted by a time corresponding to one line.
  • the exposure period Tex is from the timing tsh of releasing the electronic shutter start pulse ESSP to the timing tsp of the next read start pulse SP.
  • An elongated parallelogram in the range corresponding to Tex (“exposure period in units of lines” in (c)) represents a common exposure period for all lines.
  • the exposure period Tex can be made equal for all lines.
  • the readout start pulse SP immediately after the end of the exposure period Tex is sequentially performed from the first line to the last line in line units.
  • Read image data This is an exposure / readout system using a rolling shutter system of a MOS image sensor.
  • Each part of the vertical direction of the subject image A forming one image has a property of being shifted from each other in time.
  • the leg portion of the subject image A is an image at a timing slightly delayed compared to the head portion. This is because the set of exposure start timing, exposure end timing, and readout start timing is sequentially delayed from the head of the subject image A to the legs.
  • the electronic shutter start pulse ESSP and the read start pulse SP having such a function are generated on the basis of the vertical synchronization signal. Therefore, if the vertical synchronization signal is delayed, the electronic shutter start pulse ESSP and the read start pulse SP are naturally delayed by the same time in conjunction with the delay.
  • FIG. 6 is a block diagram showing the configuration of the stereoscopic image capturing apparatus in the embodiment of the present invention.
  • reference numeral 100 denotes a stereoscopic image photographing unit
  • reference numeral 200 denotes a camera processing unit.
  • the stereoscopic image capturing unit 100 and the camera processing unit 200 are electrically connected via a data communication unit 150 formed of a cable.
  • the stereoscopic image imaging unit 100 includes a right-eye imaging unit 1R, a left-eye imaging unit 1L, and a dual sensor frame synchronization drive control unit 3.
  • the right-eye imaging unit 1R includes a zoom lens 11, an optical lens 12, an optical low-pass filter (LPF) 13, a color filter 14, a MOS type image sensor 2R, and an analog front end unit 15 including an AD converter.
  • the left-eye imaging unit 1L includes a zoom lens 21, an optical lens 22, an optical low-pass filter (LPF) 23, a color filter 24, a MOS type image sensor 2L, and an analog front end unit 25 including an AD converter.
  • the frame synchronous drive control unit 3 is configured to drive and control the left and right image sensors 2L and 2R in frame synchronization.
  • the left and right image sensors 2L and 2R are MOS image sensors having a rolling shutter mechanism.
  • the left-eye imaging unit 1L and the right-eye imaging unit 1R receive subject light flux independently of each other, and subject image image data obtained by photoelectric conversion in the image sensors 2L and 2R is input to the camera processing unit 200 as parallax image data. It is designed to output.
  • the configuration and operation of the left-eye and right-eye imaging units 1L and 1R are the same.
  • the right-eye imaging unit 1R will be described.
  • Light that has passed through the variable power lens 11 and the optical lens 12 driven along the optical axis passes through the optical LPF 13 and the color filter 14 and enters the image sensor 2R.
  • the optical LPF 12 removes high-frequency components and prevents aliasing (high-frequency component folding phenomenon).
  • the subject image formed on the light receiving surface of the image sensor 2R is converted into a signal charge corresponding to the amount of incident light by each photodiode, and sequentially read out as a voltage signal (image signal) corresponding to the signal charge.
  • the image signal read from the image sensor 2R is sent to the analog front end unit 15 and subjected to processing such as analog gain and CDS (correlated double sampling), and then the image signal is converted into a digital signal by A / D conversion processing. And is output to the preprocessing unit 44 of the camera processing unit 200.
  • processing such as analog gain and CDS (correlated double sampling)
  • CDS correlated double sampling
  • the left-eye and right-eye image sensors 2L and 2R are driven based on a pulse supplied from the driver circuit of the frame synchronous drive control unit 3. That is, the driver circuit generates the vertical synchronization signals VL and VR for each image sensor based on the synchronization reference signal common to the image sensors 2L and 2R. Then, the driver circuit generates an electronic shutter start pulse ESSP (shutter gate pulse) and a read start pulse SP based on the vertical synchronization signals VL and VR, respectively, and individually controls the image sensors 2L and 2R. Based on the electronic shutter start pulse ESSP, the charges accumulated in the photodiodes of the individual pixels are sequentially reset in units of lines.
  • ESSP shutter gate pulse
  • the period from the release timing of the electronic shutter start pulse ESSP to the timing of the subsequent read start pulse SP is an exposure period (accumulation time).
  • the read start pulse SP in each of the image sensors 2L and 2R is output in line units, and image data is read out in line units. As a result, the image data acquired by the image sensors 2L and 2R is output as the left-eye and right-eye photographed images PL and PR.
  • a delay amount ⁇ t which is a timing shift time between the two vertical synchronization signals VL and VR, is supplied from the CPU 41 in the camera processing unit 200 described later to the frame synchronization drive control unit 3 via the preprocessing unit 44. It is configured. With the unit time corresponding to the line unit as a reference, the delay amount ⁇ t is increased or decreased by an integral multiple of the unit time.
  • the electronic shutter start pulse ESSP and the read start pulse SP are also delayed by the same delay amount ⁇ t.
  • the electronic shutter start pulse ESSP and the read start pulse SP are repeatedly and periodically output from the frame synchronous drive control unit 3 in both the left-eye image sensor 2L and the right-eye image sensor 2R.
  • the camera processing unit 200 41 is a CPU (Central Processing Unit), 42 is a ROM (Read Only Memory), 43 is a RAM (Random Access Memory), 44 is a preprocessing unit, 45 is a memory control unit, and 46 is an image memory.
  • 47 is an image signal processing unit
  • 48 is a compression / decompression unit with motion vector detection
  • 49 is a resizing processing unit
  • 50 is a face area detection unit
  • 51 is a recording media interface
  • 52 is a display processing unit
  • 53 is a monitor interface
  • 55 is a recording medium
  • 56 is a camera shake detection unit
  • 57 is a synchronization signal generation unit (SSG)
  • 58 is an external device control interface.
  • the CPU 41 is a control unit that performs overall control according to a predetermined program, and controls the operation of each circuit based on an operation signal from the operation panel 54. That is, the CPU 41 controls the left-eye and right-eye imaging units 1L and 1R through control by the frame synchronous drive control unit 3 according to various shooting conditions (exposure conditions, strobe light emission, shooting mode, etc.) according to the operation signal. Control. Further, the CPU 41 performs automatic exposure (AE) control, automatic focus adjustment (AF) control, auto white balance control, lens drive control, image processing control, read / write control of the recording medium 55, and the like.
  • AE automatic exposure
  • AF automatic focus adjustment
  • auto white balance control lens drive control
  • image processing control read / write control of the recording medium 55, and the like.
  • the CPU 41 drives and controls the focus lenses in the optical lenses 12 and 22 and controls the zoom lenses 11 and 21 according to a zoom instruction from the operation panel 54 so that the zoom magnifications of both optical systems become the same. Further, the CPU 41 performs AF control when detecting half-press of the release switch, and starts matching exposure and reading control to capture a recording image when detecting full-press of the release switch. Further, the CPU 41 sends a command to a strobe control circuit (not shown) as necessary to control light emission of a flash light emitting tube (light emitting unit) such as a xenon tube.
  • a flash light emitting tube light emitting unit
  • the ROM 42 stores programs executed by the CPU 41 and various data necessary for control, and the RAM 43 is used as a work area for the CPU 41.
  • the pre-processing unit 44 includes an auto calculation unit that performs calculations necessary for AE and AF control, and performs a focus evaluation value calculation, an AE calculation, and the like based on an imaging signal that is captured in response to a half-press of the release switch.
  • the calculation result is transmitted to the CPU 41.
  • the CPU 41 controls a lens driving motor (not shown) based on the result of the focus evaluation value calculation, and moves the optical lenses 12 and 22 to the in-focus positions where matching is achieved. Also, matching exposure control is performed in the setting of the electronic shutter.
  • the pre-processing unit 44 and the image signal processing unit 47 are synchronized (processing for interpolating a spatial shift of the color signal associated with the color filter array), white balance (WB) adjustment, gamma correction, luminance / color difference signal generation, contour Various processes such as enhancement, scaling (enlargement / reduction) processing by the electronic zoom function, and conversion (resizing) processing of the number of pixels are performed. These processes are performed in accordance with commands from the CPU 41. Further, the preprocessing unit 44 and the image signal processing unit 47 process the image signal using the image memory 46 via the memory control unit 45 provided between the preprocessing unit 44 and the image signal processing unit 47. The image data of the processing result is temporarily stored in the image memory 46.
  • the resizing processing unit 49 changes the image size of the image data that has undergone predetermined signal processing in the preprocessing unit 44 and the image signal processing unit 47 to a standard size. This functions when recording image data in a standardized size or when displaying it on a monitor display connected to the monitor interface 53.
  • the face area detection unit 50 detects information such as the position / size / tilt of a person's face as necessary for the resized image data.
  • the compression / decompression unit 48 compresses the resized image data according to various compression formats. At this time, a compression encoding algorithm corresponding to the compression format used is used. MPEG format, H.264 When compressing data at a standardized size in a moving image compression data format such as H.264 format, the compression / decompression unit 48 periodically reads and loads resized image data from the image memory 46 via the memory control unit 45 in parallel processing. After the captured frame data is compressed, the compressed data is stored in the memory space by being written back to the image memory 46.
  • the recording medium interface 51 relays the memory control unit 45 and the recording medium 55, and transfers the compressed image data to the recording medium 55 for recording.
  • the two types of image data of the left-eye and right-eye imaging units 1L and 1R thus captured are recorded on the recording medium 55 according to the recording mode.
  • the recording medium 55 is not limited to a semiconductor memory represented by a memory card, and various media such as a magnetic disk, an optical disk, and a magneto-optical disk can be used.
  • the recording medium 55 is not limited to a removable medium, and may be a built-in recording medium (internal memory).
  • the operation panel 54 is configured for an operator to input various instructions to the camera system.
  • a mode selection switch for selecting an operation mode of the camera system, a menu item selection operation (cursor movement operation), and the like.
  • a desired target such as a cross key for inputting an instruction for frame advance / rewind of a playback image, an execution key for instructing selection (registration) or executing an operation, and a selection item, or canceling the instruction
  • Various operation devices such as a cancel key, a power switch, a zoom switch, a release switch, and a shift correction operation for correcting a vertical shift.
  • FIG. 7 is an explanatory diagram of a state of vertical shift of the left-eye and right-eye shot images.
  • the left-eye and right-eye imaging units 1L and 1R that are synchronously controlled by the frame synchronization drive control unit 3 capture the human subject 70, thereby obtaining the left-eye and right-eye captured images PL and PR.
  • the left-eye imaging unit 1L has the optical axis displaced relatively downward. Since the optical axis of the left-eye imaging unit 1L is shifted downward relative to the right-eye imaging unit 1R, the left-eye subject image AL is shifted upward relative to the right-eye subject image AR during framing. It has a shape. The amount of deviation of the optical axis is assumed to be ⁇ h in the direction perpendicular to the reference position of the light receiving surface of the image sensor.
  • the left-eye trimming area TL and the right-eye trimming area TR are used as common recording effective areas for the subject images AL and AR in the left-eye and right-eye captured images PL and PR, respectively.
  • the trimming areas TL and TR are set so that the relative positional relationship of the subject image AL in the left-eye trimming area TL and the relative positional relationship of the subject image AR in the right-eye trimming area TR are equivalent.
  • FIG. 8 is an explanatory diagram of the control of the read timing with respect to the vertical shift. Adjustment from the state of FIG. 7 to FIG. 8 is the point of this embodiment.
  • the read start timing is delayed from the standard timing in the case where the optical axis is relatively shifted downward and as a result the subject image AL is relatively shifted upward (in this case, the left-eye image sensor 2L).
  • the delay amount ⁇ t is an amount obtained by converting the number of lines into time, assuming that the vertical deviation amount ⁇ h is counted by the number of lines.
  • the read start timing may be the standard timing.
  • the output timing of the read start pulse SP may be delayed.
  • the output timing of the vertical synchronization signal generated from the synchronization reference signal in the frame synchronization drive control unit 3 may be delayed. If the output timing of the vertical synchronizing signal is delayed, the output timing of the electronic shutter start pulse ESSP, the read start pulse SP, and other timing pulses is also delayed in parallel translation.
  • the top of the hat of the father image which is the left-eye subject image AL
  • the top of the hat of the father image is to be read at a time T1 when a very short time has elapsed from the start line (reading start time) of the left-eye photographed image PL.
  • the top of the hat of the father image which is the right-eye subject image AR
  • T2 when a longer time has elapsed, which is a time further delayed from the start line (reading start time) of the right-eye photographic image PR. It becomes a target.
  • Reading of the right-eye photographic image PR including the right-eye subject image AR is based on the output timing of the read start pulse SP based on the standard vertical synchronization signal. That is, the reading of the right-eye captured image PR is performed as standard with no time delay.
  • the reading of the left-eye photographic image PL in which the vertical shift of the subject image is downward starts from the point of time delayed by ⁇ t from the standard reading timing.
  • the time from the timing corresponding to the time of the upper edge to the timing corresponding to the time of the top of the father's hat is T1.
  • ⁇ t + T1 T2
  • the subject is not a stationary state as in the illustrated example and is a moving subject that is moving at a certain speed or higher.
  • T2 in the stationary state T2 + ⁇ t ⁇
  • the adjustment is made in a state including the movement, in other words, the adjustment is made in response to the movement, so that it is not affected by the vertical deviation of the optical axis. It is possible to obtain left-eye and right-eye images that constitute a parallax image that is the basis of a high-quality stereoscopic image.
  • the moving direction of the moving subject is the horizontal direction, there is no relation to the vertical direction deviation. At this time, the sense of depth is shifted.
  • the moving direction is diagonal, the horizontal component is irrelevant, and only the vertical component is the object of adjustment in this embodiment, and is corrected well.
  • FIG. 9 is a timing chart for explaining the operation corresponding to FIG. 7, and FIG. 10 is a timing chart for explaining the operation corresponding to FIG.
  • the left-eye and right-eye photographed images PL and PR for three frames are shown.
  • 9 corresponds to FIG. 2
  • FIG. 10 corresponds to FIG. 9 and 10
  • the falling timings of the vertical synchronization signals VL and VR correspond to the timing of the read start pulse SP (not shown) of the first line.
  • the timing of the vertical synchronization signal VL for the left-eye image sensor 2L matches the timing of the vertical synchronization signal VR for the right-eye image sensor 2R.
  • the spatial vertical deviation is reflected as it is, and there is a deviation also in the time axis direction.
  • the vertical synchronization signal VL * of the image sensor 2L of the photographic image for left eye PL in which the subject image AL is shifted upward because the optical axis is shifted downward is shown.
  • the timing is delayed by a delay amount ⁇ t from the timing of the vertical synchronization signal VR of the right-eye image sensor 2R.
  • FIG. 11 shows the display of the left-eye and right-eye photographed images PL and PR on the monitor display.
  • FIG. 11A shows the state before adjustment
  • FIG. 11B shows the state after adjustment.
  • a monitor display (not shown) connected to the monitor interface 53 by converting the left-eye captured image PL and the right-eye captured image PR to the monitor size by image processing in the camera processing unit 200.
  • the display on the monitor display is as follows: the left-eye shot image PL obtained by reducing and resizing the original image in half in the horizontal direction is displayed on the left half of the screen, and the original image is displayed in the horizontal direction on the right half.
  • the right-eye photographed image PR that has been resized to a fraction is displayed.
  • the left-eye and right-eye photographed images PL and PR have a vertical shift due to the optical axis shift.
  • the operator looks at the screen and confirms the vertical shift of the left-eye and right-eye shot images PL and PR, and performs manual adjustment to eliminate the vertical shift by operating the operation panel 54. To do. That is, the operator performs a manual operation so that the left-eye photographed image PL on which the subject image AL is shifted upward is shifted downward. At this time, if there is a subject extending in the horizontal direction in the image, vertical adjustment is performed so that continuity is obtained in the left-eye and right-eye photographed images PL and PR. In the outdoors, it is desirable to make adjustments with reference to the horizon or with reference to distant scenery.
  • the CPU 41 obtains the number of lines corresponding to the operation amount, further converts the number of lines into time to calculate the delay amount ⁇ t, and the delay amount ⁇ t is transmitted to the preprocessing unit 44.
  • the frame synchronous drive control unit 3 sets the given delay amount ⁇ t to the corresponding image sensor (image sensor with optical axis misalignment or image misalignment) of the two image sensors 2L and 2R.
  • the number of adjustment lines is obtained based on the amount of operation in the vertical direction adjusted by manual adjustment performed by the operator from the initial screen display state of the monitor display.
  • the trimming areas TL and TR are set in the left-eye and right-eye photographed images PL and PR on the initial screen, and the number of lines of deviation is obtained from the information on the difference in the Y coordinate of the start position of the trimming area.
  • the number of pixels in the vertical direction may be obtained instead of the number of lines.
  • FIG. 12 shows another manner of manual adjustment, and shows how the left-eye and right-eye captured images PL and PR are displayed on the monitor display.
  • 12A shows the state before adjustment
  • FIG. 12B shows the state after adjustment.
  • the left half image data of the left-eye photographed image PL is reduced to half the monitor size by image processing in the camera processing unit 200, and the monitor display screen is displayed.
  • the image data is displayed on the left side
  • the right half of the right-eye photographed image PR is reduced to one half of the monitor size and displayed on the right side on the screen. Due to the optical axis shift, the left-eye and right-eye shot images PL and PR have a vertical shift.
  • the deviation is conspicuous on both sides of the boundary line (vertical center line) between the left display area and the right display area.
  • the operator eliminates the misalignment by performing the operation on the operation panel 54 while checking the vertical direction of the left-eye and right-eye photographed images PL and PR while viewing the screen.
  • Perform manual adjustment of That is, the operator manually operates so that the subject image AL shifted upward (in this case, the left half image PL) is shifted downward.
  • the vertical adjustment is performed so that the left half image and the right half image are continuous, and the subject image located on the center line is vertical. Check the direction balance.
  • the body of one subject person image (children's image) is divided into a left half body and a right half body, and the left half body image and the right half body image are shifted to a state where they are cut off in the vertical direction. Align the left and right body images exactly by manual operation. Such adjustment is relatively easy to understand because it balances the left and right sides of one person including the face. It should be noted that adjustment methods such as adjustment with reference to the horizontal line or with reference to a distant landscape are also considered outdoors.
  • the CPU 41 obtains the number of lines corresponding to the operation amount, further converts the number of lines into time to calculate the delay amount ⁇ t, and the delay amount ⁇ t is transmitted to the preprocessing unit 44.
  • the frame synchronous drive control unit 3 sets the given delay amount ⁇ t to the corresponding image sensor (image sensor with optical axis misalignment or image misalignment) of the two image sensors 2L and 2R.
  • the face regions KL and KR are detected in the left-eye and right-eye photographed images PL and PR, respectively.
  • the points of interest QL and QR are extracted in the detected face areas KL and KR.
  • the attention points QL and QR the eyes, mouth, ears, nose and the like can be considered.
  • the Y coordinates of the extracted attention points QL and QR are obtained, and the difference between the two Y coordinates is defined as the vertical deviation amount ⁇ h.
  • the vertical shift amount ⁇ h is converted into a delay amount ⁇ t, and the delay amount ⁇ t is sent to the frame synchronous drive control unit 3.
  • the output timing of the read start pulse SP of the image sensor whose object image framing position is on the upper side is delayed by the delay amount ⁇ t.
  • the delay amount ⁇ t As a result, as shown in FIG. 13B, left-eye and right-eye photographed images PL and PR that are matched as parallax images are obtained.
  • FIG. 14 is a flowchart showing the operation of the stereoscopic image capturing apparatus having the above configuration.
  • the subject of this control is the CPU 41 and its peripheral part in the camera processing unit 200.
  • the state of processing does not need to be displayed on the monitor display. However, it may be projected.
  • step S1 shooting with adjustment of vertical shift is started.
  • step S2 the left-eye photographic image PL and the right-eye photographic image PR acquired by the left-eye and right-eye image sensors 2L and 2R are read out.
  • step S3 initial trimming areas TL and TR are set at the same positions in the effective pixel areas of the left-eye and right-eye image sensors 2L and 2R in the left-eye and right-eye captured images PL and PR.
  • step S4 face area detection is performed on the left-eye and right-eye subject images AL and AR in the left-eye and right-eye trimming areas TL and TR.
  • step S5 the amount of vertical deviation ⁇ h between the points of interest QL and QR in the detected face regions KL and KR is detected.
  • step S6 it is confirmed whether or not there is a vertical shift. If there is a deviation, the process proceeds to step S7, and if there is no deviation, the process proceeds to step S8. When there is a vertical shift and the process proceeds to step S7, the trimming areas TL and TR are adjusted, and the process returns to step S4.
  • FIG. 15 shows an intermediate stage of adjustment of the trimming areas TL and TR.
  • step S4 of the face area detection described above face area detection may be performed on the original image read from the image sensor, or the face is reduced on the image reduced to an arbitrary size by the resizing process. Region detection may be performed. As long as the conditions for making the resizing ratios in the left-eye and right-eye photographed images PL and PR remain the same, the resizing ratio is arbitrary. When calculating the number of lines of vertical deviation, the number of detected lines may be multiplied by the inverse of the resizing ratio.
  • step S8 it is determined whether the electronic shutter of the image sensor is a rolling shutter type or a global shutter type. If it is a rolling shutter type, the process proceeds to step S10, and if not, the process proceeds to step S11.
  • step S10 which has been advanced as the rolling shutter type, the timing of the vertical synchronization signal generated from the synchronization reference signal common to the left-eye and right-eye image sensors 2L and 2R is determined based on the number of deviation lines previously determined. The intervening delay amount ⁇ t is sent to the frame synchronous drive control unit 3.
  • the electronic shutter start pulse ESSP and the read start pulse SP are output at a timing delayed by the delay amount ⁇ t from the standard in the corresponding image sensor (image sensor having an optical axis shift or image shift). .
  • a display / recording parallax image can be obtained in which synchronism of shooting without spatially vertical deviation between the left-eye and right-eye images is ensured, and a high-quality stereoscopic image can be obtained. It becomes.
  • the horizontal shift is a parallax when a person stereoscopically views, and is related to a characteristic called a baseline length in stereoscopic image production.
  • the shift is recognized as a shift in the sense of depth of the stereoscopic image.
  • the baseline length is also a parameter that is actively fine-tuned in conjunction with the setting of the sense of distance from the subject and the adjustment of the convergence angle.
  • the present invention does not mention the details of the horizontal automatic adjustment.
  • ⁇ Variable lens / zoom ratio When the zoom ratio by the variable power lenses 11 and 21 changes, the delay amount ⁇ t of the read start pulse SP in the frame synchronous drive control unit 3 varies in proportion to the zoom ratio. In particular, when the enlargement zoom is performed, the deviation of the exposure timing increases. Therefore, it is necessary to adjust the delay amount ⁇ t of the read start pulse SP in conjunction with the zoom ratio.
  • the amount of change per side per n times is ⁇ n ( ⁇ n means the square root of n), and the amount of change per side at the magnification b is ⁇ b.
  • Lb [(Lt ⁇ Lw) / ⁇ n] ⁇ ⁇ b + Lw It becomes. This is the number of shift amount lines corresponding to the magnification b, and the drive timing delay amount ⁇ t is calculated from this and fed back. This delay amount ⁇ t is set in the image sensor on the side of the object image upward displacement by the optical axis downward displacement. As a result, regardless of the zoom ratio change of the zoom lens, display / recording is ensured in which there is no spatial vertical deviation between the left-eye and right-eye captured images PL and PR. Thus, it becomes possible to obtain a high-quality stereoscopic image.
  • the subsequent camera processing unit 200 sets the trimming areas TL and TR in all the imaging areas of the left-eye and right-eye image sensors 2L and 2R, respectively, and performs stereoscopic image processing. It is assumed that image processing is performed as data.
  • a camera system as shown in FIG. 16 can be considered.
  • This is a hybrid photographing system including a stereoscopic image photographing adapter.
  • This hybrid imaging system is composed of a combination of a stereo camera SC for stereoscopic image shooting and a non-stereo camera NS that is a general camera for normal shooting that is not for stereoscopic image shooting.
  • the stereo camera SC includes a stereoscopic image capturing unit 100, a data communication unit 150, and a camera processing unit 200.
  • the stereoscopic image capturing unit 100 and the camera processing unit 200 are electrically connected via a data communication unit 150 formed of a cable.
  • Imaging signals output from the left-eye and right-eye imaging units 1L and 1R in the stereoscopic image imaging unit 100 are configured to be input to the camera processing unit 200 via the data communication unit 150.
  • the camera processing unit 200 is configured to receive image signals acquired by the left-eye and right-eye imaging units 1L and 1R and perform image processing. This image processing includes recording of image data.
  • the camera processing unit 200 is configured to be capable of driving the left-eye and right-eye imaging units 1L and 1R.
  • the stereoscopic image capturing unit 100 includes a left-eye image capturing unit 1L and a right-eye image capturing unit 1R that receive a subject light beam independently on the left and right sides, and a lens hood 30 on which the image capturing units 1L and 1R are mounted.
  • the non-stereo camera NS includes a camera main body 300 and a lens barrel 400.
  • the lens barrel 400 is detachably attached to the mount portion of the camera body 300.
  • the lens hood 30 is configured to be attachable to the tip of the lens barrel 400 of the non-stereo camera NS, and the camera processing unit 200 is configured to be attachable to the hot shoe 310 of the camera main body 300.
  • the non-stereo camera NS and the stereo camera SC can exchange signals via the hot shoe 310.
  • the other end of the lens barrel 400 is formed with a mount for combining with the camera body 300.
  • the stereoscopic image capturing unit 100 that is detachably attached to the lens barrel 400 of the non-stereo camera NS in the lens hood 30 is configured such that the attachment opens the front of the lens barrel 400.
  • the stereoscopic image capturing unit 100, the data communication unit 150, and the camera processing unit 200 configure a stereoscopic image capturing adapter, and the stereoscopic image capturing adapter configures a stereo camera SC.
  • an optical lens In the left-eye and right-eye imaging units 1L and 1R, an optical lens, an iris for adjusting the amount of incident light, a mechanical shutter, an optical low-pass filter, and an image sensor are arranged in this order.
  • the motor that moves the lens holding frame in the optical axis direction includes an autofocus motor (AF motor) that moves the focusing lens and a zoom motor that moves the zoom lens.
  • AF motor autofocus motor
  • zoom lens motor zoom lens motor
  • iris motor The drive is controlled by a motor controller in the camera processing unit 200.
  • the image sensor is arranged perpendicular to the optical axis of the photographing lens.
  • the sub-circuit board of the stereoscopic image capturing unit 100 having the left-eye and right-eye image capturing units 1L and 1R is connected to the main circuit substrate of the camera processing unit 200 via the data communication unit 150. These contacts and terminals on the circuit board enable wired communication together with a serial interface described later.
  • a plurality of contact points are provided on the front mounting portion of the stereoscopic image capturing unit 100 and the lens barrel 400, and the mounting portions on the lens barrel 400 side and the camera body 300 side are the same.
  • a terminal (not shown) that contacts the connection terminal is provided.
  • the main circuit board of the camera processing unit 200 and the hot shoe 310 of the camera body 300 also have a configuration in which a plurality of contacts (not shown) are provided on both.
  • connection method there is a form in which the sub circuit board of the stereoscopic image capturing unit 100 and the main circuit board of the camera processing unit 200 are connected by an optical fiber by providing a light transmission / reception terminal. These optical contacts and terminals connected via an optical cable enable optical communication together with a serial interface described later.
  • an appropriate item is selected from a liquid crystal panel for displaying a through image or a menu image of a subject, a display button for switching the liquid crystal panel ON / OFF, and a menu image displayed on the liquid crystal panel.
  • a cross operation button to be operated at the time of selection, an execution button to be pressed when displaying or confirming a menu screen, and the like (not shown) are provided.
  • an appropriate item is selected from a liquid crystal panel for displaying a through image of a subject and a menu image, a display button for switching the liquid crystal panel on and off, and a menu image displayed on the liquid crystal panel.
  • a display button for switching the liquid crystal panel on and off
  • a menu image displayed on the liquid crystal panel There is a form including a cross operation button that is operated when selecting, an execution button that is pressed when a menu screen is displayed or confirmed, and the like (not shown).
  • the camera body 300 can be sequentially switched to a still image shooting mode, a moving image shooting mode, a night shooting mode, a flash shooting mode, and the like.
  • the stereoscopic image capturing unit 100 can be operated from the camera main body unit 300 or can be operated from the camera processing unit 200.
  • the stereoscopic image capturing unit 100 is detachably attached to the front end of the lens barrel 400.
  • the stereoscopic image capturing unit 100 is attached to the front end portion of the lens barrel 400 with high accuracy via a bayonet mechanism.
  • the bayonet mechanism is a socket-type simple joining mechanism that connects and disengages by inserting a claw into a groove and twisting it.
  • a connection terminal is provided on the outer periphery of the front end of the lens barrel 400, and an output terminal (transmitter) of the stereoscopic image capturing unit 100 is in contact with the connection terminal.
  • the transmitter may be a wireless communication interface having a modulation unit that modulates data to form a transmission signal and an antenna that transmits the transmission signal, instead of the output terminal.
  • the stereoscopic image capturing unit 100 and the camera processing unit 200 are mounted on the non-stereo camera NS, it is possible to simultaneously perform stereoscopic image shooting with the stereo camera SC and normal shooting with the non-stereo camera NS. When not mounted, normal shooting is performed by the non-stereo camera NS.
  • the stereoscopic image capturing adapter of this embodiment can be used alone as a camera dedicated to stereoscopic image capturing.
  • FIG. 1 An example of a specific configuration of the stereo camera SC including the stereoscopic image capturing unit 100 and the camera processing unit 200 is shown in the block diagram of FIG. Another form is shown in FIG.
  • the non-stereo camera NS held by the photographer is a single-lens camera with interchangeable lenses, and is in the form of an interchangeable lens type stereo camera SC * in which the right-eye imaging unit 1R and the left-eye imaging unit 1L are combined. It is possible to take a stereoscopic image with the interchangeable lens type stereo camera SC * SC mounted on the lens mount of the non-stereo camera NS.
  • the stereoscopic image capturing apparatus of the present invention in the moving image capturing mode, in the case of the MOS sensor for the rolling shutter operation, when performing the high-speed electronic shutter for several line period exposure, 2 in the vertical direction. Even if the relative optical axes of the two image pickup units are deviated, a stereoscopic moving image shot with appropriate exposure for the same time can be obtained.
  • the border is not blurred, and the horizontal parallax can be easily adjusted by image processing, resulting in a sharp stereoscopic effect It is done.
  • mounting variations of a plurality of imaging units can be allowed by digital processing, and the lens barrel adjustment mechanism can be simplified and the cost can be reduced.
  • this invention is not limited only to said each Example, In the range which does not change a summary, it can implement suitably.
  • the present invention provides a stereoscopic image capturing apparatus, a stereoscopic image capturing system, and the like that can perform simultaneous imaging of the left-eye and right-eye imaging units through electronic timing adjustment regardless of the vertical optical axis shift of the left-eye and right-eye imaging units. And display / recording parallax images in which synchronism between the left-eye and right-eye captured images without spatially vertical deviation is ensured, and a high-quality stereoscopic image is obtained. Useful as technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

 カメラ処理部が、左目用撮像部で取得される左目用撮影画像と、右目用撮像部で取得される右目用撮影画像とに画像処理を行って、左目用撮影画像と右目用撮影画像との視差画像を生成する。垂直タイミング調整器が、左目用撮影画像における被写体像のフレーミング位置と右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、フレーム同期駆動制御部において左目用、右目用イメージセンサの駆動タイミングを調整する。

Description

立体画像撮影装置および立体画像撮影方法
 本発明は、左右一対の撮像部を備えた立体画像撮影装置および立体画像撮影方法にかかわり、詳しくは、左右一対の撮像部の光軸ずれに起因する左目用、右目用画像のずれを矯正して左目用、右目用撮像部の撮影の同時性を確保するための技術に関する。
 従来から、左右一対の撮像部で被写体を撮影し、得られた左右の画像から立体画像が得られるようにした2眼式の立体カメラが知られている。ところで、左右一対の撮像部は、両者間の垂直方向、水平方向の光軸ずれが避けられないのが一般的である。本件では、垂直方向の光軸ずれを問題にする。垂直方向の光軸ずれに起因する左目用、右目用画像の垂直方向での位置ずれを矯正するために、従来、そのずれを検出し、検出ずれ量を多軸雲台におけるメカニカルな各駆動部へフィードバックすることにより、例えば左目用、右目用撮像部の俯角・仰角を調整し、ずれが解消されるように制御する技術が知られている。これはメカニカルなずれ矯正である(例えば特許文献1参照)。
 さらに、撮影倍率を変更するものでズームレンズを構成する変倍レンズを各撮像部に組み込んだものも知られている。この場合、変倍レンズのために左目用、右目用画像の垂直方向位置ずれが増幅される。この倍率誤差に起因する左目用、右目用画像の位置ずれを矯正するために、そのずれを検出し、検出ずれ量を変倍レンズ駆動機構へフィードバックすることにより、倍率誤差が解消されるように制御する。これもメカニカルなずれ矯正である(例えば特許文献2参照)。
特開平5-130646号公報 特開平9-133852号公報
 特許文献1,2の従来技術はともにメカニカルな調整を行うもので、その調整には自ずと限界があり、修正し切れないのが実態である。それは、左右一対の撮像部として同一仕様のものを用意したとしても、必ず個体差を伴っているからである。また、装着の誤差による光軸ずれも避けがたいものである。さらに、経時的変化や移動に伴う振動などによっても両撮像部間で光軸ずれが生じ、そのまま立体画像に合成すると、適正な立体画像が得られなくなる。
 とりわけ、ライン単位の読み出しを行うローリングシャッタで動作するMOS(Metal Oxide Semiconductor)型のイメージセンサを用いる場合には、光軸ずれによる左目用、右目用画像のずれが発生すると、立体画像用の視差画像として読み出した左目用、右目用画像の位置的なマッチングが不整合となり、立体効果による違和感が生じたり、眼に著しい疲労を与えたりする。移動被写体の場合には、不具合現象が増幅される。また、望遠ズームを伴う場合には不整合の度合いが増す。このローリングシャッタゆえの問題点については、特許文献1,2とも認識がなく、もちろん対策についても触れられていない。
 本発明は、このような事情に鑑みて創作されたものであり、左右一対の撮像部間に垂直方向の光軸ずれが生じても、これを確実に矯正して左目用、右目用撮像部の撮影の同時性を確保し、左右画像間でずれのない良品質な立体画像が得られるようにすることを目的としている。
 本発明は、次のような手段を講じることにより上記の課題を解決する。以下において、《1》,《2》,《3》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応する。これらの括弧付き数字は、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。
 《1》本発明は、次のような考察のもとに上記の課題を解決する。その根本は、画像におけるずれである空間的変位を、駆動タイミングの調整という時間的変位に置き換えて調整するという技術的思想にある。図1を用いて説明する。
 立体画像撮影装置であるから、前提として、左目用、右目用撮像部1L,1Rと、これら両撮像部1L,1Rにおける各イメージセンサ2L,2Rをフレーム同期して駆動制御するフレーム同期駆動制御部3と、左目用、右目用撮像部1L,1Rで取得した左右の撮影画像に対して画像処理を行って立体画像合成の元になる視差画像を生成するカメラ処理部4とを備えている。フレーム同期駆動制御部3は、左目用、右目用撮像部1L,1Rが動作周波数において整合することを補償する。
 さらに、左目用、右目用撮像部1L,1Rで得られる左目用、右目用撮影画像PL,PRについて、イメージセンサ2L,2Rでの光軸ずれのために左目用、右目用撮影画像PL,PRに空間的なずれである垂直方向ずれが生じる場合に、そのずれを矯正するための垂直タイミング調整器5を備えている。この垂直タイミング調整器5は、左目用、右目用撮影画像PL,PRにおける被写体像AL,ARのフレーミング位置の垂直方向ずれ量がゼロに近づくように、イメージセンサ2L,2Rの駆動タイミングをフレーム同期駆動制御部3において調整するものとして構成されている。この場合に、左目用、右目用イメージセンサ2L,2Rのうちいずれか一方の駆動タイミングを調整することを原則とする。もっとも、イメージセンサの駆動タイミングの調整は、いずれのイメージセンサでも可能であるように構成する。それは、右目用撮影画像PRが左目用撮影画像PLに対して垂直方向下向きにずれる場合もあれば、逆に、左目用撮影画像PLが右目用撮影画像PRに対して垂直方向下向きにずれる場合もあって、これら両方の場合に対応できるようにするためである。つまり、左目用、右目用イメージセンサ2L,2Rの駆動タイミングの調整は、互いに独立して実施可能に構成する。
 以下、より具体的レベルで説明する。左目用撮像部1Lと右目用撮像部1Rとで同じ被写体を同時に撮影している状態で、両撮像部1L,1Rに垂直方向の光軸ずれがあると、同一タイミングにおける左目用撮影画像PLと右目用撮影画像PRとで空間的なずれである垂直方向のずれが生じる。図2を用いて説明する。これはローリングシャッタでの読み出しの処理を概念化したものである。図面の水平方向は時間軸であり、左側から右側に向けて時間が進むと考えている。矩形で示す左目用、右目用撮影画像PL,PRは、通常の描き方に対して反時計方向に90度回転した状態で描いている。つまり、両撮影画像PL,PRは、その空間的な垂直方向軸が時間軸方向となるように図面上で展開されている。図面の縦方向は両撮影画像PL,PRの空間的な水平方向に対応している。(†1)を含むこのような図の表記(詳しいことは図5を用いて後述する)は、ローリングシャッタ方式のMOSイメージセンサに特有のもので、所定時間の露光の完了直後におけるイメージセンサからの画像データの読み出しの処理において、ライン単位で画面垂直方向(図の右方向)に順次的に読み出しを行うことに対応している。なお、ライン単位のラインは図の縦方向に沿った画素群1列である。ALは左目用撮影画像PLにおける読み出し対象の被写体像であり、ARは右目用撮影画像PRにおける読み出し対象の被写体像である。両撮影画像PL,PRそれぞれにおいて被写体像AL,ARは下側(右側)にいくほど時間が進んでいることになる。
 いま仮に、図2の(a)に示すように、左目用、右目用イメージセンサ2L,2Rでの光軸ずれのためにイメージセンサの撮像面に対して同時刻の同一被写体の1フレーム内での位置(AL,AR)が、右目用撮影画像PRでは左目用撮影画像PLよりも垂直方向下側(図の右方向)に変位しているとする。つまり、左目用撮影画像PLにおける被写体像ALに対して右目用撮影画像PRにおける被写体像ARが垂直方向下向きにずれているとする。図示例で、Δtは、左目用撮影画像PL内の被写体像ALのフレーミング位置に対する右目用撮影画像PR内の被写体像ARのフレーミング位置の垂直方向ずれ量を時間に換算したずれ時間量である。このように左右の被写体像AL,ARが位置ずれしている両撮影画像PL,PRをそのまま視差画像にして立体画像に合成するとなると、立体画像としては垂直ずれを伴った不具合のあるものとなってしまう。
 そこで、左目用、右目用画像につき絵柄を図3の(b)に示すように垂直方向(図の横方向:時間軸方向)で合わせることを目指す。
 そのためにまず、図2の(b)に示すように、左目用、右目用撮影画像PL,PRにおける被写体像AL,ARのフレーミング位置に対して垂直方向ずれ量検出のために左右のトリミングエリアTL,TRを設定する。これは、空間的な範囲規制である。左目用トリミングエリアTL内での被写体像ALの相対的な位置関係と、右目用トリミングエリアTR内での被写体像ARの相対的な位置関係とが等価的であるように、左右のトリミングエリアTL,TRを設定する。これら左目用、右目用トリミング画像PTL,PTRは、図2の(c)に示すように、空間的にはトリミングエリアTL,TRを基準に等価な位相関係にあることになる。しかし、空間的に等価な位相関係にあることは、即解決策とはならない。それは、時間的なずれの問題が残っているからである。この点を解決することが本発明の最大のポイントとなる。以下、詳しく説明する。
 左目用トリミング画像PTLを左目用イメージセンサ2Lから読み出し、右目用トリミング画像PTRを右目用イメージセンサ2Rから読み出すに際して、図2の(b)に示すように、単一共通の読み出しスタートパルスSPを用いるとなると、光軸が相対的に上方の右目用トリミング画像PTRはよいとして、光軸が相対的に下方にある左目用トリミング画像PTLは、右目用トリミング画像PTRに対して時間的にずれた(前方ずれ)シーンのものとなってしまう。なぜなら、図2の(c)に示すように、左目用トリミング画像PTL内の被写体像ALが時刻ts~teの範囲内のもの(図面下側の点線)であるのに対して、右目用トリミング画像PTR内の被写体像ARは時刻(ts+Δt)~(te+Δt)の範囲内のもの(図面上側の実線)であるからである。これら両被写体像AL,ARは、時間的にずれたシーンのものとなる。まして、被写体が移動被写体であれば、両被写体像AL,ARはさらに位置(座標)、輪郭形状、サイズなどが異なるものとなり、本来取り出すべき被写体像とはさらに相違点が増え、立体画像に合成すれば、ずれは回避されず、移動速度と移動方向により奥行き位置が変化するという自然界ではありえない違和感のある画像として認識されてしまう。これが解決すべき課題の詳細である。
 そこで、本発明では、図3の(a)に示すように、左目用トリミング画像PTLの読み出しには、右目用トリミング画像PTRの読み出しスタートパルスSPとは別の、この読み出しスタートパルスSPよりも時間的にΔtだけ遅延した読み出しスタートパルスSP* を用いることとする。この標準の読み出しスタートパルスSPから時間Δtだけ遅延させて読み出しスタートパルスSP* を生成するのが垂直タイミング調整器5の役割である。
 結果、図3の(b)に示すように、光軸が相対的に下方にある左目用トリミング画像PTLは、右目用トリミング画像PTRに対して時間的に実質的にずれのない同じシーンのものとなる。したがって、この左目用トリミング画像PTLと右目用トリミング画像PTRとを視差画像として立体画像に合成すると、ずれの解消された立体画像となる。
 図3の(b)の見方であるが、上側にある右目側被写体像ARがタイミング(ts+Δt)~(te+Δt)に相当し、下側にある左目側被写体像ALもタイミング(ts+Δt)~(te+Δt)に相当するものとなっていて、実質的に同一タイミングとなる。これで左右のトリミング画像PTL,PTRが垂直方向の位置関係でマッチングがとれているのである。そしてその要因は、繰り返しになるが、図3の(a)に示すように、上側の読み出しスタートパルスSPよりも時間的にΔtだけ遅延した読み出しスタートパルスSP* を用いることにある。
 上記では、撮影画像が相対的に下方にある側のイメージセンサを左目用イメージセンサ2Lに仮想したが、当然この逆の、撮影画像が相対的に下方にある側のイメージセンサが右目用イメージセンサ2Rとなる場合もある。そのときは、上記とは左右を置き換えて対称的に考えればよい。
 本発明においては、垂直タイミング調整器5の働きにより、両イメージセンサ2L,2Rの駆動タイミングという時間的要素の調整を通じて、同時刻の同一被写体の視差画像用の左目用、右目用両撮影画像(トリミング画像PTL,PTR)における空間的位置関係を等価なものに変換しているのである。
 従来技術の解決手法は、垂直方向ずれという空間的変位をゼロに近付けるように調整するのに、やはり同じ次元の空間的位置調整をもって行うものであった。それがメカニカルな調整である。メカニカルな調整ゆえに、どうしても限界があり、究極の微調整はむずかしいものであった。
 しかるに、本発明では、発想を大転換し、垂直方向ずれという空間的変位がゼロに近付くように調整するのに、次元を異にする時間的変位すなわちタイミング調整をもって行うこととしたものである。
 従来技術の場合のメカニカルな調整では、被写体の光学像を取り込む前の状態における被写体と撮像機材との空間的相対的位置関係の調整である。これは言ってみれば、“外的調整”である。これに対して、本発明では被写体の光学像を取り込んで電子化した状態での調整である。これは“内的調整”である。外的調整ではどうしても原因と結果との間に不一致が生じがちであるが、内的調整となれば、原因と結果の関係が近く、根本的な解決となっているのである。
 以上のようにして、画像におけるずれである空間的変位を、駆動タイミングの調整という時間的変位に置き換えて調整することにより、視差画像を構成する左目用、右目用画像において垂直方向ずれを矯正することが可能となっている。
 以上の結果として、左目用、右目用撮像部1L,1R間に垂直方向の光軸ずれが生じても、これを確実に矯正して、左目用、右目用の両撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。つまり、従来技術の場合に認められたメカニカルな調整ゆえの個体差に伴う限界を超えて、より高精度な調整が可能となっている。
 以上を要するに、本発明の立体画像撮影装置は、
 左目用イメージセンサ2Lを有する左目用撮像部1Lと、
 右目用イメージセンサ2Rを有する右目用撮像部1Rと、
 前記左目用、右目用イメージセンサ2L、2Rをフレーム同期して駆動制御するフレーム同期駆動制御部3と、
 前記左目用撮像部1Lで取得される左目用撮影画像PLと、前記右目用撮像部1Rで取得される右目用撮影画像PRとに画像処理を行って、前記左目用撮影画像PLと前記右目用撮影画像PRとの視差画像を生成するカメラ処理部4と、
 前記左目用撮影画像PLにおける被写体像のフレーミング位置と前記右目用撮影画像PRにおける被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、前記フレーム同期駆動制御部3において前記左目用、右目用イメージセンサ2L、2Rの駆動タイミングを調整する垂直タイミング調整器5と、
 を備える。
 《18》上記《1》の立体画像撮影装置に関連して、本発明の立体画像撮影方法は、必須的な処理過程として、
 左目用イメージセンサ2Lを有する左目用撮像部1Lで得られる左目用撮影画像PLにおける被写体像のフレーミング位置と、右目用イメージセンサ2Rを有する右目用撮像部1Rで得られる右目用撮影画像PRにおける被写体像のフレーミング位置との間の垂直方向ずれ量を求める第1のステップと、
 前記垂直方向ずれ量Δhに基づいて、前記左目用、右目用イメージセンサ2L、2Rの駆動タイミングを調整する第2のステップと、
 調整後の前記駆動タイミングに従って駆動する前記左目用、右目用イメージセンサ2L、2Rで取得された露光終了後の画像データをライン単位で順次に読み出す第3のステップと、
 を含む。
 上記の《1》,《18》の構成によれば、左右一対の撮像部1L,1R間に垂直方向の光軸ずれが生じても、垂直タイミング調整器5による電子的なタイミング調整を通じてずれを確実に矯正し、この矯正を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 本発明によれば、左右一対の撮像部間に垂直方向の光軸ずれが生じても、これを確実に矯正し、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることができる。すなわち、同一仕様で用意した左右一対の撮像部が個体差を伴っているかどうかにかかわりなく、垂直タイミング調整器による電子的なタイミング調整を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることができる。
図1は本発明の立体画像撮影装置の基本的な構成を示すブロック図である。 図2は本発明におけるローリングシャッタでの読み出しのタイミング調整の概念図(その1)である。 図3は本発明におけるローリングシャッタでの読み出しのタイミング調整の概念図(その2)である。 図4は本発明の実施の形態における垂直タイミング調整器の具体的構成を示すブロック図である。 図5は一般的なローリングシャッタでの露光・読み出しの処理の概念図である。 図6は本発明の実施例における立体画像撮影装置の構成を示すブロック図である。 図7は本発明の実施例における左目用、右目用撮影画像の垂直方向ずれの様子の説明図である。 図8は本発明の実施例における垂直方向ずれに対する読み出しタイミングの制御の説明図である。 図9は本発明の実施例における図7に対応した動作説明のためのタイミングチャートである。 図10は本発明の実施例における図8に対応した動作説明のためのタイミングチャートである。 図11は本発明の実施例におけるモニタディスプレイでの左目用、右目用撮影画像の表示の様子を示す図(その1)である。 図12は本発明の実施例におけるモニタディスプレイでの左目用、右目用撮影画像の表示の様子を示す図(その2)である。 図13は本発明の実施例における顔領域検出の様子を示す図である。 図14は本発明の実施例における立体画像撮影装置の動作を示すフローチャートである。 図15は本発明の実施例におけるトリミングエリア調整の途中段階を示す図である。 図16は本発明の実施例におけるカメラシステムの様子を示す斜視図(その1)である。 図17は本発明の実施例におけるカメラシステムの様子を示す斜視図(その2)である。
 上記した《1》の構成の本発明の立体画像撮影装置および関連する《18》の立体画像撮影方法は、次のような実施の形態においてさらに有利に展開することが可能である。
 《2》上記《1》では、トリミングエリアTL,TRについて言及した。このトリミングエリアTL,TRは、結局は駆動タイミングの必要な遅延量を求めていることになる。駆動タイミングの遅延量は、他の方法でも求められるが、トリミングエリアTL,TRを設定すれば遅延量を求めやすくなる。
 すなわち、好ましい態様として、垂直タイミング調整器5が、同時刻の同一被写体の相対位置関係が前記左目用撮影画像PLと前記右目用撮影画像PRとで同じになるように同じになるように設定された左右のトリミングエリアTL,TRのずれ量を求め、求めたずれ量に対応した駆動タイミングの遅延量をフレーム同期駆動制御部3に設定するように構成されているという態様がある。
 なお、トリミングについては、垂直方向下側に変位している方の画像において、上辺から垂直方向ずれ量に相当するライン数分の画像データを無効データとすればよい。
 《3》次にイメージセンサにおける電子シャッタの形態について検討する。左右一対の撮像部1L,1Rにおけるイメージセンサ2L,2Rには露光制御のための電子シャッタが備えられている。MOS(Metal Oxide Semiconductor)イメージセンサの場合の電子シャッタはローリングシャッタ方式が標準である。また、CCD(Charge Coupled Device)イメージセンサの場合の電子シャッタはグローバルシャッタ方式が標準である。CCDイメージセンサのグローバルシャッタ方式は、全画素同時にシャッタ動作を行う方式であるため、左右のイメージセンサで駆動を同期させておけば、仮に左目用、右目用画像で垂直方向に位置ずれを生じたとしても、タイミング的なずれはない。したがって、左目用、右目用画像でトリミングを合わせておきさえすれば問題はない。問題があるのは、ライン単位で順次的に読み出していくMOSイメージセンサのローリングシャッタ方式である。上述の図2、図3はローリングシャッタ方式での説明である(図5も同様)。本発明は、左目用、右目用撮像部1L,1Rのイメージセンサ2L,2Rがローリングシャッタ方式のMOSイメージセンサである場合に、その技術的意義がとりわけ有効に発揮される。
 以上を要するに、上記《1》,《2》の構成において、前記左目用、右目用イメージセンサ2L,2Rは、露光制御のための電子シャッタとしてローリングシャッタを有するMOSイメージセンサである、という態様である。
 上記《1》の発明は、その発想のもとがそもそもローリングシャッタ方式のMOSイメージセンサであった。しかし、《1》の発明は、必ずしも露光制御のための電子シャッタとしてローリングシャッタを要件とする必要はない。《2》の発明でも同様である。《1》,《2》の発明は、そのような条件下で成立するものである。これに対して、本項《3》では、より適用性の高い仕様を限定するものである。すなわち、ライン単位の読み出しを行うローリングシャッタのMOSイメージセンサは、上記した《1》,《2》の、垂直タイミング調整器5による各イメージセンサ2L,2Rからの読み出しスタートパルスSPのタイミング調整に適したものである。そのようなローリングシャッタ方式のイメージセンサに本発明は好適に適用されることになる。
 《4》上記《1》~《3》の構成において、垂直タイミング調整器5が調整を行う駆動タイミングについては、これを垂直同期信号のタイミングとし、その上で、垂直タイミング調整器5は、撮影画像における被写体像フレーミング位置が相対的に上方にある側(光軸が下方にずれた方)のイメージセンサにおいて、その垂直同期信号のタイミングを、同期基準信号のタイミングから、垂直方向ずれ量に対応したライン数に匹敵する垂直走査期間分だけ遅延させるものとするのが好ましい。この場合、撮影画像における被写体像フレーミング位置が相対的に下方にある側のイメージセンサでは、その垂直同期信号のタイミングは、同期基準信号のタイミングと一致している。これにより、被写体像フレーミング位置が上方側(光軸下方側)のイメージセンサでの垂直同期信号のタイミングは、被写体像フレーミング位置が下方側(光軸上方側)のイメージセンサでの垂直同期信号のタイミングよりも垂直方向ずれ量相当の垂直走査期間分だけ遅延していることになる。
 左目用撮像部1Lにおけるイメージセンサ2Lも右目用撮像部1Rにおけるイメージセンサ2Rも、その駆動は、タイミングの基準となる垂直同期信号に基づいて駆動される。ここで、両者の垂直同期信号を互いに独立にタイミング調整されるようにする。この両イメージセンサ2L,2Rの垂直同期信号の元になる共通の信号が同期基準信号である。この大本の同期基準信号を基準に、被写体像フレーミング位置が下方側(光軸上方側)のイメージセンサの垂直同期信号のタイミングは同期基準信号と同じタイミングとし、被写体像フレーミング位置が上方側(光軸下方側)のイメージセンサの垂直同期信号のタイミングを同期基準信号から遅延させる。その遅延量Δtは、左目用、右目用撮影画像PL,PRにおける被写体像AL,ARのフレーミング位置の垂直方向ずれ量Δhに対応したライン数に匹敵する垂直走査時間に相当する。遅延量Δtの次元は時間であり、垂直方向ずれ量Δhの次元は長さである。なお、遅延量Δtは設定表示モード(VGAなどの解像度規格)におけるライン数に換算される場合もある。
 このように制御することにより、左目用、右目用撮影画像PL,PRにおける被写体像AL,ARのフレーミング位置に垂直方向ずれが生じている場合に、その垂直方向ずれ量がゼロに近づくように調整され、視差画像用の左目用、右目用撮影画像(トリミング画像PTL,PTR)に垂直方向ずれのない整合性をもたせることが可能になる。
 例えば図2、図3に例示するように、左目用撮影画像PLの被写体像ALのフレーミング位置が相対的に上方に変位しているとする。この場合、撮影画像の被写体像のフレーミング位置が相対的に上方にある側(光軸下方側)の左目用イメージセンサ2Lにおいて読み出しスタートタイミングを遅延させる。こうすると、視差画像を構成する左目用、右目用画像において、垂直方向のずれが解消され、左目側被写体像ALの空間的・時間的な位置関係が右目側被写体像ARの空間的・時間的な位置関係と同じに調整される。
 上記とは逆に、右目用撮影画像PRの方が相対的に上方に変位しているとする。この場合、撮影画像の被写体像のフレーミング位置が相対的に上方にある側の右目用イメージセンサ2Rにおいて読み出しスタートタイミングを遅延させる。こうすると、視差画像を構成する左目用、右目用画像において、垂直方向のずれが解消され、右目側被写体像ARの空間的・時間的な位置関係が左目側被写体像ALの空間的・時間的な位置関係と同じに調整される。
 以上のようにして、いずれの場合も、視差画像用の左目用、右目用撮影画像(トリミング画像PTL,PTR)における被写体像AL,ARの空間的・時間的な位置関係が同等となるように調整される。
 また画像におけるずれである空間的変位が、読み出しスタートタイミングの遅延という時間的変位に置き換えられて調整される。これはすなわち、垂直タイミング調整器5は、左目用、右目用イメージセンサ2L,2Rの垂直同期信号を互いに独立にタイミング調整するものとして構成される、という態様による。
 《5》上記《3》,《4》の構成において、左目用、右目用MOSイメージセンサ2L,2Rにおける駆動タイミングの態様については、電子シャッタスタートパルスESSP(シャッタゲートパルス)および読み出しスタートパルスSPのタイミングがそのMOSイメージセンサの垂直同期信号の遅延に並行して同一時間遅延されるように構成された態様がある。
 電子シャッタスタートパルスESSPは、このパルスの出力により被写体光学像の入射に伴う電荷の蓄積をライン単位で順次的にその都度リセットし、パルス解除のタイミングから露光期間(蓄積時間)の開始とするものである。読み出しスタートパルスSPは、このパルスを起点にライン単位で順次的に読み出し、その周期をもって1フレーム期間(1フィールド期間)を定めるものである。
 電子シャッタスタートパルスESSPのパルス解除のタイミングから次の読み出しスタートパルスSPのタイミングまでが露光期間に相当する。このような機能をもつ電子シャッタスタートパルスESSPおよび読み出しスタートパルスSPは、垂直同期信号を基準にして生成されるものである。したがって、垂直同期信号を遅延させたとき、それに連動して電子シャッタスタートパルスESSPも読み出しスタートパルスSPも自ずと同一時間遅延されるのがよいのである。
 《6》上記《1》~《5》の構成において、垂直タイミング調整器5は、垂直方向ずれ量Δhをライン数ずれ量に換算したうえで、前記左目用、右目用撮影画像PL、PRのうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサ2Lまたは前記右目用イメージセンサ2Rに、前記ライン数ずれ量を前記駆動タイミングの遅延量として設定するように構成されている、という態様がある。垂直方向ずれ量は、垂直方向での画素数をもって捉えられる。イメージセンサの駆動タイミングの調整はライン数を基準にして行われる。Full#HD(1920×1080),VGA(640×480),QVGA(320×240)などの表示モード(解像度規格)が変われば、制御上遅延させるライン数も変化する。したがって、解像度規格に合わせたライン数換算が必要となる。
 このようにして垂直方向ずれ量から換算して得られたライン数ずれ量(遅延量情報)を該当する方のイメージセンサ(光軸下ずれ、画像上ずれのイメージセンサ)にフィードバックし、マッチング制御に供する。
 《7》上記の《1》~《6》において、垂直タイミング調整器5からフレーム同期駆動制御部3を介して該当する方のイメージセンサに駆動タイミングの調整指示を与えるには、ずれ量に対応した駆動タイミングの遅延量Δtを送る必要がある。そこで、垂直タイミング調整器5に駆動タイミングの遅延量Δtの送出機能をもたせる。本項は、この駆動タイミングの遅延量Δtの送出機能を人為的なマニュアル操作(当該立体画像撮影装置の操作者による手動操作)によるものとする。
 《8》本項は、上記《7》のマニュアル操作に代えて、ずれ量に対応した駆動タイミングの遅延量Δtの送出機能を自動的なフィードバック形態とするものである。
 《9》上記のように、垂直方向ずれおよび垂直方向ずれ量Δhの把握ならびに垂直マッチングの指示については、マニュアル方式と自動方式とがある。本項ではマニュアル方式を考える。
 左目用撮影画像PLと右目用撮影画像PRとをモニタに表示させる。このモニタ表示の撮影画像は、生の画像データであってもよいし、表示用に縮小リサイズまたはトリミングした画像データであってもよい。その表示状態で、左目側被写体像ALと右目側被写体像ARとが垂直方向にずれているかどうか、ずれているときはその垂直方向ずれ量Δhはどのようなものかを操作者が把握し、そのうえで操作者が、操作器6(図1参照)に操作者がマニュアル操作を行うことで、操作器が、ずれ量がゼロに近づくように、いずれか一方のイメージセンサ画像のトリミングエリアの位置を調整するためのずれ調整指示信号を生成し、さらにそのずれ調整指示信号を画像のトリミングエリアの位置調整器(カメラ処理部等に搭載されている)に送出する。トリミング画像のずれが減少する状態は例えばモニタに表示される。操作者は表示を確認しながら垂直方向ずれ量がゼロになるまで調整指示の作業を行う。トリミング位置変更により画像の垂直方向の位置合わせが完了した時点でのずれ調整指示信号は、次に読み出しスタートタイミングを調整するために、垂直タイミング調整器5に送り、ここで上述した調整動作を実行する。
 この調整により、左目側被写体像ALを含む左目用トリミングエリアTLと右目側被写体像ARを含む右目用トリミングエリアTRとの垂直方向ずれ量が減少する。その減少する様子は例えばモニタに表示される。最終的に左目用トリミングエリアTLと右目用トリミングエリアTRとの垂直方向ずれ量Δhはゼロとなり、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 以上を要するに、この態様は、上記《1》~《7》の構成において、
 前記駆動タイミングの調整を前記垂直タイミング調整器5に指示するためのずれ調整指示信号を、当該立体画像撮影装置の操作者による手動操作に基づいて生成する操作器を、
 さらに有し、
 前記垂直タイミング調整器5は、前記ずれ調整指示信号に基づいて前記駆動タイミングを前記フレーム同期駆動制御部3において調整するように構成されている。
 これによれば、画像表示を参考にしながらのマニュアル操作を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 《10》マニュアル調整の場合は、カメラ処理部4の機能が利用される。ここで、カメラ処理部4は、左右のトリミングエリアTL,TRに対応する画像データをモニタサイズに縮小リサイズし、それぞれ縮小リサイズされた画像をモニタ上で左側と右側に並べて表示させる機能を有しているものとする(図11参照)。これは、視覚を通じたずれ検出機能といえる。
 左右のトリミングエリアTL,TRに対応する画像データを縮小リサイズするのは、水平方向で2分の1にして、左右2つ分の画像が1つのモニタサイズに収まるようにするためである。モニタ上で右側半分の表示領域に右目用トリミング画像PTRによる縮小リサイズ画像を表示するとともに、左側半分の表示領域に左目用トリミング画像PTLによる縮小リサイズ画像を表示する。左右一対の撮像部1L,1Rに光軸ずれがあれば、表示された左右2つの画像において垂直方向のずれが生じる。操作者(撮影者)はモニタにおいて垂直方向に位置のずれた2つの画像のずれを確認しながら、操作器6でのマニュアル操作により、左目用、右目用表示画像の垂直方向ずれを解消する。
 以上のようなずれ検出機能を用いてマニュアル調整する際、例えば、画像内の共通の水平な被写体の連続性がとれるようにトリミングエリアのスタートライン位置を上下に調整すればよい。あるいは屋外では、水平線を基準に遠景の風景などを調整すればよい。このようにして得られるずれ量に対応した駆動タイミングの遅延量Δtが内部的に捕捉され、垂直タイミング調整器5における駆動タイミングの遅延量Δtとして反映される。マニュアル操作による左目用、右目用表示画像の垂直方向位置合わせは、結局、トリミングエリアのスタートライン位置の垂直方向位置合わせになる。
 《11》本項は、上記《10》に代わるもので、左目用、右目用トリミング画像PTL,PTRをそれぞれ2分の1ずつ表示するものである。カメラ処理部4は、左目用トリミングエリアTLに対応する画像データのうち左側半分の画像データをモニタサイズの2分の1に縮小リサイズしてモニタ上で左側に表示させるとともに、右目用トリミングエリアTRに対応する画像データのうち右側半分の画像データをモニタサイズの2分の1に縮小リサイズしてモニタ上で右側に表示させる機能を有している(図12参照)。これも、視覚を通じたずれ検出機能といえる。
 左側表示エリアの2分の1画像と右側表示エリアの2分の1画像とを合わせると、2つで1つのまとまった絵柄となる。ただし、左右一対の撮像部1L,1Rに光軸ずれがあれば、左側表示エリアと右側表示エリアとの境界線(縦方向中心線)の左右で垂直方向のずれが生じる。操作者(撮影者)はモニタにおいて垂直方向に位置のずれた左半分の画像と右半分の画像のずれを確認しながら、操作部でのマニュアル操作により、左目用、右目用表示画像の垂直方向ずれを解消する。
 以上のようなずれ検出機能を用いてマニュアル調整する際、境界線(縦方向中心線)上で左右に分離された被写体の画像の境界での連続性のバランスを確認しながら、トリミングエリアのスタートライン位置を上下に調整すればよい。例えば被写体人物像1人分の体が左半身と右半身で分断され、左半身像と右半身像とが垂直方向で断ち切れた状態にずれている場合に、マニュアル操作により左半身像と右半身像とをぴったりと合わせる調整は、顔を含めて1人分の身体の左右バランスをとるものであるので、操作者にとって比較的分かりやすい作業となる。このようにして得られるずれ量に対応した駆動タイミングの遅延量Δtが内部的に捕捉され、駆動タイミングの遅延量Δtとして反映される。マニュアル操作による左目用、右目用表示画像の垂直方向位置合わせは、結局、トリミングエリアのスタートライン位置の垂直方向位置合わせになる。
 《12、13》本項では、上記《10》,《11》において、垂直タイミング調整器5は、駆動タイミングの遅延量Δtとして、左目用トリミングエリアTLのスタートラインの位置情報と右目用トリミングエリアTRのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いるものとする。左右のトリミングエリアのスタートライン位置を根拠にして垂直方向ずれの矯正が行える。
 《14》本項では、垂直方向ずれおよび垂直方向ずれ量Δhの把握ならびに垂直マッチングの指示を自動方式とする。図4を用いて説明する。垂直タイミング調整器5の構成要素として、左目用、右目用注目ポイント座標算出器7L,7Rと、垂直方向ずれ量算出器8と、遅延量算出器9と、駆動タイミング設定器10とを設ける。
 左目用注目ポイント座標算出器7Lは、左目用撮影画像PLにおける被写体像ALの注目ポイントQL(人物の顔における眼、口など)の垂直方向座標YLを割り出すものである。また、右目用注目ポイント座標算出器7Rは、右目用撮影画像PRにおける被写体像ARの注目ポイントQRの垂直方向座標YRを割り出すものである。
 垂直方向ずれ量Δhは(YL-YR)で捕捉することが可能である(Δh=YL-YR)。垂直方向ずれ量算出器8は、注目ポイントQL,QRの垂直方向座標YL,YRの差分から垂直方向ずれ量Δhを算出するものである。ここで、Δh>0のときは、左目用撮影画像PLにおける被写体像ALが右目用撮影画像PRにおける被写体像ARよりも垂直方向下向きに変位しており、Δh<0のときは、右目用撮影画像PRにおける被写体像ARが左目用撮影画像PLにおける被写体像ALよりも垂直方向下向きに変位している。なお、被減数項目と減数項目を上記とは逆にしてもよい(Δh=YR-YL)。垂直方向ずれ量Δhを画素数で表すときは、それはライン数ともなる。この垂直方向でのライン数(画素数)の差分は、駆動タイミングの遅延時間に対応する。すなわち、駆動タイミングの遅延量Δtを、演算によって垂直方向ずれ量Δhから求めることができる。遅延量算出器9は、垂直方向ずれ量Δhを時間を単位とする駆動タイミングの遅延量Δtに換算するものである。係数をαとして、Δt=α・Δh(=α・(YL-YR))である。この遅延量Δtが正のときは、右目用撮影画像PRに対する駆動タイミングを遅らせることとし、逆に遅延量Δtが負のときは、左目用撮影画像PLに対する駆動タイミングを遅らせることとする。駆動タイミング設定器10は、駆動タイミングの遅延量Δtを加味した駆動タイミングをフレーム同期駆動制御部3に設定するものである。
 以上を要するに、本項では、上記《1》~《12》において、
 垂直タイミング調整器5は、
 前記左目用撮影画像PLにおける左側注目ポイントQLと前記右目用撮影画像PRにおける右側注目ポイントQRとをそれぞれ抽出したうえで、前記左側、右側注目ポイントQL,QRそれぞれの垂直方向座標を割り出す左右の注目ポイント座標算出器7L,7Rと、
 前記左側注目ポイントQLの垂直方向座標YLと前記右側注目ポイントQRの垂直方向座標YRとの差分から前記垂直方向ずれ量Δhを算出する垂直方向ずれ量算出器8と、
 垂直方向ずれ量算出器8による垂直方向ずれ量Δhを時間を単位とする遅延量Δtに換算する遅延量算出器9と、
 前記駆動タイミングの遅延量Δtを加味した駆動タイミングをフレーム同期駆動制御部3に設定する駆動タイミング設定器10と、
を備えている、という態様である。
 《19》本項は、上記《18》の立体画像撮影方法を、上記《13》の立体画像撮影装置に関連した立体画像撮影方法とし、さらに、
 前記第1のステップは、
 前記左目用撮影画像PLと前記右側撮像画像PRとを同一画面において左右に並べて表示する第1-1のステップと、
 前記同一画面に表示された前記左目用、右目用撮影画像PL、PRそれぞれにおいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像PLと前記右目用撮影画像PRとで同じになるように設定されたトリミングエリアTL,TRを設定する第1-2のステップと、
 前記左目用、右目用撮影画像それぞれの前記トリミングエリアTL,TRにおいて注目ポイントQL,QRを抽出する第1-3のステップと、
 前記左目用撮影画像PLの前記注目ポイントQLと前記右目用撮影画像PRの前記注目ポイントQRとの間で前記垂直方向ずれ量Δhを検出する第1-4のステップと、
 を備えている、という態様である。
 上記の《14》,《19》の構成によれば、垂直方向ずれ量Δhに対応する遅延量Δtを駆動タイミングをフィードバックするので、左右一対の撮像部1L,1R間に垂直方向の光軸ずれが生じても、垂直タイミング調整器5による電子的かつ自動的なタイミング調整を通じてずれを確実に矯正したうえで、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られるため、良品質な立体画像を得ることが可能となる。
 《20》本項は、上記の《19》の立体画像撮影方法において、前記第1-4のステップは、前記左目用撮影画像QLの前記トリミングエリアTLと、前記右目用撮影画像QRの前記トリミングエリアTRとのうちの一方の位置を、他方の位置に合わせ込むために、当該一方を垂直方向にシフトする際のシフト量を検出することで前記垂直方向ずれ量Δhを検出する、という態様である。
 《21》本項は、上記の《19》の立体画像撮影方法において、
 前記第1-4のステップは、前記左目用撮影画像PLの前記トリミングエリアTLにおける前記注目ポイントQLが所属するラインの番号と、前記右目用撮影画像PRの前記トリミングエリアTRにおける前記注目ポイントQRが所属するラインのライン番号との間の差分を算出することで前記垂直方向ずれ量Δhを検出する、という態様である。
 《15》上記《14》において、
 前記左目用、右目用撮影画像QL、PRにおける被写体の顔領域を検出する顔領域検出器をさらに備え、
 前記注目ポイント座標算出器7L,7Rは、前記顔領域検出器によって検出された前記顔領域内の特定部位を前記左側、右側注目ポイントQL、PRに設定する、のが好ましい1態様である。
 《22》上記の《19》~《21》の立体画像撮影方法において、前記注目ポイントとして前記左目用、右目用撮影画像における被写体の顔領域の特定部位を用いるという態様がある。
 《16》前記左目用、右目用撮像部1L,1Rには、その光学系に変倍機能をもつズームレンズが用いられることも多い。左目用、右目用撮像部1L,1Rがズームレンズにおける変倍レンズを有している仕様では、左目用、右目用撮像部1L,1Rそれぞれの変倍レンズは互いに連動するものとして構成される。望遠側へのシフトにしろ、広角側へのシフトにしろ、左右で倍率誤差が生じると、左目用、右目用画像に不整合が生じ、立体画像として合成されると適正なものが得られなくなる。変倍レンズが望遠ズームの場合には左目用、右目用画像の不整合の度合いが増す。
 このような事情を勘案すると、左目用、右目用撮像部1L,1Rが変倍レンズを伴う場合の立体画像撮影装置に、上記《1》の構成を適用することは大いに有意義なものとなる。
 以上を要するに、本項は、上記《1》~《16》の構成において、
 前記左目用、右目用撮像部1L、1Rは、変倍レンズを有する光学系をそれぞれ備え、前記左目用撮像部1Lの前記変倍レンズと、前記右目用撮像部1Rの前記変倍レンズとは、互いに連動するように構成されている、という態様である。
 なお、変倍レンズは一般的には光軸に沿って往復移動されるタイプが多いが、本項はそれに限定されなくて、往復移動以外の形態で倍率可変の機能を発揮するものであってもよい。
 《17》上記《16》の構成において、2つの撮像部の変倍レンズのズーム比率が変化すると、2つの画像の垂直方向ずれ量Δhに変化が生じる。本項は、このずれ変化を調整する。具体的には、最広角側の画像に対する最望遠側の倍率をn倍とし、最広角側でのずれ量ライン数をLw、最望遠側でのずれ量ライン数をLtとする。任意の倍率bでのずれ量ライン数Lbは、
 √n:n倍当たりの1辺の変化量
 √b:倍率bでの1辺の変化量
と考えて(√nはnの平方根を意味する)、
 Lb =[(Lt -Lw )/√n]×√b +Lw
となる。これは倍率bに対応したずれ量ライン数であるが、さらにこれから上記の駆動タイミングの遅延量Δtを算出し、フィードバックする。
 すなわち、変倍レンズの最広角側と最望遠側での撮像エリアでの垂直方向でのずれ量であるそれぞれのライン数を登録しておき、任意の変倍位置でのライン数に換算する。このように構成すれば、変倍レンズのズーム比率変化の如何にかかわりなく、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 《23》本項では、さらに具体的レベルで本発明の立体画像撮影方法を記述する。本項の立体画像撮影方法は、
 前記左目用、右目用撮影画像PL、PRの撮影を開始する第4のステップと、
 前記左目用、右目用撮影画像PL、PRを読み出す第5のステップと、
 前記左目用、右目用撮影画像PL、PRにおいてトリミングエリアTL,TRをそれぞれ初期設定する第6のステップと、
 前記左目用、右目用撮影画像PL、PRのトリミングエリアTL,TRそれぞれにおいて注目ポイントQL、QRを抽出する第7のステップと、
 前記左目用撮影画像PLの前記注目ポイントQLと、前記右目用撮影画像PRの前記注目ポイントQRとの間で垂直方向ずれの有無を確認する第8のステップと、
 前記垂直方向ずれがあるときに、前記左目用撮影画像PLのトリミングエリアTLと前記右目用撮影画像PRのトリミングエリアTRとのうちの一方の位置を垂直方向で調整する第9のステップと、
 前記垂直方向ずれのずれ量Δhがゼロに収束するまで、前記第7の~第9のステップを繰り返す第10のステップと、
 前記垂直方向ずれのずれ量Δhがゼロになったときの前記第9のステップにおける前記一方のトリミングエリアの垂直方向の調整量を、前記第8のステップで検出した前記垂直方向ずれのずれ量Δhに対応する駆動タイミングの遅延量として保存する第11のステップと、
 さらに含む。
 《24》本項では、上記《23》の立体画像撮影方法において、
 前記左目用、右目用イメージセンサ2L、2Rが有する電子シャッタがローリングシャッタであるか否かを判定する第12のステップと、
 前記第12のステップで前記電子シャッタが前記ローリングシャッタであると判定すると、前記ずれ量Δhに対応した駆動タイミングの遅延量を、前記第12のステップにおいて前記電子シャッタが前記ローリングシャッタであると判定した前記左目用、右目用イメージセンサ2L、2Rに設定する第13のステップと、
 さらに含む。
 以下、参考までに、ローリングシャッタの基本的技術内容を説明しておく(†1)。この説明は、〔課題を解決するための手段〕の《1》に反映される。
 図5の(a)は時間経過を示し、図5の(b)はイメージセンサによる撮影画像を示し、図5の(c)は露光と読み出しの制御を示す。(a),(b),(c)は縦方向で時間的に対応している。図5の(a)において、右方向は時間の進み方向であり、ESSPは電子シャッタスタートパルス、SPは読み出しスタートパルスである。イメージセンサによる撮影画像を示す図5の(b)において、Pは撮影画像、Aは読み出し対象の被写体像、図の縦方向は撮影画像の水平方向(ラインに沿う方向)、図の横方向は撮影画像の垂直方向である。短冊状のものは1ラインずつの撮像データを表している。図5の(c)において、横方向は時間軸、縦方向は撮影画面の垂直方向に対応している。短冊状のものは1ラインごとの撮像状況(時間的推移)を示していると考えてよい(竹村裕夫著『CCD・CMOSカメラ技術入門』コロナ社のp64の図3.19シャッタ方式の原理(b)CMOSの読み出し方法(ローリングシャッタの場合)を参照)。図5の(b)は図5の(c)を上側から俯瞰したものに相当すると考えてよい。
 電子シャッタスタートパルスESSPは、このパルスの出力により被写体光学像の入射に伴う電荷の蓄積をライン単位で順次的にその都度リセットするもので、パルス解除のタイミングから露光期間(蓄積時間)が開始される。読み出しスタートパルスSPは、このパルスを起点にライン単位で画像データを順次的に読み出すもので、その周期をもって1フレーム期間(1フィールド期間)が定められる。
 電子シャッタスタートパルスESSPと読み出しスタートパルスSPは、第1ラインの露光とライン単位のデータ読み出しに対応するものである。図示はしていないが、同様の電子シャッタスタートパルスESSPと読み出しスタートパルスSPのセットとが各ラインごとに用いられる。それらは、1ライン相当分の時間だけ順次にずれて出力される。電子シャッタスタートパルスESSPのパルス解除のタイミングtshから次の読み出しスタートパルスSPのタイミングtspまでが露光期間Texに相当する。Tex相当範囲の細長い平行四辺形((c)の「ライン単位の露光期間」)は全ラインについての共通の露光期間を表している。露光期間Texは全ラインにつき互いに等しくすることが可能となっている。
 個々のラインの画素群を露光期間Texだけ露光して、光電変換によって生じる電荷を蓄積しながら、露光期間Texの終了直後の読み出しスタートパルスSPによって、ライン単位で第1ラインから最終ラインにかけて順次に画像データを読み出す。これがMOSイメージセンサのローリングシャッタ方式での露光・読み出し方式である。
 1枚の画像を形成する被写体像Aの上下方向各部は互いに時間的にずれたものとなる性質がある。被写体像Aの脚部は、頭部に比べてわずかではあるが時間的に遅れたタイミングでの画像となっている。それは、露光開始タイミング、露光終了タイミングおよび読み出しスタートタイミングのセットが、被写体像Aの頭部から脚部にかけて順次的に遅れて行くからである。
 このような機能をもつ電子シャッタスタートパルスESSPおよび読み出しスタートパルスSPは、垂直同期信号を基準にして生成されるものである。したがって、垂直同期信号を遅延させると、それに連動して電子シャッタスタートパルスESSPも読み出しスタートパルスSPも自ずと同一時間遅延されることになる。
 以下、本発明の立体画像撮影装置、立体画像撮影方法の実施例について図面を参照しながら説明する。図6は本発明の実施例における立体画像撮影装置の構成を示すブロック図である。図6において、100は立体画像撮影部、200はカメラ処理部である。立体画像撮像部100とカメラ処理部200は、ケーブルからなるデータ通信部150を介して電気的に接続されている。立体画像撮像部100は、右目用撮像部1Rと、左目用撮像部1Lと、デュアルセンサのフレーム同期駆動制御部3を備えている。
 右目用撮像部1Rは、変倍レンズ11、光学レンズ12、光学ローパスフィルタ(LPF)13、カラーフィルタ14、MOS型のイメージセンサ2RおよびAD変換器を含むアナログフロントエンド部15を備えている。同様に、左目用撮像部1Lは、変倍レンズ21、光学レンズ22、光学ローパスフィルタ(LPF)23、カラーフィルタ24、MOS型のイメージセンサ2LおよびAD変換器を含むアナログフロントエンド部25を備えている。フレーム同期駆動制御部3は、左右のイメージセンサ2L,2Rをフレーム同期して駆動制御するものとして構成されている。左右のイメージセンサ2L,2Rは、ローリングシャッタ機構を有するMOSイメージセンサである。
 左目用撮像部1Lと右目用撮像部1Rとは、互いに独立して被写体光束を入射し、イメージセンサ2L,2Rでの光電変換によって得られる被写体像画像データを視差画像データとしてカメラ処理部200に出力するようになっている。
 左目用、右目用撮像部1L,1Rの構成・動作は同じである。ここで、右目用撮像部1Rについて説明すると、光軸に沿って駆動される変倍レンズ11および光学レンズ12を通過した光は、光学LPF13とカラーフィルタ14を通過してイメージセンサ2Rに入射する。光学LPF12では高周波成分の除去、エリアシング(高周波成分折り返し現象)の防止が行われる。イメージセンサ2Rの受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、信号電荷に応じた電圧信号(画像信号)として順次に読み出される。イメージセンサ2Rから読み出された画像信号はアナログフロントエンド部15に送られ、アナログゲイン、CDS(相関二重サンプリング)などの処理が施された後、画像信号はA/D変換処理によりデジタル信号に変換され、さらにカメラ処理部200の前処理部44へ出力される。左目用撮像部1Lも同様である。
 左目用、右目用イメージセンサ2L,2Rは、フレーム同期駆動制御部3のドライバ回路から与えられるパルスに基づいて駆動される。すなわち、ドライバ回路は、イメージセンサ2L,2Rに共通の同期基準信号に基づいて各イメージセンサ個別に垂直同期信号VL,VRを生成する。そして、ドライバ回路は、それぞれ垂直同期信号VL,VRを基準に電子シャッタスタートパルスESSP(シャッタゲートパルス)と読み出しスタートパルスSPを生成し、各イメージセンサ2L,2Rを個別に制御する。電子シャッタスタートパルスESSPに基づいて、個々の画素のフォトダイオードに蓄積された電荷はライン単位で順次的にリセットされる。電子シャッタスタートパルスESSPの解除のタイミングから後続の読み出しスタートパルスSPのタイミングまでの期間が露光期間(蓄積時間)となる。各イメージセンサ2L,2Rにおける読み出しスタートパルスSPはライン単位で出力され、ライン単位の画像データの読み出しが行われる。これにより、各イメージセンサ2L,2Rで取得された画像データが左目用、右目用撮影画像PL,PRとして出力される。
 各イメージセンサ2L,2Rの駆動タイミングを決める個別の垂直同期信号VL,VRのタイミングは、フレーム同期駆動制御部3によって制御される。この場合に、両垂直同期信号VL,VRのタイミングのずれ時間である遅延量Δtは、後述するカメラ処理部200におけるCPU41から前処理部44を介してフレーム同期駆動制御部3に与えられるように構成されている。ライン単位に相当する単位時間を基準にして、その単位時間の整数倍で遅延量Δtが増減調整される。
 垂直同期信号が遅延量Δtだけ遅延された側のイメージセンサにおいては、連動して電子シャッタスタートパルスESSPおよび読み出しスタートパルスSPも同じ遅延量Δtだけ遅延されることになる。電子シャッタスタートパルスESSPおよび読み出しスタートパルスSPは、左目用イメージセンサ2Lでも右目用イメージセンサ2Rでも、フレーム同期駆動制御部3から繰り返し周期的に出力される。
 次に、カメラ処理部200について説明する。カメラ処理部200において、41はCPU(中央演算処理装置)、42はROM(Read Only Memory)、43はRAM(Random Access Memory)、44は前処理部、45はメモリ制御部、46は画像メモリ、47は画像信号処理部、48は動きベクトル検出を伴う圧縮伸張部、49はリサイズ処理部、50は顔領域検出部、51は記録メディアインターフェース、52は表示処理部、53はモニタインターフェース、54は操作パネル、55は記録メディア、56は手振れ検出部、57は同期信号生成部(SSG)、58は外部機器制御インターフェースである。
 CPU41は所定のプログラムに従って全体を統括制御する制御部であり、操作パネル54からの操作信号に基づいて各回路の動作を制御する。すなわち、CPU41は、操作信号に応じて種々の撮影条件(露出条件、ストロボ発光有無、撮影モードなど)に従い、フレーム同期駆動制御部3による制御を介して左目用、右目用撮像部1L,1Rを制御する。さらにCPU41は、自動露出(AE)制御、自動焦点調節(AF)制御、オートホワイトバランス制御、レンズ駆動制御、画像処理制御、記録メディア55の読み書き制御などを行う。例えば、CPU41は、光学レンズ12,22におけるフォーカスレンズを駆動制御し、操作パネル54からのズーム指示によって変倍レンズ11,21を駆動し両光学系のズーム倍率が同じになるように制御する。また、CPU41は、レリーズスイッチの半押しを検知するとAF制御を行い、レリーズスイッチの全押しを検知すると記録用の画像を取り込むためにマッチングの取れた露光および読み出し制御を開始する。また、CPU41は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管(発光部)の発光を制御する。
 ROM42にはCPU41が実行するプログラムおよび制御に必要な各種データ等が格納され、RAM43はCPU41の作業用領域として利用される。
 左目用、右目用撮像部1L,1Rそれぞれのアナログフロントエンド部15,25でのA/D変換で得られたデジタルの撮像信号は、前処理部44を経て画像信号処理部47に送られる。前処理部44はAEおよびAF制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた撮像信号に基づいて焦点評価値演算やAE演算などを行い、その演算結果をCPU41に伝える。レリーズスイッチの全押しを検知すると、CPU41は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ12,22をマッチングの取れた合焦位置に移動させるとともに、絞りや電子シャッタの設定においてもマッチングの取れた露出制御を行う。
 前処理部44と画像信号処理部47は、同時化(カラーフィルタ配列に伴う色信号の空間的なずれを補間する処理)、ホワイトバランス(WB)調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍(拡大/縮小)処理、画素数の変換(リサイズ)処理などの各種処理を実施する。これらの処理は、CPU41からのコマンドに従って行われる。さらに、前処理部44と画像信号処理部47は、前処理部44と画像信号処理部47との間に設けられたメモリ制御部45を介して、画像メモリ46を利用しながら画像信号の処理を行い、処理結果の画像データを画像メモリ46に一時記憶させる。
 リサイズ処理部49は、前処理部44と画像信号処理部47において所定の信号処理を経た画像データの画像サイズを規格サイズに変更する。これは、規格化されたサイズで画像データを記録する場合や、モニタインターフェース53に接続されるモニタディスプレイに表示する場合に機能する。顔領域検出部50は、リサイズされた画像データに対して必要に応じて人物の顔の位置・大きさ・傾きなどの情報検出を行う。
 圧縮伸張部48は、リサイズされた画像データを各種形式の圧縮フォーマットに従って圧縮する。このとき、使用される圧縮形式に対応した圧縮符号化アルゴリズムが用いられる。MPEG形式、H.264形式などの動画圧縮データ形式において規格化サイズでデータ圧縮する場合は、圧縮伸張部48は、並行処理にてメモリ制御部45を介して画像メモリ46からリサイズ画像データを周期的に読み出して取り込み、取り込んだフレームデータの圧縮を行った後、画像メモリ46に書き戻すことにより圧縮データをメモリ空間内に格納する。
 記録メディアインターフェース51はメモリ制御部45と記録メディア55とを中継し、圧縮された画像データを記録のために記録メディア55に転送する。こうして取り込まれた左目用、右目用撮像部1L,1Rの2系統の画像データは、記録モードに従って記録メディア55に記録される。記録メディア55は、メモリカードで代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど種々の媒体を用いることができる。記録メディア55は、リムーバブルメディアに限らず、内蔵された記録媒体(内部メモリ)であってもよい。
 操作パネル54は、カメラシステムに対して操作者が各種の指示を入力するための構成であり、例えば、カメラシステムの動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作(カーソル移動操作)や再生画像のコマ送り/コマ戻し等の指示を入力する十字キー、選択項目の確定(登録)や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ、ならびに垂直方向ずれを補正するためのずれ補正操作など各種の操作器を含む。
 次に、上記のように構成された本実施例の立体画像撮影装置の動作を説明する。図7は左目用、右目用撮影画像の垂直方向ずれの様子の説明図である。フレーム同期駆動制御部3によって同期制御された左目用、右目用撮像部1L,1Rが人物被写体70を撮影することで、左目用、右目用撮影画像PL,PRが得られる。図示例の場合、光軸が相対的に下方にずれているのは、左目用撮像部1Lの方である。左目用撮像部1Lは、右目用撮像部1Rに対して光軸が相対的に下方にずれていることから、左目側被写体像ALはフレーミングにおいて右目側被写体像ARよりも相対的に上側にずれた形になっている。その光軸のずれ量を、イメージセンサの受光面の基準位置に対して垂直方向にΔhであるとする。
 この垂直方向ずれ量Δhを測定するために、左目用、右目用撮影画像PL,PRにおいて各被写体像AL,ARに対し、共通の記録有効エリアとしてそれぞれ左目用トリミングエリアTL、右目用トリミングエリアTRを設定する。この場合、左目用トリミングエリアTLにおける被写体像ALの相対位置関係と右目用トリミングエリアTRにおける被写体像ARの相対位置関係とが等価となるように各トリミングエリアTL、TRを設定する。
 図8は垂直方向ずれに対する読み出しタイミングの制御の説明図である。図7の状態から図8への調整が本実施例のポイントである。光軸が相対的に下方にずれており、その結果として被写体像ALが相対的に上方にずれている方(この場合は左目用イメージセンサ2L)において、読み出しスタートタイミングを標準のタイミングから遅延させる。その遅延量Δtは、垂直方向ずれ量Δhをライン数で計数するとして、そのライン数を時間に換算した量である。他方(この場合は右目用イメージセンサ2R)においては、読み出しスタートタイミングは標準のタイミングのままでよい。
 読み出しスタートタイミングを遅延させるには、読み出しスタートパルスSPの出力タイミングを遅延させればよい。そのためには、フレーム同期駆動制御部3において同期基準信号から生成される垂直同期信号の出力タイミングを遅延させればよい。垂直同期信号の出力タイミングを遅延させれば、それに伴って電子シャッタスタートパルスESSP、読み出しスタートパルスSPその他のタイミングパルスの出力タイミングも同じ時間だけ平行移動的に遅延されることになる。
 上記の図7から図8にかけての調整動作をさらに詳しく説明すると、次のようになる。調整前の図7においては、左目側被写体像ALであるお父さん像の帽子の頂点は、左目用撮影画像PLのスタートライン(読み出し開始時点)からごく短時間経過した時点T1で読み出し対象となる。これに対して、右目側被写体像ARであるお父さん像の帽子の頂点は、右目用撮影画像PRのスタートライン(読み出し開始時点)からさらに遅れた時刻である、より長い時間経過した時点T2で読み出し対象となる。時間差の(T2-T1)が遅延量Δtに相当する。つまり、
 Δt=T2-T1
である。
 次に、図8を見る。被写体像の垂直方向ずれが下方ではない方の右目側被写体像ARに着目する。この右目側被写体像ARを含む右目用撮影画像PRの読み出しは、標準通りの垂直同期信号を基準とする読み出しスタートパルスSPの出力タイミングからとなる。つまり、右目用撮影画像PRの読み出しは時間遅れのない標準通りのものとされる。これに対して、被写体像の垂直方向ずれが下方となっている左目用撮影画像PLの読み出しについては、標準の読み出しタイミングより時間Δtだけ遅延させた時点から読み出しをスタートさせる。
 右目用撮影画像PRの上側端辺の時刻相当タイミングをt=0とする。このタイミングt=0を左目用撮影画像PLまで図面上水平方向に延長してある。右目側被写体像ARであるお父さん像の帽子の頂点の読み出しタイミングはt=T2である。左目用撮影画像PLの上側端辺の時刻相当タイミングはt=Δtである。左目用撮影画像PLにおいて、上側端辺の時刻相当タイミングからお父さん像の帽子の頂点の時刻相当タイミングまでの時間はT1である。よって、タイミングt=0を基点としての左目用撮影画像PLでのお父さん像の帽子の頂点の読み出しタイミングは、(Δt+T1)となる。これは、上式の(Δt=T2-T1)を考慮すると、
 Δt+T1=T2
であり、右目用撮影画像PRにおけるお父さん像の帽子の頂点の読み出しタイミングT2と同じタイミングとなる。
 お父さん像の帽子の頂点が左目用、右目用撮影画像PL,PRで同一タイミングの読み出し対象となるとき、お父さん像の帽子以外のすべての部位、お母さん、子供のすべての部位について、左目用、右目用撮影画像PL,PRの読み出しタイミングは互いにマッチングしたものとなる。
 被写体が図示例のような静止状態になく、一定以上の速度で動いている移動被写体であるとする。例えば、図7において、お父さんが急にしゃがんだとする。すると、お父さん像の帽子の頂点は、読み出しタイミングが遅い方の右目用撮影画像PRでさらに下方に変位する。その変位分を時間換算でΔtαとする。すなわち、静止状態の場合のT2が、
 T2′=T2+Δtα
になったと考えられる。これと連動して、遅延量Δt′も静止状態の場合のΔtが、
 Δt′=Δt+Δtα
になる。上式の(Δt+T1=T2)にあてはめ、ΔtをΔt′で置き換えると、
 Δt′+T1=Δt+Δtα+T1
       =Δt+(T2′-T2)+T1
       =(T2-T1)+(T2′-T2)+T1
       =T2′
 つまり、
 Δt′+T1=T2′
であり、静止状態の場合と同様に、右目用撮影画像PRにおけるお父さん像の帽子の頂点の読み出しタイミングT2′と同じタイミングとなる。
 まとめると、被写体が移動被写体であっても、その移動を含めた状態での調整となるため、換言すれば移動に応答しての調整となるため、光軸の垂直方向ずれの影響を受けない良品質の立体画像のもとになる視差画像を構成する左目用、右目用画像を得ることができる。移動被写体の移動方向が水平方向であるときは、垂直方向ずれとは無関係である。このときは、奥行き感のずれとなる。移動方向が斜めのときは、その水平成分は無関係で、垂直成分のみが本実施例の調整の対象となり、良好に修正される。
 図9は図7に対応した動作説明のためのタイミングチャート、図10は図8に対応した動作説明のためのタイミングチャートである。いずれの図も3フレーム分の左目用、右目用撮影画像PL,PRが図示されている。図9は図2に対応し、図10は図3に対応する。図9、図10において、垂直同期信号VL,VRの立ち下がりタイミングは1ライン目の読み出しスタートパルスSP(図示せず)のタイミングに相当する。
 調整前の図7に対応した図9のタイミングチャートでは、左目用イメージセンサ2Lに対する垂直同期信号VLのタイミングと右目用イメージセンサ2Rに対する垂直同期信号VRのタイミングとが一致している。この場合、空間的な垂直方向ずれがそのまま反映され、時間軸方向でもずれを伴っている。これらの左目用、右目用撮影画像PL,PRを視差画像として用いて立体画像に合成すると、マッチングのとれない異様な立体画像となってしまう。
 調整後の図8に対応した図10のタイミングチャートでは、光軸が下方にずれたために被写体像ALが上方にずれている左目用撮影画像PLのイメージセンサ2Lについて、その垂直同期信号VL* のタイミングを右目用イメージセンサ2Rの垂直同期信号VRのタイミングよりも遅延量Δtだけ遅延させている。この結果、視差画像として左目用、右目用撮影画像PL,PR、左目用、右目用被写体像AL,ARの垂直方向ずれおよびタイミングずれのないものが得られる。
 <マニュアル操作による垂直方向ずれの確認と調整>
 上記では、左目用、右目用撮影画像PL,PRの垂直方向ずれの確認の仕方については、特に詳しくは説明していなかった。そこで、以下では、左目用、右目用撮影画像PL,PRの垂直方向ずれの確認の具体例を説明する。調整はマニュアル方式である。
 図11はモニタディスプレイでの左目用、右目用撮影画像PL,PRの表示の様子を示す。図11の(a)は調整前の状態を示し、図11の(b)は調整後の状態を示す。
 図11の(a)で示すように、カメラ処理部200での画像処理により、左目用撮影画像PLと右目用撮影画像PRをモニタサイズにして、モニタインターフェース53に接続されている図示しないモニタディスプレイに表示する。そのモニタディスプレイへの表示の仕方は、画面の左側半分に元の画像を水平方向で2分の1に縮小リサイズした左目用撮影画像PLを表示し、右側半分に元の画像を水平方向で2分の1に縮小リサイズした右目用撮影画像PRを表示する。左目用、右目用撮影画像PL,PRは、光軸ずれに起因して垂直方向ずれを生じている。
 操作者(撮影者)は画面を見て左目用、右目用撮影画像PL,PRの垂直方向ずれの様子を確認しながら、操作パネル54での操作により垂直方向ずれをなくすためのマニュアル調整を実施する。すなわち、操作者は、被写体像ALが上方にずれている方の左目用撮影画像PLが下方へシフトするようにマニュアル操作する。この際、画像内に水平方向に延びる被写体があれば、左目用、右目用撮影画像PL,PRでの連続性がとれるように上下調整を実施する。屋外では、水平線を基準にしたり、遠景の風景などを基準にして調整することが望ましい。
 このようなマニュアル調整を行うと、CPU41は、その操作量に応じたライン数を求め、さらにそのライン数を時間に換算して遅延量Δtを算出し、この遅延量Δtを前処理部44を介してフレーム同期駆動制御部3に送出する。フレーム同期駆動制御部3は与えられた遅延量Δtを両イメージセンサ2L,2Rのうち該当する方のイメージセンサ(光軸下ずれ、画像上ずれのイメージセンサ)に設定する。このようなマニュアル調整により、空間的・時間的に左右ずれのない視差画像用の左目用、右目用撮影画像PL,PRが得られる。その結果として、品質の良い立体画像が得られる。
 CPU41がずれのライン数を求める方法の1つに次のようなものがある。モニタディスプレイの表示の初期画面表示状態から操作者が行うマニュアル調整によって調整された垂直方向の操作量に基づいて、調整ライン数を求める。あるいは、初期画面で、左目用、右目用撮影画像PL,PRにおいてトリミングエリアTL,TRを設定するが、そのトリミングエリアのスタート位置のY座標の差分の情報からずれのライン数を求める。なお、ライン数に代えて垂直方向の画素数で求めてもよい。
 図12はもう1つのマニュアル調整方式で、モニタディスプレイでの左目用、右目用撮影画像PL,PRの表示の様子を示す。図12の(a)は調整前の状態を示し、図12の(b)は調整後の状態を示す。
 図12の(a)で示すように、カメラ処理部200での画像処理により、左目用撮影画像PLのうち左側半分の画像データをモニタサイズの2分の1に縮小リサイズしてモニタディスプレイの画面上で左側に表示するとともに、右目用撮影画像PRのうち右側半分の画像データをモニタサイズの2分の1に縮小リサイズして画面上で右側に表示している。光軸ずれに起因して、左目用、右目用撮影画像PL,PRは垂直方向ずれを生じている。そのずれは、左側表示エリアと右側表示エリアとの境界線(縦方向中心線)の両側で際立っている。
 操作者(撮影者)は画面を見てそれぞれ半分ずつの左目用、右目用撮影画像PL,PRの垂直方向ずれの様子を確認しながら、操作パネル54での操作を実施することで、ずれ解消のマニュアル調整を実施する。すなわち、被写体像ALが上方にずれている方(この場合は左側半分の画像PL)が下方へシフトするように操作者はマニュアル操作する。この際、画像内に水平方向に延びる被写体があれば、左側半分の画像と右側半分の画像での連続性がとれるように上下調整を実施するとともに、中心線上に位置している被写体像の垂直方向のバランスを確認する。図示例の場合は、被写体人物像(こどもの像)の1人分の身体が左半身と右半身で分断され、左半身像と右半身像とが垂直方向で断ち切れた状態にずれているところを、マニュアル操作により左半身像と右半身像とをぴったりと合わせる。このような調整は、顔を含めて1人分の身体の左右バランスをとるものであるので、比較的分かりやすい作業となる。なお、屋外では、水平線を基準にする、遠景の風景などを基準にして調整する等の調整法も考慮したい。
 このようなマニュアル調整を行うと、CPU41は、その操作量に応じたライン数を求め、さらにそのライン数を時間に換算して遅延量Δtを算出し、この遅延量Δtを前処理部44を介してフレーム同期駆動制御部3に送出する。フレーム同期駆動制御部3は与えられた遅延量Δtを両イメージセンサ2L,2Rのうち該当する方のイメージセンサ(光軸下ずれ、画像上ずれのイメージセンサ)に設定する。このようなマニュアル調整により、空間的・時間的に左右ずれのない視差画像用の左目用、右目用撮影画像PL,PRが得られる。その結果として、品質の良い立体画像が得られる。
 <マニュアル操作による垂直方向ずれの確認と調整>
 図13の(a)に示すように、左目用、右目用撮影画像PL,PRそれぞれにおいて顔領域KL,KRの検出を行う。検出した顔領域KL,KR内で注目ポイントQL,QRの抽出を行う。注目ポイントQL,QRとしては、眼や口や耳や鼻などが考えられる。抽出した注目ポイントQL,QRのY座標を求め、両Y座標の差分を垂直方向ずれ量Δhとする。垂直方向ずれ量Δhを遅延量Δtに換算し、遅延量Δtをフレーム同期駆動制御部3に送出する。遅延量Δtに基づいて被写体像フレーミング位置が上方側のイメージセンサの読み出しスタートパルスSPの出力タイミングを遅延量Δtだけ遅らせる。結果として、図13の(b)に示すように、視差画像としてマッチングのとれた左目用、右目用撮影画像PL,PRが得られる。
 <垂直方向ずれの自動調整>
 次に、撮影者の操作を介さず自動調整する方法について説明する。図14は上記構成の立体画像撮影装置の動作を示すフローチャートである。この制御の主体は、カメラ処理部200におけるCPU41およびその周辺部分である。処理の様子はモニタディスプレイに映出する必要はない。ただし、映出してもよい。
 ステップS1において、垂直方向ずれの調整を伴う撮影を開始する。次いでステップS2において、左目用、右目用イメージセンサ2L,2Rで取得された左目用撮影画像PLと右目用撮影画像PRを読み出す。次いでステップS3において、左目用、右目用撮影画像PL,PRにおいて、左目用、右目用イメージセンサ2L,2Rの有効画素エリア内の同じ位置に初期状態のトリミングエリアTL,TRを設定する。次いでステップS4において、左目用、右目用トリミングエリアTL,TRにおける左目用、右目用被写体像AL,ARに顔領域検出を実施する。次いでステップS5において、検出した顔領域KL,KRでの注目ポイントQL,QRどうしの垂直方向ずれ量Δhを検出する。注目ポイントQL,QRとしては、眼や口や耳や鼻などが考えられる。次いでステップS6において、垂直方向ずれがあるか否かを確認する。ずれがある場合はステップS7に進み、ずれがなくなればステップS8に進む。垂直方向ずれがあってステップS7に進んだときは、トリミングエリアTL,TRの調整を行った上で、ステップS4に戻る。図15はトリミングエリアTL,TRの調整の途中段階を示す。
 ステップS4→S5→S6→S7の繰り返しの結果、注目ポイントQL,QRが同じ位置となり、垂直方向ずれがなくなる、つまり、2つの画像の垂直方向のマッチングがとれた状態となる。この状態が図8に示す状態である。
 なお、上記の顔領域検出のステップS4では、イメージセンサから読み出された原画像に対して顔領域検出を実施してもよいし、リサイズ処理により任意大きさに縮小された画像に対して顔領域検出を実施してもよい。左目用、右目用撮影画像PL,PRにおけるリサイズ比率を同一にする条件を保ちさえすれば、そのリサイズ比率の大きさは自由である。垂直方向ずれのライン数を演算する際は、検出ライン数にリサイズ比率の逆数を乗算すればよい。
 ステップS6からステップS8へ移行する時点では、トリミングエリアの自動設定が完了した際の垂直方向のラインずれ量がすでにCPU41で確認されている。ステップS8において、垂直方向のずれライン数を登録する。次いでステップS9において、イメージセンサの電子シャッタがローリングシャッタタイプかグローバルシャッタタイプかを判定し、ローリングシャッタタイプの場合はステップS10に進み、そうでないときはステップS11に進む。ローリングシャッタタイプであるとして進んだステップS10においては、左目用、右目用イメージセンサ2L,2Rに共通の同期基準信号から生成する垂直同期信号のタイミングにつき、先に求めて置いたずれのライン数から介在した遅延量Δtをフレーム同期駆動制御部3に送る。その結果として、該当する方のイメージセンサ(光軸下ずれ、画像上ずれのイメージセンサ)において、電子シャッタスタートパルスESSPおよび読み出しスタートパルスSPが標準よりも遅延量Δtだけ遅れたタイミングで出力される。これにより、左目用、右目用画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 上記では垂直方向のずれに注目してアプローチしているが、実際には水平方向のずれも発生する。水平方向のずれは人が立体視する際の視差であり、立体画像制作では基線長と呼ばれる特性にかかわる。そのずれは立体画像の奥行き感のずれとして認知される。実際の映像作製現場では、基線長に関しては被写体との距離感のセッティング、輻輳角の調整と合わせて積極的に微調整されるパラメータでもある。本発明では水平方向の自動調整の詳細に言及しない。
 <変倍レンズ/ズーム比率>
 変倍レンズ11,21によるズーム比率が変化する場合、フレーム同期駆動制御部3での読み出しスタートパルスSPの遅延量Δtは、ズーム比率に比例して変動する。特に拡大ズームを実施した場合は、露光タイミングのずれが増大する。したがって、ズーム比率に連動して読み出しスタートパルスSPの遅延量Δtを調整する必要がある。
 あらかじめ変倍レンズの最広角側と最望遠側での撮像エリアでの垂直方向での変化ライン数を登録しておく。最広角側でのずれ量ライン数をLw、最望遠側でのずれ量ライン数をLtとする。また、最広角側の画像に対する最望遠側の倍率をn倍とする。この設定で、任意の倍率bにおけるずれ量ライン数Lbを計算することにする。垂直方向の実装ずれをライン数で考える。
 n倍当たりの1辺の変化量は√n(√nはnの平方根を意味する)、倍率bでの1辺の変化量は√bであるから、
 Lb =[(Lt -Lw )/√n]×√b +Lw
となる。これは倍率bに対応したずれ量ライン数であるが、さらにこれから上記の駆動タイミングの遅延量Δtを算出し、フィードバックする。この遅延量Δtは、光軸下方ずれで被写体像上方ずれの側のイメージセンサに設定されることになる。これにより、変倍レンズのズーム比率変化の如何にかかわりなく、左目用、右目用撮影画像PL,PR間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。
 後段のカメラ処理部200では、左目用、右目用イメージセンサ2L,2Rの全撮像エリアにおいてそれぞれトリミングエリアTL,TRを設定して立体画像処理するが、その際に、垂直方向のずれ分を無効データとして扱い画像処理を実施するものとする。
 <カメラシステム>
 カメラシステムとしては、図16に示すようなものが考えられる。これは、立体画像撮影用アダプタを含むハイブリッド撮影システムとなっている。このハイブリッド撮影システムは、立体画像撮影用のステレオカメラSCと、立体画像撮影用ではない通常撮影用の一般的なカメラである非ステレオカメラNSとの組み合わせから構成されている。
 ステレオカメラSCは、立体画像撮像部100とデータ通信部150とカメラ処理部200とを備えている。立体画像撮像部100とカメラ処理部200は、ケーブルからなるデータ通信部150を介して電気的に接続されている。立体画像撮像部100における左目用、右目用撮像部1L,1Rから出力される撮像信号はデータ通信部150を介してカメラ処理部200に入力されるように構成されている。カメラ処理部200は、左目用、右目用撮像部1L,1Rで取得した撮像信号を受け取って画像処理を行うものとして構成されている。この画像処理は画像データの記録を含むものである。また、カメラ処理部200は、左目用、右目用撮像部1L,1Rを駆動操作可能に構成されている。
 立体画像撮像部100は、左右独立に被写体光束を入射する左目用撮像部1Lおよび右目用撮像部1Rと、これら撮像部1L,1Rを搭載したレンズフード30とを備えている。非ステレオカメラNSは、カメラ本体部300とレンズ鏡筒400とを備えている。レンズ鏡筒400はカメラ本体部300のマウント部に着脱自在に装着されるようになっている。レンズフード30は、非ステレオカメラNSのレンズ鏡筒400の先端部に装着可能に構成され、カメラ処理部200はカメラ本体部300のホットシュー310に装着可能に構成されている。ホットシュー310を介して非ステレオカメラNSとステレオカメラSCとは信号の授受が可能となっている。レンズ鏡筒400の他端は、カメラ本体部300と組み合わせるためのマウント部が形成されている。レンズフード30において非ステレオカメラNSのレンズ鏡筒400に着脱自在に装着される立体画像撮像部100は、その装着がレンズ鏡筒400の前方を開放する状態となるように構成されている。
 この例では、立体画像撮像部100とデータ通信部150とカメラ処理部200とが立体画像撮影用アダプタを構成し、その立体画像撮影用アダプタがステレオカメラSCを構成している。
 左目用、右目用撮像部1L,1Rにはそれぞれ光学レンズ、入射光量を調節するアイリス、メカシャッタ、オプティカルローパスフィルタ、イメージセンサがこの記載順に配置されている。レンズ保持枠を光軸方向に移動させるモータには、フォーカシング用レンズを移動させるオートフォーカスモータ(AFモータ)やズームレンズを移動させるズームモータが含まれ、AFモータ、ズームレンズモータ、アイリスモータはそれぞれカメラ処理部200におけるモータコントローラによって駆動が制御されている。イメージセンサは、撮影レンズの光軸に対して垂直に配置されている。左目用、右目用撮像部1L,1Rを有する立体画像撮像部100の副回路基板は、データ通信部150を介してカメラ処理部200の主回路基板に接続されている。これら回路基板上の接点および端子は、後述するシリアルインターフェースとともに有線通信を可能にしている。
 なお、他の接続方法としては、立体画像撮像部100とレンズ鏡筒400の前面マウント部に複数の接点(図示省略)を設け、レンズ鏡筒400側とカメラ本体部300側のマウント部も同様に接続端子に接触する端子(図示せず)を設ける構成がある。このとき、カメラ処理部200の主回路基板とカメラ本体部300のホットシュー310も、双方に複数の接点(図示省略)を設ける構成がある。マウントを介して接続されているこれらの接点および端子は、後述するシリアルインターフェースとともにデータ通信を可能にする。
 また、他の接続方法として、立体画像撮像部100の副回路基板とカメラ処理部200の主回路基板とを、光の送受信端子を設けて光ファイバーで接続する形態がある。光ケーブルを介して接続されているこれら光接点および端子は、後述するシリアルインターフェースとともに光通信を可能にする。
 カメラ本体部300の背面には、被写体のスルー画像やメニュー画像を表示する液晶パネル、液晶パネルのON/OFFを切り替えるための表示ボタン、液晶パネルに表示されたメニュー画像の中から適当な項目を選択する際に操作する十字操作ボタン、メニュー画面の表示や確認時に押される実行ボタン等(図示省略)が備えられている。
 カメラ処理部200の背面にも、被写体のスルー画像やメニュー画像を表示する液晶パネル、液晶パネルのON/OFFを切り替えるための表示ボタン、液晶パネルに表示されたメニュー画像の中から適当な項目を選択する際に操作する十字操作ボタン、メニュー画面の表示や確認時に押される実行ボタン等(図示省略)を備える形態がある。
 カメラ本体部300の背面の各種ボタンが操作されることにより、カメラ本体部300を静止画撮影モード、動画撮影モード、夜間撮影モード、ストロボ撮影モードなどに順次切り替えることができるようになっている。併せて立体画像撮像部100は、カメラ本体部300からも操作できるし、カメラ処理部200からも操作できるように構成されている。
 レンズ鏡筒400の前端には立体画像撮像部100が着脱自在に取り付けられるようになっている。立体画像撮像部100はバヨネット(Bayonet)機構を介してレンズ鏡筒400の前端部に高精度に装着されるようになっている。バヨネット機構は、溝に爪を差し込み、ひねることにより連結・離脱を行うソケット式の簡易接合機構である。レンズ鏡筒400の前端の外周には接続端子が設けられており、この接続端子に立体画像撮像部100の出力端子(伝送器)が接触するようになっている。なお、伝送器としては、出力端子に代えて、データを変調して伝送信号を形成する変調部と伝送信号を送信するアンテナとを有する無線通信インターフェースでもよい。
 立体画像撮像部100とカメラ処理部200を非ステレオカメラNSに装着した場合、ステレオカメラSCによる立体画像撮影と非ステレオカメラNSによる通常撮影とを同時に行うことが可能である。装着しない場合は、非ステレオカメラNSによる通常撮影が行われる。本実施例の立体画像撮影用アダプタは、単独で立体画像撮影専用のカメラとして用いることもできる。
 このような立体画像撮像部100とカメラ処理部200を含むステレオカメラSCの具体的な構成の一例が図6のブロック図に示すものである。別の形態として図17に示すようなものもある。撮影者が保持する非ステレオカメラNSはレンズ交換可能な一眼カメラとし、右目用撮像部1Rと左目用撮像部1Lを合体させた交換レンズ型のステレオカメラSC* の形態である。非ステレオカメラNSのレンズマウントに装着された交換レンズ型のステレオカメラSC* による立体画像撮影を行うことが可能である。
 以上説明してきたように、本発明の立体画像撮影装置によれば、動画撮影モードにおいて、ローリングシャッタ動作のMOSセンサの場合に、数ライン期間露光の高速電子シャッタを実施する際、垂直方向に2つの撮像部の相対的な光軸がずれていても同一時間の適正な露光で撮影した立体動画像が得られる。立体動画を鑑賞する際、2つの画像内での動く被写体部分の高速電子シャッタずれがなく、境界がぼけず、水平方向の視差の調整も画像処理で容易にでき、メリハリのある立体感を得られる。また複数の撮像部の実装ばらつきがデジタル処理で許容でき、レンズ鏡筒調整機構を簡単化しコストを抑えることができる。
 なお、本発明は上記各実施例のみに限定されず、要旨を変更しない範囲で適宜変形して実施できる。
 本発明は、立体画像撮影装置、立体画像撮影システム等において、左目用、右目用撮像部の垂直方向光軸ずれにかかわらず、電子的なタイミング調整を通じて、左目用、右目用撮像部の撮影同時性を確保し、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用/記録用の視差画像が得られ、良品質な立体画像を得る技術として有用である。
 1L 左目用撮像部
 1R 右目用撮像部
 2L 左目用イメージセンサ
 2R 右目用イメージセンサ
 3 フレーム同期駆動制御部
 4 カメラ処理部
 5 垂直タイミング調整器
 6 操作器
 7L,7R 注目ポイント座標算出器
 8 垂直方向ずれ量算出器
 9 遅延量算出器
 10 駆動タイミング設定器
 11,21 変倍レンズ
 41 CPU
 44 前処理部
 45 メモリ制御部
 46 画像メモリ
 50 顔領域検出器
 53 モニタインターフェース
 54 操作パネル
 100 立体画像撮像部
 200 カメラ処理部
 PL 左目用撮影画像
 PR 右目用撮影画像
 AL 左目側被写体像
 AR 右目側被写体像
 TL 左目用トリミングエリア
 TR 右目用トリミングエリア
 PTL 左目用トリミング画像
 PTR 右目用トリミング画像
 SP 読み出しスタートパルス
 ESSP 電子シャッタスタートパルス(シャッタゲートパルス)
 KL,KR 検出顔領域
 QL,QR 注目ポイント
 Δh 垂直方向ずれ量
 Δt 遅延量

Claims (24)

  1.  左目用イメージセンサを有する左目用撮像部と、
     右目用イメージセンサを有する右目用撮像部と、
     前記左目用、右目用イメージセンサをフレーム同期して駆動制御するフレーム同期駆動制御部と、
     前記左目用撮像部で取得される左目用撮影画像と、前記右目用撮像部で取得される右目用撮影画像とに画像処理を行って、前記左目用撮影画像と前記右目用撮影画像との視差画像を生成するカメラ処理部と、
     前記左目用撮影画像における被写体像のフレーミング位置と前記右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、前記フレーム同期駆動制御部において前記左目用、右目用イメージセンサの駆動タイミングを調整する垂直タイミング調整器と、
     を備える立体画像撮影装置。
  2.  前記垂直タイミング調整器は、前記視差画像に基づいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像と前記右目用撮影画像とで同じになるように設定された左右一対のトリミングエリアの間のずれ量を求め、求めたずれ量に対応する駆動タイミングの遅延量を前記フレーム同期駆動制御部に設定するように構成されている、
     請求項1に記載の立体画像撮影装置。
  3.  前記左目用、右目用イメージセンサは、露光制御のための電子シャッタとしてのローリングシャッタを有するMOS(Metal Oxide Semiconductor)イメージセンサである、
     請求項1に記載の立体画像撮影装置。
  4.  前記駆動タイミングは、垂直同期信号の出力タイミングを含み、
     前記垂直タイミング調整器は、前記左側、右目用撮影画像のうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサまたは前記右目用イメージセンサにおいて、前記垂直同期信号の出力タイミングを、同期基準信号のタイミングから、前記垂直方向ずれ量に対応したライン数に相当する垂直走査期間分だけ遅延させるように構成されている、
     請求項1に記載の立体画像撮影装置。
  5.  前記駆動タイミングは、前記ローリングシャッタのシャッタパルスと読み出しスタートパルスとの出力タイミングとを含み、
     前記垂直タイミング調整器は、前記シャッタパルスと前記読み出しスタートパルスとを、前記左目用、右目用イメージセンサの垂直同期信号の遅延に並行して同一時間遅延させるように構成されている、
     請求項3に記載の立体画像撮影装置。
  6.  前記垂直タイミング調整器は、前記垂直方向ずれ量をライン数ずれ量に換算したうえで、前記左目用、右目用撮影画像のうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサまたは前記右目用イメージセンサに、前記ライン数ずれ量を前記駆動タイミングの遅延量として設定するように構成されている、
     請求項1に記載の立体画像撮影装置。
  7.  前記垂直タイミング調整器は、前記駆動タイミングの調整量を、当該立体画像撮影装置の操作者による手動操作で前記フレーム同期駆動制御部に送出可能に構成されている、
     請求項1に記載の立体画像撮影装置。
  8.  前記垂直タイミング調整器は、前記駆動タイミングの調整量を、自動的に前記フレーム同期駆動制御部に送出可能に構成されている、
     請求項1に記載の立体画像撮影装置。
  9.  前記駆動タイミングの調整を前記垂直タイミング調整器に指示するためのずれ調整指示信号を、当該立体画像撮影装置の操作者による手動操作に基づいて生成する操作器を、
     さらに有し、
     前記垂直タイミング調整器は、前記ずれ調整指示信号に基づいて前記駆動タイミングを前記フレーム同期駆動制御部において調整する、
     請求項1に記載の立体画像撮影装置。
  10.  前記第1、第2の撮影画像を表示するモニタをさらに備え、
     前記カメラ処理部は、同時刻の同一被写体の相対位置関係が左右で同じになるように設定された左右一対のトリミングエリアに対応する左右一対のトリミング画像をモニタサイズに縮小リサイズし、縮小リサイズした前記左右一対のトリミング画像を前記モニタ上で左側と右側に並べて表示する機能を有している、
     請求項9に記載の立体画像撮影装置。
  11.  前記第1、第2の撮影画像を表示するモニタをさらに備え、
     前記カメラ処理部は、同時刻の同一被写体の相対位置関係が左右で同じになるように設定された左右一対のトリミングエリアのうちで左側トリミングエリアに対応する左側トリミング画像の左側半分に位置する左側1/2画像をモニタサイズの2分の1に縮小リサイズし、縮小リサイズした前記左側1/2画像を前記モニタ上で左側に表示するとともに、前記左右一対のトリミングエリアのうちで右側トリミングエリアに対応する右側トリミング画像の右側半分に位置する右側1/2画像をモニタサイズの2分の1に縮小リサイズし、縮小リサイズした前記右側1/2画像を前記モニタ上で右側に表示する機能を有している、
     請求項9に記載の立体画像撮影装置。
  12.  前記垂直タイミング調整器は、前記駆動タイミングの遅延量として、前記左目用トリミングエリアのスタートラインの位置情報と前記右目用トリミングエリアのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いる、
     請求項10に記載の立体画像撮影装置。
  13.  前記垂直タイミング調整器は、前記駆動タイミングの遅延量として、前記左目用トリミングエリアのスタートラインの位置情報と前記右目用トリミングエリアのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いる、
     請求項11に記載の立体画像撮影装置。
  14.  前記垂直タイミング調整器は、
     前記左目用撮影画像における左側注目ポイントと前記右目用撮影画像における右側注目ポイントとをそれぞれ抽出したうえで、前記左側、右側注目ポイントそれぞれの垂直方向座標を割り出す注目ポイント座標算出器と、
     前記左側注目ポイントの垂直方向座標と前記右側注目ポイントの垂直方向座標との差分から前記垂直方向ずれ量を算出する垂直方向ずれ量算出器と、
     前記垂直方向ずれ量を時間を単位とする遅延量に換算する遅延量算出器と、
     前記遅延量を加味した前記駆動タイミングを前記フレーム同期駆動制御部に設定する駆動タイミング設定器と、
     を備えている、
     請求項1に記載の立体画像撮影装置。
  15.  前記左目用、右目用撮影画像における被写体の顔領域を検出する顔領域検出器をさらに備え、
     前記注目ポイント座標算出器は、前記顔領域検出器によって検出された前記顔領域内の特定部位を前記左側、右側注目ポイントに設定する、
     請求項14に記載の立体画像撮影装置。
  16.  前記左目用、右目用撮像部は、変倍レンズを有する光学系をそれぞれ備え、前記左目用撮像部の前記変倍レンズと、前記右目用撮像部の前記変倍レンズとは、互いに連動するように構成されている、
     請求項1に記載の立体画像撮影装置。
  17.  前記垂直タイミング調整器は、前記変倍レンズのズーム比率の変化に応じて前記駆動タイミングの遅延量を可変する、
     請求項16に記載の立体画像撮影装置。
  18.  左目用イメージセンサを有する左目用撮像部で得られる左目用撮影画像における被写体像のフレーミング位置と、右目用イメージセンサを有する右目用撮像部で得られる右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量を求める第1のステップと、
     前記垂直方向ずれ量に基づいて、前記左目用、右目用イメージセンサの駆動タイミングを調整する第2のステップと、
     調整後の前記駆動タイミングに従って駆動する前記左目用、右目用イメージセンサで取得された露光終了後の画像データをライン単位で順次に読み出す第3のステップと、
     を含む立体画像撮影方法。
  19.  前記第1のステップは、
     前記左目用撮影画像と前記右側撮像画像とを同一画面において左右に並べて表示する第1-1のステップと、
     前記同一画面に表示された前記左目用、右目用撮影画像それぞれにおいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像と前記右目用撮影画像で同じになるように設定されたトリミングエリアを設定する第1-2のステップと、
     前記左目用、右目用撮影画像それぞれの前記トリミングエリアにおいて注目ポイントを抽出する第1-3のステップと、
     前記左目用撮影画像の前記注目ポイントと前記右目用撮影画像の前記注目ポイントとの間で前記垂直方向ずれ量を検出する第1-4のステップと、
     を含む、請求項18に記載の立体画像撮影方法。
  20.  前記第1-4のステップは、前記左目用撮影画像の前記トリミングエリアと、前記右目用撮影画像の前記トリミングエリアとのうちの一方の位置を、他方の位置に合わせ込むために、当該一方を垂直方向にシフトする際のシフト量を検出することで前記垂直方向ずれ量を検出する、
     請求項19に記載の立体画像撮影方法。
  21.  前記第1-4のステップは、前記左目用撮影画像の前記トリミングエリアにおける前記注目ポイントが所属するラインのライン番号と、前記右目用撮影画像の前記トリミングエリアにおける前記注目ポイントが所属するラインのライン番号との間の差分を算出することで前記垂直方向ずれ量を検出する、
     請求項18に記載の立体画像撮影方法。
  22.  前記注目ポイントとして、前記左目用、右目用撮影画像における被写体の顔領域の特定部位を用いる、
     請求項19に記載の立体画像撮影方法。
  23.  前記左目用、右目用撮影画像の撮影を開始する第4のステップと、
     前記左目用、右目用撮影画像を読み出す第5のステップと、
     前記左目用、右目用撮影画像においてトリミングエリアをそれぞれ初期設定する第6のステップと、
     前記左目用、右目用撮影画像のトリミングエリアそれぞれにおいて注目ポイントを抽出する第7のステップと、
     前記左目用撮影画像の前記注目ポイントと、前記右目用撮影画像の前記注目ポイントとの間で垂直方向ずれの有無を確認する第8のステップと、
     前記垂直方向ずれがあるときに、前記左目用撮影画像のトリミングエリアと前記右目用撮影画像のトリミングエリアとのうちの一方の位置を垂直方向で調整する第9のステップと、
     前記垂直方向ずれのずれ量がゼロに収束するまで、前記第7の~第9のステップを繰り返す第10のステップと、
     前記垂直方向ずれのずれ量がゼロになったときの前記第9のステップにおける前記一方のトリミングエリアの垂直方向の調整量を、前記第8のステップで検出した前記垂直方向ずれのずれ量に対応する駆動タイミングの遅延量として保存する第11のステップと、
     さらに含む、
     請求項18に記載の立体画像撮影方法。
  24.  前記左目用、右目用イメージセンサが有する電子シャッタがローリングシャッタであるか否かを判定する第12のステップと、
     前記第12のステップで前記電子シャッタが前記ローリングシャッタであると判定すると、前記ずれ量に対応した駆動タイミングの遅延量を、前記第12のステップにおいて前記電子シャッタが前記ローリングシャッタであると判定した前記左目用、右目用イメージセンサに設定する第13のステップと、
     さらに含む請求項23に記載の立体画像撮影方法。
PCT/JP2011/001726 2010-04-19 2011-03-24 立体画像撮影装置および立体画像撮影方法 WO2011132364A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011800198816A CN102860016A (zh) 2010-04-19 2011-03-24 立体图像拍摄装置以及立体图像拍摄方法
JP2012511522A JP5683025B2 (ja) 2010-04-19 2011-03-24 立体画像撮影装置および立体画像撮影方法
US13/621,104 US9304388B2 (en) 2010-04-19 2012-09-15 Three-dimensional imaging device and three-dimensional imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-095732 2010-04-19
JP2010095732 2010-04-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/621,104 Continuation US9304388B2 (en) 2010-04-19 2012-09-15 Three-dimensional imaging device and three-dimensional imaging method

Publications (1)

Publication Number Publication Date
WO2011132364A1 true WO2011132364A1 (ja) 2011-10-27

Family

ID=44833909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001726 WO2011132364A1 (ja) 2010-04-19 2011-03-24 立体画像撮影装置および立体画像撮影方法

Country Status (4)

Country Link
US (1) US9304388B2 (ja)
JP (1) JP5683025B2 (ja)
CN (1) CN102860016A (ja)
WO (1) WO2011132364A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146510A1 (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
CN112203076A (zh) * 2020-09-16 2021-01-08 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统
US11546570B2 (en) 2019-02-18 2023-01-03 Canon Kabushiki Kaisha Apparatus, apparatus control method, and recording medium, for synchronizing a plurality of imaging devices

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
CN104247412B (zh) * 2012-03-30 2016-08-24 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014111814A2 (en) 2013-01-15 2014-07-24 Mobileye Technologies Limited Stereo assist with rolling shutters
US9818040B2 (en) * 2013-06-20 2017-11-14 Thomson Licensing Method and device for detecting an object
US9955142B2 (en) * 2013-07-05 2018-04-24 Mediatek Inc. On-line stereo camera calibration device and method for generating stereo camera parameters
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
EP3120542A4 (en) * 2014-03-20 2017-03-01 GoPro, Inc. Auto-alignment of image sensors in a multi-camera system
CN106416241B (zh) * 2014-03-21 2019-07-26 欧姆龙株式会社 用于检测和减轻光学系统中的光学损伤的方法和装置
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
CN104977795A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 立体摄影系统及其方法
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
JP5847368B1 (ja) * 2014-06-23 2016-01-20 オリンパス株式会社 撮像装置および内視鏡装置
US9727967B2 (en) * 2014-06-23 2017-08-08 Samsung Electronics Co., Ltd. Methods for determining estimated depth in an image and systems thereof
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
JP6307666B2 (ja) * 2015-12-14 2018-04-04 オリンパス株式会社 撮像装置
US20190349502A1 (en) * 2016-11-29 2019-11-14 Sony Corporation Imaging device, imaging control method, and program
US10498968B1 (en) 2017-03-01 2019-12-03 Altia Systems, Inc. Intelligent zoom method and video system implementing same
JP7000050B2 (ja) * 2017-06-29 2022-01-19 キヤノン株式会社 撮像制御装置及びその制御方法
JP2019114884A (ja) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 検出装置、表示装置、検出方法
CN108259769B (zh) * 2018-03-30 2020-08-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108881737A (zh) * 2018-07-06 2018-11-23 漳州高新区远见产业技术研究有限公司 一种应用于移动终端的vr成像方法
JP2020027957A (ja) * 2018-08-09 2020-02-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN109089103A (zh) * 2018-10-24 2018-12-25 长沙智能驾驶研究院有限公司 双目相机姿态调整方法以及装置、计算机设备和存储介质
US10715783B1 (en) * 2019-03-01 2020-07-14 Adobe Inc. Stereo-aware panorama conversion for immersive media
DE102019207954B4 (de) * 2019-05-29 2021-02-04 Rodenstock Gmbh Verfahren für ein Stereokamerasystem zur Erkennung von Abweichungen von einer Kalibrierung und Stereokamerasystem hierfür
JP2020205498A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
CN110570368B (zh) * 2019-08-21 2020-09-25 贝壳技术有限公司 深度图像的畸变矫正方法、装置、电子设备及存储介质
CN114450552A (zh) * 2019-10-10 2022-05-06 松下知识产权经营株式会社 校正参数计算方法、位移量计算方法、校正参数计算装置及位移量计算装置
CN112326202B (zh) * 2020-10-23 2022-12-09 歌尔光学科技有限公司 虚拟现实设备的双目视差测试方法、装置及工装

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888868A (ja) * 1994-09-20 1996-04-02 Canon Inc 複眼撮像装置
JPH1145334A (ja) * 1997-05-29 1999-02-16 Dainippon Screen Mfg Co Ltd 画像の比較表示方法及び記録媒体
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2008252254A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp 立体撮影装置及び光軸調節方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130646A (ja) 1991-11-08 1993-05-25 Toshiba Corp 立体カメラ装置
JP3266772B2 (ja) 1995-11-10 2002-03-18 富士写真光機株式会社 ズームレンズの駆動装置
JP4862129B2 (ja) * 2005-12-02 2012-01-25 株式会社Jvcケンウッド 車載カメラ装置を用いた運転支援装置
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
JP4867552B2 (ja) * 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
JP2008061259A (ja) * 2007-09-18 2008-03-13 Fujifilm Corp 撮影装置
JP2009094632A (ja) * 2007-10-04 2009-04-30 Panasonic Corp 固体撮像装置
JP5109691B2 (ja) * 2008-01-31 2012-12-26 コニカミノルタホールディングス株式会社 解析装置
CN101505433A (zh) * 2009-03-13 2009-08-12 四川大学 一种实拍实显多镜头数码立体系统
WO2012014355A1 (ja) * 2010-07-27 2012-02-02 パナソニック株式会社 撮像装置
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0888868A (ja) * 1994-09-20 1996-04-02 Canon Inc 複眼撮像装置
JPH1145334A (ja) * 1997-05-29 1999-02-16 Dainippon Screen Mfg Co Ltd 画像の比較表示方法及び記録媒体
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
JP2008252254A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp 立体撮影装置及び光軸調節方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146510A1 (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
JP2019129482A (ja) * 2018-01-26 2019-08-01 日立オートモティブシステムズ株式会社 画像処理装置
US11509813B2 (en) 2018-01-26 2022-11-22 Hitachi Astemo, Ltd. Image processing device
US11546570B2 (en) 2019-02-18 2023-01-03 Canon Kabushiki Kaisha Apparatus, apparatus control method, and recording medium, for synchronizing a plurality of imaging devices
CN112203076A (zh) * 2020-09-16 2021-01-08 青岛小鸟看看科技有限公司 Vr系统中多摄像头曝光中心点的对齐方法、系统

Also Published As

Publication number Publication date
JP5683025B2 (ja) 2015-03-11
CN102860016A (zh) 2013-01-02
JPWO2011132364A1 (ja) 2013-07-18
US20130010084A1 (en) 2013-01-10
US9304388B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP5683025B2 (ja) 立体画像撮影装置および立体画像撮影方法
US9077976B2 (en) Single-eye stereoscopic image capturing device
EP2391119B1 (en) 3d-image capturing device
US9521398B1 (en) Modular configurable camera system
US8885026B2 (en) Imaging device and imaging method
US20110280562A1 (en) Camera body, imaging device, method for controlling camera body, program, and storage medium storing program
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
WO2012086326A1 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
WO2011121840A1 (ja) 立体撮像装置
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP2011114547A (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP5275789B2 (ja) カメラ
US20110018978A1 (en) 3d image display apparatus and 3d image display method
JP2011035642A (ja) 多眼撮影装置およびその調整方法並びにプログラム
CN109151265B (zh) 摄像设备、控制方法和存储介质
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
CN116260956A (zh) 一种虚拟现实拍摄方法及系统
US20130076867A1 (en) Imaging apparatus
JP2012124650A (ja) 撮像装置および撮像方法
WO2011101928A1 (ja) 立体画像撮影用アダプタ、ハイブリッド撮影システムおよび電子カメラ
JP2010210691A (ja) 立体撮像装置
JP2012220603A (ja) 3d映像信号撮影装置
JP2013046343A (ja) 画像撮像装置
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180019881.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11771708

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012511522

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11771708

Country of ref document: EP

Kind code of ref document: A1