Nothing Special   »   [go: up one dir, main page]

WO2017047219A1 - 画像処理装置、画像処理方法、プログラムおよび撮像システム - Google Patents

画像処理装置、画像処理方法、プログラムおよび撮像システム Download PDF

Info

Publication number
WO2017047219A1
WO2017047219A1 PCT/JP2016/070867 JP2016070867W WO2017047219A1 WO 2017047219 A1 WO2017047219 A1 WO 2017047219A1 JP 2016070867 W JP2016070867 W JP 2016070867W WO 2017047219 A1 WO2017047219 A1 WO 2017047219A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
shake correction
captured
imaging
Prior art date
Application number
PCT/JP2016/070867
Other languages
English (en)
French (fr)
Inventor
和博 嶋内
大資 田原
伸穂 池田
篤史 木村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/750,301 priority Critical patent/US10574884B2/en
Priority to EP16846092.1A priority patent/EP3352448B1/en
Priority to CN201680052271.9A priority patent/CN108028889B/zh
Priority to JP2017539736A priority patent/JP6769440B2/ja
Publication of WO2017047219A1 publication Critical patent/WO2017047219A1/ja
Priority to US16/734,085 priority patent/US10917567B2/en
Priority to US17/146,852 priority patent/US11381740B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection

Definitions

  • This technology makes it possible to easily generate a panoramic image with respect to an image processing apparatus, an image processing method, a program, and an imaging system.
  • the first aspect of this technology is Control related to shake correction for at least one of the first captured image and the second captured image in accordance with the positional relationship between the first captured image and the second captured image used for generating the panoramic image.
  • the image processing apparatus includes a control unit for performing the operation.
  • the control unit performs shake correction after aligning the first captured image and the second captured image, and the overlapping amount is larger than the processing order setting threshold.
  • the first captured image and the second captured image are aligned, and the panorama image generation unit performs the shake correction and the first captured image and the second captured image after the alignment.
  • the image of the image generation area in is synthesized.
  • the control unit aligns the first captured image and the second captured image, and the degree of change in the positional relationship between the image capturing unit that generated the first captured image and the image capturing unit that generated the second captured image.
  • the observation period or observation interval is shortened as the degree of change increases, and the observation period or observation interval is lengthened as the degree of change decreases.
  • the frequency of alignment is controlled according to the detection result of the attachment state of the first imaging unit that generates the first captured image and the second imaging unit that generates the second captured image.
  • the panorama image generation unit adjusts the image quality difference between the image generation area of the first captured image and the image generation area of the second captured image, and performs synthesis.
  • the panorama image generation unit synthesizes the image generation area of the first captured image with the corrected lens distortion and the image generation area of the second captured image. Further, the panoramic image generation unit performs angle-of-view adjustment of the first captured image and the second captured image, and synthesizes the first captured image and the second captured image after the angle-of-view adjustment.
  • the second aspect of this technology is Control related to shake correction for at least one of the first captured image and the second captured image in accordance with the positional relationship between the first captured image and the second captured image used for generating the panoramic image.
  • the present invention resides in an image processing method including performing in a control unit.
  • the third aspect of this technology is Control related to shake correction for at least one of the first captured image and the second captured image in accordance with the positional relationship between the first captured image and the second captured image used for generating the panoramic image.
  • Procedure to be executed A program to be executed on a computer.
  • FIG. 1 shows a configuration of an imaging system using an image processing apparatus of this technology, and the imaging system generates a panoramic image using a plurality of captured images.
  • the imaging system generates a panorama image from an imaging function for generating a captured image, a shake correction function for generating a captured image with shake correction, and a plurality of captured images after shake correction. It has a panorama image generation function.
  • An imaging function is provided for each of the plurality of imaging units.
  • the shake correction function may be provided in each of a plurality of imaging units, or may be provided in an imaging device having a predetermined imaging unit or an electronic device provided separately from each imaging unit, such as an information processing device.
  • the panorama image generation function may be provided in an imaging apparatus having a predetermined imaging unit, or may be provided in an information processing apparatus provided separately from each imaging unit. In generating a panoramic image, a moving image or a still image is generated.
  • FIG. 1B exemplify a case where the imaging system 10 is configured by using, for example, two imaging devices 20-1 and 20-2.
  • the imaging device 20-1 in FIG. 1B has an imaging function or an imaging function and a shake correction function, and outputs a captured image or a captured image subjected to shake correction to the imaging device 20-2.
  • the imaging apparatus 20-1 outputs shake information (for example, a motion vector or a movement matrix) indicating a shake state to the imaging apparatus 20-2.
  • shake information for example, a motion vector or a movement matrix
  • the imaging device 20-2 has an imaging function, a shake correction function, and a panorama image generation function.
  • the imaging device 20-2 generates a captured image that has been subjected to shake correction.
  • the imaging device 20-2 captures the imaging supplied from the imaging device 20-1 based on shake information from the imaging device 20-1. Perform shake correction on the image.
  • the imaging device 20-2 generates a panoramic image using captured images generated by the imaging device 20-1 and the imaging device 20-2.
  • An imaging device 20-3 in FIG. 1C has an imaging function or an imaging function and a shake correction function.
  • the imaging device 20-4 and an information processing device are used to capture a captured image or a captured image subjected to shake correction. Output to. Note that when the imaging apparatus 20-3 is not provided with a shake correction function, the imaging apparatus 20-3 outputs shake information indicating a shake state together with the captured image to the imaging apparatus 20-4 and the information processing apparatus.
  • the imaging device 20-4 has some functions in the imaging function or the imaging function and the shake correction function and the panorama image generation function.
  • the imaging device 20-4 outputs the captured image or the captured image subjected to shake correction to the information processing device.
  • the imaging device 20-4 may perform shake correction based on shake information from the imaging device 20-3 when the captured image supplied from the imaging device 20-3 is before shake correction.
  • the imaging device 20-4 generates panorama information based on the generated captured image and the captured image supplied from the imaging device 20-3, and outputs the panorama information to the information processing device.
  • the panorama information is information for moving the other captured image with respect to one captured image so that the position of the subject can be adjusted, and is, for example, a motion vector or a movement matrix.
  • the information processing apparatus connects the captured images supplied from the imaging apparatuses 20-3 and 20-4 on the basis of the panorama information supplied from the imaging apparatus 20-4. Generate a stroke.
  • the imaging system 10 is configured by using, for example, two imaging devices 20-5 and 20-6 and an information processing device 50-1, and the information processing device 50-1 includes the imaging device 20. -5, 20-6 operations are controlled.
  • the imaging device 20-5 has an imaging function or an imaging function and a shake correction function. Based on a control signal from the information processing device 50-1, the imaging device 20-5 generates a captured image or a captured image on which shake correction has been performed to obtain information. The data is output to the processing device 50-1. Note that if the shake correction function is not provided in the imaging device 20-5, shake information indicating the shake state of the imaging device 20-5 is output to the information processing device 50-1.
  • the information processing apparatus 50-1 controls the imaging devices 20-5 and 20-6, and acquires captured images or captured images subjected to shake correction from the imaging devices 20-5 and 20-6. Further, the information processing device 50-1 is based on the shake information acquired from the imaging device 20-5 (20-6) when the captured image acquired from the imaging device 20-5 (20-6) is before shake correction. To correct shake. Furthermore, the information processing apparatus 50-1 generates a panoramic image using the acquired captured image or the captured image after shake correction.
  • the imaging device 20-8 has some functions in the imaging function or the imaging function and the shake correction function and the panorama image generation function.
  • the imaging device 20-8 generates a captured image or a captured image subjected to shake correction based on a control signal from the information processing device 50-2, and outputs the captured image to the information processing device 50-2.
  • the imaging device 20-8 may perform shake correction based on shake information from the imaging device 20-7 when the captured image supplied from the imaging device 20-7 is before shake correction.
  • the imaging device 20-8 generates panorama information based on the generated captured image and the captured image supplied from the imaging device 20-3, and outputs the panorama information to the information processing device 50-2. Note that when the imaging device 20-8 is not provided with a shake correction function, the imaging device 20-8 outputs shake information indicating a shake state to the information processing device 50-2 together with the captured image.
  • the imaging system 10 records the captured image and shake correction information on the recording medium 30, and stores the captured image and shake correction information on the recording medium 30.
  • a panoramic image may be generated based on this.
  • the imaging device 20 includes, for example, a lens unit 200, a drive unit 201, an image sensor unit 202, an AFE (analog front end) unit 203, an image processing unit 204, a display unit 205, a voice input / output unit 206, a communication unit 207, and a recording medium process.
  • the imaging device 20 includes a sensor unit 211, a user interface unit 212, and a control unit 220.
  • the lens unit 200 is configured by using a focus lens, a zoom lens, and the like, and condenses light incident from the outside of the imaging device 20 on the image sensor unit 202 and applies the subject optical to the imaging surface of the image sensor unit 202. Form an image.
  • the drive unit 201 drives a lens provided in the lens unit 200 based on a control signal from the control unit 220 described later, and performs focus adjustment and zoom adjustment. Further, when the imaging apparatus 20 performs optical shake correction, for example, lens shift type shake correction, as the shake correction, the lens unit 200 is provided with a shake correction lens.
  • the imaging apparatus 20 performs shake correction by driving the shake correction lens with the drive unit 201 in accordance with the shake.
  • the image processing unit 204 performs camera signal processing on the captured image so that the captured image has good image quality.
  • the image processing unit 204 performs various processes on the captured image according to the function of the imaging device in the imaging system 10. For example, the image processing unit 204 performs electronic shake correction, spatial direction alignment between captured images to be connected as described later, shake amount calculation, overlap amount calculation, image quality difference calculation, image quality adjustment, calibration, lens distortion correction, Processes such as projective transformation, field angle adjustment, and panorama image generation are performed according to the function of the imaging device in the imaging system 10.
  • the display unit 205 displays various information such as a captured image.
  • the voice input / output unit 206 performs acquisition of voice at the time of imaging, reproduction of the acquired voice, output of a message by voice to the user, and the like.
  • the communication unit 207 includes, for example, WiFi, NFC, and the like, and communicates with other devices such as other imaging devices and information processing devices. Note that the communication unit 207 is not limited to wireless communication, and may be configured to communicate with other devices via a communication cable.
  • the recording medium processing unit 208 performs processing for recording a captured image on a recording medium, or processing for reading a captured image recorded on the recording medium.
  • the recording medium may be fixed to the imaging device 20 or may be detachable.
  • the sensor unit 211 is provided with various sensors so that the state of the imaging device 20 and the like can be detected.
  • the sensor unit 211 is provided with an acceleration sensor, a gyro sensor, or the like, and detects shake of the imaging apparatus.
  • the sensor unit 211 may be provided with a distance measuring sensor, a position detection sensor (for example, a GPS sensor), and the like.
  • the sensor unit 211 outputs the generated sensor information to the control unit 220.
  • the user interface (I / F) unit 212 generates an operation signal corresponding to a user operation or the like and outputs the operation signal to the control unit 220.
  • the control unit 220 Based on the operation signal supplied from the user interface unit 212 and the communication signal supplied from the external device via the communication unit, the control unit 220 is instructed by the imaging device 20 to operate in a mode corresponding to the user operation or from the external device. Each part is controlled so that the operation of the selected mode is performed.
  • the control unit 220 performs control based on the sensor information supplied from the sensor unit 211. For example, the control unit 220 performs the shake correction by controlling the drive unit 201 or the image processing unit 204 according to the shake of the imaging device 20 detected by the sensor unit 211.
  • the imaging device 20 is not limited to a camera, and may be any device having an imaging function, such as a smartphone or a smart tablet.
  • the communication unit 503 includes, for example, WiFi, NFC, and the like, and communicates with each imaging device 20 and the like. Note that the communication unit 503 is not limited to wireless communication, and may be configured to communicate with other devices via a communication cable.
  • a shake correction program As a program related to image processing, a shake correction program, a spatial alignment program, a shake amount calculation program, an overlap amount calculation program, an image quality difference calculation program, an image quality adjustment program, a calibration program, a lens distortion correction program, a projective conversion program, An angle-of-view matching program, a panorama image generation program, and the like are stored.
  • a program related to operation control As a program related to operation control, a mode switching program, a processing order change program, a parameter adjustment program, an observation period and observation interval control program, a communication control program, an imaging device synchronization processing program, an imaging device instruction program, an imaging device management control program
  • a user interface (UI) program and the like are stored.
  • the program stored in the storage unit 504 may be a part of these programs or other programs may be stored.
  • the program may be acquired from another communication device via a communication network.
  • the control unit 505 controls each unit so that a desired operation is performed in the information processing apparatus 50 by reading and executing the program stored in the storage unit 504.
  • a bus 506 electrically connects each unit.
  • a first embodiment In generating a panoramic image, spatial alignment is performed between captured images to be joined, and the subject is joined so that the position of the subject is not shifted on the connection end side of each captured image. In this way, the panoramic image is generated by aligning the subject and joining the images. Therefore, in the first embodiment, at least one of the first captured image and the second captured image is determined according to the positional relationship between the first captured image and the second captured image used for generating the panoramic image. Control for shake correction is performed. In the first embodiment, as the shake correction control, the shake correction is limited according to the positional relationship.
  • control related to shake correction for at least one of the first captured image and the second captured image used for composition is performed, and the subject The panorama image can be generated by connecting the images and joining the images.
  • electronic shake correction is performed as shake correction.
  • FIG. 4 is a diagram for explaining the first embodiment.
  • the imaging device 20-2 acquires duplication identification information and controls the shake correction operation of at least one of the imaging device 20-1 and the imaging device 20-2 based on the duplication identification information, thereby aligning the subject. So that the images can be stitched together.
  • the overlap identification information is information for calculating the overlap amount of images, and for example, a captured image is used. Further, as the overlap identification information, imaging setting information indicating an imaging direction or a focal length of the imaging apparatus may be used.
  • the rig indicating that the image is attached to the rig.
  • Rig attachment information indicating attachment information or attachment angle can be used as duplication identification information.
  • shake correction is performed by the imaging apparatuses 20-1 and 20-2, and even if the image generation area is moved according to the shake, it is possible to secure an image area where the same subject overlaps. Most of the cases. However, when shake correction is performed in the imaging device 20-1 and the imaging device 20-2 in a state where there is little overlap of the imaging regions, the image generation region is moved in accordance with the shake, so that the image of the subject is aligned. May not be connected. In this case, a panoramic image cannot be generated because the images cannot be stitched together by matching the positions of the subjects.
  • FIG. 5 is a diagram for explaining overlap of captured images and shake correction. Note that the images to be stitched together by the generation of the panoramic image are acquired by the imaging device 20-2 and the image of the image generation region AP-1 in the captured image PG-1 of the imaging region AR-1 acquired by the imaging device 20-1. It is assumed that the image of the image generation area AP-2 in the captured image PG-2 of the captured imaging area AR-2.
  • shake correction if the shake is completely corrected, blurring of an image that is not noticeable due to the shake may become noticeable, and correction that leaves a certain amount of shake may be performed. For example, even if the imaging region moves due to shake, shake correction is performed by moving the image generation region AP-1 to the image generation region AP'-1 and the image generation region AP-2 to the image generation region AP'-2.
  • FIG. 5A when the captured image PG-1 and the captured image PG-2 are largely overlapped, a part of the image generation area AP′-1 and the image generation area AP′-2. Duplicate.
  • the panorama image is generated by joining the images of the image generation area AP′-1 and the image generation area AP′-2 by matching the positions of the subjects using the overlapping portion.
  • FIG. 5B when there is little overlap between the captured image PG-1 and the captured image PG-2, even if the captured image PG-1 and the captured image PG-2 partially overlap.
  • the image generation area AP′-1 and the image generation area AP′-2 may not overlap each other. For this reason, the image of the image generation area AP′-1 and the image of the image generation area AP′-2 cannot be joined together by matching the positions of the subjects.
  • the imaging device 20-2 discriminates the overlap amount of the captured images, restricts both or any one of the shake corrections according to the overlap amount, and sets each image generation region. So that an image of the same subject remains.
  • the shake correction may be stopped, or the shake correction amount may be limited according to the overlap amount.
  • the shake correction amount is limited based on a vector (hereinafter referred to as “position adjustment vector”) when the captured image and the subject are moved so as to be aligned.
  • the position adjustment vector will be described.
  • one of the captured image PG-1 and the captured image PG-2 is moved so as to overlap the other region, and for example, an error average value in the overlapping region is calculated.
  • the average error value in the overlapping area decreases. Therefore, the amount of movement and the direction of movement to the position where the average error value of the overlapping region is minimized are used as the position adjustment vector.
  • FIG. 6 is a diagram for explaining the position adjustment vector.
  • the sizes of the captured images PG-1 and PG-2 are 1920 pixels ⁇ 1080 pixels.
  • the shake correction may be limited based on the number of feature points (feature point pairs) associated with the image PG-2. Specifically, if the number of overlapping portions between the captured image PG-1 and the captured image PG-2 increases, the number of feature point pairs included in the overlapping portion also increases, so shake correction as the number of feature point pairs increases. Reduce the limit of.
  • FIG. 8 is a flowchart showing the operation of the first embodiment, and the imaging system 10 is configured as shown in FIG. Also in the description of the flowchart showing the operation of the embodiment to be described later, the imaging system 10 has the configuration shown in FIG.
  • step ST1 the imaging device 20-2 acquires a captured image of another device as duplication identification information.
  • the imaging device 20-2 acquires the captured image PG-1 of the imaging region AR-1 generated by the imaging device 20-1, and proceeds to step ST2.
  • the imaging device 20-2 calculates an overlap amount using a captured image that is duplication identification information.
  • the imaging device 20-2 aligns the captured image PG-2 of the generated imaging region AR-2 and the captured image PG-1 acquired from the imaging device 20-1 in the spatial direction, and calculates an overlap amount.
  • the imaging apparatus 20-2 calculates the size of a position adjustment vector that can move one captured image and align the subject with the other captured image, the number of overlapping feature points, and the like as an overlap amount, and then proceeds to step ST3. move on.
  • step ST3 the imaging device 20-2 determines whether the overlap amount is equal to or less than the shake correction limit threshold.
  • the imaging device 20-2 proceeds to step ST4 if the overlap amount calculated in step ST2 is less than or equal to a preset shake correction limit threshold, and proceeds to step ST5 if it is greater than the shake correction limit threshold.
  • the imaging device 20-2 limits shake correction.
  • the imaging device 20-2 limits shake correction so that the images can be joined by aligning the subject.
  • the imaging device 20-2 stops the shake correction of at least one of the imaging devices 20-1 and 20-2.
  • the imaging device 20-2 may limit the correction amount by changing the shake correction parameter according to the overlap amount.
  • the imaging device 20-2 restricts the size of the image generation area as described above according to the shake and proceeds to step ST6 so that, for example, an area where the same subject image overlaps in the captured image after shake correction can be secured.
  • the imaging device 20-2 calculates an overlap amount.
  • the imaging device 20-2 aligns the generated captured image PG-2 and the captured image PG-1 acquired from the imaging device 20-1 in the spatial direction, and calculates an overlap amount.
  • the imaging device 20-2 calculates the size of the position adjustment vector for matching the positions of the subjects, the number of overlapping feature points, and the like as the overlap amount, and proceeds to step ST13.
  • At least one of the first captured image and the second captured image used for composition is determined according to the amount of overlap between the first captured image and the second captured image.
  • a control notification related to shake correction for one side is made to the user. Therefore, when the amount of overlap between the first captured image and the second captured image is small, the imaging device 20-2 generates a panoramic image by joining the images in the image generation region based on a shake correction restriction instruction from the user. Limit shake correction as possible. Therefore, a panoramic image can be generated based on a user instruction.
  • Second Embodiment> Next, a second embodiment will be described. As described above, when the amount of overlap between the first captured image and the second captured image is small, when shake correction is performed by the imaging device, it is not possible to secure a region where the images of the same subject overlap, There is a possibility that the images cannot be joined by aligning the subject. Therefore, in the second embodiment, when the amount of overlap between the first captured image and the second captured image is small, the positional relationship between the captured images generated by the two imaging devices is adjusted to the subject alignment. As a positional relationship in which the images can be joined together, shake correction is performed while maintaining this positional relationship.
  • a panoramic image is generated by synthesizing the images that have undergone shake correction and spatial alignment.
  • FIG. 11 is a diagram for explaining the operation when the overlap amount of captured images is small.
  • FIG. 11A shows captured images PG-1 and PG-2.
  • FIG. 11B shows the alignment in the spatial direction between the captured images.
  • the captured images PG-1 and PG-2 are aligned so that the overlapping area AC can be secured.
  • FIG. 11C shows a captured image after shake correction.
  • the shake correction is performed so that the state after the alignment is maintained, and in the captured images PGa-1 and PGa-2 after the shake correction, an overlapping area is secured. Therefore, the panoramic image PM is generated by aligning the captured image PGa-1 and the captured image PGa-2 in the spatial direction so that the images of the same subject overlap, and by aligning the subject and joining the images. it can.
  • FIG. 11 has shown the case where shake correction is performed without performing alignment.
  • the image generation areas after shake correction with respect to the captured images PG-1 and PG-2 are, for example, image generation areas AP′-1 and AP′-2, as shown in FIG.
  • the image generation areas AP′-1 and AP′-2 an overlapping area cannot be secured. Therefore, the subject cannot be aligned and the images cannot be joined.
  • the spatial alignment of the images is not limited to using the captured images PGa-1 and PGa-2.
  • FIG. 12 is a diagram for explaining the operation when the amount of overlap of captured images is large.
  • FIG. 12A shows image generation areas AP′-1 and AP′-2 after shake correction in the captured images PG-1 and PG-2.
  • FIG. 12B shows image generation areas AP′-1 and AP′-2 after shake correction.
  • the panorama image PM can be generated by connecting the images in the image generation areas AP'-1 and AP'-2 so that the images of the same subject overlap.
  • the search range for alignment can be reduced.
  • FIG. 13 is a flowchart showing the operation of the second embodiment.
  • the imaging device 20-2 acquires a captured image of another device.
  • the imaging device 20-2 acquires the captured image PG-1 of the imaging region AR-1 generated by the imaging device 20-1, and proceeds to step ST22.
  • the imaging device 20-2 calculates an overlap amount.
  • the imaging device 20-2 aligns the generated captured image PG-2 and the captured image PG-1 acquired from the imaging device 20-1 in the spatial direction, and calculates an overlap amount. For example, the imaging device 20-2 calculates the size of the position adjustment vector that causes the images of the same subject to overlap, the number of feature points that overlap, and the like as the overlap amount, and proceeds to step ST23.
  • step ST23 the imaging device 20-2 determines whether the overlap amount is equal to or less than the processing order setting threshold.
  • the imaging device 20-2 proceeds to step ST24 if the overlap amount calculated in step ST22 is less than or equal to a preset processing order setting threshold value, and proceeds to step ST26 if the amount is larger than the processing order setting threshold value.
  • step ST24 the imaging device 20-2 performs alignment in the spatial direction.
  • the imaging apparatus 20-2 performs alignment so that, for example, an overlapping area is secured between the captured image PG-1 and the captured image PG-2, and the positions of the subjects are aligned so that the images can be joined together. Proceed to
  • step ST26 the imaging device 20-2 performs shake correction.
  • the imaging apparatus 20-2 is controlled so as to perform shake correction by the imaging apparatuses 20-1 and 20-2, for example, and proceeds to step ST27.
  • step ST27 the imaging device 20-2 performs alignment in the spatial direction.
  • the imaging apparatus 20-2 performs alignment so that the images of the same subject overlap each other between the captured image PGc-1 and the captured image PGc-2 after shake correction, and the process proceeds to step ST28.
  • step ST28 the imaging device 20-2 generates a panoramic image.
  • the imaging apparatus 20-2 generates panoramic images by connecting the images in the image generation area extracted from the captured images PG-1 and PG-2 so that the images of the same subject overlap.
  • step ST21 to step ST28 when a still image is generated as a panoramic image.
  • the processing from step ST21 to step ST28 is repeated.
  • the panorama image is generated offline, the processing from step ST21 to step ST27 is performed, the image in the image generation area is stored in the recording medium, and then the still image is recorded using the image recorded in the recording medium.
  • a panorama image or a moving image may be generated.
  • the image capturing apparatus when the amount of overlap between the first captured image and the second captured image is small, the image capturing apparatus can match the positions of the subjects and connect the images. The captured images are aligned between each other, and then shake correction is performed while maintaining the state after the alignment. Accordingly, a panoramic image can be generated even when the amount of overlap between the first captured image and the second captured image is small.
  • FIG. 14 exemplifies the operation when five imaging devices are used.
  • the overlap amount between the captured image PG-2 and the captured image PG-3 is set in advance. It is assumed that the amount of overlap between other captured images is less than the processing order setting threshold and larger than the processing order setting threshold. Note that the overlapping regions AC12, AC23, AC34, and AC45 indicate regions where images of the same subject overlap.
  • the spatial alignment is performed between the captured images where the overlap amount of the captured images is less than or equal to the processing order setting threshold, and then shake correction is performed. I do. Therefore, as shown in FIG. 14B, the captured image PG2 and the captured image PG-3 are aligned in the spatial direction, and then shake correction for each captured image is performed.
  • FIG. 14C shows image generation areas AP-1, AP-4, and AP-5 after shake correction.
  • the image generation area of the captured images PG-2 and PG-3 aligned in the spatial direction corresponds to the area AP-23.
  • the image generation areas AP-1, AP-4, and AP-5 after shake correction are performed so that the images in the overlapping areas AC12, AC23, AC34, and AC45 overlap.
  • the image of the area AP-23 is connected. Therefore, the generated panorama image is an image obtained by joining the subject positions.
  • a panoramic image can be generated even when there are three or more imaging devices and the amount of overlap between images is equal to or less than the processing order setting threshold. It becomes like this.
  • the plurality of imaging devices have different dominant shake periods depending on what kind of moving body is provided.
  • a plurality of image pickup devices are attached to a vehicle such as a bicycle or a car, and when a person carries the image, the shake cycle differs, and the change in the positional relationship between captured images in the time direction differs according to the shake cycle.
  • the size and direction of the shake may differ between the imaging devices depending on the mounting state of the moving body in which mounting position of the moving body, and the like.
  • the change in the positional relationship in the spatial direction between captured images generated by the apparatus differs depending on the magnitude of the shake and the difference in direction.
  • the spatial alignment between images may be performed. However, if the spatial alignment between images is performed every frame regardless of whether the positional relationship in the spatial direction has changed, the calculation cost for the alignment increases. Therefore, in the third embodiment, the frequency of alignment in the spatial direction between the captured images is controlled according to the degree of change in the positional relationship between the captured images.
  • FIG. 15 is a diagram for explaining an operation of controlling the frequency of alignment in the spatial direction according to the degree of change in the positional relationship between the imaging devices.
  • the captured image PG-1 and shake information are supplied from the imaging device 20-1 to the imaging device 20-2.
  • the imaging device 20-2 sets the image generation area AP-2 after shake correction based on the shake information.
  • the imaging device 20-2 performs spatial alignment in which the position of the subject is aligned with the image generation area AP-2 in the captured image PG-2 and the captured image PG-1 acquired from the imaging device 20-1.
  • the imaging device 20-2 increases the frequency of alignment in the spatial direction. For example, as shown in FIG. 15A, when the positional relationship between the imaging devices, that is, the positional relationship between the captured image PG-1 and the captured image PG-2 varies greatly from frame to frame, the imaging device 20-2. Performs shake correction for each frame on the image generation area AP-2. That is, the imaging apparatus 20-2 performs time direction alignment with respect to the image generation area AP-2.
  • FIG. 16 is a diagram for explaining alignment in the time direction.
  • the size of the captured image PG-2 is 1920 pixels ⁇ 1080 pixels.
  • the coordinate origin of the captured image PG-2 is the upper left position.
  • the subject OB has a coordinate position (120, 500) in the captured image PG-2f0 of the frame 0 shown in FIG. 16A and a coordinate position (120 in the captured image PG-2f1 of the frame 1 shown in FIG. 16B. , 560).
  • the coordinate positions of the four corners of the image generation area AP-2 are coordinate positions AZa, AZb, AZc, and AZd including the subject OB in the frame 0.
  • the captured image PG-2f1 of the frame 1 is moved to match the position of the subject with the captured image PG-2f0 of the frame 0, the captured image PG-2f1 is moved as shown in FIG. If the amount is the movement amount (0, ⁇ 60), the position of the subject OB in the image generation area AP-2 matches between the captured image PG-2f1 and the captured image PG-2f0. That is, alignment in the time direction can be performed.
  • a shake correction vector for correcting shake generated in the captured image a vector indicating an image generation area after shake correction based on the captured image PG is illustrated. .
  • the imaging device 20-2 When the degree of change in the positional relationship between the captured images (imaging devices) is small, there is little change from a state where, for example, a predetermined amount of overlapping area is secured between the image generation areas AP-1 and AP-2 to another state. Therefore, even if the frequency of alignment in the spatial direction is lowered, the state where the overlapping area is secured is maintained. Therefore, for example, as shown in FIG. 15B, when there is little variation in the positional relationship between the captured image PG-1 and the captured image PG-2, the imaging device 20-2 performs frame processing with respect to the image generation area AP-2. Shake correction is performed every time, that is, alignment in the time direction is performed.
  • the imaging device 20-2 aligns the image generation area AP-2 and the captured image PG-1 in the spatial direction at intervals of a plurality of frames, and holds the previous position adjustment vector during a period in which the alignment is not performed. . Further, the imaging device 20-2 uses the position adjustment vector acquired by the spatial alignment in the frame for performing the spatial alignment, so that the position of the subject coincides with the image generation area AP-2 after shake correction. Then, the image generation area AP-1 is set. Further, the imaging device 20-2 does not perform shake in the time direction so as not to cause a shake with respect to the immediately preceding image generation area AP-1 set by performing the spatial alignment in a frame in which the spatial alignment is not performed. Perform alignment.
  • FIG. 17 is a diagram for explaining alignment in the time direction for a frame that is not aligned in the spatial direction.
  • the size of the captured images PG-1 and PG-2 is 1920 pixels ⁇ 1080 pixels.
  • the coordinate origin of the captured images PG-1f0, PG-1f1, and PG-2f0 is assumed to be the upper left position.
  • the subject OB has a coordinate position (120, 500) in the captured image PG-2f0 shown in FIG. 17A and a coordinate position (1800, 500) in the captured image PG-1f0 shown in FIG. ). In this case, as described with reference to FIG.
  • the captured image PG2f1 is aligned in the time direction as shown in (h) of FIG. 17, so the image in the captured image PG-1f1 of frame 1 shown in (f) of FIG.
  • the imaging device 20-2 secures an overlapping region by performing such processing even if the frequency of spatial alignment is reduced. Can be maintained. In addition, the calculation cost and the data amount for the alignment in the spatial direction can be reduced.
  • FIG. 18 illustrates an operation when performing alignment in the spatial direction for each frame
  • FIG. 19 illustrates an operation when performing alignment in the spatial direction at intervals of a plurality of frames.
  • the imaging device 20-2 shakes the captured image PG-1 generated by the imaging device 20-1 and the shake state of the imaging device 20-1. Get information.
  • the imaging device 20-2 performs processing for aligning the position of the image generated by the imaging device 20-1 with the image generation area AP-2 after shake correction.
  • the position adjustment vector is calculated using the captured images PG-1 and PG-2 as described above.
  • a vector for correcting the shake generated in the captured image PG-2 in the frame 0 is a shake correction vector VR0.
  • a vector in which the positions of the subjects coincide is set as a position adjustment vector Q0.
  • the image generation area AP-2 can be set so as not to cause a shake using the shake correction vector VR0, and the image generation area connected to the image generation area AP-2 by using the position adjustment vector Q0.
  • AP-1 can be set.
  • a vector for correcting a shake generated between frame 0 and frame 1 in the captured image PG-2 is set as a shake correction vector VR1.
  • a vector for continuation of the image in the image generation area AP-1 to be joined with the image generation area AP-2 and the image in the image generation area AP-2 is defined as a position adjustment vector Q1.
  • the synthesized vector VM1 calculated using the shake correction vector VR1 and the position adjustment vector Q1 is used, so that the frame 0 and the frame of the captured image PG-1 are used.
  • the image generation area AP-1 can be set so that no shake occurs between the image generation area AP-1 and the subject at the connecting portion between the image generation area AP-1 and the image generation area AP-2. Also, in the frame 2 to the frame 4, similarly to the frames 0 and 1, the image generation area AP-1 can be set so that no shake occurs and the subject is aligned.
  • the image generation area AP-1 can be set so that no shake occurs and the positions of the subjects coincide.
  • the frame 0 is the first image and the shake motion correction vectors VL0 and VR0 are (0, 0) and the position of the subject OB is (a) and (b) in FIG.
  • a composite vector VM0 for setting the image generation area AP-1 so that the position of the subject coincides with the image of the generation area AP-2 is expressed by Expression (1).
  • the shake correction vector VR0 is (0, 0)
  • the position adjustment vector Q0 is ( ⁇ 1680, 0).
  • a vector for correcting shake generated in the captured image PG-2 is set as a shake correction vector VR1.
  • a vector for correcting a shake generated in the captured image PG-1 is set as a correction vector VL1.
  • the position adjustment vector is not calculated. Therefore, the shake correction vector in the captured image PG-1 is calculated with reference to the frame 0 that is the nearest frame for which the position adjustment vector has been calculated.
  • the shake correction vector VR1 for correcting the shake generated in the captured image PG-1 is a vector based on the frame 0.
  • the image generation area AP-1 set in the frame 0 corresponds to a position that is shake-corrected by the shake correction vector VL0.
  • the position of the image generation area AP-1 where the position of the subject coincides so as not to cause a shake is the position moved by VL1 in the image generation area AP-1 of the frame 0 (only this amount).
  • the imaging device 20-1 is relatively moved between the frame 0 and the frame 1). That is, by using the combined vector calculated using the shake correction vectors VR0 and VR1, the position adjustment vector Q0, and the shake correction vector VL1, the image generation area AP- 1 can be set.
  • alignment in the time direction is performed on the captured image PG-2f1 of frame 1 shown in FIG. 17G as shown in FIG.
  • alignment in the time direction is performed from the position of alignment in the spatial direction of frame 0 as shown in (f) of FIG. .
  • the image generation area AP-1 can be set so that no shake occurs and the position of the subject coincides with the image in the image generation area AP-2.
  • the captured image PG-1f1 shown in (f) of FIG. 17 is a position moved by the composite vector VM1 with respect to the captured image PG-2f1 in (h) of FIG. ) Value.
  • the position adjustment vector Q0 shown in FIG. 19 is ( ⁇ 1680, 0) in the case of FIG.
  • the shake correction vectors VR1 and VL1 shown in FIG. 19 are (0, 60) and the shake correction vector VL1 is (0, 100).
  • the image generation area is set so that no shake occurs and the position of the subject coincides.
  • AP-1 can be set. That is, the images in the image generation area AP-1 and the image generation area AP-2 are corrected so as not to be shaken, and become images with the same subject position.
  • a vector for correcting a shake generated in the captured image PG-2 is set as a shake correction vector VR2.
  • the correction vector VL2 is a vector based on the frame 1.
  • a vector for correcting a shake generated in the captured image PG-1 is set as a correction vector VL2.
  • the position adjustment vector is not calculated. Therefore, the shake correction vector in the captured image PG-1 is calculated with reference to the nearest frame for which the position adjustment vector has been calculated.
  • the shake correction vector VL2 for correcting the shake generated in the captured image PG-1 is a vector based on the frame 1.
  • the image generation area AP-1 set in the frame 1 corresponds to a position that is shake-corrected by the shake correction vector VL1. Therefore, in frame 2, the position of the image generation area AP-1 where the position of the subject coincides so as not to cause a shake is the position moved by (VL2 + VL1) in the image generation area AP-1 of frame 0.
  • the image generation area AP2 of frame 2 is a position obtained by moving the image generation area AP2 of frame 0 by (VR2 + VR1). That is, by using the combined vector VM2 obtained by performing the calculation of the expression (3) using the shake correction vectors VR0, VR1, and VR2, the position adjustment vector Q0, and the shake correction vectors VL1 and VL2, the shake does not occur.
  • the image generation area AP-1 can be set so that the positions of the subjects coincide.
  • VM2 -(VR2 + VR1 + VRO) + Q0 + (VL2 + VL1) (3)
  • a vector for correcting the shake generated in the captured image PG-2 is set as a shake correction vector VR3.
  • a vector for continuation of the image in the image generation area AP-1 to be joined with the image generation area AP-2 and the image in the image generation area AP-2 is defined as a position adjustment vector Q3.
  • the image generation area AP-2 can be set so as not to cause a shake using the shake correction vector VR3, and the image generation area connected to the image generation area AP-2 using the position adjustment vector Q3.
  • AP-1 can be set.
  • Expression (4) by using the combined vector VM3 calculated using the shake correction vector VR3 and the position adjustment vector Q3, image generation is performed so that no shake occurs and the positions of the subjects coincide with each other.
  • Area AP-1 can be set.
  • frame 4 the same processing as that of frame 1 is performed on the basis of frame 3, which is the nearest frame for which the position adjustment vector has been calculated. That is, by using the composite vector VM4 shown in Expression (5), it is possible to set the image generation area AP-1 so that the shake does not occur and the position of the subject coincides.
  • VM4 -(VR4 + VR3) + Q3 + VL4 (5)
  • FIG. 20 is a flowchart showing the operation of the third embodiment.
  • the imaging device 20-2 acquires a captured image of another device.
  • the imaging device 20-2 acquires the captured image PG-1 of the imaging region AR-1 generated by the imaging device 20-1, and proceeds to step ST32.
  • the frequency of alignment in the spatial direction between the images synthesized in the generation of the panoramic image is controlled according to the degree of change in the positional relationship of the captured images between the imaging devices. Therefore, it is possible to efficiently maintain a state where the subject can be aligned and the images can be joined together.
  • the degree of change in the positional relationship described above is not limited to the case where the observation period and the observation interval are fixed, and may be adjusted according to the degree of change in the positional relationship.
  • an operation for adjusting the observation period and the observation interval according to the degree of change in the positional relationship will be described.
  • FIG. 21 is a diagram showing a calculation operation of the degree of change in positional relationship.
  • the observation period of the degree of change is a Ma (positive integer) frame
  • the observation interval of the degree of change is a Na (positive integer) frame. If the change degree of the positional relationship is high after the operation starts, at least one of the observation period and the observation interval of the change degree is shortened.
  • FIG. 21B illustrates a case where the change period of the positional relationship is large and the observation period and observation interval of the change degree are shortened.
  • the observation period is “Mb ⁇ Ma” and the observation interval is “Nb ⁇ Na”.
  • the imaging device 20-2 updates the observation period and the observation interval.
  • the imaging device 20-2 performs adjustment so that at least one of the observation period and the observation interval becomes shorter as the degree of change in the positional relationship increases.
  • the imaging device 20-2 performs adjustment so that at least one of the observation period and the observation interval becomes longer as the degree of change in the positional relationship becomes smaller.
  • the imaging apparatus 20-2 updates the setting so as to calculate the degree of change in the positional relationship between the adjusted observation period and observation interval, and proceeds to step ST45.
  • step ST45 the imaging apparatus 20-2 transmits the updated observation period and observation interval.
  • the imaging apparatus 20-2 transmits the updated observation period and observation interval to the imaging apparatus 20-1, and proceeds to step ST46.
  • the observation period and the observation interval of the change degree are adjusted according to the change degree of the positional relationship, the observation period and the observation interval are fixed. Compared to the case, it is possible to perform an optimal control operation in accordance with the degree of change in the positional relationship.
  • the case where the observation period and the observation interval are adjusted is illustrated, but only one of the observation period and the observation interval may be adjusted.
  • FIG. 23 is a diagram for explaining the relationship between the magnitude of shake and the image quality of an image used for generating a panoramic image.
  • the imaging device 20-2 calculates a shake amount based on, for example, a captured image for each frame generated by each imaging device or a sensor signal generated by the sensor unit 211 of each imaging device.
  • the image generation area AP can be widened with respect to the captured image PG as shown in FIG.
  • FIG. 23B it is possible to cut out a central portion with less lens distortion. Therefore, when the shake amount is small, the image quality of the image in the image generation area AP used for generating the panoramic image can be kept good as shown in FIG.
  • the imaging device 20-2 calculates the image quality difference.
  • the imaging device 20-2 calculates a difference in image quality between the generated captured image PG-2 and the captured image PG-1 acquired from the imaging device 20-1.
  • the imaging device 20-2 calculates a difference in high frequency components and a degree of shake included in the captured image as an image quality difference. For example, when blur occurs in the captured image, high frequency components are lost. Therefore, the imaging device 20-2 does not include much high image quality and high frequency components when many high frequency components are included. In this case, the image quality is low. Further, when the degree of shake is large, blur due to shake is large, and when the degree of shake is small, there is little blur.
  • the imaging device 20-2 has high image quality when the degree of shake is small and low image quality when the degree of shake is large.
  • the imaging apparatus 20-2 calculates the difference in the high frequency component and the degree of shake included in the captured image as the image quality difference, and proceeds to step ST53.
  • the imaging apparatus 20-2 performs a process of reducing the image quality on the high-quality captured image and performs a process of increasing the image quality on the low-quality captured image, thereby matching the image quality of the two captured images. You may do it. Further, the imaging device 20-2 may generate a panoramic image so that the difference in image quality is not conspicuous by controlling the synthesis of the captured image PG-1 and the captured image PG-2 based on the calculated image quality difference. For example, when two captured images are connected using an alpha blending method, the imaging device 20-2 adjusts the blend width, which is the width of the blended area, according to the image quality difference, and if the image quality difference is large, the blend width is increased. The captured images are connected so that the difference in image quality is not noticeable. In addition, the imaging apparatus 20-2 adjusts the blend rate according to the image quality difference, and when the image quality difference is large, increases the blending rate of the high-quality captured image by increasing the weight for the high-quality captured image. Also good.
  • the composition processing is performed so that the difference in image quality is not noticeable. It is possible to generate a panoramic image in which is not conspicuous.
  • the imaging device 20-2 acquires adjustment determination information.
  • the imaging device 20-2 acquires adjustment determination information indicating the lens distortion and the angle of view of the captured image PG-1 supplied from the imaging device 20-1.
  • each imaging apparatus performs calibration in advance so that adjustment determination information can be acquired.
  • the imaging device captures a test chart or the like and acquires and stores lens distortion for each focal length in advance.
  • the angle of view is calculated and stored in advance for each focal length.
  • the adjustment determination information can be acquired by making it possible to read information corresponding to the setting at the time of imaging from the stored lens distortion and angle of view information.
  • the imaging device 20-2 acquires the adjustment determination information and proceeds to step ST63.
  • step ST63 the imaging device 20-2 corrects the lens distortion of the acquired captured image.
  • the imaging apparatus 20-2 corrects the lens distortion of the captured image PG-1 acquired from the imaging apparatus 20-1 in step ST61 based on the adjustment determination information acquired in step ST62, and proceeds to step ST64.
  • step ST64 the imaging device 20-2 corrects the lens distortion of the generated captured image.
  • the imaging apparatus 20-2 corrects the lens distortion of the generated captured image PG-2 based on the adjustment determination information when the captured image PG-2 is generated, and the process proceeds to step ST65.
  • the imaging device 20-2 calculates an enlargement / reduction ratio.
  • the imaging device 20-2 uses the captured image PG-2 based on the angle of view information indicated by the adjustment determination information regarding the captured image PG-1 and the angle of view information indicated by the adjustment determination information regarding the captured image PG-2.
  • the ratio of the angle of view of the captured image PG-1 with respect to the angle of view is calculated as the enlargement / reduction ratio, and the process proceeds to step ST66.
  • the calculation of the enlargement / reduction ratio is not limited to the case where the acquired adjustment determination information is used.
  • step ST66 the imaging device 20-2 determines whether the enlargement / reduction ratio is less than 1. If the enlargement / reduction ratio is less than 1, that is, the angle of view of the captured image PG-1 is narrower than that of the captured image PG-2, the imaging device 20-2 proceeds to step ST67. If the enlargement / reduction ratio is not less than 1, for example, if the captured image PG-1 has a wider angle of view than the captured image PG-2 and the subject appears smaller, the imaging apparatus 20-2 proceeds to step ST68.
  • step ST ⁇ b> 67 the imaging device 20-2 performs a field angle expansion process on the generated captured image.
  • the imaging device 20-2 enlarges the generated captured image PG-2 at a ratio of (1 / enlargement / reduction ratio), and performs angle adjustment of the captured image PG-1 and the captured image PG-2.
  • step ST68 the imaging device 20-2 performs an angle-of-view expansion process on the acquired captured image.
  • the imaging device 20-2 enlarges the acquired captured image PG-1 at a ratio of the enlargement / reduction ratio, and performs angle-of-view matching between the captured image PG-1 and the captured image PG-2.
  • the imaging device 20-2 After performing such processing, the imaging device 20-2 generates a panoramic image as described above. Therefore, even when imaging devices having different angles of view are used, it is possible to generate a panoramic image in which the size of the subject is aligned and the influence of lens distortion is removed.
  • the amount of overlapping of images is increased by attaching the imaging devices 20-1 and 20-2 to the rig 40. If determined, information regarding attachment is generated as duplication identification information.
  • the mounting angle of the imaging device is selectable with respect to the rig and the overlapping amount of images is determined according to the selected mounting angle, information indicating the mounting angle is generated as duplication identification information.
  • the imaging device when the imaging device is set to a predetermined focal length by attaching the imaging device to the rig and the amount of overlap of the images is determined, or the imaging device is set to the focal length selected in the rig to which the imaging device is attached, information indicating the set focal length may be included in the overlap identification information.
  • Such duplication identification information regarding attachment may be generated by either the rig or the imaging device.
  • a detection unit 41 that detects attachment of the imaging devices 20-1 and 20-2 is provided in the rig 40.
  • the detection unit 41 may use a communication function or may use a mechanical connection mechanism.
  • the communication function is used, the attachment is detected by communicating with the rig 40 via a connection terminal, a connection cable, or the like.
  • attachment to the rig 40 may be detected by performing short-range wireless communication with the rig 40.
  • a mechanical connection mechanism attachment is detected based on the operation position of an operation lever that is operated when the imaging apparatus is fixed. Note that the detection of the attachment may be performed not only by attaching the imaging device to the rig but also by detecting the attachment angle and the focal length.
  • the rig 40 transmits duplication identification information to the imaging device 20-2 using a communication function.
  • step ST1 to step ST3 are performed in advance using duplication identification information regarding attachment instead of the captured image of the other device, and the determination result of step ST3 obtained in advance is used. You may make it perform the process of step ST5 or step ST6.
  • the positional relationship between the imaging devices 20-1 and 20-2 has little fluctuation. Therefore, in such a case, it is possible to prevent the alignment from being performed unnecessarily by reducing the alignment frequency or increasing the observation period or observation interval of the degree of change in the positional relationship.
  • the shake correction is not limited to the electronic shake correction that adjusts the position of the image generation area in accordance with the shake, and may be an optical shake correction.
  • the image sensor shift method is a method for moving the position of the image sensor in accordance with the shake. It can be performed.
  • a lens shift method is used for optical shake correction
  • a focus adjustment lens and a shake correction lens are provided.
  • the position of the optical axis may pass between the focus adjustment lens and the end of the shake correction lens in order to correct shake.
  • lens distortion of the captured image may occur. growing.
  • the lens distortion increases when the image sensor moves to a position away from the optical axis. In such a case, a panoramic image with little difference in image quality can be generated by applying the above-described fourth embodiment.
  • the imaging system 10 is configured as shown in FIG. 1B.
  • the imaging system 10 is configured as shown in FIGS.
  • the structure shown may be sufficient.
  • an imaging apparatus or an information processing apparatus having a function capable of executing processing performed in steps may perform the processing in steps in the order of steps.
  • the imaging system 10 has the configuration of FIG. 1C
  • the amount of overlap is calculated by an external device based on the panorama information generated by the imaging device
  • the shake correction of the imaging device is limited by the external device, the external device
  • processing such as panorama image generation is performed.
  • the information processing apparatus may perform processing such as calculation of an overlap amount, restriction on shake correction of the imaging apparatus, panorama image processing, and the like.
  • this technology can be widely used in fields that require images with a wide angle of view in an environment where the image pickup unit shakes. For example, if it is attached to a vehicle, it is possible to generate a good panoramic image even if vibration or the like is applied during traveling, and the surrounding conditions can be confirmed during driving. In addition, surrounding conditions can be acquired even when performing automatic driving or the like. In addition, if it is attached to construction equipment, agricultural equipment, etc., it is possible to generate a good panoramic image even if vibrations are applied during work, so it is possible to work correctly while checking the surrounding conditions. .
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus including a control unit that performs control related to the above.
  • the control unit restricts the shake correction according to the positional relationship as control related to the shake correction.
  • the image processing device according to (2), wherein the positional relationship is an overlap amount.
  • the control unit limits the shake correction when the overlap amount is equal to or less than a shake correction limit threshold.
  • the control unit performs alignment between the image generation area of the first captured image and the image generation area of the second captured image when the overlap amount is equal to or less than a processing order setting threshold,
  • the image processing apparatus according to (3) wherein control is performed in the order of execution of shake correction, and control is performed in the order of execution of shake correction and execution of alignment when the overlap amount is greater than the processing order setting threshold.
  • the control unit performs alignment between the first captured image and the second captured image in accordance with a degree of change in a positional relationship between the first captured image and the second captured image.
  • the control unit shortens the observation period or the observation interval as the degree of change increases, and lengthens the observation period or the observation interval as the degree of change decreases.
  • the image processing apparatus described. (12) The frequency of the alignment is controlled according to the attachment state of the first imaging unit that generates the first captured image and the second imaging unit that generates the second captured image (9).
  • the image processing apparatus described. (13) The information processing apparatus according to any one of (1) to (12), further including a panorama image generation unit configured to generate a panorama image from the image generation area of the first captured image and the image generation area of the second captured image. Image processing apparatus.
  • the panorama image generation unit adjusts the image quality difference between the image generation area of the first captured image and the image generation area of the second captured image, and then generates the panorama image (13).
  • the panorama image generation unit synthesizes the image generation area of the first captured image in which lens distortion is corrected and the image generation area of the second captured image (13) or (14).
  • the image processing apparatus according to any one of the above.
  • the panorama image generation unit generates the panorama image after aligning the angle of view of the first captured image and the second captured image, according to any one of (13) to (15). Image processing device.
  • the image processing apparatus may have the following configuration.
  • an imaging apparatus that generates the first captured image as control related to the generation of the first captured image and the second captured image;
  • An image processing apparatus comprising: a control unit that performs control related to at least one shake correction function of the imaging apparatus according to a shake difference of the second imaging apparatus that generates the second captured image.
  • the first An image processing apparatus comprising: a control unit that controls a shake correction function of at least one of the first and second imaging devices according to a difference in shake between the first imaging device and the second imaging device.
  • the first captured image and the second captured image are used in accordance with the positional relationship between the first captured image and the second captured image that are used for generating the panoramic image.
  • Control relating to shake correction for at least one of the captured images is performed. For this reason, it is possible to secure an area in which the captured images of the same subject overlap in the first captured image and the second captured image by controlling the shake correction according to the positional relationship between the first captured image and the second captured image.
  • an image used for generating a panoramic image can be easily generated. Accordingly, the present invention can be widely used in fields that require images with a wide angle of view in an environment in which the shake of the imaging unit occurs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

他の装置から第２の撮像画像を取得して、生成した第１の撮像画像と取得した第２の撮像画像を位置合わせする。第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行い、例えば、第１の撮像画像と第２の撮像画像との重なり量が振れ補正制限閾値以下である場合、第１と第２の撮像画像の少なくとも一方に対して振れ補正を停止または補正範囲を制限する。重なり量が振れ補正制限閾値よりも多い場合、制限なく第１と第２の撮像画像の振れ補正を行う。振れ補正が制限された第１の撮像画像（第２の撮像画像）、または制限なく振れ補正が行われた第１と第２の撮像画像を用いて、２つの撮像画像を位置合わせしてパノラマ画を生成する。

Description

画像処理装置、画像処理方法、プログラムおよび撮像システム
　この技術は、画像処理装置、画像処理方法、プログラムおよび撮像システムに関し、パノラマ画を容易に生成できるようにする。
　従来、複数の撮像部を有する撮像装置、例えば特許文献１の撮像装置では、複数の撮像部における各々の振れ補正前の初期光軸中心を基準として、共通の切り出しサイズで複数の画像の各々から出力用画像を切り出すことが行われている。また、振れ補正前後で光軸中心位置の保たれた出力用画像によって立体視が可能とされている。
国際公開第２０１１／１１４５７２号公報
　ところで、複数の撮像部で画像を生成する場合は、立体視に限らず例えば複数の画像をつなげて広画角のパノラマ画を生成することが可能である。しかし、初期光軸中心を基準として、共通の切り出しサイズで複数の画像の各々から切り出した出力用画像をつなげる場合、初期光軸中心が垂直方向にばらつきを生じないように、複数の撮像装置を精度よく水平方向に設置する必要がある。このため、パノラマ画の生成が容易でない。
　そこで、この技術では、パノラマ画の生成に用いる画像を容易に生成できる画像処理装置、画像処理方法、プログラムおよび撮像システムを提供することを目的とする。
　この技術の第１の側面は、
　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部を備える画像処理装置にある。
　この技術では、第１の撮像画像と第１の撮像画像に位置合わせした第２の撮像画像とを合成することでパノラマ画を生成する場合に、第１の撮像画像と第２の撮像画像の位置関係に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御、例えば位置関係に応じて振れ補正を制御する。この振れ補正の制限では、振れ補正のオンオフ動作、合成する画像の生成に用いるイメージセンサの有効画素領域内に設けられる画像生成領域を、重なり量が少なくなるに伴い大きくして、有効画素領域と画像生成領域との差である余剰領域を削減して振れ補正を制限する動作を行う。また、振れ補正に関する制御では、画像または音声でユーザに対して振れ補正のオンオフや制限に関する通知を行う。
　また、制御部は、重なり量が処理順序設定閾値以下である場合に第１の撮像画像と第２の撮像画像の位置合わせを行ってから振れ補正を行い、重なり量が処理順序設定閾値より多い場合に振れ補正を行ってから第１の撮像画像と前記第２の撮像画像の位置合わせを行い、パノラマ画生成部は、振れ補正および位置合わせ後の第１の撮像画像と第２の撮像画像における画像生成領域の画像を合成する。さらに、制御部は、第１の撮像画像と第２の撮像画像の位置合わせを、第１の撮像画像を生成した撮像部と第２の撮像画像を生成した撮像部との位置関係の変化度合いに応じて行い、変化度合いが大きくなるに伴い観測期間または観測間隔を短くして、変化度合いが小さくなるに伴い観測期間または観測間隔を長くする。また、第１の撮像画像を生成する第１の撮像部と第２の撮像画像を生成する第２の撮像部の取付状態の検出結果に応じて位置合わせの頻度を制御する。また、パノラマ画生成部は、第１の撮像画像の画像生成領域と第２の撮像画像の画像生成領域の画質差を調整して合成を行う。また、パノラマ画生成部は、レンズ歪みが補正された第１の撮像画像の画像生成領域と第２の撮像画像の画像生成領域とを合成する。さらに、パノラマ画生成部は、第１の撮像画像と第２の撮像画像の画角合わせを行い、画角合わせ後の第１の撮像画像と第２の撮像画像を合成する。
　この技術の第２の側面は、
　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を制御部で行うことを含む画像処理方法にある。
　この技術の第３の側面は、
　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う手順コンピュータで実行させるプログラム。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　パノラマ画の生成に用いられる第１の撮像画像を生成する第１の撮像部と、
　前記パノラマ画の生成に用いられる第２の撮像画像を生成する第２の撮像部と、
　前記第１の撮像画像と前記第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部と
を備える撮像システムにある。
　この技術によれば、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像を位置関係に応じた振れ補正に関する制御によって、第１の撮像画像と第２の撮像画像では同一被写体の撮像画像が重なり合う領域を確保できるようになり、パノラマ画の生成に用いる画像を容易に生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像システムの構成を示す図である。 撮像装置の構成を例示した図である。 情報処理装置の構成を例示した図である。 第１の実施の形態を説明するための図である。 撮像画像の重なりと振れ補正について説明するための図である。 位置調整ベクトルを説明するための図である。 重なり量に応じて振れ補正量を制限する場合を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第１の実施の形態の他の動作を示すフローチャートである。 表示を用いてユーザに対する通知を行う場合を例示した図である。 撮像画像の重なり量が少ない場合の動作を説明するための図である。 撮像画像の重なり量が多い場合の動作を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 ５台の撮像装置を用いた場合の動作を例示した図である。 位置関係の変化度合いに応じて空間方向の位置合わせの頻度を制御する動作を説明するための図である。 時間方向の位置合わせを説明するための図である。 空間方向の位置合わせを行わないフレームについての時間方向の位置合わせを説明するための図である。 フレーム毎に空間方向の位置合わせを行う場合の動作を例示した図である。 複数フレーム間隔で空間方向の位置合わせを行う場合の動作を例示した図である。 第３の実施の形態の動作を示すフローチャートである。 位置関係の変化度合いの算出動作を示す図である。 第３の実施の形態の他の動作を示すフローチャートである。 振れの大きさとパノラマ画の生成に用いる画像の画質の関係を説明するための図である。 第４の実施の形態の動作を示すフローチャートである。 画角が異なる撮像装置を用いた場合の動作を示すフローチャートである。 複数の撮像装置をリグ（取付台）に固定して用いる場合を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像システムの構成
　２．撮像装置と情報処理装置の構成
　　２－１．撮像装置の構成
　　２－２．情報処理装置の構成
　３．第１の実施の形態
　　３－１．第１の実施の形態の動作
　　３－２．第１の実施の形態の他の動作
　４．第２の実施の形態
　　４－１．第２の実施の形態の動作
　　４－２．第２の実施の形態の他の動作
　５．第３の実施の形態
　　５－１．第３の実施の形態の動作
　　５－２．第３の実施の形態の他の動作
　６．第４の実施の形態
　　６－１．第４の実施の形態の動作
　７．他の実施の形態
　＜１．撮像システムの構成＞
　図１は、この技術の画像処理装置を用いた撮像システムの構成を示しており、撮像システムは、複数の撮像画像を用いてパノラマ画を生成する。
　撮像システムは、図１の（ａ）に示すように、撮像画像を生成する撮像機能、振れを補正した撮像画像を生成する振れ補正機能、振れ補正後の複数の撮像画像からパノラマ画を生成するパノラマ画生成機能を有している。撮像機能は複数の撮像部のそれぞれに設ける。また、振れ補正機能は、複数の撮像部のそれぞれに設けてもよく、所定の撮像部を有する撮像装置または各撮像部とは別個に設けられた電子機器例えば情報処理装置等に設けてもよい。また、パノラマ画生成機能は、所定の撮像部を有する撮像装置に設けてもよく、各撮像部とは別個に設けられた情報処理装置等に設けてもよい。パノラマ画の生成では、動画または静止画を生成する。
　図１の（ｂ）（ｃ）は、撮像システム１０が例えば２台の撮像装置２０-1，２０-2を用いて構成されている場合を例示している。図１の（ｂ）における撮像装置２０-1は、撮像機能または撮像機能と振れ補正機能を有しており、撮像画像または振れ補正が行われた撮像画像を撮像装置２０-2へ出力する。なお、撮像装置２０-1に振れ補正機能が設けられていない場合、撮像装置２０-1は振れ状態を示す振れ情報（例えば動きベクトルや移動行列等）を撮像装置２０-2へ出力する。
　撮像装置２０-2は撮像機能と振れ補正機能およびパノラマ画生成機能を有している。撮像装置２０-2は、振れ補正が行われた撮像画像を生成する。また、撮像装置２０-2は、撮像装置２０-1から供給された撮像画像が振れ補正前であるとき、撮像装置２０-1からの振れ情報に基づき、撮像装置２０-1から供給された撮像画像に対して振れ補正を行う。さらに、撮像装置２０-2は、撮像装置２０-1と撮像装置２０-2のそれぞれで生成された撮像画像を用いてパノラマ画を生成する。
　図１の（ｃ）における撮像装置２０-3は、撮像機能または撮像機能と振れ補正機能を有しており、撮像画像または振れ補正が行われた撮像画像を撮像装置２０-4と情報処理装置へ出力する。なお、撮像装置２０-3に振れ補正機能が設けられていない場合、撮像装置２０-3は、振れ状態を示す振れ情報を撮像画像と共に撮像装置２０-4と情報処理装置へ出力する。
　撮像装置２０-4は撮像機能または撮像機能と振れ補正機能およびパノラマ画生成機能における一部の機能を有している。撮像装置２０-4は、撮像画像または振れ補正が行われた撮像画像を情報処理装置へ出力する。また、撮像装置２０-4は、撮像装置２０-3から供給された撮像画像が振れ補正前であるとき、撮像装置２０-3からの振れ情報に基づいて振れ補正を行ってもよい。さらに、撮像装置２０-4は、生成した撮像画像と撮像装置２０-3から供給された撮像画像に基づき、パノラマ化情報を生成して情報処理装置へ出力する。パノラマ化情報は、被写体の位置を合わせることができるように、一方の撮像画像に対して他方の撮像画像を移動させるための情報であり、例えば動きベクトルや移動行列等である。
　このように撮像システムが構成された場合、情報処理装置は撮像装置２０-4から供給されたパノラマ化情報に基づき、撮像装置２０-3，２０-4から供給された撮像画像をつなぎ合わせてパノラマ画を生成する。
　図１の（ｄ）は、撮像システム１０が例えば２台の撮像装置２０-5，２０-6と情報処理装置５０-1を用いて構成されており、情報処理装置５０-1で撮像装置２０-5，２０-6の動作を制御する場合を例示している。撮像装置２０-5は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-1からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-1へ出力する。なお、撮像装置２０-5に振れ補正機能が設けられていない場合、撮像装置２０-5の振れ状態を示す振れ情報を情報処理装置５０-1へ出力する。
　撮像装置２０-6は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-1からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-1へ出力する。なお、撮像装置２０-6に振れ補正機能が設けられていない場合、撮像装置２０-6の振れ状態を示す振れ情報を情報処理装置５０-1へ出力する。
　情報処理装置５０-1は、撮像装置２０-5，２０-6を制御して、撮像装置２０-5，２０-6から撮像画像または振れ補正が行われた撮像画像を取得する。また、情報処理装置５０-1は、撮像装置２０-5（２０-6）から取得した撮像画像が振れ補正前であるとき、撮像装置２０-5（２０-6）から取得した振れ情報に基づいて振れ補正を行う。さらに、情報処理装置５０-1は、取得した撮像画像または振れ補正後の撮像画像を用いてパノラマ画を生成する。
　図１の（ｅ）は、撮像システム１０が例えば２台の撮像装置２０-7，２０-8と情報処理装置５０-2を用いて構成されており、情報処理装置５０-2で撮像装置２０-7，２０-8の動作を制御する場合を例示している。撮像装置２０-7は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-2からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して撮像装置２０-8と情報処理装置５０-2へ出力する。なお、撮像装置２０-7に振れ補正機能が設けられていない場合、撮像装置２０-5の振れ状態を示す振れ情報を撮像装置２０-8と情報処理装置５０-2へ出力する。
　撮像装置２０-8は撮像機能または撮像機能と振れ補正機能およびパノラマ画生成機能における一部の機能を有している。撮像装置２０-8は、情報処理装置５０-2からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-2へ出力する。また、撮像装置２０-8は、撮像装置２０-7から供給された撮像画像が振れ補正前であるとき、撮像装置２０-7からの振れ情報に基づいて振れ補正を行ってもよい。さらに、撮像装置２０-8は、生成した撮像画像と撮像装置２０-3から供給された撮像画像に基づき、パノラマ化情報を生成して情報処理装置５０-2へ出力する。なお、撮像装置２０-8に振れ補正機能が設けられていない場合、撮像装置２０-8は、振れ状態を示す振れ情報を撮像画像と共に情報処理装置５０-2へ出力する。
　情報処理装置５０-2は、撮像装置２０-7，２０-8を制御して、撮像装置２０-7，２０-8から撮像画像または振れ補正が行われた撮像画像を取得する。また、情報処理装置５０-2は、撮像装置２０-7（２０-8）から取得した撮像画像が振れ補正前であるとき、撮像装置２０-7（２０-8）から取得した振れ情報に基づいて振れ補正を行う。さらに、情報処理装置５０-2は、撮像装置２０-8から取得したパノラマ化情報に基づき、撮像画像のつなぎ合わせを行ってパノラマ画を生成する。
　さらに、撮像システム１０は、図１の（ｆ）に示すように、撮像画像と振れ補正情報等を記録媒体３０に記録して、記録媒体３０に記録されている撮像画像と振れ補正情報等に基づきパノラマ画を生成してもよい。
　なお、撮像システム１０の構成は、撮像機能と振れ補正機能とパノラマ画生成機能を有する構成であれば、上述の構成に限られない。また、上述の構成では２つの撮像装置を用いた場合を例示しているが、３つ以上の撮像装置を用いて撮像システムを構成してもよい。
　＜２．撮像装置と情報処理装置の構成＞
　＜２－１．撮像装置の構成＞
　次に、図２を用いて、撮像装置の構成について説明する。撮像装置２０は、例えばレンズユニット２００、駆動部２０１、イメージセンサ部２０２、ＡＦＥ（アナログフロントエンド）部２０３、画像処理部２０４、表示部２０５、音声入出力部２０６、通信部２０７、記録媒体処理部２０８、バス２０９を備える。また、撮像装置２０は、センサ部２１１、ユーザインタフェース部２１２、制御部２２０を備えている。
　レンズユニット２００は、フォーカスレンズやズームレンズ等を用いて構成されており、撮像装置２０の外部から入射された光をイメージセンサ部２０２に集光して、イメージセンサ部２０２の撮像面に被写体光学像を結像させる。駆動部２０１は、後述する制御部２２０からの制御信号に基づきレンズユニット２００に設けられているレンズを駆動して、フォーカス調整やズーム調整を行う。また、撮像装置２０は、振れ補正として光学式振れ補正、例えばレンズシフト方式振れ補正を行う場合、レンズユニット２００には振れ補正レンズが設けられる。撮像装置２０は、振れに応じて振れ補正レンズを駆動部２０１で駆動して振れ補正を行う。また、撮像装置２０は、光学式振れ補正としてレンズユニットスイング方式振れ補正（いわゆる空間光学手振れ補正）を行う場合、レンズユニット２００とイメージセンサ部２０２を一体として、振れに応じて撮像装置２０の本体に対してピッチ方向やヨー方向等に駆動部２０１で駆動して振れ補正を行う。さらに、撮像装置２０は、光学式振れ補正としてイメージセンサシフト方式振れ補正を行う場合、振れに応じて後述するイメージセンサ部２０２をレンズユニット２００の光軸に対して直交する方向に駆動部２０１で駆動して振れ補正を行う。
　イメージセンサ部２０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサを用いて構成されている。イメージセンサ部２０２は、光電変換を行い被写体光学像に応じた撮像信号を生成してＡＦＥ部２０３へ出力する。また、撮像装置２０は、振れ補正として電子式振れ補正を行う場合、イメージセンサの有効画素領域内において、実際に画像の抽出を行う画素領域である画像生成領域を振れに応じて移動させて振れ補正を行う。なお、電子式振れ補正は、画像処理部２０４で行うようにしてもよい。
　ＡＦＥ（アナログフロントエンド）部２０３は、イメージセンサ部２０２から供給された撮像信号をデジタル信号に変換する処理やノイズ除去処理、欠陥画素の補正処理等を行い、処理後の撮像信号を画像処理部２０４へ出力する。
　画像処理部２０４は、撮像信号に対して撮像画像が良好な画質となるようにカメラ信号処理を行う。また、画像処理部２０４は、撮像システム１０における撮像装置の機能に応じて、撮像画像に対して各種の処理を行う。例えば、画像処理部２０４は、電子式振れ補正、後述するようにつなげる撮像画像間の空間方向の位置合わせ、振れ量算出、重なり量算出、画質差算出、画質合わせ、キャリブレーション、レンズ歪補正、射影変換、画角合わせ、パノラマ画の生成等の処理を、撮像システム１０における撮像装置の機能に応じて行う。
　表示部２０５は、各種情報例えば撮像画像等を表示する。音声入出力部２０６は、撮像時の音声の取得、取得した音声の再生、ユーザへの音声によるメッセージの出力等を行う。
　通信部２０７は、例えばＷｉｆｉ、ＮＦＣなどで構成され、他の機器例えば他の撮像装置や情報処理装置等と通信を行う。なお、通信部２０７は、無線通信に限らず通信ケーブルを介して他の機器と通信を行う構成であってもよい。
　記録媒体処理部２０８は、記録媒体に撮像画像を記録する処理、または記録媒体に記録されている撮像画像を読み出す処理を行う。なお、記録媒体は撮像装置２０に固定されていてもよく、着脱可能であってもよい。
　バス２０９は、上述の各部を後述する制御部２２０と電気的に接続する。
　センサ部２１１は、撮像装置２０の状態等を検出できるように各種センサが設けられている。例えばセンサ部２１１には、加速度センサやジャイロセンサ等が設けられて撮像装置の振れが検出される。また、センサ部２１１には、測距センサ、位置検出センサ（例えばＧＰＳセンサ）等が設けられてもよい。センサ部２１１は、生成したセンサ情報を制御部２２０へ出力する。
　ユーザインタフェース（Ｉ／Ｆ）部２１２は、ユーザ操作等に応じた操作信号を生成して制御部２２０へ出力する。
　制御部２２０は、ユーザインタフェース部２１２から供給された操作信号や通信部を介して外部機器から供給された通信信号に基づき、撮像装置２０でユーザ操作に応じたモードの動作または外部機器から指示されたモードの動作が行われるように各部を制御する。また、制御部２２０は、センサ部２１１から供給されたセンサ情報に基づいて制御を行う。例えば制御部２２０は、センサ部２１１で検出された撮像装置２０の振れに応じて、駆動部２０１または画像処理部２０４を制御して振れ補正を行う。さらに、制御部２２０は、画像処理部２０４で行われる処理の制御、後述するように振れ補正と空間方向の位置合わせの処理順序の制御、撮像装置間の位置関係の変化度合いの観測期間や観測間隔の制御、パラメータの調整、他の撮像装置との制御情報や撮像画像等のデータの通信、他の撮像装置の同期処理や管理等を行う。
　なお、撮像装置２０は、カメラに限らず撮像機能を有する機器であればよく例えばスマートフォンやスマートタブレット等であってもよい。
　＜２－２．情報処理装置の構成＞
　次に、情報処理装置５０の構成について説明する。図３は、情報処理装置の構成を例示している。情報処理装置５０は、入力部５０１、出力部５０２、通信部５０３、記憶部５０４、制御部５０５、およびバス５０６を備える。入力部５０１は、ユーザからの入力操作を受け付ける装置であり、例えばタッチパネル、マウス、キーボード等である。出力部５０２は、各種情報を提示する装置であり、例えばディスプレイ、スピーカ等である。
　通信部５０３は、例えばＷｉｆｉ、ＮＦＣなどで構成され、各撮像装置２０等と通信を行う。なお、通信部５０３は、無線通信に限らず通信ケーブルを介して他の機器と通信を行う構成であってもよい。
　記憶部５０４は、情報処理装置５０で所望の動作を行えるようにするためのプログラムを記憶する。このようなプログラムとしては、撮像装置２０の画像処理部２０４と同様な処理を行う画像処理に関するプログラムと、制御部２２０と同様な制御を行う動作制御や撮像装置の制御に関するプログラムが記憶されている。
　画像処理に関するプログラムとしては、振れ補正プログラム、空間方向の位置合わせプログラム、振れ量算出プログラム、重なり量算出プログラム、画質差算出プログラム、画質合わせプログラム、キャリブレーションプログラム、レンズ歪補正プログラム、射影変換プログラム、画角合わせプログラム、パノラマ画生成プログラム等が記憶されている。動作制御に関するプログラムとしては、モード切替プログラム、処理順序変更プログラム、パラメータ調整プログラム、観測期間や観測間隔の制御プログラム、通信制御プログラム、撮像装置間同期処理プログラム、撮像装置指示プログラム、撮像装置管理制御プログラム、ユーザインタフェース（ＵＩ）プログラム等が記憶されている。なお、記憶部５０４に記憶されるプログラムは、これらのプログラムの一部であってもよく他のプログラムが記憶されていてもよい。プログラムは、通信ネットワークを介して他の通信機器から取得されるようにしてもよい。
　制御部５０５は、記憶部５０４に記憶されたプログラムを読み出して実行することにより、情報処理装置５０で所望の動作が行われるように各部を制御する。バス５０６は、各部を電気的に接続する。
　＜３．第１の実施の形態＞
　次に、第１の実施の形態について説明する。パノラマ画の生成では、つなぎ合わせる撮像画像間の空間方向の位置合わせを行い、それぞれの撮像画像の接続端部側で被写体の位置がずれないようにつなぎ合わせを行う。このように、被写体の位置合わせを行って画像をつなぎ合わせることでパノラマ画を生成する。そこで、第１の実施の形態では、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う。また、第１の実施の形態では、振れ補正に関する制御として、位置関係に応じて振れ補正を制限する。例えば、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行い、被写体の位置合わせを行って画像をつなぎ合わせてパノラマ画を生成できるようにする。なお、第１の実施の形態では、振れ補正として電子式振れ補正を行う。
　図４は、第１の実施の形態を説明するための図である。第１の実施の形態では、例えば２台の撮像装置２０-1，２０-2を用いて撮像を行う場合を例示している。撮像装置２０-2は、重複識別情報を取得して、重複識別情報に基づき撮像装置２０-1と撮像装置２０-2の少なくとも一方の振れ補正動作を制御することで、被写体の位置合わせを行って画像をつなぎ合わせることができるようにする。重複識別情報は、画像の重なり量を算出するための情報であり例えば撮像画像を用いる。また、重複識別情報として、撮像装置の撮像方向や焦点距離を示す撮像設定情報等を用いてもよい。さらに、後述するリグに取り付けたことにより画像の重なり量が決定される場合、また、リグに対する撮像装置の取り付け角度等によって画像の重なり量が決定される場合、リグに取り付けられたことを示すリグ取り付け情報や取り付け角度を示すリグ取り付け情報を、重複識別情報として用いることができる。
　図４の（ａ）は撮像装置２０-1の撮像領域(field of view)ＡＲ-1と撮像装置２０-2の撮像領域ＡＲ-2との重なりが多い場合を示している。また、図４の（ｂ）は撮像装置２０-1の撮像領域ＡＲ-1と撮像装置２０-2の撮像領域ＡＲ-2との重なりが少ない場合を示している。
　撮像領域の重なりが多い場合、撮像装置２０-1と撮像装置２０-2で振れ補正が行われて、振れに応じて画像生成領域が移動されても、同一被写体が重複する画像領域を確保できる場合が殆どである。しかし、撮像領域の重なりが少ない状態で撮像装置２０-1と撮像装置２０-2で振れ補正が行われると、振れに応じて画像生成領域が移動されたことにより、被写体の位置を合わせて画像をつなぎ合わせることができないおそれがある。この場合、被写体の位置を合わせて画像をつなぎ合わせることができないためパノラマ画を生成できない。
　図５は撮像画像の重なりと振れ補正について説明するための図である。なお、パノラマ画の生成でつなぎ合わせる画像は、撮像装置２０-1で取得された撮像領域ＡＲ-1の撮像画像ＰＧ-1における画像生成領域ＡＰ-1の画像と、撮像装置２０-2で取得された撮像領域ＡＲ-2の撮像画像ＰＧ-2における画像生成領域ＡＰ-2の画像とする。
　振れ補正では、振れを完全に補正すると振れによって目立たなかった画像のぼけ等が顕著となってしまうおそれがあり、ある程度の振れを残す補正等が行われる場合がある。例えば、振れによって撮像領域が移動しても、画像生成領域ＡＰ-1を画像生成領域ＡＰ’-1、画像生成領域ＡＰ-2を画像生成領域ＡＰ’-2に移動して振れ補正を行う。ここで、図５の（ａ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2との重なりが多い場合、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2は一部が重複している。したがって、パノラマ画は、重複部分を利用して画像生成領域ＡＰ’-1の画像と画像生成領域ＡＰ’-2の画像を、被写体の位置を合わせてつなぎ合わせることで生成する。しかし、図５の（ｂ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2との重なりが少ない場合、撮像画像ＰＧ-1と撮像画像ＰＧ-2とで一部が重複しても、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2は重複しなくなることがある。このため、画像生成領域ＡＰ’-1の画像と画像生成領域ＡＰ’-2の画像は、被写体の位置を合わせてつなぎ合わせることができない。
　したがって、第１の実施の形態では、例えば撮像装置２０-2で撮像画像の重なり量を判別して、重なり量に応じて両方またはいずれか一方の振れ補正を制限して、互いの画像生成領域に同一被写体の画像が残るようにする。振れ補正の制限としては、振れ補正を停止させてもよく、重なり量に応じて振れ補正量を制限してもよい。例えば撮像画像ＰＧ-1と撮像画像ＰＧ-2のいずれか一方を移動して他方の撮像画像と被写体の位置合わせができるように空間方向の位置合わせを行ったとき、一方の撮像画像を他方の撮像画像と被写体の位置合わせができるように移動したときのベクトル（以下「位置調整ベクトル」という）に基づき振れ補正量を制限する。
　ここで、位置調整ベクトルについて説明する。位置調整ベクトルは、撮像画像ＰＧ-1と撮像画像ＰＧ-2のいずれか一方の領域を他方の領域と重なるように移動させて、例えば重なり領域における誤差平均値を算出する。ここで、重なり領域で被写体の位置が一致する場合には重なり領域における誤差平均値が少なくなる。したがって、重なり領域の誤差平均値が最小となる位置への移動量と移動方向を位置調整ベクトルとする。図６は位置調整ベクトルを説明するための図である。なお、図では撮像画像ＰＧ-1，ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-1，ＰＧ-2の座標原点は左上の位置であり、被写体ＯＢは図６の（ａ）に示す撮像画像ＰＧ-2では座標位置（１２０，５００）で、図６の（ｂ）に示す撮像画像ＰＧ-1では座標位置（１８００，５００）であったとする。ここで、撮像画像ＰＧ-1を移動して被写体の位置を撮像画像ＰＧ-2と一致させる場合、図６の（ｃ）に示すように、撮像画像ＰＧ-1の移動量が移動量（－１６８０，０）であると、撮像画像ＰＧ-1と撮像画像ＰＧ-2において被写体の位置が一致する。すなわち、撮像画像ＰＧ-1を移動量（－１６８０，０）だけ移動するベクトルを位置調整ベクトルとする。
　このように、被写体の位置が一致するように撮像画像ＰＧ-1と撮像画像ＰＧ-2を横方向に並べてつなぎ合わせる場合、位置調整ベクトルの横方向成分の絶対値が小さくなるに伴い、重なり領域の横方向のサイズが大きくなる。したがって、位置調整ベクトルに基づく振れ補正量の制限では、位置調整ベクトルの移動量（絶対値）が小さく重なり量が多くなるに伴い振れ補正の制限を少なくする。また、例えばＳＩＦＴ（Scale-Invariant Feature Transform），ＳＵＲＦ（Speeded-Up Robust Features）等を用いて撮像画像ＰＧ-1と撮像画像ＰＧ-2から特徴点の抽出を行い、撮像画像ＰＧ-1と撮像画像ＰＧ-2との間で対応付けられた特徴点（特徴点対）の数に基づき振れ補正を制限してもよい。具体的には、撮像画像ＰＧ-1と撮像画像ＰＧ-2で重複部分が多くなると重複部分に含まれる特徴点対の数も大きくなることから、特徴点対の数が多くなるに伴い振れ補正の制限を少なくする。
　図７は、重なり量に応じて振れ補正量を制限する場合を例示している。撮像領域（撮像画像）の重なりが少ない場合、撮像装置２０-2は、互いの画像生成領域に同一被写体の画像が含まれるようにパラメータ例えば画像生成領域のサイズを制限する。具体的には、撮像領域の重なり量が少なくなるに伴い画像生成領域ＡＰのサイズを大きくして、有効画素領域（撮像領域ＡＲに相当）と画像生成領域ＡＰの領域差である余剰領域を少なくする。なお、画像生成領域ＡＰの最大サイズは有効画素領域のサイズである。このように、撮像画像の重なり量が少なくなるに伴い余剰領域を狭くして振れ補正の制限を行い、合成する２つの画像生成領域の画像において振れ補正時に同一被写体の画像が重複する領域を確保できるようにする。なお、振れ補正において、一方の画像生成領域のみ重なり量に応じて画像生成領域のサイズを制限すると、撮像装置２０-1と撮像装置２０-2で取得された撮像画像から切り出された画像のサイズが異なる。このため、撮像画像から切り出された画像を同等のサイズとするためには、それぞれで振れ補正の制限を行うようにすればよい。その後、撮像装置２０-2は、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2の合成を行い、被写体の位置合わせを行って画像をつなぎ合わせてパノラマ画を生成する。パノラマ画の生成では、撮像画像を仮想投影面に射影変換してつなぎ合わせを行うようにすれば、画像のつなぎ合わせを精度よく行うことができる。
　＜３－１．第１の実施の形態の動作＞
　図８は、第１の実施の形態の動作を示すフローチャートであり、撮像システム１０は例えば図１の（ｂ）に示す構成とする。また、後述する実施の形態の動作を示すフローチャートの説明においても、撮像システム１０は例えば図１の（ｂ）に示す構成とする。
　ステップＳＴ１で撮像装置２０-2は、重複識別情報としての他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ２に進む。
　ステップＳＴ２で撮像装置２０-2は、重複識別情報である撮像画像を用いて重なり量を算出する。撮像装置２０-2は、生成した撮像領域ＡＲ-2の撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、一方の撮像画像を移動させて他方の撮像画像と被写体の位置合わせができる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ３に進む。
　ステップＳＴ３で撮像装置２０-2は、重なり量が振れ補正制限閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ２で算出した重なり量が予め設定した振れ補正制限閾値以下である場合ステップＳＴ４に進み、振れ補正制限閾値よりも多い場合ステップＳＴ５に進む。
　ステップＳＴ４で撮像装置２０-2は、振れ補正を制限する。撮像装置２０-2は、被写体の位置合わせを行って画像をつなぎ合わせることができるように振れ補正を制限する。例えば撮像装置２０-2は、撮像装置２０-1，２０-2の少なくとも一方の振れ補正を停止させる。また、撮像装置２０-2は、重なり量に応じて振れ補正のパラメータを変更して補正量を制限してもよい。撮像装置２０-2は、例えば振れ補正後の撮像画像で同一被写体の画像が重複する領域を確保できるように振れに応じて画像生成領域のサイズを上述のように制限してステップＳＴ６に進む。
　ステップＳＴ５で撮像装置２０-2は、制限なく振れ補正を行う。撮像装置２０-2は、重なり量が多いことから、振れ補正を行っても被写体の位置合わせを行って画像をつなぎ合わせることができるとして、制限なく振れ補正を行いステップＳＴ６に進む。
　ステップＳＴ６で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、被写体の位置を合わせてつなぎ合わせることでパノラマ画を生成する。
　図８に示すフローチャートの処理は、パノラマ画として静止画を生成する場合、すなわち、静止画撮影時は、ステップＳＴ１からステップＳＴ６の処理を１回行う。また、パノラマ画として動画を生成する場合、静止画や動画の記録前にモニター画を生成する場合等では、ステップＳＴ１からステップＳＴ６の処理をフレーム単位や複数フレーム単位で繰り返す。さらに、パノラマ画の生成をオフラインで行う場合、つまり、撮影と同時に行わない場合には、撮影時はステップＳＴ１からステップＳＴ５の処理を行い、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を記録媒体に記憶する。その後、記録媒体に記録された画像を用いて静止画や動画のパノラマ画を生成するようにしてもよい。なお、パノラマ画の生成をオフラインで行う場合は、振れ補正情報を記録媒体に記憶しておいてもよい。
　また、図８に示す動作では、重複識別情報として撮像画像を用いた場合を例示したが、重複識別情報は撮像画像に限られない。例えば撮像装置の撮像方向や焦点距離から撮像範囲が明らかとなる。したがって、他装置の撮像画像に代えて撮像装置の撮像方向や焦点距離等を示す撮像設定情報を用いて重なり量を判別して、この重なり量の判別結果を用いてステップＳＴ３、ステップＳＴ５、ステップＳＴ６の処理を行うようにしてもよい。また、図８に示す動作は、重なり量が振れ補正制限閾値以下である場合に振れ補正を制限する場合を例示しているが、ステップＳＴ３，４，５の処理に代えて重なり量に応じて振れ補正量を制限する処理を行うようにしてもよい。
　このように第１の実施の形態では、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像の重なり量が少ない場合、撮像装置２０-2は、被写体の位置合わせを行って画像をつなぎ合わせることができるように振れ補正が制限されてパノラマ画を生成できるようになる。
　＜３－２．第１の実施の形態の他の動作＞
　上述の第１の実施の形態の動作では、第１の撮像画像と第２の撮像画像との重なり量に応じて振れ補正の制限を自動的に行う場合について説明した。しかし、振れ補正の制限はユーザが行うようにしてもよい。そこで、第１の実施の形態の他の動作では、第１の撮像画像と第２の撮像画像との重なり量の算出結果に基づき望ましい設定をユーザに通知して、通知に応じてユーザに振れ補正の制限を設定させるようにした場合について説明する。
　ユーザに対する通知は、パノラマ画の生成のための静止画や動画を撮像する前に、表示および／または音声で行うことが望ましい。撮像装置２０-2は、表示で通知を行う場合に表示部２０５、音声で通知を行う場合に音声入出力部２０６を通知処理部として用いる。
　図９は、第１の実施の形態の他の動作を示すフローチャートである。ステップＳＴ１１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で撮像装置２０-2は、重なり量を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、被写体の位置を一致させる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ１３に進む。
　ステップＳＴ１３で撮像装置２０-2は、重なり量が振れ補正制限閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ１２で算出した重なり量が予め設定した振れ補正制限閾値以下である場合ステップＳＴ１４に進み、振れ補正制限閾値よりも多い場合ステップＳＴ１５に進む。
　ステップＳＴ１４で撮像装置２０-2は、振れ補正の制限指示通知を行う。撮像装置２０-2は、表示や音声で例えば振れ補正を停止するようユーザに通知する。図１０は、表示を用いてユーザに対する通知を行う場合を例示している。ここで、図１０の（ａ）は振れ補正の制限指示通知を示しており、例えば振れ補正モードをオフ状態とする旨の通知をユーザに対して行う。また、撮像装置２０-2は、重なり量に応じて振れ補正のパラメータを変更して補正量を制限するようユーザに通知をしてもよい。撮像装置２０-2は、振れ補正の制限指示通知を行ってステップＳＴ１６に進む。
　ステップＳＴ１５で撮像装置２０-2は、振れ補正の指示通知を行う。撮像装置２０-2は、表示や音声で振れ補正を実行するようユーザに通知する。図１０の（ｂ）は振れ補正指示通知を示しており、例えば振れ補正モードをオン状態とする旨の通知をユーザに対して行いステップＳＴ１６に進む。
　なお、ステップＳＴ１４，１５の処理は、撮像装置２０-2で現在設定されている振れ補正モードの状態がステップＳＴ１３の検出結果と異なる場合にのみ行ってもよい。例えば、現在設定されている振れ補正モードがオンの場合には、ステップＳＴ１３で「Ｙｅｓ」の場合に指示通知を行うが、ステップＳＴ１３で「Ｎｏ」の場合には指示通知を行わない。
　ステップＳＴ１６で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、被写体の位置を合わせてつなぎ合わせることでパノラマ画を生成する。
　なお、図９に示す動作では、重複識別情報として撮像画像を用いた場合を例示したが、重複識別情報は撮像画像に限られない。例えば撮像装置の撮像方向や焦点距離から撮像範囲が明らかとなる。したがって、撮像装置の撮像方向や焦点距離を示す撮像設定情報を重複識別情報として用いて、重なり量を算出してもよい。また、図９に示す動作は、重なり量が振れ補正制限閾値以下である場合に振れ補正を制限する場合を例示しているが、ステップＳＴ１３，１４，１５の処理に代えて重なり量に応じて振れ補正量を制限する処理を行うようにしてもよい。
　このように第１の実施の形態の他の動作では、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御の通知がユーザに対して行われる。このため、第１の撮像画像と第２の撮像画像の重なり量が少ない場合、ユーザによる振れ補正の制限指示に基づき、撮像装置２０-2は画像生成領域の画像をつなぎ合わせてパノラマ画を生成できるように振れ補正の制限を行う。したがって、ユーザの指示に基づきパノラマ画を生成できるようになる。
　＜４．第２の実施の形態＞
　次に、第２の実施の形態について説明する。上述のように第１の撮像画像と第２の撮像画像との重なり量が少ない場合、撮像装置で振れ補正が行われると、同一被写体の画像が重複する領域を確保することができなくなって、被写体の位置合わせを行って画像をつなぎ合わせることができないおそれがある。そこで、第２の実施の形態では、第１の撮像画像と第２の撮像画像との重なり量が少ない場合、２つの撮像装置のそれぞれで生成される撮像画像の位置関係を、被写体の位置合わせを行って画像をつなぎ合わせることができる位置関係として、この位置関係を保持した状態で振れ補正を行う。また、第１の撮像画像と第２の撮像画像との重なり量が多い場合、振れ補正を行い、振れ補正後の撮像画像を用いて空間方向の位置合わせを行う。さらに振れ補正および空間方向の位置合わせが行われた画像を合成してパノラマ画を生成する。
　＜４－１．第２の実施の形態の動作＞
　次に、２台の撮像装置を用いた場合の動作について説明する。図１１は、撮像画像の重なり量が少ない場合の動作を説明するための図である。図１１の（ａ）は撮像画像ＰＧ-1，ＰＧ-2を示している。図１１の（ｂ）は、撮像画像間の空間方向の位置合わせを示している。撮像画像ＰＧ-1，ＰＧ-2は、重複領域ＡＣを確保できるように位置合わせを行う。図１１の（ｃ）は、振れ補正後の撮像画像を示している。振れ補正は、位置合わせ後の状態が保たれるように行われて、振れ補正後の撮像画像ＰＧａ-1，ＰＧａ-2では、重複領域が確保された状態となる。したがって、同一被写体の画像が重複するように撮像画像ＰＧａ-1と撮像画像ＰＧａ-2の空間方向の位置合わせを行い、被写体の位置合わせを行って画像をつなぎ合わせることで、パノラマ画ＰＭを生成できる。
　なお、図１１の（ｄ）は位置合わせを行うことなく振れ補正を行った場合を示している。ここで、撮像画像ＰＧ-1，ＰＧ-2に対して振れ補正後の画像生成領域が例えば画像生成領域ＡＰ’-1，ＡＰ’-2となると、図１１の（ｅ）に示すように、画像生成領域ＡＰ’-1，ＡＰ’-2では重複領域が確保できない状態となる。したがって、被写体の位置合わせを行って画像をつなぎ合わせることができない。なお、画像の空間方向の位置合わせは撮像画像ＰＧａ-1，ＰＧａ-2を用いる場合に限られない。例えば撮像装置２０-1から撮像画像ＰＧａ-1を撮像装置２０-2に供給して、撮像装置２０-2は振れ補正後の画像生成領域ＡＰ’-2に対して撮像画像ＰＧａ-1の位置を合わせるようにしてもよい。また、例えば撮像装置２０-1から撮像画像ＰＧａ-1と振れ情報を撮像装置２０-2に供給して、撮像装置２０-2は振れ情報に基づいた振れ補正後の画像生成領域ＡＰ’-1に対して撮像画像ＰＧａ-2の位置を合わせるようにしてもよい。
　図１２は、撮像画像の重なり量が多い場合の動作を説明するための図である。図１２の（ａ）は、撮像画像ＰＧ-1，ＰＧ-2における振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2を示している。また、図１２の（ｂ）は、振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2を示している。撮像画像（撮像領域）の重なり量が多い場合、振れ補正が行われても画像生成領域ＡＰ’-1，ＡＰ’-2では、同一被写体の画像が重複する重複領域ＡＣが確保される。したがって、図１２の（ｃ）に示すように、同一被写体の画像が重複するように画像生成領域ＡＰ’-1，ＡＰ’-2の画像をつなぎ合わせることで、パノラマ画ＰＭを生成できる。また、振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2の画像を用いて位置合わせを行うことで、撮像画像ＰＧ-1，ＰＧ-2を用いて位置合わせを行う場合よりも、位置合わせの探索範囲を少なくすることが可能となる。
　図１３は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で撮像装置２０-2は、重なり量を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、同一被写体の画像が重なりを生じる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ２３に進む。
　ステップＳＴ２３で撮像装置２０-2は、重なり量が処理順設定閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ２２で算出した重なり量が予め設定した処理順設定閾値以下である場合ステップＳＴ２４に進み、処理順設定閾値よりも多い場合ステップＳＴ２６に進む。
　ステップＳＴ２４で撮像装置２０-2は、空間方向の位置合わせを行う。撮像装置２０-2は、撮像画像ＰＧ-1と撮像画像ＰＧ-2との間で例えば重複領域を確保して被写体の位置を合わせて画像をつなぎ合わせることができるように位置合わせを行いステップＳＴ２５に進む。
　ステップＳＴ２５で撮像装置２０-2は、振れ補正を行う。撮像装置２０-2は、空間方向の位置合わせ後の状態、例えば図１１の（ｂ）に示すように重複領域ＡＣが確保できる撮像画像ＰＧ-1，ＰＧ-2の位置関係を保って、撮像装置２０-1，２０-2で振れ補正を行うように制御してステップＳＴ２７に進む。
　ステップＳＴ２６で撮像装置２０-2は、振れ補正を行う。撮像装置２０-2は、例えば撮像装置２０-1，２０-2で振れ補正を行うように制御してステップＳＴ２７に進む。
　ステップＳＴ２７で撮像装置２０-2は、空間方向の位置合わせを行う。撮像装置２０-2は、振れ補正後の撮像画像ＰＧc-1と撮像画像ＰＧc-2との間で同一被写体の画像が重なるように位置合わせを行いステップＳＴ２８に進む。
　ステップＳＴ２８で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、同一被写体の画像が重複するようにつなぎ合わせてパノラマ画を生成する。
　なお、図１３に示すフローチャートの処理は、パノラマ画として静止画を生成する場合、ステップＳＴ２１からステップＳＴ２８の処理を行う。また、パノラマ画として動画やモニター画を生成する場合は、ステップＳＴ２１からステップＳＴ２８の処理を繰り返す。さらに、パノラマ画の生成をオフラインで行う場合には、ステップＳＴ２１からステップＳＴ２７の処理を行い、画像生成領域の画像を記録媒体に記憶して、その後、記録媒体に記録された画像を用いて静止画や動画のパノラマ画を生成するようにしてもよい。
　このように、第２の実施の形態によれば、第１の撮像画像と第２の撮像画像との重なり量が少ない場合、被写体の位置を合わせて画像をつなぎ合わせることができるように撮像装置間で撮像画像の位置合わせを行い、その後、位置合わせ後の状態を保ち振れ補正が行われる。したがって、第１の撮像画像と第２の撮像画像との重なり量が少ない場合でもパノラマ画を生成できるようになる。
　＜４－２．第２の実施の形態の他の動作＞
　次に、第２の実施の形態の他の動作として、３台以上の撮像装置を用いた場合の動作について説明する。
　図１４は、５台の撮像装置を用いた場合の動作を例示している。図１４の（ａ）に示すように、５台の撮像装置で生成された撮像画像ＰＧ-1～ＰＧ-5は、撮像画像ＰＧ-2と撮像画像ＰＧ-3との重なり量が予め設定した処理順設定閾値以下で、他の撮像画像間の重なり量は処理順設定閾値よりも大きい状態であるとする。なお、重複領域ＡＣ12，ＡＣ23，ＡＣ34，ＡＣ45は、同一被写体の画像が重なる領域を示している。
　ここで、いずれかの撮像画像間で重なり量が処理順設定閾値以下となる場合、撮像画像の重なり量が処理順設定閾値以下となる撮像画像間で空間方向の位置合わせを行い、その後振れ補正を行う。したがって、図１４の（ｂ）に示すように撮像画像ＰＧ2と撮像画像ＰＧ-3で空間方向の位置合わせを行い、その後、各撮像画像に対する振れ補正を行う。
　図１４の（ｃ）は、振れ補正後の画像生成領域ＡＰ-1，ＡＰ-4，ＡＰ-5を示している。また、空間方向の位置合わせした撮像画像ＰＧ-2,ＰＧ-3の画像生成領域は領域ＡＰ-23に相当する。パノラマ画の生成では、図１４の（ｄ）に示すように、重複領域ＡＣ12，ＡＣ23，ＡＣ34，ＡＣ45の画像が重なるように振れ補正後の画像生成領域ＡＰ-1，ＡＰ-4，ＡＰ-5および領域ＡＰ-23の画像をつなげる。したがって、生成されたパノラマ画は、被写体の位置を合わせてつなぎ合わせた画像となる、
　このように、第２の実施の形態の他の動作によれば、撮像装置が３台以上であり、画像間の重なり量が処理順設定閾値以下の場合が生じても、パノラマ画を生成できるようになる。
　＜５．第３の実施の形態＞
　複数の撮像装置は、どのような移動体に設けられているかに応じて支配的な振れの周期が異なる。例えば複数の撮像装置を自転車や自動車等の車両に取り付けた場合と人が携行する場合とでは振れの周期が異なり、時間方向の撮像画像間の位置関係の変化が振れの周期に応じて異なる。また、複数の撮像装置は、どのような移動体の何れの取り付け位置にどのような状態で取り付けられたか等に応じて振れの大きさや方向が撮像装置間で相違する場合があり、複数の撮像装置で生成された撮像画像間の空間方向の位置関係の変化が振れの大きさや方向の差に応じて異なる。
　また、パノラマ画の生成において、各撮像画像内における時間方向の撮像画像間の位置関係、および複数の撮像装置で生成された撮像画像間の空間方向の位置関係が一定であれば、撮像画像からパノラマ画の生成に用いる画像を容易に取得できる。しかし、撮像画像の位置関係が変化する場合には、位置関係の変化に基づいて撮像画像からパノラマ画の生成に用いる画像を取得しなければならない。
　時間方向の撮像画像間の位置関係の変化に対しては、振れ補正を行うことで時間方向の撮像画像間の位置関係を略一定に保つことが可能である。また、複数の撮像装置で生成された撮像画像間の空間方向の位置関係を一定に保つためには、画像間の空間方向の位置合わせを行えばよい。しかし、空間方向の位置関係の変化の有無にかかわらず画像間の空間方向の位置合わせを毎フレーム行うと、位置合わせのための計算コストが高くなる。そこで、第３の実施の形態では、撮像画像間の位置関係の変化度合いに応じて撮像画像間の空間方向の位置合わせの頻度を制御する。
　＜５－１．第３の実施の形態の動作＞
　図１５は、撮像装置間の位置関係の変化度合いに応じて空間方向の位置合わせの頻度を制御する動作を説明するための図である。この動作では、例えば撮像装置２０-1から撮像画像ＰＧ-1と振れ情報を撮像装置２０-2に供給する。また、撮像装置２０-2は、振れ情報に基づき振れ補正後の画像生成領域ＡＰ-2を設定する。また、撮像装置２０-2は、撮像画像ＰＧ-2における画像生成領域ＡＰ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで被写体の位置を合わせる空間方向の位置合わせを行うことにより取得した位置調整ベクトルに基づき振れ補正後の画像生成領域ＡＰ-1の設定、または位置調整ベクトルと振れ情報に基づき振れ補正後の画像生成領域ＡＰ-1の設定を行う。さらに、撮像装置２０-2は、画像生成領域ＡＰ-1の画像と画像生成領域ＡＰ-2の画像を用いてパノラマ画像を生成する。なお、図１５および後述する図１８，１９では、位置調整ベクトルの算出および算出した位置調整ベクトルに基づき振れ補正後の画像生成領域ＡＰ-1を設定する撮像画像ＰＧ-1のフレームを細線枠で示しており、位置調整ベクトルと振れ情報に基づき振れ補正後の画像生成領域ＡＰ-1を設定する撮像画像ＰＧ-1のフレームを破線枠で示している。
　図１５の（ａ）は、撮像画像（撮像装置）間の位置関係の変化度合いが大きい場合の動作を示しており、図１５の（ｂ）は、撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合の動作を示している。撮像画像（撮像装置）間の位置関係の変化度合いは、撮像装置２０-1の振れ情報と撮像装置２０-2の振れ情報に基づき、撮像装置２０-1と撮像装置２０-2の振れの大きさや方向の違いによって生じる撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係の変化が変化判別閾値を超えたか否かを所定期間判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。
　撮像画像（撮像装置）間の位置関係の変化度合いが大きい場合、撮像装置２０-2は空間方向の位置合わせの頻度を高くする。例えば、図１５の（ａ）に示すように、撮像装置間の位置関係すなわち撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係がフレーム毎に大きく変動している場合、撮像装置２０-2は、画像生成領域ＡＰ-2に対してフレーム毎に振れ補正を行う。すなわち撮像装置２０-2は、画像生成領域ＡＰ-2に対して、時間方向の位置合わせを行う。
　図１６は時間方向の位置合わせを説明するための図である。なお、図１６では撮像画像ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-2の座標原点は左上の位置であるとする。被写体ＯＢは図１６の（ａ）に示すフレーム０の撮像画像ＰＧ-2f0では座標位置（１２０，５００）で、図１６の（ｂ）に示すフレーム１の撮像画像ＰＧ-2f1では座標位置（１２０，５６０）であったとする。さらに、画像生成領域ＡＰ-2の四隅の座標位置は、フレーム０における被写体ＯＢを含む座標位置ＡＺa，ＡＺb，ＡＺc，ＡＺｄであるとする。ここで、フレーム１の撮像画像ＰＧ-2f1を移動して被写体の位置をフレーム０の撮像画像ＰＧ-2f0と一致させる場合、図１６の（ｃ）に示すように、撮像画像ＰＧ-2f1の移動量が移動量（０，－６０）であると、撮像画像ＰＧ-2f1と撮像画像ＰＧ-2f0において画像生成領域ＡＰ-2における被写体ＯＢの位置は一致する。すなわち、時間方向の位置合わせを行うことができる。なお、図１５および後述する図１８，１９では、撮像画像に生じた振れを補正するための振れ補正ベクトルとして、撮像画像ＰＧを基準として振れ補正後の画像生成領域を示すベクトルを例示している。
　また、撮像装置２０-2は、フレーム毎に画像生成領域ＡＰ-2と撮像画像ＰＧ-1の空間方向の位置合わせを行い、画像生成領域ＡＰ-1をフレーム毎に設定する。フレーム毎に空間方向の位置合わせを行う場合、撮像装置２０-2は、空間方向の位置合わせによって取得した位置調整ベクトルを用いることで、振れ補正後の画像生成領域ＡＰ-2と被写体の位置が一致するように画像生成領域ＡＰ-1を設定する。
　撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合、画像生成領域ＡＰ-1，ＡＰ-2の画像間で重複領域が例えば所定量確保された状態から他の状態への変動が少ないので、空間方向の位置合わせの頻度を低くしても、重複領域が確保された状態が維持される。したがって、例えば図１５の（ｂ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係の変動が少ない場合、撮像装置２０-2は、画像生成領域ＡＰ-2に対してフレーム毎に振れ補正、すなわち時間方向の位置合わせを行う。また、撮像装置２０-2は、複数フレーム間隔で画像生成領域ＡＰ-2と、撮像画像ＰＧ-1の空間方向の位置合わせを行い、位置合わせを行わない期間は直前の位置調整ベクトルを保持する。さらに、撮像装置２０-2は、空間方向の位置合わせを行うフレームでは、空間方向の位置合わせによって取得した位置調整ベクトルを用いて、振れ補正後の画像生成領域ＡＰ-2と被写体の位置が一致するように画像生成領域ＡＰ-1を設定する。また、撮像装置２０-2は、空間方向の位置合わせを行わないフレームでは、空間方向の位置合わせを行って設定した直前の画像生成領域ＡＰ-1に対して振れを生じないように時間方向の位置合わせを行う。
　図１７は、空間方向の位置合わせを行わないフレームについての時間方向の位置合わせを説明するための図である。なお、図１７では撮像画像ＰＧ-1，ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-1f0，ＰＧ-1f1，ＰＧ-2f0の座標原点は左上の位置であるとする。フレーム０において、被写体ＯＢは図１７の（ａ）に示す撮像画像ＰＧ-2f0では座標位置（１２０，５００）で、図１７の（ｂ）に示す撮像画像ＰＧ-1f0では座標位置（１８００，５００）であったとする。この場合、図６を用いて説明したように、撮像画像ＰＧ-1f0を図１７の（ｃ）に示すように移動量（－１６８０，０）だけ移動することで、撮像画像ＰＧ-1f0，ＰＧ-2f0の空間方向の位置合わせを行うことができる。なお、画像生成領域ＡＰ-2は被写体ＯＢを含むように四隅の座標位置ＡＺa，ＡＺb，ＡＺc，ＡＺｄを設定して、画像生成領域ＡＰ-1は被写体ＯＢの位置を一致させて画像生成領域ＡＰ-2の画像とつなぎ合わせることでパノラマ画を生成できるように、四隅の座標位置ＡＺe，ＡＺf，ＡＺg，ＡＺhを設定する。なお座標位置ＡＺａ～ＡＺhは、座標位置（０，０）を基準とした位置である。
　次に、図１７の（ｄ）に示すフレーム１の撮像画像ＰＧ-1f1において、被写体ＯＢは撮像装置２０-1の振れによって座標位置（１２０，６００）となったとする。この場合、フレーム１の撮像画像ＰＧ-1f1を図１７の（ｅ）に示すように、フレーム０で空間方向の位置合わせが行われた位置に移動しても、撮像画像ＰＧ-1f0と撮像画像ＰＧ-1f1では被写体ＯＢの位置が一致しない。したがって、空間方向の位置合わせを行わないフレーム１では、空間方向の位置合わせ後の撮像画像ＰＧ-1f0と撮像画像ＰＧ-1f1の時間方向の位置合わせを行う。ここで、図１７の（ｆ）に示すように、フレーム０の空間方向の位置合わせ後の位置からの撮像画像ＰＧ-1f1の移動量が移動量（０，－１００）であると、撮像画像ＰＧ-1f1と撮像画像ＰＧ-1f0において画像生成領域ＡＰ-1における被写体ＯＢの位置は一致する。すなわち、時間方向の位置合わせを行うことができる。したがって、フレーム１では、フレーム０に対して時間方向の位置合わせが行われた撮像画像ＰＧ-1f1における画像生成領域ＡＰ-1の画像を用いることで、振れ補正が行われた画像を得られるようになる。
　また、フレーム１において、撮像画像ＰＧ2f1は、図１７の（ｈ）に示すように時間方向の位置合わせが行われることから、図１７の（ｆ）に示すフレーム１の撮像画像ＰＧ-1f1における画像生成領域ＡＰ-1と図１７の（ｈ）に示すフレーム１の撮像画像ＰＧ-2f1における画像生成領域ＡＰ-2における被写体ＯＢの位置を、フレーム０の場合と一致させることができる。すなわち、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1，ＡＰ-2を設定できる。
　撮像装置２０-2は、撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合、このような処理を行うことで、空間方向の位置合わせの頻度を低くしても、重複領域が確保された状態を維持できる。また、空間方向の位置合わせのための計算コストやデータ量を削減できる。
　図１８はフレーム毎に空間方向の位置合わせを行う場合の動作、図１９は複数フレーム間隔で空間方向の位置合わせを行う場合の動作を例示している。なお、空間方向の位置合わせを撮像装置２０-2で行う場合、撮像装置２０-2は、撮像装置２０-1で生成された撮像画像ＰＧ-1と撮像装置２０-1の振れ状態を示す振れ情報を取得する。また、撮像装置２０-2は、振れ補正後の画像生成領域ＡＰ-2に、撮像装置２０-1で生成された画像の位置を合わせる処理を行う。また、画像の空間方向の位置合わせでは、上述のように撮像画像ＰＧ-1，ＰＧ-2を用いて位置調整ベクトルを算出する。
　図１８のフレーム０において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR0とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるために、被写体の位置が一致するベクトルを位置調整ベクトルＱ0とする。この場合、振れ補正ベクトルＶR0を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ0を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、振れ補正ベクトルＶL0を用いなくとも、図１８に示すように振れ補正ベクトルＶR0と位置調整ベクトルＱ0を用いて算出した合成ベクトルＶＭ0を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。なお、画像生成領域ＡＰ-1，ＡＰ-2を例えばアルファブレンディング手法等でつなぎ合わせる場合、画像生成領域ＡＰ-1は、画像生成領域ＡＰ-2と被写体が一致する重なり領域を有するように設定する。
　次に、フレーム１において、撮像画像ＰＧ-2でフレーム０とフレーム１との間に生じた振れを補正するためのベクトルを振れ補正ベクトルＶR1とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ1とする。この場合、フレーム０と同様に、振れ補正ベクトルＶL1を用いなくとも、振れ補正ベクトルＶR1と位置調整ベクトルＱ1を用いて算出した合成ベクトルＶＭ1を用いることで、撮像画像ＰＧ-1のフレーム０とフレーム１との間で振れが生じないように且つ画像生成領域ＡＰ-1と画像生成領域ＡＰ-2とのつなぎ部分で被写体の位置合わせできているように画像生成領域ＡＰ-1を設定できる。また、フレーム２乃至フレーム４においてもフレーム０，１と同様に、振れが生じないように且つ被写体の位置合わせできているように画像生成領域ＡＰ-1を設定できる。
　図１９のフレーム０において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR0とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ0とする。この場合、振れ補正ベクトルＶR0を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ0を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、振れ補正ベクトルＶR0と位置調整ベクトルＱ0から算出した合成ベクトルを用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。例えばフレーム０が最初の画像で振れ動き補正ベクトルＶL0，ＶR0が（０，０）であり被写体ＯＢの位置が図１７の（ａ），（ｂ）である場合、振れが生じないように且つ画像生成領域ＡＰ-2の画像に対して被写体の位置が一致するように画像生成領域ＡＰ-1を設定する合成ベクトルＶＭ0は、式（１）となる。なお、図１７において、振れ補正ベクトルＶR0は（０，０）、位置調整ベクトルＱ0は（－１６８０，０）である。
　ＶＭ0　＝－ＶR0＋Ｑ0
　　　　 ＝－（０，０）＋（－１６８０，０）
       　＝（－１６８０，０）　　　　・・・（１）
　次に、フレーム１において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR1とする。一方で、フレーム１において、撮像画像ＰＧ-1で生じた振れを補正するためのベクトルを補正ベクトルＶL1とする。また、フレーム１では位置調整ベクトルが算出されていない。したがって、位置調整ベクトルの算出が行われた最も近傍のフレームであるフレーム０を基準として撮像画像ＰＧ-1における振れ補正ベクトルを算出する。ここで、撮像画像ＰＧ-1で生じた振れを補正するための振れ補正ベクトルＶR1は、フレーム０を基準としたベクトルである。また、フレーム０において設定される画像生成領域ＡＰ-1は、振れ補正ベクトルＶL0で振れ補正した位置に相当する。したがって、フレーム１において、振れが生じないように且つ被写体の位置が一致する画像生成領域ＡＰ-1の位置は、フレーム０の画像生成領域ＡＰ-1をＶL1だけ移動した位置となる（この分だけ、振れ補正によって撮像装置２０-1が、フレーム０とフレーム１の間で相対的に移動したことになる）。すなわち、振れ補正ベクトルＶR0，ＶR1と位置調整ベクトルＱ0および振れ補正ベクトルＶL1を用いて算出した合成ベクトルを用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
　例えば、上述の図１７の場合、図１７の（ｇ）に示すフレーム１の撮像画像ＰＧ-2f1に対しては図１７の（ｈ）に示すように時間方向の位置合わせを行う。また、図１７の（ｄ）に示すフレーム１の撮像画像ＰＧ-1f1に対しては、フレーム０の空間方向の位置合わせの位置から図１７の（ｆ）のように時間方向の位置合わせを行う。このように位置合わせを行うと、振れが生じないように且つ画像生成領域ＡＰ-2の画像に対して被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。ここで、図１７の（ｆ）に示す撮像画像ＰＧ-1f1は、図１７の（ｈ）における撮像画像ＰＧ-2f1に対して合成ベクトルＶＭ1だけ移動した位置であり、合成ベクトルＶＭ1は式（２）の値となる。なお、図１９に示す位置調整ベクトルＱ0は、図１７の場合に（－１６８０，０）である。また、図１９に示す振れ補正ベクトルＶR1，ＶL1は、図１７の場合、振れ補正ベクトルＶR1は（０，６０）であり，振れ補正ベクトルＶL1は（０，１００）である。
　ＶＭ1 ＝－（ＶR1＋ＶRO）＋Ｑ0＋ＶL1
　　　　＝－（（０，６０）＋（０，０））＋（－１６８０，０）＋（０，１００）
　　　　＝（－１６８０，４０）　　　　・・・（２）
　したがって、フレーム１の撮像画像ＰＧ-2f1に対して合成ベクトルＶＭ1だけ移動した位置を撮像画像ＰＧ-1f1の位置とすれば、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。すなわち、画像生成領域ＡＰ-1と画像生成領域ＡＰ-2の画像は、振れが生じないように補正されて且つ被写体の位置が一致する画像となる。
　また、フレーム２において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR2とする。この補正ベクトルＶL2は、フレーム１を基準としたベクトルである。一方で、フレーム２において、撮像画像ＰＧ-1で生じた振れを補正するためのベクトルを補正ベクトルＶL2とする。また、フレーム２では位置調整ベクトルが算出されていない。したがって、位置調整ベクトルの算出が行われた最も近傍のフレームを基準として撮像画像ＰＧ-1における振れ補正ベクトルを算出する。ここで、撮像画像ＰＧ-1で生じた振れを補正するための振れ補正ベクトルＶL2は、フレーム１を基準としたベクトルである。また、フレーム１において設定される画像生成領域ＡＰ-1は、振れ補正ベクトルＶL1で振れ補正した位置に相当する。したがって、フレーム２において、振れが生じないように且つ被写体の位置が一致する画像生成領域ＡＰ-1の位置は、フレーム０の画像生成領域ＡＰ-1を（ＶL2＋ＶL1）だけ移動した位置となる。同様に、フレーム２の画像生成領域ＡＰ2は、フレーム０の画像生成領域ＡＰ2を（ＶR2＋ＶR1）だけ移動した位置となる。すなわち、振れ補正ベクトルＶR0，ＶR1，ＶR2と位置調整ベクトルＱ0および振れ補正ベクトルＶL1，ＶL2を用いて式（３）の演算を行うことにより得た合成ベクトルＶＭ2を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
　ＶＭ2＝－（ＶR2＋ＶR1＋ＶRO）＋Ｑ0＋（ＶL2＋ＶL1）　・・・（３）
　フレーム３において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR3とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ3とする。この場合、振れ補正ベクトルＶR3を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ3を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、式（４）に示すように、振れ補正ベクトルＶR3と位置調整ベクトルＱ3を用いて算出した合成ベクトルＶＭ3を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
　ＶＭ3＝－ＶR3＋Ｑ3　・・・（４）
　また、フレーム４では、位置調整ベクトルの算出が行われた最も近傍のフレームであるフレーム３を基準としてフレーム１と同様な処理を行う。すなわち、式（５）に示す合成ベクトルＶＭ4を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
　ＶＭ4＝－（ＶR4＋ＶR3）＋Ｑ3＋ＶL4　・・・（５）
　このように、複数フレーム間隔で空間方向の位置合わせを行うことで、例えば空間方向の位置合わせが行われていないフレームの時間方向の位置合わせで生じた誤差が時間の経過と共に蓄積しても、空間方向の位置合わせによって蓄積した誤差をリセットできる。したがって、誤差の蓄積によって画像の重なりのずれ等が発生してしまうことを防止できる。
　図２０は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ３２に進む。
　ステップＳＴ３２で撮像装置２０-2は、位置関係の変化度合いを算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで、同一被写体の画像が重なるように空間的な位置合わせを行う。また、撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との位置関係の変化量が変化判別閾値を超えたか否かを例えばＭ（正の整数）フレーム分の画像について判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。さらに、撮像装置２０-2は、位置関係の変化度合いの算出をＮ（正の整数）フレーム間隔で行う。撮像装置２０-2は、このように位置関係の変化度合いを算出してステップＳＴ３３に進む。
　ステップＳＴ３３で撮像装置２０-2は、位置合わせ頻度を制御する。撮像装置２０-2は、位置関係の変化度合いが大きい場合は位置合わせを行う頻度を高くして、位置関係の変化度合いが小さい場合は位置合わせを行う頻度を低くする。
　このように、第３の実施の形態によれば、撮像装置間で撮像画像の位置関係の変化度合いに応じてパノラマ画の生成で合成される画像間の空間方向の位置合わせの頻度が制御されるので、被写体の位置合わせを行って画像をつなぎ合わせることができる状態を効率よく保つことが可能となる。
　＜５－２．第３の実施の形態の他の動作＞
　上述の位置関係の変化度合いは、観測期間と観測間隔を固定して行う場合に限らず、位置関係の変化度合いに応じて調整してもよい。第３の実施の形態の他の動作では、位置関係の変化度合いに応じて、観測期間と観測間隔を調整する動作について説明する。
　図２１は、位置関係の変化度合いの算出動作を示す図である。例えば動作開始時には図２１の（ａ）に示すように変化度合いの観測期間をＭａ（正の整数）フレーム、変化度合いの観測間隔をＮａ（正の整数）フレームとする。動作開始後、位置関係の変化度合いが高い場合は、変化度合いの観測期間と観測間隔の少なくとも一方を短くする。図２１の（ｂ）は、位置関係の変化度合いが大きい場合、変化度合いの観測期間と観測間隔を短くした場合を例示している。なお、観測期間は「Ｍｂ＜Ｍａ」、観測間隔は「Ｎｂ＜Ｎａ」である。また、動作開始後、位置関係の変化度合いが小さい場合は、変化度合いの観測期間と観測間隔の少なくとも一方を長くする。図２１の（ｃ）は、位置関係の変化度合いが小さい場合、観測期間と観測間隔を長くした場合を例示している。なお、観測期間は「Ｍｃ＞Ｍａ」、観測間隔は「Ｎｃ＞Ｎａ」である。観測期間または観測間隔は、例えば変化度合いが大きくなるに伴い１フレーム毎に短くして、変化度合いが小さくなるに伴い１フレーム毎に長くしてもよい。
　図２２は、第３の実施の形態の他の動作を示すフローチャートである。ステップＳＴ４１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ４２に進む。
　ステップＳＴ４２で撮像装置２０-2は、位置関係の変化度合いを算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで、同一被写体の画像が重なるように空間的な位置合わせを行う。また、撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との位置関係の変化量が変化判別閾値を超えたか否かを例えば観測期間分の画像について判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。また、撮像装置２０-2は、位置関係の変化度合いの算出をＮフレーム間隔で行う。撮像装置２０-2は、このように位置関係の変化度合いを算出してステップＳＴ４３に進む。
　ステップＳＴ４３で撮像装置２０-2は、位置合わせ頻度を制御する。撮像装置２０-2は、位置関係の変化度合いが大きい場合は位置合わせを行う頻度を高くして、位置関係の変化度合いが小さい場合は位置合わせを行う頻度を低くしてステップＳＴ４４に進む。
　ステップＳＴ４４で撮像装置２０-2は、観測期間と観測間隔を更新する。撮像装置２０-2は、位置関係の変化度合いが大きくなるほど観測期間と観測間隔の少なくとも一方が短くなるように調整を行う。また、撮像装置２０-2は、位置関係の変化度合いが小さいくなるほど観測期間と観測間隔の少なくとも一方が長くなるように調整を行う。撮像装置２０-2は、調整後の観測期間と観測間隔で位置関係の変化度合いを算出するように設定を更新してステップＳＴ４５に進む。
　ステップＳＴ４５で撮像装置２０-2は、更新後の観測期間と観測間隔を送信する。撮像装置２０-2は、更新後の観測期間と観測間隔を撮像装置２０-1へ送信してステップＳＴ４６に進む。
　ステップＳＴ４６で、撮像装置２０-2は終了であるか判別する。撮像装置２０-2は、撮像が終了していない場合、または全フレームの処理が完了していないと判別した場合にステップＳＴ４１に戻り、撮像の終了または全フレームの処理が完了した場合、処理を終了する。
　このように、第３の実施の形態の他の動作によれば、位置関係の変化度合いに応じて変化度合いの観測期間や観測間隔が調整されるので、観測期間や観測間隔が固定されている場合に比べて、位置関係の変化度合いに応じて最適な制御動作を行うことが可能となる。なお、第３の実施の形態の他の動作では、観測期間と観測間隔を調整する場合を例示したが、観測期間と観測間隔のいずれか一方のみを調整してもよい。
　＜６．第４の実施の形態＞
　複数の撮像装置で生成された撮像画像を用いてパノラマ画を生成する場合、振れに応じて画質が劣化して、複数の撮像装置で振れ量が異なると、パノラマ画の生成に用いる撮像画像は、画質差を生じた画像となってしまうおそれがある。したがって、第４の実施の形態では、パノラマ画の生成時に画質差が目立たないように画像処理を行う場合について説明する。
　＜６－１．第４の実施の形態の動作＞
　図２３は、振れの大きさとパノラマ画の生成に用いる画像の画質の関係を説明するための図である。
　撮像装置２０-2は、各撮像装置で生成された例えばフレーム毎の撮像画像または各撮像装置のセンサ部２１１で生成されたセンサ信号に基づいて振れ量を算出する。ここで、振れ量が小さい場合、図２３の（ａ）に示すように撮像画像ＰＧに対して画像生成領域ＡＰを広くすることが可能である。また、図２３の（ｂ）に示すようにレンズ歪みの少ない中央部分を切り出すことが可能である。したがって、振れ量が少ない場合、パノラマ画の生成に用いる画像生成領域ＡＰの画像は、図２３の（ｃ）に示すように画質を良好に保つことができる。
　振れ量が大きい場合、図２３の（ｄ）に示すように撮像画像ＰＧに対して画像生成領域ＡＰを狭くする必要がある。また、図２３の（ｅ）に示すようにレンズ歪みの多い部分を切り出さなければならない場合も生じる。したがって、振れ量が大きい場合、パノラマ画の生成に用いる画像生成領域ＡＰの画像は、図２３の（ｆ）に示すように、画質の劣化した画像となってしまう場合がある。
　このため、複数の撮像装置で振れ量が異なりパノラマ画の生成に用いる画像で画質差を生じても、画質差が目立たないようにパノラマ画を生成する。
　図２４は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ５２に進む。
　ステップＳＴ５２で撮像装置２０-2は、画質差を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との画質差を算出する。撮像装置２０-2は、撮像画像に含まれている高域成分や振れ度合い等の差を画質差として算出する。例えば撮像画像にぼけを生じると高い周波数の成分が失われることから、撮像装置２０-2は、高い周波数の成分が多く含まれている場合は高画質、高い周波数の成分があまり含まれていない場合は低画質とする。また、振れ度合いが大きいと振れによるぼけが大きく、振れ度合いが小さいとぼけが少ない。このため、撮像装置２０-2は、振れ度合いが小さい場合は高画質、振れ度合いが大きい場合は低画質とする。このように、撮像装置２０-2は、撮像画像に含まれている高域成分や振れ度合い等の差を画質差として算出してステップＳＴ５３に進む。
　ステップＳＴ５３で撮像装置２０-2は、画質差に応じた合成処理を行う。撮像装置２０-2は、算出した画質差に基づき撮像画像ＰＧ-1と撮像画像ＰＧ-2の画質を揃える画質合わせ処理を行い、画質合わせ処理後の撮像画像をつなげてパノラマ画を生成する。撮像装置２０-2は、例えば高画質の撮像画像に対して低域通過フィルタ処理等を行うことで、画質を低画質の撮像画像に合わせてもよく、低画質の撮像画像に対して高画質化処理等を行うことで、画質を高画質の撮像画像に合わせてもよい。高画質化処理としては、例えばノイズ除去処理、高域強調処理、学習による高画質化画像生成処理、超解像処理等である。また、撮像装置２０-2は、高画質の撮像画像に対して画質を低下させる処理を行い、低画質の撮像画像に対して画質を高める処理を行うことで、２つの撮像画像の画質を揃えるようにしてもよい。また、撮像装置２０-2は、算出した画質差に基づき撮像画像ＰＧ-1と撮像画像ＰＧ-2との合成を制御して、画質差が目立たないようにパノラマ画を生成してもよい。撮像装置２０-2は、例えばアルファブレンディング手法を用いて２つの撮像画像をつなげる場合、ブレンドする領域の幅であるブレンド幅を画質差に応じて調整して、画質差が大きい場合はブレンド幅を広くして画質差が目立たないように撮像画像をつなげる。また、撮像装置２０-2は、画質差に応じてブレンド率の調整を行い、画質差が大きい場合は高画質の撮像画像に対する重みを多くして、高画質の撮像画像のブレンド率を高めてもよい。
　このような第４の実施の形態によれば、パノラマ画の生成において、つなぎ合わせる撮像画像間で画質差を生じても、画質の差が目立たないように合成処理が行われるので、画質の違いが目立たないパノラマ画を生成することができる。
　＜７．他の実施の形態＞
　ところで、上述の実施の形態では、各撮像装置の画角（撮像領域を示す角度：angle of view）が等しい場合を例示しているが、画角が異なる撮像装置を用いてもよい。
　図２５は、画角が異なる撮像装置を用いた場合の動作を示すフローチャートである。ステップＳＴ６１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ６２に進む。
　ステップＳＴ６２で撮像装置２０-2は、調整判別情報を取得する。撮像装置２０-2は、撮像装置２０-1から供給された撮像画像ＰＧ-1のレンズ歪みや画角を示す調整判別情報を取得する。ここで、各撮像装置は、予めキャリブレーションを行って調整判別情報を取得できるようにする。例えば、撮像装置は、テストチャート等を撮像して焦点距離毎のレンズ歪みを予め取得して記憶しておく。同様に、画角も焦点距離毎に予め算出して記憶しておく。さらに、記憶されているレンズ歪みや画角の情報から撮像時の設定に対応した情報を読み出し可能とすることで、調整判別情報を取得できるようにする。撮像装置２０-2は、調整判別情報を取得してステップＳＴ６３に進む。
　ステップＳＴ６３で撮像装置２０-2は、取得した撮像画像のレンズ歪み補正を行う。撮像装置２０-2は、ステップＳＴ６２で取得した調整判別情報に基づき、ステップＳＴ６１で撮像装置２０-1から取得した撮像画像ＰＧ-1のレンズ歪みを補正してステップＳＴ６４に進む。
　ステップＳＴ６４で撮像装置２０-2は、生成した撮像画像のレンズ歪み補正を行う。撮像装置２０-2は、撮像画像ＰＧ-2を生成したときの調整判別情報に基づき、生成した撮像画像ＰＧ-2のレンズ歪みを補正してステップＳＴ６５に進む。
　ステップＳＴ６５で撮像装置２０-2は、拡縮比率を算出する。撮像装置２０-2は、撮像画像ＰＧ-1に関する調整判別情報で示された画角の情報と、撮像画像ＰＧ-2に関する調整判別情報で示された画角の情報から、撮像画像ＰＧ-2の画角に対する撮像画像ＰＧ-1の画角の比率を拡縮比率として算出してステップＳＴ６６に進む。なお、拡縮比率の算出は、取得した調整判別情報を用いる場合に限られない。例えば拡縮を変えた撮像画像ＰＧ-1を複数用意するようにして、撮像画像ＰＧ-2との重複領域における画素間の誤差の絶対値和が最も少ない撮像画像ＰＧ-1ｗｐ判別して拡縮比率を決定するようにしてもよい。
　ステップＳＴ６６で撮像装置２０-2は、拡縮比率が１未満であるか判別する。撮像装置２０-2は、拡縮比率が１未満すなわち撮像画像ＰＧ-2よりも撮像画像ＰＧ-1の画角が狭く被写体が大きく写っている場合はステップＳＴ６７に進む。また、撮像装置２０-2は、拡縮比率が１未満でない場合、例えば撮像画像ＰＧ-2よりも撮像画像ＰＧ-1の画角が広く被写体が小さく写っている場合はステップＳＴ６８に進む。
　ステップＳＴ６７で撮像装置２０-2は、生成した撮像画像の画角拡大処理を行う。撮像装置２０-2は、生成した撮像画像ＰＧ-2を（１／拡縮比率）の割合で拡大して、撮像画像ＰＧ-1と撮像画像ＰＧ-2の画角合わせを行う。
　ステップＳＴ６８で撮像装置２０-2は、取得した撮像画像の画角拡大処理を行う。撮像装置２０-2は、取得した撮像画像ＰＧ-1を拡縮比率の割合で拡大して、撮像画像ＰＧ-1と撮像画像ＰＧ-2の画角合わせを行う。
　このような処理を行ったのち、撮像装置２０-2は上述のようにパノラマ画を生成する。したがって、画角が異なる撮像装置を用いる場合であっても、被写体のサイズを揃えてレンズ歪みの影響を除去したパノラマ画を生成することが可能となる。
　また、複数の撮像装置をリグ（取付台）に固定して用いる場合、例えば図２６に示すように、リグ４０に撮像装置２０-1，２０-2が取り付けられたことにより画像の重なり量が決まる場合、取り付けに関する情報を重複識別情報として生成する。また、リグに対して撮像装置の取り付け角度が選択可能とされており、選択された取り付け角度に応じて画像の重なり量が決まる場合、取り付け角度を示す情報を重複識別情報として生成する。さらに、撮像装置をリグに取り付けることで撮像装置が所定の焦点距離に設定されて画像の重なり量が決まる場合、または撮像装置が取り付けられたリグにおいて選択された焦点距離に撮像装置が設定されて画像の重なり量が決まる場合、設定される焦点距離を示す情報を重複識別情報に含めてもよい。
　このような取り付けに関する重複識別情報は、リグまたは撮像装置の何れで生成してもよい。例えばリグ４０に撮像装置２０-1，２０-2の取り付けを検出する検出部４１を設ける。検出部４１は、通信機能を用いてもよく機械的接続機構を利用してもよい。通信機能を用いる場合、接続端子や接続ケーブル等を介してリグ４０との通信を行うことで取り付けの検出を行う。また、リグ４０と近距離無線通信を行うことでリグ４０への取り付けを検出してもよい。また、機械的接続機構を用いる場合、撮像装置を固定するときに操作される操作レバーの操作位置等に基づき取り付けを検出する。なお、取り付けの検出は、リグに対する撮像装置の取り付けだけでなく、取り付け角度や焦点距離の検出等を行ってもよい。リグ４０は、通信機能を用いて撮像装置２０-2に重複識別情報を送信する。
　このように、リグに対して撮像装置を取り付けることによって重複識別情報を生成する場合、撮像動作を行わなくとも画像の重なり量の判別が可能となる。したがって、例えば図８に示す動作では、他装置の撮像画像に代えて取り付けに関する重複識別情報を用いて予めステップＳＴ１からステップＳＴ３の処理を行い、事前に得られたステップＳＴ３の判別結果を用いてステップＳＴ５やステップＳＴ６の処理を行うようにしてもよい。
　また、複数の撮像装置をリグに固定する場合、撮像装置２０-1，２０-2の位置関係は変動が少ない。したがって、このような場合には、位置合わせ頻度を低くしたり、位置関係の変化度合いの観測期間や観測間隔を長くして、位置合わせが不必要に行われてしまうことを防止できる。
　さらに、振れ補正は振れに応じて画像生成領域の位置を調整する電子式振れ補正に場合に限らず光学式振れ補正であってもよい。例えば、光学式振れ補正としてイメージセンサシフト方式を用いた場合、イメージセンサシフト方式は、イメージセンサの位置を振れに応じて移動させる方式であることから、画像生成領域を移動する場合と同様な処理を行うことができる。また、例えば、光学式振れ補正としてレンズシフト方式を用いた場合、フォーカス調整用のレンズと振れ補正用のレンズが設けられる。レンズシフト方式では、振れを補正するために光軸の位置が、フォーカス調整用のレンズと振れ補正用のレンズの端部側と通る場合があり、光軸の位置によっては撮像画像のレンズ歪が大きくなる。また、イメージセンサシフト方式の場合も、イメージセンサが光軸から離れた位置に移動するとレンズ歪が大きくなる。このような場合、上述の第４の実施の形態を適用することで、画質差の少ないパノラマ画を生成できる。
　また、上述の実施の形態において、動作を示すフローチャートの説明では、撮像システム１０を図１の（ｂ）に示す構成としたが、撮像システム１０は、図１の（ｃ）乃至（ｆ）に示す構成であってもよい。この場合、ステップで行う処理を実行できる機能を有した撮像装置または情報処理装置が、ステップ順にステップの処理を実行すればよい。例えば、撮像システム１０を図１の（ｃ）の構成とした場合、撮像装置で生成されたパノラマ化情報に基づき外部機器で重なり量の算出、外部機器で撮像装置の振れ補正の制限、外部機器でパノラマ画の生成等の処理を行うようにする。また、撮像システム１０を図１の（ｄ）の構成とした場合、情報処理装置で重なり量の算出、撮像装置の振れ補正の制限、パノラマ画の等の処理を行ってもよい。
　また、上述の実施の形態では、撮像装置２０-2で振れ補正の制御とパノラマ画の生成を行う場合について説明したが、上述のように振れ補正の制御やパノラマ画の生成等を情報処理装置５０で行うようにしてもよい。
　さらに、この技術は、撮像部の振れを生じる環境下で広画角の画像を必要とする分野等に広く活用できる。例えば車両に取り付ければ、走行中に振動等が加わっても良好なパノラマ画を生成することが可能となり、運転中に周囲の状況を確認できる。また、自動運転等を行う場合にも周囲の状況を取得できるようになる。また、建設機器や農業機器等に取り付ければ、作業中に振動等が加わっても良好なパノラマ画を生成することが可能となることから、周囲の状況を確認しながら正しく作業を行うことができる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部を備える画像処理装置。
　（２）　前記制御部は、前記振れ補正に関する制御として、前記位置関係に応じて前記振れ補正を制限する（１）に記載の画像処理装置。
　（３）　前記位置関係は重なり量である（２）に記載の画像処理装置。
　（４）　前記制御部は、前記重なり量が振れ補正制限閾値以下である場合に前記振れ補正を制限する（３）に記載の画像処理装置。
　（５）　前記制御部は、イメージセンサの有効画素領域内に設けられる画像生成領域を、前記重なり量が少なくなるに伴い大きくすることで振れ補正を制限する（３）または（４）に記載の画像処理装置。
　（６）　前記制御部は、前記振れ補正に関する制限として前記振れ補正を停止する（２）記載の画像処理装置。
　（７）　ユーザに対して通知を行う通知処理部をさらに備え、
　前記制御部は、前記振れ補正に関する制限として、前記通知処理部を介して前記振れ補正の設定に関する通知を行う（２）乃至（５）の何れかに記載の画像処理装置。
　（８）　前記制御部は、前記重なり量が処理順設定閾値以下である場合に前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域との位置合わせの実行、前記振れ補正の実行の順で制御を行い、前記重なり量が前記処理順設定閾値より多い場合に前記振れ補正の実行、前記位置合わせの実行の順で制御を行う（３）に記載の画像処理装置。
　（９）　前記制御部は、前記第１の撮像画像と前記第２の撮像画像の位置合わせを、前記第１の撮像画像と前記第２の撮像画像との位置関係の変化度合いに応じて行う（１）乃至（８）の何れかに記載の画像処理装置。
　（１０）　前記制御部は、前記変化度合いに応じて、前記変化度合いの観測期間または観測間隔を制御する（９）に記載の画像処理装置。
　（１１）　前記制御部は、前記変化度合いが大きくなるに伴い前記観測期間または前記観測間隔を短くして、前記変化度合いが小さくなるに伴い前記観測期間または前記観測間隔を長くする（１０）に記載の画像処理装置。
　（１２）　前記第１の撮像画像を生成する第１の撮像部と前記第２の撮像画像を生成する第２の撮像部の取付状態に応じて前記位置合わせの頻度を制御する（９）に記載の画像処理装置。
　（１３）　前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域とからパノラマ画を生成するパノラマ画生成部をさらに備える（１）乃至（１２）の何れかに記載の画像処理装置。
　（１４）　前記パノラマ画生成部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の画質差を調整した上で、前記パノラマ画を生成する（１３）に記載の画像処理装置。
　（１５）　前記パノラマ画生成部は、レンズ歪みが補正された前記第１の撮像画像の画像生成領域と前記第２の撮像画像の前記画像生成領域とを合成する（１３）または（１４）の何れかに記載の画像処理装置。
　（１６）　前記パノラマ画生成部は、前記第１の撮像画像と前記第２の撮像画像の画角合わせをした上で前記パノラマ画を生成する（１３）乃至（１５）の何れかに記載の画像処理装置。
　さらに、本技術の画像処理装置は以下のような構成も取ることができる。
　第１及び第２の撮像画像の合成処理によりパノラマ画像を生成するため、前記第１の撮像画像と前記第２の撮像画像の生成に関する制御として、前記第１の撮像画像を生成する撮像装置と前記第２の撮像画像を生成する第２の撮像装置の振れの違いに応じて、前記撮像装置の少なくとも一方の振れ補正機能に関する制御を行う制御部を備える画像処理装置。
　パノラマ画像の生成に用いられる第１の撮像画像の第１の撮像装置での生成と前記パノラマ画像の生成に用いられる第２の撮像画像の第２の撮像装置での生成に関する制御として、前記第１及び第２の撮像装置の少なくとも一方の振れ補正機能を、前記第１の撮像装置と前記第２の撮像装置の振れの違いに応じて制御する制御部を備える画像処理装置。
　この技術の画像処理装置、画像処理方法、プログラムおよび撮像システムでは、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像を位置関係に応じた振れ補正に関する制御によって、第１の撮像画像と第２の撮像画像では同一被写体の撮像画像が重なり合う領域を確保できるようになり、パノラマ画の生成に用いる画像を容易に生成できる。したがって、撮像部の振れが生じる環境下で広画角の画像を必要とする分野等に広く活用できる。
　１０・・・撮像システム
　２０，２０-1～２０-8・・・撮像装置
　３０・・・記録媒体
　４０・・・リグ
　４１・・・取付状態検出部
　５０，５０-1，５０-2・・・情報処理装置
　２００・・・レンズユニット
　２０１・・・駆動部
　２０２・・・イメージセンサ部
　２０３・・・ＡＦＥ部
　２０４・・・画像処理部
　２０５・・・表示部
　２０６・・・音声入出力部
　２０７，５０３・・・通信部
　２０８・・・記録媒体処理部
　２０９，５０６・・・バス
　２１１・・・センサ部
　２１２・・・ユーザインタフェース部
　２２０，５０５・・・制御部
　５０１・・・入力部
　５０２・・・出力部
　５０４・・・記憶部

Claims (19)

  1. 　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、
    前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部を
    備える画像処理装置。
  2. 　前記制御部は、前記振れ補正に関する制御として、前記位置関係に応じて前記振れ補正を制限する
    請求項１に記載の画像処理装置。
  3. 　前記位置関係は重なり量である
    請求項２に記載の画像処理装置。
  4. 　前記制御部は、前記重なり量が振れ補正制限閾値以下である場合に前記振れ補正を制限する
    請求項３に記載の画像処理装置。
  5. 　前記制御部は、イメージセンサの有効画素領域内に設けられる画像生成領域を、前記重なり量が少なくなるに伴い大きくすることで振れ補正を制限する
    請求項３に記載の画像処理装置。
  6. 　前記制御部は、前記振れ補正に関する制限として前記振れ補正を停止する
    請求項２に記載の画像処理装置。
  7. 　ユーザに対して通知を行う通知処理部をさらに備え、
    　前記制御部は、前記振れ補正に関する制限として、前記通知処理部を介して前記振れ補正の設定に関する通知を行う
    請求項２に記載の画像処理装置。
  8. 　前記制御部は、前記重なり量が処理順設定閾値以下である場合に前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域との位置合わせの実行、前記振れ補正の実行の順で制御を行い、前記重なり量が前記処理順設定閾値より多い場合に前記振れ補正の実行、前記位置合わせの実行の順で制御を行う
    請求項１に記載の画像処理装置。
  9. 　前記制御部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の位置合わせを、前記第１の撮像画像と前記第２の撮像画像との位置関係の変化度合いに応じて行う
    請求項１に記載の画像処理装置。
  10. 　前記制御部は、前記変化度合いに応じて、前記変化度合いの観測期間または観測間隔を制御する
    請求項９に記載の画像処理装置。
  11. 　前記制御部は、前記変化度合いが大きくなるに伴い前記観測期間または前記観測間隔を短くして、前記変化度合いが小さくなるに伴い前記観測期間または前記観測間隔を長くする
    請求項１０に記載の画像処理装置。
  12. 　前記第１の撮像画像を生成する第１の撮像部と前記第２の撮像画像を生成する第２の撮像部の取付状態に応じて前記位置合わせの頻度を制御する
    請求項９に記載の画像処理装置。
  13. 　前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域とからパノラマ画を生成するパノラマ画生成部をさらに備える
    請求項１に記載の画像処理装置。
  14. 　前記パノラマ画生成部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の画質差を調整した上で、前記パノラマ画を生成する
    請求項１３に記載の画像処理装置。
  15. 　前記パノラマ画生成部は、レンズ歪みが補正された前記第１の撮像画像の画像生成領域と前記第２の撮像画像の前記画像生成領域とを合成する
    請求項１３に記載の画像処理装置。
  16. 　前記パノラマ画生成部は、前記第１の撮像画像と前記第２の撮像画像の画角合わせをした上で前記パノラマ画を生成する
    請求項１３に記載の画像処理装置。
  17. 　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、
    前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を制御部で行うことを
    含む画像処理方法。
  18. 　パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、
    前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う手順
    をコンピュータで実行させるプログラム。
  19. 　パノラマ画の生成に用いられる第１の撮像画像を生成する第１の撮像部と、
    　前記パノラマ画の生成に用いられる第２の撮像画像を生成する第２の撮像部と、
    　前記第１の撮像画像と前記第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部と
    を備える撮像システム。
PCT/JP2016/070867 2015-09-18 2016-07-14 画像処理装置、画像処理方法、プログラムおよび撮像システム WO2017047219A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/750,301 US10574884B2 (en) 2015-09-18 2016-07-14 Image processing apparatus, image processing method, program, and image pickup system
EP16846092.1A EP3352448B1 (en) 2015-09-18 2016-07-14 Image processing device, image processing method, program and imaging system
CN201680052271.9A CN108028889B (zh) 2015-09-18 2016-07-14 图像处理设备、图像处理方法、程序和摄像系统
JP2017539736A JP6769440B2 (ja) 2015-09-18 2016-07-14 画像処理装置、画像処理方法、プログラムおよび撮像システム
US16/734,085 US10917567B2 (en) 2015-09-18 2020-01-03 Image processing apparatus, image processing method, program, and image pickup system
US17/146,852 US11381740B2 (en) 2015-09-18 2021-01-12 Image processing apparatus, image processing method, program, and image pickup system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-184612 2015-09-18
JP2015184612 2015-09-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/750,301 A-371-Of-International US10574884B2 (en) 2015-09-18 2016-07-14 Image processing apparatus, image processing method, program, and image pickup system
US16/734,085 Continuation US10917567B2 (en) 2015-09-18 2020-01-03 Image processing apparatus, image processing method, program, and image pickup system

Publications (1)

Publication Number Publication Date
WO2017047219A1 true WO2017047219A1 (ja) 2017-03-23

Family

ID=58288668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070867 WO2017047219A1 (ja) 2015-09-18 2016-07-14 画像処理装置、画像処理方法、プログラムおよび撮像システム

Country Status (5)

Country Link
US (3) US10574884B2 (ja)
EP (1) EP3352448B1 (ja)
JP (2) JP6769440B2 (ja)
CN (2) CN113364983A (ja)
WO (1) WO2017047219A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160334A (ja) * 2019-03-27 2020-10-01 株式会社コムテック 撮像装置及び撮像システム
JP2020188349A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
KR102682524B1 (ko) * 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
WO2020065694A1 (ja) * 2018-09-25 2020-04-02 サンケン電気株式会社 アナログデジタル変換器
CN110278360B (zh) * 2019-06-28 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
JP7325281B2 (ja) * 2019-09-20 2023-08-14 キヤノン株式会社 撮像装置、制御方法及びプログラム
CN111193865B (zh) * 2019-12-31 2021-08-03 维沃移动通信有限公司 图像处理方法和装置
JP7469713B2 (ja) * 2020-12-03 2024-04-17 日本電信電話株式会社 処理装置、処理方法およびプログラム
CN114245102A (zh) * 2021-11-26 2022-03-25 深圳市豪恩汽车电子装备股份有限公司 车载摄像头抖动识别方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304246A (ja) * 1997-04-25 1998-11-13 Brother Ind Ltd 広域画像入出力装置
JPH1124121A (ja) * 1997-06-27 1999-01-29 Canon Inc 像振れ補正装置及びカメラ
JP2006033353A (ja) * 2004-07-15 2006-02-02 Seiko Epson Corp 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014215304A (ja) * 2013-04-22 2014-11-17 株式会社ニコン 撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
JP2008042664A (ja) 2006-08-08 2008-02-21 Toyota Motor Corp 画像表示装置
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
JP2009253921A (ja) * 2008-04-10 2009-10-29 Sony Corp 撮像装置、撮像画像記録方法およびプログラム
JP2010093450A (ja) 2008-10-06 2010-04-22 Olympus Corp 撮像装置、撮像システム、および撮像装置用プログラム
JP5478935B2 (ja) * 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
US8310538B2 (en) 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program
JP5501119B2 (ja) * 2010-06-29 2014-05-21 キヤノン株式会社 撮像装置およびその制御方法
US8780174B1 (en) * 2010-10-12 2014-07-15 The Boeing Company Three-dimensional vision system for displaying images taken from a moving vehicle
JP5522018B2 (ja) * 2010-12-15 2014-06-18 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN103167223A (zh) * 2011-12-09 2013-06-19 富泰华工业（深圳）有限公司 具有广角拍摄功能的移动装置及其影像撷取方法
JP2013168909A (ja) * 2012-02-17 2013-08-29 Nec Casio Mobile Communications Ltd 撮影装置、画像生成方法およびプログラム
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
US9602720B2 (en) * 2012-12-10 2017-03-21 Samsung Electronics Co., Ltd. Photographing apparatus
JP2014116790A (ja) * 2012-12-10 2014-06-26 Samsung R&D Institute Japan Co Ltd 撮像装置
GB2509102B (en) * 2012-12-20 2015-09-02 Thales Holdings Uk Plc Image processor for processing images received from a plurality of image sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304246A (ja) * 1997-04-25 1998-11-13 Brother Ind Ltd 広域画像入出力装置
JPH1124121A (ja) * 1997-06-27 1999-01-29 Canon Inc 像振れ補正装置及びカメラ
JP2006033353A (ja) * 2004-07-15 2006-02-02 Seiko Epson Corp 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014215304A (ja) * 2013-04-22 2014-11-17 株式会社ニコン 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3352448A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160334A (ja) * 2019-03-27 2020-10-01 株式会社コムテック 撮像装置及び撮像システム
JP2020188349A (ja) * 2019-05-14 2020-11-19 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体

Also Published As

Publication number Publication date
EP3352448B1 (en) 2023-03-01
EP3352448A1 (en) 2018-07-25
US10917567B2 (en) 2021-02-09
JP6769440B2 (ja) 2020-10-14
US10574884B2 (en) 2020-02-25
CN113364983A (zh) 2021-09-07
JP2020171040A (ja) 2020-10-15
US20200145581A1 (en) 2020-05-07
JPWO2017047219A1 (ja) 2018-06-28
CN108028889B (zh) 2021-07-02
US20210203845A1 (en) 2021-07-01
US20180227485A1 (en) 2018-08-09
EP3352448A4 (en) 2019-04-24
US11381740B2 (en) 2022-07-05
CN108028889A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
WO2017047219A1 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
US10789676B2 (en) Image processing device, image processing method, and program
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US20070115364A1 (en) Image processing apparatus and method, and program used therewith
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP7444162B2 (ja) 画像処理装置、画像処理方法、プログラム
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
JP2011135438A (ja) 画像合成装置、画像合成方法及びプログラム
JP2011114823A (ja) 画像処理装置及び撮像装置
JP2010166512A (ja) 撮像装置
JP2008187393A (ja) 露出制御システム、露出制御方法、そのプログラムと記録媒体およびカメラ制御システムとカメラ
JP2012119804A (ja) 画像記録装置
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
JP6917536B2 (ja) 撮像装置
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2017161891A5 (ja)
US11206344B2 (en) Image pickup apparatus and storage medium
WO2021171848A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2018207254A (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP5477063B2 (ja) 撮像装置と撮像方法および交換レンズ
JP5381207B2 (ja) 画像合成装置及びプログラム
JP5637400B2 (ja) 撮像装置、及びプログラム
JP2019204138A (ja) 画像処理装置、撮像装置、カメラシステム、画像処理方法および画像処理プログラム
WO2017086021A1 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846092

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017539736

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15750301

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE