CN103597810B - 图像拼接 - Google Patents
图像拼接 Download PDFInfo
- Publication number
- CN103597810B CN103597810B CN201180071175.6A CN201180071175A CN103597810B CN 103597810 B CN103597810 B CN 103597810B CN 201180071175 A CN201180071175 A CN 201180071175A CN 103597810 B CN103597810 B CN 103597810B
- Authority
- CN
- China
- Prior art keywords
- image
- image sensor
- capture region
- sensor feature
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 16
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims 3
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
Abstract
提供了一种设备、方法和计算机程序。该方法包括：分析第一图像和第二图像，第一图像由第一图像传感器部件捕获并且第二图像由第二图像传感器部件捕获，其中第一图像和第二图像上的发起对第一图像和第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据第一图像和第二图像的分析确定针对第一图像部分和第二图像部分的重叠捕获区域；以及使用重叠捕获区域将第一图像和第二图像拼接在一起。
Description
技术领域
本发明各实施方式涉及图像拼接。具体地，涉及处理图像用于拼接。
背景技术
图像拼接是用于将具有重叠视野的多个图像组合以产生更大图像（例如，全景图像）的过程。
发明内容
根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处理器一起使得所述设备至少执行：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；用于根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置。
根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括：分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：用于分析一个或多个图像集的装置，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；用于根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；用于取决于根据所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像的装置，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；用于根据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域的装置；以及用于使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起的装置。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处理器一起使得所述设备至少执行：分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行：分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处理器一起使得所述设备至少执行：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括：用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；用于根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置。
根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行：分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
附图说明
为了更好地理解本发明的实施方式的各种示例，现在将仅通过示例的方式参考附图，在附图中：
图1图示了一种设备的示意图；
图2图示了另一设备的示意图；
图3A图示了该另一设备的第一示例的透视截面图；
图3B图示了用于该另一设备的第二示例的第一图像传感器部件和第二图像传感器部件；
图3C和图3D图示了该另一示例的第二示例；
图4图示了第一图像传感器和第二图像传感器；
图5图示了第一方法的流程图；以及
图6图示了第二方法的流程图。
具体实施方式
本发明的各实施方式涉及图像拼接。本发明的各实施方式例如可以支持相对快速的图像拼接。这可能对于处于提供/记录全景视频图像的取景或摄像模式的相机而言非常有利，其中全景视频图像包括每秒多个帧（例如，每秒30帧）。
各附图图示了设备10/20，包括：至少一个处理器12；以及存储有包括指令18的计算机程序16的至少一个存储器14；被配置为与所述至少一个处理器12一起使得所述设备10/20至少执行：分析第一图像和第二图像，所述第一图像由第一图像传感器部件21捕获并且所述第二图像由第二图像传感器部件22捕获，其中取决于至少一个上下文特性在所述第一图像和所述第二图像上的至少一个位置发起对所述第一图像和所述第二图像的所述分析；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件21和所述第二图像传感器部件22的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
图1图示了包括至少一个处理器12和至少一个存储器14的设备10。该设备10例如可以是芯片或芯片组。虽然图1中图示了单个处理器12和单个存储器14，但是在本发明的某些实现中提供了不止一个处理器12和/或不止一个存储器14。
处理器12被配置为从存储器14读取并且向存储器14写入。处理器12还可以包括输出接口和输入接口，处理器12经由输出接口12输出数据和/或命令，经由输入接口向处理器12输入数据和/或命令。
虽然存储器14被示出为单个组件，但是其也可以实现为一个或多个单独组件，其中的某些或者全部可以是集成/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储。
存储器14存储计算机程序16，计算机程序16包括当加载到处理器12中时控制设备10的操作的计算机程序指令18。计算机程序指令18提供使得设备10/20能够执行图5和图6中所示的方法的逻辑和例程。处理器12通过读取存储器14，能够加载并且执行计算机程序16。
计算机程序16可以经由任何适当的递送机制40到达设备10/20。递送机制40例如可以是非瞬态计算机可读存储介质、计算机程序产品、存储器设备、记录介质（诸如压缩盘只读存储器（CD-ROM）、或者数字通用盘（DVD））、或者有形地体现计算机程序16的制品。递送机制40可以是配置用于可靠地传送计算机程序16的信号。设备10/20可以将计算机程序16作为计算机数据信号来传播或者传输。
图2图示了另一设备20。该设备20例如可以是相机。在本发明的某些实施方式中，设备20可以手持并且可以具有其他功能。例如，设备20可以被配置为作为移动电话、平板计算机、游戏机和/或便携式音乐播放器进行操作。
图2中所示的设备20包括第一图像传感器部件21、第二图像传感器部件22、显示器24以及图1中所示的设备10。元件12、14、21、22和24被操作地耦合并且可以存在任意数目的中间元件或其组合（包括没有中间元件）。
在某些实施方式中，第一图像传感器部件21和第二图像传感器部件22是分离的图像传感器。在其他实施方式中，第一图像传感器部件21和第二图像传感器部件22是单个图像传感器的不同部分。
图像传感器部件21和图像传感器部件22中的每一个被配置为将光学图像转换成电信号。图像传感器部件21和图像传感器部件22可以是任意类型的图像传感器部件。例如，在某些实施方式中，其可以是电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）传感器部件。
设备20可以进一步包括至少一个光学布置，其被配置为将光传至图像传感器部件21和图像传感器部件22以使得其能够捕获图像。图像传感器部件21和图像传感器部件22和/或所述光学布置被布置使得图像传感器部件21和图像传感器部件22具有部分重叠的视野。即，当图像传感器部件21和图像传感器部件22实质上同时捕获图像时，第一图像传感器部件21捕获的图像中的某些但不是全部内容将出现在第二图像传感器部件22捕获的图像中，反之亦然。
显示器24被配置为显示第一图像传感器部件21和第二图像传感器部件22捕获的图像。显示器24可以是任意类型的显示器。例如，显示器24可以是液晶显示器（LCD）或有机发光二极管（OLED）显示器。在某些实施方式中，显示器24是被配置为接收用户输入的触敏显示器。
在图2中，存储器14被图示为存储重叠数据24、环境数据28和模式数据29。这在下文将更加详细地进行描述。
图3A图示了设备20的一部分的一个示例的透视截面图。在此示例中，第一图像传感器部件21和第二图像传感器部件22是分离的图像传感器。设备20包括容纳第一图像传感器部件21和第二图像传感器部件22以及两个光学布置31和32的外壳109。图3中图示的设备20的一部分可以被认为是a和b两个部分。
第一部分a包括第一图像传感器部件21和第一光学布置31。在此示例中，第一光学布置31包括棱镜113a和多个透镜114a。第二部分b包括第二图像传感器部件22和第二光学布置32。在此示例中，第二光学布置32包括棱镜113b和多个透镜114b。
在操作过程中，光被棱镜113a弯曲并且由透镜114a传至第一图像传感器部件21。类似地，光被棱镜113b弯曲并且由透镜114b传至第二图像传感器部件22。
图3A图示了第一视角锥110a和第二视角锥110b，其中第一视角锥110a表示第一图像传感器部件21的视野，以及第二视角锥110b表示第二图像传感器部件22的视野。第一图像传感器部件21和第二图像传感器部件22的视野重叠。重叠的体积由图3中的参考标号70指出，并且意味着当图像实质上同时被第一图像传感器部件21和第二图像传感器部件22捕获时，相同图像数据（即，相同图像内容）中的某些将被第一图像传感器部件21和第二图像传感器部件22两者捕获。
图3B至图3D图示了与图3A所示不同的设备20的示例。图3B图示了安装在印刷电路板48上的第一图像传感器部件21和第二图像传感器部件22。在所示示例中，第一图像传感器部件21和第二图像传感器部件22是不同的图像传感器。然而，在某些实施方式中，第一图像传感器部件21和第二图像传感器部件22是单个图像传感器的不同部分。
图3C和图3D图示了位于设备20内的第一图像传感器部件21和第二图像传感器部件22。光通过设备20的外壳中的一个或多个孔径进入设备20，并且由棱镜/镜子50引导至第一光学器件52和第二光学器件54。光学器件52和光学器件54的形状实质上为五棱镜52和54。每个光学器件52和54具有上表面、下表面以及五个侧面。每个光学器件52和54将入射光的方向改变实质上90°，并且将其引导至其相应的图像传感器部件21和22。这有图3D中的光线62和64所示。每个光学器件52和54还将光聚焦在图像传感器部件21和22上。
图像传感器部件21和22以及印刷电路板48可以由机制49移动用于图像聚焦。箭头68和69指示图像传感器部件21和22以及印刷电路板48的移动扩展。
虽然图3B至图3D中没有明确地示出，但是图3B至图3D示例中的图像传感器部件21和22具有与上文关于图3A示例所述相同的重叠视野。
在图3A以及图3B至图3D的示例中，第一图像传感器部件21和第二图像传感器部件22可以被认为具有“重叠捕获区域”，其包括第一图像传感器部件21的像素的子集以及第二图像传感器部件22的像素的子集。例如，重叠捕获区域可以包括：i）第一图像传感器部件21用于捕获也被第二图像传感器部件22捕获的图像内容的某些但未必全部像素，以及ii）第二图像传感器部件22用于捕获也被第一图像传感器部件21捕获的图像内容的某些但未必全部像素。
图4图示了第一图像传感器部件21和第二图像传感器部件22的示意图示例。在此示例中，第一图像传感器部件21和第二图像传感器部件22的每一个包括十列C1-C10和十行R1-R10的像素。重叠捕获区域例如可以包括第一图像传感器部件21的C1和C2列以及第二图像传感器部件22的C9和C10列。
指示理论上重叠捕获区域的数据可以被存储在设备10/20的存储器14中的重叠数据26中。理论上重叠捕获区域可以指示，针对特定理论环境，第一图像传感器部件21和第二图像传感器部件22期望用于捕获在第一图像和第二图像中均呈现的图像内容的像素。
然而，实际重叠捕获区域取决于一个或多个上下文特性可以与理论上重叠捕获区域不同。即，实际重叠捕获区域可以取决于其中图像被设备20捕获的上下文而改变。一个或多个上下文特性可以随时间变化。
上下文特性可以与设备20的周围环境有关。例如，上下文特性可以包括周围温度和周围压强。周围温度的改变可以使得设备20的组件热膨胀，以及重叠捕获区域的改变。压强的改变也可以使得重叠捕获区域的改变。
上下文特性可以包括设备20的操作模式或与其相关。例如，捕获分辨率、焦距和图像稳定的改变可以使得重叠捕获区域改变。
在某些实施方式中，设备20可以具有固定的捕获分辨率和/或固定的焦距，并且可以不具有图像稳定。然而，一个或多个上下文特性（诸如周围温度和/或压强）的改变可以使得重叠捕获区域改变。
图5和图6图示了根据本发明各实施方式的流程图。本发明各实施方式的第一分组将参考图5进行描述。
在此实施方式分组中，存储器14存储查找表，该查找表指示重叠捕获区域期望如何取决于一个或多个上下文特性而改变。例如，多个不同的重叠捕获区域可以存储在重叠数据26中，其中每个均与环境数据28中存储的不同环境特性（例如，不同的温度和/或压强）以及/或者模式数据29中的不同操作模式（例如，捕获分辨率、焦距和图像稳定位置/状态）相关联。
查找表例如可以基于理论计算或后加工确定的经验数据。查找表中存储的不同重叠捕获区域可以被认为是随上下文特性改变的数据。
在图5的框43处，处理器12分析由第一图像传感器部件21捕获的第一图像，以及由第二图像传感器部件22捕获的第二图像。取决于至少一个上下文特性可以在第一图像和第二图像上的至少一个位置发起对第一图像和第二图像的分析。
由处理器12执行的分析是图像配准过程，其中处理器12将第一图像与第二图像进行比较以确定在两者图像中呈现的内容。由处理器12执行的分析例如可以包括比较第一图像中的数据与第二图像中的数据之间绝对差的总和。
分析的目的在于使得处理器12能够将第一图像和第二图像准确地拼接在一起以创建更大的图像（诸如全景图像）。
在捕获第一图像和第二图像之前、之后或期间，处理器12例如可以确定一个或多个当前上下文特性（使用来自适当传感器的输入），诸如当前温度、当前大气压强、当前捕获分辨率、当前焦距和/或图像稳定的当前状态/位置。处理器12继而可以将上述信息与存储的环境数据28和/或存储的模式数据29进行比较以从重叠数据26获取相关联存储的重叠捕获区域。
在图5的框43中，处理器12使用从存储器14中的重叠数据26获取的存储的重叠捕获区域来分析第一图像和第二图像。存储的重叠捕获区域指示在给定已经感测到的设备特性的情况下，实际重叠捕获区域期望所在的位置。
处理器12例如可以在第一图像和第二图像的每个图像上对应于以下像素区域的位置发起分析，该像素区域来自存储的重叠捕获区域，期望包括也在另一图像中呈现的内容。即，处理器12可以使用存储的重叠捕获区域作为用于分析第一图像和第二图像的“开始点”以确定用于将第一图像和第二图像拼接在一起的经验/实际重叠捕获区域。
在图5的框44，处理器12根据其对第一图像和第二图像的分析确定针对第一图像传感器部件21和第二图像传感器部件22的实际/经验重叠捕获区域。
经验重叠捕获区域可以包括第一图像传感器部件21的第一多个像素以及第二图像传感器部件22的第二多个像素。本领域技术人员应当理解，经验确定的捕获区域可以不是直线或者可以不具有直线边缘。例如，其可以是图像传感器部件21和22上的锯齿状线，或者是图像传感器部件21和22上具有锯齿状边缘的更大面积。
在图5的框45，处理器12使用图5的框44中确定的实际/经验重叠捕获区域将第一图像和第二图像拼接在一起以创建更大的图像（诸如全景图像）。处理器12例如可以控制显示器24显示所创建的图像。
上文所述本发明的各实施方式使得处理器12能够快速地将图像对准并拼接在一起。这在设备20是处于取景或摄像模式（其中每秒拼接并显示多个图像）的相机时尤其占有优势。
本发明各实施方式的第二分组将参考图6进行描述。
在此示例中，用户提供用户输入，使得处理器12控制第一图像传感器部件21捕获第一图像，以及控制第二图像传感器部件22捕获第二图像。第一图像和第二图像可以实质上同时被捕获，并且可以被认为是“图像集”。
在图6的框41，处理器12分析第一图像传感器部件21和第二图像传感器部件22捕获的图像集，以便确定第一图像传感器部件21和第二图像传感器部件22关于第一图像和第二图像的“重叠捕获区域”，使得处理器12能够将第一图像和第二图像准确地拼接在一起以创建更大的图像（诸如全景图像）。
处理器12执行的分析是图像配准过程，其中处理器12将第一图像与第二图像进行比较以确定在两者图像中均呈现的内容。由处理器12执行的分析例如可以包括比较第一图像中的数据与第二图像中的数据之间绝对差的总和。
处理器12可以使用存储器中存储的重叠数据26来执行分析。例如，存储器14中存储的重叠数据26可以包括指示针对第一图像传感器部件21和第二图像传感器部件22的理论重叠捕获区域的数据。
处理器12可以通过在第一图像和第二图像上对应于理论重叠捕获区域中像素的位置发起图6的框41中的分析来使用此信息，以确定在第一图像和第二图像两者中均呈现的内容。即，处理器12使用理论重叠捕获区域作为用于分析第一图像和第二图像的“开始点”以确定用于将第一图像和第二图像拼接在一起的经验重叠捕获区域。
在图6的框42，处理器12根据其对第一图像和第二图像的分析来确定针对第一图像传感器部件21和第二图像传感器部件22的经验重叠捕获区域。该重叠捕获区域可以至少临时被存储为存储器14中重叠数据26的一部分。
在某些环境中，上文所述已经在图6的框42经验确定的重叠捕获区域可以被认为取决于至少一个上下文特性。例如，出于上文给定的原因，当第一图像和第二图像被捕获时，经验确定的重叠捕获区域可以取决于设备20的当前环境特性（例如，温度和/或压强）和/或当前操作模式（例如，捕获分辨率、焦距和图像稳定状态/位置）而改变。
图6的框42中确定的重叠捕获区域使得处理器12能够将第一图像和第二图像对准并且将其准确地拼接在一起以创建更大的图像（诸如全景图像）。处理器12例如可以控制显示器24显示所创建的图像。
在图6的框42确定针对第一图像传感器部件21和第二图像传感器部件22的重叠捕获区域之前、期间或之后，第一图像传感器部件21和第二图像传感器部件22可以用于分别捕获第三图像和第四图像。
在图6的框43，处理器12取决于在图6的框42的分析中确定的并且在重叠数据26中存储的重叠捕获区域来分析第三图像和第四图像。
分析被执行以便确定第一图像传感器部件21和第二图像传感器部件22关于第三图像和第四图像的又一重叠捕获区域，从而使得处理器12能够将第三图像和第四图像准确地拼接在一起以创建更大的图像（诸如全景图像）。
处理器12执行的分析可以与上文关于第一图像和第二图像所述的图像配准过程相同，只是在此实例中用于第三图像和第四图像。例如，处理器12可以将第三图像和第四图像进行比较以确定在两者图像中均呈现的内容。
处理器12例如可以在取决于图6的框42中确定的重叠捕获区域的位置发起分析。即，处理器12可以通过分析第三图像和第四图像中对应于先前确定的经验重叠捕获区域中的像素的面积开始，以确定在第三图像和第四图像两者中均呈现的内容。先前确定的经验重叠捕获区域因此提供用于分析第一图像和第二图像的“开始点”以确定用于将第三图像和第四图像拼接在一起的经验重叠捕获区域。
在分析第三图像和第四图像时使用先前确定的经验重叠捕获区域有利地使得处理器12能够快速地确定又一经验重叠捕获区域，这是因为重叠捕获区域的任意改变通常相对较小。
本领域技术人员可以理解图6的框43中对第三图像和第四图像的分析在某些情况下可以被认为取决于至少一个上下文特性。这是因为用于分析第三图像和第四图像的先前确定的经验重叠捕获区域可以取决于至少一个上下文特性。
在图6的框44，处理器12确定又一经验重叠捕获区域，并且在框45，其使用该又一经验重叠捕获区域将第三图像和第四图像拼接在一起以创建更大的图像。处理器12可以控制显示器24显示该更大的图像。
上文所述本发明的各实施方式使得处理器12能够将图像快速地对准并拼接在一起。这在设备20是处于取景或摄像模式（其中每秒拼接并显示多个图像）的相机时尤其占有优势。
在上文关于图6所述的示例中，先前确定的经验重叠捕获区域形成用于在图6的框44中确定又一经验重叠捕获区域的开始点。备选地，该又一经验重叠捕获区域可以取决于先前确定的经验重叠捕获区域以及理论重叠捕获区域（例如，其可以是两者的平均）。
备选地，重叠捕获区域可以是已经根据对多个图像集的分析确定的平均重叠捕获区域或者取决于所述平均重叠捕获区域，其中每个图像集包括第一图像传感器部件21捕获的图像以及第二图像传感器部件22捕获的图像。
处理器12可以被配置为将经验重叠捕获区域存储在重叠数据26中，并且将其与存储器14中环境数据28中存储的特定温度或温度范围相关联。设备20还可以配备有向处理器12提供输入的温度传感器和/或压强传感器。处理器12可以被配置为获取与感测到的温度和/或感测到的压强对应的先前确定的经验重叠捕获区域，用于分析第一图像传感器部件21和第二图像传感器部件22捕获的图像。
处理器12还可以被配置为将经验重叠捕获区域存储在重叠数据26中，并且将其与存储器14中模式数据29中存储的操作模式相关联。存储的操作模式例如可以标识图像分辨率、焦距和/或图像稳定状态/位置。
当处理器12随后确定设备20处于特定操作模式时，其可以获取与该操作模式对应的先前确定的经验重叠捕获区域，用于分析第一图像传感器部件21和第二图像传感器部件22捕获的图像。
对“计算机可读存储介质”、“计算机程序产品”、“有形实现的计算机程序”等或者“计算机”、“处理器”等的引用应当被理解为不仅包括具有不同架构的计算机（诸如单/多处理器架构和串行（冯诺依曼）/并行架构），还包括专用电路，诸如现场可编程门阵列（FPGA）、专用电路（ASIC）、信号处理设备以及其他处理电路。对计算机程序、指令、代码等的引用应当被理解为包括用于可编程处理器的软件或者固件，例如，硬件设备的可编程内容，诸如用于处理器的指令或者用于固定功能的设备、门阵列或者可编程逻辑设备的配置设置等的。
如本申请中所使用的，术语“电路”是指以下全部：
（a）仅硬件实现（诸如，仅在模拟和/或数字电路中的实现）；以及
（b）电路和软件（和/或固件）的组合，诸如（可应用的）：（i）处理器的组合或者（ii）一起工作以使得装置（诸如移动电话或者服务器）执行各种功能的一个或多个处理器/软件的部分（包括一个或多个数字信号处理器）、软件以及存储器；以及
（c）电路，诸如一个或多个微处理器或者一个或多个微处理器的一部分，即使在在物理上不存在软件或者固件，其也需要软件或者固件来操作。
“电路”的这一定义应用于该术语在本申请包括任何权利要求中的全部使用。作为另外的示例，如在本申请中使用的，术语“电路”还将覆盖仅处理器（或者多个处理器）或者处理器的一部分及其伴随的软件和/或固件的实现。术语“电路”还将覆盖例如（如果可应用于特定权利要求元件的话）用于移动电话的基带集成电路或者应用处理器集成电路，或者服务器、蜂窝网络设备或者其他网络设备中的类似集成电路。
图5和图6中所示的框可以表示方法中的步骤和/或计算机程序16中的代码部分。对框的特定顺序的示出并非意味着框的期望顺序或者优选顺序，而是框的顺序和布置可以改变。另外，可以省略某些框。
虽然已经在前述段落中参照各种示例描述了本发明的实施方式，但是应当理解，在不脱离所要求保护的本发明的范围的情况下，可以对所给出的示例进行修改。例如，应当理解设备20没必要具有图3A或图3B至图3D所示的配置。
当然本领域技术人员可以理解，对图4所示图像传感器部件21和22的解释仅是提供用于说明的目的，在实践中，第一图像传感器部件21和第二图像传感器部件22中提供的像素数目可以更大并且可以是百万级的。
以上说明中描述的特征可以在除了明确描述的组合之外的组合中使用。
虽然已经参照特定特征描述了功能，但是这些功能可以由描述的和没有描述的其他特征来执行。
虽然已经参照特定实施方式描述了特征，但是这些特征还可以存在于描述过或者未描述的其他实施方式中。
同时，以上说明书尽力关注于本发明的确信特别重要的那些特征，应当理解，不管是否特别强调，申请人要求保护参照附图和/或附图中示出的此处的任何可专利特征或者特征的组合。
Claims (33)
1.一种用于图像拼接的方法，包括：
分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；
根据对所述第一图像和所述第二图像的所述分析确定针对第一图像部分和第二图像部分的重叠捕获区域；以及
使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起，
其中使用随所述至少一个上下文特性改变的数据执行所述分析，以及
其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
2.根据权利要求1所述的方法，其中所述第一图像和所述第二图像实质上同时被捕获。
3.根据权利要求1所述的方法，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括：所述第一像素集的子集和所述第二像素集的子集。
4.根据权利要求3所述的方法，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
5.根据权利要求1所述的方法，其中所述第一图像传感器部件与所述第二图像传感器部件是分离的。
6.根据权利要求1所述的方法，其中所述至少一个上下文特性与设备的操作模式和/或设备的周围环境有关。
7.根据权利要求1所述的方法，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重叠捕获区域。
8.根据权利要求1所述的方法，其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
9.根据先前权利要求中的任一项所述的方法，其中使用处于取景模式或摄像模式的相机来捕获所述第一图像和所述第二图像。
10.一种用于图像拼接的设备，包括：
至少一个处理器；以及
存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行：
分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；
根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及
使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起，
其中使用随所述至少一个上下文特性改变的数据执行所述分析，以及
其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
11.根据权利要求10所述的设备，其中所述第一图像和所述第二图像实质上同时被捕获。
12.根据权利要求10所述的设备，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括：所述第一像素集的子集和所述第二像素集的子集。
13.根据权利要求12所述的设备，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
14.根据权利要求10所述的设备，其中所述第一图像传感器部件与所述第二图像传感器部件是分离的。
15.根据权利要求10所述的设备，其中所述至少一个上下文特性与所述设备的操作模式和/或所述设备的周围环境有关。
16.根据权利要求10所述的设备，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重叠捕获区域。
17.根据权利要求10所述的设备，其中所述重叠捕获区域取决于针对所述第一图像传感器和所述第二图像传感器的理论重叠捕获区域。
18.根据权利要求10所述的设备，其中使用处于取景模式或摄像模式的相机来捕获所述第一图像和所述第二图像。
19.根据权利要求10至18中的任一项所述的设备，其中所述设备是包括所述第一图像传感器和所述第二图像传感器的相机。
20.一种用于图像拼接的设备，包括：
用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；
用于根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及
用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置，
其中使用随所述至少一个上下文特性改变的数据执行所述分析，以及
其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
21.根据权利要求20所述的设备，其中所述第一图像和所述第二图像实质上同时被捕获。
22.根据权利要求20所述的设备，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括：所述第一像素集的子集和所述第二像素集的子集。
23.根据权利要求22所述的设备，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
24.根据权利要求20所述的设备，其中所述图像传感器部件与所述第二图像传感器部件是分离的。
25.根据权利要求20所述的设备，其中所述至少一个上下文特性与设备的操作模式和/或设备的周围环境有关。
26.根据权利要求20所述的设备，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重叠捕获区域。
27.根据权利要求20至26中的任一项所述的设备，其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
28.一种用于图像拼接的方法，包括：
分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；
根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；
取决于根据所述对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；
根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及
使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
29.一种用于图像拼接的设备，包括：
用于分析一个或多个图像集的装置，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；
用于根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；
用于取决于根据对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像的装置，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；
用于根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域的装置；以及
用于使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起的装置。
30.一种用于图像拼接的设备，包括：
至少一个处理器；以及
存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行：
分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；
根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；
取决于根据对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；
根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及
使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
31.一种用于图像拼接的方法，包括：
分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；
根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及
使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起，
其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
32.一种用于图像拼接的设备，包括：
至少一个处理器；以及
存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行：
分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；
根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及
使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起，
其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
33.一种用于图像拼接的设备，包括：
用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；
用于根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及
用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置，
其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2011/052318 WO2012164339A1 (en) | 2011-05-27 | 2011-05-27 | Image stitching |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103597810A CN103597810A (zh) | 2014-02-19 |
| CN103597810B true CN103597810B (zh) | 2017-02-15 |
Family
ID=47258437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180071175.6A Active CN103597810B (zh) | 2011-05-27 | 2011-05-27 | 图像拼接 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9390530B2 (zh) |
| EP (1) | EP2716033B1 (zh) |
| CN (1) | CN103597810B (zh) |
| WO (1) | WO2012164339A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9485495B2 (en) | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US9541740B2 (en) * | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| TWI554976B (zh) | 2014-11-17 | 2016-10-21 | 財團法人工業技術研究院 | 監控系統及其影像處理方法 |
| EP3289572B1 (en) * | 2015-04-28 | 2019-06-26 | Signify Holding B.V. | Metadata in multi image scenes |
| CN105334692B (zh) * | 2015-09-28 | 2018-06-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN105338244B (zh) * | 2015-10-30 | 2019-04-16 | 努比亚技术有限公司 | 一种信息处理方法及移动终端 |
| US9721371B2 (en) * | 2015-12-02 | 2017-08-01 | Caterpillar Inc. | Systems and methods for stitching metallographic and stereoscopic images |
| TWI617195B (zh) * | 2017-06-22 | 2018-03-01 | 宏碁股份有限公司 | 影像擷取裝置及其影像拼接方法 |
| CN109214983B (zh) * | 2017-06-30 | 2022-12-13 | 宏碁股份有限公司 | 图像获取装置及其图像拼接方法 |
| CN109272876B (zh) * | 2018-11-21 | 2020-12-11 | 威创集团股份有限公司 | 一种拼接显示系统 |
| US10628698B1 (en) * | 2019-07-02 | 2020-04-21 | Grundium Oy | Method for image stitching |
| CN111007693B (zh) * | 2019-12-17 | 2022-05-31 | 广州立景创新科技有限公司 | 广角摄像装置 |
| CN112987149B (zh) * | 2021-04-21 | 2023-01-20 | 广州立景创新科技有限公司 | 复合棱镜模块以及图像获取模块 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1982934A (zh) * | 2005-12-14 | 2007-06-20 | 索尼株式会社 | 图像拍摄设备、图像处理方法、及图像处理程序 |
| CN101656840A (zh) * | 2008-08-22 | 2010-02-24 | 原相科技股份有限公司 | 广角传感器阵列模块及其图像校正方法、操作方法与应用 |
| CN101930162A (zh) * | 2009-06-22 | 2010-12-29 | 富士胶片株式会社 | 成像设备及其控制方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006111B1 (en) * | 1999-11-09 | 2006-02-28 | Intel Corporation | Digital image stitching |
| US6930703B1 (en) * | 2000-04-29 | 2005-08-16 | Hewlett-Packard Development Company, L.P. | Method and apparatus for automatically capturing a plurality of images during a pan |
| US6788333B1 (en) | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
| KR101142584B1 (ko) * | 2003-11-18 | 2012-05-10 | 스칼라도 아베 | 디지털 이미지 처리 방법 및 이미지 표현 포맷 |
| TW200740212A (en) * | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
| US8139125B2 (en) | 2006-05-05 | 2012-03-20 | Nokia Corporation | Optical image recording device with small height and high resolution |
| US20100289922A1 (en) * | 2006-05-29 | 2010-11-18 | Bit-Side Gmbh | Method and system for processing data sets of image sensors, a corresponding computer program, and a corresponding computer-readable storage medium |
| US8331725B2 (en) | 2007-01-12 | 2012-12-11 | Qualcomm Incorporated | Panoramic imaging techniques |
| US8200039B2 (en) | 2007-04-05 | 2012-06-12 | Adobe Systems Incorporated | Laying out multiple images |
| US8068693B2 (en) * | 2007-07-18 | 2011-11-29 | Samsung Electronics Co., Ltd. | Method for constructing a composite image |
| TWI383666B (zh) * | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
| US20100194851A1 (en) * | 2009-02-03 | 2010-08-05 | Aricent Inc. | Panorama image stitching |
| US8294748B2 (en) * | 2009-12-11 | 2012-10-23 | DigitalOptics Corporation Europe Limited | Panorama imaging using a blending map |
| JP2012010275A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 情報処理装置、情報処理方法、及びそのプログラム |
-
2011
- 2011-05-27 WO PCT/IB2011/052318 patent/WO2012164339A1/en active Application Filing
- 2011-05-27 US US14/119,469 patent/US9390530B2/en active Active
- 2011-05-27 CN CN201180071175.6A patent/CN103597810B/zh active Active
- 2011-05-27 EP EP11866497.8A patent/EP2716033B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1982934A (zh) * | 2005-12-14 | 2007-06-20 | 索尼株式会社 | 图像拍摄设备、图像处理方法、及图像处理程序 |
| CN101656840A (zh) * | 2008-08-22 | 2010-02-24 | 原相科技股份有限公司 | 广角传感器阵列模块及其图像校正方法、操作方法与应用 |
| CN101930162A (zh) * | 2009-06-22 | 2010-12-29 | 富士胶片株式会社 | 成像设备及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140111607A1 (en) | 2014-04-24 |
| US9390530B2 (en) | 2016-07-12 |
| EP2716033B1 (en) | 2019-06-26 |
| EP2716033A1 (en) | 2014-04-09 |
| WO2012164339A1 (en) | 2012-12-06 |
| EP2716033A4 (en) | 2015-03-04 |
| CN103597810A (zh) | 2014-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103597810B (zh) | 图像拼接 | |
| JP5564987B2 (ja) | 被写体追尾装置及び撮像装置 | |
| JP6173156B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US9473702B2 (en) | Controlling image capture and/or controlling image processing | |
| US9066000B2 (en) | 3D auto-focusing camera module and 3D imaging method using same | |
| JP2012015999A (ja) | 撮像装置、画像生成方法およびコンピュータプログラム | |
| JP2009268086A (ja) | 撮像装置 | |
| JP2012065173A5 (ja) | 撮影機器、画像表示方法及びプログラム | |
| JP2010165012A (ja) | 撮像装置、画像検索方法及びプログラム | |
| US8786959B2 (en) | Auto-focusing camera module and auto-focusing method using same | |
| JP6389342B2 (ja) | 撮影装置及びその制御方法 | |
| JP2011019177A (ja) | 被写体位置特定用プログラム、およびカメラ | |
| CN101359085B (zh) | 数字单反相机和数字单反相机的控制方法 | |
| JP6326631B2 (ja) | 撮像装置 | |
| JPWO2014125837A1 (ja) | 撮像装置の異物情報検出装置および異物情報検出方法 | |
| JP6290038B2 (ja) | 電子機器、方法及びプログラム | |
| JP2013165413A (ja) | 画像表示装置 | |
| JP5233554B2 (ja) | 撮像装置及びプログラム | |
| JP2009246700A (ja) | 撮像装置 | |
| JP5573311B2 (ja) | カメラ | |
| KR20100035376A (ko) | 위상 차 자동 초점 제어 방법 및 장치 | |
| KR20110092752A (ko) | 영상 번짐 검출방법 및 이 방법이 구현된 카메라 | |
| JP5644488B2 (ja) | 撮像装置 | |
| JP2009246699A (ja) | 撮像装置 | |
| JP2015111777A (ja) | 撮像装置及び撮像装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160118 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |