CN103534726B - 用于全景摄影的位置传感器辅助的图像配准 - Google Patents

Abstract

本公开涉及用于在手持式个人电子设备中执行位置传感器辅助的全景摄影技术的设备、方法和计算机可读介质。可用于执行此处描述的全景摄影技术的一般化步骤包括但不限于：1）从电子设备的图像传感器获取图像数据；2）对获取的图像数据执行“运动过滤”，例如使用从电子设备的位置传感器返回的信息来通知图像数据的处理；3）在相邻捕获图像之间执行图像配准；4）对捕获图像数据执行几何校正，例如由于视角变化和/或照相机绕非透视中心（COP）照相机点的旋转；以及5）将捕获图像“拼接”在一起以创建全景场景，例如混合相邻捕获图像之间的重叠区域中的图像数据。合成拼接全景图像可在最终存储之前被剪裁。

Description

用于全景摄影的位置传感器辅助的图像配准

相关申请的交叉引用

本申请涉及具有美国专利申请序列号13/109875、13/109878、13/109883和13/109941的共同已转让申请，这些申请中的每一个都提交于2011年5月17日，其整体通过引用合并于此。

技术领域

所公开的实施例总体上涉及全景摄影。更特别地，所公开的实施例涉及用于改善具有图像传感器的手持式个人电子设备的全景摄影。

背景技术

全景摄影一般可定义为用于利用延伸的视野捕捉图像的摄影技术。表现出与人眼的视野接近或更大的视野（例如，大约160°宽乘75°高）的图像可称为“全景”。如此，全景图像一般具有2:1或更大的纵横比，意味着图像的宽是高的至少两倍（或相反，在垂直全景图像的情况下，高是宽的两倍）。在某些实施例中，全景图像甚至可以覆盖多达360度的视野，即，“完全旋转”全景图像。

与拍摄赏心悦目的全景图像相关联的许多挑战在现有技术中得到了很好的描述并且是已知的。这些挑战包括摄影问题，诸如：确定由跨全景场景的照明条件的差异所引起的合适的暴露量设置的困难；由对象在全景场景内的运动所引起的图像条的模糊；以及视差问题，即，归因于照像机绕其透视中心（COP）之外的轴的旋转，连续捕获图像中全景场景中的对象的表观位移或表观位置的差异所导致的问题。COP可以被视为照像机查看的视线会聚的点。COP有时也称为“入射光瞳”。取决于照像机的透镜设计，照像机的光轴上的入射光瞳位置可以在透镜系统的背后、内部或者甚至前面。通常需要某些预先捕捉实验，并使用带有照像机滑动组合件的可旋转三脚架装置，以确保照像机在捕捉全景场景过程中绕其COP旋转。显然，这种准备和计算在手持式个人电子设备中以及自组织（ad-hoc）全景图像捕捉中是不期望的。

其他已知的与拍摄赏心悦目的全景图像相关联的挑战包括后处理问题，诸如：适当地对齐用来构建整体全景图像的各种图像；在用来构建整体全景图像的各种图像的重叠区域之间混合；选择不会使全景照片的就照相而言重要的部分失真的图像投影校正（例如，矩形、圆柱形、墨卡托投影）；以及校正顺序捕获的图像之间的透视变化。

相应地，需要改善诸如移动电话、个人数据助理（PDA）、便携式音乐播放器、数码相机以及膝上型计算机以及平板计算机系统之类的手持式个人电子设备上的全景照片的捕捉以及处理的技术。通过访问从嵌入在手持式个人电子设备内或以别的方式与手持式个人电子设备进行通信的位置传感器（例如，微机电系统（MEMS）加速度计和陀螺仪）返回的信息，可以使用诸如此处所描述的那些之类的更有效的全景摄影技术来以对用户而言无缝且直观的方式实现赏心悦目的全景摄影结果。

发明内容

此处公开的全景摄影技术设计成处理由手持式个人电子设备捕获的一系列全景场景。实现此处描述的全景摄影技术的一般化步骤包括：1）从电子设备的图像传感器的图像流获取图像数据（这能随着用户跨全景场景旋转设备而以连续捕获图像帧的形式实现）；2）对所获取的图像数据执行“运动过滤”（例如，使用从手持式个人电子设备的位置传感器中获得的信息来通知对图像数据的处理）；3）在相邻捕获图像之间执行图像配准；4）对捕获图像数据执行几何校正（例如，由于透视变化和/或照相机围绕非COP点的旋转）；以及5）将捕获图像“拼接”在一起，以创建全景场景，即，混合相邻捕获图像之间的重叠区域中的图像数据。由于图像投影校正、透视校正、对准等，合成拼接全景图像可能具有不规则的形状。因此如果需要的话，合成拼接全景图像可在最终存储之前任选地被剪裁成矩形。下面将比较详细地描述这些一般化步骤中的每一个。

1.图像获取

某些现代照像机的图像传感器可以以30帧每秒（fps）的速率（即每大约0.03秒一个帧）捕捉图像帧。在如此高的图像捕捉速率下，并且给定用户所拍摄的平均全景照片的摇摄（panning）速度，由图像传感器捕捉到的许多图像数据都是冗余的，即，与随后或以前捕捉到的图像帧中的图像数据重叠。事实上，如下文将更详细地描述的那样，在某些实施例中，在捕捉每一图像帧之后只保留狭窄的“条”或“切片”可能是有利的。在某些实施例中，条可以只包括图像帧的中间的12.5%。只要保留相邻的捕捉到的图像条之间的足够的重叠量，此处所描述的全景摄影技术就能够创建在视觉上更使人愉快的全景结果，而由于大量的不需要的和/或冗余的数据可被丢弃，所以可以以提高的效率操作。现代图像传感器可以捕捉低动态范围（LDR）和高动态范围（HDR）图像，此处所描述的技术可以应用于每一种图像。

2.运动过滤

当前在手持式个人电子设备上的自组织（ad-hoc）全景图像生成期间面临的问题之一是，根据设备处理能力能够处理的数据量和设备内部数据通道的容量来保留实际用于全景图像生成的数据量。通过基于前一帧配准、来自设备的位置传感器（例如，陀螺仪和/或加速度计）的加速度变化和照像机旋转变化信息，使用照像机运动的启发规则，可以“滤除”由于缺乏照像机位置的足够变化而将只产生冗余图像数据的图像条。此过滤不是计算密集的，并且减少了传递到全景图像处理操作的计算密集部分的图像条的数量。运动过滤还通过只保留图像数据的所需部分而减少了全景图像处理操作的存储器占用空间。

3.图像配准

图像配准涉及匹配一组图像中的特征，或使用直接对准方法来搜索最小化重叠像素之间的绝对差异之和的图像对准。在全景摄影的情况下，图像配准一般应用在两个连续捕获或以其他方式重叠的图像之间。可以使用各种已知技术来帮助图像配准，诸如特征检测和交叉关联。通过访问从设备的位置传感器返回的信息，可以改善诸如特征检测和交叉关联之类的图像配准技术，并使它们更有效率。从设备传感器接收到的位置信息可以充当对要配准的两个图像中的各个特征或区域之间计算的搜索矢量的检查。例如，从一个图像帧到下一图像，全景场景内的对象的与用户的摇摄运动相反的移动可表明与两个图像之间的实际运动相反的局部搜索矢量。通过对照从设备的位置传感器接收到的信息检查局部搜索矢量信息，可以从图像配准计算中丢弃图像的不一致的和/或无用的片段，如此，使计算从计算角度来看不太密集，并减少全景图像处理操作的存储器占用空间。

4.几何校正

顺序捕获的图像帧（或图像条）之间的透视变化可能会导致位于连续图像帧（或条）之间的重叠区域的对象的错位。在此处所描述的技术中，从设备的位置传感器（例如，MEMS陀螺仪）接收到的信息用于计算照像机从一个帧到另一个帧的旋转变化。然后，可以使用此数据来对捕捉到的图像帧进行完全透视校正。在某些情况下，对图像数据执行透视或其他几何校正可以是在连续捕获图像帧的对准和拼接之前的关键的步骤。可以使用诸如立方内插或三次样条函数（即，多项式解释）之类的各种已知卷曲（warping）技术来校正透视并在连续捕获图像帧之间进行内插。

5.图像拼接

根据某些实施例，组装全景图像的最后一个步骤是将连续保留图像帧“拼接”在一起。可以将图像帧置于组装缓冲器中，在那里，可以确定图像（或图像的某些部分）之间的重叠区域，并可以根据混合公式，例如，线性、多项式或其他阿尔法混合公式，将重叠区域混合成最终的合成图像区域。两个连续保留图像帧之间的混合试图隐藏帧之间的小差异，但是还可具有使该区域中的图像模糊的后果。对于出现在重叠区域中的所感兴趣的任何对象，这不是理想的，对于出现在重叠区域中的人脸，特别不合乎需要，因为它们会通过混合变得失真，变得对全景图像的人观察者非常明显。通过定位正在被拼接的图像帧中的脸，此处所描述的全景摄影过程的一实施例通过创建场景图形来避免跨脸混合，以便只使用来自正在被混合的图像帧中的一个图像帧的脸。由于大量的重叠图像条被捕获，所以还可对用作人脸信息的图像帧的选择进行进一步的细化，例如，可以跨连续保留的图像条比较脸的存在，以便例如选择其中脸中的眼睛是睁开的条，而并非选择脸中的眼睛是闭着的条。

如此，在此处所描述的一个实施例中，公开了一种图像处理方法，包括：从设备中的图像传感器接收第一图像序列；接收设备的旋转信息；至少部分地基于旋转信息，选择第一图像序列的子集以生成第二图像序列；组合第二图像序列中的每一个的一部分，以便第二图像序列中的每一图像的每一部分重叠第二图像序列中另一图像的至少另一部分；以及混合第二图像序列中的图像的部分之间的重叠中的每一个，以产生全景图像。

在此处所描述的另一个实施例中，公开了一种图像处理方法，包括：对第一图像执行图像配准，其中所述第一图像是在第一位置利用设备拍摄的；接收表示设备从第一位置到第二位置的移动的数据；至少部分地基于设备移动没有超出阈值移动量的判断，从多个图像中滤除第二图像，其中第二图像是在第二位置拍摄的；对来自多个图像中的一个或多个额外图像执行图像配准；以及使用第一图像和一个或多个额外图像生成全景图像。

在此处所描述的再一个实施例中，公开了一种图像配准方法，包括：从设备获得位置信息；从设备获取第一和第二图像；将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准，以识别多个相应的区域；确定多个相应的区域中的每一个的搜索矢量；从所述多个相应的区域中只选择那些具有符合所述位置信息的搜索矢量的相应的区域，以识别多个一致的区域；以及，使用所述多个一致的区域来配准所述第一和第二图像。

在此处所描述的再一个实施例中，公开了一种图像配准方法，包括：接收由设备捕获的第一图像；从一个或多个位置传感器接收设备移动数据；接收由设备捕获的第二图像；以及使用所述设备移动数据和所述第一图像，对所述第二图像执行图像配准，其中所述设备移动数据提供在执行图像配准的动作中所使用的搜索矢量，其中所述第二图像是由所述设备在比所述第一图像稍晚的时间点捕捉到的。

在此处所描述的另一个实施例中，公开了一种图像处理方法，包括：在第一时间从设备获取第一图像；在第二时间从设备获取第二图像；从设备中的传感器接收位置信息，位置信息表示在第一和第二时间之间设备的位置的变化量；基于接收到的位置信息，对第一或者第二图像应用几何校正；以及，将第一图像与第二图像配准。

在此处所描述的另一个实施例中，公开了一种图像处理方法，包括：接收设备中的多个图像帧的图像数据；接收表示多个图像帧中的第一图像帧和多个图像帧中的第二图像帧的捕捉之间的设备移动的传感器数据；以及基于接收到的传感器数据，对多个图像帧中的第一图像帧或第二图像帧应用透视校正。

在此处所描述的再一个实施例中，公开了一种生成全景图像的方法，包括：获取具有第一区域和第二区域的第一图像，第二区域包括脸的第一表示，第一图像存储在第一存储器中；获取具有第三区域和第四区域的第二图像，第三区域包括脸的第二表示，第二图像存储在第二存储器中；对准第一和第二图像，以便第二和第三区域重叠，以生成重叠区域；掩盖重叠区域中与脸的第一表示对应的区域，以生成掩盖区域；除了掩盖区域外，混合重叠区中的第一和第二图像，以生成混合区域；以及生成包括第一区域、第四区域和混合区域的结果图像，其中混合区域中与掩盖区域对应的区域被替换为脸的第一表示。

在此处所描述的再一个实施例中，公开了一种生成全景图像的方法，包括：接收设备中的表示包括场景的多个图像的数据；确定来自多个图像的第一图像和第二之间的重叠区域；识别在第一图像和第二图像的每个中在一位置表示的感兴趣的特征，其中每一表示都位于重叠区域中；从第一图像选择感兴趣特征的表示；在重叠区域中在第一图像和第二图像之间进行混合，以生成合成重叠区域；以及使用合成重叠区域来替换第一图像和第二图像之间的重叠区域，组装第一图像和第二图像，其中，混合的动作排除识别的感兴趣的特征的位置，其中，所选表示用于识别的感兴趣特征的位置处的合成重叠区域。

在此处所描述的再一个实施例中，公开了一种生成全景图像的方法，包括：在设备中接收表示多个图像的数据；识别多个图像中的一个或多个脸所在的一个或多个位置；以及混合多个图像的重叠区域以形成全景图像，其中混合动作排除图像的在重叠区域中具有一个或多个脸位置的区域。

根据此处所描述的各实施例的用于手持式个人电子设备的位置传感器辅助的全景摄影技术可以直接通过设备的硬件和/或软件来实现，如此，使这些实用的全景摄影技术轻松地适用于带有合适的位置传感器以及处理能力的任意数量的电子设备，诸如移动电话、个人数据助理（PDA）、便携式音乐播放器、数码相机、膝上型计算机以及平板计算机系统。

附图说明

图1示出了根据一实施例的位置传感器辅助的全景摄影系统。

图2示出了根据一实施例的位置传感器辅助的创建全景图像的过程。

图3示出了根据一实施例由电子设备捕捉的示例性全景场景。

图4示出了根据一实施例的执行位置传感器辅助的运动过滤以用于全景摄影的过程。

图5A示出了根据一实施例的由恒速跨场景摇摄的电子设备捕捉到的示例性全景场景。

图5B示出了根据一实施例的由非恒速跨场景摇摄的电子设备捕捉到的示例性全景场景。

图6示出了根据一实施例的图像“条”或“切片”。

图7A示出了根据一实施例的带有拱（arch）的示例性全景扫视。

图7B示出了根据一实施例的示例性近似线性全景扫视。

图7C示出了根据一实施例的示例性“短臂”全景扫视。

图7D示出了根据一实施例的示例性“长臂”全景扫视。

图8示出了根据一实施例的执行全景摄影的图像配准的过程。

图9示出了根据一实施例的位置信息辅助的特征检测。

图10示出了根据一实施例的给定图像帧的搜索矢量段。

图11示出了根据一实施例的图像配准的判断流程图。

图12示出了根据一实施例的执行全景摄影的几何校正的过程。

图13示出了根据一实施例的在图像条或切片的上下文中由于照相机旋转而造成的透视变化。

图14示出了根据一实施例的执行全景摄影的图像拼接的过程。

图15示出了根据现有技术的示例性拼接图像。

图16示出了在根据现有技术的组装的拼接全景图像中发生的示例性混合误差。

图17示出了根据一实施例的拼接的全景图像中的示例性关注区域。

图18示出了根据一实施例的关注区域已知的拼接全景图像的示例性场景图形。

图19示出了拥有显示器的代表性电子设备的简化功能框图。

具体实施方式

本发明涉及用于在手持式个人电子设备中执行位置传感器辅助的全景摄影技术的设备、方法和计算机可读介质。可以使用一般化的步骤来实现此处所描述的全景摄影技术，所述步骤包括：1）从电子设备的图像传感器获取图像数据；2）对获取的图像数据执行“运动过滤”，例如使用从电子设备的位置传感器获得的信息来通知对图像数据的处理；3）在相邻捕获图像之间执行图像配准；4）对捕获图像数据执行几何校正，例如由于透视变化和/或照相机绕非透视中心（COP）照相机点的旋转；以及5）将捕获图像“拼接”在一起以创建全景场景，例如混合相邻捕获图像之间的重叠区域中的图像数据。如果需要，合成拼接全景图像可以在最终存储之前被剪裁。

此处所公开的技术适用于带有光学传感器的任意数量的电子设备，诸如数码相机、数字视频摄像机、移动电话、个人数据助理（PDA）、便携式音乐播放器、膝上型计算机以及平板计算机系统。

为了清楚起见，并非实际实现的所有特征都被描述。当然，应理解，在任何实际实现的开发过程中（如在任何开发项目中那样），必须作出很多判断以实现开发人员的特定目标（例如，符合系统以及业务相关的约束），这些目标将在一个实现与另一个实现之间变化。还可以进一步理解，这样的开发工作可能是复杂而耗时的，但是，是本领域技术人员的日常工作。

在以下描述中，为解释起见，阐明了众多具体细节以提供对发明构思的全面理解。作为描述的一部分，某些结构和设备可以以框图形式示出，以便避免使本发明模糊。此外，本发明中所使用的语言主要用于可读性和指导目的，可以不选择这些语言来描绘或限定发明的主题，需要权利要求来确定这样的发明主题。说明书中对“一个实施例”、“优选实施例”、“实施例”等的引用意味着结合该实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中，对“一实施例”或“实施例”的多个引用不应理解为一定都引用同一实施例。

现在参考图1，示出了根据一实施例的位置传感器辅助的全景摄影系统100。图1所示的系统100在逻辑上分为四个单独的层。这样的层简单地呈现为在逻辑上组织全景摄影系统的功能的方式。在实践中，各层可以在同一设备内或跨多个设备分散。可另选地，在一些实施例中，某些层可能根本不存在。

首先，将描述照像机层120。照像机层120包括个人电子设备122，个人电子设备122拥有能够捕捉图像数据流126（例如，单独图像帧128的图像流或视频流的形式）的一个或多个图像传感器。在某些实施例中，图像可以由设备122的图像传感器以30fps的速率来捕捉。设备122还可包括位置传感器124。位置传感器124可以包括例如用于计算照相设备从一个帧到另一个帧的旋转变化的MEMS陀螺仪，或者MEMS加速度计，诸如超小型低功率三轴线性加速度计。加速度计可以包括感测元件和能够通过串行接口提供设备测量的加速度的集成电路（IC）接口。如图像流126中的图像帧128所示，树对象130由设备122在它跨全景场景摇摄时捕捉。图1中的实线箭头代表图像数据的移动，虚线箭头代表元数据或描述实际图像数据的其他信息的移动。

接下来，将描述过滤层140。过滤层140包括可以从设备122的位置传感器124接收输入146的运动过滤模块142。从位置传感器124接收到的这样的信息被运动过滤模块142用来作出图像流126中的哪些图像帧128将被用来构建合成全景场景的判断。如通过检查示例性运动过滤了的图像流144可以看到的那样，运动过滤器只保留由设备122的图像传感器捕捉到的每大致三个图像帧128中的一个。通过以智能和有效率的方式来消除冗余图像数据，例如，由从设备122的位置传感器124接收到的位置信息驱动，运动过滤模块142能够滤除足够量的外部图像数据，以便全景处理层160接收具有理想的重叠的图像帧，且因此能够实时地对图像数据的高分辨率和/或低分辨率版本执行全景处理，可任选地，在它被实时组装时向设备122的显示屏幕显示全景图像。

如上所述，全景处理层160拥有全景处理模块162，全景处理模块162从过滤层140接收经过运动过滤了的图像流144作为输入。全景处理模块162可以优选地驻留在在设备122的操作系统中运行的应用级别。全景处理模块162可以执行诸如以下的任务：图像配准、集合校正、对准和“拼接”或混合，下面将更详细地描述这些功能中的每个。最后，全景处理模块162可以任选地剪裁最终全景图像，然后将它发送到存储器层180以用于在储存单元182中永久或临时存储。储存单元182可以包括例如一个或多个不同类型的存储器，例如高速缓存、ROM和/或RAM。全景处理模块162还可将图像配准信息164反馈到运动过滤模块142以使运动过滤模块142关于将设备位置移动与图像流中的连续图像帧之间的重叠量相关联做出更准确的判断。此信息反馈可以使运动过滤模块142更有效率地选择图像帧以便放置到经过运动过滤了的图像流144中。

现在参考图2，以流程图的形式在高级别示出了根据一实施例的用于在位置传感器的辅助下创建全景图像的过程200。首先，电子设备例如包括一个或多个图像传感器以及一个或多个位置传感器的手持式个人电子设备可以捕捉图像数据，其中捕捉到的图像数据可以呈现为图像帧的图像流的形式（步骤202）。接下来，可以对获取的图像数据执行运动过滤，例如，使用陀螺仪或加速度计来辅助运动过滤判断（步骤204）。一旦创建了经过运动过滤的图像流，过程200可以尝试在来自图像流的连续捕获图像帧之间执行图像配准（步骤206）。如下面将讨论的那样，可以通过使用从设备内的位置传感器接收到的信息来流水线化图像配准过程206，并且使其更有效率。接下来，可以对捕捉到的图像数据执行任何必需的几何校正（步骤208）。捕捉到的图像帧的几何校正的必要性可以由例如照像机在连续捕获图像帧之间的移动或旋转（如果照像机不围绕其COP点旋转，可能会改变照像机的透视并导致视差）所导致。接下来，全景图像处理200可以执行获取的图像数据的“拼接”和/或混合（步骤210）。如下面将更详细地说明的那样，通过应用此处所公开的某些技术，可以避免在全景摄影中发现的常见混合误差。如果更多图像数据仍要被附加到合成全景图像（步骤212），则过程200可以返回到步骤202，并执行过程200以获取要被处理并被附加到全景图像的下一图像帧。如果相反，在步骤212处没有进一步的图像数据，则可以任选地剪裁最后的图像（步骤214）和/或将其存储到某种形式的易失性或非易失性存储器中（步骤216）。还应注意，图像获取步骤202可以在现实中在全景图像捕捉过程中连续地发生，即，与步骤204-210的执行同时发生。如此，图2仅用于说明，而不表明捕捉图像数据的动作是在步骤204-210的执行过程中停止的离散事件。图像获取持续，直到步骤212，照相设备的用户表示期望停止全景图像捕捉过程或者照相设备用完分配给该过程的空闲存储器时。

现在已经系统地且过程地在高级别描述了全景成像过程200，注意力将转向到更详细地说明有效率地并且有效地创建通过图像捕捉设备本身中的位置传感器辅助的全景照片的过程。

现在转向图3，示出了根据一实施例的由电子设备308捕捉的示例性全景场景300。如图3所示，全景场景300包括一系列建筑物，包括城市的天际线。城市天际线是经常希望被捕捉到全景照片中的广视野场景的一个示例。理想地，全景照片可以以大致与人眼在场景采取的方式近似的方式来描绘场景，即，接近于180度的视野。如图3所示，全景场景300包括160度视野。

标记有“x”的轴306表示在捕捉全景场景300过程中照相设备308的定向运动的轴。如图3所示，照相设备308在给定时间间隔t1-t5关于x轴向右平移，随着它沿着其全景路径移动，捕捉全景场景300的连续图像。在其他实施例中，全景扫视可涉及照相设备围绕轴的旋转，或照像机围绕轴的旋转和照像机沿轴的平移的组合。如照相设备308的虚线版本所示，在图3所示的假设的全景场景捕捉过程中，照相设备308在时间t₁将在位置308₁，然后在时间t₂，在位置308₂，依次类推，直到在时间t₅，到达位置308₅，此时，全景路径将完成，照相设备308的用户304将指示设备停止捕捉全景场景300的连续图像。

图像帧310₁-310₅表示在图3所示的假设的全景场景捕捉过程中在相应的时间和位置由照相设备308捕捉到的图像帧。即，图像帧310₁对应于在位置308₁和时间t₁由照相设备308捕捉到的图像帧。注意，在位置308₁时照相设备308的视野被标记为302₁，与用户304和正在被捕捉到的全景场景300之间的距离相结合，决定了可以在单一图像帧310中捕捉到的全景场景的量。在传统的全景摄影中，摄影者可以在若干个不同的设定位置拍摄全景场景的一系列单个照片，尝试获得全景场景的完全覆盖，同时仍允许相邻照片之间有足够的重叠，以便它们可以对准并“拼接”在一起，例如使用在计算机或照相设备本身上运行的后处理软件。在某些实施例中，需要在相邻照片之间有足够的重叠量，以便后处理软件可以确定如何将相邻照片彼此对准，以便然后可以将它们拼接在一起，并可任选地在它们的重叠区域进行混合，以创建合成全景场景。如图3所示，单个帧310表现出与相邻图像帧有大致25%的重叠。在某些实施例中，取决于照相设备的存储器和处理约束以及正在使用的后处理软件，将需要相邻图像帧之间的更多重叠。

在照相设备308是视频捕捉设备的情况下，照像机可以能够每秒捕捉十五帧或更多帧。如下面将更详细说明的那样，以此捕捉速率，图像数据中的许多数据可能是冗余的，在相邻图像之间提供比创建合成全景图像的拼接软件所需的重叠多得多的重叠。如此，发明人发现了用于位置传感器辅助的全景摄影的新颖且令人吃惊的技术，该技术智能地并且有效率地确定在创建合成全景图像时可以使用哪些捕获图像帧，哪些捕获图像帧可以作为过度冗余而被丢弃。

现在参考图4，以流程图的形式示出了根据一实施例的执行全景摄影的位置传感器辅助的运动过滤的过程204。图4提供了上文参考图2描述的运动过滤步骤204的更多细节。首先，从电子设备（例如手持式个人电子设备）的图像传感器获取图像帧，并指定为“当前图像帧”，用于运动过滤（步骤400）。接下来，使用例如设备的陀螺仪或加速度计获取位置数据（步骤402）。此时，如果尚未完成，则过程204可能需要将从加速度计和/或陀螺仪获取的位置数据在时间上与获取的图像帧关联。由于照相设备的图像传感器和位置传感器可能具有不同的采样速率和/或具有不同的数据处理速率，因此，准确地知道给定位置传感器数据组链接到哪一个（哪些）图像帧是重要的。在一实施例中，过程204可以使用第一系统中断（interrupt）作为参考点，以将图像数据与位置数据同步，然后，依赖于使用的各种传感器的采样速率知识使图像数据与位置数据保持适当的时间同步。在另一实施例中，可以使用周期性的系统中断来更新或维持同步信息。

接下来，运动过滤过程204可以使用位置传感器数据（以及来自图像配准过程的反馈，如下面将更详细地讨论的那样），确定当前图像帧和前一已分析的图像帧（如果有的话）之间的旋转角（步骤406）。例如，运动过滤过程204（例如，如由运动过滤模块142执行的那样）可以通过对先前捕获的图像帧的间隔的旋转角求积分，并计算当前图像帧的平均旋转角，来计算旋转角。在某些实施例中，可以查询“查询表”（LUT）。在这样的实施例中，LUT可以拥有各种旋转量的条目，这些旋转量链接到可以从合成全景图像的组装中滤除的图像数量。如果当前图像帧的旋转角已经超出旋转阈值（步骤408），那么过程204可以转到图2所示的过程流程图的步骤206以执行图像配准（步骤410）。如果相反，在步骤408中，判断当前图像帧未超出阈值旋转量，那么可以丢弃当前图像帧（步骤412），过程204可以返回到步骤400以获取下一捕捉到的图像帧，此时，过程204可以重复运动过滤分析以判断下一帧是否值得保留以用于合成全景照片。换言之，利用运动过滤，丢弃的图像帧不是仅每个第三帧或每个第五帧；相反，通过运动过滤模块计算哪些图像帧可能提供对于合成组装全景图像的完全覆盖来确定要丢弃的图像帧。在一实施例中，将旋转角（以度为单位）转换为大致图像中心位置变化（即，平移量）的公式如下：平移=f*sin(3.1415926*角度/180)，其中f是焦距。严格来说，由于旋转带来了透视变化，因此图像中的每个像素具有不同的位置变化，但是当使用相对狭窄的成份图像来构建全景图像时，上面的公式给出了良好的估计。

现在转向图5A，示出了根据一实施例由恒速跨场景摇摄的电子设备308捕捉到的示例性全景场景300。图5A示出了可以由运动过滤模块142在跨全景场景的恒速全景扫视过程中作出的示例性判断。如图5A所示，全景扫视始于设备位置308_开始，并在位置308_停止结束。表示设备308的全景扫视路径的平行于轴306的虚线标记有“（dx/dt>0,d²x/dt²=0）”，以指示当设备以某速度移动时，其速度在全景扫视过程中不改变。

在图5A的示例性实施例中，设备308正在以一帧速（例如，30帧每秒）捕捉视频图像流500。如此，作为示例，持续2.5秒的扫视将捕捉75个图像帧502，如图5A所示。图像帧502标记有502₁-502₇₅的下标以指出在全景场景300的全景扫视过程中它们被捕捉的顺序。可以从大量捕捉到的图像帧502看出，后处理软件只需要图像帧的不同子集来组装合成全景照片。通过智能地消除冗余数据，全景摄影过程200可以在设备308上更平稳地运行，甚至使设备308在正在捕捉全景场景时实时地提供预览并组装合成全景照片。

选择包括在合成全景照片的组装中的捕获图像帧的频率可以取决于任意数量的因素，包括：设备308的视野302；照相设备308和正被捕捉的全景场景300之间的距离；以及照相设备308转动的速度和/或加速度。在图5A的示例性实施例中，运动过滤模块判断需要图像帧502₂、502₂₀、502₃₈、502₅₆以及502₇₄包括在合成全景照片的构建中。换言之，大致每第18个捕获图像帧将被包括在图5A的示例中的合成全景照片的构建中。在下文中参考图5B将看出，在由运动过滤模块选择的用于包括的图像帧之间捕捉到的图像帧的数量可以大于或小于18，并且可以实际上基于例如照相设备308在扫视过程中的速度、扫视过程中的加速度或减速度、照相设备308在全景扫视过程中的旋转而在全景扫视过程中变化。

如图5A所示，在相邻选择图像帧之间有大致25%的重叠。在某些实施例中，取决于照相设备的存储器和处理约束以及正在使用的后处理软件，将需要选择的相邻图像帧之间的更多重叠。如下文参考图6比较详细地描述的那样，以足够大每秒帧数的捕捉速率，可以通过只分析每一捕捉到的图像帧的“条”或“切片”而非整个捕捉到的图像帧，而在全景摄影过程200中实现甚至更大的效率。

现在转向图5B，示出了根据一实施例的由非恒速跨场景摇摄的电子设备308捕捉到的示例性全景场景300。图5B示出了可以由运动过滤模块在跨全景场景的非恒速全景扫视过程中作出的示例性判断。如图5B所示，全景扫视从设备位置308_开始开始，并在位置308_停止结束。表示设备308的全景扫视路径的平行于轴306的虚线标记有“（dx/dt>0,d²x/dt²≠0）”，以指示设备以某个非零速度移动，其速度沿全景路径变化。

在图5B的示例性实施例中，设备308正在以一帧速（例如，30帧每秒）捕捉视频图像流504。如此，作为示例，持续2.1秒的扫视将捕捉63个图像帧506，如图5B所示。图像帧506标记有从506₁-506₆₃的下标，以指出在全景场景300的全景扫视过程中它们被捕捉的顺序。

在图5B的示例性实施例中，运动过滤模块判断需要图像帧506₂、506₈、506₂₆、506₄₄以及506₆₂包括在合成全景照片的构建中。换言之，在由运动过滤模块选择的图像帧之间捕捉到的图像帧的数量可以基于，例如，照相设备308在扫视过程中的速度、扫视过程中的加速度或减速度、照相设备308在全景扫视过程中的旋转而在全景扫视过程中变化。

如图5B所示，设备308的移动在全景扫视的头四分之一更快（比较全景扫视的开始处的虚线中的较大划线和全景扫视的结束处的虚线中的较小划线）。如此，运动过滤模块判断，在选择图像帧506₂之后，到照相设备308刚刚捕捉6个随后的图像帧时，有跨全景场景300的照像机的足够的移动（由于照相设备的旋转、平移或两者的组合），以至于必须选择图像帧506₈以便包括在合成全景照片中。在捕捉图像帧506₈之后，在全景扫视过程中照相设备308的移动减慢到更近乎于上文参考图5A所描述的全景扫视的速度的级别。如此，运动过滤模块可以再次确定，捕捉每个第十八帧将提供全景场景的足够覆盖。如此，选择图像帧506₂₆、506₄₄以及506₆₂用于包括在合成全景照片的构建中。通过实时地对照相设备308的运动作出反应，全景摄影过程200可以智能地并且有效率地选择图像数据以发送到全景摄影过程的需要更多计算的配准和拼接部分。换言之，运动过滤动作发生的速率可以直接与在图像捕捉过程中设备正在被加速和/或旋转的速率相关。

如上所述，现代图像传感器能够以十分高的捕捉速率，例如30帧每秒，捕捉十分大的图像，例如八兆像素的图像。给定平均全景照片的摇摄速度，这些图像传感器能够在非常短的时间内产生（但不一定处理）特大量的数据。此产生的图像数据中许多在连续捕获图像帧之间具有大量的重叠。如此，发明人已经认识到，通过只对选择的图像帧的一部分（例如，图像帧的“条”或“切片”）进行操作，可以实现更大的效率。在优选实施例中，条可以包括每一图像帧的中间八分之一部分。在其他实施例中，可以使用图像的其他部分来作为“条”或“切片”，例如，可以使用图像的三分之一、四分之一，或五分之一。

现在转向图6，示出了根据一实施例的图像“条”或“切片”604。在图6中，通过标记为602₁-602₄的选择的图像帧的序列，捕捉了全景场景600。如上文参考运动过滤所讨论的那样，标记为602₁-602₄的所选图像帧可以表示实现全景场景600的完全覆盖所需的图像帧。跟踪线606表示全景场景600的对应于第一捕获图像帧602₁的部分。每一捕捉到的图像帧602的中心部分604都表示在构建合成全景照片时可以使用的所选图像条或切片。如图6所示，图像条大致包括图像帧的中间12.5%。图像帧602的斜线阴影区域可以类似地作为其他捕获图像数据的过度冗余被丢弃。根据此处所描述的一实施例，标记为604₁-604₄的选择的图像条中的每一个都可以随后对准，拼接在一起，并在它们的重叠区域进行混合，产生合成全景图像部分608。部分608表示在四个图像条604₁-604₄捕捉到的全景场景的区域。另外，发明人还惊讶地发现，通过运动过滤器，只对选择用于附加处理的每一图像帧的一部分（例如，每一所选图像帧的中心部分）进行操作，某些光学伪像诸如桶形畸变或枕形畸变、透镜阴影、渐晕等（越接近捕获图像的边缘，越显著），可以减弱或完全消除。进一步地，只对每一所选图像帧的某些部分进行操作可以为全景摄影过程创建较小的瞬时存储器占用空间，当组装完全分辨率的全景图像时，这可能变得重要。

现在转向图7A，示出了根据一实施例的带有拱700的示例性全景扫视。在图7A中，当捕捉三个不同的图像时，照相设备旋转45度角。实线对应于捕捉图像1时照像机的视野，粗实线表示图像1的平面；虚线对应于捕捉图像2时照像机的视野，粗虚线表示图像2的平面；点线对应于捕捉图像3时照像机的视野，粗点线表示图像3的平面。标记为“目标混合区域”的区域表示图像1和2之间的重叠区域。在图像2和3之间将会有相应的目标混合区域，但是为简明起见，没有标记它。在旋转全景扫视的情况下（照像机没有也在空间中移动），目标混合区域的大小可以高度取决于连续捕获图像帧之间的照像机的角旋转量。如上文所提及的那样，在一优选实施例中，连续捕获图像之间的重叠量大致是25%，但是可以更大或更小，这取决于所使用的图像配准算法。

在图7A上还标记了点[x₁,y₁]和[x₂,y₂]。这些点的组对应于位于图像1和图像2二者中的示例性特征或边缘或其他可检测部分。通过定位图像2中的图像1的相同特征、边缘或其他部分，并且然后记录其在图像2和图像1中的位置之间的差异，可以为图像2计算此处称为[tx，ty]值的值。在一实施例中，可以根据下列公式来计算图像2中的给定点的[tx,ty]：[(x₂-x₁),(y₂-y₁)]。通过使用[tx,ty]值，全景摄影过程200然后可以能够在正被讨论的两个图像之间更好地对准，即，执行图像配准。除帮助图像配准之外，[tx,ty]值的使用可以与从设备的位置传感器获得的位置信息相关联。换言之，图像配准过程206能够精化由运动过滤模块作出的涉及设备的多少移动对应于捕捉到的图像的多少实际移动的计算。例如，如果运动过滤模块在1度的旋转对应于随后捕获图像中的10个像素移动的假设条件下操作，但是图像配准过程206判断，对于连续捕获图像之间的10度旋转，特定特征移动150像素，则运动过滤模块可以向上调整其假设，从而1度的照像机旋转此后与随后捕获图像中的假设的15个像素的移动而并非只10个像素的移动相关联。从图像配准过程206到运动过滤模块的此信息反馈在图2中通过标记“反馈”的从步骤206指向步骤204的虚线箭头来表示。

现在转向图7B，示出了根据一实施例的示例性接近线性的全景扫视725。在图7B中，在捕获五个不同图像期间，照相设备在全景扫视初期旋转15度角，然后位置发生平移而没有进一步的旋转。实线对应于捕捉图像1时照像机的视野，粗实线表示图像1的平面；虚线对应于捕捉图像2到5时照像机的视野，粗虚线分别表示图像2到5的平面。标记为“目标混合区域”的区域表示图像1和2之间的重叠区域。在图像2和3之间以及连续捕获图像的相互之间，将会有相应的目标混合区域，但是为简明起见，没有标记它们。在接近线性全景扫视的情况下，目标混合区域的大小可以高度取决于连续捕获图像帧之间的照像机的移动速度。对于接近线性全景扫视，可能潜在地需要更多图像，因为照像机的视野可能比在仅仅旋转扫视过程中更快地变化，然而，只要在连续捕获图像帧之间保持有足够的重叠，全景过程200就可以产生合成图像。

当然，其他类型的全景扫视也是可行的。例如，图7C示出了“短臂”全景扫视750，即，具有相对更多的旋转和更少的位移的全景扫视。另一方面，图7D示出了“长臂”全景扫视775的示例，即，对于每度的旋转，比“短臂”全景扫视具有更多位移的全景扫视。通过使用照相设备内的位置传感器能够区别无限多类型的全景扫视，运动过滤模块可以对全景摄影过程作出合适的调整，以便仍以高效率的方式生成在视觉上更使人愉快的全景摄影结果。

现在转向图8，以流程图的形式示出了根据一实施例的执行全景摄影的图像配准的过程206。图8提供了上文参考图2所描述的图像配准步骤206的更多细节。首先，过程206可以获取将要被配准的两个图像（步骤800）。接下来，可以将每一图像分成多个段（步骤802）。图像段可以被定义为图像的预定大小的一部分。除图像信息之外，过程206可以获取元数据信息，例如对应于要被配准的图像帧的位置信息（步骤804）。通过使用涉及例如特征检测算法（诸如“FAST”加“随机样本一致性”（RANSAC）算法、Harris、SIFT或Kanade-Lucas-Tomasi（KLT）特征跟踪算法）或交叉关联算法（即，通过关联度量，将第一图像中的强度图案与第二图像中的强度图案交叉关联的方法）的图像配准算法，可以计算图像的每一段的搜索矢量。段搜索矢量可以被定义为表示将需要应用于来自第一图像的段以给予它第二图像中的其位置的转换的矢量。一旦计算了搜索矢量，过程206可以考虑从设备的位置传感器获取的位置信息，并且丢弃计算出的搜索矢量不符合所获取的位置数据的段的任何搜索矢量（步骤808）。即，过程206可以丢弃与由位置信息指出的移动方向相反或基本相反的任何搜索矢量。例如，如果位置信息指出照像机在连续的图像帧之间向右旋转，并且从一个捕捉到的图像到下一捕捉到的图像，图像中的对象向右移动（即，给定照相机移动，与预期方向相反）或者甚至保持固定，则过程206可以判断特定段表示异常值或另外的无用的搜索矢量。给定位置传感器信息，与预期运动相反的段搜索矢量可以从整体图像配准计算中丢弃（步骤808）。

在为图像配准使用交叉关联算法的情况下，评估第一图像（图像A）中的给定像素（像素A）和第二图像（图像B）中的相应像素（像素A'）之间的直接差异。然后以同样方式取像素B和B'之间的差异，等等，直到评估了所有的所需像素。此时，将全部差异相加在一起。接下来，交叉关联过程滑动一个像素，求像素A和B'，B和C'之间的直接差异，等等，直到评估了所有的所需像素。此时，对于新的“滑动一个像素”的位置，将全部差异相加在一起。交叉关联可以重复此过程，在所有相关方向将评估过程滑动一个像素，直到求出所有总和的最小值，这表示当第一图像在导致最小总和的方向移动时，图像匹配。对于给定的要被配准的一对图像，并非在每一可能的方向进行查询来确定最小差异方向，在给定设备的位置传感器的提示的情况下，查询方向的数量可以仅限于有意义的那些。通过限制在交叉关联算法的每一级别的查询数量，可以潜在地显著加快配准过程206。如果对于任何一个图像丢弃了超过阈值数量的段（步骤810），则过程206可以使用为先前分析的图像帧计算的平移矢量来执行配准，对当前图像帧进行从加速度计和/或陀螺仪接收到的位置信息建议的必要的调整（步骤816）。在某些实施例中，阈值段数量可以大致是图像已经分成的所有段的50%。过程206然后可以返回到步骤800，并等待下一对要配准的图像。如果相反，在步骤810中，对于图像，未丢弃超过阈值数量的段，则过程206可以基于从位置信息获取的提示，利用未丢弃的剩余矢量，计算图像的整体平移矢量，在返回到步骤800以等待下一对要配准的图像之前，配准新获取的图像（步骤814）。

在给定位置信息提示的情况下，图像段的移动可以与预期运动相反的一种特殊情况是在镜子中的反射移动的情况。在这些情况下，如果上文参考图8所描述的图像配准过程206表明，在给定照像机的移动的情况下，大多数或全部矢量都是异常值/意外值，则过程206可以继续所谓的“推算定位法”过程，即，使用先前计算的平移矢量，然后通过考虑例如来自加速度计或陀螺仪数据的任何提示，来修改它。

现在转向图9，示出了根据一实施例的位置信息辅助的特征检测。在图9中，示出了第一帧900，标记为“帧1”；示出了第二帧950，标记为“帧2”。帧1表示在摇摄过程中帧2紧之前或几乎紧之前捕捉到的图像。在帧1下面，照像机的运动被表示为在照相机摇摄过程中向右。如此，图像中的固定对象的预期运动相对于图像的查看者将是向左。如此，与照像机的运动方向相反的局部主体运动将是向右（或者甚至如果对象以与照像机大致相同的相对速度移动的话，则显得静止）。当然，局部主体运动可以在任意数量的方向，以任何速度，并位于整个图像中。要作出的重要的观察是，对于给定图像，不与计算出的搜索矢量的大部分一致的局部主体运动将实际上妨碍图像配准计算，而并非帮助它们。

转向表975，详细考察了位于帧1和帧2中的五个示例性特征的搜索矢量。特征1和2对应于全景场景中的建筑物之一的边缘或角。如帧2所示，这两个特征在帧之间向左方向移动。在给定照像机向右运动的方向的情况下，这是预期的移动（如由照像机的位置传感器证明的那样）。特征3同样表示在给定照像机运动方向的情况下在帧之间沿预期方向移动的静止特征，例如，树。特征4和5对应于鸟的翼尖附近的边缘。当正在捕捉全景场景时，鸟可能在照像机的运动方向上飞翔，如此，为特征4和5计算的搜索矢量指向右，与特征1、2和3的方向相反。这种局部主体运动可能会使图像配准判断恶化，因为它不会实际证明从帧1到帧2的整体平移矢量。这样，并且使用从捕捉全景场景的设备中的位置传感器接收到的提示，可以从图像配准判断中丢弃这样的特征（或更准确地，图像数据的围绕这样的特征的区域）。

现在转向图10，示出了根据一实施例的给定图像帧1000的搜索矢量段1004。如上所述，每一图像帧都可以被分成多个组成段，用于计算局部搜索矢量。图像帧1000中的每一虚线框1004都表示搜索矢量段。如图像帧1000中所示，某些搜索矢量例如1002明显在预期的移动方向。在图像帧1000的假设示例中，给定从设备获取的位置传感器信息，预期运动方向向左。另一些搜索矢量例如1006与预期移动方向相反。还有其他段例如1008可能存在于图像配准过程206由于例如缺乏可辨别的特征或者由于帧之间无法成功地交叉关联或特征匹配的随机重复图案，而不能计算搜索矢量的位置。这可能出现的情况的示例是无云的蓝天或海滩上的沙地。如图10的图例所述，可以从图像配准计算中丢弃带有斜线阴影的搜索矢量段。如图像帧1000所示，从计算中丢弃的搜索矢量段包括与由从设备接收到的位置信息表示的移动方向相反或基本相反的那些段和/或无法确定方向的那些段。通过策略地从配准计算中消除图像的大部分，可以实现性能改善。

现在转向图11，图11示出了根据一实施例的图像配准的判断流程图1100。首先，判断过程1100从步骤1102开始。此时，可以对要被配准的图像执行优选特征检测算法（步骤1004）。特征检测算法可以是任何期望的方法，诸如FAST或KLT特征跟踪器。如果这样的算法能够成功地配准图像（步骤1106），那么，配准完成（步骤1114）。如果相反，特征检测方法没有产生令人满意的结果，则可以使用交叉关联算法（步骤1108）。

如上文所提及的那样，交叉关联算法可以尝试在图像中的特定像素开始，并通过将源图像中的强度图案通过关联度量与目标图像中的强度图案交叉关联，来针对图像帧之间的最有可能的移动方向，连续地检查更大级别的周围像素。在检查的每一增大的级别，可以由在检查的前一级别计算出的移动方向来通知搜索方向。例如，在搜索的第一级别，交叉关联算法可以提供两像素相邻（2⁰+1）的最可能方向。基于第一级别的判定，下一级别可以提供三像素相邻（2¹+1）的最可能方向，依此类推。在图像大小大约5兆像素（MP）的情况下，已经凭经验判断，5级别的检查，即17（2⁴+l）个像素的移动，可提供正在被配准的帧之间的移动的足够的信息。

在交叉关联算法的每一级别，对最可能移动方向的搜索可以通过从设备获取的位置信息来精化。例如，当试图执行交叉关联并且确定最可能移动方向时，并非查询围绕中间像素的八个像素中的每一个，过程1100可以基于从设备获取的位置信息而将其查询限制到最可能正确的那些方向。例如，如果设备的陀螺仪指出设备在连续地捕捉到的图像帧之间向右旋转，那么，可能的平移矢量在某种程度上向左。如此，并非查询中间像素的周围邻近区域中的所有八个像素，只需要查询三个像素，即，左上方、左边以及左下方的像素。相对于没有关于可能移动方向的任何先验引导的传统交叉关联算法而言，这样的精化可以提供高达62.5%（即，5/8）的性能改善。

如上文所提及的那样，在某些图像中，特征检测和交叉关联可能不能产生令人满意的答案，例如，缺乏许多区别特征或边缘的图像，或带有大量噪声的图像。如此，如果在步骤1110中交叉关联也未能产生令人满意的结果，则过程1100可以使用“推算定位法”方案，即，在来自位置传感器信息的任何相关提示的辅助下，用为先前配准的图像计算出的平移矢量继续（步骤1112），以便完成配准（步骤1114）。例如，如果前一图像被判断为向右10个像素的平移，但是，加速度计表明对于当前图像帧，照像机的移动突然停止，那么，过程1100可以调整10像素向右平移，降至零像素移动，而不是用10像素向右的假设简单地继续进行。另一方面，如果传统特征检测和交叉关联方法两者都失败，并且从设备获取的位置信息没有指出运动的任何突然变化，那么，继续使用向右10像素的假设可能是合适的，直到可以再次进行更准确的配准计算。

现在参考图12，以流程图的形式示出了根据一实施例的执行全景摄影的几何校正的过程208。图12提供了上文参考图2所描述的几何校正步骤208的更多细节。首先，过程208可以从设备加速度计和/或陀螺仪获取在整个全景摄影过程中引用的位置数据（步骤1200）。接下来，基于从设备接收到的位置信息，过程208可以确定需要应用于当前图像帧的透视校正量（步骤1202）。例如，照像机的10度的旋转可以关联到40个像素的透视畸变，假设焦距无限远。在某些实施例中，可以查询LUT。在这样的实施例中，LUT可以拥有各种旋转量的条目，这些旋转量链接到透视校正量。例如，可以至少部分地通过设备的图像传感器的分辨率或照相设备的透镜的特性，来确定LUT中对应于旋转量的透视校正量。接下来，如果需要的话，可以执行可选的图像投影校正（步骤1204）。然而，如果对其进行操作的图像条或切片充分狭窄，则所需的投影校正量可以十分小，或者根本不需要。最后，可以根据已知的卷曲技术，例如，立方内插、双三次内插、三次样条函数或双三次样条函数，来执行透视校正（步骤1206）。可另选地，可以从步骤206执行的特征检测过程的结果来推断透视变化，但是这样的方式证明是计算量更大的。

现在参考图13，在图像条或切片的上下文中示出了根据一实施例由于照像机旋转引起的透视变化。如图13所示，由照相设备捕捉了图像A和图像B两个图像。在图13中，图像A通过细线来表示，图像B通过粗线来表示。在此示例中，图像B已经针对照相设备的旋转进行了透视校正，即，卷曲，以便同图像A混合，如图像B的梯形图像轮廓所示。在每一图像的中心部分内，有图像条，即，每一图像的将实际被分析的并有助于创建合成全景图像的部分。如图所示，图像条A和图像条B具有标记为“重叠区域”并有斜线阴影的重叠区域，这是图像A和图像B之间将被混合以创建合成全景图像部分的区域。如图13所示，由于正在对其进行操作的图像条的相对窄的尺寸，以及重叠区域的甚至更窄的宽度，因此使图像A和图像B对准所需的透视校正的量可能十分小。进一步地，由于正在被透视对准的条的狭窄本质，可能不需要图像投影校正。这是对图像条进行操作而并非对由照相设备返回的整个图像帧进行操作的再一个优点。

现在参考图14，以流程图的形式示出了根据一实施例的执行全景摄影的图像拼接的过程210。图14提供了上文参考图2所描述的图像拼接步骤210的更多细节。首先，过程210获取要被拼接在一起的两个或更多图像帧，并将它们放置在组装缓冲器中，以便处理它们（步骤1400）。在全景摄影过程中的此时，根据各实施例，两个图像可能已经根据需要经过了上文所描述的运动过滤、配准、几何校正等。

在现有技术的全景摄影后处理软件系统中，拼接过程的一部分包括混合两个连续捕获图像帧之间的重叠区域，以试图隐藏帧之间的小差异。然而，这种混合过程具有使重叠区域中的图像模糊的后果。发明人发现，此方法对于感兴趣的对象位于重叠区域的全景照片是不理想的，对于出现在重叠区域中的人脸特别不合乎需要，因为它们会通过混合过程变得失真，变得对全景图像的人观察者非常明显。如此，根据此处所公开的一实施例的拼接过程可以接下来定位当前正在拼接的两个图像帧之间的重叠区域中的任何所感兴趣的对象（步骤1402）。如上文所提及的那样，在一个实施例中，感兴趣的对象包括人脸。人脸可以通过使用任意数量已知的脸检测算法来定位，诸如Viola Jones框架或OpenCV（开源计算机视觉库）。一旦已经定位了人脸或其他感兴趣的对象，过程210就可以基于准则从两个图像帧中的一个选择感兴趣的对象的表示（步骤1404）。例如，如果感兴趣的对象是人脸，并且人脸出现在两个重叠图像帧中，则过程210可以选择具有两眼都睁开的脸的表示，或者脸正在微笑的表示，或者带有较少的红眼伪像的表示。选择感兴趣的对象的表示所实用的准则和所涉及的处理量可以基于单独应用以及可用资源来确定。在一实施例中，从正在拼接的两个图像中的一个中选择脸的表示的动作至少部分地基于每一个图像中脸的表示的计算出的分数。对脸的表示的分数的计算可以包括例如考虑下列各项中的至少一项：脸的微笑自信、脸内红眼伪像的检测、或脸内睁开或闭着的眼睛的检测。

一旦选择了表示，过程210就可以根据选择的混合公式来混合图像之间的重叠区域中的图像数据，同时从混合过程中排除感兴趣的对象周围的图像区域（步骤1406）。例如，可以基于正在被混合的像素与相关源图像的中心的距离，根据阿尔法混合方案或者简单线性或多项式混合函数，跨重叠区域混合图像数据。一旦在不包含感兴趣的对象（例如，人脸等）的所有区域中混合了图像之间的重叠区域，过程210可以将所选表示与重叠区域相加，可任选地在感兴趣的对象的所选表示的区域周围使用软的或“羽化”边缘（步骤1408）。可以使用各种技术来准确地定义感兴趣的对象周围的区域。例如，在人脸的情况下，可以在感兴趣的脸周围创建皮肤色调掩饰（mask），例如，根据在2009年6月5日提出的共同转让的美国专利申请系列No.12/479651中所公开的技术，该申请的整体内容通过引用合并于此。在另一个实施例中，可以定义限定感兴趣的对象周围的区域的边界框。在其他实施例中，边界框可以用感兴趣的对象周围的至少一个方向（优选地，在感兴趣的对象周围的所有四个基本方向）的额外数量的像素来填充。指定来限定感兴趣的对象周围的区域的皮肤色调掩饰或其他这样的区域可以根据模糊公式过渡到混合图像数据，例如10像素宽度上的边界“羽化”，或其他区域衰减（falloff）函数。在插入的感兴趣区域周围创建“软的”或“羽化的”边缘的目标在于使得它对于图像的观察者而言不会像清楚地不同于重叠区域中的其他像素那样明显。最后，合成的拼接图像（包括先前图像、当前图像以及已知感兴趣对象的混合的重叠区域）可以存储到照相设备本身上或别处的存储器中（步骤1410）。

现在参考图15，示出了根据现有技术的示例性拼接全景图像1500。图15所示出的全景图像1500包括来自三个不同图像的图像数据：图像A、图像B以及图像C。每一图像的轮廓都以虚线示出，每一图像的范围都通过带有相应图像标记的大括号来示出。另外，图像中的重叠区域还通过带有相应标记“A/B重叠”和“B/C重叠”的大括号来示出。在全景图像1500中从左到右移动，有只包括来自图像A的图像数据的区域（标记有“A”），然后是包括来自图像A和B的混合图像数据的重叠区域（标记有“A/B”），然后是只包括来自图像B的图像数据的区域（标记有“B”），然后是包括来自图像B和C的混合图像数据的重叠区域（标记有“B/C”），最后是只包括来自图像C的图像数据的区域（标记有“C”）。

尽管上文所描述的用来组装示例性全景图像1500的全景图像拼接方案可能对于某些全景场景令人满意地有效，但是，它可能在其他全景场景中产生显著不合乎需要的效果。具体来说，如果图像中的诸如人脸之类的感兴趣的对象出现在重叠区域之一中，则混合过程可能会导致不合乎需要的可视伪像。例如，在感兴趣的对象出现在重叠区域的两个版本中，一个可能是焦点对准的，一个可能焦点未对准。可另选地，一个可以包括带有睁开的眼睛的脸，一个可以包括带有闭眼的脸。取决于在重叠区域中表示的图像中的哪一个具有感兴趣的对象的比较合乎需要的表示，混合过程可能会在重叠区域导致次最佳的或者甚至奇形怪状的图像，例如，一只眼睛睁开，一只眼睛闭着的脸。在示例性全景图像1500中，根据现有技术的拼接技术，位于“A/B重叠”区域中的人脸可能会导致次最佳混合，如下面将讨论的那样。

现在参考图16，示出了根据现有技术组装的拼接全景图像1600中出现的示例性混合误差1602。如上文参考图15所讨论的那样，尝试混合位于“A/B重叠”区域中的人脸可能会导致次最佳混合。如图16所示，在虚线圈内有示例性混合误差1602，这对于感兴趣的人主体位于全景图像中的两个重叠图像之间的“缝”处的全景图像而言是常见的。具体而言，位于“A/B重叠”区域中的人主体看起来在捕捉图像A时眼睛是睁开的，但是在捕捉图像B时眨眼睛，导致他的眼睛在图像B中是闭着的。根据现有技术的混合技术，来自图像A的像素值支配“A/B重叠”区域中的左侧，然后逐步混合到“A/B重叠”区域的右侧，在右侧，来自图像B的像素值在最终拼接图像中占支配地位。由于在人主体上对感兴趣的脸的此混合，在最终拼接图像中，他的左眼是睁开的，他的右眼是闭着的。此结果以及图像中的感兴趣区域中的其他明显的混合误差，将优选地在智能图像拼接过程中得到避免。

现在参考图17，示出根据一实施例的拼接全景图像1700中的示例性感兴趣的区域1702/1704。为了解决上文参考图16所描述的现有技术的全景拼接技术的问题，发明人使用了“已知感兴趣区域”的拼接过程210，过程210扫视潜在的感兴趣区域的全景图像成分，以在混合图像之间的重叠区域之前创建场景图形。在图17所示的示例性图像1700中，人脸是特殊的感兴趣区域。如此，在对捕捉到的图像数据执行脸检测算法之后，定位了对应于全景图像1700中的人主体的脸的示例性感兴趣区域1702/1704。每一感兴趣区域都以粗黑线来勾勒。在图17所示的示例性图像1700中，在重叠区域中出现一个感兴趣区域1702，而另一个感兴趣区域1704没有出现在重叠区域中。根据此处所描述的智能图像拼接过程210的一实施例，这两种类型的区域可以在最后的图像混合过程中不同地对待。

现在参考图18，示出了根据一实施例的已知感兴趣区域的拼接全景图像1800的示例性场景图形。对应于人主体的脸的感兴趣区域1802被定位，并确定为位于“A/B重叠”区域内。如此，示例性已知感兴趣区域的拼接过程210确定为使用完全来自图像A的人主体的脸的表示。使用来自图像A而并非图像B的脸的表示的判断可以基于任意数量的因素，诸如：实际出现在图像中的脸的量、图像中脸的朝向、图像中脸的焦点或曝光特性、或者甚至对图像中的微笑或睁开的眼睛的检测。如果在全景摄影实现中使用图像条，则所感兴趣的脸可能出现在多个图像条上，但是只要感兴趣的脸位于至少一个条中，则脸检测过程可以定位脸，并从潜在地不希望有的混合中排除限定它的区域。

通过选择来自图像A的脸的表示，如此可以避免或减小可能由混合图像A和图像B中脸的表示所引起的可视的不和谐的混合误差。如上文所提及的那样，虽然图18将感兴趣的区域1802示为感兴趣的脸上的矩形插入物，但是，也可以在感兴趣的区域上构建更复杂的掩饰，以便感兴趣的区域的边界更紧密地跟踪感兴趣的对象的轮廓。在脸的示例中，使用皮肤色调的掩饰来定义感兴趣的区域。可以使用若干个已知模糊技术中的任何技术来软化从感兴趣的区域的边缘回到A/B重叠混合区域的过渡。将图18与图16进行比较，参考图18所描述的技术使合成全景图像中的人主体的表示的两个眼睛都是睁开的，并减少人主体的脸上的任何其他潜在的模糊或混合误差的影响。这可能特别重要，因为人脸上的混合误差对全景照片的观察者而言比在例如天空或墙上出现的混合更明显。

一旦要被包括在合成全景图像中的每个图像都被拼接在一起，可以可任选地将它们剪裁为所需的形状（步骤214），因为在组装过程中应用于图像的各种对准和/或透视校正可能会导致最终的拼接图像具有不规则的形状。一旦剪裁，最终的合成全景图像可以本地存储在照相设备处或存储在照相设备的外部（步骤216）。由于使用此处所描述的技术获得的效率，全景图像可以在正在组装它们时存储和/或实时地显示在设备上。这种存储器灵活性还可允许用户动态地定义全景扫视的起始和停止点，甚至允许大于360度的全景旋转。

现在参考图19，示出了根据说明性实施例的拥有显示器1900的代表性的电子设备（例如，照相设备308）的简化功能框图。电子设备1900可以包括处理器1916、显示器1920、接近度传感器/环境光传感器1926、麦克风1906、音频/视频编解码器1902、扬声器1904、通信电路1910、位置传感器1924、带有相关联的照像机硬件1908的图像传感器、用户界面1918、存储器1912、储存设备1914以及通信总线1922。处理器1916可以是任何合适的可编程控制设备，并可以控制许多功能的操作，诸如生成和/或处理图像元数据以及由电子设备1900执行的其他功能。处理器1916可以驱动显示器1920，并可以从用户界面1918接收用户输入。诸如带有v7-A架构的A8之类的嵌入式处理器，提供可以用于实现所公开的技术的通用的并且健壮的可编程控制设备。和是英国的ARM有限公司的注册商标。）

储存设备1914可以存储媒体（例如，图像和视频文件）、软件（例如，用于在设备1900上实现各种功能）、偏好信息、设备简档信息、以及任何其他合适的数据。储存设备1914可以包括用于有形地记录图像数据和程序指令的一个或多个存储介质，包括例如硬盘驱动器、诸如ROM之类的永久性存储器、诸如RAM或高速缓存之类的半永久性存储器。程序指令可以包括以任何所需的语言（例如，C或C++）编码的软件实现。

存储器1912可以包括一个或多个不同类型的可以用于执行设备功能的存储器。例如，存储器1912可以包括高速缓存、ROM和/或RAM。通信总线1922可以提供用于在至少储存设备1914、存储器1912以及处理器1916之间传输数据的数据传输路径。用户界面1918可以允许用户与电子设备1900进行交互。例如，用户输入设备1918可以呈现各种形式，如按钮、小键盘、转盘、点击轮或触摸屏。

在一实施例中，个人电子设备1900可以是能够处理并显示诸如图像和视频文件之类的媒体的电子设备。例如，个人电子设备1900可以是诸如移动电话、个人数据助理（PDA）、便携式音乐播放器、监视器、电视机、膝上型计算机、台式机以及平板计算机之类的设备，或其他合适的个人设备。

首选的实施例及其他实施例的前面的描述不限制申请人设想的发明构思的范围或适用性。作为一个示例，虽然本发明关注手持式个人电子设备，但是可以理解，本发明的原理可以应用于诸如传统的数码相机之类的其他实现。作为对公开此处包含的发明构思的交换，申请人需要由所附权利要求提供的所有专利权。因此，所附权利要求包括归入下列权利要求或其等效内容的范围之内的所有修改和改变。

Claims (21)

1.一种图像配准方法，包括：

从设备的一个或多个位置传感器获取位置信息；

从所述设备获取第一图像和第二图像；

将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准，以识别多个对应区域；

确定所述多个对应区域中的每一个的搜索矢量，其中，确定搜索矢量的动作包括确定所述第一图像中的特征与所述第二图像中的对应特征对准所需要移动的方向；

从所述多个对应区域中仅选择具有与所述位置信息一致的搜索矢量的那些对应区域，以识别多个一致区域，其中，识别多个一致区域的动作包括丢弃具有与所述位置信息指示的移动方向相反的搜索矢量的区域；以及

使用所述多个一致区域配准所述第一图像和所述第二图像。

2.如权利要求1所述的方法，其中，获取位置信息的动作包括从所述设备中的陀螺仪获取位置信息。

3.如权利要求1所述的方法，其中，获取位置信息的动作包括从所述设备中的加速度计获取位置信息。

4.如权利要求1所述的方法，其中，获取第一图像和第二图像的动作包括：

获取第一全尺寸图像；

选择所述第一全尺寸图像的小于全部，以生成所述第一图像；

获取第二全尺寸图像；以及

选择所述第二全尺寸图像的小于全部，以生成所述第二图像。

5.如权利要求1所述的方法，其中，将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准的动作包括使用特征检测来识别所述第一图像和所述第二图像中的个体特征。

6.如权利要求1所述的方法，其中，将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准的动作包括使用交叉关联。

7.如权利要求1所述的方法，其中，将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准以识别多个对应区域的动作包括：

如果所述选择的动作识别了阈值数量或多于阈值数量的一致区域，则使用特征检测；以及

如果所述选择的动作识别了小于阈值数量的一致区域，则使用交叉关联。

8.如权利要求7所述的方法，还包括如果使用交叉关联的动作识别了小于第二阈值数量的一致区域，则使用所获得的位置信息。

9.如权利要求1所述的方法，其中，所述配准的动作生成包括所述第一图像和所述第二图像的全景图像。

10.一种图像配准装置，包括：

用于从设备的一个或多个位置传感器获取位置信息的部件；

用于从所述设备获取第一图像和第二图像的部件；

用于将所述第一图像中的多个区域与所述第二图像中的相应的多个区域对准，以识别多个对应区域的部件；

用于确定所述多个对应区域中的每一个的搜索矢量的部件，其中，确定搜索矢量包括确定所述第一图像中的特征与所述第二图像中的对应特征对准所需要移动的方向；

用于从所述多个对应区域中仅选择具有与所述位置信息一致的搜索矢量的那些对应区域，以识别多个一致区域的部件，其中，识别多个一致区域包括丢弃具有与所述位置信息指示的移动方向相反的搜索矢量的区域；以及

用于使用所述多个一致区域配准所述第一图像和所述第二图像的部件。

11.一种电子设备，包括：

存储器；

图像传感器；

位置传感器；

通信耦合到所述存储器的显示器；以及

通信耦合到所述存储器、显示器、位置传感器和图像传感器的可编程控制设备，其中，所述存储器包括用于使所述可编程控制设备执行权利要求1所述的方法的指令。

12.一种图像配准方法，包括：

接收由设备捕获的第一图像；

从所述设备的一个或多个位置传感器接收设备移动数据；

接收由设备捕获的第二图像；以及

使用所述设备移动数据和所述第一图像，对所述第二图像执行图像配准，

其中，所述设备移动数据提供执行图像配准的动作中使用的搜索矢量，

其中，搜索矢量指示所述第一图像中的特征与所述第二图像中的对应特征对准所需要移动的或者所述第一图像中的强度图案与所述第二图像中的对应强度图案对准所需要移动的方向，

其中，执行图像配准的动作包括从包括所述第二图像的所述多个区域中丢弃具有与由所接收到的设备移动数据表示的移动方向相反的搜索矢量的那些区域，并且

其中，所述第二图像由所述设备在比所述第一图像晚的时间点捕获。

13.如权利要求12所述的方法，其中，执行图像配准的动作包括对所述第一图像和所述第二图像执行特征检测，以及在所述第一图像和所述第二图像之间匹配对应的检测到的特征。

14.如权利要求12所述的方法，其中，执行图像配准的动作包括通过关联度量来将所述第一图像中的强度图案与所述第二图像中的强度图案交叉关联。

15.如权利要求12所述的方法，其中，执行图像配准的动作包括：

执行特征检测，如果通过执行特征检测没有生成足够的数据来执行图像配准，则

执行交叉关联，如果通过执行交叉关联没有生成足够的数据来执行图像配准，则

使用所接收到的设备移动数据来执行图像配准。

16.如权利要求12所述的方法，其中，从一个或多个位置传感器接收设备移动数据的动作包括从所述设备中的陀螺仪获取信息。

17.如权利要求12所述的方法，其中，从一个或多个位置传感器接收设备移动数据的动作包括从所述设备中的加速度计获取信息。

18.如权利要求12所述的方法，其中，所述设备移动数据还提供包括所述第二图像的多个区域中的每一个的搜索矢量。

19.一种图像配准装置，包括：

用于接收由设备捕获的第一图像的部件；

用于从所述设备的一个或多个位置传感器接收设备移动数据的部件；

用于接收由设备捕获的第二图像的部件；以及

用于使用所述设备移动数据和所述第一图像，对所述第二图像执行图像配准的部件，

其中，所述设备移动数据提供执行图像配准的动作中使用的搜索矢量，

其中，搜索矢量指示所述第一图像中的特征与所述第二图像中的对应特征对准所需要移动的或者所述第一图像中的强度图案与所述第二图像中的对应强度图案对准所需要移动的方向，

其中，执行图像配准包括从包括所述第二图像的所述多个区域中丢弃具有与由所接收到的设备移动数据表示的移动方向相反的搜索矢量的那些区域，并且

其中，所述第二图像由所述设备在比所述第一图像晚的时间点捕获。

20.如权利要求19所述的装置，其中，执行图像配准包括：

执行特征检测，如果通过执行特征检测没有生成足够的数据来执行图像配准，则

执行交叉关联，如果通过执行交叉关联没有生成足够的数据来执行图像配准，则

使用所接收到的设备移动数据来执行图像配准。

21.一种电子设备，包括：

存储器；

图像传感器；

位置传感器；

通信耦合到所述存储器的显示器；以及

通信耦合到所述存储器、显示器、位置传感器和图像传感器的可编程控制设备，其中，所述存储器包括用于使所述可编程控制设备执行权利要求12所述的方法的指令。