CN110914638A - 使用反射光源的智能物体追踪 - Google Patents

Abstract

一种用于物体追踪的方法。该方法包括：捕捉场景的图像序列；基于沿该图像序列的局部光变化的模式，检测该场景中的反射光源；回应于检测到该反射光源，将该反射光源在该图像序列的至少一个图像中的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，其中该反射光源发射物体反射光。

Description

使用反射光源的智能物体追踪

技术领域

本发明涉及一种用于目标追踪的方法、追踪控制器及非瞬时计算机可读储存介质。

背景技术

视场(FOV)是相机成像的场景的范围。视场内的物体将出现在由该相机捕捉和/或输出的图像中。例如，视场可对应于一立体角(solid angle)，相机镜头在该立体角内将光输入投射至该相机的光学传感器。

发明内容

一般而言，一方面，本发明涉及一种用于物体追踪的方法。该方法包括：捕捉场景的图像序列；基于沿该图像序列的局部光变化(local light change)的模式，通过硬件处理器检测该场景中的反射光源；回应于检测到该反射光源、通过该硬件处理器将该反射光源在该图像序列的至少一个图像中的位置与该至少一个图像内的目标位置进行比较以生成结果；以及基于该结果，通过该硬件处理器生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，其中该反射光源发射物体反射光(object-reflected light)。

一般而言，一方面，本发明涉及一种用于物体追踪的系统。该系统包括：配置成发射频闪光的远程光发射器；物体的反射区域，其中该反射区域被配置成反射由该远程光发射器产生的该频闪光；以及追踪控制器，该追踪控制器被配置用以：获得场景的图像序列；基于沿该图像序列的局部光变化的模式检测该场景中的反射光源；回应于检测到该反射光源，比较该反射光源在该图像序列的至少一个图像中的位置与该至少一个图像内的目标位置以生成结果；并且基于该结果生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，其中该反射光源发射物体反射光，该物体反射光由该反射区域反射该频闪光而产生。

一般而言，一方面，本发明涉及一种非瞬时计算机可读储存介质，其储存用于物体追踪的指令。这些指令在由计算机处理器执行时，包括功能用以：捕捉场景的图像序列；基于沿该图像序列的局部光变化的模式，检测该场景中的反射光源；回应于检测到该反射光源，比较该反射光源在该图像序列的至少一个图像中的位置以及该至少一个图像内的目标位置以生成结果；以及基于该结果生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，其中该反射光源发射物体反射光。

通过以下说明和所附权利要求，本发明的其他方面将是明显易懂的。

附图说明

图1.1和1.2示出了根据本发明的一个或多个实施方式的系统的示意性框图。

图2示出了根据本发明的一个或多个实施方式的方法流程图。

图3.1、3.2、3.3、4、5和6示出了根据本发明的一个或多个实施方式的各种示例。

图7.1和7.2示出了根据本发明的一个或多个实施方式的计算系统。

具体实施方式

现在将参照附图详细描述本发明的具体实施方式。为了一致性，各个附图中相同的元件可由相同的参考数字表示。

在本发明的实施方式的以下详细说明中，陈述了若干具体细节以提供对本发明更通透的理解。然而，所属技术领域中具有通常知识者应理解的是，本发明无需这些具体细节也可实施。在其他情况中，为了避免不必要地使本说明复杂化，因此省略已知特征的详细描述。

在以下说明中，在本发明的各种不同实施方式中，关于一附图描述的任意组件可等同于关于任意其他附图描述的、具有相同命名的一个或多个组件。为简洁起见，这些组件的至少一部分是通过各种不同的标记而隐含识别的。而且，将不会针对每个附图重复这些组件的说明。因此，每个附图中的组件的每个实施方式通过引用而并入，并且被视为可选地存在于具有一个或多个相同命名的组件的每个其他附图中。此外，根据本发明的各种实施方式，附图中组件的任意描述应被解读为是可选的实施方式，其可相对于关于其他任意附图中对应的具有相同命名的组件而描述的实施方式而添加、结合或替换地进行实施。在各附图中，黑色实心共线点表示，可以可选地存在与该实心共线点之前和/或之后的组件类似的额外组件。而且，连接附图中各组件的实线或虚线表示相连组件之间的关系。虚线表示该关系可不包括任何物理连接或物理元件，或者可不与任何物理连接或物理元件相关联。

在整个说明书中，可使用序数(例如，第一、第二、第三等)作为元件(即，本申请中的任何名词)的形容词。这些序数的使用并非暗示或构成该元件的特定顺序、也非将任何元件限定为仅具有单个，除非另外通过使用术语“之前”、“之后”、“单个”以及其他此类措辞明确指明。相反，这些序数的使用是为了区分不同的元件。举例来说，第一元件不同于第二元件，并且第一元件可包括多于一个的元件，而且第一元件在元件顺序方面可以在该第二元件之后(或之前)。

一般而言，本发明的实施方式提供了用于追踪相机设备的视场(FOV)中的物体的系统、方法及计算机可读介质。在本发明的一个或多个实施方式中，在捕捉对应于视场的图像序列时，反射光源附接在该物体上。在一个或多个实施方式中，反射光源是反射区域，该反射区域反射来自远程光发射器的频闪光，以沿图像序列产生局部强度变化的模式。基于局部强度变化的模式，在视场中检测反射光源。回应于检测到反射光源，比较反射区域的位置和图像内的目标位置以产生结果，例如位移或移动参数。因此，基于该结果产生控制信号以控制相机设备支架。具体地，相机设备支架基于控制信号调节视场，使得反射光源或反射区域与目标位置在视场内实质对准。在一个或多个实施方式中，图像序列是视频记录的一部分，并且控制信号使该物体在视频记录中显现于视场内的目标位置处。

图1.1示出了根据一个或多个实施方式的系统100。在一个或多个实施方式中，可省略、重复和/或替换图1.1中示出的一个或多个模块和元件。相应地，本发明的实施方式不应被视为受限于图1.1所示模块的具体布置。

如图1.1所示，系统100包括具有相机镜头111的相机设备110、追踪控制器120、相机设备支架130、场景140、相机镜头111的视场(FOV)141、显现于视场141内的物体142、附接到物体142的反射光源143、以及发射频闪光115的光发射器114，该频闪光115照射在反射光源143上以产生物体反射光116。此外，相机设备110、追踪控制器120，和相机设备支架130可通讯地彼此耦合。在本发明的一个或多个实施方式中，两个或更多个光发射器114、相机设备110、追踪控制器120和相机设备支架130被整合到单个设备中。例如，追踪控制器120的至少一部分可以包括在相机设备110中。在另一示例中，追踪控制器120的至少一部分可以包括在相机设备支架130中。在又一示例中，追踪控制器120的一部分包括在相机设备110中，而追踪控制器120的另一部分包括在相机设备支架130中。类似地，光发射器114可以与相机设备110、追踪控制器120或相机设备支架130整合。

在本发明的一个或多个实施方式中，光发射器114是发射光的任何设备。例如，光发射器114可以作为泛光发射器，跨越大角度(例如，超过45度的平面角，1平方弧度的立体角等)发射光。在另一示例中，光发射器114可以作为准直光发射器发射准直光束。光发射器114可以和物体142分开一定距离，例如1米或更多，并被称为远程光源。在一个或多个实施方式中，光发射器114包括发光二极管(LED。在一个或多个实施方式中，由光发射器114发射的频闪光115不时地改变强度和/或波长。例如，频闪光115根据特定占空比(即，当光模式具有亮水平时的时间百分比)和重复率(即，强度在单位时间周期内变化的次数)产生不同步(free-running)的光变化模式。如此处所使用的，光变化模式是光的强度和/或波长变化的模式。在一个或多个实施方式中，光发射器114产生与相机设备110的帧率相比、具有低重复率(例如10赫兹、20赫兹等)的光变化模式。帧率是单位时间内由相机设备110捕捉的图像数量(例如，一串静态图像或视频记录)。在一个或多个实施方式中，光发射器114产生与相机设备110的帧率同步的光变化模式。在一个或多个实施方式中，光发射器114发射红外光。换句话说，频闪光115具有红外波长，例如在700奈米(nm)至1毫米(mm)之间。在本公开中，术语“红外波长”指的是700nm和1mm之间的波长。在一个或多个实施方式中，由频闪光115产生的光变化模式表示编码的数字数据。例如，由红外频闪光115产生的编码数字数据可以类似于红外遥控代码。

在本发明的一个或多个实施方式中，反射光源143是物体142的反射区域，反射区域反射频闪光115以产生物体反射光116。在这种情况下，反射光源143可以说是发射物体反射光116。换句话说，反射光源143发射通过物体142的反射区域反射频闪光115而产生的物体反射光116。在一个或多个实施方式中，反射区域对于红外波长比对于可见波长具有更高的反射率。例如，较高的反射率可以基于对红外波长比可见波长具有较高反射率的反射材料。当频闪光115和环境光(未示出)都照射在反射区域上时，物体反射光116可以具有比来自环境可见光的可见反射含量更高的来自频闪光115的红外反射含量。在一个或多个实施方式中，物体142是人、动物、机器人或任何其他移动物体，且反射光源143包括附着到物体142的反射材料。例如，反射材料可以是腕带、臂带、腰带、戒指、吊坠、项链、帽子、手套、衣服等的一部分，由人类、动物、机器人或任何其他移动物体佩戴或以其他方式附着在其上。在一个或多个实施方式中，反射材料可以包括金属、介电材料或金属和介电材料的组合。在一个或多个实施方式中，反射材料可以是上述腕带、臂带、腰带、戒指、吊坠、项链、帽子、手套、衣服等的表面上的涂层或涂膜。例如，涂层或涂膜可以包括红外反射颜料，例如二氧化钛。特别地，二氧化钛对于红外波长可以具有超过75％的反射率。

在一个或多个实施方式中，反射材料包括几何图案，该几何图案对于红外波长具有几何上变化的反射率，以产生几何光变化模式。特别地，反射材料的几何图案产生物体反射光的空间变化，该物体反射光被相机镜头捕捉，物体反射光的空间变化作为与环境光的额外区别。换句话说，几何图案提高了反射光源的检测准确度。如本文所使用的，几何光变化模式是根据几何图案的光强度变化模式。例如，几何图案可以通过使用前述红外反射颜料如二氧化钛进行表面涂覆/喷漆来产生。在一个或多个实施方式中，来自反射光源143的物体反射光116包括基于源自光发射器114的前述光变化模式的时间调制和/或基于反射光源143的几何光变化模式的空间调制。

在一个或多个实施方式中，与光发射器114相比具有不同波长的第二光发射器(未示出)可以设置在光发射器114附近。当光发射器114被启动时，第二光发射器也可以被启动，特别是在存在具有全反射特性的物体(例如，不打算在场景中被追踪的反射镜)的情况下。在一个或多个实施方式中，光发射器114可以是红外光源，第二光发射器可以是可见光源，发射例如绿色、蓝色或红色光。在一个或多个实施方式中，光发射器114和第二光发射器可以在追踪物体之前交替发射频闪光。换句话说，在开始追踪物体之前，光发射器114可以在时间t0、t2、t4……发射频闪光，并且第二光发射器可以在时间t1、t3、t5……发射频闪光，其中t0、t1、t2、t3、t4、t5……表示连续的时间点。在这些时间段中，相机设备将转动来记录场景中的图像，以便设置场景的空间坐标，并且识别具有全反射特性的反射区域和上述反射材料的反射区域。具体地，考虑一个具有反射镜和具有上述反射材料的物体的场景，如果相机设备检测到对光发射器114和第二光发射器都敏感的像素，则该像素可被确定为对应于反射镜；如果相机设备检测到仅对光发射器114敏感的像素，则该像素可被确定为对应于具有上述反射材料的物体。在一个或多个实施方式中，当开始追踪时，第二光发射器将会停止工作。利用这种配置，系统100识别具有全反射特性的反射区域，例如场景中的反射镜，当追踪物体时，具有全反射特性的反射区域被忽略。因此，可以提高系统100的检测准确度和范围。

在本发明的一个或多个实施方式中，相机设备110是具有相机镜头(例如相机镜头111)和相关组件、用于拍摄照片和/或视频记录的设备。具有通讯能力的专用相机是相机设备110的示例。在一个或多个实施方式中，相机设备110是移动设备，例如具有内置相机的移动手机(称为智能型手机)。智能型手机可具有带使用者图形界面的显示器，其占据大部分(例如，70％或更多)主表面。相机镜头111可位于智能型手机的主表面或背面。

在一个或多个实施方式中，场景140是由相机设备110成像的动作或事件发生的地点。视场(FOV)141是由相机设备110使用相机镜头111成像的场景140的范围。换句话说，视场141内的物体(例如，物体142)将出现在相机设备110捕捉和/或输出的图像中。例如，视场141可以对应于一立体角，在该立体角内，相机镜头111将光输入投射到相机设备110的相关联的光学传感器(未示出)中。在一个或多个实施方式中，根据相机镜头111相对于场景140如何取向、如何缩放或者如何定位，视场141对应于场景140的不同部分。在一个或多个实施方式中，物体142可以在动作或事件期间沿场景140移动。物体追踪是使相机镜头111相对于场景140取向、缩放或者定位的行为，使得物体142连续地在视场141内，或在视场141内的目标位置。在本公开中，术语“物体追踪”和“追踪”可以互换使用。在一个或多个实施方式中，相机设备110包括硬件组件、软件组件或其组合。在一个或多个实施方式中，相机设备110可以包括或者实施使用下文中图7.1和7.2描述的计算系统700和网络720的至少一部分。

在本发明的一个或多个实施方式中，相机设备支架130被配置用以机械地保持相机设备110，并且被配置为回应于来自追踪控制器120的控制信号而调节相机镜头111的视场141。例如，相机设备支架130可以包括用于调节相机镜头111的相机角度的电动倾斜和旋转设备。在另一示例中，相机设备支架130可以包括电动水平和垂直滑动设备，用于调整相机镜头111相对于场景140的位置。该滑动设备可以包括用于保持和移动相机设备110的机械平台。在下文中，参照图3.1、3.2和3.3，描述了相机设备支架130的示例。

在一个或多个实施方式中，追踪控制器120包括硬件组件、软件组件或其组合，其被配置用以调整相机镜头111的视场141。例如，追踪控制器120可以通过控制相机设备支架130来控制视场141。在另一示例中，追踪控制器120可以通过控制相机镜头111的变焦水平来进一步控制视场141。在一个或多个实施方式中，追踪控制器120控制视场141，使得物体142出现在视场141内的目标位置。在一个或多个实施方式中，追踪控制器120使用下文中参考图2描述的方法控制视场141。在一个或多个实施方式中，追踪控制器120包括下文中参照图1.2描述的组件。

图1.2示出了根据一个或多个实施方式的追踪控制器120的细节。下面对图1.2的描述涉及上文中图1.1所描绘的各种组件。在一个或多个实施方式中，图1.2所示的一个或多个模块和元件可以省略、重复和/或替换。因此，本发明的实施方式不应该被认为限于图1.2所示的模块的具体布置。

如图1.2所示，追踪控制器120包括硬件处理器121、存储器122和资源库123。在本发明的一个或多个实施方式中，硬件处理器121对应于下文中图7.1所示的计算机处理器702。类似地，存储器122和资源库123对应于下文中图7.1所示的非持久存储器704和/或持久存储器706。例如，存储器122可以储存软件指令，当被执行时，使硬件处理器121执行上文中图1.1所示的相机设备110的视场调节功能。在一个或多个实施方式中，追踪控制器120根据参考下文中图2描述的方法流程图执行视场调节功能。在一个或多个实施方式中，存储器122储存指令以执行参考下文图2描述的方法流程图的一个或多个部分。在一个或多个实施方式中，追踪控制器120和相机设备110被整合到单个设备中。在这样的实施方式中，用于执行参考图2描述的方法流程图的一个或多个部分的指令是移动应用程序(或移动app)的一部分，这是一个使用者可安装的软件应用程序，被设计用于在智能型手机或其他移动设备上运行。

此外，如图1.2所示，资源库123包括图像序列126、光变化模式124、位移125、移动参数128和目标位置127。特别地，图像序列126包括由相机设备111捕捉的连续的图像(例如，图像A126a)。例如，图像A126a对应于在特定时间点被视场141覆盖的场景140的一部分。光变化模式124是沿图像序列126的不同强度等级和/或波长之间交替的光强度和/或波长的模式。在一个或多个实施方式中，光变化模式124对应于图像序列126的每个图像中的点。例如，该点可以由每个图像中的一个像素位置或相连的像素位置的集合来定义。在这种情况下，光变化模式124被称为由相机设备111捕捉的局部光变化模式。在一个或多个实施方式中，光变化模式124由反射光源143反射的频闪光引起，并且光变化模式124指示反射光源143在每个图像内的位置。换句话说，反射光源143在每个图像内的位置可以基于沿图像序列126找到光变化模式124的位置来确定。例如，光变化模式124指示反射光源143位于图像A126a中的位置A127a。类似地，图像序列126中的每个其他图像与反射光源143的位置相关联。目标位置127是追踪控制器120被配置用于追踪物体142的预定位置。例如，目标位置127可以被定义为视场141的中心，其对应于图像序列126的每个图像的中心。换句话说，追踪控制器120被配置成调节视场141，使得在调节后，物体142出现在图像的中心(即，目标位置127)。在其他示例中，目标位置127可以被定义为与视场141的中心不同的位置。位移125是图像内目标位置127和反射光源143位置(例如，位置A127a)之间的距离。在一个或多个实施方式中，位移125包括水平方向距离和垂直距离。位移125可以基于像素的数目或任何其他合适的距离标度来表示。在一个或多个实施方式中，物体142可以是移动物体，使得反射光源143的位置(例如，位置A127a)可以在图像序列126中从一个图像到下一个图像变化。在这样的实施方式中，移动参数128是反射光源143的位置(例如，位置A127a)随时间的变化率。例如，移动参数128可以包括在图像序列126中从一个图像到下一个图像的反射光源143的位置(例如，位置A127a)的变化。根据物体142的移动方向，移动参数128可包括水平部分和垂直部分。在数学上，移动参数128对应于位移125随时间的导数。

在一个或多个实施方式中，追踪控制器120基于如上该的图像序列126、光变化模式124、位移125、移动参数128和目标位置127执行视场调整功能。具体地，追踪控制器120使用参考下文中图2描述的方法执行视场调整功能。下文中，参考图4-6描述图像序列126、光变化模式124、位移125和移动参数128的示例。

图2示出了根据一个或多个实施方式的流程图。图2所示的过程可以例如通过上面参考图1.1和1.2讨论的一个或多个组件来执行。在本发明的不同实施方式中，可以省略，重复和/或以不同的顺序执行图2中所示的一个或多个步骤。因此，本发明的实施方式不应被视为限于图2所示的步骤的特定数量和安排。

首先，在步骤201中，启动场景内的反射光源。在本发明的一个或多个实施方式中，反射光源是附着到场景中的物体的反射区域。在这样的实施方式中，通过使用远程光发射器来发射频闪光并将频闪光投射到反射区域上来启动反射光源。例如，当远程光发射器打开时，频闪光以不同步的光模式发射。结果，频闪光被反射区域反射，以产生具有相同不同步的光模式的物体反射光。在一个或多个实施方式中，与相机设备的帧率相比较，频闪光和物体反射光具有低重复率(例如，10赫兹、20赫兹等)。在一个或多个实施方式中，频闪光和物体反射光与相机设备的帧率同步。例如，频闪光可以基于从追踪控制器和/或相机设备发送的触发信号来启动和/或同步。

在一个或多个实施方式中，第二光源可以是场景中不想要被追踪的物体上的、具有全反射特性的反射区域。在这样的实施方式中，通过使用第二光发射器来发射具有一波长(该波长与投射到反射光源的反射区域的频闪光的波长不同)的频闪光，来启动第二光源。当场景内的反射光源被启动时，第二光源也可以同时被启动。在一个或多个实施方式中，反射光源和第二光源可以在追踪物体之前交替发射反射光。然后，相机设备转动以捕捉场景的图像从而建立场景的空间坐标，识别并忽略具有全反射特性的反射区域。在一个或多个实施方式中，当开始追踪时，第二光源被停用。

在步骤202中，由相机设备捕捉场景的图像序列。特别地，物体在相机镜头的视场(FOV)内，并且出现在图像序列中。例如，图像序列可以包括一串静态图像或者是其一部分。在另一个示例中，图像序列可以包括视频记录或者是视频记录的一部分。在一个或多个实施方式中，在反射光源发射物体反射光的同时，捕捉场景的图像序列。在一个或多个实施方式中，基于反射光源的占空比和/或重复率来选择图像序列的帧率，使得连续图像(或序列中具有特定间隔的一对图像)包括交替的亮水平和暗水平，和/或来自远程光发射器和反射光源的交替的波长。例如，远程光发射器和反射光源可以是不同步的，并且基于不同步的反射光源的占空比和/或重复率来选择帧率。在一个或多个实施方式中，基于图像序列的帧率选择远程光发射器和反射光源的占空比和/或重复率，使得连续图像(或序列中具有特定间隔的一对图像)包括交替的亮水平和暗水平，和/或来自远程光发射器和反射光源的交替的波长。例如，帧率可以是预定的，并且例如基于来自相机设备的触发信号，将反射光源与帧率同步。

在步骤203中，基于图像序列上的局部光变化模式，在场景中检测反射光源。具体而言，从反射光源反射的频闪光引起由相机设备的光学传感器接收的光强和/或波长的变化，从而导致沿图像序列的局部光变化模式。在一个或多个实施方式中，调整频闪光的强度以控制在每个图像中找到局部光变化模式的位置的大小。例如，位置大小可以被限制为视场的水平和垂直尺寸的一百分比(例如，1％、3％等)。在一个或多个实施方式中，在由相机设备的光学传感器识别出的、连贯的图像中交替的亮水平和暗水平和/或交替的波长的差异超出预定阈值处，定义该位置和尺寸。在一个或多个实施方式中，该位置被称为是图像中反射光源的位置。

在一个或多个实施方式中，通过将相应像素的强度和/或波长值相减，来比较图像序列中的一对图像。具体地，强度和/或波长值由光学传感器产生。例如，强度值可以对应于单色CMOS(互补金属氧化物半导体)传感器的像素输出值。在另一示例中，可以分析RGBCMOS传感器的输出值以确定每个像素的波长值。具体地，从一图像中像素的强度和/或波长值与另一图像中对应像素的强度和/或波长值相减，以生成相减结果。在相减结果中找到交替的亮水平和暗水平和/或交替的波长的差异的像素，被选择作为图像中反射光源的位置的一部分。取决于反射光源的占空比/重复率与图像序列的帧率，该对图像可以是连续的图像或由特定数量的图像隔开(例如每隔两幅图像等)的两个图像。

在步骤204中，分析图像序列以确定反射光源在至少一个图像中的位置以及反射光源沿图像序列的移动。在一个或多个实施方式中，基于由相机设备的光学传感器识别出的、图像序列中交替的亮水平和暗水平和/或交替的波长的差异超出预定阈值的地方，确定反射光源的位置。在一个或多个实施方式中，基于在图像序列上的位置的变化率来确定反射光源的移动。

在步骤205中，回应于检测到反射光源，在至少一个图像内比较反射光源的位置和目标位置，以产生结果。在一个或多个实施方式中，该结果包括位置和目标位置之间的位移。在一个或多个实施方式中，位移可以在图像序列中从一个图像到下一个图像变化，指示该物体是移动物体。在这样的实施方式中，位移随时间(例如从一幅图像到下一幅图像)的变化率，被计算为移动参数。

在步骤206中，基于该结果生成用于定向相机设备的控制信号。在一个或多个实施方式中，控制信号被配置成在与位移相反的方向上调整相机镜头的取向。在一个或多个实施方式中，控制信号被配置为在与位移相反的方向上调整相机相对于场景的相对位置。在一个或多个实施方式中，在对由控制信号引起的调整量的细调中考虑移动参数。

在步骤207中，控制信号被发送到安装有相机设备的相机设备支架(例如，相机手持握杆、倾斜和旋转设备等)。相应地，沿与位移相反的方向调整相机镜头的取向或相机设备的相对位置。

在步骤208中，在相机设备的视场内检测到目标位置和反射光源实质对准。特别地，实质对准是沿与位移相反的方向调整相机镜头的取向或相机设备的相对位置的结果。

在步骤209中，回应于检测到实质对准，捕捉场景的额外图像。在一个或多个实施方式中，由相机设备以规则的重复率(即帧率)连续捕捉和输出连续图像。在这样的实施方式中，被分析以产生控制信号的图像序列被限制至该额外图像之前的滚动时间窗口(例如，2个连续图像、5个连续图像、10个连续图像的滚动序列等)。随着时间的推移，额外图像成为更新的图像序列的一部分，用于生成更新的控制信号以连续追踪视场中的物体。

在一个或多个实施方式中，被分析以产生控制信号的图像序列被指定为控制信息而不由相机设备输出。相反地，反射光源(因此，物体)与目标位置实质对准，相机设备输出额外图像。例如，控制信息可以与额外图像分开储存，直到被丢弃或以其他方式从相机设备移除。

在步骤210中，确定是否要继续图像捕捉。如果是肯定的，即，图像捕捉将继续，则该方法返回到步骤202。如果是否定的，即图像捕捉不继续，则该方法结束。

图3.1、3.2、3.3、4、5和6示出了根据本发明的一个或多个实施方式的各种示例。例如，图3.1、3.2、3.3、4、5和6可以基于上文中图1.1和1.2中所示的一个或多个组件、以及上文中图2所示的方法流程图。在一个或多个实施方式中，图3.1、3.2、3.3、4、5、6中所示的一个或多个模块和元件可以被省略、重复和/或替换。因此，不应认为本发明的实施方式限于图3.1、3.2、3.3、4、5和6中所示的模块的特定布置。

图3.1示出了相机移动设备手持握杆800，作为上文中图1.1所示相机设备支架130的示例。此外，由相机移动设备手持握杆800机械保持的相机移动设备201(例如，具有相机镜头220的智能型手机)是上文中图1.1所示的相机设备110的示例。在本发明的一个或多个实施方式中，相机移动设备手持握杆800是机电组件，其包括支架221、倾斜轴203、倾斜马达213、旋转轴209、旋转马达219和手持握杆222。支架221被配置用以机械地保持相机移动设备201并且机械地联接到倾斜轴203。手持握杆222被配置用以在被观看者手持的同时、保持相机移动设备手持握杆800的机械稳定性。尽管没有明确示出，手持握杆222包括通讯界面，该通讯界面被配置用以与上文中图1.1中描述的相机设备110和/或取向控制器120通讯。例如，通讯界面可以基于蓝牙、NFC、USB或其他无线/有线通讯界面。在一个或多个实施方式中，回应于经由通讯界面从取向控制器120接收的控制信号，旋转轴209可通过旋转马达219绕旋转轴线209-1旋转。类似地，回应于经由通讯界面从取向控制器120接收的控制信号，倾斜轴203可通过倾斜马达213绕倾斜轴线203-1旋转。回应于围绕倾斜轴线203-1倾斜支架221和/或连同倾斜轴203和倾斜马达213一起围绕旋转轴线209-1旋转该支架221，可以调整相机镜头220的取向。相应地，根据相机镜头220的取向来调整相机镜头220的视场220-1。尽管图3.1所示的示例是基于与两个机械轴相关联的两个马达，其他示例可以基于与三个机械轴相关联的三个马达，而不脱离本发明的范围；其中第三马达可以是附加的旋转马达，例如图3.3中所示的具有附加旋转轴209-2的附加旋转马达331。具体地，图3.3示出了具有三个马达的相机移动设备手持握杆800，作为上文中图1.1中所示的相机设备支架130的示例。

图3.2示出了稳定上文中图3.1中所示的相机移动设备手持握杆800的示例。例如，当相机移动设备手持握杆800从手持位置A321改变到手持位置B322或者从手持位置B322改变到手持位置A321时，相机移动设备201的取向稳定。如图3.2所示，手持位置A321对应于手持握杆222的垂直取向(即，沿地球重力方向)。在手持位置A321中，倾斜马达213保持相机移动设备201指向地球地平线(即，垂直于地球重力方向)。换句话说，相机移动设备201的成像平面垂直于地球地平线。

手持位置B322对应于手持握杆222的倾斜取向(即偏离地球重力方向)。例如，手持握杆222的倾斜运动323由使用者的手施加。在手持位置B322中，倾斜马达213保持相机移动设备201指向地球地平线，如同在手持位置A321中一样。

图4示出了上文中图1.1和1.2中描述的反射光源143的光变化模式124的示例。如图4所示，横轴对应时间，纵轴对应光强度。特别地，光变化模式124是随时间在亮水平400a和暗水平400b之间交替的光强度模式。例如，光强度的亮度级400a在时间段A410上保持，并且可以随着时间以一定的重复率重复出现。随着时间的推移，光强度在亮水平400a和暗水平400b之间交替变化，相机设备周期得捕捉图像序列。例如，可以在时间点A401a、时间点B401b、时间点C401c等捕捉序列中的连续图像，这些时间点通过时间段B420、时间段C430等互相分开。特别地，时间段A410包括至少一个图像捕捉时间点，例如时间点B401b。在时间点A401a捕捉的暗水平400b、在时间点B401b捕捉的亮水平400a、在时间点C401c捕捉的暗水平400b等的交替序列，形成由相机设备捕捉的上述的局部光变化模式。尽管图4所示的光变化模式124是光强度变化的模式，光变化模式124在其他示例中也可以包括波长变化。换句话说，亮水平400a和暗水平400b可以被不同的波长替代或补充，以表示波长变化。

图5示出了上文中图1.1和1.2中描述的场景140的图像序列126的示例。如图5所示，图像序列126包括图像A126a、图像B126b、图像C126c等，它们在时间点A401a、时间点B401b、时间点C401c等被捕捉，如上文中图4所示。根据参照上文中图4描述的光变化模式124的示例，反射光源143在图像A126a、图像B126b、图像C126c等中标记为“a”的位置处呈现为交替的暗点和亮点。相反地，在图像A126a、图像B126b、图像C126c等中标记为“b”的另一个位置，光强度保持基本恒定。例如，可以通过将图像A126a和图像B126b中对应像素的强度值相减以生成相减结果126d，来确定标记为“a”的位置。类似地，可以通过将图像B126b和图像C126c中相应像素的强度值相减以生成相减结果126d，来进一步确定标记为“a”的位置。在相减结果126d中，黑色表示无差异，白色表示非零差异或超过上述预定阈值的差异。相应地，反射光源的位置对应于相减结果126d中的白点。

进一步如图5所示，每个图像的中心被定义为目标位置127。相应地，从标记为“a”的位置到目标位置127的距离对应于位移125。图5中所示的标记为“a”的位置、目标位置127和位移125分别是上文中的图1.2所示的位置A127a、目标位置127和位移125的示例。在一个或多个实施方式中，标记为“a”的位置在图像A126a、图像B126b、图像C126c等之间变化。标记为“a”的位置在沿图像A126a、图像B126b、图像C126c等的变化率对应于上文中图1.2所示的移动参数128。

图6示出了示例视频记录600，其包括参照上文中图4描述的图像序列126的示例。在一个示例场景中，目标位置是图像的中心。如图6所示，反射光源143在图像序列126中的图像(例如，图像A126a)的左侧部分的位置处被识别。特别地，反射光源143是包括在男性(即，物体142)佩戴的戒指或腕带的一部分中的反射材料。例如，基于上文中图5所示的图像A126a、图像B126b、图像C126c等中交替的暗点和亮点来识别反射光源143的位置。换句话说，反射光源143对应于如图5所示的图像A126a、图像B126b、图像C126c等中标记为“a”的位置。因为目标位置(即，图像中心)在反射光源位置的右侧，所以追踪控制器120被配置为将相机设备110朝向左侧，使得持有反射光源143的男性(即，物体142)出现在图像的中心。因此，基于反射光源143的识别位置“a”来调整相机设备110的取向，使得物体142出现在图像X126x的中心。

为了提高物体追踪的准确度，除了基于上文中图5所示的图像A126a、图像B126b、图像C126c等中交替的暗点和亮点来检测反射光源143的位置之外，还基于匹配包括在男性(即，物体142)佩戴的戒指或腕带的一部分中的反射材料的几何形状，限定交替的暗点和亮点的几何形状。换句话说，图像A126a、图像B126b、图像C126c等中，与反射图案的几何形状不匹配的任何交替的暗点和亮点，在识别反射光源143时被排除。

在一个或多个实施方式中，为提高物体追踪的准确度，除了红外光发射器之外，还可使用另一波段光发射器，包括但不限于可见光。场景中墙上的反射镜在图像A126a、图像B126b、图像C126c等中检测为可见波长中交替的暗点和亮点。反射镜被排除在检测反射光源143的位置之外。

在一个或多个实施方式中，可以通过画面裁幅的方式，使得被追踪的物体出现在相机拍摄的画面的目标位置。在这种情况下，由硬件处理器生成用于改变相机设备的视场的控制信号，可以通过画面裁幅的方式，使得物体出现在相机拍摄的画面的目标位置。具体而言，如果检测到的光源位置位于相机视场的靠右位置，通过将相机拍摄画面中的靠左侧部分切割出来，或者提取画面靠右的部分，使得物体出现在保留后的画面的目标位置。在一个或多个实施方式中，通过画面裁幅的方式，控制信号可以虚拟地改变相机呈现给使用者的视场，从而使得在视场中目标位置和反射光源实质地对准。在一个或多个实施方式中，控制信号可以通过画面裁幅和调整相机设备支架两种方式的结合，使得物体出现在画面的目标位置。在一个或多个实施方式中，追踪控制器可以包括在相机设备、运动相机、倾斜和旋转设备、智能型手机手持握杆、单镜头反射(SLR)相机支架、画面裁幅模块以及控制模块中的至少一个之内。在一个或多个实施方式中，画面裁幅模块和控制模块独立于倾斜和旋转设备、智能型手机手持握杆和SLR相机支架。

本发明的实施方式可以在计算系统上实现。可以使用移动设备、桌上型设备、服务器、路由器、交换器、嵌入式设备或其他类型硬件的任意组合。例如，如图7.1所示计算系统700可以包括一个或多个计算机处理器702、非持久存储器704(例如，易失性存储器，比如随机存取存储器(RAM)、快取存储器)、持久存储器706(例如，硬盘、诸如光盘(CD机或多功能数位光盘(DVD机的光学装置、快闪存储器等)、通讯界面712(例如蓝牙界面、红外界面、网络界面、光界面等)以及若干其他元件和功能。

计算机处理器702可以是用于处理指令的集成电路。例如，计算机处理器可以是处理器的一个或多个核心或微核心。计算系统700还可以包括一个或多个输入设备710，例如触控荧幕、键盘、鼠标、麦克风、触控板、电子笔或任何其他类型的输入设备。

通讯界面712可以包括集成电路，用于将计算系统700连接到网络(未示出)(例如区域网络(LAN)、比如互联网的广域网路(WAN)、移动网络或任何其他类型的网络)和/或连接到另一设备，例如另一计算设备。

此外，计算系统700可以包括一个或多个输出设备708，比如荧幕(例如，液晶显示器(LCD、等离子显示器、触控荧幕、阴极射线管(CRT)监视器、投影机或其他显示设备)、打印机、外部存储器或任何其他输出设备。一个或多个输出设备可与输入设备相同或不同。输入和输出设备可以本地或远程连接到计算机处理器702、非持久存储器704和持久存储器706。存在许多不同类型的计算系统，并且上述输入和输出设备可以采取其他形式。

用于执行本发明实施方式的计算机可读程序代码形式的软件指令可以全部或部分、临时或永久地储存在非瞬时计算机可读介质上，比如CD、DVD、储存设备、软盘、磁带、快闪存储器、物理存储器或任何其他计算机可读储存介质。具体地，软件指令可以对应于计算机可读程序代码，当由处理器执行时，该程序代码被配置为执行本发明的一个或多个实施方式。

图7.1中的计算系统700可连接至网络或为网络的一部分。例如，如图7.2所示网络720可以包括多个节点(例如，节点X722、节点Y724)。每个节点可以对应于计算系统，例如图7.1所示的计算系统，或节点的组合可对应于图7.1所示的计算系统。作为示例，本发明的实施方式可以在连接到其他节点的分布式系统的节点上实现。作为另一示例，本发明的实施方式可以在具有多个节点的分布式计算系统上实现，其中本发明的每个部分可以位于分布式计算系统内的不同节点上。此外，上述计算系统700的一个或多个元件可以位于远程位置并通过网络连接到其他元件。

虽然图7.2中未示出，该节点可以对应于服务器机箱中的叶片(blade)，其经由背板连接到其他节点。作为另一示例，节点可以对应于数据中心中的服务器。作为另一示例，节点可以对应于具有共享存储器和/或资源的计算机处理器或计算机处理器的微核心。

网络720中的节点(例如，节点X722、节点Y724)可以被配置用以为客户端设备726提供服务。例如，节点可以是云端计算系统的一部分。节点可以包括从客户端设备726接收请求和向客户端设备726发送回应的功能。客户端设备726可以是计算系统，例如图7.1所示的计算系统。此外，客户端设备726可以包括和/或执行本发明的一个或多个实施方式的全部或一部分。

图7.1和7.2中描述的计算系统或计算系统组可以包括执行本发明公开的各种操作的功能。例如，计算系统可以在相同或不同系统上的进程之间执行通讯。采用某种形式的主动或被动通讯的各种机制可以促进同一设备上的进程之间的数据交换。代表这些进程间通讯的示例包括但不限于：档案、信号、插口(socket)、消息队列、传输线路、信号(semaphore)、共享存储器、消息传递和存储器映射档案的实施。

图7.1中的计算系统700可以实施和/或可被连接到数据资源库。例如，一种类型的数据资源库是数据库。数据库是为便于数据检索、修改、重新组织和删除而配置的信息集合。数据库管理系统(DBMS)是一种软件应用程序，其为使用者定义、创建、查询、更新或管理数据库提供了一个界面。

使用者或软件应用程序可以向DBMS提交叙述(statement)或查询。然后DBMS解释该叙述。该叙述可为用以请求信息的选择叙述、更新叙述、创建叙述、删除叙述等等。此外，该叙述可包括参数，其指定数据或数据容器(数据库、表格、记录、栏、视图等等)、标识符、状态(比较运算符)、函数(例如，联集、全联集、计数、取平均等等)、排序(例如，升序、降序)或其他。DBMS可以执行该叙述。例如，DBMS可访问记忆体缓冲、参照或索引档以进行读取、写入、删除或其组合，以用于回应该叙述。DBMS可以从持久或非持久储存加载数据，并执行计算以回应查询。DBMS可以将结果返回给使用者或软件应用程序。

以上对功能的描述仅呈现了由图7.1的计算系统和图7.2中的节点和/或客户端设备执行的功能的少数示例。可以使用本发明的一个或多个实施方式来执行其他功能。

虽然已参照有限的实施方式描述了本发明，但受益于本公开的所属技术领域中具有通常知识者在不脱离在此公开的本发明的范围的前提下还可构想出其他实施方式。因此，本发明的范围应由所附权利要求限定。

Claims (20)

1.一种用于物体追踪的方法，包括：

捕捉场景的图像序列；

由硬件处理器，基于沿该图像序列的局部光变化模式，检测该场景中的反射光源；

由该硬件处理器，回应检测到的该反射光源，比较该反射光源在该图像序列的至少一个图像中的位置与在该至少一个图像中的目标位置，以生成结果；以及

基于该结果，由该硬件处理器生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，

其中该反射光源发射物体反射光。

2.根据权利要求1所述的方法，

其中该反射光源是物体的反射区域，及

其中该物体反射光由从远程光发射器发射并被该反射区域反射的频闪光产生。

3.根据权利要求2所述的方法，其中检测该场景中的该反射光源包括：

检测该局部光变化模式，该局部光变化模式选自以下群组中的至少一个：光强度变化、光波长变化、光强度变化的重复率、光波长变化的重复率、从光强度变化导出的代码以及从光波长变化导出的代码，以及

其中该局部光变化模式是由选自以下群组中的至少一个产生：该远程光发射器发射的该频闪光和该反射区域的几何反射图案。

4.根据权利要求2所述的方法，其中检测该场景中的该反射光源包括：

检测该场景中具有全反射特性的反射区域；以及

当检测该反射光源时，从该场景中排除该具有全反射特性的反射区域。

5.根据权利要求1所述的方法，所述方法进一步包括：

分析该图像序列以确定该反射光源在该至少一个图像中的位置以及该反射光源沿该图像序列的移动，其中进一步基于该移动生成所述控制信号；

将该控制信号发送到安装有该相机设备的相机设备支架；

回应于发送该控制信号，检测在该视场内该目标位置和该反射光源实质对准；以及

使用该相机设备并回应于检测到该实质对准，进一步捕捉该场景的额外图像，

其中所选择的物体在该额外图像中显现于该目标位置。

6.根据权利要求5所述的方法，

其中该图像序列和该额外图像是由该相机设备捕捉的视频记录中的视频帧序列的一部分。

7.根据权利要求1所述的方法，

其中该控制信号由追踪控制器产生，该追踪控制器包括在以下群组中的至少一个内：相机设备、倾斜和旋转设备、智能型手机手持握杆、单镜头反射相机支架、画面裁幅模块以及控制模块；及该画面裁幅模块和控制模块独立于该倾斜和旋转设备、智能型手机手持握杆和单镜头反射相机支架。

8.一种用于物体追踪的系统，包括：

远程光发射器，被配置用以发射频闪光；

物体的反射区域，其中该反射区域被配置用以反射由该远程光发射器产生的该频闪光；以及

追踪控制器，被配置用以：

获取场景的图像序列；

基于沿该图像序列的局部光变化模式，检测该场景中的反射光源；

回应于检测到该反射光源，比较该反射光源在该图像序列的至少一个图像中的位置与在该至少一个图像中的目标位置，以生成结果；以及

基于该结果生成用于改变相机设备的视场的控制信号，使得在该视场内该反射光源与该目标位置实质对准，

其中该反射光源发射物体反射光，该物体反射光由该反射区域反射的该频闪光产生。

9.根据权利要求8所述的系统，其中该频闪光包括：

选自以下群组的至少一个：光强度变化、光波长变化、光强度变化的重复率、光波长变化的重复率、从光强度变化导出的代码以及从光波长变化导出的代码，

其中该局部光变化模式至少由从该远程光发射器发射的该频闪光产生。

10.根据权利要求9所述的系统，

其中该反射区域包括几何反射图案，及

其中该局部光变化模式进一步由该反射区域的该几何反射图案产生。

11.根据权利要求8所述的系统，进一步包括：

远程另一波段光发射器，被配置用以发射另一波段光，

其中检测该场景中的该反射光源包括：

基于该另一波段光检测该场景中反射该另一波段光的反射区域；以及

在检测该反射光源时，从该场景中排除反射该另一波段光的反射区域。

12.根据权利要求8所述的系统，该追踪控制器还被配置用以：

分析该图像序列以确定该反射光源在该至少一个图像中的位置以及该反射光源沿该图像序列的移动，其中进一步基于该移动生成所述控制信号；

将该控制信号发送到安装有该相机设备的相机设备支架；

回应于发送该控制信号，检测在该视场内该目标位置和该反射光源实质对准；以及

使用该相机设备并回应于检测到该实质对准，进一步捕捉该场景的额外图像，

其中所选择的物体在该额外图像中显现于该目标位置。

13.根据权利要求12所述的系统，

其中该图像序列和该额外图像是由该相机设备捕捉的视频记录中的视频帧序列的一部分。

14.根据权利要求8所述的系统，

其中该追踪控制器包括在以下群组中的至少一个内：相机设备、倾斜和旋转设备、智能型手机手持握杆、单镜头反射相机支架、画面裁幅模块以及控制模块,该画面裁幅模块和控制模块独立于该倾斜和旋转设备、智能型手机手持握杆和单镜头反射相机支架。

15.一种储存用于物体追踪指令的非瞬时计算机可读介质，所述指令当被计算机处理器执行时，包括功能用以：

捕捉场景的图像序列；

基于沿该图像序列的局部光变化模式，检测该场景中的反射光源；

回应于检测到的该反射光源，比较该反射光源在该图像序列的至少一个图像中的位置与在该至少一个图像中的目标位置，以生成结果；以及

基于该结果生成用于改变相机设备的视场的控制信号，使得在该视场内的该反射光源与该目标位置实质对准，

其中该反射光源发射物体反射光。

16.根据权利要求15所述的非瞬时计算机可读介质，

其中该反射光源是物体的反射区域，及

其中该物体反射光由从远程光发射器发射并被该反射区域反射的频闪光产生。

17.根据权利要求16所述的非瞬时计算机可读介质，其中检测该场景中的该反射光源包括：

检测该局部光变化模式，该局部光变化模式选自以下群组中的至少一个：光强度变化、光波长变化、光强度变化的重复率、光波长变化的重复率、从光强度变化导出的代码以及从光波长变化导出的代码，以及

其中该局部光变化模式是由选自以下群组中的至少一个产生：该远程光发射器发射的该频闪光和该反射区域的几何反射图案。

18.根据权利要求15所述的非瞬时计算机可读介质，该指令当由该计算机处理器执行时，还包括功能用以：

分析该图像序列以确定该反射光源在该至少一个图像中的位置以及该反射光源沿该图像序列的移动，

其中进一步基于该移动产生所述控制信号。

19.根据权利要求15所述的非瞬时计算机可读介质，该指令当由该计算机处理器执行时，还包括功能用以：

将该控制信号发送到安装有该相机设备的相机设备支架；

回应于发送该控制信号，检测在该视场内该目标位置和该反射光源实质对准；以及

使用该相机设备并回应于检测到该实质对准，进一步捕捉该场景的额外图像，

其中所选择的物体在该额外图像中显现于该目标位置。

20.根据权利要求19所述的非瞬时计算机可读介质，

其中该图像序列和该额外图像是由该相机设备捕捉的视频记录中的视频帧序列的一部分。

Images