CN108510545B - 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 - Google Patents

Abstract

本公开提出了一种空间定位方法、空间定位设备以及计算机可读存储介质。该空间定位方法包括：获取具有多个标记点的待定位物体的二维图像，所述二维图像包括与所述多个标记点一一对应的多个标记点图像；根据所述多个标记点之间的相对位置关系和所述多个标记点图像之间的相对位置关系来确定所述多个标记点与所述多个标记点图像之间的对应关系；以及根据所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系以及所述多个标记点与所述多个标记点图像之间的对应关系，来确定所述待定位物体的至少一个空间自由度。

Description

空间定位方法、空间定位设备、空间定位系统及计算机可读存 储介质

技术领域

本公开涉及虚拟现实(VR)/增强现实(AR)技术领域，更具体地涉及一种空间定位方法、空间定位设备、空间定位系统以及相应的计算机可读存储介质。

背景技术

随着VR/AR的发展，作为其主要构成技术之一的空间定位追踪技术也越来越重要。市场上出现了很多有代表性的空间定位追踪方法。然而，这些空间定位技术均不同程度地存在各种问题。例如，一些空间定位技术不仅要求要采用额外的两个红外发射器，而且要求头盔(即，扫描对象)上安装大量光敏传感器，此外还要求相当大的外部无遮挡空间。此外，另一些空间定位技术主要要求至少两个摄像头对发出不同闪烁频率或不同颜色的标记点进行实时拍摄，从而成本非常高。

发明内容

为了至少部分解决或减轻上述问题，提供了根据本公开实施例的空间定位方法、空间定位设备、空间定位系统及相应的计算机可读存储介质。

根据本公开的第一方面，提供了一种空间定位方法。该空间定位方法包括：获取具有多个标记点的待定位物体的二维图像，所述二维图像包括与所述多个标记点一一对应的多个标记点图像；根据所述多个标记点之间的相对位置关系和所述多个标记点图像之间的相对位置关系来确定所述多个标记点与所述多个标记点图像之间的对应关系；以及根据所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系以及所述多个标记点与所述多个标记点图像之间的对应关系，来确定所述待定位物体的至少一个空间自由度。

在一些实施例中，根据所述多个标记点之间的相对位置关系和所述多个标记点图像之间的相对位置关系来确定所述多个标记点与所述多个标记点图像之间的对应关系包括：根据所述多个标记点图像的标记特征来确定所述多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像；以及基于所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除所述第一标记点之外的其它标记点与所述二维图像中的其它标记点图像之间的对应关系。

在一些实施例中，根据所述多个标记点图像的标记特征来确定所述多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像包括：将所述多个标记点图像中具有与所述特定标记特征相匹配的标记特征的标记点图像确定为所述第一标记点图像。

在一些实施例中，将所述多个标记点图像中具有与所述特定标记特征相匹配的标记特征的标记点图像确定为所述第一标记点图像包括：将具有最大面积和/或椭圆形状的标记点图像确定为所述第一标记点图像。

在一些实施例中，基于所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除所述第一标记点之外的其它标记点与所述二维图像中的其它标记点图像之间的对应关系包括：确定所述第一标记点图像的椭圆的长轴或短轴；根据所确定的长轴或短轴，来确定与所述椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组；以及按长轴或短轴来分别确定每个标记点图像组中的不同标记点图像与相应标记点之间的对应关系。

在一些实施例中，根据所确定的长轴或短轴，来确定与所述椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组包括：分别计算每个标记点图像与长轴或短轴的垂直距离；以及将具有相同垂直距离并在所述椭圆的长轴或短轴同一侧的标记点图像分为一个标记点图像组。

在一些实施例中，将具有最大面积和/或椭圆形状的标记点图像确定为所述第一标记点图像包括：对所述二维图像进行二值化处理；确定经二值化处理的所述二维图像中的一个或多个连通区域；以及将具有最大面积和/或椭圆形状的连通区域确定为所述第一标记点图像。

在一些实施例中，所述方法还包括：对所述一个或多个连通区域进行椭圆拟合，以确定每个连通区域的中心点作为相应标记点图像的位置。

在一些实施例中，所述多个标记点包括至少四个标记点。

在一些实施例中，所述多个标记点包括十一个标记点。

在一些实施例中，以最大的椭圆形第一标记点的长轴为中心轴左右对称分布四个标记点组，其中每个标记点组中的标记点的数量分别为3、2、2、3，且每组中标记点排列方向与长轴平行。

在一些实施例中，所述标记点是通过使用可见光源、红外光源或非光源标记点中至少一项来确定的。

根据本公开的第二方面，提供了一种空间定位设备。该空间定位设备包括：处理器；存储器，存储指令，所述指令在由处理器执行时使得所述处理器执行根据本公开第一方面所述的方法。

根据本公开的第三方面，提供了一种空间定位系统。该空间定位系统包括：根据本公开第二方面所述的空间定位设备，其上设置有多个标记点；以及摄像头，被配置为获取所述空间定位设备的图像，并向所述空间定位设备传输所述图像。

根据本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有指令，所述指令在由处理器执行时使得所述处理器执行根据本公开第一方面所述的方法。

因此，可以通过仅判断标记点和标记点图像的相对位置关系就能够确定标记点图像与相应标记点之间的对应关系，进而提供一种可以支持单摄像头的且标记点亮度可以不变的空间位置追踪方案，从而使得空间定位实现起来更简单快捷、节约成本。

附图说明

通过下面结合附图说明本公开的优选实施例，将使本公开的上述及其它目的、特征和优点更加清楚，其中：

图1是示出了根据本公开实施例的空间定位系统的示例应用场景。

图2是示出了根据本公开实施例的标记点的示例布置图。

图3A～3C是示出了根据本公开实施例的对标记点图像进行空间定位处理的各阶段示意图。

图4是示出了根据本公开实施例的用于确定物体的空间自由度算法的示例说明图。

图5是示出了根据本公开实施例的空间定位方法的示例流程图。

图6是示出了根据本公开实施例的空间定位设备的硬件布置图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。应注意，以下描述只用于举例说明，并不用于限制本公开。在以下描述中，为了提供对本公开的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本公开。在其他实例中，为了避免混淆本公开，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本公开至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

如上所述，为了对例如VR头盔、遥控器之类的物体进行空间定位，通常需要在VR头盔、遥控器上设置大量可见光/红外光光源作为标记点或参考点，且这些光源需要以不同的模式来闪烁以形成可以区分彼此的特征。此外，为了捕捉这些特征，还通常需要设置两个以上的可见光/红外光摄像头。这无疑增加了空间定位所需的硬件成本。为了至少部分解决或减轻该问题，根据本公开的一些实施例，提供了一种基于单摄像头的、标记点亮度可以不变的空间位置追踪方案。该方案可以通过判断标记点的大小和/或形状和/或相对位置关系来确定标记点的位置和编号，从而实现方法简单快捷，节约成本。

以下，将结合图1来详细说明根据本公开实施例的空间定位系统的应用场景。

图1是示出了根据本公开实施例的空间定位系统10的示例应用场景。如图1所示，空间定位系统10可以包括摄像头110和待定位的物体100。此外，待定位的物体100上可设置有用于定位的一个或多个标记点图案105。

需要注意的是：在本实施例中，待定位的物体100可以是由用户120所佩戴的VR头盔100，然而本公开不限于此。事实上，本公开同样适用于需要进行空间定位的任何其它应用场景，例如视频监控系统、自动驾驶系统等等。此外，尽管在图1所示实施例中仅示出了用户120所佩戴的VR头盔100是要定位的物体，然而本公开不限于此。例如，还可以对用户120手持的控制器、身上穿戴的服饰等进行空间定位，甚至还可以对非人类用户120(例如，机器人或其它自动化可运动机器)进行定位。换言之，只要该待定位的物体100上具有如下文所述的标记点，即可适用于本公开实施例的空间定位方案。

此外，在本文中所使用的术语“空间定位”指的是确定待定位的物体(例如，物体100)的至少一个空间自由度，即空间位置(三个自由度，即空间中的三维坐标)和姿态(三个自由度，即俯仰(pitch)、横滚(roll)、偏航(yaw))中的至少一个自由度。在例如飞机的飞行坐标系下，俯仰自由度指的是以飞机左右方向(例如，从左翼指向右翼的方向或反之)为轴转动的自由度，横滚自由度指的是以飞机前后方向(例如，从机尾指向机头的方向或反之)为轴转动的自由度，而偏航自由度指的是以与前述两个方向均垂直的方向(例如，从机腹指向机顶的方向或反之)为轴转动的自由度。类似地，这三个姿态自由度同样也可以适用于任何待定位的物体，包括(但不限于)前述待定位物体100或VR头盔100。在本文中，除非另有特别说明，否则可以将术语“一个或多个自由度”与术语“位置和/或姿态”交换使用。

回到图1，一个或多个标记点105可以是例如红外光源、可见光源或甚至是普通的标记点(例如，印刷或粘贴上的标记点图案等)。在图1所示实施例中，标记点105可以是亮度不变的光源或可以反射可见光/红外光的图案。从而，标记点105可以例如通过单一红外光源加上透光图案(例如，具有特定透光图案的挡板)的方式来实现，或者通过印刷或粘贴在待定位物体上的方式来实现，这显著地降低了生产成本。此外，该一个或多个标记点105可以具有相同或不同的标记特征。在本文中，术语“标记特征”可以指代例如标记点的光学可见的特征，包括(但不限于)：大小、形状、纹理和/或颜色等。

此外，考虑到在用户120背对摄像头110的情况下，标记点105可能无法被摄像头110所捕捉的情况，可以在VR头盔100上(例如，正面、背面和/或侧面)设置多组标记点105，以进一步增强空间定位的效果。如下文中将要详细描述的，这多组标记点105可以采用具有不同标记特征的标记点来相互区分，以实现对多组标记点105的识别。例如，在正面上设置的一组标记点105可以采用图2所示的设置，在左侧面上设置的一组标记点105可以采用各种大小三角形的设置，在右侧面上设置的一组标记点105可以采用各种大小矩形的设置，而在背面上设置的一组标记点105可以采用各种大小星形的设置。此外，各组标记点105内部的各个标记点的标记特征也可以采用不同设置。然而本公开不限于此。事实上，只要可以将各组标记点105加以相互区分，并能够分别确定各组标记点105内的各自的第一标记点即可。需要注意的是：在本文中，第一标记点指的是在如下所述确定各标记点与标记点图像之间的对应关系时需要首先确定对应关系的标记点，这样通过确定该第一标记点，可以使得确定其它标记点成为可能或更为快捷。例如，第一标记点可以为面积最大的椭圆形，其他标记点可以采用较小的三角形等。事实上，只要可以区分第一标记点与其他标记点，可以采用任何恰当的标记特征。

在本文中，术语“相对位置关系”是指：对于两个点，这两个点之间的距离；对于三个以上(含三个)的点，这三个以上点中任意两个点之间的距离以及所有连接任意两个点的直线中任意两条直线之间的夹角。在图1所示实施例中，在例如真实世界坐标系中，可以认为这些标记点105之间的相对位置关系是固定的。然而需要注意的是：在例如相机坐标系下，由于各标记点105都在相平面上成像，因此与各标记点105相对应的标记点图像之间的相对位置关系是根据待定位物体100的位置和/或姿态(或空间自由度)而变化的。

回到图1，摄像头110可以在用户120佩戴VR头盔100并进行运动(例如，平移和/或旋转)时捕捉包括VR头盔100在内的二维图像。然后可以将该二维图像传输给VR头盔100或另一设备以进行图像处理。如下文中将要详细描述的，VR头盔100或另一设备可以识别多个标记点105在图像中的相应标记点图像，并确定这些标记点在图像中的位置。然后可以根据例如下文中描述的图4所示的确定空间自由度的算法，可以基于图像中的位置以及这些标记点之间的预设空间相对位置(或更一般地，标记点的空间模型)来确定待定位物体100相对于摄像头110的位置和/或姿态。

需要注意的是：尽管图1中将摄像头110示出为安放在一个桌子的表面上，但本公开不限于此。事实上摄像头110可以设置在任何所需的位置，例如安装在墙壁上、车辆中、或者手持等。此外，尽管在上面描述的方案中，摄像头110捕捉到的图像是由VR设备100来处理的，但本公开不限于此。事实上，该图像也可以由摄像头110本身来处理，或者由另一外部电子设备(例如，与摄像头110和VR头盔100通信的计算机、智能电话或任何其他合适的设备)来处理。在得到处理结果之后，该电子设备可以向例如VR头盔105发送确定结果，并由VR头盔105来进行相应的操作，例如显示与动作相对应的场景变化。

此外，尽管在一些实施例中，可以针对每帧图像来进行空间定位处理，然而事实上本公开不限于此。例如，在另一些实施例中，在第一帧中通过本文描述的空间定位方案确定了待定位物体(对象)的位置和/或姿态之后，针对后续各帧图像，可以采用计算量更少/更简单的其它对象跟踪算法，包括(但不限于)：CAM SHIFT算法、MEAN SHIFT算法等。换言之，在该情况下，只要对象跟踪算法能够持续跟踪到对象的位置和/或姿态，就无需采用上述空间定位方法来进行后续操作。当然，也可以按某一周期来定期或不定期的采用上述空间定位方法来重新确定对象的位置和/或姿态。

接下来，将结合图2来详细描述根据本公开实施例的标记点。

图2是示出了根据本公开实施例的标记点105的示例布置图。如图2所示，该标记点布置可以包括例如11个标记点。然而本公开不限于此。事实上，如下面结合图4将要描述的，最少只需要4个标记点即可进行相应的定位操作。例如，在一些实施例中，这4个标记点可以布置为2x 2的阵列、布置为一条直线、布置为在一个圆的圆周上等各种方式。事实上，只要这4个标记点可以被摄像头110所观察到并能够正确确定其在图像中的相应标记点图像即可。如下面结合图4所描述的，通过设置该至少4个标记点，即可确定与该4个标记点相关联的待定位物体(例如，待定位物体100)的位置和/或姿态。然而考虑到在用户120的某些姿势的情况下，可能不是所有的标记点105都能被摄像头110所观察到，此外还有可能存在图像噪声、环境光过强导致的数据错误等情况，因此可以设置多于4个标记点来进行后续的定位操作，以提高系统的鲁棒性。

此外，在图2所示实施例中，可以看到标记点0(下文中，有时可将其称为“第一标记点”)与其它标记点具有不同的大小和形状(或更一般地，标记特征)。如图2所示，标记点0可具有比其它标记点大的椭圆形形状，而其它标记点均为较小的圆形形状。如下文中将结合图3A～3C所描述的，可以通过先从图像中确定第一标记点0，然后再根据第一标记点0确定其它标记点及其相应标记点图像之间的对应关系，来确定各个标记点的位置以及相应编号(或更一般地，标识符)。例如，在图2所示实施例中，可以最大的椭圆形第一标记点0的长轴为中心轴左右对称分布一个或多个标记点组，例如两个或四个标记点组等。通过对称设置多个标记点组来提供数据冗余度，以有效地提高标记点图像识别的准确率。例如，当确定了中心轴一侧的标记点/标记点组时，即便由于外界环境光过强、视线遮挡等原因导致另一侧标记点/标记点组在图像中不可见，也可以如以下图4所述来确定待定位物体的位置和/或姿态。此外，在采用4个标记点的一些实施例中，每个标记点组中的标记点的数量可分别为(但不限于)3、2、2、3，且每组中标记点排列方向可与长轴平行。通过将标记点排列方向与例如第一标记点0的椭圆长轴平行设置，可以容易地确定同一标记点组内标记点的排列顺序，例如在由标记点1和2构成的组中，可以容易地确定标记点2到标记点1的方向为椭圆长轴方向，从而进而分别确定标记点1和标记点2。然而，本公开不限于此种具体布置。此外，该布置可以根据需要定位的物体的具体形状、大小来相应确定，而不限于固定的布置。

需要注意的是：第一标记点0的形状不限于椭圆形，而是可以是任何可以识别出其具体定向的形状，包括(但不限于)：三角形、矩形、星形等等。例如，如下文结合图3B所描述的，可以根据所确定的椭圆的长轴和/或短轴来进一步确定各个其它标记点的编号。然而，在采用等腰三角形的情况下，可以将例如其较长的两边的夹角所指的方向确定为类似于椭圆长轴的方向，并将与该方向垂直的方向确定为类似于椭圆短轴的方向，之后可以进行同样的确定标记点编号的操作。此外，各个标记点的大小也可以不同或相同，例如第一标记点0最大，第10标记点最小等等。在一些实施例中，通过设置不同大小的标记点，可以进一步提供数据冗余度，以更有效地提高标记点图像识别的准确率。例如，当本应较大的标记点在图像中的相应标记点图像小于或等于本应较小的标记点在图像中的相应标记点图像时，可以大体确定该较大的标记点应当距离摄像头110更远或水平夹角更小(例如，标记点不共面的情况)，然而如果根据下述方式确定了待定位物体100的姿态与此结论不符时(例如，较大的标记点距离摄像头110更近或水平夹角更大)，则可以确定发生了计算错误/图像错误等问题，从而可以放弃该判断结果而重新执行新一轮的空间定位。

此外，一旦布置好标记点，就可以记录这些标记点的相对空间位置。例如，可以将第一标记点0的椭圆中心记为原点位置，然后记录其他各个标记点1～10的圆心的坐标，从而形成该标记点的空间模型。

此外，如上所述，标记点0～10可以是印刷在VR头盔100上的印刷图案，或者是采用单一红外光源/可见光源加上透光图案所形成的标记点，而无需像上述其它方案一样采用需要以不同频率闪烁的多个光源。从而，可以用更低廉的成本来制造具有多个标记点105的VR头盔100(或具有标记点105的其它设备)。

此外，需要注意的是：需要根据布置的标记点105来选择相应的摄像头110拍摄标记点105。例如，在标记点105是红外光源的情况下，则摄像头110可以是针对相应波长的红外摄像头110。如果标记点105是可见光光源或者普通印刷标记点，则可使用可见光摄像头110。

此外，还可以对标记点105的亮度和/或相对位置等进行调整，以满足位置追踪的要求。例如，假定标记点105在与摄像头110相距指定距离处，摄像头110应当可以识别多个标记点105中的第一标记点以及其他标记点。为此，需要对标记点的大小和/或间距等进行适当调整。此外，为了避免图像噪声对后续处理的影响，也可以要求标记点105的特定亮度，以避免由于摄像头110的感光度过高导致图像噪声过大。因此，这可以是根据摄像头110的各种参数(包括但不限于：焦距、感光度、快门等)和/或空间定位系统10的设计需求来确定的。

接下来，将结合图3A～3C来详细描述根据本公开实施例的对摄像头110所采集到的多个标记点105进行的图像处理。

图3A～3C是示出了根据本公开实施例的对标记点图像进行空间定位处理的各阶段示意图。图3A示出了摄像头110捕捉到的多个标记点105的标记点图像。需要注意的是：摄像头110所捕捉到的图像并不限于标记点105的图像，而是可能包括用户120或其它对象在内的图像。因此，在形成如图3A所示的图像之前，可能需要对摄像头110捕捉到的图像进行预处理。例如，对图像进行可选的初步识别，以确定标记点105的大致区域并进行裁剪，以使得进行图3A～3C所示图像处理的设备(例如，图1所示的VR头盔100或摄像头110或另一电子设备)能够专注于对标记点图像的处理。此外，还可以对图像进行滤波，以去除由摄像头110的图像传感器产生的可能噪声。此外，在摄像头110捕捉图像之前，还可以可选地对摄像头110进行校准。例如，可以通过拍摄具有指定位置和/或姿态的预设图像来确定摄像头110是否正常工作、是否需要调整摄像头参数(例如，感光度、快门、光圈等)等。

在经过上述可选的预处理步骤之后，可以对经预处理的图像进行二值化处理，以形成如图3A所示的二值化图像(例如，黑白图像)。例如，在一些实施例中，二值化处理可以是基于阈值的二值化处理，即将具有低于阈值的灰度的像素设置为白色，而将具有高于阈值的灰度的像素设置为黑色，从而形成黑白图像。此外，在采用相反灰度值的另一些实施例中，二值化处理也可以是以下处理：将具有高于阈值的灰度的像素设置为白色，而将具有低于阈值的灰度的像素设置为黑色。在形成了二值化图像之后，可以对图像中存在的例如白色连通区域进行确定。例如，可以通过逐行扫描像素是否是白色像素并对相邻的白色像素设置等价关系来确定连通区域。本领域技术人员可以了解多种用于确定连通区域的算法，且因此本公开不在此对其进行详述。

在确定了多个连通区域之后，可以将其中具有最大面积的连通区域确定为上述第一标记点0的标记点图像，如图3B所示。然而需要注意的是：确定第一标记点0的标记点图像的方式不限于此，而是可以用任何恰当的形式来确定。例如，可以针对每个连通区域进行椭圆拟合，从而确定长轴和短轴的长度不同(或其差值大于特定阈值)的连通区域为第一标记点0的标记点图像。又例如，可以在确定面积最大的情况下同时执行椭圆拟合，以确保该第一标记点0的可靠性。

如图3B所示，在确定了第一标记点0的标记点图像之后，可以针对第一标记点0进行椭圆拟合，以确定第一标记点0的长轴和/或中心点。此外，还可以同时将所确定的椭圆的中心点确定为第一标记点0的位置和多个标记点105的原点。此外，在确定了椭圆的长轴的情况下，可以该长轴为分界线，将图像分为左右两个区域。然而需要注意的是，本公开不限于此。事实上，也可以通过短轴来将图像加以分割。此外，在采用其它形状的第一标记点0的情况下，也可以用例如三角形的高或矩形的过中心点且与长边平行的线来分割图像等。

接下来，可以计算其它标记点与第一标记点0的距离，并根据前述确定的长轴方向(或其它方向)来确定各个标记点的编号(或标识符)。例如，在一些实施例中，针对图像的左区域，可先求出距离第一标记点0最近的两个标记点，如果这两个标记点组成的向量的方向与椭圆长轴的方向相同，则可以将该向量起点的标记点确定为2号标记点，而终点的标记点确定为1号标记点，如图3C所示。

此外，在另一些实施例中，也可以根据各个标记点到长轴的垂直距离以及在相对于长轴的哪个区域中对各个标记点分组。例如，如图3C所示，可将1号和2号标记点分为一组，将5、6、7号标记点分为一组等等。然后在每组中，可以根据椭圆长轴的方向来确定各个标记点的正确编号。需要注意的是，在图1所示实施例中，由于用户120佩戴VR头盔100的方式大体固定，因此不太可能出现多个标记点105上下颠倒的情况，因此这也为标记点105的确定提供了便利。然而，在标记点105可能出现上下颠倒的情况下，也可以通过调整标记点105的方式来确定正确的方向。例如，可以将标记点1替换为三角形标记点，从而只有三角形标记点1出现在圆形标记点2之上的情况，才是与椭圆长轴的方向相对应的正确方向。否则应当将其调转180度。因此，本公开实施例可适用于各种场景。

在如图3C所示确定了图像中每一个标记点图像的相应编号之后，可以记录下该编号所对应的相应标记点的位置(例如，其中心像素位置或相对于第一标记点0的中心点的相对像素位置)。

接下来，可以基于图像中多个标记点图像的位置(以下有时可称为摄像头坐标系的坐标)以及多个相应标记点的空间位置(以下有时可称为世界坐标系的坐标)，使用例如图4所示的算法来计算出待定位物体100相对于摄像头110的空间姿态。该空间姿态可包括如下结合图4所详细描述的位置矩阵和旋转矩阵。

此外，在一些实施例中，标记点105的形状甚至可以是标记点105自身的标识。例如，标记点105的形状可以是用字符(例如，字母、数字和/或汉字等)形成的形状，该字符除了作为标记点105的形状之外还可以用于区分各个标记点105。例如，标记点105中的第一标记点可以具有形状“1”，第二标记点可以具有形状“2”，依此类推。在该情况下，可以通过直接识别每个标记点图像的字符来确定每个标记点图像与相应标记点的对应关系，并进而确定待定位物体100的空间姿态等。

此外，尽管上面提出了使用先确定第一标记点与其标记点图像的对应关系、再确定其它各个标记点与标记点图像的对应关系的方案，然而本公开不限于此。事实上，也可以在不确定某个具体标记点及其图像之间的对应关系的情况下，基于标记点之间的相对位置关系和标记点图像之间的相对位置关系来直接确定标记点和标记点图像之间的对应关系。

图4是示出了根据本公开实施例的确定空间自由度的算法的示例说明图。如图4所示，摄像头110可以如前所述对多个三维标记点105进行成像，以在其像平面上形成多个标记点图像。例如，在图4所示实施例，可以对具有世界坐标系w下的坐标p₁＝[x₁ y₁ z₁]^T的第一标记点进行成像，以得到其具有摄像头坐标系c下的坐标[u₁v₁]^T的在像平面中的相应标记点图像。类似地，可以对其它标记点进行成像并得到相应标记点图像的坐标。

需要注意的是：根据标记点105之间的相对位置关系即可确定其在世界坐标系w下的相应坐标，而根据标记点图像之间的相对位置关系即可确定其在摄像头坐标系c下的相应坐标。具体地，以例如采集到的图像中的任意点为原点(例如，左下角像素点、右下角像素点、或第一标记点图像的中点等等)，根据各个标记点图像之间的相对位置关系，即可确定各个标记点图像在摄像头坐标系c下的坐标。类似地，可以以例如待定位物体100或任何其它固定位置的任何点为原点(例如，待定位物体100上第一标记点的中心或待定位物体的中心等)，根据各个标记点之间的相对位置关系，即可确定各个标记点在世界坐标系w下的坐标。在采用不同原点和/或不同轴方向的情况下，这些坐标之间仅需要进行空间平移和/或旋转即可相互转换。鉴于摄像头105位置相对固定，因此根据下述方式确定的世界坐标系w相对于摄像头坐标系c的旋转和/或平移矩阵即等同于确定了待定位物体100的位置和/或姿态。

因此，在世界坐标系w(即真实世界坐标系)中，标记点的三维坐标(x，y，z)经过旋转(Rotation)和/或平移(Translation)就变换到了摄像头坐标系c中的二维图像坐标(u，v)，并形成了用以下公式表达的转换关系：

sp_c＝K[R|T]p_w (1)

或更具体的形式

其中，p_w＝[x y z]^T是世界坐标系中的点p的坐标，p_c＝[uv]^T是摄像头坐标系中相应的点p的像的坐标，K是固有摄像头参数矩阵(其中，如下面提到的f_x和f_y分别是经过缩放的焦距坐标，γ是有时被假设为0的偏斜参数，(c_x，c_y)是主像点坐标)，s是主像点的缩放因子，以及R和T分别是要计算的摄像头的3D旋转矩阵和3D平移矩阵。如上所见，固有摄像头参数矩阵K在摄像头110确定的情况下通常本身是确定的，且因此在本公开实施例中为了简化可将其视为常数。然而本公开不限于此，事实上也可以针对不确定的摄像头参数矩阵K来采用相应算法进行计算。

通过例如上述公式(2)，在给定等号左侧的各标记点的摄像头坐标系的坐标(u，v)和右侧各标记点的世界坐标系坐标(x，y，z)的对应关系已知的情况下，例如，通过图3A～3C所示方法确定了该对应关系的情况下，可以采用各种算法来确定旋转矩阵

和平移矩阵

具体地，用于确定这两个矩阵的算法包括(但不限于)：随机采样一致(RANSAC)算法、直接线性变换(DLT)算法、PosIt算法等等。其中一些算法可以适用于共面的标记点，而另一些算法可能仅适用于非共面的标记点。在采用仅适用于非共面的标记点的算法时，需要将多个标记点105以非共面的方式布置在待定位物体100上。此外，鉴于本领域技术人员可以了解多种用于计算旋转矩阵R和平移矩阵T的算法，且因此本公开不在此对其进行详述。

此外，对于旋转矩阵R和平移矩阵T的每行元素来说，都相当于在例如通过图3所示方法来确定了多个p_w＝[x y z]^T和多个相应p_c＝[u v]^T的情况下，求解四元一次方程组。换言之，需要至少四个标记点在世界坐标系下的坐标p_w＝[x y z]^T、标记点图像在摄像头坐标系下的坐标p_c＝[u v]^T以及它们之间的对应关系来确定例如[r₁₁ r₁₂ r₁₃ t₁]、[r₂₁ r₂₂ r₂₃t₂]和[r₃₁ r₃₂ r₃₃ t₃]。然而，如前所述，考虑到在用户的某些姿势的情况下，可能不是所有的标记点105都能被摄像头110所观察到，此外还有可能存在图像噪声、环境光过强导致的数据错误、噪声等情况，因此可以设置多于4个标记点来进行后续的定位操作，以提高系统的鲁棒性。

从而，通过求解上述旋转矩阵R和平移矩阵T，可以确定待定位物体(例如，VR头盔100，或更具体地多个标记点105)相对于摄像头110的位置(例如，通过平移矩阵T)和/或姿态(例如，通过旋转矩阵R)。从而，可以据此实现后续的各种其它操作，例如对象跟踪、与用户120的操作相对应的VR/AR显示等。

以下，将结合图5来详细描述根据本公开实施例的用于空间定位的方法。

图5是示出了根据本公开实施例的空间定位方法500的示例流程图。如图5所示，方法500可以包括步骤S510、S520和S530。根据本公开，方法500的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图5所示的具体操作顺序。在一些实施例中，方法500可以由图1所示的摄像头110或VR头盔100或另一电子设备执行。

方法500可以开始于步骤S510，在步骤S510中，可以由例如图6所示的设备600的处理器606获取具有多个标记点的待定位物体的二维图像，该二维图像可包括与多个标记点一一对应的多个标记点图像。

在步骤S520中，可以由例如图6所示的设备600的处理器606根据多个标记点之间的相对位置关系和多个标记点图像之间的相对位置关系来确定多个标记点与多个标记点图像之间的对应关系。

在步骤S530中，可以由例如图6所示的设备600的处理器606根据多个标记点之间的相对位置关系、多个标记点图像之间的相对位置关系以及多个标记点与多个标记点图像之间的对应关系，来确定待定位物体的至少一个空间自由度。

在一些实施例中，步骤S520可以包括：根据多个标记点图像的标记特征来确定多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像；以及基于多个标记点之间的相对位置关系、多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除第一标记点之外的其它标记点与二维图像中的其它标记点图像之间的对应关系。在一些实施例中，根据多个标记点图像的标记特征来确定多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像可包括：将多个标记点图像中具有与特定标记特征相匹配的标记特征的标记点图像确定为第一标记点图像。在一些实施例中，将多个标记点图像中具有与特定标记特征相匹配的标记特征的标记点图像确定为第一标记点图像可包括：将具有最大面积和/或椭圆形状的标记点图像确定为第一标记点图像。在一些实施例中，基于多个标记点之间的相对位置关系、多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除第一标记点之外的其它标记点与二维图像中的其它标记点图像之间的对应关系可包括：确定第一标记点图像的椭圆的长轴或短轴；根据所确定的长轴或短轴，来确定与椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组；以及按长轴或短轴来分别确定每个标记点图像组中的不同标记点图像与相应标记点之间的对应关系。在一些实施例中，根据所确定的长轴或短轴，来确定与椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组可包括：分别计算每个标记点图像与长轴或短轴的垂直距离；以及将具有相同垂直距离并在椭圆的长轴或短轴同一侧的标记点图像分为一个标记点图像组。在一些实施例中，将具有最大面积和/或椭圆形状的标记点图像确定为第一标记点图像可包括：对二维图像进行二值化处理；确定经二值化处理的二维图像中的一个或多个连通区域；以及将具有最大面积和/或椭圆形状的连通区域确定为第一标记点图像。在一些实施例中，方法500还可包括：对一个或多个连通区域进行椭圆拟合，以确定每个连通区域的中心点作为相应标记点图像的位置。在一些实施例中，多个标记点可包括至少四个标记点。在一些实施例中，多个标记点可包括十一个标记点。在一些实施例中，可以最大的椭圆形第一标记点的长轴为中心轴左右对称分布四个标记点组，其中每个标记点组中的标记点的数量可分别为3、2、2、3，且每组中标记点排列方向可与长轴平行。在一些实施例中，标记点可以是通过使用可见光源、红外光源或非光源标记点中至少一项来确定的。

图6是示出了根据本公开实施例的图1所示摄像头110或VR头盔100或另一电子设备的示例硬件布置600的框图。硬件布置600包括处理器606(例如，数字信号处理器(DSP)、中央处理单元(CPU)等)。处理器606可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。布置600还可以包括用于从其他实体接收信号的输入单元602、以及用于向其他实体提供信号的输出单元604。输入单元602和输出单元604可以被布置为单一实体或者是分离的实体。

此外，布置600可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质608，例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质608包括计算机程序610，该计算机程序610包括代码/计算机可读指令，其在由布置600中的处理器606执行时使得硬件布置600和/或包括硬件布置600在内的设备可以执行例如上面结合图1～5所描述的流程及其任何变形。

计算机程序610可被配置为具有例如计算机程序模块610A～610C架构的计算机程序代码。因此，在例如VR头盔100、摄像头110或另一电子设备中使用硬件布置600时的示例实施例中，布置600的计算机程序中的代码可包括：模块610A，用于获取具有多个标记点的待定位物体的二维图像，该二维图像包括与多个标记点一一对应的多个标记点图像；模块610B，用于根据多个标记点之间的相对位置关系和多个标记点图像之间的相对位置关系来确定多个标记点与多个标记点图像之间的对应关系；以及模块610C，用于根据多个标记点之间的相对位置关系、多个标记点图像之间的相对位置关系以及多个标记点与多个标记点图像之间的对应关系，来确定待定位物体的至少一个空间自由度。

计算机程序模块实质上可以执行图1～5中所示出的流程中的各个动作，以模拟VR头盔100、摄像头110或另一电子设备。换言之，当在处理器606中执行不同计算机程序模块时，它们可以对应于VR头盔100、摄像头110或另一电子设备中的不同单元或模块。

尽管上面结合图6所公开的实施例中的代码手段被实现为计算机程序模块，其在处理器606中执行时使得硬件布置600执行上面结合图1～5所描述的动作，然而在备选实施例中，该代码手段中的至少一项可以至少被部分地实现为硬件电路。

处理器可以是单个CPU(中央处理单元)，但也可以包括两个或更多个处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序可以由连接到处理器的计算机程序产品来承载。计算机程序产品可以包括其上存储有计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM，且上述计算机程序模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序产品中。

至此已经结合优选实施例对本公开进行了描述。应该理解，本领域技术人员在不脱离本公开的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本公开的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims (11)

1.一种空间定位方法，包括：

获取具有多个标记点的待定位物体的二维图像，所述二维图像包括与所述多个标记点一一对应的多个标记点图像；

根据所述多个标记点之间的相对位置关系和所述多个标记点图像之间的相对位置关系来确定所述多个标记点与所述多个标记点图像之间的对应关系；以及

根据所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系以及所述多个标记点与所述多个标记点图像之间的对应关系，来确定所述待定位物体的至少一个空间自由度，

其中，根据所述多个标记点之间的相对位置关系和所述多个标记点图像之间的相对位置关系来确定所述多个标记点与所述多个标记点图像之间的对应关系包括：

根据所述多个标记点图像的标记特征来确定所述多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像；以及

基于所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除所述第一标记点之外的其它标记点与所述二维图像中的其它标记点图像之间的对应关系，

其中，根据所述多个标记点图像的标记特征来确定所述多个标记点图像中的与具有特定标记特征的第一标记点相对应的第一标记点图像包括：将具有最大面积的椭圆形状的标记点图像确定为所述第一标记点图像；

其中，基于所述多个标记点之间的相对位置关系、所述多个标记点图像之间的相对位置关系和所确定的第一标记点图像，来确定除所述第一标记点之外的其它标记点与所述二维图像中的其它标记点图像之间的对应关系包括：

确定所述第一标记点图像的椭圆的长轴或短轴；

根据所确定的长轴或短轴，来确定与所述椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组；以及

按长轴或短轴来分别确定每个标记点图像组中的不同标记点图像与相应标记点之间的对应关系，

其中，所述标记特征包括大小、形状、纹理和颜色中的至少一项，

其中，各个标记点的标记特征采用不同设置。

2.根据权利要求1所述的方法，其中，根据所确定的长轴或短轴，来确定与所述椭圆的长轴或短轴具有不同垂直距离的不同标记点图像组包括：

分别计算每个标记点图像与长轴或短轴的垂直距离；以及

将具有相同垂直距离并在所述椭圆的长轴或短轴同一侧的标记点图像分为一个标记点图像组。

3.根据权利要求1所述的方法，其中，将具有最大面积的椭圆形状的标记点图像确定为所述第一标记点图像包括：

对所述二维图像进行二值化处理；

确定经二值化处理的所述二维图像中的一个或多个连通区域；以及

将具有最大面积的椭圆形状的连通区域确定为所述第一标记点图像。

4.根据权利要求3所述的方法，还包括：

对所述一个或多个连通区域进行椭圆拟合，以确定每个连通区域的中心点作为相应标记点图像的位置。

5.根据权利要求1所述的方法，其中，所述多个标记点包括至少四个标记点。

6.根据权利要求5所述的方法，其中，所述多个标记点包括十一个标记点。

7.根据权利要求6所述的方法，其中，以最大的椭圆形第一标记点的长轴为中心轴左右对称分布四个标记点组，其中每个标记点组中的标记点的数量分别为3、2、2、3，且每组中标记点排列方向与长轴平行。

8.根据权利要求1所述的方法，其中，所述标记点是通过使用可见光源、红外光源或非光源标记点中至少一项来确定的。

9.一种空间定位设备，包括：

处理器；

存储器，存储指令，所述指令在由处理器执行时使得所述处理器执行根据权利要求1～8中任一项所述的方法。

10.一种空间定位系统，包括：

根据权利要求9所述的空间定位设备，其上设置有多个标记点；以及

摄像头，被配置为获取所述空间定位设备的图像，并向所述空间定位设备传输所述图像。

11.一种计算机可读存储介质，其上存储有指令，所述指令在由处理器执行时使得所述处理器执行根据权利要求1～8中任一项所述的方法。

Images