CN111199576B - 一种基于移动平台的室外大范围人体姿态重建方法 - Google Patents

Abstract

本发明公布了一种基于移动平台上的室外大范围人体姿态重建方法，包括如下步骤：使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；移动平台跟随拍摄人体姿态，实时建立人体模型；根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。本发明具有以下有益效果：不需要人工对相机进行标定，操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时，结合了多种传感器的数据，因此标定具有鲁棒性。相机位于移动平台上，使得拍摄灵活。最后，系统控制移动平台移动和更好的拍摄角度进行拍摄，可以得到更优的人体位姿信息。

Description

一种基于移动平台的室外大范围人体姿态重建方法

技术领域

本发明涉及多传感器结合、相机自动标定、人体姿态估计、人体姿态重建等领域，尤其涉及到一种基于移动平台实时相机自动标定的室外大范围人体姿态重建技术。

背景技术

室外人体姿态重建对于危险行为分析，运动员辅助训练，战场环境分析和未来的全息通信等都有重要作用。人体姿态重建是危险行为分析、运动员辅助训练和战场环境分析的核心步骤，要获得场景内的人物行为状态，对其关节点位置的分析必不可少。但当前人体姿态分析需要复杂的标定程序，仅针对室内小范围固定场景，并且在人员调整相机位置后需要重新标定，使用效率低，场景适应性弱。

相机的便捷高精度标定和合理的拍摄方法是重建人体姿态的核心问题，但当前的对人体姿态的重建基本都是使用单个相机或者固定的多个相机。这两种方法主要面临以下困难：单个相机的方法只能获得人体的2d位姿，对3d位姿的估计误差较大，且无法处理一个视角下的遮挡关节点。使用多个固定的相机的方法虽然重建准确率较高，也能处理部分的遮挡问题，但是固定相机的标定费时费力，且一旦标定完成相机就不允许再进行移动。因为固定相机的拍摄范围受限，所以对室外的移动场景基本无能为力。以上两种方式共有的缺陷是相机位置固定，相机经常不是在理想的拍摄角度，不能根据场景内的人体自动调整拍摄角度。

发明内容

本发明的目的是通过以下技术方案实现的。

鉴于对室外场景的人体姿态重建问题，本发明的目的在于提供一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术。能够结合多种传感器数据自动进行鲁棒的计算相机位姿，完成相机间标定；能够控制多个拍摄平台移动拍摄，实时重建人体模型；能够在人体姿态重建完毕后，根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。

根据本发明的第一个方面，提供了一种基于移动平台的室外大范围人体姿态重建方法，包括：

使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；

移动平台跟随拍摄人体姿态，实时建立人体模型；

根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。

进一步地，所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：

通过卫星定位系统获得相机坐标，与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工视觉标识，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定。

进一步地，所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：

测定每台相机的内参记录到中央计算机中；

为每台相机分配人工视觉标识；

所有移动平台从同一位置，相机以同一角度出发，出发时进行惯性测量单元的初始化；

将卫星定位系统、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中，根据上述数据实时标定相机。

进一步地，通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿，通过卫星定位系统计算出相机的相对位移。

进一步地，所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：

利用三角测量得到人关节点的三维坐标，通过动画软件对三维人体位姿进行重建。

进一步地，所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：

每台相机拍摄场景图片；

对每帧图像使用深度学习方法预测按人区分的关节点2d坐标；

每台相机将得到的2d关节点坐标无线传输到中央计算机，标定得到相机之间的转换矩阵；

中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。

进一步地，所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：

根据人体姿态重建结果，判断拍摄角度是否合理，如果拍摄角度合理，则移动平台不移动，如果拍摄角度不合理，则计算合理拍摄位置；

控制移动平台到达目标位置。

进一步地，所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：

判断重建的人体姿态是否有遮挡或侧身；

如果有遮挡或侧身，计算能够减少遮挡或人体的正面位置作为目标位置；

控制移动平台到达目标位置。

根据本发明的第二个方面，还提供了一种基于移动平台的室外大范围人体姿态重建系统，包括：

实时自标定模块，用于通过卫星定位、惯性测量单元和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿，计算转移矩阵，完成相机自标定；

实时姿态检测和重建模块，用于通过对每个相机拍摄到的RGB图像分别进行人体姿态检测，得到每个相机拍摄到的人体姿态的二维关节点坐标，使用所述实时自标定模块标定的数据，利用三角测量，解算出检测到的人体关节点的三维坐标，完成姿态重建；

移动平台位置自动优化模块，用于根据视野内人体位姿计算合适的拍摄角度，控制移动平台移动到合适的拍摄角度进行拍摄。

如上所述，本发明公布了一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术，具有以下有益效果：不需要人工对相机进行标定，操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时，结合了多种传感器的数据，因此标定具有鲁棒性。相机位于移动平台上，使得拍摄灵活。最后，系统控制移动平台移动和更好的拍摄角度进行拍摄，可以得到更优的人体位姿信息。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1显示为本发明实施例中公开的整体基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术处理流程图。

图2显示为本发明实施例中公开的结合多种传感器的实时鲁棒的相机自标定处理流程图。

图3显示为本发明实施例中公开的移动实时人体姿态重建处理流程图。

图4显示为本发明实施例中公开的移动平台位置自动优化流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明公开一种基于移动平台的室外大范围人体姿态重建技术，能够使移动平台上的相机实时自标定，以对室外大范围的人体姿态进行实时重建。无需繁琐的人工标定过程，使得对室外大范围移动的人体进行姿态重建成为可能。移动人体姿态重建系统由实时自标定模块、实时姿态检测和重建模块和移动平台位置自动优化模块构成。首先，多个移动平台，如三架无人机，出发后，自标定模块通过卫星定位、IMU((英文：Inertialmeasurement unit，简称IMU)惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。)和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿，计算转移矩阵，完成相机自标定。其次，实时姿态检测和重建模块通过对每个相机拍摄到的RGB图像分别进行人体姿态检测，得到每个相机拍摄到的人体姿态的二维关节点坐标，使用自标定模块当时标定的数据，利用三角测量，解算出检测到的人体关节点的三维坐标，完成姿态重建。最后，移动平台位置自动优化模块根据视野内人体位姿计算合适的拍摄角度，控制移动平台移动到合适的拍摄角度进行拍摄。

一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

具体的，图1给出了本发明的总体流程图，其中包含3个关键步骤，分别是实时鲁棒的相机自标定、移动实时人体姿态重建、移动平台位置自动优化，本实施例将对上述3个关键步骤进行详细描述。

本发明提供一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术，处理流程如图1所示，包括如下步骤：

S1、多个移动平台(如三架无人机)，每个搭载一个绑定了IMU、人工视觉标识和卫星定位系统的相机，结合以上三种传感器数据自动进行鲁棒的相机位姿计算和相机间标定；

其中，首先三架无人机一次在同一个位置起飞，初始化IMU。通过卫星定位获得相机坐标，与相机固定在一起的IMU获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工标志物，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定。

S2、移动实时人体姿态重建。利用三角测量得到人关节点的三维坐标，通过动画软件对三维人体位姿进行重建。

S3、在人体姿态重建完毕后，根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。

其中，图2给出了结合多种传感器的实时鲁棒的相机自标定处理流程图。为了达到鲁棒得标定相机的目的，本发明采用了三种传感器共同计算位姿的方法。这三种传感器各有优势，卫星定位和视觉标识物能够对IMU长时间使用产生的漂移误差进行纠正，IMU能在卫星定位信号不良或未拍摄到视觉标识物的时候仍提供位姿信息使标定不间断。通过三种传感器优势互补，便能获得较好的标定。将相机都使用同一个夹具进行固定后初始化IMU，能够将IMU的初始化状态调整至一致。相机的内参由相机出厂自带或者在使用之前用测量工具测得，使用时内参基本不变。本发明在步骤1中需要结合三种传感器对相机位姿做综合分析并标定，关键步骤是IMU的初始化、人工视觉标识的绑定和设计多种传感器的数据结合策略。处理流程如图2所示，包括如下步骤：

S11、测定每台相机的内参记录到中央计算机中。

S12、为每台相机分配特定二维码或者其他形状的人工视觉标识，标识和相机固定在一起。拍摄到此标识就能计算出拍摄相机和被拍相机之间的相对位姿。将恰好和相机形状吻合的卡槽固定到地面，将相机摆放到卡槽。

S13、所有移动平台从同一位置，相机以同一角度出发，出发时进行IMU的初始化，做到了所有移动平台的IMU初始化参数相同。

S14、将卫星定位、IMU和人工视觉标识数据无线传输到中央计算机中，通过IMU和人工视觉标识能分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿，通过卫星定位系统能计算出相机的相对位移。某一个精度被认为较低时，舍弃这个的计算结果。然后，将数据无线传输到中央计算机。综合三个来源的参数，舍弃不可靠参数，实时标定相机。如果三个精度都在可接受的阈值内时，对三个的参数进行平均得到最后的值，得到了相机之间的外参。

通过步骤S1，同时利用了卫星定位系统提供的位置信息，IMU提供的相对于初始点的位置和角度信息，相机拍摄挂在除自身外其他移动平台的人工视觉标识物计算出移动平台之间的相对位姿。当某个传感器参数无法使用时，用剩下的一个或两个仍然能成功计算出相机间的相对位姿进行标定。

在步骤2中，本发明实时解算拍摄范围内的人体关节的3d坐标。如图3所示，给出了移动实时人体姿态重建处理流程图。对单张彩色图像利用深度神经网络进行2d关节点预测，能够较好的得到人体关节的2d信息。每个移动平台将分析得到的2d关节信息无线传输到中央计算机。在中央计算机中使用上一步中得到的相机位姿关系和本步中的2d关节坐标，即可使用对极集合约束求解人体关节的3d位置。关键步骤如下：

S21、每台相机拍摄场景图片；

S22、对每帧图像使用深度学习方法(神经网络)预测按人区分的关节点2d坐标；

S23、每台相机将得到的2d关节点坐标无线传输到中央计算机；标定得到相机之间的转换矩阵。

S24、中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。由对极集合解算关节3d坐标，通过动画软件对人体姿态进行重建显示。

通过步骤S2，多个移动平台一边从多个视角跟随拍摄，一边实时的计算出了人体的位姿并进行了实时建模。从多个视角拍摄能够尽可能多的得到人体真实位姿，减少因为遮挡等因素造成等位姿不确定性。实时的分析建模具有良好的时效性并能向场景中的人及时的反馈信息。

通过步骤S1、S2，即可获得实时的人体姿态重建。因为人员处于移动状态，经常发生身体遮挡和侧身等现象，需要结合特定的场景进行拍摄位置等调整以获得精确的人体姿态信息，本发明设计基于重建结果自动分析控制的移动拍摄平台，可以根据场景中当时的情况分析相机位置是否合理，不合理时进行自动调整。如图4所示，给出了移动平台位置自动优化流程图。因为人员处于移动状态，经常发生身体遮挡和侧身等现象，这些现象发生时会导致2d关节分析困难，进而影响关节三维信息推算的准确度。本发明设计移动平台位置自动优化策略，随时判断场景中的重建对象是否被遮挡或者是否处于侧身状态。如果检测到这些状态发生，就计算减少重建对象遮挡的位置或人体的正反面位置，选择合适的位置作为当前帧的目标位置，结合之前帧的目标位置预测之后的帧的目标位置，控制移动平台抵达该位置。关键步骤如下：

S31、根据人体姿态重建结果，判断拍摄角度是否合理，例如判断重建的人体姿态是否有遮挡或侧身；

S32、如果拍摄角度合理，则无人机不移动，如果拍摄角度不合理，例如如果有遮挡或侧身，计算能够减少遮挡或人体的正面位置作为目标位置；

S33、控制移动平台到达目标位置。

通过步骤S3，由于固定的拍摄角度或者随机的拍摄角度不能应对每个具体的场景，场景内人体位姿不同，能更高精度的得到人体位姿的拍摄角度是不同的。本发明能够根据场景内的状况，控制移动平台自动移动到合适的拍摄位置能够更好的获得人体位姿信息，重建出更加精准的人体位姿。

本发明从鲁棒的相机自动标定和合理拍摄方法入手，开发基于移动平台的实时相机自标定的室外大范围人体姿态重建系统，在使用该系统时，只需要设定拍摄中心，无需对移动平台个体进行操作，也不需要对移动平台上的相机进行手动标定，系统可以自动完成对移动平台个体的控制，自动结合卫星定位系统，IMU和相机拍摄到的人工视觉标识物计算出相机位姿，完成相机标定。并且系统能自动根据拍摄范围内的人体位姿调整移动平台到合适的拍摄位置。

上述方法不需要人工对相机进行标定，操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时，结合了多种传感器的数据，因此标定具有鲁棒性。相机位于移动平台上，使得拍摄灵活。最后，系统控制移动平台移动和更好的拍摄角度进行拍摄，可以得到更优的人体位姿信息。本系统可帮助进行室外的运动员运动分析，安防领域的异常行为检测等。

通过上述具体实施方案，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，包括：

使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：通过卫星定位系统获得相机坐标，与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工视觉标识，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定；其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；

移动平台跟随拍摄人体姿态，实时建立人体模型；

根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。

2.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：

测定每台相机的内参记录到中央计算机中；

为每台相机分配人工视觉标识；

所有移动平台从同一位置，相机以同一角度出发，出发时进行惯性测量单元的初始化；

将卫星定位系统、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中，根据上述数据实时标定相机。

3.根据权利要求2所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿，通过卫星定位系统计算出相机的相对位移。

4.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：

利用三角测量得到人关节点的三维坐标，通过动画软件对三维人体位姿进行重建。

5.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：

每台相机拍摄场景图片；

对每帧图像使用深度学习方法预测按人区分的关节点2d坐标；

每台相机将得到的2d关节点坐标无线传输到中央计算机，标定得到相机之间的转换矩阵；

中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。

6.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：

根据人体姿态重建结果，判断拍摄角度是否合理，如果拍摄角度合理，则移动平台不移动，如果拍摄角度不合理，则计算合理拍摄位置；

控制移动平台到达目标位置。

7.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，

所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：

判断重建的人体姿态是否有遮挡或侧身；

如果有遮挡或侧身，计算能够减少遮挡或人体的正面位置作为目标位置；

控制移动平台到达目标位置。

8.一种基于移动平台的室外大范围人体姿态重建系统，其特征在于，包括：

实时自标定模块，用于通过卫星定位、惯性测量单元和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿，计算转移矩阵，完成相机自标定，包括：通过卫星定位系统获得相机坐标，与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工视觉标识，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定；

实时姿态检测和重建模块，用于通过对每个相机拍摄到的RGB图像分别进行人体姿态检测，得到每个相机拍摄到的人体姿态的二维关节点坐标，使用所述实时自标定模块标定的数据，利用三角测量，解算出检测到的人体关节点的三维坐标，完成姿态重建；

移动平台位置自动优化模块，用于根据视野内人体位姿计算合适的拍摄角度，控制移动平台移动到合适的拍摄角度进行拍摄。