CN112184914A - 目标对象三维位置的确定方法、装置和路侧设备 - Google Patents

Abstract

本申请公开了一种目标对象三维位置的确定方法、装置和路侧设备，涉及图像处理技术领域、自动驾驶技术领域、及智能交通技术领域。具体实现方案为：在确定目标对象在世界坐标系下的三维位置时，是通过对包括目标对象的二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；并借助于目标对象在二维图像中的三维边框的坐标数据确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

Description

目标对象三维位置的确定方法、装置和路侧设备

技术领域

本申请涉及计算机技术领域、尤其涉及一种目标对象三维位置的确定方法、装置和路侧设备，可用于图像处理技术领域、自动驾驶技术领域、及智能交通技术领域。

背景技术

在智能交通技术领域，为了保证自动驾驶车辆的正常行驶，路侧设备在采集道路上障碍物的二维图像后，需要对该障碍物回3D，即需要确定该障碍物在世界坐标系下的三维位置，并将障碍物在世界坐标系下的三维位置传输给自动驾驶车辆，以使自动驾驶车辆可以基于获取到的三维位置，准确地绕过障碍物行驶，从而提高自动驾驶车辆行驶的安全性。

现有技术中，路侧设备在对障碍物回3D时，先采集障碍物的二维图像，通过深度学习检测算法检测出障碍物的2D像素坐标，并通过路侧设备的内参将障碍物的2D像素坐标转换至障碍物在相机坐标系下的归一化3D坐标，再结合相机的外参和高精地图的地面方程计算得到障碍物在世界坐标系下的3D坐标，即障碍物在世界坐标系下的三维位置。

但是，采用上述方式，需要借助高精地图确定障碍物在世界坐标系下的三维位置，但由于高精度地图需要定时更新以确定地图的精准性，若地图的未及时更新，则会导致计算得到的障碍物在世界坐标系下的三维位置准确度较低。

发明内容

本申请提供了一种目标对象三维位置的确定方法、装置和路侧设备，提高了计算得到的定目标对象在世界坐标系下的三维位置的准确度。

根据本申请的一方面，提供了一种目标对象三维位置的确定方法，该目标对象三维位置的确定方法可以包括：

采集二维图像；其中，所述二维图像中包括目标对象。

对所述二维图像进行检测，得到所述目标对象在所述二维图像中的三维边框的坐标数据。

基于所述三维边框的坐标数据确定所述目标对象在世界坐标系下的三维位置。

根据本申请的另一方面，提供了一种目标对象三维位置的确定装置，该目标对象三维位置的确定装置可以包括：

采集模块，用于采集二维图像；其中，所述二维图像中包括目标对象。

检测模块，用于对所述二维图像进行检测，得到所述目标对象在所述二维图像中的三维边框的坐标数据。

处理模块，用于基于所述三维边框的坐标数据确定所述目标对象在世界坐标系下的三维位置。

根据本申请的另一方面，提供了一种电子设备，该电子设备可以包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的目标对象三维位置的确定方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的目标对象三维位置的确定方法。

根据本申请的另一方面，提供了一种路侧设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面所述的目标对象三维位置的确定方法。

根据本申请的技术方案，在确定目标对象在世界坐标系下的三维位置时，是通过对包括目标对象的二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；并借助于目标对象在二维图像中的三维边框的坐标数据和预设的相机投影模型，共同确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的一种智能交通车路协同的系统示意图；

图2是根据本申请实施例提供的一种轿车在二维图像中的三维边框的示意图；

图3是根据本申请第一实施例提供的目标对象三维位置的确定方法的流程示意图；

图4是根据本申请第二实施例提供的目标对象三维位置的确定方法的流程示意图；

图5是根据本申请第二实施例提供的三维边框的顶面的示意图；

图6是根据本申请第四实施例提供的目标对象三维位置的确定装置的结构示意图；

图7是根据本申请实施例的目标对象三维位置的确定方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的目标对象三维位置的确定方法可以应用于目标对象在世界坐标系下的三维位置的检测系统中。例如，可以应用在智能交通车路协同的系统中，或者，可以应用在场地中检测目标的系统中。以应用在智能交通车路协同的系统中为例，示例的，请参见图1所示，图1是本申请实施例提供的一种智能交通车路协同的系统示意图，在智能交通车路协同的系统架构，包括道路上设置的路侧设备、与路侧设备连接的服务器设备(未示出)，以及与服务器设备连接至少一个自动驾驶车辆，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机，采集图像)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以基于路侧计算设备计算的结果，通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备，服务器设备可以基于路侧计算设备计算的结果，通过各种方式与自动驾驶或辅助驾驶车辆通信。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。在后续的描述中，将以路侧设备将计算得到障碍物的三维位置发送给自动驾驶车辆进行描述，其隐含包括了路侧设备可以通过服务器设备将计算得到障碍物的三维位置发送给自动驾驶车辆。

现有技术中，路侧设备可以通过采集道路上障碍物的二维图像，并基于采集到的二维图像计算障碍物在世界坐标系下的三维位置，再将计算得到的障碍物在世界坐标系下的三维位置传输给各自动驾驶车辆，以使自动驾驶车辆可以基于获取到的三维位置，准确地绕过障碍物行驶，从而提高自动驾驶车辆行驶的安全性。

结合图1所示的场景，路侧设备中可以包括四个模块，该四个模块主要包括路侧感知模块、存储模块、路侧计算模块和发送模块。其中，路侧感知模块主要用于采集包括障碍物的二维图像；存储模块主要用于存储预设设置的相机投影模型和高精度地图，路侧计算模块主要用于通过深度学习检测算法检测路侧感知模块采集到的二维图像，得到二维图像中障碍物的中心点的坐标，并将该障碍物的中心点的坐标输入至相机投影模型，得到该障碍物的中心点在世界坐标系下的三维位置，由于无法确定障碍物的深度信息，因此，由于仅根据该障碍物的中心点在世界坐标系下的三维位置，无法准确的计算整个障碍物在世界坐标系下的三维位置，因此，需要再结合存储模块中的高精度地图的地面方程计算得到障碍物在世界坐标系下的三维位置；发送模块主要用于将计算得到的障碍物在世界坐标系下的三维位置发送给需要协助的各自动驾驶车辆，以使自动驾驶车辆可以基于获取到的三维位置，准确地绕过障碍物行驶，从而提高自动驾驶车辆行驶的安全性。但是，采用上述方式，需要借助高精地图，由于高精度地图需要定时更新以确定地图的精准性，若地图的未及时更新，则会导致计算得到的障碍物在世界坐标系下的三维位置准确度较低。

为了可以准确地计算障碍物在世界坐标系下的三维位置，在一种可能的尝试中，可以定时更新地图，以保证地图的精准性，从而解决因高精地图未及时更新导致计算得到障碍物的三维位置准确度较低的问题，但是，采用这种尝试，会使得地图的制作和更新成本较高。在另一种尝试中，可以避免借助高精地图，而是根据障碍物的中心点在世界坐标系下的三维位置，以及障碍物的深度信息，计算障碍物在世界坐标系下的三维位置。但是，采用该种尝试，需要先确定出障碍物的深度信息。为了确定障碍物的深度信息，可以尝试在二维图像中的障碍物中选择较多的点，而不局限于仅选择障碍物的中心点，并分别计算该多个点中每一个点在世界坐标系下的三维位置，这样不仅会使得计算量增大，而且即使计算得到了该多个点中每一个点在世界坐标系下的三维位置，但是，如果该多个点选择的不合理，通过该多个点中每一个点在世界坐标系下的三维位置，仍无法确定障碍物的深度信息，从而无法计算得到障碍物在世界坐标系下的三维位置。

可以看出，如何获取障碍物的深度信息，是计算障碍物在世界坐标系下的三维位置的一个关键因素。为了获取障碍物的深度信息，在本申请实施例中，可以尝试借助目标对象在二维图像中的三维边框，由于三维边框的坐标数据可以在一定程度上指示障碍物的深度信息，因此，可以根据目标对象在二维图像中的三维边框的坐标数据计算障碍物在世界坐标系下的三维位置。

基于上述构思，本申请实施例提供了一种目标对象三维位置的确定方法，在确定目标对象在世界坐标系下的三维位置时，可以先采集包括目标对象的二维图像；并对二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；再基于三维边框的坐标数据确定目标对象在世界坐标系下的三维位置。

其中，三维边框可以理解为目标对象在二维图像中的立体形状的边框，虽然三维边框为立体形状的边框，但该三维边框的坐标数据仍为二维坐标数据。示例的，该三维边框的坐标数据中可以包括三维边框中各个顶点在二维图像中的坐标。举例来说，当目标对象为轿车时，请参见图2所示，图2是根据本申请实施例提供的一种轿车在二维图像中的三维边框的示意图，图标2中所示的虚线长方体边框，即为轿车在二维图像中的三维边框，三维边框的坐标数据包括该长方体边框中各顶点在二维图像中的坐标。

示例的，目标对象也可以为车辆，也可以为行人，也可以为其它对象，例如，道路上掉落的树干等，具体可以根据实际需要进行设置，在此，对于目标对象的类型，本申请实施例不做进一步地限制。

可以看出，本申请实施例中，在确定目标对象在世界坐标系下的三维位置时，是通过对包括目标对象的二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；并借助于目标对象在二维图像中的三维边框的坐标数据确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

需要说明的是，在执行本申请实施例提供的技术方案时，以应用在智能交通车路协同的系统为例，可以由路侧设备，例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备执行本申请实施例提供的技术方案，也可以是与路侧计算设备连接的服务器设备，或是与路侧感知设备直接相连的服务器设备等执行本申请实施例提供的技术方案，具体可以根据实际需要进行设置，在此，本申请实施例不做具体限制。

可以理解的是，当本申请实施例提供的技术方案应用在智能交通车路协同的系统时，该目标对象可以为道路上的障碍物，例如，道路上的人、车辆、或者道路上掉落的物品等，路侧设备采集包括障碍物的二维图像，并借助于障碍物在二维图像中的三维边框的坐标数据，计算得到目标对象在世界坐标系下的三维位置后，还可以将计算得到的障碍物在世界坐标系下的三维位置发送给自动驾驶车辆，以使自动驾驶车辆可以基于获取到的三维位置，准确地绕过障碍物行驶，从而提高自动驾驶车辆行驶的安全性，此外，还在一定程度上降低了车路协同中的成本。需要说明的是，在后续描述本申请实施例提供的技术方案时，将以本申请实施例提供的技术方案应用在智能交通车路协同的系统中时，路侧设备采集包括障碍物的二维图像，并借助于障碍物在二维图像中的三维边框的坐标数据，计算得到目标对象在世界坐标系下的三维位置为例进行说明，但并不代表本申请实施例仅局限于此。

下面，将通过具体的实施例对本申请提供的目标对象三维位置的确定方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例一

图3是根据本申请第一实施例提供的目标对象三维位置的确定方法的流程示意图，该目标对象三维位置的确定方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为目标对象三维位置的确定装置，该目标对象三维位置的确定方法装置可以为路侧设备。示例的，请参见图3所示，该目标对象三维位置的确定方法可以包括：

S301、采集二维图像。

其中，二维图像中包括目标对象。示例的，目标对象也可以为道路上的障碍物，例如车辆，行人，或者道路上掉落的树干等，具体可以根据实际需要进行设置，在此，对于目标对象的具体类型，本申请实施例不做进一步地限制。

示例的，路侧设备在采集包括目标对象的二维图像时，可以通过路侧设备的摄像头采集二维图像，并在获取到包括目标对象的二维图像后，对二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据，即执行下述S302：

S302、对二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据。

其中，三维边框可以理解为目标对象在二维图像中的立体形状的边框，虽然三维边框为立体形状的边框，但该三维边框的坐标数据仍为二维坐标数据。示例的，该三维边框的坐标数据中可以包括三维边框中各个顶点在二维图像中的坐标。

以目标对象为轿车为例，可结合上述图2所示，路侧设备可以采用图像检测技术对包括轿车的二维图像进行图像检测，检测出轿车在二维图像中的三维边框，即图2中所示的虚线长方体，并得到三维边框的坐标数据。示例的，该三维边框的坐标数据可以包括三维边框中一个平面中至少三个顶点的坐标数据，也可以包括各个平面中至少三个顶点的坐标，具体可以根据实际需要进行设置。

由于三维边框的坐标数据可以在一定程度上指示障碍物的深度信息，因此，可以根据目标对象在二维图像中的三维边框计算障碍物在世界坐标系下的三维位置，即执行下述S303：

S303、基于三维边框的坐标数据确定目标对象在世界坐标系下的三维位置。

示例的，在基于三维边框的坐标数据确定目标对象在世界坐标系下的三维位置时，可以结合相机投影模型，共同确定目标对象在世界坐标系下的三维位置。其中，相机投影模型是根据采集二维图像的拍摄设备的内参对应的内参矩阵，及拍摄设备的外参对应的拍摄设备坐标系和世界坐标系之间的旋转矩阵和平移向量确定的。相机投影模型主要用于通过内参对应的内参矩阵将图像中的二维坐标转换为拍摄设备坐标系下的二维坐标，以及通过外参对应的拍摄设备坐标系和世界坐标系之间的旋转矩阵和平移向量将拍摄设备坐标系下的二维坐标转换为世界坐标系下的三维坐标，这样就可以计算得到目标对象在世界坐标系下的三维位置。可以理解的是，在本申请实施例中，拍摄设备可以为路侧设备。

需要说明的是，由于每一个拍摄设备具有固定的一套内参和外参，因此，对于每一个拍摄设备而言，其仅对应有一套相机投影模型，可以通过该相机投影模型计算不同目标对象在世界坐标系下的三维位置。

由此可见，在确定目标对象在世界坐标系下的三维位置时，是通过对包括目标对象的二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；并借助于目标对象在二维图像中的三维边框的坐标数据确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

为了便于理解在本申请实施例提供的目标对象三维位置的确定方法，下面，将通过下述具体的实施例二，对本申请实施例提供的目标对象三维位置的确定方法进行详细地描述。

实施例二

图4是根据本申请第二实施例提供的目标对象三维位置的确定方法的流程示意图，该目标对象三维位置的确定方法同样可以由软件和/或硬件装置执行。示例的，请参见图4所示，该目标对象三维位置的确定方法可以包括：

S401、采集二维图像。

其中，二维图像中包括目标对象。

S402、对二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据。

需要说明的是，在对二维图像进行检测，得到目标在二维图像中的三维边框的坐标数据的同时，还可以一并检测目标对象所属的类型，这样可以根据目标对象所属的类型，确定目标对象的三维立体尺寸，在后续S405中，会涉及到目标对象的三维立体尺寸。

在智能交通车路协同的系统中，路侧设备可以采集包括目标对象的二维图像，并采用图像检测技术对二维图像进行图像检测，确定出目标对象为道路上的轿车，且可以检测出轿车在二维图像中的三维边框，即图2中所示的虚线长方体，并得到三维边框的坐标数据。

S403、在三维边框的坐标数据，确定三维边框中的任意一个平面中的至少三个顶点的坐标数据。

在获取到三维边框的坐标数据后，可以在三维边框中任意选择一个平面，例如，可选择图2所示的三维边框的顶面，可参见图5所示，图5是根据本申请第二实施例提供的三维边框的顶面的示意图，可以在三维边框的顶面中选择三个顶点，以三个顶点包括顶点1、顶点2及顶点3为例，在三维框的数据中查找确定该三个顶点在二维图像中的坐标，顶点1的二维坐标为(u1,v1)、顶点2的二维坐标为(u2,v2)、顶点3的二维坐标为(u3,v3)。

在分别得到三维边框的顶面中顶点1的二维坐标(u1,v1)、顶点2的二维坐标(u2,v2)、以及顶点3的二维坐标(u3,v3)后，可以将三个顶点的坐标数据输入至相机投影模型，得到各顶点的坐标数据与三维坐标之间的相机投影关系，即执行下述S404：

S404、将至少三个顶点的坐标数据输入至相机投影模型，得到各顶点的坐标数据与三维坐标之间的相机投影关系。

示例的，路侧设备的内参对应的内参矩阵可以用K表示，外参对应的路侧设备坐标系和世界坐标系之间的旋转矩阵可以用R表示，平移向量可以用t表示，则基于内参矩阵K，外参对应的路侧设备坐标系和世界坐标系之间的旋转矩阵R、以及平移向量t得到的相机投影模型可以通过下述公式1表示：

其中，Zc表示路侧设备坐标系下的深度，(u，v)表示二维图像中点的坐标，(XW，YW，ZW)表示二维图像中点的三维坐标。

在通过上述S403得到三维边框的顶面中顶点1的二维坐标(u1,v1)、顶点2的二维坐标(u2,v2)、以及顶点3的二维坐标(u3,v3)后，针对每一个顶点，将其二维坐标输入至相机投影模型，得到各顶点的坐标数据与三维坐标之间的相机投影关系。例如，将顶点1的二维坐标(u1,v1)输入至相机投影模型，得到顶点1的坐标数据与三维坐标(XW1，YW1，ZW1)之间的相机投影关系1，该相机投影关系1可表示为：

将顶点2的二维坐标(u2,v2)输入至相机投影模型，得到顶点2的坐标数据与三维坐标(XW2，YW2，ZW2)之间的相机投影关系2，该相机投影关系2可表示为：

将顶点3的二维坐标(u3,v3)输入至相机投影模型，得到顶点3的坐标数据与三维坐标(XW3，YW3，ZW3)之间的相机投影关系3，该相机投影关系3可表示为：

从而得到顶点1、顶点2及顶点3各自的坐标数据与三维坐标之间的相机投影关系。

其中，每一个顶点的相机投影关系包含3个方程，4个未知参数(Zc、XW、YW、ZW)，3个相机投影关系包括共9个方程、12个参数，因此，还需要再结合至少3个方程，再结合3个相机投影关系包括的9个方程，就可以得到12个参数，从而得到顶点1的三维坐标(XW1，YW1，ZW1)，顶,2的三维坐标(XW2，YW2，ZW2)，以及顶点3的三维坐标(XW3，YW3，ZW3)。

在构造至少3个方程时，可以根据轿车所属的类型，确定轿车的三维立体尺寸，并根据轿车的三维立体尺寸，确定3个顶点中任意两个顶点的三维坐标之间的距离关系，以得到3个方程，可参见下述S405中的描述：

S405、根据目标对象所属的类型，确定至少三个顶点中任意两个顶点的三维坐标之间的距离关系。

示例的，在根据目标对象所属的类型，确定至少三个顶点中任意两个顶点的三维坐标之间的距离关系之前，需要先确定目标对象所属的类型，可结合上述S402中的描述，在执行上述S402的检测过程中，可以一并检测出目标对象所属的类型；也可以在S405中，需要确定任意两个顶点的三维坐标之间的距离关系时，再检测目标对象所属的类型，具体可以根据实际需要进行设置，在此，本申请实施例只是以在执行上述S402的检测过程中，可以一并检测出目标对象所属的类型为例进行说明。

在确定目标对象所属的类型为轿车时，通常情况下，轿车长3.5米，宽1.8米，可结合上述图5所示，可以看出，顶点1与顶点2之间的距离为1.8米，则顶点1与顶点2之间的距离关系1对应的方程为：(Xw1-Xw2)²+(Yw1-Yw2)²+(Zw1-Zw2)²＝1.8²；顶点2与顶点3之间的距离为3.5米，则顶点2与顶点3之间的距离关系2对应的方程为：(Xw2-Xw3)²+(Yw2-Yw3)²+(Zw2-Zw3)²＝3.5²；顶点1和顶点3之间的距离为3.5²+1.8²，则顶点1与顶点3之间的距离关系3对应的方程为：(Xw1-Xw3)²+(Yw1-Yw3)²+(Zw1-Zw3)²＝3.5²+1.8²，从而得到任意两个顶点的三维坐标之间的距离关系。

需要说明的是，在本申请实施例中，S404和S405之间并无顺序，可以先执行S404，再执行S405；也可以先执行S405，再执行S404；也可以同时执行S404和S405，具体可以根据实际需要进行设置，在此，本申请实施例只是以先执行S404，再执行S405为例进行说明，但并不代表本申请实施例仅局限于此。

在分别得到各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系后，就可以执行下述S406：

S406、根据各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到目标对象在世界坐标系下的三维位置。

示例的，根据各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到目标对象在世界坐标系下的三维位置时，可以先根据各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系，计算各顶点的三维坐标；再根据各顶点的三维坐标确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

继续以目标对象为轿车为例，可以根据顶点1、顶点2及顶点3各自对应的相机投影关系，即相机投影关系1、相机投影关系2及相机投影关系3，这3个相机投影关系包括的9个方程，顶点1与顶点2之间的距离关系1对应的方程、顶点2与顶点3之间的距离关系2对应的方程、顶点1与顶点3之间的距离关系3对应的方程、总共12个方程进行求解，从而得到顶点1的三维坐标(XW1，YW1，ZW1)、顶点2的三维坐标(XW2，YW2，ZW2)，以及顶点3的三维坐标(XW3，YW3，ZW3)。

在分别计算得到顶点1的三维坐标(XW1，YW1，ZW1)、顶点2的三维坐标(XW2，YW2，ZW2)，以及顶点3的三维坐标(XW3，YW3，ZW3)后，可以根据顶点1的三维坐标(XW1，YW1，ZW1)、顶点2的三维坐标(XW2，YW2，ZW2)，以及顶点3的三维坐标(XW3，YW3，ZW3)确定轿车在世界坐标系下的三维位置。

可以看出，本申请实施例中，在计算目标对象在世界坐标系下的三维位置时，是借助于目标对象在二维图像中的三维边框的坐标数据确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

此外，路侧设备在通过S401-S406计算得到轿车在世界坐标系下的三维位置后，可以将计算得到的轿车在世界坐标系下的三维位置发送给自动驾驶车辆，以使自动驾驶车辆可以基于获取到的三维位置，准确地绕过轿车行驶，从而提高自动驾驶车辆行驶的安全性，此外，还在一定程度上降低了车路协同中的成本。

实施例三

图6是根据本申请第四实施例提供的目标对象三维位置的确定装置60的结构示意图，示例的，请参见图6所示，该目标对象三维位置的确定装置60可以包括：

采集模块601，用于采集二维图像；其中，二维图像中包括目标对象。

检测模块602，用于对二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据。

处理模块603，用于基于三维边框的坐标数据确定目标对象在世界坐标系下的三维位置。

可选的，处理模块603包括第一处理子模块和第二处理子模块。

第一处理子模块，用于在三维边框的坐标数据，确定三维边框中的任意一个平面中的至少三个顶点的坐标数据。

第二处理子模块，用于将至少三个顶点的坐标数据输入至相机投影模型，得到目标对象在世界坐标系下的三维位置。

可选的，第二处理子模块，用于将至少三个顶点的坐标数据输入至相机投影模型，得到各顶点的坐标数据与三维坐标之间的相机投影关系；并根据目标对象所属的类型，确定至少三个顶点中任意两个顶点的三维坐标之间的距离关系；再根据各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到目标对象在世界坐标系下的三维位置。

可选的，第二处理子模块，用于根据各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系，计算各顶点的三维坐标；并根据各顶点的三维坐标确定目标对象在世界坐标系下的三维位置。

可选的，处理模块603还包括第三处理子模块。

第三处理子模块，用于确定采集二维图像的拍摄设备的内参对应的内参矩阵，及拍摄设备的外参对应的拍摄设备坐标系和世界坐标系之间的旋转矩阵和平移向量；并根据内参矩阵、旋转矩阵、及平移向量确定相机投影模型。

可选的，目标对象为道路上的障碍物，装置还包括发送模块604。

发送模块604，用于将目标对象在世界坐标系下的三维位置发送给自动驾驶车辆；目标对象在世界坐标系下的三维位置用于指示自动驾驶车辆根据三维位置行驶。

本申请实施例提供的目标对象三维位置的确定装置60，可以执行上述任一实施例中的目标对象三维位置的确定方法的技术方案，其实现原理以及有益效果与目标对象三维位置的确定方法的实现原理及有益效果类似，可参见目标对象三维位置的确定方法的实现原理及有益效果，此处不再进行赘述。

本申请实施例还提供了一种路侧设备，该路侧设备可以为上述图1所示的智能交通车路协同的系统架构中包括的路侧设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例中的目标对象三维位置的确定方法的技术方案，其实现原理以及有益效果与目标对象三维位置的确定方法的实现原理及有益效果类似，可参见目标对象三维位置的确定方法的实现原理及有益效果，此处不再进行赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，图7是根据本申请实施例的目标对象三维位置的确定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的目标对象三维位置的确定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的目标对象三维位置的确定方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的目标对象三维位置的确定方法对应的程序指令/模块(例如，附图6所示的采集模块601、检测模块602、处理模块603和发送模块604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的目标对象三维位置的确定方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据目标对象三维位置的确定方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至目标对象三维位置的确定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

目标对象三维位置的确定方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与目标对象三维位置的确定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，在确定目标对象在世界坐标系下的三维位置时，是通过对包括目标对象的二维图像进行检测，得到目标对象在二维图像中的三维边框的坐标数据；并借助于目标对象在二维图像中的三维边框的坐标数据和预设的相机投影模型，共同确定目标对象在世界坐标系下的三维位置，无需借助高精地图，解决了因高精地图未及时更新导致计算得到目标对象的三维位置准确度较低的问题，从而提高了目标对象在世界坐标系下的三维位置的准确度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (15)

1.一种目标对象三维位置的确定方法，包括：

采集二维图像；其中，所述二维图像中包括目标对象；

对所述二维图像进行检测，得到所述目标对象在所述二维图像中的三维边框的坐标数据；

基于所述三维边框的坐标数据确定所述目标对象在世界坐标系下的三维位置。

2.根据权利要求1所述的方法，其中，所述基于所述三维边框的坐标数据确定所述目标对象在世界坐标系下的三维位置，包括：

在所述三维边框的坐标数据，确定所述三维边框中的任意一个平面中的至少三个顶点的坐标数据；

将所述至少三个顶点的坐标数据输入至相机投影模型，得到所述目标对象在世界坐标系下的三维位置。

3.根据权利要求2所述的方法，其中，所述将所述至少三个顶点的坐标数据输入至相机投影模型，得到所述目标对象在世界坐标系下的三维位置，包括：

将所述至少三个顶点的坐标数据输入至所述相机投影模型，得到所述各顶点的坐标数据与三维坐标之间的相机投影关系；

根据所述目标对象所属的类型，确定所述至少三个顶点中任意两个顶点的三维坐标之间的距离关系；

根据所述各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到所述目标对象在世界坐标系下的三维位置。

4.根据权利要求3所述的方法，其中，所述根据所述各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到所述目标对象在世界坐标系下的三维位置，包括：

根据所述各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系，计算所述各顶点的三维坐标；

根据所述各顶点的三维坐标确定所述目标对象在世界坐标系下的三维位置。

5.根据权利要求2所述的方法，所述方法还包括：

确定采集所述二维图像的拍摄设备的内参对应的内参矩阵，及所述拍摄设备的外参对应的所述拍摄设备坐标系和世界坐标系之间的旋转矩阵和平移向量；

根据所述内参矩阵、所述旋转矩阵、及所述平移向量确定所述相机投影模型。

6.根据权利要求1-4任一项所述的方法，所述目标对象为道路上的障碍物，所述方法还包括：

将所述目标对象在世界坐标系下的三维位置发送给自动驾驶车辆；所述目标对象在世界坐标系下的三维位置用于指示所述自动驾驶车辆根据所述三维位置行驶。

7.一种目标对象三维位置的确定装置，包括：

采集模块，用于采集二维图像；其中，所述二维图像中包括目标对象；

检测模块，用于对所述二维图像进行检测，得到所述目标对象在所述二维图像中的三维边框的坐标数据；

处理模块，用于基于所述三维边框的坐标数据确定所述目标对象在世界坐标系下的三维位置。

8.根据权利要求7所述的装置，其中，所述处理模块包括第一处理子模块和第二处理子模块；

所述第一处理子模块，用于在所述三维边框的坐标数据，确定所述三维边框中的任意一个平面中的至少三个顶点的坐标数据；

所述第二处理子模块，用于将所述至少三个顶点的坐标数据输入至相机投影模型，得到所述目标对象在世界坐标系下的三维位置。

9.根据权利要求8所述的装置，其中，

所述第二处理子模块，用于将所述至少三个顶点的坐标数据输入至所述相机投影模型，得到所述各顶点的坐标数据与三维坐标之间的相机投影关系；并根据所述目标对象所属的类型，确定所述至少三个顶点中任意两个顶点的三维坐标之间的距离关系；再根据所述各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系得到所述目标对象在世界坐标系下的三维位置。

10.根据权利要求9所述的装置，其中，

所述第二处理子模块，用于根据所述各顶点的坐标数据与三维坐标之间的相机投影关系，和任意两个顶点的三维坐标之间的距离关系，计算所述各顶点的三维坐标；并根据所述各顶点的三维坐标确定所述目标对象在世界坐标系下的三维位置。

11.根据权利要求8所述的装置，所述处理模块还包括第三处理子模块；

所述第三处理子模块，用于确定采集所述二维图像的拍摄设备的内参对应的内参矩阵，及所述拍摄设备的外参对应的所述拍摄设备坐标系和世界坐标系之间的旋转矩阵和平移向量；并根据所述内参矩阵、所述旋转矩阵、及所述平移向量确定所述相机投影模型。

12.根据权利要求7-11任一项所述的装置，所述目标对象为道路上的障碍物，所述装置还包括发送模块；

所述发送模块，用于将所述目标对象在世界坐标系下的三维位置发送给自动驾驶车辆；所述目标对象在世界坐标系下的三维位置用于指示所述自动驾驶车辆根据所述三维位置行驶。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的目标对象三维位置的确定方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的目标对象三维位置的确定方法。

15.一种路侧设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。

Images