CN112668505A - 基于路侧相机的外参的三维感知信息获取方法和路侧设备 - Google Patents

Abstract

本申请公开了一种基于路侧相机的外参的三维感知信息获取方法和路侧设备，涉及计算机技术中的自动驾驶、智能交通和计算机视觉。具体实现方案为：根据第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，生成第一旋转矩阵，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。第一相机与所述第二相机之间具有共视区域。有效的、快速的得到路侧相机所采集的图像中的二维感知信息。

Description

基于路侧相机的外参的三维感知信息获取方法和路侧设备

技术领域

本申请涉及计算机技术中的自动驾驶、智能交通和计算机视觉，尤其涉及一种基于路侧相机的外参的三维感知信息获取方法和路侧设备。

背景技术

在路侧感知系统中需要为车辆提供三维感知信息，可以在路口设置路侧相机，通过路侧相机获取图像，依据路侧相机获取的图像去获取三维感知信息。在路侧相机获取的图像去获取三维感知信息的时候，需要得到路侧相机在世界坐标系下的旋转矩阵。

现有技术中，可以预先通过高精地图或者人工实时动态(real-time kinematic，简称RTK)设备打点的方式，去得到路侧相机在世界坐标系下的旋转矩阵，进而生成三维感知信息。

然而现有技术中，由于高精地图的制作的成本较高，且在没有车道线时无法使用高精地图，从而导致确定出路侧相机在世界坐标系下的旋转矩阵的成本较高；通过人工RTK设备打点的方式，效率低、存在人身危险的问题，无法及时有效的得到路侧相机在世界坐标系下的旋转矩阵。以上方式无法有效、快速的得到三维感知信息。

发明内容

本申请提供了一种用于有效、快速的得到三维感知信息的基于路侧相机的外参的三维感知信息获取方法和路侧设备。

根据本申请的第一方面，提供了一种基于路侧相机的外参的三维感知信息获取方法，所述路侧相机包括第一相机和第二相机，所述第一相机与所述第二相机之间具有共视区域，所述方法包括：

获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，并根据所述第一匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

获取第二旋转矩阵，所述第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，并根据所述第一旋转矩阵和所述第二旋转矩阵，生成第三旋转矩阵，所述第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；

根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息。

根据本申请的第二方面，提供了一种基于路侧相机的外参的三维感知信息获取装置，所述路侧相机包括第一相机和第二相机，所述第一相机与所述第二相机之间具有共视区域，所述装置包括：

第一获取单元，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对；

第一生成单元，用于根据所述第一匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

第二获取单元，用于获取第二旋转矩阵，所述第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵；

第二生成单元，用于根据所述第一旋转矩阵和所述第二旋转矩阵，生成第三旋转矩阵，所述第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；

第三生成单元，用于根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息。

根据本申请的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

根据本申请的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请的第七方面，提供了一种路侧设备，包括第三方面提供的电子设备。

根据本申请的第八方面，提供了一种云控平台，包括第三方面提供的电子设备。

根据本申请的方案，在生成第一相机所采集的图像的三维感知信息的时候，不需要采用高精地图或人工RTK设备打点的方式，进而降低了成本，并且提升了效率，保证了人员安全；进一步的，有效的得到第一相机所采集的图像中的二维感知信息。并且，在第一相机为鱼眼相机，第二相机为后视枪式相机的时候，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)；在第一相机为鱼眼相机，第二相机为前视枪式相机的时候，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为鱼眼相机所拍摄的图像；

图2是根据本申请第一实施例的示意图；

图3是根据本申请第二实施例的示意图；

图4为本申请实施例提供的第一去畸变图像的示意图；

图5是根据本申请第三实施例的示意图；

图6是根据本申请第四实施例的示意图；

图7是根据本申请第五实施例的示意图；

图8是根据本申请第六实施例的示意图；

图9是根据本申请第七实施例的示意图；

图10是根据本申请第八实施例的示意图；

图11是根据本申请第九实施例的示意图；

图12示出了可以用来实施本申请的实施例的示例电子设备1200的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在路侧感知系统中需要为车辆提供三维感知信息，可以在路口的立杆设置路侧相机，路侧相机包括了鱼眼相机、后视枪式相机和前视枪式相机；一般情况下，会在每一路口的立杆上同时设置鱼眼相机、后视枪式相机和前视枪式相机。通过路侧相机获取图像，依据每一路侧相机获取的图像去获取每一路侧相机所采集的图像的三维感知信息。

在路侧相机获取的图像去获取三维感知信息的时候，需要得到路侧相机在世界坐标系下的旋转矩阵，然后依据路侧相机在世界坐标系下的旋转矩阵，去得到路侧相机所采集的图像的三维感知信息。举例来说，图1为鱼眼相机所拍摄的图像，鱼眼相机所采集的图像是畸形的，鸡儿需要得到鱼眼相机在世界坐标系下的旋转矩阵，去得到鱼眼相机所采集的图像的三维感知信息。

现有技术中，可以预先通过高精地图或者RTK设备打点的方式，去得到每一路侧相机在世界坐标系下的旋转矩阵，进而生成每一路侧相机所采集的图像的三维感知信息。一个示例中，可以预先通过高精地图或者RTK设备打点的方式，获得标志点的GPS三维坐标；然后，每一个路侧相机采集图像，确定出图像上的标志点的二维坐标；针对每一个路侧相机，根据标志点的三维坐标、标志点的二维坐标，进行PNP(pespective-n-point，简称PNP)解算处理，得到每一路侧相机在在世界坐标系下的旋转矩阵。

然而上述方式中，由于高精地图的制作的成本较高，且在没有车道线时无法使用高精地图，从而导致确定出路侧相机在世界坐标系下的旋转矩阵的成本较高；通过人工RTK设备打点的方式，效率低、存在人身危险的问题，无法及时有效的得到路侧相机在世界坐标系下的旋转矩阵。

本申请提供一种基于路侧相机的外参的三维感知信息获取方法和路侧设备，应用于计算机技术中的自动驾驶、智能交通和计算机视觉，以达到准确快速得到路侧相机在世界坐标系下的旋转矩阵，进而得到有效、快速的得到三维感知信息。

图2是根据本申请第一实施例的示意图，如图2所示，本实施例提供的基于路侧相机的外参的三维感知信息获取方法，包括：

201、获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，并根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

示例性地，本实施例中路侧相机包括了第一相机和第二相机，其中，第一相机与第二相机之间具有共视区域。一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。

本实施例的执行主体可以是电子设备，其中，电子设备可以是终端设备、或者服务器、或者是其他可以执行本实施例方法的装置或设备。或者，本申请中的各个实施例的执行主体可以是各种路侧设备，其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备。本申请中的各个实施例的执行主体也可以是与路侧计算设备连接的服务器设备，或是与路侧感知设备直接相连的服务器设备等；其中，本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。其中，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。

首先介绍下以下概念：“后视枪式相机坐标系”指的是，后视枪式相机采集的图像所使用的坐标系。“前视枪式相机坐标系”指的是，前视枪式相机采集的图像所使用的坐标系。“鱼眼相机坐标系”指的是，鱼眼相机采集的图像所使用的坐标系。

由于第一相机与第二相机具有共视区域，进而针对共视区域，可以生成第一相机所采集的图像中该共视区域与第二相机所采集的图像中该共视区域之间的第一匹配点对；第一匹配点对包括N对图像点，每一对图像点包括第一相机对应的去畸变图像上的一个图像点、第二相机对应的去畸变图像上的一个图像点，N为大于等于1的正整数。其中，第一匹配点对中的各图像点，均为二维的图像点。

然后，可以采用对极几何算法对第一匹配点对进行处理，得到第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

202、获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，并根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

示例性地，可以通过高精地图或者RTK设备打点的方式，获取到第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

然后，将第一旋转矩阵与第二旋转矩阵进行矩阵相乘处理，得到第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

203、根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

示例性地，由于第一相机所采集的图像中包括的是二维感知信息，而三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵，进而可以依据第三旋转矩阵，将第一相机所采集的图像中的二维感知信息转换到世界坐标系下，进而得到第一相机所采集的图像的三维感知信息。

其中，二维感知信息，指的是二维图像中的物体的像素坐标。一个示例中，二维感知信息可以是图像中的物体的二维感知信息，其中，物体包括但不限于：机动车、非机动车、行人和车道线等。

一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机；进而，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。从而，得到了“后视枪式相机在世界坐标系下的旋转矩阵”、“鱼眼相机在世界坐标系下的旋转矩阵”，不需要采用高精地图或者人工RTK设备打点的方式去而得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)；可以降低成本，并且提升效率，有效、快速的得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，进而有效、快速的得到鱼眼相机所采集的图像的三维感知信息。

在第一相机为鱼眼相机，第二相机为后视枪式相机的时候，鱼眼相机与后视枪式相机具有共视区域，进而针对共视区域，可以生成鱼眼相机所采集的图像中该共视区域与后视枪式相机所采集的图像中该共视区域之间的第一匹配点对；第一匹配点对包括N对图像点，每一对图像点包括鱼眼相机对应的去畸变图像上的一个图像点、后视枪式相机对应的去畸变图像上的一个图像点。

然后，可以采用对极几何算法对第一匹配点对进行处理，得到第一旋转矩阵，其中，第一旋转矩阵表征鱼眼相机在后视枪式相机坐标系下的旋转矩阵。其中，“后视枪式相机坐标系”指的是，后视枪式相机采集的图像所使用的坐标系。

可以通过高精地图或者RTK设备打点的方式，获取到第二旋转矩阵，第二旋转矩阵表征后视枪式相机在世界坐标系下的旋转矩阵。

然后，将第一旋转矩阵与第二旋转矩阵进行矩阵相乘处理，得到第三旋转矩阵，第三旋转矩阵表征鱼眼相机在世界坐标系下的旋转矩阵。依据第三旋转矩阵，将鱼眼相机所采集的图像中的二维感知信息转换到世界坐标系下，进而得到鱼眼相机所采集的图像的三维感知信息。

另一个示例中，第一相机为鱼眼相机，第二相机为前视枪式相机；进而，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。从而，得到了“前视枪式相机在世界坐标系下的旋转矩阵”、“鱼眼相机在世界坐标系下的旋转矩阵”，不需要采用高精地图或者人工RTK设备打点的方式去而得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)；可以降低成本，并且提升效率，有效、快速的得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，进而有效、快速的得到鱼眼相机所采集的图像的三维感知信息。

在第一相机为鱼眼相机，第二相机为前视枪式相机的时候，鱼眼相机与前视枪式相机具有共视区域，进而针对共视区域，可以生成鱼眼相机所采集的图像中该共视区域与前视枪式相机所采集的图像中该共视区域之间的第一匹配点对；第一匹配点对包括N对图像点，每一对图像点包括鱼眼相机对应的去畸变图像上的一个图像点、前视枪式相机对应的去畸变图像上的一个图像点。

然后，可以采用对极几何算法对第一匹配点对进行处理，得到第一旋转矩阵，其中，第一旋转矩阵表征鱼眼相机在前视枪式相机坐标系下的旋转矩阵。其中，“前视枪式相机坐标系”指的是，前视枪式相机采集的图像所使用的坐标系。

可以通过高精地图或者RTK设备打点的方式，获取到第二旋转矩阵，第二旋转矩阵表征前视枪式相机在世界坐标系下的旋转矩阵。

然后，将第一旋转矩阵与第二旋转矩阵进行矩阵相乘处理，得到第三旋转矩阵，第三旋转矩阵表征鱼眼相机在世界坐标系下的旋转矩阵。依据第三旋转矩阵，将鱼眼相机所采集的图像中的二维感知信息转换到世界坐标系下，进而得到鱼眼相机所采集的图像的三维感知信息。

本实施例中，依据第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，生成第一旋转矩阵；并根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵；由于第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，进而所得到第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；从而，得到第一相机在世界坐标系下的旋转矩阵，然后就可以根据第三旋转矩阵，生成第一相机所采集的图像中的二维感知信息转换为三维感知信息。在生成第一相机所采集的图像的三维感知信息的时候，不需要采用高精地图或人工RTK设备打点的方式，进而降低了成本，并且提升了效率，保证了人员安全；进一步的，有效的得到第一相机所采集的图像中的二维感知信息。并且，在第一相机为鱼眼相机，第二相机为后视枪式相机的时候，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)；在第一相机为鱼眼相机，第二相机为前视枪式相机的时候，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。

图3是根据本申请第二实施例的示意图，如图3所示，本实施例提供的基于路侧相机的外参的三维感知信息获取方法，包括：

301、根据第一相机所采集的图像生成第一去畸变图像，并根据第二相机所采集的图像生成第二去畸变图像，其中，第一去畸变图像和第二去畸变图像分别具有位于共视区域下的图像区域。

一个示例中，步骤301包括以下步骤：将第一相机所采集的图像投影到球面上，得到球面图像；对球面图像进行去畸变处理，得到第一去畸变图像；采用去畸变函数对第二相机所采集的图像进行调整，得到第二去畸变图像。

示例性地，本实施例中路侧相机包括了第一相机和第二相机，其中，第一相机与第二相机之间具有共视区域。一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。

本实施例的执行主体可以是电子设备，其中，电子设备可以是终端设备、或者服务器、或者是其他可以执行本实施例方法的装置或设备。

首先，获取到第一相机所采集的图像、以及第二相机所采集的图像；依据第一相机所采集的图像生成第一去畸变图像，根据第二相机所采集的图像生成第二去畸变图像。一个示例中，由于第一相机与第二相机有共视区域，进而，第一相机所采集的图像与第二相机所采集的图像具有共视区域(即，针对同一区域都会拍摄到该区域的图像)，从而，第一去畸变图像和第二去畸变图像分别具有位于共视区域下的图像区域。

一个示例中，第一相机为鱼眼相机。将第一相机所采集的图像投影到球面上，进而得到球面图像；图4为本申请实施例提供的第一去畸变图像的示意图，如图4所示，对球面图像进行去畸变处理，得到第一去畸变图像。这一过程可以参见目前的去畸变图像的生成方式。其中，第一去畸变图像是等效枪机下的图像。“等效枪机”指的是，不同的路侧相机(鱼眼相机、后视枪式相机、前视枪式相机)所采集的图像可以映射到一个枪机(即，枪式相机)下的时候，该枪机可以称为等效枪机”。

第二相机为后视枪式相机、或者前视枪式相机。第二相机所采集的图像，也具有一定的畸形问题；可以对第二相机所采集的图像进行调整，得到第二相机的第二去畸变图像。一个示例中，可以采用opencv中的去畸变函数，对第二相机所采集的图像进行调整，进而得到第二去畸变图像。

举例来说，可以采用opencv的去畸变函数，对后视枪式相机所采集的图像进行去畸变处理，得到后视枪式相机的第二去畸变图像。

通过以上方式可以对第一相机所采集的图像进行调整，得到第一去畸变图像；对第二相机所采集的图像进行调整，得到第二去畸变图像，进而去便于得到第一匹配点对。

302、提取第一去畸变图像中位于共视区域下的图像区域的第一图像特征，并提取第二去畸变图像中位于共视区域下的图像区域的第二图像特征。

示例性地，由于第一去畸变图像与第二去畸变图像具有同一共视区域下的图像区域，进而针对于共视区域，提取第一去畸变图像的第一图像特征，提取第二去畸变图像的第二图像特征。其中，第一图像特征例如是角点尺度不变特征变换(scale-invariantfeature transform，简称SIFT)特征、ORB(oriented fast and rotated brief，简称ORB)特征；第二图像特征例如是角点SIFT特征、ORB特征。

303、基于第一图像特征和第二图像特征，确定第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

一个示例中，步骤303包括：基于第一图像特征和第二图像特征，对第一去畸变图像和第二去畸变图像进行特征匹配，得到第一匹配点对。

示例性地，基于第一图像特征和第二图像特征，对第一去畸变图像中的共视区域下的图像、第二去畸变图像的共视区域下的图像进行特征匹配处理，得到第一匹配点对。第一匹配点对包括N对图像点，每一对图像点包括第一相机对应的第一去畸变图像上的一个图像点、第二相机对应的第二去畸变图像上的一个图像点，N为大于等于1的正整数。其中，第一匹配点对中的各图像点，均为二维的图像点。

由于第一相机和第二相机具有共视区域，第一去畸变图像中具有该共视区域下的图像，第二去畸变图像中具有该共视区域下的图像；进而，针对共视区域，对第一去畸变图像中的共视区域下的图像、第二去畸变图像的共视区域下的图像进行特征匹配处理，从而所得到的第一匹配点对中的每一对图像点，是针对于共视区域的，便于进行后续的旋转矩阵的分析。

304、根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

一个示例中，步骤304包括：

第一步骤、根据第一匹配点对，生成第四旋转矩阵，其中，第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵。

第二步骤、获取第五旋转矩阵，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。

第三步骤、根据第四旋转矩阵和第五旋转矩阵，生成第一旋转矩阵。

一个示例中，上述第二步骤具体包括：依据预设俯仰角和偏航角，对第一相机所采集的图像所处于的第一相机坐标系进行变换，得到第五旋转矩阵。

示例性地，采用对极几何算法对第一匹配点对进行处理，得到第四旋转矩阵R_tmp，其中，第四旋转矩阵R_tmp表征第二相机在等效相机坐标系下的旋转矩阵。

此时，还需要得到一个第五旋转矩阵R，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。一个示例中，对第一相机所采集的图像进行俯仰角和偏航角的去畸变处理，即，依据俯仰角、偏航角将第一相机所采集的图像所处于的第一相机坐标系进行旋转变换，就可以得到第五旋转矩阵。举例来说，第一相机为鱼眼相机，鱼眼相机所采集的图像为圆形图像；对鱼眼相机所采集的圆形图像进行俯仰角(例如58度)和偏航角(例如90度)的去畸变，此时，就可以得到第五旋转矩阵R(即，依据俯仰角、偏航角将鱼眼相机坐标系进行旋转，就可以得到第五旋转矩阵R)，此时，第五旋转矩阵为鱼眼相机在等效相机坐标系下的旋转矩阵。其中，“鱼眼相机坐标系”指的是，鱼眼相机采集的图像所使用的坐标系。“等效相机坐标系”，指的是，等效枪机采集的图像所使用的坐标系。上述过程中，依据预设的俯仰角和预设的偏航角，对第一相机所采集的图像所处于的第一相机坐标系进行变换，可以准确得到第五旋转矩阵。

然后，将第四旋转矩阵R_tmp和第五旋转矩阵R进行矩阵相乘处理，生成第一旋转矩阵A＝R*R_tmp^-1。

上述过程中，第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵，进而依据这2个矩阵，可以得到第一旋转矩阵(第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵)。

305、获取标记点的三维坐标信息，并依据第二相机所采集的图像，确定第二相机所采集的图像上标记点的二维坐标信息；对标记点的三维坐标信息、以及第二相机所采集的图像上标记点的二维坐标信息进行解算处理，得到第二旋转矩阵。第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

示例性地，在获取第二旋转矩阵的时候(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，可以通过高精地图或者人工RTK设备打点的方式，得到标记点的三维坐标信息；然后，通过第二相机所采集的图像，确定出该图像上的标志点的二维坐标信息；根据标志点的三维坐标信息、标志点的二维坐标信息，进行pnp解算处理，得到第二旋转矩阵，其中，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

此时，虽然依据高精地图或者人工RTK设备打点的方式，去得到了第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，但是依据第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，去得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，针对于第一相机，不需要采用高精地图或者人工RTK设备打点的方式去得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，在一定程度上节约了成本和时间。

306、根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

示例性地，对第一旋转矩阵A和第二旋转矩阵B进行矩阵相乘处理，可以得到第三旋转矩阵R_fisheye＝A*B，其中，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

307、依据第三旋转矩阵，将第一相机所采集的图像中的二维感知信息转换到世界坐标系下，得到生成第一相机所采集的图像的三维感知信息。

示例性地，在生成第一相机所采集的图像的三维感知信息的时候，由于第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵，而第一相机所采集的图像中的感知信息是二维感知信息，从而可以依据第三旋转矩阵，将第一相机所采集的图像中的二维感知信息转换到世界坐标系下，就可以生成第一相机所采集的图像的三维感知信息。进而快速、准确的得到第一相机所采集的图像的三维感知信息。

308、根据第二旋转矩阵，将第二相机所采集的图像中的二维感知信息转换到世界坐标系下，生成第二相机所采集的图像的三维感知信息。

一个示例中，第一相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位。第二相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位。

一个示例中，第二旋转矩阵用于对第二相机的参数进行标定，第三旋转矩阵用于对第一相机的参数进行标定。

示例性地，由于在上述过程中，还得到了第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，而第二相机所采集的图像中的感知信息是二维感知信息，从而可以依据第二旋转矩阵，将第二相机所采集的图像中的二维感知信息转换到世界坐标系下，就可以生成第二相机所采集的图像的三维感知信息。进而快速、准确的得到第二相机所采集的图像的三维感知信息。

本实施例可以准确、快速的生成第一相机所采集的图像的三维感知信息、第二相机所采集的图像的三维感知信息。其中，第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。

所得到各三维感知信息用于进行自动驾驶车辆的三维感知定位。一个示例中，自动驾驶车辆在进行自动驾驶的过程中，需要依据三维感知信息，进行自动驾驶过程中的三维感知定位；通过本实施例，可以得到鱼眼相机的三维感知信息、后视枪式相机的三维感知信息、以及前视枪式相机的三维感知信息，进而自动驾驶车辆可以获取到这些三维感知信息，然后自动驾驶车辆依据这些三维感知信息完成三维感知定位；从而，便于自动驾驶车辆的自动行驶。

在进行三维感知定位的时候，自动驾驶车辆可以同时依据路侧相机在世界坐标系下的旋转矩阵和平移矩阵，完成三维感知定位。一个示例中，可以采用RTK设备对每一个路侧相机(前视枪式相机、后视枪式相机和鱼眼相机)进行打点，得到每一个路侧相机在世界坐标系下的平移参数矩阵，其中，平移参数矩阵表征的是路侧相机在世界坐标系上的位置(即，平移)；然后，通过本实施例的上述过程得到每一个路侧相机在世界坐标系下的旋转矩阵(包括了：第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵；第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。其中，第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。)，进而，依据每一个路侧相机在世界坐标系下的旋转矩阵，得到每一个路侧相机所采集的图像的三维感知信息；然后，自动驾驶车辆可以根据每一个路侧相机在世界坐标系下的平移参数矩阵、每一个路侧相机所采集的图像的三维感知信息，进行三维感知定位。

此外，本实施例还得到了第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)、第二旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)；可以采用第二旋转矩阵对第二相机的参数进行标定，采用第三旋转矩阵对第一相机的参数进行标定。从而去校正路侧相机的参数(即，外参)。

一个示例中，由于外力因素刮风振动等，会导致路侧相机发生轻微旋转的时候，进而需要对路侧相机的外参进行重新标定；首先，通过“稳像算法”或者“图像匹配检测算法”可以检测到发生位置移动的路侧相机、未发生位置移动的路侧相机；进而依据未发生位置移动的路侧相机的外参，得到发生位置移动的路侧相机的外参；然后依据发生位置移动的路侧相机在世界坐标系下的旋转矩阵，对发生位置移动的路侧相机的外参进行标定。例如，第一相机为鱼眼相机，若确定鱼眼相机发生了位置移动，则可以根据第二旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，对鱼眼相机的外参进行标定。

通过本实施例的以上过程，第一相机为鱼眼相机，第二相机为后视枪式相机；进而，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。进而得到后视枪式相机所采集的图像的三维感知信息，鱼眼相机所采集的图像的三维感知信息。

第一相机为鱼眼相机，第二相机为前视枪式相机；进而，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)。进而得到前视枪式相机所采集的图像的三维感知信息，鱼眼相机所采集的图像的三维感知信息。

可知，通过本实施例的过程，可以得到鱼眼相机所采集的图像的三维感知信息、后视枪式相机所采集的图像的三维感知信息、前视枪式相机所采集的图像的三维感知信息。进而可以应用到自动驾驶的三维感知定位、或者对路侧相机进行外参的标定。

本实施例中，依据第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，生成第四旋转矩阵(第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵)；并根据第四旋转矩阵和第五旋转矩阵(第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵)，生成第一旋转矩阵(第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵)；然后，由于第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，进而所得到第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；从而，得到第一相机在世界坐标系下的旋转矩阵，然后就可以根据第三旋转矩阵，生成第一相机所采集的图像中的二维感知信息转换为三维感知信息；并且根据第二旋转矩阵，生成第二相机所采集的图像的三维感知信息。第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。进而可以得到每一路侧相机所采集的图像的三维感知信息。不需要采用高精地图或人工RTK设备打点的方式去得到三维感知信息，进而降低了成本，并且提升了效率，保证了人员安全。可以得到鱼眼相机所采集的图像的三维感知信息、后视枪式相机所采集的图像的三维感知信息、前视枪式相机所采集的图像的三维感知信息。进而可以应用到自动驾驶的三维感知定位、或者对路侧相机进行外参的标定。

图5是根据本申请第三实施例的示意图，如图5所示，本实施例提供的基于路侧相机的外参的三维感知信息获取方法，包括：

501、获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，并根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

502、获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，并根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

503、根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

示例性地，本实施例中路侧相机包括了第一相机、第二相机和第三相机，其中，第一相机与第二相机之间具有共视区域，第一相机和第三相机之间具有共视区域。一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机，第三相机为后视枪式相机。

本实施例的执行主体可以是电子设备，其中，电子设备可以是终端设备、或者服务器、或者是其他可以执行本实施例方法的装置或设备。

执行步骤501-503，可以依据第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)；这一过程可以参见上述任一实施例，不再赘述。

504、获取第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对，并根据第二匹配点对，生成第六旋转矩阵，其中，第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵。

示例性地，在步骤303之后，由于第一相机与第三相机具有共视区域，进而针对共视区域，可以生成第一相机所采集的图像中该共视区域与第三相机所采集的图像中该共视区域之间的第二匹配点对；第二匹配点对包括N对图像点，每一对图像点包括第一相机对应的去畸变图像上的一个图像点、第三相机对应的去畸变图像上的一个图像点，N为大于等于1的正整数。其中，第二匹配点对中的各图像点，均为二维的图像点。

然后，可以采用对极几何算法对第二匹配点对进行处理，得到第六旋转矩阵，其中，第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵。

505、根据第三旋转矩阵和第六旋转矩阵，生成第七旋转矩阵，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。

示例性地，由于已经生成了第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵，可以对第三旋转矩阵和第六旋转矩阵进行矩阵相乘处理，得到第七旋转矩阵，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。

506、根据第七旋转矩阵生成第三相机所采集的图像的三维感知信息。

示例性地，由于第三相机所采集的图像中包括的是二维感知信息，而第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵，进而可以依据第七旋转矩阵，将第三相机所采集的图像中的二维感知信息转换到世界坐标系下，进而得到第三相机所采集的图像的三维感知信息。

其中，二维感知信息，指的是二维图像中的物体的像素坐标。一个示例中，二维感知信息可以是图像中的物体的二维感知信息，其中，物体包括但不限于：机动车、非机动车、行人和车道线等。

一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；进而，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到前视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。

另一个示例中，第一相机为鱼眼相机，第二相机为前视枪式相机，第三相机为后视枪式相机；进而，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到后视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。

本实施例中，在得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)之后，可以根据第三旋转矩阵和第六旋转矩阵(第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵)，得到第七旋转矩阵，其中，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。从而可以依据第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，依次得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)、第七旋转矩阵(第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵)。从而一个路侧相机在世界坐标系下的旋转矩阵，得到其他两个路侧相机在世界坐标系下的旋转矩阵。然后，得到每一路侧相机所采集的图像的三维感知信息。不需要对每一路侧相机去采用高精地图或人工RTK设备打点的方式，去得到路侧相机在世界坐标系下的旋转矩阵；进而，有效、快速的得到每一个路侧相机在世界坐标系下的旋转矩阵，便于得到每一路侧相机所采集的图像的三维感知信息。

图6是根据本申请第四实施例的示意图，如图6所示，本实施例提供的基于路侧相机的外参的三维感知信息获取方法，包括：

601、获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，并根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

602、获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，并根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

603、根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

一个示例中，若第一相机为鱼眼相机、第二相机为后视枪式相机，则第三相机为前视枪式相机，若第一相机为鱼眼相机、第二相机为前视枪式相机，则第三相机为后视枪式相机。

示例性地，本实施例中路侧相机包括了第一相机、第二相机和第三相机，其中，第一相机与第二相机之间具有共视区域，第一相机和第三相机之间具有共视区域(第一相机与第二相机之间的共视区域、第一相机和第三相机之间的共视区域，是不同的)。一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机，第三相机为后视枪式相机。

本实施例的执行主体可以是电子设备，其中，电子设备可以是终端设备、或者服务器、或者是其他可以执行本实施例方法的装置或设备。

执行步骤601-603，可以依据第二旋转矩阵(第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，得到第三旋转矩阵(第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)；这一过程可以参见上述任一实施例，不再赘述。

604、根据第一相机所采集的图像生成第一去畸变图像，并根据第三相机所采集的图像生成第三去畸变图像，其中，第一去畸变图像和第三去畸变图像分别具有位于共视区域下的图像区域。

一个示例中，步骤604中的“根据第三相机所采集的图像生成第三去畸变图像”，包括：采用去畸变函数对第三相机所采集的图像进行调整，得到第三去畸变图像。

示例性地，第一相机与第三相机之间具有共视区域。在上述实施例中已经得到了第一去畸变图像，还需要根据第三相机所采集的图像生成第三去畸变图像。一个示例中，由于第一相机与第三相机有共视区域，进而，第一相机所采集的图像与第三相机所采集的图像具有共视区域(即，针对同一区域都会拍摄到该区域的图像)，从而，第一去畸变图像和第三去畸变图像分别具有位于共视区域下的图像区域。

第三相机所采集的图像，也具有一定的畸形问题；可以对第三相机所采集的图像进行调整，得到第三相机的第三去畸变图像。一个示例中，可以采用opencv中的去畸变函数，对第三相机所采集的图像进行调整，进而得到第三去畸变图像。

举例来说，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；可以采用opencv的去畸变函数，对前视枪式相机所采集的图像进行去畸变处理，得到后视枪式相机的第三去畸变图像。

通过以上方式可以对第三相机所采集的图像进行调整，得到第三去畸变图像，进而去便于得到第二匹配点对。

605、提取第一去畸变图像中位于共视区域下的图像区域的第一图像特征，并提取第三去畸变图像中位于共视区域下的图像区域的第三图像特征。

示例性地，由于第一去畸变图像与第三去畸变图像具有同一共视区域下的图像区域，进而针对于共视区域，提取第一去畸变图像的第一图像特征，提取第三去畸变图像的第三图像特征。其中，第一图像特征例如是SIFT特征、ORB特征；第三图像特征例如是角点SIFT特征、ORB特征。

606、基于第一图像特征和第三图像特征，确定第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对。

一个示例中，步骤606包括以下步骤：基于第一图像特征和第三图像特征，对第一去畸变图像和第三去畸变图像进行特征匹配，得到第二匹配点对。

示例性地，基于第一图像特征和第三图像特征，对第一去畸变图像中的共视区域下的图像、第三去畸变图像的共视区域下的图像进行特征匹配处理，得到第二匹配点对。第二匹配点对包括N对图像点，每一对图像点包括第一相机对应的第一去畸变图像上的一个图像点、第三相机对应的第三去畸变图像上的一个图像点，N为大于等于1的正整数。其中，第二匹配点对中的各图像点，均为二维的图像点。

由于第一相机和第三相机具有共视区域，第一去畸变图像中具有该共视区域下的图像，第三去畸变图像中具有该共视区域下的图像；进而，针对共视区域，对第一去畸变图像中的共视区域下的图像、第三去畸变图像的共视区域下的图像进行特征匹配处理，从而所得到的第二匹配点对中的每一对图像点，是针对于共视区域的，便于进行后续的旋转矩阵的分析。

607、根据第二匹配点对，生成第六旋转矩阵，其中，第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵。

一个示例中，步骤607具体包括：根据第二匹配点对，生成第八旋转矩阵，第八旋转矩阵表征第三相机在等效相机坐标系下的旋转矩阵；获取第五旋转矩阵，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵，并根据第五旋转矩阵和第八旋转矩阵，生成第六旋转矩阵。

示例性地，采用对极几何算法对第二匹配点对进行处理，得到第八旋转矩阵M，第八旋转矩阵M表征第三相机在等效相机坐标系下的旋转矩阵。

可以采用上述实施例的步骤304得到第五旋转矩阵R，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。然后，将第五旋转矩阵R和第八旋转矩阵M，生成第六旋转矩阵P＝R*M^-1。

上述过程中，第八旋转矩阵表征第三相机在等效相机坐标系下的旋转矩阵，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵，进而依据这2个矩阵，可以得到第六旋转矩阵(第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵)。

608、根据第三旋转矩阵和第六旋转矩阵，生成第七旋转矩阵，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。

示例性地，在步骤602中已经得到了第三旋转矩阵，可以对第三旋转矩阵K和第六旋转矩阵P进行矩阵相乘处理，可以得到第七旋转矩阵Q＝K*P，其中，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。

609、根据第七旋转矩阵生成第三相机所采集的图像的三维感知信息。

一个示例中，第三相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位。第七旋转矩阵用于对第三相机的参数进行标定。

示例性地，在生成第三相机所采集的图像的三维感知信息的时候，由于第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵，而第三相机所采集的图像中的感知信息是二维感知信息，从而可以依据第七旋转矩阵，将第三相机所采集的图像中的二维感知信息转换到世界坐标系下，就可以生成第三相机所采集的图像的三维感知信息。进而快速、准确的得到第三相机所采集的图像的三维感知信息。

通过本实施例的方法，一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；进而，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到前视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。

另一个示例中，第一相机为鱼眼相机，第二相机为前视枪式相机，第三相机为后视枪式相机；进而，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到后视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。

所得到各三维感知信息用于进行自动驾驶车辆的三维感知定位。一个示例中，自动驾驶车辆在进行自动驾驶的过程中，需要依据三维感知信息，进行自动驾驶过程中的三维感知定位；通过本实施例，可以得到鱼眼相机的三维感知信息、后视枪式相机的三维感知信息、以及前视枪式相机的三维感知信息，进而自动驾驶车辆可以获取到这些三维感知信息，然后自动驾驶车辆依据这些三维感知信息完成三维感知定位；从而，便于自动驾驶车辆的自动行驶。

此外，本实施例还得到了第七旋转矩阵(第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵)；可以采用第七旋转矩阵对第三相机的参数进行标定，从而去校正路侧相机的参数(即，外参)。

一个示例中，由于外力因素刮风振动等，会导致路侧相机发生轻微旋转的时候，进而需要对路侧相机的外参进行重新标定；首先，通过“稳像算法”或者“图像匹配检测算法”可以检测到发生位置移动的路侧相机、未发生位置移动的路侧相机；进而依据未发生位置移动的路侧相机的外参，得到发生位置移动的路侧相机的外参；然后依据发生位置移动的路侧相机在世界坐标系下的旋转矩阵，对发生位置移动的路侧相机的外参进行标定。例如，第三相机为前视枪式相机坐标系，若确定前视枪式相机坐标系发生了位置移动，则可以根据第七旋转矩阵(第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵)，对前视枪式相机坐标系的外参进行标定。

本实施例中，第一相机为鱼眼相机，第二相机为后视枪式相机，第三相机为前视枪式相机；进而，可以根据后视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到前视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。第一相机为鱼眼相机，第二相机为前视枪式相机，第三相机为后视枪式相机；进而，可以根据前视枪式相机在世界坐标系下的旋转矩阵(即，第二旋转矩阵)，去得到鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，然后根据鱼眼相机在世界坐标系下的旋转矩阵(即，第三旋转矩阵)，去得到后视枪式相机在世界坐标系下的旋转矩阵(即，第七旋转矩阵)。从而得到每一路侧相机所采集的图像的三维感知信息。不需要采用高精地图或人工RTK设备打点的方式去得到三维感知信息，进而降低了成本，并且提升了效率，保证了人员安全。可以得到鱼眼相机所采集的图像的三维感知信息、后视枪式相机所采集的图像的三维感知信息、前视枪式相机所采集的图像的三维感知信息。进而可以应用到自动驾驶的三维感知定位、或者对路侧相机进行外参的标定。

图7是根据本申请第五实施例的示意图，如图7所示，本实施例提供的基于路侧相机的外参的三维感知信息获取方法，包括：

701、获取第一相机所采集的图像与第二相机所采集的图像之间的第三匹配点对，并根据第三匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

示例性地，本实施例的执行主体可以是电子设备，其中，电子设备可以是终端设备、或者服务器、或者是其他可以执行本实施例方法的装置或设备。

本实施例提供的步骤701-704可以在第一实施例或第二实施例的基础上执行，也可以单独执行。

在步骤701-704中，第一相机为鱼眼相机，第二相机为后视枪式相机或者前视枪式相机。

由于第一相机与第二相机具有共视区域，进而针对共视区域，可以生成第一相机所采集的图像中该共视区域与第二相机所采集的图像中该共视区域之间的第三匹配点对；第三匹配点对包括N对图像点，每一对图像点包括第一相机对应的去畸变图像上的一个图像点、第二相机对应的去畸变图像上的一个图像点，N为大于等于1的正整数。其中，第三匹配点对中的各图像点，均为二维的图像点。

然后，可以采用对极几何算法对第三匹配点对进行处理，得到第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

一个示例中，可以根据第一相机所采集的图像生成第一去畸变图像，并根据第二相机所采集的图像生成第二去畸变图像，其中，第一去畸变图像和第二去畸变图像分别具有位于共视区域下的图像区域。然后，提取第一去畸变图像中位于共视区域下的图像区域的第一图像特征，并提取第二去畸变图像中位于共视区域下的图像区域的第二图像特征。基于第一图像特征和第二图像特征，对第一去畸变图像中的共视区域下的图像、第二去畸变图像的共视区域下的图像进行特征匹配处理，得到第三匹配点对。本实施例中，第三匹配点对可以与上述第一匹配点对是相同的。

然后，根据第三匹配点对，生成第四旋转矩阵，其中，第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵。获取第五旋转矩阵，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。根据第四旋转矩阵和第五旋转矩阵，生成第一旋转矩阵。这一过程，可以参见上述实施例中的步骤304，不再赘述。

702、获取第九旋转矩阵，第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

一个示例中，步骤702包括以下步骤：获取标记点的三维坐标信息，并依据第一相机所采集的图像，确定第一相机所采集的图像上标记点的二维坐标信息；对标记点的三维坐标信息、以及第一相机所采集的图像上标记点的二维坐标信息进行解算处理，得到第九旋转矩阵。

示例性地，可以通过高精地图或者RTK设备打点的方式，获取到第九旋转矩阵，第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

一个示例中，在获取第九旋转矩阵的时候(第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，可以通过高精地图或者人工RTK设备打点的方式，得到标记点的三维坐标信息；然后，通过第一相机所采集的图像，确定出该图像上的标志点的二维坐标信息；根据标志点的三维坐标信息、第一相机所采集的图像上标记点的二维坐标信息，进行pnp解算处理，得到第九旋转矩阵，其中，第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

此时，虽然依据高精地图或者人工RTK设备打点的方式，去得到了第九旋转矩阵(第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，但是依据第九旋转矩阵(第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，去得到第十旋转矩阵(第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，针对于第二相机，不需要采用高精地图或者人工RTK设备打点的方式去得到第十旋转矩阵(第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，在一定程度上节约了成本和时间。

703、根据第一旋转矩阵和第九旋转矩阵，生成第十旋转矩阵，第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

示例性地，将第一旋转矩阵和第九旋转矩阵进行矩阵相乘处理，得到第十旋转矩阵，第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

704、根据第九旋转矩阵生成第一相机的三维感知信息，并根据第十旋转矩阵生成第二相机所采集的图像的三维感知信息。

一个示例中，第九旋转矩阵用于对第一相机的参数进行标定，第十旋转矩阵用于对第二相机的参数进行标定。

示例性地，由于第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵，而第一相机所采集的图像中的感知信息是二维感知信息，从而可以依据第九旋转矩阵，将第一相机所采集的图像中的二维感知信息转换到世界坐标系下，就可以生成第一相机所采集的图像的三维感知信息。进而快速、准确的得到第一相机所采集的图像的三维感知信息。

并且，由于第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，而第二相机所采集的图像中的感知信息是二维感知信息，从而可以依据第十旋转矩阵，将第二相机所采集的图像中的二维感知信息转换到世界坐标系下，就可以生成第二相机所采集的图像的三维感知信息。进而快速、准确的得到第二相机所采集的图像的三维感知信息。各三维感知信息，可以用于自动驾驶车辆进行三维感知定位。

并且，本实施例还得到了第九旋转矩阵(第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)和第十旋转矩阵(第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)，可以采用第九旋转矩阵对第一相机的参数进行标定，采用第十旋转矩阵对第二相机的参数进行标定。从而去校正路侧相机的参数(即，外参)。

通过本实施例的以上过程，第一相机为鱼眼相机，第二相机为后视枪式相机；进而可以根据鱼眼相机在世界坐标系下的旋转矩阵(即，第九旋转矩阵)，得到后视枪式相机在世界坐标系下的旋转矩阵(即，第十旋转矩阵)。第一相机为鱼眼相机，第二相机为前视枪式相机；进而可以根据鱼眼相机在世界坐标系下的旋转矩阵(即，第九旋转矩阵)，得到前视枪式相机在世界坐标系下的旋转矩阵(即，第十旋转矩阵)。

本实施例中，依据第一相机所采集的图像与第二相机所采集的图像之间的第三匹配点对，生成第一旋转矩阵(第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵)；并根据第一旋转矩阵和第九旋转矩阵(第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵)，生成第十旋转矩阵(第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵)。从而，可以根据第九旋转矩阵生成第一相机的三维感知信息，根据第十旋转矩阵生成第二相机所采集的图像的三维感知信息。第一相机为鱼眼相机，第二相机为后视枪式相机；进而可以根据鱼眼相机在世界坐标系下的旋转矩阵(即，第九旋转矩阵)，得到后视枪式相机在世界坐标系下的旋转矩阵(即，第十旋转矩阵)。第一相机为鱼眼相机，第二相机为前视枪式相机；进而可以根据鱼眼相机在世界坐标系下的旋转矩阵(即，第九旋转矩阵)，得到前视枪式相机在世界坐标系下的旋转矩阵(即，第十旋转矩阵)。进而可以得到每一路侧相机所采集的图像的三维感知信息。不需要采用高精地图或人工RTK设备打点的方式去得到三维感知信息，进而降低了成本，并且提升了效率，保证了人员安全。可以得到鱼眼相机所采集的图像的三维感知信息、后视枪式相机所采集的图像的三维感知信息、前视枪式相机所采集的图像的三维感知信息。进而可以应用到自动驾驶的三维感知定位、或者对路侧相机进行外参的标定。

图8是根据本申请第六实施例的示意图，如图8所示，本实施例提供基于路侧相机的外参的三维感知信息获取装置800，路侧相机包括第一相机和第二相机，第一相机与第二相机之间具有共视区域，该装置800包括：

第一获取单元801，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

第一生成单元802，用于根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

第二获取单元803，用于获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

第二生成单元804，用于根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

第三生成单元805，用于根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图9是根据本申请第七实施例的示意图，如图9所示，本实施例提供基于路侧相机的外参的三维感知信息获取装置900，路侧相机包括第一相机和第二相机，第一相机与第二相机之间具有共视区域，该装置900包括：

第一获取单元901，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

第一生成单元902，用于根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

第二获取单元903，用于获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

第二生成单元904，用于根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

第三生成单元905，用于根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

一个示例中，第一获取单元901，包括：

第一生成模块9011，用于根据第一相机所采集的图像生成第一去畸变图像，并根据第二相机所采集的图像生成第二去畸变图像，其中，第一去畸变图像和第二去畸变图像分别具有位于共视区域下的图像区域。

第一提取模块9012，用于提取第一去畸变图像中位于共视区域下的图像区域的第一图像特征，并提取第二去畸变图像中位于共视区域下的图像区域的第二图像特征。

第一确定模块9013，用于基于第一图像特征和第二图像特征，确定第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

一个示例中，第一确定模块9013，具体用于：基于第一图像特征和第二图像特征，对第一去畸变图像和第二去畸变图像进行特征匹配，得到第一匹配点对。

一个示例中，第一生成模块9011，包括：

投影子模块90111，用于将第一相机所采集的图像投影到球面上，得到球面图像；对球面图像进行去畸变处理，得到第一去畸变图像。

调整子模块90112，用于采用去畸变函数对第二相机所采集的图像进行调整，得到第二去畸变图像。

一个示例中，第一生成单元902，包括：

第二生成模块9021，用于根据第一匹配点对，生成第四旋转矩阵，其中，第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵。

第一获取模块9022，用于获取第五旋转矩阵，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。

第二生成模块9023，用于根据第四旋转矩阵和第五旋转矩阵，生成第一旋转矩阵。

一个示例中，第一获取模块9022，具体用于：依据预设俯仰角和偏航角，对第一相机所采集的图像所处于的第一相机坐标系进行变换，得到第五旋转矩阵。

一个示例中，第二获取单元903，包括：

第二确定模块9031，用于获取标记点的三维坐标信息，并依据第二相机所采集的图像，确定第二相机所采集的图像上标记点的二维坐标信息。

第一解算模块9032，用于对标记点的三维坐标信息、以及第二相机所采集的图像上标记点的二维坐标信息进行解算处理，得到第二旋转矩阵。

一个示例中，第三生成单元905，具体用于：依据第三旋转矩阵，将第一相机所采集的图像中的二维感知信息转换到世界坐标系下，得到生成第一相机所采集的图像的三维感知信息。

一个示例中，本实施例提供的装置900，还包括：

第四生成单元906，用于根据第二旋转矩阵，将第二相机所采集的图像中的二维感知信息转换到世界坐标系下，生成第二相机所采集的图像的三维感知信息。

一个示例中，三维感知信息用于进行自动驾驶车辆的三维感知定位。

一个示例中，第二旋转矩阵用于对第二相机的参数进行标定，第三旋转矩阵用于对第一相机的参数进行标定。

一个示例中，第一相机为鱼眼相机，第二相机为后视枪式相机；或者，第一相机为鱼眼相机，第二相机为前视枪式相机。

本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图10是根据本申请第八实施例的示意图，如图10所示，本实施例提供基于路侧相机的外参的三维感知信息获取装置1000，路侧相机包括第一相机和第二相机，第一相机与第二相机之间具有共视区域，该装置1000包括：

第一获取单元1001，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

第一生成单元1002，用于根据第一匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

第二获取单元1003，用于获取第二旋转矩阵，第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

第二生成单元1004，用于根据第一旋转矩阵和第二旋转矩阵，生成第三旋转矩阵，第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

第三生成单元1005，用于根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息。

一个示例中，路侧相机还包括第三相机，第一相机与第三相机之间具有共视区域；本实施例提供的装置1000，还包括：

第三获取单元1006，用于在第三生成单元根据第三旋转矩阵，生成第一相机所采集的图像的三维感知信息之后，获取第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对。

第四生成单元1007，用于根据第二匹配点对，生成第六旋转矩阵，其中，第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵。

第五生成单元1008，用于根据第三旋转矩阵和第六旋转矩阵，生成第七旋转矩阵，第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵。

第六生成单元1009，用于根据第七旋转矩阵生成第三相机所采集的图像的三维感知信息。

一个示例中，第三获取单元1006，包括：

第三生成模块，用于根据第一相机所采集的图像生成第一去畸变图像，并根据第三相机所采集的图像生成第三去畸变图像，其中，第一去畸变图像和第三去畸变图像分别具有位于共视区域下的图像区域。

第二提取模块，用于提取第一去畸变图像中位于共视区域下的图像区域的第一图像特征，并提取第三去畸变图像中位于共视区域下的图像区域的第三图像特征。

第三确定模块，用于基于第一图像特征和第三图像特征，确定第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对。

一个示例中，第三确定模块，具体用于：基于第一图像特征和第三图像特征，对第一去畸变图像和第三去畸变图像进行特征匹配，得到第二匹配点对。

一个示例中，第三生成模块在根据第三相机所采集的图像生成第三去畸变图像时，具体用于：采用去畸变函数对第三相机所采集的图像进行调整，得到第三去畸变图像。

一个示例中，第五生成单元1008，包括：

第四生成模块，用于根据第二匹配点对，生成第八旋转矩阵，第八旋转矩阵表征第三相机在等效相机坐标系下的旋转矩阵。

第二获取模块，用于获取第五旋转矩阵，其中，第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵。

第五生成模块，用于根据第五旋转矩阵和第八旋转矩阵，生成第六旋转矩阵。

一个示例中，若第一相机为鱼眼相机、第二相机为后视枪式相机，则第三相机为前视枪式相机，若第一相机为鱼眼相机、第二相机为前视枪式相机，则第三相机为后视枪式相机。

一个示例中，第三相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位；第七旋转矩阵用于对第三相机的参数进行标定。

本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图11是根据本申请第九实施例的示意图，如图11所示，本实施例提供基于路侧相机的外参的三维感知信息获取装置1100，路侧相机包括第一相机和第二相机，第一相机与第二相机之间具有共视区域，该装置1100包括：

首先本实施例提供的装置1100，可以包括图8或图9的各个单元和模块，也可以不包括图8或图9的各个单元和模块。(图8或图9的各个单元和模块，在图11中未示出)

该装置1100包括：

第四获取单元1101，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第三匹配点对。

第七生成单元1102，用于根据第三匹配点对，生成第一旋转矩阵，其中，第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵。

第五获取单元1103，用于获取第九旋转矩阵，第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵。

第八生成单元1104，用于根据第一旋转矩阵和第九旋转矩阵，生成第十旋转矩阵，第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵。

第九生成单元1105，用于根据第九旋转矩阵生成第一相机的三维感知信息，并根据第十旋转矩阵生成第二相机所采集的图像的三维感知信息。

一个示例中，第五获取单元1103，包括：

第四确定模块，用于获取标记点的三维坐标信息，并依据第一相机所采集的图像，确定第一相机所采集的图像上标记点的二维坐标信息。

第二解算模块，用于对标记点的三维坐标信息、以及第一相机所采集的图像上标记点的二维坐标信息进行解算处理，得到第九旋转矩阵。

一个示例中，第九旋转矩阵用于对第一相机的参数进行标定，第十旋转矩阵用于对第二相机的参数进行标定。

本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图12示出了可以用来实施本申请的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如基于路侧相机的外参的三维感知信息获取。例如，在一些实施例中，基于路侧相机的外参的三维感知信息获取可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM1203并由计算单元1201执行时，可以执行上文描述的基于路侧相机的外参的三维感知信息获取的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于路侧相机的外参的三维感知信息获取。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本实施例还提供了一种路侧设备，该路侧设备中包括有上述实施例提供的电子设备。

路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备。

智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。

本实施例还提供了一种云控平台，该云控平台中包括有上述实施例提供的电子设备。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (49)

1.一种基于路侧相机的外参的三维感知信息获取方法，所述路侧相机包括第一相机和第二相机，所述第一相机与所述第二相机之间具有共视区域，所述方法包括：

获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，并根据所述第一匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

获取第二旋转矩阵，所述第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵，并根据所述第一旋转矩阵和所述第二旋转矩阵，生成第三旋转矩阵，所述第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；

根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息。

2.根据权利要求1所述的方法，其中，所述获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，包括：

根据所述第一相机所采集的图像生成第一去畸变图像，并根据所述第二相机所采集的图像生成第二去畸变图像，其中，所述第一去畸变图像和所述第二去畸变图像分别具有位于所述共视区域下的图像区域；

提取所述第一去畸变图像中位于所述共视区域下的图像区域的第一图像特征，并提取所述第二去畸变图像中位于所述共视区域下的图像区域的第二图像特征；

基于所述第一图像特征和所述第二图像特征，确定第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

3.根据权利要求2所述的方法，其中，基于所述第一图像特征和所述第二图像特征，确定第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对，包括：

基于所述第一图像特征和所述第二图像特征，对所述第一去畸变图像和所述第二去畸变图像进行特征匹配，得到所述第一匹配点对。

4.根据权利要求2所述的方法，其中，根据所述第一相机所采集的图像生成第一去畸变图像，并根据所述第二相机所采集的图像生成第二去畸变图像，包括：

将所述第一相机所采集的图像投影到球面上，得到球面图像；对所述球面图像进行去畸变处理，得到所述第一去畸变图像；

采用去畸变函数对所述第二相机所采集的图像进行调整，得到所述第二去畸变图像。

5.根据权利要求1所述的方法，其中，根据所述第一匹配点对，生成第一旋转矩阵，包括：

根据所述第一匹配点对，生成第四旋转矩阵，其中，所述第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵；

获取第五旋转矩阵，其中，所述第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵，并根据所述第四旋转矩阵和所述第五旋转矩阵，生成所述第一旋转矩阵。

6.根据权利要求5所述的方法，其中，所述获取第五旋转矩阵，包括：

依据预设俯仰角和偏航角，对所述第一相机所采集的图像所处于的第一相机坐标系进行变换，得到所述第五旋转矩阵。

7.根据权利要求1所述的方法，其中，所述获取第二旋转矩阵，包括：

获取标记点的三维坐标信息，并依据所述第二相机所采集的图像，确定所述第二相机所采集的图像上所述标记点的二维坐标信息；

对所述标记点的三维坐标信息、以及所述第二相机所采集的图像上所述标记点的二维坐标信息进行解算处理，得到所述第二旋转矩阵。

8.根据权利要求1所述的方法，其中，根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息，包括：

依据所述第三旋转矩阵，将所述第一相机所采集的图像中的二维感知信息转换到世界坐标系下，得到生成第一相机所采集的图像的三维感知信息。

9.根据权利要求1所述的方法，所述方法，还包括：

根据所述第二旋转矩阵，将所述第二相机所采集的图像中的二维感知信息转换到世界坐标系下，生成第二相机所采集的图像的三维感知信息。

10.根据权利要求1所述的方法，其中，所述三维感知信息用于进行自动驾驶车辆的三维感知定位。

11.根据权利要求1所述的方法，其中，所述第二旋转矩阵用于对所述第二相机的参数进行标定，所述第三旋转矩阵用于对所述第一相机的参数进行标定。

12.根据权利要求1所述的方法，其中，所述第一相机为鱼眼相机，所述第二相机为后视枪式相机；

或者，所述第一相机为鱼眼相机，所述第二相机为前视枪式相机。

13.根据权利要求1-12任一项所述的方法，所述路侧相机还包括第三相机，所述第一相机与所述第三相机之间具有共视区域；在根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息之后，还包括：

获取第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对，并根据所述第二匹配点对，生成第六旋转矩阵，其中，所述第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵；

根据所述第三旋转矩阵和所述第六旋转矩阵，生成第七旋转矩阵，所述第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵；

根据所述第七旋转矩阵生成所述第三相机所采集的图像的三维感知信息。

14.根据权利要求13所述的方法，其中，所述获取第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对，包括：

根据所述第一相机所采集的图像生成第一去畸变图像，并根据所述第三相机所采集的图像生成第三去畸变图像，其中，所述第一去畸变图像和所述第三去畸变图像分别具有位于所述共视区域下的图像区域；

提取所述第一去畸变图像中位于所述共视区域下的图像区域的第一图像特征，并提取所述第三去畸变图像中位于所述共视区域下的图像区域的第三图像特征；

基于所述第一图像特征和所述第三图像特征，确定第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对。

15.根据权利要求14所述的方法，其中，基于所述第一图像特征和所述第三图像特征，确定第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对，包括：

基于所述第一图像特征和所述第三图像特征，对所述第一去畸变图像和所述第三去畸变图像进行特征匹配，得到所述第二匹配点对。

16.根据权利要求14所述的方法，其中，根据所述第三相机所采集的图像生成第三去畸变图像，包括：

采用去畸变函数对所述第三相机所采集的图像进行调整，得到所述第三去畸变图像。

17.根据权利要求13所述的方法，其中，根据所述第二匹配点对，生成第六旋转矩阵，包括：

根据所述第二匹配点对，生成第八旋转矩阵，所述第八旋转矩阵表征第三相机在等效相机坐标系下的旋转矩阵；

获取第五旋转矩阵，其中，所述第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵，并根据所述第五旋转矩阵和所述第八旋转矩阵，生成所述第六旋转矩阵。

18.根据权利要求13所述的方法，其中，若第一相机为鱼眼相机、第二相机为后视枪式相机，则第三相机为前视枪式相机，若第一相机为鱼眼相机、第二相机为前视枪式相机，则所述第三相机为后视枪式相机。

19.根据权利要求13所述的方法，其中，所述第三相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位；

所述第七旋转矩阵用于对所述第三相机的参数进行标定。

20.根据权利要求1-12任一项所述的方法，所述方法还包括：

获取第一相机所采集的图像与第二相机所采集的图像之间的第三匹配点对，并根据所述第三匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

获取第九旋转矩阵，所述第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵，并根据所述第一旋转矩阵和所述第九旋转矩阵，生成第十旋转矩阵，所述第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵；

根据所述第九旋转矩阵生成第一相机的三维感知信息，并根据所述第十旋转矩阵生成第二相机所采集的图像的三维感知信息。

21.根据权利要求20所述的方法，其中，所述获取第九旋转矩阵，包括：

获取标记点的三维坐标信息，并依据所述第一相机所采集的图像，确定所述第一相机所采集的图像上所述标记点的二维坐标信息；

对所述标记点的三维坐标信息、以及所述第一相机所采集的图像上所述标记点的二维坐标信息进行解算处理，得到所述第九旋转矩阵。

22.根据权利要求20所述的方法，其中，所述第九旋转矩阵用于对所述第一相机的参数进行标定，所述第十旋转矩阵用于对所述第二相机的参数进行标定。

23.一种基于路侧相机的外参的三维感知信息获取装置，所述路侧相机包括第一相机和第二相机，所述第一相机与所述第二相机之间具有共视区域，所述装置包括：

第一获取单元，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对；

第一生成单元，用于根据所述第一匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

第二获取单元，用于获取第二旋转矩阵，所述第二旋转矩阵表征第二相机在世界坐标系下的旋转矩阵；

第二生成单元，用于根据所述第一旋转矩阵和所述第二旋转矩阵，生成第三旋转矩阵，所述第三旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；

第三生成单元，用于根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息。

24.根据权利要求23所述的装置，其中，所述第一获取单元，包括：

第一生成模块，用于根据所述第一相机所采集的图像生成第一去畸变图像，并根据所述第二相机所采集的图像生成第二去畸变图像，其中，所述第一去畸变图像和所述第二去畸变图像分别具有位于所述共视区域下的图像区域；

第一提取模块，用于提取所述第一去畸变图像中位于所述共视区域下的图像区域的第一图像特征，并提取所述第二去畸变图像中位于所述共视区域下的图像区域的第二图像特征；

第一确定模块，用于基于所述第一图像特征和所述第二图像特征，确定第一相机所采集的图像与第二相机所采集的图像之间的第一匹配点对。

25.根据权利要求24所述的装置，其中，所述第一确定模块，具体用于：

基于所述第一图像特征和所述第二图像特征，对所述第一去畸变图像和所述第二去畸变图像进行特征匹配，得到所述第一匹配点对。

26.根据权利要求24所述的装置，其中，所述第一生成模块，包括：

投影子模块，用于将所述第一相机所采集的图像投影到球面上，得到球面图像；对所述球面图像进行去畸变处理，得到所述第一去畸变图像；

调整子模块，用于采用去畸变函数对所述第二相机所采集的图像进行调整，得到所述第二去畸变图像。

27.根据权利要求23所述的装置，其中，所述第一生成单元，包括：

第二生成模块，用于根据所述第一匹配点对，生成第四旋转矩阵，其中，所述第四旋转矩阵表征第二相机在等效相机坐标系下的旋转矩阵；

第一获取模块，用于获取第五旋转矩阵，其中，所述第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵；

第二生成模块，用于根据所述第四旋转矩阵和所述第五旋转矩阵，生成所述第一旋转矩阵。

28.根据权利要求27所述的装置，其中，所述第一获取模块，具体用于：

依据预设俯仰角和偏航角，对所述第一相机所采集的图像所处于的第一相机坐标系进行变换，得到所述第五旋转矩阵。

29.根据权利要求23所述的装置，其中，所述第二获取单元，包括：

第二确定模块，用于获取标记点的三维坐标信息，并依据所述第二相机所采集的图像，确定所述第二相机所采集的图像上所述标记点的二维坐标信息；

第一解算模块，用于对所述标记点的三维坐标信息、以及所述第二相机所采集的图像上所述标记点的二维坐标信息进行解算处理，得到所述第二旋转矩阵。

30.根据权利要求23所述的装置，其中，所述第三生成单元，具体用于：

依据所述第三旋转矩阵，将所述第一相机所采集的图像中的二维感知信息转换到世界坐标系下，得到生成第一相机所采集的图像的三维感知信息。

31.根据权利要求23所述的装置，所述装置，还包括：

第四生成单元，用于根据所述第二旋转矩阵，将所述第二相机所采集的图像中的二维感知信息转换到世界坐标系下，生成第二相机所采集的图像的三维感知信息。

32.根据权利要求23所述的装置，其中，所述三维感知信息用于进行自动驾驶车辆的三维感知定位。

33.根据权利要求23所述的装置，其中，所述第二旋转矩阵用于对所述第二相机的参数进行标定，所述第三旋转矩阵用于对所述第一相机的参数进行标定。

34.根据权利要求23所述的装置，其中，所述第一相机为鱼眼相机，所述第二相机为后视枪式相机；

或者，所述第一相机为鱼眼相机，所述第二相机为前视枪式相机。

35.根据权利要求23-34任一项所述的装置，所述路侧相机还包括第三相机，所述第一相机与所述第三相机之间具有共视区域；所述装置，还包括：

第三获取单元，用于在所述第三生成单元根据所述第三旋转矩阵，生成所述第一相机所采集的图像的三维感知信息之后，获取第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对；

第四生成单元，用于根据所述第二匹配点对，生成第六旋转矩阵，其中，所述第六旋转矩阵表征第三相机在第一相机坐标系下的旋转矩阵；

第五生成单元，用于根据所述第三旋转矩阵和所述第六旋转矩阵，生成第七旋转矩阵，所述第七旋转矩阵表征第三相机在世界坐标系下的旋转矩阵；

第六生成单元，用于根据所述第七旋转矩阵生成所述第三相机所采集的图像的三维感知信息。

36.根据权利要求35所述的装置，其中，所述第三获取单元，包括：

第三生成模块，用于根据所述第一相机所采集的图像生成第一去畸变图像，并根据所述第三相机所采集的图像生成第三去畸变图像，其中，所述第一去畸变图像和所述第三去畸变图像分别具有位于所述共视区域下的图像区域；

第二提取模块，用于提取所述第一去畸变图像中位于所述共视区域下的图像区域的第一图像特征，并提取所述第三去畸变图像中位于所述共视区域下的图像区域的第三图像特征；

第三确定模块，用于基于所述第一图像特征和所述第三图像特征，确定第一相机所采集的图像与第三相机所采集的图像之间的第二匹配点对。

37.根据权利要求36所述的装置，其中，所述第三确定模块，具体用于：

基于所述第一图像特征和所述第三图像特征，对所述第一去畸变图像和所述第三去畸变图像进行特征匹配，得到所述第二匹配点对。

38.根据权利要求36所述的装置，其中，所述第三生成模块在根据所述第三相机所采集的图像生成第三去畸变图像时，具体用于：

采用去畸变函数对所述第三相机所采集的图像进行调整，得到所述第三去畸变图像。

39.根据权利要求35所述的装置，其中，所述第五生成单元，包括：

第四生成模块，用于根据所述第二匹配点对，生成第八旋转矩阵，所述第八旋转矩阵表征第三相机在等效相机坐标系下的旋转矩阵；

第二获取模块，用于获取第五旋转矩阵，其中，所述第五旋转矩阵表征第一相机在等效相机坐标系下的旋转矩阵；

第五生成模块，用于根据所述第五旋转矩阵和所述第八旋转矩阵，生成所述第六旋转矩阵。

40.根据权利要求35所述的装置，其中，若第一相机为鱼眼相机、第二相机为后视枪式相机，则第三相机为前视枪式相机，若第一相机为鱼眼相机、第二相机为前视枪式相机，则所述第三相机为后视枪式相机。

41.根据权利要求35所述的装置，其中，所述第三相机所采集的图像的三维感知信息用于进行自动驾驶车辆的三维感知定位；

所述第七旋转矩阵用于对所述第三相机的参数进行标定。

42.根据权利要求23-34任一项所述的装置，所述装置还包括：

第四获取单元，用于获取第一相机所采集的图像与第二相机所采集的图像之间的第三匹配点对；

第七生成单元，用于根据所述第三匹配点对，生成第一旋转矩阵，其中，所述第一旋转矩阵表征第一相机在第二相机坐标系下的旋转矩阵；

第五获取单元，用于获取第九旋转矩阵，所述第九旋转矩阵表征第一相机在世界坐标系下的旋转矩阵；

第八生成单元，用于根据所述第一旋转矩阵和所述第九旋转矩阵，生成第十旋转矩阵，所述第十旋转矩阵表征第二相机在世界坐标系下的旋转矩阵；

第九生成单元，用于根据所述第九旋转矩阵生成第一相机的三维感知信息，并根据所述第十旋转矩阵生成第二相机所采集的图像的三维感知信息。

43.根据权利要求42所述的装置，其中，所述第五获取单元，包括：

第四确定模块，用于获取标记点的三维坐标信息，并依据所述第一相机所采集的图像，确定所述第一相机所采集的图像上所述标记点的二维坐标信息；

第二解算模块，用于对所述标记点的三维坐标信息、以及所述第一相机所采集的图像上所述标记点的二维坐标信息进行解算处理，得到所述第九旋转矩阵。

44.根据权利要求42所述的装置，其中，所述第九旋转矩阵用于对所述第一相机的参数进行标定，所述第十旋转矩阵用于对所述第二相机的参数进行标定。

45.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-22中任一项所述的方法。

46.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-22中任一项所述的方法。

47.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-22中任一项所述的方法。

48.一种路侧设备，包括：如权利要求45所述的电子设备。

49.一种云控平台，包括：如权利要求45所述的电子设备。

Images