CN112967345A - 鱼眼相机的外参标定方法、装置以及系统 - Google Patents

Abstract

本申请公开了一种鱼眼相机的外参标定方法、装置及系统，涉及计算机技术中的人工智能、自动驾驶、智能交通、车路协同路侧感知以及计算机视觉。包括：根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像，目标焦距为鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距，根据去畸变图像确定鱼眼相机的外参，可以避免受各种因素的影响，鱼眼相机拍摄的图像往往无法采集到棋盘格全部的内角点，从而导致鱼眼相机拍摄的大量图像无法使用的问题，通过去畸变图像与枪机采集的图像之间的盲区较小甚至无盲区，以当基于该去畸变图像确定鱼眼相机的外参时，可以实现提高确定出的鱼眼相机的外参的准确性和可靠性的技术效果。

Description

鱼眼相机的外参标定方法、装置以及系统

技术领域

本申请涉及计算机技术中的人工智能、自动驾驶、智能交通、车路协同路侧感知以及计算机视觉，尤其涉及一种鱼眼相机的外参标定方法、装置及系统。

背景技术

随着车辆网技术地发展，车用无线通信技术(Vehicle to X，V2X)路侧感知系统为车路协同的车辆提供了超视距的感知信息，路侧相机为路侧感知系统的最主要的传感器之一，路侧相机通常包括枪机和鱼眼相机。

在现有技术中，感知信息通常由枪机获取到的图像确定，鱼眼相机通常用于监控，从而一般无需对鱼眼相机的外参进行标定，且当鱼眼相机应用于其他场景时，通常采用的外参标定方法为“借助棋盘格”标定法，如制作棋盘格(每个格子的大小可测量)，提取棋盘格的内角点，基于鱼眼相机采集图像，并将图像中的像素点进行腐蚀和膨胀等处理，并基于预设的标定函数对处理后的像素点与棋盘格中的内角点进行计算，从而获取鱼眼相机的外参。

然而，采用上述对鱼眼相机的外参进行标定，可能存在对于未能检测到所有棋盘格内角点的图像都会被弃之不用而造成的可靠性偏低，成本偏高的问题。

发明内容

本申请提供了一种用于提高标定可靠性的鱼眼相机的外参标定方法、装置及系统。

根据本申请的第一方面，提供了一种鱼眼相机的外参标定方法，包括：

根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，所述目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距；

根据所述去畸变图像确定所述鱼眼相机的外参。

根据本申请的第二方面，提供了一种鱼眼相机的外参标定装置，包括：

第一处理单元，用于根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，所述目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距；

第一确定单元，用于根据所述去畸变图像确定所述鱼眼相机的外参。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上第一实施例所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请的第六方面，提供了一种路侧设备，包括如上第三方面所述的电子设备。

根据本申请的第七方面，提供了一种云控平台，包括如上第三方面所述的电子设备。

根据本申请的第八方面，提供了一种鱼眼相机的外参标定系统，包括：鱼眼相机、枪机、以及如上第二方面所述的装置；其中，

所述鱼眼相机和所述枪机用于确定目标焦距。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是根据本申请第二实施例的示意图；

图3是鱼眼相机采集到的原始图像的示意图；

图4是对原始图像进行去畸变处理，得到的去畸变图像的示意图；

图5是根据本申请第三实施例的示意图；

图6是根据本申请第四实施例的示意图；

图7是用来实现本申请实施例的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了提高车辆行驶的安全性和可靠性，路侧感知系统可以为车辆提供感知信息，感知信息可以包括障碍物(如车辆以及行人等)的相关信息，如障碍物的位置信息等。

其中，路侧相机为路侧感知系统的最主要的传感器之一，路侧相机通常可以包括枪机和鱼眼相机，且枪机可以包括前视枪机和后视枪机。一般情况下，路口(如十字路口，或者，丁字形路口)处可以设置监控杆(即立杆)，监控杆上可以同时设置鱼眼相机、后视枪机和前视枪机。

在相关技术中，鱼眼相机通常用于监控，因此一般无需对鱼眼相机的外参进行标定，且当鱼眼相机应用于其他场景时，通常采用的外参标定方法为“借助棋盘格”标定法，如检测棋盘格中的内角点，进行计算后获取鱼眼相机的外参。

然而，受各种因素的影响，鱼眼相机拍摄的图像往往无法采集到棋盘格全部的内角点，这就可能导致鱼眼相机拍摄的大量图像无法使用，只有少数图像可用，从而造成图像淘汰率高，标定效率低，成本偏高，且可靠性偏低等技术问题。

为了避免上述技术问题中的至少一种，本申请实施例的发明人经过创造性地劳动，得到了本申请实施例的发明构思：将鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距作为目标焦距，基于目标焦距对鱼眼相机采集的原始图像进行去畸变处理，得到去畸变图像，并基于去畸变图像生成鱼眼相机的外参。

基于上述发明构思，本申请提供一种鱼眼相机的外参标定方法、装置及路侧设备，应用于计算机技术中的人工智能、自动驾驶、智能交通、车路协同路侧感知以及计算机视觉，以达到节约标定成本，提高标定准确性的技术效果。

图1是根据本申请第一实施例的示意图，如图1所示，该方法包括：

S101：根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像。

其中，目标焦距为鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距。

示例性地，本实施例的执行主体可以为鱼眼相机的外参标定装置(下文简称外参标定装置)，外参标定装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为路侧设备，也可以为终端设备，也可以为处理器，还可以为芯片，等等，本实施例不做限定。

其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。

值得说明地是，在本实施例中，引入了根据鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距作为目标焦距，以便基于该目标焦距对鱼眼相机所采集的原始图像进行去畸变处理的特征，通过引入该特征，可以使得在目标焦距的基础上，去畸变处理后的图像(即去畸变图像)与枪机所采集的图像之间具有重合区域，且尤其当重合区域相对较大时，相对而言，可以使得通过本实施例确定出的去畸变图像的范围相对较大，从而当后续基于该去畸变图像确定鱼眼相机的外参时，可以相对确保去畸变图像的全面覆盖性，进而实现提高确定出的鱼眼相机的外参的准确性和可靠性，且相对于采用上述相关技术中的“借助棋盘格”标定法确定鱼眼相机的外参，可以避免受各种因素的影响，鱼眼相机拍摄的图像往往无法采集到棋盘格全部的内角点，从而导致鱼眼相机拍摄的大量图像无法使用的问题，而由于可能只有少数图像可用，图像淘汰率高，则可能导致的标定效率低的问题，且可以避免因图像被弃用而造成的可靠性偏低和拍摄成本偏高的问题。

S102：根据去畸变图像确定鱼眼相机的外参。

一个示例中，外参标定装置可以采用人工标注的方式，根据去畸变图像确定鱼眼相机的外参。

例如，外参标定装置可以通过人工的方式基于去畸变图像中的像素点，在世界坐标系中执行采集世界坐标的操作，并基于去畸变图像和采集到的世界坐标进行不同坐标系(即世界坐标系和图像坐标系)的坐标转换计算，从而得到鱼眼相机的外参。

另一个示例中，外参标定装置可以基于历史图像辅助去畸变图像的方式，确定鱼眼相机的外参。

例如，外参标定装置可以获取由其他相机采集的历史图像，外参标定装置根据其他相机的参数(如外参)和历史图像，确定与历史图像中至少一个像素点的世界坐标，并确定该至少一个像素点在畸变图像中的像素坐标，并基于该像素坐标与确定出的世界坐标进行不同坐标系(即世界坐标系和图像坐标系)的坐标转换计算，从而得到鱼眼相机的外参。

其中，其他相机的设置位置与鱼眼相机的设置位置可以相同，以便其他相机采集到的历史图像与去畸变图像针对的为相同对象。

需要说明地是，上述实施例只是用于示范性地说明，本实施例可以采用的根据去畸变图像确定鱼眼相机的外参的方法，而不能理解为对根据去畸变图像确定鱼眼相机的外参的方法的限定。

基于上述分析可知，本申请实施例提供了一种鱼眼相机的外参标定方法，该方法包括：根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像，其中，目标焦距为鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距，根据去畸变图像确定鱼眼相机的外参，通过根据鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距作为目标焦距，以便基于该目标焦距对鱼眼相机所采集的原始图像进行去畸变处理，以便基于得到的去畸变图像确定鱼眼相机的外参，可以避免受各种因素的影响，鱼眼相机拍摄的图像往往无法采集到棋盘格全部的内角点，从而导致鱼眼相机拍摄的大量图像无法使用的问题，而由于可能只有少数图像可用，图像淘汰率高，则可能导致的标定效率低的问题，而相对而言，通过本实施例确定出的去畸变图像的范围相对较大，与枪机采集的图像之间的盲区减小甚至无盲区，从而当后续基于该去畸变图像确定鱼眼相机的外参时，可以相对确保去畸变图像的全面覆盖性，进而实现提高确定出的鱼眼相机的外参的准确性和可靠性的技术效果。

图2是根据本申请第一实施例的示意图，如图2所示，该方法包括：

S201：根据鱼眼相机在每一焦距下的视场角，确定鱼眼相机在每一焦距下的图像采集区域。

示例性地，可以基于式1确定焦距与视场角之间的关系，式1：

θ＝2*atan((L/2)/f)

其中，θ为视场角，L为鱼眼相机的胶片的对角线长度，f为焦距。

本实施例可以理解为：不同的焦距对应的视场角不同，鱼眼相机基于不同的视场角所采集的图像的覆盖范围(即采集区域)不同，针对某焦距，外参标定装置可以基于上述式1确定该焦距对应的视场角，以便确定鱼眼相机在该视场角时，鱼眼相机的图像采集区域。

在一些实施例中，S201可以包括：根据鱼眼相机在每一焦距下的视场角、以及获取到鱼眼相机所位于的监控杆的高度信息，确定鱼眼相机在每一焦距下的图像采集区域。

例如，针对某焦距而言，外参标定装置可以确定鱼眼相机在该焦距下的视场角，可以得到基于该视场角得到相应的图像，且外参标定装置可以获取监控杆的高度信息，鱼眼相机安装于监控杆，则可以外参标定装置可以基于视场角得到的图像、以及监控杆的高度信息，确定基于视场角得到图像的左侧至监控杆之间的距离，并确定基于视场角得到图像的右侧至监控杆之间的距离，从而得到该焦距下的图像采集区域。

其中，关于基于视场角得到图像的左侧至监控杆之间的距离、以及基于视场角得到图像的右侧至监控杆之间的距离的计算，可以参见相机的成像原理实现，此处不再赘述。

值得说明地是，在本实施例中，通过结合视场角和监控杆的高度信息，确定鱼眼相机在每一焦距下的图像采集区域，可以提高确定图像采集区域的准确性、可靠性、以及便捷性。

S202：根据枪机在每一焦距下视场角，确定枪机在每一焦距下的图像采集区域。

同理，在该步骤中，可以基于上述式1的方式确定枪机在每一焦距下的图像采集区域，实现原理可以参见S201地描述，此处不再赘述。

在一些实施例中，S202可以包括：根据枪机在每一焦距下的视场角、以及获取到监控杆的高度信息，确定枪机在每一焦距下的图像采集区域。

同理，关于基于每一焦距下的视场角、以及监控杆的高度信息，确定枪机在每一焦距下的图像采集区域，可以参见上述实施例中，基于每一焦距下的视场角、以及监控杆的高度信息，确定鱼眼相机在每一焦距下的图像采集区域的原理，此处不再赘述。且通过结合视场角和监控杆的高度信息，确定枪机在每一焦距下的图像采集区域，可以提高确定图像采集区域的准确性、可靠性、以及便捷性。

S203：根据鱼眼相机在每一焦距下的图像采集区域、以及枪机在每一焦距下的图像采集区域，确定预设图像采集重合区域。

示例性地，针对某一焦距，外参标定装置在可以确定鱼眼相机对应的图像采集区域、以及确定枪机对应的图像采集区域，并对两个图像采集区域进行共同区域的确定，确定出的共同区域即为在该焦距下，鱼眼相机的图像与枪机的图像的重合区域。

一个示例中，外参标定装置可以预先设置焦距集合，焦距集合中包括多个焦距，外参标定装置可以从焦距集合中依次选取一个焦距，并确定在选取出的焦距的基础上，鱼眼相机对应的图像、以及枪机对应的图像，并确定该两个图像的重合区域，如果两个图像的重合区域的面积大于预设的面积，则将该两个图像的重合区域确定为预设图像采集重合区域，相应地，将选取出的焦距确定为目标焦距。

另一个示例中，外参标定装置可以预先设置多个焦距，外参标定装置可以分别计算，在每一个焦距的基础上，鱼眼相机对应的图像、以及枪机对应的图像，并确定该两个图像的重合区域，当所有焦距各自对应的两个图像的重合区域都确定时，从所有两个图像的重合区域中，将重合区域最多的重合区域确定为预设图像采集重合区域，相应地，将重合区域最多的重合区域对应的焦距确定为目标焦距。

需要说明地是，上述示例只是用于示范性地说明，确定预设图像采集重合区域可能实现的方法，而不能理解为对确定预设图像采集重合区域的方法的限定。

值得说明地是，在本实施例中，通过每一焦距下的视场角，确定鱼眼相机和枪机各自对应的图像采集区域，并基于各自对应的图像采集区域确定预设图像采集重合区域，可以提高确定预设图像采集重合区域的准确性和可靠性的技术效果。

S204：根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像。

其中，目标焦距为鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距。

示例性地，关于S204地描述，可以参见S101，此处不再赘述。

其中，原始图像可以参阅图3。

在一些实施例中，S204可以包括：获取鱼眼相机基于目标焦距采集的标定板图像，将标定板图像投影到球面上，得到球面图像，对球面图像进行去畸变处理，得到去畸变图像。

示例性地，标定板图像的数量可以为一个，也可以为多个，当标定板图像的数量为多个时，则可以对多个标定板图像进行均值处理，得到用于投影至球面，得到球面图像的标定板图像。而通过基于多个标定板图像得到球面图像，可以减小得到的球面图像的误差，从而使得去畸变处理具有较高的准确性和可靠性的技术效果。

在一些实施例中，对球面图像进行去畸变处理，得到去畸变图像可以包括：确定球面图像与方形图像之间的转换关系，基于转换关系对球面图像的各像素点进行转换，得到各像素点转换至方形图像中的位置信息，从而得到去畸变图像。其中，球面图像对应的球面为方形图像的方形的外切圆或者内切圆。

其中，去畸变图像可以参阅图4。

也就是说，通过S204的方案，可以基于图3所示的畸变图像，得到如图4所示的去畸变图像。

S205：根据去畸变图像确定鱼眼相机的外参。

示例性地，关于S205地描述，可以参见S102，此处不再赘述。

在一些实施例中，去畸变图像为二维图像，S205可以包括如下步骤：

S2051：获取去畸变图像中的至少一个像素点，在去畸变图像中的二维坐标、以及在世界坐标系下的三维坐标。

应该理解地是，去畸变图像中包括多个像素点，每一个像素点在去畸变图像中具有二维坐标，二维坐标也可以理解为像素点在图像坐标系中的图像坐标。

世界坐标系也可以理解为地面坐标系(World Geodetic System)，或者称为物理坐标系，即实际的比如地面和其他物体所在的坐标系。

在本实施例中，针对去畸变图像中的任一像素点而言，外参标定装置可以确定该任一像素点在图像坐标系下的二维坐标(即该任一像素点在去畸变图像中，以图像坐标系为基础的坐标)，也可以确定该任一像素点在世界坐标系下的三维坐标(即该任一像素点在物理坐标系中，以地面坐标系为基础的坐标，如全球定位系统坐标(Global PositioningSystem，GPS坐标))。

在一些实施例中，某一像素点在世界坐标系下的三维坐标，可以为该像素点在地面上所对应的地面点的三维坐标。

示例性地，可以预先通过高精地图或者人工实时动态(real-time kinematic，简称RTK)设备打点的方式，确定任一像素点的GPS坐标，本实施例不做限定。

在本实施例中，对像素点的数量不做限定，可以为一个，也可以为多个。当像素点的数量为多个时，可以随机的选取多个像素点，且可以选择在去畸变图像中均匀分布的多个像素点。

值得说明地是，若选择的像素点的数量为多个，则相较而言，可以提高后续基于二维坐标和三维坐标，确定鱼眼相机的外参时的准确性和可靠性，且尤其当多个像素点为在去畸变图像中均匀分布的多个像素点时，可以充分考虑去畸变图像中各区域的像素点对确定出的鱼眼相机的外参的影响，从而可以进一步提高确定出的鱼眼相机的外参的准确性和可靠性的技术效果。

S2052：根据二维坐标和三维坐标，确定鱼眼相机的外参。

其中，鱼眼相机的外参包括：鱼眼相机在世界坐标系下的旋转矩阵和平移向量。

示例性地，外参标定装置可以结合相关技术中，图像坐标系与世界坐标系之间的坐标转换原理，对二维坐标和三维坐标进行转换，从而得到鱼眼相机在世界坐标系下的旋转矩阵和平移向量，即得到鱼眼相机的外参。

在一些实施例中，可以通过对二维坐标和三维坐标进行PNP(pespective-n-point，简称PNP)解算处理，得到鱼眼相机的外参。

值得说明地是，在本实施例中，通过分别确定去畸变图像中的至少一个像素点，在去畸变图像中的二维坐标、以及在世界坐标系下的三维坐标，并基于二维坐标和三维坐标，确定鱼眼相机的外参，可以避免相关技术中可能存在对于未能检测到所有棋盘格内角点的图像都会被弃之不用而造成的可靠性偏低，成本偏高的问题，提高了确定鱼眼相机的外参的准确性和可靠性的技术效果，且降低了采集图像的成本。

S206：根据鱼眼相机的外参，将鱼眼相机所采集的图像中目标对象的二维感知信息进行处理，得到目标对象的第一感知信息。

其中，第一感知信息为三维感知信息。三维感知信息可以包括位置信息等，如目标对象的世界坐标。

需要说明的是，S206至S208的执行主体可以与上述实施例中的执行主体相同，也可以与上述实施例中的执行主体不同。例如：

上述实施例中的执行主体可以为路侧单元，也可以为与路侧单元连接的服务器，相应地，本实施例的执行主体可以为相同的路侧单元，或者与路侧单元连接的服务器。或者，

上述实施例中的执行主体可以为路侧单元，本实施例的执行主体可以为与路侧单元连接的服务器。或者，

上述实施例中的执行主体可以为与路侧单元连接的服务器，本实施例的执行主体可以为路侧单元。或者，

上述实施例中的执行主体可以为与路侧单元，或者，路侧单元连接的服务器，本实施例的执行主体可以为车辆。

例如，若S201至205的执行主体为路侧单元，或者路侧单元连接的服务器，则在路侧单元，或者路侧单元连接的服务器确定出鱼眼相机的外参之后，可以将鱼眼相机所采集的图像、以及鱼眼相机的外参发送接入至路侧单元，或者路侧单元连接的服务器的车辆，而车辆可以基于鱼眼相机的外参执行S206至S208。

以该步骤的执行主体为车辆，S201至205的执行主体为路侧单元为例，本实施例可以理解为：车辆接收由路侧单元发送的鱼眼相机采集的图像、以及鱼眼相机的外参，鱼眼相机采集的图像中包括目标对象，确定目标对象的二维感知信息，并根据鱼眼相机的外参对目标的二维感知信息进行处理，得到目标对象的第一感知信息，该第一感知信息为三维感知信息。

其中，目标对象可以为车辆基于驾驶需求等从鱼眼相机采集的图像中确定的目标对象，目标对象可以包括其他车辆和行人等，本实施例不做限定。

S207：根据预设的枪机的外参，将枪机所采集的图像中目标对象的二维感知信息进行处理，得到目标对象的第二感知信息。

其中，第二感知信息为三维感知信息。

同理，在本实施例中，车辆可以接收由路侧单元发送的枪机的外参，并基于枪机的外参对目标对象的二维感知信息进行处理，得到目标对象的第二感知信息，该第二感知信息为三维感知信息。

S208：对第一感知信息和第二感知信息进行融合处理，得到目标对象的融合后的三维感知信息。

值得说明地是，在本实施例中，通过分别确定第一感知信息和第二感知信息，并对第一感知信息和第二感知信息进行融合，得到目标对象的融合后的三维感知信息，而第一感知信息是基于鱼眼相机的外参确定的，也就是说，在本实施例中，引入了结合鱼眼相机和枪机，共同确定目标对象的三维感知信息的特征，从而可以避免相关技术中，基于枪机确定目标对象的三维感知信息时，由于盲区等造成的准确性偏低的问题，实现了提高确定目标对象的三维感知信息的准确性和可靠性的技术效果。

在一些实施例中，第一感知信息和第二感知信息均为目标对象的世界坐标信息，S208包括：对第一感知信息和第二感知信息进行加权处理，得到目标对象的融合后的三维感知信息。

例如，可以为枪机和鱼眼相机分配不同的权重系数，优选地，枪机的权重系数可以大于鱼眼相机的权重系数，以便尽可能减小由于去畸变处理造成的信息丢失等问题，从而提高最终确定出的三维感知信息的准确性和可靠性的技术效果。

基于上述分析可知，在一些实施例中，S206至S208的执行主体与S201至205的执行主体可能相同，例如，均为路侧单元，则在S208之后，一个示例中，该方法还可以包括：路侧单元将目标对象的融合后的三维感知信息发送给车辆，其中，目标对象的融合后的三维感知信息用于生成调整或维持车辆的行驶信息的行驶策略。

例如，路侧单元将目标对象的融合后的三维感知信息发送给车辆，车辆根据目标对象的融合后的三维感知信息、以及车辆当前的行驶信息，如定位信息和速度，确定目标对象与车辆之间的距离，并可以基于速度确定是否需要进行减速或绕行，即得到用于调整或维持车辆的行驶信息的行驶策略。

另一个示例中，路侧单元获取车辆的行驶信息，并根据行驶信息和目标对象的融合后的三维感知信息，生成并输出(如向车辆发送)用于指示调整或维持车辆的行驶信息的行驶策略。

而在一些实施例中，S206至S208的执行主体与S201至205的执行主体可能不同，例如，S201至205的执行主体为路侧单元，S206至S208的执行主体为车辆，则在S208之后，该方法还可以包括：车辆基于车辆的行驶信息、以及目标对象的融合后的三维感知信息生成调整或维持车辆的行驶信息的行驶策略。

值得说明地是，在本实施例中，通过基于行驶信息、目标对象的融合后的三维感知信息，生成用于调整或维持车辆的行驶信息的行驶策略，可以提高车辆行驶的安全性和可靠性的技术效果。

图5是根据本申请第三实施例的示意图，如图5所示，鱼眼相机的外参标定装置500，包括：

第一处理单元501，用于根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距。

第一确定单元502，用于根据去畸变图像确定鱼眼相机的外参。

图6是根据本申请第四实施例的示意图，如图6所示，鱼眼相机的外参标定装置600，包括：

第二确定单元601，根据鱼眼相机在每一焦距下的视场角，确定鱼眼相机在每一焦距下的图像采集区域，并根据枪机在每一焦距下视场角，确定枪机在每一焦距下的图像采集区域。

第三确定单元602，用于根据鱼眼相机在每一焦距下的图像采集区域、以及枪机在每一焦距下的图像采集区域，确定预设图像采集重合区域。

结合图6可知，在一些实施例中，第二确定单元601包括：

第一确定子单元6011，用于根据鱼眼相机在每一焦距下的视场角、以及获取到鱼眼相机所位于的监控杆的高度信息，确定鱼眼相机在每一焦距下的图像采集区域。

第二确定子单元6012，用于根据枪机在每一焦距下的视场角、以及获取到监控杆的高度信息，确定枪机在每一焦距下的图像采集区域。

第一处理单元603，用于根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距。

结合图6可知，在一些实施例中，第一处理单元603包括：

第二获取子单元6031，用于获取鱼眼相机基于目标焦距采集的标定板图像。

投影子单元6032，用于将标定板图像投影到球面上，得到球面图像。

处理子单元6033，用于对球面图像进行去畸变处理，得到去畸变图像。

第一确定单元604，用于根据去畸变图像确定鱼眼相机的外参。

结合图6可知，在一些实施例中，去畸变图像为二维图像；第一确定单元604包括：

第一获取子单元6041，用于获取去畸变图像中的至少一个像素点，在去畸变图像中的二维坐标、以及在世界坐标系下的三维坐标。

第三确定子单元6042，用于根据二维坐标和三维坐标，确定鱼眼相机的外参。

在一些实施例中，鱼眼相机的外参包括：鱼眼相机在世界坐标系下的旋转矩阵和平移向量。

在一些实施例中，像素点的数量为多个，且多个像素点为去畸变图像中均匀分布的多个像素点。

第二处理单元605，用于根据鱼眼相机的外参，将鱼眼相机所采集的图像中目标对象的二维感知信息进行处理，得到目标对象的第一感知信息，其中，第一感知信息为三维感知信息。

第三处理单元606，用于根据预设的枪机的外参，将枪机所采集的图像中目标对象的二维感知信息进行处理，得到目标对象的第二感知信息，其中，第二感知信息为三维感知信息。

融合单元607，用于对第一感知信息和第二感知信息进行融合处理，得到目标对象的融合后的三维感知信息。

在一些实施例中，第一感知信息和第二感知信息均为目标对象的世界坐标信息；融合单元607用于，对第一感知信息和第二感知信息进行加权处理，得到目标对象的融合后的三维感知信息。

获取单元608，用于获取车辆的行驶信息。

生成单元609，用于根据行驶信息、以及目标对象的融合后的三维感知信息，生成用于调整或维持车辆的行驶信息的行驶策略。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图7示出了可以用来实施本申请的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如鱼眼相机的外参标定方法。例如，在一些实施例中，鱼眼相机的外参标定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 7703并由计算单元701执行时，可以执行上文描述的鱼眼相机的外参标定方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行鱼眼相机的外参标定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的另一个方面，本申请实施例还提供了一种路侧设备，包括如上实施例所述的电子设备。

根据本申请实施例的另一个方面，本申请实施例还提供了一种云控平台，包括如上实施例所述的电子设备。

根据本申请实施例的另一个方面，本申请实施例还提供了一种鱼眼相机的外参标定系统，包括：鱼眼相机、枪机、以及如上实施例所述的鱼眼相机的外参标定装置；其中，

鱼眼相机和枪机用于确定目标焦距。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (26)

1.一种鱼眼相机的外参标定方法，包括：

根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，所述目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距；

根据所述去畸变图像确定所述鱼眼相机的外参。

2.根据权利要求1所述的方法，还包括：

根据所述鱼眼相机在每一焦距下的视场角，确定所述鱼眼相机在每一焦距下的图像采集区域，并根据所述枪机在每一焦距下视场角，确定所述枪机在每一焦距下的图像采集区域；

根据所述鱼眼相机在每一焦距下的图像采集区域、以及所述枪机在每一焦距下的图像采集区域，确定所述预设图像采集重合区域。

3.根据权利要求2所述的方法，根据所述鱼眼相机在每一焦距下的视场角，确定所述鱼眼相机在每一焦距下的图像采集区域，并根据所述枪机在每一焦距下视场角，确定所述枪机在每一焦距下的图像采集区域，包括：

根据所述鱼眼相机在每一焦距下的视场角、以及获取到所述鱼眼相机所位于的监控杆的高度信息，确定所述鱼眼相机在每一焦距下的图像采集区域；

根据所述枪机在每一焦距下的视场角、以及获取到所述监控杆的高度信息，确定所述枪机在每一焦距下的图像采集区域。

4.根据权利要求1至3中任一项所述的方法，其中，所述去畸变图像为二维图像；根据所述去畸变图像确定所述鱼眼相机的外参，包括：

获取所述去畸变图像中的至少一个像素点，在所述去畸变图像中的二维坐标、以及在世界坐标系下的三维坐标；

根据所述二维坐标和三维坐标，确定所述鱼眼相机的外参。

5.根据权利要求4所述的方法，其中，所述鱼眼相机的外参包括：所述鱼眼相机在世界坐标系下的旋转矩阵和平移向量。

6.根据权利要求4所述的方法，其中，所述像素点的数量为多个，且多个像素点为所述去畸变图像中均匀分布的多个像素点。

7.根据权利要求1至3中任一项所述的方法，还包括：

根据所述鱼眼相机的外参，将所述鱼眼相机所采集的图像中目标对象的二维感知信息进行处理，得到所述目标对象的第一感知信息，其中，所述第一感知信息为三维感知信息；

根据预设的所述枪机的外参，将所述枪机所采集的图像中所述目标对象的二维感知信息进行处理，得到所述目标对象的第二感知信息，其中，所述第二感知信息为三维感知信息；

对所述第一感知信息和所述第二感知信息进行融合处理，得到所述目标对象的融合后的三维感知信息。

8.根据权利要求7所述的方法，其中，所述第一感知信息和所述第二感知信息均为所述目标对象的世界坐标信息；对所述第一感知信息和所述第二感知信息进行融合处理，得到所述目标对象的融合后的三维感知信息，包括：

对所述第一感知信息和所述第二感知信息进行加权处理，得到所述目标对象的融合后的三维感知信息。

9.根据权利要求7所述的方法，其中，还包括：

获取车辆的行驶信息，并根据所述行驶信息、以及所述目标对象的融合后的三维感知信息，生成用于调整或维持所述车辆的行驶信息的行驶策略。

10.根据权利要求1至3中任一项所述的方法，其中，根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像，包括：

获取鱼眼相机基于目标焦距采集的标定板图像，并将所述标定板图像投影到球面上，得到球面图像；

对所述球面图像进行去畸变处理，得到去畸变图像。

11.一种鱼眼相机的外参标定装置，包括：

第一处理单元，用于根据目标焦距，对鱼眼相机所采集的原始图像进行去畸变处理，得到去畸变图像；其中，所述目标焦距为所述鱼眼相机与枪机之间的具有预设图像采集重合区域时所对应的焦距；

第一确定单元，用于根据所述去畸变图像确定所述鱼眼相机的外参。

12.根据权利要求11所述的装置，还包括：

第二确定单元，根据所述鱼眼相机在每一焦距下的视场角，确定所述鱼眼相机在每一焦距下的图像采集区域，并根据所述枪机在每一焦距下视场角，确定所述枪机在每一焦距下的图像采集区域；

第三确定单元，用于根据所述鱼眼相机在每一焦距下的图像采集区域、以及所述枪机在每一焦距下的图像采集区域，确定所述预设图像采集重合区域。

13.根据权利要求12所述的装置，所述第二确定单元包括：

第一确定子单元，用于根据所述鱼眼相机在每一焦距下的视场角、以及获取到所述鱼眼相机所位于的监控杆的高度信息，确定所述鱼眼相机在每一焦距下的图像采集区域；

第二确定子单元，用于根据所述枪机在每一焦距下的视场角、以及获取到所述监控杆的高度信息，确定所述枪机在每一焦距下的图像采集区域。

14.根据权利要求11至13中任一项所述的装置，其中，所述去畸变图像为二维图像；所述第一确定单元包括：

第一获取子单元，用于获取所述去畸变图像中的至少一个像素点，在所述去畸变图像中的二维坐标、以及在世界坐标系下的三维坐标；

第三确定子单元，用于根据所述二维坐标和三维坐标，确定所述鱼眼相机的外参。

15.根据权利要求14所述的装置，其中，所述鱼眼相机的外参包括：所述鱼眼相机在世界坐标系下的旋转矩阵和平移向量。

16.根据权利要求14所述的装置，其中，所述像素点的数量为多个，且多个像素点为所述去畸变图像中均匀分布的多个像素点。

17.根据权利要求11至13中任一项所述的装置，还包括：

第二处理单元，用于根据所述鱼眼相机的外参，将所述鱼眼相机所采集的图像中目标对象的二维感知信息进行处理，得到所述目标对象的第一感知信息，其中，所述第一感知信息为三维感知信息；

第三处理单元，用于根据预设的所述枪机的外参，将所述枪机所采集的图像中所述目标对象的二维感知信息进行处理，得到所述目标对象的第二感知信息，其中，所述第二感知信息为三维感知信息；

融合单元，用于对所述第一感知信息和所述第二感知信息进行融合处理，得到所述目标对象的融合后的三维感知信息。

18.根据权利要求17所述的装置，其中，所述第一感知信息和所述第二感知信息均为所述目标对象的世界坐标信息；所述融合单元用于，对所述第一感知信息和所述第二感知信息进行加权处理，得到所述目标对象的融合后的三维感知信息。

19.根据权利要求17所述的装置，其中，还包括：

获取单元，用于获取车辆的行驶信息；

生成单元，用于根据所述行驶信息、以及所述目标对象的融合后的三维感知信息，生成用于调整或维持所述车辆的行驶信息的行驶策略。

20.根据权利要求11至13中任一项所述的装置，其中，第一处理单元包括：

第二获取子单元，用于获取鱼眼相机基于目标焦距采集的标定板图像；

投影子单元，用于将所述标定板图像投影到球面上，得到球面图像；

处理子单元，用于对所述球面图像进行去畸变处理，得到去畸变图像。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

24.一种路侧设备，包括如权利要求21所述的电子设备。

25.一种云控平台，包括如权利要求21所述的电子设备。

26.一种鱼眼相机的外参标定系统，包括：鱼眼相机、枪机、以及如权利要求11至20中任一项所述的装置；其中，

所述鱼眼相机和所述枪机用于确定目标焦距。

Images