CN115144843A - 一种物体位置的融合方法及装置 - Google Patents

Abstract

本申请公开一种物体位置的融合方法及装置，针对图像采集设备在第i时刻采集的图像帧，确定出与图像帧匹配的至少一个雷达帧；针对至少一个雷达帧中至少一个目标物体，基于至少一个雷达帧，预测目标物体在第i时刻的预测位置信息；根据至少一个目标物体的预测位置信息和图像帧，确定至少一个目标物体在第i时刻的融合位置信息。通过对雷达设备采集的雷达帧中的目标物体在未来一定时间内可运动到的位置进行预测，该一定的时间为目标物体由雷达设备与图像采集设备分别进行采集的时间差，在对雷达帧预测的位置与图像采集设备对目标物体于相同时刻采集的位置进行融合，实现对目标物体于同一时刻既在图像采集设备中且在雷达设备中的数据进行对齐的效果。

Description

一种物体位置的融合方法及装置

技术领域

本申请实施例涉及智能交通技术领域，尤其涉及一种物体位置的融合方法及装置。

背景技术

在智慧交通行业中，为了更好地保证高速公路和城市道路的交通安全、提高道路通行度，工程师们越来越多地使用摄像头和毫米波雷达、甚至激光雷达等智能感知设备，来准确识别道路上的车辆、行人等目标，为智能调度算法提供道路上的目标信息。尽管摄像头和毫米波雷达都能够单独识别道路上的目标，但是它们有各自的感知性能劣势，如果能够综合它们的感知性能优势，则可以扬长避短，获得比单一智能感知设备更准确的道路目标信息。

其中，同一路侧位置上安装的摄像头及毫米波雷达，由于两者采集图像的帧率并不相同，比如摄像头每秒内可采集25帧图像、毫米波雷达每秒内可采集20帧图像，因此目前需要一种对齐摄像头采集图像与毫米波雷达采集图像的技术，如此通过获取目标物体于同一时刻下既在摄像头中且在毫米波雷达中的数据，将可以实现对目标物体的准确定位与跟踪。

发明内容

本申请提供一种物体位置的融合方法及装置，用以将目标物体分别在摄像头和毫米波雷达中同一时刻的数据进行对齐，如此可以准确地对目标物体进行定位与跟踪。

第一方面，本申请实施例提供一种物体位置的融合方法，该方法包括：针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧；任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同；针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息；所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的；根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

上述方案中，对于以相同安装方式安装于同一位置的图像采集设备和雷达设备而言，由于雷达设备是能够捕捉到物体的运动相关的信息的，如当前位置、速度、加速度以及运动朝向，因此在图像采集设备与雷达设备帧率不同的条件下，通过对雷达设备采集的雷达帧中的目标物体在未来一定时间内可以运动到的位置进行预测，其中该一定的时间为目标物体由雷达设备与图像采集设备分别进行采集的时间差，那么将可以对雷达帧预测的位置与图像采集设备对目标物体于相同时刻采集的位置进行融合，从而实现了对目标物体于同一时刻下既在图像采集设备中且在雷达设备中的数据进行对齐的效果。

在一种可能实现的方法中，所述确定出与所述图像帧匹配的至少一个雷达帧，包括：将采集时刻距离所述第i时刻最近的雷达帧，确定为与所述图像帧匹配的雷达帧；所述针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：针对所述雷达帧中的至少一个目标物体，根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息。

上述方案中，通过将采集时刻距离第i时刻最近的雷达帧作为与图像帧匹配的雷达帧，由于时间越靠近第i时刻，那么目标物体在雷达帧中表现出来的运动信息也将更准确，从而基于采集时刻距离i时刻最近的雷达帧而预测目标物体在第i时刻的预测位置信息，所得到预测位置信息也将更为准确，这对后续目标物体位置在融合时得到的融合结果也将更精准。

在一种可能实现的方法中，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：在每个采集周期下，根据相同的编号规则，分别对所述图像采集设备启动后依次采集的各图像帧按照从小到大的顺序依次编号以及对所述雷达设备启动后依次采集的各雷达帧按照从小到大的顺序依次编号；针对任一图像帧，将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧。

上述方案中，为了可以较快的从雷达帧中匹配出与图像帧相匹配的至少一个雷达帧，可通过设置雷达设备与图像采集设备同时启动，并且在每一个采集周期下，按照相同的编号规则，分别对图像采集设备启动后依次采集的各图像帧按照从小到大的顺序进行编号以及对雷达设备启动后依次采集的各雷达帧按照从小到大的顺序进行编号，从而的话，在图像采集设备的图像帧采集频率大于雷达设备的雷达帧采集频率的条件下，即同一个采集周期中，采集到的图像帧的数目将大于雷达帧的数目，因此对于任一图像帧，可将编号不大于该图像帧编号的雷达帧作为于该图像帧匹配的至少一个雷达帧，并基于此，而进行后续的位置融合的处理。

在一种可能实现的方法中，所述将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧，包括：针对所述至少一个雷达帧，将编号最大且编号不超过所述图像帧编号的雷达帧作为与所述图像帧匹配的雷达帧。

上述方案中，通过对图像帧与雷达帧按照相同的规则进行编号，并且将编号最大且编号不超过图像帧编号的雷达帧作为与图像帧匹配的雷达帧，由于所确定出来的雷达帧所具有的位置的时刻是距离第i时刻最近的时刻，因此据该雷达帧进行计算时，有助于提升预测位置信息计算的准确度，进而保证后续位置融合时具有较高的准确性。

在一种可能实现的方法中，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：在每个采集周期中，将接收到的雷达帧按照采集顺序依序缓存；按照采集顺序接收各图像帧，针对任一图像帧，从缓存中获取最新存储的雷达帧作为与所述图像帧匹配的雷达帧。

上述方案中，为了可以较快的从雷达帧中匹配出与图像帧相匹配的至少一个雷达帧，可通过设置雷达设备与图像采集设备同时启动，并且在每一个采集周期下，按照相同的存放规则，分别对采集到的图像帧与雷达帧进行存储，从而在图像采集设备的图像帧采集频率大于雷达设备的雷达帧采集频率的条件下，即同一采集周期中，采集到的图像帧的数目将大于雷达帧的数目，因此对于任一图像帧，则可以以该图像帧的采集时刻为基准，从缓存中取出距离该采集时刻最近的一帧雷达帧，并作为与该图像帧相匹配的雷达帧。

在一种可能实现的方法中，所述运动信息包括目标物体的地理位置、速度、加速度和运动朝向；所述根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：将所述雷达帧对应的采集时刻和所述第i时刻间的时间差作为时间间隔；根据所述目标物体的速度、加速度和所述时间间隔，确定所述目标物体在所述时间间隔内的行驶距离；根据所述目标物体的地理位置、运动朝向和所述行驶距离，预测所述目标物体在所述第i时刻的预测位置信息。

上述方案中，由于通过雷达设备对目标物体的采集，可以获取到目标物体运动相关的信息，如可以获取到目标物体的位置信息、速度信息、加速度信息和运动朝向信息，相比之下，图像采集设备在对目标物体进行采集时，则更多的是获取到目标物体的外部状态的信息(如颜色信息、轮廓信息等)，也即图像采集设备在捕获目标物体运动相关的信息方面是有所欠缺的，因此本申请通过以目标物体在雷达帧中表现出来的运动相关的信息为计算起点，应用运动学相关的计算方式，那么将能够准确推算出目标物体在雷达帧角度下、于第i时刻的预测位置信息。

在一种可能实现的方法中，所述根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息，包括：针对所述至少一个目标物体中的任一个目标物体，将所述目标物体在所述图像帧中的物体位置信息和所述预测位置信息发送给位置融合线程；所述位置融合线程用于对所述物体位置信息和所述预测位置信息进行融合，从而得到所述目标物体在所述第i时刻的融合位置信息。

上述方案中，在得到相同时刻下既在雷达设备中的位置信息又在图像采集设备中的位置信息，那么通过将两种信息由位置融合线程进行处理，从而得到目标物体在该时刻下的融合位置信息。

第二方面，本申请实施例提供一种确定物体位置的融合装置，该装置包括：雷达帧确定单元，用于针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧；任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同；预测位置信息确定单元，用于针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息；所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的；融合位置信息确定单元，用于根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

第三方面，本申请实施例提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如第一方面任一实现方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一实现方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种物体位置的融合方法的示意图；

图2为本申请实施例提供的一种图像采集设备的具体产品示意图；

图3为本申请实施例提供的一种雷达设备的具体产品示意图；

图4为本申请实施例提供的一种可能的系统架构的示意图；

图5为本申请实施例提供的一种摄像头与毫米波雷达帧率比较的示意图；

图6为本申请实施例提供的一种摄像头与毫米波雷达帧率比较的示意图；

图7为本申请实施例提供的一种图像帧与雷达帧匹配的过程的示意图；

图8为本申请实施例提供的一种图像帧与雷达帧匹配的过程的示意图；

图9为本申请实施例提供的一种确定物体位置的融合装置的示意图；

图10为本申请实施例提供的一种计算设备的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

利用摄像头与毫米波雷达对道路情况进行监控，从而进行路面管理，具有非常重要的现实意义。但由于目前的摄像头与毫米波雷达在工作时的帧率并不相同，导致二者在结合使用时的效果并不很理想，因此当前亟需一种对摄像头采集的图像帧与毫米波雷达采集的雷达帧进行时间对齐的技术。

针对上述技术问题，本申请实施例提供一种物体位置的融合方法。如图1所示，为本申请实施例提供的一种物体位置的融合方法的示意图，该方法包括以下步骤：

步骤101，针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧。

其中，任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同。

在本步骤中，如图2所示，为本申请实施例提供的一种图像采集设备的具体产品示意图，可选的，图像采集设备为摄像头；可选的，摄像头为单目镜头、双目镜头、鱼眼镜头等各种类型镜头中的一种。

如图3所示，为本申请实施例提供的一种雷达设备的具体产品示意图，可选的，雷达设备为毫米波雷达、激光雷达等各种类型雷达中的一种。

如图4所示，为本申请实施例提供的一种可能的系统架构的示意图，其中包括图像采集设备401、雷达设备402、处理设备403。其中，图像采集设备401的具体产品包括但不限于图2所示的各产品，雷达设备402的具体产品包括但不限于图3所示的各产品。如在对城市道路的路口进行监控的场景下，可选择一个视角较佳的位置、以同样的安装角度、同时安装图像采集设备401与雷达设备402，从而通过图像采集设备401与雷达设备402分别对路口的数据进行采集。可选的，本申请中令图像采集设备采集到的一帧帧数据记作图像帧，令雷达设备采集到的一帧帧数据记作雷达帧。对于图像采集设备401采集的各图像帧，可由图像采集设备401通过网络传输给处理设备403，对于雷达设备采集的各雷达帧，可由雷达设备402通过网络传输给处理设备403。其中，本申请中由于图像采集设备401与雷达设备402各自的帧率并不相同，具体而言，本申请中图像采集设备401的图像帧采集频率与雷达设备402的雷达帧采集频率并不相同，由于图像帧采集频率与雷达帧采集频率不同，因此需要处理设备403对目标物体在图像帧与雷达帧中的时间进行对齐，如此才能更好的基于同一时刻下、目标物体在图像帧中的信息与在雷达帧中的信息而对目标物体进行追踪与定位。

步骤102，针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息。

其中，所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的。

在本步骤中，由于雷达设备在对物体进行信息的采集时，能够获取到物体运动相关的信息，如能够获取到物体的位置信息、速度信息、加速度信息和运动朝向的信息，因此本申请中利用物体在雷达帧中表现出来的运动信息，然后对物体在未来一定时长的运动位置进行预测，该一定时长为该雷达帧被采集的时刻到第i时刻的时间差值。

步骤103，根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

在本步骤中，通过对同一时刻下目标物体既在图像帧中的位置信息(即物体位置信息)与在雷达帧中的位置信息(即预测位置信息)进行融合，从而融合得到的目标物体在第i时刻下的融合位置信息可以更为精准的体现目标物体实际状态下在第i时刻的真实的位置信息。

上述方案中，对于以相同安装方式安装于同一位置的图像采集设备和雷达设备而言，由于雷达设备是能够捕捉到物体的运动相关的信息的，如当前位置、速度、加速度以及运动朝向，因此在图像采集设备与雷达设备帧率不同的条件下，通过对雷达设备采集的雷达帧中的目标物体在未来一定时间内可以运动到的位置进行预测，其中该一定的时间为目标物体由雷达设备与图像采集设备分别进行采集的时间差，那么将可以对雷达帧预测的位置与图像采集设备对目标物体于相同时刻采集的位置进行融合，从而实现了对目标物体于同一时刻下既在图像采集设备中且在雷达设备中的数据进行对齐的效果。

以下将结合示例分别对上述一些步骤进行详细说明。

在上述步骤101的一个实施中，所述确定出与所述图像帧匹配的至少一个雷达帧，包括：将采集时刻距离所述第i时刻最近的雷达帧，确定为与所述图像帧匹配的雷达帧；所述针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：针对所述雷达帧中的至少一个目标物体，根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息。

说明的是，作为一种示例，本申请中以图像采集设备为摄像头、雷达设备为毫米波雷达为例，进行方案的说明。

如下表1所示，为本申请实施例提供的一种摄像头与毫米波雷达性能对比的表格。基于表1，虽然摄像头和毫米波雷达都能够单独识别道路上的目标物体，但是它们有各自的感知性能劣势，如果能够综合它们的感知性能优势，则可以扬长避短，获得比任一单一设备更准确的道路目标信息，通过融合摄像头和毫米波雷达的目标物体的数据，可以达到上述目的。

表1

进一步的，摄像头的图像帧采集频率与毫米波雷达的雷达帧采集频率并不相同，如摄像头每一秒内可以采集25帧图像帧，也即摄像头每隔40毫秒采集并输出1帧图像帧，毫米波雷达每一秒内可以采集20帧图像，也即毫米波雷达每隔50毫秒采集并输出1帧雷达帧。

如图5所示，为本申请实施例提供的一种摄像头与毫米波雷达帧率比较的示意图。其中，该示意图是基于上述例子中摄像头一秒内采集25帧图像帧、毫米波雷达一秒内采集20帧雷达帧而制作的。制作的时长为1秒钟。从而图6中摄像头在1秒钟内采集了25帧图像帧，也即摄像头每40毫秒就采集一帧图像帧，毫米波雷达在该同1秒钟内采集了20帧雷达帧，也即毫米波雷达每50毫秒就采集一帧雷达帧。

基于图5可知，在控制摄像头与毫米波雷达同时开始工作后，每隔200毫秒二者就会对齐一次时间，因此同1秒内，摄像头与毫米波雷达对齐时间的次数共计有5次，分别在启动计时后的第200毫秒、第400毫秒、第600毫秒、第800毫秒和第1000毫秒进行时间对齐。作为一次时间对齐的简单示意，如图6所示，为本申请实施例提供的一种摄像头与毫米波雷达帧率比较的示意图。

其中，该示意图是基于上述例子中摄像头一秒内采集25帧图像帧、毫米波雷达一秒内采集20帧雷达帧而制作的。制作的时长为200毫秒。其中，通过设计摄像头与毫米波雷达于同一时刻开始启动，即摄像头于毫米波雷达的拥有的相同的计时起点，如图6中的0毫秒；接下来，对于摄像头而言，其可以于启动后的第40毫秒、第80毫秒、第120毫秒、第160毫秒、第200毫秒分别采集一帧图像帧；对于毫米波雷达而言，其可以于启动后的第50毫秒、第100毫秒、第150毫秒、第200毫秒分别采集一帧雷达帧，也即摄像头与毫米波雷达会在同时启动后的第200毫秒时进行一次时间对齐。

根据表1所示的数据，通过毫米波雷达得到的雷达帧，可以得到物体运动相关的信息，如物体在被毫米波雷达采集时的位置信息、速度信息、加速度信息和运动朝向的信息(即物体向什么方位进行运动)，因此本申请中通过预测物体在未来一定时长内可以运动到的位置，即获得物体的预测位置信息，那么通过结合物体当前在图像帧中表现出来的位置信息，那么就可以融合得到相对更为准确地融合位置信息。具体的：

参见图5，以摄像头在第120毫秒进行拍摄得到的图像帧作为基准，那么本申请中可以从毫米波雷达设备拍摄得到的各雷达帧中的确定出于该第120毫秒的图像帧相匹配的至少一个雷达帧，例如，所匹配出来的雷达帧包括有第0毫秒采集得到的雷达帧、第50毫秒采集得到的雷达帧和第100毫秒采集得到的雷达帧。进一步的，本申请中为了可以提升位置计算的准确性，可以从雷达帧中选择出采集时间在第120毫秒之前、且离该第120毫秒的图像帧最近的一帧雷达帧作为与该第120毫秒的图像帧匹配的一帧雷达帧，因此本申请中将选择第100毫秒采集得到的雷达帧作为与该第120毫秒的图像帧相匹配的一帧雷达帧，从而本申请中可以基于目标物体在该第100毫秒的雷达帧中的运动信息而预测该目标物体在第120毫秒时的预测位置信息，最终通过对该目标物体在第120毫秒时的图像帧中表现出的物体位置信息与在第120毫秒时的预测位置信息进行融合，将可以得到该目标物体的融合位置信息。

在上述步骤101的一个实施中，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：在每个采集周期下，根据相同的编号规则，分别对所述图像采集设备启动后依次采集的各图像帧按照从小到大的顺序依次编号以及对所述雷达设备启动后依次采集的各雷达帧按照从小到大的顺序依次编号；针对任一图像帧，将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧。

例如，接着前述的例子，通过在同一位置、以相同的安装方位对摄像头与毫米波雷达分别进行安装，然后控制所安装的摄像头与毫米波雷达同时启动，并且设置摄像头以每一秒采集25帧图像帧、毫米波雷达以每一秒采集20帧雷达帧进行工作。那么可以将摄像头开始工作(即第0毫秒)采集的图像帧标记为图像帧1，摄像头开始工作后的第40毫秒采集的图像帧标记为图像帧2，第80毫秒采集到的图像帧标记为图像帧3，第120毫秒采集到的图像帧标记为图像帧4、第160毫秒采集到的图像帧标记为图像帧5，第200毫秒采集到的图像帧标记为图像帧6；同理，可以将毫米波雷达开始工作(即第0毫秒)采集的雷达帧标记为雷达帧1，毫米波雷达开始工作后的第50毫秒采集到的雷达帧标记为雷达帧2，第100毫秒采集到的雷达帧标记为雷达帧3，第150毫秒采集到的雷达帧标记为雷达帧4，将第200毫秒采集到的雷达帧标记为雷达帧5。在摄像头每隔40毫秒采集并输出1帧图像帧以及毫米波雷达每隔50毫秒采集并输出1帧雷达帧的场景下，基于图6所示，由于每200毫秒，摄像头与毫米波雷达会时间重合，因此，在本申请中，将以200毫秒作为一个采集周期，在该采集周期中，本申请将对为两个不同采集时刻的图像帧确定匹配的雷达帧的过程进行说明：

(1)以第160毫秒采集到的图像帧5为例，本申请中可以将编号不大于5的各雷达帧作为与图像帧5相匹配的一个雷达帧，如本申请中可以将雷达帧1、雷达帧2、雷达帧3和雷达帧4作为与图像帧5相匹配的一个雷达帧；如图7所示，为本申请实施例提供的一种图像帧与雷达帧匹配的过程的示意图，其中，通过在图像帧5与雷达帧1、雷达帧2、雷达帧3、雷达帧4之间分别建立双向箭头，则表示图像雷达帧1、雷达帧2、雷达帧3、雷达帧4均为与图像帧5相匹配的一个雷达帧。

(2)以第200毫秒采集到的图像帧6为例，本申请中可以将编号不大于6的各雷达帧作为与图像帧6相匹配的一个雷达帧，如本申请中可以将雷达帧1、雷达帧2、雷达帧3、雷达帧4和雷达帧5作为与图像帧6相匹配的一个雷达帧。如图8所示，为本申请实施例提供的一种图像帧与雷达帧匹配的过程的示意图，其中，通过在图像帧6与雷达帧1、雷达帧2、雷达帧3、雷达帧4、雷达帧5之间分别建立双向箭头，则表示图像雷达帧1、雷达帧2、雷达帧3、雷达帧4、雷达帧5均为与图像帧5相匹配的一个雷达帧。

在本申请的某些实施中，所述将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧，包括：针对所述至少一个雷达帧，将编号最大且编号不超过所述图像帧编号的雷达帧作为与所述图像帧匹配的雷达帧。

接着上述例子，在以第160毫秒采集到的图像帧5为例时，本申请中可以将雷达帧1、雷达帧2、雷达帧3和雷达帧4作为与图像帧5相匹配的一个雷达帧；可选的，为了可以提升计算的准确度，本申请中只将雷达帧4作为与图像帧5相匹配的一个雷达帧。如图7所示，本申请中通过将图像帧5与雷达帧4之间的双向箭头所在的直线进行加粗，该加粗处理用于表示雷达帧4是后续基于图像帧5进行物体位置融合时的最佳雷达帧。

同理，在以第200毫秒采集到的图像帧6为例时，本申请中可以将雷达帧1、雷达帧2、雷达帧3、雷达帧4和雷达帧5作为与图像帧6相匹配的一个雷达帧；可选的，为了可以提升计算的准确度，本申请中只将雷达帧5作为与图像帧6相匹配的一个雷达帧。如图8所示，本申请中通过将图像帧6与雷达帧5之间的双向箭头所在的直线进行加粗，该加粗处理用于表示雷达帧5是后续基于图像帧6进行物体位置融合时的最佳雷达帧。

在上述步骤101的一个实施中，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：在每个采集周期中，将接收到的雷达帧按照采集顺序依序缓存；按照采集顺序接收各图像帧，针对任一图像帧，从缓存中获取最新存储的雷达帧作为与所述图像帧匹配的雷达帧。

例如，接着前述的例子，通过在同一位置、以相同的安装方位对摄像头与毫米波雷达分别进行安装，然后控制所安装的摄像头与毫米波雷达同时启动，并且设置摄像头以每一秒采集25帧图像帧、毫米波雷达以每一秒采集20帧雷达帧进行工作。那么设摄像头与毫米波雷达同时启动时各自获取到首帧图像帧与首帧雷达帧的时间点记作第0毫秒的图像帧与第0毫秒的雷达帧，并对该第0毫秒的图像帧与该第0毫秒的雷达帧进行缓存。

当摄像头于第40毫秒采集到第二帧图像帧时，并对该第40毫秒的图像帧进行缓存，由于毫米波雷达需要在第50毫秒的时候才可以采集到第二帧雷达帧，因此此时(指第40毫秒的时候)由于没有达到毫米波雷达采集第二帧雷达帧的时间节点，但是此时由于已经缓存有第0毫秒的雷达帧，因此可以从缓存中取出该第0毫秒的雷达帧(该第0毫秒的雷达帧即为最新存储的雷达帧)，并将其作为与第40毫秒的图像帧相匹配的雷达帧。

同理，当摄像头于第80毫秒采集到第二帧图像帧时，并对该第80毫秒的图像帧进行缓存，由于在第50毫秒的时候已经采集到第二帧雷达帧，因此此时(指第80毫秒的时候)已经达到毫米波雷达采集第二帧雷达帧的时间节点，因此可以从缓存中取出该第50毫秒的雷达帧(该第50毫秒的雷达帧即为最新存储的雷达帧)，并将其作为与第80毫秒的图像帧相匹配的雷达帧。

说明的是，本申请不再一一举例说明其他图像帧的情况。

在本申请的某些实施中，所述运动信息包括目标物体的地理位置、速度、加速度和运动朝向；所述根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：将所述雷达帧对应的采集时刻和所述第i时刻间的时间差值作为时间间隔；根据所述目标物体的速度、加速度和所述时间间隔，确定所述目标物体在所述时间间隔内的行驶距离；根据所述目标物体的地理位置、运动朝向和所述行驶距离，预测所述目标物体在所述第i时刻的预测位置信息。

接着上述例子，当将第50毫秒的雷达帧作为与第80毫秒的图像帧相匹配的雷达帧时，那么本申请中可获取目标物体在第50毫秒的雷达帧中表现出来的运动信息，包括目标物体的位置信息、速度信息、加速度信息和运动朝向的信息，从而基于目标物体的位置信息、速度信息和加速度信息而对目标物体在未来30毫秒(将80毫秒与50毫秒作差，从而得到时间差值30毫秒)内能够运行到的距离进行计算，当在计算出目标物体在未来30毫秒内的运动距离后，将可以基于目标物体当前的位置和运动朝向，而计算出目标物体在未来第30毫秒时，也即第80毫秒时的位置信息，该第80毫秒时的位置信息即为预测位置信息。

在本申请的某些实施中，所述根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息，包括：针对所述至少一个目标物体中的任一个目标物体，将所述目标物体在所述图像帧中的物体位置信息和所述预测位置信息发送给位置融合线程；所述位置融合线程用于对所述物体位置信息和所述预测位置信息进行融合，从而得到所述目标物体在所述第i时刻的融合位置信息。

例如，接着前述的例子，当预测得到目标物体在第80毫秒时的预测位置信息后，将可以结合目标物体于第80毫秒的图像帧中表现出来的位置信息(即物体位置信息)，通过将两种位置信息由位置融合线程进行处理，从而得到目标物体在第80毫秒下的融合位置信息。

基于同样的构思，本申请实施例提供一种确定物体位置的融合装置，如图9所示，为本申请实施例提供的一种确定物体位置的融合装置的示意图，该装置包括雷达帧确定单元901、预测位置信息确定单元902和融合位置信息确定单元903；

雷达帧确定单元901，用于针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧；任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同。

预测位置信息确定单元902，用于针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息；所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的。

融合位置信息确定单元903，用于根据至少一个目标物体的预测位置信息和所述图像帧，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

进一步的，对于该装置，雷达帧确定单元901，具体用于：将采集时刻距离所述第i时刻最近的雷达帧，确定为与所述图像帧匹配的雷达帧；预测位置信息确定单元902，具体用于：针对所述雷达帧中的至少一个目标物体，根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息。

进一步的，对于该装置，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；雷达帧确定单元901，具体用于：在每个采集周期下，根据相同的编号规则，分别对所述图像采集设备启动后依次采集的各图像帧按照从小到大的顺序依次编号以及对所述雷达设备启动后依次采集的各雷达帧按照从小到大的顺序依次编号；针对任一图像帧，将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧。

进一步的，对于该装置，雷达帧确定单元901，具体用于：针对所述至少一个雷达帧，将编号最大且编号不超过所述图像帧编号的雷达帧作为与所述图像帧匹配的雷达帧。

进一步的，对于该装置，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；雷达帧确定单元901，具体用于：在每个采集周期中，将接收到的雷达帧按照采集顺序依序缓存；按照采集顺序接收各图像帧，针对任一图像帧，从缓存中获取最新存储的雷达帧作为与所述图像帧匹配的雷达帧。

进一步的，对于该装置，所述运动信息包括目标物体的地理位置、速度、加速度和运动朝向；预测位置信息确定单元902，具体用于：根据所述雷达帧对应的采集时刻和所述第i时刻间的时间差值作为时间间隔；根据所述目标物体的速度、加速度和所述时间间隔，确定所述目标物体在所述时间间隔内的行驶距离；根据所述目标物体的地理位置、运动朝向和所述行驶距离，预测所述目标物体在所述第i时刻的预测位置信息。

进一步的，对于该装置，融合位置信息确定单元903，具体用于：针对所述至少一个目标物体中的任一个目标物体，将所述目标物体在所述图像帧中的物体位置信息和所述预测位置信息发送给位置融合线程；所述位置融合线程用于对所述物体位置信息和所述预测位置信息进行融合，从而得到所述目标物体在所述第i时刻的融合位置信息。

本申请实施例还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器，可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储物体位置的融合方法的程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行物体位置的融合方法。

如图10所示，为本申请实施例提供的一种计算设备的示意图，该计算设备包括：

处理器1001、存储器1002、收发器1003、总线接口1004；其中，处理器1001、存储器1002与收发器1003之间通过总线1005连接；

所述处理器1001，用于读取所述存储器1002中的程序，执行上述物体位置的融合方法；

处理器1001可以是中央处理器(central processing unit，简称CPU)，网络处理器(network processor，简称NP)或者CPU和NP的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。

所述存储器1002，用于存储一个或多个可执行程序，可以存储所述处理器1001在执行操作时所使用的数据。

具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器1002可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称RAM)；存储器1002也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)；存储器1002还可以包括上述种类的存储器的组合。

存储器1002存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

总线1005可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

总线接口1004可以为有线通信接入口，无线总线接口或其组合，其中，有线总线接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线总线接口可以为WLAN接口。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行物体位置的融合方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种物体位置的融合方法，其特征在于，包括：

针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧；任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同；

针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息；所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的；

根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

2.如权利要求1所述的方法，其特征在于，

所述确定出与所述图像帧匹配的至少一个雷达帧，包括：

将采集时刻距离所述第i时刻最近的雷达帧，确定为与所述图像帧匹配的雷达帧；

所述针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：

针对所述雷达帧中的至少一个目标物体，根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息。

3.如权利要求1所述的方法，其特征在于，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；

所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：

在每个采集周期下，根据相同的编号规则，分别对所述图像采集设备启动后依次采集的各图像帧按照从小到大的顺序依次编号以及对所述雷达设备启动后依次采集的各雷达帧按照从小到大的顺序依次编号；

针对任一图像帧，将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧。

4.如权利要求3所述的方法，其特征在于，

所述将编号不大于所述图像帧的编号的雷达帧作为与所述图像帧匹配的至少一个雷达帧，包括：

针对所述至少一个雷达帧，将编号最大且编号不超过所述图像帧编号的雷达帧作为与所述图像帧匹配的雷达帧。

5.如权利要求1所述的方法，其特征在于，所述图像采集设备的图像帧采集频率大于所述雷达设备的雷达帧采集频率；设置所述图像采集设备与所述雷达设备于同一时刻启动；

所述针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧，包括：

在每个采集周期中，将接收到的雷达帧按照采集顺序依序缓存；

按照采集顺序接收各图像帧，针对任一图像帧，从缓存中获取最新存储的雷达帧作为与所述图像帧匹配的雷达帧。

6.如权利要求2所述的方法，其特征在于，所述运动信息包括目标物体的地理位置、速度、加速度和运动朝向；

所述根据所述目标物体在所述雷达帧中的运动信息和所述时间间隔，预测所述目标物体在所述第i时刻的预测位置信息，包括：

将所述雷达帧对应的采集时刻和所述第i时刻间的时间差值作为时间间隔；

根据所述目标物体的速度、加速度和所述时间间隔，确定所述目标物体在所述时间间隔内的行驶距离；

根据所述目标物体的地理位置、运动朝向和所述行驶距离，预测所述目标物体在所述第i时刻的预测位置信息。

7.如权利要求2所述的方法，其特征在于，

所述根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息，包括：

针对所述至少一个目标物体中的任一个目标物体，将所述目标物体在所述图像帧中的物体位置信息和所述预测位置信息发送给位置融合线程；所述位置融合线程用于对所述物体位置信息和所述预测位置信息进行融合，从而得到所述目标物体在所述第i时刻的融合位置信息。

8.一种物体位置的融合装置，其特征在于，包括：

雷达帧确定单元，用于针对图像采集设备在第i时刻采集的图像帧，确定出与所述图像帧匹配的至少一个雷达帧；任一雷达帧是通过雷达设备采集且采集时刻不晚于所述第i时刻，所述图像采集设备与所述雷达设备以相同的安装方位安装于同一位置，所述图像采集设备的图像帧采集频率与所述雷达设备的雷达帧采集频率不同；

预测位置信息确定单元，用于针对所述至少一个雷达帧中至少一个目标物体，基于所述目标物体在所述至少一个雷达帧中的运动信息和时间间隔，预测所述目标物体在所述第i时刻的预测位置信息；所述时间间隔是根据所述第i时刻与所述至少一个雷达帧的采集时刻确定的；

融合位置信息确定单元，用于根据至少一个目标物体的预测位置信息和所述目标物体在所述图像帧中的物体位置信息，确定所述至少一个目标物体在所述第i时刻的融合位置信息。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。

Images