CN115829890A - 一种图像融合方法、装置、设备、存储介质及产品 - Google Patents

Abstract

本申请提供了一种图像融合方法、装置、设备、存储介质及产品，一种图像融合方法包括：获取第一待融合图像和第二待融合图像，其中，第一待融合图像和第二待融合图像中包括目标对象或目标对象的一部分，拍摄第一待融合图像的图像采集设备和拍摄第二待融合图像的图像采集设备不同；根据第一待融合图像和第二待融合图像进行融合，得到融合图像；利用融合图像实现目标对象的识别。实施本申请，能够减弱或消除图像中的目标对象上存在的噪声，噪声例如反光区域、树木倒影、遮挡物等，提高目标对象的识别率。

Description

一种图像融合方法、装置、设备、存储介质及产品

技术领域

本申请涉及交通领域，尤其涉及一种图像融合方法、装置、设备、存储介质及产品。

背景技术

目前交通道路部署了大量的例如监控摄像头的图像采集设备，由于太阳反射或树木倒影遮挡，有些区域的图像采集设备采集到的图像存在过曝或反光或倒影遮挡的现象，导致车辆的车窗部分存在树木倒影，导致难以对图像进行人脸识别、车牌号识别等。

发明内容

本申请公开了一种图像融合方法、装置、设备、存储介质及产品，所述图像融合方法能够减弱或消除图像中存在的噪声，噪声例如反光区域、树木倒影、遮挡物等，从而提高图像中目标对象的识别率。

第一方面，本申请提供了一种图像融合方法，包括：获取第一待融合图像和第二待融合图像，其中，所述第一待融合图像和所述第二待融合图像中包括目标对象或所述目标对象的一部分，拍摄所述第一待融合图像的图像采集设备和拍摄所述第二待融合图像的图像采集设备不同；根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像；利用所述融合图像实现所述目标对象的识别。

可以看到，第一待融合图像和第二待融合图像是由不同的图像采集设备拍摄得到的，不同的图像采集设备的拍摄角度不同，因此，第一待融合图像和第二待融合图像为从不同拍摄角度获得的图像，将不同拍摄角度的图像进行融合，融合后的图像的清晰度比第一待融合图像和第二待融合图像中的任一个图像的清晰度高，且融合后的图像能够减弱或消除图像中的目标对象部分存在的树木倒影、反光、遮挡物等，避免了因图像中的目标对象部分存在树木倒影、反光、遮挡物等导致不能识别到目标对象或识别率低的弊端，融合后的图像能够用于对目标对象进行识别，有助于提高目标对象的识别率。

基于第一方面，在可能的实现方式中，在所述利用所述融合图像实现所述目标对象的识别之后，所述方法还包括：根据识别的结果进行交通场景下的行为检测。

基于第一方面，在可能的实现方式中，所述根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像，包括：将所述第二待融合图像映射至所述第一待融合图像对应的拍摄角度下的映射图像；根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像。

可以理解，将第二待融合图像映射至第一待融合图像的拍摄角度下，获得映射图像，以使映射图像和第一待融合图像均在一个拍摄角度下，便于后面将映射图像与第一待融合图像进行融合。

基于第一方面，在可能的实现方式中，所述根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像，包括：确定所述映射图像和所述第一待融合图像的共同区域，所述共同区域指示所述映射图像和所述第一待融合图像包含相同目标的区域；根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像。

可以看到，确定映射图像和第一待融合图像的共同区域，其中，共同区域中一定包括目标对象或目标对象的一部分，将映射图像的共同区域与第一待融合图像的共同区域进行融合，获得的融合图像比映射图像的共同区域或第一待融合图像的共同区域更加清晰，融合后的图像能够消除或减弱共同区域中存在的噪声，共同区域中存在的噪声比如共同区域中存在反光、树木倒影、遮挡物等。且，将映射图像的共同区域和第一待融合图像的共同区域进行融合，相比于，将映射图像和第一待融合图像进行融合，减少了计算量，提高了计算效率。

基于第一方面，在可能的实现方式中，所述第一待融合图像的分辨率高于所述映射图像的分辨率，所述根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像，包括：对所述映射图像的共同区域进行超分辨率重建；根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像。

可以看到，通过对映射图像的共同区域进行超分辨率重建，使得重建后的映射图像的共同区域的清晰度增加，且重建后的映射图像的共同区域中包括更多的细节信息，有助于提高对目标对象的识别率。

基于第一方面，在可能的实现方式中，在所述对所述映射图像的共同区域进行超分辨率重建之后，所述方法还包括：确定第一感兴趣区域，所述第一感兴趣区域为所述第一待融合图像的共同区域中的一部分；根据所述第一感兴趣区域在所述第一待融合图像的共同区域中的位置，确定对应的第二感兴趣区域；所述第二感兴趣区域为所述重建后的映射图像的共同区域中的一部分；所述根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像，包括：将所述第二感兴趣区域与所述第一感兴趣区域进行融合，获得所述融合图像。

可以理解，考虑到图像尺寸过小难以对图像进行处理，比如，图像尺寸过小，难以将图像映射至另一个拍摄角度下或难以进行超分辨率重建等，或者，图像尺寸过小导致处理结果不准确，因此前面步骤是对包含目标对象或目标对象的一部分的图像进行处理，其中，目标对象选取的范围较大，实际应用时，可能目标区域(感兴趣区域)较小，因此可以进一步确定感兴趣区域，即，确定第一待融合图像的共同区域中的感兴趣区域和重建后的映射图像的共同区域中的感兴趣区域，将多个感兴趣区域进行融合。相比于对多个共同区域进行融合，将多个感兴趣区域进行融合，减少计算量，节省计算时间。

基于第一方面，在可能的实现方式中，所述第一待融合图像中的所述目标对象上的部分区域和/或所述第二待融合图像中的所述目标对象上的部分区域存在遮挡物、反光区域、树木倒影中的一种或多种。

可以理解，在某种场景下，某个拍摄角度或某几个拍摄角度下采集的图像中的目标对象上可能存在树木倒影、反光区域、遮挡物等中的一种或多种。实施本申请，能够消除或减弱目标对象上存在的树木倒影、反光区域、遮挡物等，有助于提高目标对象的识别率。

第二方面，本申请提供了一种图像融合装置，包括：获取单元，用于获取第一待融合图像和第二待融合图像，其中，所述第一待融合图像和所述第二待融合图像中包括目标对象或所述目标对象的一部分，拍摄所述第一待融合图像的图像采集设备和拍摄所述第二待融合图像的图像采集设备不同；融合单元，用于根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像；识别单元，用于利用所述融合图像实现所述目标对象的识别。

基于第二方面，在可能的实现方式中，所述识别单元用于，根据识别的结果进行交通场景下的行为检测。

基于第二方面，在可能的实现方式中，所述融合单元用于：将所述第二待融合图像映射至所述第一待融合图像对应的拍摄角度下的映射图像；根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像。

基于第二方面，在可能的实现方式中，所述融合单元用于：确定所述映射图像和所述第一待融合图像的共同区域，所述共同区域指示所述映射图像和所述第一待融合图像包含相同目标的区域；根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像。

基于第二方面，在可能的实现方式中，所述第一待融合图像的分辨率高于所述映射图像的分辨率，所述融合单元用于：对所述映射图像的共同区域进行超分辨率重建；根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像。

基于第二方面，在可能的实现方式中，所述融合单元用于：确定第一感兴趣区域，所述第一感兴趣区域为所述第一待融合图像的共同区域中的一部分；根据所述第一感兴趣区域在所述第一待融合图像的共同区域中的位置，确定对应的第二感兴趣区域；所述第二感兴趣区域为所述重建后的映射图像的共同区域中的一部分；将所述第二感兴趣区域与所述第一感兴趣区域进行融合，获得所述融合图像。

基于第二方面，在可能的实现方式中，所述第一待融合图像中的所述目标对象上的部分区域和/或所述第二待融合图像中的所述目标对象上的部分区域存在遮挡物、反光区域、树木倒影中的一种或多种。

第二方面的各个功能单元用于实现上述第一方面或第一方面的任一可能的实现方式中所述的方法。

第三方面，本申请提供了一种图像融合设备，包括存储器和处理器，所述存储器用于存储指令，所述处理器用于调用所述存储器中存储的指令执行上述第一方面或第一方面的任一可能的实现方式中所述的方法。

第四方面，本申请提供了一种可读存储介质，包括程序指令，当所述程序指令在处理器上运行时，处理器执行上述第一方面或第一方面的任一可能的实现方式中所述的方法。

第五方面，本申请提供了一种计算机程序产品，包括程序代码，当所述程序代码在处理器上执行时，所述处理器执行上述第一方面或第一方面的任一可能的实现方式中所述的方法。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种系统架构示意图；

图2为本申请提供的一种场景示意图；

图3为本申请提供的一种图像采集设备的结构示意图；

图4为本申请提供的一种图像融合方法的流程示意图；

图5为本申请提供的一种图像融合装置示意图；

图6为本申请提供的一种图像融合设备示意图；

图7为本申请提供的又一种图像融合设备示意图；

图8为本申请提供的又一种图像融合设备示意图；

图9为本申请提供的又一种图像融合设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请提供了一种系统，参见图1，图1为本申请提供的一种系统架构示意图，该系统涉及多个图像采集设备110、网络设备120和服务器130。

多个图像采集设备110，用于从不同位置或不同拍摄角度对图像进行采集，多个图像采集设备110位于不同位置或不同拍摄角度上。图像采集设备110可以是摄像头、电子警察等。例如，在一种应用场景中，参见图2，图2为本申请提供的一种场景示意图，某路段上安装有2个摄像头，2个摄像头安装在不同位置上，每个摄像头以自身所在的拍摄角度对路段上经过的车辆进行图像采集。多个图像采集设备110还用于将采集的图像发送至服务器130。

本申请对多个图像采集设备110的具体架设位置和架设角度不作要求，只要多个图像采集设备110均能拍摄到所需拍摄的对象即可。

网络设备120用于图像采集设备110通过任何通信机制/通信标准的通信网络与服务器130之间传输数据。其中，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

服务器130用于接收多个图像采集设备110通过网络设备120发送过来的图像，服务器130可以是位于云环境中的计算设备，例如中心服务器，也可以是位于边缘环境中的计算设备，例如边缘服务器。其中，云环境指的是云服务提供商拥有的，用于提供计算、存储、通信资源的中心计算设备集群，该计算设备集群通常离采集设备较远，边缘环境指的是在地理位置上距离采集设备较近的，用于提供计算、存储、通信资源的边缘计算设备集群。本实施例中，服务器130用于对多个图像采集设备110拍摄的图像进行处理，以根据处理后的图像识别目标对象。

本申请还提供了一种系统，包括多个图像采集设备，其中，多个图像采集设备中的至少一个图像采集设备具有图像处理功能，能够对拍摄到的图像进行处理。可以指定具有图像处理功能的一个图像采集设备为主设备或者也可以随机设置一个具有图像处理功能的图像采集设备为主设备，其他图像采集设备为从设备，从设备将拍摄到的图像发送至主设备，由主设备对各个图像采集设备拍摄到的图像进行处理。参见图3，图3为本申请提供的一种图像采集设备200的结构示意图，基本结构包括：镜头211及传感器212(镜头及传感器整个装置210)、编码处理器220、IPC主控板230(IPC主控板230包括主控制器231、处理器232和其他装置)等部件，其中的主控制器231通过控制线控制编码处理器220，由编码处理器220将传感器212采集的图像以视频信号或视频帧信号的形式输入到IPC主控板230，IPC主控板230具有刺刀螺母连接器(bayonet nut connector，BNC)视频输出、网络通讯接口、音频输入、音频输出、告警输出、告警输入、串口通讯接口等功能，IPC主控板230的处理器232可以通过串口通讯接口与外部设备连接。本领域技术人员可以理解，图3中示出的图像采集设备200的结构并不构成限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。上述是以网络摄像机IP为例，可以理解，图像采集设备200还可以是其他类型的设备，本申请不做限定。

本申请提供了一种图像融合方法，所述方法应用于图像融合装置，其中图像融合装置可以是上述的服务器，也可以是上述具有图像处理功能的图像采集设备。

在介绍方法实施例之前，先介绍一下本申请涉及的场景及名词。

本申请实施例涉及多个图像采集设备，每个图像采集设备以自身的拍摄角度对目标对象进行拍摄，为了便于描述，下述方法实施例以两个图像采集设备为例进行描述，并将两个图像采集设备分别称为第一图像采集设备和第二图像采集设备，其中，第一待融合图像为第一图像采集设备采集的图像，第二待融合图像为第二图像采集设备采集的图像，其中第一待融合图像和第二待融合图像中包括目标对象或目标对象的一部分。目标对象，可以是某个车辆，也可以是某车辆内的人，比如司机，也可以是某个区域，比如某车辆内司机所在的区域或者车辆前窗区域，也可以是某个行人，还可以是某个车辆的车牌号，等等，在不同应用场景下，目标对象不同，可以根据具体应用场景或具体业务需求来确定目标对象，本申请对目标对象不做具体限定。

实际应用中，第一图像采集设备和第二图像采集设备分别采集了多个图像，图像融合装置分别从第一图像采集设备采集的多个图像中和第二图像采集设备采集的多个图像中筛选出包括目标对象或目标对象的一部分的图像，比如，图像融合装置需要确定车辆1是否有违规行为或违法行为，则图像融合装置将包括车辆1或车辆1的一部分的图像分别从第一图像采集设备采集的多个图像和第二图像采集设备采集的多个图像中筛选出来，筛选的方法可以是确定车辆1出现的时间间隔，将该时间间隔内采集的图像筛选出来，还可以是根据车辆1的特征筛选出包括车辆1或车辆1的一部分的图像，等等，本申请对筛选方法不做限定。

下述方法实施例中，第一待融合图像为第一图像采集设备采集的包括目标对象或目标对象的一部分的图像中的一个，第二待融合图像为第二图像采集设备采集的包括目标对象或目标对象的一部分的图像中的一个，需要说明的是，下文以第一待融合图像和第二待融合图像为例对图像融合方法进行描述，实际应用中，可能是将多个第一待融合图像与多个第二待融合图像进行融合处理。

下面结合图4介绍本申请提供的方法实施例，参见图4，图4为本申请提供的一种图像融合方法的流程示意图，该方法包括但不限于以下内容的描述。

S101、获取第一待融合图像和第二待融合图像，其中，第一待融合图像和第二待融合图像包括目标对象或目标对象的一部分，拍摄第一待融合图像的图像采集设备和拍摄第二待融合图像的图像采集设备不同。

S102、将第二待融合图像映射至第一待融合图像对应的拍摄角度下的映射图像。

提取第二待融合图像的特征，例如梯度方向直方图(histograms of orientedgradients，HOG)特征，通过搜索算法将第二待融合图像的特征与第一待融合图像的特征进行匹配，确定出第二待融合图像与第一待融合图像的多对匹配点，然后通过设置阈值的方式进一步从多对匹配点中确定一对比较精准的匹配点，利用这对比较精确的匹配点计算出将第二待融合图像映射到第一待融合图像拍摄角度下的单应矩阵，然后根据单应矩阵将第二待融合图像映射至第一待融合图像的拍摄角度下，获得映射图像。其中，特征提取算法可以采用尺度不变特征变换(scale invariant feature transform，SIFT)、HOG、线性反投影算法(linear back projection，LBP)或深度学习等方法，搜索算法可以采用快速最近邻搜索包(fast library for approximate nearest neighbors，FLANN)算法等，本申请对特征提取算法和搜索算法不做限定。

需要说明的是，第二图像采集设备采集了多个包括目标对象或目标对象的一部分的图像，实际应用中，是将第二图像采集设备采集的包括目标对象或目标对象的一部分的多个图像分别映射至第一待融合图像对应的拍摄角度下，即，确定出多个第二待融合图像中的每个图像映射到第一待融合图像的单应矩阵，然后利用对应的单应矩阵将每个图像映射至第一待融合图像对应的拍摄角度下，获得多个映射图像。

S103、确定映射图像和第一待融合图像的共同区域，共同区域指示映射图像和第一待融合图像包含相同目标的区域。

共同区域指示映射图像和第一待融合图像包含第一相同目标(为了便于与后文的“第二相同目标”区分，这里称为第一相同目标)的区域，其中，第一相同目标可以是目标对象或目标对象的一部分，例如，映射图像中包括车辆1内的司机所在区域，第一待融合图像中包括车辆1，则映射图像和第一待融合图像均包括车辆1内的司机所在区域；第一相同目标也可以是背景图像中的静态物体，静态物体比如树木、道路上的标线等(在交通场景中，静态物体有可能帮助判定事故中的责任方)，例如，映射图像中包括车辆1的一部分和道路上的标线，第一待融合图像中包括车辆1和道路上的标线，则映射图像和第一待融合图像均包括车辆1的一部分和道路上的标线；等等。

确定映射图像与第一待融合图像的共同区域的方法，可以是利用第二图像采集设备的架设位置信息、第一图像采集设备的架设位置信息、第一图像采集设备的成像系统中的参数和第二图像采集设备的成像系统中的参数，通过成像原理计算出映射图像与第一待融合图像的共同区域；也可以是通过图像检测算法或局部相似性算法或分割算法等，确定出映射图像与第一待融合图像的共同区域。本申请对确定映射图像与第一待融合图像的共同区域的方法不做具体限定。

需要说明的是，实际应用中，可以分别确定出每一个映射图像与第一待融合图像的共同区域。

S104、对映射图像的共同区域进行超分辨率重建，其中，第一待融合图像的分辨率高于映射图像的分辨率。

在第一待融合图像的分辨率高于映射图像的分辨率的情况下，由于映射图像是由第二待融合图像映射获得的，因此也就是，在第一待融合图像的分辨率高于第二待融合图像的分辨率的情况下，对映射图像的共同区域进行超分辨率重建，以使映射图像的共同区域的分辨率与第一待融合图像的分辨率相同。可选的，首先提取映射图像的共同区域，然后对映射图像的共同区域进行超分辨率重建。可以采用基于插值、稀疏表示或深度学习等算法进行超分辨率重建，本申请对超分辨率重建算法不做限定。

将低分辨率的映射图像的共同区域重建成高分辨率的映射图像的共同区域，能够起到消除部分噪声的作用，且高分辨率图像能够提供更精确、更细节的信息。

需要说明的是，实际应用中，可以将每个映射图像的共同区域进行超分辨率重建，使得重建后的每个映射图像的共同区域的分辨率与第一待融合图像的分辨率相同。

S105、根据重建后的映射图像的共同区域与第一待融合图像的共同区域进行融合，获得融合图像。

可选的，在进行融合之前，可以对重建后的映射图像的共同区域进行尺寸调整，使得重建后的映射图像的共同区域的尺寸与第一待融合图像的共同区域的尺寸相同。

将重建后的映射图像的共同区域与第一待融合图像的共同区域进行融合。可选的，提取重建后的映射图像的共同区域的特征和第一待融合图像的共同区域的特征，比如，可以通过傅里叶变换、小波变换、拉普拉斯变换等将重建后的映射图像的共同区域和第一待融合图像的共同区域变换到频率域或梯度域，然后提取重建后的映射图像的共同区域的边缘信息、纹理信息等，提取第一待融合图像的共同区域的边缘信息、纹理信息等，将重建后的映射图像的共同区域的边缘信息、纹理信息与第一待融合图像的共同区域的边缘信息、纹理信息进行融合。可选的，融合方法可以是，将重建后的映射图像的共同区域的特征与第一待融合图像的共同区域的特征通过加权进行融合，这种加权融合的方式适用于每个图像包含的信息量比较多，且每个图像包含的信息相似度较高的情况下；融合方法还可以是，将每个图像的能量和梯度进行融合，提高局部图像的细节和清晰度。本申请对融合方法不做限定。

图像融合可以减弱或消除噪声，噪声比如图像上存在树木倒影，存在反光区域，存在遮挡物等，通过融合实现特征的补充，使得融合后的图像更加清晰，融合后的图像中包含更多更准确的特征，包含更多的信息量，从融合图像中可以获得更多的信息。

可选的，若实际应用中，所需要处理的目标区域更小，则可以进一步分别从重建后的映射图像的共同区域以及第一待融合图像的共同区域中提取目标区域，即感兴趣区域，然后将从重建后的映射图像的共同区域中提取的感兴趣区域与从第一待融合图像的共同区域中提取的感兴趣区域进行融合，具体参见下文的描述。

先确定第一感兴趣区域，第一感兴趣区域为第一待融合图像的共同区域中的一部分。在不同应用场景中，感兴趣区域不同，感兴趣区域可以根据具体应用场景和具体业务需求来确定，例如，在交通场景中，通过图像识别车辆内的司机是否有违规行为或违法行为，感兴趣区域可以是司机所在的区域，具体的，感兴趣区域可以是车辆前窗的左半区域(以司机的朝向来区分左、右)，又例如，检测车辆的车牌号是否有遮挡，感兴趣区域可以是车牌所在的区域。确定感兴趣区域的方法可以采用交互式提取法，也可以采用自动图像提取法，交互式提取法允许用户自定义图像中的感兴趣区域，从而有针对性地处理用户感兴趣区域，达到服务用户的目的。自动图像提取法是根据图像亮度、图像显著性、道路上的标线等特征信息，提取感兴趣区域。本申请对感兴趣区域的提取方法不做限定。

然后根据第一感兴趣区域在第一待融合图像的共同区域中的位置，确定出对应的第二感兴趣区域，第二感兴趣区域为重建后的映射图像的共同区域中的一部分，其中，第二感兴趣区域在重建后的映射图像的共同区域中的位置与第一感兴趣区域在第一待融合图像的共同区域中的位置相同，或者说，第二感兴趣区域与第一感兴趣区域中包括第二相同目标或第二相同目标的一部分(为了与前文的“第一相同目标”区分，这里称为“第二相同目标”)，这里第二相同目标的范围小于或等于第一相同目标的范围。将第一感兴趣区域与第二感兴趣区域进行融合，为了在色彩和亮度上保持一致，可以对第一感兴趣区域或第二感兴趣区域在空间域上进行伽马变换、对比度拉伸等处理，再进行融合。

在实际应用中，将每一个重建后的映射图像的共同区域和第一待融合图像的共同区域进行融合。或者，提取每一个重建后的映射图像的共同区域中的感兴趣区域以及第一待融合图像的共同区域中的感兴趣区域，将多个感兴趣区域进行融合，获得融合图像。

需要说明的是，感兴趣区域的提取、分辨率重建的顺序不是固定的，可以根据具体情况进行调整。比如，感兴趣区域的提取可以放在步骤S103之前，即先第二待融合图像映射至第一待融合图像的拍摄角度下，得到映射图像，然后确定第一待融合图像的感兴趣区域和映射图像的感兴趣区域，其次，确定第一待融合图像的感兴趣区域和映射图像的感兴趣区域的共同区域，共同区域指示映射图像的感兴趣区域和第一待融合图像的感兴趣区域包含第一相同目标的区域，再次，对映射图像的感兴趣区域和第一待融合图像的感兴趣区域进行分辨率重建，使得重建后的映射图像的感兴趣区域的分辨率与第一待融合图像的感兴趣区域的分辨率相同，最后，将重建后的映射图像的感兴趣区域与第一待融合图像的感兴趣区域进行融合，获得融合图像。又比如，也可以将分辨率重建置于确定共同区域之前，即，先第二待融合图像映射至第一待融合图像的拍摄角度下，得到映射图像，然后确定第一待融合图像的感兴趣区域和映射图像的感兴趣区域，其次，对映射图像的感兴趣区域进行分辨率重建，使得映射图像的感兴趣区域的分辨率与第一待融合图像的分辨率相同，再次，确定重建后的映射图像的感兴趣区域与第一待融合图像的感兴趣区域的共同区域；最后，将重建后的映射图像的共同区域与第一待融合图像的共同区域进行融合，获得融合图像。本申请对感兴趣区域的提取、分辨率重建的顺序不做限定。

S106、利用融合图像实现目标对象的识别。

对融合图像进行目标对象的识别。例如，目标对象为人脸，对融合图像进行人脸识别。本申请对识别算法不做限定。

可选的，可以根据识别结果进行交通场景下的行为检测，比如，对行驶的车辆内的司机进行识别，识别到司机有拨打电话的行为，可以将第一待融合图像、第二待融合图像和识别结果作为判定司机违规操作的证据；又比如，根据融合图像进行识别，根据识别结果判定交通事故(比如追尾、擦碰等)中的责任方；又比如，对行驶的车辆进行识别检测，检测到车辆的车牌号存在部分遮挡；等等。

可以看到，第一待融合图像和第二待融合图像分别是不同的图像采集设备采集的，不同的图像采集设备的拍摄角度不同，将从不同拍摄角度采集的图像进行融合，能够减弱或消除图像上存在的反光、树木倒影、遮挡物等，融合后的图像能够用于目标对象的识别，避免了单个角度拍摄的图像上因存在反光、树木倒影、遮挡物等导致在对目标对象进行识别时，不能识别到目标对象或识别率低的弊端。将第二待融合图像映射至第一待融合图像的拍摄角度下，获得映射图像，确定映射图像与第一待融合图像的共同区域，然后对映射图像的共同区域进行分辨率重建，一定程度上消除了图像中的噪声，重建后的映射图像的共同区域能够提供更精准更细节的信息。

本申请提供了一种图像融合装置400，参见图5所示，图5为本申请提供的一种图像融合装置400的示意图，图像融合装置400包括：

获取单元401，用于获取第一待融合图像和第二待融合图像，其中，第一待融合图像和第二待融合图像中包括目标对象或目标对象的一部分，拍摄第一待融合图像的图像采集设备和拍摄第二待融合图像的图像采集设备不同；

融合单元402，用于根据第一待融合图像和第二待融合图像进行融合，得到融合图像；

识别单元403，用于利用融合图像实现目标对象的识别。

在可能的实现方式中，识别单元403用于，根据识别的结果进行交通场景下的行为检测。

在可能的实现方式中，融合单元402用于：将第二待融合图像映射至第一待融合图像对应的拍摄角度下的映射图像；根据映射图像与第一待融合图像进行融合，获得融合图像。

在可能的实现方式中，融合单元402用于：确定映射图像和第一待融合图像的共同区域，共同区域指示映射图像和第一待融合图像包含相同目标的区域；根据映射图像的共同区域和第一待融合图像的共同区域进行融合，获得融合图像。

在可能的实现方式中，第一待融合图像的分辨率高于映射图像的分辨率，融合单元402用于：对映射图像的共同区域进行超分辨率重建；根据重建后的映射图像的共同区域与第一待融合图像的共同区域进行融合，获得融合图像。

在可能的实现方式中，融合单元402用于：确定第一感兴趣区域，第一感兴趣区域为第一待融合图像的共同区域中的一部分；根据第一感兴趣区域在第一待融合图像的共同区域中的位置，确定对应的第二感兴趣区域；第二感兴趣区域为重建后的映射图像的共同区域中的一部分；将第二感兴趣区域与第一感兴趣区域进行融合，获得融合图像。

在可能的实现方式中，第一待融合图像中的目标对象上的部分区域和/或所述第二待融合图像中的所述目标对象上的部分区域存在遮挡物、反光区域、树木倒影中的一种或多种。

上述图像融合装置400的各功能单元用于实现图5实施例所描述的方法，具体内容可参考图3实施例的相关内容中的描述，为了说明书的简洁，这里不再赘述。

本申请提供了一种图像融合设备，图像融合设备可以为计算设备集群50，例如，计算设备集群50可以为服务器集群，服务器集群可以包括多台中心服务器，或者包括多台边缘服务器，或者包括中心服务器和边缘服务器。参见图6所示，计算设备集群50包括至少一个计算设备500，至少一个计算设备500中的每个计算设备500可以包括处理器504、存储器506以及通信接口508等，一个或者多个计算设备500中的存储器506可以存有相同的用于执行本申请提供的图像融合方法的代码(也可以称为指令或者程序指令等)，处理器504可以从存储器506中读取代码，并执行代码以实现本申请提供的图像融合方法，通信接口508可以用于实现每个计算设备500与其他设备之间的通信。

需要说明的是，计算设备集群50中的不同的计算设备500中的存储器506可以存储不同的指令，用于执行图像融合装置400的部分功能。

例如，如图7所示，图7为本申请提供的一种计算设备集群50的结构示意图，该计算设备集群50包括计算设备500A和计算设备500B，计算设备500A和计算设备500B通过通信接口508实现连接。

计算设备500A中的存储器上存有用于执行获取单元401的功能的指令。计算设备500B中的存储器上存有用于执行融合单元402和识别单元403的功能的指令。或者，也可以是，计算设备500A中的存储器上存有用于执行获取单元401和识别单元403的功能的指令。计算设备500B中的存储器上存有用于执行融合单元402的功能的指令，等等。换言之，计算设备500A和500B的存储器506共同存储了图像融合装置400用于执行图像融合方法的指令。

应理解，图7中示出的计算设备500A的功能也可以由多个计算设备500完成。同样，计算设备500B的功能也可以由多个计算设备500完成。

在一些可能的实现方式中，计算设备集群50中的多个计算设备500可以通过网络连接。其中，所述网络可以是广域网或局域网等等。例如，图8为本申请提供的又一种计算设备集群50的结构示意图，计算设备集群50包括计算设备500C和计算设备500D，计算设备500C和计算设备500D之间通过网络进行连接。具体地，通过各个计算设备中的通信接口508与所述网络进行连接。在这一类可能的实现方式中，计算设备500C中的存储器506中存有执行获取单元401的指令，计算设备500D中的存储器506中存有执行融合单元402和识别单元403的指令。或者，计算设备500C中的存储器506中存有执行获取单元401和识别单元403的指令。计算设备500D中的存储器506中存有执行融合单元402的指令。换言之，计算设备500C和500D的存储器506共同存储了图像融合装置400用于执行图像融合方法的指令。

应理解，图8中示出的计算设备500C的功能也可以由多个计算设备500完成。同样，计算设备500D的功能也可以由多个计算设备500完成。

本申请还提供了一种图像融合设备600，该图像融合设备600可以为具有图像处理功能的图像采集设备，比如摄像机、电子警察等，参见图9所示，图9为本申请提供的一种图像融合设备600的结构示意图，图像融合设备600包括：处理器610、通信接口620以及存储器630。其中，处理器610、通信接口620以及存储器630可以通过内部总线640相互连接，也可通过无线传输等其他手段实现通信。

以通过总线640连接为例，总线640可以是PCI总线或EISA总线等。总线640可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器610可以由至少一个通用处理器构成，例如CPU，或者CPU和硬件芯片的组合。上述硬件芯片可以是ASIC、PLD或其组合。上述PLD可以是CPLD、FPGA、GAL或其任意组合。处理器610执行各种类型的数字存储指令，例如存储在存储器630中的软件或者固件程序，它能使图像融合设备600提供较宽的多种服务。

存储器630用于存储程序代码，并由处理器610来控制执行，以执行上述图4实施例所述的步骤，具体可以参考上述所示实施例的相关描述，此处不再展开赘述。

存储器630可以包括易失性存储器，例如RAM；存储器630也可以包括非易失性存储器，例如ROM、快闪存储器(flash memory)；存储器630还可以包括上述种类的组合。

通信接口620可以为有线接口(例如以太网接口)，可以为内部接口(例如高速串行计算机扩展总线(peripheral component interconnect express,PCIE)总线接口)、有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，用于与与其他设备或模块进行通信。

需要说明的，图9仅仅是本申请实施例的一种可能的实现方式，实际应用中，图像融合设备还可以包括更多或更少的部件，这里不作限制。关于本申请实施例中未示出或未描述的内容，可参见前述方法所述实施例中的相关阐述，这里不再赘述。

本申请还提供了一种计算机可读存储介质，包括计算机程序指令，当所述计算机程序指令由图像融合设备执行时，所述图像融合设备执行上述图像融合方法实施例中所描述的部分或全部步骤。

本申请还提供了一种计算机程序产品，包括程序指令，当所述程序指令被图像融合设备运行时，使得图像融合设备执行上述图像融合方法实施例中所描述的部分或全部步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

在上述实施例中，可以全部或部分地通过软件、硬件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品可以包含代码。当计算机程序产品被计算机读取并执行时，可以实现上述方法实施例中记载的渲染方法的部分或者全部步骤。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质、或者半导体介质等。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并或删减；本申请实施例装置中的单元可以根据实际需要进行划分、合并或删减。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种图像融合方法，其特征在于，所述方法包括：

获取第一待融合图像和第二待融合图像，其中，所述第一待融合图像和所述第二待融合图像中包括目标对象或所述目标对象的一部分，拍摄所述第一待融合图像的图像采集设备和拍摄所述第二待融合图像的图像采集设备不同；

根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像；

利用所述融合图像实现所述目标对象的识别。

2.根据权利要求1所述的方法，其特征在于，在所述利用所述融合图像实现所述目标对象的识别之后，所述方法还包括：

根据识别的结果进行交通场景下的行为检测。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像，包括：

将所述第二待融合图像映射至所述第一待融合图像对应的拍摄角度下的映射图像；

根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像，包括：

确定所述映射图像和所述第一待融合图像的共同区域，所述共同区域指示所述映射图像和所述第一待融合图像包含相同目标的区域；

根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像。

5.根据权利要求4所述的方法，其特征在于，所述第一待融合图像的分辨率高于所述映射图像的分辨率，所述根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像，包括：

对所述映射图像的共同区域进行超分辨率重建；

根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像。

6.根据权利要求5所述的方法，其特征在于，在所述对所述映射图像的共同区域进行超分辨率重建之后，所述方法还包括：

确定第一感兴趣区域，所述第一感兴趣区域为所述第一待融合图像的共同区域中的一部分；

根据所述第一感兴趣区域在所述第一待融合图像的共同区域中的位置，确定对应的第二感兴趣区域；所述第二感兴趣区域为所述重建后的映射图像的共同区域中的一部分；

所述根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像，包括：

将所述第二感兴趣区域与所述第一感兴趣区域进行融合，获得所述融合图像。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一待融合图像中的所述目标对象上的部分区域和/或所述第二待融合图像中的所述目标对象上的部分区域存在遮挡物、反光区域、树木倒影中的一种或多种。

8.一种图像融合装置，其特征在于，包括：

获取单元，用于获取第一待融合图像和第二待融合图像，其中，所述第一待融合图像和所述第二待融合图像中包括目标对象或所述目标对象的一部分，拍摄所述第一待融合图像的图像采集设备和拍摄所述第二待融合图像的图像采集设备不同；

融合单元，用于根据所述第一待融合图像和所述第二待融合图像进行融合，得到融合图像；

识别单元，用于利用所述融合图像实现所述目标对象的识别。

9.根据权利要求8所述的装置，其特征在于，所述识别单元用于，根据识别的结果进行交通场景下的行为检测。

10.根据权利要求8或9所述的装置，其特征在于，所述融合单元用于：

将所述第二待融合图像映射至所述第一待融合图像对应的拍摄角度下的映射图像；

根据所述映射图像与所述第一待融合图像进行融合，获得所述融合图像。

11.根据权利要求10所述的装置，其特征在于，所述融合单元用于：

确定所述映射图像和所述第一待融合图像的共同区域，所述共同区域指示所述映射图像和所述第一待融合图像包含相同目标的区域；

根据所述映射图像的共同区域和所述第一待融合图像的共同区域进行融合，获得所述融合图像。

12.根据权利要求11所述的装置，其特征在于，所述第一待融合图像的分辨率高于所述映射图像的分辨率，

所述融合单元用于：

对所述映射图像的共同区域进行超分辨率重建；

根据重建后的映射图像的共同区域与所述第一待融合图像的共同区域进行融合，获得所述融合图像。

13.根据权利要求12所述的装置，其特征在于，所述融合单元用于：

确定第一感兴趣区域，所述第一感兴趣区域为所述第一待融合图像的共同区域中的一部分；

根据所述第一感兴趣区域在所述第一待融合图像的共同区域中的位置，确定对应的第二感兴趣区域；所述第二感兴趣区域为所述重建后的映射图像的共同区域中的一部分；

将所述第二感兴趣区域与所述第一感兴趣区域进行融合，获得所述融合图像。

14.根据权利要求8-13任一项所述的装置，其特征在于，所述第一待融合图像中的所述目标对象上的部分区域和/或所述第二待融合图像中的所述目标对象上的部分区域存在遮挡物、反光区域、树木倒影中的一种或多种。

15.一种图像融合设备，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述处理器用于调用所述存储器中存储的指令执行如权利要求1-7任一项所述的方法。

16.一种可读存储介质，其特征在于，包括程序指令，当所述程序指令在处理器上运行时，处理器执行如权利要求1-7任一项所述的方法。

17.一种计算机程序产品，包括程序代码，当所述程序代码在处理器上执行时，所述处理器执行如权利要求1-7任一项所述的方法。

Images