CN117392391A - 道路图像语义分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种道路图像语义分割方法、装置、电子设备及存储介质。其中，该方法包括：接收包括待识别对象的待处理道路图像；基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像；基于语义分割图像，确定与待处理道路图像对应的图像处理信息。本实施例的技术方案，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率。

Description

道路图像语义分割方法、装置、电子设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种道路图像语义分割方法、装置、电子设备及存储介质。

背景技术

在自动驾驶车辆中，感知模块是车辆与外部世界沟通的重要窗口，自动驾驶车辆正是通过感知模块，才能感知周围的环境信息，从而结合地图模块、规划及控制模块畅行在各种复杂的道路场景之中。针对道路语义的图像语义分割便是自动驾驶系统中重要的功能模块，其目标是将图像中的每个像素分类为一个类或对象，生成图像的密集像素分割图。

相关技术中，传统的图像分割方法主要是基于颜色、纹理等图像底层特征手工设计分类器对图像进行分割，然后对分割后的图像标注语义。如基于像素级的聚类分割法、利用像素级的阈值分割法、基于像素级的决策树分类法等，这些算法在一定程度上较好地实现了图像分割的需求，但是对手工设计的特征提取器要求较高，且对于数据集的泛化性能较差，难以大规模应用到背景复杂的通用场景中。

发明内容

本发明提供了一种道路图像语义分割方法、装置、电子设备及存储介质，以实现对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率。

根据本发明的一方面，提供了一种道路图像语义分割方法，该方法包括：

接收包括待识别对象的待处理道路图像；

基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像；其中，所述目标对象分割模型包括至少一个目标子模型，所述至少一个目标子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络；所述语义分割图像中包括所述待识别对象对应的语义分割区域；

基于所述语义分割图像，确定与所述待处理道路图像对应的图像处理信息。

根据本发明的另一方面，提供了一种道路图像语义分割装置，该装置包括：

图像接收模块，用于接收包括待识别对象的待处理道路图像；

图像处理模块，用于基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像；其中，所述目标对象分割模型包括至少一个目标子模型，所述至少一个目标子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络；所述语义分割图像中包括所述待识别对象对应的语义分割区域；

图像处理信息确定模块，用于基于所述语义分割图像，确定与所述待处理道路图像对应的图像处理信息。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的道路图像语义分割方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的道路图像语义分割方法。

本发明实施例的技术方案，通过接收包括待识别对象的待处理道路图像，之后，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，最后，基于语义分割图像，确定与待处理道路图像对应的图像处理信息，解决了相关技术中对于复杂场景中的目标对象的分割效果较差、流程冗余、耗时严重，难以大规模应用到背景复杂的通用场景中等问题，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率，同时，通过轻量级的目标对象分割模型对道路图像进行处理，实现了在低功耗平台对道路图像进行对象分割的效果。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种道路图像语义分割方法的流程图；

图2是根据本发明实施例二提供的一种道路图像语义分割方法的流程图；

图3是根据本发明实施例三提供的一种道路图像语义分割方法的流程图；

图4是根据本发明实施例四提供的一种道路图像语义分割装置的结构示意图；

图5是实现本发明实施例的道路图像语义分割方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本技术方案之前，需要说明的是，基于本发明实施例构建的目标对象分割模型可以部署在服务端或客户端。其中，服务端可以是向客户端提供服务与资源的且具有针对性的服务程序，运行服务端的设备即为服务器。相应的，客户端，即为与服务端对应的、为用户提供本地服务的程序。同时，客户端与服务端之间可以基于多种形式的文本传输协议进行通信。示例性的，将本发明实施例中的目标对象分割模型集成于支持图像处理或目标对象识别检测等多种功能的应用软件中，且该软件可以安装在电子设备中。可选的，电子设备可以是车端等。应用软件可以是对图像、文本、视频或音频数据进行处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现文本、图像、视频或音频数据的处理即可。还可以是专门研发的应用程序，集成在相应的软件中，或者，集成在相应的页面中，以使用户可以通过车端中集成的页面来实现对相关数据的处理。

实施例一

图1是本发明实施例一提供的一种道路图像语义分割方法的流程图，本实施例可适用于对于道路图像中所包含的待识别对象进行准确分割的情况，该方法可以由道路图像语义分割装置来执行，该道路图像语义分割装置可以采用硬件和/或软件的形式实现，该道路图像语义分割装置可配置于终端和/或服务器中。如图1所示，该方法包括：

S110、接收包括待识别对象的待处理道路图像。

其中，待处理道路图像可以是服务端或客户端接收到的，基于目标车辆上所设置的摄像装置实时拍摄得到的道路图像，该道路图像可以是反映目标车辆周边环境的图像；或者，待处理道路图像也可以是服务端或客户端从相关数据库中调取的预先存储的图像。同时，在待处理道路图像中包括一个或多个对象，可以理解，图像中的对象即为待识别对象，基于本发明实施例的神经网络模型，可以对图像中的待识别对象进行语义分割，以确定待识别对象对应的识别结果。需要说明的是，待识别对象可以是任意形状的对象，可选的，可以是细长形状等。示例性的，待识别对象可以为路面标识、杆状物(如，电线杆)或减速带等。还需说明的是，待识别对象还可以是其他形状的对象，例如，周边行驶的车辆或行人等，本实施例对此不作具体限定。

需要说明的是，在具体的应用场景中，可以实时或者周期性地采集道路图像，并将所采集的道路图像上传至部署神经网络模型的终端设备中(如，车端)，以作为待处理道路图像；或者，当检测到用户上传图像时，即可接收该图像，并将该图像作为待处理道路图像，本实施例对此不作具体限定。

示例性的，在车辆行驶过程中，可以基于车载摄像装置对车辆周边环境进行拍摄，并将拍摄得到的道路图像上传至服务端或客户端中，该图像即为待处理道路图像。进一步的，服务端或客户端可以基于相关算法对图像进行识别，从而确定出图像中的对象即为待识别对象。当然，在实际应用中，待处理道路图像中的对象可以是任意物体，同时，待处理道路图像中待识别对象的数量可以是一个或多个，本实施例对此不作具体限定。需要说明的是，若待识别对象的数量为多个，可以将入镜画面中的所有对象均作为待识别对象；若待识别对象的数量为一个，可以预先对图像中的待识别对象进行标定，并将标定后的图像作为上传至服务端，以使服务端对待识别对象的特征属性进行存储。进而，在接收到多幅待处理道路图像之后，当检测到这些图像中至少一幅图像中包括待识别对象的特征属性时，可以将当前图像中的对象确定为待识别对象，并对该图像进行处理。

S120、基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像。

在本实施例中，在服务端或客户端接收到待处理道路图像之后，即可将待处理道路图像输入至预先训练好的目标对象分割模型中，以基于目标对象分割模型对待处理道路图像进行处理。

其中，目标对象分割模型可以包括多个子模型的深度学习网络模型。目标对象分割模型中可以包括至少一个子模型，至少一个子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络。

其中，特征提取子模型可以是对图像中的特征信息进行提取的神经网络模型。特征提取子模型可以是以残差网络(Res Net)为基础构建的模型。示例性的，特征提取子模型可以是Res Net18，即，该子模型的基本架构是Res Net，网络的深度是18层。一般情况下，当网络层数达到一定数目之后，网络的性能就会开始退化，采用残差网络则可以解决网络深度变深之后的性能退化问题。并且，由于对于网络的实时性要求较高，因此，可以采用ResNet18作为特征提取子模型，可以在一定程度上平衡网络精度和速度。

其中，特征残差子模型可以是基于循环特征转移聚合(Recurrent Feature-ShiftAggregator，RESA)算法构建的神经网络模型。本领域技术人员可以理解，RESA将首先在垂直和/或水平方向上切割特征图，得到多个切片特征，然后，让每个切片特征接收到与特定步幅相邻的另一个切片特征。每个像素分几个步骤同时更新，最后，每个位置都可以在整个空间中收集信息。这样，信息就可以在特征图中的像素之间传播。RESA是一个特征增强模块，能够捕获行和列之间像素的空间关系，且具有很高的计算效率，同时可以有效地聚合空间信息。在本实施例中，采用特征残差子模型可以对所提取的道路图像特征信息进行增强，从而，可以在待识别对象在待处理道路图像上的显示形态较为细长，且显示尺寸较小的情况下，可以将该待识别对象的特征信息增强，进而，可以对该待识别对象进行准确识别。

其中，可变形卷积子模型可以是区别于传统卷积网络的可变形卷积网络(Deformable Convolution Network，DCN)。本领域技术人员可以理解，可变形卷积可以理解为卷积位置是可变的神经网络。DCN的核心思想在于，卷积核不应该是一个简简单单的矩形。在不同的阶段，不同的特征图，甚至不同的像素点上都可能有其最优的卷积核结构，因此，DCN提出在矩形卷积核上的每个点学习一个偏移(offset)，卷积核可以根据不同数据学习不同的卷积核结构。在本实施例中，采用可变形卷积子模型的好处在于：可以在采样时更加贴近待识别对象的形状和尺寸，更具有鲁棒性。

其中，全局信息融合子模型可以是建立特征与特征之间的关系，以获取全局特征信息的神经网络模型。示例性的，全局信息融合子模型可以是基于全局注意力机制算法构建的神经网络模型。

其中，反卷积网络可以是将特征逆映射回模型输入图像的像素空间的神经网络模型。本领域技术人员可以理解，反卷积网络中的每一层均可以看作是卷积网络对应层的逆过程。

在本实施例中，将待处理道路图像输入至目标对象分割模型中进行处理之后，模型即可输出与待处理图像对应的语义分割图像。其中，语义分割图像可以理解为将待识别对象在待处理道路图像中的显示区域作为感兴趣区域所生成的掩膜图像。语义分割图像中包括与待识别对象对应的语义分割区域。语义分割区域可以理解为表征相应待识别对象在待处理图像中所显示的区域掩膜区域。

需要说明的是，在待处理道路图像中包括一个待识别对象的情况下，语义分割图像可以是一张二值图像，即，待识别对象对应的像素值为第一像素值(如，1)，图像中除待识别对象之外的区域对应的像素值为第二像素值(如，0)；在待处理图像中包括多个待识别对象的情况下，可以根据预先确定的待识别对象与预设像素值之间的对应关系，确定与各待识别对象对应的预设像素值。进而，针对各待识别对象，可以将图像中与当前待识别对象对应的像素值调整为相应的预设像素值，即可得到包括多种预设像素值的图像。同时，除待识别对象之外的区域对应的像素值同样可以是第二像素值(如，0)。

在实际应用中，可以预先确定需要进行语义分割处理的多种对象类型，并分别设置与每种对象类型对应的像素值，即可得到与各对象类型对应的预设像素值。之后，建立对象类型与预设像素值之间的对应关系，并部署在目标对象分割模型中。进一步的，在基于目标对象分割模型中的相应子模型确定出待处理道路图像中待识别对象的特征信息之后，可以确定待识别对象的对象类型。进而，可以根据该对象类型和预先确定的对应关系，确定与该对象类型对应的预设像素值。进一步的，可以将该待识别对象对应的像素值调整为已确定的预设像素值。

示例性的，假设预先确定的对象类型与像素值之间的对应关系为类型1-像素值为1、类型2-像素值为2、类型2-像素值为3、…、类型100-像素值为100。在实际应用过程中，确定出待处理道路图像中待识别对象的对象类型分别为类型1、类型2以及类型3。进而，与待处理道路图像对应的语言分割图像中可以包括3个语义分割区域和一个背景区域。其中，与类型1对应的语义分割区域的像素值为1；与类型2对应的语义分割区域的像素值为2；与类型3对应的语义分割区域的像素值3；与背景区域对应的像素值为0。

在实际应用中，由于目标对象分割模型中包括多个目标子模型，因此，基于目标对象分割模型对待处理道路图像进行处理，可以依次通过模型中多个目标子模型对待处理图像进行相应的处理，从而输出与待处理道路图像对应的语义分割图像。

可选的，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，包括：基于目标对象分割模型中的特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络依次对待处理道路图像进行处理，得到语义分割图像。

在本实施例中，目标对象分割模型的网路架构中各个目标子模型之间的连接关系可以为特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络依次连接。因此，基于目标对象分割模型对待处理道路图像进行处理，可以依次通过各个目标子模型对其进行处理，从而，得到与待处理道路图像对应的语义分割图像。这样设置的好处在于：可以对待识别对象在待处理道路图像中的显示位置进行准确定位，并对待识别对象在待处理道路图像中的语义信息进行准确分割，进而，有效提升了道路语义分割的速度和精度。

S130、基于语义分割图像，确定与待处理道路图像对应的图像处理信息。

可以理解的是，语义分割图像是由多种像素值组成的掩膜图像，为了便于用户一目了然地识别出语义分割图像中所包括的待识别对象以及各待识别对象对应的对象类别。在得到语义分割图像之后，可以根据预设图像处理方式对语义分割图像进行处理。进而，可以将处理后得到的信息作为待处理道路图像对应的图像处理信息。可选的，图像处理信息可以包括填充预设颜色信息后的语义分割图像、填充预设纹理信息后的语义分割图像和/或待处理道路图像中所包括的各待识别对象的对象识别类别等。预设图像处理方式可以包括颜色信息填充、纹理信息填充和/或对象识别类别标注等。

本发明实施例的技术方案，通过接收包括待识别对象的待处理道路图像，之后，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，最后，基于语义分割图像，确定与待处理道路图像对应的图像处理信息，解决了相关技术中对于复杂场景中的目标对象的分割效果较差、流程冗余、耗时严重，难以大规模应用到背景复杂的通用场景中等问题，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率，同时，通过轻量级的目标对象分割模型对道路图像进行处理，实现了在低功耗平台对道路图像进行对象分割的效果。

实施例二

图2是本发明实施例二提供的一种道路图像语义分割方法的流程图，在前述实施例的基础上，对S120作了进一步细化。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法包括：

S210、接收包括待识别对象的待处理道路图像。

S220、基于特征提取子模型提取待处理道路图像的特征信息，得到待处理特征。

在本实施例中，特征提取子模型是基于残差网络构建的神经网络模型，并且，残差网络是由若干个残差块构建而成的。因此，将待处理道路图像输入至模型中之后，可以基于特征提取子模型中各个残差块对待处理道路图像进行特征提取，即可提取与待处理道路图像对应的多个特征，同时，特征提取子模型是目标对象分割模型中的第一个子模型，所提取到的特征可以是一些低级的基本特征，即，待处理特征。

本领域技术人员可以理解，残差网络就是将当前的输出输入到下一层的同时，还增加一条路径输入到更后面的一层。这样构成的一个块，即为残差块，残差块时构成残差网络的基础。在本实施例中，特征提取子模型中所采用的残差块可以是恒等残差块。

其中，恒等残差块是残差网络中使用的标准块。恒等残差块可以是由至少两个卷积层和恒等残差函数构成。恒等残差块中每个层之间的连接关系可以为卷积层的后面连接一个标准化层和恒等残差函数。恒等残差块的层数可以为任意层，可选的，可以为2层或3层。示例性的，当恒等残差块为两层时，即可说明当前残差网络中的新增捷径需要跳跃2个隐藏层，每个层之间的连接关系可以为：主路径第一部分包括卷积层、标准化层和恒等残差函数；第二部分包括卷积层和标准化层，没有恒等残差函数；最后部分是将新增捷径和输入一同添加至模块中，然后，再应用恒等残差函数，从而，最终实现特征提取。当恒等残差块为3层时，即可说明当前残差网络中的新增捷径需要跳跃3个隐藏层，每个层之间的连接关系可以为：主路径第一部分包括卷积层、标准化层以及恒等残差函数；第二部分包括卷积层、标准化层以及恒等残差函数；第三部分包括卷积层和标准化层；最后部分是将新增捷径和输入一同输入至模块中，然后，再应用恒等残差函数，从而，最终实现特征提取。

需要说明的是，在训练层数较多的深度网络时，应用残差网络可以有助于解决梯度消失和梯度爆炸问题，在训练更深网络的同时，又能保证良好的性能。

S230、基于特征残差子模型对待处理特征进行特征聚合，得到待处理聚合特征。

在本实施例中，在得到待处理特征之后，可以将待处理特征输入至特征残差子模型中，进行特征聚合，以对待处理特征进行特征增强。从而，可以得到待处理聚合特征。其中，特征残差子模型中可以至少两个处理模块，至少两个处理模块可以分别为第一处理模块和第二处理模块。

在实际应用中，在将待处理特征输入至特征残差子模型中之后，可以基于第一处理模块对待处理特征进行特征切片处理，并得到至少一个特征切片。进一步的，可以基于第二处理模块对各特征切片进行处理，以得到待处理聚合特征。

可选的，基于特征残差子模型对待处理特征进行特征聚合，得到待处理聚合特征，包括：基于第一处理模块按照预设切片方向对待处理特征进行特征切片处理，得到至少一个特征切片；按照第一预设方向基于第二处理模块对至少一个特征切片进行逐片处理，得到第一待拼接特征；以及，按照第二预设方向基于第二处理模块对至少一个特征切片进行顺序处理，得到第二待拼接特征；将第一待拼接特征和第二待拼接特征进行拼接处理，得到待处理聚合特征。

其中，第一处理模块可以是用于对特征进行切片处理的神经网络模型。第二处理模块可以是用于对特征切片进行特征聚合的神经网络模型。预设切片方向可以理解为预先设置的，对特征图进行切片处理时所依据的方向。预设切片方向可以是任意方向，可选的，可以是垂直方向。预设切片步长可以是预先设置的，对特征图进行切片处理时所依据的步长。预设切片步长可以是任意值，可选的，可以是1或2等。示例性的，待处理特征可以表示为由C×H×W组成的三维矩阵。其中，C表示待处理特征的通道数，H表示待处理特征的高度，W表示待处理特征的宽度。若预设切片方向为垂直方向，预设切片步长为1，则可以按照待处理特征的高度延伸方向进行切片，每一个特征切片的高度为1。进而，可以得到H个特征切片，每一个特征切片可以表示为由C×1×W组成的三维矩阵。

其中，特征切片可以是表征整幅特征图像中的部分特征信息的切片。一般情况下，对一幅特征图像进行切片处理，可以得到多个特征切片。进而，将这些特征切片无缝隙的拼接在一起，即可得到原特征图像。

其中，预设移动方向可以是预先确定，对各特征切片进行特征聚合处理时所依据的移动方向。预设移动方向可以是任意方向，可选的，可以是从最底层特征切片指向最顶层特征切片的方向。

在实际应用中，在将待处理特征输入至特征残差子模型中之后，可以基于第一处理模块按照预设切片方向和预设切片步长对待处理特征进行切片处理。进而，可以得到至少一个特征切片。进一步的，可以基于第二处理模块按照预设移动方向依次对各特征切片进行特征残差处理，以在预设切片方向上将各特征切片的特征信息聚合，即可得到聚合后的特征，可以将该特征作为第一待拼接特征。同时，为了可以增强各特征切片在预设切片方向上所聚合的特征信息，可以基于第二处理模块按照相反于预设移动方向的移动方向依次对各特征切片进行特征残差处理，得到聚合后的特征，可以将该特征作为第二待拼接特征。进一步的，可以将第一待拼接特征和第二待拼接特征拼接在一起，可以将拼接后得到的特征作为待处理聚合特征。

需要说明的是，不论是按照预设移动方向依次对至少一个特征切片进行特征残差处理，得到第一待拼接特征；还是按照相反于预设移动方向的移动方向依次对至少一个特征切片进行特征残差处理，得到第二待拼接特征，均是依据相同的流程对各特征切片进行处理。因此，在本实施例中，可以以其中一个流程为例，来对各特征切片进行特征残差处理的过程进行说明。

可选的，基于第二处理模块按照预设移动方向依次对至少一个特征切片进行特征残差处理，得到第一待拼接特征，包括：依据预设移动方向从至少一个特征切片中确定出目标特征切片；基于第二处理模块对目标特征切片进行卷积处理，得到第一特征；对第一特征和目标特征切片的下一特征切片进行残差处理，得到第二特征，将第二特征作为目标特征切片，并重复执行卷积处理步骤和残差处理步骤，直至目标特征切片为最后一个特征切片，将与最后一个特征切片对应的第二特征作为第一待拼接特征。

S240、基于可变形卷积子模型对待处理聚合特征进行卷积处理，得到待处理卷积特征。

一般情况下，可变形卷积模块中可以包括至少两个卷积层，其中一个卷积层可以用于根据所输入的特征图像确定卷积核的偏移量；另一个卷积层可以用于根据更新偏移量的卷积核对该特征图像进行卷积处理，并可以将处理后得到的特征输出。在本实施例中，可变形卷积子模型中可以包括两个卷积层，这两个卷积层可以分别为第一卷积层和第二卷积层。第一卷积层可以是用于确定卷积核偏移量的卷积层。第二卷积层可以是用于对输入特征进行卷积操作的卷积层。

在实际应用中，将待处理聚合特征输入至可变形卷积子模型中，可以基于第一卷积层对待处理聚合特征进行处理，以得到卷积核偏移量。之后，可以根据该卷积核偏移量对卷积核的初始偏移量进行更新，以对第二卷积层的卷积核进行更新。进而，可以根据更新后的第二卷积层对待处理聚合特征进行卷积处理，可以将处理后得到的特征作为待处理卷积特征。

可选的，基于可变形卷积子模型对待处理聚合特征进行卷积处理，得到待处理卷积特征，包括：基于待处理聚合特征和第一卷积层，生成目标偏移量；基于目标偏移量对第二卷积层进行卷积核更新处理，并基于更新后的第二卷积层对待处理聚合特征进行卷积处理，得到待处理卷积特征。

一般情况下，卷积模块对输入特征图的固定位置进行采样；池化层以固定的比例进行池化；即使是感兴趣区域池化(ROIPooling)也是将感兴趣区域分割到固定的容器中去。这些特性是有影响的，例如，在同一层卷积层中，所有的激活单元的感受野是一样的，但由于不同位置可能对应着不同尺度或变形的物体，因此，对尺度或者感受野大小进行自适应是进行精确定位所需要的。在本实施例中，待处理道路图像中需要进行对象识别分割的待识别对象的形状均为不规则形状，且部分待识别对象在图像中的显示尺寸较大。采用可变形卷积子模型可以更好地对这些待识别对象进行特征提取。进而，可以对这些待识别对象进行精准定位。

其中，目标偏移量可以理解为在卷积过程中，相应卷积核的初始位置与最终位置之间的位置移动量。目标偏移量也可以理解为卷积核可以移动的距离长度。卷积核更新处理，可以理解为对卷积核的偏移量进行更新，以将卷积核的偏移量从初始偏移量更新为目标偏移量。需要说明的是，目标偏移量中可以包括第二卷积层中各卷积核对应的位置偏移量。初始偏移量可以是任意值，可选的，可以是0或其他预设数值。

在实际应用中，在将待处理聚合特征输入至可变形卷积子模型中之后，可以基于第一卷积层对待处理聚合特征进行分析，并根据待处理聚合特征中与各待识别对象对应的特征采样尺度，确定卷积核进行卷积处理时所依据的位置偏移量，可以将该位置偏移量作为目标偏移量。进一步的，可以根据目标偏移量对第二卷积层中各卷积核的偏移量进行更新，并得到更新后的第二卷积层。之后，可以基于更新后的第二卷积层对待处理聚合特征进行卷积处理，可以将处理后得到的特征作为待处理卷积特征。

S250、基于全局信息融合子模型对待处理卷积特征进行全局特征融合处理，得到待处理融合特征。

一般情况下，待处理卷积特征中各特征信息之间是相互独立的，为了得到具有全局信息的特征向量，可以将待处理卷积特征输入至全局信息融合子模型中，以基于全局信息融合子模型对待处理卷积特征进行处理。从而，可以得到具有全局信息的特征向量。

可选的，基于全局信息融合子模型对待处理卷积特征进行全局特征融合处理，得到待处理融合特征，包括：基于全局信息融合子模型中的预设特征筛选算法对待处理卷积特征进行特征筛选，得到至少一个目标特征向量；对于各目标特征向量，基于全局信息融合子模型中部署的预设函数对当前目标特征向量进行处理，得到与当前目标特征向量对应的至少一个权重值，并将至少一个权重值分别与当前目标特征向量相乘，得到至少一个待叠加向量，将至少一个待叠加向量相加，得到与当前目标特征向量对应的全局信息融合向量；将待处理卷积特征中的各目标特征向量更新为相应的全局信息融合向量，并将更新后的待处理卷积特征作为待处理融合特征。

其中，预设特征筛选算法可以是预先部署在全局信息融合子模型中，用于对模型输入特征进行特征向量筛选的算法。预设特征筛选算法可以是任意特征筛选算法，可选的，可以是非极大值抑制(Non-Maximum Suppression，NMS)算法。目标特征向量可以是待处理卷积特征中满足预设特征筛选算法对应的筛选条件的特征向量。可以理解的是，待处理卷积特征是由多个特征向量组成的，基于预设特征筛选算法对待处理卷积特征进行特征向量筛选之后，可以筛选出至少一个特征向量，可以将筛选得到的特征向量作为目标特征向量。预设函数可以理解为预先设置，用于确定特征向量对应的权重值的函数。

需要说明的是，与目标特征向量对应的权重值的数量可以与预先确定的对象类别数量相关联。具体来说，权重值的数量可以是对象类别数量与预设数值之间的差值。示例性的，预先确定的对象类别数量为N个，预设数值为1，则权重值的数量可以是N-1。

在实际应用中，将待处理卷积特征输入至全局信息融合子模型中之后，可以基于全局信息融合子模型中的预设特征筛选算法对待处理卷积特征进行特征筛选处理，并得到至少一个目标特征向量。进一步的，对于各目标特征向量，可以根据预设函数对当前目标特征向量进行处理，得到与当前目标特征向量对应的至少一个权重值。之后，可以将各权重值分别与当前目标特征向量相乘，可以将相乘后得到的向量作为待叠加向量，得到至少一个待叠加向量。之后，可以将所得到的至少一个待叠加向量相加，可以将相加后得到的向量作为当前目标特征向量对应的全局信息融合向量。进一步的，在得到与各目标特征向量对应的全局信息融合向量之后，可以将待处理卷积特征中的各目标特征向量更新为相应的全局信息融合向量，得到更新后的待处理卷积特征，该特征中的各目标特征向量均更新为相应的全局信息融合向量。进而，可以将更新后的待处理卷积特征作为待处理融合特征并输出至全局信息融合子模型。

S260、基于反卷积网络对待处理融合特征进行反卷积处理，得到语义分割图像。

在实际应用中，在将待处理融合特征输入至反卷积网络中之后，可以对待处理融合特征进行反卷积处理，将待处理融合特征逆映射回待处理道路图像对应的像素空间，以使所得到的语义分割图像的图像尺寸与待处理道路图像的图像尺寸相同。

需要说明的是，反卷积网络对应的反卷积参数可以与输入至反卷积网络的特征图像的图像尺寸和待处理道路图像的图像尺寸相关联。进而，可以保证将所输出的语义分割图像的图像尺寸与待处理道路图像的图像尺寸相同。

S270、基于语义分割图像，确定与待处理道路图像对应的图像处理信息。

本发明实施例的技术方案，通过接收包括待识别对象的待处理道路图像，之后，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，最后，基于语义分割图像，确定与待处理道路图像对应的图像处理信息，解决了相关技术中对于复杂场景中的目标对象的分割效果较差、流程冗余、耗时严重，难以大规模应用到背景复杂的通用场景中等问题，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率，同时，通过轻量级的目标对象分割模型对道路图像进行处理，实现了在低功耗平台对道路图像进行对象分割的效果。

实施例三

图3是本发明实施例提供的一种道路图像语义分割方法的流程图，在前述实施例的基础上，还可以预先对待训练对象分割模型进行训练，可以将训练得到的模型作为目标对象分割模型。进而，可以基于目标对象分割模型对待处理道路图像进行语义分割处理，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图3所示，该方法包括：

S310、获取多个训练样本，其中，训练样本中包括：训练样本图像，训练样本图像中包括待识别对象，与训练样本图像对应的理论分割图像，理论分割图像中包括待识别对象对应的理论分割区域。

其中，训练样本图像可以为车载摄像装置实时拍摄得到的图像，或，基于图像重构算法重构得到的图像，或，在存储空间中预先存储的图像等，本实施例对此不作具体限定。同时，训练样本图像中包括一个或多个对象，可以将图像中的对象作为待识别对象。理论分割图像可以是预先对训练样本图像中的对象进行语义分割处理后得到的语义分割图像。理论分割区域即为相应待识别对象对应的语义分割区域。

具体的，在对待训练对象分割模型进行训练之前，需要先获取多个训练样本，以基于训练样本来训练模型。为了提高模型的准确性，可以尽可能多而丰富地构建训练样本。具体来说，获取多幅包括待识别对象的训练样本图像。进一步的，对各训练样本图像进行处理，得到与各训练样本图像对应的理论分割图像。从而，可以基于上述方式构建丰富的训练样本。

S320、对于各训练样本，将当前训练样本输入至待训练对象分割模型中，得到实际分割图像。

需要说明的是，针对每一个训练样本，均可以采用S320的方式对其进行训练。从而得到目标对象分割模型。

其中，待训练对象分割模型中的模型参数为初始参数或者默认参数的模型。实际分割图像可以是将训练样本图像输入至待训练对象分割模型后输出的语义分割图。在本实施例中，实际分割图像中包括实际识别对象对应的实际分割区域。实际识别对象可以理解为基于待训练对象分割模型对训练样本图像中所包括的待识别对象进行识别之后输出的实际识别结果。实际分割区域可以理解为基于待训练对象分割模型确定出的实际识别对象在训练样本图像中对应的实际掩膜区域。

在本实施例中，待训练对象分割模型中可以包括待训练特征提取子模型、待训练特征残差子模型、待训练可变形卷积子模型、待训练全局信息融合子模型以及反卷积网络。在实际应用中，将当前训练样本中的训练样本图像输入至待训练对象分割模型中后，通过待训练特征提取子模型对训练样本图像进行特征提取，得到待处理实际特征。之后，通过待训练特征残差子模型对待处理实际特征进行特征聚合，得到待处理实际聚合特征。之后，通过待训练可变形卷积子模型对待处理实际聚合特征进行卷积处理，得到待处理实际卷积特征。之后，通过待训练全局融合子模型对待处理实际卷积特征进行全局特征融合处理，得到待处理实际融合特征。之后，通过反卷积网络对待处理实际融合特征进行反卷积处理，得到实际分割图像。

S330、根据第一预设损失函数对实际分割图像和理论分割图像进行损失处理，得到第一损失值。

其中，第一预设损失函数可以理解为基于损失值确定的，用于表征实际输出和理论输出之间差异程度的损失函数。在本实施例中，第一预设损失函数可以是分类任务损失函数，用于表征实际分割图像与理论分割图像之间每个像素点的像素值之间差异程度的函数。第一预设损失函数可以是任意损失函数，可选的，可以是交叉熵损失函数。第一损失值可以理解为表征实际分割图像与理论分割图像各像素值之间差异程度的数值。

需要说明的是，基于待训练对象分割模型对训练样本图像进行处理之后，可以得到实际分割图像，且该图像中包括实际识别对象对应的实际分割区域的。然而，在这些实际分割区域中存在不包括任何对象的分割区域，因此，需要使待训练对象分割模型学习如何确定包括对象的区域特征，将包括对象的区域特征归类为前景，其他的则为背景。因此，对于待训练对象分割模型，可以根据第一损失函数对实际分割图像和理论分割图像进行损失处理，进而，可以得到第一损失值。

S340、根据第二预设损失函数对实际分割图像和理论分割图像进行损失处理，得到第二损失值。

其中，第二预设损失函数可以理解为基于损失值确定的，用于表征实际输出和理论输出之间差异程度的损失函数。在本实施例中，第二预设损失函数可以是对象类别识别任务损失函数，用于表征实际分割图像与理论分割图像每个像素点对应的对象类别之间差异程度的函数。第二预设损失函数可以是任意损失函数，可选的，可以是smooth L1损失函数。第二损失值可以理解为表征实际分割图像与理论分割图像各像素点对应的对象类别之间差异程度的数值。

需要说明的是，在实际分割图像中，不仅包括至少一个实际分割区域，并且，每一实际分割区域对应的像素值与相应的实际识别对象相对应。因此，对于待训练对象分割模型，不仅要学习如何确定包括对象的区域特征，还需要学习如何准确识别出图像中的对象，并对图像中的对象进行准确分类。进而，对于待训练对象分割图像，可以根据第二损失函数对实际分割图像和理论分割图像进行损失处理。从而，可以得到第二损失值。

S350、根据第一损失值和第二损失值，确定目标损失值，并基于目标损失值对待训练对象分割模型的模型参数进行修正，得到目标对象分割模型。

在实际应用中，在得到第一损失值和第二损失值之后，可以分别确定与第一损失值对应的第一权重值以及与第二损失值对应的第二权重值。进而，可以确定第一损失值和第一权重值之间的乘积，得到第一数值，并确定第二损失值和第二权重值之间的乘积，得到第二数值。之后，可以将第一数值和第二数值相加，可以将相加后得到的数值作为目标损失值。

示例性的，目标损失值可以基于如下公式确定：

Loss＝αLoss₁+βLoss₂

其中，Loss可以表示目标损失值；α可以表示第一权重；Loss₁可以表示第一损失值；β可以表示第二权重，α+β＝1；Loss₂可以表示第二损失值。

一般情况下，待训练对象分割模型的模型参数为初始参数或默认参数，在对待训练对象分割模型进行训练时，可以基于待训练对象分割模型的输出结果修正模型中的各项模型参数，也就是说，可以通过对待训练对象分割模型的损失值进行修正，从而，得到目标对象分割模型。

在实际应用中，在利用目标损失值对待训练对象分割模型中的模型参数进行修正时，可以将损失函数收敛作为训练目标，比如，训练误差是否小于预设误差，或误差变化是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明该待训练对象分割模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取其他训练样本以对待训练对象分割模型继续进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，即可将训练完成的待训练对象分割模型作为目标对象分割模型，即，此时将包括待识别对象的待处理道路图像输入至该目标对象分割模型中后，即可准确得到与待处理道路图像相对应的对象分割结果。

S360、接收包括待识别对象的待处理道路图像。

S370、基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像。

S380、基于语义分割图像，确定与待处理道路图像对应的图像处理信息。

本发明实施例的技术方案，通过接收包括待识别对象的待处理道路图像，之后，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，最后，基于语义分割图像，确定与待处理道路图像对应的图像处理信息，解决了相关技术中对于复杂场景中的目标对象的分割效果较差、流程冗余、耗时严重，难以大规模应用到背景复杂的通用场景中等问题，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率，同时，通过轻量级的目标对象分割模型对道路图像进行处理，实现了在低功耗平台对道路图像进行对象分割的效果。

实施例四

图4是本发明实施例四提供的一种道路图像语义分割装置的结构示意图。如图4所示，该装置包括：图像接收模块410、图像处理模块420以及图像处理信息确定模块430。

其中，图像接收模块410，用于接收包括待识别对象的待处理道路图像；图像处理模块420，用于基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像；其中，所述目标对象分割模型包括至少一个目标子模型，所述至少一个目标子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络；所述语义分割图像中包括所述待识别对象对应的语义分割区域；图像处理信息确定模块430，用于基于所述语义分割图像，确定与所述待处理道路图像对应的图像处理信息。

本发明实施例的技术方案，通过接收包括待识别对象的待处理道路图像，之后，基于目标对象分割模型对待处理道路图像进行处理，确定与待处理道路图像对应的语义分割图像，最后，基于语义分割图像，确定与待处理道路图像对应的图像处理信息，解决了相关技术中对于复杂场景中的目标对象的分割效果较差、流程冗余、耗时严重，难以大规模应用到背景复杂的通用场景中等问题，实现了对复杂场景中的目标对象进行准确定位的效果，提高了分割准确率和分割效率，同时，通过轻量级的目标对象分割模型对道路图像进行处理，实现了在低功耗平台对道路图像进行对象分割的效果。

可选的，图像处理模块420包括：特征信息提取单元、特征聚合单元、卷积处理单元、全局特征融合单元以及反卷积处理单元。

特征信息提取单元，用于基于所述特征提取子模型提取所述待处理道路图像的特征信息，得到待处理特征；

特征聚合单元，用于基于所述特征残差子模型对所述待处理特征进行特征聚合，得到待处理聚合特征；

卷积处理单元，用于基于所述可变形卷积子模型对所述待处理聚合特征进行卷积处理，得到待处理卷积特征；

全局特征融合单元，用于基于所述全局信息融合子模型对所述待处理卷积特征进行全局特征融合处理，得到待处理融合特征；

反卷积处理单元，用于基于所述反卷积网络对所述待处理融合特效进行反卷积处理，得到所述语义分割图像。

可选的，所述特征残差子模型包括第一处理模块和第二处理模块，特征聚合单元包括：特征切片处理第一子单元、特征残差处理第二子单元以及拼接处理单元。

特征切片处理子单元，用于基于所述第一处理模块按照预设切片方向和预设切片步长对所述待处理特征进行特征切片处理，得到至少一个特征切片；

特征残差处理第一子单元，用于基于所述第二处理模块按照预设移动方向依次对所述至少一个特征切片进行特征残差处理，得到第一待拼接特征；以及，

特征残差处理第二子单元，用于基于所述第二处理模块按照相反于所述预设移动方向的移动方向依次对所述至少一个特征切片进行特征残差处理，得到第二待拼接特征；

拼接处理单元，用于将所述第一待拼接特征和所述第二待拼接特征进行拼接处理，得到所述待处理聚合特征。

可选的，特征残差处理第一子单元，具体用于依据所述预设移动方向从所述至少一个特征切片中确定出目标特征切片；基于所述第二处理模块对所述目标特征切片进行卷积处理，得到第一特征；对所述第一特征和所述目标特征切片的下一特征切片进行残差处理，得到第二特征，将所述第二特征作为所述目标特征切片，并重复执行卷积处理步骤和残差处理步骤，直至所述目标特征切片为最后一个特征切片，将与所述最后一个特征切片对应的第二特征作为所述第一待拼接特征；其中，所述下一特征切片是依据所述预设移动方向排列在所述目标特征切片的后一位的特征切片。

可选的，所述可变形卷积子模型包括第一卷积层和第二卷积层，卷积处理单元包括：偏移量生成子单元和卷积处理子单元。

偏移量生成子单元，用于基于所述待处理聚合特征和所述第一卷积层，生成目标偏移量；

卷积处理子单元，用于基于所述目标偏移量对所述第二卷积层进行卷积核更新处理，并基于更新后的所述第二卷积层对所述待处理聚合特征进行卷积处理，得到所述待处理卷积特征。

可选的，全局特征融合单元包括：特征筛选子单元、全局特征融合子单元以及融合特征确定子单元。

特征筛选子单元，用于基于所述全局信息融合子模型中的预设特征筛选算法对所述待处理卷积特征进行特征筛选，得到至少一个目标特征向量；

全局特征融合子单元，用于对于各所述目标特征向量，基于所述全局信息融合子模型中部署的预设函数对当前目标特征向量进行处理，得到与所述当前目标特征向量对应的至少一个权重值，并将各所述权重值分别与所述当前目标特征向量相乘，得到至少一个待叠加向量，将所述至少一个待叠加向量相加，得到与所述当前目标特征向量对应的全局信息融合向量；

融合特征确定子单元，用于将所述待处理卷积特征中的各所述目标特征向量更新为相应的全局信息融合向量，并将更新后的待处理卷积特征作为待处理融合特征。

可选的，所述装置还包括：训练样本获取模块、训练样本处理模块、第一损失值确定模块、第二损失值确定模块以及模型参数修正模块。

训练样本获取模块，用于获取多个训练样本，其中，所述训练样本中包括：训练样本图像，所述训练样本图像中包括待识别对象，与所述训练样本图像对应的理论分割图像，所述理论分割图像中包括所述待识别对象对应的理论分割区域；

训练样本处理模块，用于对于各训练样本，将当前训练样本输入至待训练对象分割模型中，得到实际分割图像；其中，所述实际分割图像中包括实际识别对象对应的实际分割区域；

第一损失值确定模块，用于根据第一预设损失函数对所述实际分割图像和所述理论分割图像进行损失处理，得到第一损失值；以及，

第二损失值确定模块，用于根据第二预设损失函数对所述实际分割图像和所述理论分割图像进行损失处理，得到第二损失值；

模型参数修正模块，用于根据所述第一损失值和所述第二损失值，确定目标损失值，并基于所述目标损失值对所述待训练对象分割模型的模型参数进行修正，得到目标对象分割模型。

本发明实施例所提供的道路图像语义分割装置可执行本发明任意实施例所提供的道路图像语义分割方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如道路图像语义分割方法。

在一些实施例中，道路图像语义分割方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的道路图像语义分割方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行道路图像语义分割方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种道路图像语义分割方法，其特征在于，包括：

接收包括待识别对象的待处理道路图像；

基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像；其中，所述目标对象分割模型包括至少一个目标子模型，所述至少一个目标子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络；所述语义分割图像中包括所述待识别对象对应的语义分割区域；

基于所述语义分割图像，确定与所述待处理道路图像对应的图像处理信息。

2.根据权利要求1所述的方法，其特征在于，所述基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像，包括：

基于所述特征提取子模型提取所述待处理道路图像的特征信息，得到待处理特征；

基于所述特征残差子模型对所述待处理特征进行特征聚合，得到待处理聚合特征；

基于所述可变形卷积子模型对所述待处理聚合特征进行卷积处理，得到待处理卷积特征；

基于所述全局信息融合子模型对所述待处理卷积特征进行全局特征融合处理，得到待处理融合特征；

基于所述反卷积网络对所述待处理融合特效进行反卷积处理，得到所述语义分割图像。

3.根据权利要求2所述的方法，其特征在于，所述特征残差子模型包括第一处理模块和第二处理模块，所述基于所述特征残差子模型对所述待处理特征进行特征聚合，得到待处理聚合特征，包括：

基于所述第一处理模块按照预设切片方向和预设切片步长对所述待处理特征进行特征切片处理，得到至少一个特征切片；

基于所述第二处理模块按照预设移动方向依次对所述至少一个特征切片进行特征残差处理，得到第一待拼接特征；以及，

基于所述第二处理模块按照相反于所述预设移动方向的移动方向依次对所述至少一个特征切片进行特征残差处理，得到第二待拼接特征；

将所述第一待拼接特征和所述第二待拼接特征进行拼接处理，得到所述待处理聚合特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第二处理模块按照预设移动方向依次对所述至少一个特征切片进行特征残差处理，得到第一待拼接特征，包括：

依据所述预设移动方向从所述至少一个特征切片中确定出目标特征切片；

基于所述第二处理模块对所述目标特征切片进行卷积处理，得到第一特征；

对所述第一特征和所述目标特征切片的下一特征切片进行残差处理，得到第二特征，将所述第二特征作为所述目标特征切片，并重复执行卷积处理步骤和残差处理步骤，直至所述目标特征切片为最后一个特征切片，将与所述最后一个特征切片对应的第二特征作为所述第一待拼接特征；

其中，所述下一特征切片是依据所述预设移动方向排列在所述目标特征切片的后一位的特征切片。

5.根据权利要求2所述的方法，其特征在于，所述可变形卷积子模型包括第一卷积层和第二卷积层，所述基于所述可变形卷积子模型对所述待处理聚合特征进行卷积处理，得到待处理卷积特征，包括：

基于所述待处理聚合特征和所述第一卷积层，生成目标偏移量；

基于所述目标偏移量对所述第二卷积层进行卷积核更新处理，并基于更新后的所述第二卷积层对所述待处理聚合特征进行卷积处理，得到所述待处理卷积特征。

6.根据权利要求2所述的方法，其特征在于，所述基于所述全局信息融合子模型对所述待处理卷积特征进行全局特征融合处理，得到待处理融合特征，包括：

基于所述全局信息融合子模型中的预设特征筛选算法对所述待处理卷积特征进行特征筛选，得到至少一个目标特征向量；

对于各所述目标特征向量，基于所述全局信息融合子模型中部署的预设函数对当前目标特征向量进行处理，得到与所述当前目标特征向量对应的至少一个权重值，并将各所述权重值分别与所述当前目标特征向量相乘，得到至少一个待叠加向量，将所述至少一个待叠加向量相加，得到与所述当前目标特征向量对应的全局信息融合向量；

将所述待处理卷积特征中的各所述目标特征向量更新为相应的全局信息融合向量，并将更新后的待处理卷积特征作为待处理融合特征。

7.根据权利要求1所述的方法，其特征在于，还包括：

获取多个训练样本，其中，所述训练样本中包括：训练样本图像，所述训练样本图像中包括待识别对象，与所述训练样本图像对应的理论分割图像，所述理论分割图像中包括所述待识别对象对应的理论分割区域；

对于各训练样本，将当前训练样本输入至待训练对象分割模型中，得到实际分割图像；其中，所述实际分割图像中包括实际识别对象对应的实际分割区域；

根据第一预设损失函数对所述实际分割图像和所述理论分割图像进行损失处理，得到第一损失值；以及，

根据第二预设损失函数对所述实际分割图像和所述理论分割图像进行损失处理，得到第二损失值；

根据所述第一损失值和所述第二损失值，确定目标损失值，并基于所述目标损失值对所述待训练对象分割模型的模型参数进行修正，得到目标对象分割模型。

8.一种道路图像语义分割装置，其特征在于，包括：

图像接收模块，用于接收包括待识别对象的待处理道路图像；

图像处理模块，用于基于目标对象分割模型对所述待处理道路图像进行处理，确定与所述待处理道路图像对应的语义分割图像；其中，所述目标对象分割模型包括至少一个目标子模型，所述至少一个目标子模型包括特征提取子模型、特征残差子模型、可变形卷积子模型、全局信息融合子模型以及反卷积网络；所述语义分割图像中包括所述待识别对象对应的语义分割区域；

图像处理信息确定模块，用于基于所述语义分割图像，确定与所述待处理道路图像对应的图像处理信息。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的道路图像语义分割方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的道路图像语义分割方法。