CN114495044A - 标牌识别方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本申请提供一种标牌识别方法、装置、计算机设备以及存储介质，所述方法包括：获取待检测图像；基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。采用本方法，不仅可使标牌识别准确率得以提高，从而获取到更准确的道路编号和历程数值完善道路的标牌信息、提升地图的构建精度，还可节省人力成本。

Description

标牌识别方法、装置、计算机设备以及存储介质

技术领域

本申请涉及人工智能技术领域，具体涉及一种标牌识别方法、装置、计算机设备以及存储介质。

背景技术

人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，可使机器具有感知、推理与决策的功能。随着人工智能技术的快速发展，基于计算机视觉技术的图像识别功能在图像处理领域所占的比重越来越大，越来越多应用场景的基础设施开始采用这类图像识别功能构建，例如自动驾驶场景中的地图，即需采用上述图像识别功能从海量数据中识别出各种交通标牌，用以构建高精度地图。

然而，现有针对地图构建的图像识别技术，仅能稳定识别出相对大尺寸的交通要素，在面对道路标牌等小尺寸交通要素时，并不能稳定识别出其所含信息，尤其是高速路中的重要标牌-里程碑，因其在被采集的整张图片中仅占0.3％不到，故采用现有的图像识别技术提取标牌有用信息的难度极大，标牌识别准确率不高。

发明内容

基于此，本申请有必要针对上述技术问题，提供一种标牌识别方法、装置、计算机设备以及存储介质，用以提高标牌识别准确率。

第一方面，本申请提供一种标牌识别方法，所述图像处理包括：

获取待检测图像；

基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；

根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；

基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

在本申请一些实施例中，所述根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像的步骤，包括：

根据所述待检测图像中的标牌标识，提取所述待检测图像中的标牌图像；

对所述标牌图像进行滤波锐化处理，得到锐化后的标牌图像；

对所述锐化后的标牌图像进行调整处理，得到调整后的标牌图像；

对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像。

在本申请一些实施例中，所述对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像的步骤，包括：

确定所述调整后的标牌图像对应的图像切分信息，所述图像切分信息包括切分数量信息和切分尺寸信息中的至少一个；

根据所述图像切分信息，对所述调整后的标牌图像进行切分处理，得到至少两个标牌切分图像；

确定所述至少两个标牌切分图像，作为所述处理后的标牌图像。

在本申请一些实施例中，在所述基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识之前，所述方法还包括：

构建初始的标牌标识检测模型；

获取样本图像集，所述样本图像集包括多个已标注标牌标识的样本图像，所述标牌标识为满足预设条件的道路标牌标识；

将所述样本图像集输入至所述初始的标牌标识检测模型进行训练，得到所述已训练的标牌标识检测模型。

在本申请一些实施例中，所述获取样本图像集的步骤，包括：

获取行车记录视频；

对所述行车记录视频进行抽帧，得到多个视频图像；

获取各个所述视频图像被用户操作的标注信息，所述标注信息包括所述道路标牌标识；

确定已标注所述道路标牌标识的视频图像，作为候选样本图像；

根据所述候选样本图像中的道路标牌标识，获取所述样本图像集。

在本申请一些实施例中，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：

根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；

若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；

对标注有所述标牌标识的样本图像进行变换处理，以获取所述样本图像对应的第一样本变换图像，所述变换处理至少包括以下之一：翻转处理、模糊处理、旋转处理、切割处理；

获取所述样本图像和所述第一样本变换图像，得到所述样本图像集。

在本申请一些实施例中，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：

根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；

若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；

根据所述样本图像中的标牌标识，提取所述样本图像中的标牌样本图像；

基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集，所述非候选样本图像为未标注所述道路标牌标识的视频图像。

在本申请一些实施例中，所述基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集的步骤，包括：

获取所述样本图像和所述非候选样本图像中的灭点信息；

根据所述灭点信息，分别确定所述样本图像和所述非候选样本图像中的道路区域；

基于所述道路区域对应的边缘空白区域，在所述样本图像和所述非候选样本图像中覆盖粘贴所述标牌样本图像，得到所述样本图像对应的第二样本变换图像和处理后的非候选样本图像；

获取所述样本图像、所述第二样本变换图像以及所述处理后的非候选样本图像，得到所述样本图像集。

第二方面，本申请提供一种标牌识别装置，所述图像处理包括：

图像获取模块，用于获取待检测图像；

图像检测模块，用于基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；

图像处理模块，用于根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；

图像识别模块，用于基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

第三方面，本申请还提供一种计算机设备，其包括处理器和存储器，存储器存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。

第四方面，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。

上述标牌识别方法、装置、计算机设备以及存储介质，通过已训练的标牌标识检测模型对待检测图像进行标牌标识检测，以获取待检测图像中的标牌标识来获取待检测图像中的标牌图像，从而对标牌图像进行处理，使其图像质量在输入至标牌信息识别模型进行标牌信息识别之前得到改善，促使标牌信息识别模型输出的标牌信息更加准确。本方法结合检测模型和识别模型分析待检测图像，可实现对标牌信息的精准识别，同时在识别标牌信息之前对标牌图像进行处理，不仅能够获取到更准确的道路编号和历程数值来完善道路的标牌信息、提升地图构建精度，还能节省人力成本，降低图像分析的人力消耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中标牌识别方法的场景示意图；

图2是本申请实施例中标牌识别方法的流程示意图；

图3是本申请实施例中样本图像集的样本示意图；

图4是本申请实施例中标牌检测识别步骤的具体流程示意图；

图5是本申请实施例中标牌识别装置的结构示意图；

图6是本申请实施例中计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

在本申请实施例中，标牌识别方法主要涉及人工智能(ArtificialIntelligence，AI)中的计算机视觉技术(Computer Vision，CV)和自然语言处理技术(Nature Language processing，NLP)。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请中，针对待检测图像，CV主要实现图像语义理解(Image Semantic Understanding，ISU)中图像检测(Image detection)、图像识别(ImageIdentification)下的目标对象识别(Target recognition)，对图像中的目标对象进行识别预测并输出预测结果。可以理解的是，该目标对象可以是由实际业务需求确定的任意对象，如人、车辆、车牌等人或物。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

在本申请实施例中，需要说明的是，本申请提供的标牌识别方法由于是在计算机设备中执行，各计算机设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便计算机设备进行处理，具体此处不作赘述。

在本申请实施例中，还需说明的是，本申请实施例提供的标牌识别方法，可以应用于如图1所示的标牌识别系统中。其中，该标牌识别系统包括终端100和服务器200，终端100可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑等中的一种，又或是安装于监控现场用于信息采集、存储、传输的摄像头。服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(CloudComputing)的大量计算机或网络服务器构成。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个服务器200，可以理解的，该标牌识别系统还可以包括一个或多个其他服务器，具体此处不作限定。另外，如图1所示，该标牌识别系统还可以包括存储器，用于存储数据，如存储视频监控数据。

最后需要说明的是，图1所示标牌识别系统的场景示意图仅仅是一个示例，本发明实施例描述的标牌识别系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着标牌识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

参阅图2，本申请实施例提供了一种标牌识别方法，主要以该方法应用于上述图1中的服务器200来举例说明，该方法包括步骤S201～S204，具体如下：

S201，获取待检测图像。

其中，待检测图像是指需要检测识别标牌信息的图像，包括但不局限于图片、视频内的视频帧等；视频包括但不局限于短视频、长视频等，短视频可以是长度小于10分钟的视频，长视频可以是长度大于10分钟的视频；短视频或长视频具体可以是由道路监控摄像头采集的视频，也可以是由行车记录仪采集的视频，又或者是无人机、手持或可控设备等采集的道路街景、高速路况视频，因此待检测图像可以是行车记录仪采集的行驶图像、道路监控摄像头采集的路况图像、其他设备采集的街景图像和路况图像等等。

具体地，服务器200获取待检测图像之前，可先通过预设渠道获取目标视频，该目标视频可以是通过上文所述机器设备采集的视频，获取目标视频的时刻可以是预设的周期性时刻，也可以是预设的指定时刻，获取目标视频的方式可以是通过发送请求的方式来主动获取，也可以是通过信息安全验证的方式来被动接收，基于该目标视频进行抽帧后得到的多帧视频图像，即可作为后续用于输入至已训练的标牌标识检测模型的待检测图像，输入方式可以是逐帧输入，也可以是以视频帧组的方式组合输入，具体可根据实际应用需求设定，本申请实施例不做限定。

S202，基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识。

其中，标牌标识检测模型可以是具有卷积层(Convolutional layer)的神经网络模型，标牌标识检测模型用于针对待检测图像中的标牌标识进行检测处理。卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的，卷积运算的目的是提取输入的不同特征。标牌标识可以是道路标牌的标识，如高速路上的里程碑这类具有道路编号和/或历程数值的道路标牌。标牌标识在待检测图像中具体可以是部分区域内的所有像素的合集，但不排除待检测图像中可能包含除标牌标识之外其他东西的像素集合。

具体地，服务器200获得待检测图像之后，可将待检测图像输入至已训练的标牌标识检测模型，由于标牌标识检测模型在前序步骤中已利用预先标注有标牌标识的样本图像训练过，使得标牌标识检测模型在训练过程中学习到了检测标牌标识的能力，因此将待检测图像输入至已训练的标牌标识检测模型后，若待检测图像中包含标牌标识，则已训练的标牌标识检测模型将会输出标出了标牌标识的待检测图像。其中，模型标注类型可以是边线框标注，即在待检测图像中标牌标识所在位置采用边线框的样式标出。本实施例涉及的样本图像获取步骤以及模型训练步骤将在下文详细描述。

在一种实施例中，为了对待检测图像进行标牌标识检测处理，以获取待检测图像中的标牌标识做后续分析处理，就需要预先对标牌标识检测模型进行模型训练，得到已训练的标牌标识检测模型，此时，本步骤在对所述待检测图像进行标牌标识检测处理之前，还包括：构建初始的标牌标识检测模型；获取样本图像集，所述样本图像集包括多个已标注标牌标识的样本图像，所述标牌标识为满足预设条件的道路标牌标识；将所述样本图像集输入至所述初始的标牌标识检测模型进行训练，得到所述已训练的标牌标识检测模型。

其中，初始的标牌标识检测模型可以是经过预训练的神经网络模型，也可以是未经预训练的神经网络模型，标牌标识检测模型具有卷积层(Convolutional layer)；样本图像可以是用于训练检测模型且标注有标牌标识的图像，标牌标识在本实施例中可以是标识尺寸满足预设条件的道路标牌标识，例如里程碑标识。

具体地，服务器200利用已训练的标牌标识检测模型对待检测图像进行标牌标识检测处理之前，首先需构建初始的标牌标识检测模型，若该初始的标牌标识检测模型是经过预置图像训练集预训练的神经网络模型，则会具备一定初始化参数，在后续训练过程中可省略部分模型训练流程，节省模型训练时间；若该初始的标牌标识检测模型是未经预训练的神经网络模型，则需获取并利用样本图像集对其进行完整训练，直至其具备标牌标识检测能力。可以理解的是，上述预置图像训练集可以是预置的与样本图像集具有相同性质的图像集合，即图像训练集的选取不是随机的，而是偏向有利于模型获取到适合后续图像检测的模型参数的选取。

更具体地，服务器200获取到的样本图像是包括多个已标注标牌标识的样本图像，各个样本图像中的标牌标识可通过边线框的样式标出，标注工具可以是基于Python语言编写的labellmg，其支持在Windows、Linux等跨平台运行，且对于指定的目标对象可通过可视化的操作界面进行画框标注标出。

需要说明的是，本申请实施例涉及的样本图像，实际是经过图像筛选预处理后的图像，即服务器200在获取样本图像集之前，首先要获取多个未标注任何标识的初始图像，然后基于本申请实际应用场景，对各个初始图像中的道路标牌标识(如里程碑标识)进行标注，此时标注有道路标牌标识的初始图像不一定是样本图像，而是道路标牌标识满足预设条件的初始图像，筛选出道路标牌标识满足预设条件的初始图像，即可得到样本图像。此时，样本图像中的标牌标识可以是满足预设像素条件的道路标牌标识，将已标注标牌标识的样本图像集输入至初始的标牌标识检测模型，服务器200会按照预设命令对模型进行训练，训练完成的标牌标识检测模型即可具备标牌标识检测能力，对于后续输入至模型中的图片，可检测出其中是否包含前期学习到的标牌标识，并在检测出的情况下标注出该标牌标识。

在一种实施例中，所述获取样本图像集的步骤，包括：获取行车记录视频；对所述行车记录视频进行抽帧，得到多个视频图像；获取各个所述视频图像被用户操作的标注信息，所述标注信息包括所述道路标牌标识；确定已标注所述道路标牌标识的视频图像，作为候选样本图像；根据所述候选样本图像中的道路标牌标识，获取所述样本图像集。

具体地，上述实施例已提到过待检测图像的来源可以是道路监控摄像头采集的视频，也可以是由行车记录仪采集的视频，又或者是无人机、手持或可控设备等采集的道路街景、高速路况视频，则可以理解的是，本申请实施例涉及的样本图像，同样可以是由上述几种途径所采集视频处理后得到的，虽然本实施例仅对行车记录仪采集的视频-行车记录视频分析获取样本图像集，但不排除在其他实施例中采用的是其他视频分析获取样本图像集，具体本申请实施例不做限定。

更具体地，服务器200获取样本图像集之前，可先通过图像处理工具对定期或实时获取到的行车记录视频进行抽帧，以获取多个视频图像处理得到样本图像。如利用工具OpenCV(OpenCV是一个跨平台计算机视觉和机器学习软件库)或工具ffmpeg(ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)等对视频进行抽帧，抽帧频率可以是一秒一次也可以是一秒多次，抽帧数量可以是一次一帧也可以是一次多帧，具体本申请实施例不作限定。服务器200得到视频图像之后，可通过终端100获取各个视频图像被用户操作的标注信息，标注信息包括道路标牌标识，此时，可将部分或全部标注有道路标牌标识的视频图像作为候选样本图像，将部分未标注道路标牌标识的视频图像剔除。本实施例所涉及根据候选样本图像中的道路标牌标识获取样本图像集的步骤将在下文进行详细描述。

在一种实施例中，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；对标注有所述标牌标识的样本图像进行变换处理，以获取所述样本图像对应的第一样本变换图像，所述变换处理至少包括以下之一：翻转处理、模糊处理、旋转处理、切割处理；获取所述样本图像和所述第一样本变换图像，得到所述样本图像集。

其中，像素是指基本原色素及其灰度的基本编码，其是构成数码影像的基本单元，通常以像素每英寸PPI(pixels per inch)为单位来表示影像分辨率的大小；像素阈值可以是预先设定用于判定道路标牌标识是否可作为后续分析基础的像素临界值，像素阈值的设定取决于不同尺寸图像的识别难度。

具体地，服务器200得到候选样本图像之后，可针对候选样本图像中已标注的道路标牌标识提取道路标牌图像，即提取道路标牌标识四周边线框区域内的像素合集，作为道路标牌图像。针对各个道路标牌图像，服务器200首先需获取图像对应的像素信息，并将各个道路标牌图像的像素信息与预设的像素阈值进行匹配，若某个道路标牌图像的像素信息小于或等于预设的像素阈值，则可判定该道路标牌图像对应的道路标牌标识满足预设条件，该道路标牌图像对应的候选样本图像可作为样本图像，同时该道路标牌图像中的道路标牌标识可作为标牌标识。

更具体地，服务器200分析各个候选样本图像中的道路标牌标识，并确定了所有候选样本图像中的样本图像之后，可针对各个样本图像进行翻转处理、模糊处理、旋转处理、切割处理，得到基于不同处理方式处理后的第一样本变换图像，最终整合该第一样本变换图像及其对应的样本图像，即可得到样本图像集，上述过程称为数据增广过程，目的在于获取海量样本图像训练检测模型。

在一种实施例中，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；根据所述样本图像中的标牌标识，提取所述样本图像中的标牌样本图像；基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集，所述非候选样本图像为未标注所述道路标牌标识的视频图像。

具体地，上一个实施例详细说明了获取样本图像集的第一种方式，本实施例将说明获取样本图像集的第二种方式，即提供第二种数据增广方案，其与上一个实施例的不同之处在于，上一个实施例中提出在筛选出了候选样本图像中的样本图像之后，对标注有标牌标识的样本图像进行变换处理，以获取样本图像变换后的第一样本变化图像，整合两部分图像得到样本图像集。然而，本实施例提出在筛选出候选样本图像中的样本图像之后，首先提取各个样本图像中标牌标识对应的标牌样本图像，然后利用标牌样本图像对各个标注有标牌标识的样本图像进行标牌粘贴处理，同时利用标牌样本图像对各个未标注道路标牌标识的非候选样本图像进行标牌粘贴处理，使得样本图像和非候选样本图像中均具有像素信息满足预设条件的标牌标识，实现对训练样本数据的增广效果。本实施例中说明的第二种采样方式和上一个实施例中说明的第一种采样方式，相对现有简单复制粘贴的重复采样技术而言，采样效率更高、样本质量更加稳定，对提升图像标牌识别准确率提供了较大帮助。本实施例中涉及的标牌粘贴处理步骤将在下文进行详细描述。

在一种实施例中，所述基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集的步骤，包括：获取所述样本图像和所述非候选样本图像中的灭点信息；根据所述灭点信息，分别确定所述样本图像和所述非候选样本图像中的道路区域；基于所述道路区域对应的边缘空白区域，在所述样本图像和所述非候选样本图像中覆盖粘贴所述标牌样本图像，得到所述样本图像对应的第二样本变换图像和处理后的非候选样本图像；获取所述样本图像、所述第二样本变换图像以及所述处理后的非候选样本图像，得到所述样本图像集。

其中，灭点是在透视投影中，两条或多条代表平行线线条向远处地平线(HORIZONLINE)伸展直至聚合的那一点，如图3所示图像中已标出了灭点。

具体地，服务器200除了可利用样本图像分析获取第一样本变化图像来获取样本图像集之外，还可针对标注有标牌标识的样本图像和未标注道路标牌标识的视频图像-非候选样本图像进行分析处理，以使样本图像增广至满足模型训练数量需求的样本图像集，此类样本图像集获取方式包括：服务器200或用户可首先分析确定各个样本图像和非候选样本图像中的灭点信息，灭点信息的确定需要运用透视成像技术；如果是平行透视，则只有一个灭点在对象中间的后方，确定方法是延长物体左右纵深的两条有会聚趋势的线，向后方会聚于一点；如果是成角透视，则有两个灭点在对象的两侧的后方，确定方法是分别延长物体左右两方的有会聚趋势的四条线，两两交于对象左右两边的后方，形成两个灭点。其中，凡是平行于画面的直线都没有灭点，凡是与画面有一定角度的一组平行线，都有灭点，但如果这个角度是90度，就是平行透视，否则是成角透视。

更具体地，服务器200确定了各个样本图像和非候选样本图像中的灭点信息之后，可基于各个图像中的灭点进一步确定图像中的道路区域，例如图3所示的三角区域，是根据人工对采集到的图片粗略估计三角形底边位置，再划分三角区域形成的道路区域。又或是，可以建立模型来更精确分割道路区域，区域分割方法可通过模型训练实现。服务器200确定了各个样本图像和非候选样本图像中的灭点信息及道路区域之后，可将预先经过模糊、旋转、缩放等操作处理后的标牌样本图像，非重叠地粘贴于样本图像和非候选样本图像中，并具体粘贴至图像中道路区域边缘的图像空白区域，如图3所示，从而得到样本图像被粘贴后的第二样本变换图像，以及处理后的非候选样本图像。最终，样本图像、第二样本变换图像以及处理后的非候选样本图像，即可整合作为样本图像集。可以理解的是，上述粘贴处理操作实际可通过具有交互界面的终端100执行，即意图获取标牌信息的工作人员可通过终端100进行图像的插空粘贴，以使至少两张图片融合为一张。

S203，根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像。

具体地，在后续图像识别过程中，并不是对待检测图像的所有区域都输入模型，而是将待检测图像中的部分区域-标牌图像输入模型进行识别，同时在本实施例中将说明并非直接将待检测图像中的标牌图像输入至模型，而是先对标牌图像进行处理，得到处理后的标牌图像可输入至模型进行标牌信息识别。本实施例中涉及的标牌图像处理步骤将在下文进行详细描述。

在一种实施例中，本步骤包括：根据所述待检测图像中的标牌标识，提取所述待检测图像中的标牌图像；对所述标牌图像进行滤波锐化处理，得到锐化后的标牌图像；对所述锐化后的标牌图像进行调整处理，得到调整后的标牌图像；对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像。

其中，空间变换网络(Spatial Transformer Networks，STNs)是一种卷积神经网络架构模型，通过变换输入的图片，降低受到数据在空间上多样性的影响，来提高卷积网络模型的分类准确率，而不是通过改变网络结构。STNs能够自适应地对数据进行空间变换和对齐，使得模型对平移、缩放、旋转或者其它变换等保持不变性。

具体地，在图像处理领域，锐化处理的主要目的是突出图像中的细节，或者增强被模糊了的细节，锐化处理从逻辑角度考虑可以用空间微分来实现，而空间微分不可避免需要选定微分算子，如Sobel算子、Robers算子、Laplace算子等。其中，若采用Laolace算子，那么它的应用强调图像中灰度的突变及降低灰度慢变化的区域，能够产生一幅把图像中的浅灰色边线和突变点叠加到暗背景中的图像，使得图像数字边缘更加清晰，提高图像标牌识别精度。

更具体地，本申请实施例提出采用滤波方式对待检测图像中的标牌图像进行锐化处理，标牌图像可从待检测图像中切出，由于切出的标牌图像可能存在一定角度倾斜，因此需采用滤波方式对标牌图像进行滤波锐化处理，得到锐化后的标牌图像，而针对锐化后的标牌图像，可通过空间变换网络进行旋转调整，使其角度中正而作为调整后的标牌图像。最后，由于本申请实施例涉及的标牌图像包括里程碑图像，里程碑通常包含道路编号和里程数值两种信息，因此本实施例中提出在对待检测图像中的标牌标识进行标牌信息识别之前，不仅需要提取待检测图像中的标牌图像并进行滤波锐化、调整处理，还需针对调整后的标牌图像进行切分处理，即根据里程碑图像中的信息分布位置进行切图，切分尺寸以及切分数量均由里程碑图像中的信息分布位置确定，具体涉及的切分处理步骤将在下文进行详细描述。

在一种实施例中，所述对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像的步骤，包括：确定所述调整后的标牌图像对应的图像切分信息，所述图像切分信息包括切分数量信息和切分尺寸信息中的至少一个；根据所述图像切分信息，对所述调整后的标牌图像进行切分处理，得到至少两个标牌切分图像；确定所述至少两个标牌切分图像，作为所述处理后的标牌图像。

其中，切分数量信息是指调整后的标牌图像被切分后的图像数量，例如，2、4、6等；切分尺寸信息是指调整后的标牌图像被切分后的图像尺寸，例如，1英寸25mm×35mm、像素2560X1920等。

具体地，包括里程碑图像的标牌图像在调整并切分后，可得至少两个标牌切分图像，包括道路编号图像以及历程数值图像，即作为处理后的标牌图像用于后续标牌信息识别处理。可以理解的是，虽然本申请实施例中是针对里程碑图像的信息分布位置进行解释说明，但不排除在其他实施例中，里程碑图像还包括除道路编号和历程数值之外的信息，即处理后的标牌图像不一定是两个，具体本申请实施例不做限定。

S204，基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

其中，标牌信息识别模型可以是卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(Recurrent Neural Network，RNN)的结合，即卷积循环神经网络模型(Convolutional Recurrent Neural Network，CRNN)，CRNN模型包括卷积层、循环层和转录层三个组成部分，可用于文本处理。

具体地，本申请实施例提供的标牌信息识别模型在针对处理后的标牌图像进行标牌信息识别处理时，不需要进行字符分割和水平缩放操作，只需要垂直方向缩放到固定长度即可。CRNN模型的卷积层实际是一个普通的CNN网络，用于提取输入图像的卷积特征图(Convolutional feature maps)，即将图像转换为卷积特征矩阵；CRNN模型的循环层是一个深层双向长短期记忆网络(Long short-term memory，LSTM)网络，在卷积特征的基础上继续提取文字序列特征，并可以识别任意长度的序列，循环层的输出为预测的序列结果；CRNN模型的转录层是将预测结果转换成标签序列，即根据每帧预测的标签分布找到具有最高概率的标签序列。例如，将“-hh-e-l-ll-oo-”(“-”表示空白标签)映射到“hello”，这一转录过程是先删除了重复的标签，然后删除了空白标签。

上述实施例提供了一种标牌识别方法，通过已训练的标牌标识检测模型对待检测图像进行标牌标识检测处理，以获取待检测图像中的标牌标识来获取待检测图像中的标牌图像，从而对标牌图像进行处理，使其图像质量在输入至标牌信息识别模型进行标牌信息识别处理之前得到改善，促使标牌信息识别模型输出的标牌信息更加准确。本方法结合检测模型和识别模型分析待检测图像，可实现对标牌信息的精准识别，且在识别标牌信息之前对标牌图像进行处理，不仅能够获取到更准确的道路编号和历程数值来完善道路的标牌信息、提升地图构建精度，还能节省人力成本，降低图像分析的人力消耗。同时，本方法还提供了两种不同的采样方式，不仅能够节省采样流程、提高采样效率，还能获取到满足实际业务需求精确度的样本图像，促使模型训练效果更佳，进而提升标牌识别准确率。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

为使本领域技术人员充分理解本申请提出的标牌识别方法，本申请实施例还提供一种应用场景，该应用场景应用上述的方法。具体地，该方法在该应用场景的应用可参阅图4，结合图4可知其流程如下：

本实施例中主要针对小尺寸的里程碑标牌进行解释说明。

首先，服务器200在对待检测图像进行标牌标识检测以及标牌信息识别之前，需要预先获取并根据图片流来构建样本图像集，以利用样本图像集对标牌标识检测模型进行训练，使之具备标牌标识检测能力。其中，针对图片流来构建样本图像集的过程已在上述实施例中详细说明，即包括利用样本图像进行重复采样的第一种方式，以及利用样本图像和非候选样本图像进行随机粘贴采样(Milestone-Paster)的第二种方式；待检测图像可以是包含高速路实景的图像，标牌是里程碑标牌，标牌标识检测模型可以是具有卷积结构的神经网络模型。

然后，服务器200控制标牌标识检测模型训练完成，得到已训练的标牌标识检测模型，即可针对当前所获需要检测识别的待检测图像进行标牌标识检测，以使模型输出待检测图像中的标牌标识。为了提升图像标牌识别准确率，本申请实施例提出在将检测结果输入至标牌信息识别模型之前，还需对检测结果进行预处理，即对待检测图像中标牌标识对应的标牌图像进行锐化和空间变换处理，得到处理后的标牌图像方可输入至标牌信息识别模型，使之对处理后的标牌图像进行标牌信息识别，输出待检测图像中的标牌信息，即里程碑图像中的道路编号和历程数值。

最后，得到所有待检测图像中的道路编号和历程数值，即可完善高速路信息，从而构建高精度地图。

有益效果：通过已训练的标牌标识检测模型对待检测图像进行标牌标识检测处理，以获取待检测图像中的标牌标识来获取待检测图像中的标牌图像，从而对标牌图像进行处理，使其图像质量在输入至标牌信息识别模型进行标牌信息识别处理之前得到改善，促使标牌信息识别模型输出的标牌信息更加准确。本方法结合检测模型和识别模型分析待检测图像，可实现对标牌信息的精准识别，且在识别标牌信息之前对标牌图像进行处理，不仅能够获取到更准确的道路编号和历程数值来完善道路的标牌信息、提升地图构建精度，还能节省人力成本，降低图像分析的人力消耗。同时，本方法还提供了两种不同的采样方式，不仅能够节省采样流程、提高采样效率，还能获取到满足实际业务需求精确度的样本图像，促使模型训练效果更佳，进而提升标牌识别准确率。

为了更好实施本申请实施例提供的标牌识别方法，在标牌识别方法基础之上，本申请实施例还提供一种标牌识别装置500，如图5所示，所述标牌识别装置500包括：

图像获取模块502，用于获取待检测图像；

图像检测模块504，用于基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；

图像处理模块506，用于根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；

图像识别模块508，用于基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

在一种实施例中，图像处理模块506还用于根据所述待检测图像中的标牌标识，提取所述待检测图像中的标牌图像；对所述标牌图像进行滤波锐化处理，得到锐化后的标牌图像；基于空间变换网络对所述锐化后的标牌图像进行调整处理，得到调整后的标牌图像；对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像。

在一种实施例中，图像处理模块506还用于确定所述调整后的标牌图像对应的图像切分信息，所述图像切分信息包括切分数量信息和切分尺寸信息中的至少一个；根据所述图像切分信息，对所述调整后的标牌图像进行切分处理，得到至少两个标牌切分图像；确定所述至少两个标牌切分图像，作为所述处理后的标牌图像。

在一种实施例中，标牌识别装置500还包括模型训练模块503，用于构建初始的标牌标识检测模型；获取样本图像集，所述样本图像集包括多个已标注标牌标识的样本图像，所述标牌标识为满足预设条件的道路标牌标识；将所述样本图像集输入至所述初始的标牌标识检测模型进行训练，得到所述已训练的标牌标识检测模型。

在一种实施例中，模型训练模块503还用于获取行车记录视频；对所述行车记录视频进行抽帧，得到多个视频图像；获取各个所述视频图像被用户操作的标注信息，所述标注信息包括所述道路标牌标识；确定已标注所述道路标牌标识的视频图像，作为候选样本图像；根据所述候选样本图像中的道路标牌标识，获取所述样本图像集。

在一种实施例中，模型训练模块503还用于根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；对标注有所述标牌标识的样本图像进行变换处理，以获取所述样本图像对应的第一样本变换图像，所述变换处理至少包括以下之一：翻转处理、模糊处理、旋转处理、切割处理；获取所述样本图像和所述第一样本变换图像，得到所述样本图像集。

在一种实施例中，模型训练模块503还用于根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；根据所述样本图像中的标牌标识，提取所述样本图像中的标牌样本图像；基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集，所述非候选样本图像为未标注所述道路标牌标识的视频图像。

在一种实施例中，模型训练模块503还用于获取所述样本图像和所述非候选样本图像中的灭点信息；根据所述灭点信息，分别确定所述样本图像和所述非候选样本图像中的道路区域；基于所述道路区域对应的边缘空白区域，在所述样本图像和所述非候选样本图像中覆盖粘贴所述标牌样本图像，得到所述样本图像对应的第二样本变换图像和处理后的非候选样本图像；获取所述样本图像、所述第二样本变换图像以及所述处理后的非候选样本图像，得到所述样本图像集。

上述实施例中，结合检测模型和识别模型分析待检测图像，不仅能够获取到更准确的道路编号和历程数值来完善道路的标牌信息、提升地图构建精度，还能节省人力成本，降低图像分析的人力消耗。同时，还提供了两种不同的采样方式，不仅能够节省采样流程、提高采样效率，还能满足实际应用中的业务需求，促使模型训练效果更佳，进而提升标牌识别准确率。

在本申请一些实施例中，标牌识别装置500可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该标牌识别装置500的各个程序模块，比如，图5所示的图像获取模块502、图像检测模块504、图像处理模块506以及图像识别模块508。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的标牌识别方法中的步骤。

例如，图6所示的计算机设备可以通过如图5所示的标牌识别装置500中的图像获取模块502执行步骤S201。计算机设备可通过图像检测模块504执行步骤S202。计算机设备可通过图像处理模块506执行步骤S203。计算机设备可通过图像识别模块508执行步骤S204。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种标牌识别方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请一些实施例中，提供了一种计算机设备，包括一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述标牌识别方法的步骤。此处标牌识别方法的步骤可以是上述各个实施例的标牌识别方法中的步骤。

在本申请一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器进行加载，使得处理器执行上述标牌识别方法的步骤。此处标牌识别方法的步骤可以是上述各个实施例的标牌识别方法中的步骤。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。由于该存储介质中所存储的指令，可以执行本申请实施例提供的任一种方法中的步骤，因此，可以实现本申请实施例提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例提供的一种标牌识别方法、装置、计算机设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种标牌识别方法，其特征在于，所述方法包括：

获取待检测图像；

基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；

根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；

基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

2.如权利要求1所述的标牌识别方法，其特征在于，所述根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像的步骤，包括：

根据所述待检测图像中的标牌标识，提取所述待检测图像中的标牌图像；

对所述标牌图像进行滤波锐化处理，得到锐化后的标牌图像；

对所述锐化后的标牌图像进行调整处理，得到调整后的标牌图像；

对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像。

3.如权利要求2所述的标牌识别方法，其特征在于，所述对所述调整后的标牌图像进行切分处理，得到所述处理后的标牌图像的步骤，包括：

确定所述调整后的标牌图像对应的图像切分信息，所述图像切分信息包括切分数量信息和切分尺寸信息中的至少一个；

根据所述图像切分信息，对所述调整后的标牌图像进行切分处理，得到至少两个标牌切分图像；

确定所述至少两个标牌切分图像，作为所述处理后的标牌图像。

4.如权利要求1所述的标牌识别方法，其特征在于，在所述基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识之前，所述方法还包括：

构建初始的标牌标识检测模型；

获取样本图像集，所述样本图像集包括多个已标注标牌标识的样本图像，所述标牌标识为满足预设条件的道路标牌标识；

将所述样本图像集输入至所述初始的标牌标识检测模型进行训练，得到所述已训练的标牌标识检测模型。

5.如权利要求4所述的标牌识别方法，其特征在于，所述获取样本图像集的步骤，包括：

获取行车记录视频；

对所述行车记录视频进行抽帧，得到多个视频图像；

获取各个所述视频图像被用户操作的标注信息，所述标注信息包括所述道路标牌标识；

确定已标注所述道路标牌标识的视频图像，作为候选样本图像；

根据所述候选样本图像中的道路标牌标识，获取所述样本图像集。

6.如权利要求5所述的标牌识别方法，其特征在于，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：

根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；

若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；

对标注有所述标牌标识的样本图像进行变换处理，以获取所述样本图像对应的第一样本变换图像，所述变换处理至少包括以下之一：翻转处理、模糊处理、旋转处理、切割处理；

获取所述样本图像和所述第一样本变换图像，得到所述样本图像集。

7.如权利要求5所述的标牌识别方法，其特征在于，所述根据所述候选样本图像中的道路标牌标识，获取所述样本图像集的步骤，包括：

根据所述候选样本图像中的道路标牌标识，提取所述候选样本图像中的道路标牌图像；

若所述道路标牌图像的像素信息小于或等于预设的像素阈值，则判定所述道路标牌标识满足预设条件，并将所述道路标牌标识确定为所述标牌标识，将所述候选样本图像确定为所述样本图像；

根据所述样本图像中的标牌标识，提取所述样本图像中的标牌样本图像；

基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集，所述非候选样本图像为未标注所述道路标牌标识的视频图像。

8.如权利要求7所述的标牌识别方法，其特征在于，所述基于所述样本图像中的标牌样本图像，对所述样本图像和非候选样本图像进行标牌粘贴，获取所述样本图像集的步骤，包括：

获取所述样本图像和所述非候选样本图像中的灭点信息；

根据所述灭点信息，分别确定所述样本图像和所述非候选样本图像中的道路区域；

基于所述道路区域对应的边缘空白区域，在所述样本图像和所述非候选样本图像中覆盖粘贴所述标牌样本图像，得到所述样本图像对应的第二样本变换图像和处理后的非候选样本图像；

获取所述样本图像、所述第二样本变换图像以及所述处理后的非候选样本图像，得到所述样本图像集。

9.一种标牌识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像；

图像检测模块，用于基于已训练的标牌标识检测模型，对所述待检测图像进行标牌标识检测，得到所述待检测图像中的标牌标识；

图像处理模块，用于根据所述标牌标识获取所述待检测图像中的标牌图像，并对所述标牌图像进行处理，得到处理后的标牌图像；

图像识别模块，用于基于标牌信息识别模型，对所述处理后的标牌图像进行标牌信息识别，得到所述待检测图像中的标牌信息，所述标牌信息包括道路编号和历程数值。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至8中任一项所述的标牌识别方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至8任一项所述的标牌识别方法中的步骤。

Images