CN111476107B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法，包括：确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。采用本发明实施例，可以提高测试数据预处理效率而有效评估算法。

Description

一种图像处理方法及装置

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种图像处理方法及装置。

背景技术

在目前的交通管理系统中，通常运用图片识别算法对摄像头拍摄的多张图片进行识别，以判断图中相应车辆的驾驶行为是否违规或者违法。那么，从众多的图片识别算法选择合适的识别算法，对交通违法行为进行准确的识别和判断，起到至关重要的作用。在算法进行选择时，需要依据统一的算法精度标准，有效评估各个算法的精度和准确性，从而判断该算法与相应场景的识别匹配度。

在对特定识别算法的评估过程中，首先在测试前需要对大量的测试数据(例如图片数据)进行清洗、筛选和分类等等操作，该步骤需要花费一定的时间；然后需要对经过前述预处理的数据进行裁剪后，再进行标注相关信息，但是手工操作耗时较长且可能出现失误，造成对图片中参考物的标注不准确等问题。

因此，如何提高测试前的数据预处理效率，从而有效评估图片识别算法，是需要解决的问题。

发明内容

本发明实施例提供一种图像处理方法及装置，可以提高测试前的数据预处理效率，从而有效评估图片识别算法。

第一方面，本发明实施例提供了一种图像处理方法，该方法可包括：

确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；

从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；

标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

实施本发明实施例，从图片数据中根据图像尺寸和图像分辨率筛选出图像尺寸和图像分辨率一致的多张图片；其中，在特定场景下的同一台摄像机(即卡口)拍摄的图片尺寸是一样的，以及在特定时刻的分辨率也几乎相同。那么，筛选出的多张第一图片可以认为是同一台摄像机拍摄的。根据第二图片的拍摄规则(例如，摄像机在违法驾驶发生前拍摄一张第二图片；在违法驾驶过程中拍摄一张第二图片；在违法驾驶过程结束后拍摄一张第二图片)，从多张第一图片中筛选出一组或多组第二图片。每一组第二图片完整记录了一次违规驾驶过程。从任一组第二图片中选择一张图片，对图片中与该违法行驶过程相关的参考物进行标注。进一步具体地地，根据已经标注的图片对剩余的图片进行批量标注。或者一次性根据标注规则对所有图片包含的参考物进行标注。具体地，通过标注图片中与违法标准相关的参考物位置，例如红绿灯位置，停止线位置，白实线位置等，自动生成相关标注信息，并根据图片分辨率的关系，通过封装好的自适应算法，将标注信息自适应匹配到上所有图片，从而完成批量标注的操作。通过程序进行测试数据的预处理，本发明能够极大的缩短测试数据的准备和预处理时间，提高测试效率。通过批量读取标注信息的脚本，批量将测试数据传入被测算法，简化测试人员手工操作步骤，避免出错。通过脚本的自动标注和统计方法，自动生成标准的测试报告，记录测试结果，生成便于分析的算法混淆矩阵，并将测试结果按照需求分类，便于算法团队分析被测图片结果，提高算法精度，优化产品识别精度。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像包括指示所述第一图像的标识；所述确定第一图像集合，包括：根据所述第一图像的标识确定所述第一图像集合。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像的图像尺寸和图像分辨率相同。

在一种可能的实现方式中，所述标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，包括：

标注所述一个或多个第二图像集合中目标第二图像集合中交通标识的参考位置；

根据所述目标第二图像集合中交通标识的参考位置和位置标注算法，标注所述一个或多个第二图像集合中除所述目标第二图像集合外的第二图像集合中交通标识的参考位置。

在一种可能的实现方式中，所述分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，包括：通过交通识别算法分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，获得所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果；所述判断结果包括违规驾驶和非违规驾驶。

在一种可能的实现方式中，所述方法还包括：

将所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果和所述一个或多个第二图像集合分别对应的参考结果进行对比；

评估所述交通识别算法的准确度。

在一种可能的实现方式中，所述评估所述交通识别算法的准确度，包括：

通过查准率、查全率以及平衡F分数评估所述交通识别算法的准确度。

在一种可能的实现方式中，获取多张第三图片，所述多张第三图片中每一张第三图片的图像尺寸以及图像分辨率相同或者不同；从所述多张第三图片中，确定图像尺寸和图像分辨率相同的所述多张第一图片。

在一种可能的实现方式中，所述第二图片的拍摄规则为在所述一次违规行驶过程发生前拍摄一张或多张所述第二图片；在所述一次违规行驶过程发生时拍摄一张或多张所述第二图片；在所述一次违规行驶过程发生后拍摄一张或多张所述第二图片。

在一种可能的实现方式中，所述交通标识包括交通信号灯和/或交通标线。例如，交通信号灯可以包括红绿灯；交通标线可以包括停止线和白实线。

第二方面，本发明实施例提供了一种图像处理装置，该装置可包括：

确定单元，用于确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；

筛选单元，用于从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；

标注单元，用于标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像包括指示所述第一图像的标识；所述确定单元，具体用于根据所述第一图像的标识确定所述第一图像集合。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像的图像尺寸和图像分辨率相同。

在一种可能的实现方式中，所述标注单元，具体用于：

标注所述一个或多个第二图像集合中目标第二图像集合中交通标识的参考位置；

根据所述目标第二图像集合中交通标识的参考位置和位置标注算法，标注所述一个或多个第二图像集合中除所述目标第二图像集合外的第二图像集合中交通标识的参考位置。

在一种可能的实现方式中，所述标注单元，具体用于：通过交通识别算法分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，获得所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果；所述判断结果包括违规驾驶和非违规驾驶。

在一种可能的实现方式中，所述装置还包括评估单元，用于：

将所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果和所述一个或多个第二图像集合分别对应的参考结果进行对比；

评估所述交通识别算法的准确度。

在一种可能的实现方式中，所述评估单元，具体用于：

通过查准率、查全率以及平衡F分数评估所述交通识别算法的准确度。

第三方面，本发明实施例提供了一种图像处理设备，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面所述的方法。

第五方面，本发明实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行第一方面中任意一种图像处理方法的部分或全部步骤。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的一种图像处理的系统架构示意图；

图2是本发明实施例提供的一种图像处理方法所应用场景的示意图；

图3是本发明实施例提供的一种图像处理方法的流程示意图；

图4是本发明实施例提供的一种图像处理装置的结构示意图；

图5是本发明实施例提供的一种图像处理设备的结构示意图。

具体实施方式

本发明实施例提供一种图像处理方法及装置，可以快速有效地识别待识别图片中文本载体的文本含义。

本发明实施例说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

首先，对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)治安卡口是道路交通治安卡口监控系统的简称，是指依托道路上特定场所，如收费站、交通或治安检查站等卡口点，对所有通过该卡口点的机动车辆进行拍摄、记录与处理的一种道路交通现场监测系统。

(2)图像的传统识别流程分为四个步骤：图像采集→图像预处理→特征提取→图像识别。图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖，P有个圈、而Y的中心有个锐角等。

(3)查准率(Precision)(即精度)是衡量某一检索系统的信号噪声比的一种指标，即检出的相关文献与检出的全部文献的百分比。普遍表示为：查准率＝(检索出的相关信息量/检索出的信息总量)x100％。

(4)查全率(Recall Ratio)是指从数据库内检出的相关的信息量与总量的比率。查全率绝对值可以根据数据库内容、数量来估算。

(5)F1分数(F1 Score)，是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种调和平均，它的最大值是1，最小值是0。

(6)交通信号可以分为交通信号灯、交通标志、交通标线等。

(7)超文本传输协议请求(http请求)是指从客户端到服务器端的请求消息。包括：消息首行中，对资源的请求方法、资源的标识符及使用的协议。

(8)Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。

下面先对本发明实施例所基于的其中一种系统架构进行描述，本发明实施例提出的图像处理方法可以应用于该系统架构。请参见图1，图1是本发明实施例提供的一种图像处理的系统架构示意图，如图1所示，包含了终端和服务器；该终端需要具备拍摄图片和通信(或者联网)功能；其中，拍摄图片的功能可以对特定区域或者场景下的车辆、行人或者目标物体进行拍摄；而通信(联网)功能可以将拍摄的图片发送给服务器，便于服务器进一步处理。本发明实施例中提及的终端可为摄像机、手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备或其他移动终端；其中，

终端，可以是计算机网络中处于网络最外围的设备，也可以用于信息(例如图像数据)的输入等。也可以称为系统、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、移动终端、无线通信设备、用户代理、用户装置、可安装插件的服务设备或用户设备(user equipment，UE)。例如，终端可以是蜂窝电话、移动电话、无绳电话、智能手表、可穿戴设备(wearable device)、平板设备、会话启动协议(session initiationprotocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助手(personal digital assistant，PDA)、具备无线通信功能的手持设备、计算设备、车载通信模块、智能电表或连接到无线调制解调器的其它具备拍摄、通信等基本功能的处理设备。在图1中所示的系统框架中，终端可以按照一定的上传周期或者实时地将图像上传至服务器。本发明实施例对终端的数量不做限定，图中终端1(即卡口1)、终端2(卡口2)、……、终端N(卡口N)为示例性的数量，不代表服务器或者服务器组具体连接的终端数量。

服务器，或者服务器组，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。在网络环境下，根据服务器提供的服务类型不同，分为文件服务器、数据库服务器、应用程序服务器、WEB服务器等。在图中所示的服务器按照目标算法对图片数据进行算法识别；具体地，收集各个卡口的图像数据，然后根据图片对应的卡口名称以及图片大小(由图像尺寸和图像分辨率决定)，通过封装好的方法，将不同卡口的图片按照图片大小分别保存对应卡口文件夹下；根据每个卡口图片中，图片的不同排列方式，自动进行图片的切割(可以理解的是，一个摄像头可以拍摄多张图片而获得图像数据流包括了多张图片)，并从中选择一张作为标注图片，用于提取标注信息；通过标注图片中对应的违法标准，例如红绿灯位置，停止线位置，白实线位置等，自动生成相关标注信息，并根据图片分辨率的关系，通过封装好的自适应算法，将标注信息自适应匹配到上所有图片，从而完成批量标注的操作。

接着，按照不同文件夹(对应多个摄像头拍摄的图片集合)，读取标注好的文件，使用脚本批量测试文件夹内的所有图片，统计需要的结果。

最后，在测试结束后，自动将测试结果与预期结果进行匹配，统计下述公式需要的参数，从而得出该目标算法与应用场景的匹配程度。

可以理解的是，图1所示的内容只是本发明实施例中的一种示例性的实施方式。本发明实施例中的系统架构可以包括但不仅限于以上系统架构。

为了便于理解本发明实施例，以下示例性列举本申请中图像处理方法所应用的场景，可以包括车辆违规经过信号灯的场景：

请参见图2，图2是本发明实施例提供的一种图像处理方法所应用场景的示意图，该应用场景中包括终端(图2中以终端为摄像机为例)和服务器，而终端和服务器之间则可以通过网络等无线方式进行连接。如图2所示，当斑马线前的红绿灯显示行人可以通行的情况下，行人在预设的时间段内穿越斑马线达到对面。此时禁止车辆通过信号灯，必须停止在距离斑马线一定的距离内。假设车辆在此时发生了闯红灯的情况，即当信号灯禁止车辆继续前行的前提下车辆继续驶入斑马线；那么设置在路边的摄像头或者安装在红绿灯横杆上的抓拍设备会记录下发生该违规行为的一张或多张图片。可选地，当车辆驶离了当前的违规现场后，摄像机可以拍摄一张或多张违规结束后的现场图片。例如，在违规驾驶行为发生后拍摄的图片可以用于记录违规现场的现状；该现场可能包括车辆对现场或者行人造成的损坏，便于后续进行事故等级评定。可选地，当车辆出现在摄像机的拍摄范围内时，摄像机自动拍摄一张或多张图片。进一步可选地，摄像机按照一定的拍摄周期对拍摄范围内的各个角度或者场景进行拍摄。

可以理解的是，图2中的应用场景的只是本发明实施例中的几种示例性的实施方式，本发明实施例中的应用场景包括但不仅限于以上应用场景。

下面结合上述系统架构和本发明实施例中提供的图像处理方法的实施例，对本发明实施例中提出的技术问题进行具体分析和解决。

请参见图3，图3是本发明实施例提供的一种图像处理方法的流程示意图，图像处理方法可以应用于图像处理系统(包括上述架构)；本发明实施例的图像处理方法，具体可以应用于交通违规识别的场景。下面将结合图3，以服务器为执行主体为例进行描述，该方法可以包括以下步骤S301-步骤S305；其中，可选的步骤可以包括步骤S304和步骤S305。

步骤S301：确定第一图像集合。

具体地，服务器在接收到多个摄像机(卡口)发送的图像数据后，先对图像数据进行分类，确定出某一个场景下预设时间段内的拍摄图像数据。所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像。例如，首先分析图像数据，根据图像标识(例如图像对应的卡口编号或者拍摄某一场景下的摄像机的名称，本发明实施例以卡口为例进行说明)，将图像保存至对应的卡口的文件夹下。然后对每个卡口文件夹下的图片进行整理；例如，根据图片的分辨率和预设的分类规则，对文件夹下的图片进行分类。不同分辨率的图片，对应标注的标准信息的位置不同。例如，白天拍摄的图片和夜晚拍摄的图片分辨率不同，那么同一个摄像头拍摄的图片中，比如红绿灯的位置可能有一定程度的偏差。为了便于“违法识别算法”进行判断，提前对图片的分辨率进行预处理。例如，同一个卡口(即摄像机拍摄的多张图像)可以存储于两类文件夹中，如白天的拍摄图像和夜晚的拍摄图像。

可选地，将图片保存至对应文件夹下，以及对文件夹下的图片进行整理，这2个步骤可以同步完成。可以理解的是，卡口可以指的是在道路交通治安卡口的摄像头；比如，在道路上特定场所如收费站、交通或治安检查站等，对所有通过该点的机动车辆进行拍摄、记录。每一个摄像头都会有各自的摄像头编号；并且每个摄像头抓拍出来的图片类型是固定的，例如，图片的格式、图像分辨率、图片像素等。图片类型的内容还可以包括该摄像头的拍摄场景。例如，摄像头A安装在高速路口，那么A拍摄的图片就只会是出入该高速路口车辆的相关图片；再例如，摄像头B安装在十字路口，那么B拍摄的图片就是不同时间段内这个路段的机动车、非机动车以及行人等行驶情况或者抓拍违规行驶的情况。

可选地，每个摄像头拍摄的图片携带有该摄像头的编号信息，用于指示出是哪个摄像头拍摄的图片。

可选地，第一图像集合中的第一图像可以是图像尺寸和图像分辨率相同的图像；在该同一场景下，可以是不同摄像机器(保持图像尺寸和图像分辨率一致，便于后续服务器将该特征作为筛选的标准筛选该场景下拍摄的一系列图片)从不同角度进行拍摄的。

所述多张第一图像中每一张第一图像包括指示所述第一图像的标识；所述确定第一图像集合，包括：根据所述第一图像的标识确定所述第一图像集合。具体地，所述第一图像的标识可以包括摄像机的编号、拍摄场景名称、与摄像机对应的违规行为的名称。

在一种可能的实现方式中，获取多张第三图片，所述多张第三图片中每一张第三图片的图像尺寸以及图像分辨率相同或者不同；从所述多张第三图片中，确定图像尺寸和图像分辨率相同的所述多张第一图片。其中，所述第三图片可以包括所有摄像机拍摄的图像。在确定第一图像集合之前，获取到每个摄像机的拍摄图像。

可选地，将图片按照不同的拍摄机器(卡口、摄像头)拍摄的面积进行分类；或者按照图片面积和图片分辨率，对多张图片进行分成N类，其中，N类中的每一类对应预设的图片面积和图片分辨率；每一类包括多组图片；每一组图片包括多张图片；每一组图片对应一次违法行为。

步骤S302：从所述第一图像集合中确定一个或多个第二图像集合。

具体地，服务器从第一图像集合中筛选出与疑似违规行驶的车辆的相关图片，将每一次疑似违规行为涉及的所有图片作为第二图像集合，从而确定出一个或多个第二图像集合。即，在第一图像集合中包含了一辆或者多辆目标车辆的一次或者多次待定违规驾驶行为的图像。可选地，一个卡口的摄像设备只初步识别并拍摄一种类型的待定违规驾驶行为。

可选地，根据图片的拍摄规则从第一图像集合的子集中确定一个或多个第二图像集合。例如，在初步识别车辆A发生了违规行为(如闯红灯)时，进行了拍摄。在车辆A进入视野时且红灯亮起时进行拍摄；在车辆A闯过红灯继续前进时进行拍摄。本发明实施例对拍摄的图像数量不作限定。在一种可能的实现方式中，所述第二图片的拍摄规则为在所述一次违规行驶过程发生前拍摄一张或多张所述第二图片；在所述一次违规行驶过程发生时拍摄一张或多张所述第二图片；在所述一次违规行驶过程发生后拍摄一张或多张所述第二图片。

例如，获取在一段时间内每个卡口拍摄的图片数据流；卡口对于拍摄的图片数据会做相应的标记，特别地，对于违法行为，卡口在拍摄后对得到图片数据会有做出区分；例如，对于未检测到违法行为的情况下，拍摄的图片数据的标识为A；在对违法行为进行拍摄的情况下，得到的图片数据的标识为B；当违法行为结束后进行拍摄的情况下，得到的图片数据的标识为C。可选地，标识为A或者标识为B或者标识为C的图片至少为一张。

再例如，在前述的三类图片均为一张的情况下，卡口的图片排列方式为一行三列；在前述三类图片均为2张的情况下，卡口的图片排列方式为二行三列。

可以理解的是，本发明实施例对标识的数量不作限定，如ABC等。还可以对整个违法行为(包含违法前、违法时以及违法后进行细分)。在细分的情况下，卡口得到的图片排列方式可以为M行N列，即对违法行为的全过程做了N个阶段的划分，每个阶段有M张图片(M，N都为大于0的整数)。根据每个卡口的图片排列方式(如，一行三列的图片，共三张)对应的图片数据标识，对图片数据流进行切割，获得多组图片(一组图片为一个阶段的图片集合)；其中，每一组图片中包含了至少一张与车辆相关的图片。对图片进行切割，主要取决于对应卡口拍摄出来的图片的排列方式，不再赘述。

可选地，在一组图片(即图像集合)包含一张图片的情况下，将该组图片(即某个阶段拍摄的一张图片)从数据流中识别并切割出来。可选地，在一组图片包含多张图片的情况下，先将该组图片切割出来，再对从该组图片中切割出多张图片。进一步可选地，对图片按照分辨率进行分类，再对同一类分辨率的图片数据完成切割后，将在该卡口的图片行列中，依次填入该分辨率的若干图片；例如，在十字路口，该卡口为该路口的一个摄像头，专用于抓拍车辆闯红灯。为了能够识别车辆的行为是闯红灯的行为，输入算法的图片排列模式为一行三列的图片组(例如在白天，光强为1000lx等情况下拍摄的违法行为的相关图片的集合)。根据一行三列的图片排列方式，在一行三列中依次填入三张分辨率相同(即某分辨率)的图片，如，图片A为车辆在停止线内的图片，图片B为车辆覆盖了停止线的图片，图片C为车辆超过停止线的图片。后续算法根据这三张图片进行判断。可以理解的是，只根据图A和图B是无法准确判断车辆进行了闯红灯行为。

步骤S303：标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

具体地，服务器对第二图像集合中每一个集合包含的第二图像中交通标识进行标注，例如，对信号灯、白实线、转向标志等等进行标注。可选地，不同违规判断场景下，针对不同违规行驶设置不同的交通标识的参考位置。例如，在闯红灯的识别场景下，红绿灯、斑马线等内容是重要的必须标记的交通标识之一。

在一种可能的实现方式中，所述标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，包括：标注所述一个或多个第二图像集合中目标第二图像集合中交通标识的参考位置；根据所述目标第二图像集合中交通标识的参考位置和位置标注算法，标注所述一个或多个第二图像集合中除所述目标第二图像集合外的第二图像集合中交通标识的参考位置。例如，对某卡口的首张图片(即选择的一张需要人工标注的图片)，进行人工标注“违法标准信息”，标注图片中的“违法标注信息”，例如，红绿灯位置，停止线位置，白实线位置等。前述这些位置，是算法判断车辆违法的参考位置之一。

例如，服务器对某卡口的首张图片(即选择的一张需要人工标注的图片)，进行人工标注“违法标准信息”，标注图片中的“违法标注信息”，例如，红绿灯位置，停止线位置，白实线位置等。前述这些位置，是算法判断车辆违法的参考位置之一。再例如，交通识别算法针对这些标注位置、该场景的交通规则和预设的判断规则，判断输入的图片组中的车辆行为是否违法。进一步地，从前述的一行三列的三张图片中，选择一张图片作为标注图片，在完成对该图片的标注后，提取图中的标注信息。可以理解的是，选择的标注图片中，能够涵盖这一类图片(如闯红灯的图片组)基本特征值。

标注完一组图片中的一个图片后，可以对同组的其他图片进行标注。具体地，对于某个卡口的某分辨率的图片，将标注图片上的标注信息通过自适应算法匹配到上所有相同分辨率图片，从而完成批量标注的操作。可选地，通过传入自适应算法的图片排列格式，单张含有标注信息的标注图片以及对应的图片分辨率参数，可以对相同卡口的其他相同分辨率的图片进行批量地增加标注信息。

当完成一个卡口的一组图片的特征提取后，后续传入该卡口的其他组图片，可以进行相同的操作，如分类、切割、标注等图片预处理，从而完成批量标注的操作。其中，标注图片的标注信息和图片分辨率是自适应算法的参数。

在一种可能的实现方式中，所述分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，包括：通过交通识别算法分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，获得所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果；所述判断结果包括违规驾驶和非违规驾驶。

例如，在不同文件夹中，读取标注好的文件(即标准好的图片)，放入HTTP请求中。然后，将批量生成的标注信息和被测图片，通过发送该请求，发送给被测算法。使用python脚本对全部文件夹的所有图片进行自动化测试，统计结果。具体地，使用python脚本(包含了待评估的用于违法行为识别的算法)，批量测试某个文件夹内的所有图片。在测试过程中，一般需要监控目标算法的接口，对传入图片、反馈的结果以及预期的结果进行分析，确定该算法的准确度。可以理解的是，图片识别算法基本上都是提供一个图片传入的接口给服务应用者，并通过该接口返回对应的结果，所以需要通过监控该接口的传入图片与对应结果。

可选地，可以根据图片对应的卡口名称，图片大小，通过封装好的方法，将不同卡口的图片按照图片大小分别保存对应卡口文件夹下；根据每个卡口图片中，图片的不同排列方式，自动进行图片的切割(一个摄像头可以拍摄多个图片)，并从中选择一张作为标注图片，用于提取标注信息。其中提取的标注信息可以用于对同一类型的图像进行标注。

步骤S304：将所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果和所述一个或多个第二图像集合分别对应的参考结果进行对比。

具体地，服务器将交通识别算法针对第二图像集合中每一个集合对应的待定违规行驶给出的结果，与真实的判断结果进行比较。其中，真实的判断结果可以是根据人工判断或者以某一个准确率最高的识别算法根据相同方法或计算方式得出的结论。例如，将测试结果(即预测结果)与预期结果(即下表中对应的真实情况)进行匹配，其中，预期的结果是针对传入算法接口的数据(即图片)进行人为分析和确定，图片中涉及的行为是否违法。该预期的结果可以直接从第三方数据库(如道路交通监控系统等等)中获得。

步骤S305：评估所述交通识别算法的准确度。

具体地，服务器通过一种或多种算法评估指标对交通识别算法进行比较。按照前述的步骤对图像处理，但是每一次识别都更换不同的测试的算法；每一种完成识别测试的算法会得到结果报告，以评估该算法与当前识别场景的匹配程度。

在一种可能的实现方式中，所述评估所述交通识别算法的准确度，包括：通过查准率、查全率以及平衡F分数评估所述交通识别算法的准确度。例如，统计下述公式需要的参数，从而得出交通识别算法的精度。请参见表1，表1列出了交通识别算法的测试结果与真实结果的对比表；

表1

那么，查准率(Precision)在被算法预测为正的样本中，真正为正的样本比例为：

其中，P表示查准率的概率，TP为测试结果为均为真正例的数量，FP为测试结果(即交通识别算法对图像给出的结果)为假正例(即真实情况不违规，而待测算法评估违规的例子)的数量。正例表示判断为违规，而反例表示判断不违规。

查全率(Recall)在所有正的样本上，被算法预测为正的样本比例为：

其中，FN为测试算法判断结果为违规且真实情况为不违规的情况。TN为测试算法判断结果为违规且真实情况为不违规的情况。

平衡F分数又称为F1-Score，被定义为Precision和Recall的调和平均数。

如下：

使用封装好的分发脚本，将测试结果标注在图片上，并将不同测试结果的对应图片分类管理；例如，违法行为的图片放在一个文件夹中，非违法行为的图片放在另一个文件夹。可选地，对于违法行为的图片还可以细分违法行为的类型，按照违法行为的类型对同一文件夹下的图片再分文件夹存放，便于后续查看。

可选地，同时将相关记录转换成测试报告，记录算法比例以及失败原因。

可选地，测试结果可以包含查准率、查全率以及平衡F分数，同时还可以包含一些其他的结果，比如算法的处理单张图片的平均时间、最大时间以及最小时间等等。

实施本发明实施例，主要通过预处理待测图片数据和分析算法的结果，提高了算法评估效率。根据卡口的图片排列方式，将接收到的图片数据，切割成固定排列方式的图片。先对某一张图片进行标注，然后依据该被标注的图片批量标注剩余的相同分辨率的图片。(同理，对其他分辨率的图片也进行相同操作)。将被标注好的图片输入待测算法，得到结果；并从查全率、查准率等指标来评估算法的匹配度。

上述详细阐述了本发明实施例的方法，下面提供了本发明实施例的相关装置。

请参见图4，图4是本发明实施例提供的一种图像处理装置的结构示意图，图像处理装置40可以包括确定单元401、筛选单元402、标注单元403和评估单元404。其中，可选的单元包括评估单元404。

确定单元401，用于确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；

筛选单元402，用于从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；

标注单元403，用于标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像包括指示所述第一图像的标识；所述确定单元401，具体用于根据所述第一图像的标识确定所述第一图像集合。

在一种可能的实现方式中，所述多张第一图像中每一张第一图像的图像尺寸和图像分辨率相同。

在一种可能的实现方式中，所述标注单元403，具体用于：

标注所述一个或多个第二图像集合中目标第二图像集合中交通标识的参考位置；根据所述目标第二图像集合中交通标识的参考位置和位置标注算法，标注所述一个或多个第二图像集合中除所述目标第二图像集合外的第二图像集合中交通标识的参考位置。

在一种可能的实现方式中，所述标注单元403，具体用于：通过交通识别算法分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，获得所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果；所述判断结果包括违规驾驶和非违规驾驶。

在一种可能的实现方式中，所述装置还包括评估单元404，用于：

将所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果和所述一个或多个第二图像集合分别对应的参考结果进行对比；评估所述交通识别算法的准确度。

在一种可能的实现方式中，所述评估单元404，具体用于：

通过查准率、查全率以及平衡F分数评估所述交通识别算法的准确度。

需要说明的是，本发明的装置实施例中所描述的图像处理装置40的各功能单元的功能，可参见上述图2所述的方法实施例中图像处理方法的相关描述，此处不再赘述。

本发明实施例提供了一种图像处理设备50，请参见图5，图5是本发明实施例提供的一种图像处理设备的结构示意图，如图5所示，图像处理装置60能以图5的结构实现，图像处理设备50可以包括至少一个存储部件501、至少一个处理部件502、至少一个通信部件503。此外，该设备还可以包括天线、电源等通用部件，在此不再详述。

存储部件501可以包括一个或多个存储单元，每个单元可以包括一个或多个存储器，存储部件可用于存储程序和各种数据，并能在通用设备50运行过程中高速、自动地完成程序或数据的存取。可以采用具有两种稳定状态的物理器件来存储信息，所述两种稳定状态分别表示为“0”和“1”。前述存储部件501，可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random accessmemory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(可以包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

处理部件502，也可以称为处理器，处理单元，处理单板，处理模块、处理装置等。处理部件可以是中央处理器(central processing unit，CPU)，网络处理器(networkprocessor，NP)或者CPU和NP的组合，也可以是微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

通信部件503，也可以称为收发机，或收发器等，可以是用于与其他设备或通信网络通信，其中可以包括用来进行无线、有线或其他通信方式的单元。

当图像处理设备50为图1或图2所述服务器时，所述处理部件502用于调用所述存储部件501的数据执行如下操作：确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任意一种的部分或全部步骤。

本发明实施例还提供一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行任意一种图像处理方法的部分或全部步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明实施例各个实施例中的各功能组件可以集成在一个组件也可以是各个组件单独物理存在，也可以是两个或两个以上组件集成在一个组件中。上述集成的组件既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的组件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

应理解，在本发明实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。尽管在此结合各实施例对本发明实施例进行了描述，然而，在实施例所要求保护的本发明实施例过程中，本领域技术人员可理解并实现公开实施例的其他变化。

Claims (9)

1.一种图像处理方法，其特征在于，应用于交通识别算法的评估，包括：

确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；

从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；

标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，所述标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置包括：标注所述一个或多个第二图像集合中目标第二图像集合中交通标识的参考位置；根据所述目标第二图像集合中交通标识的参考位置和位置标注算法，标注所述一个或多个第二图像集合中除所述目标第二图像集合外的第二图像集合中交通标识的参考位置，所述参考位置包括红绿灯位置，停止线位置，白实线位置。

2.根据权利要求1所述的方法，其特征在于，所述多张第一图像中每一张第一图像包括指示所述第一图像的标识；所述确定第一图像集合，包括：

根据所述第一图像的标识确定所述第一图像集合。

3.根据权利要求1所述的方法，其特征在于，所述多张第一图像中每一张第一图像的图像尺寸和图像分辨率相同。

4.根据权利要求1所述的方法，其特征在于，所述分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规，包括：

通过交通识别算法分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，获得所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果；所述判断结果包括违规驾驶和非违规驾驶。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述一个或多个第二图像集合分别对应的待定违规行驶的判断结果和所述一个或多个第二图像集合分别对应的参考结果进行对比；

评估所述交通识别算法的准确度。

6.根据权利要求5所述的方法，其特征在于，所述评估所述交通识别算法的准确度，包括：

通过查准率、查全率以及平衡F分数评估所述交通识别算法的准确度。

7.一种图像处理装置，所述装置用于执行如权利要求1-6任一项所述的方法，其特征在于，包括：

确定单元，用于确定第一图像集合，所述第一图像集合包括多张第一图像，所述多张第一图像为同一场景下相同时间段内针对目标车辆的拍摄图像；

筛选单元，用于从所述第一图像集合中确定一个或多个第二图像集合，所述一个或多个第二图像集合中每一个第二图像集合包括多张第二图像，所述每一个第二图像集合记录了所述目标车辆的一次待定违规行驶过程；

标注单元，用于标注所述一个或多个第二图像集合中至少一个第二图像集合中的交通标识的参考位置，并分别识别所述一个或多个第二图像集合中所述目标车辆的位置变化，以判断所述一个或多个第二图像集合分别对应的待定违规行驶是否违规。

8.一种图像处理设备，其特征在于，包括存储部件、通信部件和处理部件，存储部件、通信部件和处理部件相互连接，其中，存储部件用于存储数据处理代码，通信部件用于与外部设备进行信息交互；处理部件被配置用于调用程序代码，执行上述权利要求1至6任意一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至6任意一项所述的方法。