CN110781733B - 图像去重方法、存储介质、网络设备和智能监控系统 - Google Patents

Abstract

本申请公开了一种图像去重方法、存储介质、网络设备和智能监控系统。该图像去重方法包括：获取待存入数据库的第一目标图像和已存储于数据库的第二目标图像；提取第一目标图像中的第一人体目标和第二目标图像中的第二人体目标的全局特征和至少一局部特征；分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度；根据至少两个候选相似度生成第一相似度；基于第一相似度确定第一目标图像是否满足入库标准。通过全局特征以及局部特征获取第一人体目标和第二人体目标之间的第一相似度，本申请能够有效地去除遮挡、人体姿态变化等因素导致的对同一人体目标所重复抓拍的图像。

Description

图像去重方法、存储介质、网络设备和智能监控系统

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像去重方法、存储介质、网络设备和智能监控系统。

背景技术

随着人工智能技术的发展，现阶段以智能摄像头为代表的智能监控设备得到快速发展和普及。智能监控设备除了可以实现实时监控外，还可以实现对目标进行抓拍。例如，现有视频结构化智能相机，可以实现对人体目标进行跟踪并抓拍，将抓拍到的目标图片保存的底库中。然而，由于遮挡、行人姿态变化等因素，视频结构化智能相机在抓拍时会造成重复抓拍，即同一目标具有多个ID(Identity Document，身份标志)。

由上述重复抓拍可以看出，同一目标本应具有同一ID，但是由于遮挡等因素会对同一目标重复抓拍，这样造成同一目标具有不同ID。实际场景应用中重复抓拍会造成信息冗余，大量重复目标被存入到底库中，给存储带了压力，同时增加了图像维护数量。

发明内容

本申请主要提供一种图像去重方法、存储介质、网络设备和智能监控系统，以解决由于遮挡、行人姿态变化等因素导致重复存储对同一人体目标所抓拍的图像的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像去重方法。该图像去重方法包括：获取待存入数据库的第一目标图像和已存储于数据库的第二目标图像；提取第一目标图像中的第一人体目标和第二目标图像中的第二人体目标的全局特征和至少一局部特征；分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度；根据至少两个候选相似度生成第一相似度；基于第一相似度确定第一目标图像是否满足入库标准。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储介质。该存储介质上存储有程序数据，程序数据被处理器执行时实现如上述图像去重方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种网络设备。该网络设备包括相互连接的处理器和存储器，存储器存储有计算机程序，处理器执行计算机程序时，实现如上述图像去重方法的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种智能监控系统。该智能监控系统包括网络摄像机和如上述的网络设备，网络摄像机与网络设备通信连接，网络摄像机用于对监控区域内的人体进行抓拍。

本申请的有益效果是：区别于现有技术的情况，本申请公开了一种图像去重方法、存储介质、网络设备和智能监控系统。通过获取待存入数据库的第一目标图像和已存储于数据库的第二目标图像之间的相似度，以判定是否需要将第一目标图像去重，并通过提取第一目标图像中的第一人体目标和第二目标图像中的第二人体目标的全局特征和至少一局部特征，以及分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度，再根据该至少两个候选相似度生成第一相似度，因而即使人体目标局部有遮挡、人体姿态变化等因素，通过局部特征获取的候选相似度不会受到影响，第一相似度受与局部特征对应的候选相似度影响偏重较大，进而能够极大地消除遮挡、人体姿态变化等因素对第一相似度的影响，并基于第一相似度确定第一目标图像是否满足入库标准，判定该第一人体目标和第二人体目标是否为同一人体目标，若第一人体目标和第二人体目标为同一人体目标，则第一目标图像与第二目标图像为对同一人体目标的重复抓拍图像，第一目标图像不应被存入数据库，因而确定第一目标图像不满足入库标准；判定该第一人体目标和第二人体目标为不同的人体目标时，则第一目标图像应被存入数据库，确定第一目标图像满足入库标准，因而本申请能够有效地去除遮挡、人体姿态变化等因素导致的对同一人体目标所重复抓拍的图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请提供的图像去重方法一实施例的流程示意图；

图2是图1图像去重方法中步骤S15的流程示意图；

图3是本申请提供的存储介质的一实施例的结构示意图；

图4是本申请提供的网络设备的一实施例的结构示意图；

图5是本申请提供的智能监控系统的一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1是本申请提供的图像去重方法一实施例的流程示意图。

具体地，该图像去重方法包括：

S11：获取待存入数据库的第一目标图像和已存储于数据库的第二目标图像。

采用网络摄像机等摄像设备获取第一目标图像。例如该网络摄像机架设在居民小区的进出门口，以对该小区的进出人员进行监控，并抓拍小区进出人员的图像。

数据库中存储有多张第二目标图像，该第二目标图像均为网络摄像机抓拍并存储的图像。第一目标图像中包括第一人体目标，第二目标图像中包括第二人体目标，通过对第一人体目标和第二人体目标的对比判断是否需要将第一目标图像舍弃，以达到去重的目的。

可以理解，在人员从监控区域所经过的这段路程中，网络摄像机会对人体进行多次抓拍，而对同一人体在一定时间段内的多次抓拍所形成的多张第一目标图像是重复的，会给数据库带来存储压力和增加了图像维护数量，因而通过去重，数据库只存储一张该段路程上的第一目标图像，并在该人体再次经过该路程时仍同样处理和存储一张第一目标图像。

同一时间段内，存在多个不同的人体经过该监控区域，部分人体的图像被抓拍后存储于数据库内作为第二目标图像，被抓拍过的人体在后续路程段内还可能被抓拍并进行去重而不被保存，未被抓拍过的人体将被抓拍并进行去重而被保存于数据库中作为第二目标图像。

为简化所选取的第二目标图像的数量，以降低去重的工作量。

可选地，从数据库中筛选出第二人体目标的运动方向与第一人体目标的运动方向相同的第二目标图像。因而，第二人体目标的运动方向与第一人体目标的运动方向不同的第二目标图像将不参入去重，将有效地降低所选取的第二目标图像数量，有利于提高去重效率。

针对人体的抓拍会在目标跟踪结束时进行，所以每个被抓拍的人体目标都会有对应的运动轨迹信息，根据该轨迹信息可以判断人体目标的运动方向。通过去除与人体目标的运动方向不同的第二目标图像来减少干扰项，有利于提高去重效率。

例如，网络摄像机跟踪监控人体的一段时间内有50帧图像，则选取该50帧图像中的一张作为第一目标图像，并利用该50帧图像获取人体目标的运动轨迹信息，并进一步获取人体目标的运动方向。

因为在人体经过监控区域内的路程中存在对人体的多次抓拍，该多次抓拍是间隔的。例如，获取上述50帧图像中的一张作为一次抓拍后的第一目标图像，则获取随后的另一50帧图像中的一张作为新的一次抓拍，多次抓拍所得到的多张第一目标图像均需去重，以剔除对同一人体目标重复抓拍的图像。

可选地，从数据库中筛选出第二人体目标的坐标与第一人体目标的运动轨迹重合的第二目标图像。因而，第二人体目标的坐标与第一人体目标的运动轨迹不重合的第二目标图像将不参入去重。

可选地，从数据库中筛选出第二人体目标的属性信息与第一人体目标的属性信息相同的第二目标图像。例如，该属性信息为人体性别、衣服颜色等。因而，第二人体目标的属性信息与第一人体目标的属性信息不同的第二目标图像将不参入去重。

S12：提取第一目标图像中的第一人体目标和第二目标图像中的第二人体目标的全局特征和至少一局部特征。

从第一目标图像中提取第一人体目标，即从第一目标图像中获取第一人体图像所在的区域；从第二目标图像中提取第二人体目标，即从第二目标图像中获取第二人体图像所在的区域；并分别提取第一人体目标和第二人体目标的全局特征和至少一局部特征。

该全局特征为人体的全身特征，该局部特征包括人体的上半身特征和下半身特征。即需提取第一人体目标和第二人体目标的全身特征、上半身特征和/或下半身特征。

由于环境中存在障碍物遮挡人体，例如汽车、护栏、广告牌等，以及人体姿态的变化，例如下蹬姿态、弯腰姿态等，将致使对同一人体目标的重复抓拍识别为多个不同人体目标的抓拍，这些因素的存在将十分影响对同一人体目标的去重判断。

本申请通过获取人体目标的全局特征和局部特征，以消除人体遮挡、人体姿态变化等因素的影响。例如，人体的下半身被汽车所遮挡，则获取的上半身特征并不会受到遮挡因素的影响，因而在随后第一人体目标的上半身特征与第二人体目标的上半身特征的相似度计算中，所得到的相似度不受影响。

S13：分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度。

分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度，即第一人体目标的全身特征与第二人体目标的全身特征进行匹配并计算相似度，第一人体目标的上半身特征与第二人体目标的上半身特征进行匹配并计算相似度，和/或第一人体目标的下半身特征与第二人体目标的下半身特征进行匹配并计算相似度，进而可获取至少两个候选相似度。

例如，第一人体目标中人体的下半身被遮挡，第二人体目标未被遮挡，则第一人体目标的全身特征与第二人体目标的全身特征计算所得到的候选相似度数值比较低，第一人体目标的上半身特征与第二人体目标的上半身特征计算得到的候选相似度数值较高，第一人体目标的下半身特征与第二人体目标的下半身特征计算得到的候选相似度数值也较低。

S14：根据至少两个候选相似度生成第一相似度。

在上述步骤中，获取到至少两个候选相似度，根据该至少两个候选相似度生成第一人体目标与第二人体目标之间的第一相似度。

在一些实施方式中，从该至少两个候选相似度中选择相似度最高的作为第一相似度，从而可消除遮挡、人体姿态变化等因素对第一人体目标与第二人体目标之间相似度的影响，有利于提高对目标图像去重的准确性。

本实施例中，获取对应全身特征、上半身特征和下半身特征的三个候选相似度，并取得三个候选相似度中相似度最高的作为第一相似度。

在其他一些实施方式中，对该至少两个候选相似度进行加权求和，以获得第一相似度，从而可以弱化遮挡、人体姿态变化等因素对第一人体目标与第二人体目标之间相似度的影响。

S15：基于第一相似度确定第一目标图像是否满足入库标准。

基于第一相似度确定第一目标图像是否满足入库标准。

由于存在从数据库中筛选出多张第二目标图像的情况，则上述将获取第一目标图像与多张第二目标图像的多个第一相似度。

可选地，获取多个第一相似度中最大值，将该最大值与预设的相似度阈值进行比较；若该最大值大于等于该相似度阈值，则可认为第一人体目标与第二人体目标为同一人体目标，第一目标图像不满足入库标准，该第一目标图像属于重复抓拍而需要舍弃，进而达到去重的目的。否则，第一目标图像满足入库标准，第一目标图像被存储于数据库中以增添新的第二目标图像。

本实施例中，对多个第一相似度进行修正，之后确定第一目标图像是否满足入库标准。具体地，采用下述方法实现：

S151：根据第一人体目标和第二人体目标的属性信息对第一相似度进行修正，以获得第二相似度。

具体地，根据该属性信息获取辅助相似度。

该属性信息包括第一人体目标和第二人体目标的完整性、性别和衣物颜色中的至少一个。该属性信息还可以是人体目标的发型特征、身高等，其有助于修正第一相似度，以差异化所得到的多个第二相似度即可。同时，采用多种属性信息同时对第一相似度进行修正以得到多个第二相似度，该多个相似度彼此之间具有更好的区分性。例如，同时根据衣服颜色、性别对第一相似度进行修正，所得到的多个第二相似度彼此之间的区分度更大。

若多个第二目标图像中的第二人体目标存在与第一人体目标为同一人体目标的情况，则必然有较高的第二相似度。

具体地，当第一人体目标和第二人体目标的属性信息满足预设条件，则辅助相似度设置为第一数值，否则辅助相似度设置为第二数值，其中第一数值大于第二数值。

例如，第一人体目标与第二人体目标的相似度数值划分在0至100之间，其中相似度为0表示第一人体目标与第二人体目标毫不相似，相似度为100表示第一人体目标与第二人体目标完全相同。则可以将第一数值设置为100，第一数值设置为0。

例如，属性信息为人体目标的完整性，则当第一人体目标和第二人体目标均为完整的，则判定为满足预设条件，辅助相似度设置为第一数值；否则辅助相似度设置为第二数值。即第一人体目标和第二人体目标中任一人体目标为半身像，则辅助相似度设置为第二数值。

或者，属性信息为性别或衣物颜色，当第一人体目标和第二人体目标的性别相同或衣物颜色相同，则判定为满足预设条件。当第一人体目标和第二人体目标的性别不相同或衣物颜色不相同，则判定为不满足预设条件。

或者，属性信息为人体目标的完整性、性别和衣物颜色中的两者或三者，则对应属性相同的则判定为满足预设条件，其对应有辅助相似度设置为第一数值，则对应属性不相同的则判定为不满足预设条件，其对应有辅助相似度设置为第二数值。

例如，属性信息为性别和衣物颜色，第一人体目标和第二人体目标的性别相同，第一人体目标和第二人体目标的衣物颜色不相同，则性别所对应的辅助相似度设置为第一数值，衣物颜色所对应的辅助相似度设置为第二数值。

进一步地，将辅助相似度与第一相似度进行加权求和，以得到第二相似度，其中第一相似度所分配的权重大于辅助相似度所分配的权重。

因而根据多个不同的第一相似度可获得多个第二相似度，该多个第二相似度具有较大的区分性。

S152：基于第二相似度确定第一目标图像是否满足入库标准。

具体地，将根据第一目标图像与多个第二目标图像计算获得的多个第二相似度按相似度得分大小进行排序，并选择最大的第二相似度。

将最大的第二相似度与预设的相似度阈值进行比较。若最大的第二相似度小于相似度阈值，则认为第一人体目标与第二人体目标不是同一人体目标，第一目标图像满足入库标准，第一目标图像被存储于数据库中以增添新的第二目标图像。否则，则第一目标图像不满足入库标准，即最大的第二相似度大于等于相似度阈值时，第一人体目标与第二人体目标为同一人体目标，第一目标图像不满足入库标准，该第一目标图像属于重复抓拍而需要舍弃，进而达到去重的目的。

参阅图3，图3是本申请提供的存储介质的一实施例的结构示意图。

该存储介质20存储有程序数据21，程序数据21在被处理器执行时，实现如图1至图2所描述的图像去重方法。

该程序数据21可以以软件产品的形式存储于一个存储介质20中，包括若干指令用于使得一台网络设备(可以路由器、个人计算机、服务器等网络设备)或处理器执行本申请各个实施例所述方法的全部或部分步骤。

存储介质20是计算机存储器中用于存储某种不连续物理量的媒体。而前述的具有存储功能的存储介质20包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序数据21代码的介质。

参阅图4，图4是本申请提供的网络设备的一实施例的结构示意图。

该网络设备30包括相互连接的处理器32和存储器31，存储器31存储有计算机程序，处理器32执行该计算机程序时，实现如图1至图2所描述的图像去重方法。

网络设备30可以是编解码器。处理器32还可以称为CPU(Central ProcessingUnit，中央处理单元)。处理器32可以是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器32可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图5，图5是本申请提供的智能监控系统的一实施例的结构示意图。

该智能监控系统40包括网络摄像机41和如上述的网络设备30，网络摄像机41与网络设备30通信连接，其中网络摄像机41用于对监控区域内的人体进行抓拍，网络设备30运行计算机程序确认所抓拍的图像是否需要去重，以节省存储空间。

区别于现有技术的情况，本申请公开了一种图像去重方法、存储介质、网络设备和智能监控系统。通过获取待存入数据库的第一目标图像和已存储于数据库的第二目标图像之间的相似度，以判定是否需要将第一目标图像去重，并通过提取第一目标图像中的第一人体目标和第二目标图像中的第二人体目标的全局特征和至少一局部特征，以及分别在全局特征之间以及局部特征之间进行相似度匹配，以获得至少两个候选相似度，再根据该至少两个候选相似度生成第一相似度，因而即使人体目标局部有遮挡、人体姿态变化等因素，通过局部特征获取的候选相似度不会受到影响，第一相似度受与局部特征对应的候选相似度影响偏重较大，进而能够极大地消除遮挡、人体姿态变化等因素对第一相似度的影响，并基于第一相似度确定第一目标图像是否满足入库标准，判定该第一人体目标和第二人体目标是否为同一人体目标，若第一人体目标和第二人体目标为同一人体目标，则第一目标图像与第二目标图像为对同一人体目标的重复抓拍图像，第一目标图像不应被存入数据库，因而确定第一目标图像不满足入库标准；判定该第一人体目标和第二人体目标为不同的人体目标时，则第一目标图像应被存入数据库，确定第一目标图像满足入库标准，因而本申请能够有效地去除遮挡、人体姿态变化等因素导致的对同一人体目标所重复抓拍的图像。

在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种图像去重方法，其特征在于，包括：

获取待存入数据库的第一目标图像和已存储于所述数据库的第二目标图像，其中包括从所述数据库中筛选出第二人体目标的运动方向与所述第一目标图像中的第一人体目标的运动方向相同的所述第二目标图像；

提取所述第一目标图像中的第一人体目标和所述第二目标图像中的第二人体目标的全局特征和至少一局部特征；

分别在所述全局特征之间以及所述局部特征之间进行相似度匹配，以获得至少两个候选相似度；

根据所述至少两个候选相似度生成第一相似度；

基于所述第一相似度确定所述第一目标图像是否满足入库标准；

所述基于所述第一相似度确定所述第一目标图像是否满足入库标准的步骤包括：

根据所述第一人体目标和所述第二人体目标的属性信息获取辅助相似度；

将所述辅助相似度与所述第一相似度进行加权求和，以得到第二相似度，其中所述第一相似度所分配的权重大于所述辅助相似度所分配的权重；

基于所述第二相似度确定所述第一目标图像是否满足入库标准；

其中，当所述属性信息满足预设条件，则所述辅助相似度设置为第一数值，否则所述辅助相似度设置为第二数值，其中第一数值大于第二数值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个候选相似度获得第一相似度的步骤包括：

从所述至少两个候选相似度中选择相似度最高的作为所述第一相似度；或者

对所述至少两个候选相似度进行加权求和，以获得所述第一相似度。

3.根据权利要求1所述的方法，其特征在于，所述全局特征为全身特征，所述局部特征包括上半身特征和下半身特征。

4.根据权利要求1所述的方法，其特征在于，所述属性信息包括所述第一人体目标和第二人体目标的完整性、性别和衣物颜色中的至少一个。

5.根据权利要求4所述的方法，其特征在于，当所述第一人体目标和第二人体目标均为完整的，则满足所述预设条件，或者

当所述第一人体目标和第二人体目标的性别相同和/或衣物颜色相同，则满足所述预设条件。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第二相似度确定所述第一目标图像是否满足入库标准的步骤包括：

将根据所述第一目标图像与多个所述第二目标图像计算获得的多个所述第二相似度进行排序，并选择最大的所述第二相似度；

将最大的所述第二相似度与预设的相似度阈值进行比较；

若最大的所述第二相似度小于所述相似度阈值，则所述第一目标图像满足入库标准；

否则，则所述第一目标图像不满足入库标准。

7.一种存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-6任一项所述方法的步骤。

8.一种网络设备，其特征在于，所述网络设备包括相互连接的处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述方法的步骤。

9.一种智能监控系统，其特征在于，所述智能监控系统包括网络摄像机和如权利要求8所述的网络设备，所述网络摄像机与所述网络设备通信连接，所述网络摄像机用于对监控区域内的人体进行抓拍。

Images