Nothing Special   »   [go: up one dir, main page]

CN111553355B - 基于监控视频的出店经营检测及通知管理店主的方法 - Google Patents

基于监控视频的出店经营检测及通知管理店主的方法 Download PDF

Info

Publication number
CN111553355B
CN111553355B CN202010421513.5A CN202010421513A CN111553355B CN 111553355 B CN111553355 B CN 111553355B CN 202010421513 A CN202010421513 A CN 202010421513A CN 111553355 B CN111553355 B CN 111553355B
Authority
CN
China
Prior art keywords
store
name
store name
business
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010421513.5A
Other languages
English (en)
Other versions
CN111553355A (zh
Inventor
章东平
郁强
束元
李圣权
叶菱玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202010421513.5A priority Critical patent/CN111553355B/zh
Publication of CN111553355A publication Critical patent/CN111553355A/zh
Application granted granted Critical
Publication of CN111553355B publication Critical patent/CN111553355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于监控视频的出店经营检测及通知管理店主的方法，通过摄像机获得所需进行出店经营检测的视频图像画面，并上传至城管系统，由城管系统将视频所得的图像输入到店名文本提取及店名类型识别模型中，获得店名识别结果后，再由城管系统将原视频图像输入到出店经营检测模型中，结合在违规“出店经营”待处理数据库中的不同检索结果，城管系统针对不同的情况分别进行相应的事件处理；当出店经营检测模型检测到店铺由出店经营整改为未出店经营时，则将事件文件夹从待处理数据库中剪切到结案数据库中保存。

Description

基于监控视频的出店经营检测及通知管理店主的方法
技术领域
本发明涉及深度学习图像处理领域，涉及到可形变卷积、可形变池化、卷积神经网络、深度学习和图像分类等技术，特别涉及一种基于监控视频的出店经营检测及通知管理店主的方法。
背景技术
我国经济发展迅速，在日常生活中店铺规范经营对城市建设以及居民生活十分重要。快速有效的出店经营检测和整改，以及事后的核查，越来越受到城管部门的重视。利用城管监控视频所得到的图像进行出店经营检测、通知店主整改及事后核查的需求，在店铺规范管理领域变的越来越迫切。
当前识别技术、图像匹配技术的成果在学术研究领域突飞猛进，但目前大多数识别系统以及图像匹配系统均应用在人脸识别，卫星图像和医疗等方面，然而在对现实生活中的店铺规范管理方面，却并未广泛深入的应用。
同时，利用图像识别匹配技术进行出店经营检测也是具有挑战性的，因为监控视频中的店铺名称形变较为严重，且店外经营的商品多种多样，这导致了误报率的上升，同时如今的事后核查也是费时费力费人，解决上述问题的关键在于如何确定出店经营范围内的物品属于店铺经营商品，目前的图像识别技术均未能很好地解决该技术问题。
发明内容
本发明的目的在于克服上述问题，提出了一种基于监控视频的出店经营检测及通知管理店主的方法，旨在提供一些城管协助工具和方法协助城管人员能够根据监控视频图像对街边商铺或店铺及时准确地进行出店经营检测，以及简便地完成通知店主整改与视频核查的任务，提高城管效率。本技术方案提供一种基于监控视频的出店经营检测及通知管理店主方法，包括：
步骤(1)：获取视频图像画面；
步骤(2)：将视频图像画面输入到店名文本提取及店名类型识别模型中，获得店名预测框的参数组、文本形式的店名和店铺名类别，其中参数组包含预测框左上角坐标值及其宽高值；
步骤(3)：将原视频图像画面输入到出店经营检测模型中，判断该店铺是否出店经营；
步骤(4)：步骤(4.1)当出店经营检测模型未检测到视频图像画面中存在出店经营的情况时，输入下一张图片重复进行步骤(2)和步骤(3)进行店名识别和出店经营检测；步骤(4.2)当出店经营检测模型检测到视频图像画面中存在出店经营的情况时，通过视频图像画面对应的摄像头位置确定的店铺信息搜索获得该店主信息并通知店主。
另外，提供对应的电子设备和计算机程序介质。
相较现有技术，本技术方案具有以下的特点和有益效果：
通过监控摄像头获得需要进行出店经营检测的视频图像画面，并上传至城管系统，由城管系统将视频所得的图像输入到店名文本提取及店名类型识别模型中，通过深度学习的模型提高店名的识别精度和效率，针对解决监控视频中的店铺名称形变较为严重的问题，获得店名识别结果后，再由城管系统将原视频图像输入到出店经营检测模型中，结合在违规“出店经营”待处理数据库中的不同检索结果，城管系统针对不同的情况分别进行相应的事件处理；当出店经营检测模型检测到店铺由出店经营整改为未出店经营时，则将事件文件夹从待处理数据库中剪切到结案数据库中保存，智能高效地完成后期的店主整改和视频核查的任务。
附图说明
图1是基于监控视频的出店经营检测及通知管理电路的方法的流程图。
图2是店名文本提取及店名类型识别网络结构图。
图3是文本特征提取模块网络结构图。
图4是出店经营检测模型网络结构图。
图5是HG模块网络结构图。
图6是出店经营二次确认模块的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本方案提供一种基于监控视频的出店经营检测及通知管理店主的方法，其中基于监控视频的出店经营检测方法用于在监控视频中检测出店经营的情况，其中基于监控视频的通知管理店主的方法结合出店经营检测方法完成通知店主整改与视频核查的任务。
本实施例中，如图1所示，一种基于监控视频的出店经营检测及通知管理店主的方法包括以下步骤：
步骤(1)：通过摄像机获得需要进行出店经营检测的视频图像画面，将视频图像画面并上传至城管系统；
步骤(2)：由城管系统将视频图像画面输入到店名文本提取及店名类型识别模型中，获得店名预测框的参数组、文本形式的店名和店铺名类别，其中参数组包含预测框左上角坐标值(x,y)及其宽高值，且下述参数组均由此构成；
步骤(3)：再由城管系统将原视频图像画面输入到出店经营检测模型中，判断该店铺是否出店经营；
步骤(4)：
步骤(4.1)当出店经营检测模型未检测到视频图像画面中存在出店经营的情况时，城管系统输入下一张图片重复进行步骤(2)和步骤(3)进行店名识别和出店经营检测；
步骤(4.2)当出店经营检测模型检测到视频图像画面中存在出店经营的情况时，通过摄像头位置确定店铺信息(包括店铺的地点和店名)在工商管理数据库中搜索获得该店主的店主信息(包括店主的相关信息以及联系方式)，并以电话、微信或短信等方式通知店主；同时创建存储对应不同任务号n的检测到出店经营的视频图像画面的图片的文件夹，具体的，创建一个以任务号n为文件夹名的文件夹，n＝1，2，3…，将检测到出店经营的图片也存入该文件夹内，图片名格式为：时间+地点+店名，其中时间和地点通过摄像头实时获取，然后将该文件夹作为一个事件存储到违规“出店经营”待处理数据库中；
步骤(5)：将该摄像头在设定时间T后的视频图像画面再次输入店名文本提取及店名类型识别模型中进行店名检测，以及输入出店经营检测模型中进行出店经营检测，通过识别出的店名以及摄像头位置确定的店铺地点在违规“出店经营”待处理数据库中进行智能搜索，若未在违规“出店经营”待处理数据库中搜索到相同的店名和地点，且未检测到该店有出店经营的状况，则城管系统输入下一张图片进行店名识别和出店经营检测；若未在违规“出店经营”待处理数据库中搜索到相同的店名和地点，但检测到该店有出店经营的状况，则回到步骤(4.2)；若在违规“出店经营”待处理数据库中搜索到相同的店名和地点，且检测到该店仍有出店经营的状况，则分派相关工作人员对任务n进行现场处理，同时将检测到出店经营的图片以时间+地点+店名+相关工作人员编号的命名格式存入任务号为n的事件文件夹中。
步骤(6)：在设定时间段后，获取违规“出店经营”待处理数据库中的店铺的视频图像画面，输入出店经营检测模型中进行出店经营检测，如果未检测到出店经营则进行结案处理，即将无出店经营对应的视频图像画面的图片保存至对应事件的文件夹中，并以时间+地点+店名为命名格式，再将此事件文件夹该文件夹转移至结案数据库中，即，从待处理数据库中剪切到结案数据库中保存。
进一步的，步骤(2)中店名文本提取及店名类型识别模型及其训练过程为：
步骤(2.1)构建训练与测试数据集：获取并标注含有店铺的图像数据得到训练和测试标签，其中用于店名文本提取及店名类型识别模型的标签为一个三元组，包含(1)用矩形框标出的由摄像头获取的真实图像数据中的店名框，(2)店名框的类别，即该店名所属的类别，例如餐饮类、家具类和汽车店等，(3)店名框的参数组数据，其中参数组数据包含店名框左上角坐标值(x,y)及其宽高值。
步骤(2.2)模型结构设计：店名文本提取及店名类型识别模型的网络结构，首先采用特征金字塔网络结构，包含i＝16层经典卷积层和i＝16层上采样层，且第k层经典卷积输出的特征图与第(i-k)层上采样层输出的特征图经过通道融合输入第(i+1-k)层上采样层，用来进行基本特征的提取，然后每层上采样层提取出的特征图分别输入到一个初期文本处理模块中，该初期文本处理模块包含L＝6层经典卷积层和j＝3层可形变卷积层。其次，将获得的i＝16个特征图通过一个拼接层(即将同大小的特征图融合拼接起来)进行特征融合。最后，将融合后的特征图输入改进后的区域生成网络(RPN)中，获得文本文字；
其中，区域生成网络的改进之处在于将网络中的ROI(RegionofInterest)池化层改为可形变PS(Position-Sensitive)ROI池化层，且在获得预测框后进行掩膜实例分割；其中掩膜实例分割就是用标签中的真实框与待处理图像相乘，得到感兴趣区图像，即感兴趣区内图像值保持不变，而区外图像值都为0。
其中，可形变卷积层公式如下所示：
式中P0表示，Pn是卷积输出的每一个点相对感受野上的每一个点的偏移量(取整数)，偏移量ΔPn是由上一层卷积得出；
可形变PS(Position-Sensitive)ROI池化层公式如下所示：
基于特征图上的框(ROI)被分为K*K＝3*3个盒子(bin)，式中p0为每个盒子(bin)左上角的坐标，p是盒子中每个点相对于p0的坐标偏移量，nij是第(i，j)个盒子中的点数，Δpij是每个盒子的偏移量，即偏移量Δpij是针对整个盒子的，一个盒子中的每一个点的Δpij值都相同；
步骤(2.3)模型训练：对网络参数赋初始化数值，设置网络的最大迭代次数m＝1000000；将准备好的数据集输入网络，进行训练。如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型；
其中，损失函数公式如下：
L＝LRcls+LRreg+λLmask
式中LRcls和LRreg是区域生成网络(RPN)对框的分类和回归的损失函数，Lmask是分割任务的损失函数，例如交叉熵损失函数，λ＝0.6为一个固定的权重参数，可依据实际需要自行设定；
其中LRcls和LRreg公式如下：
式中Ncls为锚点(anchor)总数，Pi是第i个锚点是目标的预测概率，为真实标签值，当锚点为正时值为1，反之为0。ti是表示预测边界的4个参数组成的向量，分别是中心点坐标x、y以及宽高，而/>是与正锚点相关的真实边界框的4个参数组成的向量，R是smoothL1函数；
其中，锚点通过真实框与预测框交并比来判断正负，当交并比大于阈值a＝0.5时锚点为正，且交并比公式如下：
式中IOU表示交并比,Pred和Truth分别表示预测和真实，area表示求矩形框面积，Boxp和Boxt分别表示预测框和真实框；
步骤(2.4)模型使用：输入待识别的图片，如果店名文本提取及店名类型识别模型检测到图片中有店名，则输出店名预测框的参数组P，包含左上角坐标值(x,y)和框的宽高值，同时以文本形式输出图片上店铺名称和该店类别，例如餐饮类-xx小吃或家居类-xx家居等；如果店名识别模型没有检测到图中有店名，则会输出图片中没有店名的信号，例如输出0。
进一步的，步骤(3)中出店经营检测模型及其训练过程为：
步骤(3.1)构建训练与测试数据集：将视频图像中所有出店经营的店铺用矩形框框出，框中包含了店名、店面和店铺前属于出店经营的范围，标签名为出店经营；
步骤(3.2)模型结构：出店经营检测模型主要由HG模块、残差卷积网络和出店经营二次确认模块组成。HG模块是由a＝8层卷积层和a＝8层上采样层组成的金字塔网络；残差卷积网络由b＝12层卷积层、c＝6个残差模块、一层全连接层和一层分类层组成，其中残差模块由e＝2层3*3卷积层和f＝1层1*1卷积层组成；
出店经营二次确认模块：首先计算店名文本提取及店名类型识别模型中获得的店名预测框和分类层获得的出店经营预测框这两者的重合率，选择重合率最大的店名所属的类别，对分类层获得所有目标物体进行类别筛选，将选出的属于店名类别的目标物体的预测框参数组和店外经营区域框参数组进行重合率计算，若存在重合率大于阈值d＝0.8的目标物体，则输出出店经营预测框的参数组；
其中，重合率CR的计算公式如下：
式中，x1、y1、w1和h1为一组参数组，x2、y2、w2和h2为一组参数组，且以图像左上角为原点；
步骤(3.3)模型训练：出店经营检测网络首先用目标识别的数据集，例如COCO数据集进行初步训练，然后用真实视频中标注后的出店经营训练数据集进行二次训练；
对目标识别网络的网络参数及权重赋初始化数值，设置网络的最大迭代次数m＝1000000。将准备好的数据集输入网络，进行训练；如果loss值一直下降，则继续训练，直到迭代m次后，得到最终的模型；如果loss值在中途趋于稳定，则停止迭代，得到最终的模型；
步骤(3.4)模型使用：在摄像头视频上对每个需要进行出店经营检测的店铺分别画出店外经营区域框，其中店外经营区域框是对应店铺门前属于店外经营的范围，并以店名作为该店的店外经营区域框框名，同时记录该框的参数组；
然后将待检测的图片、店名检测模型获得的店名类别、店名预测框的参数组以及店外经营区域框的参数组输入到出店经营检测模型中，当出店经营检测模型检测到图中有出店经营情况，则输出店铺出店经营的信号，例如输出1。
另外，根据本发明的另一方面，本方案提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上提到的基于城管监控视频的出店经营检测及通知管理店主的方法的步骤。
根据本发明的另一方面，本方案提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上提到的基于城管监控视频的出店经营检测及通知管理店主的方法的步骤。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (7)

1.一种基于监控视频的出店经营检测及通知管理店主方法，其特征在于，包括：
步骤（1）：获取视频图像画面；
步骤（2）：将视频图像画面输入到店名文本提取及店名类型识别模型中，获得店名预测框的参数组、文本形式的店名和店铺名类别，其中参数组包含预测框左上角坐标值及其宽高值；
其中店名文本提取及店名类型识别模型采用特征金字塔网络结构，包含经典卷积层和上采样层，每层上采样层提取出的特征图分别输入到一个初期文本处理模块中，初期文本处理模块包含经典卷积层和可形变卷积层，所得的特征图特征融合后输入改进的区域生成网络获得网络文字，区域生成网络将网络中的ROI池化层改为可形变PSROI池化层，且在获得预测框后进行掩膜实例分割；
步骤（3）：将视频图像画面输入到出店经营检测模型中，判断该店铺是否出店经营；
步骤（4）：步骤（4.1）当出店经营检测模型未检测到视频图像画面中存在出店经营的情况时，输入下一张图片重复进行步骤（2）和步骤（3）进行店名识别和出店经营检测；步骤（4.2）当出店经营检测模型检测到视频图像画面中存在出店经营的情况时，通过视频图像画面对应的摄像头位置确定的店铺信息搜索获得该店主信息并通知店主。
2.根据权利要求1所述的基于监控视频的出店经营检测及通知管理店主方法，其特征在于，
在步骤（4.2）中，创建存储对应不同任务号n的检测到出店经营的视频图像画面的图片的文件夹，其中图片格式为时间+地点+店名，该文件夹作为一个事件存储到违规“出店经营”待处理数据库中；
步骤（5）：将该摄像头在设定时间T后的视频图像画面再次输入店名文本提取及店名类型识别模型中进行店名检测，以及输入出店经营检测模型中进行出店经营检测，通过识别出的店名以及摄像头位置确定的店铺地点在违规“出店经营”待处理数据库中进行搜索，若未在违规“出店经营”待处理数据库中搜索到相同的店名和地点，且未检测到该店有出店经营的状况，则输入下一张图片进行店名识别和出店经营检测；若未在违规“出店经营”待处理数据库中搜索到相同的店名和地点，但检测到该店有出店经营的状况，则回到步骤（4.2）；若在违规“出店经营”待处理数据库中搜索到相同的店名和地点，且检测到该店仍有出店经营的状况，则分派相关工作人员对任务n进行处理，同时将检测到出店经营的图片以时间+地点+店名+相关+工作人员编号的命名格式存入任务号为n的文件夹中。
3.根据权利要求2所述的基于监控视频的出店经营检测及通知管理店主方法，其特征在于，步骤（6）：在设定时间段后，获取违规“出店经营”待处理数据库中的店铺的视频图像画面，输入出店经营检测模型中进行出店经营检测，如果未检测到出店经营则进行结案处理，即将无出店经营对应的视频图像画面的图片保存至对应事件的文件夹中，并以时间+地点+店名为命名格式，该文件夹转移至结案数据库中。
4.根据权利要求1所述的基于监控视频的出店经营检测及通知管理店主方法，其特征在于，用于店名文本提取及店名类型识别模型的标签为一个三元组，至少包含（1）用矩形框标出的店名框，（2）店名框的类别（3）店名框的参数组数据。
5.根据权利要求1所述的基于监控视频的出店经营检测及通知管理店主方法,其特征在于，出店经营检测模型由HG模块、残差卷积网络和出店经营二次确认模块组成，HG模块是由a=8层卷积层和a=8层上采样层组成的金字塔网络，其中出店经营二次确认模块计算店名文本提取及店名类型识别模型中获得的店名预测框和残差卷积网络获得的预测框的重合率，选择重合率最大的店名所属的类别，对残差卷积网络获得的所有目标物体进行类别筛选，将选出的属于店名类别的目标物体的预测框参数组和店外经营区域框参数组进行重合率计算，若存在重合率大于阈值的目标物体，则输出预测框的参数组。
6.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上权利要求1到5任一所述基于城管监控视频的出店经营检测及通知管理店主的方法的步骤。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上权利要求1到5任一所述基于城管监控视频的出店经营检测及通知管理店主的方法的步骤。
CN202010421513.5A 2020-05-18 2020-05-18 基于监控视频的出店经营检测及通知管理店主的方法 Active CN111553355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010421513.5A CN111553355B (zh) 2020-05-18 2020-05-18 基于监控视频的出店经营检测及通知管理店主的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010421513.5A CN111553355B (zh) 2020-05-18 2020-05-18 基于监控视频的出店经营检测及通知管理店主的方法

Publications (2)

Publication Number Publication Date
CN111553355A CN111553355A (zh) 2020-08-18
CN111553355B true CN111553355B (zh) 2023-07-28

Family

ID=72000431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010421513.5A Active CN111553355B (zh) 2020-05-18 2020-05-18 基于监控视频的出店经营检测及通知管理店主的方法

Country Status (1)

Country Link
CN (1) CN111553355B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200631B (zh) * 2020-10-12 2022-06-24 支付宝(杭州)信息技术有限公司 一种行业分类模型的训练方法及装置
CN112541772A (zh) * 2020-12-04 2021-03-23 浪潮云信息技术股份公司 一种面向商户的资格认证方法
CN112613569B (zh) * 2020-12-29 2024-04-09 北京百度网讯科技有限公司 图像识别方法、图像分类模型的训练方法及装置
CN113344064A (zh) * 2021-05-31 2021-09-03 北京百度网讯科技有限公司 事件处理方法和装置
CN114140734A (zh) * 2021-12-10 2022-03-04 北京商海文天科技发展有限公司 一种基于视频数据的店外经营分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN109063612A (zh) * 2018-07-19 2018-12-21 中智城信息技术有限公司 城市智能红线管理方法及机器可读存储介质
CN109345435A (zh) * 2018-12-07 2019-02-15 山东晴天环保科技有限公司 占道经营管理装置及方法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205144B (zh) * 2016-09-07 2018-06-19 东南大学 高速公路应急车道占用监督处罚方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108985169A (zh) * 2018-06-15 2018-12-11 浙江工业大学 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN109063612A (zh) * 2018-07-19 2018-12-21 中智城信息技术有限公司 城市智能红线管理方法及机器可读存储介质
CN109345435A (zh) * 2018-12-07 2019-02-15 山东晴天环保科技有限公司 占道经营管理装置及方法
CN109977782A (zh) * 2019-02-27 2019-07-05 浙江工业大学 基于目标位置信息推理的跨店经营行为检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Yuanping Zhu等.Curved Scene Text Detection Based on Mask R-CNN.Image and Graphics.2019,505-517. *
徐向波 ; .基于智慧化的城市管理发现问题模式.宁波工程学院学报.2013,(第03期),全文. *
郝力 ; .数字城管迈向智慧城管(三).自动化博览.2020,(第04期),全文. *

Also Published As

Publication number Publication date
CN111553355A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN110059554B (zh) 一种基于交通场景的多支路目标检测方法
CN112801050B (zh) 行李智能跟踪监测方法和系统
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN110705666A (zh) 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN111461209A (zh) 一种模型训练装置和方法
CN112861631B (zh) 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN110796141A (zh) 目标检测方法及相关设备
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN112836657B (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN114817991A (zh) 一种车联网图像脱敏方法和系统
CN114022837A (zh) 车站遗留物品检测方法、装置、电子设备及存储介质
Wu et al. Single shot multibox detector for vehicles and pedestrians detection and classification
CN112926426A (zh) 基于监控视频的船舶识别方法、系统、设备及存储介质
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114550148A (zh) 基于深度学习的严重遮挡商品的识别检测计数方法与系统
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置
CN112633116B (zh) 一种智能解析pdf图文的方法
CN115223003A (zh) 基于YOLOv5的入侵检测模型的训练方法和装置
CN114639084A (zh) 一种基于ssd改进算法的路侧端车辆感知方法
CN113569829A (zh) 集装箱编码数据识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant