发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本发明提供了一种安防报警方法、装置、服务器及计算机可读存储介质。
第一方面,本发明提供了一种安防报警方法,应用于服务器,所述方法包括:
接收第一图像采集装置推送的第一视频流;
确定对所述第一视频流中多个图像帧进行识别的识别方式;
按照确定的识别方式识别多个图像帧;
若在图像帧中识别到预设危险行为时,发出报警提醒。
可选地,确定对所述第一视频流中多个图像帧进行识别的识别方式,包括:
针对多个图像帧中的每个图像帧,提取图像帧的时间;
确定图像帧的时间所属的时间段;
根据预设的时间段与识别方式的对应关系,将与所述时间段对应的识别方式确定为图像帧的识别方式。
可选地,根据预设的时间段与识别方式的对应关系,将与所述时间段对应的识别方式确定为图像帧的识别方式,包括:
若图像帧的时间所属的时间段为预设的日间时间段,将与所述日间时间段对应的行为识别方式确定为图像帧的识别方式;
若图像帧的时间所属的时间段为预设的夜间时间段,将与所述夜间时间段对应的行为识别方式和语音识别方式确定为图像帧的识别方式。
可选地,按照确定的识别方式识别多个图像帧,包括:
若图像帧的时间所属的时间段为预设的日间时间段,按照与所述日间时间段对应的行为识别方式识别图像帧;
若图像帧的时间所属的时间段为预设的夜间时间段,按照与所述日间时间段对应的行为识别方式和语音识别方式识别图像帧。
可选地,在图像帧中识别到预设危险行为时,所述方法还包括:
对图像帧进行人脸检测,注册检测到的人脸图像的图像特征;
对图像帧进行行人检测,注册检测到的行人图像的图像特征;
获取所述第一图像采集装置周围预设范围内的第二图像采集装置采集的第二视频流;
基于注册的所述人脸图像的图像特征和所述行人图像的图像特征,对所述第二视频流的多个图像帧中进行人脸识别和行人重识别;
若在所述第二视频流识别到与所述人脸图像和行人图像匹配的目标对象时,发出报警提醒。
可选的,对图像帧进行人脸检测,注册检测到的人脸图像的图像特征,包括:
提取人脸检测得到的人脸图像的属性参数;
基于所述属性参数计算人脸图像的质量分数;
选取同一行人的人脸图像中,质量分数最大的人脸图像;
提取所述质量分数最大的人脸图像的图像特征,并注册所述图像特征。
可选的,对图像帧进行行人检测,注册检测到的行人图像的图像特征,包括:
提取行人检测得到的行人图像的属性参数;
基于所述属性参数计算行人图像的质量分数;
选取同一行人的行人图像中,质量分数最大的行人图像;
提取所述质量分数最大的行人图像的图像特征,并注册所述图像特征。
第二方面,本发明提供了一种安防报警装置,所述装置包括:
接收模块,用于接收第一图像采集装置推送的第一视频流;
确定模块,用于确定对所述第一视频流中多个图像帧进行识别的识别方式;
第一识别模块,用于按照确定的识别方式识别多个图像帧;
第一报警模块,用于若在图像帧中识别到预设危险行为时,发出报警提醒。
可选地,确定模块,包括:
提取单元,用于针对多个图像帧中的每个图像帧,提取图像帧的时间;
第一确定单元,用于确定图像帧的时间所属的时间段;
第二确定单元,用于根据预设的时间段与识别方式的对应关系,将与所述时间段对应的识别方式确定为图像帧的识别方式。
可选地,所述第二确定单元,还用于:
若图像帧的时间所属的时间段为预设的日间时间段,将与所述日间时间段对应的行为识别方式确定为图像帧的识别方式;
若图像帧的时间所属的时间段为预设的夜间时间段,将与所述夜间时间段对应的行为识别方式和语音识别方式确定为图像帧的识别方式。
可选地,所述第一识别模块,包括:
第一识别单元,用于若图像帧的时间所属的时间段为预设的日间时间段,按照与所述日间时间段对应的行为识别方式识别图像帧;
第二识别单元,用于若图像帧的时间所属的时间段为预设的夜间时间段,按照与所述日间时间段对应的行为识别方式和语音识别方式识别图像帧。
可选地,所述装置还包括:
第一检测模块,用于对图像帧进行人脸检测,注册检测到的人脸图像的图像特征;
第二检测模块,用于对图像帧进行行人检测,注册检测到的行人图像的图像特征;
获取模块,用于获取所述第一图像采集装置周围预设范围内的第二图像采集装置采集的第二视频流;
第二识别模块,用于基于注册的所述人脸图像的图像特征和所述行人图像的图像特征,对所述第二视频流的多个图像帧中进行人脸识别和行人重识别;
第二报警模块,用于若在所述第二视频流识别到与所述人脸图像和行人图像匹配的目标对象时,发出报警提醒。
可选的,所述第一检测模块,包括:
第一提取单元,用于提取人脸检测得到的人脸图像的属性参数;
第一计算单元,用于基于所述属性参数计算人脸图像的质量分数;
第一选取单元,用于选取同一行人的人脸图像中,质量分数最大的人脸图像;
第二提取单元,用于提取所述质量分数最大的人脸图像的图像特征,并注册所述图像特征。
可选的,所述第二检测模块,包括:
第三提取单元,用于提取行人检测得到的行人图像的属性参数;
第二计算单元,用于基于所述属性参数计算行人图像的质量分数;
第二选取单元,用于选取同一行人的行人图像中,质量分数最大的行人图像;
第四提取单元,用于提取所述质量分数最大的行人图像的图像特征,并注册所述图像特征。
第三方面,本发明提供了一种服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的安防报警方法。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有安防报警方法的程序,所述安防报警方法的程序被处理器执行时实现第一方面任一所述的安防报警方法的步骤。
本发明实施例提供的上述技术方案与现有技术相比具有如下优点:
本发明实施例提供的该方法,本发明实施例通过首先接收第一图像采集装置推送的第一视频流,然后确定对所述第一视频流中多个图像帧进行识别的识别方式,再按照确定的识别方式识别多个图像帧,若在图像帧中识别到预设危险行为时,则可以发出报警提醒。
本发明实施例能够在第一视频流中识别到危险行为时发出报警,可以实现实时监控实时报警,在危险行为发生时立刻报警,便于相关人员尽快处理,避免相关人员事后查找监控视频浪费大量时间,效率低的问题,而且,在危险行为发生时及时处理,可以避免公共设施或者被伤害对象的损害不断增大。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于目前调取视频监控的方式,从头到尾查找监控视频十分浪费时间,效率会比较低;而且在发生损坏公共设施行为、持刀、盗窃等事件时,事后调查的方式也会导致站牌设施的破损严重程度增加,被害者人身安全无法得到保证等问题。为此,本发明实施例提供的一种安防报警方法、装置、服务器及计算机可读存储介质。安防报警方法可以应用于服务器中,服务器可以与预先设置于不同位置区域的多个图像采集设备通信连接,图像采集设备可以实时的将采集到的视频流发送给服务器,示例性的,图像采集设备可以指摄像头等电子设备,如图1所示,所述安防报警方法可以包括以下步骤:
步骤S101,接收第一图像采集装置推送的第一视频流;
步骤S102,确定对所述第一视频流中多个图像帧进行识别的识别方式;
在该步骤中,服务器在接收到第一视频流后,可以在视频流中提取多个图像帧,多个图像帧可以为整个视频流中的全部图像帧,也可以为部分图像帧,在多个图像帧为整个视频流的部分图像帧时,由于视频中物体移动具有连续性,所以可以间隔的提取图像帧。
在该步骤中,首先可以针对多个图像帧中的每个图像帧,提取图像帧的时间。在本发明实施例中,图像帧的时间可以指图像帧的拍摄时间等;
然后确定图像帧的时间所属的时间段;在该步骤中,可以将图像帧的时间与每个预设的时间段的最小边界时间和最大边界时间作比较,如果图像帧的时间大于最小边界时间且大于最大边界时间,也就是说,图像帧的时间位于任一预设的时间段内,则可以确定图像帧的时间所属于该预设的时间段。
在本发明实施例中,示例性的,预设的时间段可以指日间时间段或者夜间时间段等。
再根据预设的时间段与识别方式的对应关系,将与所述时间段对应的识别方式确定为图像帧的识别方式。
在本发明实施例中,由于日间环境较嘈杂,所以日间时间段对应的识别方式可以为行为识别方式;
在本发明实施例中,行为识别方式,可以指:首先基于视频帧图像,其表示的是静态信息和对视频序列中每两帧计算密集光流得到的光流序列,该序列表示的是时序信息;计算密集光流是指计算图像上所有的点的偏移量,从而形成一个密集的光流场。通过这个密集的光流场,可以进行像素级别的图形配准;
然后对RGB图像和密集光流(temporal)分别训练CNN模型,计算所有输入图像所得分类得分的平均值作为整个视频的分类得分;最后可以利用双流CNN网络(是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一)分别基于RGB图像和由视频得到的光流序列各自训练一个模型,这两个模型分别对动作进行判断,最后将两这训练结果进行融合得到最终结果。
相应的,由于夜晚环境较安静,所以夜晚时间段对应的识别方式可以为行为识别方式和语音识别方式。
在本发明实施例中,语音识别方式,可以指:对所采集到的声音信号进行滤波、分帧等预处理工作,将声音切开成一段一段,每段为一帧,把要分析的信号从原始信号中提取出来;然后通过特征提取工作将声音信号从时域转换到频域,为声学模型提供合适的特征向量;声学模型中再根据声学特性计算每一个特征向量在声学特征上的得分;最后可以通过字典和语言模型将音频特征值转化为文字。
所以,若图像帧的时间所属的时间段为预设的日间时间段,将与所述日间时间段对应的行为识别方式确定为图像帧的识别方式;
若图像帧的时间所属的时间段为预设的夜间时间段,将与所述夜间时间段对应的行为识别方式和语音识别方式确定为图像帧的识别方式。
夜间场景会在白天场景基础上,增加语音识别(救命、来人啊、帮我等),提高危险行为识别的概率,弥补夜间光线过暗,对摄像头识别的不利因素;
步骤S103,按照确定的识别方式识别多个图像帧;
在该步骤中,若图像帧的时间所属的时间段为预设的日间时间段,按照与所述日间时间段对应的行为识别方式识别图像帧;
若图像帧的时间所属的时间段为预设的夜间时间段,按照与所述日间时间段对应的行为识别方式和语音识别方式识别图像帧。
步骤S104,若在图像帧中识别到预设危险行为时,发出报警提醒。
预设危险行为示例性的可以指砸东西、持危险品、盗窃等。
发出报警提醒可以指向手机端或者PC端进行消息推送。通过PC端能够实时查看公交车站的视频监控,当出现预警时,会弹出报警记录且会发出语音提示,手机端可解决PC端不能实时查看的问题,方便携带和处理。
在实际应用中,还可以同时在数据库生成记录、保存当前时间点下的可疑人物的照片。
本发明实施例通过首先接收第一图像采集装置推送的第一视频流,然后确定对所述第一视频流中多个图像帧进行识别的识别方式,再按照确定的识别方式识别多个图像帧,若在图像帧中识别到预设危险行为时,则可以发出报警提醒。
本发明实施例能够在第一视频流中识别到危险行为时发出报警,可以实现实时监控实时报警,在危险行为发生时立刻报警,便于相关人员尽快处理,避免相关人员事后查找监控视频浪费大量时间,效率低的问题,而且,在危险行为发生时及时处理,可以避免公共设施或者被伤害对象的损害不断增大。
在本发明又一实施例中,在图像帧中识别到预设危险行为时,如图2所示,所述方法还可以包括以下步骤:
步骤S201,对图像帧进行人脸检测,注册检测到的人脸图像的图像特征,对图像帧进行行人检测,注册检测到的行人图像的图像特征;
在该步骤中,可以提取人脸检测得到的人脸图像的属性参数;基于所述属性参数计算人脸图像的质量分数;选取同一行人的人脸图像中,质量分数最大的人脸图像;提取所述质量分数最大的人脸图像的图像特征,并注册所述图像特征。
在本发明实施例中,人脸图像的属性参数可以包括:人脸图像亮度参数、人脸图像的面积及人脸图像的模糊度等等,提取人脸图像的属性参数并基于属性参数计算质量分数,能够有效的在同一行人的人脸图像中选取图像质量最佳的人脸图像,对图像质量最佳的人脸图像的图像特征进行注册,能够提高后续人脸识别过程的效率及准确度。
并且,可以提取行人检测得到的行人图像的属性参数;基于所述属性参数计算行人图像的质量分数;选取同一行人的行人图像中,质量分数最大的行人图像;提取所述质量分数最大的行人图像的图像特征,并注册所述图像特征。
在本发明实施例中,行人图像的属性参数可以包括:行人图像亮度参数、行人图像的面积及行人图像的模糊度等等,提取行人图像的属性参数并基于属性参数计算质量分数,能够有效的在同一行人的行人图像中选取图像质量最佳的行人图像,对图像质量最佳的行人图像的图像特征进行注册,能够提高后续行人重识别过程的效率及准确度。
步骤S202,获取所述第一图像采集装置周围预设范围内的第二图像采集装置采集的第二视频流;
在本发明实施例中,可以按照网格方式铺设图像采集装置,各个图像采集装置设置于网格的交叉点,也可以根据实际情况,在人流量达到预设人数/日的地点设置图像采集设备。
第一图像采集装置周围预设范围可以指以第一图像采集装置的位置为中心,以预设长度为半径绘制圆形区域,或者以第一图像采集装置的位置为中心的矩形区域等,具体可以根据实际需要设置,本发明不做限定。
步骤S203,基于注册的所述人脸图像的图像特征和所述行人图像的图像特征,对所述第二视频流的多个图像帧中进行人脸识别和行人重识别;
在本发明实施例中,人脸识别,可以指:首先根据haar特征和Adaboost算法把图片切割成一块块的图像块,通过检测模型返回的人脸坐标,从图像中抠出人脸;
该haar特征常和Adaboost算法结合用于识别人脸,Haar特征很简单,分为三类:边缘特征、线性特征、中心特征和对角线特征,组合成特征模板;Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
然后利用局部二值模式(Local Binary Patterns,LBP)首先将图像分成若干区域,在每个区域的像素640x960邻域中用中心值作阈值化,将结果看成是二进制数,提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配,通过设定一个阈值,当相似度超过这一阈值,则把匹配得到的结果输出;
行人重识别,可以指:首先将视频流截取的图片垂直等分为若干份,被分割好的若干块图像块按照顺序送到一个长短时记忆网络,最后的特征融合了所有图像块的局部特征;再基于SP距离(最短路径算法)的自动对齐模型,通过动态对齐算法(最短路径距离),分别提取检索图和底库图的特征值,计算欧式距离,根据距离进行排序,排序越靠前相似度越高。
步骤S204,若在所述第二视频流识别到与所述人脸图像和行人图像匹配的目标对象时,发出报警提醒。
本发明实施例在预警的同时在最短的时间内,通过行人重识别算法或人脸识别算法对人脸、行人进行注册,可联动不同的图像采集设备搜索可疑人物,此处增加人脸图像的注册能够通过人脸的对比和增加行人图像的注册能够通过行人走路姿态的对比有效减少穿同一颜色衣服被误识别的可能,在较短的时间内提高效率,节省人力资源,增加寻找到可疑人的可能性。
在本发明的又一实施例中,还提供一种安防报警装置,如图3所示,所述装置包括:
接收模块11,用于接收第一图像采集装置推送的第一视频流;
确定模块12,用于确定对所述第一视频流中多个图像帧进行识别的识别方式;
第一识别模块13,用于按照确定的识别方式识别多个图像帧;
第一报警模块14,用于若在图像帧中识别到预设危险行为时,发出报警提醒。
在本发明的又一实施例中,确定模块,包括:
提取单元,用于针对多个图像帧中的每个图像帧,提取图像帧的时间;
第一确定单元,用于确定图像帧的时间所属的时间段;
第二确定单元,用于根据预设的时间段与识别方式的对应关系,将与所述时间段对应的识别方式确定为图像帧的识别方式。
本发明实施例通过首先接收第一图像采集装置推送的第一视频流,然后确定对所述第一视频流中多个图像帧进行识别的识别方式,再按照确定的识别方式识别多个图像帧,若在图像帧中识别到预设危险行为时,则可以发出报警提醒。
本发明实施例能够在第一视频流中识别到危险行为时发出报警,可以实现实时监控实时报警,在危险行为发生时立刻报警,便于相关人员尽快处理,避免相关人员事后查找监控视频浪费大量时间,效率低的问题,而且,在危险行为发生时及时处理,可以避免公共设施或者被伤害对象的损害不断增大。
在本发明的又一实施例中,所述第二确定单元,还用于:
若图像帧的时间所属的时间段为预设的日间时间段,将与所述日间时间段对应的行为识别方式确定为图像帧的识别方式;
若图像帧的时间所属的时间段为预设的夜间时间段,将与所述夜间时间段对应的行为识别方式和语音识别方式确定为图像帧的识别方式。
在本发明的又一实施例中,所述第一识别模块,包括:
第一识别单元,用于若图像帧的时间所属的时间段为预设的日间时间段,按照与所述日间时间段对应的行为识别方式识别图像帧;
第二识别单元,用于若图像帧的时间所属的时间段为预设的夜间时间段,按照与所述日间时间段对应的行为识别方式和语音识别方式识别图像帧。
在本发明的又一实施例中,所述装置还包括:
第一检测模块,用于对图像帧进行人脸检测,注册检测到的人脸图像的图像特征;
第二检测模块,用于对图像帧进行行人检测,注册检测到的行人图像的图像特征;
获取模块,用于获取所述第一图像采集装置周围预设范围内的第二图像采集装置采集的第二视频流;
第二识别模块,用于基于注册的所述人脸图像的图像特征和所述行人图像的图像特征,对所述第二视频流的多个图像帧中进行人脸识别和行人重识别;
第二报警模块,用于若在所述第二视频流识别到与所述人脸图像和行人图像匹配的目标对象时,发出报警提醒。
在本发明的又一实施例中,所述第一检测模块,包括:
第一提取单元,用于提取人脸检测得到的人脸图像的属性参数;
第一计算单元,用于基于所述属性参数计算人脸图像的质量分数;
第一选取单元,用于选取同一行人的人脸图像中,质量分数最大的人脸图像;
第二提取单元,用于提取所述质量分数最大的人脸图像的图像特征,并注册所述图像特征。
在本发明的又一实施例中,所述第二检测模块,包括:
第三提取单元,用于提取行人检测得到的行人图像的属性参数;
第二计算单元,用于基于所述属性参数计算行人图像的质量分数;
第二选取单元,用于选取同一行人的行人图像中,质量分数最大的行人图像;
第四提取单元,用于提取所述质量分数最大的行人图像的图像特征,并注册所述图像特征。
在本发明的又一实施例中,还提供一种服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现前述方法实施例所述的安防报警方法。
本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程序实现了获取视频的播放操作,根据播放操作确认相应的帧率降低策略,根据帧率降低策略对视频数据对应的帧数据进行调整后进行播放,保证播放设备可以良好的播放视频。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有安防报警方法的程序,所述安防报警方法的程序被处理器执行时实现前述方法实施例所述的安防报警方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。