CN110176117A - 一种基于行为识别技术的监控装置及监控方法 - Google Patents

Abstract

本发明公开了一种基于行为识别技术的监控装置，包括计算机、行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头和毫米波雷达、第一数据库和第二数据库，计算机和行为识别模块设置有嵌入式神经网络处理器，计算机接收其他模块得到的信息，行为识别模块识别正常行为和异常行为，人脸识别模块识别人脸特征，第一数据库存储第一行为识别结果，第二数据库存储第二行为识别结果，监控摄像头录制监控视频，声音识别模块记录并识别音频，毫米波雷达确定目标数量和成像，嵌入式神经网络处理器快速处理信息，计算机通过根据音频、第一行为识别结果和第二行为识别结果判断是否存在异常行为，一旦确认为异常行为，那么报警模块启动。

Description

一种基于行为识别技术的监控装置及监控方法

技术领域

本发明涉及一种监控装置及方法，特别是一种基于行为识别技术的监控装置及监控方法。

背景技术

近年来，行为识别越来越被重视，其中监控装置可以通过行为识别判断正常行为和异常行为，最常见的监控装置是计算机通过监控摄像头实时行为识别，计算机通过模拟物体的运动轮廓，查找数据库实现行为识别，虽然具有一定的效果，但是识别准确率低。

发明内容

为了克服现有技术的不足，本发明提供一种识别准确率高、行为识别速度快的基于行为识别技术的监控装置及监控方法。

本发明解决其技术问题所采用的技术方案是：

一种基于行为识别技术的监控装置，包括计算机，所述计算机设置有第一数据库，所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块，所述行为识别模块设置有第二数据库，所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达，所述计算机和行为识别模块均设置有嵌入式神经网络处理器。

所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。

所述第二数据库包括第一行为识别结果数据库。

所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。

所述微型传感器包括红外线传感器和颜色识别传感器。

一种由上述的基于行为识别技术的监控装置的监控方法，该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据，一旦发生异常情况则启动报警模块，每一个对象的特征数据均以相同的编号值存储在每一个数据库中，或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值，再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值，所述计算机安装有人像建模软件，模拟软件，具体实施步骤如下：

步骤1：监控设备初始化，若干台监控摄像头和一台计算机作为一套监控系统，每个区域至少配备有三套所述监控系统，并按批次分别在不同的时间段工作，红外线传感器有多个，并分别设置在多个区域，其中一个红外线传感器一旦检测到任意一个对象，那么马上启动监控装置的剩余部分；

步骤2：录制监控视频及特征数据提取，

a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频，所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块，所述计算机把该监控视频存储到计算机的存储器中；

b.确认目标数量并成像，所述毫米波雷达识别多个目标并形成照片，并记录目标数量，并把该照片和目标数量传输给行为识别模块，行为识别模块传输该照片和目标数量给计算机，所述计算机根据该照片和目标数量建立监控分析日志；

c.采集音频并识别音频的信息，所述声音识别模块识别有多个，每一个声音识别模块均设置有编码模块和嵌入式系统，所述声音识别模块先采集音频，所述嵌入式系统将该音频切成时间间隔很小的帧，对于得到的每一帧，所述编码模块对音频编码，输出数字信号，并根据MFCC规则提取音频中的特征进行处理，将其变成一个多维向量，向量中的每一个维度可以看作描述了这帧音频中的一项特征，帧与帧之间会有一定的重叠，通过该嵌入式系统建立声学模型和语言模型，所述声学模型处理所述多维向量，并将相邻的帧组合起来变成音素(如拼音中的声母韵母等)，再把所有音素组合成单个单词或汉字，最后把识别出来的单词或汉字组合成完整的文字信息，语言模型则用来调整声学模型所得到的不合逻辑的字词，使识别结果变得正确通顺，所述声音识别模块识别后把该音频和文字信息均传输给所述计算机，所述计算机把该音频存储到计算机的存储器中，文字信息存入语音信息数据库中，所述计算机的嵌入式神经网络处理器理解文字信息，并判断该文字信息是是否具有违法或者犯罪倾向的信息；

d.颜色特征识别，

以步骤2的照片为参考物，所述颜色识别传感器识别照片中每一个对象的颜色特征，所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等，从而根据所述颜色特征区别每一个对象，并把所述颜色特征存入所述颜色信息数据库；

f.记录运动轨迹，

所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧，并且根据所述监控视频对每一个对象的运动轨迹描边，并记录运动轨迹，建立行为模型；

g.人脸特征识别和人脸3D模型建立，

所述人脸识别模块直接识别每一个对象的脸部特征，并重点识别每一个对象的脸部轮廓，其中所述距离感应器检测所述距离感应器和人脸之间的距离，所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征，所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征，所述补光灯补充人脸识别时所需要的光照，所述人脸识别模块把所述脸部特征传输给所述计算机，所述计算机运行人像建模软件，并根据脸部特征建立人脸3D模型，并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比，从而减少误差，该步骤重复的次数至少多于所述目标数量；

h.行为识别，

所述行为识别模块根据所述监控视频和音频识别行为，并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库(即第二行为数据库)中；

i.备份文件建立，

所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库；

步骤3：行为判断，

a.对象身份确认，

所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息，所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果，并把所述身份信息识别结果存入所述人脸识别结果数据库，计算机根据所述身份信息识别结果，从而确定是否为危险分子，否则把该脸部特征作为一个新的数据存入到人脸信息数据库中，并把所述身份信息识别结果存入所述人脸识别结果数据库，如果确认为危险分子，启动所述报警模块；

b.行为模拟，

所述计算机运行模拟软件建立一个模拟环境，并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型，并保存到服务器，从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为，并把识别结果作为第二行为识别结果记录，一旦发现是异常行为，那么马上启动报警模块；

c.结果对比，

工作人员根据所述监控视频和音频总结得出第三行为判断结果，并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比，从而确定第一行为识别结果和第二行为识别结果是否准确，如果不准确，则重复步骤2和步骤3，否则不需要重复步骤2和步骤3。

本发明的有益效果是：本发明的计算机接收其他模块的信息，冗余模块防止行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头、微型传感器和毫米波雷达任意一个无法工作时，作为备用模块使用，控摄像头录制监控视频，声音识别模块记录并识别音频，微型传感器作为获取更多信息，毫米波雷达确定目标数量和成像，人脸识别模块识别人脸特征，行为识别模块通过行为识别模块的嵌入式神经网络处理器根据监控视频和音频识别正常行为和异常行为，并把识别结果作为第一行为识别结果，第二数据库存储行为识别模块的第一行为识别结果，一旦发现异常行为，行为识别模块马上向计算机发出警报请求信息，计算机的嵌入式神经网络处理器根据人脸特征、音频、监控视频、目标数量和成像识别正常行为和异常行为，并把识别结果作为第二行为识别结果，一旦发现异常行为，那么计算机启动报警模块，且第一行为识别结果与第二行为识别结果对比，从而改进行为识别模块和计算机的识别算法。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的原理框图。

具体实施方式

参照图1，一种基于行为识别技术的监控装置，包括计算机，所述计算机设置有第一数据库，所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块，所述行为识别模块设置有第二数据库，所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达，所述计算机和行为识别模块均设置有嵌入式神经网络处理器，计算机接收其他模块的信息，冗余模块防止行为识别模块、人脸识别模块、报警模块、声音识别模块、监控摄像头、微型传感器和毫米波雷达任意一个无法工作时，作为备用模块使用，控摄像头录制监控视频，声音识别模块记录并识别音频，微型传感器作为获取更多信息，毫米波雷达确定目标数量和成像，人脸识别模块识别人脸特征，行为识别模块通过行为识别模块的嵌入式神经网络处理器根据监控视频和音频识别正常行为和异常行为，并把识别结果作为第一行为识别结果，第二数据库存储所述行为识别模块的第一行为识别结果(具体来说，所述第二行为识别结果数据库存储所述行为识别模块的第一行为识别结果)，一旦发现异常行为，行为识别模块马上向计算机发出警报请求信息，计算机的嵌入式神经网络处理器根据人脸特征、音频、监控视频、目标数量和成像识别正常行为和异常行为，并把识别结果作为第二行为识别结果，一旦发现异常行为，那么计算机启动报警模块，且第一行为识别结果与第二行为识别结果对比，从而改进行为识别模块和计算机的识别算法，所述嵌入式神经网络处理器的型号均为VC0758。

所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。

所述第二数据库包括第一行为识别结果数据库。

所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。

所述微型传感器包括红外线传感器和颜色识别传感器。

一种由上述的基于行为识别技术的监控装置的监控方法，该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据，一旦发生异常情况则启动报警模块，每一个对象的特征数据均以相同的编号值存储在每一个数据库中，或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值，再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值(该函数存储在计算机的存储器中)，所述计算机安装有人像建模软件，模拟软件，具体实施步骤如下：

步骤1：监控设备初始化，若干台监控摄像头和一台计算机作为一套监控系统，每个区域至少配备有三套所述监控系统，并按批次分别在不同的时间段工作，红外线传感器有多个，并分别设置在多个区域，其中一个红外线传感器一旦检测到任意一个对象，那么马上启动监控装置的剩余部分；

步骤2：录制监控视频及特征数据提取，

a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频，所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块，所述计算机把该监控视频存储到计算机的存储器中；

b.确认目标数量并成像，所述毫米波雷达识别多个目标并形成照片，并记录目标数量，并把该照片和目标数量传输给行为识别模块，行为识别模块传输该照片和目标数量给计算机，所述计算机根据该照片和目标数量建立监控分析日志；

c.采集音频并识别音频的信息，所述声音识别模块识别有多个，每一个声音识别模块均设置有编码模块和嵌入式系统，所述声音识别模块先采集音频，所述嵌入式系统将该音频切成时间间隔很小的帧，对于得到的每一帧，所述编码模块对音频编码，输出数字信号，并根据MFCC规则提取音频中的特征进行处理，将其变成一个多维向量，向量中的每一个维度可以看作描述了这帧音频中的一项特征，帧与帧之间会有一定的重叠，通过该嵌入式系统建立声学模型和语言模型，所述声学模型处理所述多维向量，并将相邻的帧组合起来变成音素(如拼音中的声母韵母等)，再把所有音素组合成单个单词或汉字，最后把识别出来的单词或汉字组合成完整的文字信息，语言模型则用来调整声学模型所得到的不合逻辑的字词，使识别结果变得正确通顺，所述声音识别模块识别后把该音频和文字信息均传输给所述计算机，所述计算机把该音频存储到计算机的存储器中，文字信息存入语音信息数据库中，所述计算机的嵌入式神经网络处理器理解文字信息，并判断该文字信息是是否具有违法或者犯罪倾向的信息；

d.颜色特征识别，

以步骤2的照片为参考物，所述颜色识别传感器识别照片中每一个对象的颜色特征，所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等，从而根据所述颜色特征区别每一个对象，并把所述颜色特征存入所述颜色信息数据库；

f.记录运动轨迹，

所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧，并且根据所述监控视频对每一个对象的运动轨迹描边，并记录运动轨迹，建立行为模型；

g.人脸特征识别和人脸3D模型建立，

所述人脸识别模块直接识别每一个对象的脸部特征，并重点识别每一个对象的脸部轮廓，其中所述距离感应器检测所述距离感应器和人脸之间的距离，所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征，所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征，所述补光灯补充人脸识别时所需要的光照，所述人脸识别模块把所述脸部特征传输给所述计算机，所述计算机运行人像建模软件，并根据脸部特征建立人脸3D模型，并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比，从而减少误差，该步骤重复的次数至少多于所述目标数量；

h.行为识别，

所述行为识别模块根据所述监控视频和音频识别行为，并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库中；

i.备份文件建立，

所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库；

步骤3：行为判断，

a.对象身份确认，

所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息，所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果，并把所述身份信息识别结果存入所述人脸识别结果数据库，计算机根据所述身份信息识别结果，从而确定是否为危险分子，否则把该脸部特征作为一个新的数据存入到人脸信息数据库中，并把所述身份信息识别结果存入所述人脸识别结果数据库，如果确认为危险分子，启动所述报警模块；

b.行为模拟，

所述计算机运行模拟软件建立一个模拟环境，并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型，并保存到服务器，从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为，并把识别结果作为第二行为识别结果记录，一旦发现是异常行为，那么马上启动报警模块；

c.结果对比，

工作人员根据所述监控视频和音频总结得出第三行为判断结果，并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比，从而确定第一行为识别结果和第二行为识别结果是否准确，如果不准确，则重复步骤2和步骤3，否则不需要重复步骤2和步骤3。

以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。

Claims (6)

1.一种基于行为识别技术的监控装置，包括计算机，其特征在于所述计算机设置有第一数据库，所述计算机连接有服务器、冗余模块、行为识别模块、人脸识别模块和报警模块，所述行为识别模块设置有第二数据库，所述行为识别模块连接有声音识别模块、监控摄像头、微型传感器和毫米波雷达，所述计算机和行为识别模块均设置有嵌入式神经网络处理器。

2.根据权利要求1所述的基于行为识别技术的监控装置，其特征在于所述第一数据库包括第二行为识别结果数据库、颜色信息数据库、语音信息数据库、人脸信息数据库、人脸识别结果数据库和备份文件数据库。

3.根据权利要求2所述的基于行为识别技术的监控装置，其特征在于所述第二数据库包括第一行为识别结果数据库。

4.根据权利要求3所述的基于行为识别技术的监控装置，其特征在于所述人脸识别模块包括距离感应器、红外镜头、补光灯和点阵投影器。

5.根据权利要求4所述的基于行为识别技术的监控装置，其特征在于所述微型传感器包括红外线传感器和颜色识别传感器。

6.一种由权利要求1到5任一所述的基于行为识别技术的监控装置的监控方法，该监控方法用于识别每一个对象的行为、音频、人脸信息等特征数据，一旦发生异常情况则启动报警模块，每一个对象的特征数据均以相同的编号值存储在每一个数据库中，或者先提取其中一个数据库的其中一个编号值作为某个对象的编号值，再以该编号值作为某个函数的输入从而映射出该对象的其它数据在其它数据库中的编号值，所述计算机安装有人像建模软件，模拟软件，其特征在于：包括以下步骤：

步骤1：监控设备初始化，若干台监控摄像头和一台计算机作为一套监控系统，每个区域至少配备有三套所述监控系统，并按批次分别在不同的时间段工作，红外线传感器有多个，并分别设置在多个区域，其中一个红外线传感器一旦检测到任意一个对象，那么马上启动监控装置的剩余部分；

步骤2：录制监控视频及特征数据提取，

a.录制监控视频,所述监控摄像头设置多个并在不同角度和位置录制监控视频，所述监控摄像头把所述监控视频分别传输给所述计算机和行为识别模块，所述计算机把该监控视频存储到计算机的存储器中；

b.确认目标数量并成像，所述毫米波雷达识别多个目标并形成照片，并记录目标数量，并把该照片和目标数量传输给行为识别模块，行为识别模块传输该照片和目标数量给计算机，所述计算机根据该照片和目标数量建立监控分析日志；

c. 采集音频并识别音频的信息，所述声音识别模块识别有多个，每一个声音识别模块均设置有编码模块和嵌入式系统，所述声音识别模块先采集音频，所述嵌入式系统将该音频切成时间间隔很小的帧，对于得到的每一帧，所述编码模块对音频编码，输出数字信号，并根据MFCC规则提取音频中的特征进行处理，将其变成一个多维向量，向量中的每一个维度可以看作描述了这帧音频中的一项特征，帧与帧之间会有一定的重叠，通过该嵌入式系统建立声学模型和语言模型，所述声学模型处理所述多维向量，并将相邻的帧组合起来变成音素（如拼音中的声母韵母等），再把所有音素组合成单个单词或汉字，最后把识别出来的单词或汉字组合成完整的文字信息，语言模型则用来调整声学模型所得到的不合逻辑的字词，使识别结果变得正确通顺，所述声音识别模块识别后把该音频和文字信息均传输给所述计算机，所述计算机把该音频存储到计算机的存储器中，文字信息存入语音信息数据库中，所述计算机的嵌入式神经网络处理器理解文字信息，并判断该文字信息是是否具有违法或者犯罪倾向的信息；

d. 颜色特征识别，

以步骤2的照片为参考物，所述颜色识别传感器识别照片中每一个对象的颜色特征，所述颜色特征包括发色、人脸颜色、眼珠颜色、身体皮肤颜色和衣服颜色等，从而根据所述颜色特征区别每一个对象，并把所述颜色特征存入所述颜色信息数据库；

f.记录运动轨迹，

所述计算机通过视频剪辑软件把监控视频切成时间间隔很小的帧，并且根据所述监控视频对每一个对象的运动轨迹描边，并记录运动轨迹，建立行为模型；

g.人脸特征识别和人脸3D模型建立，

所述人脸识别模块直接识别每一个对象的脸部特征，并重点识别每一个对象的脸部轮廓，其中所述距离感应器检测所述距离感应器和人脸之间的距离，所述点阵投影器向人脸发射由无数个点组成的点阵初步识别脸部特征，所述红外镜头识别所述点阵投影器发出的点阵从而识别脸部特征，所述补光灯补充人脸识别时所需要的光照，所述人脸识别模块把所述脸部特征传输给所述计算机，所述计算机运行人像建模软件，并根据脸部特征建立人脸3D模型，并且把建立后的人脸3D模型与步骤3测得的发色、人脸颜色、眼珠颜色一一对比，从而减少误差，该步骤重复的次数至少多于所述目标数量；

h.行为识别，

所述行为识别模块根据所述监控视频和音频识别行为，并把该行为识别结果作为第一行为识别结果存入到所述第一行为识别数据库中；

i.备份文件建立，

所述计算机把监控视频、音频和照片均打包压缩后存入备份文件数据库；

步骤3：行为判断，

a.对象身份确认，

所述计算机把所述脸部特征与人脸信息数据库的数据一一对比确认每一个对象的身份信息，所述人脸信息数据库中最符合的人脸图像作为每一个对象的身份信息识别结果，并把所述身份信息识别结果存入所述人脸识别结果数据库，计算机根据所述身份信息识别结果，从而确定是否为危险分子，否则把该脸部特征作为一个新的数据存入到人脸信息数据库中，如果确认为危险分子，启动所述报警模块；

b.行为模拟，

所述计算机运行模拟软件建立一个模拟环境，并且把步骤2的音频、人脸3D模型和行为模型组合成一个3D对象模型，并保存到服务器，从而所述计算机的嵌入式神经网络处理器判断该3D对象模型是否存在异常行为，并把识别结果作为第二行为识别结果记录，一旦发现是异常行为，那么马上启动报警模块；

c.结果对比，

工作人员根据所述监控视频和音频总结得出第三行为判断结果，并将所述第三行为判断结果与第一行为识别结果和第二行为识别结果对比，从而确定第一行为识别结果和第二行为识别结果是否准确，如果不准确，则重复步骤2和步骤3，否则不需要重复步骤2和步骤3。