CN111510665A - 毫米波雷达与摄像机联合的监控系统、监控方法及装置 - Google Patents

Abstract

本申请提供一种毫米波雷达与摄像机联合的监控系统、监控方法及装置，其中所述系统包括毫米波雷达，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至摄像机；摄像机，用于接收所述毫米波雷达发送的目标人体的特征信息，基于所述目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含所述目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。本申请将生物雷达与摄像机进行结合，提升了摄像机的性能，从而提升了对监控场景的图像进行分析的准确性。

Description

毫米波雷达与摄像机联合的监控系统、监控方法及装置

技术领域

本申请涉及监控技术领域，尤其涉及一种毫米波雷达与摄像机联合的监控系统、监控方法及装置。

背景技术

随着计算机视觉技术的发展，越来越多的场景需要通过摄像装置采集场景的图像，并通过对图像的分析来获得场景的相关信息。

在现有技术中，主要是通过分析图像数据来获取场景相关信息，但摄像装置获取的图像会受限于光线、天气等自然状况的影响，同时也受限于遮挡、伪装等人为因素的影响，使得分析结果准确性不高。

发明内容

有鉴于此，本申请提供一种毫米波雷达与摄像机联合的监控系统、监控方法及装置。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请提供了一种毫米波雷达与摄像机联合的监控系统，包括：

毫米波雷达，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至摄像机；

摄像机，用于接收所述毫米波雷达发送的目标人体的特征信息，基于所述目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含所述目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

优选地，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述系统还包括报警器，

所述摄像机还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，则向所述报警器发送报警控制信号；

所述报警器，用于根据所述报警控制信号进行报警。

优选地，所述特征信息包括位置信息，

所述摄像机还用于：

在获取本摄像机在所述预设时间段内采集的图像帧序列之前，判断所述目标人体的位置信息是否在本摄像机的监控区域内；

当所述目标人体的位置信息不在本摄像机的监控区域内时，则转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

优选地，所述体征信息包括体征平均值；所述摄像机具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

优选地，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述摄像机具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

第二方面，本申请提供了一种毫米波雷达与摄像机联合的监控系统，包括：

毫米波雷达，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至监控处理器；

摄像机，用于在所述预设时间段内采集包含所述目标人体的图像帧序列，并将所述图像帧序列发送至所述监控处理器；

监控处理器，用于接收所述毫米波雷达发送的所述目标人体的特征信息，接收所述摄像机发送的所述图像帧序列，基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

优选地，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述系统还包括报警器，

所述监控处理器还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，则向所述报警器发送报警控制信号；

所述报警器，用于根据所述报警控制信号进行报警。

优选地，所述特征信息包括位置信息，

所述监控处理器还用于：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则向所述摄像机发送用于转动所述摄像机的镜头的控制信号；

所述摄像机还用于，根据所述控制信号转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

优选地，所述体征信息包括体征平均值；所述监控处理器具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

优选地，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述监控处理器具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

第三方面，本申请提供了一种毫米波雷达与摄像机联合的人体姿态监控方法，所述方法应用于摄像机或与摄像机相连的外部设备中，所述方法包括：

获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像；

若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

优选地，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，在确定所述图像帧序列中识别到存在包含指定姿态的图像之后，所述方法还包括：

向报警器发送报警控制信号，以控制所述报警器根据所述报警控制信号进行报警。

优选地，所述方法还包括：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则控制所述摄像机的镜头转动，以使得所述目标人体的位置信息在所述摄像机的监控区域内。

优选地，所述体征信息包括体征平均值；所述基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，包括：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

优选地，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述从所述图像帧序列中确定用于输出的目标图像帧，包括：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

第四方面，本申请提供了一种毫米波雷达与摄像机联合的人体姿态监控装置，所述装置应用于摄像机或与摄像机相连的外部设备中，所述装置包括：

人体特征信息获取模块，用于获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

图像帧序列获取模块，用于获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

图像识别模块，用于基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则调用目标图像帧输出模块；

目标图像帧输出模块，用于从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例公开的毫米波雷达与摄像机联合的监控系统，可以通过毫米波雷达采集目标人体的特征信息，该特征信息包括预设时间段内目标人体的体征信息，并将目标人体的特征信息发送至摄像机。则摄像机可以基于接收的目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从图像帧序列中确定用于输出的包含指定姿态的目标图像帧。以此将生物雷达与摄像机进行结合，丰富了摄像机用于进行监控分析的数据，提升了摄像机的性能，从而提升了对监控场景的图像进行分析的准确性。

附图说明

图1是本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的监控系统实施例的结构框图；

图2是本申请另一示例性实施例示出的一种毫米波雷达与摄像机联合的监控系统实施例的结构框图；

图3是本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的人体姿态监控方法实施例的步骤流程图；

图4是本申请的装置所在设备的一种硬件结构图；

图5是本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的人体姿态监控装置实施例的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参考图1，示出了本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的监控系统实施例的结构框图，在本实施例中，监控系统可以包括毫米波雷达10以及摄像机20。

毫米波雷达10，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至摄像机。

具体的，毫米波雷达是指工作在毫米波波段(millimeter wave)探测的雷达，而毫米波是30～300GHz频域(波长为1～10mm)的，毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的一些优点。

作为一种示例，毫米波雷达10可以包括但不限于生命雷达，生物雷达可以直接穿透非金属介质(医用纱布、衣服、木门、砖墙等)，非接触地检测生命体的呼吸、体动等生命信号，生物雷达可以包括但不限于连续波多普勒雷达、超宽带雷达等。

在本申请实施例中，毫米波雷达10可以与摄像机20相连接并进行通信，毫米波雷达10在探测到目标人体并采集目标人体的特征信息以后，可以将该特征信息发送至摄像机20。

作为一种示例，目标人体的特征信息可以包括但不限于：预设时间段内目标人体的体征信息、位置信息等。进一步地，体征信息可以包括体征平均值、预设时间段内每个时刻的体征值等。其中，体征可以包括体温、脉搏、呼吸、血压、心跳等。例如，体征平均值可以包括呼吸频率、心率；每个时刻的体征值可以包括每个时刻的心跳振动幅度、呼吸振动幅度等。

在一种实施方式中，毫米波雷达10可以利用雷达前端发射工作频率很高(例如，大于10GHz)的连续电磁波，同时接收人体体表反射的回波信号，通过回波信号的频率以及相位的变化，提取和计算得到体表的特征信息。在生理学方面，人体体表的特征信息可以反映人体的某些生理活动，如检测胸壁的振动可得到呼吸、心跳等心肺活动相关信息。

例如，毫米波雷达10可以采用如下方式计算人体的呼吸频率以及心率：

首先，采用检测算法对接收机得到的预处理和量化后的回波信号进行带通滤波和降采样，其中，带通滤波的目的是将呼吸与心跳信号分离，同时对于降采样有抗混叠作用。滤波后进行降采样有助于减少算法的计算量。然后是进行频谱变换，在实现时可以采用时频分析的方法从上述处理后的回波信号中提取心肺活动信息，其中，可以通过短时傅里叶变换(STFT)得到雷达基带信号的时频信号。最后，寻找频谱峰值并对结果进行平滑处理，计算出呼吸频率以及心率等。

在实际中，由于电磁波频率越高，在人体表面与空气界面上的反射越强，但同时在衣服被褥等障碍物上的反射也会增加，为了得到较高的检测精度，并减少杂波的功率，毫米波雷达10可以选用(2.4～60)GHz的载频。

另外，毫米波雷达10可以采用如下方式检测目标人体的位置信息：

毫米波雷达10采用多个发射天线依次分时向空间辐射电磁波信号，电磁波信号照射到人体被反射，通过多个接收天线接收被人体反射后的电磁波信号，形成多通道的雷达原始回波信号s_i，其中i表示等效虚拟接收通道的序号；对多通道的雷达原始回波信号s_i分别进行预处理，分别得到高分辨距离像，并将高分辨距离像按顺序排列形成三维数据矩阵，针对三维数据矩阵采用BP成像算法得到图像序列I，针对图像序列I进行变化检测，提取心率以及呼吸频率等体征信息，针对体征信息基于全局阈值进行预筛选，得到预筛选后的体征图像；针对体征图像采用CFAR算法得到处理后的体征信号图像，对体征信号图像进行聚类，则可以得到目标人体的二维位置。

当然，本申请实施例并不限于上述获取目标人体的心率、呼吸频率以及位置信息的方式，毫米波雷达10采用其他方式获得上述特征信息均是可以的。

在本申请实施例中，摄像机20，用于接收所述毫米波雷达发送的目标人体的特征信息，基于所述目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含所述目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，摄像机20还用于：在获取本摄像机在所述预设时间段内采集的图像帧序列之前，判断所述目标人体的位置信息是否在本摄像机的监控区域内；当所述目标人体的位置信息不在本摄像机的监控区域内时，则转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

在具体实现中，摄像机20的镜头为可旋转摄像头，摄像机20根据毫米波雷达10发送的目标人体的位置信息(假设摄像机20与毫米波雷达10已统一坐标系)，首先判断目标人体是否在摄像机20的监控区域内，如果目标人体不在摄像机20的监控区域内，则转动该可旋转镜头，使得目标人体的位置信息在摄像机20的镜头的监控区域内。如果判断目标人体在摄像机20的监控区域内，则直接采集包含目标人体的图像帧。

在一种实施方式中，摄像机20在转动镜头的过程中，可以按照预设的旋转角度转动镜头，然后再次检测目标人体的位置信息是否在镜头的监控区域内，若否，则继续按照上述旋转角度转动镜头，直到目标人体的位置信息落在镜头的监控区域内。在其他实施例中，摄像机20也可以直接转动镜头面向目标人体的位置信息所在的位置，这样目标人体的位置信息也会落入镜头的监控区域内。

当确定目标人体落入摄像机20的监控区域以后，摄像机20可以获取与实时接收的特征信息处于同一时间段内本摄像机采集的图像帧序列。具体的，在实际中，毫米波雷达10在工作的过程中，本摄像机20也处于工作状态，其会按照一定的时间间隔采集并缓存图像帧。当摄像机20获得毫米波雷达10发送的预设时间段内目标人体的体征信息时，可以从缓存的图像帧中查找该预设时间段内本摄像机20采集的图像帧序列。

当摄像机20获取同一时间段内本摄像机采集的图像帧序列以及毫米波雷达10发送的体征信息以后，则可以根据该体征信息，从该时间段内采集的图像帧序列中识别是否存在包含指定姿态的图像。

在本申请实施例的一种优选实施例中，摄像机20具体用于：将所述体征平均值与指定体征状态的参考体征值范围进行比较；若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

作为一种示例，指定姿态可以为人体在指定体征状态下出现的异常面部信息或异常肢体动作，则指定体征状态可以包括疲劳状态、生病状态、愤怒等情绪状态或身体其他状态。

指定体征状态的参考体征值范围可以根据经验确定，例如根据临床数据、实验数据等确定。

如果摄像机20接收到的体征平均值在指定体征状态的参考体征值范围内，则表示该目标人体目前可能处于对应的指定体征状态，此时，可以通过对该时间段内获得的图像帧序列的分析，以进一步确认目标人体是否处于对应的指定体征状态。

在实现时，可以将该时间段内获得的图像帧序列输入至已训练的分类器模型，以由该分类器模型识别该图像帧序列是否存在指定姿态，其中，例如，若指定体征状态为疲劳状态，则人体会出现打哈欠、瞌睡、闭眼等异常面部信息；若指定体征状态为生病状态，则人体会出现闭眼、面部表情难受等异常面部信息；若指定体征状态为愤怒状态，则人体会出现发抖、面部表情愤怒等异常面部信息或异常肢体动作。

分类器在检测指定姿态的过程中，可以先对输入的图像帧采用目标检测算法进行人体检测，以获得图像帧中出现的目标人体，然后对该目标人体采用目标跟踪算法进行跟踪，得到目标人体的运动轨迹，最后根据目标人体的运动轨迹识别目标人体的姿态是否为指定姿态。

摄像机20从图像帧序列中识别出存在包含指定姿态的图像以后，则可以从图像帧序列中确定用于输出的目标图像帧，其中，目标图像帧为包含指定姿态的图像。具体的，如果目标人体在预设时间段内的体征平均值在指定体征状态的参考体征值范围内，且该时间段内目标人体出现了指定姿态，则可以判定目标人体正处于指定体征状态，此时，可以从采集的图像帧序列中查找并缓存该指定姿态对应的图像帧作为目标图像帧。例如，当目标人体处于疲劳状态时，则从图像帧序列中提取目标人体打瞌睡或者打哈欠的图像帧作为目标图像帧；又如，当目标人体处于生病状态时，则从图像帧序列中提取目标人体摔倒或其他生理异常的表现的图像帧作为目标图像帧。

在实际中，图像帧序列中存在指定姿态的图像帧可以为多帧，为了节省摄像机20的存储空间，可以从该多帧存在指定姿态的图像帧中选取最优的一帧图像帧作为目标图像帧。则在本申请实施例的一种优选实施例中，摄像机20具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

在一种实施例中，最优体征值可以为最大体征值，例如，心跳或者呼吸引起的振动中的最大振动，在最大振动的情况下人体的体征反应最为明显，然后从包含指定姿态的图像对应的采集时刻中获取该最大振动对应的时刻作为最佳采集时刻，并从图像帧序列中定位该最佳时刻对应的图像帧作为目标图像帧，则目标图像帧为人体反应最强时的图像帧。

在其他实施例中，摄像机20可以为手持摄像机，则目标人体可以包括手持摄像机20的用户(后称拍摄用户)以及被拍摄的用户(后称被拍摄人物)，可以根据拍摄用户的体征信息确定目标图像帧。在这种场景下，指定姿态可以为被拍摄人物的肢体动作或者面部表情。具体的，可以确定摄像机20采集的图像帧序列中包含被拍摄人物的指定姿态的图像对应的采集时刻为候选采集时刻；然后从上述确定的候选采集时刻对应的拍摄用户的体征值中选取最优体征值，并映射该最优体征值对应的时刻作为最佳采集时刻，并从上述图像帧序列中定位该最佳采集时刻对应的包含被拍摄人物的指定姿态的图像帧作为目标图像帧。此时，最优体征值可以为拍摄用户的最小体征值，例如，心跳或者呼吸引起的振动中的最小振动，在最小振动的情况下手持造成的抖动最小。然后获取该最小振动对应的时刻作为最佳采集时刻，并从图像帧序列中定位该最佳时刻对应的图像帧作为目标图像帧，则目标图像帧在拍摄时的振动最小，达到了图像防抖的效果，从而获得更清晰的图像。

在本申请实施例的一种优选实施例中，本申请实施例的监控系统还可以包括报警器(图中未示出)，则摄像机20还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，若所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，则向所述报警器发送报警控制信号。该报警器用于根据所述报警控制信号进行报警。

例如，当检测出驾驶员处于疲劳状态而打瞌睡时，则摄像机20可以向报警器发送报警控制信号，以使得报警器发出报警信号以唤醒驾驶员。

又如，当检测出家中的老人或小孩摔跤时，可以摄像机20可以向报警器发送报警控制信号，以使得报警器发出报警信号，以引起监护人的注意。

在一种实施例中，当确定目标图像帧以后，可以将确定的目标图像帧以及对应的特征信息保存在本地。也可以将该目标图像帧输出至与本摄像机相连的外部设备中，以使得外部设备查看或保存该目标图像帧。例如，在健康监护场景中，如检测到目标人体的生理状况异常，则可以将对应的目标图像帧传输到亲属的手机app上或者医疗平台等。

在实际中，在输出目标图像帧的同时，还可以将该目标图像帧对应的特征信息也输出至外部设备中。

本申请实施例公开的毫米波雷达与摄像机联合的监控系统，可以通过毫米波雷达采集目标人体的特征信息，该特征信息包括预设时间段内目标人体的体征信息，并将目标人体的特征信息发送至摄像机。则摄像机可以基于接收的目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从图像帧序列中确定用于输出的包含指定姿态的目标图像帧。以此将生物雷达与摄像机进行结合，丰富了摄像机用于进行监控分析的数据，提升了摄像机的性能，从而提升了对监控场景的图像进行分析的准确性。

参考图2，示出了本申请另一示例性实施例示出的一种毫米波雷达与摄像机联合的监控系统实施例的结构框图，在本实施例中，监控系统可以包括毫米波雷达30、摄像机40以及监控处理器50。

毫米波雷达30，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至监控处理器；

摄像机40，用于在所述预设时间段内采集包含所述目标人体的图像帧序列，并将所述图像帧序列发送至所述监控处理器；

监控处理器50，用于接收所述毫米波雷达发送的所述目标人体的特征信息，接收所述摄像机发送的所述图像帧序列，基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述系统还可以包括报警器(图中未示出)，

所述监控处理器50还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，则向所述报警器发送报警控制信号；

所述报警器，用于根据所述报警控制信号进行报警。

在本申请实施例的一种优选实施例中，所述特征信息包括位置信息，

所述监控处理器50还用于：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则向所述摄像机发送用于转动所述摄像机的镜头的控制信号；

所述摄像机还用于，根据所述控制信号转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

在本申请实施例的一种优选实施例中，所述体征信息包括体征平均值；所述监控处理器50具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述监控处理器50具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

本申请实施例与图1实施例的不同之处在于，本申请实施例的监控系统包括分别与毫米波雷达30与摄像机40连接的监控处理器50，毫米波雷达30负责采集目标人体的特征信息，并将目标人体的特征信息发送至监控处理器50，摄像机负责在上述预设时间段内采集包含目标人体的图像帧序列，并将图像帧序列发送至所述监控处理器50，监控处理器50负责基于目标人体的体征信息，从图像帧序列中识别是否存在包含指定姿态的图像，并输出目标图像帧。本申请实施例的监控处理器50承担了图1实施例中摄像机20的部分功能，可以降低摄像机的负担。

对于图2的监控系统实施例而言，由于其与图1的监控系统实施例，所以相关之处参见方法实施例的部分说明即可。

与前述监控系统的实施例相对应，本申请还提供了一种毫米波雷达与摄像机联合的人体姿态监控方法的实施例。

参考图3，示出了本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的人体姿态监控方法实施例的步骤流程图，本申请实施例可以应用于摄像机或者与所述摄像机连接的外部设备中。当本申请实施例应用于摄像机时，摄像机可以直接与毫米波雷达相连，接收毫米波雷达发送的信息。当本申请实施例应用于外部设备时，该外部设备可以与毫米波雷达以及摄像机相连。

本申请实施例具体可以包括如下步骤：

步骤301，获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

步骤302，获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

步骤303，基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像；若存在，则执行步骤304；

步骤304，从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，在步骤303之后，本申请实施例还可以包括如下步骤：

向报警器发送报警控制信号，以控制所述报警器根据所述报警控制信号进行报警。

在本申请实施例的一种优选实施例中，本申请实施例还可以包括如下步骤：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则控制所述摄像机的镜头转动，以使得所述目标人体的位置信息在所述摄像机的监控区域内。

在本申请实施例的一种优选实施例中，所述体征信息包括体征平均值；所述步骤303进一步可以包括如下子步骤：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述体征信息包括所述预设时间段内每个时刻的体征值；

步骤304进一步可以包括如下子步骤：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

对于方法实施例而言，由于其基本对应于系统实施例，所以相关之处参见方法实施例的部分说明即可。

与前述方法的实施例相对应，本申请还提供了一种毫米波雷达与摄像机联合的人体姿态监控装置的实施例。

本申请的装置实施例可以应用在终端设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请的装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图5，示出了本申请一示例性实施例示出的一种毫米波雷达与摄像机联合的人体姿态监控装置实施例的结构框图，所述装置可以应用于摄像机或与摄像机相连的外部设备中，本申请实施例具体可以包括如下模块：

人体特征信息获取模块501，用于获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

图像帧序列获取模块502，用于获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

图像识别模块503，用于基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则调用目标图像帧输出模块；

目标图像帧输出模块504，用于从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述装置还包括：

报警信号发送模块，用于向报警器发送报警控制信号，以控制所述报警器根据所述报警控制信号进行报警。

在本申请实施例的一种优选实施例中，所述装置还包括：

位置判断模块，用于根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

转动控制模块，用于当所述目标人体的位置信息不在所述摄像机的监控区域内时，则控制所述摄像机的镜头转动，以使得所述目标人体的位置信息在所述摄像机的监控区域内。

在本申请实施例的一种优选实施例中，所述体征信息包括体征平均值；所述图像识别模块503具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

在本申请实施例的一种优选实施例中，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述目标图像帧输出模块504具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

对于装置实施例而言，由于其基本对应于系统实施例，所以相关之处参见系统实施例的部分说明即可。

以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。

本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种毫米波雷达与摄像机联合的监控系统，其特征在于，包括：

毫米波雷达，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至摄像机；

摄像机，用于接收所述毫米波雷达发送的目标人体的特征信息，基于所述目标人体的体征信息，从本摄像机在所述预设时间段内采集的包含所述目标人体的图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

2.根据权利要求1所述的系统，其特征在于，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述系统还包括报警器，

所述摄像机还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，则向所述报警器发送报警控制信号；

所述报警器，用于根据所述报警控制信号进行报警。

3.根据权利要求1所述的系统，其特征在于，所述特征信息包括位置信息，

所述摄像机还用于：

在获取本摄像机在所述预设时间段内采集的图像帧序列之前，判断所述目标人体的位置信息是否在本摄像机的监控区域内；

当所述目标人体的位置信息不在本摄像机的监控区域内时，则转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述体征信息包括体征平均值；所述摄像机具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

5.根据权利要求1-3任一项所述的系统，其特征在于，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述摄像机具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

6.一种毫米波雷达与摄像机联合的监控系统，其特征在于，包括：

毫米波雷达，用于采集目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息，并将所述目标人体的特征信息发送至监控处理器；

摄像机，用于在所述预设时间段内采集包含所述目标人体的图像帧序列，并将所述图像帧序列发送至所述监控处理器；

监控处理器，用于接收所述毫米波雷达发送的所述目标人体的特征信息，接收所述摄像机发送的所述图像帧序列，基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

7.根据权利要求6所述的系统，其特征在于，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，所述系统还包括报警器，

所述监控处理器还用于，在确定所述图像帧序列中存在包含所述指定姿态的图像之后，则向所述报警器发送报警控制信号；

所述报警器，用于根据所述报警控制信号进行报警。

8.根据权利要求6所述的系统，其特征在于，所述特征信息包括位置信息，

所述监控处理器还用于：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则向所述摄像机发送用于转动所述摄像机的镜头的控制信号；

所述摄像机还用于，根据所述控制信号转动本摄像机的镜头，以使得所述目标人体的位置信息在本摄像机的监控区域内。

9.根据权利要求6-8任一项所述的系统，其特征在于，所述体征信息包括体征平均值；所述监控处理器具体用于：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

10.根据权利要求6-8任一项所述的系统，其特征在于，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述监控处理器具体用于：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

11.一种毫米波雷达与摄像机联合的人体姿态监控方法，其特征在于，所述方法应用于摄像机或与摄像机相连的外部设备中，所述方法包括：

获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像；

若存在，则从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

12.根据权利要求11所述的方法，其特征在于，所述指定姿态为人体在指定体征状态下出现的异常面部信息或异常肢体动作，在确定所述图像帧序列中识别到存在包含指定姿态的图像之后，所述方法还包括：

向报警器发送报警控制信号，以控制所述报警器根据所述报警控制信号进行报警。

13.根据权利要求11所述的方法，其特征在于，所述方法还包括：

根据所述图像帧序列判断所述目标人体的位置信息是否在所述摄像机的监控区域内；

当所述目标人体的位置信息不在所述摄像机的监控区域内时，则控制所述摄像机的镜头转动，以使得所述目标人体的位置信息在所述摄像机的监控区域内。

14.根据权利要求11-13任一项所述的方法，其特征在于，所述体征信息包括体征平均值；所述基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，包括：

将所述体征平均值与指定体征状态的参考体征值范围进行比较；

若所述体征平均值在所述指定体征状态的参考体征值范围内，则将所述图像帧序列输入至已训练的分类器模型，以识别所述图像帧序列中是否存在包含所述指定姿态的图像。

15.根据权利要求11-13任一项所述的方法，其特征在于，所述体征信息包括所述预设时间段内每个时刻的体征值；

所述从所述图像帧序列中确定用于输出的目标图像帧，包括：

确定所述图像帧序列中包含指定姿态的图像对应的采集时刻为候选采集时刻；

从所述候选采集时刻对应的的体征值中选取最优体征值，并映射所述最优体征值对应的时刻作为最佳采集时刻；

从所述图像帧序列中定位所述最佳采集时刻对应的包含所述指定姿态的图像帧作为目标图像帧。

16.一种毫米波雷达与摄像机联合的人体姿态监控装置，其特征在于，所述装置应用于摄像机或与摄像机相连的外部设备中，所述装置包括：

人体特征信息获取模块，用于获取毫米波雷达采集的目标人体的特征信息，所述特征信息包括预设时间段内所述目标人体的体征信息；

图像帧序列获取模块，用于获取摄像机在所述预设时间段内采集包含所述目标人体的图像帧序列；

图像识别模块，用于基于所述目标人体的体征信息，从所述图像帧序列中识别是否存在包含指定姿态的图像，若存在，则调用目标图像帧输出模块；

目标图像帧输出模块，用于从所述图像帧序列中确定用于输出的目标图像帧，所述目标图像帧为包含所述指定姿态的图像。

Images