CN104618650A - 一种正面、侧面图像采集设备联合的运动检测方法与设备 - Google Patents

Abstract

本发明提供了一种正面、侧面图像采集设备联合的运动检测方法，上述方法包括以下步骤：正面图像采集设备和侧面图像采集设备同时采集目标区域的图像；所述正面图像采集设备采集正面图像，并检测出所述正面图像中待监控目标的第一运动方向；所述侧面图像采集设备采集侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向；当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述正面图像采集设备对所述待监控目标进行特写。本发明还提供一种正面、侧面图像采集设备联合的运动检测设备，上述设备包括：正面图像采集设备、侧面图像采集设备、控制设备；其中，所述控制设备与所述正面图像采集设备和所述侧面图像采集设备两两相连。

Description

一种正面、侧面图像采集设备联合的运动检测方法与设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种正面、侧面图像采集设备联合的运动检测方法与设备。

背景技术

在线课堂中，需要对听课人员的垂直运动(比如起立发言)进行镜头特写拍摄。这样要求系统能够准确检测到物体的垂直运动信息。通常这些信息的获得依赖于算法对采集到的图像进行运动目标检测和分析，并给出准确的位置信息来控制镜头的特写拍摄和跟踪。

为了有效地采集图像，通常采用安装一个正面摄像头或对称的两个侧面摄像头来采集图像。当采用一个正面摄像头采集图像时，正面摄像头无法区分运动物体的垂直运动和沿摄像头光轴方向的纵深运动。当通过对称的两个侧面摄像头来采集图像时，能通过两个侧面的摄像头的联合工作来计算出运动物体的位置，但这种方法需要进行坐标系变换，计算过程复杂。

发明内容

本发明提供一种正面、侧面图像采集设备联合的运动检测方法与设备，以解决上述问题。

本发明提供一种正面、侧面图像采集设备联合的运动检测方法。上述方法包括以下步骤：正面图像采集设备和侧面图像采集设备同时采集目标区域的图像；所述正面图像采集设备采集正面图像，并检测出所述正面图像中待监控目标的第一运动方向；所述侧面图像采集设备采集侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向；当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

本发明还提供一种正面、侧面图像采集设备联合的运动检测设备，上述设备包括：正面图像采集设备、侧面图像采集设备、控制设备；其中，所述控制设备与所述正面图像采集设备和所述侧面图像采集设备两两相连；所述正面图像采集设备，用于采集目标区域的正面图像，并检测出所述正面图像中待监控目标的第一运动方向，将检测到待监控目标的第一运动方向发送给所述控制设备；所述正面图像采集设备还用于对所述待监控目标进行特写拍摄；所述侧面图像采集设备，用于采集目标区域的侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向，将检测到待监控目标的第二运动方向发送给所述控制设备；所述控制设备，用于接收所述正面图像采集设备发送来的待监控目标的第一运动方向，并接收所述侧面图像采集设备发送来的待监控目标的第二运动方向，当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述控制设备控制所述正面图像采集设备对所述待监控目标进行特写拍摄。

相较于先前技术，根据本发明提供的正面、侧面图像采集设备联合的运动检测方法与设备，本发明采用正面图像采集设备和侧面图像采集设备联合采集和检测，通过正面图像采集设备对待监控目标进行运动方向的检测，同时通过侧面图像采集设备来验证待监控目标的运动方向，当正面图像采集设备和侧面图像采集设备检测到的待监控目标的运动方向均为垂直方向时，再对待监控目标进行特写拍摄。这样的检测过程避免了因单个正面图像采集设备检测无法区分垂直运动和沿着摄像头光轴方向的纵深运动带来的误检，提高检测的准确率，同时，本发明的方法在实施过程中不需要将侧面坐标系映射到正面坐标系的复杂过程，提高了检测的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的较佳实施例提供的正面、侧面图像采集设备联合的运动检测方法的流程图；

图2所示为根据本发明的较佳实施例提供的正面、侧面图像采集设备联合的运动检测设备的结构图；

图3所示为根据本发明的较佳实施例提供的正面图像采集设备和侧面图像采集设备的安装位置示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本发明的较佳实施例提供的正面、侧面图像采集设备联合的运动检测方法的流程图。如图1所示，本发明的较佳实施例提供的正面、侧面图像采集设备联合的运动检测方法包括步骤101-104。

步骤101：正面图像采集设备和侧面图像采集设备同时采集目标区域的图像；

所述侧面图像采集设备为1个或多个。

所述正面图像采集设备的安装高度为高于站立时人体的高度。

所述侧面图像采集设备的安装高度为高于坐立时人体的高度，且小于站立时人体的高度。

步骤102：所述正面图像采集设备采集正面图像，并检测出所述正面图像中待监控目标的第一运动方向；

当所述正面图像中包含多个运动目标时，通过特征点匹配算法和/或坐标位置匹配算法将所述正面图像中的运动目标与所述侧面图像的运动目标进行匹配，将匹配出的且均具有垂直运动方向的运动目标作为待跟踪的所述待监控目标。

确定图像中运动目标的方法包括：帧间差分法、背景减除法和光流法。

步骤103：所述侧面图像采集设备采集侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向；

步骤104：当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

在所述待监控目标的运动方向为垂直运动方向且在所述垂直运动方向上的运动距离大于或等于预设值时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

所述特写拍摄是对图像中所述待监控目标跟踪，并调整焦距放大拍摄。

设置预警高度，若所述待监控目标的高度大于预警高度时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

下面举例进行详细说明：

在在线课堂中，如图3所示，安装正面摄像头和侧面摄像头，将1个正面摄像头安装于教室的正前方，1个侧面摄像头安装于教室的一侧。其中，正面摄像头的安装高度为高于教室中身高最高的学生的站立高度，正面摄像头呈俯视角采集学生的图像；侧面摄像头的安装高度H为高于教室中坐立时最高的学生的坐立高度，同时小于站立时身高最矮的学生的站立高度。通过正面摄像头采集教室中学生区域画面，得到680×480像素大小的图像A，并检测到图像A中学生M(待监控目标)的运动方向。在正面摄像头进行学生区域画面采集的同时，侧面摄像头也同时采集学生区域的画面，得到680×480像素大小的图像B，并检测图像B中的学生M。

接着，结合侧面摄像头来验证正面摄像头的检测结果。对于正面摄像头来说，学生M的起立运动以及前后纵深运动均认为是在垂直方向上的运动。假设学生M实际运动是前后纵深运动，此时正面摄像头的检测结果是垂直运动。侧面摄像头的检测结果是前后纵深运动。由于两者的判定结果不一致，因此，判定该学生M没有进行垂直运动，正面摄像头无需对学生M进行特写拍摄。而在学生M的实际运动是垂直运动的情况下，正面摄像头的检测结果是垂直运动，侧面摄像头的检测结果也是垂直运动，两者的检测结果相同，则判定学生M进行垂直运动，正面摄像头对学生M进行特写拍摄。因此借用侧面摄像头的检测结果可帮助正面摄像头分辨出运动目标前后纵深运动的情况，不会进行误判，导致误跟踪。

除此之外，在确定学生M在进行垂直运动的情况下，还需要判定学生M的垂直运动幅度是否大于预设值，如果大于预设值，则对该学生M进行特写拍摄，正面摄像头调整焦距放大学生M的图像。这样，可防止学生M的小动作而引起摄像头的跟踪动作，从而减少垃圾镜头。

在上面的实施例中，摄像头所采集到的图像中只有一个运动目标，如果采集的图像有多个运动目标，在本实施例中将采用下述方法来处理。

假设正面摄像头采集到的图像A中包含两个运动目标，分别是运动目标1和运动目标2，同时，侧面摄像头采集到的图像B中也包含两个运动目标，需要对图像B中的两个运动目标进行区分，分辨图像B的两个运动目标中哪个是图像A中的运动目标1，哪个是图像A中的运动目标2，下面以特征点匹配算法为例对如何确定图像B中的运动目标1和运动目标2进行详细描述，对正面摄像头采集到的图像A中的运动目标1和与运动目标2进行特征图案采集，得到运动目标1的特征图案为十字形，运动目标2的特征图案为三角形，分别将十字形图案和三角形图案作为特征物模板对侧面摄像头采集到的图像B进行匹配，找出图像B中与十字形图案或三角形图案像素相同的像素，如果得到图像B中与十字形图案中相同像素个数为350，并判断出该相同像素个数大于预设值(该预设值是预先设置的用于判断两个图像是否匹配的临界值，例如320)，则确定图像B中运动目标1，同理，确定图像B中运动目标2。进一步分别对图像A和图像B中的运动目标1和运动目标2的运动方向进行判断。当经过判断，得到图像A中的运动目标1和图像B中的运动目标1都为垂直运动时，同时，当图像A中的运动目标2为垂直运动时和图像B中的运动目标2为水平运动时，摄像头仅跟踪运动目标1，进行特写拍摄。当图像A中的运动目标1和图像B中的运动目标1都为垂直运动时，同时，当图像A中的运动目标2和图像B中的运动目标2都为垂直运动时，摄像头跟踪运动目标1和运动目标2，进行特写拍摄。

在另一个优选的实施例中，在侧面摄像头采集到的图像B中设置预警高度，预警高度的位置为高于教室中坐立时最高的学生的坐立高度，同时小于站立时身高最矮的学生的站立高度，当图像B中有学生超过预警高度，正面摄像头跟踪超过预警高度的学生，进行特写拍摄。

图2所示为根据本发明的较佳实施例提供的正面、侧面图像采集设备联合的运动检测设备结构图。如图2所示，本发明的较佳实施例提供的应用于正面、侧面图像采集设备联合的运动检测设备，上述设备包括：正面图像采集设备201、侧面图像采集设备202、控制设备203；其中，所述控制设备203与所述正面图像采集设备201和所述侧面图像采集设备202两两相连；所述正面图像采集设备201，用于采集目标区域的正面图像，并检测出所述正面图像中待监控目标的第一运动方向，将检测到待监控目标的第一运动方向发送给所述控制设备203；所述正面图像采集设备201还用于对所述待监控目标进行特写拍摄；所述侧面图像采集设备202，用于采集目标区域的侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向，将检测到待监控目标的第二运动方向发送给所述控制设备203；所述控制设备203，用于接收所述正面图像采集设备201发送来的待监控目标的第一运动方向，并接收所述侧面图像采集设备202发送来的待监控目标的第二运动方向，当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述控制设备203控制所述正面图像采集设备201对所述待监控目标进行特写拍摄。

此外，关于上述设备的具体操作过程同上述方法所述，故于此不再赘述。

综上所述，本发明的本发明的正面、侧面图像采集设备联合的运动检测方法与设备，本发明采用正面图像采集设备和侧面图像采集设备联合采集和检测，通过正面图像采集设备对待监控目标进行运动方向的检测，同时通过侧面图像采集设备来验证待监控目标的运动方向，当正面图像采集设备和侧面图像采集设备检测到的待监控目标的运动方向均为垂直方向时，再对待监控目标进行特写拍摄。这样的检测过程避免了因单个正面图像采集设备检测无法区分垂直运动和沿着图像采集设备光轴方向的纵深运动带来的误检，提高检测的准确率，同时，本发明的方法在实施过程中不需要将侧面坐标系映射到正面坐标系的复杂过程，提高了检测的效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种正面、侧面图像采集设备联合的运动检测方法，其特征在于，包括以下步骤：

正面图像采集设备和侧面图像采集设备同时采集目标区域的图像；

所述正面图像采集设备采集正面图像，并检测出所述正面图像中待监控目标的第一运动方向；

所述侧面图像采集设备采集侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向；

当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

2.根据权利要求1所述的方法，其特征在于，在所述待监控目标的运动方向为垂直运动方向且在所述垂直运动方向上的运动距离大于或等于预设值时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

3.根据权利要求1所述的方法，其特征在于，当所述正面图像中包含多个运动目标时，通过特征点匹配算法和/或坐标位置匹配算法将所述正面图像中的运动目标与所述侧面图像的运动目标进行匹配，将匹配出的且均具有垂直运动方向的运动目标作为待跟踪的所述待监控目标。

4.根据权利要求3所述的方法，其特征在于，确定图像中运动目标的方法包括：帧间差分法、背景减除法和光流法。

5.根据权利要求1所述的方法，其特征在于，所述侧面图像采集设备为1个或多个。

6.根据权利要求1所述的方法，其特征在于，所述特写拍摄是对图像中所述待监控目标跟踪，并调整焦距放大拍摄。

7.根据权利要求1所述的方法，其特征在于，所述正面图像采集设备的安装高度为高于站立时人体的高度。

8.根据权利要求1所述的方法，其特征在于，所述侧面图像采集设备的安装高度为高于坐立时人体的高度，且小于站立时人体的高度。

9.根据权利要求1所述的方法，其特征在于，设置预警高度，若所述待监控目标的高度大于预警高度时，所述正面图像采集设备对所述待监控目标进行特写拍摄。

10.一种正面、侧面图像采集设备联合的运动检测设备，其特征在于，包括：正面图像采集设备、侧面图像采集设备、控制设备；其中，所述控制设备与所述正面图像采集设备和所述侧面图像采集设备两两相连；

所述正面图像采集设备，用于采集目标区域的正面图像，并检测出所述正面图像中待监控目标的第一运动方向，将检测到待监控目标的第一运动方向发送给所述控制设备；所述正面图像采集设备还用于对所述待监控目标进行特写拍摄；

所述侧面图像采集设备，用于采集目标区域的侧面图像，并检测出所述侧面图像中待监控目标的第二运动方向，将检测到待监控目标的第二运动方向发送给所述控制设备；

所述控制设备，用于接收所述正面图像采集设备发送来的待监控目标的第一运动方向，并接收所述侧面图像采集设备发送来的待监控目标的第二运动方向，当所述第一运动方向和所述第二运动方向均为垂直运动方向时，所述控制设备控制所述正面图像采集设备对所述待监控目标进行特写拍摄。