CN108766075A - 一种基于视频分析的个性化教育分析系统及方法 - Google Patents

Abstract

一种基于视频分析的个性化教育分析系统及方法，属于智能教学技术领域，特别涉及到一种基于视频分析的教育分析系统及方法，包括视频监控系统，主机服务器、中心服务器、第一交换设备、第二交换设备和客户端。本发明的个性化教育分析系统，是一种借助于人工智能视频分析的分析系统，能够实现课堂教学相关数据的自动采集、自动分析、自动传输，减少人工成本，为教学研究和教学管理提供决策依据，为教师提供课堂教学调整、改进的参考，为学生的自主学习提供针对性指导。同时，本系统结构简单，部署容易，成本低客户端可以用现有PC或智能手机，易于升级维护，且升级维护成本低一般情况下只要升级中心服务器和主机服务器的软件即可，智能化程度高。

Description

一种基于视频分析的个性化教育分析系统及方法

技术领域

本发明属于智能教学技术领域，特别涉及到一种基于视频分析的教育分析系统及方法。

背景技术

基础教育(幼小初高)是个人成长过程中非常重要的教育阶段。对于教师来说，如何切实提高课堂教学效率，改善课堂教学质量，是永恒的话题。对于家长来说，如何及时了解学生的学习情况，从而进行有效的引导和帮助，也是他们非常关心的话题。而对于教学管理者来说，随着现在一些名校办起越来越多的分校，如何对如此大规模的教学团队有效管理，实现教学过程中的有效控制，也是亟待解决的难题。同时，现代素质教育越来越重视能力培养、个性发展，这样也大大加重了教育工作者的工作负荷，如何有效实现对学生教学效果的个性化分析，进而实现“因材施教”，也是目前迫切的需求。因此，随着技术的发展，出现了众多电子教学产品、智能教学产品，这些产品丰富了教师的教学手段，在一定程度上提高了教学效果。

现在常见的智能化教学系统，大概可以分为如下两种类型：

一种类型是基于教师端设备和学生端设备的互动，进而对教学质量做出在线的评估服务。教师可以通过一个设备终端和多个学生终端互动，将课堂提问环节电子化，同时学生端也可以反馈完全理解、基本理解、完全不理解等信息。这样就可以帮助教师及时得到教学效果反馈，帮助改进教案、教学方法等。

另一种则基于监控系统，根据录制得到的学生人脸视频，提取相应关键点特征，并根据这些特征变化来识别闭眼、打瞌睡、点头等行为，统计相应行为的频率，并基于统计数据，进一步评估课程的教学质量。

无论上述哪种类型的系统，都存在相应的缺点：

采用终端互动方式，需要预先配置大量的教师端、学生端设备，价格都相对较高(至少是平板电脑)。尤其是学生端设备的数量极为可观，因此有极其高昂的成本(硬件成本随着人数增加成线性增长，而且成本不仅仅是采购，还有维护、更新淘汰，学生使用的平板电脑可能更易损坏)。

而采用在视频中分析人脸的方式，实际上分析的是学生的精神状态，但在很多情况下，精神状态与一天内的时间点关系更大，与课堂内容并没有绝对的必然联系(传统的人脸视频分析手段没有考虑诸多环境因素)。因此，这一方法实际上无法很有效地对教学效果进行评估。同时，无论哪种方法，目前都不能做到对学生的个性化教学质量分析。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于视频分析的个性化教育分析系统及方法，能够对一定区域内内的课堂教学活动做有效的大数据分析，为教学研究和教学管理提供决策依据，为教师提供课堂教学调整、改进的参考，为学生的自主学习提供针对性指导。本发明同时还要解决现有的教学辅助系统无法对学生做个性化分析的问题，在上述课堂教学质量分析系统的基础上，在不大量增加成本的前提下，实现对学生个体课堂表现、教学效果的有效个性化分析，进而满足素质教育注重能力培养、个性发展的需求。

一种基于视频分析的个性化教育分析系统，包括视频监控系统，主机服务器、中心服务器、第一交换设备、第二交换设备和客户端；

所述视频监控系统和主服务器连接，所述主服务器通过第一交换设备与中心服务器连接，所述客户端通过第二交换设备与中心服务器连接；

所述中心服务器设置在中心机房，所述视频监控系统和主服务器设置于教室内；

所述主机服务器包括动作检测模块、面部检测模块、场景检测模块、异常检测模块、卷积神经网络单元和长短期记忆网络单元。

所述客户端包括教师端、管理端、家长端。

视频监控系统包括N个可通过云台旋转的可变焦摄像头和一个全景摄像头。

一种基于视频分析的个性化教育分析系统的分析方法，包括以下步骤：

步骤一、将学生信息输入所述中心服务器中；

步骤二、所述视频监控系统获取视频信息，并传输给主服务器；

步骤三、所述主服务器将步骤一中获取的视频信息分段得到分段信息并储存，同时将分段信息传递给所述卷积神经网络单元；

步骤四、所述卷积神经网络单元将步骤二中获得的分段信息进行处理，获得C3D特征，并将C3D特征传递给所述长短期记忆网络单元；

步骤五、长短期记忆网络单元将获得的C3D特征进行处理，得到当前动作信息和当前动作标注信息，若当前动作标注信息标识当前动作信息为有用信息，则将当前动作信息输出传递给中心服务器，长短期记忆网络单元同时保留当前动作标注信息；

步骤六、所述长短期记忆网络单元将下一个C3D特征和步骤四中的当前动作标注信息进行处理，并重复步骤四；

步骤七、所述中心服务器将当前动作信息发送给客户端。

通过上述设计方案，本发明可以带来如下有益效果：本发明的个性化教育分析系统，是一种借助于人工智能视频分析的分析系统，该系统能够实现课堂教学效果相关数据的自动采集、自动分析、自动传输，减少人工成本，为教学研究和教学管理提供决策依据，为教师提供课堂教学调整、改进的参考，为学生的自主学习提供针对性指导。同时，本系统结构简单，部署容易，成本低客户端可以用现有PC或智能手机，易于升级维护，且升级维护成本低一般情况下只要升级中心服务器和主机服务器的软件即可，智能化程度高。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明一种基于视频分析的个性化教育分析系统及方法的系统结构示意图。

图2为本发明一种基于视频分析的个性化教育分析系统及方法的方法流程图。

图中，1-视频监控系统、2-主服务器、3-中心服务器、4-第一交换设备、5-第二交换设备、6-客户端、21-动作检测模块、22-面部检测模块、23-场景检测模块、24-异常检测模块、25-卷积神经网络单元、26-长短期记忆网络单元。

具体实施方式

一种基于视频分析的个性化教育分析系统，如图1所示：包括视频监控系统1，主服务器2、中心服务器3、第一交换设备4、第二交换设备5和客户端6；

所述视频监控系统1和主服务器2连接，所述主服务器2通过第一交换设备4与中心服务器3连接，所述客户端6通过第二交换设备5与中心服务器3 连接；

所述中心服务器3设置在中心机房，所述视频监控系统1和主服务器2设置于教室内；

所述主机服务器2包括动作检测模块21、面部检测模块22、场景检测模块 23、异常检测模块24、卷积神经网络单元25和长短期记忆网络单元26。

所述客户端6包括教师端61、管理端62、家长端63。

所述视频监控系统1包括N个可通过云台旋转的可变焦摄像头和一个全景摄像头。

一种基于视频分析的个性化教育分析系统的分析方法，包括以下步骤：

步骤一、将学生信息输入所述中心服务器3中；

步骤二、所述视频监控系统1获取视频信息，并传输给主服务器2；

步骤三、所述主服务器2将步骤一中获取的视频信息分段得到分段信息并储存，同时将分段信息传递给所述卷积神经网络单元25；

步骤四、所述卷积神经网络单元25将步骤二中获得的分段信息进行处理，获得C3D特征，并将C3D特征传递给所述长短期记忆网络单元26；

步骤五、长短期记忆网络单元26将获得的C3D特征进行处理，得到当前动作信息和当前动作标注信息，若当前动作标注信息标识当前动作信息为有用信息，则将当前动作信息输出传递给中心服务器3，长短期记忆网络单元26同时保留当前动作标注信息；

步骤六、所述长短期记忆网络单元26将下一个C3D特征和步骤四中的当前动作标注信息进行处理，并重复步骤四；

步骤七、所述中心服务器3将当前动作信息发送给客户端6。

中心服务器3部署在中心机房，通过第一交换设备4与部署在教室的主服务器2连接。同时接入互联网以及本校局域网，客户端6使用软件通过互联网 (或本校局域网)与中心服务器3交互。中心服务器3实现的功能有：接受主服务器2发送过来的信息，并在自身的大数据系统中进行分析处理，形成数据分析报告、个性化分析报告等；响应客户端6的不同请求，提供相应的访问功能；通过向主服务器发送控制信息，间接控制视频监控系统1。

主服务器2和视频监控系统1安装于教室内，二者直接连接，同时主服务器2与机房的中心服务器3连接。视频监控系统1由多个摄像头组成，其中一个为“全景摄像头”，角度和安装角度固定，可以直接观测到教室的所有位置。其余摄像头为可变焦摄像头，通过云台的旋转，可以近距离观测教室的特定区域(观测范围可覆盖整个教室)。根据教室大小、学生数量、教室使用性质(普通教室、音乐教室、听力教室)等因素，安装多个可变焦摄像头。所有的这些摄像头都通过教室内的网络设备，与主服务器2相连。主服务器2通过分析处理全景摄像头上的视频，判断现有的应用场景，并自动控制可变焦摄像头的拍摄角度，继续对感兴趣区域做进一步的视频拍摄和进一步分析。此外，主服务器2也会接收中心服务器3的控制信息，并根据这些控制信息，控制可变焦摄像头。

主服务器2需要对采集到的视频做的检测包括：动作检测模块21进行动作的检测(如举手、起立)、面部检测模块22进行面部的检测(识别学生、教师的身份信息)、场景检测模块23进行场景的检测(如课前环节、授课环节、提问环节、交流环节等)、异常检测模块24进行异常行为检测(如突发情况)等。

客户端6软件包括两种形式，一种是基于Web界面的B/S风格客户端，主要用于PC端，另一种是移动APP客户端。客户端6提供三种使用角色：教师端61、管理端62、家长端63。客户端6不包括学生端，因为学生不需要与系统进行直接交互。客户端6可以通过互联网或者局域网的第二交换设备5，与中心服务器3实现交互。

客户端6需要实现的功能主要有：录入教师、学生、课程的信息，配置教室参数(有几个摄像头、教室面积、教室类型等)，获取大数据分析报告、个性化分析报告等，以及实现其它的管理功能。

实施例

视频监控系统1和主服务器2连接，主服务器2通过一台两层交换机与中心服务器3连接，所述客户端6通过一台三层交换机与中心服务器3连接；

所述中心服务器3设置在中心机房，所述视频监控系统1和主服务器2设置于教室内；

所述主机服务器2包括动作检测模块21、面部检测模块22、场景检测模块 23、异常检测模块24、卷积神经网络单元25和长短期记忆网络单元26。

所述客户端6包括教师端61、管理端62、家长端63。

所述视频监控系统1包括3个可通过云台旋转的可变焦摄像头和一个全景摄像头。

教师、家长需要注册后才能使用客户端的相应功能，注册后，需要管理员后台审核，以避免出现安全问题。

教师需要录入和维护本班学生的信息，这些信息至少要包括：学生的基本信息、与家长账号的关联信息，以及学生的影响信息(多张照片)。教师在上课前，需要在客户端软件的教师界面，录入简单的信息(课堂内容等)并发送上课开始的信息，客户端6通过扫描二维码等手段，进一步简化信息的录入。

上课开始后，主服务器2将不断从IP全景摄像头获取信息，利用视频识别技术 (基于深度学习)，通过画面和音频数据，自动识别出当前时间段处于课堂教学的何种阶段。如：课前环节，授课环节、提问环节、交流环节等。主服务器2 将根据课堂教学阶段的不同，选择不同的识别逻辑，对课堂教学情况做进一步分析。大概举例如下：

课前环节(课前三分钟)：识别参与课前活动(比如上讲台发言)的学生，拍摄面部信息，并控制变焦摄像头追踪当前学生运动轨迹，并录制、保存其参与活动的过程。

授课环节：确保有一个变焦摄像头在录制教师授课内容(包括黑板上的信息)，同时全景摄像头进一步识别学生课堂表现，识别是否有打瞌睡等情况。(不识别点头、注意力不集中的情况，因为很难界定，有的时候学生可能迷迷糊糊时也点头)。

提问环节：利用全景摄像机识别学生举手、起立回答问题等情况，并控制变焦摄像头追踪相应学生，获取面部信息，拍摄清晰人脸，识别学生身份信息，并进一步记录学生课堂表现数据(发言踊跃程度等)。

交流环节(讨论问题、课堂活动等)：记录学生活跃程度，并识别最活跃的学生身份信息，进一步统计课堂表现数据等。

以动作检测为例，首先监控视频将会被分为视频小段，依次输入到卷积神经网络模块25中用于提取C3D特征。提取C3D特征之后的将作为时序序列输入到长短期记忆网络单元26用以实时判断当前视频中的动作等。由于长短期记忆网络单元26主要用于分析时序序列，所以长短期记忆网络单元26会有两个输出，一是当前动作信息；二是当前动作标注信息(标注该动作是否是有效动作的信息)，当前动作标注信息将会和下一个视频段的C3D特征作为下一次长短期记忆网络单元26处理的输入。而当前动作标注信息标注当前动作信息为有效信息，则当前动作信息被传递给中心服务器3。如：学生举手回答问题，被标注为有效信息，而学生抬手摸头则被标注为无效信息。

其中，C3D是BVLC CAFE的修改版本，用于支持三维卷积网络。C3D可以有效地训练、测试或微调3D画面。长短期记忆网络单元26中的LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

下课后，教师通过客户端，发出教学结束指令，主机服务器将统计分析数据及录制的视频(只有授课环节和活跃的学生视频)传输到中心服务器。下节课教师准备上课，以此类推。

中心服务器3会保存主服务器2传输过来的数据，并作初步的统计分析。主服务器2只会检测并保存学生的面部信息，并将面部相同的人(通过人脸识别算法)分类存储，但主服务器2上并不会保存学生的身份信息。进一步解释就是，主机服务器上只能分辨出来那些视频和照片是属于同一个人的，但不能识别出来这个人的是谁。

中心服务器3上保存了学生的身份信息，这些身份信息将会与从主服务器接2收到的面部信息匹配，将课堂活动数据(以及视频)同学生个人信息一一匹配，进而提供个性化的教学效果分析报告。这样设计的目的是，在学生信息发生变动时，维护更新会更加方便，而且客户端不直接与主机服务器连接，也避免了网络安全问题。

每天教学活动结束后，家长可以通过家长端63，查看学生当天的个性化分析数据(课堂表现等)，另外，每月、每学期、每学年家长都可以查看更多更有意义的分析数据，比如：学生对哪些课程更有兴趣，进而发掘学生兴趣，因材施教；成绩提高或下降的原因是什么，有什么样的建议给家长，以改进对子女的教育等。

教师也可以通过教师端61，查看每个月，每学期，每学年的分析数据，以了解如何针对不同班级，对教学做有针对性的调整，改进教学效果。

教学管理者，可以通过管理端62的相应功能，查看相应的分析数据，了解各校区、各年级、各教师、各班级的教学情况，以进一步为改善教学管理手段提供依据。

本发明能够提供个性化教育分析系统，主要包括以下几点：

1.自动采集数据：利用现有的教室系统(监控+主机)，对课堂教学视频进行采集。利用人脸识别，标记当前的目标人物，通过目标追踪分割出目标任务视频中所在位置。利用这些位置生成目标人物的视频数据集。

2.智能视频分析：通过目标人物的视频数据集，直接利用视频作为时序序列，进行行为识别，表情识别等，以达到智能分析。

3.大数据分析：通过智能视频分析结果，对当前教学教学效果、课堂质量进行评估，对不同的教学策略进行比较。针对分析结果向学生提供个性化学习方案推荐。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于视频分析的个性化教育分析系统，其特征是：包括视频监控系统(1)，主服务器(2)、中心服务器(3)、第一交换设备(4)、第二交换设备(5)和客户端(6)；

所述视频监控系统(1)和主服务器(2)连接，所述主服务器(2)通过第一交换设备(4)与中心服务器(3)连接，所述客户端(6)通过第二交换设备(5)与中心服务器(3)连接；

所述中心服务器(3)设置在中心机房，所述视频监控系统(1)和主服务器(2)设置于教室内；

所述主机服务器(2)包括动作检测模块(21)、面部检测模块(22)、场景检测模块(23)、异常检测模块(24)、卷积神经网络单元(25)和长短期记忆网络单元(26)。

2.根据权利要求1所述的一种基于视频分析的个性化教育分析系统，其特征是：所述客户端(6)包括教师端(61)、管理端(62)、家长端(63)。

3.根据权利要求1所述的一种基于视频分析的个性化教育分析系统，其特征是：所述视频监控系统(1)包括N个可通过云台旋转的可变焦摄像头和一个全景摄像头。

4.一种基于视频分析的个性化教育分析系统的分析方法，其特征是，包括以下步骤：

步骤一、将学生信息输入所述中心服务器(3)中；

步骤二、所述视频监控系统(1)获取视频信息，并传输给主服务器(2)；

步骤三、所述主服务器(2)将步骤一中获取的视频信息分段得到分段信息并储存，同时将分段信息传递给所述卷积神经网络单元(25)；

步骤四、所述卷积神经网络单元(25)将步骤二中获得的分段信息进行处理，获得C3D特征，并将C3D特征传递给所述长短期记忆网络单元(26)；

步骤五、长短期记忆网络单元(26)将获得的C3D特征进行处理，得到当前动作信息和当前动作标注信息，若当前动作标注信息标识当前动作信息为有用信息，则将当前动作信息输出传递给中心服务器(3)，长短期记忆网络单元(26)同时保留当前动作标注信息；

步骤六、所述长短期记忆网络单元(26)将下一个C3D特征和步骤四中的当前动作标注信息进行处理，并重复步骤四；

步骤七、所述中心服务器(3)将当前动作信息发送给客户端(6)。