CN102096812A - 一种教学智能录播系统用教师黑板书写动作检测方法 - Google Patents

Abstract

一种教学智能录播系统用教师黑板书写动作检测方法，其步骤包括，图像采集和标定：使用视频采集卡，采集一帧图像；对黑板区域进行标定，闭合多边形内是黑板区域；运动检测：包括通过背景建模与更新、背景差分、肤色差分、运动检测、运动合并进行运动检测；区域检测：采用有面积法和像素统计法等方法，像素统计法为：计算落在检测区域内有效二值个数，计算公式如下面积法为：搜索I_bin联通的区域，然后计算区域总面积s；板书检测；若s大于一定的阈值后，则识别为教师写板书动作。本发明正确写板书动作检测率高。

Description

一种教学智能录播系统用教师黑板书写动作检测方法

技术领域

本发明涉及一种教学智能录播系统用教师黑板书写动作检测方法，适用于现代信息化教室、智能课堂教学录播系统、精品课程录制、交互式教学系统的建设。

背景技术

随着教育信息化的发展，多媒体课件在教学过程中应用的日益广泛，越来越多的学校建成或在建电子信息化教室(简称电教室)，电教室不但能进行多媒体教学，还有专人将教学过程同步录制下来，形成学校课堂教学录像。目前的课堂教学录像，不但有课件拍摄，还有学生起立回答问题、教师黑板板书、教师讲解问题的拍摄，因为拍摄角度的不同，势必需要多个机位摄像机参与拍摄，多机位的拍摄需要有导播来完成各摄像机之间的镜头转场、特技等现场编辑，这就需要众多的摄像人员和一位导播员。随着国家“精品课程”建设项目推广，以及传统的教学评估、示范课录制、教学观摩、远程教学等建设，无一不需要课堂教学录像，为了将管理电教室的教师从繁重的录播任务解放出来，自动录播系统出现了，能够自动进行多机位拍摄，自动导播，录像录制和教师讲课同步进行，课结束了，多媒体课堂教学录像自动完成了。

目前教师黑板书写动作检测，有两种方法，一种是采用被动式红外探测技术，将一个红外发射装置安装在教师的腰部，当教师转身写板书时，红外接收器接受到信号，以别为教师写板书；另一种方法是通过视频帧间差分分析，如果人的胳膊位于检测出目标的左上或右上，则认为是有写板书动作目前的教师位置检测方法，有基于光学红外发光阵列定位、主动式超声波探测技术、教师佩戴发射器定位技术、基于运动检测的多通道融合技术等方法。其中基于光学红外发光阵列定位方法是在黑板的下方，安装一系列的光学发光阵列，在教师后方，安装有教师定位仪，通过判断教师遮挡发光阵列的位置来定位教师所在的位置。

被动式红外探测技术缺点是抗干扰能力较差，只要教师一转身，就被识别为写板书动作，这无疑导致自动导播的误切换。该视频帧间差分分析技术的缺点是，如果教师背对黑板，手臂向上挥动时，会被识别为写板书动作，这也是该方法固有的缺陷，不可避免的造成误识别，影响最终录播结果，而且，当教师手放在黑板上，不动时，不会识别。

发明内容

为解决上述问题，本发明提供一种正确一种教学智能录播系统用教师黑板书写动作检测方法

本发明实现上述目的的技术方案是：一种教学智能录播系统用教师黑板书写动作检测方法，其创新点在于：其步骤包括，

1)图像采集和标定：使用视频采集卡，采集一帧图像；对黑板区域进行标定，闭合多边形内是黑板区域；

2)运动检测：包括通过背景建模与更新、背景差分、肤色差分、运动检测、运动合并进行运动检测；

3)区域检测：采用有面积法和像素统计法等方法，像素统计法为：计算落在检测区域内有效二值个数，计算公式如下

面积法为：搜索I_bin联通的区域，然后计算区域总面积s；

4)板书检测：若s大于一定的阈值后，则识别为教师写板书动作。

所述图像采集和标定是通过在黑板边框四周及讲台顶部安装的摄像机采集图像。

所述背景建模与背景更新的方法为：令

代表背景帧图像，初始化为第一帧，n表示当前时刻，(x，y)代表像素的位置，

表示当前帧图像，渐进均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\mathrm{\α}\·I_c^n(x,y)+(1-a)\·I_b^{n-1}(x,y)$

均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{I}_c^i(x,y)$

中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\underset{1\≤i\≤n}{\mathrm{Median}}\left(I_c^i(x,y)\right)$

近似中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\left\{\begin{array}{c}{I}_b^{n-1}(x,y)-1,I_c^n(x,y)<I_n^{n-1}(x,y)\\ I_b^{n-1}(x,y)+1,I_c^n(x,y)>I_b^{n-1}(x,y)\end{array}\right.$

背景差分的方法为：令I_b(x，y)代表背景帧图像，I_c(x，y)表示当前帧图像，I_d(x，y)表示差分图像，差分公式如下：

I_d(x，y)＝|I_c(x，y)-I_b(x，y)|；

运动检测的过程为：表示将差分图像根据一阈值，划分为运动与非运动像素，运动二值图像I_bin(x，y)可以只有0与1，也可以只有0与255，也可以是任意不同的两个值组成，公式如下：

肤色检测，目前常见肤色检测检测中采用了各种各样的颜色空间，有RGB、HSV、YCbCr与Lab等，肤色检测方法有基于非参数模型、基于参数模型、基于支持向量机(SVM)模型、基于神经网络模型、基于红外感知的肤色检测、基于近红外图像和基于高斯分布等方法。以上方法适用于本发明但不局限于以上方法，只要用到了人体肤色检测，均适用于本步骤。令I_s(x，y)为肤色图像，I(x，y)为红外图像，则肤色检测公式如下：

基于高斯分布的肤色检测方法步骤是，在YCbCr空间，对不同图像进行肤色采样，计算样本的均值M和协方差C，令P表示概率值，则肤色检测为

$I_s(x,y)=P(\mathrm{Cb},\mathrm{Cr})=e^{-\frac{1}{2}{(x-M)}^T{C}^{-1}(x-M)}$

肤色差分，表示使用当前帧肤色图减去背景帧肤色图，但不局限于使用当前帧，也可以使用当前时刻前后相邻若干时刻帧的图像，只要使用了背景帧肤色做减法，均在肤色差分范畴。令I_bs(x，y)代表背景帧肤色图像，I_cs(x，y)表示当前帧肤色图像，I_ds(x，y)表示肤色差分图像，差分公式如下：

I_ds(x，y)＝|I_cs(x，y)-I_bs(x，y)|

肤色运动检测与运动检测步骤相同；

运动检测合并：即

表示二进制与，I′_bin为帧间差分检测结果，I_bin为背景差分运动检测结果，并存放合并后检测结果。

本发明的有效效果为：本发明将摄像机检测黑板技术、背景建模技术、背景差分技术、运动检测技术、肤色检测技术运用到了教室写板书动作识别中，与被动式红外探测技术相比，发明不用在教师身上佩戴任何设备，在不影响教师正常讲课的情况下，消除了教师转身造成的误判；与视频帧间差分分析技术相比，本发明在教师背对黑板，手臂向上挥动时，不会产生误报。本发明在正确写板书动作检测率方面远远好于前两款技术。

附图说明

图1是本发明的流程图；

图2是本发明的摄像机位置示意图。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

如图1所示，一种教学智能录播系统用教师黑板书写动作检测方法，其步骤包括，

1)图像采集和标定：使用视频采集卡，采集一帧图像；对黑板区域进行标定，闭合多边形内是黑板区域；

2)运动检测：包括通过背景建模与更新、背景差分、肤色差分、运动检测、运动合并进行运动检测；

3)区域检测：采用有面积法和像索统计法等方法，像素统计法为：计算落在检测区域内有效二值个数，计算公式如下

面积法为：搜索I_bin联通的区域，然后计算区域总面积s；

4)板书检测：若s大于一定的阈值后，则识别为教师写板书动作。

如图2所示，所述图像采集和标定是通过在黑板边框四周及讲台顶部安装的摄像机采集图像。

所述背景建模与背景更新的方法为：令

代表背景帧图像，初始化为第一帧，n表示当前时刻，(x，y)代表像素的位置，

表示当前帧图像，渐进均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\mathrm{\&alpha;}\&CenterDot;I_c^n(x,y)+(1-a)\&CenterDot;I_b^{n-1}(x,y)$

均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_c^i(x,y)$

中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\underset{1\&le;i\&le;n}{\mathrm{Median}}\left(I_c^i(x,y)\right)$

近似中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\left\{\begin{array}{c}{I}_b^{n-1}(x,y)-1,I_c^n(x,y)<I_n^{n-1}(x,y)\\ I_b^{n-1}(x,y)+1,I_c^n(x,y)>I_b^{n-1}(x,y)\end{array}\right.$

背景差分的方法为：令I_b(x，y)代表背景帧图像，I_c(x，y)表示当前帧图像，I_d(x，y)表示差分图像，差分公式如下：

I_d(x，y)＝|I_c(x，y)-I_b(x，y)|；

运动检测的过程为：表示将差分图像根据一阈值，划分为运动与非运动像素，运动二值图像I_bin(x，y)可以只有0与1，也可以只有0与255，也可以是任意不同的两个位组成，公式如下：

肤色检测，目前常见肤色检测检测中采用了各种各样的颜色空间，有RGB、HSV、YCbCr与Lab等，肤色检测方法有基于非参数模型、基于参数模型、基于支持向量机(SVM)模型、基于神经网络模型、基于红外感知的肤色检测、基于近红外图像和基于高斯分布等方法。以上方法适用于本发明但不局限于以上方法，只要用到了人体肤色检测，均适用于本步骤。令I_s(x，y)为肤色图像，I(x，y)为红外图像，则肤色检测公式如下：

基于高斯分布的肤色检测方法步骤是，在YCbCr空间，对不同图像进行肤色采样，计算样本的均值M和协方差C，令P表示概率值，则肤色检测为

$I_s(x,y)=P(\mathrm{Cb},\mathrm{Cr})=e^{-\frac{1}{2}{(x-M)}^T{C}^{-1}(x-M)}$

肤色差分，表示使用当前帧肤色图减去背景帧肤色图，但不局限于使用当前帧，也可以使用当前时刻前后相邻若干时刻帧的图像，只要使用了背景帧肤色做减法，均在肤色差分范畴。令I_bs(x，y)代表背景帧肤色图像，I_cs(x，y)表示当前帧肤色图像，I_ds(x，y)表示肤色差分图像，差分公式如下：

I_ds(x，y)＝|I_cs(x，y)-I_bs(x，y)|

肤色运动检测与运动检测步骤相同；

运动检测合并：即

表示二进制与，I′_bin为帧间差分检测结果，I_bin为背景差分运动检测结果，并存放合并后检测结果。

Claims (3)

1.一种教学智能录播系统用教师黑板书写动作检测方法，其特征在于：其步骤包括，

1)图像采集和标定：使用视频采集卡，采集一帧图像；对黑板区域进行标定，闭合多边形内是黑板区域；

2)运动检测：包括通过背景建模与更新、背景差分、肤色差分、运动检测、运动合并进行运动检测；

3)区域检测：采用有面积法和像素统计法等方法，像素统计法为：计算落在检测区域内有效二值个数，计算公式如下

面积法为：搜索I_bin联通的区域，然后计算区域总面积s；

4)板书检测：若s大于一定的阈值后，则识别为教师写板书动作。

2.根据权利要求1所述的一种教学智能录播系统用教师黑板书写动作检测方法，其特征在于：所述图像采集和标定是通过在黑板边框四周及讲台顶部安装的摄像机采集图像。

3.根据权利要求1所述的一种教学智能录播系统用教师黑板书写动作检测方法，其特征在于：所述背景建模与背景更新的方法为：令

代表背景帧图像，初始化为第一帧，n表示当前时刻，(x，y)代表像素的位置，

表示当前帧图像，渐进均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\mathrm{\&alpha;}\&CenterDot;I_c^n(x,y)+(1-a)\&CenterDot;I_b^{n-1}(x,y)$

均值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{I}_c^i(x,y)$

中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\underset{1\&le;i\&le;n}{\mathrm{Median}}\left(I_c^i(x,y)\right)$

近似中值滤波背景建模可以用如下公式表示：

$I_b^n(x,y)=\left\{\begin{array}{c}{I}_b^{n-1}(x,y)-1,I_c^n(x,y)<I_n^{n-1}(x,y)\\ I_b^{n-1}(x,y)+1,I_c^n(x,y)>I_b^{n-1}(x,y)\end{array}\right.$

背景差分的方法为：令I_b(x，y)代表背景帧图像，I_c(x，y)表示当前帧图像，I_d(x，y)表示差分图像，差分公式如下：

I_d(x，y)＝|I_c(x，y)-I_b(x，y)|；

运动检测的过程为：表示将差分图像根据一阈值，划分为运动与非运动像素，运动二值图像I_bin(x，y)可以只有0与1，也可以只有0与255，也可以是任意不同的两个值组成，公式如下：

肤色检测，目前常见肤色检测检测中采用了各种各样的颜色空间，有RGB、HSV、YCbCr与Lab等，肤色检测方法有基于非参数模型、基于参数模型、基于支持向量机(SVM)模型、基于神经网络模型、基于红外感知的肤色检测、基于近红外图像和基于高斯分布等方法。以上方法适用于本发明但不局限于以上方法，只要用到了人体肤色检测，均适用于本步骤。令I_s(x，y)为肤色图像，I(x，y)为红外图像，则肤色检测公式如下：

基于高斯分布的肤色检测方法步骤是，在YCbCr空间，对不同图像进行肤色采样，计算样本的均值M和协方差C，令P表示概率值，则肤色检测为

$I_s(x,y)=P(\mathrm{Cb},\mathrm{Cr})=e^{-\frac{1}{2}{(x-M)}^T{C}^{-1}(x-M)}$

肤色差分，表示使用当前帧肤色图减去背景帧肤色图，但不局限于使用当前帧，也可以使用当前时刻前后相邻若干时刻帧的图像，只要使用了背景帧肤色做减法，均在肤色差分范畴。令I_bs(x，y)代表背景帧肤色图像，I_cs(x，y)表示当前帧肤色图像，I_ds(x，y)表示肤色差分图像，差分公式如下：

I_ds(x，y)＝|I_cs(x，y)-I_bs(x，y)|

肤色运动检测与运动检测步骤相同；

运动检测合并：即

表示二进制与，I′_bin为帧间差分检测结果，I_bin为背景差分运动检测结果，并存放合并后检测结果。

Images