CN115967837A - 基于网课视频进行内容互动的方法、装置、设备和介质 - Google Patents

Abstract

本发明涉及一种基于网课视频进行内容互动的方法、装置、设备和介质，其中方法包括：在网课视频播放时，采集网课画面，所述网课画面为所述网课视频播放时一个时刻下所展示的静态画面；基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围；根据所述画面范围，截取所述网课画面的部分区域，并将所截取的所述部分区域生成图片；根据所述图片的内容确定所述图片的内容类别，根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示。本发明实现了根据网课画面内容自主推荐扩展学习内容，从而让学生在观看网课时方便、快捷地展开扩展学习。

Description

基于网课视频进行内容互动的方法、装置、设备和介质

技术领域

本发明涉及教学互动技术领域，更具体地，涉及一种基于网课视频进行内容互动的方法、装置、设备和介质。

背景技术

学生在使用设备观看网课时，一般只能单方面观看网课中的内容，无法或不便基于网课中的内容进行扩展学习。例如，在学生观看一节教大家认识水果的课程中，只能学习课程中对一些水果的介绍，学生无法继续扩展学习这些水果的其它知识。如果想继续扩展学习，只能自行去搜索引擎中搜索。

发明内容

本发明实施例旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于网课视频进行内容互动的方法、装置、设备和介质，用于解决在网课视频播放时对于学习的内容不能方便、快捷地扩展的问题。

第一方面，本发明实施例提供一种基于网课视频进行内容互动的方法，包括：

在网课视频播放时，采集网课画面，所述网课画面为所述网课视频播放时一个时刻下所展示的静态画面；

基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围；

根据所述画面范围，截取所述网课画面的部分区域，并将所截取的所述部分区域生成图片；

根据所述图片的内容确定所述图片的内容类别；

根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示。

可选地，基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围，包括：

基于预设的若干个视频特性与画面范围的对应关系，根据所述网课视频所属的视频特性确定对应在所述网课画面需要分析的画面范围。

可选地，所述视频特性为网课课程类型或网课画面布局；

可选地，基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围，包括：

获取用户在所述网课画面圈出的分析范围；

基于预设的范围确定规则，根据所述分析范围，在所述网课画面确定需要分析的画面范围。

可选地，基于预设的范围确定规则，根据所述分析范围，在所述网课画面确定需要分析的画面范围，包括：

基于预设的形状，在所述网课画面以形状为所述预设的形状且包括所述分析范围的最小画面作为需要分析的画面范围。

可选地，在网课视频播放时，采集网课画面，包括：

在网课视频播放时，以固定速率多次采集网课画面，每次采集当前时刻下所展示的一个所述网课画面。

可选地，根据所述图片的内容确定所述图片的内容类别，包括：

对于一个所述网课画面，一个所述画面范围对应截取所述网课画面的部分区域生成一张图片；

若当前生成的所述图片是所述画面范围对应生成的首张图片，则根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别；

若当前生成的所述图片不是所述画面范围对应生成的首张图片，则将当前生成的所述图片，与上一次生成的同一个所述画面范围对应的所述图片进行差异检测，得到差异程度；

根据所述差异程度的大小，确定是否根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别。

可选地，根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示，包括：

对于本次所采集的所述网课画面，若根据生成的所述图片的内容，确定生成的所述图片的内容类别，则根据所述内容类别确定所述网课画面对应的推荐内容，将所述推荐内容在所述网课视频播放时展示；

若没有根据生成的所述图片的内容，确定生成的所述图片的内容类别，则将本次之前所采集的所述网课画面对应确定的所述推荐内容在所述网课视频播放时展示。

可选地，根据所述图片的内容确定所述图片的内容类别，包括：

将所述图片输入多标签分类模型，根据所述图片的内容分别判断所述图片是否含有各个内容类别的可能性，输出所述图片是否含有各个内容类别的概率；当所述概率大于预设概率阈值时，将所述概率对应的所述内容类别作为所述图片的内容类别；

或者，将所述图片输入多分类模型，根据所述图片的内容判断所述图片分别属于各个内容类别的可能性，输出所述图片分别属于各个内容类别的概率，将所述概率最大所对应的所述内容类别作为所述图片的内容类别。

可选地，根据所述内容类别确定推荐内容，包括：

根据所述内容类别确定推荐类别，所述推荐类别包括一个或多个元素；

从所述推荐类别选取一个或多个元素作为推荐内容。

可选地，从所述推荐类别选取一个或多个元素作为推荐内容，包括：

分别提取所述元素和所述图片的特征信息，所述特征信息包括以下一种或多种：颜色、形状；

根据所述元素和所述图片的特征信息之间的匹配度，从所述推荐类别选取一个或多个所述元素作为推荐内容。

第二方面，本发明实施例提供一种基于网课视频进行内容互动的装置，包括：

画面采集模块，用于在网课视频播放时，采集网课画面，所述网课画面为所述网课视频播放时一个时刻下所展示的静态画面；

范围确定模块，用于基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围；

图片生成模块，用于根据所述画面范围，截取将所述网课画面的部分区域，并将所截取的所述部分区域生成图片；

推荐展示模块，用于根据所述图片的内容确定所述图片的内容类别，根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示。

第三方面，本发明实施例提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于网课视频进行内容互动的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于网课视频进行内容互动的方法。

与现有技术相比，本发明实施例的有益效果为：本发明实施例在网课视频播放时采集网课画面，根据网课画面生成需要分析的图片并对图片的内容进行分析得到推荐内容，将推荐内容在网课视频播放时进行展示，实现了根据网课画面内容自主推荐扩展学习内容，从而让学生在观看网课时方便、快捷地展开扩展学习，而且在生成需要分析的图片时，是基于画面范围对网课画面部分区域的截取，减少了需要分析的画面内容，让分析更具有针对性、准确性，让所推荐的扩展学习内容更加贴合学生的需求。

附图说明

图1为本发明实施例1的基于网课视频进行内容互动的方法流程图。

图2为本发明实施例2的基于网课视频进行内容互动的方法流程图。

图3为本发明实施例3的基于网课视频进行内容互动的装置组成图。

图4为本发明实施例3的另一个基于网课视频进行内容互动的装置组成图。

图5为本发明实施例3的计算机设备组成图。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例1

本实施例提供一种基于网课视频进行内容互动的方法，可以应用在正在播放网课视频的设备，或者控制正在播放网课视频设备的控制设备，也可以应用在没有正在播放网课视频或者甚至是没有播放网课视频功能的、但能与正在播放网课视频的设备相互配合的设备。网课视频是指可以让学生观看并从中学习知识的视频，可以是事先录制的也可以是实时直播的。网课视频中通常会出现讲课老师以及讲课老师所展示的一些事物，如展示课件、教具等，这些事物会反映学生正在学习的内容，识别这些事物可以展示更多关于这些事物相关的学习资料，让学生可以进一步扩展学习。

如图1所示，本实施例所提供的基于网课视频进行内容互动的方法，可以识别网课视频所出现的事物，并及时地根据识别推荐可扩展学习的内容，其包括如下步骤：

S101.在网课视频播放时，采集网课画面。

网课画面是网课视频播放时一个时刻下所展示的静态画面。网课视频是在动态播放的，为了能从动态的网课视频中准确地分析识别出网课视频所出现的事物，可以通过网课画面采集的方式，得到一个静态的网课画面。

具体地，可以在网课视频播放时，以截屏的方式，将网课视频当前时刻所正在播放的网课画面截取下来作为所采集的网课画面；还可以在网课视频播放时，从网课视频的数据流中提取当前时刻的一帧网课视频的数据，根据所提取的数据处理成一帧网课画面。所采集下来的网课画面可以先存储下来。

S102.基于预设的范围确定规则，在网课画面确定需要分析的画面范围。

网课画面是从播放中的网课视频所采集的，而网课视频除了会出现能反映学生学习内容的事物以外，还会出现其他的内容，如讲课老师的人脸、装载事物的容器等，这些其他的内容会干扰反映学生学习内容的事物的分析准确性，甚至会让事物根本无法分析识别出来。因此，在网课画面上需要针对反映学习内容的事物所出现的位置，确定出所需要分析的画面范围，以提高分析的准确性。

范围确定规则为用于确定网课画面中需要分析的画面范围的预先设定的规则，可以是人为预先设定的，可以是开发人员、观看网课视频的学生本人，还可以是引导学生观看网课视频的家长或老师等。

画面范围为指示在网课画面内的某一部分区域的像素区域信息或坐标区域信息。例如，对于400像素×600像素的一个网课画面，画面范围可以为以在像素坐标系下的一像素点(X，Y)为中点，长为x个像素、宽为y个像素的一个像素区域，该像素区域是网课画面的一部分区域。又例如，对于9cm×16cm的一个网课画面，画面范围可以为在长度坐标系下的4个点(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)所形成的矩形区域，该矩形区域为网课画面的一部分区域。

基于预设的范围确定规则，在一个网课画面所确定需要分析的画面范围可以是一个或多个，在同一个网课画面所确定的多个画面范围没有相互影响，相互之间可以重叠、交叉等。

确定需要分析的画面范围，可以使得要分析的内容从整个网课画面缩小到所确定的画面范围，分析更具有针对性，最终作出的推荐更能精准把握用户需求，提高了用户体验，而且分析工作量会相应减少，提高了分析推荐的效率。

具体如何基于预设的范围确定规则，在网课画面确定需要分析的画面范围，可以有很多种实施方式。

其中一种实施方式下，预设的范围确定规则可以是预设的若干个视频特性与画面范围的的对应关系。相应地，基于预设的范围确定规则，在网课画面确定需要分析的画面范围，包括：基于预设的若干个视频特性与画面范围的对应关系，根据网课视频所属的视频特性确定对应在网课画面需要分析的画面范围。

视频特性是网课视频本身所特有的性质，视频特性可以根据对确定画面范围的影响而预先设定若干个，再预先设定这若干个视频特性与画面范围的对应关系。当确定了网课视频所属的视频特性，就可以根据这一对应关系确定该视频特性所对应的画面范围，即确定了在网课画面需要分析的画面范围。可以理解的是，每个视频特性至少对应有一种画面范围。

通过预设的视频特性与画面范围的对应关系，可以方便地根据不同网课视频所属的视频特性，快捷地确定网课画面所需分析的画面范围，而且可以适应不同网课视频所特有的性质，更有针对性地确定出画面范围，使得后续根据画面范围而截取的网课画面部分区域，更精准地定位出反映学生学习内容的事物，进而可以使得推荐更加准确。

视频特性可以为网课课程类型或网课画面布局等。网课课程类型是指网课视频的课程所属的分类，分类例如可以包括若干个课程科目或若干个课程主题，例如可以是语文、英语、考题讲解专题、复习专题等。网课画面布局是指网课画面上各个显示的元素的安排规划，例如各个元素在网课画面上的位置、大小等。

网课课程类型、网课画面布局是网课视频比较显而易见的特性，在确定网课视频所属的视频特性时，可以更加容易且准确。网课课程类型、网课画面布局，均对学生学习内容所出现在的网课画面部分区域具有较大的影响，其作为视频特性与范围确定规则进行对应，更有利于画面范围的准确确定。

对于同类型的课程(如同一个课程科目，或者同一个课程主题等)而言，在网课视频播放的过程中，需要识别分析的事物基本会以固定的大小、固定出现在网课画面上一些特定的位置。因此，当视频特性是网课课程类型时，步骤S102可以具体为：预先设定若干个课程类型对应在网课画面需要分析的画面范围，根据网课视频所属课程类型，在网课画面确定需要分析的画面范围。

例如，以考题讲解为主题的课程，也即网课视频所属的网课课程类型为考题讲解，该网课视频播放的过程中，网课画面经常会以左半边为题目、右半边为解题答案的形式进行显示，则可以预先设定该主题的课程对应需要分析的画面范围，可以是网课画面的左半边中上部并占左半边网课画面大小2/3的画面范围，和右半边中上部并占右半边网课画面大小2/3的画面范围。

对于网课画面布局，一方面，网课画面布局包括网课画面的整体画面布局，整体画面布局是由各个元素所构成的，如网课视频一般是要以设定的位置、设定的大小展示课件，再以另一设定的位置、设定的大小展示讲课老师的状态表情等，课件、讲课老师的状态表情等就是构成整体画面布局的元素。另一方面，网课画面布局还包括这些元素的内部画面布局，如课件的内部画面布局，对于同一个讲课老师所做的课件，或者同一类型课程的课件，其课件展示的画面布局是相似的，需要识别的事物也经常会以固定的大小、固定出现在课件画面的一些特定的位置。因此，当视频特性是网课画面布局时，步骤S102可以具体为：预先设定若干个网课画面布局对应在网课画面需要分析的画面范围，根据网课视频所属网课画面布局，在网课画面确定需要分析的画面范围。

例如，某网课视频所属的网课画面布局为：网课画面的整体画面布局是课件展示在整个网课画面，讲课老师的状态表情展示在角落，而课件的内部画面布局是将学生需要学习的事物放置于中间，则可以预先设定这样的网课画面布局对应需要分析的画面范围为网课画面的中部且占整个网课画面大小1/2的画面范围。

可以理解的是，预先设定的若干个网课画面布局对应在网课画面需要分析的画面范围，可以是若干个整体画面布局对应，也可以是若干个元素内部画面布局对应，还可以是若干个整体画面布局以及若干个元素内部画面布局对应。

还可以理解的是，对于不同的网课课程类型或者不同的网课画面布局，也可以统一预设相同的画面范围。

在另一种实施方式下，网课画面所需要分析的画面范围，可以根据用户圈出的分析范围而确定，该用户可以是观看网课视频的学生本人，也可以是引导学生观看网课视频的家长或老师等。这样既能加强网课视频播放过程中与用户之间的互动性，又能让后续的推荐更贴合用户的扩展学习需求。此时，预设的范围确定规则具体是根据用户所圈出的分析范围，在网课画面确定需要分析的画面范围的规则，也即，预设的范围确定规则是从分析范围变成画面范围的规则。因此，步骤102可以为：获取用户在网课画面圈出的分析范围；基于预设的范围确定规则，根据分析范围，在网课画面确定需要分析的画面范围。

用户所圈出的分析范围的形状是各种各样的，基于不同用户的喜好或者预设的不同圈出规则，可能会采用矩形框进行框选、也可能会采用圆形框进行框选，还可能会手绘出圈选的不规则轨迹，而画面范围的形状不统一，会让后续截取网课画面的部分区域而生成的图片形状也不统一，不利于以统一的方法确定图片的内容类别，因此预设的范围确定规则可以是预设的形状，无论用户所圈出的分析范围是何种形状，都能让所确定的画面范围统一为预设的形状。在统一形状的基础上，还要考虑所确定的画面范围是否囊括了用户所圈出的分析范围，防止用户圈出的某些内容没能涵盖在画面范围内而截取出来生成图片，导致所作的推荐不完全符合用户的需求。

相应地，步骤S102可以更具体为：获取用户在网课画面圈出的分析范围，基于预设的形状，在网课画面以形状为预设的形状且包括分析范围的最小画面作为需要分析的画面范围。

例如，预设形状为矩形，用户在网课画面圈出的分析范围为一圆形范围，则在网课画面选取一个包括该圆形范围的最小矩形画面范围，用户所圈出的圆形范围为该最小矩形画面范围的内切圆，该最小矩形画面范围则作为需要分析的画面范围，可以适度地扩大了用户所圈出的分析范围，保证用户圈出的内容涵盖在画面范围内。

可以理解的是，除了可以预设形状，规范画面范围的形状以外，还可以预设大小，规范画面范围的大小，让后续根据画面范围截取网课画面所生成的图片大小具有统一性。

S103.根据画面范围，截取网课画面的部分区域，并将所截取的部分区域生成图片。

在网课画面确定了需要分析的画面范围后，可以根据所确定的画面范围，截取网课画面在画面范围内的部分区域，对所提取的部分区域生成图片。具体地，在确定了需要分析的画面范围后，也就确定了该需要分析的画面范围所指示的在网课画面内的某一部分区域的像素区域信息或坐标区域信息，根据该像素区域信息或坐标区域信息在网课画面中截取对应的部分区域，并将所截取的部分区域生成图片。

S104.根据图片的内容确定图片的内容类别，根据内容类别确定推荐内容，将推荐内容在网课视频播放时展示。

在将网课画面截取生成图片后，可以对图片的内容进行分析，得到内容类别，以确定需要在网课视频播放时展示出来的推荐内容。图片的内容是指图片所包含的各种有效信息。推荐内容是指推荐给正在观看网课视频的学生的各种信息或是指向这些信息的链接。

在生成图片之后、根据图片的内容确定图片的内容类别之前，还可以对图片进行一些前处理。图片前处理的目的可以是统一图片的尺寸、亮度等，以便后续可以统一地对图片的特征信息进行分析。

对于统一图片的尺寸，以画面范围为矩形为例，根据矩形的画面范围，在网课画面所提取的部分是矩形的，将矩形的提取部分变换尺寸到指定尺寸大小M×N，指定尺寸可以是指定分辨率(此时M、N的单位为像素)，也可以是指定物理尺寸(此时M、N的单位为长度单位)。尺寸变换的方式可以采用等比例变换，变换后不够的部分填充0或1像素。采用此种尺寸变换方式的优点是图片的内容不会变形，但图片尺寸变换还有其他方法，如拉伸、缩放、裁剪等，等比例变换且不够的部分填充0或1像素的尺寸变换方式仅为示例，本实施例对此不作限制。

根据图片的内容确定图片的内容类别，具体可以采用不同的分类方法。

其中一种分类方法，可以将图片输入多标签分类模型，根据图片的内容分别判断图片是否含有各个内容类别的可能性，输出图片是否含有各个内容类别的概率，当概率大于预设概率阈值时，则判断该图片含有该概率对应的内容类别，将该概率对应的内容类别作为图片的内容类别。

多标签分类模型可以采用常规的网络模型，如典型的残差神经网络resnet50、resnet101等，也可以采用由不同深度学习组块组合形成的网络模型。采用二元关联BinaryRelevance的思想构建多标签分类的损失函数，通过有标注的样本数据进行训练，可以得到训练好的多标签分类模型。

二元关联Binary Relevance的思想是将多标签学习问题分解为若干个独立的二分类问题，每个二分类问题对应一个类别空间中的内容类别。对于一个样本x，二元关联Binary Relevance通过用各个二分类器计算每个内容类别y_j的类别相关性，预测样本x的类别集：

Y＝{y_j|g_j(x)＞0，1≤j≤q}

具体地，预先设定多标签分类模型的内容类别y_j，总共为q个内容类别，j＝1，2，...，q。多标签分类模型中形成有q个独立的二分类器g_j(x)，通过标注有所属内容类别的样本数据对多标签分类模型进行训练。将图片输入训练好的多标签分类模型后，每个二分类器g_j(x)可以对应预测出图片是否含有内容类别y_j的可能性，从而得到图片属于内容类别y_j的概率{p_j|1≤j≤q}，概率p_j即代表图片含有内容类别y_j的概率。

可以预设概率阈值p_阈值，若概率p_j大于预设概率阈值p_阈值，则认为所输入的图片含有内容类别y_j，若不存在一个概率p_j大于预设概率阈值p_阈值，则认为所输入的图片不含有预先设定的任一内容类别y_j。

以认知生活事物课程的网课视频为例，可以预先设定多标签分类模型的3个内容类别：水果类、交通工具类、动物类；多标签分类模型中形成有3个独立的二分类器：水果类二分类器、交通工具类二分类器、动物类二分类器。

将图片输入训练好的多标签分类模型后，水果类二分类器会预测图片是否含有水果，得到含有水果的概率p_水果，不含有水果的概率为1-p_水果；交通工具类二分类器会预测图片是否含有交通工具，得到含有交通工具的概率p_交通工具，不含有交通工具的概率1-p_交通工具；动物类二分类器会预测图片是否含有动物，得到含有动物的概率p_动物，不含有动物的概率为1-p_动物。

预设概率阈值p_阈值＝80％。假设概率p_水果＝85％、概率p_交通工具＝90％、概率p_动物＝13％，则有p_水果＞p_阈值、p_交通工具＞p_阈值，可认为所输入的图片含有水果和交通工具，此时可以确定图片的内容类别为水果类和交通工具类。又假设概率p_水果＝60％、概率p_交通工具＝55％、概率p_动物＝21％，则有p_水果、p_交通工具、p_动物均不大于p_阈值，可认为所输入的图片不含有水果、交通工具和动物，此时可以确定图片的内容类别为空。

当图片的内容类别为空时，根据图片内容类别所确定的推荐内容也可以为空，在网课视频播放时展示空的推荐内容，或者不展示推荐内容。

由于网课画面通常会包含一种或多种内容类别，所以采用多标签分类模型，相较于其他常规的分类模型，可以更完全地得到图片所包含的内容类别，还可以应对所输入的图片不包含任何内容类别的情况。

另一种分类方法，可以将图片输入多分类模型，根据图片的内容判断图片分别属于各个内容类别的可能性，输出图片分别属于各个内容类别的概率，将概率最大所对应的内容类别作为图片的内容类别。

多分类模型可以采用常规的网络模型，如典型的残差神经网络resnet50、resnet101等，也可以采用由不同深度学习组块组合形成的网络模型。通过有标注的样本数据进行训练，可以得到训练好的多标签分类模型。

具体地，预先设定有q-1个内容类别y_j，j＝1，2，...，q-1，第q个内容类别

为不属于q-1个内容类别y_j的任意一个，通过标注有所属内容类别的样本数据对多标签分类模型进行训练。将图片输入训练好的多标签分类模型，可以得到图片分别属于各个内容类别y_j和

的概率{p_j|1≤j≤q}，根据概率p_j的相对大小判断图片属于q-1个内容类别y_j的哪一个或哪几个，或者是否不属于q-1个内容类别y_j的任意一个。在概率p_q不是最大时，选取概率p_j最大的一个或几个所对应的内容类别y_j作为图片的内容类别；在概率p_q最大时，图片的内容类别则为不属于q-1个内容类别y_j的任意一个。

同样以认知生活事物课程的网课视频为例，可以预先设定多分类模型的4个内容类别：水果类、交通工具类、动物类、其他类(不属于水果类、交通工具类、动物类的任意一个)。

将图片属于训练好的多分类模型后，可以得到图片分别属于水果类、交通工具类、动物类、其他类的概率p_水果、p_交通工具、p_动物、p_其他，其中p_水果+p_交通工具+p_动物+p_其他＝1，则可以根据p_水果、p_交通工具、p_动物、p_其他这四者之间的相对大小，确定图片的内容类别。

假设概率p_水果＝56％、p_交通工具＝34％、p_动物＝7％、p_其他＝3％，最大的是p_水果，次大的是p_交通工具，则可以确定图片的内容类别是水果类或者是水果类和交通工具类。又假设概率p_水果＝10％、p_交通工具＝8％、p_动物＝22％、p_其他＝60％，最大的是p_其他，则可以确定图片的内容类别为其他类。

同理，当图片的内容类别为其他类时，根据图片内容类别所确定的推荐内容可以为空，在网课视频播放时展示空的推荐内容，或者不展示推荐内容。

采用多分类模型，可以更准确地得到图片的内容类别，在同样训练数据量下，一般具有更高的分类准确率，也可以应对所输入的图片不属于任何内容类别的情况。采用多分类模型，适宜于从网课画面所生成的一个图片中，只需根据一种内容类别进行推荐的需求。

当得到图片的内容类别后，可以采用两步推荐策略：先确定推荐类别，再确定推荐内容，由此可以提升推荐的精准度。

根据内容类别确定推荐内容，具体包括：根据内容类别确定推荐类别，推荐类别包括一个或多个元素；从推荐类别选取一个或多个元素作为推荐内容。

更具体地，根据内容类别确定推荐类别，可以是：当多标签分类模型的输出结果为图片含有某个或多个内容类别时，确定推荐类别为图片所含有的内容类别的全部或部分，当推荐类别仅为图片所含有的部分内容类别时，需要对图片所含有的内容类别进行筛选，可以根据图片含有该内容类别的概率高低进行筛选，也可以根据其他因素进行筛选，本实施例对此不作限制。当多标签分类模型的输出结果为图片不含有任一内容类别时，确定推荐内容为空，不进行推荐。

具体实施过程中，在构建多标签分类模型时，内容类别可以是根据推荐类别而设置。在一些实际需要的场景下，内容类别可以与推荐类别是一一对应的关系，也即内容类别和推荐类别是一样的。

从推荐类别选取一个或多个元素作为推荐内容可以有多种实施方式。

在一种实施方式下，从推荐类别中随机选取一个或多个元素作为推荐内容。若所确定的推荐类别为多个，可以每个推荐类别随机选取一个元素作为推荐内容。

在另一种实施方式下，可以分别提取元素和图片的特征信息，特征信息包括以下一种或多种：颜色、形状；根据元素和图片的特征信息的匹配度，从推荐类别选取一个或多个元素作为推荐内容。

可以理解的是，在该种实施方式下，元素以图片的数据格式存在，或者以可转换成图片的数据格式存在，是可以从中提取出特征信息，并且能与图片的特征信息进行匹配。

如上所述，图片的特征信息是指能够代表该图片中的内容的特征信息，例如是颜色、形状或两者的组合。对应地，元素的特征信息也是指能够代表该元素的内容的特征信息。

其中，颜色可以包括所含有颜色的种类、颜色种类的数目等，形状可以包括所含有形状的种类、形状种类的数目等。

提取元素或图片的特征信息，具体可以采用以下方式：提取元素或图片各像素的RGB信息，从而得到元素或图片的颜色；利用边缘检测算法，提取图片中各事物的轮廓，边缘检测算法原理是将变化较大的非连续像素看作是边缘，OpenCV(一个开源的计算机视觉和机器学习软件库)提供了很多图片边缘检测函数，如Laplacian()、Sobel()、Scharr()等。

元素的特征信息和图片的特征信息，两者之间的匹配度可以采用以下方式确定：

训练一个关于特征信息的预测网络，将元素和图片分别输入该训练好的预测网络，对应预测出元素的特征信息和图片的特征信息。特征信息可以以信息矩阵的形式记录，由此形成了推荐类别j元素i的特征信息矩阵

图片的的特征信息矩阵v_x，根据下述公式，计算两个特征信息矩阵

和v_x的相似度：

上述公式，i＝1，2，...，m，m为推荐类别j所包括的元素总个数。

越大，表明元素的特征信息和图片的特征信息匹配度越高，可以选取

最大的一个或多个元素作为推荐内容。

根据元素和图片的特征信息的匹配度确定推荐内容，可以让推荐内容与图片的关联性更高，推荐更加的准确，更能提升用户的体验。比如，图片显示的是橙子，那么在推荐类别为水果类中进行选取推荐的元素时，会更倾向于推荐水果类中的橘子而非香蕉，因为橙子和橘子相比于橙子和香蕉具有更相似的颜色和形状。

将推荐内容在网课视频播放时展示，具体可以是将推荐内容按随机顺序以消息框的方式展示在网课视频的某一固定位置。每个推荐类别所对应确定的推荐内容可以展示固定时间，不同推荐类别可以循环进行展示。当某个推荐内容被用户选中时，可以调准至相应的内容链接，展示该推荐内容的详细信息；当返回继续播放网课视频后，继续展示未被用户选中的剩余其他推荐内容。

实施例2

基于与实施例1同一个发明构思，如图2所示，本实施例提供一种基于网课视频进行内容互动的方法，是对实施例1的进一步优化，其具体包括：

S201.在网课视频播放时，以固定速率多次采集网课画面，每次采集当前时刻下所展示的一个网课画面。

具体地，是沿着网课视频的播放时间轴，以固定速率对网课画面进行多次的采集，在一个网课视频播放时，网课画面的采集速率是固定的。以20分钟时长的网课视频为例，沿着网课视频的播放时间轴，可以以5分钟/次的固定速率对网课画面进行多次的采集，则在整个网课视频的播放时间轴上，会采集4次网课画面。

采集网课画面的固定速率可以是人为预设的固定值，也可以是根据人为预设的速率规则而确定的固定值，速率规则可以是与网课视频的时长有关的规则，例如：固定速率与网课视频的时长呈负相关，时长每增加5分钟，固定速率的取值增大1分钟/次。

在预设固定速率时可以考虑基于所采集的网课画面所进行的后续步骤，对设备处理效率的要求，以及设备硬件性能的限制。

所采集的多个网课画面可以按顺序存储在临时空间，以图片格式或可转换为图片的格式进行存储，从而方便地从临时空间中按顺序读取网课画面进行后续的图片生成。

以固定速率进行网课画面的采集，每采集一次网课画面都对该次采集的一个网课画面进行一次图片生成和内容推荐，可以实时地、连续地从网课视频中抓取可以分析识别的事物，从而进行实时地、连续地内容推荐。

S202.基于预设的范围确定规则，在网课画面确定需要分析的画面范围。

范围确定规则为用于确定网课画面中需要分析的画面范围的预先设定的规则，可以是人为预先设定的，可以是开发人员、观看网课视频的学生本人，还可以是引导学生观看网课视频的家长或老师等。

确定需要分析的画面范围，除了可以使得需要分析的内容从整个网课画面缩小到所确定的画面范围，分析更具有针对性，最终展示的推荐内容更能精准把握用户需求以外，还可以在多次采集网课画面的情况下，减少运算量，提高分析推荐的运算速率，进而可以增大网课画面的采集速率，提高分析推荐的精准度。

S203.根据画面范围，截取网课画面的部分区域，并将所截取的部分区域生成图片，对于一个网课画面，一个画面范围对应截取网课画面的部分区域生成一张图片。

每次采集的网课画面，都会执行一次步骤S203，根据一个已确定的画面范围，截取该网课画面的部分区域，并将所截取的部分区域生成一张图片，即一个网课画面、一个画面范围会对应处理生成一张图片。

而一个网课画面可以确定出若干个需要分析的画面范围，也即，一个网课画面可以对应处理生成多张图片，一个网课画面所生成的不同图片对应不同的画面范围。

S204.判断当前生成的图片是否为一个画面范围对应生成的首张图片，若是，执行步骤S208至S212，若否，执行步骤S205至S206。

所采集的不同网课画面，每一个画面范围所对应生成的图片均执行一次步骤S204，判断所生成的图片是否为该个画面范围对应生成的首张图片。该个画面范围对应生成的首张图片，是指该个画面范围第一次所对应生成的图片，也即是，根据该个画面范围，截取第一次采集的网课画面的部分区域，根据所截取的该部分区域所生成的第一张图片。

S205.将当前生成的图片，与上一次生成的、同一个画面范围对应的图片进行差异检测，得到差异程度。

当判断当前生成的图片不是某个画面范围对应生成的首张图片，则当前生成的图片并不是该个画面范围第一次所对应生成的图片，存在着上一次生成的、该个画面范围所对应生成的图片，将当前生成的图片与上一次生成的、该个画面范围所对应的图片进行差异检测，得到差异程度。因为当前生成的图片不是该个画面范围对应生成的首张图片，此前已经有针对该个画面范围所对应的图片进行过内容分析以及后续推荐内容的确定，所以可以先检测前后生成的图片之间的差异程度，在差异程度较小时，不进行当前生成图片的内容类别确定，在差异程度较大时，才进行当前生成图片的内容类别确定，从而避免进行不必要的重复工作，不浪费运算资源。

在一种实施方式下，差异程度可以按照以下方式计算：将当前生成的图片与上一次生成的图片分别提取信息形成信息矩阵Img1、Img2，利用下述公式计算差异程度ε：

ε＝Mean（Img1-Img2）；

上述公式，Mean()是对矩阵内各个元素进行平均值计算的函数。

在另一实施方式下，差异程度也可以按照当前生成的图片与上一次生成的图片之间具有差异的区域大小、位置、数目等进行评判。

差异程度的大小可以定量评判，也可以定性评判。

当然，同理也可以将当前生成的图片，与上一次生成的图片进行相似检测，得到相似程度，在相似程度较大时，不进行当前生成图片的内容类别确定，在相似程度较小时，才进行当前生成图片的内容类别确定。相似程度和差异程度均可以评判前后两次所生成图片的相似性。

S206.根据差异程度的大小，确定是否根据当前生成的图片的内容，确定当前生成的图片的内容类别，若是，执行步骤S208至S211，若否，执行步骤S207。

可以设定关于差异程度的条件，从而确定是否要根据当前生成的图片的内容，确定当前生成的图片的内容类别。

当差异程度是定量评判时，一种优选的实施方式是，预设差异阈值，判断是否差异程度小于预设差异阈值，若是则执行步骤S208至S212，若否则执行步骤S207。

当差异程度是定性评判时，一种优选的实施方式是，预设评判指标，达到评判指标则执行步骤S208至S212，达到评判指标则执行步骤S207。

S207.将之前所采集的网课画面对应确定的推荐内容在网课视频播放时展示。

步骤S207是在当前生成的图片与上一次生成的、同一画面范围对应的图片之间的差异程度较小时所执行的，即此时存在着上一次生成的、该个画面范围所对应生成的图片，也意味着本次所采集的网课画面并不是首次采集的，即存在着本次之前所采集的网课画面。当不根据当前生成的图片的内容，确定内容类别时，可以将之前所采集的网课画面对应确定的推荐内容，在网课视频播放时展示。

可以理解的是，本次之前所采集的网课画面，可以是上一次的。当对于上一次采集的网课画面，也没有根据生成的图片的内容确定内容类别时，本次之前所采集的网课画面，可以是上若干次的。

直接采用之前所采集的网课画面所对应确定的推荐内容进行展示，可以使得在网课视频播放过程中，不会因为前后两次采集的网课画面所对应生成的图片差异程度太小，而导致推荐内容展示中断，可以持续地提供合适的推荐内容。而且，复用之前所确定推荐内容，可以减少推荐内容的确定时间，加快推荐的速度，提高推荐服务的体验流畅度。

可以理解的是，要复用之前所确定的推荐内容，可以对之前所确定的推荐内容缓存下来。

S208.根据当前生成的图片的内容，确定当前生成的所述图片的内容类别。

当判断当前生成的图片是某个画面范围对应生成的首张图片时，可以执行步骤S208，根据当前生成的图片的内容，确定当前生成的图片的内容类别。因为当前生成的图片是该个画面范围对应生成的首张图片，此前并没有针对该个画面范围所对应的图片进行内容分析以及后续推荐内容的确定，所以需要根据当前生成的图片的内容，确定当前生成图片的内容类别。

当判断本次和上一次生成的、同一画面范围对应的图片之间差异程度较大，也可以执行步骤S208，根据当前生成的图片的内容，确定当前生成的图片内容类别。因为两张图片差异程度较大，并不能复用之前所确定的推荐内容，所以有必要对当前生成的图进行内容分析以及后续推荐内容的确定，根据当前生成的图片的内容，确定当前生成图片的内容类别。

具体地，步骤S208可以包括：

将当前生成的图片输入多标签分类模型，分别判断图片是否含有各个内容类别的可能性，输出图片是否含有各个内容类别对应的概率，当概率大于预设概率阈值时，将概率对应的内容类别作为当前生成的图片的内容类别；或者，将当前生成的图片输入多分类模型，判断图片分别属于各个内容类别的可能性，输出图片分别属于各个内容类别的概率，将概率最大所对应的内容类别作为当前生成的图片的内容类别。

S209.根据内容类别确定推荐类别，推荐类别包括一个或多个元素。

在确定需要展示的推荐内容之前，先确定推荐类别，推荐类别是对推荐内容作了分类而形成的，由此可以使得最终所确定的推荐内容更加精准。

一个推荐类别可以只有一个元素，也可以有多个元素。

S210.分别提取元素和图片的特征信息，特征信息包括以下一种或多种：颜色、形状。

在确定了推荐类别后，需要确定推荐类别中哪个元素作为最终的推荐内容，可以通过分别提取的元素和图片的特征信息，从而更容易、更准确地匹配元素和图片。

S211.根据元素和图片的特征信息的匹配度，从推荐类别选取一个或多个元素作为推荐内容。

具体地，可以从推荐类别中选取匹配度满足预设匹配条件的所有元素作为推荐内容，也可以是选取匹配度最满足预设匹配条件的元素作为推荐内容。

匹配度可以根据颜色之间的匹配情况、形状之间的匹配情况进行综合评估而得到。预设的匹配条件可以是预设的匹配度阈值、匹配度范围，也可以是关于颜色、形状匹配情况的若干个逻辑条件。

S212.将推荐内容在网课视频播放时展示。

所确定的推荐内容会在网课视频播放的同时进行展示，实现了实时推荐，让用户可以在网课视频播放时，随时可以看到推荐内容，甚至可以通过所展示的推荐内容直接进入推荐内容相应的链接中。

实施例3

基于与实施例1、实施例2同一个发明构思，如图3所示，本实施例提供一种基于网课视频进行内容互动的装置，可以应用在正在播放网课视频的设备，或者控制正在播放网课视频设备的控制设备，也可以应用在没有正在播放网课视频或者甚至是没有播放网课视频功能的、但能与正在播放网课视频的设备相互配合的设备，其包括：

画面采集模块301，用于在网课视频播放时，采集当前播放的网课画面，网课画面为网课视频播放时一个时刻下所展示的静态画面；

范围确定模块302，用于基于预设的范围确定规则，在网课画面确定需要分析的画面范围；

图片生成模块303，用于根据画面范围，截取网课画面的部分区域，并将所截取的部分区域生成图片；

推荐展示模块304，用于根据图片的内容确定图片的内容类别，根据内容类别确定推荐内容，将推荐内容在网课视频播放时展示。

范围确定模块302具体如何基于预设的范围确定规则，在网课画面确定需要分析的画面范围，可以有很多种实施方式。

其中一种实施方式，范围确定模块302具体用于：基于预设的若干个视频特性与画面范围的对应关系，根据所述网课视频所属的视频特性确定对应在所述网课画面需要分析的画面范围。

视频特性可以为网课课程类型或网课画面布局等。网课课程类型是指网课视频的课程所属的分类，分类例如可以包括若干个课程科目或若干个课程主题，例如可以是初中语文、高中英语、考题讲解专题、复习专题等。网课画面布局是指网课画面上各个显示的元素的安排规划，例如各个元素在网课画面上的位置、大小等。

对于同类型的课程(如同一个课程科目，或者同一个课程主题等)而言，在网课视频播放的过程中，需要识别分析的事物基本会以固定的大小、固定出现在网课画面上一些特定的位置。因此，当视频特性是网课课程类型时，范围确定模块302可以具体用于预先设定若干个课程类型对应在网课画面需要分析的画面范围，根据网课视频所属课程类型，在网课画面确定需要分析的画面范围。

对于网课画面布局，画面布局既可以包括网课画面的整体画面布局，又可以包括构成整体画面布局的各个元素的内部画面布局。因此，当视频特性是网课画面布局时，范围确定模块302可以具体用于预先设定若干个画面布局对应在网课画面需要分析的画面范围，根据网课视频所属画面布局，在网课画面确定需要分析的画面范围。

在另一种实施方式下，网课画面所需要分析的画面范围，可以根据用户圈出的分析范围而确定，既能加强网课视频播放过程中与用户之间的互动性，又能让后续分析的结果更贴合用户的扩展学习需求。此时，范围确定模块302可以具体用于获取用户在网课画面圈出的分析范围，根据预设的范围确定规则，根据分析范围，在网课画面确定需要分析的画面范围。

更具体地，范围确定模块302可以具体用于获取用户在网课画面圈出的分析范围，基于预设的形状，在网课画面以形状为预设的形状且包括分析范围的最小画面作为需要分析的画面范围。用户可以是观看网课视频的学生本人，也可以是引导学生观看网课视频的家长或老师等。

当推荐展示模块304得到图片的内容类别后，可以采用两步推荐策略：先确定推荐类别，再确定推荐内容，由此可以提升推荐的精准度。相应地，此时推荐展示模块304具体可以包括内容类别确定单元341、推荐类别确定单元342、推荐内容确定单元343和推荐内容展示单元344。

内容类别确定单元341，用于根据图片的内容确定图片的内容类别；

推荐类别确定单元342，用于根据内容类别确定推荐类别，推荐类别包括一个或多个元素；

推荐内容确定单元343，用于从推荐类别选取一个或多个元素作为推荐内容；

推荐内容展示单元344，用于将推荐内容在网课视频播放时展示。

内容类别确定单元341可以具体用于：将图片输入多标签分类模型，分别判断图片是否含有各个内容类别的可能性，输出图片是否含有各个内容类别对应的概率，当概率大于预设概率阈值时，将概率对应的内容类别作为图片的内容类别，或者，将图片输入多分类模型，判断图片分别属于各个内容类别的可能性，输出图片分别属于各个内容类别的概率，将概率最大所对应的内容类别作为图片的内容类别。

推荐内容确定单元343可以具体用于：分别提取元素和图片的特征信息，特征信息包括以下一种或多种：颜色、形状；根据元素和图片的特征信息的匹配度，从推荐类别选取一个或多个元素作为推荐内容。

为了在网课视频播放的过程中，实时地、连续地从网课视频中抓取可以分析识别的事物，从而进行实时地、连续地内容推荐，画面采集模块301具体用于在网课视频播放时，以固定速率多次采集当前播放的网课画面，每次采集当前时刻下所展示的一个网课画面。

图片生成模块303，对于每次采集的网课画面，均根据范围确定模块302所确定画面范围，截取网课画面的部分区域，并将所截取的部分区域生成图片。对于一个网课画面，一个画面范围对应截取网课画面的部分区域生成一张图片。

如果前后两次采集的两个网课画面同一个画面范围对应所生成的两张图片差异程度很小，则可以不进行重复分析，而直接复用上一张图片所分析确定出的推荐内容，从而减少分析时间，加快速度和体验流畅度。优选地，如图4所示，本实施例所提供的装置还可以包括差异检测模块305。

差异检测模块305，用于若当前生成的所述图片不是所述画面范围对应生成的首张图片，则将当前生成的图片，与上一次生成的同一个画面范围对应的图片进行差异检测，得到差异程度；根据所述差异程度，确定内容类别确定单元41是否根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别；

内容类别确定单元341，具体用于若当前生成的所述图片是所述画面范围对应生成的首张图片，或者所述差异检测模块305确定根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别，则根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别。

推荐内容展示单元344，具体用于对于本次所采集的网课画面，若根据生成的图片的内容，确定生成的图片的内容类别，则根据内容类别确定网课画面对应的推荐内容，将推荐内容在网课视频播放时展示；若没有根据生成的图片的内容，确定生成的图片的内容类别，则将本次之前所采集的网课画面对应确定的推荐内容在网课视频播放时展示。

本实施例所提供的基于网课视频进行内容互动的装置，其实现原理和技术效果与方法实施例类似，在此不再赘述。

本实施例还提供一种计算机设备，示例性地，其结构可以如图5所示，包括处理器410和存储器。存储器包括非易失性存储介质420、内存储器430。该非易失性存储介质420存储有操作系统421和计算机程序422。内存储器430为非易失性存储介质420中的操作系统421和计算机程序422的运行提供环境。

处理器410用于提供计算和控制能力，计算机程序422被处理器410执行时实现实施例1或实施例2所述基于网课视频进行内容互动的方法。处理器410可以通过I/O接口440与外部设备进行通信。

其中，外部设备可以包括显示器510，显示器510可以是液晶显示屏或者电子墨水显示屏等。处理器410通过I/O接口440与显示器510连接，在实现所述内容互动的方法时，处理器410可以通过I/O接口440将所确定的推荐内容，发送至显示器510进行展示。

外部设备还可以包括播放设备520。在实现所述内容互动的方法时，播放设备520用于播放网课视频，在网课视频播放时，所采集的网课画面通过I/O接口440发送至处理器410。

显示器510可以同时用于展示播放设备520所播放的网课视频，以及计算机设备实现所述内容互动的方法时所确定的推荐内容，也可以是仅用于展示计算机设备实现所述内容互动的方法时所确定的推荐内容，网课视频由播放设备520所配置的另一显示器进行展示。

外部设备还可以包括输入装置530，输入装置530可以是显示器510上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。在实现所述内容互动的方法时，可以接收用户的输入，实现与用户的互动。

本实施例所提供的计算机设备，其实现原理和技术效果与方法实施例类似，在此不再赘述。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1或实施例2所述方法的步骤。

本实施例所提供的计算机可读存储介质，其实现原理和技术效果与方法实施例类似，在此不再赘述。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (14)

1.一种基于网课视频进行内容互动的方法，其特征在于，包括：

在网课视频播放时，采集网课画面，所述网课画面为所述网课视频播放时一个时刻下所展示的静态画面；

基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围；

根据所述画面范围，截取所述网课画面的部分区域，并将所截取的所述部分区域生成图片；

根据所述图片的内容确定所述图片的内容类别；

根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示。

2.根据权利要求1所述的一种基于网课视频进行内容互动的方法，其特征在于，基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围，包括：

基于预设的若干个视频特性与画面范围的对应关系，根据所述网课视频所属的视频特性确定对应在所述网课画面需要分析的画面范围。

3.根据权利要求2所述的一种基于网课视频进行内容互动的方法，其特征在于，所述视频特性为网课课程类型或网课画面布局。

4.根据权利要求1所述的一种基于网课视频进行内容互动的方法，其特征在于，基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围，包括：

获取用户在所述网课画面圈出的分析范围；

基于预设的范围确定规则，根据所述分析范围，在所述网课画面确定需要分析的画面范围。

5.根据权利要求4所述的一种基于网课视频进行内容互动的方法，其特征在于，基于预设的范围确定规则，根据所述分析范围，在所述网课画面确定需要分析的画面范围，包括：

基于预设的形状，在所述网课画面以形状为所述预设的形状且包括所述分析范围的最小画面作为需要分析的画面范围。

6.根据权利要求1至5任一项所述的一种基于网课视频进行内容互动的方法，其特征在于，在网课视频播放时，采集网课画面，包括：

在网课视频播放时，以固定速率多次采集网课画面，每次采集当前时刻下所展示的一个所述网课画面。

7.根据权利要求6所述的一种基于网课视频进行内容互动的方法，其特征在于，根据所述图片的内容确定所述图片的内容类别，包括：

对于一个所述网课画面，一个所述画面范围对应截取所述网课画面的部分区域生成一张图片；

若当前生成的所述图片是所述画面范围对应生成的首张图片，则根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别；

若当前生成的所述图片不是所述画面范围对应生成的首张图片，则将当前生成的所述图片，与上一次生成的同一个所述画面范围对应的所述图片进行差异检测，得到差异程度；

根据所述差异程度的大小，确定是否根据当前生成的所述图片的内容，确定当前生成的所述图片的内容类别。

8.根据权利要求7所述的一种基于网课视频进行内容互动的方法，其特征在于，根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示，包括：

对于本次所采集的所述网课画面，若根据生成的所述图片的内容，确定生成的所述图片的内容类别，则根据所述内容类别确定所述网课画面对应的推荐内容，将所述推荐内容在所述网课视频播放时展示；

若没有根据生成的所述图片的内容，确定生成的所述图片的内容类别，则将本次之前所采集的所述网课画面对应确定的所述推荐内容在所述网课视频播放时展示。

9.根据权利要求1至5、7、8任一项所述的一种基于网课视频进行内容互动的方法，其特征在于，根据所述图片的内容确定所述图片的内容类别，包括：

将所述图片输入多标签分类模型，根据所述图片的内容分别判断所述图片是否含有各个内容类别的可能性，输出所述图片是否含有各个内容类别的概率；当所述概率大于预设概率阈值时，将所述概率对应的所述内容类别作为所述图片的内容类别；

或者，将所述图片输入多分类模型，根据所述图片的内容判断所述图片分别属于各个内容类别的可能性，输出所述图片分别属于各个内容类别的概率，将所述概率最大所对应的所述内容类别作为所述图片的内容类别。

10.根据权利要求1至5、7、8任一项所述的一种基于网课视频进行内容互动的方法，其特征在于，根据所述内容类别确定推荐内容，包括：

根据所述内容类别确定推荐类别，所述推荐类别包括一个或多个元素；

从所述推荐类别选取一个或多个元素作为推荐内容。

11.根据权利要求10所述的一种基于网课视频进行内容互动的方法，其特征在于，从所述推荐类别选取一个或多个元素作为推荐内容，包括：

分别提取所述元素和所述图片的特征信息，所述特征信息包括以下一种或多种：颜色、形状；

根据所述元素和所述图片的特征信息之间的匹配度，从所述推荐类别选取一个或多个所述元素作为推荐内容。

12.一种基于网课视频进行内容互动的装置，其特征在于，包括：

画面采集模块，用于在网课视频播放时，采集网课画面，所述网课画面为所述网课视频播放时一个时刻下所展示的静态画面；

范围确定模块，用于基于预设的范围确定规则，在所述网课画面确定需要分析的画面范围；

图片生成模块，用于根据所述画面范围，截取将所述网课画面的部分区域，并将所截取的所述部分区域生成图片；

推荐展示模块，用于根据所述图片的内容确定所述图片的内容类别，根据所述内容类别确定推荐内容，将所述推荐内容在所述网课视频播放时展示。

13.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的基于网课视频进行内容互动的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的基于网课视频进行内容互动的方法。

Images