CN105844256B - 一种全景视频帧图像处理方法和装置 - Google Patents

Abstract

本申请实施例提供了一种全景视频帧图像处理方法，包括：获取多个全景视频帧图像；确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含的目标物体的图像；按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；从第一目标图像中截取出目标物体的轮廓图像；将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域。在本申请实施例中，由单个全景摄像机采集教室的全景视频帧图像，并从全景视频帧图像中自动识别出目标物体的图像，无需采用多个摄像头来采集教室中特定区域的图像，减少了硬件成本。

Description

一种全景视频帧图像处理方法和装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种全景视频帧图像处理方法和一种全景视频帧图像处理装置。

背景技术

随着技术的进步，教学视频辅助系统被越来越广泛地应用于现代教学中。目前，教学视频辅助系统主要通过，在教室内安装多个摄像头来采集教师所在的区域、学生所在的区域的图像。每个摄像头都设置固定的摄像区域，通过将各个摄像头采集的图像进行布局合成，得到教学视频图像。图像合成时，需要由用户设定目标人物图像的布局位置、布局大小；进一步的，合成时，教室中一些特定物体的图像需要由用户自行上传到合成系统。

现有的教学视频辅助系统主要缺点包括：需要采用多个摄像头来采集图像，成本较高；每个摄像头只能获取固定区域的图像，拍摄灵活性低，拍摄效果死板；当需要设置多个布局时，用户操作量较大。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种全景视频帧图像处理方法和相应的一种全景视频帧图像处理装置。

为了解决上述问题，本申请实施例公开了一种全景视频帧图像处理方法，包括：

获取多个全景视频帧图像；

确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

从第一目标图像中截取出目标物体的轮廓图像；

将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域。

优选的，所述确定各个全景视频帧图像中的一个或多个包含的目标物体的第一目标图像的步骤包括：

确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

获取各个第二目标图像的尺寸；

计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

优选的，所述目标物体包括：人体图像；

所述确定各个全景视频帧图像中的一个或多个包含目标物体的第二目标图像的步骤包括：

检测全景视频帧图像中的人体图像；

将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

优选的，所述全景视频帧图像中至少包括两个相同的二维码；所述目标物体包括：各个相同的二维码；

所述确定各个全景视频帧图像中的一个或多个包含目标物体的第二目标图像的步骤包括：

识别全景视频帧图像中的各个二维码；

提取全景视频帧图像中的各个二维码的各个顶角坐标；

确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像；

优选的，所述获取所述各个第二目标图像的尺寸的步骤包括：

采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

优选的，所述按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域的步骤包括：

按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

分别计算第一目标图像中各个像素点的R、G、B值的平均值；

分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

优选的，所述将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域的步骤包括：

按对应的预设比例，调整目标物体的轮廓图像的尺寸；

调整目标物体的轮廓图像的透明度；

对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

优选的，还包括：

获取用户输入的目标坐标以及目标图像尺寸；

依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。

同时，本申请还公开了一种全景视频帧图像处理装置，包括：

全景图像获取模块，用于获取多个全景视频帧图像；

第一目标图像确定模块，用于确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

目标区域确定模块，用于按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

轮廓图像截取模块，用于从第一目标图像中截取出目标物体的轮廓图像；

叠加模块，用于将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域。

优选的，所述第一目标图像确定模块进一步包括：

第二目标图像确定子模块，用于确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

尺寸获取子模块，用于获取各个第二目标图像的尺寸；

尺寸平均值计算子模块，用于计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

第一尺寸调整子模块，用于按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

第一目标图像生成子模块，用于按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

优选的，所述目标物体包括：人体图像；

所述第二目标图像确定子模块进一步包括：

人体图像检测子模块，用于检测全景视频帧图像中的人体图像；

目标人体图像生成子模块，用于将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

优选的，所述全景视频帧图像中至少包括两个相同的二维码；所述目标物体包括：各个相同的二维码；

所述第二目标图像确定子模块进一步包括：

二维码子模块，用于识别全景视频帧图像中的各个二维码；

顶角坐标提取子模块，用于提取全景视频帧图像中的各个二维码的各个顶角坐标；

特定坐标确定子模块，用于确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

目标二维码图像生成子模块，用于将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像；

优选的，所述尺寸获取子模块进一步包括：

图像尺寸计算子模块，用于采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

优选的，所述目标区域确定模块进一步包括：

目标尺寸计算子模块，用于按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

第一颜色平均值计算子模块，用于分别计算第一目标图像中各个像素点的R、G、B值的平均值；

第二颜色平均值计算子模块，用于分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

目标区域选取子模块，用于将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

优选的，所述叠加模块进一步包括：

第二尺寸调整子模块，用于按对应的预设比例，调整目标物体的轮廓图像的尺寸；

透明度调整子模块，用于调整目标物体的轮廓图像的透明度；

模糊处理子模块，用于对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

轮廓区域叠加子模块，用于将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

优选的，还包括：

用户输入获取模块，用于获取用户输入的目标坐标以及目标图像尺寸；

用户输入图像确定模块，用于依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。

本申请实施例包括以下优点：

在本申请实施例中，由单个全景摄像机采集教室的全景视频帧图像，并从全景视频帧图像中自动识别出目标物体的图像，无需采用多个摄像头来采集教室中特定区域的图像，减少了硬件成本；也无需用户对各个摄像头的设定区域进行设置，减少了用户操作量。目标物体图像的布局位置和布局大小，由合成系统根据预设规则进行设定，无需用户进行设定，也进一步减少了用户操作量。

附图说明

图1是本申请的一种全景视频帧图像处理方法实施例的步骤流程图；

图2是本申请实施例中的一种采用电子云台拍摄教学辅助视频的示意图；

图3是本申请的一种全景视频帧图像处理装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请实施例的核心构思之一在于，通过全景摄像机采集教室中的全景视频帧图像，自动获取全景视频帧图像中包括目标物体的第一目标图像，然后按预设的规则，在全景视频帧图像中选取第一目标图像需要布局的位置和布局大小。

参照图1，示出了本申请的一种全景视频帧图像处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，获取多个全景视频帧图像；

具体的，在录制教学视频时，可以通过在教室中安装全景摄像机，由全景摄像机采集教室的全景视频帧图像。

步骤102，确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

在各个全景视频帧图像中，第一目标物体具体如，教师、学生、讲台、教学道具等需要在教学视频中着重展现的人或物。

可以通过图像识别算法，识别全景视频帧图像中的目标物体，然后获取包含目标物体的矩形图像作为第一目标图像。

步骤103，按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

为了着重展现目标物体，可以对包含目标物体的第一目标图像的尺寸进行调整，然后将调整后的图像，重新布局到全景视频帧图像中。

目标区域，就是需要将第一目标图像重新布局的位置。

目标区域的大小，根据第一目标图像的尺寸以及预设比例系数来确定，预设比例系数可以大于1，即将第一目标图像的尺寸放大；预设比例系数也可以小于1，即将第一目标图像的尺寸缩小。

步骤104，采用第一目标图像，以及对应的预设比例，生成对应的目标物体的轮廓图像；

具体的，可以从第一目标图像按预设比例调整之后的图像中，截取出目标物体的轮廓的图像，也可以从第一目标图像中截取出目标物体的轮廓图像后，按预设比例调整尺寸。

步骤105，将目标物体的轮廓图像叠加到对应的全景视频帧图像中的对应的目标区域。

将目标物体的轮廓图像叠加到对应的全景视频帧图像中的对应的目标区域，得到重新布局的全景视频帧图像。其中，目标物体的轮廓图像的尺寸与目标区域的尺寸，都通过对应的第一目标图像的尺寸和对应的预设比例计算生成。

在本申请实施例中，通过全景摄像机采集教室中的全景视频帧图像，自动获取全景视频帧图像中包括目标物体的第一目标图像，然后按预设的规则，在全景视频帧图像中选取第一目标图像需要布局的位置和布局大小，最后从第一目标图像中，截取出满足布局大小的目标物体的轮廓图像，并将目标物体的轮廓图像叠加到对应的目标区域。

在本申请实施例中，由单个全景摄像机采集教室的全景视频帧图像，并从全景视频帧图像中自动识别出目标物体的图像，无需采用多个摄像头来采集教室中特定区域的图像，减少了硬件成本；也无需用户对各个摄像头的设定区域进行设置，减少了用户操作量。目标物体图像的布局位置和布局大小，由合成系统根据预设规则进行设定，无需用户进行设定，也进一步减少了用户操作量。

在实际中，教师、学生、教学道具等在教室中都是会移动的。全景摄像机对人物的拍摄角度，将随人物的移动发生变化，因此移动的人物的图像在全景视频帧图像中的尺寸也发生会变化，在布局时，对移动的人物的布局大小也会发生改变。当移动的人物的图像在全景视频帧图像中的尺寸，瞬间增大过多或瞬间缩小过多，将会影响布局后的全景视频帧图像的视觉效果。

为消除移动的人物的图像，由于尺寸突变，影响视觉效果的问题。在本申请实施例中，采用多个视频帧图像中的包含移动人物的图像，按图像尺寸的平均值，来调整这多个视频帧图像中的包含移动人物的图像的尺寸，然后采用尺寸调整后的移动人物的图像进行布局。采用平均值来调整连续的视频帧中的图像的尺寸的方法，可以相对减少连续的视频帧中的图像的尺寸的变化值，不会出现由于尺寸突变，影响视觉效果的问题。

作为本申请实施例的一个优选示例，所述步骤102具体可以进一步包括如下子步骤：

子步骤S11，确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

在本申请实施例中，第二目标图像可以是全景视频帧图像中，完整包含目标物体的面积最小的矩形图像。

当目标物体移动时，对应的第二目标图像的尺寸将会发生变化，当尺寸突然变大或突然变小时，将影响布局后的全景视频帧图像的视觉效果。

子步骤S12，获取各个第二目标图像的尺寸；

获取各个全景视频帧中的第二目标图像的尺寸。

子步骤S13，计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

计算各个全景视频帧图像中的，与同一目标物体对应的各个第二目标图像的尺寸的平均值。

子步骤S14，按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

以在各个全景视频帧图像中的，包含同一目标物体的第二目标图像的尺寸的平均值，以及全景视频帧图像的顺序，确定各个目标第二目标图像需要调整的尺寸。

例如，获取连续10帧全景视频帧图像中的第二目标图像的尺寸，包括：(w1，h1)，(w2，h2)……(w10，h10)。其中w为长度，h为宽度。

计算这10帧全景视频帧图像中的第二目标图像尺寸的平均值。

平均长度Wa＝(w1+w2+…….+w10)/10；

平均宽度Ha＝(h1+h2+……+h10)/10；

设这第10帧全景视频帧图像中的第二目标图像的目标调整尺寸分别为(Wo1，Ho1)，(Wo2，Ho2)……(Wo10，Ho10)；

将平均值尺寸作为第1帧全景视频帧图像中的第二目标图像的目标调整尺寸；即Wo1＝Wa，Ho1＝Ha。

对于第1帧之后的第二目标图像，其目标调整尺寸可以为顺序在前的目标调整尺寸与平均尺寸的平均值。

Wo2＝(Wo1+Wa)/2，Ho2＝(Ho1+Ha)/2；

Wo3＝(Wo2+Wa)/2，Ho3＝(Ho2+Ha)/2；

……

Wo10＝(Wo9+Wa)/2，Ho10＝(Ho9+Ha)/2。

子步骤S15，按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

按各个目标调整尺寸调整对应的第二目标图像，得到各个全景视频帧图像中，包含目标物体的第一目标图像。按顺序和平均值计算调整尺寸的方法，可以使得，布局后的全景视频帧中，目标图像的尺寸只会渐缓的改变，不会出现突然变得很大，突然变得很小的情况。

在确定全景视频帧图像中的第二目标图像，主要通过识别全景视频帧图像中的目标物体来确定，对于教师、学生等人体图像，可以通过人物识别的方法来确定。作为本申请实施例的一种优选示例，所述子步骤S11具体可以进一步包括如下子步骤：

子步骤SS110，检测全景视频帧图像中的人体图像；

具体的，可以采用帧间差分法检测出全景视频帧图像中的运动目标；然后再对全景视频帧图像，采用人脸识别的方法，识别运动目标是否为人体。

当然，实际中还可以采用其它的方法来检测全景视频帧图像中的人体图像。

子步骤SS111，将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

将全景视频帧图像中完整包含人体图像的面积最小的矩形区域的图像，作为第二目标图像。

除了教师、学生等人体图像外，目标物体还可以是教室中一些教学道具，例如讲台、实验仪器等。要识别全景视频帧图像中的这些教学道具时，可以通过在教学道具上设置二维码，通过识别二维码来识别景视频帧图像中的这些教学道具。作为本申请实施例的一种优选示例，所述子步骤S11具体可以进一步包括如下子步骤：

子步骤SS120，识别全景视频帧图像中的各个二维码；

具体的，预先在各个教学道具上设置有至少两个的相同二维码。例如，在讲台的左下角、右上角处粘贴印有相同二维码的贴纸。

对于一些不规则的教学道具，可以设置多个二维码以更好的确定目标物体的边界。

子步骤SS121，提取全景视频帧图像中的各个二维码的各个顶角坐标；

在识别了全景视频帧图像中的各个二维码图像后，可以确定二维码图像的各个顶角在全景视频帧图像的坐标位置。

子步骤SS122，确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

在本申请实施例中，对不同的目标物体，设置不同的二维码。二维码图像具体可以由目标物体的名称来生成，在识别了二维码后，就可以确定二维码对应的目标物体的名称。

确定全景视频帧中，各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标。

子步骤SS123，将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像；

由各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，所确定的矩形区域的图像就是包含目标物体的面积最小的矩形区域的图像。

作为本申请实施例的一种优选示例，所述子步骤S12具体可以进一步包括如下子步骤：

子步骤SS130，采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

第二目标图像的长度可以为最大横坐标与最小横坐标的差值，第二目标图像的宽度度可以为最大纵坐标与最小纵坐标的差值。

在现有技术中，在对目标物体的布局时，采用由用户设定布局的方式进行布局，当需要设置多个布局时，用户操作量将变得很大。

在本申请实施例中，在选取目标物体需要布局的位置和布局的大小时，按一定的规则自动进行布局。作为本申请实施例的一种优选示例，所述步骤103具体可以包括如下子步骤：

子步骤S21，按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

具体的，针对不同的目标物体，可以设置的不同比例系数，例如，目标物体为教师时，比例系数设置为2，即包含教师的第一目标图像需要布局的大小，为原来尺寸的放大两倍。

子步骤S22，分别计算第一目标图像中各个像素点的R、G、B值的平均值；

根据第一目标图像中各个像素点的RPG值，计算各个像素点的R值的平均值，G值的平均值，B值的平均值。

子步骤S23，分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

在第一目标图像所在的全景视频帧图像中，计算各个满足目标尺寸的区域中的像素点的R值的平均值，G值的平均值，B值的平均值；

子步骤S24，将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

将全景视频帧图像中的满足目标尺寸的区域中的像素点的R、G、B值的平均值分别与第一目标图像中各个像素点的R、G、B值的平均值进行比较，将差值都小于预设容差值的一个区域，确定为对第一目标图像进行布局的目标区域。

在当前容差值时，假如存在多个满足条件的区域，则可以按从左至右，从上至下等顺序来选择其中一个区域作为目标区域。

在当前容差值时，假如不存在满足条件的区域，则增大容差值，选择满足增大后的容差值的一个区域作为目标区域。

在确定对第一目标图像对应的目标区域后，需要将第一目标图像中的目标物体的轮廓图像按比例叠加到目标区域中。作为本申请实施例的一种优选示例，所述步骤105具体可以包括如下子步骤：

子步骤S31，按对应的预设比例，调整目标物体的轮廓图像的尺寸；

目标物体的轮廓图像所对应的预设比例，即目标物体的轮廓图像所在的第一目标图像，与目标区域之间的预设比例。

将目标物体的轮廓图像的尺寸调整至所设的布局大小，然后叠加到设定布局大小、布局位置的目标区域。

子步骤S32，调整目标物体的轮廓图像的透明度；

可以按设定的透明度系数，调整目标物体的轮廓图像的透明度。

子步骤S33，对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

对目标区域进行模糊处理。

子步骤S34，将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

调整目标物体的轮廓图像的透明度，和对目标区域进行模糊处理，可以使得，目标物体的轮廓图像叠加到目标区域后的图像看上去更加柔和，舒适。

在本申请中，第一目标图像除了自动识别的人体图像或由二维码确定的图像外，还可以是用户指定的图像区域。作为本申请实施例的一种优选示例，所述的方法还可以包括如下步骤：

获取用户输入的目标坐标以及目标图像尺寸；

依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。

以一个目标坐标，和一个目标尺寸就可以确定全景视频帧图像中的一个区域的图像。例如，以该坐标作为左顶角，将左顶角右下方的区域中，满足目标图像尺寸的区域的图像作为第一目标图像。

参照图2，示出了本申请实施例中的一种采用电子云台拍摄教学辅助视频的示意图。在原始的全景视频帧中，包括教师、讲台、实验台、实验仪器、学生桌。其中，教师、学生桌、实验台、实验仪器是需要在教学辅助视频中着重展现的。

首先识别，全景视频帧图像中的教师图像、学生桌图像、实验台图像、实验仪器图像。然后，为每个图像设置所需的布局位置和布局大小。按照相应的布局位置和布局大小，将教师图像、学生桌图像、实验台图像、实验仪器图像重新叠加到全景视频帧图像中。

为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：

在教室中安装带有全景摄像机的电子云台，由全景摄像机采集教室中的全景图像。全景摄像机将采集的全景视频帧数据封装成流媒体数据，然后发送到终端。

终端包括流媒体接收解码模块。流媒体接收解码模块接收流媒体数据，并进行解码，得到原始的全景视频帧数据。然后终端将原始的全景视频帧数据发送到服务器。

服务器包括：图像获取模块、物体识别模块、人体识别模块、电子云台模块、布局模块、叠加拼合模块。

图像获取模块，用于获取各个全景视频帧图像。

物体识别模块，用于识别全景视频帧中的物体，例如，实验仪器。人体识别模块用于识别全景视频帧中的人体，例如，教师。

电子云台模块，用于获取包含识别到的目标物体或目标人体的第二目标图像的坐标和尺寸，并采用多个与同一目标物体对应的第二目标图像的品均值，来调整第一目标图像的尺寸，得到第一目标。电子云台模块将目标物体的信息、第二目标图像的坐标、尺寸，以及对应的视频帧编号、第一目标图像的尺寸，以及对应的视频帧编号存储到预置的电子云台数据库的列表中。

布局模块，用于从电子云台数据库列表中提取第一目标图像的尺寸，依据目标物体的类型(人或物)来设置的比例系数；采用第一目标图像的尺寸和对应的比例系数计算目标尺寸；在全景视频帧图像中确定一个与第一目标图像对应目标区域，该目标区域，满足目标尺寸，并且该区域内的像素点的R、G、B值的平均值，与第一目标图像的各个像素点的R、G、B值的平均值的差值都小于预设容差值。布局模块还为第一目标图像的设置一个透明度系数。布局模块，将目标区域的尺寸、目标区域的位置、第一目标图像的编号、透明度，存储到预置的布局数据库的列表中。

叠加拼合模块，用于遍历布局数据库，逐个提取第一目标图像对应的目标区域的尺寸、目标区域的位置、透明度系数。叠加拼合模块将第一目标图像拉伸至目标区域的尺寸，然后从拉伸的图像中截取出目标物体的轮廓图像，并按对应的透明度系数，调整目标物体的轮廓图像的透明度。对目标区域进行模糊处理，然后将调整透明度之后的目标物体的轮廓图像叠加到经模糊处理的目标区域上。

然后服务器将叠加后的视频帧图像，发送至终端，终端中的编码存储渲染模块。编码存储渲染模块对叠加后的视频帧图像进行数据流拷贝、渲染、编码、封装等处理，最后得到教学辅助视频。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图3，示出了本申请的一种全景视频帧图像处理装置实施例的结构框图，具体可以包括如下模块：

全景图像获取模块31，用于获取多个全景视频帧图像；

第一目标图像确定模块32，用于确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

目标区域确定模块33，用于按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

轮廓图像截取模块34，用于从第一目标图像中截取出目标物体的轮廓图像；

叠加模块35，用于将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域。

作为本申请实施例的一种优选示例，所述第一目标图像确定模块进一步包括：

第二目标图像确定子模块，用于确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

尺寸获取子模块，用于获取各个第二目标图像的尺寸；

尺寸平均值计算子模块，用于计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

第一尺寸调整子模块，用于按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

第一目标图像生成子模块，用于按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

作为本申请实施例的一种优选示例，所述目标物体包括：人体图像；

所述第二目标图像确定子模块进一步包括：

人体图像检测子模块，用于检测全景视频帧图像中的人体图像；

目标人体图像生成子模块，用于将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

作为本申请实施例的一种优选示例，所述全景视频帧图像中至少包括两个相同的二维码；所述目标物体包括：各个相同的二维码；

所述第二目标图像确定子模块进一步包括：

二维码子模块，用于识别全景视频帧图像中的各个二维码；

顶角坐标提取子模块，用于提取全景视频帧图像中的各个二维码的各个顶角坐标；

特定坐标确定子模块，用于确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

目标二维码图像生成子模块，用于将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像；

作为本申请实施例的一种优选示例，所述尺寸获取子模块进一步包括：

图像尺寸计算子模块，用于采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

作为本申请实施例的一种优选示例，所述目标区域确定模块进一步包括：

目标尺寸计算子模块，用于按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

第一颜色平均值计算子模块，用于分别计算第一目标图像中各个像素点的R、G、B值的平均值；

第二颜色平均值计算子模块，用于分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

目标区域选取子模块，用于将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

作为本申请实施例的一种优选示例，所述叠加模块进一步包括：

第二尺寸调整子模块，用于按对应的预设比例，调整目标物体的轮廓图像的尺寸；

透明度调整子模块，用于调整目标物体的轮廓图像的透明度；

模糊处理子模块，用于对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

轮廓区域叠加子模块，用于将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

作为本申请实施例的一种优选示例，还包括：

用户输入获取模块，用于获取用户输入的目标坐标以及目标图像尺寸；

用户输入图像确定模块，用于依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种全景视频帧图像处理方法和一种全景视频帧图像处理装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种全景视频帧图像处理方法，其特征在于，包括：

获取多个全景视频帧图像；

确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

从第一目标图像中截取出目标物体的轮廓图像；

将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域；

所述确定各个全景视频帧图像中的一个或多个包含的目标物体的第一目标图像的步骤包括：

确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

获取各个第二目标图像的尺寸；

计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

2.根据权利要求1所述的方法，其特征在于，所述目标物体包括：人体图像；

所述确定各个全景视频帧图像中的一个或多个包含目标物体的第二目标图像的步骤包括：

检测全景视频帧图像中的人体图像；

将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

3.根据权利要求1所述的方法，其特征在于，所述全景视频帧图像中至少包括两个相同的二维码；所述目标物体包括：各个相同的二维码；

所述确定各个全景视频帧图像中的一个或多个包含目标物体的第二目标图像的步骤包括：

识别全景视频帧图像中的各个二维码；

提取全景视频帧图像中的各个二维码的各个顶角坐标；

确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像。

4.根据权利要求3所述的方法，其特征在于，所述获取所述各个第二目标图像的尺寸的步骤包括：

采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

5.根据权利要求1所述的方法，其特征在于，所述按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域的步骤包括：

按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

分别计算第一目标图像中各个像素点的R、G、B值的平均值；

分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

6.根据权利要求1或2或3或4或5所述的方法，其特征在于，所述将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域的步骤包括：

按对应的预设比例，调整目标物体的轮廓图像的尺寸；

调整目标物体的轮廓图像的透明度；

对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

7.根据权利要求1或2或3或4或5所述的方法，其特征在于，还包括：

获取用户输入的目标坐标以及目标图像尺寸；

依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。

8.一种全景视频帧图像处理装置，其特征在于，包括：

全景图像获取模块，用于获取多个全景视频帧图像；

第一目标图像确定模块，用于确定各个全景视频帧图像中的一个或多个第一目标图像，所述第一目标图像为包含目标物体的图像；

目标区域确定模块，用于按预设的规则，从全景视频帧图像中选取出与第一目标图像对应的目标区域，所述目标区域的尺寸与对应的第一目标图像的尺寸成预设比例；

轮廓图像截取模块，用于从第一目标图像中截取出目标物体的轮廓图像；

叠加模块，用于将目标物体的轮廓图像按对应的预设比例，叠加到对应的全景视频帧图像中的对应的目标区域。

所述第一目标图像确定模块进一步包括：

第二目标图像确定子模块，用于确定所述各个全景视频帧图像中的一个或多个包含第二目标图像，所述第二目标图像为包含目标物体的图像；

尺寸获取子模块，用于获取各个第二目标图像的尺寸；

尺寸平均值计算子模块，用于计算与同一目标物体对应的各个第二目标图像的尺寸的平均值；

第一尺寸调整子模块，用于按照各个全景视频帧图像的顺序，以及，与同一目标物体对应的各个第二目标图像的尺寸的平均值，计算与所述同一目标物体对应的各个第二目标图像的目标调整尺寸；

第一目标图像生成子模块，用于按所述目标调整尺寸调整对应的第二目标图像，得到第一目标图像。

9.根据权利要求8所述的装置，其特征在于，所述目标物体包括：人体图像；

所述第二目标图像确定子模块进一步包括：

人体图像检测子模块，用于检测全景视频帧图像中的人体图像；

目标人体图像生成子模块，用于将全景视频帧图像中完整包含所述人体图像的面积最小的矩形区域的图像，作为第二目标图像。

10.根据权利要求8所述的装置，其特征在于，所述全景视频帧图像中至少包括两个相同的二维码；所述目标物体包括：各个相同的二维码；

所述第二目标图像确定子模块进一步包括：

二维码子模块，用于识别全景视频帧图像中的各个二维码；

顶角坐标提取子模块，用于提取全景视频帧图像中的各个二维码的各个顶角坐标；

特定坐标确定子模块，用于确定各个相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标；

目标二维码图像生成子模块，用于将由所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标所确定的矩形区域的图像，作为第二目标图像。

11.根据权利要求10所述的装置，其特征在于，所述尺寸获取子模块进一步包括：

图像尺寸计算子模块，用于采用所述相同的二维码的顶角坐标中的最大横坐标、最大纵坐标、最小横坐标，以及，最小纵坐标，计算对应的第二目标图像的尺寸。

12.根据权利要求8所述的装置，其特征在于，所述目标区域确定模块进一步包括：

目标尺寸计算子模块，用于按照第一目标图像的尺寸以及预设比例系数，计算目标尺寸；

第一颜色平均值计算子模块，用于分别计算第一目标图像中各个像素点的R、G、B值的平均值；

第二颜色平均值计算子模块，用于分别计算第一目标图像对应的全景视频帧图像中的，满足所述目标尺寸的区域中的像素点的R、G、B值的平均值；

目标区域选取子模块，用于将满足所述目标尺寸的区域中的像素点的R、G、B值的平均值，与所述第一目标图像中各个像素点的R、G、B值的平均值之间的差值，都小于预设容差值的一个区域，确定为目标区域。

13.根据权利要求9或10或11或12所述的装置，其特征在于，所述叠加模块进一步包括：

第二尺寸调整子模块，用于按对应的预设比例，调整目标物体的轮廓图像的尺寸；

透明度调整子模块，用于调整目标物体的轮廓图像的透明度；

模糊处理子模块，用于对与目标物体的轮廓图像对应的全景视频帧图像中的对应的目标区域，进行模糊处理；

轮廓区域叠加子模块，用于将调整透明度和尺寸之后的目标物体的轮廓图像叠加到，对应的全景视频帧图像中经过模糊处理的对应的目标区域。

14.根据权利要求9或10或11或12所述的装置，其特征在于，还包括：

用户输入获取模块，用于获取用户输入的目标坐标以及目标图像尺寸；

用户输入图像确定模块，用于依据所述目标坐标以及目标图像尺寸，确定各个全景视频帧图像中的第一目标图像。