CN113920023A - 图像处理方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取待处理图像的深度数据，并根据深度数据对待处理图像进行图像分层得到预设数量的待处理图像层；针对每个待处理图像层进行数据修复，以获取各待处理图像层对应的修复图像层；基于预设数量的修复图像层生成待处理图像对应的三维场景图像。本公开通过对待处理图像进行预设数量的分层，并针对每一层分别进行数据修复，可以有效控制数据修复的执行次数，流程简单，运行速度较快；同时，可以通过单帧图像进行数据修复，避免了相关技术中需要大量数据进行大量计算的过程，进而降低了图像修复对修复设备的计算资源的要求。

Description

图像处理方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像处理方法、图像处理装置、计算机可读介质和电子设备。

背景技术

随着科学技术的进步，计算视觉在现实生活中有着越来越广泛的应用。但是，日常使用的RGB相机只能获取视野内的色彩数据和对应的深度数据，无法获取到场景中某些对象的部分色彩数据和深度信息，这种现象造成了图像上对应位置的数据缺失，严重地影响着重建的三维场景图像的质量。例如，在环境中存在遮挡时，相机无法获得被遮挡物体的部分颜色和部分深度信息，从而在导致图像数据中存在较大“孔洞”。

在相关技术中，通常采用大量的连续帧图像对图像数据中包含的空洞区域进行修复，以提高三维场景图像的质量。然而，这种方式需要大量的连续帧图像作为输入，同时需要进行相机标定等操作以计算深度等信息，操作较为复杂，对图像处理设备的计算资源也有较高的要求。

发明内容

本公开的目的在于提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备，进而至少在一定程度上简化图像数据修复流程，提高图像数据修复速度，同时也避免了对图像修复设备计算资源的限制。

根据本公开的第一方面，提供一种图像处理方法，包括：获取待处理图像的深度数据，并根据深度数据对待处理图像进行图像分层得到预设数量的待处理图像层；针对每个待处理图像层进行数据修复，以获取各待处理图像层对应的修复图像层；基于预设数量的修复图像层生成待处理图像对应的三维场景图像。

根据本公开的第二方面，提供一种图像处理装置，包括：图像分层模块，用于获取待处理图像的深度数据，并根据深度数据对待处理图像进行图像分层得到预设数量的待处理图像层；图像修复模块，用于针对每个待处理图像层进行数据修复，以获取各待处理图像层对应的修复图像层；图像生成模块，用于基于预设数量的修复图像层生成待处理图像对应的三维场景图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的图像处理方法，通过获取待处理图像的深度数据对待处理图像进行图像分层，得到预设数量的待处理图像层；然后分别对每一层待处理图像图层进行数据修复，以根据预设数量的待处理图像层对应的修复图像层生成待处理图像对应的三维场景图像。通过对待处理图像进行预设数量的分层，并针对每一层分别进行数据修复，可以有效控制数据修复的执行次数，流程简单，运行速度较快；同时，可以通过单帧图像进行数据修复，避免了相关技术中需要大量数据进行大量计算的过程，进而降低了图像修复对修复设备的计算资源的要求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种图像处理方法的流程图；

图4示意性示出本公开示例性实施例中一种获取待处理图像深度数据的示意图；

图5示意性示出本公开示例性实施例中一种降噪处理前后的对比图；

图6示意性示出本公开示例性实施例中一种保边滤波处理前后的对比图；

图7示意性示出本公开示例性实施例中一种空洞修复处理前后的对比图；

图8示意性示出本公开示例性实施例中一种边缘裁剪处理前后的对比图；

图9示意性示出本公开示例性实施例中一种对待处理图像分层得到三层待处理图像层的示意图；

图10示意性示出本公开示例性实施例中一种对待处理图像层进行数据修复处理的示意图像；

图11示意性示出本公开示例性实施例中一种水平运镜方式下的运镜路线的示意图；

图12示意性示出本公开示例性实施例中一种环形运镜方式下的运镜路线的示意图；

图13示意性示出本公开示例性实施例中图像处理装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像处理方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像处理方法可以由终端设备101、102、103中执行，相应地，图像处理装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像处理方法也可以由服务器105执行，相应的，图像处理装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103包括的用于采集图像和深度数据的摄像模组和深度传感器获取待处理图像和深度数据，然后将待处理图像和深度数据上传至服务器105，服务器105通过本公开实施例所提供的图像处理方法生成三维场景图像后，将三维场景图传输给终端设备101、102、103等。

本公开的示例性实施方式提供一种用于实现图像处理方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像处理方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。在一些实施例中，可以通过NPU单元实现数据修复、场景识别，执行分割算法等。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。在一些实施例中，可以提通过GPU实现三维场景图像的生成、三维视频的生成等过程。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。在一些实施例中，可以在移动终端中设置多个摄像模组，以采集双目图像。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291，用于同时获取待处理图像和待处理图像的深度数据。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定移动终端200的运动姿态。此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

在相关技术中，通常采用大量的连续帧图像对图像数据中包含的空洞区域进行修复，以提高三维场景图像的质量。具体的，可通过大量的连续帧图像作为输入，通过相机标定、特征点检测，特征点匹配等过程，才可以得到三维点云，以根据三维点云和纹理贴图等生成三维场景图像。然而，这种方式需要大量的连续帧图像作为输入，同时需要进行相机标定等操作以计算深度等信息，操作较为复杂，对图像处理设备的计算资源也有较高的要求。

基于上述一个或多个问题，本示例实施方式提供了一种图像处理方法。该图像处理方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该图像处理方法可以包括以下步骤S310至S330：

在步骤S310中，获取待处理图像的深度数据，并根据深度数据对待处理图像进行图像分层得到预设数量的待处理图像层。

其中，待处理图像可以包括基于双目摄像模组采集的双目图像，也可以包括基于单目摄像模组采集的单目图像；对应的，待处理图像的深度数据可以包括单目摄像模组采集的绝对深度数据，也可以包括双目摄像模组采集到的相对深度数据。例如，针对双目的手机，可以得到针对主摄像模组采集的图像的相对深度数据。

需要说明的是，在一示例性实施例中，采集待处理图像的终端设备可能没有配备采集深度数据的装置，例如手机中没有设置深度传感器。此时，参照图4所示，可以基于深度预测网络对采集的待处理图像进行深度预测，以预测待处理图像对应的深度数据；可以基于双目匹配算法等方式，基于双目图像输出针对主摄像模组采集的图像的相对深度数据。

在一示例性实施例中，在得到深度数据之后，在根据深度数据对待处理图像进行分层之前，可以先对深度数据进行预处理，然后根据处理后的深度数据对待处理图像进行分层。

在一示例性实施例中，预处理过程可以包括以下处理方式中的一种或多种的组合：非线性映射处理、降噪处理、保边滤波处理、空洞修复处理和边缘裁剪处理。

在一示例性实施例中，针对所有深度数据可以进行非线性映射，可以将获取的深度数据转换成近距离的相对深度数据，然后基于转换后的相对深度数据进行降噪。

在一示例性实施例中，非线性映射的过程可以通过如下公式(1)实现：

其中，(d_ij)_new表示映射后的深度数据；k表示预先设定的背景深度映射系数；(d_ij)_old表示映射前的深度数据；n表示深度数据的总数量。通过上述公式(1)，可以调整映射后的深度数据的景深。

在一示例性实施例中，针对所有深度数据可以进行降噪处理，在进行降噪处理时，可以通过任意的降噪方式对深度数据进行降噪。例如，可以通过平均深度判定、连通域检测、高斯滤波去噪等方法，处理深度数据的噪声，如图5所示。

在一示例性实施例中，针对深度数据中的边缘数据，可以对深度数据进行保边滤波处理。具体的，保边滤波可以对深度数据中的边缘区域执行仅对深度较大区域的中值滤波，同时保留深度较小的区域的原始深度数据，如图6所示。通过保边滤波的处理方式，可以实现局部作用，锐化边缘，以便于区分待处理图像中不同深度的对象；同时可以降低中值滤波的复杂度，保留了待处理图像中深度较浅的对象的完整边缘的深度数据。

在一示例性实施例中，在一些强曝光，弱纹理区域，深度预测网络或双目匹配算法得到的深度数据可能存在预测误差，因此可以针对待处理图像中的深度数据空洞进行空洞修复处理，以优化深度数据，如图7所示。具体的，可以使用预设的深度阈值来获取不同深度的连通域，并通过连通域的大小来筛选深度数据中明显与周围对象的深度存在相关性，但平均深度值差别较大的区域，将这些区域确定为存在预测误差的空洞区域，并通过膨胀策略在该空洞区域周围找到相关性最大的相邻深度进行深度数据的覆盖。

在一示例性实施例中，针对存在很多较小对象的待处理图像，还可以对深度数据进行边缘裁剪处理。具体的，可以通过预设的深度阈值获得不同深度的对象之间边缘图像，然后边缘图像中的每个边缘进行尺寸判断，在边缘的尺寸小于预设的尺寸阈值时，通过对该边缘所在位置的深度数据进行平滑处理，以裁剪掉该小尺寸边缘，如图8所示。通过对小尺寸边缘的裁剪处理，可以降低图像深度数据的复杂性，进而降低后续图像修复处理的复杂度。

在一示例性实施例中，在得到待处理图像的深度数据后，可以根据深度数据对待处理图像按照深度进行分层，得到预设数量的待处理图像层。在基于深度数据进行分层时，可以先基于待处理图像中各像素对应的深度数据将待处理图像中的像素划分为多个连通区域，然后基于分割算法对多个连通区域进行分类，得到多个类型的连通区域集合；之后可以根据预设规则对连通区域集合进行组合，得到预设数量的待处理图像层。

其中，采用的分割算法可以是语义分割算法、全景分割算法等可以区分场景中不同对象的分割算法；预设规则可以根据待处理图像的类型不同进行不同的设定。例如，针对包含人像的待处理图像，由于人像通常为主要区域，因此可以将预设规则设定为：将分割算法识别的属于人像区域的连通区域集合作为一层；将分割算法识别到的其它对象所在的连通区域集合进行组合作为一层；将分割算法识别到的属于背景的连通区域集合进行组合作为一层，共得到三层待处理图像层，如图9所示。

通过深度数据和语义分割算法对待处理图像进行分层，可以将待处理图像中的主要对象与其他对象区分开来，在后续针对每一待处理图像层进行数据修复时，可以避免各层之间的深度数据互相影响；同时，通过预设数量的分层，可以控制图像修复算法的执行次数，进而简化图像修复流程，提高运行速度。

在步骤S320中，针对每个待处理图像层进行数据修复，以获取各待处理图像层对应的修复图像层。

在一示例性实施例中，在得到预设数量的待处理图像层之后，可以针对每一个待处理图像层分别进行数据修复，以得到各待处理图像层对应的修复图像层。

具体的，针对每一个待处理图像层，先提取待处理图像层中的待处理边缘数据，并对待处理边缘数据进行修复，以通过待处理图像层中的已知边缘预测将待处理图像转换为三维场景图像中的未知区域的边缘数据。由于边缘数据能够良好地反映出待处理图像转换为三维场景图像时的结构数据，因此可以将修复后的修复边缘数据作为先验数据。利用上述修复边缘数据对待处理图像层中的已知深度数据预测将待处理图像转换为三维场景图像中的未知区域的深度数据，以修复待处理图像层的深度数据；同时，可以利用修复边缘数据对待处理图像层中的已知颜色数据预测将待处理图像转换为三维场景图像中的未知区域的颜色数据，以修复待处理图像层的颜色数据；之后基于修复后的修复边缘数据、修复深度数据和修复颜色数据生成完整的修复图像层。

举例而言，在一示例性实施例中，可以通过基于深度学习的图像修复网络对图像的边缘数据、深度数据和颜色数据进行数据修复。具体的，参照图10所示(图10中详细画出主要对象层的处理过程，次要对象层和背景层的处理过程未详细画出，其处理过程与主要对象层的处理过程相同)，假设待处理图像为包含人像的图像，基于预设规则分层得到三个待处理图像层，分别为主要对象层、次要对象层、背景层。针对以上三层的每一层，需要做如下处理：可以先提取该层包含的边缘数据(由于待处理图像层实际上是待处理图像的一部分，因此得到的边缘数据实际为局部边缘)，通过边缘修复模型对边缘数据进行修复，得到该层对应的修复边缘数据；然后提取该层的深度数据，并将该层的修复边缘数据和深度数据共同输入深度修复模型，对该层的深度数据进行数据修复；同时可以提取该层的颜色数据，并将该层的修复边缘数据和颜色数据共同输入颜色修复模型，对该层的颜色数据进行数据修复，例如，针对主要对象层进行颜色修复时，可以基于修复边缘数据和颜色数据对主要对象层中，已知图像的缺失部分(如图10中的修补区域)进行修复；之后通过得到的修复边缘数据、修复深度数据、修复颜色数据共同生成修复图像层。

在步骤S330中，基于预设数量的修复图像层生成待处理图像对应的三维场景图像。

在一示例性实施例中，在得到预设数量的待处理图像层对应的预设数量的修复图像层后，可以将每一层的修复图像层的数据整合，通过GPU等图像渲染设备对整合后的修复图像层的数据进行渲染，得到待处理图像对应的三维场景图像。

此外，在一示例性实施例中，在得到三维场景图像后，还可以根据三维场景图像生成三维视频。具体的，可以先对三维场景图像进行场景识别，以确定三维场景图像对应的场景类型，然后根据不同的场景类型确定三维场景对应的运镜路线，并基于运镜路线和三维场景图像生成对应的三维视频。

在一示例性实施例中，可以利用分割算法识别三维场景图像中包含对象的类别，然后依据分割结果中对象的类别进行场景划分，得到场景类型；然后根据预先定义的场景类型与运镜路线之间的对应的关系，确定三维场景对应的运镜路线，之后基于运镜路线和三维场景图像生成对应的三维视频。

其中，采用的分割算法可以是语义分割算法、全景分割算法等可以区分场景中不同对象的分割算法。

举例而言，当明显只在室内场景下出现的对象(如沙发，电视，餐桌等)出现时，可以确定三维场景图像的场景类型为室内场景。当明显只在室外场景下出现的对象(如飞机，自行车，船等)出现时，可以确定三维场景图像的场景类型为室外场景。当部分对象(如盆栽，猫，人)等出现在场景中且无上述明显的室内和室外对象时，可以确定三维场景图像的场景类型为不确定场景。其中，对于室内场景，由于细节深度相对清晰，因此可以以水平运镜的运镜方式在三维场景图像中确定运镜路线(如图11所示)；对于室外场景，可以以推轨变焦(实现前景不动，背景fov变大的效果)的运镜方式在三维场景图像中确定运镜路线，以减少因深度图像不准确导致前景边界断裂等问题；对于不确定性场景，可以基于场景中包含不同种类对象的数量来设置相应运镜，例如当盆栽这种对象很多的时候，可以采用环形运镜的方式在三维场景图像中确定运镜路线(如图12所示)。

需要说明的是，在确定了运镜方式后，可以根据运镜方式的不同在三维场景中选择不同的运镜路线起点。例如，针对水平运镜，可以提前设置好起点坐标；再如针对环形运镜，可以提前设置好环形的中心、半径和起始方向等，本公开对此不做特殊限定。

在一示例性实施例中，在确定了运镜路线之后，可以先根据三维场景图像建立三维场景，即通过三维场景图像中包含的深度数据将已经修复的场景转化为三角网格，然后利用每个三角形的三个顶点的颜色数据确定面颜色，完成三维场景的建立；之后在三维场景中获取运镜路线上每个路线点对应的视角图像，然后基于每个路线点在运镜路线上的顺序将对应的视角图像连接在一起，生成视频输出。

综上，本示例性实施方式中，一方面，在可以基于图像生成三维视频，极大增加了相机拍照的趣味性与可玩性的前提下，所需要的采集的数据量较少，且容易采集；另一方面，通过深度预测网络和双目匹配算法等方式，还可以将历史拍摄的不包含深度数据的图像转换为三维视频；再一方面，通过深度降噪处理方案，降低了图像深度的复杂性，并提升了不同目标的区分度，进而可以有效控制数据修复的执行次数；此外，通过分割技术进行场景的分类，并利用自适应运镜方法确定运镜路线的方式，降低了三维场景的复杂度，提升了生成三维视频的视觉效果。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图13所示，本示例的实施方式中还提供一种图像处理装置1300，包括图像分层模块1310、图像修复模块1320和图像生成模块1330。其中：

图像分层模块1310可以用于获取待处理图像的深度数据，并根据深度数据对待处理图像进行图像分层得到预设数量的待处理图像层。

图像修复模块1320可以用于针对每个待处理图像层进行数据修复，以获取各待处理图像层对应的修复图像层。

图像生成模块1330可以用于基于预设数量的修复图像层生成待处理图像对应的三维场景图像。

在一示例性实施例中，图像处理装置还可以包括视频生成模块，可以用于对三维场景图像进行场景识别，以确定三维场景图像对应的场景类型；根据场景类型确定三维场景图像对应的运镜路线；基于运镜路线和三维场景图像生成对应的三维视频。

在一示例性实施例中，视频生成模块还可以用于根据三维场景图像建立三维场景，并在三维场景中获取运镜路线上各路线点对应的视角图像；基于各路线点在运镜路线上的顺序连接各视角图像生成三维视频。

在一示例性实施例中，图像分层模块1310可以用于对深度数据进行预处理，以根据处理后的深度数据对待处理图像进行图像分层得到预设数量的待处理图像层。

在一示例性实施例中，预处理包括以下处理方式中的至少一种：非线性映射处理、降噪处理、保边滤波处理、空洞修复处理和边缘裁剪处理。

在一示例性实施例中，图像分层模块1310可以用于基于待处理图像中各像素对应的深度数据将待处理图像中的像素划分为多个连通区域；基于分割算法对多个连通区域进行分类，得到多个类型的连通区域集合；根据预设规则对连通区域集合进行组合，得到预设数量的待处理图像层。

在一示例性实施例中，图像修复模块1320可以用于提取待处理图像层中的待处理边缘数据，对待处理边缘数据进行边缘修复，得到修复后的修复边缘数据；基于修复边缘数据对待处理图像层的深度数据进行数据修复，得到修复后的修复深度数据；基于修复边缘数据对待处理图像层的颜色数据进行颜色修复，得到修复后的修复颜色数据；基于修复边缘数据，修复深度数据和修复颜色数据生成修复图像层。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像的深度数据，并根据所述深度数据对所述待处理图像进行图像分层得到预设数量的待处理图像层；

针对每个所述待处理图像层进行数据修复，以获取各所述待处理图像层对应的修复图像层；

基于所述预设数量的修复图像层生成所述待处理图像对应的三维场景图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述三维场景图像进行场景识别，以确定所述三维场景图像对应的场景类型；

根据所述场景类型确定所述三维场景图像对应的运镜路线；

基于所述运镜路线和所述三维场景图像生成对应的三维视频。

3.根据权利要求2所述的方法，其特征在于，所述基于所述运镜路线和所述三维场景图像生成对应的三维视频，包括：

根据所述三维场景图像建立三维场景，并在所述三维场景中获取所述运镜路线上各路线点对应的视角图像；

基于各所述路线点在所述运镜路线上的顺序连接各所述视角图像生成三维视频。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述深度数据对所述待处理图像进行图像分层得到预设数量的待处理图像层之前，所述方法还包括：

对所述深度数据进行预处理，以根据处理后的所述深度数据对所述待处理图像进行图像分层得到预设数量的待处理图像层。

5.根据权利要求4所述的方法，其特征在于，所述预处理包括以下处理方式中的至少一种：

非线性映射处理、降噪处理、保边滤波处理、空洞修复处理和边缘裁剪处理。

6.根据权利要求1所述的方法，其特征在于，所述根据所述深度数据对所述待处理图像进行图像分层得到预设数量的待处理图像层，包括：

基于待处理图像中各像素对应的深度数据将所述待处理图像中的像素划分为多个连通区域；

基于分割算法对所述多个连通区域进行分类，得到多个类型的连通区域集合；

根据预设规则对所述连通区域集合进行组合，得到预设数量的待处理图像层。

7.根据权利要求1所述的方法，其特征在于，所述针对每个所述待处理图像层进行数据修复，包括：

提取所述待处理图像层中的待处理边缘数据，对所述待处理边缘数据进行边缘修复，得到修复后的修复边缘数据；

基于所述修复边缘数据对所述待处理图像层的深度数据进行数据修复，得到修复后的修复深度数据；

基于所述修复边缘数据对所述待处理图像层的颜色数据进行颜色修复，得到修复后的修复颜色数据；

基于所述修复边缘数据，所述修复深度数据和所述修复颜色数据生成所述修复图像层。

8.一种图像处理装置，其特征在于，包括：

图像分层模块，用于获取待处理图像的深度数据，并根据所述深度数据对所述待处理图像进行图像分层得到预设数量的待处理图像层；

图像修复模块，用于针对每个所述待处理图像层进行数据修复，以获取各所述待处理图像层对应的修复图像层；

图像生成模块，用于基于所述预设数量的修复图像层生成所述待处理图像对应的三维场景图像。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的方法。

Images