CN107393017A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法、装置、电子设备以及存储介质，涉及计算机图形学技术领域。该方法包括：基于目标场景的图像与深度信息得到该目标场景的三维结构数据，并基于三维结构数据建立该目标场景的第一模型；将该目标场景的图像作为纹理结合第一模型生成该目标场景的具有纹理信息的第二模型；根据第二模型向该目标场景中叠加虚拟对象；以及在所述虚拟对象与该目标场景发生交互时，根据预设规则调整虚拟对象和/或第二模型。本公开能够有效地提高所模拟的目标场景的真实感，并且能够实现虚拟对象与目标场景的互动，从而能够提升增强现实应用的交互性和体验感。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机图形学技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

背景技术

随着计算机图形学技术的发展，三维显示成为计算机视觉系统中重要的研究方向，基于三维显示技术，可以直接观察到具有物理景深的三维图像，也可以结合其他技术实现增强现实或虚拟现实显示。

目前，已经出现了一些增强现实头显装置和安装在智能终端上的增强现实应用。在一种增强现实应用的技术方案中，也可以实现较为真实的虚拟对象与真实目标场景的叠加效果，但是由于这种技术方案的真实场景是通过摄像头采集的图像，不能让真实场景与计算机图形处理软件制作的虚拟对象发生互动，使这种技术方案的增强现实应用难以获得令人满意的真实感和体验感。

因此，需要提供一种能够解决上述问题中的一个或多个问题的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供了一种图像处理方法，包括：

基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

根据所述第二模型向所述目标场景中叠加虚拟对象；以及

在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

在本公开的一种示例性实施例中，基于目标场景的图像与深度信息得到所述目标场景的三维结构数据包括：

基于所述深度信息将目标场景的图像的各像素点映射到三维空间中得到所述目标场景的三维结构数据。

在本公开的一种示例性实施例中，将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型包括：

将所述目标场景的图像作为纹理映射到所述第一模型上生成所述目标场景的具有纹理信息的第二模型。

在本公开的一种示例性实施例中，在根据所述第二模型向所述目标场景中叠加虚拟对象之后，所述图像处理方法还包括：

将所述目标场景的图像从RGB颜色空间转换到HIS颜色空间，基于所述HIS颜色空间的亮度和色调设置全局环境光。

在本公开的一种示例性实施例中，根据预设规则调整所述虚拟对象和/或所述第二模型包括：

根据预设规则对所述虚拟对象和/或所述第二模型的三维模型数据和纹理进行变换。

在本公开的一种示例性实施例中，基于所述三维结构数据建立所述目标场景的第一模型包括：

基于所述三维结构数据通过网格化运算建立所述目标场景的第一模型。

在本公开的一种示例性实施例中，基于所述三维结构数据建立所述目标场景的第一模型还包括：

在所述第一模型的数据量较大时，通过二次误差度量最小化运算对所述第一模型进行网格简化。

根据本公开的一个方面，提供一种图像处理装置，包括：

第一模型建立模块，用于基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

第二模型建立模块，用于将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

虚拟对象叠加模块，用于根据所述第二模型向所述目标场景中叠加虚拟对象；以及

交互模块，用于在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的图像处理方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的图像处理方法。

本公开的一种示例性实施例中的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，可以基于目标场景的图像与深度信息建立目标场景的第一模型，以及将目标场景的图像作为纹理结合第一模型建立目标场景的第二模型；根据第二模型向目标场景中叠加对象，在互动时根据预设规则调整虚拟对象和/或第二模型。一方面，基于目标场景的图像与深度信息建立目标场景的第一模型，以及将目标场景的图像作为纹理结合第一模型建立目标场景的第二模型，可以有效地提高所模拟的目标场景的真实感；另一方面，根据第二模型向目标场景中叠加对象，在互动时根据预设规则调整虚拟对象和/或第二模型，能够实现虚拟对象与目标场景的互动，从而能够提升增强现实应用的交互性和体验感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。

图1示意性示出了根据本公开一示例性实施例的图像处理方法的流程图；

图2示意性示出了根据本公开一示例性实施例的具有深度摄像功能的设备示意图；

图3示意性示出了根据本公开一示例性实施例的获取的深度信息图像与目标场景图像的关系图；

图4示意性示出了根据本公开一示例性实施例的目标场景图像和与其对应的三维网格模型的关系图；

图5示意性示出了根据本公开一示例性实施例的图像处理装置的框图；

图6示意性示出了根据本公开一示例性实施例的电子设备的框图；

图7示出了根据本公开一示例性实施例的计算机可读存储介质的示

意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施例中，首先提供了一种图像处理方法。参考图1中所示，该图像处理方法可以包括以下步骤：

步骤S110.基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

步骤S120.将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

步骤S130.根据所述第二模型向所述目标场景中叠加虚拟对象；以及

步骤S140.在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

根据本示例实施例中的图像处理方法，一方面，基于目标场景的图像与深度信息建立目标场景的第一模型，以及将目标场景的图像作为纹理结合第一模型建立目标场景的第二模型，可以有效地提高所模拟的目标场景的真实感；另一方面，根据第二模型向目标场景中叠加对象，在互动时根据预设规则调整虚拟对象和/或第二模型，能够实现虚拟对象与目标场景的互动，从而能够提升增强现实应用的交互性和体验感。

下面，将结合附图对本示例实施例中的图像处理方法进行详细的说明。

在步骤S110中，基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型。

图2示出了可以应用本示例实施例中的图像处理方法的设备的示意图。在图2中的设备可以包括深度摄像头210和数据处理装置220。在本示例实施例中，可以通过深度摄像头210捕获目标场景的图像以及深度信息，然后可以通过数据处理装置220从深度摄像头210读取目标场景的图像和附加在该图像上的深度信息。深度摄像头可以采用TOF(time offlight)、结构光、立体双摄等技术实现，例如深度摄像头可以为微软公司的Kinect、苹果公司的Primesense、英特尔公司的Realsense等，本公开对此不进行特殊限定。

进一步地，在本示例实施例中，基于目标场景的图像与深度信息得到所述目标场景的三维结构数据可以包括：基于深度信息将目标场景的图像的各像素点映射到三维空间中得到目标场景的三维结构数据。

具体而言，参照图3所示，图3示出了通过深度摄像头210获取的目标场景的场景图像310和深度信息图像320之间关系。通常情况下，深度信息图像320的尺寸要小于场景图像310的尺寸，假设场景图像310上有一个像素的坐标为(x,y)，那么在深度信息图像320上取一个像素点坐标为(x/s1,y/s2)，其中，s1、s2分别是场景图像310在x和y方向相对于深度信息图像320所放大的倍率，在深度信息图像320上所取得的该像素的值表示描述场景图像310中(x,y)像素对应在目标场景中的空间点的深度信息，即该空间点到深度摄像头210的距离。由于场景图像310中每一个像素点都具有一个对应的深度值，将对应的深度值转化为z坐标就可以得到场景图像310中每个像素的三维坐标(x,y,z)，这样就可以把场景图像310上的每个像素点映射到三维空间中，得到目标场景的三维结构数据即三维点云。

进一步地，在本示例实施例中，可以利用网格化算法将目标场景的三维结构数据即三维点云重建为目标场景的三维网格模型即目标场景的第一模型。在本示例实施例中，通常采用的网格化算法可以为Delaunay算法即三角剖分算法，但是本公开的示例实施例中的网格化算法不限于此，例如网格化算法还可以为逐点插入算法以及分割合并算法等算法，本公开对此不进行特殊限定。此外，在本示例实施例中，在重建后的三维网格模型的数据量较大时，可以采用二次误差度量最小化算法对重建的三维网格模型进行网格简化，当然也可以采用其他网格简化算法对重建的三维网格模型进行网格简化。

接下来，在步骤S120中，将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型。

图像的纹理是在图像处理中经过量化的图像特征，图像的纹理可以描述图像或其中小块区域的空间颜色分布和光强分布。因此，在本示例实施例中，为了更好地模拟真实场景，可以将目标场景的图像作为纹理结合建立的目标场景的第一模型生成具有纹理信息的第二模型。具体而言，可以将目标场景的图像作为纹理映射到第一模型上生成目标场景的具有纹理信息的第二模型。

举例而言，参照图4所示，图4示出了场景图像410与三维网格模型420的映射关系。在本示例实施中，可以根据步骤110中建立的目标场景的三维网格模型，根据目标场景的场景图像的纹理进行纹理映射。在图4中，在场景图像410中取一条水平线430，在目标场景的三维网格模型上会有一条三维线420与其对应。将三维线420上的每一个点取二维坐标(x,y)并将该二维坐标映射到场景图像410的图像坐标上，同样地，针对场景图像410中任意一条水平线以及该水平线所对应的三维网格模型上的三维线条执行同样的操作，就能够完成场景图像410与三维网格模型的纹理映射。在本示例实施例中，经过步骤S120得到经过纹理映射的三维网格模型即具有纹理信息的第二模型已经可以作为一种虚拟对象对待，从而可以在后续步骤中与叠加进目标场景的虚拟对象进行统一的计算机图形操作。

接下来，在步骤S130中，根据所述第二模型向所述目标场景中叠加虚拟对象。

在本示例实施例中，虚拟对象可以包括基于计算机图形处理软件生成的一切生物和非生物。由于根据步骤S120得到的目标场景的具有纹理信息的第二模型也可以看做是虚拟对象，只不过该第二模型表示了目标场景的信息，因此，可以把虚拟对象和目标场景对应的三维网格模型即第二模型输入到计算机图形处理软件中，将虚拟对象与三维网格模型统一通过计算机图形处理软件进行处理。图形处理软件可以为商业图形引擎例如Unity3D，也可以为具有足够图形处理功能的应用软件，图形处理软件所支持的图形接口包括OpenGL或者Direct3D，也可以包括其他类型的图形接口例如专业游戏机上的图形接口，在此将不一一举例。进一步地，在本示例实施例中，把虚拟对象和目标场景对应的三维网格模型输入到计算机图形应用程序中，由于虚拟对象和目标场景对应的三维网格模型都具备三维坐标，因此可以方便地将虚拟对象与目标场景对应的三维网格模型进行融合，从而能够构成一个新的三维场景。

此外，在本示例实施例中，如果虚拟对象与目标场景对应的三维网格模型的光照环境不匹配的话，会产生生硬的叠加效果，反而会降低显示的真实感，因此，为了使虚拟对象与目标场景对应的三维网格模型的光照环境相匹配，需要对虚拟对象和第二模型进行光照处理。在一般情况下，可以从目标场景的图像中根据图像画面的明暗变化进行类似直方图、主成分分析的方法提取出近似的目标场景的真实光照参数，然后根据所提取的真实光照参数在计算机图形处理软件中中设置光照环境，这样就能得到真实感很强的叠加效果，但是这种技术方案的运算量过大，会降低图像处理效率。因此，在本示例实施例中，可以将目标场景的图像从RGB颜色空间转换到HIS颜色空间，或者其他能够表达亮度、色调等分量的颜色空间例如YIQ颜色空间中。在HIS颜色空间中提取亮度和色调之后，可以将所提取的亮度和色调作为一个全局的环境光参数提交给计算机图形应用程序设置全局环境光，这样就可以在整体的感觉上使虚拟对象与场景图像匹配。此外，在本示例实施例中，还可以进一步优化光照模型，使得通过优化后的光照模型能够进行阴影的渲染。

接下来，在步骤S140中，在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

在本示例实施例中，在目标场景中叠加虚拟对象之后，就可以根据预设规则对叠加了虚拟对象的目标场景进行图形化操作。以增强现实应用的游戏为例，在本示例实施例中，可以预先设定目标场景中的哪些对象或者那些运动状态能够对虚拟对象施加作用，在虚拟对象与目标场景对应的三维模型发生交互时，可以通过预设规则例如模拟的物理定律，将目标场景中的对象的运动状态作用到虚拟对象上并产生相应的作用效果，从而可以实现虚拟对象与目标场景的交互，例如，可以利用目标场景中的物体去碰撞、武器攻击虚拟对象，或者引导虚拟对象躲避障碍物等。因此，在本示例实施例中，可以通过调整虚拟对象和/或目标场景对应的三维模型的变化来实现虚拟对象与目标场景的交互。

此外，在本示例实施例中，所述预设规则可以为模拟的真实物理定律，还可以为预设的虚拟对象的位置信息、运动方向、运动类型以及运动速率等，此外，还可以根据交互的需要设定新的预设规则以设定虚拟对象与目标场景的交互方式，这同样在本公开的保护范围内。

进一步地，在本示例实施例中，可以将步骤S110、S120、S130以及S140中的设置命令和图形数据提交至图形处理系统的计算机硬件的渲染管线进行渲染，可以得到经渲染的结果，以及将经渲染的结果呈现至显示屏上。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施中，还提供了一种图像处理装置。参照图5所示，该图像处理装置500可以包括：第一模型建立模块510、第二模型建立模块520、虚拟对象叠加模块530以及交互模块540。其中：

第一模型建立模块510用于基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

第二模型建立模块520用于将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

虚拟对象叠加模块530用于根据所述第二模型向所述目标场景中叠加虚拟对象；以及

交互模块540用于在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

进一步地，在本示例实施例中，基于目标场景的图像与深度信息得到所述目标场景的三维结构数据可以包括：

基于所述深度信息将目标场景的图像的各像素点映射到三维空间中得到所述目标场景的三维结构数据。

进一步地，在本示例实施例中，将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型可以包括：

将所述目标场景的图像作为纹理映射到所述第一模型上生成所述目标场景的具有纹理信息的第二模型。

此外，在本示例实施例中，在根据所述第二模型向所述目标场景中叠加虚拟对象之后，所述图像处理装置500还可以包括：

环境光设置单元，用于将所述目标场景的图像从RGB颜色空间转换到HIS颜色空间，基于所述HIS颜色空间的亮度和色调设置全局环境光。

进一步地，在本示例实施例中，根据预设规则调整所述虚拟对象和/或所述第二模型可以包括：

根据预设规则对所述虚拟对象和/或所述第二模型的三维模型数据和纹理进行变换。

进一步地，在本示例实施例中，基于所述三维结构数据建立所述目标场景的第一模型可以包括：

基于所述三维结构数据通过网格化运算建立所述目标场景的第一模型。

进一步地，在本示例实施例中，基于所述三维结构数据建立所述目标场景的第一模型还可以包括：

在所述第一模型的数据量较大时，通过二次误差度量最小化运算对所述第一模型进行网格简化。

由于本公开的示例实施例的图像处理装置的各个功能模块与上述图像处理方法的示例实施例的步骤对应，因此在此不再赘述。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本发明的这种实施例的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S110.基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；步骤S120.将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；步骤S130.根据所述第二模型向所述目标场景中叠加虚拟对象；以及步骤S140.在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备670(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图7所示，描述了根据本发明的实施例的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

根据所述第二模型向所述目标场景中叠加虚拟对象；以及

在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

2.根据权利要求1所述的图像处理方法，其特征在于，基于目标场景的图像与深度信息得到所述目标场景的三维结构数据包括：

基于所述深度信息将目标场景的图像的各像素点映射到三维空间中得到所述目标场景的三维结构数据。

3.根据权利要求1所述的图像处理方法，其特征在于，将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型包括：

将所述目标场景的图像作为纹理映射到所述第一模型上生成所述目标场景的具有纹理信息的第二模型。

4.根据权利要求1所述的图像处理方法，其特征在于，在根据所述第二模型向所述目标场景中叠加虚拟对象之后，所述图像处理方法还包括：

将所述目标场景的图像从RGB颜色空间转换到HIS颜色空间，基于所述HIS颜色空间的亮度和色调设置全局环境光。

5.根据权利要求1所述的图像处理方法，其特征在于，根据预设规则调整所述虚拟对象和/或所述第二模型包括：

根据预设规则对所述虚拟对象和/或所述第二模型的三维模型数据和纹理进行变换。

6.根据权利要求1所述的图像处理方法，其特征在于，基于所述三维结构数据建立所述目标场景的第一模型包括：

基于所述三维结构数据通过网格化运算建立所述目标场景的第一模型。

7.根据权利要求6所述的图像处理方法，其特征在于，基于所述三维结构数据建立所述目标场景的第一模型还包括：

在所述第一模型的数据量较大时，通过二次误差度量最小化运算对所述第一模型进行网格简化。

8.一种图像处理装置，其特征在于，包括：

第一模型建立模块，用于基于目标场景的图像与深度信息得到所述目标场景的三维结构数据，并基于所述三维结构数据建立所述目标场景的第一模型；

第二模型建立模块，用于将所述目标场景的图像作为纹理结合所述第一模型生成所述目标场景的具有纹理信息的第二模型；

虚拟对象叠加模块，用于根据所述第二模型向所述目标场景中叠加虚拟对象；以及

交互模块，用于在所述虚拟对象与所述目标场景发生交互时，根据预设规则调整所述虚拟对象和/或所述第二模型。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的图像处理方法。