CN117456076A - 一种材质贴图生成方法及相关设备 - Google Patents
一种材质贴图生成方法及相关设备 Download PDFInfo
- Publication number
- CN117456076A CN117456076A CN202311434114.2A CN202311434114A CN117456076A CN 117456076 A CN117456076 A CN 117456076A CN 202311434114 A CN202311434114 A CN 202311434114A CN 117456076 A CN117456076 A CN 117456076A
- Authority
- CN
- China
- Prior art keywords
- picture
- texture
- training
- describing
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000013136 deep learning model Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 14
- 238000005286 illumination Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000009792 diffusion process Methods 0.000 claims description 7
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 claims description 4
- 238000013507 mapping Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000009877 rendering Methods 0.000 description 7
- 239000000109 continuous material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- -1 gravel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Image Generation (AREA)
Abstract
本说明书提供了一种材质贴图生成方法和相关设备。该方法包括：获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
Description
技术领域
本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种材质贴图生成方法及相关设备。
背景技术
在搭建三维场景过程中，为减少资源消耗并保证效果和精度，一种常用方法是采用四方连续的材质球作为纹理平铺在地面、墙面等类平面物体上。其中，材质球定义了物体表面的基本属性，包括颜色、反射率、折射率、粗糙度、透明度等。通过调整材质球的参数，可以模拟各种不同的材质，如金属、塑料、玻璃、布料等，使物体在渲染过程中具有逼真的外观。材质球文件中可以包含多个用于描述物体表面材质的基于物理渲染(Physically-Based Rendering，PBR)材质贴图，例如：颜色贴图，法线贴图，置换贴图，环境遮挡(AmbientOcclusion，AO)贴图，粗糙度贴图等。
在制作四方连续的材质球时，往往需要先针对目标物进行多角度的扫描拍摄，以获得针对该目标物的多张图片。然后，基于该多张图片生成四方连续的颜色贴图，再通过高低模烘焙等一系列流程得到法线贴图、置换贴图、AO贴图、粗糙度贴图等，进而整合得到较为真实准确的四方连续材质球。然而，随着三维场景搭建需求的日益增长，在制作材质球时面临的图片采集量也会随之增长，这给图片拍摄带来了巨大压力，严重增加了时间和人力成本，降低了材质贴图的生成效率。
发明内容
有鉴于此，本说明书一个或多个实施例提供一种材质贴图生成方法及相关设备。
第一方面，本说明书提供了一种材质贴图生成方法，所述方法包括：
获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；
对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；
将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
在一示出的实施方式中，所述第二图片为四方连续图；
所述对所述第一图片进行图片预处理，得到第二图片，包括：
将所述第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片；
将所述四个子图片各自的位置沿对角线进行互相调换，得到对应的第三图片；其中，在所述第三图片中，所述四个子图片之间的拼接区域内的图案纹理不连续；
对所述第三图片中的所述拼接区域进行修复处理，得到第二图片；其中，在所述第二图片中，所述拼接区域内的图案纹理连续。
在一示出的实施方式中，所述对所述第三图片中的所述拼接区域进行修复处理，包括：
在所述第三图片中生成掩膜区域，所述掩膜区域覆盖所述拼接区域；
删除所述第三图片中与所述掩膜区域对应的图片内容，得到残缺的所述第三图片；
将残缺的所述第三图片输入至预先训练得到的图像生成模型中，以重新生成与所述掩膜区域对应的图片内容；
将重新生成的图片内容添加至所述掩膜区域。
在一示出的实施方式中，所述图像生成模型包括扩散模型；或者，用于基于输入的图片生成图片的预训练模型。
在一示出的实施方式中，在将所述第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片之前，所述方法还包括：对所述第一图片进行去阴影处理。
在一示出的实施方式中，所述方法还包括：
获取训练样本集，所述训练样本集中包括多张训练图片，所述多张训练图片中的每张训练图片为基于对应的材质描述文件以及预设的光照参数渲染得到的图片；
将每个材质描述文件作为其渲染得到的训练图片的标签；
基于所述训练样本集中的每张训练图片及其对应的标签，对所述深度学习模型进行有监督训练。
在一示出的实施方式中，所述多个材质贴图包括以下示出的任意多个材质贴图的组合：
用于描述物体表面的图案纹理的贴图；
用于描述物体表面的法线纹理的贴图；
用于描述物体表面的凹凸纹理的贴图；
用于描述物体表面的光影纹理的贴图；
用于描述物体表面的粗糙度纹理的贴图。
第二方面，本说明书提供了一种材质贴图生成装置，所述装置包括：
获取单元，用于获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；
预处理单元，用于对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；
材质贴图生成单元，用于将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
相应地，本说明书还提供了一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由所述处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如上述各实施方式所述的材质贴图生成方法。
相应地，本说明书还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如上述各实施方式所述的材质贴图生成方法。
综上所述，本申请可以先获取包含图案纹理的第一图片，其中，该第一图片是不包含透视信息的正交视图的图片。然后，本申请可以对第一图片进行图片预处理，得到第二图片。其中，该第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续。进一步地，本申请可以将第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，以生成与该第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件。其中，上述材质描述文件中可以包括用于描述物体表面材质的不同材质属性的多个材质贴图。如此，本申请只需将预先采集到的一张正交视图的图片输入至预先训练得到的深度学习模型中，通过该深度学习模型准确估计其中的透视信息，进而可以生成一系列包含透视信息的用于描述物体表面材质的材质贴图，从而在保证贴图生成效果的前提下，极大程度上降低了图片采集的工作量，提升了贴图生成效率。
附图说明
图1是一示例性实施例提供的一种系统架构示意图；
图2是一示例性实施例提供的一种材质贴图生成方法的流程示意图；
图3是一示例性实施例提供的一种图片预处理的流程示意图；
图4是一示例性实施例提供的一种四方连续图的拼接效果示意图；
图5是一示例性实施例提供的一种材质贴图生成装置的结构示意图；
图6是一示例性实施例提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
需要说明的是，本申请中所述的“多个”是指两个或者两个以上。
本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先，对本说明书中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)材质球，是用于模拟物体表面材质和光照效果的重要元素之一。材质球定义了物体表面的基本材质属性，包括颜色、反射率、折射率、粗糙度、透明度等。通过调整材质球的参数，可以模拟各种不同的材质，如金属、塑料、玻璃、布料等，使物体在渲染过程中具有逼真的外观。此外，材质球还与光照交互，决定了物体表面受光照射时的反射和折射行为。不同的材质球可以对光线呈现出不同的反射特性，如漫反射、镜面反射、环境光反射等。通过调整材质球的参数，可以控制物体的光照效果，使其在渲染结果中产生阴影、高光等细节，增强真实感。
材质球文件中可以包含多个用于描述物体表面材质的PBR材质贴图，例如包括：颜色贴图，法线贴图，置换贴图，AO贴图，粗糙度贴图等。
其中，颜色贴图，也称漫反射贴图，是一种常见的纹理贴图技术，用于给3D模型的表面添加颜色和图案。颜色贴图是一张2D图像，通常用来模拟物体表面的颜色、花纹、图案等细节。比如，在游戏中，可以使用颜色贴图来制作一个砖墙、一片草地或者一件衣服的表面纹理。
其中，法线贴图，用于在3D模型表面上模拟微小的几何形状。法线贴图实际上也是一张2D图像，可以通过修改每个像素的RGB值来调整表面的法向量方向。这样做可以让3D模型在渲染时更加真实地反射光线，从而增强细节效果。比如，在游戏中，可以使用法线贴图来为石墙、木材或者金属等材质的表面增加凹凸不平的细节。
其中，环境遮挡(Ambient Occlusion，AO)贴图，用于模拟物体之间所产生的阴影，在不打光的时候增加体积感。
其中，置换贴图，是一种用于改变模型几何形状的贴图技术，它通过在几何表面上存储高度信息，并将这些信息应用于模型表面，实现对模型网格的拓扑结构进行修改和扭曲，从而创建出更加逼真的表面细节效果。
其中，粗糙度贴图，用于定义材质的粗糙度信息，0(黑色-0sRGB)表示光滑，1(白-255sRGB)表示粗糙度。粗糙度是指造成光漫射的表面不规则状况，反射方向根据表面粗糙度自由变化。
(2)四方连续，是指图片按照上、下、左、右四个方向重复平铺，图片之间的拼接处的图案纹理都是连续的。
三维场景被广泛应用于虚拟拍摄、游戏等领域，例如，在虚拟拍摄场景中，可基于三维场景在屏幕上渲染背景画面，与屏幕前的前景一起拍摄，得到所需的拍摄画面。如上所述，在搭建三维场景过程中，为减少资源消耗并保证效果和精度，一种常用方法是采用四方连续的材质球作为纹理平铺在地面、墙面等类平面物体上。
在制作四方连续的材质球时，往往需要先针对目标物进行多角度的扫描拍摄，以获得针对该目标物的多张图片。然后，基于该多张图片生成四方连续的颜色贴图，再通过高低模烘焙等一系列流程得到法线贴图，置换贴图，AO贴图，粗糙度贴图等，进而整合得到较为真实准确的四方连续材质球。然而，随着三维场景搭建需求的日益增长，在制作材质球时面临的图片采集量也会随之增长，这给图片拍摄带来了巨大压力，严重增加了时间和人力成本，降低了材质贴图的生成效率。
基于此，本说明书提供了一种材质贴图生成方案。该方案将预先采集到的一张正交视图的图片输入至预先训练得到的深度学习模型中，通过该深度学习模型估计其中的透视信息，进而生成一系列包含透视信息的用于描述物体表面材质的材质贴图，从而在保证贴图生成效果的前提下，极大程度上降低了图片采集的工作量。
在实现时，本申请可以先获取包含图案纹理的第一图片，该第一图片为不包含透视信息的正交视图的图片。然后，本申请可以对第一图片进行图片预处理，得到第二图片。其中，该第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续。进一步地，本申请可以将第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与该第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件。其中，上述材质描述文件中可以包括用于描述物体表面材质的不同材质属性的多个材质贴图。
在以上技术方案中，本申请只需将预先采集到的一张正交视图的图片输入至预先训练得到的深度学习模型中，通过该深度学习模型准确估计其中的透视信息，进而生成一系列包含透视信息的用于描述物体表面材质的材质贴图，从而在保证贴图生成效果的前提下，极大程度上降低了图片采集的工作量，提升了贴图生成效率。
请参阅图1，图1是一示例性实施例提供的一种系统架构示意图。本说明书提供的一个或多个实施例可以在图1所示的系统架构或者类似的系统架构中具体实施。如图1所示，该系统可以包括计算机设备10和采集设备20。其中，计算机设备10和采集设备20之间可以通过蓝牙、Wi-Fi或移动网络等无线通信方式，或者通过数据线等有线通信方式进行数据传输。
如图1所示，采集设备20可以针对真实的物体或场景进行图片采集，其采集到的图片可以是不包含透视信息的正交视图的图片。相应的，在一示出的实施方式中，该采集设备20可以是正交摄像机，或者其他任何可以采集正交图片的设备，本说明书对此不做具体限定。
在一示出的实施方式中，采集设备20可以设置在自动拍摄模式下。
如图1所示，采集设备20可以将采集到的第一图片发送至与其对接的计算机设备10。其中，该第一图片中可以包含相应的图案纹理，并且，如上所述，该第一图片为不包含透视信息的正交视图的图片。
在一示出的实施方式中，采集设备20也可以响应于计算机设备10发送的图片获取请求，将其采集到的第一图片发送至计算机设备10。在一示出的实施方式中，采集设备20可以将其采集到的每张图片都自动发送至计算机设备10，等等，本说明书对此不做具体限定。
进一步地，计算机设备10接收采集设备20发送的第一图片，并对该第一图片进行预处理，以得到第二图片。其中，该第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续。在一示出的实施方式中，该第一图片可以是四边形的图片，相应的，预处理得到的第二图片可以是四方连续的图片。
进一步地，计算机设备10可以将第二图片输入至预先训练得到的深度学习模型中。该深度学习模型可以准确估计正交视图中的透视信息，比如估计被拍摄物体的高度信息，即物体本身的凹凸信息等。如此，通过该深度学习模型可以准确估计输入的第二图片中的透视信息，进而生成与该第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件(例如材质球)。其中，该材质描述文件中可以包括用于描述物体表面材质的不同材质属性的多个材质贴图。
在一示出的实施方式中，该深度学习模型可以是由计算机设备10训练得到并保存在设备本地的模型，或者，该深度学习模型也可以是由远程的其他设备训练得到并部署到计算设备10上的模型，等等，本说明书对此不做具体限定。需要说明的是，本说明书对该深度学习模型的具体训练过程不作特别限定，具体可参考下述实施例的描述，此处不再进行赘述。
进一步地，计算机设备10可以采用生成的材质球来渲染物体表面，例如平铺在地面、墙面等类平面物体上，进而完成三维场景的搭建，更进一步地，计算机设备10可以通过设备中的显示器向用户显示搭建完成的三维场景，等等，此处不再展开详述。
如上所述，本申请只需将预先采集到的一张正交视图的图片输入至预先训练得到的深度学习模型中，通过该深度学习模型准确估计其中的透视信息，进而可以生成一系列包含透视信息的用于描述物体表面材质的材质贴图，从而在保证贴图生成效果的前提下，极大程度上降低了图片采集的工作量，提升了贴图生成效率。
应理解，图1所示的系统架构仅做示例性说明，在一些可能的实施方式中，上述系统架构中还可以包括比图1所示更多或者更少的设备，比如该系统还可以包括用于训练深度学习模型的远程的其他设备，等等，本说明书对此不做具体限定。
在一示出的实施方式中，该第一图片也可以是计算机设备10本地的图片。示例性的，计算机设备10上也可以安装有摄像头，相应的，该第一图片也可以是计算机设备10通过自己的摄像头采集得到的正交图片。或者，示例性的，该采集设备20也可以集成在计算机设备10中。
在一示出的实施方式中，该第一图片还可以是计算机设备10通过软件渲染得到的正交图片，而非真实拍摄得到的图片，等等，本说明书对此不做具体限定。
在一示出的实施方式中，计算机设备10可以是具备上述功能的智能可穿戴设备、智能手机、平板电脑、笔记本电脑、台式电脑和服务器等，或者，计算机设备10还可以是一个云渲染服务中心，等等，本说明书对此不做具体限定。
请参阅图2，图2是一示例性实施例提供的一种材质贴图生成方法的流程示意图。该方法可以应用于图1所示的系统架构，具体可以用于图1所示的计算机设备10。如图2所示，该方法具体可以包括如下步骤S201-步骤S203。
步骤S201，获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片。
在一示出的实施方式中，计算机设备先获取包含图案纹理的第一图片。其中，该第一图片为不包含透视信息的正交视图的图片。
在一示出的实施方式中，该第一图片可以是正交摄像机针对真实场景或者物体采集得到的真实图片。或者，在一示出的实施方式中，该第一图片也可以是由计算机设备通过软件渲染得到的虚拟图片，等等，本说明书对此不做具体限定。
需要说明的是，本申请对第一图片的形状不做特别限定。在一示出的实施方式中，第一图片可以是常规的四边形图片，或者，第一图片也可以是三角形图片、六边形图片，等等，本说明书对此不做具体限定。示例性的，三角形图片、六边形图片等可以由常规的四边形图片裁剪得到。
步骤S202，对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续。
在一示出的实施方式中，计算机设备在获得第一图片后，可以对该第一图片进行一系列的图片预处理，以得到第二图片。其中，该第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理是连续的。图片副本是第二图片的复件，可以视为对第二图片进行复制后得到的图片，且未经过分辨率调整、添加水印、图片压缩等处理操作。
在一示出的实施方式中，该第一图片可以是四边形图片，相应的，该第二图片可以是四方连续图，即第二图片在上、下、左、右方向上与其图片副本进行拼接后得到的图像中包含的图案纹理是连续的。
需要说明的是，本申请对图片预处理的具体内容不作特别限定。
在一示出的实施方式中，计算机设备可以先将第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片。然后，计算机设备可以将划分得到的四个子图片各自的位置沿对角线进行互相调换，即将左上的子图片与右下的子图片的位置进行互相调换，以及将右上的子图片与左下的子图片的位置进行互相调换，最终得到对应的第三图片。可以理解的是，在第三图片中，这四个子图片之间的拼接区域内的图案纹理往往是不连续的。进一步地，计算机设备可以对该第三图片中的拼接区域进行修复处理，以得到第二图片。其中，在该第二图片中，该拼接区域内的图案纹理是连续的。
具体地，请参阅图3，图3是一示例性实施例提供的一种图片预处理的流程示意图。如图3所示，针对第一图片，计算机设备可以先沿其水平中心线和垂直中心线将该第一图片划分为左上、右上、左下、右下四个子图片，例如图3所示的子图片①、子图片②、子图片③、子图片④。
进一步地，如图3所示，计算机设备可以沿对角线将子图片①与子图片③的位置进行互相调换，以及将子图片②和子图片④的位置进行互相调换，从而得到图3所示的第三图片。
在一示出的实施方式中，计算机设备也可以先将子图片①与子图片②的位置进行左右调换，以及将子图片③与子图片④的位置进行左右调换，然后再将子图片①与子图片③的位置进行上下调换，以及将子图片②与子图片④的位置进行上下调换，最终也可以得到图3所示的第三图片。需要说明的是，本申请对子图片进行上下调换以及左右调换的执行先后顺序不做具体限定。
如图3所示，在第三图片中，子图片①、子图片②、子图片③、子图片④之间的拼接区域内的图案纹理是不连续的。基于此，计算机设备需要对该拼接区域进行修复处理，使其图案纹理连续。
在一示出的实施方式中，如图3所示，计算机设备可以先在该第三图片中生成掩膜区域，该掩膜区域需要覆盖子图片①、子图片②、子图片③、子图片④之间的拼接区域。
进一步地，如图3所示，计算机设备可以删除该第三图片中与掩膜区域对应的图片内容，得到残缺的第三图片。
进一步地，如图3所示，计算机设备可以基于该残缺的第三图片，重新生成与掩膜区域对应的图片内容，从而得到第二图片。如图3所示，在该第二图片中，子图片①、子图片②、子图片③、子图片④之间的拼接区域内的图案纹理是连续的。
需要说明的是，本申请对重新生成与掩膜区域对应的图片内容的具体实现方式不作特别限定。
在一示出的实施方式中，本申请可以通过各类修图软件(例如photoshop)，人工地绘制与掩膜区域对应的图片内容，以修补上述残缺的第三图片，从而得到图3所述的第二图片。
在一示出的实施方式中，本申请也可以将残缺的第三图片输入至预先训练得到的图像生成模型中，以通过该图像生成模型重新生成与掩膜区域对应的图片内容。进一步地，该图像生成模型还可以将重新生成的图片内容添加至掩膜区域，从而生成上述第二图片。
需要说明的是，本申请对该图像生成模型的具体类型不作特别限定。
在一示出的实施方式中，该图像生成模型可以为扩散模型(例如StableDiffusion)。其中，扩散模型实际上也是一种深度学习模型。
在一示出的实施方式中，该图像生成模型也可以为用于基于输入的图片生成图片的预训练模型，即大模型，等等，本说明书对此不做具体限定。
如上所述，第二图片可以是四方连续图。示例性的，请参阅图4，图4是一示例性实施例提供的一种四方连续图的拼接效果示意图。如图4所示，多张第二图片(或者说第二图片及其图片副本)沿上、下、左、右方向进行反复拼接后得到的图像中的图案纹理是连续的。
可以理解的是，图3和图4所示图片中的图案纹理仅做示例性说明，在实际应用过程中，上述第一图片、第二图片等可以包含与岩石、砂砾、木板、沥青、鹅卵石或草地等对应的各类图案纹理，本说明书对此不做具体限定。
此外，在一示出的实施方式中，本申请在对第一图片进行图片预处理之前，还可以对第一图片进行去阴影处理，以避免图片中带有明显的光影效果，进而影响后续的材质贴图生成效果。示例性的，计算机设备中可以保存了预先训练得到的去阴影模型，计算机设备在获得第一图片后，可以先将该第一图片输入至去阴影模型中进行去阴影处理。进一步地，计算机设备可以针对去阴影处理后的第一图片执行上述图3所示的图片预处理流程，等等，本说明书对此不做具体限定。
在一示出的实施方式中，该去阴影模型可以是深度学习模型。
步骤S203，将第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
进一步地，在一示出的实施方式中，计算机设备在得到第二图片后，可以将该第二图片作为颜色贴图输入至预先训练得到的深度学习模型中。其中，该深度学习模型可以用于估计正交视图中的透视信息，比如估计被拍摄物体的高度信息，即物体本身的凹凸信息等。如此，通过该深度学习模型可以准确估计输入的第二图片中的透视信息，进而生成与该第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件(例如材质球)。其中，该材质描述文件中可以包括用于描述物体表面材质的不同材质属性的多个材质贴图。
示例性的，该多个材质贴图可以包括以下示出的任意多个材质贴图的组合：用于描述物体表面的图案纹理的贴图(例如颜色贴图)；用于描述物体表面的法线纹理的贴图(例如法线贴图)；用于描述物体表面的凹凸纹理的贴图(例如置换贴图)；用于描述物体表面的光影纹理的贴图(例如AO贴图)；用于描述物体表面的粗糙度纹理的贴图(例如粗糙度贴图)，等等，本说明书对此不做具体限定。
在一示出的实施方式中，若第二图片的分辨率较高，比如大于或者等于预设阈值，则深度学习模型也可以先对输入的第二图片进行裁剪，得到与该第二图片对应的多个子图片。进一步地，深度学习模型可以分别针对该多个子图片进行透视信息的估计，以及生成与每个子图片对应的法线贴图、置换贴图、AO贴图、粗糙度贴图等，最后整合成与第二图片对应的材质描述文件，等等。如此，本申请可以通过现有的硬件设备实现基于高分辨率图片的材质贴图生成，减少资源消耗。
在一示出的实施方式中，上述分辨率的预设阈值可以为4K或者8K等，具体可以根据图像处理需求以及计算机设备的图像处理性能进行设置，本说明书对此不做具体限定。
示例性的，以分辨率的预设阈值为4K为例，若第二图片的分辨率为8K，则深度学习模型可以将该第二图片裁剪为4K*4K像素的多个子图片，本说明书对此不做具体限定。
此外，需要说明的是，本申请对上述深度学习模型的具体训练过程不作特别限定。
在一示出的实施方式中，该深度学习模型的训练过程可以包括如下步骤。
首先，本申请可以先获取训练样本集，该训练样本集中可以包括多张训练图片。其中，该多张训练图片中的每张训练图片可以为基于对应的材质描述文件以及预设的光照参数渲染得到的不包含透视信息的正交图片。基于此，本申请可以将每个材质描述文件作为其渲染得到的训练图片的标签。
在一示出的实施方式中，上述光照参数可以包括光照强度和光照方向，等等，本说明书对此不做具体限定。
最后，本申请可以基于训练样本集中的每张训练图片及其对应的标签，对深度学习模型进行有监督训练，直至深度学习模型针对每张输入的训练图片所输出的材质描述文件与其对应标签之间的差异达到预期，训练结束。
进一步地，在一示出的实施方式中，计算机设备可以基于生成的材质描述文件来渲染物体表面(例如墙面、地面等)，最终实现整个三维场景的搭建。示例性的，该三维场景可以是森林、公园、学校、房屋内部，等等，本说明书对此不做具体限定。
在一示出的实施方式中，考虑到采用单一的材质描述文件来渲染整个物体的表面可能会带来纹理重复的问题，导致渲染得到的物体不够真实，缺乏细节，本申请还可以基于目前的材质描述文件进一步生成与其对应的多个材质描述文件。多个材质描述文件之间的材质风格可以统一，拼接后的图案纹理也可以连续。后续，本申请可以采用多个材质描述文件来渲染物体表面，从而提升三维场景的整体效果。
综上所述，本申请可以先获取包含图案纹理的第一图片，其中，该第一图片是不包含透视信息的正交视图的图片。然后，本申请可以对第一图片进行图片预处理，得到第二图片。其中，该第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续。进一步地，本申请可以将第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，以生成与该第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件。其中，上述材质描述文件中可以包括用于描述物体表面材质的不同材质属性的多个材质贴图。如此，本申请只需将预先采集到的一张正交视图的图片输入至预先训练得到的深度学习模型中，通过该深度学习模型准确估计其中的透视信息，进而可以生成一系列包含透视信息的用于描述物体表面材质的材质贴图，从而在保证贴图生成效果的前提下，极大程度上降低了图片采集的工作量，提升了贴图生成效率。
与上述方法流程实现对应，本说明书的实施例还提供了一种材质贴图生成装置。请参阅图5，图5是一示例性实施例提供的一种材质贴图生成装置的结构示意图。该装置50可以应用于图1所述系统架构中的计算机设备10。如图5所示，该装置50包括：
获取单元501，用于获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；
预处理单元502，用于对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；
材质贴图生成单元503，用于将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
在一示出的实施方式中，所述第二图片为四方连续图；
所述预处理单元502，具体用于：
将所述第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片；
将所述四个子图片中的左右两侧的子图片进行左右调换，并将所述四个子图片中的上下两侧的子图片进行上下调换，得到对应的第三图片；其中，在所述第三图片中，所述四个子图片之间的拼接区域内的图案纹理不连续；
对所述第三图片中的所述拼接区域进行修复处理，得到第二图片；其中，在所述第二图片中，所述拼接区域内的图案纹理连续。
在一示出的实施方式中，所述预处理单元502，具体用于：
在所述第三图片中生成掩膜区域，所述掩膜区域覆盖所述拼接区域；
删除所述第三图片中与所述掩膜区域对应的图片内容，得到残缺的所述第三图片；
将残缺的所述第三图片输入至预先训练得到的图像生成模型中，以重新生成与所述掩膜区域对应的图片内容；
将重新生成的图片内容添加至所述掩膜区域。
在一示出的实施方式中，所述图像生成模型包括扩散模型；或者，用于基于输入的图片生成图片的预训练模型。
在一示出的实施方式中，所述装置50还包括去阴影处理单元504，用于：对所述第一图片进行去阴影处理。
在一示出的实施方式中，所述装置50还包括模型训练单元505，用于：
获取训练样本集，所述训练样本集中包括多张训练图片，所述多张训练图片中的每张训练图片为基于对应的材质描述文件以及预设的光照参数渲染得到的图片；
将每个材质描述文件作为其渲染得到的训练图片的标签；
基于所述训练样本集中的每张训练图片及其对应的标签，对所述深度学习模型进行有监督训练。
在一示出的实施方式中，所述多个材质贴图包括以下示出的任意多个材质贴图的组合：
用于描述物体表面的图案纹理的贴图；
用于描述物体表面的法线纹理的贴图；
用于描述物体表面的凹凸纹理的贴图；
用于描述物体表面的光影纹理的贴图；
用于描述物体表面的粗糙度纹理的贴图。
上述装置50中各个单元的功能和作用的实现过程具体详见上述图1-图4对应实施例的描述，在此不再进行赘述。应理解，上述装置50可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为逻辑意义上的装置，是通过所在设备的处理器(CPU)将对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了CPU以及存储器之外，上述装置所在的设备通常还包括用于进行无线信号收发的芯片等其他硬件，和/或用于实现网络通信功能的板卡等其他硬件。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元或模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述实施例阐明的装置、单元、模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
与上述方法实施例相对应，本说明书的实施例还提供了一种计算机设备。请参阅图6，图6是一示例性实施例提供的一种计算机设备的结构示意图。示例性的，该计算机设备可以为上述图1所示系统架构中的计算机设备10。如图6所示，该计算机设备可以包括处理器1001和存储器1002，进一步还可以包括输入设备1004(例如键盘等)和输出设备1005(例如显示器等)。处理器1001、存储器1002、输入设备1004和输出设备1005之间可以通过总线或其他方式连接。如图6所示，存储器1002包括计算机可读存储介质1003，该计算机可读存储介质1003存储有能够由处理器1001运行的计算机程序。处理器1001可以是通用处理器，微处理器，或用于控制以上方法实施例执行的集成电路。处理器1001在运行存储的计算机程序时，可以执行本说明书实施例中材质贴图生成方法的各个步骤，包括：获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图，等等。
对上述材质贴图生成方法的各个步骤的详细描述请参见之前的内容，此处不再进行赘述。
与上述方法实施例相对应，本说明书的实施例还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，这些计算机程序在被处理器运行时，执行本说明书实施例中材质贴图生成方法的各个步骤。具体请参见上述图1-图4对应实施例的描述，此处不再进行赘述。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
在一个典型的配置中，终端设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (10)
1.一种材质贴图生成方法，其特征在于，所述方法包括：
获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；
对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；
将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
2.根据权利要求1所述的方法，其特征在于，所述第二图片为四方连续图；
所述对所述第一图片进行图片预处理，得到第二图片，包括：
将所述第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片；
将所述四个子图片各自的位置沿对角线进行互相调换，得到对应的第三图片；其中，在所述第三图片中，所述四个子图片之间的拼接区域内的图案纹理不连续；
对所述第三图片中的所述拼接区域进行修复处理，得到第二图片；其中，在所述第二图片中，所述拼接区域内的图案纹理连续。
3.根据权利要求2所述的方法，其特征在于，所述对所述第三图片中的所述拼接区域进行修复处理，包括：
在所述第三图片中生成掩膜区域，所述掩膜区域覆盖所述拼接区域；
删除所述第三图片中与所述掩膜区域对应的图片内容，得到残缺的所述第三图片；
将残缺的所述第三图片输入至预先训练得到的图像生成模型中，以重新生成与所述掩膜区域对应的图片内容；
将重新生成的图片内容添加至所述掩膜区域。
4.根据权利要求3所述的方法，其特征在于，所述图像生成模型包括扩散模型；或者，用于基于输入的图片生成图片的预训练模型。
5.根据权利要求1所述的方法，其特征在于，在将所述第一图片沿其水平中心线和垂直中心线划分为左上、右上、左下、右下四个子图片之前，所述方法还包括：对所述第一图片进行去阴影处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本集，所述训练样本集中包括多张训练图片，所述多张训练图片中的每张训练图片为基于对应的材质描述文件以及预设的光照参数渲染得到的图片；
将每个材质描述文件作为其渲染得到的训练图片的标签；
基于所述训练样本集中的每张训练图片及其对应的标签，对所述深度学习模型进行有监督训练。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述多个材质贴图包括以下示出的任意多个材质贴图的组合：
用于描述物体表面的图案纹理的贴图；
用于描述物体表面的法线纹理的贴图；
用于描述物体表面的凹凸纹理的贴图；
用于描述物体表面的光影纹理的贴图；
用于描述物体表面的粗糙度纹理的贴图。
8.一种材质贴图生成装置，其特征在于，所述装置包括：
获取单元，用于获取包含图案纹理的第一图片，所述第一图片为不包含透视信息的正交视图的图片；
预处理单元，用于对所述第一图片进行图片预处理，得到第二图片；其中，所述第二图片在任意方向上与其图片副本进行拼接后得到的图像中包含的图案纹理连续；
材质贴图生成单元，用于将所述第二图片输入至预先训练得到的用于估计正交视图中的透视信息的深度学习模型中，生成与所述第二图片对应的包含透视信息的用于描述物体表面材质的材质描述文件；其中，所述材质描述文件包括用于描述物体表面材质的不同材质属性的多个材质贴图。
9.一种计算机设备，其特征在于，包括：存储器和处理器；所述存储器上存储有可由所述处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如权利要求1至7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311434114.2A CN117456076A (zh) | 2023-10-30 | 2023-10-30 | 一种材质贴图生成方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311434114.2A CN117456076A (zh) | 2023-10-30 | 2023-10-30 | 一种材质贴图生成方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117456076A true CN117456076A (zh) | 2024-01-26 |
Family
ID=89583140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311434114.2A Pending CN117456076A (zh) | 2023-10-30 | 2023-10-30 | 一种材质贴图生成方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456076A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198517A (zh) * | 2011-12-23 | 2013-07-10 | 联发科技股份有限公司 | 生成目标透视模型的方法及其透视模型估计装置 |
| CN114266901A (zh) * | 2021-12-24 | 2022-04-01 | 武汉天喻信息产业股份有限公司 | 文档轮廓提取模型构建方法、装置、设备及可读存储介质 |
| CN114926832A (zh) * | 2022-05-13 | 2022-08-19 | 每平每屋(上海)科技有限公司 | 特征提取模型训练、材质贴图处理方法、装置及电子设备 |
| CN115222917A (zh) * | 2022-07-19 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 三维重建模型的训练方法、装置、设备及存储介质 |
| CN115375813A (zh) * | 2022-08-11 | 2022-11-22 | 网易（杭州）网络有限公司 | 虚拟模型的渲染方法、装置、存储介质及电子装置 |
| CN115496884A (zh) * | 2022-07-12 | 2022-12-20 | 中国人民解放军海军航空大学 | 基于SRWorks视频透视技术的虚实座舱融合方法 |
| WO2023023960A1 (zh) * | 2021-08-24 | 2023-03-02 | 深圳市大疆创新科技有限公司 | 图像处理及神经网络的训练方法和装置 |
| CN116051705A (zh) * | 2022-09-21 | 2023-05-02 | 北京数字力场科技有限公司 | 模型训练方法、3d服装渲染方法、电子设备及存储介质 |
| CN116152417A (zh) * | 2023-04-19 | 2023-05-23 | 北京天图万境科技有限公司 | 一种多视点类透视空间拟合与渲染的方法和装置 |
| CN116486018A (zh) * | 2023-05-06 | 2023-07-25 | 阿里巴巴（中国）有限公司 | 三维重建方法、设备和存储介质 |
-
2023
- 2023-10-30 CN CN202311434114.2A patent/CN117456076A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198517A (zh) * | 2011-12-23 | 2013-07-10 | 联发科技股份有限公司 | 生成目标透视模型的方法及其透视模型估计装置 |
| WO2023023960A1 (zh) * | 2021-08-24 | 2023-03-02 | 深圳市大疆创新科技有限公司 | 图像处理及神经网络的训练方法和装置 |
| CN114266901A (zh) * | 2021-12-24 | 2022-04-01 | 武汉天喻信息产业股份有限公司 | 文档轮廓提取模型构建方法、装置、设备及可读存储介质 |
| CN114926832A (zh) * | 2022-05-13 | 2022-08-19 | 每平每屋(上海)科技有限公司 | 特征提取模型训练、材质贴图处理方法、装置及电子设备 |
| CN115496884A (zh) * | 2022-07-12 | 2022-12-20 | 中国人民解放军海军航空大学 | 基于SRWorks视频透视技术的虚实座舱融合方法 |
| CN115222917A (zh) * | 2022-07-19 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 三维重建模型的训练方法、装置、设备及存储介质 |
| CN115375813A (zh) * | 2022-08-11 | 2022-11-22 | 网易（杭州）网络有限公司 | 虚拟模型的渲染方法、装置、存储介质及电子装置 |
| CN116051705A (zh) * | 2022-09-21 | 2023-05-02 | 北京数字力场科技有限公司 | 模型训练方法、3d服装渲染方法、电子设备及存储介质 |
| CN116152417A (zh) * | 2023-04-19 | 2023-05-23 | 北京天图万境科技有限公司 | 一种多视点类透视空间拟合与渲染的方法和装置 |
| CN116486018A (zh) * | 2023-05-06 | 2023-07-25 | 阿里巴巴（中国）有限公司 | 三维重建方法、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456077A (zh) * | 2023-10-30 | 2024-01-26 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
| CN117456077B (zh) * | 2023-10-30 | 2024-10-01 | 神力视界(深圳)文化科技有限公司 | 一种材质贴图生成方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114119849B (zh) | 三维场景渲染方法、设备以及存储介质 | |
| CN109658365B (zh) | 图像处理方法、装置、系统和存储介质 | |
| Hedman et al. | Scalable inside-out image-based rendering | |
| US20230053462A1 (en) | Image rendering method and apparatus, device, medium, and computer program product | |
| CN108564527B (zh) | 基于神经网络的全景图内容补全和修复的方法及装置 | |
| WO2017092303A1 (zh) | 虚拟现实场景模型建立方法及装置 | |
| US20130187905A1 (en) | Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects | |
| US11276244B2 (en) | Fixing holes in a computer generated model of a real-world environment | |
| CN112184873B (zh) | 分形图形创建方法、装置、电子设备和存储介质 | |
| CN111127623A (zh) | 模型的渲染方法、装置、存储介质及终端 | |
| JP2023519728A (ja) | 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム | |
| US11288774B2 (en) | Image processing method and apparatus, storage medium, and electronic apparatus | |
| US20190206109A1 (en) | Method, apparatus and device for generating live wallpaper and medium | |
| CN116485984B (zh) | 全景影像车辆模型全局光照模拟方法、装置、设备及介质 | |
| CN117218273A (zh) | 图像渲染方法以及装置 | |
| CN117456076A (zh) | 一种材质贴图生成方法及相关设备 | |
| Reljić et al. | Application of photogrammetry in 3D scanning of physical objects | |
| US10909752B2 (en) | All-around spherical light field rendering method | |
| CN114820980A (zh) | 三维重建方法、装置、电子设备和可读存储介质 | |
| JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 | |
| CN117456077B (zh) | 一种材质贴图生成方法及相关设备 | |
| CN112802183A (zh) | 一种三维虚拟场景重建的方法、装置以及电子设备 | |
| CN109729285B (zh) | 熔线格特效生成方法、装置、电子设备及存储介质 | |
| CN116824082B (zh) | 虚拟地形的绘制方法、装置、设备、存储介质及程序产品 | |
| CN117611781B (zh) | 一种实景三维模型的压平方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |