Nothing Special   »   [go: up one dir, main page]

CN116363320B - 重建模型的训练和三维模型重建方法、装置、设备及介质 - Google Patents

重建模型的训练和三维模型重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN116363320B
CN116363320B CN202310639681.5A CN202310639681A CN116363320B CN 116363320 B CN116363320 B CN 116363320B CN 202310639681 A CN202310639681 A CN 202310639681A CN 116363320 B CN116363320 B CN 116363320B
Authority
CN
China
Prior art keywords
reconstructed
dimensional
image
model
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310639681.5A
Other languages
English (en)
Other versions
CN116363320A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moore Threads Technology Co Ltd
Original Assignee
Moore Threads Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moore Threads Technology Co Ltd filed Critical Moore Threads Technology Co Ltd
Priority to CN202310639681.5A priority Critical patent/CN116363320B/zh
Publication of CN116363320A publication Critical patent/CN116363320A/zh
Application granted granted Critical
Publication of CN116363320B publication Critical patent/CN116363320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种重建模型的训练和三维模型重建方法、装置、设备及存储介质，其中，所述方法包括：获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；响应于达到预设的收敛条件，输出训练后的重建模型。

Description

重建模型的训练和三维模型重建方法、装置、设备及介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种重建模型的训练和三维模型重建方法、装置、设备及存储介质。
背景技术
相关技术中，三维模型已经应用于各种不同的领域。在医疗行业使用三维模型制作器官的精确模型；电影行业将三维模型用于活动的人物、物体以及现实电影；视频游戏产业将三维模型作为计算机与视频游戏中的资源；在科学领域将三维模型作为化合物的精确模型；建筑业将三维模型用来展示提议的建筑物或者风景表现；工程界将三维模型用于设计新设备、交通工具、结构以及其它应用领域。
根据二维（two-dimensional，2D）图像重建三维（three-dimensional，3D）模型是计算机视觉、图形学和机器学习交叉领域中研究最广泛、最深入的领域之一。因为除了其无数应用之外，它还展现了在3D对象的几何形状学习、推断和合成方面的最新发展力量。
发明内容
有鉴于此，本申请实施例至少提供一种重建模型的训练和三维模型重建方法、装置、设备、存储介质。
本申请实施例的技术方案是这样实现的：
一方面，本申请实施例提供一种重建模型的训练方法，所述方法包括：获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；响应于达到预设的收敛条件，输出训练后的重建模型。
在一些实施例中，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；所述基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像，包括：利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。
在一些实施例中，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
在一些实施例中，所述特征解码网络包括材质解码网络和三维形状解码网络；所述通过特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据，包括：通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。
在一些实施例中，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值；基于所述标准投影图像和所述重建投影图像确定投影图像损失值；基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
在一些实施例中，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值，并基于所述三维模型损失值对所述特征解码网络的网络参数进行调整。
在一些实施例中，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：基于所述标准投影图像和所述重建投影图像确定投影图像损失值，并基于所述投影图像损失值对所述二维图像投影网络的网络参数进行调整。
另一方面，本申请提供一种三维模型重建方法，所述方法包括：对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
在一些实施例中，所述公共特征向量还携带所述待重建对象的二维图像投影信息；所述公共特征向量中的二维图像投影信息用于对所述公共特征向量携带的三维模型信息进行校准。
在一些实施例中，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
在一些实施例中，所述对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型，包括：对所述材质特征向量进行解码，得到所述待重建对象的材质数据；对三维形状特征向量进行解码，得到所述待重建对象对应的三维形状数据；基于所述待重建对象的材质数据和三维形状数据，生成所述待重建对象对应的三维模型。
在一些实施例中，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；所述方法包括：通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
在一些实施例中，在训练过程中，所述特征解耦网络还用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征提取网络和所述特征解耦网络至少基于所述待重建对象的标准投影图像和重建投影图像进行训练。
再一方面，本申请提供一种三维模型重建方法，其特征在于，应用于三维模型重建系统，所述三维模型重建系统包括前端设备和后端设备，所述方法包括：响应于接收模型重建指令，所述前端设备向所述后端设备发送所述输入图像；所述模型重建指令携带包括待重建对象的输入图像；所述后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型。
在一些实施例中，所述方法还包括：所述后端设备向所述前端设备发送携带所述三维模型的渲染指令；响应于接收所述渲染指令，所述前端设备渲染并展示所述三维模型。
在一些实施例中，所述三维模型包括材质数据，所述方法还包括：响应于第一模型配置指令，解析所述第一模型配置指令得到第一配置数据，并向所述后端设备发送所述第一配置数据；所述后端设备基于所述第一配置数据对所述材质数据进行配置，生成个性化材质数据；所述前端设备基于所述个性化材质数据，刷新展示的三维模型。
在一些实施例中，所述三维模型包括材质数据，所述方法还包括：响应于所述第二模型配置指令，解析所述第二模型配置指令得到第二配置数据，并向所述后端设备发送所述第二配置数据；所述后端设备基于所述第二配置数据生成个性化三维模型；所述前端设备基于所述个性化三维模型，刷新展示的三维模型。
在一些实施例中，所述三维模型包括三维形状数据；所述方法还包括：所述后端设备基于三维计算机图形软件对所述重建三维形状数据进行更新，得到更新后的三维形状数据。
又一方面，本申请实施例提供一种重建模型的训练装置，所述装置包括：获取模块，用于获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；重建模块，用于基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；训练模块，用于基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；输出模块，用于响应于达到预设的收敛条件，输出训练后的重建模型。
又一方面，本申请实施例提供一种三维模型重建装置，其特征在于，所述装置包括：特征提取模块，用于对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；特征解耦模块，用于对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；特征解码模块，用于对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
又一方面，本申请实施例提供一种三维模型重建系统，所述三维模型重建系统包括前端设备和后端设备，其中：所述前端设备，用于响应于接收模型重建指令，所述前端设备向所述后端设备发送所述输入图像；所述模型重建指令携带包括待重建对象的输入图像；所述后端设备，用于所述后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型。
又一方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
又一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
本申请实施例中，在训练重建模型的过程中，通过同时计算三维模型数据和投影图像这两个维度上的损失，并基于这两个维度上的损失对该重建模型进行训练，这样，可以通过提升投影图像这一维度上的重建能力，提升重建模型在三维模型数据维度上的重建能力；基于上述训练方法得到的重建模型可以基于包括对重建对象的单张图像生成更加真实的三维模型。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种重建模型的训练方法的实现流程示意图一；
图2为本申请实施例提供的一种重建模型的训练方法的实现流程示意图二；
图3为本申请实施例提供的一种重建模型的训练方法的实现流程示意图三；
图4A为本申请实施例提供的一种重建模型的训练方法的实现流程示意图四；
图4B为本申请实施例提供的一种重建模型的训练方法的实现流程示意图五；
图5A为本申请实施例提供的一种重建模型的训练方法的实现流程示意图六；
图5B为本申请实施例提供的一种重建模型的训练方法的实现流程示意图七；
图6为本申请实施例提供的一种三维模型重建方法的实现流程示意图一；
图7为本申请实施例提供的一种三维模型重建方法的实现流程示意图二；
图8为本申请实施例提供的一种三维模型重建方法的实现流程示意图三；
图9A为本申请实施例提供的一种三维模型重建方法的实现流程示意图四；
图9B为本申请实施例提供的一种三维模型重建方法的实现流程示意图五；
图10为本申请实施例提供的一种人脸重建模型的模型架构图；
图11为本申请实施例提供的一种人脸重建模型的训练方法的流程示意图；
图12为本申请实施例提供的一种人脸三维模型的重建方法的一个可选的流程示意图；
图13为本申请实施例提供的一种人脸重建方法在实际实施场景下的一个可选的流程示意图；
图14为本申请实施例提供的一种重建模型的训练装置的组成结构示意图；
图15为本申请实施例提供的一种三维模型重建装置的组成结构示意图；
图16为本申请实施例提供的一种三维模型重建系统的组成结构示意图；
图17为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术（Computer Vision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
本申请实施例提供一种重建模型的训练方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备（例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备）等具备数据处理能力的设备。
图1为本申请实施例提供的一种重建模型的训练方法的实现流程示意图一，如图1所示，该方法包括如下步骤S101至步骤S104：
步骤S101、获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像。
其中，该样本图像为包括待重建对象的二维图像，该样本图像对应的标准三维模型数据和标准投影图像为训练过程中针对该样本图像的真实标签（Groud Truth），上述样本图像和所述样本图像对应的标准三维模型数据和标准投影图像为训练初始的重建模型的样本数据。
在一些实施例中，可以通过以下方式获取上述样本数据：针对待重建对象，获取该待重建对象对应的一组图像数据和三维坐标点数据；基于预设的配准算法对各图像数据和三维坐标点数据进行对齐，得到对齐后的图像数据和三维坐标点数据；通过主成分分析（Principal Component Analysis，PCA）算法对对齐后的对齐后的图像数据和三维坐标点数据进行建模，生成该待重建对象对应的标准三维模型数据；基于预设的投影角度，对生成的三维模型数据进行投影，得到该待重建对象对应的标准投影图像。由此，将针对该待重建对象拍摄的一张图像作为该样本图像，并结合样本图像对应的标准三维模型数据和标准投影图像可以构成一个样本数据；其中，该样本图像可以为该组图像数据中的任一个图像数据，也可以为针对该待重建对象拍摄的其他图像数据。
其中，配准算法可以为迭代最近点（Iterative Closest Point，ICP）算法。上述待重建对象对应的三维坐标点数据可以通过结构光扫描、红外扫描、雷达扫描的方式获得；上述待重建对象对应的一组图像数据可以通过影像采集设备进行多角度摄影获得。
在一些实施例中，本申请实施例中涉及的三维模型数据（如标准三维模型数据和重建三维模型数据）包括待重建对象对应的三维形状数据和材质数据。
在本实施例中，该三维形状数据携带了该待重建对象的三维形状特征，示例性的，该三维形状数据可以包括但不限于是以下任意之一：三维网格数据、三维点云数据和三维体素数据。其中，该三维网格数据包括多个网格单元，其中每个网格单元为多边形网格，例如，可以是三角形、四边形等；每个网格单元可以由至少3个网格顶点确定，各个网格顶点具有三维坐标，用于在三维空间中确定空间位置。该三维点云数据包括多个三维坐标点构成的模型。该三维体素数据是通过采用大量规则体素（如立方体）的有序组合来重建三维物体。
相应地，上述材质数据携带了该待重建对象的材质特征；通过将该材质数据渲染至与该待重建对象对应的三维形状数据中，可以得到具有材质特征的三维重建模型。以三维模型数据为三维点云数据为例，该三维点云数据对应的材质数据可以包括每一个点云数据对应的材质信息，该材质信息包括以下至少之一：纹理、光滑度、粗糙度、柔软度、质感等信息。以三维模型数据为三维网格数据为例，该三维网格数据对应的材质数据可以是三维网格数据按照一定的展开路径展开得到二维的UV展开图，该材质数据中的每个展开的多边形网格上的三个顶点具有二维坐标，每个展开的多边形网格中包括待重建对象的材质像素值。
在一些实施例中，由于材质数据和三维形状数据是具有映射关系的，因此，可以将材质数据渲染至三维形状数据，得到该待重建对象对应的三维模型数据。
在一些实施例中，本申请实施例中涉及的投影图像为基于预设的投影角度，对生成的三维模型数据（包括三维形状数据和材质数据）进行投影，形成的二维投影图。
需要说明的是，还可以通过其他方式获取该样本图像和所述样本图像对应的标准三维模型数据和标准投影图像。
步骤S102、基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像。
在一些实施例中，该待重建对象可以但不限于是人脸对象、人体对象、动物对象等；相应地，上述样本图像为包括该待重建对象的清晰影像的图像。
在一些实施例中，该重建模型是用于根据样本图像重建该样本图像中待重建对象的三维模型数据的网络模型。其中，该重建模型可以为以下任意之一或对应的变形：3DMorphable Models（3DMM）、Basel FaceModel（BFM）、Structure From Motion （SFM）、FaceWarehouse、LargeScale Facial Model（LSFM）等。
步骤S103、基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练。
在一些实施例中，可以通过该标准三维模型数据和重建三维模型数据之间的差异确定第一损失值，并通过标准投影图像和重建投影图像之间的差异确定第二损失值；之后，基于该第一损失值和第二损失值对该初始的重建模型的模型参数进行调整，以完成通过该样本图像对该重建模型进行训练的过程。
在一些实施例中，上述样本图像对应的标准投影图像可以为多个，即，包括是多个投影角度中每一投影角度对应的标准投影图像，相应地，该初始的重建模型也可以基于该样本图像生成每一投影角度对应的重建投影图像。上述通过标准投影图像和重建投影图像之间的差异确定第二损失值的过程可以包括：针对每一投影角度，基于该投影角度对应的标准投影图像和重建投影图像之间的差异确定第二子损失值；基于每一投影角度对应的权重，对每一投影角度对应的第二子损失值进行加权求和，得到该第二损失值。
步骤S104、响应于达到预设的收敛条件，输出训练后的重建模型。
在一些实施例中，该预设的收敛条件包括以下至少之一：基于标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像确定的损失值小于预设的收敛阈值；相邻两次迭代之间的网络参数变化量小于预设的参数阈值；达到预设的最大迭代次数。
上述训练过程中，该重建模型是基于单一样本图像构建对应的重建三维模型数据和重建投影图像。由此，训练后的重建模型也可以基于单一的输入图像生成对应的三维模型数据。
本申请实施例中，在训练重建模型的过程中，通过同时计算三维模型数据和投影图像这两个维度上的损失，并基于这两个维度上的损失对该重建模型进行训练，这样，可以通过提升投影图像这一维度上的重建能力，提升重建模型在三维模型数据维度上的重建能力；基于上述训练方法得到的重建模型可以基于包括对重建对象的单张图像生成更加真实的三维模型。
图2是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图二，该方法可以由计算机设备的处理器执行。基于图1，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；其中，所述特征提取网络用于对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息和二维图像投影信息；所述特征解耦网络用于对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；所述特征解码网络用于对所述三维模型特征向量进行解码，得到所述重建三维模型数据；所述二维图像投影网络用于对所述二维图像特征向量进行解码，得到所述重建投影图像。图1中的S102可以更新为S201至S204，将结合图2示出的步骤进行说明。
步骤S201、利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量。
在一些实施例中，该公共特征向量同时携带了该待重建对象的三维模型特征信息和二维图像特征信息。
在一些实施例中，上述特征提取网络可以是以下任意之一：VGG16模型、VGG19模型、InceptionV3模型、Xception模型、MobileNet模型、AlexNet模型、LeNet模型、ZF_Net模型、ResNet18模型、ResNet34模型、ResNet_50模型、ResNet_101模型、ResNet_152模型等。
示例性的，该特征提取网络的输入尺寸为NC/>H/>W，其中，N表示样本图像的数目，C表示图像通道数，H和W表示样本图像的尺寸；输出尺寸为N/>C′/>H′/>W′，C′表示特征通道数，H′/>W′表示公共特征向量中特征图的尺寸。
步骤S202、通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量。
在一些实施例中，该特征解耦网络用于对该公共特征向量中携带的该待重建对象的三维模型特征信息和二维图像特征信息进行解耦，分别得到三维模型特征向量和二维图像特征向量。
步骤S203、通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据。
步骤S204、通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。
这里，该特征解码网络与该二维图像投影网络是并行的两个分支网络，分别对三维模型特征向量和二维图像特征向量进行解码，并得到对应的重建三维模型数据和重建投影图像。
本申请实施例中，通过相同的特征提取网络对样本图像进行特征提取，得到的公共特征向量同时携带了该待重建对象的三维模型特征信息和二维图像特征信息，这样，三维模型特征向量和二维图像特征向量均来自同一个初始特征向量，投影图像的重建情况可以在较大程度上反映三维模型数据的重建情况，因此，在基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练的过程中，可以通过提升投影图像这一维度上的重建能力，提升重建模型在三维模型数据维度上的重建能力。
图3是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图三，该方法可以由计算机设备的处理器执行。基于图2，所述三维模型特征向量包括材质特征向量和三维形状特征向量；所述特征解码网络包括材质解码网络和三维形状解码网络；其中，所述材质解码网络用于对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；所述三维网格解码网络用于对三维网格特征向量进行解码，得到所述待重建对象对应的重建三维网格数据。图2中的S202可以更新为S301，S203可以更新为S302至S303，将结合图3示出的步骤进行说明。
步骤S301、通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的材质特征向量、三维形状特征向量和二维图像特征向量。
在一些实施例中，该三维模型特征信息包括了三维形状特征信息和材质特征信息，因此，该公共特征向量同时携带了该待重建对象的三维形状特征信息、材质特征信息和二维图像特征信息。相应地，该特征解耦网络用于对该公共特征向量中携带的该待重建对象的三维形状特征信息、材质特征信息和二维图像特征信息进行解耦，分别得到材质特征向量、三维形状特征向量和二维图像特征向量。
步骤S302、通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据。
步骤S303、通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。
这里，上述特征解码网络包括并行的两个解码网络，分别为材质解码网络和三维形状解码网络，其中，该所述材质解码网络用于对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；该三维形状解码网络用于对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。
在本实施例中，特征解耦网络可以将公共特征向量解耦为三个独立的特征向量，并通过并行的三个分支网络分别将这三个独立的特征向量转换为重建材质数据、重建三维形状数据和重建投影图像。
本申请实施例中，通过特征解耦网络将样本图像对应的公共特征向量解耦，得到所述样本图像对应的材质特征向量、三维形状特征向量，这样，由于材质特征向量、三维形状特征向量均来自同一个初始特征向量，因此，基于材质特征向量得到的重建材质数据和基于三维形状特征向量得到的重建三维形状数据匹配程度更高；同时，基于此训练方法得到的重建模型，可以生成相互匹配的材质数据和三维形状数据，进而可以得到更加真实的三维模型。
图4A是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图四，该方法可以由计算机设备的处理器执行。基于图1，图1中的S103可以更新为S401至S403，将结合图4A示出的步骤进行说明。
步骤S401、基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值。
步骤S402、基于所述标准投影图像和所述重建投影图像确定投影图像损失值。
其中，该三维模型损失值由该标准三维模型数据与重建三维模型数据之间的差异确定；相应地，该投影图像损失值由标准投影图像与重建投影图像之间的差异确定。基于差异值确定损失值的方式可以包括但不限于是以下至少之一：均方误差（MSE）、交叉熵（CrossEntropy）、对比损失（Contrastive Loss）、余弦距离（Cosine Distance）等。
步骤S403、基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
在一些实施例中，预设该三维模型损失值和投影图像损失值分别对应的权重信息，进而可以基于该三维模型损失值和投影图像损失值分别对应的权重信息，对该三维模型损失值和所述投影图像损失值进行加权求和，得到该综合损失值。
在一些实施例中，在得到该综合损失值之后，由于该综合损失值反映了整体上待重建对象的重建数据和标准数据之间的差异，因此，可以基于该综合损失值对当前重建模型中的任意一个或多个子网络进行网络参数的调整。即，可以基于该综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
在一些实施例中，在得到该综合损失值之后，可以基于梯度下降法对上述至少之一的网络参数进行调整。上述梯度下降法可以包括但不限于是批量梯度下降法（BatchGradient Descent）：在每轮迭代中计算所有数据样本的梯度，再求平均值；随机梯度下降法（StochasticGradient Descent）：每次迭代使用一个样本计算梯度；异步随机梯度下降法（Asynchronous Stochastic Gradient Descent）：多个CPU共同训练模型，每个CPU对应不同的样本集，利用局部信息修正全局的参数。
在本实施例中，由于通过使用损失函数计算三维模型数据和投影图像数据之间的差异，可以有效地提高整个网络的准确性和精度，使其对三维模型数据和投影图像数据的处理更加准确和精确。同时，通过综合损失值调整网络参数可以避免网络的过拟合和欠拟合现象，从而提高网络的泛化能力，使其对新数据更具有适应能力。又通过针对特征解码网络、二维图像投影网络、特征提取网络和特征解耦网络中至少一个网络参数进行调整，可以使整个网络的结构更加灵活，可以适应不同的任务需求，使网络具有更大的拓展性。
图4B是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图五，该方法可以由计算机设备的处理器执行。基于图1，图1中的S103可以更新为S404或S405，将结合图4B示出的步骤进行说明。
步骤S404、基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值，并基于所述三维模型损失值对所述特征解码网络的网络参数进行调整。
步骤S405、基于所述标准投影图像和所述重建投影图像确定投影图像损失值，并基于所述投影图像损失值对所述二维图像投影网络的网络参数进行调整。
这里，特征解码网络与二维图像投影网络为并行的两个分支网络，因此，需要基于每一分支网络各自的输出对自身的网络参数进行调整。即，通过标准三维模型数据和重建三维模型数据确定的三维模型损失值对特征解码网络的网络参数进行调整；通过标准投影图像和重建投影图像确定的投影图像损失值对二维图像投影网络的网络参数进行调整。
基于上述方案，由于将所述特征解码网络和所述二维图像投影网络的网络参数各自独立调整，使得优化效果更加直观明了，即可以更快地找到最优解，减少训练时间和计算成本。另外，通过分别对特征解码网络和二维图像投影网络进行参数调整，可以更加精确地优化这些网络的结构和参数，提高模型的精度和性能。在当前方案中，重建模型中各个网络的任务更加割裂，每个网络只负责自己的任务，使得这些网络更加的独立化。
在一些实施例中，图4A和图4B中的特征解码网络包括材质解码网络和三维形状解码网络；相应地，所述重建三维模型数据包括所述待重建对象的重建材质数据和重建三维形状数据。基于此，在基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值的过程中，需要分别计算材质损失值和三维形状损失值，已确定对应的三维形状损失值。基于此，请参阅图5A，图5A是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图六，该方法可以由计算机设备的处理器执行。图1中的S103可以更新为S501至S503，将结合图5A示出的步骤进行说明。
步骤S501、基于所述标准材质数据和所述重建材质数据确定材质损失值，并基于所述标准三维形状数据和重建三维形状数据确定三维形状损失值。
其中，该三维形状损失值由该标准三维形状数据与重建三维形状数据之间的差异确定；相应地，该材质数据损失值由标准材质数据与重建材质数据之间的差异确定。
步骤S502、基于所述标准投影图像和所述重建投影图像确定投影图像损失值。
步骤S503、基于所述材质损失值、所述三维形状损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
在一些实施例中，预设该材质损失值、三维形状损失值和投影图像损失值分别对应的权重信息，进而可以基于该材质损失值、三维形状损失值和投影图像损失值分别对应的权重信息，对该材质损失值、三维形状损失值和所述投影图像损失值进行加权求和，得到该综合损失值。
图5B是本申请实施例提供的重建模型的训练方法的一个可选的流程示意图七，该方法可以由计算机设备的处理器执行。图4B中的S404可以更新为S504或S505，将结合图5B示出的步骤进行说明。
步骤S504、基于所述标准材质数据和所述重建材质数据确定材质损失值，并基于所述材质损失值对初始的重建模型中的材质解码网络的网络参数进行调整。
步骤S505、基于所述标准三维形状数据和重建三维形状数据确定三维形状损失值，并基于所述三维形状损失值对初始的重建模型中的三维形状解码网络的网络参数进行调整。
这里，材质解码网络和三维形状解码网络为并行的两个分支网络，因此，需要基于每一分支网络各自的输出对自身的网络参数进行调整。即，通过标准材质数据和重建材质数据确定的材质损失值对初始的重建模型中的材质解码网络的网络参数进行调整；通过标准三维形状数据和重建三维形状数据确定的三维形状损失值对初始的重建模型中的三维形状解码网络的网络参数进行调整。
在本实施例中，由于特征提取网络用于从样本图像中提取同时携带了该待重建对象的三维形状特征信息、材质特征信息和二维图像特征信息的公共特征向量，因此，需要通过该综合损失值对该特征提取网络的网络参数进行调整；同理，由于特征解耦网络需要对三维形状特征信息、材质特征信息进行解耦，因此，也需要该综合损失值对该特征解耦网络的网络参数进行调整。
图6是本申请实施例提供的三维模型重建方法的一个可选的流程示意图一，该方法可以由计算机设备的处理器执行。将结合图6示出的步骤进行说明。
步骤S601、对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息。
在一些实施例中，可以通过特征提取网络对该输入图像进行特征提取，上述特征提取网络可以是以下任意之一：VGG16模型、VGG19模型、InceptionV3模型、Xception模型、MobileNet模型、AlexNet模型、LeNet模型、ZF_Net模型、ResNet18模型、ResNet34模型、ResNet_50模型、ResNet_101模型、ResNet_152模型等。
示例性的，该特征提取网络的输入尺寸为NC/>H/>W，其中，N表示样本图像的数目，C表示图像通道数，H和W表示样本图像的尺寸；输出尺寸为N/>C′/>H′/>W′，C′表示特征通道数，H′/>W′表示公共特征向量中特征图的尺寸。
步骤S602、对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量。
步骤S603、对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
在一些实施例中，所述公共特征向量还携带所述待重建对象的二维图像投影信息；所述公共特征向量中的二维图像投影信息用于对所述公共特征向量携带的三维模型信息进行校准。
在一些实施例中，可以通过特征解耦网络对公共特征向量进行解耦；该特征解耦网络用于对该公共特征向量中携带的该待重建对象的三维模型特征信息和二维图像特征信息进行解耦，分别得到三维模型特征向量和二维图像特征向量。
在一些实施例中，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；上述方法可以包括：通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
需要说明的是，在训练过程中，所述特征解耦网络还用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征提取网络和所述特征解耦网络至少基于所述待重建对象的标准投影图像和重建投影图像进行训练。
本申请实施例中，在训练重建模型的过程中，通过相同的特征提取网络对样本图像进行特征提取，得到的公共特征向量同时携带了该待重建对象的三维模型特征信息和二维图像特征信息，这样，三维模型特征向量和二维图像特征向量均来自同一个初始特征向量，投影图像的重建情况可以在较大程度上反映三维模型数据的重建情况；通过同时计算三维模型数据和投影图像这两个维度上的损失，并基于这两个维度上的损失对该重建模型进行训练，这样，可以通过提升投影图像这一维度上的重建能力，提升重建模型在三维模型数据维度上的重建能力；基于上述训练方法得到的重建模型可以基于包括对重建对象的单张图像生成更加真实的三维模型。
图7是本申请实施例提供的三维模型重建方法的一个可选的流程示意图二，该方法可以由计算机设备的处理器执行。基于图6，所述三维模型特征向量包括材质特征向量和三维形状特征向量；图6中的S602可以更新为S701，S603可以更新为S702至S703，将结合图7示出的步骤进行说明。
步骤S701、对所述公共特征向量进行解耦，得到所述输入图像对应的材质特征向量和三维形状特征向量；
步骤S702、对所述材质特征向量进行解码，得到所述待重建对象的材质数据。
步骤S703、对三维形状特征向量进行解码，得到所述待重建对象对应的三维形状数据。
在一些实施例中，所述三维模型重建方法由训练后的重建模型实现，所述特征解码网络包括材质解码网络和三维形状解码网络；所述三维模型包括所述待重建对象的材质数据和三维形状数据；上述方法可以包括：通过材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的材质数据；通过三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的三维形状数据。
本申请实施例中，由于材质特征向量、三维形状特征向量均来自同一个初始特征向量，因此，基于材质特征向量得到的重建材质数据和基于三维形状特征向量得到的重建三维形状数据匹配程度更高；这样，可以生成相互匹配的材质数据和三维形状数据，进而可以得到更加真实的三维模型。
图8是本申请实施例提供的三维模型重建方法的一个可选的流程示意图三，该方法应用于三维模型重建系统，所述三维模型重建系统包括前端设备和后端设备。将结合图8示出的步骤进行说明。
步骤S801、响应于接收模型重建指令，所述前端设备向所述后端设备发送所述输入图像；所述模型重建指令携带包括待重建对象的输入图像。
在一些实施例中，所述前端设备接收模型重建指令；所述模型重建指令携带包括待重建对象的输入图像。其中，该前端设备用于接收用户的交互指令，该交互指令可以包括模型重建指令、模型配置指令和模型预览指令等。
在一些实施例中，该前端设备还用于为用户提供第一交互界面，前端设备可以通过该第一交互界面接收该模型重建指令，进而获取到该包括待重建对象的输入图像。在一些实施场景中，该第一交互界面可以展示至少一个待选择图像，在接收到针对任一待选择图像的选择操作后，可以将被选择的图像作为该输入图像，生成该模型重建指令；在另一些实施场景中，该第一交互界面还可以提供图像上传接口，通过该图像上传接口接收用户上传的图像，将上传的图像作为该输入图像，生成该模型重建指令。其中，该前端设备可以为如个人电脑，智能手机等。
在一些实施例中，该后端设备用于基于该输入图像生成待重建对象对应的三维模型。其中，该后端设备可以提供预设的模型重建接口给前端设备，由此，前端设备通过该模型重建接口向所述后端设备发送所述输入图像。
步骤S802、所述后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型。
在一些实施例中，后端设备可以通过以下步骤实现对三维模型的重建过程：对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息和二维图像投影信息。对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量。对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
其中，所述公共特征向量中的二维图像投影信息用于对所述公共特征向量携带的三维模型信息进行校准。
在一些实施例中，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；上述方法可以包括：通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
需要说明的是，在训练过程中，所述特征解耦网络还用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征提取网络和所述特征解耦网络至少基于所述待重建对象的标准投影图像和重建投影图像进行训练。
在一些实施例中，所述方法还包括：所述后端设备向所述前端设备发送携带所述三维模型的渲染指令；响应于接收所述渲染指令，所述前端设备渲染并展示所述三维模型。
其中，在后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型之后，可以将该三维模型发送至前端设备，前端设备可以通过第二交互界面展示该待重建对象对应的三维模型。同时，前端设备可以通过该第二交互界面接收模型配置指令，解析所述模型配置指令得到配置数据，并向所述后端设备发送所述配置数据。
图9A是本申请实施例提供的三维模型重建方法的一个可选的流程示意图四，该方法可以由计算机设备的处理器执行。基于图8，所述方法还包括S901至S903，将结合图9A示出的步骤进行说明。
步骤S901、响应于第一模型配置指令，解析所述第一模型配置指令得到第一配置数据，并向所述后端设备发送所述第一配置数据。
在一些实施例中，所述前端设备接收第一模型配置指令，响应于所述第一模型配置指令，解析所述第一模型配置指令得到第一配置数据，并向所述后端设备发送所述第一配置数据。该第一配置指令为材质配置指令，该材质配置指令用于对该三维模型的材质数据进行调整。
在一些实施例中，该材质配置指令可以包括以下至少之一：材质明暗配置指令、材质颜色配置指令、材质类别配置指令和材质图案配置指令等。其中，材质明暗配置指令用于对材质数据的明暗程度进行调整；材质颜色配置指令用于对材质数据的色调进行调整；材质类别配置指令用于对材质数据的材质类型进行调整；材质图案配置指令用于对材质数据的图案进行调整，如增加贴图覆盖原始材质。
步骤S902、所述后端设备基于所述第一配置数据对所述材质数据进行配置，生成个性化材质数据。
步骤S903、所述前端设备基于所述个性化材质数据，刷新展示的三维模型。
在一些实施例中，后端设备生成个性化材质数据之后，可以向前端设备发送携带个性化材质数据的模型刷新指令。前端设备响应于该模型刷新指令，对基于所述个性化材质数据，在第二交互界面中刷新已展示的三维模型。在另一实施例中，在后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型之后，并不会在该第二交互界面中展示对应的三维模型，而是在接收到模型配置指令之后，直接展示基于个性化材质数据更新后的三维模型。
在一些实施例中，在模型刷新指令携带个性化材质数据的情况下，前端设备基于所述个性化材质数据和现有的三维形状数据生成刷新后的三维模型。
在一些实施例中，基于图8，所述方法还包括S904至S906，将结合图9B示出的步骤进行说明。
步骤S904、响应于所述第二模型配置指令，解析所述第二模型配置指令得到第二配置数据，并向所述后端设备发送所述第二配置数据。
在一些实施例中，所述前端设备接收第二模型配置指令，响应于所述第二模型配置指令，解析所述第二模型配置指令得到第二配置数据，并向所述后端设备发送所述第二配置数据。该第二配置指令为自定义模型配置指令，该自定义模型配置指令用于在待重建对象的三维模型的基础上，增加个性化三维模型。
在一些实施例中，以待重建对象为人脸对象为例，该自定义模型配置指令可以包括以下至少之一：帽子配置指令、眼镜配置指令、发型配置指令等。基于上述自定义模型配置指令可以在构建的人脸对象的三维模型中增加个性化的属性信息。
步骤S905、所述后端设备基于所述第二配置数据生成个性化三维模型。
在一些实施例中，在模型配置指令为材质配置指令的情况下，后端设备基于所述配置数据生成个性化三维模型。需要说明的是，这里生成的个性化三维模型并不会对上述待重建对象的三维模型进行变更，而是在原始的待重建对象的三维模型的基础上，增加该个性化三维模型，以实现对待重建对象的三维模型的更新。
步骤S906、所述前端设备基于所述个性化三维模型，刷新展示的三维模型。
在一些实施例中，后端设备生成个性化三维模型之后，可以向前端设备发送携带个性化三维模型的模型刷新指令。前端设备响应于该模型刷新指令，对基于个性化三维模型，在第二交互界面中刷新已展示的三维模型。在另一实施例中，在后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型之后，并不会在该第二交互界面中展示对应的三维模型，而是在接收到模型配置指令之后，直接展示个性化三维模型更新后的三维模型。
在一些实施例中，在模型刷新指令携带个性化三维模型的情况下，前端设备在原始的待重建对象的三维模型的基础上，增加展示渲染该个性化三维模型，以实现对待重建对象的三维模型的刷新展示。
在一些实施例中，所述三维模型包括三维形状数据，所述方法还包括：所述后端设备基于三维计算机图形软件对所述三维形状数据进行更新，得到更新后的三维形状数据。
其中，后端设备在基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型之后，考虑到生成的三维模型的部分位置的细节不是特别丰富，因此，本申请实施例还可以通过预先配置好的三维计算机图形软件对所述三维形状数据进行更新，得到更新后的三维形状数据。
其中，该三维计算机图形软件用于对三维形状数据进行顶点增强处理。示例性的，该三维计算机图形软件可以为Houdini软件。
本申请实施例中，通过前端设备接收用户针对待重建对象的模型重建指令，通过后端设备对输入图像进行模型重建，并通过前端设备展示给用户，实现了三维模型的快速重建和可视化展示效果；同时，通过前端设备接收用户的模型配置指令，实现了基于交互指令生成了自定义的三维模型。
下面说明本申请实施例提供的三维模型重建方法在实际场景中的应用，主要涉及人脸三维模型的重建过程，由此，以下实施例中的人脸重建模型对应上述实施例中的重建模型。
请参阅图10，其示出了本申请提供的一种人脸重建模型的模型架构图，其中，该人脸重建模型1000可以包括特征提取网络1010、特征解耦网络1020、材质解码网络1030、三维形状解码网络1040和二维图像投影网络1050，以下将对各个网络进行说明。
特征提取网络1010用于对输入图像进行特征提取，得到该输入图像的公共特征向量（common embedding）。其中，该公共特征向量同时携带了该输入图像中人脸对象的材质信息、三维形状信息和二维图像信息。
该特征解耦网络1020用于对该输入图像的公共特征向量进行特征解耦，得到该输入图像的材质特征向量、三维形状特征向量和二维图像特征向量。其中，经过该特征解耦网络对上述公共特征向量进行解耦，可以分别得到携带材质信息材质特征向量、携带三维形状信息的三维形状特征向量和携带二维图像信息的二维图像特征向量。
该材质解码网络1030用于基于该材质特征向量，生成该人脸对象对应的材质数据。
该三维形状解码网络1040用于基于该三维形状特征向量，生成该人脸对象对应的三维形状数据。
该二维图像投影网络1050用于基于该二维图像特征向量，生成该人脸对象对应的二维图像数据。
图11是本申请实施例提供的人脸重建模型的训练方法的一个可选的流程示意图。将结合图11示出的步骤进行说明。
步骤S1101、获取样本数据；所述样本数据包括样本图像和该样本图像对应的标准数据。
其中，该样本图像为包括人脸对象的二维图像，该样本图像对应的标准数据包括该人脸对象在三个维度上的标准数据，包括标准材质数据、标准三维形状数据和标准二维图像数据。
步骤S1102、基于初始的重建模型，对该样本图像中的人脸对象进行模型重建，得到重建数据。
其中，将该样本图像输入至初始的重建模型，得到该初始重建模型输出的重建数据；该重建数据包括重建材质数据、重建三维形状数据和重建二维图像数据。
在一些实施例中，参照上述实施例中重建模型的模型架构图，人脸重建模型包括特征提取网络、特征解耦网络、材质解码网络、三维形状解码网络和二维图像投影网络。基于此，可以通过步骤S11021至步骤S11023实现上述基于初始的重建模型，对该样本图像中的人脸对象进行模型重建，得到重建数据。
步骤S11021、利用初始的重建模型中的特征提取网络对样本图像进行特征提取，得到该样本图像对应的公共特征向量。
其中，将该样本图像输入至初始的重建模型中的特征提取网络，得到该样本图像对应的公共特征向量。
步骤S11022、利用初始的重建模型中的特征解耦网络对该样本图像对应的公共特征向量进行解耦，得到该样本图像对应的材质特征向量、三维形状特征向量和二维图像特征向量。
步骤S11023、利用初始的重建模型中的材质解码网络对材质特征向量进行解码，得到该样本图像对应的重建材质数据；利用初始的重建模型中的三维形状解码网络对三维形状特征向量进行解码，得到该样本图像对应的重建三维形状数据；利用初始的重建模型中的二维图像投影网络对二维图像特征向量进行解码，得到该样本图像对应的重建二维图像数据。
步骤S1103、基于所述标准数据和所述重建数据，对所述重建模型进行训练，直至达到预设的收敛条件时，输出训练后的重建模型。
在一些实施例中，该预设的收敛条件包括以下至少之一：基于该标准数据和所述重建数据确定的损失值小于预设的收敛阈值；相邻两次迭代之间的网络参数变化量小于预设的参数阈值；达到预设的最大迭代次数。
在一些实施例中，可以通过步骤S11031至步骤S11033实现上述基于所述标准数据和所述重建数据，对所述重建模型进行训练。
步骤S11031、基于所述标准材质数据和重建材质数据确定材质损失值，并基于该材质损失值对初始的重建模型中的材质解码网络的网络参数进行调整。
步骤S11032、基于所述标准三维形状数据和重建三维形状数据确定三维形状损失值，并基于该三维形状损失值对初始的重建模型中的三维形状解码网络的网络参数进行调整。
步骤S11033、基于所述标准二维图像数据和重建二维图像数据确定二维图像损失值，并基于该二维图像损失值对初始的重建模型中的二维图像投影网络的网络参数进行调整。
步骤S11034、基于材质损失值、三维形状损失值和二维图像损失值，确定综合损失值，并基于该综合损失值对初始的重建模型中的特征提取网络和特征解耦网络的网络参数进行调整。
图12是本申请实施例提供的人脸三维模型的重建方法的一个可选的流程示意图，该方法可以由计算机设备的处理器执行。将结合图7示出的步骤进行说明。
步骤S1201、获取包括人脸对象的输入图像。
步骤S1202、对输入图像进行特征提取，得到该输入图像对应的公共特征向量。
步骤S1203、对该输入图像对应的公共特征向量进行解耦，得到该输入图像对应的材质特征向量和三维形状特征向量。
步骤S1204、对该输入图像对应的材质特征向量进行解码，得到该输入图像对应的重建材质数据；对该输入图像对应的三维形状特征向量进行解码，得到该人脸对象对应的重建三维形状数据。
在一些实施例中，可以通过训练后的人脸重建模型执行上述步骤S1202至步骤S1204。其中，训练后的重建模型包括特征提取网络、特征解耦网络、材质解码网络和三维形状解码网络，基于此，上述步骤可以更新为：通过特征提取网络对输入图像进行特征提取，得到该输入图像对应的公共特征向量。通过特征解耦网络对该输入图像对应的公共特征向量进行解耦，得到该输入图像对应的材质特征向量和三维形状特征向量。通过材质解码网络对该输入图像对应的材质特征向量进行解码，得到该输入图像对应的重建材质数据；通过三维形状解码网络对该输入图像对应的三维形状特征向量进行解码，得到该输入图像对应的重建三维形状数据。进而，可以得到该人脸对象对应的重建材质数据和重建三维形状数据。
图13是本申请实施例提供的人脸重建方法在实际实施场景下的一个可选的流程示意图，该方法可以由前端设备和后端设备共同执行。将结合图13示出的步骤进行说明。
步骤S1301、响应于接收模型重建指令，所述前端设备向所述后端设备发送所述输入图像。
步骤S1302、后端设备基于该包括人脸对象的输入图像，对该人脸对象进行重建，得到该人脸对象对应的重建材质数据和重建三维形状数据。
这里，步骤S1302中，基于输入图像生成重建材质数据和重建三维形状数据的过程可以参阅上述实施例中的实施方式。
步骤S1303、前端设备接收模型配置指令，响应于所述模型配置指令，解析所述模型配置指令得到配置数据，并向后端设备发送所述配置数据。
在一些实施例中，该模型配置指令可以包括以下至少之一：材质明暗配置指令、材质颜色配置指令、肤质配置指令和材质图案配置指令等。其中，材质明暗配置指令用于对人脸的材质数据的明暗程度进行调整；材质颜色配置指令用于对人脸的色调进行调整；材质材质配置指令用于对人脸的肤质类型进行调整；材质图案配置指令用于对材质数据的图案进行调整，如增加伤疤贴图覆盖原始人脸材质。
在一些实施例中，该模型配置指令还可以包括以下至少之一：帽子配置指令、眼镜配置指令、发型配置指令等。基于上述自定义模型配置指令可以在构建的人脸对象的三维模型中增加个性化的属性信息。
步骤S1304、后端设备基于所述配置数据对所述材质数据进行配置，生成个性化材质数据，和/或，所述后端设备基于所述配置数据生成个性化三维模型。
步骤S1305、后端设备基于三维计算机图形软件对该重建三维形状数据进行修正，得到目标三维形状数据。
步骤S1306、前端设备展示该人脸对象对应的三维重建模型；该三维重建模型基于该个性化材质数据、个性化三维模型和目标三维形状数据生成。
基于前述的实施例，本申请实施例提供一种重建模型的训练装置、三维模型重建装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器（Central Processing Unit，CPU）、微处理器（Microprocessor Unit，MPU）、数字信号处理器（Digital Signal Processor，DSP）或现场可编程门阵列（FieldProgrammable GateArray，FPGA）等。
图14为本申请实施例提供的一种重建模型的训练装置的组成结构示意图，如图14所示，重建模型的训练装置1400包括：获取模块1410、重建模块1420、训练模块1430和输出模块1440，其中：
获取模块1410，用于获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；
重建模块1420，用于基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；
训练模块1430，用于基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；
输出模块1440，用于响应于达到预设的收敛条件，输出训练后的重建模型。
在一些实施例中，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；所述重建模块1420，还用于：利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。
在一些实施例中，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
在一些实施例中，所述特征解码网络包括材质解码网络和三维形状解码网络；所述重建模块1420，还用于：通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。
在一些实施例中，所述训练模块1430，还用于：基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值；基于所述标准投影图像和所述重建投影图像确定投影图像损失值；基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
在一些实施例中，所述训练模块1430，还用于：基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值，并基于所述三维模型损失值对所述特征解码网络的网络参数进行调整。
在一些实施例中，所述训练模块1430，还用于：基于所述标准投影图像和所述重建投影图像确定投影图像损失值，并基于所述投影图像损失值对所述二维图像投影网络的网络参数进行调整。
图15为本申请实施例提供的一种三维模型重建装置的组成结构示意图，如图15所示，三维模型重建装置1500包括：特征提取模块1510、特征解耦模块1520、特征解码模块1530，其中：
特征提取模块1510，用于对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；特征解耦模块1520，用于对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；特征解码模块1530，用于对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
在一些实施例中，所述公共特征向量还携带所述待重建对象的二维图像投影信息；所述公共特征向量中的二维图像投影信息用于对所述公共特征向量携带的三维模型信息进行校准。
在一些实施例中，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
在一些实施例中，所述特征解码模块1530，还用于：对所述材质特征向量进行解码，得到所述待重建对象的材质数据；对三维形状特征向量进行解码，得到所述待重建对象对应的三维形状数据；基于所述待重建对象的材质数据和三维形状数据，生成所述待重建对象对应的三维模型。
在一些实施例中，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；其中，所述特征提取模块1510，用于通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述特征解耦模块1520，用于通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；所述特征解码模块1530，用于通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型。
在一些实施例中，在训练过程中，所述特征解耦网络还用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征提取网络和所述特征解耦网络至少基于所述待重建对象的标准投影图像和重建投影图像进行训练。
图16为本申请实施例提供的一种三维模型重建系统的组成结构示意图，如图16所示，三维模型重建系统1600包括：前端设备1610和后端设备1620，其中：所述前端设备1610，用于响应于接收模型重建指令，向所述后端设备发送所述输入图像；所述模型重建指令携带包括待重建对象的输入图像；所述后端设备1620，用于基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型。
在一些实施例中，所述后端设备1620还用于向所述前端设备1610发送携带所述三维模型的渲染指令；所述前端设备1610还用于响应于接收所述渲染指令，渲染并展示所述三维模型。
在一些实施例中，所述三维模型包括材质数据，所述前端设备1610还用于响应于第一模型配置指令，解析所述第一模型配置指令得到第一配置数据，并向所述后端设备发送所述第一配置数据；所述后端设备1620还用于基于所述第一配置数据对所述材质数据进行配置，生成个性化材质数据；所述前端设备1610还用于基于所述个性化材质数据，刷新展示的三维模型。
在一些实施例中，所述三维模型包括材质数据，所述前端设备1610还用于响应于所述第二模型配置指令，解析所述第二模型配置指令得到第二配置数据，并向所述后端设备发送所述第二配置数据；所述后端设备1620还用于基于所述第二配置数据生成个性化三维模型；所述前端设备1610还用于基于所述个性化三维模型，刷新展示的三维模型。
在一些实施例中，所述待重建对象对应的三维模型包括三维形状数据；所述后端设备1620还用于基于三维计算机图形软件对所述三维形状数据进行更新，得到更新后的三维形状数据。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的重建模型的训练方法和三维模型重建方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
图17为本申请实施例提供的一种计算机设备的硬件实体示意图，如图17所示，该计算机设备1700的硬件实体包括：处理器1701和存储器1702，其中，存储器1702存储有可在处理器1701上运行的计算机程序，处理器1701执行程序时实现上述任一实施例的方法中的步骤。
存储器1702存储有可在处理器上运行的计算机程序，存储器1702配置为存储由处理器1701可执行的指令和应用，还可以缓存待处理器1701以及计算机设备1700中各模块待处理或已经处理的数据（例如，图像数据、音频数据、语音通信数据和视频通信数据），可以通过闪存（FLASH）或随机访问存储器（Random Access Memory，RAM）实现。
处理器1701执行程序时实现上述任一项的重建模型的训练方法和三维模型重建方法的步骤。处理器1701通常控制计算机设备1700的总体操作。
本申请实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的重建模型的训练方法和三维模型重建方法的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
上述处理器可以为目标用途集成电路（Application Specific IntegratedCircuit，ASIC）、数字信号处理器（Digital Signal Processor，DSP）、数字信号处理装置（DigitalSignal Processing Device，DSPD）、可编程逻辑装置（Programmable LogicDevice，PLD）、现场可编程门阵列（Field Programmable Gate Array，FPGA）、中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器（Read Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory，EEPROM）、磁性随机存取存储器（Ferromagnetic Random Access Memory，FRAM）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（Compact Disc Read-Only Memory，CD-ROM）等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ReadOnly Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (20)

1.一种重建模型的训练方法，其特征在于，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络，所述方法包括：
获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；
基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；
基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；
响应于达到预设的收敛条件，输出训练后的重建模型；
其中，所述基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像，包括：
利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；
通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；
通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；
通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。
2.根据权利要求1所述的方法，其特征在于，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
3.根据权利要求2所述的方法，其特征在于，所述特征解码网络包括材质解码网络和三维形状解码网络；
所述通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据，包括：
通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；
通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。
4.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：
基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值；
基于所述标准投影图像和所述重建投影图像确定投影图像损失值；
基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。
5.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：
基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值，并基于所述三维模型损失值对所述特征解码网络的网络参数进行调整。
6.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：
基于所述标准投影图像和所述重建投影图像确定投影图像损失值，并基于所述投影图像损失值对所述二维图像投影网络的网络参数进行调整。
7.一种三维模型重建方法，其特征在于，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络，所述方法包括：
通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；
通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；
通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型；
在训练过程中，所述特征解耦网络用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征解码网络用于对所述样本图像对应的三维模型特征向量进行解码，得到所述样本图像对应的重建三维模型数据，所述重建模型基于所述样本图像对应的标准三维模型数据、重建三维模型数据、所述待重建对象的标准投影图像和所述重建投影图像进行训练。
8.根据权利要求7所述的方法，其特征在于，所述公共特征向量还携带所述待重建对象的二维图像投影信息；所述公共特征向量中的二维图像投影信息用于对所述公共特征向量携带的三维模型信息进行校准。
9.根据权利要求7所述的方法，其特征在于，所述三维模型特征向量包括材质特征向量和三维形状特征向量。
10.根据权利要求9所述的方法，其特征在于，所述对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型，包括：
对所述材质特征向量进行解码，得到所述待重建对象的材质数据；
对三维形状特征向量进行解码，得到所述待重建对象对应的三维形状数据；
基于所述待重建对象的材质数据和三维形状数据，生成所述待重建对象对应的三维模型。
11.一种三维模型重建方法，其特征在于，应用于三维模型重建系统，所述三维模型重建系统包括前端设备和后端设备，所述方法包括：
响应于接收模型重建指令，所述前端设备向所述后端设备发送输入图像；所述模型重建指令携带包括待重建对象的输入图像；
所述后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型；所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；
其中，所述基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型，包括：
通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型；
在训练过程中，所述特征解耦网络用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征解码网络用于对所述样本图像对应的三维模型特征向量进行解码，得到所述样本图像对应的重建三维模型数据，所述重建模型基于所述样本图像对应的标准三维模型数据、所述重建三维模型数据、所述待重建对象的标准投影图像和所述重建投影图像进行训练。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
所述后端设备向所述前端设备发送携带所述三维模型的渲染指令；
响应于接收所述渲染指令，所述前端设备渲染并展示所述三维模型。
13.根据权利要求12所述的方法，其特征在于，所述三维模型包括材质数据，所述方法还包括：
响应于第一模型配置指令，解析所述第一模型配置指令得到第一配置数据，并向所述后端设备发送所述第一配置数据；
所述后端设备基于所述第一配置数据对所述材质数据进行配置，生成个性化材质数据；
所述前端设备基于所述个性化材质数据，刷新展示的三维模型。
14.根据权利要求12所述的方法，其特征在于，所述三维模型包括材质数据，所述方法还包括：
响应于第二模型配置指令，解析所述第二模型配置指令得到第二配置数据，并向所述后端设备发送所述第二配置数据；
所述后端设备基于所述第二配置数据生成个性化三维模型；
所述前端设备基于所述个性化三维模型，刷新展示的三维模型。
15.根据权利要求12至14任一项所述的方法，其特征在于，所述三维模型包括三维形状数据；所述方法还包括：
所述后端设备基于三维计算机图形软件对所述三维形状数据进行更新，得到更新后的三维形状数据。
16.一种重建模型的训练装置，其特征在于，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络，所述装置包括：
获取模块，用于获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；
重建模块，用于基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；
训练模块，用于基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；
输出模块，用于响应于达到预设的收敛条件，输出训练后的重建模型；
所述重建模块，还用于利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。
17.一种三维模型重建装置，其特征在于，所述三维模型重建方法由训练后的重建模型实现，所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络，所述装置包括：
特征提取模块，用于通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；
特征解耦模块，用于通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；
特征解码模块，用于通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型；
在训练过程中，所述特征解耦网络用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征解码网络用于对所述样本图像对应的三维模型特征向量进行解码，得到所述样本图像对应的重建三维模型数据，所述重建模型基于所述样本图像对应的标准三维模型数据、重建三维模型数据、所述待重建对象的标准投影图像和所述重建投影图像进行训练。
18.一种三维模型重建系统，其特征在于，所述三维模型重建系统包括前端设备和后端设备，其中：
所述前端设备，用于响应于接收模型重建指令，所述前端设备向所述后端设备发送输入图像；所述模型重建指令携带包括待重建对象的输入图像；
所述后端设备，用于所述后端设备基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型；
所述训练后的重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络；其中，所述基于训练后的重建模型对所述输入图像中的待重建对象进行模型重建，得到所述待重建对象对应的三维模型，包括：通过所述特征提取网络对包括待重建对象的输入图像进行特征提取，得到所述输入图像对应的公共特征向量；所述公共特征向量携带所述待重建对象的三维模型信息；通过所述特征解耦网络对所述公共特征向量进行解耦，得到所述输入图像对应的三维模型特征向量；通过所述特征解码网络对所述三维模型特征向量进行解码，生成所述待重建对象对应的三维模型；在训练过程中，所述特征解耦网络用于对样本图像对应的公共特征向量进行解耦，得到所述样本图像对应二维图像特征向量；所述二维图像投影网络用于对所述样本图像对应二维图像特征向量进行解码，得到重建投影图像；所述特征解码网络用于对所述样本图像对应的三维模型特征向量进行解码，得到所述样本图像对应的重建三维模型数据，所述重建模型基于所述样本图像对应的标准三维模型数据、所述重建三维模型数据、所述待重建对象的标准投影图像和所述重建投影图像进行训练。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述方法中的步骤，或实现权利要求7至10任一项所述方法中的步骤，或实现权利要求11至15任一项所述方法中的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法中的步骤，或实现权利要求7至10任一项所述方法中的步骤，或实现权利要求11至15任一项所述方法中的步骤。
CN202310639681.5A 2023-06-01 2023-06-01 重建模型的训练和三维模型重建方法、装置、设备及介质 Active CN116363320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310639681.5A CN116363320B (zh) 2023-06-01 2023-06-01 重建模型的训练和三维模型重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310639681.5A CN116363320B (zh) 2023-06-01 2023-06-01 重建模型的训练和三维模型重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116363320A CN116363320A (zh) 2023-06-30
CN116363320B true CN116363320B (zh) 2023-08-25

Family

ID=86913383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310639681.5A Active CN116363320B (zh) 2023-06-01 2023-06-01 重建模型的训练和三维模型重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116363320B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912639B (zh) * 2023-09-13 2024-02-09 腾讯科技（深圳）有限公司 图像生成模型的训练方法和装置、存储介质及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056757A1 (fr) * 2006-11-10 2008-05-15 National University Corporation Toyohashi University Of Technology Procédé et système de recherche de modèle en trois dimensions et programme informatique
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109903313A (zh) * 2019-02-28 2019-06-18 中国人民解放军国防科技大学 一种基于目标三维模型的实时位姿跟踪方法
CN109993825A (zh) * 2019-03-11 2019-07-09 北京工业大学 一种基于深度学习的三维重建方法
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
CN113096249A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 训练顶点重建模型的方法、图像重建方法及电子设备
CN113781659A (zh) * 2021-08-18 2021-12-10 深圳先进技术研究院 一种三维重建方法、装置、电子设备及可读存储介质
CN114067041A (zh) * 2022-01-14 2022-02-18 深圳大学 三维模型的材质生成方法、装置、计算机设备和存储介质
CN114817595A (zh) * 2022-03-17 2022-07-29 深圳市东汇精密机电有限公司 基于草图的三维模型检索方法、装置、设备及介质
CN114863013A (zh) * 2022-03-28 2022-08-05 网易（杭州）网络有限公司 一种目标物体三维模型重建方法
CN114913284A (zh) * 2022-06-08 2022-08-16 厦门美图之家科技有限公司 三维人脸重建模型训练方法、装置和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430642B2 (en) * 2017-12-07 2019-10-01 Apple Inc. Generating animated three-dimensional models from captured images
US12087004B2 (en) * 2020-06-30 2024-09-10 Lyft, Inc. Multi-collect fusion

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056757A1 (fr) * 2006-11-10 2008-05-15 National University Corporation Toyohashi University Of Technology Procédé et système de recherche de modèle en trois dimensions et programme informatique
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109903313A (zh) * 2019-02-28 2019-06-18 中国人民解放军国防科技大学 一种基于目标三维模型的实时位姿跟踪方法
CN109993825A (zh) * 2019-03-11 2019-07-09 北京工业大学 一种基于深度学习的三维重建方法
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
CN113096249A (zh) * 2021-03-30 2021-07-09 Oppo广东移动通信有限公司 训练顶点重建模型的方法、图像重建方法及电子设备
CN113781659A (zh) * 2021-08-18 2021-12-10 深圳先进技术研究院 一种三维重建方法、装置、电子设备及可读存储介质
CN114067041A (zh) * 2022-01-14 2022-02-18 深圳大学 三维模型的材质生成方法、装置、计算机设备和存储介质
CN114817595A (zh) * 2022-03-17 2022-07-29 深圳市东汇精密机电有限公司 基于草图的三维模型检索方法、装置、设备及介质
CN114863013A (zh) * 2022-03-28 2022-08-05 网易（杭州）网络有限公司 一种目标物体三维模型重建方法
CN114913284A (zh) * 2022-06-08 2022-08-16 厦门美图之家科技有限公司 三维人脸重建模型训练方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉信息的三维模型检索方法;王炜杰;CNKI;全文 *

Also Published As

Publication number Publication date
CN116363320A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
Li et al. Monocular real-time volumetric performance capture
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN111369681A (zh) 三维模型的重构方法、装置、设备及存储介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112102477A (zh) 三维模型重建方法、装置、计算机设备和存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN115330947A (zh) 三维人脸重建方法及其装置、设备、介质、产品
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN117237547B (zh) 图像重建方法、重建模型的处理方法和装置
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN116363320B (zh) 重建模型的训练和三维模型重建方法、装置、设备及介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN114266693A (zh) 图像处理方法、模型生成方法及设备
TW202226164A (zh) 像素對準之體積化身
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
CN116883524A (zh) 图像生成模型训练、图像生成方法、装置和计算机设备
CN118521699B (zh) 一种虚拟人三维头发丝发型的生成方法及系统
CN116433852B (zh) 数据处理方法、装置、设备及存储介质
US20240362894A1 (en) Apparatus and method with image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant