CN113096249B - 训练顶点重建模型的方法、图像重建方法及电子设备 - Google Patents
训练顶点重建模型的方法、图像重建方法及电子设备 Download PDFInfo
- Publication number
- CN113096249B CN113096249B CN202110341543.XA CN202110341543A CN113096249B CN 113096249 B CN113096249 B CN 113096249B CN 202110341543 A CN202110341543 A CN 202110341543A CN 113096249 B CN113096249 B CN 113096249B
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- image
- loss value
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000000605 extraction Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种训练顶点重建模型的方法、图像重建方法及电子设备。其中，训练顶点重建模型的方法包括：将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；基于所述总损失值更新所述顶点重建模型的权重参数。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种训练顶点重建模型的方法、图像重建方法及电子设备。
背景技术
相关技术中，通过人体参数化模型(SMPL，Skinned Multi-Person Linear Model)重建出二维图像中的人体图像对应的三维人体网格，但无法重建出有衣服的三维人体图像。
发明内容
有鉴于此，本申请实施例期望提供一种训练顶点重建模型的方法、图像重建方法及电子设备，以解决相关技术中无法重建出有衣服的三维人体图像的技术问题。
为达到上述目的，本申请的技术方案是这样实现的：
本申请实施例提供了一种训练顶点重建模型的方法，包括：
将第一三基色RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
基于所述总损失值更新所述顶点重建模型的权重参数。
上述方案中，所述顶点重建模型包括图卷积网络和残差网络；所述将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据，包括：
将所述第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；
将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征；
基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
上述方案中，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法包括：
基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；
基于重建出的三维人体图像，确定出第二损失值和第三损失值；其中，
所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；
所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；
所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。
上述方案中，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法还包括：
基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，
所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；
所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；
所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
上述方案中，所述第一人体特征和所述第二人体特征通过相同的特征提取模型得到。
上述方案中，所述特征提取模型通过以下方式训练得到：
将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到所述至少一张第二RGB图像样本中每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；
基于每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征，确定出每张第二RGB图像样本和对应的二维投影图像样本之间的相似度；
基于确定出的相似度调整所述特征提取模型的权重参数。
上述方案中，所述方法还包括：
基于第二RGB图像样本和对应的三维人体图像样本，确定出对应的二维投影图像样本；其中，
对应的二维投影图像样本包括：
第一二维投影图像样本，表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；以及
第二二维投影图像样本，表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像。
本申请实施例还提供了一种图像重建方法，包括：
将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
所述顶点重建模型为采用上述任一种所述的训练顶点重建模型的方法练得到的顶点重建模型。
本申请实施例还提供了一种电子设备，包括：
顶点重建单元，用于将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
图像重建单元，基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
确定单元，用于基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
更新单元，用于基于所述总损失值更新所述顶点重建模型的权重参数。
本申请实施例还提供了一种电子设备，包括：
顶点重建单元，用于将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
图像重建单元，用于基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
所述顶点重建模型为采用上述任一种训练顶点重建模型的方法练得到的顶点重建模型。
本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行以下至少之一：
上述任一种训练顶点重建模型的方法的步骤；
上述任一种图像重建方法的步骤。
本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下至少之一：
上述任一种训练顶点重建模型的方法的步骤；
上述任一种图像重建方法的步骤。
本申请实施例，利用顶点重建模型，基于输入的第一RGB图像样本和第一数据，对第一RGB图像样本中的人体图像对应的三维人体网格的顶点进行非刚性形变，得到对三维人体网格进行非刚性形变后的顶点数据，基于该顶点数据重建出第一RGB图像样本对应的二维投影图像和三维人体图像，基于第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出顶点重建模型的总损失值，基于确定出的总损失值更新顶点重建模型的权重参数。由于通过顶点重建模型对三维人体网格进行非刚性形变后得到的顶点数据，能够模拟出三维人体网格在穿上衣服的情况下的形态，因此，基于训练后的顶点重建模型输出的顶点数据能够重建出有衣服的三维人体图像。
附图说明
图1为本申请实施例提供的训练顶点重建模型的方法的实现流程示意图；
图2为本申请实施例提供的训练顶点重建模型的方法中确定RGB图像样本对应的三维人体网格的示意图；
图3为本申请实施例提供的训练顶点重建模型的方法中利用顶点重建模型对三维人体网格进行非刚性形变的示意图；
图4为本申请实施例提供的训练顶点重建模型的方法中利用特征提取模型提取人体特征的示意图；
图5为本申请应用实施例提供的训练顶点重建模型的示意图；
图6为本申请应用实施例提供的训练顶点重建模型的方法的实现流程示意图；
图7为本申请实施例提供的图像重建方法的实现流程示意图；
图8为本申请实施例提供的电子设备的结构示意图；
图9为本申请另一实施例提供的电子设备的结构示意图；
图10为本申请另一实施例电子设备的硬件组成结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。
图1为本申请实施例提供的训练顶点重建模型的方法的实现流程示意图，其中，流程的执行主体为终端、服务器等电子设备。如图1示出的，训练顶点重建模型的方法包括：
步骤101：将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格。
其中，第一数据包括第一RGB图像样本中的人体图像对应的三维人体网格的第一顶点数据和面片数据。第一顶点数据包括顶点的三维坐标，面片数据表征顶点之间的连接关系。一个面片由3个顶点构成。三维人体网格包括6890个顶点和13776个面片。
这里，电子设备基于第一RGB图像样本重建出第一RGB图像样本中的人体图像对应的三维人体网格和SMPL参数，SMPL参数包括形状参数和姿态参数，形状参数表征人体的高度、胖瘦程度等形状，姿态参数表征人体的动作姿态；由于SMPL参数是利用顶点的三维坐标和面片数据进行描述的，因此，电子设备可以基于SMPL参数确定出第一RGB图像样本中的人体图像对应的三维人体网格的第一数据。实际应用时，如图2所示，电子设备将第一RGB图像样本输入至人体网格恢复(HMR，Human Mesh Recovery，HMR)模型，得到重建出的三维人体网格和SMPL参数。当然也可以利用其它人体网格重建模型确定出第一RGB图像样本对应的三维人体网格，例如，SMPLify-X。
电子设备在确定出第一RGB图像样本对应的三维人体网格的第一数据的情况下，将第一数据中的面片数据转换成邻接矩阵，并将面片数据对应的邻接矩阵和第一数据中的第一顶点数据输入至顶点重建模型，利用顶点重建模型基于第一RGB图像样本和第一数据，对重建出的三维人体网格进行非刚性形变，得到顶点重建模型输出的对三维人体网格进行非刚性形变后的第二顶点数据。其中，邻接矩阵用于描述顶点之间的连接关系；邻接矩阵的行和列均表征顶点，邻接矩阵的值表征对应的两个顶点之间是否连接。顶点重建模型用于改变输入的三维人体网格的至少部分顶点的位置，来实现对三维人体网格进行非刚性形变，以模拟三维人体网格在穿上衣服的情况下的形态。第二顶点数据包括顶点的三维坐标和顶点之间的连接关系。
为了更好地模拟三维人体网格在穿上衣服的情况下的效果，在一些实施例中，顶点重建模型包括图卷积网络和残差网络，所述将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据，包括：
将第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；
将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到第一RGB图像样本的第二语义特征；
基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
如图3所示，顶点重建模型包括的图卷积网络和残差网络是并行的，残差网络包括至少两个图卷积层。图卷积网络和残差网络均为编码器。
电子设备将第一数据输入至顶点重建模型中的图卷积网络进行特征提取，得到图卷积网络输出的第一语义特征；电子设备将第一RGB图像样本输入至顶点重建模型中的残差网络进行特征提取，得到残差网络输出的第二语义特征；将第一语义特征和第二语义特征进行特征融合，以对重建出的三维人体网格进行非刚性形变，从而得到融合后的语义特征；将融合后的语义特征输入至顶点重建模型中的解码器进行解码，得到对重建出的三维人体网格进行非刚性形变后的第二顶点数据。
第一语义特征表征第一RGB图像样本中的人体轮廓、人体姿态等特征，第一语义特征在图3中表示为白色色块。第二语义特征表征第一RGB图像样本中人体图像的深度语义特征，第二语义特征在图3中表示为黑色色块。实际应用时，第一RGB图像样本中人体图像的深度语义特征可以表征人体图像中衣服的特征，例如，衣服轮廓、衣服褶皱等。
实际应用时，可以将第一语义特征和第二语义特征进行叠加，得到融合后的语义特征，当然，也可以对第一语义特征和第二语义特征进行加权融合，得到融合后的语义特征。考虑到第二语义特征是由残差网络的输入与残差网络中最后一层图卷积层输出的结果叠加得到，在对三维人体网格进行刚性形变的过程中起主要作用，较大程度上影响着刚性形变结果，因此，在加权融合时，第二语义特征对应的权重可以大于第一语义特征的权重。
本实施例中，通过对第一语义特征和第二语义特征进行特征融合，来改变三维人体网格上至少部分顶点的位置，从而实现对三维人体网格进行非刚性形变，可以更准确地模拟出三维人体网格在穿上衣服的情况下的形态。
步骤102：基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像。
电子设备基于第一RGB图像样本对应的设定的相机参数，将顶点重建模型输出的第二顶点数据投影到相机平面，得到第一RGB图像样本对应的二维投影图像。实际应用时，基于P1＝K·P(θ，β)，确定出第一RGB图像样本对应的二维投影图像。其中，P1表征第一RGB图像样本对应的二维投影图像，K表征第一RGB图像样本对应的设定的相机参数；P(θ，β)表征第二顶点数据。
电子设备基于顶点重建模型输出的第二顶点数据重建出第一RGB图像样本中的人体图像对应的有衣服的三维人体图像。这里，由于第二顶点数据是对重建出的人体网格进行非刚性形变得到的顶点数据，能够模拟出三维人体网格在穿上衣服的情况下的形态，该顶点数据包括顶点的三维坐标和顶点之间的连接关系，因此，基于第二顶点数据能够重建出有衣服的三维人体图像。
步骤103：基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值。
这里，电子设备基于第一RGB图像样本和重建出的二维投影图像之间的相似度，以及基于重建出的三维人体图像中的所有顶点，确定出顶点重建模型的总损失值。
实际应用中，电子设备可以基于以下公式计算顶点重建模型的总损失值：
Loss＝Lrecon+Llap+Lloc+λ(Lc+Ln) (1)
其中，Lrecon表征第一RGB图像样本和重建出的二维投影图像之间的相似度；Llap表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；Lloc表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值；λ为常数，当获取到第一RGB图像样本对应的设定的三维人体图像时，λ为1；当未获取到第一RGB图像样本对应的设定的三维人体图像时，λ为0；Lc表征重建出的三维人体图像相较于设定的三维人体图像的损失值；Ln表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
在一些实施例中，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法包括：
基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；
基于重建出的三维人体图像，确定出第二损失值和第三损失值；其中，
所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；
所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；
所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。
这里，电子设备计算第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征之间的余弦相似度，得到第一权重；基于重建出的三维人体图像中的所有顶点的拉普拉斯坐标，确定出第二损失值；基于重建出的三维人体图像中的所有顶点的邻边长度，确定出第三损失值；电子设备计算第一损失值、第二损失值和第三损失值之和，得到顶点重建模型的总损失值。
实际应用时，第一权重
其中，D(x)表征第一RGB图像样本的第一人体特征；D(x')表征二维投影图像的第二人体特征。
第二权重
其中，p表征重建出的三维人体图像中的顶点；δ表征顶点p的拉普拉斯坐标；δ'表征顶点p的邻顶点的拉普拉斯坐标。
第三权重
其中，k表征顶点p的邻顶点。
在本实施例中，在未设定第一RGB图像样本对应的三维人体图像的情况下，也可以基于单张包含人体图像的第一RGB图像样本重建出有衣服的三维人体图像，在重建三维人体图像的过程中，可以降低对第一RGB图像样本对应的设定的三维人体图像的依赖。将第一权重、第二权重和第三权重之间的总和，确定为顶点重建模型的总损失值，可以使得训练得到的顶点重建模型可以更准确地对三维人体网格进行非刚性形变，可以使得非刚性形变更平滑。
在一些实施例中，在设定了第一RGB图像样本对应的三维人体图像的情况下，式(1)中的λ为1，所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法还包括：
基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，
所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；
所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；
所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
这里，设定的三维人体图像与第一RGB图像样本相对应，设定的三维人体图像是利用三维扫描设备对设定人体进行三维扫描得到，对应的第一RGB图像样本是对该设定人体拍摄得到。设定的三维人体图像对应的扫描角度与第一RGB图像样本对应的拍摄角度。
第四损失值对应式(1)中的Lc，
其中，q表征第一RGB图像样本对应的设定的三维人体图像中最接近重建出的三维人体图像中的顶点p的顶点。第四损失值用于限制重建出的三维人体图像中的顶点的具体位置。
第五损失值对应式(1)中的Ln，
其中，nq表征第一RGB图像样本对应的设定的三维人体图像中顶点q的法向量；k表征顶点p的邻顶点。第五损失值用于增强顶点的法向量的一致性。
电子设备在确定出第一损失值至第五损失值的情况下，计算确定出的所有损失值的总和，得到顶点重建模型的总损失值。
本实施例中，在计算顶点重建模型的总损失值时，考虑到了重建出的三维人体图像相对于第一RGB图像样本对应的设定的三维人体图像的损失值，可以使得基于训练后的顶点重建模型输出的第二顶点数据重建出的三维人体图像更准确。
在一些实施例中，在确定第一权重时，所述第一人体特征和所述第二人体特征通过相同的特征提取模型得到。
如图4所示，电子设备在确定第一权重时，电子设备将第一RGB图像样本输入至第一特征提取模型进行特征提取，得到第一人体特征；将基于第二顶点数据重建出的二维投影图像输入至第二特征提取模型进行特征提取，得到第二人体特征。
其中，第一特征提取模型和第二特征提取模型之间共享权重，也就是说，第一特征提取模型的权重参数和第二特征提取模型的权重参数相同，第一特征提取模型的结构和第二特征提取模型的结构也相同。实际应用时，电子设备在训练得到第一特征提取模型的情况下，可以复制第一特征提取模型，得到第二特征提取模型。第一特征提取模型和第二特征提取模型均由图卷积网络构成。
由于在训练顶点重建模型的过程中，需要利用特征提取模型输出的人体特征计算顶点重建模型的损失值，因此，在训练顶点重建模型之前，需要先训练出特征提取模型。在一些实施例中，所述特征提取模型通过以下方式训练得到：
将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到所述至少一张第二RGB图像样本中每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；
基于每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征，确定出每张第二RGB图像样本和对应的二维投影图像样本之间的相似度；
基于确定出的相似度调整所述特征提取模型的权重参数。
这里，电子设备可以从数据库中获取至少一张第二RGB图像样本和每张第二RGB图像样本对应的二维投影图像样本。第二RGB图像样本与第一RGB图像样本可以不同。实际应用时，数据库中存储的第二RGB图像样本对应的二维投影图像样本，可以是二维真值投影图像，也可以是基于第二RGB图像样本重建出的三维人体网格得到。二维真值投影图像是指由第二RGB图像样本对应的三维人体图像样本得到。三维人体图像样本是设定的，利用三维扫描设备对设定人体进行三维扫描得到；对应的第二RGB图像样本是对该设定人体进行平面拍摄得到。三维人体图像样本对应的扫描角度和对应的第二RGB图像样本对应的拍摄角度相同。
电子设备在获取到第二RGB图像样本和对应的二维投影图像样本的情况下，将第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；基于第三人体特征和对应的第四人体特征，确定出第二RGB图像样本和对应的二维投影图像样本之间的相似度，并将特征提取模型的相似度在特征提取模型中进行反向传播，在将相似度反向传播至特征提取模型的各个层的过程中，根据相似度计算出损失函数的梯度，并沿梯度的下降方向更新反向传播到当前层的权重参数。
其中，可以将第二RGB图像样本和对应的二维投影图像样本分别输入至两个相同的特征提取模型进行特征提取，也可以输入将第二RGB图像样本和对应的二维投影图像样本输入至同一个特征提取模型进行特征提取。
实际应用时，可以在确定出的相似度小于设定阈值时，停止训练特征提取模型，也可以在权重更新次数达到设定次数时，停止训练特征提取模型。
在一些实施例中，为了提高特征提取模型的鲁棒性和准确度，所述方法还包括：
基于第二RGB图像样本和对应的三维人体图像样本，确定出对应的二维投影图像样本；其中，
对应的二维投影图像样本包括：
第一二维投影图像样本，表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；以及
第二二维投影图像样本，表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像。
这里，电子设备基于第二RGB图像样本和对应的三维人体图像样本，确定出第二RGB图像样本对应的二维投影图像样本。对应的三维人体图像是设定的。
电子设备从数据库中获取第二RGB图像样本和对应的三维人体图像样本；将第二RGB图像样本对应的三维人体图像样本投影至相机平面，得到第一二维投影图像样本；将第二RGB图像样本输入至HMR模型，得到重建出的三维人体网格样本和SMPL参数，基于重建出的三维人体网格样本的SMPL参数，将重建出的三维人体网格样本投影至相机平面，得到RGB样本图像对应的第二二维投影图像样本。
电子设备在得到第二RGB图像样本、第二RGB图像样本对应的第一二维投影图像样本和第二二维投影图像样本的情况下，基于第二RGB图像样本和对应的第一二维投影图像样本，以及基于第二RGB图像样本和对应的第二二维投影图像样本，对特征提取模型进行训练。
实际应用时，可以从多个视角对设定人体进行拍摄或扫描，从而得到第二RGB图像样本和对应的设定的三维人体图像；相应地，基于第二RGB图像样本和对应的三维人体图像样本，确定出的二维投影图像样本，也是多视角的，从而进一步增强特征提取模型的鲁棒性。
步骤104：基于所述总损失值更新所述顶点重建模型的权重参数。
电子设备根据确定出的总损失值更新顶点重建模型的权重参数，以提升基于顶点重建模型输出的顶点数据重建出的三维人体图像的准确度。其中，电子设备将顶点重建模型的总损失值在顶点重建模型中进行反向传播，在将总损失值反向传播至顶点重建模型的各个层的过程中，根据总损失值计算出损失函数的梯度，并沿梯度的下降方向更新反向传播到当前层的权重参数。
电子设备将更新后得到的权重参数，作为训练完毕的顶点重建模型所使用的权重参数。这里，可设定更新停止条件，在满足更新停止条件时，将最后一次更新得到的权重参数，确定为训练完毕的顶点重建模型所使用的权重参数。更新停止条件如设定的训练轮次(epoch)，一个训练轮次即为根据一张第一RGB图像样本对顶点重建模型训练一次的过程。当然，更新停止条件并不限于此，例如还可为设定的相似度等，在未获取到第一RGB图像样本对应的设定的三维人体图像的情况下，设定的相似度表征第一RGB图像样本和二维投影图像之间的第一相似度；在获取到第一RGB图像样本对应的设定的三维人体图像的情况下，设定的相似度表征设定的三维人体图像和重建出的三维人体图像之间的相似度。
在本申请实施例中，利用顶点重建模型，基于输入的第一RGB图像样本和和第一数据，对第一RGB图像样本中的人体图像对应的三维人体网格的顶点进行非刚性形变，得到对三维人体网格进行非刚性形变后的顶点数据，基于该顶点数据重建出第一RGB图像样本对应的二维投影图像和三维人体图像，基于第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出顶点重建模型的总损失值，基于确定出的总损失值更新顶点重建模型的权重参数。由于通过顶点重建模型对三维人体网格进行非刚性形变后得到的顶点数据，能够模拟出三维人体网格在穿上衣服的情况下的形态，因此，基于训练后的顶点重建模型输出的顶点数据能够重建出有衣服的三维人体图像。
图5为本申请应用实施例提供的训练顶点重建模型的示意图；在实际应用中，电子设备先训练特征提取模型，然后基于训练完毕的特征提取模型对顶点重建模型进行训练。请一并参阅图6，图6为本申请应用实施例提供的训练顶点重建模型的方法的实现流程示意图，训练顶点重建模型的方法包括：
步骤601：基于至少一张第二RGB图像样本和对应的二维投影图像样本对特征提取模型进行训练，得到训练完毕的特征提取模型。
这里，步骤601的实现过程请参照上文中训练特征提取模型的实现过程的相关描述，此处不赘述。
实际应用时，利用第二RGB图像样本对应的三维人体网格，对应的二维投影图像样本包括：第一二维投影图像样本和第二二维投影图像样本。
第一二维投影图像样本表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；第二RGB图像样本对应的三维人体网格由HMR模型基于第二RGB图像样本得到。
第二二维投影图像样本表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像；第二RGB图像样本对应的三维人体网格通过三维扫描设备对人体样本进行扫描得到。
步骤602：将第一数据输入至顶点重建模型中的图卷积网络，得到第一RGB图像样本中的人体图像对应的三维人体网格的第一语义特征；所述第一数据用于表征所述三维人体网格。
步骤603：将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征。
步骤604：基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
步骤605：基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像。
步骤606：基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值。
这里，在未获取到第一RGB图像样本对应的设定的三维人体图像的情况下，顶点重建模型的总损失值是上述第一损失值、第二损失值和第三损失值之间的总和，此时，采用半监督学习的方式对顶点重建模型进行训练，可以提高训练顶点重建模型的效率；在获取到第一RGB图像样本对应的设定的三维人体图像的情况下，顶点重建模型的总损失值是第一损失值至第五损失值的总和，可以更准确地确定出顶点重建模型的损失值；具体实现过程请参照上述计算顶点重建模型的总损失值的相关描述，此处不赘述。
步骤607：基于所述总损失值更新所述顶点重建模型的权重参数。
这里，步骤607的实现过程请参照上述实施例中步骤104的相关描述。
本申请实施例中，所采用的HMR模型、由图卷积网络构成的顶点重建模型和特征提取模型，均属于回归模型，在利用回归模型进行训练时，能够较快地确定出自变量和因变量之间的关系，以及多个自变量对同一个因变量的影响程度，由此，可以提高训练顶点重建模型的效率。
作为本申请的另一实施例，在顶点重建模型训练完毕后，即可将顶点重建模型投入使用。例如，在重建三维图像的场景中，电子设备可以采用通过上述实施例训练得到的顶点重建模型对单张RGB图像进行图像重建。需要说明的是，训练顶点重建模型对应的实施例中的电子设备，与本实施例中采用顶点重建模型对RGB图像进行图像重建的电子设备可以不同。例如，训练顶点重建模型的主体可以为服务器，利用顶点重建模型对RGB图像进行图像重建的主体可以为手机、平板电脑等终端。
图7示出了本申请实施例提供的图像重建方法的实现流程示意图；如图7所示，电子设备采用训练完毕后的顶点重建模型对RGB图像进行图像重建的实现过程如下：
步骤701：将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格。
这里，RGB图像可以是电子设备拍摄得到，也可以是从数据库中得到。
电子设备利用顶点重建模型，基于输入的RGB图像和第二数据，对RGB图像中的人体图像对应的三维人体网格进行非刚性形变的实现过程，请参照上文中利用顶点重建模型对第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变的相关描述，此处不赘述。
步骤702：基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像。
这里，由于该顶点数据是对RGB图像对应的人体网格进行非刚性形变得到的顶点数据，能够模拟出三维人体网格在穿上衣服的情况下的形态，而该顶点数据包括顶点的三维坐标和顶点之间的连接关系，因此，电子设备可以基于顶点重建模型输出的顶点数据，重建出有衣服的三维人体图像。
本实施例中，电子设备可以基于单张RGB图像重建出有衣服的三维人体图像。
为实现本申请实施例的训练顶点重建模型的方法，本申请实施例还提供了一种电子设备，电子设备可以为终端或服务器，如图8所示，该电子设备包括：
顶点重建单元81，用于将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
图像重建单元82，基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
确定单元83，用于基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
更新单元84，用于基于所述总损失值更新所述顶点重建模型的权重参数。
在一些实施例中，所述顶点重建模型包括图卷积网络和残差网络；顶点重建单元81用于：
将所述第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；
将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征；
基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
在一些实施例中，确定单元83用于：
基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；
基于重建出的三维人体图像，确定出第二损失值和第三损失值；其中，
所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；
所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；
所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。
在一些实施例中，确定单元83还用于：
基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，
所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；
所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；
所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
在一些实施例中，所述第一人体特征和所述第二人体特征通过相同的特征提取模型得到。
在一些实施例中，所述特征提取模型通过以下方式训练得到：
将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到所述至少一张第二RGB图像样本中每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；
基于每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征，确定出每张第二RGB图像样本和对应的二维投影图像样本之间的相似度；
基于确定出的相似度调整所述特征提取模型的权重参数。
在一些实施例中，确定单元83还用于：
基于第二RGB图像样本和对应的三维人体图像样本，确定出对应的二维投影图像样本；其中，
对应的二维投影图像样本包括：
第一二维投影图像样本，表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；以及
第二二维投影图像样本，表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像。
实际应用时，上述各单元可由电子设备中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
需要说明的是：上述实施例提供的电子设备在训练顶点重建模型时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将电子设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与训练顶点重建模型的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
为实现本申请实施例的图像重建方法，本申请实施例还提供了一种电子设备，电子设备可以为终端，如图9所示，该电子设备包括：
顶点重建单元91，用于将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
图像重建单元92，用于基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
所述顶点重建模型为采用上述任一种训练顶点重建模型的方法练得到的顶点重建模型。
实际应用时，顶点重建单元91和图像重建单元92可由电子设备中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
需要说明的是：上述实施例提供的电子设备在进行图像重建时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将电子设备的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与图像重建方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备。图10为本申请实施例电子设备的硬件组成结构示意图，如图10所示，电子设备10包括：
通信接口110，能够与其它设备比如网络设备等进行信息交互；
处理器120，与所述通信接口110连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的训练顶点重建模型的方法，和/或，图像重建方法。而所述计算机程序存储在存储器130上。
当然，实际应用时，电子设备10中的各个组件通过总线系统140耦合在一起。可理解，总线系统140用于实现这些组件之间的连接通信。总线系统140除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统140。
本申请实施例中的存储器130用于存储各种类型的数据以支持电子设备10的操作。这些数据的示例包括：用于在电子设备10上操作的任何计算机程序。
可以理解，存储器130可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器130旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器120中，或者由处理器120实现。处理器120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器120可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器130，处理器120读取存储器130中的程序，结合其硬件完成前述方法的步骤。
可选地，所述处理器120执行所述程序时实现本申请实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器130，上述计算机程序可由电子设备的处理器120执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种训练顶点重建模型的方法，其特征在于，包括：
将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
基于所述总损失值更新所述顶点重建模型的权重参数；
所述基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值时，所述方法包括：
基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；
基于重建出的三维人体图像，确定出第二损失值和第三损失值；
基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
2.根据权利要求1所述的方法，其特征在于，所述顶点重建模型包括图卷积网络和残差网络；所述将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据，包括：
将所述第一数据输入至顶点重建模型中的图卷积网络，得到所述三维人体网格的第一语义特征；
将第一RGB图像样本输入至所述顶点重建模型中的残差网络，得到所述第一RGB图像样本对应的第二语义特征；
基于所述第一语义特征和所述第二语义特征，确定出对所述三维人体网格进行非刚性形变后的顶点数据。
3.根据权利要求1所述的方法，其特征在于，所述第一损失值表征所述第一RGB图像样本和重建出的二维投影图像之间的相似度；
所述第二损失值表征重建出的三维人体图像中所有顶点的拉普拉斯坐标的正则化损失值；
所述第三损失值表征重建出的三维人体图像中所有顶点的邻边长度的正则化损失值。
4.根据权利要求1所述的方法，其特征在于，所述第一人体特征和所述第二人体特征通过相同的特征提取模型得到。
5.根据权利要求4所述的方法，其特征在于，所述特征提取模型通过以下方式训练得到：
将至少一张第二RGB图像样本和对应的二维投影图像样本输入至特征提取模型，得到所述至少一张第二RGB图像样本中每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征；
基于每张第二RGB图像样本的第三人体特征和对应的二维投影图像样本的第四人体特征，确定出每张第二RGB图像样本和对应的二维投影图像样本之间的相似度；
基于确定出的相似度调整所述特征提取模型的权重参数。
6.根据权利要求5所述的方法，其特征在于，还包括：
基于第二RGB图像样本和对应的三维人体图像样本，确定出对应的二维投影图像样本；其中，
对应的二维投影图像样本包括：
第一二维投影图像样本，表征由第二RGB图像样本对应的三维人体网格投影得到的二维投影图像；以及
第二二维投影图像样本，表征由第二RGB图像样本对应的三维人体图像样本投影得到的二维投影图像。
7.一种图像重建方法，其特征在于，包括：
将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
所述顶点重建模型为采用如权利要求1至6任一项所述的训练顶点重建模型的方法训练得到的顶点重建模型；
其中，所述顶点重建模型为基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；基于重建出的三维人体图像，确定出第二损失值和第三损失值；基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值的顶点重建模型；其中，所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
8.一种电子设备，其特征在于，包括：
顶点重建单元，用于将第一RGB图像样本和第一数据输入顶点重建模型，得到对所述第一RGB图像样本中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第一数据用于表征所述三维人体网格；
图像重建单元，基于所述顶点数据重建出所述第一RGB图像样本对应的二维投影图像和三维人体图像；
确定单元，用于基于所述第一RGB图像样本、重建出的二维投影图像和重建出的三维人体图像，确定出所述顶点重建模型的总损失值；
更新单元，用于基于所述总损失值更新所述顶点重建模型的权重参数；
确定单元，还用于基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；基于重建出的三维人体图像，确定出第二损失值和第三损失值；基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值；其中，所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
9.一种电子设备，其特征在于，包括：
顶点重建单元，用于将RGB图像和第二数据输入顶点重建模型，得到对所述RGB图像中的人体图像对应的三维人体网格进行非刚性形变后的顶点数据；所述第二数据表征所述三维人体网格；
图像重建单元，用于基于所述顶点数据重建出所述RGB图像中的人体图像对应的三维人体图像；其中，
所述顶点重建模型为采用如权利要求1至6任一项所述的训练顶点重建模型的方法训练得到的顶点重建模型；
其中，所述顶点重建模型为基于所述第一RGB图像样本的第一人体特征和重建出的二维投影图像的第二人体特征，确定出第一损失值；基于重建出的三维人体图像，确定出第二损失值和第三损失值；基于设定的三维人体图像和重建出的三维人体图像，确定出第四损失值和第五损失值的顶点重建模型；其中，所述设定的三维人体图像通过对设定人体进行三维扫描得到；所述第一RGB图像样本通过对所述设定人体进行平面拍摄得到；所述第四损失值表征重建出的三维人体图像相较于设定的三维人体图像的损失值；所述第五损失值表征重建出的三维人体图像与设定的三维人体图像之间的顶点的法向量的损失值。
10.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行以下至少之一：
权利要求1至6任一项所述的方法的步骤；
权利要求7所述的方法的步骤。
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下至少之一：
权利要求1至6任一项所述的方法的步骤；
权利要求7所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110341543.XA CN113096249B (zh) | 2021-03-30 | 2021-03-30 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110341543.XA CN113096249B (zh) | 2021-03-30 | 2021-03-30 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096249A CN113096249A (zh) | 2021-07-09 |
| CN113096249B true CN113096249B (zh) | 2023-02-17 |
Family
ID=76671022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110341543.XA Active CN113096249B (zh) | 2021-03-30 | 2021-03-30 | 训练顶点重建模型的方法、图像重建方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096249B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170379A (zh) * | 2021-11-30 | 2022-03-11 | 聚好看科技股份有限公司 | 一种三维模型重建方法、装置及设备 |
| CN115375823B (zh) * | 2022-10-21 | 2023-01-31 | 北京百度网讯科技有限公司 | 三维虚拟服饰生成方法、装置、设备及存储介质 |
| CN115797567B (zh) * | 2022-12-27 | 2023-11-10 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
| CN116363320B (zh) * | 2023-06-01 | 2023-08-25 | 摩尔线程智能科技(北京)有限责任公司 | 重建模型的训练和三维模型重建方法、装置、设备及介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201814835D0 (en) * | 2018-09-12 | 2018-10-24 | Sony Interactive Entertainment Inc | Method and system for generating a 3D reconstruction of a human |
| CN108711185A (zh) * | 2018-05-15 | 2018-10-26 | 清华大学 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
| CN109859296A (zh) * | 2019-02-01 | 2019-06-07 | 腾讯科技（深圳）有限公司 | Smpl参数预测模型的训练方法、服务器及存储介质 |
| CN110175897A (zh) * | 2019-06-03 | 2019-08-27 | 广东元一科技实业有限公司 | 一种3d合成试衣方法和系统 |
| CN110310319A (zh) * | 2019-06-12 | 2019-10-08 | 清华大学 | 光照分离的单视角人体服装几何细节重建方法及装置 |
| CN111275518A (zh) * | 2020-01-15 | 2020-06-12 | 中山大学 | 一种基于混合光流的视频虚拟试穿方法及装置 |
| CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
| CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
| CN111968217A (zh) * | 2020-05-18 | 2020-11-20 | 北京邮电大学 | 基于图片的smpl参数预测以及人体模型生成方法 |
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
| WO2020254448A1 (en) * | 2019-06-17 | 2020-12-24 | Ariel Ai Inc. | Scene reconstruction in three-dimensions from two-dimensional images |
| CN112257686A (zh) * | 2020-12-16 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 人体姿态识别模型的训练方法、装置及存储介质 |
| CN112330813A (zh) * | 2020-11-12 | 2021-02-05 | 首都师范大学 | 一种基于单目深度摄像头的着装下三维人体模型重建方法 |
| CN112418327A (zh) * | 2020-11-25 | 2021-02-26 | Oppo广东移动通信有限公司 | 图像分类模型的训练方法、装置、电子设备以及存储介质 |
| CN112530003A (zh) * | 2020-12-11 | 2021-03-19 | 北京奇艺世纪科技有限公司 | 一种三维人手重建方法、装置及电子设备 |
| CN112530019A (zh) * | 2020-12-11 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 三维人体重建方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9613424B2 (en) * | 2013-09-23 | 2017-04-04 | Beihang University | Method of constructing 3D clothing model based on a single image |
| CN110021069B (zh) * | 2019-04-15 | 2022-04-15 | 武汉大学 | 一种基于网格形变的三维模型重建方法 |
| CN111243085B (zh) * | 2020-01-20 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 图像重建网络模型的训练方法、装置和电子设备 |
-
2021
- 2021-03-30 CN CN202110341543.XA patent/CN113096249B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711185A (zh) * | 2018-05-15 | 2018-10-26 | 清华大学 | 联合刚性运动和非刚性形变的三维重建方法及装置 |
| GB201814835D0 (en) * | 2018-09-12 | 2018-10-24 | Sony Interactive Entertainment Inc | Method and system for generating a 3D reconstruction of a human |
| CN109859296A (zh) * | 2019-02-01 | 2019-06-07 | 腾讯科技（深圳）有限公司 | Smpl参数预测模型的训练方法、服务器及存储介质 |
| CN110175897A (zh) * | 2019-06-03 | 2019-08-27 | 广东元一科技实业有限公司 | 一种3d合成试衣方法和系统 |
| CN110310319A (zh) * | 2019-06-12 | 2019-10-08 | 清华大学 | 光照分离的单视角人体服装几何细节重建方法及装置 |
| WO2020254448A1 (en) * | 2019-06-17 | 2020-12-24 | Ariel Ai Inc. | Scene reconstruction in three-dimensions from two-dimensional images |
| CN111275518A (zh) * | 2020-01-15 | 2020-06-12 | 中山大学 | 一种基于混合光流的视频虚拟试穿方法及装置 |
| CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
| CN111968217A (zh) * | 2020-05-18 | 2020-11-20 | 北京邮电大学 | 基于图片的smpl参数预测以及人体模型生成方法 |
| CN111627101A (zh) * | 2020-05-22 | 2020-09-04 | 北京工业大学 | 一种基于图卷积的三维人体重构方法 |
| CN112085836A (zh) * | 2020-09-03 | 2020-12-15 | 华南师范大学 | 一种基于图卷积神经网络的三维人脸重建方法 |
| CN112330813A (zh) * | 2020-11-12 | 2021-02-05 | 首都师范大学 | 一种基于单目深度摄像头的着装下三维人体模型重建方法 |
| CN112418327A (zh) * | 2020-11-25 | 2021-02-26 | Oppo广东移动通信有限公司 | 图像分类模型的训练方法、装置、电子设备以及存储介质 |
| CN112530003A (zh) * | 2020-12-11 | 2021-03-19 | 北京奇艺世纪科技有限公司 | 一种三维人手重建方法、装置及电子设备 |
| CN112530019A (zh) * | 2020-12-11 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 三维人体重建方法、装置、计算机设备和存储介质 |
| CN112257686A (zh) * | 2020-12-16 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 人体姿态识别模型的训练方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| DeepHuman: 3D Human Reconstruction From a Single Image;Zerong Zheng,et al.;《2019 IEEE/CVF International Conference on Computer Vision(ICCV)》;IEEE;20200227;第7738-7748页 * |
| Detailed 3D Human Body Reconstruction From a Single Image Based on Mesh Deformation;Sizhuo Zhang,et al.;《IEEE Access》;IEEE;20210114;第9卷;第8595-8603页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096249A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113096249B (zh) | 训练顶点重建模型的方法、图像重建方法及电子设备 | |
| US11475624B2 (en) | Method and apparatus for generating three-dimensional model, computer device and storage medium | |
| CN110458957B (zh) | 一种基于神经网络的图像三维模型构建方法及装置 | |
| CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
| Ma et al. | Multiview stereo with cascaded epipolar raft | |
| WO2021253788A1 (zh) | 一种人体三维模型构建方法及装置 | |
| CN112950775A (zh) | 一种基于自监督学习的三维人脸模型重建方法及系统 | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| CN109584327B (zh) | 人脸老化模拟方法、装置以及设备 | |
| CN112991503B (zh) | 一种基于蒙皮权重的模型训练方法、装置、设备及介质 | |
| Kumar et al. | Superpixel soup: Monocular dense 3d reconstruction of a complex dynamic scene | |
| CN113111861A (zh) | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 | |
| CN116958379A (zh) | 图像渲染方法、装置、电子设备、存储介质及程序产品 | |
| CN111275703A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| US11562541B2 (en) | Topology-change-aware volumetric fusion for real-time dynamic 4D reconstruction | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| CN115619933A (zh) | 基于遮挡分割的三维人脸重建方法及系统 | |
| CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
| CN115049764B (zh) | Smpl参数预测模型的训练方法、装置、设备及介质 | |
| US20240161362A1 (en) | Target-augmented material maps | |
| CN110378948A (zh) | 3d模型重建方法、装置及电子设备 | |
| CN113496468B (zh) | 深度图像的修复方法、装置和存储介质 | |
| CN113298948B (zh) | 三维网格重建方法、装置、设备及存储介质 | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN115439309A (zh) | 训练衣服变形模型的方法、虚拟试衣方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |