CN115115776A - 基于影子的单幅图像三维人体重建方法及装置 - Google Patents
基于影子的单幅图像三维人体重建方法及装置 Download PDFInfo
- Publication number
- CN115115776A CN115115776A CN202210678785.2A CN202210678785A CN115115776A CN 115115776 A CN115115776 A CN 115115776A CN 202210678785 A CN202210678785 A CN 202210678785A CN 115115776 A CN115115776 A CN 115115776A
- Authority
- CN
- China
- Prior art keywords
- human body
- shadow
- dimensional
- joint point
- point coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 210000000746 body region Anatomy 0.000 claims abstract description 25
- 230000007613 environmental effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 25
- 230000014509 gene expression Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- LQERIDTXQFOHKA-UHFFFAOYSA-N nonadecane Chemical compound CCCCCCCCCCCCCCCCCCC LQERIDTXQFOHKA-UHFFFAOYSA-N 0.000 claims description 3
- 230000037237 body shape Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于影子的单幅图像三维人体重建方法及装置,所述方法包括:获取含有影子的图像与生成所述影子的环境参数;获取人体区域,并提取影子区域与人体区域内的二维关节点坐标;基于人体区域图像imgbody,计算初始姿态参数与初始体型参数;基于所述环境参数、所述二维关节点坐标Sdetect影子区域与人体区域内的二维关节点坐标优化所述初始姿态参数与所述初始体型参数,得到最优姿态参数与最优体型参数;据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。本发明通过影子能够弥补普通图像内在的深度不确定性缺陷。
Description
技术领域
本发明属于计算机视觉和图形学交叉领域,具体涉及一种基于影子的单幅图像三维人体重建方法及装置。
背景技术
随着VR/AR技术的兴起,三维重建技术作为VR/AR内容生产的重要一环得到越来越多的关注,这也包括三维人体重建。传统的人体重建方法依赖于深度相机,动作捕捉系统或是严格标定和同步的多视角相机群。高额的设备花费和复杂的部署极大限制了这一技术的普及和发展。随着近年来深度学习技术的发展,基于深度学习的方法在从单幅RGB图像输入重建三维人体方向中取得了显著成效,并摆脱了对上述设备的依赖。这类方法通常依赖一个参数化人体模型。深度神经网络作用于输入图像上,输出模型参数,然后由该模型根据参数生成人体网格曲面。
现有的方法通常从图像中提取以下几类有关人体的特征:全身的图像纹理,人体外轮廓,肢体的图像纹理。由于图像内在的深度不确定性,以上这些特征都无法提供准确的人体深度信息,这使得现有方法与高精度人体重建的目标仍有一定差距。另外,深度神经网络需要在标注数据上进行训练。现有的方法通常依赖昂贵且耗时的三维人体标注,因而在部署至无标注的新场景时会产生一定困难。
发明内容
本发明提供了一种基于影子的单幅图像三维人体重建方法及装置,即利用图像中阳光投射在地面上的人体影子提供辅助信息进行重建。因为影子来源的光照投射角度和图像中人体来源的相机投影角度不相同,影子能够弥补普通图像内在的深度不确定性缺陷。本发明使用影子信息约束深度神经网络的三维人体输出参数,最终达到优化重建结果的目的。同时,基于本发明的神经网络训练框架不依赖三维标注数据,能够在含人体影子的任意图像中正常工作。
本发明的技术内容包括:
一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取含有影子的图像与生成所述影子的环境参数;
提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect;
提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d;
基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0;
基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β;
根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
进一步地,所述获取生成所述影子的环境参数,包括:
将标定棋盘格拍摄照片后进行算法标定,获得相机内参矩阵K;
进一步地,所述提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域的二维关节点坐标Sdetect,包括:
构建影子轮廓检测网络,所述影子轮廓检测网络采用MTMT卷积神经网络结构,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化;
将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow;
构建影子关节点估计网络,所述影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练;
将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect。
进一步地,所述提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d,包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像imgbody;
构建二维人体关节点检测网络;
将所述局部图像imgbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d。
进一步地,所述基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0,包括:
构建人体重建网络,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化;
基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络;
将所述局部图像imgbody输入训练后的人体重建网络,得到初始姿态参数θ0与初始体型参数β0。
进一步地,所述基于环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络,包括:
将所述图像中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
基于影子一致性损失函数与重投影损失函数,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1;
直至第一迭代轮数完成,得到训练后的人体重建网络。
进一步地,所述基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β,包括:
基于所述二维关节点坐标Sdetect与所述三维关节点坐标构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项;
基于影子一致性损失函数、重投影损失函数与正则项,对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1;
直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
进一步地,所述根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型,包括:
基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d;
根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数;
提取所述样图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标S′detect;
提取所述样本图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J′2d;
构建人体重建网络,所述人体重建网络采用SPIN网络结构;
基于样本环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络;
将所述图像中人体区域的局部图像,输入训练后的人体重建网络,得到姿态参数θ与体型参数β;
根据所述姿态参数θ与体型参数β,重建三维人体网格模型。
一种电子装置,所述电子装置包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行,以实现上述方法。
与现有方法相比,本发明具有如下的优点:
将影子信息应用到三维人体重建的过程中,利用影子和人体的空间几何配对关系进行人体重建网络的训练,可以摆脱对三维标注数据的依赖,实现低成本训练三维人体重建网络,且重建效果优于已有方法。同时本发明还可以使用影子信息直接优化重建结果,以实时方式实现更准确的三维人体重建。
附图说明
图1为输出结果优化方式的实现流程图。
图2为网络模型优化方式的实现流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面通过具体实现和附图对本发明做详细说明,但不构成对本发明的限制。
本发明针对单幅图像三维人体重建任务,提供一种利用阳光投射在地面的人体影子进行优化的人体重建方法。根据优化目标分成两种模式:(a)基于图片使用场景的环境参数,在含有影子的图像上直接优化人体重建结果;(b)在含有影子的图像上优化网络模型参数,训练后的模型可以在无影子的图像上重建人体模型并得到相比现有方法更好的重建结果。
实施例1:在含有影子的图像上直接优化人体重建结果。
本实施例的硬件平台采用了型号为Intel i9-7900X CPU,NVIDIA GeForce GTX1080Ti显卡。系统程序采用python语言编写,使用pytorch,numpy,opencv库。
本实施例的单幅图像三维人体重建方法,如图1所示,包括以下步骤。
步骤101:标定使用场景的环境参数。
本实施例的环境参数包括:相机内参矩阵K,太阳光照射方向地面法向量和平移量d。标定方法包括相机标定、地面标定和光线标定,即使用标定棋盘格,对其拍摄照片后进行算法标定,获得相机内参矩阵K;使用aruco Marker标定板,将其放在地面上拍摄照片后进行算法标定,获得地面法向量和平移量d;太阳光照射方向使用镜面反射球进行标定,获得光照方向向量具体来说,本发明的标定步骤包括:
1.在相机标定环节,使用python中opencv库的findChessboardCorners功能函数提取棋盘格图像中的角点坐标,使用calibrateCamera功能函数获取相机内参数矩阵K,并从K中提取相机焦距(fx,fy)和光学中心(cx,cy);
2.地面标定分为以下几步:
①使用python中aruco库的aruco.DICT_6X6_1000排列方式打印四张不同形式的标定纸,然后以2×2的方式顺序排列,放入亚克力板中制作为地面标定板。
②测量每张标定纸的外边距和标定纸之间的距离,作为超参数送入地面标定算法。
③在标定过程中,标定板放置于平坦的地面上拍摄标定图像。
④使用相机参数移除标定图像的镜头畸变。然后使用aruco库的detectMarkers功能函数提取角点,使用estimatePoseBoard功能函数获取标定板的旋转向量和平移向量则地面法向量地面偏移量其中H是标定板的厚度。
3.光线标定分为以下几步:
①架设反射球至固定位置,要求在该位置下反射球上能观察到太阳。相机设置标准感光度ISO,对镜面反射球拍摄一张图像,并标记出图像中的球心位置(bu,bv);
③保持镜面反射球的位置不变,相机设置低感光度ISO=64,对镜面反射球再拍摄一张图像,此时图像基本全黑,仅有几个高亮点来源于太阳光折射点。标记出高亮的中心位置(pu,pv),该点即是高亮反射点;
一示例中,相机位置固定的情况下,对环境参数的标定只需要进行一次。记录标定时刻的时间和使用场景的经纬度,可以得到标准坐标系下的太阳俯仰角pitch和偏航角yaw,然后转化为太阳光照参考方向计算相机坐标系下的光照标定方向和参考方向的变换矩阵当太阳朝向随时间变化而变化时,仅需计算当下时刻新的参考方向此时相机坐标系下的光照方向为
步骤102:输入含有影子的人体图像。
本发明所述的影子,是指藉由太阳光将三维空间中的人体投射在平坦地面上形成的阴影区域。地面应基本平坦,无明显凹陷或凸起。具体来说,不会致使影子轮廓出现显著形变即可,且影子应在图像中完全可见。
步骤103:提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect。
本步骤基于影子轮廓检测网络和影子关节点估计网络完成。影子轮廓检测网络采用MTMT卷积神经网络模型,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化。对原图根据影子区域进行二值化处理生成灰度图imgshadow,即影子区域的像素值为255,非影子区域的像素值为0。影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练。然后在真实场景中推断24个关节点在影子区域中的二维坐标。
一示例中,本步骤包括:
1、构建影子轮廓检测网络;
2、将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow;
3、构建影子关节点估计网络;
4、将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect。
一示例中,使用影子轮廓检测网络会对整幅图像区域进行无差别的影子提取。在某些有其他物体阴影的场景中可能会产生干扰。对于这种阴影混杂情况,给出两种解决方案:
①针对静止背景环境,通过人工划分背景区域以及抠除背景区域所产生的静态阴影来排除干扰;
②针对动态背景环境,通过SSIS影子实例分割网络只提取与人体相关的影子。
步骤104:提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d。
本步骤基于人体包围框检测网络和二维人体关节点检测网络,检测的二维关节点J2d包含MPI-INF-3DHP数据集定义的17个人体关节,属于SMPL人体关节集合的子集。
一示例中,本步骤包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像imgbody;
构建二维人体关节点检测网络;
将所述局部图像imgbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d。
步骤105:基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0。
对于输入图像imgbody,通过构建人体重建网络得到初始姿态参数θ0与初始体型参数β0,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化。
一示例中,该人体重建网络的训练过程,如图2所示,包括:
1、将所述图像样本中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
对简化后的影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组:
该方程组的第一行和第二行分别包含24个子方程,因而总计包含48个方程。
5、将所述第一非齐次方程组与所述第二非齐次方程组并列后,可以得到形如At=b的非齐次方程组,之后使用最小二乘求解,得到三维人体相对相机中心的偏移量t=(ATA)-1×ATb;
8、基于影子一致性损失函数与重投影损失函数,得到整体损失函数L=Lreproj+αLshadow,其中,α表示权重系数;
9、根据整体损失函数L,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1;
910、直至第一迭代轮数完成,得到训练后的人体重建网络。
步骤106:基于环境参数、二维关节点坐标Sdetect、二维关节点坐标J2d优化初始姿态参数θ0与初始体型参数β0,得到最优姿态参数θ与最优体型参数β。
一示例中,本步骤包括:
3、基于所述二维关节点坐标Sdetect与所述三维关节点坐标构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
4、将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
7、通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项Lreg=||θ-θinit||;
8、基于影子一致性损失函数、重投影损失函数与正则项,构建整体能量项,以对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1;
9、直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
步骤107:根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
一示例中,本步骤包括:
1、基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d。
SMPL模型全称是A Skinned Multi-Person Linear Model。该模型对稠密人体网格进行稀疏参数化表示。该模型接受关节旋转的轴角表示参数θ∈R24×3以及人体的体型参数β∈R100作为输入,并根据下式输出关节的三维坐标J3d∈R24×3和表面网格坐标V∈R6890×3:
J3d=Φ(θ,T)
V=WβJ3d
其中,Φ是标准的前向运动学变换函数,将θ作用于模板姿态上进行逐关节刚性旋转变换;T∈R24×3定义了模板姿态的关节三维坐标;Wβ∈R6890×24是根据β生成的蒙皮参数。
2、根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
实施例2:在无影子的图像上重建人体模型。
本实施例的单幅图像三维人体重建方法,包括以下步骤。
步骤201:获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数。
步骤202:根据包含影子的样本图像及所述影子的样本环境参数,并基于上述步骤102-105训练人体重建网络。
步骤203:将未含有影子的图像输入训练后的人体重建网络,以得到姿态参数与体型参数。
步骤204:根据所述姿态参数与体型参数,重建三维人体网格模型。
综上所述,本发明摆脱对三维标注数据的依赖,实现低成本训练三维人体重建网络。
以上实施方示例仅用以说明本发明的技术方案而非对其进行限制,本领域的技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。
Claims (10)
1.一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取含有影子的图像与生成所述影子的环境参数;
提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect;
提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d;
基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0;
基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β;
根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
3.如权利要求1所述的方法,其特征在于,所述提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域的二维关节点坐标Sdetect,包括:
构建影子轮廓检测网络,所述影子轮廓检测网络采用MTMT卷积神经网络结构,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化;
将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow;
构建影子关节点估计网络,所述影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练;
将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect。
4.如权利要求1所述的方法,其特征在于,所述提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像ungbody,计算人体区域内的二维关节点坐标J2d,包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像ingbody;
构建二维人体关节点检测网络;
将所述局部图像ingbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d。
5.如权利要求1所述的方法,其特征在于,所述基于所述局部图像ingbody,计算初始姿态参数θ0与初始体型参数β0,包括:
构建人体重建网络,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化;
基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络;
将所述局部图像ingbody输入训练后的人体重建网络,得到初始姿态参数θ0与初始体型参数β0。
6.如权利要求5所述的方法,其特征在于,所述基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络,包括:
将所述图像中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
基于影子一致性损失函数与重投影损失函数,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1;
直至第一迭代轮数完成,得到训练后的人体重建网络。
7.如权利要求1所述的方法,其特征在于,所述基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β,包括:
基于所述二维关节点坐标Sdetect与所述三维关节点坐标构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项;
基于影子一致性损失函数、重投影损失函数与正则项,对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1;
直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
8.如权利要求1-7中任一所述的方法,其特征在于,所述根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型,包括:
基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d;
根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
9.一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数;
提取所述样图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标S′detect;
提取所述样本图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J′2d;
构建人体重建网络,所述人体重建网络采用SPIN网络结构;
基于样本环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络;
将所述图像中人体区域的局部图像,输入训练后的人体重建网络,得到姿态参数θ与体型参数β;
根据所述姿态参数θ与体型参数β,重建三维人体网格模型。
10.一种电子装置,所述电子装置包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行,以实现权利要求1-9中任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678785.2A CN115115776A (zh) | 2022-06-15 | 2022-06-15 | 基于影子的单幅图像三维人体重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210678785.2A CN115115776A (zh) | 2022-06-15 | 2022-06-15 | 基于影子的单幅图像三维人体重建方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115115776A true CN115115776A (zh) | 2022-09-27 |
Family
ID=83328572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210678785.2A Pending CN115115776A (zh) | 2022-06-15 | 2022-06-15 | 基于影子的单幅图像三维人体重建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115115776A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115409951A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115862149A (zh) * | 2022-12-30 | 2023-03-28 | 广州紫为云科技有限公司 | 一种生成3d人体骨骼关键点数据集的方法及系统 |
-
2022
- 2022-06-15 CN CN202210678785.2A patent/CN115115776A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115409951A (zh) * | 2022-10-28 | 2022-11-29 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115862149A (zh) * | 2022-12-30 | 2023-03-28 | 广州紫为云科技有限公司 | 一种生成3d人体骨骼关键点数据集的方法及系统 |
CN115862149B (zh) * | 2022-12-30 | 2024-03-22 | 广州紫为云科技有限公司 | 一种生成3d人体骨骼关键点数据集的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898858B2 (en) | Human body representation with non-rigid parts in an imaging system | |
CN114972617B (zh) | 一种基于可导渲染的场景光照与反射建模方法 | |
Winnemöller et al. | Light waving: Estimating light positions from photographs alone | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
US11663775B2 (en) | Generating physically-based material maps | |
CN110728671A (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN115115776A (zh) | 基于影子的单幅图像三维人体重建方法及装置 | |
CN113345063A (zh) | 基于深度学习的pbr三维重建方法、系统与计算机存储介质 | |
CN111402403B (zh) | 高精度三维人脸重建方法 | |
KR20220117324A (ko) | 다양한 초상화들로부터 학습 조명 | |
CN109214350B (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
Sun et al. | A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines | |
Wang et al. | Mirrornerf: One-shot neural portrait radiance field from multi-mirror catadioptric imaging | |
CN117830520A (zh) | 基于深度残差和神经隐式表面学习的多视图三维重建方法 | |
US20220270321A1 (en) | Image Processing for Generating Three-Dimensional Shape and Spatially-Varying Reflectance of the Object using a Deep Neural Network | |
US20240062460A1 (en) | Freestyle acquisition method for high-dimensional material | |
CN117876562A (zh) | 一种基于消费级rgb-d传感器对非朗伯表面进行纹理映射的优化方法 | |
CN109166176B (zh) | 三维人脸图像的生成方法与装置 | |
CN108447085B (zh) | 一种基于消费级rgb-d相机的人脸视觉外观恢复方法 | |
Innmann et al. | BRDF-reconstruction in photogrammetry studio setups | |
JP2010243478A (ja) | 環境内の3d物体の3d姿勢を推定する方法及び装置 | |
CN112687009B (zh) | 一种三维人脸表示方法及其参数测量装置及方法 | |
Wang et al. | Target detection based on simulated image domain migration | |
Zhang et al. | A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction | |
Amamra et al. | Crime scene reconstruction with RGB-D sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |