Nothing Special   »   [go: up one dir, main page]

CN115115776A - 基于影子的单幅图像三维人体重建方法及装置 - Google Patents

基于影子的单幅图像三维人体重建方法及装置 Download PDF

Info

Publication number
CN115115776A
CN115115776A CN202210678785.2A CN202210678785A CN115115776A CN 115115776 A CN115115776 A CN 115115776A CN 202210678785 A CN202210678785 A CN 202210678785A CN 115115776 A CN115115776 A CN 115115776A
Authority
CN
China
Prior art keywords
human body
shadow
dimensional
joint point
point coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210678785.2A
Other languages
English (en)
Inventor
吴恩华
康杨雨轩
石剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202210678785.2A priority Critical patent/CN115115776A/zh
Publication of CN115115776A publication Critical patent/CN115115776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于影子的单幅图像三维人体重建方法及装置,所述方法包括:获取含有影子的图像与生成所述影子的环境参数;获取人体区域,并提取影子区域与人体区域内的二维关节点坐标;基于人体区域图像imgbody,计算初始姿态参数与初始体型参数;基于所述环境参数、所述二维关节点坐标Sdetect影子区域与人体区域内的二维关节点坐标优化所述初始姿态参数与所述初始体型参数,得到最优姿态参数与最优体型参数;据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。本发明通过影子能够弥补普通图像内在的深度不确定性缺陷。

Description

基于影子的单幅图像三维人体重建方法及装置
技术领域
本发明属于计算机视觉和图形学交叉领域,具体涉及一种基于影子的单幅图像三维人体重建方法及装置。
背景技术
随着VR/AR技术的兴起,三维重建技术作为VR/AR内容生产的重要一环得到越来越多的关注,这也包括三维人体重建。传统的人体重建方法依赖于深度相机,动作捕捉系统或是严格标定和同步的多视角相机群。高额的设备花费和复杂的部署极大限制了这一技术的普及和发展。随着近年来深度学习技术的发展,基于深度学习的方法在从单幅RGB图像输入重建三维人体方向中取得了显著成效,并摆脱了对上述设备的依赖。这类方法通常依赖一个参数化人体模型。深度神经网络作用于输入图像上,输出模型参数,然后由该模型根据参数生成人体网格曲面。
现有的方法通常从图像中提取以下几类有关人体的特征:全身的图像纹理,人体外轮廓,肢体的图像纹理。由于图像内在的深度不确定性,以上这些特征都无法提供准确的人体深度信息,这使得现有方法与高精度人体重建的目标仍有一定差距。另外,深度神经网络需要在标注数据上进行训练。现有的方法通常依赖昂贵且耗时的三维人体标注,因而在部署至无标注的新场景时会产生一定困难。
发明内容
本发明提供了一种基于影子的单幅图像三维人体重建方法及装置,即利用图像中阳光投射在地面上的人体影子提供辅助信息进行重建。因为影子来源的光照投射角度和图像中人体来源的相机投影角度不相同,影子能够弥补普通图像内在的深度不确定性缺陷。本发明使用影子信息约束深度神经网络的三维人体输出参数,最终达到优化重建结果的目的。同时,基于本发明的神经网络训练框架不依赖三维标注数据,能够在含人体影子的任意图像中正常工作。
本发明的技术内容包括:
一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取含有影子的图像与生成所述影子的环境参数;
提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect
提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d
基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0
基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β;
根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
进一步地,所述环境参数包括:相机内参矩阵K,光照方向向量
Figure BDA0003695609050000021
地面法向量
Figure BDA0003695609050000022
和平移量d。
进一步地,所述获取生成所述影子的环境参数,包括:
将标定棋盘格拍摄照片后进行算法标定,获得相机内参矩阵K;
将aruco Marker标定板放在地面上拍摄照片后进行算法标定,获得地面法向量
Figure BDA0003695609050000024
和平移量d;
使用镜面反射球进行标定,获得光照方向向量
Figure BDA0003695609050000023
进一步地,所述提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域的二维关节点坐标Sdetect,包括:
构建影子轮廓检测网络,所述影子轮廓检测网络采用MTMT卷积神经网络结构,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化;
将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow
构建影子关节点估计网络,所述影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练;
将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect
进一步地,所述提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d,包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像imgbody
构建二维人体关节点检测网络;
将所述局部图像imgbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d
进一步地,所述基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0,包括:
构建人体重建网络,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化;
基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络;
将所述局部图像imgbody输入训练后的人体重建网络,得到初始姿态参数θ0与初始体型参数β0
进一步地,所述基于环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络,包括:
将所述图像中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
依据姿态参数θτ与体型参数βτ重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure BDA0003695609050000031
基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000032
构建重投影匹配关系的约束条件表达式,并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000033
构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure BDA0003695609050000034
投影到影子区域,得到影子区域内的三维关节点坐标
Figure BDA0003695609050000035
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000036
之间的影子一致性损失函数;
计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000037
之间的重投影损失函数;
基于影子一致性损失函数与重投影损失函数,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1
直至第一迭代轮数完成,得到训练后的人体重建网络。
进一步地,所述基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β,包括:
依据姿态参数θc与体型参数βc重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure BDA0003695609050000041
其中,c为第二迭代轮次;
基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000042
构建重投影匹配关系的约束条件表达式,并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000043
构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure BDA0003695609050000044
投影到影子区域,得到影子区域内的三维关节点坐标
Figure BDA0003695609050000045
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000046
之间的影子一致性损失函数;
计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000047
之间的重投影损失函数;
通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项;
基于影子一致性损失函数、重投影损失函数与正则项,对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1
直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
进一步地,所述根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型,包括:
基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d
根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数;
提取所述样图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标S′detect
提取所述样本图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J′2d
构建人体重建网络,所述人体重建网络采用SPIN网络结构;
基于样本环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络;
将所述图像中人体区域的局部图像,输入训练后的人体重建网络,得到姿态参数θ与体型参数β;
根据所述姿态参数θ与体型参数β,重建三维人体网格模型。
一种电子装置,所述电子装置包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行,以实现上述方法。
与现有方法相比,本发明具有如下的优点:
将影子信息应用到三维人体重建的过程中,利用影子和人体的空间几何配对关系进行人体重建网络的训练,可以摆脱对三维标注数据的依赖,实现低成本训练三维人体重建网络,且重建效果优于已有方法。同时本发明还可以使用影子信息直接优化重建结果,以实时方式实现更准确的三维人体重建。
附图说明
图1为输出结果优化方式的实现流程图。
图2为网络模型优化方式的实现流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面通过具体实现和附图对本发明做详细说明,但不构成对本发明的限制。
本发明针对单幅图像三维人体重建任务,提供一种利用阳光投射在地面的人体影子进行优化的人体重建方法。根据优化目标分成两种模式:(a)基于图片使用场景的环境参数,在含有影子的图像上直接优化人体重建结果;(b)在含有影子的图像上优化网络模型参数,训练后的模型可以在无影子的图像上重建人体模型并得到相比现有方法更好的重建结果。
实施例1:在含有影子的图像上直接优化人体重建结果。
本实施例的硬件平台采用了型号为Intel i9-7900X CPU,NVIDIA GeForce GTX1080Ti显卡。系统程序采用python语言编写,使用pytorch,numpy,opencv库。
本实施例的单幅图像三维人体重建方法,如图1所示,包括以下步骤。
步骤101:标定使用场景的环境参数。
本实施例的环境参数包括:相机内参矩阵K,太阳光照射方向
Figure BDA0003695609050000061
地面法向量
Figure BDA0003695609050000062
和平移量d。标定方法包括相机标定、地面标定和光线标定,即使用标定棋盘格,对其拍摄照片后进行算法标定,获得相机内参矩阵K;使用aruco Marker标定板,将其放在地面上拍摄照片后进行算法标定,获得地面法向量
Figure BDA0003695609050000063
和平移量d;太阳光照射方向使用镜面反射球进行标定,获得光照方向向量
Figure BDA0003695609050000064
具体来说,本发明的标定步骤包括:
1.在相机标定环节,使用python中opencv库的findChessboardCorners功能函数提取棋盘格图像中的角点坐标,使用calibrateCamera功能函数获取相机内参数矩阵K,并从K中提取相机焦距(fx,fy)和光学中心(cx,cy);
2.地面标定分为以下几步:
①使用python中aruco库的aruco.DICT_6X6_1000排列方式打印四张不同形式的标定纸,然后以2×2的方式顺序排列,放入亚克力板中制作为地面标定板。
②测量每张标定纸的外边距和标定纸之间的距离,作为超参数送入地面标定算法。
③在标定过程中,标定板放置于平坦的地面上拍摄标定图像。
④使用相机参数移除标定图像的镜头畸变。然后使用aruco库的detectMarkers功能函数提取角点,使用estimatePoseBoard功能函数获取标定板的旋转向量
Figure BDA0003695609050000065
和平移向量
Figure BDA0003695609050000066
则地面法向量
Figure BDA0003695609050000067
地面偏移量
Figure BDA0003695609050000068
其中H是标定板的厚度。
3.光线标定分为以下几步:
①架设反射球至固定位置,要求在该位置下反射球上能观察到太阳。相机设置标准感光度ISO,对镜面反射球拍摄一张图像,并标记出图像中的球心位置(bu,bv);
②使用标定得到的相机焦距(fx,fy)和光学中心(cx,cy),求解归一化后的球心三维坐标(bx,by,bz),具体为:
Figure BDA0003695609050000069
③保持镜面反射球的位置不变,相机设置低感光度ISO=64,对镜面反射球再拍摄一张图像,此时图像基本全黑,仅有几个高亮点来源于太阳光折射点。标记出高亮的中心位置(pu,pv),该点即是高亮反射点;
④使用标定得到的相机焦距和光学中心,求解归一化后的高亮反射点三维坐标(px,py,pz),具体为:
Figure BDA0003695609050000071
⑤在太阳光在高亮点进行的镜面反射过程中,出射光线的方向向量为
Figure BDA0003695609050000072
Figure BDA0003695609050000073
镜面反射平面的法向量为
Figure BDA0003695609050000074
则太阳光照方向即为入射方向
Figure BDA0003695609050000075
一示例中,相机位置固定的情况下,对环境参数的标定只需要进行一次。记录标定时刻的时间和使用场景的经纬度,可以得到标准坐标系下的太阳俯仰角pitch和偏航角yaw,然后转化为太阳光照参考方向
Figure BDA0003695609050000076
计算相机坐标系下的光照标定方向和参考方向的变换矩阵
Figure BDA0003695609050000077
当太阳朝向随时间变化而变化时,仅需计算当下时刻新的参考方向
Figure BDA0003695609050000078
此时相机坐标系下的光照方向为
Figure BDA0003695609050000079
Figure BDA00036956090500000710
一示例中,相机朝向可旋转且相机外参矩阵Rex可获得的情况下(比如监控相机),新的环境参数分别为:地面法向量
Figure BDA00036956090500000711
偏移量d不变,光照方向
Figure BDA00036956090500000712
步骤102:输入含有影子的人体图像。
本发明所述的影子,是指藉由太阳光将三维空间中的人体投射在平坦地面上形成的阴影区域。地面应基本平坦,无明显凹陷或凸起。具体来说,不会致使影子轮廓出现显著形变即可,且影子应在图像中完全可见。
步骤103:提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect
本步骤基于影子轮廓检测网络和影子关节点估计网络完成。影子轮廓检测网络采用MTMT卷积神经网络模型,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化。对原图根据影子区域进行二值化处理生成灰度图imgshadow,即影子区域的像素值为255,非影子区域的像素值为0。影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练。然后在真实场景中推断24个关节点在影子区域中的二维坐标。
一示例中,本步骤包括:
1、构建影子轮廓检测网络;
2、将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow
3、构建影子关节点估计网络;
4、将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect
一示例中,使用影子轮廓检测网络会对整幅图像区域进行无差别的影子提取。在某些有其他物体阴影的场景中可能会产生干扰。对于这种阴影混杂情况,给出两种解决方案:
①针对静止背景环境,通过人工划分背景区域以及抠除背景区域所产生的静态阴影来排除干扰;
②针对动态背景环境,通过SSIS影子实例分割网络只提取与人体相关的影子。
步骤104:提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d
本步骤基于人体包围框检测网络和二维人体关节点检测网络,检测的二维关节点J2d包含MPI-INF-3DHP数据集定义的17个人体关节,属于SMPL人体关节集合的子集。
一示例中,本步骤包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像imgbody
构建二维人体关节点检测网络;
将所述局部图像imgbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d
步骤105:基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0
对于输入图像imgbody,通过构建人体重建网络得到初始姿态参数θ0与初始体型参数β0,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化。
一示例中,该人体重建网络的训练过程,如图2所示,包括:
1、将所述图像样本中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
2、依据姿态参数θτ与体型参数βτ重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure BDA0003695609050000091
3、基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000092
构建重投影匹配关系的约束条件表达式
Figure BDA0003695609050000093
并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组:
Figure BDA0003695609050000094
该方程组的第一行和第二行分别包含17个子方程,因而总计包含34个方程。其中,
Figure BDA0003695609050000095
表示二维关节点J2d的第n个维度的坐标,
Figure BDA0003695609050000096
表示三维关节点J3d的第n个维度的坐标;
4、基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000097
构建影子一致性匹配关系的约束条件表达式
Figure BDA0003695609050000098
Figure BDA0003695609050000099
S=Sdetect,则该式简化为
Figure BDA00036956090500000910
对简化后的影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组:
Figure BDA00036956090500000911
该方程组的第一行和第二行分别包含24个子方程,因而总计包含48个方程。
5、将所述第一非齐次方程组与所述第二非齐次方程组并列后,可以得到形如At=b的非齐次方程组,之后使用最小二乘求解,得到三维人体相对相机中心的偏移量t=(ATA)-1×ATb;
6、结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure BDA00036956090500000912
投影到影子区域,得到影子区域内的三维关节点坐标
Figure BDA00036956090500000913
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA00036956090500000914
之间的影子一致性损失函数
Figure BDA00036956090500000915
Figure BDA00036956090500000916
7、计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA00036956090500000917
之间的重投影损失函数
Figure BDA00036956090500000918
8、基于影子一致性损失函数与重投影损失函数,得到整体损失函数L=Lreproj+αLshadow,其中,α表示权重系数;
9、根据整体损失函数L,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1
910、直至第一迭代轮数完成,得到训练后的人体重建网络。
步骤106:基于环境参数、二维关节点坐标Sdetect、二维关节点坐标J2d优化初始姿态参数θ0与初始体型参数β0,得到最优姿态参数θ与最优体型参数β。
一示例中,本步骤包括:
1、依据姿态参数θc与体型参数βc重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure BDA0003695609050000101
其中,c为第二迭代轮次;
2、基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000102
构建重投影匹配关系的约束条件表达式,并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组;
优选地,由于该二维关节点坐标J2d为17个人体关节点,而重建的三维关节点坐标
Figure BDA0003695609050000103
为24个人体关节点,因此匹配时需从24个人体关节点选取17个人体关节点。
3、基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000104
构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
4、将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
5、结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure BDA0003695609050000105
投影到影子区域,得到影子区域内的三维关节点坐标
Figure BDA0003695609050000106
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure BDA0003695609050000107
之间的影子一致性损失函数;
6、计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure BDA0003695609050000108
之间的重投影损失函数;
7、通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项Lreg=||θ-θinit||;
8、基于影子一致性损失函数、重投影损失函数与正则项,构建整体能量项,以对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1
9、直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
步骤107:根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
一示例中,本步骤包括:
1、基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d
SMPL模型全称是A Skinned Multi-Person Linear Model。该模型对稠密人体网格进行稀疏参数化表示。该模型接受关节旋转的轴角表示参数θ∈R24×3以及人体的体型参数β∈R100作为输入,并根据下式输出关节的三维坐标J3d∈R24×3和表面网格坐标V∈R6890×3
J3d=Φ(θ,T)
V=WβJ3d
其中,Φ是标准的前向运动学变换函数,将θ作用于模板姿态上进行逐关节刚性旋转变换;T∈R24×3定义了模板姿态的关节三维坐标;Wβ∈R6890×24是根据β生成的蒙皮参数。
2、根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
实施例2:在无影子的图像上重建人体模型。
本实施例的单幅图像三维人体重建方法,包括以下步骤。
步骤201:获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数。
步骤202:根据包含影子的样本图像及所述影子的样本环境参数,并基于上述步骤102-105训练人体重建网络。
步骤203:将未含有影子的图像输入训练后的人体重建网络,以得到姿态参数与体型参数。
步骤204:根据所述姿态参数与体型参数,重建三维人体网格模型。
综上所述,本发明摆脱对三维标注数据的依赖,实现低成本训练三维人体重建网络。
以上实施方示例仅用以说明本发明的技术方案而非对其进行限制,本领域的技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取含有影子的图像与生成所述影子的环境参数;
提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标Sdetect
提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J2d
基于所述局部图像imgbody,计算初始姿态参数θ0与初始体型参数β0
基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β;
根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型。
2.如权利要求1所述的方法,其特征在于,所述环境参数包括:相机内参矩阵K,光照方向向量
Figure FDA0003695609040000011
地面法向量
Figure FDA0003695609040000012
和平移量d;所述获取生成所述影子的环境参数,包括:
将标定棋盘格拍摄照片后进行算法标定,获得相机内参矩阵K;
将aruco Marker标定板放在地面上拍摄照片后进行算法标定,获得地面法向量
Figure FDA0003695609040000013
和平移量d;
使用镜面反射球进行标定,获得光照方向向量
Figure FDA0003695609040000014
3.如权利要求1所述的方法,其特征在于,所述提取所述图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域的二维关节点坐标Sdetect,包括:
构建影子轮廓检测网络,所述影子轮廓检测网络采用MTMT卷积神经网络结构,并使用在SBU和ISTD数据集上训练后的网络模型参数作为初始化;
将所述图像输入所述影子轮廓检测网络,得到影子区域的局部图像imgshadow
构建影子关节点估计网络,所述影子关节点估计网络采用Stacked Hourglass卷积神经网络结构,并使用在Human3.6M上合成的影子数据和关节点坐标的标准值进行监督训练;
将所述局部图像imgshadow输入所述影子关节点估计网络,得到影子区域的二维关节点坐标Sdetect
4.如权利要求1所述的方法,其特征在于,所述提取所述图像中人体区域的局部图像imgbody,并基于所述局部图像ungbody,计算人体区域内的二维关节点坐标J2d,包括:
构建人体包围框检测网络;
将所述图像输入所述人体包围框检测网络,得到人体区域的局部图像ingbody
构建二维人体关节点检测网络;
将所述局部图像ingbody输入所述二维人体关节点检测网络,得到人体区域内的二维关节点坐标J2d
5.如权利要求1所述的方法,其特征在于,所述基于所述局部图像ingbody,计算初始姿态参数θ0与初始体型参数β0,包括:
构建人体重建网络,所述人体重建网络采用SPIN网络结构,并使用在Human3.6M数据集上训练后的网络模型参数作为骨干网络初始化;
基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络;
将所述局部图像ingbody输入训练后的人体重建网络,得到初始姿态参数θ0与初始体型参数β0
6.如权利要求5所述的方法,其特征在于,所述基于环境参数、二维关节点坐标Sdetect与二维关节点坐标J2d训练人体重建网络,得到训练后的人体重建网络,包括:
将所述图像中人体区域的局部图像输入人体重建网络ψτ,得到姿态参数θτ与体型参数βτ,τ表示第一迭代次数;
依据姿态参数θτ与体型参数βτ重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure FDA0003695609040000021
基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure FDA0003695609040000022
构建重投影匹配关系的约束条件表达式,并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure FDA0003695609040000023
构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure FDA0003695609040000024
投影到影子区域,得到影子区域内的三维关节点坐标
Figure FDA0003695609040000025
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure FDA0003695609040000026
之间的影子一致性损失函数;
计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure FDA0003695609040000027
之间的重投影损失函数;
基于影子一致性损失函数与重投影损失函数,对人体重建网络ψτ进行训练,得到人体重建网络ψτ+1
直至第一迭代轮数完成,得到训练后的人体重建网络。
7.如权利要求1所述的方法,其特征在于,所述基于所述环境参数、所述二维关节点坐标Sdetect、所述二维关节点坐标J2d优化所述初始姿态参数θ0与所述初始体型参数β0,得到最优姿态参数θ与最优体型参数β,包括:
依据姿态参数θc与体型参数βc重建三维人体网格模型,得到重建后人体的三维关节点坐标
Figure FDA0003695609040000031
其中,c为第二迭代轮次;
基于所述二维关节点坐标J2d与所述三维关节点坐标
Figure FDA0003695609040000032
构建重投影匹配关系的约束条件表达式,并对所述重投影匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第一非齐次方程组;
基于所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure FDA0003695609040000033
构建影子一致性匹配关系的约束条件表达式,并对所述影子一致性匹配关系的约束条件表达式进行整理,得到三维人体相对相机中心的偏移量t的第二非齐次方程组;
将所述第一非齐次方程组与所述第二非齐次方程组并列后,使用最小二乘求解,得到三维人体相对相机中心的偏移量t;
结合所述偏移量t与所述环境参数,将所述三维关节点坐标
Figure FDA0003695609040000034
投影到影子区域,得到影子区域内的三维关节点坐标
Figure FDA0003695609040000035
并计算所述二维关节点坐标Sdetect与所述三维关节点坐标
Figure FDA0003695609040000036
之间的影子一致性损失函数;
计算所述二维关节点坐标J2d与所述三维关节点坐标
Figure FDA0003695609040000037
之间的重投影损失函数;
通过约束姿态参数θc、体型参数βc与姿态参数θc+1、体型参数βc+1的相似度,得到正则项;
基于影子一致性损失函数、重投影损失函数与正则项,对姿态参数θc与体型参数βc进行优化,以得到姿态参数θc+1与体型参数βc+1
直至第二迭代轮数完成,得到所述最优姿态参数θ与所述最优体型参数β。
8.如权利要求1-7中任一所述的方法,其特征在于,所述根据所述最优姿态参数θ与最优体型参数β,重建三维人体网格模型,包括:
基于SMPL人体参数模型,将所述最优姿态参数θ与最优体型参数β转换为三维人体关节点坐标J3d
根据所述三维人体关节点坐标J3d,重建三维人体网格模型。
9.一种基于影子的单幅图像三维人体重建方法,所述方法包括:
获取未含有影子的图像,并基于所述图像的场景,获取包含影子的样本图像及所述影子的样本环境参数;
提取所述样图像中影子区域的局部图像imgshadow,并基于所述局部图像imgshadow,计算影子区域内的二维关节点坐标S′detect
提取所述样本图像中人体区域的局部图像imgbody,并基于所述局部图像imgbody,计算人体区域内的二维关节点坐标J′2d
构建人体重建网络,所述人体重建网络采用SPIN网络结构;
基于样本环境参数、二维关节点坐标S′detect与二维关节点坐标J′2d训练人体重建网络,得到训练后的人体重建网络;
将所述图像中人体区域的局部图像,输入训练后的人体重建网络,得到姿态参数θ与体型参数β;
根据所述姿态参数θ与体型参数β,重建三维人体网格模型。
10.一种电子装置,所述电子装置包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行,以实现权利要求1-9中任一所述方法。
CN202210678785.2A 2022-06-15 2022-06-15 基于影子的单幅图像三维人体重建方法及装置 Pending CN115115776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210678785.2A CN115115776A (zh) 2022-06-15 2022-06-15 基于影子的单幅图像三维人体重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210678785.2A CN115115776A (zh) 2022-06-15 2022-06-15 基于影子的单幅图像三维人体重建方法及装置

Publications (1)

Publication Number Publication Date
CN115115776A true CN115115776A (zh) 2022-09-27

Family

ID=83328572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210678785.2A Pending CN115115776A (zh) 2022-06-15 2022-06-15 基于影子的单幅图像三维人体重建方法及装置

Country Status (1)

Country Link
CN (1) CN115115776A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409951A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN115862149A (zh) * 2022-12-30 2023-03-28 广州紫为云科技有限公司 一种生成3d人体骨骼关键点数据集的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409951A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN115862149A (zh) * 2022-12-30 2023-03-28 广州紫为云科技有限公司 一种生成3d人体骨骼关键点数据集的方法及系统
CN115862149B (zh) * 2022-12-30 2024-03-22 广州紫为云科技有限公司 一种生成3d人体骨骼关键点数据集的方法及系统

Similar Documents

Publication Publication Date Title
US9898858B2 (en) Human body representation with non-rigid parts in an imaging system
CN114972617B (zh) 一种基于可导渲染的场景光照与反射建模方法
Winnemöller et al. Light waving: Estimating light positions from photographs alone
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
US11663775B2 (en) Generating physically-based material maps
CN110728671A (zh) 基于视觉的无纹理场景的稠密重建方法
CN115115776A (zh) 基于影子的单幅图像三维人体重建方法及装置
CN113345063A (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
CN111402403B (zh) 高精度三维人脸重建方法
KR20220117324A (ko) 다양한 초상화들로부터 학습 조명
CN109214350B (zh) 一种光照参数的确定方法、装置、设备及存储介质
Sun et al. A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines
Wang et al. Mirrornerf: One-shot neural portrait radiance field from multi-mirror catadioptric imaging
CN117830520A (zh) 基于深度残差和神经隐式表面学习的多视图三维重建方法
US20220270321A1 (en) Image Processing for Generating Three-Dimensional Shape and Spatially-Varying Reflectance of the Object using a Deep Neural Network
US20240062460A1 (en) Freestyle acquisition method for high-dimensional material
CN117876562A (zh) 一种基于消费级rgb-d传感器对非朗伯表面进行纹理映射的优化方法
CN109166176B (zh) 三维人脸图像的生成方法与装置
CN108447085B (zh) 一种基于消费级rgb-d相机的人脸视觉外观恢复方法
Innmann et al. BRDF-reconstruction in photogrammetry studio setups
JP2010243478A (ja) 環境内の3d物体の3d姿勢を推定する方法及び装置
CN112687009B (zh) 一种三维人脸表示方法及其参数测量装置及方法
Wang et al. Target detection based on simulated image domain migration
Zhang et al. A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction
Amamra et al. Crime scene reconstruction with RGB-D sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination