CN109118569A - 基于三维模型的渲染方法和装置 - Google Patents
基于三维模型的渲染方法和装置 Download PDFInfo
- Publication number
- CN109118569A CN109118569A CN201810934565.5A CN201810934565A CN109118569A CN 109118569 A CN109118569 A CN 109118569A CN 201810934565 A CN201810934565 A CN 201810934565A CN 109118569 A CN109118569 A CN 109118569A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- face
- feature points
- rendering
- facial feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000001815 facial effect Effects 0.000 claims abstract description 64
- 230000036548 skin texture Effects 0.000 claims description 69
- 238000012937 correction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 28
- 210000003128 head Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 210000000887 face Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000004660 morphological change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提出了一种基于三维模型的渲染方法和装置，其中，方法包括：获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图；检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配；若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。由此，提高了三维模型的渲染效率。
Description
技术领域
本申请涉及人像处理技术领域，尤其涉及一种基于三维模型的渲染方法和装置。
背景技术
随着计算机技术的进步，基于人脸的图像处理技术已经从二维转向了三维，由于基于三维的图像处理的真实感更强而得到广泛的关注，很多智能终端设备中会用到人脸三维的渲染以生成逼真的人脸三维头像。
相关技术中，生成三维人脸模型并进行渲染的整个过程操作十分复杂，计算量非常大，计算压力较大，因此，亟需一种可以有效提高三维模型构建速度的方法。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请第一方面实施例提出了一种基于三维模型的渲染方法，包括以下步骤：获取从多个角度采集的多张二维人脸图像，根据所述多张二维人脸图像融合生成皮肤纹理图；检测正面采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
本申请第二方面实施例提出了一种基于三维模型的渲染装置，包括：生成模块，用于获取从多个角度采集的多张二维人脸图像，根据所述多张二维人脸图像融合生成皮肤纹理图；匹配模块，用于检测正面采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；渲染模块，用于若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述第一方面实施例所述的基于三维模型的渲染方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面实施例所述的基于三维模型的渲染方法。
本申请提供的技术方案，至少包括如下有益效果：
获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图，检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，进而，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。由此，基于已有的三维模型进行三维人脸头像的渲染生成，提高了三维人脸头像的生成效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请第一个实施例基于三维模型的渲染方法的流程图；
图2是根据本申请第二个实施例基于三维模型的渲染方法的流程图；
图3是根据本申请一个实施例的获取二维人脸图像对应的深度信息的流程图；
图4为本申请一个实施例所提供的深度图像采集组件的结构示意图；
图5是根据本申请第三个实施例基于三维模型的渲染方法的流程图；
图6是根据本申请第四个实施例的基于三维模型的渲染方法的流程图；
图7是根据本申请第五个实施例的基于三维模型的渲染方法的流程图；
图8是根据本申请一个实施例的基于三维模型的渲染装置的结构示意图；
图9是根据本申请另一个实施例的基于三维模型的渲染装置的结构示意图；
图10是根据本申请又一个实施例的基于三维模型的渲染装置的结构示意图；
图11为本申请实施例所提供的电子设备的结构示意图；
图12为一个实施例中图像处理电路的示意图；以及
图13为作为一种可能的实现方式的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于三维模型的渲染方法和装置。本申请实施例的基于三维模型的渲染方法可以应用于具有深度信息和彩色信息获取装置的计算机设备，其中，具有深度信息和彩色信息(二维信息)获取装置功能的装置可以是双摄系统等，该计算机设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
图1是根据本申请第一个实施例基于三维模型的渲染方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图。其中，皮肤纹理图对应于人脸的表面的皮肤，将该皮肤纹理与三维模型融合后，可以真实的构建出针对用户的三维人脸头像。
具体地，获取多个角度的二维人脸图像，以便于生成覆盖于人脸三维模型的皮肤纹理图。
不难理解的是，由于皮肤纹理图要覆盖整个人脸三维模型，因而，一方面为了使得多个角度的二维人脸图像可以拼接成功，互相拼接的二维人脸图像之间具有重合的区域以便于对齐连接，另一方面，当互相拼接的二维人脸图像之间重合区域较多时，会导致重复信息增大，增加了计算量，因而，在本申请的实施例中，需要把握多个角度的二维人脸图像的拍摄角度，即控制互相连接的两张二维人脸图像中间的重复区域的大小处于较为合适的范围内。
步骤102，检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配。
其中，本申请实施例中的二维人脸图像可以表现为照片等。作为一种可能的实现方式，获取二维人脸信息的硬件装置为可见光RGB图像传感器，可以基于计算机设备中的RGB 可见光图像传感器获取二维人脸图像。具体地，可见光RGB图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像，得到成像对象对应的二维人脸图像。
应当理解的是，人脸的三维模型实际上是由关键点以及关键点连接形成的三角网络搭建的，其中，对整个三维模型的模型形状具有主要影响的部位对应的关键点可以理解为本申请实施例中的面部特征点，该面部特征点可以区分出不同的三维模型，因而，可以对应于人脸差异化体现的鼻尖、鼻翼、眼角、嘴角、眉峰等关键部位的关键点。
在本申请的实施例中，可以通过图像识别的技术检测二维人脸图像获取二维面部特征点，比如检测鼻尖、鼻翼、眼角、嘴角、眉峰等二维面部特征点，进而，基于二维面部特征点之间的距离和位置关系与预存的三维面部特征点进行匹配，当二维面部特征点之间的距离和位置关系与预存的三维面部特征点之间的距离和位置关系较为匹配时，则认为该三维面部特征点是与当前二维面部特征点来源于同一个用户。
步骤103，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
应当理解的是，在本申请的实施例中，为了提高建模效率，预先存储使用过或者注册过的用户(通常为机主用户以及机主用户的亲人能较常使用该三维人脸头像渲染功能的用户)的三维模型，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像，即定位给出皮肤纹理图与人脸的三维模型的对应位置，根据对应位置将人脸的皮肤纹理图贴合于该人脸的三维模型上。
在本申请的一个实施例中，可能由于用户为首次使用该三维人脸头像渲染功能等从而当前二维面部特征点没有匹配成功的目标三维面部特征点，则为了实现基于三维模型的渲染，需要根据当前人脸的二维图像进行实时三维模型的构建。
具体而言，如图2所示，在上述步骤将二维面部特征点与预存的三维面部特征点进行匹配之后，该方法还包括：
步骤201，若获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与多张二维人脸图像对应的深度信息。
步骤202，根据深度信息和多张二维人脸图像，对人脸进行三维重构，获取与人脸对应的三维模型。
步骤203，将与人脸对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
具体地，如果获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与二维人脸图像对应的深度信息，以便于基于该深度信息和二维图像信息对人脸进行三维重构，获取与人脸对应的三维模型。
作为一种可能的实现方式，获取深度信息的方式为通过结构光传感器获取，具体地，如图3所示，获取二维人脸图像对应的深度信息的方式包括如下步骤:
步骤301，向当前用户人脸投射结构光。
步骤302，拍摄经当前用户人脸调制的结构光图像。
步骤303，解调结构光图像的各个像素对应的相位信息以得到二维人脸图像对应的深度信息。
在本示例中，参见图4计算机设备为智能手机1000时，深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤301可以由结构光投射器121实现，步骤302 和步骤303可以由结构光摄像头122实现。
也即是说，结构光投射器121可用于向当前用户人脸投射结构光；结构光摄像头122 可用于拍摄经当前用户人脸调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到深度信息。
具体地，结构光投射器121将一定模式的结构光投射到当前用户的人脸上后，在当前用户的人脸的表面会形成由当前用户人脸调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度信息。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。
其中，结构光摄像头122可进一步用于解调结构光图像中各个像素对应的相位信息，将相位信息转化为深度信息，以及根据深度信息生成深度图像。
具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息。
从而，根据深度信息和二维人脸图像进行三维重构，赋予相关点深度信息和二维信息，重构获取人脸的三维模型，该人脸的三维模型为三维立体模型可以充分还原出人脸，相对二维人脸模型，还包括了人脸的五官的立体角度等信息。
根据应用场景的不同，根据深度信息和二维人脸图像进行三维重构获取原始人脸三维模型的方式包括但是不限于以下方式：
作为一种可能的实现方式，对每一张二维人脸图像进行关键点识别，得到定位关键点，对二维人脸图像，根据定位关键点的深度信息和定位关键点在二维人脸图像上的距离，包括二维空间上的x轴距离和y轴距离，确定定位关键点在三维空间中的相对位置，根据定位关键点在三维空间中的相对位置，连接相邻的定位关键点，生成人脸三维模型。其中，关键点为人脸上的面部特征点，可包括眼角、鼻尖、嘴角上的点等。
作为另一种可能的实现方式，获取多个角度二维人脸图像，并筛选出清晰度较高的人脸图像作为原始数据，进行特征点定位，利用特征定位结果粗略估计人脸角度，根据人脸的角度和轮廓建立粗糙的人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成稀疏人脸三维形变模型。
进而，根据人脸角度粗略估计值和稀疏人脸三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型，在得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。
进一步地，在人脸的三维模型构建完成后，将与人脸对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
当然，在实际执行过程中，预先建立的三维模型可能仅仅对应于用户的一种面部表情或者有限的几种面部表情，因而，仅仅基于预先存储的与当前用户匹配的三维模型进行渲染，可能导致渲染效果不佳，因而，在本申请的实施例中，还可对三维模型进行适应性的调整。
具体而言，如图5所示，在上述步骤将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染之前，还包括：
步骤401，计算目标三维面部特征点与二维面部特征点之间的匹配度，查询预设的模型修正信息，获取与匹配度对应的调整参数。
步骤402，根据调整参数对三维模型进行调整。
具体地，计算目标三维面部特征点与二维面部特征点之间的匹配度，包括计算目标三维面部特征点与二维面部特征点之间的坐标的差异值等，进而，查询预设的模型修正信息，获取与匹配度对应的调整参数，该预设的模型修正信息可以包括对面部特征点的坐标点的变化调整值等，根据调整参数对三维模型进行调整，从而，适应于皮肤纹理图调整三维模型，使得皮肤纹理图与三维模型的贴合更加紧密，生成的三维模型的真实感更强。
综上，本申请实施例的基于三维模型的渲染方法，获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图，检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，进而，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。由此，基于已有的三维模型进行三维人脸头像的渲染生成，提高了三维人脸头像的生成效率。
基于以上实施例，在实际应用中，由于多张二维人脸图像融合生成皮肤纹理图的精度可能由于受到采集的二维人脸图像的影响而不同，因而，如果能够基于多张二维人脸图像融合生成皮肤纹理图的精度进行三维模型的渲染，将会提高相关资源的利用率。
具体地，图6是根据本申请第四个实施例的基于三维模型的渲染方法的流程图，如图6 所示，上述将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像的步骤包括：
步骤501，根据多张二维人脸图像计算每两张二维人脸图像之间人脸角度差。
应当理解的是，每两张二维人脸图像之间的重复区域越大，则表明每两张二维人脸图像之间人脸角度差越小，因而，可以根据每两张二维人脸图像之间人脸的重复区域的大小，计算每两张二维人脸图像之间人脸角度差。
步骤502，将所有的人脸角度差与预设的第一角度门限和第二角度门限进行比较，获取大于等于第二角度门限的人脸角度差为第一数量，以及大于等于第一角度门限且小于第二角度门限的人脸角度差为第二数量。
其中，预设的第一角度门限和第二角度门限可以是根据大量实验数据标定的，当人脸角度差大于第二角度门限时，表明采集的两张二维人脸图像重复区域较小，生成的对应的皮肤纹理区域精度较低，当人脸角度差大于等于第一角度门限且小于第二角度门限时，表明采集的两张二维人脸图像重复区域较大，生成的对应的皮肤纹理区域精度较高。
具体地，将所有的人脸角度差与预设的第一角度门限和第二角度门限进行比较，获取大于等于第二角度门限的人脸角度差为第一数量，以及大于等于第一角度门限且小于第二角度门限的人脸角度差为第二数量，以便于确定皮肤纹理图的精度分布情况。
步骤503，若获知第一数量大于等于第二数量，则按照预设的第一单位面积划分皮肤纹理图，根据划分后的皮肤纹理区域与三维模型的相应区域进行贴合。
具体地，如果获知第一数量大于等于第二数量，则表明皮肤纹理图的精度分布情况为整体精度较低，从而，按照预设的第一单位面积划分皮肤纹理图，根据划分后的皮肤纹理区域与三维模型的相应区域进行贴合，该第一单位面积为单位较大的面积，由于皮肤纹理图的精度分布情况为整体精度较低，因而，根据该单位较大的面积进行渲染，容易找到皮肤纹理图与三维模型的对应点，从而提高了渲染成功率。
步骤504，若获知第二数量大于第一数量，则按照预设的第二单位面积划分皮肤纹理图，根据划分后的皮肤纹理区域与三维模型的相应区域进行贴合，其中，第二单位面积小于第一单位面积。
具体地，如果获知第二数量大于第一数量，则表明皮肤纹理图的精度分布情况为整体精度较高，从而，按照预设的第二单位面积划分皮肤纹理图，根据划分后的皮肤纹理区域与三维模型的相应区域进行贴合，该第二单位面积为单位较小的面积，由于皮肤纹理图的精度分布情况为整体精度较高，因而，根据该单位较小的面积进行渲染，容易找到皮肤纹理图与三维模型的对应点，从而提高了渲染成功率和渲染效果。
在本申请的一个实施例中，为了进一步提升渲染效果，提高当前二维人脸图像和渲染处理后的三维模型的连接紧密性，还可以在三维模型中体现当前反映在二维人脸图像上的环境参数，比如环境亮度等。
在本申请的一个实施例中，如图7所示，在上述步骤103之后，该方法还包括：
步骤601，获取当前的场景亮度信息。
其中，可以根据当前二维人脸图像的像素亮度确定当前场景亮度信息，也可以基于终端设备上的相关传感器确定当前场景亮度信息等。
步骤602，查询预设的皮肤修正信息，获取与皮肤颜色和场景亮度信息对应的皮肤渲染补偿系数。
容易理解的是，场景亮度信息对皮肤的亮度和颜色都具有影响，比如，通常处于黑暗环境下的人脸皮肤，相对于亮度较高的环境下的人脸皮肤的皮肤零度相比起来更亮，颜色更浅，且场景亮度信息还会对人脸上造成阴影的分布等，因而，根据场景亮度信息来修正皮肤，能够提高渲染的真实度。
具体地，预先设置皮肤修正信息，该修正信息中包括场景亮度与皮肤颜色和亮度的对应关系，进而，查询预设的皮肤修正信息，获取与皮肤颜色和场景亮度信息对应的皮肤渲染补偿系数，该补偿系数用户控制皮肤的颜色，其中为了体现立体感，不同人脸区域对应的皮肤渲染补偿系数可能不同。
步骤603，根据皮肤渲染补偿系数对渲染处理后的三维人脸头像进行修正处理。
具体地，根据皮肤渲染补偿系数对渲染处理后的三维人脸头像进行修正处理，以使得渲染处理后的人像反映了当前环境亮度在人脸上的真实分布。
综上，本申请实施例的基于三维模型的渲染方法，能够根据场景亮度对匹配出的皮肤渲染进行补偿，使得渲染处理后的三维人脸图像与场景亮度呼应，提高了渲染处理的真实性。
为了实现上述实施例，本申请还提出一种基于三维模型的渲染装置，图8是根据本申请一个实施例的基于三维模型的渲染装置的结构示意图，如图8所示，该装置包括：生成模块10、匹配模块20和渲染模块30。
其中，生成模块10，用于获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图。
匹配模块20，用于检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配。
渲染模块30，用于若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
在本申请的一个实施例中，如图9所示，在如图8所示的基础上，该装置还包括第一获取模块40和建模模块50。
其中，第一获取模块40，用于若获知不存在与二维面部特征点匹配成功的目标三维面部特征点，则获取与多张二维人脸图像对应的深度信息。
建模模块50，用于根据深度信息和多张二维人脸图像，对人脸进行三维重构，获取与人脸对应的三维模型；
渲染模块30，还用于将与人脸对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
需要说明的是，前述对基于三维模型的渲染方法实施例的解释说明也适用于该实施例的基于三维模型的渲染装置，此处不再赘述。
综上，本申请实施例的基于三维模型的渲染装置，获取从多个角度采集的多张二维人脸图像，根据多张二维人脸图像融合生成皮肤纹理图，检测正面采集的二维人脸图像获取二维面部特征点，并将二维面部特征点与预存的三维面部特征点进行匹配，进而，若获知存在与二维面部特征点匹配成功的目标三维面部特征点，则将与目标三维面部特征点对应的三维模型与皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。由此，基于已有的三维模型进行三维人脸头像的渲染生成，提高了三维人脸头像的生成效率。
在本申请的一个实施例中，如图10所示，在如图8所示的基础上，该装置还包括第二获取模块60和调整模块70。
其中，第二获取模块60，用于计算目标三维面部特征点与二维面部特征点之间的匹配度，查询预设的模型修正信息，获取与匹配度对应的调整参数。
调整模块70，用于根据调整参数对三维模型进行调整。
需要说明的是，前述对基于三维模型的渲染方法实施例的解释说明也适用于该实施例的基于三维模型的渲染装置，此处不再赘述。
综上，本申请实施例的基于三维模型的渲染装置，能够根据场景亮度对匹配出的皮肤渲染进行补偿，使得渲染处理后的三维人脸图像与场景亮度呼应，提高了渲染处理的真实性。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中所述的基于三维模型的渲染方法。
为了实现上述实施例，本申请还提出一种电子设备。
图11为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200 的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于三维模型的渲染方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200 外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备 200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了实现上述实施例，本申请还提出了一种图像处理电路，该图像处理电路包括如图 12所示的图像单元310、深度信息单元320和处理单元330。其中，
图像单元310，用于获取从多个角度采集的多张二维人脸图像，根据所述多张二维人脸图像融合生成皮肤纹理图。
深度信息单元320，用于在初步注册时输出与原始二维人脸图像对应的深度信息。
处理单元320，分别与图像单元和深度信息单元电性连接，用于检测正面采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配，若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
本申请实施例中，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，
图像传感器311，用于输出二维图像数据融合生成皮肤纹理图。
ISP处理器312，用于根据所述二维图像数据，输出融合生成的皮肤纹理图。
本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP 处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311 可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。 ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的人脸图像，融合生成皮肤纹理图后并发送至处理单元330。
其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，
结构光传感器321，用于生成红外散斑图。
深度图生成芯片322，用于根据红外散斑图，输出与二维人脸图像对应的深度信息。
本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。
作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，
CPU331，用于根据标定数据，对齐人脸图像与深度图，根据对齐后的人脸图像与深度图，输出人脸三维模型。
GPU332，用于若获知所述用户已经注册或者已经使用过的，则获取与所述用户对应的人脸三维模型，将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
本申请实施例中，在注册时，CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的基于三维模型的渲染方法，得到渲染处理后的三维人脸头像。
进一步地，图像处理电路还可以包括：第一显示单元341。
第一显示单元341，与所述处理单元330电性连接，用于显示根据目标三维面部特征点与所述二维面部特征点之间的匹配度对应的调整参数的调整控件。
进一步地，图像处理电路还可以包括：第二显示单元342。
第二显示单元342，与所述处理单元340电性连接，用于显示渲染处理后的三维人脸头像。
可选地，图像处理电路还可以包括：编码器350和存储器360。
本申请实施例中，GPU332处理得到的美化后的人脸图，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。
在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。
下面结合图13，对上述过程进行详细说明。
需要说明的是，图13为作为一种可能的实现方式的图像处理电路的示意图。为便于说明，仅示出与本申请实施例相关的各个方面。
如图13所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的人脸图像。其中，图像传感器311 可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。 ISP处理器312对原始图像数据进行处理后得到YUV格式或者RGB格式的人脸图像，并发送至CPU331。
其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
如图13所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至CPU331。
CPU331从ISP处理器312获取到人脸图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出人脸图像中各像素点对应的深度信息。进而，CPU331根据深度信息和人脸图像，进行三维重构，得到人脸三维模型。
CPU331将人脸三维模型发送至GPU332，以便GPU332根据人脸三维模型执行如前述实施例中描述的方法，实现人脸渲染，得到渲染后的人脸图像。GPU332处理得到的渲染后的人脸图像，可以由显示器340(包括上述第一显示单元341和第二显示单元351)显示，和/或，由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。
在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU332处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。
例如，以下为运用图13中的处理器220或运用图9中的图像处理电路(具体为CPU331 和GPU332)实现控制方法的步骤：
CPU331获取二维的人脸图像，以及所述人脸图像对应的深度信息；CPU331根据所述深度信息和所述人脸图像，进行三维重构，得到人脸三维模型；GPU332获取与所述用户对应的人脸三维模型，根将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像；GPU332将渲染处理后的三维人脸头像可以映射到二维图像中等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于三维模型的渲染方法，其特征在于，包括以下步骤：
获取从多个角度采集的多张二维人脸图像，根据所述多张二维人脸图像融合生成皮肤纹理图；
检测正面采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；
若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
2.如权利要求1所述的方法，其特征在于，在将所述二维面部特征点与预存的三维面部特征点进行匹配之后，还包括：
若获知不存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取与所述多张二维人脸图像对应的深度信息；
根据所述深度信息和所述多张二维人脸图像，对人脸进行三维重构，获取与所述人脸对应的三维模型；
将与所述人脸对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
3.如权利要求1所述的方法，其特征在于，在将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染之前，还包括：
计算所述目标三维面部特征点与所述二维面部特征点之间的匹配度，查询预设的模型修正信息，获取与所述匹配度对应的调整参数；
根据所述调整参数对所述三维模型进行调整。
4.如权利要求1所述的方法，其特征在于，所述将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像，包括：
根据所述多张二维人脸图像计算每两张二维人脸图像之间人脸角度差；
将所有的人脸角度差与预设的第一角度门限和第二角度门限进行比较，获取大于等于所述第二角度门限的人脸角度差为第一数量，以及大于等于所述第一角度门限且小于所述第二角度门限的人脸角度差为第二数量；
若获知所述第一数量大于等于所述第二数量，则按照预设的第一单位面积划分所述皮肤纹理图，根据划分后的皮肤纹理区域与所述三维模型的相应区域进行贴合；
若获知所述第二数量大于所述第一数量，则按照预设的第二单位面积划分所述皮肤纹理图，根据划分后的皮肤纹理区域与所述三维模型的相应区域进行贴合，其中，所述第二单位面积小于所述第一单位面积。
5.如权利要求1-4任一所述的方法，其特征在于，在所述获取渲染处理后的三维人脸头像之后，还包括
获取当前的场景亮度信息；
查询预设的皮肤修正信息，获取与皮肤颜色和所述场景亮度信息对应的皮肤渲染补偿系数；
根据所述皮肤渲染补偿系数对所述渲染处理后的三维人脸头像进行修正处理。
6.一种基于三维模型的渲染装置，其特征在于，包括：
生成模块，用于获取从多个角度采集的多张二维人脸图像，根据所述多张二维人脸图像融合生成皮肤纹理图；
匹配模块，用于检测正面采集的二维人脸图像获取二维面部特征点，并将所述二维面部特征点与预存的三维面部特征点进行匹配；
渲染模块，用于若获知存在与所述二维面部特征点匹配成功的目标三维面部特征点，则将与所述目标三维面部特征点对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
7.如权利要求6所述的装置，其特征在于，还包括：
第一获取模块，用于若获知不存在与所述二维面部特征点匹配成功的目标三维面部特征点，则获取与所述多张二维人脸图像对应的深度信息；
建模模块，用于根据所述深度信息和所述多张二维人脸图像，对人脸进行三维重构，获取与所述人脸对应的三维模型；
所述渲染模块，还用于将与所述人脸对应的三维模型与所述皮肤纹理图进行渲染，获取渲染处理后的三维人脸头像。
8.如权利要求6所述的装置，其特征在于，还包括：
第二获取模块，用于计算所述目标三维面部特征点与所述二维面部特征点之间的匹配度，查询预设的模型修正信息，获取与所述匹配度对应的调整参数；
调整模块，用于根据所述调整参数对所述三维模型进行调整。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的基于三维模型的渲染方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于三维模型的渲染方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934565.5A CN109118569B (zh) | 2018-08-16 | 2018-08-16 | 基于三维模型的渲染方法和装置 |
| EP19190422.6A EP3614340B1 (en) | 2018-08-16 | 2019-08-07 | Methods and devices for acquiring 3d face, and computer readable storage media |
| PCT/CN2019/100602 WO2020035002A1 (en) | 2018-08-16 | 2019-08-14 | Methods and devices for acquiring 3d face, and computer readable storage media |
| US16/542,027 US20200058153A1 (en) | 2018-08-16 | 2019-08-15 | Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934565.5A CN109118569B (zh) | 2018-08-16 | 2018-08-16 | 基于三维模型的渲染方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118569A true CN109118569A (zh) | 2019-01-01 |
| CN109118569B CN109118569B (zh) | 2023-03-10 |
Family
ID=64853332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810934565.5A Active CN109118569B (zh) | 2018-08-16 | 2018-08-16 | 基于三维模型的渲染方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200058153A1 (zh) |
| EP (1) | EP3614340B1 (zh) |
| CN (1) | CN109118569B (zh) |
| WO (1) | WO2020035002A1 (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829982A (zh) * | 2019-01-28 | 2019-05-31 | Oppo广东移动通信有限公司 | 模型匹配方法、装置、终端设备及存储介质 |
| CN109876457A (zh) * | 2019-02-21 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 游戏角色生成方法、装置及存储介质 |
| CN110136235A (zh) * | 2019-05-16 | 2019-08-16 | 洛阳众智软件科技股份有限公司 | 三维bim模型外壳提取方法、装置及计算机设备 |
| CN110176052A (zh) * | 2019-05-30 | 2019-08-27 | 湖南城市学院 | 一种面部表情模拟用模型 |
| CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
| CN110249340A (zh) * | 2019-04-24 | 2019-09-17 | 深圳市汇顶科技股份有限公司 | 人脸注册方法、人脸识别装置、识别设备和可存储介质 |
| WO2020035002A1 (en) * | 2018-08-16 | 2020-02-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and devices for acquiring 3d face, and computer readable storage media |
| CN111935528A (zh) * | 2020-06-22 | 2020-11-13 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
| CN112785683A (zh) * | 2020-05-07 | 2021-05-11 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
| CN112998693A (zh) * | 2021-02-01 | 2021-06-22 | 上海联影医疗科技股份有限公司 | 头部运动的测量方法、装置和设备 |
| CN113284229A (zh) * | 2021-05-28 | 2021-08-20 | 上海星阑信息科技有限公司 | 三维人脸模型生成方法、装置、设备及存储介质 |
| CN113343879A (zh) * | 2021-06-18 | 2021-09-03 | 厦门美图之家科技有限公司 | 全景面部图像的制作方法、装置、电子设备及存储介质 |
| CN113361419A (zh) * | 2021-06-10 | 2021-09-07 | 百果园技术(新加坡)有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113592732A (zh) * | 2021-07-19 | 2021-11-02 | 杨薇 | 基于大数据和智慧安防的图像处理方法 |
| CN113658313A (zh) * | 2021-09-09 | 2021-11-16 | 北京达佳互联信息技术有限公司 | 人脸模型的渲染方法、装置及电子设备 |
| CN114445512A (zh) * | 2021-12-31 | 2022-05-06 | 深圳供电局有限公司 | 热力图生成方法及其装置和系统 |
| CN115330936A (zh) * | 2022-08-02 | 2022-11-11 | 荣耀终端有限公司 | 合成三维图像的方法、装置及电子设备 |
| CN116385705A (zh) * | 2023-06-06 | 2023-07-04 | 北京智拓视界科技有限责任公司 | 用于对三维数据进行纹理融合的方法、设备和存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919876B (zh) * | 2019-03-11 | 2020-09-01 | 四川川大智胜软件股份有限公司 | 一种三维真脸建模方法及三维真脸照相系统 |
| US20210262787A1 (en) * | 2020-02-21 | 2021-08-26 | Hamamatsu Photonics K.K. | Three-dimensional measurement device |
| CN112001859B (zh) * | 2020-08-10 | 2024-04-16 | 深思考人工智能科技(上海)有限公司 | 一种人脸图像的修复方法及系统 |
| CN113205568B (zh) * | 2021-04-30 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113499036B (zh) * | 2021-07-23 | 2024-10-15 | 厦门美图宜肤科技有限公司 | 皮肤监测方法、装置、电子设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| US20130235033A1 (en) * | 2012-03-09 | 2013-09-12 | Korea Institute Of Science And Technology | Three dimensional montage generation system and method based on two dimensional single image |
| EP2993614A1 (en) * | 2014-09-05 | 2016-03-09 | Samsung Electronics Co., Ltd | Method and apparatus for facial recognition |
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103211B1 (en) * | 2001-09-04 | 2006-09-05 | Geometrix, Inc. | Method and apparatus for generating 3D face models from one camera |
| EP1599830A1 (en) * | 2003-03-06 | 2005-11-30 | Animetrics, Inc. | Generation of image databases for multifeatured objects |
| JP5639832B2 (ja) * | 2010-09-30 | 2014-12-10 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置 |
| US9552668B2 (en) * | 2012-12-12 | 2017-01-24 | Microsoft Technology Licensing, Llc | Generation of a three-dimensional representation of a user |
| CN106407886A (zh) * | 2016-08-25 | 2017-02-15 | 广州御银科技股份有限公司 | 一种建立人脸模型的装置 |
| CN107592449B (zh) * | 2017-08-09 | 2020-05-19 | Oppo广东移动通信有限公司 | 三维模型建立方法、装置和移动终端 |
| CN109118569B (zh) * | 2018-08-16 | 2023-03-10 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
-
2018
- 2018-08-16 CN CN201810934565.5A patent/CN109118569B/zh active Active
-
2019
- 2019-08-07 EP EP19190422.6A patent/EP3614340B1/en active Active
- 2019-08-14 WO PCT/CN2019/100602 patent/WO2020035002A1/en active Application Filing
- 2019-08-15 US US16/542,027 patent/US20200058153A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| US20130235033A1 (en) * | 2012-03-09 | 2013-09-12 | Korea Institute Of Science And Technology | Three dimensional montage generation system and method based on two dimensional single image |
| EP2993614A1 (en) * | 2014-09-05 | 2016-03-09 | Samsung Electronics Co., Ltd | Method and apparatus for facial recognition |
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| CN106910247A (zh) * | 2017-03-20 | 2017-06-30 | 厦门幻世网络科技有限公司 | 用于生成三维头像模型的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| XIANG: "A new way for mapping texture onto 3D Face model", 《GRADUATE THESES AND DISSERTATIONS》 * |
| YU: "Facial Feature Detection and Tracking with a 3D Constrained Local Model", 《18TH INTERNATIONAL CONFERENCE IN CENTRAL EUROPE ON COMPUTER GRAPHICS, VISUALIZATION AND COMPUTER VISION》 * |
| 丁宾等: "从多张非标定图像重建三维人脸", 《计算机辅助设计与图形学学报》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020035002A1 (en) * | 2018-08-16 | 2020-02-20 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Methods and devices for acquiring 3d face, and computer readable storage media |
| CN109829982B (zh) * | 2019-01-28 | 2023-11-07 | Oppo广东移动通信有限公司 | 模型匹配方法、装置、终端设备及存储介质 |
| CN109829982A (zh) * | 2019-01-28 | 2019-05-31 | Oppo广东移动通信有限公司 | 模型匹配方法、装置、终端设备及存储介质 |
| CN109876457A (zh) * | 2019-02-21 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 游戏角色生成方法、装置及存储介质 |
| CN110249340A (zh) * | 2019-04-24 | 2019-09-17 | 深圳市汇顶科技股份有限公司 | 人脸注册方法、人脸识别装置、识别设备和可存储介质 |
| CN110136235A (zh) * | 2019-05-16 | 2019-08-16 | 洛阳众智软件科技股份有限公司 | 三维bim模型外壳提取方法、装置及计算机设备 |
| CN110136235B (zh) * | 2019-05-16 | 2023-03-31 | 洛阳众智软件科技股份有限公司 | 三维bim模型外壳提取方法、装置及计算机设备 |
| CN110176052A (zh) * | 2019-05-30 | 2019-08-27 | 湖南城市学院 | 一种面部表情模拟用模型 |
| CN110232730B (zh) * | 2019-06-03 | 2024-01-19 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
| CN110232730A (zh) * | 2019-06-03 | 2019-09-13 | 深圳市三维人工智能科技有限公司 | 一种三维人脸模型贴图融合方法和计算机处理设备 |
| CN112785683A (zh) * | 2020-05-07 | 2021-05-11 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
| CN112785683B (zh) * | 2020-05-07 | 2024-03-19 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
| CN111935528A (zh) * | 2020-06-22 | 2020-11-13 | 北京百度网讯科技有限公司 | 视频生成方法和装置 |
| CN112998693B (zh) * | 2021-02-01 | 2023-06-20 | 上海联影医疗科技股份有限公司 | 头部运动的测量方法、装置和设备 |
| CN112998693A (zh) * | 2021-02-01 | 2021-06-22 | 上海联影医疗科技股份有限公司 | 头部运动的测量方法、装置和设备 |
| CN113284229A (zh) * | 2021-05-28 | 2021-08-20 | 上海星阑信息科技有限公司 | 三维人脸模型生成方法、装置、设备及存储介质 |
| CN113361419A (zh) * | 2021-06-10 | 2021-09-07 | 百果园技术(新加坡)有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113343879A (zh) * | 2021-06-18 | 2021-09-03 | 厦门美图之家科技有限公司 | 全景面部图像的制作方法、装置、电子设备及存储介质 |
| CN113592732A (zh) * | 2021-07-19 | 2021-11-02 | 杨薇 | 基于大数据和智慧安防的图像处理方法 |
| CN113658313A (zh) * | 2021-09-09 | 2021-11-16 | 北京达佳互联信息技术有限公司 | 人脸模型的渲染方法、装置及电子设备 |
| CN113658313B (zh) * | 2021-09-09 | 2024-05-17 | 北京达佳互联信息技术有限公司 | 人脸模型的渲染方法、装置及电子设备 |
| CN114445512A (zh) * | 2021-12-31 | 2022-05-06 | 深圳供电局有限公司 | 热力图生成方法及其装置和系统 |
| CN115330936A (zh) * | 2022-08-02 | 2022-11-11 | 荣耀终端有限公司 | 合成三维图像的方法、装置及电子设备 |
| CN116385705A (zh) * | 2023-06-06 | 2023-07-04 | 北京智拓视界科技有限责任公司 | 用于对三维数据进行纹理融合的方法、设备和存储介质 |
| CN116385705B (zh) * | 2023-06-06 | 2023-08-29 | 北京智拓视界科技有限责任公司 | 用于对三维数据进行纹理融合的方法、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200058153A1 (en) | 2020-02-20 |
| CN109118569B (zh) | 2023-03-10 |
| EP3614340B1 (en) | 2023-09-27 |
| EP3614340A1 (en) | 2020-02-26 |
| WO2020035002A1 (en) | 2020-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118569B (zh) | 基于三维模型的渲染方法和装置 | |
| CN108447017B (zh) | 人脸虚拟整容方法和装置 | |
| CN109102559B (zh) | 三维模型处理方法和装置 | |
| CN108765273B (zh) | 人脸拍照的虚拟整容方法和装置 | |
| JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN108682050B (zh) | 基于三维模型的美颜方法和装置 | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| CN109191393B (zh) | 基于三维模型的美颜方法 | |
| CN107481304B (zh) | 在游戏场景中构建虚拟形象的方法及其装置 | |
| CN107734267B (zh) | 图像处理方法和装置 | |
| TWI610571B (zh) | 顯示方法及其系統與電腦可讀取記錄媒體 | |
| CN107452034B (zh) | 图像处理方法及其装置 | |
| CN108876709A (zh) | 人脸美化方法、装置、电子设备及可读存储介质 | |
| CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
| CN107610171B (zh) | 图像处理方法及其装置 | |
| CN107734264B (zh) | 图像处理方法和装置 | |
| WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| CN107481317A (zh) | 人脸3d模型的面部调整方法及其装置 | |
| CN109147024A (zh) | 基于三维模型的表情更换方法和装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN109191584A (zh) | 三维模型处理方法、装置、电子设备及可读存储介质 | |
| CN107480615B (zh) | 美颜处理方法、装置及移动设备 | |
| CN112784621A (zh) | 图像显示方法及设备 | |
| CN107705278B (zh) | 动态效果的添加方法和终端设备 | |
| JP6552266B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40001968 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |