CN113284229A - 三维人脸模型生成方法、装置、设备及存储介质 - Google Patents
三维人脸模型生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113284229A CN113284229A CN202110597244.2A CN202110597244A CN113284229A CN 113284229 A CN113284229 A CN 113284229A CN 202110597244 A CN202110597244 A CN 202110597244A CN 113284229 A CN113284229 A CN 113284229A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- preset
- user
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域,公开了一种三维人脸模型生成方法、装置、设备及存储介质,所述方法包括:获取用户的人脸图像信息,并对人脸图像信息进行特征识别,以获得用户的人脸特征信息;将人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得用户的初阶人脸模型;获取预设渲染数据,并基于预设渲染数据对初阶人脸模型进行效果渲染,以获得用户的三维人脸模型,通过基于获得的人脸特征信息在预设三维转换神经网络模型中进行模型匹配和模型调整来提高建模效率,然后基于预设渲染数据对获得的初阶人脸模型进行效果渲染,以提高获得的三维人脸模型的个性化展示效果,进一步地,也提高了用户的网络社交体验,增加了用户粘度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种三维人脸模型生成方法、装置、设备及存储介质。
背景技术
在用户选用社交APP进行社交时,会上传照片或者网络图片当作自己的头像(如,“个人中心”中的“上传头像”),然而,自拍容易泄露用户的个人隐私,网络图片又容易和其他用户相同,而产生“撞头像”的问题,且将自拍或网络图片作为头像均无法给用户带来新颖感,缺乏趣味性,难以激发用户的自我展现意识,现有技术中,虽有部分厂商在自拍功能中加入了根据用户的实时自拍生成对应的人脸模型这一功能,但仍存在人脸模型精度低或人脸模型构造效率低、构造时间长的问题,因此,如何提高个性化三维人脸模型的生成效率和展示效果,以提高用户的网络社交体验,增加用户粘度,成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种三维人脸模型生成方法、装置、设备及存储介质,旨在解决如何提高个性化三维人脸模型的生成效率和展示效果,以提高用户的网络社交体验,增加用户粘度的技术问题。
为实现上述目的,本发明提供了一种三维人脸模型生成方法,所述方法包括以下步骤:
获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
可选地,所述获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息的步骤,具体包括:
获取用户的人脸图像信息,并对所述人脸图像信息进行图像识别,获得人脸图像关键点;
将所述人脸图像关键点转换到预设人脸坐标系中,以获得所述人脸图像关键点与所述预设人脸坐标系中对应的预设图像关键点的关键点坐标差值;
基于所述关键点坐标差值生成所述用户的人脸特征信息。
可选地,所述将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型的步骤,具体包括:
将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度;
对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型;
基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型。
可选地,所述对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型的步骤,具体包括:
将所述模型匹配度按照从大到小进行排序,以获得匹配度排序结果;
判断所述匹配度排序结果中排序顺位第一的预设人脸模型对应的模型匹配度是否大于预设匹配度;
在大于等于所述预设匹配度时,将所述排序顺位第一的预设人脸模型作为目标人脸模型;
在小于所述预设匹配度时,将预设标准模型作为所述目标人脸模型。
可选地,所述基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型的步骤,具体包括:
获取所述人脸特征信息对应在各人脸区域的人脸特征值,以及所述目标人脸模型对应在各预设分区的人脸目标值;
将所述人脸特征值与所述人脸目标值进行比对,获得特征比对结果;
基于所述特征比对结果对所述目标人脸模型的各人脸区域进行自适应调整,以获得所述用户的初阶人脸模型。
可选地,所述预设渲染数据包括预设纹理数据和预设风格数据;
相应地,所述获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型的步骤,具体包括:
获取各人脸区域对应的所述预设纹理数据和所述预设风格数据,以及各人脸区域对应的边缘点信息和法向量信息;
基于各人脸区域对应的所述预设纹理数据、所述边缘点信息以及所述法向量信息对所述初阶人脸模型进行贴图,获得人脸纹理模型;
基于各人脸区域对应的所述预设风格数据、所述边缘点信息以及所述法向量信息对所述人脸纹理模型进行渲染,获得所述用户的三维人脸模型。
可选地,所述获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型的步骤,具体包括:
获取用户输入的调整偏好信息中的一类偏好信息,并基于所述一类偏好信息对所述初阶人脸模型进行调整,以获得用户微调模型;
获取预设渲染数据和所述调整偏好信息中的二类偏好信息,并基于所述渲染数据和所述二类偏好信息对所述用户微调模型进行效果渲染,以获得所述用户的三维人脸模型。
此外,为实现上述目的,本发明还提出一种三维人脸模型生成装置,所述三维人脸模型生成装置包括:
特征识别模块,用于获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
三维转换模块,用于将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
效果渲染模块,用于获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
此外,为实现上述目的,本发明还提出一种三维人脸模型生成设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维人脸模型生成程序,所述三维人脸模型生成程序配置为实现如上文所述的三维人脸模型生成方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有三维人脸模型生成程序,所述三维人脸模型生成程序被处理器执行时实现如上文所述的三维人脸模型生成方法的步骤。
本发明中,获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型,相较于现有技术直接根据用户的人脸图像信息进行建模,本发明通过基于用户的人脸图像信息获得的人脸特征信息在预设三维转换神经网络模型中进行人脸模型匹配,然后对匹配到的人脸模型进行模型调整来提高建模效率,然后基于预设渲染数据对获得的初阶人脸模型进行效果渲染,以提高基于初阶人脸模型获得的三维人脸模型的展示效果,实现了三维人脸模型的个性化设置,也提高了用户的网络社交体验,增加了用户粘度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的三维人脸模型生成设备的结构示意图;
图2为本发明三维人脸模型生成方法第一实施例的流程示意图;
图3为本发明三维人脸模型生成方法第二实施例的流程示意图;
图4为本发明三维人脸模型生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的三维人脸模型生成设备结构示意图。
如图1所示,该三维人脸模型生成设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对三维人脸模型生成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及三维人脸模型生成程序。
在图1所示的三维人脸模型生成设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明三维人脸模型生成设备中的处理器1001、存储器1005可以设置在三维人脸模型生成设备中,所述三维人脸模型生成设备通过处理器1001调用存储器1005中存储的三维人脸模型生成程序,并执行本发明实施例提供的三维人脸模型生成方法。
本发明实施例提供了一种三维人脸模型生成方法,参照图2,图2为本发明三维人脸模型生成方法第一实施例的流程示意图。
本实施例中,所述三维人脸模型生成方法包括以下步骤:
步骤S10:获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
易于理解的是,本实施例中,所述人脸图像信息,可基于用户的自拍照片获得,也可直接启用上述三维人脸模型生成设备内置的或外连的摄像装置对用户进行图像扫描,以获得用户的人脸图像信息,然后,基于预设人脸识别算法对所述人脸图像信息进行图像识别,获得人脸图像关键点,所述预设人脸识别算法可根据实际需求进行设置,本实施例中,为了提高人脸识别效率,以进一步提高三维人脸模型的生成效率,可设置为基于模板的人脸识别算法,如,基于主成分分析(Principal Component Analysis,PCA)的人脸识别算法,即特征脸(Eigenface)算法。所述人脸图像关键点,可理解为人脸图像的关键位置处的特征点,如,五官(眉眼耳鼻口)轮廓、脸部边缘轮廓、胡须、色斑、痣等,本实施例对此不加以限制。
进一步地,可将所述人脸图像关键点转换到预设人脸坐标系中,以获得所述人脸图像关键点与所述预设人脸坐标系中对应的预设图像关键点的关键点坐标差值,再基于所述关键点坐标差值生成所述用户的人脸特征信息,所述预设人脸坐标系为基于预设标准模型建立的坐标系,所述预设标准模型可理解为预设三维转换神经网络模型中内置的一种人脸模型标准,如,基于马夸特面具(Marquardt)建立的人脸模型,基于平均脸建立的人脸模型等,本实施例对此不加以限制,相应地,所述预设图像关键点,可理解为预设标准模型的关键位置处的特征点,如,五官轮廓、脸型轮廓等,本实施例对此不加以限制,所述预设三维转换神经网络模型可理解为基于卷积神经网络(Convolutional Neural Networks,CNN)建立的用以基于人脸特征信息进行人脸模型匹配和人脸模型调整的一种神经网络模型。
步骤S20:将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
易于理解的是,所谓人脸特征信息,即基于获得的人脸图像信息对应的人脸图像关键点与预设人脸坐标系中预设标准模型对应的预设图像关键点之间的关键点坐标差值生成的用户的人脸特征信息,可理解为基于预设图像关键点的坐标值和关键点坐标差值生成的人脸图像关键点对应的坐标值,用以表示与预设图像关键点之间的差距,即用户的人脸图像信息相较于预设标准模型的特征之处,如,预设标准模型的某一预设关键点对应的坐标值为(a,b),此预设关键点对应的关键点坐标差值为(-0.90,+1.21),则用户的人脸图像信息对应的人脸特征信息的坐标值为(a-0.90,b+1.21)。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
进一步地,在获得所述人脸特征信息后,为了提高建模效率,可将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型,所谓三维转换处理,可理解为基于人脸特征信息在预设三维转换神经网络模型中进行人脸模型匹配,然后对匹配到的人脸模型进行模型调整,以获得所述用户的初阶人脸模型。
步骤S30:获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
需要说明的是,所述预设渲染数据包括预设纹理数据和预设风格数据,所述预设纹理数据可理解为用以渲染初阶人脸模型的脸部表皮层和软组织结构的数据,如皮肤质感、皮肤色度、模型饱满程度等,所述预设风格数据可理解为用以渲染初阶人脸模型的风格特征的数据,如,色调、曝光度、对比度等,在具体实现中,为了提高获得的三维人脸模型的展示效果,可获取各人脸区域对应的所述预设纹理数据和所述预设风格数据,以及各人脸区域对应的边缘点信息和法向量信息,其中,所述边缘点信息可用以控制渲染范围,所述法向量信息可用以控制渲染层次,结合所述边缘点信息和所述法向量信息可用以控制渲染力度,然后基于各人脸区域对应的所述预设纹理数据、所述边缘点信息以及所述法向量信息对所述初阶人脸模型进行贴图,获得人脸纹理模型,再基于各人脸区域对应的所述预设风格数据、所述边缘点信息以及所述法向量信息对所述人脸纹理模型进行渲染,获得所述用户的三维人脸模型。
在具体实现中,为了进一步提高三维人脸模型的展示效果,以提高用户的网络社交体验,增加用户粘度,可获取用户输入的调整偏好信息中的一类偏好信息,并基于所述一类偏好信息对所述初阶人脸模型进行调整,以获得用户微调模型,所述一类偏好信息可理解为对用户对人脸的脸型轮廓、五官轮廓等进行调整时的偏好数据,如,瘦脸程度、双眼放大程度、鼻头缩小程度等,接着,还可获取预设渲染数据和所述调整偏好信息中的二类偏好信息,所述二类偏好信息可理解为对皮肤纹理进行调整时的偏好数据,如,美白/美黑程度、颊部红润程度等,并基于所述渲染数据和所述二类偏好信息对所述用户微调模型进行效果渲染,以获得所述用户的三维人脸模型。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
本实施例中,获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型,相较于现有技术直接根据用户的人脸图像信息进行建模,本实例通过基于用户的人脸图像信息获得的人脸特征信息在预设三维转换神经网络模型中进行人脸模型匹配,然后对匹配到的人脸模型进行模型调整来提高建模效率,然后基于预设渲染数据对获得的初阶人脸模型进行效果渲染,以提高基于初阶人脸模型获得的三维人脸模型的展示效果,实现了三维人脸模型的个性化设置,也提高了用户的网络社交体验,增加了用户粘度。
参考图3,图3为本发明三维人脸模型生成方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S20包括:
步骤S201:将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度;
需要说明的是,在获得基于用户的人脸图像信息生成的人脸特征信息后,可将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度,所述预设三维转换神经网络模型可理解为基于卷积神经网络建立的用以基于人脸特征信息进行人脸模型匹配和人脸模型调整的一种神经网络模型,所谓人脸特征信息,即基于获得的人脸图像信息对应的人脸图像关键点与预设人脸坐标系中预设标准模型对应的预设图像关键点之间的关键点坐标差值生成的用户的人脸特征信息,可理解为基于预设图像关键点的坐标值和关键点坐标差值生成的人脸图像关键点对应的坐标值,用以表示与预设图像关键点之间的差距,即用户的人脸图像信息相较于预设标准模型的特征之处,如,预设标准模型的某一预设关键点对应的坐标值为(m,n),此预设关键点对应的关键点坐标差值为(-0.07,+0.23),则用户的人脸图像信息对应的人脸特征信息的坐标值为(m-0.07,n+0.23)。所述预设标准模型可理解为预设三维转换神经网络模型中内置的一种人脸模型标准,如,基于马夸特面具建立的人脸模型,基于平均脸建立的人脸模型等,本实施例对此不加以限制,相应地,所述预设图像关键点,可理解为预设标准模型的关键位置处的特征点,如,五官轮廓、脸型轮廓等,本实施例对此不加以限制。
易于理解的是,各预设人脸模型也可理解为基于预设标准模型设置的人脸模型,相应地,各预设人脸模型的模型特征信息可理解为用以表示预设人脸模型的模型图像关键点与预设标准模型的预设图像关键点之间的不同差距段的特征信息,在具体实现中,可基于所述预设标准模型的各预设关键点的坐标值的不同波动区间设置不同的人脸模型,即,将所述预设标准模型的各预设关键点的坐标值的不同波动区间按照预设组合方式进行组合,以获得不同的人脸模型,所述预设组合方式可基于对预设人脸图像数据库中存储的人脸图像进行大数据分析,然后基于大数据分析结果中占比大于预设占比的组合方式建立,所述预设人脸图像数据库为实时更新的用于存储人脸图像的数据库,相应地,所述预设组合方式也可随着预设人脸图像数据库的更新进行周期性的更新,所述预设占比可根据实际需求进行设置,本实施例对此不加以限制。
步骤S202:对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型;
进一步地,为了提高建模效率,在获得所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息之间的模型匹配度后,可将所述模型匹配度按照从大到小进行排序,以获得匹配度排序结果,判断所述匹配度排序结果中排序顺位第一的预设人脸模型对应的模型匹配度是否大于预设匹配度,所述预设匹配度可根据实际需求进行设置,如50%,70%等,本实施例对此不加以限制,在大于等于所述预设匹配度时,将所述排序顺位第一的预设人脸模型作为目标人脸模型,在小于所述预设匹配度时,将预设标准模型作为所述目标人脸模型。
步骤S203:基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型。
易于理解的是,在获得目标人脸模型后,可获取所述人脸特征信息对应在各人脸区域的人脸特征值,以及所述目标人脸模型对应在各预设分区的人脸目标值,所述人脸特征值,可理解为各人脸区域分布的人脸图像关键点的坐标值,相应地,所述人脸目标值,可理解为所述目标人脸模型对应在各预设分区的模型图像关键点的坐标值,将所述人脸特征值与所述人脸目标值进行比对,获得特征比对结果,即获得各人脸区域的人脸图像关键点和模型图像关键点之间的坐标差值,然后,基于所述特征比对结果对所述目标人脸模型的各人脸区域进行自适应调整,以获得所述用户的初阶人脸模型,即,将各模型图像关键点的坐标值根据所述人脸图像关键点的坐标值按照预设调整比例进行调整,所述预设比例可根据实际需求进行设置,如75%,85%,95%。在具体实现中,因所生成的初阶人脸模型,以及后续基于初阶人脸模型生成的三维人脸模型本质上都是非自拍式(即非所见即所得式)的三维数字模型,随着拟人程度增加,人类对之的好感并非一直增加,会在非常接近而又不完全一致时,表现出恐惧感,且用户本人希望展现的也未必是完全真实的自己,而是能够代表自身主要特点的三维数字形象,甚至是美化后的三维数字形象,因此,本实施例中,不会将预设比例设置为100%,即,将各模型图像关键点的坐标值直接调整至所述人脸图像关键点的坐标值,因,预设标准模型所基于的马夸特面具也好,平均脸也好,都是公认越接近就会越具有美感的模型标准,故为了提升展示效果,实现三维人脸模型的个性化设置,提高了用户的网络社交体验,增加用户粘度,本实施例中,是在获得目标人脸模型后,是将目标人脸模型的各模型图像关键点的坐标值根据所述人脸图像关键点的坐标值按照预设调整比例进行调整,以获得初阶人脸模型。
本实施例中,将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度;对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型;基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型。通过基于各人脸区域的人脸图像关键点和模型图像关键点之间的坐标差值对目标人脸模型的各人脸区域进行自适应调整,以获得所述用户的初阶人脸模型,即,将各模型图像关键点的坐标值根据所述人脸图像关键点的坐标值按照预设调整比例进行调整,以提高后续基于初阶人脸模型获得的三维人脸模型的美观程度,也实现了三维人脸模型的个性化设置,提高了用户的网络社交体验,增加用户粘度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有三维人脸模型生成程序,所述三维人脸模型生成程序被处理器执行时实现如上文所述的三维人脸模型生成方法的步骤。
参照图4,图4为本发明三维人脸模型生成装置第一实施例的结构框图。
如图4所示,本发明实施例提出的三维人脸模型生成装置包括:
特征识别模块10,用于获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
三维转换模块20,用于将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
效果渲染模块30,用于获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
本实施例中,获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型,相较于现有技术直接根据用户的人脸图像信息进行建模,本实例通过基于用户的人脸图像信息获得的人脸特征信息在预设三维转换神经网络模型中进行人脸模型匹配,然后对匹配到的人脸模型进行模型调整来提高建模效率,然后基于预设渲染数据对获得的初阶人脸模型进行效果渲染,以提高基于初阶人脸模型获得的三维人脸模型的展示效果,实现了三维人脸模型的个性化设置,也提高了用户的网络社交体验,增加了用户粘度。
基于本发明上述三维人脸模型生成装置第一实施例,提出本发明三维人脸模型生成装置的第二实施例。
在本实施例中,所述特征识别模块10,还用于获取用户的人脸图像信息,并对所述人脸图像信息进行图像识别,获得人脸图像关键点;
所述特征识别模块10,还用于将所述人脸图像关键点转换到预设人脸坐标系中,以获得所述人脸图像关键点与所述预设人脸坐标系中对应的预设图像关键点的关键点坐标差值;
所述特征识别模块10,还用于基于所述关键点坐标差值生成所述用户的人脸特征信息。
所述三维转换模块20,还用于将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度;
所述三维转换模块20,还用于对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型;
所述三维转换模块20,还用于基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型。
所述三维转换模块20,还用于将所述模型匹配度按照从大到小进行排序,以获得匹配度排序结果;
所述三维转换模块20,还用于判断所述匹配度排序结果中排序顺位第一的预设人脸模型对应的模型匹配度是否大于预设匹配度;
所述三维转换模块20,还用于在大于等于所述预设匹配度时,将所述排序顺位第一的预设人脸模型作为目标人脸模型;
所述三维转换模块20,还用于在小于所述预设匹配度时,将预设标准模型作为所述目标人脸模型。
所述三维转换模块20,还用于获取所述人脸特征信息对应在各人脸区域的人脸特征值,以及所述目标人脸模型对应在各预设分区的人脸目标值;
所述三维转换模块20,还用于将所述人脸特征值与所述人脸目标值进行比对,获得特征比对结果;
所述三维转换模块20,还用于基于所述特征比对结果对所述目标人脸模型的各人脸区域进行自适应调整,以获得所述用户的初阶人脸模型。
其中,所述预设渲染数据包括预设纹理数据和预设风格数据;
所述效果渲染模块30,还用于获取各人脸区域对应的所述预设纹理数据和所述预设风格数据,以及各人脸区域对应的边缘点信息和法向量信息;
所述效果渲染模块30,还用于基于各人脸区域对应的所述预设纹理数据、所述边缘点信息以及所述法向量信息对所述初阶人脸模型进行贴图,获得人脸纹理模型;
所述效果渲染模块30,还用于基于各人脸区域对应的所述预设风格数据、所述边缘点信息以及所述法向量信息对所述人脸纹理模型进行渲染,获得所述用户的三维人脸模型。
所述效果渲染模块30,还用于获取用户输入的调整偏好信息中的一类偏好信息,并基于所述一类偏好信息对所述初阶人脸模型进行调整,以获得用户微调模型;
所述效果渲染模块30,还用于获取预设渲染数据和所述调整偏好信息中的二类偏好信息,并基于所述渲染数据和所述二类偏好信息对所述用户微调模型进行效果渲染,以获得所述用户的三维人脸模型。
本发明三维人脸模型生成装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种三维人脸模型生成方法,其特征在于,所述三维人脸模型生成方法包括以下步骤:
获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
2.如权利要求1所述的三维人脸模型生成方法,其特征在于,所述获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息的步骤,具体包括:
获取用户的人脸图像信息,并对所述人脸图像信息进行图像识别,获得人脸图像关键点;
将所述人脸图像关键点转换到预设人脸坐标系中,以获得所述人脸图像关键点与所述预设人脸坐标系中对应的预设图像关键点的关键点坐标差值;
基于所述关键点坐标差值生成所述用户的人脸特征信息。
3.如权利要求1所述的三维人脸模型生成方法,其特征在于,所述将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型的步骤,具体包括:
将所述人脸特征信息与预设三维转换神经网络模型中各预设人脸模型的模型特征信息进行模型匹配,获得所述人脸特征信息和所述模型特征信息之间的模型匹配度;
对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型;
基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型。
4.如权利要求3所述的三维人脸模型生成方法,其特征在于,所述对所述模型匹配度进行排序,以获得匹配度排序结果,并基于所述匹配度排序结果确定目标人脸模型的步骤,具体包括:
将所述模型匹配度按照从大到小进行排序,以获得匹配度排序结果;
判断所述匹配度排序结果中排序顺位第一的预设人脸模型对应的模型匹配度是否大于预设匹配度;
在大于等于所述预设匹配度时,将所述排序顺位第一的预设人脸模型作为目标人脸模型;
在小于所述预设匹配度时,将预设标准模型作为所述目标人脸模型。
5.如权利要求3所述的三维人脸模型生成方法,其特征在于,所述基于所述人脸特征信息对所述目标人脸模型进行自适应调整,以获得所述用户的初阶人脸模型的步骤,具体包括:
获取所述人脸特征信息对应在各人脸区域的人脸特征值,以及所述目标人脸模型对应在各预设分区的人脸目标值;
将所述人脸特征值与所述人脸目标值进行比对,获得特征比对结果;
基于所述特征比对结果对所述目标人脸模型的各人脸区域进行自适应调整,以获得所述用户的初阶人脸模型。
6.如权利要求1~5中任一项所述的三维人脸模型生成方法,其特征在于,所述预设渲染数据包括预设纹理数据和预设风格数据;
相应地,所述获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型的步骤,具体包括:
获取各人脸区域对应的所述预设纹理数据和所述预设风格数据,以及各人脸区域对应的边缘点信息和法向量信息;
基于各人脸区域对应的所述预设纹理数据、所述边缘点信息以及所述法向量信息对所述初阶人脸模型进行贴图,获得人脸纹理模型;
基于各人脸区域对应的所述预设风格数据、所述边缘点信息以及所述法向量信息对所述人脸纹理模型进行渲染,获得所述用户的三维人脸模型。
7.如权利要求1~5中任一项所述的三维人脸模型生成方法,其特征在于,所述获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型的步骤,具体包括:
获取用户输入的调整偏好信息中的一类偏好信息,并基于所述一类偏好信息对所述初阶人脸模型进行调整,以获得用户微调模型;
获取预设渲染数据和所述调整偏好信息中的二类偏好信息,并基于所述渲染数据和所述二类偏好信息对所述用户微调模型进行效果渲染,以获得所述用户的三维人脸模型。
8.一种三维人脸模型生成装置,其特征在于,所述三维人脸模型生成装置包括:
特征识别模块,用于获取用户的人脸图像信息,并对所述人脸图像信息进行特征识别,以获得所述用户的人脸特征信息;
三维转换模块,用于将所述人脸特征信息输入至预设三维转换神经网络模型中进行三维转换处理,以获得所述用户的初阶人脸模型;
效果渲染模块,用于获取预设渲染数据,并基于所述预设渲染数据对所述初阶人脸模型进行效果渲染,以获得所述用户的三维人脸模型。
9.一种三维人脸模型生成设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维人脸模型生成程序,所述三维人脸模型生成程序配置为实现如权利要求1至7中任一项所述的三维人脸模型生成方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有三维人脸模型生成程序,所述三维人脸模型生成程序被处理器执行时实现如权利要求1至7中任一项所述的三维人脸模型生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110597244.2A CN113284229B (zh) | 2021-05-28 | 2021-05-28 | 三维人脸模型生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110597244.2A CN113284229B (zh) | 2021-05-28 | 2021-05-28 | 三维人脸模型生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284229A true CN113284229A (zh) | 2021-08-20 |
CN113284229B CN113284229B (zh) | 2023-04-18 |
Family
ID=77282551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110597244.2A Active CN113284229B (zh) | 2021-05-28 | 2021-05-28 | 三维人脸模型生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284229B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838176A (zh) * | 2021-09-16 | 2021-12-24 | 网易(杭州)网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
CN116542846A (zh) * | 2023-07-05 | 2023-08-04 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN110136243A (zh) * | 2019-04-09 | 2019-08-16 | 五邑大学 | 一种三维人脸重建方法及其系统、装置、存储介质 |
CN110580733A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN111401157A (zh) * | 2020-03-02 | 2020-07-10 | 中国电子科技集团公司第五十二研究所 | 一种基于三维特征的人脸识别方法和系统 |
-
2021
- 2021-05-28 CN CN202110597244.2A patent/CN113284229B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
CN110580733A (zh) * | 2018-06-08 | 2019-12-17 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN109118569A (zh) * | 2018-08-16 | 2019-01-01 | Oppo广东移动通信有限公司 | 基于三维模型的渲染方法和装置 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN110136243A (zh) * | 2019-04-09 | 2019-08-16 | 五邑大学 | 一种三维人脸重建方法及其系统、装置、存储介质 |
CN111401157A (zh) * | 2020-03-02 | 2020-07-10 | 中国电子科技集团公司第五十二研究所 | 一种基于三维特征的人脸识别方法和系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838176A (zh) * | 2021-09-16 | 2021-12-24 | 网易(杭州)网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
CN113838176B (zh) * | 2021-09-16 | 2023-09-15 | 网易(杭州)网络有限公司 | 模型的训练方法、三维人脸图像生成方法及设备 |
CN116542846A (zh) * | 2023-07-05 | 2023-08-04 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
CN116542846B (zh) * | 2023-07-05 | 2024-04-26 | 深圳兔展智能科技有限公司 | 用户账号图标生成方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113284229B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859098B (zh) | 人脸图像融合方法、装置、计算机设备及可读存储介质 | |
CN109829930B (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
EP3839879B1 (en) | Facial image processing method and apparatus, image device, and storage medium | |
CN112884637A (zh) | 特效生成方法、装置、设备及存储介质 | |
CN113284229B (zh) | 三维人脸模型生成方法、装置、设备及存储介质 | |
KR102455966B1 (ko) | 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 | |
US20210097730A1 (en) | Face Image Generation With Pose And Expression Control | |
KR20120005587A (ko) | 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치 | |
WO2022257766A1 (zh) | 图像处理方法、装置、设备及介质 | |
CN110580733B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112419144B (zh) | 人脸图像的处理方法、装置、电子设备及存储介质 | |
CN113240760A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
US11812183B2 (en) | Information processing device and program | |
CN109949207B (zh) | 虚拟对象合成方法、装置、计算机设备和存储介质 | |
CN112837213A (zh) | 脸型调整图像生成方法、模型训练方法、装置和设备 | |
KR20210032489A (ko) | 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법 | |
CN110580677B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
CN109255761B (zh) | 一种图像处理方法、装置及电子设备 | |
CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
CN111354478B (zh) | 整形模拟信息处理方法、整形模拟终端和整形服务终端 | |
CN110933354A (zh) | 一种可定制的多风格多媒体处理方法及其终端 | |
CN110750154A (zh) | 显示器控制方法、系统、装置、设备和存储介质 | |
JP2020091852A (ja) | メイクアップ製品の現実的レンダリングをシミュレーションするための方法 | |
CN111062877A (zh) | 边缘学习的图像填充方法、装置、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |