CN110766777A - 虚拟形象的生成方法、装置、电子设备及存储介质 - Google Patents
虚拟形象的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110766777A CN110766777A CN201911053622.XA CN201911053622A CN110766777A CN 110766777 A CN110766777 A CN 110766777A CN 201911053622 A CN201911053622 A CN 201911053622A CN 110766777 A CN110766777 A CN 110766777A
- Authority
- CN
- China
- Prior art keywords
- target object
- virtual image
- expression
- target
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000014509 gene expression Effects 0.000 claims abstract description 276
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 114
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 230000004048 modification Effects 0.000 claims description 35
- 238000012986 modification Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 210000003128 head Anatomy 0.000 description 40
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 230000008449 language Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例提供一种虚拟形象的生成方法、装置、电子设备及存储介质;方法包括:对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;获取基础虚拟形象模型;基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象;通过本公开,能够实现个性化虚拟形象的创建。
Description
技术领域
本公开实施例涉及视频处理技术,尤其涉及一种虚拟形象的生成方法、装置、电子设备及存储介质。
背景技术
随着互联网产业的高速发展,人工智能使得“虚拟世界”的应用越来越多,从动漫到直播、到短视频的运营等,都涉及到“虚拟形象”的构建。相关技术中,大多采用通用的模板为用户提供“虚拟形象”,模板式的“虚拟形象”都比较相似,缺乏个性化,呈现效果不好。
发明内容
有鉴于此,本公开实施例提供一种虚拟形象的生成方法、装置、电子设备及存储介质。
第一方面,本公开实施例提供了一种虚拟形象的生成方法,包括:
对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取基础虚拟形象模型;
基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
上述方案中,所述对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
上述方案中,所述基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,包括:
获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
上述方案中,所述基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息,包括:
基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
上述方案中,所述基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
上述方案中,所述基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
上述方案中,所述基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果,包括:
基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
上述方案中,所述方法还包括:
对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
上述方案中,所述方法还包括:
接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
第二方面,本公开实施例提供了一种虚拟形象的生成装置,包括:
第一识别模块,用于对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取模块,用于获取基础虚拟形象模型;
第一调整模块,用于基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
第二调整模块,用于基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
上述方案中,所述第一识别模块,还用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
上述方案中,所述第一调整模块,还用于获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
上述方案中,所述第一调整模块,还用于基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
上述方案中,所述第二调整模块,还用于基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
上述方案中,所述第二调整模块,还用于基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
上述方案中,所述第二调整模块,还用于基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
上述方案中,所述装置还包括:
第二识别模块,用于对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
上述方案中,所述装置还包括:
修改模块,用于接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
第三方面,本公开实施例提供了一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述可执行指令时,实现本公开实施例提供的上述虚拟形象的生成方法。
第四方面,本公开实施例提供了一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本公开实施例提供的上述虚拟形象的生成方法。
应用本公开上述实施例具有如下有益效果:
应用本公开上述实施例,通过识别目标对象的帧图像得到目标对象的骨骼特征与表情特征,基于该骨骼特征,调整基础虚拟形象模型的骨骼特征,再基于表情特征,调整与目标对象骨骼特征相匹配的虚拟形象模型的表情特征,进而得到与目标对象表情特征相匹配的目标虚拟形象模型,以渲染生成目标对象的虚拟形象;由于目标虚拟形象模型是基于目标对象的骨骼特征、与表情特征调整基础虚拟形象模型得到的,因此能够实现虚拟形象的个性化创建,并更好地呈现虚拟形象的表情效果。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例提供的虚拟形象的生成系统的架构示意图;
图2为本公开实施例提供的电子设备的结构示意图;
图3为本公开实施例提供的虚拟形象的生成方法的流程示意图一;
图4为本公开实施例提供的目标对象的帧图像采集示意图;
图5为本公开实施例提供的图像扫描框的示意图一;
图6为本公开实施例提供的图像扫描框的示意图二;
图7为本公开实施例提供的人脸关键点检测的界面示意图;
图8为本公开实施例提供的基础虚拟形象模型的骨骼特征调整示意图;
图9为本公开实施例提供的通过不同方式调整虚拟形象模型得到的虚拟形象的对比示意图;
图10为本公开实施例提供的虚拟形象修改界面的示意图;
图11为本公开实施例提供的虚拟形象的生成方法的流程示意图二;
图12为本公开实施例提供的虚拟形象的生成装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释。
1)虚拟形象,通过智能识别,将用户的表情、动作、神态和语言等实时转化成虚拟人物的一举一动,其面部表情、动作神态、声音语调可完全复制用户本人。
2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
基于上述对本公开实施例中涉及的名词和术语的解释,下面参见图1,图1为本公开实施例提供的虚拟形象的生成系统的架构示意图,为实现支撑一个示例性应用,终端400(包括终端400-1、终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
终端400(如终端400-1),用于采集包含目标对象的帧图像;基于目标虚拟形象模型,渲染并呈现目标对象的虚拟形象。
服务器200,用于对包括目标对象的帧图像进行特征识别,得到目标对象的骨骼特征及表情特征;获取基础虚拟形象模型;基于目标对象的骨骼特征,对基础虚拟形象模型的骨骼特征进行调整,得到与目标对象的骨骼特征相匹配的虚拟形象模型;基于目标对象的表情特征,对虚拟形象模型的表情特征进行调整,得到与目标对象的表情特征相匹配的目标虚拟形象模型。
这里,在实际应用中,终端400可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端,还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合;服务器200既可以为单独配置的支持各种业务的一个服务器,亦可以配置为一个服务器集群。
下面参见图2,图2为本公开实施例提供的电子设备的结构示意图。电子设备可以是各种终端,包括移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA,PersonalDigital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP,Portable MediaPlayer)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(TV)、台式计算机等等的固定终端。图2示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等)210,其可以根据存储在只读存储器(ROM,Read-Only Memory)220中的程序或者从存储装置280加载到随机访问存储器(RAM,Random Access Memory)230中的程序而执行各种适当的动作和处理。在RAM 230中,还存储有电子设备操作所需的各种程序和数据。处理装置210、ROM 220以及RAM230通过总线240彼此相连。输入/输出(I/O,Input/Output)接口250也连接至总线240。
通常,以下装置可以连接至I/O接口250:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置260;包括例如液晶显示器(LCD,LiquidCrystal Display)、扬声器、振动器等的输出装置270;包括例如磁带、硬盘等的存储装置280;以及通信装置290。通信装置290可以允许电子设备与其他设备进行无线或有线通信以交换数据。
特别地,根据本公开实施例,所提供的流程图描述的过程可以被实现为计算机软件程序。例如,本公开实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,计算机程序可以通过通信装置290从网络上被下载和安装,或者从存储装置280被安装,或者从ROM 220被安装。在计算机程序被处理装置220执行时,执行本公开实施例的虚拟形象的生成方法中的功能。
需要说明的是,本公开实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM,ErasableProgrammable Read Only Memory)、闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括电线、光缆、射频(RF,Radio Frequency)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行本公开实施例提供的虚拟形象的生成方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开实施例中操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN,Local Area Network))和广域网(WAN,Wide Area Network),以连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本公开实施例提供的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本公开实施例中描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA,Field-Programmable Gate Array)、专用集成电路(ASIC,Application SpecificIntegrated Circuit)、专用标准产品(ASSP,Application Specific Standard Parts))、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开实施例的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
下面说明本公开实施例提供的虚拟形象的生成方法。参见图3,图3为本公开实施例提供的虚拟形象的生成方法的流程示意图一,在一些实施例中,该虚拟形象的生成方法可由服务器或终端实施,或由服务器及终端协同实施,以服务器实施为例,本公开实施例提供的虚拟形象的生成方法包括:
步骤301:服务器对包括目标对象的帧图像进行特征识别,得到目标对象的骨骼特征及表情特征。
这里,由终端采集包含目标对象的帧图像,基于帧图像,发送对应目标对象的虚拟形象的获取请求。其中,该获取请求中携带目标对象的帧图像,用于请求对应目标对象的目标虚拟形象模型。
在一些实施例中,终端上设置有客户端,如即时通讯客户端、微博客户端、短视频客户端等,当用户存在拍摄虚拟形象相关视频的需求时,可以在终端显示的视图界面通过滑动、点击等操作,触发虚拟形象的生成指令。终端响应于该虚拟形象的生成指令,采集包含目标对象的帧图像,进而基于帧图像,向服务器发送对应目标对象的虚拟形象的获取请求。
在实际应用中,终端通过视图界面向用户呈现包含如贴纸、滤镜、虚拟形象等多种拍摄道具图标的工具栏,用户可以通过点击操作选择需要的拍摄道具。当终端检测到用户选择的拍摄道具图标为虚拟形象图标时,基于该虚拟形象图标,接收用户点击操作时触发的虚拟形象的生成指令。示例性地,参见图4,图4为本公开实施例提供的目标对象的帧图像采集示意图,这里,终端通过视图界面呈现包含目标对象的预览帧图像,并呈现包含虚拟形象图标的页面。当用户点击该虚拟形象图标时,终端即呈现虚拟形象图标为被选中状态,即可以通过方框圈住虚拟形象图标,此时终端则接收到用户触发的虚拟形象生成指令,进而基于该虚拟形象的生成指令,采集目标对象的帧图像。
在一些实施例中,终端在采集目标对象的帧图像时,还可以通过视图界面呈现图像扫描框。该图像扫描框是基于目标对象设置的,与目标对象的轮廓相匹配,同时可以向用户呈现对应的提示信息,以提示用户在拍摄时调整自身的拍摄姿势、拍摄角度和拍摄距离等。
示例性地,参见图5,图5为本公开实施例提供的图像扫描框的示意图一,这里,当终端呈现图像采集界面并检测到目标对象时,呈现图像扫描框,并通过显示文字“请将面部放入框内”的方式提示用户在进行虚拟形象创建时,需要将面部放在图像扫描框内。而如果终端检测到目标对象的轮廓不在上述图像扫描框内时,则可以通过文字“请正脸拍摄”“请移动面部至框内”等提示用户调整拍摄姿势、角度或者距离,参见图6,图6为本公开实施例提供的图像扫描框的示意图二,图6中目标对象的轮廓与图像扫描框不匹配。
服务器接收该包含目标对象的帧图像的获取请求,对目标对象的帧图像进行识别,以获取目标对象的骨骼特征及表情特征。
在一些实施例中,可以采用如下方式得到帧图像中目标对象的骨骼特征及表情特征:识别帧图像中包含的目标对象的头部不同部分,以确定目标对象的头部各部分对应的图像区域;基于确定的图像区域,对目标对象头部各部分对应的图像进行特征提取,得到目标对象的骨骼特征及表情特征。
这里,目标对象的头部各部分包括以下至少之一:眼部、发部、耳朵、嘴巴、鼻子、眉毛、胡子、脸型。这里,眼部可以包括眼睛及眼镜,发部可以包括头发及帽子。
在一些实施例中,若确定目标对象的头部各部分的特征,首先需要获取头部各部分对应帧图像中的图像区域。具体地,终端可以通过人脸关键点识别的方式来确定目标对象的头部各部分对象的图像区域。这里,人脸关键点是指在图像中能够反映目标对象的局部特征(如颜色特征、形状特征和纹理特征)的点,一般为多个像素点的集合,例如,人脸关键点可以是眼睛关键点、嘴巴关键点或鼻子关键点等。
在实际应用中,对包含目标对象的帧图像进行人脸关键点检测,确定目标对象的头部各部分所包括的关键点;基于确定的人脸关键点,采用人脸对齐算法进行人脸对齐,进而确定由这些关键点构成的区域、为目标对象的头部各部分对应的图像区域。参见图7,图7为本公开实施例提供的人脸关键点检测的界面示意图,这里虚线框1为由鼻子所包括的关键点确定的鼻子的图像区域,虚线框2为由嘴巴所包括的关键点确定的嘴巴的图像区域。
基于上述确定的目标对象的头部各部分对应的图像区域,对采集的帧图像进行区域分割,使得分割得到的每个图像均对应目标对象头部不同部分其中的一个部分;基于确定的图像区域,分别对目标对象头部各部分对应的图像进行特征提取,得到目标对象的骨骼特征及表情特征。
步骤302:获取基础虚拟形象模型。
这里,基础虚拟形象模型为设计人员预先制作的,具体是基于人的标准脸型、标准唇形、及标准眼形等头部各部分对应的标准形态制作的,是生成虚拟形象的通用模板。
在实际应用中,创建个性化虚拟形象是基于该基础虚拟形象模型的,因此,在生成对应目标对象的目标虚拟形象模型时,需要获取预先制作完成的基础虚拟形象模型。
步骤303:基于目标对象的骨骼特征,对基础虚拟形象模型的骨骼特征进行调整,得到与目标对象的骨骼特征相匹配的虚拟形象模型。
在获取到目标对象的骨骼特征之后,可以基于该骨骼特征,对基础虚拟形象模型的骨骼特征进行调整,即捏脸过程,进而得到与目标对象的骨骼特征相匹配的虚拟形象模型。
在一些实施例中,可以通过如下方式对基础虚拟形象模型的骨骼特征进行调整:获取基础虚拟形象模型的骨骼特征;基于目标对象的骨骼特征及基础虚拟形象模型的骨骼特征,确定对应虚拟形象模型相对基础虚拟形象模型的骨骼变换信息;基于骨骼变换信息,调整基础虚拟形象模型中各部分的顶点信息。
首先获取基础虚拟形象模型的骨骼特征,即构成基础虚拟形象模型的各个骨骼的关键点的位置信息。根据目标对象的骨骼特征与基础虚拟形象模型的骨骼特征,比如根据骨骼的关键点位置的变化情况,确定虚拟形象模型相对该基础虚拟形象模型的骨骼变换信息,进而可以根据该骨骼变换信息,调整虚拟形象模型中各部分的顶点信息。
在一些实施例中,可以通过如下方式调整基础虚拟形象模型中各部分的顶点信息:基于骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;基于骨骼缩放系数及骨骼位移,对基础虚拟形象模型中各顶点位置进行调整,得到虚拟形象模型。
在进行基础虚拟模型中各部分的顶点信息调整时,根据上述得到的骨骼变换信息,确定各部分的骨骼对应的骨骼缩放系数、骨骼位移,进而基于该骨骼缩放系数、骨骼位移,调整基础虚拟模型中各顶点的位置。
在实际应用中,骨骼变换信息即为变换矩阵,将基础虚拟形象模型的各顶点也通过矩阵表示,调整基础虚拟模型中各顶点的位置的过程即为各顶点的空间位置变换,具体可以将模型顶点对应的矩阵与变换矩阵(即骨骼变换信息)相乘,以实现顶点的空间位置变化,使基础虚拟模型中骨骼的发生缩放和位移,以改变头部的外形特征,达到捏脸的效果。
示例性地,参见图8,图8为本公开实施例提供的基础虚拟形象模型的骨骼特征调整示意图。这里,图中呈现的点即为上述的顶点,连线即为构建的骨骼,图8中的骨骼为眉骨对应的部分。基于顶点信息的改变,以实现骨骼的缩放和位移,使基础虚拟形象模型的外形发生改变,达到捏脸的效果。
步骤304:基于目标对象的表情特征,对虚拟形象模型的表情特征进行调整,得到与目标对象的表情特征相匹配的目标虚拟形象模型;目标虚拟形象模型用于供渲染得到目标对象的虚拟形象。
在获取到目标对象的表情特征后,可以基于该表情特征,调整上述得到的虚拟形象模型的表情特征,以使该虚拟形象模型的表情特征与目标对象的表情特征相匹配,进而可以基于该调整后得到的目标虚拟形象模型、渲染得到目标对象的虚拟形象。
在一些实施例中,可以通过如下方式对虚拟形象模型的表情特征进行调整:基于目标对象的表情特征,确定虚拟形象模型头部各部分中目标部分对应的表情参数,该表情参数用于指示目标部分所处的表情状态;获取基础虚拟形象模型的第一表情数据和虚拟形象模型的第二表情数据;基于表情参数、第一表情数据和第二表情数据,对虚拟形象模型的表情特征进行调整。
基于获取到的目标对象头部各部分中目标部分的表情特征,确定虚拟形象模型头部各部分中相应部分的表情参数,即Blendshape参数,该表情参数用于指示目标部分当前所处的表情状态,比如目标部分是眼睛,可以用[0,1]作为指示眼睛所处的表情状态,比如用0代表睁眼状态、1代表闭眼状态。
确定虚拟形象头部各部分中目标部分对应的表情参数之后,基于该表情参数,对虚拟形象模型的表情特征进行调整。由于根据表情参数对已经过骨骼调整之后的虚拟形象模型直接进行调整,会导致出现虚拟形象表情呈现效果差的问题。因此,在本公开实施例中,会结合基础虚拟形象模型和经过骨骼调整之后的虚拟形象模型,共同调整虚拟形象模型的表情特征。在实际应用中,首先获取基础虚拟形象模型的第一表情数据、以及虚拟形象模型的第二表情数据,该表情数据即为虚拟形象模型的各顶点的位置信息。进而基于该第一表情数据、第二表情数据和表情参数,来对虚拟形象模型的表情特征进行调整。
示例性地,参见图9,图9为本公开实施例提供的通过不同方式调整虚拟形象模型得到的虚拟形象的对比示意图,这里,左侧图示的为根据表情参数对已经过骨骼调整之后的虚拟形象模型直接进行调整,得到的虚拟形象模型从而渲染得到的虚拟形象,明显可以看到目标对象的眼睛部分存在问题,眼睑的贴合度很低;而右侧图示的为采用本公开实施例提供的方式,根据表情参数、结合基础虚拟形象模型和虚拟形象模型两者的表情数据,对虚拟形象模型进行调整,即通过表情参数、结合捏脸前的数据和捏脸后的数据对捏脸后的模型的表情特征进行调整,从而得到如右侧图所示的眼睑贴合度极高的虚拟形象,使得呈现的虚拟形象的表情更加自然。
在一些实施例中,可以通过如下方式对虚拟形象模型的表情特征进行调整:基于表情参数,对第一表情数据和第二表情数据进行插值,得到插值结果;基于插值结果,调整虚拟形象模型中各顶点,得到目标虚拟形象模型。
在实际应用中,可以基于表情参数,对第一表情数据和第二表情数据进行插值处理,具体可以采用如下公式对第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为目标虚拟形象模型的表情数据,X为第一表情数据,Y为第二表情数据,a为表情参数。
基于插值后的结果,对虚拟形象模型中的各顶点的位置进行调整,以得到与目标对象相匹配的目标虚拟形象模型。
基于与目标对象相匹配的目标虚拟形象模型,以及预置的目标虚拟形象模型对应的头部各部分的素材,通过图形处理器GPU等的渲染处理,得到目标对象的虚拟形象并呈现。
在一些实施例中,得到目标对象的虚拟形象之后,还可以动态呈现虚拟形象:对包括目标对象的多帧连续的帧图像进行关键点识别;获取多帧连续的帧图像中目标对象的关键点变化信息;基于关键点变化信息,生成虚拟形象的形态更新指令,以动态的呈现虚拟形象。
在针对目标对象生成对应的虚拟形象之后,还可以通过动态呈现该虚拟形象以提高用户视频拍摄体验,即使得该虚拟形象可以根据目标对象头部的动作或表情的变化而变化。
在实际实施时,终端可以针对目标对象,采集多帧连续的帧图像,并发送给服务器。服务器对于接收到采集的每一帧的帧图像,均执行以下操作:获取帧图像中目标对象头部各部分的关键点相对于前一帧的帧图像中目标对象相应部分的关键点的位置变化信息;基于目标对象头部各部分的关键点的位置变化信息,调整对应头部各部分的素材,并基于调整后的素材,更新目标虚拟形象模型,进而生成虚拟形象的形态更新指令;将该虚拟形象的形态更新指令发送给终端,这里,形态更新指令中可以携带有更新后的目标虚拟形象模型,以使终端根据更新后的目标虚拟形象模型、更新呈现的目标对象的虚拟形象。
在一些实施例中,在生成对应目标对象的虚拟形象后,还可以对虚拟形象进行修改:接收到针对虚拟形象的目标部分的修改请求,修改请求携带包括目标部分的目标对象的图像;响应于修改请求,基于包括目标部分的目标对象的图像,更新目标对象的目标虚拟形象模型,以基于更新的目标虚拟形象模型,更新目标对象的虚拟形象。
当用户对构建的虚拟形象不是很满意、或者想进一步完善改进虚拟形象时,可以通过终端点击视图界面呈现的某个虚拟形象对应的虚拟形象图标,即该虚拟形象的缩略图,触发虚拟形象的修改指令。参见图10,图10为本公开实施例提供的虚拟形象修改界面的示意图,这里,终端显示用户共创建了两个虚拟形象,当终端接收到用户的点击操作时,通过选择框圈住用户指定修改的虚拟形象对应的虚拟形象图标,并在视图界面显示“修改形象”的按钮以供用户执行修改操作。
终端接收到用户针对虚拟形象的修改指令之后,重新采集目标对象的帧图像,将包括目标部分的帧图像携带在修改请求中,发送给服务器,以请求修改虚拟形象的目标部分。
服务器接收到对虚拟形象的目标部分进行修改的修改请求后,解析该修改请求,获取其中携带的帧图像,对该包括目标部分的目标对象的帧图像进行识别,以确定目标部分对应的图像区域;基于对应目标部分的图像区域,对该帧图像进行分割,得到对应目标部分的图像;通过预先训练完成的神经网络模型,对目标部分的图像进行类别预测,以确定目标部分所属的类别;进而根据目标部分所属的类别,确定对应新目标部分的素材;将原目标虚拟形象模型中目标部分的素材,替换为新目标部分的素材,以更新目标对象的目标虚拟形象模型。
将该更新后的目标虚拟形象模型发送给终端,以使终端基于更新后的目标虚拟形象模型,更新呈现的目标对象的虚拟形象。
应用本公开上述实施例具有如下有益效果:
应用本公开上述实施例,通过识别目标对象的帧图像得到目标对象的骨骼特征与表情特征,基于该骨骼特征,调整基础虚拟形象模型的骨骼特征,再基于表情特征,调整与目标对象骨骼特征相匹配的虚拟形象模型的表情特征,进而得到与目标对象表情特征相匹配的目标虚拟形象模型,以渲染生成目标对象的虚拟形象;由于目标虚拟形象模型是基于目标对象的骨骼特征、与表情特征调整基础虚拟形象模型得到的,因此能够实现虚拟形象的个性化创建,并更好地呈现虚拟形象的表情效果。
下面结合一个具体实施例,继续说明本公开实施例提供的虚拟形象的生成方法。参见图11,图11为本公开实施例提供的虚拟形象的生成方法的流程示意图二,本公开实施例提供的虚拟形象的生成方法包括:
步骤1101:终端采集目标对象的帧图像,发送对应目标对象的虚拟形象获取请求。
步骤1102:服务器对目标对象的帧图像进行特征识别,得到目标对象的骨骼特征及表情特征。
这里,服务器在进行特征识别时,首先识别帧图像包含的目标对象的头部不同部分,确定各部分对应的图像区域,对该图像区域的图像进行特征提取,以得到目标对象的骨骼特征及表情特征。
步骤1103:获取基础虚拟形象模型的骨骼特征。
步骤1104:基于目标对象的骨骼特征与基础虚拟形象模型的骨骼特征,确定骨骼变换信息。
步骤1105:基于骨骼变换信息,确定骨骼缩放系数和骨骼位移。
步骤1106:基于骨骼缩放系数、骨骼位移,调整基础虚拟形象模型中的各顶点位置。
这里,基础虚拟形象模型经过骨骼调整,得到虚拟形象模型,即为捏脸过程。
步骤1107:基于目标对象的表情特征,确定虚拟形象模型头部各部分中目标部分对应的表情参数。
步骤1108:获取基础虚拟形象模型的第一表情数据和虚拟形象模型的第二表情数据。
步骤1109:基于表情参数,对第一表情数据和第二表情数据进行插值,得到插值结果;
步骤1110:基于插值结果,调整虚拟形象模型中各顶点位置,得到目标虚拟形象模型。
步骤1111:发送目标虚拟形象模型。
步骤1112:终端基于目标虚拟形象模型,渲染并呈现目标对象的虚拟形象。
步骤1113:采集目标对象的第二帧图像,并发送给服务器。
这里,第二帧图像与第一帧图像为连续的帧图像。
步骤1114:服务器获取第二帧图像中目标对象的人脸关键点的位置信息。
步骤1115:确定第二帧图像中目标对象的人脸关键点相对于第一帧图像中目标对象的人脸关键点的位置变化信息。
步骤1116:基于目标对象的人脸关键点的位置变化信息,更新目标对象的目标虚拟形象模型,并发送虚拟形象的形态更新指令给终端。
步骤1117:终端根据更新指令中携带的更新后的目标虚拟形象模型,更新呈现的目标对象的虚拟形象。
下面说明实现本公开实施例提供的虚拟形象的生成装置中的单元和/或模块。可以理解地,虚拟形象的生成装置中的单元或模块可以采用软件(例如上述的计算机软件程序中存储的计算机程序)的方式在如图2所示的电子设备中实现,也可以采用上述的硬件逻辑部件(例如FPGA、ASIC、SOC和CPLD)的方式在如图2所示的电子设备中实现。
参见图12,图12是实现本公开实施例的虚拟形象的生成装置1200的一个可选的结构示意图,示出了以下模块:第一识别模块1210、获取模块1220、第一调整模块1230和第二调整模块1240,将在下文说明各个模块的功能。
需要指出,上述模块的分类并不构成对电子设备本身的限定,例如一些模块可以拆分为两个或以上的子模块,或者,一些模块可以合并为一个新的模块。
还需要指出,上述模块的名称在某种情况下并不构成对模块本身的限定,例如,上述“第一识别模块1210”也可以被描述为“用于对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征”的模块。
基于同样的理由,电子设备中未详尽描述的单元和/或模块不代表相应的单元和/或模块的缺省,凡是电子设备所执行的操作都可以通过电子设备中的相应的单元和/或模块实现。
继续参见图12,图12为本公开实施例提供的虚拟形象的生成装置1200的结构示意图,所述装置包括:
第一识别模块1210,用于对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取模块1220,用于获取基础虚拟形象模型;
第一调整模块1230,用于基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
第二调整模块1240,用于基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
在一些实施例中,所述第一识别模块1210,还用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
在一些实施例中,所述第一调整模块1230,还用于获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
在一些实施例中,所述第一调整模块1230,还用于基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
在一些实施例中,所述第二调整模块1240,还用于基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
在一些实施例中,所述第二调整模块1240,还用于基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
在一些实施例中,所述第二调整模块1240,还用于基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
在一些实施例中,所述装置还包括:
第二识别模块1250,用于对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
在一些实施例中,所述装置还包括:
修改模块1260,用于接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
这里需要指出的是:以上涉及虚拟形象的生成装置的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述,对于本公开实施例所述虚拟形象的生成装置实施例中未披露的技术细节,请参照本公开方法实施例的描述。
本公开实施例还提供了一种电子设备,所述电子设备包括:
存储器,用于存储可执行程序;
处理器,用于执行所述可执行程序时,实现本公开实施例提供的虚拟形象的生成方法。
本公开实施例还提供一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本公开实施例提供的虚拟形象的生成方法。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,包括:
对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取基础虚拟形象模型;
基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,包括:
获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息,包括:
基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果,包括:
基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
根据本公开的一个或多个实施例,本公开实施例还提供了一种虚拟形象的生成装置,包括:
第一识别模块,用于对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取模块,用于获取基础虚拟形象模型;
第一调整模块,用于基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
第二调整模块,用于基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
以上描述仅为本公开的实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (20)
1.一种虚拟形象的生成方法,其特征在于,所述方法包括:
对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取基础虚拟形象模型;
基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
2.如权利要求1所述的方法,其特征在于,所述对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
3.如权利要求1所述的方法,其特征在于,所述基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,包括:
获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
4.如权利要求3所述的方法,其特征在于,所述基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息,包括:
基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
5.如权利要求1所述的方法,其特征在于,所述基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
6.如权利要求5所述的方法,其特征在于,所述基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整,包括:
基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
7.如权利要求6所述的方法,其特征在于,所述基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果,包括:
基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
9.如权利要求1所述的方法,其特征在于,所述方法还包括:
接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
10.一种虚拟形象的生成装置,其特征在于,所述装置包括:
第一识别模块,用于对包括目标对象的帧图像进行特征识别,得到所述目标对象的骨骼特征及表情特征;
获取模块,用于获取基础虚拟形象模型;
第一调整模块,用于基于所述目标对象的骨骼特征,对所述基础虚拟形象模型的骨骼特征进行调整,得到与所述目标对象的骨骼特征相匹配的虚拟形象模型;
第二调整模块,用于基于所述目标对象的表情特征,对所述虚拟形象模型的表情特征进行调整,得到与所述目标对象的表情特征相匹配的目标虚拟形象模型;所述目标虚拟形象模型用于供渲染得到所述目标对象的虚拟形象。
11.如权利要求10所述的装置,其特征在于,
所述第一识别模块,还用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于确定的所述图像区域,对所述目标对象头部各部分对应的图像进行特征提取,得到所述目标对象的骨骼特征及表情特征。
12.如权利要求10所述的装置,其特征在于,
所述第一调整模块,还用于获取所述基础虚拟形象模型的骨骼特征;
基于所述目标对象的骨骼特征及所述基础虚拟形象模型的骨骼特征,确定对应所述虚拟形象模型相对所述基础虚拟形象模型的骨骼变换信息;
基于所述骨骼变换信息,调整所述基础虚拟形象模型中各部分的顶点信息。
13.如权利要求12所述的装置,其特征在于,
所述第一调整模块,还用于基于所述骨骼变换信息,确定相应的骨骼缩放系数、以及相应的骨骼位移;
基于所述骨骼缩放系数及所述骨骼位移,对所述基础虚拟形象模型中各顶点位置进行调整,得到所述虚拟形象模型。
14.如权利要求10所述的装置,其特征在于,
所述第二调整模块,还用于基于所述目标对象的表情特征,确定所述虚拟形象模型头部各部分中目标部分对应的表情参数,所述表情参数用于指示所述目标部分所处的表情状态;
获取所述基础虚拟形象模型的第一表情数据和所述虚拟形象模型的第二表情数据;
基于所述表情参数、所述第一表情数据和第二表情数据,对所述虚拟形象模型的表情特征进行调整。
15.如权利要求14所述的装置,其特征在于,
所述第二调整模块,还用于基于所述表情参数,对所述第一表情数据和第二表情数据进行插值,得到插值结果;
基于所述插值结果,调整所述虚拟形象模型中各顶点,得到所述目标虚拟形象模型。
16.如权利要求15所述的装置,其特征在于,
所述第二调整模块,还用于基于所述表情参数,采用如下公式对所述第一表情数据和第二表情数据进行插值,得到插值结果:
Z=X*(1-a)+Y*a
其中,Z为所述目标虚拟形象模型的表情数据,X为所述第一表情数据,Y为所述第二表情数据,a为所述表情参数。
17.如权利要求10所述的装置,其特征在于,所述装置还包括:
第二识别模块,用于对包括所述目标对象的多帧连续的帧图像进行关键点识别;
获取所述多帧连续的帧图像中所述目标对象的关键点变化信息;
基于所述关键点变化信息,生成所述虚拟形象的形态更新指令,以动态的呈现所述虚拟形象。
18.如权利要求10所述的装置,其特征在于,所述装置还包括:
修改模块,用于接收到针对所述虚拟形象的目标部分的修改请求,所述修改请求携带包括所述目标部分的所述目标对象的图像;
响应于所述修改请求,基于包括所述目标部分的所述目标对象的图像,更新所述目标对象的目标虚拟形象模型,以基于所述更新的目标虚拟形象模型,更新所述目标对象的虚拟形象。
19.一种电子设备,其特征在于,所述终端包括:
存储器,用于存储可执行指令;
处理器,用于执行所述可执行指令时,实现如权利要求1至9任一项所述的虚拟形象的生成方法。
20.一种存储介质,其特征在于,存储有可执行指令,所述可执行指令被执行时,用于实现如权利要求1至9任一项所述的虚拟形象的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911053622.XA CN110766777B (zh) | 2019-10-31 | 2019-10-31 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911053622.XA CN110766777B (zh) | 2019-10-31 | 2019-10-31 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110766777A true CN110766777A (zh) | 2020-02-07 |
CN110766777B CN110766777B (zh) | 2023-09-29 |
Family
ID=69335070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911053622.XA Active CN110766777B (zh) | 2019-10-31 | 2019-10-31 | 虚拟形象的生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766777B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462204A (zh) * | 2020-02-13 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 虚拟模型的生成方法、装置、存储介质以及电子装置 |
CN111612876A (zh) * | 2020-04-27 | 2020-09-01 | 北京小米移动软件有限公司 | 表情生成方法、装置及存储介质 |
CN111652983A (zh) * | 2020-06-10 | 2020-09-11 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及设备 |
CN111695471A (zh) * | 2020-06-02 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、设备以及存储介质 |
CN111880709A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、计算机设备及存储介质 |
CN111935491A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术(北京)有限公司 | 直播的特效处理方法、装置以及服务器 |
CN111970535A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 虚拟直播方法、装置、系统及存储介质 |
CN112182194A (zh) * | 2020-10-21 | 2021-01-05 | 南京创维信息技术研究院有限公司 | 电视虚拟形象情绪动作表达方法、系统和可读存储介质 |
CN112184921A (zh) * | 2020-10-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
CN112286610A (zh) * | 2020-10-28 | 2021-01-29 | 北京有竹居网络技术有限公司 | 一种互动处理方法、装置、电子设备和存储介质 |
CN112330805A (zh) * | 2020-11-25 | 2021-02-05 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
CN112423022A (zh) * | 2020-11-20 | 2021-02-26 | 北京字节跳动网络技术有限公司 | 视频生成及显示方法、装置、设备、介质 |
CN112581571A (zh) * | 2020-12-02 | 2021-03-30 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的控制方法、装置、电子设备及存储介质 |
CN112598785A (zh) * | 2020-12-25 | 2021-04-02 | 游艺星际(北京)科技有限公司 | 虚拟形象的三维模型生成方法、装置、设备及存储介质 |
CN112785669A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种虚拟形象合成方法、装置、设备及存储介质 |
CN112819971A (zh) * | 2021-01-26 | 2021-05-18 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、设备和介质 |
CN112807688A (zh) * | 2021-02-08 | 2021-05-18 | 网易(杭州)网络有限公司 | 游戏内表情设置方法、装置、处理器及电子装置 |
CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
CN113050794A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于虚拟形象的滑块处理方法及装置 |
CN113099298A (zh) * | 2021-04-08 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
CN113350801A (zh) * | 2021-07-20 | 2021-09-07 | 网易(杭州)网络有限公司 | 模型处理方法、装置、存储介质及计算机设备 |
CN113658307A (zh) * | 2021-08-23 | 2021-11-16 | 北京百度网讯科技有限公司 | 图像处理方法及装置 |
CN114501065A (zh) * | 2022-02-11 | 2022-05-13 | 广州方硅信息技术有限公司 | 基于面部拼图的虚拟礼物互动方法、系统及计算机设备 |
CN114565696A (zh) * | 2022-03-08 | 2022-05-31 | 北京玖零时代影视传媒有限公司 | 一种元宇宙虚拟数字人制作方法和系统 |
CN114612643A (zh) * | 2022-03-07 | 2022-06-10 | 北京字跳网络技术有限公司 | 虚拟对象的形象调整方法、装置、电子设备及存储介质 |
CN115578493A (zh) * | 2022-10-20 | 2023-01-06 | 武汉两点十分文化传播有限公司 | 一种Maya表情编码方法及其系统 |
CN116129091A (zh) * | 2023-04-17 | 2023-05-16 | 海马云(天津)信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
CN117097919A (zh) * | 2022-05-12 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 虚拟角色渲染方法、装置、设备、存储介质和程序产品 |
WO2024067320A1 (zh) * | 2022-09-29 | 2024-04-04 | 北京字跳网络技术有限公司 | 虚拟物体的渲染方法、装置、设备及存储介质 |
WO2024212702A1 (zh) * | 2023-04-11 | 2024-10-17 | 腾讯科技(深圳)有限公司 | 虚拟形象配置方法、装置、设备及存储介质 |
CN112967212B (zh) * | 2021-02-01 | 2024-11-12 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
CN108171789A (zh) * | 2017-12-21 | 2018-06-15 | 迈吉客科技(北京)有限公司 | 一种虚拟形象生成方法和系统 |
CN108564641A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的表情捕捉方法及装置 |
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
CN110135226A (zh) * | 2018-02-09 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 表情动画数据处理方法、装置、计算机设备和存储介质 |
-
2019
- 2019-10-31 CN CN201911053622.XA patent/CN110766777B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
CN108171789A (zh) * | 2017-12-21 | 2018-06-15 | 迈吉客科技(北京)有限公司 | 一种虚拟形象生成方法和系统 |
CN110135226A (zh) * | 2018-02-09 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 表情动画数据处理方法、装置、计算机设备和存储介质 |
CN108564641A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的表情捕捉方法及装置 |
CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
CN110111247A (zh) * | 2019-05-15 | 2019-08-09 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462204A (zh) * | 2020-02-13 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 虚拟模型的生成方法、装置、存储介质以及电子装置 |
CN111462204B (zh) * | 2020-02-13 | 2023-03-03 | 腾讯科技(深圳)有限公司 | 虚拟模型的生成方法、装置、存储介质以及电子装置 |
CN111612876A (zh) * | 2020-04-27 | 2020-09-01 | 北京小米移动软件有限公司 | 表情生成方法、装置及存储介质 |
CN111695471A (zh) * | 2020-06-02 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟形象生成方法、装置、设备以及存储介质 |
US11715259B2 (en) | 2020-06-02 | 2023-08-01 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating virtual avatar, device and storage medium |
CN111652983A (zh) * | 2020-06-10 | 2020-09-11 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及设备 |
US11722727B2 (en) | 2020-06-28 | 2023-08-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Special effect processing method and apparatus for live broadcasting, and server |
US20210321157A1 (en) * | 2020-06-28 | 2021-10-14 | Baidu Online Network Technology (Beijing) Co., Ltd. | Special effect processing method and apparatus for live broadcasting, and server |
CN111935491A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术(北京)有限公司 | 直播的特效处理方法、装置以及服务器 |
CN111880709A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、计算机设备及存储介质 |
CN111970535A (zh) * | 2020-09-25 | 2020-11-20 | 魔珐(上海)信息科技有限公司 | 虚拟直播方法、装置、系统及存储介质 |
US11785267B1 (en) | 2020-09-25 | 2023-10-10 | Mofa (Shanghai) Information Technology Co., Ltd. | Virtual livestreaming method, apparatus, system, and storage medium |
CN111970535B (zh) * | 2020-09-25 | 2021-08-31 | 魔珐(上海)信息科技有限公司 | 虚拟直播方法、装置、系统及存储介质 |
CN112182194A (zh) * | 2020-10-21 | 2021-01-05 | 南京创维信息技术研究院有限公司 | 电视虚拟形象情绪动作表达方法、系统和可读存储介质 |
CN112286610A (zh) * | 2020-10-28 | 2021-01-29 | 北京有竹居网络技术有限公司 | 一种互动处理方法、装置、电子设备和存储介质 |
CN112184921A (zh) * | 2020-10-30 | 2021-01-05 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
CN112184921B (zh) * | 2020-10-30 | 2024-02-06 | 北京百度网讯科技有限公司 | 虚拟形象驱动方法、装置、设备和介质 |
WO2022105862A1 (zh) * | 2020-11-20 | 2022-05-27 | 北京字节跳动网络技术有限公司 | 视频生成及显示方法、装置、设备、介质 |
CN112423022A (zh) * | 2020-11-20 | 2021-02-26 | 北京字节跳动网络技术有限公司 | 视频生成及显示方法、装置、设备、介质 |
CN112330805A (zh) * | 2020-11-25 | 2021-02-05 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
CN112330805B (zh) * | 2020-11-25 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
CN112581571A (zh) * | 2020-12-02 | 2021-03-30 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的控制方法、装置、电子设备及存储介质 |
CN112581571B (zh) * | 2020-12-02 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的控制方法、装置、电子设备及存储介质 |
CN112598785A (zh) * | 2020-12-25 | 2021-04-02 | 游艺星际(北京)科技有限公司 | 虚拟形象的三维模型生成方法、装置、设备及存储介质 |
CN112819971A (zh) * | 2021-01-26 | 2021-05-18 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、设备和介质 |
CN112819971B (zh) * | 2021-01-26 | 2022-02-25 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、设备和介质 |
CN112967212A (zh) * | 2021-02-01 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
CN112967212B (zh) * | 2021-02-01 | 2024-11-12 | 北京字节跳动网络技术有限公司 | 一种虚拟人物的合成方法、装置、设备及存储介质 |
CN112785669A (zh) * | 2021-02-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 一种虚拟形象合成方法、装置、设备及存储介质 |
CN112785669B (zh) * | 2021-02-01 | 2024-04-23 | 北京字节跳动网络技术有限公司 | 一种虚拟形象合成方法、装置、设备及存储介质 |
CN112807688A (zh) * | 2021-02-08 | 2021-05-18 | 网易(杭州)网络有限公司 | 游戏内表情设置方法、装置、处理器及电子装置 |
US11842457B2 (en) | 2021-03-24 | 2023-12-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for processing slider for virtual character, electronic device, and storage medium |
CN113050794A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于虚拟形象的滑块处理方法及装置 |
CN113099298B (zh) * | 2021-04-08 | 2022-07-12 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
CN113099298A (zh) * | 2021-04-08 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟形象的改变方法、装置和终端设备 |
CN113350801A (zh) * | 2021-07-20 | 2021-09-07 | 网易(杭州)网络有限公司 | 模型处理方法、装置、存储介质及计算机设备 |
CN113658307A (zh) * | 2021-08-23 | 2021-11-16 | 北京百度网讯科技有限公司 | 图像处理方法及装置 |
CN114501065A (zh) * | 2022-02-11 | 2022-05-13 | 广州方硅信息技术有限公司 | 基于面部拼图的虚拟礼物互动方法、系统及计算机设备 |
CN114612643A (zh) * | 2022-03-07 | 2022-06-10 | 北京字跳网络技术有限公司 | 虚拟对象的形象调整方法、装置、电子设备及存储介质 |
CN114612643B (zh) * | 2022-03-07 | 2024-04-12 | 北京字跳网络技术有限公司 | 虚拟对象的形象调整方法、装置、电子设备及存储介质 |
CN114565696A (zh) * | 2022-03-08 | 2022-05-31 | 北京玖零时代影视传媒有限公司 | 一种元宇宙虚拟数字人制作方法和系统 |
CN117097919A (zh) * | 2022-05-12 | 2023-11-21 | 腾讯科技(深圳)有限公司 | 虚拟角色渲染方法、装置、设备、存储介质和程序产品 |
WO2024067320A1 (zh) * | 2022-09-29 | 2024-04-04 | 北京字跳网络技术有限公司 | 虚拟物体的渲染方法、装置、设备及存储介质 |
CN115578493B (zh) * | 2022-10-20 | 2023-05-30 | 武汉两点十分文化传播有限公司 | 一种Maya表情编码方法及其系统 |
CN115578493A (zh) * | 2022-10-20 | 2023-01-06 | 武汉两点十分文化传播有限公司 | 一种Maya表情编码方法及其系统 |
WO2024212702A1 (zh) * | 2023-04-11 | 2024-10-17 | 腾讯科技(深圳)有限公司 | 虚拟形象配置方法、装置、设备及存储介质 |
CN116129091B (zh) * | 2023-04-17 | 2023-06-13 | 海马云(天津)信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
CN116129091A (zh) * | 2023-04-17 | 2023-05-16 | 海马云(天津)信息技术有限公司 | 生成虚拟形象视频的方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110766777B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
KR102697772B1 (ko) | 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들 | |
US11790621B2 (en) | Procedurally generating augmented reality content generators | |
CN110782515A (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
CN110827379A (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
CN110827378A (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
WO2021008166A1 (zh) | 用于虚拟试衣的方法和装置 | |
CN110796721A (zh) | 虚拟形象的颜色渲染方法、装置、终端及存储介质 | |
CN114730483A (zh) | 在消息传送系统中生成3d数据 | |
CN111833461B (zh) | 一种图像特效的实现方法、装置、电子设备及存储介质 | |
CN109584152A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN112288665A (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
CN112766215B (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
US20240355072A1 (en) | Ingestion pipeline for generating augmented reality content generators | |
JP2024506014A (ja) | 動画生成方法、装置、機器及び可読記憶媒体 | |
CN114049417B (zh) | 虚拟角色图像的生成方法、装置、可读介质及电子设备 | |
CN114900625A (zh) | 虚拟现实空间的字幕渲染方法、装置、设备及介质 | |
CN110059739B (zh) | 图像合成方法、装置、电子设备和计算机可读存储介质 | |
CN114418835B (zh) | 图像处理方法、装置、设备及介质 | |
JP7574400B2 (ja) | 文字の表示方法、装置、電子機器及び記憶媒体 | |
CN116684394A (zh) | 媒体内容处理方法、装置、设备、可读存储介质及产品 | |
CN112099712B (zh) | 人脸图像显示方法、装置、电子设备及存储介质 | |
CN116527993A (zh) | 视频的处理方法、装置、电子设备、存储介质和程序产品 | |
CN112764649B (zh) | 虚拟形象的生成方法、装置、设备及存储介质 | |
CN116740764B (zh) | 用于虚拟形象的图像处理方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |