Nothing Special   »   [go: up one dir, main page]

CN112562720B - 一种唇形同步的视频生成方法、装置、设备及存储介质 - Google Patents

一种唇形同步的视频生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112562720B
CN112562720B CN202011372011.4A CN202011372011A CN112562720B CN 112562720 B CN112562720 B CN 112562720B CN 202011372011 A CN202011372011 A CN 202011372011A CN 112562720 B CN112562720 B CN 112562720B
Authority
CN
China
Prior art keywords
image
data
lip
network
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011372011.4A
Other languages
English (en)
Other versions
CN112562720A (zh
Inventor
李�权
王伦基
叶俊杰
成秋喜
胡玉针
李嘉雄
朱杰
刘华清
韩蓝青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CYAGEN BIOSCIENCES (GUANGZHOU) Inc
Research Institute Of Tsinghua Pearl River Delta
Original Assignee
CYAGEN BIOSCIENCES (GUANGZHOU) Inc
Research Institute Of Tsinghua Pearl River Delta
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CYAGEN BIOSCIENCES (GUANGZHOU) Inc, Research Institute Of Tsinghua Pearl River Delta filed Critical CYAGEN BIOSCIENCES (GUANGZHOU) Inc
Priority to CN202011372011.4A priority Critical patent/CN112562720B/zh
Publication of CN112562720A publication Critical patent/CN112562720A/zh
Application granted granted Critical
Publication of CN112562720B publication Critical patent/CN112562720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18—Details of the transformation process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种唇形同步的视频生成方法、装置、设备及存储介质，方法包括：获取了原始视频数据后，对所述原始视频数据中的语音数据进行人物标注，得到第一数据，并对标注好的原始视频数据进行人脸检测，得到第二数据，然后根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络，并根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型，最后通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。本发明能够准确生成视频中人物讲话时的唇形图像，可广泛应用于视频数据处理技术领域。

Description

一种唇形同步的视频生成方法、装置、设备及存储介质
技术领域
本发明涉及视频数据处理技术领域，尤其是一种唇形同步的视频生成方法、装置、设备及存储介质。
背景技术
随着视频内容丰富多样性不断的增长，对视频内容的创作方式提出了新的需求，让这些视频可以通过不同的语言观看也是一个急需解决的关键问题。例如一堂系列讲座，或者一个大范围的新闻演讲，一部非常好看的电影，甚至是非常有趣的动画。如果将它们翻译成所需的目标语言，这样让更多不同语言环境下的观众都能更好的观看接触到这个视频。通过这样的方式翻译说话的面部视频或创作新的视频，需要解决的关键问题是纠正口型，并且使之与目标语音相匹配。
目前的一些技术需要在训练中看到的特定人物的静态图像或者视频人物动作和背景没有复杂的变化，才能实现人物唇形生成。然而，在复杂动态背景、无限制的说话人脸视频中，就无法准确地改变任意身份的嘴唇动作，导致视频的人物唇形部分与新音频不同步。
发明内容
有鉴于此，本发明实施例提供一种准确性高的唇形同步的视频生成方法、装置、设备及存储介质。
本发明的一个方面提供了一种唇形同步的视频生成方法，包括：
获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述唇形同步判别网络用于判断人物唇形与人物音频的同步性，所述图像质量判别网络用于判断生成图像的真假与质量；
根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。
在一些实施例中，所述方法还包括对原始视频数据中的语音数据和图像数据进行预处理；
具体地，所述对原始视频数据中的语音数据进行预处理包括：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；
所述对原始视频数据中的图像数据进行预处理包括：
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
在一些实施例中，所述生成网络包括声音编码器、图像编码器、图像解码生成器；
其中，所述声音编码器，用于通过卷积编码从预处理得到的声音频谱图中提取所述第一数据和所述第二数据中的声音特征；
所述图像编码器，用于通过卷积编码从预处理得到的图像数据的序列帧中提取图像特征；
所述图像解码生成器，用于根据所述声音特征和所述图像特征，生成人物唇形图像。
在一些实施例中，所述人物唇形生成模型的目标损失函数为：
Loss＝(1-Sw-Sg)·L1+Sw·Lsync+Sg·Lgen
其中，Sw为唇形同步判别网络对整体损失值的影响；Sg为图像质量判别网络对整体损失值的影响；Loss为人物唇形生成模型总体损失函数值；L1为真实图像与生成图像的均方误差损失值；Lsync为生成人物唇形视频与音频同步率的损失值；Lgen为图像判别网络对真实图像与生成图像判别损失值。
在一些实施例中，所述输入的序列图片带有标签限制条件；
所述标签限制条件包括可变尺寸边缘像素轮廓限制、人脸唇形关键点轮廓限制、头部轮廓限制以及背景限制。
本发明的另一方面还提供了一种唇形同步的视频生成装置，包括：
获取模块，用于获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
语音标注模块，用于对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
人脸检测模块，用于对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
训练模块，用于根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述唇形同步判别网络用于判断人物唇形与人物音频的同步性，所述图像质量判别网络用于判断生成图像的真假与质量；
构建模块，用于根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
生成模块，用于通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。
在一些实施例中，还包括预处理模块；
所述预处理模块，用于：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；
以及，
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
本发明的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明的实施例在获取了原始视频数据后，对所述原始视频数据中的语音数据进行人物标注，得到第一数据，并对标注好的原始视频数据进行人脸检测，得到第二数据，然后根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络，并根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型，最后通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。本发明能够准确生成视频中人物讲话时的唇形图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的唇形同步的视频生成方法的整体步骤图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明研究了人物唇形生成以及与声音匹配的问题，任意一个说话人的人脸唇形可以与任意的目标语音匹配，包括真人声音与合成语音。并且真实世界的视频包含快速变换的姿势、比例和照明变化，生成的人脸结果也必须无缝地融合到原始目标视频中。
本发明首先采用端到端模型对声音与视频图像进行encode编码，再通过decode解码生成与声音匹配的唇形图像。同时本发明采用了一个强大的唇形同步鉴别器，可以准确地判断生成唇形与语音的同步准确性与逼真唇形运动，用于指导生成更加同步的唇形；并且本发明采用了一个高质量的图像质量判别器，可以准确地判断图像的真假与质量好坏，用于指导生成更加逼真的唇形图像。本发明进行了广泛的定量和主观的人类评估，并在许多基准上都大大优于目前的方法。
本发明实施例提供了一种唇形同步的视频生成方法，如图1所示，方法包括：
S1、获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
其中，本发明实施例的视频中语音数据为多人多语言混合语音数据，视频中图像数据为各种场景、比例、光照的说话人脸数据，同时视频分辨率尽可能在1080p以上。
S2、对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
具体地，本发明实施例通过标注将视频分割成语音与说话人视频匹配的多个小段并保存。对采集好的数据进行语音与说话人匹配标注，标注出视频中每一段语音对应的说话人人脸在视频图像中的位置，同时保证语音和视频时长同步。
S3、对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
具体地，本发明实施例对标注好的视频片段每一帧进行人脸检测，通过人脸检测得到每一帧中人脸的位置，并将得到的人脸位置信息向下巴方向延伸5-50个像素，确保人脸检测框能够覆盖整个人脸。接着通过优化后的人脸检测框对每一帧人脸图像进行截取并保存，同时也将视频片段的语音数据进行保存。
S4、根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述生成网络用于生成人物唇形图像，所述唇形同步判别网络用于判断人物唇形与人物音频的同步性，所述图像质量判别网络用于判断生成图像的真假与质量；
S5、根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
需要说明的是，本发明实施例构建一种基于条件GAN(生成对抗网络)的高清人物唇形生成模型，整体模型结构共分为高清人物图像生成网络与判别网络两大部分，生成网络主要用于生成高清人物唇形图像，输入数据是经过预处理的条件掩模Mask与参考帧以及音频，输出是与音频同步的高清人物唇形图像帧。判别网络是在模型训练中使用，其作用是判断生成的人物图像是否真实与唇形与音频是否同步，并在计算生成图像与真实图像、生成唇形与真实唇形同步的差值后，反馈loss至生成网络,优化生成网络的生成图像质量与唇形同步质量。
S6、通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。
在一些实施例中，上述步骤S4的训练步骤之前，还包括：对原始视频数据中的语音数据和图像数据进行预处理；
具体地，所述对原始视频数据中的语音数据进行预处理包括：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；
所述对原始视频数据中的图像数据进行预处理包括：
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
本发明实施例将声音与图像输入条件GAN网络模型之前，分别对声音与图像进行预处理。声音预处理是将音频数据归一化，接着把音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱等。图像数据预处理是将待生成的视频序列帧中每一帧图像包含唇形的下半部分全置于0，让生成网络来生成补全唇形图像，同时选择与生成视频序列同样数量的参考帧，用于编码人物特征信息，提供更好的生成效果。同时，为了保证生成视频的前后帧关联，本发明在训练时设置不同视频系列帧输入，生成网络将在训练过程中学习到视频前后帧的关联关系，使得生成的视频更加流畅自然，根据不同视频场景与人物的生成要求，生成视频序列帧数可选择为1、3、5、7、9等。
在一些实施例中，所述生成网络包括声音编码器、图像编码器、图像解码生成器；
其中，所述声音编码器，用于通过卷积编码从预处理得到的声音频谱图中提取所述第一数据和所述第二数据中的声音特征；
所述图像编码器，用于通过卷积编码从预处理得到的图像数据的序列帧中提取图像特征；
所述图像解码生成器，用于根据所述声音特征和所述图像特征，生成人物唇形图像。
具体地，本发明实施例的生成网络可分为声音编码器、图像编码器、图像解码生成器。首先将预处理后的声音频谱图输入声音编码器，通过卷积编码提取声音特征。同时也将预处理后的图像序列数据输入到图像编码器中，通过卷积编码提取图像特征，输入图像分辨率包括但不限于96x96、128x128、256x256、512x512等。接着将提取好的声音与图像特征输入图像解码生成器，最终生成与声音同步的人物唇形图像，根据不同的生成需求，生成图像可包括但不限于96x96、128x128、256x256、512x512等。
具体地，判别网络可分为唇形同步判别网络与图像质量判别网络，其作用是用在训练中，对生成网络生成的图像质量与唇形同步做检测，并给出图像质量判别值与唇形同步判别值，指导生成网络生成更高清真实的图像与更真实同步的唇形。其中唇形同步判别网络为预训练网络，输入为当前帧的音频与对应生成的图像帧，输出为生成的每帧唇形图像与对应的音频同步匹配度，判别器通过判断并给出反馈值，进而指导生成网络训练时优化改进，生成与声音更加同步的唇形图像。图像质量判别网络与生成网络同时训练，输入为生成图像与真实图像，输出为图像真实度的概率值，用于对生成的图像质量好坏进行判断，在训练的过程中指导生成网络生成出更加逼真的图像。
在一些实施例中，所述人物唇形生成模型的目标损失函数为：
Loss＝(1-Sw-Sg)·L1+Sw·Lsync+Sg·Lgen
其中，Sw为唇形同步判别网络对整体损失值的影响；Sg为图像质量判别网络对整体损失值的影响；Loss为人物唇形生成模型总体损失函数值；L1为真实图像与生成图像的均方误差损失值；Lsync为生成人物唇形视频与音频同步率的损失值；Lgen为图像判别网络对真实图像与生成图像判别损失值
具体地，该公式中损失函数总体loss分别由图像L1的loss、唇形视频与音频同步的loss、图像质量的loss加权求和得到。Sw和Sg分别为唇形同步判别器与图像质量判别器对整体loss影响的权重系数，可根据需求调整判别器在整体图像生成中影响的权重。在GANloss中判别网络D通过迭代不断去最大化目标函数，生成网络G通过迭代不断去最小化图像L1的loss、唇形视频与音频同步的loss、图像质量的loss，进而保证生成更加清晰细节的唇形图像。
在一些实施例中，所述输入的序列图片带有标签限制条件；
所述标签限制条件包括可变尺寸边缘像素轮廓限制、人脸唇形关键点轮廓限制、头部轮廓限制以及背景限制。
具体地，本发明实施例为了生成逼真的人物唇形图像，输入数据为带有标签限制条件的序列图片，限制条件可为可变尺寸边缘像素轮廓、人脸唇形关键点轮廓限制、头部轮廓以及背景等。通过在图片中包含限制条件，使得可对生成内容进行更加精细的内容控制，生成更加可控的高清图像。并且可根据后续使用中产生的新生成需求，增加新的输入限制条件，使生成内容根据需求扩展变得更加丰富。
综上所述，本发明只需通过输入声音与待翻译的视频就能生成能与声音匹配的的高清人物视频，可作为一种通用高清视频翻译生成框架。具体地，本发明训练了一个精确的唇形同步判别器可以用于指导生成网络生成准确、自然的唇部运动。针对不同应用领域(公开新闻、演讲教育、影视剧目等)生成不同形象且与声音匹配的人脸高清图像。该发明完全采用从无到有智能化方式生成，无需每段视频都必须有真实人物进行录制，具有更快的制作效率与更加丰富的扩展形式。
相较于现有技术，本发明提出了一种新颖的视频人物唇形生成与同步模型，它可以使用任意语音生成任意说话人的人脸同步唇形视频，并且比目前其它工作生成的唇形更精确，泛化性也更好。
本发明还提出了一个新的唇形同步判别模型，以便对各种各样复杂环境视频中的唇形同步进行准确的判断。
本发明的模型不依赖于特定的数据训练，是一种独立于说话人的生成模型，哪怕在训练中没有出现的人物唇形数据，也能够生成与语音匹配的唇形。
本发明的另一方面还提供了一种唇形同步的视频生成装置，包括：
获取模块，用于获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
语音标注模块，用于对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
人脸检测模块，用于对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
训练模块，用于根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述生成网络用于生成人物唇形图像，所述判别网络用于判断人物唇形与人物音频的同步性；
构建模块，用于根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
生成模块，用于通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据。
在一些实施例中，还包括预处理模块；
所述预处理模块，用于：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；
以及，
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
本发明的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种唇形同步的视频生成方法，其特征在于，包括：
获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述生成网络用于生成人物唇形图像，所述唇形同步判别网络用于判断人物唇形与人物音频的同步性，所述图像质量判别网络用于判断生成图像的真假与质量；
根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据；
其中，所述生成网络包括声音编码器、图像编码器、图像解码生成器；
其中，所述声音编码器用于通过卷积编码从预处理得到的声音频谱图中提取所述第一数据和所述第二数据中的声音特征；
所述图像编码器，用于通过卷积编码从预处理得到的图像数据的序列帧中提取图像特征；
所述图像解码生成器，用于根据所述声音特征和所述图像特征，生成人物唇形图像；
其中，所述人物唇形生成模型的目标损失函数为：
Loss＝(1-Sw-Sg)·L1+Sw·Lsync+Sg·Lgen
其中，Sw为唇形同步判别网络对整体损失值的影响；Sg为图像质量判别网络对整体损失值的影响；Loss为人物唇形生成模型总体损失函数值；L1为真实图像与生成图像的均方误差损失值；Lsync为生成人物唇形视频与音频同步率的损失值；Lgen为图像判别网络对真实图像与生成图像判别损失值。
2.根据权利要求1所述的一种唇形同步的视频生成方法，其特征在于，所述方法还包括对原始视频数据中的语音数据和图像数据进行预处理；
具体地，所述对原始视频数据中的语音数据进行预处理包括：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；
所述对原始视频数据中的图像数据进行预处理包括：
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
3.根据权利要求1所述的一种唇形同步的视频生成方法，其特征在于，所述输入的序列图片带有标签限制条件；
所述标签限制条件包括可变尺寸边缘像素轮廓限制、人脸唇形关键点轮廓限制、头部轮廓限制以及背景限制。
4.一种唇形同步的视频生成装置，其特征在于，包括：
获取模块，用于获取原始视频数据，所述原始视频数据包括人物在不同场景下的语音数据和图像数据；
语音标注模块，用于对所述原始视频数据中的语音数据进行人物标注，得到第一数据，所述第一数据用于确定每一段语音数据对应的人脸在视频图像中位置；
人脸检测模块，用于对标注好的原始视频数据进行人脸检测，得到第二数据，所述第二数据用于确定每一帧图像中人脸的位置；
训练模块，用于根据所述第一数据和所述第二数据，训练得到生成网络、唇形同步判别网络和图像质量判别网络；所述生成网络用于生成人物唇形图像，所述唇形同步判别网络用于判断人物唇形与人物音频的同步性，所述图像质量判别网络用于判断生成图像的真假与质量；
构建模块，用于根据所述生成网络、唇形同步判别网络和图像质量判别网络构建人物唇形生成模型；
生成模块，用于通过所述人物唇形生成模型对输入的序列图片进行处理，生成唇形同步的图像数据；
其中，所述生成网络包括声音编码器、图像编码器、图像解码生成器；
其中，所述声音编码器用于通过卷积编码从预处理得到的声音频谱图中提取所述第一数据和所述第二数据中的声音特征；
所述图像编码器，用于通过卷积编码从预处理得到的图像数据的序列帧中提取图像特征；
所述图像解码生成器，用于根据所述声音特征和所述图像特征，生成人物唇形图像；
其中，所述人物唇形生成模型的目标损失函数为：
Loss＝(1-Sw-Sg)·L1+Sw·Lsync+Sg·Lgen
其中，Sw为唇形同步判别网络对整体损失值的影响；Sg为图像质量判别网络对整体损失值的影响；Loss为人物唇形生成模型总体损失函数值；L1为真实图像与生成图像的均方误差损失值；Lsync为生成人物唇形视频与音频同步率的损失值；Lgen为图像判别网络对真实图像与生成图像判别损失值。
5.根据权利要求4所述的一种唇形同步的视频生成装置，其特征在于，还包括预处理模块；
所述预处理模块，用于：
将语音数据进行归一化处理，得到音频波形数据；
将所述音频波形数据转化为声音频谱图，频谱图包括但不限于梅尔频谱、线性频谱；以及，
将图像数据的序列帧中每一帧图像包含唇形的下半部分像素点置0，以使所述生成网络生成补全唇形图像；
确定与所述序列帧数量相同的参考帧，所述参考帧用于编码人物特征信息。
6.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-3中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-3中任一项所述的方法。
CN202011372011.4A 2020-11-30 2020-11-30 一种唇形同步的视频生成方法、装置、设备及存储介质 Active CN112562720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011372011.4A CN112562720B (zh) 2020-11-30 2020-11-30 一种唇形同步的视频生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011372011.4A CN112562720B (zh) 2020-11-30 2020-11-30 一种唇形同步的视频生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112562720A CN112562720A (zh) 2021-03-26
CN112562720B true CN112562720B (zh) 2024-07-12

Family

ID=75045329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011372011.4A Active CN112562720B (zh) 2020-11-30 2020-11-30 一种唇形同步的视频生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112562720B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338959A (zh) * 2021-04-15 2022-04-12 西安汉易汉网络科技股份有限公司 端到端即文本到视频的视频合成方法、系统介质及应用
CN113192161B (zh) * 2021-04-22 2022-10-18 清华珠三角研究院 一种虚拟人形象视频生成方法、系统、装置及存储介质
CN113194348B (zh) * 2021-04-22 2022-07-22 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
CN113179449B (zh) * 2021-04-22 2022-04-12 清华珠三角研究院 语音及动作驱动图像的方法、系统、装置及存储介质
CN113362471A (zh) * 2021-05-27 2021-09-07 深圳市木愚科技有限公司 基于教学语义的虚拟老师肢体动作生成方法及系统
CN113542624A (zh) * 2021-05-28 2021-10-22 阿里巴巴新加坡控股有限公司 生成商品对象讲解视频的方法及装置
CN113380269B (zh) * 2021-06-08 2023-01-10 北京百度网讯科技有限公司 视频图像生成方法、装置、设备、介质和计算机程序产品
CN113242361B (zh) * 2021-07-13 2021-09-24 腾讯科技（深圳）有限公司 一种视频处理方法、装置以及计算机可读存储介质
CN113628635B (zh) * 2021-07-19 2023-09-15 武汉理工大学 一种基于教师学生网络的语音驱动说话人脸视频生成方法
WO2023035969A1 (zh) * 2021-09-09 2023-03-16 马上消费金融股份有限公司 语音与图像同步性的衡量方法、模型的训练方法及装置
CN113987269A (zh) * 2021-09-30 2022-01-28 深圳追一科技有限公司 数字人视频生成方法、装置、电子设备和存储介质
CN114071204B (zh) * 2021-11-16 2024-05-03 湖南快乐阳光互动娱乐传媒有限公司 一种数据处理方法及装置
CN114220172A (zh) * 2021-12-16 2022-03-22 云知声智能科技股份有限公司 一种唇动识别的方法、装置、电子设备和存储介质
CN114419702B (zh) * 2021-12-31 2023-12-01 南京硅基智能科技有限公司 数字人生成模型、模型的训练方法以及数字人生成方法
CN114663962B (zh) * 2022-05-19 2022-09-16 浙江大学 一种基于图像补全的唇形同步人脸伪造生成方法及系统
CN115345968B (zh) * 2022-10-19 2023-02-07 北京百度网讯科技有限公司 虚拟对象驱动方法、深度学习网络的训练方法及装置
CN115376211B (zh) * 2022-10-25 2023-03-24 北京百度网讯科技有限公司 唇形驱动方法、唇形驱动模型的训练方法、装置及设备
CN115580743A (zh) * 2022-12-08 2023-01-06 成都索贝数码科技股份有限公司 一种视频中人物口型驱动方法及系统
CN116248974A (zh) * 2022-12-29 2023-06-09 南京硅基智能科技有限公司 一种视频语言转化的方法和系统
CN116433807B (zh) * 2023-04-21 2024-08-23 北京百度网讯科技有限公司 动画合成方法及装置、动画合成模型的训练方法及装置
CN116188637B (zh) * 2023-04-23 2023-08-15 世优（北京）科技有限公司 数据同步方法及装置
CN116741198B (zh) * 2023-08-15 2023-10-20 合肥工业大学 一种基于多尺度字典的唇形同步方法
CN117150089B (zh) * 2023-10-26 2023-12-22 环球数科集团有限公司 一种基于aigc技术的人物艺术形象更改系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111370020A (zh) * 2020-02-04 2020-07-03 清华珠三角研究院 一种将语音转换成唇形的方法、系统、装置和存储介质
CN111783566A (zh) * 2020-06-15 2020-10-16 神思电子技术股份有限公司 一种基于唇语同步和神态适配效果增强的视频合成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347578B (zh) * 2017-01-23 2020-05-08 腾讯科技（深圳）有限公司 视频通话中视频图像的处理方法及装置
US11003995B2 (en) * 2017-05-19 2021-05-11 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks
CN107767325A (zh) * 2017-09-12 2018-03-06 深圳市朗形网络科技有限公司 视频处理方法、及装置
CN109819313B (zh) * 2019-01-10 2021-01-08 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
US11017506B2 (en) * 2019-05-03 2021-05-25 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
CN110706308B (zh) * 2019-09-07 2020-09-25 创新奇智(成都)科技有限公司 一种基于gan的钢卷端面边损人造样本生成方法
CN110610534B (zh) * 2019-09-19 2023-04-07 电子科技大学 基于Actor-Critic算法的口型动画自动生成方法
CN111261187B (zh) * 2020-02-04 2023-02-14 清华珠三角研究院 一种将语音转换成唇形的方法、系统、装置和存储介质
CN111325817B (zh) * 2020-02-04 2023-07-18 清华珠三角研究院 一种虚拟人物场景视频的生成方法、终端设备及介质
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111370020A (zh) * 2020-02-04 2020-07-03 清华珠三角研究院 一种将语音转换成唇形的方法、系统、装置和存储介质
CN111783566A (zh) * 2020-06-15 2020-10-16 神思电子技术股份有限公司 一种基于唇语同步和神态适配效果增强的视频合成方法

Also Published As

Publication number Publication date
CN112562720A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112562720B (zh) 一种唇形同步的视频生成方法、装置、设备及存储介质
CN113192161B (zh) 一种虚拟人形象视频生成方法、系统、装置及存储介质
CN113194348B (zh) 一种虚拟人讲课视频生成方法、系统、装置及存储介质
US11514634B2 (en) Personalized speech-to-video with three-dimensional (3D) skeleton regularization and expressive body poses
Cao et al. Expressive speech-driven facial animation
CN116250036A (zh) 用于合成语音的照片级真实感视频的系统和方法
CN112562721A (zh) 一种视频翻译方法、系统、装置及存储介质
CN112866586B (zh) 一种视频合成方法、装置、设备及存储介质
Sargin et al. Analysis of head gesture and prosody patterns for prosody-driven head-gesture animation
Zhou et al. An image-based visual speech animation system
JP2009533786A (ja) 自分でできるフォトリアリスティックなトーキングヘッド作成システム及び方法
CN114419702B (zh) 数字人生成模型、模型的训练方法以及数字人生成方法
CN113077537A (zh) 一种视频生成方法、存储介质及设备
CN117237521A (zh) 语音驱动人脸生成模型构建方法、目标人说话视频生成方法
CN115761075A (zh) 脸部图像生成方法及其装置、设备、介质、产品
Bigioi et al. Speech driven video editing via an audio-conditioned diffusion model
US7388586B2 (en) Method and apparatus for animation of a human speaker
EP4010899A1 (en) Audio-driven speech animation using recurrent neutral network
Liao et al. Speech2video synthesis with 3d skeleton regularization and expressive body poses
CN117409121A (zh) 基于音频和单幅图像驱动的细粒度情感控制说话人脸视频生成方法、系统、设备及介质
Wang et al. Ca-wav2lip: Coordinate attention-based speech to lip synthesis in the wild
CN116828129B (zh) 一种超清2d数字人生成方法及系统
CN117834935A (zh) 数字人直播方法、装置、电子设备及存储介质
Jha et al. Cross-language speech dependent lip-synchronization
Kadam et al. A Survey of Audio Synthesis and Lip-syncing for Synthetic Video Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant