CN118570340A - 用于生成个性化视频的方法、计算装置及存储介质 - Google Patents
用于生成个性化视频的方法、计算装置及存储介质 Download PDFInfo
- Publication number
- CN118570340A CN118570340A CN202410811696.XA CN202410811696A CN118570340A CN 118570340 A CN118570340 A CN 118570340A CN 202410811696 A CN202410811696 A CN 202410811696A CN 118570340 A CN118570340 A CN 118570340A
- Authority
- CN
- China
- Prior art keywords
- text
- computing device
- input text
- sequence
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000008859 change Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 abstract description 28
- 230000001815 facial effect Effects 0.000 description 32
- 238000009877 rendering Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
Abstract
描述了用于生成个性化视频的方法、计算装置及存储介质。示例方法可从接收视频模板开始。视频模板可包括帧图像的序列以及限定文本的动画的预设文本参数。方法可继续基于文本和预设文本参数,来生成配置文件。配置文件可包括针对每个帧图像限定文本的呈现的文本参数。方法还可包括接收输入文本并且呈现输出视频,该输出视频包括帧图像的序列,该帧图像表征根据文本参数呈现的输入文本。可基于配置文件来执行呈现。方法可继续将输出视频发送经由通信聊天到另外的计算装置。
Description
本申请是国际申请号为PCT/US2020/014226、申请日为2020年1月18日、发明名称为“用于生成具有定制的文本消息的个性化视频的系统和方法”的PCT申请的中国国家阶段申请的分案申请,该中国国家阶段申请的申请号为202080009460.4,其全部内容结合于此作为参考。
技术领域
本公开总体涉及数字图像处理。具体而言,本公开涉及用于生成具有定制的文本消息的个性化视频的系统和方法。
背景技术
共享诸如贴纸和表情符号的媒体已在消息传递应用中成为标准选项(在本文中也被称为信使(messenger))。目前,一些信使向用户提供用于生成图像和短视频并经由通信聊天将该图像和短视频发送给其他用户的选项。某些现有的信使允许用户在传输之前修改短视频。然而,由现有信使提供的短视频的修改限于可视化效果、滤镜和文本。当前信使的用户不能执行复杂的编辑(例如,将一个面部替换成另一个面部)。这样的视频编辑无法由当前信使提供,并且需要复杂的第三方视频编辑软件。
发明内容
此部分的目的是以简化的形式介绍选择的理念,该理念的具体内容如下文中的具体实施方式部分所述。本发明内容并非用于确定要求保护的主题的关键特征或主要特征,也并非用于帮助确定要求保护的主题的范围。
根据本公开的一个实施例,公开了一种用于生成具有定制的文本消息的个性化视频的系统。系统可包括至少一个处理器和存储处理器可执行代码的存储器。至少一个处理器可被配置为接收视频模板。视频模板可包括帧图像的序列以及限定文本的动画的预设文本参数。预设文本参数可描述应用于文本的视觉效果并且包括文本的字体、文本的颜色以及文本在至少一个帧图像中的位置。视觉效果可包括外观的字母动画、沿路径显示文本、显示文本的副本、文本的压缩、文本的分割、文本的方向性外观、随机化字母外观、文本的失真和缩放、文本的渐变填充、将阴影和辉光添加到文本、将方向性辉光添加到文本、文本的闪光外观、将透视阴影添加到文本、将动态辉光应用到文本、显示文本的失真的阴影或轮廓、勾画文本、以及将彩色字体库(asset)应用到文本等。
处理器还可被配置为基于文本和预设文本参数生成配置文件。配置文件可包括针对每个帧图像限定文本的呈现的文本参数。文本参数可包括文本的比例、文本在帧图像的至少一个帧图像中的位置、文本的旋转、文本的颜色、文本的行数以及文本的最大长度等。可基于全局比例调整比例。全局比例可确定为使输入文本适合序列中的帧图像的边界。处理器还可被配置为接收输入文本并且呈现输出视频,输出视频包括帧图像的序列,该帧图像表征根据文本参数呈现的输入文本。可基于配置文件来执行呈现。处理器还可被配置为经由通信聊天将输出视频发送到另外的计算装置。可通过基于配置文件生成输入文本的字形并生成包括该字形的层来执行呈现。呈现还可包括将输入文本拆分成多行。至少一个处理器还可被配置为在发送输出视频之前以全屏模式播放输出视频。在显示输出视频的同时,向用户提供将输入文本改变为另外的输入文本的选项,并且在所显示的输出视频中,用该另外的输入文本动态地改变输入文本。
根据一个示例性实施例,公开了一种用于生成具有定制的文本消息的个性化视频的方法。方法可从接收视频模板开始。视频模板可包括帧图像的序列以及限定文本的动画的预设文本参数。预设文本参数可描述应用于文本的视觉效果并且包括文本的字体、文本的颜色以及文本在至少一个帧图像中的位置。视觉效果可包括外观的字母动画、沿路径显示文本、显示文本的副本、文本的压缩、文本的分割、文本的方向性外观、随机化字母外观、文本的失真和缩放、文本的渐变填充、将阴影和辉光添加到文本、将方向性辉光添加到文本、文本的闪光外观、将透视阴影添加到文本、将动态辉光应用到文本、显示文本的失真的阴影或轮廓、勾画文本、以及将彩色字体库应用到文本等。方法可继续基于文本和预设文本参数生成配置文件。配置文件可包括文本参数,该文本参数针对每个帧图像限定文本的呈现。文本参数可包括文本的比例、文本在帧图像的至少一个帧图像中的位置、文本的旋转、文本的颜色、文本的行数以及文本的最大长度等。比例可基于全局比例来进行调整。可确定全局比例以使输入文本适合序列中的帧图像的边界。方法还可包括接收输入文本并且呈现输出视频,输出视频包括帧图像的序列,该帧图像表征根据文本参数呈现的输入文本。可基于配置文件来执行呈现。方法可继续经由通信聊天将输出视频发送到另外的计算装置。可通过基于配置文件生成输入文本的字形并生成包括字形的层来执行呈现。呈现还可包括将输入文本拆分成多行。方法可选地包括在发送输出视频之前以全屏模式播放输出视频。在显示输出视频的同时,向用户提供将输入文本改变为另外的输入文本的选项,并且在所显示的输出视频中,用该另外的输入文本动态地改变输入文本。
根据本公开的又一方面,提供一种非暂时性处理器可读介质,其存储处理器可读指令。当处理器可读指令由处理器执行时,它们使处理器实现上述用于生成具有定制的文本消息的个性化视频的方法。
示例的另外目的、优点和新颖特征将部分地在以下描述中阐述,并且部分地在检查以下描述和附图后对于本领域技术人员将变得显而易见,或者可通过示例的生产或操作来获悉。概念的目的和优点可借助于在所附权利要求中特别指出的方法,手段和组合来实现和获得。
附图说明
在附图中以示例而非限制的方式示出实施例,在该附图中,类似的附图标记表示相似的元件。
图1是示出示例环境的框图,其中,可实现用于生成具有定制的文本消息的个性化视频的系统和方法。
图2是示出用于实现用于生成具有定制的文本消息的个性化视频的方法的计算装置的示例性实施例的框图。
图3是示出根据本公开的一些示例性实施例的用于生成具有定制的文本消息的个性化视频的处理的流程图。
图4是示出根据本公开的一些示例性实施例的用于生成具有定制的文本消息的个性化视频的系统的功能的流程图。
图5示出根据一些示例性实施例的具有基于预设文本参数呈现的文本的示例帧。
图6和图7示出根据一些示例性实施例的通信聊天的示例屏幕,在该示例屏幕中可以实现用于生成具有定制文本消息的个性化视频的系统和方法。
图8示出根据一个示例性实施例的基于用户图像生成的个性化视频的示例帧。
图9是示出根据本公开的一个示例性实施例的用于基于模板生成个性化视频的方法的流程图。
图10示出可用于实现用于生成具有定制的文本消息的个性化视频的系统和方法的示例计算机系统。
具体实施方式
以下对实施例的具体实施方式包括参照形成具体实施方式的一部分附图。此部分中描述的办法不是权利要求的现有技术,并且也不通过包括在此部分中而被承认为现有技术。附图示出根据示例性实施例的说明。足够详细地描述了这些在本文中也被称为“示例”的示例性实施例,以使本领域技术人员能够实践本主题。在不脱离所要求保护的范围的情况下,可组合实施例,可利用其它实施例,或者可进行结构的,逻辑的和操作的改变。因此,以下具体实施方式不应被认为是限制性的,并且范围由所附权利要求及其等同物限定。
出于本专利文件的目的,除非另外说明或在其使用的上下文中另外明确地意指,否者术语“或”和“和”应指“和/或”。除非另外说明或在“一个或多个”的使用明显不适当的情况下,否则术语“一个”应指“一个或多个”。术语“包括(comprise)”、“包括(comprising)”、“包含(include)”和“包含(including)”是可互换的并且不旨在限制。例如,术语“包含”应解释为指“包括但不限于”。
本公开涉及用于生成具有定制的文本消息的个性化视频的方法和系统。本公开提供的实施例解决了现有技术的至少一些问题。本公开可设计成在诸如智能电话、平板电脑或电话的移动装置上实时工作,但实施例可扩展到涉及网络服务或基于云的资源的办法。可通过在计算机系统上运行的软件和/或通过利用微处理器的组合或其它专门设计的专用集成电路(ASIC)、可编程逻辑装置或其任何组合的硬件来实现在本文中描述的方法。具体地,在本文中描述的方法可通过驻留在非暂时性存储介质(例如磁盘驱动器或计算机可读介质)上的一系列计算机可执行指令来实现。
本公开的一些实施例可允许在诸如智能电话的用户计算装置上实时生成个性化视频。个性化视频可基于预生成的视频模板生成。视频模板可包括帧图像的序列和用于文本的动画的预设文本参数。视频模板还可包括用于限定面部区域在帧图像中的位置的面部区域参数的序列、以及用于限定面部界标在帧图像中的位置的面部界标参数的序列。每个面部界标参数可与面部表情相对应。帧图像可基于动画视频或实景真人视频生成。面部界标参数可基于表征演员面部的另一实景真人视频(也被称为如下面更详细描述的面部同步(Facesync))、动画视频、音频文件、文本来生成、或手动生成。视频模板可包括动画对象图像的序列。视频模板还可包括配乐。如本文中使用的,面部同步演员是其面部界标参数正被使用的人,并且演员是其身体正被用在视频模板中、并且其皮肤可被重新着色的另一人,而用户则是拍摄其面部的图像以生成个性化视频的人。因此,在一些实施例中,个性化视频包括修改为具有面部同步演员的面部表情的用户面部,并且包括取自视频模板并重新着色以匹配用户面部颜色的演员的身体。
预生成的视频模板可远程存储在基于云的计算资源中,并且可由计算装置(诸如智能电话)的用户下载。计算装置的用户可通过计算装置捕获面部的图像或从相机卷中选择面部的图像。计算装置还可基于面部的图像和预生成的视频模板中的一个,生成个性化视频。个性化视频可表征采用了对应于与预生成的视频模板中的面部同步演员相关联的面部界标参数的面部表情的面部。
计算装置还可将文本添加到所生成的个性化视频中。计算装置可基于预设文本参数生成配置文件。配置文件可包括文本参数,该文本参数描述个性化视频中的每个帧上的文本的比例、位置、旋转、颜色和行数。计算装置可从用户接收要添加到个性化视频的输入文本。计算装置可根据配置文件中的文本参数在每个帧上呈现输入文本。结果,输入文本可在个性化视频中出现为动画。用户可以全屏模式检查具有定制的文本的个性化视频。在检查个性化视频时,用户可用新的输入文本来改变输入文本。计算装置可在以全屏模式显示个性化视频的同时自动替换个性化视频中的输入文本。用户可经由通信聊天将个性化视频发送到另一计算装置的另一用户。在一些实施例中,生成具有定制的文本消息的个性化视频可集成在信使中。
根据本公开的一个实施例,一种用于基于模板生成个性化视频的示例方法可包括接收视频模板。视频模板可包括帧图像的序列以及限定文本的动画的预设文本参数。方法可继续至基于文本和预设文本参数生成配置文件。配置文件可包括针对每个帧图像限定文本的呈现的文本参数。方法还可包括接收输入文本并且基于配置文件来呈现输出视频。输出视频可具有表征根据文本参数呈现的输入文本的帧图像的序列。可经由通信聊天将输出视频发送到另一计算装置。
现在参照附图,描述示例性实施例。附图是理想化的示例性实施例的示意图。因此,不应将在本文中论述的示例性实施例理解为限于在本文中呈现的特定说明;准确地说,如对本领域技术人员将是明显的,这些示例性实施例可包括偏离并且不同于在本文中呈现的说明。
图1是示出示例环境100,其中,可以实现一种用于生成具有定制的文本消息的个性化视频的方法。环境100可包括计算装置105、用户102、计算装置110、用户104、网络120和信使服务系统130。计算装置105和计算装置110可指诸如电话、智能电话或平板电脑等移动装置。在其它实施例中,然而,计算装置110可指个人电脑、膝上型电脑、上网本、机顶盒、电视装置、多媒体装置、个人数字助理、游戏机、娱乐系统、信息娱乐系统、车载计算机或任何其它计算装置。
计算装置105和计算装置110可以经由网络120通信地连接到信使服务系统130。信使服务系统130可实现为基于云的计算资源。信使服务系统130可包括在远程位置处可用并可通过网络(例如,互连网)访问的计算资源(硬件和软件)。基于云的计算资源可由多个用户共享,并且可基于需求动态地重新分配。基于云的计算资源可包括一个或多个服务器群/集群,该服务器群/集群包括可与网络交换机和/或路由器共处一地的计算机服务器的集合。
网络120可包括任何有线网络、无线网络或光学网络(例如包括互连网、内联网、局域网(LAN)、个域网(PAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络(例如,全球移动通信系统(GSM))等)。
在本公开的一些实施例中,计算装置105可配置为启动计算装置110的用户102与用户104之间的通信聊天。用户102和用户104可在通信聊天期间交换文本消息和视频。视频可包括个性化视频。可基于存储在计算装置105或计算装置110中的预生成的视频模板来生成个性化视频。在一些实施例中,可将预生成的视频模板存储在信使服务系统130中并按需下载到计算装置105或计算装置110。
信使服务系统130可包括用于预处理视频的系统140。系统140可基于动画视频或实景真人视频生成视频模板。信使服务系统130可包括用于存储视频模板的视频模板数据库145。视频模板可下载到计算装置105或计算装置110。
信使服务系统130还可配置为存储用户简档。用户简档可包括用户102的面部的图像、用户104的面部的图像以及其他人的面部的图像。可按需并基于许可将面部的图像下载到计算装置105或计算装置110。另外,可使用计算装置105生成用户102的面部的图像并将该图像存储在计算装置105的本地存储器中。可基于存储在计算装置105中的其他图像来生成面部的图像。计算装置105还可使用面部的图像基于预生成的视频模板来生成个性化视频。类似地,计算装置110可用于生成用户104的面部的图像。用户104的面部的图像可用于在计算装置110上生成个性化视频。在其他实施例中,用户102的面部的图像和用户104的面部的图像可相互用于在计算装置105或计算装置110上生成个性化视频。
在一些实施例中,预生成的视频模板可包括预设默认文本消息。预生成的视频模板还可包括预设文本参数,该预设文本参数用于在基于预生成的视频模板生成的个性化视频中动画化预设默认文本消息。计算机装置可被配置为播放表征基于预设文本参数而动画化的预设文本消息的个性化视频。在个性化视频的播放期间,计算装置105可提供改变预设默认文本消息的选项和用于显示个性化视频中的文本消息的参数。计算装置105可在播放个性化视频的同时动态地改变个性化视频中的预设默认文本消息。用户105还可经由通信聊天将具有改变后的文本消息的个性化视频发送到计算装置110的用户104。
在示例性实施例中,如果在通信聊天中,用户104使用与用户102的语言不同的语言,则可自动翻译文本消息中的文本。因此,在通信聊天中,用户104可看到具有以用户104使用的语言显示的文本消息的个性化视频。
图2是示出用于实现用于生成具有定制的文本消息的个性化视频的方法的计算装置105(计算装置110)的框图。在图2所示的示例中,计算装置110包括硬件组件和软件组件两者。具体而言,计算装置110包括用于获取数字图像的相机205或任何其他图像捕获装置或扫描仪。计算装置110还可包括处理器模块210和用于存储软件组件和处理器可读(机器可读)指令或代码的存储器存储装置215,该指令或代码在被处理器模块210执行时使计算装置105执行如本文所述的用于生成具有定制的文本消息的个性化视频的方法的至少一些步骤。计算装置105可包括图形显示系统230和通信模块240。在其它实施例中,计算装置105可包括附加的或不同的组件。此外,计算装置105可包括执行与图2中描绘的功能类似或等效的功能的较少组件。
计算装置110还可包括用于启动与另一计算装置(例如计算装置110)的通信聊天的信使220和用于生成个性化视频的系统250。下面参考图4更详细地描述系统250。信使220和系统250可实现为存储在存储器存储装置215中的软件组件和处理器可读(机器可读)指令或代码,该指令或代码在被处理器模块210执行时使计算装置105执行如本文所述的用于提供通信聊天和生成个性化视频的方法的至少一些步骤。
在一些实施例中,用于生成个性化视频的系统250可集成在信使220中。可经由图形显示系统230提供信使220的用户界面和用于基于模板的个性化视频的系统400。可经由通信模块240和网络120启动通信聊天。通信模块240可包括GSM模块、wifi模块、蓝牙TM模块等。
图3是示出根据本公开的一些示例性实施例的用于生成具有定制的文本消息的个性化视频的处理300的步骤的流程图。处理300可包括生成视频模板305、生成默认预设文本参数310、生成配置文件315、接收用户输入320、在计算装置上的文本呈现325以及在通信聊天中集成330。视频模板的生成305和默认预设文本参数的生成310可通过用于预处理信使服务系统130(在图1中示出)中的视频的系统140执行。配置文件的生成315、用户输入的接收320、在计算装置上呈现文本325可在计算装置105(图1中示出)上执行。配置文件的生成315也可由系统140执行。
视频模板的生成305可包括创建定制的个性化视频,创建定制的个性化视频在2019年10月23日提交的题为“用于基于模板生成个性化视频的系统和方法(SYSTEMS ANDMETHODS FOR TEMPLATE-BASED GENERATION OF PERSONALIZEDVIDEOS)”的美国专利申请号16/661,086中被更详细地描述。定制的个性化视频可具有适于可使用个性化视频的任何情况的面部重演。
配置文件315包括与输入文本在视频模板上定位相关联的参数。默认预设文本参数可采用用于艺术文本动画化的各种工具、描述字体(可使用任何现有字体或可创建新字体)、颜色或动画纹理、阴影和轮廓以及其他效果,该其他效果包括但不限于字母外观动画、路径上的文本、相同的文本副本、文本压缩、文本切片、单词外观、方向外观、随机化的字母外观、文本框失真/缩放、渐变填充、阴影和辉光、方向辉光、闪光外观、透视阴影、动态辉光、失真的阴影/轮廓、轮廓文本、彩色字体库、3D笔画效果、动态轮廓、遮掩视频或纹理、随机字母部分上的遮掩效果、锚定到文本框/字母的视觉效果、3D文本、模糊、电子脉冲等。预设文本参数可具有固定的一些恒定参数以及稍后为每个个性化视频配置的一些模板参数。
配置文件的生成315可包括为每个定制的个性化视频创建配置文件。配置文件可描述每个帧上的文本的比例、位置、旋转和颜色;行数和最大长度;针对预设文本参数中使用的所有特征而选择的预设文本参数和模板参数等。配置文件可在计算装置上生成或者可选地在云中生成。配置文件的生成315也可由系统140执行。
在一些示例性实施例中,在计算装置上的文本呈现325可包括五个步骤。第一步是如有必要,将文本拆分成多行。第二步包括生成具有预定义大小和字体的字形。可在第三步中选择全局文本比例,以便使文本适合于所有帧中的所要求的边界。第四步可以包括具有字形、轮廓和阴影的预呈现层(可以在计算装置上执行)。在第五步中,基于预定参数来呈现所准备的层。可在图形库(诸如OpenGL、Metal或Vulkan)的帮助下使用图形处理单元(GPU)在计算装置上执行呈现。在一些实施例中,可远程地,即,在服务器上或云中执行具有文本的定制的个性化视频的呈现。
在通信聊天中的集成330可包括通过将输入的文本添加到个性化视频并将该个性化视频作为编码视频发送,来将个性化视频集成到通信聊天中。当用户输入文本时,贴纸图标会变成用户面部图标,当用户到键盘时,用户可看到生成的具有给定文本的个性化视频的小预览。然后,用户可以将个性化视频以全屏模式发送到通信聊天中。在创建个性化视频中使用的用户面部的图像可绑定到作为个性化视频的发送者的用户的账户,并且如果针对用户面部的图像的用户的隐私设置允许,则可由其他用户使用。在使用通信聊天时,用户还可用正在与其聊天的其他用户的面部创建个性化视频。还可允许用户使用来自互联网上传的或存储在用户的计算装置上的图片库的具有面部的任何图像。
用户可在发送之前以全屏模式查看所生成的具有定制的文本的个性化视频的预览。此外,可提供用于在全屏模式下查看个性化视频的同时改变文本的工具。用户还可具有通过轻敲工具栏中的文本按钮来改变所选择的个性化视频预览的文本的能力。用户可选择以编码视频或图形交换格式(GIF)文件的形式输出所生成的个性化视频。
在示一个例实施例中,用户可访问界面,该界面允许不仅通过添加文本和改变文本的参数来定制个性化视频,而且还通过选择诸如文本颜色、位置的其他参数;增加效果和过渡、镜头、音乐和声音;改变背景;改变个性化视频中演员的性别/服装,选择人物;改变艺术风格等来定制个性化视频。用户可从先前创建的列表中、或者通过响应于用户的搜索查询而向该用户提供的必要信息来选择文本的参数。在一些实施例中,链接、标签或地理位置可附加地添加到个性化视频中。
图4是示出根据一些示例性实施例的用于生成个性化视频的系统250的功能400的示意图。系统250可接收用户面部图像405、视频模板410和输入文本407。视频模板410可包括帧图像的序列。对于每个帧图像,视频模板410还可包括面部区域参数、面部界标参数、皮肤掩模、眼部参数、嘴部区域图像、头部参数、动画对象图像和预设文本参数。视频模板410还可包括配乐。
可基于实景真人视频或动画视频来生成帧图像的序列。面部区域参数可包括面部区域在帧图像内的位置的坐标。面部界标参数可基于表征面部同步演员的面部的实景真人视频来生成。面部界标参数可包括面部同步演员的面部上的面部界标的坐标(诸如面部的椭圆形周围的点、嘴唇和鼻子周围的点、以及眉毛和眼睑周围的点)。眼部参数可包括面部同步演员的巩膜中的虹膜的位置的坐标。嘴部区域图像可包括面部同步演员的面部的嘴部区域的图像。皮肤掩模可基于表征演员身体的实景真人视频或者身体的2D/3D动画的皮肤区域来生成。皮肤掩模可限定演员的身体的皮肤区域。在示例性实施例中,可基于捕获不同演员(在本文中分别称为演员和面部同步演员)的两个不同的实景真人视频来生成皮肤掩模和面部界标参数。应当注意,不需要多个演员,并且在一些实施例中,可仅使用一个演员。
预设文本参数可以限定文本的动画。预设文本参数可以描述应用于文本的视觉效果。视觉效果可包括以下中的一个或多个:外观的字母动画化、沿路径显示文本、显示文本的副本、文本的压缩、文本的分割、文本的方向性外观、随机化字母外观、文本的失真和缩放、文本的渐变填充、将阴影和辉光添加到文本、将方向性辉光添加到文本、文本的闪光外观、将透视阴影添加到文本、将动态辉光应用于文本、显示文本的失真的阴影或轮廓、勾画文本、以及将彩色字体库应用于文本等。预设文本参数还可包括要动画化的默认文本。在一些实施例中,可执行文本的本地化。具体而言,可通过在配置文件中针对每个个性化视频添加默认文本的翻译来执行文本的本地化。
系统250可基于用户面部图像405确定用户数据435。用户数据可包括用户的面部界标、用户的面部掩模和用户的颜色数据。
系统250可基于用户数据435和数据序列420生成个性化视频440的帧445。个性化视频440可以以视听媒体(例如,视频、动画或任何其它类型的媒体)的形式生成,视听媒体表征一个用户的面部或多个用户的面部。个性化视频440可基于预生成的视频模板生成。视频模板可包括视频配置数据。视频配置数据可包括帧图像的序列、限定面部区域在帧图像中的位置的面部区域参数的序列、以及限定面部界标在帧图像中的位置的面部界标参数的序列。每个面部界标参数可与面部同步演员的面部表情相对应。预生成的视频模板可远程存储在基于云的计算资源中,并且可通过计算装置(例如智能电话)的用户下载。计算装置的用户可通过计算装置捕获面部的图像或从相机卷中选择面部的图像。计算装置还可基于面部的图像和预生成的视频模板中的一个,生成个性化视频。个性化视频的生成可包括修改帧图像的序列的帧图像。帧图像的修改包括修改源面部的图像以得到另一个图像,该另外的图像表征采用了与面部界标参数相对应的面部表情的源面部,并且在通过与帧图像相对应的面部区域参数确定的位置处,将另外的图像插入到帧图像中。可基于与帧图像相对应的面部界标参数来修改源面部的图像。系统250还可将配乐添加到个性化视频440中。
系统250可基于预设文本参数生成配置文件460。配置文件的生成315也可由系统140执行。配置文件460可包括文本参数,该文本参数针对每个帧图像限定文本的呈现。文本参数可包括文本的比例、文本在帧图像的至少一个帧图像中的位置、文本的旋转、文本的颜色、文本的行数、以及文本的最大长度等。
系统250可基于配置文件呈现输出视频,输出视频包括帧图像的序列445,该帧图像表征根据文本参数呈现的输入文本407。输入文本的呈现可包括:基于配置文件生成输入文本的字形、以及生成包括该字形的层。
图5示出根据一些示例性实施例的具有基于预设文本参数呈现的文本的示例帧。图5示出具有预设文本的帧505,其中,文本是3D文本525。图5还示出具有预设文本的帧510,其中,文本由发光文本轮廓530包围。图5还示出具有预设文本的帧515,其中,文本由多个彩色轮廓535包围。图5示出具有预设文本的帧520,其中,文本由金属字母540示出。
图6和图7示出通信聊天的示例屏幕,其中,可以实现用于生成具有定制文本消息的个性化视频的系统和方法。图6示出具有用户输入640和键盘645的用户界面605。图6还示出具有个性化视频的列表650的用户界面610。用户界面615示出工具栏635、一个所选择的个性化视频630和改变文本按钮655。用户界面620示出当选择个性化视频630时,用户可在按下改变文本按钮655时改变文本640。
图7示出以全屏模式示出个性化视频630的用户界面705。用户界面705可具有改变文本按钮720,以使用户能够改变个性化视频630中的文本640。用户界面710示出当个性化视频630处于全屏模式时经由键盘645改变文本640的处理。用户界面715示出具有文本640并被发送到通信聊天725的个性化视频630。
图8示出根据一个示例性实施例的通过改变背景而定制的个性化视频的示例帧。用户可通过选择用户的图像或任何其他照片或视频材料来选择个性化视频的背景。为了更好的视觉呈现,这种定制的个性化视频的背景可以是透明的。图8示出具有基于用户图像825创建的背景的个性化视频820的帧805。用户界面810是定制的个性化视频的图库830。图8还示出具有基于用户图像840创建的背景的个性化视频835的帧815。用户还可将文本添加到个性化视频820和835。
图9是示出根据本公开的一些示例性实施例的用于生成具有定制的文本消息的个性化视频的方法900的流程图。方法900可通过计算装置105执行。方法900可从在步骤905接收视频模板开始。视频模板可包括帧图像的序列以及限定文本的动画的预设文本参数。预设文本参数可描述应用于文本的视觉效果并且包括在至少一个帧图像中的文本的字体、文本的颜色以及文本的位置。视觉效果可包括外观的字母动画、沿路径显示文本、显示文本的副本、文本的压缩、文本的分割、文本的方向性外观、随机化字母外观、文本的失真和缩放、文本的渐变填充、将阴影和辉光添加到文本、将方向性辉光添加到文本、文本的闪光外观、将透视的阴影添加到文本、将动态辉光应用于文本、显示文本的失真的阴影或轮廓、勾画文本以及、将彩色字体库应用于文本等。在步骤910处,方法900可继续至基于文本和预设文本参数来生成配置文件。配置文件可包括针对每个帧图像限定文本的呈现的文本参数。文本参数可包括文本的比例、文本在帧图像的至少一个帧图像中的位置、文本的旋转、文本的颜色、文本的行数、以及文本的最大长度等。比例可基于全局比例来进行调整。可以确定全局比例以使输入文本适合于序列中的帧图像的边界。方法900还可包括在步骤915处接收输入文本并且在步骤920处呈现输出视频。输出视频可包括表征根据文本参数而呈现的输入文本的帧图像的序列。可基于配置文件来执行呈现。方法900可继续在步骤925处,将输出视频经由通信聊天发送到另外的计算装置。呈现可通过基于配置文件生成输入文本的字形并且生成包括该字形的层来执行。呈现还可包括将输入文本拆分成多行。方法可选地包括在发送输出视频之前以全屏模式播放输出视频。在显示输出视频的同时,向用户提供将输入文本改变为另外的输入文本的选项,并且在所显示的输出视频中,用该另外的输入文本动态地改变输入文本。
图10示出可用于实现在本文中描述的方法的示例计算系统1000。计算系统1000可在与计算装置105和110、信使服务系统130、信使220和用于生成个性化视频的系统250的环境中实现。
如图10所示,计算系统1000的硬件组件可包括一个或多个处理器1010和存储器1020。存储器1020部分地存储用于由处理器1010执行的指令和数据。存储器1020可在系统1000运行时存储可执行代码。系统1000还可包括可选的大容量存储装置1030、可选的便携式存储介质驱动器1040、一个或多个可选的输出装置1050、一个或多个可选的输入装置1060、可选的网络接口1070、以及一个或多个可选的外围装置1080。计算系统1000还可包括一个或多个软件组件1095(例如,可实现如本文中描述的用于提供个性化视频的方法的软件组件)。
图10所示的组件描绘为经由单个总线1090连接。组件可通过一个或多个数据传送设备或数据网络连接。处理器1010和存储器1020可经由本地微处理器总线连接,并且大容量存储装置1030、外围装置1080、便携式存储装置1040和网络接口1070可经由一个或多个输入/输出(I/O)总线连接。
可用磁盘驱动器、固态磁盘驱动器或光盘驱动器来实现的大容量存储装置1030是用于存储供处理器1010使用的数据和指令的非易失性存储装置。大容量存储装置1030可存储用于实现在本文中描述的实施例的系统软件(例如,软件组件1095)。
便携式存储媒体驱动器1040结合便携式非易失性存储介质(诸如压缩盘(CD)或数字视频盘(DVD))操作以将数据和代码输入到计算系统1000和从计算系统1000输出数据和代码。用于实现在本文中描述的实施例的系统软件(例如,软件组件1095)可存储在这样的便携式介质上并经由便携式存储介质驱动器1040输入到计算系统1000。
可选输入装置1060提供用户界面的一部分。输入装置1060可包括用于输入字母数字和其他信息的字母数字键盘(例如键盘)或定点装置(例如鼠标、跟踪球、指示笔或光标方向键)。输入装置1060还可包括相机或扫描仪。此外,图10所示的系统1000包括可选的输出装置1050。合适的输出装置包括扬声器、打印机、网络接口和监视器。
网络接口1070可用于经由一个或多个通信网络与外部装置、外部计算装置、服务器和联网系统通信,该通信网络诸如一个或多个有线网络、无线网络或光学网络,包括例如互联网、内联网、局域网(LAN)、广域网(WAN)、蜂窝电话网络、蓝牙无线电和基于IEEE802.11的射频网络等。网络接口1070可以是网络接口卡(诸如以太网卡、光收发器、射频收发器)或能够发送和接收信息的任何其他类型的装置。可选外围装置1080可包括任何类型的计算机支持装置,以向计算机系统添加附加功能。
包含在计算系统1000中的组件旨在表示一大类计算机组件。因此,计算系统1000可以是服务器、个人电脑、手持式计算装置、电话、移动计算装置、工作站、小型计算机、大型计算机、网络节点或任何其它计算装置。计算系统1000还可包括不同的总线配置、联网平台、多处理器平台等。可使用各种操作系统(OS),包括UNIX、Linux、Windows、Macintosh OS、Palm OS和其他合适的操作系统。
上述功能中的一些可由存储在存储介质(例如,计算机可读介质或处理器可读介质)上的指令组成。指令可由处理器检索并执行。存储介质的一些示例是存储装置、磁带、磁盘等。指令在被处理器执行时是可操作的,以指导处理器根据本发明进行操作。本领域技术人员熟悉指令、处理器和存储介质。
值得注意的是,适用于执行在本文中描述的处理的任何硬件平台都适用于本发明。在本文中使用的术语“计算机可读存储介质”和“计算机可读存储介质”是指参与向处理器提供指令以供执行的任何介质。这样的介质可采取许多形式,包括但不限于非易失性介、,易失性介质和传输介质。非易失性介质包括例如光盘或磁盘(诸如固定盘)。易失性介质包括动态存储器(诸如系统随机存取存储器(RAM))。
传输介质包括同轴电缆、铜线和光纤等,该传输介质包括包含总线的一个实施例的导线。传输介质还可采用声波或光波的形式(诸如在射频(RF)和红外(IR)数据通信期间生成的那些声波或光波)。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD只读存储器(ROM)盘、DVD、任何其它光学介质、具有标记或孔的图案的任何其它物理介质、RAM、可编程序只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、带电可擦可编程只读存储器(EEPROM)、任何其它存储芯片或盒式磁带、载波或计算机可从其读取的任何其它介质。
各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。总线将数据携带到系统RAM,处理器从该系统RAM检索并执行指令。由系统处理器接收的指令可以可选地在由处理器执行之前或之后存储在固定磁盘上。
因此,已经描述了用于生成具有定制的文本消息的个性化视频的系统和方法。尽管已经参照特定示例性实施例描述了实施例,但是很明显,在不脱离本申请的更广泛的精神和范围的情况下,可对这些示例性实施例进行各种修改和改变。因此,说明书和附图应被认为是说明性的而不是限制性的。
Claims (20)
1.一种用于生成个性化视频的方法,所述方法包括:
由计算装置接收视频模板,所述视频模板包括:帧图像的序列、输入文本、以及用于在所述帧图像的序列上动画化所述输入文本的至少一个参数;
由所述计算装置基于所述输入文本和用于动画化的所述至少一个参数来生成配置文件,所述配置文件包括所述帧图像的序列中的帧的所述输入文本的文本样式;并且
由所述计算装置基于所述配置文件来呈现输出视频的输出帧,所述输出帧包括所述帧图像的序列中的所述帧和层,所述层包括基于所述文本样式而样式化的所述输入文本。
2.根据权利要求1所述的方法,在呈现所述层之前,进一步包括:
由所述计算装置将所述输入文本拆分成预定数目的行;
由所述计算装置基于所述输入文本,根据所述文本样式生成字形;
由所述计算装置基于所述帧图像的序列中的所述帧的边界,选择所述字形的全局比例;并且
由所述计算装置预呈现所述层,所述层包括根据所述全局比例重新调整大小的所述字形。
3.根据权利要求2所述的方法,其中,所述预呈现的层包括以下各项中的一项:所述字形的轮廓和所述字形的阴影。
4.根据权利要求1所述的方法,其中,所述层中的所述输入文本是基于全局比例来重新调整大小的,当所述输入文本根据用于动画化的所述至少一个参数进行动画化时,选择所述全局比例以在所述帧图像的序列中的帧图像上适配所述输入文本。
5.根据权利要求4所述的方法,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的位置变化。
6.根据权利要求4所述的方法,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的字体大小变化。
7.根据权利要求4所述的方法,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的方位变化。
8.根据权利要求1所述的方法,进一步包括:
由所述计算装置提供使得用户能够改变用于动画化的所述至少一个参数的选项;
在接收到所述用户已经改变用于动画化的所述至少一个参数的指示时,由所述计算装置在所述输出视频中根据所改变的用于动画化的至少一个参数来动态地改变所述输入文本的所述文本样式。
9.根据权利要求8所述的方法,其中,改变用于动画化的所述至少一个参数的所述选项包括添加要应用于所述输入文本的至少一个视觉效果。
10.根据权利要求8所述的方法,其中,改变用于动画化的所述至少一个参数的所述选项包括从先前创建的文本参数列表中选择所述输入文本的至少一个文本参数。
11.一种计算装置,包括:
处理器;以及
存储指令的存储器,所述指令在由所述处理器执行时配置所述计算装置以:
接收视频模板,所述视频模板包括帧图像的序列、输入文本、以及用于在所述帧图像的序列上动画化所述输入文本的至少一个参数;
基于所述输入文本和用于动画化的所述至少一个参数来生成配置文件,所述配置文件包括所述帧图像的序列中的帧的所述输入文本的文本样式;并且
基于所述配置文件来呈现输出视频的输出帧,所述输出帧包括所述帧图像的序列中的所述帧和层,所述层包括基于所述文本样式而样式化的所述输入文本。
12.根据权利要求11所述的计算装置,其中,所述指令进一步将所述计算装置配置为,在所述呈现所述层之前:
将所述输入文本拆分成预定数目的行;
基于所述输入文本,根据所述文本样式生成字形;
基于所述帧图像的序列中的所述帧的边界,选择所述字形的全局文本比例;并且
预呈现所述层,所述层包括根据所述全局比例重新调整大小的所述字形。
13.根据权利要求12所述的计算装置,其中,所述预呈现的层包括以下各项中的一项:所述字形的轮廓和所述字形的阴影。
14.根据权利要求11所述的计算装置,其中,所述层中的所述输入文本是基于全局比例来重新调整大小的,当所述输入文本根据用于动画化的所述至少一个参数进行动画化时,选择所述全局比例以在所述帧图像的序列中的帧图像上适配所述输入文本。
15.根据权利要求14所述的计算装置,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的位置变化。
16.根据权利要求14所述的计算装置,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的字体大小变化。
17.根据权利要求14所述的计算装置,其中,用于动画化的所述至少一个参数包括所述输入文本在所述帧图像的序列的帧图像上的方位变化。
18.根据权利要求11所述的计算装置,其中,所述指令进一步将所述计算装置配置为:
提供使得用户能够改变用于动画化的所述至少一个参数的选项;并且
在接收到所述用户已经改变用于动画化的所述至少一个参数的指示时,在所述输出视频中根据所述改变的至少一个用于动画化的参数来动态地改变所述输入文本的所述文本样式。
19.根据权利要求18所述的计算装置,其中,改变用于动画化的所述至少一个参数的所述选项包括添加要应用于所述输入文本的至少一个视觉效果。
20.一种非暂时性计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在由计算装置执行时使所述计算装置进行以下操作:
接收视频模板,所述视频模板包括帧图像的序列、输入文本、以及用于在所述帧图像的序列上动画化所述输入文本的至少一个参数;
基于所述输入文本和用于动画化的所述至少一个参数来生成配置文件,所述配置文件包括所述帧图像的序列中的帧的所述输入文本的文本样式;并且
基于所述配置文件来呈现输出视频的输出帧,所述输出帧包括所述帧图像的序列中的所述帧和层,所述层包括基于所述文本样式而样式化的所述输入文本。
Applications Claiming Priority (18)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/251,472 | 2019-01-18 | ||
US16/251,436 | 2019-01-18 | ||
US16/251,436 US10789453B2 (en) | 2019-01-18 | 2019-01-18 | Face reenactment |
US16/251,472 US11049310B2 (en) | 2019-01-18 | 2019-01-18 | Photorealistic real-time portrait animation |
US16/434,185 US10839586B1 (en) | 2019-06-07 | 2019-06-07 | Single image-based real-time body animation |
US16/434,185 | 2019-06-07 | ||
US16/551,756 | 2019-08-27 | ||
US16/551,756 US10776981B1 (en) | 2019-06-07 | 2019-08-27 | Entertaining mobile application for animating a single image of a human body and applying effects |
US16/594,690 | 2019-10-07 | ||
US16/594,771 US11394888B2 (en) | 2019-01-18 | 2019-10-07 | Personalized videos |
US16/594,771 | 2019-10-07 | ||
US16/594,690 US11089238B2 (en) | 2019-01-18 | 2019-10-07 | Personalized videos featuring multiple persons |
US16/661,086 US11288880B2 (en) | 2019-01-18 | 2019-10-23 | Template-based generation of personalized videos |
US16/661,122 US11308677B2 (en) | 2019-01-18 | 2019-10-23 | Generating personalized videos with customized text messages |
US16/661,086 | 2019-10-23 | ||
US16/661,122 | 2019-10-23 | ||
CN202080009460.4A CN113302659B (zh) | 2019-01-18 | 2020-01-18 | 用于生成具有定制的文本消息的个性化视频的系统和方法 |
PCT/US2020/014226 WO2020150693A1 (en) | 2019-01-18 | 2020-01-18 | Systems and methods for generating personalized videos with customized text messages |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080009460.4A Division CN113302659B (zh) | 2019-01-18 | 2020-01-18 | 用于生成具有定制的文本消息的个性化视频的系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118570340A true CN118570340A (zh) | 2024-08-30 |
Family
ID=71613940
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080009460.4A Active CN113302659B (zh) | 2019-01-18 | 2020-01-18 | 用于生成具有定制的文本消息的个性化视频的系统和方法 |
CN202410811696.XA Pending CN118570340A (zh) | 2019-01-18 | 2020-01-18 | 用于生成个性化视频的方法、计算装置及存储介质 |
CN202080009459.1A Pending CN113302694A (zh) | 2019-01-18 | 2020-01-18 | 用于基于模板生成个性化视频的系统和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080009460.4A Active CN113302659B (zh) | 2019-01-18 | 2020-01-18 | 用于生成具有定制的文本消息的个性化视频的系统和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080009459.1A Pending CN113302694A (zh) | 2019-01-18 | 2020-01-18 | 用于基于模板生成个性化视频的系统和方法 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP3912136A1 (zh) |
KR (5) | KR102616013B1 (zh) |
CN (3) | CN113302659B (zh) |
WO (2) | WO2020150693A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11477366B2 (en) * | 2020-03-31 | 2022-10-18 | Snap Inc. | Selfie setup and stock videos creation |
CN112215927B (zh) * | 2020-09-18 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 人脸视频的合成方法、装置、设备及介质 |
CN112153475B (zh) * | 2020-09-25 | 2022-08-05 | 北京字跳网络技术有限公司 | 用于生成文字模式的视频的方法、装置、设备和介质 |
CN112866798B (zh) * | 2020-12-31 | 2023-05-05 | 北京字跳网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
US20220254188A1 (en) * | 2021-02-11 | 2022-08-11 | Keepsake Tales Inc. | Methods for Creating Personalized Items Using Images Associated with a Subject and Related Systems and Computers |
US12020383B2 (en) * | 2021-03-31 | 2024-06-25 | Snap Inc. | Facial synthesis in augmented reality content for third party applications |
KR102345729B1 (ko) * | 2021-04-08 | 2022-01-03 | 주식회사 닫닫닫 | 영상 생성 방법 및 장치 |
US11803996B2 (en) | 2021-07-30 | 2023-10-31 | Lemon Inc. | Neural network architecture for face tracking |
US12020386B2 (en) | 2022-06-23 | 2024-06-25 | Snap Inc. | Applying pregenerated virtual experiences in new location |
US12069399B2 (en) | 2022-07-07 | 2024-08-20 | Snap Inc. | Dynamically switching between RGB and IR capture |
CN115988281A (zh) * | 2022-08-30 | 2023-04-18 | 杭州网易云音乐科技有限公司 | 多媒体数据处理方法、装置、设备及介质 |
CN118468943B (zh) * | 2024-07-09 | 2024-10-22 | 深圳市翻江倒海互动娱乐有限公司 | 基于文本的图像生成方法、装置、设备及存储介质 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6512522B1 (en) * | 1999-04-15 | 2003-01-28 | Avid Technology, Inc. | Animation of three-dimensional characters along a path for motion video sequences |
KR100606076B1 (ko) * | 2004-07-02 | 2006-07-28 | 삼성전자주식회사 | 휴대단말기의 이미지 처리방법 |
CA2622744C (en) * | 2005-09-16 | 2014-09-16 | Flixor, Inc. | Personalizing a video |
CN101563698A (zh) * | 2005-09-16 | 2009-10-21 | 富利克索尔股份有限公司 | 个性化视频 |
CN101005609B (zh) * | 2006-01-21 | 2010-11-03 | 腾讯科技(深圳)有限公司 | 生成互动视频图像的方法及系统 |
US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
US20090016617A1 (en) * | 2007-07-13 | 2009-01-15 | Samsung Electronics Co., Ltd. | Sender dependent messaging viewer |
CN100448271C (zh) * | 2007-08-10 | 2008-12-31 | 浙江大学 | 基于全景图拼接的视频编辑方法 |
JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN102054287B (zh) * | 2009-11-09 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 面部动画视频生成的方法及装置 |
US8443285B2 (en) * | 2010-08-24 | 2013-05-14 | Apple Inc. | Visual presentation composition |
CN102426568A (zh) * | 2011-10-04 | 2012-04-25 | 上海量明科技发展有限公司 | 即时通信文本信息图片编辑的方法、客户端及系统 |
WO2013116577A1 (en) * | 2012-01-31 | 2013-08-08 | Newblue, Inc. | Systems and methods for media personalization using templates |
RU2627096C2 (ru) * | 2012-10-30 | 2017-08-03 | Сергей Анатольевич Гевлич | Способы изготовления прототипов мультимедиа-презентаций, устройства для изготовления прототипов мультимедиа-презентаций, способы использования устройств для изготовления прототипов мультимедиа-презентаций (варианты) |
CA2818052A1 (en) * | 2013-03-15 | 2014-09-15 | Keith S. Lerner | Dynamic customizable personalized label |
GB2525841A (en) * | 2014-03-07 | 2015-11-11 | Starbucks Hk Ltd | Image modification |
US9881002B1 (en) * | 2014-03-19 | 2018-01-30 | Amazon Technologies, Inc. | Content localization |
US9576175B2 (en) | 2014-05-16 | 2017-02-21 | Verizon Patent And Licensing Inc. | Generating emoticons based on an image of a face |
US9898849B2 (en) * | 2014-11-05 | 2018-02-20 | Intel Corporation | Facial expression based avatar rendering in video animation and method |
US20170004646A1 (en) * | 2015-07-02 | 2017-01-05 | Kelly Phillipps | System, method and computer program product for video output from dynamic content |
WO2017130158A1 (en) * | 2016-01-27 | 2017-08-03 | Vats Nitin | Virtually trying cloths on realistic body model of user |
WO2017223530A1 (en) * | 2016-06-23 | 2017-12-28 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
CN107545210A (zh) * | 2016-06-27 | 2018-01-05 | 北京新岸线网络技术有限公司 | 一种视频文本提取的方法 |
CN106126709A (zh) * | 2016-06-30 | 2016-11-16 | 北京奇虎科技有限公司 | 实时生成聊天表情的方法及装置 |
WO2018102880A1 (en) | 2016-12-09 | 2018-06-14 | Frangos Marcus George | Systems and methods for replacing faces in videos |
US10636175B2 (en) | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
US10446189B2 (en) | 2016-12-29 | 2019-10-15 | Google Llc | Video manipulation with face replacement |
US10878612B2 (en) | 2017-04-04 | 2020-12-29 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
KR102435337B1 (ko) * | 2017-05-16 | 2022-08-22 | 애플 인크. | 이모지 레코딩 및 전송 |
CN107566892B (zh) * | 2017-09-18 | 2020-09-08 | 北京小米移动软件有限公司 | 视频文件处理方法、装置及计算机可读存储介质 |
CN107770626B (zh) * | 2017-11-06 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 视频素材的处理方法、视频合成方法、装置及存储介质 |
CN108133455A (zh) * | 2017-12-01 | 2018-06-08 | 天脉聚源(北京)科技有限公司 | 海报图像中用户名称的显示方法及装置 |
CN108305309B (zh) * | 2018-04-13 | 2021-07-20 | 腾讯科技(成都)有限公司 | 基于立体动画的人脸表情生成方法和装置 |
CN108965104A (zh) * | 2018-05-29 | 2018-12-07 | 深圳市零度智控科技有限公司 | 图文消息的合并发送方法、装置及可读存储介质 |
CN108924622B (zh) * | 2018-07-24 | 2022-04-22 | 腾讯科技(深圳)有限公司 | 一种视频处理方法及其设备、存储介质、电子设备 |
-
2020
- 2020-01-18 KR KR1020217026003A patent/KR102616013B1/ko active Application Filing
- 2020-01-18 CN CN202080009460.4A patent/CN113302659B/zh active Active
- 2020-01-18 WO PCT/US2020/014226 patent/WO2020150693A1/en unknown
- 2020-01-18 CN CN202410811696.XA patent/CN118570340A/zh active Pending
- 2020-01-18 KR KR1020237042824A patent/KR20230173221A/ko active Application Filing
- 2020-01-18 EP EP20707901.3A patent/EP3912136A1/en active Pending
- 2020-01-18 EP EP20707900.5A patent/EP3912160A1/en active Pending
- 2020-01-18 KR KR1020247011320A patent/KR20240050468A/ko active Application Filing
- 2020-01-18 KR KR1020237042823A patent/KR20230173220A/ko active Application Filing
- 2020-01-18 CN CN202080009459.1A patent/CN113302694A/zh active Pending
- 2020-01-18 KR KR1020217026000A patent/KR102658104B1/ko active IP Right Grant
- 2020-01-18 WO PCT/US2020/014225 patent/WO2020150692A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR102658104B1 (ko) | 2024-04-17 |
KR20210119440A (ko) | 2021-10-05 |
CN113302659A (zh) | 2021-08-24 |
CN113302694A (zh) | 2021-08-24 |
WO2020150692A1 (en) | 2020-07-23 |
KR20230173220A (ko) | 2023-12-26 |
EP3912136A1 (en) | 2021-11-24 |
CN113302659B (zh) | 2024-07-12 |
KR20240050468A (ko) | 2024-04-18 |
KR102616013B1 (ko) | 2023-12-21 |
KR20210119439A (ko) | 2021-10-05 |
KR20230173221A (ko) | 2023-12-26 |
EP3912160A1 (en) | 2021-11-24 |
WO2020150693A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113302659B (zh) | 用于生成具有定制的文本消息的个性化视频的系统和方法 | |
US11288880B2 (en) | Template-based generation of personalized videos | |
US11176737B2 (en) | Textured mesh building | |
US20240087204A1 (en) | Generating personalized videos with customized text messages | |
US11394888B2 (en) | Personalized videos | |
US11558561B2 (en) | Personalized videos featuring multiple persons | |
KR102685294B1 (ko) | 기본 셀프-이미지를 위한 전역 구성 인터페이스 | |
CN118918219A (zh) | 用于生成个性化视频的方法、系统及处理器可读介质 | |
CN113287118B (zh) | 用于面部再现的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |