Nothing Special   »   [go: up one dir, main page]

CN113487709B - 一种特效展示方法、装置、计算机设备以及存储介质 - Google Patents

一种特效展示方法、装置、计算机设备以及存储介质 Download PDF

Info

Publication number
CN113487709B
CN113487709B CN202110768288.7A CN202110768288A CN113487709B CN 113487709 B CN113487709 B CN 113487709B CN 202110768288 A CN202110768288 A CN 202110768288A CN 113487709 B CN113487709 B CN 113487709B
Authority
CN
China
Prior art keywords
gesture
animation
anchor
limb
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110768288.7A
Other languages
English (en)
Other versions
CN113487709A (zh
Inventor
邱丰
刘昕
王佳梨
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202110768288.7A priority Critical patent/CN113487709B/zh
Publication of CN113487709A publication Critical patent/CN113487709A/zh
Priority to PCT/CN2022/075015 priority patent/WO2023279713A1/zh
Priority to TW111117706A priority patent/TW202303526A/zh
Application granted granted Critical
Publication of CN113487709B publication Critical patent/CN113487709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种特效展示方法、装置、计算机设备以及存储介质，其中，该方法包括：获取真实主播在直播过程中的第一视频图像；对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。

Description

一种特效展示方法、装置、计算机设备以及存储介质
技术领域
本公开涉及计算机的技术领域，具体而言，涉及一种特效展示方法、装置、计算机设备以及存储介质。
背景技术
在目前的虚拟直播过程中，主播可以通过对直播设备上特效触发按键执行触发操作的方式，触发展示特效动画。例如，主播可以手动操控鼠标或者键盘来触发展示特效动画；或者，主播还可以在直播软件中点选或按下提前编辑预设好的快捷键，进行特效动画的触发和播放。由于现有的虚拟直播方案需要主播手动触发展示特效动画，因此，该直播方案束缚了主播直播时的手部表现，从而降低了用户对该直播软件的使用体验。
发明内容
本公开实施例至少提供一种特效展示方法、装置、计算机设备以及存储介质。
第一方面，本公开实施例提供了一种特效展示方法，包括：获取真实主播在直播过程中的第一视频图像；对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
本公开实施例适用于虚拟直播领域，可以在视频直播界面中展示真实主播所驱动的虚拟主播模型，并可以在视频直播界面中展示该虚拟主播模型的动画特效。具体的，可以通过识别真实主播的姿态，基于姿态检测结果来确定真实主播驱动的虚拟主播模型的目标动画特效，并在视频直播界面中展示该目标动画特效。由此可以实现通过真实主播的姿态检测结果在视频直播界面上触发展示虚拟主播模型对应的目标动画特效，无需依赖外部控制设备来触发展示动画特效，同时还提高了虚拟直播用户的直播体验。
一种可能的实施方式中，在姿态检测结果包括肢体检测结果和/或手势分类结果的情况下，所述对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果，包括：对所述第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果；在所述肢体检测结果中包含手部检测框的情况下，对所述第一视频图像中位于所述手部检测框内的图像进行手势检测，得到手势分类结果；根据所述肢体检测结果和所述手势分类结果确定所述姿态检测结果。
上述实施方式中，通过对第一视频图像进行肢体检测和手势检测，并对肢体检测结果和手势分类结果进行整合，可以得到用于准确表示第一视频图像中真实主播的动作语义信息的姿态检测结果。在通过该姿态检测结果确定目标动画特效时，可以提高所触发展示的目标动画特效的准确性。
一种可能的实施方式中，所述根据所述姿态检测结果检测所述真实主播处于预设姿态，包括：根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件；在满足所述手势识别条件的情况下，检测所述姿态检测结果中手势分类结果所指示的手势是否为预设手势；在检测出是所述预设手势的情况下，确定所述真实主播处于所述预设姿态。
在本公开实施例中，通过肢体检测结果和手势分类结果的结合，确定该虚拟主播模型的目标动画特效。在此情况下，可以根据肢体检测结果先检测真实主播的肢体动作是否满足手势识别条件，并在满足的情况下，进行手势的识别，通过该处理方式可以提高姿态比对的效率，缩短姿态比对的时间，从而使得本技术方案能够适用于实时性要求较高的直播场景。
一种可能的实施方式中，所述根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件，包括：根据所述肢体检测结果确定所述真实主播的各个指定肢体部位之间的相对方位信息；根据所述相对方位信息和预设方位信息，确定所述第一视频图像中的真实主播是否满足所述手势识别条件；所述预设方位信息用于表征所述真实主播在处于预设姿态下，各个指定肢体部位之间的相对方位关系。
上述实施方式中，通过将相对方位信息和预设方位信息进行比对，来确定第一视频图像中真实主播的肢体动作是否为预先设定的肢体动作的方式，可以得到更加准确的肢体比对结果，从而能够更加准确的确定第一视频图像是否满足手势识别条件。
一种可能的实施方式中，所述根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效，包括：基于所述姿态检测结果，确定针对动画特效的第一驱动信息；其中，所述第一驱动信息用于指示所述视频直播界面中所展示的虚拟直播模型的动画特效的动画跳转信息；根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，并将所述相匹配的动画序列确定为所述目标动画特效。
上述实施方式中，通过确定第一驱动信息，以根据第一驱动信息确定目标动画特效的方式，可以简化数据格式，节省直播设备的设备内存，从而保证直播过程的流畅性。
一种可能的实施方式中，所述基于所述姿态检测结果，确定针对动画特效的第一驱动信息，包括：确定所述视频流中位于所述第一视频图像之前的至少一个视频图像；获取根据每个所述视频图像确定出的针对动画特效的第二驱动信息，并根据所述姿态检测结果确定针对动画特效的估计驱动信息；确定所述第二驱动信息和所述估计驱动信息中每个驱动信息所驱动展示的动画序列，得到至少一个动画序列；将所述至少一个动画序列中出现次数满足预设次数要求的动画序列所对应的驱动信息为确定所述第一驱动信息。
针对根据多个视频图像中每个视频图像确定出的虚拟直播模型的动画特效可能不同，此时，视频直播界面中所展示的动画特效可能存在抖动的问题，基于此，本公开技术方案提出了一种基于时间序列的决策稳定算法，该算法首先获取视频流中位于第一视频图像之前的至少一个视频图像，然后，确定根据每个视频图像确定出的针对动画特效的第二驱动信息，确定第一驱动信息，通过该处理方式可以在保证较低决策响应延迟的基础上尽可能避免信号抖动的情况，进而准确触发对应动作的动画序列。
一种可能的实施方式中，所述根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，包括：获取所述多个动画序列的动画状态机；所述动画状态机用于表征多个动画状态之间的跳转关系，每个所述动画状态对应一个或多个动画序列；根据所述第一驱动信息，确定所述动画状态机的下一个待跳转的动画状态；根据所述下一个待跳转的动画状态所对应的动画序列，确定所述目标动画特效。
上述实施方式中，通过第一驱动信息对动画状态机进行控制，以实现视频直播界面中动画跳转的方式，可以满足用户的各种复杂肢体动作，从而实现各种动作状态之间的流畅转移，以提高用户直播体验。
一种可能的实施方式中，所述方法还包括：获取所述真实主播所对应的虚拟直播场景；所述根据所述姿态检测结果，确定与所述真实主播对应的虚拟主播模型的目标动画特效，包括：获取与所述姿态检测结果相匹配的初始动画特效；在所述初始动画特效中确定与所述虚拟直播场景相匹配的动画特效作为所述目标动画特效。
上述实施方式中，通过虚拟直播场景在初始动画特效中筛选得到目标动画特效的方式，可以实现为直播用户定制个性化的动画特效，进而使得确定出的目标动画特效能够更加满足用户的直播需求，从而为用户带来不一样的直播体验。
一种可能的实施方式中，所述目标动画特效包括用于表征虚拟主播模型的肢体动作的肢体动作特效和/或渲染素材特效，所述在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效，包括：在所述视频直播界面中展示所述虚拟主播模型的肢体动作的肢体动作特效；和/或，在所述视频直播界面中与所述虚拟主播模型的肢体动作关联的目标位置处展示所述渲染素材特效。
上述实施方式中，通过在视频直播界面中展示肢体动作特效和渲染素材特效的方式，可以丰富视频直播界面中所展示的内容，从而增加了直播的趣味性，提高了用户的直播体验。
第二方面，本公开实施例还提供一种特效展示装置，包括：获取单元，用于获取真实主播在直播过程中的第一视频图像；姿态检测单元，用于对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；确定单元，用于在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；展示单元，用于在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种特效展示方法的流程图；
图2示出了本公开实施例所提供的一种姿态检测结果的示意图；
图3示出了本公开实施例所提供的一种特效展示装置的示意图；
图4示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，由于现有的虚拟直播方案需要主播手动触发展示特效动画，因此，该直播方案束缚了主播直播时的手部表现，从而降低了用户对该直播软件的使用体验。
基于上述研究，本公开提供了一种特效展示方法、装置、计算机设备以及存储介质。本公开所提供的技术方案，可以应用于虚拟直播场景下。虚拟直播场景可以理解为使用预先设定的虚拟主播模型，如小熊猫、小兔子、卡通人物等代替真实主播的实际形象进行直播，此时，在视频直播画面中所展示出的为上述虚拟主播模型。同时，还可以根据该虚拟主播模型进行真实主播与观众的互动。
举例来说，直播设备的摄像装置可以采集包含真实主播的视频图像，然后，对视频图像中所包含的真实主播的肢体进行捕捉，从而得到真实主播的姿态信息。在确定出该姿态信息之后，就可以生成对应的驱动信号，该驱动信号用于驱动在视频直播画面中展示虚拟主播模型对应的动画特效。
在一个可选的实施方式中，真实主播可以预先设定相应的虚拟主播模型，例如，可以预先设定的虚拟主播模型为“XXX游戏中的YYY角色模型”。真实主播可以预先设定一个或多个虚拟主播模型。在开启当前时刻的虚拟直播时，可以从预先设定的一个或多个虚拟主播模型中选择一个作为当前时刻的虚拟主播模型。其中，虚拟主播模型可以为2D模型，还可以为3D模型。
在另一个可选的实施方式中，除了上述所描述方式为真实主播确定虚拟主播模型之外，还可以在获取到第一视频图像之后，为该第一视频图像中的真实主播重塑虚拟主播模型。
举例来说，可以对视频图像中所包含的真实主播进行识别，从而根据识别结果为真实主播重塑虚拟主播模型。该识别结果可以包含以下至少之一：真实主播的性别、真实主播的外貌特征、真实主播的穿戴特征等。
此时，可以从虚拟主播模型库中搜索与该识别结果相匹配的模型作为该真实主播的虚拟主播模型。例如，根据识别结果确定出真实主播在直播过程中戴鸭舌帽、所穿衣服为嘻哈风格的衣服。此时，可以从虚拟主播模型库中搜索与该“鸭舌帽”或者“嘻哈风”相匹配的虚拟主播模型作为该真实主播的虚拟主播模型。
除了在虚拟主播模型库中搜索与识别结果相匹配的模型之外，还可以基于该识别结果，通过模型构建模块，为真实主播实时构建出相应的虚拟主播模型。
这里，在实时构建该虚拟主播模型时，还可以将该真实主播在过去时刻所发起的虚拟直播所使用的虚拟主播模型作为参考，构建当前时刻该真实主播所驱动的虚拟主播模型。
通过上述所描述的确定虚拟主播模型的方式，可以实现为真实主播个性化定制相应的虚拟主播模型，从而避免千篇一律的虚拟主播模型。同时，通过个性化定制虚拟主播模型，还可以为观众留下更深刻的印象。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种特效展示方法进行详细介绍，本公开实施例所提供的特效展示方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备可以为支持安装虚拟直播软件的任意一个直播设备。在一些可能的实现方式中，该特效展示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种特效展示方法的流程图，所述方法包括步骤S101～S107，其中：
S101：获取真实主播在直播过程中的第一视频图像。
S103：对第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果。
在本公开实施例中，可以通过直播设备上预先安装的摄像装置采集真实主播在直播过程中的视频流，第一视频图像为该视频流中的视频帧。
这里，可以要求所采集到的视频流的视频图像中包含真实主播的脸部和上半身肢体部位。一般情况下，还可以要求视频图像中包含部分或者全部手部画面。在实际直播场景下，在真实主播离开摄像装置的拍摄范围时，或者，真实主播的直播场景较为复杂时，往往会导致视频图像中包含不完整的脸部和/或不完整上半身肢体部位。
在本公开实施例中，指定肢体部位可以理解为真实主播的至少部分指定肢体部位。这里，指定肢体部位包含：头部部位和上半身肢体部位(两个手臂部位、手部部位、上半身躯干部位)。
可以理解的是，在指定肢体部位为多个的情况下，上述姿态检测结果可以用于表征各个指定肢体部位之间的相对位置关系，和/或，该第一视频图像中所包含手势的手势分类结果。
S105：在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型目标动画特效；
S107：在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
在本公开实施例中，在确定出姿态检测结果之后，可以根据该姿态检测结果检测真实主播是否处于预设姿态。如果检测出处于预设姿态，则确定出该第一视频图像中的真实主播满足动画特效的触发条件。此时，可以确定与第一视频图像相匹配的目标动画特效，并展示该目标动画特效。
本公开实施例适用于虚拟直播领域，可以在视频直播界面中展示真实主播所驱动的虚拟主播模型，并可以在视频直播界面中展示该虚拟主播模型的动画特效。具体的，可以通过识别真实主播的姿态，基于姿态检测结果来确定真实主播驱动的虚拟主播模型的目标动画特效，并在视频直播界面中展示该目标动画特效。由此可以实现通过真实主播的姿态检测结果在视频直播界面上触发展示虚拟主播模型对应的目标动画特效，无需依赖外部控制设备来触发展示动画特效，同时还提高了虚拟直播用户的直播体验。
针对上述步骤S103，在姿态检测结果包括肢体检测结果和/或手势分类结果的情况下，对第一视频图像中真实主播的指定肢体部位进行姿态检测，得到姿态检测结果，具体包括如下过程：
步骤S1031，对所述第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果。
步骤S1032，在所述肢体检测结果中包含手部检测框的情况下，对所述第一视频图像中位于所述手部检测框内的图像进行手势检测，得到手势分类结果。
步骤S1033，根据所述肢体检测结果和所述手势分类结果确定所述姿态检测结果。
在本公开实施例中，首先，通过肢体检测模型，对第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果。这里，所述肢体检测结果包含以下至少之一：肢体关键点、人脸框的尺寸、人脸框的位置信息、手部检测框的尺寸、手部检测框的位置信息。
如图2所示，首先，通过肢体检测模型确定第一视频图像中真实主播的指定肢体部位的肢体关键点。然后，在识别出第一视频图像中包含清晰面部图像的情况下，得到人脸框的尺寸和/或人脸框的位置信息。之后，在识别出第一视频图像中包含清晰手部图像的情况下，可以得到手部检测框的尺寸和/或手部检测框的位置信息。
在检测出肢体检测结果中包含手部检测框的情况下，还可以通过手势识别模型对位于手部检测框内的图像进行手势检测，得到手势分类结果，其中，该手势分类结果为一个特征向量，该特征向量用于表征第一视频图像中真实主播的手部姿势属于每个预设手势的概率。
在检测得到上述肢体检测结果和手势分类结果之后，就可以将该肢体检测结果和手势分类结果确定为姿态检测结果。然后，根据肢体检测结果和手势分类结果确定第一视频图像中的真实主播满足动画特效的触发条件。如果确定出满足动画特效的触发条件，则根据姿态检测结果确定与真实主播对应的虚拟主播模型的目标动画特效。
在本公开实施例中，在肢体检测结果中不包含手部检测框的情况下，则可以舍弃该第一视频图像，并将视频流中的下一个视频帧作为第一视频图像，通过上述所描述的步骤对该第一视频图像进行处理，具体处理过程此处不再详细描述。
这里，肢体检测结果包含肢体关键点，例如，各个指定肢体部位的肢体关键点。假设，指定肢体部位包含头部部位和上半身肢体部位，那么肢体关键点包含头部部位的关键点，以及上半身肢体部位中两个手臂的关键点，手部关键点，以及上身躯干的关键点。
上述实施方式中，通过对第一视频图像进行肢体检测和手势检测，并对肢体检测结果和手势分类结果进行整合，可以得到用于准确表示第一视频图像中真实主播的动作语义信息的姿态检测结果。在通过该姿态检测结果确定目标动画特效时，可以提高所触发展示的目标动画特效的准确性。
在一个可选的实施方式中，上述步骤S105中，根据所述姿态检测结果检测所述真实主播处于预设姿态，具体包括如下步骤：
步骤S11，根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件；
步骤S12，在满足所述手势识别条件的情况下，检测所述姿态检测结果中手势分类结果所指示的手势是否为预设手势；
步骤S13，在检测出是所述预设手势的情况下，确定所述真实主播处于所述预设姿态。
在本公开实施例中，在确定出上述所描述的肢体检测结果之后，可以根据肢体检测结果确定第一视频图像中的真实主播是否满足手势识别条件，具体包括如下过程：
根据肢体检测结果确定各个指定肢体部位之间的相对位置关系；根据该相对位置关系，确定第一视频图像中的真实主播是否满足手势识别条件。
可以理解的是，上述相对位置关系包含以下至少之一：各个指定肢体部位之间的相对距离、各个指定肢体部位中相关联肢体部位之间的角度关系。其中，相关联肢体部位可以理解为相邻的指定肢体部位，或者，类型相同的指定肢体部位。
在本公开实施例中，第一视频图像中的真实主播满足手势识别条件可以理解为：第一视频图像中真实主播的肢体动作为预先设定的肢体动作。
因此，在检测到第一视频图像中真实主播的肢体动作为预先设定的肢体动作，可以检测第一视频图像中真实主播所做出的手势是否为预设手势。
如果确定出预设手势，则可以确定出真实主播处于预设姿态，此时，就可以确定出第一视频图像中的真实主播满足动画特效的触发条件，进而执行根据姿态检测结果确定与真实主播对应的虚拟直播模型的目标动画特效的步骤。
在本公开实施例中，是通过肢体检测结果和手势分类结果的结合，来确定该虚拟主播模型的目标动画特效。在此情况下，不仅仅要求真实主播的手势为预设手势，还要求真实主播在做出预设手势时的肢体动作为预先设定的肢体动作。此时，设置首先基于肢体检测结果确定第一视频图像中的真实对象是否满足手势识别条件的方式，可以提高姿态比对的效率，缩短姿态比对的时间，从而使得本技术方案能够适用于实时性要求较高的直播场景。
在一个可选的实施方式中，上述步骤S11，根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件，具体包括如下过程：
(1)、根据所述肢体检测结果确定所述真实主播的各个指定肢体部位之间的相对方位信息；
(2)、根据所述相对方位信息和预设方位信息，确定所述第一视频图像中的真实主播是否满足所述手势识别条件；所述预设方位信息用于表征所述真实主播在处于预设姿态下，各个指定肢体部位之间的相对方位关系。
在本公开实施例中，在姿态检测结果中包含肢体检测结果和手势分类结果的情况下，可以首先根据肢体检测结果确定真实主播的各个指定肢体部位之间的相对方位信息(也即，上述所描述的相对位置关系)，具体包含以下相对方位信息：手部和脸部之间的相对方位信息、手臂和手臂之间的相对方位信息、上半身躯干和手臂之间的相对方位信息、手臂和上半身躯干之间的相对方位信息。
这里，相对方位信息可以包含以下至少之一：相对距离、相对角度、相对方向。
相对距离可以包含：各个指定肢体部位之间的相对距离。例如，手部检测框的中心点和人脸检测框的中心点之间的相对距离为M1个像素点；真实主播的左手臂的手肘和右手臂的手肘之间的相对距离为M2个像素点；上半身躯干的中心点和每个手臂的手肘之间的相对距离为M3个像素点和M4个像素点。
相对角度可以包含：各个指定肢体部位之间的夹角。例如，手部检测框的中心点和人脸检测框的中心点之间的连线与水平线之间的夹角N1；真实主播的左手臂和右手臂之间的夹角为N2；上半身躯干和每个手臂之间的夹角为N3和N4。
相对方向可以包含：各个指定肢体部位之间方向信息。例如，手部检测框在脸部检测框的左侧位置(或者，右侧位置、下方位置、上方位置等)。真实主播的左手臂在右手臂的左侧位置；上半身躯干在左手臂的右侧位置，并在右手臂的左侧位置等。
在确定出相对方位信息之后，就可以将相对方位信息和预设方位信息进行比较，得到比较结果，进而根据该比较结果确定第一视频图像中的真实主播是否满足所述手势识别条件。
在一个可选的实施方式中，将相对方位信息和预设方位信息进行比较，得到比较结果，具体包含以下内容：
这里，相对方位信息包含多个第一子信息，预设方位信息中包含多个第二子信息。
首先，将多个第一子信息和多个第二子信息中相同类型的子信息进行配对，得到多个待比较信息对。其中，相同类型可以理解为对应相同类型的指定肢体部位，且所表征的物理含义相同。
假设，第一子信息为相对方位信息中用于表征手部检测框的中心点和人脸检测框的中心点之间的相对距离的信息，那么第二子信息为预设方位信息中同样用于表征手部检测框的中心点和人脸检测框的中心点之间的相对距离的信息。
之后，可以确定每个待比较信息对中第一子信息和第二子信息之间的差异，从而得到多个差异值。
最后，在一个可选的实施方式中，可以在确定出每个差异值均满足预设差异阈值的情况下，确定第一视频图像中的真实主播满足手势识别条件；或者，在多个差异值中满足预设差异阈值的数量大于等于某个阈值，则确定第一视频图像中的真实主播满足手势识别条件；否则，确定第一视频图像中的真实主播不满足手势识别条件。
最后，在另一个可选的实施方式中，还可以确定每个差异值所对应的权重值，然后，将差异值和权重值进行加权求和，得到加权求和计算结果，在该加权求和计算结果小于或者等于某个阈值的情况下，确定第一视频图像中的真实主播满足手势识别条件；否则，确定第一视频图像中的真实主播不满足手势识别条件。
上述实施方式中，通过将相对方位信息和预设方位信息进行比对，来确定第一视频图像中真实主播的肢体动作是否为预先设定的肢体动作的方式，可以得到更加准确的肢体比对结果，从而能够更加准确的确定第一视频图像是否满足手势识别条件。
在一个可选的实施方式中，上述步骤S105中：根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效，具体包括如下步骤：
步骤S21，基于所述姿态检测结果，确定针对动画特效的第一驱动信息；其中，所述第一驱动信息用于指示所述视频直播界面中所展示动画特效的动画跳转信息；
步骤S22，根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，并将所述相匹配的动画序列确定为所述目标动画特效。
在本公开实施例中，第一驱动信息可以为一个1*(P+Q)的矩阵，其中，P可以理解为预设姿态的数量，Q可以理解为预设姿态所对应多个动画序列的数量。
这里，通过该第一驱动信息可以在多个预设姿态中确定第一视频图像中真实主播的姿态检测结果相匹配的预设姿态。在上述1*(P+Q)的矩阵中，该相匹配的预设姿态所对应的元素可以设置为“1”，其他预设姿态所对应元素可以设置为“0”，其中，“1”表示该预设姿态为与真实主播的姿态检测结果相匹配的姿态，“0”表示该预设姿态不是与真实主播的姿态检测结果相匹配的姿态。
在上述1*(P+Q)的矩阵中，Q的数量与“相匹配的预设姿态”相关联，即Q可以理解为该“相匹配的预设姿态”所对应的多个动画序列。在上述1*(P+Q)的矩阵中，与第一视频图像相匹配的动画序列所对应的元素可以设置为“1”，其余元素可以设置为“0”。
在确定出第一驱动信息之后，就可以根据该第一驱动信息，在多个预设姿态中确定与姿态检测结果相匹配的预设姿态，并在该预设姿态所对应的多个动画序列中，确定与真实主播对应的虚拟主播模型的目标动画特效。
针对任意一个预设姿态，可以为该预设姿态预先设定多个阶段，例如：动作进入阶段、动作保持阶段、动作退出阶段。假设，预设姿态为如图2所示的真实主播通过手部比“OK”的姿势。当真实主播的手臂抬起至头部位置并展示出“OK”动作可以为上述动作进入阶段、真实主播保持该“OK”动作可以为上述动作保持阶段、真实主播的手臂从头部位置放下为上述动作退出阶段。针对每个阶段，可以为其预先设定相应的动画序列。
上述实施方式中，通过确定第一驱动信息，以根据第一驱动信息确定目标动画特效的方式，可以简化数据格式，节省直播设备的设备内存，从而保证直播过程的流畅性。
在一个可选的实施方式中，步骤S21，所述基于所述姿态检测结果，确定针对动画特效的第一驱动信息，具体包括如下过程：
(1)、确定所述视频流中位于所述第一视频图像之前的至少一个视频图像；
(2)、获取根据每个所述视频图像确定出的针对动画特效的第二驱动信息，并根据所述姿态检测结果确定针对动画特效的估计驱动信息；
(3)、确定所述第二驱动信息和所述估计驱动信息中每个驱动信息所驱动展示的动画序列，得到至少一个动画序列；
(4)、将所述至少一个动画序列中出现次数满足预设次数要求的动画序列所对应的驱动信息确定为所述第一驱动信息。
在本公开实施例中，可以检测直播设备的帧率的稳定性，从而根据检测出的稳定性确定所述视频流中位于所述第一视频图像之前的至少一个视频图像。
例如，针对帧率相对稳定的直播设备，可以确定一个目标时间窗口，假设，第一视频图像所对应的采集时刻为T秒，那么该目标时间窗口可以为[T-1，T]。也就是说，可以将视频流中位于该目标时间窗口内的视频图像确定为至少一个视频图像。
又例如，针对帧率不稳定的直播设备，可以获取视频流中位于第一视频图像之前的前N帧视频图像。
在得到至少一个视频图像之后，可以获取根据每个所述视频图像确定出的针对动画特效的第二驱动信息，从而得到至少一个第二驱动信息，并根据姿态检测结果确定针对动画特效的估计驱动信息。之后，就可以确定第二驱动信息和所述估计驱动信息中每个驱动信息所驱动展示的动画序列，进而得到至少一个动画序列。
在得到至少一个动画序列之后，就可以确定至少一个动画序列中出现次数满足预设次数要求的动画序列，例如，至少一个动画序列中出现次数最多的动画序列。然后，将该满足预设次数要求的动画序列所对应的驱动信息确定为第一驱动信息。
举例来说，从T0时刻采集视频流到T1时刻时，可以采集到30帧视频图像，此时，可以确定根据每个视频图像确定出的针对动画特效的第二驱动信息，然后，根据30帧视频图像中每帧视频图像确定出的针对动画特效的第二驱动信息，得到30个第二驱动信息；确定30个第二驱动信息中每个第二驱动信息所驱动展示的动画序列，得到30个动画序列；将30个动画序列中出现次数最高的动画序列所对应的第二驱动信息确定为这30帧视频图像中每帧视频图像的第一驱动信息。
针对根据多个视频图像中每个视频图像确定出的虚拟直播模型的动画特效可能不同，此时，视频直播界面中所展示的动画特效可能存在抖动的问题，基于此，本公开技术方案提出了一种基于时间序列的决策稳定算法，该算法首先获取视频流中位于第一视频图像之前的至少一个视频图像，然后，确定根据每个视频图像确定出的针对动画特效的第二驱动信息，确定第一驱动信息，通过该处理方式可以在保证较低决策响应延迟的基础上尽可能避免信号抖动的情况，进而准确触发对应动作的动画序列。
在一个可选的实施方式中，上述步骤S22：根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，具体包括如下过程：
(1)、获取所述多个动画序列的动画状态机；所述动画状态机用于表征多个动画状态之间的跳转关系，每个所述动画状态对应一个或多个动画序列；
(2)、根据所述第一驱动信息，确定所述动画状态机的下一个待跳转的动画状态；
(3)、根据所述下一个待跳转的动画状态所对应的动画序列，确定所述目标动画特效。
在本公开实施例中，预先为预设姿态所对应的多个动画序列确定相应的动画状态机。在得到第一驱动信息之后，就可以根据第一驱动信息中所包含的内容，确定动画状态机的下一个待跳转的动画状态，例如，由当前动画状态A跳转至动画状态B。在确定出下一个待跳转的动画状态之后，即可以确定该下一个待跳转的动画状态所对应的动画序列，进而确定该动画序列为与第一视频图像相匹配的动画序列。
动画状态机中包含各个动画状态之间的转移条件，因此，通过驱动信息对动画状态机进行控制，以实现视频直播界面中动画条件的方式，可以满足用户的各种复杂肢体动作，从而实现各种动作状态之间的流畅转移，以提高用户直播体验。
在一个可选的实施方式中，在目标动画特效包括用于表征虚拟主播模型的肢体动作的肢体动作特效和/或渲染素材特效的情况下，上述步骤S105：在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效，具体包括如下内容：
在所述视频直播界面中展示所述虚拟主播模型的肢体动作的肢体动作特效；和/或，在所述视频直播界面中与所述虚拟主播模型的肢体动作关联的目标位置处展示所述渲染素材特效。
在本公开实施例中，目标动画特效包含虚拟主播的肢体动作特效，例如，虚拟直播的肢体执行如图2所示的“OK”动作的动作特效。除此之外，目标动画特效还包含渲染素材特效，例如，可以为虚拟主播添加“兔耳朵”的特效。
这里，可以设置目标位置与肢体动作特效相关联，例如，针对相同的渲染素材，在不同肢体动作特效的情况下，在视频直播界面中的展示位置(即目标位置)也不相同。
上述实施方式中，通过在视频直播界面中展示肢体动作特效和渲染素材特效的方式，可以丰富视频直播界面中所展示的内容，从而增加了直播的趣味性，提高了用户的直播体验。
在一个可选的实施方式中，该方法还包括：获取所述真实主播所对应的虚拟直播场景。
这里，虚拟直播场景可以为游戏解说场景、才艺展示场景、情感表达场景。
上述步骤S105：根据所述姿态检测结果，确定与所述真实主播对应的虚拟主播模型的目标动画特效，还包括如下步骤：获取与所述姿态检测结果相匹配的初始动画特效；在所述初始动画特效中确定与所述虚拟直播场景相匹配的动画特效作为所述目标动画特效。
针对不同的虚拟直播场景，可以设置不同类型的动画特效。例如，针对如图2所示的“OK”姿态，在不同的虚拟直播场景下，所展示的动画特效也可以是不相同的，例如，在游戏解说场景下，“OK”姿态所对应的动画特效更加符合游戏人物的动作习惯。
基于此，可以在获取到与姿态检测结果相匹配的初始动画特效之后，在初始动画特效中确定与虚拟直播场景相匹配的动画特效作为目标动画特效。
举例来说，预设姿态为如图2所示的“OK”姿态，可以预先为该“OK”姿态设置多个初始动画特效，例如，初始动画特效M1，初始动画特效M2，初始动画特效M3。针对每个初始动画特效，均对应设置了场景标签，用于指示该初始动画特效所适用的虚拟直播场景。
在获取到真实主播所对应的虚拟直播场景之后，可以将该虚拟直播场景与场景标签进行匹配，从而确定出与虚拟直播场景相匹配的动画特效作为目标动画特效。
上述实施方式中，通过虚拟直播场景在初始动画特效中筛选得到目标动画特效的方式，可以实现为直播用户定制个性化的动画特效，进而使得确定出的目标动画特效能够更加满足用户的直播需求，从而为用户带来不一样的直播体验。
下面将结合具体实施方式对上述所描述的特效展示方法进行介绍。
假设，真实主播记为主播A，真实主播所驱动的虚拟主播模型为“兔子公主”。主播A所选用的直播设备为智能手机，在该智能手机上设置有相机。假设，预设姿态为如图2所示的姿态，预设手势为如图2所示的：OK手势。
这里，首先，通过相机采集真实主播在直播过程中的第一视频图像；然后，对第一视频图像中主播A的指定肢体部位进行肢体检测，得到肢体检测结果。肢体检测结果包含以下至少之一：肢体关键点、人脸框的尺寸、人脸框的位置信息、手部检测框的尺寸、手部检测框的位置信息。
在得到肢体检测结果之后，如果根据肢体检测结果确定出主播A的手部检测框和人脸框之间的相对方位信息，确定主播A满足手势识别条件。例如，如图2所示，根据该肢体检测结果可以确定出主播A的手部在人脸的一侧，并与人脸相邻。此时，可以对第一视频图像中位于该手部检测框内的图像进行手势检测，得到手势分类结果。如果识别出主播A所做的手势为“OK手势”，且确定主播A处于如图2所示的预设姿态。
之后，可以根据该姿态检测结果确定与主播A对应的虚拟主播模型“兔子公主”的目标动画特效，并在主播A对应的视频直播界面中展示“兔子公主的目标动画特效。
假设，针对“OK姿势”，包含3个动画阶段，比如包含：主播A的手臂抬起至头部位置并展示出“OK”动作的动作进入阶段、主播A保持该“OK”动作的动作保持阶段、主播A的手臂从头部位置放下的动作退出阶段。针对每个阶段，可以为其确定相应的动画序列。
在得到该姿态检测结果之后，还可以确定视频流中位于该第一视频图像之前的至少一个视频图像，并获取根据每个视频图像确定出的针对动画特效的第二驱动信息，该第二驱动信息用于指示视频直播界面中所展示动画特效的动画跳转信息，同时还可以根据姿态检测结果确定，针对动画特效的估计驱动信息。之后，就可以根据第二驱动信息和估计驱动信息，确定，每个驱动信息所驱动展示的动画序列；然后，在确定出的动画序列中确定出现次数最多的动画序列。例如，针对“动作保持阶段”所对应的动画序列的出现次数最多。之后，可以在视频直播画面中播放该“动作保持阶段”所对应的动画序列。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与特效展示方法对应的特效展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述特效展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种特效展示装置的示意图，所述装置包括：获取单元41、姿态检测单元42、确定单元43、展示单元44；其中，
获取单元41，用于获取真实主播在直播过程中的第一视频图像；
姿态检测单元42，用于对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；
确定单元43，用于在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；
展示单元44，用于在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
一种可能的实施方式中，姿态检测单元，还用于：在姿态检测结果包括肢体检测结果和/或手势分类结果的情况下，对所述第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果；在所述肢体检测结果中包含手部检测框的情况下，对所述第一视频图像中位于所述手部检测框内的图像进行手势检测，得到手势分类结果；根据所述肢体检测结果和所述手势分类结果确定所述姿态检测结果。
一种可能的实施方式中，确定单元，还用于：根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件；在满足所述手势识别条件的情况下，检测所述姿态检测结果中手势分类结果所指示的手势是否为预设手势；在检测出是所述预设手势的情况下，确定所述真实主播处于所述预设姿态。
一种可能的实施方式中，确定单元，还用于：根据所述肢体检测结果确定所述真实主播的各个指定肢体部位之间的相对方位信息；根据所述相对方位信息和预设方位信息，确定所述第一视频图像中的真实主播是否满足所述手势识别条件；所述预设方位信息用于表征所述真实主播在处于预设姿态下，各个指定肢体部位之间的相对方位关系。
一种可能的实施方式中，确定单元，还用于：基于所述姿态检测结果，确定针对动画特效的第一驱动信息；其中，所述第一驱动信息用于指示所述视频直播界面中所展示的虚拟直播模型的动画特效的动画跳转信息；根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，并将所述相匹配的动画序列确定为所述目标动画特效。
一种可能的实施方式中，确定单元，还用于：确定所述视频流中位于所述第一视频图像之前的至少一个视频图像；获取根据每个所述视频图像确定出的针对动画特效的第二驱动信息，并根据所述姿态检测结果确定针对动画特效的估计驱动信息；确定所述第二驱动信息和所述估计驱动信息中每个驱动信息所驱动展示的动画序列，得到至少一个动画序列；将所述至少一个动画序列中出现次数满足预设次数要求的动画序列所对应的驱动信息为确定所述第一驱动信息。
一种可能的实施方式中，确定单元，还用于：获取所述多个动画序列的动画状态机；所述动画状态机用于表征多个动画状态之间的跳转关系，每个所述动画状态对应一个或多个动画序列；根据所述第一驱动信息，确定所述动画状态机的下一个待跳转的动画状态；根据所述下一个待跳转的动画状态所对应的动画序列，确定所述目标动画特效。
一种可能的实施方式中，该装置还用于：获取所述真实主播所对应的虚拟直播场景；确定单元，还用于：获取与所述姿态检测结果相匹配的初始动画特效；在所述初始动画特效中确定与所述虚拟直播场景相匹配的动画特效作为所述目标动画特效。
一种可能的实施方式中，在目标动画特效包括用于表征虚拟主播模型的肢体动作的肢体动作特效和/或渲染素材特效的情况下，确定单元，还用于：在所述视频直播界面中展示所述虚拟主播模型的肢体动作的肢体动作特效；和/或，并在所述视频直播界面中与所述虚拟主播模型的肢体动作关联的目标位置处展示所述渲染素材特效。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的特效展示方法，本公开实施例还提供了一种计算机设备500，如图4所示，为本公开实施例提供的计算机设备500结构示意图，包括：
处理器51、存储器52、和总线53；存储器52用于存储执行指令，包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当所述计算机设备500运行时，所述处理器51与所述存储器52之间通过总线53通信，使得所述处理器51执行以下指令：
获取真实主播在直播过程中的第一视频图像；
对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；
在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；
在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的特效展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的特效展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种特效展示方法，其特征在于，包括：
获取真实主播在直播过程中的第一视频图像；
对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果；所述姿态检测结果包括肢体检测结果和/或手势分类结果；
根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件；在满足所述手势识别条件的情况下，检测所述姿态检测结果中手势分类结果所指示的手势是否为预设手势；在检测出是所述预设手势的情况下，确定所述真实主播处于所述预设姿态；
在根据所述姿态检测结果检测出所述真实主播处于预设姿态的情况下，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；
在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效；
其中，所述对所述第一视频图像中所述真实主播的指定肢体部位进行姿态检测，得到姿态检测结果，包括：对所述第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果；在所述肢体检测结果中包含手部检测框的情况下，对所述第一视频图像中位于所述手部检测框内的图像进行手势检测，得到手势分类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件，包括：
根据所述肢体检测结果确定所述真实主播的各个指定肢体部位之间的相对方位信息；
根据所述相对方位信息和预设方位信息，确定所述第一视频图像中的真实主播是否满足所述手势识别条件；所述预设方位信息用于表征所述真实主播在处于预设姿态下，各个指定肢体部位之间的相对方位关系。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效，包括：
基于所述姿态检测结果，确定针对动画特效的第一驱动信息；其中，所述第一驱动信息用于指示所述视频直播界面中所展示的虚拟直播模型的动画特效的动画跳转信息；
根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，并将所述相匹配的动画序列确定为所述目标动画特效。
4.根据权利要求3所述的方法，其特征在于，所述基于所述姿态检测结果，确定针对动画特效的第一驱动信息，包括：
确定视频流中位于所述第一视频图像之前的至少一个视频图像；
获取根据每个所述视频图像确定出的针对动画特效的第二驱动信息，并根据所述姿态检测结果确定针对动画特效的估计驱动信息；
确定所述第二驱动信息和所述估计驱动信息中每个驱动信息所驱动展示的动画序列，得到至少一个动画序列；
将所述至少一个动画序列中出现次数满足预设次数要求的动画序列所对应的驱动信息为确定所述第一驱动信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一驱动信息，在所述姿态检测结果所对应的多个动画序列中确定与所述第一驱动信息相匹配的动画序列，包括：
获取所述多个动画序列的动画状态机；所述动画状态机用于表征多个动画状态之间的跳转关系，每个所述动画状态对应一个或多个动画序列；
根据所述第一驱动信息，确定所述动画状态机的下一个待跳转的动画状态；
根据所述下一个待跳转的动画状态所对应的动画序列，确定所述目标动画特效。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述真实主播所对应的虚拟直播场景；
所述根据所述姿态检测结果，确定与所述真实主播对应的虚拟主播模型的目标动画特效，包括：
获取与所述姿态检测结果相匹配的初始动画特效；
在所述初始动画特效中确定与所述虚拟直播场景相匹配的动画特效作为所述目标动画特效。
7.根据权利要求1所述的方法，其特征在于，所述目标动画特效包括用于表征虚拟主播模型的肢体动作的肢体动作特效和/或渲染素材特效；
所述在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效，包括：
在所述视频直播界面中展示所述虚拟主播模型的肢体动作的肢体动作特效；和/或，
在所述视频直播界面中与所述虚拟主播模型的肢体动作关联的目标位置处展示所述渲染素材特效。
8.一种特效展示装置，其特征在于，包括：
获取单元，用于获取真实主播在直播过程中的第一视频图像；
姿态检测单元，用于对所述第一视频图像中真实主播的指定肢体部位进行肢体检测，得到肢体检测结果；在所述肢体检测结果中包含手部检测框的情况下，对所述第一视频图像中位于所述手部检测框内的图像进行手势检测，得到手势分类结果；所述姿态检测结果包括肢体检测结果和/或手势分类结果；
确定单元，用于根据所述姿态检测结果中的肢体检测结果确定所述第一视频图像中的真实主播是否满足手势识别条件；在满足所述手势识别条件的情况下，检测所述姿态检测结果中手势分类结果所指示的手势是否为预设手势；在检测出是所述预设手势的情况下，确定所述真实主播处于所述预设姿态，根据所述姿态检测结果确定与所述真实主播对应的虚拟主播模型的目标动画特效；
展示单元，用于在所述真实主播对应的视频直播界面中展示所述虚拟主播模型的目标动画特效。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的特效展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的特效展示方法的步骤。
CN202110768288.7A 2021-07-07 2021-07-07 一种特效展示方法、装置、计算机设备以及存储介质 Active CN113487709B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110768288.7A CN113487709B (zh) 2021-07-07 2021-07-07 一种特效展示方法、装置、计算机设备以及存储介质
PCT/CN2022/075015 WO2023279713A1 (zh) 2021-07-07 2022-01-29 特效展示方法、装置、计算机设备、存储介质、计算机程序和计算机程序产品
TW111117706A TW202303526A (zh) 2021-07-07 2022-05-11 特效展示方法、電腦設備及電腦可讀儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110768288.7A CN113487709B (zh) 2021-07-07 2021-07-07 一种特效展示方法、装置、计算机设备以及存储介质

Publications (2)

Publication Number Publication Date
CN113487709A CN113487709A (zh) 2021-10-08
CN113487709B true CN113487709B (zh) 2024-08-09

Family

ID=77941870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110768288.7A Active CN113487709B (zh) 2021-07-07 2021-07-07 一种特效展示方法、装置、计算机设备以及存储介质

Country Status (3)

Country Link
CN (1) CN113487709B (zh)
TW (1) TW202303526A (zh)
WO (1) WO2023279713A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487709B (zh) * 2021-07-07 2024-08-09 上海商汤智能科技有限公司 一种特效展示方法、装置、计算机设备以及存储介质
CN114302153B (zh) * 2021-11-25 2023-12-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116630488A (zh) * 2022-02-10 2023-08-22 北京字跳网络技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN117911238A (zh) * 2024-01-29 2024-04-19 江苏臻星美悦健康科技有限公司 人脸识别处理的特效策略分化处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470343B (zh) * 2016-09-29 2019-09-17 广州华多网络科技有限公司 直播视频流远程控制方法及装置
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术（北京）有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
US20200125031A1 (en) * 2018-10-19 2020-04-23 Infinite Kingdoms Llc System for providing an immersive experience using multi-platform smart technology, content streaming, and special effects systems
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN111641844B (zh) * 2019-03-29 2022-08-19 广州虎牙信息科技有限公司 直播互动方法、装置、直播系统及电子设备
CN109936774A (zh) * 2019-03-29 2019-06-25 广州虎牙信息科技有限公司 虚拟形象控制方法、装置及电子设备
CN110475150B (zh) * 2019-09-11 2021-10-08 广州方硅信息技术有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN111667589B (zh) * 2020-06-12 2024-06-11 上海商汤智能科技有限公司 动画效果触发展示的方法、装置、电子设备及存储介质
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
CN112752149B (zh) * 2020-12-29 2023-06-06 广州繁星互娱信息科技有限公司 直播方法、装置、终端及存储介质
CN113038229A (zh) * 2021-02-26 2021-06-25 广州方硅信息技术有限公司 虚拟礼物播控、操控方法及其装置、设备与介质
CN113487709B (zh) * 2021-07-07 2024-08-09 上海商汤智能科技有限公司 一种特效展示方法、装置、计算机设备以及存储介质
CN114155605B (zh) * 2021-12-03 2023-09-15 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN113487709A (zh) 2021-10-08
TW202303526A (zh) 2023-01-16
WO2023279713A1 (zh) 2023-01-12

Similar Documents

Publication Publication Date Title
CN113487709B (zh) 一种特效展示方法、装置、计算机设备以及存储介质
KR102292537B1 (ko) 이미지 처리 방법 및 장치, 및 저장 매체
CN113422977B (zh) 直播方法、装置、计算机设备以及存储介质
CN108289180B (zh) 根据肢体动作处理视频的方法、介质和终端装置
CN111540055B (zh) 三维模型驱动方法、装置、电子设备及存储介质
CN110465097B (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
CN113453034B (zh) 数据展示方法、装置、电子设备以及计算机可读存储介质
CN109727303B (zh) 视频展示方法、系统、计算机设备、存储介质和终端
JP2022523606A (ja) 動画解析のためのゲーティングモデル
CN107911736B (zh) 直播互动方法及系统
WO2023279705A1 (zh) 直播方法、装置、系统、计算机设备、存储介质及程序
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
CN111640202B (zh) 一种ar场景特效生成的方法及装置
JP6750046B2 (ja) 情報処理装置及び情報処理方法
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
US11778263B2 (en) Live streaming video interaction method and apparatus, and computer device
CN111643900B (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN109064387A (zh) 图像特效生成方法、装置和电子设备
EP4300431A1 (en) Action processing method and apparatus for virtual object, and storage medium
WO2022198934A1 (zh) 卡点视频的生成方法及装置
CN111638784A (zh) 人脸表情互动方法、互动装置以及计算机存储介质
JP6730461B2 (ja) 情報処理システム及び情報処理装置
CN115606191A (zh) 多媒体消息传送应用程序中可修改视频中的文本消息自定义
CN115225923B (zh) 礼物特效的渲染方法、装置、电子设备和直播服务器
CN108961314A (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055492

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant