具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
针对上述提及的现有的直播过程中的特效融合方法会对融合后的特效造成遮挡,无法完整地展示特效信息的问题,本公开提供了一种特效显示方法、装置、设备、存储介质及产品。
需要说明的是,本公开提供的特效显示方法、装置、设备、存储介质及产品可运用在各种直播空间虚拟对象特效显示的场景中。
为了实现对直播空间内虚拟对象对应的特效的展示,现有技术一般都是在主播端获取主播的截图,将截图与特效在主播端完成融合操作。并将融合后的数据采用数据流的方式发送给观看直播用户侧进行显示。但是,采用上述方法进行特效融合之后,观看直播用户侧显示的融合后的数据中的特效区域容易被直播空间内的评论数据、通知数据等遮挡。
为了解决上述技术问题,发明人通过研究发现,可以生成对应有第一图像帧以及第一特效信息的特效触发指令,根据该特效触发指令,在客户端设备端或服务器端进行目标特效信息的合成,将该目标特效信息发送至直播空间关联的第一客户端设备进行显示,从而无需在主播的终端设备进行特效的融合操作,仅需确定第一图像帧以及第一特效信息,即能够在客户端设备或者服务器上实现目标特效信息的合成及其对应的特效的显示,直播空间内的数据也不会对目标特效信息对应的特效造成遮挡。
图1为本公开实施例一提供的特效显示方法的流程示意图,如图1所示,该方法包括:
步骤101、获取特效触发指令,所述特效触发指令对应于直播空间的流媒体内容中的第一图像帧,所述特效触发指令还对应于第一特效信息。
本实施例的执行主体为特效显示装置,该特效显示装置可耦合于客户端设备内,也可以耦合于服务器内,本公开对此不做限制。
在本实施方式中,为了实现特效的显示,首先可以获取特效触发指令,该特效触发指令具体可以为检测到观看直播用户向直播空间对应的目标主播赠送虚拟对象后生成的。或者,该特效触发指令也可以为目标主播用户根据实际需求触发特效生成的。
具体地,该特效触发指令可以对应于直播空间的流媒体内容中的第一图像帧,该流媒体内容具体可以为目标主播用户的直播视频数据,以流媒体的方式发送至客户端设备进行显示。此外,该特效触发指令还对应于第一特效信息。承接上例来说,该第一特效信息可以为虚拟对象对应的特效信息,该第一特效信息也可以为目标主播用户根据实际需求触发的特效所对应的。其中,直播空间为存在互联关系的虚拟空间。
步骤102、响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息。
在本实施方式中,在获取到特效触发指令之后,响应于该特效触发指令,可以根据该第一特效信息以及第一图像帧进行融合操作,获得目标特效信息。
具体地,可以对第一图像帧进行图像识别操作,获得第一图像帧对应的目标对象,将该第一特效信息与目标对象进行融合操作,获得该目标特效信息。
或者,也可以将第一特效信息融合至该第一视频帧中预设的位置,或用户指定的位置,获得目标特效信息。本公开对此不做限制。
步骤103、将所述目标特效信息发送至所述直播空间关联的第一客户端设备,以使所述第一客户端设备显示所述目标特效信息对应的特效。
在本实施方式中,在生成目标特效信息之后,可以将该目标特效信息发送至第一客户端设备。其中,该第一客户端设备具体可以为直播空间观众的客户端设备。相应地,第一客户端设备在获取到该目标特效信息之后,可以显示该目标特效信息对应的特效。
其中,该目标特效信息可以为融合后的特效信息,也可以为一组包含第一特效信息与目标对象的数据,因此,第一客户端设备可以显示该目标特效信息对应的特效。
本实施例提供的特效显示方法,在获取到特效触发指令之后,根据该特效触发指令所对应的直播空间的流媒体内容中的第一图像帧以及第一特效信息生成目标特效信息,将该目标特效信息发送至与该直播空间关联的第一客户端设备,使得第一客户端设备显示目标特效信息对应的特效,从而无需在主播的终端设备进行特效的融合操作,仅需确定第一图像帧以及第一特效信息,即能够在客户端设备或者服务器上实现目标特效信息的合成及其对应的特效的显示,直播空间内的数据也不会对目标特效信息对应的特效造成遮挡。
进一步地,在实施例一的基础上,步骤101之前,还包括:
响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息;确定所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧;确定所述特效触发操作对应的所述第一特效信息。
图2为本实施例所基于的系统架构图,如图2所示,该系统架构包括主播客户端设备21以及第一客户端设备22,其中,主播客户端设备21内设置有特效显示装置,该特效显示装置采用C/C++、Java、Shell或Python等语言编写;主播客户端设备21以及第一客户端设备22则可以例如手机、台式电脑、平板电脑等。主播客户端设备21与第一客户端设备22通信连接,从而二者能够进行信息交互。
基于上述系统架构,本实施例的执行主体具体可以为特效显示装置,该特效显示装置可耦合于第一客户端设备22中。特效显示装置在响应于检测到特效触发操作,能够确定与该特效触发操作对应的第一时间信息。其中,该第一时间信息具体可以为观看直播空间用户触发的虚拟对象赠送操作的时间,也可以为直播空间的主播用户触发特效信息的时间。
该流媒体内容中包括直播空间直播过程中的多个图像帧以及各图像帧对应的时间戳,因此,可以根据该第一时间信息,确定流媒体内容中与该第一时间信息应的第一图像帧。
确定该特效触发操作对应的第一特效信息。具体地,该特效触发操作中还可以包括特效标识信息。因此,可以根据该特效标识信息,在预设的数据服务器中获取与该特效标识信息对应的第一特效信息。
进一步地,在实施例一的基础上,步骤101具体包括:
响应于检测到所述特效触发操作,生成所述特效触发指令。
在本实施例中,该特效显示装置可以获取用户的特效触发操作,该特效触发操作具体可以为观看直播空间用户的虚拟对象赠送操作,也可以为直播空间对应的主播用户的特效选择操作。根据该特效触发操作,生成该特效触发指令。
进一步地,在实施例一的基础上,步骤102之后,还包括:
显示所述目标特效信息对应的特效。
在本实施例中,耦合与第一客户端设备内的特效显示装置在生成目标特效信息之后,可以直接控制预设的显示界面,显示该目标特效信息。可选地,该第一客户端设备,还可以将该目标特效信息发送至与该直播空间关联的全部其他第一客户端设备,以使其他第一客户端设备显示该目标特效信息。
本实施例提供的特效显示方法,通过耦合于第一客户端设备中的特效显示装置根据该特效触发指令所对应的直播空间的流媒体内容中的第一图像帧以及第一特效信息生成目标特效信息,将该目标特效信息发送至与该直播空间关联的第一客户端设备,使得第一客户端设备显示目标特效信息对应的特效,从而无需在主播的终端设备进行特效的融合操作,仅根据特效触发指令即能够在第一客户端内实现目标特效信息的生成,提高了目标特效信息生成的效率,且能够避免在主播客户端设备进行数据融合后的特效被遮挡的问题。
进一步地,在上述任一实施例的基础上,步骤101具体包括:
从所述第一客户端设备获取所述特效触发指令;其中,所述特效触发指令指示所述第一图像帧,所述特效触发指令还指示所述第一特效信息。
图3为本公开实施例所基于的又一系统架构图,如图3所示,该系统架构至少包括服务器31以及第一客户端设备32,其中,服务器31内设置有特效显示装置,该特效显示装置采用C/C++、Java、Shell或Python等语言编写;第一客户端设备32则可以例如手机、台式电脑、平板电脑等。服务器31与第一客户端设备32通信连接,从而二者能够进行信息交互。
基于上述系统架构,本实施例的执行主体为特效显示装置,该特效显示装置可耦合与服务器中。该特效显示装置可以从第一客户端设备获取特效触发指令,其中,该特效触发指令指示第一图像帧以及第一特效信息。其中,该特效触发指令为第一客户端设备在检测到主播用户或观众用户预设的特效触发操作后生成的。该特效触发操作具体可以为观看直播空间用户的虚拟对象赠送操作,也可以为直播空间对应的主播用户的特效选择操作。
进一步地,在上述任一实施例的基础上,所述特效触发指令指示所述第一图像帧,包括:
所述特效触发指令指示第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧。
在本实施例中,该特效触发指令指示第一时间信息,该第一时间信息具体可以为观看直播空间用户触发的虚拟对象赠送操作的时间,也可以为直播空间的主播用户触发特效信息的时间。
该流媒体内容中包括直播空间直播过程中的多个图像帧以及各图像帧对应的时间戳,因此,可以根据该第一时间信息,确定流媒体内容中与该第一时间信息应的第一图像帧。
进一步地,在上述任一实施例的基础上,步骤102之后,还包括:
将所述目标特效信息发送至所述直播空间关联的第二客户端设备,以使所述第二客户端设备显示所述目标特效信息对应的特效。
在本实施例中,在生成目标特效信息之后,可以将该目标特效信息发送至与直播空间关联的全部第二客户端设备,从而第二客户端设备在获取到该目标特效信息之后,能够显示该目标特效信息对应的特效。
本实施例提供的特效显示方法,通过耦合于服务器中的特效显示装置根据该特效触发指令所对应的直播空间的流媒体内容中的第一图像帧以及第一特效信息生成目标特效信息,将该目标特效信息发送至与该直播空间关联的第一客户端设备,使得第一客户端设备显示目标特效信息对应的特效,从而无需在主播的终端设备进行特效的融合操作,仅根据特效触发指令即能够在第一客户端内实现目标特效信息的生成,提高了目标特效信息生成的效率,且能够避免在主播客户端设备进行数据融合后的特效被遮挡的问题。
图4为本公开实施例二提供的特效显示方法的流程示意图,在实施例一的基础上,如图4所示,步骤102具体包括:
步骤401、对所述第一图像帧进行人脸识别操作,获得所述目标对象。
步骤402、对所述目标对象与所述第一特效信息进行数据融合操作,获得所述目标特效信息。
在本实施例中,在获取到特效触发指令之后,可以根据该特效触发指令指示的第一图像帧以及第一特效信息进行融合操作,获得目标特效信息。
具体地,可以对第一图像帧中的主播头像进行人脸识别操作,获得目标对象,该目标对象具体可以为主播的人脸区域。将该目标对象与第一特效信息进行数据融合操作,获得该目标特效信息。
可选地,该特效触发指令还可以指示特效融合的位置,因此,可以根据该特效融合的位置,将该第一特效信息融合至第一图像帧中该特效融合位置,获得目标特效信息。
本实施例提供的特效显示方法,通过对第一图像帧进行图像识别操作,获得目标对象,将目标对象与第一特效信息进行数据融合操作,获得目标特效信息,从而能够提高第一特效信息与第一图像帧之间的融合度,提高目标特效信息的显示效果。
图5为本公开实施例三提供的特效显示方法的流程示意图,在实施例一的基础上,如图5所示,步骤102具体包括:
步骤501、确定所述直播空间当前的直播类型。
步骤502、根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧。
在本实施例中,直播空间内的直播类型具体可以包括单人直播类型以及比赛直播类型,而两种直播类型显示界面上所显示的主播窗口有所不同。为了能够精准地对目标特效信息进行处理,在获取第一图像帧之前,首先需要确定直播空间当前的直播类型。根据该直播类型,采用与该直播类型对应的方式获取第一图像帧。
进一步地,在实施例一的基础上,步骤502具体包括:
当所述直播类型为直播空间对应的目标主播用户单人直播时,将与所述第一时间信息相对应的图像帧确定为所述第一图像帧。
在本实施例中,当直播类型为目标主播用户单人直播类型时,当前显示界面上仅显示该目标主播用户的直播窗口。因此,可以直接将视频流中与第一时间信息对应的图像帧确定为第一图像帧。
图6为本公开实施例提供的一显示界面示意图,如图6所示,当前显示界面61上仅包括目标主播用户对应的直播窗口62,因此,可以直接将视频流中与第一时间信息对应的图像帧确定为第一图像帧63。
进一步地,在实施例一的基础上,步骤502具体包括:
当所述直播类型为直播空间对应的目标主播用户与其他主播用户比赛直播类型时,确定所述目标主播用户的标识;
根据所述目标主播用户的标识,对与所述第一时间信息相对应的图像帧进行截图操作,获得与所述主播标识对应的第一图像帧;
其中,当所述目标主播用户与其他主播用户比赛直播时,所述图像帧中同时显示目标主播用户与其他主播用户的直播窗口。
在本实施例中,当直播类型为目标主播用户与其他主播用户比赛直播类型时,观看直播用户侧的显示界面上同时显示目标主播用户与其他主播用户的直播窗口。因此,为了精准地对目标特效信息进行生成,可以根据该目标主播用户的标识,对与第一时间信息相对应的图像帧进行截图操作,获得第一图像帧。
图7为本公开实施例提供的又一显示界面示意图,如图7所示,当前显示界面71上同时显示有目标主播用户的直播窗口72与其他主播用户的直播窗口73,此时,可以对根据目标主播用户的标识对与第一时间信息相对应的图像帧进行截图操作,获得第一图像帧74。
进一步地,在实施例一的基础上,所述将所述待显示数据发送至所述观看直播用户侧进行显示之后,还包括:
控制所述客户端设备在所述目标主播用户与其他主播用户的直播窗口的上层,全屏显示所述目标特效信息。
在本实施例中,为了避免在比赛直播类型下,目标特效信息仅在目标主播用户的直播窗口内显示,导致特效展示效果不佳的问题,在获取到,目标特效信息后,可以控制观看直播用户侧在目标主播用户与其他主播用户的直播窗口的上层,全屏显示目标特效信息。
本实施例提供的特效显示方法,通过根据该直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧,并控制观看直播用户侧在目标主播用户与其他主播用户的直播窗口的上层,全屏显示目标特效信息,从而能够有效地避免在比赛直播类型下,融合后的特效仅在目标主播用户的直播窗口内显示,导致特效展示效果不佳的问题,提高特效显示效果。
图8为本公开实施例四提供的特效显示方法的流程示意图,在上述任一实施例的基础上,如图8所示,步骤101之后,还包括:
步骤801、实时监控任一所述客户端设备是否在所述直播空间内触发预设的目标操作。
步骤802、若是,则确定所述目标操作对应的第二特效信息以及所述目标操作对应的第二时间信息。
步骤803、根据所述第一时间信息以及所述第二时间信息,按照时间顺序将所述第一特效信息以及所述第二特效信息添加至同一消息队列中。
在本实施例中,在现有的特效显示方法中,在播放目标主播用户侧发送的包括融合后的特效的视频流时,观看用户侧可能同时触发预设的目标操作,那么此时,目标特效信息对应的特效以及目标操作对应的特效同时显示,则会导致目标特效信息被遮挡,展示效果不佳的问题。其中,该预设的目标操作具体可以为观看用户侧在直播空间内送出了特定的虚拟对象后生成的。
因此,在确定特效触发指令指示的第一时间信息,并且在将目标特效信息发送至第一客户端设备之后,实时监控任一所述客户端设备是否在直播空间内触发预设的目标操作。若是,则确定目标操作对应的第二特效信息以及目标操作对应的第二时间信息。根据第一时间信息以及第二时间信息,按照时间顺序将第一特效信息以及第二特效信息添加至同一消息队列中。
进一步地,在上述任一实施例的基础上,步骤803之后,还包括:
按照所述时间顺序,依次获取所述消息队列中的第一特效信息或第二特效信息,根据所述第一特效信息或第二特效信息,以及所述第一时间信息对应的第一图像帧或第二时间信息对应的第二图像帧中的目标对象确定目标特效信息。
在本实施例中,由于第一特效信息以及第二特效信息当前处于同一消息队列,因此二者不会同时播放。此时,按照时间顺序,依次获取消息队列中的第一特效信息或第二特效信息,根据第一特效信息或第二特效信息,以及第一时间信息对应的第一图像帧或第二时间信息对应的第二图像帧中的目标对象确定目标特效信息。
本实施例提供的特效显示方法,通过第一特效信息以及第二特效信息添加至同一消息队列中,从而二者不会同时播放,避免了第一特效信息对应的特效被第一特效信息对应的特效遮挡的技术问题,提高了目标特效信息的显示效果。
图9为本公开实施例五提供的特效显示方法的流程示意图,如图9所示,该方法包括:
步骤901、显示直播空间的流媒体内容。
步骤902、响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息,并确定所述特效触发操作对应的所述第一特效信息。
步骤903、向服务器发送特效触发指令,所述特效触发指令指示所述第一特效信息,所述特效触发指令还指示所述直播空间的流媒体内容中与所述第一时间信息对应的第一图像帧。
步骤904、从所述服务器获得特效显示指令,所述特效显示指令指示目标特效信息,所述目标特效信息与所述第一特效信息和所述第一图像帧中的目标对象关联。
步骤905、显示所述目标特效信息对应的特效。
本实施例的执行主体为特效显示装置,该特效显示装置可耦合于第一客户端设备内。相应地,可以采用服务器进行目标特效信息的处理。
在本实施例中,该第一客户端设备可以显示直播空间的流媒体内容。当检测到主播用户或者观众用户触发的特效触发操作时,确定该特效触发操作对应的第一时间信息,并确定该特效触发操作对应的第一特效信息。根据该特效触发操作生成特效触发指令,向服务器发送特效触发指令。其中,该特效触发指令指示第一特效信息,特效触发指令还指示直播空间的流媒体内容中与第一时间信息对应的第一图像帧。服务器在获取到该特效触发指令之后,可以根据该特效触发指令,对第一图像帧以及第一特效信息进行融合操作,获得目标特效信息,并反馈该目标特效信息。第一客户端设备能够获取服务器发送的特效显示指令,该特效显示指令指示目标特效信息,该目标特效信息与第一特效信息和第一图像帧中的目标对象关联。第一客户端设备能够显示该目标特效信息对应的特效。
本实施例提供的特效显示方法,通过根据该特效触发操作生成特效触发指令,向服务器发送特效触发指令,服务器根据该特效触发指令所对应的直播空间的流媒体内容中的第一图像帧以及第一特效信息生成目标特效信息,将该目标特效信息发送至与该直播空间关联的第一客户端设备,第一客户端设备显示目标特效信息对应的特效,从而无需在主播的终端设备进行特效的融合操作,仅需确定第一图像帧以及第一特效信息,即能够在客户端设备或者服务器上实现目标特效信息的合成及其对应的特效的显示,直播空间内的数据也不会对目标特效信息对应的特效造成遮挡。
图10为本公开实施例六提供的特效显示方法的流程示意图,如图10所示,该方法包括:
步骤1001、向直播空间关联的第一客户端设备和第二客户端推送流媒体内容。
步骤1002、从所述第一客户端设备获得特效触发指令,所述特效触发指令指示目标特效信息,所述目标特效信息与第一特效信息和所述流媒体内容中的第一图像帧中的目标对象关联,所述第一特效信息包括所述第一终端检测到的特效触发操作所对应的特效信息,所述特效触发操作对应有第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的图像帧。
步骤1003、向所述第二客户端设备发送所述目标特效信息,以使得所述第二客户端设备显示所述目标特效信息对应的特效。
本实施例的执行主体为特效显示装置,该特效显示装置可耦合于服务器中。该目标特效信息具体可以在服务器中生成。
在本实施例中,服务器能够向直播空间关联的第一客户端设备和第二客户端推送流媒体内容。从第一客户端设备获得特效触发指令,特效触发指令指示目标特效信息,目标特效信息与第一特效信息和流媒体内容中的第一图像帧中的目标对象关联,第一特效信息包括第一终端检测到的特效触发操作所对应的特效信息,特效触发操作对应有第一时间信息,第一图像帧包括直播空间的流媒体内容中与第一时间信息对应的图像帧。该目标特效信息具体可以在第一客户端设备内生成。并由第一客户端设备反馈至服务器。服务器可以向第二客户端设备发送目标特效信息,以使得第二客户端设备显示所述目标特效信息对应的特效。
本实施例提供的特效显示方法,通过在第一客户端设备进行目标特效信息的生成,将生成的目标特效信息发送至与直播空间关联的第二客户端设备显示,从而无需在主播的终端设备进行特效的融合操作,仅需确定第一图像帧以及第一特效信息,即能够在客户端设备或者服务器上实现目标特效信息的合成及其对应的特效的显示,直播空间内的数据也不会对目标特效信息对应的特效造成遮挡。
图11为本公开实施例七提供的特效显示装置的结构示意图,如图11所示,该装置包括:获取模块1101、确定模块1102以及发送模块1103。其中,获取模块1101,用于获取特效触发指令,所述特效触发指令对应于直播空间的流媒体内容中的第一图像帧,所述特效触发指令还对应于第一特效信息。确定模块1102,用于响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息。发送模块1103,用于将所述目标特效信息发送至所述直播空间关联的第一客户端设备,以使所述第一客户端设备显示所述目标特效信息对应的特效。
进一步地,在实施例七的基础上,所述装置还包括:处理模块,用于响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息;确定所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧;确定所述特效触发操作对应的所述第一特效信息。
进一步地,在实施例七的基础上,所述获取模块用于:响应于检测到所述特效触发操作,生成所述特效触发指令。
进一步地,在实施例七的基础上,所述装置还包括:显示模块,用于显示所述目标特效信息对应的特效。
进一步地,在上述任一实施例的基础上,所述获取模块用于:从所述第一客户端设备获取所述特效触发指令;其中,所述特效触发指令指示所述第一图像帧,所述特效触发指令还指示所述第一特效信息。
进一步地,在上述任一实施例的基础上,所述特效触发指令指示所述第一图像帧,包括:所述特效触发指令指示第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧。
进一步地,在上述任一实施例的基础上,所述装置还包括:特效发送模块,用于将所述目标特效信息发送至所述直播空间关联的第二客户端设备,以使所述第二客户端设备显示所述目标特效信息对应的特效。
进一步地,在上述任一实施例的基础上,所述装置还包括:类型确定模块,用于确定所述直播空间当前的直播类型。图像处理模块,用于根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧。
进一步地,在上述任一实施例的基础上,所述图像处理模块用于:当所述直播类型为直播空间对应的目标主播用户与其他主播用户比赛直播类型时,确定所述目标主播用户的标识。根据所述目标主播用户的标识,对与所述第一时间信息相对应的图像帧进行截图操作,获得与所述主播标识对应的第一图像帧。其中,当所述目标主播用户与其他主播用户比赛直播时,所述图像帧中同时显示目标主播用户与其他主播用户的直播窗口。
进一步地,在上述任一实施例的基础上,所述图像处理模块用于:当所述直播类型为直播空间对应的目标主播用户单人直播时,将与所述第一时间信息相对应的图像帧确定为所述第一图像帧。
进一步地,在上述任一实施例的基础上,所述装置还包括:控制模块,用于控制所述客户端设备在所述目标主播用户与其他主播用户的直播窗口的上层,全屏显示所述目标特效信息。
进一步地,在上述任一实施例的基础上,所述确定模块用于:对所述第一图像帧进行人脸识别操作,获得所述目标对象。对所述目标对象与所述第一特效信息进行数据融合操作,获得所述目标特效信息。
进一步地,在上述任一实施例的基础上,所述装置还包括:监控模块,用于实时监控任一所述客户端设备是否在所述直播空间内触发预设的目标操作。时间信息确定模块,用于若是,则确定所述目标操作对应的第二特效信息以及所述目标操作对应的第二时间信息。排序模块,用于根据所述第一时间信息以及所述第二时间信息,按照时间顺序将所述第一特效信息以及所述第二特效信息添加至同一消息队列中。
进一步地,在上述任一实施例的基础上,所述装置还包括:特效获取模块,用于按照所述时间顺序,依次获取所述消息队列中的第一特效信息或第二特效信息,根据所述第一特效信息或第二特效信息,以及所述第一时间信息对应的第一图像帧或第二时间信息对应的第二图像帧中的目标对象确定目标特效信息。
图12为本公开实施例八提供的特效显示装置的结构示意图,如图12所示,该装置包括:内容显示模块1201、特效确定模块1202、指令发送模块1203、指令获取模块1204以及特效显示模块1205。其中,内容显示模块1201,用于显示直播空间的流媒体内容。特效确定模块1202,用于响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息,并确定所述特效触发操作对应的所述第一特效信息。指令发送模块1203,用于向服务器发送特效触发指令,所述特效触发指令指示所述第一特效信息,所述特效触发指令还指示所述直播空间的流媒体内容中与所述第一时间信息对应的第一图像帧。指令获取模块1204,用于从所述服务器获得特效显示指令,所述特效显示指令指示目标特效信息,所述目标特效信息与所述第一特效信息和所述第一图像帧中的目标对象关联。特效显示模块1205,用于显示所述目标特效信息对应的特效。
图13为本公开实施例九提供的特效显示装置的结构示意图,如图13所示,该装置包括:内容推送模块1301、指令获得模块1302以及目标特效发送模块1303。其中,内容推送模块1301,用于向直播空间关联的第一客户端设备和第二客户端推送流媒体内容。指令获得模块1302,用于从所述第一客户端设备获得特效触发指令,所述特效触发指令指示目标特效信息,所述目标特效信息与第一特效信息和所述流媒体内容中的第一图像帧中的目标对象关联,所述第一特效信息包括所述第一终端检测到的特效触发操作所对应的特效信息,所述特效触发操作对应有第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的图像帧。目标特效发送模块1303,用于向所述第二客户端设备发送所述目标特效信息,以使得所述第二客户端设备显示所述目标特效信息对应的特效。
本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图14为本公开实施例十提供的特效显示设备的结构示意图,其示出了适于用来实现本公开实施例的电子设备1400的结构示意图,该电子设备1400可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(Portable Media Player,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,电子设备1400可以包括处理装置(例如中央处理器、图形处理器等)1401,其可以根据存储在只读存储器(Read Only Memory,简称ROM)1402中的程序或者从存储装置14014加载到随机访问存储器(Random Access Memory,简称RAM)1403中的程序而执行各种适当的动作和处理。在RAM 1403中,还存储有电子设备1400操作所需的各种程序和数据。处理装置1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
通常,以下装置可以连接至I/O接口1405:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1406;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置1407;包括例如磁带、硬盘等的存储装置14014;以及通信装置1409。通信装置1409可以允许电子设备1400与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备1400,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1409从网络上被下载和安装,或者从存储装置14014被安装,或者从ROM 1402被安装。在该计算机程序被处理装置1401执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
本公开另一实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被计算设备执行时使所述计算设备实现如上述任一实施例所述的特效显示方法。
本公开另一实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上述任一实施例所述的特效显示方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面,根据本公开的一个或多个实施例,提供了一种特效显示方法,包括:
获取特效触发指令,所述特效触发指令对应于直播空间的流媒体内容中的第一图像帧,所述特效触发指令还对应于第一特效信息;
响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息;
将所述目标特效信息发送至所述直播空间关联的第一客户端设备,以使所述第一客户端设备显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,在所述获取特效触发指令之前,所述方法还包括:
响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息;确定所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧;确定所述特效触发操作对应的所述第一特效信息。
根据本公开的一个或多个实施例,所述获取特效触发指令,包括:响应于检测到所述特效触发操作,生成所述特效触发指令。
根据本公开的一个或多个实施例,在响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息之后,所述方法还包括:
显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,所述获取特效触发指令,包括:
从所述第一客户端设备获取所述特效触发指令;其中,所述特效触发指令指示所述第一图像帧,所述特效触发指令还指示所述第一特效信息。
根据本公开的一个或多个实施例,所述特效触发指令指示所述第一图像帧,包括:
所述特效触发指令指示第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧。
根据本公开的一个或多个实施例,在响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息之后,所述方法还包括:
将所述目标特效信息发送至所述直播空间关联的第二客户端设备,以使所述第二客户端设备显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,所述方法还包括:
确定所述直播空间当前的直播类型;
根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧。
根据本公开的一个或多个实施例,所述根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧,包括:
当所述直播类型为直播空间对应的目标主播用户与其他主播用户比赛直播类型时,确定所述目标主播用户的标识;
根据所述目标主播用户的标识,对与所述第一时间信息相对应的图像帧进行截图操作,获得与所述主播标识对应的第一图像帧;
其中,当所述目标主播用户与其他主播用户比赛直播时,所述图像帧中同时显示目标主播用户与其他主播用户的直播窗口。
根据本公开的一个或多个实施例,所述根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧,包括:
当所述直播类型为直播空间对应的目标主播用户单人直播时,将与所述第一时间信息相对应的图像帧确定为所述第一图像帧。
根据本公开的一个或多个实施例,所述将所述目标特效信息发送至所述直播空间关联的第一客户端设备之后,还包括:
控制所述客户端设备在所述目标主播用户与其他主播用户的直播窗口的上层,全屏显示所述目标特效信息。
根据本公开的一个或多个实施例,所述响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息,包括:
对所述第一图像帧进行人脸识别操作,获得所述目标对象;
对所述目标对象与所述第一特效信息进行数据融合操作,获得所述目标特效信息。
根据本公开的一个或多个实施例,所述方法还包括:
实时监控任一所述客户端设备是否在所述直播空间内触发预设的目标操作;
若是,则确定所述目标操作对应的第二特效信息以及所述目标操作对应的第二时间信息;
根据所述第一时间信息以及所述第二时间信息,按照时间顺序将所述第一特效信息以及所述第二特效信息添加至同一消息队列中。
根据本公开的一个或多个实施例,所述根据所述第一时间信息以及所述第二时间信息,按照时间顺序将所述第一特效信息以及所述第二特效信息添加至同一消息队列中之后,还包括:
按照所述时间顺序,依次获取所述消息队列中的第一特效信息或第二特效信息,根据所述第一特效信息或第二特效信息,以及所述第一时间信息对应的第一图像帧或第二时间信息对应的第二图像帧中的目标对象确定目标特效信息。
第二方面,根据本公开的一个或多个实施例,提供了一种特效显示方法,包括:
显示直播空间的流媒体内容;
响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息,并确定所述特效触发操作对应的所述第一特效信息;
向服务器发送特效触发指令,所述特效触发指令指示所述第一特效信息,所述特效触发指令还指示所述直播空间的流媒体内容中与所述第一时间信息对应的第一图像帧;
从所述服务器获得特效显示指令,所述特效显示指令指示目标特效信息,所述目标特效信息与所述第一特效信息和所述第一图像帧中的目标对象关联;
显示所述目标特效信息对应的特效。
第三方面,根据本公开的一个或多个实施例,提供了一种特效显示方法,包括:
向直播空间关联的第一客户端设备和第二客户端推送流媒体内容;
从所述第一客户端设备获得特效触发指令,所述特效触发指令指示目标特效信息,所述目标特效信息与第一特效信息和所述流媒体内容中的第一图像帧中的目标对象关联,所述第一特效信息包括所述第一终端检测到的特效触发操作所对应的特效信息,所述特效触发操作对应有第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的图像帧;
向所述第二客户端设备发送所述目标特效信息,以使得所述第二客户端设备显示所述目标特效信息对应的特效。
第三方面,根据本公开的一个或多个实施例,提供了一种特效显示装置,包括:
获取模块,用于获取特效触发指令,所述特效触发指令对应于直播空间的流媒体内容中的第一图像帧,所述特效触发指令还对应于第一特效信息;
确定模块,用于响应于所述特效触发指令,根据所述第一特效信息和所述第一图像帧中的目标对象确定目标特效信息;
发送模块,用于将所述目标特效信息发送至所述直播空间关联的第一客户端设备,以使所述第一客户端设备显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,所述装置还包括:
处理模块,用于响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息;确定所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧;确定所述特效触发操作对应的所述第一特效信息。
根据本公开的一个或多个实施例,所述获取模块用于:响应于检测到所述特效触发操作,生成所述特效触发指令。
根据本公开的一个或多个实施例,所述装置还包括:
显示模块,用于显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,所述获取模块用于:
从所述第一客户端设备获取所述特效触发指令;其中,所述特效触发指令指示所述第一图像帧,所述特效触发指令还指示所述第一特效信息。
根据本公开的一个或多个实施例,所述特效触发指令指示所述第一图像帧,包括:
所述特效触发指令指示第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的所述第一图像帧。
根据本公开的一个或多个实施例,所述装置还包括:特效发送模块,用于将所述目标特效信息发送至所述直播空间关联的第二客户端设备,以使所述第二客户端设备显示所述目标特效信息对应的特效。
根据本公开的一个或多个实施例,所述装置还包括:
类型确定模块,用于确定所述直播空间当前的直播类型;
图像处理模块,用于根据所述直播类型,获取与所述特效触发指令对应的第一时间信息相对应的所述第一图像帧。
根据本公开的一个或多个实施例,所述图像处理模块用于:
当所述直播类型为直播空间对应的目标主播用户与其他主播用户比赛直播类型时,确定所述目标主播用户的标识;
根据所述目标主播用户的标识,对与所述第一时间信息相对应的图像帧进行截图操作,获得与所述主播标识对应的第一图像帧;
其中,当所述目标主播用户与其他主播用户比赛直播时,所述图像帧中同时显示目标主播用户与其他主播用户的直播窗口。
根据本公开的一个或多个实施例,所述图像处理模块用于:
当所述直播类型为直播空间对应的目标主播用户单人直播时,将与所述第一时间信息相对应的图像帧确定为所述第一图像帧。
根据本公开的一个或多个实施例,所述装置还包括:
控制模块,用于控制所述客户端设备在所述目标主播用户与其他主播用户的直播窗口的上层,全屏显示所述目标特效信息。
根据本公开的一个或多个实施例,所述确定模块用于:
对所述第一图像帧进行人脸识别操作,获得所述目标对象;
对所述目标对象与所述第一特效信息进行数据融合操作,获得所述目标特效信息。
根据本公开的一个或多个实施例,所述装置还包括:
监控模块,用于实时监控任一所述客户端设备是否在所述直播空间内触发预设的目标操作;
时间信息确定模块,用于若是,则确定所述目标操作对应的第二特效信息以及所述目标操作对应的第二时间信息;
排序模块,用于根据所述第一时间信息以及所述第二时间信息,按照时间顺序将所述第一特效信息以及所述第二特效信息添加至同一消息队列中。
根据本公开的一个或多个实施例,所述装置还包括:
特效获取模块,用于按照所述时间顺序,依次获取所述消息队列中的第一特效信息或第二特效信息,根据所述第一特效信息或第二特效信息,以及所述第一时间信息对应的第一图像帧或第二时间信息对应的第二图像帧中的目标对象确定目标特效信息。
第五方面,根据本公开的一个或多个实施例,提供了一种特效显示装置,包括:
内容显示模块,用于显示直播空间的流媒体内容;
特效确定模块,用于响应于检测到特效触发操作,确定所述特效触发操作对应的第一时间信息,并确定所述特效触发操作对应的所述第一特效信息;
指令发送模块,用于向服务器发送特效触发指令,所述特效触发指令指示所述第一特效信息,所述特效触发指令还指示所述直播空间的流媒体内容中与所述第一时间信息对应的第一图像帧;
指令获取模块,用于从所述服务器获得特效显示指令,所述特效显示指令指示目标特效信息,所述目标特效信息与所述第一特效信息和所述第一图像帧中的目标对象关联;
特效显示模块,用于显示所述目标特效信息对应的特效。
第六方面,根据本公开的一个或多个实施例,提供了一种特效显示装置,包括:
内容推送模块,用于向直播空间关联的第一客户端设备和第二客户端推送流媒体内容;
指令获得模块,用于从所述第一客户端设备获得特效触发指令,所述特效触发指令指示目标特效信息,所述目标特效信息与第一特效信息和所述流媒体内容中的第一图像帧中的目标对象关联,所述第一特效信息包括所述第一终端检测到的特效触发操作所对应的特效信息,所述特效触发操作对应有第一时间信息,所述第一图像帧包括所述直播空间的流媒体内容中与所述第一时间信息对应的图像帧;
目标特效发送模块,用于向所述第二客户端设备发送所述目标特效信息,以使得所述第二客户端设备显示所述目标特效信息对应的特效。
第七方面,根据本公开的一个或多个实施例,提供了一种特效显示设备,包括:存储器,处理器;
所述存储器用于存储计算机指令;
所述处理器用于执行所述存储器存储的计算机指令,以使所述特效显示设备实现如上第一方面或第二方面或第三方面所述的特效显示方法。
第八方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被计算设备执行时使所述计算设备实现如上第一方面或第二方面或第三方面所述的特效显示方法。
第九方面,根据本公开的一个或多个实施例,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如如上第一方面或第二方面或第三方面所述的特效显示方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。