CN113766296A - 直播画面的展示方法和装置 - Google Patents
直播画面的展示方法和装置 Download PDFInfo
- Publication number
- CN113766296A CN113766296A CN202110507350.7A CN202110507350A CN113766296A CN 113766296 A CN113766296 A CN 113766296A CN 202110507350 A CN202110507350 A CN 202110507350A CN 113766296 A CN113766296 A CN 113766296A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- target
- picture
- scene
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 239000000463 material Substances 0.000 claims abstract description 267
- 239000013077 target material Substances 0.000 claims abstract description 157
- 230000008859 change Effects 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 238000009877 rendering Methods 0.000 abstract description 29
- 230000009286 beneficial effect Effects 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000005034 decoration Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种直播画面的展示方法和装置,涉及人工智能领域;本申请展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种直播画面的展示方法和装置。
背景技术
随着计算机技术和网络技术的发展,利用互联网及流媒体技术进行数据实时共享的直播方式逐渐成为当下一种热门的互动通信方式。网络直播作为一种网络交互模式,以新颖的形式吸引了更多用户,在购物、娱乐、学习等方面的应用也越来越广泛。实际应用中,主播用户可以通过主播客户端创建直播间,并通过该直播间进行在线直播,而观众用户可以通过观众客户端进入该直播间观看主播用户直播的内容。
对于直播,一般需要提前准备一些氛围宣传的素材图,以便在直播的过程中使用,比如产品宣传直播中,可以准备产品相关图片,在直播时根据直播内容使用产品相关图片进行渲染,以增强产品宣传氛围效果。但这种方法效率较低,不够便捷,且不能根据直播内容进行实时的场景氛围渲染。
发明内容
本申请实施例提供一种直播画面的展示方法和装置,可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
本申请实施例提供一种直播画面的展示方法,包括:
展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
本申请实施例提供另一种直播画面的展示方法,包括:
接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
相应的,本申请实施例提供一种直播画面的展示装置,包括:
第一展示单元,用于展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
第二展示单元,用于当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
相应的,本申请实施例提供另一种直播画面的展示装置,包括:
接收单元,用于接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
识别单元,用于当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
融合单元,用于将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
发送单元,用于将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
可选的,在本申请的一些实施例中,所述第二展示单元可以包括第一展示子单元、确定子单元、画面融合子单元和第二展示子单元,如下:
所述第一展示子单元,用于展示切换预览页面,所述切换预览页面包括场景切换控件和预览直播画面,所述预览直播画面为所述当前直播画面和初始素材融合后的预览画面,所述初始素材为与所述目标画面场景关联的素材;
所述确定子单元,用于响应于对所述场景切换控件的场景切换操作,将所述切换预览页面当前显示的预览直播画面所对应的初始素材确定为所述目标素材;
所述画面融合子单元,用于基于所述目标素材对下一帧待展示的直播画面进行融合,得到所述目标直播画面;
第二展示子单元,用于切换展示所述目标画面场景下的所述目标直播页面。
可选的,在本申请的一些实施例中,所述切换预览页面还包括素材更换控件;所述第二展示单元还可以包括获取子单元和第三展示子单元,如下:
所述获取子单元,用于响应于针对所述素材更换控件的操作,获取与所述目标画面场景关联的新的素材作为更新后目标素材;
第三展示子单元,用于在所述切换预览页面中展示更新后预览直播画面,其中,所述更新后预览直播画面为所述更新后目标素材和所述当前直播画面融合后的预览画面。
可选的,在本申请的一些实施例中,所述第二展示单元可以包括第四展示子单元、识别子单元、第五展示子单元和返回子单元,如下:
所述第四展示子单元,用于切换展示目标画面场景下的目标直播页面;
识别子单元,用于当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别,并将所述目标直播画面对应的场景作为新的目标画面场景;
第五展示子单元,用于切换展示所述新的目标画面场景下新的目标直播页面,所述新的目标直播页面包括新的目标直播画面,所述新的目标直播画面为下一帧待展示的直播画面与新的目标素材融合后的画面,所述新的目标素材为与所述新的目标画面场景关联的素材;
返回子单元,用于返回执行所述当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别及后续步骤。
可选的,在本申请的一些实施例中,所述直播画面的展示装置还可以包括生成单元,所述生成单元可以用于生成目标直播画面;
所述生成单元可以包括场景识别子单元、计算子单元、选取子单元和融合子单元,如下:
所述场景识别子单元,用于对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景;
计算子单元,用于计算预设素材库中候选素材与所述目标画面场景之间的关联度;
选取子单元,用于根据所述关联度,从所述候选素材中选取目标素材;
融合子单元,用于将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
可选的,在本申请的一些实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;所述融合子单元具体可以用于当所述目标直播间的展示模式为第一模式时,将所述目标前景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面;当所述目标直播间的展示模式为第二模式时,将所述目标前景氛围素材、所述目标背景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
可选的,在本申请的一些实施例中,所述第一展示单元可以包括预告获取子单元、初始融合子单元和初始展示子单元,如下:
所述预告获取子单元,用于获取直播预告信息,并基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材;
初始融合子单元,用于将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面;
初始展示子单元,用于展示初始直播页面,所述初始直播页面包括所述初始直播画面。
本申请实施例提供的一种电子设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令,以执行本申请实施例提供的直播画面的展示方法中的步骤。
此外,本申请实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本申请实施例提供的直播画面的展示方法中的步骤。
本申请实施例提供了一种直播画面的展示方法和装置,可以展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的直播画面的展示方法的场景示意图;
图1b是本申请实施例提供的直播画面的展示方法的流程图;
图1c是本申请实施例提供的直播画面的展示方法的页面示意图;
图1d是本申请实施例提供的直播画面的展示方法的另一页面示意图;
图1e是本申请实施例提供的直播画面的展示方法的另一页面示意图;
图1f是本申请实施例提供的直播画面的展示方法的另一页面示意图;
图2a是本申请实施例提供的直播画面的展示方法的另一流程图;
图2b是本申请实施例提供的直播画面的展示方法的另一流程图;
图3a是本申请实施例提供的直播画面的展示装置的结构示意图;
图3b是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图3c是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图3d是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图3e是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图3f是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图3g是本申请实施例提供的直播画面的展示装置的另一结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种直播画面的展示方法和装置。该直播画面的展示装置具体可以集成在电子设备中,该电子设备可以是终端或服务器等设备。
可以理解的是,本实施例的直播画面的展示方法可以是在终端上执行的,也可以是在服务器上执行,还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
如图1a所示,以终端和服务器共同执行直播画面的展示方法为例。本申请实施例提供的直播画面的展示系统包括终端10和服务器11等;终端10与服务器11之间通过网络连接,比如,通过有线或无线网络连接等,其中,直播画面的展示装置可以集成在终端中。
其中,终端10,可以用于:展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。其中,终端10可以包括手机、智能电视、平板电脑、笔记本电脑、或个人计算机(PC,PersonalComputer)等。终端10上还可以设置客户端,该客户端可以是应用程序客户端或者浏览器客户端等等。
其中,服务器11可以用于接收终端10发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;将所述目标直播画面发送给所述终端10,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。其中,服务器11可以是单台服务器,也可以是由多个服务器组成的服务器集群或云服务器。本申请所公开的直播画面的展示方法或装置,其中多个服务器可组成为一区块链,而服务器为区块链上的节点。
上述服务器11生成目标直播画面的步骤,也可以由终端10执行。
本申请实施例提供的直播画面的展示方法涉及人工智能领域中的计算机视觉技术。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
其中,人工智能(AI,Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等方向。
其中,计算机视觉技术(CV,Computer Vision)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从直播画面的展示装置的角度进行描述,该直播画面的展示装置具体可以集成在电子设备中,该电子设备可以是服务器或终端等设备。
本申请实施例的直播画面的展示方法可以应用于各种类型的直播场景中。例如,可以通过本实施例提供的直播画面的展示方法,快速地识别某产品品牌直播过程中的场景,并获取匹配当前直播氛围的目标素材,基于目标素材和当前直播画面生成目标直播画面,有利于提高直播场景氛围渲染的效率和便捷性。
如图1b所示,该直播画面的展示方法的具体流程可以如下:
101、展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面。
其中,初始直播页面为某直播客户端的初始直播页面,该直播客户端具体可以为观众客户端,也可以是主播客户端。直播客户端可以是浏览器客户端,也可以是应用程序客户端。本实施例中对直播的类型不作限制。目标直播间为该直播客户端所处的直播间。
在一些实施例中,主播在进行直播前会发布直播预告,在有直播预告的场景下,服务器可以获取该直播预告对应的直播预告信息,并联动大数据对直播预告信息进行识别,以提取该直播预告信息对应的特征信息,根据该特征信息,获取与直播预告信息匹配的素材,并将这些素材用在直播中,有利于增强目标直播间中相关产品的宣传力度。
其中,直播预告信息可以包括直播时间、直播主题、主播头像、主播昵称、主播标识信息(id,Identity document)、直播简介、直播带货商品等。直播预告信息的类型可以有多种,比如可以包括视频、图像、音频以及文字等等,本实施例对此不作限制。
其中,大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临,大数据也吸引了越来越多的关注,大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
可选地,本实施例中,步骤“展示初始直播页面”之前,还可以包括:
获取直播预告信息,并基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材;
步骤“展示初始直播页面”,可以包括:
将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面;
展示初始直播页面,所述初始直播页面包括所述初始直播画面。
其中,候选素材可以包括各种场景氛围图像和品牌点赞图像元素等等。本实施例可以根据直播预告信息,从候选素材中选取与该直播匹配的素材。
其中,所述初始目标素材可以包括初始前景氛围素材和初始背景氛围素材;步骤“将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面”,具体可以包括:
当所述目标直播间的展示模式为第一模式时,将所述初始前景氛围素材与当前直播画面进行融合,得到初始直播画面;
当所述目标直播间的展示模式为第二模式时,将所述初始前景氛围素材、所述初始背景氛围素材与当前直播画面进行融合,得到初始直播画面。
其中,一些实施例中,第一模式具体可以是竖屏模式,竖屏模式下当前直播画面的显示效果为:当前直播画面的长度小于宽度;第二模式具体可以是横屏模式,横屏模式下当前直播画面的显示效果为:当前直播画面的长度大于宽度。
其中,初始前景氛围素材可以包括品牌点赞图像元素、顶层氛围图像元素等;初始背景氛围素材可以包括场景氛围图像等。
一些实施例中,初始目标素材可以包括初始前景氛围素材和初始背景氛围素材;步骤“将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面”,具体可以包括:
将所述初始背景氛围素材和所述当前直播画面进行融合,得到融合后初始基础直播画面;
将所述初始前景氛围素材和所述融合后初始基础直播画面进行融合,得到初始直播画面。
一些实施例中,所述初始目标素材可以包括初始前景氛围素材和初始背景氛围素材;步骤“将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面”,具体可以包括:
对所述当前直播画面进行元素识别,以确定所述当前直播画面中的前景画面元素、背景画面元素;
将所述初始前景氛围素材和所述前景画面元素进行融合,得到融合后初始前景画面;
将所述初始背景氛围素材和所述背景画面元素进行融合,得到融合后初始背景画面;
根据所述融合后初始前景画面以及所述融合后初始背景画面,获取初始直播画面。
具体地,前景画面元素可以包括操作区域图像元素等(操作区域具体可以用于弹幕发表、分享和收藏等),背景画面元素可以包括直播画面等,初始前景氛围素材可以包括品牌点赞图像元素、顶层氛围图像元素等,初始背景氛围素材可以包括场景氛围图像等。本实施例可以对融合后初始前景画面以及融合后初始背景画面二者进行融合,来得到初始直播画面。
其中,步骤“基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材”,可以包括:
对所述直播预告信息进行特征提取,得到所述直播预告信息对应的特征信息;
对预设素材库中候选素材进行特征提取,得到所述候选素材对应的特征信息;
根据所述直播预告信息和所述候选素材对应的特征信息,确定所述直播预告信息和候选素材之间的关联度;
根据所述关联度,从所述候选素材中选取初始目标素材。
其中,可以计算直播预告信息的特征信息和候选素材的特征信息之间的向量距离;根据所述向量距离,确定直播预告信息与候选素材之间的关联度。向量距离越小,关联度越大;反之,向量距离越大,关联度越小。可选地,可以将关联度大于预设关联度的候选素材作为初始目标素材;也可以对候选素材按照关联度的大小从大到小进行排序,得到排序后候选素材,将排序后候选素材中前N的候选素材作为初始目标素材,N为正整数。
可选地,在获取到初始目标素材后,还可以基于主播的场景设置指令,来确定是否在目标直播间使用该初始目标素材,也即是否在直播时显示初始目标素材与当前直播画面融合得到的初始直播画面。
具体地,如图1c中页面1所示的直播预告,直播预告信息包括直播时间、直播主题、主播昵称、直播简介、直播带货商品、直播预告封面等。在一些实施例中,可以对直播预告信息进行分析,如通过主播昵称“摄影xxx”和直播主题“教你如何玩转炫酷光影”可以分析出是摄影品类相关的直播,此时服务器会基于这个品类下的品牌关键词(如摄影),去大数据里筛选相关联的素材,比如可以生成品牌相关的点赞图像元素和背景装饰元素(即关联的初始目标素材),如摄影相关的点赞图像元素是:摄像机、爱心等;背景装饰元素可以是基于直播主题生成的摄影类相关的背景氛围图像,此时服务器生成的直播品牌定制元素(包括点赞图像元素和背景装饰元素)会传回直播客户端,当主播开始直播后观众可看到定制后的直播间场景,即初始目标素材和当前直播画面融合得到的初始直播画面,如图1c的页面2所示。
102、当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
其中,当主播开播后,可以对直播画面进行检测,确定直播画面的内容变化是否满足预设条件,若满足预设条件,则可以对当前直播画面进行场景识别,确定当前直播画面对应的目标画面场景。该预设条件可以根据实际情况进行设置,本实施例对此不作限制,比如可以根据对场景氛围渲染的要求来设置。其中,对直播画面进行检测的时间间隔可以根据实际情况进行设置,比如可以设置为一分钟对直播画面检测一次。
其中,直播画面是通过传感器将光或声音等信息转化为电信息(即转化为机器能够认识的信息)来获取得到的。
可选地,本实施例中,步骤“切换展示目标画面场景下的目标直播页面”之前,还可以包括:
对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景;
计算预设素材库中候选素材与所述目标画面场景之间的关联度;
根据所述关联度,从所述候选素材中选取目标素材;
将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
其中,可以通过场景识别模型对当前直播画面进行场景识别,该场景识别模型具体可以是卷积神经网络(CNN,Convolutional Neural Networks)、视觉几何组网络(VGGNet,Visual Geometry Group Network)、残差网络(ResNet,Residual Network)和密集连接卷积网络(DenseNet,Dense Convolutional Network)等等,但是应当理解的是,本实施例的场景识别模型并不仅限于上述列举的几种类型。
其中,可以提取候选素材的素材特征信息,以及目标画面场景的场景特征信息,计算候选素材的素材特征信息和目标画面场景的场景特征信息之间的向量距离;根据所述向量距离,确定候选素材与所述目标画面场景之间的关联度。向量距离越小,关联度越大;反之,向量距离越大,关联度越小。该向量距离可以包括欧式距离、余弦距离等等,本实施例对此不作限制。
在一些实施例中,可以将关联度大于预设关联度的候选素材选取为目标素材,该预设关联度可以根据实际情况进行设置;也可以对候选素材按照关联度进行从大到小的排序,选取排序后候选素材中的前N个候选素材作为目标素材,N为正整数。
可选地,本实施例中,步骤“对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景”,可以包括:
对所述当前直播画面进行特征提取,得到所述当前直播画面的特征信息;
基于所述特征信息,对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景。
在进行特征提取前,可以对当前直播画面进行预处理,该预处理过程可以包括图像处理中的去噪、平滑、变换等的操作,通过预处理能够加强当前直播画面中图像的重要特征。
可选地,本实施例中,步骤“对所述当前直播画面进行特征提取,得到所述当前直播画面的特征信息”,可以包括:
对所述当前直播画面进行卷积处理,得到所述当前直播画面的卷积信息;
对所述卷积信息进行降采样处理,得到所述当前直播画面的特征信息。
具体地,场景识别模型可以包括卷积层和汇聚层。卷积层可以通过卷积核将当前直播画面分散成一个一个的小像素块(如3*3/5*5的像素块),每个像素块可视为一个图块,将各个图块排列在图组中,用数轴表示图组中每个图块的内容,数轴可以包括高度、宽度和颜色,这样就得到了每一个图块的三维数值表达。汇聚层是将图组的空间维度与采样函数结合起来,输出一个仅包含了图像中相对重要的部分的联合数组,该联合数组即当前直播画面的特征信息。
本实施例中,可以通过分类器,基于特征信息对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景。该分类器具体可以是支持向量机(SVM,Support Vector Machine),也可以是循环神经网络、还可以是全连接深度神经网络(DNN,Deep Neual Networks)等等,本实施例对此不做限制。分类器设计是通过训练而得到一种识别规则,通过此识别规则可以得到一种特征分类,从而形成相关的标签和类别,进而分类决策并识别出直播画面的场景类别。
其中,该场景识别的过程利用了“同一图像中相邻像素的强关联性和强相似度”这一原理;即在一张图像中的两个相邻像素,比图像中两个分开的像素更具有关联性。因此,可以将当前直播画面分散成像素块,每个像素块中的像素具有较强的关联性,可以视为包含有相同或相似的特征。
可选地,本实施例中,当检测到当前直播画面的内容变化满足预设条件时,可以生成提醒信息,将该提醒信息发送给主播,该提醒信息用于提醒主播目标直播间的场景发生变化,主播可以基于提醒信息确定是否对当前直播画面进行场景切换操作。
可选地,本实施例中,步骤“切换展示目标画面场景下的目标直播页面”,可以包括:
展示切换预览页面,所述切换预览页面包括场景切换控件和预览直播画面,所述预览直播画面为所述当前直播画面和初始素材融合后的预览画面,所述初始素材为与所述目标画面场景关联的素材;
响应于对所述场景切换控件的场景切换操作,将所述切换预览页面当前显示的预览直播画面所对应的初始素材确定为所述目标素材;
基于所述目标素材对下一帧待展示的直播画面进行融合,得到所述目标直播画面;
切换展示所述目标画面场景下的所述目标直播页面。
其中,该切换预览页面具体可以为主播客户端的切换预览页面。
其中,初始素材具体可以是根据预设素材库中候选素材与所述目标画面场景之间的关联度,从所述候选素材中选取得到的。一些实施例中,在选取到与目标画面场景关联的初始素材后,需要响应于主播对场景切换控件的场景切换操作,才将切换预览页面当前显示的预览直播画面所对应的初始素材确定为目标素材;另一些实施例中,也可以直接将初始素材视为目标素材。
其中,场景切换操作具体可以是对场景切换控件的点击、滑动操作等,具体可以根据实际情况进行设置,本实施例对此不作限制。
其中,通过预览直播画面,主播可以提前预览目标画面场景下目标直播页面的效果,以便确定是否进行场景切换操作。
可选地,本实施例中,所述切换预览页面还包括素材更换控件;所述直播画面的展示方法还可以包括:
响应于针对所述素材更换控件的操作,获取与所述目标画面场景关联的新的素材作为更新后目标素材;
在所述切换预览页面中展示更新后预览直播画面,其中,所述更新后预览直播画面为所述更新后目标素材和所述当前直播画面融合后的预览画面。
其中,对素材更换控件的操作具体可以是对素材更换控件的点击或滑动操作等,本实施例对此不作限制。
一些实施例中,在步骤“展示切换预览页面”前,可以基于候选素材与所述目标画面场景之间的关联度,从所述候选素材中选取目标素材;将所述目标素材与下一帧待展示的直播画面进行融合,生成目标直播画面。
在一些实施例中,基于候选素材与所述目标画面场景之间的关联度,从所述候选素材中选取目标素材,具体可以基于候选素材与所述目标画面场景的关联度,对所述候选素材进行从大到小的排序,得到排序后候选素材;从所述排序后候选素材中选取排序第一的素材作为目标素材。当检测到对素材更换控件的操作,可以基于排序后候选素材的顺序,选取新的素材作为更新后目标素材,比如可以将排序后候选素材中排序第二的素材作为更新后目标素材;当再次检测到对素材更换控件的操作时,可以选取排序后候选素材中排列第三的素材作为更新后目标素材,依此类推。
另一些实施例中,也可以计算候选素材和目标画面场景之间的关联度,将关联度大于预设关联度的候选素材添加到目标素材集,该目标素材集中包含至少一个目标素材。当检测到对素材更换控件的操作,可以从目标素材集中选取新的目标素材作为更新后目标素材。
具体场景中,如图1d所示,页面a是主播横屏模式下直接开播时的直播间画面,展示的是系统默认的直播间,其中点赞图像元素为常规的“爱心”、“点赞手势”等图标。当主播开播后,系统基于场景识别得到当前直播画面对应的目标画面场景,并获取通过当前直播画面和与该目标画面场景关联的素材融合后的预览直播画面,也即生成品牌定制的直播间,它是根据场景识别得到的目标画面场景进行定制的,该直播间对应的目标画面场景具体为某汽车品牌相关场景。在主播用户的直播客户端的切换预览页面中可以显示该预览直播画面,如页面b所示,在直播客户端中弹出预览子窗口,预览子窗口包括预览直播画面、场景切换控件、素材更换控件以及取消控件,页面b中“确定使用”图标对应的控件即上述实施例中的场景切换控件。主播可以通过预览直播画面预览使用品牌定制后的直播间效果,如果对当前效果不满意还可以点击“换一个”对应的控件(即素材更换控件);若主播不想要进行场景切换,可以点击取消控件。在主播点击“确定使用”的图标后,系统会直接在直播客户端中替换品牌定制后的目标直播画面,比如从页面c可以看到点赞图像元素已经替换为与汽车相关联的“汽油”、“方向盘”、“轮胎”等图标,目标直播画面中背景也包含汽车的场景氛围图像,目标直播画面顶部包括该汽车品牌的商标等,可以提高品牌氛围。
如图1e所示,页面d是主播竖屏模式下直接开播时的直播间画面,展示的是系统默认的直播间,其中点赞图像元素为常规的“爱心”、“点赞手势”等图标。当主播开播后,系统基于场景识别得到当前直播画面对应的目标画面场景,并获取通过当前直播画面和与该目标画面场景关联的素材融合后的预览直播画面,也即生成品牌定制的直播间,它是根据场景识别得到的目标画面场景进行定制的,该直播间对应的目标画面场景具体为某商城相关直播场景,具体地,该商城的虚拟形象为“招财猫”,则与目标画面场景关联的素材可以包括“招财猫”图像元素。在主播用户的直播客户端的切换预览页面中可以显示该预览直播画面,如页面e所示,在直播客户端中弹出预览子窗口,预览子窗口包括预览直播画面、场景切换控件、素材更换控件以及取消控件,页面e中“确定使用”图标对应的控件即上述实施例中的场景切换控件。主播可以通过预览直播画面预览使用品牌定制后的直播间效果,如果对当前效果不满意可以点击“换一个”对应的控件(即素材更换控件);若主播不想要进行场景切换,可以点击取消控件。在主播点击“确定使用”的图标后,系统会直接在直播客户端中替换品牌定制后的目标直播画面,比如从页面f可以看到点赞图像元素已经替换为该商城的虚拟形象“招财猫”对应的图标,目标直播画面顶部也包括该商城的虚拟形象等,可以提高该商城的品牌氛围。
可选地,本实施例中,步骤“切换展示目标画面场景下的目标直播页面”,可以包括:
切换展示目标画面场景下的目标直播页面;
当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别,并将所述目标直播画面对应的场景作为新的目标画面场景;
切换展示所述新的目标画面场景下新的目标直播页面,所述新的目标直播页面包括新的目标直播画面,所述新的目标直播画面为下一帧待展示的直播画面与新的目标素材融合后的画面,所述新的目标素材为与所述新的目标画面场景关联的素材;
返回执行所述当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别及后续步骤。
其中,在主播进行直播的过程中,可以实时地对直播画面的内容进行检测,以确定直播画面对应的画面场景是否发生了变化,具体地,对直播画面的内容进行检测的时间间隔可以根据实际情况进行设置,本实施例对此不作限制,比如可以设置为每隔一分钟对直播画面的内容进行一次检测。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面”,可以包括:
当所述目标直播间的展示模式为第一模式时,将所述目标前景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面;
当所述目标直播间的展示模式为第二模式时,将所述目标前景氛围素材、所述目标背景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
其中,一些实施例中,第一模式具体可以是竖屏模式,竖屏模式下直播画面的显示效果为:直播画面的长度小于宽度;第二模式具体可以是横屏模式,横屏模式下直播画面的显示效果为:直播画面的长度大于宽度。
其中,目标前景氛围素材可以包括品牌点赞图像元素、顶层氛围图像元素等;目标背景氛围素材可以包括场景氛围图像等。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面”,可以包括:
对下一帧待展示的直播画面进行元素识别,以确定下一帧待展示的直播画面中的前景画面元素以及背景画面元素;
将所述目标前景氛围素材和所述前景画面元素进行融合,得到融合后前景画面;
将所述目标背景氛围素材和所述背景画面元素进行融合,得到融合后背景画面;
根据所述融合后前景画面以及所述融合后背景画面,获取目标直播画面。
其中,在一些实施例中,直播画面可以是可分解的,也就是说,直播画面是由多个图层组合得到的。对直播画面进行元素识别,具体即对直播画面进行图层分解,可以得到直播画面的前景画面元素和背景画面元素。
例如,直播画面的前景画面元素可以是直播画面中的点赞控件对应的图标以及弹幕区域等;直播画面的背景画面元素可以包括直播拍摄得到的画面等。
其中,图层素材和画面元素之间的融合,具体可以先确定图层素材的放置位置,基于该放置位置,在画面元素上覆盖图层素材。
其中,步骤“根据所述融合后前景画面以及所述融合后背景画面,获取目标直播画面”可以包括:
将所述融合后前景画面以及所述融合后背景画面进行融合,得到目标直播画面。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面”,可以包括:
将所述目标背景氛围素材和所述下一帧待展示的直播画面进行融合,得到融合后基础直播画面;
将所述目标前景氛围素材和所述融合后基础直播画面进行融合,得到目标直播画面。
其中,可选地,直播画面具体可以是不可分解的,具体可以是直播画面对应的画面数据只有一个图层。
如图1f所示,目标素材可以分为目标前景氛围素材和目标背景氛围素材。目标前景氛围素材也即品牌定制层,它可以凸显品牌头像等,目标前景氛围素材可以包括目标画面场景下的直播标题装饰、点赞图像元素等,如汽车品牌相关场景下的点赞图像元素可以包括汽油、方向盘和轮胎等。目标背景氛围素材也即品牌氛围层,它可以凸显品牌氛围,目标背景氛围素材可以包括品牌氛围背景图。目标素材可以和直播的基础控件层进行融合,以凸显直播主题,基础控件层可以包括直播画面、公屏消息区、以及操作控件(也即操作区域图像元素,如弹幕发表、分享和收藏等操作控件)等。
具体地,常规的点赞图像元素可以是红包、爱心、点赞手势等。若目标画面场景为某汽车品牌的宣传直播间,则生成的点赞图像元素可以是方向盘、汽油、轮胎、汽车品牌商标等;若目标画面场景为某商城相关直播间,则生成的点赞图像元素可以是该商城的虚拟形象,如招财猫等。
可选地,本实施例中,步骤“将所述目标前景氛围素材和所述融合后基础直播画面进行融合,得到目标直播画面”,可以包括:
基于所述目标前景氛围素材的透明通道参数,在所述融合后基础直播画面的预设位置上覆盖所述目标前景氛围素材,得到目标直播画面。
在一些实施例中,可以先确定融合后基础直播画面中的融合区域(即预设位置对应的区域),将该融合区域从融合后基础直播画面中抠取出来,对目标前景氛围素材和该融合区域进行融合,得到混合图像区域,将该混合图像区域与抠取后的融合后基础直播画面进行合成处理,得到目标直播画面。
其中,透明通道即阿尔法通道(αChannel或Alpha Channel),阿尔法通道是指一张图片的透明和半透明度,阿尔法通道值可以用于设置图片透明度。在视频图像的处理过程中,经常需要利用阿尔法通道制作各种特技效果。阿尔法通道数据可以用八位二进制数字表示,存储图像文件中代表各像素点透明度的附加信息。利用阿尔法通道的透明特性能够创作出十分丰富的图像效果,不仅在多媒体作品,而且在电影、电视、动画等方面都有大量应用。比如可以利用阿尔法透明通道来完成特殊画面的叠加与合成,使图像中某一部分依据不同原理透明,将所选颜色或者亮度从图像中去除,从而使去掉颜色的图像部分透出背景,没有去掉颜色的部分依旧保持原来的图像。
在一些实施例中,若目标前景氛围素材不具备透明通道,可以先建立目标前景氛围素材的透明通道,确定其各个像素的透明通道参数。对于每个像素,可以通过调整其透明通道参数,来改变该像素的透明度。透明通道参数越大,透明度越小,反之,透明通道参数越小,透明度越高。
其中,目标前景氛围素材的像素颜色可以视为前景色,融合后基础直播画面的像素颜色可以视为背景色。对于256阶亮度的红绿蓝颜色通道,当目标前景氛围素材的像素的透明通道参数为255时就是不透明,即全为前景色;当目标前景氛围素材的像素的透明通道参数为0时就是全透明,即全为背景色。对于需要呈现的目标前景氛围素材的像素,可以将其透明通道参数设置得大些;对于不需要呈现的目标前景氛围素材的像素,可以将其透明通道参数设置得小一些。
可以理解的是,其他画面的融合也可以基于透明通道参数,此处不进行详细赘述,具体可以参考上述实施例的融合过程。
现有的直播平台,不同品牌的商家在直播间直播的时候缺乏品牌定制和氛围感,不利于品牌主曝光。商家如果要在直播间和官方合作对直播间进行深度定制品牌氛围,需要提前准备一些氛围宣传的素材图,不够便捷。
本申请可以基于场景识别和大数据,在直播前和直播中实时智能识别当前开播的品牌商家主,并根据品牌商家主的特性,智能生成与当前直播的目标画面场景匹配的目标素材,进而将目标素材与直播画面融合得到目标直播画面。本方案不仅可以提高品牌主在直播间的品牌曝光和增强品牌氛围感,还能提高平台招商合作的筹码,从而打造平台影响力。
在具体实施例中,当直播间场景识别为在图书馆的场景时,则会获取与此场景匹配的背景氛围图(目标素材的一种),如学校背景图、图书馆背景图等;该场景对应的点赞图像元素可以为书、笔等。通过场景识别和大数据结合,可以实时地基于主播的开播内容和场景,生成沉浸式有品牌感的直播间氛围装饰。展示目标画面场景下的目标直播画面。
可选地,本实施例中,服务器会基于大数据生成的候选素材进行评分排序,默认选取得分排序最高的素材作为目标素材。当主播对生成的目标素材不满意时,可以对预览页面的素材更换控件进行操作,服务器会依照候选素材排序高低将对应的素材传回给直播客户端,直到主播满意为止。如果主播不想用场景定制的方案,可以随时取消场景定制,则服务器后续不再对直播间进行实时的场景检测。
由上可知,本实施例可以展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
根据前面实施例所描述的方法,以下将以该直播画面的展示装置具体集成在服务器举例作进一步详细说明。
本申请实施例提供一种直播画面的展示方法,如图2a所示,该直播画面的展示方法的具体流程可以如下:
201、接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面。
其中,该页面检测请求具体为检测初始直播页面中当前直播画面的内容变化,以确定当前直播画面对应的场景是否发生了变化。
在一些实施例中,主播在进行直播前会发布直播预告,在有直播预告的场景下,服务器可以获取该直播预告对应的直播预告信息,并联动大数据对直播预告信息进行识别,以提取该直播预告信息对应的特征信息,根据该特征信息,获取与直播预告信息匹配的素材,并将这些素材用在直播中,具体为获取与直播预告信息匹配的初始目标素材,当直播开始后,将当前直播画面和初始目标素材进行融合,可以得到初始直播画面,并触发终端通过初始直播页面展示所述初始直播画面,这样有利于增强目标直播间中相关产品的宣传力度。
其中,直播预告信息可以包括直播时间、直播主题、主播头像、主播昵称、主播标识信息(id,Identity document)、直播简介、直播带货商品等。直播预告信息的类型可以有多种,比如可以包括视频、图像、音频以及文字等等,本实施例对此不作限制。
可选地,本实施例中,所述直播画面的展示方法还可以包括:
获取直播预告信息,并基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材;
将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面;
将所述初始直播画面发送给所述终端,以通过所述终端的初始直播页面展示所述初始直播画面。
202、当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景。
其中,当主播开播后,服务器可以对直播画面进行检测,确定直播画面的内容变化是否满足预设条件,若满足预设条件,则可以对当前直播画面进行场景识别,确定当前直播画面对应的目标画面场景。该预设条件可以根据实际情况进行设置,本实施例对此不作限制,比如可以根据对场景氛围渲染的要求来设置。其中,对直播画面进行检测的时间间隔可以根据实际情况进行设置,比如可以设置为一分钟对直播画面检测一次。
其中,可以通过场景识别模型对当前直播画面进行场景识别,该场景识别模型具体可以是卷积神经网络(CNN,Convolutional Neural Networks)、视觉几何组网络(VGGNet,Visual Geometry Group Network)、残差网络(ResNet,Residual Network)和密集连接卷积网络(DenseNet,Dense Convolutional Network)等等,但是应当理解的是,本实施例的场景识别模型并不仅限于上述列举的几种类型。
可选地,本实施例中,步骤“对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景”,可以包括:
对所述当前直播画面进行特征提取,得到所述当前直播画面的特征信息;
基于所述特征信息,对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景。
在进行特征提取前,可以对当前直播画面进行预处理,该预处理过程可以包括图像处理中的去噪、平滑、变换等的操作,通过预处理能够加强当前直播画面中图像的重要特征。
可选地,本实施例中,步骤“对所述当前直播画面进行特征提取,得到所述当前直播画面的特征信息”,可以包括:
对所述当前直播画面进行卷积处理,得到所述当前直播画面的卷积信息;
对所述卷积信息进行降采样处理,得到所述当前直播画面的特征信息。
203、将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材。
可选地,本实施例中,在步骤“将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面”之前,还可以包括:
计算预设素材库中候选素材与所述目标画面场景之间的关联度;
根据所述关联度,从所述候选素材中选取目标素材。
其中,可以提取候选素材的素材特征信息,以及目标画面场景的场景特征信息,计算候选素材的素材特征信息和目标画面场景的场景特征信息之间的向量距离;根据所述向量距离,确定候选素材与所述目标画面场景之间的关联度。向量距离越小,关联度越大;反之,向量距离越大,关联度越小。该向量距离可以包括欧式距离、余弦距离等等,本实施例对此不作限制。
在一些实施例中,可以将关联度大于预设关联度的候选素材选取为目标素材,该预设关联度可以根据实际情况进行设置;也可以对候选素材按照关联度进行从大到小的排序,选取排序后候选素材中的前N个候选素材作为目标素材,N为正整数。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面”,可以包括:
当所述目标直播间的展示模式为第一模式时,将所述目标前景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面;
当所述目标直播间的展示模式为第二模式时,将所述目标前景氛围素材、所述目标背景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
其中,一些实施例中,第一模式具体可以是竖屏模式,竖屏模式下直播画面的显示效果为:直播画面的长度小于宽度;第二模式具体可以是横屏模式,横屏模式下直播画面的显示效果为:直播画面的长度大于宽度。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面”,可以包括:
对下一帧待展示的直播画面进行元素识别,以确定下一帧待展示的直播画面中的前景画面元素以及背景画面元素;
将所述目标前景氛围素材和所述前景画面元素进行融合,得到融合后前景画面;
将所述目标背景氛围素材和所述背景画面元素进行融合,得到融合后背景画面;
根据所述融合后前景画面以及所述融合后背景画面,获取目标直播画面。
可选地,本实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;步骤“将所述目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面”,可以包括:
将所述目标背景氛围素材和所述下一帧待展示的直播画面进行融合,得到融合后基础直播画面;
将所述目标前景氛围素材和所述融合后基础直播画面进行融合,得到目标直播画面。
204、将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
在一具体实施例中,主播发布直播预告,服务器可以获取该直播预告信息,如服务器可以记录主播头像、主播标识信息、主播预告内容等,联动大数据对直播预告信息进行识别,得到直播预告信息的内容特征信息,根据该内容特征信息,从候选素材中选取与直播预告信息中品牌对应的直播氛围素材(即上述实施例中的初始目标素材),将该直播氛围素材发送给直播客户端,主播可以通过直播客户端选择在直播过程中使用该直播氛围素材。在直播时,在直播客户端中可以展示品牌直播定制的素材画面(该素材画面为通过对直播氛围素材和当前直播画面融合得到);此外,在直播过程中,服务器还可以实时对直播画面进行检测,当检测到直播画面中内容发生变化,可以联动大数据对直播画面进行场景识别,从而基于识别得到的新的目标画面场景,获取与新的目标画面场景匹配的新的目标素材(即生成与新的目标画面场景对应的新的直播氛围素材),再将新的直播氛围素材返回直播客户端,通过主播选择使用新的直播氛围素材,在直播客户端中展现融合有该新的直播氛围素材的直播画面。
其中,上述对直播内容进行实时场景氛围渲染的具体流程如下,参考图2b:
2001、主播发布直播预告;
2002、服务器记录直播预告信息,直播预告信息可以包括主播头像、标识信息和主播预告内容等;
2003、服务器联动大数据对直播预告信息进行识别,确定直播预告信息对应的目标品牌;
2004、基于大数据内容生成目标品牌对应的直播氛围素材;
2005、服务器将直播氛围素材传回直播客户端;
2006、主播选择使用直播氛围素材;
2007、直播客户端展示品牌直播定制的素材画面,该素材画面是通过对直播氛围素材和直播画面融合得到的;
2008、服务器基于场景识别检测到主播直播内容发生改变;
2009、服务器联动大数据对场景内容进行识别,确定直播画面的画面场景,进而确定该画面场景对应的新的目标品牌,返回步骤2004执行“基于大数据内容生成目标品牌对应的直播氛围素材”及后续步骤。
由上可知,本实施例可以通过服务器接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
为了更好地实施以上方法,本申请实施例还提供一种直播画面的展示系统。该直播画面的展示系统包括第一直播画面的展示装置31和第二直播画面的展示装置32。如图3a所示,第一直播画面的展示装置31可以包括第一展示单元3101和第二展示单元3102;如图3b所示,第二直播画面的展示装置32可以包括接收单元3201、识别单元3202、融合单元3203和发送单元3204,如下:
(1)第一展示单元3101;
第一展示单元3101,用于展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面。
可选的,在本申请的一些实施例中,所述第一展示单元3101可以包括预告获取子单元31011、初始融合子单元31012和初始展示子单元31013,参见图3c,如下:
所述预告获取子单元31011,用于获取直播预告信息,并基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材;
初始融合子单元31012,用于将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面;
初始展示子单元31013,用于展示初始直播页面,所述初始直播页面包括所述初始直播画面。
(2)第二展示单元3102;
第二展示单元3102,用于当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
可选的,在本申请的一些实施例中,所述第二展示单元3102可以包括第一展示子单元31021、确定子单元31022、画面融合子单元31023和第二展示子单元31024,参见图3d,如下:
所述第一展示子单元31021,用于展示切换预览页面,所述切换预览页面包括场景切换控件和预览直播画面,所述预览直播画面为所述当前直播画面和初始素材融合后的预览画面,所述初始素材为与所述目标画面场景关联的素材;
确定子单元31022,用于响应于对所述场景切换控件的场景切换操作,将所述切换预览页面当前显示的预览直播画面所对应的初始素材确定为所述目标素材;
画面融合子单元31023,用于基于所述目标素材对下一帧待展示的直播画面进行融合,得到所述目标直播画面;
第二展示子单元31024,用于切换展示所述目标画面场景下的所述目标直播页面。
可选的,在本申请的一些实施例中,所述切换预览页面还包括素材更换控件;所述第二展示单元3102还可以包括获取子单元31025和第三展示子单元31026,参见图3e,如下:
所述获取子单元31025,用于响应于针对所述素材更换控件的操作,获取与所述目标画面场景关联的新的素材作为更新后目标素材;
第三展示子单元31026,用于在所述切换预览页面中展示更新后预览直播画面,其中,所述更新后预览直播画面为所述更新后目标素材和所述当前直播画面融合后的预览画面。
可选的,在本申请的一些实施例中,所述第二展示单元3102可以包括第四展示子单元31027、识别子单元31028、第五展示子单元31029和返回子单元310210,参见图3f,如下:
所述第四展示子单元31027,用于切换展示目标画面场景下的目标直播页面;
识别子单元31028,用于当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别,并将所述目标直播画面对应的场景作为新的目标画面场景;
第五展示子单元31029,用于切换展示所述新的目标画面场景下新的目标直播页面,所述新的目标直播页面包括新的目标直播画面,所述新的目标直播画面为下一帧待展示的直播画面与新的目标素材融合后的画面,所述新的目标素材为与所述新的目标画面场景关联的素材;
返回子单元,310210用于返回执行所述当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别及后续步骤。
可选的,在本申请的一些实施例中,所述第一直播画面的展示装置31还可以包括生成单元3103,所述生成单元3103可以用于生成目标直播画面;
所述生成单元3103可以包括场景识别子单元31031、计算子单元31032、选取子单元31033和融合子单元31034,参见图3g,如下:
所述场景识别子单元31031,用于对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景;
计算子单元31032,用于计算预设素材库中候选素材与所述目标画面场景之间的关联度;
选取子单元31033,用于根据所述关联度,从所述候选素材中选取目标素材;
融合子单元31034,用于将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
可选的,在本申请的一些实施例中,所述目标素材包括目标前景氛围素材和目标背景氛围素材;所述融合子单元31034具体可以用于当所述目标直播间的展示模式为第一模式时,将所述目标前景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面;当所述目标直播间的展示模式为第二模式时,将所述目标前景氛围素材、所述目标背景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
(3)接收单元3201;
接收单元3201,用于接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面。
(4)识别单元3202;
识别单元3202,用于当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景。
(5)融合单元3203;
融合单元3203,用于将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材。
(6)发送单元3204;
发送单元3204,用于将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
由上可知,本实施例可以由第一展示单元3101展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,通过第二展示单元3102切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材;
或者,
由接收单元3201接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,通过识别单元3202对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;由融合单元3203将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;通过发送单元3204将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
本申请实施例还提供一种电子设备,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,该电子设备可以是终端或者服务器等,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材;
或者,
接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例可以展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。本申请实施例可以基于场景识别对直播内容进行实时的场景氛围渲染,有利于提高直播场景氛围渲染的效率和便捷性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种直播画面的展示方法中的步骤。例如,该指令可以执行如下步骤:
展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材;
或者,
接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种直播画面的展示方法中的步骤,因此,可以实现本申请实施例所提供的任一种直播画面的展示方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述直播画面的展示方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种直播画面的展示方法和装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种直播画面的展示方法,其特征在于,包括:
展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
2.根据权利要求1所述的方法,其特征在于,所述切换展示目标画面场景下的目标直播页面,包括:
展示切换预览页面,所述切换预览页面包括场景切换控件和预览直播画面,所述预览直播画面为所述当前直播画面和初始素材融合后的预览画面,所述初始素材为与所述目标画面场景关联的素材;
响应于对所述场景切换控件的场景切换操作,将所述切换预览页面当前显示的预览直播画面所对应的初始素材确定为所述目标素材;
基于所述目标素材对下一帧待展示的直播画面进行融合,得到所述目标直播画面;
切换展示所述目标画面场景下的所述目标直播页面。
3.根据权利要求2所述的方法,其特征在于,所述切换预览页面还包括素材更换控件;所述方法还包括:
响应于针对所述素材更换控件的操作,获取与所述目标画面场景关联的新的素材作为更新后目标素材;
在所述切换预览页面中展示更新后预览直播画面,其中,所述更新后预览直播画面为所述更新后目标素材和所述当前直播画面融合后的预览画面。
4.根据权利要求1所述的方法,其特征在于,所述切换展示目标画面场景下的目标直播页面,包括:
切换展示目标画面场景下的目标直播页面;
当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别,并将所述目标直播画面对应的场景作为新的目标画面场景;
切换展示所述新的目标画面场景下新的目标直播页面,所述新的目标直播页面包括新的目标直播画面,所述新的目标直播画面为下一帧待展示的直播画面与新的目标素材融合后的画面,所述新的目标素材为与所述新的目标画面场景关联的素材;
返回执行所述当检测到所述目标直播画面的内容变化满足预设条件时,对所述目标直播画面进行场景识别及后续步骤。
5.根据权利要求1所述的方法,其特征在于,所述切换展示目标画面场景下的目标直播页面之前,还包括:
对所述当前直播画面进行场景识别,得到所述当前直播画面对应的目标画面场景;
计算预设素材库中候选素材与所述目标画面场景之间的关联度;
根据所述关联度,从所述候选素材中选取目标素材;
将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
6.根据权利要求5所述的方法,其特征在于,所述目标素材包括目标前景氛围素材和目标背景氛围素材;所述将所述目标素材与下一帧待展示的直播画面进行融合,以生成目标直播画面,包括:
当所述目标直播间的展示模式为第一模式时,将所述目标前景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面;
当所述目标直播间的展示模式为第二模式时,将所述目标前景氛围素材、所述目标背景氛围素材与下一帧待展示的直播画面进行融合,以生成目标直播画面。
7.根据权利要求1所述的方法,其特征在于,所述展示初始直播页面之前,还包括:
获取直播预告信息,并基于所述直播预告信息与预设素材库中候选素材之间的关联度,从所述候选素材中选取初始目标素材;
所述展示初始直播页面,包括:
将所述当前直播画面和所述初始目标素材进行融合,得到初始直播画面;
展示初始直播页面,所述初始直播页面包括所述初始直播画面。
8.一种直播画面的展示方法,其特征在于,包括:
接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
9.一种直播画面的展示装置,其特征在于,包括:
第一展示单元,用于展示初始直播页面,所述初始直播页面包括目标直播间的当前直播画面;
第二展示单元,用于当检测到所述当前直播画面的内容变化满足预设条件时,切换展示目标画面场景下的目标直播页面,所述目标直播页面包括目标直播画面,所述目标直播画面为下一帧待展示的直播画面和目标素材融合后的画面,所述目标画面场景是通过对所述当前直播画面进行场景识别确定的,所述目标素材为与所述目标画面场景关联的素材。
10.一种直播画面的展示装置,其特征在于,包括:
接收单元,用于接收终端发送的针对初始直播页面的页面检测请求,并根据所述页面检测请求,对所述初始直播页面进行内容检测,所述初始直播页面包括目标直播间的当前直播画面;
识别单元,用于当检测到所述当前直播画面的内容变化满足预设条件时,对所述当前直播画面进行场景识别,以得到所述当前直播画面对应的目标画面场景;
融合单元,用于将目标素材与下一帧待展示的直播画面进行融合,得到目标直播画面,所述目标素材为与所述目标画面场景关联的素材;
发送单元,用于将所述目标直播画面发送给所述终端,以通过所述终端展示目标直播页面,所述目标直播页面包括所述目标直播画面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110507350.7A CN113766296B (zh) | 2021-05-10 | 2021-05-10 | 直播画面的展示方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110507350.7A CN113766296B (zh) | 2021-05-10 | 2021-05-10 | 直播画面的展示方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113766296A true CN113766296A (zh) | 2021-12-07 |
CN113766296B CN113766296B (zh) | 2023-10-13 |
Family
ID=78787097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110507350.7A Active CN113766296B (zh) | 2021-05-10 | 2021-05-10 | 直播画面的展示方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113766296B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125569A (zh) * | 2022-01-27 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播处理方法以及装置 |
CN114449252A (zh) * | 2022-02-12 | 2022-05-06 | 北京蜂巢世纪科技有限公司 | 基于解说音频的现场视频动态调整方法、装置、设备、系统和介质 |
CN114547436A (zh) * | 2021-12-31 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 页面显示方法、装置、电子设备及存储介质 |
CN115002555A (zh) * | 2022-06-01 | 2022-09-02 | 无限魔方(深圳)科技有限公司 | 一种应用于直播间的主题制作方法、装置及设备 |
CN115065876A (zh) * | 2022-08-18 | 2022-09-16 | 广州市千钧网络科技有限公司 | 一种变更直播标题与封面的方法、装置及相关产品 |
WO2024099425A1 (zh) * | 2022-11-10 | 2024-05-16 | 北京字跳网络技术有限公司 | 用于直播预约的方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203990A (zh) * | 2016-07-05 | 2016-12-07 | 深圳市星尚天空科技有限公司 | 一种利用虚拟装饰物品美化视频直播界面的方法及系统 |
CN108650523A (zh) * | 2018-05-22 | 2018-10-12 | 广州虎牙信息科技有限公司 | 直播间的显示及虚拟物品选取方法、服务器、终端和介质 |
CN109525853A (zh) * | 2018-11-29 | 2019-03-26 | 北京字节跳动网络技术有限公司 | 直播间封面展示方法、装置、终端、服务器及可读介质 |
CN109660853A (zh) * | 2017-10-10 | 2019-04-19 | 腾讯科技(北京)有限公司 | 视频直播中的互动方法、装置及系统 |
CN111263227A (zh) * | 2020-02-10 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 一种多媒体播放方法、装置和存储介质 |
CN111800661A (zh) * | 2020-07-08 | 2020-10-20 | 网易(杭州)网络有限公司 | 直播间显示控制方法、电子设备及存储介质 |
-
2021
- 2021-05-10 CN CN202110507350.7A patent/CN113766296B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203990A (zh) * | 2016-07-05 | 2016-12-07 | 深圳市星尚天空科技有限公司 | 一种利用虚拟装饰物品美化视频直播界面的方法及系统 |
CN109660853A (zh) * | 2017-10-10 | 2019-04-19 | 腾讯科技(北京)有限公司 | 视频直播中的互动方法、装置及系统 |
CN108650523A (zh) * | 2018-05-22 | 2018-10-12 | 广州虎牙信息科技有限公司 | 直播间的显示及虚拟物品选取方法、服务器、终端和介质 |
CN109525853A (zh) * | 2018-11-29 | 2019-03-26 | 北京字节跳动网络技术有限公司 | 直播间封面展示方法、装置、终端、服务器及可读介质 |
CN111263227A (zh) * | 2020-02-10 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 一种多媒体播放方法、装置和存储介质 |
CN111800661A (zh) * | 2020-07-08 | 2020-10-20 | 网易(杭州)网络有限公司 | 直播间显示控制方法、电子设备及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114547436A (zh) * | 2021-12-31 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 页面显示方法、装置、电子设备及存储介质 |
CN114125569A (zh) * | 2022-01-27 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播处理方法以及装置 |
CN114449252A (zh) * | 2022-02-12 | 2022-05-06 | 北京蜂巢世纪科技有限公司 | 基于解说音频的现场视频动态调整方法、装置、设备、系统和介质 |
CN115002555A (zh) * | 2022-06-01 | 2022-09-02 | 无限魔方(深圳)科技有限公司 | 一种应用于直播间的主题制作方法、装置及设备 |
CN115002555B (zh) * | 2022-06-01 | 2024-01-05 | 无限魔方(深圳)科技有限公司 | 一种应用于直播间的主题制作方法、装置及设备 |
CN115065876A (zh) * | 2022-08-18 | 2022-09-16 | 广州市千钧网络科技有限公司 | 一种变更直播标题与封面的方法、装置及相关产品 |
WO2024099425A1 (zh) * | 2022-11-10 | 2024-05-16 | 北京字跳网络技术有限公司 | 用于直播预约的方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113766296B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113766296B (zh) | 直播画面的展示方法和装置 | |
US11741681B2 (en) | Interaction analysis systems and methods | |
CN107633441A (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
CN106203286B (zh) | 一种增强现实的内容获取方法、装置及移动终端 | |
TWI617930B (zh) | 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置 | |
CN111491187B (zh) | 视频的推荐方法、装置、设备及存储介质 | |
CN103686344A (zh) | 增强视频系统及方法 | |
WO2024077909A1 (zh) | 基于视频的交互方法、装置、计算机设备和存储介质 | |
CN112287848B (zh) | 基于直播的图像处理方法、装置、电子设备和存储介质 | |
CN111142967A (zh) | 一种增强现实显示的方法、装置、电子设备和存储介质 | |
US20170013309A1 (en) | System and method for product placement | |
CN113610953A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN113596574A (zh) | 视频处理方法、视频处理装置、电子设备和可读存储介质 | |
CN114363705A (zh) | 一种增强现实设备及交互增强方法 | |
CN112684893A (zh) | 信息展示方法、装置、电子设备及存储介质 | |
US20230326161A1 (en) | Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
CN114500833B (zh) | 拍摄方法、装置及电子设备 | |
CN112449249A (zh) | 视频流处理方法及装置、电子设备及存储介质 | |
US12148110B2 (en) | Interaction analysis systems and methods | |
CN114245174B (zh) | 视频预览方法以及相关设备 | |
CN113873080B (zh) | 多媒体文件的获取方法和获取装置 | |
CN117857894A (zh) | 直播封面处理方法、装置、电子设备及计算机存储介质 | |
CN115981755A (zh) | 人脸支付方法以及相关设备 | |
JPH1145351A (ja) | 情報処理装置 | |
CN117036150A (zh) | 图像获取方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |