Nothing Special   »   [go: up one dir, main page]

CN108616800A - 音频的播放方法和装置、存储介质、电子装置 - Google Patents

音频的播放方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
CN108616800A
CN108616800A CN201810265087.3A CN201810265087A CN108616800A CN 108616800 A CN108616800 A CN 108616800A CN 201810265087 A CN201810265087 A CN 201810265087A CN 108616800 A CN108616800 A CN 108616800A
Authority
CN
China
Prior art keywords
audio
information
sound channel
terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810265087.3A
Other languages
English (en)
Other versions
CN108616800B (zh
Inventor
余学亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810265087.3A priority Critical patent/CN108616800B/zh
Publication of CN108616800A publication Critical patent/CN108616800A/zh
Application granted granted Critical
Publication of CN108616800B publication Critical patent/CN108616800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种音频的播放方法和装置、存储介质、电子装置。其中,该方法包括:接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息。本发明解决了相关技术中播放音频时容易出现播放故障的技术问题。

Description

音频的播放方法和装置、存储介质、电子装置
技术领域
本发明涉及互联网领域,具体而言,涉及一种音频的播放方法和装置、存储介质、电子装置。
背景技术
在互联网中,对实时直播与媒体视频库的点播内容、音视频源格式、参数规格没有一个统一的既定标准,各内容输出方、平台方对音视频规格都多变,比如视频分辨率有720P、1080P、4K等,帧率有25fps(fps英文全称为frames per second,中文可称为每秒传输帧数)、30fps、60fps等,画面内容组成有2D视频、3D视频、全景视频等,音频有单声道、双声道、5.1声道、7.1声道等,每个声道可能内容完全不同,音频采样率有44.1KHz、48KHz等,这些多变的内容,参数规格,对不同的终端播放表现是完全不一样的(比如视频播放黑屏、卡顿不流畅、没声音等),因为用户终端硬件有高低之分,有不同厂商零部件之间的性能和功能区别,还有系统版本的差异,这些内容源以及终端平台的差异导致内容输出方、终端软硬件开发方以及平台提供方三方都要针对性协调进行兼容处理,满足终端用户能够正常播放,但是目前并不能做到这三方协调兼容,从而经常导致用户终端播放服务器下发的音频时出现故障,如只能播放其中部分声道的声音、出现静音等。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种音频的播放方法和装置、存储介质、电子装置,以至少解决相关技术中播放音频时容易出现播放故障的技术问题。
根据本发明实施例的一个方面,提供了一种音频的播放方法,包括:接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息。
根据本发明实施例的一个方面,提供了一种音频的传输方法,包括:获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;在第一音频支持的声道与终端支持的目标声道不匹配的情况下,向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
根据本发明实施例的另一方面,还提供了一种音频的播放装置,包括:接收单元,用于接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;第一获取单元,用于在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;播放单元,用于通过第二音频在终端的目标声道播放第一信息和第二信息。
根据本发明实施例的另一方面,还提供了一种音频的播放装置,包括:第二获取单元,用于获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;发送单元,用于在第一音频支持的声道与终端支持的目标声道不匹配的情况下,向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器通过计算机程序执行上述的方法。
在本发明实施例中,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息,可以解决相关技术中播放音频时容易出现播放故障的技术问题,进而达到了完整播放第一信息和第二信息的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的音频的播放方法的硬件环境的示意图;
图2是根据本发明实施例的一种可选的音频的播放方法的流程图;
图3是根据本发明实施例的一种可选的音频的波形的示意图;
图4是根据本发明实施例的一种可选的音频数据的示意图;
图5是根据本发明实施例的一种可选的音频数据的示意图;
图6是根据本发明实施例的一种可选的音频数据的示意图;
图7是根据本发明实施例的一种可选的音频的波形的示意图;
图8是根据本发明实施例的一种可选的音频数据的示意图;
图9是根据本发明实施例的一种可选的音频数据的示意图;
图10是根据本发明实施例的一种可选的音频数据的示意图;
图11是根据本发明实施例的一种可选的音频数据的示意图;
图12是根据本发明实施例的一种可选的音频数据的示意图;
图13是根据本发明实施例的一种可选的音频数据的示意图;
图14是根据本发明实施例的一种可选的音频数据的示意图;
图15是根据本发明实施例的一种可选的音频数据的示意图;
图16是根据本发明实施例的一种可选的音频的播放装置的示意图;以及
图17是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一方面,提供了一种音频的播放方法的方法实施例。
可选地,在本实施例中,上述音频的播放方法可以应用于如图1所示的由终端101所构成的硬件环境中,可选地,该硬件环境还可以包括服务器103,如图1所示,服务器103通过网络与终端101进行连接,上述网络包括但不限于:广域网、城域网或局域网,终端101并不限定于PC、手机、平板电脑等。
本发明实施例的音频的播放方法可以由终端101来执行。图2是根据本发明实施例的一种可选的音频的播放方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,终端接收第一播放请求,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放。
上述的第一音频可以为实时通讯的音频、音乐音频、直播音频等,可以独立存在,也可以嵌入在视频中的形式存在;文件的存在形式可以为媒体文件、流媒体信息等。
上述的第一播放请求可以是终端自己触发的,例如自动播放下一视频(嵌入有上述第一音频)、下一歌曲、插播广告等;该第一播放请求也可是用户触发的,如用户接通或者拨出电话、播放视频、播放音乐等;该第一播放请求还可是与上述终端具有通讯关系的另一设备触发的,如通过遥控器在电视终端上选择视频节目、音乐节目等。
上述的第一信息和第二信息可以是同一信息或不同的信息。
步骤S204,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
第一音频支持的声道与终端支持的目标声道不匹配包括但不局限于:第一音频支持的解析度与终端的目标声道支持的解析度不同;第一音频支持的声道的数量与终端的目标声道的数量不同。
第一音频支持的声道数至少为二,如上述的第一声道的声道数量为一个、第二声道的声道数量为至少一个,或者第二声道的数量为一个、第一声道的数量为至少一个;终端具有的声道为目标声道,该目标声道可以为一个声道或多个声道。
步骤S206,通过第二音频在终端的目标声道播放第一信息和第二信息。
采用本申请的技术方案后,在播放第二音频时,每个声道的数据是一样的,以第二音频的声道数为二为例,如图3所示,两条波形分别代表一个声道的音频PCM(英文全称为Pulse Code Modulation,中文名称为脉冲编码调制)数据,正常的情况,如图3中用小方框标识出的数据,双声道立体声的左右声道音频PCM数据一致、相位一致,在传输给单声道扬声器或双声道扬声器时的播放情况,如图4和图5所示,最终播放的声音无论扬声器设备是单声道输出还是双声道输出,都是播放立体声双声道同一个声道内容的音频数据,容错性最好,不会有任何声音播放问题。
而在相关技术中,音频在终端播放经常出现异常的情况,如官方直播内容(如演唱会、晚会、电视台、体育比赛赛事等)时,可通过调音台、导播台混合SDI(英文全称为serialdigital interface,中文名称为数字分量串行接口)信号输出、最后通过采集卡接收、采集,再进行编码,输出直播流数据,很多情况下输出的直播流数据为双声道立体声数据(即第一音频的数据),但左右声道的声音内容可能不一样(如左声道是人说话的声音、右声道是背景音乐的声音),声音的波形振幅也不一样(左声道声音大、右声道声音小),相位也不一样,如果在支持双声道的播放设备上播放,比如耳塞、耳机、PC扬声器,一般而言可以正常收听,因为左右声道的声音源数据(如左声道PCM数据和右声道PCM数据)会单独传输到左右耳机或左右扬声器上,如图6所示。
但是,如果双声道立体声数据在单声道设备上播放,比如手机本身的扬声器(不插入耳机状态下),播放出来就不一样,有些手机只能听到某个单独声道的数据、有些手机设备可能发出吱吱的噪音,这是因为移动设备的单声道扬声器在面对双声道立体声时播放器实现声音输出方式不一样,有些移动设备播放器选择声音源数据的某一声道直接播放(可能就只能听到一种声音),有些手机会将左右声道合成为单一声道数据再输出,这种情况很大概率出现噪音异常,因为声音源左右声道的音频数据内容和规格的不一样,特别是相位相反的情况,这种一般是录制时候数据本申请就是内容一样但相位相反(如图7所示),也有一种情况是两种不同声音源信号延迟导致,使左右声音源同一时刻的相位产生偏离,无法对齐,造成左右声道混合成单一声道后,声音数据错乱或接近归0(如对图7所示的同一时刻的方框内的数据合并后即为0),这里归0指的是PCM实体数据的表示形式,在16bit精度音频下,0代表静音。
在本申请的技术方案中,上述目标声道可以为一个声道或多个声道,通过终端的目标声道进行播放可以是指通过终端的一个声道进行播放,也可以是指通过终端的至少两个声道进行播放,还可以是指通过终端的所有声道进行播放,但是与相关技术中对第一音频进行播放的不同之处在于,相关技术中对第一音频进行播放是指按照第一音频的格式进行播放,在一个声道(如第一声道)播放第一信息,而在另一个声道(如第二声道)播放第二信息,换言之,每个声道仅用于播放相应的一个信息,而在本申请的技术方案中,无论目标声道中的几个声道参与音频的播放,均是播放由第一音频转换而来的第二音频,而不是直接播放第一音频,且在播放时是在一个声道中同时播放第一信息和第二信息,而不是分开在多个声道播放。
换言之,相当于把声音源处理成了单声道(类似于通过手机直播的音视频数据,通过手机的单声道采集到的音频源),而非多声道,若处理为多声道,那么多声道的数据是相同的,则不会存在上述问题,因为单声道声音源数据可支持单声道播放的设备上一一对应原样输出,如图8所示,如果在双声道播放设备上,单声道声音源会分别把自身数据传输到各个声道中,相当于不同声道复制了单声道数据播放了,如图9所示。
在该实施例中以本发明实施例的音频的播放方法由终端101来执行为例进行描述,本发明实施例的音频的播放方法也可以是由服务器103和终端101共同执行。其中,终端101执行本发明实施例的音频的播放方法也可以是由安装在其上的客户端来执行。
通过上述步骤S202至步骤S206,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息,可以解决相关技术中播放音频时容易出现播放故障的技术问题,进而达到了完整播放第一信息和第二信息的技术效果。
针对以上描述的几种异常故障情况,本申请提出了一种有效解决复杂多变的声音源适配终端播放的解决方案,让多变的输入源PCM数据最终转化成图4所示的标准双声道PCM数据输出,且双声道中同一时刻同一采样点下左右声道PCM数据达到各方面的一致(音频频谱、音频振幅以及音频相位),下面结合步骤S202至步骤S206详述本申请的处理流程:
在步骤S202提供的技术方案中,本申请涉及的问题点主要是关于音频内容在多声道载体中,不同声道上的不一致导致在终端(如移动终端)播放时出现的兼容问题,为了克服兼容性问题,在待播放第一音频时,会触发第一请求,终端接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放。在后续实施例中,本申请的方案以双声道音频输入源作为例进行说明,可扩展为多声道输入(4声道,5.1声道,7.1声道等),大于双声道的多声道与此类似,不再单独介绍。
在步骤S204提供的技术方案中,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
一种可选的“确认第一音频支持的声道是否与终端支持的目标声道匹配”方案是通过声道数量来进行判断,在第一音频支持的声道的数量与终端支持的目标声道的数量不同的情况下,确认第一音频支持的声道与终端支持的目标声道不匹配;在第一音频支持的声道的数量与终端支持的目标声道的数量相同的情况下,确认第一音频支持的声道与终端支持的目标声道匹配。
利用本申请的技术方案,可以解决在相关技术中容易出现的以下问题:
例如,某一时刻采样点左声道PCM的数据值是1000,同一时刻该采样点右声道的数据值为5000,如果在立体声播放设备下(移动设备插上耳机),该左右两边的扬声器或耳机都可以听到正常对应1000和5000的声音数据,但对于某些单声道扬声器移动设备上(比如android手机外放,拔掉耳机),可能只听到左声道1000数据对应的声音或者右声道5000对应的声音,声音内容存在丢失,如图10所示,损失了右声道PCM数据。
再如,某一时刻采样点左声道PCM的数据值是1000,同一时刻该采样点右声道的数据值为-1000,如果在立体声播放设备下(移动设备插上耳机),左右两边的扬声器或耳机都可以听到对应1000和-1000的声音,但如果在某些单声道扬声器移动设备上(如IOS设备使用外放而不接耳机情况下),则会变成静音,因为混合左右声道后同一时刻当前采样点的数据接近0,也可以简单的理解为等于0(即“-1000+1000=0”),这样,扬声器最终播放混合后数据值为0的PCM数据,用户就听不到任何声音内容,但插上耳机或接上立体声播放设备,就可以正常收听。该例子是典型的左右声道声音内容一样,但相位完全相反的情况,如图7以及图11所示。
再如,假如声音源左右声道内容不一样,相位也大体互补,混合后很大程度抵消,这种场景绝大部分是因为左右声道内容其实是一致的,但声音源延迟偏离导致,如某时刻A某声音采样点中左声道PCM数据是1000,右声道数据是-800,混合后假设是200(即“-800+1000=200”),到B时刻左声道PCM数据是2000,右声道是-1000,混合后假设是1000(即“-1000+2000=1000”),这样A时刻和B时刻在单声道扬声器设备上声音播放序列输出的PCM数据为200和1000,PCM内容已经发生很大变化,这样持续时间内在单声道移动设备上外放听到的声音就类是“吱吱”的噪音,声音完全失真,如下图12所示。
在上述实施例中,在本申请的技术方案,可通过声音输入源PCM数据的检测,检测采样数据中左右声道是否标准一致,如同一时刻每个采样点左右声道数据是完全一致的,则表明是与图5一样最终输出的标准形态,则不需做任何处理,直接输出。如果存在不一致,则可以在服务器侧或者终端侧进行转换处理,在获取第二音频时,终端可以获取服务器对第一音频进行转换处理得到的第二音频;在终端上对第一音频进行转换处理得到第二音频。
下面以在终端上对第一音频进行转换处理得到第二音频为例进行说明,在终端上根据第一编码数据(此处的编码数据是指由对模拟信号进行数字化得到的数据,可以是压缩或者非压缩的数据)中携带的采集到的音频信号与第二编码数据中携带的采集到的音频信号之间的关系对第一音频进行转换处理得到第二音频。
针对上述第一种情况,可以通过如下方式解决:在第一信号幅值与第二信号幅值之间的差值不在目标范围内的情况下,对第一编码数据中携带的采集到的音频信号和第二编码数据中携带的采集到的音频信号进行转换处理,得到第二音频中的第三编码数据,第二音频可以包括至少一个第三编码数据,如第二音频支持左右声道时,那么其左右声道的数据可以混为第三编码数据。
换言之,检测输入音频的左右声道的PCM数据不是图3所示那种标准情况,同时左右声道数据也并不是图7描述的情况(左右声道声音内容一样,只是相位相反),这种情况左右声道声音内容明显独立,如左声道是人说话的声音、右声道是场景背景音乐的声音(即第一音频),这种声音源直接传输给单声道扬声器设备则很大概率声音出现播放异常或某个声道内容丢失的故障,如图12所示,针对这种情况,本申请提供的处理方案是先把左右声道独立的PCM数据经过混音滤波处理,同一时刻每个采样点的左右声道数据,混音滤波,把2种原先分别存放在不同声道的声音合成为两种声音并存,但把该合成的声音PCM数据分别复制到左右两个声道中,达到左右声道两个声道声音数据完全一致,如图13所示,例如左声道单独的人说话声音以及右声道单独的背景声音被融合在一起,然后分别把共存的这两个声音一起存储在左右声道中(即第二音频),使两个左右声道都是人说话的声音以及背景的声音,这样,当该音频在单声道或者多声道的终端播放时均不会出现失真、静音等故障。
需要说明的时,在计算第一信号幅值与第二信号幅值之间的差值时,可以直接通过模拟器件获取两个声道在相同采集时刻之间的模拟信号的幅值差值;也可是对数字信号求取差值,例如,第一信号幅值为已经数字化的数值(如二进制比特值),第二信号幅值也为已经数字化的数值,则可直接求取这两个数值之间的差值。
针对上述第二种情况,可以通过如下方式解决:在第一信号幅值与第二信号幅值之间的差值在目标范围内、且第一信号相位与第二信号相位相反的情况下,将第一编码数据(如左声道PCM数据)或第二编码数据(如右声道PCM数据)作为第三编码数据,第一信号幅值是第一编码数据中携带的在第一采样时刻采集到的音频信号的信号幅值,第二信号幅值是第二编码数据中携带的在第一采样时刻采集到的音频信号的信号幅值,第一信号相位是第一编码数据中携带的在第一采样时刻采集到的音频信号的信号相位,第二信号相位是第二编码数据中携带的在第一采样时刻采集到的音频信号的信号相位。
换言之,如检测到采样数据中左右声道声音内容一致(波形基本一致,即幅值差值在目标范围内),但相位相反,如图7所示,则这种情况输出到单声道外放的移动设备上,如iOS设备,则会出现静音或“吱吱”的噪音,解决处理方法可以是把每个声音采样点中一个声道(如左声道)的数据复制到另外一个声道(如右声道)中,使左右声道PCM数据完全一致,如下图14所示。
针对上述第三种情况,可以通过如下方式解决:在第一信号幅值与第三信号幅值之间的差值在目标范围内、且第一信号相位与第三信号相位相反的情况下,将第一编码数据或第二编码数据作为第三编码数据,第三信号幅值是第二编码数据中携带的在第二采样时刻采集到的音频信号的信号幅值,第三信号相位是第二编码数据中携带的在第二采样时刻采集到的音频信号的信号相位,第二采样时刻与第一采样时刻之间的差值在第二范围内。
第三种情况与第二种情况下类似,究其原因在于是声音源延迟偏离导致信号出现细微偏差,可以将第一编码数据和第二编码数据(即左声道的PCM数据和右声道的PCM数据)对齐,即同一时刻的信号幅值相同,而相位相反,然后按照上述方式进行调整。
在步骤S206提供的技术方案中,通过第二音频在终端的目标声道播放第一信息和第二信息。
在本申请的实施例中,通过第二音频在终端的目标声道播放第一信息和第二信息包括:在目标声道包括一个声道的情况下,在目标声道中播放第一信息和第二信息,换言之,对于至少需要两个声道才能播放的第一信息和第二信息,采用本申请的技术方案,仅需一个声道即能完整播放第一信息和第二信息;在目标声道包括多个声道的情况下,在目标声道所包括的至少一个声道中播放第一信息和第二信息。
可选地,在目标声道所包括的至少一个声道中播放第一信息和第二信息包括:在目标声道所包括的一个声道中播放第一信息和第二信息,即可以在目标声道包括的多个声道中的任意一个中播放第一信息和第二信息;也可在目标声道所包括的至少两个声道中播放第一信息和第二信息,参与播放的这至少两个声道中的每个声道均播放第一信息和第二信息,也即参与播放的这至少两个声道中的每个声道播放的信息是一样的。
需要说明的是,上述的第一音频是对第二音频进行处理得到的,第一音频包括用于承载(此处的承载可以理解为将第一信息编码为第一编码数据)第一信息的第一编码数据(第一编码数据表示的第一信息用于在第一声道播放)和用于承载第二信息的第二编码数据(第二编码数据表示的第二信息用于在第二声道播放),第一编码数据不同于第二编码数据,如同一采集时刻的信号幅值不同、或同一采集时刻的信号相位不同等,第二音频包括对第一编码数据和/或第二编码数据进行处理得到的第三编码数据,第三编码数据用于承载第一信息和第二信息。
可选地,通过第二音频在终端的目标声道播放第一信息和第二信息时,可以在目标声道播放对第三编码数据进行解码得到的第一信息和第二信息。
根据本发明实施例的一方面,提供了一种音频的传输方法的方法实施例。该方法包括如下步骤:
步骤1,服务器获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放。
步骤2,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,服务器向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
可选地,在向终端返回第二音频之前,服务器对第一音频进行转换处理得到的第二音频,其中,第一音频包括第一编码数据和第二编码数据,第一编码数据表示的第一信息用于在第一声道播放,第二编码数据表示的第二信息用于在第二声道播放,第一编码数据不同于第二编码数据,第二音频包括第三编码数据,第三编码数据表示的第一信息和第二信息用于在目标声道播放。
需要说明的时,服务器侧对第一音频进行转换处理得到的第二音频的方式终端侧的类似,具体的转换方法参照前述内容,在此不再赘述。
作为一种可选的实施例,下面以将本申请的技术方案应用于直播等场景为例进行详述。
本申请的技术方案可以应用于直播场景,出现声道异常和不一致的情况大部分是出自播控相关的节目演出,如电视频道播控(背景音乐和人说话声音)、体育赛事的直播(解说声音和现场声音,或解说声音和翻译声音)、宣讲发布会等会议(多种不同语言翻译声音),这些情况的解决方案往往需要依赖播控相关设备调整,如调音台、切换台、字幕机、包装机等专业级的录播系统,需要专业相关工作人员手工操作多种播控设备调整,然后经过编码推流系统后在不同终端平台下验证声音,这种方式人工成本高且效率慢,由于直播场景是时效性极高的应用场景,如果正式直播前测试不充分,直播过程中出现声音问题,去找问题触发点并调整播控设备参数,会极大影响当前直播观看体验,频繁的不断试错调整带来的异常会直接反馈到终端用户,会极大地降低用户体验。
本申请的技术方案亦可以应用于非直播场景,例如点播视频这种不具备实时性的场景,多声道内容出现异常多源于视频片源本身,这要求拥有片源的用户使用专业的设备或工具执行离线编辑转换或视频再生成。
可见,在直播场景中,最大的问题是人力物力时间的消耗成本,依赖播控设备,需要专业相关人员操作调整,还需要时间检测有效性,同时这些方案因为实时性会将影响面实时同步反馈到用户观看端,使观众体验极大地受影响。本申请的技术方案可应用于上述场景的采集编码推流端,也可以集成到后台转码服务端,也可以集成在终端用户播放器上,主要涉及到音频输入源的精准检测,为了降低对终端的要求,通常放在服务端或者高性能编码推流的机器上,从而可以解决上述问题。
本申请的技术方案是自适应检测算法检测输入源的多种异常情况,针对不同的情况进行算法匹配调整处理,以达到正常标准适配所有终端播放情况的效果,期间无需介入特殊机器、人力,不需要消耗时间,属于全自动化的实时检测、实时调整、实时生效,对用户本身是透明的且用户体验会非常好。
下面先对需要用的专业术语符号进行说明:
音频的PCM数据可以声道交叉排列的顺序进行存储,L表示左声道的PCM数据,R表示右声道的PCM数据,这里以双声道为例,一种存储的方式为“|L R|L R|L R|L R|L R|…|LR|”。
在后续内容中,audio_channel表示音频源声道数;audio_sample_rate表示音频源采样率;audio_bit_depth表示音频采样精度;audio_data表示音频输入块内存数据;audio_data_size表示音频输入数据的大小(单位可为字节);audio_sample_count表示音频输入数据中包含的采样点数量;audio_sample_size表示音频中单个采样点的数据大小;audio_left_data表示表示每个采样点的左声道内存数据;audio_right_data表示每个采样点的右声道内存数据;左声道PCM数据经过FFT(英文全称为Fast FourierTransformation,中文名称为离散傅氏变换的快速算法)变换后在某频域对应的实部为r1,虚部为i1;右声道PCM数据经过FFT变换后在某频域对应的实部为r2,虚部为i2;判断差值接近的临界阀值正数为M。
一些可选的示意性的常用计算公式如下:
audio_sample_size=audio_channel*audio_bit_depth/8;
audio_sample_count=audio_data_size/audio_sample_size;
audio_left_data=audio_data+n*audio_sample_size(n:取值为0、1、2、3等);
audio_right_data=audio_left_data+audio_bit_depth/8。
下面从数据流的角度详细进行描述:
关于音频输入源声道数据检测
步骤1,通过音频输入源格式参数(如通道数、采样率、采样精度)判断该音频输入格式是多声道音频源还是单声道音频源,若音频源声道数audio_channel的数值为1,即属于图8所示情况则不需做任何数据处理,直接输出,若audio_channel>1,则执行后续步骤,进一步判断多声道的情况。
步骤2,遍历音频输入数据的每个采样点audio_sample_count,每个采样点各自取出audio_left_data和audio_right_data,判断audio_left_data与audio_right_data是否一致,如果一致(audio_left_data与audio_right_data的差值绝对值小于一个给定的阀值,即在目标范围内,如-10到+10这一范围,在这个范围内则可以认为数据内容是大体上一致的),就是图5所示的情况,则不需处理直接输出。
步骤3,如果audio_left_data与audio_right_data波形一致,但相位相反(如图7所示),判断左右声道是否相位相反可使用opencv(一个基于BSD许可的开源发行的跨平台计算机视觉库)库接入解决,或者自行对左右声道数据进行FFT算法变换取得频域部分中的实部和虚部数据,如果两个声音信号对应变换后某频率下的实部数据基本一致(做差值取绝对值小于一个很低的阀值M,也即在上述目标范围内),但虚部数据相反,即相加后的绝对值数值小于一个比较低的阀值M(该阀值M可根据需要进行进行调整,比如为0、10等),就可以认为相位是相反的,这些可以通过信号系统信号处理FFT变换确定,相位相反这种情况被认为是异常的,处方式参考图14。
步骤4,如果audio_left_data与audio_right_data之间具有极强的相关性,但同一时刻点数据并不一样,一个声道的波形相对于另一个声道的播放是被延迟的,但整体内容上是一致的,那么可认为左右声道的PCM数据在时间序列上发生了偏移,比如T0时刻audio_left_data的数据与T1时刻audio_right_data是一致的,T1时刻audio_left_data的数据与T2时刻audio_right_data是一致,如此类推,(audio_left_data[i]与audio_right_data[j]的差值绝对值极小),audio_left_data与audio_right_data之间延迟为(T1-T0)或(T2-T1),相当于间距j-i个sample数据,这种也被认为是需要调整处理的异常情况
步骤5,如果audio_left_data与audio_right_data不属于步骤2中这种正常情况,也不属于步骤3和步骤4这两种异常情况,检测到audio_left_data与audio_right_data声音内容是不一样的,也没有相关性,则认为audio_left_data和audio_right_data是独立的两种声音数据,被单独分别存放在左右声道上,这种情况可进行混音处理,下文对步骤3至步骤5中出现的这几种异常情况的解决方案进行详述。
音频输入源声道数据处理
1)针对步骤3中描述的异常情况,已经检测到audio_left_data与audio_right_data同一时刻采样点内容上一致,相位相反,如图14所示,可则选择其中一个声道数据(比如选择audio_left_data),完全的复制到另外一个声道中(audio_right_data),以达到最终左右声道数据完全一致,如图5所示的标准情况。
2)针对步骤4中所描述的异常情况,可先获取两个声道声音信号audio_left_data与audio_right_data的相关性延迟时间间隔duration或计算出最大采样数据sample的偏差数,例如,可以从左声道音频数据中拿出X个sample,和右声道音频数据中的X*10个sample做互相关性比较,互相关比较法可以参考以一个声道的数据扫描另外一个声道的数据样本,若2个声道数据值做差后,再取绝对值,如果该绝值小于一个很低的阀值,就认为是一致的,例如|audio_left_data[i]-audio_right_data[j]|<M,后续的Sample序列同样具备这样的规律属性,那该采样sample具有相关性,相关性间隔sample数为delay_count=j-i,从而将这个间隔值的位置换算为时间(单位可以是秒),duration=delay_count/audio_sample_rate,通过延时duration或delay_count,把时间提前的sample数据往后延迟delay_count个sample与其另外一个声道对齐,如图15所示,如把当前声道中sample数据值复制到第delay_count个sample中,后面数据依次复制实现声音延迟左右声道完整对齐,数据完全一致,delay_count前不对齐的部分全设置成静音数据0,得到如图5所示的标准情况。
3)针对步骤5中所描述的异常情况,audio_left_data与audio_right_data内容本身是不一样是独立的声音内容,这种情况可做声道混合(混合audio_left_data和audio_right_data),所使用的混音算法包括但不局限于线性叠加后求平均、归一化混音等,例如对audio_left_data与audio_right_data做线性加权,然后得出的数据值再做边界校验,混音完后把处理好的数据同时复制到左右声道中,使左右声道的数据在混音后的数据且完全一致,最后达到如图5所示的标准情况。处理方式如图13所示。
在前述实施例中,列举了主流双声道为例进行示意性说明,该方法可扩展到4声道,5.1声道,7.1声道,甚至更高的音频输入规格中,实现方式与上述类似;该方法可扩展应用到后台云导播系统、云剪辑系统上、集成该技术方法提供实时音视频编辑类功能。
采用本申请的技术方案,所产生的有益效果包括但不局限于:1)节约了专业设备、时间、人力成本;2)使得直播声音源的容错性大大提高;3)使得终端播放设备和平台产品的兼容性大大提高,可以兼容html5,PCflash,移动端Android和iOS平台;4)优化了直播观看用户端的播放体验。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种用于实施上述音频的播放方法的音频的播放装置。图16是根据本发明实施例的一种可选的音频的播放装置的示意图,如图16所示,该装置可以包括:接收单元1601、第一获取单元1603以及播放单元1605。
接收单元1601,用于接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
第一获取单元1603,用于在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;
播放单元1605,用于通过第二音频在终端的目标声道播放第一信息和第二信息。
需要说明的是,该实施例中的接收单元1601可以用于执行本申请实施例中的步骤S202,该实施例中的第一获取单元1603可以用于执行本申请实施例中的步骤S204,该实施例中的播放单元1605可以用于执行本申请实施例中的步骤S206。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
通过上述模块,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息,可以解决相关技术中播放音频时容易出现播放故障的技术问题,进而达到了完整播放第一信息和第二信息的技术效果。
上述播放单元可包括:第一播放模块,用于在目标声道包括一个声道的情况下,在目标声道中播放第一信息和第二信息;第二播放模块,用于在目标声道包括多个声道的情况下,在目标声道所包括的至少一个声道中播放第一信息和第二信息。
可选地,上述的第二播放模块还可用于:在目标声道所包括的一个声道中播放第一信息和第二信息;在目标声道所包括的至少两个声道中播放第一信息和第二信息,其中,至少两个声道中的每个声道均用于播放第一信息和第二信息。
上述的第一获取单元还可用于:获取对第一音频进行处理得到的第二音频,其中,第一音频包括第一编码数据和第二编码数据,第一编码数据表示的第一信息用于在第一声道播放,第二编码数据表示的第二信息用于在第二声道播放,第一编码数据不同于第二编码数据,第二音频包括第三编码数据,第三编码数据表示的第一信息和第二信息用于在目标声道播放。
上述的播放单元还可用于在目标声道播放对第三编码数据进行解码得到的第一信息和第二信息。
上述的第一获取单元可包括:获取模块,用于获取服务器对第一音频进行转换处理得到的第二音频;转换模块,用于在终端上对第一音频进行转换处理得到第二音频。
上述转换模块还可用于:根据第一编码数据中携带的采集到的音频信号与第二编码数据中携带的采集到的音频信号之间的关系对第一音频进行转换处理得到第二音频。
上述转换模块可包括:
第一转换子模块,用于在第一信号幅值与第二信号幅值之间的差值在目标范围内、且第一信号相位与第二信号相位相反的情况下,将第一编码数据或第二编码数据作为第三编码数据,其中,第一信号幅值是第一编码数据中携带的在第一采样时刻采集到的音频信号的信号幅值,第二信号幅值是第二编码数据中携带的在第一采样时刻采集到的音频信号的信号幅值,第一信号相位是第一编码数据中携带的在第一采样时刻采集到的音频信号的信号相位,第二信号相位是第二编码数据中携带的在第一采样时刻采集到的音频信号的信号相位;
第二转换子模块,用于在第一信号幅值与第三信号幅值之间的差值在目标范围内、且第一信号相位与第三信号相位相反的情况下,将第一编码数据或第二编码数据作为第三编码数据,其中,第三信号幅值是第二编码数据中携带的在第二采样时刻采集到的音频信号的信号幅值,第三信号相位是第二编码数据中携带的在第二采样时刻采集到的音频信号的信号相位,第二采样时刻与第一采样时刻之间的差值在第二范围内;
第三转换子模块,用于在第一信号幅值与第二信号幅值之间的差值不在目标范围内的情况下,对第一编码数据中携带的采集到的音频信号和第二编码数据中携带的采集到的音频信号进行转换处理,得到第三编码数据。
上述第一获取单元还可用于按照如下方式确认第一音频支持的声道是否与终端支持的目标声道匹配:在第一音频支持的声道的数量与终端支持的目标声道的数量不同的情况下,确认第一音频支持的声道与终端支持的目标声道不匹配;在第一音频支持的声道的数量与终端支持的目标声道的数量相同的情况下,确认第一音频支持的声道与终端支持的目标声道匹配。
根据本发明实施例的另一个方面,还提供了一种用于实施上述音频的传输方法的音频的传输装置,该装置可以包括:
第二获取单元,用于获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
发送单元,用于在第一音频支持的声道与终端支持的目标声道不匹配的情况下,向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
可选地,上述装置还可包括:音频转换单元,用于在在向终端返回第二音频之前,对第一音频进行转换处理得到的第二音频,其中,第一音频包括第一编码数据和第二编码数据,第一编码数据表示的第一信息用于在第一声道播放,第二编码数据表示的第二信息用于在第二声道播放,第一编码数据不同于第二编码数据,第二音频包括第三编码数据,第三编码数据表示的第一信息和第二信息用于在目标声道播放。
采用本申请的技术方案,所产生的有益效果包括但不局限于:1)节约了专业设备、时间、人力成本;2)使得直播声音源的容错性大大提高;3)使得终端播放设备和平台产品的兼容性大大提高,可以兼容html5,PCflash,移动端Android和iOS平台等;4)优化了直播观看用户端的播放体验。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
根据本发明实施例的另一个方面,还提供了一种用于实施上述音频的播放方法的服务器或终端。
图17是根据本发明实施例的一种终端的结构框图,如图17所示,该终端可以包括:一个或多个(图17中仅示出一个)处理器1701、存储器1703、以及传输装置1705(如上述实施例中的发送装置),如图17所示,该终端还可以包括输入输出设备1707。
其中,存储器1703可用于存储软件程序以及模块,如本发明实施例中的音频的播放方法和装置对应的程序指令/模块,处理器1701通过运行存储在存储器1703内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的音频的播放方法。存储器1703可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1703可进一步包括相对于处理器1701远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1705用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1705包括一个网络适配器(NetworkInterface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1705为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器1703用于存储应用程序。
处理器1701可以通过传输装置1705调用存储器1703存储的应用程序,以执行下述步骤:
接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;
通过第二音频在终端的目标声道播放第一信息和第二信息。
处理器1701还用于执行下述步骤:
获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
在第一音频支持的声道与终端支持的目标声道不匹配的情况下,向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
采用本发明实施例,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放,第二音频表示的第一信息和第二信息用于在目标声道播放;通过第二音频在终端的目标声道播放第一信息和第二信息,可以解决相关技术中播放音频时容易出现播放故障的技术问题,进而达到了完整播放第一信息和第二信息的技术效果。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图17所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图17其并不对上述电子装置的结构造成限定。例如,终端还可包括比图17中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图17所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行音频的播放方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
S12,接收第一播放请求,其中,第一播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
S14,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放;
S16,通过第二音频在终端的目标声道播放第一信息和第二信息
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:
S22,获取终端的第二播放请求,其中,第二播放请求用于请求播放第一音频,第一音频表示的第一信息用于在第一声道播放,第一音频表示的第二信息用于在第二声道播放;
S24,在第一音频支持的声道与终端支持的目标声道不匹配的情况下,向终端返回第二音频,其中,第一音频支持的声道包括第一声道和第二声道,第二音频表示的第一信息和第二信息用于在目标声道播放。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种音频的播放方法,其特征在于,包括:
接收第一播放请求,其中,所述第一播放请求用于请求播放第一音频,所述第一音频表示的第一信息用于在第一声道播放,所述第一音频表示的第二信息用于在第二声道播放;
在所述第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,所述第一音频支持的声道包括所述第一声道和所述第二声道,所述第二音频表示的所述第一信息和所述第二信息用于在所述目标声道播放;
通过所述第二音频在所述终端的目标声道播放所述第一信息和所述第二信息。
2.根据权利要求1所述的方法,其特征在于,通过所述第二音频在所述终端的目标声道播放所述第一信息和所述第二信息包括:
在所述目标声道包括一个声道的情况下,在所述目标声道中播放所述第一信息和所述第二信息;
在所述目标声道包括多个声道的情况下,在所述目标声道所包括的至少一个声道中播放所述第一信息和所述第二信息。
3.根据权利要求2所述的方法,其特征在于,在所述目标声道所包括的至少一个声道中播放所述第一信息和所述第二信息包括:
在所述目标声道所包括的一个声道中播放所述第一信息和所述第二信息;
在所述目标声道所包括的至少两个声道中播放所述第一信息和所述第二信息,其中,所述至少两个声道中的每个声道均用于播放所述第一信息和所述第二信息。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,获取所述第二音频包括:
获取对所述第一音频进行处理得到的所述第二音频,其中,所述第一音频包括第一编码数据和第二编码数据,所述第一编码数据表示的所述第一信息用于在所述第一声道播放,所述第二编码数据表示的所述第二信息用于在所述第二声道播放,所述第一编码数据不同于所述第二编码数据,所述第二音频包括第三编码数据,所述第三编码数据表示的所述第一信息和所述第二信息用于在所述目标声道播放。
5.根据权利要求4所述的方法,其特征在于,通过所述第二音频在所述终端的目标声道播放所述第一信息和所述第二信息包括:
在所述目标声道播放对所述第三编码数据进行解码得到的所述第一信息和所述第二信息。
6.根据权利要求4所述的方法,其特征在于,获取对所述第一音频进行处理得到的所述第二音频包括:
获取服务器对所述第一音频进行转换处理得到的所述第二音频;或,
在所述终端上对所述第一音频进行转换处理得到所述第二音频。
7.根据权利要求6所述的方法,其特征在于,在所述终端上对所述第一音频进行转换处理得到所述第二音频包括:
根据所述第一编码数据中携带的采集到的音频信号与所述第二编码数据中携带的采集到的音频信号之间的关系对所述第一音频进行转换处理得到所述第二音频。
8.根据权利要求7所述的方法,其特征在于,根据所述第一编码数据中携带的采集到的音频信号与所述第二编码数据中携带的采集到的音频信号之间的关系对所述第一音频进行转换处理得到所述第二音频包括:
在第一信号幅值与第二信号幅值之间的差值在目标范围内、且第一信号相位与第二信号相位相反的情况下,将所述第一编码数据或所述第二编码数据作为所述第三编码数据,其中,所述第一信号幅值是所述第一编码数据中携带的在第一采样时刻采集到的音频信号的信号幅值,所述第二信号幅值是所述第二编码数据中携带的在所述第一采样时刻采集到的音频信号的信号幅值,所述第一信号相位是所述第一编码数据中携带的在所述第一采样时刻采集到的音频信号的信号相位,所述第二信号相位是所述第二编码数据中携带的在所述第一采样时刻采集到的音频信号的信号相位;
在所述第一信号幅值与第三信号幅值之间的差值在所述目标范围内、且所述第一信号相位与第三信号相位相反的情况下,将所述第一编码数据或所述第二编码数据作为所述第三编码数据,其中,所述第三信号幅值是所述第二编码数据中携带的在第二采样时刻采集到的音频信号的信号幅值,所述第三信号相位是所述第二编码数据中携带的在所述第二采样时刻采集到的音频信号的信号相位,所述第二采样时刻与所述第一采样时刻之间的差值在第二范围内;
在所述第一信号幅值与所述第二信号幅值之间的差值不在所述目标范围内的情况下,对所述第一编码数据中携带的采集到的音频信号和所述第二编码数据中携带的采集到的音频信号进行转换处理,得到所述第三编码数据。
9.根据权利要求1至3中任意一项所述的方法,其特征在于,所述方法还包括按照如下方式确认所述第一音频支持的声道是否与所述终端支持的目标声道匹配:
在所述第一音频支持的声道的数量与所述终端支持的目标声道的数量不同的情况下,确认所述第一音频支持的声道与所述终端支持的目标声道不匹配;
在所述第一音频支持的声道的数量与所述终端支持的目标声道的数量相同的情况下,确认所述第一音频支持的声道与所述终端支持的目标声道匹配。
10.一种音频的传输方法,其特征在于,包括:
获取终端的第二播放请求,其中,所述第二播放请求用于请求播放第一音频,所述第一音频表示的第一信息用于在第一声道播放,所述第一音频表示的第二信息用于在第二声道播放;
在所述第一音频支持的声道与终端支持的目标声道不匹配的情况下,向所述终端返回第二音频,其中,所述第一音频支持的声道包括所述第一声道和所述第二声道,所述第二音频表示的所述第一信息和所述第二信息用于在所述目标声道播放。
11.根据权利要求10所述的方法,其特征在于,在向所述终端返回第二音频之前,所述方法还包括:
对所述第一音频进行转换处理得到的所述第二音频,其中,所述第一音频包括第一编码数据和第二编码数据,所述第一编码数据表示的所述第一信息用于在所述第一声道播放,所述第二编码数据表示的所述第二信息用于在所述第二声道播放,所述第一编码数据不同于所述第二编码数据,所述第二音频包括第三编码数据,所述第三编码数据表示的所述第一信息和所述第二信息用于在所述目标声道播放。
12.一种音频的播放装置,其特征在于,包括:
接收单元,用于接收第一播放请求,其中,所述第一播放请求用于请求播放第一音频,所述第一音频表示的第一信息用于在第一声道播放,所述第一音频表示的第二信息用于在第二声道播放;
第一获取单元,用于在所述第一音频支持的声道与终端支持的目标声道不匹配的情况下,获取第二音频,其中,所述第一音频支持的声道包括所述第一声道和所述第二声道,所述第二音频表示的所述第一信息和所述第二信息用于在所述目标声道播放;
播放单元,用于通过所述第二音频在所述终端的目标声道播放所述第一信息和所述第二信息。
13.一种音频的传输装置,其特征在于,包括:
第二获取单元,用于获取终端的第二播放请求,其中,所述第二播放请求用于请求播放第一音频,所述第一音频表示的第一信息用于在第一声道播放,所述第一音频表示的第二信息用于在第二声道播放;
发送单元,用于在所述第一音频支持的声道与终端支持的目标声道不匹配的情况下,向所述终端返回第二音频,其中,所述第一音频支持的声道包括所述第一声道和所述第二声道,所述第二音频表示的所述第一信息和所述第二信息用于在所述目标声道播放。
14.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至11任一项中所述的方法。
15.一种电子装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器通过所述计算机程序执行上述权利要求1至11任一项中所述的方法。
CN201810265087.3A 2018-03-28 2018-03-28 音频的播放方法和装置、存储介质、电子装置 Active CN108616800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810265087.3A CN108616800B (zh) 2018-03-28 2018-03-28 音频的播放方法和装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810265087.3A CN108616800B (zh) 2018-03-28 2018-03-28 音频的播放方法和装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN108616800A true CN108616800A (zh) 2018-10-02
CN108616800B CN108616800B (zh) 2021-04-09

Family

ID=63659262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810265087.3A Active CN108616800B (zh) 2018-03-28 2018-03-28 音频的播放方法和装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN108616800B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189661A (zh) * 2018-10-11 2019-01-11 上海电气集团股份有限公司 一种工业实时数据库的性能测试方法
CN109862475A (zh) * 2019-01-28 2019-06-07 Oppo广东移动通信有限公司 音频播放设备及方法、存储介质、通信终端
CN110312032A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 音频播放方法及相关产品
CN111182315A (zh) * 2019-10-18 2020-05-19 腾讯科技(深圳)有限公司 一种多媒体文件拼接方法、装置、设备及介质
CN111200777A (zh) * 2020-02-21 2020-05-26 北京达佳互联信息技术有限公司 信号处理方法及装置、电子设备和存储介质
CN112788350A (zh) * 2019-11-01 2021-05-11 上海哔哩哔哩科技有限公司 直播控制方法、装置及系统
CN113115178A (zh) * 2021-05-12 2021-07-13 西安易朴通讯技术有限公司 音频信号处理方法及装置
CN114040317A (zh) * 2021-09-22 2022-02-11 北京车和家信息技术有限公司 音响的声道补偿方法及装置、电子设备和存储介质
CN115794022A (zh) * 2022-12-02 2023-03-14 摩尔线程智能科技(北京)有限责任公司 音频输出方法、装置、设备、存储介质和程序产品
CN117234454A (zh) * 2023-11-13 2023-12-15 福建联迪商用设备有限公司 一种多通道音频输出控制方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065265A (zh) * 2009-11-13 2011-05-18 华为终端有限公司 实现混音的方法、装置和系统
CN103188595A (zh) * 2011-12-31 2013-07-03 展讯通信(上海)有限公司 处理多声道音频信号的方法和系统
CN105392082A (zh) * 2014-08-28 2016-03-09 哈曼国际工业有限公司 无线扬声器系统
CN105632541A (zh) * 2015-12-23 2016-06-01 惠州Tcl移动通信有限公司 一种录制手机输出音频的方法、系统及手机
CN106935251A (zh) * 2015-12-30 2017-07-07 瑞轩科技股份有限公司 音频播放装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065265A (zh) * 2009-11-13 2011-05-18 华为终端有限公司 实现混音的方法、装置和系统
CN103188595A (zh) * 2011-12-31 2013-07-03 展讯通信(上海)有限公司 处理多声道音频信号的方法和系统
CN105392082A (zh) * 2014-08-28 2016-03-09 哈曼国际工业有限公司 无线扬声器系统
CN105632541A (zh) * 2015-12-23 2016-06-01 惠州Tcl移动通信有限公司 一种录制手机输出音频的方法、系统及手机
CN106935251A (zh) * 2015-12-30 2017-07-07 瑞轩科技股份有限公司 音频播放装置及方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189661A (zh) * 2018-10-11 2019-01-11 上海电气集团股份有限公司 一种工业实时数据库的性能测试方法
CN109862475A (zh) * 2019-01-28 2019-06-07 Oppo广东移动通信有限公司 音频播放设备及方法、存储介质、通信终端
CN110312032B (zh) * 2019-06-17 2021-04-02 Oppo广东移动通信有限公司 音频播放方法、装置、电子设备及计算机可读存储介质
CN110312032A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 音频播放方法及相关产品
CN111182315A (zh) * 2019-10-18 2020-05-19 腾讯科技(深圳)有限公司 一种多媒体文件拼接方法、装置、设备及介质
CN112788350A (zh) * 2019-11-01 2021-05-11 上海哔哩哔哩科技有限公司 直播控制方法、装置及系统
CN112788350B (zh) * 2019-11-01 2023-01-20 上海哔哩哔哩科技有限公司 直播控制方法、装置及系统
CN111200777A (zh) * 2020-02-21 2020-05-26 北京达佳互联信息技术有限公司 信号处理方法及装置、电子设备和存储介质
CN113115178A (zh) * 2021-05-12 2021-07-13 西安易朴通讯技术有限公司 音频信号处理方法及装置
CN114040317A (zh) * 2021-09-22 2022-02-11 北京车和家信息技术有限公司 音响的声道补偿方法及装置、电子设备和存储介质
CN114040317B (zh) * 2021-09-22 2024-04-12 北京车和家信息技术有限公司 音响的声道补偿方法及装置、电子设备和存储介质
CN115794022A (zh) * 2022-12-02 2023-03-14 摩尔线程智能科技(北京)有限责任公司 音频输出方法、装置、设备、存储介质和程序产品
CN115794022B (zh) * 2022-12-02 2023-12-19 摩尔线程智能科技(北京)有限责任公司 音频输出方法、装置、设备、存储介质和程序产品
CN117234454A (zh) * 2023-11-13 2023-12-15 福建联迪商用设备有限公司 一种多通道音频输出控制方法、装置及电子设备
CN117234454B (zh) * 2023-11-13 2024-02-20 福建联迪商用设备有限公司 一种多通道音频输出控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN108616800B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN108616800A (zh) 音频的播放方法和装置、存储介质、电子装置
US10674262B2 (en) Merging audio signals with spatial metadata
CN105075295B (zh) 用于生成和渲染具有条件渲染元数据的基于对象的音频的方法和系统
CN101681663B (zh) 处理音频数据的设备和方法
CN103621101B (zh) 用于自适应音频系统的同步化和切换方法及系统
CA2967519C (en) Decoder for decoding a media signal and encoder for encoding secondary media data comprising metadata or control data for primary media data
US20150237454A1 (en) Content-aware audio modes
CN103151056A (zh) 音频文件以及相关信息的无线共享
MXPA02007515A (es) Uso de voz a audio restante (vra) en aplicaciones de consumidor.
JP2009278381A (ja) 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
US9756437B2 (en) System and method for transmitting environmental acoustical information in digital audio signals
KR20220077132A (ko) 시청각 콘텐츠용 바이노럴 몰입형 오디오 생성 방법 및 시스템
CN106341719A (zh) 同时利用设备多种播放模块的同步音频播放方法及装置
CN105898503A (zh) 移动终端的播放控制方法、装置和系统
CN101458951A (zh) 具有多功能的影音节目信号处理系统
CN106856094B (zh) 环绕式直播立体声方法
CN203206451U (zh) 一种3d音频处理系统
CN105810221A (zh) 一种无线同步音频播放系统
US20190182557A1 (en) Method of presenting media
RU2527732C2 (ru) Способ озвучивания видеотрансляции
CN114913837B (zh) 一种音频处理方法及装置
US11924622B2 (en) Centralized processing of an incoming audio stream
US20060008093A1 (en) Media recorder system and method
CN118590706A (zh) 一种多音频处理方法、装置及系统
Baumgartner et al. Speech Intelligibility in TV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant