CN111787268B - 音频信号的处理方法、装置、电子设备及存储介质 - Google Patents
音频信号的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111787268B CN111787268B CN202010622129.1A CN202010622129A CN111787268B CN 111787268 B CN111787268 B CN 111787268B CN 202010622129 A CN202010622129 A CN 202010622129A CN 111787268 B CN111787268 B CN 111787268B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- audio
- frame
- amplitude
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 312
- 238000003672 processing method Methods 0.000 title description 20
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种音频信号的处理方法、装置、电子设备及存储介质，方法包括：获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。与现有技术相比，在对音频信号中的音频帧的播放速度进行调整时，参考了音频信号中的音频帧的能量和/或幅度，对音频信号中能量较低或幅度较低的音频帧进行较大的调整，对音频信号中能量较高或幅度较大的音频帧进行较小的调整，进而可以提高音频信号播放时的稳定性，减少用户对于音频信号速度变化的感知，提升用户的体验。
Description
技术领域
本发明涉及语音通话领域，尤其涉及一种音频信号的处理方法、装置、电子设备及存储介质。
背景技术
在视频会议中，当网络不稳定时，音频信号会出现短暂丢失和累积的情况。针对这种情况，通常会增大终端设备中设置的抗抖动缓冲区，让声音播放能够平稳。但是过大的抗抖动缓冲区会导致声音延迟过大，从而降低用户的体验。
现有技术中，为了避免抗抖动缓冲区导致的声音延迟过大，有一种自动调整播放速度的做法。当网络异常时，放慢音频信号的播放速度，当网络恢复时，重新获取之前的音频信号并加快音频信号的播放速度。
然而，现有的调整音频信号的播放速度的方法，虽然避免了网络异常时声音延迟过大的问题，但是会导致音频信号播放时忽快忽慢，造成音频信号播放时的稳定性较差，进而降低用户体验。
发明内容
本发明提供一种音频信号的处理方法、装置、电子设备及存储介质，以解决现有技术中音频信号播放时的稳定性差的问题。
本发明第一个方面提供一种音频信号的处理方法，所述方法包括：
获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；
根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整。
一种可选的实施方式中，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量；
根据所述音频信号中的每个音频帧对应的速度变化量，对所述音频信号中的每个音频帧的播放速度进行调整。
一种可选的实施方式中，所述根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量，包括：
根据所述音频信号中的每个音频帧的幅度，确定所述音频信号中的音频的平均幅度；
根据所述音频信号中的音频的平均幅度和所述音频信号中的每个音频帧的幅度，确定所述音频信号中的每个音频帧对应的速度变化量。
一种可选的实施方式中，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的静音帧；
对所述音频信号中的静音帧的播放速度进行调整。
一种可选的实施方式中，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
若检测到所述终端设备的网络异常，则根据所述音频信号中的音频帧的能量和/或幅度，降低所述音频信号中的音频帧的播放速度。
一种可选的实施方式中，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
若检测到所述终端设备从网络异常中恢复，则根据所述音频信号中的音频帧的能量和/或幅度，加快所述音频信号中的音频帧的播放速度。
本发明第二个方面提供一种音频信号的处理装置，所述装置包括：
获取模块，用于获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；
调整模块，用于根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整。
一种可选的实施方式中，所述调整模块，具体用于根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量；根据所述音频信号中的每个音频帧对应的速度变化量，对所述音频信号中的每个音频帧的播放速度进行调整。
一种可选的实施方式中，所述调整模块，具体用于根据所述音频信号中的每个音频帧的幅度，确定所述音频信号中的音频的平均幅度；根据所述音频信号中的音频的平均幅度和所述音频信号中的每个音频帧的幅度，确定所述音频信号中的每个音频帧对应的速度变化量。
一种可选的实施方式中，所述调整模块，具体用于根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的静音帧；对所述音频信号中的静音帧的播放速度进行调整。
一种可选的实施方式中，所述调整模块，具体用于若检测到所述终端设备的网络异常，则根据所述音频信号中的音频帧的能量和/或幅度，降低所述音频信号中的音频帧的播放速度。
一种可选的实施方式中，所述调整模块，具体用于若检测到所述终端设备从网络异常中恢复，则根据所述音频信号中的音频帧的能量和/或幅度，加快所述音频信号中的音频帧的播放速度。
本发明实施例的第三方面，提供一种电子设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可选的音频信号的处理方法。
本发明的第四个方面提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面及第一方面各种可选的音频信号的处理方法。
本申请提供的音频信号的处理方法、装置、电子设备及存储介质，通过获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号，再根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。与现有技术相比，在对音频信号中的音频帧的播放速度进行调整时，参考了音频信号中的音频帧的能量和/或幅度，对音频信号中能量较低或幅度较低的音频帧进行较大的调整，对音频信号中能量较高或幅度较大的音频帧进行较小的调整，进而可以提高音频信号播放时的稳定性，减少用户对于音频信号速度变化的感知，提升用户的体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音频信号的处理方法的应用场景示意图；
图2为本申请实施例提供的一种音频信号的处理方法的流程示意图；
图3为本申请实施例提供的另一种音频信号的处理方法的流程示意图；
图4为本申请实施例提供的再一种音频信号的处理方法的流程示意图；
图5为本申请实施例提供的又一种音频信号的处理方法的流程示意图；
图6为本申请实施例提供的一种音频信号的处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在视频会议中，当网络不稳定时，音频信号会出现短暂丢失和累积的情况。针对这种情况，通常会增大终端设备中设置的抗抖动缓冲区，让声音播放能够平稳。但是过大的抗抖动缓冲区会导致声音延迟过大，从而降低用户的体验。现有技术中，为了避免抗抖动缓冲区导致的声音延迟过大，有一种自动调整播放速度的做法。当网络异常时，放慢音频信号的播放速度，当网络恢复时，重新获取之前的音频信号并加快音频信号的播放速度。
然而，现有的调整音频信号的播放速度的方法，虽然避免了网络异常时声音延迟过大的问题，但是会导致音频信号播放时忽快忽慢，造成音频信号播放时的稳定性差，进而降低用户体验。
为解决上述问题，本申请实施例提供一种音频信号的处理方法、装置、电子设备及存储介质，以解决音频信号播放时的稳定性差的问题。本申请的发明构思是：在对音频信号的播放速度进行调整时，对音频信号中能量较低或幅度较低的音频帧进行较大的调整，对音频信号中能量较高或幅度较大的音频帧进行较小的调整，从而提高音频信号播放时的稳定性，减少用户对于音频信号速度变化的感知，提升体验。
图1为本申请实施例提供的一种音频信号的处理方法的应用场景示意图。如图1所示，用户通过第一终端设备101和第二终端设备102进行视频会议，第一终端设备101通过服务器103向第二终端设备102发送音频信号。此时，若第一终端设备101的网络出现异常，第一终端设备101可以降低抗抖动缓冲区内已经接收到的音频信号的播放速度。随后，等待第一终端设备101的网络从异常中恢复后，可以重新接收后续的音频信号，并加快后续接收到的音频信号的播放速度，以降低视频会议双方的延迟。
其中，第一终端设备101和第二终端设备102可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例中，用于实现终端的功能的装置可以是终端设备，也可以是能够支持终端实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备中。本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
服务器103可以是一台服务器，或者是云服务平台中的服务器。服务器用于接收第一终端设备101和第二终端设备102发送的视频信号和音频信号，并将视频信号和音频信号发送给对端通话终端。
需要说明的是，本申请技术方案的应用场景可以是图1中的应用场景，但并不限于此，还可以应用于其他需要进行语音通话的场景。
可以理解，上述音频信号的处理方法可以通过本申请实施例提供的音频信号的处理装置实现，音频信号的处理装置可以是某个设备的部分或全部，例如可以是终端设备或者终端设备的处理器。
下面以集成或安装有相关执行代码的终端设备为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种音频信号的处理方法的流程示意图，本实施例的执行主体是终端设备，本实施例涉及的是如何对音频信号中的音频帧的播放速度进行调整的具体过程。如图2所示，该方法包括：
S201、获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号。
在本申请中，终端设备可以设置有抗抖缓冲区，当终端设备和对端通话节点进行视频会议或语音通话时，对端通话节点会持续向终端设备发送音频信号，此时，终端设备可以将音频信号暂存在抗抖缓冲区中。当终端设备需要播放音频信号或者对音频信号中的音频帧的播放速度进行调整时，可以从终端设备的抗抖缓冲区中获取对端通话节点发送的音频信号。
其中，抗抖缓冲区为一个共享的数据区域，在抗抖缓冲区中，每隔一段均匀的间隔，音频信号会被收集，存储并发送给处理器。抖动缓冲区在接收音频信号时会有意地延迟到达的音频信号，从而避免通话时的语音播放更加平稳。
S202、根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。
在本步骤中，当终端设备获取抗抖缓冲区中接收到的对端通话节点发送的音频信号后，可以根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。
其中，对音频信号中的音频帧的播放速度进行调整包括有加快音频信号中的音频帧的播放速度和降低音频信号中的音频帧的播放速度。
本申请实施例对于何时调整音频信号的播放速度不做限制，在一些实施例中，若检测到终端设备的网络异常，终端设备则根据音频信号中的音频帧的能量和/或幅度，降低音频信号中的音频帧的播放速度。在另一些实施例中，若检测到终端设备从网络异常中恢复，则根据音频信号中的音频帧的能量和/或幅度，加快音频信号中的音频帧的播放速度。
在一些实施例中，由于正常交谈时，总是会有些停下来休息的地方，导致音频信号中出现静音帧，在没有声音的静音段对音频信号进行减慢或加速播放，只拉长或缩短了静音段，使用者感知不明显。示例性的，终端设备可以先根据音频信号中的音频帧的能量和/或幅度，确定抗抖缓冲区中的静音帧。随后，终端设备再对音频信号中的静音帧的播放速度进行调整。
在另一些实施例中，若一些音频信号中不存在静音帧，此时可以按照声音的能量和/或幅度对音频信号的速度变化量进行分配。当音频信号的能量或幅度较低时，分配较大的速度变化比例。当音频信号的能量或幅度较高时，分配较小的速度变化比例。示例性的，终端设备可以先根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的每个音频帧对应的速度变化量。随后，终端设备再根据音频信号中的每个音频帧对应的速度变化量，对音频信号中的每个音频帧的播放速度进行调整。
本申请实施例提供的音频信号的处理方法，通过获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号，再根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。与现有技术相比，在对音频信号中的音频帧的播放速度进行调整时，参考了音频信号中的音频帧的能量和/或幅度，对音频信号中能量较低或幅度较低的音频帧进行较大的调整，对音频信号中能量较高或幅度较大的音频帧进行较小的调整，进而可以提高音频信号播放时的稳定性，减少用户对于音频信号速度变化的感知，提升用户的体验。
在上述实施例的基础上，下面提供两种基于音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整的方式。图3为本申请实施例提供的另一种音频信号的处理方法的流程示意图，图3为第一种基于音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整的方式。如图3所示，音频信号的处理方法，包括：
S301、获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号。
步骤S301的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201理解，对于重复的内容，在此不再累述。
S302、根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的每个音频帧对应的速度变化量。
在本步骤中，终端设备在获取抗抖缓冲区中接收到的对端通话节点发送的音频信号之后，可以先根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的每个音频帧对应的速度变化量。
本申请实施例对于如何确定每个音频帧对应的速度变化量不做限制，只需确保当音频信号的能量或幅度较低时，分配较大的速度变化比例，当音频信号的能量或幅度较高时，分配较小的速度变化比例。
在一些实施例中，终端设备可以根据音频信号中的每个音频帧的幅度，确定音频信号中的音频的平均幅度。随后，终端设备再根据音频信号中的音频的平均幅度和音频信号中的每个音频帧的幅度，确定音频信号中的每个音频帧对应的速度变化量。
其中，在第一中方式中，终端设备可以以幅度和速度变化量成线性反比的方式来分配每一帧音频帧对应的速度变化量。
示例性的，若抗抖缓冲区内的音频信号的时间长度为X秒，需要拉伸/压缩到Y秒，音频信号的分帧长度为T秒，则音频信号可以分成N＝X/T帧。相应的，可以终端设备可以统计中X秒的整段音频信号的平均幅度A，针对时长为T的第n帧音频帧，终端设备也可以统计出它的幅度An。随后，终端设备可以将音频信号的平均幅度A和第n帧音频帧的幅度An输入公式(1)和(2)中，确定出音频信号中的每个音频帧对应的速度变化量。公式(1)和(2)如下所示：
Cn＝s*A/An.................................(1)
s＝(Y-X)/(A/A1+A/A2+......+A/An)...................(2)
其中，Cn为第n帧音频帧对应的速度变化量，s为待定系数，A为音频信号的平均幅度，An为第n帧音频帧的幅度，X为音频信号的原时长，Y音频信号的目标拉伸/压缩时长。
此外，为了防止当An等于0或很小时，导致不可解或分配差异太大，终端设备可以在An上加上一个较小的正数M。此时，终端设备可以将音频信号的平均幅度A和第n帧音频帧的幅度An输入公式(3)和(4)中，确定出音频信号中的每个音频帧对应的速度变化量。公式(3)和(4)如下所示：
Cn＝s*A/(An+M)................................(3)
s＝(Y-X)/(A/(A1+M)+A/(A2+M)+......+A/(An+M))...................(4)
需要说明的是，本申请实施例对于M的取值不做限制，可以根据实际情况具体设置，示例性的，可以取平均幅度的5％。
在第二种方式中，终端设备还可以以幅度和速度变化量成非线性化的方式来分配每一帧音频帧对应的速度变化量。
示例性的，终端设备可以将音频信号的平均幅度A和第n帧音频帧的幅度An输入公式(5)和(6)中，确定出音频信号中的每个音频帧对应的速度变化量。公式(5)和(6)如下所示：
Cn＝s*(A/(An+M))^z................................(5)
s＝(Y-X)/((A/(A1+M))^z+(A/(A2+M))^z+......+(A/(An+M))^z)..........(6)
其中，Z为常数，可以根据实际情况具体设置。若需要对于幅度小的音频帧分配更多的速度变化量，则z可以取大于1的值。若需要对不同幅度的音频帧均匀分配，则z可以取小于1的值。
需要说明的是，本申请实施例采用幅度为例对音频信号中的音频帧的播放速度进行调整进行说明，但并不构成限制。本申请实施例涉及的公式(1)-(6)中的幅度A，均可以替换为能量E，或者功率P。
S303、根据音频信号中的每个音频帧对应的速度变化量，对音频信号中的每个音频帧的播放速度进行调整。
在本步骤中，当终端设备确定音频信号中的每个音频帧对应的速度变化量后，可以基于音频信号中的每个音频帧对应的速度变化量，对音频信号中的每个音频帧的播放速度进行调整。
图4为本申请实施例提供的再一种音频信号的处理方法的流程示意图，图4为第一种基于音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整的方式。如图4所示，音频信号的处理方法，包括：
S401、获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号。
步骤S401的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的步骤S201理解，对于重复的内容，在此不再累述。
S402、根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的静音帧。
在本步骤中，终端设备获取抗抖缓冲区中接收到的对端通话节点发送的音频信号后，可以根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的静音帧。
在本申请实施例对于如何确定音频信号中的静音帧不做限制，在一些实施例中，当音频信号中的某一帧音频帧的能量和/或幅度为零时，终端设备可以确定该音频帧为静音帧。在另一些实施例中，当音频信号中的某一帧音频帧的能量低于能量阈值，和/或，幅度低于幅度阈值时，终端设备可以确定该音频帧为静音帧。
S403、对音频信号中的静音帧的播放速度进行调整。
在本步骤中，终端设备根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的静音帧后，可以对音频信号中的静音帧的播放速度进行调整。
本申请实施例对于如何对音频信号中的静音帧的播放速度进行调整不做限制，在一些实施例中，终端设备可以为每个静音帧平均分配速度变化量。在另一些实施例中，终端设备可以给连续的静音帧分配更多的速度变化量。
在上述实施例的基础上，下面提供一个在视频会议过程中网络发生异常后音频信号的处理方法。图5为本申请实施例提供的又一种音频信号的处理方法的流程示意图，如图5所示，音频信号的处理方法，包括：
S501、获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号。
S502、若检测到终端设备的网络异常，则根据音频信号中的音频帧的能量和/或幅度，降低音频信号中的音频帧的播放速度。
S503、若检测到终端设备从网络异常中恢复，则根据音频信号中的音频帧的能量和/或幅度，加快音频信号中的音频帧的播放速度。
本申请实施例提供的音频信号的处理方法，通过获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号，再根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。与现有技术相比，在对音频信号中的音频帧的播放速度进行调整时，参考了音频信号中的音频帧的能量和/或幅度，对音频信号中能量较低或幅度较低的音频帧进行较大的调整，对音频信号中能量较高或幅度较大的音频帧进行较小的调整，进而可以提高音频信号播放时的稳定性，减少用户对于音频信号速度变化的感知，提升用户的体验。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例提供的一种音频信号的处理装置的结构示意图。该音频信号的处理装置可以通过软件、硬件或者两者的结合实现，可例如上述实施例中的终端设备或终端设备的芯片，以执行上述实施例中的音频信号的处理方法。如图6所示，该音频信号的处理装置包括：获取模块601和调整模块602。
获取模块601，用于获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；
调整模块602，用于根据音频信号中的音频帧的能量和/或幅度，对音频信号中的音频帧的播放速度进行调整。
一种可选的实施方式中，调整模块602，具体用于根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的每个音频帧对应的速度变化量；根据音频信号中的每个音频帧对应的速度变化量，对音频信号中的每个音频帧的播放速度进行调整。
一种可选的实施方式中，调整模块602，具体用于根据音频信号中的每个音频帧的幅度，确定音频信号中的音频的平均幅度；根据音频信号中的音频的平均幅度和音频信号中的每个音频帧的幅度，确定音频信号中的每个音频帧对应的速度变化量。
一种可选的实施方式中，调整模块602，具体用于根据音频信号中的音频帧的能量和/或幅度，确定音频信号中的静音帧；对音频信号中的静音帧的播放速度进行调整。
一种可选的实施方式中，调整模块602，具体用于若检测到终端设备的网络异常，则根据音频信号中的音频帧的能量和/或幅度，降低音频信号中的音频帧的播放速度。
一种可选的实施方式中，调整模块602，具体用于若检测到终端设备从网络异常中恢复，则根据音频信号中的音频帧的能量和/或幅度，加快音频信号中的音频帧的播放速度。
本申请实施例提供的音频信号的处理装置，可以执行上述方法实施例中的音频信号的处理方法，其实现原理和技术效果类似，在此不再赘述。
图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，该电子设备可以包括：至少一个处理器701和存储器702。图7示出的是以一个处理器为例的电子设备。
存储器702，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器702可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器701用于执行存储器702存储的计算机执行指令，以实现上述人群过密预测方法；
其中，处理器701可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果通信接口、存储器702和处理器701独立实现，则通信接口、存储器702和处理器701可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器702和处理器701集成在一块芯片上实现，则通信接口、存储器702和处理器701可以通过内部接口完成通信。
本申请实施例还提供了一种芯片，包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的方法。该芯片可以应用于音频信号的处理装置中。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述音频信号的处理方法。
本申请实施例还提供一种程序，该程序在被处理器执行时用于执行以上方法实施例提供的音频信号的处理方法。
本申请实施例还提供一种程序产品，例如计算机可读存储介质，该程序产品中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例提供的音频信号的处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种音频信号的处理方法，其特征在于，所述方法包括：
获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；
根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整；
所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量；
根据所述音频信号中的每个音频帧对应的速度变化量，对所述音频信号中的每个音频帧的播放速度进行调整。
2.根据权利要求1所述的方法，其特征在于，所述根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量，包括：
根据所述音频信号中的每个音频帧的幅度，确定所述音频信号中的音频的平均幅度；
根据所述音频信号中的音频的平均幅度和所述音频信号中的每个音频帧的幅度，确定所述音频信号中的每个音频帧对应的速度变化量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的静音帧；
对所述音频信号中的静音帧的播放速度进行调整。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
若检测到所述终端设备的网络异常，则根据所述音频信号中的音频帧的能量和/或幅度，降低所述音频信号中的音频帧的播放速度。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整，包括：
若检测到所述终端设备从网络异常中恢复，则根据所述音频信号中的音频帧的能量和/或幅度，加快所述音频信号中的音频帧的播放速度。
6.一种音频信号的处理装置，其特征在于，所述装置包括：
获取模块，用于获取终端设备的抗抖缓冲区中接收到的对端通话节点发送的音频信号；
调整模块，用于根据所述音频信号中的音频帧的能量和/或幅度，对所述音频信号中的音频帧的播放速度进行调整；
所述调整模块，具体用于根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的每个音频帧对应的速度变化量；根据所述音频信号中的每个音频帧对应的速度变化量，对所述音频信号中的每个音频帧的播放速度进行调整。
7.根据权利要求6所述的装置，其特征在于，所述调整模块，具体用于根据所述音频信号中的每个音频帧的幅度，确定所述音频信号中的音频的平均幅度；根据所述音频信号中的音频的平均幅度和所述音频信号中的每个音频帧的幅度，确定所述音频信号中的每个音频帧对应的速度变化量。
8.根据权利要求6所述的装置，其特征在于，所述调整模块，具体用于根据所述音频信号中的音频帧的能量和/或幅度，确定所述音频信号中的静音帧；对所述音频信号中的静音帧的播放速度进行调整。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述调整模块，具体用于若检测到所述终端设备的网络异常，则根据所述音频信号中的音频帧的能量和/或幅度，降低所述音频信号中的音频帧的播放速度。
10.根据权利要求6-8任一项所述的装置，其特征在于，所述调整模块，具体用于若检测到所述终端设备从网络异常中恢复，则根据所述音频信号中的音频帧的能量和/或幅度，加快所述音频信号中的音频帧的播放速度。
11.一种电子设备，其特征在于，包括：存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一所述的方法。
12.一种存储介质，其上存储有计算机程序，其特征在于，包括：该程序被处理器执行时实现权利要求1-5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622129.1A CN111787268B (zh) | 2020-07-01 | 2020-07-01 | 音频信号的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010622129.1A CN111787268B (zh) | 2020-07-01 | 2020-07-01 | 音频信号的处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111787268A CN111787268A (zh) | 2020-10-16 |
| CN111787268B true CN111787268B (zh) | 2022-04-22 |
Family
ID=72760528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010622129.1A Active CN111787268B (zh) | 2020-07-01 | 2020-07-01 | 音频信号的处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111787268B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114979798B (zh) * | 2022-04-21 | 2024-03-22 | 维沃移动通信有限公司 | 播放速度控制方法和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747287A (zh) * | 2014-01-13 | 2014-04-23 | 合一网络技术(北京)有限公司 | 应用于flash的视频播放速度调整的方法及系统 |
| CN110799936A (zh) * | 2017-08-18 | 2020-02-14 | Oppo广东移动通信有限公司 | 音量调节方法、装置、终端设备及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070263672A1 (en) * | 2006-05-09 | 2007-11-15 | Nokia Corporation | Adaptive jitter management control in decoder |
| CN101119323A (zh) * | 2007-09-21 | 2008-02-06 | 腾讯科技（深圳）有限公司 | 解决网络抖动的方法及装置 |
| WO2009070093A1 (en) * | 2007-11-30 | 2009-06-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Play-out delay estimation |
| PL3011692T3 (pl) * | 2013-06-21 | 2017-11-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sterowanie buforem rozsynchronizowania, dekoder sygnału audio, sposób i program komputerowy |
| TWI559300B (zh) * | 2015-01-21 | 2016-11-21 | 宇智網通股份有限公司 | 基於時域運算之聲音事件偵測方法及相關裝置 |
| CN105245496B (zh) * | 2015-08-26 | 2019-03-12 | 广州市百果园网络科技有限公司 | 一种播放音频数据的方法和装置 |
| CN106559635A (zh) * | 2015-09-30 | 2017-04-05 | 杭州萤石网络有限公司 | 一种多媒体文件的播放方法及装置 |
| WO2017095276A1 (en) * | 2015-11-30 | 2017-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and receiving device for adapting a play-out rate of a jitter buffer |
| CN108605162B (zh) * | 2016-12-30 | 2020-11-06 | 华为技术有限公司 | 音频数据的处理方法和装置，以及用户设备和存储介质 |
-
2020
- 2020-07-01 CN CN202010622129.1A patent/CN111787268B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103747287A (zh) * | 2014-01-13 | 2014-04-23 | 合一网络技术(北京)有限公司 | 应用于flash的视频播放速度调整的方法及系统 |
| CN110799936A (zh) * | 2017-08-18 | 2020-02-14 | Oppo广东移动通信有限公司 | 音量调节方法、装置、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111787268A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111030936B (zh) | 网络访问的限流控制方法、装置及计算机可读存储介质 | |
| CN108076226B (zh) | 一种通话质量调整的方法、移动终端及存储介质 | |
| US9626364B2 (en) | Streaming media | |
| US9008321B2 (en) | Audio processing | |
| CN113490055B (zh) | 数据处理方法和装置 | |
| CN107682752B (zh) | 视频画面显示的方法、装置、系统、终端设备及存储介质 | |
| US20150134846A1 (en) | Method and apparatus for media segment request retry control | |
| CN109660467B (zh) | 用于控制流量的方法和装置 | |
| CN112799793B (zh) | 调度方法及装置、电子设备和存储介质 | |
| KR20170139513A (ko) | 송신 디바이스, 송신 방법 및 프로그램 | |
| CN111787268B (zh) | 音频信号的处理方法、装置、电子设备及存储介质 | |
| CN110602338B (zh) | 音频处理方法、装置、系统、存储介质以及设备 | |
| CN112423074B (zh) | 音视频同步处理方法、装置、电子设备及存储介质 | |
| CN112866970B (zh) | 一种通信连接方法、装置，电子设备及无线传输系统 | |
| CN111478916B (zh) | 基于视频流的数据传输方法、设备和存储介质 | |
| KR20230012105A (ko) | 하울링 제거 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
| CN108616767B (zh) | 一种音频数据传输方法及装置 | |
| CN109309805B (zh) | 一种视频会议的多窗口显示方法、装置、设备和系统 | |
| CN114416013A (zh) | 数据发送方法、装置、电子设备及计算机可读存储介质 | |
| JP2021515463A (ja) | デジタルコンテンツに関する活動通知の提供 | |
| CN111355919B (zh) | 一种通信会话控制方法及装置 | |
| CN114979344A (zh) | 回声消除方法、装置、设备及存储介质 | |
| CN109716432B (zh) | 增益处理方法及其装置、电子设备、信号采集方法及其系统 | |
| WO2020237569A1 (zh) | 音频数据的处理方法、设备、系统及存储介质 | |
| CN114337916A (zh) | 一种网络传输速率调整方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |