Nothing Special   »   [go: up one dir, main page]

CN111816197B - 音频编码方法、装置、电子设备和存储介质 - Google Patents

音频编码方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111816197B
CN111816197B CN202010543384.7A CN202010543384A CN111816197B CN 111816197 B CN111816197 B CN 111816197B CN 202010543384 A CN202010543384 A CN 202010543384A CN 111816197 B CN111816197 B CN 111816197B
Authority
CN
China
Prior art keywords
audio
audio signal
encoded
audio type
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010543384.7A
Other languages
English (en)
Other versions
CN111816197A (zh
Inventor
郑羲光
董培
陈翔宇
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010543384.7A priority Critical patent/CN111816197B/zh
Publication of CN111816197A publication Critical patent/CN111816197A/zh
Application granted granted Critical
Publication of CN111816197B publication Critical patent/CN111816197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开提供音频编码方法、装置、电子设备和存储介质。该方法包括：获取待编码音频信号的特征信息；根据所述特征信息确定所述待编码音频信号的音频类型信息；根据所述音频类型信息，确定所述待编码音频信号的编码码率；利用所述编码码率对所述待编码音频信号进行编码。由此，本公开选用的编码码率是与音频类型信息匹配的码率。解决了传统技术中在编码过程中指定的编码码率不合理容易导致浪费带宽资源的问题。

Description

音频编码方法、装置、电子设备和存储介质
技术领域
本发明涉及音频信息处理技术领域，特别涉及一种音频编码方法、装置、电子设备和存储介质。
背景技术
音频信号在存储和传输的过程中需要被编码，以节省存储和传输资源。音频编码技术可以分为无损音频编码技术(Lossless Audio Coding)，即在解码端可以通过解码器完美恢复原始数字音频信号。如无损音频压缩编码(Free Lossless Audio Codec，FLAC)格式等。另一种编码方式为有损编码，通过心理声学等原理，音频信号可以被压缩至不同的质量，在传输中判断音频质量的单位是千比特每秒(kilo-bit per second，kbps)，即单位长度的音频使用多少比特进行编码。进行有损编码的编码器包括高级音频编码(AdvancedAudio Coding，AAC)，动态影像专家压缩标准音频层面3(Moving Picture Experts GroupAudio Layer III，mp3)等编码器。
现有技术中，在进行有损编码的过程中，通常对整段音频信号，需要指定一个编码码率，编码器即可以按照指定码率进行编码。会导致编码不合理，例如，为了保证音频质量，通常设置一个高码率来进行编码。由此可能会浪费一些带宽资源。
因此，急需一种新的方法来解决上述问题。
发明内容
本公开提供一种音频编码方法、装置、电子设备和存储介质，用于解决传统技术中在编码过程中指定的编码码率不合理容易导致浪费带宽资源的问题。
第一方面，本公开提供一种音频编码方法，所述方法包括：
获取待编码音频信号的特征信息；
根据所述特征信息确定所述待编码音频信号的音频类型信息；
根据所述音频类型信息，确定所述待编码音频信号的编码码率；
利用所述编码码率对所述待编码音频信号进行编码。
在一个实施例中，所述根据所述特征信息确定所述待编码音频信号的音频类型信息，包括：
将所述特征信息输入至神经网络中；
利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；
根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息。
在一个实施例中，所述根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息，包括：
将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；
所述根据所述音频类型信息，确定所述待编码音频信号的编码码率，包括：
查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。
在一个实施例中，所述根据所述音频类型信息，确定所述待编码音频信号的编码码率，包括：
将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；
获取各类音频类型对应的编码码率；
根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率。
在一个实施例中，所述获取待编码音频信号的特征信息之前，所述方法还包括：
通过以下方法训练所述神经网络：
获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
根据所述音频类型训练样本，训练所述神经网络。
在一个实施例中，所述根据所述音频类型训练样本，训练所述神经网络之前，还包括：
对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值。
在一个实施例中，确定所述待编码音频信号，包括：
对待处理音频信号进行分段；
将获得的每一音频信号段确定为所述待编码音频信号。
在一个实施例中，所述获取待编码音频信号的特征信息，包括：
将所述待编码音频信号转换到频域，得到频域信号；
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；
将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。
第二方面，本公开提供一种音频编码装置，所述装置包括：
获取模块，被配置为执行获取待编码音频信号的特征信息；
音频类型信息确定模块，被配置为执行根据所述特征信息确定所述待编码音频信号的音频类型信息；
编码码率确定模块，被配置为执行根据所述音频类型信息，确定所述待编码音频信号的编码码率；
编码模块，被配置为执行利用所述编码码率对所述待编码音频信号进行编码。
在一个实施例中，所述音频类型信息确定模块，还被配置为执行：
将所述特征信息输入至神经网络中；
利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；
根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息。
在一个实施例中，所述音频类型信息确定模块，还被配置为执行：
将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；
所述编码码率确定模块，还被配置为执行：
查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。
在一个实施例中，所述编码码率确定模块，还被配置为执行：
将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；
获取各类音频类型对应的编码码率；
根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率。
在一个实施例中，所述装置还包括：
神经网络训练模块，被配置为执行获取待编码音频信号的特征信息之前，通过以下方法训练所述神经网络：
获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
根据所述音频类型训练样本，训练所述神经网络。
在一个实施例中，所述装置还包括：
音频信号平均值确定模块，被配置为所述根据所述音频类型训练样本，训练所述神经网络之前，执行对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值。
在一个实施例中，所述装置还包括：
分段模块，被配置为执行对待处理音频信号进行分段；
待编码音频信号确定模块，被配置为执行将获得的每一音频信号段确定为所述待编码音频信号。
在一个实施例中，所述获取模块，还被配置为执行：
将所述待编码音频信号转换到频域，得到频域信号；
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；
将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。
根据本公开实施例的第三方面，提供一种电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本公开实施例提供的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开提供一种音频编码方法、装置、设备和存储介质。该方法包括：获取待编码音频信号的特征信息；根据所述特征信息确定所述待编码音频信号的音频类型信息；根据所述音频类型信息，确定所述待编码音频信号的编码码率；利用所述编码码率对所述待编码音频信号进行编码。整个过程根据待编码音频信号的音频类型信息来确定该待编码音频信号的编码码率，并使用该编码码率对该待编码音频信号进行编码。由此，本公开选用的编码码率是与音频信号类型匹配的码率，解决了传统技术中在编码过程中指定的编码码率不合理容易导致浪费带宽资源的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为根据本公开一个实施例中的适用场景示意图；
图2为根据本公开一个实施例的音频编码的流程示意图之一；
图3为根据本公开一个实施例的音频编码的网络模型示意图；
图4为根据本公开一个实施例的音频编码的流程示意图之二；
图5为根据本公开一个实施例的音频编码的流程示意图之三；
图6为根据本公开一个实施例的音频编码装置；
图7为根据本公开一个实施例的电子设备的结构示意图。
具体实施方式
为进一步说明本公开实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
本公开实施例中术语“多个”是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开，并且在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
发明人研究发现，在进行有损编码的过程中，通常对整段音频信号，需要指定一个编码码率，编码器按照该指定的编码码率进行编码。可能会导致编码码率不合理，例如，为了保证音频质量，通常设置一个高码率来进行编码。但是可能会浪费一些带宽资源。例如，使用96kbps进行编码可以更好的保证音频质量，但对于语音信号来说，64kbps就可以达到同等的主观质量，这时使用96kbps进行语音编码。则‘浪费’了32kbps带宽。
由此，本公开提出一种音频编码方法、装置、电子设备和存储介质。下面结合附图，对本公开进行详细的说明。
如图1所示，为一种音频编码的应用场景，该应用场景中包括多个终端设备110和服务器130，图1中是以三个终端设备110为例，实际上不限制终端设备110的数量。终端设备110中安装有用于展示网络资源信息的客户端120(例如用于制作和播放音视频的客户端)。客户端120和服务器130之间可以通过通信网络进行通信。终端设备110例如手机、平板电脑和个人计算机等。服务器130可以通过单个服务器实现，也可以通过多个服务器实现。服务器130可以通过实体服务器实现，也可以通过虚拟服务器实现。
在一种可能的应用场景中，用户A使用终端设备110中的客户端120录制一段短视频1，客户端120将短视频1发送给服务器130。服务器130对短视频1提取待编码音频信号，并获取待编码音频信号的特征信息，根据获取的特征信息确定为该待编码音频信号的音频类型信息。然后服务器130根据该音频类型信息，确定待编码音频信号的编码码率；并利用获取到的编码码率对待编码音频信号进行编码。在对整个音频完成编码后，服务器130将编码得到的音频与短视频中图像合成新的短视频1发送多个终端设备110的客户端120(如图1中用户B和用户C的客户端)。
本申请实施例中，可以通过采用预先训练的神经网络来确定待编码音频信号的音频类型信息，然后通过音频类型信息确定编码码率并进行编码。下面分别对神经网络的训练和使用来进行详细的说明。
一、神经网络的训练：
图2为神经网络训练流程图，下面进行详细的介绍，可包括以下步骤：
步骤201：获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
例如，音乐类型标注的是音乐类型信息，背景环境声类型标注的背景环境声类型信息等。
步骤202：根据所述音频类型训练样本，训练所述神经网络。
如图3所示，为神经网络模型的结构示意图。神经网络模型包括输入层301、隐藏层302、输出层303。通过输入层301将训练样本输入至神经网络模型中，通过隐藏层302进行特征提取。然后通过输出层303将输出训练样本的音频。
在执行步骤202之前，为节省计算资源，在一个实施例中，对各训练样本，根据训练样本中的同一音频类型的音频信号与同一音频类型的音频信号的总帧数，确定所音频信号的平均值。例如，训练样本中包括30帧的同一音频类型的音频信号，可根据该30帧的同一音频类型的音频信号与总帧数30进行取平均值，得到一帧长度的音频信号。其中，一帧长度的音频信号为以采样时间为单位的音频数据量。需要说明的是，采样时间是根据编解码器和具体应用的需求来决定的。
由此，若将30帧音频信号的训练样本输入至神经网络中进行训练，若神经网络对30帧的音频信号的训练周期为As，若通过确定音频信号的平均值的到一帧长度的音频信号，并将一帧长度的音频信号输入至神经网络中进行训练，则神经网络对1帧音频信号的训练周期会远小于As。故此，可以很大程度的缩短训练的周期。并且可以节省计算资源。
二、基于神经网络的音频编码：
步骤401：获取待编码音频信号的特征信息；
在一个实施例中，对待处理音频信号进行分段；将获得的每一音频信号段确定为所述待编码音频信号。
由此，当待处理音频信号中包括多种音频类型信息时，可通过对待处理音频信号进行分段来得到待编码音频信号。所以，可以对不同的音频类型的待编码音频信号使用相应的编码码率来进行编码，由此，可以进一步的节省带宽资源。
步骤402：根据所述特征信息确定所述待编码音频信号的音频类型信息；
步骤403：根据所述音频类型信息，确定所述待编码音频信号的编码码率；
步骤404：利用所述编码码率对所述待编码音频信号进行编码。
如背景技术所述，现有的音频编码通常对整段音频信号，需要指定一个编码码率，编码器按照该指定的编码码率进行编码。例如，使用96kbps进行编码可以更好的保证音频质量，但对于语音信号来说，64kbps就可以达到同等的主观质量，这时使用96kbps进行语音编码则‘浪费’了32kbps带宽。
而本申请上述的方案实施过程为，利用神经网络确定出待编码音频信号的音频类型信息为音乐类型信息，则确定出相应编码码率为96kbps，则使用96kbps对待编码音频信号进行编码。若确定出的待编码音频信号的音频类型信息为语音类型信息，则根据语音类型信息确定出对应的编码码率为64kbps，则使用64kbps对待编码音频信号进行编码。
由此，本公开通过对待编码音频信号进行特征提取，并根据所述特征信息确定所述待编码音频信号的音频类型信息；然后通过音频类型信息，确定待编码音频信号的编码码率，最后利用该编码码率对待编码音频信号进行编码。由此，本公开选用的编码码率是与音频类型信息匹配的码率。解决了传统技术中在编码过程中指定的编码码率不合理容易导致浪费带宽资源的问题。
在一个实施例中，步骤402可实施为：将所述特征信息输入至神经网络中；利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息。
由此，可通过神经网络得到待编码音频信号分别属于各类音频类型的概率，以此来确定待编码音频信号的音频类型信息。
在一个实施例中，可将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；则步骤403可执行为：查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。其中，音频类型信息与编码码率的对应关系如表1所示：
表1：
音频类型信息 音乐类型信息 背景环境声类型信息 语音类型信息 …
编码码率 96kbps 48kbps 64kbps …
由此，可将概率最大的音频类型对应的音频类型信息来确定待编码音频信号的编码码率。该种方式不仅能够确定出一个合理的编码码率，且实现简单。
在一个实施例中，待编码音频信号的编码码率还可通过以下方式来确定：将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；获取各类音频类型对应的编码码率；根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率。
例如，待编码音频信号分别属于的音频类型包括：音乐类型和语音类型。若确定出待编码音频信号属于音乐类型的概率为85％，属于语音类型的概率为15％。并获取到音乐类型的编码码率为96kbps，语音类型的编码码率为64kbps，然后将得到的各音频类型的概率作为调整因子分别与各编码码率进行加权求和，得到待编码音频信号的编码码率为106.45kbps。
具体的，可根据公式(1)确定出待编码音频信号的编码码率：
其中，n为音频类型信息(1≤n≤N)，N为音频类型信息总数，pn为音频类型信息对应的概率，Rn为音频类型信息对应的编码码率。
由此，本公开可以通过音频类型信息的概率对相应的编码码率进行调整，并获得最终的编码码率，可以根据不同的需求来确定待编码音频信号的编码码率。
在一个实施例中，步骤401可执行为：将所述待编码音频信号转换到频域，得到频域信号；其中，将待编码音频信号转换到频域的方法可为短时傅里叶变换等，得到的频域信号可表示为：
S(n，k)＝STFT(S(t))＝A(n，k)*eiθ(n，k) (2)；
其中，S(t)为待编码音频信号，STFT(S(t))表示为将待编码音频信号经过短时傅里叶变换。S(n，k)代表频域信号。A(n,k)为信号幅度、θ(n，k)为相位、n为待编码音频信号的帧数、k为频率。
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。需要说明的是：预设特征信息可根据实际使用的需求来确定。其中，根据以下方式确定梅尔倒谱、梅尔频谱：
1、将公式(2)中得到的S(n，k)进行短时傅里叶变换得到频谱图Spectrogram(n，k)：
Spectrogram(n，k)＝(abs(S(n，k)))2 (3)；
其中，abs(S(n，k))代表频域信号的绝对值。
2、将公式(3)中的Spectrogrtam(n，k)通过梅尔标度mel scale转换，得到映射值mel：
并通过将Specgtrogram中的k按照mel进行聚集，可以得到梅尔频谱MelSpectrogram：
MelSpectrogram(m，k)＝∑mSpectrogram(n，k)·mel(n，k) (4)；
3、通过将MelSpectrogram在dB域上做离散余弦变换DCT得到梅尔倒谱MFCC：
MFCC(m，k)＝DCT(10*log10(MelSpectrogram(m，k))) (5)。
由此，通过将待编码音频信号转换到频域，得到频域信号，并对该频域信号进行特征提取以此得到待编码音频信号的特征信息。
为了进一步了解本公开提供的技术方案，下面结合图5进行详细说明，可包括以下步骤：
步骤500：对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值；
步骤501：获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
步骤502：根据所述音频类型训练样本，训练所述神经网络；
步骤503：对待处理音频信号进行分段；
步骤504：将获得的每一音频信号段确定为所述待编码音频信号；
步骤505：获取待编码音频信号的特征信息；
步骤506：将所述特征信息输入至神经网络中；
步骤507：利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；
步骤508：根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息；
步骤509：根据所述音频类型信息，确定所述待编码音频信号的编码码率；
步骤510：利用所述编码码率对所述待编码音频信号进行编码。
基于相同的发明构思，本公开如上所述的音频编码方法还可以由一种音频编码装置实现。该装置的效果与前述方法的效果相似，在此不再赘述。
图6为根据本公开一个实施例的音频编码装置的结构示意图。
如图6所示，本公开的音频编码装置600可以包括获取模块610、音频类型信息确定模块620、编码码率确定模块630和编码模块640。
获取模块610，被配置为执行获取待编码音频信号的特征信息；
音频类型信息确定模块620，被配置为执行根据所述特征信息确定所述待编码音频信号的音频类型信息；
编码码率确定模块630，被配置为执行根据所述音频类型信息，确定所述待编码音频信号的编码码率；
编码模块640，被配置为执行利用所述编码码率对所述待编码音频信号进行编码。
在一个实施例中，所述音频类型信息确定模块620，还被配置为执行：
将所述特征信息输入至神经网络中；
利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；
根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息。
在一个实施例中，所述音频类型信息确定模块620，还被配置为执行：
将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；
所述编码码率确定模块630，还被配置为执行：
查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。
在一个实施例中，所述编码码率确定模块630，还被配置为执行：
将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；
获取各类音频类型对应的编码码率；
根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率。
在一个实施例中，所述装置还包括：
神经网络训练模块650，被配置为执行获取待编码音频信号的特征信息之前，通过以下方法训练所述神经网络：
获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
根据所述音频类型训练样本，训练所述神经网络。
在一个实施例中，所述装置还包括：
音频信号平均值确定模块660，被配置为所述根据所述音频类型训练样本，训练所述神经网络之前，执行对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值。
在一个实施例中，所述装置还包括：
分段模块670，被配置为执行对待处理音频信号进行分段；
待编码音频信号确定模块680，被配置为执行将获得的每一音频信号段确定为所述待编码音频信号。
在一个实施例中，所述获取模块610，还被配置为执行：
将所述待编码音频信号转换到频域，得到频域信号；
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；
将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。
在介绍了本申请示例性实施方式的一种音频编码方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的音频编码方法中的步骤。例如，处理器可以执行如图4中所示的步骤401-404。
下面参照图7来描述根据本申请的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用电子设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理器701、上述至少一个计算机存储介质702、连接不同系统组件(包括计算机存储介质702和处理器701)的总线703。
总线703表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质702可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(RAM)721和/或高速缓存存储介质722，还可以进一步包括只读计算机存储介质(ROM)723。
计算机存储介质702还可以包括具有一组(至少一个)程序模块724的程序/实用工具725，这样的程序模块724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备700也可以与一个或多个外部设备704(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口705进行。并且，电子设备700还可以通过网络适配器706与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器706通过总线703与用于电子设备700的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种音频编码方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种音频编码方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
本申请的实施方式的用于音频编码的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种音频编码方法，其特征在于，所述方法包括：
获取待编码音频信号的特征信息；
根据所述特征信息确定所述待编码音频信号的音频类型信息，具体包括：
将所述特征信息输入至神经网络中；利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息；
根据所述音频类型信息，确定所述待编码音频信号的编码码率，具体包括：
将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；获取各类音频类型对应的编码码率；根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率；
利用所述编码码率对所述待编码音频信号进行编码。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息，包括：
将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；
所述根据所述音频类型信息，确定所述待编码音频信号的编码码率，包括：
查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。
3.根据权利要求1所述的方法，其特征在于，所述获取待编码音频信号的特征信息之前，所述方法还包括：
通过以下方法训练所述神经网络：
获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
根据所述音频类型训练样本，训练所述神经网络。
4.根据权利要求3所述的方法，其特征在于，所述根据所述音频类型训练样本，训练所述神经网络之前，还包括：
对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值。
5.根据权利要求1所述的方法，其特征在于，确定所述待编码音频信号，包括：
对待处理音频信号进行分段；
将获得的每一音频信号段确定为所述待编码音频信号。
6.根据权利要求1所述的方法，其特征在于，所述获取待编码音频信号的特征信息，包括：
将所述待编码音频信号转换到频域，得到频域信号；
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；
将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。
7.一种音频编码装置，其特征在于，所述装置包括：
获取模块，被配置为执行获取待编码音频信号的特征信息；
音频类型信息确定模块，被配置为执行根据所述特征信息确定所述待编码音频信号的音频类型信息；
所述音频类型信息确定模块，还被配置为执行将所述特征信息输入至神经网络中；利用所述神经网络对所述特征信息进行处理，得到所述待编码音频信号分别属于各类音频类型的概率；根据所述待编码音频信号分别属于各音频类型的概率，确定所述待编码音频信号的音频类型信息；
编码码率确定模块，被配置为执行根据所述音频类型信息，确定所述待编码音频信号的编码码率；
所述编码码率确定模块，还被配置为执行将所述待编码音频信号分别属于各类音频类型的概率作为调整因子；获取各类音频类型对应的编码码率；根据各音频类型的编码码率以及调整因子，进行加权求和，得到所述待编码音频信号的编码码率；
编码模块，被配置为执行利用所述编码码率对所述待编码音频信号进行编码。
8.根据权利要求7所述的装置，其特征在于，所述音频类型信息确定模块，还被配置为执行：
将概率最大的音频类型对应的音频类型信息确定为所述待编码音频信号的音频类型信息；
所述编码码率确定模块，还被配置为执行：
查找与所述音频类型信息对应的编码码率，将所述查找到的编码码率作为所述待编码音频信号的编码码率。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
神经网络训练模块，被配置为执行获取待编码音频信号的特征信息之前，通过以下方法训练所述神经网络：
获取音频类型训练样本，所述音频类型训练样本包括同一音频类型的音频信号的特征信息和标注的音频类型信息；
根据所述音频类型训练样本，训练所述神经网络。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
音频信号平均值确定模块，被配置为所述根据所述音频类型训练样本，训练所述神经网络之前，执行对各音频类型训练样本，根据所述音频类型训练样本中的同一音频类型的音频信号与所述同一音频类型的音频信号的总帧数，确定所述音频信号的平均值。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
分段模块，被配置为执行对待处理音频信号进行分段；
待编码音频信号确定模块，被配置为执行将获得的每一音频信号段确定为所述待编码音频信号。
12.根据权利要求7所述的装置，其特征在于，所述获取模块，还被配置为执行：
将所述待编码音频信号转换到频域，得到频域信号；
将所述频域信号进行特征提取，得到预设特征信息，所述预设特征信息包括梅尔倒谱和/或梅尔频谱；
将所频域信号和/或所述预设特征信息确定为所述待编码音频信号的特征信息。
13.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-6中任一项所述的方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行根据权利要求1-6中任一项所述的方法。
CN202010543384.7A 2020-06-15 2020-06-15 音频编码方法、装置、电子设备和存储介质 Active CN111816197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010543384.7A CN111816197B (zh) 2020-06-15 2020-06-15 音频编码方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010543384.7A CN111816197B (zh) 2020-06-15 2020-06-15 音频编码方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111816197A CN111816197A (zh) 2020-10-23
CN111816197B true CN111816197B (zh) 2024-02-23

Family

ID=72845128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010543384.7A Active CN111816197B (zh) 2020-06-15 2020-06-15 音频编码方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111816197B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495951A (zh) * 2020-11-11 2022-05-13 华为技术有限公司 音频编解码方法和装置
CN113948099A (zh) * 2021-10-18 2022-01-18 北京金山云网络技术有限公司 音频编码方法、音频解码方法、装置和电子设备
CN115334349B (zh) * 2022-07-15 2024-01-02 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN115550729A (zh) * 2022-09-29 2022-12-30 北京达佳互联信息技术有限公司 音频编码方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101755238B1 (ko) * 2016-11-29 2017-07-10 대한민국 손상된 멀티미디어 파일의 음성 복원 장치 및 그 방법
CN107483059A (zh) * 2017-07-31 2017-12-15 广东工业大学 一种基于动态霍夫曼树的多路数据编解码方法及装置
CN109003618A (zh) * 2018-08-14 2018-12-14 Oppo广东移动通信有限公司 编码控制方法、装置、电子设备以及存储介质
CN109273017A (zh) * 2018-08-14 2019-01-25 Oppo广东移动通信有限公司 编码控制方法、装置以及电子设备
CN110249320A (zh) * 2017-04-28 2019-09-17 惠普发展公司有限责任合伙企业 利用使用音频持续时间的机器学习模型进行的音频分类
CN110301143A (zh) * 2016-12-30 2019-10-01 英特尔公司 用于无线电通信的方法和设备
CN110602428A (zh) * 2018-06-12 2019-12-20 视联动力信息技术股份有限公司 一种音频数据的处理方法和装置
CN110992963A (zh) * 2019-12-10 2020-04-10 腾讯科技（深圳）有限公司 网络通话方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646634B2 (en) * 2014-09-30 2017-05-09 Google Inc. Low-rank hidden input layer for speech recognition neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101755238B1 (ko) * 2016-11-29 2017-07-10 대한민국 손상된 멀티미디어 파일의 음성 복원 장치 및 그 방법
CN110301143A (zh) * 2016-12-30 2019-10-01 英特尔公司 用于无线电通信的方法和设备
CN110249320A (zh) * 2017-04-28 2019-09-17 惠普发展公司有限责任合伙企业 利用使用音频持续时间的机器学习模型进行的音频分类
CN107483059A (zh) * 2017-07-31 2017-12-15 广东工业大学 一种基于动态霍夫曼树的多路数据编解码方法及装置
CN110602428A (zh) * 2018-06-12 2019-12-20 视联动力信息技术股份有限公司 一种音频数据的处理方法和装置
CN109003618A (zh) * 2018-08-14 2018-12-14 Oppo广东移动通信有限公司 编码控制方法、装置、电子设备以及存储介质
CN109273017A (zh) * 2018-08-14 2019-01-25 Oppo广东移动通信有限公司 编码控制方法、装置以及电子设备
CN110992963A (zh) * 2019-12-10 2020-04-10 腾讯科技（深圳）有限公司 网络通话方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111816197A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111816197B (zh) 音频编码方法、装置、电子设备和存储介质
CN112767954B (zh) 音频编解码方法、装置、介质及电子设备
JP5826291B2 (ja) 音声信号からの特徴フィンガープリントの抽出及びマッチング方法
CN110322891B (zh) 一种语音信号的处理方法、装置、终端及存储介质
CN115050378B (zh) 音频编解码方法及相关产品
CN104036788B (zh) 音频文件的音质识别方法及装置
CN101950561B (zh) 水印嵌入方法和装置
US9886962B2 (en) Extracting audio fingerprints in the compressed domain
WO2024055752A1 (zh) 语音合成模型的训练方法、语音合成方法和相关装置
CN112767955B (zh) 音频编码方法及装置、存储介质、电子设备
CN112036122A (zh) 文本识别方法、电子设备及计算机可读介质
JP2022505888A (ja) 生成モデルを用いたレート品質スケーラブル符号化のための方法及び装置
CN114495977A (zh) 语音翻译和模型训练方法、装置、电子设备以及存储介质
CN113112993B (zh) 一种音频信息处理方法、装置、电子设备以及存储介质
CN112052994B (zh) 客诉升级预测方法、装置及电子设备
CN114333893A (zh) 一种语音处理方法、装置、电子设备和可读介质
CN113314132A (zh) 一种应用于交互式音频系统中的音频对象编码方法、解码方法及装置
CN115641857A (zh) 音频处理方法、装置、电子设备、存储介质及程序产品
CN114333891A (zh) 一种语音处理方法、装置、电子设备和可读介质
CN118609581B (zh) 音频编码和解码方法、装置、设备、存储介质和产品
CN117649846B (zh) 语音识别模型生成方法、语音识别方法、设备和介质
CN117292694B (zh) 基于时不变编码的少令牌神经语音编解码方法和系统
US20230075562A1 (en) Audio Transcoding Method and Apparatus, Audio Transcoder, Device, and Storage Medium
CN113470693B (zh) 假唱检测方法、装置、电子设备及计算机可读存储介质
US20220277754A1 (en) Multi-lag format for audio coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant