CN115132186A - 端到端语音识别模型训练方法、语音解码方法及相关装置 - Google Patents

Abstract

本公开提供了一种端到端语音识别模型训练方法、语音解码方法、装置、电子设备、计算机可读存储介质，涉及语音识别，自然语音处理、深度学习等人工智能技术领域。该方法的一具体实施方式包括：获取多个样本语音文件，并将各样本语音文件打包至样本文件块中，然后，生成该样本文件块的地址信息，接下来，利用数据加载器读取该地址信息，生成批量数据集，最后，基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。应用该实施方式提供的提升对初始端到端语音识别模型进行训练时的训练效率，提升训练得到的端到端语音识别模型质量。

Description

端到端语音识别模型训练方法、语音解码方法及相关装置

技术领域

本公开涉及语音识别，自然语音处理、深度学习等人工智能技术领域，尤其涉及一种端到端语音识别模型的训练和语音解码方法，以及以对应的装置、电子设备、计算机可读存储介质。

背景技术

得益于人工智能与机器学习的突破、算法与硬/软件能力的进步，以及拥有既多样又大量的语音数据库，用以训练多参数的、大规模的语音识别与合成模型，使得语音处理技术获得飞跃性进展。

随着端到端神经网络在机器翻译、语音生成等方面的进展，端到端的语音识别也达到了和传统方法可比的性能。不同于传统方法将语音识别任务分解为多个子任务(词汇模型，声学模型和语言模型)，端到端的语音识别模型，通常基于神经网络的时序类分类(Connectionist Temporal Classification，简称CTC)构建，在以梅尔语谱作为输入时，能够直接产生对应的自然语言文本，大大简化了模型的训练过程，从而越来越受到学术界和产业界的关注。

发明内容

本公开实施例提出了一种端到端语音识别模型的训练、语音解码方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种端到端语音识别模型训练方法，包括：获取多个样本语音文件，并将各样本语音文件打包至样本文件块中；生成该样本文件块的地址信息；利用数据加载器读取该地址信息，生成批量数据集；基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

第二方面，本公开实施例提出了一种端到端语音识别模型训练装置，包括：样本获取及打包单元，包括样本获取子单元和样本打包子单元，其中，该样本获取子单元被配置成获取多个样本语音文件的样本获取子单元，该样本打包子单元被配置成将各样本语音文件打包至样本文件块中；地址信息生成单元，被配置成生成该样本文件块的地址信息；批量数据集生成单元，被配置成利用数据加载器读取该地址信息，生成批量数据集；模型训练单元，被配置成基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

第三方面，本公开实施例提出了一种语音解码方法，包括：流式读取语音文件；响应于读取该语音文件的读取时间长度满足预设时间阈值要求，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与该目标语音文件对应的解码结果，其中，该端到端语音识别模型根据如第一方面中任一实现方式描述的端到端语音识别模型训练方法得到。

第四方面，本公开实施例提出了一种语音解码装置，包括：语音解码单元，被配置成响应于读取该语音文件的读取时间长度满足预设时间阈值要求，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与该目标语音文件对应的解码结果，其中，该端到端语音识别模型根据如第二方面中任一实现方式描述的端到端语音识别模型训练装置得到。

第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的端到端语音识别模型训练方法或如第三方面中任一实现方式描述的语音解码方法。

第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的端到端语音识别模型训练方法或如第三方面中任一实现方式描述的语音解码方法。

第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的端到端语音识别模型训练方法或如第三方面中任一实现方式描述的语音解码方法。

本公开实施例提供的端到端语音识别模型的训练、语音解码方法，可以降低对初始端到端语音识别模型进行训练时的缓存资源使用，可提升对初始端到端语音识别模型进行训练时的训练效率，使得利用大规模的样本语音文件对初始端到端模型进行训练成为可能，进而提升训练得到的端到端语音识别模型质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种端到端语音识别模型训练方法的流程图；

图3为本公开实施例提供的另一种端到端语音识别模型训练方法下得到样本文件块的实现方式的流程图；

图4a、4b为本公开实施例提供的具体应用场景下的端到端语音识别模型训练方法、语音解码方法的流程图；

图5为本公开实施例提供的一种端到端语音识别模型训练装置的结构框图；

图6为本公开实施例提供的一种语音解码装置的结构框图；

图7为本公开实施例提供的一种适用于执行端到端语音识别模型训练方法和/或语音解码方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要的保密措施，且不违背公序良俗。

图1示出了可以应用本申请的用于训练人脸识别模型以及识别人脸的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如语音识别类应用、在线翻译类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以为用户提供语音识别服务的语音识别类应用为例，服务器105在运行该语音识别类应用时可实现如下效果：服务器105流式获取用户上传的语音文件，然后，服务器105在读取该语音文件的读取时间长度满足预设时间阈值要求时进行响应，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，连续生成各段目标语音文件对应的解码结果后，汇总各解码结果作为该语音文件中内容的语音识别结果返回给该用户。

其中，端到端语音识别模型可由服务器105上内置的端到端语音识别模型训练类应用按如下步骤训练得到：服务器105获取多个样本语音文件，并将各样本语音文件打包至样本文件块中，然后，服务器105生成该样本文件块的地址信息，接下来，服务器105利用数据加载器读取该地址信息，生成批量数据集，最后，服务器105基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

由于为训练得到端到端语音识别模型需要占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的端到端语音识别模型训练方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，端到端语音识别模型训练装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的端到端语音识别模型的训练类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。相应的，端到端语音识别模型训练装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

当然，用于训练得到端到端语音识别模型的服务器可以不同于调用训练好的端到端语音识别模型来使用的服务器。特殊的，经由服务器105训练得到的端到端语音识别模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的端到端语音识别模型，即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级的端到端语音识别模型，还是选择使用服务器105中的较复杂的端到端语音识别模型。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种端到端语音识别模型训练方法的流程图，其中流程200包括以下步骤：

步骤201，获取多个样本语音文件，并将各样本语音文件打包至样本文件块中。

在本实施例中，由端到端语音识别模型训练方法的执行主体(例如图1所示的服务器105)获取多个样本语音文件，其中，该样本语音文件中通常包括音频和对应音频的文本数据，以便于利用该样本语音文件中所包括的音频作为输入、对应音频的文本数据作为输出，对初始端到端语音识别模型进行训练，在上述执行主体获取到多个样本语音文件后，可将各样本语音文件打包至样本文件块中，其中，该样本文件块可为预先配置，也可在获取到至少两个样本语音文件后，对获取到的样本语音文件进行打包、封装得到。

应当理解的是，在样本语音文件的获取时间、批次等存在差异的情况下，可通过将在后获取到的样本语音文件打包至基于在先获取的样本语音文件生成的样本文件块中，也可仅基于在后获取到的样本语音文件打包、封装形成新的样本文件块。

在一些实施例中，该样本文件块包括以下中的至少一种：Tar格式文件、Npz格式文件、层次性数据格式第五版格式文件、Pickle格式文件，其中，Tar格式最初的设计目的是将文件备份到磁带上(Tape Archive)，因而得名Tar，可以将多个文件合并为一个文件，打包后的文件后缀亦为“tar”，该格式下得到的样本文件块，运行稳定，且可直接在Linux等系统下直接运行，快捷可靠。

Npz格式文件是手写数字的离线数据集，其可以直接在本地进行导入，而且无需人工拆分训练数据、测试数据和对应的数字标签，且作为深度学习入门项目的数据集，可在Python中打印出所有数字图像。

层次性数据格式第五版(Hdf5)格式文件，是一种可跨平台数据使用的储存文件，可以存储不同类型的图像和数码数据，并且可以在不同类型的机器上传输，同时还有统一处理这种文件格式的函数库。

Pickle格式文件是一种存方式文件，可以将Python项目过程中用到的一些暂时变量，或者需要提取、暂存的字符串、列表、字典等数据保存起来。

需要指出的是，样本语音文件可以由上述执行主体直接从本地的存储设备获取，也可以从非本地的存储设备(例如图1所示的终端设备101、102、103)中获取。本地的存储设备可以是设置在上述执行主体内的一个数据存储模块，例如服务器硬盘，在此种情况下，样本语音文件可以在本地快速读取到；非本地的存储设备还可以为其它任何被设置用于存储数据的电子设备，例如一些用户终端等，在此情况下，上述执行主体可以通过向该电子设备发送获取命令来获取所需的样本语音文件。

步骤202，生成样本文件块的地址信息。

在本实施例中，在基于上述步骤201中生成样本文件块后，分别将各样本文件块进行存储，并基于各样本文件块的存储位置，生成相应的地址信息后进行记录，以便于后续可基于该地址信息直接调取对应的样本文件块。

在实践中，在生成各样本文件块的地址信息后，还可生成用于记录地址信息的目录文件，例如Manifest，以便于利用该目录文件读取各样本文件块的地址信息。

步骤203，利用数据加载器读取地址信息，生成批量数据集。

在本实施例中，在确定用于训练的样本文件块后，利用数据加载器(Dataloader)获取该样本文件块的地址信息，并基于该地址信息获取对应的样本文件块后对该样本文件块中所包括的样本语音文件进行读取，并将各样本语音文件拼接成批量数据集(Batch)。

在实践中，在存在多个Dataloader以及多个样本文件块的情况下，通常为提高读取效率，会采用多个Dataloader对样本文件块进行处理，即分别并行的向各Dataloader发送不同的样本文件块进行读取，并汇总各Dataloader的读取结果，生成该Batch。

在一些实施例中，还可配置Dataloader预先加载预设数量的样本文件块的地址信息，以避免在初始阶段读取地址信息效率过低所产生的初始读取卡顿问题。

步骤204，基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

在本实施例中，利用上述步骤203中得到的批量数据集，连续使用该批量数据集中所包括的样本语音文件中的音频作为输入、对应的文本作为输出，对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

实践中，该初始端到端语音识别模型可以采用深度语音识别模型(DeepSpeech2)、Conformer、Transformer模型之一进行构建，Deepseech2为一种非自回归模型，而Conformer和Transformer均为支持非自回归的前向推理自回归模型，上述各模型均可支持前缀束搜索(Prefix Beam Search)的方式进行解码，其中，Transformer作为一种深度学习模型已被广泛验证在语音模型领域的表现比以循环神经网络(Recurrent NeuralNetwork，简称RNN)为基础的模型性能更优，Conformer为将Transformer与卷积神经网络进行结合后得到的模型。

其中，DeepSpeech2可使用线性频谱图的方式对音频进行特征提取，并使用2层卷积神经网络作为模型的降采样模块，再接入多层RNN层作为编码器模块(Encoder)，RNN使用单向的RNN结构，因此可以支持流式识别，最后Encoder的输出经过归一化指数函数层(Softmax)获取到输出的概率，输出的概率经过解码层进行解码，得到最后的解码结果。

Conformer的结构基本可以分为Encoder和解码器模块(Decoder)两个部分。在训练的过程中，Encoder和Decoder都会有损失函数(Loss)，Encoder的Loss使用神经网络的时序类分类损失函数(Connectionist Temporal Classification Loss)，Decoder的Loss使用标签平滑损失函数(Label Smoothing Loss)。Conformer的Encoder子抽样层，位置编码器层以及多层的Conformer Layer构成，每层Layer主要由4个部分构成，分别为正向馈电(Feed Forward)层，多头注意力机制(Multi-head Attention)层，卷积模块以及Feedforward层，每一个部分都会是用残差连接的方式避免梯度消失的现象，Conformer的Decoder使用的是Transformer的Decoder模块。其主要由解码器输入层(OutputEmbedding)，位置向量(Position Embedding)层以及多层的Transformer层构成，每层Transformer层由掩码多头注意力机制(Masked Multi-head Attention)层，Multi-headAttention以及Feed Forward层构成。

本公开实施例提供的端到端语音识别模型训练方法，可以降低对初始端到端语音识别模型进行训练时的缓存资源使用，可提升对初始端到端语音识别模型进行训练时的训练效率，使得利用大规模的样本语音文件对初始端到端模型进行训练成为可能，进而提升训练得到的端到端语音识别模型质量。

在本实施例的一些可选的实现方式中，该获取多个样本语音文件，并将各样本语音文件打包至样本文件块中，包括：获取多个样本语音文件，生成多个样本语音文件集合，其中，该样本语音文件集合中包括预设数量的样本语音文件；分别打包处理各样本语音文件集合，生成各样本语音文件集合对应的样本文件块。

具体的，在获取多个样本语音文件后，按照预设数量对各样本语音文件进行分组、生成对应的样本语音文件集合，其中，各样本语音文件集合中均包括预设数量的样本语音文件，在生成样本语音文件集合后，分别基于样本语音文件集合打包、形成样本文件块，以便于快速、均匀的基于样本语音文件生成样本文件块，以避免因样本文件块中所包括的样本语音文件数量参差影响样本文件块的使用效果。

在实践中，在基于样本语音文件生成样本语音文件集合的过程中，可根据实际需求设置同一样本语音文件是否可重复使用，即不同的样本语音文件集合中是否可包括同一样本语音文件。

在本实施例的一些可选的实现方式中，还包括：预先配置至少一个样本文件块；为该样本文件块对应添加类型列表，其中，该类型列表用于标记对应的样本文件块中已有的样本语音文件的类型。

具体的，可通过预先配置或获取基于历史数据中的样本语音文件得到的样本文件块，并对应的为该样本文件块添加类型列表，该类型列表中记录有该样本文件块中所包括的样本语音文件的类型，以便于通过该类型列表确定与训练目的相同类型的样本文件块，以及可根据该类型列表调整样本语音文件的存入策略，提升样本文件块的质量。

实践中，该样本语音文件的类型可基于样本语音文件所对应的语言场景、语种类型中、音色类型等。

在本实施例的一些可选的实现方式中，还包括：获取用于生成该批量数据集的数据加载器的第一数量以及该样本文件块的第二数量；响应于该第二数量无法整除该第一数量，获取可整除该第一数量的第三数量以及第四数量，该第三数量为该第二数量数轴左侧距离该第二数量最近的数，该第四数量为该第二数量数轴右侧距离该第二数量最近的数；获取该第三数量与该第二数量的第一数量差以及该第四数量与该第二数量的第二数量差；响应于该第一数量差小于该第二数量差，删除该第二数量差个该样本文件块。

具体的，在利用多个Dataloader对样本文件块进行处理时，为保证各Dataloader可均匀的分配样本文件块，还可获取Dataloader可的第一数量以及样本文件块的第二数量后，在第二数量无法整除第一数量时进行响应，获取第二数量数轴左侧距离最近的可整除该第一数量的第三数量，以及第二数量数轴右侧距离最近的可整除该第一数量的第四数量，获取该第三数量与该第二数量的第一数量差以及该第四数量与该第二数量的第二数量差，在该第一数量差小于该第二数量差时进行响应，删除该第二数量差个该样本文件块，以通过缩减的方式对现有的样本文件块进行调整，保证各Dataloader可均匀的分配样本文件块。

在本实施例的一些可选的实现方式中，还包括：响应于该第一数量差大于该第二数量差，从该样本文件块中选取该第二数量差个基础样本文件块，并分别单次复制该基础样本文件块。

具体的，在该第一数量差大于该第二数量差时进行响应，从现有的样本数量块中随机选出第二数量差个样本文件块作为基础样本文件块后，分别对各基础样本文件块进行单次复制，以通过填补样本文件块的方式对现有的样本文件块进行调整，保证各Dataloader可均匀的分配样本文件块。

请参考图3，图3为本公开实施例提供的一种端到端语音识别模型训练方法中，在预先配置有样本文件块以及与样本文件块对应的类型列表的情况下，针对图2所示的流程200中的步骤201提供了一种具体的实现方式流程300，流程200中的其它步骤并不做调整，也将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整实施例。其中流程300包括以下步骤：

步骤301，获取多个样本语音文件及各样本语音文件的第一类型。

在本实施例中，获取多个样本语音文件的同时，获取各样本语音文件的第一类型。

步骤302，基于该类型列表确定该样本文件块中所缺失的第二类型。

在本实施例中，基于各样本文件块的类型列表确定各样本文件块中所缺失的第二类型，即当前的样本文件块中不存在该第二类型的样本语音文件。

步骤303，响应于该样本语音文件的第一类型与该第二类型匹配，将该样本语音文件打包至样本文件块中。

在本实施例中，在样本语音文件的第一类型与该样本文件块中所缺失的第二类型匹配时进行响应，将该样本语音文件对应的存入该样本文件块。

本实施例在图2所示实施例的基础上，进一步的可基于类型列表确定各样本文件块中所缺少的样本语音文件的类型，并对应的将样本文件块中所缺少的类型的样本语音文件存入，以扩展样本文件块所中存储的样本语音文件的种类，提升样本文件块的使用价值。

在实践中，若期望使用同类型的样本语音文件对初始端到端语音识别模型进行训练，则可相应的基于样本语音文件的第一类型与类型列表中所记录的样本文件块中已有的样本语音文件的类型之间的相似度，相应的确定该相似度满足预设阈值要求的样本语音文件进行存入。

在上述任一实施例的基础上，还包括：获取该初始端到端语音识别模型训练过程中的中间解码结果；利用场景语义模型处理该中间解码结果生成该中间解码结果的评分，其中，该场景语义模型用于生成输入内容在与该场景语义模型对应的语言场景下语义质量的评分；响应于各中间解码结果的评分加和后得到的评分和数值超过预设分数阈值，为该端到端语音识别模型的添加该场景语义模型对应语言场景的可用场景标签。

具体的，在对初始端到端语音识别模型训练过程中，以单次训练为例，获取将样本语音文件中的音频作为输入、对应的文本数据作为输出的过程中初始端到端语音识别模型内部产生的中间解码结果，然后利用用于生成输入内容在与该场景语义模型对应的语言场景下语义质量的评分的场景语义模型对该中间结果进行处理，生成与该中间解码结果相对应的评分，并在完成对初始端到端语音识别模型训练、得到端到端语音识别模型后，将各中间解码结果的评分进行加和，得到评分和数值，并在该评分数值和超过分数阈值要求时进行响应，为该端到端语音识别模型添加与该场景语义模型对应的可用场景标签，以通过该可用场景标签指示该端到端语音识别模型可用的语言场景。

上述各实施例从各个方面阐述了如何训练得到端到端语音识别模型，为了尽可能的从实际使用场景突出训练出的端到端语音识别模型所起到的效果，本公开还具体提供了一种使用训练好的端到端语音识别模型来解决实际问题的方案，一种语音解码方法包括如下步骤：

流式读取语音文件，并在语音文件的读取时间长度满足预设时间阈值要求时进行响应，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与该目标语音文件对应的解码结果，该端到端语音识别模型可基于上述任一实施例中的端到端语音识别模型训练方法训练得到。

其中，流式读取语音文件、生成目标语音文件的过程中，若存在多个目标语音文件时，后一目标语音文件的起始点可为相邻的上一目标语音文件的结束点，也可以优选为上一目标语音文件的结束点前预设时长的点为起点，以避免因流式读取延迟等原因导致的两段目标语音文件接续位置的识别质量。

为加深理解，本公开还结合一个具体应用场景，给出了一种具体的实现方案：

如图4a所示，分别获取多个样本语音文件(样本语音文件1、样本语音文件2、样本语音文件3……)，并将各样本语音文件打包至样本文件块(Tar1、Tar2、Tar3……)中，生成各样本文件块的地址信息后，利用Manifest记录各样本文件块的位置。

然后，Dataloader利用Manifest找到各样本文件块的位置后，生成批量数据集以实现对基于DeepSpeech2构建的初始端到端语音识别模型的训练。

在完成训练、得到端到端语音识别模型，后流式读取语音文件，并在读取该语音文件的读取时间长度满足预设时间阈值要求进行响应，将已读取到的语音文件生成记录为目标语音文件1，并距离该目标语音文件1结束预设时长为起点，读取该语音文件，依次达到时间长度与目标语音文件1相同的目标语音文件2、目标语音文件3……。

依次将目标语音文件1、2、3……输入至端到端语音识别模型，利用该端到端语音识别模型依次对目标语音文件1、2……进行处理，如图4b，使用基于线性频谱图的方式构建的特征提取层对语音文件中的原始音频进行特征提取，然后使用2层卷积神经网络作为模型的降采样模块，再接入多层RNN作为Encoder，RNN使用单向的RNN结构，以支持流式识别。

最后，Encoder的输出经过Softmax层获取到输出的概率经过解码层进行解码，得到最后的解码结果。

进一步参考图5和图6，作为对上述各图所示方法的实现，本公开分别提供了一种端到端语音识别模型训练装置实施例和一种语音解码装置的实施例，端到端语音识别模型训练装置实施例与图2所示的端到端语音识别模型训练方法实施例相对应，语音解码装置实施例与语音解码方法实施例相对应。上述装置具体可以应用于各种电子设备中。

如图5所示，本实施例的端到端语音识别模型训练装置500可以包括：样本获取及打包单元501、地址信息生成单元502、批量数据集生成单元503和模型训练单元504。其中，样本获取及打包单元501，包括样本获取子单元和样本打包子单元，其中，该样本获取子单元被配置成获取多个样本语音文件的样本获取子单元，该样本打包子单元被配置成将各样本语音文件打包至样本文件块中；地址信息生成单元502，被配置成生成该样本文件块的地址信息；批量数据集生成单元503，被配置成利用数据加载器读取该地址信息，生成批量数据集；模型训练单元504，被配置成基于该批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

在本实施例中，端到端语音识别模型训练装置500中：样本获取及打包单元501、地址信息生成单元502、批量数据集生成单元503和模型训练单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，样本获取及打包单元501，包括：该样本获取子单元进一步被配置成，获取多个样本语音文件，生成多个样本语音文件集合，其中，该样本语音文件集合中包括预设数量的样本语音文件；该样本打包子单元进一步被配置成，分别打包处理各样本语音文件集合，生成各样本语音文件集合对应的样本文件块。

在本实施例的一些可选的实现方式中，端到端语音识别模型训练装置500中还可以包括：文件块配置单元，被配置成预先配置至少一个该样本文件块；类型列表添加单元，被配置成为该样本文件块对应添加类型列表，其中，该类型列表用于标记对应的样本文件块中已有的样本语音文件的类型。

在本实施例的一些可选的实现方式中，样本获取及打包单元501，包括：该样本获取子单元进一步被配置成，获取多个样本语音文件及各样本语音文件的第一类型；该样本打包子单元进一步被配置成，基于该类型列表确定该样本文件块中所缺失的第二类型；响应于该样本语音文件的第一类型与该第二类型匹配，将该样本语音文件打包至样本文件块中。

在本实施例的一些可选的实现方式中，端到端语音识别模型训练装置500中还可以包括：中间结果获取单元，被配置成获取该初始端到端语音识别模型训练过程中的中间解码结果；中间结果评分单元，被配置成利用场景语义模型处理该中间解码结果生成该中间解码结果的评分，其中，该场景语义模型用于生成输入内容在与该场景语义模型对应的语言场景下语义质量的评分；场景标签添加单元，被配置成响应于各中间解码结果的评分加和后得到的评分和数值超过预设分数阈值，为该端到端语音识别模型的添加该场景语义模型对应语言场景的可用场景标签。

在本实施例的一些可选的实现方式中，端到端语音识别模型训练装置500中还可以包括：加载器数量及文件块数量获取单元，包括加载器数量获取子单元和文件块数量获取子单元，其中，该加载器数量获取子单元被配置成获取用于生成该批量数据集的数据加载器的第一数量，该文件块数量获取子单元被配置成该样本文件块的第二数量；整除数量获取单元，被配置成响应于该第二数量无法整除该第一数量，获取可整除该第一数量的第三数量以及第四数量，其中，该第三数量为该第二数量数轴左侧距离该第二数量最近的数，该第四数量为该第二数量数轴右侧距离该第二数量最近的数；数量差获取单元，被配置成获取该第三数量与该第二数量的第一数量差以及该第四数量与该第二数量的第二数量差；第一样本文件块调整单元，被配置成响应于该第一数量差小于该第二数量差，删除该第二数量差个该样本文件块。

在本实施例的一些可选的实现方式中，端到端语音识别模型训练装置500中还可以包括：第二样本文件块调整单元，被配置成响应于该第一数量差大于该第二数量差，从该样本文件块中选取该第二数量差个基础样本文件块，并分别单次复制该基础样本文件块。

在本实施例的一些可选的实现方式中，该样本文件块包括以下中的至少一种：Tar格式文件、Npz格式文件、层次性数据格式第五版格式文件、Pickle格式文件。

如图6所示，本实施例的语音解码装置600可以包括：语音文件流式读取单元601、语音解码单元602。其中，语音文件流式读取单元601，被配置成流式读取语音文件；语音解码单元602，被配置成响应于读取该语音文件的读取时间长度满足预设时间阈值要求，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与该目标语音文件对应的解码结果；其中，端到端语音识别模型根据端到端语音识别模型训练装置500得到。

在本实施例中，语音解码装置600中：语音文件流式读取单元601、语音解码单元602的具体处理及其所带来的技术效果可分别对应方法实施例中的相关说明，在此不再赘述。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的端到端语音识别模型训练装置以及语音解码装置，可以降低对初始端到端语音识别模型进行训练时的缓存资源使用，可提升对初始端到端语音识别模型进行训练时的训练效率，使得利用大规模的样本语音文件对初始端到端模型进行训练成为可能，进而提升训练得到的端到端语音识别模型质量。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一实施例描述的端到端语音识别模型训练方法和/或语音解码方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一实施例描述的端到端语音识别模型训练方法和/或语音解码方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一实施例描述的端到端语音识别模型训练方法和/或语音解码方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如端到端语音识别模型训练方法和/或语音解码方法。例如，在一些实施例中，端到端语音识别模型训练方法和/或语音解码方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的端到端语音识别模型训练方法和/或语音解码方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行端到端语音识别模型训练方法和/或语音解码方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

本公开实施例的技术方案，可以降低对初始端到端语音识别模型进行训练时的缓存资源使用，可提升对初始端到端语音识别模型进行训练时的训练效率，使得利用大规模的样本语音文件对初始端到端模型进行训练成为可能，进而提升训练得到的端到端语音识别模型质量。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种端到端语音识别模型训练方法，包括：

获取多个样本语音文件，并将各所述样本语音文件打包至样本文件块中；

生成所述样本文件块的地址信息；

利用数据加载器读取所述地址信息，生成批量数据集；

基于所述批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

2.根据权利要求1所述的方法，其中，所述获取多个样本语音文件，并将各所述样本语音文件打包至样本文件块中，包括：

获取多个样本语音文件，生成多个样本语音文件集合，其中，所述样本语音文件集合中包括预设数量的样本语音文件；

分别打包处理各所述样本语音文件集合，生成各所述样本语音文件集合对应的样本文件块。

3.根据权利要求1所述的方法，还包括：

预先配置至少一个所述样本文件块；

为所述样本文件块对应添加类型列表，其中，所述类型列表用于标记对应的样本文件块中已有的样本语音文件的类型。

4.根据权利要求3所述的方法，其中，所述获取多个样本语音文件，并将各所述样本语音文件打包至样本文件块中，包括：

获取多个样本语音文件及各所述样本语音文件的第一类型；

基于所述类型列表确定所述样本文件块中所缺失的第二类型；

响应于所述样本语音文件的第一类型与所述第二类型匹配，将所述样本语音文件打包至样本文件块中。

5.根据权利要求1所述的方法，还包括：

获取用于生成所述批量数据集的数据加载器的第一数量以及所述样本文件块的第二数量；

响应于所述第二数量无法整除所述第一数量，获取可整除所述第一数量的第三数量以及第四数量，其中，所述第三数量为所述第二数量数轴左侧距离所述第二数量最近的数，所述第四数量为所述第二数量数轴右侧距离所述第二数量最近的数；

获取所述第三数量与所述第二数量的第一数量差以及所述第四数量与所述第二数量的第二数量差；

响应于所述第一数量差小于所述第二数量差，删除所述第二数量差个所述样本文件块。

6.根据权利要求5所述的方法，还包括：

响应于所述第一数量差大于所述第二数量差，从所述样本文件块中选取所述第二数量差个基础样本文件块，并分别单次复制所述基础样本文件块。

7.根据权利要求1所述的方法，还包括：

获取所述初始端到端语音识别模型训练过程中的中间解码结果；

利用场景语义模型处理所述中间解码结果生成所述中间解码结果的评分，其中，所述场景语义模型用于生成输入内容在与所述场景语义模型对应的语言场景下语义质量的评分；

响应于各所述中间解码结果的评分加和后得到的评分和数值超过预设分数阈值，为所述端到端语音识别模型的添加所述场景语义模型对应语言场景的可用场景标签。

8.根据权利要求1-7中任一项所述的方法，其中，所述样本文件块包括以下中的至少一种：Tar格式文件、Npz格式文件、层次性数据格式第五版格式文件、Pickle格式文件。

9.一种语音解码方法，包括：

流式读取语音文件；

响应于读取所述语音文件的读取时间长度满足预设时间阈值要求，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与所述目标语音文件对应的解码结果，其中，所述端到端语音识别模型基于权利要求1-8中任一项所述的端到端语音识别模型训练方法得到。

10.一种端到端语音识别模型训练装置，包括：

样本获取及打包单元，包括样本获取子单元和样本打包子单元，其中，所述样本获取子单元被配置成获取多个样本语音文件的样本获取子单元，所述样本打包子单元被配置成将各所述样本语音文件打包至样本文件块中；

地址信息生成单元，被配置成生成所述样本文件块的地址信息；

批量数据集生成单元，被配置成利用数据加载器读取所述地址信息，生成批量数据集；

模型训练单元，被配置成基于所述批量数据集对初始端到端语音识别模型进行训练，得到端到端语音识别模型。

11.根据权利要求10所述的装置，其中，所述样本获取及打包单元，包括：

所述样本获取子单元进一步被配置成，获取多个样本语音文件，生成多个样本语音文件集合，其中，所述样本语音文件集合中包括预设数量的样本语音文件；

所述样本打包子单元进一步被配置成，分别打包处理各所述样本语音文件集合，生成各所述样本语音文件集合对应的样本文件块。

12.根据权利要求10所述的装置，还包括：

文件块配置单元，被配置成预先配置至少一个所述样本文件块；

类型列表添加单元，被配置成为所述样本文件块对应添加类型列表，其中，所述类型列表用于标记对应的样本文件块中已有的样本语音文件的类型。

13.根据权利要求12所述的装置，其中，所述样本获取及打包单元，包括：

所述样本获取子单元进一步被配置成，获取多个样本语音文件及各所述样本语音文件的第一类型；

所述样本打包子单元进一步被配置成，基于所述类型列表确定所述样本文件块中所缺失的第二类型；

响应于所述样本语音文件的第一类型与所述第二类型匹配，将所述样本语音文件打包至样本文件块中。

14.根据权利要求10所述的装置，还包括：

中间结果获取单元，被配置成获取所述初始端到端语音识别模型训练过程中的中间解码结果；

中间结果评分单元，被配置成利用场景语义模型处理所述中间解码结果生成所述中间解码结果的评分，其中，所述场景语义模型用于生成输入内容在与所述场景语义模型对应的语言场景下语义质量的评分；

场景标签添加单元，被配置成响应于各所述中间解码结果的评分加和后得到的评分和数值超过预设分数阈值，为所述端到端语音识别模型的添加所述场景语义模型对应语言场景的可用场景标签。

15.根据权利要求10所述的装置，还包括：

加载器数量及文件块数量获取单元，包括加载器数量获取子单元和文件块数量获取子单元，其中，所述加载器数量获取子单元被配置成获取用于生成所述批量数据集的数据加载器的第一数量，所述文件块数量获取子单元被配置成所述样本文件块的第二数量；

整除数量获取单元，被配置成响应于所述第二数量无法整除所述第一数量，获取可整除所述第一数量的第三数量以及第四数量，其中，所述第三数量为所述第二数量数轴左侧距离所述第二数量最近的数，所述第四数量为所述第二数量数轴右侧距离所述第二数量最近的数；

数量差获取单元，被配置成获取所述第三数量与所述第二数量的第一数量差以及所述第四数量与所述第二数量的第二数量差；

第一样本文件块调整单元，被配置成响应于所述第一数量差小于所述第二数量差，删除所述第二数量差个所述样本文件块。

16.根据权利要求15所述的装置，还包括：

第二样本文件块调整单元，被配置成响应于所述第一数量差大于所述第二数量差，从所述样本文件块中选取所述第二数量差个基础样本文件块，并分别单次复制所述基础样本文件块。

17.根据权利要求10-16中任一项所述的装置，其中，所述样本文件块包括以下中的至少一种：Tar格式文件、Npz格式文件、层次性数据格式第五版格式文件、Pickle格式文件。

18.一种语音解码装置，包括：

语音文件流式读取单元，被配置成流式读取语音文件；

语音解码单元，被配置成响应于读取所述语音文件的读取时间长度满足预设时间阈值要求，将已读取到的目标语音文件输入至端到端语音识别模型进行处理，生成与所述目标语音文件对应的解码结果，其中，所述端到端语音识别模型基于权利要求10-17中任一项所述的端到端语音识别模型训练装置得到。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的端到端语音识别模型训练方法和/或权利要求9所述的语音解码方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的端到端语音识别模型训练方法和/或权利要求9所述的语音解码方法。

Images