CN115662470A - 音频粒子提取方法和声浪合成方法及装置、设备、介质 - Google Patents
音频粒子提取方法和声浪合成方法及装置、设备、介质 Download PDFInfo
- Publication number
- CN115662470A CN115662470A CN202211590380.XA CN202211590380A CN115662470A CN 115662470 A CN115662470 A CN 115662470A CN 202211590380 A CN202211590380 A CN 202211590380A CN 115662470 A CN115662470 A CN 115662470A
- Authority
- CN
- China
- Prior art keywords
- target
- audio
- data
- particle
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 356
- 238000000605 extraction Methods 0.000 title claims abstract description 51
- 238000001308 synthesis method Methods 0.000 title claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 54
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005496 tempering Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 101100188555 Arabidopsis thaliana OCT6 gene Proteins 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请公开了一种音频粒子提取方法和声浪合成方法及装置、设备、介质，音频粒子提取方法包括：获取目标发动机在若干运转状态下的录音数据；分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率；对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子。上述方案，能够提高音频粒子的质量，进而提高声浪合成的效果。
Description
技术领域
本申请涉及信号分析与合成技术领域，特别是涉及一种音频粒子提取方法和声浪合成方法及装置、设备、介质。
背景技术
随着当前汽车行业的蓬勃发展以及国内政策对新能源方向的大力持续扶持，虽然汽车市场以纯电动力代替传统燃油发动机已成大势所取，但缺少了发动机气缸以及排气物理系统，驾驶员在电动汽车内部驾驶时缺少跟随踏板的可感知的信号反馈，实际上很大程度地影响了驾驶员的沉浸式驾驶体验。因此，针对电动汽车的车内发动机引擎声浪模拟成为相关领域研究人员的热点研究方向。
目前，一般采用统计参数、波形拼接等方式进行声音合成。但是，前者通过建模进行近似处理，合成音频的自然度难以保障，而后者包含波表合成和粒子合成两种技术路线，其中，波表合成由于音频片段间相位无法精准对齐，音色还原不够自然，而粒子合成的合成质量，很大程度上受限于音频粒子的质量。有鉴于此，如何提高音频粒子的质量，进而提高声浪合成的效果，成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种音频粒子提取方法和声浪合成方法及装置、设备、介质，能够提高音频粒子的质量，进而提高声浪合成的效果。
为了解决上述技术问题，本申请第一方面提供了一种音频粒子提取方法，包括：获取目标发动机在若干运转状态下的录音数据；其中，若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；再分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率；对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子。
为了解决上述技术问题，本申请第二方面提供了一种声浪合成方法，包括：获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于上述第一方面中的音频粒子提取方法确定；再基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；并基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；基于缓存空间中的目标音频粒子，合成得到声浪数据。
为了解决上述技术问题，本申请第三方面提供了一种音频粒子提取装置，包括：录音模块、选择模块、确定模块、候选模块和提取模块。其中，录音模块用于获取目标发动机在若干运转状态下的录音数据；若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；选择模块用于分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据；确定模块用于确定目标数据中各音频帧的主阶次频率；候选模块用于对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；提取模块用于对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子。
为了解决上述技术问题，本申请第四方面提供了一种声浪合成装置，包括：获取模块、转速预测模块、频率预测模块、缓存模块和合成模块。其中，获取模块用于获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于上述第一方面中的音频粒子提取方法确定；转速预测模块用于基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；频率预测模块用于基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；缓存模块用于在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；合成模块用于基于缓存空间中的目标音频粒子，合成得到声浪数据。
为了解决上述技术问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面的音频粒子提取方法，或上述第二方面的声浪合成方法。
为了解决上述技术问题，本申请第六方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的音频粒子提取方法，或上述第二方面的声浪合成方法。
上述方案，通过获取目标发动机在若干运转状态下的录音数据；其中，若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；再分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率；对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子，一方面通过获取目标发动机在若干运转状态下的录音数据，并选择目标状态下的录音数据作为目标数据，确定目标数据中各音频帧的主阶次频率，有助于提高各运行状态下目标数据中各音频帧的主阶次频率的准确性；另一方面基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子，有助于提高获取目标状态下目标频率的候选音频粒子的效率的，在此基础上，再基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子，进而可以提取到完整周期的音频粒子，确保了提取得到的音频粒子的质量。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
附图说明
图1是本申请音频粒子提取方法一实施例的流程示意图；
图2是本申请音频粒子提取方法另一实施例的流程示意图；
图3是本申请声浪合成方法一实施例的流程示意图；
图4是台架测试或离线模拟场景中一实施例的框架示意图；
图5是台架测试或离线模拟场景中另一实施例的框架示意图；
图6是实车驾驶场景中一实施例的框架示意图；
图7是本申请声浪合成方法一实施例的框架示意图；
图8是本申请音频粒子提取装置一实施例的框架示意图；
图9是本申请声浪合成装置一实施例的框架示意图；
图10是本申请电子设备一实施例的框架示意图；
图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。“若干”表示至少一个。本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
请参阅图1，图1是本申请音频粒子提取方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取目标发动机在若干运转状态下的录音数据。
本公开实施例中，若干运转状态包括：加速状态、减速状态、怠速状态中至少一者。
在一个实施场景中，目标发动机可以为燃油车的发动机，并且为了使录音数据更有效，需要在有效长的时间内尽可能多地覆盖到目标发动机在若干运转状态下的噪声特性。因此，可以获取在固定档位下匀加速或匀减速的录音数据，加速过程应尽量平缓，从而使录音数据可以满足短时稳态近似，例如，可以通过控制加速或减速的时长，使加速或减速的过程更平缓，可以使加速或减速时长大于预设时长，预设时长可以是25s、30s、35s等，在此不做具体限定。此外，录音位置可以选择发动机引擎处，当然，也可以基于存在固定传递函数的车架或车内某位置进行录制，录音过程也应尽量保证发动机引擎噪声相比于风噪、胎噪等的信噪比可以达到预设阈值以上，预设阈值可以是25dB、30dB、35dB等，在此不做具体限定。进一步地，录音方式可以选择单声道拾音，也可以选择多声道拾音，录音方式可以根据实际情况进行选择，在此不做具体限定。
步骤S12：分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率。
在一个实施场景中，目标状态基于若干运转状态进行选择，目标数据基于目标状态进行确定。例如，可以选择加速状态作为目标状态，选择加速状态下的录音数据作为目标数据。其他运转状态以此类推，在此不再一一赘述。
在一个实施场景中，确定目标数据中各音频帧的主阶次频率的方式可以实际情况进行选择，当目标发动机未采集到与录音数据时间同步的动力系统状态数据时，可以基于对录音数据进行处理，确定目标数据中各音频帧的主阶次频率；当目标发动机采集到与录音数据时间同步的动力系统状态数据时，可以基于动力系统状态数据中的转速数据，确定目标数据中各音频帧的主阶次频率。需要说明的是，与录音数据时间同步的动力系统状态数据可以在行驶过程中通过CAN信号广播模式或者主动收发模式获取得到。
在一个具体实施场景中，当目标发动机未采集到与录音数据时间同步的动力系统状态数据时，可以基于录音数据，对目标发送机引擎的点火频率进行计算。具体来说，录音数据包括若干音频帧，在此基础上，可以通过包括但不限于时域自相关的PYIN算法、频域的SWIPE算法、时频域综合的YAAPT算法等算法分别处理各个音频帧，最终确定目标数据中各音频帧的主阶次频率。需要说明的是，在不存在时间同步的动力系统状态数据时，主阶次频率的确定方式，具体可以参阅诸如PYIN算法、SWIPE算法、YAAPT算法等技术细节，在此不再赘述。
在一个具体实施场景中，从动力系统状态数据中的转速数据，提取与音频帧时间同步的任意一个转速值，作为目标转速值；再基于目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，确定音频帧的主阶次频率。具体可以参阅本公开实施例中下述相关描述，在此暂不赘述。
在另一个具体实施场景中，为了提升音频帧的主阶次频率的准确性，可以先从动力系统状态数据中的转速数据，提取与音频帧时间同步的至少一个转速值；再基于至少一个转速值进行数值统计，确定在采集音频帧时目标发动机的目标转速值。具体地，若仅提取到一个转速值，则将该转速值确定为在采集音频帧时目标发动机的目标转速值；若提取到多个转速值，可以对多个转速值进行数值统计，例如，取平均值、取众数、取方差等方式，并将数值统计结果作为在采集音频帧时目标发动机的目标转速值。示例性地，若采集到多个转速值，则对多个转速值求平均值，将平均值确定为在采集音频帧时目标发动机的目标转速值；或者，若采集到多个转速值，还可以对多个转速值进行加权处理，对转速值的权重可以根据实际情况进行确定，在此不做具体限定。此外，还可以根据实际情况对数值统计结果进行处理，例如，向上取整、向下取整等。再基于目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，确定音频帧的主阶次频率。上述方式，通过提取与音频帧时间同步的至少一个转速值，并对至少一个转速值进行数值统计，进而确定目标发动机的目标转速值，有助于提高目标转速值的准确性，再进一步基于目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，确定音频帧的主阶次频率，有助于提高主阶次频率的准确性。
进一步地，转速模型可以为数学模型，转速模型为虚拟发动机设置最大转速值、最小转速值和目标转速值，可以理解的是，最大转速值、最小转速值为固定预设参数值，当然，最大转速值和最小转速值也可以根据实际情况进行更新。此外，获取目标发动机在怠速状态下最低的主阶次频率，怠速状态下最低的主阶次频率可以通过怠速状态下目标数据中各个音频帧的主阶次频率进行选择，即选择怠速状态下最低的主阶次频率。作为一种可能的实施方式，当目标状态为加速状态时，可以选择目标数据中第一音频帧的主阶次频率作为的最低的主阶次频率。区别于前述实施方式，当目标状态为减速状态时，可以选择目标数据中最后一音频帧的主阶次频率作为的最低的主阶次频率。在获取虚拟发动机设置的最大转速值、最小转速值和目标转速值，及目标发动机在怠速状态下最低的主阶次频率之后，再获取目标转速值与最小转速值的第一差值，并获取最大转速值与最小转速值的第二差值；并将第一差值与第二差值之间的比值和怠速状态下最低的主阶次频率之和，作为音频帧的主阶次频率。可以通过表达式表示为：
其中，F0[n]为第n音频帧的主阶次频率，F0|idle为怠速状态下最低的主阶次频率，RPN[n]为目标转速值，RPN min为虚拟发动机设置的最小转速值，RPN max为虚拟发动机设置的最大转速值。上述方式，通过转速模型为虚拟发动机设置的最大转速值、最小转速值和目标转速值，有助于提高音频帧的主阶次频率的准确性，进一步提高音频粒子的质量。
在一个实施场景中，对于目标数据中各音频帧，确定录音数据关于有效性的检查结果。有效性的检查可以包括录音数据采样率应高于预设阈值，预设阈值可以设置为8kHz、9kHz等；也可以包括录音数据应无断续、丢帧、截幅以及失真问题；又可以包括录音数据应整体上表现为匀速、均加速、均减速三种趋势之一；或者，录音数据应整体上无换挡、离合、急加减、急减速等趋势瞬变现。通过确定录音数据关于有效性的检查结果，若录音数据中某一音频帧的有效性不满足条件时，则剔除该音频帧；若录音数据中音频帧的有效性均不满足条件时，则重新执行获取目标发动机在目标运转状态下的录音数据的步骤及后续步骤。上述方式，通过对音频数据进行有效性检查，对音频数据中有明显瑕疵或者会影响音频粒子的音频数据进行剔除，或者重新录制，有助于提高音频数据的质量，进一步提高音频粒子的质量。
在一个实施场景中，对于目标数据中各音频帧，可以响应于对目标发动机采集到与录音数据时间同步的动力系统状态数据，基于动力系统状态数据中的转速数据，分析录音数据关于单调性的检查结果。作为一种可能的实施方式，由于动力系统状态数据中的转速数据与音频帧的主阶次频率之间存在正相关关系，可以通过目标数据中各音频帧的主阶次频率之间的变化趋势，确定录音数据关于单调性的检查结果。区别于前述实施方式，可以基于转速数据中与音频帧时间同步的转速值，统计得到在采集音频帧时目标发动机的目标转速值，目标转速值的获取方式可以参照前述公开实施例中的方式，在此不再赘述。再基于目标转速值的变化趋势符合目标状态的音频帧在录音数据中的数量占比，确定录音数据关于单调性的检查结果。此外，若录音数据中某一音频帧的目标转速值的变化趋势不符合目标状态的音频帧在录音数据中的数量占比，则将该视频帧剔除。若录音数据中音频帧的目标转速值的变化趋势均不符合目标状态的音频帧在录音数据中的数量占比，则重新执行获取目标发动机在目标运转状态下的录音数据的步骤及后续步骤。上述方式，通过目标转速值的变化趋势是否符合目标状态的音频帧在录音数据中的数量占比，确定录音数据关于单调性的检查结果，进而可以快速得到加速状态、减速状态、怠速状态的单调性的检查结果，在提高提取音频粒子速率的同时，提高音频粒子的质量。
在另一个实施场景中，可以响应于对目标发动机未采集到与录音数据时间同步的动力系统状态数据，先分析录音数据中各音频帧是否满足信噪比条件，其中，信噪比条件包括：主阶次频率对应的第一信噪比大于第一阈值，主阶次频率外的谐波阶次频率对应的第二信噪比大于第二阈值。具体地，可以先采用分数阶倍频程滤波组（Fractional OctaveFilter Bank）进行处理得到对应各主阶次频率以及主阶次频率外的谐波阶次频率的成分分量，再基于各主阶次频率以及主阶次频率外的谐波阶次频率的成分分量进行计算得到各音频帧的信噪比。示例性地，可以对各音频帧，采用带宽为1/6倍频程，中心频率为该音频帧主阶次频率的分数滤波器对该音频帧进行处理，确定该音频帧主阶次频率的成分分量，进而确定主阶次频率对应的第一信噪比，具体可以表示为：
其中，SNR fund（F0）为主阶次频率对应的第一信噪比，E表示能量统计，F0为第n个音频帧的主阶次频率，s[n]表示第n个音频帧的音频信号，OctaveFilt表示带宽为1/6倍频程（即1/6oct），中心频率为该音频帧主阶次频率F0的分数滤波器，E total为第n个音频帧的总能量。在获取到第一信噪比之后，需要将第一信噪比与第一阈值进行比较，第一阈值可以设置为15dB、20dB、25dB等。进一步地，可以基于音频帧主阶次频率的成分分量，获取主阶次频率外的谐波阶次频率的成分分量，进而可以获取主阶次频率外的谐波阶次频率对应的第二信噪比，具体可以表示为：
其中，SNR harmonic（F0）为主阶次频率外的谐波阶次频率对应的第二信噪比，E表示能量统计，F0为第n个音频帧的主阶次频率，OctaveFilt表示带宽为1/6倍频程（即1/6oct），中心频率为该音频帧主阶次频率F0的分数滤波器，E total为第n个音频帧的总能量，分子部分表示采用带宽为1/6倍频程，中心频率为该音频帧谐波阶次频率的分数滤波器，对该音频帧进行处理所得各谐波阶次能量求和统计。在获取到第二信噪比之后，需要将第二信噪比与第二阈值进行比较，第二阈值可以设置为15dB、20dB、25dB等。基于录音数据中满足信噪比条件的音频帧在录音数据中的数量占比，确定录音数据关于阶次能量的检查结果，具体地，录音数据中满足信噪比条件的音频帧在录音数据中的数量占比大于第三阈值（如，95%、97%、99%等），可以确定录音数据满足阶次检查，当然，也可以将不满足信噪比条件的音频帧剔除。反之，则可以确定录音数据不满足阶次检查。此外，在确定录音数据不满足阶次检查的情况下，可以重新执行获取目标发动机在目标运转状态下的录音数据的步骤及后续步骤。上述方式，通过基于录音数据中满足信噪比条件的音频帧在录音数据中的数量占比，确定录音数据关于阶次能量的检查结果，在提高提取音频粒子速率的同时，进而提高音频粒子的质量。
进一步地，在录音数据中满足信噪比条件的音频帧在录音数据中的数量占比大于第三阈值的情况下，可以再基于目标数据中各音频帧的主阶次频率，分析录音数据关于单调性的检查结果。具体地，可以基于获取得到的录音数据的主阶次频率估计曲线来判断主阶次频率变化的单调性，即将音频帧基于时间顺序进行排列，排列之后得到录音数据的主阶次频率曲线，并基于曲线变化得到录音数据关于单调性的检查结果。具体地，若目标状态为加速状态时，音频数据的主阶次频率随时间变化需要满足各音频帧的主阶次频率均大于或等于前一音频帧的主阶次频率。具体可以表示为：
其中，F0[n]为第n音频帧对应的主阶次频率，flag（F0[n]）表示第n视频帧是否为单调有效帧的标志位，N为总帧长，γ表征单调有效帧占总录音数据的比重。即第n音频帧对应的主阶次频率与第n-1音频帧对应的主阶次频率之差应大于或等于0，若满足该条件，标志位为1，基于目标转速值的变化趋势符合目标状态的音频帧在录音数据中的数量占比，若占比大于预设阈值，则可以确定为录音数据满足单调性的要求。预设阈值可以设置为93%、95%、98%等，在此不做具体限定。进一步地，若目标状态为减速状态时，音频数据的主阶次频率随时间变化需要满足各音频帧的主阶次频率均小于或等于前一音频帧的主阶次频率。具体可以表示为：
其中，F0[n]为第n音频帧对应的主阶次频率，flag（F0[n]）表示第n视频帧是否为单调有效帧的标志位，N为总帧长，γ表征单调有效帧占总录音数据的比重。即第n音频帧对应的主阶次频率与第n-1音频帧对应的主阶次频率之差应小于或等于0，若满足该条件，标志位为1，基于目标转速值的变化趋势符合目标状态的音频帧在录音数据中的数量占比，若占比大于预设阈值，则可以确定为录音数据满足单调性的要求。预设阈值可以设置为93%、95%、98%等，在此不做具体限定。若目标状态为怠速状态时，需要确定目标数据中无换挡、离合、急加减、急减速等趋势瞬变现象。此外，若音频数据中某一音频帧不满足单调性时候，可以将不满足单调性的音频帧剔除，若录音数据不满足单调性的要求，则可以重新执行获取目标发动机在目标运转状态下的录音数据的步骤及后续步骤。上述方式，通过基于目标数据中各音频帧的主阶次频率，分析录音数据关于单调性的检查结果，在提高提取音频粒子速率的同时，进而提高音频粒子的质量。
步骤S13：对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子。
本公开实施例中，对于目标数据中的所有音频帧，均需要进行处理，最终得到目标状态下的目标频率的候选音频粒子。目标频率为音频帧的主阶次频率，主阶次频率为当前处理的音频帧的主阶次频率。此外，预设数值为目标发动机缸数的第一倍数，目标发动机缸数可以根据实际应用中目标发动机的设置进行确定，第一倍数可以是大于1的任意值，例如，第一倍数可以是2、3、4等，在此不做具体限定。
在一个实施场景中，中心时刻位于音频帧的中心。音频片段的时长为音频帧的主阶次频率对应周期的第二倍数，第二倍数可以是大于1的任意值，例如，第二倍数可以是2、3、4等，在此不做具体限定。
在一个实施场景中，中心时刻为各音频帧的中心时刻，在目标数据提取音频片段，具体地，音频片段的时长为音频帧的主阶次频率对应周期的第二倍数，周期为主阶次频率的倒数。示例性地，第二倍数为3时，可以表示为：
其中，F0为主阶次频率，X F0[k]为音频片段，k为采样点。进一步地，采用以音频帧的主阶次频率为中心频率的带通滤波器，对音频片段进行滤波。具体地，以主阶次频率为中心频率，采用滤波器对音频片段进行带通滤波，滤波器可以使用但不限于巴特沃斯滤波器、贝塞尔滤波器、椭圆滤波器等等。进而可以在保证滤波器稳定的情况下，尽量优选更高阶滤波器系数以保证更小的相位响应畸变。示例性地，采用巴特沃斯滤波器对音频片段进行带通滤波，具体可以表示为：
其中，yF0[k]表示调制信号，F0为主阶次频率，X F0[k]为音频片段，k为采样点。上述方式，通过采用以音频帧的主阶次频率为中心频率的带通滤波器，对音频片段进行滤波，可以在保证滤波器稳定的情况下，尽量优选更高阶滤波器系数以保证更小的相位响应畸变，进而提高音频粒子的质量。
在一个实施场景中，可以基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子。具体地，可以对滤波后幅度调制信号的音频信号计算过零点，具体可以表示为：
其中，cross_zeroF0[k]为第k个采样点的标志位，即若第k个采样点的调制信号和第k-1个采样点的调制信号相乘小于0，则表征第k个采样点为过零点，而预设数值为目标发动机缸数的第一倍数，即采样周期的数值与发动机缸数相关，目标发动机缸数可以为预设缸数，也可以通过谐波分类统计得到。进一步地，基于目标发动机缸数，确定目标状态下目标频率的候选音频粒子。示例性地，预设数值为目标发动机缸数的第一倍数，第一倍数设置为2，则候选音频粒子可以通过表达式获取，具体表示为：
其中，Z F0[k，n]表示候选音频粒子，get_idx表示获取采样点的下标，nstart表示作为候选音频粒子起始的采样点下标，nend表示作为候选音频粒子终止的采样点下标，cross_zeroF0[k]为第k个采样点的标志位，Ncylinder表示目标发动机缸数。具体地，从第一个采样点进行检验，若第一个采样点为过零点，则再检验下标为两倍的缸数加该采样点的下标的采样点是否也为过零点，若也为过零点，则确定分别以两个采样点为起止，提取出候选音频粒子。然后依次进行检验，直到对所有的采样点检验完成。
步骤S14：对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子。
本公开实施例中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子。作为一种可能的实施方式，可以依次对目标状态下各个主阶次频率，确定其目标音频粒子。在加速状态下，可以按照主阶次频率从高到低的顺序，依次确定目标音频粒子；或者，在减速状态下，可以按照主阶次频率由低到高的顺序，依次确定目标音频粒子；或者，在怠速状态下，既可以按照主阶次频率由大到小的顺序确定目标音频粒子，也可以按照主阶次频率由小到大的顺序确定目标音频粒子，还可以直接按照各个音频帧的顺序，确定目标音频粒子，在此不做限定。此外，对于当前待确定目标音频粒子的主阶次频率而言，其参考音频粒子具体可以是同处于目标状态下的前一主阶次频率的目标音频粒子。或者，作为实际应用中其他可能的实施方式，其参考音频粒子具体也可以是目标状态下之前第m（m>1）个主阶次频率的目标音频粒子，在此不做具体限定。
在一个实施场景中，作为一种可能的实施方式，对于目标状态下各个主阶次频率，若其存在多个候选音频粒子，可以其中任意一个候选音频粒子，作为目标状态下该主阶次频率的目标音频粒子。或者，也可以比较这些候选音频粒子的音频质量，选择其中质量最高的候选音频粒子，作为目标状态下该主阶次频率的目标音频粒子。
在另一个实施场景中，区别于前述公开实施例，为了进一步提升音频粒子的质量，从而提升后续的合成效果，作为另一种可能的实施方式，还可以选择当前待确定目标音频粒子的主阶次频率所属目标状态下前一主阶次频率的目标音频粒子，作为参考音频粒子，再基于各候选音频粒子分别与参考音频粒子的互相关时延，选择候选音频粒子作为目标状态下主阶次频率的目标音频粒子。具体地，可以选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子。互相关时延即为各候选音频粒子分别与参考音频粒子两个离散序列之间进行互相关，得到互相关峰值，互相关峰值对应的时刻即是互相关时延，再选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子。互相关计算可以表示为：
其中，R[m，k]为互相关计算结果，Z F0[k，n]表示候选音频粒子，Z F0[n]表示参考音频粒子。基于互相关计算结果，即互相关时延，选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子，进一步地，可以获取目标音频粒子的粒子时间长度，可以表示为：
其中，LF0表示主阶次频率F0的目标音频粒子的时间长度，nstart表示目标音频粒子的起始时刻，nend表示目标音频粒子的终止时刻。上述方式，通过对各候选音频粒子分别与参考音频粒子的互相关时延，并选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子，有助于提高目标音频粒子的准确性，进而提高音频粒子的质量。
在一个实施场景中，在基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子之后，还可以获取目标音频粒子的窗函数。具体地，可以响应于对目标发动机采集到与录音数据时间同步的动力系统状态数据，从动力系统状态数据中，提取与目标音频粒子时间同步的至少部分数据，示例性地，可以从动力系统状态数据中，提取与录音数据同步的速度、扭矩、油门踏板等信息，并对获取得到的目标音频粒子进行增益处理或包络调整处理，例如，增益处理可以通过调整窗函数的幅值响应实现，包络调整处理可以通过音乐信号处理中的ADSR（Attack/Decay/Sustain/Release）方案实现，可以理解的是，油门踏板越大，ADSR中Attack越大，Release越小，因此，可以基于至少部分数据确定窗函数。此外，还可以响应于对目标发动机未采集到与录音数据时间同步的动力系统状态数据，获取目标音频粒子的粒子时间长度，即LF0，并将粒子时间长度与预设重叠帧长之和作为目标窗长，即音频粒子叠加生成声浪时，会将相邻音频粒子部分重叠，重叠部分的时长为预设重叠帧长，预设重叠帧长可以设置为2ms、3ms、4ms等，在此不做具体限定。目标窗长可以通过表达式表示为：
其中，L win|F0为目标窗长，L F0为粒子时间长度，L OLA为预设重叠帧长。由此，可以获取目标窗长，再基于目标窗长确定窗函数，窗函数可以设计为锥形余弦窗（Tapered cosine），即Tukey窗，当然，也可以设计为升余弦窗（Raised consine），如汉宁窗（hanning窗）、汉明窗（hamming窗）等变体实现。窗函数的设计可以根据实际情况进行确定，在此不做具体限定。此外，还可以利用目标粒子的窗函数对目标音频粒子进行优化。上述方式，通过获取目标音频粒子的窗函数，并利用目标粒子的窗函数对目标音频粒子进行优化，有助于优化音频粒子的效果，进而提升音频粒子质量。
上述方案，通过获取目标发动机在若干运转状态下的录音数据；其中，若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；再分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率；对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子，一方面通过获取目标发动机在若干运转状态下的录音数据，并选择目标状态下的录音数据作为目标数据，确定目标数据中各音频帧的主阶次频率，有助于提高各运行状态下目标数据中各音频帧的主阶次频率的准确性；另一方面基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子，有助于提高获取目标状态下目标频率的候选音频粒子的效率的，在此基础上，再基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子，进而可以提取到完整周期的音频粒子，确保了提取得到的音频粒子的质量。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
请参阅图2，图2是本申请音频粒子提取方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S201：获取目标发动机在若干运转状态下的录音数据。
具体地，获取录音数据的方式可以参展前述公开实施例中的方式，在此不再一一赘述。
步骤S202：目标发动机是否采集到与录音数据时间同步的动力系统状态数据；若是，则执行步骤S203；否则，执行步骤S204。
在一个实施场景中，在获取到录音数据之后，还可以对目标发动机是否采集到与录音数据时间同步的动力系统状态数据进行判断，可以理解的是，若可以目标发动机可以采集到与录音数据时间同步的动力系统状态数据，则可以通过动力系统状态数据获取转速数据、档位信息、速度、扭矩等信息。
在一个实施场景中，在对目标发动机是否采集到与录音数据时间同步的动力系统状态数据进行判断之后，可以分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率，其中，运转状态包括加速状态、减速状态、怠速状态中至少一者。确定目标数据中各音频帧的主阶次频率的方式可以参照前述公开实施例中的方式，在此不再赘述。
步骤S203：基于动力系统状态数据中的转速数据，对录音数据进行单调性检查。
在一个实施场景中，可以基于转速数据中与音频帧时间同步的转速值，统计得到在采集音频帧时目标发动机的目标转速值，再基于目标转速值的变化趋势符合目标状态的音频帧在录音数据中的数量占比，确定录音数据关于单调性的检查结果。
步骤S204：对录音数据进行有效性检查。
在一个实施场景中，对录音数据进行有效性检查的方式可以参照前述公开实施例中的步骤，在此不再赘述。
步骤S205：对录音数据进行阶次能量检查。
在一个实施场景中，对录音数据进行阶次能量检查的方式可以参照前述公开实施例中的步骤，在此不再赘述。
步骤S206：对录音数据进行单调性检查。
在一个实施场景中，对录音数据进行单调性检查的方式可以参照前述公开实施例中的步骤，在此不再赘述。
步骤S207：目标状态下的目标数据。
在一个实施场景中，可以分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率。
步骤S208：目标状态下目标频率的候选音频粒子。
具体地，候选音频粒子的确定方式可以参照前述公开实施例中的方式，在此不再赘述。
步骤S209：确定目标状态下主阶次频率的目标音频粒子。
具体地，目标音频粒子的确定方式可以参照前述公开实施例中的方式，在此不再赘述。
步骤S210：获取目标音频粒子的窗函数。
具体地，窗函数的确定方式可以参照前述公开实施例中的方式，在此不再赘述。
步骤S211：音频粒子的抽取。
在一个实施场景中，音频粒子的抽取可以是持续进行。可以理解的是，在对音频数据进行检查直至利用目标粒子的窗函数对目标音频粒子进行优化，可以不断地对音频粒子进行抽取，对音频粒子抽取完成后，可以直接使用剩余音频粒子生成索引表。通过对音频粒子的抽取，有助于优化音频粒子的效果，进而提升音频粒子质量。
步骤S212：音频粒子索引表生成。
在一个实施场景中，可以将得到的所有音频粒子按照主阶次频率的顺序进行排列，并存储于预设采样率的音频文件中，预设采样率可以根据声浪合成时的硬件参数进行设定，例如，硬件支持的是4k采样率，则预设采样率就是4k，预设采样率可以根据实际情况进行确定，在此不做具体限定。同时给出对应音频存储位置信息的索引序号、主阶次频率、窗函数参数、以及目标窗长等，索引参数表文件的格式可以选择但不限于json、xml等等。此外，将音频文件和索引参数表文件存储于合成设备的FLASH内存中，供后续合成阶段的音频拼接应用，合成设备可以是汽车主机Head Unit、带处理能力的功放AMP等等，在此不做具体限定。
上述方案，通过获取目标发动机在若干运转状态下的录音数据，并判断目标发送机是否采集到与录音数据时间同步的动力系统状态数据，在目标发送机未采集到与录音数据时间同步的动力系统状态数据的情况下，分别对录音数据进行有效检查、阶次能量检查和单调性检查；在目标发送机采集到与录音数据时间同步的动力系统状态数据的情况下，基于动力系统状态数据中的转速数据，对录音数据进行单调性检查。在对录音数据检查之后，分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标状态下目标频率的候选音频粒子，再基于各候选音频粒子分别与参考音频粒子的互相关时延，选择候选音频粒子作为目标状态下主阶次频率的目标音频粒子。在此基础上，在对音频数据进行检查直至利用目标粒子的窗函数对目标音频粒子进行优化过程中，可以不断地对音频粒子进行抽取，对音频粒子抽取完成后，可以直接使用剩余音频粒子生成索引表。一方面通过判断目标发送机是否采集到与录音数据时间同步的动力系统状态数据，并对不同情况下的录音数据进行检查，有助于提高录音数据的有效性，另一方面通过对音频粒子抽取完成后，使用剩余音频粒子生成索引表，有助于提高音频粒子索引表的质量，并提高获取音频粒子的效率。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
请参阅图3，图3是本申请声浪合成方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S31：获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息。
本公开实施例中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于前述公开实施例中任一项的音频粒子提取方法确定。
在一个实施场景中，可以获取各运转状态下的各主阶次频率的目标音频粒子，若干运转状态包括加速状态、减速状态、怠速状态。此外，并持续获取行车信息，行车信息可以包括行车速度、油门踏板深度和行车状态。
在一个具体实施场景中，在台架测试或离线模拟场景中，可以基于车速模型对模拟行驶参数和油门踏板深度进行预测，得到行车速度；其中，模拟行驶参数至少包括：模拟车辆重量、模拟行驶坡度和模拟行驶阻力。车速模型可以是一个数学函数，在台架测试或离线模拟场景中，需要基于车速模型进行预测，得到行车的相关信息。上述方式，通过车速模型对模拟行驶参数和油门踏板深度进行预测，进而得到行车速度，有助于提高在不同场景中行车速度的准确性。
在一个具体实施场景中，在实车驾驶场景中，行车信息还包括电机运转参数，还可以基于电机运转参数，合成得到模拟排气回火的音频数据。上述方式，通过基于电机运转参数，合成得到模拟排气回火的音频数据，尽可能地丰富合成声浪的效果。
步骤S32：基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值。
在一个实施场景中，可以基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，进而得到虚拟发动机的预测转速值。具体地，可以先对转速模型进行拟合，进而使转速模型的预测结果更准确。
在一个实施场景中，基于预测挡位值，分析虚拟发动机是否存在挡位跳变；可以响应于虚拟发动机存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值；其中，新的预测挡位值不存在挡位跳变。具体地，分析虚拟发动机是否存在挡位跳变，可以对档位进行检测，若档位存在跳变，例如，档位从1档跳为3档，则采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值。挡位缓变策略可以包括但不限于渐变衰减叠加曲线爬升的升档缓变策略、步进爬升和步进下降的降档缓变策略等等。上述方式，通过分析虚拟发动机是否存在挡位跳变，对存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值，有助于使档位变换更平缓，进而提高声浪合成方法的适用性。
步骤S33：基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率。
在一个实施场景中，可以先获取预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，可以理解的是，最大转速值、最小转速值为固定预设参数值，当然，最大转速值和最小转速值也可以根据实际情况进行更新。此外，获取目标发动机在怠速状态下最低的主阶次频率，怠速状态下最低的主阶次频率可以通过怠速状态下目标数据中各个音频帧的主阶次频率进行选择，即选择怠速状态下最低的主阶次频率。目标发动机为燃油车发动机，目标数据为与行车状态一致的运转状态下的音频数据。作为一种可能的实施方式，当目标状态为加速状态时，可以选择目标数据中第一音频帧的主阶次频率作为的最低的主阶次频率。区别于前述实施方式，当目标状态为减速状态时，可以选择目标数据中最后一音频帧的主阶次频率作为的最低的主阶次频率。在获取虚拟发动机设置的最大转速值、最小转速值和预测转速值，及目标发动机在怠速状态下最低的主阶次频率之后，再获取预测转速值与最小转速值的第一差值，并获取最大转速值与最小转速值的第二差值；并将第一差值与第二差值之间的比值和怠速状态下最低的主阶次频率之和，作为虚拟发动机在预测转速值达到的主阶次频率。具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S34：在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间。
在一个实施场景中，行车状态为加速状态、减速状态、怠速状态中任一者。在与行车状态一致的运转状态下，即运转状态与行车状态一致时，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间，可以选择先进先出的队列缓存Buffe作为缓存空间。
步骤S35：基于缓存空间中的目标音频粒子，合成得到声浪数据。
在一个实施场景中，基于缓存空间中缓存的目标音频粒子，将其中多个目标音频粒子进行拼接，进而合成得到声浪数据。需要说明的是，前述“多个目标音频粒子”具体可以根据声浪合成所需进行设置。如可以设置为4、5、6等，在此不做限定。
请参阅图4，图4是台架测试或离线模拟场景中一实施例的框架示意图。可以先获取模拟驾驶的油门踏板深度，同时获取模拟车辆重量、模拟行驶坡度和模拟行驶阻力等参数。此时，可以先基于车速模型对模拟车辆重量、模拟行驶坡度和模拟行驶阻力等参数进行预测，得到行车速度，车速模型可以是一个数学函数；再基于油门踏板深度获取虚拟气门的开合度，并基于转速模型对虚拟气门的开合度和行车速度进行预测，得到虚拟发动机的预测转速值和预测挡位值。
进一步地，请参阅图5，图5是台架测试或离线模拟场景中另一实施例的框架示意图，在得到虚拟发动机的预测转速值和预测挡位值之后，还可以基于预测挡位值，分析虚拟发动机是否存在挡位跳变；并响应于虚拟发动机存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值，且新的预测挡位值不存在挡位跳变。再基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率，并基于主阶次频率从FLASH中查找索引参数表文件，索引参数表文件是预先存储于FLASH中，索引参数表中存储有不同状态下，音频粒子与音频之间的对应关系，再基于索引参数表文件获取音频文件，并选择预测得到的主阶次频率对应的目标音频粒子，使目标音频粒子进入音频缓存Buffer队列，进而拼接得到声浪数据。
请参阅图6，图6是实车驾驶场景中一实施例的框架示意图，在电车运行过程中通过CAN信号获取得到电机运转参数，电机运转参数至少包括电机的转速、电机输出功率、电机扭矩等参数的变化，基于电机运转参数，合成得到模拟排气回火的音频数据，上述方式，通过基于电机运转参数，合成得到模拟排气回火的音频数据，尽可能地丰富合成声浪的效果。还可以基于油门踏板深度获取虚拟气门的开合度，并基于转速模型对虚拟气门的开合度、行车速度和电机运转参数进行预测，得到虚拟发动机的预测转速值和预测挡位值。进一步地，还可以基于预测挡位值，分析虚拟发动机是否存在挡位跳变；并响应于虚拟发动机存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值，且新的预测挡位值不存在挡位跳变。
上述方式，通过获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于前述任一项的音频粒子提取方法确定；再基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；并基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；基于缓存空间中的目标音频粒子，合成得到声浪数据，一方面通过基于转速模型对所述行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值，有助于提高预测转速值的准确性，另一方面基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率，尽可能地提高预测得到主阶次频率的准确性，在此基础上，再合成得到声浪数据，能够提高声浪合成的效果。
请参阅图7，图7是本申请声浪合成方法一实施例的框架示意图。先将获取到的行车信息输入数字音频处理器中，并从FLASH存储中获取索引表，索引表包括若干运转状态下各主阶次频率的目标音频粒子，将若干运转状态下各主阶次频率的目标音频粒子也输入数字音频处理器中进行音频处理，即将多个音频粒子进行拼接，合成音频数据，并将音频数据，进而通过功放和扬声器PAN调试实现对引擎声浪的模拟，进而得到声浪数据。
上述方式，通过获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于前述任一项的音频粒子提取方法确定；再基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；并基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；基于缓存空间中的目标音频粒子，合成得到声浪数据，一方面通过基于转速模型对所述行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值，有助于提高预测转速值的准确性，另一方面基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率，尽可能地提高预测得到主阶次频率的准确性，在此基础上，再合成得到声浪数据，能够提高声浪合成的效果。
请参阅图8，图8是本申请音频粒子提取装置一实施例的框架示意图。音频粒子提取装置80包括：录音模块81、选择模块82、确定模块83、候选模块84和提取模块85。其中，录音模块81用于获取目标发动机在若干运转状态下的录音数据；若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；选择模块82用于分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据；确定模块83用于确定目标数据中各音频帧的主阶次频率；候选模块84用于对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；提取模块85用于对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子。
上述方案，对于音频粒子提取装置80而言，其通过获取目标发动机在若干运转状态下的录音数据；其中，若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；再分别选择各种运转状态作为目标状态，选择目标状态下的录音数据作为目标数据，并确定目标数据中各音频帧的主阶次频率；对于目标数据中各音频帧，基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子；其中，目标频率为音频帧的主阶次频率，且预设数值为目标发动机缸数的第一倍数；对于目标状态下各主阶次频率，基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子；其中，参考音频粒子为当前待确定目标音频粒子的主阶次频率之前已经确定的目标音频粒子，一方面通过获取目标发动机在若干运转状态下的录音数据，并选择目标状态下的录音数据作为目标数据，确定目标数据中各音频帧的主阶次频率，有助于提高各运行状态下目标数据中各音频帧的主阶次频率的准确性；另一方面基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子，有助于提高获取目标状态下目标频率的候选音频粒子的效率的，在此基础上，再基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子，进而可以提取到完整周期的音频粒子，确保了提取得到的音频粒子的质量。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
在一些公开实施例中，中心时刻位于音频帧的中心；和/或，音频片段的时长为音频帧的主阶次频率对应周期的第二倍数。
在一些公开实施例中，提取模块85包括第一选择子模块和第二选择子模块；第一选择子模块用于选择当前待确定目标音频粒子的主阶次频率所属目标状态下前一主阶次频率的目标音频粒子，作为参考音频粒子；第二选择子模块用于基于各候选音频粒子分别与参考音频粒子的互相关时延，选择候选音频粒子作为目标状态下主阶次频率的目标音频粒子。
因此，通过对各候选音频粒子分别与参考音频粒子的互相关时延，并选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子，有助于提高目标音频粒子的准确性，进而提高音频粒子的质量。
在一些公开实施例中，第二选择子模块包括选择单元，选择单元用于选择最小互相关时延对应的候选音频粒子，作为目标状态下主阶次频率的目标音频粒子。
在一些公开实施例中，候选模块84包括滤波子模块，滤波子模块用于采用以音频帧的主阶次频率为中心频率的带通滤波器，对音频片段进行滤波。
因此，通过采用以音频帧的主阶次频率为中心频率的带通滤波器，对音频片段进行滤波，可以在保证滤波器稳定的情况下，尽量优选更高阶滤波器系数以保证更小的相位响应畸变，进而提高音频粒子的质量。
在一些公开实施例中，在对目标发动机采集到与录音数据时间同步的动力系统状态数据时，确定模块83包括提取子模块、第一确定子模块和第二确定子模块；其中，提取子模块用于从动力系统状态数据中的转速数据，提取与音频帧时间同步的至少一个转速值；第一确定子模块用于基于至少一个转速值进行数值统计，确定在采集音频帧时目标发动机的目标转速值；第二确定子模块用于基于目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，确定音频帧的主阶次频率。
因此，通过提取与音频帧时间同步的至少一个转速值，并对至少一个转速值进行数值统计，进而确定目标发动机的目标转速值，有助于提高目标转速值的准确性，再进一步基于转速模型为虚拟发动机设置的最大转速值、最小转速值和目标转速值，及目标发动机在怠速状态下最低的主阶次频率，确定音频帧的主阶次频率，有助于提高主阶次频率的准确性。
在一些公开实施例中，第二确定子模块包括获取单元和计算单元，获取单元用于获取目标转速值与最小转速值的第一差值，并获取最大转速值与最小转速值的第二差值；计算单元用于将第一差值与第二差值之间的比值和怠速状态下最低的主阶次频率之和，作为音频帧的主阶次频率。
因此，通过转速模型为虚拟发动机设置的最大转速值、最小转速值和目标转速值，有助于提高音频帧的主阶次频率的准确性，进一步提高音频粒子的质量。
在一些公开实施例中，音频粒子提取装置80包括获取模块和优化模块；获取模块用于获取目标音频粒子的窗函数；优化模块用于利用目标粒子的窗函数对目标音频粒子进行优化。
因此，通过获取目标音频粒子的窗函数，并利用目标粒子的窗函数对目标音频粒子进行优化，有助于优化音频粒子的效果，进而提升音频粒子质量。
在一些公开实施例中，获取目标音频粒子的窗函数，包括以下至少一者：响应于对目标发动机采集到与录音数据时间同步的动力系统状态数据，从动力系统状态数据中，提取与目标音频粒子时间同步的至少部分数据，并基于至少部分数据确定窗函数；响应于对目标发动机未采集到与录音数据时间同步的动力系统状态数据，获取目标音频粒子的粒子时间长度，并将粒子时间长度与预设重叠帧长之和作为目标窗长，以及基于目标窗长确定窗函数。
在一些公开实施例中，音频粒子提取装置80包括第一响应模块和第二响应模块；第一响应模块用于响应于对目标发动机采集到与录音数据时间同步的动力系统状态数据，基于动力系统状态数据中的转速数据，分析录音数据关于单调性的检查结果；第二响应模块用于响应于对目标发动机未采集到与录音数据时间同步的动力系统状态数据，基于目标数据中各音频帧的主阶次频率，分析录音数据关于单调性的检查结果。
因此，通过基于目标数据中各音频帧的主阶次频率，分析录音数据关于单调性的检查结果，在提高提取音频粒子速率的同时，进而提高音频粒子的质量。
在一些公开实施例中，第一响应模块包括统计子模块和确定子模块；统计子模块用于基于转速数据中与音频帧时间同步的转速值，统计得到在采集音频帧时目标发动机的目标转速值；确定子模块用于基于目标转速值的变化趋势符合目标状态的音频帧在录音数据中的数量占比，确定录音数据关于单调性的检查结果。
因此，通过目标转速值的变化趋势是否符合目标状态的音频帧在录音数据中的数量占比，确定录音数据关于单调性的检查结果，进而可以快速得到加速状态、减速状态、怠速状态的单调性的检查结果，在提高提取音频粒子速率的同时，提高音频粒子的质量。
在一些公开实施例中，第二响应模块包括分析子模块和确定子模块；分析子模块用于分析录音数据中各音频帧是否满足信噪比条件；其中，信噪比条件包括：主阶次频率对应的第一信噪比大于第一阈值，主阶次频率外的谐波阶次频率对应的第二信噪比大于第二阈值；确定子模块用于基于录音数据中满足信噪比条件的音频帧在录音数据中的数量占比，确定录音数据关于阶次能量的检查结果。
因此，通过基于录音数据中满足信噪比条件的音频帧在录音数据中的数量占比，确定录音数据关于阶次能量的检查结果，在提高提取音频粒子速率的同时，进而提高音频粒子的质量。
请参阅图9，图9是本申请声浪合成装置一实施例的框架示意图。声浪合成装置90包括：获取模块91、转速预测模块92、频率预测模块93、缓存模块94和合成模块95。其中，获取模块91用于获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于前述公开实施例中任一的音频粒子提取方法确定；转速预测模块92用于基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；频率预测模块93用于基于转速模型为虚拟发动机设置的最大转速值、最小转速值和预测转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；缓存模块94用于在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；合成模块95用于基于缓存空间中的目标音频粒子，合成得到声浪数据。
上述方式，对于声浪合成装置90而言，其通过获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，行车信息至少包括行车速度、油门踏板深度和行车状态，且目标音频粒子基于前述任一项的音频粒子提取方法确定；再基于转速模型对行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；并基于预测转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测虚拟发动机在预测转速值达到的主阶次频率；在与行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；基于缓存空间中的目标音频粒子，合成得到声浪数据，一方面通过基于转速模型对所述行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值，有助于提高预测转速值的准确性，另一方面基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率，尽可能地提高预测得到主阶次频率的准确性，在此基础上，再合成得到声浪数据，能够提高声浪合成的效果。
在一些公开实施例中，在台架测试或离线模拟场景中，行车速度的获取步骤包括：基于车速模型对模拟行驶参数和油门踏板深度进行预测，得到行车速度；其中，模拟行驶参数至少包括：模拟车辆重量、模拟行驶坡度和模拟行驶阻力。
因此，通过车速模型对模拟行驶参数和油门踏板深度进行预测，进而得到行车速度，有助于提高在不同场景中行车速度的准确性。
在一些公开实施例中，声浪合成装置90包括分析模块和响应模块；分析模块用于基于预测挡位值，分析虚拟发动机是否存在挡位跳变；响应模块用于响应于虚拟发动机存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值；其中，新的预测挡位值不存在挡位跳变。
因此，通过分析虚拟发动机是否存在挡位跳变，对存在挡位跳变，采用挡位缓变策略基于转速模型得到新的预测转速值和新的预测挡位值，有助于使档位变换更平缓，进而提高声浪合成方法的适用性。
在一些公开实施例中，在实车驾驶场景中，行车信息还包括电机运转参数，方法还包括：基于电机运转参数，合成得到模拟排气回火的音频数据。
因此，通过基于电机运转参数，合成得到模拟排气回火的音频数据，尽可能地丰富合成声浪的效果。
请参阅图10，图10是本申请电子设备一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102，存储器101中存储有程序指令，处理器102用于执行程序指令以实现上述任一音频粒子提取方法实施例中的步骤，或任一声浪合成方法实施例中的步骤。具体地，电子设备100可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。
具体而言，处理器102用于控制其自身以及存储器101以实现上述任一音频粒子提取方法实施例中的步骤，或任一声浪合成方法实施例中的步骤。处理器102还可以称为CPU（Central Processing Unit，中央处理单元）。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器（Digital SignalProcessor, DSP）、专用集成电路（Application Specific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由集成电路芯片共同实现。
上述方案，电子设备100可实现上述任一音频粒子提取方法实施例中的步骤，或任一声浪合成方法实施例中的步骤，一方面通过获取目标发动机在若干运转状态下的录音数据，并选择目标状态下的录音数据作为目标数据，确定目标数据中各音频帧的主阶次频率，有助于提高各运行状态下目标数据中各音频帧的主阶次频率的准确性；另一方面基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子，有助于提高获取目标状态下目标频率的候选音频粒子的效率的，在此基础上，再基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子，进而可以提取到完整周期的音频粒子，确保了提取得到的音频粒子的质量。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
请参阅图11，图11是本申请计算机可读存储介质110一实施例的框架示意图。计算机可读存储介质110存储有能够被处理器运行的程序指令111，程序指令111用于实现上述任一音频粒子提取方法实施例中的步骤，或任一声浪合成方法实施例中的步骤。
上述方案，计算机可读存储介质110可实现上述任一音频粒子提取方法实施例中的步骤，或任一声浪合成方法实施例中的步骤，一方面通过获取目标发动机在若干运转状态下的录音数据，并选择目标状态下的录音数据作为目标数据，确定目标数据中各音频帧的主阶次频率，有助于提高各运行状态下目标数据中各音频帧的主阶次频率的准确性；另一方面基于由音频帧确定的中心时刻，在目标数据提取音频片段，并基于音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到目标状态下目标频率的候选音频粒子，有助于提高获取目标状态下目标频率的候选音频粒子的效率的，在此基础上，再基于主阶次频率的各候选音频粒子分别与参考音频粒子进行互相关，确定目标状态下主阶次频率的目标音频粒子，进而可以提取到完整周期的音频粒子，确保了提取得到的音频粒子的质量。故此，能够提高音频粒子的质量，进而提高声浪合成的效果。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
Claims (20)
1.一种音频粒子提取方法，其特征在于，包括：
获取目标发动机在若干运转状态下的录音数据；其中，所述若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；
分别选择各种所述运转状态作为目标状态，选择所述目标状态下的录音数据作为目标数据，并确定所述目标数据中各音频帧的主阶次频率；
对于所述目标数据中各所述音频帧，基于由所述音频帧确定的中心时刻，在所述目标数据提取音频片段，并基于所述音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到所述目标状态下目标频率的候选音频粒子；其中，所述目标频率为所述音频帧的主阶次频率，且预设数值为所述目标发动机缸数的第一倍数；
对于所述目标状态下各所述主阶次频率，基于所述主阶次频率的各所述候选音频粒子分别与参考音频粒子进行互相关，确定所述目标状态下所述主阶次频率的目标音频粒子；其中，所述参考音频粒子为当前待确定所述目标音频粒子的主阶次频率之前已经确定的目标音频粒子。
2.根据权利要求1所述的方法，其特征在于，所述中心时刻位于所述音频帧的中心；和/或，所述音频片段的时长为所述音频帧的主阶次频率对应周期的第二倍数。
3.根据权利要求1所述的方法，其特征在于，所述基于所述主阶次频率的各所述候选音频粒子分别与参考音频粒子进行互相关，确定所述目标状态下所述主阶次频率的目标音频粒子，包括：
选择当前待确定所述目标音频粒子的主阶次频率所属所述目标状态下前一所述主阶次频率的目标音频粒子，作为所述参考音频粒子；
基于各所述候选音频粒子分别与所述参考音频粒子的互相关时延，选择所述候选音频粒子作为所述目标状态下所述主阶次频率的目标音频粒子。
4.根据权利要求3所述的方法，其特征在于，所述基于各所述候选音频粒子分别与所述参考音频粒子的互相关时延，选择所述候选音频粒子作为所述目标状态下所述主阶次频率的目标音频粒子，包括：
选择最小所述互相关时延对应的候选音频粒子，作为所述目标状态下所述主阶次频率的目标音频粒子。
5.根据权利要求1所述的方法，其特征在于，在所述基于由所述音频帧确定的中心时刻，在所述目标数据提取音频片段之后，以及在所述基于所述音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到所述目标状态下目标频率的候选音频粒子之前，所述方法包括：
采用以所述音频帧的主阶次频率为中心频率的带通滤波器，对所述音频片段进行滤波。
6.根据权利要求1所述的方法，其特征在于，在对所述目标发动机采集到与所述录音数据时间同步的动力系统状态数据时，所述确定所述目标数据中各音频帧的主阶次频率，包括：
从所述动力系统状态数据中的转速数据，提取与所述音频帧时间同步的至少一个转速值；
基于所述至少一个转速值进行数值统计，确定在采集所述音频帧时所述目标发动机的目标转速值；
基于所述目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及所述目标发动机在所述怠速状态下最低的主阶次频率，确定所述音频帧的主阶次频率。
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标转速值和转速模型为虚拟发动机设置的最大转速值、最小转速值，及所述目标发动机在所述怠速状态下最低的主阶次频率，确定所述音频帧的主阶次频率，包括：
获取所述目标转速值与所述最小转速值的第一差值，并获取所述最大转速值与所述最小转速值的第二差值；
将所述第一差值与所述第二差值之间的比值和所述怠速状态下最低的主阶次频率之和，作为所述音频帧的主阶次频率。
8.根据权利要求1所述的方法，其特征在于，在所述基于所述主阶次频率的各所述候选音频粒子分别与参考音频粒子进行互相关，确定所述目标状态下所述主阶次频率的目标音频粒子之后，所述方法还包括：
获取所述目标音频粒子的窗函数；
利用所述目标音频粒子的窗函数对所述目标音频粒子进行优化。
9.根据权利要求8所述的方法，其特征在于，所述获取所述目标音频粒子的窗函数，包括以下至少一者：
响应于对所述目标发动机采集到与所述录音数据时间同步的动力系统状态数据，从所述动力系统状态数据中，提取与所述目标音频粒子时间同步的至少部分数据，并基于所述至少部分数据确定所述窗函数；
响应于对所述目标发动机未采集到与所述录音数据时间同步的动力系统状态数据，获取所述目标音频粒子的粒子时间长度，并将所述粒子时间长度与预设重叠帧长之和作为目标窗长，以及基于所述目标窗长确定所述窗函数。
10.根据权利要求1所述的方法，其特征在于，在所述基于由所述音频帧确定的中心时刻，在所述目标数据提取音频片段之前，所述方法还包括以下至少一者：
响应于对所述目标发动机采集到与所述录音数据时间同步的动力系统状态数据，基于所述动力系统状态数据中的转速数据，分析所述录音数据关于单调性的检查结果；
响应于对所述目标发动机未采集到与所述录音数据时间同步的动力系统状态数据，基于所述目标数据中各音频帧的主阶次频率，分析所述录音数据关于单调性的检查结果。
11.根据权利要求10所述的方法，其特征在于，所述基于所述动力系统状态数据中的转速数据，分析所述录音数据关于单调性的检查结果，包括：
基于所述转速数据中与所述音频帧时间同步的转速值，统计得到在采集所述音频帧时所述目标发动机的目标转速值；
基于所述目标转速值的变化趋势符合所述目标状态的音频帧在所述录音数据中的数量占比，确定所述录音数据关于单调性的检查结果。
12.根据权利要求10所述的方法，其特征在于，在所述基于所述目标数据中各音频帧的主阶次频率，分析所述录音数据关于单调性的检查结果之前，所述方法还包括：
分析所述录音数据中各所述音频帧是否满足信噪比条件；其中，所述信噪比条件包括：所述主阶次频率对应的第一信噪比大于第一阈值，所述主阶次频率外的谐波阶次频率对应的第二信噪比大于第二阈值；
基于所述录音数据中满足所述信噪比条件的音频帧在所述录音数据中的数量占比，确定所述录音数据关于阶次能量的检查结果。
13.一种声浪合成方法，其特征在于，包括：
获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，所述行车信息至少包括行车速度、油门踏板深度和行车状态，且所述目标音频粒子基于权利要求1至12任一项所述的音频粒子提取方法确定；
基于转速模型对所述行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；
基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率；
在与所述行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；
基于所述缓存空间中的目标音频粒子，合成得到声浪数据。
14.根据权利要求13所述的方法，其特征在于，在台架测试或离线模拟场景中，所述行车速度的获取步骤包括：
基于车速模型对模拟行驶参数和所述油门踏板深度进行预测，得到所述行车速度；其中，所述模拟行驶参数至少包括：模拟车辆重量、模拟行驶坡度和模拟行驶阻力。
15.根据权利要求13所述的方法，其特征在于，车速模型对所述行车信息中的行车速度和油门踏板深度还预测得到预测挡位值，在所述基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率之前，所述方法还包括：
基于所述预测挡位值，分析所述虚拟发动机是否存在挡位跳变；
响应于所述虚拟发动机存在挡位跳变，采用挡位缓变策略基于所述转速模型得到新的预测转速值和新的预测挡位值；其中，所述新的预测挡位值不存在挡位跳变。
16.根据权利要求13所述的方法，其特征在于，在实车驾驶场景中，所述行车信息还包括电机运转参数，所述方法还包括：
基于所述电机运转参数，合成得到模拟排气回火的音频数据。
17.一种音频粒子提取装置，其特征在于，包括：
录音模块，用于获取目标发动机在若干运转状态下的录音数据；所述若干运转状态包括：加速状态、减速状态、怠速状态中至少一者；
选择模块，用于分别选择各种所述运转状态作为目标状态，选择所述目标状态下的录音数据作为目标数据；
确定模块，用于确定所述目标数据中各音频帧的主阶次频率；
候选模块，用于对于所述目标数据中各所述音频帧，基于由所述音频帧确定的中心时刻，在所述目标数据提取音频片段，并基于所述音频片段中相隔预设数值个采样周期且均过零的两个采样点，得到所述目标状态下目标频率的候选音频粒子；其中，所述目标频率为所述音频帧的主阶次频率，且预设数值为所述目标发动机缸数的第一倍数；
提取模块，用于对于所述目标状态下各所述主阶次频率，基于所述主阶次频率的各所述候选音频粒子分别与参考音频粒子进行互相关，确定所述目标状态下所述主阶次频率的目标音频粒子；其中，所述参考音频粒子为当前待确定所述目标音频粒子的主阶次频率之前已经确定的目标音频粒子。
18.一种声浪合成装置，其特征在于，包括：
获取模块，用于获取若干运转状态下各主阶次频率的目标音频粒子，并持续获取行车信息；其中，所述行车信息至少包括行车速度、油门踏板深度和行车状态，且所述目标音频粒子基于权利要求1至12任一项所述的音频粒子提取方法确定；
转速预测模块，用于基于转速模型对所述行车信息中的行车速度和油门踏板深度进行预测，得到虚拟发动机的预测转速值；
频率预测模块，用于基于所述预测转速值和所述转速模型为所述虚拟发动机设置的最大转速值、最小转速值，及目标发动机在怠速状态下最低的主阶次频率，预测所述虚拟发动机在所述预测转速值达到的主阶次频率；
缓存模块，用于在与所述行车状态一致的运转状态下，选择预测得到的主阶次频率对应的目标音频粒子，传入至缓存空间；
合成模块，用于基于所述缓存空间中的目标音频粒子，合成得到声浪数据。
19.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至12任一项所述的音频粒子提取方法，或权利要求13至16任一项所述的声浪合成方法。
20.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至12任一项所述的音频粒子提取方法，或权利要求13至16任一项所述的声浪合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590380.XA CN115662470B (zh) | 2022-12-12 | 2022-12-12 | 音频粒子提取方法和声浪合成方法及装置、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211590380.XA CN115662470B (zh) | 2022-12-12 | 2022-12-12 | 音频粒子提取方法和声浪合成方法及装置、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115662470A true CN115662470A (zh) | 2023-01-31 |
| CN115662470B CN115662470B (zh) | 2023-05-26 |
Family
ID=85019829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211590380.XA Active CN115662470B (zh) | 2022-12-12 | 2022-12-12 | 音频粒子提取方法和声浪合成方法及装置、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115662470B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206624A (zh) * | 2023-05-04 | 2023-06-02 | 科大讯飞(苏州)科技有限公司 | 一种车辆声浪合成方法、装置、存储介质及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108944750A (zh) * | 2018-07-20 | 2018-12-07 | 吉林大学 | 一种基于Void-Kalman滤波器的主动声音模拟装置 |
| CN109808593A (zh) * | 2019-01-31 | 2019-05-28 | 北京首汽智行科技有限公司 | 一种汽车发动机声浪模拟方法及系统 |
| CN111798831A (zh) * | 2020-06-16 | 2020-10-20 | 武汉理工大学 | 一种声音粒子合成方法及装置 |
| CN112700762A (zh) * | 2020-12-23 | 2021-04-23 | 武汉理工大学 | 一种基于缸压信号的汽车声音合成方法及装置 |
| CN113479133A (zh) * | 2021-06-23 | 2021-10-08 | 广东博力威科技股份有限公司 | 电动车模拟发动机工作声音的方法、装置、设备及介质 |
| CN215244588U (zh) * | 2021-07-30 | 2021-12-21 | 上汽通用汽车有限公司 | 模拟发动机排气声音的发声装置及车辆 |
| WO2022061709A1 (zh) * | 2020-09-25 | 2022-03-31 | 武汉路特斯汽车有限公司 | 一种电动车音效模拟方法、装置、系统及汽车 |
| CN114771419A (zh) * | 2022-05-31 | 2022-07-22 | 东风汽车集团股份有限公司 | 一种跑车声浪模拟方法及装置 |
-
2022
- 2022-12-12 CN CN202211590380.XA patent/CN115662470B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108944750A (zh) * | 2018-07-20 | 2018-12-07 | 吉林大学 | 一种基于Void-Kalman滤波器的主动声音模拟装置 |
| CN109808593A (zh) * | 2019-01-31 | 2019-05-28 | 北京首汽智行科技有限公司 | 一种汽车发动机声浪模拟方法及系统 |
| CN111798831A (zh) * | 2020-06-16 | 2020-10-20 | 武汉理工大学 | 一种声音粒子合成方法及装置 |
| WO2022061709A1 (zh) * | 2020-09-25 | 2022-03-31 | 武汉路特斯汽车有限公司 | 一种电动车音效模拟方法、装置、系统及汽车 |
| CN112700762A (zh) * | 2020-12-23 | 2021-04-23 | 武汉理工大学 | 一种基于缸压信号的汽车声音合成方法及装置 |
| CN113479133A (zh) * | 2021-06-23 | 2021-10-08 | 广东博力威科技股份有限公司 | 电动车模拟发动机工作声音的方法、装置、设备及介质 |
| CN215244588U (zh) * | 2021-07-30 | 2021-12-21 | 上汽通用汽车有限公司 | 模拟发动机排气声音的发声装置及车辆 |
| CN114771419A (zh) * | 2022-05-31 | 2022-07-22 | 东风汽车集团股份有限公司 | 一种跑车声浪模拟方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 桂进: "电动汽车声音管理系统与声音模拟方法研究" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206624A (zh) * | 2023-05-04 | 2023-06-02 | 科大讯飞(苏州)科技有限公司 | 一种车辆声浪合成方法、装置、存储介质及设备 |
| CN116206624B (zh) * | 2023-05-04 | 2023-08-29 | 科大讯飞(苏州)科技有限公司 | 一种车辆声浪合成方法、装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115662470B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Sound quality evaluation of the interior noise of pure electric vehicle based on neural network model | |
| CN101960516B (zh) | 语音增强 | |
| US20080262834A1 (en) | Sound Separating Device, Sound Separating Method, Sound Separating Program, and Computer-Readable Recording Medium | |
| CN110838301B (zh) | 抑制啸叫的方法、装置终端和非临时性计算机可读存储介质 | |
| CN104134444B (zh) | 一种基于mmse的歌曲去伴奏方法和装置 | |
| CN110085259B (zh) | 音频比对方法、装置和设备 | |
| CN110880329A (zh) | 一种音频识别方法及设备、存储介质 | |
| CN110136729B (zh) | 模型生成方法、音频处理方法、装置及计算机可读存储介质 | |
| JP2013130857A (ja) | 音響処理装置 | |
| CN109920446A (zh) | 一种音频数据处理方法、装置及计算机存储介质 | |
| CN109473091A (zh) | 一种语音样本生成方法及装置 | |
| CN115662470A (zh) | 音频粒子提取方法和声浪合成方法及装置、设备、介质 | |
| CN104978966B (zh) | 音频流中的丢帧补偿实现方法和装置 | |
| US20190362736A1 (en) | Dry sound and ambient sound separation | |
| CN113593594A (zh) | 语音增强模型的训练方法和设备及语音增强方法和设备 | |
| JP5915281B2 (ja) | 音響処理装置 | |
| CN107017005B (zh) | 一种基于dft的双通道语声分离方法 | |
| CN104240697A (zh) | 一种音频数据的特征提取方法及装置 | |
| JP2003271166A (ja) | 入力信号処理方法および入力信号処理装置 | |
| Liu et al. | Anti-forensics of fake stereo audio using generative adversarial network | |
| WO2023226572A1 (zh) | 特征表示的提取方法、装置、设备、介质及程序产品 | |
| CN111462775A (zh) | 音频相似度确定方法、装置、服务器及介质 | |
| CN107146630B (zh) | 一种基于stft的双通道语声分离方法 | |
| JP4249697B2 (ja) | 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体 | |
| RU2364957C1 (ru) | Способ определения параметров линейчатых спектров вокализованных звуков и система для его реализации |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |