CN116028815B - 一种针对工业时序不平衡数据的时间序列数据增强方法 - Google Patents

Abstract

本发明公开了一种针对工业不平衡数据的时间序列数据增强方法，通过平均欧氏距离，将少数类数据分为近多数类数据集n‑maj和近少数类数据集n‑min，分别进行数据增强；利用DTW对齐计算，再通过建立待增强数据集间的DTW距离矩阵来寻找距离待增强序列的K个近邻序列；将待增强序列与K个近邻序列的DTW对齐，获得临时对齐序列，同时通过基于DTW距离的权重和临时对齐序列进行加权平均生成多样性样本，并且针对近少数类数据集，添加了随机噪声，扩增了样本空间，丰富符合原数据集分布的样本特征。由于改善了原数据类不平衡的情况，因此通过结合机器学习与深度学习模型，可以提高在工业时序不平衡数据上评价指标。

Description

一种针对工业时序不平衡数据的时间序列数据增强方法

技术领域

本发明涉及工业领域和机器学习方法，尤其涉及一种采用机器学习方法对工业时序不平衡数据的时间序列数据增强方法。

背景技术

在工业领域，由于异常时序样本的罕见性、保密性、不完整性以及部分数据可解释性差等原因，通常很难获得大量的、可解释的异常数据。因此，如何根据少量的异常时序样本，去进行工业时序数据的异常检测，是相关领域专家研究的热点。现有解决时序数据类不平衡问题的主流方法是利用已有的数据集进行数据增强，丰富原数据的样本数量以及特征数量。已有的典型方案主要为时域频域变换、基于分解、基于机器学习和记忆模型建模等方法。

时域频域以及两者混合的方法为基础的方法，主要将异常数据在时域或者频域上进行切片，缩放添加噪声等操作，生成新的异常数据；除了基础方法以外，也有统计模型高级方法，比如专利CN202011564567.3公开了通过拟合时间t的值与之前时间步的值的依赖来描述时序分布，进而通过基础的扰动生成新的时序样本。此外还有基于插值和外推的方法；专利CN202110670088.8中公开了利用样本间的欧几里得距离，采用SMOTE的方式在样本间生成基于欧几里得距离产生的样本等。但是上述方法并不完全适用于工业领域的时序数据，存在以下问题：

(1)简单直接的合成数据，容易混淆样本界限，可能使模型对于处于样本界限附近的数据的学习困难；

(2)由于工业时序数据大多属于离散型时序数据，异常持续时间较短，而且此类数据整体时间步长较短，因此基础方法比如切片，窗口扰动等，容易破坏时序数据的原始特征；

(3)基于统计模型的方法大多具有复杂且众多的参数，需要大量原始数据进行训练，且工业时序异常数据具有很强的随机性，因此该类方法并不适用于工业时序数据集。

发明内容

发明目的：本发明旨在提供一种解决模型过拟合和泛化能力差问题并提高各种分类器对工业不平衡时序数据的预测效果的时间序列数据增强方法的时间序列数据增强方法。

技术方案：本发明所述的针对工业不平衡数据的时间序列数据增强方法，步骤如下：

S1、将不平衡时序数据集划分为少数类数据集M＝{m₁，m₂，...，m_m}，其中，m_i表示第i个子序列；多数类数据集N＝{n₁，n₂，...，n_n}，其中，n_j表示第j个子序列；设置近邻样本数量参数K；确定需要生成的样本总数量num；

S2、根据平均欧氏距离D1、D2的大小，将M划分为近多数类数据集N-Maj，样本数量为n_maj；近少数数据集N-Min，样本数量为n-min；

S3、计算N-Maj的子序列之间的DTW距离，并组成DTW距离矩阵E3；计算N-Min的子序列之间的DTW距离，并组成DTW距离矩阵E4；确定N-Maj需要生成的序列数量为num₁，确定N-Min需要生成的数量为num₂；

S4、随机选取N-Maj中的子序列a_p，通过E3的对应元素位置，筛选a_p的K个近邻子序列，组成近邻序列集P＝{a_p1，a_p2，...，a_pK}；

S4.1、通过a_p和P＝{a_p1，a_p2，...，a_pK}之间的DTW规整对齐，得到临时对齐序列集C_p＝{a_p-avg1，a_p-avg2，...，a_p-avgK}；

S4.2、根据子序列a_p及其近邻序列集C_p，确定距离权重集W；

S4.3、：按照距离权重集W，对临时对齐序列集C_p求取加权平均值，构成新的平均序列a_p-avg；

S4.4、将新的平均序列a_p-avg加入N-Maj中，并与N-Maj中每个子序列进行DTW计算，更新DTW距离矩阵E3；

S4.5、重复步骤S4到S4.4，直到生成num₁条新数据；

S₅、随机选取N-Min中的第q个子序列b_q，通过E4的对应元素位置，筛选b_q的K个近邻子序列，组成近邻序列集Q＝{b_q1，b_q2，...，b_qK}；

S5.1、通过b_q和Q＝{b_q1，b_q2，...，b_qK}之间的DTW规整对齐，得到临时对齐序列集C_q＝{b_q-avg1，b_q-avg2，...，b_q-avgK}；

S5.2、根据子序列b_q及其近邻序列集C_q，确定距离权重集W；

S5.3、按照距离权重集W，对临时对齐序列集求取加权平均值，构成平均序列b_q-avg；

S5.4、在b_q-avg的每个时间步上添加样本随机差异rand_diff，形成新的序列b_q-new；

S5.5、将新生成序列b_q-new加入N-Min中，并与N-Min中每个子序列进行DTW计算，同时更新DTW距离矩阵E4和N-Min；

S5.6、重复步骤S5到S5.5，直到生成num₂条新数据；

S6、合并N-Min和N-Maj，组成新的少数类数据集M′，将新的数据集M′与N合并，组成平衡数据集。

进一步的，步骤S2中，D1表示子序列m_i与少数类数据集M中K个近邻子序列的平均欧氏距离；D2表示子序列m_i与多数类数据集N＝{n₁，n₂，...，n_n}中K个近邻序列的平均欧氏距离；

当D1＞D2时，子序列mi储存至近多数类数据集N-Mai；

当D1≤D2时，子序列mi储存至近少数数据集N-Min。

进一步的，步骤S4、S5中，通过E3、E4对应的元素位置，筛选a_p的K个近邻子序列，组成近邻序列集P＝{a_p1，a_p2，...，a_pK}和b_q的K个近邻子序列，组成近邻序列集Q＝{b_q1，b_q2，...，b_qK}。

进一步的，步骤S4.2中，对子序列a_p和近邻序列集P中的子序列进行DTW规整对齐，根据DTW计算过程中求得的最优匹配路径，获得子序列a_p和近邻序列集P最优对齐的临时对齐序列集C_p＝{a_p-avg1，a_p-avg2，...，a_p-avgK}；通过序列b_q和近邻序列集Q的DTW最优对齐，得到临时对齐序列集C_q＝{b_q-avg1，b_q-avg2，...，b_q-avgK}。

进一步的，步骤S4.3和S5.3中，根据子序列a_p与C_p在E3中对应的DTW距离，确定权重集；权重集W初始权重为ω₀，权重数量为K+1，其和为1，权重集W为：

W＝[ω₀，ω₁，ω₂，...，ω_K]

其中，ω_j表示权重集中第j个权重，1≤j≤K；e_j表示子序列与自身第j条近邻序列DTW距离；f_j表示与距离成反比的系数，ρ为配置参数。

同理，S5.2中，按根据子序列b_q与近邻序列集C_q子序列在E4中对应的DTW距离，确定权重集。

进一步的，步骤S5.4中，对于由N-Min中生成的新序列b_q-avg，在其每个时间步的值上添加随机差异rand_diff；其中，每条新序列的随机差异由步骤S5中的子序列b_q与近邻序列集Q＝{b_q1，b_q2，...，b_qK}决定，即b_q-avg每个时间步上的值需要添加的随机差异，都是由b_q＝(x_q，1，x_q，2，...，x_q，1)与近邻序列集Q＝{b_q1，b_q2，...，b_qK}中的所有子序列在同一时间步上的平均差异得到，组成长度为t的rand_diff(r)：

其中，b_qi为近邻序列集Q＝{b_q1，b_q2，...，b_qK}的子序列之一。b_qi(r)和b_q(r)为b_qi和b_q在不同时间步上的值，1≤r≤t。

在b_q-avg所有时间步上，添加随机差异，得到b_q-new：

b_q-new(r)＝b_q-avg(r)+rand_diff(r)。

有益效果：本发明与现有技术相比，其显著优点是：本发明与现有技术相比，其显著优点是：1、本发明通过平均欧氏距离，将少数类数据分为近多数类数据集N-Maj和近少数类数据集N-Min，分别进行数据增强，有效减少数据增强对样本类边界的影响；2、本发明通过DTW对齐计算，建立待增强数据集间的DTW距离矩阵来寻找距离待增强序列的K个近邻序列，将待增强序列与K个近邻序列的DTW对齐，获得临时对齐序列，同时通过基于DTW距离的权重和临时对齐序列进行加权平均生成多样性样本，并且针对近少数类数据集，添加了随机差异，扩增了样本空间，改善了原数据类不平衡的情况，提高模型的泛化能力；3、本发明提高各种分类器对工业不平衡时序数据的预测效果；4、本发明也可用于其他领域的时序数据集，能够有效解决样本数据不足时，模型学习困难的问题。

附图说明

图1为本发明的流程图；

图2为本发明与机器学习模型结合时的整体分类框架；

图3中的(a)和(b)为时序电流数据通过NDWA数据增强后的效果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种针对工业不平衡数据的时间序列数据增强方法，即一种基于动态时间规整的时间序列数据增强方法NDWA(Nearest DTW Weighted Average)，该方法包括以下步骤：基于输入的工业异常时序数据，首先通过平均欧氏距离，将少数类数据M分为近多数类数据集N-Maj和近少数类数据集N-Min。对于两类数据集分别产生临时DTW对齐的样本，然后同时通过距离权重分配得到新的异常样本，再针对N-Min的数据，通过添加不同的随机样本差异的方式提高数据多样性，并将新合成的时序数据加入原数据集参与数据增强过程，使异常数据与正常数据的数据量达到数据平衡，解决了模型过拟合和泛化能力差的问题，有效提高各种分类器对工业不平衡时序数据的预测效果。

具体过程如下：

步骤S1：将不平衡时序数据集划分为少数类数据集M与多数类数据集N，少数类数据集M＝{m₁，m₂，...，m_m}，数量为m，子序列的长度为t。多数类数据集N＝{n₁，n₂，...，n_n}，数量为n，需要扩增的数据量为num。配置近邻数K为3，配置基准权重参数ω₀为0.5。

步骤S2：从M的第一条子序列m₁＝(x_1，1，x_1，2，...，x_1，t)开始，计算少数类数据集M中每条子序列与其他子序列的欧氏距离，并储存为欧氏距离矩阵E1。同时计算少数类数据集M中每条序列与多数类数据集N中每条子序列的欧氏距离，并储存为欧氏矩阵E2。E1、E2如下：

遍历少数类数据集M，计算每条子序列距离少数类数据集的子序列最近的3个欧氏距离，累加求平均，得到平均欧氏距离D1；同理，计算每条子序列距离多数类数据集的子序列最近的3个欧氏距离，累加求平均，得到平均欧氏距离D2。

如果D1＞D2，将此数据储存为近多数类数据集N-Maj；

如果D1≤D2，将此数据储存为近少数类数据集N-Min。

直到少数类数据集M中的每条子序列都被分类完毕，得到近多数类数据集N-Maj＝{a₁，a₂，...，a_n-maj}和近少数类数据集N-Min＝{b₁，b₂，...，b_n-min}。

步骤S3：对于N-Maj和N-Min，其中，N-Maj的数量为n_maj，N-Min的数量为n_min，从各自的第一条子序列开始，计算与各自数据集中其他序列之间的DTW距离，并形成距离矩阵。

N-Maj的DTW距离矩阵E3如下：

N-Min的DTW距离矩阵E4如下：

计算N-Maj中需要生成的序列数量为num₁，向下取整：

计算于N-Min数据集中需要生成的序列数量为num₂：

num₂＝num-num₁

步骤S4：筛选近邻序列集，随机选中子序列a_p，并确定a_p在E3中的对应位置的除0以外的最小元素，再根据最小的DTW距离的对应元素位置来确定N-Maj中a_p的近邻序列集P＝{a_p1，a_p2，a_p3}。

步骤S4.1：通过DTW规整后对齐，得到子序列a_p和近邻序列集P＝{a_p1，a_p2，a_p3}的临时对齐序列集C_p＝{a_p-avg1，a_p-avg2，a_p-avg3}。以子序列a_p为例，a_p＝(x_p，1，x_p，2，...，x_p，t)与近邻序列进行DTW规整对齐。因为DTW规整后对齐可能产生一对一，一对多，多对一的映射关系，所以C_p中的元素在不同时间步上会有不同数量的对齐值，其中，临时对齐数据C_p中a_p-avg1的形状为：

步骤S4.2：根据子序列a_p及其近邻序列集P＝{a_p1，a_p2，a_p3}的DTW距离，确定关于a_p的距离权重集W；权重集初始权重ω₀为0.5，权重数量为4。

关于a_p的权重集W为：

W＝[0.5，ω₁，ω₂，ω₃]

其中，ω_j表示权重集中除ω₀以外的第j个权重，1≤j≤3；e_j表示a_p与本身的第j条近邻序列的DTW距离；f_j表示与距离成反比的系数。

步骤S4.3：按照关于a_p的距离权重集W，对a_p＝(x_p，1，x_p，2，...，x_p，t)和C_p求取加权平均值，构成平均序列集a_p-avg；首先计算临时对齐数据集C_p的平均序列集

具体地，C_p-avg序列集中的平均序列为：

上述序列中，每个元素的分母为临时对齐序列中每个时间步上的元素的数量。

其次，根据距离权重进行加权求和，得到新生成的时间序列a_p-avg：

其中，为平均序列中的第一个元素，同理为平均序列中的第t个元素，为平均序列中的第一个元素，为平均序列中的第t个元素。

步骤S4.4：将序列a_p-avg加入近多数类数据集N-Maj中，并与N-Maj中每个子序列进行DTW计算，同时更新E3；进一步提高近邻的选择范围，既增加了原始样本的多样性，同时又扩增了样本的探索空间，提高了模型的检测效果。

步骤S4.5：重复步骤S4到S4.4，直到生成num₁条数据为止。

步骤S5：筛选近邻序列集，随机选中N-Min子序列b_q，并根据E4中的DTW距离来确定b_q的近邻序列集Q＝{b_q1，b_q2，b_q3}。

步骤S5.1：通过DTW规整后对齐，得到子序列b_q和近邻序列集Q＝{b_q1，b_q2，b_q3}的临时对齐序列集C_q＝{b_q-avg1，b_q-avg2，b_q-avg3}。以子序列b_q为例，b_q＝(x_q，1，x_q，2，...，x_q，t)与进行DTW规整对齐，临时对齐数据C_q中b_q-avg1形状为：

步骤S5.2：根据子序列b_q与其近邻序列集Q＝{b_q1，b_q2，b_q3}的DTW距离，确定关于b_q权重集W；权重集初始权重ω₀为0.5，权重数量为4。

关于b_q的权重集W为：

W＝[0.5，ω₁，ω₂，ω₃]

其中，ω_j表示权重集中除ω₀以外的第j个权重，1≤j≤3；e_j表示b_q与本身的第j条近邻序列的DTW距离；f_j表示与距离成反比的系数。

步骤S5.3：按照关于b_q的距离权重集W，对b_q＝(x_q，1，x_q，2，...，x_q，t)和C_q求取加权平均值，构成平均序列集b_q-avg；同理，按照距离权重集W_q。首先计算临时对齐数据集C_q的平均序列集

具体地，序列集中的平均序列为：

上述序列中，每个元素的分母为临时对齐序列中每个时间步上的元素的数量。

其次，根据距离权重进行加权求和，得到新生成的时间序列b_q-avg：

其中，为平均序列中的第一个元素，同理为平均序列中的第t个元素，为平均序列中的第一个元素，为平均序列中的第t个元素。

步骤S5.4：针对平均序列b_q-avg，对b_q-avg上每个时间步上添加样本随机差异rand_diff，形成序列b_q-new；其中，每条新序列的rand_diff由步骤S5中的子序列b_q与b_q的近邻序列集Q＝{b_q1，b_q2，...，b_qK}决定，具体地，b_q-avg每个时间步上的值需要添加的随机差异，都是由b_q＝(x_q，1，x_q，2，...，x_q，1)与近邻序列集Q＝{b_q1，b_q2，...，b_qx}中的所有子序列在同一时间步上的平均差异得到，随机差异为：

其中，b_qi为Q＝{b_q1，b_q2，b_q3}中的子序列之一。b_qi(r)和b_q(r)为b_qi和b_q在不同时间步上的值；rand_diff(r)是在不同时间步上组成的长度为t的随机差异。

在b_q-avg每个时间步上，添加上随机差异：

b_q-new(r)＝b_q-avg(r)+rand_diff(r)

其中，对于b_q-avg中的每一个时间步上的元素添加随机差异，形成序列b_q-new。

步骤S5.5：将序列b_q-new加入近少数类数据集N-Min中，并与N-Min中每个子序列进行DTW计算，同时更新E4；进一步提高近邻的选择范围，既增加了原始样本的多样性，同时又扩增了样本的探索空间，提高了模型的检测效果。

步骤S5.6：重复步骤S5到S5.5，直到生成num₂条数据为止。

步骤S6：合并N-Min和N-Maj，组成新的数据集M′，将新的数据集M′与N合并，组成平衡数据集。

图2是本发明与机器学习模型结合时的整体分类框架。对于原始数据集首先划分为训练集和测试集，训练集用于生成新样本和训练分类器，测试集用于最后验证分类器的预测效果。我们对训练集采用上述NDWA数据增强方法来进行数据扩增，生成一定数量的新样。数据增强完成后合并数据形成训练集，输入到搭建的分类模型进行训练。训练结束后在测试集进行模型拟合效果的测试。上述模型可以是传统机器学习模型，也可以是搭建的神经网络分类器。

图3是工业锚链焊接传感器电流数据，上部区域为少数类异常电流样本，通过NDWA数据增强的方法，在下部区域合成一条新的电流数据。从图中可以看出，本发明的数据增强方法可以有效地生成新的异常样本，既保留了原始数据的有效特征，又增加了样本的多样性，丰富了原始数据集样本数量。

表1是该数据增强方法在UCR开源数据集的传感器数据集上的分类任务测试实验。对比方法上，我们选取SMOTE、ADASYN、BLSMOTE、DTWSMOTE这些主流数据增强方法来体现NDWA的优越性。分类模型上，本发明选择了随机森林模型(RF)和支持向量机分类(SVM)。这里将原始数据集按照1：5的类不平衡度进行调整。测试过程中配置的近邻数K为3，基准权重为0.5。在实验过程中，模型参数均选用默认参数。如表1所示，表中数值为测试集的F1值，可以看出与主流方法相比，经过NDWA数据增强后的训练集在模型上可以得到最高的F1值，说明该数据增强方法NDWA能够有效改善工业传感器数据在不同模型上的预测效果，同时对其他数据集同样有一定的改善效果。

表1

Claims (6)

1.一种针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，包括以下步骤：

S1、将不平衡时序数据集划分为少数类数据集M＝{m₁,m₂,...,m_m}，其中，m_i表示第i个子序列；多数类数据集N＝{n₁,n₂,...,n_n}，其中，n_j表示第j个子序列；设置近邻样本数量参数K；确定需要生成的样本总数量num；

S2、根据平均欧氏距离D1、D2的大小，将M划分为近多数类数据集N-Maj，样本数量为n_maj；近少数数据集N-Min，样本数量为n_min；

S3、计算N-Maj的子序列之间的DTW距离，并组成DTW距离矩阵E3；计算N-Min的子序列之间的DTW距离，并组成DTW距离矩阵E4；确定N-Maj需要生成的序列数量为num₁，确定N-Min需要生成的数量为num₂；

S4、随机选取N-Maj中的子序列a_p，通过E3的对应元素位置，筛选a_p的K个近邻子序列，组成近邻序列集P＝{a_p1,a_p2,...,a_pK}；

S4.1、通过a_p和P＝{a_p1,a_p2,...,a_pK}之间的DTW规整对齐，得到临时对齐序列集C_p＝{a_p-avg1,a_p-avg2,...,a_p-avgK}；

S4.2、根据子序列a_p及其近邻序列集C_p，确定距离权重集W；

S4.3、：按照距离权重集W，对临时对齐序列集C_p求取加权平均值，构成新的平均序列a_p-avg；

S4.4、将新的平均序列a_p-avg加入N-Maj中，并与N-Maj中每个子序列进行DTW计算，更新DTW距离矩阵E3；

S4.5、重复步骤S4到S4.4，直到生成num₁条新数据；

S5、随机选取N-Min中的第q个子序列b_q，通过E4的对应元素位置，筛选b_q的K个近邻子序列，组成近邻序列集Q＝{b_q1,b_q2,...,b_qK}；

S5.1、通过b_q和Q＝{b_q1,b_q2,...,b_qK}之间的DTW规整对齐，得到临时对齐序列集C_q＝{b_q-avg1,b_q-avg2,...,b_q-avgK}；

S5.2、根据子序列b_q及其近邻序列集C_q，确定距离权重集W；

S5.3、按照距离权重集W，对临时对齐序列集求取加权平均值，构成平均序列b_q-avg；

S5.4、在b_q-avg的每个时间步上添加样本随机差异rand_diff，形成新的序列b_q-new；

S5.5、将新生成序列b_q-new加入N-Min中，并与N-Min中每个子序列进行DTW计算，同时更新DTW距离矩阵E4和N-Min；

S5.6、重复步骤S5到S5.5，直到生成num₂条新数据；

S6、合并N-Min和N-Maj，组成新的少数类数据集M'，将新的数据集M'与N合并，组成平衡数据集。

2.根据权利要求1所述针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，步骤S2中，D1表示子序列m_i与少数类数据集M中K个近邻子序列的平均欧氏距离；D2表示子序列m_i与多数类数据集N＝{n₁,n₂,...,n_n}中K个近邻序列的平均欧氏距离；

当D1>D2时，子序列m_i储存至近多数类数据集N-Maj；

当D1≤D2时，子序列m_i储存至近少数数据集N-Min。

3.根据权利要求1所述针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，步骤S4、S5中，通过E3、E4对应的元素位置，筛选a_p的K个近邻子序列，组成近邻序列集P＝{a_p1,a_p2,...,a_pK}和b_q的K个近邻子序列，组成近邻序列集Q＝{b_q1,b_q2,...,b_qK}。

4.根据权利要求1所述针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，步骤S4.2中，对子序列a_p和近邻序列集P中的子序列进行DTW规整对齐，根据DTW计算过程中求得的最优匹配路径，获得子序列a_p和近邻序列集P最优对齐的临时对齐序列集C_p＝{a_p-avg1,a_p-avg2,...,a_p-avgK}；通过序列b_q和近邻序列集Q的DTW最优对齐，得到临时对齐序列集C_q＝{b_q-avg1,b_q-avg2,...,b_q-avgK}。

5.根据权利要求1所述针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，步骤S4.3和S5.3中，根据子序列a_p与C_p在E3中对应的DTW距离，确定权重集；权重集W初始权重为ω₀，权重数量为K+1，其和为1，权重集W为：

W＝[ω₀,ω₁,ω₂,...,ω_K]

其中，ω_j表示权重集中第j个权重，1≤j≤K；e_j表示子序列与自身第j条近邻序列DTW距离；f_j表示与距离成反比的系数，ρ为配置参数；

同理，S5.2中，按根据子序列b_q与近邻序列集C_q子序列在E4中对应的DTW距离，确定权重集。

6.根据权利要求1所述针对工业时序不平衡数据的时间序列数据增强方法，其特征在于，步骤S5.4中，对于由N-Min中生成的新序列b_q-avg，在其每个时间步的值上添加随机差异rand_diff；其中，每条新序列的随机差异由步骤S5中的子序列b_q与近邻序列集Q＝{b_q1,b_q2,...,b_qK}决定，即b_q-avg每个时间步上的值需要添加的随机差异，都是由b_q＝(x_q,1,x_q,2,...,x_q,t)与近邻序列集Q＝{b_q1,b_q2,...,b_qK}中的所有子序列在同一时间步上的平均差异得到，组成长度为t的rand_diff(r)：

其中，b_qi为近邻序列集Q＝{b_q1,b_q2,...,b_qK}的子序列之一；b_qi(r)和b_q(r)为b_qi和b_q在不同时间步上的值，1≤r≤t；

在b_q-avg所有时间步上，添加随机差异，得到b_q-new：

b_q-new(r)＝b_q-avg(r)+rand_diff(r)。