CN113609207B - 一种边坡形变监测数据的数据预处理方法 - Google Patents

Abstract

本发明提供一种边坡形变监测数据的数据预处理方法，包括以下步骤：S1、使用分层抽样对原始监测数据进行数据选样，得到第一预处理数据；S2、将第一预处理数据依次采用小波变换、数据归一化进行数据变换，得到第二预处理数据；S3、对第二预处理数据使用维归约技术进行归约处理，得到第三预处理数据。本发明可以解决对存在异常值的边坡形变原始监测数据没有进行数据预处理，从而会对后续的边坡滑坡分析预警造成影响的技术问题。

Description

一种边坡形变监测数据的数据预处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种边坡形变监测数据的数据预处理方法。

背景技术

边坡智能监控系统在野外应用中，会受到各种环境因素的干扰，除了会导致设备故障无法工作，还可能导致数据出现异常变动、失真等现象，无法正确反应出监测点位的实际物理状态，会对后续的边坡滑坡分析预警造成影响。

由于监测数据不可避免地受到各种因素的干扰，所以监测数据中会包含不同类型的异常值。这些异常值有可能是完全无用或错误的数据，也有可能是待监测对象结构形态发生变化的真实反映。而目前在现有技术中，并没有一种技术方案可以对存在异常值的边坡形变原始监测数据进行数据预处理，从而会对后续的边坡滑坡分析预警造成影响。

发明内容

针对现有技术存在的不足，本发明提出一种边坡形变监测数据的数据预处理方法，可以解决的对存在异常值的边坡形变原始监测数据没有进行数据预处理，从而会对后续的边坡滑坡分析预警造成影响的技术问题。

本发明采用的技术方案如下：

第一方面，提供了一种边坡形变监测数据的数据预处理方法，包括以下步骤：

S1、使用分层抽样对原始监测数据进行数据选样，得到第一预处理数据；

S2、将第一预处理数据依次采用小波变换、数据归一化进行数据变换，得到第二预处理数据；

S3、对第二预处理数据使用维归约技术进行归约处理，得到第三预处理数据。

进一步的，步骤S1具体如下：

S11、将原始监测数据分为互不相交的层；

S12、确定抽样比；

S13、根据抽样比在各层分别对原始监测数据进行随机抽取，得到每层抽样数据；

S14、将多组每层抽样数据组成集合，得到第一预处理数据。

进一步的，步骤S13具体如下：

S131、对某一层中的原始监测数据数量N进行读取；

S132、当原始监测数据数量N小于随机抽样序列长度时，依次将原始监测数据按原有顺序放入随机抽样序列，根据抽样比进行随机抽取；

S133、当原始监测数据数量为N大于或等于随机抽样序列长度时，大于或等于随机抽样序列长度那一部分的原始监测数据为[m，N]；对[m，N]中的任一原始监测数据i，在[0，m]范围内随机取一原始监测数据r，如原始监测数据r落在[0，m-1]范围内，用原始监测数据i替换原始监测数据r放入随机抽样序列，根据抽样比进行随机抽取；

S134、遍历原始监测数据[m，N]，重复步骤S133。

进一步的，数据归一化选用零均值归一化。

进一步的，维归约技术为霍特林变换。

进一步的，霍特林变换的具体步骤如下：

计算多个标准正交向量，作为规范化输入数据的基；

对多个标准正交向量按照出现的频率强度进行降序排列。

第二方面，提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现第一方面提供的边坡形变监测数据的数据预处理方法。

第三方面，提供了一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现第一方面提供的边坡形变监测数据的数据预处理方法。

由上述技术方案可知，本发明的有益技术效果如下：通过使用本实施上述技术方案，可以对收集到的边坡监测数据进行预处理，对于存在异常值的边坡形变原始监测数据可以滤除掉因外界干扰产生的不可靠数据，提高边坡监测数据挖掘的准确性，以提高保证后续数据分析结果的正确性，减小对后续边坡滑坡分析预警造成的影响。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明实施例1的数据预处理方法流程示意图；

图2为本发明实施例1的数据选样方法流程示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

本实施例提供了一种边坡形变监测数据的数据预处理方法，如图1所示，包括以下步骤：

S1、使用分层抽样对原始监测数据进行数据选样，得到第一预处理数据。

数据选样是从原始监测数据中选取部分数据，用于数据分析。对于边坡形变的监测数据，因数据样本量大，采用数据选样可以减小数据规模，使得在后续对数据进行处理分析时，效果更好但运算量较大的算法可以应用到数据集上。

在本实施例中，使用分层抽样对原始监测数据进行数据选样，如图2所示，具体按以下步骤进行：

S11、根据已有信息，将原始监测数据分为互不相交的层；

在具体的实施方式中，按照原始监测数据的对应时间点的气象情况，以及监测物理量的类型进行分层。比如：气象情况主要分为降雨和非降雨，因降雨会对边坡滑坡造成较大影响。监测物理量的类型主要包括位移、加速度。

S12、确定抽样比；

确定各层抽取的数据个数之和，以各层抽取的数据个数之和作为样本容量a，结合原始监测数据总个数A确定抽样比。抽样比T＝a/A。抽样比可以根据后续数据分析处理的需求进行选定。

S13、根据抽样比在各层分别对原始监测数据进行随机抽取，得到每层抽样数据；

因对边坡形变的监测过程是一长时间的过程，设置的监测点位数量多，所以在经过一段时间的监测后，得到的原始监测数据其数据量相当庞大。根据抽样比在各层分别对原始监测数据进行随机抽取时，为了提高数据预处理效率，在只需要遍历一次原始监测数据的情况下，就能在某一层的N个原始监测数据中，随机选出满足抽样比的n个不重复的数据，采用如下方法进行随机抽取：

S131、对某一层中的原始监测数据数量N进行读取；

S132、当原始监测数据数量N小于随机抽样序列长度时，依次将原始监测数据按原有顺序放入随机抽样序列，根据抽样比T＝a/A进行随机抽取；

S133、当原始监测数据数量为N大于或等于随机抽样序列长度时，大于或等于随机抽样序列长度那一部分的原始监测数据为[m，N]；对[m，N]中的任一原始监测数据i，在[0，m]范围内随机取一原始监测数据r，如原始监测数据r落在[0，m-1]范围内，用原始监测数据i替换原始监测数据r放入随机抽样序列，根据抽样比T＝a/A进行随机抽取；

S134、遍历原始监测数据[m，N]，重复步骤S133。

通过本步骤的方法，可以确保处理完所有的数据时，得到的每层抽样数据中的每个数据都是以抽样比T＝a/A的概率获得的。

S14、将多组每层抽样数据组成集合，得到第一预处理数据；

使用本步骤的使用分层抽样对原始监测数据进行数据选样，比单纯随机抽样所得到的结果准确性更高，能保证总体中每一层都有个体被抽到，除了能估计原始监测数据总体的参数值，还可以分别估计各个层内的情况。

S2、将第一预处理数据依次采用小波变换、数据归一化进行数据变换，得到第二预处理数据。

边坡形变监测的传感器在信号采集过程中，由于存在各种各样的环境干扰(如温漂、电磁场)，或者传感器固有属性的影响(如零点漂移)，或者传输电路的干扰，或者硬件设备老化等其它因素的影响，使得收集到的信号包含着各种噪声，这使得原始监测数据不能够如实反映边坡形变的实际状态。

在本实施例中，将第一预处理数据采用小波变换进行数据变换，得到第二预处理数据。

小波变换是一种时频域分析方法，它具有多分辨率分析的特点，可用于信号的滤波消噪处理。在实际工程应用中，所分析的信号可能包含许多尖峰或突变部分，并且噪声也不是平稳的白噪声，对这种信号进行分析，首先需要作预处理，将信号中的噪声部分去除，提取有用信息。而这种信号的消噪，用传统的傅里叶变换显得无能为力，因为傅里叶变换是将信号完全放在频率域中分析，它不能给出信号在某个时间点上的变化情况，使得信号在时间轴上的任何一个突变，都会影响信号的整个谱图。而小波分析由于能同时在时频域中对信号进行处理，所以它能有效地区分信号中的突变部分与噪声，从而实现消噪。在本步骤中，使用小波变换对第一预处理数据进行数据变换，可以较好的实现信噪分离。

在对边坡形变进行数据分析时，因不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。

在本实施例中，选用数据归一化对经过小波变换后的第一预处理数据进行进一步的数据变换，在具体的实施方式中，选用零均值归一化(Z-score Normalization)。零均值归一化是一个分数与平均数的差再除以标准差的过程，z＝(x-μ)/σ，其中x为某一具体分数，μ为平均数，σ为标准差。采用零均值归一化时，把所有维度的变量一视同仁，所有维度的变量在后续计算边坡形变距离中会发挥相同的作用，适合边坡形变监测的嘈杂大数据场景。

经零均值归一化后的数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，能够满足后续数据分析的需要。

S3、对第二预处理数据使用维归约技术进行归约处理，得到第三预处理数据。

数据集一般都会含有大量的属性，并且实例也非常庞大。如果在海量数据上进行复杂的数据分析和挖掘将需要很长时间，使得这种分析不现实或不可行。数据归约技术可以得到数据集的归约表示。数据集的归约表示从数据量上讲小得多，但仍接近于保持原数据的完整性。这样，在归约后的数据集上挖掘将更有效，并产生相同的分析结果。

为了解决边坡监测所获得的海量数据的复杂度问题，在本实施例中对第二预处理数据使用维归约技术进行归约处理，具体如下：

采用霍特林变换，在第二预处理数据中搜索k个最能代表数据的n维正交向量，使第二预处理数据投影到一个小得多的空间上实现维归约。

首先，计算多个(在具体的实施方式中，为k个)标准正交向量，作为规范化输入数据的基。多个标准正交向量，每一个都垂直于其他向量。第二预处理数据是多个标准正交向量的线性组合。

然后，对多个标准正交向量按照出现的频率强度进行降序排列。具体的，使用多个标准正交向量充当第二预处理数据的新坐标系，提供关于方差的信息。对于坐标轴进行排序，第一个坐标轴显示数据的最大方差，第二个显示数据的次大方差，如此顺次排序下去。

通过上述两步可以去掉较弱的成分(方差较小的)来归约第二预处理数据，得到第三预处理数据。

通过第二预处理数据对不仅将数据压缩到低维，也使得降维之后的数据各特征相互独立，可以使后续对边坡监测数据在进行分析时，采用数据挖掘算法的效果更好。

通过使用本实施上述技术方案，可以对收集到的边坡监测数据进行预处理，对于存在异常值的边坡形变原始监测数据可以滤除掉因外界干扰产生的不可靠数据，提高边坡监测数据挖掘的准确性，以提高保证后续数据分析结果的正确性，减小对后续边坡滑坡分析预警造成的影响。

实施例2

提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现实施例1提供的边坡形变监测数据的数据预处理方法。

实施例3

提供了一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现实施例1提供的边坡形变监测数据的数据预处理方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种边坡形变监测数据的数据预处理方法，其特征在于，包括以下步骤：

S1、使用分层抽样对原始监测数据进行数据选样，得到第一预处理数据；包括：S11、按照原始监测数据的对应时间点的气象情况以及监测物理量的类型将原始监测数据分为互不相交的层；所述气象情况包括降雨和非降雨，所述监测物理量的类型包括位移和加速度；

S12、确定抽样比；

S13、根据抽样比在各层分别对原始监测数据进行随机抽取，得到每层抽样数据，具体为：S131、对某一层中的原始监测数据数量N进行读取；S132、当原始监测数据数量N小于随机抽样序列长度时，依次将原始监测数据按原有顺序放入随机抽样序列，根据抽样比进行随机抽取；S133、当原始监测数据数量为N大于或等于随机抽样序列长度时，大于或等于随机抽样序列长度那一部分的原始监测数据为[m，N]；对[m，N]中的任一原始监测数据i，在[0，m]范围内随机取一原始监测数据r，如原始监测数据r落在[0，m-1]范围内，用原始监测数据i替换原始监测数据r放入随机抽样序列，根据抽样比进行随机抽取；S134、遍历原始监测数据[m，N]，重复步骤S133；

S14、将多组每层抽样数据组成集合，得到第一预处理数据；

S2、将第一预处理数据依次采用小波变换、数据归一化进行数据变换，得到第二预处理数据；

S3、对第二预处理数据使用维归约技术进行归约处理，得到第三预处理数据。

2.根据权利要求1所述的边坡形变监测数据的数据预处理方法，其特征在于，所述数据归一化选用零均值归一化。

3.根据权利要求1所述的边坡形变监测数据的数据预处理方法，其特征在于，所述维归约技术为霍特林变换。

4.根据权利要求3所述的边坡形变监测数据的数据预处理方法，其特征在于，所述霍特林变换的具体步骤如下：

计算多个标准正交向量，作为规范化输入数据的基；

对多个标准正交向量按照出现的频率强度进行降序排列。

5.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-4中任一所述的边坡形变监测数据的数据预处理方法。

6.一种存储有计算机程序的计算机可读存储介质，其特征在于：所述计算机程序被处理器执行时实现权利要求1-4中任一所述的边坡形变监测数据的数据预处理方法。

Images