CN117171685B - 一种浊度测量系统运行监测方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，提出了一种浊度测量系统运行监测方法，包括：获取饮用水浊度数据序列；将饮用水浊度数据进行平均分段，获取子序列；根据子序列中相邻数据的差值获取扰动频率；根据每个子序列的扰动频率与扰动频率最大值获取扰动频率密度；对扰动频率密度设置阈值，获取平滑序列；根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取沉淀累积率；获取数据点的局部邻域，进而获取局部沉淀密度；根据局部沉淀密度与沉淀累积率计算沉淀异常概率；根据异常概率构建自适应系数，进而获取局部离群因子，选取正常数据计算浊度测量结果。本发明旨在解决传统异常检测算法对于饮用水浊度数据检测精度较差的问题。

Description

一种浊度测量系统运行监测方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种浊度测量系统运行监测方法。

背景技术

液体浊度是评价由不溶性的悬浮颗粒均匀分散至液体产生的混合物的浑浊程度的指标，低浊度液体的测量采用浊度传感器，应用90°角散射光原理中散射光与浊度的多段线性关系，将散射光转换为电信号，进而量化液体浊度。在饮用水浊度测量过程中容易受到流量和水体中致浊颗粒本身形状与沉淀特性的影响，导致传感器采集数据异常，进而影响浊度测量精度。因此，需要对饮用水浊度测量系统运行数据进行监测，选择合理的时段读数才能保证测量结果的科学性。传统的读数选取方法为采用数据异常检测算法对浊度测量数据异常值检测，根据数据的异常程度选择合理的时段读数。

LOF离群点检测算法作为常用的异常检测算法，可以根据数据的离群因子判断数据的异常程度，进而获取合理的数据，但该算法的K值得确定依赖于人为划分，没有考虑到饮用水场景中浊度的变化趋势，检测效果较差。

发明内容

为解决上述技术问题，本发明的目的在于提供一种浊度测量系统运行监测方法，以解决现有的传统异常检测算法对于饮用水浊度数据检测精度较差的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种浊度测量系统运行监测方法，该方法包括以下步骤：

获取饮用水浊度数据序列；

将饮用水浊度数据序列进行平均分段，获取子序列；根据子序列中相邻数据的差值与子序列长度获取每个子序列的扰动频率；根据每个子序列的扰动频率与所有子序列的扰动频率最大值获取每个子序列的扰动频率密度；根据每个子序列的扰动频率密度设置阈值，进而选取子序列组合为平滑序列；根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取疑似沉淀点的沉淀累积率；获取平滑序列中每个数据点的局部邻域，根据局部邻域中所有数据点的数量与疑似沉淀点的数量获取局部沉淀密度；根据平滑序列中每个数据点的局部沉淀密度与沉淀累积率计算沉淀异常概率；

根据平滑序列中每个数据点的沉淀异常概率构建自适应系数；根据自适应系数采用异常检测算法计算平滑序列中每个数据点的局部离群因子；根据局部离群因子选取正常的浊度数据计算浊度测量结果。

进一步，所述将饮用水浊度数据序列进行平均分段，获取子序列，包括的具体方法为：

将饮用水浊度数据序列平均分为预设段数的浊度数据序列，剔除末尾多余数据，使每段浊度数据序列包含相同数量的数据点，将每段浊度数据序列作为一个子序列。

进一步，所述根据子序列中相邻数据的差值与子序列长度获取每个子序列的扰动频率，包括的具体方法为：

分别将子序列中从第二个数据点开始的每个数据点作为后置数据点，将后置数据点与前一个数据点的浊度数值差值作为后置数据点的波动值；

获取子序列中数据点数量，将数据点数量作为子序列长度，将子序列中所有后置数据点波动值的平方和与子序列长度的比值作为子序列的扰动频率。

进一步，所述根据每个子序列的扰动频率与所有子序列的扰动频率最大值获取每个子序列的扰动频率密度，包括的具体方法为：

获取所有子序列的扰动频率最大值，将扰动频率最大值作为最大扰动值；

将每个子序列的扰动频率与最大扰动值的比值作为子序列的扰动频率密度。

进一步，所述根据每个子序列的扰动频率密度设置阈值，进而选取子序列组合为平滑序列，包括的具体方法为：

根据每个子序列的扰动频率密度获取第一预设阈值；

将扰动频率密度小于第一预设阈值的子序列按照时间序列进行重新排序组合获得平滑序列。

进一步，所述根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取疑似沉淀点的沉淀累积率，包括的具体方法为：

分别将平滑序列中每个数据点作为待分析数据点，将待分析数据点前一个时刻的数据点作为待分析数据点的第一相邻数据点，将待分析数据点后一个时刻的数据点作为第二相邻数据点；

将浊度数值小于第一相邻数据点浊度数值且大于第二相邻数据点浊度数值的待分析数据点记为疑似沉淀点；

根据疑似沉淀点的浊度数值计算沉淀累积率。

进一步，所述根据疑似沉淀点的浊度数值计算沉淀累积率，包括的具体方法为：

将疑似沉淀点与第二相邻数据点的浊度数值差值作为第二下降幅度，将疑似沉淀点与第一相邻数据点的浊度数值差值作为第一下降幅度；

将第二下降幅度与第一下降幅度的比值作为疑似沉淀点的沉淀累积率。

进一步，所述获取平滑序列中每个数据点的局部邻域，根据局部邻域中所有数据点的数量与疑似沉淀点的数量获取局部沉淀密度，包括的具体方法为：

分别以平滑序列中每个数据点为中心，根据预设半径构建局部邻域，获取数据点的局部邻域内包含的所有数据点数量及疑似沉淀点数量，将所述疑似沉淀点数量与所述所有数据点数量的比值作为数据点的局部沉淀密度。

进一步，所述根据平滑序列中每个数据点的局部沉淀密度与沉淀累积率计算沉淀异常概率，包括的具体方法为：

获取平滑序列中每个数据点的局部邻域内所有疑似沉淀点的沉淀累积率，将所述所有疑似沉淀点的沉淀累积率之和与局部沉淀密度的乘积作为平滑序列中每个数据点的沉淀异常概率。

进一步，所述根据平滑序列中每个数据点的沉淀异常概率构建自适应系数，包括的具体方法为：

将每个数据点的沉淀异常概率进行归一化，将归一化的结果作为异常概率占比；

将数字1与异常概率占比之和的倒数作为平滑序列中每个数据点对应的自适应系数。

本发明的有益效果是：本发明通过对浊度测量数据的变化趋势及异常情况进行分析，实现对浊度测量系统的监测，进而获取准确的浊度测量结果。首先本发明根据饮用水浊度数据序列的浊度数值波动情况对于致浊颗粒运动造成的浊度数值波动较大的部分序列进行剔除，获取浊度数值波动较小的平滑序列；再根据平滑序列中每个数据点与相邻数据点的浊度数值变化情况得到疑似沉淀点及沉淀累积率，并通过每个数据点局部邻域中疑似沉淀点的数量及沉淀累积率得到每个数据点构建沉淀异常概率，提高了数据点异常判断的准确性；同时，为了实现对浊度测量系统的准确监测，本发明结合LOF离群点检测算法，对平滑序列中的数据点进行局部离群分析，根据每个数据点的沉淀异常概率对平滑序列设置自适应K值，进而获得局部离群因子，解决了沉淀异常数据在较大的K局部邻域内的离群程度较小的问题。本发明对于饮用水的浊度测量数值的异常检测具有较高的精度，可提高浊度测量系统监测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种浊度测量系统运行监测方法流程示意图；

图2为浊度-时间曲线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种浊度测量系统运行监测方法流程图，该方法包括以下步骤：

步骤S001、采集一段时间间隔的饮用水浊度测量数据。

对流动的饮用水管道，每间10min进行一次取样，将待测样品静置60s后，采用浊度传感器每间隔时间t记录一次浊度数值，t取经验值为1s，获取n个浊度数值，n取经验值为200。将n个浊度数值按照时间序列进行排序，获得浊度数据序列Z_n。如图2所示，获取纵轴为浊度数值，横轴为时间的浊度-时间散点图，依次连接所有点，形成浊度-时间曲线。

步骤S002、对采集的数据的大小和变化情况进行分析，获取浊度稳定变化的平滑序列，根据数据点的局部异常变化局势获取每个数据点的沉淀异常概率，进而获得每个数据点的自适应K值，将所有数据点的自适应K值的众数作为平滑序列的自适应K值。

需要说明的是，在对饮用水进行取样过程中，水体中的致浊颗粒会随着液体的流动发生运动，即致浊颗粒运动时段。在致浊颗粒运动时段会产生时刻性的聚集行为，导致对入射光的散射能力不断发生变化，获取到的浊度数值变化幅度较大；经过一段时间静止，致浊颗粒会均匀悬浮于水体中，获取到的浊度数值较为平稳，波动幅度较小；再经过一段时间沉淀，致浊颗粒会在水体底部发生沉淀，导致水体中对入射光进行散射的颗粒变少，获取到的浊度数值逐渐变小。

因此，本发明对获取到的浊度数据序列Z_n进行分析，获取浊度数据随时间的变化情况。将浊度数据序列Z_n分为m段。其中，floor()为向下取整函数，每段有4个数据，令多余数据的数量为x，则x＝n-4m。将Z_n末尾x个数据剔除，获得m个子序列H_i，i＝1,2,…,m。根据子序列H_i中数据的变化幅度计算扰动频率，扰动频率R的计算方法如下：

其中，R_i为子序列H_i的扰动频率；H_i,j为H_i中第j个数据点的值；H_i,j+1为H_i中第j+1个数据点的值；常数4为子序列H_i中的数据个数。

当H_i,j+1-H_i,j的值越大，说明子序列H_i中相邻两数据的差值越大，则扰动频率越大，子序列H_i的数据波动幅度越大，水体中的致浊颗粒越有可能发生时刻性的聚集行为；当H_i,j+1-H_i,j的值越小，说明子序列H_i中相邻两数据的差值越小，则扰动频率越小，子序列H_i的数据波动幅度越小，水体中的致浊颗粒越可能均匀悬浮于水中。

进一步地，根据每个子序列的扰动频率与所有子序列的扰动频率最大值获取每个子序列的扰动频率密度，子序列H_i的扰动频率密度ρ_i计算方法如下：

其中，ρ_i为子序列H_i的扰动频率密度；R_i为H_i的扰动频率；max{R}为所有子序列的扰动频率最大值。

扰动频率密度反映了子序列的扰动频率相对于整个数据序列的波动强度，当扰动频率越大，所有子序列的扰动频率最大值越小，说明子序列H_i的扰动频率相对于整个数据序列越大，则扰动频率密度越大，子序列H_i的波动越强烈，越有可能为致浊颗粒运动时段；扰动频率越小，所有子序列的扰动频率最大值越大，说明子序列H_i的扰动频率相对于整个数据序列越小，则扰动频率密度越小，子序列H_i波动越平缓，越不可能为致浊颗粒运动时段。

优选地，设置阈值ε＝0.6，将ρ_i>0.6的子序列作为扰动序列。获取ρ_i<0.6的子序列，将子序列按照时间序列进行重新排序组合获得平滑序列V。

当致浊颗粒发生沉淀累积时，水体中悬浮的致浊颗粒变少，对入射光的散射能力变弱，测量的浊度数值会随时间的推移而逐渐变小，浊度-时间曲线呈现平滑下降的趋势，且变化梯度越来越小。

进一步地，根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取疑似沉淀点的沉淀累积率。对平滑序列中数据点V_i，令V_i的浊度数值为W_i，判断该数据点与前后相邻两时刻数据点的浊度数值大小，当W_i-1-W_i>W_i-W_i+1>0时，记数据点为疑似沉淀点M，则M的浊度数值为W_i。

根据疑似沉淀点的浊度数值计算沉淀累积率，疑似沉淀点M的沉淀累积率计算方法如下：

其中，为疑似沉淀点M的沉淀累积率，每个疑似沉淀点M对应一个沉淀累积率；W_i为疑似沉淀点M在平滑序列中对应的浊度数值；W_i+1为W_i后一个时刻的浊度数值；W_i-1为W_i前一个时刻的浊度数值。

沉淀累积率越大，说明W_i-1-W_i与W_i-W_i+1的值越相近，则疑似沉淀点M处的递减梯度越小，越平滑，越有可能为沉淀完成时刻，致浊颗粒的沉淀程度越严重；沉淀累积率越小，说明W_i-1-W_i越大于W_i-W_i+1，则疑似沉淀点M处的递减梯度越大，越不平滑，越有可能为刚开始发生沉淀的时刻，致浊颗粒的沉淀程度越轻。

需要说明的是，根据致浊颗粒沉淀时的浊度-时间曲线，疑似沉淀点应呈现聚集分布，若一个数据点周围的疑似沉淀点越多，则该数据点越可能位于沉淀时刻。因此，根据平滑序列中每个数据点邻域的疑似沉淀点个数和沉淀累积率计算数据点的异常程度。

进一步，获取平滑序列中每个数据点的局部邻域，根据局部邻域中所有数据点的数量与疑似沉淀点的数量获取局部沉淀密度。对平滑序列V中数据点V_i，以V_i为中心，a为半径构建局部邻域，获取该数据点局部邻域中2a个数据点，a取经验值5。获取局部邻域数据点中疑似沉淀点的个数b，将记为数据点V_i的局部沉淀点密度。根据局部沉淀密度与沉淀累积率计算数据点V_i的沉淀异常概率μ_i：

其中，μ_i为平滑序列V中数据点V_i的沉淀异常概率；为以数据点V_i为中心，以a为半径的邻域内，b个疑似沉淀点的沉淀累积率之和；/>为数据点V_i的局部沉淀点密度。

局部沉淀点密度越大，局部邻域内疑似沉淀点的沉淀累积率之和越大，说明数据点V_i周围的疑似沉淀点越多，且沉淀累积程度越严重，则沉淀异常概率越大，V_i越有可能为发生沉淀的异常数据；局部沉淀点密度越小，局部邻域内疑似沉淀点的沉淀累积率之和越小，说明数据点V_i周围的疑似沉淀点越少，且沉淀累积程度越轻，则沉淀异常概率越小，V_i越不可能为发生沉淀的异常数据；

由于LOF离群点检测算法是通过比较每个数据点和其邻域点的密度来判断该点是否为异常点，而对于饮用水的浊度测量数据来说，致浊颗粒发生沉淀时测量得到的异常浊度数据与正常数据点的偏离程度较小，在较大邻域内的点的密度较大，容易被判断为正常数据点。因此，本发明根据数据点的异常沉淀概率，自适应的计算K值。

若数据点的沉淀异常概率越大，应在LOF离群点检测中选取较小的K值，以防止发生沉淀的异常数据点被判断为正常数据。K的经验取值为p为平滑序列V的数据个数，floor()为向下取整函数。为防止K的值过小，导致正常数据被判断为异常，对K值计算平滑序列V中数据点V_i的自适应系数δ_i，进而计算数据点V_i的自适应K值K_i：

其中，δ_i为平滑序列V中数据点V_i的自适应系数；μ_i为平滑序列V中数据点V_i的沉淀异常概率；norm()为线性归一化函数；p为平滑序列V的数据点个数；floor()为向下取整函数；K_i为V_i的自适应K值。

当沉淀异常概率越大，说明数据点V_i的沉淀异常概率越大，则自适应系数越小，计算出来的K_i值越小，则局部可达密度越小，局部离群因子越大，越容易被判断为异常点；当沉淀异常概率越小，说明数据点V_i的沉淀异常概率越小，则自适应系数越大，计算出来的K_i值越大，则局部可达密度越大，局部离群因子越小，越容易被判断为正常点。

需要说明的是，为防止K值过小，将正常值作为异常值处理，对沉淀异常概率进行归一化处理，计算得到的自适应系数的取值范围为(0.5，1)，进而将K_i控制在一个合理的范围内。

本发明将所有平滑序列中所有数据点的K_i的众数作为平滑序列的自适应K值。

步骤S003、采用平滑序列的自适应K值对浊度稳定变化的数据序列进行LOF离群点检测，根据离群因子选取正常的浊度数据计算浊度测量结果。

使用LOF离群点检测算法，根据平滑序列的自适应K值计算平滑序列V中每个数据点的局部离群因子，进而根据局部离群因子是否接近于1，判断数据点的异常程度。设置阈值γ，经验取值为1.2，当局部离群因子大于阈值时，判断该点为异常点；当局部离群因子小于或等于阈值时，判断该点为正常点。获取所有正常点的浊度数据均值作为浊度测量结果，输出到液晶显示器。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种浊度测量系统运行监测方法，其特征在于，该方法包括以下步骤：

获取饮用水浊度数据序列；

将饮用水浊度数据序列进行平均分段，获取子序列；根据子序列中相邻数据的差值与子序列长度获取每个子序列的扰动频率；根据每个子序列的扰动频率与所有子序列的扰动频率最大值获取每个子序列的扰动频率密度；根据每个子序列的扰动频率密度设置阈值，进而选取子序列组合为平滑序列；根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取疑似沉淀点的沉淀累积率；获取平滑序列中每个数据点的局部邻域，根据局部邻域中所有数据点的数量与疑似沉淀点的数量获取局部沉淀密度；根据平滑序列中每个数据点的局部沉淀密度与沉淀累积率计算沉淀异常概率；

根据平滑序列中每个数据点的沉淀异常概率构建自适应系数；根据自适应系数采用异常检测算法计算平滑序列中每个数据点的局部离群因子；根据局部离群因子选取正常的浊度数据计算浊度测量结果。

2.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述将饮用水浊度数据序列进行平均分段，获取子序列，包括的具体方法为：

将饮用水浊度数据序列平均分为预设段数的浊度数据序列，剔除末尾多余数据，使每段浊度数据序列包含相同数量的数据点，将每段浊度数据序列作为一个子序列。

3.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据子序列中相邻数据的差值与子序列长度获取每个子序列的扰动频率，包括的具体方法为：

分别将子序列中从第二个数据点开始的每个数据点作为后置数据点，将后置数据点与前一个数据点的浊度数值差值作为后置数据点的波动值；

获取子序列中数据点数量，将数据点数量作为子序列长度，将子序列中所有后置数据点波动值的平方和与子序列长度的比值作为子序列的扰动频率。

4.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据每个子序列的扰动频率与所有子序列的扰动频率最大值获取每个子序列的扰动频率密度，包括的具体方法为：

获取所有子序列的扰动频率最大值，将扰动频率最大值作为最大扰动值；

将每个子序列的扰动频率与最大扰动值的比值作为子序列的扰动频率密度。

5.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据每个子序列的扰动频率密度设置阈值，进而选取子序列组合为平滑序列，包括的具体方法为：根据每个子序列的扰动频率密度获取第一预设阈值；

将扰动频率密度小于第一预设阈值的子序列按照时间序列进行重新排序组合获得平滑序列。

6.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据平滑序列中数据点与相邻数据点的浊度数值获取疑似沉淀点，进而获取疑似沉淀点的沉淀累积率，包括的具体方法为：

分别将平滑序列中每个数据点作为待分析数据点，将待分析数据点前一个时刻的数据点作为待分析数据点的第一相邻数据点，将待分析数据点后一个时刻的数据点作为第二相邻数据点；

将浊度数值小于第一相邻数据点浊度数值且大于第二相邻数据点浊度数值的待分析数据点记为疑似沉淀点；

根据疑似沉淀点的浊度数值计算沉淀累积率。

7.根据权利要求6所述的一种浊度测量系统运行监测方法，其特征在于，所述根据疑似沉淀点的浊度数值计算沉淀累积率，包括的具体方法为：

将疑似沉淀点与第二相邻数据点的浊度数值差值作为第二下降幅度，将疑似沉淀点与第一相邻数据点的浊度数值差值作为第一下降幅度；

将第二下降幅度与第一下降幅度的比值作为疑似沉淀点的沉淀累积率。

8.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述获取平滑序列中每个数据点的局部邻域，根据局部邻域中所有数据点的数量与疑似沉淀点的数量获取局部沉淀密度，包括的具体方法为：

分别以平滑序列中每个数据点为中心，根据预设半径构建局部邻域，获取数据点的局部邻域内包含的所有数据点数量及疑似沉淀点数量，将所述疑似沉淀点数量与所述所有数据点数量的比值作为数据点的局部沉淀密度。

9.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据平滑序列中每个数据点的局部沉淀密度与沉淀累积率计算沉淀异常概率，包括的具体方法为：

获取平滑序列中每个数据点的局部邻域内所有疑似沉淀点的沉淀累积率，将所述所有疑似沉淀点的沉淀累积率之和与局部沉淀密度的乘积作为平滑序列中每个数据点的沉淀异常概率。

10.根据权利要求1所述的一种浊度测量系统运行监测方法，其特征在于，所述根据平滑序列中每个数据点的沉淀异常概率构建自适应系数，包括的具体方法为：

将每个数据点的沉淀异常概率进行归一化，将归一化的结果作为异常概率占比；

将数字1与异常概率占比之和的倒数作为平滑序列中每个数据点对应的自适应系数。