CN109060023A - 一种微型环境监测的数据质控方法及系统 - Google Patents

Abstract

本发明公开了一种微型环境监测的数据质控方法及系统，其中方法包括：获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；对实时检测数据以及检测结果数据进行处理；将处理后的数据通过模型公式计算得到数据质控模型。本发明一种微型环境监测的数据质控方法及系统保证了监测数据的有效性和准确性。

Description

一种微型环境监测的数据质控方法及系统

技术领域

本发明涉及微型环境监测，更具体地说是一种微型环境监测的数据质控方法及系统。

背景技术

目前微型环境监测，通常采用传感器作为检测单元，如气体监测传感器(SO2、NO2、CO、O3、TVOC、NH3、H2S等)、颗粒物监测传感器(PM2.5、PM10)、水质监测传感器(COD、pH、浊度、电导率、藻类等)，设备在连续实时监测过程中易受环境温度、湿度变化产生的漂移、检测因子间的交叉干扰以及传感器老化产生的信号衰减等，从而引起设备零点漂移和检测限下降，进而导致监测数据无效。

因此为了保护监测数据的有效性和准确性，亟待提出一种数据质控的方法及系统。

发明内容

本发明的目的在于克服现有技术的不足，提供一种微型环境监测的数据质控方法及系统。

为实现上述目的，本发明采用以下技术方案：一种微型环境监测的数据质控方法，所述方法包括：

获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

对实时检测数据以及检测结果数据进行处理；

将处理后的数据通过模型公式计算得到数据质控模型。

其进一步技术方案为：所述获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果的步骤中，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。

其进一步技术方案为：所述对实时检测数据以及检测结果数据进行处理的步骤，具体包括以下步骤：

对数据进行清洗，以得到数据流；

去除数据流中的无效数据，以得到特征数据；

对特征数据进行归一化处理。

其进一步技术方案为：所述将处理后的数据通过模型公式计算得到数据质控模型的步骤中，所述模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

其进一步技术方案为：所述将处理后的数据通过模型公式计算得到数据质控模型的步骤，具体包括以下步骤：

提取数据特征；

对数据特征进行维度压缩，形成二维特征；

将二维特征转化为一维的向量。

一种微型环境监测的数据质控系统，包括获取单元、处理单元以及质控模型单元；

所述获取单元，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

所述处理单元，用于对实时检测数据以及检测结果数据进行处理；

所述质控模型单元，用于将处理后的数据通过模型公式计算得到数据质控模型。

其进一步技术方案为：所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。

其进一步技术方案为：所述处理单元包括清洗模块、去除模块以及归一化处理模块；

所述清洗模块，用于对数据进行清洗，以得到数据流；

所述去除模块，用于去除数据流中的无效数据，以得到特征数据；

所述归一化处理模块，用于对特征数据进行归一化处理。

其进一步技术方案为：所述模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

其进一步技术方案为：所述质控模型单元包括提取模块、维度压缩模块以及转化模块；

所述提取模块，用于提取数据特征；

所述维度压缩模块，用于对数据特征进行维度压缩，形成二维特征；

所述转化模块，用于将二维特征转化为一维的向量。

本发明与现有技术相比的有益效果是：本发明一种微型环境监测的数据质控方法通过获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果，然后对实时检测数据以及检测结果数据进行处理，接着将处理后的数据通过模型公式计算得到数据质控模型，保证了监测数据的有效性和准确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。

附图说明

图1为本发明一种微型环境监测的数据质控方法具体实施例的流程图一；

图2为本发明一种微型环境监测的数据质控方法具体实施例的流程图二；

图3为本发明一种微型环境监测的数据质控方法具体实施例的流程图三；

图4为本发明一种微型环境监测的数据质控系统具体实施例的结构图一；

图5为本发明一种微型环境监测的数据质控系统具体实施例的结构图二；

图6为本发明一种微型环境监测的数据质控系统具体实施例的结构图三。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

应当理解，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。

还应当理解，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

如图1-3所示，本发明提供了一种微型环境监测的数据质控方法，该方法包括：

S10、获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

S20、对实时检测数据以及检测结果数据进行处理；

S30、将处理后的数据通过模型公式计算得到数据质控模型。

具体的，检测单元包括气体传感器(可以获取空气质量参数、恶臭、有毒有害气体参数等)、颗粒物传感器、气象监测传感器、水质监测传感器(可以监测COD、氨氮、总氮、总磷等)以及水文监测传感器。监督学习对象的检测结果是指国家环保局监控环境质量的高精度国标设备或手工实验得到的数据，数据可通过官方平台获得，或相关部门提供。

在某些实施例中，步骤S20具体包括以下步骤：

S201、对数据进行清洗，以得到数据流；

S202、去除数据流中的无效数据，以得到特征数据；

S203、对特征数据进行归一化处理。

对于步骤S201，数据清洗主要包括了不同数据源的数据协议的调整对齐，错误数据的初步判断，补足残缺(空白)数据，如获取的不同厂家的控制质量参数检测设备的监测数据，在获取的数据流上，同一个检测因子所在位置是不一样的，同样也存在因仪器故障或环境因素而产生的错误数据及残缺数据，数据清洗即为此为设置的。

对于步骤S202，经清洗后的数据流，在数据格式、数据长度、数据位置、数据有效标志位和数据所代表的意义均已明确，针对不同的监督对象，抽取不同的数据段后，结合不同字段上的数据有效标志位，去除无效数据，即获得用于数据质控模型计算的特征数据。

对于步骤S203，在获得特征数据后，不同的特征有不同的取值范围，如空气质量参数CO因子和水质质量参数CODcr取值范围不一样，为了降低取值范围对数据质控模型的影响，对特征数据进行归一化处理，通过函数归一化将特征取值映射到[0，1]区间，保证了特征数据变化范围的稳定性。

具体的，将经过归一化处理的数据输入模型公式中，即可进行数据质控模型的计算，模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

另外，质控模型针对微型环境监测不同使用环境和不同监测参数，形成的数据质控模型分为传统机器学习数据质控模型、深度学习数据质控模型、强化学习数据质控模型和迁移学习数据质控模型；

其中，传统机器学习的数据质控模型，采用的数据为传统仪器仪表类的校准数据，如利用标准气体动态发生器和零气发生器，配置不同浓度的气体或混合气体，确定微型环境中每个传感器的线性影响参数，如利用配置不同浓度化学试剂，通过手工对比实现，确定微型环境中的水环境质量中每个传感器的线性参数。传统机器学习的数据质控模型，一般采用线性或多项式模型，旨在获取单影响因素时，每个传感器的线性响应。

建立深度学习数据质控模型，在实际使用过程中每个传感都会存在温度、湿度产生的漂移，监测因子间的交叉干扰以及传感器老化产生的信号衰减，深度学习数据质控模型将该现象特征作为未知结构，通过有监督式学习方法，来挖掘好的表现特征结构，如温度漂移特征结构、监测因子间的交叉干扰特征结构，这些特征结构具有多个抽象级别，体现为卷积神经网络的隐含层及层次，该数据质控模型在抽象的多个特征结构层次上自主学习可将输入的数据直接映射(输出)高稳定性和高检测限的监测结果，而不必完全依赖人工制定，具有很强的鲁棒性和适应性。

建立强化学习数据质控模型，当微型环境监测系统为客户使用时，其监测环境已有出厂环境变为客户使用环境，此时需要该监测系统需要进行强化学习，消除环境变更带来的模型差异，首先更改监督学习对象为当前环境下的数据来源，采用边获得有交互及反馈的序列样例边学习的方式，在获得样例之后更新已有的模型，利用当前的模型来指导下一步的行动，下一步的行动获得反馈之后再更新模型，反复过程中采用的评估网络使用时序差分预测方法TD和反向传播BP算法进行学习，而对行动网络进行遗传操作，使用内部强化信号作为行动网络的适应度函数，通过不断迭代重复直到模型收敛。

建立迁移学习数据质控模型，当微型环境监测系统在客户使用过程中客户的环境产生局部变化时，强化学习数据质控模型采用了大量的用来训练模型的数据集，该过程是泛化特征的过程，故迁移学习可在迁移学习的基础数据集和基础任务上训练一个基础网络，即微调一下学到的特征，迁移到第二个目标网络中，用目标数据集和目标任务训练网络。所采用的质控方法为基于特征的有监督迁移学习来解决环境产生局部变化问题，所采用的目标数据为便携式标准设备或者其他标准监测设备，在该过程中重新定义一个统一形式化公式，转化成对目标函数的最优化问题。

在某些实施例中，步骤S30具体包括以下步骤：

S301、提取数据特征；

S302、对数据特征进行维度压缩，形成二维特征；

S303、将二维特征转化为一维的向量。

具体的，各个检测单元的测量数据，表现为检测时间、设备编号和测量数据的三维区域数据块，卷积层用来进行数据特征提取，池化层对输入的数据特征进行尺度压缩，使特征数据量变小，简化网络计算复杂度，同时提取主要特征，卷积层和池化层均利用了数据的不变性，进行平移、旋转、尺度缩放和降维等操作，保留主要的特征同时减少参数和计算量，实现模型泛化，防止过拟合；全连接层在整个数据质控模型中起到分类的作用，将从监督学习对象训化到的特征模型映射到特定的质控数据库，把卷积输出的二维特征转化成一维的向量，弱化模型影响小的参数，实现质控模型的简化快速计算；模型输出即针对不同的质控因子(如SO2、TP等)，输出不同的质控模型。

如图4-6所示，本发明还提供了一种微型环境监测的数据质控系统，该系统与上述方法是一一对应的，该系统包括获取单元1、处理单元2以及质控模型单元3；

获取单元1，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

处理单元2，用于对实时检测数据以及检测结果数据进行处理；

质控模型单元3，用于将处理后的数据通过模型公式计算得到数据质控模型。

具体的，检测单元包括气体传感器(可以获取空气质量参数、恶臭、有毒有害气体参数等)、颗粒物传感器、气象监测传感器、水质监测传感器(可以监测COD、氨氮、总氮、总磷等)以及水文监测传感器。监督学习对象的检测结果是指国家环保局监控环境质量的高精度国标设备或手工实验得到的数据，数据可通过官方平台获得，或相关部门提供。

在某些实施例中，处理单元2包括清洗模块21、去除模块22以及归一化处理模块23；

清洗模块，用于对数据进行清洗，以得到数据流；

去除模块，用于去除数据流中的无效数据，以得到特征数据；

归一化处理模块，用于对特征数据进行归一化处理。

数据清洗主要包括了不同数据源的数据协议的调整对齐，错误数据的初步判断，补足残缺(空白)数据，如获取的不同厂家的控制质量参数检测设备的监测数据，在获取的数据流上，同一个检测因子所在位置是不一样的，同样也存在因仪器故障或环境因素而产生的错误数据及残缺数据，数据清洗即为此为设置的。

经清洗后的数据流，在数据格式、数据长度、数据位置、数据有效标志位和数据所代表的意义均已明确，针对不同的监督对象，抽取不同的数据段后，结合不同字段上的数据有效标志位，去除无效数据，即获得用于数据质控模型计算的特征数据。

在获得特征数据后，不同的特征有不同的取值范围，如空气质量参数CO因子和水质质量参数CODcr取值范围不一样，为了降低取值范围对数据质控模型的影响，对特征数据进行归一化处理，通过函数归一化将特征取值映射到[0，1]区间，保证了特征数据变化范围的稳定性。

具体的，将经过归一化处理的数据输入模型公式中，即可进行数据质控模型的计算，模型公式为：

模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

另外，质控模型针对微型环境监测不同使用环境和不同监测参数，形成的数据质控模型分为传统机器学习数据质控模型、深度学习数据质控模型、强化学习数据质控模型和迁移学习数据质控模型；

其中，传统机器学习的数据质控模型，采用的数据为传统仪器仪表类的校准数据，如利用标准气体动态发生器和零气发生器，配置不同浓度的气体或混合气体，确定微型环境中每个传感器的线性影响参数，如利用配置不同浓度化学试剂，通过手工对比实现，确定微型环境中的水环境质量中每个传感器的线性参数。传统机器学习的数据质控模型，一般采用线性或多项式模型，旨在获取单影响因素时，每个传感器的线性响应。

建立深度学习数据质控模型，在实际使用过程中每个传感都会存在温度、湿度产生的漂移，监测因子间的交叉干扰以及传感器老化产生的信号衰减，深度学习数据质控模型将该现象特征作为未知结构，通过有监督式学习方法，来挖掘好的表现特征结构，如温度漂移特征结构、监测因子间的交叉干扰特征结构，这些特征结构具有多个抽象级别，体现为卷积神经网络的隐含层及层次，该数据质控模型在抽象的多个特征结构层次上自主学习可将输入的数据直接映射(输出)高稳定性和高检测限的监测结果，而不必完全依赖人工制定，具有很强的鲁棒性和适应性。

建立强化学习数据质控模型，当微型环境监测系统为客户使用时，其监测环境已有出厂环境变为客户使用环境，此时需要该监测系统需要进行强化学习，消除环境变更带来的模型差异，首先更改监督学习对象为当前环境下的数据来源，采用边获得有交互及反馈的序列样例边学习的方式，在获得样例之后更新已有的模型，利用当前的模型来指导下一步的行动，下一步的行动获得反馈之后再更新模型，反复过程中采用的评估网络使用时序差分预测方法TD和反向传播BP算法进行学习，而对行动网络进行遗传操作，使用内部强化信号作为行动网络的适应度函数，通过不断迭代重复直到模型收敛。

建立迁移学习数据质控模型，当微型环境监测系统在客户使用过程中客户的环境产生局部变化时，强化学习数据质控模型采用了大量的用来训练模型的数据集，该过程是泛化特征的过程，故迁移学习可在迁移学习的基础数据集和基础任务上训练一个基础网络，即微调一下学到的特征，迁移到第二个目标网络中，用目标数据集和目标任务训练网络。所采用的质控方法为基于特征的有监督迁移学习来解决环境产生局部变化问题，所采用的目标数据为便携式标准设备或者其他标准监测设备，在该过程中重新定义一个统一形式化公式，转化成对目标函数的最优化问题。

在某些实施例中，质控模型单元3包括提取模块31、维度压缩模块32以及转化模块33；

提取模块31，用于提取数据特征；

维度压缩模块32，用于对数据特征进行维度压缩，形成二维特征；

转化模块33，用于将二维特征转化为一维的向量。

具体的，各个检测单元的测量数据，表现为检测时间、设备编号和测量数据的三维区域数据块，卷积层用来进行数据特征提取，池化层对输入的数据特征进行尺度压缩，使特征数据量变小，简化网络计算复杂度，同时提取主要特征，卷积层和池化层均利用了数据的不变性，进行平移、旋转、尺度缩放和降维等操作，保留主要的特征同时减少参数和计算量，实现模型泛化，防止过拟合；全连接层在整个数据质控模型中起到分类的作用，将从监督学习对象训化到的特征模型映射到特定的质控数据库，把卷积输出的二维特征转化成一维的向量，弱化模型影响小的参数，实现质控模型的简化快速计算；模型输出即针对不同的质控因子(如SO2、TP等)，输出不同的质控模型。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种微型环境监测的数据质控方法，其特征在于，所述方法包括：

获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

对实时检测数据以及检测结果数据进行处理；

将处理后的数据通过模型公式计算得到数据质控模型。

2.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果的步骤中，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。

3.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述对实时检测数据以及检测结果数据进行处理的步骤，具体包括以下步骤：

对数据进行清洗，以得到数据流；

去除数据流中的无效数据，以得到特征数据；

对特征数据进行归一化处理。

4.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述将处理后的数据通过模型公式计算得到数据质控模型的步骤中，所述模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

5.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述将处理后的数据通过模型公式计算得到数据质控模型的步骤，具体包括以下步骤：

提取数据特征；

对数据特征进行维度压缩，形成二维特征；

将二维特征转化为一维的向量。

6.一种微型环境监测的数据质控系统，其特征在于，包括获取单元、处理单元以及质控模型单元；

所述获取单元，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；

所述处理单元，用于对实时检测数据以及检测结果数据进行处理；

所述质控模型单元，用于将处理后的数据通过模型公式计算得到数据质控模型。

7.根据权利要求6所述的一种微型环境监测的数据质控系统，其特征在于，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。

8.根据权利要求6所述的一种微型环境监测的数据质控系统，其特征在于，所述处理单元包括清洗模块、去除模块以及归一化处理模块；

所述清洗模块，用于对数据进行清洗，以得到数据流；

所述去除模块，用于去除数据流中的无效数据，以得到特征数据；

所述归一化处理模块，用于对特征数据进行归一化处理。

9.根据权利要求6所述的一种微型环境监测的数据质控系统，其特征在于，所述模型公式为：

其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目。

10.根据权利要求6所述的一种微型环境监测的数据质控系统，其特征在于，所述质控模型单元包括提取模块、维度压缩模块以及转化模块；

所述提取模块，用于提取数据特征；

所述维度压缩模块，用于对数据特征进行维度压缩，形成二维特征；

所述转化模块，用于将二维特征转化为一维的向量。