CN113837364A - 基于残差网络和注意力机制的污水处理软测量方法及系统 - Google Patents
基于残差网络和注意力机制的污水处理软测量方法及系统 Download PDFInfo
- Publication number
- CN113837364A CN113837364A CN202111091225.9A CN202111091225A CN113837364A CN 113837364 A CN113837364 A CN 113837364A CN 202111091225 A CN202111091225 A CN 202111091225A CN 113837364 A CN113837364 A CN 113837364A
- Authority
- CN
- China
- Prior art keywords
- sewage treatment
- model
- soft
- layer
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010865 sewage Substances 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 62
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000010200 validation analysis Methods 0.000 claims abstract description 18
- 238000000691 measurement method Methods 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims description 34
- 239000007787 solid Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 10
- 229910052760 oxygen Inorganic materials 0.000 claims description 10
- 239000001301 oxygen Substances 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010238 partial least squares regression Methods 0.000 description 4
- 238000004065 wastewater treatment Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012628 principal component regression Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
- G01N33/1806—Biological oxygen demand [BOD] or chemical oxygen demand [COD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Emergency Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Biodiversity & Conservation Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Activated Sludge Processes (AREA)
Abstract
本发明涉及用于污水处理的软测量方法及系统。其中的方法包括：通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将历史数据划分到训练集、验证集和测试集；对训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；采用已训练的污水处理软测量模型，利用当前的输入特征变量对输出目标变量进行软测量预测。其中的系统包括：用于获取水体参数的传感器以及实施上述方法的计算机装置。
Description
技术领域
本发明涉及用于污水处理的软测量方法及系统，属于水体检测技术领域。
背景技术
在废水处理过程中，存在着大量难以测量或无法在线测量的参数，同时这类参数密切影响着出水指标的控制。
目前废水处理过程中的出水化学需氧量(COD)和出水悬浮固形物(SS)，主要采用传统的基于统计学方法的回归方法如主成分回归(PCR)、偏最小二乘回归(PLSR)、多元线性回归(MLR)等，基于机器学习方法的反向传播人工神经网络回归(BP-ANN)、支持向量回归(SVR)等，基于深度学习的卷积神经网络回归(CNN)、递归神经网络(GRU)等软测量模型进行预测。
传统的软测量方法主要适用于线性系统预测，机器学习软测量方法受限于工程师的知识储备，自适应性不强。
深度学习对复杂网络的非线性系统预测具有较好的适用性，并且具有自动特征工程能力，其中的卷积神经网络回归具有短序列特征抽象能力，但是缺乏长序列的时间依赖性，导致在长序列回归模型钟泛化性能不强；GRU相对CNN是一种有效处理长序列数据的高效深度学习模型，同时也是一种更高效的时域特征信息提取方法，一个好的方法是将这两种特征采用残差结构进行融合。同时在与目标值进行回归过程当中，融合的特征其对应的重要程度是不同的，一种好的方法采用注意力机制对融合特征进行重要程度分析。
发明内容
本发明提供一种用于污水处理的软测量方法方法及装置，旨在至少解决现有技术中存在的技术问题之一，比如，至少解决现有的水体软测量方法中深度学习对长短序列回归泛化性能不强的问题。
本发明的技术方案涉及一种用于污水处理的软测量方法，包括以下步骤：
S1、通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将所述历史数据划分到训练集、验证集和测试集；
S2、对所述训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；
S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；
S4、采用已训练的污水处理软测量模型，基于测试集上的性能指标，对所述输出目标变量进行实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数。
其中，所述输入特征变量包含进水的水体中的COD、流量、悬浮固形物浓度、溶解氧浓度和pH值，所述输出目标变量包含出水的水体中COD和悬浮固形物浓度。
进一步，所述步骤S1包括：以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分，其中，以80％的输入特征变量和输出目标变量组成训练集，10％的输入特征变量和输出目标变量组成验证集，其余的输入特征变量和输出目标变量组成测试集；所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。
进一步，所述步骤S2包括通过下式对所述训练集的变量实施变量序列标准化处理：
其中，x′k是标准化后的序列，xk是所述训练集的输入特征变量或输出目标变量，μ是序列x1,…,xn的均值，σ是该序列的标准差；使标准化后的序列值的均值为0，标准差为1；然后用存储的μ和σ值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。
进一步，所述步骤S2包括构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块；其中，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；其中，所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，所述注意力模块用于对融合特征进行筛选。
进一步，所述步骤S3包括：使用训练集标准化得到的参数对验证集进行标准化，得到标准化的验证集；输入标准化的训练集和标准化的验证集对污水处理软测量模型进行训练，得到训练后的污水处理软测量模型并保存为CNN-GRU-ATTENTION残差模型；使用训练后标准化参数对测试集进行标准化，用于输入训练后的CNN-GRU-ATTENTION残差模型进行性能指标评价。
进一步，所述步骤S3包括：对污水处理软测量模型的模型参数进行初始化；使输入数据经过卷积层、下采样层、GRU层、注意力层的前向传播得到输出值；获取训练过程中的污水处理软测量模型所计算的预测值与目标值之间的误差；当误差大于阈值时，将误差传回污水处理软测量模型中，依次求得注意力层、GRU层、下采样层和卷积层的误差，其中将各层的误差为整合为污水处理软测量模型的总误差；如果总误差小于或等于预设的总阈值时，则停止训练，完成污水处理软测量模型的构建。
进一步，在所述步骤S3中：所述批归一化层为批标准化归一层；所述激活层所采用的激活函数为ReLU函数，所述激活层所采用的池化函数为最大池化函数；所述注意力模块采用自注意力机制，对CNN模块和GRU模块的残差结构输出的融合特征进行筛选，其中，通过污水数据空时域上的信息，将CNN模块和GRU模块提取的特征利用残差结构进行融合，并引入注意力机制完成空时融合后的关键特征提取，获取该关键特征的充分表达。
进一步，所述步骤S4包括：对输出值进行反标准化处理，得到预测目标值，通过预测目标值和实际目标值获取平均绝对误差和确定相关系数，以实施水体软测量预测结果的误差监控；其中，所述平均绝对误差计算式为：
其中，MAE为平均绝对误差，yi为预测值，xi为实际值；
其中，所述的确定相关系数计算式为：
其中，R2为确定相关系数，
为序列xi的均值。
本发明的技术方案还涉及一种用于污水处理的软测量系统，包括：用于从污水处理单元获取水体参数的传感器以及与所述传感器通信连接的计算机装置，所述计算机装置上储存有程序指令，所述程序指令被计算机装置的处理器执行时实施上述的方法。
本发明的有益效果如下：
(1)充分利用了模型中各网络的优势，采用CNN学习污水数据的高层的空间特征，GRU 学习污水数据低层的时序特征，并引入注意力机制完成空时融合后的关键特征提取，获得了污水数据特征用以软测量目标的充分特征表示；(2)本发明技术方案中的模型避免了人工特征所存在的有区分度特征表达不充分的问题，同时提升了模型的收敛速度和泛化性能。
附图说明
图1是根据本发明的基于残差网络和注意力机制的污水处理软测量方法的流程图。
图2是根据本发明的方法在实施例中的总体流程框架图。
图3a是根据本发明的实施例中的污水处理软测量的源输入数据的示意图。
图3b是根据本发明的实施例中的污水处理软测量模型网络结构的示意图。
图4是根据本发明的实施例中的已训练的模型预测出水COD结果的评价示意图。
图5是根据本发明的实施例中的已训练的模型预测出水SS结果的评价示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
在对本发明实施例进行进一步详细说明之前，先对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
BOD：生物需氧量；
BP-ANN：基于深度学习的反向传播人工神经网络回归；
CNN：基于深度学习的卷积神经网络回归
COD：化学需氧量；
DO：溶解氧；
GRU：递归神经网络；
MLR：多元线性回归；
PCR：主成分回归；
PLSR：偏最小二乘回归；
SS：悬浮固形物；
SVR：支持向量回归。
本发明的方案一般适用于污水处理单元，通过传感器获取污水处理系统的进水和出水的水体参数和数据，然后通过计算机设备读取进水和/或出水的水体参数和数据，来实施根据本发明的污水处理软测量方法，以利用历史水体参数和数据所训练好的基于残差网络和注意力机制的神经网络模型，对当前采集的进水水体数据来出水水体数据进行软测量(包含估测或者预测)。
参照图1，在一些实施例中，根据本发明的污水处理软测量方法包括以下步骤：
S1、对从水体中获取的历史数据中的特征以及对应的目标值划分为训练集、验证值和测试集；
S2、对训练集进行标准化处理，得到标准化后的训练特征以及标准化参数；
S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集训练模型；
S4、使用训练后得到的模型计算其再测试集上的性能指标，进而对污水处理软测量方法进行评价。
下面基于某污水处理车间的污水处理单元中的一些具体的实施方式来分别描述上述步骤。
对于步骤S1
以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分。所述的特征变量包括进水COD、进水流量Q、进水SS、温度T、溶解氧DO、pH；所述的目标变量包括出水COD、出水SS。在进一步的实施例中，以超过半数的输入特征变量和输出目标变量组成训练集，其余的输入特征变量和输出目标变量组成验证集和测试集。所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。
在图2所示的步骤201中，首先，通过传感器从该车间的污水处理单元的水体中获取数据，其中的数据包括自变量数据和因变量数据。自变量数据为进水COD、进水流量Q、进水 SS、好氧池温度T、好氧池溶解氧DO和好氧池pH；因变量数据为出水COD和出水SS。然后，分别对于上述的自变量数据和因变量数据，例如，采集好氧段废水的工况下的1000个样本点，采样间隔为2小时。将1000个样本点按照8:1:1的比例随机划分为训练集、验证集和测试集，即其中的训练集、验证集和测试集的样本点数分别为800、100和100。
对于步骤S2
在图2所示的步骤202中，实施数据标准化处理，其中分别对模型特征输入值进水COD、进水流量Q、进水SS、好氧池温度T、好氧池溶解氧DO、好氧池PH，模型输出值出水COD 和出水SS中的训练集进行标准化。
设某一变量序列xi为x1,…,xn，其中记序列的均值为μ，标准差为σ，则标准化后的序列为：
其中，标准化后的序列值的均值为0，标准差为1，存储μ和σ的值；然后用存储的μ和σ值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。多组的输入源数据的概览如图3a所示。
此外，在下一步骤之前，构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块。如图3b所示，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，所述注意力模块用于对融合特征进行筛选。优选地，所述的批归一化层为BatchNormalization，其能解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。优选地，激活层采用的激活函数为ReLU函数，并且激活层采用的池化函数为最大池化函数。优选地，GRU模块采用一层包含20个隐藏单元的GRU层。优选地，注意力模块采用一层使用Softmax函数的自注意力层。优选地，全连接模块采用一层全连接层，其中由于回归的因变量包括出水COD和出水SS，因此全连接层的输出数一般为2。优选地，回归模块采用的损失函数为均方误差(MSE)。
对于步骤S3
在图2所示的步骤203中，实施模型训练，其中，将标准化后的训练集和验证集作为模型的输入，选择Adam优化器，对数据进行迭代训练，使loss到达最小。其中的训练集用于模型拟合，验证集用于调整模型的超参数和用于对模型的能力进行初步评估。
对于步骤S4
在图2所示的步骤204中，实施模型评价，其中可以采用平均绝对误差(简称MAE)和确定相关系数(R2 score)来实现。
具体地，平均绝对误差计算如下：
其中确定相关系数的计算公式为：
上式中，yi,xi分别为预测值和实际值，
为序列xi的均值。
然后，将训练后的CNN-GRU-ATTENTION残差模型保存。这里的模型为训练好的各层的权系数，通过输入标准化的自变量进水COD、进水流量Q、进水SS、好氧池温度T、好氧池溶解氧DO、好氧池pH，可以得到标准化下的预测输出目标出水COD和出水SS。
最后对输出的目标进行反标准化，得到预测目标出水COD和出水SS的数值。
通过设置训练参数，得到CNN-GRU-ATTENTION残差模型对测试集的软测量结果与实测的值的进行对比结果如图4和图5所示，其中出水COD指标和出水SS指标都在预设的阈值之下。
优选地，可以对污水处理单元的，进行输出目标变量实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码 (例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (10)
1.一种用于污水处理的软测量方法，其特征在于，所述方法包括以下步骤：
S1、通过获取传感器采集水体参数的历史数据，所述历史数据包括输入特征变量和输出目标变量，并且将所述历史数据划分到训练集、验证集和测试集；
S2、对所述训练集进行标准化处理，得到标准化后的训练特征以及标准化参数，并且构建基于残差网络和注意力机制的污水处理软测量模型；
S3、使用训练集标准化得到的标准化参数对验证集和测试集进行标准化，再使用训练集和验证集对基于残差网络和注意力机制的污水处理软测量模型进行训练；
S4、采用已训练的污水处理软测量模型，基于测试集上的性能指标，利用当前的输入特征变量对输出目标变量进行实时的软测量预测并且运算得到当前水体分析结果，以及根据需要对污水处理软测量方法进行误差监控以更新所述污水处理软测量模型的模型参数。
2.根据权利要求1所述的方法，其中，所述输入特征变量包含进水的水体中的COD、流量、悬浮固形物浓度、溶解氧浓度和pH值，所述输出目标变量包含出水的水体中COD和悬浮固形物浓度。
3.根据权利要求1所述的方法，其中，所述步骤S1包括：
以均匀随机抽样的方式对所述历史数据中的输入特征变量和输出目标变量分别进行划分，其中，以80％的输入特征变量和输出目标变量组成训练集，10％的输入特征变量和输出目标变量组成验证集，其余的输入特征变量和输出目标变量组成测试集；
所述训练集用于在污水处理软测量模型的训练过程中作为模型拟合的数据样本；
所述验证集用于模型训练过程中单独留出的样本集，以用于调整模型的超参数和用于对模型的预测能力进行初步评估。
4.根据权利要求1所述的方法，其中，所述步骤S2包括通过下式对所述训练集的变量实施变量序列标准化处理：
其中，x′k是标准化后的序列，xk是所述训练集的输入特征变量或输出目标变量，μ是序列x1,…,xn的均值，σ是该序列的标准差；
使标准化后的序列值的均值为0，标准差为1；
然后用存储的μ和σ值对验证值和测试集进行标准化，使得验证值和测试集与训练集服从同一分布。
5.根据权利要求1或4所述的方法，其中，所述步骤S2包括构建基于残差网络和注意力机制的污水处理软测量模型，使得所述污水处理软测量模型包括：
输入模块、CNN模块、GRU模块、残差网络结构、注意力模块、全连接模块和回归模块；
其中，所述CNN模块包括卷积层、批归一化层、激活层、池化层、丢弃层；
其中，所述残差网络结构用于CNN模块输出的特征与GRU模块输出的特征进行融合，所述注意力模块用于对融合特征进行筛选。
6.根据权利要求5所述的方法，其中，所述步骤S3包括：
使用训练集标准化得到的参数对验证集进行标准化，得到标准化的验证集；
输入标准化的训练集和标准化的验证集对污水处理软测量模型进行训练，得到训练后的污水处理软测量模型并保存为CNN-GRU-ATTENTION残差模型；
使用训练后标准化参数对测试集进行标准化，用于输入训练后的CNN-GRU-ATTENTION残差模型进行性能指标评价。
7.根据权利要求5所述的方法，其中，所述步骤S3包括：
对污水处理软测量模型的模型参数进行初始化；
使输入数据经过卷积层、下采样层、GRU层、注意力层的前向传播得到输出值；
获取训练过程中的污水处理软测量模型所计算的预测值与目标值之间的误差；
当误差大于阈值时，将误差传回污水处理软测量模型中，依次求得注意力层、GRU层、下采样层和卷积层的误差，其中将各层的误差为整合为污水处理软测量模型的总误差；
如果总误差小于或等于预设的总阈值时，则停止训练，完成污水处理软测量模型的构建。
8.根据权利要求5所述的方法，其中，在所述步骤S3中：
所述批归一化层为批标准化归一层；
所述激活层所采用的激活函数为ReLU函数，所述激活层所采用的池化函数为最大池化函数；
所述注意力模块采用自注意力机制，对CNN模块和GRU模块的残差结构输出的融合特征进行筛选，其中，通过污水数据空时域上的信息，将CNN模块和GRU模块提取的特征利用残差结构进行融合，并引入注意力机制完成空时融合后的关键特征提取，获取该关键特征的充分表达。
9.根据权利要求1所述的方法，其中，所述步骤S4包括：
对输出值进行反标准化处理，得到预测目标值，通过预测目标值和实际目标值获取平均绝对误差和确定相关系数，以实施水体软测量预测结果的误差监控；
其中，所述平均绝对误差计算式为：
其中，MAE为平均绝对误差，yi为预测值，xi为实际值；
其中，所述的确定相关系数计算式为：
其中，R2为确定相关系数，
为序列xi的均值。
10.一种用于污水处理的软测量系统，其特征在于，包括：
用于从污水处理单元获取水体参数的传感器以及与所述传感器通信连接的计算机装置，所述计算机装置上储存有程序指令，所述程序指令被计算机装置的处理器执行时实施如权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111091225.9A CN113837364B (zh) | 2021-09-17 | 2021-09-17 | 基于残差网络和注意力机制的污水处理软测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111091225.9A CN113837364B (zh) | 2021-09-17 | 2021-09-17 | 基于残差网络和注意力机制的污水处理软测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837364A true CN113837364A (zh) | 2021-12-24 |
| CN113837364B CN113837364B (zh) | 2023-07-11 |
Family
ID=78959742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111091225.9A Active CN113837364B (zh) | 2021-09-17 | 2021-09-17 | 基于残差网络和注意力机制的污水处理软测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837364B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114527716A (zh) * | 2022-02-08 | 2022-05-24 | 青岛理工大学 | 一种基于注意力机制和行为克隆模型的污水处理预测控制方法 |
| CN115952685A (zh) * | 2023-02-02 | 2023-04-11 | 淮阴工学院 | 基于集成深度学习的污水处理过程软测量建模方法 |
| CN117371873A (zh) * | 2023-12-01 | 2024-01-09 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117952228A (zh) * | 2024-02-01 | 2024-04-30 | 北京东方国信科技股份有限公司 | 软测量模型的训练方法及装置 |
| CN118153409A (zh) * | 2024-04-02 | 2024-06-07 | 清华大学 | 污水厂微塑料去除过程模型构建方法及装置 |
| CN118568448A (zh) * | 2024-08-05 | 2024-08-30 | 济南一杯水环保科技有限公司 | 一种供水管道微生物污染动态监测与消毒响应预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889085A (zh) * | 2019-09-30 | 2020-03-17 | 华南师范大学 | 基于复杂网络多元在线回归的废水智能监控方法及系统 |
| CN111291937A (zh) * | 2020-02-25 | 2020-06-16 | 合肥学院 | 基于支持向量分类与gru神经网络联合的处理污水水质预测方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN112232214A (zh) * | 2020-10-16 | 2021-01-15 | 天津大学 | 一种基于深度特征融合和注意力机制的实时目标检测方法 |
| CN113159395A (zh) * | 2021-03-31 | 2021-07-23 | 华南师范大学 | 一种基于深度学习的污水处理厂进水流量预测方法及系统 |
-
2021
- 2021-09-17 CN CN202111091225.9A patent/CN113837364B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889085A (zh) * | 2019-09-30 | 2020-03-17 | 华南师范大学 | 基于复杂网络多元在线回归的废水智能监控方法及系统 |
| CN111291937A (zh) * | 2020-02-25 | 2020-06-16 | 合肥学院 | 基于支持向量分类与gru神经网络联合的处理污水水质预测方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN112232214A (zh) * | 2020-10-16 | 2021-01-15 | 天津大学 | 一种基于深度特征融合和注意力机制的实时目标检测方法 |
| CN113159395A (zh) * | 2021-03-31 | 2021-07-23 | 华南师范大学 | 一种基于深度学习的污水处理厂进水流量预测方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114527716A (zh) * | 2022-02-08 | 2022-05-24 | 青岛理工大学 | 一种基于注意力机制和行为克隆模型的污水处理预测控制方法 |
| CN114527716B (zh) * | 2022-02-08 | 2023-12-15 | 海斯特(青岛)泵业有限公司 | 一种基于注意力机制和行为克隆模型的污水处理预测控制方法 |
| CN115952685A (zh) * | 2023-02-02 | 2023-04-11 | 淮阴工学院 | 基于集成深度学习的污水处理过程软测量建模方法 |
| CN115952685B (zh) * | 2023-02-02 | 2023-09-29 | 淮阴工学院 | 基于集成深度学习的污水处理过程软测量建模方法 |
| CN117371873A (zh) * | 2023-12-01 | 2024-01-09 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117371873B (zh) * | 2023-12-01 | 2024-03-26 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117952228A (zh) * | 2024-02-01 | 2024-04-30 | 北京东方国信科技股份有限公司 | 软测量模型的训练方法及装置 |
| CN118153409A (zh) * | 2024-04-02 | 2024-06-07 | 清华大学 | 污水厂微塑料去除过程模型构建方法及装置 |
| CN118153409B (zh) * | 2024-04-02 | 2025-01-28 | 清华大学 | 污水厂微塑料去除过程模型构建方法及装置 |
| CN118568448A (zh) * | 2024-08-05 | 2024-08-30 | 济南一杯水环保科技有限公司 | 一种供水管道微生物污染动态监测与消毒响应预测方法 |
| CN118568448B (zh) * | 2024-08-05 | 2024-12-10 | 济南一杯水环保科技有限公司 | 一种供水管道微生物污染动态监测与消毒响应预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837364B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113837364A (zh) | 基于残差网络和注意力机制的污水处理软测量方法及系统 | |
| CN110824914B (zh) | 一种基于pca-lstm网络的废水处理智能监控方法 | |
| CN113837356B (zh) | 基于融合神经网络的污水处理智能预测方法 | |
| CN110110466B (zh) | 一种机器学习和工艺仿真的污水处理目标参数预测方法 | |
| CN109492265B (zh) | 基于动态非线性pls软测量方法的废水出水指标预测方法 | |
| CA3049807A1 (en) | Intelligent systems and methods for process and asset health diagnosis, anomoly detection and control in wastewater treatment plants or drinking water plants | |
| CN110889085A (zh) | 基于复杂网络多元在线回归的废水智能监控方法及系统 | |
| CN110824915B (zh) | 基于ga-dbn网络的废水处理智能监控方法及系统 | |
| CN110705692A (zh) | 一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法 | |
| CN108920888B (zh) | 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法 | |
| CN111898734B (zh) | 一种基于mlp的nmr弛豫时间反演方法 | |
| CN102262147A (zh) | 一种废水处理系统出水cod的软测量方法和系统 | |
| CN107402586A (zh) | 基于深度神经网络的溶解氧浓度控制方法及系统 | |
| CN103235096A (zh) | 污水水质检测方法与装置 | |
| CN110320335A (zh) | 一种关于污水处理出水水质指标的多元鲁棒软测量方法 | |
| CN115204227A (zh) | 基于深度学习的设备故障诊断中不确定性量化校准方法 | |
| CN114944203A (zh) | 基于自动寻优算法与深度学习的废水处理监控方法及系统 | |
| CN111122811A (zh) | 一种oica和rnn融合模型的污水处理过程故障监测方法 | |
| CN108595892A (zh) | 基于时间差分模型的软测量建模方法 | |
| JPWO2020021688A1 (ja) | 水処理プラントおよび水処理プラントの運転方法 | |
| CN116029612A (zh) | 一种基于深度学习的城镇污水厂外加碳源精准控制方法 | |
| CN114897103A (zh) | 一种基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法 | |
| CN113159395A (zh) | 一种基于深度学习的污水处理厂进水流量预测方法及系统 | |
| CN111125907A (zh) | 一种基于混合智能模型的污水处理氨氮软测量方法 | |
| CN113838542A (zh) | 化学需氧量智能预测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241210 Address after: Building 8, Huashi University West, No. 55 Zhongshan Avenue West, Tianhe District, Guangzhou City, Guangdong Province 510630 (Huashi Technology Building), self-designed 3rd floor, No. 355-361 Patentee after: South China Normal University (Guangzhou) University Science and Technology Park Co.,Ltd. Country or region after: China Address before: 510006 School of environment, South China Normal University, 378 Waihuan West Road, Panyu District, Guangzhou City, Guangdong Province Patentee before: SOUTH CHINA NORMAL University Country or region before: China |
|
| TR01 | Transfer of patent right |