CN115034129B - 一种面向火电厂脱硝装置的NOx排放浓度软测量方法 - Google Patents

Abstract

本发明涉及一种面向火电厂脱硝装置的NOx排放浓度软测量方法，包括如下步骤:收集火电厂脱销系统的历史数据，通过历史数据训练LSTM模型，基于LSTM模型设计注意力机制自适应算子，引入蒙特·卡罗方法被引入作为LASSO算法求解的辅助算法；通过“滑窗法”交叉检验法求解LASSO收缩参数，得到调整后的软测量模型；将测量模型应用火电厂脱销系统的工控机中，获取脱销系统在线运行状态下的实时数据，在线预测脱销系统的NOx排放浓度。利用建模和软测量仪表的实时在线校正来保证NOx排放浓度值的预测精度，同时该软测量模型为系统的优化和控制提供有效技术支持。

Description

一种面向火电厂脱硝装置的NOx排放浓度软测量方法

技术领域

本发明涉及火电厂脱销领域，具体涉及一种面向火电厂脱硝装置的NOx排放浓度软测量方法。

背景技术

在现代火电厂的工业生产中，大都采用选择性催化还原(selective catalyticreduction，SCR)技术对锅炉燃烧过程产生的烟气进行脱硝处理。火电厂多采用高温高尘布置方式，即反应器布置在省煤器和空预器之间，烟气竖直向下流经催化剂层，其工艺流程图如图6所示。为了满足环保标准和提高经济效益，就需要对该系统的NOx浓度和该变量密切相关的变量进行严格的控制。然而SCR系统出口处的NOx存在测量不稳的问题，反馈控制很难达到及时有效。

原烟气中的NOx在参与脱硝反应后，通过空气预热器依次进入电除尘器和脱硫装置，净化后的烟气最终通过烟囱排放到大气中。为了保证NOx排放浓度满足国家标准以及生产效益最大化，需要对该烟囱检测点的NOx浓度进行实时监测，以使NOx浓度保持在一定范围内。受工业现场环境以及硬件设备的限制，烟气排放连续监测系统在测量NOx浓度时的取样管路较长，测量值存在较大的延时；同时，烟气排放连续监测系统需进行定期对管路进行维护吹扫，维护保养期间NOx的浓度测量工作无法进行。因此需要一种代替在线分析仪表的数据驱动软测量方法，该软传感器不仅可以替代硬件传感器工作，而且可以作为硬件传感器的备份，用于校正测量数据的准确性。而在面对系统具有大量复杂的输入变量时，如何快速准确的实现对多个输入变量进行有效筛选和系数压缩，以及对该脱硝系统出口处NOx的浓度值的预测成为一个十分困难的测量难题。

软测量技术是一种应用回归算法的估计模型，其使用在线可用的传感器(如温度、压力、流量等)来预测无法测量的变量，或者只能以高成本或高延迟(如实验室分析)进行测量的变量。在现代工业过程中，各种类型的软传感器在过程监控、控制和优化中起着至关重要的作用，传感器的监测能够实时反应工业过程的运行状况。新的理论、先进的技术和信息基础设施的出现，使软测量的性能得到了提高。虽然我们已经看到可获得性的明显增加物理传感器收集的原始数据，如果没有适当的数据分析、信息提取和知识开发技术，最终将成为数据垃圾。在软测量技术开发中，其主要利用集散控制系统提供的历史数据建立回归模型。在数据的分析应用中，输入变量的选择、模型训练以及优化都是其重要的组成部分。

随着而机器学习的发展，针对非线性，动态化的生产状况，神经网络逐渐引入到建立软测量模型中，多层反向传播网络和径向基函数网络被得到了广泛应用。此类静态软测量模型常常会导致软仪表在实际应用时估计精度低、泛化能力不足。为了提高模型的精度、可靠性和动态自适应能力，采用了许多复杂的动态神经网络模型。模型的训练和优化需要占用大量的计算资源，动态软测量建模方法的应用满足了现在复杂多变的工业生产现状，变量选择及优化算法简化了模型复杂性结构的，同时大大提高了模型的预测精度和鲁棒性能。

发明内容

针对上述问题，本发明提供了一种面向火电厂脱硝装置的NOx排放浓度软测量方法，通过电厂集散控制系统与数据库相连，获取脱硝系统在线运行状态下的实时数据，将最终得到的软测量模型下载到工控机中在线预测脱硝系统的NOx排放浓度，利用建模和软测量仪表的实时在线校正来保证NOx排放浓度值的预测精度，同时该软测量模型为系统的优化和控制提供有效技术支持；基于注意力机制与LASSO的LSTM算法的软测量方法预测精准且计算成本低，基于此方法的软测量传感器克服了普通传感器价格昂贵、滞后和维护保养困难的缺点，具有较好的实用性和经济性。

本发明提供如下技术方案：一种面向火电厂脱硝装置的NOx排放浓度软测量方法，包括如下步骤:

步骤1、收集火电厂脱销系统的历史数据，对历史数据进行预处理，为LSTM模型的训练做准备；

步骤2、通过历史数据训练LSTM模型，基于LSTM模型设计注意力机制自适应算子，在此基础上引入LASSSO算法执行输入变量选择；引入蒙特·卡罗方法被引入作为LASSO算法求解的辅助算法；由于在求解LASSO算法的有效压缩系数时，方法极易陷入局部最优解，从而影响算法的顺利运行，因此引入蒙特·卡罗方法被引入作为LASSO算法求解的辅助算法；

步骤3、通过“滑窗法”交叉检验法求解LASSO收缩参数，从而得到一个调整后的软测量模型；

步骤4、将测量模型应用火电厂脱销系统的工控机中，获取脱销系统在线运行状态下的实时数据，在线预测脱销系统的NOx排放浓度。

LSTM是一种特殊的RNN结构，它是为了解决传统循环神经网络中梯度“消失”或“爆炸”的问题而提出的。由于LSTM结构在细胞机制和门机制中通过线性的信息流保持长期的依赖关系，因此在编码阶段使用LSTM结构将原始序列编码为特征表示，在解码器阶段使用LSTM结构对编码后的特征向量进行解码。

LSTM结构由一个记忆细胞和三个门组成。在t时刻，细胞状态c_t负责维持输入序列的时间依赖性，遗忘门f_t决定c_t-1对当前c_t的影响程度，输入门i_t决定t时刻序列输入值x_t对c_t的影响程度，输出门o_t是用来控制c_t对t时刻LSTM的输出h_t的影响程度。给定输入序列X＝(x₁,x₂,…,x_T)，LSTM计算公式如下所示:

f_t＝σ_g(W_f[h_t-1；x_t]+b_f) (1)

i_t＝σ_g(W_i[h_t-1；x_t]+b_i) (2)

o_t＝σ_g(W_o[h_t-1；x_t]+b_o) (3)

c_t＝f_t⊙c_t-1+i_t⊙σ_c(W_c[h_t-1；x_t]+b_c) (4)

h_t＝o_t⊙σ_c(c_t) (5)

式中W_f,W_i,W_o,W_c∈R^m×(m+n)，b_f,b_i,b_o,b_c∈R^m是需要学习的参数，m是LSTM隐藏层神经元个数。[h_t-1；x_t]∈R^m+n是前一个LSTM单元的隐藏状态h_t-1与当前输入x_t的连接。⊙为向量的点乘运算，σ_g和σ_c分别表示sigmod和tanh激活函数。

设计基于LSTM模型注意力机制自适应算子:包括空间注意力机制和时间注意力机制；

空间注意力机制，注意机制可以动态学习输入变量之间的空间相关性，用于输出变量的预测，用于表示输入变量之间的影响，其注意力权重的总和为1，该机制不会忽略任何输入变量的影响，也不允许相关性低的输入变量干扰目标变量的预测结果，具体来说，给定第k个输入变量其注意力权重可通过如下方式学习：

其中v_e,b_e∈R^T,W_e∈R^T×2m,U_e∈R^T×T是需要学习的参数，m是空间注意力机制的隐藏层神经元个数。σ_z是softmax激活函数，h_t-1∈R^m,c_t-1∈R^m分别是在空间注意力机制下LSTM的前一个单元的隐藏状态和细胞状态。通过求解得到每个输入变量在t时刻的注意力权重，空间注意力机制对应的输入变量可以表示为：

时间注意力机制，LSTM单元通过细胞机制存储时间信息，通过门机制控制时间信息的增减，保持长期依赖，通过门机制的时间信息导致LSTM单元在每个时间窗口T内改变细胞状态，使用注意力机制来学习这些隐藏状态在每个时间窗口中的影响，由于LSTM单元存储时间信息，而注意力机制被用来衡量这些不同细胞状态对目标变量预测的重要性，隐藏状态h_j在t时刻的注意权值可由下式得知:

其中v_d,b_d∈R^m,W_d∈R^m×2p,U_d∈R^m×m是要学习的参数，p为时间注意中的隐藏状态数，和分别是前一个隐藏LSTM单元在时间注意中的隐藏状态和细胞状态，每个时间窗口内的LSTM单元的单元状态进一步表示为：

空间注意力机制在一个时间窗内的时间关系表示为:

时间—空间注意力机制，空间相关性是通过空间注意力机制为原始属性分配注意权重来表示的，时间注意机制通过空间注意中的隐藏状态分配注意力权重来表示时间关系，通过同时学习空间相关性和时间相关性来学习联合时空关系，就是时空联合注意力机制，结合加权属性和隐藏层状态h_j∈R^m×T,空间相关性和时间相关性在时间t时刻的关系：

其中v_d,b_d∈R^m∈R^m+n,W_d∈R^(m+n)×2q,U_d∈R^(m+m)×(m+n)是要学习的参数，q为时间注意力机制中的隐藏状态数。和分别为注意模块中前一个隐藏LSTM单元的隐藏状态和细胞状态，为连接向量，同时表示联合时空关系；

每个时间窗口内的LSTM单元的细胞状态进一步表示为:

时间窗口内的时空关系可以表示为:

在模型的训练过程中，将此方法被作为一个自适应算子引入到LAASO-LSTM算法中，从而提高算法的效率和自适应性。在模型细节和训练方法方面，Adam算法优于均方根反向传播算法和动量梯度下降算法，因此被引入为一种优化算法；利用标准时间反向传播最小化均方误差，可以学习并获得具有时空注意的LSTM的模型参数。将时间—空间注意力机制引入LSTM，公式(1)～(5)更新如下：

引入蒙特·卡罗方法作为LASSO辅助算法：蒙特·卡罗方法是概率论和统计理论指导下的一种重要的数值计算算法，是指利用随机数解决计算问题。在建模的优化过程中，在计算全局优化问题时，通常使用该方法来给出较好的初始解。因此，该方法通常作为求解优化过程中的一种辅助技术；在蒙特·卡罗方法的基础上计算了一个非常合适的初始解，并引入了一个新的压缩系数到LSTM的输入权重中，其中n是输入矩阵的列数，h是LSTM隐含层参数值的4倍,矩阵M由4个相同大小的矩阵M₁,M₂,M₃,M₄组成，引入蒙特·卡罗方法，公式(17)～(21)更新后的如下

在LSTM中引入LASSO作为惩罚来实现输入变量的选择，添加一个收缩算子δ＝[δ₁,δ₂,…,δ_n]^T在输入x_t，公式(22)～(26)更新如下:

基于注意力机制与LASSO的LSTM软测量算法公式如下:

其中是一个非线性二次极小化问题，用基于蒙特卡罗方法的有效集法优化算法求解最优解，将δ替换为得到新的LSTM模型。

在基于注意力机制与LASSO的LSTM软测量算法中，参数λ决定了输入权值δ的收缩程度，其对模型性能影响较大；使用枚举方法从向量Λ中选择最优的λ，其中向量中的元素在给定的[0,λ_ub]范围内均匀分布，λ_ub是一个足够大的值，用于将所有输入变量的系数收缩为零。

基于时间序列过程的特点，采用“滑窗法”交叉检验法来确定最优λ，执行一个新的模式来分割数据集，测试数据集Z_test＝Z_k+1，它们沿着合适的子数据集同步移动，移动步长为1个窗口，测试数据集之前的剩余子数据集Z_train＝{Z₁,Z₂,…,Z_k]作为训练集对软测量模型进行训练。利用上述方法计算每个λ模型的平均均方根误差，并选择均方根误差最小的最佳λ作为LASSO-LSTM的超参数。

通过上述描述，可以看出本方案(1)为了适应脱硝系统高度非线性、动态性、时序性、强关联性、多变量等严重的问题，将用于处理时间序列的长短期记忆网络(long short-term memory,LSTM)网络引入作为建模的基础模型，LSTM不仅可以解决传统循环神经网络无法处理长距离的依赖问题，还可以很有效的解决简单循环神经网络的梯度爆炸或消失问题。

(2)针对集散控制系统提供的脱硫装置的45个可测输入变量，如表1所示。集散控制系统虽然为建模提供了海量的数据，由于输入变量中存在大量的冗余变量，增加了模型的计算量的同时降低了模型的预测精度。套索(least absolute shrinkage andselection operator,LASSO)算法的引入其优势主要表现在：1)使模型解释性更强，将冗余变量删除；2)减小问题的规模，使算法效率更高，能够处理高维数据；3)克服过度拟合；4)对输入变量的权重进行精确压缩；5)提高模型的预测精度。

(3)LASSO算法在求解最优输入变量时，在算法初次求解时极易陷入局部最优值。通过引入蒙特·卡罗方法(Monte Carlo method，MCM)为LASSO算法提供一个辅助初始解。

(4)为了适应脱销工业现场的复杂多变性，将注意力机制引入作为一个自适应算子，为LAASO算法的惩罚项提供一个辅助系数，从而提高算法的效率和自适应性。

(5)在求解LASSO算法的收缩参数时，为了提高算法的可靠稳定性，将“滑窗法”交叉检验引入。

(6)基于注意力机制与LASSO的LSTM算法，相比于传统的神经网络建模算法，该算法能捕捉到更多关于时序的关键信息，对输入变量压缩效果更好，预测精度更高，稳定性更好。

附图说明

图1为时间—空间注意力机制结构框图。

图2为LSTM物理结构图。

图3为“滑窗法”交叉检验法原理图。

图4为基于注意力机制与LASSO的LSTM算法整体框架图。

图5为火电厂脱硝装置的软测量算法流程图。

图6为烟气脱硝工艺流程。

图7为本发明动态软测量建模方法对火电厂烟气中NOx浓度排放预测曲线及预测误差。

具体实施方式

下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

通过附图可以看出，本发明的面向火电厂脱硝装置的NOx排放浓度软测量方法，基于注意力机制与LASSO的LSTM算法整体框架图如图4所示，包括如下步骤:

步骤1、收集火电厂脱销系统的历史数据，对数据进行预处理，为LSTM模型的训练做准备；

步骤2、通过历史数据训练LSTM模型，基于LSTM模型设计注意力机制自适应算子，在此基础上引入LASSSO算法执行输入变量选择；引入蒙特·卡罗方法被引入作为LASSO算法求解的辅助算法；

步骤3、通过“滑窗法”交叉检验法求解LASSO收缩参数，从而得到一个调整后的软测量模型；

步骤4、将测量模型应用火电厂脱销系统的工控机中，获取脱销系统在线运行状态下的实时数据，在线预测脱销系统的NOx排放浓度。

通过以上步骤，所开发的软测量算法可获得最终有效预测模型，基于注意力机制与LASSO的LSTM软测量算法的火电厂脱硝流程图如图5所示。

训练LSTM模型，LSTM结构由一个记忆细胞和三个门组成。在t时刻，细胞状态c_t负责维持输入序列的时间依赖性，遗忘门f_t决定c_t-1对当前c_t的影响程度，输入门i_t决定t时刻序列输入值x_t对c_t的影响程度，输出门o_t是用来控制c_t对t时刻LSTM的输出h_t的影响程度，给定输入序列X＝(x₁,x₂,…,x_T)，LSTM计算公式如下所示:

f_t＝σ_g(W_f[h_t-1；x_t]+b_f) (1)

i_t＝σ_g(W_i[h_t-1；x_t]+b_i) (2)

o_t＝σ_g(W_o[h_t-1；x_t]+b_o) (3)

c_t＝f_t⊙c_t-1+i_t⊙σ_c(W_c[h_t-1；x_t]+b_c) (4)

h_t＝o_t⊙σ_c(c_t) (5)

式中W_f,W_i,W_o,W_c∈R^m×(m+n)，b_f,b_i,b_o,b_c∈R^m是需要学习的参数，m是LSTM隐藏层神经元个数，[h_t-1；x_t]∈R^m+n是前一个LSTM单元的隐藏状态h_t-1与当前输入x_t的连接，⊙为向量的点乘运算，σ_g和σ_c分别表示sigmod和tanh激活函数。

设计基于LSTM模型注意力机制自适应算子:

(1)空间注意力机制，注意机制可以动态学习输入变量之间的空间相关性，用于输出变量的预测，用于表示输入变量之间的影响，其注意力权重的总和为1，该机制不会忽略任何输入变量的影响，也不允许相关性低的输入变量干扰目标变量的预测结果，具体来说，给定第k个输入变量其注意力权重可通过如下方式学习：

其中v_e,b_e∈R^T,W_e∈R^T×2m,U_e∈R^T×T是需要学习的参数，m是空间注意力机制的隐藏层神经元个数，σ_z是softmax激活函数，h_t-1∈R^m,c_t-1∈R^m分别是在空间注意力机制下LSTM的前一个单元的隐藏状态和细胞状态。通过求解得到每个输入变量在t时刻的注意力权重，空间注意力机制对应的输入变量可以表示为：

(2)时间注意力机制，LSTM单元通过细胞机制存储时间信息，通过门机制控制时间信息的增减，保持长期依赖，通过门机制的时间信息导致LSTM单元在每个时间窗口T内改变细胞状态，使用注意力机制来学习这些隐藏状态在每个时间窗口中的影响，由于LSTM单元存储时间信息，而注意力机制被用来衡量这些不同细胞状态对目标变量预测的重要性，隐藏状态h_j在t时刻的注意权值可由下式得知:

其中v_d,b_d∈R^m,W_d∈R^m×2p,U_d∈R^m×m是要学习的参数，p为时间注意中的隐藏状态数，和分别是前一个隐藏LSTM单元在时间注意中的隐藏状态和细胞状态，每个时间窗口内的LSTM单元的单元状态进一步表示为：

空间注意力机制在一个时间窗内的时间关系表示为:

(3)时间—空间注意力机制，空间相关性是通过空间注意力机制为原始属性分配注意权重来表示的，时间注意机制通过空间注意中的隐藏状态分配注意力权重来表示时间关系，通过同时学习空间相关性和时间相关性来学习联合时空关系，即时间空间联合注意，其结构图如图1所示，通过同时学习空间相关性和时间相关性来学习联合时空关系，结合加权属性和隐藏层状态h_j∈R^m×T,空间相关性和时间相关性在时间t时刻的关系：

其中v_d,b_d∈R^m∈R^m+n,W_d∈R^(m+n)×2q,U_d∈R^(m+m)×(m+n)是要学习的参数，q为时间注意力机制中的隐藏状态数，和分别为注意模块中前一个隐藏LSTM单元的隐藏状态和细胞状态，为连接向量，同时表示联合时空关系；

每个时间窗口内的LSTM单元的细胞状态进一步表示为:

时间窗口内的时空关系可以表示为:

将时间—空间注意力机制引入LSTM，公式(1)～(5)更新如下：

引入蒙特·卡罗方法作为LASSO辅助算法：在蒙特·卡罗方法的基础上计算了一个非常合适的初始解，并引入了一个新的压缩系数到LSTM的输入权重中，其中n是输入矩阵的列数，h是LSTM隐含层参数值的4倍,矩阵M由4个相同大小的矩阵M₁,M₂,M₃,M₄组成，引入蒙特·卡罗方法，公式(17)～(21)更新后的如下

设计基于注意力机制与LASSO的LSTM算法，本软测量方法在LSTM中引入LASSO作为惩罚来实现输入变量的选择。图2给出了LSTM的物理结构和LASSO的变量选择原理。添加一个收缩算子δ＝[δ₁,δ₂,…,δ_n]^T在输入x_t，公式(22)～(26)更新如下:

基于注意力机制与LASSO的LSTM软测量算法公式如下:

其中是一个非线性二次极小化问题，用基于蒙特卡罗方法的有效集法优化算法求解最优解，将δ替换为得到新的LSTM模型。

在基于注意力机制与LASSO的LSTM软测量算法中，参数λ决定了输入权值δ的收缩程度，其对模型性能影响较大；使用枚举方法从向量Λ中选择最优的λ，其中向量中的元素在给定的[0,λ_ub]范围内均匀分布。λ_ub是一个足够大的值，用于将所有输入变量的系数收缩为零。

交叉验证是一种常用的性能评估技术，用于调整鲁棒建模的超参数。考虑到时间序列过程的特点，采用“滑窗法”交叉检验法来确定最优λ。该方法执行一个新的模式来分割数据集，测试数据集Z_test＝Z_k+1，它们沿着合适的子数据集同步移动，移动步长为1个窗口。测试数据集之前的剩余子数据集Z_train＝{Z₁,Z₂,…,Z_k]作为训练集对软测量模型进行训练。利用上述方法计算每个λ模型的平均均方根误差，并选择均方根误差最小的最佳λ作为LASSO-LSTM的超参数，该方法的原理如图3所示。

本发明开发的基本思想是对脱硝装置中的关键变量NOx排放浓度进行准确预测，通过对系统数据进行预处理，对45个可测输入变量进行精确筛选如表1所示，利用所选择的变量建模对NOx排放浓度进行预测。该过程对辅助变量的选择是基于注意力机制与LASSO的LSTM变量选择方法，其中引入了蒙特·卡罗方法作为LASSO算法求解的辅助算法，为了提高算法的有准确性和稳定性，通过“滑窗法”交叉检验法求解LASSO收缩参数，最终得到有效的软测量模型。通过电厂集散控制系统与数据库相连，获取脱硝系统在线运行状态下的实时数据，将最终得到的软测量模型下载到工控机中在线预测脱硝系统的NOx排放浓度。利用该算法建模和软测量仪表的实时在线校正来保证NOx排放浓度值的预测精度，同时该软测量模型为系统的优化和控制提供有效技术支持，该软测量算法的执行整体过程如图5所示。本发明提出的该软测量系统，具有响应迅速、投资低、维护保养简单等优点。

表1火电厂烟气NOx浓度排放软测量建模的候选输入变量

辅助变量的选择要通过对脱硝系统的机理分析以及工艺流程来初步确定影响主导变量的相关辅助变量，包括变量类型、变量数目和监测点的选择。由于脱硝系统过程特性的原因，这些变量之间相互作用，互有影响，彼此耦合。此外，在脱硝系统中还要考虑经济性、维护的难易程度等。实践证明，基于注意力机制与LASSO的LSTM的软测量方法可以选择出最佳的辅助变量，有较高的预测精度，其预测结果如图7和表2所示。

表2不同算法的软测量建模方法的性能对比表

尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种面向火电厂脱硝装置的NOx排放浓度软测量方法，其特征在于包括如下步骤:

步骤1、收集火电厂脱销系统的历史数据，对数据进行预处理，为LSTM模型的训练做准备；

步骤2、通过历史数据训练LSTM模型，基于LSTM模型设计注意力机制自适应算子，在此基础上引入LASSO算法执行输入变量选择；蒙特·卡罗方法被引入作为LASSO算法求解的辅助算法；

步骤3、通过“滑窗法”交叉检验法求解LASSO收缩参数，从而得到一个调整后的软测量模型；

步骤4、将测量模型应用火电厂脱销系统的工控机中，获取脱销系统在线运行状态下的实时数据，在线预测脱销系统的NOx排放浓度；

步骤2中，LSTM结构由一个记忆细胞和三个门组成，在t时刻，细胞状态c_t负责维持输入序列的时间依赖性，遗忘门f_t决定c_t-1对当前c_t的影响程度，输入门i_t决定t时刻序列输入值x_t对c_t的影响程度，输出门o_t是用来控制c_t对t时刻LSTM的输出h_t的影响程度，给定输入序列X＝(x₁,x₂,…,x_T)，LSTM计算公式如下所示:

f_t＝σ_g(W_f[h_t-1；x_t]+b_f) (1)

i_t＝σ_g(W_i[h_t-1；x_t]+b_i) (2)

o_t＝σ_g(W_o[h_t-1；x_t]+b_o) (3)

c_t＝f_t⊙c_t-1+i_t⊙σ_c(W_c[h_t-1；x_t]+b_c) (4)

h_t＝o_t⊙σ_c(c_t) (5)

式中W_f,W_i,W_o,W_c∈R^m×(m+n)，b_f,b_i,b_o,b_c∈R^m是需要学习的参数，m是LSTM隐藏层神经元个数，[h_t-1；x_t]∈R^m+n是前一个LSTM单元的隐藏状态h_t-1与当前输入x_t的连接，⊙为向量的点乘运算，σ_g和σ_c分别表示sigmod和tanh激活函数；

设计基于LSTM模型注意力机制自适应算子:

空间注意力机制，注意机制动态学习输入变量之间的空间相关性，用于输出变量的预测，用于表示输入变量之间的影响，其注意力权重的总和为1，该机制不会忽略任何输入变量的影响，也不允许相关性低的输入变量干扰目标变量的预测结果，给定第k个输入变量其注意力权重通过如下方式学习：

其中v_e,b_e∈R^T,W_e∈R^T×2m,U_e∈R^T×T是需要学习的参数，m是空间注意力机制的隐藏层神经元个数，σ_z是softmax激活函数，h_t-1∈R^m,c_t-1∈R^m分别是在空间注意力机制下LSTM的前一个单元的隐藏状态和细胞状态；通过求解得到每个输入变量在t时刻的注意力权重，空间注意力机制对应的输入变量表示为：

时间注意力机制，LSTM单元通过细胞机制存储时间信息，通过门机制控制时间信息的增减，保持长期依赖，通过门机制的时间信息导致LSTM单元在每个时间窗口T内改变细胞状态，使用注意力机制来学习这些隐藏状态在每个时间窗口中的影响，由于LSTM单元存储时间信息，而注意力机制被用来衡量这些不同细胞状态对目标变量预测的重要性，隐藏状态h_j在t时刻的注意权值由下式得知:

其中v_d,b_d∈R^m,W_d∈R^m×2p,U_d∈R^m×m是要学习的参数，p为时间注意中的隐藏状态数，和分别是前一个隐藏LSTM单元在时间注意中的隐藏状态和细胞状态，每个时间窗口内的LSTM单元的单元状态进一步表示为：

空间注意力机制在一个时间窗内的时间关系表示为:

时间—空间注意力机制，空间相关性是通过空间注意力机制为原始属性分配注意权重来表示的，时间注意机制通过空间注意中的隐藏状态分配注意力权重来表示时间关系，通过同时学习空间相关性和时间相关性来学习联合时空关系，结合加权属性和隐藏层状态h_j∈R^m×T,空间相关性和时间相关性在时间t时刻的关系：

其中v_d,b_d∈R^m∈R^m＋n,W_d∈R^(m+n)×2q,U_d∈R^{(m＋m)×(m＋n)}是要学习的参数，q为时间注意力机制中的隐藏状态数，和分别为注意模块中前一个隐藏LSTM单元的隐藏状态和细胞状态，为连接向量，同时表示联合时空关系；每个时间窗口内的LSTM单元的细胞状态进一步表示为:

时间窗口内的时空关系表示为:

将时间—空间注意力机制引入LSTM，公式(1)～(5)更新如下：

引入蒙特·卡罗方法作为LASSO辅助算法：在蒙特·卡罗方法的基础上计算了一个初始解，并引入了一个新的压缩系数到LSTM的输入权重中，其中n是输入矩阵的列数，h是LSTM隐含层参数值的4倍,矩阵M由4个相同大小的矩阵M₁,M₂,M₃,M₄组成，引入蒙特·卡罗方法，公式(17)～(21)更新后的如下

在LSTM中引入LASSO作为惩罚来实现输入变量的选择，添加一个收缩算子δ＝[δ₁,δ₂,…,δ_n]^T在输入x_t，公式(22)～(26)更新如下:

基于注意力机制与LASSO的LSTM软测量算法公式如下:

其中是一个非线性二次极小化问题，用基于蒙特卡罗方法的有效集法优化算法求解最优解，将δ替换为得到新的LSTM模型；

基于时间序列过程的特点，采用“滑窗法”交叉检验法来确定最优λ，执行一个新的模式来分割数据集，测试数据集Z_test＝Z_k+1，它们沿着合适的子数据集同步移动，移动步长为1个窗口，测试数据集之前的剩余子数据集Z_train＝{Z₁,Z₂,…,Z_k]作为训练集对软测量模型进行训练，计算每个λ模型的平均均方根误差，并选择均方根误差最小的最佳λ作为LASSO-LSTM的超参数。