CN114047214B - 一种改进的dbn-morf土壤重金属含量预测方法 - Google Patents

Abstract

本发明公开了一种改进的DBN‑MORF土壤重金属含量预测方法，涉及土壤分析技术领域，通过对Pb、As重叠峰的X射线荧光光谱数据进行特征提取，并根据提取出的重叠峰的特征，对Pb、As元素的含量进行同时预测，从而实现基于重叠峰的土壤重金属含量预测。本发明提出基于DBN‑MORF的预测模型，并用SSA对DBN参数进行优化，实现基于重叠峰光谱数据的重金属含量预测，避免了数据信息的浪费，降低主观因素的影响，优化预测效果，简化操作过程。

Description

一种改进的DBN-MORF土壤重金属含量预测方法

技术领域

本发明涉及土壤组分含量分析技术领域，尤其是一种改进的DBN-MORF土壤重金属含量预测方法。

背景技术

近年来随着土壤重金属污染的加剧，和人们环境意识的逐渐提高，科研人员对快速检测土壤重金属含量方法的研究正在不断深化。目前，X射线荧光分析法(XRF)是广泛应用于土壤重金属污染检测的方法。相比于传统的化学检测重金属含量的方法，XRF法具有低成本、无损，可实现实时检测的特点，逐渐受到人们的关注。为实现基于XRF法的土壤重金属检测，首先可制作一批含有一定含量的特定重金属元素的土壤样本，并对每个样本获取X射线荧光光谱。由于光谱的强度是受重金属含量影响的，通常重金属含量越高，在该重金属所对应的光谱道址区间内，光谱的强度也越大。因此重金属含量的信息会被包含在获得的光谱数据中。

通常，想要通过XRF法对特定物质含量的准确分析，需要对预处理后的光谱数据提取关键信息，并根据这些关键信息，建立预测模型进行含量的预测。

目前，该方面常用的方法是：通过PCA算法或相关系数法对光谱数据降维，再用降维后的数据输入预测模型，进行重金属含量预测。常用的预测方法有偏最小二乘回归(PLSR)，支持向量机(SVR)。

现有方法的原理：对感兴趣区间内的所有XRF光谱做简单的预处理，将预处理后的各个光谱数据点组成的矩阵输入PCA算法中提取主成分，然后将提取出的主成分输入预测算法建立预测模型。PCA算法在提取出各个成分，即特征的同时，会以数值的形式显示出该特征的贡献率，即特征能在多大程度上代表原始光谱数据的信息。通常，会根据需要，选取出能代表80%以上光谱信息的几个特征，或能代表90%，95%以上光谱信息的几个特征。

PLSR算法与SVR算法均为回归预测算法，其中PLSR是一种传统的线性回归算法，SVR是一种常用的机器学习算法。

而如果土壤样本中同时含有As、Pb这两种重金属元素，它们的特征谱峰会发生重叠，通常需要先对重叠的谱峰进行分解，再进行含量的预测，然而这样做较麻烦。

PCA将所有的样本作为一个整体对待，去寻找一个均方误差最小下的最优线性映射投影，而忽略了其他的属性，而它所忽略的投影方向可能刚好包含了重要的信息。这就可能导致所提取的特征用于训练预测模型效果并不好。

相关系数法除了选定的几列作为特征的光谱数据外，其他的光谱数据也包含了大量的信息，而其他的光谱数据完全没有用上，导致了数据信息的浪费，和建模考虑的因素不够周全等问题。对于选择几个特征作为输入，也没有统一的界定，主观因素影响较大。

PLSR为线性回归方法，而XRF光谱数据受多种因素影响，与含量之间可能呈现复杂的非线性关系，这会导致预测效果不够好。

如果土壤中同时含有As、Pb这两种重金属元素，则会出现这两种元素的重叠谱峰。想要预测这两种重金属元素的含量，通常需要先将重叠峰进行分解，操作比较复杂。

发明内容

本发明需要解决的技术问题是提供一种基于DBN-MORF土壤重金属含量预测方法，提出改进的DBN-MORF级联的预测模型，用SSA对DBN参数进行优化，实现基于重叠峰光谱数据的重金属含量预测，避免数据信息的浪费，降低主观因素的影响，优化预测效果，简化操作过程。

为解决上述技术问题，本发明所采用的技术方案是：

一种改进的DBN-MORF土壤重金属含量预测方法，包括基于SSA的参数优化部分和基于DBN-MORF的重金属含量预测部分；

基于SSA的参数优化部分包括：采用SSA对DBN的参数进行全局优化，优化的参数包括：DBN的学习率、DBN各层网络的神经元个数、正向训练次数和反向微调次数；

基于改进的DBN-MORF的重金属含量预测部分包括以下步骤：

S1：土壤样本的获取和预处理：采集并制备土壤样本，随机划分训练样本和测试样本，获取训练样本和测试样本的XRF光谱数据集，对训练样本和测试样本的XRF光谱数据集进行预处理；

S2：通过DBN实现X射线荧光光谱数据的特征提取，使用深度学习算法提取光谱的特征；

S3：将DBN提取的特征取出，并将提取的特征输入多目标预测模型中，在多目标随机森林回归中进行回归；

S4：采用测试样本评价预测模型。

本发明技术方案的进一步改进在于：基于重叠峰光谱数据，通过改进的DBN-MORF的重金属含量预测模型，同时预测As、Pb的重金属含量。

本发明技术方案的进一步改进在于：所述步骤S1中的土壤样本的获取方法包括：采集土壤，去除杂质，研磨风干，过200目筛，向土壤中加入含有一定含量的重金属元素的溶液，并再次烘干土壤，制作出压片样本。

本发明技术方案的进一步改进在于：所述步骤S1中的预处理的方式包括：采用谱聚类法剔除异常样本，采用Savitzky-Golay五点二次去噪法对光谱数据进行平滑去噪，采用线性本底扣除法去掉光谱的背景噪声。

本发明技术方案的进一步改进在于：所述步骤S2中的特征提取步骤为：将训练集样本的光谱数据集输入堆叠的RBM中，逐个训练RBM，并将提取的特征输入DBN顶层的BP进行回归，根据样本的标签与BP回归的结果之间出差值，对DBN内部的连接参数进行反向微调，最终使得训练出的特征能最大程度地反映原光谱信息。

本发明技术方案的进一步改进在于：所述步骤S3中的含量预测步骤为：将训练好的特征从DBN的倒数第二层网络中取出，不直接采用其顶部的BP网络的回归结果，而是将特征输入MORF中，更加准确地同时预测出As、Pb元素的含量。

本发明技术方案的进一步改进在于：采用SSA对DBN的参数进行全局优化，优化的参数包括：DBN的学习率、DBN各层网络的神经元个数、正向训练次数和反向微调次数。

由于采用了上述技术方案，本发明取得的技术进步是：

本发明提出DBN-MORF级联的预测模型，并用SSA对DBN参数进行优化，实现基于重叠峰光谱数据的重金属含量预测，避免了数据信息的浪费，降低主观因素的影响，优化预测效果，简化操作过程。

将DBN引入X射线荧光光谱数据的特征提取，使用深度学习算法，使得光谱的特征提取更加完全。

将提取出的重叠峰的特征，输入多目标预测模型，实现对As、Pb的重金属含量的同时预测。DBN本身也能够根据其提取的特征直接进行预测，但由于其预测效果不好，对其加以改进。将多目标随机森林(MORF)与DBN进行级联，提出DBN-MORF算法，可将DBN提取出的特征输入进MORF中进行回归，得到更好的预测效果，并根据重叠峰同时预测出As和Pb的含量。

采用SSA算法对DBN的参数进行全局调优，这简化了DBN调节参数的复杂度，可直接通过迭代得到DBN参数的最优组合，使模型达到更好的预测效果。

附图说明

图1是本发明原理框图；

具体实施方式

下面结合实施例对本发明做进一步详细说明：

如图1所示，一种改进的DBN-MORF土壤重金属含量预测方法，包括基于SSA的参数优化部分和基于改进的DBN-MORF的重金属含量预测部分；

基于SSA的参数优化部分包括：采用SSA对DBN的参数进行全局优化，优化的参数包括：DBN的学习率、DBN各层网络的神经元个数、正向训练次数和反向微调次数。

首先，该发明提出采用DBN对预处理后的As、Pb重叠峰光谱数据进行特征提取。DBN具有非常强大的特征提取能力，相比于常用的光谱特征提取方法，如PCA，和相关系数法，深度学习算法DBN可以提取出更深层次的特征，使得最终取得较好的预测效果。

其次，需要根据提取出的数据特征对土壤中的重金属含量进行预测。常用的方法为，根据数据特征，直接进行线性回归，或采用支持向量机(SVR)等算法进行回归，也可以直接用DBN实现回归。但以上方法具有一定的局限性，预测效果不是很好，故提出一种基于DBN-MORF的级联预测方法，该方法将DBN提取的特征取出，并将提取的特征输入MORF中进行回归，而不是直接输入其顶层的BP网络进行回归。随机森林本身具有非常强大的预测效果，且擅长处理多维数据，这样的结合，一方面保留了DBN的特征提取能力，同时弥补了DBN在回归方面的欠缺，使得该算法能够实现在特征提取基础上的准确预测。

为了使DBN-MORF的效果达到最优，采用SSA对DBN的参数进行全局优化，主要优化的参数有：DBN的学习率，DBN各层网络的神经元个数，正向训练次数和反向微调次数。由于DBN的参数较多，一个一个进行调参非常复杂，而DBN本身受参数的影响又比较大，为解决这个问题，可以采用SSA对DBN的参数进行全局优化，经过算法的寻优后，最终可得到最优的参数组合，使得模型达到更好的预测效果。

本申请采用SSA算法的改进方案，尽管SSA的优化效果要优于一些常用的群智能优化算法，如粒子群算法，蚁群算法等，但仍有可能陷入局部最优而过早收敛，因此，提出了一种SSA算法的改进方案，将佳点集理论引入了SSA算法，该方法可使得算法的初始种群不仅具有多样性，还可保证种群分布均匀。

佳点集理论是由华罗庚提出的，其描述如下：设在S维的欧几里得空间中有一个单位立方体Vs，并且在Vs中存在一个数量为n的点集，这个点集中的点可以用P_n(k)＝({r₁ ⁽ⁿ⁾×k},{r₂ ⁽ⁿ⁾×k},.,{r_s ⁽ⁿ⁾×k}),k＝1,2,.,n表示，假设P_n(k)的偏移是

并且满足

ε是一个任意正整数，C(r,ε)是一个与r和ε都相关的常量，则r是一个佳点，P_n(k)是佳点集。通常，r＝{2cos(2πk/p),1≤k≤s}，p是满足(p-3)/2≥s的最小素数，然后一个佳点集就被生成出来了。

通常，群智能优化算法的初始种群是随机分布的，该方法的缺陷就是，由于随机分布不均匀，不能完全覆盖搜索空间。利用佳点集初始化的方法可以很好地克服这一缺陷，基于佳点集的初始化种群的分布更加均匀，改进后的算法收敛速度更快，精度更高。

用改进后的SSA算法进行参数优化，迭代的速度更快，优化效果更好。将其应用于对DBN参数的优化，得到DBN的最优参数组合。

基于改进的DBN-MORF的重金属含量预测部分包括以下步骤：

S1：土壤样本的获取和预处理：采集土壤样品并将土壤样本划分为训练样本和测试样本，获取训练样本和测试样本的XRF光谱数据集，对训练样本和测试样本的XRF光谱数据集进行预处理；

土壤样本的获取方法包括：采集土壤，去除杂质，研磨风干，过200目筛，向土壤中加入含有一定含量的重金属元素的溶液，并再次烘干土壤，制作出压片样本；

预处理的方式包括：采用谱聚类法剔除异常样本，采用Savitzky-Golay五点二次去噪法对光谱数据进行平滑去噪，采用线性本底扣除法去掉光谱的背景噪声；

S2：通过DBN实现X射线荧光光谱数据的特征提取，使用深度学习算法提取光谱的特征；特征提取步骤为：将训练集样本的光谱数据集输入堆叠的RBM中，逐个训练RBM，并将提取的特征输入DBN顶层的BP进行回归，根据样本的标签与BP回归的结果之间出差值，对DBN内部的连接参数进行反向微调，最终使得训练出的特征能最大程度地反映原光谱信息；

S3：将DBN提取的特征取出，并将提取的特征输入多目标预测模型中，在多目标随机森林回归中进行回归；含量预测步骤为：将训练好的特征从DBN的倒数第二层网络中取出，不直接采用其顶部的BP网络的回归结果，而是将特征输入MORF中，更加准确地同时预测出As、Pb元素的含量；在此部分同时预测As和Pb的重金属含量。

S4：采用测试样本评价预测模型，评价预测模型的步骤为：将测试样本输入训练好的DBN-MORF模型中进行预测，并根据预测结果与标签值之差，计算出R²、MAE、MSE这几个评价指标，R²越大，MAE、MSE越小时，预测模型越准确。

文中名词：

XRF(X-ray fluorescence analysis):X射线荧光分析。利用初级X射线光子或其他微观离子激发待测物质中的原子，使之产生荧光(次级X射线)而进行物质成分分析和化学态研究的方法。

DBN(Deep Believe Betwork):深度置信网络。一种深度神经网络，由多个玻尔兹曼机(RBMs)堆叠而成，可进行特征提取并根据特征进行预测。

RBM(Restricted Boltzmann Machine):受限玻尔兹曼机。DBN的基本组成单位。

RFR(Random Forest Regression):随机森林回归。随机森林是一种机器学习算法，擅长处理多维数据，具有较好的预测效果。

SSA(Sparrow Search Algorithm)：麻雀搜索算法。一种新型群智能优化算法，来源于麻雀觅食和反捕食行为的启发。该算法可用于对各类参数的优化，以及路径规划等全局优化问题。

MSE(Mean Squared Error):均方误差。指预测值与真值之差平方的期望值，是衡量预测准确度的常用指标之一。

MAE(Mean absolute error):平均绝对误差。指各预测值与真值的绝对偏差绝对值的平均值。是衡量预测准确度的常用指标之一。

R2:决定系数。反映因变量的全部变异能通过回归关系被自变量解释的比例。是衡量预测准确度的常用指标之一。

PCA(Principal Component Anallysis):主成分分析。一种降维方法，把多维数据转化为几维综合的数据。

MORF(Multi-objective Random Forest):多目标随机森林，可用于对多个y值进行回归，也可对多个目标进行分类。

Claims (6)

1.一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：包括基于SSA的参数优化部分和基于改进的DBN-MORF的重金属含量预测部分；

基于SSA的参数优化部分包括：采用具有佳点集策略的SSA对DBN的参数进行全局优化，优化的参数包括：DBN的学习率、DBN各层网络的神经元个数、正向训练次数和反向微调次数；

基于改进的DBN-MORF的重金属含量预测部分包括以下步骤：

S1：土壤样本的获取和预处理：采集并制备土壤样本，随机划分训练样本和测试样本，获取训练样本和测试样本的XRF光谱数据集，对训练样本和测试样本的XRF光谱数据集进行预处理；

S2：通过DBN实现X射线荧光光谱数据的特征提取，使用深度学习算法提取光谱的特征；

所述步骤S2中的特征提取步骤为：将训练集样本的光谱数据集输入堆叠的RBM中，逐个训练RBM，并将提取的特征输入DBN顶层的BP进行回归，根据样本的标签与BP回归的结果之间出差值，对DBN内部的连接参数进行反向微调，最终使得训练出的特征能最大程度地反映原光谱信息；

S3：将DBN提取的特征取出，并将提取的特征输入多目标预测模型中，在多目标随机森林回归中进行回归；

S4：采用测试样本评价预测模型。

2.根据权利要求1所述的一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：基于重叠峰光谱数据，通过改进的DBN-MORF的重金属含量预测模型同时预测As、Pb的重金属含量。

3.根据权利要求1所述的一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：所述步骤S1中的土壤样本的获取方法包括：采集土壤，去除杂质，研磨风干，过200目筛，向土壤中加入含有一定含量的重金属元素的溶液，并再次烘干土壤，制作出压片样本。

4.根据权利要求1所述的一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：所述步骤S1中的预处理的方式包括：采用谱聚类法剔除异常样本，采用Savitzky-Golay五点二次去噪法对光谱数据进行平滑去噪，采用线性本底扣除法去掉光谱的背景噪声。

5.根据权利要求1所述的一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：所述步骤S3中的含量预测步骤为：将训练好的特征从DBN的倒数第二层网络中取出，不直接采用其顶部的BP网络的回归结果，而是将特征输入MORF中，更加准确地同时预测出As、Pb元素的含量。

6.根据权利要求1所述的一种改进的DBN-MORF土壤重金属含量预测方法，其特征在于：所述步骤S4中的评价预测模型的步骤为：将测试样本输入训练好的DBN-MORF模型中进行预测，并根据预测结果与标签值之差，计算出R2、MAE、MSE这几个评价指标，R²越大，MAE、MSE越小时，预测模型越准确。

Images