CN107437112B - 一种基于改进多尺度核函数的混合rvm模型预测方法 - Google Patents

Abstract

本发明公开了一种基于改进多尺度核函数的混合RVM模型预测方法，该方法包括以下步骤：S1、采集训练样本并利用相关向量作为信号特征对信号进行分段；S2、构建偏移小波核函数，以核排列的核度量标准，对偏移小波的偏移参数进行了筛选，得到偏移参数；S3、将步骤S1中全部训练样本与对应偏移参数进行训练来构建多个RVM模型；S4、用假设检验的方法得到的预测方差作为标准，将这些不同的RVM模型构建为混合RVM模型；S5、评估混合RVM预测模型的预测精度。本发明的混合RVM模型相较于单一模型来说，具有更高的预测精度，所以，利用偏移小波核函数构建的混合RVM模型可以提高预测的准确性，并针对不同的数据特征以自适应的调整。

Description

一种基于改进多尺度核函数的混合RVM模型预测方法

技术领域

本发明涉及机器学习领域，特别涉及一种基于改进多尺度核函数的混合RVM模型预测方法。

背景技术

2001年，Tipping首次提出了相关向量机(RVM)的基本理论并对其应用前景进行了总结，标志了相关向量机理论体系的初步完成，近几年来，RVM算法主要集中于与其它算法的结合产生新的算法以及该算法的实际应用。核函数决定样本在特征空间中的分布和几何关系，是核方法实现非线性分析的基础，其中，核排列(Kernel Target Alignment,KTA)作为一种高效的不依赖于具体机器学习算法的核度量标准，它已被广泛的应用于各种机器学习算法中。由于RVM的每个预测点都服从正态分布，Ruan提出的基于核密度估计的预测算法，可以通过假设检验的方法来验证预测方差可以作为一个标准来检验预测的准确性，后来，Robert Durichen等人使用方差作为构建多预测器的标准，其结果表明，多预测器的预测性能优于单一预测器的预测性能。

由于RVM克服Mercer条件的特点，Galvao提出的偏移小波作为RVM的核函数，为偏移小波核的构建提供了可能，而偏移小波更大自由度的特点使得RVM可以通过调整某一特征空间来优化其模型。在此基础上，本发明提出一种可能的优化方法。首先，针对数据的特征，将数据分为多个部分，然后，使用计算KTA的方法来筛选每个部分对应的偏移小波核的偏移参数，接着以所有部分的偏移参数来构建多个RVM模型的核函数，最后，以方差作为构建混合RVM模型的标准，并评估混合RVM预测模型的预测精度。

发明内容

本发明解决的技术问题在于针对未来数据或无法对数据的变化规律进行有效、精确的预测，提出一种利用偏移小波核函数构建的混合RVM模型，可以提高预测的准确性，并针对不同的数据特征以自适应的调整。

本发明解决其技术问题所采用的技术方案是：

一种基于改进多尺度核函数的混合RVM模型预测方法，包括以下步骤：

S1、采集训练样本并利用相关向量作为信号特征对信号进行分段；所述训练样本为通过采集传感器在其部署的环境下进行监测，获得的响应信号；

S2、构建偏移小波核函数，以核排列的核度量标准，对偏移小波的偏移参数进行了筛选，得到各段对应的偏移小波核的偏移参数；

S3、将步骤S1中全部训练样本与对应偏移参数进行训练来构建多个RVM模型；

S4、对步骤S3得到的多个RVM模型利用假设检验的方法得到的方差作为标准来构建混合RVM模型；

S5、评估混合RVM预测模型的预测精度。

进一步地，本发明的步骤S1的具体方法为：

S11、首先采集训练样本，通过采集层的传感器在其部署的环境下进行监测，获得响应，对于其产生的响应信号，使用采集器的输入通道进行输入，检测，并通过处理器对输入的信号元进行控制，处理，得到处理后的信号经过输出通道进行显示，进而获得显示的情况即可获得所采集的数据。

根据相关向量机的基本原理，将采集到的训练样本通过样本数据训练学习,从中学习出输入x和目标输出t之间的依赖关系,监督学习模型可表示为式(1)

其中:x表示输入数据,t表示目标输出数据,{w_n}表示权重,k(x，x_n)表示核函数。

S12、初始化训练集,对训练数据集中的点进行训练得到相关向量；

S13、利用得到的相关向量对N个点进行分段{p₁,p₂…p_n}。

进一步地，本发明的步骤S2的具体方法为：

S21、根据偏移小波所需要满足的条件，选取偏移小波，即：

其中，u(t)为偏移小波，τ为持续的实例变量；

再根据偏移小波构建得到偏移小波核，即：

其中

S22、在确定了偏移小波核的形式后，再对相应偏移参数进行筛选，计算KTA得出核矩阵与理想目标矩阵的对齐程度，即：

其中，<·,·>_F为Frobenius内积，[MK]_i,j＝k(x_i,x_j)为核函数k，[Y]_i,j＝y_i·y_j为目标矩阵；

S23、分别计算每个核矩阵的KTA，筛选出其中最大的KTA以及对应的偏移参数c₁,c₂…c_n，并利用所得到的偏移参数构建对应的偏移小波核函数k₁,k₂…k_n；

进一步地，本发明的步骤S3的具体方法为：

S3、利用全部的训练样本以及步骤S2所筛选出的不同偏移参数进行训练，得到不同的RVM模型M₁,M₂…M_n；

进一步地，本发明的步骤S4的具体方法为：

S41、对于每一个样本k，设有检验假设H₀与备择假设H₁：

H₀：预测值较为正确，逼近真实值y_k；H₁：预测值十分不准确，并且与真实值y_k相差甚远；

计算H₀：

计算H₁：

(y_k|x_k)～U(δ_L,δ_U)

其中，δ_L和δ_U是所有样本点的最大与最小的边界值，检验假设H₀正确时，y_k的概率分布p(y_k|x_k)应该满足高斯分布当预测信息不足时，采用均匀分布。

S42、计算假设检验的似然比校验：

其中，似然比校验的决策规则：

通过计算假设检验的似然比校验，其中方差σ_k越小，越接近检验假设H₀；

进一步地，本发明的步骤S5的具体方法为：

S51、在评估预测精度的过程中，计算测试数据集中每一点对应的预测方差，选择预测方差σ_k最小的模型得到的预测结果作为混合RVM模型的预测模型。

S52、计算混合RVM模型包含的两个预测指标，即平均绝对误差(MAE)与平均相对误差(MRE)；

S53、计算测试数据集预测结果的平均绝对误差(MAE)与平均相对误差(MRE)，即：

S54、再将混合RVM模型的预测指标MAE、MRE和常规RVM模型的预测指标MAE、MRE分别进行对比。

本发明具有的有益效果是：

(1)本发明即一种基于改进多尺度核函数的混合RVM模型预测方法，在传感器的响应下，采集器采集到的信号数据，并通过以相关向量机为基础，利用相关向量作为信号特征来对信号进行分段，可以使数据中的原型样本按照特征进行分段，大大提高信号的多样性。

(2)与常规的RVM模型预测精度相比，本发明对偏移小波的偏移参数进行了筛选，然后利用这些数据特征构建不同的偏移小波核，以训练不同的RVM模型，最后，以预测方差作为标准，将这些不同的RVM模型构建为混合RVM模型对数据进行预测，因而利用偏移小波核函数构建的混合RVM模型提高了预测精度和预测准确性。

附图说明

图1是本发明实施例的偏移参数筛选的流程图；

图2是本发明实施例的训练数据分段的结构示意图；

图3是本发明实施例的方法流程示意图；

图4是本发明实施例中KTA和偏移小波参数c之间的关系示意图；

图5是本发明实施例中MAE和MRE在不同分段策略下的关系示意图；

图6是本发明实施例中混合RVM模型的MAE与常规RVM模型的MAE分别与训练集的长度关系示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步描述。

如图3所示，一种基于改进多尺度核函数的混合RVM模型预测方法，包括以下步骤：

S1、采集训练样本并利用相关向量作为信号特征对信号进行分段；所述训练样本为通过采集传感器在其部署的环境下进行监测，获得的响应信号；

S11、首先采集训练样本，通过采集层的传感器在其部署的环境下进行监测，获得响应，对于其产生的响应信号，使用采集器的输入通道进行输入，检测，并通过处理器对输入的信号元进行控制，处理，得到处理后的信号经过输出通道进行显示，进而获得显示的情况即可获得所采集的数据。

根据相关向量机的基本原理，将采集到的训练样本通过样本数据,从中学习出输入x和目标输出t之间的依赖关系,监督学习模型可表示为式(1)

其中:x表示输入数据,t表示目标输出数据,{w_n}表示权重,k(x，x_n)表示核函数。

S12、初始化训练集,对训练数据集中的点进行训练得到相关向量；

S13、利用得到的相关向量对N个点进行分段{p₁,p₂…p_n}；如图2；

S2、筛选每个部分对应的偏移小波核的偏移参数；如图1；

S21、根据偏移小波u所需要满足的条件：

1)_u∈L ²(_R)

2)

3)u(τ)能迅速减小至0(τ→∞)

4)

选取偏移小波，即：

其中u(t)为偏移小波，τ为持续的实例变量；

再根据偏移小波构建得到偏移小波核，即：

其中

计算KTA：

其中，<·,·>_F为Frobenius内积，[MK]_i,j＝k(x_i,x_j)为核函数k，[Y]_i,j＝y_i·y_j为目标矩阵；

S22、由训练数据中的输出数据可得到理想目标矩阵[Y]_i,j；

S23、将输入数据带入由不同偏移参数构建的偏移小波核函数可得到不同的核矩阵；

S24、由不同的核矩阵与目标矩阵由(1)式分别计算KTA的值，寻找其中最大的KTA以及对应的偏移参数c₁,c₂…c_n，并利用所得到的偏移参数构建对应的偏移小波核函数k₁,k₂…k_n；

S25、KTA与偏移小波参数c的关系本发明通过选取了UCI标准数据集中的空气质量标准数据进行分析，主要选取CO的数据，使用前240小时的数据作为训练数据集，以CO真实浓度作为y，以传感器响应数据PT08.S1(CO)作为x，图4显示了KTA与偏移参数c的关系，图中可以看出，KTA的值在偏移参数c的值为-2时达到最大；

S3、利用全部的训练样本以及步骤S2所筛选出的不同偏移参数进行训练，得到不同的RVM模型M₁,M₂…M_n；

S4、利用假设检验的方法得到的方差作为标准来构建混合RVM模型；

S41、对于每一个样本k，设有检验假设H₀与备择假设H₁：

H₀：预测值较为正确，逼近真实值y_k；H₁：预测值十分不准确，并且与真实值y_k相差甚远；

计算H₀：

计算H₁：

(y_k|x_k)～U(δ_L,δ_U)

其中，δ_L和δ_U是所有样本点的最大与最小的边界值，检验假设H₀正确时，y_k的概率分布p(y_k|x_k)应该满足高斯分布当预测信息不足时，采用均匀分布。

S42、计算假设检验的似然比校验：

其中，似然比校验的决策规则：

通过计算假设检验的似然比校验，其中方差σ_k越小，越接近检验假设H₀；

S5、评估混合RVM预测模型的预测精度；

S51、在评估预测精度的过程中，计算测试数据集中每一点对应的预测方差，选择预测方差σ_k最小的模型得到的预测结果作为混合RVM模型的预测模型。

S52、计算混合RVM模型包含的两个预测指标，即平均绝对误差(MAE)与平均相对误差(MRE)；

S53、计算测试数据集预测结果的平均绝对误差(MAE)与平均相对误差(MRE)，即：

S54、再将混合RVM模型的预测指标MAE、MRE和常规RVM模型的预测指标MAE、MRE分别进行对比。

如图5所示，使用相关向量作为信号特征对采集器采集的信号进行分段的策略，与不考虑信号特征的平分信号的分段方法进行对比。由图可知：使用相关向量作为信号特征对信号进行分段的MAE和MRE比不考虑信号特征的平分信号的分段的MAE和MRE分别要更小，使用相关向量作为信号特征对信号进行分段策略准确性要更好。

如图6所示，训练数据集使用空气质量UCI标准数据集的CO浓度数据进行训练，其长度为120h～1200h，步长为120h，测试集使用1200h～1250h的CO数据；由图可知：相同的训练数据集下，混合RVM模型的预测指标MAE和MRE要普遍优于常规RVM模型的预测指标，当训练数据集的长度增加时，使用混合RVM模型的预测准确率要更高。

本发明算法具体实施应用如下：

由于桥梁的损伤在大多数情况下是随着外界环境的作用逐渐变化的，因此，需要建立桥梁健康监测传感系统对桥梁的日常状态进行监测，若发现问题可以及时修补。本发明算法应用于桥梁健康安全监测物联网平台的温度传感系统中，通过对温度传感数据地预测，实现了对未来数据变化的预测预警功能，并且结合了本发明的基于样本特性的混合RVM算法，大大提高了预测精度。

一种基于光纤光栅的桥梁健康混合RVM模型预测方法，包括以下步骤：

S1、通过FBG温度传感器采集的桥梁温度数据作为训练样本并利用相关向量作为信号特征对信号进行分段；所述训练样本为通过温度传感器在其部署的环境下进行监测，获得的响应信号；

S2、构建偏移小波核函数，以核排列的核度量标准，对偏移小波的偏移参数进行了筛选，得到各段对应的偏移小波核的偏移参数；

S3、将步骤S1中全部训练样本与对应偏移参数进行训练来构建多个RVM模型；

S4、对步骤S3得到的多个RVM模型利用假设检验的方法得到的方差作为标准来构建混合RVM模型；

S5、评估混合RVM预测模型的预测精度。

本实施例步骤S1的具体方法为：

S11、首先采集训练样本，通过采集层的温度传感器在其部署的桥梁进行监测，获得桥梁温度响应，对于其产生的响应信号，使用温度传感器的输入通道进行输入，检测，并通过处理器对输入的信号元进行控制，处理，得到处理后的信号经过输出通道进行显示，进而获得显示的情况即可获得温度传感器所采集的温度数据。

根据相关向量机的基本原理，将通过温度传感器采集到的训练样本通过样本数据训练学习,从中学习出输入的信号x和目标输出的信号t之间的依赖关系,监督学习模型可表示为式(1)

其中:x表示温度传感器采集的数据,t表示目标输出数据,{w_n}表示权重,k(x，x_n)表示核函数。

S12、初始化训练集,对训练数据集中的点进行训练得到相关向量；

S13、利用得到的相关向量对N个点进行分段{p₁,p₂…p_n}。

本实施例步骤S2的具体方法为：

S21、根据偏移小波所需要满足的条件，选取偏移小波，即：

其中，u(t)为偏移小波，τ为持续的实例变量；

再根据偏移小波构建得到偏移小波核，即：

其中

S22、在确定了偏移小波核的形式后，再对相应偏移参数进行筛选，计算KTA得出核矩阵与理想目标矩阵的对齐程度，即：

其中，<·,·>_F为Frobenius内积，[MK]_i,_j＝k(x_i,x_j)为核函数k，[Y]_i,j＝yi·y_j为目标矩阵；

S23、分别计算每个核矩阵的KTA，筛选出其中最大的KTA以及对应的偏移参数c₁,c₂…c_n，并利用所得到的偏移参数构建对应的偏移小波核函数k₁,k₂…k_n；

本实施例步骤S3的具体方法为：

S3、利用全部的训练样本以及步骤S2所筛选出的不同偏移参数进行训练，得到不同的RVM模型M₁,M₂…M_n；

本实施例步骤S4的具体方法为：

S41、对于每一个样本k，设有检验假设H₀与备择假设H₁：

H₀：预测值较为正确，逼近真实值y_k；H₁：预测值十分不准确，并且与真实值yk相差甚远；

计算H₀：

计算H₁：

(y_k|x_k)～U(δ_L,δ_U)

其中，δ_L和δ_U是所有样本点的最大与最小的边界值，检验假设H₀正确时，y_k的概率分布p(y_k|x_k)应该满足高斯分布当预测信息不足时，采用均匀分布。

S42、计算假设检验的似然比校验：

其中，似然比校验的决策规则：

通过计算假设检验的似然比校验，其中方差σ_k越小，越接近检验假设H₀；

本实施例步骤S5的具体方法为：

S51、在评估预测精度的过程中，计算测试数据集中每一点对应的预测方差，选择预测方差σ_k最小的模型得到的预测结果作为混合RVM模型的预测模型。

S52、计算混合RVM模型包含的两个预测指标，即平均绝对误差(MAE)与平均相对误差(MRE)；

S53、计算测试数据集预测结果的平均绝对误差(MAE)与平均相对误差(MRE)，即：

S54、再将混合RVM模型的预测指标MAE、MRE和常规RVM模型的预测指标MAE、MRE分别进行对比。

下列的实验数据来自某长江大桥安全监测系统中FBG温度传感器所采集的温度传感数据，截取2017年1月3日零点到1月7日零点的120个小时的大桥上布置在某一墩结构上的传感器的数据，共包含1440个应用实例。训练数据集选用前四天中，以24小时为步长的四组训练数据集，选用每组训练数据集后的24小时的数据分别作为对应的测试数据集。其中，样本输入x_i为温度传感器的采集数据，样本输出y_i为预测的光纤光栅温度传感器采集的温度值，核函数分别使用RBF高斯核函数和偏移小波核函数进行对比。

将上述具体样本和参数代入本发明方法中可得一种光纤光栅桥梁健康的混合RVM模型预测方法。

为了更好的体现算法的优势，本实验对比了不同核函数下的传统RVM算法与本文提出的基于样本特性的混合RVM算法，以平均绝对误差MAE和平均相对误差MRE作为算法性能的评价标准。实验结果中，在相同的训练数据集下(这里选用24小时为步长的训练集)，高斯核函数的传统RVM模型的MAE为0.4671；高斯核函数的混合RVM模型的MAE为0.4431；偏移小波核函数的传统RVM模型的MAE为0.4573；偏移小波核函数的混合RVM模型的MAE为0.4303；高斯核函数的传统RVM模型的MRE为0.0897；高斯核函数的混合RVM模型的MRE为0.0868；偏移小波核函数的传统RVM模型的MRE为0.0875；偏移小波核函数的混合RVM模型的MRE为0.0820。由此可见，偏移小波核函数的RVM模型预测性能通常优于高斯核函数对应的RVM模型，同时，混合RVM算法的预测精度优于传统RVM算法的预测精度。

上述实验证明了本发明算法可以为光纤光栅桥梁健康监测系统提供更为精确有效的预测结果，进而提高了桥梁安全监测系统的预警能力。

本文所提出的上述所有具体实施方式为示例性的，仅作为对本发明的解释和说明，并不作为本发明保护范围的限制，本领域技术人员可根据不同实际情况做出改变和调整，而这些改变和调整将纳入本发明的保护范围内。

Claims (4)

1.一种基于改进多尺度核函数的混合RVM模型预测方法，包括以下步骤：

S1、通过光纤光栅FBG温度传感器采集桥梁温度数据作为训练样本并利用相关向量作为信号特征对信号进行分段；所述训练样本为通过温度传感器在其部署的环境下进行监测，获得的响应信号；

S2、构建偏移小波核函数，以核排列的核度量标准，对偏移小波的偏移参数进行了筛选，得到各段对应的偏移小波核的偏移参数；

S3、将步骤S1中全部训练样本与对应偏移参数进行训练来构建多个RVM模型；

S4、对步骤S3得到的多个相关向量机RVM模型利用假设检验的方法得到的方差作为标准来构建混合RVM模型；

S5、评估混合RVM预测模型的预测精度；

所述步骤S1中对信号进行分段的具体方法为：

S11、首先采集训练样本，通过采集层的温度传感器在其部署的桥梁进行监测，获得桥梁温度响应，对于其产生的响应信号，使用温度传感器的输入通道进行输入，检测，并通过处理器对输入的信号元进行控制，处理，得到处理后的信号经过输出通道进行显示，进而获得显示的情况即可获得温度传感器所采集的温度数据；

根据相关向量机的基本原理，将通过温度传感器采集到的训练样本通过样本数据训练学习,从中学习出输入的信号x和目标输出的信号t之间的依赖关系,监督学习模型可表示为下式：

其中:x表示温度传感器采集的数据,t表示目标输出数据,{w_n}表示权重,k(x,x_n)表示核函数；

S12、初始化训练集,对训练数据集中的点进行训练得到相关向量；

S13、利用得到的相关向量对N个点进行分段{p₁,p₂…p_n}；

所述步骤S4构建混合RVM模型的具体方法为：

S41、对于每一个样本k，设有检验假设H₀与备择假设H₁：

H₀：预测值较为正确，逼近真实值y_k；H₁：预测值十分不准确，并且与真实值y_k相差甚远；

计算H₀：

计算H₁：

(y_k|x_k)～U(δ_L,δ_U)

其中，δ_L和δ_U是所有样本点的最大与最小的边界值，检验假设H₀正确时，y_k的概率分布p(y_k|x_k)应该满足高斯分布当预测信息不足时，采用均匀分布；

S42、计算假设检验的似然比校验：

其中，似然比校验的决策规则：

通过计算假设检验的似然比校验，其中方差σ_k越小，越接近检验假设H₀。

2.根据权利要求1所述的基于改进多尺度核函数的混合RVM模型预测方法，其特征在于，所述步骤S2偏移参数的计算方法为：

S21、根据偏移小波所需要满足的条件，选取偏移小波，即：

其中u(t)为偏移小波，τ为持续的实例变量；其中，实例变量即样本数据；

再根据偏移小波构建得到偏移小波核，即：

其中

S22、在确定了偏移小波核的形式后，再对相应偏移参数进行筛选，计算核排列KTA得出核矩阵与理想目标矩阵的对齐程度，即：

其中，<·,·>_F为Frobenius内积，[MK]_i,j＝k(x_i,x_j)为核函数k，[Y]_i,j＝y_i·y_j为目标矩阵；

S23、分别计算每个核矩阵的核排列KTA，筛选出其中最大的KTA以及对应的偏移参数c₁,c₂…c_n，并利用所得到的偏移参数构建对应的偏移小波核函数k₁,k₂…k_n。

3.根据权利要求1所述的基于改进多尺度核函数的混合RVM模型预测方法，其特征在于，所述步骤S3构建RVM模型的具体方法为：

S3、利用全部的训练样本以及步骤S2所筛选出的不同偏移参数进行训练，得到不同的RVM模型M₁,M₂…M_n。

4.根据权利要求1所述的基于改进多尺度核函数的混合RVM模型预测方法，其特征在于，所述步骤S5的具体方法为：

S51、在评估预测精度的过程中，计算测试数据集中每一点对应的预测方差，选择预测方差σ_k最小的模型得到的预测结果作为混合RVM模型的预测模型；

S52、计算混合RVM模型包含的两个预测指标，即平均绝对误差MAE与平均相对误差MRE；

S53、计算测试数据集预测结果的平均绝对误差MAE与平均相对误差MRE，即：

S54、再将混合RVM模型的预测指标MAE、MRE和常规RVM模型的预测指标MAE、MRE分别进行对比。