CN112215487B

CN112215487B - 一种基于神经网络模型的车辆行驶风险预测方法

Info

Publication number: CN112215487B
Application number: CN202011076552.2A
Authority: CN
Inventors: 胡宏宇; 王�琦; 杜来刚; 鲁子洋
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2020-10-10
Filing date: 2020-10-10
Publication date: 2023-05-23
Anticipated expiration: 2040-10-10
Also published as: CN112215487A

Abstract

本发明公开了一种基于神经网络模型的车辆行驶风险预测方法，步骤一：采集车辆行驶数据，形成车辆历史数据；步骤二：采用上下文时间窗对所述车辆历史数据进行特征的提取，形成统计特征；步骤三：对所述统计特征进行提取，步骤四：对步骤三的提取结果数据进行划分，步骤五：构建神经网络；构建LSTM编码器‑1DCNN‑LSTM解码器网络架构；步骤六：无标签数据集记做{X_U}；将带标签数据集划分为训练集与测试集，其中训练集记做S_L＝{X_L，Y_L}；运用带标签数据集S_L对神经网络进行预训练；然后进入自学习阶段，对集合Y_PL进行预测，以预测值直接作为其真实标签；完成后，得到了所有的无标签数据的标签与训练好的网络模型。

Description

一种基于神经网络模型的车辆行驶风险预测方法

技术领域

本发明涉及机器学习领域，更具体的是，本发明涉及一种基于神经网络模型的车辆行驶风险预测方法。

背景技术

根据世界卫生组织于2018年的统计，每年有135万人因交通事故丧生，并且道路交通碰撞带来的损失可达大部分国家国内生产总值的3％。此外，在交通相关的死亡事故中，约94％是由驾驶员引起的，驾驶员的不当驾驶行为成为了交通事故中的一个主要因素。这些驾驶行为往往是由于驾驶员对周围环境的不良感知、冒失或者激进的判断与决策、不适当的车辆驾驶操纵造成的。行驶风险评估是根据当前与过去时刻的各项行驶特征(包括驾驶员、车辆与周围环境)进行分析，给出当前车辆碰撞或发生其他交通事故的可能性。对车辆行驶安全性进行评估与预测，及时向驾驶员进行反馈，以提高车辆行驶安全性，进而减少交通事故。因此，对车辆行驶风险进行评估与预测是必不可少的。

然而在行驶风险评估任务中，对带有风险的行驶数据进行标签是一个颇具挑战的任务。若运用无监督学习的方法对数据进行分类，所得到的结果可能并不是严格按照风险水平的高低进行类别划分，并且在准确率上也难以达到满意的效果。此外，行驶风险评估任务需要面对海量高维度、带时序、类别不均衡的车辆行驶数据。最后，行驶风险评估对准确率有较高的要求，并且难以接受高风险被判定为无风险这种情况。综上所述，对行驶风险进行全面、准确、高效的评估存在着巨大的挑战。

经过检索，中国发明专利CN201711234967.6公开了一种行驶风险警示方法和装置，用预先建立的BP网络将相应路段分类为高风险路段或低风险路段；向所述车辆发出警示信息，以控制所述车辆在行驶至高风险路段时发出警示；CN201910574565.3公开了一种基于北斗定位系统的车辆违规行驶风险分析方法，通过准确计算出车辆的违规行驶的风险分值，由用户根据该车辆的违规行驶的风险分值生成违规行驶的风险分析报告，提醒和督促司机改善驾驶行为，对司机本人的驾驶行为起到了预警和考核的作用。但是上述方法，对车辆行驶过程的海量高维度、带时序、类别不均衡的车辆行驶数据考虑不够周全，并且难以做到精细化的行驶风险预测，在准确性上较差。

发明内容

本发明设计开发了一种基于神经网络模型的车辆行驶风险预测方法，该方法可以仅在一小部分数据上人工标签，并且自动学习潜在的特征，建立神经网络模型，并且可以预测将来一段时间内的风险值。

本发明的另一个目的是一种用于车辆行驶风险预测的神经网络模型训练方法，该方法可以仅在一小部分数据上人工标签，并且自动学习潜在的特征，建立神经网络模型。

一种基于神经网络模型的车辆行驶风险预测方法，

步骤一：采集车辆行驶数据，形成车辆历史数据；

步骤二：采用上下文时间窗对所述车辆历史数据进行特征的提取，形成统计特征；

步骤三：对所述统计特征进行提取，包括：车辆的类型，车辆的长和宽；转向熵值；参数逆碰撞时间TTC^-1、逆车头时距THW^-1和逆车头间距DHW^-1；车辆在无换道意图时压虚线时长，车辆压实线时长，车辆驶出到实线外时长；局部交通流密度、局部速度差异和局部加速度差异。

步骤四：对步骤三的提取结果数据进行划分，从中随机抽出不超过5％的数据进行标签，形成带标签数据集；剩余的数据为无标签数据集，用于半监督学习的无标签训练与测试；

步骤五：构建神经网络；构建LSTM编码器-1DCNN-LSTM解码器网络架构；

步骤六：无标签数据集记做{X_U}；将带标签数据集划分为训练集与测试集，其中训练集记做S_L＝{X_L，Y_L}；运用带标签数据集S_L对神经网络进行预训练；

然后进入自学习阶段，将无标签数据集{X_U}运用预训练的网络，生成伪标签{Y_P}；对于每个生成的伪标签，都带有一定的置信度ε，将该置信度与阈值ε_th比较，大于该阈值的集合记做S_P ^t＝{X_Uh ^t,Y_Ph ^t}，小于该阈值的集合记做{Y_PL ^t},t为迭代次数；对于集合{Y_Ph ^t}，根据流形假设，认为该伪标签即真实标签；将集合S_L与S_P ^t合并，形成新的集合S_L ^t，再将其用于网络的训练中；对于{X_U ^t}，运用再次训练好的网络进行伪标签重新生成；对自学习最后阶段仍未标签的数据集合{X_U ^mst}进行预测，以预测值直接作为其真实标签；完成后，得到了所有的无标签数据的标签与训练好的网络模型。

作为一种优选，所述神经网络的惩罚函数为：

其中，分布P的概率质量函数f可以被定义为下式

AOBC(0,k)＝AOBC(k)

其中，AOBC(k)中的N(t,k)＝|S_L,k ^t|，OBC(k)中的N(0,k)＝|S_L,k ⁰|；N为mini-batch中数据的数量，m为类别数，y_ik为真实值，

为预测值。

作为一种优选，还包括极限值惩罚函数，如下式所示：

其中，ev为极限值。

作为一种优选，所述转向熵值SRE：

作为一种优选，所述逆碰撞时间TTC^-1

作为一种优选，所述局部交通流密度具体计算公式下：

其中，X_j＝(x_j,y_j)^T为感兴趣车辆，μ＝(x,y)^T为目标车辆中心坐标，

其中σ_x与σ_y通过下式定义:

σ_x＝|v_x|+k₁L

σ_y＝|v_y|+k₂W

其中，v_x,v_y为车辆的横向与纵向速度，k₁与k₂为补偿因子。

作为一种优选，所述局部速度差异计算如下：

作为一种优选，所述局部加速度差异计算如下：

本发明所述的有益效果：

该方法首先提取了目标车辆行驶、车路交互、局部交通状况等特征。对海量的车辆行驶数据进行特征提取，取一小部分进行人工标签，从而获得了带标签的小数据集与无标签的大数据集。搭建了一维卷积神经网络(1D-CNN)与长短时记忆网络(LSTM)相结合的卷积神经网络，并且采用了自适应过均衡交叉熵作为神经网络的损失函数。将上述神经网络嵌入至半监督学习框架中，对两个数据集进行预训练、自学习与微调后得到了最终的标签结果与训练好的网络。最终，添加极限值惩罚模块以完善模型。

采用了代价敏感的半监督深度学习方法，对车辆行驶数据进行分析，得到当前与将来的行驶风险分数，且该分数为介于0～3的连续值，对风险评估更加精细。该方法可以应用于ADAS中的行驶风险警示系统，从而给予驾驶员及时的反馈。

仅运用小部分标签数据就可以得到良好的结果，极大地解决了大量无标签数据的标签问题。采用了自适应过均衡交叉熵损失函数，对类别不均衡的半监督深度学习的训练性能有着较大的性能提升。该损失函数可以使得网络在整个训练过程处于过均衡状态，该状态可以有效的提高高风险数据的检测准确率。该方法可以应用于其他相关的类似场景之中。

提出了局部交通状况描述子，对目标车辆周围的交通状况、速度与加速度差异进行描述，并给予了一个描述子，从而简化了周围场景的描述。该描述子也可以用于其他类似的领域之中。

附图说明

图1为本发明上下文窗口示意图。

图2为本发明以目标车辆为基准的感兴趣车辆示意图。

图3为本发明深度学习网络模型。

图4为本发明半监督学习框架。

图5为本发明总体框架。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明提出了一种基于自适应代价敏感半监督深度学习的行驶风险评估与预测方法。该方法首先提取了目标车辆行驶、车路交互、局部交通状况等特征。对海量的车辆行驶数据进行特征提取，取一小部分进行人工标签，从而获得了带标签的小数据集与无标签的大数据集。搭建了一维卷积神经网络(1D-CNN)与长短时记忆网络(LSTM)相结合的卷积神经网络，并且采用了自适应过均衡交叉熵作为神经网络的损失函数。将上述神经网络嵌入至半监督学习框架中，对两个数据集进行预训练、自学习与微调后得到了最终的标签结果与训练好的网络。作为一种优选，最终，添加极限值惩罚模块以完善模型。该方法可以仅在一小部分数据上人工标签，并且自动学习潜在的特征，并且可以预测将来一段时间内的风险值，从而及时的向驾驶员及时反馈。

步骤1：对车辆行驶历史数据进行转换与统计。由于直接将原始车辆行驶数据作为输入将会导致特征过于稀疏、特征阶数过低，从而增加训练难度。采用上下文时间窗(如图1所示)对一个固定的窗口进行特征的提取。选择窗宽为W_w＝3秒，每秒的采样频率不小于10Hz。共选择5秒的历史数据，每个时间窗重叠率Ov＝66.67％，即2秒。故共获得3个时间窗，并且对窗口内的所有数据进行统计。

步骤2：对统计特征进行提取。共提取47维特征，包含了车辆基本信息、车辆的行驶与交互信息、车辆周边环境信息等。每个统计数据都存在均值、最大值、最小值、方差统计量，故每一个数据存在4个统计量。

A)车辆的基本信息：

车辆的类型、车辆的长L与宽W。

B)目标车辆行驶特征：

定义车辆纵向行驶方向为x轴，横向行驶方向为y轴。选择车辆在横向、纵向的速度与加速度数据，对每个时间窗内的车辆在横向、纵向的速度与加速度数据提取均值、最大值、最小值、方差作为输入特征，总计16维特征。驾驶员在稳定、正常驾驶时，转向行为会比较平滑，然而驾驶员在疲劳、分心等状态下转向行为可能会有所混乱。运用转向熵来定量的指示驾驶员的方向操纵特性，以反映转向平稳程度与行驶安全性。

记时间窗内航向角为θ＝(θ₁,θ₂,θ₃,L,θ_m)，m为时间窗内数据的数目。运用给定时间内泰勒二阶展开式预测下一个转角，如下式所示：

即：

误差函数定义：

式中，

为第n时刻θ_n的预测值。设置一个α值，作为一种优选α取值0.035；使90％数据的预测误差落在-α与α之间。将这个预测误差区间划分为9段，即共9个区间，然后求取各段分布频率，即p_i，i＝1,2,..9。运用下式计算转向熵值SRE：

C)车辆间的交互特征：

目标车辆速度记为v_e，纵向坐标x_e，前车速度记为v_p，纵向坐标x_p。THW车头时距，即指的是在同一车道上行驶的车辆队列中，两连续车辆车头端部通过某一断面的时间间隔；DHW车头间距，即指的是在同一车道上行驶的车辆队列中，两连续车辆车头端部通过某一断面的距离间隔；TTC碰撞时间，即后车与前车均按照当前速度行驶时，两车的碰撞时间。则THW、DHW、TTC的计算公式如下所示。

DHW＝(x_p-x_e)

然而，以TTC为例，直接运用TTC可能会出现以下两种情况：当后车速度比前车速度低时，即以当前的相对速度后车永远无法追上前车，TTC为负值；有如果后车速度比前车速度仅快一点，即以当前的相对速度后车追上前车需要耗费很长时间，TTC为很大的正值。故TTC的值域在理论上为(-∞，+∞)，而真正高风险TTC区间是很小的。故直接将TTC作为输入可能会导致模型准确率下降，此外通过后续特征标准化处理可能会再次压缩高风险TTC区间。所以，采用逆碰撞时间TTC^-1，如下式所示。

此外，对于负值的TTC，为了简化特征，将所有负值TTC统一赋予一个足够大的正值TTC^-1 _max(一般取50秒)，即经过很久目标车辆才会与前车碰撞。这种无关值剔除替换的方法可以减小对模型的负面混淆影响，提高训练准确度。用公式表述如下：

其中，THW^-1 _max＝10；

其中，DHW^-1 _max＝200；

经过处理，相对于安全的TTC值被压缩到了0至一个很小的值之间，而高风险的TTC值被放大，值域也被放大，从而提高模型的准确度。同理，将THW与DHW变换为逆车头时距THW^-1和逆车头间距DHW^-1，以放大高风险THW、DHW的值域。最后选择最大值，均值以及方差作为输出特征，共9维。

出现换道意图时，驾驶员对待换车道的感知是十分重要的。若没有对本车道与待换车道进行良好的感知，直接进行换道操作，可能会带来较高的行驶风险。故选择换道意图出现时待换车道上是否有并列行驶的车辆，与待换车道前车、后车最大TTC^-1和THW^-1这3维特征作为输入。

D)车辆与道路之间的交互

车辆在无换道意图时压虚线时长，车辆压实线时长，车辆驶出到实线外时长。

E)局部交通状况描述子

为了更好的描述车辆行驶过程中其他行驶的车辆、道路、障碍物等，需要相应的描述子进行描述。首先考虑目标车辆周围行驶的车辆、障碍物等因素。提出基于高斯权重的局部车流密度描述子(LTD)。以目标车辆为基准，考虑前车、左前车、右前车、左车、右车、左后车、右后车、后车这8辆车作为感兴趣车辆(如图2所示，若无此车，则记为0)，计算感兴趣车辆对目标车辆的车流密度贡献度。

具体计算公式下：

其中，X_j＝(x_j,y_j)^T为感兴趣车辆，x_j,y_j分别是感兴趣车辆横坐标与纵坐标；μ＝(x,y)^T为目标车辆中心坐标，

其中σ_x与σ_y通过下式定义:

σ_x＝|v_x|+k₁L

σ_y＝|v_y|+k₂W

其中，v_x,v_y为车辆的横向与纵向速度，k₁与k₂为补偿因子，作为一种优选，k₁＝0.625，k₂＝1.25。

至此，每个时间窗内的每条数据都形成一个对应的局部车流密度描述子。此外，将局部车流密度作为权重，求解局部速度差异，得到局部速度差异描述子，用来描述以目标车辆为基准周围车辆的行驶速度差异(LVD)。同理，求解局部加速度差异(LAD)。如下式所示：

v_e为目标车辆速度，前文提过，v_j为感兴趣车辆的速度，a_e为目标车辆加速度，a_j为感兴趣车辆加速度，N_i为感兴趣车辆数目，为最大值为8，如图2所示，若没有对应车辆则减少之，最少为0，即一辆感兴趣车辆都没有，即周围无车辆。

至于障碍物，可以将其看做行驶速度为零的车辆。最后，对上述3个描述子分别求取其均值、最大值、最小值、标准差等统计指标，共12维特征。

下表为特征统计：

表1统计输入特征

步骤3：将所有经过统计的数据进行划分，从中随机抽出不超过5％的数据进行标签，剩余的数据用于半监督学习的无标签训练与测试。按照2～5％的上分位值(即该数据超过了所有数据的值的95～98％)对当前时刻的风险分数进行评估，标注值为0(良好)、1(一般)、2(较差)、3(很差)。采用标签方法是对数据进行标签，对最终的结果取平均后四舍五入为整数。

步骤4：构建神经网络。构建LSTM编码器-1DCNN-LSTM解码器网络架构如图所示。其中，Convolution为1D-CNN，MaxPooling为最大池化层，Dropout为丢弃层，FC为全连接层，Softmax为激活层。除最后一层外，其他的所有卷积层与全连接层激活函数为ReLU。

具体如下：构建神经网络。构建LSTM编码器-1DCNN-LSTM解码器网络架构，如图所示。首先，将统计数据进行嵌入，通过一个嵌入层，将数据映射至LSTM编码器。嵌入层输入节点数为特征维度，输出为128。LSTM编码器共128个隐藏单元。最终取最后一个隐藏单元的张量进行激活与变形，得到一个一维张量。该张量经过三次一维卷积-激活-一维池化-随机丢弃，得到经过卷积后的张量。该卷积过程主要是提取不同时间序列下的隐藏特征间的深层模式，该模式可以更好地反映风险信息。三个卷积层卷积通道数目分别为64，128，256。最后一层的输出展开后，第一个分支接两个全连接层与Softmax层得到当前的风险分数，隐藏单元个数分别为128，64，4。另外的一个分支接入一个LSTM解码器，对当前的隐藏特征进行解码，得到未来风险值的预测，隐藏单元个数分别为解码器128个LSTM单元，全连接层128，64，4。计算机采用的环境是Win10，使用软件名称Python3.7，深度学习框架为Keras2.2.4，backend为Tensorflow1.14

LSTM编码器将输入进行编码，采用Dropout方法，即在深度学习网络训练的过程中，对于神经网络单元，按照一定的概率将其从网络中随机丢弃，以减小过拟合，作为一种优选一定概率为0.2；接下来是1DCNN(一维卷积神经网络)以减少2DCNN对特征之间卷积所带来的误差。配合最大池化Maxpooling可以选择对风险值贡献大的特征。经过三次卷积-池化-Dropout后，第一个分支接两个全连接层与Softmax层得到当前的风险分数。另一个分支接入一个LSTM解码器，对当前的高级特征进行解码，得到未来风险值的预测。

步骤5：将上述网络嵌入半监督学习架构，如图4所示。无标签数据集记做{X_U}。将带标签数据集划分为训练集与测试集，其中训练集记做S_L＝{X_L，Y_L}。首先，运用带标签数据集S_L对网络进行预训练。训练过程中采用Early-Stopping方法，即当某个监控值在经过patience次迭代后网络性能没有提升时，网络自动终止，并且返回停止之前性能最佳的网络权值。监控值选择loss，即loss经过patience次后不再下降。在此处patience选择相对较大，原因是，让网络对少量数据进行充分的学习。

随后进入自学习阶段，将无标签数据集{X_U}运用预训练的网络，生成伪标签{Y_P}。对于每个生成的伪标签，都带有一定的置信度ε(预训练的网络通过Softmax层后直接得到的)。将该置信度与阈值ε_th比较，大于该阈值的集合记做S_P ^t＝{X_Uh ^t,Y_Ph ^t}，(t为迭代次数)小于该阈值的集合记做{Y_PL ^t},t为迭代次数。对于集合{Y_Ph ^t}，根据流形假设，认为该伪标签即真实标签。将集合S_L与S_P ^t合并，形成新的集合S_L ^t，再将其用于网络的训练中。对于{X_U ^t},(未被一个迭代过程所接纳的未标签数据集)运用再次训练好的网络进行伪标签重新生成。该过程如下公式所示：

S表示训练数据集合，L表示带标签，t表示迭代次数，X表示输入特征，Y表示标签，U表示未标签，P表示伪标签，h表示大于阈值ε_th，l表示小于阈值ε_th，m_st为总迭代次数。对应的，S_L ^t为第t次迭代时带标签的训练数据集合。其余同理。

当i值越小，该阈值迭代次数逐次减少，原因是置信度越低，越容易引入噪声。同理，patience的次数选择也会随着置信度的下降而减少。

作为一种优选，还可以进行模型的微调。微调过程将所有的CNN层与LSTM层设置为不可训练的，仅对全连接层进行微调。原因是，特征提取层已经训练好，且已经学习到了无标签数据集的潜在特征，只需要调节全连接层权值即可。对自学习最后阶段仍未标签的数据集合{X_U ^mst}进行预测，以预测值直接作为其真实标签。完成后，得到了所有的无标签数据的标签，与训练好的网络模型。

步骤6：设置神经网络损失函数。由于类别不均衡，即高风险的数据总是远少于无风险的数据，会导致网络的性能变差。故设置损失函数补偿类别不均衡。选择多类别交叉熵损失函数(CE)作为基本的损失函数，以作为多类别的损失函数，如下式所示：

其中，E_yi:P为具有分布P的随机变量y_i，在y_i,k

分布P下的数学期望；N为mini-batch中数据的数量，m为类别数，y_ik为真实值，

为预测值。对上述损失函数添加过权重(OBC)，即：

其中，

然而，在半监督学习不断迭代的过程中，已标签数据数量会不断变化，但是每个类别变化不均。故需要对这一点进行自适应条件，如下式所示：

N(t,k)＝|S_L ^t|

AOBC(0,k)＝OBC(k)

其中，OBC(k)中的N＝|S_L ⁰|。

上式中||表示取集合中元素个数；AOBC(t,k)为随着迭代次数t的变化，第k类损失的权重。

作为一种优选，步骤7：对上述网络添加极限值惩罚模块。为了弥补神经网络极特殊的严重分类错误，需要引入极限值惩罚模块。该模块采用模糊逻辑，当某些值越接近碰撞发生时刻的参数，基于的惩罚越高。如下式所示：

其中，ev为极限值；一般取为在所有值中超过99.99％的数据作为极限值。

作为一种优选，步骤8：对网络进行预训练、自学习与微调。网络的优化器选择为Adam优化器，学习率为10^-3，衰减为10^-6，ε_th选择为0.999999、0.99999、0.9999、0.999、0.99、0.95、0.9。经过微调后，即得到所有的数据标签与训练好的网络。每个输出的标签会对应与一个置信度，将所有标签的值与置信度相乘则可得到当前的风险分数。训练好的网络则可以直接用来使用(即用来评估新的数据，而不采用半监督方式)。如图5所示总体框架。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims

1.一种基于神经网络模型的车辆行驶风险预测方法，其特征在于，

步骤一：采集车辆行驶数据，形成车辆历史数据；

步骤三：对所述统计特征进行提取，包括：车辆的类型，车辆的长和宽；转向熵值；参数逆碰撞时间TTC^-1、逆车头时距THW^-1和逆车头间距DHW^-1；车辆在无换道意图时压虚线时长，车辆压实线时长，车辆驶出到实线外时长；局部交通流密度、局部速度差异和局部加速度差异；

然后进入自学习阶段，将无标签数据集{X_U}运用预训练的网络，生成伪标签{Y_P}；对于每个生成的伪标签，都带有一定的置信度ε，将该置信度与阈值ε_th比较，大于该阈值的集合记做S_P ^t＝{X_Uh ^t,Y_Ph ^t}，小于该阈值的集合记做{Y_Pl ^t},t为迭代次数；对于集合{Y_Ph ^t}，根据流形假设，认为该伪标签即真实标签；将集合S_L与S_P ^t合并，形成新的集合S_L ^t，再将其用于网络的训练中；对于{X_U ^t}，运用再次训练好的网络进行伪标签重新生成；对自学习最后阶段仍未标签的数据集合{X_U ^mst}进行预测，以预测值直接作为其真实标签；完成后，得到了所有的无标签数据的标签与训练好的网络模型；根据训练好的网络模型预测车辆行驶风险；S表示训练数据集合，L表示带标签，t表示迭代次数，X表示输入特征，Y表示标签，U表示未标签，P表示伪标签，h表示大于阈值ε_th，l表示小于阈值ε_th，m_st为总迭代次数；对应的，S_L ^t为第t次迭代时带标签的训练数据集合；

所述转向熵值SRE：