CN112785848B

CN112785848B - 一种交通数据预测方法以及系统

Info

Publication number: CN112785848B
Application number: CN202110004298.3A
Authority: CN
Inventors: 李萌; 张珂; 林犀; 郭娅明; 张正超
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2021-01-04
Filing date: 2021-01-04
Publication date: 2022-06-17
Anticipated expiration: 2041-01-04
Also published as: CN112785848A

Abstract

本发明公开了一种交通速度预测方法，其特征在于，该方法包括：获取数据集，所述数据集包括路网信息、车辆速度信息；利用图注意力机制提取路网中K阶邻接路段的空间相关性并输出各路段的车辆速度特征矩阵V(K)；利用时间卷积网络学习V(K)的时间规律并输出时序特征矩阵

利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

通过本发明，分别利用图注意力机制和时间卷积网络来提取空间和时间依赖性，引入了多头自注意力机制来提取时空耦合效应，多头自注意机制可以在不同位置学习来自不同表示子空间的信息，从而有助于捕获交通流的时间信息，并实现更高的预测精度。

Description

一种交通数据预测方法以及系统

技术领域

本发明适于智能交通技术领域、数据处理技术领域，尤其涉及一种交通数据预测方法以及系统。

背景技术

交通状况预测是交通建模，运营和管理中必不可少的组成部分。对于交通流量较大时的不合理疏导可能会导致交通堵塞和交通事故等问题。高准确度的交通速度预测在智能交通系统(ITS)应用中起着重要作用，例如缓解城市交通问题，提高城市交通运输效率，帮助出行者做更好的路线规划和出发时间安排，动态交通信号优化和匝道控制等。交通速度预测的方法主要可以分为两类：经典统计模型和机器学习方法。

大多数经典统计模型都基于一些假设，并且具有固定的函数表达形式，例如整合移动平均自回归模型(ARIMA)及其变体等。模型的参数可以通过参数估计(如最大似然估计)得出。然而，交通流量的随机性和非线性特征难以克服这种统计模型的局限性。随着大数据时代的到来以及先进的数据管理系统的普及，研究者们也提出了大量基于数据驱动的机器学习方法。例如支持向量回归模型、k近邻模型和梯度增强回归树的表现优于经典的统计方法；多目标粒子群算法优化后的深度信念网络可以提高预测结果的准确性；循环神经网络及其变体(如长短期记忆神经网络和门控递归单元)也可很好的提高预测模型的准确度。然而，这些模型主要是从单个序列中学习时间相关性，而忽略了交通网络中的空间信息。由于上下游道路的交通状态通过传递和反馈效应相互影响，因此如何利用好空间相关性在预测过程中是非常重要的。为了提高预测的准确度，不仅需要从历史观测速度序列中提取时间信息，还需要提取道路网络中的空间信息。图卷积网络也在交通领域引起了广泛关注，现有的研究有利用图卷积神经网络来提取路网中的空间信息。利用循环神经网络进行时序预测，但是循环神经网络在学习较长序列可能会遗忘部分重要信息，同时也无法并行计算。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的技术方案。因此，本发明的一个方面，提供了一种交通速度预测方法，该方法包括：

获取数据集，所述数据集包括路网信息、车辆速度信息；

利用图注意力机制提取路网中K阶邻接路段的空间相关性并输出各路段的车辆速度特征矩阵V(K)；

利用时间卷积网络学习V(K)的时间规律并输出时序特征矩阵

利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

可选的，利用图注意力机制提取路网中K阶邻接路段的空间相关性并输出特征矩阵V(K)，包括下述步骤：

根据路网信息确定路段间邻接矩阵，所述邻接矩阵描述两个路段是否邻接，所述邻接为两个路段之间需要经过的最小路段数小于预定值K；

基于预定时间间隔的每个路段的车辆速度信息构建速度维度数据；

基于所述路段间邻接矩阵、速度维度数据计算一路段对当前路段的注意力分数；

利用函数正则化注意力分数；

利用正则化的注意力分数作为权重、当前路段速度维度数据计算当前路段的速度预测特征值。

可选的，利用时间卷积网络学习各路段的速度特征矩阵V(K)的时间规律并输出时序特征矩阵

包括下述步骤：

基于卷积核的大小确定卷积连接的速度特征数量；

基于不同的扩张因子确定扩张卷积连接的速度特征对象；

根据扩张卷积连接的速度特征对象提取特征矩阵V(K)中的时序信息；

根据时序信息进行残差连接。

可选的，所述提取时序信息、残差连接的步骤循环计算三次，得到三层的残差模块。

可选的，利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

包括下述步骤：

通过多个线性层将查询、键、值映射到输出，所述查询、键、值、输出均为向量或者矩阵；

基于行维度对所述输出进行点乘缩放机制；

对输出值进行加权总和，所述权重通过查询与相应键的相容性函数计算得出。

本发明还提供一种交通速度预测系统，该系统包括：

数据集输入模块，用于获取数据集，所述数据集包括路网信息、车辆速度信息；

图注意力机制空间信息处理模块，用于利用图注意力机制提取路网中K阶邻接路段的空间相关性并输出各路段的车辆速度特征矩阵V(K)；

时间卷积网络处理模块，用于利用时间卷积网络学习V(K)的时间规律并输出时序特征矩阵

时空耦合模块，用于利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

可选的，所述图注意力机制空间信息处理模块包括：

邻接矩阵确定单元，用于根据路网信息确定路段间邻接矩阵，所述邻接矩阵描述两个路段是否邻接，所述邻接为两个路段之间需要经过的最小路段数小于预定值K；

速度维度数据构建单元，用于基于预定时间间隔的每个路段的车辆速度信息构建速度维度数据；

注意力机制处理单元，用于基于所述路段间邻接矩阵、速度维度数据计算一路段对当前路段的注意力分数；

正则化处理单元，用于利用函数正则化注意力分数；

速度预测单元，用于利用正则化的注意力分数作为权重、当前路段速度维度数据计算当前路段的速度预测特征值。

可选的，时间卷积网络处理模块包括：

参数确定单元，用于基于卷积核的大小确定卷积连接的速度特征数量，基于不同的扩张因子确定扩张卷积连接的速度特征对象；

时序信息提取单元，用于根据扩张卷积连接的速度特征对象提取特征矩阵V(K)中的时序信息；

残差连接单元，用于根据时序信息进行残差连接。

可选的，所述时序信息提取单元、残差连接单元循环连接，以构成三层残差模块。

可选的，时空耦合模块包括：

映射单元，用于通过多个线性层将查询、键、值映射到输出，所述查询、键、值、输出均为向量或者矩阵；

点乘缩放单元，用于基于行维度对所述输出进行点乘缩放机制；

多头自注意力机制单元，用于对缩放后的输出值进行加权总和，所述权重通过查询与相应键的相容性函数计算得出。

本申请实施例中提供的技术方案，提出一种新的深度学习方法来提取时空信息并提高速度预测的准确度。这种方法分别利用图注意力机制和时间卷积网络来提取空间和时间依赖性，除此之外，本申请还引入了多头自注意力机制来提取时空耦合效应，从而进一步提高了在速度预测上的可扩展性。多头自注意机制可以在不同位置学习来自不同表示子空间的信息，从而有助于捕获交通流的时间信息，并实现更高的预测精度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述技术方案和其目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提出的一种实施方式的交通速度预测方法的流程图；

图2示出了利用图注意力机制计算的路网空间信息的示意图；

图3示出了应用了当核大小等于2时，不同扩张因子所对应的扩张卷积；

图4示出了扩张因子等于1时，不同核大小所对应的扩张卷积；

图5示出了利用多头自注意力来对时间卷积网络输出的结果提取特征的示意图；

图6示出了本发明提出的另一种实施方式的交通速度预测方法的流程图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明将图注意力机制，时间卷积网络和多头自注意力机制集成到一个端到端深度学习架构中用于交通速度预测。其中采用图注意力机制来学习交通路网中的空间信息，然后将空间融合后的特征反馈给时间卷积网络。时间卷积网络利用残差网络，扩张卷积等提取了重要的时序信息。最后，多头自注意力机制提取了时空信息之间的耦合关系来提高预测精度。

如图1所示，本发明提供的交通速度预测方法包括：

S1.获取数据集，所述数据集包括路网信息、路段车辆速度信息；

S2.利用图注意力机制提取路网中K阶邻接路段的空间相关性并输出各路段的车辆速度特征矩阵V(K)；

S3.利用时间卷积网络学习V(K)的时间规律并输出时序特征矩阵

S4.利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

在步骤S1路网信息中，将道路网络表示为

其中顶点集

代表分割点(例如，交叉点或检测器)，ε代表路段。将路段e_i的第t^th个时间段(例如5分钟)的车辆的平均速度记为

则

表示分布在交通网络上的速度序列矩阵，数据集的形式可为{[X¹，X²，...，X^|ε|]，NB(K)}；

S2，S3和S4是本发明的关键步骤，分别对应空间信息的提取，时序特征的提取，以及多头自注意力机制提取时空特征。

作为一种优选实施方式，步骤S2包括下述步骤：

利用函数正则化注意力分数；

详细实现方法具体表示如下：

S2-1：定义邻接矩阵

同是路段的数量，若路段e_j与e_i邻接，则A_i，j＝1，否则A_i，j＝0；

S2-2：定义K-阶邻接矩阵NB_i(K)＝{e_j∈ε|d(e_i，e_j)≤K}，其中d(e_i，e_j)表示路段e_i到e_j所需经过的最小路段数；

S2-3：计算过去两个月每天相同时间段的速度平均值

中间值

最大值

最小值

标准差

S2-4：将时间按照5分钟间隔分开并编码为整数p_t，例如将早上6：00表示为72(＝12*6)，利用0-1变量q_t来表示是否周末；

S2-5：将速度平均值

中间值

最大值

最小值

标准差

过去m个时刻的速度

是否周末等多源信息拼接得到Xⁱ：

S2-6：计算路段j针对路段i的注意力分数u^ij(K)：

u^ij(K)＝Relu(a(W₁Xⁱ||W₁X^j))，j∈NB_i(K)

其中Xⁱ是路段i的信息，X^j是路段j的信息。函数a(·)表示线性映射。Relu＝max(x，0)是激活函数；

S2-7：利用softmax函数正则化注意力分数并得到α^ij(K)：

S2-8：将注意力分数作为权重计算输出Vⁱ(K)：

其中W₂是参数矩阵，具体示意关系如图2所示。

步骤S3是利用时间卷积网络来提取时序信息。时间卷积网络最好由多层残差模块构成，优选地，由三层残差模块构成，每层残差模块包括扩张卷积，因果卷积，残差连接等组成。每层残差模块包括两层扩张因果卷积、残差连接、时序提取，一层残差模块可构成一个基本的时间卷积网络层。时间卷积网络的反向传播路径与循环神经网络不同，从而克服了梯度消失和无法进行并行计算的问题，这是循环神经网络的主要缺点。该模型通过改变接受野的大小(主要是通过增加过滤器的大小、堆叠更多残差模块或使用更大的扩张因子)，提供了更高的灵活性与更好的效果。

作为一种优选实施方式，S3包括下述步骤：

基于卷积核的大小确定卷积连接的速度特征数量；

基于不同的扩张因子确定扩张卷积连接的速度特征对象；

根据时序信息进行残差连接。

S3的详细实现方法具体表示如下：

S3-1：为了更好的刻画时序信息的长期依赖性，时间卷积网络采用了因果扩张卷积，使接收域呈指数级增大。因果卷积是指在卷积的时候只利用过去的信息，不利用未来的信息。利用扩张卷积来提取时序

的信息：

其中γ为核大小，j-r*i为进行扩张卷积运算的元素位置。每个残差模块一般都设置两层扩张系数，这样可以使得有效接受的信息容量随网络深度呈指数增长，进而可以在不增加参数大小的情况下捕获越来越多的全局上下文。如图3所示，应用了当核大小等于2时，不同扩张因子所对应的扩张卷积。例如，当r等于1时，扩张卷积连接了V_t-3(K)和V_t-2(K)；当r等于2时，扩张卷积连接了V_t-3(K)和V_t-1(K)；当r等于3时，扩张卷积连接了V_t-3(K)和V_t(K)；当r等于4时，扩张卷积连接了V_t-3(K)和V_t+1(K)。

图4展示了扩张因子等于1时，不同核大小所对应的扩张卷积，当γ为2时，神经网络则连接两个元素；当γ为3时，神经网络则连接三个元素；当γ为4时，神经网络则连接四个元素；以此类推。

S3-2：利用残差连接得到输出：

S3-3：将S3-1到S3-2计算一次即为一个残差模块，本发明中将S3-1到S3-2计算三次，则得到三层的残差模块，多层的残差模块能更好的提取时序信息。

作为一种优选实施方式，步骤S4包括下述步骤：

基于行维度对所述输出进行点乘缩放机制；

为了获得时空信息的耦合性，本发明在S4部分利用多头自注意力来对时间卷积网络输出的结果提取特征。点乘注意力机制将查询和一组键值对映射到输出(其中查询，键，值和输出都是向量或矩阵)。然后将计算输出值的加权总和，分配给每个值的权重是通过查询与相应键的相容性函数来计算的，具体形式如图5所示。

由于本发明采用的是自注意力机制，所以查询，键和值都取

函数表示形式如下所示：

其中

是

的行维度，目的是用于缩放点乘因子从而避免在实验过程中结果偏大。

考虑到只利用一次多头注意力机制可能会导致结果出现偏差，所以本发明利用多个线性层计算多次注意力机制并拼接在一起，即多头自注意力机制，计算公式如下所示：

本发明在获取到

之间的耦合关系并输出

后，如图6所示，还包括步骤：S5:通过Adam优化器最小化目标函数

来更新参数。重复S1-S5，若连续10次都未得到更优结果，则停止训练。

本发明还提供一种交通速度预测系统，该系统包括：

时空耦合模块，用于利用多头自注意力机制学习特征矩阵

之间的耦合关系并输出

可选的，所述图注意力机制空间信息处理模块包括：

正则化处理单元，用于利用函数正则化注意力分数；

可选的，时间卷积网络处理模块包括：

残差连接单元，用于根据时序信息进行残差连接。

可选的，时空耦合模块包括：

本申请实施例中提供的技术方案，提出一种新的深度学习方法和系统来提取时空信息并提高速度预测的准确度。这种方法分别利用图注意力机制和时间卷积网络来提取空间和时间依赖性，除此之外，本申请还引入了多头自注意力机制来提取时空耦合效应，从而进一步提高了在速度预测上的可扩展性。多头自注意机制可以在不同位置学习来自不同表示子空间的信息，从而有助于捕获交通流的时间信息，并实现更高的预测精度。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。