CN116343513B - 农村公路超视距风险点安全监测预警方法及其系统 - Google Patents

Abstract

本申请公开了一种农村公路超视距风险点安全监测预警方法及其系统，其获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像；采用基于深度学习的人工智能技术，以回波探测信号和探测图像双重检测的方式，挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警。这样，可以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。

Description

农村公路超视距风险点安全监测预警方法及其系统

技术领域

本申请涉及智能化预警技术领域，且更为具体地，涉及一种农村公路超视距风险点安全监测预警方法及其系统。

背景技术

农村公路地形复杂，路窄、坡陡、弯道多、车辆遇到弯道时，司机对前方交通状况缺乏足够的了解，短暂的应变时间会使司机发生误判从而导致交通事故。虽然交通公路管理部门设立了多种多样的提示标语与警示标志，像常规的广角镜、标志牌等，但预防交通事故的效果还是不够理想。

因此，期待一种农村公路超视距风险点安全监测预警方案，其能够及时地提醒司机谨慎驾驶，起到超视距预警的作用。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种农村公路超视距风险点安全监测预警方法及其系统，其获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像；采用基于深度学习的人工智能技术，以回波探测信号和探测图像双重检测的方式，挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警。这样，可以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。

根据本申请的一个方面，提供了一种农村公路超视距风险点安全监测预警方法，其包括以下步骤：

S110：获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；

S120：将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；

S130：将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；

S140：融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；

S150：将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；

S160：在所述LED显示屏，显示所述分类结果。

在上述农村公路超视距风险点安全监测预警方法中，所述将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图，包括：使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图。

在上述农村公路超视距风险点安全监测预警方法中，所述将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图，包括：将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；以及，以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图。

在上述农村公路超视距风险点安全监测预警方法中，所述融合所述图像探测特征图和所述回波探测特征图以得到分类特征图，包括：融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；将所述初始分类特征图展开为分类特征向量；对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量；以及，将所述优化分类特征向量进行维度重构以得到所述分类特征图。

在上述农村公路超视距风险点安全监测预警方法中，所述融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图，包括：以如下公式融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；其中，所述公式为：

其中，表示所述初始分类特征图，表示所述图像探测特征图，表示所述回波探测特征图，“”表示所述图像探测特征图和所述回波探测特征图相对应位置处的元素相加，和表示用于控制所述图像探测特征图和所述回波探测特征图之间的平衡的加权参数。

在上述农村公路超视距风险点安全监测预警方法中，所述对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量，包括：以如下公式对所述分类特征向量进行向量的有序希尔伯特完备化以得到所述优化分类特征向量；其中，所述公式为：

其中，和分别是所述分类特征向量和所述优化分类特征向量，是所述分类特征向量的转置向量，表示所述分类特征向量的二范数的平方，是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式，表示向量相乘，表示按位置点乘。

在上述农村公路超视距风险点安全监测预警方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一个方面，提供了一种农村公路超视距风险点安全监测预警系统，其包括：

数据获取模块，用于获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；

空间注意力模块，用于将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；

通道注意力模块，用于将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；

融合模块，用于融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；

预警提示结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及

显示模块，用于在所述LED显示屏，显示所述分类结果。

在上述农村公路超视距风险点安全监测预警系统中，所述空间注意力模块，包括：卷积编码单元，用于使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；空间注意力单元，用于将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，图像探测特征计算单元，用于计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图。

在上述农村公路超视距风险点安全监测预警系统中，所述通道注意力模块，包括：多层卷积单元，用于将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；全局均值单元，用于计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；以及，加权单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图。

与现有技术相比，本申请提供的农村公路超视距风险点安全监测预警方法及其系统，其获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像；采用基于深度学习的人工智能技术，以回波探测信号和探测图像双重检测的方式，挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警。这样，可以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本申请的农村公路超视距风险点安全监测预警方法的场景示意图。

图2为本申请的农村公路超视距风险点安全监测预警方法的流程图。

图3为本申请的农村公路超视距风险点安全监测预警方法的架构示意图。

图4为本申请的农村公路超视距风险点安全监测预警方法中步骤S120的子步骤的流程图。

图5为本申请的农村公路超视距风险点安全监测预警方法中步骤S130的子步骤的流程图。

图6为本申请的农村公路超视距风险点安全监测预警方法中步骤S140的子步骤的流程图。

图7为本申请的农村公路超视距风险点安全监测预警方法中步骤S150的子步骤的流程图。

图8为本申请的农村公路超视距风险点安全监测预警系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，农村公路地形复杂，路窄、坡陡、弯道多、车辆遇到弯道时，司机对前方交通状况缺乏足够的了解，短暂的应变时间会使司机发生误判从而导致交通事故。虽然交通公路管理部门设立了多种多样的提示标语与警示标志，像常规的广角镜、标志牌等，但预防交通事故的效果还是不够理想。因此，期待一种农村公路超视距风险点安全监测预警方案，其能够及时地提醒司机谨慎驾驶，起到超视距预警的作用。

相应地，对于农村公路的复杂地形来说，为了能够对于农村公路进行超视距风险点的安全监测预警，以此来避免交通事故，保证行驶的安全性，就需要对于农村公路上的对向来车进行超视距预警，而这可以通过对于摄像头采集的探测图像进行分析来实现。但是，考虑到由于摄像头采集的探测图像中存在的信息量较多，而由于对向来车的不确定性，导致难以对于有效信息进行捕捉提取，使得对于对向来车的检测精准度较低。因此，在本申请的技术方案中，采用回波探测信号和探测图像双重检测的方式，以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。在此过程中，难点在于如何挖掘出所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警，进而给予司机足够的应变时间来保证行驶的安全性。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含关联特征信息提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于模拟并挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含关联特征信息。

具体地，在本申请的技术方案中，首先，通过激光雷达采集农村公路上的回波探测信号，以及通过摄像头采集农村公路上的探测图像。具体地，在本申请实施例中，通过在农村公路弯道处设置LED屏、所述激光雷达和所述摄像头，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏。应可以理解，所述激光雷达在距离探测上具有优异性能，但是在图像表达端能力较弱，无法分辨对向的对象是车辆，还是其他对象；而所述摄像头在图像表达端具有优异的性能表现，能够分辨对向的对象是车辆还是其他对象，因此，融合所述激光雷达的回波探测信号和所述摄像头采集的图像信息能够更为准确地进行对向来车预警提示。

接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述探测图像的特征挖掘，特别地，考虑到在进行所述农村公路的对向来车检测时，应关注于所述农村公路上的车辆信息而忽略与农村公路对向来车无关的干扰特征信息。鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述探测图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述探测图像中聚焦于农村公路空间位置上的关于所述对向来车的特征分布信息，从而得到图像探测特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上位置聚焦于所述农村公路上的对向来车的车辆特征信息。

然后，对于所述激光雷达采集的回波探测信号，考虑到所述回波探测信息的时域表现形式为图像数据，因此，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述回波探测信号的特征挖掘，特别地，考虑到所述激光雷达在距离探测上具有优异性能，并且所述通道注意力能够关注于图像中的特征内容。因此，为了能够对于对向来车的距离特征信息进行捕捉提取，以此来进行对向来车预警以避免发生交通事故，在本申请的技术方案中，通过使用通道注意力机制的卷积神经网络模型来对于所述回波探测信号进行特征挖掘，以提取出所述回波信号中关于农村公路的对向来车的距离内容特征分布信息，从而得到回波探测特征图。应可以理解，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，以此所述通道注意力机制的卷积神经网络模型来进行所述回波探测信号的特征挖掘，能够提取出所述回波探测信号中关于对向来车的距离内容特征信息，以此来给驾驶员提供预警，给予驾驶员充分的反应时间，保证行驶的安全性。

进一步地，融合所述图像探测特征图和所述回波探测特征图，以此来融合所述农村公路上关于对向来车的对象特征信息和距离特征信息来对于对向来车进行精准检测，从而得到分类特征图。相应地，在本申请的一个具体示例中，可以通过按位置加权和的方式来进行所述图像探测特征图和所述回波探测特征图的融合，以得到所述分类特征图。然后，再将所述分类特征图通过分类器中进行分类处理，以得到用于表示是否产生对向来车预警提示的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括产生对向来车预警，以及，不产生对向来车预警，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生对向来车预警的控制策略标签，进而，在得到所述分类结果后，在所述LED显示屏，显示所述分类结果，以此来对于驾驶员进行超视距的对向来车预警，实现农村公路的超视距风险点安全监测。

特别地，在本申请的技术方案中，在融合所述图像探测特征图和所述回波探测特征图得到所述分类特征图时，由于所述图像探测特征图和所述回波探测特征图分别是探测图像通过使用空间注意力机制的卷积神经网络模型和回波探测信号通过使用通道注意力机制的卷积神经网络模型得到的，其特征分布分别在空间维度和通道维度上收敛，因此，在例如直接通过加权点加的方式融合所述图像探测特征图和所述回波探测特征图时，可能由于收敛维度的不一致导致所述分类特征图的整体特征分布在某些局部具有模糊化结构，从而降低所述分类特征图的表达确定性，影响所述分类特征图通过分类器得到的分类结果的准确性。

基于此，本申请的申请人首先将所述分类特征图展开为分类特征向量，例如记为，再对所述分类特征向量进行向量的有序希尔伯特完备化，表示为：

是校正后的所述分类特征向量，表示所述分类特征向量的二范数的平方，即所述分类特征向量自身的内积，是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式。

这里，通过将有序向量映射到由向量的自内积定义的希尔伯特空间内，可以实现特征集合的数值关系在一致性空间内的有意义的度量，以此为基础通过与特征向量的相对位置嵌入构造具有正交性结构的特征空间，并基于向量查询对特征向量的高维流形进行特征空间内的结构完备化，可以避免由于模糊化结构降低所述分类特征图的表达确定性，从而增大所述分类特征图通过分类器得到的分类结果的准确性。这样，能够准确地对于农村公路的对向来车进行检测，以对于农村公路进行超视距风险点的安全监测预警，以此来避免交通事故，保证行驶的安全性。

基于此，本申请提供了一种农村公路超视距风险点安全监测预警方法，其包括：获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及，在所述LED显示屏，显示所述分类结果。

图1为根据本申请实施例的农村公路超视距风险点安全监测预警方法的场景示意图。如图1所示，在该应用场景中，首先，获取由激光雷达提供的回波探测信号（例如，如图1中所示意的C1）和由摄像头提供的探测图像（例如，如图1中所示意的C2），其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏（例如，如图1中所示意的L）；然后，将获取的所述回波探测信号和所述探测图像输入至部署有农村公路超视距风险点安全监测预警算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于农村公路超视距风险点安全监测预警算法对所述回波探测信号和所述探测图像进行处理，以生成用于表示是否产生对向来车预警提示的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2为根据本申请实施例的农村公路超视距风险点安全监测预警方法的流程图。如图2所示，根据本申请实施例的农村公路超视距风险点安全监测预警方法，包括步骤：S110,获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；S120,将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；S130,将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；S140,融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；S150,将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及，S160,在所述LED显示屏，显示所述分类结果。

图3为根据本申请实施例的农村公路超视距风险点安全监测预警方法的架构示意图。如图3所示，在该网络架构中，首先，获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；然后,将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；接着,将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；然后,融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；接着,将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及，最后,在所述LED显示屏，显示所述分类结果。

具体地，在步骤S110中，获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏。如前所述，农村公路地形复杂，路窄、坡陡、弯道多、车辆遇到弯道时，司机对前方交通状况缺乏足够的了解，短暂的应变时间会使司机发生误判从而导致交通事故。虽然交通公路管理部门设立了多种多样的提示标语与警示标志，像常规的广角镜、标志牌等，但预防交通事故的效果还是不够理想。因此，期待一种农村公路超视距风险点安全监测预警方案，其能够及时地提醒司机谨慎驾驶，起到超视距预警的作用。

相应地，对于农村公路的复杂地形来说，为了能够对于农村公路进行超视距风险点的安全监测预警，以此来避免交通事故，保证行驶的安全性，就需要对于农村公路上的对向来车进行超视距预警，而这可以通过对于摄像头采集的探测图像进行分析来实现。但是，考虑到由于摄像头采集的探测图像中存在的信息量较多，而由于对向来车的不确定性，导致难以对于有效信息进行捕捉提取，使得对于对向来车的检测精准度较低。因此，在本申请的技术方案中，采用回波探测信号和探测图像双重检测的方式，以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。在此过程中，难点在于如何挖掘出所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警，进而给予司机足够的应变时间来保证行驶的安全性。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含关联特征信息提供了新的解决思路和方案。本领域普通技术人员应知晓，基于深度学习的深度神经网络模型可以通过适当的训练策略，例如通过梯度下降的反向传播算法来调整所述深度神经网络模型的参数以使之能够模拟事物之间的复杂的非线性关联，而这显然适合于模拟并挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含关联特征信息。

具体地，在本申请的技术方案中，首先，通过激光雷达采集农村公路上的回波探测信号，以及通过摄像头采集农村公路上的探测图像。具体地，在本申请实施例中，通过在农村公路弯道处设置LED屏、所述激光雷达和所述摄像头，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏。应可以理解，所述激光雷达在距离探测上具有优异性能，但是在图像表达端能力较弱，无法分辨对向的对象是车辆，还是其他对象；而所述摄像头在图像表达端具有优异的性能表现，能够分辨对向的对象是车辆还是其他对象，因此，融合所述激光雷达的回波探测信号和所述摄像头采集的图像信息能够更为准确地进行对向来车预警提示。

具体地，在步骤S120中，将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图。接着，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述探测图像的特征挖掘，特别地，考虑到在进行所述农村公路的对向来车检测时，应关注于所述农村公路上的车辆信息而忽略与农村公路对向来车无关的干扰特征信息。

鉴于注意力机制能够选择聚焦位置，产生更具分辨性的特征表示，且加入注意力模块后的特征会随着网络的加深产生适应性的改变。因此，在本申请的技术方案中，将所述探测图像通过使用空间注意力机制的卷积神经网络模型中进行处理，以提取出所述探测图像中聚焦于农村公路空间位置上的关于所述对向来车的特征分布信息，从而得到图像探测特征图。值得一提的是，这里，所述空间注意力所提取到的图像特征则反映了空间维度特征差异的权重，用来抑制或强化不同空间位置的特征，以此来提取出空间上位置聚焦于所述农村公路上的对向来车的车辆特征信息。

图4为根据本申请实施例的农村公路超视距风险点安全监测预警方法中步骤S120的子步骤的流程图，如图4所示，所述将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图，包括：S210,使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；S220,将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；S230，将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，S240，计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图。

应可以理解，注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。

具体地，在步骤S130中，将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图。然后，对于所述激光雷达采集的回波探测信号，考虑到所述回波探测信息的时域表现形式为图像数据，因此，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述回波探测信号的特征挖掘，特别地，考虑到所述激光雷达在距离探测上具有优异性能，并且所述通道注意力能够关注于图像中的特征内容。

因此，为了能够对于对向来车的距离特征信息进行捕捉提取，以此来进行对向来车预警以避免发生交通事故，在本申请的技术方案中，通过使用通道注意力机制的卷积神经网络模型来对于所述回波探测信号进行特征挖掘，以提取出所述回波信号中关于农村公路的对向来车的距离内容特征分布信息，从而得到回波探测特征图。应可以理解，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，以此所述通道注意力机制的卷积神经网络模型来进行所述回波探测信号的特征挖掘，能够提取出所述回波探测信号中关于对向来车的距离内容特征信息，以此来给驾驶员提供预警，给予驾驶员充分的反应时间，保证行驶的安全性。

图5为根据本申请实施例的农村公路超视距风险点安全监测预警方法中步骤S130的子步骤的流程图，如图5所示，所述将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图，包括：S310，将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；S320，计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；S330，将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；以及，S340，以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图。

应可以理解，所述通道注意力所提取到的图像特征反映了特征通道间的相关性和重要性，用来抑制或强化不同空间位置的特征。

具体地，在步骤S140中，融合所述图像探测特征图和所述回波探测特征图以得到分类特征图。进一步地，融合所述图像探测特征图和所述回波探测特征图，以此来融合所述农村公路上关于对向来车的对象特征信息和距离特征信息来对于对向来车进行精准检测，从而得到分类特征图。

相应地，在本申请的一个具体示例中，可以通过按位置加权和的方式来进行所述图像探测特征图和所述回波探测特征图的融合，以得到所述分类特征图。

图6为根据本申请实施例的农村公路超视距风险点安全监测预警方法中步骤S140的子步骤的流程图，如图6所示，所述融合所述图像探测特征图和所述回波探测特征图以得到分类特征图，包括：S410，融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；S420，将所述初始分类特征图展开为分类特征向量；S430，对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量；以及，S440，将所述优化分类特征向量进行维度重构以得到所述分类特征图。

其中，所述融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图，包括：以如下公式融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；其中，所述公式为：

其中，表示所述初始分类特征图，表示所述图像探测特征图，表示所述回波探测特征图，“”表示所述图像探测特征图和所述回波探测特征图相对应位置处的元素相加，和表示用于控制所述图像探测特征图和所述回波探测特征图之间的平衡的加权参数。

特别地，在本申请的技术方案中，在融合所述图像探测特征图和所述回波探测特征图得到所述分类特征图时，由于所述图像探测特征图和所述回波探测特征图分别是探测图像通过使用空间注意力机制的卷积神经网络模型和回波探测信号通过使用通道注意力机制的卷积神经网络模型得到的，其特征分布分别在空间维度和通道维度上收敛，因此，在例如直接通过加权点加的方式融合所述图像探测特征图和所述回波探测特征图时，可能由于收敛维度的不一致导致所述分类特征图的整体特征分布在某些局部具有模糊化结构，从而降低所述分类特征图的表达确定性，影响所述分类特征图通过分类器得到的分类结果的准确性。

基于此，本申请的申请人首先将所述分类特征图展开为分类特征向量，例如记为，再对所述分类特征向量进行向量的有序希尔伯特完备化，也就是，以如下公式对所述分类特征向量进行向量的有序希尔伯特完备化以得到所述优化分类特征向量；其中，所述公式为：

其中，和分别是所述分类特征向量和所述优化分类特征向量，是所述分类特征向量的转置向量，表示所述分类特征向量的二范数的平方，是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式，表示向量相乘，表示按位置点乘。

这里，通过将有序向量映射到由向量的自内积定义的希尔伯特空间内，可以实现特征集合的数值关系在一致性空间内的有意义的度量，以此为基础通过与特征向量的相对位置嵌入构造具有正交性结构的特征空间，并基于向量查询对特征向量的高维流形进行特征空间内的结构完备化，可以避免由于模糊化结构降低所述分类特征图的表达确定性，从而增大所述分类特征图通过分类器得到的分类结果的准确性。这样，能够准确地对于农村公路的对向来车进行检测，以对于农村公路进行超视距风险点的安全监测预警，以此来避免交通事故，保证行驶的安全性。

具体地，在步骤S150和步骤S160中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及，在所述LED显示屏，显示所述分类结果。

将所述分类特征图通过分类器中进行分类处理，以得到用于表示是否产生对向来车预警提示的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括产生对向来车预警，以及，不产生对向来车预警，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生对向来车预警的控制策略标签，进而，在得到所述分类结果后，在所述LED显示屏，显示所述分类结果，以此来对于驾驶员进行超视距的对向来车预警，实现农村公路的超视距风险点安全监测。

图7为根据本申请实施例的农村公路超视距风险点安全监测预警方法中步骤S150的子步骤的流程图，如图7所示，所述将所述分类特征图通过分类器以得到分类结果，包括：S510，将所述分类特征图按照行向量或列向量展开为分类特征向量；S520，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，S530，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

在本申请一具体示例中，使用所述分类器以如下公式对所述分类特征图进行处理以得到所述分类结果；其中，所述公式为：

，其中，到为权重矩阵，到为偏置向量，为所述分类特征图投影为向量。

综上，基于本申请实施例的农村公路超视距风险点安全监测预警方法及其系统，其获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像；采用基于深度学习的人工智能技术，以回波探测信号和探测图像双重检测的方式，挖掘所述回波探测信号和所述探测图像中关于农村公路上的对向来车的隐含特征关联信息，以此关联特征信息来准确地进行对向来车检测预警。这样，可以提高对于对向来车检测的精准度，进而避免农村公路的交通事故，保证司机行驶的安全性。

示例性系统

图8为根据本申请实施例的农村公路超视距风险点安全监测预警系统的框图。如图8所示，根据本申请实施例的农村公路超视距风险点安全监测预警系统100，包括：数据获取模块110，用于获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；空间注意力模块120，用于将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；通道注意力模块130，用于将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；融合模块140，用于融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；预警提示结果生成模块150，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及，显示模块160，用于在所述LED显示屏，显示所述分类结果。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述空间注意力模块，包括：卷积编码单元，用于使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；空间注意力单元，用于将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，图像探测特征计算单元，用于计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述通道注意力模块，包括：多层卷积单元，用于将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；全局均值单元，用于计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；激活单元，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；以及，加权单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述融合模块，包括：融合单元，用于融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；展开单元，用于将所述初始分类特征图展开为分类特征向量；优化单元，用于对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量；以及，维度重构单元，用于将所述优化分类特征向量进行维度重构以得到所述分类特征图。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述融合单元，用于：以如下公式融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；其中，所述公式为：

其中，表示所述初始分类特征图，表示所述图像探测特征图，表示所述回波探测特征图，“”表示所述图像探测特征图和所述回波探测特征图相对应位置处的元素相加，和表示用于控制所述图像探测特征图和所述回波探测特征图之间的平衡的加权参数。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述优化单元，用于：以如下公式对所述分类特征向量进行向量的有序希尔伯特完备化以得到所述优化分类特征向量；其中，所述公式为：

其中，和分别是所述分类特征向量和所述优化分类特征向量，是所述分类特征向量的转置向量，表示所述分类特征向量的二范数的平方，是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式，表示向量相乘，表示按位置点乘。

在一个示例中，在上述农村公路超视距风险点安全监测预警系统100中，所述预警提示结果生成模块，包括：特征图展开单元，用于将所述分类特征图按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述农村公路超视距风险点安全监测预警系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图7的农村公路超视距风险点安全监测预警方法的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (4)

1.一种农村公路超视距风险点安全监测预警方法，其特征在于，包括以下步骤：

S110：获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；

S120：将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；

S130：将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；

S140：融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；

S150：将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；

S160：在所述LED显示屏，显示所述分类结果；

所述将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图，包括以下步骤：

S210：使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；

S220：将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；

S230：将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；

S240：计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图；

所述将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图，包括以下步骤：

S310：将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；

S320：计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

S330：将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；

S340：以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图；

所述融合所述图像探测特征图和所述回波探测特征图以得到分类特征图，包括以下步骤：

S410：融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；

S420：将所述初始分类特征图展开为分类特征向量；

S430：对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量；

S440：将所述优化分类特征向量进行维度重构以得到所述分类特征图；

所述对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量，包括：

以如下公式对所述分类特征向量进行向量的有序希尔伯特完备化以得到所述优化分类特征向量；

其中，所述公式为：

其中，V和V’分别是所述分类特征向量和所述优化分类特征向量，V^T是所述分类特征向量的转置向量，表示所述分类特征向量的二范数的平方，V_order是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式，表示向量相乘，⊙表示按位置点乘。

2.根据权利要求1所述的农村公路超视距风险点安全监测预警方法，其特征在于，所述融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图，包括：以如下公式融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；

其中，所述公式为：

F_s＝λF_a+βF_g

其中，F_s表示所述初始分类特征图，F_a表示所述图像探测特征图，F_g表示所述回波探测特征图，“+”表示所述图像探测特征图和所述回波探测特征图相对应位置处的元素相加，λ和β表示用于控制所述图像探测特征图和所述回波探测特征图之间的平衡的加权参数。

3.根据权利要求2所述的农村公路超视距风险点安全监测预警方法，其特征在于，所述将所述分类特征图通过分类器以得到分类结果，包括以下步骤：

S510：将所述分类特征图按照行向量或列向量展开为分类特征向量；

S520：使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；

S530：将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

4.一种农村公路超视距风险点安全监测预警系统，其特征在于，包括：

数据获取模块，用于获取由激光雷达提供的回波探测信号和由摄像头提供的探测图像，其中，所述激光雷达和所述摄像头可通信地连接于LED显示屏；

空间注意力模块，用于将所述探测图像通过使用空间注意力机制的卷积神经网络模型以得到图像探测特征图；

通道注意力模块，用于将所述回波探测信号通过使用通道注意力机制的卷积神经网络模型以得到回波探测特征图；

融合模块，用于融合所述图像探测特征图和所述回波探测特征图以得到分类特征图；

预警提示结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生对向来车预警提示；以及

显示模块，用于在所述LED显示屏，显示所述分类结果；

所述空间注意力模块，包括：

卷积编码单元，用于使用所述使用空间注意力机制的卷积神经网络模型的卷积编码部分对所述探测图像进行深度卷积编码以得到探测卷积特征图；

空间注意力单元，用于将所述探测卷积特征图输入所述使用空间注意力机制的卷积神经网络模型的空间注意力部分以得到空间注意力图；

激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及

图像探测特征计算单元，用于计算所述空间注意力特征图和所述探测卷积特征图的按位置点乘以得到所述图像探测特征图；

所述通道注意力模块，包括：

多层卷积单元，用于将所述回波探测信号输入所述使用通道注意力机制的卷积神经网络模型的多层卷积层以得到回波探测卷积特征图；

全局均值单元，用于计算所述回波探测卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

激活单元，用于将所述通道特征向量输入Sigmoid激活函数以得到通道注意力权重向量；以及

加权单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述回波探测卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述回波探测特征图；

所述融合模块，包括：

融合单元，用于融合所述图像探测特征图和所述回波探测特征图以得到初始分类特征图；

展开单元，用于将所述初始分类特征图展开为分类特征向量；

优化单元，用于对所述分类特征向量进行向量的有序希尔伯特完备化以得到优化分类特征向量；以及

维度重构单元，用于将所述优化分类特征向量进行维度重构以得到所述分类特征图；

所述优化单元，具体用于：

以如下公式对所述分类特征向量进行向量的有序希尔伯特完备化以得到所述优化分类特征向量；

其中，所述公式为：

其中，V和V’分别是所述分类特征向量和所述优化分类特征向量，V^T是所述分类特征向量的转置向量，表示所述分类特征向量的二范数的平方，V_order是所述分类特征向量的各特征值按大小次序排列的有序向量，且所述分类特征向量是列向量形式，表示向量相乘，⊙表示按位置点乘。