CN116189107A - 无人机高速公路监控方法、无人机和存储介质 - Google Patents

Abstract

本申请涉及一种无人机高速公路监控方法、无人机和存储介质。该方法包括：获取在当前时刻巡航采集到的实时视频数据；对实时视频数据进行视频图像处理，得到对应的视频图像序列；对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。采用本方法能够利用无人机在高速公路上巡航，能够全路段覆盖监控，提高高速公路的监控全面性。

Description

无人机高速公路监控方法、无人机和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种无人机高速公路监控方法、无人机和存储介质。

背景技术

随着社会经济的快速增长以及交通运输量的日益提高，高速公路建设发展，高速公路的建设提升了城市间运输效率，但是高速公路上发生的安全问题也随着增长，由于驾驶员不文明驾驶行为，如超速、违停等，引起大量事故。而现有的高速公路场景下的交通信息监测通常是利用固定位置的视频设备来实现，比如路侧的定点测速设备，高点视频监控设备等，但是这种利用视频设备来进行高速公路的交通信息监测，监测范围有限，导致高速公路的交通信息监测出现局限性。

发明内容

基于此，有必要针对上述技术问题，提供一种无人机高速公路监控方法、无人机和存储介质，利用无人机在高速公路上巡航，能够全路段覆盖监控，提高高速公路的监控全面性。

一种无人机高速公路监控方法，该方法包括：

获取在当前时刻巡航采集到的实时视频数据；

对实时视频数据进行视频图像处理，得到对应的视频图像序列；

对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

在其中一个实施例中，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息，包括：获取预先训练好的交通事故检测模型，将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息。

在其中一个实施例中，交通事故检测模型包括特征提取网络和特征分类网络，将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息，包括：对视频图像序列进行图像大小统一处理，得到处理后的视频图像序列，将处理后的视频图像序列输入至特征提取网络，通过特征提取网络对视频图像序列中的交通事故进行特征提取，得到交通事故对应的特征，将交通事故对应的特征输入至特征分类网络，通过特征分类网络对特征进行分类，输出交通事故信息。

在其中一个实施例中，上述方法还包括：对视频图像序列中的行人进行检测，得到对应的行人检测结果，对视频图像序列中的车辆进行识别，得到对应的车辆，对车辆进行状态追踪，得到车辆异常状态信息，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备。

在其中一个实施例中，对车辆进行状态追踪，得到车辆异常状态信息，包括：获取车辆在当前时刻对应的预测行驶轨迹位置，获取车辆在当前时刻对应的当前行驶轨迹位置，在当前行驶轨迹位置和预测行驶轨迹位置不匹配时，确定车辆的状态出现异常，得到车辆异常状态信息。

在其中一个实施例中，获取车辆在当前时刻对应的预测行驶轨迹位置，包括：获取在上一时刻巡航采集到的视频图像序列，根据上一时刻的视频图像序列中车辆对应的历史行驶轨迹位置预测得到车辆在当前时刻对应的预测行驶轨迹位置。

在其中一个实施例中，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备，包括：接收到无人机悬停指令，响应无人机悬停指令，在无人机成功悬停时，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的交通管理平台所在的设备中和/或与无人机通信的无人机管理平台所在的设备中，将交通事故信息、行人检测结果和车辆异常状态信息广播至视频图像序列中与无人机通信的其他车辆对应的车载终端中。

在其中一个实施例中，对视频图像序列中的行人进行检测，得到对应的行人检测结果，包括：获取预先训练好的行人检测模型，将视频图像序列输入至行人检测模型中，通过行人检测模型对视频图像序列中的行人进行检测，输出视频图像序列对应的行人检测结果。

在其中一个实施例中，对视频图像序列中的车辆进行识别，得到对应的车辆，包括：获取预先训练好的车辆检测模型，将视频图像序列输入至车辆检测模型中，通过车辆检测模型对视频图像序列中的车辆进行识别，输出与视频图像序列中的车辆。

一种无人机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取在当前时刻巡航采集到的实时视频数据；

对实时视频数据进行视频图像处理，得到对应的视频图像序列；

对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取在当前时刻巡航采集到的实时视频数据；

对实时视频数据进行视频图像处理，得到对应的视频图像序列；

对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

上述无人机高速公路监控方法、无人机和存储介质，获取无人机在当前时刻巡航采集到的实时视频数据，对实时视频数据进行视频图像处理，得到视频图像序列，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。其中，可以通过无人机在高速公路上进行巡航飞行，识别出高速公路在当前时刻发生的交通事故，相对于现有技术的固定路段的摄像头监测，无人机能够全路段覆盖监控，监测范围大，提高高速公路的监控全面性。

附图说明

图1为一个实施例中无人机高速公路监控方法的应用环境图；

图2为一个实施例中无人机高速公路监控方法的流程示意图；

图3为一个实施例中无人机高速公路监控方法的系统架构图；

图4为一个实施例中无人机的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的无人机高速公路监控方法，可以应用于如图1所示的应用环境中。其中，无人机102通过网络与服务器104进行通信，还可以通过网络与终端106进行通信，以及通过网络与车载终端108进行通信。其中，终端106可以但不限于是各种与无人机通信的个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，车载终端108是与无人机102通信的车辆所安装的终端设备，服务器106还可以是与无人机102通信的独立的服务器或者是多个服务器组成的服务器集群。

具体地，无人机102获取在当前时刻巡航采集到的视频图像序列，对视频图像序列进行对实时视频数据进行视频图像处理，得到对应的视频图像序列，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。最后，无人机102可以将交通事故信息广播至与无人机通信的服务器104、终端106和车载终端108中的至少一种设备中。

在一个实施例中，如图2所示，提供了一种无人机高速公路监控方法，以该方法应用于图1中的无人机为例进行说明，包括以下步骤：

步骤202，获取在当前时刻巡航采集到的实时视频数据。

其中，无人机全称为无人驾驶飞机，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作，无人机主要具有感知系统、数据处理模块和通信模块，感知系统可以包括但不限于位姿传感器、GPS传感器、前向摄像头、后向摄像头和侧向摄像头。其中，无人机在巡航时，可以通过位姿传感器和GPS传感器获取无人机的位姿以及位置信息，通过前向摄像头采集得到视频数据，通过后向摄像头和侧向摄像头获取无人机周围的环境。

具体地，当前时刻是无人机巡航时的任一时刻，或者是根据高速公路的路段来确定当前时刻，例如，将高速公路的某一路段所需的行驶时间确定为当前时刻，或者还可以根据实际业务需求、实际产品需求或实际应用场景确定当前时刻，通过无人机的感知系统获取在当前时刻巡航采集到的视频数据。

步骤204，对实时视频数据进行视频图像处理，得到对应的视频图像序列。

其中，在得到实时视频数据后，可以将动态的实时视频数据进行视频图像处理，得到连续静态的视频图像序列。具体地，可以使用视频图像处理算法将实时视频数据进行处理，得到视频图像序列，或者可以从实时视频数据中提取多帧视频图像，组成视频图像序列。其中，视频图像序列可以以数据集的形式存储，更方便视频图像序列中各视频图像的后续调取与处理。

步骤206，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

其中，交通事故是车辆在道路上因过错或者意外造成人身伤亡或者财产损失的事件，交通事故不仅是由不特定的人员违反道路交通安全法规造成的，也可以是由于地震、台风、山洪、雷击等不可抗拒的自然灾害造成，与交通事故相关的所有信息组成交通事故信息，包括但不限于交通事故类型、交通事故位置等。

具体地，可以对视频图像序列中进行交通事故识别，识别视频图像序列中是否发生交通事故，得到交通事故信息。其中，识别视频图像序列中是否发生交通事故，可以先对视频图像序列中的各视频图像进行特征提取，根据提取出的特征判断是否是交通事故对应的特征，如果是，则得到交通事故信息。在一个实施例中，还可以通过预先训练好的交通事故检测模型对视频图像序列的交通事故检测，输出交通事故信息。

上述无人机高速公路监控方法中，获取无人机在当前时刻巡航采集到的实时视频数据，对实时视频数据进行视频图像处理，得到视频图像序列，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。其中，可以通过无人机在高速公路上进行巡航飞行，检测高速公路在当前时刻发生的交通事故，相对于现有技术的固定路段的摄像头监测，无人机能够全路段覆盖监控，监测范围大，提高高速公路的监控全面性。

在一个实施例中，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息，包括：

获取预先训练好的交通事故检测模型；

将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息。

其中，交通事故检测模型是用来检测视频图像中的交通事故的，可以预先通过大量携带交通事故标签的图像进行训练得到，不断地调整交通事故检测模型的模型参数，直至得到训练好的交通事故检测模型，并进行存储。

具体地，读取预先训练好的交通事故检测模型，将视频图像序列输入至交通事故检测模型中，交通事故检测模型对视频图像序列中的各视频图像进行交通事故的特征提取，再对提取出的特征进行定位和分类，确定交通事故，输出与交通事故相关的交通事故信息。

在一个实施例中，交通事故检测模型包括特征提取网络和特征分类网络，将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息，包括：

对视频图像序列进行图像大小统一处理，得到处理后的视频图像序列；

将处理后的视频图像序列输入至特征提取网络，通过特征提取网络对视频图像序列中的交通事故进行特征提取，得到交通事故对应的特征；

将交通事故对应的特征输入至特征分类网络，通过特征分类网络对特征进行分类，输出交通事故信息。

其中，交通事故检测模型包括特征提取网络和特征分类网络，特征提取网络是用来提取视频图像序列中的交通事故对应的特征，而特征分类网络是与特征提取网络连接的，是用来对提取出的特征进行定位和分类的。

其中，为了提高视频图像序列的识别准确率，因此在将视频图像序列输入至交通事故检测模型之前，需要对视频图像序列进行预处理，预处理可以是对视频图像序列中的各视频图像的大小进行统一处理，将各视频图像的大小调整为统一大小，得到处理后的视频图像序列。

具体地，将视频图像序列输入至交通事故检测模型中，交通事故检测模型的特征提取网络对视频图像序列中的各视频图像进行特征提取，再通过特征分类网络对提取出的特征进行定位和分类，确定交通事故，输出与交通事故相关的所有信息，得到交通事故信息。其中，交通事故包括车车交通事故和人车交通事故，车车交通事故是至少两辆车发生碰撞或者擦碰产生的交通事故，人车交通事故是车辆与人发生碰撞或者擦碰产生的交通事故。

在一个具体的实施例中，交通事故检测模型可以是基于YOLOV4检测算法，YOLOV4检测算法首先将输入的图像序列进行预处理，将图像序列中的各图像调整为统一大小，作为训练交通事故检测模型的输入，然后通过交通事故检测模型的特征提取网络对图像中的交通事故进行特征提取，最后将提取到的特征再送入特征分类网络中进行分类和定位，通过不断调整参数对交通事故检测模型进行训练，直至得到预先训练好的交通事故检测模型。进一步地，训练好的交通事故检测模型可以直接用来对高速公路的视频图像序列进行交通事故实时检测，识别出高速公路上的交通事故。

在一个实施例中，方法还包括：

对视频图像序列中的行人进行检测，得到对应的行人检测结果；

对视频图像序列中的车辆进行识别，得到对应的车辆；

对车辆进行状态追踪，得到车辆异常状态信息；

将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备。

其中，高速公路上除了交通事故外，出现行人或者车辆异常都是属于高速公路上的危险行为，都有可能造成不可挽回的安全问题，因此，在得到视频图像序列后，还可以对视频图像序列中的行人和车辆进行识别。

具体地，对视频图像序列中各视频图像中是否出现行人进行检测，得到行人检测结果，具体可以是，可以通过预先训练好的行人检测模型对视频图像序列中的各视频图像进行行人检测，检测各视频图像中是否出现行人，输出行人检测结果。

在一个实施例中，对视频图像序列中的行人进行检测，得到对应的行人检测结果，包括：获取预先训练好的行人检测模型，将视频图像序列输入至行人检测模型中，通过行人检测模型对视频图像序列中的行人进行检测，输出视频图像序列对应的行人检测结果。其中，这里的行人检测模型是用来检测图像中的行人的，可以通过大量携带行人标签的图像进行预先训练得到。然后应用的时候，将视频图像序列输入至预先训练好的行人检测模型中，通过行人检测模型对视频图像序列进行特征提取，根据提取出的特征确定是否是行人，输出行人检测结果。

进一步地，还可以对视频图像序列中各视频图像的车辆进行识别，得到车辆，进一步通过对车辆的状态进行追踪，当追踪到车辆的异常状态，确定异常车辆，将该异常车辆相关的所有信息组成车辆异常状态信息，异常状态包括但不限于车辆出现自身的故障导致行驶异常，例如抛锚、刹车失灵等。而车辆异常状态信息包括车辆位置、车辆速度、车辆目前情况等等。

在一个实施例中，对视频图像序列中的车辆进行识别，得到对应的车辆，包括：获取预先训练好的车辆检测模型，将视频图像序列输入至车辆检测模型中，通过车辆检测模型对视频图像序列中的车辆进行识别，输出与视频图像序列中的车辆，具体可以是通过预先训练好的车辆检测模型对视频图像序列中的各视频图像进行车辆检测，得到车辆。其中，可以预先训练车辆检测模型，通过大量携带车辆标签的图像对车辆检测模型进行训练，得到训练好的车辆检测模型。在应用的时候，可以直接将视频图像序列输入至训练好的车辆检测模型，车辆检测模型对视频图像序列进行特征提取，根据提取出的特征进行分类，得到视频图像序列中的车辆。

在一个具体的实施例中，车辆的状态追踪可以基于DeepSORT跟踪算法，主要用于对识别的多个车辆进行状态跟踪，在检测到高速公路上的多个车辆后，通过卡尔曼滤波算法预测目标车辆在视频图像序列上的轨迹位置并进行特征匹配，然后通过级联匹配与IOU回归，对车辆的状态进行跟踪，确定该车辆是否出现异常状态。

最后，在得到交通事故信息、行人检测结果和车辆异常状态信息后，无人机可以将交通事故信息、行人检测结果和车辆异常状态信息广播至与其通信的目标设备中，目标设备可以是交通管理平台所在的设备、无人机管理平台所在的设备、目标车辆对应的车载终端。其中，目标设备可以与无人机的通信模块进行通信。其中，当目标设备为目标车辆的车载终端时，与无人机可以是通过V2V通信，V2V通信是为了防止事故发生，通过专设的网络发送异常交通信息至目标车辆对应的车载终端。

在一个实施例中，对车辆进行状态追踪，得到车辆异常状态信息，包括：

获取车辆在当前时刻对应的预测行驶轨迹位置；

获取车辆在当前时刻对应的当前行驶轨迹位置；

在当前行驶轨迹位置和预测行驶轨迹位置不匹配时，确定车辆的状态出现异常，得到车辆异常状态信息。

其中，对车辆进行状态追踪，可以是通过车辆在当前时刻的当前行驶轨迹位置与对应的预测行驶轨迹位置是否匹配，来确定车辆的状态是否出现异常。

具体地，获取当前时刻，该车辆对应的预测行驶轨迹位置，其中，预测行驶轨迹位置是根据车辆在上一时刻的历史行驶轨迹位置进行预测得到的，用来检测车辆在当前时刻的当前行驶轨迹位置是否正确的。

进一步地，获取车辆在当前时刻的视频图像序列中的行驶轨迹位置，可以通过车辆在当前时刻的视频图像序列中识别得到，比较车辆在当前时刻的当前行驶轨迹位置与预测行驶轨迹位置是否匹配，如果匹配，说明车辆在当前时刻的行驶轨迹位置是正确的，车辆状态也未出现异常，反之，如果不匹配，说明车辆在当前时刻的行驶轨迹位置不正确，车辆状态可能出现异常，因此，可以确定该车辆为异常车辆，车辆的状态出现异常。最后，将该车辆相关的所有信息组成车辆异常状态信息，包括但不限于车辆位置、车辆速度、车辆当前状态等等。

在一个实施例中，获取车辆在当前时刻对应的预测行驶轨迹位置，包括：

获取在上一时刻巡航采集到的视频图像序列；

根据上一时刻的视频图像序列中车辆对应的历史行驶轨迹位置预测得到车辆在当前时刻对应的预测行驶轨迹位置。

其中，车辆在当前时刻对应的预测行驶轨迹位置可以通过车辆在上一时刻的历史行驶轨迹位置预测得到，具体可以是，获取无人机在上一时刻巡航采集到的视频图像序列，对上一时刻的视频图像序列先进行车辆识别，得到车辆，获取车辆在上一时刻的视频图像序列中的历史行驶轨迹位置，根据该历史行驶轨迹位置进行预测，得到车辆在下一时刻(当前时刻)对应的预测行驶轨迹位置。其中，预测的过程中，可以考虑上一时刻中车辆的行驶位置、行驶速度、行驶状态、行驶方向、以及车辆与车辆之间的间距等因素。

在一个实施例中，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备，包括：

接收到无人机悬停指令，响应无人机悬停指令；

在无人机成功悬停时，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的交通管理平台所在的设备中和/或与无人机通信的无人机管理平台所在的设备中；

将交通事故信息、行人检测结果和车辆异常状态信息广播至视频图像序列中与无人机通信的其他车辆对应的车载终端中。

其中，在得到交通事故信息、行人检测结果和车辆异常状态信息后，可以将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备，而目标设备可以是但不限于无人机管理平台所在的设备、交通管理平台所在的设备或者是目标车辆对应的车载终端中，也可以是根据实际业务需求、实际产品需求或实际应用场景进行确定得到其他设备。

其中，在将当前时刻的交通事故信息、行人检测结果和车辆异常状态信息广播至目标设备时，需要控制无人机悬停，在无人机成功悬停时，通过无人机的通信模块将当前时刻的交通事故信息、行人检测结果和车辆异常状态信息广播出去。具体地，接收无人机悬停指令，无人机悬停指令是用来控制无人机悬停的，可以通过无人机设置定时事件触发生成，定时事件例如可以是检测到异常交通信息，或者是通过设置定时时间触发生成，例如可以是每一时刻进行一次悬停，又或者是通过无人机控制设备发送得到。

进一步地，接收到无人机悬停指令后，响应无人机悬停指令，进行无人机悬停，当无人机成功悬停时，通过无人机的通信模块将当前时刻对应的交通事故信息、行人检测结果和车辆异常状态信息广播至交通管理平台所在的设备中和/或与无人机通信的无人机管理平台所在的设备中，以及将交通事故信息、行人检测结果和车辆异常状态信息广播至视频图像序列中与无人机通信的其他车辆对应的车载终端中。其中，其他车辆可以为当前时刻的视频图像序列中相对于异常车辆处于前后位置的车辆，或者是当前时刻的视频图像序列中除了异常车辆之外的所有车辆。其中，无人机将当前时刻的异常交通信息广播至目标设备可以通过V2V通信，无人机中的通信模块为V2X通信模块。

在一个具体的应用场景中，如图3所示，图3示出一个实施例中无人机高速公路监控方法的系统架构图，包括无人机端、路端和车端三部分，无人机端主要由感知系统、数据处理模块和V2X通信模组三个部分组成。其中，感知系统中，通过位姿传感器以及GPS获取无人机的位姿以及位置信息，通过前向双目摄像头检测高速公路上的交通状况，通过后向以及侧向摄像头检测无人机周围的环境，防止碰撞。数据处理模块将感知的信息进行处理，当出现交通事故后，利用V2X通信模组，通过V2V通信，将交通事故发送至其他车辆的车载终端，防止交通进一步恶化，还可以通过V2N发送至基站，并转发至交通管理平台所在的设备和无人机管理平台所在的设备，对交通事故进行后台管理。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种无人机，其内部结构图可以如图4所示。该无人机包括通过系统总线连接的处理器、存储器和网络接口。其中，该无人机的处理器用于提供计算和控制能力。该无人机的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该无人机的网络接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机高速公路监控方法。

图4所示的无人机仅是一个示例，并且无人机可以具有比图4中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。

在一个实施例中，提供了一种无人机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取在当前时刻巡航采集到的实时视频数据，对实时视频数据进行视频图像处理，得到对应的视频图像序列，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的交通事故检测模型，将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息。

在一个实施例中，交通事故检测模型包括特征提取网络和特征分类网络，处理器执行计算机程序时还实现以下步骤：对视频图像序列进行图像大小统一处理，得到处理后的视频图像序列，将处理后的视频图像序列输入至特征提取网络，通过特征提取网络对视频图像序列中的交通事故进行特征提取，得到交通事故对应的特征，将交通事故对应的特征输入至特征分类网络，通过特征分类网络对特征进行分类，输出交通事故信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对视频图像序列中的行人进行检测，得到对应的行人检测结果，对视频图像序列中的车辆进行识别，得到对应的车辆，对车辆进行状态追踪，得到车辆异常状态信息，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取车辆在当前时刻对应的预测行驶轨迹位置，获取车辆在当前时刻对应的当前行驶轨迹位置，在当前行驶轨迹位置和预测行驶轨迹位置不匹配时，确定车辆的状态出现异常，得到车辆异常状态信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取在上一时刻巡航采集到的视频图像序列，根据上一时刻的视频图像序列中车辆对应的历史行驶轨迹位置预测得到车辆在当前时刻对应的预测行驶轨迹位置。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收到无人机悬停指令，响应无人机悬停指令，在无人机成功悬停时，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的交通管理平台所在的设备中和/或与无人机通信的无人机管理平台所在的设备中，将交通事故信息、行人检测结果和车辆异常状态信息广播至视频图像序列中与无人机通信的其他车辆对应的车载终端中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的行人检测模型，将视频图像序列输入至行人检测模型中，通过行人检测模型对视频图像序列中的行人进行检测，输出视频图像序列对应的行人检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的车辆检测模型，将视频图像序列输入至车辆检测模型中，通过车辆检测模型对视频图像序列中的车辆进行识别，输出与视频图像序列中的车辆。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取在当前时刻巡航采集到的实时视频数据，对实时视频数据进行视频图像处理，得到对应的视频图像序列，对视频图像序列中的交通事故进行识别，得到当前时刻对应的交通事故信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的交通事故检测模型，将视频图像序列输入至交通事故检测模型中，通过交通事故检测模型对视频图像序列中的交通事故进行检测，输出视频图像序列中的交通事故信息。

在一个实施例中，交通事故检测模型包括特征提取网络和特征分类网络，处理器执行计算机程序时还实现以下步骤：对视频图像序列进行图像大小统一处理，得到处理后的视频图像序列，将处理后的视频图像序列输入至特征提取网络，通过特征提取网络对视频图像序列中的交通事故进行特征提取，得到交通事故对应的特征，将交通事故对应的特征输入至特征分类网络，通过特征分类网络对特征进行分类，输出交通事故信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对视频图像序列中的行人进行检测，得到对应的行人检测结果，对视频图像序列中的车辆进行识别，得到对应的车辆，对车辆进行状态追踪，得到车辆异常状态信息，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的目标设备。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取车辆在当前时刻对应的预测行驶轨迹位置，获取车辆在当前时刻对应的当前行驶轨迹位置，在当前行驶轨迹位置和预测行驶轨迹位置不匹配时，确定车辆的状态出现异常，得到车辆异常状态信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取在上一时刻巡航采集到的视频图像序列，根据上一时刻的视频图像序列中车辆对应的历史行驶轨迹位置预测得到车辆在当前时刻对应的预测行驶轨迹位置。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收到无人机悬停指令，响应无人机悬停指令，在无人机成功悬停时，将交通事故信息、行人检测结果和车辆异常状态信息广播至与无人机通信的交通管理平台所在的设备中和/或与无人机通信的无人机管理平台所在的设备中，将交通事故信息、行人检测结果和车辆异常状态信息广播至视频图像序列中与无人机通信的其他车辆对应的车载终端中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的行人检测模型，将视频图像序列输入至行人检测模型中，通过行人检测模型对视频图像序列中的行人进行检测，输出视频图像序列对应的行人检测结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先训练好的车辆检测模型，将视频图像序列输入至车辆检测模型中，通过车辆检测模型对视频图像序列中的车辆进行识别，输出与视频图像序列中的车辆。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无人机高速公路监控方法，所述方法应用于无人机，包括：

获取在当前时刻巡航采集到的实时视频数据；

对所述实时视频数据进行视频图像处理，得到对应的视频图像序列；

对所述视频图像序列中的交通事故进行识别，得到所述当前时刻对应的交通事故信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频图像序列中的交通事故进行识别，得到所述当前时刻对应的交通事故信息，包括：

获取预先训练好的交通事故检测模型；

将所述视频图像序列输入至所述交通事故检测模型中，通过所述交通事故检测模型对所述视频图像序列中的交通事故进行检测，输出所述视频图像序列中的交通事故信息。

3.根据权利要求2所述的方法，其特征在于，所述交通事故检测模型包括特征提取网络和特征分类网络，所述将所述视频图像序列输入至所述交通事故检测模型中，通过所述交通事故检测模型对所述视频图像序列中的交通事故进行检测，输出所述视频图像序列中的交通事故信息，包括：

对所述视频图像序列进行图像大小统一处理，得到处理后的视频图像序列；

将处理后的所述视频图像序列输入至所述特征提取网络，通过所述特征提取网络对所述视频图像序列中的交通事故进行特征提取，得到所述交通事故对应的特征；

将所述交通事故对应的特征输入至所述特征分类网络，通过所述特征分类网络对所述特征进行分类，输出交通事故信息。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

对所述视频图像序列中的行人进行检测，得到对应的行人检测结果；

对所述视频图像序列中的车辆进行识别，得到对应的车辆；

对所述车辆进行状态追踪，得到车辆异常状态信息；

将所述交通事故信息、所述行人检测结果和所述车辆异常状态信息广播至与所述无人机通信的目标设备。

5.根据权利要求4所述的方法，其特征在于，所述对所述车辆进行状态追踪，得到车辆异常状态信息，包括：

获取所述车辆在所述当前时刻对应的预测行驶轨迹位置；

获取所述车辆在所述当前时刻对应的当前行驶轨迹位置；

在所述当前行驶轨迹位置和所述预测行驶轨迹位置不匹配时，确定所述车辆的状态出现异常，得到车辆异常状态信息。

6.根据权利要求5所述的方法，其特征在于，所述获取所述车辆在所述当前时刻对应的预测行驶轨迹位置，包括：

获取在上一时刻巡航采集到的视频图像序列；

根据所述上一时刻的视频图像序列中所述车辆对应的历史行驶轨迹位置预测得到所述车辆在所述当前时刻对应的预测行驶轨迹位置。

7.根据权利要求4所述的方法，其特征在于，所述将所述交通事故信息、所述行人检测结果和所述车辆异常状态信息广播至与所述无人机通信的目标设备，包括：

接收到无人机悬停指令，响应所述无人机悬停指令；

在所述无人机成功悬停时，将所述交通事故信息、所述行人检测结果和所述车辆异常状态信息广播至与所述无人机通信的交通管理平台所在的设备中和/或与所述无人机通信的无人机管理平台所在的设备中；

将所述交通事故信息、所述行人检测结果和所述车辆异常状态信息广播至所述视频图像序列中与所述无人机通信的其他车辆对应的车载终端中。

8.根据权利要求4所述的方法，其特征在于，所述对所述视频图像序列中的行人进行检测，得到对应的行人检测结果，包括：

获取预先训练好的行人检测模型；

将所述视频图像序列输入至所述行人检测模型中，通过所述行人检测模型对所述视频图像序列中的行人进行检测，输出所述视频图像序列对应的行人检测结果；

所述对所述视频图像序列中的车辆进行识别，得到对应的车辆，包括：

获取预先训练好的车辆检测模型；

将所述视频图像序列输入至所述车辆检测模型中，通过所述车辆检测模型对所述视频图像序列中的车辆进行识别，输出与所述视频图像序列中的车辆。

9.一种无人机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images