CN113743262A

CN113743262A - 目标区域车辆跟踪方法、装置、计算机设备和存储介质

Info

Publication number: CN113743262A
Application number: CN202110969527.5A
Authority: CN
Inventors: 李中振; 潘华东; 殷俊; 高美; 冯长驹
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2021-12-03

Abstract

本申请涉及视频处理领域，特别是涉及一种目标区域车辆跟踪方法、装置、计算机设备和存储介质，所述方法包括：获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间；当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆；若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。本发明能够更准确的获得目标车辆在目标区域的停留时间。

Description

目标区域车辆跟踪方法、装置、计算机设备和存储介质

技术领域

本申请涉及视频处理领域，特别是涉及一种目标区域车辆跟踪方法、装置、计算机设备和存储介质。

背景技术

现有技术中通过视频监控对目标区域中的的目标车辆进行跟踪检测，例如对目标消防通道中的目标车辆进行跟踪检测，来获取其在目标消防通道中的停留时间。在目标车辆的跟踪检测过程中，可能存在因为遮挡而导致目标车辆的跟踪丢失的情况，当再次检测到目标车辆时，将其作为不同于上一次检测到的目标车辆，从而会导致目标车辆在目标区域中的停留时间的判断不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种目标区域车辆跟踪方法、装置、计算机设备和存储介质。

第一方面，本发明实施例提出一种目标区域车辆跟踪方法，所述方法包括：

获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间；

当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆；

若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。

在一实施例中，所述目标区域是包含预设类型车辆的预设车辆通道的区域，所述第一目标车辆和所述第二目标车辆是除所述预设类型车辆之外的车辆；所述方法还包括：

基于更新后的停留时间与预设的时间阈值的大小关系，确定所述预设车辆通道的通行状态。

在一实施例中，所述预设车辆类型包括消防车，所述预设车辆通道包括消防通道。

在一实施例中，所述确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆包括：

基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息；

基于所述待处理视频，提取所述第二目标车辆的特征，得到第二特征信息；

基于第一特征信息和第二特征信息的匹配关系，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆。

在一实施例中，所述基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息包括：

将所述待处理视频进行分帧处理，得到各视频帧；

从各视频帧中选取包含所述第一目标车辆的待处理视频帧；

基于获取的所述待处理视频帧的图像参数与预设的参数阈值的比较结果，选取待提取视频帧；

基于提取的所述待提取视频帧中第一目标车辆的特征，利用多帧投票方法获得第一特征信息。

在一实施例中，所述基于更新后的停留时间与预设的时间阈值的大小关系，确定所述预设车辆通道的通行状态包括：

若更新后的停留时间大于预设的时间阈值，则确定所述预设车辆通道的通行状态为车辆违停状态。

在一实施例中，还包括：

若所述预设车辆通道为车辆违停状态，则基于所述第一目标车辆提取的第一特征信息和所述停留时间进行报警。

在一实施例中，在所述获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息之前，还包括：

将所述待处理视频进行分帧处理，得到各视频帧；

基于构建的通道场景语义分割模型，确定所述各视频帧中的分割目标；

基于所述分割目标，确定所述各视频帧中的目标区域。

第二方面，本发明实施例提出一种目标区域车辆跟踪装置，所述装置包括：

第一确定模块，用于获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间；

第二确定模块，用于当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆；

第三确定模块，用于若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。

第三方面，本发明实施例提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

第四方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

上述方法、装置、计算机设备和存储介质，通过获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间；当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆；若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。本发明针对第一跟踪信息在目标区域中丢失的情况，在重新获取到第二目标车辆的第二跟踪信息时，通过判断第一目标车辆与第二目标车辆是否为同一目标车辆来确定停留时间，因此能够更准确的获得目标车辆在目标区域的停留时间。

附图说明

图1为一个实施例中目标区域车辆跟踪方法的应用环境图；

图2为一个实施例中目标区域车辆跟踪方法的流程示意图；

图3为一个实施例中同一目标车辆确定方法的流程示意图；

图4为一个实施例中第一特征信息提取方法的流程示意图；

图5为一个实施例中目标区域确定方法的流程示意图；

图6为一个实施例中目标区域车辆跟踪方法的整体流程示意图；

图7为一个实施例中目标区域车辆跟踪装置的结构示意图；

图8为一个实施例中一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种目标区域车辆跟踪方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102首先获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间，当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆，若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间，终端102再将停留时间发送到服务器104。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供了一种目标区域车辆跟踪方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202：获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间。

其中，待处理视频通过目标区域中的监控装置获取，监控装置对整个目标区域进行监控。

在本实施例中，将待处理视频分帧处理得到各视频帧，再利用车辆识别模型识别出待处理视频中的目标区域中存在的第一目标车辆，再利用目标检测框对第一目标车辆进行跟随。其中，第一跟踪信息包括第一目标车辆的检测框等信息。

根据第一跟踪信息可以确定出现第一目标车辆的第一帧视频帧，每帧视频帧都有对应的时间，从而根据第一跟踪信息可以得到第一目标车辆在目标区域中的停留时间。

S204：当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆。

可以理解的是，由于第一目标车辆被遮挡等原因可能会导致第一跟踪信息在目标区域中丢失。其中一种情况是第一目标车辆还在目标区域中，另外一种情况是第一目标车辆被遮挡之后驶出了目标区域。因此，当在待处理视频所包含的目标区域中重新获取到第二目标车辆的第二跟踪信息时并不能确定第二目标车辆就是第一目标车辆，所以需要确定第一目标车辆与第二目标车辆是否为同一目标车辆。

当第一跟踪信息在目标区域外丢失，则确定第一目标车辆已驶出目标区域。

其中，第二目标车辆和第二跟踪信息的获取方法和第一目标车辆和第一跟踪信息的获取方法相同，因此不再赘述。

S206：若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。

若确定第一目标车辆与第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在目标区域中的停留时间，得到第一目标车辆在目标区域中的总停留时间。若确定第一目标车辆与第二目标车辆为不同目标车辆，则获取第二目标车辆在目标区域中的停留时间。

在本实施例中，针对第一跟踪信息在目标区域中丢失的情况，在下一次重新获取到第二目标车辆的第二跟踪信息时，通过判断第一目标车辆与第二目标车辆是否为同一目标车辆来确定停留时间，因此能够更准确的获得目标车辆在目标区域的停留时间。

在一实施例中，如图3所示，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆包括以下步骤：

S302：基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息；

S304：基于所述待处理视频，提取所述第二目标车辆的特征，得到第二特征信息；

S306：基于第一特征信息和第二特征信息的匹配关系，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆。

在本实施例中，若第一特征信息和第二特征信息匹配，则确定第一目标车辆与第二目标车辆为同一目标车辆；若第一特征信息和第二特征信息不匹配，则确定第一目标车辆与第二目标车辆为不同目标车辆。

在一实施例中，第一特征信息和第二特征信息包括车辆位置信息、车牌信息以及车辆属性信息等。其中，车辆属性信息指的是车辆是否属于消防车辆。

根据目标车辆在视频帧中目标区域的位置确定目标车辆在实际目标区域的位置，从而得到车辆位置信息。

基于待处理视频，利用训练的模型提取其中目标车辆的车牌特征，从而得到车牌信息。

基于待处理视频，利用训练的模型提取其中目标车辆的车辆属性特征，从而得到车辆属性信息。

当第一特征信息中的任一项信息与第二特征信息中的任一项信息相匹配时，就能够确定第一目标车辆与第二目标车辆为同一目标车辆。

在一实施例中，如图4所示，基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息包括以下步骤：

S402：将所述待处理视频进行分帧处理，得到各视频帧；

S404：从各视频帧中选取包含所述第一目标车辆的待处理视频帧；

S406：基于获取的所述待处理视频帧的图像参数与预设的参数阈值的比较结果，选取待提取视频帧；

S408：基于提取的所述待提取视频帧中第一目标车辆的特征，利用多帧投票方法获得第一特征信息。

考虑到并不是所有视频帧都能够清晰的记录第一目标车辆的特征，因此在本实施例中，通过获取的待处理视频帧的图像参数与预设的参数阈值的比较结果，选取足够清晰的待提取视频帧，从而提高第一特征信息的准确度，从而提高目标消防通道的状态判断的准确度。其中，图像参数包括清晰度、角度等参数。

将各帧待提取视频帧分别输入建立好的特征提取模型中，并利用多帧投票方法获取置信度最大的特征作为第一特征信息。

可以理解的是，第二特征信息的提取方法和第一特征信息的提取方法相同，因此不再赘述。

在一实施例中，目标区域是包含预设类型车辆的预设车辆通道的区域，第一目标车辆和所述第二目标车辆是除所述预设类型车辆之外的车辆；所述方法还包括以下步骤：

S208：基于更新后的停留时间与预设的时间阈值的大小关系，确定所述预设车辆通道的通行状态。

其中，预设车辆通道的状态包括车辆违停状态以及正常状态。若更新后的停留时间大于预设的时间阈值，则确定目标消防通道处于违停状态，反之，则处于正常状态。

在本实施例中，因为能够更准确的获得目标车辆在预设车辆通道的停留时间，从而能够更准确的判断预设车辆通道的状态。

可以理解的是，预设车辆通道可以是消防通道，基于更新后的目标车辆的停留时间与预设的时间阈值的大小关系，来确定所述消防通道的通行状态。

可以理解的是，预设车辆通道还可以是其他车辆通道，例如公交车专用车道，基于更新后的目标车辆的停留时间与预设的时间阈值的大小关系，来确定公交车专用车道的通行状态。

在一实施例中，在基于第一跟踪信息确定所述第一目标车辆在目标区域中的停留时间之后，还包括以下步骤：

S203：将所述第一目标车辆在预设车辆通道中的停留时间与预设的时间阈值比较，确定预设车辆通道的通行状态。

在第一跟踪信息在在预设车辆通道中丢失之前，就将第一目标车辆在在预设车辆通道中的停留时间与预设的时间阈值比较，确定在预设车辆通道的状态。

在一实施例中，若预设车辆通道为车辆违停状态，则基于第一特征信息和所述停留时间进行报警。报警信息中包括第一特征信息以及停留时间等。

当预设车辆通道为车辆违停状态时，上传报警信息。根据报警信息对目标消防通道中的目标车辆进行疏导。

报警信息中包括第一特征信息以及停留时间，因此能够更准确的了解目标消防通道中目标车辆的实际情况，以采取针对性的行动。

在一实施例中，在所述获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息之前，还包括步骤：

S201：基于所述待处理视频，确定所述待处理视频中的目标区域。

具体的，如图5所示，包括以下步骤：

S502：将所述待处理视频进行分帧处理，得到各视频帧；

S504：基于构建的通道场景语义分割模型，确定所述各视频帧中的分割目标；

S506：基于所述分割目标，确定所述各视频帧中的目标区域。

采用带孔卷积和注意力机制的轻量级基线网络、空间金字塔、细节保留网络和特征融合网络等构成通道场景语义分割模型，获得天空、道路、道路线等分割目标，从而确定各视频帧中的目标区域，采用本方法可以快速准确的确定各视频帧中的目标区域。

可以理解的是，也可以采用不同的检测方法确定各视频帧中的目标区域。在另一实施例中，对视频帧中的违停网状标识进行检测，从而确定各视频帧中的目标区域。在另一实施例中，采用文字识别方法，通过对消防通道、生命通道等关键字进行识别，从而确定各视频帧中的目标区域。

图6为目标区域车辆跟踪方法的整体流程图，如图6所示，首先根据待处理视频确定目标区域以及第一目标车辆，获取第一目标车辆在目标消防通道的停留时间以及获取第一目标车辆的第一特征信息。根据停留时间确定是否符合违停条件，若是，则进行违停报警；若否，则判断第一目标车辆是否正常驶出，若否，则获取第二目标车辆的第二特征信息，若第一特征信息与第二特征信息匹配，则判断为同一目标车辆，并更新违停时间。

可以理解的是，当所述第二跟踪信息在所述目标区域中丢失时，重复上述同一目标车辆的判断方法，直到两次检测到的目标车辆为不同目标车辆。

应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一实施例中，如图7所示，本发明提供了一种目标区域车辆跟踪装置，所述装置包括：

第一确定模块702，用于获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息，并基于第一跟踪信息确定所述第一目标车辆在所述目标区域中的停留时间；

第二确定模块704，用于当所述第一跟踪信息在所述目标区域中丢失，且在待处理视频所包含的目标区域中获取到第二目标车辆的第二跟踪信息时，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆；

第三确定模块706，用于若确定所述第一目标车辆与所述第二目标车辆为同一目标车辆，则基于第二跟踪信息更新第一目标车辆在所述目标区域中的停留时间。

在一实施例中，所述目标区域是包含预设类型车辆的预设车辆通道的区域，所述第一目标车辆和所述第二目标车辆是除所述预设类型车辆之外的车辆；所述装置还包括：

第四确定模块，用于基于更新后的停留时间与预设的时间阈值的大小关系，确定所述预设车辆通道的通行状态。

在一实施例中，第二确定模块包括：

第一特征提取模块，用于基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息；

第二特征提取模块，用于基于所述待处理视频，提取所述第二目标车辆的特征，得到第二特征信息；

第二确定子模块，用于基于第一特征信息和第二特征信息的匹配关系，确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆。

在一实施例中，所述第一特征提取模块具体用于：

将所述待处理视频进行分帧处理，得到各视频帧；

从各视频帧中选取包含所述第一目标车辆的待处理视频帧；

在一实施例中，所述第三确定模块具体用于：

在一实施例中，还包括：

报警模块，用于若所述预设车辆通道为车辆违停状态，则基于所述第一目标车辆提取的第一特征信息和所述停留时间进行报警。

在一实施例中，还包括第五确定模块，所述第五确定模块具体用于：

将所述待处理视频进行分帧处理，得到各视频帧；

基于所述分割目标，确定所述各视频帧中的目标区域。

关于目标区域车辆跟踪装置的具体限定可以参见上文中对于目标区域车辆跟踪方法的限定，在此不再赘述。上述目标区域车辆跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储动作检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一项目标区域车辆跟踪方法实施例中的步骤。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项目标区域车辆跟踪方法实施例中的步骤。

在一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项目标区域车辆跟踪方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种目标区域车辆跟踪方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标区域是包含预设类型车辆的预设车辆通道的区域，所述第一目标车辆和所述第二目标车辆是除所述预设类型车辆之外的车辆；

所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述预设车辆类型包括消防车，所述预设车辆通道包括消防通道。

4.根据权利要求1所述的方法，其特征在于，所述确定所述第一目标车辆与所述第二目标车辆是否为同一目标车辆包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述待处理视频，提取所述第一目标车辆的特征，得到第一特征信息包括：

将所述待处理视频进行分帧处理，得到各视频帧；

从各视频帧中选取包含所述第一目标车辆的待处理视频帧；

6.根据权利要求2所述的方法，其特征在于，所述基于更新后的停留时间与预设的时间阈值的大小关系，确定所述预设车辆通道的通行状态包括：

7.根据权利要求6所述的方法，其特征在于，还包括：

8.根据权利要求1所述的方法，其特征在于，在所述获取待处理视频所包含的目标区域中的第一目标车辆的第一跟踪信息之前，还包括：

将所述待处理视频进行分帧处理，得到各视频帧；

基于所述分割目标，确定所述各视频帧中的目标区域。

9.一种目标区域车辆跟踪装置，其特征在于，所述装置包括：

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的方法的步骤。