CN112435276A - 一种车辆跟踪方法、装置、智能终端及存储介质 - Google Patents
一种车辆跟踪方法、装置、智能终端及存储介质 Download PDFInfo
- Publication number
- CN112435276A CN112435276A CN202011272439.1A CN202011272439A CN112435276A CN 112435276 A CN112435276 A CN 112435276A CN 202011272439 A CN202011272439 A CN 202011272439A CN 112435276 A CN112435276 A CN 112435276A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- suspicious
- track
- tracking
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 87
- 230000008569 process Effects 0.000 description 27
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆跟踪方法、装置、智能终端及存储介质，其中，上述车辆跟踪方法包括：获取包含车辆的连续视频帧；基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；基于上述车辆轨迹信息获取可疑轨迹；获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。本发明方案结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪。有利于提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种车辆跟踪方法、装置、智能终端及存储介质。
背景技术
随着社会经济水平的提高，车辆已经成为人们日常生活中常用的交通工具。道路上的车辆数量和密度也迅速增长，导致交通环境越来越复杂，如何通过对应道路处的图像和视频进行车辆跟踪逐渐受到关注。
现有技术中的多目标跟踪方法都是检测和跟踪进行分离，分成多个子任务进行处理，基本流程都是先进行车辆检测，然后进行特征提取，再利用单目标跟踪方法(如卡尔曼滤波、匈牙利匹配或线性指派)进行检测框关联。现有技术的问题在于，跟踪的实时性较差，且只能跟踪短时间范围内的车辆，如果车辆在行驶过程中被遮挡一段时间则会导致车辆检测和跟踪失败。
因此，现有技术还有待改进和发展。
发明内容
针对现有技术中将检测和跟踪进行分离，先进行车辆检测，然后进行特征提取，再利用单目标跟踪方法进行检测框关联的方法进行车辆跟踪时实时性较差，且只能跟踪短时间范围内的车辆，如果车辆在行驶过程中被遮挡一段时间则会导致车辆检测和跟踪失败的技术问题，本发明提供一种车辆跟踪方法、装置、智能终端及存储介质，可获取包含车辆的连续视频帧；基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；基于上述车辆轨迹信息获取可疑轨迹；获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。本发明方案获取车辆的短期跟踪结果，并对车辆进行轨迹预测获得车辆轨迹信息，根据车辆轨迹信息判断获得可疑车辆，对于可疑车辆进行外观特征匹配，结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪，从而可实现提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪的技术效果。
为了实现上述技术效果，本发明第一方面提供一种车辆跟踪方法，其中，上述方法包括：
获取包含车辆的连续视频帧；
基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；
基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；
基于上述车辆轨迹信息获取可疑轨迹；
获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；
基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。
可选的，上述基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果，包括：
获取上述连续视频帧中的连续两帧；
获取上述连续两帧之间的偏移向量；
基于上述偏移向量获取上述短期跟踪结果。
可选的，上述基于上述车辆轨迹信息获取可疑轨迹，包括：
基于上述车辆轨迹信息获取道路的结构化信息；
基于上述车辆轨迹信息以及上述道路的结构化信息获取可疑轨迹。
可选的，上述基于上述车辆轨迹信息以及上述道路的结构化信息获取可疑轨迹，包括：
基于上述车辆轨迹信息获取丢失轨迹的车辆；
基于上述道路的结构化信息判断上述丢失轨迹的车辆在上述道路上是否存在关联；
当上述丢失轨迹的车辆在上述道路上存在关联时，获取对应的可疑轨迹。
可选的，上述获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果，包括：
通过车辆重识别模型对上述可疑车辆进行外观特征建模；
判断上述可疑轨迹对应的可疑车辆是否为同一辆车；
将判断结果作为上述外观匹配结果。
可选的，上述基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪，包括：
当上述可疑轨迹对应的可疑车辆是同一辆车时，对上述可疑车辆进行车辆ID重匹配。
本发明第二方面提供一种车辆跟踪装置，其中，上述装置包括：
视频获取模块，用于获取包含车辆的连续视频帧；
短期跟踪模块，用于基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；
轨迹预测模块，用于基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；
可疑轨迹获取模块，用于基于上述车辆轨迹信息获取可疑轨迹；
外观匹配模块，用于获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；
跟踪模块，用于基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。
可选的，上述短期跟踪模块包括：
连续帧获取单元，用于获取上述连续视频帧中的连续两帧；
偏移向量获取单元，用于获取上述连续两帧之间的偏移向量；
短期跟踪结果获取单元，用于基于上述偏移向量获取上述短期跟踪结果。
本发明第三方面提供一种智能终端，包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时实现上述任意一种车辆跟踪方法的步骤。
本发明第四方面提供一种存储介质，上述存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一种车辆跟踪方法的步骤。
由上可见，本发明方案获取包含车辆的连续视频帧；基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；基于上述车辆轨迹信息获取可疑轨迹；获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。由于本发明方案获取车辆的短期跟踪结果，并对车辆进行轨迹预测获得车辆轨迹信息，根据车辆轨迹信息判断获得可疑车辆，对于可疑车辆进行外观特征匹配，结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪。因此，相较于现有技术中将检测和跟踪进行分离的跟踪方案，本方案可实现提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种车辆跟踪方法的流程示意图；
图2是本发明实施例图1中步骤S200的具体流程示意图；
图3是本发明实施例提供的一种短期跟踪过程中对车辆进行多目标跟踪的具体流程示意图；
图4是本发明实施例图1中步骤S400的具体流程示意图；
图5是本发明实施例图4中步骤S402的具体流程示意图；
图6是本发明实施例图1中步骤S500的具体流程示意图；
图7是本发明实施例提供的一种重识别模型训练框架示意图；
图8是本发明实施例提供的一种车辆跟踪装置的结构示意图；
图9是本发明实施例图8中短期跟踪模块820的具体结构示意图；
图10是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
目标跟踪是指对目标视频中感兴趣的目标对象进行跟踪，从视频的各个图像帧中识别该目标对象的位置，进而确定该目标对象在视频中的运动轨迹的技术，已经广泛应用于智能交通、视频监控等领域。随着计算机视觉和图像处理技术的迅猛发展，将相关的图像处理和深度学习方法应用到前端的摄像头设备或者系统中，对摄像头采集的数据进行实时分析处理，获取到相应的车辆跟踪信息，从而可以及时分析出相应的异常事件、车辆流量，进而采取相应的预警措施或者人工或者自动的进行合理调度，这样能有效缓解交通拥堵和减少交通事故的发生概率，因此在拥堵交通场景下利用车辆跟踪进行交通控制非常有必要。
随着城市车辆数量和密度的增长，交通环境越来越复杂，因此车辆跟踪的难度也越来越大。现有技术中的多目标跟踪方法都是检测和跟踪进行分离，分成多个子任务进行处理，基本流程都是先进行车辆检测，然后进行特征提取，再利用单目标跟踪方法(如卡尔曼滤波、匈牙利匹配或线性指派)进行检测框关联。但是在拥堵的交通场景下，比如十字路口等人流和车流密度较大的区域内，由于车辆行驶过程中会有长时间暂停或者短时间范围内被大型货车、营运车辆、树枝等遮挡，这些遮挡会导致车辆检测和跟踪失败。同时，在城市道路上车辆运行过程中运行速度可达到60-100千米每小时，车速过快加上车辆部分区域遮挡会导致车辆外观尺寸变化很大，现有的检测方法对小目标或者只存在部分区域的车辆检测性能都较差。进一步的，现有的车辆跟踪方法在单张图片中处理多个目标耗时都比较高，而视频处理帧率更是达不到实时性的要求。
为了解决现有技术中的问题，本发明提供一种车辆跟踪方法，在本发明实施例中，当要进行车辆跟踪时，获取包含车辆的连续视频帧；基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；基于上述车辆轨迹信息获取可疑轨迹；获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。如此，获取车辆的短期跟踪结果，并对车辆进行轨迹预测获得车辆轨迹信息，根据车辆轨迹信息判断获得可疑车辆，对于可疑车辆进行外观特征匹配，结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪。因此，相较于现有技术中将检测和跟踪进行分离的跟踪方案，本方案可实现提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪。
示例性方法
如图1所示，本发明实施例提供一种车辆跟踪方法，上述方法包括如下步骤：
步骤S100，获取包含车辆的连续视频帧。
可选的，可以基于设置在对应道路处的摄像头获取包含车辆的连续视频帧。例如，当要对某十字路口的车辆进行跟踪时，可以基于设置在该十字路口处的监控摄像头获取包含车辆的连续视频帧。
步骤S200，基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果。
可选的，上述短期跟踪可以通过检测加跟踪的方法实现。具体的，可以获取上述连续视频帧中连续的两帧，利用上述连续两帧之间的偏移差作为跟踪的关联输入，采用关联算法判断是否为同一车辆，从而降低计算时间，且可提高准确率。
步骤S300，基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息。
步骤S400，基于上述车辆轨迹信息获取可疑轨迹。
可选的，可以对于上述连续帧中包含的所有车辆进行轨迹预测并获取可疑轨迹。当实际使用过程中，只需要对特定车辆进行跟踪(例如追查肇事车辆)时，可以只将对应的特定车辆作为跟踪对象，在此不做具体限定。
步骤S500，获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果。
可选的，上述重识别方案采用多域学习的方法，使用具有加权特征的小段轨迹级别的重排序(re-ranking)策略对结果进行后处理，最后使用多模融合(multiple-modelensemble)方式找出最相似的车辆区域。
步骤S600，基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。
由上可见，本发明实施例提供的车辆跟踪方法获取包含车辆的连续视频帧；基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；基于上述车辆轨迹信息获取可疑轨迹；获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。由于本发明方案获取车辆的短期跟踪结果，并对车辆进行轨迹预测获得车辆轨迹信息，根据车辆轨迹信息判断获得可疑车辆，对于可疑车辆进行外观特征匹配，结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪。因此，相较于现有技术中将检测和跟踪进行分离的跟踪方案，本方案可实现提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪。
具体的，如图2所示，本实施例中，上述步骤S200包括：
步骤S201，获取上述连续视频帧中的连续两帧。
步骤S202，获取上述连续两帧之间的偏移向量。
步骤S203，基于上述偏移向量获取上述短期跟踪结果。
可选的，获得连续两帧后，基于CenterNet检测器来定位目标中心，把检测器和用点表示的先前踪片(tracklet)置于两个连续帧上。训练检测器，使其输出当前帧目标中心和前一帧目标中心的偏移向量，之后将这个偏移向量视为中心点的属性，仅基于前一帧检测到的中心点和预计偏移之间的距离来满足关联目标物体的需求。如此，可简化基于跟踪的检测，如果之前帧里每个目标都用一个简单点来表示，那么多个目标就可以用一个包含多个点的热图来表示，基于跟踪的检测器可以直接提取该热图，并在关联多个帧中的目标时对它们执行联合推理。同时，还可简化跨时间的目标关联，类似稀疏光流的简单位移预测就可以把不同帧中的目标连接起来，位移预测基于先前的检测结果，它能够联合检测当前帧中的目标，并将它们与先前的检测结果相关联。
具体的，对上述连续视频帧进行预处理，在时间t处，获取连续的当前帧I(t)∈RWxHx3和前一帧I(t-1)∈RWxHx3的图像，其中，W为图片宽度，H为图像高度。基于CenterTrack多目标检测跟踪器输出前一帧图像每辆车的检测框信息以及跟踪目标T(t-1)＝{b(t-1) 0,b(t -1) 1,......}，每个跟踪目标被表示成b＝(p,s,w,id)，其中，p为跟踪目标的中心点位置，p∈R2；s为跟踪目标的大小，s∈R2；w为检测置信度，w∈[0，1]；id为跟踪目标的唯一身份标签，id∈I。CenterTrack模型以当前帧、前一帧检测结果{p(t-1) 0,p(t-1) 1,......}和一张基于跟踪目标中心渲染得到的图作为输入，生成当前帧的中心检测图、目标边界框尺寸图和一张偏移图H(t-1)＝R({p(t-1) 0,p(t-1) 1,...})。基于跟踪的检测提供了一组具备时间连贯性的检测目标集，但它并没有将检测结果按时间关联起来，车辆跟踪将会根据检测结果进行前后帧的关联。基于上述前一帧的检测结果和当前帧的检测结果获得每一对检测框的偏移值d^(t)＝p^(t)-p^(t-1)，采用贪婪匹配算法或者匈牙利匹配算法对上述每一对检测框的偏移值进行关联，对于位置p处的每个检测结果，将其与位置p-Dp处最近，所有检测到的检测框利用交并比进行关联，并将关联之后的检测框按照置信度w降序排列，其中，Dp为上一次检测框所在的时间。可选的，如果在预设的半径范围k内没有匹配的结果，则生成一个新的跟踪片。其中，k为预先设置的半径阈值，本实施例中，k设置为每个跟踪片预测边界框的宽度和高度的几何平均值，实际使用中，可以根据实际需求设置k的值，在此不做具体限定。如此，将目标作为点进行跟踪，通过简单的位移预测实现跨时间关联对象，不需要复杂的距离度量或图匹配，有利于缩短计算时间，提高车辆跟踪的实时性。
可选的，图3示出了一种短期跟踪过程中对车辆进行多目标跟踪的具体流程图，其中，NMS为非极大值抑制，heatmap为检测框中心点位置分布热力图，offset为前后帧检测框中心点的偏移向量，hw为预测以关键点为中心的检测框的宽高，bbox为经过车辆检测之后得到的检测框，Item为检测输出对应的每个物体，track match为车辆跟踪能匹配上的检测对，dist为N*2维对应目标的可疑检测框对，trackstate为当前检测框对应目标的跟踪结果，且第二帧为后输入的一帧，本实施例中上述第二帧为当前帧。如图3所示，短期跟踪过程中可以更新跟踪目标的轨迹，确认是否需要为跟踪目标分配新的ID并获取各跟踪目标的ID。
具体的，如图4所示，本实施例中，上述步骤S400包括：
步骤S401，基于上述车辆轨迹信息获取道路的结构化信息。
步骤S402，基于上述车辆轨迹信息以及上述道路的结构化信息获取可疑轨迹。
具体的，基于上述步骤S201至步骤S203的匹配结果，可以得到连续帧之间每一个ID出现的检测框的位置信息，基于上述位置信息可以对车辆进行轨迹预测，并生成相应的车辆轨迹信息。
可选的，基于上述车辆轨迹信息，通过聚类分析获取道路的结构化信息。本实施例中，采用层次狄利克雷过程模型进行聚类，得到对应场景下的道路的结构化信息。具体的，本实施例中采用的层次狄利克雷过程模型不仅可以自动确定聚类的数量，而且是针对很多组数据建模的。在这个模型中，假设数据是有很多组的，每一组数据都有不知道数量的类别存在，层次狄利克雷模型就是为了找出每一组数据中包含的聚类结果。在获得的道路的结构化信息中，每条道路的聚类信息代表每个车道的方向上有一条代表车道的轨迹，根据这条轨迹可对相关车辆进行异常判断。
具体的，如图5所示，本实施例中，上述步骤S402包括：
步骤S4021，基于上述车辆轨迹信息获取丢失轨迹的车辆。
步骤S4022，基于上述道路的结构化信息判断上述丢失轨迹的车辆在上述道路上是否存在关联。
其中，上述判断上述丢失轨迹的车辆在上述道路上是否存在关联具体为判断上述丢失轨迹的车辆在上述道路上是否存在时序关联。
步骤S4023，当上述丢失轨迹的车辆在上述道路上存在关联时，获取对应的可疑轨迹。
其中，上述可疑轨迹为存在时序关联的可疑车辆对应的轨迹。
具体的，当出现某一车辆被遮挡(如小型轿车被大型卡车遮挡或被外部环境遮挡)时，可能导致车辆轨迹丢失，也即车辆切换ID。此时，可基于上述车辆轨迹信息，根据切换ID前后车辆的轨迹点是否存在时序对应关系即可判断对应的轨迹是否可能为同一台车的轨迹。
本实施例中，将存在时序对应关系的轨迹设定为可疑轨迹，可疑轨迹表示为{[lostid0,trackid0],[lostid1,trackid1],[lostid2,trackid2],[lostid3,trackid3],[lostid4,trackid4]，......}，其中，lostid表示之前轨迹丢失的车辆的ID，trackid表示当前跟踪的车辆的ID，配对起来表示根据上述两个ID对应的车辆的轨迹存在时序对应关系，可能为同一台车。在上述可疑轨迹的序列中，可能存在同一个lostid对应多个trackid或者同一个trackid对应多个lostid的现象，例如，lostid0与lostid1的值相同，但其对应的trackid0和trackid1的值不同，所以需要多对多的匹配进行最佳匹配判断。
具体的，如图6所示，本实施例中，上述步骤S500包括：
步骤S501，通过车辆重识别模型对上述可疑车辆进行外观特征建模。
步骤S502，判断上述可疑轨迹对应的可疑车辆是否为同一辆车。
步骤S503，将判断结果作为上述外观匹配结果。
可选的，基于上述可疑轨迹对应的车辆的ID，获取对应ID的车辆检测框对应的图片信息，即
{[boxlostid0,boxtrackid0],[boxlostid1,boxtrackid1],[boxlostid2,boxtrackid2],[boxlostid3,boxtrackid3],[boxlostid4,boxtrackid4],......}，其中，box代表可疑轨迹ID检测框对应帧抠出来的车辆图片，如boxlostid0表示lostid0对应的检测框对应帧抠出来的车辆图片，上述lostid0与lostid0表示同一ID，此处为了表示方便将lostid0变形为lostid0，同理，trackid0与trackid0表示同一ID，此处为了表示方便将trackid0变形为trackid0。利用车辆外观信息进行建模，本系统采用的车辆重识别模型进行特征提取，重识别模型训练方法如下：使用ResNet50作为模型backbone，针对ReID任务进行修改，最后一个block中各层步长改为1，分类全连接层之前添加BN层；数据增强策略：随机翻转，随机裁剪，随机擦除；训练策略：利用Adam优化器训练网络150个epochs；初始学习率为0.00035，每过20个epochs将学习率乘以0.1；损失函数：使用cross entropy loss训练分类层，使用triplet loss训练特征层；车牌信息融合：根据车牌识别结果计算车牌相似度Splate，车牌相同则相似度为1，否则为0；整体图像相似度S的计算方法如下：S＝Splate+Scnn，其中，Scnn为CNN特征的余弦相似度。基于上述流程，图7示出了一种本实施例中一种重识别模型训练框架，其中，License PlateRecognition为车牌识别，CNN Feature为CNN特征识别，Information fusion为信息融合，Classfication为分类，Cross entropy loss为交叉熵，用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所要付出的努力大小，Triplet loss为三元组损失，用于使具有相同标签的样本在embedding空间尽量接近，使具有不同标签的样本在embedding空间尽量远离。进一步的，根据上述可疑ID检测框对应帧抠出来的车辆图片，通过上述训练获得的车辆重识别模型进行特征提取，得到每对可疑轨迹lostid和trackid对应的特征lostfeature和trackfeature，最终根据特征计算余弦相似度(Cosine Similarity)，每对特征都得到一个相似度{Similarityid0,Similarityid1,Similarityid2,Similarityid3,Similarityid4,......}。此时根据预设的相似度阈值进行匹配，本实施例中，预设的相似度阈值为0.6，即Similarity小于0.6的则不用进行匹配。实际使用中，可以根据需求设定相似度阈值，在此不做具体限定。
基于上述可疑轨迹和上述余弦相似度，组成{[lostid0,trackid0，Similarityid0],[lostid1,trackid1，Similarityid1],[lostid2,trackid2，Similarityid2],[lostid3,trackid3，Similarityid3],[lostid4,trackid4，Similarityid4],......}的n*3维队列，其中，n为可疑轨迹对的个数。因为队列中之前轨迹丢失的车辆和当前跟踪的车辆存在多对多现象，所以要找到ID最优的匹配结果。
可选的，将上述队列根据Similarity进行降序排列，得到第一行最大Similarity对应的lostid和trackid，代表这一对根据外观特征匹配之后相似度最高，大概率是相同ID的车辆。之后遍历剩余队列中是否存在跟上述第一行最大Similarity对应的lostid和trackid相同的数值，存在则删除对应的行，因为根据最优匹配原则只有similarity最大的才可能是相似的车辆。剩余的{[lostid0,trackid0，Similarityid0],[lostid2,trackid2，Similarityid2],[lostid3,trackid3，Similarityid3],......}表示最终丢失的ID跟当前跟踪的ID一对一的最优匹配结果。
可选的，上述步骤S600具体包括：当上述可疑轨迹对应的可疑车辆是同一辆车时，对上述可疑车辆进行车辆ID重匹配。具体的，基于上述匹配判断出可疑轨迹对应的可疑车辆是同一辆车时，将该车辆对应的当前的trackid替换成对应的lostid，此处的车辆ID重匹配有利于减少车辆跟踪过程中由于遮挡导致的轨迹ID丢失，能够有效的进行长时间的车辆跟踪。
可选的，对于获取的车辆轨迹信息中除上述可疑轨迹以外的正常轨迹，说明并未出现遮挡，直接正常跟踪对应车辆即可。如此，对于出现遮挡的车辆和未出现遮挡的车辆都可以实现长时间的车辆跟踪。
示例性设备
如图8中所示，对应于上述车辆跟踪方法，本发明实施例还提供一种车辆跟踪装置，上述车辆跟踪装置包括：
视频获取模块810，用于获取包含车辆的连续视频帧。
可选的，可以基于设置在对应道路处的摄像头获取包含车辆的连续视频帧。例如，当要对某十字路口的车辆进行跟踪时，可以基于设置在该十字路口处的监控摄像头获取包含车辆的连续视频帧。
短期跟踪模块820，用于基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果。
可选的，上述短期跟踪可以通过检测加跟踪的方法实现。具体的，可以获取上述连续视频帧中连续的两帧，利用上述连续两帧之间的偏移差作为跟踪的关联输入，采用关联算法判断是否为同一车辆，从而降低计算时间，且可提高准确率。
轨迹预测模块830，用于基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息。
可疑轨迹获取模块840，用于基于上述车辆轨迹信息获取可疑轨迹。
可选的，可以对于上述连续帧中包含的所有车辆进行轨迹预测并获取可疑轨迹。当实际使用过程中，只需要对特定车辆进行跟踪(例如追查肇事车辆)时，可以只将对应的特定车辆作为跟踪对象，在此不做具体限定。
外观匹配模块850，用于获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果。
可选的，上述重识别方案采用多域学习的方法，使用具有加权特征的小段轨迹级别的重排序(re-ranking)策略对结果进行后处理，最后使用多模融合(multiple-modelensemble)方式找出最相似的车辆区域。
跟踪模块860，用于基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。
由上可见，本发明实施例提供的车辆跟踪方法通过视频获取模块810获取包含车辆的连续视频帧；通过短期跟踪模块820基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；通过轨迹预测模块830基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；通过可疑轨迹获取模块840基于上述车辆轨迹信息获取可疑轨迹；通过外观匹配模块850获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；通过跟踪模块860基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。由于本发明方案获取车辆的短期跟踪结果，并对车辆进行轨迹预测获得车辆轨迹信息，根据车辆轨迹信息判断获得可疑车辆，对于可疑车辆进行外观特征匹配，结合短期跟踪、轨迹预测和外观特征匹配实现对车辆的跟踪。因此，相较于现有技术中将检测和跟踪进行分离的跟踪方案，本方案可实现提升跟踪的实时性、对长时间范围内的车辆进行跟踪、在车辆被遮挡前后连续跟踪。
具体的，如图9所示，本实施例中，上述短期跟踪模块820包括：
连续帧获取单元821，用于获取上述连续视频帧中的连续两帧。
偏移向量获取单元822，用于获取上述连续两帧之间的偏移向量。
短期跟踪结果获取单元823，用于基于上述偏移向量获取上述短期跟踪结果。
可选的，获得连续两帧后，基于CenterNet检测器来定位目标中心，把检测器和用点表示的先前踪片(tracklet)置于两个连续帧上。训练检测器，使其输出当前帧目标中心和前一帧目标中心的偏移向量，之后将这个偏移向量视为中心点的属性，仅基于前一帧检测到的中心点和预计偏移之间的距离来满足关联目标物体的需求。如此，可简化基于跟踪的检测，如果之前帧里每个目标都用一个简单点来表示，那么多个目标就可以用一个包含多个点的热图来表示，基于跟踪的检测器可以直接提取该热图，并在关联多个帧中的目标时对它们执行联合推理。同时，还可简化跨时间的目标关联，类似稀疏光流的简单位移预测就可以把不同帧中的目标连接起来，位移预测基于先前的检测结果，它能够联合检测当前帧中的目标，并将它们与先前的检测结果相关联。
具体的，对上述连续视频帧进行预处理，在时间t处，获取连续的当前帧I(t)∈RWxHx3和前一帧I(t-1)∈RWxHx3的图像，其中，W为图片宽度，H为图像高度。基于CenterTrack多目标检测跟踪器输出前一帧图像每辆车的检测框信息以及跟踪目标T(t-1)＝{b(t-1) 0,b(t -1) 1,......}，每个跟踪目标被表示成b＝(p,s,w,id)，其中，p为跟踪目标的中心点位置，p∈R2；s为跟踪目标的大小，s∈R2；w为检测置信度，w∈[0，1]；id为跟踪目标的唯一身份标签，id∈I。CenterTrack模型以当前帧、前一帧检测结果{p(t-1) 0,p(t-1) 1,......}和一张基于跟踪目标中心渲染得到的图作为输入，生成当前帧的中心检测图、目标边界框尺寸图和一张偏移图H(t-1)＝R({p(t-1) 0,p(t-1) 1,...})。基于跟踪的检测提供了一组具备时间连贯性的检测目标集，但它并没有将检测结果按时间关联起来，车辆跟踪将会根据检测结果进行前后帧的关联。基于上述前一帧的检测结果和当前帧的检测结果获得每一对检测框的偏移值d^(t)＝p^(t)-p^(t-1)，采用贪婪匹配算法或者匈牙利匹配算法对上述每一对检测框的偏移值进行关联，对于位置p处的每个检测结果，将其与，所有检测到的检测框利用交并比进行关联，并将关联之后的检测框按照置信度w降序排列，并以置信度w降序排列，其中，Dp为上一次检测框所在的时间。可选的，如果在预设的半径范围k内没有匹配的结果，则生成一个新的跟踪片。其中，k为预先设置的半径阈值，本实施例中，k设置为每个跟踪片预测边界框的宽度和高度的几何平均值，实际使用中，可以根据实际需求设置k的值，在此不做具体限定。如此，将目标作为点进行跟踪，通过简单的位移预测实现跨时间关联对象，不需要复杂的距离度量或图匹配，有利于缩短计算时间，提高车辆跟踪的实时性。
可选的，图3示出了一种短期跟踪过程中对车辆进行多目标跟踪的具体流程图，其中，NMS为非极大值抑制，heatmap为检测框中心点位置分布热力图，offset为前后帧检测框中心点的偏移向量，hw为预测以关键点为中心的检测框的宽高，bbox为经过车辆检测之后得到的检测框，Item为检测输出对应的每个物体，track match为车辆跟踪能匹配上的检测对，dist为车辆跟踪能匹配上的检测对，trackstate为当前检测框对应目标的跟踪结果，且第二帧为后输入的一帧，本实施例中上述第二帧为当前帧。如图3所示，短期跟踪过程中可以更新跟踪目标的轨迹，确认是否需要为跟踪目标分配新的ID并获取各跟踪目标的ID。
可选的，上述可疑轨迹获取模块840具体用于：基于上述车辆轨迹信息获取道路的结构化信息；基于上述车辆轨迹信息以及上述道路的结构化信息获取可疑轨迹。
具体的，基于上述短期跟踪模块820的匹配结果，可以得到连续帧之间每一个ID出现的检测框的位置信息，基于上述位置信息可以对车辆进行轨迹预测，并生成相应的车辆轨迹信息。
可选的，基于上述车辆轨迹信息，通过聚类分析获取道路的结构化信息。本实施例中，采用层次狄利克雷过程模型进行聚类，得到对应场景下的道路的结构化信息。具体的，本实施例中采用的层次狄利克雷过程模型不仅可以自动确定聚类的数量，而且是针对很多组数据建模的。在这个模型中，假设数据是有很多组的，每一组数据都有不知道数量的类别存在，层次狄利克雷模型就是为了找出每一组数据中包含的聚类结果。在获得的道路的结构化信息中，每条道路的聚类信息代表每个车道的方向上有一条代表车道的轨迹，根据这条轨迹可对相关车辆进行异常判断。
进一步的，上述可疑轨迹获取模块840还可具体用于：基于上述车辆轨迹信息获取丢失轨迹的车辆；基于上述道路的结构化信息判断上述丢失轨迹的车辆在上述道路上是否存在关联；当上述丢失轨迹的车辆在上述道路上存在关联时，获取对应的可疑轨迹。
其中，上述判断上述丢失轨迹的车辆在上述道路上是否存在关联具体为判断上述丢失轨迹的车辆在上述道路上是否存在时序关联。
其中，上述可疑轨迹为存在时序关联的可疑车辆对应的轨迹。
具体的，当出现某一车辆被遮挡(如小型轿车被大型卡车遮挡或被外部环境遮挡)时，可能导致车辆轨迹丢失，也即车辆切换ID。此时，可基于上述车辆轨迹信息，根据切换ID前后车辆的轨迹点是否存在时序对应关系即可判断对应的轨迹是否可能为同一台车的轨迹。
本实施例中，将存在时序对应关系的轨迹设定为可疑轨迹，可疑轨迹表示为{[lostid0,trackid0],[lostid1,trackid1],[lostid2,trackid2],[lostid3,trackid3],[lostid4,trackid4]，......}，其中，lostid表示之前轨迹丢失的车辆的ID，trackid表示当前跟踪的车辆的ID，配对起来表示根据上述两个ID对应的车辆的轨迹存在时序对应关系，可能为同一台车。在上述可疑轨迹的序列中，可能存在同一个lostid对应多个trackid或者同一个trackid对应多个lostid的现象，例如，lostid0与lostid1的值相同，但其对应的trackid0和trackid1的值不同，所以需要多对多的匹配进行最佳匹配判断。
可选的，上述外观匹配模块850具体用于：通过车辆重识别模型对上述可疑车辆进行外观特征建模；判断上述可疑轨迹对应的可疑车辆是否为同一辆车；将判断结果作为上述外观匹配结果。
可选的，基于上述可疑轨迹对应的车辆的ID，获取对应ID的车辆检测框对应的图片信息，即{[boxlostid0,boxtrackid0],[boxlostid1,boxtrackid1],[boxlostid2,boxtrackid2],[boxlostid3,boxtrackid3],[boxlostid4,boxtrackid4],......}，其中，box代表可疑轨迹ID检测框对应帧抠出来的车辆图片，如boxlostid0表示lostid0对应的检测框对应帧抠出来的车辆图片，上述lostid0与lostid0表示同一ID，此处为了表示方便将lostid0变形为lostid0，同理，trackid0与trackid0表示同一ID，此处为了表示方便将trackid0变形为trackid0。利用车辆外观信息进行建模，本系统采用的车辆重识别模型进行特征提取，重识别模型训练方法如下：使用ResNet50作为模型backbone，针对ReID任务进行修改，最后一个block中各层步长改为1，分类全连接层之前添加BN层；数据增强策略：随机翻转，随机裁剪，随机擦除；训练策略：利用Adam优化器训练网络150个epochs；初始学习率为0.00035，每过20个epochs将学习率乘以0.1；损失函数：使用cross entropy loss训练分类层，使用triplet loss训练特征层；车牌信息融合：根据车牌识别结果计算车牌相似度Splate，车牌相同则相似度为1，否则为0；整体图像相似度S的计算方法如下：S＝Splate+Scnn，其中，Scnn为CNN特征的余弦相似度。基于上述流程，图7示出了一种本实施例中一种重识别模型训练框架，其中，License PlateRecognition为车牌识别，CNN Feature为CNN特征识别，Information fusion为信息融合，Classfication为分类，Cross entropy loss为交叉熵，用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所要付出的努力大小，Triplet loss为三元组损失，用于使具有相同标签的样本在embedding空间尽量接近，使具有不同标签的样本在embedding空间尽量远离。进一步的，根据上述可疑ID检测框对应帧抠出来的车辆图片，通过上述训练获得的车辆重识别模型进行特征提取，得到每对可疑轨迹lostid和trackid对应的特征lostfeature和trackfeature，最终根据特征计算余弦相似度(Cosine Similarity)，每对特征都得到一个相似度{Similarityid0,Similarityid1,Similarityid2,Similarityid3,Similarityid4,......}。此时根据预设的相似度阈值进行匹配，本实施例中，预设的相似度阈值为0.6，即Similarity小于0.6的则不用进行匹配。实际使用中，可以根据需求设定相似度阈值，在此不做具体限定。
基于上述可疑轨迹和上述余弦相似度，组成{[lostid0,trackid0，Similarityid0],[lostid1,trackid1，Similarityid1],[lostid2,trackid2，Similarityid2],[lostid3,trackid3，Similarityid3],[lostid4,trackid4，Similarityid4],......}的n*3维队列，其中，n为可疑轨迹对的个数。因为队列中之前轨迹丢失的车辆和当前跟踪的车辆存在多对多现象，所以要找到ID最优的匹配结果。
可选的，将上述队列根据Similarity进行降序排列，得到第一行最大Similarity对应的lostid和trackid，代表这一对根据外观特征匹配之后相似度最高，大概率是相同ID的车辆。之后遍历剩余队列中是否存在跟上述第一行最大Similarity对应的lostid和trackid相同的数值，存在则删除对应的行，因为根据最优匹配原则只有similarity最大的才可能是相似的车辆。剩余的{[lostid0,trackid0，Similarityid0],[lostid2,trackid2，Similarityid2],[lostid3,trackid3，Similarityid3],......}表示最终丢失的ID跟当前跟踪的ID一对一的最优匹配结果。
可选的，上述跟踪模块860具体用于：当上述可疑轨迹对应的可疑车辆是同一辆车时，对上述可疑车辆进行车辆ID重匹配。具体的，基于上述匹配判断出可疑轨迹对应的可疑车辆是同一辆车时，将该车辆对应的当前的trackid替换成对应的lostid，此处的车辆ID重匹配有利于减少车辆跟踪过程中由于遮挡导致的轨迹ID丢失，能够有效的进行长时间的车辆跟踪。
可选的，对于获取的车辆轨迹信息中除上述可疑轨迹以外的正常轨迹，说明并未出现遮挡，直接正常跟踪对应车辆即可。如此，对于出现遮挡的车辆和未出现遮挡的车辆都可以实现长时间的车辆跟踪。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图10所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现上述任意一种车辆跟踪方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图10中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时进行以下操作指令：
获取包含车辆的连续视频帧；
基于上述连续视频帧对上述车辆进行短期跟踪，获取短期跟踪结果；
基于上述短期跟踪结果，对上述车辆进行轨迹预测，获取车辆轨迹信息；
基于上述车辆轨迹信息获取可疑轨迹；
获取上述可疑轨迹对应的可疑车辆，采用车辆重识别方案对上述可疑车辆进行外观特征匹配，获取外观匹配结果；
基于上述可疑轨迹和上述外观匹配结果实现对车辆的跟踪。本发明实施例还提供一种存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现本发明实施例提供的任一种车辆跟踪方法所述的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。对于各个公式中表现形式相同的量，如无特殊说明则表示相同的量，各个公式之间可以相互参照。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种车辆跟踪方法，其特征在于，所述方法包括：
获取包含车辆的连续视频帧；
基于所述连续视频帧对所述车辆进行短期跟踪，获取短期跟踪结果；
基于所述短期跟踪结果，对所述车辆进行轨迹预测，获取车辆轨迹信息；
基于所述车辆轨迹信息获取可疑轨迹；
获取所述可疑轨迹对应的可疑车辆，采用车辆重识别方案对所述可疑车辆进行外观特征匹配，获取外观匹配结果；
基于所述可疑轨迹和所述外观匹配结果实现对车辆的跟踪。
2.根据权利要求1所述的车辆跟踪方法，其特征在于，所述基于所述连续视频帧对所述车辆进行短期跟踪，获取短期跟踪结果，包括：
获取所述连续视频帧中的连续两帧；
获取所述连续两帧之间的偏移向量；
基于所述偏移向量获取所述短期跟踪结果。
3.根据权利要求1或2所述的车辆跟踪方法，其特征在于，所述基于所述车辆轨迹信息获取可疑轨迹，包括：
基于所述车辆轨迹信息获取道路的结构化信息；
基于所述车辆轨迹信息以及所述道路的结构化信息获取可疑轨迹。
4.根据权利要求3所述的车辆跟踪方法，其特征在于，所述基于所述车辆轨迹信息以及所述道路的结构化信息获取可疑轨迹，包括：
基于所述车辆轨迹信息获取丢失轨迹的车辆；
基于所述道路的结构化信息判断所述丢失轨迹的车辆在所述道路上是否存在关联；
当所述丢失轨迹的车辆在所述道路上存在关联时，获取对应的可疑轨迹。
5.根据权利要求4所述的车辆跟踪方法，其特征在于，所述获取所述可疑轨迹对应的可疑车辆，采用车辆重识别方案对所述可疑车辆进行外观特征匹配，获取外观匹配结果，包括：
通过车辆重识别模型对所述可疑车辆进行外观特征建模；
判断所述可疑轨迹对应的可疑车辆是否为同一辆车；
将判断结果作为所述外观匹配结果。
6.根据权利要求5所述的车辆跟踪方法，其特征在于，所述基于所述可疑轨迹和所述外观匹配结果实现对车辆的跟踪，包括：
当所述可疑轨迹对应的可疑车辆是同一辆车时，对所述可疑车辆进行车辆ID重匹配。
7.一种车辆跟踪装置，其特征在于，所述装置包括：
视频获取模块，用于获取包含车辆的连续视频帧；
短期跟踪模块，用于基于所述连续视频帧对所述车辆进行短期跟踪，获取短期跟踪结果；
轨迹预测模块，用于基于所述短期跟踪结果，对所述车辆进行轨迹预测，获取车辆轨迹信息；
可疑轨迹获取模块，用于基于所述车辆轨迹信息获取可疑轨迹；
外观匹配模块，用于获取所述可疑轨迹对应的可疑车辆，采用车辆重识别方案对所述可疑车辆进行外观特征匹配，获取外观匹配结果；
跟踪模块，用于基于所述可疑轨迹和所述外观匹配结果实现对车辆的跟踪。
8.根据权利要求7所述的车辆跟踪装置，其特征在于，所述短期跟踪模块包括：
连续帧获取单元，用于获取所述连续视频帧中的连续两帧；
偏移向量获取单元，用于获取所述连续两帧之间的偏移向量；
短期跟踪结果获取单元，用于基于所述偏移向量获取所述短期跟踪结果。
9.一种智能终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-6任意一项所述方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011272439.1A CN112435276B (zh) | 2020-11-13 | 2020-11-13 | 一种车辆跟踪方法、装置、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011272439.1A CN112435276B (zh) | 2020-11-13 | 2020-11-13 | 一种车辆跟踪方法、装置、智能终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435276A true CN112435276A (zh) | 2021-03-02 |
| CN112435276B CN112435276B (zh) | 2024-08-23 |
Family
ID=74700074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011272439.1A Active CN112435276B (zh) | 2020-11-13 | 2020-11-13 | 一种车辆跟踪方法、装置、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435276B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673395A (zh) * | 2021-08-10 | 2021-11-19 | 深圳市捷顺科技实业股份有限公司 | 一种车辆轨迹的处理方法及装置 |
| CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
| CN113989332A (zh) * | 2021-11-16 | 2022-01-28 | 苏州魔视智能科技有限公司 | 一种目标跟踪方法、装置、存储介质及电子设备 |
| CN115965657A (zh) * | 2023-02-28 | 2023-04-14 | 安徽蔚来智驾科技有限公司 | 目标跟踪方法、电子设备、存储介质及车辆 |
| CN116168546A (zh) * | 2023-02-20 | 2023-05-26 | 烽火通信科技股份有限公司 | 车辆标识信息归属判定方法、装置、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050908B1 (en) * | 2005-03-22 | 2006-05-23 | Delphi Technologies, Inc. | Lane marker projection method for a motor vehicle vision system |
| CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
| WO2018037508A1 (ja) * | 2016-08-24 | 2018-03-01 | 日産自動車株式会社 | 走行軌跡推定方法及び走行軌跡推定装置 |
| CN111257864A (zh) * | 2020-01-17 | 2020-06-09 | 河北德冠隆电子科技有限公司 | 一种主动式探测车辆持续跟踪断点补偿装置、系统及方法 |
| CN111325187A (zh) * | 2020-03-23 | 2020-06-23 | 北京经纬恒润科技有限公司 | 一种车道位置的识别方法及装置 |
-
2020
- 2020-11-13 CN CN202011272439.1A patent/CN112435276B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050908B1 (en) * | 2005-03-22 | 2006-05-23 | Delphi Technologies, Inc. | Lane marker projection method for a motor vehicle vision system |
| CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
| WO2018037508A1 (ja) * | 2016-08-24 | 2018-03-01 | 日産自動車株式会社 | 走行軌跡推定方法及び走行軌跡推定装置 |
| CN111257864A (zh) * | 2020-01-17 | 2020-06-09 | 河北德冠隆电子科技有限公司 | 一种主动式探测车辆持续跟踪断点补偿装置、系统及方法 |
| CN111325187A (zh) * | 2020-03-23 | 2020-06-23 | 北京经纬恒润科技有限公司 | 一种车道位置的识别方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673395A (zh) * | 2021-08-10 | 2021-11-19 | 深圳市捷顺科技实业股份有限公司 | 一种车辆轨迹的处理方法及装置 |
| CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
| CN113989332A (zh) * | 2021-11-16 | 2022-01-28 | 苏州魔视智能科技有限公司 | 一种目标跟踪方法、装置、存储介质及电子设备 |
| CN116168546A (zh) * | 2023-02-20 | 2023-05-26 | 烽火通信科技股份有限公司 | 车辆标识信息归属判定方法、装置、设备及可读存储介质 |
| CN116168546B (zh) * | 2023-02-20 | 2024-05-31 | 烽火通信科技股份有限公司 | 车辆标识信息归属判定方法、装置、设备及可读存储介质 |
| CN115965657A (zh) * | 2023-02-28 | 2023-04-14 | 安徽蔚来智驾科技有限公司 | 目标跟踪方法、电子设备、存储介质及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435276B (zh) | 2024-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112435276A (zh) | 一种车辆跟踪方法、装置、智能终端及存储介质 | |
| CN109784162B (zh) | 一种行人行为识别及轨迹跟踪方法 | |
| CN102073851B (zh) | 一种城市交通事故自动识别方法和系统 | |
| Morris et al. | Learning, modeling, and classification of vehicle track patterns from live video | |
| CN109948582B (zh) | 一种基于跟踪轨迹分析的车辆逆行智能检测方法 | |
| CN111950394B (zh) | 一种车辆变道的预测方法、装置及计算机存储介质 | |
| US20090309966A1 (en) | Method of detecting moving objects | |
| CN106934817B (zh) | 基于多属性的多目标跟踪方法及装置 | |
| EP2709066A1 (en) | Concept for detecting a motion of a moving object | |
| Bloisi et al. | Argos—A video surveillance system for boat traffic monitoring in Venice | |
| CN111898491B (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
| Lan et al. | Real-time automatic obstacle detection method for traffic surveillance in urban traffic | |
| Tak et al. | Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application | |
| CN112132071A (zh) | 识别交通拥堵的处理方法、装置、设备及存储介质 | |
| Remagnino et al. | Classifying Surveillance Events from Attributes and Behaviour. | |
| Ketcham et al. | Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine | |
| CN116434159A (zh) | 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法 | |
| Xiong et al. | Vehicle re-identification with image processing and car-following model using multiple surveillance cameras from urban arterials | |
| CN108520528B (zh) | 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法 | |
| Azimjonov et al. | Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information | |
| CN110889347B (zh) | 基于时空计数特征的密度交通流计数方法及系统 | |
| Ashraf et al. | HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation | |
| CN112562315B (zh) | 一种获取车流信息的方法、终端及存储介质 | |
| EP2709065A1 (en) | Concept for counting moving objects passing a plurality of different areas within a region of interest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |