Nothing Special   »   [go: up one dir, main page]

CN116977671A - 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 - Google Patents

基于图像空间定位的目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116977671A
CN116977671A CN202310881851.0A CN202310881851A CN116977671A CN 116977671 A CN116977671 A CN 116977671A CN 202310881851 A CN202310881851 A CN 202310881851A CN 116977671 A CN116977671 A CN 116977671A
Authority
CN
China
Prior art keywords
target
target detection
detection frame
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310881851.0A
Other languages
English (en)
Inventor
聂东林
彭登富
贾楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Original Assignee
Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd filed Critical Huizhou Desay SV Intelligent Transport Technology Research Institute Co Ltd
Priority to CN202310881851.0A priority Critical patent/CN116977671A/zh
Publication of CN116977671A publication Critical patent/CN116977671A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于图像空间定位的目标跟踪方法、装置、设备及存储介质，通过获取多个目标检测框在当前时刻的第一位置坐标；基于第一位置坐标，预测每个目标检测框在下一时刻的候选框的第二位置坐标；基于第二位置坐标和目标检测框在下一时刻的第三位置坐标，计算每个目标检测框与多个候选框之间的多维度相似度，多维度相似度包括基于质心距离动态阈值判定的多维度相似度，利用预设匹配算法，根据多维度相似度，输出下一时刻的目标跟踪结果。实现考虑目标在世界空间的位置，有效解决二维图像单一位置信息造成定位不准确问题，并能够利用远目标与近目标在连续成像的质心距离差异，提高多目标重叠的目标定位准确度。

Description

基于图像空间定位的目标跟踪方法、装置、设备及存储介质
技术领域
本申请涉及技术计算机视觉领域，特别涉及一种目标跟踪方法、装置、设备及存储介质。
背景技术
目标跟踪算法有助于识别汽车过程的异常行为和潜在危险，辅助自动驾驶车辆做出更准确的决策。目前，目标跟踪算法主要步骤包括以二维图像中的目标检测框位置作为输入，通过深度学习目标检测、kalman预测以及hungary匹配，输出当前目标在下一帧的预测检测框位置。然而，二维图像的位置变化信息单一，其无法覆盖现实世界中的远目标跟踪和近目标跟踪；而且对于复杂路试场景，如停车场或人行横道等场景的目标数量非常多，目标之间在图像二维成像平面上重叠部分较多，匹配时极易出现匹配错误，无法保证目标跟踪结果的准确性。
发明内容
本申请为解决上述技术问题，提供一种基于图像空间定位的目标跟踪方法、装置、设备及存储介质。
第一方面，本申请提供一种基于图像空间定位的目标跟踪方法，包括：
获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标；
基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标；
基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，所述第三位置坐标为实际测量的位置坐标；
利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
在第一方面的一些实现方式中，基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，包括：
针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框；
基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度。
在第一方面的一些实现方式中，所述针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框，包括：
基于所述目标检测框的第一质心世界坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与目标跟踪设备之间的第一质心距离，以及计算每个所述目标检测框与多个所述候选框之间的第二质心距离；
基于预设的质心距离动态阈值表，确定所述第一质心距离对应的动态阈值；
针对每个所述目标检测框，筛选出与所述目标检测框的第二质心距离大于所述动态阈值的目标候选框，所述目标检测框均对应有至少一个所述目标候选框。
在第一方面的一些实现方式中，
所述基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度，包括：
基于所述目标检测框的第三质心像素坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框质心偏移相似度；
基于所述目标检测框的第三边框像素坐标与所述候选框的第二边框像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框形状变化相似度和检测框面积相似度；
基于所述目标检测框的第三世界坐标和所述候选框的第二世界坐标，计算每个所述目标检测框与所述目标候选框之间的世界坐标偏移相似度；
对于每个所述目标检测框，对所述检测框质心偏移相似度、检测框形状变化相似度、检测框面积相似度和世界坐标偏移相似度进行加权，得到所述多维度相似度。
在第一方面的一些实现方式中，所述获取多个目标检测框在当前时刻的第一位置坐标，包括：
获取多个所述目标检测框在当前时刻的第一像素坐标；
对于每个所述目标检测框，基于所述第一像素坐标，生成所述目标检测框的目标接地点坐标；
基于目标跟踪设备的标定内参和标定外参，计算所述目标目标接地点坐标在世界空间中的空间坐标，所述空间坐标为所述目标检测框在当前时刻的第一世界坐标。
在第一方面的一些实现方式中，所述基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标，包括：
对于每个所述目标检测框，利用卡尔曼滤波算法，根据所述目标检测框在当前时刻的第一位置坐标和在上一时刻的第四位置坐标，预测所述目标检测框在下一时刻的候选框的第二位置坐标。
在第一方面的一些实现方式中，所述利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果，包括：
利用匈牙利匹配算法，根据每个所述目标检测框与多个所述候选框之间的多维度相似度，匹配每个所述目标检测框对应在下一时刻的最终目标候选框；
对所述最终目标候选框作为所述目标跟踪结果进行输出。
第二方面，本申请还提供一种基于图像空间定位的目标跟踪装置，包括：
获取模块，用于获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标；
预测模块，用于基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标；
计算模块，用于基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，所述第三位置坐标为实际测量的位置坐标；
输出模块，用于利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
第三方面，本申请还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于图像空间定位的目标跟踪方法。
第四方面，本申请还提供一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于图像空间定位的目标跟踪方法。
与现有技术相比，本申请至少具备以下有益效果：
通过获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标，以综合考虑目标在世界空间的位置，有效解决二维图像位置变化特征单一的问题，从而有效针对现实世界中的远目标和近目标进行跟踪，同时能够针对复杂场景下二维图像中的多目标重叠问题，有效提高目标跟踪准确度；基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标，以结合目标位置预测，提高对目标定位的准确度，解决基于二维图像的单一位置信息造成的定位不准确问题；基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果，以能够利用远目标与近目标以及小目标与大目标在二维连续成像中的质心距离差异，提高多目标重叠的目标定位准确度。
附图说明
图1为本申请实施例示出的基于图像空间定位的目标跟踪方法的流程示意图；
图2为本申请实施例示出的质心距离动态阈值关系的示意图；
图3为本申请实施例示出的基于图像空间定位的目标跟踪装置的结构示意图；
图4为本申请实施例示出的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请实施例提供的一种基于图像空间定位的目标跟踪方法的流程示意图。本申请实施例的基于图像空间定位的目标跟踪方法可应用于计算机设备，该计算机设备包括但不限于车载终端、智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备，计算机设备设置有或者外接有目标跟踪设备(如摄像头)。如图1所示，本实施例的基于图像空间定位的目标跟踪方法包括步骤S101至步骤S104，详述如下：
步骤S101，获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标。
在本步骤中，目标检测框为对目标跟踪设备采集到的2D图像进行包围框检测得到的目标包围框。可选地，包围框检测可基于实例分割算法实现，在此不作赘述。优选地，目标跟踪设备为环视鱼眼摄像头。
第一位置坐标为目标检测框的位置坐标集合，其是在当前时刻的实际测量值，其包含但不限于描述目标检测框中心的质心像素坐标，描述目标检测框边界的边框像素坐标，描述目标检测框中心在世界空间的质心世界坐标，描述目标检测框边界的边框世界坐标等。可选地，像素坐标可在包围框检测时得到；世界坐标可通过根据图像与世界空间之间的坐标关系(如相机内参和外参)，对像素坐标进行变换得到。
在一些实施例中，所述步骤S101，包括：
获取多个所述目标检测框在当前时刻的第一像素坐标；
对于每个所述目标检测框，基于所述第一像素坐标，生成所述目标检测框的目标接地点坐标；
基于目标跟踪设备的标定内参和标定外参，计算所述目标目标接地点坐标在世界空间中的空间坐标，所述空间坐标为所述目标检测框在当前时刻的第一世界坐标。
在本实施例中，目标接地点用于表示目标在世界空间中的位置。示例性地，使用深度学习算法识别当前帧图像中的目标检测框名称和目标检测框像素坐标(包含左上角顶点的坐标x和y以及目标检测框的长w和宽h)；基于目标检测框像素坐标(x，y，w，h)，等效生成目标接地点P(Px，Py)。可选地，Px＝(x+w×1/2)，Py＝y+h，即以目标检测框的底部中点作为目标接地点。
经过目标跟踪设备的内参与外参等标定参数，计算得出该点P在世界空间中的世界坐标值，以表示该目标在世界空间中的位置。可选地，目标跟踪设备为环视鱼眼摄像头，则目标接地点P为鱼眼图坐标，故将该鱼眼图转换为去畸变图图像，并找到目标接地点P在去畸变图像中的对应像素坐标点，其中去畸变图像实为针孔相机模型，基于小孔成像原理，即可得到点P的世界坐标，计算公式可以为；
其中，(u，v)为目标接地点的像素坐标，Zc为常数，等式右边的第一个矩阵和第二个矩阵可合并为相机内参矩阵，第三个矩阵为相机外参矩阵，(Xw,Yw,Zw)为目标接地点的世界坐标。
步骤S102，基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标。
在本步骤中，第二位置坐标为下一时刻的估计值。由于通过包围框检测得到的目标检测框位置与实际位置可能存在误差，若对每帧图像都进行包围框检测，其累计误差会不断增大，所以本实施例通过运动模型，预测目标检测框在下一个候选框的第二位置坐标，以通过位置预测方式修正检测误差以及降低累计误差。
在一些实施例中，所述步骤S102，包括：对于每个所述目标检测框，利用卡尔曼滤波算法，根据所述目标检测框在当前时刻的第一位置坐标和在上一时刻的第四位置坐标，预测所述目标检测框在下一时刻的候选框的第二位置坐标。
在本实施例中，卡尔曼滤波算法能够基于实际测量值(即通过包围框检测算法得到的目标检测框位置)和估计值(即通过运算模型估算得到的目标检测框位置)进行预测，有效降低在目标跟踪过程的累计误差和运动模型的估计误差。需要说明的是，卡尔曼滤波算法可采用已知算法，对此不作赘述。
步骤S103，基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度。
在本步骤中，第三位置坐标为在下一时刻的实际测量值。多维度相似度为多个维度下计算得到的相似度的加权结果，多个维度的相似度包括但不限于检测框质心偏移相似度、检测框形状变化相似度、检测框面积相似度和世界坐标偏移相似度，检测框质心偏移相似度为目标检测框与候选框之间的质心偏移相似度，检测框形状变化相似度为目标检测框与候选框之间的形状变化相似度，检测框面积相似度为目标检测框与候选框之间的面积相似度，世界坐标偏移相似度为目标检测框与候选框之间的世界坐标偏移相似度。可选地，第二位置坐标和第三位置坐标均为坐标集合，可基于第二位置坐标和第三位置坐标中表示质心、形状、面积和世界坐标的相应坐标值，计算相应的相似度。相似度计算公式可采用余弦距离相似度、欧式距离相似度或曼哈顿距离相似度等，对此不做限定。
质心距离动态阈值判定为利用质心距离动态阈值筛选目标候选框，将目标候选框用于多维度相似度计算的过程。需要说明的是，由于在连续两帧图像中的远目标质心距离与近目标质心距离或者大目标质心距离与小目标质心距离存在明显差异，例如在当前帧图像A的远目标a与在下一帧图像B的远目标a之间的质心距离D1，在当前帧图像A的近目标b与在下一帧图像B的近目标b之间的质心距离D2，虽然远目标a和近目标b均在相同图像上，但远目标a的质心距离D1明显小于近目标b的质心距离D2，因此，本申请针对不同目标类型设置动态阈值，以筛选目标候选框，从而减少候选框的匹配运算量和提高匹配准确度。
在一些实施例中，所述步骤S103，包括：
针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框；
基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度。
在本实施例中，可选地，目标候选框的筛选步骤，包括：
基于所述目标检测框的第一质心世界坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与目标跟踪设备之间的第一质心距离，以及计算每个所述目标检测框与多个所述候选框之间的第二质心距离；
基于预设的质心距离动态阈值表，确定所述第一质心距离对应的动态阈值；
针对每个所述目标检测框，筛选出与所述目标检测框的第二质心距离大于所述动态阈值的目标候选框，所述目标检测框均对应有至少一个所述目标候选框。
在本可选实施例中，通过第一质心世界坐标与目标跟踪设备的世界坐标，计算目标检测框与目标跟踪设备之间的第一质心距离，以确定该目标检测框属于远目标还是属于近目标，并通过第一质心距离确定对应的动态阈值，将该动态阈值用于该目标检测框的候选框筛选，从而筛选该目标检测框对应的至少一个目标候选框，有效排除明显不符合该目标检测框的候选框条件的其他候选框，进而减少后续相似度计算过程和匹配过程的运算量，以及减少匹配过程的无效候选框干扰，提高目标跟踪准确度。示例性地，对于质心距离动态阈值表，如图2所示的质心距离动态阈值关系的示意图，以该示意图表示质心距离动态阈值表，当第一质心距离(目标世界距离)为3米时，动态阈值为3；当第一质心距离(目标世界距离)为15米时，动态阈值为3。
可选地，多维度相似度的计算步骤，包括：
基于所述目标检测框的第三质心像素坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框质心偏移(box_IOU)相似度；
基于所述目标检测框的第三边框像素坐标与所述候选框的第二边框像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框形状变化(box_SHAPE)相似度和检测框面积(box_AREA)相似度；
基于所述目标检测框的第三世界坐标和所述候选框的第二世界坐标，计算每个所述目标检测框与所述目标候选框之间的世界坐标偏移相似度；
对于每个所述目标检测框，对所述检测框质心偏移相似度、检测框形状变化相似度、检测框面积相似度和世界坐标偏移相似度进行加权，得到所述多维度相似度。
在本可选实施例中，可选地，将候选框的坐标参数与目标检测框的坐标参数相除，得到相似度参数。
步骤S104，利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
在本步骤中，由于连续两帧图像可能均存在多个目标检测框，导致难以确定当前目标检测框所对应下一帧图像中的目标检测框，例如连续图像A和B上均存在20个目标检测框，对于基于图像A上的某个目标检测框a预测得到第二位置坐标，难以直接确定该第二位置坐标对应于在下一时刻的图像B中的哪个目标检测框，所以本申请通过预设匹配算法，匹配当前帧图像的多个目标检测框与下一帧图像的多个候选框之间的对应关系。
在一些实施例中，所述步骤S104，包括：利用匈牙利匹配算法，根据每个所述目标检测框与多个所述候选框之间的多维度相似度，匹配每个所述目标检测框对应在下一时刻的最终目标候选框；对所述最终目标候选框作为所述目标跟踪结果进行输出。
在本实施例中，将步骤S103得到的所有多维度相似度输入到匈牙利匹配算法，遍历循环每个目标检测框和每个候选框，得到每个目标检测框对应的候选框。
为了执行上述方法实施例对应的基于图像空间定位的目标跟踪方法，以实现相应的功能和技术效果。参见图3，图3示出了本申请实施例提供的一种基于图像空间定位的目标跟踪装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的基于图像空间定位的目标跟踪装置，包括：
获取模块301，用于获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标；
预测模块302，用于基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标；
计算模块303，用于基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，所述第三位置坐标为实际测量的位置坐标；
输出模块304，用于利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
在一些实施例中，所述计算模块303，包括：
筛选模块，用于针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框；
计算模块，用于基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度。
在一些实施例中，所述筛选模块，具体用于：
基于所述目标检测框的第一质心世界坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与目标跟踪设备之间的第一质心距离，以及计算每个所述目标检测框与多个所述候选框之间的第二质心距离；
基于预设的质心距离动态阈值表，确定所述第一质心距离对应的动态阈值；
针对每个所述目标检测框，筛选出与所述目标检测框的第二质心距离大于所述动态阈值的目标候选框，所述目标检测框均对应有至少一个所述目标候选框。
在一些实施例中，所述计算模块，具体用于：
基于所述目标检测框的第三质心像素坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框质心偏移相似度；
基于所述目标检测框的第三边框像素坐标与所述候选框的第二边框像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框形状变化相似度和检测框面积相似度；
基于所述目标检测框的第三世界坐标和所述候选框的第二世界坐标，计算每个所述目标检测框与所述目标候选框之间的世界坐标偏移相似度；
对于每个所述目标检测框，对所述检测框质心偏移相似度、检测框形状变化相似度、检测框面积相似度和世界坐标偏移相似度进行加权，得到所述多维度相似度。
在一些实施例中，所述获取模块301，具体用于：
获取多个所述目标检测框在当前时刻的第一像素坐标；
对于每个所述目标检测框，基于所述第一像素坐标，生成所述目标检测框的目标接地点坐标；
基于目标跟踪设备的标定内参和标定外参，计算所述目标目标接地点坐标在世界空间中的空间坐标，所述空间坐标为所述目标检测框在当前时刻的第一世界坐标。
在一些实施例中，所述预测模块302，具体用于：
对于每个所述目标检测框，利用卡尔曼滤波算法，根据所述目标检测框在当前时刻的第一位置坐标和在上一时刻的第四位置坐标，预测所述目标检测框在下一时刻的候选框的第二位置坐标。
在一些实施例中，所述输出模块304，具体用于：
利用匈牙利匹配算法，根据每个所述目标检测框与多个所述候选框之间的多维度相似度，匹配每个所述目标检测框对应在下一时刻的最终目标候选框；
对所述最终目标候选框作为所述目标跟踪结果进行输出。
上述的基于图像空间定位的目标跟踪装置可实施上述方法实施例的基于图像空间定位的目标跟踪方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
图4为本申请一实施例提供的计算机设备的结构示意图。如图4所示，该实施例的计算机设备4包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意方法实施例中的步骤。
所述计算机设备4可以是车载终端、智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图4仅仅是计算机设备4的举例，并不构成对计算机设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述计算机设备4的内部存储单元，例如计算机设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述计算机设备4的外部存储设备，例如所述计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图像空间定位的目标跟踪方法，其特征在于，包括：
获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标；
基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标；
基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，所述第三位置坐标为实际测量的位置坐标；
利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
2.根据权利要求1所述的基于图像空间定位的目标跟踪方法，其特征在于，所述基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，包括：
针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框；
基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度。
3.根据权利要求2所述的基于图像空间定位的目标跟踪方法，其特征在于，所述针对每个所述目标检测框，利用预设的质心距离动态阈值，从多个所述候选框中筛选出与所述目标检测框对应的至少一个目标候选框，包括：
基于所述目标检测框的第一质心世界坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与目标跟踪设备之间的第一质心距离，以及计算每个所述目标检测框与多个所述候选框之间的第二质心距离；
基于预设的质心距离动态阈值表，确定所述第一质心距离对应的动态阈值；
针对每个所述目标检测框，筛选出与所述目标检测框的第二质心距离大于所述动态阈值的目标候选框，所述目标检测框均对应有至少一个所述目标候选框。
4.根据权利要求2所述的基于图像空间定位的目标跟踪方法，其特征在于，所述基于所述第二位置坐标和所述第三位置坐标，计算每个所述目标检测框与所述目标候选框之间的多维度相似度，包括：
基于所述目标检测框的第三质心像素坐标和所述候选框的第二质心像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框质心偏移相似度；
基于所述目标检测框的第三边框像素坐标与所述候选框的第二边框像素坐标，计算每个所述目标检测框与所述目标候选框之间的检测框形状变化相似度和检测框面积相似度；基于所述目标检测框的第三世界坐标和所述候选框的第二世界坐标，计算每个所述目标检测框与所述目标候选框之间的世界坐标偏移相似度；
对于每个所述目标检测框，对所述检测框质心偏移相似度、检测框形状变化相似度、检测框面积相似度和世界坐标偏移相似度进行加权，得到所述多维度相似度。
5.根据权利要求1所述的基于图像空间定位的目标跟踪方法，其特征在于，所述获取多个目标检测框在当前时刻的第一位置坐标，包括：
获取多个所述目标检测框在当前时刻的第一像素坐标；
对于每个所述目标检测框，基于所述第一像素坐标，生成所述目标检测框的目标接地点坐标；基于目标跟踪设备的标定内参和标定外参，计算所述目标目标接地点坐标在世界空间中的空间坐标，所述空间坐标为所述目标检测框在当前时刻的第一世界坐标。
6.根据权利要求1所述的基于图像空间定位的目标跟踪方法，其特征在于，所述基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标，包括：
对于每个所述目标检测框，利用卡尔曼滤波算法，根据所述目标检测框在当前时刻的第一位置坐标和在上一时刻的第四位置坐标，预测所述目标检测框在下一时刻的候选框的第二位置坐标。
7.根据权利要求1所述的基于图像空间定位的目标跟踪方法，其特征在于，所述利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果，包括：
利用匈牙利匹配算法，根据每个所述目标检测框与多个所述候选框之间的多维度相似度，匹配每个所述目标检测框对应在下一时刻的最终目标候选框；
对所述最终目标候选框作为所述目标跟踪结果进行输出。
8.一种基于图像空间定位的目标跟踪装置，其特征在于，包括：
获取模块，用于获取多个目标检测框在当前时刻的第一位置坐标，所述第一位置坐标包括第一像素坐标和第一世界坐标；
预测模块，用于基于所述第一位置坐标，预测每个所述目标检测框在下一时刻的候选框的第二位置坐标；
计算模块，用于基于所述第二位置坐标和所述目标检测框在下一时刻的第三位置坐标，计算每个所述目标检测框与多个候选框之间的多维度相似度，所述多维度相似度包括基于质心距离动态阈值判定的多维度相似度，所述第三位置坐标为实际测量的位置坐标；
输出模块，用于利用预设匹配算法，根据所述多维度相似度，输出所述下一时刻的目标跟踪结果。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的基于图像空间定位的目标跟踪方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于图像空间定位的目标跟踪方法。
CN202310881851.0A 2023-07-18 2023-07-18 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 Pending CN116977671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310881851.0A CN116977671A (zh) 2023-07-18 2023-07-18 基于图像空间定位的目标跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310881851.0A CN116977671A (zh) 2023-07-18 2023-07-18 基于图像空间定位的目标跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977671A true CN116977671A (zh) 2023-10-31

Family

ID=88470595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310881851.0A Pending CN116977671A (zh) 2023-07-18 2023-07-18 基于图像空间定位的目标跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977671A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152258A (zh) * 2023-11-01 2023-12-01 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统
CN117152258B (zh) * 2023-11-01 2024-01-30 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统

Similar Documents

Publication Publication Date Title
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
US20140253679A1 (en) Depth measurement quality enhancement
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN112270719B (zh) 相机标定方法、装置及系统
CN109658454A (zh) 一种位姿信息确定方法、相关装置及存储介质
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN114862929A (zh) 三维目标检测方法、装置、计算机可读存储介质及机器人
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN112837384A (zh) 车辆标记方法、装置和电子设备
CN117333686A (zh) 目标定位方法、装置、设备及介质
CN116630216A (zh) 基于雷达和影像的目标融合方法、装置、设备及存储介质
CN115471819A (zh) 用于路侧场景的目标检测定位方法、装置及电子设备、存储介质
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN109242894B (zh) 一种基于移动最小二乘法的图像对齐方法及系统
CN114820921A (zh) 动态物体的三维成像方法、装置、设备及存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114881894B (zh) 一种像素修复方法、装置、设备以及计算机存储介质
CN114881908B (zh) 一种异常像素识别方法、装置、设备以及计算机存储介质
Kim et al. A high quality depth map upsampling method robust to misalignment of depth and color boundaries
Strauss et al. Neural Network-Based Stereo Vision Outlier Removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination