Nothing Special   »   [go: up one dir, main page]

CN116309686A - 游泳运动员视频定位测速方法、装置、设备及存储介质 - Google Patents

游泳运动员视频定位测速方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116309686A
CN116309686A CN202310565912.2A CN202310565912A CN116309686A CN 116309686 A CN116309686 A CN 116309686A CN 202310565912 A CN202310565912 A CN 202310565912A CN 116309686 A CN116309686 A CN 116309686A
Authority
CN
China
Prior art keywords
camera
image
coordinate system
moving
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310565912.2A
Other languages
English (en)
Inventor
赵合
孟祥涛
向政
张超超
付尧顺
葛宏升
褚天琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Original Assignee
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Times Optical Electronic Technology Co Ltd filed Critical Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority to CN202310565912.2A priority Critical patent/CN116309686A/zh
Publication of CN116309686A publication Critical patent/CN116309686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种游泳运动员视频定位测速方法、装置、设备及存储介质，采用多线程控制各个摄像头获得同时刻的多张图像；对图像进行畸变校正、反投影预处理；对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到各运动目标在运动场景全局世界坐标系中的位置；采用改进的DeepSORT算法对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪；将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。本发明采用非拼接方式实现了适用于游泳场景的目标的有效跟踪。

Description

游泳运动员视频定位测速方法、装置、设备及存储介质
技术领域
本发明属于电子行业智能测量技术领域，特别涉及一种跨摄像头的游泳运动员视频定位测速方法、装置、设备及可读存储介质。
背景技术
当前，目标跟踪是人工智能机器视觉领域最具应用价值的研究方向之一，大幅面、跨摄像头情景下的多目标跟踪，目前的各种方案各有优劣，而针对游泳馆场景未见相关成熟方案。
YOLO+DeepSORT能够用于多目标跟踪，其中YOLO实现目标检测，而DeepSORT实现目标跟踪。游泳场景下，水花遮挡较为严重，考虑到运动员头部出水时间较多，从而认定运动员头部为合适的跟踪目标，经过训练的YOLOv5l可较好对其进行识别。但由于泳帽特征较为单一，当使用原始的DeepSORT进行跟踪时较易造成ID switch。另外，大幅面场景下势必用到多个摄像头才能覆盖整个运动场景，通常的图像拼接的方式存在图像错位、目标太小难以检测等问题，而通常的非拼接方式需要对不同摄像头所拍摄的图像分别进行跟踪，然后再进行数据融合，处理较为复杂且效率低下。
发明内容
为了克服现有技术中的不足，本发明人进行了锐意研究，提供了一种跨摄像头的游泳运动员视频定位测速方法及装置，采用非拼接方式实现了适用于游泳场景的目标的有效跟踪。
本发明提供的技术方案如下：
第一方面，一种跨摄像头的游泳运动员视频定位测速方法，包括：
采用多线程控制多个摄像头拍摄视场内的图像，每个线程控制一台摄像头的拍摄，记录拍摄时间，获得同时刻的多张图像；其中，多个摄像头的总视场覆盖运动目标的整个运动场景；
对图像进行畸变校正、反投影预处理；
对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置；
识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪；
将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
第二方面，一种跨摄像头的游泳运动员视频定位测速装置，包括：
多摄像头图像采集模块，用于采用多线程控制多个摄像头拍摄视场内的图像，每个线程控制一台摄像头的拍摄，多个摄像头的总视场覆盖运动目标的整个运动场景，记录拍摄时间，获得同时刻的多张图像，发送给图像预处理模块；
图像预处理模块，用于获取各摄像头拍摄的图像，对图像进行畸变校正、反投影预处理；
运动目标检测模块，用于对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置；
运动目标跟踪模块，用于识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪；
运动目标速度识别模块，用于将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
第三方面，一种跨摄像头的游泳运动员视频定位测速设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施第一方面所述的一种跨摄像头的游泳运动员视频定位测速设备方法。
第四方面，一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施第一方面所述的一种跨摄像头的游泳运动员视频定位测速设备方法。
根据本发明提供的一种跨摄像头的游泳运动员视频定位测速方法、装置、设备及可读存储介质，具有以下有益效果：
（1）本发明提供的一种跨摄像头的游泳运动员视频定位测速方法、装置、设备及可读存储介质，针对游泳场景下泳帽特征相似、容易造成IDswitch的问题，采用了改进的DeepSORT算法，其使用欧氏距离，可有效避免IDswitch，从而更加适用于游泳场景；
（2）本发明提供的一种跨摄像头的游泳运动员视频定位测速方法、装置、设备及可读存储介质，通过将多个摄像头所拍摄图像中的全部目标同时使用改进的DeepSORT算法进行一次性全局性跟踪，实现了非拼接方式的有效跟踪，避免了由于图像拼接造成的图像错位、目标太小难以检测等问题以及对多个图像分开多次处理造成的复杂、效率低下的问题；
（3）本发明提供的一种跨摄像头的游泳运动员视频定位测速方法、装置、设备及可读存储介质，通过采用多线程以及设置同步机制，解决了摄像头采集图像不同步的问题，保证了目标跟踪时序的有效性。
附图说明
图1为本发明视觉定位和检测方法流程图；
图2为本发明张正友标定法棋盘格；
图3为本发明投影矩阵标定场地布置示意图；
图4为本发明YOLOv5l检测网格输出示意图。
具体实施方式
下面通过对本发明进行详细说明，本发明的特点和优点将随着这些说明而变得更为清楚、明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
根据本发明的第一方面，提供了一种跨摄像头的游泳运动员视频定位测速方法，通过架设多个摄像头，在复杂的环境下，利用摄像头拍摄运动目标的视频，通过对视频进行一系列的图像分析、处理与目标跟踪，最终实现对运动目标识别、定位和测速；为了扩大视场范围，摄像头数目Q＞1，Q个摄像头的总视场覆盖运动目标的整个运动场景；具体地，如图1所示，包括如下步骤：
步骤1，通过多线程及同步机制控制各个摄像头拍摄视场内的图像，并记录拍摄时间，获得同时刻的多张图像。
由于场地限制，摄像头不能安装在泳池上空这一最佳位置，则通过固定支架安装在游泳馆内部泳池长边一侧对应的墙壁上，通过视频采集方式拍摄图像。
图像采集设备采用多线程对摄像头进行控制，每个线程控制一台摄像头的拍摄。实测发现多个摄像头同时运行时会发生不同步现象，为获取同一时刻（实际为一个较小时间段）的图像，设计了同步机制。即图像采集设备控制各个摄像头均完成一次拍摄后，再同时开启下一组图像的采集。
步骤2，对图像进行必要的预处理，包括畸变校正、反投影及图像剪裁。
1、关于图像的畸变校正
1.1、原理介绍
摄像头拍摄的图像会产生畸变，包括径向畸变和切向畸变，因此在进一步处理前，需要对图像进行畸变校正。畸变校正需要用到摄像头的内部参数和畸变参数。
摄像头成像原理由如下式表示：
Figure SMS_1
（1）
其中，(u,v)为像素坐标，(X w ,Y w ,Z w )为世界坐标。
M 1为内参矩阵，其中，f x =f /dx称为摄像头x轴方向上的归一化焦距，f y =f /dy称为摄像头y轴方向上的归一化焦距，单位为像素；f为摄像头的焦距，dx、dy分别为像素在摄像头x、y轴方向上的物理尺寸；(u 0,v 0)为图像中心在像素坐标系下的坐标，单位为像素。
M 2为外参矩阵。
径向畸变公式如下：
Figure SMS_2
（2）
k 1为径向畸变二次项系数、k 2为径向畸变四次项系数、k 3为径向畸变六次项系数。
切向畸变公式如下：
Figure SMS_3
（3）
p 1为第一切向畸变系数、p 2为第二切向畸变系数；式中，(x,y)为理想无畸变的图像坐标，
Figure SMS_4
为畸变后的图像坐标，r为图像中某点到图像中心点的距离，即r 2=x 2+y 2。
1.2、畸变校正方式
采用计算机视觉库opencv中的undistort函数对各摄像头拍摄的图像进行畸变校正，所述undistort函数如下：
undistort(src,cameraMatrix,distCoeffs,newCameraMatrix)
其中，src为原始图像的像素矩阵
cameraMatrix为摄像头内参矩阵：
Figure SMS_5
distCoeffs为畸变参数：
Figure SMS_6
newCameraMatrix为全0矩阵。
返回值为畸变校正后图像的像素矩阵。
1.3、内参矩阵cameraMatrix和畸变参数distCoeffs的标定
本发明所述摄像头内参矩阵cameraMatrix与畸变参数distCoeffs的标定过程如下：
S1.3.1、准备一个张正友标定法棋盘格作为标定板，如图2所示，用摄像头对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；如N取值为18，对棋盘格进行正向拍摄9张，侧向拍摄9张；
S1.3.2、采用matlab工具箱中的摄像头标定工具Camera Calibration，加载步骤S1.3.1拍摄得到的N张棋盘格图像，对棋盘格图像中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration确定角点的世界坐标；
S1.3.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到摄像头内参矩阵cameraMatrix和畸变参数distCoeffs。
2、关于反投影
2.1原理介绍
透视投影是将图片投影到一个新的视平面，其是二维(x,y)到三维(X,Y,Z)，再到另一个二维(x’,y’)空间的映射。透视投影是通过矩阵乘法实现的，使用的是一个3×3的投影矩阵M，投影矩阵M的前两行（m11，m12，m13，m21，m22，m23）实现了线性变换和平移，第三行用于实现透视变换。
Figure SMS_7
（4）
Figure SMS_8
（5）
Figure SMS_9
（6）
以上公式设变换之前的点是z值为1的点，其三维平面上的值是(x,y,1)，在二维平面上的投影是(x,y)，通过矩阵变换成三维中的点(X,Y,Z)，再通过除以三维中Ｚ轴的值，转换成二维中的点(x’,y’)。
对于摄像头来说，(x,y)相当于图像上的点，(x’,y’)相当于现实世界某平面上的点，两者构成一一对应关系。投影矩阵表达了像素坐标系到世界坐标系的转换关系。
投影矩阵含9个未知数，但是其实际只有8个自由度，由于每一组坐标构成两个方程，则4组坐标（构成10个方程）即可求解出投影矩阵。
2.2反投影方式
采用计算机视觉库opencv中的warpPerspective函数将摄像头拍摄的图像由侧视图转换为俯视图，同时像素坐标值转换为世界坐标值（单位cm），获得的新图像其像素坐标值与世界坐标值的对应关系为1:1，即1cm/pixel。
warpPerspective函数如下：
warpPerspective(src,M,dsize,dst=None,flags=None,borderMode=None,borderValue=None)
其中src为经畸变校正后图像的像素矩阵，dst为反投影处理后结果图像的像素矩阵，M为投影矩阵,dsize为结果图像大小，flags为输出结果图像，borderMode为可选参数，边界像素模式（int类型），默认值 BORDER_CONSTANT，borderValue为可选参数，边界填充值，当borderMode为cv2.BORDER_CONSTANT时使用，默认值为None。
2.3投影矩阵M的获取过程如下：
S2.3.1、在游泳馆内部泳池长边一侧对应的墙壁上布置好摄像头并固定，使得Q个摄像头的总视场覆盖运动目标的整个运动场景，且相邻摄像头画面有重叠区域；
S2.3.2、定义泳池岸边所在平面（泳池水面与之平齐）为全局世界坐标系的XOY平面，在摄像头一侧对应岸边及对岸布置若干标定板，每个标定板上画有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志点的位置；每个摄像头视场内包含至少4个标志点，4个标志点靠近画面四个角，相邻摄像头视场重叠区域包含至少2个公共标志点，如图3所示；
S2.3.3、对于每个摄像头，选定摄像头视场内左上角的标志点作为原点，即坐标为(0,0)，建立摄像头视场区域世界坐标系，测量四个角部标志点相对于原点的位置，得到4个标志点在摄像头视场区域世界坐标系下的坐标；
S2.3.4、通过摄像头拍摄获取图像；
S2.3.5、将摄像头拍摄的图像进行畸变校正；
S2.3.6、确定每个摄像头拍摄的畸变校正后的图像中的4个标志点在像素坐标系下的坐标；
通过matlab显示畸变校正后图像，使用impixelinfo命令显示鼠标指向的点在图像中的位置，将鼠标指向到菱形标志的中心，得到4个标志在图像中的位置，将图像中左上角的菱形标志的中心定义为像素坐标系原点，坐标记为（0,0），将其余3个非原点标志点与原点的相对位置记为其像素坐标系下的坐标。
S2.3.7、对于每个摄像头，将每个标志点在像素坐标系下的坐标和对应摄像头视场区域世界坐标系下的坐标，记为一组坐标，4组坐标传入计算机视觉库opencv中的getPerspectiveTransform函数，确定摄像头的投影矩阵M。
所述getPerspectiveTransform函数如下：
getPerspectiveTransform(src,dst,solveMethod=None)
src：源图像上四个点的坐标构成的矩阵，要求其中任意三点不共线；
dst：目标图像上四个点的坐标构成的矩阵，要求其中任意三个点不共线，且每个点与src的对应点对应；
solveMethod：矩阵分解方法；
函数返回投影矩阵M。
进一步地，将各个标志点作为被测目标，并将像素坐标值转换为世界坐标值，与实际世界坐标值进行对比，可对标定的精度亦即测试精度进行评估。
3、关于图像剪裁
将反投影之后的图像裁剪为矩形，矩形范围的纵向应包含泳池长边两岸，横向保留以反投影之后的图像中较短岸边为准，并且须保留相邻摄像头画面的重叠区域。
步骤3，采用YOLOv5l模型对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置。
反投影过程使像素坐标值与实际世界坐标值纲量相等，区别仅在于原点位置。为此，首先将图像中目标的像素坐标值转换为当前摄像头画面裁剪前的原点的相对坐标，再通过该图像原点与世界坐标系原点的位置关系推算出目标的全局世界坐标（单位cm）。
YOLOv5l模型是一种基于深度神经网络的对象识别和定位算法，识别和定位方式如下：
（1）、将摄像头采集的图像分辨率转换为640*640，并分成S×S个网格（gridcell）。本发明某一具体实施例中，S通常取值为7。
（2）、每个网格会预测B个边界框（Bbox，bounding box）以及边界框的置信度（confidence score）。本发明某一具体实施例中，B为2。
边界框信息用4个值表示(x,y,w,h)，其中(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。
置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为Pr(object)，当边界框包含目标时，Pr(object)=1，否则Pr(object)=0（仅包含背景）。后者用预测框与实际框（ground truth）的IOU（intersection over union，交并比）来表征，记为
Figure SMS_10
，则置信度定义为/>
Figure SMS_11
。
除了边界框，每个网格还要预测C个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率，记为Pr(classi|object)。
综上，每个网格需要预测(B*5+C)个值。取B=2，C=20，则每个网格包含的数值如图4所示。
如果将输入图片划分为S×S网格，那么最终预测值为S×S×（B×5 +C）个。
实际测试时，还要计算出各个边界框类别置信度（class-specific confidencescores）
YOLOv5l模型经过以泳帽作为目标进行标注处理的游泳运动图像及相关数据的预先训练。对YOLOv5l模型进行预先训练，先用每台摄像机拍摄运动员游泳视频，之后抽取图像，使用数据标记软件以泳帽为目标进行标注，得到标签文件，最后用已标注的图像及相应标签文件对YOLOv5l模型进行训练，训练好的YOLOv5l模型便可用于检测任务。
Figure SMS_12
（7）
对于C个类别，i = 1,2,...,C。
得到每个边界框类别置信度以后，设置阈值（本实施例中阈值为0.5），滤掉得分低的边界框，对保留的边界框进行NMS（非最大抑制算法）处理，就得到最终的检测结果。对于每个被检测到的目标，最终输出包含7个值：4个位置值(x,y,w,h)（即最终的边界框）、1个边界框置信度、1个类别置信度和1个类别代码。
步骤4，识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，再采用改进的DeepSORT算法，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪。
该步骤中，识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，具体地，检测相邻图像重叠区域内的目标，若两目标坐标距离小于某一阈值，则判定为同一目标，该位置坐标保留一份，完成去重。
运动目标跟踪模块采用改进的DeepSORT方法对不同时刻各运动目标的边界框进行跟踪。
DeepSORT算法是一种实现多目标跟踪的算法，其核跟踪算法核心在于，使用目标的表观特征作为其级联匹配的依据。而本发明针对应用场景的特点采用的改进的DeepSORT对游泳场景更具适应性。具体而言，由于水花遮挡严重，我们以游泳运动员头部（具体为泳帽）作为检测目标，然而泳帽相似度较高，因此原始DeepSORT以目标的表观特征为基础计算相似度，进而进行匹配，较易发生IDswitch。
改进的DeepSORT算法由以目标的表观特征为基础计算相似度进行匹配，改为计算目标位置的欧氏距离进行匹配，同时针对运动员分布在不同泳道切不会切换泳道的特点，将门控矩阵由基于位置和大小的马氏距离改为Y向的欧式距离。具体跟踪过程如下：
S4.1、对第一帧图像经过YOLOv5l检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
S4.2、第一帧后的任意一帧经过YOLOv5l目标检测模型后，利用改进的DeepSORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
确定所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹目标位置；
对于未匹配到的目标框，则初始化并创建新的跟踪轨迹，标注ID；
S4.3、根据匹配结果，对所有目标的跟踪轨迹更新并更新目标检测框状态，获得相邻帧之间的位置差和时间差。
改进的DeepSORT算法流程中的卡尔曼滤波对目标预测过程为：
使用具有良好抗噪声干扰能力的卡尔曼滤波预测运动员泳帽位置。设待跟踪泳帽上一帧状态为
Figure SMS_13
，k-1表示上一帧图像，L k-1和V k-1分别表示上一帧图像的位置状态和速度状态。考虑到运动员速度不平均和水面等干扰，给予一定的噪声协方差矩阵Q，状态预测方程如式（8）和（9）所示。
Figure SMS_14
（8）
Figure SMS_15
（9）
为保证跟踪的实时性和准确性，模型中的一些参数需要更新。
Figure SMS_16
（10）
Figure SMS_17
（11）
Figure SMS_18
（12）
其中，A k 是状态转移矩阵，u k 是状态控制向量，B k 是控制变量矩阵；
Figure SMS_19
和/>
Figure SMS_20
分别为k-1时刻与k时刻的后验状态估计，为更新后的结果；/>
Figure SMS_21
表示k时刻的先验状态估计，即根据k-1时刻的最优估计预测k时刻的状态；Pk-1和Pk分别为k-1时刻与k时刻的后验估计协方差；
Figure SMS_22
为k时刻的先验估计协方差；z k 为测量状态；K k 为卡尔曼滤波器增益。H k 为状态变量到预测测量值的转换矩阵。R和Q分别是是观测噪声和系统噪声的协方差矩阵。
改进的DeepSORT算法流程中的损失矩阵确定方法为：
针对运动员游泳运动运动特征：不同运动员分布在不同泳道（以泳道长作为横坐标），运动员运动过程中距离不会发生突变以及不会换泳道。
因此，改进的DeepSORT使用目标检测框与轨迹预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_23
（13）
其中，x j 和y j 表示第j个目标检测框的中心点位置横纵坐标，x i 和y i 表示第i个轨迹预测框的中心点位置横纵坐标，d(i,j)为第j个目标检测框与第i条轨迹预测框之间的欧氏距离。
然后，为了进一步保证匹配的质量，使用门控矩阵对损失矩阵进行修正，结合实际应用场景下泳道呈纵向分布，相同泳道的图像像素点纵坐标值相近的特征，提出了将运动员泳帽中心点的像素纵坐标值坐标作为门控矩阵，用于限制处于不同泳道的轨迹和目标间的匹配。
Figure SMS_24
（14）
其中，匹配损失矩阵的第i行第j列元素为cost[i,j]，cost[i,j]表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
原始DeepSORT由于需要以目标的表观特征进行匹配，则需要以图片将作为输入来提取特征。对于大幅面场景来说，势必要考虑多张图片拼接成一张，先经过YOLOv5l检测得到目标位置，之后将位置数据和拼接后的图片输入给DeepSORT算法进行跟踪。如此，由于拼接后目标变小特征模糊不便检测造成识别率下降，进而影响跟踪效果。改进的DeepSORT根据位置信息进行匹配，不需要以图片作为输入。则通过YOLOv5l对同一时刻的覆盖整个场景的多张原始图片分别进行检测得到全部目标位置数据，后续只需将位置数据输入DeepSORT算法，从而实现全局跟踪。未拼接的原始图片目标较为明显，相较拼接方式有更高的识别率和准确度，进而提升了后边DeepSORT的跟踪效果。
步骤5，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
根据本发明的第二方面，提供了一种跨摄像头的游泳运动员视频定位测速装置，包括：
多摄像头图像采集模块，用于采用多线程控制各个摄像头拍摄视场内的图像，并记录拍摄时间，获得同时刻的多张图像，发送给图像预处理模块；
图像预处理模块，用于获取各摄像头拍摄的图像，对图像进行必要的预处理，包括畸变校正、反投影及图像剪裁；
运动目标检测模块，用于采用YOLOv5l模型对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置；
运动目标跟踪模块，用于识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，再采用改进的DeepSORT算法，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪；
运动目标速度识别模块，用于将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
根据本发明的第三方面，提供了一种跨摄像头的游泳运动员视频定位测速设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施第一方面所述的一种跨摄像头的游泳运动员视频定位测速设备方法。
根据本发明的第四方面，提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施第一方面所述的一种跨摄像头的游泳运动员视频定位测速设备方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和可读存储介质的具体工作过程，可以参考前述方法中的对应过程，在此不再赘述。
本申请的装置、设备和可读存储介质技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
实施例
实施例1
摄像头采用大恒摄像头，通过调用大恒摄像头API实现图像的采集。YOLOv5l模型目标类别设置为游泳运动会员头部，即只将游泳运动会员头部作为运动目标进行检测，实现了目标检测。如图4所示，首先对动目标视频定位测速系统进行了如下初始化：创建摄像头对象；加载相关参数，包括摄像头IP地址等基本配置参数、摄像头内参和畸变参数；创建YOLOv5l对象并进行初始化，之后采用上述方法实现视觉定位和测速方法，取得了较好的跟踪效果，定位精度达到2cm以内。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (13)

1.一种跨摄像头的游泳运动员视频定位测速方法，其特征在于，包括：
采用多线程控制多个摄像头拍摄视场内的图像，每个线程控制一台摄像头的拍摄，记录拍摄时间，获得同时刻的多张图像；其中，多个摄像头的总视场覆盖运动目标的整个运动场景；
对图像进行畸变校正、反投影预处理；
对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置；
识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实施运动场景全局世界坐标系中不同时刻各运动目标的跟踪；
将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
2.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述采用多线程控制多个摄像头拍摄视场内的图像，每个线程控制一台摄像头的拍摄，记录拍摄时间，获得同时刻的多张图像的步骤中，采用多线程控制各个摄像头均完成一次拍摄后，再同时开启下一组图像的采集，获得同时刻的多张图像。
3.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述对图像进行畸变校正、反投影预处理的步骤中，采用计算机视觉库opencv中的undistort函数对各摄像头拍摄的图像进行畸变校正，所述undistort函数如下：
undistort(src, cameraMatrix, distCoeffs, newCameraMatrix)
其中，src为原始图像的像素矩阵，cameraMatrix为摄像头内参矩阵，distCoeffs为畸变参数，newCameraMatrix为全0矩阵，返回值为校正后的图像的像素矩阵。
4.根据权利要求3所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述摄像头内参矩阵cameraMatrix与畸变参数distCoeffs的标定过程如下：
S1.3.1、准备一个张正友标定法棋盘格作为标定板，用摄像头对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；
S1.3.2、采用matlab工具箱中的摄像头标定工具Camera Calibration，加载步骤S1.3.1拍摄得到的N张棋盘格图像，对棋盘格图像中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration确定角点的世界坐标；
S1.3.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到摄像头内参矩阵cameraMatrix和畸变参数distCoeffs。
5.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述对图像进行畸变校正、反投影预处理的步骤中，采用计算机视觉库opencv中的warpPerspective函数将摄像头拍摄的图像由侧视图转换为俯视图，同时像素坐标值转换为世界坐标值，获得的新图像其像素坐标值与世界坐标值的对应关系为1:1，即1cm/pixel；
warpPerspective函数如下：
warpPerspective(src, M, dsize, dst=None, flags=None, borderMode=None,borderValue=None)
其中src为经畸变校正后图像的像素矩阵，dst为反投影处理后结果图像的像素矩阵，M为投影矩阵，dsize为结果图像大小，flags为输出结果图像，borderMode为可选参数，边界像素模式，默认值 BORDER_CONSTANT，borderValue为可选参数，边界填充值，当borderMode为cv2.BORDER_CONSTANT时使用，默认值为None。
6.根据权利要求5所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述投影矩阵M的获取过程如下：
S2.3.1、在游泳馆内部泳池长边一侧对应的墙壁上布置好摄像头并固定，使得多个摄像头的总视场覆盖运动目标的整个运动场景，且相邻摄像头画面有重叠区域；
S2.3.2、定义泳池岸边所在平面为全局世界坐标系的XOY平面，在摄像头一侧对应岸边及对岸布置若干标定板，每个标定板上画有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志点的位置；每个摄像头视场内包含至少4个标志点，4个标志点靠近画面四个角，相邻摄像头视场重叠区域包含至少2个公共标志点；
S2.3.3、对于每个摄像头，选定摄像头视场内左上角的标志点作为原点，坐标为(0,0)，建立摄像头视场区域世界坐标系，测量四个角部标志点相对于原点的位置，得到4个标志点在摄像头视场区域世界坐标系下的坐标；
S2.3.4、通过摄像头拍摄获取图像；
S2.3.5、将摄像头拍摄的图像进行畸变校正；
S2.3.6、确定每个摄像头拍摄的畸变校正后的图像中的4个标志点在像素坐标系下的坐标；
S2.3.7、对于每个摄像头，将每个标志点在像素坐标系下的坐标和对应摄像头视场区域世界坐标系下的坐标，记为一组坐标，4组坐标传入计算机视觉库opencv中的getPerspectiveTransform函数，确定摄像头的投影矩阵。
7.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述对图像进行畸变校正、反投影预处理的步骤后，还包括将反投影之后的图像裁剪为矩形，矩形范围的纵向应包含泳池长边两岸，横向保留以反投影之后的图像中较短岸边为准，并且须保留相邻摄像头画面的重叠区域。
8.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，采用YOLOv5l模型对同一时刻拍摄的每一张预处理后的图像进行目标检测，该YOLOv5l模型经过以泳帽作为目标进行标注处理的游泳运动图像及标签数据的预先训练。
9.根据权利要求1所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，采用改进的DeepSORT算法对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实施运动场景全局世界坐标系中不同时刻各运动目标的跟踪，具体方式如下：
对第一帧图像经过YOLOv5l检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5l目标检测模型后，利用改进的DeepSORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
确定所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹目标位置；
对于未匹配到的目标框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标检测框状态。
10.根据权利要求9所述的跨摄像头的游泳运动员视频定位测速方法，其特征在于，所述匹配损失矩阵的确定方法为：
使用目标检测框与轨迹预测框之间的欧氏距离来描述运动关联程度：
Figure QLYQS_1
其中，x j 和y j 表示第j个目标检测框的中心点位置横、纵坐标，x i 和y i 表示第i个轨迹预测框的中心点位置横、纵坐标，d(i,j)为第j个目标检测框与第i条轨迹预测框之间的欧氏距离；
Figure QLYQS_2
其中，匹配损失矩阵的第i行第j列元素为cost[i,j]，cost[i,j]表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
11.一种跨摄像头的游泳运动员视频定位测速装置，其特征在于，包括：
多摄像头图像采集模块，用于采用多线程控制多个摄像头拍摄视场内的图像，每个线程控制一台摄像头的拍摄，记录拍摄时间，获得同时刻的多张图像，发送给图像预处理模块所述多个摄像头的总视场覆盖运动目标的整个运动场景；
图像预处理模块，用于获取各摄像头拍摄的图像，对图像进行畸变校正、反投影预处理；
运动目标检测模块，用于对同一时刻拍摄的每一张预处理后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的坐标，通过坐标变换，得到各运动目标在运动场景全局世界坐标系中的位置；
运动目标跟踪模块，用于识别当前时刻相邻摄像头所拍摄图像重叠的目标并去重，对当前时刻全部摄像头所拍摄的多张图像中检测到的全部目标在不同时刻的位置进行匹配，实现运动场景全局世界坐标系中不同时刻各运动目标的跟踪；
运动目标速度识别模块，用于将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景全局世界坐标系下的速度。
12.一种跨摄像头的游泳运动员视频定位测速设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实施权利要求1至10之一所述的一种跨摄像头的游泳运动员视频定位测速方法。
13.一种可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实施权利要求1至10之一所述的一种跨摄像头的游泳运动员视频定位测速方法。
CN202310565912.2A 2023-05-19 2023-05-19 游泳运动员视频定位测速方法、装置、设备及存储介质 Pending CN116309686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310565912.2A CN116309686A (zh) 2023-05-19 2023-05-19 游泳运动员视频定位测速方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310565912.2A CN116309686A (zh) 2023-05-19 2023-05-19 游泳运动员视频定位测速方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116309686A true CN116309686A (zh) 2023-06-23

Family

ID=86781932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310565912.2A Pending CN116309686A (zh) 2023-05-19 2023-05-19 游泳运动员视频定位测速方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116309686A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704046A (zh) * 2023-08-01 2023-09-05 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117934805A (zh) * 2024-03-25 2024-04-26 腾讯科技（深圳）有限公司 对象筛选方法和装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN114120168A (zh) * 2021-10-15 2022-03-01 上海洛塔信息技术有限公司 一种目标跑动距离测算方法、系统、设备及存储介质
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115131760A (zh) * 2022-07-17 2022-09-30 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN115457086A (zh) * 2022-09-16 2022-12-09 大连理工大学 基于双目视觉和卡尔曼滤波的多目标跟踪算法
CN116109986A (zh) * 2023-03-03 2023-05-12 同济大学 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN114120168A (zh) * 2021-10-15 2022-03-01 上海洛塔信息技术有限公司 一种目标跑动距离测算方法、系统、设备及存储介质
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN115131760A (zh) * 2022-07-17 2022-09-30 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN115457086A (zh) * 2022-09-16 2022-12-09 大连理工大学 基于双目视觉和卡尔曼滤波的多目标跟踪算法
CN116109986A (zh) * 2023-03-03 2023-05-12 同济大学 一种基于激光雷达和视频技术互补的车辆轨迹提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
德林恩宝: "deepsort源码解读（四）", Retrieved from the Internet <URL:blog.csdn.net/qq_44116998/article/details/125566770> *
王继超 等: "基于YOLOv4与改进DeepSORT算法的车流量检测", 《河北水利电力学院学报》 *
范婉舒 等: "基于改进DeepSORT的视觉/激光雷达目标跟踪与定位方法", 《导航定位与授时》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704046A (zh) * 2023-08-01 2023-09-05 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN116704046B (zh) * 2023-08-01 2023-11-10 北京积加科技有限公司 一种跨镜图像匹配方法及装置
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117197193B (zh) * 2023-11-07 2024-05-28 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117934805A (zh) * 2024-03-25 2024-04-26 腾讯科技（深圳）有限公司 对象筛选方法和装置、存储介质及电子设备
CN117934805B (zh) * 2024-03-25 2024-07-12 腾讯科技（深圳）有限公司 对象筛选方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN109151439B (zh) 一种基于视觉的自动追踪拍摄系统及方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
Ramalingam et al. Skyline2gps: Localization in urban canyons using omni-skylines
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN112183355B (zh) 基于双目视觉和深度学习的出水高度检测系统及其方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN105279771B (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
US20150138193A1 (en) Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium
CN106650701A (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
Linger et al. Aerial image registration for tracking
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN116309685A (zh) 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN109325444A (zh) 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
CN107038758A (zh) 一种基于orb算子的增强现实三维注册方法
CN103617631A (zh) 一种基于中心检测的跟踪方法
Manafifard A review on camera calibration in soccer videos
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
CN113240656A (zh) 视觉定位方法及相关装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230623