Nothing Special   »   [go: up one dir, main page]

CN116309685A - 基于视频拼接的多摄像机协同游泳运动测速方法及系统 - Google Patents

基于视频拼接的多摄像机协同游泳运动测速方法及系统 Download PDF

Info

Publication number
CN116309685A
CN116309685A CN202310565836.5A CN202310565836A CN116309685A CN 116309685 A CN116309685 A CN 116309685A CN 202310565836 A CN202310565836 A CN 202310565836A CN 116309685 A CN116309685 A CN 116309685A
Authority
CN
China
Prior art keywords
tracking
frame
target
image
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310565836.5A
Other languages
English (en)
Inventor
张超超
孟祥涛
赵合
向政
黄磊
褚天琪
葛宏升
付尧顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Original Assignee
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Times Optical Electronic Technology Co Ltd filed Critical Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority to CN202310565836.5A priority Critical patent/CN116309685A/zh
Publication of CN116309685A publication Critical patent/CN116309685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频拼接的多摄像机协同游泳运动测速方法及系统，属于运动测量领域。通过多线程触发多台摄像机同步采集游泳馆画面信息，利用视频拼接方法将多摄像机实时采集的图像进行拼接，获得游泳馆的单张广角图片，利用YOLOv5目标检测和ISORT目标跟踪算法进行目标跟踪定位，最后根据内参校正和外参标定模块获得运动员的世界坐标，可实现多摄像机的协同定位和测速。本发明具有对场馆和采集设备限制小、图片拼接准确度高且易排查和易工程化等优点，能够有效解决现有游泳运动速度量化方法无法试试高精度反馈结果的问题，大幅提高匹配准确度。

Description

基于视频拼接的多摄像机协同游泳运动测速方法及系统
技术领域
本发明属于运动测量领域，涉及一种基于视频拼接的多摄像机协同游泳运动测速方法及系统。
背景技术
近年来，随着“科技助力体育” 口号的提出，通过科技手段实现运动指标的精准量化对提升运动员的水平至关重要。在游泳竞技中，速度量化是运动员水平和能力的直观体现。而由于在水下环境中进行测试的特定限制，速度测量一直是困扰业界人士的难题。当前传统的游泳运动测速方法精度容易发散，且无法实时高精度反馈结果。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种基于视频拼接的多摄像机协同游泳运动测速方法及系统，解决现有游泳运动速度量化方法无法试试高精度反馈结果的问题，大幅提高匹配准确度。
本发明的技术解决方案为：
一种基于视频拼接的多摄像机协同游泳运动测速方法，包括如下步骤：
在游泳馆一侧墙壁顶部沿泳道方向依次布设多个摄像机，且相邻摄像机图像采集区域的对接区域相重叠；
在泳池的两侧均匀摆上标定板，记录其中心位置世界坐标，并保证任意两个摄像机的重叠区域上下均包含至少1个标定板；
每台摄像机均进行摄像机内部参数校正和外部参数标定，获得图像二维坐标系到世界坐标系的投影关系；
利用含有标定板的图像完成图像配准和拼接，作为视频拼接模板；
多线程触发游泳馆内各摄像机的采集，获得同一时间各个摄像机分别捕获的图像，经过内参校正后作为待拼接图像，根据视频拼接模板完成拼接，获得单张广角图片；
构建目标检测YOLOv5模型，利用目标检测YOLOv5模型在得到的单张广角图片中检测目标，获取目标位置；所述目标位游泳运动员泳帽；
通过ISORT跟踪算法对检测到的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
优选的，视频拼接模板获取过程为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄像机拍摄的图像透视投影至同一坐标下，完成图像配准工作；
步骤42：以过图像重叠区域下标定板中心点的垂线为拼接线，去除重叠区域后完成多图像的拼接，获得视频拼接模板。
优选的，单应性矩阵求解流程为：
单应性矩阵
Figure SMS_1
，其满足/>
Figure SMS_2
其中
Figure SMS_3
表示摄像机拍摄的图像中的任意一点，/>
Figure SMS_4
为该点对应的实际泳道世界坐标点，/>
Figure SMS_5
—/>
Figure SMS_6
为单应性矩阵的元素；
从某摄像机拍摄的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入
Figure SMS_7
中，即可得到单应性矩阵/>
Figure SMS_8
。
优选的，所述将多摄像机拍摄的图像透视投影至同一坐标下，该坐标下的泳道尺度与实际泳道保持一致、泳道角度呈水平分布。
优选的，通过ISORT跟踪算法对检测的运动员进行实时跟踪，获得相邻帧之间的位置差和时间差，具体实现方式如下：
对第一帧图像经过目标检测YOLOv5模型检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过目标检测YOLOv5模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与当前帧的目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
优选的，匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_9
其中，
Figure SMS_10
和/>
Figure SMS_11
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_12
和/>
Figure SMS_13
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_14
为第j个目标检测框与第i条轨迹预测框之间的欧氏距离；
Figure SMS_15
其中，匹配损失矩阵的第i行第j列元素为
Figure SMS_16
表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
一种基于视频拼接的多摄像机协同游泳运动测速系统，包括多摄像机采集模块、内参校正模块、视频拼接模块、目标识别模块、目标跟踪模块、外参标定模块；
多摄像机采集模块：包含多个摄像机，沿泳道方向依次布置在游泳馆一侧墙壁顶部，用于实时采集游泳馆图像；
内参校正模块：对多摄像机采集模块采集的图像进行内参校正，以校正图像径向畸变和切向畸变；
视频拼接模块：将含有标定板的图像通过4个标定点完成图像配准和拼接，获得视频拼接模板；将同一时间经过内参校正的图像作为待拼接图像，根据视频拼接模板完成拼接，获得单张广角图片；
目标识别模块：利用目标检测YOLOv5模型在得到的单张广角图片中逐帧检测图像画面内的运动员，获取目标位置；
目标跟踪模块：通过ISORT跟踪算法对检测到的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
外参标定模块：将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
优选的，视频拼接模块获取视频拼接模板的过程为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄像机拍摄的图像透视投影至同一坐标下，完成图像配准工作；
步骤42：以过图像重叠区域下标定板中心点的垂线为拼接线，去除重叠区域后完成多图像的拼接，获得视频拼接模板。
优选的，单应性矩阵求解流程为：
单应性矩阵
Figure SMS_17
，其满足
其中
Figure SMS_18
表示摄像机拍摄的图像中的任意一点，/>
Figure SMS_19
为该点对应的实际泳道世界坐标点，—/>
Figure SMS_20
为单应性矩阵的元素；
从含有标定板的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入
Figure SMS_21
中，即可得到单应性矩阵。
优选的，目标跟踪模块具体实现方式如下：
对第一帧图像经过目标检测YOLOv5模型检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过目标检测YOLOv5模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；
对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
与现有技术相比，本发明具有如下有益效果：
（1）本发明将多摄像机采集的游泳馆不同区域图片拼接成单张广角图片，并对单张该广角图片进行目标跟踪，有效解决了多摄像机协同分配的问题，包括不同摄像机下同一目标的确认和交接问题。
（2）本发明采用目标跟踪的方法对游泳馆内所有运动员测速，对运动员检测精度高和跟踪速度快，有效解决了传统游泳运动测速方法精度容易发散，且无法实时高精度反馈结果的问题。
（3）本发明采用ISORT目标跟踪算法，提高了数据关联的准确性，有效的降低了不同泳道运动员在跟踪过程中的干扰，提高了跟踪准确率。
附图说明
图1为图像拼接流程图；
图2为ISORT多目标跟踪算法流程图；
图3为本发明流程图。
具体实施方式
下面结合附图说明本发明的具体实施方式。
针对使用图像信息实现水下目标跟踪的难题，深度学习图像处理方法可以使用深度卷积计算提取图像的抽象特征，充分利用像素信息，以此来提高检测器的性能，其中YOLOv5是一种多目标、多尺度深度学习检测器，具有计算量小、识别速度快、低延时、高精度等优点，相较于单目标跟踪算法，更适合对游泳馆内多名运动员的检测和跟踪。作为常与YOLOv5检测器结合使用的SORT跟踪器，可以有效地关联目标，并提升跟踪的实时性。SORT的核心主要是卡尔曼滤波和匈牙利算法的结合版，可以达到较好的跟踪效果。
就跟踪视角而言，根据所采用的摄像机数目不同，视频跟踪可以分为单摄像机下的跟踪和多摄像机下的跟踪。这两个研究方面是互相联系的，多摄像机下的跟踪是以单摄像机下的跟踪为基础。而无论是单摄像机下的跟踪还是多摄像机下的跟踪都依赖于运动检测、运动目标在单个摄像机下的自适应跟踪等底层的处理。
在多摄像机协同跟踪中，主要的难点是如何在多个摄像机之间对相同的目标建立正确的对应关系，即目标交接。例如：如何对摄像头之间检测到的共同目标进行确认，如何有效地分配多个摄像头覆盖游泳馆内所有运动员。
本发明通过图像配准与结合的图像拼接融合方法，将多摄像机协图像拼接成一幅完整的图像，成功解决上述的目标交接难题。
一种基于视频拼接的多摄像机协同游泳运动测速方法，用于使用多台摄像机覆盖整个游泳馆，并对游泳馆内所有运动员实现轨迹跟踪，如图3所示，包括如下步骤：
步骤1：在游泳馆右侧墙壁顶部沿途一次布设各个摄像机，且相邻摄像机图像采集区域的批次对接区域相重叠；
步骤2：在泳池的两侧均匀摆上标定板和记录其世界坐标，并保证任意两个摄像机的重叠区域上下均包含至少1个标定板；
步骤3：多台摄像机分别根据摄像机内部参数校正和外部参数的标定，获得图像二维坐标系对应到世界坐标系的投影关系；
步骤4：将均含有标定板的多台摄像机采集的图片完成图像配准和拼接，作为视频拼接模板；
步骤5：多线程触发游泳馆内各摄像机的采集，获得同一时间各个摄像机分别捕获的图像，经过内参校正后作为待拼接图像根据步骤4中的拼接模板完成拼接，获得单张广角图片；
步骤6：采用构建的目标检测YOLOv5模型在得到的单张广角图片中检测目标（游泳运动员泳帽），获取目标位置；
步骤7：根据游泳运动特点对SORT的损失函数进行改进，提出了ISORT跟踪算法，通过ISORT对步骤6检测到的运动员实时跟踪；
步骤8：通过外参标定模块，将目标图像坐标转化为世界坐标，实现游泳运动员的定位和测速。
1. 视频拼接步骤
对于多摄像机协同的目标跟踪，通过图像拼接可对后续视频实施拍摄的每帧序列完成拼接，整体步骤如下：
（1）首先根据基于标定的投影变换方法对含有标定板的图片进行拼接，获取视频拼接模板；
（2）通过这个模板，对实时子序列帧拼接，生成由广角图片构成的广角视频；
（3）利用目标跟踪算法完成运动员的实时跟踪。
1.1 视频拼接模板获取
其中视频拼接模板的拼接过程是核心内容，图1为视频拼接模板获取流程图，其步骤为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄摄像机拍摄的图片转换至同一坐标下，完成图像配准工作；
步骤42：根据重叠区域标定板的中心点作为拼接线，去除重叠区域后完成多图片的拼接，获得视频拼接模板。
图像配准流程中涉及到单应性矩阵求解流程如下：
每台游泳馆摄像机拍摄的图片中选择4个标定板坐标点以及其对应的实际泳道平面坐标点，则两平面的转换关系采用单应性矩阵计算可得。求取单应性矩阵H，具体的计算过程为：
Figure SMS_22
（1）
其中
Figure SMS_23
表示摄像机拍摄的图像中的任意一点，/>
Figure SMS_24
为该点对应的实际泳道世界坐标点，/>
Figure SMS_25
—/>
Figure SMS_26
为单应性矩阵的元素；
Figure SMS_27
表示H矩阵，H矩阵有8个自由度，所以只需要4对点就可以计算出。/>
Figure SMS_28
表示相机拍摄的图像中的任意一点，/>
Figure SMS_29
为该点对应的实际泳道世界坐标点。
首先展开：
Figure SMS_30
（2）
然后可以前两式比上第三式，得公式（3），并让等式右边等于0，得公式（4）。
Figure SMS_31
（3） （4）
展开为矩阵
Figure SMS_32
的形式：
Figure SMS_33
（5）
Figure SMS_34
（6）
把对应的特征点带进来可得：
Figure SMS_35
（7）
求解方程组，可得最大无关向量，即可得
Figure SMS_36
的H矩阵。
因此，从含有标定板的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入
Figure SMS_37
中，即可得到单应性矩阵/>
Figure SMS_38
。
图像配准流程中涉及的投影透视为：透视变换（Perspective Transformation)是将一个平面（图片）通过一个投影矩阵投影到一个新的视平面(Viewing Plane)，也称作投影映射。
针对当前项目的游泳馆，泳道呈2D平面分布，因多摄像机焦距、拍摄角度等参数的不同，多摄像机拍摄的泳道在图片中呈不同尺度角度。因此我们通过单应性矩阵将多摄摄像机拍摄的图片转换至同一平面坐标下，该坐标下的泳道尺度与实际泳道保持一致、泳道角度也统一呈水平分布。
2.YOLOv5目标检测
图像拼接为单张广角图片后，可直接将该图片输入至目标检测模型YOLOv5中，对多摄像机中所有游泳运动进行检测：
YOLOv5为当前最优秀的单阶段目标识别算法之一，依靠其快速的检测速度兼具高精度和适应各类复杂场景的特点被广泛应用于目标检测领域。对游泳运动员的识别采用端到端的方式，直接从输入图片中检测到目标泳帽和与其对应的包络框。YOLOv5主要由四个部分组成，输入端、骨干网络、脖子网络与检测头，分别负责图像预处理、图像特征提取、特征多样化处理和预测目标的种类和包络框。
输入端表示输入的运动员游泳场景图片，该网络的输入图像大小为608
Figure SMS_39
608，该阶段采用预处理将输入图像缩放到网络需要的尺寸，并使用自适应锚框计算进行图片自适应缩放。骨干网络通过提取图片中的多尺度深层次特征。脖子网络对多尺度特征进行融合，利用它可以进一步提升特征的多样性和模型的鲁棒性。检测头用来完成目标检测结果的输出，用于预测运动员泳帽和对应包络框。
3.ISORT目标跟踪
目标检测完成后，将YOLOv5检测目标框输入至ISORT匹配算法中，实现目标持续性跟踪，图2为 ISORT多目标跟踪算法流程图，其步骤为：
(1)对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
(2)第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标框相似度最大的唯一匹配，并更新轨迹目标位置；
对于未匹配到的目标框，则初始化并创建新的跟踪轨迹，标注ID；
(3)根据匹配结果，对所有目标的跟踪轨迹更新并更新目标框状态，获得相邻帧之间的位置差和时间差。
ISORT算法流程中的卡尔曼滤波对目标预测过程为：
使用具有良好抗噪声干扰能力的卡尔曼滤波预测运动员泳帽位置。设待跟踪泳帽上一帧状态为
Figure SMS_40
，/>
Figure SMS_41
表示上一帧图像，/>
Figure SMS_42
和/>
Figure SMS_43
分别表示上一帧图像的位置状态和速度状态。考虑到运动员速度不平均和水面等干扰，给予一定的噪声协方差矩阵Q，状态预测方程如式（8）和（9）所示。
Figure SMS_44
（8）
Figure SMS_45
（9）
为保证跟踪的实时性和准确性，模型中的一些参数需要更新。
Figure SMS_46
（10）
Figure SMS_47
（11）
Figure SMS_48
（12）
其中，
Figure SMS_51
是状态转移矩阵，/>
Figure SMS_54
是状态控制向量，/>
Figure SMS_57
是控制变量矩阵；/>
Figure SMS_50
和/>
Figure SMS_53
分别为k-1时刻与k时刻的后验状态估计，为更新后的结果；/>
Figure SMS_56
表示k时刻的先验状态估计，即根据k-1时刻的最优估计预测k时刻的状态；/>
Figure SMS_59
和分别为k-1时刻与k时刻的后验估计协方差；/>
Figure SMS_49
为k时刻的先验估计协方差；/>
Figure SMS_52
为测量状态；/>
Figure SMS_55
为卡尔曼滤波器增益。/>
Figure SMS_58
为状态变量到预测测量值的转换矩阵。R和Q分别是是观测噪声和系统噪声的协方差矩阵。
ISORT算法流程中的损失矩阵计算方法为：
针对运动员游泳运动运动特征：不同运动员分布在不同泳道（以泳道长作为横坐标），运动员运动过程中距离不会发生突变以及不会换泳道。
因此，ISORT使用检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_60
（13）
其中，
Figure SMS_61
和/>
Figure SMS_62
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_63
和/>
Figure SMS_64
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_65
为第j个目标检测框与第i条轨迹预测框之间的欧氏距离；
然后，为了进一步保证匹配的质量，使用门控矩阵对损失矩阵进行修正，结合实际应用场景下泳道呈纵向分布，相同泳道的图像像素点纵坐标值相近的特征，提出了将运动员泳帽中心点的像素纵坐标值坐标作为门控矩阵，用于限制处于不同泳道的轨迹和目标间的匹配。
Figure SMS_66
（14）
其中，
Figure SMS_67
表示第i个轨迹预测框与第j个目标检测框匹配的损失值； gate表示门控矩阵的阈值。
4.外参标定
最后，根据目标跟踪算法获得的轨迹位置，将实时跟踪的运动员图像坐标位置通过外参标定法转换为世界坐标，获取摆放在泳池两岸的6个标定板中心点的图像坐标和其对应的世界坐标，直接计算标定转换矩阵，计算公式如式（15）所示：
Figure SMS_68
（15）
其中，a、b、c和
Figure SMS_69
、/>
Figure SMS_70
、/>
Figure SMS_71
为待解参数。将已知的6组标定板中心点图像坐标和世界坐标代入，解上式可得转换矩阵T，具体可见公式（16）。
Figure SMS_72
（16）
可根据转换矩阵T和图片泳帽像素点，计算得到运动员的世界坐标。
本发明同时提供一种基于视频拼接的多摄像机协同游泳运动测速系统，包括多摄像机采集模块、内参校正、视频拼接模块、目标识别模块、目标跟踪模块、外参标定模块。
多摄像机采集模块：包含多个摄像机，沿泳道方向依次布置在游泳馆一侧墙壁顶部，用于实时采集游泳馆图像；内参校正模块，对摄像机的内参校正采用张正友标定法，可校正图片径向畸变和切向畸变；视频拼接模块，将含有标定板的图像通过4个标定点完成图像配准和拼接，获得视频拼接模板；多线程触发游泳馆内各摄像机的采集，获得同一时间各个摄像机分别捕获的图像，经过内参校正后作为待拼接图像，根据视频拼接模板完成拼接，获得单张广角图片。目标识别模块，利用目标检测YOLOv5模型在得到的单张广角图片中逐帧检测图像画面内的运动员，获取目标位置。目标跟踪模块，通过ISORT跟踪算法对检测到的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差。外参标定模块，将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
视频拼接模块获取视频拼接模板的过程为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄像机拍摄的图像透视投影至同一坐标下，完成图像配准工作；
步骤42：以过图像重叠区域下标定板中心点的垂线为拼接线，去除重叠区域后完成多图像的拼接，获得视频拼接模板。
单应性矩阵求解流程为：
单应性矩阵
Figure SMS_73
，其满足/>
Figure SMS_74
其中
Figure SMS_75
表示摄像机拍摄的图像中的任意一点，/>
Figure SMS_76
为该点对应的实际泳道世界坐标点；
从含有标定板的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入
Figure SMS_77
中，即可得到单应性矩阵/>
Figure SMS_78
。
目标跟踪模块具体实现方式如下：
对第一帧图像经过目标检测YOLOv5模型检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过目标检测YOLOv5模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标框相似度最大的唯一匹配，并更新轨迹目标位置；
对于未匹配到轨迹的目标框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标框状态，获得相邻帧之间的位置差和时间差。
本发明通过脚本多线程触发多台摄像机同步采集游泳馆画面信息，利用视频拼接算法将多摄像机实时采集的图像进行拼接，获得游泳馆的单张广角图片，利用YOLOv5目标检测和本发明提出的ISORT目标跟踪算法进行目标跟踪定位，最后根据内参校正和外参标定模块获得运动员的世界坐标，可实现多摄像机的协同定位和测速。本发明具有对场馆和采集设备限制小、图片拼接准确度高且易排查和易工程化等优点。
本发明未详细说明部分属于本领域技术人员公知常识。

Claims (10)

1.一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，包括如下步骤：
在游泳馆一侧墙壁顶部沿泳道方向依次布设多个摄像机，且相邻摄像机图像采集区域的对接区域相重叠；
在泳池的两侧均匀摆上标定板，记录其中心位置世界坐标，并保证任意两个摄像机的重叠区域上下均包含至少1个标定板；
每台摄像机均进行摄像机内部参数校正和外部参数标定，获得图像二维坐标系到世界坐标系的投影关系；
利用含有标定板的图像完成图像配准和拼接，作为视频拼接模板；
多线程触发游泳馆内各摄像机的采集，获得同一时间各个摄像机分别捕获的图像，经过内参校正后作为待拼接图像，根据视频拼接模板完成拼接，获得单张广角图片；
构建目标检测YOLOv5模型，利用目标检测YOLOv5模型在得到的单张广角图片中检测目标，获取目标位置；所述目标位游泳运动员泳帽；
通过ISORT跟踪算法对检测到的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
2.根据权利要求1所述的一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，视频拼接模板获取过程为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄像机拍摄的图像透视投影至同一坐标下，完成图像配准工作；
步骤42：以过图像重叠区域下标定板中心点的垂线为拼接线，去除重叠区域后完成多图像的拼接，获得视频拼接模板。
3.根据权利要求2所述的一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，单应性矩阵求解流程为：
单应性矩阵
Figure QLYQS_1
，其满足/>
Figure QLYQS_2
其中
Figure QLYQS_3
表示摄像机拍摄的图像中的任意一点，/>
Figure QLYQS_4
为该点对应的实际泳道世界坐标点，/>
Figure QLYQS_5
—/>
Figure QLYQS_6
为单应性矩阵的元素；
从某摄像机拍摄的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入中，即可得到单应性矩阵
Figure QLYQS_7
。
4.根据权利要求2所述的一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，所述将多摄像机拍摄的图像透视投影至同一坐标下，该坐标下的泳道尺度与实际泳道保持一致、泳道角度呈水平分布。
5.根据权利要求1所述的一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，通过ISORT跟踪算法对检测的运动员进行实时跟踪，获得相邻帧之间的位置差和时间差，具体实现方式如下：
对第一帧图像经过目标检测YOLOv5模型检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过目标检测YOLOv5模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与当前帧的目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
6.根据权利要求5所述的一种基于视频拼接的多摄像机协同游泳运动测速方法，其特征在于，匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure QLYQS_8
其中，
Figure QLYQS_9
和/>
Figure QLYQS_10
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure QLYQS_11
和/>
Figure QLYQS_12
表示第i个轨迹预测框的中心点位置横纵坐标，为第j个目标检测框与第i条轨迹预测框之间的欧氏距离；
Figure QLYQS_13
其中，匹配损失矩阵的第i行第j列元素为表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
7.一种基于视频拼接的多摄像机协同游泳运动测速系统，其特征在于，包括多摄像机采集模块、内参校正模块、视频拼接模块、目标识别模块、目标跟踪模块、外参标定模块；
多摄像机采集模块：包含多个摄像机，沿泳道方向依次布置在游泳馆一侧墙壁顶部，用于实时采集游泳馆图像；
内参校正模块：对多摄像机采集模块采集的图像进行内参校正，以校正图像径向畸变和切向畸变；
视频拼接模块：将含有标定板的图像通过4个标定点完成图像配准和拼接，获得视频拼接模板；将同一时间经过内参校正的图像作为待拼接图像，根据视频拼接模板完成拼接，获得单张广角图片；
目标识别模块：利用目标检测YOLOv5模型在得到的单张广角图片中逐帧检测图像画面内的运动员，获取目标位置；
目标跟踪模块：通过ISORT跟踪算法对检测到的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
外参标定模块：将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
8.根据权利要求7所述的一种基于视频拼接的多摄像机协同游泳运动测速系统，其特征在于，视频拼接模块获取视频拼接模板的过程为：
步骤41：根据外参标定到世界坐标投影变换的单应性矩阵，将多摄像机拍摄的图像透视投影至同一坐标下，完成图像配准工作；
步骤42：以过图像重叠区域下标定板中心点的垂线为拼接线，去除重叠区域后完成多图像的拼接，获得视频拼接模板。
9.根据权利要求8所述的一种基于视频拼接的多摄像机协同游泳运动测速系统，其特征在于，单应性矩阵求解流程为：
单应性矩阵，其满足
Figure QLYQS_14
其中
Figure QLYQS_15
表示摄像机拍摄的图像中的任意一点，/>
Figure QLYQS_16
为该点对应的实际泳道世界坐标点，/>
Figure QLYQS_17
—/>
Figure QLYQS_18
为单应性矩阵的元素；
从含有标定板的图像中选择4个标定板中心坐标点以及其对应的实际泳道世界坐标点，分别带入
Figure QLYQS_19
中，即可得到单应性矩阵/>
Figure QLYQS_20
。
10.根据权利要求7所述的一种基于视频拼接的多摄像机协同游泳运动测速系统，其特征在于，目标跟踪模块具体实现方式如下：
对第一帧图像经过目标检测YOLOv5模型检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过目标检测YOLOv5模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；
对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
CN202310565836.5A 2023-05-19 2023-05-19 基于视频拼接的多摄像机协同游泳运动测速方法及系统 Pending CN116309685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310565836.5A CN116309685A (zh) 2023-05-19 2023-05-19 基于视频拼接的多摄像机协同游泳运动测速方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310565836.5A CN116309685A (zh) 2023-05-19 2023-05-19 基于视频拼接的多摄像机协同游泳运动测速方法及系统

Publications (1)

Publication Number Publication Date
CN116309685A true CN116309685A (zh) 2023-06-23

Family

ID=86818920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310565836.5A Pending CN116309685A (zh) 2023-05-19 2023-05-19 基于视频拼接的多摄像机协同游泳运动测速方法及系统

Country Status (1)

Country Link
CN (1) CN116309685A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN117169887A (zh) * 2023-11-03 2023-12-05 武汉能钠智能装备技术股份有限公司 基于方向确定的sar地面移动目标定位方法
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及系统
CN117710204A (zh) * 2023-12-14 2024-03-15 武汉微创光电股份有限公司 一种鱼眼相机所摄车辆图像的拼接方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688724A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于双目视觉的泳池溺水监测方法
CN113689665A (zh) * 2021-08-23 2021-11-23 上海林港人工智能科技有限公司 基于ai视觉的游泳防溺水识别方法
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115131821A (zh) * 2022-06-29 2022-09-30 大连理工大学 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法
CN115690913A (zh) * 2022-11-04 2023-02-03 航天物联网技术有限公司 基于多摄像机视觉的泳池安全管理装置和方法
CN115761470A (zh) * 2022-11-29 2023-03-07 每步科技(上海)有限公司 游泳场景下的运动轨迹追踪方法及系统
CN115994930A (zh) * 2023-01-12 2023-04-21 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于人工智能的摄像机下运动目标的检测定位方法及系统
CN115994911A (zh) * 2023-03-24 2023-04-21 山东上水环境科技集团有限公司 一种基于多模态视觉信息融合的游泳馆目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689665A (zh) * 2021-08-23 2021-11-23 上海林港人工智能科技有限公司 基于ai视觉的游泳防溺水识别方法
CN113688724A (zh) * 2021-08-24 2021-11-23 桂林电子科技大学 一种基于双目视觉的泳池溺水监测方法
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115131821A (zh) * 2022-06-29 2022-09-30 大连理工大学 一种基于改进YOLOv5+DeepSort的校园人员穿越警戒线检测方法
CN115690913A (zh) * 2022-11-04 2023-02-03 航天物联网技术有限公司 基于多摄像机视觉的泳池安全管理装置和方法
CN115761470A (zh) * 2022-11-29 2023-03-07 每步科技(上海)有限公司 游泳场景下的运动轨迹追踪方法及系统
CN115994930A (zh) * 2023-01-12 2023-04-21 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于人工智能的摄像机下运动目标的检测定位方法及系统
CN115994911A (zh) * 2023-03-24 2023-04-21 山东上水环境科技集团有限公司 一种基于多模态视觉信息融合的游泳馆目标检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540252A (zh) * 2023-07-06 2023-08-04 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN116540252B (zh) * 2023-07-06 2023-09-26 上海云骥跃动智能科技发展有限公司 基于激光雷达的速度确定方法、装置、设备及存储介质
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及系统
CN117169887A (zh) * 2023-11-03 2023-12-05 武汉能钠智能装备技术股份有限公司 基于方向确定的sar地面移动目标定位方法
CN117169887B (zh) * 2023-11-03 2024-04-19 武汉能钠智能装备技术股份有限公司 基于方向确定的sar地面移动目标定位方法
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117197193B (zh) * 2023-11-07 2024-05-28 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117710204A (zh) * 2023-12-14 2024-03-15 武汉微创光电股份有限公司 一种鱼眼相机所摄车辆图像的拼接方法及系统

Similar Documents

Publication Publication Date Title
CN116309685A (zh) 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN106991690B (zh) 一种基于运动目标时序信息的视频序列同步方法
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
CN104268866B (zh) 基于运动信息与背景信息相结合的视频序列配准方法
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN102819847A (zh) 基于ptz移动摄像头的运动轨迹提取方法
CN113689331B (zh) 一种复杂背景下的全景图像拼接方法
Wu et al. A framework for fast and robust visual odometry
CN113379801A (zh) 一种基于机器视觉的高空抛物监测定位方法
Yang et al. Multiple marker tracking in a single-camera system for gait analysis
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
CN115731266A (zh) 跨相机多目标跟踪方法、装置、设备及可读存储介质
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
Jeges et al. Measuring human height using calibrated cameras
Bachmann et al. Motion capture from pan-tilt cameras with unknown orientation
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN108090917A (zh) 一种面向智能机器人的目标物体追踪系统
CN108596947A (zh) 一种适用于rgb-d相机的快速目标跟踪方法
Manafifard A review on camera calibration in soccer videos
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230623