CN114119650A - 一种目标跟踪方法、装置、设备及介质 - Google Patents
一种目标跟踪方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114119650A CN114119650A CN202111421032.5A CN202111421032A CN114119650A CN 114119650 A CN114119650 A CN 114119650A CN 202111421032 A CN202111421032 A CN 202111421032A CN 114119650 A CN114119650 A CN 114119650A
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- image frame
- coordinate information
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000010355 oscillation Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种目标跟踪方法、装置、设备及介质,在本申请中,云台针对最新接收到的第一图像帧和设定数量的第二图像帧,确定跟踪目标在每个图像帧中的第一平均坐标信息,并根据该第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定跟踪目标的运动方向,因此降低了乱序的图像帧对云台跟踪方向的影响,保证了计算出的跟踪方向的准确性,避免了由于图像帧乱序导致的云台震荡来回摆动,提高了目标跟踪的质量和用户的使用感受。
Description
技术领域
本申请涉及人机交互技术领域,尤其涉及一种目标跟踪方法、装置、设备及介质。
背景技术
随着科学技术的发展,在使用智能终端设备和云台对移动的物体或人物进行拍摄时,是通用云台实现的目标跟踪等功能。但是云台无法获取智能终端设备的摄像头采集到的视频流,只能是智能终端设备对当前显示界面中显示的摄像头采集到的视频流进行屏幕录制,云台采集智能终端设备屏幕录制的图像帧,并基于图像帧进行目标跟踪。
在现有技术中,智能终端设备在向云台传输图像帧的过程中,可能会出现失误,导致云台获取到的图像帧出现乱序的情况,即出现发生时间靠后的图像帧先被云台获取到。
云台在进行目标跟踪时,是根据获取到的两张图像帧的顺序,确定跟踪目标的运动方向,进而根据该运动方向对该跟踪目标进行跟踪。若云台获取到的图像帧存在乱序的情况,则会出现实际上跟踪目标是沿一个方向运动,但是由于乱序,云台计算的该跟踪目标的运动方向与实际运动方向相反,则云台会沿反方向跟踪,乱序情况消除后,云台又会改变跟踪方向。若云台获取到的图像帧中存在多个图像帧乱序,则云台将会多次调整跟踪方向,导致云台震荡来回摆动,影响目标跟踪的质量,降低用户的使用感受。
发明内容
本申请提供了一种目标跟踪方法、装置、设备及介质,用以解决现有技术中,当云台获取到的图像帧中存在乱序时,云台将会多次调整跟踪方向,导致云台震荡来回摆动,影响目标跟踪的质量的问题。
本申请提供了一种目标跟踪方法,所述方法包括:
获取智能终端设备发送的第一图像帧,根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;
根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;
根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向,并根据所述运动方向对所述跟踪目标进行跟踪。
进一步地,所述获取智能终端设备发送的第一图像帧之前,所述方法还包括:
若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
进一步地,所述确定所述跟踪目标的运动方向之后,所述方法还包括:
统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;
根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述根据所述运动方向对所述跟踪目标进行跟踪包括:
根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
进一步地,所述根据跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪包括:
根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;
根据所述目标控制参数,对所述云台的控制参数进行调整;
根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
本申请还提供了一种目标跟踪装置,所述装置包括:
获取模块,用于获取智能终端设备发送的第一图像帧;
计算模块,用于根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向;
目标跟踪模块,用于根据所述运动方向对所述跟踪目标进行跟踪。
进一步地,所述装置还包括:
暂停模块,用于若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
进一步地,所述计算模块,还用于统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述目标跟踪模块,具体用于根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
进一步地,所述目标跟踪模块,具体用于根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;根据所述目标控制参数,对所述云台的控制参数进行调整;根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
本申请还提供了一种电子设备,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现上述中任一所述的目标跟踪的步骤。
本申请还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述中任一中所述的目标跟踪方法的步骤。
在本申请中,云台获取智能终端设备发送的第一图像帧,根据该第一图像帧及该第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息,根据该跟踪目标在每个图像帧的坐标信息,确定该跟踪目标在该每个图像帧中的第一平均坐标信息,根据该第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定该跟踪目标的运动方向,并根据该运动方向对该跟踪目标进行跟踪。在本申请中,云台针对最新接收到的第一图像帧和设定数量的第二图像帧,确定跟踪目标在每个图像帧中的第一平均坐标信息,并根据该第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定跟踪目标的运动方向,因此降低了乱序的图像帧对云台跟踪方向的影响,保证了计算出的跟踪方向的准确性,避免了由于图像帧乱序导致的云台震荡来回摆动,提高了目标跟踪的质量和用户的使用感受。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标跟踪过程示意图;
图2为本申请实施例提供的目标跟踪的流程示意图;
图3为本申请实施例提供的目标跟踪装置的结构示意图;
图4为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
为了避免由于获取到的图像帧出现乱序的情况,导致云台震荡来回摆动,影响目标跟踪的质量,本申请提供了一种目标跟踪方法、装置、设备及介质。
实施例1:
图1为本申请实施例提供的一种目标跟踪过程示意图,该过程包括以下步骤:
S101:获取智能终端设备发送的第一图像帧,根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息。
本申请提供的一种目标跟踪方法应用于云台,该云台可与智能终端设备进行通信。
在本申请中,云台从智能终端设备获取图像帧,智能终端设备在向云台传输图像帧的过程中,可能会出现失误,导致云台获取到图像帧的顺序和图像帧实际的录制顺序存在差别,即云台获取到的图像帧中存在乱序的图像帧。为了避免获取到的图像帧乱序导致的云台震荡,本申请中在基于获取到的图像帧确定跟踪目标的运动方向时,是基于多张图像帧确定的。
其中,为了基于多张图像帧确定跟踪目标的运动方向,在本申请中,云台获取到智能终端设备发送的第一图像帧后,将包括该第一图像帧以及该第一图像帧之前获取的设定数量的第二图像帧确定为一组,确定跟踪目标在该组中的每个图像帧中的坐标信息。
具体的,在本申请中,针对第一图像帧和设定数量的第二图像帧,云台根据预设的坐标系构建方法,在该第一图像帧和设定数量的第二图像帧中分别构建坐标系,再确定跟踪目标在每个图像帧中的坐标信息。
例如,云台接收到的图像帧的顺序为图像帧1、图像帧2、图像帧3、图像帧5、图像帧4和图像帧6,其中图像帧6为云台最新获取到,图像帧5为乱序图像帧。在本申请中,设定数量为2个,则云台接收到图像帧6后,计算跟踪目标在图像帧5、图像帧4和图像帧6中的坐标信息。
S102:跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息。
为了基于多张图像帧确定跟踪目标的运动方向,在本申请中,在确定了跟踪目标在第一图像帧和设定数量的第二图像帧中的坐标信息后,需要确定跟踪目标在该每个图像帧中的第一平均坐标信息。该第一平均坐标信息为跟踪目标在该组的每个图像帧中的坐标信息的平均值。
S103:根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向,并根据所述运动方向对所述跟踪目标进行跟踪。
在计算出了跟踪目标在第一图像帧和设定数量的第二图像帧中的第一平均坐标信息之后,为了确定跟踪目标的运动方向,在本申请中,云台还会获取保存的上一次确定的第二平均坐标信息,并基于该第一平均坐标信息和第二平均坐标信息确定该跟踪目标的运动方向。
具体的,在本申请中,在获取了保存的上一次确定的第二平均坐标信息之后,确定该第一坐标信息相对于该第二坐标信息的坐标变化信息。根据该坐标变化信息,确定跟踪目标的运动方向。例如,第一坐标信息为(300,200)、第二坐标信息为(350,200),并且在云台每个图像帧中构建坐标系的方法是相同的,都是以图像帧的左下角为原点,图像帧的水平方向为x轴的方向,图像帧的竖直方向为y轴的方向,构建的坐标系。该第一坐标信息和第二坐标信息都是基于构建完成的坐标系确定的。因此,若确定该第一坐标信息相对与该第二坐标信息的坐标变化信息为(-50,0),则即确定该跟踪目标向左运动。此时,调整云台向左移动。
在本申请中,在确定了跟踪目标的运动方向后,云台基于该运动方向对该跟踪目标进行跟踪。具体的,云台将跟踪目标的运动方向,确定为自身的移动方向,控制自身沿该运动方向移动。
在本申请中,云台针对最新接收到的第一图像帧和设定数量的第二图像帧,确定跟踪目标在每个图像帧中的第一平均坐标信息,并根据该第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定跟踪目标的运动方向。即使当该预设数量个图像帧中存在乱序的情况,由于是计算的平均坐标信息,该乱序的图像帧也不会影响云台的跟踪方向,避免了由于图像帧乱序导致的云台震荡来回摆动,提高了目标跟踪的质量和用户的使用感受。
实施例2:
为了保证跟踪的准确性,在上述实施例的基础上,在本申请中,所述获取智能终端设备发送的第一图像帧之前,所述方法还包括:
若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
在本申请中,针对使用iOS系统的智能终端设备,该智能终端设备在进行屏幕录制时,若当前录制的内容处于静止状态,则该智能终端设备将不会截取当前屏幕的图像帧,而是选择复制之前截取的图像帧,由于之前的图像帧已经发送给的云台,则智能终端设备认为复制得到的图像帧也发送给云台了,则云台将无法从该智能终端设备中获取到图像帧,在对跟踪目标进行跟踪时,云台将继续沿上一次计算的跟踪目标的运动方向进行跟踪,导致得到的跟踪结果不准确。
基于此,在本申请中,云台若识别到在预设的时长内没有获取到图像帧,则认为该跟踪目标处于已经静止状态,则停止对该跟踪目标进行跟踪。其中,该预设的时长可以由用户自行设置,可以为一分钟、两分钟等,在此不做限制。
其中,在本申请中,云台使用重新播放(replaykit)从智能终端设备中获取图像帧。
实施例3:
为了更好的对跟踪目标进行跟踪,提高目标跟踪的质量,在上述各实施例的基础上,在本申请中,所述确定所述跟踪目标的运动方向之后,所述方法还包括:
统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;
根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述根据所述运动方向对所述跟踪目标进行跟踪包括:
根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
为了更好的对跟踪目标进行跟踪,提高目标跟踪的质量,在本申请中,在确定了跟踪目标的运动方向后,将该运动方向确定为对跟踪目标进行跟踪时的跟踪方向。此外,云台还会确定对跟踪目标进行跟踪时的跟踪帧率,以便云台基于跟踪帧率和跟踪方向对跟踪目标进行跟踪。其中,该跟踪帧率为单位时间内云台获取图像帧的数量,云台基于该跟踪帧率可以实现对跟踪目标的跟踪。
具体的,在本申请中,在基于第一平均坐标信息和第二平均坐标信息确定了跟踪目标的运动方向之后,统计该第一平均坐标信息对应的设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间。计算第一图像帧对应的第一获取时间和该第二获取时间的时间差,根据该时间差和预设数量,计算该云台的跟踪帧率。并根据该跟踪帧率和跟踪目标的运动方向,对该跟踪目标进行跟踪。
为了实现基于跟踪帧率和所述运动方向,对跟踪目标进行跟踪,在上述各实施例的基础上,在本申请中,所述根据跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪包括:
根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;
根据所述目标控制参数,对所述云台的控制参数进行调整;
根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
在本申请中,针对使用iOS系统的智能终端设备,在使用该智能终端设备和云台进行目标跟踪时,若长时间对跟踪目标进行跟踪,该智能终端设备会发热,此时iOS系统为了使智能终端设备快速降温,会降低自身的操作频率,则该智能终端设备录制相邻两帧图像帧的时间间隔会不稳定,进而导致云台获取相邻两帧视频帧的获取时间间隔不稳定,即云台的跟踪帧率不稳定。
为了使云台在进行目标跟踪时,不受iOS系统降频的影响,在本申请中,会基于云台的跟踪帧率实时的调整云台的控制参数。
具体的,在本申请中,云台预先保存有跟踪帧率与云台控制参数的对应关系,云台在计算出跟踪帧率之后,根据该对应关系,识别该跟踪帧率对应的目标控制参数,并根据该目标控制参数对云台的控制参数进行调整。这里控制参数是控制运动移动速度得控制参数,根据该调整后的控制参数,确定云台的移动速度,并根据该移动速度和运动方向,对跟踪目标进行跟踪。
在本申请中,云台在保存跟踪帧率与云台控制参数的对应关系时,可以是一个跟踪帧率对应一个云台控制参数,还可以是保存一个范围区间内的跟踪帧率对应一个云台控制参数,在此不做限制。
其中,在本申请中,云台在对目标进行跟踪时,是云台中的比例积分微分(Proportion Integral Differential,PID)控制器实现的,因此,在基于跟踪帧率调整云台的控制参数时,该控制参数可以为PID控制器的PID参数。
此外,在本申请中,若云台的跟踪帧率小于设定值,将无法对控制参数进行调整,则云台确定无法进行跟踪,则停止对跟踪目标的跟踪。
图2为本申请实施例提供的目标跟踪的流程示意图,如该图2所述,该过程包括:
S201:判断云台在预设的时长内是否获取到第一图像帧,若是,则执行S202,若否,则停止对跟踪目标进行跟踪。
S202:根据该第一图像帧及该第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧中的坐标信息。
其中,由于云台在接收到每个图像帧之后,都会确定跟踪目标在该图像帧中的坐标信息,因此,在本申请中确定跟踪目标在每个图像帧中的坐标信息时,只需确定跟踪目标在第一图像帧中的第一坐标信息即可,跟踪目标在第二图像帧的第二坐标信息直接获取保存的即可,并且云台还可以保存该跟踪目标在第一图像帧中的第一坐标信息,以便云台在基于该第一图像帧之后的其他图像帧对目标跟踪时使用。
S203:根据跟踪目标在每个图像帧的坐标信息,确定该跟踪目标在该每个图像帧中的第一平均坐标信息。
S204:根据该第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定该跟踪目标的运动方向。
S205:统计该设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间。
S206:根据第一图像帧的第一获取时间、该第二获取时间和该预设数量,计算云台的跟踪帧率。
S207:根据预先保存的该跟踪帧率与云台控制参数的对应关系,识别该跟踪帧率对应的目标控制参数。
S208:根据该目标控制参数,对该云台的控制参数进行调整。
S209:根据调整后的控制参数,确定该云台的移动速度,并根据该移动速度和该运动方向,对该跟踪目标进行跟踪。
实施例4:
图3为本申请实施例提供的目标跟踪装置的结构示意图,如图3所示,该装置包括:
获取模块301,用于获取智能终端设备发送的第一图像帧;
计算模块302,用于根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向;
目标跟踪模块303,用于根据所述运动方向对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述装置还包括:
暂停模块304,用于若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述计算模块302,还用于统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述目标跟踪模块303,具体用于根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述目标跟踪模块303,具体用于根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;根据所述目标控制参数,对所述云台的控制参数进行调整;根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
实施例5:
图4为本申请提供的一种电子设备结构示意图,在上述各实施例的基础上,本申请还提供了一种电子设备,如图4所示,包括:处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信;
所述存储器403中存储有计算机程序,当所述程序被所述处理器401执行时,使得所述处理器401执行如下步骤:
获取智能终端设备发送的第一图像帧,根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;
根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;
根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向,并根据所述运动方向对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述获取智能终端设备发送的第一图像帧之前,所述方法还包括:
若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述确定所述跟踪目标的运动方向之后,所述方法还包括:
统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;
根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述根据所述运动方向对所述跟踪目标进行跟踪包括:
根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述根据跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪包括:
根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;
根据所述目标控制参数,对所述云台的控制参数进行调整;
根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
由于上述电子设备解决问题的原理与目标跟踪方法相似,因此上述电子设备的实施可以参见上述实施例,重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口402用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(RandomAccess Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器,包括中央处理器、网络处理器(Network Processor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例6:
在上述各实施例的基础上,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有可由处理器执行的计算机程序,当所述程序在所述处理器上运行时,使得所述处理器执行时实现如下步骤:
获取智能终端设备发送的第一图像帧,根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;
根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;
根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向,并根据所述运动方向对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述获取智能终端设备发送的第一图像帧之前,所述方法还包括:
若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述确定所述跟踪目标的运动方向之后,所述方法还包括:
统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;
根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述根据所述运动方向对所述跟踪目标进行跟踪包括:
根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
在一种可能的实施方式中,所述根据跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪包括:
根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;
根据所述目标控制参数,对所述云台的控制参数进行调整;
根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
由于上述提供的计算机可读取介质解决问题的原理与目标跟踪方法相似,因此处理器执行上述计算机可读取介质中的计算机程序后,实现的步骤可以参见上述实施例,重复之处不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种目标跟踪方法,其特征在于,所述方法包括:
获取智能终端设备发送的第一图像帧,根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;
根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;
根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向,并根据所述运动方向对所述跟踪目标进行跟踪。
2.根据权利要求1所述的方法,其特征在于,所述获取智能终端设备发送的第一图像帧之前,所述方法还包括:
若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
3.根据权利要求1所述的方法,其特征在于,所述确定所述跟踪目标的运动方向之后,所述方法还包括:
统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;
根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述根据所述运动方向对所述跟踪目标进行跟踪包括:
根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
4.根据权利要求3所述的方法,其特征在于,所述根据跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪包括:
根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;
根据所述目标控制参数,对所述云台的控制参数进行调整;
根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
5.一种目标跟踪装置,其特征在于,所述装置包括:
获取模块,用于获取智能终端设备发送的第一图像帧;
计算模块,用于根据所述第一图像帧及所述第一图像帧之前获取的设定数量的第二图像帧,确定跟踪目标在每个图像帧的坐标信息;根据所述跟踪目标在每个图像帧的坐标信息,确定所述跟踪目标在所述每个图像帧中的第一平均坐标信息;根据所述第一平均坐标信息和保存的上一次确定的第二平均坐标信息,确定所述跟踪目标的运动方向;
目标跟踪模块,用于根据所述运动方向对所述跟踪目标进行跟踪。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
暂停模块,用于若在预设的时长内没有获取到图像帧,则停止对所述跟踪目标进行跟踪。
7.根据权利要求5所述的装置,其特征在于,所述计算模块,还用于统计所述设定数量的第二图像帧中,最早被获取到的第二图像帧对应的第二获取时间;根据所述第一图像帧的第一获取时间、所述第二获取时间和所述预设数量,计算云台的跟踪帧率;
所述目标跟踪模块,具体用于根据所述跟踪帧率和所述运动方向,对所述跟踪目标进行跟踪。
8.根据权利要求7所述的装置,其特征在于,所述目标跟踪模块,具体用于根据预先保存的所述跟踪帧率与云台控制参数的对应关系,识别所述跟踪帧率对应的目标控制参数;根据所述目标控制参数,对所述云台的控制参数进行调整;根据调整后的控制参数,确定所述云台的移动速度,并根据所述移动速度和所述运动方向,对所述跟踪目标进行跟踪。
9.一种电子设备,其特征在于,所述电子设备至少包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序时实现权利要求1-4中任一所述的目标跟踪的步骤。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4中任一中所述的目标跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111421032.5A CN114119650A (zh) | 2021-11-26 | 2021-11-26 | 一种目标跟踪方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111421032.5A CN114119650A (zh) | 2021-11-26 | 2021-11-26 | 一种目标跟踪方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114119650A true CN114119650A (zh) | 2022-03-01 |
Family
ID=80369947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111421032.5A Pending CN114119650A (zh) | 2021-11-26 | 2021-11-26 | 一种目标跟踪方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114119650A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970032157A (ko) * | 1995-11-08 | 1997-06-26 | 배순훈 | 움직임 추정장치 |
CN103871073A (zh) * | 2012-12-18 | 2014-06-18 | 华为技术有限公司 | 一种基于增强现实的目标跟踪方法、设备及系统 |
US20200228830A1 (en) * | 2017-09-29 | 2020-07-16 | Huawei Technologies Co., Ltd. | Video Picture Inter Prediction Method and Apparatus, and Codec |
-
2021
- 2021-11-26 CN CN202111421032.5A patent/CN114119650A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970032157A (ko) * | 1995-11-08 | 1997-06-26 | 배순훈 | 움직임 추정장치 |
CN103871073A (zh) * | 2012-12-18 | 2014-06-18 | 华为技术有限公司 | 一种基于增强现实的目标跟踪方法、设备及系统 |
US20200228830A1 (en) * | 2017-09-29 | 2020-07-16 | Huawei Technologies Co., Ltd. | Video Picture Inter Prediction Method and Apparatus, and Codec |
Non-Patent Citations (3)
Title |
---|
张雅姝: "基于循环神经网络的目标检测与跟踪系统研究与实现", 中国优秀硕士学位论文全文数据库信息科技辑, 15 August 2019 (2019-08-15), pages 12 - 43 * |
杨光红等: "无人系统基础", 31 August 2021, 机械工业出版社, pages: 179 - 180 * |
陈佳林: "智能硬件与机器视觉 基于树莓派、python与openCV", 30 November 2020, 机械工业出版社, pages: 148 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11538232B2 (en) | Tracker assisted image capture | |
CN104424649B (zh) | 检测运动物体的方法和系统 | |
US20170161953A1 (en) | Processing method and device for collecting sensor data | |
US20160140391A1 (en) | Automatic target selection for multi-target object tracking | |
US20160127614A1 (en) | Video frame playback scheduling | |
CN105407323B (zh) | 一种监控视频的分屏方法及装置 | |
EP4090001A1 (en) | Panoramic video clip method, apparatus and device, and storage medium | |
CN110149476A (zh) | 一种延时摄影方法、装置、系统及终端设备 | |
CN113259592B (zh) | 拍摄方法、装置、电子设备及存储介质 | |
CN113920502A (zh) | 一种云台调整方法、装置、设备及介质 | |
CN113887547A (zh) | 关键点检测方法、装置和电子设备 | |
CN115174861B (zh) | 一种云台摄像机自动跟踪移动目标方法及装置 | |
CN105472231B (zh) | 控制方法、图像采集装置和电子设备 | |
CN110069194B (zh) | 页面卡顿确定方法、装置、电子设备及可读存储介质 | |
CN114119650A (zh) | 一种目标跟踪方法、装置、设备及介质 | |
CN109996005B (zh) | 一种聚焦校正方法及装置 | |
US20190166299A1 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium | |
CN106909481B (zh) | 接口测试方法、接口测试装置和电子设备 | |
CN114187327A (zh) | 目标识别跟踪方法及装置、计算机可读介质、电子设备 | |
CN101606203A (zh) | 用于子帧精确同步的方法和系统 | |
US20240334027A1 (en) | Method and apparatus for generating video digest and readable storage medium | |
KR20170082331A (ko) | 눈 위치 예측 방법 및 장치 | |
CN105929851A (zh) | 一种采用摇杆设备控制云台方法和装置 | |
CN115037875B (zh) | 一种云台转动控制方法及装置 | |
CN110211161B (zh) | 一种多摄像头轨迹重合分析的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |