Nothing Special   »   [go: up one dir, main page]

CN111798514A - 一种海洋牧场智能运动目标跟踪监测方法及系统 - Google Patents

一种海洋牧场智能运动目标跟踪监测方法及系统 Download PDF

Info

Publication number
CN111798514A
CN111798514A CN202010603465.1A CN202010603465A CN111798514A CN 111798514 A CN111798514 A CN 111798514A CN 202010603465 A CN202010603465 A CN 202010603465A CN 111798514 A CN111798514 A CN 111798514A
Authority
CN
China
Prior art keywords
coordinate system
target
camera
center point
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010603465.1A
Other languages
English (en)
Other versions
CN111798514B (zh
Inventor
卢国梁
超越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Institute Of Intelligent Manufacturing Shandong University
Original Assignee
Rizhao Institute Of Intelligent Manufacturing Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rizhao Institute Of Intelligent Manufacturing Shandong University filed Critical Rizhao Institute Of Intelligent Manufacturing Shandong University
Priority to CN202010603465.1A priority Critical patent/CN111798514B/zh
Publication of CN111798514A publication Critical patent/CN111798514A/zh
Application granted granted Critical
Publication of CN111798514B publication Critical patent/CN111798514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种海洋牧场智能运动目标跟踪监测方法及系统,控制具有多个关节且连接有相机的云台动作,对运动目标进行跟踪检测,包括:根据运动后目标的中心点在当前相机坐标系的坐标求解转换矩阵,所述转换矩阵能够使当前相机坐标系进行位姿变化得到目标相机坐标系,运动后目标中心点落在目标相机坐标系的沿镜头轴线的坐标轴上;根据转换矩阵计算目标相机坐标系原点在基坐标系的位姿信息;根据得到的位姿信息计算与相机连接的云台的各个关节的动作信息,本发明的方法能够对监测目标进行实时追踪,降低了监测人员的劳动强度,能够较好地适用于海洋牧场的远洋检测场景当中。

Description

一种海洋牧场智能运动目标跟踪监测方法及系统
技术领域
本发明涉及监控技术领域,具体涉及一种海洋牧场智能运动目标跟踪监测方 法及系统。
背景技术
这里的陈述仅提供与本发明相关的背景技术,而不必然地构成现有技术。
海洋牧场的概念是在20世纪末提出来的一种新型人工渔场系统。首先通过人 工手段营造出一个适宜海洋生物生长繁衍的环境,将这个环境搭建在海洋环境当 中,可以吸收一部分自然海洋生物,自然海洋生物与人工放养生物一同组成了海 洋牧场的生物部分,再搭配系统化的渔业设施和人工管理措施,能够兼顾自然环 境和人工管控两方面的优势,从而达成稳定的水产资源与可持续发展等两方面的 效益。
发明人发现,传统的海洋牧场领域视频监控系统主要依赖于人为观察的方式 进行监控工作,通过人的视觉对视频中发生的事情进行分析判断,对可疑的目标 进行跟踪,对危险情况进行汇报并做出相应的处理。并且,现在的视频监控系统 大多是全天式的工作状况,需要监控人员时时刻刻不停的面对显示器,很容易造 成监控人员身体上的疲乏和心里的厌烦,很容易造成工作人员的疏忽大意,在面 对异常情况的时候出现安全隐患,特别是一个人面对多个监控场景的时候。且当 前监控系统不能实现运动目标的持续跟踪监控。
发明内容
本发明的目的是为克服现有技术的不足,提供一种海洋牧场智能运动目标跟 踪监测方法,能够对目标进行实时跟踪监测,降低了监测人员的劳动强度,适应 于海洋牧场的异常情况检测。
为实现上述目的,本发明采用如下技术方案:
第一方面,本发明的实施例提供了一种海洋牧场智能运动目标跟踪监测方 法,控制具有多个关节且连接有相机的云台动作,对运动目标进行跟踪监测,包 括:
根据运动后目标的中心点在当前相机坐标系的坐标求解转换矩阵,转换矩阵 能够使当前相机坐标系进行位姿变化得到目标相机坐标系,使运动后目标中心点 落在目标相机坐标系的沿镜头轴线的坐标轴上;
根据转换矩阵计算目标相机坐标系原点在基坐标系的位姿信息;
根据得到的位姿信息计算云台的各个关节的动作信息。
第二方面,本发明的实施例提供了一种海洋牧场智能运动目标跟踪监测系 统,包括云台和相机,云台包括轴线竖向设置的第一驱动件,第一驱动件与L型 的第一摆臂一端连接,第一摆臂的另一端固定有第二驱动件,第二驱动件轴线沿 水平面内第一方向设置,第二驱动件与L型的第二摆臂的一端连接,第二摆臂的 另一端固定有第三驱动件,第三驱动件轴线沿水平面内与第一方向垂直的第二方 向设置,第三驱动件与相机连接。
第三方面,本发明的实施例提供了一种电子设备,包括存储器、处理器及存 储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实 现所述的海洋牧场智能运动目标跟踪监测方法。
第四方面,本发明的实施例提供了一种计算机可读存储介质,其上存储有计 算机程序,该程序被处理器执行时实现所述的海洋牧场智能运动目标跟踪监测方 法。
本发明的有益效果:
本发明的海洋牧场智能运动目标跟踪监测方法,能够通过检测计算运动后 目标的中心点在相机坐标系的坐标求解一个转换矩阵,转换矩阵能够使得当前相 机坐标系进行位姿变化得到目标相机坐标系,让运动后的目标中心点落在目标相 机坐标系沿镜头轴线的坐标轴上,利用转换矩阵得到变换后的相机坐标系原点在 基坐标系的坐标,然后能够通过运动学逆解析算法得到云台各个关节的动作信 息,能够实现运动目标的中心点始终在相机坐标系中沿镜头轴线的坐标轴上,实 现了对运动目标的实时跟踪监测,降低了监测人员的劳动强度,保证了监测效果, 适合应用于远洋监测。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请 的示意性实施例及其说明用于解释本申请,并不构成对本申请的限定。
图1为本发明实施例1方法流程示意图;
图2为本发明实施例1云台、相机装配示意图及关节坐标系、基坐标系示意 图;
图3为本发明实施例1图像像素坐标系到图像物理坐标系转换示意图;
图4为本发明实施例1图像物理坐标系到相机坐标系之间的透视关系示意 图;
图5为本发明实施例2偏航电机与行星减速机装配示意图;
图6为本发明实施例2减速机支架结构示意图;
其中,1.偏航电机,2.减速机,3.第一摆臂,4.横滚电机,5.第二摆臂,6. 俯仰电机,7.相机,8.基础,9.偏航电机座,10.底座,11.减速机支架。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。 除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普 通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限 制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出, 否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使 用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件 和/或它们的组合。
为了方便叙述,本发明中如果出现“上”、“下”、“左”“右”字样,仅表示 与附图本身的上、下、左、右方向一致,并不对结构起限定作用,仅仅是为了便 于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的 方位,以特定的方位构造和操作,因此不能理解为对本发明的限制。
正如背景技术所介绍的,传统的海洋牧场视频监控系统主要依赖于人为观察 的方式进行监控工作,劳动强度大,监测效果不好,不能实现持续的跟踪监控, 针对上述问题,本申请提出了一种海洋牧场智能运动目标跟踪监测方法。
本申请的一种典型实施方式实施例1中,一种海洋牧场智能运动目标跟踪监 测方法,如图1所示,控制控制具有多个关节且连接有相机的云台动作,对运动 目标进行跟踪检测,具体方法为:通过检测计算运动后目标的中心点在当前相机 坐标系的坐标,求解转换矩阵,转换矩阵能够使当前相机坐标系进行位姿变化得 到目标相机坐标系,使运动后目标中心点落在目标相机坐标系的沿镜头轴线的坐 标轴上;根据转换矩阵计算目标相机坐标系原点在基坐标系的位姿信息;根据得 到的位姿信息计算与相机连接的云台的各个关节的动作信息。
以三关节云台为例进行说明,如图2所示,所述云台包括与基础连接的偏航 电机1,所述偏航电机的轴线竖向设置,所述偏航电机的输出轴通过减速机2与 L型的第一摆臂3的一端连接,第一摆臂的另一端固定有横滚电机4,所述横滚 电机的输出轴与L型的第二摆臂5的一端连接,所述横滚电机的输出轴轴线沿水 平面内的第一方向设置,所述第二摆臂的另一端与俯仰电机6固定连接,俯仰电 机的输出轴与相机7连接,俯仰电机的输出轴轴线沿水平面内与第一方向垂直的 第二方向设置。
偏航电机、横滚电机及俯仰电机形成云台的三个关节,建立关节坐标系、相 机坐标系和基坐标系,遵循如下原则:
对于旋转的关节,以垂直于旋转方向为z轴,x轴为与z轴以及下一个关节的 z轴都垂直的方向,确定x轴和z轴后,通过右手坐标系,确定y轴。
方向不唯一,正方向和负方向均可
基坐标系的坐标轴的方向在初始状态与偏航电机处的第一关节坐标系坐标轴 的方向一致。
末端的相机坐标系以垂直于相机镜头向外的方向为z轴,以同时垂直于俯仰 电机处第三关节坐标系的z轴和相机坐标系z轴的方向为x轴,通过右手坐标系, 确定y轴。
在偏航电机与基础8的连接位置处建立基由X0轴、Y0轴和Z0轴形成的坐标系 X0-Y0-Z0,Z0沿竖向设置。
在偏航电机与第一摆臂的连接位置处建立第一关节坐标系X1-Y1-Z1,其中Z1与Z0平行,X1与X0平行,Y1与Y0平行,Z1沿竖向设置
在横滚电机与第二摆臂的连接位置处建立第二关节坐标系X2-Y2-Z2,其中X2与Z1平行,Y2与X1平行,Z2与Y1平行,Z2沿第一方向设置。
在俯仰电机与相机连接位置处建立第三关节坐标系X3-Y3-Z3,其中X3与X2平 行,Y3与Z2平行,Z3与Y2平行,Z3沿第二方向设置。
在相机建立相机坐标系X4-Y4-Z4,其中X4与X3平行,Y4与Z3平行,Z4与Y3平 行。
建立云台参数表格:
表1云台的参数表格
Figure BDA0002559982700000061
αi-1:从xi-1的方向看,zi-1和zi间的夹角。符号以逆时针为正,以顺时针为 负。
ai-1:从xi-1的方向看,zi-1和zi间的距离。符号为坐标系{i}原点在{i-1}对 应方向的正负。
di:从zi的方向看,xi-1和xi间的距离,符号看坐标系{i}原点在{i-1}对应方 向的正负。
θi:从zi的方向看,xi-1和xi间的夹角。符号以逆时针为正,以顺时针为负。
bi:从yi的方向看,xi-1和xi间的距离,符号看坐标系{i}原点在{i-1}对应方 向的正负。
其中i=1、2、3、4
表1中,θ1、θ2、θ3为变量,其余参数均为已知量。
控制所述的云台对运动目标进行实施跟踪的具体方法包括以下步骤:
步骤1:相机在当前姿态下采集运动目标的CCD图像,确定运动后目标中心 点在图像像素坐标系(u-v坐标系)下的坐标值,然后将运动后目标中心点在图 像像素坐标系下的坐标值转换为在当前相机坐标系下的坐标值。
其具体工作方法为:首先将运动后目标中心点在图像像素坐标系下的坐标值 转换为运动后目标中心点在图像物理坐标系(x-y坐标系)下的坐标值,然后将 运动后目标中心点在图像物理坐标系下的坐标值转换为运动后目标中心点在相 机坐标系下的坐标值。
具体步骤与为:首先采用张定友标定法来获取相机的内参矩阵,如公式(1)
Figure BDA0002559982700000071
然后进行图像像素坐标系到图像物理坐标系的转化:
图像像素坐标系与图像物理坐标系之间的关系见图3,其中u-v坐标系为图 像像素坐标系,其原点为CCD图像平面的左上角。x-y坐标系为图像物理坐标系, 其原点为CCD图像平面的中心,分别用dx,dy表示每个像素在x和y方向的物理尺 寸,以(u0,v0)为图像物理坐标系原点在图像像素坐标系上的坐标,可知u0和v0分 别是图像两个方向上总像素值的一半。
由上述关系可得,图像像素坐标系与图像物理坐标系之间的转化在两个方向 上分别如式2和式3所示:
Figure BDA0002559982700000081
Figure BDA0002559982700000082
式中:u—目标中心点图像像素坐标系横坐标
v—目标中心点图像像素坐标系纵坐标
x—目标中心点图像物理坐标系横坐标
y—目标中心点图像物理坐标系纵坐标
dx—相机内参,图像像素坐标系上一个像素在x方向的物理尺寸
dy—相机内参,图像像素坐标系上一个像素在y方向的物理尺寸
u0—图像物理坐标系原点在图像像素坐标系上的横坐标,本设计取1544
v0—图像物理坐标系原点在图像像素坐标系上的纵坐标,本设计取1032
将式2和式3转化为矩阵形式,如公式(4)所示:
Figure BDA0002559982700000083
通过公式(4),能够利用运动后目标中心点在图像像素坐标系下的坐标值求 解在图像物理坐标系下的坐标值。
相机坐标系和图像物理坐标系之间的转换
图像物理坐标系与相机坐标系之间的关系如图4所示,图上x-y坐标系为图 像物理坐标系,Xc-Yc-Zc坐标系为相机坐标系,其原点为相机的光心,在此将 其理解为相机透镜的几何中心。由三角形的相似原理,结合图4,我们可以得到 两坐标系之间的关系如式5
Figure BDA0002559982700000091
将式5用矩阵形式表示可得如下式6,即为相机坐标系与图像物理坐标系之间 的关系为:
Figure BDA0002559982700000092
Xc、Yc、Zc分别为目标中心点在相机坐标系三个坐标轴的坐标值,其中Zc目 标距离相机透镜中心的距离,即为相机工作距离。
由式4和式6矩阵相乘可知图像像素坐标与相机坐标系之间的关系如式7所 示:
Figure BDA0002559982700000093
Zc为运动目标距离相机透镜中心的距离,即为相机工作距离,式7中
Figure BDA0002559982700000094
u0、v0均为相机内参,由式1可得在本实施例中
Figure BDA0002559982700000095
将以上参数带入式7,可得式8,由式8所表示的矩阵即可通过运动后目标中 心点在相机的图像像素坐标系的坐标(u,v)得到其对应在当前相机坐标系上的坐标 (Xc,Yc,Zc)。
Figure BDA0002559982700000096
本实施例中,所述运动后目标中心点图像像素坐标系下的坐标值采用现有的 三帧查分算法获得,第一帧图像与第二帧图像做差分,第二帧图像与第三帧图像 做差分,两次差分的结果再做或运算,或运算后得到的图像即为三帧差分的结果, 这样连续两次差分,得到的结果会比单独一次帧差的空洞效应小。
为了进一步减小空洞效应的影响,突出帧差结果体现运动目标,在本实施例 中还通过形态学处理的闭运算以及中值滤波等图像增强操作。
步骤2:根据运动后目标的中心点在相机坐标系的坐标求解转换矩阵
Figure BDA0002559982700000101
转 换矩阵能够使当前相机坐标系进行位姿变化,转变为目标相机坐标系,使运动后 目标中心点落在变化后的目标相机坐标系的设定坐标轴上,设定坐标轴为沿相机 镜头轴线的坐标轴,根据转换矩阵求解目标相机坐标系原点在当前相机坐标系下 的坐标。
运动后目标中心点在当前相机坐标系中的坐标为(Xc,Yc,Zc),在目标相机坐标系中的坐标为(0,0,Zc),当前相机坐标系和目标相机坐标系之间的转换矩阵为
Figure BDA0002559982700000102
即:
Figure BDA0002559982700000103
其中:
Figure BDA0002559982700000104
式中:
Figure BDA0002559982700000105
——目标相机坐标系的原点在当前相机坐标系下的坐标
R——表示相机坐标系旋转运动的旋转矩阵
在本申请的一个实施例中,为了减小计算量,设置俯仰电机不工作,即当前 相机坐标系到目标相机坐标系时,相机坐标系先绕X4转动θ4,再进行移动。
Figure BDA0002559982700000111
可以解算出
Figure BDA0002559982700000112
其中,Xc、Yc、Zc为运动后目标中心点在当前相机坐标系的坐标值,可根据 步骤1求出,θ4为云台下一姿态的偏航角绝对转角θ1与当前姿态的偏航角绝对转 角θ1 1的差值,在解算过程中可通过θ1表示:
θ4=θ11 1
本实施例中偏航角绝对转角为偏航电机为转动至某一姿态后,相对于原始状 态的转动角度值。
步骤3:根据相邻关节坐标系之间坐标系转变矩阵及基坐标系与相邻的关节 坐标系之间的坐标系转变矩阵求解目标相机坐标系的原点在基坐标系下的坐标。
Figure BDA0002559982700000113
其中,
Figure BDA0002559982700000114
Figure BDA0002559982700000115
为基坐标系到第一关节坐标系的坐标系转变矩阵,在本实施例的关节坐标 系设置情况下,具体为先绕Z0轴逆时针转动θ1,再沿Z0轴平移d1
Figure BDA0002559982700000116
T2 1为第一关节坐标系到第二关节坐标系的坐标系转变矩阵,在本实施例的关 节坐标系设置情况下,具体为先绕x1轴逆时针转动α1,再沿着x1轴平移a2,围绕z1轴旋转θ2,沿y1轴平移b2,最后沿z1轴平移d2
Figure BDA0002559982700000121
Figure BDA0002559982700000122
为第二关节坐标系到第三关节坐标系的坐标系转变矩阵,在本实施例的关 节坐标系设置情况下,与第一关节坐标系到第二关节坐标系的转变情况相同,在 此不进行重复叙述。
Figure BDA0002559982700000123
Figure BDA0002559982700000124
为第三关节坐标系到相机坐标系的坐标系转变矩阵,在本实施例的关节坐 标系设置情况下,具体为先绕x3轴逆时针转动α3,再沿着x3轴平移a4,沿y3轴平 移b4,最后沿z3轴平移d4
Figure BDA0002559982700000125
为(xw,yw,zw)
将公式(14)、(15)、(16)、(17)代入公式(13)即可得到(xw,yw,zw),将公 式(14)、(15)、(16)、(17)中,θ1,θ2,θ3为当前云台姿态体现的位姿信息,为 已知量,其余参数均为已知量,因此可以求出
Figure BDA0002559982700000126
步骤4:根据求出的
Figure BDA0002559982700000127
利用运动学逆解析算法求解相邻关节坐标系转变 矩阵中的位姿参数θ1,θ2,θ3,得到偏航电机、横滚电机及俯仰电机的转动角度。
具体的,
Figure BDA0002559982700000128
将公式(14)、(15)、(16)、(17)代入公式(18),此时公式(14)、(15)、(16)、 (17)中的θ1,θ2,θ3为未知量,即待求解角度。
为了方便求解,我们提前定义好代数式f(θ3)和g(θ2,θ3)。部分变量 g12,θ3),g22,θ3),g32,θ3)分别由g1,g2,g3表示,f13)、f23)、f33)分别 由f1、f2、f3表示。
Figure BDA0002559982700000131
f13)=a2+a3*cos(θ3)-d4*sin(θ3) (20)
f23)=a3*sin(θ3)*cos(α2)+b3*cos(α2)-b4*sin(α2)-d3*sin(α2)+ d4*cos(α2)*cos(θ3) (21)
f33)=α3*sin(α2)*sin(θ3)+b3*sin(α2)+b4*cos(α2)+d3*cos(α2)+ d4*sin(α2)*cos(θ3) (22)
g12,θ3)=α1+f13)*cos(θ2)-f23)*sin(θ2) (23)
g22,θ3)=b2*cos(α1)-d2*sin(α1)+f13)*sin(θ2)*cos(α1)- f33)*sin(α1)+f23)*cos(α1)*cos(θ2) (24)
g32,θ3)=b2*sin(α1)+d2*cos(α1)+f13)*sin(α1)*sin(θ2)+f23)* cos(θ2)*sin(α1)+f33)*cos(α1) (25)
(cos(θ1)*g1-sin(θ1)*g2)2+(g2*cos(θ1)+sin(θ1)*g1)2=g1 2+g2 2 (26)
设目标相机坐标系原点到基座标系原点的距离为r,结合公式(26)得到:
r=xw 2+yw 2+zw 2=g1 2+g2 2+(g3+102)2
=f1 2+f2 2+f3 2+a1 2+d1 2+d2 2+2d1*(sin(α1)*b2+d2*cos(α1))+2f3* (d1*cos(α1)+d2)+2α1*(f1*cos(θ2)-f2*sin(θ2))+(2b2+2d1* sin(α1))*(f2*cos(θ2)+f1*sin(θ2)) (27)
设参数k1
k1=f1 2+f2 2+f3 2+a1 2+d1 2+d2 2+2d1*(sin(α1)*b2+d2*cos(α1))+ 2f3*(d1*cos(α1)+d2) (28)
k1中仅含参数θ3
由矩阵对应关系可知:
xw=cos(θ1)*g12,θ3)-sin(θ1)*g22,θ3) (29)
yw=g22,θ3)*cos(θ1)+sin(θ1)*g12,θ3) (30)
zw=g32,θ3)+d1=b2*sin(α1)+d2*cos(α1)+sin(α1)*(f1*sin(θ2)+ +f2*cos(θ2))+f3*cos(α1)+d1 (31)
设参数k2
k2=b2*sin(α1)+d2*cos(α1)+f3*cos(α1)+d1 (32)
联立公式(27)和公式(31),得到:
Figure BDA0002559982700000141
在本实施方式中,设置俯仰电机不工作,即θ3为已知量,xw,yw,zw均为θ1的 函数,所以直接联立公式(29)和公式(30),得到下示方程组:
Figure BDA0002559982700000142
利用半角公式进行代换,可得:
Figure BDA0002559982700000143
Figure BDA0002559982700000144
其中,u=tan(θ2/2),v=tan(θ1/2)
通过上述方程组,求得θ1和θ2,进而可以得到偏航电机和横滚电机的转动 角度。
在本申请的另一种实施方式中,设定偏航电机不转动,即θ1已知,当前相 机坐标系移动至目标相机坐标系时,先绕Y4轴转动θ4,再进行移动。
此时:
Figure BDA0002559982700000151
计算出:
Figure BDA0002559982700000152
式中θ4为云台下一姿态的俯仰角绝对转角θ3与当前姿态的俯仰角绝对转角θ3 1差值,在解算过程中可通过θ3表示:
θ4=θ33 1
本实施例中俯仰角绝对转角为俯仰电机为转动至某一姿态后,相对于原始状 态的转动角度值。
在这种情况下,xw,yw,zw均为θ3的函数,分三种情况,可分别通过公式(34)、 (35)、(36)求解θ3,已知θ1和θ3,可由公式(30)求解θ2
若a1=0,
r=k1+(2b2+2d1*sin(α1))*(f2*cos(θ2)+f1*sin(θ2))
zw=k2+sin(α1)*(f1*sin(θ2)+f2*cos(θ2))
可得:
Figure BDA0002559982700000153
若sin(α1)=0
zw=k2. (35)
若α1和sin(α1)均不为0:
Figure BDA0002559982700000154
根据公式(30)和求解的θ3结合已知的θ1求解θ2,进而可以得到俯仰电机 和横滚电机的转动角度。
实施例2:
本实施例公开了一种海洋牧场智能运动目标跟踪监测系统:包括云台和相 机,所述云台包括轴线竖向设置的第一驱动件,第一驱动件与L型的第一摆臂一 端连接,第一摆臂的另一端固定有第二驱动件,第二驱动件轴线沿水平面内第一 方向设置,第二驱动件与L型的第二摆臂的一端连接,第二摆臂的另一端固定有 第三驱动件,第三驱动件轴线沿水平面内与第一方向垂直的第二方向设置,第三 驱动件与相机连接。
本实施例中,所述第一驱动件采用偏航电机1,所述偏航电机的输出轴轴线 竖向设置,偏航电机的电机壳固定在偏航电机座9上,偏航电机座通过螺栓固定 在作为基础的底座10上,所述偏航电机的两侧设置有减速机支架11,所述减速 机支架连接有减速器,所述减速器采用行星减速机,偏航电机的输出轴作为行星 减速机的输入轴,所述行星减速机的输出轴与第一摆臂的一端固定连接,能够驱 动第一摆臂绕竖直轴线运动,行星减速机固定在减速机支架上,不会给偏航电机 增加负担。
所述第二驱动件采用横滚电机,横滚电机的输出轴与第二摆臂的端部固定连 接,横滚电机的轴线沿水平面内的第一方向设置。
所述第三驱动件采用俯仰电机,俯仰电机的输出轴与相机连接,其输出轴沿 水平面内与第一方向垂直的第二方向设置。
所述相机、偏航电机、横滚电机及俯仰电机均与控制系统连接,控制系统接 收相机传输的图像,并按照实施例1所述的方法控制偏航电机、横滚电机及俯仰 电机的工作。
实施例3:
本实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可 在处理器上运行的计算机程序,所述处理器执行所述程序时实现实施例1所述的 海洋牧场智能运动目标跟踪监测方法。
实施例4:
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序 被处理器执行时实现实施例1所述的海洋牧场智能运动目标跟踪监测方法。
“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多 个介质;还应当被理解为包括任何介质,所述任何介质能够存储、编码或承载用 于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白,上述本发明的各步骤可以用通用的计算机装置来 实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它 们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模 块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不 限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保 护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本 领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的 保护范围以内。

Claims (10)

1.一种海洋牧场智能运动目标跟踪监测方法,控制具有多个关节且连接有相机的云台动作,对运动目标进行跟踪检测,其特征在于,包括:
根据运动后目标的中心点在当前相机坐标系的坐标求解转换矩阵,所述转换矩阵能够使当前相机坐标系进行位姿变化得到目标相机坐标系,运动后目标中心点落在目标相机坐标系的沿镜头轴线的坐标轴上;
根据转换矩阵计算目标相机坐标系原点在基坐标系的位姿信息;
根据得到的位姿信息计算云台的各个关节的动作信息。
2.如权利要求1所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,接收相机采集的运动后目标的图像,得到运动后目标中心点在图像像素坐标系下的坐标值,根据运动后目标中心点在图像像素坐标系下的坐标值得到运动后目标中心点在当前相机坐标系下的坐标值。
3.如权利要求2所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,所述图像像素坐标系原点为图像的角点,根据运动后目标中心点在图像像素坐标系下的坐标值得到运动后目标中心点在图像物理坐标系下的坐标值,图像物理坐标系的原点为图像的中心点,根据运动后目标中心点在图像物理坐标系下的坐标值得到运动后目标中心点在当前相机坐标系下的坐标值。
4.如权利要求2所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,利用三帧查分算法得到运动后目标中心点在图像像素坐标系下的坐标值。
5.如权利要求1所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,根据转换矩阵得到目标相机坐标系原点在当前相机坐标系下的位姿信息,根据云台相邻关节坐标系之间的坐标系转变矩阵,计算得到目标相机坐标系原点在基坐标系下的位姿信息,其中坐标系转变矩阵中的位姿参数为当前云台姿态下的各关节的位姿参数。
6.如权利要求5所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,所述云台为三关节云台,设定与相机连接的云台的关节不动作,根据目标相机坐标系原点在基坐标系的位姿信息逆向求解坐标系转变矩阵中的位姿参数,得到云台其他关节的动作信息。
7.如权利要求5所述的一种海洋牧场智能运动目标跟踪监测方法,其特征在于,所述云台为三关节云台,设定云台用于与外部基础连接的关节不动作,根据目标相机坐标系原点在基坐标系的位姿信息逆向求解坐标系转变矩阵中的位姿参数,得到云台其他关节的动作信息。
8.一种海洋牧场智能运动目标跟踪监测系统,其特征在于,包括云台和相机,云台包括轴线竖向设置的第一驱动件,第一驱动件与L型的第一摆臂一端连接,第一摆臂的另一端固定有第二驱动件,第二驱动件轴线沿水平面内第一方向设置,第二驱动件与L型的第二摆臂的一端连接,第二摆臂的另一端固定有第三驱动件,第三驱动件轴线沿水平面内与第一方向垂直的第二方向设置,第三驱动件与相机连接。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的海洋牧场智能运动目标跟踪监测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述的海洋牧场智能运动目标跟踪监测方法。
CN202010603465.1A 2020-06-29 2020-06-29 一种海洋牧场智能运动目标跟踪监测方法及系统 Active CN111798514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010603465.1A CN111798514B (zh) 2020-06-29 2020-06-29 一种海洋牧场智能运动目标跟踪监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010603465.1A CN111798514B (zh) 2020-06-29 2020-06-29 一种海洋牧场智能运动目标跟踪监测方法及系统

Publications (2)

Publication Number Publication Date
CN111798514A true CN111798514A (zh) 2020-10-20
CN111798514B CN111798514B (zh) 2024-08-20

Family

ID=72803929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010603465.1A Active CN111798514B (zh) 2020-06-29 2020-06-29 一种海洋牧场智能运动目标跟踪监测方法及系统

Country Status (1)

Country Link
CN (1) CN111798514B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506340A (zh) * 2021-06-15 2021-10-15 浙江大华技术股份有限公司 一种云台位姿预测的方法、设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242689A (zh) * 2015-09-23 2016-01-13 浙江大学 一种基于光学反射的云台跟踪视觉系统
CN105321174A (zh) * 2015-09-23 2016-02-10 浙江大学 一种多平面镜反射跟踪云台系统标定方法
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
CN108958296A (zh) * 2018-06-05 2018-12-07 西安工业大学 一种无人机自主跟踪方法
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及系统
CN109992014A (zh) * 2019-04-24 2019-07-09 哈尔滨理工大学 一种斜坡路面下爬行机器人的视觉导航云台装置及控制
US20190371003A1 (en) * 2018-05-30 2019-12-05 Baidu Online Network Technology (Beijing) Co., Ltd . Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242689A (zh) * 2015-09-23 2016-01-13 浙江大学 一种基于光学反射的云台跟踪视觉系统
CN105321174A (zh) * 2015-09-23 2016-02-10 浙江大学 一种多平面镜反射跟踪云台系统标定方法
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
WO2017177542A1 (zh) * 2016-04-12 2017-10-19 高鹏 目标跟踪方法、装置和系统
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
US20190371003A1 (en) * 2018-05-30 2019-12-05 Baidu Online Network Technology (Beijing) Co., Ltd . Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN108958296A (zh) * 2018-06-05 2018-12-07 西安工业大学 一种无人机自主跟踪方法
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及系统
CN109992014A (zh) * 2019-04-24 2019-07-09 哈尔滨理工大学 一种斜坡路面下爬行机器人的视觉导航云台装置及控制

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RITA CUCCHIARA 等: "Advanced vedio surveillance with Pan Tilt Zoom Cameras", 《SEMANTIC SCHOLAR》, 31 December 2006 (2006-12-31), pages 1 - 8 *
冯健业 等: "基于云台的智能化运动目标跟踪监控系统设计", 《韶关学院学报·自然科学》, vol. 39, no. 9, 30 September 2018 (2018-09-30), pages 52 - 56 *
卢国梁 等: "基于计算机显微视觉的微动平台位移测量方法", 《传感器与微系统》, vol. 38, no. 5, 31 December 2019 (2019-12-31), pages 17 - 19 *
辛哲奎 等: "小型无人机地面目标跟踪系统机载云台自适应跟踪控制", 《控制理论与应用》, vol. 27, no. 8, 31 August 2010 (2010-08-31), pages 1001 - 1006 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506340A (zh) * 2021-06-15 2021-10-15 浙江大华技术股份有限公司 一种云台位姿预测的方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111798514B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
CN100373394C (zh) 基于仿生复眼的运动目标的检测方法
CN106407882A (zh) 机器人通过人脸检测实现头部转动的方法及装置
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN102842117B (zh) 显微视觉系统中运动误差矫正方法
CN105652872B (zh) 变电站激光导航巡检机器人智能云台自动跟踪定位方法
CN104835117A (zh) 基于重叠方式的球面全景图生成方法
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法,设备及存储介质
CN109442171A (zh) 一种单目立体视觉系统及其使用方法
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
CN110954555A (zh) Wdt 3d视觉检测系统
CN111798514A (zh) 一种海洋牧场智能运动目标跟踪监测方法及系统
CN207326366U (zh) 一种狭窄空间螺栓定位安装机器人
CN115205286A (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN110060295A (zh) 目标定位方法及装置、控制装置、跟随设备及存储介质
Gao et al. Kinect-based motion recognition tracking robotic arm platform
CN102263893A (zh) 一种多轴直线电机驱动的仿生视觉平台
CN209648746U (zh) 一种视觉机器人远程监控系统
CN104751455A (zh) 一种作物图像稠密匹配方法及系统
CN206741179U (zh) 一种工业摄像机位姿调整装置
CN106990647A (zh) 一种工业摄像机位姿调整装置
Yao et al. Camshift algorithm-based moving target recognition and tracking system
CN111832510A (zh) 一种智能寻找杆塔方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 276801 No.177, Gaoxin 6th Road, Rizhao City, Shandong Province

Applicant after: Shandong University Rizhao Research Institute

Address before: 276801 No.177, Gaoxin 6th Road, Rizhao City, Shandong Province

Applicant before: Rizhao Institute of Intelligent Manufacturing, Shandong University

Country or region before: China

GR01 Patent grant
GR01 Patent grant