Nothing Special   »   [go: up one dir, main page]

CN113808161A - 基于机器视觉的车载多旋翼无人机车辆跟踪方法 - Google Patents

基于机器视觉的车载多旋翼无人机车辆跟踪方法 Download PDF

Info

Publication number
CN113808161A
CN113808161A CN202110904422.1A CN202110904422A CN113808161A CN 113808161 A CN113808161 A CN 113808161A CN 202110904422 A CN202110904422 A CN 202110904422A CN 113808161 A CN113808161 A CN 113808161A
Authority
CN
China
Prior art keywords
convolution
layer
unmanned aerial
aerial vehicle
rotor unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110904422.1A
Other languages
English (en)
Other versions
CN113808161B (zh
Inventor
常天星
汪善武
王富贵
刘泽峰
魏雅川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Era Feipeng Co ltd
Original Assignee
Aerospace Era Feipeng Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Era Feipeng Co ltd filed Critical Aerospace Era Feipeng Co ltd
Priority to CN202110904422.1A priority Critical patent/CN113808161B/zh
Publication of CN113808161A publication Critical patent/CN113808161A/zh
Application granted granted Critical
Publication of CN113808161B publication Critical patent/CN113808161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于机器视觉的车载多旋翼无人机车辆跟踪方法，所述方法包括：在多旋翼无人机的车载平台顶部设置特征标识；构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系；构建图像像素坐标系与多旋翼无人机坐标系的变换关系；通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄形成帧图像序列，使用卷积神经网络对帧图像序进行特征识别，根据识别结果生成引航轨迹；将引航轨迹传输至飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。

Description

基于机器视觉的车载多旋翼无人机车辆跟踪方法
技术领域
本发明涉及多旋翼无人机技术领域，尤其涉及一种基于机器视觉的车载多旋翼无人机车辆跟踪方法。
背景技术
近年来，无人机在多个领域展开应用，其中包括了无人机直升飞机、多旋翼无人机、固定翼无人机等飞行器，其中多旋翼无人机以飞行稳定、操纵简单，能在控制实现定点悬停和自动跟踪，而受到了用户普遍欢迎。
通过搭载不同的设备，多旋翼无人机可以完成包括侦查监视、雷达预警、电子对抗等在内的多种任务。伴随着多旋翼无人机的广泛应用，针对多旋翼无人机系统的一个重要问题也逐渐显现出来并急需解决，本申请所关注的问题即当多旋翼无人机运载平台处于移动状态时，如何实现多旋翼无人能够在卫星导航收到干扰时，智能化的对运载平台实施自动跟踪，从而保持多旋翼无人机与运载平台之间的相对位置稳定，以防止多旋翼无人机由于无法与运载平台同步运动而导致多旋翼无人机被线缆拉扯而导致飞行姿态失常，进而导致多旋翼无人机坠落，增强系统的抗干扰能力，提升可靠性。
发明内容
本发明所要解决的技术问题之一是提供一种用于车载多旋翼无人机的车辆跟踪方法。
为了解决上述技术问题，本发明提供了一种基于机器视觉的车载多旋翼无人机车辆跟踪方法，其特征在于，所述方法包括：
在多旋翼无人机的车载平台顶部设置特征标识；
构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系；
构建针对地面上任意点在图像像素坐标系中的坐标值变换为多旋翼无人机坐标系中的坐标值的变换关系；所述变换关系的构建包括生成在任意时刻下的多旋翼无人机坐标系与地面坐标系之间的正交旋转矩阵C及多旋翼无人机坐标系原点在地面坐标系中的坐标；
通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure BDA0003200980380000021
其中，L为多旋翼无人机的悬停高度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数；同时预定频率F小于多旋翼无人机摄像装置的帧率；
使用卷积神经网络对待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值；所述卷积神经网络包括高频分量网络模块、低频分量网络模块和输出层sigmoid函数；
在使用卷积神经网络进行特征识别时，先对图像进行傅里叶变换，并分解出高频分量和低频分量；高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块；高频分量网络模块的输出结果与低频分量网络模块的输出结果叠加输入到输出层sigmoid函数输出当前图像中含有特征标识的概率；
所述高频分量网络模块包括输入卷积层、第一卷积块、第二卷积块、第三卷积块、平均池化层和全连接层；其中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；由平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2；
针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角；
所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹；
根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
在一个实施例中，所述低频分量网络模块包括第一层卷积层、第二层卷积层、第三层卷积层、平均池化层和全连接层，其中卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；低频分量网络模块的平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2。
在一个实施例中，用于筛选概率值的所述阈值的取值范围为90％～95％。
在一个实施例中，所述放大因子g取值100、200或300。
在一个实施例中，当卷积神经网络连续多帧无法输出高于阈值的概率值时，则说明多旋翼无人机已经无法拍摄到含有车载平台的图像，此时多旋翼无人机根据飞行控制策略自主爬升，并在当前位置利用卫星导航信息进行移动寻找车载平台图像，必要时可以介入人工控制。
本发明同时提供一种基于机器视觉的车载多旋翼无人机车辆跟踪方法，所述方法包括：
在多旋翼无人机的车载平台顶部设置特征标识；
构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系；
构建针对地面上任意点在图像像素坐标系中的坐标值变换为多旋翼无人机坐标系中的坐标值的变换关系；所述变换关系的构建包括生成在任意时刻下的多旋翼无人机坐标系与地面坐标系之间的正交旋转矩阵C及多旋翼无人机坐标系原点在地面坐标系中的坐标；
通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure BDA0003200980380000041
其中，L为多旋翼无人机的悬停高度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数；同时预定频率F小于多旋翼无人机摄像装置的帧率；
使用卷积神经网络对待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值；所述卷积神经网络包括高频分量网络模块、低频分量网络模块、记忆单元LSTM和输出层sigmoid函数；
在使用卷积神经网络进行特征识别时，先对当前帧的图像、当前帧图像的前一帧图像和当前帧图像的后一帧图像进行傅里叶变换，并分解出每一帧图像的高频分量和低频分量；
所述卷积神经网络具有三个输入通道，其中第一输入通道输入前一帧图像的高频分量和低频分量数据，第二输入通道输入当前帧图像的高频分量和低频分量数据，第三输入通道输入后一帧图像的高频分量和低频分量数据；
在每一个输入通道中高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块；高频分量网络模块和低频分量网络模块的输出结果进行叠加输出至记忆单元LSTM，记忆单元LSTM根据帧的时序进行连接，并将结果输出至输出层sigmoid函数，由输出层sigmoid函数输出当前图像中含有特征标识的概率；
所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；由平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2；
针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角；
所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹；
根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将引航轨迹及多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
在一个实施例中，所述低频分量网络模块包括第一层卷积层、第二层卷积层、第三层卷积层、平均池化层和全连接层，其中卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；低频分量网络模块的平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2。
在一个实施例中，用于筛选概率值的所述阈值的取值范围为90％～95％。
在一个实施例中，所述放大因子g取值100、200或300。
本发明的另一方面在于提供一种基于机器视觉的车载多旋翼无人机车辆跟踪控制系统，其特征在于所述车载多旋翼无人机车辆跟踪控制系统使用如前述的车载多旋翼无人机车辆跟踪方法对车载多旋翼无人机进行飞行控制。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明第一实施例的车载多旋翼无人机车辆跟踪方法的流程图；
图2是根据本发明第一实施例的卷积神经网络的结构示意图；
图3是根据本发明第一实施例的高低频分量网络模块示意图；
图4是根据本发明第二实施例的车载多旋翼无人机车辆跟踪方法的流程图；
图5是根据本发明第二实施例的卷积神经网络的结构示意图；
图6是根据本发明第二实施例的高低频分量网络模块示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。
第一实施例
图1是根据本发明一实施例的方法的流程图。下面结合图1对本方法进行说明。本实施例的车载多旋翼无人机车辆跟踪方法包括如下步骤：
步骤S10，首先在多旋翼无人机的车载平台顶部设置特征标识，所述特征标识的设置是为了提高图像识别的成功率，如果车载平台没有设置特殊的特征标识，则容易导致图像识别系统将其他车辆识别为车载平台，进而导致多旋翼无人机错误导航。所述特征标识可参考固定翼直升机停机坪图案进行设置，例如：圆形、三角或十字图案中设置有“H”字形。
步骤S11，随后，本实施例的车辆跟踪方法中包括构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系。本实施例中定义地面坐标系为O1X1Y1Z1坐标系，O1X1Y1Z1坐标系是相对于地球表面不动的一种坐标系，原点O1取自地面上的某一点；O1X1轴位于水平面内，其指向多旋翼无人机的初始航线；O1Z1轴垂直于地面，并指向地心；O1Y1轴位于地平面内，并垂直于O1X1轴，O1X1Y1Z1坐标系遵守右手规则。本实施例中定义多旋翼无人机坐标系为O2X2Y2Z2坐标系，O2X2Y2Z2坐标系是固定在无人机机体上的一个坐标系，原点O2取在飞机的重心；O2X2轴与飞机纵轴重合，指向无人机前方；O2Y2轴位于无人机对称平面并指向右方，利用右手定则；O2Z2轴垂直于直于对称平面，指向下方。本发明中，多旋翼无人机所获取的图像是由安装在多旋翼无人机上的摄像装置获取的，鉴于多旋翼无人机与其上所安装的摄像装置可以自由的调节，因此在本发明中认为多旋翼无人机坐标系与摄像装置的实际坐标系是重合的，二者公用同一坐标系。
本实施例中定义的图像坐标系包括图像物理坐标系oxy坐标系和图像像素坐标系o’uv坐标系。其中图像物理坐标系oxy坐标系为以摄像机光轴和像平面的交点o为原点，以毫米为单位的直角坐标系。摄像装置坐标系与成像平面坐标系之间存在以下关系：
Figure BDA0003200980380000081
其中，f为摄像装置的镜头焦距。以矩阵形式表示即为:
Figure BDA0003200980380000082
图像像素坐标系o’uv与图像物理坐标系oxy坐标系位于同一平面内，坐标轴平行，方向一致，只有其坐标原点不同。在图像物理坐标系oxy中，坐标原点o处于图像中心点，若坐标原点o置于o’uv坐标系中的像素点表示为(u0，v0)，且每个像素在x轴和y轴上的物理尺寸为dx与dy，则图像像素坐标系o’uv上的任意一点可表示为：
Figure BDA0003200980380000083
以矩阵形式表示则为：
Figure BDA0003200980380000084
步骤S12，构建地面上任意点的在图像像素坐标系中的坐标值向多旋翼无人机坐标系的坐标系坐标值变换模型。本实施例中，多旋翼无人机坐标系、地面坐标系和图像坐标系之间的转换关系包括：
<图像像素坐标系o’uv与多旋翼无人机坐标系O2X2Y2Z2之间的转换关系>
地面上任意一点Q在多旋翼无人机坐标系、地面坐标系和图像像素坐标系中的坐标点分别为Q2，Q1，q；则Q2，Q1，q的坐标表示为[X2,Y2,Z2]，[X1,Y1,Z1]，[u,v,1]。根据上述式(1)和式(2)，则图像像素坐标系o’uv与多旋翼无人机坐标系O2X2Y2Z2之间的转换关系可以表示为：
Figure BDA0003200980380000085
可简化表示为q＝λKQ2，其中λ为尺度因子，即
Figure BDA0003200980380000091
K为摄像装置的内参矩阵，即：
Figure BDA0003200980380000092
<多旋翼无人机坐标系O2X2Y2Z2与地面坐标系O1X1Y1Z1之间的转换关系>
地面坐标系O1X1Y1Z1中的一点Q1可以通过正交旋转矩阵C转换为多旋翼无人机坐标系O2X2Y2Z2中的Q2点。即：
Q1＝C(Q2-T)
其中T为多旋翼无人机坐标系O2X2Y2Z2中的原点O2在地面坐标系O1X1Y1Z1中的坐标。正交旋转矩阵C可以表示为：
Figure BDA0003200980380000093
其中θ,ψ,φ分别为O1X1轴与O2X2轴夹角，O1Y1轴与O2Y2轴夹角,O1Z1轴与O2Z2轴夹角。
对地面上的Q点在t1时刻与t2时刻，则有：
Q2(t1)＝Ct1(Q1-Tt1)……(4)
Q2(t2)＝Ct2(Q1-Tt2)……(5)
其中Ct1，Ct2分别为t1时刻与t2时刻下正交旋转矩阵，Tt1，Tt2分别为t1时刻与t2时刻下多旋翼无人机坐标系O2X2Y2Z2中的原点O2在地面坐标系O1X1Y1Z1中的坐标。
根据式(4)与(5)，则有：
Figure BDA0003200980380000094
进一步简化为：
Q2(t2)＝Ct1→t2Q2(t1)+Tt1→t2……(6)
其中，Ct1→t2为t1时刻的多旋翼无人机坐标系向t2时刻的多旋翼无人机坐标系转换的正交转换矩阵；Tt1→t2为t1时刻的多旋翼无人机坐标系向t2时刻的多旋翼无人机坐标系转换的平移转换矩阵。
令q(t1)，q(t2)分别表示在t1时刻Q点在图像像素坐标系下的位置和t2时刻Q点在图像像素坐标系下的位置。则有：
q(t2)＝λ2KQ2(t2)＝λ2K(Ct1→t2Q2(t1)+Tt1→t2)……(6)
如果n(t1)为O1X1Z1平面法向量n1在t1时刻的多旋翼无人机坐标系中的表示，则有：
t1时刻的多旋翼无人机坐标系原点到地面的距离d(t1)为：
d(t1)＝n(t1)Tq(t1)
其中，n(t1)T为n(t1)的转置矩阵。根据式(6)则进一步有：
Figure BDA0003200980380000101
其中，λ1为t1时刻的的尺度因子，λ2为t2时刻的的尺度因子，H为单应性矩阵，即：
Figure BDA0003200980380000102
对单应性矩阵H进行奇异值分解，即可获得Ct1→t2，
Figure BDA0003200980380000103
在Ct1已知的情况下，即可根据Ct1→t2即可获得Ct2。对Ct2进行分解即获得t2时刻下的多旋翼无人机的飞行姿态欧拉角，所述欧拉角包括多旋翼无人机的俯仰角、偏转角和滚转角。
进一步，根据
Figure BDA0003200980380000104
及式(6)，即获得Q点在t2时刻下的多旋翼无人机坐标系坐标。
根据上述计算即完成了地面上Q点由图像像素坐标系向多旋翼无人机坐标系的坐标变换。
步骤S13，通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure BDA0003200980380000111
其中，L为多旋翼无人机的悬停高度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数，例如100、200或300。同时预定频率F小于多旋翼无人机摄像装置的帧率。本实施例中通过利用车载平台的车速对预定频率F进行控制，可以实现在车载平台低速运行的状态下，减少帧图像的采样频率，从而减少无人机对图像处理的运输工作，节省耗电。
步骤S14，使用卷积神经网络对步骤13所提取的待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值。
在进行图像特征标识识别时，首先对图像进行傅里叶变换，并分解出高频分量和低频分量，图像中的高频分量指的是图像强度变化剧烈的区域，即图像边缘部分；图像中的低频分量指的是图像强度变换平缓的区域，即图像大色块区域。
本实施例中所使用的的卷积神经网络的结构，如图2所示，该卷积神经网络分别输入图像的高频分量和低频分量数据，高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块。高频分量网络模块的输出结果与低频分量网络模块的输出结果叠加输入到平均池化层及两层全连接层，然后通过sigmoid输出层输出当前图像中含有特征标识的概率。
在本实施例中高频分量网络模块和低频分量网络模块具有相同结构，其均包含输入卷积层、卷积块、平均池化层及两层全连接层。上述卷积块中的卷积核的相关参数以及通道数量，又或每一通道的卷积层数均可由超参数机器训练得到。本发明中的卷积层中所涉及的卷积运算采用现有技术中公知的卷积运算方法，但本发明中多层网络模块中卷积层的层数，以及在卷积运算中所使用的卷积核及相关参数是通过本发明的模型训练方法得到最优化卷积神经网络图像识别模型而确定的。
本实施例的超参数机器训练流程图，该超参数机器训练的目的在于，根据所提供训练数据集、验证数据集和测试数据集训练得到上述卷积神经网络模型中所需的全部参数，并形成卷积神经网络模型的最优超参数组合模型。该机器训练过程如下：
a.将卷积神经网络模型结构输入超参数随机生成器；
b.由超参数随机生成器形成超参数组合模型池；
c.利用测试数据集对超参数组合模型池中的每一个超参数组合模型进行测试，如果测试通过则结束训练将该超参数组合模型输入已训练超参数组合模型池，如测试未通过，则利用训练数据集对该超参数组合模型进行优化，优化后再次测试，直到该模型测试通过；
d.利用验证数据集对已训练超参数组合模型池中的每一超参数组合模型进行验证，验证通过的超参数组合模型即为最优超参数组合模型。
在进行超参数机器训练流程时所使用的训练数据集、验证数据集和测试数据集训共使用100000副图像数据，且每一个图像数据均标记有对应的概率结果。其中训练数据集所包含的数据量为96000个，测试和验证数据集分别使用2000个数据。训练流程中的优化方法为批量Adam后向传输，当测试数据集正确率大于99％或训练超过10000轮时，训练停止，否则继续优化，多个超参数组合模型中验证数据集正确率最高的组合为最优超参数组合模型。
图3是本实施例中根据上述训练方法所得到的卷积神经网络具体结构，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。
第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。
第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1。
第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。
由平均池化层输出至两层全连接层，两个全连接层的神经元个数为4和2。
所述低频分量网络模块的卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。
低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。
低频分量网络模块的平均池化层输出至两个全连接层，两个全连接层的神经元个数为4和2。
高频分量网络模块和低频分量网络模块的输出结果进行叠加输出至输出层sigmoid函数，由输出层sigmoid函数输出该副图像内含有特征标识的概率值。
步骤S15，针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角。
步骤S16，所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹。
步骤S17，根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将引航轨迹及多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
本实施例中，当步骤S15中连续无法输出高于阈值的概率值时，则说明多旋翼无人机已经无法拍摄到含有车载平台的图像，此时多旋翼无人机传输报警信号给车载平台，通知车载平台进行故障排查。
第二实施例
本实施例中留无人机坐标系、地面坐标系和图像像素坐标系的构建与第一实施例相同，但本实施例中所采用的卷积神经网络的结构与第一实施例存在不同。如图4所示，本实施例的车载多旋翼无人机车辆跟踪方法包括如下步骤：
步骤S20，首先在多旋翼无人机的车载平台顶部设置特征标识，所述特征标识的设置是为了提高图像识别的成功率，如果车载平台没有设置特殊的特征标识，则容易导致图像识别系统将其他车辆识别为车载平台，进而导致多旋翼无人机错误导航。所述特征标识可参考固定翼直升机停机坪图案进行设置，例如：圆形、三角或十字图案中设置有“H”字形。
步骤S21，随后，本实施例的车辆跟踪方法中包括构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系。本实施例中定义地面坐标系为O1X1Y1Z1坐标系，O1X1Y1Z1坐标系是相对于地球表面不动的一种坐标系，原点O1取自地面上的某一点；O1X1轴位于水平面内，其指向多旋翼无人机的初始航线；O1Z1轴垂直于地面，并指向地心；O1Y1轴位于地平面内，并垂直于O1X1轴，O1X1Y1Z1坐标系遵守右手规则。本实施例中定义多旋翼无人机坐标系为O2X2Y2Z2坐标系，O2X2Y2Z2坐标系是固定在无人机机体上的一个坐标系，原点O2取在飞机的重心；O2X2轴与飞机纵轴重合，指向无人机前方；O2Y2轴位于无人机对称平面并指向右方，利用右手定则；O2Z2轴垂直于直于对称平面，指向下方。本发明中，多旋翼无人机所获取的图像是由安装在多旋翼无人机上的摄像装置获取的，鉴于多旋翼无人机与其上所安装的摄像装置可以自由的调节，因此在本发明中认为多旋翼无人机坐标系与摄像装置的实际坐标系是重合的，二者公用同一坐标系。
本实施例中定义的图像坐标系包括图像物理坐标系oxy坐标系和图像像素坐标系o’uv坐标系。其中图像物理坐标系oxy坐标系为以摄像机光轴和像平面的交点o为原点，以毫米为单位的直角坐标系。摄像装置坐标系与成像平面坐标系之间存在以下关系：
Figure BDA0003200980380000141
其中，f为摄像装置的镜头焦距。以矩阵形式表示即为:
Figure BDA0003200980380000151
图像像素坐标系o’uv与图像物理坐标系oxy坐标系位于同一平面内，坐标轴平行，方向一致，只有其坐标原点不同。在图像物理坐标系oxy中，坐标原点o处于图像中心点，若坐标原点o置于o’uv坐标系中的像素点表示为(u0，v0)，且每个像素在x轴和y轴上的物理尺寸为dx与dy，则图像像素坐标系o’uv上的任意一点可表示为：
Figure BDA0003200980380000152
以矩阵形式表示则为：
Figure BDA0003200980380000153
步骤S22，构建地面上某一点的在图像像素坐标系中的坐标值向多旋翼无人机坐标系的坐标系坐标值变换模型。本实施例中，多旋翼无人机坐标系、地面坐标系和图像坐标系之间的转换关系包括：
<图像像素坐标系o’uv与多旋翼无人机坐标系O2X2Y2Z2之间的转换关系>
地面上任意一点Q在多旋翼无人机坐标系、地面坐标系和图像像素坐标系中的坐标点分别为Q2，Q1，q；则Q2，Q1，q的坐标表示为[X2,Y2,Z2]，[X1,Y1,Z1]，[u,v,1]。根据上述式(1)和式(2)，则图像像素坐标系o’uv与多旋翼无人机坐标系O2X2Y2Z2之间的转换关系可以表示为：
Figure BDA0003200980380000154
可简化表示为q＝λKQ2，其中λ为尺度因子，即
Figure BDA0003200980380000155
K为摄像装置的内参矩阵，即：
Figure BDA0003200980380000161
<多旋翼无人机坐标系O2X2Y2Z2与地面坐标系O1X1Y1Z1之间的转换关系>
地面坐标系O1X1Y1Z1中的一点Q1可以通过正交旋转矩阵C转换为多旋翼无人机坐标系O2X2Y2Z2中的Q2点。即：
Q1＝C(Q2-T)
其中T为多旋翼无人机坐标系O2X2Y2Z2中的原点O2在地面坐标系O1X1Y1Z1中的坐标。正交旋转矩阵C可以表示为：
Figure BDA0003200980380000162
其中θ,ψ,φ分别为O1X1轴与O2X2轴夹角，O1Y1轴与O2Y2轴夹角,O1Z1轴与O2Z2轴夹角。
对地面上的Q点在t1时刻与t2时刻，则有：
Q2(t1)＝Ct1(Q1-Tt1)……(4)
Q2(t2)＝Ct2(Q1-Tt2)……(5)
其中Ct1，Ct2分别为t1时刻与t2时刻下正交旋转矩阵，Tt1，Tt2分别为t1时刻与t2时刻下多旋翼无人机坐标系O2X2Y2Z2中的原点O2在地面坐标系O1X1Y1Z1中的坐标。
根据式(4)与(5)，则有：
Figure BDA0003200980380000163
进一步简化为：
Q2(t2)＝Ct1→t2Q2(t1)+Tt1→t2……(6)
其中，Ct1→t2为t1时刻的多旋翼无人机坐标系向t2时刻的多旋翼无人机坐标系转换的正交转换矩阵；Tt1→t2为t1时刻的多旋翼无人机坐标系向t2时刻的多旋翼无人机坐标系转换的平移转换矩阵。
令q(t1)，q(t2)分别表示在t1时刻Q点在图像像素坐标系下的位置和t2时刻Q点在图像像素坐标系下的位置。则有：
q(t2)＝λ2KQ2(t2)＝λ2K(Ct1→t2Q2(t1)+Tt1→t2)……(6)
如果n(t1)为O1X1Z1平面法向量n1在t1时刻的多旋翼无人机坐标系中的表示，则有：
t1时刻的多旋翼无人机坐标系原点到地面的距离d(t1)为：
d(t1)＝n(t1)Tq(t1)
其中，n(t1)T为n(t1)的转置矩阵。根据式(6)则进一步有：
Figure BDA0003200980380000171
其中，λ1为t1时刻的的尺度因子，λ2为t2时刻的的尺度因子，H为单应性矩阵，即：
Figure BDA0003200980380000172
对单应性矩阵H进行奇异值分解，即可获得Ct1→t2，
Figure BDA0003200980380000173
在Ct1已知的情况下，即可根据Ct1→t2即可获得Ct2。对Ct2进行分解即获得t2时刻下的多旋翼无人机的飞行姿态欧拉角，所述欧拉角包括多旋翼无人机的俯仰角、偏转角和滚转角。
进一步，根据
Figure BDA0003200980380000174
及式(6)，即获得Q点在t2时刻下的多旋翼无人机坐标系坐标。
根据上述计算即完成了地面上Q点由图像像素坐标系向多旋翼无人机坐标系的坐标变换。
步骤S23，通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure BDA0003200980380000175
其中，L为多旋翼无人机的线缆长度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数，例如100、200、1000。同时预定频率F小于多旋翼无人机摄像装置的帧率。
步骤S24，使用卷积神经网络对步骤13所提取的待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值。
在进行图像特征标识识别时，首先对待识别帧图像序列中的每一幅图像进行傅里叶变换，并分解出高频分量和低频分量，图像中的高频分量指的是图像强度变化剧烈的区域，即图像边缘部分；图像中的低频分量指的是图像强度变换平缓的区域，即图像大色块区域。
本实施例中所使用的的卷积神经网络的结构，如图5所示，该卷积神经网络具有三个输入通道，其中第一输入通道输入前一帧图像的高频分量和低频分量数据，第二输入通道输入当前帧图像的高频分量和低频分量数据，第三输入通道输入后一帧图像的高频分量和低频分量数据。
高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块。高频分量网络模块的输出结果与低频分量网络模块的输出结果叠加输入到全连接层区域，然后通过sigmoid输出层输出当前图像中含有特征标识的概率。在三个输入通道中的高频分量网络模块和低频分量网络模块均使用相同的结构。
在本实施例中高频分量网络模块和低频分量网络模块具有相同结构，其均包含输入卷积层、卷积块、平均池化层及两层全连接层。上述卷积块中的卷积核的相关参数以及通道数量，又或每一通道的卷积层数均可由超参数机器训练得到。本发明中的卷积层中所涉及的卷积运算采用现有技术中公知的卷积运算方法，但本发明中多层网络模块中卷积层的层数，以及在卷积运算中所使用的卷积核及相关参数是通过本发明的模型训练方法得到最优化卷积神经网络图像识别模型而确定的。
本实施例使用的超参数机器训练对模型进行训练，该超参数机器训练的目的在于，根据所提供训练数据集、验证数据集和测试数据集训练得到上述卷积神经网络模型中所需的全部参数，并形成卷积神经网络模型的最优超参数组合模型。该机器训练过程如下：
a.将卷积神经网络模型结构输入超参数随机生成器；
b.由超参数随机生成器形成超参数组合模型池；
c.利用测试数据集对超参数组合模型池中的每一个超参数组合模型进行测试，如果测试通过则结束训练将该超参数组合模型输入已训练超参数组合模型池，如测试未通过，则利用训练数据集对该超参数组合模型进行优化，优化后再次测试，直到该模型测试通过；
d.利用验证数据集对已训练超参数组合模型池中的每一超参数组合模型进行验证，验证通过的超参数组合模型即为最优超参数组合模型。
在进行超参数机器训练流程时所使用的训练数据集、验证数据集和测试数据集训共使用100000副图像数据，且每一个图像数据均标记有对应的概率结果。其中训练数据集所包含的数据量为96000个，测试和验证数据集分别使用2000个数据。训练流程中的优化方法为批量Adam后向传输，当测试数据集正确率大于99％或训练超过10000轮时，训练停止，否则继续优化，多个超参数组合模型中验证数据集正确率最高的组合为最优超参数组合模型。
图6是本实施例根据上述训练方法所得到的高低频分量网络模块具体结构，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。
第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。
第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1。
第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。
由平均池化层输出至两层全连接层，两个全连接层的神经元个数为4和2。
所述低频分量网络模块的卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。
低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。
低频分量网络模块的平均池化层输出至两个全连接层，两个全连接层的神经元个数为4和2。
高频分量网络模块和低频分量网络模块的输出结果进行叠加输出至记忆单元LSTM，记忆单元LSTM根据帧的时序进行连接，并将结果输出至输出层sigmoid函数，由输出层sigmoid函数输出该副图像内含有特征标识的概率值。
步骤S25，针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角。
步骤S26，所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹。
步骤S27，根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将引航轨迹及多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
本实施例中，当步骤S15中连续无法输出高于阈值的概率值时，则说明多旋翼无人机已经无法拍摄到含有车载平台的图像，此时多旋翼无人机传输报警信号给车载平台，通知车载平台进行故障排查。
以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的车载多旋翼无人机车辆跟踪方法，其特征在于，所述方法包括：
在多旋翼无人机的车载平台顶部设置特征标识；
构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系；
构建针对地面上任意点在图像像素坐标系中的坐标值变换为多旋翼无人机坐标系中的坐标值的变换关系；所述变换关系的构建包括生成在任意时刻下的多旋翼无人机坐标系与地面坐标系之间的正交旋转矩阵C及多旋翼无人机坐标系原点在地面坐标系中的坐标；
通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure FDA0003200980370000011
其中，L为多旋翼无人机的悬停高度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数；同时预定频率F小于多旋翼无人机摄像装置的帧率；
使用卷积神经网络对待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值；所述卷积神经网络包括高频分量网络模块、低频分量网络模块和输出层sigmoid函数；
在使用卷积神经网络进行特征识别时，先对图像进行傅里叶变换，并分解出高频分量和低频分量；高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块；高频分量网络模块的输出结果与低频分量网络模块的输出结果叠加输入到输出层sigmoid函数输出当前图像中含有特征标识的概率；
所述高频分量网络模块包括输入卷积层、第一卷积块、第二卷积块、第三卷积块、平均池化层和全连接层；其中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；由平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2；
针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角；
所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹；
根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将引航轨迹及多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
2.根据权利要求1所述的车载多旋翼无人机车辆跟踪方法，其特征在于，所述低频分量网络模块包括第一层卷积层、第二层卷积层、第三层卷积层、平均池化层和全连接层，其中卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；低频分量网络模块的平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2。
3.根据权利要求1所述的车载多旋翼无人机车辆跟踪方法，其特征在于，用于筛选概率值的所述阈值的取值范围为90％～95％。
4.根据权利要求1所述的车载多旋翼无人机车辆跟踪方法，其特征在于，所述放大因子g取值100、200或300。
5.根据权利要求1所述的车载多旋翼无人机车辆跟踪方法，其特征在于，当卷积神经网络连续多帧无法输出高于阈值的概率值时，则说明多旋翼无人机已经无法拍摄到含有车载平台的图像，此时多旋翼无人机传输报警信号给车载平台，通知车载平台进行故障排查。
6.一种基于机器视觉的车载多旋翼无人机车辆跟踪方法，其特征在于，所述方法包括：
在多旋翼无人机的车载平台顶部设置特征标识；
构建多旋翼无人机坐标系、地面坐标系和图像像素坐标系；
构建针对地面上任意点在图像像素坐标系中的坐标值变换为多旋翼无人机坐标系中的坐标值的变换关系；所述变换关系的构建包括生成在任意时刻下的多旋翼无人机坐标系与地面坐标系之间的正交旋转矩阵C及多旋翼无人机坐标系原点在地面坐标系中的坐标；
通过多旋翼无人机上的摄像装置对地面图像进行实时拍摄，并形成视频图像；并对该视频图像以预定频率F进行提取以获得待识别帧图像序列，所述预定频率F为：
Figure FDA0003200980370000031
其中，L为多旋翼无人机的悬停高度；V为车载平台的行进速度；α为多旋翼无人机的飞行俯仰角度；g为频率放大因子，取大于0的整数；同时预定频率F小于多旋翼无人机摄像装置的帧率；
使用卷积神经网络对待识别帧图像序列中的每一幅图像进行特征识别，以检测每一幅图像中含有车载平台顶部所设置的特征标识的概率值；所述卷积神经网络包括高频分量网络模块、低频分量网络模块、记忆单元LSTM和输出层sigmoid函数；
在使用卷积神经网络进行特征识别时，先对当前帧的图像、当前帧图像的前一帧图像和当前帧图像的后一帧图像进行傅里叶变换，并分解出每一帧图像的高频分量和低频分量；
所述卷积神经网络具有三个输入通道，其中第一输入通道输入前一帧图像的高频分量和低频分量数据，第二输入通道输入当前帧图像的高频分量和低频分量数据，第三输入通道输入后一帧图像的高频分量和低频分量数据；
在每一个输入通道中高频分量数据输入高频分量网络模块，低频分量数据输入低频分量网络模块；高频分量网络模块和低频分量网络模块的输出结果进行叠加输出至记忆单元LSTM，记忆单元LSTM根据帧的时序进行连接，并将结果输出至输出层sigmoid函数，由输出层sigmoid函数输出当前图像中含有特征标识的概率；
所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；由平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2；
针对卷积神经网络所输出的待识别帧图像序列的每一幅图像中含有特征标识的概率值按时序进行逐一筛选，其中概率值高于阈值的图像被选中，并根据该图像中特征标识的像素坐标值计算出该时刻下多旋翼无人机在多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角；
所述被选中的图像所输出的多旋翼无人机坐标系下的坐标值及飞行姿态欧拉角均作为一个引航点数据，将所有引航点数据按时序存入数据堆栈并形成多旋翼无人机引航轨迹；
根据引航轨迹计算出多旋翼无人机在每一个引航点的飞行速度，并将引航轨迹及多旋翼无人机引航轨迹传输至多旋翼无人机飞行控制模块，指引多旋翼无人机跟踪车载平台同步飞行。
7.根据权利要求6所述的车载多旋翼无人机车辆跟踪方法，其特征在于，所述低频分量网络模块包括第一层卷积层、第二层卷积层、第三层卷积层、平均池化层和全连接层，其中卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2；低频分量网络模块的平均池化层输出至第一全连接层，第一全连接层的神经元个数为4，随后由第一全连接层输入第二全连接层，第二全连接层的神经元个数为2。
8.根据权利要求6所述的车载多旋翼无人机车辆跟踪方法，其特征在于，用于筛选概率值的所述阈值的取值范围为90％～95％。
9.根据权利要求6所述的车载多旋翼无人机车辆跟踪方法，其特征在于，所述放大因子g取值100、200或300。
10.一种基于机器视觉的车载多旋翼无人机车辆跟踪控制系统，其特征在于所述车载多旋翼无人机车辆跟踪控制系统使用如权利要求1-9之一所述的车载多旋翼无人机车辆跟踪方法对车载多旋翼无人机进行飞行控制。
CN202110904422.1A 2021-08-06 2021-08-06 基于机器视觉的车载多旋翼无人机车辆跟踪方法 Active CN113808161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110904422.1A CN113808161B (zh) 2021-08-06 2021-08-06 基于机器视觉的车载多旋翼无人机车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110904422.1A CN113808161B (zh) 2021-08-06 2021-08-06 基于机器视觉的车载多旋翼无人机车辆跟踪方法

Publications (2)

Publication Number Publication Date
CN113808161A true CN113808161A (zh) 2021-12-17
CN113808161B CN113808161B (zh) 2024-03-15

Family

ID=78893412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110904422.1A Active CN113808161B (zh) 2021-08-06 2021-08-06 基于机器视觉的车载多旋翼无人机车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN113808161B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926724A (zh) * 2022-06-21 2022-08-19 亿咖通(湖北)技术有限公司 数据处理方法、装置、设备及存储介质
CN118707858A (zh) * 2024-08-30 2024-09-27 大连理工大学 一种弱模型依赖的高超声速变形飞行器智能控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013395A1 (ko) * 2018-07-11 2020-01-16 전북대학교산학협력단 비디오 영상에서의 물체 추적 시스템
CN110717387A (zh) * 2019-09-02 2020-01-21 东南大学 一种基于无人机平台的实时车辆检测方法
CN110824453A (zh) * 2020-01-10 2020-02-21 四川傲势科技有限公司 一种基于图像跟踪与激光测距的无人机目标运动估计方法
CN111476116A (zh) * 2020-03-24 2020-07-31 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN112489089A (zh) * 2020-12-15 2021-03-12 中国人民解放军国防科技大学 一种微型固定翼无人机机载地面运动目标识别与跟踪方法
WO2021072709A1 (zh) * 2019-10-17 2021-04-22 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013395A1 (ko) * 2018-07-11 2020-01-16 전북대학교산학협력단 비디오 영상에서의 물체 추적 시스템
CN110717387A (zh) * 2019-09-02 2020-01-21 东南大学 一种基于无人机平台的实时车辆检测方法
WO2021072709A1 (zh) * 2019-10-17 2021-04-22 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、设备及存储介质
CN110824453A (zh) * 2020-01-10 2020-02-21 四川傲势科技有限公司 一种基于图像跟踪与激光测距的无人机目标运动估计方法
CN111476116A (zh) * 2020-03-24 2020-07-31 南京新一代人工智能研究院有限公司 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN112489089A (zh) * 2020-12-15 2021-03-12 中国人民解放军国防科技大学 一种微型固定翼无人机机载地面运动目标识别与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
车飞;李杰;牛轶峰;: "无人机保距跟踪中的视觉跟踪算法研究", 无人系统技术, no. 01, 15 January 2020 (2020-01-15) *
魏明鑫;黄浩;胡永明;王德志;李岳彬;: "基于深度学习的多旋翼无人机单目视觉目标定位追踪方法", 计算机测量与控制, no. 04, 25 April 2020 (2020-04-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926724A (zh) * 2022-06-21 2022-08-19 亿咖通(湖北)技术有限公司 数据处理方法、装置、设备及存储介质
CN118707858A (zh) * 2024-08-30 2024-09-27 大连理工大学 一种弱模型依赖的高超声速变形飞行器智能控制方法

Also Published As

Publication number Publication date
CN113808161B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
US12072705B2 (en) Intelligent decision-making method and system for unmanned surface vehicle
CN113359810B (zh) 一种基于多传感器的无人机着陆区域识别方法
Truong et al. Deep learning-based super-resolution reconstruction and marker detection for drone landing
CN104865971B (zh) 一种输电线路巡检无人机的控制方法及无人机
CN111476116A (zh) 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
CN107491742A (zh) 一种长时稳定的无人机目标跟踪方法
US20100305857A1 (en) Method and System for Visual Collision Detection and Estimation
DE112021006101T5 (de) Systeme und Verfahren zur Objektdetektion mit LiDAR-Dekorrelation
CN109063532B (zh) 一种基于无人机的野外失联人员搜寻方法
CN113495575B (zh) 一种基于注意力机制的无人机自主着陆视觉引导方法
CN113808161B (zh) 基于机器视觉的车载多旋翼无人机车辆跟踪方法
Bakirci Enhancing vehicle detection in intelligent transportation systems via autonomous UAV platform and YOLOv8 integration
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN107273929A (zh) 一种基于深度协同神经网络的无人机自主降落方法
CN106155082A (zh) 一种基于光流的无人机仿生智能避障方法
CN110110702A (zh) 一种基于改进ssd目标检测网络的无人机规避算法
CN112907972B (zh) 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN104820435A (zh) 基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法
Koo et al. A jellyfish distribution management system using an unmanned aerial vehicle and unmanned surface vehicles
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
Qi et al. Detection and tracking of a moving target for UAV based on machine vision
CN117496322A (zh) 一种基于云边协同的多模态3d目标检测方法和装置
CN117806363A (zh) 一种无人机跟随拍照的方法及设备
CN116486290A (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
Shakirzyanov et al. Method for Unmanned Vehicles Automatic Positioning Based on Signal Radially Symmetric Markers Recognition of Underwater Targets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant