Nothing Special   »   [go: up one dir, main page]

CN108298101B - 云台旋转的控制方法及装置、无人机 - Google Patents

云台旋转的控制方法及装置、无人机 Download PDF

Info

Publication number
CN108298101B
CN108298101B CN201711423007.4A CN201711423007A CN108298101B CN 108298101 B CN108298101 B CN 108298101B CN 201711423007 A CN201711423007 A CN 201711423007A CN 108298101 B CN108298101 B CN 108298101B
Authority
CN
China
Prior art keywords
frame image
distance
unmanned aerial
tracked
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711423007.4A
Other languages
English (en)
Other versions
CN108298101A (zh
Inventor
秦铁柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Robotics Co Ltd
Original Assignee
Goertek Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Robotics Co Ltd filed Critical Goertek Robotics Co Ltd
Priority to CN201711423007.4A priority Critical patent/CN108298101B/zh
Publication of CN108298101A publication Critical patent/CN108298101A/zh
Application granted granted Critical
Publication of CN108298101B publication Critical patent/CN108298101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种云台旋转的控制方法及装置、无人机，云台设置在无人机上，云台上安装有摄像装置，该方法包括：获取摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，第一帧图像和第二帧图像为相邻帧图像；对第一帧图像和第二帧图像进行处理，得到无人机追踪的物体的移动距离；测量得到在第一时刻物体与云台的第一距离，以及在第二时刻物体与云台的第二距离；根据物体的移动距离、第一距离和第二距离，计算得到物体的偏移角度；利用物体的偏移角度，控制云台的旋转。根据本发明的一个实施例，实现了云台的自动化旋转，减少了人工操作。

Description

云台旋转的控制方法及装置、无人机
技术领域
本发明涉及无人机技术领域，更具体地，涉及一种云台旋转的控制方法及装置、无人机。
背景技术
近年来无人飞行器(以下简称无人机)的相关技术和应用蓬勃发展。航拍无人机作为无人机中的一种，以无人驾驶飞机作为空中平台，以机载遥感设备获取信息，用计算机对图像信息进行处理，并按照一定精度要求制作成图像。航拍无人机结构简单、使用成本低、适用于普通摄像所不能到达或拍摄的场景。
目前，利用航拍无人机进行拍摄时，操作人员需要通过遥控器人工调整无人机中的机载遥感设备的拍摄角度，操作复杂。另外，在对满足用户需求的运动物体进行追踪拍摄时，需要实时调整无人机的拍摄角度。这种人工操作调整无人机的拍摄角度的方式，可能会出现不能实时追踪运动物体，以致出现拍摄得到的图像中没有运动物体。
因此，需要提供一种新的技术方法，针对上述现有技术中的技术问题进行改进。
发明内容
本发明的一个目的是提供一种控制云台旋转的新技术方案。
根据本发明的第一方面，提供了一种云台旋转的控制方法，所述云台设置在无人机上，所述云台上安装有摄像装置，包括：
获取所述摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，所述第一帧图像和所述第二帧图像为相邻帧图像；
对所述第一帧图像和所述第二帧图像进行处理，得到无人机追踪的物体的移动距离；
测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离；
根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度；
利用所述物体的偏移角度，控制所述云台的旋转。
可选地，对所述第一帧图像和所述第二帧图像进行处理，得到所述物体的移动距离，包括：
利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，其中，所述运动向量包括沿所述第一帧图像的长度方向的运动分量和所述物体沿所述第一帧图像的宽度方向的运动分量；
根据第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，确定所述物体的移动距离。
可选地，利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，包括：
基于LK光流法，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量。
可选地，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离，包括：
利用光流传感器，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离。
可选地，根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到物体的偏移角度，包括：
基于以下计算式，利用所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度，
Figure BDA0001523431450000031
其中，L1为所述第一距离，L2为所述第二距离，L3为所述物体的移动距离，α为所述物体的偏移角度。
根据本发明的第二方面，提供了一种云台旋转的控制装置，所述云台设置在无人机上，所述云台上安装有摄像装置，包括：
获取模块，用于获取所述摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，所述第一帧图像和所述第二帧图像为相邻帧图像；
处理模块，用于对所述第一帧图像和所述第二帧图像进行处理，得到无人机追踪的物体的移动距离；
测量模块，用于测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离；
计算模块，用于根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度；
控制模块，用于利用所述物体的偏移角度，控制所述云台的旋转。
可选地，所述处理模块还用于：
利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，其中，所述运动向量包括沿所述第一帧图像的长度方向的运动分量和所述物体沿所述第一帧图像的宽度方向的运动分量；
根据第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，确定所述物体的移动距离。
可选地，所述测量模块还用于：
利用光流传感器，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离。
根据本发明的第三方面，提供了一种无人机，包括上述云台旋转的控制装置。
根据本发明的第四方面，提供了一种无人机，包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行根据上述任何一项所述的云台旋转的控制方法。
通过本发明实施例提供的云台旋转的控制方法及装置、无人机，实现了云台的自动化旋转，减少了人工操作，并且能够有效地捕捉无人机追踪的物体并轻松达到拍摄目的，避免了由于不能实时追踪运动物体，以致出现拍摄得到的图像中没有运动物体的情况，提高了用户的体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了根据本发明一个实施例的云台旋转的控制方法。
图2示出了根据本发明一个实施例的云台旋转的控制装置的结构示意图。
图3示出了根据本发明一个实施例的无人机的结构示意图。
图4示出了根据本发明一个实施例的无人机的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明的一个实施例提供了一种云台旋转的控制方法。云台设置在无人机上，云台上安装有摄像装置。例如，无人机的云台内设置有电机，该电机与摄像装置通过旋转机构连接，电机可控制该旋转机构转动，以调整摄像装置的拍摄角度。摄像装置包括但不限于数码相机、光学相机、红外扫描仪以及激光扫描仪。
图1示出了根据本发明一个实施例的云台旋转的控制方法。参见图1，该方法至少包括以下步骤S101至步骤S105。
步骤S101，获取摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，第一帧图像和第二帧图像为相邻帧图像。
第一帧图像和第二帧图像中均包括无人机追踪的物体对应的图像。
步骤S102，对第一帧图像和第二帧图像进行处理，得到无人机追踪的物体的移动距离。
在一个实施例中，无人机设置有光流传感器。例如，摄像装置将拍摄得到的第一帧图像和第二帧图像发送至无人机的控制装置，该控制装置将接收到的第一帧图像和第二帧图像发送至光流传感器，光流传感器对第一帧图像和第二帧图像进行处理，得到无人机追踪的物体的移动距离，光流传感器再将无人机追踪的物体的移动距离发送至无人机的控制装置。
在一个实施例中，首先，利用光流传感器，确定第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量，其中，运动向量包括沿第一帧图像的长度方向的运动分量和物体沿第一帧图像的宽度方向的运动分量。然后，根据第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量，确定物体的移动距离。
例如，基于LK光流法，确定第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量。
光流是空间运动物体在成像平面上的像素运动的瞬时速度。运动场是三维世界的真实运动，由于图像是摄像装置在其平面上的投影，无法从二维图像上直接获取运动场，但可以从图像序列中获得光流场，光流场是运动场在二维图像平面上的投影。
通过LK光流法，可得到第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量。LK光流法的基本原理为：利用相邻帧图像之间的亮度恒常性，建立下述图像约束方程，
Figure BDA0001523431450000061
其中，I(u,v,t)为某一像素点的亮度值，I(u+Δu,v+Δv,t+Δt)为该像素点移动后的亮度值，Δu,Δv分别为光流的两个运动向量，Δt为相邻帧之间的时间间隔。假设时间间隔足够小，那么
Figure BDA0001523431450000062
本发明的一个实施例中，该像素点可为相邻帧图像中位于无人机追踪的物体上的像素点。利用图像约束方程，计算得到相邻帧对应的光流的两个运动向量。光流的两个运动向量为无人机追踪的物体沿第一帧图像的长度方向的运动分量和沿第一帧图像的宽度方向的运动分量。接着，根据无人机追踪的物体沿第一帧图像的长度方向的运动分量和沿第一帧图像的宽度方向的运动分量，计算得到该物体的移动距离。例如，基于以下计算式，计算得到该物体的移动距离，
Figure BDA0001523431450000063
其中，Lx是无人机追踪的物体沿第一帧图像的长度方向的运动分量，Ly是无人机追踪的物体沿第一帧图像的宽度方向的运动分量，L3为物体的移动距离。
需要说明地是，上述实施例中，光流传感器基于LK光流法确定第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量仅作为一个示例，对本发明并不造成任何限定。光流传感器还可利用其他光流算法确定无人机追踪的物体的运动向量。
步骤S103，测量得到在第一时刻物体与云台的第一距离，以及在第二时刻物体与云台的第二距离。
在一个实施例中，利用光流传感器，测量得到在第一时刻无人机追踪的物体与云台的第一距离，以及在第二时刻该物体与云台的第二距离。光流传感器在测量得到第一距离和第二距离之后，将第一距离和第二距离发送至无人机的控制装置。
在一个实施例中，无人机上设置有下列任一测距传感器：超声波测距传感器、激光测距传感器、红外线测距传感器。可利用上述任一测距传感器测量得到在第一时刻无人机追踪的物体与云台的第一距离，以及在第二时刻该物体与云台的第二距离。上述任一测距传感器在测量得到第一距离和第二距离之后，将第一距离和第二距离发送至无人机的控制装置。
在一个实施例中，摄像装置包括深度摄像头。通过该深度摄像头，测量得到在第一时刻无人机追踪的物体与云台的第一距离，以及在第二时刻无人机追踪的物体与云台的第二距离。
步骤S104，根据物体的移动距离、第一距离和第二距离，计算得到物体的偏移角度。
在一个实施例中，无人机的控制装置根据接收到无人机追踪的物体的移动距离、在第一时刻无人机追踪的物体与云台的第一距离、以及在第二时刻该物体与云台的第二距离，计算得到物体的偏移角度。
例如，基于以下计算式，利用所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度，
Figure BDA0001523431450000071
其中，L1为第一距离，L2为第二距离，L3为物体的移动距离，α为物体的偏移角度。
步骤S105，利用物体的偏移角度，控制云台的旋转。
在一个实施例中，无人机的控制装置计算得到物体的偏移角度后，将携带有该偏移角度信息的控制信号发送至云台。云台接收到该控制信号后，驱动电机带动旋转机构旋转，进而调整摄像装置的拍摄角度。
在一个实施例中，在执行上述步骤S101至S105的操作之前，判断无人机是否启动自动旋转功能。若无人机启动云台自动旋转功能时，执行上述步骤S101至S105。若无人机未启动云台自动旋转功能时，操作人员可通过遥控器人工调整无人机中的云台的旋转角度。
基于同一发明构思，本发明还提供了一种云台旋转的控制装置。图2示出了根据本发明一个实施例的云台旋转的控制装置的结构示意图。参见图2，该装置至少包括：获取模块210，用于获取摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，第一帧图像和第二帧图像为相邻帧图像；处理模块220，用于对第一帧图像和第二帧图像进行处理，得到无人机追踪的物体的移动距离；测量模块230，用于测量得到在第一时刻物体与云台的第一距离，以及在第二时刻物体与云台的第二距离；计算模块240，用于根据物体的移动距离、第一距离和第二距离，计算得到物体的偏移角度；控制模块250，用于利用物体的偏移角度，控制云台的旋转。
在一个实施例中，处理模块220还用于：利用光流传感器，确定第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量，其中，运动向量包括沿第一帧图像的长度方向的运动分量和物体沿第一帧图像的宽度方向的运动分量；根据第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量，确定物体的移动距离。
例如，基于LK光流法，确定第二帧图像中无人机追踪的物体相对于第一帧图像中无人机追踪的物体的运动向量。
在一个实施例中，测量模块230还用于：利用光流传感器，测量得到在第一时刻物体与云台的第一距离，以及在第二时刻物体与云台的第二距离。或者，无人机上设置有下列任一测距传感器：超声波测距传感器、激光测距传感器、红外线测距传感器。可利用上述任一测距传感器测量得到在第一时刻无人机追踪的物体与云台的第一距离，以及在第二时刻该物体与云台的第二距离。上述任一测距传感器在测量得到第一距离和第二距离之后，将第一距离和第二距离发送至无人机的控制装置。
在一个实施例中，计算模块240可基于以下计算式，利用所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度，
Figure BDA0001523431450000081
其中，L1为第一距离，L2为第二距离，L3为物体的移动距离，α为物体的偏移角度。
基于同一发明构思，本发明提供了一种无人机。图3示出了根据本发明一个实施例的无人机的结构示意图，参见图3，该无人机至少包括云台旋转的控制装置310。
图4示出了根据本发明一个实施例的无人机的硬件结构示意图。参见图4，无人机400可以包括处理器410、存储器420、接口装置430、通信装置440、摄像装置450、光流传感器460，等等。
处理器410例如可以是中央处理器CPU、微处理器MCU等。
存储器420例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。
接口装置430例如包括USB接口、耳机接口等。
通信装置440例如能够进行有有线或无线通信。
图4所示的无人机仅是解释性的，并且决不是为了要限制本发明、其应用或用途。
在这个实施例中，所述存储器420用于存储指令，所述指令用于控制所述处理器410进行操作以执行图1所示的云台旋转的控制方法。
本领域技术人员应当理解，尽管在图4中示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，处理器410和存储器420等。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
通过本发明实施例提供的云台旋转的控制方法及装置、无人机，实现了云台的自动化旋转，减少了人工操作，并且能够有效地捕捉无人机追踪的物体并轻松达到拍摄目的，避免了由于不能实时追踪运动物体，以致出现拍摄得到的图像中没有运动物体的情况，提高了用户的体验。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种云台旋转的控制方法，所述云台设置在无人机上，所述云台上安装有摄像装置，其特征在于，包括：
获取所述摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，所述第一帧图像和所述第二帧图像为相邻帧图像；
对所述第一帧图像和所述第二帧图像进行处理，得到无人机追踪的物体的移动距离；
测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离；
根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度；
利用所述物体的偏移角度，控制所述云台的旋转。
2.根据权利要求1所述的方法，其特征在于，对所述第一帧图像和所述第二帧图像进行处理，得到所述物体的移动距离，包括：
利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，其中，所述运动向量包括沿所述第一帧图像的长度方向的运动分量和所述物体沿所述第一帧图像的宽度方向的运动分量；
根据第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，确定所述物体的移动距离。
3.根据权利要求2所述的方法，其特征在于，利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，包括：
基于LK光流法，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量。
4.根据权利要求1所述的方法，其特征在于，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离，包括：
利用光流传感器，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离。
5.根据权利要求1所述的方法，其特征在于，根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到物体的偏移角度，包括：
基于以下计算式，利用所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度，
Figure FDA0001523431440000021
其中，L1为所述第一距离，L2为所述第二距离，L3为所述物体的移动距离，α为所述物体的偏移角度。
6.一种云台旋转的控制装置，所述云台设置在无人机上，所述云台上安装有摄像装置，其特征在于，包括：
获取模块，用于获取所述摄像装置在第一时刻拍摄得到的第一帧图像和在第二时刻拍摄得到的第二帧图像，其中，所述第一帧图像和所述第二帧图像为相邻帧图像；
处理模块，用于对所述第一帧图像和所述第二帧图像进行处理，得到无人机追踪的物体的移动距离；
测量模块，用于测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离；
计算模块，用于根据所述物体的移动距离、所述第一距离和所述第二距离，计算得到所述物体的偏移角度；
控制模块，用于利用所述物体的偏移角度，控制所述云台的旋转。
7.根据权利要求6所述的装置，其特征在于，所述处理模块还用于：
利用光流传感器，确定所述第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，其中，所述运动向量包括沿所述第一帧图像的长度方向的运动分量和所述物体沿所述第一帧图像的宽度方向的运动分量；
根据第二帧图像中无人机追踪的物体相对于所述第一帧图像中无人机追踪的物体的运动向量，确定所述物体的移动距离。
8.根据权利要求6所述的装置，其特征在于，所述测量模块还用于：
利用光流传感器，测量得到在所述第一时刻所述物体与所述云台的第一距离，以及在所述第二时刻所述物体与所述云台的第二距离。
9.一种无人机，其特征在于，包括如权利要求6-8任一所述的云台旋转的控制装置。
10.一种无人机，其特征在于，包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行根据权利要求1‐5中的任何一项所述的云台旋转的控制方法。
CN201711423007.4A 2017-12-25 2017-12-25 云台旋转的控制方法及装置、无人机 Active CN108298101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711423007.4A CN108298101B (zh) 2017-12-25 2017-12-25 云台旋转的控制方法及装置、无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711423007.4A CN108298101B (zh) 2017-12-25 2017-12-25 云台旋转的控制方法及装置、无人机

Publications (2)

Publication Number Publication Date
CN108298101A CN108298101A (zh) 2018-07-20
CN108298101B true CN108298101B (zh) 2020-03-24

Family

ID=62870862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711423007.4A Active CN108298101B (zh) 2017-12-25 2017-12-25 云台旋转的控制方法及装置、无人机

Country Status (1)

Country Link
CN (1) CN108298101B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161305A (zh) * 2019-12-18 2020-05-15 任子行网络技术股份有限公司 无人机智能识别追踪方法及系统
CN112616325A (zh) * 2019-12-30 2021-04-06 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、摄像装置及存储介质
CN113489893B (zh) * 2020-07-31 2023-04-07 深圳技术大学 实时目标物体追踪定位方法以及实时目标物体追踪定位装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103365297B (zh) * 2013-06-29 2016-03-09 天津大学 基于光流的四旋翼无人机飞行控制方法
CN205540289U (zh) * 2016-04-07 2016-08-31 北京博鹰通航科技有限公司 一种具有光流传感器的多旋翼无人机
CN106813662A (zh) * 2016-06-08 2017-06-09 极翼机器人(上海)有限公司 一种基于光流的导航方法
WO2018023492A1 (zh) * 2016-08-03 2018-02-08 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统

Also Published As

Publication number Publication date
CN108298101A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
JP6743191B2 (ja) マルチセンサ画像手ぶれ補正技術
CN108780324B (zh) 无人机、无人机控制方法和装置
WO2020037492A1 (en) Distance measuring method and device
CN108574825B (zh) 一种云台摄像机的调整方法和装置
WO2019113966A1 (zh) 一种避障方法、装置和无人机
CN108038417A (zh) 云台控制方法、装置及系统
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US10477180B1 (en) Photogrammetry system and method of operation
CN108298101B (zh) 云台旋转的控制方法及装置、无人机
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
WO2015004739A1 (ja) 監視システム、自動巡回ロボット、および監視方法
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
JP2009258058A (ja) ３次元物体位置計測装置
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
US20210276700A1 (en) Control method and device for unmanned aerial vehicle, and unmanned aerial vehicle
WO2018191969A1 (zh) 云台的控制方法及装置
CN112414400A (zh) 一种信息处理方法、装置、电子设备和存储介质
CN108260360A (zh) 场景深度计算方法、装置及终端
BR112020014077A2 (pt) visor montado na cabeça, método realizado por um visor montado na cabeça, programa de computador, e, meio de armazenamento legível por computador.
US11489998B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2019205103A1 (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
US10721419B2 (en) Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
JP7229719B2 (ja) 画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant