Nothing Special   »   [go: up one dir, main page]

CN110494360B - 用于提供自主摄影及摄像的系统和方法 - Google Patents

用于提供自主摄影及摄像的系统和方法 Download PDF

Info

Publication number
CN110494360B
CN110494360B CN201780089309.4A CN201780089309A CN110494360B CN 110494360 B CN110494360 B CN 110494360B CN 201780089309 A CN201780089309 A CN 201780089309A CN 110494360 B CN110494360 B CN 110494360B
Authority
CN
China
Prior art keywords
target
aerial
trajectory
video
aerial system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089309.4A
Other languages
English (en)
Other versions
CN110494360A (zh
Inventor
王孟秋
刘力心
张通
鲁佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zero Zero Technology Co Ltd
Original Assignee
Hangzhou Zero Zero Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zero Zero Technology Co Ltd filed Critical Hangzhou Zero Zero Technology Co Ltd
Priority to CN202011336631.2A priority Critical patent/CN112462802A/zh
Publication of CN110494360A publication Critical patent/CN110494360A/zh
Application granted granted Critical
Publication of CN110494360B publication Critical patent/CN110494360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Toys (AREA)

Abstract

一种航空系统包括处理系统、光学系统、致动系统和升力机构，所述航空系统包括至少部分地由处理系统22、光学系统26、致动系统28和升力机构32实现的自主摄影和/或摄影系统70。自主摄影和/或摄像系统实施以下步骤：确立期望的飞行轨线，检测目标，相对于目标利用升力机构、根据期望的飞行轨线控制航空系统的飞行，以及控制摄像机以捕获图片和/或视频。

Description

用于提供自主摄影及摄像的系统和方法
相关申请的交叉引用
本申请要求2017年6月29日提交的、要求了2017年3月31日提交的美国临时专利申请序列号62/479,766优先权的美国非临时专利申请序列号15/637,954的优先权，所述申请公开的全部内容由此通过引用的方式并入。
技术领域
本发明总的涉及航空系统领域，且更具体地，涉及用于提供航空系统的跟随所确立的轨线和可控制地提供摄影及摄像特征的自动操作的系统和方法。
背景技术
当前在存在两种允许用户控制无人机以拍摄照片和视频的普遍方式。第一种，可利用远程控制器(RC)或其它移动设备(比如，移动电话或平板电脑)来控制无人机。在这类系统中，用户必须通过与RC或移动设备的物理交互手动地控制无人机。这种方式呈现出若干不足。首先，用户需要数小时或数天甚至数月的练习才能变得熟练控制无人机。另外，用户不仅得控制无人机的操作即飞行，而且用户还必须控制摄像机以捕获图片和/或视频。因此，图像或视频的质量不仅受控制无人机的技能限制，而且还受控制者的摄影或摄像经验限制。
第二种方式是自动跟随特征。利用自动跟随特征，无人机或航空系统选择并锁定人并且自动捕获图片和/或视频。通常，这个人会是操作RC或移动设备的人，即“所有权人”，但也可以是别人，比如佩戴追踪设备或与追踪设备关联的人。这种方式也有缺点。通常，移动或无人机指令相对简单，即在捕获图片和/或视频的同时跟随用户。利用这种方式，所得的图片和/或视频是受限的，即，总是相同或单一的景色。例如，这种方式通常导致图片和/或视频由用户的所有前视图、后视图或侧视图的图片和/或视频组成。此外，无人机与目标人物之间的距离通常不变。也就是说，所有的图片和/或视频要不是远景、中景就是近景。此外，交互也不直观。用户需要在智能手机上操作无人机和/或携带用于追踪的设备。此外，自动跟随特征通常聚焦在一个人上或锁定一个人。这种交互总是锁定一个人，因此这种交互对于捕获诸如舞者、大型聚会中的人、团体运动(例如篮球)之类的人群的图像和/或视频来说，效果不佳。
本发明旨在解决上述问题中的一项或多项。
发明内容
在本发明的一个方面中，提供了一种航空系统。所述航空系统包括本体、联接到本体的升力机构、摄像机和处理系统。摄像机通过致动系统可控制地安装到本体。处理系统联接到升力机构、摄像机和致动系统，并且配置成确立期望的飞行轨线、检测目标以及相对于目标利用升力机构、根据期望的飞行轨线控制航空系统的飞行。处理系统还配置成控制摄像机以捕获图片和/或视频。
在本发明的另一方面中，提供了一种用于操作航空系统的方法。航空系统包括本体、升力机构、摄像机和呈致动系统方式的本体。方法包括以下步骤：由处理系统确立期望的飞行轨线；检测目标；以及由处理系统相对于目标利用升力机构、根据期望的飞行轨线控制航空系统的飞行。方法还包括如下步骤：由处理系统控制摄像机以捕获图片和/或视频。
附图说明
图1是根据本发明的实施例的航空系统与用于控制航空系统的系统的示意图。
图2是根据本发明的实施例的示例航空系统的图片。
图3是根据本发明的实施例的示例光学系统的图片。
图4是根据本发明的实施例的航空系统的第二示意图。
图5是根据本发明的实施例的用于控制航空系统的系统与航空系统的第三示意图。
图6是根据本发明实施例的包括障碍物检测与回避系统的航空系统的示意图。
图7是根据本发明的实施例的自主摄影和/或摄像系统的框图。
图8是与图7的自主摄影和/或摄像系统关联的方法的流程图。
具体实施方式
本发明的实施例的以下描述并不意图将本发明限于这些实施例，而是使本领域任何技术人员能够制作并使用本发明。参考附图并且在操作中，设置用于控制航空系统12(例如，无人机)的系统10。系统10可包括远程设备14，远程设备具有控制客户端16。控制客户端16提供允许用户18向航空系统12发送指令以控制航空系统的操作的用户接口(见下文)。如以下更深入论述的，航空系统12包括用于获得图片和/或视频的一个或多个摄像机(见下文)，所述图片和/或视频可发送到远程设备14和/或存储在航空系统12上的存储器中。
航空系统12可包括一个或多个传感器(见下文)，所述一个或多个传感器用于检测或感测由用户18实施的操作或动作(即“表达”)，以在与远程设备14无直接或物理交互的情况下控制航空系统(见下文)的操作。在免控制器实施例中，从开始(释放和悬停)到完结(抓取和离开)的整个控制环和控制航空系统12的运动和事件的触发(例如，拍摄图片和视频)都单独在航空系统12机上实施，而没有远程设备14的参与。在一些这样的实施例或系统10中，可不提供或不包括远程设备14。
在一些实施例中，远程设备14包括这样的一个或多个传感器，所述一个或多个传感器检测或感测由用户18实施的操作或动作，以在某些状况下(例如，当航空系统12离用户18太远时)与远程设备14没有物理交互的情况下控制航空系统12的操作。
在本发明的一个方面中，航空系统12包括处理系统，处理系统配置成：确立期望的飞行轨线，检测目标，以及相对于目标利用升力机构、根据期望的飞行轨线控制航空系统的飞行。处理系统还配置成控制摄像机以捕获图片和/或视频。
系统10和航空系统12概述
图1-5中示出了示例航空系统12和控制系统10。航空系统12的控制客户端16用于：从航空系统12接收包括视频图像和/或视频在内的数据，以及控制远程设备14上的视觉显示。控制客户端16还可接收操作指令并基于操作指令促成航空系统12的远程控制。控制客户端16优选配置成在远程设备14上执行，但也可替代地配置成在航空系统12上或在任何其它适合的系统上执行。如以上和以下更充分论述的，航空系统12可在与远程设备14无直接或物理交互的情况下单独被控制。
控制客户端16可以是本机应用(例如，移动应用)、浏览器应用、操作系统应用或任何其它适合的构建。
执行控制客户端16的远程设备14用于显示数据(例如，如通过控制客户端16指令的)、接收用户输入、基于用户输入(例如，如通过控制客户端16指令的)计算操作指令、向航空系统12发送操作指令、存储控制客户端(16)信息(例如，关联的航空系统标识符、安全密钥、用户帐户信息、用户帐户偏好等)或实施任何其它适合的功能。远程设备14可以是用户设备(例如，智能电话、平板电脑、膝上型计算机等)、联网的服务器系统或任何其它适合的远程计算系统。远程设备14可包括一个或多个：输出装置、输入装置、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其它适合的部件。输出装置可包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出装置(例如，触觉像素系统、振动电机等)或任何其它适合的输出装置。输入装置可包括：触摸屏(例如，电容式、电阻式等)、鼠标、键盘、运动传感器、麦克风、生物特征输入装置、摄像机或任何其它适合的输入装置。通信系统可包括无线连接装置比如支持远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE远程、NFC、ZigBee、RF、音频、光学等)的无线电收发机或任何其它适合的通信系统。传感器可包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其它适合的传感器。在一个变型中，远程设备14可包括显示器(例如，包括覆盖显示器的触摸屏的触敏显示器)、无线电收发机集合(例如，Wi-Fi、蜂窝、BLE等)和方位传感器集合。然而，远程设备14可包括部件的任何适合的集合。
航空系统12用于：在物理空间内飞行，捕获视频，将视频以近乎实时的方式流传输到远程设备14，以及基于从远程设备14接收的操作指令进行操作。
航空系统12还可：处理在将视频流传输到远程设备14之前的视频(例如，视频帧)和/或从机载音频传感器接收的音频；生成并基于航空系统自身的操作指令自动操作(例如，以自动跟随对象)；或实施任何其它适合的功能。航空系统12还可用于使光学传感器的视场在物理空间内移动。例如，航空系统12可控制宏移动(例如，米调节量级的大的FOV变化)、微移动(例如，毫米或厘米调节量级的小的FOV变化)或任何其它适合的移动。
航空系统12可基于对来自机载传感器的传感器数据的机载处理而实施某些功能。所述功能可包括但不限于：
起飞和降落；
所有权人识别；
面部识别；
语音识别；
面部表情和姿势识别；以及，
基于所有权人、面部、表达和姿势识别及语音识别，控制例如航空系统的运动。
如图2-5中所示，航空系统12(例如，无人机)可包括本体20、处理系统22、通信系统24、光学系统26和使光学系统26安装到本体20的致动机构28。另外或替代地，航空系统12可包括升力机构、传感器、动力系统或任何其它适合的部件(见下文)。
航空系统12的本体20用于机械保护和/或保持航空系统部件。本体20可限定腔，本体可以是平台，或者本体可以具有任何适合的配置。本体20可以是封闭式、敞露式(例如，桁架)或具有任何适合的构造。本体20可由金属、塑料(例如，聚合物)、碳复合材料或任何其它适合的材料制成。本体20可限定纵向轴线、侧向轴线、横向轴线、前端、后端(例如，沿着纵向轴线与前端相反)、顶部、底部(例如，沿着横向轴线与顶部相反)或任何其它适合的基准。在一个变型中，在飞行中时，本体20的横向轴线可大体平行于重力矢量(例如，垂直于地面)，并且本体的纵向轴线和侧向轴线可大体垂直于重力矢量(例如，平行于地面)。然而，本体20可以以其它方式配置。
航空系统12的处理系统22用于控制航空系统的操作。处理系统22可以：从通信系统24接收操作指令，将操作指令解译为机器指令，以及基于机器指令(单独或成组地)控制航空系统部件。另外或替代地，处理系统22可处理由摄像机记录的图像、将图像流传输到远程设备14(例如，以实时或近乎实时的方式)或实施任何其它适合的功能。处理系统22可包括一个或多个：处理器30(例如，CPU、GPU等)、存储器(例如，闪存、RAM等)或任何其它适合的处理部件。在一个变型中，处理系统22可还包括自动处理在发送给远程设备14之前的图像(例如，图像去变形、图像过滤、图像裁剪等)的专用硬件。处理系统22优选连接到航空系统12的有源部件并安装到本体20，但替代地也可以以其它方式与航空系统部件相关。
航空系统12的通信系统24用于发送和/或从远程设备14接收信息。通信系统24优选连接到处理系统22，以便通信系统24发送和/或从处理系统22接收信息，但替代地，通信系统也可连接到任何其它适合的部件。航空系统12可包括一种或多种类型的一个或多个通信系统24。通信系统24可包括无线连接装置比如支持远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE远程、NFC、ZigBee、RF、音频、光学等)的无线电收发机或任何其它适合的通信系统24。通信系统24优选与远程设备14共享至少一个系统协议(例如，BLE、RF等)，但替代地，通信系统也可经由中间通信系统(例如，协议转换系统)与远程设备14通信。然而，通信系统24可以以其它方式配置。
航空系统12的光学系统26用于记录航空系统12邻近的物理空间的图像。光学系统26优选经由致动机构28安装到本体20，但替代地，光学新系统也可静态安装到本体20、可移除地安装到本体20或以其它方式安装到本体20。光学系统26优选安装到本体20的前端，但也可以可选地安装到本体20的底部(例如，邻近前部)、顶部、后端或任何其它适合的部分。光学系统26优选连接到处理系统30，但替代地，光学系统也可连接到通信系统24或任何其它适合的系统。光学系统26可还包括自动处理由摄像机记录的、在发送给处理器或其它端点之前的图像的专用图像处理硬件。航空系统12可包括相同或不同类型的、安装到相同或不同位置的一个或多个光学系统26。在一个变型中，航空系统12包括安装到本体20的前端的第一光学系统26和安装到本体20的底部的第二光学系统26。第一光学系统26可关于枢轴支撑件致动，并且第二光学系统26可相对于本体20大体静态地保持、伴随地相应的工作表面(active surface)大体平行于本体底部。第一光学传感器36可以是高清晰度的，而第二光学传感器36可以是低清晰度的。然而，光学系统26可以以其它方式配置。
光学系统26可包括一个或多个光学传感器36(见图5)。一个或多个光学传感器36可包括：单镜头摄像机(例如，CCD摄像机、CMOS摄像机等)、立体摄像机、高光谱摄像机、多光谱摄像机或任何其它适合的图像传感器。然而，光学系统26可以是任何其它适合的光学系统26。光学系统26可限定一个或多个接收光的工作表面，但替代地，光学系统也可包括任何其它适合的部件。例如，摄像机的工作表面可以是摄像机传感器(例如，CCD传感器、CMOS传感器等)的优选包括规则传感器像素阵列的工作表面。摄像机传感器或其它工作表面优选是大体平坦且矩形的(例如，具有第一传感器边缘、第二传感器边缘和第三和第四传感器边缘，第二传感器边缘与第一传感器边缘相反，第三和第四传感器边缘各自垂直于第一传感器边缘并从第一传感器边缘延伸到第二传感器边缘)，但替代地，摄像机传感器或其它工作表面也可具有任何适合的形状和/或形貌。光学传感器36可产生图像帧。图像帧优选与工作表面的形状对应(例如，矩形、具有彼此相反的第一和第二帧边缘等)，更优选地，光学传感器限定规则的像素位置阵列，每个像素位置与工作表面的传感器像素和/或由光学传感器36采样的图像的像素对应，但替代地，光学传感器也可具有任何适合的形状。图像帧优选限定由光学传感器36采样的图像的各方面(例如，图像尺寸、分辨率、像素大小和/或形状等)。光学传感器36可以可选地包括变焦镜头、数字变焦、鱼眼镜头、滤光器或任何其它适合的主动或被动光学调节器。光学调节的应用可由控制器主动控制、由用户18手动控制(例如，其中用户手动设置调节)、由远程设备14控制或以其它方式控制。在一个变型中，光学系统26可包括封闭光学系统26的其余部件的壳体，其中，壳体安装到本体20。然而，光学系统26可以以其它方式配置。
航空系统12的致动机构28用于使光学系统26可动作地安装到本体20。致动机构28还可用于抑制光学传感器振动(例如，机械稳定所得的图像)、适应航空系统12滚转或实施任何其它适合的功能。致动机构28可以是主动式(例如，由处理系统控制)，被动式(例如，由配重、弹簧元件、磁性元件等的集合控制)或以其它方式控制。致动机构28可使光学系统26相对于本体20关于一条或多条轴线旋转、使光学系统26相对于本体20沿着一条或多条轴线平移或以其它方式致动光学系统26。光学传感器36可沿着第一端、沿着光学传感器背部(例如，与工作表面相反)、通过光学传感器本体或沿着光学传感器36的任何其它适合的部分安装到支撑件。
在一个变型中，致动机构28可包括连接到单个枢转支撑件(例如，万向节)的电机(未示出)，其中，电机基于从控制器接收的指令使支撑件关于旋转轴线34(或万向节轴线)枢转。支撑件优选布置成使旋转轴线大体平行于本体20的侧向轴线，但替代地，支撑件也可布置成使旋转轴线相对于本体20成任何其它适合的取向。支撑件优选布置在由本体20限定的凹腔内，其中，腔进一步包围光学传感器36，但替代地，支撑件也可沿着本体20的外部布置或布置在本体20的任何其它适合的部分处。光学传感器36优选以使工作表面大体平行于旋转轴线的方式(例如，以使侧向轴线或与本体20的侧向轴线平行的轴线与旋转轴线大体平行的方式)安装到支撑件，但替代地，光学传感器也可布置成使工作表面相对于旋转轴线成任何适合的角度地布置。
电机优选是电动机，但替代地也可以是任何其它适合的电机。可使用的电动机的示例包括：DC电机(例如，有刷电机)、EC电机(例如，无刷电机)、感应电机、同步电机、磁电机或任何其它适合的电动机。电机优选安装到本体20(例如，本体内部)、电连接到处理系统22并由之控制、并电连接到电源或电力系统38并由之供电。然而，电机可以以其它方式连接。致动机构28优选包括单个电机支撑组，但替代地也可包括多个电机支撑组，其中，辅助电机支撑组可布置成与第一电机支撑组正交(或成任何其它适合的角度)。
在第二变型中，致动机构28可包括枢转支撑件和以从光学传感器中心偏移的方式连接到光学传感器36的配重的集合，其中，致动机构28被动稳定光学传感器36。
航空系统12的升力机构40用于实现航空系统的飞行。升力机构40优选包括由电机(未示出)驱动的一组推进叶片42，但替代地，升力机构也可包括任何其它适合的推进机构。升力机构40优选安装到本体20并由处理系统22控制，但替代地，升力机构也可以以其它方式安装到航空系统12和/或被控制。航空系统12可包括多个升力机构40。在一个示例中，航空系统12包括四个升力机构40(例如，两对升力机构40)，其中，升力机构40关于航空系统12的周界大体均匀地分布(例如，其中每对的升力机构40横贯本体20彼此相对)。然而，升力机构40可以以其它方式配置。
航空系统12的另外的传感器44用于记录指示航空系统操作、航空系统12周边的周围环境(例如，航空系统12邻近的物理空间)或任何其它适合的参数的信号。传感器44优选安装到本体20并由处理系统22控制，但替代地，传感器也可安装到任何其它适合的部件和/或以其它方式控制。航空系统12可包括一个或多个传感器36、44。可使用的传感器的示例包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如，麦克风)、电压传感器、电流传感器或任何其它适合的传感器。
航空系统12的供电装置38用于为航空系统12的有源部件供电。供电装置38优选安装到本体20，并电连接到航空系统12的所有有源部件(例如直接或间接地)，但也可以以其它方式布置。供电装置38可以是一次电池(primary battery)、二次电池(secondarybattery)(例如，可再充电电池)、燃料电池、俘能器(例如，太阳能、风能等)或任何其它适合的供电装置。可使用的二次电池的示例包括：锂化学成分(例如，锂离子、锂离子聚合物等)、镍化学成分(例如，NiCad、NiMH等)或利用任何其它适合化学成分的电池。
航空系统12并且可以可选地与远程计算系统或与任何其它适合的系统一起使用。航空系统12用于飞行，且还可用于拍摄照片、输运装载物和/或中继无线通信。航空系统12优选是旋翼机(例如，四轴飞行器、直升机、滚翼飞行器(cyclocopter)等)，但替代地也可以是固定翼飞行器、浮空器或任何其它适合的航空系统12。航空系统12可包括升力机构40、供电装置38、传感器36、44、处理系统22、通信系统24、本体20和/或包括任何其它适合的部件。
航空系统12的升力机构40用于提供升力，并优选地包括由一个或多个电机(单独或共同地)驱动的一组转子。每个转子优选配置成关于相应的转子轴线旋转、限定与其转子轴线垂直的对应的转子平面并在其转子平面上扫出扫掠区域。电机优选配置成向转子提供足够的动力以使航空系统能够飞行，并且更加优选地，电机可以以两种或更多种模式操作，所述模式中的至少一种包括为飞行提供充足的动力，并且所述模式中的至少一种包括提供比飞行所需更小的动力(例如，提供零动力，提供最小飞行动力的10％等)。由电机提供的动力优选影响各转子关于它们的转子轴线旋转的角速度。在航空系统飞行期间，转子集合优选配置成协同或单独生成(例如，通过关于它们的转子轴线旋转)由航空系统2生成的总空气动力(可能不包括由本体20比如在以高空速飞行期间所生成的阻力)的大体全部(例如，大于99％、大于95％、大于90％、大于75％)。替代地或另外，航空系统12可包括用于生成用于航空系统飞行的力的任何其它适合的飞行部件，比如喷气发动机、火箭发动机、机翼、太阳帆和/或任何其它适合的生力部件。
在一个变型中，航空系统12包括四个转子，每个转子布置在航空系统本体的角部处。四个转子优选关于航空系统本体大体均匀地分散，并且每个转子平面优选大体平行于(例如，在10度内)航空系统本体的侧向平面(例如，包含纵向轴线和侧向轴线)。转子优选占据整个航空系统12相对大的部分(例如，90％、80％、75％或航空系统空间量的大部分或者航空系统12的任何其它适合比例)。例如，每个转子的直径的平方和可大于航空系统12向系统的主平面(例如，侧向平面)上投射的凸包的阈值量(例如，10％、50％、75％、90％、110％等)。然而，转子可以以其它方式布置。
航空系统12的供电装置38用于为航空系统12的有源部件(例如，升力机构的电机等)供电。供电装置38可安装到本体20并连接到有源部件，或以其它方式布置。供电装置38可以是可再充电电池、二次电池、一次电池、燃料电池或任何其它适合的供电装置。
航空系统12的传感器36、44用于获取指示航空系统的周围环境和/或航空系统的操作的信号。传感器36、44优选安装到本体20，但替代地，传感器也可安装到任何其它适合的部件。传感器36、44优选由供电装置38供电并由处理器控制，但也可连接到任何其它适合的部件并与之交互。传感器36、44可包括一个或多个：摄像机(例如，CCD、CMOS、多光谱、视距、高光谱、立体等)、方位传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、音频传感器(例如，换能器、麦克风等)、气压计、光传感器、温度传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、电压表、触摸传感器(例如，电阻式、电容式等)、接近传感器、力传感器(例如，应变计量仪、称重传感器)、振动传感器、化学传感器、声纳传感器、位置传感器(例如GPS、GNSS、三角测量等)或任何其它适合的传感器。在一个变型中，航空系统12包括：第一摄像机，第一摄像机沿着航空系统本体的第一端安装(例如，静态或可旋转地)成使视场与本体的侧向平面相交；第二摄像机，第二摄像机沿着航空系统本体的底部安装成使视场大体平行于所述侧向平面；以及方位传感器的集合，比如高度计和加速度计。然而，系统可以包括任何适合数目的任何传感器类型。
航空系统12的处理系统22用于控制航空系统的操作。处理系统22可以：实施方法；在飞行期间稳定航空系统12(例如，选择性地操作转子以最小化航空系统在飞行中的摆动)；接收、解译并基于远程控制指令操作航空系统12；或以其它方式控制航空系统的操作。处理系统22优选配置成接收并解译由传感器36、44采样的测量结果，更加优选地，组合由不同传感器采样的测量结果(例如，组合摄像机和加速度计数据)。航空系统12可包括一个或多个处理系统，其中，不同的处理器可实施相同的功能(例如，用作多核系统)，或者不同的处理器可以是专用的。处理系统22可包括一个或多个：处理器(例如，CPU、GPU、微处理器等)、存储器(例如，闪存、RAM等)或任何其它适合的部件。处理系统22优选安装到本体20，但替代地，处理系统也可安装到任何其它适合的部件。处理系统22优选由供电装置38供电，但也可以以其它方式供电。处理系统22优选连接到并控制传感器36、44、通信系统24和升力机构40，但另外或替代地，处理系统也可连接到任何其它适合的部件并与之交互。
航空系统12的通信系统24用于与一个或多个远程计算系统通信。通信系统24可以是远程通信模块、短程通信模块或任何其它适合的通信模块。通信系统24可促成有线和/或无线通信。通信系统24的示例包括802.11x、Wi-Fi、Wi-Max、NFC、RFID、蓝牙、低功耗蓝牙、ZigBee、蜂窝电信装置(例如，2G、3G、4G、LTE等)、无线电收发机(RF)、有线连接装置(例如，USB)或任何其它适合的通信系统24或它们的组合。通信系统24优选由供电装置38供电，但也可以以其它方式供电。通信系统24优选连接到处理系统22，但另外或替代地，通信系统也可连接到任何其它适合的部件并与之交互。
航空系统12的本体20用于支撑航空系统部件。本体还可用于保护航空系统部件。本体20优选大体封装通信系统24、供电装置38和处理系统22，但也可以以其它方式配置。本体20可包括平台、壳体或者具有任何其它适合的配置。在一个变型中，本体20包括容纳通信系统24、供电装置38和处理系统22的本体和平行于转子旋转平面延伸并沿着本体20的第一和第二侧边布置的第一和第二框架(例如，笼)。框架可用作旋转的转子与保持机构(例如，诸如用户的手之类的保持机构)之间的中间部件。框架可沿着本体20的单侧(例如，沿着转子的底部，沿着转子的顶部)延伸、沿着本体20的第一和第二侧(例如，沿着转子的顶部和底部)延伸、封装转子(例如，沿着转子的周侧延伸)或以其它方式配置。框架可静态安装或可致动地安装到本体20。
框架可包括使转子中的一者或多者流体连接到周围环境的一个或多个孔(例如，气流孔)，所述孔可用于使空气和/或其它适合的流体能够在周围环境与转子之间流动(例如，使转子能够生成促使航空系统12遍及周围环境地移动的空气动力)。孔可以是细长的，或者孔可具有可比较的长度和宽度。各孔可大体相同或者也可彼此不同。孔优选足够小以防止保持机构的部件(例如，手的手指)穿过孔。框架在转子附近处的几何通透性(例如，敞露面积与总面积的比)优选足够大以允许航空系统飞行、更加优选地允许高性能的飞行操纵。例如，每个孔可小于阈值尺寸(例如，所有尺寸都小于阈值尺寸、窄于但显著长于阈值尺寸的细长槽等等)。在特定示例中，框架具有80-90％的几何通透性，并且每个孔(例如，圆形、多边形比如正六边形等)限定直径为12-16mm的外接圆。然而，本体可以以其它方式配置。
本体20(和/或任何其它适合的航空系统部件)可以限定可由保持机构(例如，人手、航空系统停靠站、爪等)保持的保持区域。保持区域优选包围一个或多个转子的一部分、更加优选地完全包围所有的转子，从而防止转子与保持机构或航空系统12附近的其它物体之间的任何意外的相互作用。例如，保持区域向航空系统平面(例如，侧向平面、转子平面等)上的投影可与一个或多个转子的扫掠区域向同一航空系统平面上的投影重叠(例如，部分地、完全地、大部分地、至少90％等)。
航空系统12可还包括输入装置(例如，麦克风、摄像机等)、输出装置(例如，显示器、扬声器、发光元件等)或任何其它适合的部件。
远程计算系统用于接收辅助的用户输入，并还可用于自动生成用于航空系统12的控制指令并将控制指令发送到航空系统。每个航空系统12可由一个或多个远程计算系统控制。远程计算系统优选通过客户端(例如，本机应用、浏览器应用等)控制航空系统12，但也可以以其它方式控制航空系统12。远程计算系统可以是用户设备、远程服务器系统、所连接的电器或任何其它适合的系统。用户设备的示例包括平板电脑、智能手机、移动电话、膝上型计算机、手表、可穿戴设备(例如，眼镜)或任何其它适合的用户设备。用户设备可包括电力存储装置(例如，电池)、处理系统(例如，CPU、GPU、内存等)、用户输出装置(例如，显示器、扬声器、振动机构等)、用户输入装置(例如，键盘、触摸屏、麦克风等)、定位系统(例如，GPS系统)、传感器(例如，光学传感器(比如，光传感器和摄像机)、方位传感器(比如，加速度计、陀螺仪和高度计)、音频传感器(比如麦克风)等)、数据通信系统(例如，Wi-Fi模块、BLE、蜂窝模块等)或任何其它适合的部件。
系统10可配置成用于免控制器式用户无人机交互。正常情况下，航空系统或无人机12需要诸如远程设备14之类分开的设备。远程设备14可体现为不同类型的设备，包括但不限于地面站、遥控器或移动设备等等。在一些实施例中，航空系统12的控制可由用户通过用户表达来实现，而无需利用远程设备14。用户表达可包括但不限于由用户实施的、不包括与远程设备4的物理交互的任何动作，包括意念(通过脑电波测量)、面部表情(包括眼动)、姿势和/或语音。在这样的实施例中，用户指令直接经由光学传感器36和至少某些传感器44被接收并由机载处理系统22处理以控制航空系统12。
在一些实施例中，替代地，航空系统12可经由远程设备14控制。
在至少一个实施例中，航空系统12可在与远程设备14无物理交互的情况下被控制，然而，可使用远程设备14的显示器来显示从航空系统12中继的图像和/或视频，这可帮助用户18控制航空系统12。此外，例如当航空系统12离用户18太远时，与远程设备14关联的传感器36、44比如摄像机和/或麦克风(未示出)可将数据中继到航空系统12。从远程设备14中继到航空系统12的传感器数据的使用方式与来自机载传感器36、44的传感器数据的使用方式一样，从而利用用户表达来控制航空系统12。
通过这种方式，可以从开始到完结(1)在不利用远程设备14的情况下或(2)在与远程设备14无物理交互的情况下完全控制航空系统12。航空系统12的控制基于以不同机载传感器36、44接收的用户指令。应注意的是，在以下的论述中，机载传感器36、44的利用可还包括远程设备14上对应或相似传感器的使用。
通常，用户18可利用某些姿势和/或语音控制来控制起飞、降落、航空系统12在飞行期间的运动以及其它特征，比如触发照片捕获和/或视频捕获。如上所述，航空系统12可在不利用或未经远程设备14处理的情况下提供下列特征：
起飞和降落；
所有权人识别；
面部识别；
语音识别；
面部表情和姿势识别；以及，
基于所有权人、面部、表达和姿势识别及语音识别，控制例如航空系统的运动。
如上细述的，航空系统12包括诸如摄像机的光学系统26，光学系统包括一个或多个光学传感器36。至少一个机载摄像机配置成用于实时视频流传输和计算机视觉分析。可选地，航空系统12可具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。可选地，航空系统12可具有用于语音识别和控制的至少一个机载麦克风。
通常，为了提供对航空系统12的完全控制，从航空会话的开始到结束的多项用户/无人机交互或活动被设置。用户/无人机交互包括但不限于起飞和降落、所有权人识别、姿势识别、面部表情识别和语音控制。
参考图6，在本发明的另一方面中，航空系统12可包括障碍物检测与回避系统50。在一个实施例中，障碍物检测与回避系统50包括一对超广角镜头摄像机52A、52B。如将在以下更加全面描述的，一对摄像机52A、52B同轴地配备在机身的中央顶部和中央底部处(见下文)。
方法和/或系统可赋予优于常规系统的若干益处。首先，由摄像机记录的图像在机上以实时或近乎实时的方式被处理。这允许机器人利用由摄像机记录的图像进行导航。
所述对摄像机52A、52B大体安装或静态固定到本体20的壳体。存储器54和视觉处理器56连接到该对摄像机52A、52B。系统用于采样监视区域的图像，以便以实时或近乎实时的方式进行图像处理比如深度分析。另外或替代地，系统可生成3D视频、生成监视区域的地图或实施任何其它适合的功能。
壳体用于使所述对摄像机52A、52B保持呈预定的配置。系统优选包括保持该对摄像机52A、52B的单个壳体，但替代地，系统也可包括多个壳体部件或任何其它适合数目的壳体部件。
所述对摄像机52A、52B可用于采样系统12周边的周围环境的信号。所述对摄像机52A、52B布置成使每个摄像机的相应的视锥与另一个摄像机的视锥重叠(见下文)。
每个摄像机52A、52B可以是CCD摄像机、CMOS摄像机或任何其它适合类型的摄像机。摄像机可对可见光谱、IR光谱或任何其它适合的光谱敏感。摄像机可以是高光谱、多光谱或捕获任何适合的波段子集。摄像机可具有固定焦距、可调焦距或任何其它适合的焦距。然而，摄像机可具有任何其它适合的参数值集合。多个中的摄像机可以是相同或不同的。
每个摄像机优选与相对于基准点(例如，在壳体上、多个中的摄像机、在主机器人上等)已知的位置关联，但也可与估算、计算或未知的位置关联。所述对摄像机52A、52B优选静态安装到壳体(例如，壳体中的通孔)，但替代地，所述对摄像机也可以可致动地(例如，通过接头)安装到壳体。摄像机可安装到壳体的面、边缘、顶点或任何其它适合的壳体特征。摄像机可与所述壳体特征对准、沿着所述壳体特征居中或相对于所述壳体特征以其它方式布置。摄像机可布置成使工作表面与壳体半径或表面切线垂直布置、使工作表面与壳体面平行布置或以其它方式布置。相邻摄像机工作表面可彼此平行、彼此成非零角度、位于同一平面上、相对于基准平面成一定角度或以其它方式布置。相邻摄像机优选具有6.35cm的基线(例如，摄像机之间或轴向的距离、相应镜头之间的距离等)，但也可以分开更远或更靠近在一起。
摄像机52A、52B可连接到同一视觉处理系统和存储器，但也可连接到不同视觉处理系统和/或存储器。摄像机优选以同一时钟采样，但也可连接到不同的时钟(例如，其中时钟可以同步或以其它方式相关)。摄像机优选由同一处理系统控制，但也可由不同处理系统控制。摄像机优选由同一电源(例如，可再充电电池、太阳能电池板阵列等；主机器人电源、单独的电源等)供电，但也可由不同的电源供电或以其它方式供电。
障碍物检测与回避系统50可还包括发射器58，发射器用于照明摄像机52A、52B所监视的物理区域。系统50可包括用于摄像机机52A、52B中的一者或多者的一个发射器58、用于摄像机52A、52B中的一者或多者的多个发射器58或呈任何其它适合的配置的任何适合数目的发射器58。发射器58可发射调制光、结构化光(例如，具有已知的图案)、准直光、漫射光或具有任何其它适合的性质的光。所发射的光可包括可见范围、UV范围、IR范围或任何其它适合的范围内的波长。发射器位置(例如，相对于给定摄像机位置)优选是已知的，但替代地，也可以是估算、计算或其它方式确定的。
在第二变型中，障碍物检测与回避系统50作为非接触式主动3D扫描仪进行操作。非接触系统是飞行时间传感器，所述飞行时间传感器包括摄像机和发射器，其中摄像机记录(由发射器发出的信号)从监视区域中的障碍物的反射，并基于反射信号确定系统50与障碍物之间的距离。摄像机和发射器优选安装在彼此的预定距离(例如，几毫米)内，但也可以以其它方式安装。所发射的光可以是漫射的、结构化的、调制的或具有任何其它适合的参数。在第二变型中，非接触式系统是三角测量系统，所述三角测量系统也包括摄像机和发射器。发射器优选安装在摄像机的阈值距离外(例如，超出摄像机几毫米)并与摄像机工作表面成非平行角度指向(例如，安装到壳体的顶点)，但也可以以其它方式安装。所发射的光可以是准直的、调制的或具有任何其它适合的参数。然而，系统50可限定任何其它适合的非接触式主动系统。然而，所述对摄像机可形成任何其它适合的光学测距系统。
系统50的存储器54用于存储摄像机的测量结果。存储器还可用于存储：设置；地图(例如校准图、像素图)；摄像机位置或索引；发射器位置或索引；或任何其它适合的信息集。系统50可包括一件或多件存储器。存储器优选是非易失性的(例如，闪存、SSD、eMMC等)，但替代地，存储器也可以是易失性的(例如，RAM)。在一个变型中，摄像机52A、52B写入同一缓冲器，其中每个摄像机被分配了缓冲器的不同部分。在第二变型中，摄像机52A、52B写入相同或不同存储器中的不同缓冲器。然而，摄像机52A、52B可以写入任何其它适合的存储器。存储器54优选可被系统的所有处理系统(例如，视觉处理器、应用处理器)访问，但替代地，存储器也可被处理系统的子集(例如，单个视觉处理器等)访问。
系统50的视觉处理系统56用于确定物理点距系统的距离。视觉处理系统56优选根据像素子集来确定每个像素的像素深度，但另外或替代地也可确定对象深度或确定物理点或其集合(例如，对象)的任何其它适合的参数。视觉处理系统56优选处理来自摄像机52A、52B的传感器流(sensor stream)。
视觉处理系统56可以以预定的频率(例如，30FPS)处理每个传感器流，但也可以以可变频率或以任何其它适合的频率处理传感器流。预定的频率可从应用处理系统60接收、从存储装置检索、基于摄像机评分或分类(例如，前部、侧部、后部等)自动确定、基于可用计算资源(例如，可用核芯、剩余电池电量等)确定或以其它方式确定。在一个变型中，视觉处理系统56以相同频率处理多个传感器流。在第二变型中，视觉处理系统56以不同频率处理多个传感器流，其中，所述频率基于分配给每个传感器流(和/或源摄像机)的分类来确定，其中，所述分类基于源摄像机相对于主机器人的行进矢量的方位来分配。
系统50的应用处理系统60用于确定用于传感器流的分时复用参数。另外或替代地，应用处理系统60可利用传感器流来实施对象检测、分类、追踪(例如，光流)或任何其它适合的处理。另外或替代地，应用处理系统60可基于传感器流(例如，基于视觉处理器输出)来生成控制指令。例如，可利用传感器流来实施导航(例如，利用SLAM、RRT等)或视觉测距处理，其中，系统和/或主机器人基于导航输出被控制。
另外或替代地，应用处理系统60可接收控制命令并基于命令操作系统12和/或主机器人。另外或替代地，应用处理系统60还可接收外部传感器信息并基于命令选择性地操作系统和/或主机器人。另外或替代地，应用处理系统60还可基于传感器测量结果(例如，利用传感器融合)来确定机器人系统运动学(例如，位置、方向、速度和加速度)。在一个示例中，应用处理系统60可使用来自加速度计和陀螺仪的测量结果，以确定系统和/或主机器人的遍历(traversal)矢量(例如，系统行进方向)。应用处理系统60可以可选地基于机器人系统运动学来自动地生成控制指令。例如，应用处理系统60可基于来自摄像机52A、52B的图像而确定系统(在物理体积中)的位置，其中，相对位置(来自方位传感器)以及实际的位置和速度(根据图像确定)可馈给到飞行控制模块中。在该示例中，来自面向下的摄像机子集的图像可用于确定系统的平移(例如，利用光流)，其中，系统的平移可进一步馈给到飞行控制模块中。在特定示例中，飞行控制模块可合成这些信号，以维持机器人的位置(例如，使无人机悬停)。
应用处理系统60可包括一个或多个应用处理器。应用处理器可以是CPU、GPU、微处理器或任何其它适合的处理系统。应用处理系统60可实现为视觉处理系统56的一部分或与视觉处理系统分离，或者应用处理系统可有别于视觉处理系统56。应用处理系统60可通过一个或多个接口桥接器连接到视觉处理系统56。接口桥接器可以是高吞吐量和/或带宽的连接装置，并可使用MIPI协议(例如，2输入转1输出摄像机聚合器桥接器——扩展可以连接到视觉处理器的摄像机数目)、LVDS协议、DisplayPort协议、HDMI协议或任何其它适合的协议。替代地或另外地，接口桥接器也可以是低吞吐量和/或带宽的连接装置，并可使用SPI协议、UART协议、I2C协议、SDIO协议或任何其它适合的协议。
系统可以可选地包括图像信号处理单元(ISP)62，图像信号处理单元用于预处理在传递给视觉处理系统和/或应用处理系统之前的摄像机信号(例如，图像)。ISP 62可处理来自所有摄像机的信号、来自摄像机子集的信号或(来自)任何其它适合的源的信号。ISP62可以自动白平衡、校正场阴影、校正镜头畸变(例如，去变形)、裁剪、选择像素子集、应用Bayer变换、去马赛克、应用降噪、锐化图像或以其它方式处理摄像机信号。例如，ISP 62可以从相应流的图像中选择与两个摄像机之间的重叠物理区域关联的像素(例如，将每张图像裁剪成仅包括与立体摄像机对的摄像机之间共享的重叠区域关联的像素)。ISP 62可以是位于具有多核处理器架构的芯片上的系统，可以是ASIC，可以具有ARM架构，可以是视觉处理系统的一部分，可以是应用处理系统的一部分，或者可以是任何其它适合的处理系统。
系统可以可选地包括传感器64，所述传感器用于采样指示系统操作的信号。传感器输出可用于确定系统运动学、处理图像(例如，用于图像稳定)或以其它方式被使用。传感器64可以是视觉处理系统56的外围设备、应用处理系统60的外围设备或任何其它适合的处理系统的外围设备。传感器64优选静态安装到壳体，但替代地也可安装到主机器人或任何其它适合的系统。传感器64可包括：方位传感器(例如，IMU、陀螺仪、加速度计、高度计、磁力计)、声学传感器(例如，麦克风、换能器)、光学传感器(例如，摄像机、环境光传感器)、触摸传感器(例如，力传感器、电容式触摸传感器、电阻式触摸传感器)、位置传感器(例如GPS系统、信标系统、三边测量系统)或任何其它适合的传感器集合。
系统可以可选地包括输入装置(例如，键盘、触摸屏、麦克风等)、输出装置(例如，扬声器、灯、屏幕、振动机构等)、通信系统(例如，WiFi模块、BLE、蜂窝模块等)、电力存储装置(例如，电池)或任何其它适合的部件。
系统优选与用于在物理空间内来回移动的主机器人一起使用。另外或替代地，主机器人还可接收远程控制指令并根据远程控制指令进行操作。主机器人还可生成远程内容或实施任何其它适合的功能。主机器人可包括一个或多个：通信模块、原动机构、传感器、内容生成机构、处理系统、重置机构或任何其它适合的部件集合。主机器人可以是无人机、交通工具、机器人、安保摄像机或任何其它适合的可远程控制的系统。原动机构可包括动力传动系统、转子、喷射器、胎面、旋转接头或任何其它适合的原动机构。应用处理系统优选是主机器人处理系统，但替代地也可连接到主机器人处理系统或以其它方式相关。在特定示例中，主机器人包括具有WiFi模块、摄像机和应用处理系统的航空系统(例如，无人机)。系统可安装到主机器人的顶部(例如，根据常规操作期间的重力矢量来确定)、主机器人的底部、主机器人的前部、在主机器人内居中或以其它方式安装到主机器人。系统可与主机器人一体形成、可移除地联接到主机器人或以其它方式附连到主机器人。一个或多个系统可与一个或多个主机器人一起使用。
在本发明的另一方面中，可利用(子)系统和方法70来为航空系统12提供自主摄影和/或摄像。自主摄影和/或摄像系统70可至少部分地由处理系统22、光学系统26、致动系统28和升力机构32实现。
如将在以下更加详细论述的，自主摄影和/或摄像系统70配置成：确立期望的飞行轨线，检测目标，以及控制航空系统12相对于目标利用升力机构、根据期望的飞行轨线的飞行。自主摄影和/或摄像系统70还配置成控制摄像机以捕获图片和/或视频。
另外，自主摄影和/或摄像系统70会可操作来(1)在用户与任何设备之间没有任何交互的情况下，自动修改关于图片中的目标的摄像机角度和飞行轨线；(2)在用户与任何设备之间没有任何交互的情况下，自动拍摄照片或录制视频；以及(3)从原始照片/视频素材中自动选择照片和/或视频剪辑的良好候选对象，以供进一步的用户编辑或自动编辑程序使用。
参考图7，在一个实施例中，自主摄影和/或摄像系统70包括自动检测与追踪模块72、自动拍摄模块74、自动选择模块76和自动编辑与分享模块70。如上所述，模块72、74、76、78可以部分地由软件实现的视觉算法与硬件(例如，处理系统22)的组合来实现。从用户的角度来看，模块72、74，76、78会提供完全自主的体验。替代地，模块72、74、76、78中的一者或多者也可用于提供允许用户利用航空系统12更容易地拍摄图片或视频(小于完全自主)的模式。
在航空系统12升空之后，自动检测与追踪模块72开启目标检测过程。目标检测过程将检测诸如人或其它的物品或物体之类的目标(见上文)。
在检测/定位到目标之后，自动检测与追踪模块72利用致动系统28来修改光学系统26的光学传感器或摄像机36之一的角度，并基于所选的飞行轨线修改航空系统12的飞行轨线。
光学传感器36充当用于自动检测与追踪模块72的视觉传感器。自动检测与追踪模块72可利用：目标检测与追踪算法，以从光学系统26的视频传送中检测并定位目标；和自定位融合算法，以整合来自不同传感器44的定位数据。通过将来自定位传感器融合算法和来自目标检测与追踪算法的信息进行组合，可获得目标相对于航空系统12的相对位置和速度。
在一个实施例中，目标检测与追踪算法可包括下列技术中的一种或多种：
(a)基于追踪器的技术：TLD追踪器、KCF追踪器、Struck追踪器、基于CNN的追踪器等。
(b)基于检测器的技术：像Haar+Adaboost之类的面部检测算法、像EigenFace之类的面部识别算法、像HOG+SVM或DPM之类的人体检测算法、基于CNN的对象检测方法等。
另外的传感器可附连到目标，用于甚至更加可靠的性能。例如，在附连到目标的追踪器设备中可包括GPS传感器和惯性测量单元(IMU)。然后，可经由诸如Wi-Fi或蓝牙之类的无线方法将传感器的信息传输到主航空系统12。同步的传感器信息可用作附加的补充观测数据，以更好地辅助基于视觉的目标检测与追踪算法。可以以基于过滤器的方式(比如，将数据转储到EKF系统中)使用数据，也可以以补充的方式(比如，将之用作先验信息，以提供基于视觉追踪器的更好的追踪精度)使用数据。
在一个实施例中，自定位融合算法可包括开展传感器滤波和加速度计、陀螺仪、磁力计、气压计、光流传感器、GPS、接近传感器、声纳/雷达、基于TOF的测距仪等的融合的扩展卡尔曼滤波器(EKF)；
相同或附加的视觉传感器提供视觉里程功能。视觉传感器优选具有相对于航空系统的本体的已知且固定的相对造型。还可设置可移动的视觉传感器(只要可以准确地监视并即时地更新其相对于本体的相对造型)。额外的惯性传感器测量是优选的，但不是必需的。如果没有来自惯性测量单元(IMU)的同步读数，则可应用诸如视觉SLAM和SVO等技术。如果使用附加的IMU信息，则可应用VTO和VTN。
在确立了(1)通过利用自定位传感器融合技术(得到)的航空系统自定位信息、(2)万向节角度和(3)来自视觉传感器的2D目标位置之后，可获得目标的绝对位置及速度的在线估算以及目标相对于航空系统的位置和速度。
然后，系统可应用适当的控制策略，以按照设计的轨线飞行、同时在这期间瞄准目标。可应用几种不同的控制策略：
(a)航空系统12可只是简单地从后方、保持固定距离地跟随目标(无限期地或持续有限量的时间)；
(b)航空系统12可以在瞄准目标、保持固定距离的同时在前方引导目标(无限期地或持续有限量的时间)；
(c)航空系统12可以以恒定/变化的速度成固定距离地绕目标盘旋(无限期地或持续有限量的时间)；
(d)航空系统12可以在有限量的时间内以恒定/变化的速度向更靠近或更远离某个摄像机瞄准角度移动；
(e)航空系统12可以在光学系统26瞄准目标的同时在有限量的时间内以恒定/变化的速度沿(世界坐标中或目标坐标中的)特定方向移动；
(f)航空系统12可以固定某些个自由度并仅使用其DOF中的某些来追踪和瞄准目标，例如，航空系统可以停留在空中某个3D位置处，并仅通过控制航空系统本身的偏航角度和航空系统摄像机万向节的轴线来追踪和瞄准目标；
(g)可由专业摄影师实施一段轨线和/或一系列控制命令，并且所述一段轨线和/或一系列控制命令可记录为预限定轨线的候选对象。可保存每个时间戳时的数据比如摄像机角度、目标相对于航空系统的相对距离和速度，目标在场景中的位置、航空系统的绝对位置和速度等，然后可应用在线的轨线规划算法来生成控制命令以复制相同的轨线；
(h)按照一定顺序(按照预限定的顺序或按照伪随机顺序)的任何上述控制策略(或依据相同原理的其它控制策略)的组合。
在一个实施例中，可向用户呈现这些策略中的一者或多者，并且根据期望的飞行轨线选择这些策略中的一者或多者。
在目标被辨识之后，自动拍摄模块74将控制光学系统26以自动开始获取图片和/或视频，即“自动拍摄”。在自动拍摄时，航空系统12或无人机将根据设计的飞行轨线飞行，伴随地，摄像机角度自动变化以维持目标位于图片和/或视频内。自动拍摄可基于若干种机制：自动光照条件优化、面部移动分析、表达分析、行为分析、造型分析、状况分析、组成分析和对象分析。从视频拍摄的角度来看，航空系统12或无人机也可以在大范围内自动移动，既可高亦可低、既可近亦可远、既可升起亦可向右、既可在前和在后亦可在侧面，以使视频更加生动。指定的飞行轨线可基于预定的参数和/或基于传感器输入的变化状况而动态地确定。换言之，无人机或航空系统12可以以与专业摄影师相似的方式遍历轨线，以模拟或仿真摄像机的操作。替代地，用户可从预先设计的路线或预限定的路线的集合中选择一条或多条轨线。
此外，在本发明的另一方面中，自动拍摄模块74具有一种或多种模式。例如，在一个实施例中，自动拍摄模块74可具有下列模式之一：
模式1：拍摄一系列快照；
模式2：拍摄连续视频；或者，
模式3：拍摄连续视频、同时拍摄一系列快照。
模式可由用户选择和/或与所选的飞行轨线关联(见下文)。
自动选择模块76基于预定的参数集合从所获得(或捕获)的图片和/视频中选择图片和/或视频(片段)。所选图片和/或视频可保留和/或存储，或替代地也可标记为“已选”。预定的参数集合可包括但不限于：模糊程度、曝光和/或构图。例如，模糊检测器可利用Gaussian滤波器的拉普拉斯算子、或利用Laplacian滤波器或其它适合的滤波器的方差。
振动检测器的一个示例可以：使用惯性测量单元或IMU(加速度计、陀螺仪等)数据；针对给定的数据段，挑选移动窗口时间间隔；计算该移动窗口内的方差/标准差；以及将所述方差/标准差与预限定的阈值进行比较。
低频振动滤波器(即视频稳定滤波器)可通过检查主目标在视图中的2D轨线或通过检查传感器所检测的摄像机角度迹线被实现。稳定的视频可以更好地将目标保持在视野中和/或保持更加稳定的摄像机角度。
针对图片，基于预定参数来选择和/或不选择图片。针对视频，可基于预定参数来选择和/或不选择视频片段。替代地，自动选择模块76可基于预定参数从给定的视频片段中选择子片段，并根据预定参数裁剪(并保存)子片段。
在本发明的一方面中，可实施自动选择模块76。该模块可在无人机或智能手机上工作。自动选择模块能够从较长的原始视频素材中自动选择照片或截短的视频剪辑(例如，3秒/6秒/10秒的视频片段)。以下是用于评价一段镜头/视频片段的规则：模糊程度、视频稳定性、曝光、构图等。技术点如下：
曝光过度/曝光不足检测器：计算感兴趣区域处的曝光值，并检查所述值是否低于下阈值—曝光不足/高于上阈值—曝光过度。
构图：可对于每个照片和视频剪辑候选对象实施目标对象检测或检索所记录的目标对象检测结果。然后可分析结果，以确定照片构图是“好”或“可接受”，换言之，目标是否在照片/视频帧中的良好位置处。直截了当的规则可以是，如果检测到的目标的边界框的中心不在视图的某些优选区域内，则将之视为不良候选对象。还可应用利用深度学习的更复杂的方法来检查其是否是好的照片构图，比如：收集并分析多张好的或可接受的照片和多张坏的或不可接受的照片。将收集的照片用于训练神经网络以学习规则。最后，可将经过训练的网络部署在设备(无人机或电话)上，以帮助选择好的或可接受的照片。
自动编辑与分享模块78基于预定的编辑参数集合来修改(即，编辑)所选的图片和/或所选的视频(片段或子片段)。参数可由用户例如利用模板进行修改。在本发明的另一方面中，自动编辑与分享模块与其他用户、设备、社交网络或媒体共享服务分享所选和/或所编辑的图片和/或视频片段。在本发明的仍另一方面中，自动编辑与分享模块78允许用户手动编辑图片和/或视频。
参考图8，根据本发明的实施例的用于操作航空系统12的方法M10被示出。在第一步骤S1中，确立期望的飞行轨线。大体，飞行轨线可由用户从预限定的飞行轨线的集合中选择(见上文)。在第二步骤S2中，检测目标。控制无人机相对于目标的飞行(步骤S3)，并根据期望的飞行轨线调节光学系统26的摄像机角度(步骤S4)，例如，以使目标保持位于帧中、位于帧中的期望位置中和/或沿着帧内的一定路径。
在第五步骤S5中，当无人机关于期望的飞行轨线被控制时，自动捕获图片和/或视频。
在第六步骤S6中，完成飞行轨线，然后方法M10结束。否则，控制返回到第三和第五步骤。
尽管出于简洁被省略，然而优选实施例包括不同系统部件和不同方法过程的每种组合和排列，其中，方法过程可以以任何合适的顺序按顺序地或同时实施。
如本领域技术人员将从先前的详细描述以及从附图和权利要求书中认识到的，在不偏离所附权利要求书中限定的本发明的范围的条件下，可对本发明的优选实施例进行修改和变化。

Claims (22)

1.一种航空系统，包括：
本体；
联接到本体的升力机构；
包括安装到本体的光学传感器的光学系统，所述光学传感器通过致动系统能够相对于本体移动；
联接到本体的惯性测量单元(IMU)；以及
联接到升力机构、光学系统、IMU和致动系统的处理系统，所述处理系统包括处理器，所述处理器配置成：
确立期望的飞行轨线；检测目标；
确立目标相对于航空系统的位置和速度；
控制致动系统，以自动调节光学传感器相对于本体的角度，从而在航空系统的飞行期间维持目标处于光学传感器的视场内；
控制光学系统，以捕获图片和/或视频；
从IMU检索对于与每个捕获的图片和/或视频关联的每个时间段的振动测量结果；
选择移动窗口时间间隔，并计算在移动窗口时间间隔内的振动方差/标准偏差；以及
通过将计算的振动方差/标准偏差与预限定的阈值进行比较，自动地选择图片和/或视频。
2.如权利要求1所述的航空系统，所述系统还包括一个或多个位置传感器，其中，所述处理系统配置成整合来自所述位置传感器的定位数据以确立航空系统的位置，所述处理系统还包括自动检测与追踪模块，所述自动检测与追踪模块配置成：
从接收自光学系统的视频传送中检测并定位目标；以及
响应性地确立目标相对于航空系统的位置和速度。
3.如权利要求2所述的航空系统，其中，所述目标是人，并且所述自动检测与追踪模块利用面部识别来检测和追踪目标。
4.如权利要求2所述的航空系统，还包括与目标关联的另外的传感器，所述另外的传感器配置成确立与目标关联的位置数据并将所述位置数据通信传送至处理系统。
5.如权利要求1所述的航空系统，其中，所述期望的飞行轨线来自于可行的飞行轨线的列表。
6.如权利要求5所述的航空系统，其中，所述期望的飞行轨线由用户从所述可行的飞行轨线的列表中选择。
7.如权利要求5所述的航空系统，其中，所述处理系统从所述可行的飞行轨线的列表中选择期望的飞行轨线。
8.如权利要求5所述的航空系统，其中，所述可行的飞行轨线的列表包括以下中的一项或多项：
(a)其中航空系统无限期地或在有限量的时间内从后方以固定的距离跟随目标的轨线；
(b)其中航空系统能够无限期地或在有限量的时间内在瞄准目标、保持固定距离的同时在前方引导目标的轨线；
(c)其中航空系统无限期地或在有限量的时间内以恒定或变化的速度成固定距离地绕目标盘旋的轨线；
(d)其中航空系统在有限量的时间内以恒定/变化的速度向更靠近或更远离摄像机瞄准角度移动的轨线；
(e)其中航空系统在光学系统瞄准目标的同时在有限量的时间内以恒定/变化的速度在世界坐标或目标坐标中的特定方向上移动的轨线；
(f)其中与航空系统关联的一个或多个自由度保持恒定并且其它自由度用于追踪目标的轨线；
(g)用户预先记录的轨线；以及，
(h)包括以预限定或伪随机顺序的任何上述轨线的轨线。
9.如权利要求1所述的航空系统，其中，所述处理系统包括自动选择模块，所述自动选择模块配置成利用低频振动滤波器自动地选择图片和/或视频和/或截短的视频剪辑。
10.如权利要求9所述的航空系统，其中，所述自动选择模块基于曝光过度/曝光不足和/或构图自动地选择图片和/或视频和/或截短的视频剪辑。
11.如权利要求10所述的航空系统，其中，所述处理系统包括自动编辑模块，所述自动编辑模块配置成基于预定的编辑参数来编辑所选的图片、视频和/或视频剪辑。
12.一种用于操作航空系统的方法，所述航空系统包括本体、升力机构、光学系统和本体，所述光学系统包括光学传感器、惯性测量单元(IMU)和处理系统，所述光学传感器安装到本体并通过致动系统能够相对于本体移动，方法包括下列步骤：
由处理系统确立期望的飞行轨线；
检测目标；
由处理系统确立目标相对于航空系统的位置和速度；
由处理系统控制致动系统，以自动调节光学传感器相对于本体的角度，从而在航空系统的飞行期间维持目标处于光学传感器的视场内；
由处理系统控制光学系统，以捕获图片和/或视频；
从IMU检索对于与每个捕获的图片和/或视频关联的每个时间段的振动测量结果；
选择移动窗口时间间隔，并计算在移动窗口时间间隔内的振动方差/标准偏差；以及
通过将计算的振动方差/标准偏差与预限定的阈值进行比较，自动地选择图片和/或视频。
13.如权利要求12所述的方法系统，包括下列步骤：
整合来自位置传感器的定位数据，以确立航空系统的位置；
从接收自光学系统的视频传送中检测并定位目标；以及，
响应性地确立目标相对于航空系统的位置和速度。
14.如权利要求13所述的方法，其中，所述目标是人，并且检测和追踪目标的步骤利用面部识别。
15.如权利要求13所述的方法，还包括如下步骤：利用与目标关联的另外的传感器来确立与目标关联的位置数据，并将所述位置数据通信传送至航空系统。
16.如权利要求12所述的方法航空系统，其中，所述期望的飞行轨线来自于可行的飞行轨线的列表。
17.如权利要求16所述的方法，其中，所述期望的飞行轨线由用户从所述可行的飞行轨线的列表中选择。
18.如权利要求16所述的方法，其中，所述航空系统从所述可行的飞行轨线的列表中自动选择期望的飞行轨线。
19.如权利要求16所述的方法，其中，所述可行的飞行轨线的列表包括以下中的一项或多项：
(a)其中航空系统无限期地或在有限量的时间内从后方以固定的距离跟随目标的轨线；
(b)其中航空系统能够无限期地或在有限量的时间内在瞄准目标、保持固定距离的同时在前方引导目标的轨线；
(c)其中航空系统无限期地或在有限量的时间内以恒定或变化的速度成固定距离地绕目标盘旋的轨线；
(d)其中航空系统在有限量的时间内以恒定/变化的速度向更靠近或更远离摄像机瞄准角度移动的轨线；
(e)其中航空系统在光学系统瞄准目标的同时在有限量的时间内以恒定/变化的速度在世界坐标或目标坐标中的特定方向上移动的轨线；
(f)其中与航空系统关联的一个或多个自由度保持恒定并且其它自由度用于追踪目标的轨线；
(g)用户预先记录的轨线；以及，
(h)包括以预限定或伪随机顺序的任何上述轨线的轨线。
20.如权利要求12所述的方法，包括利用低频振动滤波器自动地选择图片和/或视频和/或截短的视频剪辑的步骤。
21.如权利要求20所述的方法，其中，自动地选择图片和/或视频和/或截短的视频剪辑的步骤包括：基于曝光过度/曝光不足和/或构图，自动地选择图片和/或视频和/或截短的视频剪辑。
22.如权利要求21所述的方法，包括如下步骤：基于预定的编辑参数，自动地编辑所选的图片、视频和/或视频剪辑。
CN201780089309.4A 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法 Active CN110494360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011336631.2A CN112462802A (zh) 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762479766P 2017-03-31 2017-03-31
US62/479,766 2017-03-31
US15/637,954 US10375289B2 (en) 2017-03-31 2017-06-29 System and method for providing autonomous photography and videography
US15/637,954 2017-06-29
PCT/IB2017/057466 WO2018178756A1 (en) 2017-03-31 2017-11-28 System and method for providing autonomous photography and videography

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011336631.2A Division CN112462802A (zh) 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法

Publications (2)

Publication Number Publication Date
CN110494360A CN110494360A (zh) 2019-11-22
CN110494360B true CN110494360B (zh) 2020-10-30

Family

ID=63670220

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780089309.4A Active CN110494360B (zh) 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法
CN202011336631.2A Pending CN112462802A (zh) 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011336631.2A Pending CN112462802A (zh) 2017-03-31 2017-11-28 用于提供自主摄影及摄像的系统和方法

Country Status (3)

Country Link
US (3) US10375289B2 (zh)
CN (2) CN110494360B (zh)
WO (1) WO2018178756A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
JP6826010B2 (ja) * 2017-08-09 2021-02-03 株式会社東芝 カメラ運動推定装置、カメラ運動推定方法及びプログラム
WO2019029551A1 (en) * 2017-08-10 2019-02-14 Hangzhou Zero Zero Technology Co., Ltd. SYSTEM AND METHOD FOR AVOIDING OBSTACLES IN AIR SYSTEMS
US20190187721A1 (en) * 2017-12-15 2019-06-20 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
CN110621577A (zh) * 2018-03-23 2019-12-27 深圳市大疆创新科技有限公司 负载设备控制方法、转接装置、无人机、及控制终端
EP3884352B8 (en) * 2018-11-21 2023-12-13 Eagle View Technologies, Inc. Navigating unmanned aircraft using pitch
CN109743553A (zh) * 2019-01-26 2019-05-10 温州大学 一种基于深度学习模型的隐藏图像检测方法及系统
US11479357B1 (en) * 2019-03-15 2022-10-25 Alarm.Com Incorporated Perspective angle acquisition and adjustment of security camera drone
US20220309698A1 (en) * 2019-07-08 2022-09-29 Sony Group Corporation Information processing device, information processing method, program, and camera module
US11532155B1 (en) * 2019-07-09 2022-12-20 ACME Atronomatic, LLC Methods and devices for earth remote sensing using stereoscopic hyperspectral imaging in the visible (VIS) and infrared (IR) bands
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN111294514A (zh) * 2020-02-11 2020-06-16 天津大学 一种用于图像深度学习的数据集采集系统
USD943457S1 (en) * 2020-03-16 2022-02-15 Zero Zero Robotics Inc. Unmanned aerial vehicle
USD944117S1 (en) * 2020-03-16 2022-02-22 Zero Zero Robotics Inc. Unmanned aerial vehicle
USD938860S1 (en) * 2020-05-22 2021-12-21 Liying Bao Unmanned aerial vehicle
JP1672470S (zh) * 2020-06-26 2020-11-16
USD985425S1 (en) * 2020-07-24 2023-05-09 Sang Hyun Lee Drone
US11727719B2 (en) * 2020-08-28 2023-08-15 Stmicroelectronics, Inc. System and method for detecting human presence based on depth sensing and inertial measurement
CN112097744B (zh) * 2020-09-16 2022-08-30 上海遥程信息科技有限公司 一种竖立面的图像扫描方法、装置、设备和存储介质
CN112327889B (zh) * 2020-09-27 2023-08-22 浙江大丰实业股份有限公司 一种可自主运行的舞台用无人机及控制系统
CN112783204B (zh) * 2020-12-29 2023-05-23 中国航空工业集团公司西安飞机设计研究所 一种四旋翼无人机地面机动目标实时跟踪系统及方法
WO2022141369A1 (en) * 2020-12-31 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for supporting automatic video capture and video editing
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101762277A (zh) * 2010-02-01 2010-06-30 北京理工大学 基于路标导航的六自由度位置姿态确定方法
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103188431A (zh) * 2011-12-27 2013-07-03 鸿富锦精密工业（深圳）有限公司 控制无人飞行载具进行影像采集的系统及方法
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
US8446457B2 (en) * 2009-11-30 2013-05-21 Daniel Theobald System for providing camera views
FR2957690A1 (fr) * 2010-03-18 2011-09-23 Flyway Media Systeme et procede destines a capturer une sequence video portant sur un sujet cible en mouvement a partir notamment d'un aeronef autonome ou semi autonome.
US20120195573A1 (en) * 2011-01-28 2012-08-02 Apple Inc. Video Defect Replacement
US9930298B2 (en) 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
EP2538298A1 (en) * 2011-06-22 2012-12-26 Sensefly Sàrl Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US9704230B2 (en) * 2011-09-30 2017-07-11 Layar B.V. Feedback to user for indicating augmentability of an image
US9536290B2 (en) * 2012-06-10 2017-01-03 Apple Inc. Tempered auto-adjusting, image-editing operation
US20150350614A1 (en) 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
CN104777847A (zh) * 2014-01-13 2015-07-15 中南大学 基于机器视觉和超宽带定位技术的无人机目标追踪系统
CN103853156B (zh) * 2014-02-07 2016-06-01 中山大学 一种基于机载传感器的小型四旋翼飞行器控制系统及方法
US20170251169A1 (en) * 2014-06-03 2017-08-31 Gopro, Inc. Apparatus and methods for context based video data compression
US10762571B2 (en) * 2014-09-02 2020-09-01 Metropolitan Life Insurance Co. Use of drones to assist with insurance, financial and underwriting related activities
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US9449230B2 (en) * 2014-11-26 2016-09-20 Zepp Labs, Inc. Fast object tracking framework for sports video recognition
US9896202B2 (en) * 2014-12-03 2018-02-20 X Development Llc Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
US11768508B2 (en) * 2015-02-13 2023-09-26 Skydio, Inc. Unmanned aerial vehicle sensor activation and correlation system
JP2016162600A (ja) 2015-03-02 2016-09-05 パナソニックＩｐマネジメント株式会社 点灯装置およびそれを用いた照明装置
CN104828256B (zh) 2015-04-21 2016-09-28 杨珊珊 一种智能多模式飞行拍摄设备及其飞行控制方法
US10694155B2 (en) * 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
KR101645722B1 (ko) * 2015-08-19 2016-08-05 아이디어주식회사 자동추적 기능을 갖는 무인항공기 및 그 제어방법
KR20170115350A (ko) * 2016-04-07 2017-10-17 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20170130952A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105939463A (zh) 2016-06-16 2016-09-14 四川建筑职业技术学院 一种基于gps定位的航拍无人机影像追踪系统
CN106027896A (zh) * 2016-06-20 2016-10-12 零度智控（北京）智能科技有限公司 视频拍摄控制装置、方法及无人机
CN105979147A (zh) 2016-06-22 2016-09-28 上海顺砾智能科技有限公司 一种无人机智能拍摄方法
US10178315B1 (en) * 2016-06-29 2019-01-08 Amazon Technologies, Inc. Image capture in a vibrational environment
FR3054334A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees comprenant un drone et une station au sol, et procede associe.
CN107087427B (zh) 2016-11-30 2019-06-07 深圳市大疆创新科技有限公司 飞行器的控制方法、装置和设备以及飞行器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101762277A (zh) * 2010-02-01 2010-06-30 北京理工大学 基于路标导航的六自由度位置姿态确定方法
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103188431A (zh) * 2011-12-27 2013-07-03 鸿富锦精密工业（深圳）有限公司 控制无人飞行载具进行影像采集的系统及方法
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技（深圳）有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法

Also Published As

Publication number Publication date
US10979615B2 (en) 2021-04-13
US20210227122A1 (en) 2021-07-22
US10375289B2 (en) 2019-08-06
US11649052B2 (en) 2023-05-16
WO2018178756A1 (en) 2018-10-04
US20190335084A1 (en) 2019-10-31
CN112462802A (zh) 2021-03-09
CN110494360A (zh) 2019-11-22
US20180288303A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US11460844B2 (en) Unmanned aerial image capture platform
CN110687902B (zh) 用于免控制器式用户无人机交互的系统和方法
US20200007746A1 (en) Systems, methods, and devices for setting camera parameters
EP3420428B1 (en) Systems and methods for visual target tracking
CN110733624B (zh) 无人驾驶飞行系统和用于无人驾驶飞行系统的控制系统
US20210133996A1 (en) Techniques for motion-based automatic image capture
CN111596649B (zh) 用于空中系统的单手远程控制设备
WO2018134796A1 (en) System and method for omni-directional obstacle avoidance in aerial systems
WO2019155335A1 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
CN110615095A (zh) 手持遥控装置和飞行系统套件
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 311121 Room 401, 4th floor, building 2, Wudi center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd.

Address before: 310000 building 13, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd.