CN106973221B

CN106973221B - 基于美学评价的无人机摄像方法和系统

Info

Publication number: CN106973221B
Application number: CN201710103042.1A
Authority: CN
Inventors: 熊晓亮; 冯洁; 周秉锋
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2017-02-24
Filing date: 2017-02-24
Publication date: 2020-06-16
Anticipated expiration: 2037-02-24
Also published as: CN106973221A

Abstract

本发明的目的是提供一种基于美学评价的无人机摄像方法和系统，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

Description

基于美学评价的无人机摄像方法和系统

技术领域

本发明涉及无人机摄像领域，尤其是涉及基于美学评价的无人机摄像方法和系统。

背景技术

近年来，随着民用无人驾驶飞行器（以下简称无人机）技术的兴起，各种类型的无人机已经被广泛应用于航拍、运动跟拍、目标跟踪等领域。为了便于飞行控制，大多数无人机都采用多旋翼的结构。通过控制不同旋翼的转速来调节无人机飞行的方向、速度和姿态。控制终端（例如控制面板、智能手机、平板设备等）通过无线网络与无人机连接和通信，用户通过操作控制终端来控制无人机的飞行。无人机通常具有机载摄像机，以便拍摄图像或视频。拍摄的图像或视频可以被传送到控制终端并且在控制终端的显示装置上进行显示。用户能够根据显示的图像或视频来进一步控制无人机的飞行。

在对无人机的人工控制基础上，很多研究也关注于对无人机的自动控制。所涉及到的领域包括自动避障和自主导航。在自动避障方面，很多技术采用附加硬件（如红外测距仪、声呐、超声波）来测量飞机与障碍物的距离从而躲避障碍物。此类技术适用于结构化的室内场景，而对于室外场景则很难测量到与障碍物的准确距离，并且支持此类技术的设备耗电量巨大，可能给无人机增加额外的供电负担。另一类技术采用了基于视觉信息的方法来避障，通过实时分析无人机视频信号，基于事先采集好的场景信息利用图像分类或者相似性计算来进行定位从而避开障碍物。这类技术依赖于预先采集场景信息，因此难以应用于随机场景或实时场景。另外，基于深度摄像机的方法涉及三维重建等大量计算，将耗费巨大的计算资源和时间，因此难以用于无人机实时飞行控制。在自主导航方面，所涉及的技术主要通过用户交互来指定飞行轨迹或者想要到达的位置，从而合成符合物理规律的飞行路径。在一种技术中，通过用户交互在虚拟三维场景中设置待拍摄的关键帧，根据这些关键帧所在的空间位置生成飞行轨迹，无人机按照此合成的轨迹进行实际飞行然后完成拍摄。在另一种技术中，考虑无人机飞行的空气动力学模型，根据用户指定轨迹生成实际符合物理规律的运动轨迹从而根据该轨迹完成拍摄任务。

在自动摄影方面，一种技术通过激光测距仪测量机器人与拍摄主体的距离建立目标函数，利用远程计算机做路径规划和运动控制。另一种技术通过声音识别来确定人的方位，然后调节相机的方向来改善画面中的线条与人的位置关系。然而，这些技术都通过肤色特征来检测人体，使得自动摄影局限于人像。另外，对机器人的运动控制需要考虑精确的三维场景信息以避免碰撞和路径规划，因此所涉及的大量计算不能保证对采集到的图像进行实时处理。此外，这些技术都是针对特定场景设定构图规则，不能应用到随机场景或实时场景。

无人机的人工控制方法对用户的操作熟练程度有一定要求，而且在高空飞行时，用户很难在地面对无人机进行准确的控制。在无人机的自动控制时，无人机在飞行过程中通过机载摄像机完成拍摄任务。拍摄的结果可以是关于被拍摄主体的一段视频或者某个时刻的图像。现有技术中基本使用目标跟踪或目标识别以保证被拍摄主体位于视频或者图像画面以内，但并不保证拍摄图像的构图质量。因此，需要一种无人机智能控制技术，其可以自动检测被拍摄主体，并且能够通过启发式搜索来选取最优取景角度，从而自动拍摄出符合美学规则的图像或视频。

发明内容

本发明提供了一种基于美学评价的无人机摄像方法，所述无人机具有摄像机，所述方法包括以下步骤：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

本发明还提供了一种用于无人机摄像的控制终端，所述无人机具有摄像机，所述控制终端与无人机通信连接并且被配置为进行以下操作：控制所述无人机飞行到指定区域；使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；利用所述摄像机拍摄所述主体的图像；基于美学评价算法规则来计算所述图像的美学评分；基于所述美学评分来调整所述无人机的姿态；迭代进行所述拍摄、计算和调整的步骤，直到得到最优美学评分；以及将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

本发明还提供了一种基于美学评价的无人机摄像系统，包括：无人机；摄像机，其机载于所述无人机上以用于对主体进行拍摄；以及根据前文所述的控制终端。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是根据本发明实施例的包括控制终端和无人机的系统架构的示意图；

图2是根据本发明的实施例的基于美学评价的无人机摄像方法的流程图；

图3是根据本发明的实施例的利用控制终端对无人机进行自动控制的基本原理的示意图；

图4是用于根据本发明的实施例的无人机摄像方法的四种示例美学评价规则的示意图；

图5示出了在根据本发明的实施例的摄像方法中目标函数的变量的变化趋势；

图6示出了根据本发明的实施例的控制终端和无人机之间的控制流程；以及

图7和图8是利用根据本发明的实施例的无人机摄像方法和系统进行拍摄的过程示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

本领域的技术人员应当明白本发明可以以脱离这些具体细节的其它实现方式来实现。而且为了不模糊本发明，在当前的说明中省略了已知的功能和结构的并非必要的细节。

下面结合附图对本发明作进一步详细描述。

图1是根据本发明实施例的包括控制终端和无人机的系统架构的示意图。在图1所示的实施例中，无人机110为一台多旋翼无人机，以及控制终端120为笔记本计算机。无人机110携带一个视频摄像机130，用于拍摄图像或视频。摄像机130在拍摄过程中，随着无人机110的运动而改变视角，以便拍摄关于主体的图像或视频。所拍摄的图像或视频数据可以经由无线网络传输到控制终端120。控制终端120可以通过无线网络向无人机110传输控制指令。在本发明的实施例中，控制终端120接收无人机110传输的图像或视频数据，基于对所接收的图像或视频数据的处理和分析来生成对无人机110的控制指令，并且将所生成的控制指令传输到无人机110以控制无人机110的飞行。在图1中所示的笔记本计算机仅是控制终端120的一个示例。在实践中，控制终端120可以采用其他形式，例如控制面板、智能手机、平板设备等等。此外，控制终端120也可以被实现为独立的控制模块而机载于无人机110上，通过有线或无线连接与无人机进行数据交换。这样的系统配置能够避免远程传输的开销，并且能够提高数据处理速度以及系统的整体便携性。

图2是根据本发明的实施例的基于美学评价的无人机摄像方法的流程图。该方法基于图1的系统架构，并且主要包括以下步骤：步骤210，控制无人机飞行到指定区域；步骤220，使摄像机朝向主体以便将主体置于摄像机的视场内；步骤230，利用摄像机拍摄包括主体的图像；步骤240，基于美学评价算法来计算图像的美学评分；步骤250，基于美学评分来调整无人机的姿态；针对给定的美学评分阈值来迭代进行步骤230至步骤250，直到得到最优美学评分；以及步骤260，将最优美学评分所对应的摄像机视角作为最优视角，在该最优视角下对主体进行摄像。

图3是根据本发明的实施例的利用控制终端对无人机进行自动控制的基本原理的示意图。图2也是基于图1所示的系统架构。下面结合图2和图3详细说明根据本发明的实施例的基于美学评价的无人机摄像方法的各个步骤。在本发明的实施例中，控制终端基于机载于无人机的摄像机所拍摄的图像或视频来对无人机进行自动控制的目的在于：获得摄像机对主体进行拍摄或取景的最优视角。因此，对无人机的控制可以归结于摄像机最优视角搜索。无人机将在飞行过程中采集图像或视频数据（即，图像的序列），并且将图像或视频数据传输给控制终端。控制终端对所接收的图像数据进行稳定处理和美学评价。对图像数据进行稳定处理能够得到无人机当前姿态下漂移引起的偏移运动向量。对图像数据进行美学评价能够得出图像的美学评分。控制终端进一步基于美学评分来确定无人机最优视角搜索的运动方向和步长。然后，控制终端将通过稳定处理得到的偏移运动向量和基于美学评分得到的运动方向和步长转换为控制指令发送给无人机。重复上述过程直到所得出的图像的美学评分超过预定美学评分阈值或者收敛于最大值。将超过美学评分阈值或者收敛于最大值的美学评分视为最优美学评分，并且将拍摄出具有最优美学评分的图像时摄像机的视角作为最优视角。然后，摄像机在该最优视角下对主体进行摄像并将所拍摄的图像或视频作为最终结果传输到控制终端。

当控制终端位于无人机的远程时，可以将最终结果在控制终端的显示器上显示给用户并且保存在控制终端。当控制终端作为模块机载于无人机上时，控制终端可以进一步通过无线网络将最终结果传输到用户设备进行显示和保存。

对于图像的美学评价算法，可以使用一些量化的图像美学规则，例如重要特征在所拍摄的图像的画面中的分布。这些美学评价规则可以来自于专业摄影师的经验总结，常用的美学评价规则例如包括三分法、主对角线原则、视觉平衡、以及确定被拍摄主体占画面的比例等。图4示出了四种示例规则的示意图。根据每一种规则可以计算一个美学评分E _i。图像的最终的美学评分可以是根据任意一种规则所计算的美学评分，也可以是根据多个规则所计算的美学评分的加权平均，即E=∑w _i E _i。其中w _i表示权重。具体地，每种规则下的美学评分可以表示为E _i =g(S _i , F _i )，其中S _i描述被拍摄主体的大小和位置，F _i描述主要特征在图像画面中的分布，g为自定义函数(例如高斯函数)。

图像美学评价的另一种实施例可以采用基于图像数据集的机器学习方法。首先建立专业摄影师在不同场景下拍摄的图像的数据集，然后对所有图像按照其构图方式进行分类。对于一幅输入图像I，先判断其构图在数据集中所属分类c，然后在选定的分类c中选择一幅相似度最高的图像I _c, 将美学评分定义为输入图像I与候选图像I _c的构图距离的函数，即E=f(d(I, I _c )), 其中d为构图距离函数，f为自定义函数。

在对主体进行拍摄时，首先需要在场景中对主体进行检测或识别。在本发明的实施例中，采用数据驱动的方法来检测被拍摄主体。具体地，在对主体进行拍摄之前，可以预先建立被拍摄主体的分类器。例如，对于拍摄人像的情况，可以训练人脸分类器，然后利用该人脸分类器在每一帧图像中检测感兴趣区域是否为人脸。类似地，对于拍摄建筑物或物体的情况，则需要根据建筑物或物体特征建立相应的建筑物分类器或物体分类器。

在最优视角搜索阶段，对无人机的控制包括通过调节无人机的飞行姿态来控制无人机在飞行姿态下的偏移。如图3中所示，无人机的飞行姿态包括四个飞行状态：滚转（Roll）、偏航（Yaw）、俯仰（Pitch）和直升（Throttle）。通过控制无人机在这四个飞行状态中的每个状态下进行运动所对应速度和时间，可以控制无人机在每个飞行状态下所进行的偏移。针对所有飞行状态，给定一个运动向量x _i ，i∈{r,y,p,t}, 其中r、y、p、t按字母缩写分别对应四种飞行状态之一。无人机在相应状态下发生运动，使机载摄像机到达新的视点，进而拍摄主体的新图像。摄像机和被拍摄主体的相对位置发生了变化，新图像的美学评分也会发生相应的改变。可以将图像的美学评分E视为运动x _i的函数，即E=f(x _r , x _y , x _p , x _t )。这样，可以得到以美学评分为基础的无人机自动摄影的优化目标：max E=f(x _r , x _y , x _p , x _t )，其中x _i ∈(x _i -ε, x _i +ε)，(x _i -ε, x _i +ε)为x_i的预定邻域，即无人机的飞行姿态能够调整的范围。

对目标函数E的优化可以采用启发式搜索方法，其在本发明中可以采用的一种实现方式为下降单纯形法，以便在四种运动变量x_i组成的四维空间中搜索最优解。不同于数学函数的求解，该实现方式所采用的一次迭代计算包括：给无人机一组控制指令，无人机执行指令进行运动来将摄像机调整到新的视点以便采集新图像，重新计算新图像的美学评分（对目标函数求值）。如果评分变大，需要继续沿着给定方向运动并且减小偏移；如果评分变小，需要改变运动方向并且减小运动偏移。图5示出了目标函数的变量的变化趋势（每个变量x _i ，i∈{r,y,p,t}的变化趋势均类似）。如图5中所示，当各个方向的运动趋近于0时，目标函数的解收敛为最大值，即得到最优美学评分。此时可以认为无人机已经运动到摄像机的最优视角。在另一个实施例中，可以通过设定阈值来确定最优美学评分。具体地，预先设定美学评分阈值。在拍摄主体的初始图像后，计算相应的美学评分。将所计算的美学评分与阈值进行比较。如果所计算的美学评分大于阈值，则将当前美学评分视为最优美学评分，并将其对应的视角视为最优视角，搜索结束。如果所计算的美学评分小于阈值，则类似于采用最大化目标函数max E的方式来调整无人机的飞行姿态，拍摄新图像并计算新的美学评分，重新将新的美学评分与阈值进行比较，直到所计算的美学评分超过阈值为止，由此获得最优美学评分和相应的最优视角。在获得最优视角后，可以控制摄像机捕获当前视角下的图像作为拍摄结果。

此外，无人机飞行过程中会产生一些随机的运动漂移。可以利用稳定控制来对运动漂移进行补偿。例如，可以采用光流法来计算相邻两帧图像之间运动向量，以及如果运动向量超过了美学评价过程中由控制指令所引起的运动，则控制无人机进行与运动向量相反的运动，以便补偿产生的运动漂移。

在本发明的实施例中，无人机和控制终端之间可以通过无线网络传递图像数据和控制指令，在控制终端处完成图像美学评价、最优视角搜索等过程。可以通过多线程和线程之间的同步来实时地实现基于美学评价的最优视角搜索。图6示出了控制终端和无人机之间的控制流程。无人机的图像捕获线程将所拍摄到的图像传输到控制终端的美学评价线程。美学评价线程在计算出美学评分后将该评分传输给最优视角搜索线程。最优视角搜索线程根据美学评分的变化计算无人机的下一步运动，并基于所计算的下一步运动来生成控制指令并传输到无人机的飞行控制线程。飞行控制线程控制无人机进行飞行姿态调整，并拍摄新图像，由此重复上述流程。最优视角搜索线程判断所接收的美学评分是否为最优美学评分（具体判断方式如以上所述），并且在得出最优美学评分后确定最优视角搜索过程结束并确定最优视角。

图7和图8是利用根据本发明的实施例的无人机摄像方法和系统进行拍摄的过程示意图。图7是拍摄物体的示例。在该示例中，被拍摄主体是圆形靶状物。将美学评分定义为靶状物上的同心圆的圆心与图像中心的距离的函数(即拍摄主体的理想位置为画面的正中心，离画面中心越近评分越高)，在摄像系统检测到靶状物上的同心圆之后，控制无人机向评分增大的方向运动，并通过迭代方式进行调整以获得最优视角。图8是拍摄人像的示例，包括拍摄单个人像主体和多个人像主体，具体过程与图7类似。在单个人像的拍摄过程中，通常将主体放置在画面的三分点处。拍摄主体的位置可以由不同规则的权重来决定。图7和图8中的曲线图表示最优视角搜索的收敛过程，在检测到拍摄主体之后，沿着当前运动方向和初始步长继续搜索直到美学评分不再变大，然后改变搜索方向减小步长，重复此过程直到步长趋近于0或美学评分超过给定阈值或者收敛于最大值。

本发明的基于美学评价的无人机摄像方法和系统能够在利用无人机进行摄像时自动获取针对主体的最优视角，简化用户在拍摄时对无人机的操作，提高了拍摄质量并且提供了更为良好的用户体验。此外，利用基于图像的美学评价来控制无人机的飞行，通过不断微调飞行姿态来搜索更大的美学评分，使得整个控制过程的计算量减小，从而便于实时计算和飞行控制。

本发明中所涉及的无人机包括任意形式的能够进行无人驾驶并且能够被自动控制的飞行器。本发明不意图在形状和结构上限制本发明所涉及的无人机。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种基于美学评价的无人机摄像方法，所述无人机具有摄像机，所述方法包括以下步骤：

控制所述无人机飞行到指定区域；

使所述摄像机朝向被拍摄主体以便将所述主体置于所述摄像机的视场内；

利用所述摄像机拍摄所述主体的图像；

基于美学评价算法来计算所述图像的美学评分；

基于所述美学评分来确定无人机最优视角搜索的运动方向和步长；

基于所述运动方向和步长来调整所述无人机的姿态；

迭代进行所述拍摄、计算、确定和调整的步骤，直到得到最优美学评分；以及

将所述最优美学评分所对应的摄像机视角作为最优视角，在所述最优视角下利用所述摄像机对所述主体进行拍摄。

2.根据权利要求1所述的方法，其中，

所述最优美学评分是超过预定美学评分阈值的美学评分或者收敛于最大值的美学评分。

3.根据权利要求1或2所述的方法，其中，

所述无人机的姿态包括滚转、偏航、俯仰和直升，以及调整所述无人机的姿态包括调整每种姿态下的偏移。

4.根据权利要求1或2所述的方法，其中，

在拍摄所述主体的图像之前，利用预先建立的主体分类器来检测所述主体。

5.根据权利要求1或2所述的方法，其中，

所述美学评价算法包括量化美学评价规则的方法或者基于图像数据集的机器学习方法。

6.根据权利要求1或2所述的方法，其中，

在计算所述图像的美学评分的同时，对所述图像进行稳定处理以得到无人机当前姿态下漂移引起的偏移运动向量，以及

基于所述偏移运动向量和所述美学评分来调整所述无人机的姿态。

7.根据权利要求1或2所述的方法，其中，

调整所述无人机的姿态进一步包括补偿无人机的运动漂移。

8.一种用于无人机摄像的控制终端，所述无人机具有摄像机，所述控制终端与无人机通信连接并且被配置为进行以下操作：

控制所述无人机飞行到指定区域；

利用所述摄像机拍摄所述主体的图像；

基于美学评价算法规则来计算所述图像的美学评分；

基于所述运动方向和步长来调整所述无人机的姿态；

9.根据权利要求8所述的控制终端，其中，

10.根据权利要求8或9所述的控制终端，其中，

11.根据权利要求8或9所述的控制终端，其中，

12.根据权利要求8或9所述的控制终端，其中，

所述美学评价算法包括量化的美学评价规则或者基于图像数据集的机器学习方法。

13.根据权利要求8或9所述的控制终端，其中，

14.根据权利要求8或9所述的控制终端，其中，

调整所述无人机的姿态进一步包括补偿无人机的运动漂移。

15.一种基于美学评价的无人机摄像系统，包括：

无人机；

摄像机，其机载于所述无人机上以用于对主体进行拍摄；以及

根据权利要求8至14任一项所述的控制终端。