CN115755981A - 一种交互式的无人机自主航拍方法及装置 - Google Patents
一种交互式的无人机自主航拍方法及装置 Download PDFInfo
- Publication number
- CN115755981A CN115755981A CN202211598870.4A CN202211598870A CN115755981A CN 115755981 A CN115755981 A CN 115755981A CN 202211598870 A CN202211598870 A CN 202211598870A CN 115755981 A CN115755981 A CN 115755981A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- shooting
- interactive
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 5
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种交互式的无人机自主航拍方法及装置，应用于一种交互式的无人机自主航拍系统的无人机执行端，该方法包括：获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
Description
技术领域
本发明属于无人机航拍技术领域，尤其涉及一种交互式的无人机自主航拍方法及装置。
背景技术
装载了相机及云台的无人机，在进行空中拍摄任务的时候，需要保障至少以下三点均得到满足a.无人机自身的飞行安全；b.机体自身动力上的物理限制；c拍摄画面满足一定的用户需求。对于使用无人机进行航拍的场景，拍摄得到的画面质量尤其重要。在电影行业中，得到的画面效果直接决定了最终的电影质量；在工业巡检等场景应用中，调整至合适的视角进行拍摄侦察，对于指定区域的检查起到了关键的作用。
目前，无人机的航拍方式主要有：a.人工操作b.自主跟踪拍摄c.交互式的航拍。a:通常需要较高熟练度的操作人员，且由于无人机和相机云台需要分别控制，往往需要多于一位操作者，需要耗费较高的人力成本且拍摄效果无法保障。b:现有的一些技术和方法支持无人机对目标进行自主跟踪和拍摄，典型的如大疆创新的自主跟拍功能，以及前沿的无人机自主跟踪算法，这些方法能较好地保证无人机的持续拍摄，但是由于缺乏与拍摄者的交互，拍摄需求无法实时地传达至无人机，最终的画面和视频与使用者的需求有一定差距。c：目前的研究中提供了交互式的拍摄方式，可供使用者定制化地给出拍摄需求，但是已有的方法使用场景较为简单，无法适用于复杂场景下对动态物体的拍摄。
无论是哪种方式，当下无人机在复杂场景中航拍主要有两大问题：1.对于除画面外的环境缺乏精确而有效的感知，从而在拍摄过程无人机自身的安全性无法保障。2.无人机和相机云台之间需要较好的协同，否则将影响拍摄主体在画面中的呈现，甚至会在无人机的机动下脱离画面。
一些现有的自主航拍研究旨在通过设计合适的交互方式来简化操作。其中一种典型的交互方式是利用关键帧进行交互，例如《N.Joubert,M.Roberts,A.Truong,F.Berthouzoz,and P.Hanrahan,“An interactive tool for designing quadrotorcamera shots,”ACM Transactions on Graphics(TOG),vol.34,no.6,pp.1–11,2015》《N.Joubert,D.B.Goldman,F.Berthouzoz,M.Roberts,J.A.Landay,P.Hanrahan,et al.,“Towards a drone cinematographer:Guiding quadrotor cameras using visualcomposition principles,”arXiv preprint arXiv:1610.01691,2016》《C.Gebhardt,B.Hepp,T.N¨ageli,S.Stevˇsi′c,and O.Hilliges,“Airways:Optimization-basedplanning of quadrotor trajectories according to high-level user goals,”inProceedings of the 2016chi conference on human factors in computing systems,2016,pp.2508–2519》《C.Gebhardt,S.Stevˇsi′c,and O.Hilliges,“Optimizing foraesthetically pleasing quadrotor camera motion,”ACM Transactions on Graphics(TOG),vol.37,no.4,pp.1–11,2018》中公开的方法。在这种方法中，用户提前给定了一些视点，随后通过求解器生成了连接视点的光滑轨迹。另一种较为直观的方式通过指定地图上要拍摄的地标来进行交互。这种方式的主要缺点在于生成的视频无法直接展现给观众，需要多次调整设定的关键帧来改变视频的表达，这对于使用者来说不够友好。有一些实时交互的方式试图解决这样的问题，例如在《Q.Galvane,J.Fleureau,F.-L.Tariolle,andP.Guillotel,“Automated cinematography with unmanned aerial vehicles,”arXivpreprint arXiv:1712.04353,2017》中通过给定拍摄指令或者曲线。也有一些方法在无人机返回的实时画面上提供了交互接口，无疑这样的方式更加直观有效。以上所说的方法大多只用于静态已知场景的拍摄，在算法的设计上往往忽略了环境中可能出现的未知障碍物。此外被拍摄目标多集中于静态物体，这些方法无法适用于动态的目标拍摄。
已有的一些方法可实现对动态物体的追踪和拍摄。当下前沿的无人机目标跟踪轨迹跟踪可以在已知或未知环境中保持对目标的可视性，从而增加跟踪的鲁棒性。但对于一般的跟踪算法来说，这些方法仅仅与目标保持了合适的距离，却无法控制与目标的视角，目标在画面上的位置等因素，因此这类跟踪算法与航拍的需求还有一定距离。
目前也有一些方法在实时的跟踪算法上加入了摄影的要素，多数采用了模型预测控制(MPC,model predictive control)的方式，该方法通过优化离散化时间的无人机状态及控制输入，在优化项中加入画面位置，大小，视角等要素计算较优的无人机运动轨迹，但这些方法大多存在以下的局限之一：1.对环境的建模过于简单，一般将环境中的障碍物简化为椭球，这样的做法在非结构化的场景下可能会过于保守；2.对无人机和云台的运动规划较为粗糙，例如不考虑运动时的倾角，仅使用基于图像的反馈控制等，该做法会导致无人机在快速机动时模型失准，从而影响相机对目标的拍摄效果。
发明内容
针对现有技术的不足，本申请实施例的目的是提供一种交互式的无人机自主航拍方法及装置，提高无人机航拍系统的交互性和鲁棒性，使得无人机能在保证安全性、动力学可行性的同时拍摄用户期望的画面。
根据本申请实施例的第一方面，提供一种交互式的无人机自主航拍方法，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：
获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；
结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
进一步地，所述拍摄指令包括拍摄目标、拍摄视角、拍摄距离和过渡时间。
进一步地，利用混合A*方法进行航拍路径的动力学路径搜索，过程包括：
根据无人机初始的运动状态和时间建立节点，施加离散的控制输入作为采样，扩展至一系列子节点，将扩展的子节点加入一个优先队列，每次在所述优先队列中选取代价函数和启发函数之和最小的节点作为下一个扩展的节点，当扩展节点的时间达到T时刻时搜索结束，得到一条带有时间信息的路径。
进一步地，所述代价函数为
其中，dn为搜索节点位置上与目标的距离，Dn为搜索节点位置上与目标的期望距离，θn为搜索节点位置上与目标的相对角度，Θn为搜索节点位置上与目标的期望角度，θn为搜索节点位置上与目标的高度方向视线倾角，Θn为搜索节点位置上与目标在画面位置上的相应倾角；λd、λθ、
为对应的权重系数。
进一步地，所述启发函数为
h(n)＝T-tn
其中T为总时间，tn为当前节点的时刻。
进一步地，对搜索得到的动力学路径进行局部的可视区域调整，包括：
根据无人机的最大速度确定可调整区域；
将所述可调整区域划分为若干环扇形子区域；
根据每个子区域的中值距离和中值角度，计算每个区域的遮挡损失；
根据所述遮挡损失最小的子区域，得到用于约束无人机位置的可视区域。
进一步地，所述多目标优化问题为
J＝ΣiJi+Jsmooth
Ji＝max(Gi(c,T),0)3
对于不等式约束Gi(c,T)＜0，Ji为每项约束违背的惩罚函数，Jsmooth为轨迹光滑程度。
根据本申请实施例的第二方面，提供一种交互式的无人机自主航拍装置，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：
获取模块，用于获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
搜索模块，用于根据所述拍摄指令，以拍摄效果损失最小为目标进行航拍路径的动力学路径搜索；
调整模块，用于对搜索得到的动力学路径进行局部的可视区域调整；
优化模块，用于结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
航拍模块，用于控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请基于实时的用户交互，在地面端的设备运行交互界面，通过无线网络实时反馈图像，通过直观的要素采集拍摄的需求，并立刻发送给拍摄的无人机，无人机做出实时的规划将图像的需求反映在自身和机载云台运动上；提出一种层级式的规划方法，该方法不仅能够有效保障在拍摄过程中的安全性，还在轨迹优化时结合了无人机的动力学特性，即便是快速机动的场景下依然能够保持目标在拍摄画面上的稳定。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种交互式的无人机自主航拍方法的流程图。
图2是根据一示例性实施例示出的实时交互界面示意图。
图3是根据一示例性实施例示出的一种交互式的无人机自主航拍装置的框图。
图4是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种交互式的无人机自主航拍方法的流程图，如图1所示，该方法应用于一种交互式的无人机自主航拍系统的无人机执行端，可以包括以下步骤：
步骤S11：获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
步骤S12：根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
步骤S13：对搜索得到的动力学路径进行局部的可视区域调整；
步骤S14：结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
步骤S15：控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
由上述实施例可知，本申请中无人机可以按照用户的拍摄指令实时且安全地对目标进行跟踪拍摄，基于实时的用户交互，在地面端的设备运行交互界面，通过无线网络实时反馈图像，通过直观的要素采集拍摄的需求，并立刻发送给拍摄的无人机，无人机做出实时的规划将图像的需求反映在自身和机载云台运动上；提出一种层级式的规划方法，该方法不仅能够有效保障在拍摄过程中的安全性，还在轨迹优化时结合了无人机的动力学特性，即便是快速机动的场景下依然能够保持目标在拍摄画面上的稳定。
在步骤S11的具体实施中，获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
具体地，本发明的航拍系统分为地面站交互端和无人机执行端两部分，在交互端，用户给出对目标的拍摄指令，所述拍摄指令包括拍摄目标在图像上的位置、拍摄视角、拍摄距离和过渡时间。该指令表示成一组参数，具体为像素坐标位置Pimage，角度Θ，距离D，时间τ。这一组参数通过无线网络发送给无人机；无人机端实时地规划目标的拍摄轨迹，当收到用户的需求时，规划层根据改变的拍摄参数做重规划，调整至用户想要的拍摄状态上。该方案设计的优势在于，用户可以直观地给出图像上的拍摄指令，在不需要接触无人机任何运动的情况下即可实现想要的拍摄模式。
具体地，本发明中航拍交互的具体形式为，用户在如图2所示的界面进行操作，界面的左半部分在实时展示无人机拍摄画面的同时，可供用户拖动画面上的方框，方框的位置反映了用户期望的目标画面位置，在右半部分的上方，是用来调整拍摄视角的按钮，下方的滑条分别给定了拍摄距离和过渡时间。没有新的指令时，无人机实时规划轨迹对目标保持当前的拍摄状态。当用户在界面中给定新的航拍指令时，无人机规划其运动来安全且光滑地过渡到期望的拍摄状态上。
本申请中的自主航拍运动规划，以层级式地方式由粗糙至精细地规划无人机的运动，其创新点主要在于三方面：1.航拍路径的动力学路径搜索2.局部的可视区域调整3.结合无人机状态和云台转角的轨迹优化。
在步骤S12的具体实施中，根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
本发明中的路径搜索方法创新在于，根据给定的一系列时刻的拍摄需求，以拍摄效果损失最小为目标进行搜索。该方法对前有的混合A*方法做出了改进。在算法中，每个搜索节点记录了机器人状态、时刻以及相对应的目标预测位置，每个搜索节点被赋予了代价函数g(n)来衡量整体代价，启发函数h(n)来估计距离收敛条件的剩余代价。每个节点的代价函数定义为拍摄效果的损失，其定义为三方面：a.距离，为该搜索节点位置上与目标的距离dn和期望的距离Dn之差；b.视角，为该搜索节点位置上与目标的相对角度θn与期望的角度Θn之差；c.倾角，为该搜索节点位置上与目标的高度方向视线倾角
和期望的目标Φn在画面位置上的相应倾角之差。通过将以上三要素加权相加得到代价函数。
上式中，通过权重值λd、λθ、
调整不同要素间的大小，一般地，对系数的给定有下规则：根据拍摄者的视觉感受，1m的拍摄距离在感官上在相当于0.3rad的视角，也相当于0.1rad的倾角，所以给出系数λd＝1,λθ＝3.3,
使用时也可以进行调整。
不同于一般的路径搜索以终点作为搜索的终止，本发明的搜索过程在时间到达终止时刻时停止，因此将启发函数h(n)定义为当前节点对应的时刻与终止时刻的时间差，来加速搜索过程。
h(n)＝T-tn
其中T为终止时刻，tn为当前节点的时刻。
整个搜素过程如下：根据初始的运动状态和时间建立节点，施加离散的控制输入作为采样，扩展至一系列子节点，加扩展的子节点加入一个优先队列，每次在所述优先队列中选取g(n)和h(n)之和最小的节点作为下一个扩展的节点，当扩展节点的时间达到T时刻时搜索结束，返回一条带有时间信息的路径。
在步骤S13的具体实施中，对搜索得到的动力学路径进行局部的可视区域调整；
本发明中的可视区域选取的具体内容为在每个搜索节点(即上述搜索过程中所扩展的节点)附近搜索最佳的观测区域，最佳观测区域以局部搜索的方式提高采样精度和拍摄效果，减少遮挡的影响，同时为下一步轨迹优化构建约束。前述路径搜素给出了一条动力学路径，但通常由于不充分的采样无法得到局部的最优解，在此步骤中再一次进行局部的优化，并以可行区域的形式在后续优化中给予一定的空间裕度。具体地，给定由路径搜索得到的初始位置，首先在周围根据无人机的最大速度确定可调整的区域，由于距离和视角是影响拍摄的两大重要要素，将该可调整区域划分为若干环扇形子区域，每个候选的子区域因此表征了一定范围的视角和距离，取每个区域的中值距离和角度来作为衡量，同样考虑与期望距离和角度的相差作为该区域的损失。此外，为了给予无人机更佳的可视性，距离被遮挡区域更近的候选区域赋予了更大的损失。损失函数Qi定义为：
上式表示了第i个区域的代价函数，其中θocc表示的是被障碍物遮挡的视角，本式中λd和λθ与上一步骤相同，λocc可选取较大的值如10，来更好地避免遮挡。
最终可以在所有候选子区域中得到损失最小的一块区域，为了方便表征以及利于后续的优化，本方法以五边形的形式近似该区域，由此得到一个局部范围内的最优可视区域。本步骤的意义在于1.由于混合a*不充分的采样，难以保证局部的拍摄质量最优，可视区域的生成提升了轨迹的质量2.以五边形这种凸多边形的形式表示时空约束，为轨迹优化提供了显式的约束3.以区域的形式作约束，提供了一定的余量，有利于优化时更好地收敛。
在步骤S14的具体实施中，结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
本发明中的航拍轨迹规划具体内容为将轨迹优化定义为一个多目标优化问题，将变量违反约束作为惩罚函数加入目标函数J进行优化。
J＝Jsmooth+ΣiJi
Ji＝max(Gi(c,T),0)3
Jsmooth为轨迹光滑程度，对于不等式约束Gi(c,T)＜0，计算每项约束违背的惩罚函数Ji，然后求和。
本方法采用带有时间和空间信息的多项式轨迹进行表征，该方法通过线性复杂度的运算可以通过中间点和时间确定一段轨迹。本方法采用多项式轨迹分别表示机器人的空间位置(3维)p(t)和两轴旋转θ(t)(2维，偏航角和云台转角)。本方法将轨迹优化问题表示成一个多目标优化问题。该问题通过在时间上进行采样，将违反约束的变量以惩罚函数的形式加入到目标函数中以期望得到符合一系列约束的最优轨迹。本方法的目标函数分为五类：
1.轨迹自身的光滑程度，该函数可由位置的四阶导数和旋转的二阶导数积分直接计算得到；
2.动力学约束，根据无人机的微分平坦特性(表示为下式中Ψ)，可以由轨迹变量及其微分得到无人机的状态和输入量(下式中r(t))，例如速度，加速度以及角速度，动力学约束要求这些状态不能超过一定范围rmax，动力学约束Gdynamic如下：
Gdynamic＝r2(t)-rm 2 ax
r(t)＝Ψ(p(t),θ(t))
3.安全性约束，首先，无人机自身的位置需要约束在空间的安全凸多面体内，安全凸多面体可表示为{x∈R3|fx-bf≤0}，其次，无人机需要实时感知环境中的障碍物，本发明中的无人机硬件设计以前向固连的深度相机作为构建地图的数据来源，因此在轨迹优化中，约束无人机的速度在水平方向上的投影与无人机的深度相机方向小于一定阈值；
Gsafety_＝Afp(t)-bf
其中，Gsafety_表示安全凸多面体的位置约束、Af和bf表示安全凸多面体的系数矩阵、Gsafety_表示感知环境的约束、θv表示速度的方向角；
4.拍摄约束，在前述的可视区域选取步骤中，已经对一些时刻上无人机的拍摄位置进行了约束，由于可视区域是五边形，也可以用凸约束表示为{x∈R3|vx-bv≤0}此外，为了实现拍摄的画面构图，在优化中还将目标在画面上的位置和速度作为目标函数进行优化，利用针孔相机模型的成像原理，根据无人机的姿态、角速度以及相机云台的转角及角速度等变量，可求得目标在图像上的投影位置和速度
表示相机投影函数，与期望的画面位置和速度
作范数运算即可得到相应的优化项，本发明在实践中还通过sigmoid函数σ()对此项进行平滑。
Gview＝Avp(t)-bv
Gimage＝σ(||P-Pimage||2+||V-Vimage||2)
其中，Gview表示步骤S13中可视区域的位置约束、Av和bv表示可视区域凸多面体的系数矩阵、Gimage表示目标在画面上的位置约束；
本方法的多目标求解使用L-BFGS。
在步骤S15的具体实施中，控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍；
在得到了优化后的轨迹后，无人机的控制模块将轨迹信息反映成电机的转速，从而实时控制无人机至轨迹上的状态。由于在轨迹优化时考虑了静态的和过渡状态的图像拍摄用户需求，本方法的系统实现了从用户的拍摄需求至无人机运动的转化。
本发明在在路径搜索，区域查找以及轨迹优化上均做出了改进和创新，在考量无人机动力学特性的基础上，根据航拍的摄影需求搜索合适的时空约束，考虑更加精细的无人机运动学模型进行图像层次上的优化。
方法1(本申请公开的交互式的无人机航拍方法)在给定相同的拍摄需求下与类似的方法2(《T.Nageli,J.Alonso-Mora,A.Domahidi,D.Rus,and O.Hilliges,”Real-timemotion planning for aerial videography with dynamic obstacle avoidance andviewpoint optimization,”IEEE Robotics and Automation Letters,vol.2,no.3,pp.1696–1703,2017》)进行对比。在不同障碍物数量下，本方法的计算效率均高于所比较方法。进行规划的鲁棒性对比，本方法能保持更高的成功率，发生目标丢失视野，遮挡和碰撞均更低。
表1与方法2的计算时间比较表(单位：ms)
不同障碍物密度下的计算效率对比
本发明的方法在保持目标在画面位置的特性上也优于方法2。
表2与方法2的鲁棒性对比(单位：％)
与前述的交互式的无人机自主航拍方法的实施例相对应，本申请还提供了交互式的无人机自主航拍装置的实施例。
图3是根据一示例性实施例示出的一种交互式的无人机自主航拍装置框图。参照图3，该装置应用于一种交互式的无人机自主航拍系统的无人机执行端，可以包括：
获取模块21，用于获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
搜索模块22，用于根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
调整模块23，用于对搜索得到的动力学路径进行局部的可视区域调整；
优化模块24，用于结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
航拍模块25，用于控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的交互式的无人机自主航拍方法。如图4所示，为本发明实施例提供的一种深度学习数据集存取系统所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、DMA控制器、磁盘、以及非易失内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的交互式的无人机自主航拍方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(FlashCard)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。
Claims (10)
1.一种交互式的无人机自主航拍方法，其特征在于，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：
获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
根据所述拍摄指令，以拍摄效果损失最小为为目标进行航拍路径的动力学路径搜索；
对搜索得到的动力学路径进行局部的可视区域调整，得到所述动力学路径中每个搜索节点的最佳观测区域；
结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
2.根据权利要求1所述的方法，其特征在于，所述拍摄指令包括拍摄目标、拍摄视角、拍摄距离和过渡时间。
3.根据权利要求1所述的方法，其特征在于，利用混合A*方法进行航拍路径的动力学路径搜索，过程包括：
根据无人机初始的运动状态和时间建立节点，施加离散的控制输入作为采样，扩展至一系列子节点，将扩展的子节点加入一个优先队列，每次在所述优先队列中选取代价函数和启发函数之和最小的节点作为下一个扩展的节点，当扩展节点的时间达到T时刻时搜索结束，得到一条带有时间信息的路径。
4.根据权利要求3所述的方法，其特征在于，所述代价函数为
其中，dn为搜索节点位置上与目标的距离，Dn为搜索节点位置上与目标的期望距离，θn为搜索节点位置上与目标的相对角度，Θn为搜索节点位置上与目标的期望角度，θn为搜索节点位置上与目标的高度方向视线倾角，Θn为搜索节点位置上与目标在画面位置上的相应倾角；λd、λθ、
为对应的权重系数。
5.根据权利要求3所述的方法，其特征在于，所述启发函数为
h(n)＝T-tn
其中T为总时间，tn为当前节点的时刻。
6.根据权利要求1所述的方法，其特征在于，对搜索得到的动力学路径进行局部的可视区域调整，包括：
根据无人机的最大速度确定可调整区域；
将所述可调整区域划分为若干环扇形子区域；
根据每个子区域的中值距离和中值角度，计算每个区域的遮挡损失；
根据所述遮挡损失最小的子区域，得到用于约束无人机位置的可视区域。
7.根据权利要求1所述的方法，其特征在于，所述多目标优化问题为
Ji＝max(Gi(c,T),0)3
对于不等式约束Gi(c,T)＜0，Ji为每项约束违背的惩罚函数，Jsmooth为轨迹光滑程度。
8.一种交互式的无人机自主航拍装置，其特征在于，应用于一种交互式的无人机自主航拍系统的无人机执行端，包括：
获取模块，用于获取用户在所述交互式的无人机自主航拍系统的地面站交互端给定的拍摄指令；
搜索模块，用于根据所述拍摄指令，以拍摄效果损失最小为目标进行航拍路径的动力学路径搜索；
调整模块，用于对搜索得到的动力学路径进行局部的可视区域调整；
优化模块，用于结合无人机状态和云台转角构建多目标优化问题，对所述多目标优化问题进行求解，从而实现轨迹优化；
航拍模块，用于控制无人机根据优化后的轨迹运动至轨迹终点并进行航拍。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211598870.4A CN115755981A (zh) | 2022-12-12 | 2022-12-12 | 一种交互式的无人机自主航拍方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211598870.4A CN115755981A (zh) | 2022-12-12 | 2022-12-12 | 一种交互式的无人机自主航拍方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115755981A true CN115755981A (zh) | 2023-03-07 |
Family
ID=85345780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211598870.4A Pending CN115755981A (zh) | 2022-12-12 | 2022-12-12 | 一种交互式的无人机自主航拍方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115755981A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118210378A (zh) * | 2024-03-14 | 2024-06-18 | 浙江大学湖州研究院 | 一种交互式的无人机自主特技飞行方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| CN110632941A (zh) * | 2019-09-25 | 2019-12-31 | 北京理工大学 | 一种复杂环境下无人机目标跟踪的轨迹生成方法 |
| US20200073385A1 (en) * | 2018-09-04 | 2020-03-05 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
| CN111833381A (zh) * | 2020-06-24 | 2020-10-27 | 鹏城实验室 | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 |
| CN113906360A (zh) * | 2020-08-07 | 2022-01-07 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置、计算机可读存储介质 |
| CN114355981A (zh) * | 2022-01-06 | 2022-04-15 | 中山大学 | 一种四旋翼无人机自主探索建图的方法和系统 |
| CN114510065A (zh) * | 2021-12-24 | 2022-05-17 | 湖北航天飞行器研究所 | 一种多旋翼无人机地面目标跟踪控制方法 |
| CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模系统及方法 |
-
2022
- 2022-12-12 CN CN202211598870.4A patent/CN115755981A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| US20200073385A1 (en) * | 2018-09-04 | 2020-03-05 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
| CN110632941A (zh) * | 2019-09-25 | 2019-12-31 | 北京理工大学 | 一种复杂环境下无人机目标跟踪的轨迹生成方法 |
| CN111833381A (zh) * | 2020-06-24 | 2020-10-27 | 鹏城实验室 | 一种无人机目标跟踪轨迹生成方法、无人机及存储介质 |
| CN113906360A (zh) * | 2020-08-07 | 2022-01-07 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置、计算机可读存储介质 |
| CN114510065A (zh) * | 2021-12-24 | 2022-05-17 | 湖北航天飞行器研究所 | 一种多旋翼无人机地面目标跟踪控制方法 |
| CN114355981A (zh) * | 2022-01-06 | 2022-04-15 | 中山大学 | 一种四旋翼无人机自主探索建图的方法和系统 |
| CN115115785A (zh) * | 2022-07-20 | 2022-09-27 | 东南大学 | 面向野外山林环境搜救的多机协同三维建模系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHANG, ZW, ET AL.: "Auto Filmer: Autonomous Aerial Videography Under Human Interaction", IEEE ROBOTICS AND AUTOMATION LETTERS, vol. 8, no. 2, 23 December 2022 (2022-12-23), pages 784 - 791 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118210378A (zh) * | 2024-03-14 | 2024-06-18 | 浙江大学湖州研究院 | 一种交互式的无人机自主特技飞行方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107943072B (zh) | 无人机飞行路径生成方法、装置、存储介质及设备 | |
| Alvarez et al. | Collision avoidance for quadrotors with a monocular camera | |
| Galvane et al. | Directing cinematographic drones | |
| Joubert et al. | Towards a drone cinematographer: Guiding quadrotor cameras using visual composition principles | |
| US10349033B2 (en) | Three-dimensional map generating and displaying apparatus and method | |
| US9928649B2 (en) | Interface for planning flight path | |
| US9947230B2 (en) | Planning a flight path by identifying key frames | |
| Karakostas et al. | Shot type constraints in UAV cinematography for autonomous target tracking | |
| US20210133996A1 (en) | Techniques for motion-based automatic image capture | |
| Mademlis et al. | Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner] | |
| US8896660B2 (en) | Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments | |
| Weiss et al. | Intuitive 3D maps for MAV terrain exploration and obstacle avoidance | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
| CN112567201A (zh) | 距离测量方法以及设备 | |
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| WO2023056544A1 (en) | Object and camera localization system and localization method for mapping of the real world | |
| WO2020014987A1 (zh) | 移动机器人的控制方法、装置、设备及存储介质 | |
| Karakostas et al. | UAV cinematography constraints imposed by visual target tracking | |
| WO2021223171A1 (zh) | 目标跟踪方法和装置、可移动平台以及成像平台 | |
| Cocoma-Ortega et al. | Towards high-speed localisation for autonomous drone racing | |
| EP3742248A1 (en) | Controlling a group of drones for image capture | |
| US10025798B2 (en) | Location-based image retrieval | |
| Karakostas et al. | Shot type feasibility in autonomous UAV cinematography | |
| US10904427B2 (en) | Coordinated cinematic drone | |
| Pueyo et al. | CineMPC: A Fully Autonomous Drone Cinematography System Incorporating Zoom, Focus, Pose, and Scene Composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Gao Fei Inventor after: Zhu Jiangchao Inventor after: Zhang Zhiwei Inventor before: Gao Fei Inventor before: Zhang Zhiwei |
|
| CB03 | Change of inventor or designer information |