Nothing Special   »   [go: up one dir, main page]

CN106339079A - 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 - Google Patents

一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 Download PDF

Info

Publication number
CN106339079A
CN106339079A CN201610645841.7A CN201610645841A CN106339079A CN 106339079 A CN106339079 A CN 106339079A CN 201610645841 A CN201610645841 A CN 201610645841A CN 106339079 A CN106339079 A CN 106339079A
Authority
CN
China
Prior art keywords
virtual reality
control signal
gesture
real
unmanned vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610645841.7A
Other languages
English (en)
Inventor
金欣
魏乐业
戴琼海
张新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weilai Media Technology Research Institute, Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Weilai Media Technology Research Institute
Priority to CN201610645841.7A priority Critical patent/CN106339079A/zh
Publication of CN106339079A publication Critical patent/CN106339079A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Toys (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置，使用多类传感器采集运算得到控制者实时的手势信息，实现实时将控制者的手势控制信号反馈到多个无人机的飞行姿态中去，实现多个无人机姿态与控制者手势一一对应，从而控制多个无人飞行器机载摄像头的角度与方向，来得到控制者希望的视角图像；多个无人飞行器的机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；虚拟现实设备接收多个无人飞行器发送的机载摄像头拍摄到的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来，改善了用户体验，方便用户利用无人机进行特殊目的的侦测，提升无人飞行器的控制性与乐趣性。

Description

一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法 及装置
技术领域
本发明涉及无人飞行器的虚拟现实交互领域，特别涉及一种根据装备在虚拟现实设备上的景深摄像头之前位置上控制者手势信息的变化来调整多台无人飞行器飞行姿态并将多台飞行器拍摄到的实时视频信息经过图像处理装置进行3D处理与渲染之后显示到虚拟现实设备显示屏上的的方法与装置。
背景技术
随着无人飞行器技术迅猛发展，无人飞行器越来越多地进入了到了人们的生活场景中，通过在无人飞行器上设置摄像头，可以获取丰富多彩的航拍视频信息，如何更好的观看航拍视频信息，以更加便于操作，是当前技术中亟需解决的问题。
目前无人飞行器拍摄得到的实时图像信息主要有两种处理方式。(1)将拍摄得到的视频资料存储在无人飞行器的存储卡上，待飞行器落地后将存储卡连接到智能终端进行读取得到。(2)将拍摄得到的视频资料显示到通过无线网络连接的电脑终端或者移动设备终端。
上述两种方式都使用遥控器对无人飞行器进行控制，两种处理方式都存在难于控制，不方便实时观察视频信息的缺点。
VR(Virtual Reality，即虚拟现实，简称VR)技术是采用以计算机技术为核心的现代高科技手段生成逼真的视觉、听觉、触觉、嗅觉、味觉等一体化的虚拟环境，用户从自己的视点出发，借助特殊的输入输出设备，采用自然的方式与虚拟世界的物体进行交互，相互影响。
发明内容
为了克服现有技术的不足，本发明提供了一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置，解决现有技术中无人飞行器控制困难、不能实时观察无人飞行器机载摄像头拍摄的视频信息的问题。
本发明首先提出一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法，包括如下步骤：
S1、手势信息采集处理装置采集控制者实时的控制多个无人飞行器的手势信息；
S2、控制信号转换发送装置将步骤S1采集的手势信息转换为多个无人飞行器对应的姿态控制信号；并将所述姿态控制信号转换为相对应的多个无人飞行器的控制信号通过相对应通道向多个无人飞行器发送；
S3、多个无人飞行器同步接受步骤S2发送的控制无人飞行器飞行姿态的控制信号并同步响应，实时改变飞行姿态；控制机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；
S4、虚拟现实设备接收多个无人飞行器发送的机载摄像头拍摄到的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来。
优选地，所述手势信息采集处理装置能够采集控制者手势的深度信息，根据得到的深度信息可以估计控制者手部各标定点距离手势信息采集装置的距离信息；利用标定点之间的位置关系与深度信息之间的位置关系运算得到手势信息。
优选地，所述手势信息包括手部形状信息、手部移动信息；所述手部形状信息包含单手或者双手动作，手掌，握拳，突出一个或者多个指头，挥手，抱拳动作；所述手部移动信息包括起飞、降落、上升、下降、向前、向后、向左、向右、左转头、右转头动作。
优选地，在步骤S1中所述手势信息中手势的位移为s，所述步骤S2中所述姿态控制信号中无人飞行器的位移为S，满足：S＝αs+ε；其中，α为放大倍数，ε为修正参数。
优选地，步骤S2中姿态控制信号是文本控制命令；无线控制信号为不同占空比的PWM波信号。
本发明还提出一种基于计算机视觉的利用无人飞行器实现虚拟现实的装置，包括：
手势信息采集处理装置：设置在控制者所佩戴的虚拟现实设备上，所处的角度和位置面向控制者的手部采集到控制者实时的控制多个无人飞行器的手势信息；将该手势信息发送给控制信号转换发送装置；
控制信号转换发送装置：接受手势采集处理装置发送来的控制多个无人飞行器手势信息，将其转换为与之对应的无线控制信号通过无线方式发送到多个无人飞行器来控制多个无人飞行器的飞行姿态；
多个无人飞行器：能够同步接受并响应控制信号转换发送装置发送的无人飞行器飞行姿态控制信号，根据对应的控制指令进行飞行姿态的改变，做到手势与多台无人飞行器姿态的统一；控制将机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；
虚拟现实设备：接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来，方便控制者进行身临其境的体验，同时方便控制者根据目前状态来发送下一步的控制指令。
优选地，所述手势信息采集处理装置是指可以探测得到深度信息的摄像头，这种摄像头有多种组成形式，可以由多个普通摄像头、普通摄像头加红外摄像头、普通摄像头加声呐传感器构成。
优选地，所述控制信号转换发送装置包括信号接收单元、姿态转换单元、信号处理单元、信号发送单元；所述信号接收单元接受手势信息采集单元发送来的控制者实时的控制多个无人飞行器的手势信息；所述姿态转换单元将接受到的控制者实时的控制多个无人飞行器的手势信息转换为多个无人飞行器对应的姿态控制信号；所述信号处理单元将所述姿态控制信号转换为相对应的多个无人飞行器的控制信号；所述信号发送单元将转换后的相对应的多个无人飞行器的控制信号向多个无人飞行器发送。
优选地，所述无人飞行器包括信号接收单元、视频信息采集单元和视频信息发送处理芯片；所述信号接收单元计接受控制信号转换发送装置发送的控制无人飞行器飞行姿态的控制信号；所述视频信息采集单元采集机载摄像头拍摄到的无人飞行器周围的实时视频信息；所述视频信息发送处理芯片将视频信息采集单元采集到的机载摄像头拍摄到的无人飞行器周围的实时视频信息发送给虚拟现实设备。
优选地，所述虚拟现实设备包括虚拟现实头盔、虚拟现实眼镜；所述虚拟现实设备上设置有视频信息接受单元、图像处理装置、显示装置；所述视频信息接受单元接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息；所述图像处理装置包含有微型处理器、图像处理器、运算单元，用来对接受到的多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息进行3D渲染与处理；所述显示装置用来实时显示经过图像处理装置处理之后得到的的实时3D视频信息。
本发明的有益效果是：
本发明的一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法和装置使用多类传感器采集运算得到控制者实时的手势信息，实现实时将控制者的手势控制信号反馈到多个无人机的飞行姿态中去，实现多个无人机姿态与控制者手势一一对应，从而控制多个无人飞行器机载摄像头的角度与方向，来得到控制者希望的视角图像；多个无人飞行器的机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；虚拟现实设备接收多个无人飞行器发送的机载摄像头拍摄到的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来，改善了用户体验，方便用户利用无人机进行特殊目的的侦测，提升无人飞行器的控制性与乐趣性。
附图说明
图1为本发明一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法流程图；
图2为本发明一种基于计算机视觉的利用无人飞行器实现虚拟现实的装置组成框图；
图3为本发明一个实施例的一种虚拟现实眼镜。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
如图1所示，一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法，包括如下步骤：
S1、手势信息采集处理装置采集控制者实时的控制多个无人飞行器的手势信息。
具体来说，手势信息采集处理装置用来采集控制者手势的深度信息，得到的深度信息可以估计控制者手部各标定点距离采集装置的距离信息。利用标定点之间的位置关系与深度信息之间的位置关系运算得到手势信息。
手势信息采集处理装置，具体是指可以探测得到深度信息的摄像头。这种摄像头有多种组成形式，可以由多个普通摄像头、普通摄像头加红外摄像头、普通摄像头加声呐传感器等构成。利用采集装置得到的深度信息可以估计控制者手部各标定点距离采集装置的距离信息，从而运算得到手势信息。手势信息包含单手或者双手动作，手掌，握拳，突出一个或者多个指头，挥手，抱拳等动作。本发明涵盖的范围不限于所列举的方法。
多个无人飞行器指2～8个无人飞行器。
S2、控制信号转换发送装置将步骤S1采集的手势信息转换为多个无人飞行器对应的姿态控制信号；并将所述姿态控制信号转换为相对应的多个无人飞行器的无线控制信号通过相对应通道向多个无人飞行器发送。
控制信号转换发送装置包括信号接收单元、姿态转换单元、信号处理单元、信号发送单元；所述信号接收单元接受手势信息采集单元发送来的控制者实时的控制多个无人飞行器的手势信息；所述姿态转换单元将接受到的控制者实时的控制多个无人飞行器的手势信息转换为多个无人飞行器对应的姿态控制信号；所述信号处理单元将所述姿态控制信号转换为相对应的多个无人飞行器的控制信号；所述信号发送单元将转换后的相对应的多个无人飞行器的控制信号向多个无人飞行器发送。
信号接收单元具体是指具有一定运算功能的智能终端(服务器终端，便携式电脑终端，智能手机终端，可移动通信终端)，也包括可以装配景深摄像头的便携式、穿戴式设备；姿态转换单元、信号处理单元作为核心控制装置通过将手势信息转换为无线控制信号通过信号发送单元发送无线控制命令来控制无人飞行器的飞行姿态。这里需要对信号进行两次转换：一是在利用姿态转换单元将步骤S1采集的手势信息转换为多个无人飞行器对应的姿态控制信号，所述姿态控制信号为文本控制命令；二是通过信号处理单元将所述姿态控制信号转换为相对应的多个无人飞行器的无线控制信号。无线控制信号为不同占空比的PWM波信号。
无人飞行器的飞行姿态包含起飞、降落、上升、下降、向前、向后、向左、向右、左转头、右转头。每种飞行姿态都对应于表1中的一个控制手势。
在本发明的一个实施例中，所述手势信息与无人飞行器的姿态的对应关系如下：
手部上升、下降分别对应无人飞行器上升、下降；
手部左移、右移分别对应无人飞行器左倾、右倾；
手部前进、后退分别对应无人飞行器前进、后退；
手部旋转对应无人飞行器转头。
表1普通遥控器与本发明实施例的控制方式对应关系表
普通飞行器遥控器 本发明实施例的控制方式
油门(决定飞机上升下降) 手部位置的上升下降
横滚(决定飞机左倾右倾飞行) 手部位置的左右偏移
俯仰(决定飞机前进后退) 手部位置的前后移动
偏航(决定机头转向) 手部自身的旋转
在确定手势的情况下采集得到其移动速度，利用式(1)将不同的手势位移信息s隐射到无人飞行器的位移S中去，α为放大倍数，可以依据不同需求进行调整。ε为修正值，可以对结果进行修正。
S＝αs+ε (1)
在转换得到无人飞行器的控制指令之后，可以通过发送装置包含Wi-Fi，2.4G，Wi-MAX等传输媒介进行传输。此种类型的设备包含单片机，中继器，2.4G信号发射器等。在得到当前控制信号的PWM占空比与目标占空比之后，可以利用式(2)来运算：
u ( t ) = K p [ e ( t ) + 1 T I ∫ 0 t e ( τ ) d τ + T D d ( e ( t ) ) d t ] - - - ( 2 )
其中Kp为比例放大系数，TI为积分时间，TD为微分时间，u(t)为计算所得PWM波占空比，e(t)为输入PWM波与设定值之间的误差，T为一个调节周期，0～t为一个调节周期内划分的单位时间片。利用回馈与目标值，调整PID的具体参数，可以使连续发射稳定变化的PWM波，使得控制信号平滑、迅速的转换到目标值，以防信号变化过于剧烈带来的无人飞行器抖动。
姿态转换模块可以按照预先设定好的发送序列发送控制信号，借助此项特性可以用来控制无人飞行器完成一些固定动作。即预先规划无人飞行器的飞行轨迹，速度，高度等信息，设计信号序列按照固定的时序发射，从而控制无人飞行器自动完成任务。本发明涵盖的范围不限于所列举的方法。
S3、多个无人飞行器同步接受步骤S2发送的控制无人飞行器飞行姿态的控制信号并同步响应，实时改变飞行姿态；控制机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备。
S4、虚拟现实设备接收多个无人飞行器发送的机载摄像头拍摄到的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来。
如图2所示，一种基于计算机视觉的利用无人飞行器机载摄像头实现虚拟现实的装置，包括：
手势信息采集处理装置：设置在控制者所佩戴的虚拟现实设备上，所处的角度和位置面向控制者的手部采集到控制者实时的控制多个无人飞行器的手势信息；将该手势信息发送给控制信号转换发送装置。
手势信息采集处理装置是指可以探测得到深度信息的摄像头，这种摄像头有多种组成形式，可以由多个普通摄像头、普通摄像头加红外摄像头、普通摄像头加声呐传感器等构成。
控制信号转换发送装置：接受手势采集处理装置发送来的控制多个无人飞行器手势信息，将其转换为与之对应的无线控制信号通过无线方式发送到多个无人飞行器来控制多个无人飞行器的飞行姿态。
控制信号转换发送装置包括信号接收单元、姿态转换单元、信号处理单元、信号发送单元；所述信号接收单元接受手势信息采集单元发送来的控制者实时的控制多个无人飞行器的手势信息；所述姿态转换单元将接受到的控制者实时的控制多个无人飞行器的手势信息转换为多个无人飞行器对应的姿态控制信号；所述信号处理单元将所述姿态控制信号转换为相对应的多个无人飞行器的控制信号；所述信号发送单元将转换后的相对应的多个无人飞行器的控制信号向多个无人飞行器发送。
多个无人飞行器：能够同步接受并响应控制信号转换发送装置发送的无人飞行器飞行姿态控制信号，根据对应的控制指令进行飞行姿态的改变，做到手势与多台无人飞行器姿态的统一；控制将机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备。
无人飞行器包括信号接收单元、视频信息采集单元和视频信息发送处理芯片；所述信号接收单元计接受控制信号转换发送装置发送的控制无人飞行器飞行姿态的控制信号；所述视频信息采集单元采集机载摄像头拍摄到的无人飞行器周围的实时视频信息；所述视频信息发送处理芯片将视频信息采集单元采集到的机载摄像头拍摄到的无人飞行器周围的实时视频信息发送给虚拟现实设备。
虚拟现实设备：接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来，方便控制者进行身临其境的体验，同时方便控制者根据目前状态来发送下一步的控制指令。
虚拟现实设备包括虚拟现实头盔、虚拟现实眼镜；所述虚拟现实设备上设置有视频信息接受单元、图像处理装置、显示装置；所述视频信息接受单元接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息；所述图像处理装置包含有微型处理器、图像处理器、运算单元，用来对接受到的多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息进行3D渲染与处理。所述显示装置用来实时显示经过图像处理装置处理之后得到的的实时3D视频信息。
如图3所示，一种虚拟现实眼镜100，包括第一显示屏101、第二显示屏102、手势采集装置103、控制信号转换发送以及将图片信息转换为对应实时3D影相装置104。
以上内容是结合具体的/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施例做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法，其特征在于，包括如下步骤：
S1、手势信息采集处理装置采集控制者实时的控制多个无人飞行器的手势信息；
S2、控制信号转换发送装置将步骤S1采集的手势信息转换为多个无人飞行器对应的姿态控制信号；并将所述姿态控制信号转换为相对应的多个无人飞行器的无线控制信号通过相对应通道向多个无人飞行器发送；
S3、多个无人飞行器同步接受步骤S2发送的控制无人飞行器飞行姿态的控制信号并同步响应，实时改变飞行姿态；控制机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；
S4、虚拟现实设备接收多个无人飞行器发送的机载摄像头拍摄到的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来。
2.如权利要求1所述的基于计算机视觉的利用无人飞行器实现虚拟现实的方法，其特征在于，所述手势信息采集处理装置能够采集控制者手势的深度信息，根据得到的深度信息可以估计控制者手部各标定点距离手势信息采集装置的距离信息；利用标定点之间的位置关系与深度信息之间的位置关系运算得到手势信息。
3.如权利要求1所述的基于计算机视觉的利用无人飞行器实现虚拟现实的方法，其特征在于，所述手势信息包括手部形状信息、手部移动信息；所述手部形状信息包含单手或者双手动作，手掌，握拳，突出一个或者多个指头，挥手，抱拳动作；所述手部移动信息包括起飞、降落、上升、下降、向前、向后、向左、向右、左转头、右转头动作。
4.如权利要求1所述的基于计算机视觉的利用无人飞行器实现虚拟现实的方法，其特征在于，在步骤S1中所述手势信息中手势的位移为s，所述步骤S2中所述姿态控制信号中无人飞行器的位移为S，满足：S＝αs+ε；其中，α为放大倍数，ε为修正参数。
5.如权利要求1所述的基于计算机视觉的利用无人飞行器实现虚拟现实的方法，其特征在于，步骤S2中姿态控制信号是文本控制命令；无线控制信号为不同占空比的PWM波信号。
6.一种基于计算机视觉的利用无人飞行器实现虚拟现实的装置，其特征在于，包括：
手势信息采集处理装置：设置在控制者所佩戴的虚拟现实设备上，所处的角度和位置面向控制者的手部采集到控制者实时的控制多个无人飞行器的手势信息；将该手势信息发送给控制信号转换发送装置；
控制信号转换发送装置：接受手势采集处理装置发送来的控制多个无人飞行器手势信息，将其转换为与之对应的无线控制信号通过无线方式发送到多个无人飞行器来控制多个无人飞行器的飞行姿态；
多个无人飞行器：能够同步接受并响应控制信号转换发送装置发送的无人飞行器飞行姿态控制信号，根据对应的控制指令进行飞行姿态的改变，做到手势与多台无人飞行器姿态的统一；控制将机载摄像头拍摄周围环境的实时视频信息并传回虚拟现实设备；
虚拟现实设备：接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息，经过3D处理与渲染之后在显示装置上实时显示出来，方便控制者进行身临其境的体验，同时方便控制者根据目前状态来发送下一步的控制指令。
7.如权利要求6所述的基于计算机视觉的利用无人飞行器实现虚拟现实的装置，其特征在于，所述手势信息采集处理装置是指可以探测得到深度信息的摄像头，这种摄像头有多种组成形式，可以由多个普通摄像头、普通摄像头加红外摄像头、普通摄像头加声呐传感器构成。
8.如权利要求6所述的基于计算机视觉的利用无人飞行器实现虚拟现实的装置，其特征在于，所述控制信号转换发送装置包括信号接收单元、姿态转换单元、信号处理单元、信号发送单元；所述信号接收单元接受手势信息采集单元发送来的控制者实时的控制多个无人飞行器的手势信息；所述姿态转换单元将接受到的控制者实时的控制多个无人飞行器的手势信息转换为多个无人飞行器对应的姿态控制信号；所述信号处理单元将所述姿态控制信号转换为相对应的多个无人飞行器的控制信号；所述信号发送单元将转换后的相对应的多个无人飞行器的控制信号向多个无人飞行器发送。
9.如权利要求6所述的基于计算机视觉的利用无人飞行器实现虚拟现实的装置，其特征在于，所述无人飞行器包括信号接收单元、视频信息采集单元和视频信息发送处理芯片；所述信号接收单元计接受控制信号转换发送装置发送的控制无人飞行器飞行姿态的控制信号；所述视频信息采集单元采集机载摄像头拍摄到的无人飞行器周围的实时视频信息；所述视频信息发送处理芯片将视频信息采集单元采集到的机载摄像头拍摄到的无人飞行器周围的实时视频信息发送给虚拟现实设备。
10.如权利要求6所述的基于计算机视觉的利用无人飞行器实现虚拟现实的装置，其特征在于，所述虚拟现实设备包括虚拟现实头盔、虚拟现实眼镜；所述虚拟现实设备上设置有视频信息接受单元、图像处理装置、显示装置；所述视频信息接受单元接受多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息；所述图像处理装置包含有微型处理器、图像处理器、运算单元，用来对接受到的多个无人飞行器发送的机载摄像头拍摄的周围环境的实时视频信息进行3D渲染与处理；所述显示装置被用来实时显示经过图像处理装置处理之后得到的实时3D视频信息。
CN201610645841.7A 2016-08-08 2016-08-08 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置 Pending CN106339079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610645841.7A CN106339079A (zh) 2016-08-08 2016-08-08 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610645841.7A CN106339079A (zh) 2016-08-08 2016-08-08 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置

Publications (1)

Publication Number Publication Date
CN106339079A true CN106339079A (zh) 2017-01-18

Family

ID=57824189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610645841.7A Pending CN106339079A (zh) 2016-08-08 2016-08-08 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置

Country Status (1)

Country Link
CN (1) CN106339079A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896918A (zh) * 2017-02-22 2017-06-27 亿航智能设备（广州）有限公司 一种虚拟现实设备及其视频播放方法
CN106933236A (zh) * 2017-02-25 2017-07-07 上海瞬动科技有限公司合肥分公司 一种骨架控制无人机放飞和回收的方法及装置
CN107193371A (zh) * 2017-04-28 2017-09-22 上海交通大学 一种基于虚拟现实的实时人机交互系统及方法
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN107943083A (zh) * 2017-12-11 2018-04-20 梁金凤 一种控制准确的飞行系统
CN107995464A (zh) * 2017-12-06 2018-05-04 中国南方电网有限责任公司超高压输电公司梧州局 一种应用于无人机的视频质量自适应的vr装置
CN108008726A (zh) * 2017-12-11 2018-05-08 朱明君 一种智能无人驾驶汽车
CN108700885A (zh) * 2017-09-30 2018-10-23 深圳市大疆创新科技有限公司 一种飞行控制方法、遥控装置、遥控系统
WO2018195892A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 三维立体水印添加方法、装置及终端
CN108881706A (zh) * 2017-05-16 2018-11-23 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN109062398A (zh) * 2018-06-07 2018-12-21 中国航天员科研训练中心 一种基于虚拟现实与多模态人机接口的航天器交会对接方法
CN109432724A (zh) * 2018-12-13 2019-03-08 福州大学 新型健身飞行器及其控制方法
WO2019144271A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN110968054A (zh) * 2018-10-01 2020-04-07 费希尔-罗斯蒙特系统公司 启用无人机的操作员轮班
WO2020199057A1 (zh) * 2019-03-30 2020-10-08 深圳市大疆创新科技有限公司 一种自动驾驶模拟系统、方法、设备及存储介质
WO2021109068A1 (zh) * 2019-12-05 2021-06-10 深圳市大疆创新科技有限公司 手势控制方法及可移动平台
CN113160371A (zh) * 2021-02-25 2021-07-23 深圳市新田科技有限公司 飞行模拟方法、装置、智能终端及计算机可读存储介质
CN113602493A (zh) * 2021-07-10 2021-11-05 山东交通学院 一种用于多角度同步拍摄的无人飞行器及其使用方法
CN114089784A (zh) * 2021-11-23 2022-02-25 广东工业大学 一种基于mr眼镜的无人机控制方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918020A (zh) * 2015-06-17 2015-09-16 宋克凡 一种无人机模拟驾驶显示装置
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN105629470A (zh) * 2016-01-15 2016-06-01 何军 头戴式显示器及其显示方法
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN105763790A (zh) * 2014-11-26 2016-07-13 鹦鹉股份有限公司 用于以沉浸模式来驾驶无人机的视频系统
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN205386330U (zh) * 2016-03-16 2016-07-20 成都风霆网络科技有限公司 一种无人机激光cs游戏对战系统
CN105828062A (zh) * 2016-03-23 2016-08-03 常州视线电子科技有限公司 无人机3d虚拟现实拍摄系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763790A (zh) * 2014-11-26 2016-07-13 鹦鹉股份有限公司 用于以沉浸模式来驾驶无人机的视频系统
CN104918020A (zh) * 2015-06-17 2015-09-16 宋克凡 一种无人机模拟驾驶显示装置
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN105629470A (zh) * 2016-01-15 2016-06-01 何军 头戴式显示器及其显示方法
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播系统
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN105759833A (zh) * 2016-02-23 2016-07-13 普宙飞行器科技（深圳）有限公司 一种沉浸式无人机驾驶飞行系统
CN205386330U (zh) * 2016-03-16 2016-07-20 成都风霆网络科技有限公司 一种无人机激光cs游戏对战系统
CN105828062A (zh) * 2016-03-23 2016-08-03 常州视线电子科技有限公司 无人机3d虚拟现实拍摄系统

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106896918A (zh) * 2017-02-22 2017-06-27 亿航智能设备（广州）有限公司 一种虚拟现实设备及其视频播放方法
CN106933236A (zh) * 2017-02-25 2017-07-07 上海瞬动科技有限公司合肥分公司 一种骨架控制无人机放飞和回收的方法及装置
CN107193371A (zh) * 2017-04-28 2017-09-22 上海交通大学 一种基于虚拟现实的实时人机交互系统及方法
WO2018195892A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 三维立体水印添加方法、装置及终端
CN108881706A (zh) * 2017-05-16 2018-11-23 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN108881706B (zh) * 2017-05-16 2023-10-10 北京三星通信技术研究有限公司 控制多媒体设备工作的方法及装置
CN108700885A (zh) * 2017-09-30 2018-10-23 深圳市大疆创新科技有限公司 一种飞行控制方法、遥控装置、遥控系统
CN108700885B (zh) * 2017-09-30 2022-03-01 深圳市大疆创新科技有限公司 一种飞行控制方法、遥控装置、遥控系统
WO2019061466A1 (zh) * 2017-09-30 2019-04-04 深圳市大疆创新科技有限公司 一种飞行控制方法、遥控装置、遥控系统
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质
CN107995464A (zh) * 2017-12-06 2018-05-04 中国南方电网有限责任公司超高压输电公司梧州局 一种应用于无人机的视频质量自适应的vr装置
CN107995464B (zh) * 2017-12-06 2024-04-02 中国南方电网有限责任公司超高压输电公司梧州局 一种应用于无人机的视频质量自适应的vr装置
CN108008726A (zh) * 2017-12-11 2018-05-08 朱明君 一种智能无人驾驶汽车
CN107943083A (zh) * 2017-12-11 2018-04-20 梁金凤 一种控制准确的飞行系统
WO2019144271A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
US12125229B2 (en) 2018-01-23 2024-10-22 SZ DJI Technology Co., Ltd. UAV control method, device and UAV
CN109062398A (zh) * 2018-06-07 2018-12-21 中国航天员科研训练中心 一种基于虚拟现实与多模态人机接口的航天器交会对接方法
CN109062398B (zh) * 2018-06-07 2021-06-29 中国航天员科研训练中心 一种基于虚拟现实与多模态人机接口的航天器交会对接方法
CN110968054A (zh) * 2018-10-01 2020-04-07 费希尔-罗斯蒙特系统公司 启用无人机的操作员轮班
CN109432724A (zh) * 2018-12-13 2019-03-08 福州大学 新型健身飞行器及其控制方法
WO2020199057A1 (zh) * 2019-03-30 2020-10-08 深圳市大疆创新科技有限公司 一种自动驾驶模拟系统、方法、设备及存储介质
WO2021109068A1 (zh) * 2019-12-05 2021-06-10 深圳市大疆创新科技有限公司 手势控制方法及可移动平台
CN113160371A (zh) * 2021-02-25 2021-07-23 深圳市新田科技有限公司 飞行模拟方法、装置、智能终端及计算机可读存储介质
CN113602493A (zh) * 2021-07-10 2021-11-05 山东交通学院 一种用于多角度同步拍摄的无人飞行器及其使用方法
CN113602493B (zh) * 2021-07-10 2023-05-23 山东交通学院 一种用于多角度同步拍摄的无人飞行器及其使用方法
CN114089784A (zh) * 2021-11-23 2022-02-25 广东工业大学 一种基于mr眼镜的无人机控制方法及系统

Similar Documents

Publication Publication Date Title
CN106339079A (zh) 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置
CN108476288B (zh) 拍摄控制方法及装置
CN107438804B (zh) 一种用于控制无人机的穿戴式设备及无人机系统
CN110610547B (zh) 基于虚拟现实的座舱实训方法、系统及存储介质
CN106054926A (zh) 一种无人机跟随系统及跟随飞行的控制方法
CN105898346A (zh) 控制方法、电子设备及控制系统
CN107027014A (zh) 一种动向智能投影系统及其方法
CN105607740A (zh) 一种基于计算机视觉的无人飞行器控制方法及装置
US20180150148A1 (en) Handheld interactive device and projection interaction method therefor
CN110969905A (zh) 混合现实的远程教学互动、教具互动系统及其互动方法
CN107749952B (zh) 一种基于深度学习的智能无人摄影方法和系统
CN205384512U (zh) 一种多功能无人机及无人机控制系统
CN105589466A (zh) 无人飞行器的飞行控制装置及其飞行控制方法
CN104090664B (zh) 一种交互式投影方法、装置及系统
CN104702871A (zh) 无人机投影显示方法、系统及装置
WO2018187916A1 (zh) 云台随动控制方法及控制设备
US20210112194A1 (en) Method and device for taking group photo
WO2018014420A1 (zh) 一种基于发光目标识别的无人机跟踪控制系统及方法
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN109076173A (zh) 输出影像生成方法、设备及无人机
WO2013111146A4 (en) System and method of providing virtual human on human combat training operations
CN105847682A (zh) 全景图像的拍摄方法、装置及系统
WO2019140686A1 (zh) 跟随控制方法、控制终端及无人机
CN108214497A (zh) 一种家庭助教智能机器人系统
CN206294286U (zh) 一种远程虚拟现实的实现系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170118

RJ01 Rejection of invention patent application after publication