KR102571330B1

KR102571330B1 - 피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법

Info

Publication number: KR102571330B1
Application number: KR1020210094894A
Authority: KR
Inventors: 정승호; 정승현
Original assignee: 주식회사 아르고스다인
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-08-29
Also published as: KR20230013875A; WO2023003100A1

Abstract

본 명세서는 드론에 의한 피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법에 관한 것으로, 드론에 의한 피사체 추적 촬영제어방법은 상기 드론에 의해 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받고, 상기 특정영역을 피사체로서 인식하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표를 획득하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 카메라의 방향각을 계산하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 상기 카메라의 확대배율을 계산하는 단계; 및 계산된 카메라의 방향각에 따라 카메라 짐볼을 구동시키고, 상기 카메라의 확대배율에 따라 카메라 줌을 조절하는 단계를 포함한다.

Description

피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법{CONTROL APPARATUS FOR SUBJECT TRACKING SHOOTING, DRONE AND OPERATION METHOD THEREOF}

본 발명의 일 실시예는 피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법에 관한 것으로, 보다 상세하게는 드론의 위치 및 피사체의 위치에 기초하여 드론에 탑재된 카메라의 촬영을 위한 각도와 줌을 제어하여 피사체를 추적 촬영하기 위한 제어장치, 드론 및 그것의 동작 방법에 관한 것이다.

무인 비행체란 '조종사를 태우지 않고 공기 역학적 힘에 의해 부양하여 자율적 또는 원격 조종에 의해 비행하며, 무기 또는 일반 화물을 실을 수 있는 일회용 또는 재사용할 수 있는 동력 비행체'를 의미한다. 이러한 무인 비행체 중에 초소형 무인 비행체를 드론이라고 한다.

드론은 다양한 산업 분야에 활용되고 있다. 보다 구체적으로, 종래에는 군용 및 취미용으로 사용되었으나, 최근 운송업 및 영화나 방송산업에 이르기까지 그 활용성이 매우 넓어지고 있으며, 활용목적에 따라 다양한 크기와 성능을 가진 비행체들이 다양하게 개발되고 있다. 특히, 정글이나 오지, 화산지역, 자연재해지역, 원자력 발전소 사고지역 등 인간이 접근할 수 없는 지역에 드론을 투입하여 운용하기도 한다.

한편, 카메라 짐볼은 카메라를 고정하지 않고 이동하면서 촬영할 때 그 흔들림을 전자적 방법으로 방지하는 장치를 의미하며, 보통 2축 또는 3축으로 구성되어 자이로 센서에서 기울기 정보를 모터로 전달하여 카메라가 제 자리에 위치하도록 모터를 작동시키는 방식으로 작동되고 있다.

비행중인 드론에서 피사체를 촬영시, 카메라와 피사체와의 위치가 계속하여 변경되므로, 대상체를 영상의 중심에 나오도록 촬영하는 것이 쉽지 않다.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 본 발명은 비행중인 드론 상에서, 대상체를 능동적으로 추적 촬영하는 장치, 드론 및 방법을 제공하고자 한다.

이를 위하여, 본 발명의 일 실시예에 따른 드론에 의한 피사체 추적 촬영제어방법은 상기 드론에 의해 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받고, 상기 특정영역을 피사체로서 인식하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표를 획득하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 상기 피사체를 영상의 중앙에 위치시키기 위한 카메라의 방향각을 계산하는 단계; 상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 상기 카메라의 확대배율을 계산하는 단계; 및 계산된 카메라의 방향각에 따라 카메라 짐볼을 구동시키고, 상기 카메라의 확대배율에 따라 카메라 줌을 조절하는 단계를 포함한다. 하는 것을 특징으로 하는 드론에 의한 피사체 추적 촬영제어방법.

일 실시예에서, 상기 카메라의 방향각을 계산하는 단계는, 상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출하고, 상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하는 것을 특징으로 한다.

일 실시예에서, 상기 카메라의 확대배율을 계산하는 단계는, 상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하는 것을 특징으로 한다.

일 실시예에서, 상기 카메라에서 측정되는 피사체의 길이(D1)는 하기 수학식에 기초하여 산출되는 것을 특징으로 한다.

[수학식 1]

상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각-90°)

일 실시예에서, 상기 드론의 위치좌표와 피사체의 위치좌표를 획득하는 단계에서, 상기 드론의 위치좌표는 상기 드론에 탑재된 센서부로부터 획득하고, 상기 피사체의 위치좌표는 서버 또는 사용자 단말로부터 수신받는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 드론은 탑재된 카메라에 의해 촬영된 영상을 획득하는 영상획득부; 상기 카메라의 방향각을 제어하는 카메라 짐볼; 상기 촬영된 영상을 송부하고, 상기 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받는 통신부; 상기 설정된 특정영역을 피사체로서 인식하는 물체인식부; 상기 드론에 탑재된 센서에 의해 위치좌표를 생성하는 센서부; 및 상기 드론의 위치좌표와 상기 통신부를 통해 서버 또는 사용자 단말로부터 획득한 상기 피사체의 위치좌표에 기초하여 카메라의 방향각과 확대배율을 계산하고, 계산된 카메라의 방향각과 확대배율에 따라 상기 카메라 짐볼과 상기 카메라의 줌을 조절하는 촬영제어부를 포함할 수 있다.

일 실시예에서, 상기 촬영제어부는, 상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출하고, 상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하는 것을 특징으로 한다.

일 실시예에서, 상기 촬영제어부는, 상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하는 것을 특징으로 한다.

일 실시예에서, 상기 특정영역은 사각형이고, 상기 피사체의 위치좌표는 상기 피사체의 피사체 중심의 위치좌표이며, 상기 피사체의 대각선 길이(D2)는 상기 통신부를 통해 서버 또는 사용자 단말로부터 수신받는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 드론의 피사체 추적 촬영제어장치는 드론에 탑재된 카메라에 의해 촬영된 영상 및 드론으로부터 드론의 위치좌표를 수신받는 통신부; 상기 촬영된 영상으로부터 사용자로부터 특정영역을 설정받는 입력부; 상기 설정된 특정영역을 피사체로서 인식하는 물체인식부; 상기 드론의 위치좌표와 상기 입력부를 통해 입력받은 상기 피사체의 위치좌표에 기초하여 카메라의 방향각 및 확대배율을 계산하는 연산부; 및 상기 카메라의 방향각 및 확대배율을 제어하는 제어 신호를 생성하여 상기 통신부를 통해 상기 드론에 전송하는 신호 생성부를 포함한다.

일 실시예에서, 상기 연산부는, 상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출하고, 상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하는 것을 특징으로 한다.

일 실시예에서, 상기 연산부는, 상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하는 것을 특징으로 한다.

일 실시예에서, 상기 연산부는, 상기 드론의 비행경로에 기초하여 비행경로 상의 예상 시각의 예상 위치좌표를 연산하고, 연산된 예상 위치좌표와 상기 피사체의 위치좌표에 기초하여 카메라의 방향각 및 확대배율을 계산하는 것을 특징으로 한다.

본 발명에 따르면, 비행중인 드론 상에서, 사용자의 제어없이도 자동으로 대상체를 능동적으로 추적 촬영할 수 있다.

도 1은 본 발명의 실시예에 따른 카메라를 장착한 드론을 나타내기 위한 개략적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 피사체 추적 촬영 기능을 갖는 드론의 구성을 개략적으로 나타낸 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 드론의 피사체 추적 촬영제어방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 드론의 피사체 추적 촬영제어방법을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 카메라의 방향각을 계산하는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 카메라의 확대배율을 계산하는 방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 피사체 추적 촬영제어장치의 구성을 개략적으로 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.

도 1은 본 발명의 실시예에 따른 카메라를 장착한 드론을 나타내기 위한 개략적인 도면이다.

도 1에 도시된 바와 같이, 드론(1)의 일측면 또는 하방에 설치되는 무인항공기 탑재용 카메라(10)가 촬영하는 영상정보를 이용하여 특정물체를 피사체로 인식하고 능동적으로 추적 촬영을 할 수 있다. 여기서 능동적 추적 촬영이란 드론(10)의 위치와 피사체의 위치에 기초하여 카메라(10)가 피사체에 초점을 맞추어 촬영할 수 있도록 카메라(10)의 촬영 방향각을 제어하여 피사체를 추적 촬영하는 것을 말한다. 이를 통해 드론 및/또는 피사체가 움직이는 상황에도 피사체는 촬영된 영상의 중앙부분에 위치할 수 있게 된다.

도면에는 상기 카메라(10)가 드론(1)의 전방 및 하방에 장착되는 것으로 표시되었으나 이에 한정하지 않고 추적대상 및 환경에 따라 무인항공기(1)의 후방 및 상방에 장착될 수 있다.

일 실시예에 따른 드론(1)은 카메라(10)에 의해 촬영되는 영상을 저장하거나 실시간으로 미리 설정된 외부 장치에 전송할 수 있다.

도 2는 본 발명의 일 실시예에 따른 피사체 추적 촬영 기능을 갖는 드론의 구성을 개략적으로 나타낸 블럭도이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 드론(1)은 크게 센서부(105), 비행부(110), 영상획득부(120), 물체인식부(130) 및 촬영제어부(140)를 포함하고, 통신부(150) 및 저장부(160)를 더 포함할 수 있다.

센서부(105)는 자이로 센서 및 GPS 센서 등을 포함할 수 있고 드론(1)의 가속도, 회전각 및 위치 등을 측정하여 비행부(110) 및 촬영제어부(140)로 전달한다.

자이로 센서는 이동로봇의 각속도 정보를 수집한다. 자이로 센서는 3축 센서인 것이 바람직하다. 즉, 자이로 센서는 x축, y축, z축의 3축의 각속도 정보를 수집할 수 있다. 3축 자이로 센서에서 감지하는 x축, y축 및 z축의 3축의 각속도를 각각 롤(Roll), 피치(Pitch), 요(Yaw)라고 한다. 구체적으로 x축을 중심으로 회전하는 것을 롤(Roll), y축을 중심으로 회전하는 것을 피치(Pitch), z축을 중심으로 회전하는 것을 요(Yaw)라고 한다.

GPS 센서는 드론의 현 위치를 인지하기 위해, 위치좌표를 주기적 비주기적으로 획득할 수 있다.

비행부(110)는 드론(1)의 비행경로에 따라 구동명령을 생성하고, 생성된 구동명령에 따라 프로펠러를 구동하는 복수의 모터를 구동시킨다. 여기서 구동명령은 이동방향, 이동거리, 회전, 고도의 상승 및 하강, 착륙 및 이륙을 포함할 수 있다.

비행경로는 자율비행 소프트웨어(FMS)에 따라 설정되는 비행경로를 따라 비행할 수 있다. 자율비행 소프트웨어에 따르면 드론(10)이 비행할 지형을 나타내는 3차원 좌표 정보에 기반하여 비행경로가 설정될 수 있다. 비행경로는 현재 위치와 목적지 위치에 기초하여 생성할 수 있고, 통신부(150)를 통해 외부 장치(예를 들어 컨트롤러)로부터 직접 구동명령을 전달받아 상기 복수의 모터를 구동시킬 수 있다. 현재 위치와 목적지 위치는 사용자 단말 또는 서버로부터 수신받아 설정할 수 있다.

일 실시예에서, 비행부(110)는 후술하는 물체인식부(130)에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성할 수도 있다.

영상획득부(120)는 카메라(10) 및 카메라 짐볼(20)을 포함하며, 비행중인 상태에서 피사체를 촬영하여 영상을 획득할 수 있다. 카메라 짐볼(20)은 카메라의 촬영 방향각 조절이 가능하며, 카메라 짐볼(20)의 회전 각도 내에서 회전함으로써 영상의 중심을 이동시킬 수 있다. 카메라 짐볼(20)은 자이로 센서에서 기울기 정보를 모터로 전달하여 카메라의 촬영각도를 제어하도록 모터를 작동시키는 방식으로 작동될 수 있다.

일 실시예에서, 카메라 짐볼(20)은 촬영제어부(140)의 제어 신호에 따라 카메라(10)의 촬영 방향각을 제어한다. 또한, 카메라(10)는 촬영제어부(140)의 제어 신호에 따라 카메라(10)의 줌을 조정하여 피사체를 촬영한다.

영상획득부(120)는 촬영된 영상을 저장부(160)에 저장하거나 통신부(150)를 통해 실시간으로 미리 설정된 외부 장치에 전송할 수 있다.

물체인식부(130)는 후술되는 통신부(150)를 통해 사용자 단말 또는 서버로부터 특정영역을 설정받고, 설정된 특정영역을 피사체로서 인식한다. 상기 특정영역은 직사각형 또는 정사각형이다.

상기 피사체의 위치좌표는 상기 사각형의 4개의 꼭지점의 좌표이며, 상기 피사체의 대각선 길이(D2)는 상기 피사체의 위치좌표에 의해 계산된다. 또는 상기 피사체의 위치좌표는 상기 특정영역의 중심점의 좌표이며, 이러한 경우, 피사체의 대각선 길이(D2)는 사용자 단말 도는 서버로부터 입력받을 수 있다.

촬영제어부(140)는 피사체를 능동 추적 촬영하기 위하여, 센서부(105)의 센서부(105)에 의해 획득한 드론(1)의 위치와 통신부(150)를 통해 사용자 단말 또는 서버로부터 획득한 추적대상 물체의 위치에 기초하여, 카메라(10)의 방향각 및 줌값을 연산하고, 연산 결과에 따라 카메라 짐볼(20)의 틸팅각도 및 카메라(10)의 줌을 조정한다.

통신부(150)는 무선 통신 방식으로 외부 장치와 정보를 송수신한다. 예를 들어, 컨트롤러 또는 서버로부터 주행을 위한 구역정보, 주행 경로, 주행 명령 등을 수신받을 수 있고, 촬영된 영상을 서버 또는 사용자 단말에 전송할 수 있다.

여기서, 구역 정보는 비행 제한 구역(A) 정보, 접근 제한 거리 정보를 포함할 수 있다.

무선 통신 방법은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 사용될 수 있다.

무선 통신 방법은 무선 인터넷 기술이 사용될 수 있다. 무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G 등이 있다. 특히 5G 통신망을 이용하여 데이터를 송수신함으로써 보다 빠른 응답 이 가능하다.

저장부(160)는 피사체 추적 촬영을 위한 각종 데이터 및 카메라(10)에 의해 촬영된 영상을 저장한다. 저장부(160)는 저장된 정보를 촬영 제어부(140) 등의 다른 구성요소의 요청에 따라 제공할 수 있다.

이하에서 다른 실시예로써, 상술한 바와 같은 구성을 갖는 본 발명에 따른 드론의 피사체 추적 촬영제어방법에 대해 도 3 내지 도 6을 참조하여 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 드론의 피사체 추적 촬영제어방법을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 드론의 피사체 추적 촬영제어방법을 설명하기 위한 개략도이고, 도 5는 본 발명의 일 실시예에 따른 카메라의 방향각을 계산하는 방법을 설명하기 위한 개념도이고, 도 6은 본 발명의 일 실시예에 따른 카메라의 확대배율을 계산하는 방법을 설명하기 위한 개념도이다.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 드론의 피사체 추적 촬영제어방법은, 먼저, 단계 S110에서, 상기 드론에 의해 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받고, 상기 특정영역을 피사체로서 인식한다.

일 실시예에서, 도 4에 도시하는 바와 같이, 드론(1)이 비행경로를 비행 중, 비행경로 주변을 촬영하여 영상을 획득하여 서버 또는 사용자 단말에 제공한다. 서버 또는 사용자 단말을 통해 사용자는 촬영된 영상에서 특정영역을 설정함으로써 피사체를 인식한다.

다른 변형예에서, 드론(1)이 미리 저장되거나 전송받은 피사체 위치좌표에 기초하여, 피사체 위치좌표 주변을 비행하여 주변을 촬영한다. 드론(1)은 촬영된 이미지 상에서 특징점을 이용하여 추적대상 물체를 인식할 수 있다. 이미지 상에서 추출한 특징점과 미리 설정된 피사체의 특징점의 유사도를 확인하여, 미리 설정된 유사도 이상의 유사도를 갖는 추적대상을 물체를 피사체로서 인식할 수 있다. 이와 같이 드론이 특징점을 이용하여 피사체를 인식한 경우에도, 사용자 단말 또는 서버를 통해 피사체를 확인받을 수 있다.

드론(1)이 비행중에 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하도록 할 수 있다.

다음으로, 단계 S120에서, 드론(1)의 위치좌표와 상기 피사체의 위치좌표를 획득한다. 드론(1)의 위치좌표는 상기 드론(1)에 탑재된 센서부로부터 획득하고, 상기 피사체의 위치좌표는 서버 또는 사용자 단말로부터 수신받아 획득할 수 있다.

다른 변형예에서, 피사체의 위치좌표는 미리 저장된 지도 정보와 지도 정보에 매칭되는 위치좌표에 기초하여 획득할 수 있다. 예를 들어, 드론이 특징점의 유사도에 기초하여 인식된 피사체를 미리 저장된 지도와 매칭시켜 위치를 확인하고, 지도상에 확인된 위치와 매칭되는 위치좌표를 확인할 수 있다.

일 실시예에서, 드론(1)이 특정영역의 중심점 좌표와 특정영역의 대각선 길이를 수신받는 것을 예시하였으나, 다른 실시예에서, 특정영역의 네 꼭지점의 위치좌표를 모두 수신받고, 중심점의 좌표 및 대각선의 위치좌표로부터 대각선의 길이를 산출할 수도 있다.

다음으로, 단계 S130에서, 드론(1)에 마련된 센서부(105)의 센싱값에 기초하여 드론(1)의 위치좌표와 피사체의 위치좌표에 기초하여 카메라의 방향각을 계산할 수 있다.

도 5를 참조하면, 상기 드론(1)의 위치좌표를 중심으로 북쪽방향과 상기 드론(1) 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출한다. 다시 말하면 진행방향과의 각도(α)는 드론(1)으로부터 북쪽방향을 가리키는 가상의 직선(l1)과 상기 드론(1)의 진행방향을 가리키는 가상의 직선(l2) 사이의 각도이고, 피사체와의 각도(θ)는 드론(1)으로부터 북쪽방향을 가리키는 가상의 직선(l1)과 드론(1)으로부터 피사체(target)를 가리키는 가상의 직선(l3) 사이의 각도이다.

또한, 상기 피사체와 상기 드론과의 고도차이(h_d)를 드론(1)에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출한다. 드론(1)에서 피사체까지의 거리(d)는 드론의 위치좌표와 피사체의 위치좌표에 기초하여 두 점 사이의 거리공식에 따라 산출된다.

다음으로, 단계 S140에서, 드론(1)에 마련된 센서부(105)의 센싱값에 기초하여 드론(1)의 위치좌표와 피사체의 위치좌표에 기초하여 확대배율을 계산할 수 있다.

상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산한다.

상기 카메라에서 측정되는 피사체의 길이(D1)는 하기 수학식1에 기초하여 산출된다.

[수학식 1]

상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각 대각선의 방위각(∠B)-90°)

상기 카메라 화각은 카메라의 기종마다 서로 상이할 수 있고, 미리 저장되거나 사용자 단말 및 서버로부터 입력받을 수 있다.

도 6을 참조하여, 수학식 1의 유도과정을 살펴보면, 드론으로부터 카메라 방향쪽을 가리키는 직선(m1)과 드론의 카메라에서 촬영한 이미지 상의 피사체의 길이(D1)를 갖는 수직한 직선(m2)을 양변으로 하는 가상의 직사각형(stuv)을 상기 특정영역(opqr)의 한 꼭지점(o)에 맞추어 위치시킨다.

드론(1)으로부터 북쪽 방향을 가리키는 가상의 직선과 카메라의 방향이 가리키는 가상의 직선 사이의 각도를 카메라 방위각(∠A)이라고 한다.

피사체로 인식되는 사각형 형태의 특정영역(opqr)의 대각선(oq)과 만나는 한 변과의 사이의 각도를 대각선의 방위각(∠B)이라고 한다.

특정영역(opqr)의 변op와 상기 가상의 직사각형(stuv)의 변(st) 사이의 각도(∠F)는 90°- 카메라 방위각(∠A)과 같다.

또한, 가상의 직사각형(stuv)의 변(st)와 특정영역(opqr)의 대각선(oq) 사이의 각도(∠ C)와 상기 각도(∠F)의 합은 대각선의 방위각(∠B)과 같다.

이를 수학식으로 나타내면, 수학식 2와 같다.

[수학식 2]

각도(∠ C)+ 각도(∠F)= 대각선의 방위각(∠B)

수학식 2에서 대각선의 방위각(∠B)- 각도(∠ C)= 각도(∠F)이고, 각도(∠F)= 90°- 카메라 방위각(∠A)이므로, 대각선의 방위각(∠B)- 각도(∠ C)= 90°- 카메라 방위각(∠A)으로 나타낼 수 있고, 각도(∠ C)= 대각선의 방위각(∠B)+ 카메라 방위각(∠A)- 90°로 나타낼 수 있다.

결국, 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cosC 에서, 각도(∠ C)를 대각선의 방위각(∠B)+ 카메라 방위각(∠A)- 90°로 나타내면, 수학식 1인

상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각 대각선의 방위각(∠B)-90°)이 유도된다.

다음으로, 단계 S150에서, 계산된 카메라의 방향각에 따라 카메라 짐볼(20)을 구동시키고, 카메라(10)의 확대배율에 따라 카메라 줌을 조절한다.

계산된 카메라의 방향각에 따라 카메라 짐볼(20)을 구동시키는 제1 제어신호를 생성하고, 카메라(10)의 확대배율에 따라 카메라 줌을 조절하는 제2 제어신호를 생성한다. 제1 제어신호는 상기 카메라 짐볼(20)에 전달하여 카메라의 방향각을 제어하고, 제2 제어신호는 카메라(10)에 전달하며 카메라의 줌을 제어한다.

도 7은 본 발명의 일 실시예에 따른 피사체 추적 촬영제어장치의 구성을 개략적으로 나타낸 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 피사체 추적 촬영제어장치(200)는 통신부(210), 입력부(220), 물체인식부(230), 연산부(240) 및 신호생성부(250)를 포함할 수 있다. 또한, 피사체 추적 촬영제어장치(200)는 출력부(미도시)를 더 포함할 수 있다.

통신부(210)는 드론과 정보를 송수신한다. 예를 들어, 통신부(210)는 드론에 탑재된 카메라에 의해 촬영된 영상 및 드론으로부터 드론의 위치좌표를 수신받는다. 수신받은 영상 및 드론의 위치좌표는 물체인식부(230) 및 연산부(240)에 전달될 수 있다. 또한, 신호 생성부(250)에 의해 생성된 신호를 드론에 탑재된 카메라 짐볼 및 카메라에 전달할 수 있다.

입력부(220)는 사용자의 입력 동작을 입력 신호로 변환하여 다른 구성요소 예를 들어 물체인식부(230) 및 연산부(240)에 전달한다.

입력부(220)는 예를 들어 키보드, 마우스, 터치스크린 상의 터치센서, 터치패드, 키패드, 음성 입력, 기타 현재, 과거에 가능하거나 미래에 가능해질 입력 처리 장치들로써 구현될 수 있다. 입력부(220)는 예를 들어 출력부(미도시)에 출력된 촬영 영상으로부터 사용자로부터 특정영역을 설정받는다.

일 실시예에서 특정영역을 설정받기 위해서 입력부(220)는 특정영역을 설정하기 위한 인터페이스를 제공하고, 상기 인터페이스를 통해 특정영역을 선택받아 물체인식부(230)에 전달한다.

연산부(240)는 통신부(210)를 통해 수신받은 드론의 위치좌표와 상기 입력부(220)를 통해 입력받은 상기 피사체의 위치좌표에 기초하여 카메라의 방향각 및 확대배율을 계산한다.

연산부(240)에 의해서 카메라의 방향각을 산출하는 방법은 도 3의 단계 S130에서 산출하는 방법과 유사하므로 상세한 설명은 생략한다.

연산부(240)에 의해서 확대배율을 산출하는 방법은 도 3의 단계 S140에서 산출하는 방법과 유사하므로 상세한 설명은 생략한다.

신호 생성부(250)는 연산부(240)에 의해 연산된 상기 카메라의 방향각 및 확대배율에 따른 제어신호를 생성하여 드론에 전달함으로써 카메라 짐볼의 방향각 및 카메라의 줌을 제어한다.

다른 실시예에서, 피사체 추적 촬영제어장치(200)는 비행경로를 미리 입력받아, 각 경로 상에 위치하기 이전에 드론의 예상 위치좌표와 피사체의 위치좌표에 기초하여 카메라 짐볼의 방향각과 카메라 줌을 제어하기 위한 연산을 끝마침으로써, 드론이 비행경로에 예상 위치에 도달할 때의 시간을 미리 예측하고 예측시각에 맞추어 카메라 짐볼의 방향각 및 카메라의 줌을 제어할 수 있다.

이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서가 속하는 기술분야의 통상의 지식을 가진 자는 본 명세서가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 명세서의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 명세서의 범위에 포함되는 것으로 해석되어야 한다.

한편, 본 명세서와 도면에는 본 명세서의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 명세서의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 명세서의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 명세서의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

1 : 드론
10 : 카메라
20 : 카메라 짐볼
105 : 센서부
110 : 비행부
120 : 영상획득부
130 : 물체인식부
140 : 촬영제어부
150 : 통신부
160 : 저장부

Claims

드론에 의한 피사체 추적 촬영제어방법으로서,
상기 드론에 의해 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받고, 상기 특정영역을 피사체로서 인식하는 단계;
상기 드론의 위치좌표와 상기 피사체의 위치좌표를 획득하는 단계;
상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 상기 피사체를 영상의 중앙에 위치시키기 위한 카메라의 방향각을 계산하는 단계;
상기 드론의 위치좌표와 상기 피사체의 위치좌표에 기초하여 상기 카메라의 확대배율을 계산하는 단계; 및
계산된 카메라의 방향각에 따라 카메라 짐볼을 구동시키고, 상기 카메라의 확대배율에 따라 카메라 줌을 조절하는 단계
를 포함하고,
상기 카메라의 방향각을 계산하는 단계는,
상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론의 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출하고,
상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하고ㅡ
상기 카메라의 확대배율을 계산하는 단계는,
상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하고,
상기 카메라에서 측정되는 피사체의 길이(D1)는 하기 수학식에 기초하여 산출되는 것을 특징으로 하는 드론에 의한 피사체 추적 촬영제어방법.
[수학식 1]
상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각-90°)
삭제
삭제
삭제
제1항에 있어서,
상기 드론의 위치좌표와 피사체의 위치좌표를 획득하는 단계에서,
상기 드론의 위치좌표는 상기 드론에 탑재된 센서부로부터 획득하고, 상기 피사체의 위치좌표는 서버 또는 사용자 단말로부터 수신받는 것을 특징으로 하는 드론에 의한 피사체 추적 촬영제어방법.
드론에 탑재된 카메라에 의해 촬영된 영상을 획득하는 영상획득부;
상기 카메라의 방향각을 제어하는 카메라 짐볼;
상기 촬영된 영상을 송부하고, 상기 촬영된 영상으로부터 사용자로부터 설정된 특정영역을 서버 또는 사용자 단말로부터 수신받는 통신부;
상기 설정된 특정영역을 피사체로서 인식하는 물체인식부;
상기 드론에 탑재된 센서에 의해 위치좌표를 생성하는 센서부; 및
상기 드론의 위치좌표와 상기 통신부를 통해 서버 또는 사용자 단말로부터 획득한 상기 피사체의 위치좌표에 기초하여 카메라의 방향각과 확대배율을 계산하고, 계산된 카메라의 방향각과 확대배율에 따라 상기 카메라 짐볼과 상기 카메라의 줌을 조절하는 촬영제어부를 포함하고,
상기 촬영제어부는,
상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론의 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 상기 카메라 짐볼의 요(yaw) 각도로 산출하고,
상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하고,
상기 촬영제어부는,
상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하고,
상기 촬영제어부는,
상기 카메라에서 측정되는 피사체의 길이(D1)는 하기 수학식에 기초하여 산출되는 드론.
[수학식 1]
상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각-90°)
삭제
삭제
삭제
제6항에 있어서,
상기 특정영역은 사각형이고, 상기 피사체의 위치좌표는 상기 피사체의 피사체 중심의 위치좌표이며,
상기 피사체의 대각선 길이(D2)는 상기 통신부를 통해 서버 또는 사용자 단말로부터 수신받는 것을 특징으로 하는 드론.
드론에 탑재된 카메라에 의해 촬영된 영상 및 드론으로부터 드론의 위치좌표를 수신받는 통신부;
상기 촬영된 영상으로부터 사용자로부터 특정영역을 설정받는 입력부;
상기 설정된 특정영역을 피사체로서 인식하는 물체인식부;
상기 드론의 위치좌표와 상기 입력부를 통해 입력받은 상기 피사체의 위치좌표에 기초하여 카메라의 방향각 및 확대배율을 계산하는 연산부; 및
상기 카메라의 방향각 및 확대배율을 제어하는 제어 신호를 생성하여 상기 통신부를 통해 상기 드론에 전송하는 신호 생성부
를 포함하고,
상기 연산부는,
상기 드론의 위치좌표를 중심으로 북쪽방향과 상기 드론의 진행방향과의 각도(α)와 상기 북쪽방향과 상기 피사체와의 각도(θ)의 합을 카메라 짐볼의 요(yaw) 각도로 산출하고,
상기 피사체와 상기 드론과의 고도차이(h_d)를 드론에서 피사체까지의 거리(d)로 나눈 값의 아크탄젠트값을 상기 카메라 짐볼의 롤(roll) 각도로 산출하고,
상기 연산부는,
상기 드론과 피사체와의 거리(D), 상기 카메라에서 측정되는 피사체의 길이(D1) 및 카메라 화각에 기초하여 상기 카메라의 확대배율을 계산하고,
상기 연산부는,
상기 카메라에서 측정되는 피사체의 길이(D1)는 하기 수학식에 기초하여 산출되는 것을 특징으로 하는 드론의 피사체 추적 촬영제어장치.
[수학식 1]
상기 카메라에서 측정되는 피사체의 길이(D1)=피사체의 대각선 길이(D2)×cos(카메라 방향각(A)+피사체로서 특정영역의 대각선 방향각-90°)
삭제
삭제
삭제
제11항에 있어서,
상기 연산부는,
상기 드론의 비행경로에 기초하여 비행경로 상의 예상 시각의 예상 위치좌표를 연산하고, 연산된 예상 위치좌표와 상기 피사체의 위치좌표에 기초하여 카메라의 방향각 및 확대배율을 계산하는 것을 특징으로 하는 드론의 피사체 추적 촬영제어장치.