Nothing Special   »   [go: up one dir, main page]

KR20210088142A - 무인비행체의 표적 감지 추적 시스템 - Google Patents

무인비행체의 표적 감지 추적 시스템 Download PDF

Info

Publication number
KR20210088142A
KR20210088142A KR1020200001295A KR20200001295A KR20210088142A KR 20210088142 A KR20210088142 A KR 20210088142A KR 1020200001295 A KR1020200001295 A KR 1020200001295A KR 20200001295 A KR20200001295 A KR 20200001295A KR 20210088142 A KR20210088142 A KR 20210088142A
Authority
KR
South Korea
Prior art keywords
target
unit
target detection
unmanned aerial
aerial vehicle
Prior art date
Application number
KR1020200001295A
Other languages
English (en)
Other versions
KR102307079B1 (ko
Inventor
홍성경
이보혜
정한솔
박지훈
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200001295A priority Critical patent/KR102307079B1/ko
Publication of KR20210088142A publication Critical patent/KR20210088142A/ko
Application granted granted Critical
Publication of KR102307079B1 publication Critical patent/KR102307079B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • B64U70/90—Launching from or landing on platforms
    • B64U70/95—Means for guiding the landing UAV towards the platform, e.g. lighting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B64C2201/18—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템은 무인비행체에 마련되어 착륙 지점의 표적을 감지하는 표적 감지부; 상기 표적을 추적하도록 상기 표적 감지부가 장착되며, 2축을 기준으로 회전 가능하도록 상기 무인비행체에 마련되는 표적 추적부; 상기 표적 추적부를 2축 기준으로 회전 구동시키는 짐벌 제어부; 및 상기 표적 감지부에서 감지된 상기 표적의 영상으로부터 상기 무인비행체와 상기 표적 사이의 상대 거리를 추정하는 표적 상대 거리 추정부;를 포함할 수 있다.

Description

무인비행체의 표적 감지 추적 시스템{SYSTEM FOR DETECTING AND TRACKING TARGET OF UNMANNED AERIAL VEHICLE}
본 발명은 무인비행체의 표적 감지 추적 시스템에 관한 것으로, 보다 상세하게는 영상센서를 탑재한 짐벌을 운용하여 자동 정밀 착륙 동안 표적을 추적할 수 있는 무인비행체의 표적 감지 추적 시스템에 관한 것이다.
최근 4차 산업 혁명의 한 부분으로 드론의 자율비행 및 자동화 시스템에 대한 연구가 활발하게 진행되고 있다. 그에 따라 다양한 분야에서 드론을 포함하는 무인비행체의 활용이 고려되고 있다. 특히, 물류배송과 같은 상업분야에서의 활용이 빠르게 확대되고 있으며, 미국의 아마존, UPS, 독일의 DHL, 중국의 알리바바 등 물류 업체에서 멀티콥터형 드론의 자율비행을 이용한 물류배송 서비스를 시범운영하고 있다.
이처럼 자율비행은 드론을 포함하는 무인비행체의 핵심 기술 요소로 자리 잡고 있으며, 그 중 자동 착륙은 자율 비행 중 높은 수준의 기술을 요구하고 있어 국내외로 관련 연구가 활발히 진행되고 있다.
초기의 자동 착륙은 GPS를 사용하여 지정한 착륙 위치와 드론의 현재 위치를 매칭하여 착륙을 수행하였다. 하지만 이러한 방식은 측위 위성의 개수 및 건물, 날씨 등과 같은 환경적인 요인에 영향을 받아 위치 오차가 발생하기도 한다.
GPS 센서를 활용한 자동 착륙 정확도 평가에 따르면 30회 자동 착륙 수행시 1.4m의 평균 오차를 나타내 정밀 착륙을 기대하기 어렵다는 한계가 있다.
최근 멀티콥터형 드론의 자동 정밀 착륙의 연구 동향을 살펴보면 GPS 자동 착륙에 비해 착륙 정밀도가 높은 영상센서에 의한 자동 착륙에 관한 연구가 활발히 진행 되고 있다. 그러나 이러한 연구들은 대부분 영상센서를 활용하여 객체를 검출하는 기법 연구에 대해 치중되어 있다. 실제 외란 요소가 크게 작용하는 실외에서 자동 착륙을 수행할 경우 저고도에서 멀티콥터가 바람에 의해 밀리게 되면서 착륙 지점의 표적을 손실하여 정밀 착륙을 수행하지 못하는 문제점이 있다.
또한, 상업적인 목적 뿐만 아니라 군수 산업에서도 드론의 자율비행 및 자동화가 요구되고 있다. 이를 위해서는 무인 자동 충전이 가능해야 하며 가장 필요한 기술이 바로 정밀한 착륙이다. 일반적으로 자동화된 플랫폼에서 드론은 스테이션에 착륙하게 되는데 이는 매우 협소한 공간이다. 착륙 공간이 협소할 경우 착륙 시 바람이 불거나 외란이 발생하면 정밀한 착륙이 불가능하며 착륙 자체가 불가능하다는 문제점이 있다.
본 출원인은, 상기와 같은 문제점을 해결하기 위하여, 본 발명을 제안하게 되었다.
한국등록특허공보 제10-1619836호(2016.05.03.)
본 발명은 상기한 문제점을 해결하기 위하여 제안된 것으로, 바람과 같은 외란 환경에서 무인비행체의 정밀 착륙을 수행하기 위해 짐벌을 사용하여 표적을 감지하고 추적할 수 있는 무인비행체의 표적 감지 추적 시스템을 제공한다.
본 발명은 표적과의 상대거리오차가 커질 상황을 고려하여 짐벌을 장착하여 센서가 표적을 추적할 수 있는 무인비행체의 표적 감지 추적 시스템을 제공한다.
상기한 바와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템은 무인비행체에 마련되어 착륙 지점의 표적을 감지하는 표적 감지부; 상기 표적을 추적하도록 상기 표적 감지부가 장착되며, 2축을 기준으로 회전 가능하도록 상기 무인비행체에 마련되는 표적 추적부; 상기 표적 추적부를 2축 기준으로 회전 구동시키는 짐벌 제어부; 및 상기 표적 감지부에서 감지된 상기 표적의 영상으로부터 상기 무인비행체와 상기 표적 사이의 상대 거리를 추정하는 표적 상대 거리 추정부;를 포함할 수 있다.
상기 표적 감지부는 상기 표적의 영상 위치 정보를 상기 짐벌 제어부 또는 상기 표적 상대 거리 추정부에 전달할 수 있다.
상기 표적 감지부는 상기 표적의 영상 위치 정보를 픽셀 좌표로 생성할 수 있다.
상기 짐벌 제어부는, 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표를 전달 받아 상기 표적이 상기 표적 감지부의 영상화면 중심에 위치하도록 상기 표적 추적부를 제어할 수 있다.
상기 짐벌 제어부는, 상기 표적 감지부의 영상화면의 중심 픽셀 좌표를 기준으로 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표와의 오차를 이용하여 상기 표적 추적부를 제어할 수 있다.
상기 짐벌 제어부는, 상기 표적 감지부의 영상화면 중심 픽셀 좌표를 명령으로 입력받고 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표를 피드백 받아 중심 픽셀 좌표와 상기 표적의 픽셀 좌표 사이의 오차를 계산하여 PD 제어를 수행할 수 있다.
상기 표적 상대 거리 추정부는, 상기 표적 감지부의 영상화면의 중심 픽셀 좌표를 기준으로 상기 표적 감지부에서 감지된 상기 표적의 실제 상대 거리를 추정하고, 상기 표적의 추적에 따른 상기 표적 추적부의 자세 또는 각도를 보정하여 상기 무인비행체와 상기 표적의 상대 거리를 추정할 수 있다.
상기 표적 상대 거리 추정부는, 상기 표적 감지부의 영상화면의 x 픽셀 수와 y 픽셀 수를 이용하여 단위 픽셀당 거리비를 구하고, 상기 표적 감지부의 영상화면의 중심 픽셀 좌표와 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표 사이의 오차, 상기 단위 픽셀당 거리비 및 상기 표적 감지부와 지상 사이의 거리(H)를 이용하여 영상화면상 표적의 상대 거리를 추정할 수 있다.
상기 짐벌 제어부는, 상기 표적 추적부에 적용되는 좌표계에서 추정한 영상화면상 표적의 상대 거리를 상기 표적 추적부가 틀어진 각도에 따라 관성좌표계에서의 상대 거리로 변환할 수 있다.
본 발명에 따른 무인비행체의 표적 감지 추적 시스템은 바람이나 기타 외란이 무인비행체에 작용하는 경우에도 무인비행체가 표적을 감지하여 추적하게 할 수 있다.
본 발명에 따른 무인비행체의 표적 감지 추적 시스템은 바람이나 기타 외란이 무인비행체에 작용하더라도 무인비행체와 표적의 상대 거리 오차가 커지는 것을 방지할 수 있다.
본 발명에 따른 무인비행체의 표적 감지 추적 시스템은 무인비행체가 자동으로 표적에 정밀하게 착륙하게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템의 개략적인 구성을 설명하기 위한 도면이다.
도 2는 도 1에 따른 시스템의 짐벌 제어부의 구조를 도시한 도면이다.
도 3은 도 1에 따른 시스템의 표적 감지부에 의해 표적을 추적하는 동안 표적의 픽셀 좌표를 보여주는 도면이다.
도 4는 도 1에 따른 시스템의 표적 감지부의 표적 픽셀 좌표를 설명하기 위한 도면이다.
도 5는 도 1에 따른 시스템에서 표적의 상대 거리를 추정하는 과정을 설명하기 위한 도면이다.
도 6은 도 1에 따른 시스템의 표적 감지부의 영상 화면 거리를 설명하기 위한 도면이다.
도 7은 도 1에 따른 시스템에 적용되는 관성좌표계와 기체좌표계를 설명하기 위한 도면이다.
도 8은 도 1에 따른 시스템의 표적 상대 거리 추정 결과를 검증하는 과정을 설명하기 위한 도면이다.
도 9는 도 1에 따른 시스템의 x축 표적 상대 거리 추정 검증 결과를 보여주는 도면이다.
도 10은 도 1에 따른 시스템의 y축 표적 상대 거리 추정 검증 결과를 보여주는 도면이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템의 개략적인 구성을 설명하기 위한 도면, 도 2는 도 1에 따른 시스템의 짐벌 제어부의 구조를 도시한 도면, 도 3은 도 1에 따른 시스템의 표적 감지부에 의해 표적을 추적하는 동안 표적의 픽셀 좌표를 보여주는 도면, 도 4는 도 1에 따른 시스템의 표적 감지부의 표적 픽셀 좌표를 설명하기 위한 도면, 도 5는 도 1에 따른 시스템에서 표적의 상대 거리를 추정하는 과정을 설명하기 위한 도면, 도 6은 도 1에 따른 시스템의 표적 감지부의 영상 화면 거리를 설명하기 위한 도면, 도 7은 도 1에 따른 시스템에 적용되는 관성좌표계와 기체좌표계를 설명하기 위한 도면, 도 8은 도 1에 따른 시스템의 표적 상대 거리 추정 결과를 검증하는 과정을 설명하기 위한 도면, 도 9는 도 1에 따른 시스템의 x축 표적 상대 거리 추정 검증 결과를 보여주는 도면, 도 10은 도 1에 따른 시스템의 y축 표적 상대 거리 추정 검증 결과를 보여주는 도면이다..
도 1을 참조하면, 본 발명의 일 실시예에 따른 무인비행체(10)의 표적 감지 추적 시스템(100)은 무인비행체(10)에 마련되어 착륙 지점의 표적을 감지하는 표적 감지부(110); 상기 표적을 추적하도록 상기 표적 감지부(110)가 장착되며, 2축을 기준으로 회전 가능하도록 상기 무인비행체(10)에 마련되는 표적 추적부(120); 상기 표적 추적부(120)를 2축 기준으로 회전 구동시키는 짐벌 제어부(130); 및 상기 표적 감지부(110)에서 감지된 상기 표적의 영상으로부터 상기 무인비행체(10)와 상기 표적 사이의 상대 거리를 추정하는 표적 상대 거리 추정부(140);를 포함할 수 있다.
본 발명의 일 실시예에 따른 무인비행체(10)의 표적 감지 추적 시스템(100)은 드론(drone), 쿼드콥터(quadcopter), 멀티콥터(multicopter) 등의 무인비행체에 적용되는 시스템이다. 이하에서 "무인비행체"는 드론 또는 멀티콥터 등을 포함하는 개념이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 무인비행체(10)의 표적 감지 추적 시스템(100)은 비행 제어부(150)를 더 포함할 수 있다. 비행 제어부(150)는 무인비행체(10)의 자율비행을 제어할 뿐만 아니라 짐벌 제어부(130), 표적 감지부(110) 및 표적 상대 거리 추정부(140)의 작동 상태를 제어할 수도 있다.
무인비행체(10)의 운용을 위해 지원하는 비행 모드는 크게 4가지로 분류할 수 있는데, 무인비행체(10)의 자세 및 방위를 제어하는 자세제어(Stabilized), 고도 유지가 가능한 고도제어(Alt Hold), GPS를 통한 위치제어(Pos Hold), 지정 경로비행이 가능한 자동비행(Auto Mission)으로 분류할 수 있다. 비행 제어부(150)는 이러한 4가지 비행 모드를 제어할 수 있다.
비행 제어부(150)의 자세 제어기는 무인비행체의 롤, 피치 자세와 방위각을 제어하고 다중 루프 형태의 PID(Proportional-Integral-Derivative)제어로 구성되어 있으며, 각도를 제어하는 외부 루프(Outer Loop)와 각속도를 제어하는 내부 루프(Inner Loop)로 구성될 수 있다. 또한, 자세제어기 출력(Control Output)을 무인비행체의 형태에 따라 BLDC 모터 구동을 위한 구동드라이버의 PWM입력 값으로 변환해주는 추력분배(Control Allocation) 로직을 포함할 수 있다.
자세제어기의 자세 및 방위각 명령과 피드백은 쿼터니언(quaternion)으로 명령과 피드백의 오차 계산이 이루어진다. 외부 루프는 롤, 피치의 자세 및 방위각을 제어하며 P(Proportional) 제어기로 구성되어 있고, 내부 루프는 외부 루프에서 계산된 각속도 명령과 각속도 피드백의 오차를 이용하여 각속도를 제어하며 PID 제어로 구성되어 있는 다중 루프 형태의 제어 구조를 가질 수 있다. 자세제어기의 외부 루프에서 쿼터니언 오차에 의해 계산된 각속도 명령은 입력 값을 제한하는 안전 로직을 통해 과도한 명령이 들어가지 않도록 설계될 수 있다.
추력 분배 로직은 자세제어기 출력 값을 멀티콥터의 형태에 따라서 각 모터의 구동드라이버 입력인 PWM 값으로 변환 하는 역할을 하며 범위는 1000 ∼ 2000 [us]로 되어 있다. 추력 분배는 자세 및 방위각 제어기의 출력과 스로틀(Throttle) 명령 값 또는 고도제어기의 출력 값을 이용하여 계산될 수 있다.
상기와 같이 구성된 본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템(100)은 무인비행체(10)의 자동 정밀 착륙 수행 동안 착륙완료 시점까지 표적(target)을 감지하고 추적할 수 있다.
상기 표적 감지부(110)는 IR 표적을 감지하기 위한 IR 감지 센서로 마련될 수 있다. 표적 추적부(120)는 IR 표적을 표적 감지부(110)가 추적할 수 있도록 롤/틸트 구동이 가능한 2축 짐벌(gimbal)로 마련될 수 있다. 짐벌 제어부(130)는 표적 감지부(110)에서 제공되는 표적의 픽셀 좌표를 이용하여 표적 추적부(120)를 제어하고 표적 추적부(120)의 자세를 측정할 수 있다.
본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)은 자동 정밀 착륙 지점의 표적을 감지하여 무인비행체와 표적 간의 상대적 거리를 측정하기 위해 시각 기반의 IR 위치 인식 시스템으로 구성될 수 있다. 예를 들면, 표적은 IR을 방사하는 MarkOne Beacon으로 마련되고 표적 감지부(110)는 IR lock sensor로 마련될 수 있다.
표적 감지부(110)는 화면 영상에서 감지한 IR 표적의 x,y 픽셀 위치와 표적이 화면 내에서 차지하는 면적 등의 정보를 통신 인터페이스를 통해 확인할 수 있다.
한편, 표적 추적부(120)는 표적 감지부(110)가 장착되는 구조물로서 표적 감지부(110)가 표적을 감지하고 추적할 수 있도록 롤(roll)/틸트(tilt) 구동이 가능한 2축 서보 모터 짐벌로 마련될 수 있다. 짐벌 제어부(130)는 IR 감지 센서로 마련되는 표적 감지부(110)로부터 표적의 영상 위치 정보 확인 및 서보 짐벌에 PWM 명령 인가, 표적의 추적을 통해 변화하는 짐벌의 자세를 측정할 수 있다.
짐벌 제어부(130)는 표적 감지부(110)에서 감지된 표적의 픽셀 좌표를 제공 받아 표적이 항상 표적 감지부(110)의 영상화면 중심에 맞춰지도록 짐벌의 PWM을 제어할 수 있다.
도 4(a)에는 표적 감지부(110)의 영상화면이 예시적으로 도시되어 있다. 표적 감지부(110)의 영상화면은 x축이 320 픽셀(pixel), y축이 200 픽셀로 되어 있다. 도 4(a)에서 표적 감지부(110)의 영상화면 중심 픽셀 좌표는
Figure pat00001
이고, 감지된 표적의 픽셀 좌표는
Figure pat00002
이다. 이와 같이, 표적 감지부(110)는 상기 표적의 영상 위치 정보를 픽셀 좌표로 생성할 수 있다.
표적 감지부(110)는 상기 표적의 영상 위치 정보 즉, 표적의 픽셀 좌표를 짐벌 제어부(130) 또는 표적 상대 거리 추정부(140)에 전달할 수 있다.
한편, 짐벌 제어부(130)는, 표적 감지부(110)에서 감지된 상기 표적의 픽셀 좌표를 전달 받아 상기 표적이 표적 감지부(110)의 영상화면 중심에 위치하도록 표적 추적부(120)의 구동을 제어할 수 있다.
여기서, 짐벌 제어부(130)는 도 2에 도시된 바와 같이 PD(Proportional-Derivative, 비례미분)제어로 구성될 수 있다. 도 2를 참조하면, 짐벌 제어부(130)는 IR 감지 센서로 마련되는 표적 감지부(110)의 중심 픽셀 좌표
Figure pat00003
를 제어기 명령(Center position)으로 입력 받고, 표적 감지부(110)에서 감지한 표적의 픽셀 좌표
Figure pat00004
를 피드백 받아(Target position) 중심 픽셀 좌표와 상기 표적의 픽셀 좌표 사이의 오차(Position Error)를 계산하여 PD제어를 수행할 수 있다. 사용된 표적 추적부(120) 즉, 짐벌 구동부는 PWM신호 1ms ~ 2ms 구간에서 작동되는 서보 모터로 구성되어 있어 PWM 신호 1.5ms를 기준으로 롤/틸트 구동이 가능하다.
이와 같이, 짐벌 제어부(130)는, 표적 감지부(110)의 영상화면의 중심 픽셀 좌표를 기준으로 표적 감지부(110)에서 감지된 상기 표적의 픽셀 좌표와의 오차를 이용하여 표적 추적부(120)의 구동을 제어할 수 있다.
본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)을 무인비행체(10)에 탑재하여 무인비행체의 비행 동안 IR 표적 추적 성능을 확인해 보았다. 약 2m 고도에서 롤/피치 명령을 각각 주었을 때 표적의 추적을 확인하였다. 표적 추적부(120) 즉, 짐벌의 자세 변화를 확인할 수 있었고, 표적 감지부(110) 즉, IR 감지 센서의 중심 좌표로부터 감지한 표적의 픽셀 좌표는 도 3과 같다. 픽셀 오차는 X축 평균 12, Y축 평균 8이며 표준편차는 19이다.
도 3은 표적 감지부(110)의 영상화면 내에서 표적의 픽셀 좌표 변화를 보여준다. 도 3에서 "Target Pos"는 표적의 픽셀 좌표이고, "Center Pos"는 영상화면 중심의 픽셀 좌표이다.
상기에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)은, 무인비행체(10)의 정밀 착륙을 위한 표적 위치 인식을 위해 IR 감지 센서(표적 감지부, 110)로부터 제공되는 표적의 영상 위치 정보를 이용한다. 표적 감지부(110)는 감지한 IR 표적의 중심점이 영상화면 내에서 어느 픽셀에 위치하고 있는지를 알려준다. 도 4(b)~(d)는 IR 표적을 감지하였을 경우 표적 감지부(110)의 영상화면의 예를 보여준다. 도 4(b)는 표적 감지부(110)의 한 예인 IR lock sensor이고, 도 4(c)는 표적 감지부(110)의 영상화면 내에 나타난 IR 표적을 보여주며, 도 4(d)는 IR 표적 중심점이 영상화면 내 어느 픽셀에 위치하는지 보여준다.
본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)은 IR 감지 센서로 마련되는 표적 감지부(110)를 사용하여 IR 표적의 상대 거리를 추정하기 위해서 표적 감지부(110)의 영상화면 상 표적의 중심 픽셀 위치를 기반으로 표적의 실제 상대 거리를 추정한 다음, 짐벌을 통한 IR 표적 추적에 따른 짐벌의 자세 또는 각도를 보정해 줌으로써 최종적으로 무인비행체(10)와 표적간의 상대 거리를 추정할 수 있다.
도 5는 무인비행체(10)와 표적(IR Target)의 상대 거리를 추정하는 과정을 설명하기 위한 도면이다. 도 5에서 θ는 표적 감지부(110)의 시야각(field of view)을 의미하고, d는 x축/y축 방향 거리를 의미하며, H는 무인비행체(10) 또는 표적 감지부(110)의 고도(Altitude)를 의미한다.
삼각함수에서 두 점 사이의 거리를 구하는 하기 [수학식 1]을 이용하여 표적 감지부(110)가 하방을 바라볼 때 표적의 상대 거리를 추정할 수 있다. 도 6에서 표적 감지부(110)와 지상과의 거리(H)를 1m로 가정할 때 고도(H)에 따른 영상 화면의 x, y의 거리비 dx, dy를 구한다.
Figure pat00005
표적 감지부(110)의 시야각(field of view)은 θx=60°, θy=35°이므로 고도(H) 1m에서 영상 화면의 거리비 dx, dy는 다음 [수학식 2]와 같다.
Figure pat00006
[수학식 2]에서 구한 영상 화면의 x, y 거리비 dx, dy에 각각 x, y 화면의 픽셀 값을 나누어 주면 단위 1픽셀 당 거리비를 구할 수 있다. 표적 감지부(110)의 x 픽셀 개수는 320, y 픽셀 개수는 200이므로 단위 1픽셀 당 거리비 px, py는 다음 [수학식 3]과 같다.
Figure pat00007
상기 표적 상대 거리 추정부(140)는, 표적 감지부(110)의 영상화면의 중심 픽셀 좌표를 기준으로 표적 감지부(110)에서 감지된 상기 표적의 실제 상대 거리를 추정할 수 있다. 즉, 표적 감지부(110)의 영상화면 중심 좌표와 표적의 중심 좌표를 통해 영상 화면상 표적의 상대 거리를 추정할 수 있다. 도 5에서 우측 그림은 표적 감지부(110)에서 표적을 감지하였을 때의 예를 보여주며, x0, y0는 표적 감지부(110)의 중심 좌표를 의미하고, xt, yt는 표적의 중심 좌표를 의미한다.
하기 [수학식 4]를 통해 고도(H)에 따른 영상 화면상 표적의 상대 거리를 추정할 수 있다.
Figure pat00008
[수학식 4]에서 알 수 있듯이, 표적 상대 거리 추정부(140)는, 표적 감지부(110)의 영상화면의 x 픽셀 수와 y 픽셀 수를 이용하여 단위 픽셀당 거리비(px, py)를 구하고, 표적 감지부(110)의 영상화면의 중심 픽셀 좌표와 표적 감지부(110)에서 감지된 상기 표적의 픽셀 좌표 사이의 오차, 상기 단위 픽셀당 거리비 및 표적 감지부(110)와 지상 사이의 거리(H)를 이용하여 영상화면상 표적의 상대 거리(xreal. yreal)를 추정할 수 있다.
한편, 상기 표적 상대 거리 추정부(140)는 상기 표적의 추적에 따른 표적 추적부(120) 즉, 짐벌의 자세 또는 각도를 보정하여 무인비행체(10)와 상기 표적의 상대 거리를 추정할 수 있다.
표적 감지부(110)로 표적을 감지하여 영상 화면상 표적의 상대 거리를 추정 한 뒤, 표적 추적에 의해 틀어진 표적 추적부(120) 즉, 짐벌의 각도에 대하여 보상해 주어야 한다. 짐벌과 같은 표적 추적부(120)를 무인비행체에 장착할 때 무인비행체(10)의 자세 축과 표적 추적부(120)의 자세 축을 동일하게 부착하여 짐벌좌표계를 기체좌표계로 가정한다.
또한, 본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)에서 사용된 표적 추적부(120)는 롤/틸트 구동이 가능한 2축 짐벌이기 때문에, 짐벌의 방위각(heading angle)은 무인비행체(10)의 방위각과 같다고 가정한다. 따라서 도 7과 같이 관성좌표계와 기체좌표계(짐벌좌표계)를 나타낼 수 있다.
기체좌표계(짐벌좌표계)에서 추정한 영상 화면상 표적의 상대 거리를 표적 추적부(120)인 짐벌의 틀어진 각도에 따라 기체좌표계에서 표적의 상대 거리
Figure pat00009
을 관성좌표계로 변환해주는 [수학식 5]를 통해 관성좌표계에서의 상대 거리
Figure pat00010
로 변환한다. 이때 c, s는 각각 cos, sin을 뜻하고 Φ, θ, ψ는 각각 표적 추적부(120)의 roll, pitch, yaw 각을 의미한다.
Figure pat00011
이와 같이, 상기 짐벌 제어부(130)는, [수학식 5]를 사용하여 상기 표적을 추적하면서 틀어진 표적 추적부(120)의 자세 또는 각도를 보상할 수 있다.
또한, 상기 짐벌 제어부(130)는, 표적 추적부(120)에 적용되는 좌표계에서 추정한 영상화면상 표적의 상대 거리를 표적 추적부(120)가 틀어진 각도에 따라 관성좌표계에서의 상대 거리로 변환할 수 있다.
상기에서 추정한 표적의 상대 거리를 검증하기 위하여, 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 표적 감지 추적 시스템(100)이 적용된 무인비행체(10)를 약 고도 2m 상공에 매달아 놓은 상태에서 표적을 움직이면서 실제 움직인 거리와 추정한 표적의 상대 거리를 비교하는 검증 실험을 진행하였다. 표적은 x, y축별로 각각 -0.5~0.5m의 거리를 0.1m 간격으로 이동하면서 상대 거리를 측정하였다.
실제 표적이 이동한 거리(측정 거리)에 따라 표적의 상대 거리 추정(추정 거리) 값 및 그에 따른 오차 거리를 비교하여 검증하였다. 검증 결과 x축에 대한 표적의 상대 거리 추정 결과는 측정 거리 대비 약 0.6636cm의 평균 오차를 보였고, y축에 대해서는 약 0.7909cm의 평균 오차를 보였다.
측정
거리
(cm)
-50
-40
-30
-20
-10
0
10
20
30
40
50
추정
거리
(cm)
-50.2
-38.5
-28.9
-18.8
-10.1
-0.4
10.3
21.3
30.3
40.7
50.2
오차
(cm)		 -0.2 1.5 1.1 1.2 -0.1 -0.4 0.3 1.3 0.3 0.7 0.2
[표 1]은 x축 표적 상대 거리 검증 결과이다.
도 9(a)는 측정거리와 추정거리의 일치 여부를 보여주는 그래프이고, 도 9(b)는 측정거리와 추정거리의 오차를 보여주는 그래프이다.
측정
거리
(cm)
-50
-40
-30
-20
-10
0
10
20
30
40
50
추정
거리
(cm)
-51.3
-41.2
-30.5
-18.9
-10.7
0.1
10.2
19.6
28.2
39.0
50.4
오차
(cm)		 -1.3 -1.2 -0.5 1.1 -0.7 0.1 0.2 -0.4 -1.8 -1.0 0.4
[표 2]는 y축 표적 상대 거리 검증 결과이다.
도 10(a)는 측정거리와 추정거리의 일치 여부를 보여주는 그래프이고, 도 10(b)는 측정거리와 추정거리의 오차를 보여주는 그래프이다.
상기에서 설명한 바와 같이 본 발명의 일 실시예에 따른 무인비행체의 표적 감지 추적 시스템은 영상센서와 같은 표적 감지부를 탑재한 짐벌을 운용함으로써 자동 정밀 착륙시 표적을 감지하고 추적할 수 있기 때문에 무인비행체의 정밀한 착륙을 수행할 수 있다.
이상과 같이 본 발명의 일 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10: 무인비행체
100: 무인비행체의 표적 감지 추적 시스템
110: 표적 감지부
120: 표적 추적부
130: 짐벌 제어부
140: 표적 상대 거리 추정부
150: 비행 제어부

Claims (9)

  1. 무인비행체에 마련되어 착륙 지점의 표적을 감지하는 표적 감지부;
    상기 표적을 추적하도록 상기 표적 감지부가 장착되며, 2축을 기준으로 회전 가능하도록 상기 무인비행체에 마련되는 표적 추적부;
    상기 표적 추적부를 2축 기준으로 회전 구동시키는 짐벌 제어부; 및
    상기 표적 감지부에서 감지된 상기 표적의 영상으로부터 상기 무인비행체와 상기 표적 사이의 상대 거리를 추정하는 표적 상대 거리 추정부;
    를 포함하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  2. 제1항에 있어서,
    상기 표적 감지부는 상기 표적의 영상 위치 정보를 상기 짐벌 제어부 또는 상기 표적 상대 거리 추정부에 전달하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  3. 제2항에 있어서,
    상기 표적 감지부는 상기 표적의 영상 위치 정보를 픽셀 좌표로 생성하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  4. 제3항에 있어서,
    상기 짐벌 제어부는,
    상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표를 전달 받아 상기 표적이 상기 표적 감지부의 영상화면 중심에 위치하도록 상기 표적 추적부를 제어하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  5. 제4항에 있어서,
    상기 짐벌 제어부는,
    상기 표적 감지부의 영상화면의 중심 픽셀 좌표를 기준으로 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표와의 오차를 이용하여 상기 표적 추적부를 제어하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  6. 제3항에 있어서,
    상기 짐벌 제어부는,
    상기 표적 감지부의 영상화면 중심 픽셀 좌표를 명령으로 입력받고 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표를 피드백 받아 중심 픽셀 좌표와 상기 표적의 픽셀 좌표 사이의 오차를 계산하여 PD 제어를 수행하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  7. 제5항에 있어서,
    상기 표적 상대 거리 추정부는,
    상기 표적 감지부의 영상화면의 중심 픽셀 좌표를 기준으로 상기 표적 감지부에서 감지된 상기 표적의 실제 상대 거리를 추정하고, 상기 표적의 추적에 따른 상기 표적 추적부의 자세 또는 각도를 보정하여 상기 무인비행체와 상기 표적의 상대 거리를 추정하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  8. 제7항에 있어서,
    상기 표적 상대 거리 추정부는,
    상기 표적 감지부의 영상화면의 x 픽셀 수와 y 픽셀 수를 이용하여 단위 픽셀당 거리비를 구하고,
    상기 표적 감지부의 영상화면의 중심 픽셀 좌표와 상기 표적 감지부에서 감지된 상기 표적의 픽셀 좌표 사이의 오차, 상기 단위 픽셀당 거리비 및 상기 표적 감지부와 지상 사이의 거리(H)를 이용하여 영상화면상 표적의 상대 거리를 추정하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
  9. 제8항에 있어서,
    상기 짐벌 제어부는,
    상기 표적 추적부에 적용되는 좌표계에서 추정한 영상화면상 표적의 상대 거리를 상기 표적 추적부가 틀어진 각도에 따라 관성좌표계에서의 상대 거리로 변환하는 것을 특징으로 하는 무인비행체의 표적 감지 추적 시스템.
KR1020200001295A 2020-01-06 2020-01-06 무인비행체의 표적 감지 추적 시스템 KR102307079B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200001295A KR102307079B1 (ko) 2020-01-06 2020-01-06 무인비행체의 표적 감지 추적 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200001295A KR102307079B1 (ko) 2020-01-06 2020-01-06 무인비행체의 표적 감지 추적 시스템

Publications (2)

Publication Number Publication Date
KR20210088142A true KR20210088142A (ko) 2021-07-14
KR102307079B1 KR102307079B1 (ko) 2021-09-30

Family

ID=76862983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001295A KR102307079B1 (ko) 2020-01-06 2020-01-06 무인비행체의 표적 감지 추적 시스템

Country Status (1)

Country Link
KR (1) KR102307079B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102447601B1 (ko) * 2021-11-22 2022-09-27 주식회사 파블로항공 무인 비행체의 이동 방법 및 그 무인 비행체
CN115562330A (zh) * 2022-11-04 2023-01-03 哈尔滨工业大学 一种抑制类场风扰的无人机控制方法
KR102624503B1 (ko) * 2023-06-30 2024-01-12 주식회사 네스앤텍 드론에 장착된 짐벌의 각도 오차 보정 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619836B1 (ko) 2016-02-05 2016-05-11 (주)아세아항측 드론을 이용한 초분광 원격모니터링 시스템
KR20170123801A (ko) * 2016-04-29 2017-11-09 주식회사 아이디프라임 무인비행체의 이착륙용 수평위치 정확도 유지방법 및 그 장치
JP2019128944A (ja) * 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619836B1 (ko) 2016-02-05 2016-05-11 (주)아세아항측 드론을 이용한 초분광 원격모니터링 시스템
KR20170123801A (ko) * 2016-04-29 2017-11-09 주식회사 아이디프라임 무인비행체의 이착륙용 수평위치 정확도 유지방법 및 그 장치
JP2019128944A (ja) * 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102447601B1 (ko) * 2021-11-22 2022-09-27 주식회사 파블로항공 무인 비행체의 이동 방법 및 그 무인 비행체
CN115562330A (zh) * 2022-11-04 2023-01-03 哈尔滨工业大学 一种抑制类场风扰的无人机控制方法
CN115562330B (zh) * 2022-11-04 2023-08-22 哈尔滨工业大学 一种抑制类场风扰的无人机控制方法
KR102624503B1 (ko) * 2023-06-30 2024-01-12 주식회사 네스앤텍 드론에 장착된 짐벌의 각도 오차 보정 방법

Also Published As

Publication number Publication date
KR102307079B1 (ko) 2021-09-30

Similar Documents

Publication Publication Date Title
US6704619B1 (en) Method and system for universal guidance and control of automated machines
Wu et al. Vision-aided inertial navigation for flight control
KR102307079B1 (ko) 무인비행체의 표적 감지 추적 시스템
EP3759561B1 (en) Drone control system
US5716032A (en) Unmanned aerial vehicle automatic landing system
Warren et al. There's no place like home: visual teach and repeat for emergency return of multirotor UAVs during GPS failure
CN105182992A (zh) 无人机的控制方法、装置
US20150046017A1 (en) Method And System For Remotely Controlling A Vehicle
EP2118713A2 (en) Precision approach control
KR102288346B1 (ko) 무인비행체 자동 정밀 착륙 시스템 및 방법
US10429857B2 (en) Aircraft refueling with sun glare prevention
Cho et al. Autonomous ship deck landing of a quadrotor UAV using feed-forward image-based visual servoing
US12110129B2 (en) Autonomous landing systems and methods for vertical landing aircraft
CN110837257B (zh) 一种基于iGPS与视觉的AGV复合定位导航系统
Wang et al. Guidance, navigation and control of an unmanned helicopter for automatic cargo transportation
Oh et al. Indoor UAV control using multi-camera visual feedback
Weiss et al. Inertial optical flow for throw-and-go micro air vehicles
Kwak et al. Autonomous UAV target tracking and safe landing on a leveling mobile platform
Mebarki et al. Autonomous landing of rotary-wing aerial vehicles by image-based visual servoing in GPS-denied environments
Mercado et al. Quadrotor's trajectory tracking control using monocular vision navigation
Dufek et al. Visual pose stabilization of tethered small unmanned aerial system to assist drowning victim recovery
Lyu et al. Simultaneously multi-uav mapping and control with visual servoing
Laiacker et al. Automatic aerial retrieval of a mobile robot using optical target tracking and localization
US20210018926A1 (en) Navigation Method and System
McArthur et al. Pose-estimate-based target tracking for human-guided remote sensor mounting with a UAV

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right