Nothing Special   »   [go: up one dir, main page]

KR20240035530A - 모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법 - Google Patents

모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR20240035530A
KR20240035530A KR1020247004580A KR20247004580A KR20240035530A KR 20240035530 A KR20240035530 A KR 20240035530A KR 1020247004580 A KR1020247004580 A KR 1020247004580A KR 20247004580 A KR20247004580 A KR 20247004580A KR 20240035530 A KR20240035530 A KR 20240035530A
Authority
KR
South Korea
Prior art keywords
mobile platform
target
distance
vector
vectors
Prior art date
Application number
KR1020247004580A
Other languages
English (en)
Inventor
야이르 칸
니르 버슈타인
오하드 볼보비치
알론 파라지
아밋 나티브
Original Assignee
엘빗 시스템즈 씨4아이 앤드 사이버 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘빗 시스템즈 씨4아이 앤드 사이버 엘티디. filed Critical 엘빗 시스템즈 씨4아이 앤드 사이버 엘티디.
Publication of KR20240035530A publication Critical patent/KR20240035530A/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/644—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/46—Control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/20—Aircraft, e.g. drones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/20—Aircraft, e.g. drones
    • G05D2109/25—Rotorcrafts
    • G05D2109/254—Flying platforms, e.g. multicopters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

이미징 장치에 의해, 상기 타겟을 포함하는 장면의 이미지를 획득하는 단계; 이미지 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계; 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계; 및 거리 감지 장치로, 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려 시도하는 결과로서 출력을 거리 감지 장치에 의해 생성하는 단계를 이용함으로써, 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고 원점에서 장면에 위치된 타겟을 향해 플랫폼에서 이미지 장치를 사용하여 모바일 플랫폼을 탐색하기 위한 시스템 및 방법에 대한 양태이다. 상기 모바일 플랫폼은 상기 거리 감지 장치에 의해 생성된 출력이 저거리 기준을 충족하는 거리를 나타낼 때까지 상기 타겟를 향해 전진한다.

Description

모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법
본 출원은 "DEVICES, SYSTEMS AND METHODS FOR NAVIGATING A MOBILE PLATFORM"이라는 제목으로 2021년 7월 13일에 출원된 이스라엘 특허 출원 284872로부터 국내 및 국제 우선권을 주장하며, 이 출원은 그 전체 내용은 참조로 본 발명에 포함된다.
본 개시는 모바일 플랫폼 내비게이션(navigation)에 관한 것이다.
무인 차량(UV)은 점점 더 널리 보급되고 있으며 지속적으로 증가하는 분야와 응용 분야에 사용된다.
UV는 인간 작동자에 의한 원격 제어, 원격 컴퓨터화된 제어, 온보드 컴퓨터에 의한 자동 제어 또는 이들의 조합 사이에서 다양한 수준의 자율성으로 작동할 수 있다. UV는 주로 군사 응용 분야에서 유래되었지만, 항공 사진, 농업, 치안과 감시, 기반 시설 검사, 과학 및 UV 경주와 같은 스포츠를 비롯한 더 많은 민간 응용 분야에서 빠르게 이들의 사용이 늘어나고 있다.
일부 유형의 UV 임무에서는 UV가 매우 높은 정확도로 타겟(또는 타겟 위치)에 도달해야 하고, 예를 들어 절대적 필요성을 넘어서는 사람이나 재산에 해를 끼치지 않는 것이 중요한 일부 군사 작전, 정확한 위치로 제품을 배송하는 것이 중요한 제품 배송 등을 포함한다.
정확한 위치로의 탐색은 글로벌 내이게이션 위성 시스템(GNSS; Global Navigation Satellite System) 또는 글로벌 포지셔닝 위성 시스템(GPSS; Global Positioning Satellite System)를 사용하여 수행될 수 있고, 이는 GPS 수신기에 지리 위치 및 시간 정보를 제공하며, 지구 위 또는 근처 어디에서나 4개 이상의 위성으로 방해받지 않는 시야가 있는 곳이면 어디든 가능하다. 일반적으로 사용되는 GPSS 중 하나는 미국 정부가 소유하고 미국 우주군이 운영하는 글로벌 포지셔닝 시스템(GPS)이다.
그러나, GPSS의 사용은 일시적으로 중지될 수 있는 서비스에 따라, 해당 지역의 시야 등으로 인해 항상 가능하지 않거나 바람직하지 않다. 이러한 제한은 특정 지역이나 특정 응용 분야에서 무인 차량의 사용을 심각하게 제한할 수 있다.
본 발명은 이미징 장치에 의해, 상기 타겟을 포함하는 장면의 이미지를 획득하는 단계; 이미지 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계; 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계; 및 거리 감지 장치로, 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려 시도하는 결과로서 출력을 거리 감지 장치에 의해 생성하는 단계를 이용함으로써, 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고 원점에서 장면에 위치된 타겟을 향해 플랫폼에서 이미지 장치를 사용하여 모바일 플랫폼을 탐색하기 위한 시스템 및 방법을 제공한다. 상기 모바일 플랫폼은 상기 거리 감지 장치에 의해 생성된 출력이 저거리 기준을 충족하는 거리를 나타낼 때까지 상기 타겟를 향해 전진한다.
도면들은 일반적으로 본 문서에서 설명된 다양한 실시형태들을 제한하는 것이 아닌, 예로서 설명한다.
예시의 단순성과 명확성을 위해, 도면에 도시된 요소는 반드시 일정한 비율로 그려지지는 않는다. 예를 들어, 일부 요소의 치수는 표현의 명확성을 위해 다른 요소에 비해 과장될 수 있다. 또한, 대응하는 요소 또는 유사한 요소를 나타내기 위해 도면들 사이에서 참조 번호가 반복될 수 있다. 이전에 제공된 요소에 대한 참조는 해당 요소가 나타나는 도면이나 설명을 더 이상 인용하지 않고도 암시된다. 도면들은 아래에서 나열된다.
도 1a는 본 발명의 일부 예시적인 실시형태들에 따라 제1 시점에서 공중 모바일 플랫폼 외부의 관점(POV)에서, 공중 모바일 플랫폼과 타겟을 포함하는 장면을 도시한다.
도 1b는 본 발명의 일부 예시적인 실시형태들에 따라, 제1 시점에서 공중 모바일 플랫폼 외부의 관점(POV)에서, 공중 모바일 플랫폼과 타겟을 포함하는 장면을 도시한다.
도 2는 본 발명의 일부 예시적인 실시형태들에 따라, GNSS 서비스에 의존하지 않고 UV를 타겟으로 탐색하기 위한 시스템의 개략적인 블록도를 도시한다.
도 3a는 본 발명의 일부 예시적인 실시형태들에 따라 제2 시점에서 UV 외부의 시야로부터 공중 모바일 플랫폼과 타겟을 포함하는 장면을 도시한다.
도 3b는 본 발명의 일부 예시적인 실시형태들에 따라, 제2 시점에서 공중 모바일 플랫폼의 관점으로부터, 도 3a의 장면을 도시한다.
도 4a 및 도 4b는 본 발명의 일부 예시적인 실시형태들에 따라, 대응하는 타임 스탬프(time stamp)에서 제1 변위 벡터(VI) 및 제2 변위 벡터(V2)에 대한 길이 표시를 도시한다.
도 5는 본 발명의 일부 실시형태들에 따라, GNSS 서비스에 의존하지 않고 공중 모바일 플랫폼을 타겟으로 탐색하기 위한 방법의 흐름도를 도시한다.
도 6a-d는 일부 실시형태들에 따라, 타겟을 향해 모바일 플랫폼을 탐색하기 위한 방법을 개략적으로 도시한다.
도 7은 일부 실시형태들에 따라, 모델 변위 벡터를 결정하기 위한 방법의 흐름도를 도시한다.
유인 또는 무인 차량(UV), 특히 무인 항공기(UAV)와 같은 모바일 플랫폼을 탐색하기 위해 현재 알려진 기술은 미국이 운영하는 글로벌 포지셔닝 시스템(GPS), 유럽이 운영하는 "Galileo" 시스템, 중국이 운영하는 "BeiDou" 내비게이션 위성 시스템(BDS), 러시아가 운영하는 글로벌 내비게이션 위성 시스템(GLONASS) 등과 같은 글로벌 내비게이션 위성 시스템(GNSS)이 집중적으로 사용되고 있다.
본 발명의 기술적 문제 중 하나는 예를 들어 작동적, 기술적 및/또는 법적 특성의 제한으로 인해 GNSS 기반 내비게이션을 (일시적으로 또는 영구적으로) 사용할 수 없는 상황에서 모바일 플랫폼(예를 들어, UV)을 탐색하는 것과 관련된다.
예를 들어, 다양한 시나리오 및/또는 상황에서 GNSS 기반 내비게이션은 위성 시야 부족으로 인해 충분히 정확하지 않거나 사용하지 못할 수 있다. 추가 실시예들에서, GNSS 기반 내비게이션의 사용은 예를 들어 GNSS 기반 모바일 플랫폼 감지(detection) 및/또는 지리적 위치(geolocation)를 방지하기 위해 바람직하지 않을 수 있다.
일부 실시예들에서, UV에서 GNSS 수신기를 사용할 수 없기 때문에, GNSS 기반 내비게이션을 사용할 수 없다. UV의 GNSS 수신기는 수신기 비활성화, 수신기 오작동으로 인해 또는 UV는 GNSS 수신기가 장착되어 있지 않기 때문에 사용하지 못할 수 있다. 일부 실시예들에서, 예를 들어 GNSS 기반 UV 감지 및/또는 UV 지리 위치 파악을 방지하기 위해 GNSS 신호 수신기는 비활성화될 수 있거나, UV에 GNSS 수신기가 없을 수 있다.
일부 실시예들에서, GNSS 위성에 의한 GNSS 신호 전송의 중단으로 인해 GNSS 기반 내비게이션을 사용하지 못할 수 있다. GNSS 신호 전송의 중단은 의도적이거나 의도하지 않을 수도 있다.
일부 실시예들에서, GNSS 기반 내비게이션은 제1 기간 동안 제1 지리적 영역 내에서 이용 가능할 수 있지만, 동일한 지리적 영역에서 제1 기간과 다른 제2 기간 동안 이용 가능하지 않을 수 있다. 추가 실시예에서, GNSS 기반 내비게이션은 제1 지리적 영역에서 이용이 가능하지만, 동시에 제2 지리적 영역에서는 이용 불가능할 수 있다.
UV를 이용하는 군사 및 민간 임무에서 (의도적이든 아니든) GNSS 기반 내비게이션 서비스를 사용할 수 없으면 탐색적 제어가 상실될 수 있으며, 이로 인해 UV에 일시적 또는 영구적인 손상이 발생하고 임무가 위태로워질 수 있다.
따라서, 특정 상황에서, GNSS 기반 내비게이션 시스템에 대한 의존성을 줄이거나 피해야 하며, GNSS 기반 내비게이션 시스템 대신 또는 이에 대한 백업(backup)으로 대체 내비게이션 방식을 활성화해야 한다.
본 발명의 하나의 기술적 해결책은 GNSS 기반 내비게이션이 일시적으로 또는 영구적으로 제한되거나 이용 가능하지 않는 시나리오에서 GNSS를 부분적으로 또는 완전히 사용하지 않고 UV를 타겟(또한: 타겟 위치, 타겟 목적지, 타겟 물체)으로 탐색하기 위한, GNSS 없는 내비게이션 시스템 및 방법에 관한 것이다.
일부 실시형태들에서, UV는 이미지 데이터를 사용하여 시작점에서 타겟을 향해 자율적으로 UV를 탐색하기 위한 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고 원점(P0)에서 장면에 위치된 타겟을 향해 탐색될 수 있다. 일부 실시예들에서, 플랫폼의 위치 추정은 플랫폼의 내비게이션 시작점에 대해 결정될 수 있다. 내비게이션 기술을 사용하면, 타겟에 대한 모바일 플랫폼의 위치가 결정될 수도 있고 결정되지 않을 수도 있다. "원점(point of origin)"이라는 표현은 탐색 시작점과 반드시 관련될 필요는 없지만, 본 발명에서 설명된 방법에 따라 플랫폼을 타겟를 향해 탐색하기 위한 기준(reference) 역할을 할 수 있는 장면 내의 임의의 위치를 나타낼 수 있다는 점에 유의해야 한다.
GNSS가 없는 내비게이션 방법은 이미징 장치에 의해, 타겟에 대해 모바일 플랫폼의 제1 위치에서 타겟을 포함하는 장면의 이미지를 획득하여 이미지 데이터를 생성하는 단계를 포함할 수 있다. 그런 다음, 이미지 데이터는 타겟를 향해 방향 벡터에 따라, 모바일 플랫폼을 전진시키기 위한 방향 벡터를 결정하기 위해 분석될 수 있다. 모바일 플랫폼의 새로운 위치에서, 새로운 이미지 데이터를 생성하기 위해 또 다른 이미지를 획득하여, 새로운 이미지 데이터에 기초하여, 타겟을 향한 추가 방향 벡터에 따라 모바일 플랫폼을 전진시키기 위한 추가 방향 벡터를 생성할 수 있다. 또한, 모바일 플랫폼의 거리 감지 장치를 이용하여, 모바일 플랫폼과 타겟 사이의 거리를 감지하도록 시도한다. 이러한 절차는 거리 감지 장치가 저거리 기준을 충족하는 모바일 플랫폼의 모바일 감지 장치 간의 거리 추정, 예를 들어 거리 추정이 거리 임계값보다 낮은 것을 나타내는 출력을 생산할 때가지, 복수의 변위 벡터를 생성하면서 반복된다. 거리 추정에 기초하여, 복수의 방향 벡터 중 적어도 두개는 소급적으로 업데이트되거나 가중되어, 변위 벡터 중 적어도 두개 또는 모두에 기초하여, 변위 벡터의 적어도 두개 또는 모두를 나타내는 모델 변위 벡터(model displacement vector)를 결정함으로써 현재 위치로부터 타겟까지 모바일 플랫폼을 탐색하기 위해 타겟에 대해 모바일 플랫폼의 현재 위치를 결정하기 위한, 크기를 갖는 변위 벡터를 생성한다. 모델 변위 벡터는 예를 들어 적어도 두개 또는 모든 변위 벡터를 나타내는 파라미터 값과 관련된 (예를 들어, 가중 평균), (예를 들어, 가중) 에버리지(average) 및/또는 중앙값을 계산함으로써 결정될 수 있다. 모델 변위 벡터는 모바일 플랫폼에 의해 시작 위치에서 현재 위치까지 횡단되는 비행 경로를 나타낸다. 모델 변위 벡터를 결정함으로써, 이전에 결정된 현재 위치 추정에 비해, 플랫폼의 현재 위치의 더 정확한 위치 추정이 결정될 수 있다. "에버리지"과 "평균"이라는 용어가 상호 교환적으로 사용될 수 있는지 여부는 모델 변위 벡터를 계산하기 위한 특정 구현에 따라 달라질 수 있다는 점에 유의한다. 일부 실시예들에서, 타임 스탬프는 궤도에 도달하기 위한 비행 경로와 관련될 수 있다.
일부 실시예들에서, 변위 벡터는 기준 변위 벡터로 지칭될 수 있다. 적어도 두개의 기준 변위 벡터에 기초하여, 타겟에 대한 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터가 결정될 수 있다. 일부 실시예들에서, (모델) 변위 벡터의 시작점과 끝점은 대응하는 타임 스탬프와 관련될 수 있다. 따라서, (모델) 변위 벡터는 모델 궤적을 나타낼 수 있다.
모델 또는 대표 변위 벡터는 단일 변위 벡터에 기초하여 결정되는 상대 위치 추정에 비해, 타겟에 대한 모바일 플랫폼의 현재 상대 모델 위치의 더 정확한 추정을 제공하기 위해 결정될 수 있다.
예를 들어, 복수의 기준 변위 벡터는 모델 변위 벡터와 일치하는 중심선(centerline)을 정의할 수 있다. 일부 다른 실시예들에서, 모델 변위 벡터는 적어도 두개의 기준 변위 벡터의 구성요소-별(예를 들어, 가중) 에버리지, (예를 들어, 가중) 평균 또는 중앙값을 나타낸다.
모델 변위 벡터를 사용하면, 예를 들어 돌풍 등으로 인해 상대적으로 부정확한 기준 변위 벡터 추정으로 기인하는 UV와 타겟 간의 제어되지 않는 충돌을 방지하여, 모바일 플랫폼과 타겟 간의 제어되지 않는 충돌을 방지할 수 있다.
일부 실시형태들에서, 모바일 플랫폼은 거리 감지 장치에 의해 생성된 추가 거리 출력에 기초하여, 현재 위치에서 다음 위치로 결정될 수 있는 적어도 하나의 추가 변위 벡터(들)에 따라 더욱 전진될 수 있다. 일부 실시형태들에서, 모바일 플랫폼은 적어도 하나의 추가 변위 벡터에 기초하여 결정되는 적어도 하나의 추가 모델 변위 벡터에 따라 타겟을 향해 전진될 수 있다.
일부 실시형태들에서, 본 발명에서 개시된 GNSS 없는 내비게이션 시스템 및 방법은 예를 들어 동시 국부화 및 맵핑(SLAM; Simultaneous Localization and Mapping) 기술; 타겟이 신호를 전송하는 삼각 측량 기반 내비게이션 기술; 스타 기반 내비게이션 기술 및/또는 유사물을 포함하는 추가 GNSS 없는 내비게이션 기술을 보완하도록 이용될 수 있다.
"플랫폼"이라는 용어는 예를 들어 2륜 차량, 임의의 종류의 3륜 차량, 4륜 차량, 예를 들어, 승용차, 오토바이, 자전거, 운송 차량(예를 들어, 버스, 트럭), 선박을 포함하는 육상 기반 또는 육지 차량을 포함하는 임의의 종류의 차량 장치; GNSS가 없는 내비게이션 시스템을 통합하는 보행자 착용 장비인 로봇; 잠수함; 호버크라프트(hovercraft) 및/또는 유사물과 같은 다목적 차량과 같은 이동 가능하거나 모바일 플랫폼을 포함할 수 있다. 모바일 플랫폼은 완전 자율 차량(예를 들어, 자율 주행 차량 또는 자율 조종 드론) 및/또는 부분 자율 차량, 유인 이동 플랫폼, 무인 이동 플랫폼일 수 있다. 일부 실시형태들에서, 모바일 플랫폼은 유인 또는 무인 항공기(UAV)(예를 들어, 고정 날개 또는 회전 날개)일 수 있다. 예를 들어, 시스템은 밀집된 도시 환경에서 건물들 사이에서 (예를 들어, 공중에 떠 있는) 차량의 탐색을 용이하게 하기 위해 및/또는 건물 개구부(예를 들어, 창문, 문) 안으로 및/또는 다른 목표 또는 목적지 방향으로 차량을 탐색하기 위해 유인 또는 무인 항공기에 의해 사용될 수 있다.
이제 도 1a, 도 1b 및 도 2를 추가로 참조한다. 도 1a는 타겟(54)이 UV와 같은 모바일 플랫폼(100)의 시야 내에 있을 때, time=ti에서 외부 관점으로부터 장면(50)을 개략적으로 도시하고, 도 1b는 이미지 프레임(60)에 의해 개략적으로 나타낸 이의 이미징 획득 광학 장치에 의해 캡처되는 바와 같이 모바일 플랫폼(100)의 관점으로부터 동시에 장면(50)을 도시한다. 도 1a는 또한 복수의 개구부(52B)를 갖는 건물(52A)의 특정 개구부와 같은 타겟(54)으로 식별되거나 지정된 물체에 접근하는 드론과 같은 모바일 플랫폼(100)을 도시한다.
개략적으로 도시된 바와 같이, 모바일 플랫폼(100)은 GNSS 없는 내비게이션 시스템(1500)을 포함 및/또는 이용할 수 있다. 모바일 플랫폼(100)은 이미지 데이터에 기초하여, 타겟(54)을 향해 원점으로부터 GNSS 없는 방식으로 모바일 플랫폼(100)을 탐색하기 위해 GNSS 없는 내비게이션 시스템(1500)을 이용할 수 있다.
일부 실시형태들에서, 이미지 데이터는 이미징 장치에 의한 이미지 획득에 기초할 수 있고/있거나 예를 들어 각각의 인터넷 서비스(예를 들어, Google® maps, Google® Earth, Bing® Maps, Leaflet®, Mapquest® 또는 Uebermaps)로부터 가져온 공개적으로 이용 가능한 장면 정보(예를 들어, 위성 이미지 및/또는 지도)를 나타내는 위치 태그(tagged) 시각 데이터에 기초할 수 있다.
일부 실시형태들에서, 이미지 데이터는 GNSS 없는 내비게이션 시스템(1500)의 이미징 장치(110)에 의해 획득된 이미지를 설명할 수 있다.
GNSS 없는 내비게이션 시스템(1500)의 서브시스템, 장치, 구성요소, 모듈, 기능적 엔진 및/또는 프로세스 중 일부가 모바일 플랫폼(100)에 운영 및/또는 포함될 수 있고, 일부는 모바일 플랫폼(100) 외부의 하나 이상의 컴퓨팅 플랫폼에 실행 가능 및/또는 포함될 수 있다.
예를 들어, 모바일 플랫폼(100)은 모바일 플랫폼(100)에 장착 및/또는 포함될 수 있는 이미징 장치(110)를 포함할 수 있다. 이미징 장치(110)는 하나 이상의 이미저(imager), 이미지 센서, 스틸 카메라, 비디오 카메라, 열화상 카메라, 협각 카메라, 광각 카메라 및/또는 유사물과 같은 카메라를 포함할 수 있다. GNSS가 없는 내비게이션 시스템(1500)은 모바일 플랫폼(100)의 이미징 장치(110)에 의해 캡처된 이미지를 분석하도록 구성될 수 있다.
외부 컴퓨팅 플랫폼(들)은 예를 들어, 일부 실시형태들에 따른 GNSS 없는 내비게이션을 완전히 또는 부분적으로 구현하기 위해 필요한 계산 중 적어도 일부를 수행할 수 있는 클라우드 컴퓨터 또는 다른 접근 가능한 컴퓨팅 플랫폼일 수 있다. 아래에 더 자세히 설명된 바와 같이, GNSS 없는 내비게이션 시스템(1500)은 모바일 플랫폼(100) 내에서 이미지, 부분 또는 이의 제품과 같은 데이터를 인코딩하는 신호의 유선 및/또는 무선 전송과 수신 및/또는 하나 이상의 외부 컴퓨팅 플랫폼으로부터 신호의 무선 전송과 수신을 위해 하나 이상의 통신 구성요소를 포함할 수 있다.
모바일 플랫폼(100)은 본 발명에서 더 상세히 설명된 바와 같이, GNSS 없는 내비게이션 시스템(1500)의 하나 이상의 프로세서(processor)로부터 수신된 명령에 따라 제어되는 추진 서브시스템(120)을 더 포함할 수 있다.
모바일 플랫폼(100)은 좌표계(56)에 대한 모바일 플랫폼(100)의 위치 추정(P)을 도출하거나 결정하기 위해 물리적 거리 관련 양을 감지하도록 구성되는 거리 감지 장치(130)를 추가로 포함할 수 있다.
일부 실시예들에서, 장면(50)에서의 물체 또는 위치는 타겟 획득 서브시스템(도시되지 않음)에 의해 타겟(54)으로 자동 식별될 수 있다. 일부 실시예들에서, 장면(50)에서의 물체 또는 위치는 예를 들어 사용자 정의된 제약에 기초하여, 타겟(54)으로 자동 식별될 수 있다. 일부 실시예들에서, 물체 또는 위치는 모바일 플랫폼(100)의 사용자 또는 작동자에 의해 타겟(54)으로 지정될 수 있다. 일부 실시예들에서, 타겟 식별은 인공 지능 기능을 구현하기 위해 기계 학습 모델을 기반으로 수행될 수 있다.
타겟 획득 시스템은 이미지, 가장자리 감지, 모서리 감지 및/또는 유사물 내에서 물체를 위치시키도록 적용된 임의의 유형의 신경망과 같은 인공 지능(Al) 엔진을 포함하되, 이에 제한되지 않는 임의의 결정론적, 발견적 알고리즘 또는 하이브리드(예를 들어, 결정론적 및 발견적 방법이 결합된) 알고리즘을 사용할 수 있다.
도 3a-b를 추가로 참조한다. 일부 실시형태들에서, 일단 물체가 타켓(54)으로서 타겟 획득 시스템에 의해 식별되면, 방향 벡터(O1)(본 발명에서 때때로 "단위 벡터"라고도 함)는 타겟(54)을 향해 모바일 플랫폼(100)과 관련된 현재 위치(Pcurl)로부터 가리키는 GNSS가 없는 내비게이션 시스템(1500)에 의해 결정될 수 있다. 예를 들어, 단위 벡터(O1)는 이의 기하학적 중심과 같은 타겟(54)의 특정 지점을 향할 수 있다.
본 발명에서 개시된 실시예들은 크기가 "1"인 "방향 벡터들"을 지칭할 수 있지만, 실시형태들은 "1"과 다른 값을 얻을 수 있는 방향 벡터를 생성하기 위해 임의의 길이를 사용하여 구현될 수도 있다는 점에 유의한다. 예를 들어, 방향 벡터에는 UV로부터 무한대를 향하는 방향을 가상으로 지정하기 위해 비교적 큰 크기의 길이가 할당될 수 있다.
일부 다른 실시예들에서, 단위 벡터(O1)의 방향은 획득된 이미지에 기초하여 결정될 수 있고 또한 시야(FOV)와 같은 이미징 장치(110)의 광학 이미징 파라미터에 기초하여 결정될 수 있다.
그런 다음 모바일 플랫폼(100)은 타겟(54)을 향해 제1 단위 벡터(O1)의 방향으로 추진되거나, 안내되거나, 전진될 수 있다.
도 3a-b는 모바일 플랫폼(100)이 타겟(54)를 향해 단위 벡터(O1) 방향으로 추진된 후 time=t2>t1에서의 스냅샷 또는 시나리오를 도시한다. 도 3a는 외부 관점을 도시하고, 도 3b는 도 1a 및 1b에 대해 time=t2>t1에서 모두 업데이트된 이미지 프레임(60')을 개략적으로 도시한다.
따라서, 모바일 플랫폼(100)은 타겟(54)을 향해 전진하고 이제 타겟(54)으로부터 D1보다 작은 추정 거리 D2에 있으며, GNSS가 없는 내비게이션 시스템(1500)은 타겟(54)을 향해 t=t2에서 모바일 플랫픔(100)과 관련된 제2 현재 위치(Pcur2)로부터 가리키는 제2 방향 벡터(02)를 결정한다. 그런 다음, 모바일 플랫폼(100)은 타겟(54)을 향해 제2 단위 벡터(02)의 방향으로 전진할 수 있다.
방향 벡터(0)를 결정하고 타겟(54)을 향해 결정된 방향 벡터(0)을 따라 모바일 플랫폼(100)을 전진시키는 단계는 모바일 플랫폼(100)과 타겟(54) 간의 거리(D)가 모바일 플랫폼의 거리 센서에 의해 비교적 정확하게 결정될 수 있을 때까지 반복될 수 있다. 그때까지, GNSS 없는 내비게이션 시스템(1500)은 복수의 방향 벡터(0l,...,0i,...,On)를 결정할 수 있다. 복수의 방향 벡터(ON)는 설명적일 수 있고/있거나 모바일 플랫폼(100)에 의해 횡단되는 경로 추정과 관련될 수 있다.
모바일 플랫폼(100)과 타겟(54) 사이의 거리가 저거리 임계값 아래로 떨어지면, 모바일 플랫폼(100)과 타겟(54) 사이의 거리(Ds)는 예를 들어, 모바일 플랫폼(100)에 장착된 거리 감지 장치를 이용하여 측정 가능하게 될 수 있다.
저거리 임계값은 예를 들어 15미터, 10미터, 9미터, 5미터, 4미터, 3미터 또는 2미터보다 작거나 같을 수 있다. 거리 감지 장치의 도움으로 측정된 거리(Ds)는 본 발명에서 "감지된 거리(Ds)"로 지칭될 수 있다.
거리 감지 장치(또한: 거리 측정기 또는 범위 측정기)는 초음파 기반, 광학 기반(예를 들어, 적외선, 레이저, LED 기반, LIDAR 기반, VCSEL 기반 등), 및/또는 레이더 기반 거리 감지 및 거리 측정(ranging)과 같은 다양한 기술에 의존할 수 있는 거리 또는 근접 센서를 이용할 수 있다. 일부 실시예들에서, 거리 감지 장치는 입체 카메라로 구현되거나 입체 카메라를 포함할 수 있다. 위에서 언급한 바와 같이, 감지된 거리의 정확도는 예를 들어 갑작스러운 돌풍 및/또는 유사물에 의해 크게 악영향을 받을 수 있으며, 이는 모바일 플랫폼(100)이 타겟(54) 근처의 물체 또는 그 자체의 타겟과 제어되지 않은 충돌을 일으킬 수 있다. 예를 들어, 건물 벽의 개구부를 향해 모바일 플랫폼(100)을 탐색할 때, 벽과 모바일 플랫폼(100)의 제어되지 않은 충돌을 방지하기 위해 정확한 탐색이 필요하다. 이는 모바일 플랫폼(100)이 타겟(54)에 대해 더 가까울수록 특히 어려워진다. 제어되지 않은 충돌의 위험을 방지하거나 완화하기 위해, 모바일 플랫폼(100)은 하나 이상의 모델 변위 벡터에 따라 탐색될 수 있다. 각각의 모델 변위 벡터는 적어도 두개의 기준 변위 벡터에 기초하여 결정될 수 있다.
일부 실시예들에서, 결정된 거리 추정(Ds)에 기초하여, 거리가 저거리 임계값 이상일 때 생성된 방향 또는 단위 벡터(Oi)의 길이가 소급적으로 업데이트되어 타임 스탬프(t1 및 t2)에 대한 벡터(V1 및 V2)에 의해 도 4a 및 4b에서 개략적으로 도시되며, t2>t1이고 과거에 모바일 플랫폼(100)에 의해 횡단되는 경로 섹션을 기술한다. 일부 실시예들에서, 모델 변위 벡터(Vm)는 복수의 변위 벡터(Vn) 중 적어도 두개 또는 모두에 기초하여 결정될 수 있다. 도시된 실시예에서, 벡터(V1)의 길이는 벡터(V2)의 길이보다 크다. 분명히, 벡터 크기와 방향은 예시일 뿐이며 결코 제한적인 방식으로 해석되어서는 안 된다. 추정(P)으로부터 타겟(54)까지의 모바일 플랫폼(100)의 특정 거리(L)는 도 4a에서 "L1" 및 "L2"로 예시된 본 발명에서 "L1"로 지정되고, 여기서 L2<L1이다.
각각의 변위 벡터(Vi)는 예를 들어 저거리 임계값 기준이 충족될 때까지 타겟(54)을 향해 이동하는 모바일 플랫폼(100)에 의해 횡단되는 경로 섹션의 방향 및 크기를 나타낼 수 있다는 점에 유의한다. 일부 실시예들에서, 단위 벡터(0)의 수는 변위 벡터(V)의 수에 대응할 수 있다(예를 들어, 동일할 수 있음).
일부 실시예들에서, 감지된 거리(Ds)에 기초하여, 복수의 단위 또는 방향 벡터(0) 중 적어도 일부는 소급되게 가중되어 복수의 변위 벡터(V)에 도달할 수 있으며, 각각은 모바일 플랫폼(100)에 의해 횡단되는 전체 경로의 경로 섹션을 나타내는 방향뿐만 아니라 크기도 나타낸다. 즉, 소급되게 업데이트되는 단위 벡터(V)는 명확한 길이와 방향을 가지며, 변위 벡터(V1,...,Vn)로 지정된다.
일부 실시형태들에서, 복수의 변위 벡터(V)는 원점(P0)에서 타겟(54)을 향해 모바일 플랫폼(100)에 의해 횡단되는 경로를 기술할 수 있다.
일부 실시형태들에서, 변위 벡터(V)를 결정한 결과로서, 모바일 플랫폼(100)이 원점(P0)에서 타겟(54)을 향해 횡단되는 경로에 관한 복수의 UV 위치 추정이 도출될 수 있다.
일부 실시예들에서, 복수의 위치 추정(P)은 좌표계(56)에 대한 변위 벡터(VN)의 시작 및/또는 끝점에서 UV의 위치를 기술할 수 있다. 복수의 변위 벡터(Vn)는 타겟(54)에 대해 모바일 플랫폼(100)의 현재 위치 추정(Pcur)을 결정하도록 사용될 수 있다.
다중도(예를 들어, 수십, 수백, 수천, 수만 또는 수백만)의 반복은 변위 벡터(VN)의 다중도(천, 수만 또는 수백만)에 기초하여, 위치 추정(P)의 대응하는 수를 결정하기 위해 수행될 수 있다는 점에 유의한다.
변위 벡터(V) 및/또는 해당 위치 추정(P)을 결정할 때 오차가 도입될 수 있고, 예를 들어 상이한 프로세서 간의 시스템 허용 오차(예를 들어, 클록 드리프트(clock drft)), 계산 지연 및/또는 UV의 실제 현재 위치 결정에 영향을 줄 수 있는 환경적 요인으로 인한 것이다. 위에서 언급한 바와 같이, 이러한 환경적 요인에는 예를 들어 돌풍, 풍향의 급격한 변화 등과 같은 바람과 관련된 요인을 포함할 수 있다.
그러나, 현재 위치 추정(Pcur)은 변위 벡터(VN)의 다중도(multiplicity)(예를 들어, 수십, 수백 또는 수천)에 기초하여 결정될 수 있고, 현재 위치 추정(Pcur)을 결정할 시 도입될 수 있는 오차의 영향이 완화될 수 있고, (예를 들어, 통계적으로) 중요하지 않거나, 비교적 무시할 수 있거나 완전히 제거될 수 있다.
일부 실시예들에서, 본 발명에서 설명된 방법은 변위 벡터 및/또는 위치 추정에 관한 통계적 이상치(outlier)의 식별을 용이하게 한다. 일부 실시예들에서, 통계적 이상치의 영향은 완화되거나 비교적 무시될 수 있다.
복수의 방향 변위 벡터(V)가 결정되면(모바일 플랫폼의 결정된 위치 추정이 저거리 기준을 충족한 후), 타겟(54)에 대한 모바일 플랫폼(100)의 현재 위치가 결정될 수 있으며, 비교적 증가된 정확도로 이의 현재 위치(Pcur)에서 타겟(54)까지의 모바일 플랫폼을 전진시키거나 탐색시키기 위한 예상 변위 벡터(V)를 결정할 수 있다. 예를 들어, 모바일 플랫폼(100)은 개구부(54)를 놓칠 위험이 감소되거나 놓칠 위험 없이 개구부(54) 내로 탐색될 수 있으며, 이에 따라 건물(52A)의 벽과 충돌할 위험을 줄이거나 피할 수 있다.
일부 실시형태들에서, 대응적으로 반복적으로 결정된 거리 추정에 기초하여, 타겟(54)을 향해 모바일 플랫폼(100)을 탐색하기 위한 예상 변위 벡터(V)를 결정하기 위해 거리 감지가 반복적으로 수행될 수 있다.
타겟(또는 위치)을 향해 모바일 플랫폼(예를 들어, 자율 또는 반자율)을 탐색하는데 비교적 향상된 정확도가 필요할 수 있는 예로는 정찰 임무를 수행하기 위해 건물이나 사이트의 개구부에 들어가도록 구성된 정찰 플랫폼, 자살 플랫폼(예를 들어, 위치되면 타겟을 공격하는 자살 드론), 페이로드 전달 플랫폼(예를 들어, 센서 배포, 폭발물 배포, 소포 배포) 및/또는 유사물을 포함할 수 있다.
본 발명에서 이미 언급된 바와 같이, 본 발명의 하나의 기술적 효과는 비교적 높거나 증가된 원하는 위치 정확도로, UV를 타겟으로 탐색하는 것이다. 따라서 이용된 시스템 및 방법은 선택적으로 대응하는 타임 스탬프와 함께, 복수의 상대적 플랫폼 위치 추정(예를 들어, 세계 좌표계, 다른 기준 프레임에 대해, 또는 타겟(54)에 대해)을 GNSS 없는 방식으로 결정하는 것을 허용할 수 있고, 원하는 정확도 또는 향상된 정확도로 타겟(54)을 향해 모바일 플랫폼(100)의 탐색을 허용한다. 증가된 정확도는 예를 들어 세계 좌표계(56)에 대한 경도 및 위도에 대해서뿐만 아니라 모바일 플랫폼(100)의 (상대 및/또는 절대) 고도에 대해서도 달성될 수 있다. 따라서, 모바일 플랫폼은 지상에 있는 건물 개구부(예를 들어, 문, 창문)를 향하고 통해 정확하게 탐색될 수 있다. 본 발명은 건물 개구부에 제한되지 않고 임의의 다른 식별 가능한 타겟(54)과도 관련될 수 있다는 점에 유의한다.
본 발명의 또 다른 기술적 효과는 GNSS 시스템을 사용하지 않고 수행되는 상기 정확한 내비게이션에 관한 것이다. 이를 통해 GNSS 서비스의 가용성에 의존하지 않고도 작업 성능, 특히 민감하거나 비용이 많이 드는 작업을 수행할 수 있다. 따라서, 임무 수행 중 이러한 서비스가 중단되거나 사용 불가능하더라도 내비게이션은 영향을 받지 않을 수 있다.
이제 도 5를 추가로 참조한다. 일부 실시형태들에서, GNSS 없는 내비게이션 방법은 원점(P0)에서 하나 이상의 물체를 포함하는 장면(50)의 이미지를 획득하는 단계(블록 504)를 포함할 수 있다. 일부 실시예들에서, UV는 GNSS 및/또는 임의의 다른 내비게이션 수단을 사용하여 원점(P0)에 배치될 수 있다. 예를 들어, 모바일 플랫폼(100)은 트럭을 이용하여 위치(P0)로 운송될 수 있고, 군인에 의해 운반되며, 항공 수송 차량 및/또는 원점(PO)에서 포지셔닝하기 위한 유사물에 의해 배치될 수 있다. 일부 실시형태들에서, 모바일 플랫폼(100)은 GNSS 기반 및/또는 임의의 다른 내비게이션(예를 들어, GNS가 없는 내비게이션 기술)을 사용하여 인간 및/또는 컴퓨터화된(예를 들어, 원격) 작동자에 의해 원점(P0)으로 조종될 수 있다. 장면(50)의 이미지는 예를 들어 모바일 플랫폼(100)의 이미징 장치(110)에 의해 캡처될 수 있다. 이미지는 스틸 이미지(still image), 비디오 카메라에 의해 캡처된 하나 이상의 프레임, 열 이미지 등일 수 있다.
일부 실시형태들에서, 블록(508)에 표시된 바와 같이, 방법은 어떤 물체가 타겟인지를 식별하기 위해 캡처된 이미지를 분석하는 단계를 더 포함할 수 있다. 이미지 분석은 예를 들어 휴리스틱(heuristics); 결정론적 기술; 신경망을 포함하는 기계 학습 모델; 및/또는 유사물에 기초할 수 있는 다양한 타겟 감지 또는 지정 기술을 사용할 수 있다.
예를 들어, 이전에 얻어진 타겟의 이미지를 비교하고, 캡처된 이미지 내에서 타겟의 이미지를 검색함으로써 타겟이 인식될 수 있다. 다른 실시형태들에서, 예를 들어 타겟이 이미지에 캡처된 건물에서 복수의 개구부 중 하나의 개구부인 경우, 타겟은 "건물의 동쪽면에서 4층의 오른쪽에서 세번째 창문"과 같은 숫자 설명을 사용하여 특정될 수 있고, 이 경우 건물의 동쪽면의 이미지가 분석되어 4층을 식별한 다음 오른쪽에서 세번째 창을 식별할 수 있다(또는 먼저 창 기둥을 식별한 다음 바닥을 식별). 추가 실시형태들에서, 작동자는 예를 들어 선택된 물체를 지시함으로써, 물체를 타겟으로 지정할 수 있다.
타겟이 식별되거나 지정되면, 타겟을 향하여 지시하는 방향 벡터(O)는 UV의 관점에서 캡처된 이미지에 기초하여 결정될 수 있다. 일부 실시예들에서, 방향 벡터(0)는 예를 들어 UV의 시선(sightline)과 타겟의 평면 사이의 각도에 기초할 수 있다.
일부 실시형태들에서, 드론의 비행 경로는 예를 들어 건물 개구부의 프레임으로 들어가는 드론의 충돌을 방지하는 측면 접근을 피하기 위해, 드론이 약 90도 각도 또는 가능한 한 90도에 가까운 각도로 건물 개구부에 접근하도록 결정될 수 있다.
블록(512)에 표시된 바와 같이, 방법은 타겟을 향해 모바일 플랫폼을 전진시키는 단계를 더 포함할 수 있다. 예를 들어, 모바일 플랫폼은 방향 벡터(0)의 방향을 따라 추진, 탐색 및/또는 안내될 수 있다.
블록(516)에 표시된 바와 같이, 방법은 거리 감지 장치에 의해, 모바일 플랫폼과 타겟 사이의 거리를 거리 감지 장치로 결정하려고 시도한 결과로서 출력을 생성하는 단계를 더 포함할 수 있다.
일부 실시형태들에서, 블록(520)에 표시된 바와 같이, 방법은 결정된 추정(Ds)이 저거리 기준을 충족하는지 여부를 결정하는 단계를 포함할 수 있다.
일부 실시예들에서, 저거리 임계값 기준은 예를 들어 미리 결정된 허용 오차를 초과하지 않는 오차 내에서, 거리 감지 장치에 의해 정확하게 결정될 수 있는 (예를 들어, 최대) 거리로 설정될 수 있다.
일부 실시예들에서, 거리 감지 장치는 모바일 플랫폼(100)과 타겟(54) 사이의 거리가 거리 감지 장치가 거리의 감지된 출력을 생산하는 것을 허용하지 않는 크기를 초과하는 한, 출력을 반환하지 않거나 거리를 나타내지 않는 출력을 반환할 수 있다. 이러한 시나리오에서, 거리 감지 장치가 모바일 플랫폼(100)과 타겟(54) 사이의 거리를 감지하려고 (예를 들어, 반복적으로 또는 연속적으로) 시도한 결과로서, 모바일 플랫폼(100)과 타겟(54) 사이에서 감지된 거리를 나타내는 출력을 생산할 때 저거리 기준이 충족될 수 있다. 따라서, 저거리 기준은 예를 들어, 미리 결정된 임계값과 반드시 관련될 필요는 없지만, 예를 들어 거리 감지 장치의 감지 제약에만 관련될 수 있다.
예를 들어, 초음파 기반, 광학 기반(예를 들어, 적외선, 레이저, LED 기반, LIDAR 기반, VCSEL 기반 등)을 포함하는 거리 감지 장치 및/또는 레이더 기반 거리 감지 또는 거리 측정을 포함하는 거리 감지 장치에 의해 다양한 기술 중 적어도 하나가 이용될 수 있다. 일부 실시예들에서, 거리 감지 장치는 입체 카메라로 구현되거나 입체 카메라를 포함할 수 있다.
저거리 기준이 충족되지 않는 경우, 방법은 추가 이미지 획득하는 단계(블록 504), 추가 방향 벡터(0)를 결정(블록 508)하기 위해 이미지를 분석(블록 508)하여 추가 방향 벡터의 방향에 따라 UV를 전진시키는 단계(블록 512) 및 모바일 플랫폼(100)과 타겟(54) 사이에서 거리 추정(Ds)을 재결정하는 단계(블록 516)를 반복하는 것을 포함할 수 있다.
블록(528)에 표시된 바와 같이, 방법은 거리 추정(Ds)에 기초하여, 각각 크기와 방향을 갖는 복수의 변위 벡터(V)를 결정하는 단계를 더 포함할 수 있다. 복수의 변위 벡터는 저거리 기준이 충족될 때까지 방향 벡터(Oi)에 의해 표현되는 바와 같이 모바일 플랫폼(100)에 의해 횡단되는 경로 추정에 대한 설명 및/또는 관련될 수 있다. 일부 실시예들에서, 복수의 변위 벡터(V)는 예를 들어 이상치(Oi) 벡터를 제거하는 것을 포함하여, 이전에 결정된 복수의 방향 벡터(0) 중 적어도 두개 또는 모두에 기초하여 결정될 수 있다. 일부 실시예들에서, 복수의 변위 벡터(VN)를 얻기 위해, 임의적으로 하나 이상의 모델 변위 벡터(Vm)를 도출하기 위해 되풀이되는 반복(예를 들어, 블록(508-516))에서 생성된 복수의 방향 또는 단위 벡터 중 적어도 두개 또는 모두에 길이가 소급적으로 할당될 수 있다.
블록(532)에 의해 표시된 바와 같이, 복수의 변위 벡터(VN)에 기초하여, 타겟에 대한 UV의 현재 위치 추정(Pcur)이 결정될 수 있다. 복수의 변위 벡터는 원점(P0)으로부터 현재 위치 추정(Pcur)을 향해 모바일 플랫폼(100)에 의해 횡단되는 경로를 기술할 수 있다.
블록(536)에 표시된 바와 같이, 방법은 타겟(54)을 향해 저거리 임계값 기준을 충족하는 이의 현재 위치(Pcur)로부터 UV를 더 전진시키는 것을 포함할 수 있다. 이는 예를 들어, 거리 감지 장치에 의해 수행되는 하나 이상의 추가 거리 감지 및/또는 이미징 장치(110)에 의해 얻어지는 추가 이미지에 기초하여 추가 변위 벡터를 구성함으로써 달성될 수 있다. 추가 변위 벡터는 타겟(54)을 향해 전진하는 UV에 의해 횡단될 예상 경로를 설명할 수 있다.
일부 실시형태들에서, 타겟 개구부의 경계가 GNSS 없는 내비게이션 시스템(1500)에 의해, 타겟 개구부의 기하학적 중심을 결정하기 위해 캡처되어 타겟 개구부를 정의하는 가상 표면의 (실질적으로) 법선 방향인 각도로부터 플랫폼을 탐색하는 것을 보장하도록 이미징 장치(110)의 FOV가 구성된다. 따라서, UV가 개구부를 정의하는 구조에 부주의하게 충돌하는 위험이 감소되거나 제거될 수 있다.
이제 도 6a-c를 추가로 참조한다. 도 6a는 플랫폼(100)이 좌표(0,0,0)에 의해 본 발명에서 예시된 출발점(A1)(또한: 원점 P0)으로부터 계산된 끝점(A2)을 가지도록 예시된 단위 벡터(01)를 따라 비행 경로를 횡단하는 상황을 개략적으로 도시한다.
본 발명에서 언급된 원점의 좌표(0,0,0) 및 임의의 다른 좌표는 단지 예시적인 좌표일 뿐이므로, 결코 제한적인 방식으로 해석되어서는 안 된다는 점에 유의한다.
상황은 도식적인 "조감도"로 표시되며, X-Y 좌표는 경도 및 위도와 관련될 수 있다. 예를 들어, 바람, 내비게이션 추정 부정확도 등으로 인해, 플랫폼(100)이 끝점(A2)을 횡단할 수도 있고 횡단하지 않을 수도 있다는 점에 유의한다. 추가 단계에서, 플랫폼(100)은 다른(나중에 계산된) 단위 벡터(02)를 통해 타겟(54)을 향해 탐색할 수 있다. 제2 단위 벡터(02)의 시작점은 예를 들어, 본 발명에서 이미 표시된 바와 같이, 바람 또는 (예를 들어 관성) 내비게이션 추정 오차와 같은 환경 또는 작동적 조건으로 인해, 제1 단위 벡터(O1)의 끝점과 일치하거나 일치하지 않을 수 있다. 제2 단위 벡터(02)에 따라 탐색할 시, 플랫폼(100)은 플랫폼과 타겟(54) 사이의 거리(D)가 저거리 기준을 충족하는 위치(01)(10,12,17)에 도달한 것으로 도시된다. 도 6b에 도시된 바와 같이, 제3 단위 벡터(03)에 따라 타겟(54)를 향해 탐색하는 대신, 시스템은 타겟에 도달하기 위해 타겟(54)으로 플랫폼을 탐색하기 위한 변위 벡터(V3)의 벡터 성분을 계산하도록 (예를 들어, 중량) 단위 벡터(03)를 업데이트하도록 작동 가능하다.
변위 벡터(V3)는 타겟(54)에 대한 법선(N)과 정렬되어 측정되는 것으로 가정될 수 있는 타겟(54)과 플랫폼(100) 사이의 감지된 거리(D) 및 타겟(54)에 대한 법선에 대해 단위 벡터(03)의 각도 Q에 기초하여 계산될 수 있다.
일부 실시예들에서, 타겟(54)에 대한 단위 방향 또는 방향 벡터(On)는 예를 들어 플랫폼(100)에 의해 이용되는 이미지 장치(110)의 이미징 광학 장치의 기하학적 구조 및 제공된 프레임에서 장면 이미지에 대해 이미지화된 타겟(54)의 위치에 기초하여 결정(또한: 계산)될 수 있다.
03에 가중치를 부여하여 변위 벡터(V3)를 계산한 후, 단위 벡터(O1 및 02)는 소급적으로 업데이트(가중화)되어 대응하는 변위 벡터(V2 및 V3)에 도달할 수 있으며, 단위 벡터(O1 및 02)과 동일한 방향으로 타겟(54)를 향해 가리키는 모든 것은 해당하는 끝점(A2'(30,35,32) 및 B2'(29,35,32))을 갖는다. 해당 변위 벡터(V1 및 V2)를 얻기 위한 단위 벡터(O1 및 02)의 소급적 업데이트는 타겟을 향한 플랫폼 현재 위치의 방향 및 거리를 정의하는 변위 벡터(V3)의 계산을 통해 가능해진다. 본 발명에서 언급된 바와 같이, 플랫폼과 타겟 사이의 거리(D)가 거리 측정 센서에 의해 감지될 수 있기 때문에 제3 변위 벡터(V3)의 계산이 용이해진다.
수치 값은 단지 예시일 뿐이며 결코 제한적인 방식으로 해석되어서는 안된다는 점에 유의한다.
변위 벡터(Vi-n)의 소급적 계산 후(예를 들어, 방향 벡터(0i-n)를 소급하여 가중치를 부여함으로써), 플랫폼(100)과 타겟(54) 사이의 거리가 저거리 기준을 만족하여 업데이트된 현재 좌표(11, 11, 18)에 의해 본 발명에서 예시된 더욱 정확한 현재 플랫폼 위치 추정(C1')에 도달할 때까지 원점(A1)으로부터 플랫폼(100)에 의해 횡단된 비행 경로를 나타내는 모델 변위 벡터가 계산될 수 있다. 플랫폼(100)이 저거리 기준을 충족하는 지점을 지나 복수의 업데이트된 현재 위치 추정이 결정될 수 있다는 점에 유의한다.
플랫폼(100)에 의해 횡단된 비행 경로는 예를 들어 적어도 두개 또는 모든 변위 벡터의 공간 분포의 평균을 나타내는 모델 변위 벡터(Vm)에 의해, 도 6c에서 개략적으로 도시된다. 모델 변위 벡터(Vm)를 계산하기 위해 임의의 적절한 방법이 이용될 수 있다. 일부 실시예들에서, 복수의 변위는 원점으로부터 시작하여, 모델 변위 벡터에 대한 평균 또는 에버리지 방향 및 크기를 얻기 위해 서로 더해질 수 있다(즉, 벡터 추가가 수행될 수 있다). 일부 실시예들에서, 도 6c에 도시된 바와 같이, 모델 변위 벡터(Vm)는 원래 시작점(A1=M1)으로부터 구성될 수 있다. 일부 다른 실시예들에서, 모델 변위 벡터(Vm)는 A1(즉, M1≠A1)과 다른 시작점 좌표(M1')를 가질 수 있다. 일부 실시예들에서, 출발점(M1')은 그 자체로 두개의 초기 변위 벡터일 수 있는 연속적으로 또는 순차적으로 계산된 두개의 변위 벡터의 시작점 사이의 기하학적 평균일 수 있다. 일부 실시예들에서, 모델 변위 벡터(Vm)는 소급적으로 업데이트된 변위 벡터(V1-Vn) 중 적어도 두개에 의해 정의되는, 예를 들어 중심 또는 기하학적 중심을 횡단하거나 교차하도록 구성될 수 있다. 일부 실시예들에서, 모델 변위 벡터(Vm)는 소급적으로 업데이트된 변위 벡터(V1-Vn) 중 적어도 두개에 의해 정의되는 예를 들어 중심 또는 기하학적 중심을 횡단하거나 교차하지 않도록 구성될 수 있다. 일부 실시예들에서, 변위 벡터의 이상치는 모델 변위 벡터(Vm)를 계산하기 전에 폐기될 수 있다.
모델 변위 벡터(Vm)로 표현되는 "비행 경로"라는 용어는 반드시 플랫폼에 의해 실제로 횡단되는 비행 경로를 의미하는 것이 아니라, 플랫폼에 의해 횡단되는 "실제 비행 경로"를 나타내는 "모델 비행 경로"를 의미할 수 있음에 유의한다. 예를 들어, 모델 변위 벡터(Vm)는 "실제 비행 경로"의 "모델 비행 경로"를 나타낼 수 있다. 일부 실시예들에서, 이러한 (계산된) 모델 비행 경로는 원점에서 타겟까지 플랫폼의 최단 비행 경로를 나타낼 수 있다. 일부 실시예들에서, 실제 비행 경로 및/또는 (모델) 변위 벡터의 시작점과 끝점은 타임 스탬프와 관련될 수 있다. 따라서, 실제 비행 궤적 및/또는 (대응하는) 모델 궤적이 설명될 수 있다.
일부 실시예들에서, 모델 변위 벡터(Vm)는 보다 정확한 플랫폼 위치 추정에 도달하기 위해 변위 벡터(V1 및 V2)에 기초하여 결정(또한: 계산)될 수 있다. 일부 실시예들에서, 더 정확한 플랫폼 위치 추정(C1')에 도달하기 위해, 모델 변위 벡터(Vm)가 변위 벡터(V1 - V3)에 기초하여, 결정(또한: 계산)될 수 있다.
복수의 변위 벡터(V1-N)에 기초하여 모델 변위 벡터(Vm)가 계산되므로, 보다 정확하게 업데이트된 현재 위치 추정이 도출될 수 있다. 이는 소급적으로 업데이트되거나 계산된 비행 경로를 따라 비교적 부정확한 위치 추정이 장면 내의 플랫폼의 현재 위치 추정의 계산에 미치는 역효과가 감소되거나 최소화되기 때문이다. 예를 들어, 현재 위치 추정의 계산에서 이미 횡단된 비행 경로에 따른 "이상치" 위치 추정의 불리한 영향이 감소되거나 최소화되고, 이는 해당하는 "이상치" 변위 벡터의 영향이 추가 변위 벡터를 고려함으로써 감소되거나 최소화되기 때문이다. 또한, "이상치" 변위 벡터의 부정적인 영향이 감소되거나 최소화되어, 해당하는 위치 추정의 부정적 영향이 감소 또는 최소화된다고 기술될 수도 있다.
어느 쪽이든, 복수의 변위 벡터를 고려하여 모바일 플랫폼에 의해 횡단되는 비행 경로를 나타내는 모델 변위 벡터를 계산함으로써, (현재) 플랫폼 위치 추정의 오차가 감소되거나 최소화된다.
이제 도 6c를 참조한다. 본 발명에서 이미 표시된 바와 같이, 내비게이션 오차를 줄이거나 제거하기 위해, 또는 달리 언급하면 내비게이션 정확도를 높이기 위해, 모바일 플랫폼(100)이 모델 변위 벡터(Vm)에 기초하여 타겟(54)을 향해 탐색될 수 있다. 모델 변위 벡터(Vm)는 복수의 변위 벡터(Vn)에 기초하여 결정될 수 있다.
일부 실시형태들에서, 도 6d에 예시된 바와 같이, 모델 변위 벡터(Vm)는 두개의 기준 벡터(Vrefl 및 Vref2)의 시작점 사이에 선(S)를 연결하여 모서리(Vrefl, Vref2)를 갖는 삼각형(T)을 형성함으로써 결정(예를 들어, 구성)될 수 있다. 그런 다음 Vrefl과 Vref2의 두개의 시작점 사이의 기하학적 중심(C)이 결정될 수 있다. 기하학적 중심(C)은 모델 변위 벡터(Vm)의 시작점을 정의할 수 있고, 타겟(54)은 모델 변위 벡터(Vm)의 끝점을 정의할 수 있다. 따라서, 일부 실시형태들에서, 모델 변위 벡터(Vm)는 두개의(예를 들어, 순차) 변위 벡터에 의해 형성된 삼각형(T)의 중심, 및 두개의 변위 벡터의 두개의 시작점에 의해 정의되는 중간점(S)을 통과한다. 모델 변위 벡터를 계산하기 위해 추가적인 또는 대안적인 방법, 예를 들어 구성요소별 합산 및 벡터 수의 의한 각각의 구성요소에 대한 각각의 합계의 가중 평균이 사용될 수 있다는 점에 유의해야 한다. 모델 변위 벡터(Vm)에 대한 시작점은 P0일 수 있다.
일부 실시형태들에서, "이상치" 기준 벡터는 폐기될 수 있으며 모델 변위 벡터를 계산하는데 고려되지 않을 수 있다. 이상치 기준 또는 이상치 단위 벡터는 통계적으로 특정 포함 기준을 충족하지 않는 벡터로서 정의될 수 있다(예를 들어, 해당 파라미터 값이 포함 범위 외부로 벗어나거나 복수의 변위 벡터 또는 단위 벡터 각각의 파라미터 값 분포의 전체 패턴 외부에 있음).
이제 도 7을 추가로 참조한다. "기준 벡터" 및 "변위 벡터"라는 표현은 본 발명에서 상호 교환적으로 사용될 수 있다는 점에 유의한다. 일부 실시형태들에서, GNSS 없는 내비게이션 방법은 예를 들어, 이미징 장치에 의해, 타겟에 대한 모바일 플랫폼의 제1 위치에서, 타겟을 포함하는 장면의 이미지를 획득하는 단계(블록 704)를 포함할 수 있다.
일부 실시형태들에서, 방법은 모바일 플랫폼에서 타겟을 가리키는 기준 변위 벡터(Vref)를 결정하기 위해 이미지를 분석하는 단계(블록 708)를 더 포함할 수 있다.
일부 실시형태들에서, 방법은 복수의 이미지를 획득하기 위해 타겟을 포함하는 장면의 적어도 하나의 추가 이미지를 획득하는 단계를 포함할 수 있으며, 적어도 하나의 추가 이미지는 타겟에 대한 제1 위치와 다른 제2 위치에서 획득된다(블록 712)
일부 실시형태들에서, 방법은 복수의 기준 벡터를 얻기 위해 적어도 하나의 대응하는 추가 변위 기준 벡터를 결정하기 위해 적어도 하나의 추가 이미지를 분석하는 단계(블록 716)를 더 포함할 수 있다.
일부 실시형태들에서, 방법은 복수의 기준 변위 벡터(Vref) 중 적어도 두개에 기초하여, 타겟에 대한 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터(Vm)를 결정하는 단계(블록 720)를 포함할 수 있다.
추가 실시예에서, 복수의 기준 변위 벡터(Vref) 길이 및 각도의 파라미터 값과 관련된 (예를 들어, 가중) 에버리지 또는 (예를 들어, 가중) 평균 또는 중앙값이 각각의 특정 벡터를 사용하거나 사용하지 않고 계산될 수 있다. 변위 벡터가 기준값, 예를 들어 중앙값, (예를 들어, 가중) 평균 또는 가중 평균과 크게 다른 경우, 예를 들어 이의 길이나 각도가 미리 결정된 임계값 이상으로 다른 경우, 해당 기준 벡터가 무시될 수 있다. 이러한 방식은 갑작스러운 돌풍이나 다른 요소로부터 이미지 분석으로 인한 오차를 제거하고 모바일 플랫폼(100)에 의해 수행되는 궤적을 정확하게 설명하는 것을 제공할 수 있다.
예를 들어, 100개의 기준 벡터(Vref)에 기초하여 해당 변위 벡터(Vref)가 결정되었다고 가정한다. 각각의 기준 벡터(Vref)(첫번째 및 마지막 두개 제외)에 대해, 이전 두개의 벡터의 (예를 들어, 가중) 에버리지 또는 (예를 들어, 가중) 평균 길이 및 (예를 들어, 가중) 평균 또는 (예를 들어, 가중) 에버리지 각도 및 이후 두개의 벡터는 예를 들어 모델 변위 벡터(Vm)를 얻기 위해 다음과 같이 계산될 수 있고, 여기서 I는 벡터의 길이이며 Q는 이의 각도이다: 에버리지 또는 평균 길이 , 및 에버리지 또는 평균 각도 .
일부 실시형태들에서, 계산된(예를 들어, 가중된) 에버리지 또는 (예를 들어, 가중된) 평균 길이 및 (예를 들어, 가중된) 에버리지 또는 (예를 들어, 가중된) 평균 각도 또는 중앙(길이 및/또는 각도) 값은 Vref의 길이와 각도와 비교될 수 있다. 길이 또는 각도의 차이가 예를 들어 10%를 초과하는 경우, 각각의 기준 변위 벡터(Vref)가 제거될 수 있다. 두개의 이전 및 두개의 후속 기준 벡터와 10% 차이는 단지 예시일 뿐이며 임의의 다른 숫자가 사용될 수 있다는 것이 이해될 것이다.
도 2를 다시 참조하면, 본 발명의 실시형태들에 따라 모바일 플랫폼(100)과 같은 모바일 플랫폼을 탐색하도록 구성되는 GNSS 없는 내비게이션 시스템(1500)의 구성요소의 개략적인 블록도가 도시된다.
일 실시형태에서, GNSS가 없는 내비게이션 시스템(1500)과 관련하여 설명된 모든 장치, 구성요소, 모듈 및/또는 기능은 온보드 모바일 플랫폼(100)에 포함 및/또는 구현될 수 있다. 일 실시형태에서, GNSS가 없는 내비게이션 시스템(1500)에 대해 설명된 일부 장치, 구성요소, 모듈 및/또는 기능은 온보드 모바일 플랫폼(100)에 포함 및/또는 구현될 수 있고, 일부는 예를 들어 서버(미도시)에 의해 모바일 플랫폼(100) 외부에 포함 및/또는 구현될 수 있다.
일부 실시형태들에서, GNSS가 없는 내비게이션 시스템(1500)은 모바일 플랫폼(100)의 일부이고 모바일 플랫폼을 추진하도록 구성되는 추진 서브시스템(propelling systme; 120)을 포함할 수 있다. 추진 서브시스템(120)은 예를 들어 하나 이상의 전기 및/또는 화석 기반 추진 장치(예를 들어, 추진 기반, 회전 날개 기반, 프로펠러 기반 장치); 관성 센서(예를 들어, 자이로스코프, 가속도 센서), 비관성 센서(예를 들어, 고도계, 압력 센서); 및/또는 유사물을 포함할 수 있다.
일부 실시형태들에서, GNSS가 없는 내비게이션 시스템(1500)은 하나 이상의 물체를 포함하는 장면(50)을 나타내는 이미지 데이터를 생성하기 위해 카메라의 이미지 센서(114) 또는 이미징 장치(110) 상에서 장면(50)으로부터 수신된 광을 수신하고 광학적으로 안내하도록 구성되는 이미징 광학 장치(112)를 포함하는 이미징 장치(110)를 더 포함할 수 있다.
이미징 장치(110)는 이의 주변의 하나 이상의 프레임을 캡처하도록 구성되는 광각 카메라, 협각 카메라, 비디오 카메라, 열 카메라 등으로 구현될 수 있다. 일부 실시형태들에서, 모바일 플랫폼(100)은 서로 다른 이미징 기술을 이용하는 두개 이상의 이미징 장치(110)를 포함할 수 있다. 예를 들어, 제1 이미징 장치는 와이드-FOV 카메라를 포함할 수 있고, 제2 이미징 장치는 내로우 또는 텔레-FOV 카메라를 포함할 수 있다.
일부 실시형태들에서, GNSS가 없는 내비게이션 시스템(1500)은 예를 들어 초음파 센서, 적외선 센서, 초광대역(UWB) 센서, 레이저 기반 센서, RADAR, LIDAR, 입체 카메라 및/또는 유사물에 의해 구현되는 거리 감지 장치(130)를 포함할 수 있다.
거리 감지 장치(130)의 정확도는 모바일 플랫폼(100)에서 타겟(54)까지의 거리에 따라 달라질 수 있다. 일부 실시형태들에서, 모바일 플랫폼(100)은 두개 이상의 거리 감지 장치(130)를 포함할 수 있으며, 여기서 각각의 센서는 다양한 날씨 및/또는 시야 조건 등 하에서 다양한 정확도가 예상되는 경우 서로 다른 거리 범위 내에서 사용될 수 있다. 모바일 플랫폼(100)에 의해 이용되는 거리 감지 장치(130)의 수 및 유형은 예를 들어 각각의 센서의 무게 및/또는 형상, 및/또는 모바일 플랫폼(100)의 운반 능력에 따라 달라질 수 있다.
GNSS가 없는 내비게이션 시스템(1500)은 전력을 저장하고 시스템의 다양한 모듈 및/또는 구성요소에 필요한 전력을 제공하기 위해 배터리, 재충전 가능 배터리, 태양광 패널 등과 같은 전력 모듈(1505)을 더 포함할 수 있다.
GNSS가 없는 내비게이션 시스템(1500)은 프로세서(1510), 및 데이터(1522)와 알고리즘 코드 및/또는 기계 학습(ML) 모델(1524)을 저장하도록 구성되는 메모리(1520)를 더 포함할 수 있다. 프로세서(1510)는 알고리즘 코드를 실행 및/또는 내비게이션 제어 엔진 또는 애플리케이션(1530)의 구현을 초래하는 데이터(1522)의 처리를 위한 ML 모델(1524)을 적용할 수 있다.
일부 실시예들에서, 프로세서(1510)는 모바일 플랫폼(100) 또는 이의 서브 구성요소 중 임의의 것에 의해 요구되는 계산을 수행하기 위해 이용될 수 있다. 프로세서(1510)는 예를 들어 GNS가 없는 내비게이션의 시스템, 방법, 프로세스 및/또는 작동을 수행하는데 유용한 컴퓨터 프로그램을 실행하도록 구성될 수 있다.
예를 들어, 모바일 플랫폼(100)의 추진 서브시스템(120)은 내비게이션 제어 엔진(1530)을 구현하기 위해 이용되는 하나 이상의 프로세서(1510)로부터 수신된 명령에 따라 작동할 수 있다.
내비게이션 제어 엔진(1530)은 이미징 장치(110)에 의해 획득된 이미지 및/또는 다른 데이터(예를 들어, 음향 데이터)에 의해 얻어진 이미지를 사용하여, UV의 현재 위치 및 타겟 간의 거리 추정(D)을 결정 또는 감지를 반복적으로 시도하면서 UV를 원점(P0)에서 타겟을 향해 자율적으로 탐색하기 위한 (예를 들어, SLAM 기반) 내비게이션 기술을 구현하도록 구성될 수 있다.
추정된 현재 거리가 저거리 기준을 충족하는 경우, 내비게이션 데이터는 UV를 타겟(54)까지 추가로 탐색하기 위해 모바일 플랫폼(100)에 의해 이용되는 거리 감지 장치(130)에 의해 측정된 거리 파라미터 값으로 보완될 수 있다.
일부 실시형태들에서, 내비게이션 제어 엔진(1530)은 캡처된 이미지 데이터를 분석하기 위해 이미지 분석 모듈(1532)을 구현하도록 구성될 수 있다. 분석에는 예를 들어 그래픽 및/또는 텍스트 설명을 포함하는 타겟에 대한 설명을 기반으로, 캡처된 이미지 내에서 타겟을 식별하는 것을 포함할 수 있다. 타겟 식별에는 모서리 감지, 코너 감지 등과 같은 이미지 분석 기술이 포함될 수 있다. 이미지 분석 모듈(1532)이 이해될 것이다.
일부 실시형태들에서, 내비게이션 제어 엔진(1530)은 모바일 플랫폼(100)에서 타겟(54)을 가리키는 방향 벡터(O1)를 반복적으로 생성 또는 결정하기 위한 벡터 생성 및 업데이트 모듈(1534)을 구현하도록 구성될 수 있다.
벡터 생성 및 업데이트 모듈(1534)은 또한 모바일 플랫폼(100)과 타겟(54) 사이에서 획득되거나 결정된 거리(Ds)에 기초하여, 방향과 크기를 갖는 복수의 변위 벡터(V)를 결정하도록 적용될 수 있다. 소급적으로 결정된 복수의 변위 벡터는 UV와 타겟 사이의 거리가 저거리 기준을 충족할 때까지 모바일 플랫폼(100)에 의해 횡단되는 경로를 기술할 수 있다. 일부 실시예들에서, 복수의 변위 벡터는 예를 들어, 저거리 기준이 충족되는 지점까지 과거에(즉, 소급적으로) 획득된 방향 벡터(0)에 크기를 계산하거나 관련시킴으로써 결정될 수 있다. 측정된 거리에 기초하여, 내비게이션 제어 엔진(1530)은 모바일 플랫폼(100)의 적어도 하나의 현재 위치(Pcur)를 결정하도록 구성될 수 있다. 적어도 하나의 현재 위치(Pcur)는 복수의 변위 벡터(V)에 도달하기 위해 예를 들어 단위 벡터(0)를 소급적으로 관련시키거나 가중시킴으로써 결정될 수 있다.
일부 실시형태들에서, 내비게이션 제어 엔진(1530)은 모션(예를 들어, 비행) 경로를 결정하기 위해 획득된 이미지 데이터 및 모바일 플랫폼(100)과 타겟(54) 사이의 거리의 반복된 감지에 기초하여, 하나 이상의 변위 벡터를 장기적으로 결정함으로써 타겟(54)을 향해 모바일 플랫폼(100)을 추가로 전진시키도록 구성될 수 있다. 타겟(54)에 대한 복수의 모바일 플랫폼 위치 추정은 UV에 의해 이용되는 거리 감지 장치에 의한 거리 감지의 도움으로 결정될 수 있다. 일부 실시예들에서, UV 위치 추정은 UV의 궤적을 결정하기 위해 타임 스탬프와 관련될 수 있다.
본 발명에서 사용된 "프로세서"라는 용어는 추가적으로 또는 대안적으로 컨트롤러(controller)를 지칭할 수 있다는 점에 유의한다. 프로세서(1510)는 예를 들어 내장된 프로세서, 통신 프로세서, 그래픽 처리 유닛(GPU) 가속 컴퓨팅, 소프트 코어 프로세서 및/또는 범용 프로세서를 포함하는 다양한 유형의 프로세서 장치 및/또는 프로세서 아키텍처에 의해 구현될 수 있다. 일부 실시형태들에서, 프로세서(1510)는 중앙 처리 유닛(CPU), 마이크로프로세서, 전자 회로, 집적 회로(1C) 등으로 구현될 수 있다.
메모리(1520)는 트랜잭션 메모리(transactional memory) 및/또는 장기 저장 메모리 설비를 포함하는 다양한 유형의 메모리로 구현될 수 있으며, 파일 저장, 문서 저장, 프로그램 저장 또는 작업 메모리로 기능할 수 있다. 후자는 예를 들어 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 읽기 전용 메모리(ROM), 캐시 및/또는 플래시 메모리의 형태일 수 있다. 작업 메모리로서, 메모리(1520)는 예를 들어, 시간 기반 및/또는 비시간 기반 명령을 포함할 수 있다. 장기 메모리로서, 메모리(1520)는 예를 들어 휘발성 또는 비휘발성 컴퓨터 저장 매체, 하드 디스크 드라이브, 솔리드 스테이트 드라이브, 자기 저장 매체, 플래시 메모리 및/또는 다른 저장 설비를 포함할 수 있다. 하드웨어 메모리 설비는 예를 들어 파일, 프로그램, 애플리케이션, 소스 코드, 개체 코드, 데이터 등을 포함하지만, 이에 제한되지 않는 고정된 정보 세트(예를 들어, 소프트웨어 코드)를 저장할 수 있다. 메모리(1520)는 임의의 통신 채널을 통해 프로세서(1510)로 접근 가능한, 단일 메모리 장치일 수 있거나, 모바일 플랫폼(100)에서 동일 위치에 위치되거나, 모바일 플랫폼(100)에 하나 이상 및 다른 플랫폼에서 하나 이상과 같이 다양한 위치에서 위치될 수 있는 다중 상호 연결된 메모리 장치일 수 있다.
GNSS가 없는 내비게이션 시스템(1500)은 시스템의 다양한 구성요소 및/또는 모듈 간의 유선 및/또는 무선 통신을 가능하게 하도록 구성되고 하나 이상의 통신 버스(미도시), 신호 라인(미도시) 및/또는 네크워크 인프라스트럭처를 통해 서로 통신할 수 있는 통신 장치(1540)를 포함할 수 있다.
통신 장치(1540)는 원격으로 인간 및/또는 컴퓨터 작동자로부터 내비게이션 및/또는 작동 명령과 같은 명령을 수신하고, 이미지 및/또는 다른 데이터를 외부 시스템으로 전송하며, 네트워크 인프라스트럭처를 통해 외부 소스로부터 판독값 및/또는 다른 데이터를 수신하도록 작동될 수 있다.
네트워크 인프라스트럭처는 예를 들어 인터넷 통신, 광 통신, 셀룰러 통신, RF 통신, 전화 기반 통신 기술 등과 같은 하나 이상의 통신 포맷, 프로토콜 및/또는 유사물을 사용하기 위해 구성될 수 있다. 일부 실시예들에서, 통신 장치(1540)는 네트워크를 통한 데이터의 전송 및/또는 수신을 가능하게 하기 위해 I/O 장치 드라이버(미도시) 및 네트워크 인터페이스 드라이버(미도시)를 포함할 수 있다. 예를 들어 장치 드라이버는 키패드나 USB 포트와 인터페이스할 수 있다. 네트워크 인터페이스 드라이버는 예를 들어 인터넷, 인트라넷, 광역 네트워크(WAN), 예를 들어 무선 근거리 네트워크(WLAN)을 사용하는 근거리 네트워크(LAN), 도시권 네트워크(MAN), 개인 영역 네트워크(PAN), 엑스트라넷, 2G, 3G, 3.5G, 4G, 5G, 6G 모바일 네트워크, 3GPP, LTE, LTE 고급, Bluetooth®(예를 들어, 블루투스 스마트), ZigBee™, 근거리 통신(NFC) 및/또는 임의의 다른 현재 또는 미래의 통신 네트워크, 표준 및/또는 시스템에 대한 프로토콜을 실행할 수 있다.
아래에 설명된 구성요소는 예를 들어 프로세서(1510) 또는 다른 프로세서에 의해 실행되는 하나 이상의 세트의 상호 관련된 컴퓨터 명령으로 구현될 수 있다. 구성요소는 임의의 프로그래밍 언어와 임의의 컴퓨팅 환경 하에서 프로그램된 하나 이상의 실행 파일, 동적 라이브러리, 정적 라이브러리, 방법, 기능, 서비스 등으로 배치될 수 있다.
개시된 실시형태들의 양태들은 GNSS를 이용하지 않고 모바일 플랫폼을 탐색하도록 구성된 시스템, 장치 및/또는 방법에 관한 것이다. 따라서, 모바일 플랫폼을 탐색하기 위해 본 발명에서 개시된 시스템, 장치 및/또는 방법은 GNSS 없는 시나리오, GNSS 거부 또는 GNSS 도전 시나리오에서 이용될 수 있다.
추가 실시예들: 실시예 1은 글로벌 내비게이션 위성 시스템(GNSS)을 요구하지 않고, 원점에서 장면에 위치된 타겟를 향해 플랫폼에서 이미징 장치를 사용하여 모바일 플랫폼을 탐색하기 위한 방법을 포함하며, 상기 방법은:
a) 이미징 장치에 의해, 타겟을 포함하는 장면의 이미지를 획득하는 단계;
b) 이미지 분석에 기초하여, 모바일 플랫폼에서 타겟을 가리키는 방향 벡터를 결정하는 단계;
c) 상기 방향 벡터에 따라 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
d) 거리 감지 장치로, 모바일 플랫폼과 타겟 사이의 거리를 결정하려고 시도하는 결과로서 출력을 거리 감지 장치에 의해 생성하는 단계;
상기 거리 감지 장치에 의해 생성되는 출력이 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하는 것을 포함하여, 타겟을 향해 모바일 플랫폼을 전진시키기 위해 a) 내지 d)를 반복하는 단계;
저거리 기중을 충족하는 거리에 기초하여, 크기를 가지고 방향 벡터에 따라 원점에서 현재 모바일 플랫폼 위치까지 모바일 플랫폼에 의해 횡단된 경로를 나타내는 복수의 변위 벡터를 결정하는 단계, 및
복수의 변위 벡터(V) 중 적어도 하나에 기초하여, 타겟에 대한 모바일 플랫폼의 현재 위치 추정을 결정하는 단계를 포함한다. 일부 실시예들에서, 방법은 이의 현재 위치에서 타겟까지 플랫폼을 탐색하기 위한 모델 벡터를 결정하는 것을 포함할 수 있다. 임의적으로, 모델 벡터는 복수의 변위 벡터에 기초하여 결정될 수 있다.
실시예 2는 실시예 1의 요지를 포함하며, 선택적으로 플랫폼이 복수의 변위 벡터 중 적어도 하나에 기초하여 타겟을 향해 탐색된다.
실시예 3은 실시예 1 및/또는 실시예 2의 요지를 포함하고, 임의적으로 적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 타겟을 향해 모바일 플랫폼을 전진시키기 위해 타겟에 대해 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정하는 단계를 포함한다.
실시예 4는 실시예 3의 요지를 포함하며, 임의적으로 적어도 두개의 변위 벡터는 중심을 정의하고, 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 타겟과 일치하는 벡터 끝점을 갖는다.
실시예 5는 실시예 3 및/또는 4 중 어느 하나 이상의 요지를 포함하며, 임의적으로 모델 변위 벡터는 예를 들어, 적어도 두개의 기준 벡터의 구성요소별(예를 들어 가중) 에버리지 또는 (예를 들어 가중) 평균 또는 중앙값을 나타낸다.
실시예 6은 실시예 1 내지 5 중 어느 하나의 요지를 포함하며, 임의적으로 타겟은 기계 학습 모델을 기반으로 이미지 내에서 식별된다.
실시예 7은 실시예 1 내지 6 중 어느 하나의 요지를 포함하며, 임의적으로 방향 벡터에 따른 모바일 플랫폼의 전진이 하기 중 하나를 사용하여 수행된다: 동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것의 임의의 조합.
실시예 8은 실시예 1 내지 7 중 어느 하나의 요지를 포함하고, 임의적으로 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것의 임의의 조합 중 하나를 포함한다.
실시예 9는 실시예 1 내지 8 중 어느 하나의 요지를 포함하며, 임의적으로 저거리 임계값 기준은 10미터 이하의 임계값을 정의한다.
실시예 10은 실시예 1 내지 9 중 어느 하나의 요지를 포함하며, 임의적으로 타겟은 건물 벽에 개구부를 포함한다.
실시예 11은 실시예 10의 요지를 포함하며, 임의적으로 개구부는 창문, 문 및/또는 벽 틈이다.
실시예 12는 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고 원점에서 장면에 위치된 타겟을 향해 이미징을 사용하여 모바일 플랫폼을 탐색하기 위한 시스템을 포함하며, 시스템은 이미징 장치와 거리 감지 장치를 포함하는 모바일 플랫폼; 하나 이상의 프로세서; 및 시스템이 하기 단계들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행 가능한 소프트웨어 코드 부분을 저장하는 하나 이상의 메모리를 포함한다:
a) 이미징 장치에 의해, 타겟을 포함하는 장면의 이미지를 획득하는 단계;
b) 이미지 분석에 기초하여, 모바일 플랫폼에서 타겟을 가리키는 방향 벡터를 결정하는 단계;
c) 방향 벡터에 따라 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
d) 상기 거리 감지 장치로 모바일 플랫폼과 타겟 사이의 거리를 결정하려고 시도한 결과로서 출력을 거리 감지 장치에 의해 생성하는 단계;
e) 거리 감지 장치에 의해 생성된 출력이 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하는 단계를 포함하여, 타겟을 향해 이동 플랫폼을 전진시키기 위해 a) 내지 d)를 반복하는 단계;
저거리 기준을 충족하는 거리에 기초하여, 크기를 가지고 방향 벡터에 따라 원점으로부터 모바일 플랫폼까지 모바일 플랫폼에 의해 횡단하는 경로를 나타내는 복수의 변위 벡터를 결정하는 단계; 및
복수의 변위 벡터(V) 중 적어도 하나에 기초하여, 타겟에 대한 모바일 플랫폼의 현재 위치 추정을 결정하는 단계.
실시예 13은 실시예 12의 요지를 포함하며, 임의적으로 플랫폼은 복수의 변위 벡터 중 적어도 하나에 기초하여, 타겟을 향해 탐색된다.
실시예 14는 실시예 12 및/또는 13의 요지를 포함하고, 임의적으로 하나 이상의 프로세서에 의해 실행 가능한 소프트웨어 코드 부분을 저장하는 하나 이상의 메모리는 시스템이 하기 단계를 수행하게 하도록 구성된다:
적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 타겟를 향해 모바일 플랫폼을 전진시키기 위해 타겟에 대한 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정한다.
실시예 15는 실시예 14의 요지를 포함하며, 임의적으로 적어도 두개의 변위 벡터는 중심을 정의하고; 그리고
상기 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 타겟와 일치하는 벡터 끝점을 갖는다.
실시예 16은 실시예 14 및/또는 15 중 어느 하나의 요지를 포함하며, 임의적으로 모델 변위 벡터는 예를 들어 구성요소별(예를 들어 가중) 에버리지 또는 적어도 두개의 기준 벡터의 (예를 들어 가중) 평균 또는 중앙값을 나타낸다.
실시예 17은 실시예 12 내지 16 중 어느 하나의 요지를 포함하며, 임의적으로 타겟은 기계 학습 모델에 기초하여 이미지 내에서 식별된다.
실시예 18은 실시예 12 내지 17 중 어느 하나의 요지를 포함하며, 임의적으로 방향 벡터에 따른 모바일 플랫폼의 전진이 하기 중 하나를 사용하여 수행된다: 동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것들의 임의의 조합.
실시예 19는 실시예 12 내지 18 중 어느 하나의 요지를 포함하고, 임의적으로 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것들 중 임의의 조합 중 하나를 포함한다.
실시예 20은 실시예 12 내지 19 중 어느 하나의 요지를 포함하며, 임의적으로 저거리 임계값 기준은 10미터 이하의 임계값을 정의한다.
실시예 21은 실시예 12 내지 20 중 어느 하나의 요지를 포함하며, 임의적으로 타겟은 건물 벽에서의 개구부를 포함한다.
실시예 22는 실시예 21의 요지를 포함하며, 임의적으로 개구부는 창문, 문 및/또는 벽 틈이다.
일부 실시형태들은 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 원점에서 장면에 위치된 타겟를 향해 (완전 자율적으로 또는 부분적으로 자율적으로) 탐색하도록 구성된 모바일 플랫폼에 관한 것이며, 모바일 플랫폼은:
타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하도록 구성된 적어도 하나의 이미징 장치;
모바일 플랫폼과 타겟 사이의 거리를 나타내는 출력을 생성하도록 구성된 적어도 하나의 거리 감지 장치;
모바일 플랫폼을 타겟을 향해 탐색하기 위한 내비게이션 제어 엔진을 포함하는 적어도 하나의 항공 전자 시스템;을 포함하고, 하기 단계를 따른다:
a) 적어도 하나의 이미징 장치에 의해, 타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하는 단계;
b) 적어도 하나의 이미지의 분석에 기초하여, 모바일 플랫폼에서 타겟을 가리키는 방향 벡터를 결정하는 단계;
c) 방향 벡터에 따라 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
d) 거리 감지 장치로 모바일 플랫폼과 타겟 사이의 거리를 결정하려고 시도한 결과로서 적어도 하나의 거리 감지 장치에 의해 출력을 생성하는 단계;
e) 거리 감지 장치에 의해 생산된 출력이 현재 위치에서 저거리 기준을 만족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하고, 관련된 현재 거리 추정을 결정하는 것을 포함하여, 타겟을 향해 모바일 플랫폼을 전진시키기 위해 a) 내지 d)를 반복하는 단계;
f) 저거리 기준을 충족하는 거리에 기초하여, 복수의 방향 벡터 중 적어도 두개를 소급적으로 업데이트하여, 크기를 가지고 원점으로부터 방향 벡터에 따라 현재 모바일 플랫폼 위치로 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 대응하는 적어도 두개의 변위 벡터를 획득하는 단계; 및
g) 적어도 두개의 변위 벡터에 기초하여, 타겟에 대한 현재 모바일 플랫폼 위치의 업데이트된 추정을 결정하는 단계.
일부 실시예들에서, 모바일 플랫폼은 적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 타겟을 향해 모바일 플랫폼을 전진시키기 위해 타겟에 대해 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정하도록 추가로 구성된다.
일부 실시예들에서, 적어도 두개의 변위 벡터는 중심을 정의하고; 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 타겟와 일치하는 벡터 끝점을 갖는다.
일부 실시예들에서, 모델 변위 벡터는 적어도 두개의 기준 벡터의 가중 에버리지 또는 가중 평균 또는 중앙값을 나타내고, 이는 임의적으로 구성요소별 가중 에버리지 또는 가중 평균 또는 중앙값이다.
일부 실시예들에서, 타겟은 기계 학습 모델을 기반으로 이미지 내에서 식별된다.
일부 실시예들에서, 방향 벡터에 따른 모바일 플랫폼의 전진은 하기 중 하나를 사용하여 수행된다:
동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 탐색 기술; 별 기반 탐색 기술; 또는 전술한 것들의 임의의 조합.
일부 실시예들에서, 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것들의 임의의 조합 중 하나를 포함한다.
실시형태들은 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 원점에서 장면에 위치된 타겟를 향해 탐색하도록 구성되는 모바일 플랫폼에 관한 것일 수 있으며, 모바일 플랫폼은:
타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하도록 구성된 적어도 하나의 이미징 장치;
모바일 플랫폼과 타겟 사이의 거리를 나타내는 출력을 생성하도록 구성된 적어도 하나의 거리 감지 장치;
타겟을 향해 모바일 플랫폼을 탐색하기 위한 내비게이션 제어 엔진을 포함하는 적어도 하나의 항공 전자 시스템;을 포함하고 하기 단계를 따른다:
a) 적어도 하나의 이미징 장치에 의해, 타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하는 단계;
b) 적어도 하나의 이미지의 분석에 기초하여, 모바일 플랫폼에서 타겟을 가리키는 방향 벡터를 결정하는 단계;
c) 방향 벡터에 따라 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
d) 적어도 하나의 거리 감지 장치로 모바일 플랫폼과 타겟 사이의 거리를 결정하려고 시도한 결과로서, 적어도 하나의 거리 감지 장치에 의해 출력을 생성하는 단계;
e) 거리 감지 장치에 의해 생성된 출력이 현재 위치에서 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하고, 관련된 현재 위치 추정을 결정하는 것을 포함하여, 모바일 플랫폼을 타겟을 향하게 전진시키도록 a) 내지 d)를 반복하는 단계;
f) 저거리 기준을 충족하는 거리에 기초하여, 복수의 방향 벡터 중 적어도 두개를 소급적으로 업데이트하여, 이에 따라 크기를 가지고 방향 벡터에 따라 원점에서 현재 모바일 플랫폼 위치까지 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 적어도 두개의 변위 벡터를 획득하는 단계; 및
g) 적어도 두개의 변위 벡터에 기초하여, 모바일 플랫폼을 타겟으로 탐색하는 단계를 포함한다.
본 발명에서 설명되고 첨부 도면에 예시된 방법이 제한적인 방식으로 해석되어서는 안된다는 점에 유의하는 것이 중요하다. 예를 들어, 본 발명에서 설명된 방법은 본 발명 및/또는 도면에 설명된 내용과 비교하여 추가적이거나 더 적은 수의 프로세스 또는 작업을 포함할 수 있다. 또한, 방법 단계는 반드시 본 발명에서 도시되고 설명된 연대순으로 제한되지는 않는다.
본 발명에서 예시된 임의의 디지털 컴퓨터 시스템, 유닛, 장치, 모듈 및/또는 엔진은 본 발명에서 개시된 방법을 구현하도록 구성되거나 그렇지 않으면 프로그램될 수 있으며, 시스템, 모듈 및/또는 엔진이 이러한 방법을 구현하도록 구성되는 정도까지 본 발명의 범위와 개념 내에 있다. 시스템, 모듈 및/또는 엔진이 본 발명에 개시된 방법을 구현하는 프로그램 소프트웨어로부터 컴퓨터 판독 가능 및 실행 가능 명령에 따라 특정 기능을 수행하도록 프로그램되면, 이는 본 발명에서 개시된 방법의 실시형태들에 특정한 특수 목적 컴퓨터가 된다. 본 발명에서 개시된 방법 및/또는 프로세스는 예를 들어, 비일시적 유형의 컴퓨터 판독 가능 및/또는 비일시적 유형의 기계 판독 가능 저장소를 포함하는 정보 매체에 유형으로 구현될 수 있는 컴퓨터 프로그램 제품으로 구현될 수 있다. 컴퓨터 프로그램 제품은 본 발명에서 개시된 방법 및/또는 프로세스를 수행하기 위한 소프트웨어 코드 부분을 포함하는 디지털 컴퓨터의 내부 메모리에 직접적으로 로딩 가능할 수 있다.
본 발명에서 개시된 방법 및/또는 프로세스는 컴퓨터 판독 가능 신호 매체에 의해 무형으로 구현될 수 있는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터 판독 가능 신호 매체는 예를 들어, 기저대역에서 또는 반송파의 일부로서 컴퓨터 판독 가능 프로그램 코드가 내장된 전파된 데이터 신호를 포함할 수 있다. 이러한 전파된 신호는 전자기적, 광학적, 또는 이들의 임의의 적절한 조합을 포함하지만, 이에 제한되지 않는 다양한 형태 중 임의의 것을 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 비일시적 컴퓨터 또는 기계 판독 가능 저장 장치가 아니며 본 발명에서 설명된 장치, 시스템, 플랫폼, 방법, 작동 및/또는 프로세스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 통신, 전파 또는 전송할 수 있는 임의의 컴퓨터 판독 가능 매체일 수 있다.
"비일시적 컴퓨터 판독 가능 저장 장치" 및 "비일시적 기계 판독 가능 저장 장치"라는 용어는 배포 매체, 중간 저장 매체, 컴퓨터의 실행 메모리, 및 본 발명에서 설명된 방법의 실시형태들을 구현하는 컴퓨터 프로그램에 의해 나중에 판독할 수 있도록 저장할 수 있는 임의의 다른 매체 또는 장치를 포함한다. 컴퓨터 프로그램 제품은 하나의 컴퓨터 또는 한 사이트의 여러 컴퓨터에서 실행되도록 배포되거나 하나 이상의 통신 네트워크에 의해 여러 사이트에 분산되거나 상호 연결될 수 있다.
이러한 컴퓨터 판독 가능 및 실행 가능 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어, 컴퓨터의 프로세서 또는 다른 프로그램 가능한 데이터 처리 장치를 통해 실행되는 명령이 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/동작을 구현하기 위한 수단을 생성할 수 있다. 이러한 컴퓨터 판독 가능 및 실행 가능 프로그램 명령은 컴퓨터, 프로그램 가능한 데이터 처리 장치, 및/또는 다른 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수도 있어, 그 안에 저장된 명령를 갖는 컴퓨터 판독 가능 저장 매체는 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/동작의 양태를 구현하는 명령을 포함하는 제조품으로 구성된다.
컴퓨터 판독 가능 및 실행 가능 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치가 로드되어 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 수행되어 컴퓨터 구현 프로세스를 생성할 수 있고, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 실행되는 명령은 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/동작을 구현한다.
"엔진"이라는 용어는 하나 이상의 컴퓨터 모듈을 포함할 수 있으며, 여기서 모듈은 더 큰 시스템과 인터페이스하는 독립형 하드웨어 및/또는 소프트웨어 구성요소일 수 있다. 모듈은 기계 또는 기계 실행 가능한 명령을 포함할 수 있다. 모듈은 시스템이 본 발명에서 개시된 방법, 프로세스 및/또는 동작을 구현하도록 프로그램된 회로 또는 컨트롤러로 구현될 수 있다. 예를 들어, 모듈은 예를 들어 맞춤형 VLSI 회로 또는 게이트 어레이, 주문형 집적 회로(ASIC), 회로 칩, 트랜지스터 및/또는 다른 개별 구성요소와 같은 기성품 반도체를 포함하는 하드웨어 회로로 구현될 수 있다. 모듈은 또한 필드 프로그램 가능한 게이트 어레이, 프로그램 가능한 어레이 로직, 프로그램 가능한 논리 장치 등과 같은 프로그램 가능한 하드웨어 장치에서 구현될 수도 있다.
"램덤"이라는 용어는 "실질적으로 무작위로" 또는 "유사 무작위로"라는 용어의 의미도 포함한다.
본 발명에서 사용되는 "실시간"이라는 표현은 일반적으로 예를 들어 사용자가 인지할 수 있는 흔들림, 지연 또는 지체 없이 데이터가 수신되는 것과 본질적으로 동일한 속도로 수신된 데이터에 기초하여, 정보를 업데이트하는 것을 의미한다.
설명에서, 달리 명시되지 않는 한, 본 발명의 실시형태의 특징 또는 특징들의 조건 또는 관계 특징을 수정하는 "실질적으로" 및 "약"과 같은 형용사는 조건 또는 특성이 의도된 적용에 대한 실시형태들의 작동을 위해 허용 가능한 공차 내에서 정의되는 것을 의미하는 것으로 이해될 수 있다.
달리 명시하지 않는 한, 크기 또는 수치와 관련하여 "실질적으로", "약" 및/또는 "가까운"이라는 용어는 -10% 내지 +10%의 포함 범위 내에 각각의 크기 또는 값이 있음을 의미할 수 있다.
"결합된"은 간접적으로 또는 직접적으로 "결합된"을 의미할 수 있다.
방법은 이러한 다이어그램이나 대응하는 설명에 제한되지 않는다는 점에 유의하는 것이 중요하다. 예를 들어, 방법은 도면에 설명된 것과 비교하여 추가적이거나 더 적은 수의 프로세스 또는 작업을 포함할 수 있다. 또한, 방법의 실시형태들은 반드시 본 발명에서 도시되고 설명된 연대순에 제한되는 것은 아니다.
예를 들어, "처리", "컴퓨팅", "계산", "결정", "구축", "분석", "검사", "추정", "파생", "선택", "추론" 등의 용어를 사용하는 것은 작동 및/또는 프로세스를 수행하는 명령을 저장할 수 있는 컴퓨터의 레지스터 및/또는 메모리 또는 다른 정보 저장 매체 내의 물리적 양으로 유사하게 표현되는 다른 데이터로 컴퓨터의 레지스터 및/또는 메모리 내의 물리적(예를 들어, 전자적) 양으로 나타내는 데이터를 조작 및/또는 변환하는 컴퓨터, 컴퓨팅 플랫폼, 컴퓨팅 시스템 도는 다른 전자 컴퓨팅 장치의 작동(들) 및/또는 프로세스(들)를 나타낸다. 결정이라는 용어는 적용 가능한 경우 "경험적으로 결정함"을 의미할 수도 있다.
실시형태가 "임계값 초과"의 조건을 언급하는 경우, 이는 "임계값 이상"의 조건을 언급하는 실시형태를 배제하는 것으로 해석되어서는 안된다는 점에 유의해야 한다. 유사하게, 실시형태가 "임계값 미만" 조건을 언급하는 경우, 이는 "임계값 이하"의 조건을 언급하는 실시형태를 배제하는 것으로 해석되어서는 안된다. 제공된 파라미터의 값이 임계값보다 높을 때 조건이 충족되는 것으로 해석되면, 제공된 파라미터의 값이 제공된 임계값과 같거나 낮을 때 동일한 조건이 충족되지 않는 것으로 간주된다는 것은 분명하다. 반대로, 제공된 파라미터의 값이 임계값보다 높거나 같을 때 조건이 충족되는 것으로 해석되는 경우, 제공된 파라미터의 값이 제공된 임계값보다 낮을 때(그리고 그 이하만) 동일한 조건이 충족되지 않는 것으로 간주된다.
청구범위 또는 명세서가 "하나" 또는 "하나의" 요소 및/또는 특징을 언급하는 경우, 이러한 언급이 해당 요소 중 하나만 존재하는 것으로 해석되어서는 안된다는 점을 이해해야 한다. 따라서, 예를 들어 "요소" 또는 "적어도 하나의 요소"에 대한 언급은 "하나 이상의 요소"를 포함할 수도 있다.
단수형으로 사용되는 용어에는 달리 명시적으로 언급되거나 문맥상 달리 요구되는 경우를 제외하고는 복수형도 포함한다.
본 출원서의 설명 및 청구범위에서, 각각의 동사 "포함하다", "함유하다", "갖다" 및 이들의 활용형은 동사의 데이터 부분 동사의 요지 또는 요지의 구성성분, 요소 또는 부분들의 완전한 나열이 필요없음을 나타내기 위해 사용된다.
달리 명시하지 않는 한, 선택을 위한 옵션 목록의 마지막 두개의 부재들 사이에 "및/또는"이라는 표현을 사용하는 것은 나열된 옵션 중 하나 이상의 선택이 적절하고 이루어질 수 있음을 나타낸다. 또한, "및/또는"이라는 표현의 사용은 "다음 중 적어도 하나", "다음 중 어느 하나" 또는 "다음 중 하나 이상"이라는 표현과 상호 교환적으로 사용될 수 있으며, 다양한 옵션 목록이 뒤따를 수 있다.
본 발명에서 사용된 "A, B, C 또는 전술한 것의 임의의 조합"이라는 문구는 하기의 모두를 의미하는 것으로 해석되어야 한다: (i) A 또는 B 또는 C 또는 A, B 및 C의 임의의 조합, (ii) A, B, C 중 적어도 하나; (iii) A 및/또는 B 및/또는 C 및 (iv) A, B 및/또는 C. 적절한 경우 A, B 및/또는 C라는 문구는 A, B 또는 C를 의미하는 것으로 해석될 수 있다. A, B 또는 C라는 문구는 "A, B 및 C로 이루어진 군으로부터 선택됨"을 의미하는 것으로 해석되어야 한다. 이러한 개념은 세가지 요소(즉, A, B, C)에 대해 설명되지만 요소 수는 점점 더 많아진다(예를 들어, A, B, C, D 등).
명확성을 위해, 별도의 실시형태 또는 실시예의 맥락에서 설명된 본 발명의 특정 특징들은 단일 실시형태에서 조합하여 제공될 수도 있다는 것이 이해된다. 반대로, 간략화를 위해 단일 실시형태, 실시예 및/또는 옵션의 맥락에서 설명된 본 발명의 다양한 특징은 별도로 제공되거나 임의의 다른 설명된 실시형태, 실시예 또는 임의의 다른 적절한 하위 조합 또는 적절하게 설명된 실시형태에 적합하게 제공될 수도 있다. 다양한 실시형태들, 실시예들 및/또는 선택적 구현의 맥락에서 설명된 특정 특징들은 실시형태, 실시예 및/또는 선택적 구현이 해당 요소 없이 작동하지 않는 한, 해당 실시형태들의 필수 특징으로 간주되어서는 안된다.
"일부 실시형태들에서", "일부 실시형태들에 따른", "예를 들어", "예시", "예로서" 및 "선택적으로"라는 용어는 본 발명에서 상호교환적으로 사용될 수 있다는 점에 유의한다.
도면에 도시된 요소의 수는 결코 제한하는 것으로 해석되어서는 안되며 단지 설명의 목적을 위한 것이다.
본 명세서에서 사용되는 "실시간"은 일반적으로 데이터가 수신되는 것과 본질적으로 동일한 속도로 정보를 업데이트하는 것을 의미한다. 보다 구체적으로, 본 발명의 맥락에서 "실시간"은 데이터가 표시될 때, 시각화에서 제공 및/또는 표시된 데이터 부분이 사용자 인지 가능한 흔들림, 대기 시간 또는 지연 없이 원활하게 이동될 때 충분히 높은 데이터 속도와 충분히 낮은 시간 지연에서 센서로부터 획득, 처리 및 전송되는 것을 의미하는 것으로 의도된다.
"작동 가능한"이라는 용어는 "수정되거나 구성된"이라는 용어의 의미를 포괄할 수 있다는 점에 유의한다. 즉, 작업을 "작동 가능한" 기계는 일부 실시형태들에서 기능을 수행하는 단순한 가능성(예를 들어, "수정된")을 포함할 수 있으며, 일부 다른 실시형태들에서는 기능을 수행하는 실제로 만들어진 기계(예를 들어, "구성된")를 포함할 수 있다.
본 출원서 전반에 걸쳐, 다양한 실시형태들이 범위 형식으로 제시되고/되거나 이와 관련될 수 있다. 범위 형식에서의 설명은 단지 편의와 간결성을 위한 것이며 실시형태들의 범위에 대한 융통성 없는 제한으로 해석되어서는 안 된다는 점을 이해해야 한다. 따라서, 범위에 대한 기술은 가능한 모든 하위 범위뿐만 아니라, 해당 범위 내의 개별 수치도 구체적으로 개시한 것으로 간주되어야 한다. 예를 들어, 1부터 6까지의 범위에 대한 기술은 1부터 3까지, 1부터 4까지, 1부터 5까지, 2부터 4까지, 2부터 6까지, 3부터 6까지뿐만 아니라, 예를 들어 1, 2, 3, 4, 5, 및 6의 해당 범위 내에서 개별 숫자로 구체적으로 개시한 것으로 간주되어야 한다. 이는 범위의 폭에 관계없이 적용된다.
제1 표시 번호와 제2 표시 번호 "범위/사이의 범위" 및 제1 표시 번호 "범위/로부터 범위"에서 제2 표시 번호"까지"라는 문구는 본 발명에서 상호 교환적으로 사용되며 제1과 제2 표시 번호 및 이들 사이의 모든 분수와 정수를 포함하는 것을 의미한다.
본 발명은 제한된 수의 실시형태들에 관해 설명되었지만, 이는 본 발명의 범위에 대한 제한으로 해석되어서는 안되며, 오히려 일부 실시형태들의 예시로서 해석되어야 한다.

Claims (36)

  1. 원점에서 장면에 위치된 타켓을 향하고 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 플랫폼에서 이미징 장치를 이용하여 모바일 플랫폼을 탐색하기 위한 방법으로서,
    a) 상기 이미징 장치에 의해, 상기 타겟을 포함하는 장면의 이미지를 획득하는 단계;
    b) 이미지 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계;
    c) 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
    d) 거리 감지 장치로, 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려고 시도한 결과로서, 거리 감지 장치에 의해 출력을 생성하는 단계;
    e) 상기 거리 감지 장치에 의해 생성된 출력이 현재 위치에서 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하는 단계를 포함하여, 상기 모바일 플랫폼을 상기 타겟을 향해 전진시키기 위해 a) 내지 d)를 반복하는 단계;
    f) 상기 저거리 기준을 충족하는 거리에 기초하여, 크기를 가지고 방향 벡터에 따라 원점에서 현재 모바일 플랫폼 위치까지 상기 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 복수의 방향 벡터를 획득하도록 복수의 방향 벡터를 소급적으로 업데이트하는 단계; 및
    g) 복수의 변위 벡터에 기초하여, 상기 타겟에 대한 현재 모바일 플랫폼 위치의 업데이트된 추정을 결정하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 플랫폼은 상기 복수의 변위 벡터 중 적어도 하나에 기초하여, 상기 타겟를 향해 탐색하는 방법.
  3. 제1항 및/또는 제2항에 있어서, 적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 상기 타겟을 향해 상기 모바일 플랫폼을 전진시키기 위해 상기 타겟에 대한 상기 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정하는 단계를 포함하는 방법.
  4. 제3항에 있어서, 상기 적어도 두개의 변위 벡터는 중심을 정의하고; 상기 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 상기 타겟과 일치하는 벡터 끝점을 갖는 방법.
  5. 제3항 및/또는 제4항 중 어느 한 항에 있어서, 상기 모델 변위 벡터는 선택적으로 구성요소별 가중 에버리지 또는 가중 평균 또는 중앙값인 적어도 두개의 기준 벡터의 가중 에버리지 또는 가중 평균 또는 중앙값을 나타내는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 타겟은 기계 학습 모델에 기초하여 상기 이미지 내에서 식별되는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방향 벡터에 따라 상기 모바일 플랫폼의 전진은:
    동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것의 임의의 조합 중 하나는 이용하여 수행되는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것의 임의의 조합 중 하나를 포함하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 저거리 임계 기준은 10미터 이하의 임계값을 정의하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 타겟은 건물 벽의 개구부를 포함하는 방법.
  11. 제10항에 있어서, 상기 개구부는 창문, 문 및/또는 벽 틈인 방법.
  12. 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 원점에서 장면에 위치된 타겟 방향으로 이미징을 사용하는 모바일 플랫폼을 탐색하기 위한 시스템으로서, 이미징 장치와 거리 감지 장치를 포함하는 모바일 플랫폼; 하나 이상의 프로세서; 및 시스템이 하기 단계들을 수행하게 하기 위해 하나 이상의 프로세서에 의해 실행 가능한 소프트웨어 코드 부분을 저장하는 하나 이상의 메모리를 포함하는 시스템:
    a) 상기 이미징 장치에 의해, 타겟을 포함하는 장면의 이미지를 획득하는 단계;
    b) 이미지 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계;
    c) 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
    d) 거리 감지 장치로, 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려고 시도한 결과로서 거리 감지 장치에 의해 출력을 생성하는 단계;
    e) 상기 거리 감지 장치에 의해 생성된 출력이 관련된 현재 위치 추정을 갖는 현재 위치에서 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하는 것을 포함하여, 상기 모바일 플랫폼을 상기 타겟을 향해 전진시키기 위해 a) 내지 d)를 반복하는 단계;
    f) 저거리 기준을 충족하는 거리에 기초하여, 복수의 방향 벡터를 소급적으로 업데이트하여, 크기를 가지고 상기 방향 벡터를 따라 원점으로부터 현재 모바일 플랫폼 위치까지 상기 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 복수의 변위 벡터를 획득하는 단계를 포함함.
  13. 제12항에 있어서, 상기 플랫폼은 복수의 변위 벡터 중 적어도 하나에 기초하여, 상기 타겟을 향해 탐색되는 시스템.
  14. 제12항 및/또는 제13항에 있어서, 상기 하나 이상의 프로세서에 의해 실행 가능한 소프트웨어 코드 부분을 저장하는 하나 이상의 메모리는 상기 시스템이 상기 모델 변위 벡터에 따라, 상기 타겟를 향해 상기 모바일 플랫폼을 전진시키기 위해 상기 타겟에 대한 상기 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 적어도 두개의 변위 벡터에 기초하여, 결정하는 단계를 수행하게 하도록 구성되는 시스템.
  15. 제14항에 있어서, 적어도 두개의 변위 벡터는 중심을 정의하고; 상기 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 상기 타겟과 일치하는 벡터 끝점을 갖는 시스템.
  16. 제14항 또는 제15항에 있어서, 상기 모델 변위 벡터는 선택적으로 구성요소별 에버리지 또는 평균 또는 중앙값으로 표현되는 적어도 두개의 기준 벡터의 에버리지 또는 평균 또는 중앙값을 나타내는 시스템.
  17. 제12항 내지 제16항 중 어느 한 항에 있어서, 상기 타겟은 기계 학습 모델에 기초하여 이미지 내에서 식별되는 시스템.
  18. 제12항 내지 제17항 중 어느 한 항에 있어서, 상기 방향 벡터에 따라 상기 모바일 플랫폼의 전진은:
    동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것의 임의의 조합 중 하나를 이용하여 수행되는 시스템.
  19. 제12항 내지 제18항 중 어느 한 항에 있어서, 상기 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것의 임의의 조합 중 하나를 포함하는 시스템.
  20. 제12항 내지 제19항 중 어느 한 항에 있어서, 상기 저거리 임계 기준은 10미터 이하의 임계값을 정의하는 시스템.
  21. 제12항 내지 제20항 중 어느 한 항에 있어서, 상기 타겟은 건물 벽에 개구부를 포함하는 시스템.
  22. 제21항에 있어서, 상기 개구부는 창문, 문 및/또는 벽 틈인 시스템.
  23. 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 원점에서 장면에 위치된 타겟를 향해 탐색하도록 구성되는 모바일 플랫폼으로서,
    상기 타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하도록 구성되는 적어도 하나의 이미징 장치;
    상기 모바일 플랫폼과 상기 타겟 사이의 거리를 설명하는 출력을 생성하도록 구성되는 적어도 하나의 거리 감지 장치;
    상기 타겟을 향해 상기 모바일 플랫폼을 탐색하기 위한 내비게이션 제어 엔진을 포함하는 적어도 하나의 항공 전자 시스템;을 포함하고, 하기 단계를 따르는 모바일 플랫폼:
    a) 적어도 하나의 이미징 장치에 의해, 타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하는 단계;
    b) 적어도 하나의 이미지의 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계;
    c) 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
    d) 거리 감지 장치로 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려고 시도한 결과로서 적어도 하나의 거리 감지 장치에 의해 출력을 생성하는 단계;
    e) 거리 감지 장치에 의해 생성된 출력이 관련된 현재 위치 추정을 갖는 현재 위치에서 저거리 기준을 충족하는 거리를 나타낼 때까지 복수의 방향 벡터를 생성하는 것을 포함하여, 상기 모바일 플랫폼을 상기 타겟을 향해 전진시키도록 a) 내지 d)를 반복하는 단계;
    f) 저거리 기준을 충족하는 거리에 기초하여, 복수의 방향 벡터 중 적어도 두개를 소급적으로 업데이트하여, 이에 따라 크기를 가지고 방향 벡터에 따라 원점에서 현재 모바일 플랫폼 위치로 상기 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 적어도 두개의 변위 벡터를 획득하는 단계; 및
    g) 적어도 두개의 변위 벡터에 기초하여, 상기 타겟에 대한 현재 모바일 플랫폼 위치의 업데이트된 추정을 결정하는 단계.
  24. 제23항에 있어서, 상기 단계는 적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 상기 모바일 플랫폼을 상기 타겟을 향해 전진시키기 위해 상기 타겟에 대해 상기 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정하는 단계를 더 포함하는 모바일 플랫폼.
  25. 제23항 및/또는 제24항에 있어서, 적어도 두개의 변위 벡터는 중심을 정의하고; 상기 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 타겟와 일치하는 벡터 끝점을 갖는 시스템.
  26. 제24항 내지 제25항 중 어느 한 항에 있어서, 모델 변위 벡터는 선택적으로 구성요소별 가중 에버리지 또는 가중 평균 또는 중앙값인 적어도 두개의 기준 벡터의 가중 에버리지 또는 가중 평균 또는 중앙값을 나타내는 모바일 플랫폼.
  27. 제23항 내지 제26항 중 어느 한 항에 있어서, 상기 타겟은 기계 학습 모델을 기반으로 상기 이미지 내에서 식별되는 모바일 플랫폼.
  28. 제23항 내지 제27항 중 어느 한 항에 있어서, 상기 방향 벡터에 따른 모바일 플랫폼의 전진은:
    동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것의 임의의 조합 중 하나를 이용하여 수행되는 모바일 플랫폼.
  29. 제23항 내지 제28항 중 어느 한 항에 있어서, 상기 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것들의 임의의 조합 중 하나를 포함하는 모바일 플랫폼.
  30. 글로벌 내비게이션 위성 시스템(GNSS)을 필요로 하지 않고, 원점에서 장면에 위치된 타겟를 향해 탐색하도록 구성되는 모바일 플랫폼으로서,
    타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하도록 구성된 적어도 하나의 이미징 장치;
    상기 모바일 플랫폼과 상기 타겟 사이의 거리를 나타내는 출력을 생성하도록 구성되는 적어도 하나의 거리 감지 장치;
    상기 타겟을 향해 상기 모바일 플랫폼을 탐색하기 위한 내비게이션 제어 엔진을 포함하는 적어도 하나의 항공 전자 시스템;을 포함하고,
    하기 단계를 따르는 모바일 플랫폼:
    e) 적어도 하나의 이미징 장치에 의해, 타겟을 포함하는 장면의 적어도 하나의 이미지를 획득하는 단계;
    f) 적어도 하나의 이미지의 분석에 기초하여, 상기 모바일 플랫폼에서 상기 타겟을 가리키는 방향 벡터를 결정하는 단계;
    g) 상기 방향 벡터에 따라 상기 모바일 플랫폼을 새로운 위치로 전진시키는 단계;
    h) 거리 감지 장치로, 상기 모바일 플랫폼과 상기 타겟 사이의 거리를 결정하려고 시도하는 결과로서 적어도 하나의 거리 감지 장치에 의해 출력을 생성하는 단계;
    e) 거리 감지 장치에 의해 생성되는 출력이 관련된 현재 위치 추정을 갖는 현재 위치에서 저거리 기준을 충족할 때까지 복수의 방향 벡터를 생성하는 단계를 포함하여, 상기 모바일 플랫폼을 상기 타겟을 향해 전진시키도록 a) 내지 d)를 반복하는 단계;
    f) 저거리 기준을 충족하는 거리에 기초하여, 복수의 방향 벡터 중 적어도 두개를 소급적으로 업데이트하여, 이에 따라 크기를 가지고 방향 벡터에 따라 원점에서 현재 모바일 플랫폼 위치까지 상기 모바일 플랫폼에 의해 횡단되는 경로를 나타내는 적어도 두개의 변위 벡터를 획득하는 단계; 및
    g) 적어도 두개의 변위 벡터에 기초하여, 상기 모바일 플랫폼을 상기 타겟으로 탐색하는 단계.
  31. 제30항에 있어서, 상기 단계는 적어도 두개의 변위 벡터에 기초하여, 모델 변위 벡터에 따라 상기 모바일 플랫폼을 상기 타겟을 향해 탐색하기 위한 타겟에 대한 모바일 플랫폼의 모델 위치를 나타내는 모델 변위 벡터를 결정하는 단계를 더 포함하는 모바일 플랫폼.
  32. 제30항 및/또는 제31항에 있어서, 적어도 두개의 변위 벡터는 중심을 정의하고; 모델 변위 벡터는 중심과 일치하는 벡터 시작점과 타겟과 일치하는 벡터 끝점을 가지는 모바일 플랫폼.
  33. 제30항 내지 제32항 중 어느 한 항에 있어서, 모델 변위 벡터는 선택적으로 구성요소별 가중 에버리지 또는 가중 평균 또는 중앙값인 적어도 두개의 기준 벡터의 가중 에버리지 또는 가중 평균 또는 중앙값을 나타내는 모바일 플랫폼.
  34. 제30항 내지 제33항 중 어느 한 항에 있어서, 상기 타겟은 기계 학습 모델을 기반으로 상기 이미지 내에서 식별되는 모바일 플랫폼.
  35. 제30항 내지 제34항 중 어느 한 항에 있어서, 상기 방향 벡터에 따른 모바일 플랫폼의 전진은:
    동시 국부화 및 맵핑(SLAM) 기술; 삼각 측량 기반 내비게이션 기술; 별 기반 내비게이션 기술; 또는 전술한 것들의 임의의 조합 중 하나를 이용하여 수행되는 모바일 플랫폼.
  36. 제30항 내지 제35항 중 어느 한 항에 있어서, 상기 적어도 하나의 거리 감지 장치는 입체 카메라, 초음파 센서, 적외선 센서, 초광대역(UWB) 센서; 레이저 기반 센서; RADAR, LIDAR 또는 전술한 것들의 임의의 조합 중 하나를 포함하는 모바일 플랫폼.
KR1020247004580A 2021-07-13 2022-07-12 모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법 KR20240035530A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL284872A IL284872B2 (en) 2021-07-13 2021-07-13 Devices, systems and methods for mobile platform navigation
IL284872 2021-07-13
PCT/IB2022/056413 WO2023285959A1 (en) 2021-07-13 2022-07-12 Devices, systems and methods for navigating a mobile platform

Publications (1)

Publication Number Publication Date
KR20240035530A true KR20240035530A (ko) 2024-03-15

Family

ID=83902688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247004580A KR20240035530A (ko) 2021-07-13 2022-07-12 모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법

Country Status (4)

Country Link
EP (1) EP4370989A4 (ko)
KR (1) KR20240035530A (ko)
IL (1) IL284872B2 (ko)
WO (1) WO2023285959A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118155104B (zh) * 2024-05-10 2024-07-26 江西理工大学南昌校区 一种无人机自主着陆方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005250916B2 (en) * 2004-06-02 2011-02-17 Rockwell Collins Control Technologies, Inc. Image-augmented inertial navigation system (IAINS) and method
US9709990B2 (en) * 2012-12-21 2017-07-18 Toyota Jidosha Kabushiki Kaisha Autonomous navigation through obstacles
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
US10935670B2 (en) * 2018-03-28 2021-03-02 Psionic, Llc Navigation system for GPS denied environments

Also Published As

Publication number Publication date
EP4370989A1 (en) 2024-05-22
US20240152159A1 (en) 2024-05-09
WO2023285959A1 (en) 2023-01-19
EP4370989A4 (en) 2024-09-04
IL284872A (en) 2022-11-01
IL284872B2 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
Balamurugan et al. Survey on UAV navigation in GPS denied environments
CN109887057B (zh) 生成高精度地图的方法和装置
US10604156B2 (en) System and method for adjusting a road boundary
EP1926007B1 (en) Method and system for navigation of an unmanned aerial vehicle in an urban environment
CN109885080B (zh) 自主控制系统及自主控制方法
US20080195316A1 (en) System and method for motion estimation using vision sensors
EP3707466A1 (en) Method of computer vision based localisation and navigation and system for performing the same
Griffiths et al. Obstacle and terrain avoidance for miniature aerial vehicles
Sazdovski et al. Inertial navigation aided by vision-based simultaneous localization and mapping
US20080195304A1 (en) Sensor fusion for navigation
US10254767B1 (en) Determining position or orientation relative to a marker
US11798427B2 (en) Auto-labeling sensor data for machine learning
Veronese et al. A light-weight yet accurate localization system for autonomous cars in large-scale and complex environments
Steiner et al. A vision-aided inertial navigation system for agile high-speed flight in unmapped environments: Distribution statement a: Approved for public release, distribution unlimited
Al-Darraji et al. A technical framework for selection of autonomous uav navigation technologies and sensors
US11754415B2 (en) Sensor localization from external source data
CN115790571A (zh) 基于异构无人系统相互观测的同时定位与地图构建方法
US10642272B1 (en) Vehicle navigation with image-aided global positioning system
Lombaerts et al. Adaptive multi-sensor fusion based object tracking for autonomous urban air mobility operations
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
Suzuki et al. Development of a SIFT based monocular EKF-SLAM algorithm for a small unmanned aerial vehicle
KR20240035530A (ko) 모바일 플랫폼을 탐색하기 위한 장치, 시스템 및 방법
Hosseinpoor et al. Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS
Sabatini et al. RPAS navigation and guidance systems based on GNSS and other low-cost sensors
US12140975B2 (en) Devices, systems and methods for navigating a mobile platform