KR20210035039A - Apparatus and method for detecting unmanned aerial vehicle - Google Patents
Apparatus and method for detecting unmanned aerial vehicle Download PDFInfo
- Publication number
- KR20210035039A KR20210035039A KR1020200085911A KR20200085911A KR20210035039A KR 20210035039 A KR20210035039 A KR 20210035039A KR 1020200085911 A KR1020200085911 A KR 1020200085911A KR 20200085911 A KR20200085911 A KR 20200085911A KR 20210035039 A KR20210035039 A KR 20210035039A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- cameras
- unmanned aerial
- aerial vehicle
- command
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000010191 image analysis Methods 0.000 claims description 30
- 238000004091 panning Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H04N5/23245—
-
- H04N5/23296—
-
- H04N5/23299—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 무인기 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 카메라의 랜덤배치 및 랜덤시각 촬영을 이용해 무인기를 검출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an unmanned aerial vehicle, and more particularly, to a method and an apparatus for detecting an unmanned aerial vehicle using a random arrangement of cameras and random visual imaging.
근래에 이르러 소형무인기에 의한 공항, 공공장소, 보호지역 등에 대한 침범사고로 사회적 불안이 발생하고 있다. 특히, 군사목적으로 전용되는 소형무인기를 통한 공격으로부터 인명과 재산을 보호하기 위해서 다양한 기술들이 논의되고 있다. 적용 가능한 기술로서 레이더를 통한 탐지 기술, 영상신호 분석 기반 무인기 탐지기술, 소음특성 기반 무인기 탐지기술 등이 제시되고 있으나, 무인기의 크기가 소형인 경우 탐지하기 어렵다는 문제가 있다.In recent years, social unrest has arisen due to accidents involving small unmanned aerial vehicles invading airports, public places, and protected areas. In particular, various technologies are being discussed to protect people and property from attacks through small unmanned aerial vehicles that are dedicated for military purposes. As applicable technologies, detection technology through radar, UAV detection technology based on image signal analysis, UAV detection technology based on noise characteristics, etc. are proposed, but there is a problem that detection is difficult when the UAV is small in size.
영상을 이용한 무인기 검출 장치의 경우 원거리에서 무인기 영상을 획득하는 경우 영상이 작아 검출이 어려우므로 줌잉 렌즈를 사용하여 일정 크기 이상의 무인기 영상을 확보해야 한다. 또한, 소요되는 카메라의 수가 급증하여 경제적 부담이 증가한다는 문제가 발생한다. In the case of an unmanned aerial vehicle detection device using an image, when an unmanned aerial vehicle image is acquired from a long distance, since the image is small and difficult to detect, a zooming lens must be used to secure an unmanned aerial vehicle image of a certain size or more. In addition, there arises a problem that an economic burden increases due to a rapid increase in the number of cameras required.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 카메라의 랜덤배치 및 랜덤시각 촬영을 이용해 무인기를 검출하는 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a method of detecting an unmanned aerial vehicle using a random arrangement of cameras and random visual photographing.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 무인기 검출 방법을 이용하는 무인기 검출 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide an unmanned aerial vehicle detection apparatus using the unmanned aerial vehicle detection method.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 무인기 검출 방법은, 무인기 보호지역 내 위치하는 하나 이상의 카메라로부터 영상을 수신하는 단계; 입력 영상을 분석하여 상기 입력 영상으로부터 무인기를 추출하는 단계; 및 추출된 무인기와 관련된 데이터를 무인기 검출 모델을 학습시키는 데 제공하는 단계를 포함할 수 있으며, 이때, 하나 이상의 카메라의 촬영 시각 또는 촬영 위치는 가변적으로 제어될 수 있다.In order to achieve the above object, a method for detecting a drone according to an embodiment of the present invention includes: receiving an image from one or more cameras located in an unmanned aerial vehicle protected area; Analyzing an input image and extracting a drone from the input image; And providing the extracted data related to the unmanned aerial vehicle to train the unmanned aerial vehicle detection model, and at this time, a photographing time or a photographing position of one or more cameras may be variably controlled.
상기 하나 이상의 카메라에 의해 커버되는 영역은 상기 무인기 보호지역의 면적보다 작도록 설정될 수 있다. The area covered by the one or more cameras may be set to be smaller than the area of the UAV protection area.
상기 하나 이상의 카메라의 설치 위치는 랜덤하게 설정되며, 각 카메라의 초점 거리는 줌잉하여 고정된 상태로 설정될 수 있다. The installation positions of the one or more cameras are randomly set, and the focal length of each camera may be set to a fixed state by zooming.
상기 무인기 검출 방법은, 상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함할 수 있다. The unmanned aerial vehicle detection method may further include providing a signal for controlling a photographing time of the one or more cameras to each camera.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하는 단계는, 의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키는 단계; 상기 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하는 단계; 및 상기 촬영 시각 제어 신호를 각 카메라로 전송하는 단계를 포함할 수 있다. Providing a signal for controlling the photographing time of the one or more cameras to each camera may include generating a pseudo random binary sequence (PRBS); Generating a photographing time control signal for each camera by delaying the pseudorandom binary sequence in time using different offsets; And transmitting the photographing time control signal to each camera.
상기 무인기 검출 방법은 상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함할 수 있다.The method of detecting the unmanned aerial vehicle may further include providing a signal for controlling the positions of the one or more cameras to each camera.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하는 단계는, 의사랜덤수(Pseudo Random Number; PRN)를 발생시키는 단계; 상기 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하는 단계; 상기 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치 제어 신호를 생성하는 단계; 및 상기 위치 제어 신호를 각 카메라로 전송하는 단계를 포함할 수 있다. Providing a signal for controlling the positions of one or more cameras to each camera may include: generating a pseudo random number (PRN); Randomly setting position coordinates of each camera based on the pseudorandom number according to a starting point of the camera; Generating a position control signal for moving each camera to a corresponding position coordinate; And transmitting the position control signal to each camera.
상기 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함할 수 있다. The position control signal may include a Panning, Tilting, Zooming (PTZ) control signal.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 무인기 검출 장치는, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은, 무인기 보호지역 내 위치하는 하나 이상의 카메라로부터 수집한 영상으로부터 무인기를 추출하는 각 영상 분석 장치로부터 추출된 무인기와 관련된 데이터를 수신하도록 하는 명령; 상기 추출된 무인기와 관련된 데이터를 이용해 무인기 검출 모델을 학습시키도록 하는 명령; 및 상기 무인기 검출 모델을 상기 하나 이상의 영상 분석 장치로 제공하도록 하는 명령을 포함할 수 있다. 이때, 상기 하나 이상의 카메라의 촬영 시각 또는 촬영 위치는 가변적으로 제어될 수 있다. An apparatus for detecting an unmanned aerial vehicle according to an embodiment of the present invention for achieving the above other object includes: a processor; And a memory for storing at least one command executed through the processor, wherein the at least one command is extracted from each image analysis device for extracting the UAV from images collected from one or more cameras located in the UAV protected area. An instruction to receive data related to the unmanned aerial vehicle; An instruction to train an unmanned aerial vehicle detection model using the extracted unmanned aerial vehicle-related data; And a command to provide the unmanned aerial vehicle detection model to the one or more image analysis devices. In this case, the photographing time or the photographing position of the one or more cameras may be variably controlled.
상기 하나 이상의 카메라에 의해 커버되는 영역은 상기 무인기 보호지역의 면적보다 작도록 설정될 수 있다. The area covered by the one or more cameras may be set to be smaller than the area of the UAV protection area.
상기 하나 이상의 카메라의 설치 위치는 랜덤하게 설정되며, 각 카메라의 초점 거리는 줌잉하여 고정된 상태로 설정될 수 있다. The installation positions of the one or more cameras are randomly set, and the focal length of each camera may be set to a fixed state by zooming.
상기 적어도 하나의 명령은, 상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함할 수 있다.The at least one command may further include a command to provide a signal for controlling the shooting time of the one or more cameras to each camera.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령은, 의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키도록 하는 명령; 상기 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하도록 하는 명령; 및 상기 촬영 시각 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함할 수 있다. The command for providing a signal for controlling the shooting time of the one or more cameras to each camera includes: a command for generating a pseudo random binary sequence (PRBS); A command for generating a photographing time control signal for each camera by delaying the pseudorandom binary sequence in time using different offsets; And a command to transmit the photographing time control signal to each camera.
상기 적어도 하나의 명령은 또한, 상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함할 수 있다.The at least one command may further include a command to provide a signal for controlling the position of the one or more cameras to each camera.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령은, 의사랜덤수(Pseudo Random Number; PRN)를 발생시키도록 하는 명령; 상기 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하도록 하는 명령; 상기 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치제어 신호를 생성하도록 하는 명령; 및 상기 위치 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함할 수 있다.The command for providing a signal for controlling the positions of the one or more cameras to each camera includes: a command for generating a pseudo random number (PRN); A command to randomly set position coordinates of each camera according to a start point of recording of the camera based on the pseudorandom number; A command for generating a position control signal for moving each camera to a corresponding position coordinate; And a command to transmit the position control signal to each camera.
상기 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함할 수 있다. The position control signal may include a Panning, Tilting, Zooming (PTZ) control signal.
상기와 같은 본 발명의 실시예들에 따르면 무인기 검출에 사용되는 카메라 개수를 최소화하고 카메라에서 촬영한 영상을 분석하는 장치의 개수를 줄일 수 있고, 그에 따라 시스템에 소요되는 원가의 절감효과를 기대할 수 있다.According to the embodiments of the present invention as described above, it is possible to minimize the number of cameras used to detect the unmanned aerial vehicle and reduce the number of devices for analyzing images captured by the camera, thereby reducing the cost required for the system. have.
따라서, 레이더를 통해서 검출하지 못하는 유효면적이 적은 소형무인기를 카메라 영상을 통해 검출하기 위해 무인기 보호지역을 구성함에 있어서 적은 개수의 카메라만을 사용하여 무인기를 검출함으로써 무인기의 무단 침입으로 인한 피해를 사전에 예방할 수 있다. Therefore, in order to detect a small UAV with a small effective area that cannot be detected through a radar through camera images, when configuring the UAV protected area, only a small number of cameras are used to detect the UAV in advance to prevent damage caused by unauthorized intrusion of UAVs. Can be prevented.
도 1은 본 발명의 일 실시예에 따라 영상 신호에 기반하여 무인기를 검출하는 시스템의 전체 개념도이다.
도 2는 본 발명의 일 실시예에 따른 무인기 검출 영역의 배치 개념도이다.
도 3은 본 발명의 일 실시예에 따라 카메라의 랜덤배치 및 랜덤시각 촬영을 이용해 무인기 검출 영역을 구성하는 개념도이다.
도 4는 본 발명에 따라 무인기를 검출하기 위한 카메라 제어의 일 실시예에 대한 개념도이다.
도 5는 본 발명에 따라 무인기를 검출하기 위한 카메라 제어의 다른 실시예에 대한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 무인기 검출 방법의 순서도이다.
도7은 본 발명의 일 실시예에 따른 무인기 검출 장치의 블록 구성도이다. 1 is an overall conceptual diagram of a system for detecting an unmanned aerial vehicle based on an image signal according to an embodiment of the present invention.
2 is a conceptual diagram illustrating an arrangement of an unmanned aerial vehicle detection area according to an embodiment of the present invention.
3 is a conceptual diagram of configuring an unmanned aerial vehicle detection area using random placement of cameras and random time capture according to an embodiment of the present invention.
4 is a conceptual diagram of an embodiment of a camera control for detecting an unmanned aerial vehicle according to the present invention.
5 is a conceptual diagram of another embodiment of a camera control for detecting an unmanned aerial vehicle according to the present invention.
6 is a flowchart of a method for detecting an unmanned aerial vehicle according to an embodiment of the present invention.
7 is a block diagram of an apparatus for detecting an unmanned aerial vehicle according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term “and/or” includes a combination of a plurality of related described items or any of a plurality of related described items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따라 영상 신호에 기반하여 무인기를 검출하는 시스템의 전체 개념도이다. 1 is an overall conceptual diagram of a system for detecting an unmanned aerial vehicle based on an image signal according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 영상 신호에 기반하여 무인기를 검출하는 시스템에서, 무인기(10)의 침범을 감시하는 무인기 검출 영역은 카메라의 설치 방법에 따라 여러 개의 소규모의 무인기 검출 영역들(검출영역 #i, ?? , 검출영역 #k)로 구성될 수 있다.In a system for detecting an unmanned aerial vehicle based on an image signal according to an embodiment of the present invention, the unmanned aerial vehicle detection area for monitoring the invasion of the unmanned
도 1을 참조하면, 무인기 검출영역 #i에 위치한 다수의 카메라들(210, 220, 230)은 해당 영역으로 진입하는 무인기(10)를 촬영하고 촬영된 영상을 영상분석장치 #i(200)로 전송한다. 영상분석장치 #i(200)는 다수의 카메라들(210, 220, 230)로부터 수신한 영상을 분석하여 무인기를 검출한 결과 및 관련 영상을 IoT게이트웨이(500)를 통해 IoT센서 기반 무인기 검출 장치(700)로 제공할 수 있다. Referring to Figure 1, a plurality of cameras (210, 220, 230) located in the unmanned aerial vehicle detection area #i take a picture of the unmanned
또한, 무인기 검출영역 #k에서도 복수의 카메라(310, 320)와 영상분석장치 #k(300)가 연동하여 무인기를 검출하고 관련 영상을 IoT센서 기반 무인기 검출 장치(700)로 전송할 수 있다. In addition, in the unmanned aerial vehicle detection area #k, the plurality of
무인기를 촬영하는 카메라들(210, 220, 230, 310, 320)과 카메라가 촬영한 영상을 분석하는 영상분석장치들(200, 300)은 IoT네트워킹을 통해 상호 연결되어, 검출된 무인기의 정보(위치, 속도, 이동 방향 등)를 공유하는 협력 작업을 수행할 수 있다. IoT센서 기반 무인기 검출 장치(700)는 영상분석장치들(200,300)로부터 수신한 무인기 포함 영상으로부터 무인기 객체를 추출할 수 있다. 무인기 검출 장치(700)는 추출된 무인기 객체에 대해 딥러닝을 통해 무인기 검출 학습 모델을 생성하고, 이를 영상 분석 장치들(200,300)에 제공한다. 각 영상 분석 장치는 무인기 검출 모델을 이용해 현장에서 실시간으로 무인기를 검출하고 분류하는 추론 작업을 수행할 수 있다. The
통상적으로, 무인기의 영상특징을 분석하여 특정지역을 무인기의 침범으로부터 보호하기 위해서는 카메라를 사용하여 보호지역을 실시간으로 24시간 감시하여야 한다. 또한, 딥러닝을 통한 무인기 검출을 활용하는 경우, 소형 무인기는 거리에 따라 무인기 영상의 크기가 매우 작아지기 때문에 검출 확률이 낮아지는 문제점이 있다.Typically, in order to protect a specific area from the invasion of the UAV by analyzing the image characteristics of the UAV, it is necessary to monitor the protected area in real time for 24 hours using a camera. In addition, when the UAV detection through deep learning is used, the small UAV has a problem that the detection probability is lowered because the size of the UAV image becomes very small depending on the distance.
본 발명에서는, 무인기의 침범으로부터 인적, 물적 자산을 보호하기 위한 목적으로, 다수의 줌잉 카메라를 설치하되, 아래 실시예를 통해 설명되는 바와 같이 카메라의 촬영 시각 및 촬영 위치를 랜덤하게 제어함으로써, 무인기의 영상 획득 및 분석에 사용되는 카메라의 갯수를 효과적으로 줄일 수 있다. In the present invention, a plurality of zooming cameras are installed for the purpose of protecting human and physical assets from invasion of the UAV, but by randomly controlling the shooting time and shooting position of the camera as described through the following examples, the UAV It can effectively reduce the number of cameras used for image acquisition and analysis.
또한, 본 발명에서는 다수의 카메라가 촬영한 영상을 분석하는 공통의 장치를 구성하고, 각 카메라가 랜덤한 위치와 시각에서 촬영한 영상을 분석하는 방법을 제안한다.In addition, the present invention proposes a method of configuring a common apparatus for analyzing images captured by a plurality of cameras, and analyzing images captured by each camera at a random location and time.
도 2는 본 발명의 일 실시예에 따른 무인기 검출 영역의 배치 개념도이다.2 is a conceptual diagram illustrating an arrangement of an unmanned aerial vehicle detection area according to an embodiment of the present invention.
도 2는 무인기 검출 영역에 대한 카메라 배치 개념을 나타낸다. 무인기의 침입으로부터 무인기를 보호하는 전방 면적 S을 구축하기 위해서는 해당 면적을 커버할 수 있는 다수의 카메라를 설치할 필요가 있다. 2 shows the concept of a camera arrangement for an unmanned aerial vehicle detection area. In order to construct a front area S that protects the UAV from intrusion, it is necessary to install a number of cameras capable of covering the area.
도 2의 실시예를 참조하면, 카메라 #i로 빔 표면적 Ai을 구성하고, 카메라 #j로 빔 표면적 Aj 를 구성하며, 카메라 #k로 빔 표면적 Ak 를 구성함으로써, 무인기 보호지역에 대한 전방 면적 S를 구축할 수 있다. 각 카메라가 촬영한 영상은 영상분석장치(200)로 전송될 수 있다. 영상분석장치(200)가 수신하는 다수의 카메라 영상을 구별하기 위해 카메라 설치 위치 정보(예를 들어, GPS정보)와 촬영시각 정보를 사용할 수 있다. 2, by configuring the beam surface area A i with the camera #i, configuring the beam surface area A j with the camera #j, and configuring the beam surface area A k with the camera #k, Front area S can be built. The image captured by each camera may be transmitted to the
무인기 보호 지역을 구성할 때 무인기를 검출하는 카메라의 화각(FOV; Field Of View)은 무인기 검출 면적과 밀접한 관계를 가진다. 카메라의 화각이 넓은 경우에는 무인기를 감시하는 영역이 넓어지지만 영상 이미지상에 나타나는 무인기의 크기가 작아지게 되어, 딥러닝을 통한 무인기 검출 및 분류 정확도가 떨어지게 된다. When constructing a UAV protected area, the field of view (FOV) of a camera detecting UAV has a close relationship with the UAV detection area. When the angle of view of the camera is wide, the area for monitoring the drone is widened, but the size of the drone displayed on the video image decreases, and the accuracy of detection and classification of the drone through deep learning is degraded.
반면, 줌잉 렌즈를 사용하여 원거리에 위치하는 무인기를 촬영하는 경우에는 화각이 작아지게 되어 무인기를 감시하는 영역은 줄어들지만 영상 이미지 상에 나타나는 무인기의 크기가 크게 되어 딥러닝을 통한 무인기 검출 및 분류 정확도가 높아지게 된다. 그러나, 이처럼 카메라의 화각을 작게 설정하여 무인기 검출영역을 구성할 때는 필요로 하는 카메라 수가 급증하게 되어 이를 극복할 방법이 필요하다.On the other hand, when using a zooming lens to shoot a drone located at a distance, the angle of view decreases and the area to monitor the drone is reduced, but the size of the drone displayed on the video image increases, resulting in the accuracy of UAV detection and classification through deep learning. Becomes higher. However, when configuring the UAV detection area by setting the angle of view of the camera small as described above, the number of cameras required increases rapidly, and a method to overcome this is needed.
도 3은 본 발명의 일 실시예에 따라 카메라의 랜덤배치 및 랜덤시각 촬영을 이용해 무인기 검출 영역을 구성하는 개념도이다.3 is a conceptual diagram of configuring an unmanned aerial vehicle detection area using random placement of cameras and random time capture according to an embodiment of the present invention.
도 3을 참조하면, 무인기 보호지역의 전방 영역에 출현하는 무인기를 감시하기 위해서 다수의 카메라들로 다수의 빔 표면적(A1, A2, A3, A4, A5, A6, A7, A8, A9)을 구성하여 해당 표면적에 진입하는 무인기(10)를 검출해야 한다. 본 발명에서 제시하는 이와 같은 구성은 감시 카메라의 개수와 영상 분석 장치의 개수를 줄이기 위한 것으로, 무인기 보호지역을 비행하는 무인기가 특정 지역에서 호버링하지 않고 지속적으로 비행함을 전제로 한다. Referring to FIG. 3, a plurality of beam surface areas (A 1 , A 2 , A 3 , A 4 , A 5 , A 6 , A 7) are used with a plurality of cameras to monitor the UAV appearing in the area in front of the UAV protected area. , A 8 , A 9 ) must be configured to detect the unmanned
즉, 무인기(10)가 무인기 보호 지역에서 특정 궤적(30)을 따라 이동하는 경우에는 다수의 카메라에 의해 형성되는 빔 표면적들(A1, A2, A3, A4, A5, A6, A7, A8, A9) 중 하나 이상의 영역을 지나가게 되므로 해당 카메라와 연동하는 무인기 영상 분석 장치를 통해 해당 무인기를 검출할 수 있다. 이때, 다수의 카메라 빔 표면적 (A1, A2, A3, A4, A5, A6, A7, A8, A9)이 항상 "On상태"로 설정되어 해당 빔 표면적을 관장하는 모든 카메라가 영상을 촬영하고 영상분석장치로 전송하는 경우, 영상 분석 장치(도 2의 200)의 컴퓨팅 부하가 높아져 영상분석장치의 개수를 늘려야 하는 문제가 발생한다. That is, when the
본 발명에서는 다수의 카메라를 "On/Off 상태"로 천이시키는 방법을 통해 이러한 문제를 해결하고자 한다. In the present invention, this problem is solved through a method of transitioning a plurality of cameras to the "On/Off state".
도 3에 도시된 실시예에서는 촬영을 시작하는 카메라들(카메라 #1, 카메라 #2, 카메라 #4, 카메라 #6, 카메라 #8)이 제공하는 영상을 분석하여 무인기를 검출할 수 있다.In the embodiment illustrated in FIG. 3, an unmanned aerial vehicle may be detected by analyzing images provided by cameras (
이때, 카메라의 촬영 시간을 tsh, 단위 시간 당 카메라가 촬영한 이미지 개수(Frame/sec)를 F, 카메라 평균 촬영주기를 Tav, 카메라의 개수를 Nc, 카메라 빔의 표면적을 Ai, 무인기 보호지역의 표면적을 S라 하고, 무인기 검출 확률을 Pd 라 할 때, 카메라를 이용하여 무인기를 감시하는 영역 면적은 Nc, * Ai 가 된다. At this time, the shooting time of the camera is t sh , the number of images captured by the camera per unit time (Frame/sec) is F, the average shooting period of the camera is T av , the number of cameras is N c , the surface area of the camera beam is Ai, and the drone When the surface area of the protected area is S and the probability of unmanned aerial vehicle detection is P d , the area of the UAV using a camera is N c, * Ai.
또한, 무인기 보호지역 내 임의의 위치에 무인기가 위치하고 카메라가 촬영한 단일 프레임으로 무인기를 검출한다고 가정하는 경우, 무인기 보호지역 내에서 무인기를 검출할 확률 PDect_T 은 아래 수학식 1과 같이 정의될 수 있다. In addition, assuming that the UAV is located at an arbitrary location in the UAV and detects the UAV with a single frame photographed by the camera, the probability P Dect_T of detecting the UAV within the UAV protected area can be defined as in
검출 대상이 소형 무인기의 경우에는 무인기의 객체를 검출하고 추적을 통해 분류하는 과정을 거치게 되므로, 다수의 영상 프레임을 활용한다. 이 경우에 무인기 객체검출 및 추적 과정에 필요한 영상 프레임의 개수를 Freq라 할때, 무인기 보호지역 내에서 무인기를 검출할 확률은 아래 수학식 2와 같이 표현될 수 있다.In the case of a small unmanned aerial vehicle as a detection target, since the object of the unmanned aerial vehicle is detected and classified through tracking, a plurality of image frames are utilized. In this case, when the number of image frames required for the UAV object detection and tracking process is F req , the probability of detecting the UAV within the UAV protected area can be expressed as
한편, 무인기 보호지역 내 진입한 무인기가 점유하는 면적을 계산하기 위한 방법으로는, 랜덤워크(random walk) 모델, 마코브 체인(Markov chain) 모델 등을 사용할 수 있다. Meanwhile, as a method for calculating the area occupied by the UAV entering the UAV protected area, a random walk model, a Markov chain model, or the like can be used.
무인기가 랜덤워크 모델로 비행한다고 가정하고 전체 카메라에 대한 촬영 주기인 Tav 시간 동안에 무인기의 평균 점유면적을 Cav 라 하면, 무인기 보호지역 내에서 무인기를 검출할 확률은 아래 수학식 3과 같이 표현될 수 있다. Assuming that the UAV is flying in a random walk model, and the average occupied area of the UAV during the T av time, which is the shooting cycle for all cameras, is C av , the probability of detecting the UAV within the UAV protected area is expressed as
본 발명에 따른 실시예들에서는 전체 카메라에 공통으로 적용되는 전체 촬영주기(Tav)를 설정한 후, 전체촬영주기 내에서 각각의 카메라별로 촬영 시각을 할당하는 방식을 사용할 수 있다. In the embodiments according to the present invention, after setting a total photographing period Tav that is commonly applied to all cameras, a method of allocating a photographing time for each camera within the entire photographing period may be used.
이상 살펴본 도 3의 실시예에 따르면, 카메라를 이용하여 무인기를 감시하는 영역의 면적이 전체 무인기 보호지역 면적보다 작게 설정될 수 있다. 즉, 무인기의 이동 특성으로 인해, 카메라 배치에 따른 면적이 전체 무인기 보호지역 면적보다 작게 설정됨에도 불구하고, 무인기 검출 확률을 크게 떨어뜨리지 않으면서 무인기를 효과적으로 검출할 수 있다. According to the embodiment of FIG. 3 described above, the area of the area for monitoring the UAV using a camera may be set smaller than the area of the total UAV protected area. That is, due to the movement characteristics of the unmanned aerial vehicle, even though the area according to the camera arrangement is set to be smaller than the total unmanned aerial vehicle protected area area, it is possible to effectively detect the unmanned aerial vehicle without significantly lowering the detection probability of the unmanned aerial vehicle.
도 4는 본 발명에 따라 무인기를 검출하기 위한 카메라 제어의 일 실시예에 대한 개념도이다. 4 is a conceptual diagram of an embodiment of a camera control for detecting an unmanned aerial vehicle according to the present invention.
도 4에 도시된 실시예에서는, 무인기 보호지역 내에 배치되는 카메라의 위치 및 화각을 고정한 상태에서 각 카메라의 촬영시각을 랜덤으로 제어하는 방법을 나타낸다. In the embodiment shown in FIG. 4, a method of randomly controlling the shooting time of each camera while fixing the position and angle of view of the cameras disposed in the UAV protected area is shown.
이러한 방법을 구현하기 위해 본 발명에 따른 무인기 검출 시스템은 의사랜덤 이진시퀀스(PRBS) 발생부(410), 카메라 촬영시각 제어부(420), 카메라 인터페이스(430)를 포함할 수 있다. 본 발명에 따른 무인기 검출 시스템은 도 1을 통해 살펴보았던 무인기 검출 서버(700) 및 영상분석 장치(200)를 포함할 수 있다. 또한, 무인기 검출 시스템의 구성요소인 의사랜덤 이진시퀀스(PRBS) 발생부(410), 카메라 촬영시각 제어부(420), 카메라 인터페이스는 그 기능 및 구현상의 필요에 따라 무인기 검출 서버(700) 및 영상분석 장치(200)에 분산 배치될 수 있다. In order to implement this method, the UAV detection system according to the present invention may include a pseudorandom binary sequence (PRBS)
무인기 보호지역을 감시하는 K개 카메라가 존재한다고 가정할 때, K 개의 카메라의 촬영시각을 임의로 결정하기 위해 의사랜덤 이진시퀀스(PRBS) 발생부(410)를 사용해 의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키고, 이를 각 카메라의 촬영시각 결정에 이용한다. 발생된 의사랜덤이진시쿼스는 카메라 촬영시각 제어부(420)로 전달될 수 있다. Assuming that there are K cameras monitoring the UAV protected area, a Pseudo Random Binary Sequence (Pseudo Random Binary Sequence) using the Pseudo Random Binary Sequence (PRBS)
카메라 촬영시각 제어부(420)는 의사랜덤 이진시퀀스(PRBS) 발생부(410)로부터 수신한 PRBS데이터를 시간지연(time offset shift)시켜 각 카메라들에 해당하는 PRBSi를 생성할 수 있다. PRBSi는 각 카메라의 촬영시각에 해당하는 시퀀스들로 이루어지며, 카메라 인터페이스(430)를 통해 개별 카메라에 전달한다. 본 발명에서는 이러한 방식을 이용해 K개의 카메라들의 촬영시각을 랜덤으로 설정할 수 있다. The camera capture
카메라 인터페이스(430)는 카메라 제어프로토콜(예: LANC; Logic Application Control Bus System)을 통해 각 카메라의 촬영시각을 제어하는 메시지를 카메라로 전송할 수 있다.The
도 4를 통해 설명된 실시예에 따르면, 저가의 다수의 카메라를 무인기 보호지역내의 일정한 위치를 향하도록 설치하고 촬영시각과 촬영시간 간격을 랜덤하게 조정함으로써 PTZ장비 없이 효과적으로 무인기 보호지역을 구성할 수 있다. According to the embodiment described with reference to FIG. 4, by installing a plurality of low-cost cameras facing a certain position in the UAV protection area and randomly adjusting the shooting time and the shooting time interval, it is possible to effectively configure the UAV protected area without PTZ equipment. have.
도 5는 본 발명에 따라 무인기를 검출하기 위한 카메라 제어의 다른 실시예에 대한 개념도이다. 5 is a conceptual diagram of another embodiment of a camera control for detecting an unmanned aerial vehicle according to the present invention.
도 5의 실시예에서는, 무인기 보호지역을 커버하는 카메라의 개수를 줄이면서도 효율적으로 무인기를 검출하기 위해, 무인기 보호지역 내에 배치되는 카메라의 위치, 촬영 각도 등을 제어하는 방법을 나타낸다. 즉, 1개의 카메라가 시간 간격을 두고 연속적으로 무인기 보호지역 내의 여러 위치로 이동하거나 렌즈 방향을 이동하여 촬영할 수 있다.In the embodiment of FIG. 5, in order to efficiently detect the UAV while reducing the number of cameras covering the UAV protected area, a method of controlling the position of the camera disposed in the UAV protected area, a photographing angle, and the like is shown. That is, one camera can continuously move to various locations within the UAV protected area at intervals of time or move the lens direction to take a picture.
이러한 방법을 구현하기 위해 무인기 검출 시스템은, 의사랜덤수(PRN) 발생부(510), 카메라 위치 선정부(520), 위치제어신호 생성부(530), 및 카메라 인터페이스(540)을 포함할 수 있다. 본 발명에 따른 무인기 검출 시스템은 도 1을 통해 살펴보았던 무인기 검출 서버(700) 및 영상분석 장치(200)를 포함할 수 있다. 또한, 무인기 검출 시스템의 구성요소인 의사랜덤수(PRN) 발생부(510), 카메라 위치 선정부(520), 위치제어신호 생성부(530), 및 카메라 인터페이스(540)는 그 기능 및 구현상의 필요에 따라 무인기 검출 서버(700) 및 영상분석 장치(200)에 분산 배치될 수 있다. In order to implement this method, the UAV detection system may include a pseudorandom number (PRN)
의사랜덤수(PRN) 발생부(510)는 임의의 의사랜덤수(Pseudo Random Number)를 발생시키고, 카메라 위치 선정부(520)로 전달할 수 있다. 카메라 위치 선정부(520)는 의사랜덤수 발생부(510)로부터 수신한 의사랜덤수에 기반하여 카메라가 촬영을 시작하는 시점(t1, t2, t3 ?? )에 따라 각 카메라에 대한 위치 좌표{(x1, y1,z1), (x2,y2,z2), (x3,y3,z3)}를 랜덤하게 설정할 수 있다. The pseudorandom number (PRN)
위치제어신호 생성부(530)는 카메라의 위치 좌표로 카메라를 이동시키는 데 필요한 위치 제어 신호를 생성하여 카메라 인터페이스(540)로 전송한다. 이때, 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함할 수 있다. 카메라 인터페이스(540)은 카메라에 부착된 PTZ 모터에 대한 제어 신호를 생성하여 카메라의 위치를 제어할 수 있다. 이때, 카메라 인터페이스는 카메라에 대한 위치 제어 신호뿐 아니라 카메라에 대한 촬영 ON/OFF신호를 함께 각 카메라로 전달할 수 있다. 즉, 도 3 내지 도 5를 통해 설명된 실시예들은 독립적으로 혹은 다른 실시예와 결합하여 사용될 수 있다. The position control
도 5를 통해 설명된 실시예에 따르면, 소수의 고성능 PTZ카메라만을 사용하여 랜덤한 위치에서 랜덤한 시각에 영상을 촬영하여 분석함으로써 경제적인 방법으로 무인기를 검출할 수 있다.According to the embodiment described with reference to FIG. 5, by using only a few high-performance PTZ cameras to capture and analyze an image at a random time at a random location, it is possible to detect an unmanned aerial vehicle in an economical manner.
도 6은 본 발명의 일 실시예에 따른 무인기 검출 방법의 순서도이다. 6 is a flowchart of a method for detecting an unmanned aerial vehicle according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 무인기 검출 방법은 무인기 검출 시스템, 보다 상세하게는 앞서 실시예들을 통해 설명한 무인기 검출 서버 및 영상분석 장치 중 적어도 하나에 의해 수행될 수 있다. The method for detecting a drone according to an embodiment of the present invention may be performed by an unmanned aerial vehicle detection system, more specifically, at least one of the unmanned aerial vehicle detection server and the image analysis device described through the above embodiments.
무인기 검출 시스템은 무인기 보호지역 내 위치하는 하나 이상의 카메라로부터 영상을 수신한다(S610). 보다 상세하게는 각 영상 분석 장치가 해당 장치가 관장하는 하나 이상의 카메라로부터 영상을 수신할 수 있다. The unmanned aerial vehicle detection system receives images from one or more cameras located in the unmanned aerial vehicle protected area (S610). In more detail, each image analysis device may receive an image from one or more cameras controlled by the device.
무인기 검출 시스템 또는 영상 분석 장치는 카메라로부터 입력된 영상을 분석하여 무인기를 검출한다(S620). 무인기 관련 데이터는 무인기 검출 서버로 제공되는데, 무인기 검출 서버는 추출된 무인기와 관련된 데이터를 이용해 무인기 검출 모델을 학습시킬 수 있다(S630). 학습 및 생성된 무인기 검출 모델은 하나 이상의 영상 분석 장치로 제공되어(S640), 각 영상 분석 장치가 현장에서 실시간으로 무인기를 검출하고 분류하는 추론 작업을 수행할 수 있다. The unmanned aerial vehicle detection system or image analysis device detects the unmanned aerial vehicle by analyzing the image input from the camera (S620). The unmanned aerial vehicle-related data is provided to the unmanned aerial vehicle detection server, and the unmanned aerial vehicle detection server may train the unmanned aerial vehicle detection model by using the extracted unmanned aerial vehicle-related data (S630). The learned and generated UAV detection model is provided to one or more image analysis devices (S640), so that each image analysis device may perform an inference task of detecting and classifying UAVs in real time in a field.
한편, 도 6에 도시하지는 않았으나, 본 발명에 따른 무인기 검출 방법은, 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함할 수 있다. Meanwhile, although not shown in FIG. 6, the method for detecting a drone according to the present invention may further include providing a signal for controlling a shooting time of one or more cameras to each camera.
해당 단계에서는, 의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키고, 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하여, 촬영 시각 제어 신호를 각 카메라로 전송할 수 있다.In this step, a Pseudo Random Binary Sequence (PRBS) is generated, and a Pseudo Random Binary Sequence is delayed using different offsets to generate a shooting time control signal for each camera, and a shooting time control signal Can be transmitted to each camera.
본 발명에 따른 무인기 검출 방법은 또한, 상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함할 수 있다. 해당 단계에서는, 의사랜덤수(Pseudo Random Number; PRN)를 발생시키고, 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하며, 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치 제어 신호를 생성하여, 각 카메라로 전송할 수 있다. The method for detecting a drone according to the present invention may further include providing a signal for controlling the position of the one or more cameras to each camera. In this step, a Pseudo Random Number (PRN) is generated, the position coordinates of each camera are randomly set according to the starting point of the camera based on the pseudorandom number, and each camera is moved to the corresponding position coordinates. By generating a position control signal for, it can be transmitted to each camera.
이때, 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함할 수 있다. In this case, the position control signal may include a Panning, Tilting, Zooming (PTZ) control signal.
도7은 본 발명의 일 실시예에 따른 무인기 검출 장치의 블록 구성도이다. 7 is a block diagram of an apparatus for detecting an unmanned aerial vehicle according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 무인기 검출 장치는, 적어도 하나의 프로세서(710), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(720) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(730)를 포함할 수 있다. An apparatus for detecting an unmanned aerial vehicle according to an embodiment of the present invention includes at least one
무인기 검출 장치는 또한, 입력 인터페이스 장치(740), 출력 인터페이스 장치(750), 저장 장치(760) 등을 더 포함할 수 있다. 무인기 검출 장치(700)에 포함된 각각의 구성 요소들은 버스(bus)(770)에 의해 연결되어 서로 통신을 수행할 수 있다. The UAV detection device may further include an
프로세서(710)는 메모리(720) 및 저장 장치(760) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(710)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(720) 및 저장 장치(760) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(720)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.The
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 무인기 보호지역 내 위치하는 하나 이상의 카메라로부터 수집한 영상으로부터 무인기를 추출하는 각 영상 분석 장치로부터 추출된 무인기와 관련된 데이터를 수신하도록 하는 명령; 상기 추출된 무인기와 관련된 데이터를 이용해 무인기 검출 모델을 학습시키도록 하는 명령; 및 상기 무인기 검출 모델을 상기 하나 이상의 영상 분석 장치로 제공하도록 하는 명령을 포함할 수 있다. Here, the at least one command may include: a command for causing the processor to receive data related to the UAV extracted from each image analysis apparatus for extracting the UAV from images collected from one or more cameras located in the UAV protected area; An instruction to train an unmanned aerial vehicle detection model using the extracted unmanned aerial vehicle-related data; And a command to provide the unmanned aerial vehicle detection model to the one or more image analysis devices.
본 발명에서는 상기 하나 이상의 카메라의 촬영 시각 또는 촬영 위치가 가변적으로 제어되는 것을 특징으로 한다. In the present invention, a photographing time or a photographing position of the one or more cameras is variably controlled.
상기 하나 이상의 카메라에 의해 커버되는 영역은 상기 무인기 보호지역의 면적보다 작도록 설정될 수 있다. The area covered by the one or more cameras may be set to be smaller than the area of the UAV protection area.
상기 하나 이상의 카메라의 설치 위치는 랜덤하게 설정되며, 각 카메라의 초점 거리는 줌잉하여 고정된 상태로 설정될 수 있다. The installation positions of the one or more cameras are randomly set, and the focal length of each camera may be set to a fixed state by zooming.
상기 적어도 하나의 명령은, 상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함할 수 있다. The at least one command may further include a command to provide a signal for controlling the shooting time of the one or more cameras to each camera.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령은, 의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키도록 하는 명령; 상기 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하도록 하는 명령; 및 상기 촬영 시각 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함할 수 있다. The command for providing a signal for controlling the shooting time of the one or more cameras to each camera includes: a command for generating a pseudo random binary sequence (PRBS); A command for generating a photographing time control signal for each camera by delaying the pseudorandom binary sequence in time using different offsets; And a command to transmit the photographing time control signal to each camera.
상기 적어도 하나의 명령은, 상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함할 수 있다. The at least one command may further include a command to provide a signal for controlling the position of the one or more cameras to each camera.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령은, 의사랜덤수(Pseudo Random Number; PRN)를 발생시키도록 하는 명령; 상기 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하도록 하는 명령; 상기 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치제어 신호를 생성하도록 하는 명령; 상기 위치 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함할 수 있다. The command for providing a signal for controlling the positions of the one or more cameras to each camera includes: a command for generating a pseudo random number (PRN); A command to randomly set position coordinates of each camera according to a start point of recording of the camera based on the pseudorandom number; A command for generating a position control signal for moving each camera to a corresponding position coordinate; It may include a command to transmit the position control signal to each camera.
이 때, 상기 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함할 수 있다. In this case, the position control signal may include a Panning, Tilting, Zooming (PTZ) control signal.
상술한 바와 같은 본 발명의 실시예들에 따르면, 다수의 카메라와 단일의 영상분석장치를 결합 설치한 후 임의의 시각에 임의의 위치에서 랜덤하게 촬영하는 카메라를 통하여 무인기 보호지역을 침범하는 무인기를 검출함으로써, 무인기 검출에 사용되는 카메라 개수를 최소화하고 카메라에서 촬영한 영상을 분석하는 장치의 개수를 줄일 수 있고, 그에 따라 시스템에 소요되는 원가의 절감효과를 기대할 수 있다.According to the embodiments of the present invention as described above, after combining a plurality of cameras and a single image analysis device, a UAV invading a UAV protected area through a camera that randomly photographs at an arbitrary position at a time. By detecting, it is possible to minimize the number of cameras used for detection of the UAV and reduce the number of devices that analyze images captured by the camera, thereby reducing the cost required for the system.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다. The operation of the method according to the embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. In addition, a computer-readable recording medium may be distributed over a network-connected computer system to store and execute a computer-readable program or code in a distributed manner.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Further, the computer-readable recording medium may include a hardware device specially configured to store and execute program commands, such as ROM, RAM, and flash memory. The program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method can also be represented by a corresponding block or item or a feature of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer or electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In embodiments, the field programmable gate array may work with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will be able to variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can.
Claims (16)
입력 영상을 분석하여 상기 입력 영상으로부터 무인기를 추출하는 단계; 및
추출된 무인기와 관련된 데이터를 무인기 검출 모델을 학습시키는 데 제공하는 단계를 포함하고,
상기 하나 이상의 카메라의 촬영 시각 또는 촬영 위치는 가변적으로 제어되는, 무인기 검출 방법.Receiving an image from one or more cameras located in the UAV protected area;
Analyzing an input image and extracting a drone from the input image; And
Providing the extracted unmanned aerial vehicle related data to train the unmanned aerial vehicle detection model,
The photographing time or photographing position of the one or more cameras is variably controlled.
상기 하나 이상의 카메라에 의해 커버되는 영역은 상기 무인기 보호지역의 면적보다 작도록 설정되는, 무인기 검출 방법.The method according to claim 1,
The area covered by the one or more cameras is set to be smaller than the area of the UAV protection area.
상기 하나 이상의 카메라의 설치 위치는 랜덤하게 설정되며, 각 카메라의 초점 거리는 줌잉하여 고정된 상태로 설정되는, 무인기 검출 방법.The method according to claim 1,
The installation position of the one or more cameras is set at random, and the focal length of each camera is set to a fixed state by zooming.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함하는, 무인기 검출 방법.The method according to claim 1,
The method further comprising providing a signal for controlling the shooting time of the one or more cameras to each camera.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하는 단계는,
의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키는 단계;
상기 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하는 단계; 및
상기 촬영 시각 제어 신호를 각 카메라로 전송하는 단계를 포함하는, 무인기 검출 방법.The method of claim 4,
Providing a signal for controlling the shooting time of the one or more cameras to each camera,
Generating a pseudo random binary sequence (PRBS);
Generating a photographing time control signal for each camera by delaying the pseudorandom binary sequence in time using different offsets; And
And transmitting the photographing time control signal to each camera.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하는 단계를 더 포함하는, 무인기 검출 방법.The method according to claim 1,
The method further comprising providing a signal for controlling the position of the one or more cameras to each camera.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하는 단계는,
의사랜덤수(Pseudo Random Number; PRN)를 발생시키는 단계;
상기 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하는 단계;
상기 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치 제어 신호를 생성하는 단계; 및
상기 위치 제어 신호를 각 카메라로 전송하는 단계를 포함하는, 무인기 검출 방법. The method of claim 6,
Providing a signal for controlling the position of the one or more cameras to each camera,
Generating a pseudo random number (PRN);
Randomly setting position coordinates of each camera based on the pseudorandom number according to a starting point of the camera;
Generating a position control signal for moving each camera to a corresponding position coordinate; And
And transmitting the position control signal to each camera.
상기 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함하는, 무인기 검출 방법. The method of claim 7,
The position control signal includes a PTZ (Panning, Tilting, Zooming) control signal.
프로세서; 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
상기 적어도 하나의 명령은,
무인기 보호지역 내 위치하는 하나 이상의 카메라로부터 수집한 영상으로부터 무인기를 추출하는 각 영상 분석 장치로부터 추출된 무인기와 관련된 데이터를 수신하도록 하는 명령;
상기 추출된 무인기와 관련된 데이터를 이용해 무인기 검출 모델을 학습시키도록 하는 명령; 및
상기 무인기 검출 모델을 상기 하나 이상의 영상 분석 장치로 제공하도록 하는 명령을 포함하고,
상기 하나 이상의 카메라의 촬영 시각 또는 촬영 위치는 가변적으로 제어되는, 무인기 검출 장치.An unmanned aerial vehicle detection device interworking with one or more image analysis devices,
Processor; And
Includes a memory for storing at least one instruction executed through the processor,
The at least one command,
A command for receiving data related to the unmanned aerial vehicle extracted from each image analysis device for extracting the unmanned aerial vehicle from images collected from one or more cameras located in the unmanned aerial vehicle protected area;
An instruction to train an unmanned aerial vehicle detection model using the extracted unmanned aerial vehicle-related data; And
Including an instruction to provide the unmanned aerial vehicle detection model to the one or more image analysis devices,
The photographing time or photographing position of the one or more cameras is variably controlled.
상기 하나 이상의 카메라에 의해 커버되는 영역은 상기 무인기 보호지역의 면적보다 작도록 설정되는, 무인기 검출 장치.The method of claim 9,
An area covered by the one or more cameras is set to be smaller than an area of the UAV protection area.
상기 하나 이상의 카메라의 설치 위치는 랜덤하게 설정되며, 각 카메라의 초점 거리는 줌잉하여 고정된 상태로 설정되는, 무인기 검출 장치.The method of claim 9,
The installation position of the one or more cameras is set at random, and the focal length of each camera is set to a fixed state by zooming.
상기 적어도 하나의 명령은,
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함하는, 무인기 검출 장치.The method of claim 9,
The at least one command,
The unmanned aerial vehicle detection apparatus further comprising a command to provide a signal for controlling the shooting time of the one or more cameras to each camera.
상기 하나 이상의 카메라의 촬영 시각을 제어하는 신호를 각 카메라로 제공하도록 하는 명령은,
의사랜덤 이진시퀀스(Pseudo Random Binary Sequence: PRBS)를 발생시키도록 하는 명령;
상기 의사랜덤 이진시퀀스를, 각기 다른 오프셋을 이용해 시간 지연시킴으로써 각 카메라에 대한 촬영 시각 제어 신호를 생성하도록 하는 명령; 및
상기 촬영 시각 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함하는 무인기 검출 장치.The method of claim 12,
The command to provide a signal for controlling the shooting time of the one or more cameras to each camera,
An instruction to generate a pseudo random binary sequence (PRBS);
A command for generating a photographing time control signal for each camera by delaying the pseudorandom binary sequence in time using different offsets; And
An unmanned aerial vehicle detection apparatus comprising a command to transmit the photographing time control signal to each camera.
상기 적어도 하나의 명령은,
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령을 더 포함하는, 무인기 검출 장치.The method of claim 9,
The at least one command,
Further comprising a command to provide a signal for controlling the position of the one or more cameras to each camera, UAV detection apparatus.
상기 하나 이상의 카메라의 위치를 제어하는 신호를 각 카메라로 제공하도록 하는 명령은,
의사랜덤수(Pseudo Random Number; PRN)를 발생시키도록 하는 명령;
상기 의사랜덤수를 기초로 카메라의 촬영 시작 시점에 따라 각 카메라 위치 좌표를 랜덤하게 설정하도록 하는 명령;
상기 각 카메라를 해당 위치 좌표로 이동시키기 위한 위치제어 신호를 생성하도록 하는 명령; 및
상기 위치 제어 신호를 각 카메라로 전송하도록 하는 명령을 포함하는, 무인기 검출 장치.The method of claim 14,
The command to provide a signal for controlling the position of the one or more cameras to each camera,
An instruction to generate a pseudo random number (PRN);
A command to randomly set position coordinates of each camera according to a start point of recording of the camera based on the pseudorandom number;
A command for generating a position control signal for moving each camera to a corresponding position coordinate; And
And a command to transmit the position control signal to each camera.
상기 위치 제어 신호는 PTZ(Panning, Tilting, Zooming) 제어 신호를 포함하는, 무인기 검출 장치.
The method of claim 15,
The position control signal includes a PTZ (Panning, Tilting, Zooming) control signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/028,345 US11869365B2 (en) | 2019-09-23 | 2020-09-22 | Apparatus and method for detecting unmanned aerial vehicle |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190117095 | 2019-09-23 | ||
KR20190117095 | 2019-09-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210035039A true KR20210035039A (en) | 2021-03-31 |
KR102583954B1 KR102583954B1 (en) | 2023-09-27 |
Family
ID=75237857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200085911A KR102583954B1 (en) | 2019-09-23 | 2020-07-13 | Apparatus and method for detecting unmanned aerial vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102583954B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935251A (en) * | 2023-09-18 | 2023-10-24 | 众芯汉创(江苏)科技有限公司 | Unmanned aerial vehicle-based distribution network single line diagram automatic check analysis method and system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110092502A (en) * | 2010-02-09 | 2011-08-18 | 중앙대학교 산학협력단 | Mobile Surveillance and Tracking Device and Method |
KR20180016187A (en) * | 2016-08-05 | 2018-02-14 | 한국전자통신연구원 | Multiple image analysis method for aligning multiple camera, and image analysis display apparatus |
-
2020
- 2020-07-13 KR KR1020200085911A patent/KR102583954B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110092502A (en) * | 2010-02-09 | 2011-08-18 | 중앙대학교 산학협력단 | Mobile Surveillance and Tracking Device and Method |
KR20180016187A (en) * | 2016-08-05 | 2018-02-14 | 한국전자통신연구원 | Multiple image analysis method for aligning multiple camera, and image analysis display apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935251A (en) * | 2023-09-18 | 2023-10-24 | 众芯汉创(江苏)科技有限公司 | Unmanned aerial vehicle-based distribution network single line diagram automatic check analysis method and system |
CN116935251B (en) * | 2023-09-18 | 2023-12-22 | 众芯汉创(江苏)科技有限公司 | Unmanned aerial vehicle-based distribution network single line diagram automatic check analysis method and system |
Also Published As
Publication number | Publication date |
---|---|
KR102583954B1 (en) | 2023-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10614311B2 (en) | Automatic extraction of secondary video streams | |
US11048961B2 (en) | Locating method and system | |
US8848053B2 (en) | Automatic extraction of secondary video streams | |
EP3766044B1 (en) | Three-dimensional environment modeling based on a multicamera convolver system | |
KR101853903B1 (en) | Invasion detecting method and system including CCTV, drone and fiber to the fence | |
CN108521808B (en) | Obstacle information display method, display device, unmanned aerial vehicle and system | |
US11869365B2 (en) | Apparatus and method for detecting unmanned aerial vehicle | |
US20060222209A1 (en) | Wide-area site-based video surveillance system | |
KR102292117B1 (en) | Drone control system and method for detecting and identifying of drone using the same | |
US10607088B2 (en) | Image processing device, image processing method, and image processing system | |
CN115004269B (en) | Monitoring device, monitoring method, and program | |
US12197234B2 (en) | Reconnaissance unmanned aerial vehicle and surveillance flight method thereof | |
US11483484B2 (en) | Systems and methods for imaging of moving objects using multiple cameras | |
RU2755603C2 (en) | System and method for detecting and countering unmanned aerial vehicles | |
CN111354024A (en) | Behavior prediction method for key target, AI server and storage medium | |
KR20210064092A (en) | Method and apparatus for configuring detection area based on rotatable camera | |
KR102583954B1 (en) | Apparatus and method for detecting unmanned aerial vehicle | |
KR102479959B1 (en) | Artificial intelligence based integrated alert method and object monitoring device | |
JP7107596B2 (en) | Station monitoring system and station monitoring method | |
KR20200140723A (en) | Apparatus and method for tracking unmanned aerial vehicle | |
Zhang et al. | Critical infrastructure security using computer vision technologies | |
EP4089649A1 (en) | Neuromorphic cameras for aircraft | |
KR101653820B1 (en) | System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same | |
WO2022065039A1 (en) | Information processing device, information processing method, and program | |
JP6950273B2 (en) | Flying object position detection device, flying object position detection system, flying object position detection method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200713 |
|
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210323 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20200713 Comment text: Patent Application |
|
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221004 Patent event code: PE09021S01D |
|
E90F | Notification of reason for final refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20230110 Patent event code: PE09021S02D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230701 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230923 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20230923 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration |