Nothing Special   »   [go: up one dir, main page]

KR20240043171A - 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템 - Google Patents

멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템 Download PDF

Info

Publication number
KR20240043171A
KR20240043171A KR1020220121445A KR20220121445A KR20240043171A KR 20240043171 A KR20240043171 A KR 20240043171A KR 1020220121445 A KR1020220121445 A KR 1020220121445A KR 20220121445 A KR20220121445 A KR 20220121445A KR 20240043171 A KR20240043171 A KR 20240043171A
Authority
KR
South Korea
Prior art keywords
ship
detection
port
image
classification
Prior art date
Application number
KR1020220121445A
Other languages
English (en)
Inventor
김준연
이임선
김영일
Original Assignee
김준연
이임선
김영일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김준연, 이임선, 김영일 filed Critical 김준연
Priority to KR1020220121445A priority Critical patent/KR20240043171A/ko
Publication of KR20240043171A publication Critical patent/KR20240043171A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템에 관한 것으로서, 보다 상세하게는 본 발명은 항포구내에서 입출항 및 정박 중인 소형 선박을 검출하고, 분류 및 추적하기 위해 이동단말기, 무인기 및 방파제에 설치되는 IoT 영상센서에서 획득하는 영상들을 분석하여 선박객체를 검출하고 특징점을 분석하여 선박종류를 분류하고 특정할 수 있는 인공지능망을 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템에 관한 것으로, 항포구에 정박중인 선박(100)을 검출하고 분류 및 특정하기 위해, 선박영상을 이동 또는 고정 영상으로 획득하는 선박감시센싱시스템; 상기 선박감시센싱시스템을 통한 감시센서의 센싱 정보로 선박검출 및 분류와, 에지컴퓨터 및 드론관제장치로 특정 선박 검출 및 학습 기능을 수행하는 선박검출시스템; 및 상기 선박감시센싱시스템과 선박검출시스템의 감시센서 및 드론을 관제하고 모니터링하는 선박관제시스템;을 포함한다.

Description

멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템{A multi-channel artificial intelligence network-based ship detection, classification, and tracking system}
본 발명은 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템에 관한 것으로서, 보다 상세하게는 본 발명은 항포구내에서 입출항 및 정박 중인 소형 선박을 검출하고, 분류 및 추적하기 위해 이동단말기, 무인기 및 방파제에 설치되는 IoT 영상센서에서 획득하는 영상들을 분석하여 선박객체를 검출하고 특징점을 분석하여 선박종류를 분류하고 특정할 수 있는 인공지능망을 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템에 관한 것이다.
해양국가인 우리나라의 항포구에는 불법어선, 적국어선, 미신고 수리선박 등이 무단으로 입출항 및 정박하고 있어 국가안보 훼손, 해상사고 유발, 불법조업 등의 피해가 있어, 이를 방지하기 위한 지능형 선박감시기술 도입이 필요하다.
영상딥러닝 기술을 적용하여 항포구 정박중인 선박을 검출하고 분류, 특정하기 위해서는 선박의 외형에 대한 완벽한 이미지 확보가 필요하나, 이동단말기 및 무인기를 사용하여 선박에 대한 이미지를 획득시 정박선박의 밀집도에 따라 온전한 개별 선박 이미지를 얻는 것이 불가능하고 선박들이 겹쳐 보이는 영상을 획득하게 되어 선박 검출 정확도가 떨어지는 한계가 있다.
이를 해결하기 위해서 본 특허에서는 선박 감시자의 이동단말기 및 무인기를 통한 영상 획득 외에 모든 선박들이 반드시 입출항시 노출되는 방파제에 영상감시장치를 설치하여 선박에 대한 검출, 분류, 추적의 정확도를 확보하는 방법을 제안한다.
또한, 항포구에는 불법으로 입출항 하는 어선 및 폐어구 등 해상부유물 등으로 해상안전 및 불법조업, 국토 보안등에 문제점이 대두되고 있어 이를 사전에 감시하는 기술개발이 필요하다. 해상 및 항포구에 있는 선박을 감시하기 위해서는 카메라로 영상신호를 획득한 후, 영상딥러닝 기술로 선박객체를 검출하고 종류를 분류할 뿐 아니라 등록선박 여부를 판단하는 지능형 감시기술 도입이 필요하다.
항포구에서 이동단말기를 사용하여 선박을 촬영시 선박의 크기와 이동단말기과 선박간의 거리, 선박정박 밀집도에 따라 온전한 전체 선박 이미지를 얻는 것이 불가능하고, 무인기에 카메라를 장착하여 공중에서 촬영시, 선박 평면영상 획득으로 인해 선박의 특징을 나타낼 수 있는 선박 전체에 대한 이미지의 획득에 대한 어려움이 따른다.
이를 해결하기 위해서 선박 감시자의 이동단말기 및 무인기를 통해 획득한 영상과 방파제에 영상감시장치를 설치하여 가상의 감시선을 설정한 후 감시영역을 침범하는 선박을 촬영한 영상을 결합 사용하여 선박에 대한 검출, 분류, 추적의 정확도를 확보해야 한다.
한국등록특허 제2129893호 한국등록특허 제2257006호 유럽공개특허 제3696726호
본 발명은 전술한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템을 제공하는데 목적이 있다.
또한, 본 발명의 실시예에 따르면, 해상 및 항포구에 있는 선박을 감시하기 위해서는 카메라로 영상신호를 획득한 후, 영상딥러닝 기술로 선박객체를 검출하고 종류를 분류할 뿐 아니라 등록선박 여부를 판단하는 지능형 감시기술을 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템을 제공하는데 목적이 있다.
본 발명은 선박 감시자의 이동단말기 및 무인기를 통해 획득한 영상과 방파제에 영상감시장치를 설치하여 가상의 감시선을 설정한 후 감시영역을 침범하는 선박을 촬영한 영상을 결합 사용하여 선박에 대한 정밀한 검출, 분류, 추적의 정확도를 확보하는 것을 목적으로 한다.
본 발명은 항포구에 불법으로 입출항 하는 어선 및 폐어구 등 해상부유물 등으로부터 해상안전 확보, 불법조업 단속, 국가 안보를 확보하기 위해, 해상 및 항포구에서 카메라로 선박 영상신호를 획득한 후, 영상 딥러닝 기술로 선박객체를 검출하고 종류를 분류할 뿐 아니라 등록선박 여부를 판단하는 지능형 감시기술을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예는 항포구에 정박중인 선박을 검출하고 분류 및 특정하기 위해, 선박영상을 이동 또는 고정 영상으로 획득하는 선박감시센싱시스템; 상기 선박감시센싱시스템을 통한 감시센서의 센싱 정보로 선박검출 및 분류와, 에지컴퓨터 및 드론관제장치로 특정 선박 검출 및 학습 기능을 수행하는 선박검출시스템; 및 상기 선박감시센싱시스템과 선박검출시스템의 감시센서 및 드론을 관제하고 모니터링하는 선박관제시스템;으로 구성된다.
상기 선박센싱시스템은 이동단말기, 가시광 카메라 및 IR카메라와 라이다가 장착된 드론, 가시광 카메라 및 IR카메라와 라이다가 장착된 고정형 IoT영상 장치에서 획득한 선박영상에 대한 딥러닝기술을 적용하여 선박을 검출하고, 분류, 및 특정한다.
상기 선박센싱시스템은 항포구에 입출항하는 선박의 측면, 정면 및 후면에 표시된 선박표기 문자와 완전한 외형의 선박이미지를 획득하기 위해 방파제에 고정형 IoT영상센싱장치를 설치하고 운영한다.
상기 선박검출시스템은 이동단말기에서 획득한 영상과 드론장치에서 획득한 선박영상을 분석하여 선박을 검출, 분류, 특정하는 기능을 수행하는 이동형 에지컴퓨터 장치를 포함한다.
상기 선박검출시스템은 고정형 IoT영상 장치에서 1차적으로 선박검출 및 분류, 특정기능을 수행하고, 2차적으로 이동형 에지컴퓨터 장치에서 선박검출 및 분류, 특정기능을 수행한다.
상기 선박검출시스템은 상기 드론에서 1차적으로 선박검출 및 분류, 특정기능을 수행하고, 2차적으로 이동형 에지컴퓨터 장치에서 선박검출 및 분류, 특정기능을 수행한다.
상기 선박을 촬영하는 가시광 카메라, IR카메라, 가시광 카메라의 시점(view point)에 따라 다양한 형태를 갖는 선박이미지를 정면, 후면, 측면, 평면 이미지로 분류한 후, 이들 분류된 이미지별로 다중채널을 구성하여 각각 영상딥러닝을 수행한다.
상기 다중채널에 대해 각각 영상딥러닝을 수행하는 중간단계에서 다중채널을 결합한 후 추가적인 딥러닝을 수행하여 선박을 검출한다.
상기 다중채널에 대해 각각 영상딥러닝을 수행한 결과를 결합하여 선박을 검출한다.
상기 라이다 이미지의 TOF(Time of Flight)를 이용하여 라이다와 선박간의 거리를 측정한 후, 카메라의 이미지와 결합을 통해 선박의 크기를 추정한다.
상기 선박검출시스템은 선박영상에서 선박에 표기된 문자를 추출하여 인식한 후 선박 등록 DB를 검색하여 선박의 제원을 획득한다.
상기 선박검출시스템은 상기 선박영상 또는 이미지에서 선박의 외형분석을 통해 선박을 검출하고 종류를 분류하고, 선박의 크기정보와 선박에 표기된 문자를 인식하여 선박의 검출, 분류, 및 특정 정확도를 높인다.
상기 선박검출시스템은 복수개의 항포구에 정박중인 선박에 대한 영상 또는 이미지에서 정확한 검출과 특정을 위해 항포구별 단위로 로컬 학습을 수행하고 항포구 전체적인 글로벌 학습을 수행하는 연합학습을 적용한다.
상기 선박검출시스템은 항포구에 정박중인 선박에 대한 영상 또는 이미지에서 정확한 검출과 특정을 위해 일정 주기 동안 휴대 단말과 드론에서 검출한 선박의 개수와 방파제에 설치된 고정형 IoT센싱장치에서 검출하는 항포구 입항선박과 출항선박에 대한 개수를 비교하여 영상딥러닝 기술의 정확성을 자체적으로 평가한다.
상기 선박검출시스템은 선박들의 입출항 주기에 대한 최소공배수 시간을 주기로 선정하여 휴대 단말과 드론에서 검출한 선박의 개수와 고정형 IoT센싱장치에서 검출하는 선박을 비교한다.
상기 선박검출시스템은 휴대 단말과 드론에서 검출한 선박의 개수와 고정형 IoT센싱장치에서 검출하는 선박의 개수의 차이가 특정 임계값을 넘는 경우 연합학습을 수행한다.
상기 선박검출시스템은 항포구별로 구별하여 선박 등록 DB를 구축시, 선적항에 소속된 선박에 대한 정보를 저장하는 선적항 레지스터와 타 선적항 소속의 선박에 대한 정보를 저장하는 방문항 레지스터로 구별하여 선박 정보를 등록한다.
상기 선박검출시스템은 선박 검출 후 선박 등록 DB를 검색하여 선박을 특정하는 과정에서 먼저 선적항 레지스터를 검색하고, 순차적으로 방문할 레지스터를 검색하여 선박 특정 시간을 단축하는 선박 검출 시스템;을 더 포함한다.
본 발명은 각 항포구에 정박중인 선박에 대한 영상을 획득하는 기능을 수행하기 위한 이동단말기감시센서, 선박검출엔진이 탑재된 드론, 방파제에 설치되는 고정설치형 IoT감시센서로 구성되는 선박감시센싱시스템; 차량에 탑재되는 이동형에지컴퓨터, 항포구에 설치되는 고정형에지컴퓨터, 선박정보에 대한 DB, 선박검출글로벌 학습서버, 선박데이터 획득서버로 구성되고, 상기 이동형에지컴퓨터는 선박검출기능 및 선박검출을 위한 연합학습을 수행하는 선박검출 및 로컬학습장치, 드론의 비행과 관리 기능을 수행하는 드론관제장치로 구성되며, 상기 고정형에지컴퓨터는 선박 검출기능 및 선박 검출을 위한 연합학습을 수행하도록 고정형 선박 검출 및 로컬학습센터를 포함하는 선박검출시스템; 경계감시부대내에 설치되며 고정설치형 IoT감시센서에 대한 제어를 담당하는 고정설치형 감시센서관제센터와 드론의 비행과 임무제어를 수행하는 드론관제센터, 고정설치형 IoT감시센서를 통해 검출한 선박에 대한 감시기능을 수행하는 GIS기반 검출선박 모니터링시스템으로 구성되는 선박검출 로컬관제시스템; 및 각종 선박검출장치의 상태를 제어관리하는 선박검출장치 관리서버, 복수의 고정형 IoT감시센서의 연동을 통해 검출선박을 지속적으로 추적하는 기능을 수행하기 위한 고정형 IoT감시센서통합관제서버, 복수의 항포구에 설치 운용되는 장치들에 대한 관제기능을 수행하는 선박검출시스템 통합관제서버로 구성되는 선박검출 글로벌관제시스템;을 포함한다.
상기 선박검출시스템은 이동단말기에 탑재된 카메라를 사용하여 획득한 영상을 선박검출시스템의 이동형 또는 고정형 에지컴퓨터로 전송하게 되며, 에지컴퓨터에서 영상딥러닝 알고리즘을 통해 선박을 검출하고 분류, 특정하는 기능을 수행하고, 상기 이동단말기로 밀집해서 정박한 선박에 대한 영상을 촬영시 완벽한 형태의 선박영상을 얻기 위해, 드론에 카메라와 라이다, 영상처리를 위한 GPU기반의 프로세서를 장착하여 선박이미지를 획득한 후 딥러닝을 수행하여 선박을 검출하고 분류 및 특정하는 기능을 수행하여 그 결과와 획득영상을 선박검출시스템의 이동형 또는 고정형 에지컴퓨터로 전송할 뿐 아니라 선박데이터 획득서버로 전송하여, 방파제에 설치되는 고정설치형 IoT감시센서에도 광학카메라 및 IR카메라와 라이다, 무선통신 모듈이 설치되어 항포구에 입출항하는 선박에 대한 완전한 선박형상의 이미지를 획득하여 이동형 또는 고정형 에지컴퓨터로 전송하고, 통상, 선박의 측면, 후면에 선박을 특정하는 식별자가 표기되어 있어, 이동형 또는 고정형 에지컴퓨터에서는 고정설치형 IoT감시센서에서 획득한 영상에 대한 딥러닝을 통해 선박과 종류를 특정하게 되며, 선박영상에서 선박에 표기된 문자를 추출하고 인식함으로써 선박DB에 등록된 선박 및 선주를 특정하며, 에지컴퓨터는 엣지 컴퓨팅(Edge Computing)이 가능하여, 사용자 또는 데이터 소스의 물리적인 위치나 그 근처에서 컴퓨팅을 수행한다.
상기 선박검출시스템을 통해 선박정보에 대한 DB는 각 항포구에 등록된 선적선박과 타 항포구에서 입항한 선박 등에 대한 항해정보와 제원정보를 저장 및 관리를 수행하고, 선박검출 글로벌 학습서버는 각각의 항포구에 있는 이동형에지컴퓨터 및 고정형에지컴퓨터에서 학습한 선박검출 및 특정기능을 수행하는 딥러닝 학습모델들을 취합해서 학습하는 기능을 수행하고, 선박데이터 획득서버는 선박감시 센싱시스템의 이동단말기감시센서, 선박검출엔진 탑재 드론 및 고정설치형 IoT감시센서에서 획득한 선박영상 데이터를 저장하여 선박검출 글로벌 학습서버에서 활용하며, 선박검출관제시스템은 항포구 선박검출 로컬관제시스템과 네트웍측에 위치하는 선박검출 글로벌관제시스템으로 구성되며, 선박검출 센서들에 대한 상태관리 및 제어기능을 수행한다.
상기 항포구에 위치하는 선박감시 센싱시스템과 선박검출시스템은 5G상용망으로 접속이 되며, 5G상용망은 망연동게이트웨이를 통해 경계전용망과 연동되고, 선박검출 로컬관제시스템은 유선으로 경계전용망을 통하거나, 무선으로 5G상용망을 경유하여 선박검출 글로벌관제시스템과 연동된다.
상기 선박검출시스템은 상기 선박 검출 및 로컬학습장치의 선박영상 검출 및 분류부에 선박영상을 입력시키기 전에 영상분류 및 복원처리부에서는 입력되는 모든 선박영상을 평면이미지, 측면이미지, 정면이미지, 후면이미지로 분류하고, 선박이미지의 일부가 보이지 않거나, 훼손된 경우 딥러닝을 통해 복원하는 기능을 수행한다.
상기 선박검출시스템은 선박복원알고리즘인 고해상도기반 image painting, GAN기반의 이미지 inpainting 알고리즘을 이용하고 선박영상 검출 및 분류부에서는 분류된 선박이미지들에 대해 ResNet, YOLO, VGGNet을 포함하는 CNN계열의 영상딥러닝 알고리즘을 사용하여 선박을 검출하고 분류하는 기능을 수행한다.
상기 선박영상 검출 및 분류부의 선박 검출 및 분류 정확도를 높이기 위해 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각 채널들의 feature map을 결합한 후 fully connected layer를 거친 후 softmax 함수를 거쳐 선박의 종류를 분류하는 다중채널 결합딥러닝 알고리즘; 상기 각 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각각의 채널별로 fully connected layer를 거친 후 softmax 함수를 거친 후 각각의 채널별 결과를 soft voting을 포함하는 결합알고리즘을 통해 결합하여 선박의 종류를 분류하는 다중채널 딥러닝결합 알고리즘;을 더 포함한다.
상기 다중채널 결합딥러닝 알고리즘과 다중채널 딥러닝 결합 알고리즘 중 하나인 결합알고리즘을 통해 검출정확도를 높여 통해 최종적으로 선박의 종류를 검출하고 선박의 크기를 검출한다.
상기 다중채널 결합딥러닝 알고리즘에서 각 채널별 feature map의 최대값을 선정하는 방법, 각 Feature map의 평균값을 선정하는 방법, 각 Feature map의 최대값과 평균값의 조화평균을 적용하는 방법 중 하나 이상을 적용하거나, 선박의 크기 검출은 전체 영상이미지의 픽셀 크기와 렌즈의 초점거리, 이미지내의 선박의 크기를 비교하여 선박의 크기를 추정하기 위해, 수학식 1, 2와 같이 선박 검출센서와 검출 선박 간의 거리 D를 카메라 렌즈공식으로 추정한 후, 선박검출센서의 이미지 화면의 크기와 화면 내에서의 검출 선박객체의 픽셀 수를 참조하여 선박의 크기를 추정한다.
상기 선박에 문자가 표기되는 선박의 정면, 후면, 측면 이미지에 대하여 각 채널별 영상 전처리과정을 통해 고품질의 영상을 획득한 후 문자를 추출하여 인식을 한 후, 각 채널별의 결과를 결합하여 선박의 제원을 추출하기 위해, 각 채널별로 선박문자의 결과를 결합할 때 동일한 문자의 결과는 딥러닝 신뢰도 값이 우선인 알고리즘으로 최종문자를 선정하고, 동일하지 않은 문자는 모두 선정한 후 상기 최종 문자와 동일하지 않은 문자로 선박정보DB를 검색하여 최종 선박을 특정하는 선박문자 검출 및 분류부;를 더 포함하며, 라이다 영상정보를 활용하여 선박의 크기를 추정하는 경우에는 라이다 영상과 카메라 영상의 좌표계 동기화 및 카메라와 라이다 촬영의 시간 동기화과정을 친다.
상기 각각의 항포구에 등록된 선박별로 영상딥러닝 알고리즘을 수행한 후, 딥러닝 결과들을 다시 학습하여 항포구별로 학습모델을 배포하기 위해, 제1항구에는 이동형 선박검출 및 로컬학습장치와 고정형 선박검출 및 로컬학습장치, 제2항구에는 이동형 선박검출 및 로컬학습장치, 제3항구에는 고정형 선박검출 및 로컬학습장치가 설치되어 있는 경우에 각각의 선박검출 및 로컬학습장치들은 각각의 항포구별로 선박검출 및 분류를 위한 딥러닝 학습을 수행한 후 로컬 학습모델 가중치값을 선박검출 글로벌 학습서버로 전송하게 되고, 선박검출 글로벌 학습서버는 로컬 학습모델 가중치값들에 대한 딥러닝 학습을 통해 글로벌 모델가중치를 생성한 후 항포구에 있는 각각의 선박검출 및 로컬학습장치로 배포하게 되며, 각각의 선박검출 및 로컬학습장치는 상기 글로벌 모델 가중치를 사용하여 선박을 검출하고 분류하는 기능을 수행하며, 연합학습시 글로벌 모델가중치의 정확도를 높인다.
상기 영상딥러닝 알고리즘을 통해 상기 각 항포구에 선적된 선박데이터세트를 전체 데이터세트의 선박종류 분포비율에 따라 데이터 증강기법 적용하여 선박의 분포비율을 균등하도록 선박데이터를 생성한 후 항포구 그룹단위로 부분학습을 수행한 후 글로벌 모델 가중치를 갱신하거나, 데이터세트가 일정치 보다 많은 선박에 대한 데이터세트의 수를 감소시켜 학습하거나, 연합학습시 각 항포구별 학습모델의 가중치를 딥러닝 신뢰도를 기준으로 우선순위에 따라 일정 비율만큼의 모델을 선별하여 학습을 하여 모델가중치의 정확도를 높인다.
상기 선박검출시스템을 통해 항포구에는 계류선박이 밀집 정박하고 있으며, 방파제에는 고정설치형 IoT감시센서이 설치되어 선박을 검출하고 분류할 수 있는 선박영상을 획득하기 위해 입출항하는 선박들을 촬영하며, 휴대폰 감시센서와 선박검출엔진 탑재 드론은 항포구 내에 정박 중인 선박들에 대한 영상을 획득하고, 상기 휴대폰 감시센서에서 획득한 영상에서는 선박들이 중첩되어 정확한 선박의 개수와 종류, 선박의 소속을 검출하기가 어려워 선박검출엔진 탑재 드론에서 획득한 영상에서는 선박들의 평면 이미지들이 주류를 이루게 되어 선박의 종류와, 선박의 소속을 검출하는데 정확도가 떨어지기 대문에 고정설치형 IoT감시센서에서 획득하는 선박영상은 온전한 선박 외형과 문자 정보를 포함하고 있어 선박의 종류와 소속을 정확히 특정하여, 항포구에 정박 중인 선박수와 선박 종류를 특정하는 정확도를 기준으로 수학식 3, 4, 5와 같이 연합학습을 수행한다.
본 발명의 일 실시예에 따르면 항포구에서 이동단말기를 사용하여 선박을 촬영시 선박의 크기와 이동단말기과 선박간의 거리, 선박정박 밀집도에 따라 온전한 전체 선박 이미지를 얻는 것이 불가능하므로, 추가적으로 드론 등 무인기에 카메라를 장착하여 공중에서 촬영시, 선박 평면영상 획득으로 인해 선박의 특징을 나타낼 수 있는 선박 전체에 대한 이미지를 용이하게 획득할 수 있다.
또한, 본 발명의 일 실시예에 따르면 항ㆍ포구에 정박되어 있거나 항해 중인 불법 선박을 상시 감시하고 대응할 수 있는 인공지능기반의 선박 검출 및 특정기술 확보를 통해 신속 및 정확성이 높은 지능형 선박감시체계기술을 확보할 수 있다.
또한, 본 발명의 일 실시예에 따르면 개인 및 국가 정보를 보호할 뿐 아니라 인공지능 학습의 과부하를 줄일 수 있는 연합학습기술 개발을 통해 분산처리 딥러닝의 기반기술을 확보할 수 있다.
또한, 본 발명의 일 실시예에 따르면 선박 관리 및 해상재난서비스 효율성 제고 및 관련 산업의 확대와 활성화가 가능하다.
또한, 본 발명의 일 실시예에 따르면 항.포구를 감시하는 경계원이 상시 감시하는 방법을 자동으로 감시할 수 있도록 대체함으로써 인적비용 및 유지비용을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 항포구 선박 검출시스템 개념도이다
도 2는 본 발명의 일 실시예에 따른 선박표기문자 일례이다
도 3은 본 발명의 일 실시예에 따른 고정설치형 IoT감시센서 구성도이다
도 4는 본 발명의 일 실시예에 따른 선박감시 센싱시스템 개념도이다
도 5는 본 발명의 일 실시예에 따른 선박감시 센싱시스템 동작 흐름도이다
도 6은 본 발명의 일 실시예에 따른 선박정보 DB구성도이다
도 7은 본 발명의 일 실시예에 따른 선박검출 및 인식 딥러닝 프레임워크이다
도 8은 본 발명의 일 실시예에 따른 항포구별 연합학습 개념도이다.
도 9는 본 발명의 일 실시예에 따른 선박검출 및 특정시스템 운용개념도이다.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 발명은 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템에 관한 것으로서, 보다 상세하게는 본 발명은 항포구내에서 입출항 및 정박 중인 소형 선박을 검출하고, 분류 및 추적하기 위해 이동단말기, 무인기 및 방파제에 설치되는 IoT 영상센서에서 획득하는 영상들을 분석하여 선박객체를 검출하고 특징점을 분석하여 선박종류를 분류하고 특정할 수 있는 인공지능망 구성에 관한 것이다.
무인기 및 방파제에 설치되는 IoT 영상센서에는 가시광 카메라, IR카메라, 라이다장치가 설치되어, 주야간에 걸쳐 선박을 감시한다.
도 1a와 도 1b에 도시된 항포구 선박 검출시스템 개념도에서와 같이 항포구에 정박되어 있거나 입출항하는 선박을 검출하는 시스템은 선박감시센싱시스템(1000), 선박검출시스템(2000), 선박검출관제시스템(3000,4000)으로 구성된다.
도 1c에 도시된 바와 같이 선박감시센싱시스템(1000)은 항포구에 정박중인 선박(100)에 대한 영상을 획득하는 기능을 수행하기 위한 이동단말기감시센서(300), 선박검출엔진이 탑재된 드론(400), 방파제에 설치되는 고정설치형 IoT감시센서(200)로 구성된다.
이동단말기의 경우 이동단말기에 탑재된 카메라를 사용하여 획득한 영상을 선박검출시스템의 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송하게 되며, 에지컴퓨터에서 영상딥러닝 또는 딥러닝을 통해 선박을 검출하고 분류, 특정하는 기능을 알고리즘에 의해 수행한다.
이동단말기로 밀집해서 정박한 선박(100)에 대한 영상을 촬영시 완벽한 형태의 선박영상을 얻기가 어렵게 된다.
이를 해결하기 위해 도 1d와 도 1e에 도시된 바와 같이 드론(400)에 카메라(410)와 라이다(420), 영상처리를 위한 GPU기반의 프로세서(430)를 장착하여 선박이미지를 획득한 후 딥러닝을 수행하여 선박을 검출하고 분류 및 특정하는 기능을 수행하여 그 결과와 획득영상을 선박검출시스템(2000)의 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송할 뿐 아니라 선박데이터 획득서버(2800)로 전송한다.
방파제에 설치되는 고정설치형 IoT감시센서(200)에도 광학카메라 및 IR카메라(410)와 라이다(420), 무선통신 모듈이 설치되어 항포구에 입출항하는 선박에 대한 완전한 선박형상의 이미지를 획득하여 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송한다.
선박검출시스템(2000)에서 통상, 선박의 측면, 후면에 선박을 특정하는 식별자가 표기되어 있어, 이동형 또는 고정형 에지컴퓨터(2100, 2400)에서는 고정설치형 IoT감시센서(200)에서 획득한 영상에 대한 딥러닝을 통해 선박과 종류를 특정하게 되며, 선박영상에서 선박에 표기된 문자를 추출하고 인식함으로써 선박DB에 등록된 선박 및 선주를 특정하게 된다.
에지컴퓨터(2100, 2400)는 엣지 컴퓨팅(Edge Computing)이 가능하여, 사용자 또는 데이터 소스의 물리적인 위치나 그 근처에서 컴퓨팅을 수행할 수 있다.
상기 선박검출시스템(2000)은 차량에 탑재되는 이동형에지컴퓨터(2100), 항포구에 설치되는 고정형에지컴퓨터(2400), 선박정보에 대한 DB(2600), 선박검출글로벌 학습서버(2700), 선박데이터 획득서버(2800) 로 구성된다. 이동형에지컴퓨터(2100)는 선박검출기능 및 선박검출을 위한 연합학습기능을 수행하는 선박검출 및 로컬학습장치(2200), 드론의 비행과 관리 기능을 수행하는 드론관제장치(2300)로 구성된다.
고정형에지컴퓨터(2400)는 선박 검출기능 및 선박 검출을 위한 연합학습기능을 수행하는 고정형 선박 검출 및 로컬학습센터(2500)를 포함한다.
선박정보에 대한 DB(2600)는 각 항포구에 등록된 선적선박과 타 항포구에서 입항한 선박 등에 대한 항해정보와 제원정보를 저장하고 관리를 수행한다.
선박검출 글로벌 학습서버(2700)는 각각의 항포구에 있는 이동형에지컴퓨터(2100) 및 고정형에지컴퓨터(2400)에서 학습한 선박검출 및 특정기능을 수행하는 딥러닝 학습모델들을 취합해서 학습하는 기능을 수행하고, 선박데이터 획득서버(2800)는 선박감시 센싱시스템(1000)의 이동단말기감시센서(300), 선박검출엔진 탑재드론(400) 및 고정설치형 IoT감시센서(200)에서 획득한 선박영상 데이터를 저장하여 선박검출 글로벌 학습서버(2700)에서 활용할 수 있도록 한다.
선박검출관제시스템은 항포구 선박검출 로컬관제시스템(3000)과 네트웍측에 위치하는 선박검출 글로벌관제시스템(4000)으로 구성되며, 선박검출 센서들에 대한 상태관리 및 제어기능을 수행한다.
도 1f에 도시된 바와 같이 상기 선박검출 로컬관제시스템(3000)은 경계감시부대(3100)내에 설치되며 고정설치형 IoT감시센서(200)에 대한 제어를 담당하는 고정설치형 감시센서관제센터(3200)와 드론의 비행과 임무제어를 수행하는 드론관제센터(3300), 고정설치형 IoT감시센서(200)를 통해 검출한 선박에 대한 감시기능을 수행하는 GIS기반 검출선박 모니터링시스템(3400)으로 구성된다.
도 1g에 도시된 바와 같이 선박검출 글로벌관제시스템(4000)은 각종 선박검출장치의 상태를 제어관리하는 선박검출장치 관리서버(4100), 복수의 고정형 IoT감시센서의 연동을 통해 검출선박을 지속적으로 추적하는 기능을 수행하기 위한 고정형 IoT감시센서통합관제서버(4200), 복수의 항포구에 설치 운용되는 장치들에 대한 관제기능을 수행하는 선박검출시스템 통합관제서버(4300)로 구성된다.
또한, 도 1h에 도시된 바와 같이 항포구에 위치하는 선박감시 센싱시스템과 선박검출시스템은 5G상용망(5000)으로 접속이 되며, 5G상용망(5000)은 망연동게이트웨이(5100)를 통해 경계전용망(6000)과 연동이 된다.
선박검출 로컬관제시스템(3000)은 유선으로 경계전용망(6000)을 통하거나, 무선으로 5G상용망(5000)을 경유하여 선박검출 글로벌관제시스템(4000)과 연동된다.
도 2의 선박표기문자 일례와 같이 선박법 시행규칙 제17조(선박의 표시사항과 표시방법)에 따라 선박은 선수양현의 외부 및 선미 외부의 잘 보이는 곳에 각각 10센티미터 이상의 한글(아라비아숫자를 포함)로 선박의 명칭을, 선미 외부의 잘 보이는 곳에 10센티미터 이상의 한글로 선적항을 표시하게 되므로, 선박의 외형에 대한 영상 딥러닝 기술을 통해 선박객체를 검출하고 선박종류를 특정할 수 있으며, 선박에 표기된 문자인식기술(Optical character recognition; OCR)을 통해 선박의 선주 및 선적을 특정할 수 있게 된다.
도 3의 방파제에 설치되는 고정설치형 IoT감시센서는 레이저 빛의 비행시간차(Time Of Flight)를 통해 3차원 공간에서의 선박영상과 선박과의 거리정보 획득하는 라이다 센서(210), 주,야간에 걸쳐서 선박에 대한 2차원 영상을 획득하기 위한 가시광 카메라와 IR카메라(220), 카메라의 제어 및 획득영상을 스트리밍하는 기능을 담당하는 카메라제어프로세서(230), 카메라의 관측 위치를 제어하는 PT드라이브(240), 가시광 카메라와 IR카메라(220)로부터 획득한 영상의 딥러닝을 통해 선박의 검출과 특정기능을 처리하는 선박검출프로세서(250), 고정설치형 IoT감시센서의 위치정보를 획득하기 위한 GPS(260)로 구성된다.
상기 고정설치형 IoT감시센서는 고정설치형 감시센서관제센터(3200)와 연동된다.
도 4의 선박감시 센싱시스템 개념도에서 항포구에 정박중인 선박들(100, 110, 120)을 이동단말기감시센서(300)와 선박검출엔진탑재드론(400)으로 촬영하여 선박이미지 영상을 획득한다.
이동단말기감시센서(300)에서 획득한 선박에 대한 영상은 이동단말기와 이동형 에지컴퓨터(MEC:Mobile Edge Computer)간 링크(320)을 통해 이동형에지컴퓨터(2100)에 있는 이동형선박 검출 및 로컬학습장치( 2200)로 전송하여 선박검출 및 분류, 특정임무를 수행하거나, 이동단말기과 고정형 에지컴퓨터 간 링크(330)을 통해 고정형에지컴퓨터(2400)에 있는 고정형선박 검출 및 로컬학습장치( 2500)로 전송하여 선박검출 및 분류, 특정임무를 수행한다.
선박검출엔진탑재드론(400)은 촬영한 선박이미지 영상을 분석하여 선박검출결과를 드론과 이동형에지컴퓨터간 링크(440)을 통해 이동형에지컴퓨터(2100)로 전송하거나, 드론과 고정형에지컴퓨터간 링크(450)을 통해 고정형에지컴퓨터(2400)로 전송하게 되며, 선박검출 딥러닝 임무를 에지컴퓨터에서 수행할 수 있도록 하는 경우에는, 획득한 선박 이미지를 이동형에지컴퓨터(2100)에 있는 이동형선박 검출 및 로컬학습장치( 2200)로 전송하거나 고정형에지컴퓨터(2400)에 있는 고정형선박 검출 및 로컬학습장치(2500)로 전송한다.
한편 항포구의 방파제에 설치되는 고정설치형 IoT감시센서들(200,210)은 해상에 가상펜스(150)를 설치하여 가상펜스를 넘나드는 선박에 대한 영상을 획득한 후, 자체적으로 영상분석을 통해 선박을 검출하거나, 고정형센서와 고정형에지컴퓨터간 링크(250)을 통해 고정형에지컴퓨터(2400)에 있는 고정형선박 검출 및 로컬학습장치( 2500)로 전송하여 선박검출임무를 수행한다.
선박검출장치 관리서버(4100)는 에지컴퓨터들(2100, 2400)과 검출센싱장치들(300, 400)들의 상태를 관리하는 기능을 수행한다.
도 5의 선박감시 센싱시스템 동작 흐름도에서 고정형에지컴퓨터(2400)는 5G망의 무선링크와 접속하는 기능과 선박검출센싱장치들(200, 300,400)들에 사이드링크를 통해 무선링크를 중계하는 기능을 갖는 무선통신장치(2520)와 드론관제센터(Fixed Drone Management Center)(3300), 고정형선박 검출 및 로컬학습센터(2500), 로컬선박정보DB(2510), 프로세서(2530)로 구성된다.
이동형에지컴퓨터(2100)는 5G망의 무선링크와 접속하는 기능과 선박검출센싱장치들(200, 300, 400)들에 사이드링크를 통해 무선링크를 중계하는 기능을 갖는 무선통신장치(2520)와 이동형선박 검출 및 로컬학습장치( 2200), 로컬선박정보DB(2210), 프로세서(2410)로 구성된다.
이동단말기감시센서(300)와 고정형 IoT감시센서(200), 드론감시센서(400)들에는 암호화모듈(320, 270, 470)이 장착되어 선박을 검출한 결과 정보와 선박영상들은 암호화되어 선박검출시스템으로 전송된다.
이동단말기 감시센서(300)는 선박영상을 획득한 후에 이동형에지컴퓨터(2100) 또는 고정형에지컴퓨터(2400)로 전송하여 해당장치에서 영상딥러닝을 수행하여 선박을 검출하고 분류, 특정하는 기능을 수행하게 한다.
고정형 IoT감시센서(200)는 라이다센서(210)와 가시광 및 IR카메라(220), GPS(260)로 구성되어 있으며 획득한 선박영상에 대한 딥러닝 추론을 통해 선박을 1차적으로 검출하고 분류하는 기능을 수행하거나, 획득한 영상을 고정형에지컴퓨터(2400)으로 전송하여 해당장치에서 2차적으로 영상딥러닝을 수행하여 선박을 검출하고 분류, 특정하는 기능을 수행하게 한다.
드론감시센서(400)는 라이다센서(420)와 가시광 및 IR카메라(410), GPS(460)로 구성되어 있으며 획득한 선박영상에 대한 딥러닝 추론을 통해 선박을 1차적으로 검출하고 분류하는 기능을 수행하거나, 획득한 영상을 이동형에지컴퓨터(2100)나 고정형에지컴퓨터(2400)으로 전송하여 해당장치에서 2차적으로 영상딥러닝을 수행하여 선박을 검출하고 분류, 특정하는 기능을 수행하게 한다.
한편, 이동형에지컴퓨터(2100)나 고정형에지컴퓨터(2400)는 선박정보에 대한 DB(선박정보 DB클러스트; 2600)으로부터 항포구 단위별로 로컬선박정보DB(2510, 2210)를 다운로드 받아 선박을 특정하는데 사용하게 된다.
도 6의 선박정보 DB구성도에서와 같이 선박의 선적항 기준으로 항포구 단위로 별도의 DB들이 구성되어, 선박의 정보(선박명, 선주, 선박크기, 선박 사진 등)에 대한 정보를 저장하게 된다. 선박 검출시 신속한 검색과 선박의 항해경로 등에 대한 정보 구축을 위해 DB 구축시 선적항(2611)과 방문항(2612)으로 구별하여 정보를 저장한다. 마스터노드(2650)는 각 항포구별로 로컬 DB를 다운로드 시키는 기능과 로컬 DB들과 항포구 별 DB들과의 데이터 동기화 기능을 수행한다.
도 7a는 선박검출 및 인식 딥러닝 프레임워크에서와 같이, 고정설치형 IoT감시센서와 드론감시센서, 이동단말기감시센서 등에서 촬영하는 이미지내 선박은 카메라의 시점(view point)에 따라 측면, 정면, 평면, 후면에서 바라보는 다양한 형태를 이루게 되므로, 일부 영상딥러닝으로 선박을 검출하고 특정하는데 있어서 특정 부분의 영상이 손상되는 경우도 있다.
이를 극복하기 위해서 도 7b에 도시된 바와 같이 선박 검출 및 로컬학습장치(2200,2500)의 선박영상 검출 및 분류부(7400)에 선박영상(7100)을 입력시키기 전에 영상분류 및 복원처리부(7200)에서는 입력되는 모든 선박영상을 평면이미지(7310), 측면이미지(7320), 정면이미지(7330), 후면이미지(7340)로 분류하고, 선박이미지의 일부가 보이지 않거나, 훼손된 경우에 이를 딥러닝을 통해 복원하는 기능을 수행한다.
선박복원알고리즘의 일례로서는 고해상도(superpixel)기반 image painting, GAN기반의 이미지 inpainting 알고리즘 등이 있다. 선박영상 검출 및 분류부(7400)에서는 분류된 선박이미지들에 대한 CNN계열의 영상딥러닝 알고리즘(예;ResNet, YOLO, VGGNet 등)을 사용하여 선박을 검출하고 분류하는 기능을 수행하게 된다.
이때 선박 검출 및 분류 정확도를 높이기 위해 시점별로 분류된 선박 이미지를 각각 딥러닝 프로세스(다중채널 프로세스)에 입력시키게 된다.
다중채널 프로세스는 다중채널 결합딥러닝 알고리즘(7500)과 다중채널 딥러닝 결합 알고리즘(7600)으로 이루어지며, 상기 알고리즘의 결과는 soft voting과 같은 결합알고리즘을 통해 검출정확도를 높이게 된다. 다중채널 결합딥러닝 알고리즘(7500)은 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각 채널들의 feature map(7550)을 결합한 후 fully connected layer 를 거친 후 softmax 함수를 거쳐 선박의 종류를 분류하게 된다.
한편 다중채널 딥러닝결합 알고리즘(7600)은 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각각의 채널별로 fully connected layer 를 거친 후 softmax 함수를 거친 후 각각의 채널별 결과를 결합(soft voting)(7650)하여 선박의 종류를 분류하게 된다.
이후 다중채널 결합딥러닝 알고리즘(7500)과 다중채널 딥러닝 결합 알고리즘(7600)의 결과에 대해 soft voting결합 알고리즘을 통해 최종적으로 선박의 종류(7700)를 검출하고 선박의 크기(7800)를 검출하게 된다.
① 다중채널 결합딥러닝 알고리즘에서 각 채널별 feature map을 다양한 방법으로 결합할 수 있다. 예를 들면 각 Feature map의 최대값을 선정하는 방법, 각 Feature map의 평균값을 선정하는 방법, 각 Feature map의 최대값과 평균값의 조화평균 등을 적용할 수 있다.
② 선박의 크기 검출은 전체 영상이미지의 픽셀 크기와 렌즈의 초점거리, 이미지내의 선박의 크기를 비교하여 선박의 크기를 추정한다. 즉, 선박 검출센서와 검출 선박 간의 거리 D를 카메라 렌즈공식으로 추정한 후, 선박검출센서의 이미지 화면의 크기와 화면내에서의 검출 선박객체의 픽셀 수를 참조하여 선박의 크기를 추정 한다. 여기서 선박의 실재크기를 U, 화면내에서의 선박 이미지 크기를 u, 카메라 초점거리 F, 카메라 렌즈에서 이미지 촬상면 까지의 거리를 Df 라 할 때 다음과 수학식 1, 2와 같은 카메라 렌즈공식을 이용한다.
선박문자 검출 및 분류부(8000)는 선박에 문자가 표기되는 선박의 정면, 후면, 측면 이미지에 대하여 각각 영상 전처리과정을 통해 고품질의 영상을 획득한 후 문자를 추출한 후 선박 문자인식을 한 후, 각 채널별의 결과를 결합하여 선박의 제원을 추출한다.
각 채널별로 선박문자의 결과를 결합할 때 동일한 문자의 결과는 신뢰도 우선기반으로 최종문자로 선정하고, 동일하지 않은 문자는 모두 선정한 후 선박정보DB(2210, 2510)를 검색하여 최종 선박을 특정(8200)하게 된다.
③ 라이다 영상정보를 활용하여 선박의 크기를 추정하는 경우에는 라이다 영상과 카메라 영상의 좌표계 동기화 및 카메라와 라이다 촬영의 시간 동기화과정을 거친다.
도 8a와 도 8b에 도시된 항포구별 연합학습 개념도에서와 같이 전국의 모든 선박들에 대한 딥러닝 학습하기 위해서는 선박데이터세트 획득 및 학습과정에 많은 경비가 소요됨으로 각각의 항포구에 등록된 선박별로 영상딥러닝을 수행한 후, 딥러닝 결과들을 중앙에 있는 글로벌 학습서버에서 다시 학습하여 항포구별로 학습모델을 배포하는 것이 효율적이다. A항구(9100)에는 이동형 선박검출 및 로컬학습장치(2200)과 고정형 선박검출 및 로컬학습장치(2500), M항구(9200)에는 이동형 선박검출 및 로컬학습장치(12200), N항구(9300)에는 고정형 선박검출 및 로컬학습장치(12500)가 설치되어 있는 경우의 예에서 각각의 선박검출 및 로컬학습장치들은 각각의 항포구별로 선박검출 및 분류를 위한 딥러닝 학습을 수행한 후 로컬 학습모델 가중치값(9110, 9120, 9210, 9310)을 선박검출 글로벌 학습서버(2700)로 전송하게 된다. 글로벌 학습서버(2700)는 로컬 학습모델 가중치값(9110, 9120, 9210, 9310)들에 대한 딥러닝 학습을 통해 글로벌 모델가중치(2710)를 생성한 후 항포구에 있는 각각의 선박검출 및 로컬학습장치(2200, 2500, 12200, 12500)로 배포하게 되며, 각각의 선박검출 및 로컬학습장치(2200, 2500, 12200, 12500)는 상기 글로벌 모델가중치(2710)를 사용하여 선박을 검출하고 분류하는 기능을 수행한다.
일실시예로서 연합학습시 글로벌 모델가중치의 정확도를 높이기 위해 다음과 같은 방식을 사용할 수 있다.
① (실시예 1) 각 항포구에 선적된 선박데이터세트를 전체 데이터세트의 선박종류 분포비율에 따라 데이터 증강기법 적용하여 선박의 분포비율을 균등하도록 선박데이터를 생성한 후 항포구 그룹단위로 부분학습을 수행한 후 글로벌 모델 가중치를 갱신하는 방법
② (실시예 2) 데이터세트가 과도하게 많은 선박에 대한 데이터세트의 수를 감소시켜 학습하는 방법
③ (실시예 3) 연합학습시 각 항포구별 학습모델의 가중치를 딥러닝 신뢰도를 기준으로 우선순위에 따라 일정 비율만큼의 모델을 선별하여 학습을 하는 방법
도 9는 선박을 검출하기 위해 다양한 선박검출센서를 사용하여 선박을 검출하고, 연합학습을 수행하는 방식을 나타낸다.
항포구에는 계류선박(100)이 밀집 정박하고 있으며, 방파제(9000)에는 고정설치형 IoT감시센서(200)이 설치되어 선박을 검출하고 분류할 수 있는 선박영상을 획득하기 위해 입출항하는 선박들을 촬영한다. 휴대폰 감시센서(300)와 선박검출엔진탑재 드론(400)은 항포구내에 정박중인 선박들에 대한 영상을 획득한다.
휴대폰 감시센서(300)에서 획득한 영상에서는 선박들이 중첩되어 정확한 선박의 개수와 종류, 선박의 소속 등을 검출하는데 정확도가 떨어진다. 선박검출엔진 탑재 드론(400)에서 획득한 영상에서는 선박들의 평면 이미지들이 주류를 이루게 되어 정확히 선박의 종류와, 선박의 소속 등을 검출하는데 정확도가 떨어진다.
반면에 고정설치형 IoT감시센서에서 획득하는 선박영상은 온전한 선박 외형과 문자 정보를 포함하고 있어 선박의 종류와 소속 등을 정확히 특정할 수 있다.
항포구에 정박중인 선박수와 선박 종류를 특정하는 정확도를 기준으로 다음과 같이 연합학습을 수행할 수 있다.
예를 들어 아래 수학식 3과 같이 항.포구에 정박중인 선박의 실질적인 개수는, 상용단말과 드론으로 특정한 선박의 개수 N_identified ship 와 비 특정한 개수 N_unidentified ship의 합이다.
그리고 아래 수학식 4와 같이 고정설치형 IoT감시센서에서 측정하는 항.포구로 입항하는 선박의 개수 Nenter와 출항하는 선박의 개수 Ndepart를 감한 수는 항.포구에 정박하고 있는 선박수의 수를 나타낸다.
또한 아래 수학식 5와 같이 각 선박들에 대한 출항주기를 Tdi 라 할 때, 각 선박들의 출항주기에 대한 최소 공배수시간(Least Common Multiple)에 상용단말과 드론으로 특정한 선박의 개수 NtPhone+Drone@LCM 와 고정설치형 IoT감시센서에서 측정한 선박의 개수 NtFixed@LCM 를 비교 했을 때 임계값 γ을 넘는 경우 연합학습을 수행한다.
100 : 선박
200 : 고정설치형 IoT감시센서
300 : 이동단말기감시센서
400 : 드론
900 : 방파제
1000 : 선박감시센싱시스템
2000 : 선박검출시스템
2100 : 이동형에지컴퓨터
2400 : 고정형에지컴퓨터
2600 : DB
2700 : 선박검출글로벌 학습서버
2800 : 선박데이터 획득서버
2200 : 선박검출 및 로컬학습장치
2300 : 드론관제장치
2500 : 고정형 선박 검출 및 로컬학습센터
3000, 4000 : 선박관제시스템
3100 : 경계감시부대
3200 : 고정설치형 감시센서관제센터
3300 : 드론관제센터
3400 : GIS기반 검출선박 모니터링시스템
4100 : 선박검출장치 관리서버
4200 : 고정형 IoT감시센서통합관제서버
4300 : 선박검출시스템 통합관제서버
5000 : 5G상용망
5100 : 망연동게이트웨이
6000 : 경계전용망
4000 : 선박검출 글로벌관제시스템
7400 : 선박영상 검출 및 분류부
7100 : 선박영상
7200 : 영상분류 및 복원처리부
7310 : 평면이미지
7320 : 측면이미지
7330 : 정면이미지
7340 : 후면이미지
7400 : 선박영상 검출 및 분류부
7550 : feature map
7500 : 다중채널 결합딥러닝 알고리즘
7600 : 다중채널 딥러닝 결합 알고리즘
7700 : 선박의 종류
7800 : 선박의 크기
8200 : 최종 선박
8000 : 선박문자 검출 및 분류부
9100 : 제1항구
9200 : 제2항구
9300 : 제3항구
9110, 9120, 9210, 9310 : 로컬 학습모델 가중치값
9110, 9120, 9210, 9310 : 로컬 학습모델 가중치값
12500 : 고정형 선박검출 및 로컬학습장치
12200 : 이동형 선박검출 및 로컬학습장치
2200, 2500, 12200, 12500 : 선박검출 및 로컬학습장치

Claims (28)

  1. 항포구에 정박중인 선박(100)을 검출하고 분류 및 특정하기 위해, 선박영상을 이동 또는 고정 영상으로 획득하는 선박감시센싱시스템(1000);
    상기 선박감시센싱시스템(1000)을 통한 감시센서의 센싱 정보로 선박검출 및 분류와, 에지컴퓨터 및 드론관제장치로 특정 선박 검출 및 학습 기능을 수행하는 선박검출시스템(2000); 및
    상기 선박감시센싱시스템(1000)과 선박검출시스템(2000), 감시센서 및 드론을 관제하고 모니터링하는 선박관제시스템(3000, 4000);을 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  2. 청구항 1에 있어서,
    상기 선박센싱시스템(1000)은 이동단말기, 가시광 카메라 및 IR카메라와 라이다가 장착된 드론, 가시광 카메라 및 IR카메라와 라이다가 장착된 고정형 IoT영상 장치에서 획득한 선박영상에 대한 딥러닝기술을 적용하여 선박을 검출하고, 분류, 및 특정하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  3. 청구항 1에 있어서,
    상기 선박센싱시스템(1000)은 항포구에 입출항하는 선박의 측면, 정면 및 후면에 표시된 선박표기 문자와 완전한 외형의 선박이미지를 획득하기 위해 방파제에 고정형 IoT영상센싱장치를 설치하고 운영하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 선박검출시스템(2000)은 이동단말기에서 획득한 영상과 드론장치에서 획득한 선박영상을 분석하여 선박을 검출, 분류, 특정하는 기능을 수행하는 이동형 에지컴퓨터 장치를 포함하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  5. 청구항 2에 있어서,
    상기 선박검출시스템(2000)은 고정형 IoT영상 장치에서 1차적으로 선박검출 및 분류, 특정기능을 수행하고, 2차적으로 이동형 에지컴퓨터 장치에서 선박검출 및 분류, 특정기능을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  6. 청구항 2에 있어서,
    상기 선박검출시스템(2000)은 상기 드론에서 1차적으로 선박검출 및 분류, 특정기능을 수행하고, 2차적으로 이동형 에지컴퓨터 장치에서 선박검출 및 분류, 특정기능을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  7. 청구항 2에 있어서,
    상기 선박을 촬영하는 가시광 카메라, IR카메라, 가시광 카메라의 시점(view point)에 따라 다양한 형태를 갖는 선박이미지를 정면, 후면, 측면, 평면 이미지로 분류한 후, 이들 분류된 이미지별로 다중채널을 구성하여 각각 영상딥러닝을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  8. 청구항 7에 있어서,
    상기 다중채널에 대해 각각 영상딥러닝을 수행하는 중간단계에서 다중채널을 결합한 후 추가적인 딥러닝을 수행하여 선박을 검출하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  9. 청구항 7에 있어서,
    상기 다중채널에 대해 각각 영상딥러닝을 수행한 결과를 결합하여 선박을 검출하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  10. 청구항 2에 있어서,
    상기 라이다 이미지의 TOF(Time of Flight)를 이용하여 라이다와 선박간의 거리를 측정한 후, 카메라의 이미지와 결합을 통해 선박의 크기를 추정하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  11. 청구항 2에 있어서,
    상기 선박검출시스템(2000)은 선박영상에서 선박에 표기된 문자를 추출하여 인식한 후 선박 등록 DB를 검색하여 선박의 제원을 획득하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  12. 청구항 2 또는 청구항 11에 있어서,
    상기 선박검출시스템(2000)은 상기 선박영상 또는 이미지에서 선박의 외형분석을 통해 선박을 검출하고 종류를 분류하고, 선박의 크기정보와 선박에 표기된 문자를 인식하여 선박의 검출, 분류, 및 특정 정확도를 높이는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  13. 청구항 1에 있어서,
    상기 선박검출시스템(2000)은 복수개의 항포구에 정박중인 선박에 대한 영상 또는 이미지에서 정확한 검출과 특정을 위해 항포구별 단위로 로컬 학습을 수행하고 항포구 전체적인 글로벌 학습을 수행하는 연합학습을 적용하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  14. 청구항 1에 있어서,
    상기 선박검출시스템(2000)은 항포구에 정박중인 선박에 대한 영상 또는 이미지에서 정확한 검출과 특정을 위해 일정 주기 동안 휴대 단말과 드론에서 검출한 선박의 개수와 방파제(9000)에 설치된 고정형 IoT센싱장치에서 검출하는 항포구 입항선박과 출항선박에 대한 개수를 비교하여 영상딥러닝 기술의 정확성을 자체적으로 평가하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  15. 청구항 14에 있어서,
    상기 선박검출시스템(2000)은 선박들의 입출항 주기에 대한 최소공배수 시간을 주기로 선정하여 휴대 단말과 드론에서 검출한 선박의 개수와 고정형 IoT센싱장치에서 검출하는 선박을 비교하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  16. 청구항 14에 있어서,
    상기 선박검출시스템(2000)은 휴대 단말과 드론에서 검출한 선박의 개수와 고정형 IoT센싱장치에서 검출하는 선박의 개수의 차이가 특정 임계값을 넘는 경우 연합학습을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  17. 각 항포구에 정박중인 선박(100)에 대한 영상을 획득하는 기능을 수행하기 위한 이동단말기감시센서(300), 선박검출엔진이 탑재된 드론(400), 방파제(9000)에 설치되는 고정설치형 IoT감시센서(200)로 구성되는 선박감시센싱시스템(1000);
    차량에 탑재되는 이동형에지컴퓨터(2100), 항포구에 설치되는 고정형에지컴퓨터(2400), 선박정보에 대한 DB(2600), 선박검출글로벌 학습서버(2700), 선박데이터 획득서버(2800)로 구성되고, 상기 이동형에지컴퓨터(2100)는 선박검출기능 및 선박검출을 위한 연합학습을 수행하는 선박검출 및 로컬학습장치(2200), 드론의 비행과 관리 기능을 수행하는 드론관제장치(2300)로 구성되며, 상기 고정형에지컴퓨터(2400)는 선박 검출기능 및 선박 검출을 위한 연합학습을 수행하도록 고정형 선박 검출 및 로컬학습센터(2500)를 포함하는 선박검출시스템(2000);
    경계감시부대(3100)내에 설치되며 고정설치형 IoT감시센서(200)에 대한 제어를 담당하는 고정설치형 감시센서관제센터(3200)와 드론의 비행과 임무제어를 수행하는 드론관제센터(3300), 고정설치형 IoT감시센서(200)를 통해 검출한 선박에 대한 감시기능을 수행하는 GIS기반 검출선박 모니터링시스템(3400)으로 구성되는 선박검출 로컬관제시스템(3000); 및
    각종 선박검출장치의 상태를 제어관리하는 선박검출장치 관리서버(4100), 복수의 고정형 IoT감시센서의 연동을 통해 검출선박을 지속적으로 추적하는 기능을 수행하기 위한 고정형 IoT감시센서통합관제서버(4200), 복수의 항포구에 설치 운용되는 장치들에 대한 관제기능을 수행하는 선박검출시스템 통합관제서버(4300)로 구성되는 선박검출 글로벌관제시스템(4000);을 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  18. 청구항 17에 있어서,
    상기 선박감시센싱시스템(1000)은 이동단말기에 탑재된 카메라를 사용하여 획득한 영상을 선박검출시스템의 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송하게 되며, 에지컴퓨터에서 영상딥러닝 알고리즘을 통해 선박을 검출하고 분류, 특정하는 기능을 수행하고,
    상기 이동단말기로 밀집해서 정박한 선박(100)에 대한 영상을 촬영시 완벽한 형태의 선박영상을 얻기 위해, 드론에 카메라(410)와 라이다(420), 영상처리를 위한 GPU기반의 프로세서를 장착하여 선박이미지를 획득한 후 딥러닝을 수행하여 선박을 검출하고 분류 및 특정하는 기능을 수행하여 그 결과와 획득영상을 선박검출시스템(2000)의 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송할 뿐 아니라 선박데이터 획득서버(2800)로 전송하고,
    방파제에 설치되는 고정설치형 IoT감시센서(200)에도 광학카메라 및 IR카메라(410)와 라이다(420), 무선통신 모듈이 설치되어 항포구에 입출항하는 선박에 대한 완전한 선박형상의 이미지를 획득하여 이동형 또는 고정형 에지컴퓨터(2100, 2400)로 전송하고,
    통상, 선박의 측면, 후면에 선박을 특정하는 식별자가 표기되어 있어, 이동형 또는 고정형 에지컴퓨터(2100, 2400)에서는 고정설치형 IoT감시센서(200)에서 획득한 영상에 대한 딥러닝을 통해 선박과 종류를 특정하게 되며, 선박영상에서 선박에 표기된 문자를 추출하고 인식함으로써 선박DB에 등록된 선박 및 선주를 특정하며,
    에지컴퓨터(2100, 2400)는 엣지 컴퓨팅(Edge Computing)이 가능하여, 사용자 또는 데이터 소스의 물리적인 위치나 그 근처에서 컴퓨팅을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  19. 청구항 17에 있어서,
    상기 선박검출시스템(2000)을 통해 선박정보에 대한 DB(2600)는 각 항포구에 등록된 선적선박과 타 항포구에서 입항한 선박 등에 대한 항해정보와 제원정보를 저장 및 관리를 수행하고,
    선박검출 글로벌 학습서버(2700)는 각각의 항포구에 있는 이동형에지컴퓨터(2100) 및 고정형에지컴퓨터(2400)에서 학습한 선박검출 및 특정기능을 수행하는 딥러닝 학습모델들을 취합해서 학습하는 기능을 수행하고, 선박데이터 획득서버(2800)는 선박감시 센싱시스템(1000)의 이동단말기감시센서(300), 선박검출엔진 탑재 드론(400) 및 고정설치형 IoT감시센서(200)에서 획득한 선박영상 데이터를 저장하여 선박검출 글로벌 학습서버(2700)에서 활용하며,
    선박검출관제시스템은 항포구 선박검출 로컬관제시스템(3000)과 네트웍측에 위치하는 선박검출 글로벌관제시스템(4000)으로 구성되며, 선박검출 센서들에 대한 상태관리 및 제어기능을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  20. 청구항 17에 있어서,
    상기 항포구에 위치하는 선박감시 센싱시스템과 선박검출시스템은 5G상용망(5000)으로 접속이 되며, 5G상용망(5000)은 망연동게이트웨이(5100)를 통해 경계전용망(6000)과 연동되고,
    선박검출 로컬관제시스템(3000)은 유선으로 경계전용망(6000)을 통하거나, 무선으로 5G상용망(5000)을 경유하여 선박검출 글로벌관제시스템(4000)과 연동되는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  21. 청구항 17에 있어서,
    상기 선박검출시스템(2000)은 상기 선박 검출 및 로컬학습장치(2200,2500)의 선박영상 검출 및 분류부(7400)에 선박영상(7100)을 입력시키기 전에 영상분류 및 복원처리부(7200)에서는 입력되는 모든 선박영상을 평면이미지(7310), 측면이미지(7320), 정면이미지(7330), 후면이미지(7340)로 분류하고, 선박이미지의 일부가 보이지 않거나, 훼손된 경우 딥러닝을 통해 복원하는 기능을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  22. 청구항 17 또는 청구항 18에 있어서,
    상기 선박검출시스템(2000)은 선박복원알고리즘인 고해상도(superpixel)기반 image painting, GAN기반의 이미지 inpainting 알고리즘을 이용하며 선박영상 검출 및 분류부(7400)에서는 분류된 선박이미지들에 대해 ResNet, YOLO, VGGNet을 포함하는 CNN계열의 영상딥러닝 알고리즘을 사용하여 선박을 검출하고 분류하는 기능을 수행하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  23. 청구항 21 또는 청구항 22에 있어서,
    상기 선박영상 검출 및 분류부(7400)의 선박 검출 및 분류 정확도를 높이기 위해 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각 채널들의 feature map(7550)을 결합(7550)한 후 fully connected layer를 거친 후 softmax 함수를 거쳐 선박의 종류를 분류하는 다중채널 결합딥러닝 알고리즘(7500);
    상기 각 채널별로 선박영상에 대한 특징점을 추출하기 위한 여러 번의 Convolution layer와 pooling layer를 거친 후 각각의 채널별로 fully connected layer를 거친 후 softmax 함수를 거친 후 각각의 채널별 결과를 oft voting을 포함하는 결합알고리즘을 통해 결합하여 선박의 종류를 분류하는 다중채널 딥러닝결합 알고리즘(7600);을 더 포함하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  24. 청구항 23에 있어서,
    상기 다중채널 결합딥러닝 알고리즘(7500)과 다중채널 딥러닝 결합 알고리즘(7600)의 결과를 oft voting과 같은 결합알고리즘을 통해 검출정확도를 높여 통해 최종적으로 선박의 종류(7700)를 검출하고 선박의 크기(7800)를 검출하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  25. 청구항 24에 있어서,
    상기 다중채널 결합딥러닝 알고리즘에서 각 채널별 feature map의 최대값을 선정하는 방법, 각 Feature map의 평균값을 선정하는 방법, 각 Feature map의 최대값과 평균값의 조화평균을 적용하는 방법 중 하나 이상을 적용하거나, 선박의 크기 검출은 전체 영상이미지의 픽셀 크기와 렌즈의 초점거리, 이미지내의 선박의 크기를 비교하여 선박의 크기를 추정하기 위해, 아래 수학식 1, 2와 같이 선박 검출센서와 검출 선박 간의 거리 D를 카메라 렌즈공식으로 추정한 후, 선박검출센서의 이미지 화면의 크기와 화면 내에서의 검출 선박객체의 픽셀 수를 참조하여 선박의 크기를 추정하는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
    [수학식 1]

    [수학식 2]

    (여기서 선박의 실재크기를 U, 화면내에서의 선박 이미지 크기를 u, 카메라 초점거리 F, 카메라 렌즈에서 이미지 촬상면 까지의 거리를 Df)
  26. 청구항 17에 있어서,
    상기 선박(100)에 문자가 표기되는 선박의 정면, 후면, 측면 이미지에 대하여 각 채널별 영상 전처리과정을 통해 고품질의 영상을 획득한 후 문자를 추출하여 인식을 한 후, 각 채널별의 결과를 결합하여 선박의 제원을 추출하기 위해, 각 채널별로 선박문자의 결과를 결합할 때 동일한 문자의 결과는 딥러닝 신뢰도 값이 우선인 알고리즘으로 최종문자를 선정하고, 동일하지 않은 문자는 모두 선정한 후 상기 최종 문자와 동일하지 않은 문자로 선박정보DB(2210, 2510)를 검색하여 최종 선박(8200)을 특정하는 선박문자 검출 및 분류부(8000);를 더 포함하며,
    라이다 영상정보를 활용하여 선박의 크기를 추정하는 경우에는 라이다 영상과 카메라 영상의 좌표계 동기화 및 카메라와 라이다 촬영의 시간 동기화과정을 거치는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  27. 청구항 17, 청구항 18, 청구항 22 중 어느 하나에 있어서,
    상기 각각의 항포구에 등록된 선박별로 영상딥러닝 알고리즘을 수행한 후, 딥러닝 결과들을 다시 학습하여 항포구별로 학습모델을 배포하기 위해, 제1항구(9100)에는 이동형 선박검출 및 로컬학습장치(2200)와 고정형 선박검출 및 로컬학습장치(2500), 제2항구(9200)에는 이동형 선박검출 및 로컬학습장치(12200), 제3항구(9300)에는 고정형 선박검출 및 로컬학습장치(12500)가 설치되어 있는 경우에 각각의 선박검출 및 로컬학습장치들은 각각의 항포구별로 선박검출 및 분류를 위한 딥러닝 학습을 수행한 후 로컬 학습모델 가중치값(9110, 9120, 9210, 9310)을 선박검출 글로벌 학습서버(2700)로 전송하게 되고, 선박검출 글로벌 학습서버(2700)는 로컬 학습모델 가중치값(9110, 9120, 9210, 9310)들에 대한 딥러닝 학습을 통해 글로벌 모델가중치(2710)를 생성한 후 항포구에 있는 각각의 선박검출 및 로컬학습장치(2200, 2500, 12200, 12500)로 배포하게 되며, 각각의 선박검출 및 로컬학습장치(2200, 2500, 12200, 2500)는 상기 글로벌 모델 가중치(2710)를 사용하여 선박을 검출하고 분류하는 기능을 수행하며, 연합학습시 글로벌 모델가중치의 정확도를 높이는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
  28. 청구항 27에 있어서,
    상기 영상딥러닝 알고리즘을 통해 상기 각 항포구에 선적된 선박데이터세트를 전체 데이터세트의 선박종류 분포비율에 따라 데이터 증강기법 적용하여 선박의 분포비율을 균등하도록 선박데이터를 생성한 후 항포구 그룹단위로 부분학습을 수행한 후 글로벌 모델 가중치(2710)를 갱신하거나, 데이터세트가 일정치 보다 많은 선박에 대한 데이터세트의 수를 감소시켜 학습하거나,
    연합학습시 각 항포구별 학습모델의 가중치를 딥러닝 신뢰도를 기준으로 우선순위에 따라 일정 비율만큼의 모델을 선별하여 학습을 하여 모델가중치의 정확도를 높이는 것을 특징으로 하는 멀티 채널 인공지능망 기반의 선박 검출, 분류, 및 추적 시스템.
KR1020220121445A 2022-09-26 2022-09-26 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템 KR20240043171A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220121445A KR20240043171A (ko) 2022-09-26 2022-09-26 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220121445A KR20240043171A (ko) 2022-09-26 2022-09-26 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템

Publications (1)

Publication Number Publication Date
KR20240043171A true KR20240043171A (ko) 2024-04-03

Family

ID=90662657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220121445A KR20240043171A (ko) 2022-09-26 2022-09-26 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템

Country Status (1)

Country Link
KR (1) KR20240043171A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118982879A (zh) * 2024-10-21 2024-11-19 安徽金海迪尔信息技术有限责任公司 一种船舶过闸智能收费系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129893B1 (ko) 2017-12-11 2020-07-03 주하이 다 헝친 테크놀러지 디벨롭먼트 컴퍼니 리미티드 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
EP3696726A1 (en) 2017-12-11 2020-08-19 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene characteristics
KR102257006B1 (ko) 2020-02-25 2021-05-27 한국해양대학교 산학협력단 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129893B1 (ko) 2017-12-11 2020-07-03 주하이 다 헝친 테크놀러지 디벨롭먼트 컴퍼니 리미티드 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
EP3696726A1 (en) 2017-12-11 2020-08-19 Zhuhai Da Hengqin Technology Development Co., Ltd. Ship detection method and system based on multidimensional scene characteristics
KR102257006B1 (ko) 2020-02-25 2021-05-27 한국해양대학교 산학협력단 딥러닝을 이용한 선박 충돌 방지 자율회피 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118982879A (zh) * 2024-10-21 2024-11-19 安徽金海迪尔信息技术有限责任公司 一种船舶过闸智能收费系统及其方法

Similar Documents

Publication Publication Date Title
US11734560B2 (en) Systems and methods for automatic estimation of object characteristics from digital images
US11900668B2 (en) System and method for identifying an object in water
US20220245792A1 (en) Systems and methods for image quality detection
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
Nassar et al. A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
ES2908944A2 (es) Un metodo y sistema implementados por ordenador para detectar objetos pequenos en una imagen usando redes neuronales convolucionales
CN109379564A (zh) 一种燃气管道无人机巡检装置及巡检方法
KR20200017601A (ko) 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
WO2008123907A1 (en) Automatic camera calibration and geo-registration using objects that provide positional information
KR102053906B1 (ko) 지리공간정보를 이용하는 실시간 감독 학습 방법 및 시스템
CN110619276A (zh) 基于无人机移动监控的异常及暴力检测系统和方法
CN102867417A (zh) 一种出租车防伪系统及方法
Bloisi et al. Camera based target recognition for maritime awareness
Al-Sheary et al. Crowd monitoring system using unmanned aerial vehicle (UAV)
CN114299457A (zh) 积水深度检测方法及装置
CN115439745A (zh) 一种面向船舶图像特征的航标搭载式监视系统及方法
CN113705502A (zh) 一种融合目标检测和目标跟踪的船舶目标行为理解系统
KR20240043171A (ko) 멀티 채널 인공지능망 기반의 선박 검출, 분류 및 추적 시스템
Qiao et al. Early wildfire detection and distance estimation using aerial visible-infrared images
Riz et al. The MONET dataset: Multimodal drone thermal dataset recorded in rural scenarios
Lin et al. A multi-target detection framework for multirotor UAV
CN107885231A (zh) 一种基于可见光图像识别的无人机捕获方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application
PG1501 Laying open of application