KR102369229B1

KR102369229B1 - 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법

Info

Publication number: KR102369229B1
Application number: KR1020210123930A
Authority: KR
Inventors: 조영중; 고현준; 김광현; 장민기; 김성기; 백지완
Original assignee: 주식회사 시티랩스; 주식회사 넥스트케이
Priority date: 2021-09-16
Filing date: 2021-09-16
Publication date: 2022-03-03

Abstract

본 발명은 지하공동구 내의 CCTV가 촬영하는 영상데이터와 레일로봇에 설치된 각종 환경센서가 수집하는 센서데이터 및 레일로봇이 촬영하는 영상데이터를 인공지능으로 분석하여 출입자 인가 여부 확인, 작업자의 쓰러짐 검출, 시설물 누수검출, 불꽃 및 연기검출 및 기타 이상상황감지를 통해 실시간 위험예측 및 조기대응 안전관리 서비스를 제공할 수 있는 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법에 관한 것이다.
본 발명에 의하면, 지하공동구내 CCTV, 레일로봇의 영상정보 및 센서 정보를 기반으로 최적의 인공지능 딥러닝 알고리즘을 적용하고 AI데이터 학습을 통해 정확도 높은 위험예측 서비스 및 조기대응 안전관리 서비스를 제공하며, 지하공동구 인가자/비인가자를 자동으로 식별하고, 쓰러짐 등의 이상 상황 발생 시 즉시 감지·대응이 가능한 모니터링 체계를 구축하여 보안을 강화하고 인명피해를 최소화 할 수 있다.

Description

지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법{RISK PREDICTION SYSTEM AND RISK PREDICTION METHOD BASED ON A RAIL ROBOT SPECIALIZED IN AN UNDERGROUND TUNNEL}

본 발명은 영상 및 각종 센서데이터를 인공지능으로 분석하여 지하공동구 내의 위험을 예측하고 안전관리 업무를 지원할 수 있도록 하는 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법에 관한 것이다.

지하공동구는 전력, 통신, 수도, 난방 등 기반시설을 도시의 지하에 공동으로 설치하여 운영하는 국가중요시설 및 국가보안시설이며 지하공동구 재난사고 발생 시 전력·통신·금융·주거 등 사회적 기능 마비는 물론 막대한 재산피해가 발생한다.

전기와 통신, 가스, 수도, 하수관 등 생활에 필요한 지하매설물이 잔뜩 깔려있는 지하 시설인 공동구는 근무자가 매일 2인 1조 순찰을 기본으로 운영되고 있다. 그러나 공동구 내에서 발생하는 설비고장 또는 화재 등을 모니터링 할 수 있는 시스템을 갖추고 있지 못하며, 공동구 내의 안전사고와 관련된 정보 및 상황을 정확하게 파악하기 위해서는 순찰 인력 또는 업무 담당자가 직접 현장으로 이동하여 육안으로 확인해야 하고, 수 km 이상 길이의 터널이 미로처럼 연결돼 재난이 발생해도 위치를 빠르게 파악하기 어려울 뿐만 아니라, 소방관 진입도 어려워 사고가 발생하면 많은 피해가 발생한다.

종래의 현장의 업무특성에 따라 노동집약적 육안점검에 의한 관리방법에서 인공지능을 통해 수집한 영상데이터 등을 활용하여 시스템 중심의 과학적 관리체계로 전환이 필요하며, 증대되는 안전 수요에 대한 선제적 대응을 위해 인공지능위험예측 서비스를 통해 재난 위험요인을 사전에 제거하여 안전 관리 체계를 사전예방체계로 전환해야 할 필요가 있다.

등록특허 제10-2219809호

본 발명은 지하공동구 내의 CCTV가 촬영하는 영상데이터와 레일로봇에 설치된 각종 환경센서가 수집하는 센서데이터 및 레일로봇이 촬영하는 영상데이터를 인공지능으로 분석하여 출입자 인가 여부 확인, 작업자의 쓰러짐 검출, 시설물 누수검출, 불꽃 및 연기검출 및 기타 이상상황감지를 통해 실시간 위험예측 및 조기대응 안전관리 서비스를 제공할 수 있는 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여, 지하공동구에 설치된 고정형 감시카메라가 송출하는 영상과 지하공동구의 레일을 따라 이동하는 레일로봇이 송출하는 영상 및 환경센서 데이터를 딥러닝 기반의 학습모델로 분석하여 위치별, 시설별, 환경정보별 정확도 높은 위험예측정보를 실시간으로 제공하는 지하공동구 특화 레일로봇 기반 위험예측시스템이 제공된다.

지하공동구 특화 레일로봇 기반 위험예측시스템은, 지하공동구에 설치된 레일을 따라 이동하며 카메라와 복수 개의 환경센서가 설치된 레일로봇; 지하공동구에 설치된 고정형 감시카메라; 상기 레일로봇과 고정형 감시카메라가 촬영하여 전송한 영상 이미지를 수신하여 실시간으로 전송하는 영상수집부; 상기 영상수집부가 전송한 영상 이미지를 디코딩 및 전처리 하는 영상처리부; 상기 레일로봇이 측정하여 전송한 복수 개의 센서 데이터와 측정 위치정보를 수신하여 실시간으로 전송하고, 레일로봇을 제어하는 로봇제어부; 상기 영상처리부가 전처리 한 영상 이미지와 로봇제어부가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진으로 학습하는 공동구데이터학습부; 상기 영상수집부가 전송한 영상 이미지와 로봇제어부가 전송한 센서 데이터를 상기 공동구데이터학습부가 학습한 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단하는 공동구상황진단부; 및 상기 공동구상황진단부의 진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출하는 공동구상황제공부를 포함한다.

구체적으로, 상기 공동구데이터학습부는 영상 이미지에서 객체까지의 거리 측정, 검출된 객체의 크기, 폭, 넓이를 추정하여 객체를 검출하는 객체검출모듈; 검출된 객체의 궤적을 예측하여 객체를 추적하는 객체추적모듈; 추적된 객체의 검출, 쓰러짐을 검출하는 이상이벤트검출모듈; 및 상기 객체추적모듈이 추적한 객체에 부착된 아루코 마커를 인식하여 인가자 및 비인가자 여부를 판단하는 마커검출모듈로 구성되는 딥러닝 기반의 객체 검출 및 추적 학습엔진을 포함하도록 구성될 수 있다.

상기 공동구데이터학습부는 영상 이미지에서 누수를 검출하기 위해 인공지능 기반의 이미지 세그멘테이션 컨볼루션 신경망(DeepLab V3+) 또는 Mask R-CNN을 사용하도록 구성될 수 있다.

상기 영상처리부는 레일로봇에서 수신되는 영상 프레임을 디코딩 후 딥러닝 기반의 특징맵 추출엔진을 이용하여 각 프레임 이미지에서 특징점을 추출하고, 각 프레임 이미지의 특징점들 중 같은 특징점을 매칭하고 매칭된 특징점의 이동성을 계산하여 이동 방향 반대 방향 및 크기 만큼 특징점을 이동하는 영상 흔들림 보정모듈을 포함하도록 구성될 수 있다.

상기 레일로봇은 순찰 중 출입자를 검출하면, 상기 로봇제어부의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송하고, 상기 공동구상황진단부는 레일로봇이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부를 확인한 후 상기 로봇제어부를 통해 레일로봇이 다시 순찰을 진행하도록 구성할 수 있다.

여기서, 상기 공동구데이터학습부는 딥러닝 기반의 객체 검출 및 추적 학습엔진을 이용하여 레일로봇이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇이 이동하도록 상기 로봇제어부를 통해 제어하고, 얼굴인식이 가능한 일정 거리 이내에서 레일로봇이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인하도록 구성할 수 있다.

상기 공동구데이터학습부는 지하공동구 구역별로 수집된 복수 개의 센서 데이터를 One-Class SVM 기반의 센서 위험예측 학습엔진에 적용하여 지하공동구의 환경 위험상황을 학습하거나, LSTM(Long Short-term Memory) 기반의 센서 위험예측 학습엔진에 적용하여 지하공동구의 환경 위험상황을 학습하도록 구성할 수 있다.

한편, 과제를 해결하기 위하여 지하공동구 특화 레일로봇 기반 위험예측방법은, 지하공동구에 설치된 레일을 따라 이동하며 카메라와 복수 개의 환경센서가 설치된 레일로봇이 영상을 촬영하고, 복수 개의 센서 데이터를 측정하여 실시간으로 전송하는 단계; 지하공동구에 설치된 고정형 감시카메라가 영상을 촬영하여 실시간으로 전송하는 단계; 레일로봇에서 수신되는 영상 이미지를 딥러닝 기반의 특징맵 추출엔진을 이용하여 실시간 영상 흔들림을 보정하는 단계; 레일로봇과 고정형 감시카메라가 전송한 영상 이미지와 로봇제어부가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진으로 학습하는 단계; 레일로봇과 고정형 감시카메라가 전송한 영상 이미지와 레일로봇이 전송한 센서 데이터를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단하는 단계; 및 진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출하는 단계를 포함한다.

상기 레일로봇이 영상을 촬영하여 실시간으로 전송하는 단계는, 레일로봇은 순찰 중 출입자를 검출하면, 서버의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송하고, 상기 진단하는 단계는, 레일로봇이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부를 확인한 후 레일로봇이 다시 순찰을 진행하도록 구성할 수 있다.

구체적으로, 상기 학습하는 단계는, 딥러닝 기반의 객체 검출 및 추적 학습엔진을 이용하여 레일로봇이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇이 이동하도록 제어하고, 상기 진단하는 단계는, 얼굴인식이 가능한 일정 거리 이내에서 레일로봇이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인하도록 구성할 수 있다.

본 발명에 따른 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법에 의하면, 지하공동구 내부의 위험예측(화재, 누수, 안전사고, 보행자 쓰러짐), 비인가자 출입여부 확인 등과 같은 지하공동구 순찰업무와 시설물 모니터링을 레일로봇과 인공지능 기술을 이용하여 해결함으로써 지하공동구 시설관리 전문 인력 부족의 문제를 해결할 수 있고, 작업자가 수행하기 힘든 업무를 대체하거나 보완이 가능하여 작업자의 안전성을 확보할 수 있고 위험시설에 대한 실시간 모니터링 및 신속한 대응이 가능하다.

본 발명에 의하면, 지하공동구 인가자/비인가자를 자동으로 식별하고, 쓰러짐 등의 이상 상황 발생 시 즉시 감지·대응 가능한 모니터링 체계를 구축하여 보안을 강화하고, 인명피해를 최소화 할 수 있다.

도 1은 본 발명에 따른 지하공동구 특화 레일로봇 기반 위험예측시스템 구성도이다.
도 2는 인공지능 분석 서버에 포함되는 영상처리부의 두 가지 기능도이다.
도 3은 영상처리부에 포함되는 영상흔들림보정모듈의 작업 순서도이다.
도 4는 인공지능 분석 서버에 포함되는 딥러닝 기반의 학습엔진을 구성하는 다양한 학습엔진의 기능도이다.
도 5는 객체 검출 및 추적 학습엔진의 구체적인 기능도이다.
도 6은 딥러닝 기반의 학습엔진이 영상을 분류하고 영상을 이미지로 변환 후 어노테이션 과정을 통해 학습데이터로 가공하는 과정을 나타내는 예시도이다.
도 7은 고정형 감시카메라와 레일로봇으로 촬영한 출입자의 안면 영상을 딥러닝 기반의 얼굴 검출 및 인식 학습엔진에 적용하여 인가자 여부를 판단하는 시스템 화면을 나타낸 예시도이다.
도 8은 레일로봇으로 촬영한 지하공동구 보행자의 영상을 객체 검출 및 추적 학습엔진에 적용하여 보행자를 검출 및 추적하고, 보행자에 부착된 아루코 마커(Aruco marker)를 인식하여 인가자 여부를 판단하는 시스템 화면을 나타낸 예시도이다.
도 9는 레일로봇이 지하공동구를 순찰 중에 출입자를 발견한 경우 출입자의 얼굴을 인증하는 시나리오를 나타낸 예시도이다.
도 10은 레일로봇으로 촬영한 지하공동구 영상을 객체 검출 및 추적 학습엔진에 적용하여 다양한 종류의 이상이벤트를 검출하는 시스템 화면을 나타낸 예시도이다.
도 11은 레일로봇으로 촬영한 지하공동구의 누수 영상을 누수 검출 학습엔진에 적용하여 누수 영역을 검출하는 과정을 나타낸 흐름도이다.
도 12는 레일로봇이 지하공동구 구역별로 측정한 환경 센서 데이터를 센서 위험예측 학습엔진에 적용하여 지하공동구의 환경 위험상황을 진단하는 과정을 나타낸 예시도이다.
도 13은 본 발명에 따른 지하공동구 특화 레일로봇 기반 위험예측방법이 수행되는 과정을 나타낸 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.

또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시 예에 대하여 설명한다.

도 1을 참고하면, 본 발명에 따른 지하공동구 특화 레일로봇 기반 위험예측시스템은 레일로봇(100), 감시카메라(200), 영상수집부(300), 로봇제어부(400), 인공지능 분석 서버(500)를 포함하여 구성된다. 인공지능 분석 서버(500)는 영상처리부(510), 딥러닝 기반의 학습엔진(530)을 탑재한 공동구데이터학습부(520), 공동구상황진단부(590) 및 공동구상황제공부(600)를 포함한다.

복수 개의 레일로봇(100)이 지하공동구에 설치된 레일을 따라 이동하면서 현장 상황을 자동으로 탐지한다. 레일로봇(100)의 전력은 레일로부터 공급받고, 데이터 송수신은 전력선통신(PLC)을 이용하거나 무선으로도 가능하다. 레일로봇(100)에는 카메라와 환경 데이터 측정을 위한 다양한 센서가 구비된다. 여기서 환경 데이터 측정을 위한 다양한 센서는 온도, 습도, 산소, 일산화탄소, 이산화탄소, 이산화질소, 황화수소, VOC(휘발성 유기화합물), 미세먼지 등이 해당된다. 지하공동구에는 여러 대의 레일로봇(100)이 순찰하기 때문에 각 레일로봇(100)은 서로 망을 구성하여 통신을 수행할 수 있다.

고정형 감시카메라(CCTV, 200)는 지하공동구의 출입구와 중요 시설물이 있는 현장에 설치된다. 고정형 감시카메라(200)와 레일로봇(100)에 장착된 카메라는 출입자 검출, 쓰러짐 검지, 화재/연기 검출, 누수 등 다양한 영상을 촬영하여 송출한다.

영상수집부(300)는 레일로봇(100)과 고정형 감시카메라(200)가 촬영하여 전송한 영상 이미지를 수신하여 인공지능 분석 서버(500)에 실시간으로 전송한다. 영상수집부(300)는 NVR(Network Video Recorder)을 사용하며 다수의 카메라에서 전송되는 영상으로 실시간 관제와 저장 및 관리기능을 가지고 있다.

로봇제어부(400)는 레일로봇(100)이 측정하여 전송한 복수 개의 센서 데이터와 측정 위치정보를 수신하여 인공지능 분석 서버(500)에 실시간으로 전송하고, 레일로봇(100)을 제어한다. 센서를 이용하여 측정한 환경 데이터와 해당 환경 데이터가 측정된 위치 정보를 같이 전송하여 서버에서 확인이 가능하게 한다. 로봇제어부(400)는 레일로봇(100)에서 데이터를 수신하여 서버(500)에 전송하는 것 뿐만 아니라 서버(500)로부터 제어정보를 수신하여 각 레일로봇(100)의 움직임을 제어할 수도 있다.

영상처리부(510)는 영상수집부(300)가 전송한 영상 이미지를 수신하여 디코딩 및 전처리하는 기능을 수행한다. 도 2를 참고하면, 영상처리부(510)는 영상 이미지의 일반적인 가공 및 전처리를 수행하는 영상처리부(510a)와 본 발명의 특화된 기능인 실시간 영상 흔들림 보정을 통해 이미지 안정화 기능을 수행하는 영상처리부(510b)의 두 가지를 가지고 있다. 레일로봇(100)에서 수신되는 영상 이미지는 이미지 안정화 기능을 포함하는 영상처리부(510b)에서 전처리하는 것이 바람직할 것이다.

영상처리부(510a)는 레일로봇(100)과 감시카메라(200)가 송출하는 영상 이미지를 수신하는 영상수신모듈(511)과 디코딩을 수행하는 영상디코딩모듈(512) 그리고 전처리를 수행하는 영상전처리모듈(513)로 구성된다. 실시간 영상 흔들림 보정을 통해 이미지 안정화 기능을 수행하는 영상처리부(510b)는 영상수신모듈(511)과 영상디코딩모듈(512)을 동일하게 포함하며, 전처리 기능을 위해 영상흔들림보정모듈(513)을 포함한다.

도 3을 참고하면, 영상 흔들림 보정모듈(513)은 움직이는 이미지의 각 프레임을 이전 프레임과 비교해 얼마나 이동했는지 파악하고, 움직임과 반대 방향으로 이미지를 이동해 흔들림을 보정한다. 영상 흔들림 보정모듈(513)이 특징점을 이용하여 흔들림을 보정하는 과정은 다음과 같다.

레일로봇(100)에서 수신되는 영상 프레임을 디코딩 후 ① 딥러닝 기반의 특징맵 추출엔진을 이용하여 각 프레임 이미지에서 특징점을 추출하고, ② 각 프레임 이미지의 특징점들 중 같은 특징점을 매칭하고, ③ 매칭된 특징점의 이동성을 계산하여 ④ 이동 방향 반대 방향 및 크기 만큼 특징점을 이동시킨다.

각 특징들의 이동 크기와 방향은 이전 프레임과 비교하면 알 수 있다. 흔들림 영상의 현재 프레임과 이전 프레임의 간의 특징점 비교 및 매칭 과정에서 발생되는 특징점 이동을 딥러닝을 활용하여 이동 방향 및 크기를 추출하여 좀 더 정밀하고 빠른 흔들림 보정을 할 수 있다. 본 발명은 CNN(Convolutional Neural Network)을 통해 특징점을 추출할 수 있다.

공동구데이터학습부(520)는 영상처리부(510)가 전처리 한 영상 이미지와 로봇제어부(400)가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진(530)으로 학습한다. 딥러닝 기반의 학습엔진(530)은 각 이벤트 상황(보행자, 쓰러짐, 화재·연기, 얼굴인식, 누수 등)에 맞게 다양한 학습엔진으로 구성된다. 공동구데이터학습부(520)는 영상수집부(300)에서 수신되는 영상을 분류하고, 이미지로 변환 후 어노테이션(Annotation) 과정을 통해 학습데이터로 가공한다. 도 6을 참고하면, (A) 출입자 얼굴인식 학습데이터 가공 프로세스, (B) 보행자 검출, 쓰러짐 학습데이터 가공 프로세스, (C) 화재 및 연기 검지 학습데이터 가공 프로세스에서 볼 수 있듯이 공동구데이터학습부(520)는 수신되는 각 영상 이미지를 분류하여 이상이벤트 상황에 맞게 별도의 학습데이터를 구축하는 모델을 가지고 있다.

도 4를 참고하면, 딥러닝 기반의 학습엔진(530)은 객체 검출 및 추적 학습엔진(540), 얼굴 검출 및 인식 학습엔진(550), 누수 검출 학습엔진(560), 센서 위험예측 학습엔진(570), 화재 및 연기 검출 학습엔진(580)을 가지고 있다. 본 발명은 검출의 정확성을 높이기 얼굴 이미지 데이터, 보행자 검출 데이터, 쓰러짐 데이터, 화재/연기 데이터, 누수 데이터 등을 수개월 동안 지속적으로 수집 및 가공하여 학습하였다. 수집기간(7개월 기준) 동안 레일로봇(100)과 감시카메라(200)가 수집하는 영상 데이터는 연간 4,572,288,000장이 예상된다.

수집량 산식 : 수집 데이터(1초당 20fps) x 14대(카메라) x 60초 x 60분 x 24시간 x 210일 x 목표가동률(90%) = 4,572,288,000장

도 5를 참고하면, 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)은 영상 이미지에서 객체까지의 거리 측정, 검출된 객체의 크기, 폭, 넓이를 추정하여 객체를 검출하는 객체검출모듈(541), 검출된 객체의 궤적을 예측하여 객체를 추적하는 객체추적모듈(542), 추적된 객체의 검출, 쓰러짐을 검출하는 이상이벤트검출모듈(543) 및 객체추적모듈(542)이 추적한 객체에 부착된 아루코 마커(Aruco marker)를 인식하여 인가자 및 비인가자 여부를 판단하는 마커검출모듈(544)로 구성된다. 객체 검출 및 추적 학습엔진(540)은 Yolo v4 알고리즘을 사용하여 객체를 검출 및 추적한다.

마커검출모듈(544)은 추적한 객체의 영상 이미지로부터 마커 이미지를 추출할 수 있다. 여기서, 마커는 아루코마커를 사용하는 것이 바람직하나, QR(Quick Response) 코드를 사용할 수도 있다. 이외에도, 영상처리를 통하여 인식할 수 있는 것이면 어떠한 것도 마커로 활용 가능하다.

아루코마커의 경우, OpenCV의 Aruco 모듈 등 소프트웨어를 이용하여 식별점의 좌표정보를 추출할 수 있으며, 추출한 식별점들을 이용하여 각각의 마커이미지를 정확하게 식별하는 것이 가능하다. 따라서, 마커검출모듈(544)을 통해 인가자/비인가자 여부를 정확하게 판단할 수 있다.

도 8을 참고하면, 객체 검출 및 추적 학습엔진(540)은 Yolo v4 알고리즘을 사용하여 지하공동구의 보행자를 검출 및 추적하고, 보행자에 부착된 아루코 마커를 인식하여 인가자 및 비인가자 여부를 판단하고 알람을 발생시킨다.

딥러닝 기반의 얼굴 검출 및 인식 학습엔진(550)은 먼저 얼굴을 검출하고, 검출된 얼굴에서 특징을 검출하며, 얼굴을 인식하는 과정을 거쳐서 출입자를 인증한다. 얼굴 검출 및 얼굴 랜드마크 검출에 Yolo v4 알고리즘을 사용하고, 얼굴인식에 Deep-Face DNN을 사용한다. 도 7을 참고하면, 얼굴 검출 및 인식 학습엔진(550)은 Yolo v4 알고리즘을 사용하여 지하공동구 출입자의 얼굴 및 특징점을 검출하여 얼굴을 인식하고, 인가자 및 비인가자 여부를 판단하여 알람을 발생시킨다. 화재 및 연기 검출 학습엔진(580)도 Yolo v4 알고리즘을 사용하여 동일한 방식으로 화재 및 연기를 검출한다.

도 10을 참고하면, Yolo v4 알고리즘을 사용하여 작업자 검출, 인가자/비인가자 여부 검출, 쓰러짐 검출, 누수 검출, 화재/연기 검출 등을 수행한 예를 나타내고 있다. 누수 검출 학습엔진(560) 및 센서 위험예측 학습엔진(570)의 차별화되는 특징에 대해서는 아래에서 다시 설명하겠다. 보행자 검출, 쓰러짐 검출, 얼굴 인식, 화재/연기 검출은 레일로봇(100)과 감시카메라(200)가 촬영하여 전송한 avi 데이터를 txt 파일(json 포맷)로 가공하여 학습하며, 레일로봇(100)이 촬영하여 전송한 열화상 영상 avi 데이터를 txt 파일(json 포맷)로 가공 및 학습하여 화재 연기 검출에 사용할 수 있다.

상기에서 검토한 바와 같이 본 발명의 딥러닝 기반의 학습엔진(530)은 객체를 검출하고, 검출된 객체를 추적하며, 추적 결과를 객체의 이상행동 여부를 판단한다. 도 10의 예에서 보는 바와 같이 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)은 객체를 검출하고 추적하여 다양한 이상행동을 분석할 수 있다.

본 실시예에서는, 지하공동구의 다양한 조명 및 환경 조건에서의 객체 검출을 위해 CNN(Convolution Neural Network) 기반의 객체 검출 방법을 사용한다. YOLOv4는 YOLOv3이후에 나온 딥러닝의 정확도를 개선하는 다양한 방법을 적용해 YOLO의 성능을 극대화 하였다. 본 실시예의 객체검출모듈(541) 및 객체추적모듈(542)에서 사용한 객체 검출 네트워크는 YOLOv4 네트워크를 기반으로 한다.

누수 검출 학습엔진(560)은 영상 이미지에서 누수를 검출하기 위해 인공지능 기반의 이미지 세그멘테이션 컨볼루션 신경망(DeepLab V3+) 또는 Mask R-CNN을 사용한다.

누수 검출 학습엔진(560)에서 사용하는 인공지능 네트워크는 이미지 세그멘터이션을 위한 딥 컨볼루션 아키텍쳐인 DeepLab V3+으로 이미지 인식 분야에서 널리 쓰이는 네트워크인 합성곱신경망(CNN)을 기반으로 한다. 본 발명에서는 누수 검출 유사데이터를 약 5,000장 수집하였으며, 지하공동구 누수 데이터를 약 45,000장 수집하여 테스트하였다. 수집된 유사데이터 및 누수데이터를 업로드 및 Object 별 클래스를 정의하고, 이미지 세그멘테이션을 통해 학습데이터를 가공 및 학습데이터 파일을 생성하여 DeepLab V3+ 기반 누수 검출 학습엔진(560)을 학습하였다.

또한 누수 검출 학습엔진(560)은 Mask R-CNN(Regions with Convolution Neural Networks)을 사용하여 영상 이미지에서 누수를 검출할 수 있다. 외부 환경으로 인해 발생하는 예측할 수 없는 이미지 왜곡 및 다양한 형태의 노즐 특성을 이미지 처리 및 신호 처리 방식으로 해결하기에는 한계가 있다. 이를 극복하기 위해서 이미지 왜곡에도 강인하고 다양한 노즐 형태를 인식하여 그에 맞는 특징을 추출할 수 있는 딥러닝 학습 방법을 적용한다. 딥러닝 학습 방법 중 컨볼루션 신경망(CNN, Convolution Neural Networks)은 다양한 이미지를 분류하는데 탁월한 성능을 보이며, 컴퓨터 비전 분야에 많이 활용되고 있다.

도 11을 참고하면, 누수 검출 학습엔진(560)은 레일로봇(100)이 촬영하여 전송한 지하공동구 영상 이미지를 Backbone architecture 에 입력시킨다. Backbone architecture를 통과하여 추출한 특징맵을 RPN(Region Proposal Network)에 적용하여 후보 영역을 추출한다. 추출한 후보 영역 중 스코어가 가장 높은 영역만을 선택하여 누수 영역을 검출하고 세그멘테이션(segmentation)한다.

공동구데이터학습부(520)는 지하공동구 구역별로 수집된 복수 개의 센서 데이터를 One-Class SVM 기반의 센서 위험예측 학습엔진(570)에 적용하여 지하공동구의 환경 위험상황을 학습하거나, LSTM(Long Short-term Memory) 기반의 센서 위험예측 학습엔진(570)에 적용하여 지하공동구의 환경 위험상황을 학습한다.

One-Class SVM 기반의 센서 위험예측 학습엔진(570)은 정상 데이터와 비정상 데이터가 분류되어 있지 않을 경우 이상치(anomaly)를 탐지하는 기능을 수행한다. 정상 sample만 이용해서 모델을 학습하기도 하며, 이 방법론의 핵심 아이디어는 정상 sample들을 둘러싸는 discriminative boundary를 설정하고, 이 boundary를 최대한 좁혀 boundary 밖에 있는 sample들을 모두 비정상으로 간주한다. 이를 통해 시설이나 장비의 상태를 진단하여 고장이 발생하기 전에 정비를 통해 가동 중단이나 사고 발생을 예방할 수 있다.

도 12를 참고하면, 본 발명은 지하공동구 840개 지점의 해당 센서 데이터(온도, 습도, 산소, 일산화탄소, 이산화탄소, 이산화질소, 황화수소, VOC(휘발성 유기화합물), 미세먼지)를 1시간 단위로 확보하고, One-Class SVM 기반의 센서 위험예측 학습엔진(570)에 적용하여 학습하였다.

One-Class SVM 기반의 센서 위험예측 학습엔진(570)은 입력 데이터에 이상치를 생성하고 학습을 진행하여 이상치를 탐지하고 정상(normal)과 비정상(Abnormal)을 분류한다. One-Class SVM 기반의 센서 위험예측 학습엔진(570)은 입력 데이터에서 일정한 범위를 데이터 셋으로 사용하며 여기에 무작위로 생성된 이상치를 추가하여 학습용 데이터 셋으로 생성한다. One-Class SVM 기반의 센서 위험예측 학습엔진(570)으로 학습 결과 1시간 후 환경 위험을 예측하여 경고할 수 있다.

LSTM(Long Short-term Memory) 기반의 센서 위험예측 학습엔진(570)은 각 센서 값(온도, 습도, 산소, 이산화탄소, 일산화탄소, 이산화질소, 황화수소, VOC(휘발성 유기화합물), 미세먼지) 측정을 시계열의 데이터를 활용하여 위험예측을 한다. 시계열의 예측 시스템을 많이 사용되는 순환신경망(RNN)은 과거의 이벤트가 미래의 결과에 영향을 줄 수 있는 순환 구조(directed cycle)를 가지고 있다. LSTM(Long Short-term Memory) 기반의 센서 위험예측 학습엔진(570)은 공동구 환경 센서 데이터 기반 시계열 분석을 통해 지하 공동구의 환경 위험을 예측할 수 있다.

도 9를 참고하면, ① 레일로봇(100)은 순찰 중 출입자를 검출하면, ② 로봇제어부(400)의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 ③ 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송한다. ④ 공동구상황진단부(590)는 레일로봇(100)이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진(530)에 적용하여 출입자의 인가 여부를 확인한 후 로봇제어부(400)를 통해 레일로봇(100)이 다시 순찰을 진행하도록 한다.

구체적으로, 공동구데이터학습부(520)는 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)을 이용하여 레일로봇(100)이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇(100)이 이동하도록 로봇제어부(400)를 통해 제어하고, 얼굴인식이 가능한 일정 거리 이내에서 레일로봇(100)이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진(550)에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인할 수 있다.

도 9의 예에서 자동순찰 모드 중 약 4m의 거리에서 출입자를 검출하였다. 출입자 검출에는 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)을 이용한다. 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)의 구체적인 구성에 대해서는 상기에서 자세하게 설명하였다. 그리고 언굴 인식이 가능한 약 3m 이내의 거리로 이동하여 정지상태에서 출입자의 얼굴을 촬영한 영상을 전송하며, 출입자의 얼굴 인식에는 딥러닝 기반의 얼굴 검출 및 인식 학습엔진(550)을 이용한다. 딥러닝 기반의 얼굴 검출 및 인식 학습엔진(550)의 구체적인 구성에 대해서는 상기에서 자세하게 설명하였다.

공동구상황진단부(590)는 영상수집부(300)가 전송한 영상 이미지와 로봇제어부(400)가 전송한 센서 데이터를 공동구데이터학습부(520)가 학습한 딥러닝 기반의 학습엔진(530)에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단한다. 딥러닝 기반의 학습엔진(530)의 종류와 기능에 대해서는 상기에서 자세하게 설명하였으며, 각 상황에 맞는 딥러닝 기반의 학습엔진(530)을 적용한다.

공동구상황제공부(600)는 공동구상황진단부(590)의 진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출한다. 즉, 출입자 인가/비인가 여부와 지하공동구의 쓰러짐, 화재/연기, 누수, 환경 센서 데이터가 측정한 환경 위험상황을 위험징후 단계별(정상, 경고, 위험 등)로 구분하여 실시간으로 관리자에게 제공한다.

도 13을 참고하면, 지하공동구 특화 레일로봇 기반 위험예측방법은 다음과 같은 단계로 수행된다. 상기에서 설명한 내용과 중복되는 부분에 대해서는 자세한 설명을 생략하였다.

먼저, 지하공동구에 설치된 레일을 따라 이동하며 카메라와 복수 개의 환경센서가 설치된 레일로봇(100)이 영상을 촬영하고, 복수 개의 센서 데이터를 측정하여 실시간으로 전송한다(S610).

지하공동구에 설치된 고정형 감시카메라(200)가 영상을 촬영하여 실시간으로 전송한다(S620).

레일로봇(100)에서 수신되는 영상 이미지를 딥러닝 기반의 특징맵 추출엔진을 이용하여 실시간 영상 흔들림을 보정한다(S630).

공동구데이터학습부(520)는 레일로봇(100)과 고정형 감시카메라(200)가 전송한 영상 이미지와 로봇제어부(400)가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진으로 학습한다(S640).

공동구상황진단부(590)는 레일로봇(100)과 고정형 감시카메라(200)가 전송한 영상 이미지와 레일로봇(100)이 전송한 센서 데이터를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단한다(S650).

공동구상황제공부(600)는 진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출한다(S660).

레일로봇이 영상을 촬영하여 실시간으로 전송하는 단계(S610)는, 레일로봇은 순찰 중 출입자를 검출하면, 서버의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송하고, 진단하는 단계(S650)는, 레일로봇이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부를 확인한 후 레일로봇이 다시 순찰을 진행하도록 한다.

또한, 학습하는 단계(S640)는, 딥러닝 기반의 객체 검출 및 추적 학습엔진(540)을 이용하여 레일로봇(100)이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇이 이동하도록 제어하고, 진단하는 단계(S650)는, 얼굴인식이 가능한 일정 거리 이내에서 레일로봇(100)이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진(550)에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인한다.

이상 본 발명에 대해서 설명하였다. 본 발명은 지하공동구내 CCTV, 레일로봇의 영상정보 및 센서 정보를 기반으로 최적의 인공지능 딥러닝 알고리즘을 적용하고 AI데이터 학습을 통해 정확도 높은 위험예측 서비스 및 조기대응 안전관리 서비스 개발하였으며, 지하공동구 인가자/비인가자를 자동으로 식별하고, 쓰러짐 등의 이상 상황 발생 시 즉시 감지·대응 가능한 모니터링 체계를 구축하여 보안강화 및 인명피해 최소화 할 수 있다는데 큰 의미가 있다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시할 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100...레일로봇
200...감시카메라
300...영상수집부
400...로봇제어부
500...인공지능 분석 서버
510...영상처리부
511...영상수신모듈
512...영상디코딩모듈
513...영상전처리모듈, 영상흔들림보정모듈
520...공동구데이터학습부
530...딥러닝 기반의 학습엔진
540...객체 검출 및 추적 학습엔진
541...객체검출모듈
542...객체추적모듈
543...이상이벤트검출모듈
544...마커검출모듈
550...얼굴 검출 및 인식 학습엔진
560...누수 검출 엔진
570...센서 위험예측 엔진
580...화재 및 연기 검출 학습엔진
590...공동구상황진단부
600...공동구상황제공부

Claims

지하공동구에 설치된 레일을 따라 이동하며 카메라와 복수 개의 환경센서가 설치된 레일로봇;
지하공동구에 설치된 고정형 감시카메라;
상기 레일로봇과 고정형 감시카메라가 촬영하여 전송한 영상 이미지를 수신하여 실시간으로 전송하는 영상수집부;
상기 영상수집부가 전송한 영상 이미지를 디코딩 및 전처리 하는 영상처리부;
상기 레일로봇이 측정하여 전송한 복수 개의 센서 데이터와 측정 위치정보를 수신하여 실시간으로 전송하고, 레일로봇을 제어하는 로봇제어부;
상기 영상처리부가 전처리 한 영상 이미지와 로봇제어부가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진으로 학습하는 공동구데이터학습부;
상기 영상수집부가 전송한 영상 이미지와 로봇제어부가 전송한 센서 데이터를 상기 공동구데이터학습부가 학습한 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단하는 공동구상황진단부; 및
상기 공동구상황진단부의 진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출하는 공동구상황제공부를 포함하되,
상기 레일로봇은 순찰 중 출입자를 검출하면, 상기 로봇제어부의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송하고,
상기 공동구상황진단부는 레일로봇이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부를 확인한 후 상기 로봇제어부를 통해 레일로봇이 다시 순찰을 진행하도록 하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
제1항에 있어서,
상기 공동구데이터학습부는
영상 이미지에서 객체까지의 거리 측정, 검출된 객체의 크기, 폭, 넓이를 추정하여 객체를 검출하는 객체검출모듈;
검출된 객체의 궤적을 예측하여 객체를 추적하는 객체추적모듈;
추적된 객체의 검출, 쓰러짐을 검출하는 이상이벤트검출모듈; 및
상기 객체추적모듈이 추적한 객체에 부착된 아루코 마커(Aruco marker)를 인식하여 인가자 및 비인가자 여부를 판단하는 마커검출모듈로 구성되는 딥러닝 기반의 객체 검출 및 추적 학습엔진을 포함하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
제1항에 있어서,
상기 공동구데이터학습부는 영상 이미지에서 누수를 검출하기 위해 인공지능 기반의 이미지 세그멘테이션 컨볼루션 신경망(DeepLab V3+) 또는 Mask R-CNN을 사용하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
제1항에 있어서,
상기 영상처리부는
레일로봇에서 수신되는 영상 프레임을 디코딩 후 딥러닝 기반의 특징맵 추출엔진을 이용하여 각 프레임 이미지에서 특징점을 추출하고, 각 프레임 이미지의 특징점들 중 같은 특징점을 매칭하고 매칭된 특징점의 이동성을 계산하여 이동 방향 반대 방향 및 크기 만큼 특징점을 이동하는 영상 흔들림 보정모듈을 포함하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
삭제
제1항에 있어서,
상기 공동구데이터학습부는 딥러닝 기반의 객체 검출 및 추적 학습엔진을 이용하여 레일로봇이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇이 이동하도록 상기 로봇제어부를 통해 제어하고,
얼굴인식이 가능한 일정 거리 이내에서 레일로봇이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
제1항에 있어서,
상기 공동구데이터학습부는 지하공동구 구역별로 수집된 복수 개의 센서 데이터를 One-Class SVM 기반의 센서 위험예측 학습엔진에 적용하여 지하공동구의 환경 위험상황을 학습하거나, LSTM(Long Short-term Memory) 기반의 센서 위험예측 학습엔진에 적용하여 지하공동구의 환경 위험상황을 학습하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측시스템.
지하공동구에 설치된 레일을 따라 이동하며 카메라와 복수 개의 환경센서가 설치된 레일로봇이 영상을 촬영하고, 복수 개의 센서 데이터를 측정하여 실시간으로 전송하는 단계;
지하공동구에 설치된 고정형 감시카메라가 영상을 촬영하여 실시간으로 전송하는 단계;
레일로봇에서 수신되는 영상 이미지를 딥러닝 기반의 특징맵 추출엔진을 이용하여 실시간 영상 흔들림을 보정하는 단계;
레일로봇과 고정형 감시카메라가 전송한 영상 이미지와 로봇제어부가 전송한 복수 개의 센서 데이터를 데이터베이스에 저장하고, 딥러닝 기반의 학습엔진으로 학습하는 단계;
레일로봇과 고정형 감시카메라가 전송한 영상 이미지와 레일로봇이 전송한 센서 데이터를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부와 작업자 및 시설물의 위험상황을 실시간으로 진단하는 단계; 및
진단 내용을 토대로 출입자 인가 여부와 지하공동구의 위험상황을 파악하고 실시간으로 표출하는 단계를 포함하되,
상기 레일로봇이 영상을 촬영하여 실시간으로 전송하는 단계는,
레일로봇은 순찰 중 출입자를 검출하면, 서버의 제어를 통해 출입자의 얼굴인식이 가능한 일정 거리 이내로 이동한 후 정지상태에서 출입자의 얼굴을 촬영한 영상을 실시간으로 전송하고,
상기 진단하는 단계는,
레일로봇이 정지상태에서 촬영한 출입자의 얼굴 이미지를 딥러닝 기반의 학습엔진에 적용하여 출입자의 인가 여부를 확인한 후 레일로봇이 다시 순찰을 진행하도록 하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측방법.
삭제
제8항에 있어서,
상기 학습하는 단계는,
딥러닝 기반의 객체 검출 및 추적 학습엔진을 이용하여 레일로봇이 촬영한 실시간 영상 이미지에서 출입자를 검출하고, 검출된 출입자까지의 거리를 측정하여 출입자의 얼굴인식이 가능한 일정 거리 이내로 레일로봇이 이동하도록 제어하고,
상기 진단하는 단계는,
얼굴인식이 가능한 일정 거리 이내에서 레일로봇이 전송하는 출입자의 실시간 이미지를 딥러닝 기반의 얼굴 검출 및 인식 학습엔진에 적용하여 출입자의 얼굴을 검출 및 인식하여 출입자 인가 여부를 확인하는 것을 특징으로 하는 지하공동구 특화 레일로봇 기반 위험예측방법.