KR20210115245A

KR20210115245A - 디지털 트윈 기반 지능형 댐 안전 관리 시스템

Info

Publication number: KR20210115245A
Application number: KR1020200030739A
Authority: KR
Inventors: 이용
Original assignee: 이용
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2021-09-27
Also published as: KR102423561B1

Abstract

본 발명은 댐 안전 관리 시스템에 관한 것으로서, 보다 구체적으로는 댐 인프라 안전점검 및 시설관리의 기술 고도화를 통해 신속성, 정확성, 효율성 등을 대폭적으로 개선할 수 있는 디지털 트윈 기반 지능형 댐 안전 관리 시스템에 관한 것이다.
이를 위해 본 발명은, 시설물에 계측수단이 설치된 댐에 대해 드론 및 촬영수단 중 적어도 어느 하나 이상으로 촬영한 이미지에 기초하여 3D 댐 모델링을 구축하고, 3D 댐 모델링을 관리영역 단위별로 세분화하며, 3D 댐 모델링상에 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표시하기 위한 디지털 트윈 생성모듈과; 상기 관리영역 단위별로 일정 비행경로 정보가 저장되고 열화상 카메라가 장착된 드론이 촬영한 이미지를 3D 댐 모델링에 매핑하고, 매핑 전후 3D 댐 모델링을 비교 표출하면서 열화상 정사영상을 통해 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 매핑모듈과; 상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈;을 포함하는 것을 특징으로 한다.

Description

디지털 트윈 기반 지능형 댐 안전 관리 시스템{INTELLIGENT DAM MANAGEMENT SYSTEM BASED ON DIGITAL TWIN}

본 발명은 댐 안전 관리 시스템에 관한 것으로서, 보다 구체적으로는 댐 인프라 안전점검 및 시설관리의 기술 고도화를 통해 신속성, 정확성, 효율성 등을 대폭적으로 개선할 수 있는 디지털 트윈 기반 지능형 댐 안전 관리 시스템에 관한 것이다.

국내의 물 인프라는 세계적 수준으로 1967년 소양강댐을 시작으로 다목적댐·보 등 수자원 물인프라 시설(56개소)을 건설·관리하고 있으며 국가 산업발전의 핵심 인프라를 맏고 있다.

특히, 한국수자원공사는 용수공급 125억㎥(전체의 60%), 홍수조절 53억㎥(국가 전체의 95%) 담당하고 있으나, 전체 SOC 인프라 중 댐 및 저수지의 노후화율이 월등히 높은 상황이다.

최근 일련의 사고로 물 인프라 안전관리에 대한 국민적인 관심이 부상하고 있으며, 전 세계적으로도 물 인프라 노후화 및 기후변화로 인한 대형 댐 안전 사고가 빈발하고 있다.

그러나 위와 같이 재난으로까지 이어질 수 있는 댐의 안전관리가 매우 중차대한 이슈임에도 불구하고 현행 댐 관리의 문제점들로는 다음과 같은 것들이 있다.

- 기후변화, 지진발생 증가 등에 대한 기존 시설물 대응력 증대를 위한 구조·비구조적 대책 마련 필요

- 시설물 노후화, SOC 투자 감소, 4차 산업혁명 기술 등 첨단기술의 개발 및 적용요구 증가 등 시설물 안전·분야에 새로운 요구 대두

- 국내 SOC 관리 기업·기관에 비해 수자원 시설 유지관리 분야에서 4차 산업혁명 기술 등 최신기술 도입 미흡

- 2000년 이전 준공 댐의 도면, 축조, 물성, 계측정보 등 필수 정보의 전산화 미흡

- 점검 및 진단 자료는 종이 보고서 형태로 개별 보존 → 사용자 접근성 제한, 정보 검색에 상당한 시간과 경험을 수반함에 따라 경험자의 노하우에 의존

- 기존 유지관리 이력 분산 및 접근성 제한에 따라 체계적인 시설 및 보수보강 이력 관리필요

- 현재 댐 안전점검 자료들이 점검주체의 보고서 및 스캐닝된 전자문서 형태로 보존되어 사용자의 접근성이 제한되고 정확한 위치 파악에 상당한 시간과 경험을 수반하며 지식의 제공과 공유에 있어 경험자의 노하우에 의존

- 댐 시설물의 법정 안전 점검 및 진단업무는 대부분 접근 제약 지역 육안조사 위주로 진행됨에 따라 크고 작은 위험작업으로 분류되고 데이터의 정확성이 낮으며 노동력과 시간에 크게 의존

- 기존 엔지니어의 노하우 중심 안전관리로 신입·전입 직원의 업무 숙련화에 상당시간 소요

- 계측 데이터 분석은 단순 경시변화 제공으로 정보의 직관적 이해가 어렵고 계측 정보의 공학적 의미가 결여되어 분석에 상당 시간 소요

- 외부 변위계 등 주요 계측기 설치 위치 이외의 변형, 열화 현상 파악에 제한적임에 따라 입체적 변형 모니터링 필요

따라서 4차 산업혁명 기술을 적용하여 댐 인프라 안전점검 및 시설관리의 기술 고도화를 도모할 수 있는 방안 마련이 필요한 실정이다.

대한민국 등록특허공보 제10-0773393호 대한민국 공개특허공보 제10-2017-0074411호

본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 댐 인프라 안전점검 및 시설관리의 기술 고도화를 통해 신속성, 정확성, 효율성 등을 대폭적으로 개선할 수 있는 디지털 트윈 기반 지능형 댐 안전 관리 시스템을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명은, 시설물에 계측수단이 설치된 댐에 대해 드론 및 촬영수단 중 적어도 어느 하나 이상으로 촬영한 이미지에 기초하여 3D 댐 모델링을 구축하고, 3D 댐 모델링을 관리영역 단위별로 세분화하며, 3D 댐 모델링상에 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표시하기 위한 디지털 트윈 생성모듈과; 상기 관리영역 단위별로 일정 비행경로 정보가 저장되고 열화상 카메라가 장착된 드론이 촬영한 이미지를 3D 댐 모델링에 매핑하고, 매핑 전후 3D 댐 모델링을 비교 표출하면서 열화상 정사영상을 통해 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 매핑모듈과; 상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈;을 구비하는 것을 특징으로 한다.

여기서, 상기 드론은 종중복도 80% 이상 및 횡중복도 70% 이상으로 하여 촬영한 이미지가 격자 형태가 되도록 하거나, 동서방향 및 남북방향으로 비행하면서 촬영한 이미지가 중복되도록 하는 비행경로 정보를 저장하는 것을 특징으로 한다.

또한, 상기 계측수단은 IoT 기능을 구비하고, 상기 디지털 트윈 생성모듈은 계측수단으로부터 수신한 측정정보를 실시간으로 조회 가능하도록 3D 댐 모델링에 링크시키는 것을 특징으로 한다.

추가적으로, 상기 디지털 트윈 생성모듈은 댐에 대해 스캔한 2D 도면을 3D로 변환하여 3D 댐 모델링에 연계 가능하고, 3D 댐 모델링에 대해 일상점검을 위한 체크리스트를 설정하여 주기적으로 팝업시킬 수 있는 것을 특징으로 한다.

또한, 상기 디지털 트윈 생성모듈과 연동하여 3D 댐 모델링, 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표출 가능한 AR(Augmented Reality) 글래스를 더 포함하는 것을 특징으로 한다.

또한, 상기 3D 모델링 매핑모듈은 매핑 전후 3D 댐 모델링을 동기화시켜 경시 변화를 비교하여 표출 가능한 것을 특징으로 한다.

더욱이, 상기 콘크리트 균열 판별모듈은 콘크리트 균열 이미지에 대해 스케일은 동일하게 유지하면서 회전, 밝기 조절, 선명도 조절, 좌우반전 및 상하반전 중 적어도 어느 하나 이상의 방식에 따라 변형시키면서 그 변형된 복수개의 콘크리트 균열 이미지를 학습하여 콘크리트 균열을 판별하기 위한 학습 데이터를 강화시키며, 콘크리트 균열 이미지상의 노이즈를 제거한 다음으로 균열 길이 및 폭 중 적어도 어느 하나 이상을 추출하는 것을 특징으로 한다.

또한, 상기 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하기 위한 누수량 예측모듈을 더 포함하는 것을 특징으로 한다.

이상과 같은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템은 다음과 같은 효과를 나타낼 수 있다.

1. 디지털 트윈 기반 댐 시설관리 지능 정보화 플랫폼 구현으로 안전업무 분야의 기술혁신 도모

2. 드론 디지털 매핑 및 영상분석에 의한 입체적·직관적 댐 안전점검, 접근 제약지역 극복, 점검 효율성, 정확성 등의 현저한 개선 가능

3. 콘크리트 구조물 현실 모델링(Reality Modeling) 및 AI 딥러닝 자동 균열 검출로 점검·진단 시간·노동력 절감

4. 주요 계측 정보 시각화 및 데이터 분석 직관화로 빠른 의사결정 지원

5. AR(증강현실) 글래스를 활용한 3D 디지털 시설관리 및 댐 관리 현황 브리핑 가능

6. 전입, 신입 직원 댐 안전관리 업무의 디지털 트윈 모델을 활용한 교육훈련 가능

도 1은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템을 개략적으로 도시한 도면
도 2a 및 도 2b는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템에서 사용되는 드론의 비행 방향을 나타낸 도면
도 3은 AR 기능을 연계한 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 구조의 일례를 도시한 도면
도 4는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템에서 열화상 정사영상을 통해 댐의 백태 또는 누수를 확인하는 방식의 일례를 나타낸 사진
도 5는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 콘크리트 균열 판별모듈의 학습/분석 과정을 개략적으로 도시한 순서도
도 6은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 학습 강화를 위해 콘크리트 균열 판별모듈에 의해 콘크리트 균열 이미지를 변형시킨 사례를 나타낸 사진
도 7은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 콘크리트 균열 판별모듈에 적용되는 VGG Net 구조를 도시한 도면

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조로 하여 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템을 설명하기로 한다.

도 1은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템을 개략적으로 도시한 도면이다.

본 발명은 기본적으로 디지털 트윈 생성모듈, 3D 모델링 매핑모듈 및 콘크리트 균열 판별모듈을 포함하여 구성된다.

보다 구체적으로 본 발명은 시설물에 계측수단이 설치된 댐에 대해 드론, 촬영수단 등이 촬영한 이미지에 기초하여 3D 댐 모델링을 구축하고 3D 댐 모델링을 관리영역(예: 콘크리트 댐체, 여수로, 필댐체, 양안부) 단위별로 세분화하며 3D 댐 모델링상에 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표시하기 위한 디지털 트윈 생성모듈과, 관리영역 단위별로 일정 비행경로 정보가 저장되고 열화상 카메라가 장착된 드론이 촬영한 이미지를 3D 댐 모델링에 매핑하고 매핑 전후 3D 댐 모델링을 비교 표출하면서 열화상 정사영상을 통해 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 매핑모듈과, 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈을 포함하여 이루어진다.

상기 디지털 트윈 생성모듈은 우선적으로 콘크리트 댐체, 여수로, 필댐체, 양안부(좌안, 우안)와 같은 댐 시설물에 설치되는 온도 측정기, 강우량계, 수위 측정기, 누수량계, 간극수압계, 양압력계 등과 같은 계측수단으로부터 측정정보를 수신할 수 있고, 드론이 촬영한 이미지나 DSLR(Digital Single Lens Reflex) 카메라와 같은 촬영수단으로 촬영한 이미지를 연결하는 과정에서 중복되는 부분을 제외하면서 결합한 후 3D 댐 모델링으로 변환하도록 기능하게 된다.

도 2a 및 도 2b는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템에사 사용되는 드론의 비행 방향을 나타낸 도면이다.

도 2a 및 도 2b를 참조로 하면, 상기 드론은 일례로 4천만 화소 이상의 DSLR 미러리스 카메라를 장착하고 종중복도 80% 이상 및 횡중복도 70% 이상으로 하여 촬영한 이미지가 격자 형태로 겹쳐질 수 있도록 비행함으로써 그 촬영 이미지간 디스패리티(disparity) 부분만을 머징(merging)하는 과정을 통해 정밀한 3D 댐 모델링을 생성할 수 있게 되며, 고해상도 영상을 획득하기 위해 비행고도를 낮출 경우 중복도 부족 문제로 영상 접합이 어려울 수 있는 상황에서는 동서방향 및 남북방향으로 비행하면서 촬영한 이미지가 격자 형태보다 더욱 조밀하게 중복되도록 하는 비행경로 정보를 저장하게 된다.

참고로, 상기 3D 댐 모델링을 생성하는 다른 예로는 드론에 레이저 스캐너를 설치하여 비행 경로를 따라 댐에 레이저 빔을 주사하여 반사되는 빔의 방향 및 거리를 통해 댐 외형을 3차원 좌표상에 일정 간격으로 분포된 점들의 집합으로 나타낼 수 있는데, 댐 전체를 한 번에 스캐닝할 수는 없기 때문에 부분적으로 나누어 스캐닝한 정보를 하나의 좌표계로 합쳐 전체 또는 단위별 관리영역에 대한 3D 스캔 정보를 확보할 수 있고, 이러한 3D 스캔 정보의 Point Cloud 데이터를 3D 레퍼런스 데이터로 변환하여 전체적인 3D 댐 모델링을 생성할 수 있게 된다.

여기서, 상기 Point Cloud는 레이저 스캐너로부터 조밀하게 방출되어 대상체에서 반사되어 수신기로 돌아온 수많은 측점군들이 각각 x, y, z의 위치좌표를 갖게 됨에 따라 중심 좌표계를 기준으로 각 지점에 대한 공간의 거리를 표적표면에 대한 조밀한 샘플링을 통해 그에 해당하는 3차원 위치를 포함하는 수많은 측점, 즉 점군 형태로 제공되는 정보를 의미하며, 점군 데이터를 3차원 형태로 시각화하면 자유로운 시점 이동이 가능해지고 공간에 대한 측정 정보를 제공할 수 있게 된다.

상기 디지털 트윈 생성모듈은 실제 댐 관리영역과 일치시켜 이에 대응되는 영역을 3D 댐 모델링상에서 시각적으로 구분 가능하게 하고, 3D 댐 모델링상에 기본 제원, 유지관리/보수보강 이력, 위치 등과 같은 시설물 정보나 계측수단을 통해 측정되는 누수량, 간극수압, 양압력 등과 같은 측정정보를 계측수단 위치와 함께 육안으로 확인 가능하게 표시할 수 있으며, 이때 계측수단이 IoT(Internet of Thing) 기능을 갖도록 하여 계측수단으로부터 수신한 측정정보를 3D 댐 모델링에 링크시켜 그 모델링에서 실시간으로 조회 가능하게 할 수도 있다.

또한, 상기 디지털 트윈 생성모듈은 댐에 대해 스캔한 2D 도면을 3D로 변환하여 3D 댐 모델링에 연계시키거나 2D 도면 자체를 3D 댐 모델링에 링크시킬 수 있는데, 이는 촬영 이미지가 존재하지 않아 공백인 3D 댐 모델링 부분을 메꾸는데 사용하거나 3D 댐 모델링이 특정 부분에 대한 2D 도면을 확인 가능하게 하기 위함이며, 더욱이 시설물 정보, 계측수단의 측정정보, 2D 도면 등의 정보를 핫 스팟 방식에 따라 3D 댐 모델링에 연계시켜 그 스팟을 클릭하는 것만으로 간편하고 혼란스럽지 않게 관련 정보만이 노출되도록 할 수도 있을 것이다.

추가적으로, 상기 디지털 트윈 생성모듈은 3D 댐 모델링에 대해 일상점검을 위한 체크리스트를 설정하여 주기적으로 팝업시킬 수 있으며, 이러한 체크리스트의 일례로는 아래의 표 1과 같다.

구분	점검항목
일일점검	* 자동계측 시스템 및 CCTV 확인 - 중요 계측항목에 대하여 미계측중인 센서가 있는가? - 이상계측에 의하여 현장점검 또는 위기대응이 필요한가?(관심 → 주의 → 경계) - CCTV가 설치되어 있는 중용 구조물(댐체, 여수로, 취수탑)에 이상이 있는가?
주간점검	* 자동계측 시스템 및 CCTV 확인 - 중요 계측항목에 대하여 미계측중인 센서가 있는가? - 이상계측에 의하여 현장점검 또는 위기대응이 필요한가?(관심 → 주의 → 경계) - CCTV가 설치되어 있는 중용 구조물(댐체, 여수로, 취수탑)에 이상이 있는가?
	* 댐 마루 - 종방향 또는 횡방향 균열이 있는가? - 침하, 구멍 및 수평변위 현상이 있는가?
	* 하류사면 - 누수현상 또는 습윤현상이 있는가? - 기존 누수현상 또는 습윤지역에 변화가 있는가? - 누수, 습윤부에서 흙탕물이 발생하는가? - 구멍, 슬라이딩(붕락) 등 특이 변형이 있는가?
	* 상류사면 - 수위변동에 따른 침식 부위가 있는가? - 구멍, 슬라이딩(붕락) 등 특이 변형이 있는가? - 상류사면 인근 저수지에 소용돌이 현상이 있는가?
	* 양안부 및 하류지역 - 누수현상 또는 습윤현상이 있는가? - 기존 누수현상 또는 습윤지역에 변화가 있는가? - 구멍, 슬라이딩(붕락) 등 특이 변형이 있는가? - 하류하천 제방에 누수현상 또는 습윤현상이 있는가?

상술된 바와 같이 디지털 트윈 생성모듈이 팝업시키는 체크리스트를 통해 댐의 전반전인 점검업무가 원활하게 수행되도록 할 수 있으며, 항목별 선택 시 해당 항목에 기재된 센서, 구조물 등이 위치한 부분을 3D 댐 모델링상에 함께 표시하여 전입, 신입 직원들의 점검 업무에 도움을 줄 수도 있을 것이다.

도 3은 AR 기능을 연계한 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 구조의 일례를 도시한 도면이다.

본 발명은 디지털 트윈 생성모듈과 연동하여 3D 댐 모델링, 시설물 정보, 계측수단의 측정정보 등을 표출하기 위한 AR(Augmented Reality) 글래스를 더 포함함으로써 시각적/직관적 현장 관리 업무 지원 등 다양한 용도로 AR 글래스를 활용할 수 있으며, 도 2를 참조로 하면, 예를 들어 현장 점검/진단 시 본 발명을 통해 구축된 플랫폼에 의해 콘크리트 댐체, 여수로, 필댐체, 양안부 등 주요 시설물의 기본 제원, 유지관리, 보수보강 정보나 누수량계, 간극수압계, 양압력계 등 주요 계측수단에 대한 물리적 의미/안전 범위/위치정보 등이 AR 글래스에 표출되도록 할 수 있으며, 이에 대한 활용 방안의 일례로는 아래와 같은 것들이 있다.

ㅇ 댐 시설관리 업무 AR 글래스 브리핑

- 전체의 운영 방식을 시각화하여 전달함

- 드론 디지털 매핑에 따른 영상 전달 가능

- 주요 계측 정보를 MR(Mixed Reality)을 통한 3차원 가상 이미지로 전달 가능

- 주요 이벤트별 AR 구현 : 드론 매칭 계측 등 댐 안전관리 이벤트를 AR로 제작하며, 주요 기계설비 장치의 유지관리 시스템을 3D 로 시각화 가능

ㅇ 물 문화관 대국민 댐 홍보 디지털 모델 구현

- 디지털 트윈 모델 활용 실감형 대국민 댐 기능과 편익성 홍보 체계 구현

- 댐 안전관리 방식을 인터렉티브 이벤트로 쉽게 이해되도록 함

- 기존의 모형 전시물을 대체하여 방문객에게 홍보 효과를 극대화함

- 아바타 제작 및 브리핑 매칭 : 주요 이슈별 설명을 음성과 병행한 아바타를 통하여 전달력을 극대화함

도 4는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템에서 열화상 정사영상을 통해 댐의 백태 또는 누수를 확인하는 방식의 일례를 나타낸 사진이다.

상기 3D 모델링 매핑모듈은 디지털 트윈 생성모듈에서 3D 댐 모델링을 최초 생성한 이후로 드론이 촬영한 이미지나 인위적으로 촬영한 이미지를 수신하여 기존 3D 댐 모델링에 매핑시킨 다음 매핑 전후 3D 댐 모델링을 동기화시켜 경시 변화를 비교하여 표출하게 됨으로써 시설물 변형/변화를 분석할 수 있도록 하면서 드론이 열화상 카메라로 촬영한 이미지가 반영됨에 따라 3D 댐 모델링상에서 열화상 정사영상을 확인할 수 있게 되어 결과적으로 댐의 누수 또는 백태를 확인할 수 있도록 한다.

도 5는 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 콘크리트 균열 판별모듈의 학습/분석 과정을 개략적으로 도시한 순서도이고, 도 6은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 학습 강화를 위해 콘크리트 균열 판별모듈에 의해 콘크리트 균열 이미지를 변형시킨 사례를 나타낸 사진이며, 도 7은 본 발명에 따른 디지털 트윈 기반 지능형 댐 안전 관리 시스템 중 콘크리트 균열 판별모듈에 적용되는 VGG Net 구조를 도시한 도면이다.

상기 콘크리트 균열 판별모듈은 딥러닝 방식에 따라 콘크리트 균열을 판별하도록 기능하는데, 추가적으로 콘크리트 균열 이미지에 대해 스케일은 동일하게 유지하면서 회전(예: 45/90/135/180/225/270/315도 회전), 밝기 조절, 선명도 조절, 좌우반전, 상하반전 등의 방식에 따라 변형시키면서 그 변형된 복수개의 콘크리트 균열 이미지를 학습하여 콘크리트 균열을 판별하기 위한 학습 데이터를 강화시키게 되고, 이에 의해 적은 수의 학습 데이터, 즉 콘크리트 균열 이미지를 가지고도 많은 양의 학습 데이터를 취득할 수 있기 때문에 학습 모델의 정확도를 향상시킬 수 있다.

일례로, 인공지능 신경망의 일종인 VGG(Visual Geometry Group) Net로 댐 이미지에서 콘크리트 균열 여부를 확인할 수 있는데, 이러한 VGG Net는 기존 CNN(Convolutional Neutral Net)이 갖는 1개의 합성곱 필터와 1개의 풀링 구조 대비 n개의 합성곱 필터와 1개의 풀링 구조를 가짐에 따라 CNN보다 더욱 높은 정확성을 가지게 된다.

또한, 상기 콘크리트 균열 판별모듈은 콘크리트 균열 이미지상의 노이즈를 제거한 다음으로 균열 길이, 폭을 추출할 수 있으며, 균열 이미지상의 노이즈를 제거하기 위한 과정의 일례로는 우선적으로 블러링을 통해 부드럽게 이미지를 처리한 후 그레이스케일링 및 이진화 과정을 거쳐 흑백 상태에서 균열 부분만 뚜렷하게 식별되도록 이미지를 가공하는 것을 들 수 있다.

상기 콘크리트 균열 판별모듈은 촬영 이미지를 기준으로 균열 이미지를 추출하여 증강(이미지 회전, 변환 등)시키고, 균열 판별 모델 학습을 수행하면서 모델 파라미터 조정 후 재학습과 학습 모델 검증을 거쳐 최종적인 균열 판별 모델을 생성할 수 있게 되며, 좀 더 상세하게는 도 5를 참조로 하면 학습 과정으로 댐 촬영 이미지 라벨링, 댐 촬영 이미지 증강, 균열 판별 인공지능 학습 및 균열 판별 모델 생성이 진행되고, 분석 과정으로 댐 촬영 이미지 로딩, 균열 판별, 균열 세부 진단 및 균열 진단 결과 저장이 진행될 수 있다.

한편으로, 본 발명은 상기 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하기 위한 누수량 예측모듈을 더 포함할 수 있는데, 이는 계측수단에 의해 수신 가능한 강우량, 수위, 누수량, 간극수압, 양압력 등과 같은 누수량과 연관된 데이터를 지속적으로 학습하여 누수량을 예측하게 되며, 이에 따라 댐 안전 데이터 추출 과정을 지능화시켜 해당 예측 정보의 시각화/직관화까지 용이하게 수행되도록 할 수 있다.

상기 누수량 예측모듈은 계측수단으로부터 수집한 측정정보로부터 누수와 관련된 데이터를 데이터 마이닝에 의해 선별 후 학습에 적합하도록 전처리 과정을 수행하고, 누수량 예측 모델의 정확도 향상을 위한 성능 비교를 통해 학습 모델을 선정한 다음 매개변수 조정을 통해 그 학습 모델을 최적화하며, 성능 검증을 위해 실측값과 예측값의 정확도를 비교하여 최종적인 누수량 예측 모델을 설정함으로써 인공 지능에 의한 누수량 예측을 가능하게 한다.

참고로, 상기 누수량 예측모듈에 적용 가능한 기계학습 알고리즘으로는 다음과 같은 것들이 있다.

1. 서포트 백터 머신

- 기본적으로 이진 분류 문제를 해결하기 위해 설계됨

- 선형 분류와 더불어 비선형 분류에서도 사용 가능

- 학습된 각 모드마다 이진 분류를 통해 유효 고유진동수의 추출이 가능함

2. 나이브 베이즈 분류

- 특성들 사이의 독립을 가정하는 베이즈 정리를 적용항 확률 분류기의 일종

- 서포트 벡터 머신과 마찬가지로 각 모드마다 학습된 고유 진동수를 이용함

- 이진 분류를 통해 고유 진동수를 추출함

3. 의사결정트리

- 입력 변수에 대해 목표 변수의 값을 에측하는 모델 생성을 목표로 함

- 출력 변수가 연속형인 회귀모형에서는 예측력이 저하되는 단점이 있음

4. 인공신경망

- 함수 추론, 회귀 분석, 시계열 예측, 근사 모델링

- 패턴 인식, 순서 인식, 순차 결정 같은 분류 알고리즘

이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.

Claims

시설물에 계측수단이 설치된 댐에 대해 드론 및 촬영수단 중 적어도 어느 하나 이상으로 촬영한 이미지에 기초하여 3D 댐 모델링을 구축하고, 3D 댐 모델링을 관리영역 단위별로 세분화하며, 3D 댐 모델링상에 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표시하기 위한 디지털 트윈 생성모듈과;
상기 관리영역 단위별로 일정 비행경로 정보가 저장되고 열화상 카메라가 장착된 드론이 촬영한 이미지를 3D 댐 모델링에 매핑하고, 매핑 전후 3D 댐 모델링을 비교 표출하면서 열화상 정사영상을 통해 댐의 누수 또는 백태 변화를 확인 가능하도록 하는 3D 모델링 매핑모듈과;
상기 드론이 촬영한 댐 콘크리트 구조물 이미지를 딥러닝 방식으로 분석하여 콘크리트 균열을 판별하기 위한 콘크리트 균열 판별모듈;을 포함하는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 드론은 종중복도 80% 이상 및 횡중복도 70% 이상으로 하여 촬영한 이미지가 격자 형태가 되도록 하거나, 동서방향 및 남북방향으로 비행하면서 촬영한 이미지가 중복되도록 하는 비행경로 정보를 저장하는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 계측수단은 IoT 기능을 구비하고,
상기 디지털 트윈 생성모듈은 계측수단으로부터 수신한 측정정보를 실시간으로 조회 가능하도록 3D 댐 모델링에 링크시키는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 디지털 트윈 생성모듈은 댐에 대해 스캔한 2D 도면을 3D로 변환하여 3D 댐 모델링에 연계 가능한 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 디지털 트윈 생성모듈은 3D 댐 모델링에 대해 일상점검을 위한 체크리스트를 설정하여 주기적으로 팝업시킬 수 있는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 디지털 트윈 생성모듈과 연동하여 3D 댐 모델링, 시설물 정보 및 계측수단의 측정정보 중 적어도 어느 하나 이상을 표출 가능한 AR(Augmented Reality) 글래스를 더 포함하는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 3D 모델링 매핑모듈은 매핑 전후 3D 댐 모델링을 동기화시켜 경시 변화를 비교하여 표출 가능한 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 콘크리트 균열 판별모듈은 콘크리트 균열 이미지에 대해 스케일은 동일하게 유지하면서 회전, 밝기 조절, 선명도 조절, 좌우반전 및 상하반전 중 적어도 어느 하나 이상의 방식에 따라 변형시키면서 그 변형된 복수개의 콘크리트 균열 이미지를 학습하여 콘크리트 균열을 판별하기 위한 학습 데이터를 강화시키는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 콘크리트 균열 판별모듈은 콘크리트 균열 이미지상의 노이즈를 제거한 다음으로 균열 길이 및 폭 중 적어도 어느 하나 이상을 추출하는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.
청구항 1에 있어서,
상기 계측수단의 측정정보 중 누수량과 관계된 데이터를 추출하여 기계학습에 의해 누수량을 예측하기 위한 누수량 예측모듈을 더 포함하는 것을 특징으로 하는 디지털 트윈 기반 지능형 댐 안전 관리 시스템.