KR102541215B1 - Vr 영상을 이용한 수중생물 모니터링 장치와 방법 - Google Patents

Abstract

VR 영상을 이용한 수중 모니터링 장치와 방법이 개시된다. 본 발명은 VR 영상을 이용한 수중 모니터링 장치에 있어서, 수중로봇에 부착된 추적 장치로부터 수중생물 각각의 식별 정보 및 위치 정보를 획득하는 위치 획득부와 회전 가능하게 설치된 카메라에 의해 촬영된 수중 영상 및 상기 카메라의 회전각에 관한 제어 정보를 획득하는 제어부와 상기 위치 정보 및 상기 제어 정보에 기초한 영상 분석을 통해 상기 수중 영상에 나타난 개체에 대응되는 식별정보를 추출하는 분석부와 수중 데이터베이스로부터 상기 추출된 식별 정보에 대응되는 수중생물에 관한 정보를 검색하는 관리부 및 상기 수중 영상에 상기 검색된 영상 정보를 나타낸 가상현실 영상을 생성하고, 상기 가상현실 영상을 사용자 단말에 제공하는 출력부를 포함하는 것을 특징으로 하는 것이다.

Description

VR 영상을 이용한 수중생물 모니터링 장치와 방법{Underwater living thing monitoring device and method using Virtual Reality}

본 발명은 VR 영상을 이용한 수중생물 모니터링 장치와 방법에 관한 것으로 더욱 자세하게는, VR(Virtual Reality: 가상현실)을 활용하여 개인이 수중 환경을 현장감 있게 관측 가능하도록 하는 VR 영상을 이용한 수중생물 모니터링 장치와 방법에 관한 것이다. 본 성과물은 부산광역시의 대학혁신연구단지조성사업 중 “동명대학교 대학혁신연구단지조성사업”지원으로 수행되었다.

최근 들어 육상 자원의 고갈, 인구의 밀집화 등을 해결하기 위하여 해양에 대한 개발이 가속화되면서 해양 플랜트, 해상 교량, 해저 터널 등의 수중 건축물들이 건설되고 있다. 이에 따라, 수중에 서식하고 있는 수중생물을 환경을 모니터링(monitoring)하기 위한 기술의 수요도 증가하고 있다.

이러한 수중 모니터링을 위하여, 종래에는 잠수부가 잠수하여 수중생물의 영상을 직접 촬영 및 직접 검사하는 방식이 활용되었다.

하지만, 이러한 종래의 수중영상을 촬영한 모니터링 방식은 인명 사고의 위험이 따를 뿐 아니라, 잠수부, 기상, 바다 등의 상태에 영향을 받으므로, 영상 취득 시간 및 범위에 한계가 있었다. 또한, 수중 환경 분석 전문가가 현장감이 떨어지는 2차원 영상을 토대로 수중 환경을 분석해야 하므로, 그 분석 결과의 정확성이 떨어질 수 밖에 없는 문제점이 있었다.

더 나아가, 종래의 수중생물 등의 모니터링 방식은 수중 환경 분석 전문가가 현장감이 떨어지는 2차원 영상을 토대로 수중 환경을 분석해야 하므로, 그 분석 결과의 정확성이 떨어질 수 밖에 없는 문제점이 있었다.

따라서, 수중 환경에서의 위치 인식 등에 필요한 정보를 얻기 위하여, 수중의 영상 정보를 활용한 수중 물체의 탐색을 비롯하여, 가상 현실을 이용한 수중생물의 모니터링에 관한 다양한 연구가 수행되어 왔다.

상기 가상현실(VR: Virtual Reality)이란, 원하는 특정한 환경이나 상황을 컴퓨터 등과 같은 정보처리장치로 만들어, 사용자가 마치 실제 주변 상황 및 환경과 상호 작용을 하고 있는 것처럼 느끼도록 만드는 인간과 컴퓨터 사이의 인터페이스를 말한다. 사용자가 가상현실을 통해 실재감을 느끼기 위해서는 시각, 청각, 촉각 등 사용자의 오감을 통해 획득되는 정보를 제공해야 한다. 따라서, 상기 가상현실(VR)을 응용한 모니터링 방법도 점점 부각되어 가고 있다.

이러한 기능을 갖고 있는 가상현실을 이용하여, 수중 환경으로 인한 직, 간접적인 영향을 최대한 줄이기 위하여 종래 기술보다 현재의 수중생물을 모니터링할수 있는 수중환경 상태를 더욱 정확히 파악하는 것이 가능하고, 분석 데이터를 쉽게 이해하고 결과를 효율적으로 활용할수 있는 감지 시스템 또는 모니터링 시스템 및 방법의 개발이 요구되어 왔다.

대한민국 특허공개 제2012-0075899호 대한민국 특허공개 제2018-0137916호 대한민국 특허공개 제2020-0009852호

따라서, 본 발명은 카메라 등과 같은 영상 촬영 장치를 이용하여 다수의 수중 영상을 사용자 단말을 통한 영상 정보에 의거하여 VR(가상현실) 영상으로 수중생물을 모니터링 시도하려는 당사자에게 제공하여 줌으로써, 가상현실을 도입하여 수중의 현실감을 더욱 증대시킬 수 있는 VR 영상을 이용한 수중생물의 모니터링 장치와 방법을 제공하는데 그 목적이 있다.

이러한 문제를 해결하기 위하여 본 발명은 VR 영상을 이용한 수중 모니터링 장치에 있어서, 수중로봇에 부착된 추적 장치로부터 수중생물 각각의 식별 정보 및 위치 정보를 획득하는 위치 획득부와 회전 가능하게 설치된 카메라에 의해 촬영된 수중 영상 및 상기 카메라의 회전각에 관한 제어 정보를 획득하는 제어부와 상기 위치 정보 및 상기 제어 정보에 기초한 영상 분석을 통해 상기 수중 영상에 나타난 개체에 대응되는 식별정보를 추출하는 분석부와 수중 데이터베이스로부터 상기 추출된 식별 정보에 대응되는 수중생물에 관한 정보를 검색하는 관리부와 상기 수중 데이터베이스에 내장된 생물종 DB를 탐색하여, 상기 수중생물의 생물종을 특정하는 분석자료를 생성하는 수중생물 정보처리부 및 상기 수중 영상에 상기 검색된 영상 정보를 나타낸 가상현실 영상을 생성하고, 상기 가상현실 영상을 사용자 단말에 제공하는 출력부를 포함하는 것을 특징으로 하는 것이다.

또한, 상기 수중 데이터베이스는 수중생물의 종 및 속 정보들이 저장된 생물종 DB, 모니터링하려는 영역에 해당하는 수중의 지도를 제공하는 지도 DB, 특정된 생물종들의 분석 자료가 맵핑된 수중 지도 정보가 저장되는 수중 관측 DB, 외부의 기상 서버로부터 수집한 기상 자료 및 수중 관측 자료들이 저장되는 기상 DB 포함하는 것을 특징으로 하는 것이다.

또한, 상기 제어부는 사용자의 조작에 따른 방향으로 상기 카메라가 회전하도록 제어 신호를 상기 카메라에 전송하는 것을 특징으로 하는 것이다.

그리고, 상기 관리부는 사용자가 자체적으로 상기 사용자단말로부터 입력받은 상기 수중생물의 정보를 추가 입력하거나 기입력된 상기 수중생물의 정보를 수정하는 것을 특징으로 하는 것을 특징으로 하는 것이다.

따라서, 본 발명의 VR 영상을 이용한 수중생물 모니터링 장치와 방법은 카메라 등과 같은 영상 촬영 장치를 이용하여 획득한 수중영상을 VR영상으로 생성시켜서 직접 사용자에게 제공하여 수중생물을 모니터링을 하도록 하여 수중영상에 대한 현장감을 증대시킬 수 있으며, 이에 따라 VR영상을 토대로 수중 환경을 분석할 경우에 있어 분석의 정확성과 그 신뢰성을 높일 수 있는 효과가 있는 것이다.

도 1은 본 발명의 실시예에 따른 가상현실을 이용한 수중생물 모니터링 장치의 개략적인 구성도.
도 2는 은 본 발명의 실시예에 따른 가상현실을 이용한 수중생물 모니터링 장치의 블록도.
도 3은 본 발명의 실시예에 따라 원격으로 카메라의 방향을 조작하기 위하여 사용자 단말에 제공되는 인터페이스를 도시한 도면.
도 4는 본 발명의 실시예에 따라 사용자 단말에 제공되는 가상현실 영상을 도시한 도면.
도 5는 수중 데이터베이스와 수중생물 정보처리부와의 관계와 구성요소를 나타내는 블록도.
도 6은 수중 데이터베이스와 수중생물 정보 처리부를 이용하여 수중생물을 분석하는 절차를 나타내는 흐름도.
도 7은 고장진단시스템의 블록도.
도 8은 고장진단시스템의 동작을 도시한 절차 흐름도.

이하에서는 본 발명의 양호한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것에 불과하므로, 본 발명을 한정하려는 의도가 아니며 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현도 의미하는 것임을 미리 밝혀두고자 한다.

먼저, 본 명세서에 등장하는 용어인 가상현실(VR)에 대한 설명을 하기로 한다. 상기 가상현실(VR)이란 특수한 장치를 사용하여 인간의 시각, 청각 등 감각을 통하여 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사 체험하도록 하는 유저 인터페이스 기술이다. 이와 같이 만들어진 가상 환경이나 상황 등은 사용자의 오감(五感)을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게함으로, 현실과 상상의 경계를 자유롭게 드나들게 한다. 또한, 사용자는 가상현실에 단순한 몰입 뿐만 아니라 실재하는 디바이스를 이용해 조작이나 명령을 가하는 등 가상현실 내에 구현된 것들과의 상호 작용이 가능한 것이다.

도 1은 본 발명의 실시예에 따른 가상현실을 이용한 수중 모니터링 장치의 개략적인 구성도이고, 도 2는 은 본 발명의 실시예에 따른 가상현실을 이용한 수중 모니터링 장치의 블록도이고, 도 3은 본 발명의 실시예에 따라 원격으로 카메라의 방향을 조작하기 위하여 사용자 단말에 제공되는 인터페이스를 도시한 도면이고, 도 4는 본 발명의 실시예에 따라 사용자 단말에 제공되는 가상현실 영상을 도시한 도면이고, 도 5는 수중 데이터베이스와 수중생물 정보처리부와의 관계와 구성요소를 나타내는 블록도이고, 도 6은 수중 데이터베이스와 수중생물 정보처리부를 이용하여 수중생물을 분석하는 절차를 나타내는 흐름도이고,도 7은 고장진단시스템의 블록도이고, 도 8은 고장진단시스템의 동작을 도시한 절차 흐름도이다.

도 1은 본 발명의 실시예에 따른 가상현실을 이용한 수중생물 모니터링 장치의 개략적인 구성도이다.

도시된 바와 같이, 추적 장치(10) 및 카메라(20)는 수중 내에서 수중 로봇(2)에 부착되며, GPS 위성(도시는 생략)과 통신하는 상기 추적 장치(10)는 좌표가 부착되며, 위치 정보를 수신하는 기능을 가진다. 수중을 촬영하는 카메라(20)는 수중생물에 대한 영상정보 획득을 위한 사진촬영 앱이 탑재될 수 있다.

또한, 상기 추적 장치(10)는 수중에서 발견하는 수중 물체를 다른 수중물체와 식별하기 위한 고유의 식별 정보를 저장할 수 있다.

상기 추적 장치(10)는 위치 획득부(110; 도 2 참조)와 연결되며, 상기 위치 획득부(110)의 요청에 따라 수중생물 각각의 위치정보 및 식별 정보를 위치 획득부(110)로 전송할 수 있다.

카메라(20)는 일반적으로 사용되는 영상을 획득하는 장치를 의미하며, 수중 내의 수중 내부의 현상이나 상태를 촬영할 수 있도록 하고, 회전 가능하게 설치될 수 있다. 더 나아가, 상기 카메라(20)는 카메라에 국한되지 아니하고 소나 스캐너일수도 있다. 또한, 카메라(20)는 수중을 이동하는 대상물(도시는 생략)에 설치될수도 있으며, 수중 로봇(2)에 부착하는 수중 소형 카메라 형태로 수중 사진 또는 영상을 촬영한다.

또한, 상기 카메라(20)가 수중 내 특정 방향을 향하고 있을 때, 이 때의 카메라(30)의 회전각에 대한 제어 정보가 카메라(20)에 저장될 수 있다. 상기 카메라(20)는 제어부(120)와 연결된다.

다시 도 1을 설명하면, 일정한 영역의 수중 공간을 수중로봇(2)에 부착되어 있는 카메라(20)를 통한 영상을 확보하여 이를 제어부(120)로 전송하고, 수중생물 정보처리부(50)를 통하여 상기 영역에 서식하는 수중생물의 정보를 취득하여 제어부(120)에 전달하면, 상기 제어부(120)는 이를 사용자 단말(40)에 전달하여 이를 디스플레이하게 하고, 출력부(150)에 제어신호를 인가한다. 상기 출력부(150)는 상기 수중 영상에 검색된 영상정보를 나타낸 가상현실 영상을 생성하여, 상기 가상현실 영상을 역시 사용자 단말(40)에 전달한다.

도 2는 은 본 발명의 실시예에 따른 가상현실을 이용한 수중생물 모니터링 장치(100)의 전체적인 블록도이다.

도시된 대로, 본 발명에 의한 가상현실(Virtual Reality) 기반의 수중 모니터링 장치(100)는 위치 획득부(110), 제어부(120), 분석부(130), 관리부(140) 및 출력부(150)를 포함할 수 있다. 또한, 본 발명의 가상현실(VR)을 이용한 수중생물 모니터링 장치(100)는 수중로봇(2)의 추적장치(10)와 카메라(20) 그리고, 수중 데이터베이스(30) 및 사용자 단말(40)과 연동할 수 있다.

수중 데이터베이스(30)는 수중에서 서식하는 수중생물 각각에 대한 정보를 수집 및 저장하는 기능을 수행한다. 구체적으로, 상기 정보는 수중생물의 상태, 수중생물의 종류, 수중생물의 특징 등의 정보를 포함할 수 있다. 도시된 대로, 상기 수중 데이터베이스(30)는 관리부(140)와도 연결된다.

사용자 단말(40)은 사용자의 키 조작에 따라 네트워크(미도시)를 경유하여 각종 데이터, 제어신호 등을 송수신할 수 있고, 데이터의 처리 결과를 디스플레이할 수 있는 디바이스를 의미하며 일반 PC, 랩톱(Laptop), 태블릿 PC(Tablet PC), 스마트 폰, 개인 휴대용 정보 단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기 중 어느 하나인데, 이에 한정되지는 않는다.

또한, 상기 사용자 단말(40)은 본 발명의 출력부(150)와도 연결되어 출력부(150)로부터 수신한 가상현실(VR) 영상을 디스플레이하는 역할도 한다.

이하에서는, 본 발명의 가상현실(VR)을 이용한 수중생물 모니터링 장치(100)의 주요 구성에 대한 설명을 하기로 한다.

본 발명의 위치 획득부(110)는 수중 내 수중 로봇(2)에 부착된 추적장치(10)와 연동하며, 상기 추적장치(10)로부터 수중의 영상 정보 및 위치 정보를 획득하는 기능을 수행한다. 예를 들어, 수중 내에서 추적장치(10)는 식별번호(예: 'A00010') 및 GPS 위성(도시는 생략)과 통신하여 수신한 좌표 정보를 저장할 수 있다.

이처럼, 본 발명의 위치 획득부(110)는 수중 로봇(2)에 부착된 추적장치(10)로부터 해당 수중생물들의 상태와 같은 생태 정보와 위치 정보를 수신할 수 있다.

이와 같이, 수중 로봇(2) 등에 부착하여 수중의 상태를 외부로 전달하는 방식으로서, 실시간 외부 모니터링을 할 수 있도록 하는 것이다.

더 나아가, 본 발명의 제어부(120)는 카메라(20)와 연결, 연동하여 상기 카메라(20)에 의하여 촬영된 수중 영상을 수신할 수 있다.

또한, 전술한 바와 같이, 카메라(20)는 수중 내에서 회전 가능하게 설치되며 이때, 카메라(20)의 회전각에 대한 제어 정보를 저장할 수 있는데, 제어부(120)는 카메라(20)로부터 수중 영상 및 상기 카메라(20)의 회전각에 관한 제어 정보를 수신하여 후술할 출력부(150)에 제어신호를 인가한다.

본 발명의 실시예에 따르면, 제어부(120)는 카메라(20)가 임의의 방향을 향하도록 회전 방향을 제어하는 제어신호를 카메라(20)에 전송하여 영상을 사용자 단말(40)로 전송할 수 있다. 또한, 도 3에 나타났듯이 사용자는 사용자 단말(40)에 표시된 영상 화면(미도시) 상에서 상, 하, 좌, 우 중 어느 하나의 방향을 터치하는 등의 방법으로 영상의 이동 방향 및 크기를 조작할 수 있다.

제어부(120)는 사용자 단말(40)에 의하여 입력된 입력 신호에 기초하여 사용자의 조작에 따른 방향으로 카메라(20)가 회전할 수 있도록 카메라(20)에 제어 신호를 전송할 수 있다.

또 다른 예에서, 제어부(120)는 카메라(20)가 특정한 방향을 향하도록 카메라(20)의 방향을 제어하는 제어신호를 전송할 수 있다.

전술한 바와 같이, 위치 획득부(110)는 수중 내 다수의 식물 등과 같은 개체의 각각에 대응되는 식별 정보 및 위치 정보를 주기적으로 획득한다.

따라서, 사용자가 사용자 단말(40)을 통해 임의의 수중식물을 선택한 경우 해당 개체의 식별정보와 연관된 위치정보에 기초하여 카메라(20)의 회전각을 제어하는 제어신호를 전송할 수 있다.

이처럼, 본 발명의 제어부(120)는 사용자 단말(40)에 표시되는 영상을 통한 터치 입력 등 사용자의 조작으로 직접 카메라(20)의 방향을 조절하거나, 수중식물의 특정 개체의 식별 정보 및 이에 연관된 위치 정보에 근거하여 카메라(20)가 특정 개체를 비출 수 있도록 제어하는 제어 신호를 전송할 수 있다.

분석부(130)는 영상 분석을 통해 카메라(20)에 의하여 촬영된 수중 영상에 나타난 수중생물 등을 식별, 분석하는 기능을 수행한다.

보다 상세하게는, 상기 분석부(130)는 제어부(120)에 의해 획득된 카메라(20)의 회전각에 관한 제어정보를 수신하며, 이러한 제어정보 및 위치 획득부(110)에 의해 획득된 개체의 위치정보에 기초해서 카메라(20)가 향하는 방향에 존재하는 수중생물에 대응하는 식별정보를 추출할 수 있다.

예를 들어, 카메라(20)가 6시 방향을 향하는 경우 6시 방향을 촬영한 영상이 수신된다. 위치 획득부(110)에 의하여 수중 내의 생물 등의 위치를 확인할 수 있기 때문에, 카메라(20)를 기준으로 6시 방향에 위치한 식별 정보를 추출해낼 수 있다. 이와 같은 과정으로, 분석부(130)는 각 수중생물 별 위치 정보 및 카메라(20)의 회전각에 관한 제어정보에 기초하여 카메라(20)에 의해 촬영된 수중 영상에 나타난 개체에 대응되는 식별정보를 추출할 수 있다. 바람직하게는, 상기 분석부(130)는 영상 내 특정 객체를 인식하기 위한 혼합 가우시안 모델, 베이지안 배경학습, 바이브(ViBe) 등 다양한 알고리즘을 수행할 수 있다.

그리고, 관리부(140)는 수중 데이터베이스(30)와 연결되며, 상기 서술한 분석부(130)에 의해 수중식물을 추출하였으면, 상기 추출된 수중식물들의 식별 정보를 이용하여 수중 데이터베이스(30)를 통해 해당하는 수중식물에 대응되는 수중 식물의 정보를 검색하고 이를 수신하는 기능을 수행한다.

상기 수중생물의 정보는 기본 정보를 비롯하여 계통수 정보 등을 포함할 수 있다. 여기서, 전술한 기본 정보는 수중생물의 성별, 상태, 종류, 기타 특징 중 적어도 하나 이상에 대한 정보를 포함할 수 있다.

또한, 수중에 서식하는 미생물의 상태를 촬영하고, 촬영한 미생물의 영상을 사용자 단말(40) 등에 표시하여 실시간으로 미생물의 상태를 관찰할 수도 있다.

본 발명의 관리부(140)는 사용자가 자체적으로 사용자 단말(40)로부터 입력받은 수중생물의 정보를 수중 데이터베이스(30)와 연동하여 추가 입력하거나 기 입력된 수중생물의 정보를 수정하도록 구성되는 것이 바람직하다.

본 발명의 출력부(150)는 카메라(20)에 의해 촬영된 수중영상에 관리부(140)에 의해 검색된 검색 정보를 결합하여 수중영상의 정보를 나타낸 가상현실(VR) 영상을 생성하여 생성된 가상현실 영상을 사용자 단말(40)에 제공하는 기능을 수행한다.

이하에서는 전술한 본 발명의 가상현실을 이용한 수중생물 모니터링 장치(100)의 구성에 근거하여, 동작 과정에 관하여 설명하기로 한다.

도 2에 도시된 바와 같이, 수중 내의 수중로봇(2)에는 추적 장치(10)가 부착된다. 이에 따라, 상기 수중로봇(2)에 대한 위치 정보 및 식별 정보가 위치 획득부(110)를 통해 획득될 수 있는 것이다. 상기 위치 획득부(110)는 추적 장치(10)로부터 위치 정보 및 식별 정보를 각각 수신한다.

한편, 카메라(20)는 회전 가능하도록 설치되며, 제어부(120)는 카메라(20)에 의해 촬영된 수중 영상 및 카메라(20)의 회전각에 관한 제어 정보를 수신한다. 만일, 카메라(20)가 임의의 방향을 향한 경우, 카메라(20)가 향하는 방향에 대한 회전각에 대한 제어 정보가 카메라(20)에 저장되며, 제어부(120)는 카메라(20)의 회전각에 관한 제어 정보를 수신한다.

이어서, 본 발명의 분석부(130)는 카메라(20)의 회전각, 그리고 상기 카메라(20)에 의해 획득되는 수중 영상의 폭에 근거하여 수중 영상에 나타난 수중로봇(2)을 식별할 수 있다. 이것은 위치 획득부(110)가 추적 장치(10)로부터 위치 정보 및 식별 정보를 수신하여 저장하기 때문에 가능하다.

그 결과, 상기 분석부(130)는 특정 방향을 향하는 카메라(20)에 의하여 촬영된 수중 영상에 나타난 수중로봇(2)을 수중 내의 다른 물체들로부터 식별해낼 수 있다.

본 발명에서 제어부(120)는 사용자의 조작에 따라 카메라의 회전 방향을 제어하는 제어 신호를 카메라(20)에 전송할 수 있다.

구체적으로 설명하면, 도 3을 보면 사용자는 사용자 단말(40)에 표시된 영상 화면 상에서 좌측(a), 우측(b), 하측(c), 상측(d)에 나타난 이동 버튼을 터치하는 방법으로 수중영상의 이동 방향을 조작할 수 있다.

이 때, 제어부(120)는 사용자 단말(40)에 의하여 입력된 입력 신호에 기초하여 사용자의 조작에 따른 방향으로 카메라(20)가 회전하도록 카메라(20)에 제어 신호를 전송할 수 있다.

이하, 가상현실(VR) 영상을 추출하는 방식에 대한 설명을 한다.

사용자 단말(40)의 표시창(미도시)을 통하여 화면을 통하여 임의의 수중생물을 선택하여 클릭하면, 해당 수중생물의 계, 종류, 학명, 생물적 특징의 출력창(미도시)이 생성되며, 선택되는 수중생물의 해당 정보가 상세히 표시되는 정보창(도면 부호는 생략)이 자동 생성되는 것이다.

도 4는 사용자 단말(40)에 제공되는 가상현실 영상을 나태낸 도면이다. 만일, 사용자가 해당 사진(도면부호는 생략)의 식물을 사용자 단말(40)에서 선택한다면, 수중 데이터베이스(30)에 형성된 데이터 저장부(미도시)에는 각각의 수중생물 관련 데이터(400)를 통해 해당 사진의 식물의 분류별 기재가 가능한 메타 데이터(402)를 생성하여, 상기 메타 데이터(402)가 포함된 수중생물에 관련된 학명 등이 자동 생성되는 데이터 테이블(T)이 만들어진다. 따라서, 상기 데이터 테이블(T)은 사용자 단말(40)의 화면에 디스플레이되는 것이다.

예로서, 수중생물 관련 데이터(400)의 헤더(header) 부분에 포함시켜 상기 수중생물 관련 데이터(400)가 메타 데이터(402)에 포함되는 공통 항목에 의하여 분류가 가능하도록 할 수 있다.

위와 같은 메타 데이터(402) 내에 포함되는 항목은 이외에도, 서식 지역 정보 등도 포함하여 다양하게 구성될 수 있으며, 이러한 공통 항목을 메타 데이터(402)에 포함시켜 수중생물 관련 데이터(400)의 부가적인 정보로 활용하여 정확하고 가독성이 우수한 정보 검색이 가능하도록 하는 것이다.

그리고, 분석부(130)는 카메라(20)의 회전각에 관한 제어 정보 및 각 수중생물들의 위치 정보에 근거하여 수중 영상 내의 수중생물에 대응되는 식별 정보를 추출하고, 관리부(140)는 수중 데이터베이스(30)와 후술할 수중생물 정보처리부(50)로부터 추출된 수중생물에 대응되는 정보를 수신한다.

그리고, 출력부(150)는 수중영상에 수중생물의 정보를 표시하여 출력창에 제공할 수 있다. 또한, 정보창에는 분석부(130)에 의하여 인식된 수중생물의 식별 정보가 표시될 수 있으며, 관리부(140)에 의해 검색된 수중생물의 정보가 표시될 수 있다.

전술한 바와 같이 본 발명에 의하면, 카메라(20)의 회전각과 수중 로봇(2)에 부착된 GPS 모듈(미도시)로부터 수신한 위치에 기반하여 수중 영상에서 수중 생물을 정확히 식별해 냄과 동시에, 수중 영상에 해당 수중 생물에 대한 상세한 정보를 결합시킨 가상현실(VR) 영상을 사용자에게 제공함으로써, 이러한 가상현실 영상을 통해 영상 내 수중생물들을 서로 식별할 수 있고, 해당 생물에 대한 상세한 정보를 손쉽게 확인할 수 있는 장점이 있는 것이다.

이하에서는, 도 5를 참조하여 수중생물 정보처리부(50)와 수중 데이터베이스(30)를 이용하여 수중생물의 정보를 획득하고, 모니터링을 하는 방식에 대한 설명을 하기로 한다.

도시된 대로, 상기 수중생물 정보 처리부(50)는 송수신부(51), 영상 정보 수집부(52), 생물종 판단부(53), 지도 맵핑부(54), 기상 연계 분석부(55), DB 관리부(56) 등을 포함할 수 있고, 상기 수중 데이터베이스(30)에는 생물종 DB(31), 지도 DB(32), 수중 관측 DB(33) 및 기상 DB(34)를 형성, 포함할 수 있다.

먼저, 송수신부(51)는 DB 관리부(56)의 제어에 따라 수중 관측 DB(33)로부터 인출되어 제공되는 수중지도 정보, 즉 수중 생물종의 분석 자료가 맵핑된 수중 지도 정보 또는 수중 생물종과 기상 자료, 수중 관측 자료가 연계 분석된 연계 분석 자료가 맵핑된 수중 지도 정보 등을 제어부(120)를 통해 사용자 단말(40)로 전송하는 기능을 갖는다.

그리고, 영상 정보 수집부(52)는 송수신부(51)를 통해 수신되는 수중생물 영상 정보를 수집하여 생물종 판단부(53)로 전달하고, 수중 관측 DB(33)에 저장하는 등의 기능을 제공할 수 있다. 여기에서, 수중생물은 수생생물, 해양식물, 적조 등을 의미할 수 있다.

다음, 생물종 판단부(53)는 영상 정보 수집부(52)로부터 수중생물 영상 정보가 전달되면 수중 데이터베이스(30) 내의 생물종 DB(31)를 탐색(예컨대, 학명 검색)함으로써, 수중생물의 생물종을 특정하는 분석 자료를 생성하는 등의 기능을 제공할 수 있다.

이때, 수중생물에 대한 생물종이 특정되지 않을 경우에는 속(genus) 수준에서 결정될 수도 있는데, 이러한 생물종 DB에 기반한 영상 분석은, 예컨대 이 기술 분야에 잘 알려진 영상 분석 알고리즘을 이용하여 수행될 수 있다.

이를 위해, 수중 데이터베이스(30) 내의 생물종 DB(31)에는 수중생물들을 포함하는 수중 생태계의 다양한 수중생물들에 대한 종 및 속 정보들이 저장되어 있는 것이다.

그리고, 지도 맵핑부(54)는 특정된 생물종들의 분석 자료를 집계하여 지도 DB(32)로부터 제공되는 수중 지도의 대상 위치에 맵핑시킴으로써, 분석 자료가 맵핑된 수중 지도 정보를 생성하여 모니터링하려는 영역에 해당하는 수중의 지도를 제공할 수 있는 데, 여기에서 생성되는 수중 지도 정보들은 수중 관측 DB(33)에 저장될 수 있다.

여기에서, 특정된 생물종들의 분석 자료를 집계하여 수중지도에 맵핑시키는 과정은, 예컨대 기 설정된 일정 주기로 수행될 수 있다.

다음에, 기상 연계 분석부(55)는 기상 DB(34)로부터 제공되는 기상 자료, 수중 관측 자료와 생물종 판단부(53)를 통해 특정된 생물종들을 결합하여 연계 분석함으로써 연계 분석 자료를 생성하고, 생성된 연계 분석자료를 수중 관측 DB(33) 및 지도 맵핑부(54)로 전달하는 등의 기능을 제공할 수 있다.

이를 위해, 수중 데이터베이스(30) 내의 기상 DB(34)에는 네트워크를 통해 외부의 기상 서버(도시 생략)로부터 수집한 기상 자료 및 수중의 관측 자료들이 저장될 수 있다.

여기에서, 기상 자료로서는, 예를 들어 온도, 습도, 강수량, 동서방향의 바람세기, 남북방향의 바람세기, 대류세기(공기의 위/아래 움직임 세기), 표층온도, 심층온도, 염도, pH, 클로로필(Chlorophyl-a) 등이 포함될 수 있다.

따라서, 지도 맵핑부(54)는 특정된 생물종들과 기상 자료 및 해양 관측 자료가 연계 분석된 연계 분석 자료를 지도 DB(32)로부터 제공되는 수중 지도상의 대상 위치에 맵핑시킴으로써, 연계 분석 자료가 맵핑된 수중 지도정보를 생성할 수 있다.

그리고, DB 관리부(56)는 수중 관측 DB(33)로부터 기 설정된 일정 주기로 수중 지도 정보를 인출하여 제어부(120)를 통해 사용자 단말(40)로부터 수중 지도의 전송 요청이 수신될 때, 상기 수중 관측 DB(33)로부터 상기 수중 지도 정보를 인출하여 사용자 단말(40)로 전송하는 등의 기능을 제공할 수 있다.

여기에서, 상기 수중 지도 정보는, 수중생물 종의 분석 자료가 맵핑된 수중 지도 정보이거나 혹은 수중생물 종과 기상 자료가 연계 분석된 연계 분석 자료가 매핑된 수중 지도 정보일 수 있다.

또한, DB 관리부(56)는 외부의 지도 서버(도시 생략)로부터 주기적(기 설정된 일정 주기) 또는 비주기적으로 제공되는 지도 정보를 지도 DB(32)에 저장하거나 혹은 업데이트하고, 외부의 기상 서버로부터 주기적(기 설정된 일정 주기) 또는 비주기적으로 제공되어 수집한 기상 자료들을 기상 DB(34)에 저장하거나 혹은 업데이트하는 등의 기능을 제공할 수 있다.

이하에서는 도면을 참조하여, 앞서 설명한 수중 데이터베이스(30)와 수중생물 정보 처리부(50)를 이용하여 수중생물 정보를 분석하여 이를 통한 수중생물을 모니터링하는 순서와 절차에 대한 설명을 하기로 한다.

도 6을 참조하면, 수중생물 정보 처리부(50)의 영상 정보 수집부(52)에서는 사용자 단말(40)로부터 송신되어 내부 송수신부(51)를 통해 수신되는 수중생물 영상 정보, 예컨대 수중생물의 사진, GPS 좌표, 영상 촬영 시간 등을 포함하는 수중생물 영상 정보를 수집한다(단계 102).

그리고, 생물종 판단부(53)에서는 영상 정보 수집부(52)로부터 유해생물 영상 정보가 전달되면, 수중 데이터베이스(30) 내의 생물종 DB(31)를 탐색(예컨대, 학명 검색)함으로써, 수중생물의 생물종을 특정하는 분석 자료를 생성한다(단계 104).

여기에서, 수중생물에 대한 생물종이 특정되지 않을 경우에는 속(genus) 수준에서 결정될 수도 있다.

다음에, 지도 맵핑부(54)에서는 특정된 생물종들의 분석 자료를 집계한 후(단계 106), 지도 DB(32)로부터 제공되는 해양 지도상의 대상 위치에 맵핑시킴으로써 분석 자료가 맵핑된 수중 지도 정보를 생성한다(단계 108).

여기에서, 특정된 생물종들의 분석 자료를 집계하여 수중 지도에 맵핑시키는 과정은, 예컨대 기 설정된 일정 주기로 수행될 수 있다.

그리고, DB 관리부(56)에서는 수중 관측 DB(33)로부터 기 설정된 일정 주기로 분석 자료가 맵핑된 수중 지도 정보를 인출하여 네트워크를 통해 원격지의 수중 관리 서버(미도시)로 전송할 수 있다. 참고로, 상기 수중 관리 서버는 예컨대, 해양수산부, 한국수자원공사 등에 구비되어 수중 생태환경 등을 모니터링 및 관리하는 등의 기능을 제공할 수 있는 서버를 의미하며, 수중생물 종의 분석자료가 맵핑된 수중 지도 정보 또는 수중생물 종과 기상 자료 및 수중 관측 자료가 연계 분석된 연계 분석 자료가 맵핑된 수중 지도 정보 등을 제공받을 수 있다.

한편, DB 관리부(56)에서는 송수신부(51)를 통해 사용자 단말(40)로부터 수중 지도의 전송 요청이 수신되는 지의 여부를 모니터링하는 것인데(단계 110), 여기에서의 모니터링 결과 상기 수중 지도의 전송 요청이 수신되면, 수중 관측 DB(33)로부터 분석 자료가 매핑된 수중 지도 정보를 인출하여 송수신부(51) 및 네트워크를 통해 사용자 단말(40)로 전송한다(단계 112).

이하에서는, 도면을 첨부하여 본 발명에 의한 VR 영상을 이용한 수중생물 모니터링 장치(100)를 사물인터넷(IoT) 등을 이용하여 고장진단 및 유지보수하는 시스템에 대한 설명을 하기로 한다.

도 7을 보면, 고장진단시스템은 상기 모니터링 장치(100)를 운용할 경우에, 장치의 상태 정보를 수집(데이터 수집)하여 장치를 관리(데이터 가공)하고 이상 상황을 감지, 분석해서, 사전진단(데이터 분석)을 통해 유지와 보수를 최적화한다.

구체적으로는, 시스템은 이러한 유지 보수가 될 경우, 먼저 다수의 IoT 센서(I)에서 장치의 상태를 감지한다. 예를 들어, 수중로봇(2) 및 카메라(20), 사용자 단말(40), 수중생물 정보처리부(50), 제어부(120), 출력부(150) 등의 상태를 감지하여 상태 정보를 제어기(200)를 통해 통합적으로 실시간 전송한다.

제어기(200)에서 상태 정보를 관리 정보처리장치(300)로 전달해서, 관리 정보처리장치(300)에서 모니터링 장치(100)의 상태를 모니터링 및 데이터를 저장한다.

그리고, 상기 관리 정보처리장치(300)에서 상태 별로 예를 들어, 이상상태인 경우에 해당하는 제어동작을 제어기(200)로 수행하여, 제어기(200)에서 이에 따라 작동을 조절한다.

또한, 이 경우, 관리 정보처리장치(300)에서 전술한 관련 정보를 누적해서, 진단과 관련된 모델을 생성하므로, 사전진단을 통해 모니터링 장치(100)를 유지 보수한다.

도 7에 도시된 바와 같이, 일실시예에 따른 시스템은 다수의 IoT 센서(I)로부터 다양한 상태를 수집하는 다수의 제어기(200-1 ~ 200-n)와, 관리 정보처리장치(300)를 포함한다.

부가적으로, 상기 관리 정보처리장치(300)에서 외부 연계 서비스처와 연결해서 전체적인 서비스를 제공하고, 고장수리처 관리 장치(400-1) 등을 포함한다.

이 경우에, 도시된 대로 고장진단시스템은 다수의 제어기(200-1 ~ 200-n)와, 관리 정보처리장치(300)에서 상호 간의 연결을 자가망을 통해 수행해서 그룹별로 연동한다. 이때, 자가망은 와이 파이 등의 무선통신망이나 이더넷 등을 사용한다.

상기 IoT 센서(I)는 주변환경 요소별로 설치되어서, 수중로봇(2), 카메라(20) 등과 같은 각각의 구성요소로부터 상태 정보를 감지한다.

상기 제어기(200-1 ~ 200-n)는 상기 IoT 센서(I)에 의해 상태정보가 감지될 경우에, 미리 등록된 관리 정보처리장치(300)로 현재 상태정보를 전달한다. 그리고 나서, 상기 제어기(200-1 ~ 200-n)는 상기 관리 정보처리장치(300)의 제어에 의해 장치의 유형별로 상이하게 조절한다.

상기 관리 정보처리장치(300)는 상이한 장치의 동작을 관리자 설정정보를 기준으로 상이한 장치 유형별로 상태에 따라 제어하는 정보를 미리 등록한다. 그래서, 상기 관리 정보처리장치(300)는 다수의 제어기(200-1 ~ 200-n)에서 현재 상태정보가 전달될 경우, 상기 등록된 결과로부터 현재 상태를 판별하여 작동을 제어한다. 그래서, 이를 통해 일실시예에 따른 모니터링 시스템은 작동할 경우에, 상태 정보를 수집하여 데이터 가공해서, 이상 상황을 감지, 분석함으로써, 모니터링장치(100)를 관리한다.

상기 IoT 센서(I)와, 관리 정보처리장치(300)에 대해서 조금 더 상세히 설명하면 아래와 같다.

먼저, IoT 센서(I)를 설명하면 예를 들어, 온도, 진동 상태를 감지해서, 상태를 확인할 수 있도록 한다. 그리고, 이러한 IoT 센서(I)는 수중로봇(2), 카메라(20), 사용자 단말(40)등의 상태를 감지하기도 함으로써, 여러 작동기능을 모니터링한다. 그래서, 이를 통해 상태와, 수중의 주변환경의 상태를 진단, 분석하여, 다양한 주변환경 별로 맞춤 진단을 수행한다.

이하, 관리 정보처리장치(300)에 대한 설명을 하면, 상기 관리 정보처리장치(300)는 데이터에 의한 모니터링 장치(100)의 이상 여부를 효율적으로 처리할 수 있도록 하기 위해서, 아래의 전처리 구성으로부터 예를 들어, 장치별로 데이터를 전처리하기도 한다. 구체적으로는, 이러한 전처리는 아래와 같이 이루어진다.

a) 먼저 압력, 온도 등을 포함하여 실시간으로 데이터를 수집한다.

b) 그리고, 미리 지정된 작동의 시작부터 종료 시점까지 작동 운영 데이터를 추출한다.

c) 그리고 나서, 상이한 설비코드와 예를 들어, 모니터링 장치(100)의 작동시작 및 종료시간별로 수집된 작동 운영 데이터를 등록한다.

d) 다음, 상기 등록된 결과를 기초로 일정범위별로 상이한 설비별로 데이터를 추출한다.

e) 그래서, 이렇게 추출된 결과를 이용해서 데이터를 작업운영 코드별로(운영코드와, 일시, 압력, 온도 등 포함) 등록한다.

따라서, 이러한 고장진단시스템은 유지 보수의 모니터링을 할 경우, 각종 데이터를 수집하여 구성요소 별로 작동시작 시간부터 종료 시간까지의 작업 단위로 운영 데이터를 추출하여 데이터를 전처리한다.

따라서, 이러한 모니터링을 할 경우, 전처리 구성으로부터 데이터에 의한 모니터링 장치(100)의 이상 여부를 효율적으로 처리하고, 이를 통해 유지 보수를 보다 효과적으로 모니터링한다.

이하, 상기 전처리 과정에서 수집되는 데이터 구조를 설명한다.

먼저, 데이터 구조는 전술한 모니터링이 될 경우에, 제어기(200-1 ~ 200-n)로부터 실시간으로 설비별과, 상태별(온도 등)로 데이터를 수집하는 구조이며, 장치의 코드별로 전송되는 데이터를 수집한다.

그리고, 상기 데이터 구조는 장치별로 작업을 실시하는 시작 및 종료시간을 자동 또는 작업자의 입력으로 수집하여, 작업별로 상태정보를 저장하는 운영구조이다.

다음으로, 이를 통해 최종 진단예측모델을 생성할 때, 사용할 최종 추출된 작동 단위별 등으로 조합된 데이터구조이다. 이는 운영코드별 파일로 존재하고 각 파일에는 운행시작 일시분부터 종료까지 데이터를 조합한다.

이러한 데이터 분석에 따른 사전진단을 통해 유지 보수도 수행하므로, 최적화한 유지 보수가 이루어지는데, 관리 정보처리장치(300)가 아래의 동작을 수행한다.

먼저, 상기 관리 정보처리장치(300)는 현재 상태정보가 전달될 경우, 미리 등록된 시계열 진단예측모델로부터 본 발명의 모니터링 장치(100)의 기준 상태속성정보와 현재 상태속성정보를 유형별로 비교한다.

상기 비교 결과, 상기 기준 상태속성정보와 현재 상태속성정보의 차이값이 미리 설정된 오차 범위 내에 해당하는 경우에 정상으로 진단하고, 해당하지 않는 경우에는 고장으로 진단하므로, 상기 모티터링 장치(100)의 정상 여부를 알려 준다. 이러한 경우에, 상기 시계열 진단예측모델은 일실시예에 따라 아래와 같이 이루어진다.

우선적으로, 상기 시계열 진단예측모델은 모티터링 장치(100)를 고장 여부를 진단할 경우에, 다수의 상이한 구성요소, 주변환경 요소별로 소요시간과, 상태정보를 작동시간대 별로 분류하여 학습하는 모델을 정의한다.

이때, 상기 학습 모델은 아래와 같다.

1) 다수의 상이한 구성요소와 주변환경 요소별로 동작과, 주변환경상태 특징을 나타내는 데이터셋을 추출한다.

2) 다음, 이렇게 추출된 데이터셋을 다수의 상이한 작동시간대, 주변환경의 정보를 반영하여 속성화한다.

3) 그리고 나서, 이렇게 속성화된 결과를 기초로 해서, 학습 모델별로 지속 특성을 나타내는 기간 동안 동일한 상태를 유지하는 정보에 의해서 소요시간과, 상태정보의 속성을 결정한다.

4) 그리고, 이러한 결정된 결과를 정규화한다.

5) 그래서, 이러한 정규화된 결과를 기초로 해서 학습 모델별로 소요시간과, 상태속성정보를 설정하여, 다수의 상이한 구성요소, 주변환경 요소별로 소요시간과, 상태의 속성정보를 예측하는 정보를 생성하는 독립(기준 상태속성정보) 및 종속(상태) 변수로 설정한다.

6) 그리고, 이렇게 설정된 결과를 학습 및 훈련 데이터로 생성한다.

7) 그래서, 이를 통해 상기 생성된 데이터로부터 딥러닝 기반의 시계열 진단예측모델을 생성한다.

추가적으로, 이러한 시계열 진단예측모델에 대해서 더욱 설명하면 아래와 같다.

먼저, 모니터링을 위한 각종 데이터가 전송될 경우, 데이터에서 통신과 IoT 디바이스, 장치 등의 오류로 인하여 다수 데이터가 미수집될 경우와 온도 등의 이상치가 발생할 경우가 있으며, 해당 데이터 파일을 제거하여야 한다.

그래서, 이를 통해 기본 데이터셋 생성 후, 추가적으로 필요한 누적 소요시간 및 상태에 대해서 속성을 추가한다. 또한, 간혹 데이터의 끊김 현상으로 일부 데이터가 미수집 되었을 경우 해당 데이터를 제거한다. 이러한 경우, 일실시예에 따른 시계열 기반의 딥러닝 학습 모델을 사용하려면 일정한 시리얼 입력길이와 단계를 설정하여 시리얼 데이터셋을 생성해야 한다. 그래서, 다음으로 모델별 유효한 속성을 결정하고 정규치를 생성한 후 독립 및 종속 변수를 결정한다. 예를 들어, 소요시간 모델은 누적분, 누적상태가 유효한 종속변수일 수 있고 고장상태를 나타내는 정보 즉, 기준 상태속성정보가 독립변수로 설정될 수 있다.

그리고 나서, 학습 모델을 생성하기 위해서는 전체 데이터 중에서 학습과 훈련 데이터를 생성한다. 일반적으로 전체 데이터셋에서 70%를 학습데이터로 30%를 모델 생성후 모델을 시험하기 위해 훈련데이터로 사용한다. 다음으로 학습 모델을 생성한다. 이 단계에서 어떠한 학습모델을 사용할 것인지 결정한다. 예를 들어, 딥러닝 기반에서 필요한 레이어를 구성하여 입력과 출력층을 구성하여 최정 출력 개수를 설정하는 구성을 말한다. 생성된 모델을 평가하고 이 모델을 오차율에 만족하면 새로운 데이터로 모델을 시뮬레이션 한 후, 모델 갱신이 필요하지 않으면 학습 모델을 저장한 후 예측 모델로 사용한다.

도 8은 고장진단시스템의 동작을 도시한 절차 흐름도이다.

도시된 바와 같이, 먼저 다수개의 IoT 센서(I)가 장치와 주변환경 요소별로 설치되어서, 모니터링 장치(100)를 가동할 경우에 각각의 요소로부터 상태 정보를 감지한다.

이때, 제어기(200)는 상기 다수의 IoT 센서(I)에 의해 상태정보가 감지될 경우에, 미리 등록된 관리 정보처리장치(300)로 현재 상태정보를 전달한다.

다음으로, 상기 관리 정보처리장치(300)의 제어에 의해 작동을 유형별로 상이하게 조절한다.

이러한 경우에, 상기 관리 정보처리장치(300)는 상이한 동작을 관리자 설정정보를 기준으로 상이한 장치에 따라 제어하는 정보를 미리 등록한다. 그래서, 제어기(200)에서 현재 상태정보가 전달될 경우, 상기 등록된 결과로부터 현재 상태를 판별하여 모니터링 장치(100)의 작동을 상이하게 통합제어한다.

그래서, 이를 통해 본 발명의 모니터링 장치(100)를 운용할 경우에, 상태 정보를 수집하여 데이터 가공해서, 이상 상황을 감지, 분석함으로써, 유지 관리한다. 예를 들어, 갑작스런 압력과, 온도 상승이나, 빠른 동작의 종료, 데이터 미수집 등이 발생된 경우에는 이상현상 알림을 제공하기도 한다.

또한, 이에 더하여 이렇게 유지 관리될 경우에, 이러한 데이터 분석에 따른 사전 진단을 통해 모니터링 장치(100)의 유지 보수도 수행하므로, 최적화한 유지 보수를 할 수 있도록 한다.

이를 위해, 본 고장진단 시스템은 아래의 동작을 수행한다.

먼저, 상기 관리 정보처리장치(300)는 현재의 모니터링 장치(100)의 상태정보가 전달될 경우, 미리 등록된 시계열 진단예측모델(전술한 내용 참조)로부터 장치의 기준 상태속성정보와 현재 상태속성정보를 장치 유형별로 비교한다.

상기 비교 결과, 상기 기준 상태속성정보와 현재 상태속성정보의 차이값이 미리 설정된 기준 차이값에 해당하는 경우에 정상으로 진단한다.

반면에, 상기 비교 결과, 기준 상태속성정보와 현재 상태속성정보의 차이값이 상기 기준 차이값에 해당하지 않는 경우에는 고장으로 진단하므로, 모니터링 장치(100)를 유지 보수한다.

상기와 같이, 본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

2 : 수중로봇
10 : 추적장치 20 : 카메라
30 : 수중 데이터베이스 40 : 사용자 단말
50 : 수중생물 정보처리부 100 : 모니터링 장치
110 : 위치 획득부 120 : 제어부 130 : 분석부 140 : 관리부 150 : 출력부 200 : 제어기
300 : 관리 정보처리장치
400 : 수중생물 관련 데이터 402 : 메타 데이터

Claims (4)

1. 수중을 촬영하는 카메라 및 GPS 위성과 통신히여 위치정보를 수신하는 추적 장치가 각각 형성되어 있는 수중로봇;
   상기 추적장치로부터 수중의 수중생물 각각의 식별 정보 및 위치 정보를 전달받는 위치 획득부;
   상기 카메라와 연결되어, 상기 카메라의 회전각에 관한 제어 정보를 획득하고, 출력부에 제어신호를 인가하는 제어부;
   상기 카메라의 회전각, 상기 카메라에 의하여 획득되는 수중영상의 폭에 근거하여 수중영상에 나타나는 상기 수중로봇을 식별하는 분석부;
   상기 분석부에서 추출된 수중식물들의 식별 정보를 이용하여 수중 데이터베이스로부터 해당하는 수중식물에 대응되는 수중식물의 정보를 검색하는 관리부;
   상기 수중생물 각각에 대한 정보를 수집 및 저장하는 수중 데이터베이스;
   상기 수중 데이터베이스에 형성된 생물종 DB를 탐색하여, 상기 수중생물의 생물종을 특정하는 분석자료를 생성하는 수중생물 정보처리부; 및
   상기 수중영상에 상기 관리부에 의해 검색된 검색정보를 결합하여, 수중영상의 정보를 나타낸 가상현실(VR) 영상을 생성하고, 상기 가상현실(VR) 영상을 사용자 단말에 제공하는 출력부를 포함하는 VR 영상을 이용한 수중생물 모니터링 장치에 있어서,
   
   수중생물 정보 처리부는 송수신부, 영상 정보 수집부, 생물종 판단부, 지도 맵핑부, 기상 연계 분석부, DB 관리부를 포함하고,
   상기 수중 데이터베이스는 수중생물의 종 및 속 정보들이 저장된 생물종 DB, 모니터링하려는 영역에 해당하는 수중의 지도를 제공하는 지도 DB, 특정된 생물종들의 분석 자료가 맵핑된 수중 지도 정보가 저장되는 수중 관측 DB, 외부의 기상 서버로부터 수집한 기상 자료들이 저장되는 기상 DB를 포함하고,
   상기 VR 영상을 이용한 수중생물 모니터링 장치의 고장을 진단하기 위한 고장진단장치를 두며, 상기 고장진단장치는 다수의 IoT 센서로부터 다양한 상태를 수집하는 제어기와 관리 정보처리장치를 포함하고, 상기 IoT 센서는 수중로봇, 카메라, 사용자 단말의 상태를 감지하며,
   상기 제어기는 상기 IoT 센서에 의해 상태정보가 감지되는 경우, 상기 관리 정보처리장치로 상태정보를 전달하고,
   상기 관리 정보처리장치는 상기 제어기에서 상기 상태정보가 전달될 경우, 이미 등록된 결과와 상기 상태정보를 비교하여 이상 여부를 판단하는 것을 포함하는 VR 영상을 이용한 수중생물 모니터링 장치.
   
2. 삭제
3. 제1항에 있어서,
   상기 제어부는 사용자의 조작에 따른 방향으로 상기 카메라가 회전하도록 하고, 상기 사용자 단말에 의해 입력된 입력 신호에 기초하여 사용자의 조작에 따른 방향으로 상기 카메라가 회전할 수 있도록 하기 위한 제어신호를 상기 카메라에 인가시키는 것을 특징으로 하는 VR 영상을 이용한 수중생물 모니터링 장치.
   
4. 제1항에 있어서,
   상기 관리부는 사용자가 자체적으로 상기 사용자 단말로부터 입력받은 상기 수중생물의 정보를 추가 입력하거나 기입력된 상기 수중생물의 정보를 수정하는 것을 특징으로 하는 것을 특징으로 하는 VR 영상을 이용한 수중생물 모니터링 장치.

Images