KR102228047B1 - Augmented Reality based Location Matching Device and Method for Underground Facilities Management - Google Patents
Augmented Reality based Location Matching Device and Method for Underground Facilities Management Download PDFInfo
- Publication number
- KR102228047B1 KR102228047B1 KR1020200080276A KR20200080276A KR102228047B1 KR 102228047 B1 KR102228047 B1 KR 102228047B1 KR 1020200080276 A KR1020200080276 A KR 1020200080276A KR 20200080276 A KR20200080276 A KR 20200080276A KR 102228047 B1 KR102228047 B1 KR 102228047B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- underground
- location
- image
- display means
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000009933 burial Methods 0.000 claims description 82
- 239000000463 material Substances 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010191 image analysis Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Remote Sensing (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 지하 매설물 관리에 관한 것으로, 구체적으로 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것에 의해 지하 매설물의 관리 효율성을 높일 수 있도록 한 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법에 관한 것이다.The present invention relates to underground burial management, and specifically, by correcting the error between the location information of the means for displaying the location of the underground buried object and the position of the actual underground buried object, and displaying the location matching display based on augmented reality, the management efficiency of the underground buried material The present invention relates to an augmented reality-based location matching display device and method for underground buried property management.
일반적으로, 공공시설, 도로, 아파트 등의 부지에 가스 배관이나 그 밖의 케이블 등을 매립할 때 지상에서 그 매립물의 위치와 방향을 알 수 없기 때문에 일정 거리마다 지하매설물의 위치와 방향을 표시하기 위한 표시못을 설치하고 있다.In general, when gas pipes or other cables are buried in public facilities, roads, apartments, etc., the location and direction of the buried object cannot be known from the ground. Marking nails are being installed.
특히, 도로, 공동주택, 아파트 등의 부지나 도로에 도시 가스배관을 매립하는 경우에는 표시못을 의무적으로 설치하여야 하며, 가스관의 길이 50m마다 한 개 이상의 표시못을 설치하되, 주요 분기점, 굴곡지점 및 그 주위 50cm 이내에 설치하도록 법적으로 규정하고 있다.In particular, when city gas pipes are to be buried in roads, apartments, and other sites or roads, marking nails must be installed, and at least one marking nail should be installed for every 50m of the length of the gas pipe. And it is legally regulated to be installed within 50cm around it.
한편, 상수도관, 하수도관, 가스관, 통신선, 전력선 등을 포함하는 지하시설물의 위치파악 방식은 도면을 이용한 방법, GIS를 이용한 방법, 무선 식별 시스템(RFID; radio frequency indentification system)을 이용하는 방법 등이 있다.On the other hand, methods of locating underground facilities including water pipes, sewer pipes, gas pipes, communication lines, power lines, etc. include a method using a drawing, a method using a GIS, and a method using a radio frequency indentification system (RFID). have.
이러한 지하시설물의 위치파악 방법의 경우 도면을 이용하는 방법은 휴대가 불편할 뿐만 아니라 열람이 어려운 문제점이 있고, GIS를 이용한 방법은 현장에서 확인하는데 어려운 문제점이 있으며, 무선 식별 시스템(RFID)을 이용한 방법의 경우 모든 지하시설물에 태그를 부착해야하는 등의 많은 초기구축비용 및 기간이 소요되는 문제점이 있다.In the case of such a method of determining the location of underground facilities, the method of using a drawing is not only inconvenient to carry, but also has a problem that it is difficult to read, and the method using GIS has a problem that it is difficult to check in the field, and the method using a wireless identification system (RFID) In this case, there is a problem that it takes a lot of initial construction cost and period, such as having to attach tags to all underground facilities.
더욱이, 지하시설물의 위치는 지자체 소유로 비공개되고 있으며, 이에 따라 관련 업무 수행자의 관리업무와 공사업무 수행자에게는 정확한 위치 파악이 중요함에도 불구하고, 잘못된 위치 선정으로 수도관파열, 가스폭발사고와 같은 크고 작은 사고와 불편함이 지속되고 있다.Moreover, the location of underground facilities is privately owned by the local government, and accordingly, although accurate location identification is important to the management and construction work performers of the related business, the incorrect location selection causes large and small sized facilities such as water pipe rupture and gas explosion. Thinking and discomfort continue.
그리고 스마트 기기의 활성화로 인하여 사회기반 시설에 대한 스마트 기기의 활용 영역이 넓어짐에 따라, 지하매설물에 대한 IT 접목 기술들에 대한 연구가 활발히 진행되고 있다. 특히, 지하매설물은 눈에 보이지 않는다는 비가시적인 특징을 지니기 있기 때문에 지하매설물에 대한 효율적인 관리를 위해서 증강현실(Augmented Reality)을 융합한 관리 시스템의 연구가 요구되고 있다.In addition, as the application area of smart devices for social infrastructure is widened due to the activation of smart devices, research on technologies for grafting IT to underground burials is being actively conducted. In particular, since underground buried objects have an invisible characteristic that they are invisible, research on a management system incorporating Augmented Reality is required for efficient management of underground burials.
하지만, 지금까지 개발되고 있는 증강현실(Augmented Reality)을 융합한 지하매설물 관리 기술들은 위치 정보 오류 등의 여러가지 문제가 있어 현장에서 상용되지 못하고 있다.However, underground burial management technologies incorporating Augmented Reality, which have been developed so far, have various problems such as location information errors and are not commercially available in the field.
GPS 정보의 오차로 인해 Geo-located AR에서는 정확한 GPS 데이터를 가진 지하매설물 모델을 실제 위치와 다른 곳에 생성하여 실제와의 괴리가 생기는 경우가 많다.Due to the error of GPS information, in Geo-located AR, an underground burial object model with accurate GPS data is created in a different place from the actual location, resulting in a gap from the real world.
따라서, 현장에서 직관적으로 지하 시설물의 위치를 파악하고 이를 활용할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a new technology to intuitively grasp the location of underground facilities in the field and utilize them.
본 발명은 종래 기술의 지하 매설물 관리 기술의 문제점을 해결하기 위한 것으로, 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것에 의해 지하 매설물의 관리 효율성을 높일 수 있도록 한 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the prior art underground buried management technology, by correcting the error between the location information of the means for displaying the location of the underground buried material and the actual underground buried object to display the location matching display based on augmented reality. Accordingly, an object of the present invention is to provide an augmented reality-based location matching display device and method for managing underground buried objects that can increase the management efficiency of underground buried objects.
본 발명은 한국도로공사,가스공사,수자원공사 등의 지하매설물을 관리하는 공공기관에서 지하매설물의 위치에 설치하는 표시못,표시석, 표시판 등의 표시 수단들의 위치 정보를 제공받아 딥러닝 모델을 통하여 이미지 데이터 셋을 DB화하여 현장에서의 활용성을 높인 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is provided with location information of display means such as display ponds, indicator seats, and display plates installed at the location of underground buried objects in public institutions that manage underground buried objects such as Korea Expressway Corporation, Gas Corporation, and Water Resources Corporation, through a deep learning model. It is an object of the present invention to provide an augmented reality based location matching display device and method for managing underground buried objects with increased utility in the field by converting an image data set into a DB.
본 발명은 현장에서 모바일 증강현실 앱을 통하여 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하면 지하매설물 관리서버에서 딥러닝 모델을 통해 표시 수단들의 위치 정보의 정확성을 판단하여 해당 현장의 지하시설물을 증강현실 기반으로 정확하게 표시할 수 있도록 한 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법을 제공하는데 그 목적이 있다.In the present invention, when an image generated in real time through a mobile augmented reality app at the site is transmitted to an underground burial management server, the underground burial management server determines the accuracy of the location information of the display means through a deep learning model to determine the underground facilities at the site. An object of the present invention is to provide an augmented reality-based location matching display device and method for managing underground buried objects that can be accurately displayed based on augmented reality.
본 발명은 지하매설물 관리서버에서 제공받은 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 모바일 증강현실 앱에 구현되어 있는 지하매설물 GIS와의 정합 여부를 판단하여 실제 위치로 정합하여 표시하고 이를 지하매설물 관리서버에 저장할 수 있도록 한 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법을 제공하는데 그 목적이 있다.The present invention determines whether the location information in the image data set of the display means provided from the underground burial management server and the underground buried GIS implemented in the mobile augmented reality app are matched to the actual location and displayed, and the underground buried management server It is an object of the present invention to provide an augmented reality-based location matching display device and method for management of underground buried materials that can be stored in.
본 발명은 실시간으로 획득하는 영상 이미지의 밝기 보정 또는 표시 수단들의 강조 표시에 의해 밤시간대의 지하매설물의 관리시에 증강현실의 활용 가능성을 높일 수 있도록 한 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is an augmented reality-based location matching for underground buried property management that increases the possibility of utilization of augmented reality when managing underground burials in the night time by correcting the brightness of an image acquired in real time or highlighting display means. An object thereof is to provide a display device and method.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치는 지하 매설물 관리를 위한 현장 이미지 촬상을 하고, 증강현실 어플리케이션을 실행하여 지하매설물 관리서버로부터 받은 지하매설물 정보를 기준으로 증강현실 이미지 이동 제어 및 지하매설물 표시위치 변경 제어를 통한 위치 정합을 하여 증강현실 기반으로 지하매설물을 표시하는 증강현실 기반 지하매설물 관리 단말;지하매설물정보 제공 서버로부터 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축하고, 증강현실 기반 지하매설물 관리 단말로부터 전송받은 현장 이미지를 분석하여 위치 판단을 하고, 위치정보 보정결과를 반영하는 지하매설물 관리서버;를 포함하는 것을 특징으로 한다.The augmented reality-based location matching display device for underground burial management according to the present invention to achieve the above object captures a site image for underground burial management, and executes an augmented reality application to obtain a basement from an underground burial management server. An augmented reality-based underground burial management terminal that displays underground buried objects based on augmented reality by controlling the movement of an augmented reality image based on the buried property information and controlling the display position change of the buried property; location information of the display means from the underground buried property information providing server Collect and collect information on buried underground objects, learn the image data set including display means, build underground buried property information DB, analyze the site image transmitted from the augmented reality-based buried property management terminal to determine the location, and correct the location information It characterized in that it comprises a; underground buried material management server reflecting the result.
여기서, 지하매설물 관리서버는, 지하매설물정보 제공 서버로부터 표시수단 위치 정보를 수집하는 표시 수단 위치정보 수집부와,지하매설물정보 제공 서버로부터 지하매설물 정보를 수집하는 지하매설물 정보 수집부와,지하매설물 정보 DB를 구축할 수 있도록 표시수단이 포함된 이미지 데이터 셋을 학습하는 이미지 데이터 셋 학습부와,이미지 데이터 셋 학습부에서 학습된 결과를 저장하여 지하매설물 정보 DB를 구축하는 지하매설물 정보 DB와,증강현실 기반 지하매설물 관리 단말로부터 전송받은 촬상 이미지를 분석하여 표시 수단들의 위치 판단을 하는 이미지 분석 및 위치 정보 판단부와,이미지 분석 및 위치 정보 판단부의 판단에 의해 증강현실 기반 지하매설물 관리 단말에서 이루어지는 위치정보 보정결과를 반영하여 저장하는 위치정보 보정결과 반영부를 포함하는 것을 특징으로 한다.Here, the underground burial management server includes a display means location information collection unit for collecting display means location information from an underground buried object information providing server, an underground burial property information collection unit for collecting underground burial information from the underground burial information providing server, and an underground burial property. An image data set learning unit that learns an image data set including display means to build an information DB, and an underground buried material information DB that stores the results learned in the image data set learning unit to build an underground burial information DB; An image analysis and location information determination unit that analyzes the captured image transmitted from an augmented reality-based underground burial management terminal to determine the location of the display means, and an augmented reality-based underground burial management terminal by the judgment of the image analysis and location information determination unit. It characterized in that it comprises a location information correction result reflecting unit that reflects and stores the location information correction result.
그리고 지하매설물 정보 DB에서 데이터의 중복 제거 및 오류 정정을 하기 위한 별도의 작업을 수행하지 않고, 위치정보 보정결과 반영부를 통하여 실제 현장에서 사용하면서 오류 정정이 이루어지도록 하는 것을 특징으로 한다.In addition, it is characterized in that it does not perform a separate operation for removing duplicate data and correcting errors in the underground buried property information DB, and allows errors to be corrected while actually being used in the field through the location information correction result reflector.
그리고 증강현실 기반 지하매설물 관리 단말은, 지하 매설물 관리를 위한 현장 이미지 촬상을 하는 이미지 촬상부와,지하매설물 관리서버로부터 받은 지하매설물 위치 정보를 기준으로 증강현실 이미지 이동 제어를 하는 증강현실 이미지 이동 제어부와,표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 지하매설물의 위치를 이동시켜 일치시키는 지하매설물 표시위치 변경 제어부와,증강현실 이미지 이동 제어 및 지하매설물 표시위치 변경 제어에 따른 정합 정보를 지하매설물 관리서버로 전송하는 위치 정합 정보 전송부를 포함하는 것을 특징으로 한다.In addition, the augmented reality-based underground burial management terminal includes an image pickup unit that captures on-site images for underground burial management, and an augmented reality image movement control unit that controls the movement of an augmented reality image based on the location information of the buried property received from the underground burial management server. And, when the location of the display means and the location of the underground facilities displayed in augmented reality do not match, the control unit for changing the location of the underground facilities displayed in the augmented reality by moving the location of the underground facilities displayed in the augmented reality based on the display means on the image to match. , It characterized in that it comprises a location registration information transmission unit for transmitting the registration information according to the augmented reality image movement control and the underground buried object display position change control to the underground buried object management server.
그리고 이미지 촬상부의 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단의 밝기를 보정하여 표시 수단의 시인성을 높이는 영상 이미지 명암 제어부를 더 포함하는 것을 특징으로 한다.And, when the imaging illuminance is lower than the reference value at the time of image pickup of the image pickup unit, further comprising an image image contrast control unit to increase visibility of the display unit by correcting the brightness of the display unit in the image image acquired in real time through the mobile augmented reality app. It is characterized.
그리고 이미지 촬상부의 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단을 확대 표시하거나, 표시 수단들의 강조 표시를 하는 표시수단 확대 및 강조 표시 제어부를 더 포함하는 것을 특징으로 한다.In addition, when the imaging illuminance is lower than the reference value at the time of imaging of the image pickup unit, the display means enlargement and highlight display control unit for enlarged-displaying the display means in the image image acquired in real time through the mobile augmented reality app or highlighting the display means. It characterized in that it further includes.
다른 목적을 달성하기 위한 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법은 지하매설물 관리서버에서 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축하는 단계;증강현실 기반 지하매설물 관리 단말의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하는 단계;지하매설물 관리서버에서 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보를 비교하여 일치여부를 판단하는 단계;이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보가 일치하지 않으면, 지하매설물 관리서버로부터 받은 지하매설물 위치 정보를 기준으로 모바일 증강현실 앱상에서의 현장 이미지인 제 1 이미지를 이동시켜 저장되어 있는 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 실제 이미지상에서의 표시 수단들의 위치를 일치시키는 단계;를 포함하는 것을 특징으로 한다.In an augmented reality-based location matching display method for managing underground buried objects according to the present invention for achieving another object, an image data set including display means is collected by collecting display means location information and underground buried property information from an underground buried management server. Learning to build an underground burial information DB; Transmitting an image generated in real time from a mobile augmented reality app of an augmented reality-based underground buried management terminal to an underground buried management server; of the display means in the image in the underground buried management server Comparing the location and the location information of the display means in the stored image data set to determine whether they match; If the location of the display means in the image and the location information of the display means in the stored image data set do not match, By moving the first image, which is the field image on the mobile augmented reality app, based on the location information of the buried property received from the buried property management server, the location information of the stored display means in the image data set and the location of the display means on the actual image are displayed. It characterized in that it comprises a; matching step.
그리고 표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 제 2 이미지의 지하매설물의 위치를 이동시켜 일치시키는 것을 특징으로 한다.And if the location of the display means and the location of the underground facility displayed in augmented reality do not match, it is characterized by moving and matching the location of the underground facility of the second image displayed in the augmented reality based on the display means on the image. .
그리고 증강현실 기반 지하매설물 관리 단말의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하는 단계에서, 이미지 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단의 밝기를 보정하여 표시 수단의 시인성을 높이는 단계를 더 포함하는 것을 특징으로 한다.And in the step of transmitting the image generated in real time from the mobile augmented reality app of the augmented reality-based underground burial management terminal to the underground burial management server, when the imaging illuminance is lower than the reference value at the time of image capture, in real time through the mobile augmented reality app. It characterized in that it further comprises the step of improving the visibility of the display means by correcting the brightness of the display means in the acquired video image.
그리고 증강현실 기반 지하매설물 관리 단말의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하는 단계에서, 이미지 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단을 확대 표시하거나, 표시 수단들의 강조 표시를 하는 단계를 더 포함하는 것을 특징으로 한다.And in the step of transmitting the image generated in real time from the mobile augmented reality app of the augmented reality-based underground burial management terminal to the underground burial management server, when the imaging illuminance is lower than the reference value at the time of image capture, in real time through the mobile augmented reality app. It characterized in that it further comprises the step of enlarging the display means or highlighting the display means in the acquired video image.
이상에서 설명한 바와 같은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법은 다음과 같은 효과가 있다.As described above, the augmented reality-based location matching display apparatus and method for managing underground buried objects according to the present invention has the following effects.
첫째, 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것에 의해 지하 매설물의 관리 효율성을 높일 수 있도록 한다.First, it is possible to improve the management efficiency of the underground buried by correcting the error between the location information of the means for displaying the location of the underground buried object and the position of the actual buried underground by displaying the location matching display based on augmented reality.
둘째, 한국도로공사,가스공사,수자원공사 등의 지하매설물을 관리하는 공공기관에서 지하매설물의 위치에 설치하는 표시못,표시석, 표시판 등의 표시 수단들의 위치 정보를 제공받아 딥러닝 모델을 통하여 이미지 데이터 셋을 DB화하여 현장에서의 활용성을 높인다.Second, public institutions that manage underground facilities such as Korea Expressway Corporation, Gas Corporation, and Water Resources Corporation are provided with location information of display means such as display ponds, indicators, and signs installed at the location of underground facilities, and image through deep learning models. By converting the data set into a DB, it is possible to increase the utility in the field.
셋째, 현장에서 모바일 증강현실 앱을 통하여 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하면 지하매설물 관리서버에서 딥러닝 모델을 통해 표시 수단들의 위치 정보의 정확성을 판단하여 해당 현장의 지하시설물을 증강현실 기반으로 정확하게 표시할 수 있도록 한다.Third, if an image generated in real time through a mobile augmented reality app at the site is transmitted to the underground burial management server, the underground burial management server determines the accuracy of the location information of the display means through a deep learning model to augment the underground facilities at the site. Make it possible to display accurately based on reality.
넷째, 지하매설물 관리서버에서 제공받은 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 모바일 증강현실 앱에 구현되어 있는 지하매설물 GIS와의 정합 여부를 판단하여 실제 위치로 정합하여 표시하고 이를 지하매설물 관리서버에 저장하여 DB 정확도 및 활용성을 높일 수 있다.Fourth, it is determined whether the location information in the image data set of the display means provided by the underground burial management server and the underground burial object GIS implemented in the mobile augmented reality app are matched, matched to the actual location, and displayed on the underground burial management server. By storing it, you can increase the DB accuracy and usability.
다섯째, 실시간으로 획득하는 영상 이미지에서 표시 수단의 밝기 보정 또는 표시 수단들의 강조 표시에 의해 밤시간대의 지하매설물의 관리시에 증강현실의 활용 가능성을 높일 수 있도록 한다.Fifth, it is possible to increase the possibility of utilizing augmented reality when managing underground buried objects in the night time by correcting the brightness of the display means or highlighting the display means in the video image acquired in real time.
도 1은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치의 전체 구성도
도 2는 본 발명에 따른 지하매설물 관리서버의 상세 구성도
도 3은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치에 의한 위치 정합 과정을 나타낸 구성도
도 4는 본 발명에 따른 증간현실 기반 지하매설물 관리 단말의 상세 구성도
도 5는 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법을 나타낸 플로우 차트
도 6은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법에서의 이미지 명암 제어 및 AR 모델 표시 방법을 나타낸 플로우 차트1 is an overall configuration diagram of a location matching display device based on an augmented reality for management of underground buried objects according to the present invention
2 is a detailed configuration diagram of an underground burial management server according to the present invention
3 is a block diagram showing a location registration process by an augmented reality-based location registration display device for underground burial management according to the present invention
4 is a detailed configuration diagram of an underground buried property management terminal based on augmented reality according to the present invention
5 is a flow chart showing an augmented reality-based location matching display method for underground buried property management according to the present invention
6 is a flow chart showing an image contrast control and AR model display method in an augmented reality-based location matching display method for underground burial management according to the present invention
이하, 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a detailed description will be given of a preferred embodiment of an augmented reality based location matching display device and method for managing underground buried objects according to the present invention.
본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the augmented reality-based location matching display apparatus and method for managing underground buried objects according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치의 전체 구성도이다.1 is an overall configuration diagram of an augmented reality-based location matching display device for underground buried property management according to the present invention.
본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법은 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것에 의해 지하 매설물의 관리 효율성을 높일 수 있도록 한 것이다.The augmented reality-based location matching display device and method for the management of underground buried objects according to the present invention corrects an error between the location information of the means for displaying the location of the underground buried material and the location of the actual underground buried object to display an augmented reality-based location matching display. By doing so, it is possible to increase the management efficiency of underground facilities.
이를 위하여, 본 발명은 한국도로공사,가스공사,수자원공사 등의 지하매설물을 관리하는 공공기관에서 지하매설물의 위치에 설치하는 표시못,표시석, 표시판 등의 표시 수단들의 위치 정보 및 지하매설물 정보를 제공받아 딥러닝 모델을 통하여 이미지 데이터 셋을 DB화하는 구성을 포함할 수 있다.To this end, the present invention provides the location information and information on the underground buried objects such as display ponds, indicator seats, and display plates installed at the location of the underground buried in public institutions that manage underground burials such as Korea Expressway Corporation, Gas Corporation, and Water Resources Corporation. It may include a configuration that is provided and converts an image data set into a DB through a deep learning model.
본 발명은 현장에서 모바일 증강현실 앱을 통하여 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하면 지하매설물 관리서버에서 딥러닝 모델을 통해 표시 수단들의 위치 정보의 정확성을 판단하여 해당 현장의 지하시설물을 증강현실 기반으로 정확하게 표시할 수 있도록 하는 구성을 포함할 수 있다.In the present invention, when an image generated in real time through a mobile augmented reality app at the site is transmitted to an underground burial management server, the underground burial management server determines the accuracy of the location information of the display means through a deep learning model to determine the underground facilities at the site. It may include a configuration that enables accurate display based on augmented reality.
본 발명은 지하매설물 관리서버에서 제공받은 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 모바일 증강현실 앱에 구현되어 있는 지하매설물 GIS와의 정합 여부를 판단하여 실제 위치로 정합하여 표시하고 이를 지하매설물 관리서버에 저장하여 DB 정확도 및 활용성을 높이기 위한 구성을 포함할 수 있다.The present invention determines whether the location information in the image data set of the display means provided from the underground burial management server and the underground buried GIS implemented in the mobile augmented reality app are matched to the actual location and displayed, and the underground buried management server It can be stored in the DB and include a configuration to increase the accuracy and usability.
구체적으로, 본 발명의 일 실시 예에서는 해당 현장의 지하시설물을 증강현실 기반으로 정확하게 표시할 수 있도록 하기 위하여, 모바일 증강현실 앱을 통하여 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하면 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보를 비교하여 일치여부를 판단하고 일치하지 않는 경우에는, 모바일 증강현실 앱상에서의 이미지를 이동시켜 저장되어 있는 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 실제 이미지상에서의 표시 수단들의 위치를 일치시키는 구성을 포함한다.Specifically, in an embodiment of the present invention, in order to accurately display the underground facilities at the site based on augmented reality, when an image generated in real time through a mobile augmented reality app is transmitted to the underground building management server, Compare the location of the display means with the location information of the display means in the stored image data set to determine whether they match, and if they do not match, move the image on the mobile augmented reality app and store the image data set of the display means. It includes a configuration that matches the position information of the display device and the position of the display means on the actual image.
본 발명의 다른 실시 예에서는 모바일 증강현실 앱상에서의 이미지상에 표시되는 격자점들의 판단이 어려운 원거리에서 표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 지하매설물의 위치를 이동시켜 일치시키는 구성을 포함한다.In another embodiment of the present invention, when the location of the display means and the location of the underground facility displayed in augmented reality do not match at a distance where it is difficult to determine the grid points displayed on the image on the mobile augmented reality app, the display means on the image It includes a configuration that matches by moving the location of the underground buried object displayed in augmented reality based on the reference.
본 발명의 다른 실시 예에서는 조도 센서를 통한 감지 결과 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단의 밝기를 보정하여 표시 수단의 시인성을 높이기 위한 구성을 포함할 수 있다.In another embodiment of the present invention, when the illuminance is lower than the reference value as a result of detection through the illuminance sensor, a configuration for improving the visibility of the display means by correcting the brightness of the display means in the image image acquired in real time through the mobile augmented reality app is included. can do.
본 발명의 다른 실시 예에서는 조도 센서를 통한 감지 결과 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단을 확대 표시하거나, 표시 수단들의 강조 표시에 의해 밤시간대의 지하매설물의 관리시에 증강현실의 활용 가능성을 높이기 위한 구성을 포함할 수 있다.In another embodiment of the present invention, when the illuminance as a result of detection through the illuminance sensor is lower than the reference value, the display means is enlarged and displayed in the video image acquired in real time through the mobile augmented reality app, or at night time by highlighting the display means. It may include a configuration to increase the possibility of using augmented reality when managing underground buried materials.
이하의 설명에서 표시 수단은 표시못, 표시석, 표시판을 포함하고 다른 형태의 지하매설물의 표시를 위한 수단일 수 있다.In the following description, the display means may include a display pond, an indication seat, and a display plate, and may be a means for displaying other types of underground objects.
본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치는 도 1에서와 같이, 지하 매설물 관리를 위한 이미지 촬상을 하고, 증강현실 어플리케이션을 실행하여 지하매설물 관리서버(200)로부터 받은 지하매설물 정보를 기준으로 증강현실 이미지 이동 제어 및 지하매설물 표시위치 변경 제어를 통한 위치 정합을 하여 증강현실 기반으로 지하매설물을 표시하는 증강현실 기반 지하매설물 관리 단말(100)과, 지하매설물정보 제공 서버(300)로부터 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축하고, 증강현실 기반 지하매설물 관리 단말(100)로부터 전송받은 촬상 이미지를 분석하여 위치 판단을 하고, 위치정보 보정결과를 반영하는 지하매설물 관리서버(200)를 포함한다.As shown in FIG. 1, the augmented reality-based location matching display device for underground buried material management according to the present invention captures an image for underground buried material management, and executes an augmented reality application. An augmented reality-based underground buried
여기서, 지하매설물정보 제공 서버(300)는 한국도로공사,가스공사,수자원공사 등의 지하매설물을 관리하는 공공기관의 서버로 이로 제한되지 않고 다른 기관 및 단체의 서버가 될 수도 있음은 당연하다.Here, the underground buried material
그리고 증강현실 기반 지하매설물 관리 단말(100)이 지하 매설물 관리를 위한 이미지 촬상을 하여 지하매설물 관리서버(200)로 전송하고, 지하매설물 관리서버(200)는 전송받은 영상을 이미지프로세싱하여 실제 공간을 인식하고, 그에 대응하는 증강 현실 컨텐츠 및 지하매설물 관련 정보를 나타내는 GIS 데이터를 증강현실 어플리케이션을 통해 증강현실 기반 지하매설물 관리 단말(100)로 제공한다.In addition, the augmented reality-based underground
증강현실 기반 지하매설물 관리 단말(100)은 증강현실 어플리케이션을 통하여 제공되는 증강 현실 컨텐츠에 실제 촬상 이미지를 합성하여 증강현실 이미지를 표시한다.The augmented reality-based underground
즉, 증강현실 기반 지하매설물 관리 단말(100)이 탑재된 증강현실 어플리케이션을 실행하고 현장을 촬영하여 생성된 영상데이터에 지하매설물 관련 정보를 나타내는 GIS 데이터를 오버랩하여 증강현실기반으로 지하매설물 정보가 표시되도록 하는 것이다.In other words, by executing an augmented reality application equipped with an augmented reality-based underground
화면에 표시되는 증강현실 이미지에는 매트릭스 형태의 격자점이 표시되어 표시수단 및 증강 현실로 표시되는 지하매설물의 위치를 사용자가 직관적으로 알 수 있도록 한다.In the augmented reality image displayed on the screen, grid points in the form of a matrix are displayed so that the user can intuitively know the location of the display means and the underground buried object displayed in the augmented reality.
본 발명에 따른 지하매설물 관리서버(200)의 상세 구성은 다음과 같다.The detailed configuration of the underground buried
도 2는 본 발명에 따른 지하매설물 관리서버의 상세 구성도이고, 도 3은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치에 의한 위치 정합 과정을 나타낸 구성도이다.2 is a detailed configuration diagram of an underground buried material management server according to the present invention, and FIG. 3 is a configuration diagram showing a location matching process by an augmented reality-based location matching display device for underground buried property management according to the present invention.
지하매설물 관리서버(200)는 도 2에서와 같이, 지하매설물정보 제공 서버(300)로부터 표시수단 위치 정보를 수집하는 표시 수단 위치정보 수집부(10)와, 지하매설물정보 제공 서버(300)로부터 지하매설물 정보를 수집하는 지하매설물 정보 수집부(11)와, 지하매설물 정보 DB를 구축할 수 있도록 표시수단이 포함된 이미지 데이터 셋을 학습하는 이미지 데이터 셋 학습부(12)와, 이미지 데이터 셋 학습부(12)에서 학습된 결과를 저장하여 지하매설물 정보 DB를 구축하는 지하매설물 정보 DB(13)와, 증강현실 기반 지하매설물 관리 단말(100)로부터 전송받은 촬상 이미지를 분석하여 표시 수단들의 위치 판단을 하는 이미지 분석 및 위치 정보 판단부(14)와, 이미지 분석 및 위치 정보 판단부(14)의 판단에 의해 증강현실 기반 지하매설물 관리 단말(100)에서 이루어지는 위치정보 보정결과를 반영하여 저장하는 위치정보 보정결과 반영부(15)와, 증강현실 기반 지하매설물 관리 단말(100)에 제공되는 증강현실 어플리케이션의 유지 및 업데이트 관리를 하는 증강현실 어플리케이션관리부(16)를 포함한다.As shown in FIG. 2, the underground buried
여기서, 지하매설물 정보 DB(13)에 관하여 더 구체적으로 설명하면 다음과 같다.Here, the underground buried
지하매설물에 대한 효율적 관리를 위해서는 데이터베이스의 설계가 중요하다. 데이터베이스의 설계의 핵심은 데이터의 중복을 최소화하여 정확한 데이터를 지하매설물 관리서버(200)의 지하매설물 정보 DB(13)에 저장하여 지하매설물 관리에 효율적으로 이용될 수 있도록 운영 및 제공하는 것에 있다.Database design is important for efficient management of underground buried materials. The core of the design of the database is to minimize the duplication of data and store accurate data in the underground buried
본 발명에서는 정확한 지하매설물 정보 DB 구축을 위하여, 데이터의 중복 제거 및 오류 정정을 하기 위한 별도의 작업을 수행하지 않고, 위치정보 보정결과 반영부(15)를 통하여 실제 현장에서 사용하면서 오류 정정이 이루어지도록 하는 특징을 갖는다.In the present invention, in order to establish an accurate underground buried information DB, error correction is made while using in the actual field through the location information
본 발명은 지하매설물 관리의 효율성을 높이기 위하여 지하매설물을 관(Pipe) 단위로 마커를 생성하여 지하매설물 정보 DB 구축한다.The present invention constructs an underground buried material information DB by generating markers for underground buried materials in pipe units in order to increase the efficiency of underground burial management.
일 예로, 지하매설물 정보 DB(13)에 저장되는 지하매설물 정보는 마커번호 정보, 관종류 정보, 관길이 정보, 관경 정보, 위도 정보, 경도 정보, 매설깊이 정보, 도로기준 중앙, 상, 하, 좌, 우 위치 정보를 포함하는 것이 바람직하다.For example, the information of buried materials stored in the underground buried
특히, 상기 관경은 관경 크기를 레벨로 구분하는 관경크기레벨 정보를 포함하는 것이 바람직하고, 상기 데이터베이스는, 연결마커 정보, 상세설명 정보를 더 포함할 수 있다.In particular, the pipe diameter preferably includes pipe diameter size level information for dividing the pipe diameter size into levels, and the database may further include connection marker information and detailed description information.
그리고 관경 정보는 관경 크기를 레벨로 구분하는 관경크기레벨 정보를 포함하며, 증강현실 기반 지하매설물 표시시에 구분된 레벨로 디스플레이되는 것이 바람직하다.In addition, the scenery information includes information about the size of the scenery that divides the size of the scenery into levels, and it is preferable that the scenery information is displayed at the different levels when displaying the underground buried objects based on augmented reality.
그리고 이미지 분석 및 위치 정보 판단부(14)의 판단 결과를 기준으로 도 3에서와 같이, 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것이다.In addition, as shown in Fig. 3, based on the image analysis and the determination result of the location
증강현실 기반 지하매설물 관리 단말(100)의 상세 구성을 설명하면 다음과 같다.A detailed configuration of the augmented reality-based underground buried
도 4는 본 발명에 따른 증간현실 기반 지하매설물 관리 단말의 상세 구성도이다.4 is a detailed configuration diagram of an underground buried property management terminal based on augmented reality according to the present invention.
증강현실 기반 지하매설물 관리 단말(100)은 도 4에서와 같이, 지하 매설물 관리를 위한 현장 이미지 촬상을 하는 이미지 촬상부(40)와, 지하매설물 관리서버(200)로부터 제공받아 탑재한 증강현실 어플리케이션을 실행하는 증강현실 어플리케이션 실행부(41)와, 지하매설물 관리서버(200)로부터 받은 지하매설물 위치 정보를 기준으로 증강현실 이미지 이동 제어를 하는 증강현실 이미지 이동 제어부(42)와, 표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 지하매설물의 위치를 이동시켜 일치시키는 지하매설물 표시위치 변경 제어부(43)와, 증강현실 이미지 이동 제어 및 지하매설물 표시위치 변경 제어에 따른 정합 정보를 지하매설물 관리서버(200)로 전송하는 위치 정합 정보 전송부(44)와, 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지의 밝기 보정을 하여 표시 수단의 시인성을 높이는 영상 이미지 명암 제어부(45)와, 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단을 확대 표시하거나, 표시 수단들의 강조 표시를 하는 표시수단 확대/강조 표시 제어부(46)를 포함한다.Augmented reality-based underground buried
본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법을 구체적으로 설명하면 다음과 같다.A detailed description of an augmented reality-based location matching display method for underground buried property management according to the present invention is as follows.
도 5는 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법을 나타낸 플로우 차트이다.5 is a flow chart showing a method of displaying an augmented reality-based location for underground burial management according to the present invention.
먼저, 지하매설물 관리서버(200)에서 한국도로공사,가스공사,수자원공사 등의 지하매설물을 관리하는 공공기관에서 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축한다.(S501)First, the underground
이어, 증강현실 기반 지하매설물 관리 단말(100)의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버(200)로 전송한다.(S502)Then, the image generated in real time in the mobile augmented reality app of the augmented reality-based underground
그리고 지하매설물 관리서버(200)에서 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보를 비교하여 일치여부를 판단한다.(S503)Then, the underground buried
이어, 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보가 일치하지 않으면, 지하매설물 관리서버(200)로부터 받은 지하매설물 위치 정보를 기준으로 모바일 증강현실 앱상에서의 제 1 이미지를 이동시켜 저장되어 있는 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 실제 이미지상에서의 표시 수단들의 위치를 일치시킨다.(S504)Subsequently, if the location of the display means in the image and the location information of the display means in the stored image data set do not match, based on the location information of the buried property received from the underground buried
만약, 표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 제 2 이미지의 지하매설물의 위치를 이동시켜 일치시킨다.(S505)If the location of the display means and the location of the underground facility displayed by augmented reality do not match, the location of the underground facility of the second image displayed by the augmented reality is moved and matched with the display means on the image (S505). )
본 발명에 따른 이미지 명암 제어 및 AR 모델 표시 방법을 구체적으로 설명한다.A method of controlling image contrast and displaying an AR model according to the present invention will be described in detail.
도 6은 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법에서의 이미지 명암 제어 및 AR 모델 표시 방법을 나타낸 플로우 차트이다.6 is a flow chart showing an image contrast control and AR model display method in an augmented reality-based location matching display method for underground buried property management according to the present invention.
먼저, 증강현실 기반 지하매설물 관리 단말(100)의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버(200)로 전송한다.(S601)First, the image generated in real time in the mobile augmented reality app of the augmented reality-based underground
지하매설물 관리서버(200)에서 이미지의 명암 수치를 산출하여(S602), 획득한 명암 수치를 기준으로 영상 이미지에서 표시 수단의 밝기를 보정한다.(S603)The underground
영상 이미지에서 표시 수단의 밝기를 보정하기 위하여 표시 수단 인식 및 관심 영역의 선택을 통한 선택적 명암 조정을 위한 이미지 처리 기술이 적용될 수 있다.In order to correct the brightness of the display means in the video image, an image processing technique for selective contrast adjustment through recognition of the display means and selection of a region of interest may be applied.
이어, 명암이 조정된 이미지에서 2D 이미지 트래킹을 통하여 특정 객체(표시못, 발전소 내부설비, 맨홀 등)를 추출하여 증강현실 기반 지하매설물 관리 단말(100)의 모바일 증강현실 앱에서 해당 AR 모델을 표시한다.(S604)Subsequently, specific objects (marking ponds, power plant internal facilities, manholes, etc.) are extracted from the contrast-adjusted image and the corresponding AR model is displayed in the mobile augmented reality app of the augmented reality-based underground
이상에서 설명한 본 발명에 따른 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치 및 방법은 지하 매설물 위치를 표시하는 수단들의 위치 정보와 실제 지하 매설물의 위치와의 오차를 보정하여 증강현실 기반의 위치 정합 표시를 하는 것에 의해 지하 매설물의 관리 효율성을 높일 수 있도록 한 것이다.The augmented reality-based location matching display device and method for managing underground buried objects according to the present invention described above is based on augmented reality by correcting the error between the location information of the means for displaying the location of the underground buried object and the location of the actual underground buried object. It is possible to increase the management efficiency of underground facilities by marking the registration.
본 발명은 현장에서 모바일 증강현실 앱을 통하여 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하면 지하매설물 관리서버에서 딥러닝 모델을 통해 표시 수단들의 위치 정보의 정확성을 판단하여 해당 현장의 지하시설물을 증강현실 기반으로 정확하게 표시할 수 있도록 하는 것이다.In the present invention, when an image generated in real time through a mobile augmented reality app at the site is transmitted to an underground burial management server, the underground burial management server determines the accuracy of the location information of the display means through a deep learning model to determine the underground facilities at the site. It is to be able to display accurately based on augmented reality.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto are included in the present invention. It will have to be interpreted.
100. 증강현실 기반 지하매설물 관리 단말
200. 지하매설물 관리서버
300. 지하매설물정보 제공 서버100. Augmented reality based underground burial management terminal
200. Underground burial management server
300. Underground buried property information provision server
Claims (10)
지하매설물정보 제공 서버로부터 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축하고, 증강현실 기반 지하매설물 관리 단말로부터 전송받은 현장 이미지를 분석하여 위치 판단을 하고, 위치정보 보정결과를 반영하는 지하매설물 관리서버;를 포함하고,
증강현실 기반 지하매설물 관리 단말은, 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보가 일치하지 않으면, 지하매설물 관리서버로부터 받은 지하매설물 위치 정보를 기준으로 모바일 증강현실 앱상에서의 현장 이미지인 제 1 이미지를 이동시켜 저장되어 있는 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 실제 이미지상에서의 표시 수단들의 위치를 일치시키고, 표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 제 2 이미지의 지하매설물의 위치를 이동시켜 일치시키는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치.Based on augmented reality, by taking on-site images for underground buried management, and by running an augmented reality application, by running an augmented reality application, by controlling the movement of an augmented reality image based on the underground buried information received from the underground buried management server and controlling the location of the buried object to change. An augmented reality-based underground burial management terminal that displays underground buried objects;
By collecting display means location information and underground buried property information from the underground buried property information providing server, by learning the image data set including the display means, constructing an underground buried property information DB, and using the site image transmitted from the augmented reality-based buried property management terminal. Including; an underground buried property management server that analyzes and determines the location, and reflects the location information correction result,
The augmented reality-based underground burial management terminal, if the location of the display means in the image and the location information of the display means in the stored image data set do not match, mobile augmented reality based on the underground burial location information received from the underground burial management server. An underground facility displayed in augmented reality by matching the location of the display means in the image data set of the display means stored by moving the first image, which is the site image on the app, and matching the location of the display means with the location of the display means If the location of is not matched, an augmented reality-based location matching display device for underground buried property management, characterized in that the location of the underground buried object of the second image displayed in the augmented reality is moved and matched based on the display means on the image. .
지하매설물정보 제공 서버로부터 표시수단 위치 정보를 수집하는 표시 수단 위치정보 수집부와,
지하매설물정보 제공 서버로부터 지하매설물 정보를 수집하는 지하매설물 정보 수집부와,
지하매설물 정보 DB를 구축할 수 있도록 표시수단이 포함된 이미지 데이터 셋을 학습하는 이미지 데이터 셋 학습부와,
이미지 데이터 셋 학습부에서 학습된 결과를 저장하여 지하매설물 정보 DB를 구축하는 지하매설물 정보 DB와,
증강현실 기반 지하매설물 관리 단말로부터 전송받은 촬상 이미지를 분석하여 표시 수단들의 위치 판단을 하는 이미지 분석 및 위치 정보 판단부와,
이미지 분석 및 위치 정보 판단부의 판단에 의해 증강현실 기반 지하매설물 관리 단말에서 이루어지는 위치정보 보정결과를 반영하여 저장하는 위치정보 보정결과 반영부를 포함하는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치.The method of claim 1, wherein the underground management server,
A display means location information collection unit that collects display means location information from an underground buried property information providing server,
An underground buried material information collection unit that collects underground buried material information from the underground buried material information providing server,
An image data set learning unit that learns an image data set including display means to build an underground buried property information DB,
An underground buried object information DB that builds an underground buried object information DB by storing the results learned by the image data set learning unit;
An image analysis and location information determination unit that analyzes the captured image transmitted from an augmented reality-based underground burial management terminal to determine the location of the display means;
An augmented reality-based location for underground burial management, characterized in that it includes a location information correction result reflector that reflects and stores the location information correction result made in an augmented reality-based underground burial management terminal by the judgment of the image analysis and location information determination unit. Matching display device.
지하 매설물 관리를 위한 현장 이미지 촬상을 하는 이미지 촬상부와,
지하매설물 관리서버로부터 받은 지하매설물 위치 정보를 기준으로 증강현실 이미지 이동 제어를 하는 증강현실 이미지 이동 제어부와,
표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 지하매설물의 위치를 이동시켜 일치시키는 지하매설물 표시위치 변경 제어부와,
증강현실 이미지 이동 제어 및 지하매설물 표시위치 변경 제어에 따른 정합 정보를 지하매설물 관리서버로 전송하는 위치 정합 정보 전송부를 포함하는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 장치.The method of claim 1, wherein the augmented reality-based underground burial management terminal,
An image pickup unit that captures on-site images for management of underground facilities,
An augmented reality image movement control unit that controls the movement of an augmented reality image based on the location information of the underground buried object received from the underground buried object management server,
In case the location of the display means and the location of the underground facility displayed in augmented reality do not match, a control unit for changing the location of the underground facility displayed in the augmented reality based on the display means on the image to match the location of the underground facility displayed in the augmented reality;
An augmented reality-based location matching display device for underground buried property management, comprising: a location matching information transmitting unit that transmits matching information according to the augmented reality image movement control and the underground buried object display position change control to the underground buried object management server.
지하매설물 관리서버에서 표시수단 위치 정보 수집 및 지하매설물 정보를 수집하여 표시수단이 포함된 이미지 데이터 셋을 학습하여 지하매설물 정보 DB를 구축하는 단계;
증강현실 기반 지하매설물 관리 단말의 모바일 증강현실 앱에서 실시간으로 생성되는 이미지를 지하매설물 관리서버로 전송하는 단계;
지하매설물 관리서버에서 이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보를 비교하여 일치여부를 판단하는 단계;
이미지에서의 표시 수단들의 위치와 저장되어 있는 이미지 데이터 셋에서의 표시수단 위치 정보가 일치하지 않으면, 지하매설물 관리서버로부터 받은 지하매설물 위치 정보를 기준으로 모바일 증강현실 앱상에서의 현장 이미지인 제 1 이미지를 이동시켜 저장되어 있는 표시 수단들의 이미지 데이터 셋에서의 위치 정보와 실제 이미지상에서의 표시 수단들의 위치를 일치시키는 단계;를 포함하고,
표시 수단의 위치와 증강현실로 표시되는 지하 시설물의 위치가 일치하지 않는 경우에는 이미지상의 표시 수단을 기준으로 증강현실로 표시되는 제 2 이미지의 지하매설물의 위치를 이동시켜 일치시키는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법.Based on augmented reality, by taking on-site images for underground buried management, and by running an augmented reality application, by running an augmented reality application, by controlling the movement of an augmented reality image based on the underground buried information received from the underground buried management server and controlling the location of the buried object to change. With an augmented reality-based underground buried management terminal that displays underground buried objects and the underground buried property information providing server, collects the location information of the display means and collects the buried property information to learn the image data set including the display means to build an underground buried property information DB. And, by analyzing the site image transmitted from the augmented reality-based underground burial management terminal, the location is determined, and the location matching display device based on an augmented reality for underground burial management including an underground burial management server reflecting the position information correction result In control,
Building an underground buried object information DB by learning the image data set including the display means by collecting the display means location information and the underground buried object information in the underground buried object management server;
Transmitting the image generated in real time from the mobile augmented reality app of the augmented reality-based underground buried management terminal to the underground buried management server;
Comparing the position of the display means in the image with the location information of the display means in the stored image data set in the underground buried material management server to determine whether or not they match;
If the location of the display means in the image and the location information of the display means in the stored image data set do not match, the first image, which is the site image on the mobile augmented reality app, based on the location information of the buried property received from the buried underground management server. Including; moving and matching the position information of the stored display means in the image data set and the positions of the display means on the actual image; Including,
If the location of the display means and the location of the underground facility displayed by augmented reality do not match, the location of the underground buried object of the second image displayed by the augmented reality is moved and matched based on the display means on the image. Augmented reality-based location matching display method for buried property management.
이미지 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단의 밝기를 보정하여 표시 수단의 시인성을 높이는 단계를 더 포함하는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법.The method of claim 7, wherein in the step of transmitting an image generated in real time in a mobile augmented reality app of an augmented reality-based underground burial management terminal to an underground burial management server,
When the imaging illuminance is lower than the reference value during image capture, the step of enhancing the visibility of the display means by correcting the brightness of the display means in the video image acquired in real time through the mobile augmented reality app. Position matching display method based on augmented reality for.
이미지 촬상시에 촬상 조도가 기준값보다 낮은 경우에는 모바일 증강현실 앱을 통하여 실시간으로 획득하는 영상 이미지에서 표시 수단을 확대 표시하거나, 표시 수단들의 강조 표시를 하는 단계를 더 포함하는 것을 특징으로 하는 지하 매설물 관리를 위한 증강현실 기반의 위치 정합 표시 방법.
The method of claim 7, wherein in the step of transmitting an image generated in real time in a mobile augmented reality app of an augmented reality-based underground burial management terminal to an underground burial management server,
When the imaging illuminance is lower than the reference value at the time of image capturing, the step of enlarged-displaying the display means or highlighting the display means in the video image acquired in real time through the mobile augmented reality app. Augmented reality-based location matching display method for management.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080276A KR102228047B1 (en) | 2020-06-30 | 2020-06-30 | Augmented Reality based Location Matching Device and Method for Underground Facilities Management |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080276A KR102228047B1 (en) | 2020-06-30 | 2020-06-30 | Augmented Reality based Location Matching Device and Method for Underground Facilities Management |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102228047B1 true KR102228047B1 (en) | 2021-03-16 |
Family
ID=75223786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200080276A KR102228047B1 (en) | 2020-06-30 | 2020-06-30 | Augmented Reality based Location Matching Device and Method for Underground Facilities Management |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102228047B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102465528B1 (en) * | 2021-09-06 | 2022-11-11 | 주식회사 태성에스엔아이 | Defect management method for sewer system using mixed reality and bim |
| KR20220169824A (en) * | 2021-06-21 | 2022-12-28 | 정재헌 | Device, method and program for assisting supevision based on XR |
| KR20220169826A (en) * | 2021-06-21 | 2022-12-28 | 정재헌 | Server, method and program for designing, constructing and supervising buildings |
| KR102531408B1 (en) * | 2022-12-05 | 2023-05-12 | (주)동화이엔지 | Cable laying indication system for underground transmission lines and its construction method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100992619B1 (en) | 2010-06-21 | 2010-11-05 | (주)안세기술 | System and method for providing underground facility information using augmented reality of mobile terminal in cloud-computing environment |
| KR20110070663A (en) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | Apparatus and method for providing information of underground facilities using augmented reality |
| KR20120140571A (en) * | 2011-06-21 | 2012-12-31 | 삼성전자주식회사 | Object recognition method using camera and camera system for the same |
| KR101265834B1 (en) | 2011-12-15 | 2013-06-13 | (주)안세기술 | System for providing underground facility information using augmented reality of mobile terminal |
| KR101450133B1 (en) | 2013-09-05 | 2014-10-13 | 순천향대학교 산학협력단 | System and Method for Providing Underground Utilities Cross Section Information based on Augmented Reality |
| KR20160070874A (en) * | 2014-12-10 | 2016-06-21 | 브이앤아이 주식회사 | Location-based Facility Management System Using Mobile Device |
| KR20190127516A (en) * | 2018-05-04 | 2019-11-13 | (주)엠포러스 | High precision augmented reality apparatus of underground utilities information for exploring a composite pipe using resistivity, and the method thereof |
-
2020
- 2020-06-30 KR KR1020200080276A patent/KR102228047B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070663A (en) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | Apparatus and method for providing information of underground facilities using augmented reality |
| KR100992619B1 (en) | 2010-06-21 | 2010-11-05 | (주)안세기술 | System and method for providing underground facility information using augmented reality of mobile terminal in cloud-computing environment |
| KR20120140571A (en) * | 2011-06-21 | 2012-12-31 | 삼성전자주식회사 | Object recognition method using camera and camera system for the same |
| KR101265834B1 (en) | 2011-12-15 | 2013-06-13 | (주)안세기술 | System for providing underground facility information using augmented reality of mobile terminal |
| KR101450133B1 (en) | 2013-09-05 | 2014-10-13 | 순천향대학교 산학협력단 | System and Method for Providing Underground Utilities Cross Section Information based on Augmented Reality |
| KR20160070874A (en) * | 2014-12-10 | 2016-06-21 | 브이앤아이 주식회사 | Location-based Facility Management System Using Mobile Device |
| KR20190127516A (en) * | 2018-05-04 | 2019-11-13 | (주)엠포러스 | High precision augmented reality apparatus of underground utilities information for exploring a composite pipe using resistivity, and the method thereof |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220169824A (en) * | 2021-06-21 | 2022-12-28 | 정재헌 | Device, method and program for assisting supevision based on XR |
| KR20220169826A (en) * | 2021-06-21 | 2022-12-28 | 정재헌 | Server, method and program for designing, constructing and supervising buildings |
| KR102603286B1 (en) * | 2021-06-21 | 2023-11-17 | 정재헌 | Server, method and program for designing, constructing and supervising buildings |
| KR102603276B1 (en) * | 2021-06-21 | 2023-11-17 | 정재헌 | Device, method and program for assisting supevision based on XR |
| KR102465528B1 (en) * | 2021-09-06 | 2022-11-11 | 주식회사 태성에스엔아이 | Defect management method for sewer system using mixed reality and bim |
| KR102531408B1 (en) * | 2022-12-05 | 2023-05-12 | (주)동화이엔지 | Cable laying indication system for underground transmission lines and its construction method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102228047B1 (en) | Augmented Reality based Location Matching Device and Method for Underground Facilities Management | |
| US9183646B2 (en) | Apparatus, systems and methods to generate electronic records of underground facility marking operations performed with GPS-enabled marking devices | |
| US9830338B2 (en) | Virtual white lines for indicating planned excavation sites on electronic images | |
| US8532342B2 (en) | Electronic manifest of underground facility locate marks | |
| US9280269B2 (en) | Electronic manifest of underground facility locate marks | |
| AU2009213151B2 (en) | Searchable electronic records of underground facility locate marking operations | |
| AU2012211427B2 (en) | Virtual white lines for indicating planned excavation sites on electronic images | |
| AU2013204950B2 (en) | Virtual white lines for indicating planned excavation sites on electronic images | |
| AU2012241082B2 (en) | Searchable electronic records of underground facility locate marking operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |