KR102744285B1 - 증강현실을 이용한 실시간 시각화 장치 및 시스템과 이를 이용하는 실시간 시각화 방법 및 이를 위한 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명은 증강현실을 이용하는 실시간 시각화 장치, 시스템 및 방법에 관한 발명이다.
본 발명의 일 실시예에 따른 증강현실을 이용하는 실시간 시각화 장치는 증강현실을 이용하여 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 장치로서, 상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 상기 수신한 데이터에 기초하여 전체 응답을 복구하고, 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 시각 모델을 생성하고, 상기 축소 응답은 상기 물리 모델에 모델 차수 축소법(model order reduction method)을 적용하여 획득한 응답일 수 있다.

Description

증강현실을 이용한 실시간 시각화 장치 및 시스템과 이를 이용하는 실시간 시각화 방법 및 이를 위한 컴퓨터 판독 가능한 기록 매체{REAL TIME VISUALIZATION APPARATUS AND SYSTEM USING AUGMENTED REALITY, REAL TIME VISUALIZATION METHOD USING THE SAME AND COMPUTER READABLE RECORDING MEDIUM FOR THE SAME}

본 발명은 실시간 시각화 장치 및 시스템과 이를 이용하는 방법에 관한 발명으로, 보다 상세하게는 증강현실을 활용하여 구조물, 설비 또는 시스템의 상태를 실시간으로 시각화할 수 있는 장치 및 시스템과 그 방법에 관한 발명이다.

최근 제조나 건설 분야 또는 안전 진단 분야 등에서 스마트화가 활발히 진행되고 있으며, 그 첨단에는 스마트 팩토리(smart factory)가 있다. 스마트 팩토리는 설계 및 개발, 제조 및 유통 등 생산과정에 디지털 자동화 솔루션이 결합된 정보통신기술(ict)을 적용하여 생산성, 품질, 고객만족도를 향상시키는 지능형 생산공장으로 공장 내 설비와 기계에 사물인터넷(IoT)을 설치하여 공정 데이터를 실시간으로 수집하고, 이를 분석해 스스로 제어할 수 있게 만든 공장이다.

종래는 특정 제품을 제조하거나 시스템을 구현하는데 있어서 공정별로 자동화가 이루어졌기 때문에 전체 공정 또는 전체 시스템을 유기적으로 관리하기 어려우며, 현재 상태를 직관적이면서 실시간으로 파악하기 어려웠다. 반면 스마트 팩토리는 정보통신기술을 활용하여 공정 간 데이터를 유기적으로 연계할 수 있어 전체 공정 또는 시스템을 통합하여 관리할 수 있다. 이를 위해 디지털 트윈(digital twin)으로 대표되는 시뮬레이션 기술이 주목받고 있다.

디지털 트윈은 미국의 제너럴 일렉트릭(GE)이 주창한 개념으로, 구조물이나 시스템 등 대상체를 소프트웨어화하여 컴퓨터 상에 구현한 것이다. 이러한 디지털 트윈을 이용하여 대상체에 발생할 수 있는 상황 등을 컴퓨터로 시뮬레이션함으로써 그 결과를 미리 예측할 수 있다.

그러나 종래 디지털 트윈을 이용한 시각화 기술은 대상체의 전체 상태를 표현하는 것이 아니라 센서가 설치된 국소 부위의 상태만을 계측하고 시각화하기 때문에 대상체를 전체적으로 파악하기 어렵다. 또한 데이터를 실시간으로 시각화하는데 많은 통신량을 필요로 하며, 시각화하고자 하는 물리량 전체를 송수신하기 때문에 통신 환경에 큰 영향을 받는 문제점이 있다.

한국 공개특허공보 제10-2011-0135461호

본 발명은 전술한 문제점을 해결하기 위한 발명으로 대상체의 전체 상태를 시각화하여 직관적인 정보를 실시간으로 전달할 수 있으며, 축소 모델에 기반한 데이터 전송을 통해 통신 환경에 대한 의존성을 줄일 수 있는 실시간 시각화 장치 및 시스템과 실시간 시각화 방법을 제공한다.

다만 이러한 과제는 예시적이며 본 발명에서 해결하고자 하는 과제는 이에 한정되지 않는다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 장치는 증강현실을 이용하여 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 장치로서, 상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 상기 수신한 데이터에 기초하여 전체 응답을 복구하고, 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 시각 모델을 생성하고, 상기 축소 응답은 상기 물리 모델에 모델 차수 축소법(model order reduction method)을 적용하여 획득한 응답이다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 장치에 있어서 상기 축소 응답은 상기 모델 차수 축소법에 따른 전환 행렬에 의해 상기 전체 응답에서 차수 축소된(order reduced) 응답이고, 상기 실시간 시각화 장치는 미리 저장된 상기 전환 행렬을 이용해 상기 축소 응답으로부터 상기 전체 응답을 복구할 수 있다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 장치에 있어서 상기 실시간 시각화 장치는 상기 대상체를 인식하면 상기 시각 모델을 표시할 수 있다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 장치에 있어서 상기 실시간 시각화 장치는 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 상기 대상체의 사진 또는 영상에 상기 시각 모델을 중첩하여 표시하는, 증강현실을 이용한 실시간 시각화 장치. (1) 상기 실시간 시각화 장치가 상기 대상체에 부착된 마커를 인식 (2) 상기 실시간 시각화 장치가 상기 대상체의 형상을 인식 (3) 상기 실시간 시각화 장치가 특정한 위치 정보를 수신

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 장치에 있어서 상기 실시간 시각화 장치는 외부와 통신하며 상기 대상체에 관한 데이터를 수신하는 통신 모듈, 상기 수신한 축소 응답으로부터 상기 전체 응답을 복구하는 연산 모듈, 상기 대상체를 촬영하는 촬영 모듈 및 상기 시각 모델을 표시하는 표시 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 시스템은 증강현실을 이용하여 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 시스템으로서, 상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 상기 수신한 데이터에 기초하여 전체 응답을 복구하고, 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 시각 모델을 생성하는 실시간 시각화 장치, 상기 대상체에 배치되어 상기 대상체의 물리적 상태에 관한 데이터를 수집하는 센서 및 미리 저장된 상기 대상체의 물리 모델에 상기 센서로부터 수신한 데이터를 입력하여 상기 축소 응답을 획득하는 서버를 포함하고, 상기 축소 응답은 상기 물리 모델에 모델 차수 축소법을 적용하여 획득한 응답이고, 상기 실시간 시각화 장치는 상기 서버로부터 상기 축소 응답을 수신한다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 방법은 증강현실을 이용하여 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 방법으로서, 실시간 시각화 장치가 외부에서 상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하는 단계, 상기 실시간 시각화 장치가 상기 수신한 데이터에 기초하여 전체 응답을 복구하는 단계, 상기 실시간 시각화 장치가 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 시각 모델을 생성하는 단계 및 상기 실시간 시각화 장치가 상기 시각 모델을 표시하는 단계를 포함하고, 상기 축소 응답은 상기 물리 모델에 모델 차수 축소법을 적용하여 획득한 응답이다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 방법에 있어서 상기 축소 응답은 상기 모델 차수 축소법에 따른 전환 행렬에 의해 상기 전체 응답에서 차수 축소된 응답이고, 상기 전체 응답을 복구하는 단계는 상기 실시간 시각화 장치가 미리 저장된 상기 전환 행렬을 이용해 상기 축소 응답으로부터 상기 전체 응답을 복구할 수 있다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 방법에 있어서 상기 시각 모델을 표시하는 단계는 상기 실시간 시각화 장치가 상기 대상체를 인식하면 상기 시각 모델을 표시할 수 있다.

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 방법에 있어서 상기 시각 모델을 표시하는 단계는 상기 실시간 시각화 장치가 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 상기 대상체의 사진 또는 영상에 상기 시각 모델을 중첩하여 표시할 수 있다. (1) 상기 실시간 시각화 장치가 상기 대상체에 부착된 마커를 인식 (2) 상기 실시간 시각화 장치가 상기 대상체의 형상을 인식 (3) 상기 실시간 시각화 장치가 특정한 위치 정보를 수신

본 발명의 일 실시예에 따른 증강현실을 이용한 실시간 시각화 방법에 있어서 상기 실시간 시각화 장치가 데이터를 수신하는 단계 전에, 상기 대상체에 배치된 상기 센서가 상기 대상체의 물리적 상태에 관한 데이터를 수집하는 단계 및 서버가 미리 저장된 상기 대상체의 물리 모델에 상기 센서로부터 수신한 데이터를 입력하여 상기 축소 응답을 획득하는 단계를 더 포함하고, 상기 실시간 시각화 장치가 데이터를 수신하는 단계는 상기 실시간 시각화 장치가 상기 서버로부터 상기 축소 응답을 수신할 수 있다.

본 발명의 일 실시예에 따른 기록매체는 전술한 실시간 시각화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능하다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 일 실시예에 따른 실시간 시각화 시스템 및 방법은 대상체의 물리 모델(또는 디지털 트윈)을 구축한 상태에서 센서가 감지한 데이터를 이용해 대상체의 상태를 실시간으로 확인할 수 있다.

특히 본 발명의 일 실시예에 따른 실시간 시각화 시스템 및 방법은 데이터를 물리 모델에 입력(시뮬레이션)하여 획득한 전체 응답을 그대로 송수신하는 것이 아니라 이를 축소된 형태로 획득하여 데이터 송수신에 필요한 시간과 통신량을 최소화할 수 있다.

또한 본 발명의 일 실시예에 따른 실시간 시각화 시스템 및 방법은 이와 같이 축소 응답을 이용함으로써 센서로부터 수신하는 데이터를 이용해 실시간으로 시뮬레이션을 실시하고 이를 바탕으로 시각 모델을 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 시각화 시스템을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 실시간 시각화 장치를 나타낸다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 실시간 시각화 장치가 대상체를 인식하는 상태를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 실시간 시각화 결과를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 실시간 시각화 시스템의 블록도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 실시간 시각화 시스템에 따른 동작을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 축소 응답을 획득하는 상태를 나타낸다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 발명의 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시예로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 일 실시예에 도시되어 있다 하더라도, 동일한 구성요소에 대하여서는 동일한 식별부호를 사용한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하의 실시예에서, x축, y축 및 z축은 직교 좌표계 상의 세 축으로 한정되지 않고, 이를 포함하는 넓은 의미로 해석될 수 있다. 예를 들어, x축, y축 및 z축은 서로 직교할 수도 있지만, 서로 직교하지 않는 서로 다른 방향을 지칭할 수도 있다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 대상체는 물리적인 장치, 시스템 또는 프로세스 등을 의미할 수 있다. 본 명세서에서 물리 모델(또는 디지털 트윈)은 대상체를 소프트웨어적으로 동일하게 구현하여, 데이터를 입력하여 그에 따른 응답을 획득할 수 있는 대상으로서, 유한요소법, 머신러닝 기법 등을 통해 구현될 수 있다. 본 명세서에서 모델 차수 축소법(model order reduction method)은 축소 모델링(reduced order modeling; ROM)을 위한 축소 기법으로 자유도 기반 축소법, 부분 구조 합성법 등을 모두 포함한다. 본 명세서에서 축소 모델은 물리 모델에 모델 차수 축소법을 적용하여 차수가 축소된 모델을 의미한다. 본 명세서에서 전체 응답은 물리 모델에 데이터를 입력하여 획득한 결과값, 즉 물리 모델로부터 계산된 구조물의 물리량(변위, 가속도 및 온도 등) 및 상태를 나타낸다. 본 명세서에서 축소 응답은 물리 모델에 모델 차수 축소법을 적용하여 획득한 응답(예를 들어 전체 응답에 모델 차수 축소법을 적용하여 획득한 응답 또는 축소 모델에 데이터를 입력하여 획득한 응답)을 의미한다. 본 명세서에서 "모델 또는 응답을 획득"하는 것은 소정의 수식을 연산하여 결과값을 얻음을 의미한다.

도 1은 본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)을 나타내고, 도 2는 본 발명의 일 실시예에 따른 실시간 시각화 장치(100)를 나타내고, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 실시간 시각화 장치(100)가 대상체(S)를 인식하는 상태를 나타낸다.

본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 대상체(S)의 온도, 변위, 압력 또는 하중 등을 포함하는 물리 데이터와 증강현실을 이용해 대상체(S)의 상태를 실시간으로 시각화할 수 있다.

도 1에는 대상체(S)를 배관으로 나타냈으나 대상체(S)의 종류는 특별히 한정하지 않는다. 대상체(S)는 기계 장치, 구조물, 플랜트 또는 공장 설비 등 물리적인 장치, 시스템 및 프로세스를 모두 포함할 수 있다.

본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 실시간 시각화 장치(100), 센서(200) 및 서버(300)를 포함할 수 있다.

본 발명의 일 실시예에 따른 실시간 시각화 장치(100)는 증강현실을 이용하여 대상체(S)의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시할 수 있는 장치일 수 있다.

일 실시예로 실시간 시각화 장치(100)는 스마트폰, 태블릿 PC, 랩탑 등 다양한 종류의 사용자 단말 중 어느 하나일 수 있다.

일 실시예로 실시간 시각화 장치(100)는 대상체(S)의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 수신한 데이터에 기초하여 전체 응답을 복구하고, 복구한 전체 응답으로부터 대상체(S)의 시각 모델을 생성할 수 있다.

일 실시예로 실시간 시각화 장치(100)는 통신 모듈(110), 연산 모듈(120), 증강현실 모듈(130), 표시 모듈(140) 및 촬영 모듈(150)을 포함할 수 있다.

통신 모듈(110)은 외부 장치와 데이터를 송수신하거나, 실시간 시각화 장치(100)의 내부에서 다른 구성과 데이터를 송수신할 수 있다.

일 실시예로 통신 모듈(110)은 실시간 시각화 장치(100)의 외부에서 대상체(S)의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신할 수 있다.

보다 구체적으로 물리 모델(또는 디지털 트윈)은 대상체(S)를 소프트웨어적으로 구현한 모델로서 획득하고자 하는 응답 형태(예를 들어 온도, 변위, 속도, 가속도, 응력, 유속 등)에 따라 적절한 지배 방정식을 통해 구현될 수 있다. 대상체(S)의 물리 모델은 실시간 시각화 장치(100)와 별개의 외부 장치에 미리 저장된 상태일 수 있으며, 예를 들어 서버(300)에 미리 저장될 수 있다.

대상체(S)의 물리 모델은 대상체(S)를 소프트웨어적으로 구현한 모델로서, 지배 방정식의 변수에 값을 입력하여 원하는 응답을 획득할 수 있다. 예를 들어 센서(200)가 감지한 대상체(S)의 물리적 데이터를 물리 모델에 입력하여, 대상체(S)의 물리적 상태에 관한 응답을 획득할 수 있다. 이하에서 대상체(S)의 물리 모델에 데이터를 입력하여 어떠한 전처리도 하지 않고 획득한 응답을 전체 응답이라 한다.

일 실시예로 물리 모델은 가상 센서로서, 물리적인 센서인 센서(200)로부터 수신한 데이터를 결합하여 새로운 형태의 값을 만들어낼 수 있다. 예를 들어 물리 모델은 센서(200)로부터 수신한 온도, 변위 등에 기초하여 대상체(S)의 안전 지수 또는 공정 상태 등과 같은 새로운 형태의 값을 나타낼 수 있다.

축소 응답은 물리 모델에 모델 차수 축소법(model order reduction method)을 적용하여 획득한 응답을 의미한다. 예를 들어 모델 차수 축소법을 이용해 물리 모델의 차수를 축소하여 획득한 축소 모델에, 센서(200)가 감지한 대상체(S)의 물리적 상태에 관한 데이터를 입력하여 축소 응답을 획득할 수 있다. 또는 물리 모델에 센서(200)가 감지한 대상체(S)의 물리적 상태에 관한 데이터를 입력하여 전체 응답을 획득하고, 획득한 전체 응답에 모델 차수 축소법을 적용하여 축소 응답을 획득할 수 있다.

일 실시예로 축소 응답은 물리 모델의 특성에 기반하여, 물리 모델에 대상체(S)의 데이터를 입력했을 때 그 응답에 영향을 미치는 핵심 요소를 선정하여, 전환 행렬(transformation matrix; T)을 이용해 축소된 응답일 수 있다.

예를 들어 물리 모델에 센서(200)가 수신한 대상체(S)의 물리 데이터(변위, 속도, 가속도, 온도, 유속 등)를 입력하여 전체 응답을 획득하고, 획득한 전체 응답에 전처리를 실시하여 축소 응답을 연산할 수 있다. 여기서 축소 응답을 획득하기 위한 모델 차수 축소법은 행렬 분해를 이용한 차원 축소 등 공지의 방법이 이용될 수 있다. 예를 들어 Guyan Reduction, Improved Reduction System(IRS), Craig-Bampton Method 또는 Enhanced Craig-Bampton Method 등이 이용될 수 있다.

보다 구체적으로 응답으로서 대상체(S)의 변위를 획득하고자 하는 경우, 아래와 같이 물리 모델의 지배 방정식으로 질량-스프링 시스템에 있어서의 운동 방정식을 이용할 수 있다.

상기 방정식으로 획득한 응답은 가속도(), 속도() 및 변위()의 형태를 갖는다. 또한 물리 모델은 질량 행렬(M), 감쇠 행렬(C) 및 강성 행렬(k)을 갖는다.

이와 같은 물리 모델을 축소하기 위해 전환 행렬(T)이 이용될 수 있다. 전환 행렬(T; 또는 변환 행렬)은 물리 모델에 데이터를 입력하여 획득한 응답에 영향을 미치는 핵심 요소를 선정하여 계산된 행렬로서, 물리 모델의 차수(order; 행렬 또는 벡터의 크기)를 축소하는데 이용될 수 있다. 전환 행렬(T)은 축소 방법의 종류에 따라 달라질 수 있으며, 축소 방법은 전술한 공지의 축소 방법이 이용될 수 있다.

전환 행렬(T)에 의해 축소된 방정식은 다음과 같은 형태를 가질 수 있다.

상기 축소 방정식으로 획득한 응답은 가속도(), 속도() 및 변위()의 형태를 갖는다. 또한 축소 모델(또는 축소 행렬)은 질량 행렬(), 감쇠 행렬() 및 강성 행렬()을 갖는다.

즉 물리 모델 또는 전체 응답에 전환 행렬(T)을 곱하여, 그 행렬 또는 벡터의 크기를 줄여 축소된 형태의 응답을 획득할 수 있다. 본 발명의 일 실시예에 따른 실시간 시각화 장치(100)는 전체 응답이 아니라 이와 같이 축소된 응답을 수신함으로써, 전체 응답을 수신하는 경우에에 비해 통신량을 획기적으로 줄일 수 있다.

일반적인 통신 데이터 압축 기법에 의해 압축된 데이터와 달리, 전환 행렬(T)에 의해 축소된 응답은 전체 응답이 갖는 대상체(S)의 물리 정보(변위, 속도, 가속도, 온도, 유속 등)를 포함할 수 있다.

일 실시예로 센서(200)로부터 대상체(S)의 물리 데이터를 수신하고, 이를 대상체(S)의 물리 모델에 입력하고, 축소 응답을 획득하는 주체는 실시간 시각화 장치(100)의 외부 장치일 수 있다. 예를 들어 상기 동작은 실시간 시각화 장치(100)와 별개의 사용자 단말, 컴퓨팅 장치 또는 기타 연산 장치에 의해 수행될 수 있다. 또는 도 1에 나타낸 서버(300)에 의해 상기 동작이 수행될 수 있다.

다시 도 1로 돌아오면, 전술한 바와 같이 통신 모듈(110)은 외부로부터 대상체(S)의 축소 응답을 수신할 수 있다. 여기서 외부는 서버(300) 또는 별도의 사용자 단말, 컴퓨팅 장치일 수 있다.

연산 모듈(120)은 통신 모듈(110)로부터 전달받은 데이터를 수신하고, 이에 기초하여 전체 응답을 복구할 수 있다.

예를 들어 연산 모듈(120)은 실시간 시각화 장치(100)에 미리 저장된 전환 행렬(T)을 축소 응답에 곱하여, 다시 전체 응답을 복구할 수 있다. 여기서 복구한 전체 응답은 물리 모델에 센서(200)가 감지한 대상체(S)의 물리적 상태에 관한 데이터를 입력하여 획득한 전체 응답과 동일할 수 있다.

이에 따라 실시간 시각화 장치(100)는 전체 응답을 수신할 필요 없이, 이를 축소 응답 형태로 수신한 다음 전환 행렬(T)을 이용해 전체 응답을 획득할 수 있다.

일 실시예로 연산 모듈(120)은 축소 응답의 성분을 분해하고, 이를 GPU의 각 스레드에 작업을 할당하는 병렬 컴퓨팅을 통해 신속하게 전체 응답을 복구할 수 있다.

증강현실 모듈(130)은 연산 모듈(120)이 복구한 전체 응답을 이용해 대상체(S)의 시각 모델을 생성할 수 있다. 증강현실 모듈(130)은 특별히 한정하지 않으며, 전체 응답으로부터 대상체(S)를 시각화할 수 있으면 충분하고, 어플리케이션 또는 프로그램의 형태로 실시간 시각화 장치(100)에 저장될 수 있다. 예를 들어 증강현실 모듈(130)은 실시간 시각화 장치(100)에 미리 저장된 대상체(S)의 물리 모델과 복구한 전체 응답을 입력 받아, 대상체(S)의 시각 모델을 생성하도록 어플리케이션 또는 프로그램 형태로 구현된 플랫폼일 수 있다.

또한 증강현실 모듈(130)은 대상체(S)의 시각 모델을 증강현실(augmented reality)로 구현하여, 표시 모듈(140)과 함께 대상체(S)의 사진 또는 영상과 함께 표시할 수 있다.

표시 모듈(140)은 실시간 시각화 시스템(10), 실시간 시각화 장치(100) 또는 대상체(S)의 현재 상태를 실시간으로 표시할 수 있다. 예를 들어 표시 모듈(140)은 실시간 시각화 장치(100)의 디스플레이로서, 통신 모듈(110)이 수신한 대상체(S)의 데이터 또는 대상체(S)의 시각 모델을 실시간으로 표시할 수 있다.

일 실시예로 실시간 시각화 장치(100)는 대상체(S)를 인식하면 시각 모델을 표시할 수 있다.

예를 들어 실시간 시각화 장치(100)는 대상체(S)에 부착된 마커(M)를 인식하면, 대상체(S)의 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다. 예를 들어 도 3에 나타낸 바와 같이, 후술하는 촬영 모듈(150)이 마커(M)를 인식하면, 표시 모듈(140)은 촬영 모듈(150)이 촬영한 또는 촬영 중인 대상체(S)의 사진이나 영상에 시각 모델을 중첩하여 표시할 수 있다.

마커(M)의 종류는 특별히 한정하지 않으며, 다양한 형상의 패턴 또는 이미지를 이용할 수 있다.

또는 실시간 시각화 장치(100)는 대상체(S)의 형상을 인식하면, 대상체(S)의 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다. 예를 들어 도 4에 나타낸 바와 같이, 대상체(S)의 형상(치수, 외형, 색상, 질감 등)에 관한 정보가 미리 실시간 시각화 장치(100)에 저장된 상태에서, 실시간 시각화 장치(100)는 촬영 모듈(150)이 촬영한 대상체(S)의 사진 또는 영상과 대상체(S)의 형상에 관한 정보를 비교할 수 있다. 그리고 비교 결과 일치하면 표시 모듈(140)은 촬영 모듈(150)이 촬영한 또는 촬영 중인 대상체(S)의 사진이나 영상에 시각 모델을 중첩하여 표시할 수 있다.

또는 실시간 시각화 장치(100)는 위치 정보와 방향을 이용해 대상체(S)의 위치와 방향을 파악하여, 대상체(S)의 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다. 예를 들어 도 5에 나타낸 바와 같이, 실시간 시각화 장치(100)는 내장된 센서(자이로 센서, 가속 센서 또는 모션 센서 등)를 이용해 사용자 또는 실시간 시각화 장치(100)가 지향하는 방향을 감지하고, GPS 센서를 이용해 위치 정보를 수신한다. 그리고 수신한 위치 정보와 방향이 미리 저장된 대상체(S)의 위치 정보 및 방향과 일치하면, 표시 모듈(140)은 촬영 모듈(150)이 촬영한 또는 촬영 중인 대상체(S)의 사진이나 영상에 시각 모델을 중첩하여 표시할 수 있다.

일 실시예로 실시간 시각화 장치(100)는 다음 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 대상체(S)의 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다. (1) 실시간 시각화 장치(100)가 대상체(S)에 부착된 마커(M)를 인식 (2) 실시간 시각화 장치(100)가 대상체(S)의 형상을 인식 (3) 실시간 시각화 장치(100)가 특정한 위치 정보를 수신

이 외에도 실시간 시각화 장치(100)는 다양한 방법으로 대상체(S)를 인식하고, 이에 따라 미리 촬영한 대상체(S)의 사진 또는 영상이나, 대상체(S)가 현재 촬영하고 있는 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다.

도 6은 촬영 모듈(150)이 촬영하고 있는 대상체(S)의 영상에 표시 모듈(140)이 대상체(S)의 시각 모델을 실시간으로 중첩한 상태의 일 예를 나타낸다. 도 6에 나타낸 바와 같이, 표시 모듈(140)은 대상체(S)의 영상에 시각 모델을 나타내고, 대상체(S)의 물리량을 수치와 그래프로 표시할 수 있다. 또한 표시 모듈(140)은 사용자의 입력을 받을 수 있는 터치형 디스플레이 패널로서, 사용자의 입력을 받을 수 있는 메뉴(예를 들어 사용자의 입력에 따라 서로 다른 물리량(예를 들어 압력 또는 변위)을 표시할 수 있는 메뉴)를 표시할 수 있다.

예를 들어 사용자가 표시 모듈(140)이 표시한 압력 메뉴를 선택하면 표시 모듈(140)은 대상체(S)의 압력을 나타내는 시각 모델을 표시할 수 있다. 또는 사용자가 표시 모듈(140)이 표시한 변위 메뉴를 선택하면 표시 모듈(140)은 대상체(S)의 변위를 나타내는 시각 모델을 표시할 수 있다.

촬영 모듈(150)은 대상체(S)의 영상이나 이미지를 촬영할 수 있다. 일 실시예로 촬영 모듈(150)은 카메라로서, 촬영 모듈(150)이 대상체(S)의 사진 또는 영상을 촬영하면, 실시간 시각화 장치(100)는 시각 모델을 사진 또는 영상에 중첩하여 표시할 수 있다.

도 1 및 도 7을 참조하면, 본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 센서(200)와 서버(300)를 더 포함할 수 있다.

센서(200)는 대상체(S)에 하나 이상 배치되어, 대상체(S)의 데이터를 감지 및 수집하고 이를 서버(300) 및/또는 실시간 시각화 장치(100)로 전달할 수 있다. 센서(200)는 반드시 대상체(S)에 부착될 필요는 없으며, 대상체(S)와 이격하여 배치될 수도 있다.

센서(200)의 종류 및 센서(200)가 감지하는 데이터는 특별히 한정하지 않는다. 예를 들어 센서(200)는 적외선 센서, 초음파 센서, 레이저 센서, 온도 센서, 습도 센서, 가속도 센서를 포함하는 센서 중 하나이거나 이들 간의 조합일 수 있다. 또한 센서(200)는 대상체(S)에 배치되어 대상체(S)의 온도, 하중, 변위 등을 측정할 수 있다.

일 실시예로 센서(200)는 유무선으로 서버(300) 및/또는 실시간 시각화 장치(100)와 연결될 수 있다. 센서(200)는 감지한 대상체(S)의 데이터를 실시간으로 서버(300) 및/또는 실시간 시각화 장치(100)로 전송할 수 있다. 예를 들어 도 7에 나타낸 바와 같이, 센서(200)는 감지한 대상체(S)의 데이터를 서버(300)의 통신부(310)로 송신할 수 있다.

서버(300)는 센서(200)로부터 수신한 데이터를 이용해 결과값, 즉 응답을 획득할 수 있다. 예를 들어 서버(300)는 대상체(S)의 물리 모델(또는 디지털 트윈)을 저장하고 있으며, 센서(200)로부터 수신한 데이터를 물리 모델에 입력하여 응답을 획득할 수 있다.

일 실시예로 서버(300)는 통신부(310), 연산부(320) 및 저장부(330)를 포함할 수 있다.

통신부(310)는 실시간 시각화 장치(100) 및 센서(200)를 포함하는 서버(300) 외부의 장치와 통신하는 부분으로서, 통신 방법은 특별히 한정하지 않는다. 예를 들어 WiFi, 블루투스, NFC 등과 같은 근거리 무선 통신을 포함하여 다양한 유무선 통신 방법을 이용할 수 있다.

연산부(320)는 센서(200)로부터 수신한 데이터를 저장부(330)에 미리 저장된 물리 모델에 입력하여 응답을 획득하고, 모델 차수 축소 연산을 실시하며, 물리 모델로부터 축소 모델을 획득할 수 있다.

일 실시예로 물리 모델은 반드시 서버(300)에 미리 저장될 필요는 없으며, 대상체(S)의 외형 정보와 센서(200)로부터 수신한 데이터를 이용해 서버(300)에서 연산하여 획득할 수도 있다.

일 실시예로 연산부(320)는 대상체(S)의 물리 모델에 센서(200)로부터 수신한 데이터를 입력하여 축소 응답을 획득할 수 있다. 즉 연산부(320)는 물리 모델에 데이터를 입력하여 얻은 응답에 축소 전처리를 실시하여 축소 응답을 얻을 수 있다.

예를 들어 연산부(320)는 대상체(S)의 물리 모델에 센서(200)로부터 수신한 데이터를 입력하여 전체 응답을 획득하고, 획득한 전체 응답에 전처리를 실시하여 축소 응답을 획득할 수 있다. 여기서 축소 응답을 획득하기 위한 전처리 방법은 전술한 바와 같은 모델 차수 축소법 등이 이용될 수 있다.

또는 연산부(30)는 물리 모델의 지배 방정식에 따른 축소 방정식을 이용해 대상체(S)의 물리 모델에 센서(200)로부터 수신한 데이터를 입력하여 축소 응답을 획득할 수 있다. 여기서 물리 모델은 연산부(320)에 의해, 또는 미리 축소 방정식이 적용된 형태일 수 있고, 연산부(320)는 센서(200)로부터 수신한 데이터를 축소된 물리 모델에 입력하여 축소 응답을 획득할 수 있다.

보다 구체적으로 응답으로서 대상체(S)의 변위를 획득하고자 하는 경우, 물리 모델의 지배 방정식으로 질량-스프링 시스템에 있어서의 운동 방정식을 이용할 수 있다. 연산부(320)는 센서(200)로부터 수신한 데이터(예를 들어 힘, F)를 물리 모델의 전체 방정식()에 입력하여 전체 응답(U)을 획득하고, 획득한 전체 응답에 축소 전처리를 실시하여 축소 응답()을 획득할 수 있다. 연산부(320)는 축소 응답을 실시간 시각화 장치(100)로 전송할 수 있다. 그리고 실시간 시각화 장치(100)는 후술하는 바와 같이 축소 변환 행렬(T)을 이용해 전체 응답을 복구할 수 있다.

또는 서버(300)는 센서(200)로부터 수신한 데이터()를 축소 방정식()이 미리 적용된 형태의 물리 모델에 입력하여 축소 응답()을 획득할 수 있다. 여기서 센서(200)로부터 수신한 데이터 역시 축소 방정식에 대입하기 위해 적합한 형태로 전처리될 수 있다. 또는 센서(200)가 전처리를 실시하여 서버(300)로 데이터를 전송하거나, 서버(300)가 데이터를 전송받은 다음 전처리를 실시할 수 있다. 그리고 서버(300)는 축소 응답을 실시간 시각화 장치(100)로 전송하고, 실시간 시각화 장치(100)는 축소 변환 행렬(T)을 이용해 전체 응답을 복구할 수 있다.

도 8에는 실시간 시각화 장치(100)이 서버(300)에 요청을 하면 서버(300)가 축소 응답을 전송하는 것으로 나타냈으나 이에 한정하지 않는다. 예를 들어 서버(300)는 실시간 시각화 장치(100)의 요청과 무관하게 실시간으로 데이터를 전송할 수 있으며, 실시간 시각화 장치(100)는 설정된 시간 간격 또는 사용자의 입력에 따라 센서(200)로부터 데이터를 전송받을 수 있다. 또는 서버(300)는 실시간 시각화 장치(100)의 요구 신호가 있을 때 데이터를 전송할 수 있다.

이와 같이 본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 전체 응답 자체를 실시간 시각화 장치(100)로 전송하지 않고, 전체 응답을 압축한 형태의 축소 응답으로 획득하여 실시간 시각화 장치(100)로 전송함으로써 데이터 송수신에 소요되는 시간과 통신량을 최소화할 수 있다.

물리 모델의 지배 방정식으로 질량-스프링 시스템에 있어서의 운동 방정식을 중심으로 설명했으나 이에 한정하지 않는다. 예를 들어 획득하고자 하는 응답이 온도 또는 압력 등 다른 물리량인 경우, 그에 따른 지배 방정식을 적용한 물리 모델을 이용할 수 있다.

이와 같은 구성을 통해 본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 센서(200)가 감지한 대상체(S)의 데이터를 실시간으로 서버(300) 및/또는 실시간 시각화 장치(100)로 전송하고, 이에 기초하여 대상체(S)의 시각 모델을 실시간으로 표시할 수 있다.

특히 본 발명의 일 실시예에 따른 실시간 시각화 시스템(10)은 대상체(S)의 물리 모델로부터 획득한 전체 응답을 그대로 송수신하는 것이 아니라, 이를 축소시킨 축소 응답 형태로 데이터를 송수신하여 통신량과 시간을 줄이고, 이를 통해 대상체(S)를 실시간으로 시각화하여 표시할 수 있다.

도 9는 본 발명의 일 실시예에 따른 실시간 시각화 방법을 나타낸다.

본 발명의 일 실시예에 따른 실시간 시각화 방법은 전술한 실시간 시각화 장치(100) 또는 실시간 시각화 시스템(10)을 이용하여, 대상체(S)의 현재 상태를 실시간으로 시각화하여 나타낼 수 있다.

본 발명의 일 실시예에 따른 실시간 시각화 방법은 실시간 시각화 장치(100)가 외부에서 대상체(S)의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하는 단계, 실시간 시각화 장치(100)가 수신한 데이터에 기초하여 전체 응답을 복구하는 단계, 실시간 시각화 장치(100)가 복구한 전체 응답으로부터 증강현실 모듈(130)을 이용해 대상체(S)의 시각 모델을 생성하는 단계 및 실시간 시각화 장치(100)가 시각 모델을 표시하는 단계를 포함할 수 있다.

먼저 실시간 시각화 장치(100)가 외부로부터 데이터를 수신한다. 여기서 데이터는 대상체(S)의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함할 수 있다.

보다 구체적으로 물리 모델은 전술한 서버(300) 등에 미리 저장된 상태일 수 있다. 서버(300)는 센서(200)로부터 데이터를 수신하여 축소 응답을 획득하고, 이를 실시간 시각화 장치(100)로 송신할 수 있다. 또는 축소 응답은 서버(300)에서 실시간으로 계산한 값이 아닌, 임의의 데이터베이스에 미리 저장된 값이며 실시간 시각화 장치(100)의 요청에 따라 수신된 값일 수 있다.

일 실시예로 축소 응답은 모델 차수 축소법을 이용해 물리 모델로부터 획득한 축소 모델에, 센서(200)가 감지한 대상체(S)의 데이터를 입력하여 획득한 응답일 수 있다.

다음 실시간 시각화 장치(100)는 수신한 데이터, 즉 축소 응답에 기초하여 전체 응답을 복구한다. 예를 들어 실시간 시각화 장치(100)는 연산 모듈(120)을 이용해 축소 응답을 획득하는데 이용된 전환 행렬(T)로 전체 응답을 복구할 수 있다.

다음 실시간 시각화 장치(100)는 복구한 전체 응답으로부터 증강현실 모듈(130)을 이용해 대상체(S)의 시각 모델을 생성한다. 예를 들어 실시간 시각화 장치(100)는 미리 저장된 대상체(S)의 물리 모델과 복구한 전체 응답을 이용해 대상체(S)의 시각 모델을 생성할 수 있다.

그리고 표시 모듈(140)은 대상체(S)의 시각 모델을 대상체(S)의 사진 또는 영상에 중첩하여 표시할 수 있다.

일 실시예로 시각 모델을 생성하는 단계는 실시간 시각화 장치(100)가 대상체(S)를 인식하면, 표시 모듈(140)로 시각 모델을 표시할 수 있다.

일 실시예로 시각 모델을 표시하는 단계는 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 대상체(S)의 사진 또는 영상에 시각 모델을 중첩하여 표시할 수 있다. (1) 실시간 시각화 장치(100)가 대상체(S)에 부착된 마커(M)를 인식 (2) 실시간 시각화 장치(100)가 대상체(S)의 형상을 인식 (3) 실시간 시각화 장치(100)가 특정한 위치 정보를 수신

예를 들어 시각 모델을 표시하는 단계는 실시간 시각화 장치(100)의 촬영 모듈(150)이 대상체(S)에 부착된 패턴 또는 색상이나 이미지 등으로 표현된 마커(M)를 인식하거나, 대상체(S)의 형상을 인식하면, 이를 촬영 모듈(150)이 촬영한 대상체(S)의 사진 또는 영상이나, 촬영 모듈(150)이 촬영하고 있는 대상체(S)의 사진 또는 영상에 중첩하여 시각 모델을 표시할 수 있다.

또는 시각 모델을 표시하는 단계는 실시간 시각화 장치(100)가 대상체(S)의 위치 정보 및 방향을 저장한 상태에서, 상기 위치 정보 및 방향에 대응되는 정보를 수신 또는 감지할 경우, 이를 촬영 모듈(150)이 촬영한 대상체(S)의 사진 또는 영상이나, 촬영 모듈(150)이 촬영하고 있는 대상체(S)의 사진 또는 영상에 중첩하여 시각 모델을 표시할 수 있다.

일 실시예로 실시간 시각화 방법은 실시간 시각화 장치(100)가 데이터를 수신하는 단계 전에, 대상체(S)에 배치된 센서(200)가 대상체(S)의 물리적 상태에 관한 데이터를 수집하는 단계 및 서버(300)가 미리 저장된 대상체(S)의 물리 모델에 센서(200)로부터 수신한 데이터를 입력하여 축소 응답을 획득하는 단계를 더 포함할 수 있다.

예를 들어 센서(200)는 대상체(S)에 하나 이상 배치되어, 대상체(S)의 물리적 상태에 관한 데이터(예를 들어 변위, 속도, 가속도, 온도, 유속 등)를 수집하고, 이를 서버(300)의 통신부(310)로 전달할 수 있다.

그리고 서버(300)는 센서(200)로부터 전달받은 데이터를, 미리 저장된 물리 모델에 입력하여 축소 응답을 획득할 수 있다.

예를 들어 서버(300)의 연산부(320)는 통신부(310)로부터 데이터를 전달받고, 이를 저장부(330)에 저장된 물리 모델에 입력하여 전체 응답을 획득할 수 있다. 또한 연산부(320)는 모델 차수 축소법을 통해 전체 응답으로부터 축소 응답을 획득할 수 있다.

일 실시예로 서버(300)는 전환 행렬(T)을 이용해 물리 모델로부터 축소 모델을 획득하고, 축소 모델에 센서(200)가 감지한 데이터를 입력하여 축소 응답을 획득할 수 있다.

일 실시예로 실시간 시각화 장치(100)는 서버(300)로부터 축소 응답을 수신할 수 있다. 즉 실시간 시각화 장치(100)는 서버(300)가 획득한 축소 응답을 수신하고, 이를 전환 행렬(T)을 이용해 전체 응답으로 복구할 수 있다. 또한 실시간 시각화 장치(100)는 복구한 전체 응답과 미리 저장된 대상체(S)의 물리 모델을 이용해 대상체(S)의 시각 모델을 생성하고 표시할 수 있다.

본 발명의 일 실시예에 따른 실시간 시각화 장치(100), 시스템(10) 및 방법은 대상체(S)의 물리 모델(또는 디지털 트윈)을 구축한 상태에서 센서(200)가 감지한 데이터를 이용해 대상체(S)의 상태를 실시간으로 확인할 수 있다.

특히 본 발명의 일 실시예에 따른 실시간 시각화 장치(100), 시스템(10) 및 방법은 데이터를 물리 모델에 입력(시뮬레이션)하여 획득한 전체 응답을 그대로 송수신하는 것이 아니라 이를 축소된 형태로 획득하여 데이터 송수신에 필요한 시간과 통신량을 최소화할 수 있다.

또한 본 발명의 일 실시예에 따른 실시간 시각화 장치(100), 시스템(10) 및 방법은 이와 같이 축소 응답을 이용함으로써 센서(200)로부터 수신하는 데이터를 이용해 실시간으로 시뮬레이션을 실시하고 이를 바탕으로 시각 모델을 생성할 수 있다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

이와 같이 도면에 도시된 실시예를 참고로 본 발명을 설명하였으나, 이는 예시에 불과하다. 해당 기술 분야에서 통상의 지식을 갖는 자라면 실시예로부터 다양한 변형 및 균등한 일 실시예가 가능하다는 점을 충분히 이해할 수 있다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 기초하여 정해져야 한다.

실시예에서 설명하는 특정 기술 내용은 일 실시예들로서, 실시예의 기술 범위를 한정하는 것은 아니다. 발명의 설명을 간결하고 명확하게 기재하기 위해, 종래의 일반적인 기술과 구성에 대한 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재는 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로 표현될 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

발명의 설명 및 청구범위에 기재된 "상기" 또는 이와 유사한 지시어는 특별히 한정하지 않는 한, 단수 및 복수 모두를 지칭할 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 또한, 실시예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시예들이 한정되는 것은 아니다. 실시예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시예를 상세히 설명하기 위한 것으로서 청구범위에 의해 한정되지 않는 이상, 상기 예들 또는 예시적인 용어로 인해 실시예의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

10: 실시간 시각화 시스템
100: 실시간 시각화 장치
200: 센서
300: 서버
S: 대상체

Claims (12)

1. 증강현실을 이용하여 물리적인 장치, 시스템 또는 프로세스인 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 장치로서,
   상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 상기 수신한 데이터에 기초하여 전체 응답을 복구하고, 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 온도, 변위, 압력 또는 하중을 포함하는 물리적 상태를 시각화한 시각 모델을 생성하고,
   상기 축소 응답은 상기 물리 모델에 모델 차수 축소법(model order reduction method)을 적용하여 획득한 응답인, 증강현실을 이용하는 실시간 시각화 장치로서,
   상기 실시간 시각화 장치는 상기 대상체에 부착되어 상기 대상체의 물리적 상태에 관한 데이터를 감지하는 센서를 포함하고,
   상기 실시간 시각화 장치는 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 상기 대상체의 사진 또는 영상에 상기 시각 모델을 중첩하여 표시하는, 증강현실을 이용한 실시간 시각화 장치.
   (1) 상기 실시간 시각화 장치가 상기 대상체에 부착된 마커를 인식
   (2) 상기 실시간 시각화 장치가 상기 대상체의 형상을 인식
   (3) 상기 실시간 시각화 장치가 특정한 위치 정보를 수신
2. 제1 항에 있어서,
   상기 축소 응답은 상기 모델 차수 축소법에 따른 전환 행렬에 의해 상기 전체 응답에서 차수 축소된(order reduced) 응답이고,
   상기 실시간 시각화 장치는 미리 저장된 상기 전환 행렬을 이용해 상기 축소 응답으로부터 상기 전체 응답을 복구하는, 증강현실을 이용한 실시간 시각화 장치.
3. 삭제
4. 삭제
5. 제1 항에 있어서,
   상기 실시간 시각화 장치는
   외부와 통신하며 상기 대상체에 관한 데이터를 수신하는 통신 모듈;
   상기 수신한 축소 응답으로부터 상기 전체 응답을 복구하는 연산 모듈;
   상기 대상체를 촬영하는 촬영 모듈; 및
   상기 시각 모델을 표시하는 표시 모듈;을 포함하는, 증강현실을 이용한 실시간 시각화 장치.
6. 증강현실을 이용하여 물리적인 장치, 시스템 또는 프로세스인 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 시스템으로서,
   상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하고, 상기 수신한 데이터에 기초하여 전체 응답을 복구하고, 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 온도, 변위, 압력 또는 하중을 포함하는 물리적 상태를 시각화한 시각 모델을 생성하는 실시간 시각화 장치;
   상기 대상체에 배치되어 상기 대상체의 물리적 상태에 관한 데이터를 수집하는 센서; 및
   미리 저장된 상기 대상체의 물리 모델에 상기 센서로부터 수신한 데이터를 입력하여 상기 축소 응답을 획득하는 서버;를 포함하고,
   상기 축소 응답은 상기 물리 모델에 모델 차수 축소법을 적용하여 획득한 응답이고,
   상기 실시간 시각화 장치는 상기 서버로부터 상기 축소 응답을 수신하고,
   상기 실시간 시각화 장치는 상기 대상체에 부착되어 상기 대상체의 물리적 상태에 관한 데이터를 감지하는 센서를 포함하고,
   상기 실시간 시각화 장치는 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 상기 대상체의 사진 또는 영상에 상기 시각 모델을 중첩하여 표시하는, 증강현실을 이용한 실시간 시각화 시스템.
   (1) 상기 실시간 시각화 장치가 상기 대상체에 부착된 마커를 인식
   (2) 상기 실시간 시각화 장치가 상기 대상체의 형상을 인식
   (3) 상기 실시간 시각화 장치가 특정한 위치 정보를 수신
7. 증강현실을 이용하여 물리적인 장치, 시스템 또는 프로세스인 대상체의 물리적 상태를 반영하는 시각 모델을 실시간으로 표시하는 방법으로서,
   실시간 시각화 장치가 외부에서 상기 대상체의 물리적 상태를 나타내는 물리 모델로부터 획득한 축소 응답을 포함하는 데이터를 수신하는 단계;
   상기 실시간 시각화 장치가 상기 수신한 데이터에 기초하여 전체 응답을 복구하는 단계;
   상기 실시간 시각화 장치가 상기 복구한 전체 응답으로부터 증강현실 모듈을 이용해 상기 대상체의 온도, 변위, 압력 또는 하중을 포함하는 물리적 상태를 시각화한 시각 모델을 생성하는 단계; 및
   상기 실시간 시각화 장치가 상기 시각 모델을 표시하는 단계;를 포함하고,
   상기 축소 응답은 상기 물리 모델에 모델 차수 축소법을 적용하여 획득한 응답이고,
   상기 데이터를 수신하는 단계는 상기 실시간 시각화 장치에 포함되며 상기 대상체에 부착된 센서가 상기 대상체의 물리적 상태에 관한 데이터를 감지하고,
   상기 시각 모델을 표시하는 단계는 이하의 (1) 내지 (3) 중 적어도 어느 하나를 포함하는 조건을 만족하면, 상기 대상체의 사진 또는 영상에 상기 시각 모델을 중첩하여 표시하는, 증강현실을 이용한 실시간 시각화 방법.
   (1) 상기 실시간 시각화 장치가 상기 대상체에 부착된 마커를 인식
   (2) 상기 실시간 시각화 장치가 상기 대상체의 형상을 인식
   (3) 상기 실시간 시각화 장치가 특정한 위치 정보를 수신
8. 제7 항에 있어서,
   상기 축소 응답은 상기 모델 차수 축소법에 따른 전환 행렬에 의해 상기 전체 응답에서 차수 축소된(order reduced) 응답이고,
   상기 전체 응답을 복구하는 단계는 상기 실시간 시각화 장치가 미리 저장된 상기 전환 행렬을 이용해 상기 축소 응답으로부터 상기 전체 응답을 복구하는, 증강현실을 이용한 실시간 시각화 방법.
9. 삭제
10. 삭제
11. 제7 항에 있어서,
    상기 실시간 시각화 장치가 데이터를 수신하는 단계 전에,
    상기 대상체에 배치된 센서가 상기 대상체의 물리적 상태에 관한 데이터를 수집하는 단계; 및
    서버가 미리 저장된 상기 대상체의 물리 모델에 상기 센서로부터 수신한 데이터를 입력하여 상기 축소 응답을 획득하는 단계를 더 포함하고,
    상기 실시간 시각화 장치가 데이터를 수신하는 단계는 상기 실시간 시각화 장치가 상기 서버로부터 상기 축소 응답을 수신하는, 실시간 시각화 방법.
12. 제7항, 제8항 및 제11항 중 어느 한 항에 기재된 실시간 시각화 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images