KR102343601B1

KR102343601B1 - 6dof 온라인 멀티 플레이어 vr 관광체험 시스템

Info

Publication number: KR102343601B1
Application number: KR1020200051755A
Authority: KR
Inventors: 정념; 신재중
Original assignee: 주식회사 드론오렌지; 주식회사 피엔아이컴퍼니
Priority date: 2020-04-28
Filing date: 2020-04-28
Publication date: 2021-12-27
Also published as: KR20210133058A

Abstract

본 발명에 의하면, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(10); 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 컨텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20); 번들 버전을 가진 애셋 번들이 내재된 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30); 실제 공간에 대하여 가상에 매칭되도록 모션을 제공하기 위한 시뮬레이터부(40); 및 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템이 제공된다.

Description

6DOF 온라인 멀티 플레이어 VR 관광체험 시스템{Tourism experience system with 60DOF online multi-player}

본 발명은 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 관한 것으로서, 보다 상세하게는 2인 이상의 사용자가 6DOF(Six Derees of Freedom)을 활용하여 가상의 공간에서 함께 여행하는 것을 체험할 수 있을 뿐만 아니라, 헤드 마운트 디스플레이의 장착으로 인하여 가상의 체험 공간 내에서 사용들끼리 충돌되어 발생될 수 있는 사고를 미연에 방지할 수 있는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 관한 것이다.

여가생활을 즐기는 인구가 증가함에 따라 말타기, 자동차 운전, 비행기 운전 등과 같이 실제 체험하는 레저활동 또는 여가생활이 증가하고 있다.

그러나 이러한 레저활동 또는 여가생활을 위해서는 라이센스를 따거나 장시간 교육을 받아야하는 불편함이 있을 뿐만 아니라, 시간적으로나 비용적으로 사용자에에 많은 부담이 있었다.

최근에 이러한 불편함을 해소하기 위하여 가상체험 시뮬레이션 장치가 도입되고 있다.

이와 관련하여 공개특허공보 제10-2011-0123302호 '시뮬레이션 체험관'에는 전방에 커다란 디스플레이가 설치되고, 이들 디스플레이에서 표시되는 화면을 볼 수 있도록 후방에 다수의 사용자 시트가 설치된다. 이러한 시트는 피스톤 등으로 구성되는 모션장치에 의하여 전후좌우로 움직일 수 있도록 설치되는 기술을 개시하고 있다.

이 때, 사용자가 시트에 안착한 상태에서 전방에서 표시되는 시뮬레이션 화면을 주시하고, 시뮬레이션 화면과 연동되게 프로그램된 모션장치가 구동되면서 사용자가 앞으로 기울어 지거나 좌우로 기울어지게 하여 가상으로 체험할 수 있게 되어 있다.

그러나, 이와 같이 구성되는 종래 가상체험 시뮬레이션 장치는 전방에 커다란 디스플레이가 마련되고 있는데, 시트에 탑승한 체험자가 전방을 주시하여야 시뮬레이션 화면을 볼 수 밖에 없어 체험자가 시선을 다른 데로 돌리게 되면 화면이 보이지 않게 되어 가상체험의 리얼리티가 떨어지는 문제가 있다.

또한, 이러한 리얼리티가 떨어지는 문제를 해결하기 위해 디스플레이를 대화면으로 구성할 수 있으나 그러한 경우 디스플레이의 대형화 한계로 인하여 복수개의 디스플레이를 설치하여야 하는데 이러한 경우 디스플레이와 디스플레이 경계(베젤)가 보일 수 밖에 없어 오히려 시뮬레이션의 리얼리티를 더 떨어트리게 되는 문제가 발생된다.

이러한 문제점으로 인하여 입체영상 키오스크와 관련된 기술이 실용신안등록 제20-447950호에 제안되었다.

그러나, 이러한 기술에 의하더라도 기존 VR 체험은 HMD를 착용하고 개인별 시각과 청각을 이용한 단순한 체험 형태이기 때문에 현실감과 생동감이 떨어지는 문제점이 있을 뿐만 아니라, 단지 입체 영상정보만을 제공하기 때문에 현실감이 사실적으로 구현되지 못하는 문제점이 있다.

더욱이, 관광체험을 가상공간에서 실현하기 위해서는 가이드와 함께 동반하는 사용자들의 동작과 이들에 대한 위치 좌표공간의 불확실성으로 인하여 사용자들 사이에 충돌로 인한 안전사고가 빈번히 일어나고 있을 뿐만 아니라, 관광 가이드와의 상호작용을 구현하지 못하는 문제점이 있다.

따라서 이러한 문제점을 해결할 수 있는 기술의 개발이 요구되고 있다.

따라서 본 발명의 목적은 가상의 관광체험에 필요한 가이드 정보와 가이드 사이의 상호 작용을 보다 효율적으로 진행할 수 있으며, 복수의 사용자들 사이에 발생되는 안전 사고를 미연에 방지할 수 있는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템을 제공하는 것이다.

본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(헤드 마운티드 디스플레이; 10), 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20), 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30), 가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40), 및 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템이 제공된다.

여기서, HMD(10)는 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)와 3D 영상이 디스플레되는 디스플레이부(14)를 구비하는 것이 바람직하다.

또한, 디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전일 경우 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시키는 것이 바람직하다.

또한, HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어지며, 가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어지는 것이 바람직하다.

또한, HMD(10)는 설치된 프로그램을 통해 URL 주소를 전송하여 컨텐츠 서버(30)로부터 리소스에 관한 데이터를 제공받는 것이 바람직하다.

따라서 본 발명에 의하면 가상의 관광체험에 필요한 가이드 정보와 가이드 사이의 상호 작용을 보다 효율적으로 진행할 수 있으며, 복수의 사용자들 사이에 발생되는 안전 사고를 미연에 방지할 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템의 개략도이다.
도 2은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 있어서 HMD의 구성도이다.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템의 개략도이다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(헤드 마운티드 디스플레이; 10), 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20), 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30), 가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40), 및 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템이 제공된다.

HMD(10)는 체험자가 머리에 착용하여 개별적으로 시뮬레이션 영상을 볼 수 있도록 하는 것으로서, 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 디스플레이부(14)를 구비한다.

디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전 또는 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시킨다.

한편, HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어진다.

체험자용 HMD(10A)와 가이드용 HMD(10B)는 무선기능을 통하여 인터넷망에 접속된다.

가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어진다.

6자유도 센서부(12)는 MCU 칩에서 실시간 출력되는 원시 데이터를 사용하여 오일러각을 계산하여, 즉 실시간의 가속도 및 각속도 데이터를 사용하여 공간상에서의 센서의 회전각을 가속도계의 데이터와 자이로 센서의 데이터를 융합한 보상 필터 방식으로 출력된다.

DB서버(20)는 웹서버 또는 스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 콘텐츠에 대하여 URL 응답형태로 제공한다.

DB서버(20)는 URL(Uniform Resource Locator) 주소를 HMD(10)에 제공한다. HMD(10)는 URL 주소를 전송하며, HMD(10)은 DB서버(20)로부터 입력받은 URL을 통하여 컨텐츠 서버(30)에 접속하여 컨텐츠 서버(30)에 저장된 컨텐츠의 데이터 버전과 HMD(10)에 저장된 컨텐츠의 데이터 버전을 비교한다.

이 때, HMD(10)에 저장된 컨텐츠의 데이터 버전과 컨텐츠 서버(30)에 저장된 컨테츠의 데이터 버전이 같을 경우 HMD(10)은 자체 내에 저장된 컨텐츠를 독출하며, HMD(10)에 저장된 컨텐츠의 데이터 버전이 컨텐츠 서버(30)에 저장된 컨테츠의 데이터 버전보다 낮을 경우(마이너일 경우) HMD(10)은 컨텐츠 서버(30)에 저장된 컨텐츠에 관한 데이터를 갱신하며, 필요에 따라 DB서버(20)에 새로운 URL 주소 변경이 되도록 한다.

HMD(10)는 각 실제객체마다 미리 할당된 3차원 가상영상의 가상객체를 표시한다.

컨텐츠 서버(30)는 애셋 번들을 위한 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공한다.

여기서, 에셋 번들은 유니티 내에 존재하는 리소스에 관한 에셋(스크립트, 프리팹, 사운드, 텍스쳐, 머티리얼 등)을 묶음(Bundle)으로 만들어 외부 스토리지에 로드하여 사용하게 되며, 스토어에서는 분할된 용량별로 다운받으며, 가상체험 데이터 인스톨 후 나머지 에셋 번들을 분할된 용량별로 다운로드된다.

시뮬레이터부(40)는 HMD(10)의 착용자가 위치한 실제 공간에 대하여 가상 공간에 매칭되도록 모션을 제공한다.

제어부(50)는 HMD(10)을 소지한 사용자의 현재위치와 모션 정보를 파악하며, HMD(10)에서 선택된 적어도 하나 이상의 가상객체의 자세는 3차원 자세정보에 동기되어 변경될 수 있도록 한다.

이때, HMD(10)에서 선택된 적어도 하나 이상의 가상객체의 좌표는 실제영상정보에 대한 공간 좌표계에서 HMD(10)의 모바일 좌표계로 변경되고, 선택 해제된 가상객체의 좌표는 HMD(10)의 모바일 좌표계에서 실제영상정보에 대한 공간 좌표계로 변경된다. 사용자가 HMD(10)을 3차원적으로 움직일 경우, 선택된 가상객체는 그 3차원적인 움직임에 동기되어 자세가 자동 변경된다. 6자유도 센서부(12)는 HMD(10)의 3차원적인 움직임을 감지할 뿐만 아니라 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.

이후, HMD(10)에 대하여 가상객체가 선택되면, 선택된 가상객체가 HMD(10)의 디스플레이부(14)로 전송된다. 이 때, 가상객체의 기준 좌표계를 공간 좌표계에서 HMD(10)의 좌표계로 변경된다.

이후, 가상객체가 입력되는 상태에서 HMD(10)을 이동/회전하면, HMD(10)에 연결된 가상객체의 이동/회전 정보가 HMD(10)의 3차원 움직임에 동기에 3차원적으로 변경된다.

이후, 가상객체가 입력되지 않도록 하면 가상객체가 HMD(10)에서 분리된다. 그에 따라 가상객체의 기준 좌표계가 HMD(10)의 좌표계에서 공간 좌표계로 변경된다.

제어부(50)는 HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어한다.

본 발명의 다른 실시예에 따른 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템에 의하면, 체험자용 HMD(10A)와 가이드용 HMD(10B)를 각각 착용한 사용자들이 가상의 공간에서 움직이면서 발생되는 안전사고를 방지하기 위하여, 각 체험자와 가이드가 착용하고 있는 HMD(10)에는 각 HMD(10)에 대하여 각각의 식별표지의 데이터를 생성하기 위한 식별표지 생성부(16)를 더 구비한다. 식별표지 생성부(16)는 각 HMD(10)의 움직임에 따른 착용자의 위치에 관한 데이터를 포함하여 생성하며, 제어부(50)로 입력한다.

한편, 제어부(50)는 각 HMD(10)를 착용하고 있는 사용자들에 관한 실 공간 좌표에 대한 데이터를 이차원 위치 좌표로 배열하며, 각 식별표지 생성부(16)에 의하여 생성된 위치에 관한 데이터에 따라 이들 HMD(10)을 착용하고 있는 사용자들 사이에 대한 상대적 거리 정보를 생성하며, 일정 거리 이하로 근접될 경우 이에 대한 정보를 HMD(10)의 디스플레이부(14)에 표시하거나 알람 정보를 HMD(10)으로 전송한다.

따라서 HMD(10)을 착용한 상태에서 거동하는 HMD(10)의 착용자들 사이에서 발생되는 안전사고를 미연에 방지할 수 있다.

10: HMD
12: 6자유도 센서부
14: 디스플레이부
16: 식별표지 생성부
20: DB서버
30: 컨텐츠 서버
40: 시뮬레이터부
50: 제어부

Claims

체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)를 구비하며 3D 영상이 디스플레되는 HMD(10);
스토리지를 구축하며 3차원 가상공간 실현에 필요한 프로그램이 내재되며 3D 영상의 컨텐츠에 대하여 URL(uniform resource locator) 응답형태로 제공하기 위한 DB서버(20);
번들 버전을 가진 애셋 번들이 내재된 서버로 이루어지며 온라인을 통하여 요청된 URL과 번들 버전을 비교분석하여 요청에 맞는 컨텐츠를 제공하기 위한 컨텐츠 서버(30);
가상 공간에 매칭되도록 HMD(10)의 착용자가 위치한 공간에 대하여 모션을 제공하기 위한 시뮬레이터부(40); 및
HMD(10)의 구동신호에 따라 DB서버(20)로부터 URL을 입력받아 HMD(10)와 시뮬레이터부(40)를 제어하기 위한 제어부(50)를 포함하며,
HMD(10)은 가상 관광을 체험하고자 하는 사용자가 착용하기 위한 체험자용 HMD(10A)와 체험자용 HMD(10A)을 착용한 사용자에 대하여 관광 체험을 가이드하기 위한 가이드가 착용하기 위한 가이드용 HMD(10B)로 이루어지며,
가이드용 HMD(10B)에는 체험자용 HMD(10A)의 사용자와 달리 가이드용 콘트롤 패널이 접속되며, 콘트롤 패널에는 다수의 사용자에게 보여줄 컨텐츠를 제어하는 기능이 수행되도록 하기 위한 인터페이스로 이루어지며,
HMD(10)는 설치된 프로그램을 통해 URL 주소를 전송하여 컨텐츠 서버(30)로부터 리소스에 관한 데이터를 제공받으며,
에셋 번들은 유니티 내에 존재하는 리소스에 에셋(스크립트, 프리팹, 사운드, 텍스쳐, 머티리얼 등)을 묶음(Bundle)으로 만들어 외부 스토리지에 로드하여 사용하게 되며, 스토어에서는 분할된 용량별로 다운받으며, 가상체험 데이터 인스톨 후 최초 접속시 컨텐츠 서버(30)를 통해 나머지 에셋 번들을 분할된 용량별로 다운로드되는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.
제1항에 있어서, HMD(10)는 체험자의 헤드 자세에 관련된 6 자유도를 검지하기 위한 6자유도 센서부(12)와 3D 영상이 디스플레되는 디스플레이부(14)를 구비하는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.
제2항에 있어서, 디스플레이부(14)는 착용시 사용자의 각 눈에 보여줄 디스플레이 스크린이 2개 존재하며, 초기 프로그램 구동시 DB서버(20)로부터 컨텐츠 URL을 JSON 형태로 제공받아 로컬 메모리에 저장된 리스트와 비교후 마이너 버전일 경우 컨텐츠 서버(30)에 접속하여 필요한 컨텐츠를 다운받아 갱신시키는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.
삭제
삭제
제1항 내지 제3항 중의 어느 한 항에 있어서, HMD(10)는 실제영상정보의 각 실제객체마다 미리 할당된 3차원 가상영상의 가상객체를 증강하여 표시하며,
HMD(10)의 URL 주소에 연결될 경우, 가상현실 컨텐츠가 표시되는 체험화면을 디스플레이하는 것을 특징으로 하는 6DOF 온라인 멀티 플레이어 VR 관광체험 시스템.
삭제