Nothing Special   »   [go: up one dir, main page]

KR102434402B1 - 혼합현실 콘텐츠를 제공하는 장치 및 방법 - Google Patents

혼합현실 콘텐츠를 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR102434402B1
KR102434402B1 KR1020170120574A KR20170120574A KR102434402B1 KR 102434402 B1 KR102434402 B1 KR 102434402B1 KR 1020170120574 A KR1020170120574 A KR 1020170120574A KR 20170120574 A KR20170120574 A KR 20170120574A KR 102434402 B1 KR102434402 B1 KR 102434402B1
Authority
KR
South Korea
Prior art keywords
information
image
degree
mixed reality
interest
Prior art date
Application number
KR1020170120574A
Other languages
English (en)
Other versions
KR20190032084A (ko
Inventor
김낙우
이병탁
이세형
이현용
이형옥
김영선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170120574A priority Critical patent/KR102434402B1/ko
Priority to US15/794,191 priority patent/US10674077B2/en
Publication of KR20190032084A publication Critical patent/KR20190032084A/ko
Application granted granted Critical
Publication of KR102434402B1 publication Critical patent/KR102434402B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

혼합현실 콘텐츠를 제공하는 장치가 개시된다. 이 장치는 360도 VR 영상 내의 관심객체를 인식하고 상기 관심객체에 대한 메타데이터를 생성하여, 상기 360도 VR 영상에 상기 메타데이터가 오버레이된 혼합현실 콘텐츠를 사용자에게 제공한다.

Description

혼합현실 콘텐츠를 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING MIXED REALITY CONTENT}
본 발명은 혼합현실 콘텐츠를 제공하는 장치 및 방법에 관한 것으로, 특히 360도 가상 현실 영상(360-degrees Virtual Reality image) 기반의 혼합현실 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.
360도 VR(Virtual Reality) 기술은 일반적인 가상현실과는 달리 360도의 영역을 촬영한 다수의 영상들을 다양한 영상 처리 기법(image process technique)에 따라 처리하여 HMD(Head Mounted Display)과 같은 영상 표시 장치 등을 이용하여 사용자에게 현장감(sense of realism) 및 몰입감(immersiveness) 있는 영상을 제공하는 기술을 말한다.
360도 영역을 촬영한 다수의 영상들은 하나의 파라볼릭 렌즈(parabolic lens), 다수의 어안렌즈(fish eye lens) 또는 다수의 일반렌즈를 장착한 카메라군(camera group) 등을 이용하여 획득할 수 있다.
카메라군을 통해 획득된 다수의 영상들은 스티칭(stitching) 과정을 거처 하나의 등장방형도법(equirectangular) 영상으로 변환된다. 여기서, 스티칭(stitching)은 다수의 영상들을 이어 붙이는 작업을 말한다.
상기 등장방형도법 영상은 파노라마 영상(panorama image)을 재생할 수 있는 HMD 등과 같은 영상 표시 장치를 통해, 사용자는 360도 VR 영상을 시청할 수 있게 된다.
이러한 360도 VR 기술은 게임 및 교육 분야뿐 아니라 산업현장 상황 모니터링, 유지보수 및 정비, 제품 및 부품 프로토타이핑(prototyping) 등에서 사용될 수 있다.
다만, 지금까지 개발된 360도 VR 기술은 VoD(Video on Demand) 방송 혹은 실시간 방송에 제한적으로 활용되고 있고, 산업 현장에서 발생하는 다양한 상황을 실시간으로 분석하기 위한 솔루션으로 활용되지 않고 있다.
본 발명은, 다양한 상황을 실시간으로 분석할 수 있는 혼합현실 콘텐츠를 제공하는 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한, 본 발명의 일면에 따른 혼합현실 콘텐츠 제공방법은, 다수의 카메라를 포함하는 영상획득부로부터 360도 영역을 촬영한 다수의 영상, 디바이스 정보 및 캡쳐 정보를 획득하는 단계, 상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 단계, 상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 단계, 상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식하여 객체 인식 정보를 획득하는 단계, 센서부로부터 상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 획득하는 단계, 상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하는 단계 및 상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하고, 상기 혼합현실 콘텐츠를 전자 장치에 제공하는 단계를 포함한다.
상술한 목적을 달성하기 위한, 본 발명의 다른 일면에 따른 혼합현실 콘텐츠 제공하는 장치는, 다수의 카메라를 포함하고, 상기 다수의 카메라로부터 360도 영역을 촬영한 다수의 영상, 상기 다수의 카메라의 디바이스 정보 및 상기 다수의 영상을 촬영하는 과정에서 생성되는 캡쳐 정보를 출력하는 영상 획득부, 상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 스티칭부, 상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 영상 변환부, 상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식한 객체 인식 정보를 출력하는 객체 인식부, 상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 출력하는 센서부 및 상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하고, 상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하여, 상기 혼합현실 콘텐츠를 디스플레이하는 전자 장치에 제공하는 혼합현실 관리서버를 포함한다.
본 발명에 따르면, 360도 VR 영상 내의 관심객체를 인식하고 상기 관심객체에 대한 메타데이터를 생성하여, 상기 360도 VR 영상에 상기 메타데이터가 오버레이된 혼합현실 콘텐츠를 사용자에게 제공함으로써, 산업 현장에서 발생하는 다양한 상황을 실시간으로 분석할 수 있는 솔루션으로 활용될 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 혼합현실 제공장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 등장방형도법 기반의 360도 VR 영상의 표현 방식을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 360도 VR 영상을 등장방형도법에 따라 변형하는 경우에서 영상의 변형 정도를 나타내는 변형 패치의 일 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 혼합현실 관리서버의 내부구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일 실시 예에 따라 객체 식별자 테이블에 기록된 객체명을 센싱 정보 식별자 테이블의 객체명 필드에 대입하는 방법을 도식적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서 디스플레이되는 혼합현실 콘텐츠의 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 혼합현실 콘텐츠의 제공방법을 나타내는 흐름도이다.
도 8은 도 7에 도시한 메타데이터의 생성 과정(S760)을 상세히 나태는 흐름도이다.
도 9는 도 8에 도시된 센싱 정보 식별자 테이블의 생성 과정(S767)를 상세히 나타낸 흐름도이다.
도 10은 도 7에 도시된 객체 인식 정보의 획득 과정(S740)을 상세히 나태는 흐름도이다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 혼합현실 제공장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 혼합현실 제공장치(500)는 영상획득부(100), 센서부(200), 서버(300) 및 다수의 전자 장치(400)를 포함한다.
영상 획득부(100)는 다수의 카메라를 포함하도록 구성될 수 있다. 다수의 카메라는 360도 영역을 촬영하도록 배치될 수 있다. 따라서, 다수의 카메라는 360도 영역 내에서 임의의 영역에 위치하는 실제 객체(10)를 촬영할 수 있다. 다수의 카메라는 360도 VR 영상을 촬영하기 위한 전용 카메라일 수 있다.
다른 실시 예로, 상기 영상 획득부(100)는 하나의 카메라로 구성될 수도 있다. 이 경우, 하나의 카메라가 회전하면서 360도 영역을 촬영할 수 있다.
이러한 영상 획득부(100)는 360도 영역을 촬영하여 다수의 영상을 획득할 수 있으며, 이를 서버(300)에 제공할 수 있다. 다수의 영상은 360도 VR 영상으로 지칭될 수 있다. 이 경우, 360도 VR 영상은 스티칭되지 않은 영상일 수 있다.
또한, 영상 획득부(100)는 다수의 영상 외에 카메라의 제조사명, 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호 등을 포함하는 디바이스 정보(device information)를 획득할 수 있으며, 이를 서버(300)에 제공할 수 있다. 여기서, 카메라 리그(Rig) 정보는 상기 카메라들의 배열 형태를 나타내는 정보일 수 있다. 상기 카메라들의 배열 형태는, 예를 들면, 큐빅(cubic) 형태인지 또는 구(sphere) 형태 등을 포함할 수 있다.
또한, 영상 획득부(100)는 360도 VR 영상을 획득하는 과정에서 생성되는 영상 획득 정보(이하, '캡쳐 정보'라 함)를 서버(300)에 제공할 수 있다.
상기 캡쳐 정보(capturing information)는 카메라 GPS 정보(또는 위치 정보), 다수의 영상 각각의 방위 정보(compass information), 촬영 시간(time stamp), 360도 VR 영상의 파일명(File Name) 등을 포함할 수 있다. 방위 정보는 다수의 카메라 각각의 시점(viewpoint)을 나타내는 정보일 수 있다.
영상 획득부(100)는 다수의 영상, 디바이스 정보 및 캡쳐 정보를 유선 또는 무선통신을 통해 상기 서버(300)로 전송할 수 있다. 유선 또는 무선 통신을 지원하기 위해, 도시하지는 않았으나, 영상 획득부(100)는 적절한 모뎀, 증폭기, 필터 및 주파수 변환 부품 등을 포함하는 통신 인터페이스 및 상기 통신 인터페이스를 동작을 제어하는 프로세서와 같은 하드웨어 부품을 포함하도록 구성될 수 있다.
센서부(200)는 다수의 센서모듈을 포함하도록 구성될 수 있다. 다수의 센서 모듈은 실제 객체(10)의 GPS 정보, 물리량, 정적 상태 및 동적 상태 등을 센싱하여, 센싱 정보를 서버(300)로 제공할 수 있다. 센싱 정보는, 예를 들면, 실제 객체(10)의 GPS 정보(또는 위치 정보), 크기, 온도상태, 소음상태, 발열상태, 충전상태 등 해당 객체의 상태 정보 등을 포함하도록 구성될 수 있다.
센서부(200)는, 예를 들면, 제스처 센서, GPS 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서, 생체 센서, 온/습도 센서, 소음측정센서, 배터리의 충전상태를 측정하는 배터리 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다.
상기 센서부(200)가 센싱하는 대상이 사람인 경우, 추가적으로(additionally) 또는 대체적으로(alternatively), 센서부(200)는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및 지문 센서 등을 포함할 수 있다.
도시하지는 않았으나, 센서부(200)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 프로세서 및 상기 프로세서의 처리 과정에서 생성되는 정보(데이터들)을 영구적으로 또는 일시적으로 저장하는 메모리를 포함할 수 있다.
또한, 센서부(200)는 센싱 정보를 서버(300)에 제공하기 위해, 유선 또는 무선 통신을 이용하여 센싱 정보를 서버(300)로 전송할 수 있다. 유선 또는 무선 통신을 지원하기 위해, 도시하지는 않았으나, 센서부(200)는 적절한 모뎀, 증폭기, 필터 및 주파수 변환 부품 등을 포함하는 통신 인터페이스를 포함하도록 구성될 수 있다.
상기 서버(300)는 상기 영상 획득부(100)로부터 제공되는 다수의 영상, 디바이스 정보 및 캡쳐 정보와 센서부(200)로부터 제공되는 센싱 정보를 이용하여 혼합현실(Mixed Reality) 콘텐츠를 생성한다.
또한, 상기 서버(300)는 생성된 혼합현실 콘텐츠를 동일한 360도 VR 영상(또는 360도 VR 영상 콘텐츠)을 시청하는 사용자들의 전자장치(400: #1, #2, #3, ..., #N)로 제공한다.
또한, 상기 서버(300)는 동일한 360도 VR 영상을 시청하는 사용자 간의 음성대화 스트리밍을 다중화하여 하나의 채널로 관리하고, 상기 혼합현실 콘텐츠와 함께 다중화된 음성대화 스트리밍을 사용자들의 전자장치(400)로 제공한다.
상기 혼합현실 콘텐츠를 생성하기 위해, 상기 서버(300)는 스티칭부(310), 영상 변환부(320), 객체 인식부(330), 데이터베이스(340), 센싱 정보 관리부(350) 및 혼합현실 관리서버(360)를 포함한다.
스티칭부(310)는 영상 스티칭 알고리즘을 기반으로 영상 획득부(100)로부터의 다수의 영상들을 스티칭(stitching)하여, 360도 VR 영상을 생성한다.
스티칭(stitching) 방법은, 대표적으로, 특징점 추출과정, 정합점 추출과정 및 정합과정으로 이루어질 수 있다. 특징점 추출 과정은 입력 영상에서 관심영역을 탐색하고, 탐색된 관심 영역에서 특징점을 추출하는 과정이다. 여기서, 상기 관심영역은 입력 영상의 코너영역, 일정한 크기 이상의 화소값을 갖는 전경 화소들(foreground)이 연결된 영역인 블락(Blob) 영역일 수 있다. 정합점 추출 과정은 추출된 특징점을 특징 벡터로 표현하여 특징점 기술자(Feature Descriptor)를 생성하고, 생성된 특징점 기술자(Feature Descriptor)를 이용하여 입력 영상의 관심 영역과 참조 영상의 관심 영역에서 서로 대응되는 정합점을 추출하는 과정이다. 여기서, 대응되는 정합점을 추출하기 위해, 특징점 기술자(Feature Descriptor) 사이의 거리 정보가 활용될 수 있다. 마지막으로, 정합과정은 추출된 정합점을 이용하여 입력 이미지와 참조 이미지를 서로 정합하는 과정이다. 이러한 스티칭(stitching) 방법을 다수의 영상들 모두에 대해 수행함으로써, 스티칭(stitching)된 하나의 360도 VR 영상이 생성될 수 있다.
상기 영상 변환부(320)는, 상기 스티칭(stitching)된 360도 VR 영상에 현실감(입체감)을 부여하기 위해, 상기 스티칭(stitching)된 360도 VR 영상을 선택된 도법(projection, 투영법)에서 정의하는 영상 좌표계에 투영된 영상으로 변환한다. 예를 들면, 스티칭(stitching)된 360도 VR 영상의 영상 좌표는 위선(latitude)과 경선(longitude)으로 이루어진 등장방형 좌표계에서 표현 가능한 영상 좌표로 변환한다. 스티칭(stitching)된 360도 VR 영상은 그 외에 구형도법(Sphere projection), 큐브도법(Cube projection), 미러볼도법(MirrorBall projection), 메르카토르도법(Mercator's projection) 등의 다양한 도법에서 정의하는 영상 좌표계에 표현 가능한 영상으로 변환될 수 있다. 특별히 한정하는 것은 아니며, 본 실시 예에서는, 스티칭(stitching)된 360도 VR 영상이 등장방형(equirectangular) 360도 VR 영상으로 변환됨을 가정한다.
도 2는 본 발명의 일 실시 예에 따른 등장방형도법 기반의 360도 VR 영상의 표현 방식이 도시된다.
도 2를 참조하면, 등장방형도법 기반의 360도 VR 영상은 등장방형 좌표계에서 표현되는 영상으로, 상기 등장방형 좌표계는 -180도 ~ +180도 범위를 갖는 경도(Longitude)를 나타내는 가로축과 -90도 ~ +90도 범위를 갖는 위도(Lattitude)를 나타내는 세로축으로 이루질 수 있다.
다시, 도 1을 참조하면, 상기 객체 인식부(330)는, 영상 변환부(320)에 의해 변환된 등장방형 360도 VR 영상 내에서 실제 객체(10)에 대응하는 관심 객체를 인식하여, 그 인식결과인 객체 인식 정보를 혼합현실 관리서버(360)로 제공한다.
관심 객체를 인식하는 방법으로, 등장방형 360도 VR 영상으로부터 추출된 특징 정보 기반의 영상 인식 기법 또는 심층 학습(deep learning) 기반의 영상 인식 기법 등이 있을 수 있다.
특징 벡터 기반의 영상 인식 기법에서, 상기 객체 인식부(330)는 객체 추출 또는 객체 추적(object tracking) 알고리즘으로 불리는 다양한 영상 처리 알고리즘을 이용하여 상기 등장방형 360도 VR 영상 내에서 관심 객체의 특징 정보(예를 들면, 특징 패턴 또는 특징 벡터)를 추출한다. 본 발명의 기술적 특징은 관심 객체의 특징 정보를 추출하기 위한 영상 처리 알고리즘을 한정하는데 있는 것이 아니므로, 이에 대한 설명은 공지 기술로 대신한다.
특징 정보가 추출되면, 상기 객체 인식부(330)는, 빅데이터 기반의 감독자 학습(supervised learning)을 통해 학습된 기준 특징 정보들과 상기 기준 특징 정보들에 부여된 객체명이 저장된 데이터베이스(340)를 조회하여, 상기 추출된 특징 정보와 상기 기준 특징 정보들을 상호 비교하고, 그 비교 결과, 일치하거나 유사도가 높은 기준 특징 정보를 검색하고, 검색된 기준 특징 정보에 부여된 객체명을 확인하는 방식으로 상기 관심 객체를 인식한다.
강건한 객체 인식을 위해, 본 실시 예에서는, 기준 특징 정보들은 다양한 조명 및 구도에서 촬영된 영상 또는 블러(blur, 흐릿하게) 처리된 다수의 객체 영상에서 학습될 수 있다.
또한, 본 실시 예에서는, 등장방형 360도 VR 영상에서 추출된 객체(10)의 특징 정보를 인식하기 때문에, 기준 특징 정보들은 등장방형도법(equirectangular projection)에 따라 변형된 객체 영상들에서 학습될 수 있다. 즉, 변형된 객체 영상 내에서 위치별 변형 정도를 나타내는 변형 패치에 따라 영상 내의 객체를 다양하게 변형시켜가면서, 기준 특징 정보들을 학습할 수 있다.
도 3에서는 본 발명의 일 실시 예에 따른 360도 VR 영상이 등장방형도법에 따라 변형되는 경우에서 영상의 변형 정도를 나타내는 변형 패치의 예들이 도시된다.
도 3에 예시된 변형 패치들에 따라 다양하게 변형된 객체 영상에서 기준 특징 정보들을 학습하는 경우, 보다 강건한 객체 인식이 가능하다. 스티칭된 360도 VR 영상이 등장방형도법 이외에 메르카토르도법 등과 같은 다른 도법(other projection)에 따라 변형되는 경우, 다른 도법의 변형 패치에 따라 변형된 객체들에서 기준 특징 정보들을 학습할 수 있다.
심층 학습(deep learning) 기반의 영상 인식 기법에서는, 상기 객체 인식부(330)는 CNN(Convolution Neural Network), DBN (Deep Belief Network) AE(AutoEncoder) 등과 같은 심층 학습(deep learning) 기반으로 상기 관심 객체를 인식할 수 있다.
구체적으로, 상기 객체 인식부(330)는 관심 객체의 인식을 위해 구성된 심층망 모델(deep network model)에 데이터베이스(340)에 저장된 다수의 객체 영상을 감독자 학습 (supervised learning) 기반으로 적용하여, 심층망 모델의 파라미터를 학습한다. 이때 객체 영상의 학습을 위해, 데이터 증강(Data Augmentation)이 요구된다. 이것은 360 VR 영상이 스티칭을 통해 등장방형도법 기준으로 영상 변형이 일어나기 때문이다. 그러므로 영상 변형이 없는 기존의 객체 영상을 그대로 학습시키면 객체 인식 오류가 증가하며, 도 3과 같이 데이터 증강을 통해 입력 영상을 다양한 변형 패치를 기반으로 학습시켜 오류를 감쇄시켜야 한다. 관심 객체의 학습 및 인식 기법은 모두 360VR 영상이 특정 도법 기반으로 스티칭되고 영상 왜곡이 발생한 시점을 기준으로 실행된다.
다시 도 1을 참조하면, 상기 센싱 정보 관리부(350)는 상기 센서부(200)에서 실제 객체(10)의 물리량, 정적 상태 및 동적 상태 등을 감지한 센싱 정보를 수집하고, 이를 혼합현실 관리서버(360)로 제공한다. 센싱 정보를 수집하기 위해, 센싱 정보 관리부(350)는 센서부(200)로부터의 센싱 정보를 유선 또는 무선 통신을 통해 수신할 수 있다. 유선 또는 무선 통신을 지원하기 위해, 도시하지는 않았으나, 센싱 정보 관리부(350)는 적절한 모뎀, 증폭기, 필터 및 주파수 변환 부품 등을 포함하는 통신 인터페이스 및 상기 통신 인터페이스를 동작을 제어하는 프로세서와 같은 하드웨어 부품을 포함하도록 구성될 수 있다.
상기 혼합현실 관리서버(360)는 혼합현실 콘텐츠를 생성하여, 동일한 혼합현실 콘텐츠를 시청하는 시청자들의 각 전자 장치(400)로 제공한다.
혼합현실 콘텐츠를 생성하기 위해, 혼합현실 관리서버(360)는 실제 객체(10)에 대한 메타데이터를 생성한다. 메타데이터는 영상 획득부(100)로부터 제공되는 디바이스 정보와 캡쳐 정보, 객체 인식부(330)로부터 제공되는 객체 인식 결과 및 센싱 정보 관리부(350)로부터 제공되는 센싱 정보를 기반으로 생성될 수 있다.
혼합현실 관리서버(360)는 상기 생성된 메타데이터와 상기 영상 변환부(320)로부터의 등장방형 360도 VR 영상을 하나의 먹싱 채널(muxing channel)을 이용하여 혼합하고, 혼합된 메타 데이터와 등장방형 360도 VR 영상을 전자 장치(#1, #2, #3, ..., #N)로 제공한다. 이때, 상기 혼합현실 관리서버(360)는
상기 등장방형 360도 VR 영상 또는 상기 메타 데이터와 관련된 오디오스트림 정보를 추가로 혼합할 수 있다.
상기 전자 장치(400: #1, #2, #3, ..., #N)는 상기 혼합현실 관리서버(360)부터 메타 데이터와 등장방형 360도 VR 영상을 제공받고, 등장방형 360도 VR 영상에 메타 데이터를 텍스트 형태로 오버레이하여 사용자에게 제공한다. 사용자는 등장방형 360도 VR 영상에 오버레이된 메타 데이터를 통해 다양한 상황을 실시간으로 분석할 수 있게 된다. 이때, 상기 전자 장치(400: #1, #2, #3, ..., #N)가 상기 혼합현실 관리서버(360)부터 상기 오디오스트림 정보를 추가로 제공받는 경우, 상기 오디오스트림 정보를 통해 다양한 상황을 청각적으로도 분석할 수 있게 된다.
상기 전자 장치(400: #1, #2, #3, ..., #N)는 등장방형 360도 VR 영상에 상기 메타데이터를 오버레이하는 기능을 선택적으로 사용할 수 있다. 즉, 상기 사용자의 선택에 따라 오버레이 기능은 ON/OFF 될 수 있다. 이는 360도 VR 영상만으로도 상기 특정 상황에 대한 분석이 가능하다면, 상기 특정 상황을 설명하는 메타데이터는 불필요하기 때문이다.
한편, 본 실시 예에서는 메타 데이터가 등장방형 360도 VR 영상에 오버레이되는 작업이 상기 전자 장치(400: #1, #2, #3, ..., #N)에서 수행되는 것으로 설명하고 있으나, 혼합현실 관리서버(360)에서 수행될 수도 있다. 이 경우, 상기 전자 장치(400: #1, #2, #3, ..., #N)는 상기 메타데이터가 오버레이된 상기 360도 VR 영상을 제공받게 된다.
각 전자 장치(#1~#N)는 혼합현실 콘텐츠는 물론 가상현실(VR, Virtual Reality) 및 증강현실(Augmented Reality) 콘텐츠를 제공하는 모든 종류의 디스플레이 장치일 수 있다.
각 전자 장치(#1~#N)는 혼합현실 관리서버(360)로부터 혼합현실 콘텐츠를 유선 또는 무선 통신으로 수신할 수 있는 통신 기능을 구비하도록 구성될 수 있다. 이러한 유선 또는 무선 통신을 지원하기 위해, 도시하지는 않았으나, 각 전자 장치(#1~#N)는 적절한 모뎀, 증폭기, 필터 및 주파수 변환 부품 등을 포함하는 통신 인터페이스 및 상기 통신 인터페이스를 동작을 제어하는 프로세서와 같은 하드웨어 부품을 포함하도록 구성될 수 있다.
어떤 실시 예들에서, 각 전자 장치(#1~#N)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는, 예를 들면, 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 혼합현실 관리서버의 내부구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 혼합현실 관리서버(360)는, 버스(360A), 프로세서(360B), 메모리(360C), 입출력 인터페이스(360D), 디스플레이(360E) 및 통신 인터페이스(360F)를 포함한다.
버스(360A)는, 예를 들면, 구성요소들(360B~360F)을 서로 연결하고, 구성요소들 간의 제어 메시지 및/또는 데이터를 전달하는 회로를 포함할 수 있다.
프로세서(360B)는, 중앙처리장치(Central Processing Unit: CPU), 어플리케이션 프로세서(Application Processor: AP), 또는 커뮤니케이션 프로세서(Communication Processor: CP) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 혼합현실 관리서버(360) 내에 포함된 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 여기서, 데이터 처리는 메타데이터의 생성 처리 및 객체 인식과 관련된 영상 처리 등을 포함할 수 있다.
메모리(360C)는 휘발성 및 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 혼합현실 관리서버(360) 내에 포함된 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(360C)는 소프트웨어 및 프로그램을 저장할 수 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(Application Programming Interface: API), 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다. 커널, 미들웨어, 또는 API의 적어도 일부는, 운영 시스템(Operating System(OS))으로 지칭될 수 있다.
입출력 인터페이스(360D)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 혼합현실 관리서버(360) 내의 다른 구성요소(들)에 전달할 수 있는 역할을 할 수 있다. 또한, 입출력 인터페이스(360D)는 혼합현실 관리서버(360) 내에 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 관리자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(360E)는, 예를 들면, 액정 디스플레이(Liquid Crystal Display: LCD), 발광 다이오드(LightEmitting Diode: LED) 디스플레이, 유기 발광 다이오드(Organic Light-Emitting Diode: OLED) 디스플레이를 포함할 수 있다. 디스플레이(360E)는, 예를 들면, 관리자에게 메타데이터 및 혼합현실 콘텐츠의 생성과정에서 보여질 수 있는 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등을 표시할 수 있다.
통신 인터페이스(360F)는 네트워크(430)에 연결되어, 무선 통신 또는 유선 통신을 통해서 전자 장치(400)와 다른 서버(450)(또는 웹 서버)와 통신할 수 있다. 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(164)을 포함할 수 있다. 근거리 통신(164)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다.
이하, 전술한 프로세서(360B)의 주요 기능과 주요 동작에 대해 설명하기로 한다.
프로세서(360B)는, 메타데이터 및 혼합현실 콘텐츠의 생성을 위한 데이터 처리 과정을 수행하며, 이를 위해, 메타데이터 생성부(360B-1) 및 혼합현실 콘텐츠 생성부(360B-2)를 포함하도록 구성될 수 있다.
메타데이터 생성부 (360B-1)
메타데이터 생성부(360B-1)는 영상 변환부(320)로부터 입력되는 등장방형 306도 VR 영상에 오버레이될 메타데이터를 생성한다. 메타데이터는 디바이스 식별자(device identifier) 테이블(또는 디바이스 식별자 정보), 캡쳐 식별자(capture identifier) 테이블(또는 캡쳐 식별자 정보), 객체 식별자(target object identifier) 테이블(또는 객체 식별자 정보) 및 센싱 정보 식별자 테이블(또는 센싱 정보 식별자 정보)을 포함한다.
디바이스 식별자 테이블은 영상 획득부(도 1의 100)로부터 제공되는 디바이스 정보를 기반으로 생성된다. 즉, 메타데이터 생성부(360B-1)는 상기 디바이스 정보에 포함된 카메라의 제조사명, 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호 등을 추출하고, 추출된 제조사명이 기록되는 제조사명 필드, 360도 영역을 촬영한 카메라의 개수가 기록되는 카메라의 개수 필드, 카메라 리그(Rig) 정보가 기록되는 카메라 리그(Rig) 필드 및 카메라의 일련번호가 기록되는 카메라 일련번호 필드 등을 포함하도록 구성된 디바이스 식별자 테이블을 생성한다.
캡쳐 식별자 테이블은 영상 획득부(도 1의 100)로부터 제공되는 캡쳐 정보를 기반으로 생성된다. 즉, 메타데이터 생성부(360B-1)는 상기 캡쳐 정보에 포함된 영상 획득부(도 1의 100)(또는 카메라)의 GPS 정보(GPS 좌표 또는 위치 정보), 360도 VR 영상을 구성하는 각 영상의 방위 정보(compass information), 360도 VR 영상을 촬영한 촬영 시간(time stamp), 촬영된 360도 VR 영상의 파일명(File Name) 등을 추출하고, 추출된 영상 획득부(도 1의 100)의 GPS 정보(또는 위치 정보)가 기록되는 위치 필드, 360도 VR 영상의 방위 정보가 기록되는 방위 필드, 360도 VR 영상을 촬영한 촬영 시간(time stamp)이 기록되는 촬영 시간 필드, 촬영된 360도 VR 영상의 파일명(File Name)이 기록되는 파일명 필드 등을 포함하도록 구성된 캡쳐 식별자 테이블을 생성한다.
객체 식별자 테이블은 객체 인식부(도 1의 330)에서 제공하는 객체 인식 결과를 기반으로 생성된다. 즉, 메타데이터 생성부(360B-1)는 상기 객체 인식 결과에 포함된 객체명, 영상 변환부(320)의 영상 변환 과정에서 선택한 도법(또는 투영법)의 방식, 선택된 도법(또는 투영법)에서 표현되는 객체의 위치, 선택된 도법(또는 투영법)에서 표현되는 객체의 크기 등을 추출하고, 추출된 객체명이 기록되는 객체명 필드, 영상 변환 과정에서 선택된 도법(또는 투영법)의 방식이 기록되는 도법(또는 투영법) 필드, 선택된 도법(또는 투영법)에서 표현되는 객체의 위치가 기록되는 위치 필드, 선택된 도법(또는 투영법)에서 표현되는 객체의 크기가 기록되는 크기 필드 등을 포함하도록 구성된 객체 식별자 테이블을 생성한다.
센싱 정보 식별자 테이블은 센서부(도 1의 200)에서 센싱한 센싱 정보를 기반으로 생성된다. 즉, 메타데이터 생성부(360B-1)는 상기 센서부(200)에서 제공하는 센싱 정보에 포함된 실제 객체(10)의 GPS 정보, 상기 센서부(200)에서 측정한 실제 객체(도 1의 10)의 상태 정보를 추출하고, 추출된 센서부(도 1의 200)의 GPS 정보가 기록되는 위치 필드 및 실제 객체(도 1의 10)의 상태 정보가 기록되는 상태 필드를 포함하도록 구성된 센싱 정보 식별자 테이블을 생성한다.
한편, 센싱 정보 식별자 테이블은 상기 센서부(200)에서 센싱한 실제 객체(도 1의 10)의 객체명이 기록되는 객체명 필드를 더 포함하도록 구성될 수 있다.
센싱 정보 식별자 테이블의 객체명 필드에는 객체 식별자 테이블의 객체명 필드에 기록된 객체명과 동일한 객체명이 기록된다. 도 5에 도시된 바와 같이, 객체 인식부(330)에서 인식한 객체의 방위는 캡쳐 식별자 테이블에 기록된 카메라(영상 획득부)의 GPS 좌표와 360도 VR 영상의 방위 정보를 기초로 판단할 수 있다. 이때, 360도 VR 영상에 투사된 관심 객체는 센싱 정보 식별자 테이블에 기록된 실제 객체(실제 객체(10)에 부착된 센서부(200))의 GPS 좌표와 카메라(영상 획득부)의 GPS 좌표를 연결하는 선상에 위치하기 때문에, 센싱 정보 식별자 테이블의 객체명 필드에는 객체 식별자 테이블의 객체명 필드에 기록된 객체명이 대입될 수 있다.
아래의 표 1은 본 발명의 일 실시 예에 따른 메타데이터의 구성을 나타낸 것이다.
메타데이터



















 디바이스 식별자 테이블



 카메라 제조사명 Canon / Nikon / GoPro, …
카메라 대수 2cam / 4cam / 6cam, …
카메라 리그정보 일체형/파노라마형/구형, …
일련번호 16e2987, …
.... …
캡쳐 식별자 테이블



 GPS(카메라 위치) 43.943 : 4.805
compass(360도 vr 영상의 방위 정보) N/E/W/S 위치 표시
TimeStamp(촬영시간) yyyy:mm:dd::hh:mm:ss:ms
FileName filename.mp4, …
... …
센싱 정보 식별자 테이블





 객체명 Capacitor bank/Transformer/ESS,…
GPS(실제객체에 부탁된 센서부의 위치) 42.942 : 4.732
온도 28℃
소음도 78dB
발열상태 78℃
충전상태 76%
... …
객체 식별자 테이블



...		 객체명 Capacitor bank/Transformer/ESS,…
도법(투영법)의종류 Lat-long/Sphere/Cube/MirrorBall,…
위치 Lat45°:Long30°
크기 10x20
... …
위의 표 1은, 360도 VR 영상으로부터 인식된 객체(또는 센서부에서 센싱한 실제 객체)가 에너지 저장 장치인 경우에서 메타데이터의 일 예를 나타낸 것으로, 에너지 저장 장치는, 예를 들면, 콘덴서 뱅크(Capacitor bank), 변압기(Transformer) 등일 수 있다.
혼합현실 콘텐츠 생성부 (360B-2)
혼합현실 콘텐츠 생성부(360B-2)는 영상 변환부(320)로부터의 등장방형 360도 VR 영상과 상기 등장방형 360도 VR 영상에 대응하는 상기 메타데이터 생성부(360B-1)로부터의 메타데이터를 맵핑하여, 혼합현실 콘텐츠 집합을 생성한다. 이때, 상기 등장방형 360도 VR 영상 또는 상기 메타데이터에 대응하는 오디오 스트림정보가 상기 혼합현실 콘텐츠 집합에 더 포함될 수 있다.
상기 혼합현실 콘텐츠 집합은 통신 인터페이스(360F)로 전달되고, 통신 인터페이스(360F)는 동일한 혼합현실 콘텐츠를 시청하는 사용자의 전자 장치(400)로 전송한다. 이때, 통신 인터페이스(360F)는 상기 메타 데이터, 상기 등장방형 360도 VR 영상 및 상기 오디오스트림 정보를 하나의 먹싱 채널로 혼합하여 상기 전자 장치(400)로 전송한다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서 디스플레이되는 혼합현실 콘텐츠의 예를 나타내는 도면이다.
도 6을 참조하면, AR 글래스(glass)를 착용한 사용자는 360도 VR 영상의 왼편에 'EVENT Alert'이 알람 메시지가 표시되며, 'EVENT Alert'와 관련된 객체에 대한 메타데이터가 360도 VR 영상에 오버레이되어 표시된다. 이 때, 사용자들은 동시에 동일한 360도 VR 영상을 보고 있으나 시야에 따라 각기 다른 방위의 영상을 볼 수 있다.
도 6에서 메타데이터를 구성하는 정보들 중에서 일부 정보들, 예를 들면, 객체명, 객체위치, 온도, 충전량, 방전 상태와 같은 객체 상태 정보만이 360도 VR 영상에 오버레이된 혼합현실 콘텐츠를 도시한 것이다. 이러한 정보들 외에 카메라 제조사, 카메라 제조사, 카메라 리그(Rig) 정보, 일련번호, 촬영시간, 도법의 종류 등과 같은 메타데이터가 360도 VR 영상에 오버레이된 혼합현실 콘텐츠가 디스플레이 될 수 있다. 이러한 메타데이터는 일반 사용자보다는 서버를 관리하는 관리자에게 유용한 정보이므로, 관리자의 전자 장치로 제공될 수 있다.
도 7은 본 발명의 일 실시 예에 따른 혼합현실 콘텐츠의 제공방법을 나타내는 흐름도이다.
도 7을 참조하면, 먼저, 단계 S710에서, 영상획득부(도 1의 100)로부터 360도 영역을 촬영한 다수의 영상, 디바이스 정보 및 캡쳐 정보를 획득하는 과정이 수행된다. 영상획득부(도 1의 100)은 360도 VR 영상을 촬영할 수 있는 다수의 카메라를 포함하거나, 360도 회전 가능한 하나의 카메라로 이루어질 수 있다.
이어, 단계 S720에서, 스티칭부(도 1의 310)에서, 상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 과정이 수행된다.
이어, 단계 S730에서, 영상 변환부(도 1의 320)에서, 상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 과정이 수행된다. 상기 선택된 도법은, 예를 들면, 등장방형도법(equirectangular projection), 구형도법(Sphere projection), 큐브도법(Cube projection), 미러볼도법(MirrorBall projection), 메르카토르도법(Mercator's projection) 등일 수 있다.
이어, 단계 S740에서, 객체 인식부(도 1의 330)에서, 빅데이터 기반의 감독자 학습(supervised learning)을 이용하여 상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식하여 객체 인식 정보를 획득하는 과정이 수행된다. 여기서, 객체 인식 정보는, 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기와 관련된 정보들을 포함한다.
이어, 단계 S750에서, 센서부(도 1의 200)로부터 상기 관심 객체에 대응하는 실제 객체(10)의 상태를 센싱하여 센싱 정보를 획득하는 과정이 수행된다. 여기서, 센싱 정보는, 예를 들면, 실제 객체의 GPS 정보 및 상태 정보를 포함한다. 상태 정보는 실제 객체의 물리량, 정적 상태 및 동적 상태를 나타내는 정보로서, 예를 들면, 실제 객체(10)의 크기, 온도상태, 소음상태, 발열상태, 충전상태 등을 나타내는 정보를 포함할 수 있다.
이어, 단계 S760에서, 혼합현실 관리서버(도 1의 360) 또는 혼합현실 관리서버(도 1의 360) 내의 메타데이터 생성부(도 1의 360B-1)에서, 상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱 정보를 기반으로 메타데이터를 생성하는 과정이 수행된다. 여기서, 상기 메타데이터는 상기 디바이스 정보를 기반으로 생성된 디바이스 식별자 테이블, 상기 캡쳐 정보를 기반으로 생성된 캡쳐 식별자 테이블, 상기 객체 인식 정보를 기반으로 생성된 객체 식별자 테이블 및 상기 센싱 정보를 기반으로 생성된 센싱 정보 식별자 테이블을 포함하도록 구성될 수 있다.
이어, 단계 S770에서, 혼합현실 관리서버(도 1의 360)에서, 상기 메타데이터와 상기 360도 VR 영상을 맵핑하고, 맵핑된 상기 메타 데이터와 상기 360도 VR 영상을 상기 전자 장치(400)로 전송하는 과정이 수행된다.
이어, 단계 S780에서, 상기 전자 장치(400)에서, 상기 메타 데이터를 상기 360도 VR 영상에 오버레이하여, 상기 메타 데이터가 오버레이된 상기 360도 VR 영상을 HMD 또는 AR 글래스를 통해 출력하는 과정이 수행된다.
도 8은 도 7에 도시한 메타데이터의 생성 과정(S760)을 상세히 나태는 흐름도이다.
도 8을 참조하면, 단계 S761에서, 상기 디바이스 정보로부터 추출된 카메라의 제조사명, 상기 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호를 포함하는 디바이스 식별자 테이블을 생성하는 과정이 수행된다. 여기서, 카메라 리그(Rig) 정보는 다수의 카메라의 배열 형태를 나타내는 정보로서, 예를 들면, 카메라의 배열 형태가 큐빅(cubic) 형태인지, 구(sphere) 형태인지를 나타내는 정보 등을 포함할 수 있다.
단계 S763에서, 상기 캡쳐 정보로부터 추출된 상기 카메라의 GPS 정보, 영상의 방위 정보, 촬영 시간 및 영상의 파일명을 포함하는 캡쳐 식별자 테이블을 생성하는 과정이 수행된다.
단계 S765에서, 상기 객체 인식 정보로부터 추출된 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기를 포함하는 객체 식별자 테이블을 생성하는 과정이 수행된다.
단계 S767에서, 상기 센싱 정보로부터 추출된 실제 객체(도 1의 10)의 GPS 정보 및 상태 정보를 포함하는 센싱 정보 식별자 테이블을 생성하는 과정이 수행된다.
이후, 상기 디바이스 식별자 테이블, 상기 캡쳐 식별자 테이블, 상기 객체 식별자 테이블 및 상기 센싱 정보 식별자 테이블을 포함하도록 구성된 상기 메타데이터를 생성하는 과정이 수행된다.
한편, 상기 센싱 정보 식별자 테이블은 상기 실제 객체(도 1의 10)의 객체명을 더 포함할 수 있다. 이 경우, 상기 실제 객체의 객체명은 상기 관심 객체의 객체명으로부터 인식될 수 있다.
도 9는 도 8에 도시된 센싱 정보 식별자 테이블의 생성 과정(S767)를 상세히 나타낸 흐름도로서, 상기 관심 객체의 객체명으로부터 인식된 상기 실제 객체의 객체명을 포함하도록 구성된 센싱 정보 식별자 테이블의 생성과정을 나타내는 흐름도이다.
도 9를 참조하면, 단계 S910에서, 상기 실제 객체의 GPS 정보와 상기 카메라의 GPS 정보를 분석하여, 상기 실제 객체의 위치 좌표와 상기 카메라의 위치 좌표를 산출하는 과정이 수행된다.
이어, 단계 S920에서, 상기 실제 객체의 위치 좌표와 상기 카메라의 위치 좌표를 연결하는 선상에 360도 VR 영상에 투사된 관심 객체가 존재하는지 여부를 확인하는 과정이 수행된다. 상기 선상에 360도 VR 영상에 투사된 관심 객체가 존재하는지 여부는 360도 VR 영상 내에서 관심 객체가 존재하는 영상 영역의 방위 정보의 분석을 통해 확인할 수 있다.
선상에 360도 VR 영상에 투사된 관심 객체가 존재하는 것으로 확인되면, 단계 S930에서, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체로 판단하는 과정이 수행된다.
이어, 단계 S940에서, 객체 인식부(도 1의 330)의 객체 인식을 통해 획득된 상기 관심 객체의 객체명을 상기 실제 객체의 객체명으로 생성하는 과정이 수행된다.
이어, 단계 S950에서, 상기 센싱 정보 식별자 테이블을 상기 생성된 실제 객체의 객체명을 포함하도록 구성하는 과정이 수행된다.
도 10은 도 7에 도시된 객체 인식 정보의 획득 과정(S740)을 나태는 흐름도이다.
도 10을 참조하면, 먼저, 단계 S741에서, 데이터베이스에 저장된 다수의 객체 영상을 특정 도법(specific projection)에 따라 변형하는 과정이 수행된다.
이어, 단계 S743에서, 상기 특정 도법에 따라 변형된 상기 다수의 객체 영상을 감독자 학습(supervised learning) 기반으로 심층망 모델(deep network model)에 적용하여, 상기 심층망 모델의 파라미터를 학습하는 과정이 수행된다.
이어, 단계 S745에서, 상기 학습된 심층망 모델의 파라미터에 기초하여 360도 VR 영상 내의 관심 객체를 인식하는 과정이 수행된다.
이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 다수의 카메라를 포함하는 영상획득부로부터 360도 영역을 촬영한 다수의 영상, 디바이스 정보 및 캡쳐 정보를 획득하는 단계;
    상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 단계;
    상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 단계;
    상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식하여 객체 인식 정보를 획득하는 단계;
    센서부로부터 상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 획득하는 단계;
    상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하는 단계; 및
    상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하고, 상기 혼합현실 콘텐츠를 전자 장치에 제공하는 단계를 포함하고,
    상기 메타데이터는,
    서버를 관리하는 관리자에게 유용한 정보로서, 카메라 제조사, 카메라들의 배열 형태를 나타내는 카메라 리그(Rig) 정보, 카메라의 일련번호, 및 도법의 종류와 관련된 정보를 포함하고,
    상기 카메라 리그 정보는 큐빅 형태 또는 구 형태를 포함하는 카메라들의 배열 형태를 나타내는 정보이고,
    상기 도법의 종류와 관련된 정보는 상기 360도 VR 영상의 투영법을 나타내는 정보인 것인 혼합현실 콘텐츠를 제공하는 방법.
  2. 제1항에서, 상기 메타데이터를 생성하는 단계는,
    상기 디바이스 정보로부터 추출된 카메라의 제조사명, 상기 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호를 포함하는 디바이스 식별자 테이블을 생성하는 단계;
    상기 캡쳐 정보로부터 추출된 상기 카메라의 GPS 정보, 영상의 방위 정보, 촬영 시간 및 영상의 파일명을 포함하는 캡쳐 식별자 테이블을 생성하는 단계;
    상기 객체 인식 정보로부터 추출된 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기를 포함하는 객체 식별자 테이블을 생성하는 단계;
    상기 센싱 정보로부터 추출된 실제 객체의 GPS 정보 및 상태 정보를 포함하는 센싱 정보 식별자 테이블을 생성하는 단계; 및
    상기 디바이스 식별자 테이블, 상기 캡쳐 식별자 테이블, 상기 객체 식별자 테이블 및 상기 센싱 정보 식별자 테이블을 포함하도록 구성된 상기 메타데이터를 생성하는 단계;
    를 포함하는 혼합현실 콘텐츠를 제공하는 방법.
  3. 삭제
  4. 제2항에서, 상기 센싱 정보 식별자 테이블은 상기 실제 객체의 객체명을 더 포함하고,
    상기 실제 객체의 객체명은 상기 관심 객체의 객체명으로부터 인식됨을 특징으로 혼합현실 콘텐츠를 제공하는 방법.
  5. 제2항에서, 상기 센싱 정보 식별자 테이블을 생성하는 단계는,
    상기 실제 객체의 GPS 정보, 상기 카메라의 GPS 정보 및 상기 영상의 방위 정보를 기반으로, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인지 판단하는 단계;
    상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인 경우, 상기 관심 객체의 객체명을 상기 실제 객체의 객체명으로 생성하는 단계;
    상기 실제 객체의 객체명을 포함하도록 상기 센싱 정보 식별자 테이블을 구성하는 단계
    를 포함함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 방법.
  6. 제1항에서, 상기 객체 인식 정보를 획득하는 단계는,
    상기 360도 VR 영상으로부터 추출된 특징벡터 기반의 영상 인식 방법 또는 심층 학습(deep learning) 기반의 영상 인식 방법을 이용하여 상기 관심 객체를 인식하는 것인 혼합현실 콘텐츠를 제공하는 방법.
  7. 제1항에서, 상기 객체 인식 정보를 획득하는 단계는,
    데이터베이스에 저장된 다수의 객체 영상을 특정 도법에 따라 변형하는 단계;
    상기 변형된 다수의 객체 영상을 감독자 학습 기반으로 심층망 모델에 적용하여, 상기 심층망 모델의 파라미터를 학습하는 단계; 및
    상기 파라미터에 기초하여 상기 360도 VR 영상 내의 관심 객체를 인식하는 단계
    를 포함하는 것인 혼합현실 콘텐츠를 제공하는 방법.
  8. 제1항에서, 상기 제공하는 단계 이후, 상기 전자 장치에서 상기 선택된 도법 기반의 360도 VR 영상에 상기 메타데이터에 대응하는 텍스트를 오버레이하는 단계를 더 포함하고,
    상기 선택된 도법 기반의 360도 VR 영상에 상기 텍스트를 오버레이하는 단계는 선택적으로 수행되는 것인 혼합현실 콘텐츠를 제공하는 방법.
  9. 다수의 카메라를 포함하고, 상기 다수의 카메라로부터 360도 영역을 촬영한 다수의 영상, 상기 다수의 카메라의 디바이스 정보 및 상기 다수의 영상을 촬영하는 과정에서 생성되는 캡쳐 정보를 출력하는 영상 획득부;
    상기 다수의 영상을 스티칭하여 하나의 360도 VR 영상을 생성하는 스티칭부;
    상기 360도 VR 영상을 선택된 도법(projection) 기반의 360도 VR 영상으로 변환하는 영상 변환부;
    상기 선택된 도법 기반의 360도 VR 영상 내에서 관심 객체를 인식한 객체 인식 정보를 출력하는 객체 인식부;
    상기 관심 객체에 대응하는 실제 객체의 상태를 센싱하여 센싱정보를 출력하는 센서부; 및
    상기 디바이스 정보, 상기 캡쳐 정보, 상기 객체 인식 정보 및 상기 센싱정보를 기반으로 메타데이터를 생성하고, 상기 선택된 도법 기반의 360도 VR 영상과 상기 메타데이터를 맵핑하여 혼합현실 콘텐츠를 생성하여, 상기 혼합현실 콘텐츠를 디스플레이하는 전자 장치에 제공하는 혼합현실 관리서버;를 포함하고,
    상기 메타데이터는,
    상기 혼합현실 관리서버를 관리하는 관리자에게 유용한 정보로서, 카메라 제조사, 카메라들의 배열 형태를 나타내는 카메라 리그(Rig) 정보, 카메라의 일련번호, 및 도법의 종류와 관련된 정보를 포함하고,
    상기 카메라 리그 정보는 큐빅 형태 또는 구 형태를 포함하는 카메라들의 배열 형태를 나타내는 정보이고,
    상기 도법의 종류와 관련된 정보는 상기 360도 VR 영상의 투영법을 나타내는 정보인 것인 혼합현실 콘텐츠를 제공하는 장치.
  10. 제9항에서, 상기 혼합현실 관리서버는,
    상기 디바이스 정보로부터 추출된 카메라의 제조사명, 상기 360도 영역을 촬영한 카메라의 대수, 카메라 리그(Rig) 정보 및 카메라의 일련번호를 포함하는 디바이스 식별자 테이블;
    상기 캡쳐 정보로부터 추출된 상기 카메라의 GPS 정보, 영상의 방위 정보, 촬영 시간 및 영상의 파일명을 포함하는 캡쳐 식별자 테이블;
    상기 객체 인식 정보로부터 추출된 상기 관심 객체의 객체명, 상기 선택된 도법의 형식, 상기 선택된 도법 기반의 360도 VR 영상 내에서 상기 관심 객체의 위치 및 크기를 포함하는 객체 식별자 테이블; 및
    상기 센싱 정보로부터 추출된 실제 객체의 GPS 정보 및 상태 정보를 포함하는 센싱 정보 식별자 테이블;을 포함하도록 상기 메타데이터를 생성함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치.
  11. 제10항에서, 상기 센싱 정보 식별자 테이블은,
    상기 관심 객체의 객체명으로부터 인식된 상기 실제 객체의 객체명을 더 포함함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치.
  12. 제10항에서, 상기 혼합현실 관리서버는,
    상기 실제 객체의 GPS 정보, 상기 카메라의 GPS 정보 및 상기 영상의 방위 정보를 기반으로, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인지 판단하여, 상기 실제 객체와 상기 관심 객체가 서로 동일한 객체인 경우, 상기 관심 객체의 객체명을 상기 실제 객체의 객체명으로 생성하고, 생성된 상기 실제 객체의 객체명을 포함하도록 상기 센싱 정보 식별자 테이블을 구성함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치.
  13. 제9항에서, 상기 객체 인식부는,
    상기 360도 VR 영상으로부터 추출된 특징벡터 기반의 영상 인식 방법 또는 심층 학습(deep learning) 기반의 영상 인식 방법을 이용하여 상기 관심 객체를 인식함을 특징으로 하는 혼합현실 콘텐츠를 제공하는 장치.
  14. 제9항에서, 상기 객체 인식부는,
    데이터베이스에 저장된 다수의 객체 영상을 특정 도법에 따라 변형하고, 상기 변형된 다수의 객체 영상을 감독자 학습 기반으로 심층망 모델에 적용하여, 상기 심층망 모델의 파라미터를 학습하고, 상기 파라미터에 기초하여 상기 360도 VR 영상 내의 관심 객체를 인식하는 것인 혼합현실 콘텐츠를 제공하는 장치.
KR1020170120574A 2017-09-19 2017-09-19 혼합현실 콘텐츠를 제공하는 장치 및 방법 KR102434402B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170120574A KR102434402B1 (ko) 2017-09-19 2017-09-19 혼합현실 콘텐츠를 제공하는 장치 및 방법
US15/794,191 US10674077B2 (en) 2017-09-19 2017-10-26 Apparatus and method for providing mixed reality content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170120574A KR102434402B1 (ko) 2017-09-19 2017-09-19 혼합현실 콘텐츠를 제공하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190032084A KR20190032084A (ko) 2019-03-27
KR102434402B1 true KR102434402B1 (ko) 2022-08-22

Family

ID=65721645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120574A KR102434402B1 (ko) 2017-09-19 2017-09-19 혼합현실 콘텐츠를 제공하는 장치 및 방법

Country Status (2)

Country Link
US (1) US10674077B2 (ko)
KR (1) KR102434402B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) * 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11175516B1 (en) * 2018-02-27 2021-11-16 Snap Inc. Object recognition for improving interfaces on an eyewear device and other wearable and mobile devices
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
US11527044B2 (en) * 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
CN113423341B (zh) 2018-11-27 2024-12-03 元平台技术有限公司 用于可穿戴电极传感器系统的自动校准的方法和装置
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
KR20200112737A (ko) 2019-03-20 2020-10-05 한국전자통신연구원 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR102261544B1 (ko) * 2019-11-13 2021-06-07 한국광기술원 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
KR102468685B1 (ko) * 2020-04-24 2022-11-21 (주)오픈웍스 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법
KR102430464B1 (ko) 2020-08-25 2022-08-09 (주) 사이언스쇼 혼합현실 체험 시스템 및 그 제어방법
KR102496201B1 (ko) 2020-08-25 2023-02-07 (주) 사이언스쇼 혼합현실 체험 시스템 및 그 제어방법
KR102430463B1 (ko) 2020-08-25 2022-08-09 (주) 사이언스쇼 선점형 혼합현실 체험 시스템 및 그 제어방법
US11482002B1 (en) 2020-10-16 2022-10-25 Splunk Inc. Codeless anchor detection for detectable features in an environment
US11398089B1 (en) * 2021-02-17 2022-07-26 Adobe Inc. Image processing techniques to quickly find a desired object among other objects from a captured video scene
KR102527918B1 (ko) * 2021-02-23 2023-04-28 한남대학교 산학협력단 Ar 스마트 글래스 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214072A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating and broadcasting interactive panoramic walk-through applications

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086479A (en) * 1989-06-30 1992-02-04 Hitachi, Ltd. Information processing system using neural network learning function
EP1157316B1 (de) * 1999-03-02 2003-09-03 Siemens Aktiengesellschaft System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
WO2000058799A1 (de) * 1999-03-25 2000-10-05 Siemens Aktiengesellschaft System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US20120154439A1 (en) 2010-12-16 2012-06-21 Electronics And Telecommunications Research Institute Apparatus and method for operating multiple object of augmented reality system
FR2990286B1 (fr) * 2012-05-07 2019-09-06 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative a un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes
EP2713593B1 (en) 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
KR20150113246A (ko) * 2014-03-27 2015-10-08 모젼스랩(주) 가상 전시공간 제공 시스템 및 방법
KR102362117B1 (ko) * 2014-07-01 2022-02-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
KR101892735B1 (ko) 2015-02-05 2018-08-28 한국전자통신연구원 직관적인 상호작용 장치 및 방법
US10950051B2 (en) * 2015-03-27 2021-03-16 Rockwell Automation Technologies, Inc. Systems and methods for presenting an augmented reality
US10728767B2 (en) * 2015-04-14 2020-07-28 ETAK Systems, LLC Systems and methods for augmented reality add-in of equipment and structures at a telecommunications site
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9713871B2 (en) * 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10146194B2 (en) * 2015-10-14 2018-12-04 Hand Held Products, Inc. Building lighting and temperature control with an augmented reality system
KR101634966B1 (ko) 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214072A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating and broadcasting interactive panoramic walk-through applications

Also Published As

Publication number Publication date
US10674077B2 (en) 2020-06-02
US20190089898A1 (en) 2019-03-21
KR20190032084A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
KR102434402B1 (ko) 혼합현실 콘텐츠를 제공하는 장치 및 방법
CN110163048B (zh) 手部关键点的识别模型训练方法、识别方法及设备
EP4047924A1 (en) Photographing method and terminal
US9750420B1 (en) Facial feature selection for heart rate detection
CN102959616B (zh) 自然交互的交互真实性增强
US20150169987A1 (en) Method and apparatus for semantic association of images with augmentation data
CN109101873A (zh) 用于提供针对兴趣对象的外部光源的特性信息的电子设备
WO2022116604A1 (zh) 拍摄图像处理方法及电子设备
US9224036B2 (en) Generating static scenes
CN113228626B (zh) 视频监控系统和方法
WO2022206595A1 (zh) 一种图像处理方法以及相关设备
CN115526983B (zh) 一种三维重建方法及相关设备
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US9141191B2 (en) Capturing photos without a camera
CN114078278A (zh) 注视点定位方法与装置、电子设备和存储介质
TWM482797U (zh) 能顯示三維影像的擴增實境系統
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN110956571A (zh) 基于slam进行虚实融合的方法及电子设备
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
KR20200077049A (ko) 마커리스 방식의 증강현실 제공장치
CN113450448A (zh) 图像的处理方法、装置和系统
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
US8994834B2 (en) Capturing photos
US10013736B1 (en) Image perspective transformation system
CN113405674A (zh) 体温测量方法及摄像设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170919

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200717

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20170919

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210728

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20220106

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220615

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220816

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220817

End annual number: 3

Start annual number: 1

PG1601 Publication of registration