KR20180051288A

KR20180051288A - 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR20180051288A
Application number: KR1020160148403A
Authority: KR
Inventors: 김보은; 김성현; 김용덕
Original assignee: 삼성전자주식회사
Priority date: 2016-11-08
Filing date: 2016-11-08
Publication date: 2018-05-16
Also published as: US20180130243A1; CN108062795A; EP3520086B1; EP3520086A1; WO2018088742A1; EP3520086A4

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 저장하는 스토리지, 사용자 입력을 수신하는 사용자 인터페이스부, 디스플레이 및 VR 이미지를 구(sphere)형 VR 이미지로 변환하고, 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 평면 VR 이미지를 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함하고, 프로세서는 사용자 입력에 따라 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 편집 툴에서 제공되는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이하고, 평면 VR 이미지 생성에 이용된 투사 방법에 따라 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성할 수 있다.

Description

디스플레이 장치 및 그 제어 방법 { DISPLAY APPARATUS AND CONTROL METHOD THEREOF }

본 발명은 디스플레이 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 편집하는 디스플레이 장치 및 그 제어 방법에 대한 것이다.

가상 현실(Virtual Reality, VR)에 대한 관심이 증대되면서 다양한 개인용 촬영 기기가 출시되었다. 그에 따라, 개인용 컨텐츠의 수가 기하급수적으로 늘어나고 있고, 이러한 컨텐츠를 편집하고자 하는 소비자의 욕구도 늘어나고 있다.

다만, 현재 VR 이미지의 편집 소프트웨어 툴은 스티칭(stitching)이 주목적으로, 360도 영상에 펜으로 그림을 그리거나, 텍스트를 삽입하는 등의 편집은 지원하지 않는다.

이러한 편집을 하기 위해서는 스마트폰의 사진 편집 앱이나 포토샵 등의 기존 편집 툴을 이용할 수 있지만, 기존 편집 툴은 360도 영상에 대한 별도의 기능을 제공하지 않는다. 즉, 기존 편집 툴은 구형 VR 이미지를 평면으로 투사한 VR 이미지에서 편집을 수행해야 한다. 이 경우, 구형 VR 이미지를 평면으로 투사하는 과정에서 발생하는 왜곡에 의해 사용자가 의도한대로 편집이 이루어지지 않을 수 있다.

그에 따라, 왜곡 없이 편집을 수행하고, 이를 실시간으로 확인하며 편집을 수행할 수 있는 방안이 모색되고 있다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 VR(Virtual Reality) 이미지가 디스플레이된 상태로 직관적인 편집을 수행하기 위한 디스플레이 장치 및 그 제어 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 디스플레이 장치는 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 저장하는 스토리지, 사용자 입력을 수신하는 사용자 인터페이스부, 디스플레이 및 상기 VR 이미지를 구(sphere)형 VR 이미지로 변환하고, 상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하고, 상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성할 수 있다.

또한, 상기 프로세서는 상기 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되도록 상기 제2 오브젝트의 크기를 변경하고, 상기 투사 방법에 기초하여 상기 크기가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에 디스플레이할 수 있다.

그리고, 상기 프로세서는 상기 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 상기 제2 위치에 대응되는 상기 구형 VR 이미지 상의 제3 위치로 상기 제2 오브젝트의 위치를 변경하고, 상기 투사 방법에 기초하여 상기 위치가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에서 상기 제2 위치에 디스플레이할 수 있다.

또한, 상기 프로세서는 투사 시점, 투사 각도 및 상기 투사 방법에 대한 사용자 입력이 수신되면, 상기 투사 시점 및 상기 투사 각도에 기초하여 상기 구형 VR 이미지의 상기 일 영역을 결정하고, 상기 투사 방법에 기초하여 상기 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

그리고, 상기 프로세서는 상기 제1 오브젝트의 위치를 제1 위치로부터 상기 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 상기 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

또한, 상기 프로세서는 상기 구형 VR 이미지 상에서 상기 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다.

그리고, 상기 프로세서는 상기 편집된 구형 VR 이미지의 상기 일 영역에 대응되는 평면 VR 이미지를 디스플레이할 수 있다.

또한, 상기 편집 툴에서 제공되는 상기 제1 오브젝트는 편집 기능에 이용되는 도구 GUI, 상기 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은, 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 구(sphere)형 VR 이미지로 변환하는 단계, 상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하는 단계, 사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계 및 상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성하는 단계를 포함한다.

또한, 상기 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되도록 상기 제2 오브젝트의 크기를 변경하는 단계 및 상기 투사 방법에 기초하여 상기 크기가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에 디스플레이하는 단계를 더 포함할 수 있다.

그리고, 상기 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 상기 제2 위치에 대응되는 상기 구형 VR 이미지 상의 제3 위치로 상기 제2 오브젝트의 위치를 변경하는 단계 및 상기 투사 방법에 기초하여 상기 위치가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에서 상기 제2 위치에 디스플레이하는 단계를 더 포함할 수 있다.

또한, 상기 평면 VR 이미지를 디스플레이하는 단계는 투사 시점, 투사 각도 및 상기 투사 방법에 대한 사용자 입력이 수신되면, 상기 투사 시점 및 상기 투사 각도에 기초하여 상기 구형 VR 이미지의 상기 일 영역을 결정하는 단계 및 상기 투사 방법에 기초하여 상기 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계를 포함할 수 있다.

그리고, 상기 제1 오브젝트의 위치를 제1 위치로부터 상기 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 상기 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계를 더 포함할 수 있다.

또한, 상기 구형 VR 이미지 상에서 상기 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계를 더 포함할 수 있다.

그리고, 상기 편집된 구형 VR 이미지의 상기 일 영역에 대응되는 평면 VR 이미지를 디스플레이하는 단계를 더 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치의 동작 방법을 수행하기 위한 프로그램이 저장된 기록 매체에 있어서, 상기 동작 방법은, 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 구(sphere)형 VR 이미지로 변환하는 단계, 상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하는 단계, 사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계 및 상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성하는 단계를 포함한다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 VR(Virtual Reality) 이미지가 디스플레이된 상태에서 편집 툴이 제공되는 오브젝트의 형태를 변경함에 따라 사용자에게 직관적이고 편리한 편집 기능을 제공할 수 있다.

도 1a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 도면이다.
도 1b는 디스플레이 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 투사 방법의 일 예를 설명하기 위한 도면들이다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 오브젝트 크기의 변경을 설명하기 위한 도면들이다.
도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 오브젝트 위치의 변경을 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시 예에 따른 오브젝트의 종류를 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 투사 시점을 변경하는 방법을 설명하기 위한 도면들이다.
도 7a 내지 도 7f는 본 발명의 일 실시 예에 따른 VR 이미지를 편집하는 과정을 설명하기 위한 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 편집 중인 화면을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.

도 1a는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 나타내는 도면이다.

도 1a에 도시된 바와 같이, 디스플레이 장치(100)는 스토리지(110), 사용자 인터페이스부(120), 디스플레이(130) 및 프로세서(140)를 포함한다.

디스플레이 장치(100)는 이미지 또는 영상을 디스플레이하고 편집하는 장치일 수 있다. 예를 들어, 디스플레이 장치(100)는 노트북, 데스크탑 PC, 스마트폰 등으로 구현될 수 있으며, 이미지 또는 영상을 디스플레이하고 편집하는 장치라면 그 제한이 없다.

특히, 디스플레이 장치(100)는 VR(Virtual Reality) 이미지 또는 영상을 디스플레이하고 편집하는 장치일 수 있다. 여기서, VR 이미지는 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 이미지일 수 있다.

즉, VR 이미지는 촬영자를 기준으로 전 방위가 포함되도록 복수의 이미지를 촬영하고, 촬영된 복수의 이미지를 스티칭(stitching)한 후 평면으로 변환한 이미지일 수 있다. 다만, 이에 한정되는 것은 아니며, 전 방위가 아닌 일부 방위만이 포함되도록 복수의 이미지를 촬영하여 VR 이미지를 생성할 수도 있다.

복수의 서로 다른 시점에서 촬영된 복수의 이미지를 스티칭하면 구(sphere)형 VR 이미지가 생성되고, 구형 VR 이미지의 일 예를 도 2a 상측에 도시하였다. 그리고, 도 2a 상측의 구형 VR 이미지를 equirectangular 투사 방법을 통해 변환하면 VR 이미지가 생성되고, VR 이미지의 일 예를 도 2b에 도시하였다.

여기서, 구형 VR 이미지를 평면의 VR 이미지로 변환하는 것을 투사(projection)한다고 하며, 구형 VR 이미지를 평면의 VR 이미지로 변환하는 방법을 투사 방법이라고 한다. 투사 및 투사 방법에 대한 구체적인 설명은 도 2a 및 도 2b에서 후술한다.

디스플레이 장치(100)는 VR 이미지의 전체 또는 일부를 디스플레이하고, 편집 기능을 제공할 수 있다.

스토리지(110)는 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR 이미지를 저장할 수 있다. VR 이미지는 디스플레이 장치(100)가 아닌 외부 장치에서 생성된 이미지일 수 있다. 이 경우, 디스플레이 장치(100)는 외부 장치로부터 VR 이미지를 수신하여 스토리지(110)로 저장할 수 있다. 또는, 디스플레이 장치(100)는 복수의 카메라를 포함하고, 복수의 카메라를 이용하여 직접 촬영을 수행하며, 촬영된 복수의 이미지를 처리하여 VR 이미지를 생성할 수도 있다.

사용자 인터페이스부(120)는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스부(120)는 VR 이미지, 구형 VR 이미지 등을 디스플레이하기 위한 사용자 입력을 수신할 수 있다.

특히, 사용자 인터페이스부(120)는 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 디스플레이하기 위한 사용자 입력을 수신할 수 있다. 이 경우, 사용자 입력은 일 영역을 지정하기 위한 투사 시점 및 투사 각도를 지정하는 입력일 수 있다. 또한, 사용자 입력은 투사 방법을 지정하는 입력일 수 있다.

또는, 사용자 인터페이스부(120)는 현재 디스플레이 중인 VR 이미지의 일 영역을 변경하기 위한 사용자 입력을 수신할 수도 있다.

한편, 사용자 인터페이스부(120)는 디스플레이 중인 VR 이미지를 편집하기 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스부(120)는 VR 이미지를 편집하기 위한 편집 툴을 실행하기 위한 사용자 입력을 수신할 수 있다. 또한, 사용자 인터페이스부(120)는 편집 툴이 실행되어 편집 툴에서 제공되는 오브젝트의 크기 또는 위치를 변경하기 위한 사용자 입력을 수신할 수 있다.

디스플레이(130)는 프로세서(140)의 제어에 의해 다양한 컨텐츠를 디스플레이할 수 있다. 예를 들어, 디스플레이(130)는 VR 이미지 및 편집 툴에서 제공하는 오브젝트를 디스플레이할 수 있다. 또한, 디스플레이(130)는 편집 툴의 실행에 따라 편집된 VR 이미지를 실시간으로 디스플레이할 수도 있다.

그리고, 디스플레이(130)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(130)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.

프로세서(140)는 디스플레이 장치(100)의 동작을 전반적으로 제어한다.

프로세서(140)는 VR 이미지를 구형 VR 이미지로 변환할 수 있다. 여기서, VR 이미지는 구형 VR 이미지가 기설정된 투사 방법을 통해 평면으로 변환된 이미지일 수 있으며, 스토리지(110)에 저장되어 있을 수 있다.

프로세서(140)는 VR 이미지 생성에 이용된 투사 방법에 따라 VR 이미지를 역투사하여 구형 VR 이미지를 생성할 수 있다. 예를 들어, VR 이미지 생성 시 equirectangular 투사 방법이 이용된 경우, 프로세서(140)는 VR 이미지의 가로 및 세로를 각각 구면 좌표계(spherical coordinate system)의 Φ 및 θ에 매핑시켜 구형 VR 이미지를 생성할 수 있다.

프로세서(140)는 equirectangular 투사 방법에 의한 경우 뿐만 아니라 다른 투사 방법이 이용된 경우에도, 각 투사 방법에 따라 VR 이미지를 역투사하여 구형 VR 이미지를 생성할 수 있다.

여기서, VR 이미지는 투사 방법에 대한 정보를 저장할 수 있다. 이 경우, 프로세서(140)는 VR 이미지에 저장되어 있는 투사 방법에 기초하여 구형 VR 이미지를 생성할 수 있다. 또는, 프로세서(140)는 VR 이미지를 분석하여 VR 이미지 생성 시이용된 투사 방법을 결정할 수도 있다.

프로세서(140)는 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 평면 VR 이미지를 디스플레이하도록 디스플레이(130)를 제어할 수 있다. 예를 들어, 프로세서(140)는 구형 VR 이미지의 일부 영역만을 투사하여 평면 VR 이미지를 생성할 수 있다. 또는, 프로세서(140)는 구형 VR 이미지 전체를 투사하고, 일부 영역만을 크롭(crop)하여 평면 VR 이미지를 생성할 수도 있다.

여기서, 프로세서(140)는 투사 시점, 투사 각도 및 투사 방법에 대한 사용자 입력이 수신되면, 투사 시점 및 투사 각도에 기초하여 구형 VR 이미지의 일 영역을 결정하고, 투사 방법에 기초하여 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

여기서, 투사 시점은 구형 VR 이미지 상에서 사용자가 디스플레이하고자 하는 영역의 일 지점일 수 있다. 투사 각도는 구형 VR 이미지의 중심에서 사용자가 디스플레이하고자 하는 영역에 대한 각도일 수 있다. 다만, 사용자가 디스플레이하고자 하는 영역은 직사각형의 영역일 수 있고, 이 경우 투사 각도는 직사각형 영역의 상하 모서리와 구형 VR 이미지의 중심이 이루는 각도 및 직사각형 영역의 좌우 모서리와 구형 VR 이미지의 중심이 이루는 각도를 포함할 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 상술한 두 개의 각도 중 하나만을 입력받아 사용자가 디스플레이하고자 하는 영역을 결정할 수도 있다. 예를 들어, 프로세서(140)는 사용자가 디스플레이하고자 하는 영역의 좌우 모서리와 구형 VR 이미지의 중심이 이루는 각도를 입력받으면, 디스플레이(130)의 가로, 세로 비율에 기초하여 사용자가 디스플레이하고자 하는 영역을 결정할 수도 있다.

만약, 투사 시점, 투사 각도 및 투사 방법에 대한 사용자 입력이 수신되지 않으면, 프로세서(140)는 디폴트(default)로 설정되어 있는 투사 시점, 투사 각도 및 투사 방법을 이용하여 구형 VR 이미지의 일 영역을 결정할 수 있다. 또한, 프로세서(140)는 투사 시점, 투사 각도 및 투사 방법 중 일부에 대한 사용자 입력을 수신할 수도 있다.

프로세서(140)는 사용자 입력에 따라 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 편집 툴에서 제공되는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 평면 VR 이미지 상에 선을 추가하는 편집 툴이 실행되면, 펜 툴을 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다.

여기서, 편집 툴에서 제공되는 제1 오브젝트는 편집 기능에 이용되는 도구 GUI, 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함할 수 있다.

프로세서(140)는 평면 VR 이미지 생성에 이용된 투사 방법에 따라 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성할 수 있다. 예를 들어, VR 이미지 생성 시 equirectangular 투사 방법이 이용된 경우, 프로세서(140)는 equirectangular 투사 방법에 따라 제1 오브젝트를 역투사하여 제2 오브젝트를 생성할 수 있다. 제2 오브젝트에 기초하여 구형 VR 이미지를 편집하는 동작에 대하여는 후술한다.

프로세서(140)는 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 사용자 입력에 대응되도록 제2 오브젝트의 크기를 변경하고, 투사 방법에 기초하여 크기가 변경된 제2 오브젝트에 대응되도록 제1 오브젝트의 형태를 변경하여 평면 VR 이미지 상에 디스플레이할 수 있다. 여기서, 투사 방법은 평면 VR 이미지 생성에 이용된 투사 방법일 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트의 크기를 10단위 변경하는 사용자 입력이 수신되면, 제2 오브젝트의 크기를 10단위 변경할 수 있다. 즉, 제1 오브젝트의 크기를 10단위 변경하는 사용자 입력이 수신되더라도, 제1 오브젝트의 크기가 10 단위 변경되어 디스플레이되지 않는다.

프로세서(140)는 평면 VR 이미지 생성에 이용된 투사 방법에 기초하여 크기가 10단위 변경된 제2 오브젝트에 대응되는 형태가 변경된 제1 오브젝트를 생성할 수 있다. 이때, 제1 오브젝트는 단순히 10단위 크기가 변경되지 않고, 투사 시점, 투사 각도 및 투사 방법 중 적어도 하나에 따라 형태가 변경될 수 있다.

프로세서(140)는 형태가 변경된 제1 오브젝트를 평면 VR 이미지 상에 디스플레이할 수 있다. 즉, 사용자는 평면 VR 이미지의 편집이 아닌 구형 VR 이미지의 편집을 실시간으로 확인하면서 편집을 수행할 수 있다.

한편, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 제2 위치에 대응되는 구형 VR 이미지 상의 제3 위치로 제2 오브젝트의 위치를 변경하고, 투사 방법에 기초하여 위치가 변경된 제2 오브젝트에 대응되도록 제1 오브젝트의 형태를 변경하여 평면 VR 이미지 상에서 제2 위치에 디스플레이할 수 있다. 여기서, 투사 방법은 평면 VR 이미지 생성에 이용된 투사 방법일 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 제2 위치에 대응되는 구형 VR 이미지 상의 제3 위치로 제2 오브젝트의 위치를 변경할 수 있다. 여기서, 제2 위치에 대응되는 제3 위치는 평면 VR 이미지 생성에 이용된 투사 방법에 기초하여 결정될 수 있다.

프로세서(140)는 평면 VR 이미지 생성에 이용된 투사 방법에 기초하여 제3 위치로 위치가 변경된 제2 오브젝트를 평면으로 투사할 수 있다. 프로세서(140)에 위치가 변경된 제2 오브젝트를 투사하여 위치가 변경된 제1 오브젝트를 생성할 수 있다. 이때, 제1 오브젝트는 단순히 위치가 변경되지 않고, 투사 시점, 투사 각도 및 투사 방법 중 적어도 하나에 따라 형태가 변경될 수 있다.

한편, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치로부터 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트의 위치를 평면 VR 이미지의 좌측 경계의 한 지점으로 변경하는 사용자 입력이 수신되면, 좌측 경계의 한 지점을 투사 시점으로 한 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

한편, 프로세서(140)는 구형 VR 이미지 상에서 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다.

예를 들어, 프로세서(140)는 구형 VR 이미지의 가로선과 세로선에 대응되는 격자 형태의 가이드 GUI를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다. 여기서, 구형 VR 이미지의 가로선과 세로선은 각각 위도 및 경도에 대응될 수 있다.

프로세서(140)는 편집된 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 디스플레이할 수 있다. 예를 들어, 프로세서(140)는 평면 VR 이미지 상에 선을 추가하는 편집 툴이 실행되면, 펜 툴을 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다. 그리고, 프로세서(140)는 선을 추가하기 위해 펜 툴이 실행되면 구형 VR 이미지 상에 선을 추가하고, 투사 방법에 기초하여 선이 추가된 구형 VR 이미지를 평면 VR 이미지로 변환하여 디스플레이할 수 있다.

도 1b는 디스플레이 장치(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 1b에 따르면, 디스플레이 장치(100)는 스토리지(110), 사용자 인터페이스부(120), 디스플레이(130), 프로세서(140), 통신부(150), 오디오 처리부(160), 비디오 처리부(170), 스피커(180), 버튼(181), 카메라(182), 마이크(183)를 포함한다. 도 1b에 도시된 구성요소들 중 도 1a에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.

프로세서(140)는 스토리지(110)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다.

구체적으로, 프로세서(140)는 RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다.

RAM(141), ROM(142), 메인 CPU(143), 그래픽 처리부(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.

제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

메인 CPU(143)는 스토리지(110)에 액세스하여, 스토리지(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(110)에 저장된 각종 프로그램 등을 이용하여 다양한 동작을 수행한다.

ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 스토리지(110)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 스토리지(110)에 저장된 각종 애플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(130)의 디스플레이 영역 내에 표시된다.

한편, 상술한 프로세서(140)의 동작은 스토리지(110)에 저장된 프로그램에 의해 이루어질 수 있다.

스토리지(110)는 디스플레이 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 투사 방법 모듈 및 영상 편집 모듈 등과 같이 다양한 데이터를 저장한다.

이 경우 프로세서(140)는 스토리지(110)에 저장된 정보에 기초하여 VR 이미지를 디스플레이하고, 편집 툴을 제공할 수 있다.

사용자 인터페이스부(120)는 다양한 사용자 인터랙션(interaction)을 수신한다. 여기서, 사용자 인터페이스부(120)는 디스플레이 장치(100)의 구현 예에 따라 다양한 형태로 구현 가능하다. 디스플레이 장치(100)가 노트북, 데스크탑 PC 등으로 구현되는 경우 사용자 인터페이스부(120)는 키보드 또는 마우스로부터 입력 신호를 수신하는 수신부 등으로 구현 가능하다. 또한, 디스플레이 장치(100)가 터치 기반의 전자 장치로 구현되는 경우 사용자 인터페이스부(120)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수도 있다. 이 경우, 사용자 인터페이스부(120)는 상술한 디스플레이(130)로 사용될 수 있게 된다.

통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(150)는 와이파이 칩(151), 블루투스 칩(152), 무선 통신 칩(153), NFC 칩(154) 등을 포함한다. 프로세서(140)는 통신부(150)를 이용하여 각종 외부 장치와 통신을 수행한다.

와이파이 칩(151), 블루투스 칩(152)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(153)은 IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(154)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.

한편, 통신부(150)는 외부 장치와 단방향 통신 또는 양방향 통신을 수행할 수 있다. 단방향 통신을 수행하는 경우, 통신부(150)는 외부 장치로부터 신호를 수신할 수 있다. 양방향 통신을 수행하는 경우, 통신부(150)는 외부 장치로부터 신호를 수신할 수도 있고, 외부 장치로 신호를 송신할 수도 있다.

오디오 처리부(160)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(160)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.

비디오 처리부(170)는 비디오 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(170)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

스피커(180)는 오디오 처리부(160)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.

버튼(181)은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

카메라(182)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(182)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다.

마이크(183)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.

그 밖에, 도 1b에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.

이하에서는 본 발명의 이해를 돕기 위한 기본 구성과 다양한 실시 예에 대하여 설명한다.

도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 투사 방법의 일 예를 설명하기 위한 도면들이다.

도 2a의 상측 도면은 구형 VR 이미지의 일 예를 나타내며, 도 2b는 equirectangular 투사 방법에 기초하여 도 2a 상측의 구형 VR 이미지를 평면으로 변환한 VR 이미지를 나타낸다.

도 2a의 하측 도면은 구형 VR 이미지의 중심점(O) 및 투사 시점(P0)의 일 예를 나타낸다. 구면 좌표계의 Φ는 수평면 상에서 중심점(O)으로부터 투사 시점(P0)을 향하는 직선과 중심점(O)으로부터 제1 지점(P1)을 향하는 직선의 각도를 나타낸다. 만약, 투사 시점(P0) 및 제1 지점(P1)이 수평면 상이 아니라면, 투사 시점(P0) 및 제1 지점(P1) 각각을 수평면으로 투사(projection)한 수평면 상의 두 지점을 기초로 각도가 결정될 수 있다.

여기서, 수평면은 구형 VR 이미지를 평면으로 펼치는 기준일 수 있으며, 얼마든지 다른 방향으로 설정될 수도 있다. 예를 들어, 수평면은 도 2a의 하측 도면의 수평면과 직교하도록 설정될 수도 있다. 또한, 프로세서(140)는 투사 시점(P0)에 기초하여 수평면을 결정할 수 있다.

구면 좌표계의 θ는 중심점(O)으로부터 제2 지점(P2)을 향하는 직선과 수평면이 이루는 각도일 수 있다.

프로세서(140)는 구면 좌표계의 Φ, θ와 직교 좌표계의 x, y의 대응 관계에 기초하여 구형 VR 이미지를 평면으로 변환한 VR 이미지를 생성할 수 있다. 대응 관계는 투사 방법에 따라 달라질 수 있다.

도 2b와 같이 equirectangular 투사 방법을 이용하는 경우, 도 2a 상측의 구형 VR 이미지에 표시된 원형 점들은 구형 VR 이미지가 평면으로 투사되면서 그 형태가 변경될 수 있다. 즉, 도 2a 상측에 도시된 원형 점들은 도 2b의 VR 이미지에서 상측 및 하측으로 갈수록 타원형으로 형태가 변경될 수 있다. 이는 구형 VR 이미지를 직사각형의 평면으로 도시함에 따라 발생하는 문제이며, 도 2b의 상측 및 하측으로 갈수록 왜곡이 심해질 수 있다. 다만, 다른 투사 방법을 이용하는 경우에는 왜곡이 발생하는 영역이 변경될 수도 있다.

도 2a 및 도 2b에는 equirectangular 투사 방법을 나타냈으나, 이에 한정되는 것은 아니다. 예를 들어, rectilinear, cylindrical, mercator, stereographic, pannini 및 ours 등의 다양한 투사 방법을 이용하여 구형 VR 이미지를 VR 이미지로 변환할 수도 있다. 다양한 투사 방법을 통해 평면으로 변환된 VR 이미지의 일 예를 도 2c에 도시하였다.

이하에서는 설명의 편의를 위하여 equirectangular 투사 방법을 이용하는 것으로 설명한다. 다만, 다른 투사 방법을 이용하는 경우에도 본원의 기술이 적용될 수 있다.

도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 오브젝트 크기의 변경을 설명하기 위한 도면들이다.

도 3a에 도시된 바와 같이, 프로세서(140)는 평면 VR 이미지가 디스플레이된 상태에서 사용자 입력에 따라 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 편집 툴에서 제공되는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다.

예를 들어, 프로세서(140)는 복수의 스티커를 디스플레이하고, 이중 하나를 선택하는 사용자 입력이 있으면, 기설정된 형태의 스티커를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다. 여기서, 스티커는 화살표, 이모티콘 등과 같은 GUI일 수 있다.

그리고, 프로세서(140)는 제1 오브젝트의 크기를 변경하는 사용자 입력을 수신할 수 있다. 예를 들어, 프로세서(140)는 제1 오브젝트의 크기를 제1 크기(310-1)에서 제2 크기(310-2)로 변경하는 사용자 입력을 수신할 수 있다.

프로세서(140)는 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 도 3b에 도시된 바와 같이, 사용자 입력에 대응되도록 제2 오브젝트의 크기를 변경할 수 있다. 여기서, 제2 오브젝트는 제1 오브젝트에 대응되는 구면 좌표계 상의 오브젝트일 수 있다. 즉, 프로세서(140)는 투사 방법에 기초하여 제1 오브젝트를 역변환한 제2 오브젝트를 생성할 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트의 크기를 제1 크기(310-1)에서 제2 크기(310-2)로 변경하는 사용자 입력이 수신되면, 제1 크기(310-1)와 제2 크기(310-2)의 차이(d) 만큼 제2 오브젝트의 크기를 변경할 수 있다. 즉, 프로세서(140)는 제2 레이어 상에서 제2 오브젝트의 크기를 제3 크기(320-1)에서 제4 크기(320-2)로 변경할 수 있다. 이때, 제2 오브젝트의 형태는 변경되지 않고, 크기만 변경될 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 제1 오브젝트의 크기를 제1 크기(310-1)에서 제2 크기(310-2)로 변경하는 사용자 입력이 수신되면, 제2 크기(310-2)의 복수의 꼭지점에 대응되는 구면 좌표계 상의 복수의 좌표를 산출하고, 산출된 복수의 좌표에 대응되도록 제2 오브젝트의 크기를 변경할 수 있다. 이 경우, 제2 오브젝트의 형태가 변경될 수 있다.

한편, 제2 오브젝트와 구형 VR 이미지는 서로 다른 레이어에 포함될 수 있다. 예를 들어, 구형 VR 이미지는 제1 레이어에 포함되고, 제2 오브젝트는 제2 레이어에 포함될 수 있다. 즉, 제2 오브젝트의 크기가 변경되더라도 구형 VR 이미지는 변경되지 않을 수 있다.

프로세서(140)는 기설정된 투사 방법에 기초하여 크기가 변경된 제2 오브젝트를 평면으로 변환하여 형태가 변경된 제1 오브젝트를 생성할 수 있다. 여기서, 프로세서(140)는 제2 오브젝트를 포함하는 레이어를 평면으로 투사할 수 있다.

프로세서(140)는 구형 VR 이미지를 평면 VR 이미지로 투사할 때 이용된 투사 시점, 투사 각도 및 투사 방법으로 제2 오브젝트를 포함하는 레이어를 평면으로 투사할 수 있다.

상술한 바와 같이 투사 과정에서 일부 영역은 왜곡이 발생할 수 있다. 왜곡이 발생함에 따라 제1 오브젝트는 단순히 크기가 변경되는 것이 아니라, 형태가 왜곡될 수 있다. 프로세서(140)는 도 3c에 도시된 바와 같이, 형태가 변경된 제1 오브젝트(330)를 평면 VR 이미지 상에 디스플레이할 수 있다.

프로세서(140)는 형태가 변경된 제1 오브젝트(330)를 평면 VR 이미지와 병합하는 사용자 입력이 수신되면, 구형 VR 이미지가 포함된 제1 레이어 및 제1 오브젝트(330)를 포함하는 제2 레이어를 병합하여 편집된 구형 VR 이미지를 생성할 수 있다. 프로세서(140)는 편집된 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 디스플레이할 수 있다.

예를 들어, 격자 형태의 가이드 GUI는 구형 VR 이미지의 가로선과 세로선에 대응될 수 있다. 가로선 및 세로선의 간격은 기설정되어 있을 수 있다. 또는, 사용자의 제어에 의해 간격을 변경할 수도 있다.

도 4a 내지 도 4c는 본 발명의 일 실시 예에 따른 오브젝트 위치의 변경을 설명하기 위한 도면들이다.

도 4a에 도시된 바와 같이, 프로세서(140)는 평면 VR 이미지가 디스플레이된 상태에서 사용자 입력에 따라 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 편집 툴에서 제공되는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다.

그리고, 프로세서(140)는 제1 오브젝트의 위치를 변경하는 사용자 입력을 수신할 수 있다. 예를 들어, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치(410-1)에서 제2 위치(410-2)로 변경하는 사용자 입력을 수신할 수 있다.

프로세서(140)는 제1 오브젝트의 위치를 변경하는 사용자 입력이 수신되면, 도 4b에 도시된 바와 같이, 사용자 입력에 대응되도록 제2 오브젝트의 위치를 변경할 수 있다. 여기서, 제2 오브젝트는 제1 오브젝트에 대응되는 구면 좌표계 상의 오브젝트일 수 있다. 즉, 프로세서(140)는 투사 방법에 기초하여 제1 오브젝트를 역변환한 제2 오브젝트를 생성할 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치(410-1)에서 제2 위치(410-2)로 변경하는 사용자 입력이 수신되면, 제1 위치(410-1)와 제2 위치(410-2)의 차이(d) 만큼 제2 오브젝트의 위치를 변경할 수 있다. 즉, 프로세서(140)는 제2 레이어 상에서 제2 오브젝트의 위치를 제3 위치(420-1)에서 제4 위치(420-2)로 변경할 수 있다. 이때, 제2 오브젝트의 형태는 변경되지 않고, 위치만 변경될 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 제1 오브젝트의 위치를 제1 위치(410-1)에서 제2 위치(410-2)로 변경하는 사용자 입력이 수신되면, 제2 위치(410-2)의 복수의 꼭지점에 대응되는 구면 좌표계 상의 복수의 좌표를 산출하고, 산출된 복수의 좌표에 대응되도록 제2 오브젝트의 위치를 변경할 수 있다. 이 경우, 제2 오브젝트의 형태가 변경될 수 있다.

한편, 제2 오브젝트와 구형 VR 이미지는 서로 다른 레이어에 포함될 수 있다. 예를 들어, 구형 VR 이미지는 제1 레이어에 포함되고, 제2 오브젝트는 제2 레이어에 포함될 수 있다. 즉, 제2 오브젝트의 위치가 변경되더라도 구형 VR 이미지는 변경되지 않을 수 있다.

프로세서(140)는 기설정된 투사 방법에 기초하여 위치가 변경된 제2 오브젝트를 평면으로 변환하여 형태가 변경된 제1 오브젝트를 생성할 수 있다. 여기서, 프로세서(140)는 제2 오브젝트를 포함하는 레이어를 평면으로 투사할 수 있다.

상술한 바와 같이 투사 과정에서 일부 영역은 왜곡이 발생할 수 있다. 왜곡이 발생함에 따라 제1 오브젝트는 단순히 위치가 변경되는 것이 아니라, 형태가 왜곡될 수 있다. 프로세서(140)는 도 4c에 도시된 바와 같이, 형태가 변경된 제1 오브젝트(430)를 평면 VR 이미지 상에 디스플레이할 수 있다.

프로세서(140)는 형태가 변경된 제1 오브젝트(430)를 평면 VR 이미지와 병합하는 사용자 입력이 수신되면, 구형 VR 이미지가 포함된 제1 레이어 및 제1 오브젝트(430)를 포함하는 제2 레이어를 병합하여 편집된 구형 VR 이미지를 생성할 수 있다. 프로세서(140)는 편집된 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 디스플레이할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 오브젝트의 종류를 설명하기 위한 도면이다.

프로세서(140)는 이미지를 삽입할 수 있다. 프로세서(140)는 도 3a 내지 도 4c와 같은 방법을 이용하여 이미지의 형태를 변경하고, 형태가 변경된 이미지(510)를 평면 VR 이미지 상에 디스플레이할 수 있다.

예를 들어, 이미지는 직사각형의 형태이나, 프로세서(140)는 도 5에 도시된 바와 같이, 형태가 변경된 이미지(510)를 생성하고, 형태가 변경된 이미지(510)를 평면 VR 이미지 상에 디스플레이할 수 있다. 또한, 프로세서(140)는 형태가 변경된 이미지(510) 및 평면 VR 이미지의 경계 영역에 필터를 적용할 수도 있다.

다만, 이는 일 실시 예에 불과하고, 편집 툴에서 제공되는 오브젝트는 편집 기능에 이용되는 도구 GUI, 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함할 수 있다.

예를 들어, 프로세서(140)는 이미지 뿐만 아니라 펜, 페인트, 지우개, 스티커, 텍스트 박스, 동영상 및 필터 등을 동일한 방법으로 평면 VR 이미지 상에 디스플레이할 수 있다.

도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 투사 시점을 변경하는 방법을 설명하기 위한 도면들이다.

도 6a에 도시된 바와 같이, 프로세서(140)는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이할 수 있다. 프로세서(140)는 제1 오브젝트의 위치를 제1 위치(610-1)로부터 평면 VR 이미지의 기설정된 영역 내의 제4 위치(610-2)로 변경하는 사용자 입력이 수신되면, 제4 위치(610-2)에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다.

예를 들어, 프로세서(140)는 제1 오브젝트를 좌측 경계로 이동하는 사용자 입력이 수신되면, 투사 시점을 좌측으로 변경할 수 있다. 즉, 프로세서(140)는 제1 오브젝트를 좌측 경계로 이동하는 사용자 입력이 수신되면, 현재 디스플레이되고 있는 평면 VR 이미지가 아닌 다른 영역으로 오브젝트를 이동하려는 사용자 의도가 있는 것으로 파악하고, 디스플레이되는 영역을 변경할 수 있다.

프로세서(140)는 도 6b에 도시된 바와 같이, 제4 위치(610-2)에 대응되는 평면 VR 이미지를 생성하여 디스플레이할 수 있다. 즉, 프로세서(140)는 제2 오브젝트가 정가운데에 디스플레이될 수 있도록 투사 시점을 변경할 수 있다. 또한, 투사 시점이 변경되어 정가운데에 위치한 건물이 우측으로 디스플레이될 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 제1 오브젝트를 좌측 경계로 이동하는 사용자 입력이 수신되면, 투사 시점을 기설정된 투사 시점으로 변경할 수도 있다. 또는, 프로세서(140)는 기존의 투사 시점, 투사 각도 및 제1 오브젝트의 변경된 위치 중 적어도 하나에 기초하여 새로운 투사 시점을 결정할 수도 있다.

또는, 프로세서(140)는 투사 시점이 변경되면, 투사 각도를 변경할 수도 있다. 예를 들어, 프로세서(140)는 투사 시점이 변경되면, VR 이미지 일부 영역의 탐색이 용이하도록 투사 각도를 크게 변경할 수도 있다.

도 6a 및 도 6b에서는 제1 오브젝트의 위치를 변경하는 경우에 대하여만 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 제1 오브젝트를 기설정된 크기 이상으로 확대하는 사용자 입력이 수신되면, 투사 각도를 확대하여 디스플레이할 수도 있다.

도 7a 내지 도 7f는 본 발명의 일 실시 예에 따른 VR 이미지를 편집하는 과정을 설명하기 위한 도면들이다.

도 7a에 도시된 바와 같이, 프로세서(140)는 기설정된 투사 방법에 기초하여 구형 VR 이미지를 평면으로 변환한 VR 이미지를 디스플레이할 수 있다.

또는, 도 7b에 도시된 바와 같이, 프로세서(140)는 평면으로 변환한 VR 이미지의 일부 영역을 디스플레이할 수도 있다. 즉, 프로세서(140)는 투사 시점, 투사 각도 및 투사 방법 등과 같은 투사 파라미터를 사용자로부터 입력받아, 평면으로 변환한 VR 이미지의 일부 영역을 디스플레이할 수 있다. 또한, 프로세서(140)는 실시간으로 사용자로부터 투사 파라미터를 입력받아 디스플레이 중인 이미지를 변경할 수도 있다.

프로세서(140)는 사용자 입력에 따라 평면으로 변환한 VR 이미지 전체를 디스플레이하거나, 평면으로 변환한 VR 이미지의 일부 영역을 디스플레이할 수 있다.

도 7c에 도시된 바와 같이, 프로세서(140)는 평면으로 변환한 VR 이미지의 일부 영역만이 디스플레이되는 경우, 사용자 입력에 따라 투사 시점을 실시간으로 변경하여 디스플레이할 수도 있다. 도 7c의 도면은 도 7b의 도면보다 투사 시점이 좌측으로 이동된 경우를 나타낸다.

그리고, 도 7d에 도시된 바와 같이, 프로세서(140)는 사용자 입력에 따라 투사 각도를 실시간으로 변경하여 디스플레이할 수도 있다. 도 7d의 도면은 도 7c의 도면보다 투사 각도를 축소한 경우를 나타낸다. 즉, 사용자는 투사 각도를 축소하여 디스플레이 중인 이미지를 확대하거나, 투사 각도를 확대하여 디스플레이 중인 이미지를 축소할 수 있다.

다만, 이에 한정되는 것은 아니며, 프로세서(140)는 투사 각도의 변경 없이 이미지를 확대하거나 축소하여 디스플레이할 수도 있다. 또한, 프로세서(140)는 투사 시점 및 투사 각도 뿐만 아니라 투사 방법을 변경하여 실시간으로 디스플레이할 수도 있다.

그리고, 사용자의 편집이 수행되면, 프로세서(140)는 실시간으로 편집된 VR 이미지를 디스플레이할 수 있다. 이때, 프로세서(140)는 도 7e에 도시된 바와 같이, 디스플레이 중인 이미지 및 편집 상태를 디스플레이할 수도 있고, 도 7f에 도시된 바와 같이, 편집이 완료된 VR 이미지 전체를 디스플레이할 수도 있다.

한편, 프로세서(140)는 투사 시점 이동이나 이미지의 확대, 축소의 입력이 있더라도 기존의 편집 내용을 유지한 채로 투사 시점 이동이나 이미지의 확대, 축소를 수행할 수 있다. 예를 들어, 프로세서(140)는 도 7c와 같이 투사 시점이 이동하거나 도 7d와 같이 이미지가 확대되더라도 기존의 편집 내용을 유지할 수 있다.

특히, 프로세서(140)는 투사 시점 이동이나 이미지가 확대, 축소되어 기존의 편집 내용이 디스플레이되지 않더라도 기존의 편집 내용을 유지할 수도 있다.

도 8은 본 발명의 일 실시 예에 따른 편집 중인 화면을 설명하기 위한 도면이다.

도 8에 도시된 바와 같이, 프로세서(140)는 VR 이미지의 일부 영역을 전체 화면으로 디스플레이하고, VR 이미지 전체(810)를 전체 화면의 일 영역에 축소하여 디스플레이할 수 있다.

프로세서(140)는 사용자 입력에 따라 VR 이미지의 일부 영역이 편집되면, 일부 영역에 대한 편집 결과(820-1)를 실시간으로 디스플레이할 수 있다. 또한, 프로세서(140)는 축소되어 디스플레이 중인 VR 이미지 전체(810)에 편집 결과(820-2)를 디스플레이할 수 있다. 이러한 동작을 통해 사용자는 이미지의 일부 영역에 대한 편집을 수행하며, 이미지의 전체 영역이 어떻게 편집되는지 확인할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

먼저, 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 구(sphere)형 VR 이미지로 변환한다(S910). 그리고, 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 평면 VR 이미지를 디스플레이한다(S920). 그리고, 사용자 입력에 따라 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 편집 툴에서 제공되는 제1 오브젝트를 평면 VR 이미지 상에 오버레이하여 디스플레이한다(S930). 그리고, 평면 VR 이미지 생성에 이용된 투사 방법에 따라 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성한다(S940).

또한, 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 사용자 입력에 대응되도록 제2 오브젝트의 크기를 변경하는 단계 및 투사 방법에 기초하여 크기가 변경된 제2 오브젝트에 대응되도록 제1 오브젝트의 형태를 변경하여 평면 VR 이미지 상에 디스플레이하는 단계를 더 포함할 수 있다.

그리고, 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 제2 위치에 대응되는 구형 VR 이미지 상의 제3 위치로 제2 오브젝트의 위치를 변경하는 단계 및 투사 방법에 기초하여 위치가 변경된 제2 오브젝트에 대응되도록 제1 오브젝트의 형태를 변경하여 평면 VR 이미지 상에서 제2 위치에 디스플레이하는 단계를 더 포함할 수 있다.

한편, 평면 VR 이미지를 디스플레이하는 단계(S920)는 투사 시점, 투사 각도 및 투사 방법에 대한 사용자 입력이 수신되면, 투사 시점 및 투사 각도에 기초하여 구형 VR 이미지의 일 영역을 결정하는 단계 및 투사 방법에 기초하여 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계를 포함할 수 있다.

또한, 제1 오브젝트의 위치를 제1 위치로부터 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계를 더 포함할 수 있다.

그리고, 구형 VR 이미지 상에서 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계를 더 포함할 수 있다.

또한, 편집된 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 디스플레이하는 단계를 더 포함할 수 있다.

한편, 편집 툴에서 제공되는 제1 오브젝트는 편집 기능에 이용되는 도구 GUI, 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함할 수 있다.

한편, 이상에서는 equirectangular 투사 방법을 이용하여 설명하였으나, 이는 설명의 편의를 위한 것으로 얼마든지 다른 투사 방법을 이용한 경우에도 본원의 기술이 적용될 수 있다.

또한, 이상에서는 이미지를 중점적으로 설명하였으나, 동영상에 대하여도 프레임마다 동일한 방법이 적용될 수 있다. 사용자는 각 프레임을 편집할 수도 있으나, 일정 시간 동안의 프레임에 대하여 동일한 편집을 수행할 수도 있다.

한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.

구체적으로는, 상술한 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 디스플레이 장치 110 : 스토리지
120 : 사용자 인터페이스부 130 : 디스플레이
140 : 프로세서 150 : 통신부
160 : 오디오 처리부 170 : 비디오 처리부
180 : 스피커 181 : 버튼
182 : 카메라 183 : 마이크

Claims

복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 저장하는 스토리지;
사용자 입력을 수신하는 사용자 인터페이스부;
디스플레이; 및
상기 VR 이미지를 구(sphere)형 VR 이미지로 변환하고, 상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
상기 프로세서는,
상기 사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하고, 상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성하는 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되도록 상기 제2 오브젝트의 크기를 변경하고, 상기 투사 방법에 기초하여 상기 크기가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 상기 제2 위치에 대응되는 상기 구형 VR 이미지 상의 제3 위치로 상기 제2 오브젝트의 위치를 변경하고, 상기 투사 방법에 기초하여 상기 위치가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에서 상기 제2 위치에 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
투사 시점, 투사 각도 및 상기 투사 방법에 대한 사용자 입력이 수신되면, 상기 투사 시점 및 상기 투사 각도에 기초하여 상기 구형 VR 이미지의 상기 일 영역을 결정하고, 상기 투사 방법에 기초하여 상기 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 제1 오브젝트의 위치를 제1 위치로부터 상기 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 상기 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 구형 VR 이미지 상에서 상기 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 편집된 구형 VR 이미지의 상기 일 영역에 대응되는 평면 VR 이미지를 디스플레이하는, 디스플레이 장치.
제1항에 있어서,
상기 편집 툴에서 제공되는 상기 제1 오브젝트는,
편집 기능에 이용되는 도구 GUI, 상기 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함하는, 디스플레이 장치.
복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 구(sphere)형 VR 이미지로 변환하는 단계;
상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하는 단계;
사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계; 및
상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
제9항에 있어서,
상기 제1 오브젝트의 크기를 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되도록 상기 제2 오브젝트의 크기를 변경하는 단계; 및
상기 투사 방법에 기초하여 상기 크기가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에 디스플레이하는 단계;를 더 포함하는, 제어 방법.
제9항에 있어서,
상기 제1 오브젝트의 위치를 제1 위치로부터 제2 위치로 변경하는 사용자 입력이 수신되면, 상기 제2 위치에 대응되는 상기 구형 VR 이미지 상의 제3 위치로 상기 제2 오브젝트의 위치를 변경하는 단계; 및
상기 투사 방법에 기초하여 상기 위치가 변경된 제2 오브젝트에 대응되도록 상기 제1 오브젝트의 형태를 변경하여 상기 평면 VR 이미지 상에서 상기 제2 위치에 디스플레이하는 단계;를 더 포함하는, 제어 방법.
제9항에 있어서,
상기 평면 VR 이미지를 디스플레이하는 단계는,
투사 시점, 투사 각도 및 상기 투사 방법에 대한 사용자 입력이 수신되면, 상기 투사 시점 및 상기 투사 각도에 기초하여 상기 구형 VR 이미지의 상기 일 영역을 결정하는 단계; 및
상기 투사 방법에 기초하여 상기 일 영역에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계;를 포함하는, 제어 방법.
제9항에 있어서,
상기 제1 오브젝트의 위치를 제1 위치로부터 상기 평면 VR 이미지의 기설정된 영역 내의 제4 위치로 변경하는 사용자 입력이 수신되면, 상기 제4 위치에 대응되는 평면 VR 이미지를 생성하여 디스플레이하는 단계;를 더 포함하는, 제어 방법.
제9항에 있어서,
상기 구형 VR 이미지 상에서 상기 평면 VR 이미지에 대응되는 위치를 가이드하는 격자 형태의 가이드 GUI를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계;를 더 포함하는, 제어 방법.
제9항에 있어서,
상기 편집된 구형 VR 이미지의 상기 일 영역에 대응되는 평면 VR 이미지를 디스플레이하는 단계;를 더 포함하는, 제어 방법.
제9항에 있어서,
상기 편집 툴에서 제공되는 상기 제1 오브젝트는,
편집 기능에 이용되는 도구 GUI, 상기 도구 GUI에 의해 생성되는 편집 컨텐츠 및 편집 기능에 따라 추가되는 컨텐츠 중 적어도 하나를 포함하는, 제어 방법.
디스플레이 장치의 동작 방법을 수행하기 위한 프로그램이 저장된 기록 매체에 있어서,
상기 동작 방법은,
복수의 서로 다른 시점에서 촬영된 복수의 이미지를 결합하여 평면으로 변환한 VR(Virtual Reality) 이미지를 구(sphere)형 VR 이미지로 변환하는 단계;
상기 구형 VR 이미지의 일 영역에 대응되는 평면 VR 이미지를 생성하며, 상기 평면 VR 이미지를 디스플레이하는 단계;
사용자 입력에 따라 상기 평면 VR 이미지를 편집하기 위한 편집 툴이 실행되면, 상기 편집 툴에서 제공되는 제1 오브젝트를 상기 평면 VR 이미지 상에 오버레이하여 디스플레이하는 단계; 및
상기 평면 VR 이미지 생성에 이용된 투사 방법에 따라 상기 제1 오브젝트를 역투사한 제2 오브젝트에 기초하여, 편집된 구형 VR 이미지를 생성하는 단계;를 포함하는 기록 매체.