KR102684302B1 - 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치 - Google Patents

Abstract

제 1 디바이스는 상기 제 1 디바이스 상에 가상 컨텐트(virtual content)의 제 1 뷰(view)를 디스플레이하고, 상기 제 1 디바이스와 제 2 디바이스간에 연결을 설정하고, 상기 설정된 연결을 통해 상기 제 2 디바이스의 움직임 데이터를 수신하고, 상기 수신된 움직임 데이터를 기반으로 방향 정보 및 회전 정보 중 적어도 하나를 획득하고, 상기 획득된, 상기 방향 정보 및 회전 정보 중 적어도 하나에 상응하게 상기 가상 컨텐트에서 상기 제 1 뷰를 제 2 뷰로 변경한다.

Description

가상 현실 (VR) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치

본 개시는 컴퓨팅-디바이스들에 관한 것으로서, 특히 가상 현실(virtual reality: VR) 렌더링 디바이스(rendering device)들에 관한 것이다.

VR 디바이스를 사용하는 동안 필요로 되는 공통적인 동작은 상기 VR 디바이스에 의해 렌더링되는(rendered) 가상 세계 또는 환경 내에서의 신-네비게이션(scene-navigation)이다. 네비게이션은 문자 그대로 어느 한 뷰(view)에서 다른 뷰로 이동하는 것을 나타낸다. VR 측면에서, 상기 네비게이션은 사용자의 명령(command)에 따라 상기 사용자에 관해 상기 가상 세계의 뷰의 변위(displacement)를 나타낸다. 대안적으로, VR에 관한 네비게이션은 상기 가상 세계의 현재의 뷰(view)에서 사용자의 관심에 따라 다른 뷰로 이동하는 것을 나타낸다. 상기와 같은 네비게이션은 상기 가상 세계의 트래버설(traversal)의 일부로서 다른-방향(direction)들/방향(orientation)들로부터 현재 렌더링된 가상 세계를 보기 위해 필요로 된다. 다른 예제에서, 네비게이션의 일부로서 달성되는 상기 '뷰에서의 변경(change-in-view)'은 또한 하나의 가상 세계에서 다른 가상 세계로의 트래버설(traversal)을 나타내며, 여기서 다른 세계는 또한 동일한 VR 디바이스에 의해 렌더링되고, 따라서 다른 방향들에서 보여질 수 있다.

상기 가상 세계에 걸친 네비게이션의 일 예는 상기 가상 세계의 모든 방향들에서 바라 보고(looking)/보고(seeing), 적의 위치를 찾기 위해 다른-시야각(viewing angle)들을 시도하는 슈팅 게임(shooting game)에서의 참여 사용자가 될 수 있다. VR에서의 네비게이션의 또 다른 예는 생방송/녹화된 360° 비디오 컨텐트, 스포츠들, 등을 네비게이트하고, 뷰를 변경하는 사용자를 포함한다.

상기 가상 세계에서 신-네비게이션(scene-navigation)을 위한 입력 명령들을 렌더링하기 위해 현재 유용한 측정들은 도 1(a)에 도시되어 있는 바와 같이 사용자가 HMD(head mounted device)를 사용하여 상기 가상 세계에 연결되어 있을 때 사용자의 머리 움직임을 포함한다. 마찬가지로, 다른 예들은 상기 HMD 내의 센서들에 의해 센싱되고 그 프로세싱-모듈로 통신되는 사용자의 신체-제스쳐들 혹은 자세, 상기 VR 디바이스에 링크되는 터치 패드를 통한 손가락-제스쳐의 드로잉(drawing), 핸드헬드-액세서리로 터치 패드를 가지는 원격-제어기, 등을 포함한다.

상기와 같은 방법들 모두에서, 상기 사용자는 상기 가상 세계에서 신-네비게이션(scene-navigation)을 위해 상기 사용자 자신의 신체 부위들 (손, 손가락, 및 머리, 등)을 지속적으로 사용해야 할 필요가 있다. 그와 같은 움직임들이 오랫동안 지속되면 피로를 발생시킬 수 있다. 일 예로, 상기 가상 세계에서 신 네비게이션을 위해 상기 HMD를 사용하는 머리의 지속적인-움직임은 도 1(b)에 도시되어 있는 바와 같이 목 염좌(strain)를 초래할 수 있다. 게다가, 상기 사용자 자신이 영구적으로 또는 일시적으로 장애를 가지게 될 경우, 상기 사용자는 상기 네비게이션 입력으로 상기 VR 디바이스에 달리 요구되는 실질적으로 많은 제스쳐들을 나타내는 것이 가능하지 않을 수 있다. 일반적으로, 상기 신체적으로 어려움을 겪은 사람들 및/또는 어르신들은 네비게이션을 위해 항상 머리/목을 돌리고, 및/ 또는 등을 비트는 것과 같은 간단한 신체-움직임들을 수행하는 것이 어렵고, 따라서 상기 가상 세계를 네비게이트하는 것이 대체로 불가능하다.

추가적으로, 다른 정상적인 사람 조차도 상기 가상 세계를 네비게이트하기 위해 어느 정도(들)의 모션을 쉽게 나타내는 것이 가능하지 않을 수 있다. 일 예로, 도 1 (c) 및 도 1 (d)에 도시되어 있는 예에 관해서 도시되어 있는 바와 같이, 상기 사용자가 상기 사용자의 후방으로 네비게이트하기를 원할 경우, 상기 사용자의 머리를 뒤로 움직여서 (옆쪽으로 혹은 수직으로) 180° 회전 움직임을 실행하는 것이 신체적으로 가능하지 않을 수 있다. 다르게 말하면, 상기 사용자는 인체 앞쪽의 반구에서만 옆쪽으로 또는 수직으로 허용되는 자연스러운 머리 움직임들로 제한된다. 따라서, 상기와 같은 움직임 한정들을 보상하기 위해, 상기 사용자는 상기 사용자의 뒤쪽 뷰에서 네비게이트하기 위해 상기 사용자의 등을 비틀거나 완전히 회전해야만 한다.

상기 가상 세계에서 네비게이션 기반 제스쳐를 신체적으로 손상시키는 다른 예는 손을 들어 올리는 동안의 트랙-패드(track-pad)의 사용을 포함한다. 마찬가지로, 상기 HMD를 통해 상기 가상 세계에 열중하는(glue) 사용자가 제스쳐들을 실행하는 동안 상기 현실 세계의 장애물과 충돌할 경우 네비게이트하는 동안 자기 부상을 입는 경향이 있는 사고들이 종종 있어 왔다.

대체로, 상기 가상 세계에서의 네비게이션을 달성하기 위한 종래의 메커니즘들은 결국 모든 타입들의 네비게이션을 달성하기 위해 상기 사용자가 머리 및 다른 움직임 가능한 신체 부위들 (목, 손, 등, 다리 등)의 조합을 사용하여 움직임들을 나타내는 것을 필요로 한다. 따라서, 상기 네비게이션을 위한 메카니즘들은 또한 배우기가 어렵고, 따라서 사람에게는 본질적으로 덜 '직관적(intuitive)'이다.

마찬가지로, 상기 홀로그램 컨텐트를 렌더링하는 종래의 홀로그램 디바이스들은 또한 상기 렌더링된 홀로그램 컨텐트의 네비게이션과 관련하여 상기에서 설명한 바와 같은 단점들로 인해 여전히 곤란을 겪게 된다.

따라서, 상기 가상 세계 또는 홀로그램 컨텐트와 같은 다른 타입의 3D 컨텐트를 네비게이트하는 동안 인간이 실행 가능한 신체적 움직임들의 정도 및 타입을 최소시키면서도, 상기 표준화된 모든 타입들의 네비게이션을 달성하는 것에 대한 필요성이 존재한다.

또한, 작동 및 학습이 쉽고, 그에 따라 본질적으로 보다 '직관적인' 네비게이션 메커니즘들을 개발하는 것에 대한 필요성이 존재한다.

본 개시는 본 발명의 상세한 설명에서 추가적으로 설명되는 단순화된 포맷으로 컨셉(concept)들의 선택을 제시하기 위해 제공된다. 본 개시는 본 발명의 핵심적인 또는 필수적인 발명 컨셉들을 식별하려는 의도를 가지지는 않으며, 본 발명의 범위를 결정하기 위한 의도를 가지지도 않는다.

일 실시 예에서, 제 1 디바이스의 방법이 제공된다. 상기 방법은 상기 제 1 디바이스 상에 가상 컨텐트(virtual content)의 제 1 뷰(view)를 디스플레이하는 동작, 상기 제 1 디바이스와 제 2 디바이스간에 연결을 설정하는 동작, 상기 설정된 연결을 통해 상기 제 2 디바이스의 움직임 데이터를 수신하는 동작, 상기 수신된 움직임 데이터를 기반으로 방향 정보 및 회전 정보 중 적어도 하나를 획득하는 동작, 및 상기 획득된, 상기 방향 정보 및 회전 정보 중 적어도 하나에 상응하게 상기 가상 컨텐트에서 상기 제 1 뷰를 제 2 뷰로 변경하는 동작을 포함한다.

다른 실시 예에서, 제 1 디바이스가 제공된다. 상기 제 1 디바이스는 상기 제 1 디바이스 상에 가상 컨텐트(virtual content)의 제 1 뷰(view)를 디스플레이하도록 구성되는 디스플레이, 상기 제 1 디바이스와 제 2 디바이스간에 연결을 설정하고, 상기 설정된 연결을 통해 상기 제 2 디바이스의 움직임 데이터를 수신하도록 구성되는 송수신기, 상기 수신된 움직임 데이터를 기반으로 방향 정보 및 회전 정보 중 적어도 하나를 획득하고, 상기 획득된, 상기 방향 정보 및 회전 정보 중 적어도 하나에 상응하게 상기 가상 컨텐트에서 상기 제 1 뷰를 제 2 뷰로 변경하도록 구성되는 적어도 하나의 프로세서를 포함한다.

다른 실시 예에서, 가상 현실 (virtual reality: VR) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법이 제공된다. 상기 방법은 상기 가상-현실 디바이스와 핸드헬드-디바이스 간의 연결을 설정하는 동작을 포함한다. 그 후, 핸드헬드-디바이스 움직임 데이터가 수신되고, 여기서 상기 움직임 데이터는 상기 가상 현실 디바이스에서의 방향-파라미터들 및 회전-파라미터들 중 적어도 하나를 포함한다. 상기 핸드헬드 디바이스의 움직임에 상응하는 상기 움직임 데이터는 상기 가상 현실 디바이스 상에 디스플레이되는 가상 컨텐트의 현재의-뷰에 매핑된다. 상기 핸드헬드 디바이스 움직임 데이터를 기반으로, 네비게이션은 상기 가상 현실 디바이스 상에 디스플레이되는 가상 컨텐트의 현재의 뷰로부터 실행된다.

다른 실시 예에서, 가상 콘텐트를 디스플레이하는 상기 VR 디바이스가 제공된다. 상기 VR 디바이스는 핸드헬드 디바이스의 통신 모듈과의 연결을 설정하는 인터페이스를 포함한다. 수신기는 상기 핸드헬드 디바이스로부터의 방향-파라미터들 및 회전-파라미터들 중 적어도 하나를 포함하는 핸드헬드 디바이스 움직임 데이터를 수신한다. 매퍼(mapper)는 상기 핸드헬드 디바이스에 상응하는 상기 핸드헬드 디바이스 움직임 데이터를 디스플레이되는 가상 컨텐트의 현재의 뷰에 매핑한다. 프로세싱 모듈은 상기 핸드헬드 디바이스 움직임 데이터를 기반으로 상기 가상 컨텐트의 현재-뷰로부터의 네비게이션을 용이하게 한다.

다른 실시 예에서, 홀로그램 디바이스에 의해 디스플레이되는 홀로그램 컨텐트를 네비게이트하는 방법이 제공된다. 상기 방법은 상기 홀로그램 디바이스와 핸드헬드 디바이스 간의 연결을 설정하는 것을 포함한다. 그 후, 핸드헬드 디바이스 움직임 데이터가 수신되며, 여기서 상기 움직임 데이터는 상기 홀로그램 디바이스에서의 방향-파라미터들 및 회전-파라미터들 중 적어도 하나를 포함한다. 상기 핸드헬드 디바이스에 상응하는 상기 핸드헬드 디바이스 움직임 데이터는 상기 홀로그램 디바이스에 의해 디스플레이되는 컨텐트의 현재-뷰에 매핑된다. 상기 핸드헬드 디바이스 움직임 데이터를 기반으로, 네비게이션은 상기 홀로그램 컨텐트의 현재 뷰로부터 실행된다.

다른 실시 예에서, 홀로그램 컨텐트를 디스플레이하는 홀로그램 디바이스가 제공된다. 상기 홀로그램 디바이스는 핸드헬드 디바이스의 통신 모듈과의 연결을 설정하는 인터페이스를 포함한다. 수신기는 상기 핸드헬드 디바이스로부터 방향-파라미터들 및 회전-파라미터들 중 적어도 하나를 포함하는 핸드헬드 디바이스 움직임 데이터를 수신한다. 매퍼는 상기 핸드헬드 디바이스에 상응하는 핸드헬드 디바이스 움직임 데이터를 디스플레이되는 홀로그램-컨텐트의 현재의 뷰에 매핑한다. 홀로그램 컨텐트 프로세싱 모듈은 상기 핸드헬드 디바이스 움직임 데이터를 기반으로 상기 홀로그램-컨텐트의 현재-뷰로부터의 네비게이션을 용이하게 한다.

본 개시는 가상 세계 및 다른 타입의 3D 컨텐트 (일 예로, 홀로그램-컨텐트)에서의 네비게이션에 관련된 상기와 같은 모든 문제점들을 처리한다. 따라서, 상기 제안된 발명은 최소 사용자 움직임, 최소 사용자 주의 및 사용자 근처의 매우 제한된 현실 세계 공간을 사용하여 특정 방향으로 상기 핸드헬드 디바이스를 회전시킴으로써 적어도 사용자가 상기 네비게이션에 대한 입력을 제공하는 것을 가능하게 할 수 있다. 따라서, 상기 사용자는 신체적인 노력에 시달리지 않고도 상기 가상 세계 또는 임의의 다른 3D 컨텐트를 보다 더 오랜 기간 동안 트래버스(traverse) 할 수 있다.

게다가, 상기 네비게이션 동작 동안 상기 사용자에 의해 보여지는 신체적 움직임들 (일 예로, 제자리 회전(in-place rotation))은 작은 현실 세계 공간 내에 국한되고, 따라서 현실 세계 장애물과의 충돌 가능성을 매우 최소화시킬 수 있다. 추가적으로, 사용자 실행 신체적 움직임들은 실제로 실행되는 네비게이션 액션의 타입과 실질적으로 상관되는 경향이 있고, 따라서 메커니즘이 "직관적인" 양상이 되도록 유도한다.

본 개시의 장점들 및 특징들을 보다 더 명확하게 하기 위해, 본 발명의 보다 구체적인 설명은 첨부 도면에 도시되어 있는 특정 실시 예들을 참조하여 제공될 것이다. 이들 도면들은 본 개시의 전형적인 실시 예들만을 도시하므로, 따라서 그 범위를 한정하는 것으로 간주되지 않는 것으로 인식될 것이다. 본 개시는 첨부 도면들과 함께 추가적인 특이성 및 구체적인 사항들로 기술되고 설명될 것이다.

본 개시의 이들 및 다른 특징들, 측면들 및 장점들은 도면들 전체에 걸쳐 유사한 참조 번호들이 유사한 파트들을 나타내는 첨부 도면들을 참조하여 하기의 상세한 설명이 읽혀질 때 보다 더 잘 이해될 것이다:
도 1은 종래의 VR 디바이스, 및 그 사용과 연관되는 부작용들 및 한정된 움직임들을 도시하고 있다;
도 2는 본 개시의 일 실시 예에 따른 가상 현실 (virtual reality: VR) 디바이스에 의해 디스플레이되는 가상 콘텐트(virtual content)를 네비게이트(navigate)하는 방법을 도시하고 있다;
도 3은 본 개시의 일 실시 예에 따른 시스템의 구체적인 내부 구성을 도시하고 있다;
도 4는 본 개시의 다른 실시 예에 따른 홀로그램(holographic)-디바이스에 의해 디스플레이되는 홀로그램-콘텐트를 네비게이트하는 방법을 도시하고 있다;
도 5는 본 개시의 일 실시 예에 따른 상기 핸드헬드(handheld) 디바이스와 상호 작용하는 홀로그램 디바이스의 구체적인 내부 구성을 도시하고 있다;
도 6은 본 개시의 일 실시 예에 따른 프로세스를 설명하고 있는 예시적인 제어-플로우 다이아그램을 도시하고 있다;
도 7은 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스 혹은 스타일러스(stylus)에 의해 달리 실행되는 회전들의 예시적인 타입들을 도시하고 있다;
도 8은 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스에 대해 주어지는 회전의 다른 타입들을 도시하고 있다;
도 9는 본 개시의 일 실시 예에 따른 상기 VR 디바이스를 착용하고 상기 스타일러스를 동작시키는 사용자의 오버헤드 뷰(overhead view)를 도시하고 있다;
도 10은 본 개시의 일 실시 예에 따른 상기 VR 디바이스에 의해 렌더링되는 바와 같은 가상 세계의 또 다른 예시적인 표현을 도시하고 있다;
도 11은 본 개시의 일 실시 예에 따른 교통-상황 모니터링을 통해 이네이블되는 적어도 도시-감시 측면들에서의 또 다른 예시적인 구현을 도시하고 있다;
도 12는 본 개시의 일 실시 예에 따른 또 다른 예시적인 구현을 도시하고 있다;
도 13은 본 개시의 일 실시 예에 따른 또 다른 예시적인 구현을 도시하고 있다;
도 14는 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스의 아키텍처를 도시하고 있다;
도 15는 본 개시의 일 실시 예에 따른 상기 VR 디바이스의 아키텍처를 도시하고 있다;
도 16은 본 개시의 일 실시 예에 따른 상기 VR 디바이스 또는 홀로그램 디바이스의 다른 아키텍처를 도시하고 있다;
도 17은 본 개시의 일 실시 예에 따른 컴퓨팅-디바이스 기반 구현을 도시하고 있다.
추가적으로, 당업자들은 상기 도면들에 포함되어 있는 엘리먼트들이 간략화를 위해 도시되어 있으며, 반드시 스케일(scale)대로 도시되어 있는 것은 아닐 수 있다는 것을 인식할 수 있을 것이다. 일 예로, 상기 플로우 차트들은 본 개시의 측면들의 이해를 향상시키는 데 도움이 되는 가장 중요한 단계들의 관점들에서 상기 방법을 도시하고 있다. 추가적으로, 상기 디바이스의 구성 측면들에서, 상기 디바이스의 하나 혹은 그 이상의 컴포넌트들은 종래의 기호들을 사용하여 상기 도면들에 표현될 수 있고, 상기 도면들은 여기에서의 설명의 이점을 가지는, 해당 기술 분야의 당업자들에게 쉽게 명백해질 구체적인 사항들로 상기 도면들을 모호하게 하지 않게 하기 위해서 본 개시의 실시 예들을 이해하는 데 적합한 특정 구체 사항들만을 도시할 수 있다.

본 개시의 실시 예들의 예시적인 구현들이 하기에 예시되어 있을 지라도, 본 개시는 현재 공지되어 있거나 존재하는 임의의 개수의 기술들을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야만 할 것이다. 본 개시는 여기에서 도시되고, 또한 설명되는 예시적인 설계 및 구현을 포함하여, 아래에 예시되어 있는 구현들, 도면들 및 기술들로 제한되지 않아야만 하고, 첨부된 청구항들 내에서 그 균등들의 전체 범위와 함께 수정될 수 있다.

여기에서 사용되는 용어 "일부"는 "없음, 또는 하나, 또는 하나를 초과하거나, 또는 모두"로 정의된다. 따라서, 상기 용어들 "없음", "하나", "하나를 초과하는", "하나를 초과하지만, 모두는 아닌", 또는 "모두"는 모두 상기 "일부"의 정의 하에 있을 것이다. 용어 "일부 실시 예들"은 실시 예들이 존재하지 않거나, 또는 일 실시 예, 또는 몇몇 개의 실시 예들, 또는 모든 실시 예들을 나타낼 수 있다. 따라서, 상기 용어 "일부 실시 예들"은 "실시 예가 존재하지 않음, 또는 하나의 실시 예, 또는 하나를 초과하는 실시 예, 또는 모든 실시 예들"을 의미하는 것으로 정의된다.

여기에서 사용되는 용어 및 구조는 일부 실시 예들 및 상기 일부 실시 예들의 특정 특징들 및 엘리먼트(element)들을 설명, 교시 및 분명하게 하기 위한 것이며, 청구항들 혹은 그 균등들의 사상 및 범위를 한정, 제한, 또는 감소시키지 않는다.

보다 구체적으로, "포함하다(includes)", "포함하다(comprises)", "가지다(has)", "이루어지다(consists)", 및 그들의 문법적인 변형들과 같은, 그렇다고 이에 한정되지는 않는, 여기에서 사용되는 어떤 용어들이라도 별도로 다르게 언급되지 않는 한 정확한 한정 또는 제한을 명시하지 않으며, 하나 혹은 그 이상의 특징들 혹은 엘리먼트들의 가능한 추가를 명백하게 배제하지는 않고, 추가적으로, 한정적인 언어 "반드시 포함한다(MUST comprise)" 또는 "포함할 필요가 있다(NEEDS TO include)"로 별도로 언급되지 않는 한, 상기 리스트된 특징들 및 엘리먼트들 중 하나 혹은 그 이상의 가능한 제거를 배제하는 것으로 간주되어서는 안될 것이다.

특정 기능 또는 엘리먼트가 오직 한 번만 사용되도록 제한되었는지 여부에 관계없이, 이는 여전히 "하나 혹은 그 이상의 특징들" 또는 "하나 혹은 그 이상의 엘리머트들" 또는 "적어도 하나의 특징" 또는 "적어도 하나의 엘리먼트"라고 칭해질 수 있다. 추가적으로, 용어들 "하나 혹은 그 이상의" 또는 "적어도 하나의" 특징 또는 엘리먼트라는 용어들의 사용은 "하나 혹은 그 이상의 ...이 존재해야만 할 필요가 있다" 또는 "하나 혹은 그 이상의 엘리먼트가 필요로 된다"라는 것과 같은 한정적인 언어로 별도로 다르게 명시되지 않는 한 상기 특징 및 엘리먼트 중 어떤 것이라도 존재하지 않는 것을 배제하지는 않는다.

별도로 정의되지 않는 한, 여기에서 사용되는 모든 용어들, 특히 임의의 기술적 및/또는 과학적 용어들은 해당 기술 분야의 당업자에게 일반적으로 이해되는 것과 동일한 의미를 갖는 것으로 간주될 수 있다.

본 개시의 실시 예들은 하기에서 첨부된 도면들을 참조하여 상세히 설명될 것이다.

도 2는 가상 현실 (virtual reality: VR) 디바이스에 의해 디스플레이되는 가상 콘텐트(virtual content)를 네비게이트하는(navigate) 방법(200)을 도시하고 있다. 상기 방법(200)은 상기 VR 디바이스와 핸드헬드 디바이스(handheld device)간의 연결을 설정하는 것 (단계 202)을 포함하며; 여기서, 상기 핸드헬드 디바이스는 스타일러스(stylus), 전자 펜 및 제어기 중 적어도 하나이다.

핸드헬드 디바이스 움직임 데이터(handheld device movement data)는 상기 핸드헬드 디바이스가 움직임을 겪을 때 상기 핸드헬드 디바이스 내에 존재하는 하나 혹은 그 이상의 센서들에 의해 센싱된다 (단계 203). 상기 센서들은 가속도계, 모션-센서(motion-sensor), 자이로스코프(gyroscope), 중력, 회전 센서 및 자력계 중 하나 혹은 그 이상을 포함한다. 상기와 같은 센싱된 데이터가 6개의 자유도(degrees of freedom)들 중 하나 혹은 그 이상의 자유도들로 캡쳐되거나(단계 203) 혹은 실별되고, 상기 자유도 각각은: 서지(surge), 스웨이(sway), 히브(heave), 롤(roll), 피치(pitch) 및 요 (yaw)에 의해 정의되는 하나 혹은 그 이상의 모션-타입(motion-type)에 관한 데이터를 나타낸다. 일 예에서, 상기 핸드헬드 디바이스 움직임 데이터는 좌표계의 축 (일 예로, x, y, z)을 따른 회전, 좌표계의 적어도 하나의 평면 (일 예로, xz, yz, xy) 내의 회전, 3차원 공간에서 정의되는 회전(일 예로, 좌표계의 x, y, z 방향들 모두에서 확장되는 축을 따른 회전) 중 하나 혹은 그 이상을 나타낸다. 추가적으로, 상기 핸드헬드 디바이스 움직임 데이터는 좌표계의 축 (일 예로, x, y, z)을 따른 모션, 좌표계의 적어도 하나의 평면 (일 예로, xz, yz, xy) 내에서의 모션, 및 3 차원 공간에서 나타나는 모션 (일 예로, 좌표계의 x, y 및 z 좌표로 정의 된 축을 따른 모션)을 포함한다. 회전의 특성 (일 예로, 시계 방향 또는 반-시계 방향)은 상기 핸드헬드 디바이스 움직임 데이터의 회전 파라미터들을 정의하지만, 핸드헬드 디바이스 이동 데이터의 방향 파라미터들은 기본 방향(cardinal direction)들(일 예로, 북쪽, 남쪽, 동쪽, 서쪽), 상대적 방향들 (왼쪽, 오른쪽, 앞으로, 뒤로, 위로, 및 아래로), 또는 그 조합에서 나타나는 바와 같은 '모션'(일 예로, 선형 모션)과 연관될 수 있다.

상기 핸드헬드 디바이스 움직임 데이터는 상기 핸드헬드 디바이스 내에서 프로세싱을 거치고, 그리고 나서 상기 단계 203의 일부로서 상기 VR 디바이스로 통신/송신된다. 대안적으로, 상기 움직임 데이터는 상기 단계 203을 통해 프로세싱되지 않은 상태에서 상기 VR 디바이스로 송신되고, 그리고 나서 다음 단계 204의 일부로서 수신 시 상기 VR 디바이스에 의해 프로세싱된다.

이해될 수 있는 바와 같이, 방향-파라미터들 및 회전-파라미터들 중 적어도 하나를 포함하는 상기 핸드헬드 디바이스 움직임 데이터는 상기 VR 디바이스에서 수신되고 (단계 204), 상기 단계 203 동안 프로세싱이 수행되지 않을 경우 프로세싱된다. 그 후, 상기 핸드헬드 디바이스에 상응하는 상기와 같은 핸드헬드 디바이스 움직임 데이터는 상기 VR 디바이스 상에 디스플레이되는 가상 컨텐트의 현재의 뷰(view)에 매핑된다 (단계 206). 상기 가상-컨텐트는 360° 비디오, 3D 컨텐트, 및 파노라마 컨텐트, 또는 3 차원 컨텐트의 임의의 다른 가능한 형태 또는 변형을 포함한다. 상기 매핑은 상기 핸드헬드 디바이스 움직임 데이터의 방향 및 회전 파라미터들을 사전 정의된 비율로 스케일링하는(scaling) 것을 포함하고, 상기 스케일링은 업-스케일링(up-scaling) 또는 다운 스케일링(downscaling)에 상응한다.

그 후, 상기 스케일링된 파라미터들을 기반으로 상기 현재 뷰로부터의 네비게이션(navigation)을 시각적-지각 가능(visually-perceptible) 모션으로 발생하는 트리거(trigger)가 생성된다. 상기 네비게이션에 관한 상기와 같은 시각적-지각 가능 모션은 상기 현재의-뷰의 왼쪽, 오른쪽, 위, 또는 아래 중 어느 하나에 의해 정의되는 상대적-방향으로 상기 현재의-뷰로부터의 상기 디스플레이에서의 변화가 될 수 있다. 다른 예에서, 상기 현재의-뷰로부터의 상기 디스플레이에서의 변화는 상기 현재 뷰에 관한 상기 상대적-방향들의 조합인 방향에서 발생할 수 있다. 마찬가지로, 상기 디스플레이에서의 상기와 같은 변화는 또한 회전, 즉 상기 현재의 디스플레이에서 다른 디스플레이로의 쉬프트(shift)를 초래하는 회전을 통해 발생할 수 있다.

상기 생성된 트리거를 기반으로, 네비게이션 (단계 208)은 상기 가상 현실 디바이스 상에 디스플레이되는 상기 가상 컨텐트의 현재의 뷰로부터 달성된다.

한 구현에서, 상기와 같은 네비게이션 전에, 그리고 상기 단계 204의 일부로서, 상기 핸드헬드 디바이스 움직임 데이터는 원하지 않는 네비게이션을 방지하기 위해 필터링 될 수 있다. 일 예로, 상기와 같은 원하지 않는 핸드헬드 디바이스 움직임 데이터는 적어도 상기 핸드헬드 디바이스의 의도되지 않은 움직임과 관련된다. 마찬가지로, 상기 원하는 핸드헬드 디바이스 움직임 데이터는 제 1 임계 값을 초과하는 상기 핸드헬드 디바이스의 갑작스러운 움직임(abrupt movement), 및 제 2 임계 값을 초과하는 상기 핸드헬드 디바이스의 점진적인 움직임(gradual movement)을 포함한다. 다시 말해서, 허용되지 않는, 그리고 허용 가능한 데이터는 상기 하나 혹은 그 이상의 사전-구성된 임계 값들을 기반으로 정의될 수 있다.

추가적으로, 상기 핸드헬드 디바이스 움직임 데이터가 데이터-스트림으로서 상기 가상 현실 디바이스에서 수신되면, 상기 VR 디바이스에서의 상기 가상 컨텐트의 현재의 뷰는 상기 수신된 움직임 데이터 내의 업데이트들을 검출하는 것을 기반으로 지속적으로 업데이트된다. 일 예로, 상기 임계 값을 초과하는 상기 핸드헬드 디바이스 움직임 데이터가 검출될 경우, 상기 가상 콘텐트의 현재의 뷰의 연속적인 업데이트를 초래하는 액션(action)이 수행될 수 있다. 상기 현재의 뷰의 상기와 같은 업데이트 또는 상기 현재의 뷰로부터의 쉬프트는 네비게이션의 일부로서 발생한다. 하지만, 상기 핸드헬드 디바이스 움직임 데이터에 변화가 없을 경우, 상기 현재의 디스플레이는 변하지 않고 유지된다.

도 3은 본 개시의 상기 실시 예에 따른 시스템의 구체적인 내부 구성을 도시하고 있다. 상기 시스템은 VR 디바이스 (300) 및 핸드헬드 디바이스 (302)에 의해 구성된다. 상기 VR 디바이스 (300)는 상기 핸드헬드 디바이스 (302)와 데이터-통신 채널을 설정하기 위해 상기 단계 202를 수행하는 인터페이스 (308)를 포함한다. 상기 핸드헬드 디바이스 (302) 자체는 상기 핸드헬드 디바이스 (302)에 의해 겪게 되는 움직임들을 센싱하는 센서들 (304), 및 상기 VR 디바이스 (300)와 상기 설정된 통신 채널을 통해 (상기 센서들로부터 캡쳐된) 데이터를 송신하는 송신기 (306)의 어셈블리(assembly)가 될 수 있다. 상기 핸드헬드 디바이스 (302)는 따라서 상기 단계 203을 수행한다.

추가적으로, 상기 VR 디바이스 (300)는 상기 핸드헬드 디바이스 (302)로부터 통신되는 데이터를 기반으로 상기 단계 204를 수행하는 수신기 (310), 상기 단계 206를 수행하는 매퍼(mapper)(312), 및 상기 단계 208를 수행하는 프로세서 (314)를 포함한다. 유사하게, 상기 VR 디바이스 (300) 내에 상기 컴포넌트들 (308 내지 314) 간의 동작 가능-상호 연결을 기반으로 하나 혹은 그 이상의 보조 기능들을 실행하도록 구성되는 관리기(들)(316)가 존재할 수 있다. 일 예에서, 상기 관리기(들)(316)는 상기 수신기 (310)를 통해 수신되는 상기 핸드헬드 디바이스 움직임 데이터가 임계 값을 초과하는지 여부를 검출하고, 이후 상기 VR 디바이스 (300) 상에 디스플레이되는 가상 컨텐트의 현재의 뷰의 연속적인-업데이트를 초래하도록 상기 프로세서(314)를 트리거하는 분석기를 포함할 수 있다. 관리기(들)의 다른 예제들은 전력-관리기, 오디오-모듈, 등과 같은 표준 필수 컴포넌트들을 포함할 수 있다. 추가적으로, 상기 관리기(들) (316)는 또한 상기 컴포넌트들 (308 내지 314)간의 동작 가능-상호 연결을 기반으로 '선택적' 혹은 비-필수적 기능들을 실행하는 컴포넌트들을 포함할 수 있다. 일 예에서, 상기 관리기(들) (316)는 의도되지 않은 핸드헬드-디바이스 움직임 데이터, 일 예로, 의도하지 않은 악수로 인한 움직임을 필터링하는 필터를 선택적 모듈로 포함할 수 있다.

도 4는 단계들 402, 403, 404, 406, 408이 각각 단계 202, 203, 204, 206, 208에 상응하도록 홀로그램-디바이스(holographic-device)에 의해 디스플레이되는 홀로그램-컨텐트(holographic-content)를 네비게이트하는 방법(400)을 도시하고 있다. 하지만, 도 2에 도시되어 있는 바와는 달리 상기 가상 컨텐트는 홀로그램-컨텐트로 이해될 수 있다. 이해될 수 있는 바와 같이, 상기 VR 디바이스에 의해 렌더링되는(rendered) 가상 세계는 상기 사용자가 상기 가상 세계의 일부로서 상기 사용자의 위치 또는 시점(point of view)을 렌더링함으로써 상기 가상 세계 내에 사용자가 가상으로 존재하도록 할 수 있다. 하지만, 상기 홀로그램 컨텐트는 자유 공간에서의 프로젝션(projection)으로서 상기 홀로그램 디바이스에 의해 렌더링되거나 디스플레이된다. 따라서, 상기 홀로그램 컨텐트의 렌더링은 상기 가상 세계의 렌더링과는 달리, 상기 홀로그램 컨텐트가 거리가 떨어져 위치되는 것처럼 상기 사용자에게 상기 홀로그램 컨텐트의 뷰를 렌더링한다.

추가적으로, 상기 홀로그래피(holography)에 관해 고려될 때 상기 방향 및/혹은 회전 파라미터들을 포함하는 상기 핸드헬드 디바이스 움직임 데이터는 상기 핸드헬드 디바이스에 의해 나타나는 비-회전 모션뿐만 아니라 회전 모션에 상응하는 회전-모션 데이터를 나타낸다. 상기 회전 파라미터들이 상기 회전 모션에 상응하는데 반해, 상기 방향 파라미터들은 상기 핸드헬드 디바이스에 부여된 바와 같은 상기 비-회전 모션 (일 예로, 선형 모션)에 상응한다. 어느 한 손에서의 회전 및 방향 파라미터들 및 다른 손에서의 회전/비-회전 모션간의 상기와 같은 상응 관계는 도 2의 단계 203의 설명과 유사하다. 상기 회전-모션 또는 비-회전 모션은 상기 핸드헬드 디바이스 내의 적어도 하나의 센서에 의해 센싱된다. 상기 핸드헬드 디바이스에 의해 수행되는 상기와 같은 회전-모션은 좌표계의 적어도 하나의 평면 내에서, 좌표계의 축을 따라 존재할 수 있거나, 혹은 3-차원 공간에서 정의될 수 있다. 비-회전 모션을 센싱하는 경우, 상기 비-회전 모션은 상기 핸드헬드 디바이스 움직임 데이터 생성의 일부인 균등한 회전 모션으로 변환된다.

도 5는 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스 (302)와 상호 작용하는 홀로그램 디바이스 (500)의 구체적인 내부 구성을 도시하고 있다. 상기 홀로그램 디바이스 (500) 또는 상기 홀로그램 디바이스 (500)는 상기 핸드헬드 디바이스 (302)와 데이터 통신 채널을 설정하기 위한 단계 402를 수행하는 인터페이스 (502)를 포함한다. 상기 핸드헬드 디바이스 (302)는 차례로 상기 단계 403을 수행한다.

추가적으로, 상기 홀로그램 디바이스 (500)는 상기 핸드헬드 디바이스 (302)로부터 수신된 데이터를 기반으로 상기 단계 404를 수행하는 수신기 (504), 상기 단계 406를 수행하는 매퍼 (508), 및 상기 단계 408를 수행하는 홀로그램 컨텐트 프로세서 (506)를 포함한다. 마찬가지로, 상기 홀로그램 디바이스 (500) 내에는 상기 컴포넌트들(502 내지 508)의 동작 가능 상호 작용으로 인해 생성되는 데이터를 기반으로 디바이스-특정 기능들, 표준 필수 기능들 (일 예로, 전력 관리, 오디오 출력) 및 선택적 기능들 (일 예로, 의도되지 않은 움직임 데이터로부터의 필터링)을 실행하는 상기 관리기(들)(316)와 유사한 관리기들(510)이 존재한다. 일 예에서, 상기 관리기들(510)은, 상기 핸드헬드 디바이스(302)에 의해 비-회전 모션이 상기 핸드헬드 디바이스 움직임 데이터의 생성의 일부로서 나타나는 경우, 균등한 회전-모션 데이터를 연산하는 디바이스-특정 기능을 수행하는 회전-모션 연산 모듈을 포함할 수 있다.

도 6은 본 개시의 일 실시 예에 따른 프로세스를 설명하는 예시적인-제어 플로우 다이아그램을 나타낸다. 도 6에 도시되어 있는 제어 플로우는 도 2 및 도 4의 방법과 연관될 수 있다. 상기 제어 플로우는 사용자가 상기 가상 세계에서 쉽게 네비게이트 할 수 있도록 편리한 셋업(setup)으로 상기 사용자를 용이하게 하기 위한 것이다. 상기 핸드헬드 디바이스는 상기 실제 세계에서 특정 방향으로 회전을 겪음으로써 상기 사용자로부터의 입력들을 수락한다. 상기 VR 디바이스가 상기 가상 세계의 뷰(view)를 보여주기 때문에, 상기 사용자는 상기 핸드헬드 디바이스의 도움으로 어느 한 신(scene)에서 다른 신으로 네비게이트한다. 상기 핸드헬드 디바이스의 특정 방향으로의 회전은 상기 가상 세계에서 상기 신의 균등한 움직임을 초래한다. 도 6의 제어-플로우에 관한 일 예로서, 이하 상기 핸드헬드 디바이스는 스타일러스(stylus)로 예시적으로 나타내진다.

단계 602에서, 도 6의 상기 제어 플로우는 상기 VR 디바이스와 스타일러스 간의 성공적인 페어링(successful-pairing)을 기반하여 개시된다. 그 후, 상기 스타일러스의 움직임은 상기 회전 및 상기 스타일러스의 방향뿐만 아니라 위치에서의 변경을 결정하기 위해, 상기 스타일러스 내의 센서들 (a) 자이로스코프 및 (b) 가속도계 중 하나 혹은 그 이상을 사용하여 센싱된다. 이전에 설명된 바와 같이, 상기 스타일러스는 블루투스 또는 다른 무선 매체를 통해 다른 디바이스, 즉 VR 디바이스와 페어링 되어 있다. 일반적으로, 3 차원 공간에서 상기 스타일러스의 각 모션(angular motion)은 상기 자이로스코프의 도움으로 결정될 수 있고, 상기 스타일러스의 선형 모션의 속도는 상기 가속도계의 도움으로 3 차원 공간에서 결정될 수 있다. 상기 단계 602는 연결 설정의 일부인 단계들 202 및 402에 상응하고, 또한 상기 스타일러스 내의 '움직임-센싱'의 정도까지 단계들 203 및 403에 상응한다.

단계 604에서, 단계 602에서 상기 스타일러스에 의해 생성된 상기 센서-데이터는 '센서 데이터의 캡처링('capturing of sensor data')'의 일부로서 움직임 데이터로 변환하기 위해 프로세싱된다. 스타일러스의 컴포넌트/모듈이 될 수 있는 '센서 데이터 관리기(Sensor Data Manager)'는 상기 센서들에 의해 생성된, 상기에서 언급된 바와 같은 데이터를 사용하여 자유 공간에서 상기 스타일러스의 회전 및 움직임을 캡쳐한다. 상기 자이로스코프로부터 캡쳐된 신호는 상기 XYZ-축을 따른 회전 각속도의 계산을 가능하게 하며, 이에 반해 상기 가속도계로부터의 신호들은 상기 3 차원 공간에서 상기 속도 변화의 계산을 가능하게 한다.

일 예에서, p 라디안/초(radians/second): X 축을 따라 상기 자이로스코프에 의해 검출된 움직임

q 라디안/초: Y 축을 따라 상기 자이로스코프에 의해 검출된 움직임

r 라디안/초: Z 축을 따라 상기 자이로스코프에 의해 검출된 움직임

a m.s^-2 : X 축을 따라 상기 가속도계에 의해 검출된 가속도

b m.s^-2 : Y 축을 따라 상기 가속도계에 의해 검출된 가속도

c m.s^-2 : Z 축을 따라 상기 가속도계에 의해 검출된 가속도

Mg를 상기 자이로스코프에 의해 검출된 움직임이라고 하기로 한다. 수학적으로, 그는 수학식 1과 같이 나타내질 수 있다:

그리고, 그 크기는 수학식 2와 같이 나타내질 수 있다:

Ma를 상기 가속도계에 의해 검출된 움직임이라고 하기로 한다. 수학적으로, 그는 수학식 3과 같이 나타내질 수 있다:

그리고, 그 크기는 수학식 4와 같이 나타내질 수 있다:

따라서, 상기 스타일러스 내의 상기 센서 데이터 관리기의 동작은 상기 스타일러스에 의해 경험된 임의의 움직임이있을 때마다 트리거된다. 상기 센서 데이터 관리기는 상기 스타일러스 내부의 혹은 외부의 다양한 어플리케이션들에 대한 억세스가 가능하도록 이 생성된 움직임 데이터를 스타일러스의 공유 메모리에 패킷화한다. 상기 스타일러스의 외부에 존재하는 어플리케이션들에 대해서는, 내장 송신기가 메모리로부터의 데이터에 억세스하여 이를 외부 디바이스, 일 예로 VR 디바이스로 통신한다.

상기 단계 604의 상기한 바와 같은 예시는 상기 스타일러스의 기능의 일부로서 움직임 데이터를 생성하기 위해 센서 데이터의 프로세싱을 설명한다. 대안 적으로, 상기 단계 604에서의 '데이터의 캡쳐(capturing of data)'는 상기에서 설명한 바와 같이 움직임 데이터의 생성을 포함하지는 않는다. 반대로, 이는 단지 센서 데이터 혹은 상기 VR 디바이스에 대한 통신을 위해 상기 스타일러스의 내장 송신기에 의한 프로세싱되지 않은 (단계 602에서 생성되는) 데이터의 억세스를 나타낸다. 이는 상기 스타일러스로부터의 센서 데이터 관리기의 부재 및 일 예로, 상기 VR 디바이스 내의 상기 외부 디바이스에 대한 존재로 인한 것일 수 있다. 그와 같은 시나리오에서, 상기 스타일러스의 메모리 내에 저장되어 있는 상기 패킷화된 데이터는 센서들 (자이로스코프 및 가속도계)로부터의 '단지' 리딩 값(reading)들로 이해될 수 있다. 따라서, 센서-데이터의 프로세싱을 기반으로 하는 움직임 데이터의 생성은 상기 VR 디바이스 내에서 발생한다.

상기 단계 604는 상기 핸드헬드 디바이스 움직임 데이터의 '캡쳐'의 정도까지 상기 단계들 203 및 403에 상응한다.

단계 606은 상기 스타일러스로부터 상기 페어링된 VR 디바이스로의 프로세싱되지 않은 (즉, 센서 데이터) 또는 프로세싱된 데이터 (즉, 데이터 센서 관리기에 의해 생성된 데이터)에 관계없이 데이터의 통신을 나타낸다. 보다 구체적으로, 상기 스타일러스 내의 통신 모듈은 상기 스타일러스의 공유 메모리로부터 (프로세싱되지 않은 혹은 프로세싱된) 정보를 추출한다. 상기 데이터는 Bluetooth, IR, 무선 네트워크 등과 같은 임의의 알려진 통신 토폴로지(topology)를 통해 무선으로 통신된다. 이 통신-링크는 상기 스타일러스를 상기 VR 디바이스와 페어링하는 동안 활성화되고, 페어링이 해제되면 비활성화된다.

상기 단계 606은 도 2 및 도 4의 단계 203 및 403에 도시되어 있는 바와 같은 상기 스타일러스로부터의 '데이터-송신'에 상응한다.

단계 608은 상기 VR 디바이스에 의한 데이터 수신을 나타낸다. 상기 VR 디바이스는 "인터페이스"라는 명칭의 컴포넌트를 가지며, 상기 스타일러스의 통신기로부터 데이터를 수신하는 역할을 수행한다. 이 수신된 데이터는 상기 스타일러스의 움직임에 대한 정보를 포함한다. 이 수신된 정보는 상기 VR 디바이스의 공유 메모리에 위치된다. 상기 단계 608은 또한 도 2 및 도 4의 단계 204 및 404에 상응한다.

단계 610은 상기 수신되어 상기 VR 디바이스의 메모리 내에 저장되어 있는 데이터가 유효한 데이터인지 여부에 대해 테스트하는 것을 나타낸다. 상기 데이터의 유효성은 상기 사용자에 의해 설정되는 자이로스코프 및 가속도계 데이터의 사전-구성된 임계 값(들)에 관한 비교를 기반으로 체크될 수 있다 (도 15에서 설명됨). 상기 설정된 임계 값을 기반으로, 유효한 데이터가 필터링되고 의도되지 않은 데이터는 폐기된다. 상기와 같은 의도되지 않은 데이터는 잡음(noise) 또는 손의 떨림/흔들림으로 인해 상기 스타일러스에 부여되는 의도되지 않은 움직임에 상응한다.

상기 단계 608 동안 상기 스타일러스로부터 상기 VR 디바이스에 의해 수신되는 데이터가 '움직임 데이터', 즉 단순한 '센서 데이터'가 아니고, 프로세싱된 데이터일 경우, 상기 단계 610은 단계 608 직후에 실행된다. 하지만, 상기 단계 608에서 상기 스타일러스로부터 수신된 데이터가 프로세싱되지 않은 경우 (즉, 상기 단계 604의 '캡쳐'는 데이터 생성에 해당하지 않음), 상기 움직임은 상기 VR 디바이스에 존재하는 상기 센서 데이터 관리기에 의해 선택적 단계 609의 일부로서 계산되고, 결국, 이는 상기 VR 디바이스의 공유 메모리 내에 저장되어 있는 상기 프로세싱된 데이터가 된다. 그 후, 상기 단계 610의 실행은 상기 저장되어 있는 데이터를 테스트하기 위해 발생된다. 따라서, 상기 단계 609는 또한 단계 604에서 설명되어 있는 바와 같은, 또한 도 2 및 도 4의 설명에서 나타낸 바와 같은, 움직임 데이터의 생성에 상응한다.

추가적으로, 단계 609는 상기 스타일러스로부터 수신되는 입력에 따라 상기 VR 디바이스에 의해 선택적으로 실행될지라도, 상기 단계 610은 또한 상기 스타일러스로부터 수신된 입력에 관계없이 상기 VR 디바이스에 의해 선택적으로 수행될 수 있다. 일 예에서, 상기 VR 디바이스는 단계 610을 수행하지 않을 수 있고, 따라서 의도되지 않은 핸드헬드 디바이스 움직임 데이터 (일 예로, 손-흔들림으로 인해 생성되는)를 필터링하지 않을 수 있으며, 따라서 전체 핸드헬드 디바이스 움직임 데이터를 사용할 수 있다. 전반적으로, 상기 단계들 609 및 610 둘 다는 상기 VR 디바이스에 의해 선택적으로 수행될 수 있다.

단계 614에서, 이전의 단계들에서 계산된 상기 핸드헬드 디바이스 움직임 데이터는 상기 움직임 데이터의 크기들, 즉 및 와, 상응하는 사전-구성된 임계 값인 구성 설정들의 일부로 상기 사용자에 의해 설정되는 및 와의 비교를 기반으로 2개의 카테고리들로 분류된다.

상기 크기들 및 가 각각 및 를 초과할 경우, 이는 빠른 움직임(quick movement)으로 고려될 수 있을 것이다. 상기와 같은 빠른 움직임은 3차원 공간에서 임의의 방향을 따른 연속적인 360도 스크롤 네비게이션(scrolling navigation)을 초래하고, 단계 616을 통해서 설명된 바 있다. 그렇지 않을 경우, 상기 제어는 단계 618로 진행한다. 상기 단계 616은 도 2 및 도 4의 단계 208 및 단계 408에 각각 상응한다.

단계 618에서, 일-대-일 매핑은 상기 가상 세계에서 상기 네비게이트된 위치를 검색하기 위해 사용된다. 매퍼를 사용하여, 상기 최종 위치의 각도들이 상기 현재의 뷰로부터 다른 뷰로의 쉬프트를 위해 연산된다.

보다 구체적으로, 상기 매퍼는 상기 스타일러스의 회전을 VR 신 네비게이션에 매핑한다. '일대일 매핑'은 현실 세계에서 각 스타일러스 회전 입력에 대해 상기 가상 세계에서 신의 상응하는 회전이 존재할 것임을 의미한다. 가상 세계에서의 회전 각도는 사전 구성된 비율 "n" 값에 의존하며, 이는 이후에 도 15에 대해 설명되는 바와 같이, 및 를 설정하는 동안 구성 설정들의 일부로서 설정된다.

이 모듈에 의해 리드되는 상기 스타일러스 회전 정보를 기반으로, 새로운 VR 네비게이션 좌표들이 계산된다. 이 새로운 좌표 (위치)는 상기 가상 세계에서의 네비게이션을 위해 사용된다. 상기 스타일러스의 방향 및 속도는 상기 가상 세계에의 네비게이션을 제어한다, 즉, 상기 스타일러스의 보다 빠른 회전은 가상 세계에서의 보다 빠른 네비게이션을 초래할 것이며, 그 반대 역시 마찬가지이다.

X, Y, Z 축은 상기 스타일러스가 회전될 수 있는 현실 세계 축이고, X', Y', Z' 축은 각 가상 세계 축이라고 가정하기로 하고, 따라서 각각 X'가 X에 매핑되고, Y가 Y'에 매핑되고, Z가 Z'에 매핑된다.

이제 상기 가상 세계의 현재 뷰와 관련하여 상기 상응하는 각도들이 X', Y', Z'축에 대해 각각 라고 가정하기로 한다. 또한, 상기 스타일러스에서 캡쳐되는 샘플링 레이트(sampling rate)가 1초라고 가정하기로 한다. 이제, 상기 자이로스코프 데이터가 p, q 및 라디안/초(radians/second)일 경우, 상기 자이로스코프에 관해 캡쳐된 상기 상응하는 움직임은 Mg = px + qy + rz와 같이 나타내지며, 여기서 'p', 'q'및 'r'은 라디안/초이다.

따라서, 상기 최종 각도들 ()는 수학식 5와 같이 계산된다:

여기서, π(pi) = 22/7이다.

이제, 상기 어플리케이션은 상기 가상 세계에서 상기 현재의 뷰로부터 다음 뷰로 네비게이트하기 위해 를 사용한다. 상기 현재의 단계 618은 각각 도 2 및 도 4의 단계 206 및 단계 406에 상응한다.

단계 620에서, 상기 네비게이션은 상기 단계 618에서 연산된 각도들을 기반으로 상기 다음 뷰로 실행된다. 상기 네비게이션은 사용자에 대한 시각적 지각 가능 효과로 실행되고, 따라서 상기 사용자는 상기 사용자 자신의 시력으로 상기 사용자가 상기 현재의 뷰에 관한 상대적인 방향들 (왼쪽, 오른쪽, 위쪽, 아래쪽) 중 어느 하나 혹은 조합에 상응하는 방향으로 이동한 것과 같은 느낌을 받게 되고, 따라서 상기 다음 뷰에 도달하게 된다. 다른 시나리오에서, 상기 사용자는 또한 상기 현재 뷰로부터 다음 뷰에 도달하기 위해 자유 공간에서 상기 사용자 자신이 회전한 것처럼 느낄 수 있다.

이해될 수 있는 바와 같이, 상기 시각적 지각 가능 모션이 선형적인지 또는 회전적인지는 상기 다음 뷰가 상기 현재의 뷰로부터 얼마나 잘 달성될 수 있는지에 달려있다. 일 예로, 상기 다음 뷰가 또한 상기 사용자의 앞에 위치되어 있는 경우, 즉, 상기 사용자가 종래의 VR 디바이스를 착용하고 있는 중에 상기 다음 뷰에 도달하기 위해서 머리를 약간만 돌리는(turn) 것만을 필요로 하는 경우, 상기 시각적 지각 가능 모션은 선형적이거나 혹은 본질적으로 병진 운동(translation)이다. 다른 시나리오들에서, 상기 사용자가 상기 종래의 VR 디바이스를 통해 상기 다음 뷰에 도달하기 위해 목을 상당하게 돌리는 것을 필요로 하면, 상기 네비게이션과 연관되는 상기 시각적 지각 가능 모션은 또한 본질적으로 회전적이다.

상기 단계 616 및 단계 620 각각은 도 2 및 도 4의 단계 208 및 단계 408을 나타낸다.

도 7은 상기 핸드헬드 디바이스 또는 스타일러스에 의해 다르게 실행되는 예시적인 타입들의 회전들을 도시하고 있다. 보다 구체적으로, 도 7 (a)는 y 축을 따른 상기 스타일러스의 회전 움직임들을 도시하고 있고, 도 7 (b)는 z 축을 따른 상기 스타일러스의 회전 움직임들을 도시하고 있고, 도 7 (c)는 x 축을 따른 상기 스타일러스의 회전 움직임들을 도시하고 있다. 그러나, 상기와 같은 도시되어 있는 회전은 본질적으로 단지 예시적일 뿐이며, 본 개시는 xy, yz 또는 zx 평면에서 정의되는 임의의 축을 따른, 또는 x, y, z 좌표들에 의해 정의되는 자유 공간에서와 같은 다른 타입들의 회전을 커버하는 것으로 이해될 수 있다. 또한, 도 7 (d) 및 도 7 (e)는 반대 방향들에서 상기 스타일러스 자신의 축에 대한 상기 스타일러스의 다른 예시적인 회전을 도시하고 있다.

도 8은 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스에 부여된 다른 타입들의 회전을 도시하고 있다. 보다 구체적으로, 도 8은 렌더링되는 상기 가상 세계 내의 다른 방향들에서의 네비게이션을 위해, 도 8 내지 도 13에 관해, 이하에서 상기 스타일러스로 칭해지는, 상기 핸드헬드 디바이스에 부여될 수 있는 다른 타입들의 회전의 예시를 도시하고 있다. 상기 예제에서, 상기 렌더링되는 가상 세계는 배경은 타지마할(Taj-Mahal)이고, 전경은 강이다. 보다 구체적으로, 상기 생성된 가상 세계는 타지마할이 상기 사용자로부터 멀리 떨어져 위치하는 것으로 보여지는 반면, 강 및 상기 강을 트래버스하는 생물은 상기 사용자의 바로 앞에 위치되는 것처럼 보여진다. 따라서, 상기 가상 세계에서 타지마할은 멀리 있는 객체(object)로 인해 그 사이즈가 더 작게 보여지지만, 상기 강 및 상기 트래버스하는 생물은 상기 가상 세계에서 상기 사용자에게 보다 가까워지도록 사이즈 면에서 더 크게 보여진다.

도 8에 도시되어 있는 바와 같이, 가상 투어(virtual tour)는 상기 VR 디바이스를 상기 핸드헬드 스타일러스와 페어링함으로써 개시된다. 처음에는, 상기 시청자 또는 사용자가 상기 스타일러스의 팁이 상기 사용자의 신체로부터 멀어 지도록 상기 스타일러스를 잡고 있는 중이다. 상기 현실 세계에서의 스타일러스와 상기 가상 세계에서의 VR 신의 정렬(alignment)이 도 8 (a)에 도시되어 있다. 스타일러스와 VR 디바이스를 페어링 한 후, 상기 사용자는 상기 VR 디스플레이에서 제 1 장면 (802)을 볼 수 있다. 상기 스타일러스의 현재 위치는 상기 스타일러스의 초기 위치로 간주되고, 스타일러스의 이러한 정렬은 상기 VR 디바이스에서 현재의 신 (802), 즉 도 8 (a)에 도시되어 있는 초기-뷰에 매핑된다. 관찰될 수 있는 바와 같이, 도 8a는 현재의 뷰의 일부로서 가상 세계에서 상기 사용자의 시선 중심에 "타지마할"을 도시한다.

도 8 (b)는 상기 타지마할 위의 하늘과 구름들을 도시하고 있는, 상기 가상 세계에서의 다른 뷰(804)에 대한 쉬프트를 도시하고 있다. 즉, 도 8 (b)의 뷰는 도 8 (a)의 뷰보다 수직으로 위에 놓여 있다. 상기와 같은 목적들을 위해, 도 8 (a)에 위치 된 상기 스타일러스는 'x축'을 따라 '반시계 방향'으로 회전되며, 이는 VR 뷰의 임의의 각도들만큼의 위쪽 네비게이션(up navigation)을 초래한다. 그 후, 상기 사용자는 상기 스타일러스를 상기 x축을 따라 시계 방향으로 회전시킴으로써 도 8 (b)로부터 도 8 (a)에 도시되어 있는 바와 같은 위치로 리턴하고, 따라서 도 8 (a)에 도시되어 있는 바와 같은 위치의 복원을 이끌 수 있다.

도 8 (c)는 상기 가상 세계에서 다른 뷰 (806) 로의 쉬프트를 도시하고 있으며, 여기서 도 8 (c)의 뷰는 도 8 (a)의 도시의 오른쪽으로 기울어져 있다. 상기와 같은 다른 뷰 (806)에 도달하기 위해서, 상기 사용자는 상기 스타일러스를 y 축을 따라 시계 방향으로 회전시키고, 그리도 나서 x 축을 따라 시계 방향으로 회전시킨다. 이 스타일러스 움직임의 결과로서, 상기 VR 신은 타지마할의 오른 쪽에서 다른 기념물로 네비게이트된다. 간략화를 위해, 도 8 (c)는 y 축에 대한 상기 스타일러스의 시계 방향 회전만을 도시하고 있다.

도 8 (d)는 도 8 (c)로부터의 다른 뷰 (808) 로의 쉬프트를 도시하고 있으며, 여기서 도 8 (d)의 상기 뷰는 수직으로 아래쪽으로 놓인다. 따라서, 도 8 (c)로부터 도 8 (d)에 도달하기 위해서, 상기 사용자는 상기 스타일러스를 도 8 (c)에 관해 도시되어 있는 위치로부터 상기 z 축을 따라 시계 방향으로 회전시킨다. 이 회전으로, 상기 사용자는 "물에서 낙타를 타고 있는 사람"이 도시되어 있는 다른 VR 뷰를 볼 수 있다.

전반적으로, 도 8 (a)에 도시되어 있는 바와 같이 상기 스타일러스의 초기 위치 및 디폴트 뷰(default view)에 관해서, 도 8 (b) 내지 도 8 (c)로부터의 뷰들 각각은 x, y, 또는 z 축을 따른 임의의 각도로 상기 스타일러스를 회전시킬 때 달성된다. 도면에 도시되어 있지 않지만, 일 예에서, 임의의 순간에서 "y 축"을 따른 스타일러스의 180° 회전은 사용자가 상기 사용자 뒤에 있는 것으로 추정되는 상기 가상 세계의 다른 뷰로 쉬프트하도록 할 수 있다. 마찬가지로, 자유 공간에서 축을 따라 도시되는 임의의 회전 역시 다른 뷰로 쉬프트하는 것을 이끌 수 있다. 일 예로, 자유 공간의 축은 x, y 및 z 좌표들의 조합에 의해 정의될 수 있다.

추가적으로, 상기 스타일러스 움직임은 또한 상기 축 x, y, 또는 z 중 어느 하나를 따라 또는 자유 공간에서 임의의 축을 따라 선형적일 수 있다. 따라서 상기와 같은 선형 움직임들은 네비게이션의 일부로서 상기 가상 세계의 현재의 뷰로부터의 선형 쉬프트를 초래한다. 일 예로, 상기 x 축의 양의 방향(positive-direction)을 따른 상기 스타일러스의 선형 풀(pull)은 오른쪽 방향 등에서의 네비게이션을 초래한다 마찬가지로, 상기 자유 공간에서 축을 따른 상기 스타일러스의 선형 풀은 상대적인 방향들의 조합, 일 예로 왼쪽의 위쪽 방향에 의해 정의되는 네비게이션을 이끌 수 있다.

도 9는 본 개시의 일 실시 예에 따른 상기 VR 디바이스를 착용하고 상기 스타일러스를 동작시키는 사용자 (902)의 오버헤드 뷰(overhead view)를 도시하고 있다. 도 9에서 알 수 있는 바와 같이, 상기 HMD로서 상기 VR 디바이스를 착용하고 있는 중인 상기 사용자 (902)는 상기 사용자의 머리를 그대로 유지하면서 상기 손에 쥐어진 상기 스타일러스를 단지 회전시킬 뿐이고, 따라서 상기 모든 머리/신체-부위 움직임 관련 제약들을 피할 수 있다. 그러나, 상기 가상 세계에 걸친 네비게이션은 노말-과정(normal-course)의 일부로 진행되며, 도 8에 관해 설명된 바와 같이, 상기 스타일러스에 의해 실행되는 회전 움직임들의 크기 및 방향에 의해 트리거된다.

도 10은 본 개시의 일 실시 예에 따른 상기 VR 디바이스에 의해 렌더링된 가상 세계의 또 다른 예시적인 표현을 도시하고 있다. 상기 가상 세계는 가상 회의실이며, 여기서 상기 참가자들은 서로 다른 지리적 위치들에서 작업하고 있다. 도 10 (a)에 도시된 바와 같은 가상 회의실에서, 상기 참가자들은 원형 테이블 주위에서 서로를 보고, 여기서 참가자들은 상기 스타일러스를 회전시킴으로써 서로 대면하게 된다. 참가자 "Ms. Lina"는 상기 이름 "Mr. Lee"로 이동하고 있는 상기 사용자 (1002)의 가장 왼쪽 상에 존재한다. Mr. Lee 가 Ms. Lina에게 이야기 할 때, 상기 기존의 VR 디바이스는 상기 Mr. Lee 가 상기 Mr. Lee 의 머리를 돌려서 상기 토론이 끝날 때까지 그와 같은 자세를 유지하게 한다. 이해될 수 있는 바와 같이, 머리를 오랫동안 돌리고 있는 것은 피로를 초래할 수 있다. 적어도 상기 스타일러스 펜과 VR 디바이스의 조합을 통해, Mr. Lee는 Ms. Lina를 향해 단지 상기 스타일러스를 회전시킴으로써 Ms. Lina를 향한 Mr. Lee의 뷰를 네비게이트할 수 있고, 따라서 도 10(b)에 도시되어 있는 바와 같은 뷰를 획득할 수 있다.

마찬가지로, 도 10에 도시되어 있는 바와 같은 상기 가상 세계는 슈팅 게임(shooting game)이라고 가정될 수 있으며, 여기서, Mr. Lee는 상기 게임을 이기기 위해서 상기 참가자들 혹은 상대들 중 하나를 가상으로 사살해야 한다. 상대방이 Mr. Lee의 뒤에 위치할 수 있는, 상기 시나리오에서, Mr. Lee는 정상적인 행동 과정으로 뒤를 돌아서 그를 쏴야만 한다. 적어도 본 주제를 통해, Mr. Lee 자신이 완전히 도는 것 대신에, Mr. Lee는 단지 상기 스타일러스를 예시적으로 (y 축에 대해서) 180° 돌려서 그 뷰 (후방-전면)를 변경시킬 수 있다. 따라서, 상기 상대방은 이제 Mr. Lee의 앞에 위치하게 된다.

마찬가지로, 상기 척수 및 목에 문제가 있지만 상기 가상 세계에 걸쳐 네비게이트하고자 하는 사람은 종래의 수단들을 통한 네비게이션을 위해서는 신체적으로 옆으로 돌리는 측면에서 장애를 겪게 된다. 본 개시의 상기 스타일러스 움직임은 적어도 상기 수평면에서 원하는 방향으로 상기 스타일러스의 회전만으로 상기 사용자의 등을 움직이지 않고도 상기 사용자가 옆쪽을 네비게이트할 수 있도록 한다.

도 11은 본 개시의 일 실시 예에 따른 교통 상황 모니터링을 통해 가능하게 되는 도시 감시 측면에서 또 다른 예시적인 구현을 도시하고 있다. 모든 주요 도시들에서, 증가되는 교통 수요들은 효율적인 교통 통제 및 보안 감시 목적으로 주요 교차점들에서 교통의 모니터링을 지속한다. 도시 감시 시스템들을 가지는, 상기와 같은 도시들은 도시 관제실의 모니터링 시스템과 함께 중요한 교통-교차로들(일 예로, 교통 건널목)에 360° 카메라들을 포함하고 있다.

노말 감시에서, 제어실에서 검사관으로 활동하고 있고, 상기 VR 디바이스를 착용하는 사람(1102)은 이러한 중요한 교차로들에서 교통 및 의심스러운 활동들을 모니터링해야만 한다. 일반적인 시나리오들에서는, 사람(1102)이 무언가를 의심하거나 해당 위치에서 전화를 받을 때, 사람(1102)은 현재 모니터링 도로에서 반대쪽 도로로 주의를 빠르게 이동해야만 한다. 적어도 본 개시를 통해, 상기 교통 검사관 (1102)은 빠른 가속도와 함께 상기 스타일러스의 180° 회전을 통해 상기 현재 보이는 도로로부터 반대 도로를 네비게이트하는 것이 더 쉬워진다.

도 12는 본 개시의 일 실시 예에 따른 또 다른 예시적인 구현을 도시하고 있으며, 여기서 상기 가상 세계의 현재 렌더링된 뷰는 상기 스타일러스 회전을 통해 한 방향에서 다른 방향으로 변경되고, 따라서 상기 네비게이션 트랙(track)의 변경을 이끌 수 있다. 일 예로, 도 12 (a)에 도시되어 있는 바와 같이, 상기 가상 세계의 디폴트 뷰가 도시되어 있으며, 여기서 수평 네비게이션 트랙이 분명하다. 한편, 도 12 (b)는 상기 가상 세계를 트래버스하기 위한 수직 네비게이션 트랙을 도시하고 있다. 도 12 (a) 및 도 12 (b) 간을 스위치하기 위해서, 상기 스타일러스는 자유 공간에서의 상기 스타일러스의 방향에 상관없이, 상기 스타일러스 자신의 축을 따라 회전할 수 있다. 일 예로, 반시계 방향 회전은 도 12 (a)로부터 도 12 (b)로의 스위치를 초래하고, 시계 방향 회전은 그 반대를 초래한다.

도 13은 본 개시의 일 실시 예에 따른 또 다른 구현을 도시하고 있으며, 여기서는 프로젝션들을 통해 홀로그램 컨텐트를 디스플레이하는 홀로그램 디바이스가 고려된다.

상기 예제에서, 상기 프로젝트된 홀로그램 컨텐트는 인간 골격 (1302)이다. 종래의 홀로그램 디바이스들에 따르면, 인간 골격의 다른 부위를 분석하기 위해, 상기 사용자는 상기 골격을 중심으로 회전해야만 하고 피로를 유발할 수 있다. 하지만, 본 개시는 상기 스타일러스를 사용하여 쉽게 네비게이트될 수 있는, 상기 가상 세계를 통해 상기 인간 골격 (1302)의 뷰를 가능하게 한다. 도 13 (a)가 상기 스타일러스 위치의 랜덤-초기 위치에 관한 상기 홀로그램 콘텐트 (1302)의 디폴트 뷰를 도시하고 있을 지라도, 상기 스타일러스는 그 후 상기 골격의 홀로그램 뷰를 회전시키기 위해 y 축에 대해 점진적으로 회전된다. 따라서, y 축에 대한 사전-결정된 각 회전은 도 13 (b) 내지도 13 (d)에 도시되어 있는 바와 같이 상기 골격 (1302)의 다른 뷰들을 점진적으로 초래한다. 마찬가지로, 상기 스타일러스는 또한 x 또는 z 축 또는 자유 공간에서 임의의 다른 축 (일 예로, x, y 및 z 좌표들의 조합에 의해 정의되는 축)을 따라 회전되어 상기 프로젝트된 홀로그램 컨텐트의 방향을 변경할 수 있다.

추가적으로, 상기 y 축에 대해 상기 골격 (1302)을 회전시키기 위해 상기 스타일러스에 회전을 부여하는 대신에, 상기 사용자는 또한 대신에 상기 스타일러스를 상기 x축 혹은 z축 혹은 자유 공간에서의 임의의 다른 축을 따라 선형적으로 푸쉬(push)하거나 풀(pull) 할 수 있다. 상기 x 또는 z 축 또는 자유 공간에서의 임의의 다른 축을 따른, 상기 스타일러스에 부여된 상기와 같은 선형 모션은 y 축에 대한 상응하는 회전 모션으로 변환되며, 여기서 상기와 같은 변환은 상기 스타일러스 내에 존재할 수 있거나 혹은 상기 VR 디바이스의 일부를 형성할 수 있는 상기 센서 데이터 관리기에 의해 실행된다. 상기와 같은 변환은 상기 홀로그램 디바이스에 관해 도 5에 도시되어 있는 바와 같은 회전-모션 연산 모듈의 기능에 상응한다.

도 14는 본 개시의 일 실시 예에 따른 상기 핸드헬드 디바이스 (302)의 아키텍쳐 (1400)를 도시하고 있다. 일 예에서, 상기 핸드헬드 디바이스 (302)는 이후 예시적으로 '스타일러스'라고 칭해질 수 있다.

도 14에 도시되어 있는 바와 같이, 센서 (들) (1402)는 하나 혹은 그 이상의 구성 센서(constituent sensor)들, 일 예로, 자이로-센서, 가속도계, 중력-센서, 회전-센서, 자력계를 사용하여 상기 움직임들을 센싱하고 도 6의 상기 단계 602를 실행한다. 이 경우, (도 6에서 설명된 바와 같은) 상기 센서 데이터 관리기는 스타일러스, 일 예로 프로세서(도 14에 도시되어 있지 않음)의 일부를 형성하고, 상기 센서들로부터의 센서 데이터 또는 데이터-리딩 값들(data-readings)은 프로세싱-액션의 일부로서 상기 디바이스 자신 내에서 프로세싱되고, 따라서 상기 단계 604에 상응하게 된다. 메모리 (1404)는 상기 메모리 (1404)가 모듈들 및 디바이스들 간에 공유될 수 있도록 (단순히 센서 리딩 값들인지 혹은 프로세싱된 데이터인지에 따라) 데이터를 저장하는데 사용된다. 추가적으로, 상기 생성된 데이터는 추가적인 프로세싱을 위해 상기 통신기(1406)를 사용하여 다른 (페어링된(paired)) 디바이스 (즉, VR 디바이스)와 공유되고, 따라서 단계 606에서 설명된 바와 같은 기능에 상응하게 된다. 제어기(1408) (일 예로, 마이크로 제어기 또는 적어도 하나의 프로세서)는 상기 스타일러스 내의 모든 컴포넌트들에 걸쳐 데이터 플로우를 제어하고, 반면에 전원 (1410) (일 예로, 내장 배터리)은 상기 동작을 위해 필요한 전력을 제공한다.

추가적으로, 상기 스타일러스 상의 기존 버튼을 제어하기 위해 입력-디바이스/버튼 모듈 (1412)이 제공된다. 상기 버튼 (1412)은 '객체 상호 작용 모드('Object Interaction Mode)'와 '가상 세계 네비게이션 모드(Virtual world Navigation Mode)' 간을 스위칭하기 위해 사용될 수 있다. 따라서, 본 주제에 따라 상기 스타일러스를 '네비게이션-디바이스'로서 사용하는 동안, '터치-민감 표면에 대한 선택기(selector for a touch-sensitive surface)'로서의 상기 스타일러스의 기존의 기능들은 보존될 수 있다.

상기 "객체 상호 작용 모드" 동안 그 동작의 일부로서, 상기 스타일러스는 태블릿-컴퓨터들과 함께 사용될 수 있다. 상기 스타일러스가 이들 센서들을 또한 포함하는 태블릿과 페어링될 때, 상기 태블릿은 상기 태블릿에 대한 상기 스타일러스의 방향을 아는 것이 가능하다. 상기 스타일러스의 팁(tip)은 정전식 터치 스크린과 함께 작동하며, 압력 센싱 저항(force sensing resistor)을 가지고, 따라서 상기 태블릿은 상기 스타일러스가 상기 스크린을 얼마나 세게 누르고 있는지를 알게 된다. 상기 태블릿이 상기 태블릿 자신에 대한 상기 스타일러스의 방향을 알고 있기 때문에, 상기 스타일러스는 맵 소프트웨어와 상호 작용하여 맵을 기울이고(tilt), 회전시키고, 보여준다(pan). 일 예로, 상기 스타일러스는, 상기 스타일러스 자신이 상기 스크린을 터치할 때마다, 상기 맵을 노말하게(normal) 유지할 수 있고, 상기 스타일러스가 상기 스크린에 대해 기울어질 경우, 상기 맵은 그와 함께 기울어진다. 상기 스타일러스는 상기 스타일러스가 상기 스크린상의 다이얼(dial)들 혹은 조이스틱(joystick)들의 맨 위에 위치되거나 혹은 회전되거나 혹은 기울어질 때 상기 스크린 상의 다이얼들 혹은 조이스틱들과 함께 상호 작용할 수 있다.

상기 스타일러스는 상기 팁에 압력 센싱 저항을 가지고 있어 상기 태블릿이 상기 스타일러스가 상기 스크린을 얼마나 세게 누르고 있는지 알 수 있도록 한다. 이는 아티스트가 연필을 사용하는 것과 유사한 방식으로 상기 스타일러스를 사용하여 이미지를 음영 처리하도록 할 수 있고; 상기 스타일러스가 더 세게 눌러질 수록, 상기 색상은 더 어두워질 것이다. 상기 압력 센서는 또한 펜이나 연필로 종이 상에 글을 쓰는 것과 같이 상기 스크린 상에 글을 쓰는 것과 같은 경험을 하게 한다. 다른 예시적인 어플리케이션에서, 상기 스타일러스는 또한 3D-설계 소프트웨어와 함께 사용될 수 있다.

도 15는 본 개시의 일 실시 예에 따른 상기 VR 디바이스(300)의 아키텍쳐(1500)를 도시하고 있다.

상기 VR 디바이스는 인터페이스 (1502)를 포함하며, 상기 인터페이스(1502)의 역할은 상기 핸드헬드 디바이스의 통신기(1406)로부터 데이터를 수신하여 상기 단계 608를 실행하도록 하는 것이다. 상기 핸드헬드 디바이스는 이후 상기 스타일러스로 예시되어 있다. 상기 수신된 데이터는 상기 스타일러스의 움직임에 대한 정보를 포함한다. 이 수신된 정보는 다른 컴포넌트들 혹은 모듈들이 추가적인 프로세싱을 위해 억세스할 수 있는 상기 VR 디바이스의 공유 메모리에 위치된다.

VR 프로세서 (1504)는 상기 공유 메모리로부터 상기 스타일러스 움직임 데이터에 억세스한다. 상기 스타일러스로부터 수신되는 바와 같은 데이터가 단지 센서 리딩 값들 (즉, 프로세싱되지 않은 데이터) 일 경우, 상기 데이터는 상기 선택적인 단계 609에 따라 스타일러스 움직임 데이터를 연산하도록 초기에 프로세싱되고, 추가적인 프로세싱을 위해 상기 공유 메모리에 저장된다.

그 후, 상기 VR 프로세서 (1504) 또는 적어도 하나의 프로세서 (1504)는 상기 공유 메모리로부터 상기 수신되거나 혹은 연산된 스타일러스 움직임 데이터를 사용하고 (어떤 경우든지 될 수 있다), 매퍼 (1506)와 함께 상기 단계들 610, 614, 616, 618, 620에 따라 관심이 있는 신의 다음 위치를 연산한다. 상기 프로세서 (1504)는 상기 단계들 609, 610, 614를 실행하는 동안, 상기 단계 614의 결과가 '아니오'일 경우, 상기 매퍼 (1506)가 상기 단계들 618, 620을 실행하도록 트리거한다. 상기 단계 614의 결과가 '예'인 경우, 상기 프로세서 (1504)는 상기 단계 616를 실행한다.

이해될 수 있는 바와 같이, 상기 프로세서 (1504)에 의한 상기 단계들 610 및 614의 실행은 사전-정의된 임계 값들과의 비교를 필요로 한다. 상기 사전-정의된 값은 상기 VR 디바이스의 설정들의 구성의 일부로서 구성기 (1508)를 통해 연산될 수 있다. 보다 구체적으로, 상기 구성기 (1508)는 보다 친근하고 사용하기 쉬운 전반적인 환경을 렌더링하기 위해 상기 스타일러스 움직임에 대한 임계 값들 혹은 임의의 다른 관련 구성 데이터를 설정하는데 사용된다. 상기 스타일러스를 VR 디바이스와 페어링한 후, 상기 사용자는 상기 사용자 움직임에 대한 임계 값들을 설정하도록 상기 셋-업(set-up)을 구성할 수 있다.

상기 구성된 임계 값을 초과하는 스타일러스 움직임(빠른 움직임)은 단계들 618 및 620을 통해 실행되는 바와 같은 일-대-일 매핑 대신 연속적인 신 네비게이션 (즉, 단계 616)을 초래할 것이다. 일 예로, 상기 사용자가 상기 가상 세계에서 연속적인 왼쪽에서 오른쪽으로의 회전을 원할 경우, 상기 사용자는 임계 값 움직임으로 상기 "빠른 오른쪽 회전(quick right rotation)"을 등록할 수 있다. 이후, 가상 세계 네비게이션 동안, 이런 사전 정의된 빠른 움직임은 상기 연속적인 회전 혹은 네비게이션을 획득하기 위해 사용된다.

아래는 상기 구성기(1508)를 통해 상기 사용자에 의해 구성되는 바와 같은 구성 가능 데이터의 구체적인 사항들이다:

a. Tg: 상기 자이로스코프에 의해 캡쳐되는(captured) 스타일러스 움직임의 임계 값의 크기. 상기 XYZ-축을 따른 임계 값 설정을 위한 상기 자이로스코프 데이터는 P, Q, R이라고 가정하기로 한다. 그리고 나서, 임계 값 자이로스코프 리딩 값은 수학식 6과 같이 나타낼 수 있다:

그리고, 상기 자이로스코프 리딩 값의 크기는 수학식 7과 같이 정의될 수 있다:

b. Ta: 상기 가속도계에 의해 캡쳐되는 스타일러스 움직임의 임계 값의 크기. 유사하게, 상기 X, Y, Z-축을 따른 임계 값 설정을 위한 가속도계 데이터는 A, B, C이다. 그리고 나서, 임계 값 가속도계 리딩 값은 수학식 8과 같이 나타낼 수 있다:

그리고, 상기 자이로스코프 리딩 값의 크기는 수학식 9와 같이 정의될 수 있다:

또한, 상기 일-대-일 매핑의 일부로서(즉, 단계들 618 및 620의 일부로서) 수행되는 상기 네비게이션 속도를 설정하기 위해, 상기 사용자는 상기 스타일러스대 가상 세계의 회전 각도의 비율(ratio)을 구성할 수 있다. 이 비율의 디폴트(default) 값은 1:1이다. 일 예로, 이 비율이 2:1로 설정될 경우, 상기 스타일러스의 180° 회전은 가상 세계에서의 90° 회전을 초래할 것이다.

c. : 상기 스타일러스의 움직임에 관해 수행될 VR 네비게이션의 비율 (비(proportion)).

X, Y, Z-축은 스타일러스가 회전될 수 있는 상기 현실 세계 축이고, X', Y', Z'-축은 상기 각 가상 세계 축이고, 따라서 X' 축이 X축에 매핑되고, Y' 축이 Y축에 매핑되고, Z' 축이 Z 축에 각각 매핑된다. 하기의 표는 스타일러스 펜과 가상 세계의 회전의 회전 매핑의 예제를 나타내고 있다.

표 1로부터 명백해질 수 있는 바와 같이, 이는 ""인 다른 비율들로 스타일러스와 가상 세계의 회전의 "일-대-일" 매핑을 설명하고 있다. 게다가, 도 2의 설명에서 설명된 바와 같은 "업스케일링"은 > 1의 경우에 발생하고, 그렇지 않을 경우 "다운스케일링"이 발생한다. 마지막으로, 상기 프로세서 (1504)와 동작 가능하게 상호 작용하는 디스플레이 제어기 (1510)는 상기 네비게이션의 일부로서 제공되는 상기 시각적인 지각 가능 모션뿐만 아니라 상기 가상 세계의 디스플레이를 렌더링한다.

도 16은 상기 디바이스 내의 구성 전자 장치들을 정교하게 하는 사안으로서 본 개시의 다양한 실시 예들에 따른 상기 VR 디바이스 (300) 또는 홀로그램 디바이스 (500)의 다른 아키텍처를 도시하고 있다. 따라서, 현재의 도 16에서 설명된 바와 같은 전자 디바이스 (1600)는 VR 디바이스로 지칭될 수도 있다. 상기 전자 디바이스 (1600)는 일 예로, 도 3, 도 5 및 도 15에 도시되어 있는 바와 같이 상기 VR 디바이스 또는 홀로그램 디바이스의 전체 또는 일부를 형성할 수 있다.

도 16을 참조하면, 상기 VR 디바이스 (1600)는 적어도 하나의 어플리케이션 프로세서 (application processor: AP) (1610), 통신 모듈 (1620), 가입자 식별 모듈 (subscriber identification module: SIM) 카드 (1624), 메모리 (1630), 센서 모듈 (1640), 입력 유닛 (1650), 디스플레이 (1660), 인터페이스 (1670), 오디오 모듈 (1680), 카메라 모듈 (1631), 전력 관리 모듈 (1695), 배터리 (1918), 지시기(indicator) (1697) 및 모터 (1698)를 포함할 수 있다.

상기 적어도 하나의 AP (1610)는 도 15에 도시되어 있는 바와 같이 상기 프로세싱 모듈 (1504)과 균등할 수 있다. 상기 적어도 하나의 AP (1610)는 운영 시스템 또는 어플리케이션들을 구동할 수 있고, 그에 연결되는 다수의 하드웨어 또는 소프트웨어 컴포넌트들을 제어할 수 있고, 또한 멀티미디어 데이터를 포함하는 다양한 데이터에 대한 프로세싱 및 동작을 수행할 수 있다. 보다 구체적으로, 상기 적어도 하나의 AP (1610)는 핸드헬드 디바이스 움직임 데이터의 생성/프로세싱 및 의도되지 않은 핸드헬드 디바이스 움직임 데이터의 필터링의 일부로서 단계들 609, 610, 614를 실행한다.

게다가, 상기 적어도 하나의 AP (1610)는 또한 도 15에서 설명된 바와 같이 상기 임계 값을 구성하기 위한 구성 모듈(1508)을 나타낼 수 있다. 게다가, 상기 적어도 하나의 AP (1610)는 상기 디스플레이의 렌더링을 위한 멀티미디어-컨텐트를 프로세싱하는 그래픽 프로세싱 유닛 (graphic processing unit: GPU) (도시되어 있지 않음)을 포함할 수 있다.

상기 통신 모듈 (1620)은 도 15에 도시되어 있는 바와 같이 상기 인터페이스 모듈 (1502)이 될 수 있다. 상기 통신 모듈 (1620)은 통신 프로세서 (communication processor: CP)를 포함하고 상기 네트워크를 통해 상기 전자 디바이스 (1600)에 연결되어 있는 임의의 다른 전자 디바이스와 데이터 통신을 수행할 수 있다. 일 실시 예에 따르면, 상기 통신 모듈 (1620)은 그 내부에 셀룰러 모듈 (1621), Wi-Fi 모듈 (1623), BT 모듈 (1625), GPS 모듈 (1627), NFC 모듈 (1628), 및 무선 주파수(radio frequency: RF) 모듈 (1629)을 포함할 수 있다. 상기 통신 모듈 (1620)은 상기 단계 608을 실행하고, 따라서 상기 핸드헬드 디바이스로부터 상기에서 설명한 바와 같은 타입들의 모듈들 (1621, 1623, 1625, 1627, 1628, 1629) 중 하나 혹은 그 이상과 호환되는 포맷으로 (프로세싱된 혹은 프로세싱되지 않은) 상기 데이터를 수신한다.

상기 셀룰러 모듈 (1621)은 통신 네트워크 (일 예로, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM, 등)를 통해 음성 호, 비디오 호, 메시지 서비스, 인터넷 서비스, 등을 제공할 수 있다. 따라서, 상기 셀룰러 모듈 (1621)은 상기 SIM 카드 (1624)를 사용하여 상기 통신 네트워크에서 상기 전자 디바이스 (1600)의 식별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 상기 셀룰러 모듈 (1621)은 상기 적어도 하나의 AP (1610)가 제공할 수 있는 기능들 중 적어도 일부를 수행할 수 있다. 일 예로, 적어도 하나의 AP (1610) 대신에, 상기 셀룰러 모듈 (1621)은 멀티미디어 제어 기능 중 적어도 일부, 일 예로 단계 610 (즉, 의도되지 않은 핸드헬드 움직임 데이터의 필터링)를 수행할 수 있거나, 혹은 상기 구성 모듈(1508)에 의해 실행되는 태스크(task)의 일부로서 임계 값의 셋업을 가능하게 할 수 있다.

일 실시 예에 따르면, 상기 셀룰러 모듈 (1621)은 또한 상기 통신 프로세서 (communication processor: CP)를 포함할 수 있다. 추가적으로, 상기 셀룰러 모듈 (1621)은, 일 예로, SoC로 형성될 수 있다. 상기 셀룰러 모듈 (1621) (일 예로, 상기 CP), 메모리 (1630), 또는 상기 전력 관리 모듈 (1695)과 같은 일부 엘리먼트들이 도 16의 상기 적어도 하나의 AP (1610)와 다른 별도의 엘리먼트들로 도시되어 있을지라도, 상기 적어도 하나의 AP (1610)는 일 실시 예에서의 상기와 같은 엘리먼트들 중 적어도 일부(일 예로, 상기 셀룰러 모듈 (1621))를 가지도록 형성될 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 AP (1610) 또는 상기 셀룰러 모듈 (1621) (일 예로, 상기 CP)은 그에 연결되어 있는 비-휘발성 메모리로부터 또는 상기 다른 엘리먼트들 중 적어도 하나로부터 수신되는 명령(command)들 또는 데이터를 휘발성 메모리에 로딩하여(load) 그들을 프로세싱할 수 있다. 보다 구체적으로, 상기 적어도 하나의 AP (1610) 또는 상기 셀룰러 모듈 (1621) (일 예로, 상기 CP)은 상기 핸드헬드 디바이스로부터 수신된 (프로세싱되었거나 혹은 프로세싱되지 않은) 핸드헬드 디바이스 움직임 데이터를 추가적인 액션을 위해 휘발성 메모리에 로딩할 수 있다. 게다가, 상기 적어도 하나의 AP (1610) 또는 상기 셀룰러 모듈 (1621)은 상기 다른 엘리먼트들 중 하나 혹은 그 이상으로부터 수신되거나 혹은 생성된 데이터를 상기 비-휘발성 메모리에 저장할 수 있다. 보다 구체적으로, 상기 적어도 하나의 AP (1610) 또는 상기 셀룰러 모듈 (1621)은 추가적인 사용을 위해 상기 프로세싱된 형태의 핸드헬드 디바이스 움직임 데이터를 상기 비-휘발성 메모리에 저장할 수 있다.

상기 Wi-Fi 모듈 (1623), BT 모듈 (1625), GPS 모듈 (1627) 및 NFC 모듈 (1628) 각각은 그를 통해 송신 혹은 수신되는 데이터를 프로세싱하는 프로세서를 포함할 수 있다. 도 16이 상기 셀룰러 모듈 (1621), Wi-Fi 모듈 (1623), BT 모듈 (1625), GPS 모듈 (1627) 및 NFC 모듈 (1624)을 다른 블록들로 도시하고 있지만, 그들 중 적어도 일부는 일 실시 예에서 단일 집적 회로 (integrated circuit: IC) 칩 혹은 단일 IC 패키지(package)에 포함될 수 있다. 일 예로, 상기 셀룰러 모듈 (1621), Wi-Fi 모듈 (1623), BT 모듈 (1625), GPS 모듈 (1627), 및 NFC 모듈 (1628)에 상응하는 각 프로세서들 중 적어도 일부 (일 예로, 상기 셀룰러 모듈 (1621)에 상응하는 상기 CP 및 상기 Wi-Fi 모듈 (1623)에 상응하는 Wi-Fi 프로세서)는 단일 SoC로서 형성될 수 있다.

상기 RF 모듈 (1629)은 데이터, 일 예로, RF 신호들 또는 임의의 다른 전기 신호들을 송신 및 수신할 수 있다. 도시되어 있지는 않을 지라도, 상기 RF 모듈 (1629)은 송수신기, 전력 증폭 모듈(power amp module: PAM), 주파수 필터, 저잡음 증폭기(low noise amplifier: LNA), 등을 포함할 수 있다. 또한, 상기 RF 모듈 (1629)은 자유 공간(free air space)에서 전자기파들의 송신을 위해 임의의 컴포넌트, 일 예로, 와이어(wire) 또는 컨덕터(conductor)를 포함할 수 있다. 도 16이 상기 셀룰러 모듈 (1621), Wi-Fi 모듈 (1623), BT 모듈 (1625), GPS 모듈 (1627) 및 NFC 모듈 (1628)이 상기 RF 모듈 (1629)을 공유하는 것으로 도시하고 있을 지라도, 그들 중 적어도 하나는 일 실시 예에서 별도의 RF 모듈을 통해 RF 신호들의 송신 및 수신을 수행할 수 있다.

상기 SIM 카드 (1624)는 SIM으로 형성되는 특정 카드가 될 수 있으며, 상기 전자 디바이스 (1600)의 특정 위치에 형성되는 각 슬롯 (도시되어 있지 않음)에 삽입될 수 있다. 상기 SIM 카드 (1624_N)는 그 내부에 집적 회로 카드 식별자(Integrated Circuit Card Identifier: ICCID) 혹은 국제 이동 가입자 식별(international mobile subscriber identity: IMSI)을 포함할 수 있다.

상기 메모리 (1630)는 내부 메모리 (1632) 및 외부 메모리 (1636)를 포함할 수 있다. 상기 내부 메모리 (1632)는, 일 예로, 휘발성 메모리 (일 예로, 동적 RAM (dynamic RAM: DRAM), 정적 RAM (static RAM: SRAM), 동기식 DRAM(synchronous DRAM: SDRAM), 등) 혹은 비-휘발성 메모리(일 예로, 일회용 프로그램 가능 ROM(One Time Programmable ROM: OTPROM), 프로그램 가능 ROM(Programmable ROM: PROM), 제거 가능 프로그램 가능 ROM(Erasable and Programmable ROM: EPROM), 전기적 제거 가능 프로그램 가능 ROM(Electrically Erasable and Programmable ROM: EEPROM), 마스크(mask) ROM, 플래시(flash) ROM, NAND 플래시 메모리, NOR 플래시 메모리, 등) 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따르면, 상기 내부 메모리 (1632)는 상기 SSD (solid state drive)의 형태를 가질 수 있다. 상기 외부 메모리 (1634)는 플래시 드라이브, 일 예로, 컴팩트 플래시 (compact flash: CF), 보안 디지털 (secure digital: SD), 마이크로 보안 디지털 (micro secure digital: micro-SD), 미니 보안 디지털 (mini secure digital: mini-SD), 익스트림 디지털 (extreme digital: xD), 메모리 스틱, 등을 포함할 수 있다. 상기 외부 메모리 (1634)는 다양한 인터페이스들을 통해 상기 디바이스 (1600)와 기능적으로 연결될 수 있다. 일 실시 예에 따르면, 상기 디바이스 (1600)는 하드 드라이브와 같은 저장 디바이스 또는 매체를 더 포함할 수 있다.

일 예에서, 상기 메모리 (1630)는 커널(kernel), 미들웨어(middleware), 어플리케이션 프로그래밍 인터페이스(application programming interface: API), 또는 어플리케이션과 같은 프로그래밍 모듈들을 포함할 수 있다. 상기와 같은 프로그래밍 모듈들 각각은 소프트웨어(software), 펌웨어(firmware), 하드웨어(hardware), 또는 소프트웨어, 펌웨어 및 하드웨어 중 적어도 2 개의 조합을 포함할 수 있다.

상기 커널은 상기 미들웨어, API, 또는 어플리케이션과 같은 다른 프로그래밍 모듈들에서 구현되는 동작들 또는 기능들을 실행하는 데 사용되는 시스템 자원들 (일 예로, 상기 버스, 프로세서 (1610), 또는 메모리 (1630))을 제어 또는 관리할 수 있다. 추가적으로, 상기 커널은 상기 미들웨어, API, 또는 어플리케이션이 상기 디바이스 (1600)의 개별 컴포넌트들에 억세스하고, 제어 또는 관리할 수 있도록 하는 인터페이스를 제공할 수 있다.

상기 미들웨어는 상기 커널이 상기 API 또는 어플리케이션과 통신하여 데이터를 송신 및 수신할 수 있는 매체가 될 수 있다. 게다가, 상기 미들웨어는 일 예로, 시스템 자원들 (상기 디바이스(1600)의 상기 버스, 프로세서 (1610), 또는 메모리(1630))을 사용하기 위한 우선 순위들을 하나 혹은 그 이상의 어플리케이션들에 할당함으로써 상기 하나 혹은 그 이상의 어플리케이션에 의한 작동 요청들에 관한 제어 동작들(일 예로, 스케쥴링 혹은 로드 밸런싱(load balancing))을 수행할 수 있다.

상기 API는 상기 어플리케이션이 상기 커널 또는 미들웨어에서 제공하는 기능들을 제어할 수 있는 인터페이스이다. 일 예로, 상기 API는 파일 제어, 윈도우 제어, 비디오 프로세싱, 또는 텍스트 제어를 위한 적어도 하나의 인터페이스 또는 기능 (일 예로, 명령)을 포함할 수 있다.

상기 센서 모듈 (1640)은 물리량(physical quantity)을 측정하거나 상기 전자 디바이스 (1600)의 동작 상태를 센싱할 수 있고, 그리고 나서 측정된 또는 센싱된 정보를 전기 신호들로 변환할 수 있다. 상기 센서 모듈 (1640)은, 일 예로, 제스쳐 센서(gesture sensor) (1640A), 자이로 센서 (1640B), 대기 센서 (1640C), 자기 센서 (1640D), 가속도 센서 (1640E), 그립 센서 (1640F), 근접도 센서(proximity sensor) (1640G), 색상 센서 (1640H) (일 예로, 적색, 녹색, 청색 (red, green, blue: RGB) 센서), 생체 인식 센서(biometric sensor) (1640I), 온도-습도 센서 (1640J), 조명 센서 (1640K) 및 자외선(ultraviolet: UV) 센서 (1640M) 중 적어도 하나를 포함할 수 있다. 추가적으로 또는 대안적으로, 상기 센서 모듈 (1640)은, 일 예로, E-노즈 센서(E-nose sensor) (도시되어 있지 않음), 근전도 (electromyography: EMG) 센서 (도시되어 있지 않음), 뇌전도 (electroencephalogram: EEG) 센서 (도시되어 있지 않음), 심전도 (electrocardiogram: ECG) 센서 (도시되어 있지 않음), 적외선 (infrared: IR) 센서 (도시되어 있지 않음), 홍채 스캔 센서 (도시되어 있지 않음), 또는 손가락 스캔 센서 (도시되어 있지 않음)를 포함할 수 있다. 또한, 상기 센서 모듈 (1640)은 그에 내장된 하나 혹은 그 이상의 센서들을 제어하기 위한 제어 회로를 포함할 수 있다.

이해될 수 있는 바와 같이, 상기 센서 모듈 (1640)은 상기 핸드헬드 디바이스의 센서들과는 다르며, 따라서 상기 핸드헬드 디바이스에서의 센서-동작과 독립적으로 동작한다. 따라서, 상기 단계들 609, 610, 614을 실행하는 목적들을 위해서, 상기 적어도 하나의 AP (1610)는 상기 핸드헬드 디바이스로부터 수신된 상기 센서-입력만을 고려하고, 상기 센서 모듈 (1640)로부터의 어떤 입력이라도 무시한다.

상기 입력 유닛 (1650)은 터치 패널 (1652), 디지털 펜 센서 (1654), 키 (1656), 또는 초음파 입력 유닛 (1658)을 포함할 수 있다. 상기 터치 패널 (1652)은 정전 타입, 저항 타입, 적외선 타입, 또는 초음파 타입의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 (1652)은 제어 회로를 더 포함할 수 있다. 정전 타입을 포함하는 일 실시 예에서, 신체적 접촉 또는 근접도가 인식될 수 있다. 상기 터치 패널 (1652)은 택타일 계층(tactile layer)을 더 포함할 수 있다. 이 예제에서, 상기 터치 패널 (1652)은 사용자에게 택타일 피드백(tactile feedback)을 제공할 수 있다.

상기 디지털 펜 센서 (1654)는 상기 '객체 상호 작용 모드'에서 동작하는 핸드헬드 디바이스에 상응하고, 터치 입력을 수신하는 것과 동일하거나 유사한 방식으로, 또는 별도의 인식 시트(sheet)를 사용하여 형성될 수 있다. 상기 키 (1656)는 일 예로, 물리적 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 상기 초음파 입력 유닛 (1658)은 초음파 신호들을 생성하는 입력 툴(tool)을 통해 상기 디바이스 (1600)에서 마이크로폰 (1688)으로 음파들을 센싱함으로써 데이터를 인식할 수 있는 특정 디바이스이다. 일 실시 예에 따르면, 상기 전자 디바이스 (1600)는 상기 통신 모듈 (1620)을 통해 그에 연결되어 있는 외부 디바이스 (일 예로, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수 있다.

상기 디스플레이 (1660) (일 예로, 상기 디스플레이 (1650))는 패널 (1662), 홀로그램(hologram) (1664), 또는 프로젝터(projector) (1666)를 포함할 수 있다. 상기 패널 (1662)은 일 예로, 액정 크리스털 디스플레이 (liquid crystal display: LCD), 액티브 매트릭스 유기 발광 다이오드 (active matrix organic light emitting diode: AM-OLED), 등이 될 수 있다. 상기 패널 (1662)은 유연하고(flexible), 투명하거나(transparent), 또는 웨어러블(wearable) 형태를 가질 수 있다. 상기 패널 (1662)은 상기 터치 패널 (1652)을 가지는 단일 모듈의 형태가 될 수 있다. 상기 홀로그램 (1664)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 (1666)는 상기 디바이스 (1600)의 내부 또는 외부에 위치될 수 있는, 스크린(screen)에 이미지를 프로젝트할 수 있다. 일 실시 예에 따르면, 상기 디스플레이 (1660)는 상기 패널 (1602), 홀로그램 (1664), 및 프로젝터 (1666)를 제어하는 제어 회로를 더 포함할 수 있다.

상기 디스플레이 (1660)는 상기 시각적 지각 가능 모션뿐만 아니라 상기 가상 세계의 디스플레이를 렌더링하기 위해 상기 적어도 하나의 AP (1610)와 동작 가능하게 상호 작용하는 상기 디스플레이-제어기 (1510)를 포함한다. 상기와 같은 목적들을 위해서, 상기 적어도 하나의 AP (1610)는 필요할 때 기존의 렌더링된 디스플레이로부터 새로운 디스플레이로 스위치 오버(switch over)하기 위해 상기 단계들 616, 618, 620을 실행한다. 보다 구체적으로, 상기 적어도 하나의 AP (1610)는 상기 디스플레이 제어기 (1510)를 트리거링하는 상기 매핑 모듈 (1506)의 기능성을 나타내고, 따라서 상기 디스플레이 (1660)가 상기 적합한 디스플레이를 렌더링하는 것을 가능하게 한다.

상기 인터페이스 (1670)는 일 예로, 고화질 멀티미디어 인터페이스(high-definition multimedia interface: HDMI) (1672), 범용 직렬 버스(universal serial bus: USB) (1674), 광학 인터페이스 (1676), 또는 D-sub(D-subminiature) (1678)를 포함할 수 있다. 상기 인터페이스 (1670)는 일 예로, 도 3, 도 5, 도 15에 도시되어 있는 바와 같은, 상기 센서 데이터 인터페이스 (302, 502, 1502)를 구성할 수 있다. 추가적으로, 또는 대안적으로, 상기 인터페이스 (1670)는 일 예로, 모바일 고화질 링크 (mobile high-definition link) 인터페이스, 보안 디지털 (secure digital: SD) 카드/멀티미디어 카드 (multi-media card: MMC) 인터페이스, 또는 적외선 데이터 연관(infrared data association: IrDA) 인터페이스를 포함할 수 있다.

상기 오디오 모듈 (1680)은 사운드들과 전기 신호들 사이의 변환을 수행할 수 있다. 상기 오디오 모듈 (1680)의 적어도 일부는 일 예로, 도 3, 도 5 및 도 15의 상기 VR 디바이스의 입/출력 인터페이스에 포함될 수 있다. 상기 오디오 모듈 (1680)은 스피커 (1682), 수신기 (1684), 이어폰 (1686), 또는 마이크로폰 (1688)을 통해 입력되거나 출력되는 사운드 정보를 프로세싱할 수 있다.

상기 카메라 모듈 (1691)은 스틸 이미지들 및 동영상들을 획득할 수 있는 디바이스이다. 일 실시 예에 따르면, 상기 카메라 모듈 (1691)은 적어도 하나의 이미지 센서 (일 예로, 전면 센서 또는 후면 센서), 렌즈 (도시되어 있지 않음), 이미지 신호 프로세서 (image signal processor: ISP)(도시되어 있지 않음), 또는 플래시 (일 예로, LED 또는 제논 램프(xenon lamp), 도시되어 있지 않음)를 포함할 수 있다.

상기 전력 관리 모듈 (1695)은 상기 디바이스 (1600)의 전력을 관리할 수 있다. 도시되어 있지 않을 지라도, 상기 전력 관리 모듈 (1695)은 일 예로, 전력 관리 집적 회로 (power management integrated circuit: PMIC), 충전기 IC, 또는 배터리 또는 연료 게이지(fuel gauge)를 포함할 수 있다.

상기 PMIC는 일 예로 IC 칩 또는 SoC로 형성될 수 있다. 충전은 유선 또는 무선 방식으로 수행될 수 있다. 상기 충전기 IC는 배터리 (1696)를 충전하고 충전기로부터의 과전압 또는 과전류를 방지할 수 있다. 일 실시 예에 따르면, 상기 충전기 IC는 유선 및 무선 충전 타입들 중 적어도 하나에 대해 사용되는 충전기 IC를 가질 수 있다. 무선 충전 타입은, 일 예로, 자기 공명 타입, 자기 유도 타입, 또는 전자기 타입을 포함할 수 있다. 코일 루프(coil loop), 공진 회로, 또는 정류기와 같은, 무선 충전을 위한 임의의 추가적인 회로가 더 사용될 수 있다.

상기 배터리 게이지는 상기 배터리 (1696)의 잔량 및 충전 프로세스에서의 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 (1696)는 그 내부에 전력을 저장 또는 생성하여 상기 전자 디바이스(1600)에 전력을 공급할 수 있다. 상기 배터리 (1696)는 일 예로, 충전지(rechargeable battery) 또는 태양 전지가 될 수 있다.

상기 지시기 (1697)는 상기 디바이스 (1600) 또는 그 일부 (일 예로, 상기 적어도 하나의 AP (1610))의 현재 상태 (일 예로, 부팅 상태(booting status), 메시지 상태, 또는 재충전 상태)를 그 상에 나타낼 수 있다. 상기 모터 (1698)는 전기 신호를 기계적 진동으로 변환할 수 있다. 도시되어 있지는 않을 지라도, 상기 디바이스 (1600)는 모바일 TV를 지원하는 특정 프로세서 (일 예로, GPU)를 포함할 수 있다. 이 프로세서는 디지털 멀티미디어 방송 (digital multimedia broadcasting: DMB), 디지털 비디오 방송 (digital video broadcasting: DVB), 또는 미디어 플로우의 표준들을 준수하는 미디어 데이터를 프로세싱할 수 있다.

여기에 개시되어 있는 상기 VR 디바이스 (1600)의 상기에서 설명한 바와 같은 엘리먼트들 각각은 하나 혹은 그 이상의 컴포넌트들로 형성될 수 있으며, 그 명칭은 상기 전자 디바이스의 타입에 따라 변경될 수 있다. 여기에 개시되어 있는 상기 VR 디바이스 (1600)는 일부 엘리먼트들 없이 또는 추가적인 다른 엘리먼트들을 사용하여 상기에서 설명된 바와 같은 엘리먼트들 중 적어도 하나로 형성될 수 있다. 상기 엘리먼트들 중 일부는 통합 전에 상기와 같은 엘리먼트들의 기능들과 동일한 기능들을 수행하는 단일 엔티티(entity)로 통합될 수 있다.

본 개시에서 사용되는 용어 "모듈"은 하드웨어, 소프트웨어, 및 펌웨어 혹은 그 임의의 조합 중 하나를 포함하는 특정 유닛을 나타낼 수 있다. 상기 모듈은 일 예로, 유닛, 로직(logic), 논리 블록, 컴포넌트, 또는 회로와 상호 교환 가능하게 사용될 수 있다. 상기 모듈은 하나 혹은 그 이상의 특정 기능들을 수행하는 상기 최소 유닛, 혹은 그 일부가 될 수 있다. 상기 모듈은 기계적으로 또는 전자적으로 형성될 수 있다. 일 예로, 여기에 개시되어 있는 상기 모듈은 알려져 있었거나 개발될 ASIC (application-specific integrated circuit) 칩, FPGA (field-programmable gate array)들 및 프로그램가능-로직 디바이스 중 적어도 하나를 포함할 수 있다.

도 17은 본 개시의 일 실시 예에 따른 컴퓨팅-디바이스 기반 구현을 도시하고 있다. 도 17은 컴퓨터 시스템 (1700)의 형태로 상기 시스템 (300, 500, 1500, 1600)의 또 다른 전형적인 하드웨어 구성을 도시하고 있다. 상기 컴퓨터 시스템 (1700)은 상기 컴퓨터 시스템 (1700)이 상기 개시되어 있는 방법들 중 임의의 하나 혹은 그 이상을 수행하게 하도록 실행될 수 있는 명령어(instruction)들의 집합을 포함할 수 있다. 상기 컴퓨터 시스템 (1700)은 스탠드얼론(standalone) 디바이스로서 동작할 수 있거나, 혹은 일 예로 네트워크를 사용하여 다른 컴퓨터 시스템들 또는 주변 디바이스들에 연결될 수 있다.

네트워크 배치에서, 상기 컴퓨터 시스템 (1700)은 서버의 용량으로, 또는 서버-클라이언트(server-client) 사용자 네트워크 환경에서 클라이언트 사용자 컴퓨터로서, 또는 피어-투-피어(peer-to-peer) (또는 분산된) 네트워크 환경에서 피어 컴퓨터 시스템으로서 동작할 수 있다. 상기 컴퓨터 시스템 (1700)은 또한 VR 디바이스, 개인용 컴퓨터 (personal computer: PC), 태블릿 PC, 개인용 정보 단말기 (personal digital assistant: PDA), 모바일 디바이스, 팜탑 컴퓨터(palmtop computer), 통신 디바이스, 웹 어플라이언스(web appliance), 혹은 상기 기계에 의해 수행될 액션들을 명시하는 명령어들의 집합을 실행할 수 있는 임의의 다른 기계와 같은 다양한 디바이스들로 구현될 수 있거나, 혹은 통합될 수 있다. 추가적으로, 단일 컴퓨터 시스템 (1700)이 도시되어 있지만, 용어 "시스템"은 또한 하나 혹은 그 이상의 컴퓨터 기능들을 수행하는 명령어들의 집합 혹은 다수의 집합들을 개별적으로 혹은 조인트하게(jointly) 실행하는 시스템들 혹은 서브-시스템들의 임의의 집합을 포함하는 것으로 간주될 수 있다.

상기 컴퓨터 시스템 (1700)은 프로세서 (1702), 일 예로, 중앙 프로세싱 유닛 (central processing unit: CPU), 그래픽 프로세싱 유닛(graphics processing unit: GPU) 또는 둘 다를 포함할 수 있다. 상기 프로세서 (1702)는 다양한 시스템들에서의 컴포넌트가 될 수 있다. 일 예로, 상기 프로세서 (1702)는 표준 개인용 컴퓨터 또는 워크 스테이션(workstation)의 일부가 될 수 있다. 상기 프로세서 (1702)는 하나 혹은 그 이상의 일반 프로세서들, 디지털 신호 프로세서들, 어플리케이션 특정 집적 회로들, 필드 프로그램 가능 게이트 어레이들, 서버들, 네트워크들, 디지털 회로들, 아날로그 회로들, 그 조합들, 또는 데이터를 분석 및 프로세싱하는, 현재 알려져 있거나 혹은 이후에 개발되는 다른 디바이스들이 될 수 있다. 상기 프로세서 (1702)는 수동으로 생성된 (즉, 프로그램되는) 코드와 같은 소프트웨어 프로그램을 구현할 수 있다.

상기 컴퓨터 시스템 (1700)은 버스 (1708)를 통해 통신할 수 있는 메모리 (1704)와 같은 메모리 (1704)를 포함할 수 있다. 상기 메모리 (1704)는 다양한 타입들의 휘발성 및 비-휘발성 저장 매체들과 같은 컴퓨터 리드 가능 저장 매체들을 포함하지만, 그렇다고 이로 한정되지는 않고, 랜덤 억세스 메모리, 리드-온니 메모리, 프로그램 가능 리드-온니 메모리, 전기적 프로그램 가능 리드-온니 메모리, 전기적 제거 가능 리드-온니 메모리, 플래시 메모리, 자기 테이프 또는 디스크, 광학 매체, 등을 포함하지만, 그렇다고 이로 한정되지는 않는다. 일 예에서, 상기 메모리 (1704)는 상기 프로세서 (1702)를 위한 캐시 또는 랜덤 억세스 메모리를 포함한다. 대안적인 예제들에서, 상기 메모리 (1704)는 프로세서의 캐시 메모리, 상기 시스템 메모리, 또는 다른 메모리와 같이 상기 프로세서 (1702)와 분리되어 있다. 상기 메모리 (1704)는 데이터를 저장하는 외부 저장 디바이스 또는 데이터베이스가 될 수 있다. 상기 메모리 (1704)는 상기 프로세서 (1702)에 의해 실행 가능한 명령어들을 저장하도록 동작 가능하다. 상기 도면들에 도시되어 있거나 혹은 설명된 상기 기능들, 동작들 또는 태스크들은 상기 메모리 (1704)에 저장되어 있는 명령어들을 실행하는 상기 프로그램된 프로세서 (1702)에 의해 수행될 수 있다. 상기 기능들, 동작들 또는 태스크들은 상기 특정 타입의 명령어들 집합, 저장 매체들, 프로세서 또는 프로세싱 전략과 독립적이며, 단독적으로 혹은 조합으로 동작하는 소프트웨어, 하드웨어, 집적 회로들, 펌웨어, 마이크로 코드, 등에 의해 수행될 수 있다. 마찬가지로, 프로세싱 전략들은 멀티프로세싱, 멀티태스킹, 병렬 프로세싱 등을 포함할 수 있다.

도시되어 있는 바와 같이, 상기 컴퓨터 시스템 (1700)은 액정 크리스탈 디스플레이 (liquid crystal display: LCD), 유기 발광 다이오드 (organic light emitting diode: OLED), 플랫 패널 디스플레이(flat panel display), 솔리드 스테이트 디스플레이(solid state display), 음극선관(cathode ray tube: CRT), 프로젝터, 혹은 결정된 정보를 출력하는, 현재 알려진 혹은 이후에 개발되는 다른 디스플레이와 같은 디스플레이 유닛(1710)을 더 포함하거나, 혹은 포함하지 않을 수 있다. 상기 디스플레이 (1710)는 상기 사용자가 상기 프로세서 (1702)의 기능을 보는 있는 인터페이스로서, 또는 특히 상기 메모리 (1704) 또는 상기 드라이브 유닛 (1716)에 저장되어 있는 소프트웨어와의 인터페이스로서 동작할 수 있다.

추가적으로, 상기 컴퓨터 시스템 (1700)은 사용자가 상기 시스템 (1700)의 컴포넌트들 중 어느 하나와 상호 작용하는 것이 가능하도록 구성되는 입력 디바이스(1712)를 포함할 수 있다. 상기 컴퓨터 시스템 (1700)은 또한 디스크 또는 광학 드라이브 유닛 (1716)을 포함할 수 있다. 상기 디스크 드라이브 유닛 (1716)은 하나 혹은 그 이상의 명령어들 (1724)의 집합들, 일 예로, 소프트웨어가 삽입될 수 있는 컴퓨터-리드 가능 매체 (1722)를 포함할 수 있다. 추가적으로, 상기 명령어들 (1724)은 상기 설명된 바와 같은 방법들 또는 로직 중 하나 혹은 그 이상을 구현할 수 있다. 특정 예제에서, 상기 명령어들 (1724)은 상기 컴퓨터 시스템 (1700)에 의한 실행 동안 상기 메모리 (1704) 내에 또는 상기 프로세서 (1702) 내에 완전히, 또는 적어도 부분적으로 존재할 수 있다.

본 개시는 네트워크 (1726)에 연결된 디바이스가 상기 네트워크 (1726)를 통해 음성, 비디오, 오디오, 이미지들 또는 임의의 다른 데이터를 통신할 수 있도록 하기 위해 명령어들 (1724)을 포함하거나 혹은 전파된 신호에 응답하여 명령어들 (1724)을 수신 및 실행하는 컴퓨터-리드 가능 매체를 고려한다. 추가적으로, 상기 명령어들 (1724)은 통신 포트 또는 인터페이스 (1720)를 통해 또는 버스 (1708)를 사용하여 상기 네트워크 (1726)를 통해 송신 또는 수신될 수 있다. 상기 통신 포트 또는 인터페이스 (1720)는 상기 프로세서 (1702)의 일부가 될 수 있거나 별도의 컴포넌트가 될 수 있다. 상기 통신 포트 (1720)는 소프트웨어로 생성되거나 또는 하드웨어에서의 물리적 연결일 수 있다. 상기 통신 포트 (1720)는 네트워크 (1726), 외부 매체들, 상기 디스플레이 (1710), 또는 시스템 (1700)에 포함되어 있는 임의의 다른 컴포넌트들, 또는 그 조합과 연결하도록 구성될 수 있다. 상기 네트워크 (1726)와의 연결은 유선 이더넷 연결과 같은 물리적 연결이 될 수 있거나, 또는 이후에서 설명되는 바와 같이 무선으로 설정될 수 있다. 마찬가지로, 상기 시스템 (1700)의 다른 컴포넌트들과의 추가적인 연결은 물리적 연결들이 될 수 있거나 또는 무선으로 설정될 수 있다. 상기 네트워크 (1726)는 대안적으로 상기 버스 (1708)에 직접 연결될 수 있다.

상기 네트워크 (1726)는 유선 네트워크들, 무선 네트워크들, 이더넷 AVB 네트워크들, 또는 그 조합들을 포함할 수 있다. 상기 무선 네트워크는 셀룰러 전화 네트워크, 802.11, 802.16, 802.20, 802.1Q 또는 WiMax 네트워크가 될 수 있다. 추가적으로, 상기 네트워크 (1726)는 상기 인터넷과 같은 공중 네트워크, 인트라넷과 같은 사설 네트워크, 또는 그 조합일 수 있으며, TCP/IP 기반 네트워킹 프로토콜들을 포함하지만, 그렇다고 이에는 한정되지 않는, 현재 유용하거나 혹은 이후에 개발되는 다양한 네트워킹 프로토콜들을 사용할 수 있다. 상기 시스템은 특정 표준들 및 프로토콜들로 동작하도록 한정되는 것은 아니다. 일 예로, 인터넷 및 다른 패킷 교환 네트워크 송신에 대한 표준들(일 예로, TCP/IP, UDP/IP, HTML, HTTP)이 사용될 수 있다.

전반적으로, 본 개시는 상기 가상 세계에서 사용자를 실질적으로 용이하게 하며, 여기에서의 많은 위치들은, 의자에 앉아있는 동안 180°에서 뒤를 바라 보는 것과 같이, 네비게이션의 목적들을 위해 달성되는 것은 가능하지 않다. 상기 사용자는 상기 사용자의 목을 돌리거나, 혹은 180°로 뒤로 돌릴 수 없다. 그와 같은 네비게이션 신체에 대해서는, 움직임이 제한되며 사용자는 일어서서 뒤를 향해야만 한다. 본 개시를 사용할 경우, 상기 사용자는 상기 스타일러스와 같은 핸드헬드 디바이스를 사용하여 신체적 움직임이 불가능한 후면으로 네비게이트할 수 있다.

상기 가상 세계에서, 손/신체 제스처들을 사용하는 네비게이션은 많은 움직임을 필요로 한다. 본 주제(subject matter)는 네비게이트를 위해 스타일러스를 사용하여 상기 움직임들을 최소화한다. 상기 네비게이션의 현재의 방법에서 필요로 되는 바와는 달리, 스타일러스를 사용하는 네비게이션을 사용하여 사용자는 상기 스타일러스를 단지 다른 방향들로 회전함으로써 네비게이트할 수 있으며, 따라서 손을 지속적으로 흔들거나 한 장소에서 다른 장소로 이동할 필요가 없다.

본 개시를 설명하기 위해 특정 언어가 사용되었지만, 상기 특정 언어의 사용으로 인한 어떠한 제한들도 의도되지 않는다. 해당 기술 분야의 당업자에게 명백하게 되는 바와 같이, 여기에서 교시되는 바와 같은 발명의 컨셉(concept)을 구현하기 위해 상기 방법에 대한 다양한 동작 수정들이 이루어질 수 있다.

상기 도면들 및 상기의 설명은 실시 예들의 예제들을 제공한다. 해당 기술 분야의 당업자들은 상기 설명된 엘리먼트들 중 하나 혹은 그 이상이 단일 기능 엘리먼트로 잘 결합될 수 있다는 것을 인식할 것이다. 이와는 달리, 특정 엘리먼트들은 다수의 기능 엘리먼트들로 분할될 수 있다. 일 실시 예의 엘리먼트들은 다른 실시 예에 추가될 수 있다. 일 예로, 여기에서 설명되는 프로세스들의 순서들은 변경될 수 있으며, 여기에서 설명되는 방식으로 제한되지 않는다.

게다가, 어떤 플로우 다이아그램의 액션들이라도 도시된 순서대로 구현될 필요는 없고; 또한 상기 동작들 모두가 반드시 수행될 필요도 없다. 또한, 다른 동작들에 의존하지 않는 동작들은 상기 다른 동작들과 병렬로 수행될 수 있다. 실시 예들의 범위는 이러한 특정 예들에 의해 결코 제한되지 않는다. 본 명세서에 명시적으로 제공되는지 여부에 관계없이 구조, 차원, 및 재료의 사용에서의 차이들과 같은, 수 많은 변경들이 가능하다. 상기 실시 예들의 범위는 적어도 하기의 청구항들에 의해 주어지는 바와 같이 넓다.

특정 실시 예들과 관련된 이점들, 다른 장점들 및 문제점들에 대한 해결 방식들이 상기에서 설명된 바 있다. 하지만, 상기 이점들, 장점들, 문제점들에 대한 해결 방식들 및 어떤 이점, 장점 또는 해결 방식이라도 발생시키거나 혹은 더 확연하게 할 수 있는 컴포넌트(들)는 상기 청구항들 중 어느 하나 혹은 상기 청구항들 모두의 중요하고, 요구되거나, 또는 필수적인 기능 또는 컴포넌트로 해석되어서는 안될 것이다.

Claims (14)

1. 제 1 디바이스의 방법에 있어서,
   상기 제 1 디바이스 상에 가상 컨텐트(virtual content)의 제 1 뷰(view)를 디스플레이하는 동작;
   상기 제 1 디바이스와 제 2 디바이스 간에 연결을 설정하는 동작;
   상기 설정된 연결을 통해 상기 제 2 디바이스의 움직임 데이터를 수신하는 동작;
   상기 움직임 데이터를 기반으로 방향 정보 및 회전 정보 중 적어도 하나를 획득하는 동작;
   상기 움직임 데이터의 크기를 임계값과 비교한 것에 기반하여, 상기 움직임 데이터가 제1 카테고리 명령 또는 제2 카테고리 명령을 포함하는지 확인하는 동작;
   상기 움직임 데이터가 상기 제1 카테고리 명령을 포함함을 확인함에 대한 응답으로, 상기 가상 컨텐트의 제 1 뷰로부터 상기 가상 컨텐트의 제 2 뷰로의 네비게이션을 수행하고 상기 가상 컨텐트의 제2 뷰를 디스플레이 하는 동작, 여기서 상기 제2 뷰는 상기 획득된 상기 방향 정보 및 회전 정보 중 적어도 하나에 상응함; 및
   상기 움직임 데이터가 상기 제2 카테고리 명령을 포함함을 확인함에 대한 응답으로, 3D 공간에서의 방향으로 상기 제1 뷰로부터 연속적인 360도 스크롤 네비게이션을 수행하고, 상기 제1 뷰로부터 상기 연속적인 360도 스크롤 네비게이션을 디스플레이하는 동작을 포함하는 제 1 디바이스의 방법.
2. 삭제
3. 제 1항에 있어서,
   상기 가상 컨텐트는 360° 비디오 컨텐트, 3D 컨텐트, 및 파노라마 컨텐트 중 적어도 하나를 포함하는 제 1 디바이스의 방법.
4. 제 1항에 있어서,
   상기 제 2 디바이스는 스타일러스(stylus), 전자 펜, 및 제어기 중 적어도 하나인 제 1 디바이스의 방법.
5. 제 1항에 있어서,
   상기 움직임 데이터는 상기 제 2 디바이스에 포함되어 있는 적어도 하나의 센서에 의해 센싱된 데이터를 포함하며, 상기 적어도 하나의 센서는 가속도계, 모션-센서(motion-sensor), 자이로스코프(gyroscope), 중력 센서, 회전 센서 및 자력계 중 적어도 하나를 포함하는 제 1 디바이스의 방법.
6. 제 1항에 있어서,
   상기 움직임 데이터는:
   좌표계의 축을 따른 회전,
   상기 좌표계의 적어도 하나의 평면 내의 회전,
   3D 공간에서의 회전,
   상기 좌표계의 축을 따른 모션(motion),
   상기 좌표계의 적어도 하나의 평면 내의 모션, 및
   상기 3D 공간에서의 모션 중 적어도 하나에 상응하는 데이터를 포함하는 제 1 디바이스의 방법.
7. 제 1항에 있어서,
   상기 움직임 데이터가 제 1 임계 값을 초과할 경우, 혹은 상기 움직임 데이터가 제 2 임계 값 미만일 경우, 상기 움직임 데이터는 사용되지 않는 제 1 디바이스의 방법.
8. 제 1 디바이스에 있어서,
   상기 제 1 디바이스 상에 가상 컨텐트(virtual content)의 제 1 뷰(view)를 디스플레이하도록 구성되는 디스플레이;
   상기 제 1 디바이스와 제 2 디바이스간에 연결을 설정하고, 상기 설정된 연결을 통해 상기 제 2 디바이스의 움직임 데이터를 수신하도록 구성되는 송수신기; 및
   상기 수신된 움직임 데이터를 기반으로 방향 정보 및 회전 정보 중 적어도 하나를 획득하고, 상기 움직임 데이터의 크기를 임계값과 비교한 것에 기반하여, 상기 움직임 데이터가 제1 카테고리 명령 또는 제2 카테고리 명령을 포함하는지 확인하고, 상기 움직임 데이터가 상기 제1 카테고리 명령을 포함함을 확인함에 대한 응답으로, 상기 가상 컨텐트의 제 1 뷰로부터 상기 가상 컨텐트의 제 2 뷰로의 네비게이션을 수행하고 상기 가상 컨텐트의 제2 뷰를 디스플레이 하고, 여기서 상기 제2 뷰는 상기 획득된 상기 방향 정보 및 회전 정보 중 적어도 하나에 상응하고, 상기 움직임 데이터가 상기 제2 카테고리 명령을 포함함을 확인함에 대한 응답으로, 3D 공간에서의 방향으로 상기 제1 뷰로부터 연속 360도 스크롤 네비게이션을 수행하고, 상기 제1 뷰로부터 상기 연속 360도 스크롤 네비게이션을 디스플레이하도록 구성되는 적어도 하나의 프로세서를 포함하는 제 1 디바이스.
9. 삭제
10. 제 8항에 있어서,
    상기 가상 컨텐트는 360° 비디오 컨텐트, 3D 컨텐트, 및 파노라마 컨텐트 중 적어도 하나를 포함하는 제 1 디바이스.
11. 제 8항에 있어서,
    상기 제 2 디바이스는 스타일러스(stylus), 전자 펜, 및 제어기 중 적어도 하나인 제 1 디바이스.
12. 제 8항에 있어서,
    상기 움직임 데이터는 상기 제 2 디바이스에 포함되어 있는 적어도 하나의 센서에 의해 센싱된 데이터를 포함하며, 상기 적어도 하나의 센서는 가속도계, 모션-센서(motion-sensor), 자이로스코프(gyroscope), 중력 센서, 회전 센서 및 자력계 중 적어도 하나를 포함하는 제 1 디바이스.
13. 제 8항에 있어서,
    상기 움직임 데이터는:
    좌표계의 축을 따른 회전,
    상기 좌표계의 적어도 하나의 평면 내의 회전,
    3D 공간에서의 회전,
    상기 좌표계의 축을 따른 모션,
    상기 좌표계의 적어도 하나의 평면 내의 모션, 및
    상기 3D 공간에서의 모션 중 적어도 하나에 상응하는 데이터를 포함하는 제 1 디바이스.
14. 제 8항에 있어서,
    상기 움직임 데이터가 제 1 임계 값을 초과할 경우, 혹은 상기 움직임 데이터가 제 2 임계 값 미만일 경우, 상기 움직임 데이터는 사용되지 않는 제 1 디바이스.

Images