KR102358983B1

KR102358983B1 - Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택

Info

Publication number: KR102358983B1
Application number: KR1020157023083A
Authority: KR
Inventors: 아피트 미탈; 줄리아노 마시오시; 마이클 엘. 툰메르; 폴 맙부트
Original assignee: 퀄컴 인코포레이티드
Priority date: 2013-02-14
Filing date: 2014-02-12
Publication date: 2022-02-04
Also published as: CN105027033A; KR20150116871A; US10133342B2; TWI534654B; HUE047027T2; ES2759054T3; CN105027033B; TW201502860A; US11262835B2; JP6356157B2; US20140225918A1; EP2956843B1; WO2014126966A1; JP2016514298A; EP3518080A1; EP2956843A1; US20190025909A1

Abstract

HMD(head mounted device) 상에서 AR(Augmented Reality) 물체를 선택하기 위한 방법들, 시스템들, 컴퓨터-판독 가능 매체들 및 장치들이 제공된다. 일부 실시예들에서, HMD는 사용자의 적어도 하나의 손에 의해 형성된 제스처에 기초하여 ROI(Region-of-Interest)를 정의할 수 있다. 후속으로, HMD는 HMD 상에서 형상을 사용자에게 디스플레이할 수 있다. 적어도 하나의 배열에서, 형상은 ROI의 윤곽을 나타낸다. 부가적으로, HMD는 복수의 AR 물체들을 사용자에게 디스플레이할 수 있고, 복수의 AR 물체들 각각은 ROI 내부의 타겟과 연관된다. 또한, HMD는 크기 감소된 ROI를 형성하기 위해 사용자의 적어도 하나의 손의 제 1 이동에 기초하여 ROI의 크기를 감소시킬 수 있다. 적어도 하나의 배열에서, 크기 감소된 ROI는 복수의 AR 물체들로부터 특정 AR 물체를 선택하는데 사용된다.

Description

ＨＤＭ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택{HUMAN-BODY-GESTURE-BASED REGION AND VOLUME SELECTION FOR HMD}

[1] 본 발명의 양상들은 인간 신체 제스처들을 사용하여 HMD(head mounted display) 상의 AR(augmented reality) 물체를 선택하는 것에 관한 것이다.

[2] HMD는 이제, 스마트폰과 같이, HMD에 접속된 호스트 디바이스에 내장되거나 호스트 디바이스에 의해 제공되는 어느 정도의 컴퓨팅 능력을 갖는 가벼운, 입수 가능한 디바이스로서 개발될 수 있다.

[3] HMD는 안경 프레임 상에 장착되는 하나 이상의 1인칭(egocentric) 카메라들을 포함할 수 있다. HMD는 또한 광학 센서들, 가속도계들, GPS, 자이로스코프들, 고체 상태 컴파스들, RFID 및 무선 센서들을 포함할 수 있다. HMD는 사용자의 시야 내의 투명한 디스플레이 영역을 가질 수 있고, 시야 내에서 사용자는 디스플레이 상에서 물리적 물체들 및 가상 물체들 둘 모두를 볼 수 있다.

[4] 내장 카메라들을 사용하여, HMD는 사용자의 입력에 따라 이미지들 및 비디오들을 캡처할 수 있다. 종래의 방법들은 사용자의 시야 내의 이미지를 캡처하기 위해 HMD 상의 버튼을 사용자가 터치하는 것을 포함한다.

[5] 사용자가 HMD(head mounted display)를 물리적으로 터치하지 않고서, 사용자가 HMD 상의 하나 이상의 증강 현실(AR) 물체들을 선택하도록 허용하는 특정 실시예들가 설명된다.

[6] 일부 실시예들에서, HMD는 사용자의 적어도 하나의 손에 의해 형성된 제스처에 기초하여 ROI(Region-of-Interest)를 정의할 수 있다. 후속으로, HMD는 HMD 상에서 형상을 사용자에게 디스플레이할 수 있다. 적어도 하나의 배열에서, 형상은 ROI의 윤곽을 나타낸다(outline). 부가적으로, HMD는 복수의 AR 물체들을 사용자에게 디스플레이할 수 있고, 복수의 AR 물체들 각각은 ROI 내부의 타겟과 연관된다. 또한, HMD는 크기 감소된 ROI를 형성하기 위해 사용자의 적어도 하나의 손의 제 1 이동에 기초하여 ROI의 크기를 감소시킬 수 있다. 적어도 하나의 배열에서, 크기 감소된 ROI는 복수의 AR 물체들로부터 특정 AR 물체를 선택하는데 사용된다. 하나 이상의 배열들에서, ROI의 크기를 감소시키기 위한 방법은 사용자의 손들을 서로 더 가깝게 이동시키는 것을 포함한다. 부가적으로, HMD는 불개입(disengagement) 이벤트에 기초하여 크기 감소된 ROI에 불개입할 수 있다. 예를 들면, 불개입 이벤트는 사용자의 적어도 하나의 손이 ROI로부터 떨어져 있을 때, 사용자의 적어도 하나의 손가락 및 엄지가 서로 가까울 때, 또는 사용자에 의한 음성 커맨드 때에 발생할 수 있다.

[7] 다른 배열에서, 다수의 증강들이 특정 AR 물체와 연관되고, HMD는 또한 특정 AR 물체의 방향으로의 사용자의 적어도 하나의 손의 제 2 이동에 기초하여, 특정 AR 물체와 연관된 다수의 증강들로부터 대응하는 증강을 사용자에게 디스플레이할 수 있다.

[8] 다른 배열에서, HMD는 또한 크기 감소된 ROI 내부의 텍스트를 캡처하고, 그리고 캡처된 텍스트에 기초하여 번역을 개시할 수 있다. HMD는 또한 ROI 또는 크기 감소된 ROI의 자동의 시각적 인식 및 시각적 탐색을 수행할 수 있다.

[9] 다른 배열에서, HMD는 하나 이상의 다른 사용자와의 비디오 공유 동안에 시야를 좁히기 위해 크기 감소된 ROI를 사용할 수 있다.

[10] 일부 실시예들에서, AR(Augmented Reality) 물체를 선택하기 위한 HMD(head mounted device)는 하나 이상의 프로세서들, 및 컴퓨터-판독 가능 명령들을 저장하는 메모리를 포함할 수 있고, 컴퓨터-판독 가능 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, HMD로 하여금, 사용자의 적어도 하나의 손에 의해 형성된 제스처에 기초하여 ROI(Region-of-Interest)를 정의하게 하고, HMD 상에서 형상을 사용자에게 디스플레이하게 하고 ― 형상은 상기 ROI의 윤곽을 나타냄 ― , 복수의 AR 물체들을 사용자에게 디스플레이하게 하고 ― 복수의 AR 물체들 각각은 ROI 내부의 타겟과 연관됨 ― , 그리고 크기 감소된 ROI를 형성하기 위해 상기 사용자의 적어도 하나의 손의 제 1 이동에 기초하여 상기 ROI의 크기를 감소시키게 하고, 크기 감소된 ROI는 복수의 AR 물체들로부터 특정 AR 물체를 선택하는데 사용된다.

[11] 일부 실시예들에서, 하나 이상의 컴퓨터-판독 가능 매체들은 HMD(head mounted device) 상에서 AR(Augmented Reality) 물체를 선택하기 위한 컴퓨터-실행 가능 명령들을 저장하고, 컴퓨터-실행 가능 명령들은, 실행될 때, HMD에 포함된 하나 이상의 컴퓨팅 디바이스들로 하여금, 사용자의 적어도 하나의 손에 의해 형성된 제스처에 기초하여 ROI(Region-of-Interest)를 정의하게 하고, HMD 상에서 형상을 사용자에게 디스플레이하게 하고 ― 형상은 상기 ROI의 윤곽을 나타냄 ― , 복수의 AR 물체들을 사용자에게 디스플레이하게 하고 ― 복수의 AR 물체들 각각은 ROI 내부의 타겟과 연관됨 ― , 그리고 크기 감소된 ROI를 형성하기 위해 사용자의 적어도 하나의 손의 제 1 이동에 기초하여 ROI의 크기를 감소시키게 할 수 있고, 크기 감소된 ROI는 상기 복수의 AR 물체들로부터 특정 AR 물체를 선택하는데 사용된다.

[12] 일부 실시예들에서, AR(Augmented Reality) 물체를 선택하기 위한 HMD(head mounted device)는 사용자의 적어도 하나의 손에 의해 형성된 제스처에 기초하여 ROI(Region-of-Interest)를 정의하기 위한 수단, HMD 상에서 형상을 사용자에게 디스플레이하기 위한 수단 ― 형상은 ROI의 윤곽을 나타냄 ― , 복수의 AR 물체들을 사용자에게 디스플레이하기 위한 수단 ― 복수의 AR 물체들 각각은 ROI 내부의 타겟과 연관됨 ― , 및 크기 감소된 ROI를 형성하기 위해 사용자의 적어도 하나의 손의 제 1 이동에 기초하여 ROI의 크기를 감소시키기 위한 수단을 포함할 수 있고, 크기 감소된 ROI는 상기 복수의 AR 물체들로부터 특정 AR 물체를 선택하는데 사용된다.

[13] 본 발명의 양상들이 예로서 도시된다. 첨부한 도면들에서, 동일한 참조 번호들은 동일한 엘리먼트들을 표시한다.
[14] 도 1a 및 도 1b는 하나 이상의 실시예들을 구현할 수 있는 HMD의 개략도들을 예시한다.
[15] 도 2는 실시예에 따른, AR 타겟들을 선택하기 위해 HMD들과 상호작용하는 무터치 방법을 설명하는 흐름도를 예시한다.
[16] 도 3a 및 도 3b는 실시예에 따른, 관심 영역(ROI)을 선택하기 위한 방법들을 예시한다.
[17] 도 4는 실시예에 따른, 5 개의 타겟들이 HMD 상에 디스플레이된 ROI를 예시한다.
[18] 도 5는 실시예에 따른, 3 개의 타겟들이 HMD 상에 디스플레이된 크기 감소된 ROI를 예시한다.
[19] 도 6은 AR 타겟들에 대한 특정 계층의 증강을 선택하기 위한 흐름도를 예시한다.
[20] 도 7은 VOI를 사용하여 타겟의 방향을 스크롤링함으로써 다수의 증강들을 통한 사용자 브라우징을 예시한다.
[21] 도 8은 ROI에 기초하여 스마트 애플리케이션들(예를 들면, 번역, 시각적 탐색)을 개시하기 위한 흐름도를 예시한다.
[22] 도 9는 하나 이상의 실시예들이 구현될 수 있는 컴퓨팅 시스템의 예를 예시한다.

[23] 수 개의 예시적인 실시예들이, 본 발명의 일부를 형성하는 첨부한 도면들에 대해 이제 설명될 것이다. 본 발명의 하나 이상의 양상들이 구현될 수 있는 특정한 실시예들이 후술되지만, 다른 실시예들이 사용될 수 있고, 다양한 변형들이 본 발명의 범위 또는 첨부된 청구항들의 사상을 벗어나지 않으면서 행해질 수 있다.

[24] 본 발명의 실시예들은 인간 신체 제스처들을 사용하여 HMD(head mounted display) 상의 AR(augmented reality) 물체를 선택하는 것에 관한 것이다. 일부 실시예들은, 사용자가 HMD(head mounted display)를 물리적으로 터치하지 않고서, 사용자가 HMD 상의 하나 이상의 증강 현실(AR) 물체들을 선택하기 위한 방법들을 개시한다.

[25] HMD는, 물리적 물체들과 연관되거나, 예를 들면, 사용자의 위치 및/또는 컨텍스트와 연관된 디지털 콘텐츠(예를 들면, 텍스트, 픽처들, 비디오)와 사용자에 의해 보여지는 물리적 물체들을 중첩함으로써 증강 현실(AR) 기능을 제공할 수 있다. 예를 들면, 증강 현실(AR) 능력들을 갖는 HMD는 사용자의 시야에 걸쳐 물리적 세계 및 가상 물체들 둘 모두의 이미지들을 배치할 수 있다. 결과적으로, HMD는 이동식 및 공동의 AR 경험을 사용자들에게 제공할 수 있다.

[26] 본원에 사용된 바와 같이, 용어 HMD는, 거리 센서 데이터를 캡처하고 모바일 프로세서에 링크된 디스플레이 능력을 갖는 디바이스를 지칭하고, 모바일 프로세서는 헤드 장착 디바이스에 대해 별개의 디바이스일 수 있다. 실시예에서, HMD(120)는, HMD 제어 시스템의 메인 프로세싱이 모바일 디바이스의 프로세서 상에서 수행되는 모바일 디바이스 CPU(예를 들면, 셀 폰, 태블릿 컴퓨터, 스마트폰 등의 프로세서)에 대한 액세서리일 수 있다. 다른 실시예에서, HMD(120)는 프로세서, 메모리, 디스플레이 및 카메라를 포함할 수 있다.

[27] 다른 실시예에서, HMD는 인터넷, 로컬 무선 네트워크 또는 다른 컴퓨팅 디바이스와 접속하기 위한 무선 인터페이스를 포함할 수 있다. 다른 실시예에서, 표면들 상의 이미지들의 프로젝션을 가능하게 하기 위한 프로젝터가 HMD에 연관될 수 있다. HMD는 바람직하게는 경량이고, 무거운 컴포넌트들의 사용을 회피하도록 구성되고, 무거운 컴포넌트들은 디바이스로 하여금 착용하기에 불편하게 할 수 있다. HMD는 또한 사용자로부터 오디오/제스처 입력들을 수신하도록 동작 가능할 수 있다. 그러한 제스처 또는 오디오 입력들은 발성된 음성 커맨드들 또는 인식된 사용자 제스처일 수 있고, 이것은, 컴퓨팅 디바이스에 의해 인식될 때, 그 디바이스로 하여금 대응하는 커맨드를 실행하게 할 수 있다.

[28] 증강 현실(AR)은 물리적, 실세계 환경의 라이브, 직접적 또는 간접적 뷰일 수 있고, 실세계 환경의 엘리먼트들은 사운드, 텍스트, 그래픽들, 비디오 및 GPS 데이터(이에 제한되지 않음)와 같은 컴퓨터-생성 감각 입력에 의해 증강된다.

[29] 물체 인식과 같은 AR 기술을 사용함으로써, 사용자의 주변의 실세계에 관한 정보는 상호작용적이고 디지털로 조작 가능하게 된다. 사용자의 환경 및 그의 물체들에 관한 인공적인 정보가 실세계 상에 중첩될 수 있다.

[30] 또한, 실시예들이 HMD에 관련하여 본원에 설명되지만, 다른 형태들의 헤드-장착 디스플레이들이 사용될 수 있다는 것을 당업자들은 인지할 것이다. 예를 들면, 본원에 설명된 실시예들은, 사용자가 착용할 수 있고 및/또는 다른 형태의 디스플레이에서 구현될 수 있는 하나 이상의 콘택트 렌즈들에 관련하여 구현될 수 있고, 콘텐트 렌즈를 통해 사용자는 시야를 지각할 수 있다.

[31] 일부 실시예들은 지오-로케이팅된 POI(point-of-interest) 및 AR 타겟들을 선택하기 위한 HMD와 상호작용을 허용한다. 자연적인 인간 신체 제스처를 검출함으로써, 시스템은 안경을 통해 보여진 ROI 내의 POI들 또는 AR 타겟들의 서브세트를 선택하도록 HMD를 트리거링할 수 있다.

[32] 다양한 실시예들은 증강 현실 시스템에서 AR 타겟들을 선택하는 방법들을 포함하고, 상기 방법들은 하나 이상의 헤드 장착 센서들을 통해 공간적 데이터를 캡처함으로써 사용자의 제스처에 기초하여 ROI를 정의하는 단계, HMD의 디스플레이 상에 ROI의 윤곽을 나타내는 형상을 디스플레이하는 단계, AR 타겟들에 대응하는, HMD에 대한 거리를 포함하는 파라미터들을 계산하는 단계, ROI 내에 복수의 AR 물체들을 디스플레이하는 단계, 사용자의 손 이동에 기초하여 ROI의 크기를 감소시키는 단계 및 특정 AR 타겟을 선택하기 위해 크기 감소된 ROI를 사용하는 단계를 포함한다. 실시예에서, 상기 방법은, 가상 물체가 사용자가 사용자의 헤드를 터닝할 때의 디스플레이에 앵커링된 것처럼 보이도록, 생성된 가상 물체의 디스플레이를 계속해서 업데이트하는 단계를 포함할 수 있다.

[33] 도 1a 및 도 1b는 하나 이상의 실시예들을 통합할 수 있는 HMD(120)의 개략도들을 예시한다.

[34] 도 2에 의해 예시된 흐름도는 실시예에 따른, 지오-로케이팅된 POI들(point of interest) 및 AR 타겟들을 선택하기 위해 HMD들과 상호작용하는 무터치 방법을 설명한다. 자연적인 인간 신체 제스처를 검출함으로써, HMD는 안경을 통해 보여지는 POI들 또는 AR 타겟들의 서브세트를 선택할 수 있다. 도 3a는 도 2에 설명된 방법을 사용하여 AR 물체를 선택하기 위해 HMD들과 상호작용하는 예시적인 방법을 예시한다. 제스처는, 도 3a 및 도 4에 도시된 바와 같이, 양 손의 검지(index) 및 엄지 손가락들을 직교 방향으로 지시하는 것을 수반할 수 있다. ROI가 HMD에 의해 인식된 후에, 사용자는, 도 3b, 도 5 및 도 7에 도시된 바와 같이, ROI 또는 VOI(volume-of-interest)를 추가로 지정함으로써 2 또는 3 차원 공간에서 지오-로케이팅된 POI들 또는 AR 타겟들을 선택할 수 있다.

[35] 다른 실시예에 따라, HMD 상의 깊이-인에이블 카메라(예를 들면, 스테레오 카메라)는, AR 물체가 자신과 연관된 다수의 증강들을 가질 때, 증강을 선택하기 위해 VOI를 사용하는데 사용될 수 있다. 깊이-인에이블 카메라는 사용자의 전방에서 또는 카메라 뷰에서 손들의 이동을 인식할 수 있다. 이러한 카메라들을 통해, HMD는 타겟에 대해 사용자의 손의 위치를 인식하고, 따라서 위치에 기초하여 상이한 증강들을 디스플레이할 수 있다.

[36] 예를 들면, 사용자는, 도 6에 예시된 흐름도에 추가로 설명되는 바와 같이, AR 타겟들에 대한 특정 계층의 증강을 선택할 수 있다. 먼저, 사용자는 ROI를 선택함으로써 특정 AR 타겟을 선택할 수 있다. 또한, 다수의 증강들이 주어진 AR 타겟과 연관되면, 사용자는 VOI를 사용하여 타겟의 방향으로 스크롤링함으로써 다수의 증강들에 통해 브라우징할 수 있다. 예를 들면, 도 7에서, 영화 포스터(720)에 대해, 사용자는 영화의 제목과 리뷰; 트레일러; 및 영화와 연관된 상영 시간들을 보여주는 3 개의 상이한 증강들(705, 710, 715)을 통해 브라우징할 수 있다. 손의 위치에 따라, 대응하는 AR 증강이 사용자에게 보여진다.

[37] 다른 실시예에 따라, 시스템은, 도 8에 예시된 흐름도에서 추가로 설명되는 바와 같이, ROI에 기초하여 스마트 애플리케이션들(예를 들면, 번역, 시각적 탐색)을 개시할 수 있다. 예를 들면, ROI가 시각적 탐색 시스템 또는 OCR(optical character recognition) 기반 번역기에 제공될 수 있고, 결과들이 HMD 상에 디스플레이된다.

[38] 다른 실시예에 따라, ROI는 비디오 공유를 위해 시야를 좁히는데 사용될 수 있다. 예를 들면, ROI는 비디오 기반 통신에서 공유된 뷰로서 처리되고, 그래서 사용자의 시야 중 일부(예를 들면, 프리젠테이션, 문서)만이 원격 사용자들과 공유된다.

[39] 손 제스처들을 사용한 관심 영역의 정의

[40] 도 1a는 일 실시예에 따른, 사용자의 제스처들에 기초하여 ROI(region-of-interest)를 정의하도록 구성된 HMD(120)의 단순화된 예시(100)이다. 이 실시예에서, 사용자(110)에 의해 착용되는 HMD(120)는 ROI를 정의하기 위해 사용자의 손(130)을 추적하도록 구성된 카메라 및/또는 다른 센서(들)를 갖는다. 그렇게 해서, HMD(120)는 HMD(120)의 디스플레이(140) 상에 ROI의 윤곽을 나타내는 형상을 디스플레이할 수 있다. 이것은 사용자가 원할 때 ROI를 조정하기 위해 실시간 피드백을 제공하도록 허용할 수 있어서, 사용자 입력을 수신하기 위한 별개의 인터페이스(예를 들면, 터치 패드, 버튼들)에 대한 필요성을 제거한다. 다른 인터페이스들은 원하는 기능에 따라 HMD(120)에 통합될 수 있다. HMD(120)는, ROI를 결정하기 위해 사용자의 손(130)을 추적하기 위해 하나 이상의 미리-설치된 카메라(들)(150)를 사용할 수 있다.

[41] 도 1b는 본원서 제공된 기술들을 이용할 수 있는 HMD(120)의 실시예의 예시이다. 도시된 실시예는 디스플레이들(140) 및 하나 이상의 카메라들(150)을 포함한다. 이러한 실시예는, 사용자의 눈들의 전방에 디스플레이들(140)을 위치시키는, 사용자(110)의 코 및 귀들 상에 걸칠 수 있는 안경과 유사한 프레임을 포함한다.

[42] 다양한 실시예들은 HMD(120)가 HMD(120) 상의 센서들을 사용하여 사용자의 손(130) 제스처들을 캡처하는 것을 가능하게 한다. 실시예에서, 카메라(150)는, 이미지들의 삼각법(trigonometric) 분석을 통해 이미지 내의 물체들까지의 거리들을 추정하기 위해 프로세서가 분석할 수 있는 이미지 데이터를 생성할 수 있는 헤드 장착 카메라일 수 있다. 대안적으로 또는 부가하여, HMD(120)는, 이미지 내의 다양한 표면들까지의 거리들을 측정할 수 있는 하나 이상의 거리 측정 센서들(예를 들면, 레이저 또는 음파 범위 파인더)을 포함할 수 있다. 다양한 실시예들에서, 사용자(110)에 의해 보여지는 장면 내의 물체들까지의 측정 거리들을 측정하기 위해 다양한 상이한 타입들의 거리 측정 센서들 및 알고리즘들이 이미징된 장면에서 사용될 수 있다. 또한, 하나보다 더 많은 센서 및 타입의 센서가 HMD(120)에서 사용될 수 있다.

[43] 또한, HMD(120)는 가속도계들, 자이로스코프들, 자기 센서들, 광학 센서들, 기계적 또는 전자적 레벨 센서들 및 관성 센서들과 같은 배향 센서들을 포함할 수 있고, 이들은 단독으로 또는 결합하여 (예를 들면, 중력 배향을 감지함으로써) 디바이스의 업/다운 레벨 배향 및 따라서 사용자의 헤드 위치 배향(및 그 시청 관점으로부터)에 관한 데이터를 디바이스의 프로세서에 제공할 수 있다. 또한, HMD(120)는, 좌측/우측 배향 및 이동에 관한 데이터를 디바이스의 프로세서에 제공할 수 있는 전자 컴파스 및 가속도계들과 같은 회전 배향 센서들을 포함할 수 있다. 총괄적으로, 센서들(가속도계들, 자이로스코프들, 자기 센서들, 광학 센서들, 기계적 또는 전자적 레벨 센서들, 관성 센서들 및 전자 컴파스들을 포함함)은 HMD(120)의 업/다운 및 회전 배향(및 따라서 사용자의 시청 관점)에 관한 데이터를 제공하도록 구성된다.

[44] HMD(120)는 사용자 입력들을 인식하도록 구성될 수 있고, 이것은 카메라에 의해 이미징될 수 있는 제스처들을 통해 이루어질 수 있다. 이미지 내의 인식된 물체까지의 거리는 캡처된 이미지 및 거리 센서들로부터 수집된 데이터로부터 결정될 수 있다. HMD(120)는 이미지 및 거리 센서 데이터를 모바일 프로세서에 제공하고, 모바일 프로세서로부터 디스플레이 정보를 수신할 수 있고, 모바일 프로세서는 스마트폰 또는 다른 모바일 디바이스에서와 같이 HMD(120)로부터 별개일 수 있다.

[45] 디스플레이들(140)의 적어도 일부분은 투명하여, 사용자가 디스플레이들(140) 상에서 보여지는 이미지들뿐만 아니라 사용자의 주위환경에서의 물리적 물체들을 보는 것을 가능하게 하는 투명 디스플레이 영역을 제공한다. 디스플레이들 (140) 상에서 보이는 이미지들의 투명도 레벨은, 디스플레이들(140)의 원하는 기능성, 디스플레이들(140) 상에서 보이는 GUI(graphical user interface)의 설정들, 및/또는 HMD(120)에 의해 실행되는 소프트웨어 애플리케이션(예컨대, 비디오, 맵, 인터넷 브라우저) 에 따라 변화할 수 있다. 도 1a 및 도 1b에 도시된 실시예들은 안경형 프레임에 위치된 디스플레이(140)를 예시하지만, 투명 디스플레이 영역을 제공할 수 있는 다른 기술들(예를 들어, 망막 프로젝터 또는 다른 광학적 시스템)이 다른 실시예들에서 이용될 수 있다.

[46] 또한, 카메라(들)(150)(예를 들면, 바깥쪽으로 향하는 카메라들)는, HMD(120)에 입력을 제공하기 위해 사용자(110)에 의해 제어될 수 있는 사용자의 손(130) 및/또는 다른 물체들을 포함하는, 사용자의 주위환경의 이미지들을 캡처할 수 있다. 카메라들은, HMD(120)가 사용자의 전방에서 물리적 물체(예를 들면, POI)를 추적하는 것을 가능하게 하는 이미지들 및/또는 다른 정보를 프로세싱 유닛에 제공하는 다른 타입들의 센서들을 포함할 수 있다. 일 실시예에서, HMD(120)는 물체의 깊이를 물론 추적하기 위해 깊이를 결정할 수 있는 카메라(150)(예를 들면, 스테레오 카메라)를 사용할 수 있다. 일 실시예에 따라, 깊이 카메라는, 도 7에 도시된 비와 같이, 다수의 증강들을 디스플레이하기 위해 VOI를 사용할 때 사용될 수 있다.

[47] 카메라(들)(150)는, HMD(120)가 사용자의 관점으로부터 투명한 디스플레이 영역 내에 나타나는 물체(예를 들면, 손 제스처들)를 추적하는 것을 가능하게 하는 시야를 가질 수 있다. 실시예들은, 물리적 물체가 사용자(110)의 관점으로부터 투명한 디스플레이 영역 내에 있지 않을 때 저전력 모드로 스위칭할 수 있다. 일부 실시예들에서, 카메라(들)(150)는, (사용자(110)의 관점으로부터) 물리적 객체가 투명한 디스플레이 영역에 접근하고 있다고 HMD(120)가 결정할 때, HMD(120)가 물체-추적 알고리즘들을 실행하기 시작 및/또는 확대하도록 허용하기 위해, 투명한 디스플레이 영역보다 더 넓은 시야를 가질 수 있다.

[48] 복수의 AR 타겟들로부터 특정 AR 타겟의 선택

[49] 도 2는 HMD(head mounted display) 상의 증강 현실(AR) 물체를 선택하는 방법(200)의 실시예를 예시하는 흐름도이다. 블록(205)에서, HMD는 사용자의 제스처에 기초하여 ROI(region-of-interest)를 정의한다.

[50] 사용자의 제스처를 검출하기 위한 검출 알고리즘이 사용될 수 있다. HMD는 사용자의 미리 결정된 제스처를 검출하고, 사용자의 제스처에 기초하여 ROI를 정의할 수 있다. 예를 들면, 사용자의 제스처는, 도 3a 및 도 3b에 예시된 바와 같이, 직사각형 형상을 생성하기 위해 양 손들의 검지 및 엄지 손가락들을 직교 방향으로 지시하는 것을 포함할 수 있다. 다른 경우들에서, 사용자의 제스처는 주먹, 펼쳐진 손, 손가락(들)을 사용한 포인팅, 손 회전, 웨이브, 하나 이상의 손가락들의 이동 및 이들의 임의의 조합을 포함할 수 있다.

[51] 부가적으로, 다른 실시예에 따라, ROI가 정의된 후에, 후속의 사용자 제스처가 발생할 수 있다. 예를 들면, 제스처는 ROI를 재크기 설정하기 위해 사용자의 손들을 떨어져/더 가깝게 끌어당기는 것을 포함할 수 있다. 다른 경우들에서, 후속의 사용자 제스처는 사진을 찍기 위한 탭 제스처, 스크린에 걸쳐 AR 물체를 안내하기 위한 푸시 제스처, AR 물체를 이동시키기 위한 플릭(flick) 제스처, AR 물체를 회전시키기 위한 턴 제스처, 줌 동작들을 위한 그랩(grab)/풀(pull) 제스처, 미디어를 통한 스크롤링을 위한 스와이프(swipe) 제스처를 포함할 수 있다.

[52] 앞서 표시된 바와 같이, 투명한 디스플레이 영역은, 사용자가 디스플레이 상에 도시된 이미지들뿐만 아니라 사용자의 주위환경 내의 물리적 물체를 보도록 허용하도록 구성된, HMD(120)의 디스플레이 및/또는 디스플레이 수단의 적어도 일부일 수 있다. 사용자는 사용자의 손 제스처에 기초하여 ROI를 선택할 수 있다. 도 3a는 또한 HMD(120)가 ROI를 식별하는 방법을 예시한다.

[53] 블록(210)에서, 투명한 디스플레이 영역 내의 ROI의 윤곽을 나타내는 형상이 정의되고, 사용자에게 디스플레이된다. 형상은, 예를 들면, HMD(120) 상의 ROI의 윤곽을 나타내는 직사각형 오버레이일 수 있다. 형상은 ROI의 위치의 시각적인 피드백을 사용자에게 제공할 수 있다. 형상 자체는 강조되고 및/또는 그렇지 않다면 투명한 디스플레이 영역에 표시될 수 있고, 표시되지 않을 수 있다. 형상을 정의하는 것은, 예를 들면, HMD에 통합되고 및/또는 HMD와 통신 가능하게 커플링된 컴퓨팅 시스템의 부분일 수 있는 프로세싱 유닛, 메모리 및/또는 다른 컴퓨팅 수단에 의해 수행될 수 있다. 형상은 디스플레이 엘리먼트로부터, 예를 들면, 디스플레이 스크린의 에지로부터 확장하는 것으로 디스플레이될 수 있다. 또한, 아래에 더 상세히 논의되는 바와 같이, 형상은 AR 또는 다른 소프트웨어 애플리케이션에서 상호작용적 엘리먼트들, 디지털 콘텐츠 및/또는 물리적 물체들과 연관될 수 있다. 그러한 형상은, 예를 들면, 사용자가 물리적 물체에 대해 이동할 때, 디스플레이 영역 내에서 크기, 형상 및 위치에서 변할 수 있다. 결과적으로, 선택된 물체(들)와 연관된 형상을 보여주는 하이라이트들은 언제나 디스플레이될 수 있거나 디스플레이되지 않을 수 있다.

[54] 다양한 실시예들은 HMD(120)가 디스플레이(140) 상의 ROI의 윤곽을 나타내는 가상 형상을 렌더링하는 것을 가능하게 한다. 이것은 HMD(120)가 컴퓨팅 디바이스와의 상호작용들 및 실시간 협력 및 사용자로부터의 피드백을 용이하게 할 수 있는 증강 현실 경험을 제공하는 것을 가능하게 한다.

[55] 일부 실시예들에서, HMD(120)는 HMD(120) 상에서 작업들을 실행하기 위한 입력 커맨드들로서 인식된 제스처들을 프로세싱할 수 있다. 방법들은, 동작들을 수행하기 위한 프로세서-실행 가능 명령들로 구성된 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 프로세서는 HMD(120)의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 부가적으로, 프로세서는 앞서 논의된 HMD(120)에 포함된 다른 센서들로부터의 데이터뿐만 아니라, 카메라들(150)로부터의 이미지 데이터를 수신할 수 있다. 따라서, 프로세서는 카메라(들)(150)의 시야 내의 물체들에 대한 이미지들 및 거리들에 관하여 HMD(120)에 의해 수집된 모든 정보를 획득할 수 있다. 프로세서는 ROI 내의 물체의 거리 및 배향 데이터를 계산할 수 있다. 이러한 계산들은, 이미지들이 블록으로 제공될 때 잘 알려진 삼각법 방법들, 거리 데이터를 제공하기 위해 거리 센서들이 사용될 때 직접적인 측정들, 및 센서들로부터 획득되고 이미지들로부터 계산된 거리 정보의 임의의 조합들을 사용할 수 있다. 또한, 프로세서는 거리 센서 데이터, 카메라 데이터 및 거리 및 배향 데이터를 사용하여 이미지를 프로세싱할 수 있다.

[56] 또한, 프로세서는, 미리 결정된 제스처가 인식되는지를 결정하기 위해 시간 간격에 걸쳐 사용자의 손(130)을 추적할 수 있다. 이러한 결정에서, 프로세서는, 임의의 제스처들이 시야에서 인식되는지를 결정할 수 있다. 제스처가 인식되면, 프로세서는 실질적으로 인식된 제스처 및 HMD(120)의 메모리에 저장된 입력 커맨드를 매칭할 수 있다. 프로세서는 인식된 제스처에 대응하는 입력 커맨드를 실행할 수 있다.

[57] 일 실시예에 따라, 일단 ROI가 식별되면, 픽처 및/또는 비디오는, 사용자(110)가 개입하지 않을 때, ROI 내부의 이미지의 캡처일 수 있다. 예를 들면, ROI의 윤곽을 나타내는 형상을 수신한 후에, 사용자가 카메라 촬영 포즈와 같은 손 제스처를 계속해서 유지한다면, 사용자가 개입하지 않은 후에, HMD(120)는 ROI에 의해 윤곽이 나타나는 이미지를 캡처하도록 설정될 수 있다. 불개입(disengagement) 이벤트의 예는, 사용자의 손들이 ROI로부터 떨어져 빠르게 이동하는 때일 수 있다. 따라서, 종래의 HMD와 달리, 사용자는 사진을 촬영하기 위해 종래의 HMD 상의 버튼을 사실상 터치할 필요가 없다.

[58] 다른 실시예에 따라, HMD(120)는 고정된 버퍼 크기의 비디오를 캡처할 수 있다. 이러한 경우에, 제스처 메커니즘은 최종 미리 결정된 듀레이션(예를 들면, 30 초)으로부터 모든 프레임들을 저장하도록 HMD에 표시하기 위한 트리거로서 사용될 수 있다. 예를 들면, HMD(120)를 착용한 사용자는 방금 바다에서 고래의 점프를 보고, 지난 30 초를 기록하도록 HMD(120)에 구두로(verbally) 요청할 수 있다. 따라서, HMD(120)는, 자신이 인식된 제스처 또는 음성 커맨드에 기초하여 프레임들을 버퍼링하는 기능을 가질 수 있고, HMD(120)는 그러한 프레임들을 메모리에 저장할 수 있다.

[59] 블록(215)에서, ROI가 인식된 후에, HMD(120)는 ROI 내부의 타겟들과 연관된 복수의 AR 물체들(예를 들면, 도 4의 리타의 패션(405))을 사용자(110)에 디스플레이한다. 부가적으로, 사용자가 ROI 또는 사용자의 시야를 이동시킬 때, 초기에 ROI 내부의 타겟들이 추적될 수 있다. 추적하기 위한 수단은 카메라, 센서 및/또는 다른 컴포넌트들에 의해 수행될 수 있고, 이들은 이미지 및/또는 위치 측정들을 캡처하도록 구성되고, 이미지 및/또는 위치 측정들에 기초하여 위치를 결정하도록 구성된 프로세싱 유닛, 메모리 및/또는 다른 컴퓨팅 수단과 통신 가능하게 접속된다. 타겟을 추적하기 위한 컴포넌트들은 투명한 디스플레이 영역에 이미지들을 디스플레이하기 위한 컴포넌트들과 교정될 수 있어서, HMD가 사용자가 무엇을 보는지를 결정하는 것을 가능하게 한다.

[60] 추적 수단은 다양한 추적 알고리즘들 중 임의의 것을 고용할 수 있다. 특정 추적 알고리즘들은 물체와 연관된 단일 포인트(예를 들면, 투명한 디스플레이 영역 상의 좌표) 및/또는 영역 및/또는 물체(예를 들면, 사용자의 손(들))에 대한 위치를 간단히 추적할 수 있다. 더 정교한 추적 알고리즘들은 물체의 거리와 같은 다른 특징들을 추적할 수 있다. 실시예들은 또한 AR 상호작용을 위해 다수의 및/또는 상이한 타겟을 추적할 수 있다.

[61] 일단 블록(215)을 사용하여 복수의 AR 물체들이 사용자에게 디스플레이되면, 사용자는 선택된 물체의 추가의 조작을 위해, 블록(220)에 설명된 바와 같이, 특정 AR 물체를 선택하기를 원할 수 있다.

[62] 예를 들면, 사용자가 HMD를 착용하고 있을 때, 복수의 AR 물체와 연관된 광고 및 배너들(banners)이 팝 업(pop up)할 수 있다. 모든 기능들이 동시에 활성화된다면, 이것은 산만하고 짜증스러울 수 있다. ROI의 크기를 감소시킴으로써, 사용자는 상호작용을 위한 AR 물체들의 수를 감소시킬 수 있다.

[63] 블록(220)에서, 사용자는, 도 3a 및 도 3b에 추가로 예시된 바와 같이, 사용자의 손의 이동에 기초하여 ROI의 크기를 감소 또는 확대할 수 있다. 실시간 사용자 피드백을 사용하여 ROI를 조작함으로써, 사용자(110)는 특정 AR 물체를 실시간으로 선택할 수 있다. 여기서 다시, ROI의 크기를 감소 또는 확대하기 위한 수단은 ROI를 보여주는 디스플레이에 커플링된 프로세싱 유닛, 메모리 및/또는 다른 컴퓨팅 수단을 포함할 수 있다.

[64] 블록(225)에서, HMD(120)는, 블록(220)으로부터의 크기 감소된 ROI를 사용하여, 블록(215)에서 복수의 AR 물체들로부터 특정 AR 물체를 선택한다. 예를 들면, 퀄컴의 뷰포리아(Vuforia)를 사용하여, AR 타겟들이 HMD(120)에 의해 HMD 디스플레이(140) 상에 디스플레이될 수 있다.

[65] 증강 현실 기능은, 사용자가 사용자의 주위환경 주위에서 보다 많이 학습하는 것을 가능하게 하기 위한 무수한 시나리오들에서 이용될 수 있다. 예를 들어, 도 6 및 도 7에 나중에 설명되는 바와 같이, HMD(120)는 영화 포스터와 연관된 AR을 갖는 영화 포스터를 인식할 수 있고, 이어서, HMD(120)는 다른 손 제스처를 통해 활성화될 수 있는 가상 "플레이 트레일러(play trailer)" 버튼을 디스플레이할 수 있다. 무수한 다른 시나리오들이 고려된다. 따라서, 본원에 제공된 기술들은, 사용자의 관점으로부터 선택된 물체로, 디지털 콘텐츠의 엘리먼트들과의 상호작용들을 가능하게 하는 증강 현실 시나리오들로 확장될 수 있다. 이러한 상호작용적 엘리먼트들이 사용자의 주위환경 내의 선택된 물체들에 바인딩되기 때문에, HMD의 디스플레이(140) 상의 대응하는 ROI는 선택된 물체의 위치에 대해 이동 및 스케일링할 수 있다. 부가적으로, 일부 실시예들에 따라, 이어서, 선택된 AR 물체는 도 6 및 도 8에 설명된 방법들을 사용하여 추가로 조작될 수 있다.

[66] AR 플랫폼의 예는, 일단 사용자가 증강 현실의 사용을 통해 타겟을 선택하였다면, HMD 및/또는 모바일 디바이스의 디스플레이(140)에 더 많은 정보를 제공할 수 있는 퀄컴 뷰포리아^TM 증강 현실 플랫폼이다. 예를 들면, 뷰포리아의 컴퓨터 비전 기능은 다양한 2D 및 3D 시각적 타겟들을 인식하고, 인식된 타겟들과 연관된 AR을 디스플레이할 수 있다. 따라서, 사용자는 실세계 타겟을 선택하고, 선택된 타겟과 연관된 AR이 HMD(120)의 디스플레이(140) 상에 디스플레이될 수 있다. 일부 경우들에서, 광고는 인쇄된 페이지를 뛰어 넘거나, 제품 패키징은 소매점 선반들 상에서 실현될 수 있다. 부가적으로, 제품들 자체들은 명령들을 제공하기 위한 개선된 상호작용성을 제공할 수 있다.

[67] 따라서, AR은 인쇄 매체들 및 광고, 소비자 제품들 및 패키징, 및 교육 자료들의 가치를 개선할 수 있다. 블록(225)에서 선택된 타겟과 연관된 AR은 실세계 상호작용성을 가능하게 할 수 있다. 예를 들면, AR은 소매점 환경들에서 인쇄 광고, 제품들 및 패키징과 연관될 수 있다.

[68] 도 2에 예시된 특정 단계들이 HMD(120)와의 사용자 상호작용을 가능하게 하는 방법(200)의 예를 제공한다는 것이 인지되어야 한다. 대안적인 실시예들은 도시된 실시예들에 대한 변경들을 포함할 수 있다. 예를 들면, 대안적인 실시예들은 투명한 디스플레이 영역 내에 형상을 정의하는 것, ROI의 윤곽을 나타내는 형상을 디스플레이하는 것, 방법(200) 동안에 상이한 포인트들에서 AR(들)을 디스플레이하는 것을 포함할 수 있다. 또 다른 실시예들은 ROI를 정의하는 것을 교정하기 위한 동작들을 수행하는 것, 형상을 디스플레이하는 것 및 HMD(120)의 디스플레이 컴포넌트들을 통해 컴포넌트들을 추적하는 것을 포함할 수 있다. 또한, 특정 애플리케이션들에 따라 부가적인 특징들이 부가, 제거 또는 결합될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인지할 것이다.

[69] 사용자의 제스처에 기초한 ROI의 정의

[70] 도 3a 및 도 3b는 특정 AR 물체(320)를 선택하기 위해 HMD들과 상호작용하는 무터치 방법을 예시한다. 자연적인 인간 신체 제스처를 검출함으로써, HMD(120)는 안경을 통해 보여지는 이미지 또는 비디오를 캡처하도록 트리거링될 수 있다. 도 3a에 예시된 바와 같이, 손가락들 및 엄지들이 에지들인 직사각형이 형성되는 그러한 방식으로 손들이 배치된다. 이러한 직사각형 내부의 영역은 사용자(110)의 관심 영역(ROI)으로서 처리될 수 있다.

[71] 도 3a는, 블록(205)에서 이전에 설명된 바와 같이, 사용자의 제스처에 기초하여 ROI(305)를 정의하기 위한 방법을 예시한다. 예를 들면, 제스처는, 양 손들의 검지(350) 및 엄지(355) 손가락들을 직교 방향으로 지시하는 것을 수반할 수 있다.

[72] 도 3a에 예시된 바와 같이, 제스처는, 직사각형을 생성하기 위해 양 손들의 검지 및 엄지 손가락들을 직교 방향으로 지시하는 것을 포함할 수 있다. 일 경우에, 제스처는 C-형상을 형성하기 위해 엄지(355) 및 손가락들(360)을 사용하는 것을 포함할 수 있다. 다른 경우들에서, 제스처는 주먹, 펼쳐진 손, 손가락(들)을 사용한 포인팅, 손 회전, 웨이브, 하나 이상의 손가락들의 이동 및 이들의 임의의 조합을 포함할 수 있다.

[73] 도 3b는 특정 AR 물체(320)를 선택하기 위해 ROI(305)의 크기를 감소 또는 확대하기 위한 방법을 예시한다. 예를 들면, 제스처는 ROI의 크기를 감소시키기 위해 손들을 함께 안으로 들여오는(bring in) 것을 수반할 수 있다. 대안적으로, 제스처는 ROI의 크기를 확대하기 위해 손들을 외부로 이동시키는 것을 수반할 수 있다.

[74] 다른 실시예들에 따라, 일단 ROI가 정의되었다면, 사용자는 후속의 사용자 제스처를 사용하여 ROI 내부의 AR 물체들을 조작할 수 있다. 예를 들면, 제스처는 ROI를 재크기 설정하기 위해 사용자의 손들을 떨어져/더 가깝게 끌어당기는 것을 포함할 수 있다. 다른 경우들에서, 후속의 사용자 제스처는 사진을 찍기 위한 탭 제스처, 스크린에 걸쳐 AR 물체를 안내하기 위한 푸시 제스처, AR 물체를 이동시키기 위한 플릭 제스처, AR 물체를 회전시키기 위한 턴 제스처, 줌 동작들을 위한 그랩/풀 제스처, 미디어를 통한 스크롤링을 위한 스와이프 제스처 및 이들의 임의의 조합을 포함할 수 있다.

[75] HMD(120)는 사용자의 손(130)을 추적하여, 사용자(110)가 상호작용하고 ROI(305)를 정의하는 것을 가능하게 할 수 있다. 예를 들면, 사용자는, 가령, 직사각형을 형성하기 위해 사용자의 손(130)을 이동시키거나, 카메라 촬영 포즈에 관여하거나, 미리 결정된 이동을 수행하거나, 임계 시간의 양 동안에 손 형상을 엘리먼트의 근접도 내에서 유지함으로써 다양한 방식들로 제스처를 취할 수 있다.

[76] 카메라-촬영 포즈의 예는 사용자(110)가 자신의 손들을 사용하여 2 개의 C-형상을 생성하는 것이다. 그러나, 카메라-촬영 포즈의 경우에, 손들은 대각선이 아닌 수평으로만 떨어져 이동될 수 있고, 따라서 ROI의 재크기 설정은 더 큰 직사각형 영역, 즉, 단지 더 넓은 것으로만 재정의되지 않을 수 있다.

[77] 다른 실시예에서, ROI는, 카메라 뷰의 중심과 사용자의 손(130) 사이의 거리에 관련하여 ROI를 토대로 L-형상의 하나의 손에 기초할 수 있다. 이러한 예에서, HMD(120)에서 사용자의 시야 및 손에 의해 정의된 "L"의 코너가 있는 곳은 ROI를 정의하는데 사용될 수 있다. HMD(120)로부터의 피드백은, 디스플레이(140)의 중심을 마킹하는 작은 레드 도트(red dot) 및 ROI의 경계를 마킹하는 직사각형일 수 있다. ROI는 중심 시야에 대해 사용자의 손(130)에 따라 더 크거나 더 작게 될 수 있다.

[78] HMD(120)는, 제스처의 선택을 인식한 후에, 사용자에게 형상(315)을 HMD 상에서 디스플레이할 수 있다. 형상(315)(예를 들면, 직사각형 오버레이)은 ROI(305)의 윤곽을 나타낼 수 있다. 사용자는 손(들)을 안쪽으로 또는 밖으로 이동시킴으로써 ROI(305)를 실시간으로 조정할 수 있다. 원하는 기능에 따라, 단지 하나의 손이 사용되는 경우에, HMD(120) 상에 디스플레이되는 형상은 디스플레이 상의 도트(예를 들면, 디스플레이 중간의 도트)로 앵커링될 수 있어서, 이에 따라 사용자가, 형상의 경계의 윤곽을 나타내기 위해 양 손들을 사용할 필요 없이, 형상을 조정할 수 있다.

[79] 예를 들면, HMD(120)는, 손들의 형상에 의해 형성된 윤곽 또는 손가락 팁들을 추적함으로써 ROI(305)(예를 들면, 직사각형)를 식별한다. 일단 ROI(305)가 검출되면, HMD(120)는, 블록(210)에서 이전에 언급된 바와 같이, 사용자에게 HMD 안경 상의 형상(315)의 오버레이된 프로젝션으로서 디스플레이한다. 이어서, 사용자는, 도 3b에 도시된 바와 같이, 불개입 전에 손들을 이동시킴으로써, 블록(220)에서 이전에 언급된 바와 같이, ROI의 크기를 조정할 수 있다.

[80] 도 3b는 선택된 ROI가 실시간 사용자 입력에 기초하여 조정될 수 있는 방법을 예시한다. 예를 들면, ROI(305)는 초기에 도 3a에서 사용자에 의해 선택된다. 도 3b에서, AR 물체(320)는 손들을 함께 더 가깝게 또는 더 멀리 떨어져 이동시킴으로써 선택될 수 있다. 물체 인식 기술들을 사용하는 HMD는, 사용자의 손 이동에 기초하여 ROI(305)가 감소하는지 또는 확대되고 있다는 것을 결정할 수 있다.

[81] 다른 실시예에 따라, 시스템은 HMD 상의 카메라를 활성화하기 위해 손 제스처들 및/또는 음성 커맨드들을 사용할 수 있다. 일단 크기 감소된 ROI가 식별되면, 픽처 및/또는 비디오는 ROI(305) 내부의 이미지의 캡처일 수 있다. 대안적으로, 제스처 메커니즘 및 음성 커맨드는, 최종 미리 결정된 듀레이션(예를 들면, 30 초)으로부터 모든 프레임들을 저장하도록 HMD에 표시하기 위한 트리거로서 사용될 수 있다.

[82] 또한, 불개입 이벤트는, 손들이 타겟의 시야로부터 충분히 떨어져 있을 때 발생할 수 있다. 불개입 이벤트는 또한, 손가락들 및 엄지들이 함께 가깝게 되는 경우 또는 음성 구동 커맨드에 의해 발생할 수 있다. 불개입 이벤트는, ROI(305)의 검출 및 선택이 완료되었다고 HMD(120)에 시그널링할 수 있다. 따라서, 일 실시예에 따라, HMD(120)는 센서들 중 일부를 턴 오프하고, 저전력 모드로 들어갈 수 있다.

[83] 불개입 이벤트는, 손들이 충분히 가깝지 않을 때를 포함할 수 있다. HMD(120)는 손들 및 손들의 에지에 의해 연속해서 형성된 형상을 추적할 수 있고, 따라서, HMD(120)는 손들이 미리 결정된 거리만큼 떨어져 있을 때를 결정할 수 있다.

[84] 따라서, HMD(120)는, 손들이 임계치보다 더 많이 떨어져 이동되었는지를 결정할 수 있고, 불개입이 발생하였다고 가정될 수 있다. 예를 들면, 사용자는, 자신의 손들이 ROI에 가깝지 않도록 자신의 손을 떨어져 이동시킬 수 있다.

[85] 그러나, HMD(120)는, 사용자가 관심 영역을 더 크게 만들려고 할 때 또는 사용자가 손들이 떨어져 이동할 때 개입하지 않으려고 하는지를 구별할 수 있는 특징을 구현할 수 있다. 예를 들면, HMD(120)는 ROI에 대한 손들의 위치 및 손 이동의 속도에 기초하여 ROI의 재크기 설정 대 불개입 이벤트 사이를 구별할 수 있다.

[86] 대안적으로, 단지 하나의 손을 가깝게 하는 것은 불개입 이벤트일 수 있다. 예를 들면, HMD(120)가 손들의 윤곽들로부터 팔각형의 프레임을 검출할 수 없다고 HMD(120)가 결정하면, HMD(120)는 사용자가 개입하지 않았다고 가정할 수 있다.

[87] 복수의 AR 물체들의 디스플레이

[88] 도 4는 HMD(120)의 디스플레이(140)를 통한 사용자의 뷰의 예를 예시한다. 도 4에 예시된 바와 같이, ROI(305) 내부의 타겟들과 연관된 복수의 AR 물체들이 디스플레이(140) 상에 보여진다. 블록(215)에서 이전에 언급된 바와 같이, 사용자가 ROI(305)를 선택한 후에, HMD(120)는 ROI 내부의 타겟과 연관된 복수의 AR 물체들(예를 들면, POI들(point-of-interests))을 사용자게 디스플레이한다. 부가적으로, 초기에 ROI 내부의 타겟들은, 사용자가 사용자의 시야 또는 ROI(305)를 이동시킬 때, 추적될 수 있다.

[89] 일단 ROI(305)가 정의되면, HMD(120)는 연관된 AR 애플리케이션들을 갖는 타겟들을 사용자에게 디스플레이할 수 있다. 일단 HMD가 ROI(305)를 검출하고 및/또는 ROI의 윤곽을 나타내는 형상(315)을 사용자에게 디스플레이하면, HMD는 AR 애플리케이션들을 개시할 수 있다. HMD가 ROI(305)를 검출한 후에, HMD는 ROI(305) 내에서 연관된 AR 애플리케이션을 개시할 수 있다. 예를 들면, 도 4에서, 연관된 AR 애플리케이션들을 갖는 5 개의 물체들(예를 들면, POI)이 사용자에게 디스플레이된다. 이러한 예에서, 다음의 5 개의 물체들: 50 미터 떨어진 리타의 패션(405); 스타벅스(410); 헨리의 식당(415); 헨리의 식당(420); 및 영화관(425)이 ROI 내부에 있다. 일 실시예에 따라, 디스플레이(140)는 또한 물체들에 관한 다른 관련 정보(예를 들면, 리뷰들, 사용자로부터의 거리)를 보여줄 수 있다.

[90] 일부 경우들에서, 광고자들은 자신들의 프로젝트 배너들/로고/포장지들을 AR 타겟들로서 등록할 수 있다. 예를 들면, 퀄컴 뷰포리아를 사용하여, 타겟들은, AR을 사용하여 HMD 디스플레이(140) 상에 디스플레이될 수 있는 부가적인 정보를 가질 수 있다. 따라서, 사용자가 AR 타겟(320)을 선택하기 위해 ROI(305)를 감소시킬 때, 선택된 타겟과 연관된 AR 애니메이션은 추가의 정보를 제공할 수 있다.

[91] 도 5는 사용자에 의해 감소된 ROI(305)의 예를 예시하고, 이것은 디스플레이(140) 상에 더 적은 AR 타겟들 또는 POI들이 보여지게 한다. 블록(220)에서 설명된 바와 같이, 사용자는 손 제스처들을 사용하여(예를 들면, 손들을 더 가깝게 이동시킴으로써) ROI(305)의 크기를 감소시킬 수 있다. 크기 감소된 ROI를 사용하여, 도 5의 디스플레이(140)는 이제 ROI 내부에 세(3) 개의 POI들(스타벅스(505), 헨리의 식당(510), 헨리의 식당(515))만을 갖는다. ROI의 크기를 감소시킴으로써, ROI 내부의 타겟들의 수는 도 4에서 5 개의 POI들로부터 도 5에서 3 개의 POI들로 감소되었다. 다른 실시예에 따라, 사용자는, 단지 하나의 AR 타겟(320)이 ROI(305) 내부에 있도록 ROI의 크기를 추가로 감소시킬 수 있다.

[92] 일부 실시예들에 따라, 선택된 AR 타겟(320)은 자신과 연관된 다수의 증강들을 가질 수 있다. 이러한 시나리오 동안에, 사용자는, 선택된 AR 타겟(320)에 대한 특정 계층의 증강을 선택하기 위해, 도 6 및 도 7에 추가로 설명되는 바와 같이, VOI(volume-of-interest) 기술들을 사용할 수 있다.

[93] 선택된 타겟이 다수의 증강들을 가질 때 관심 볼륨의 사용

[94] 도 6은 타겟의 방향(예를 들면, z-축)을 따라 손 제스처들을 사용하여 VOI(volume-of-interest)를 정의하는 방법(600)의 실시예를 예시한 흐름도이다. 예를 들면, 사용자는 z-축을 따라 하나 이상의 손들을 스크롤링함으로써 동일한 타겟에 대한 상이한 증강들 또는 지오-로케이팅된 포인트들을 통해 브라우징할 수 있다. 도 2에 도시된 바와 같이, 사용자는 타겟을 선택하기 위해 ROI의 크기를 감소시켰다. 타겟을 선택한 후에, 일부 경우들에서, 선택된 타겟은 자신과 연관된 다수의 증강들을 가질 수 있다.

[95] 블록(605)에서, HMD는, 도 2에서 이전에 설명된 바와 같이, 사용자의 제스처에 기초하여 ROI를 이미 정의하였다. 실시간 사용자 피드백을 사용하여 ROI를 조작함으로써, 사용자는 블록(225)과 유사하게 특정 AR을 실시간으로 선택할 수 있다. 또한, 다수의 증강들이 정해진 AR 타겟과 연관되면, 사용자는 블록(610)에 설명된 방법을 사용하여 특정 계층을 지정할 수 있다.

[96] 블록(610)에서, 사용자는 선택된 타겟의 방향(예를 들면, z-축)으로 스크롤링함으로써 다수의 증강들을 통해 브라우징할 수 있다. 예를 들면, 사용자는, 도 7에 예시된 바와 같이, VOI를 사용하여 타겟의 방향으로 스크롤링하여 증강들을 브라우징함으로써 AR 타겟(320)에 대한 특정 계층의 증강을 선택할 수 있다.

[97] 블록(615)에서, 시스템은 사용자의 손 위치에 기초하여(예를 들면, 도 7에 예시된 바와 같이 z-축을 따라) 선택된 타겟과 연관된 상이한 증강들을 사용자에게 디스플레이한다.

[98] 도 7은 사용자의 손 위치에 기초한 상이한 증강의 실시간 상호작용 및 디스플레이를 예시한다. 예를 들면, 사용자는 도 2에 설명된 방법을 사용하여 영화 포스터를 선택할 수 있다. 일부 경우들에서, 선택된 영화 포스터와 연관된 다수의 증강들이 존재할 수 있다. 도 6에 설명된 방법을 사용하여, 사용자는 영화 포스터와 연관된 상이한 증강들을 통해 브라우징할 수 있다.

[99] 도 7의 상이한 위치들에 예시된 바와 같이, 사용자의 손 위치에 기초하여 상이한 증강들이 사용자에게 디스플레이될 수 있다. 예를 들면, 사용자의 손 위치가 (705)에 있을 때, HMD(120)의 디스플레이(140)는 영화의 제목 및 리뷰들을 보여준다. 사용자의 손 위치가 위치(705)에 대해 타겟(720)의 방향(예를 들면, z-축)으로 더 가깝게 이동할 때, 위치(710)가 발생할 수 있다. 이러한 예에서, 위치(710)에서, 영화의 트레일러를 플레이하기 위한 증강이 디스플레이(140) 상에 보여진다. 사용자의 손 위치가 타겟에 더 가깝게 이동할 때, 위치(715)에서, 영화의 상영 시간들 및 티켓들을 온라인으로 구매하기 위한 옵션이 디스플레이될 수 있다. 마지막으로, 이러한 예에서, 타겟(720)에 가장 가까운 위치에서, HMD(120)는 영화와 연관된 이미지들을 디스플레이할 수 있다.

[100] 도 6 및 도 7의 예에 의해 예시된 바와 같이, HMD(120)는 VOI를 정의하기 위해 손 위치들 및/또는 손 제스처들을 사용할 수 있다. VOI에 기초하여, HMD(120)는 선택된 타겟과 연관된 상이한 증강들을 디스플레이할 수 있다. 대안적으로, 일단 타겟이 선택되면, HMD(120)는, 도 8에 예시된 바와 같이, 사용자의 선호도들 또는 미리 결정된 제스처 인식 기능들에 기초하여 다른 모드들을 구현할 수 있다.

[101] 일단 타겟이 선택된 경우에, 다른 구현들의 예

[102] 도 8은 선택된 ROI에 기초하여 스마트 애플리케이션을 개시하는 방법(800)의 실시예를 예시한 흐름도이다. 스마트 애플리케이션의 일 예는 시각적 번역기를 포함할 수 있다. 예를 들면, ROI 내부에서 캡처된 이미지가 시각적 탐색 시스템 또는 OCR에 제공될 수 있다. 이러한 예에서, OCR은 이미지로부터 텍스트를 결정 및 인식하는데 사용될 수 있다. 인식된 문자들에 기초하여, 번역기는 자동적으로 번역할 수 있고, 결과들이 디스플레이(140) 상에 디스플레이될 수 있다.

[103] 이러한 실시예를 예시하기 위해, 블록(805)에서, 사용자는 번역을 위한 특정 타겟 또는 텍스트를 선택할 수 있다. 도 2에 설명된 방법과 마찬가지로, 사용자는 번역을 위한 텍스트를 선택하기 위해 ROI(305)의 윤곽을 나타내도록 손 제스처들을 사용할 수 있다.

[104] 블록(810)에서, 사용자는 ROI(305) 내의 특정 텍스트의 번역을 요청할 수 있다. 예를 들면, 사용자는 번역을 개시하기 위해 음성 커맨드들 또는 미리 결정된 손 제스처들을 사용할 수 있다. 대안적으로, HMD(120)는 자동적으로 외국 언어를 인식하고, 사용자로부터의 요청 없이 번역을 개시할 수 있다.

[105] 블록(815)에서, HMD(120)는 ROI(305) 내의 텍스트를 인식하기 위해 시각적 탐색 시스템 또는 OCR을 사용할 수 있다. 텍스트 인식을 위한 종래의 방법들이 HMD(120)에 의해 사용될 수 있다.

[106] 블록(820)에서, HMD(120)는 인식된 텍스트를 사용자에 의해 지정된 언어로 번역하고, 이것을 디스플레이(140) 상에 보여줄 수 있다. 예를 들면, 언어는 디폴트 언어이거나, 이전의 사용에 기초하여 미리 결정되거나, 또는 사용자에 의해 실시간으로 지정될 수 있다. 부가적으로, HMD(120)는 번역된 텍스트를 사용자(110)에게 소리내어 읽을 수 있다. 텍스트 번역을 위한 종래의 방법들이 HMD(120)에 의해 사용될 수 있다.

[107] 도 8은, 일단 타겟이 손 제스처들을 사용하여 선택되는 경우의 일 구현의 예를 예시한다. 대안적인 실시예들은 도시된 실시예들에 대한 변형들을 포함할 수 있다. 예를 들면, 대안적인 실시예들은 HMD가 외국 언어를 자동으로 인식하고 사용자로부터의 요청 없이 텍스트를 번역하는 것을 포함할 수 있다. 또한, 특정 애플리케이션들에 따라 부가적인 특징들이 부가, 제거 또는 결합될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[108] 다른 실시예에 따라, ROI는 비디오 공유를 위해 시야를 좁히기 위해 사용될 수 있다. HMD(120)는 협력 모드 동안에 공유된 뷰로서 ROI를 사용할 수 있다. 사용자가 자신의 시야의 일부를 공유하기를 원할 때, 사용자는 도 2에 설명된 방법을 사용하여 ROI(305)를 선택할 수 있다. 협력 모드 동안에, HMD(120)는 ROI(305)를 비디오 기반 통신을 위한 공유된 뷰로서 처리할 수 있어서, 자신의 시야 중 일부(예를 들면, 프리젠테이션, 문서)만이 원격 사용자들과 공유된다. 일 실시예에 따라, 일단 불개입 이벤트가 발생하면, 공유된 뷰는 완료될 수 있다. 대안적인 실시예들은 도시된 실시예들에 대한 변경들을 포함할 수 있다. 또한, 특정 애플리케이션들에 따라 부가적인 특징들이 부가, 제거 또는 결합될 수 있다.

[109] 도 9는 하나 이상의 실시예들이 구현될 수 있는 컴퓨팅 시스템의 예를 예시한다.

[110] 컴퓨터 시스템(900)은, 로컬 및/또는 네트워크 액세스가능한 저장부를 제한없이 포함할 수 있고 그리고/또는 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 랜덤 액세스 메모리("RAM")와 같은 고체-상태 저장 디바이스, 및/또는 프로그래밍가능, 플래시-업데이트가능 등이 가능할 수 있는 판독-전용 메모리("ROM")를 제한없이 포함할 수 있는 하나 이상의 비-일시적인 저장 디바이스들(925)을 더 포함(및/또는 그들과 통신)할 수 있다. 그러한 저장 디바이스들은, 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한없이 포함하는 임의의 적절한 데이터 저장부들을 구현하도록 구성될 수 있다. 예를 들면, 저장 디바이스들(925)은, 사용자가 최종 미리 결정된 듀레이션으로부터 모든 프레임들을 캡처하기를 원하는 경우에, HMD(120)의 카메라(150)로부터 캡처된 비디오를 버퍼링하는데 사용될 수 있다.

[111] 컴퓨터 시스템(900)은, 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스, 및/또는 (블루투스^TM 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등과 같은) 칩셋 등을 제한없이 포함할 수 있는 통신 서브시스템(930)을 또한 포함할 수 있다. 통신 서브시스템(930)은, 데이터가 네트워크, 다른 컴퓨터 시스템들, 및/또는 임의의 다른 전기 디바이스들/주변장치들과 교환되도록 허용하기 위한 하나 이상의 입력 및/또는 출력 통신 인터페이스들을 포함할 수 있다. 많은 실시예들에서, 컴퓨터 시스템(900)은 상술된 바와 같이, RAM 또는 ROM 디바이스를 포함할 수 있는 작업 메모리(935)를 더 포함할 것이다. 통신 서비시스템(930)은 HMD(120)를 사용자의 스마트폰에 링크하는데 사용될 수 있다.

[112] 컴퓨터 시스템(900)은, 본 명세서에 설명된 바와 같이, 운영 시스템(940), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고, 그리고/또는 다른 실시예들에 의해 제공된 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수 있는 하나 이상의 애플리케이션(들)(945)과 같은 다른 코드를 포함하는, 작업 메모리(935) 내에 현재 로케이팅되는 것으로 도시되는 소프트웨어 엘리먼트들을 또한 포함할 수 있다. 단지 예로서, 도 2에 관련하여 설명된 방법(200)과 같이, 앞서 논의된 방법(들)에 대해 설명된 하나 이상의 절차들 중 일부는 컴퓨터(및/또는 컴퓨터 내의 프로세싱 유닛)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고; 일 양상에서, 그 후, 그러한 코드 및/또는 명령들은, 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응하는데 사용될 수 있다.

[113] 이들 명령들 및/또는 코드의 세트는, 상술된 저장 디바이스(들)(925)와 같은 비-일시적인 컴퓨터-판독가능 저장 매체 상에 저장될 수 있다. 몇몇 경우들에서, 저장 매체는 컴퓨터 시스템(900)과 같은 컴퓨터 시스템 내에 포함될 수 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템(예를 들어, 광학 디스크와 같은 착탈형 매체)으로부터 분리될 수 있고, 그리고/또는 설치 패키지에 제공될 수 있어서, 저장 매체는, 명령들/코드가 저장된 범용 컴퓨터를 프로그래밍, 구성 및/또는 적응하는데 사용될 수 있다. 이들 명령들은, 컴퓨터 시스템(900)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고, 그리고/또는 소스 및/또는 설치가능한 코드의 형태를 취할 수 있으며, 그 후, 그 소스 및/또는 설치가능한 코드는 (예를 들어, 임의의 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등을 사용하여) 컴퓨터 시스템(900) 상에서의 컴필레이션 및/또는 설치 시에, 실행가능한 코드의 형태를 취한다.

[114] 실질적인 변화들이 특정한 요건들에 따라 행해질 수 있다는 것은 당업자들에게는 명백할 것이다. 예를 들어, 맞춤화된 하드웨어가 또한 사용될 수 있고, 그리고/또는 특정한 엘리먼트들이 하드웨어, (애플릿(applet)들 등과 같은 휴대용 소프트웨어를 포함하는) 소프트웨어, 또는 둘 모두로 구현될 수 있다. 추가적으로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 접속이 이용될 수 있다.

[115] 상술된 바와 같이, 일 양상에서, 몇몇 실시예들은, 본 발명의 다양한 실시예들에 따른 방법들을 수행하기 위해 (컴퓨터 시스템(900)과 같은) 컴퓨터 시스템을 이용할 수 있다. 실시예들의 세트에 따르면, 그러한 방법들의 절차들 중 몇몇 또는 전부는, 프로세서(910)가 작업 메모리(935)에 포함된 (운영 시스템(940) 및/또는 애플리케이션 프로그램(945)과 같은 다른 코드에 포함될 수 있는) 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여, 컴퓨터 시스템(900)에 의해 수행된다. 그러한 명령들은, 저장 디바이스(들)(925) 중 하나 이상과 같은 다른 컴퓨터-판독가능 매체로부터 작업 메모리(935)로 판독될 수 있다. 단지 예로서, 작업 메모리(935)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(910)로 하여금, 본 명세서에 설명된 방법들의 하나 이상의 절차들을 수행하게 할 수 있다. 부가적으로 또는 대안적으로, 본 명세서에 설명된 방법들 중 일부분들은 특수화된 하드웨어를 통해 실행될 수 있다. 단지 예로서, 도 2에 관련하여 설명된 방법(200)과 같이, 앞서 논의된 방법(들)에 관련하여 설명된 하나 이상의 절차들 중 일부는 HMD(120) 내의 프로세서(910)에 의해 구현될 수 있다. 대안적으로, HMD(120)는 통신 서브시스템(930)을 통해 스마트폰에 링크될 수 있고, 도 2의 방법은 스마트폰 내의 프로세서(910)에 의해 구현될 수 있다.

[116] 본 명세서에서 사용된 바와 같이, 용어들 "머신-판독가능 매체" 및 "컴퓨터-판독가능 매체"는, 머신으로 하여금 특정한 방식으로 동작하게 하는 데이터를 제공하는 것에 참가하는 임의의 매체를 지칭한다. 컴퓨터 시스템(900)을 사용하여 구현된 실시예에서, 다양한 컴퓨터-판독가능 매체들은, 실행을 위해 프로세서(들)(910)에 명령들/코드를 제공하는 것에 수반될 수 있고 그리고/또는 그러한 명령들/코드를 저장 및/또는 반송하는데 사용될 수 있다. 많은 구현들에서, 컴퓨터-판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는 비-휘발성 매체들 또는 휘발성 매체들의 형태를 취할 수 있다. 비-휘발성 매체들은, 예를 들어, 저장 디바이스(들)(925)와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은, 작업 메모리(935)와 같은 동적 메모리를 제한없이 포함한다.

[117] 일반적인 형태들의 물리적 및/또는 유형의 컴퓨터-판독가능 매체들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.

[118] 다양한 형태들의 컴퓨터-판독가능 매체들은, 실행을 위해 하나 이상의 명령들의 하나 이상의 시퀀스들을 프로세서(들)(910)에 반송하는 것에 수반될 수 있다. 단지 예로서, 명령들은 초기에, 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상에서 반송될 수 있다. 원격 컴퓨터는 컴퓨터 시스템(900)에 의해 수신되고 그리고/또는 실행되기 위해, 자신의 동적 메모리로 명령들을 로딩할 수 있고, 송신 매체를 통해 신호들로서 명령들을 전송할 수 있다.

[119] 통신 서브시스템(930)(및/또는 그의 컴포넌트들)은 일반적으로 신호들을 수신할 것이며, 그 후, 버스(905)는, 프로세서(들)(910)가 명령들을 리트리브 및 실행하는 작업 메모리(935)에 신호들(및/또는 신호들에 의해 반송된 데이터, 명령들 등)을 반송할 수 있다. 작업 메모리(935)에 의해 수신된 명령들은 선택적으로, 프로세서(들)(910)에 의해 실행되기 전에 또는 그 이후에 비-일시적인 저장 디바이스(925) 상에 저장될 수 있다.

[120] 앞서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 적절할 때 다양한 절차들 또는 컴포넌트들을 생략, 대체, 또는 부가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 그 설명된 것과는 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 부가, 생략, 및/또는 결합될 수 있다. 또한, 특정한 구성들에 대해 설명된 특성들은 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 결합될 수 있다. 또한, 기술이 진보하며, 따라서, 엘리먼트들의 대부분은 예들이고, 본 발명 또는 청구항들의 범위를 제한하지 않는다.

[121] 특정한 세부사항들이, (구현들을 포함하는) 예시적인 구성들의 완전한 이해를 제공하기 위해 설명부에서 제시되었다. 그러나, 구성들은 이들 특정한 세부사항들 없이 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은 구성들을 모호하게 하는 것을 회피하기 위해 불필요한 세부사항 없이 도시된다. 이러한 설명은 단지 예시적인 구성들을 제공할 뿐이며, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들의 이전 설명은, 설명된 기술들을 구현하는 것을 가능하게 하는 설명을 당업자들에게 제공할 것이다. 본 발명의 사상 또는 범위를 벗어나지 않으면서 다양한 변화들이 엘리먼트들의 기능 및 어레인지먼트에서 행해질 수 있다.

[122] 또한, 구성들은, 흐름도 또는 블록도로서 도시된 프로세스로서 설명될 수 있다. 각각이 순차적인 프로세스로서 동작들을 설명할 수 있지만, 대부분의 동작들은 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않는 부가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현되는 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은, 저장 매체와 같은 비-일시적인 컴퓨터-판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 태스크들을 수행할 수 있다.

[123] 수 개의 예시적인 구성들을 설명했지만, 다양한 변형들, 대안적인 구조들, 및 등가물들이 본 발명의 사상을 벗어나지 않으면서 사용될 수 있다. 예를 들어, 상기 엘리먼트들은 더 큰 시스템의 컴포넌트일 수 있으며, 여기서, 다른 규칙들은 본 발명의 애플리케이션에 우선할 수 있거나 그렇지 않으면 본 발명의 애플리케이션을 변경시킬 수 있다. 또한, 다수의 단계들은, 상기 엘리먼트들이 고려되기 전에, 그 동안, 또는 그 이후에 착수될 수 있다. 따라서, 청구항들의 범위는 상기 설명에 의해 제한되지 않는다.

Claims

디바이스 상에서 AR(Augmented Reality) 물체를 선택하기 위한 방법으로서,
상기 디바이스에 의해, 상기 디바이스의 사용자에 의해 수행되는 제 1 제스처(gesture)와 연관된 제 1 입력을 획득하는 단계;
상기 제 1 입력에 기초하여, 장면(scene)의 하나 이상의 이미지들 내에서 ROI(Region-of-Interest)를 정의하는 단계 ― 상기 ROI는 상기 장면 내의 물리적 물체를 포함하고, 상기 물리적 물체는 복수의 디스플레이 가능한 AR 물체들과 연관됨 ―;
상기 디바이스에 의해, 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들 중 제 1 AR 물체를 디스플레이하는 단계 ― 상기 제 1 AR 물체의 적어도 일부분은 상기 물리적 물체와 연관된 제 2 AR 물체의 적어도 일부분을 가림 ―;
상기 디바이스에 의해, 상기 디바이스의 사용자에 의해 수행되는 제 2 제스처와 연관된 제 2 입력을 획득하는 단계 ― 상기 제 2 제스처는 상기 ROI의 2차원 평면에 대한 3차원에서 상기 물리적 물체를 향하는 방향으로 수행됨 ―;
상기 제 2 입력에 기초하여 상기 디바이스에 의해, 상기 제 1 AR 물체의 적어도 일부분에 의해 가려지는 상기 제 2 AR 물체를 선택하는 단계 ― 상기 제 2 AR 물체는 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택됨 ―; 및
상기 디바이스에 의해, 상기 제 2 AR 물체를 디스플레이하는 단계를 포함하고,
디스플레이되는 AR 물체들의 수는 상기 ROI의 크기에 기초하여 변화되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 1 항에 있어서,
상기 제 2 AR 물체는, 상기 제 2 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 1 깊이에서 이루어질 때, 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 2 항에 있어서,
상기 디바이스에 의해, 상기 디바이스의 사용자에 의해 수행되는 제 3 제스처와 연관된 제 3 입력을 획득하는 단계 ― 상기 제 3 제스처는 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대한 3차원에서 수행됨 ―;
상기 제 3 입력에 기초하여 상기 디바이스에 의해, 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위한 제 3 AR 물체를 선택하는 단계 ― 상기 제 3 AR 물체는, 상기 제 3 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 2 깊이에서 이루어질 때, 선택되고, 상기 제 1 깊이는 상기 제 2 깊이와 상이함 ―; 및
상기 디바이스에 의해, 상기 제 3 AR 물체를 디스플레이하는 단계를 더 포함하는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 1 항에 있어서,
상기 제 2 제스처는 상기 3차원에서 상기 사용자의 적어도 하나의 손의 이동을 포함하는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 4 항에 있어서,
상기 사용자의 적어도 하나의 손은, 상기 제 2 제스처 동안 상기 디바이스의 카메라의 시야(field of view)에서 관찰되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 1 항에 있어서,
상기 제 1 AR 물체 및 상기 제 2 AR 물체는 동시에 상기 ROI에서 디스플레이되고, 상기 제 1 AR 물체의 위치는 상기 제 2 제스처의 깊이를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 6 항에 있어서,
상기 제 1 AR 물체의 위치는 상기 제 1 제스처와 상기 제 2 제스처 사이의 깊이 변화를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 1 항에 있어서,
상기 ROI를 정의하는 상기 제 1 제스처는 상기 사용자의 적어도 하나의 손에 의해 수행되는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
제 8 항에 있어서,
디스플레이를 위해 상기 제 2 AR 물체를 선택하기 위한 상기 제 2 제스처는 상기 3차원에서 상기 적어도 하나의 손을 이동하는 것을 포함하는,
디바이스 상에서 AR 물체를 선택하기 위한 방법.
AR(Augmented Reality) 물체를 선택하기 위한 장치로서,
메모리; 및
상기 메모리에 커플링된 프로세서를 포함하고,
상기 프로세서는,
사용자에 의해 수행되는 제 1 제스처와 연관된 제 1 입력을 획득하고;
상기 제 1 입력에 기초하여, 장면의 하나 이상의 이미지들 내에서 ROI(Region-of-Interest)를 정의하고 ― 상기 ROI는 상기 장면 내의 물리적 물체를 포함하고, 상기 물리적 물체는 복수의 디스플레이 가능한 AR 물체들과 연관됨 ―;
상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위한 제 1 AR 물체를 선택하고 ― 상기 제 1 AR 물체의 적어도 일부분은 상기 물리적 물체와 연관된 제 2 AR 물체의 적어도 일부분을 가림 ―;
사용자에 의해 수행되는 제 2 제스처와 연관된 제 2 입력을 획득하고 ― 상기 제 2 제스처는 상기 ROI의 2차원 평면에 대한 3차원에서 상기 물리적 물체를 향하는 방향으로 수행됨 ―; 그리고
상기 제 2 입력에 기초하여, 상기 제 1 AR 물체의 적어도 일부분에 의해 가려지는 상기 제 2 AR 물체를 선택하도록 ― 상기 제 2 AR 물체는 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택됨 ―
구성되고,
디스플레이되는 AR 물체들의 수는 상기 ROI의 크기에 기초하여 변화되는,
AR 물체를 선택하기 위한 장치.
제 10 항에 있어서,
상기 제 2 AR 물체는, 상기 제 2 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 1 깊이에서 이루어질 때, 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택되는,
AR 물체를 선택하기 위한 장치.
제 11 항에 있어서,
상기 프로세서는,
상기 사용자에 의해 수행되는 제 3 제스처와 연관된 제 3 입력을 획득하고 ― 상기 제 3 제스처는 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대한 3차원에서 수행됨 ―; 그리고
상기 제 3 입력에 기초하여, 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위한 제 3 AR 물체를 선택하도록 ― 상기 제 3 AR 물체는, 상기 제 3 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 2 깊이에서 이루어질 때, 선택되고, 상기 제 1 깊이는 상기 제 2 깊이와 상이함 ―
추가로 구성되는,
AR 물체를 선택하기 위한 장치.
제 10 항에 있어서,
상기 제 2 제스처는 상기 3차원에서 상기 사용자의 적어도 하나의 손의 이동을 포함하는,
AR 물체를 선택하기 위한 장치.
제 13 항에 있어서,
상기 사용자의 적어도 하나의 손은, 상기 제 2 제스처 동안 카메라의 시야에서 관찰되는,
AR 물체를 선택하기 위한 장치.
제 10 항에 있어서,
상기 제 1 AR 물체 및 상기 제 2 AR 물체는 동시에 상기 ROI에서 디스플레이되고, 상기 제 1 AR 물체의 위치는 상기 제 2 제스처의 깊이를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
AR 물체를 선택하기 위한 장치.
제 15 항에 있어서,
상기 제 1 AR 물체의 위치는 상기 제 1 제스처와 상기 제 2 제스처 사이의 깊이 변화를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
AR 물체를 선택하기 위한 장치.
제 10 항에 있어서,
상기 ROI를 정의하는 상기 제 1 제스처는 상기 사용자의 적어도 하나의 손에 의해 수행되는,
AR 물체를 선택하기 위한 장치.
제 17 항에 있어서,
디스플레이를 위해 상기 제 2 AR 물체를 선택하기 위한 상기 제 2 제스처는 상기 3차원에서 상기 적어도 하나의 손을 이동하는 것을 포함하는,
AR 물체를 선택하기 위한 장치.
제 11 항에 있어서,
상기 장치는 모바일 디바이스를 포함하는,
AR 물체를 선택하기 위한 장치.
제 11 항에 있어서,
상기 제 1 AR 물체 및 상기 제 2 AR 물체를 디스플레이하도록 구성된 디스플레이를 더 포함하는,
AR 물체를 선택하기 위한 장치.
제 11 항에 있어서,
상기 장면의 하나 이상의 이미지들을 캡처하기 위한 카메라를 더 포함하는,
AR 물체를 선택하기 위한 장치.
명령들을 저장하는 비-일시적 컴퓨터-판독 가능 저장 매체로서,
상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
사용자에 의해 수행되는 제 1 제스처와 연관된 제 1 입력을 획득하게 하고;
상기 제 1 입력에 기초하여, 장면의 하나 이상의 이미지들 내에서 ROI(Region-of-Interest)를 정의하게 하고 ― 상기 ROI는 상기 장면 내의 물리적 물체를 포함하고, 상기 물리적 물체는 복수의 디스플레이 가능한 AR 물체들과 연관됨 ―;
상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위한 제 1 AR 물체를 선택하게 하고 ― 상기 제 1 AR 물체의 적어도 일부분은 상기 물리적 물체와 연관된 제 2 AR 물체의 적어도 일부분을 가림 ―;
상기 사용자에 의해 수행되는 제 2 제스처와 연관된 제 2 입력을 획득하게 하고 ― 상기 제 2 제스처는 상기 ROI의 2차원 평면에 대한 3차원에서 상기 물리적 물체를 향하는 방향으로 수행됨 ―; 그리고
상기 제 2 입력에 기초하여, 상기 제 1 AR 물체의 적어도 일부분에 의해 가려지는 상기 제 2 AR 물체를 선택하게 하고 ― 상기 제 2 AR 물체는 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택됨 ―,
디스플레이되는 AR 물체들의 수는 상기 ROI의 크기에 기초하여 변화되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 22 항에 있어서,
상기 제 2 AR 물체는, 상기 제 2 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 1 깊이에서 이루어질 때, 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위해 선택되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 23 항에 있어서,
상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
상기 사용자에 의해 수행되는 제 3 제스처와 연관된 제 3 입력을 획득하게 하고 ― 상기 제 3 제스처는 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대한 3차원에서 수행됨 ―; 그리고
상기 제 3 입력에 기초하여, 상기 물리적 물체와 연관된 상기 복수의 디스플레이 가능한 AR 물체들로부터 디스플레이를 위한 제 3 AR 물체를 선택하게 하는 ― 상기 제 3 AR 물체는, 상기 제 3 제스처가 상기 물리적 물체를 향하는 방향으로 상기 2차원 평면에 대하여 제 2 깊이에서 이루어질 때, 선택되고, 상기 제 1 깊이는 상기 제 2 깊이와 상이함 ―
명령들을 더 포함하는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 22 항에 있어서,
상기 제 2 제스처는 상기 3차원에서 상기 사용자의 적어도 하나의 손의 이동을 포함하는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 25 항에 있어서,
상기 사용자의 적어도 하나의 손은, 상기 제 2 제스처 동안 카메라의 시야에서 관찰되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 22 항에 있어서,
상기 제 1 AR 물체 및 상기 제 2 AR 물체는 동시에 상기 ROI에서 디스플레이되고, 상기 제 1 AR 물체의 위치는 상기 제 2 제스처의 깊이를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 27 항에 있어서,
상기 제 1 AR 물체의 위치는 상기 제 1 제스처와 상기 제 2 제스처 사이의 깊이 변화를 기초로 상기 제 2 AR 물체의 위치에 관련하여 디스플레이되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 22 항에 있어서,
상기 ROI를 정의하는 상기 제 1 제스처는 상기 사용자의 적어도 하나의 손에 의해 수행되는,
비-일시적 컴퓨터-판독 가능 저장 매체.
제 29 항에 있어서,
디스플레이를 위해 상기 제 2 AR 물체를 선택하기 위한 상기 제 2 제스처는 상기 3차원에서 상기 적어도 하나의 손을 이동하는 것을 포함하는,
비-일시적 컴퓨터-판독 가능 저장 매체.
삭제
삭제