KR20240042166A

KR20240042166A - 제어 시스템 및 렌더링 파이프라인

Info

Publication number: KR20240042166A
Application number: KR1020247009079A
Authority: KR
Inventors: 아론 매튜 이쉬; 앤드류 존 그로스; 베이커 응안; 에드워드 치아 닝 탕; 조셉 로저 바텔; 3세 워렌 코넬리우스 웰치
Original assignee: 아브간트 코포레이션
Priority date: 2019-01-07
Filing date: 2020-01-06
Publication date: 2024-04-01
Also published as: JP2022516270A; EP3884338A4; EP3884338A1; KR20210111795A; US11126261B2; WO2020146288A1; CA3125739A1; JP7460637B2; US20200218346A1; US20220075448A1; US11650663B2; CN113412442A

Abstract

필드 디스플레이에 대한 필드 텍스처 및 조향 가능 중심와 디스플레이에 대한 중심와 텍스처를 렌더링하기 위한 렌더링 엔진, 및 필드 텍스처로부터 필드 디스플레이에 대한 프레임을 생성하기 위한 필드 컴포지터 및 중심와 텍스처로부터 중심와 디스플레이에 대한 프레임을 생성하기 위한 중심와 컴포지터를 포함하는 컴포지터를 포함하는 시스템. 시스템은, 필드 디스플레이 및 중심와 디스플레이에서 데이터 중 하나 이상을 포함하는 제시되는 것을 시퀀스화하고 선택하도록 설계되는 합성 매니저를 더 포함한다.

Description

제어 시스템 및 렌더링 파이프라인{CONTROL SYSTEM AND RENDERING PIPELINE}

본 발명은 디스플레이에 관한 것으로, 특히, 조향 가능(steerable) 디스플레이에 관한 것이다.

근안 디스플레이(near-eye display)는, 큰 시야(field of view: FOV)에 걸쳐 고해상도에서 이미지를 디스플레이하는 경쟁 요건을 갖는다. 가상 및 증강 현실의 많은 애플리케이션에서, 시야는 90도보다 더 커야 하며, 이상적으로 쌍안 시야(binocular field of view)는 180도 이상으로 연장될 것이다. 동시에, 디스플레이의 해상도는, 가상 이미지에서 픽셀화가 거의 또는 전혀 인식되지 않도록 인간 시각 시스템의 해상도와 매치해야 한다. 단일의 시스템에서 이들 두 요건을 결합하는 것은 다수의 도전 과제를 제시한다.

추가적으로, 전체 시야에 걸쳐 충분히 높은 해상도를 가지고 넓은 FOV 이미지를 사용자에게 투영할 수 있는 광학 시스템은 타이밍 문제에 기인하여 설계하기가 또한 어렵다.

본 발명은, 같은 참조 번호가 유사한 엘리먼트를 나타내는 첨부하는 도면의 도면에서 제한이 아닌 예로서 예시되며, 첨부하는 도면에서:
도 1은 렌더링 엔진이 구현될 수도 있는 시스템의 일 실시형태에 대한 개요 이미지이다.
도 2는 렌더링 엔진의 일 실시형태의 블록도이다.
도 3은 렌더링 엔진 및 컴포지터 시스템(compositor system)의 일 실시형태의 블록도이다.
도 4a는 렌더링 엔진 및 컴포지터 시스템의 일 실시형태의 플로우차트이다.
도 4b는 중심와 매니저(foveal manager)의 일 실시형태의 로직 다이어그램이다.
도 5A 및 도 5B는 시스템에서의 눈 추적(eye tracking) 및 미러 제어의 일 실시형태의 플로우차트이다.
도 6은 타이밍 아키텍처의 실시형태를 나타내는 타이밍도이다.
도 7은 동기 시스템에 대한 타이밍도의 일 실시형태를 도시한다.
도 8은 렌더링 엔진과 함께 사용될 수도 있는 컴퓨터 시스템의 블록도이다.

본 출원은 중심와가 있는 디스플레이(foveated display)를 포함하는 시스템에 대한 제어 시스템 및 렌더링 파이프라인을 개시한다. 중심와 디스플레이(foveal display)는, 일 실시형태에서, 사용자의 망막 중심와와 매치하도록 일반적으로 위치 결정되는 더 작고, 더 높은 해상도 이미지를 디스플레이하도록 위치 결정될 수도 있는 조향 가능 디스플레이이다. 인간의 눈은 중심와에서 훨씬 더 높은 해상도를 인식하고, 해상도를 인식하는 능력은 그 영역에서 멀어지면 급속하게 떨어진다. 따라서, 더 낮은 해상도 디스플레이가 시야의 나머지를 커버하면서, 더 작은 FOV(시야) 고해상도 디스플레이를 중심와 영역으로 겨냥하는 것은, 전체 FOV에 걸쳐 고해상도 디스플레이의 인식을 제공한다. 본 출원에서 용어 "중심와가 있는 디스플레이" 또는 "중심와 디스플레이"가 사용되고, 일 실시형태에서, 디스플레이가 사용자의 중심와 영역을 겨냥하지만, 다른 실시형태에서, 개시되는 조향 가능 디스플레이는 사용자의 시야 내의 그 밖의 곳에 위치 결정될 수도 있다.

일 실시형태에서, 중심와 디스플레이는, 더 넓은 시야에 걸쳐 더 낮은 해상도 디스플레이를 제공하는 필드 디스플레이(field display)와 짝을 이룬다. 일 실시형태에서, 중심와 디스플레이의 디스플레이 영역(포지션 및 사이즈)에 대응하는 영역은 필드 디스플레이에서 절단되고, 중심와 디스플레이와 필드 디스플레이 사이의 가장자리는 블렌딩된다(blended).

그러한 중심와가 있는 이미지(foveated image)를 구현하는 일 실시형태는 2019년 12월 24일에 발행된 미국 특허 번호 제10,514,546호에 설명되는데, 이 특허 문헌은 참조에 의해 본원에 통합된다.

그러한 디스플레이를 가능하게 하기 위해, 시스템은 필드 디스플레이에 의해 디스플레이되는 이미지를, 포지션뿐만 아니라 밝기 및 톤에서, 조향 가능 디스플레이에 의해 디스플레이되는 이미지와 매치시켜야만 한다. 사용자에 의해 인식되는 미스매치가 있는 경우, 그것은 흐릿함(blurriness), 깜박임(flashing), 또는 사용자 경험을 감소시키는 다른 광학적 아티팩트(artifact)로서 인식될 수 있다. 일 실시형태에서, 본 제어 시스템 및 렌더링 파이프라인은 그러한 동기화된 표현(synchronized presentation)의 생성을 가능하게 한다. 일 실시형태에서, 필드 디스플레이 및 중심와 디스플레이의 렌더링은 비동기식일 수도 있다. 일 실시형태에서, 그들은 상이한 프레임 레이트를 가질 수도 있다. 그러나, 엘리먼트의 타이밍은 사용자가 표현을 매끄럽게(seamlessly) 인식하도록 하는 그러한 것이다. 이러한 맥락에서, 용어 "표현(presentation)"은, 필드 디스플레이 및 중심와 디스플레이들의 조합을 통해 디스플레이될 수도 있는, 사용자에게 디스플레이되는 시각적 이미지, 또는 일련의 이미지에 대한 뷰어의 인식을 나타낸다.

렌더링, 데이터 레이트, 및 패널 요건을 동시에 감소시키면서 넓은 시야에 걸쳐 고해상도 이미지를 사용자에게 제공할 수 있는 시스템 아키텍처는 증강 및 가상 현실 시스템에 대한 새로운 애플리케이션을 가능하게 할 것이다.

본 발명의 실시형태의 다음의 상세한 설명은, 본 발명을 실시하는 특정한 실시형태를 예시로서 도시하는, 유사한 참조 부호가 유사한 엘리먼트를 나타내는 첨부의 도면을 참조한다. 이들 실시형태의 설명은 기술 분야에서 숙련된 자가 본 발명을 실시하는 것을 가능하게 하기에 충분히 상세하다. 기술 분야에서 숙련된 자는, 다른 실시형태가 활용될 수도 있다는 것, 및 본 발명의 범위를 벗어나지 않으면서 논리적, 기계적, 전기적, 기능적 및 다른 변경이 이루어질 수도 있다는 것을 이해한다. 따라서, 다음의 상세한 설명은 제한적인 의미로 간주되어서는 안 되며, 본 발명의 범위는 첨부된 청구범위에 의해서만 정의된다.

도 1은 필드 디스플레이 및 중심와 디스플레이를 포함하는 하이브리드 디스플레이의 배열을 예시한다. 일 실시형태에서, 필드 디스플레이(110, 115)는 우안(115) 및 좌안(110)에 대한 별개의 필드 디스플레이일 수도 있다. 다른 실시형태에서, 필드 디스플레이(110, 115)는 양쪽 눈에 걸친 단일의 디스플레이일 수도 있다.

필드 디스플레이(110, 115)는 컷아웃(130, 135)을 가지며, 중심와 디스플레이(120, 125)가 컷아웃 안으로 삽입된다. 중심와 디스플레이(120, 125)는, 일 실시형태에서, 조향 가능하고 사용자의 시선(gaze)에 기초하여 위치 결정된다. 일 실시형태에서, 중심와 디스플레이(120, 125)는 조향 가능하며 그것의 포지션은 장면 콘텐츠, 환경 엘리먼트, 이벤트, 및/또는 다른 요인에 기초한다.

필드 디스플레이(110, 115)와 중심와 디스플레이(120, 125) 사이에서는 블렌딩(140, 145)이 존재한다. 블렌딩(140, 145)은 필드 디스플레이(110, 115)와 중심와 디스플레이(120, 125) 사이의 전이(transition)가 매끄럽고 조화되는 것을 보장한다. 일 실시형태에서, 블렌딩은 알파 마스크 기반의 블렌딩(alpha mask-based blending), 디더링(dithering), 시간적 다중 샘플 안티 앨리어싱(anti-aliasing), 공간적 안티 앨리어싱, 블러링(blurring)뿐만 아니라, 밝기, 컬러 등에서의 조정을 포함할 수도 있다.

일 실시형태에서, 블렌딩 영역(140, 145)은 사이즈 및/또는 형상에서 동적이다. 일 실시형태에서, 중심와 영역(120, 125)의 사이즈 및/또는 형상은 조정 가능할 수도 있다. 일 실시형태에서, 중심와 영역(120, 125)의 사이즈 및/또는 형상은, 장면 콘텐츠, 사용자 거동, 시스템의 광기계적(optomechanical) 특성, 시야 범위에 걸친 눈 추적 성능 등을 포함하는 다양한 요인에 기인하여 변경될 수도 있다.

도 2는 예시적인 광학 시스템(210, 280) 및 관련된 프로세싱 시스템(240)의 일 실시형태를 예시한다. 일 실시형태에서, 프로세싱 시스템은 프로세서를 포함하는 컴퓨터 시스템에서 구현될 수도 있다. 일 실시형태에서, 프로세싱 시스템(240)은 디스플레이 시스템의 일부일 수도 있다. 다른 실시형태에서, 프로세싱 시스템(240)은, 광학 시스템에 대해 로컬일 수도 있는 또는 원격일 수도 있는 별개의 시스템일 수도 있다.

일 실시형태에서, 디스플레이(210, 280)는 헤드 마운트형 디스플레이와 같은 웨어러블 디바이스에서 구현될 수도 있다.

조향 가능 디스플레이 이미지는 우안 조향 가능 디스플레이(220) 및 좌안 조향 가능 디스플레이(230)를 통해 사용자의 눈에 제시된다. 일 실시형태에서, 조향 가능 디스플레이(220, 230)는 조향 가능 디스플레이 이미지를 주로 사용자의 눈의 시야의 중심을 향해 지향시킨다. 다른 실시형태에서, 조향 가능 디스플레이는, 중심와 이미지를 사용자 눈의 시야의 중심 이외의 포지션에 배치할 수도 있다. 일 실시형태에서, 포지션은 사용자의 머리 포지션과 관련하여 고정될 수도 있거나, 하나 이상의 환경 엘리먼트와 관련하여 고정될 수도 있거나, 시선과 관련하여 고정될 수도 있거나, 등등일 수도 있다. 일 실시형태에서, 중심와 이미지 포지션은 장면 콘텐츠, 환경 엘리먼트, 이벤트, 및/또는 다른 요인에 기초할 수도 있다. 일 실시형태에서, 이미지는, 하기에 설명될 바와 같이, 상이한 위치로 지향될 수도 있다. 조향 가능 디스플레이 이미지는 일 실시형태에서 제한된 시야를 갖는 고해상도 이미지이다.

일 실시형태에서, 조향 가능 디스플레이 이미지는 가변 해상도 이미지이다. 일 실시형태에서, 가변 해상도는 디스플레이의 중앙에서 가장 높다. 일 실시형태에서, 해상도에서의 변화는 사용자의 눈에 의해 인식되는 최대 해상도에서의 변화에 대응하는데, 사용자의 눈에 의해 인식되는 최대 해상도는 중심와의 중심으로부터 더 멀리 이동됨에 따라 떨어진다. 일 실시형태에서, 가변 해상도 이미지는, 중심에서 제1 최고 해상도 구역을, 그리고 중심으로부터 더 멀리에서 하나 이상의 더 낮은 해상도 구역을 갖는 별개의 해상도 구역을 갖는다. 일 실시형태에서, 더 낮은 해상도 구역은 가장 높은 해상도 구역에 대해 동심이다.

일 실시형태에서, 조향 가능 디스플레이는 다초점 디스플레이(multifocal display)일 수도 있다. 다초점 디스플레이에서, 일 실시형태에서, 상이한 초점 거리에 있는 이미지의 시퀀스는 사용자가 단일의 다초점 이미지를 인식하도록 충분히 빠르게 디스플레이된다. 다른 실시형태에서, 다초점 디스플레이에서, 이미지는 다수의 초점 거리에서 동시에 투영된다. 어느 경우에서든, 다수의 초점 거리를 갖는 이미지는 사용자에 의해 단일의 다초점 이미지로서 인식된다.

일 실시형태에서, 우안 디스플레이(220)에 대해 하기에서 설명되는 엘리먼트는 좌안 디스플레이(230)에 대해 복제된다. 우안에 대한 이미지는 제1 디스플레이 엘리먼트(222)를 사용하여 생성된다. 일 실시형태에서, 디스플레이 엘리먼트는 디지털 마이크로미러 디바이스(digital micromirror device: DMD)이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 스캐닝 마이크로미러 디바이스이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 스캐닝 파이버 디바이스(scanning fiber device)이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 유기 발광 다이오드(organic light-emitting diode: OLED)이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 액정 온 실리콘(liquid crystal on silicon: LCOS) 패널이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 액정 디스플레이(liquid crystal display: LCD) 패널이다. 일 실시형태에서, 디스플레이 엘리먼트(222)는 마이크로 발광 다이오드(micro light emitting diode: μLED) 패널이다. 일 실시형태에서, 디스플레이 엘리먼트는 스캔식 레이저 시스템(scanned laser system)이다. 현재 사용되는 또는 미래에 개발되는 다른 타입의 디스플레이 엘리먼트가 현재 시스템과 함께 사용될 수도 있다. 일 실시형태에서, 좌안 디스플레이(230)는 우안 디스플레이와 매칭된다.

일 실시형태에서, 디스플레이 엘리먼트(222)는, 그러한 엘리먼트의 조합, 또는 사용자에게 디스플레이하기 위한 고해상도 이미지를 생성하기 위해 사용될 수 있는 대안적인 엘리먼트를 포함할 수도 있다. 하기의 도 3은 디스플레이 엘리먼트의 몇몇 실시형태를 더 자세하게 논의한다.

일 실시형태에서, 제1 디스플레이 엘리먼트(222)는 안경 또는 고글과 같은 근안 디바이스에서 위치된다. 일 실시형태에서, 다초점 조향 가능 디스플레이(210)의 경우, 디스플레이(220)는, 이미지가 디스플레이되는 동안 다초점 디스플레이에서 이미지의 하나 이상의 부분에 대한 초점 거리를 조정하는 초점 조정기(223)를 또한 포함할 수도 있다. 이 조정은 일시적일 수도 있거나, 또는 포지션 기반일 수도 있다. 일 실시형태에서, 미국 특허 제10,187,634호에서 설명되는 OPLE 시스템은 조정 가능한 다초점 디스플레이에 대한 초점 조정기(223)를 구현하기 위해 사용될 수도 있다.

일 실시형태에서, 조향 가능 디스플레이에 대한 초점 및 시야는 중간 광학 엘리먼트(224)를 사용하여 설정된다. 중간 광학 엘리먼트(224)는 렌즈, 미러, 홀로그래픽 광학 엘리먼트(holographic optical element), 및 회절 광학 엘리먼트(diffractive optical element: DOE)를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다.

일 실시형태에서, 시야는 사이즈 및/또는 형상에서 조정 가능할 수도 있다. 일 실시형태에서, 중심와 영역의 사이즈 및/또는 형상은 조정 가능할 수도 있다. 일 실시형태에서, 중심와 영역의 사이즈 및/또는 형상은, 장면 콘텐츠, 사용자 거동, 시스템의 광기계적 특성, 시야 범위에 걸친 눈 추적 성능 등을 포함하는 다양한 요인에 기인하여 변경될 수도 있다.

일 실시형태에서, 단일의 초점 디스플레이의 경우, 디스플레이(220)에 의해 디스플레이되는 가상 이미지의 초점은 무한대로 설정된다. 다른 실시형태에서, 가상 이미지의 초점은 무한대보다 더 가깝게 설정된다. 일 실시형태에서, 가상 이미지의 초점은 변경될 수 있다. 일 실시형태에서, 상기에서 논의되는 바와 같이, 가상 이미지는 다초점이고 동시에 인식되는 두 개 이상의 초점 거리를 갖는다.

일 실시형태에서, 조향 가능 디스플레이 이미지는 주로 사용자의 눈의 시야의 중심을 향해 지향된다. 상기에서 논의되는 바와 같이, 시스템은 대안적으로 상이한 포지션으로 겨냥될 수도 있다. 조향 가능 디스플레이 이미지의 위치 결정(positioning)은, 하기에서 논의될 바와 같이, 눈 추적 데이터, 장면 콘텐츠, 환경 엘리먼트, 이벤트 등에 기초할 수도 있다.

일 실시형태에서, 조향 가능 디스플레이 이미지의 시야(FOV)는 1도보다 더 크다. 일 실시형태에서, 조향 가능 디스플레이 이미지의 FOV는 1도와 20도 사이에 있다. 일 실시형태에서, 움직임의 범위는 +/-20도이고, 시야는 20도이며, 이것은 60도의 총 디스플레이 범위로 이어진다.

일 실시형태에서, 눈 추적에서의 부정확성을 해결하기 위해, 사용자가 블렌딩을 인식할 수 없도록 중심와 디스플레이를 필드 디스플레이와 블렌딩하는 데 필요한 영역을 제공하기 위해, 및/또는 다양한 타입의 눈 움직임에 대해 조향 가능 디스플레이를 위치 재결정하는(reposition) 데 걸리는 시간을 고려하기 위해, 조향 가능 디스플레이에 대해 생성되는 이미지 데이터는 이미지의 디스플레이된 사이즈보다 더 클 수도 있다. 일 실시형태에서, 조향 가능 디스플레이의 시야의 사이즈는 5도보다 더 크다. 일 실시형태에서의 시스템은, 디스플레이 시스템에서의 레이턴시 및 프레임 업데이트 사이에 발생할 수도 있는 사용자 시선 포지션에 대한 변화, 및 눈 추적 시스템에서의 레이턴시 및 눈 추적기(eye tracker)로부터의 업데이트된 보고서 사이에서 사용자의 시선 벡터가 변할 수 있는 양을 고려하도록 설계된다. 이들 양태를 가능하게 하는 타이밍은 하기에서 더욱 상세하게 논의될 것이다.

일 실시형태에서, 시스템은, 20-220도 사이의 시야를 갖는 필드 디스플레이 이미지를 디스플레이하기 위한 필드 디스플레이(280), 또는 각각의 눈에 대해 하나씩의 필드 디스플레이의 쌍을 더 포함한다. 일 실시형태에서, 필드 디스플레이는 더 낮은 해상도 디스플레이이다. 일 실시형태에서, 더 낮은 해상도 디스플레이는 더 낮은 픽셀 밀도, 예를 들면, 더 적은 뷰잉 각도당 픽셀(pixels per viewing degree: PPD)을 갖는 디스플레이를 지칭한다. 이 맥락에서, 용어 PPD는 디스플레이에서의 각도당 평균 픽셀을 가리킨다. 몇몇 실시형태에서, 조향 가능 디스플레이는 각도당 가변 개수의 픽셀을 가질 수도 있다. 이 실시형태에서, 조향 가능 디스플레이의 외부에서의 조향 가능 디스플레이의 PPD는, 필드 디스플레이의 PPD보다 더 낮을 수도 있다. 그러나, 일 실시형태에서 디스플레이에서의 각도당 평균 픽셀은 필드 디스플레이 보다 조향 가능 디스플레이에 대해서 더 높다. 필드 디스플레이가 더 크기 때문에, 몇몇 실시형태에서, 픽셀의 총 개수는 조향 가능 디스플레이 보다 필드 디스플레이에서 더 클 수도 있다.

일 실시형태에서, 필드 디스플레이는 조향 가능 디스플레이 보다 더 낮은 해상도가 아닐 수도 있다. 일 실시형태에서, 조향 가능 디스플레이와 필드 디스플레이 사이의 차이는, 더 낮은 해상도에 더하여 또는 그 대신, 다음의 것 중 하나 이상을 포함할 수도 있다: 조향 가능 디스플레이와 비교하여, 더 낮은 컬러 깊이, 감소된 색역(color gamut), 더 낮은 컬러 해상도, 감소된 콘트라스트, 부족한 다초점 양태, 상이한 선명도, 또는 필드 디스플레이 상에서 이미지의 인식된 품질을 감소시키는 임의의 다른 디스플레이 양태. 용어 "더 낮은 등급(lower grade)"은, 조향 가능 디스플레이와 필드 디스플레이 사이의 차이를 가리키기 위해 사용되는데, 여기서 필드 디스플레이에 의해 투영되는 이미지의 인식된 품질은, 조향 가능 디스플레이에 의해 투영되는 이미지의 인식된 품질보다 더 낮다.

일 실시형태에서, 조향 가능 디스플레이 이미지는 하나 이상의 위치 결정 엘리먼트(226)의 세트를 사용하여 위치 결정된다. 일 실시형태에서, 위치 결정 엘리먼트(226)는 조향 가능 미러를 포함한다. 일 실시형태에서, 위치 결정 엘리먼트(226)는 곡면 미러, 프레넬 반사기, 회절 엘리먼트 중 하나 이상을 포함할 수도 있다. 일 실시형태에서, 회절 엘리먼트는 표면 요철 격자(surface relief grating)이다. 일 실시형태에서, 회절 엘리먼트는 볼륨 홀로그램(volume hologram)이다.

투영 어셈블리(227)는 우안 디스플레이(220)로부터 이미지를 투영한다.

일 실시형태에서, 디스플레이(220)는 이미지를 사용자의 눈에 투영하기 위해 결합기(combiner: 228)를 또한 포함한다. 일 실시형태에서, 결합기(228)는 도파관(waveguide)을 포함한다. 일 실시형태에서, 도파관은 다층 도파관이다. 결합기(228)는 조향 가능 디스플레이가 사용자의 눈에 도달하는 것을 가능하게 하는 다른 엘리먼트를 포함할 수도 있다. 일 실시형태에서, 결합기(228)는, 완전히 또는 부분적으로 투명한 광학 시스템을 사용하여 하이브리드 이미지를 사용자에게 제시하기 위해 투영 어셈블리(227)로부터의 조향 가능 이미지 및 필드 디스플레이 이미지(285)를 결합한다. 일 실시형태에서, 결합기(228)는 도파관을 포함하는 부분적으로 투명한 시스템이다. 일 실시형태에서, 이 부분적으로 투명한 시스템은, 편평할 수도 있는 또는 굴절력(optical power)을 가질 수도 있는 부분 미러를 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 회절 광학 엘리먼트를 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 홀로그래픽 광학 엘리먼트를 포함한다. 일 실시형태에서, 이 이미지는 직시 광학 시스템(direct view optical system)을 통해 사용자에게 제시된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 광을 반사시키기 위한 또는 산란시키기 위한 개재물(inclusion)을 포함한다.

엘리먼트의 유사한 세트가 좌안 조향 가능 디스플레이(230)에 대해 존재한다. 일 실시형태에서, 우안 조향 디스플레이(220) 및 좌안 조향 디스플레이(230)는 매칭된다. 다른 실시형태에서, 그들은 상이한 엘리먼트를 포함할 수도 있다. 일 실시형태에서, 그들은 사용자의 눈에 대해 조정될 수도 있고, 그 결과, 그들은 지각적으로 매칭된다; 즉, 사용자는 그들을 매칭된 것으로서 인식한다. 일 실시형태에서, 우측 및 좌측 디스플레이(220, 230)는, 종래에 공지되어 있는 바와 같이, 이미지에서 깊이의 착시를 생성하는 또는 향상시키는 입체시를 생성한다.

일 실시형태에서, 눈 추적기(242)는 사용자의 시선 벡터, 예를 들면, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적기는 카메라 기반의 눈 추적 시스템(242)이다. 일 실시형태에서, 카메라 기반의 눈 추적 시스템(242)은 홀로그래픽 광학 엘리먼트를 포함한다. 일 실시형태에서, 눈 추적 시스템(242)은 수신 센서를 갖는 적외선 스캐닝 레이저이다. 일 실시형태에서, 적외선 스캐닝 레이저 눈 추적 시스템(242)은 홀로그래픽 광학 엘리먼트를 포함한다. 일 실시형태에서, 눈 추적 시스템(242)은 옵티컬 플로우 센서(optical flow sensor)이다. 다른 눈 추적 메커니즘이 눈 추적기(242)에 대해 사용될 수도 있다. 포지션 계산기(245)는, 눈 추적기(242)로부터의 데이터에 기초하여 사용자의 시야의 중심을 결정한다. 일 실시형태에서, 사용자의 시야의 중심은 각각의 눈에 대해 결정된다.

일 실시형태에서, 조향 가능 디스플레이(210)의 조정 가능한 위치 결정 엘리먼트(226, 236)는, 눈 추적기(242)로부터의 데이터에 기초하여 우안 및 좌안 조향 가능 디스플레이(220, 230)의 포지션을 조정하여, 주로 사용자 눈의 시야의 중심을 향해 지향되도록 이미지를 위치 결정하기 위해 사용된다. 일 실시형태에서, 조정 가능한 포지션 엘리먼트(226, 236)는 사용자의 눈의 시야의 중심을 향해 아이 박스(eye box) 또는 출사 동공(exit pupil)을 위치 결정하도록 우안 및 좌안 조향 가능 디스플레이(220, 230)를 조정하기 위해 사용된다.

일 실시형태에서, 조향 가능 디스플레이 이미지의 포지션은 포지션 엘리먼트(226) 중 하나인 미러의 각도를 변경하는 것에 의해 조정된다. 일 실시형태에서, 미러의 각도는 전자기력을 사용하여 변경된다. 일 실시형태에서, 미러의 각도는 정전기력을 사용하여 변경된다. 일 실시형태에서, 미러의 각도는 압전력(piezoelectric force)을 사용하여 변경된다. 일 실시형태에서, 포지션 엘리먼트(226)는, 이미지를 위치 결정하기 위해 이동되는 이미지 소스, 또는 디스플레이 엘리먼트(222)이다. 다른 실시형태에서, 미러를 사용하기 보다는, 중심와 이미지는 공간 광 변조기 상에서 구현되는 컴퓨터 생성 홀로그램을 사용하여 조향된다. 단어 "조향"이 사용되지만, 일 실시형태에서, 어떠한 엘리먼트도 물리적으로 이동되지는 않는다. 오히려, 포지션 엘리먼트(226) 또는 디스플레이 내의 엘리먼트 중 하나의 반사 속성은 디스플레이(220, 230)의 출력 위치를 변경하도록 조정된다. 일 실시형태에서, 이것은 공간 광 변조기(spatial light modulator: SLM)의 사용을 통해 달성된다.

일 실시형태에서, 추가적인 디스플레이(280)는 통신 로직(270, 290)을 통해 프로세싱 시스템(240)과 통신한다. 일 실시형태에서, 추가적인 디스플레이는 필드 디스플레이(285)를 포함한다. 일 실시형태에서, 추가적인 디스플레이는 우안 및 좌안에 대한 별개의 필드 디스플레이(285)를 포함한다. 일 실시형태에서, 추가적인 디스플레이(280)는 사용자의 양안에 의해 보이는 단일의 필드 디스플레이(285)를 포함할 수도 있다.

일 실시형태에서, 추가적인 디스플레이(280)는 가변 해상도를 가질 수도 있다. 일 실시형태에서, 해상도는, 눈에 의한 최대 인식된 해상도에서의 강하에 대응하여, 필드 디스플레이(285)의 중심으로부터 멀어지는 쪽을 향해 떨어진다.

일 실시형태에서, 추가적인 디스플레이(280)는 마이크로LED(발광 다이오드) 또는 마이크로LED 어레이이다. 일 실시형태에서, 추가적인 디스플레이(280)는 OLED(유기 LED) 어레이이다. 일 실시형태에서, 추가적인 디스플레이(280)는 스캔식 레이저(scanned laser)를 사용한다. 일 실시형태에서, 추가적인 디스플레이(280)는 LCD(액정 디스플레이) 패널이다. 일 실시형태에서, 추가적인 디스플레이(280)는 LCOS(liquid crystal on silicon: 실리콘 액정) 디스플레이이다. 일 실시형태에서, 추가적인 디스플레이는 DLP(digital light processing: 디지털 광 프로세싱) 디스플레이이다.

일 실시형태에서, 필드 디스플레이(285)가 별개의 시스템인 경우, 독립적인 조향 가능 디스플레이(210)의 디스플레이를 필드 디스플레이(285)의 디스플레이와 동기화하기 위해, 동기 신호 생성기(292)가 사용된다. 이것은 하기에서 더욱 상세하게 논의된다.

일 실시형태에서, 동기 신호 생성기(292)는 디스플레이의 표현을 동기화하는 신호이다. 일 실시형태에서, 동기 신호 생성기(292)는, 조정 가능한 미러, 또는 조향 가능 디스플레이(210)의 다른 위치 결정 엘리먼트(226, 236)를 필드 디스플레이(285)와 동기화하기 위해 사용된다. 일 실시형태에서, 동기 신호 생성기(292)는, 조향 가능 디스플레이의 투영 어셈블리(227, 237)의 일부인 광원을 일시적으로 디스에이블하기 위해 사용되는 고속 차단 메커니즘(fast shut-off mechanism)을 제어한다. 이것은 디스플레이(210, 285)의 동기화로 나타난다. 이 타이밍은 하기에서 더욱 상세하게 설명될 것이다.

일 실시형태에서, 추가적인 디스플레이(280)는, 전이가 매끄럽고, 사용자가 인식 가능하지 않은 것을 보장하도록 조향 가능 디스플레이 이미지의 가장자리를 필드 디스플레이 이미지와 블렌딩하는 블렌더 시스템(blender system)(294)을 포함한다.

일 실시형태에서, 필드 디스플레이 이미지는, 완전히 또는 부분적으로 투명한 광학 시스템을 사용하여 사용자에게 제시된다. 일 실시형태에서, 결합기(228)는, 사용자에 대한 표현을 위해, 조향 가능 디스플레이 및 필드 디스플레이로부터의 이미지를 결합한다. 일 실시형태에서, 결합기(228)는 도파관 광학 시스템을 포함하는 부분적으로 투명한 시스템이다. 일 실시형태에서, 이 부분적으로 투명한 시스템은, 편평할 수도 있는 또는 굴절력을 가질 수도 있는 부분 미러를 포함한다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 회절 광학 엘리먼트를 포함한다. 일 실시형태에서, 이 이미지는 직시 광학 시스템을 통해 사용자에게 제시된다. 일 실시형태에서, 이 부분적으로 투명한 시스템은 광을 반사시키기 위한 또는 산란시키기 위한 개재물을 포함한다.

추가적인 디스플레이(280)의 일 실시형태에서, 주변 디스플레이(peripheral display: 288)로서 지칭되는 디스플레이 서브시스템은 모노비전의 영역에서 이미지를 디스플레이하기 위해 사용된다. 일 실시형태에서, 주변 디스플레이(288)는 우안 및 좌안에 대한 두 개의 별개의 디스플레이일 수도 있다. 다른 실시형태에서, 한쪽에만 주변 디스플레이(288)가 있을 수도 있다.

일 실시형태에서, 주변 디스플레이(288)는 하나 이상의 별개의 LED이다. 일 실시형태에서, 주변 디스플레이(288)는, 전체 디스플레이 보다는, 표시자, 경고 메커니즘, 또는 피드백 메커니즘으로서 사용된다. 주변 디스플레이 이미지는 사용자의 주의를 끌기 위해, 또는 정보를 미묘하게 전달하기 위해 사용될 수도 있다. 예를 들면, 주변 디스플레이(288)는, 사용자에게, 주의를 기울이지 않으면 디스플레이 시스템(200)을 사용하는 동안 눈에 띄지 않을 수도 있는 현실 세계 이벤트에 그 또는 그녀가 주의를 기울여야 한다는 것을 나타내기 위해 사용될 수도 있다. 일 실시형태에서, 그러한 주변 디스플레이(288)의 사용은 옵션 사항이며(optional) 사용자에 의해 설정될 수도 있다.

일 실시형태에서, 추가적인 디스플레이 서브시스템(280)은 이미지의 FOV 또는 초점을 조작하기 위한 어떠한 중간 광학 엘리먼트도 갖지 않는다. 다른 실시형태에서, 이 서브시스템(280)은 중간 광학 엘리먼트를 포함한다. 일 실시형태에서, 중간 광학 엘리먼트는 마이크로렌즈 어레이를 포함할 수도 있다.

조향 가능 디스플레이(210) 및 필드 디스플레이(285)에 의해 디스플레이되는 이미지 데이터는 프로세싱 시스템(240)에 의해 생성된다. 일 실시형태에서, 프로세싱 시스템(240)은, 전체 시스템 프로세싱의 상이한 양태를 완료하는 다양한 서브시스템과 함께, 분산된다. 일 실시형태에서, 프로세싱 시스템(240)은 복수의 프로세서를 포함할 수도 있다.

일 실시형태에서, 프로세싱 시스템(240)은 눈 추적기(242)를 포함한다. 일 실시형태에서, 눈 추적기(242)는 사용자의 시선 벡터, 예를 들면, 눈이 보고 있는 곳을 추적한다. 일 실시형태에서, 눈 추적 시스템은 카메라 기반의 눈 추적 시스템(242)이다. 대안적으로, 눈 추적기(242)는 적외선 레이저 기반일 수도 있다. 포지션 계산기(245)는, 눈 추적기(242)로부터의 데이터에 기초하여 사용자의 시야의 중심을 결정한다.

일 실시형태에서, 포지션 계산기(245)는 미끄러짐 검출 시스템(263)으로부터의 데이터를 추가적으로 사용한다. 일 실시형태에서, 미끄러짐 검출(263)은 사용자의 신체와 관련한 사용자의 머리 상의 헤드셋/고글의 움직임을 검출하여, 계산된 위치로부터 사용자의 눈의 실제 위치를 변위시키는 미끄러짐 또는 다른 시프팅을 식별한다. 일 실시형태에서, 포지션 계산기(245)는 조향 가능 디스플레이를 위치 결정하기 위해 시스템에 의해 사용되는 계산된 위치를 조정하는 것에 의해 그러한 미끄러짐을 보상할 수도 있다. 일 실시형태에서, 미끄러짐 검출은, 다초점 디스플레이 조향 가능 디스플레이(210)에 시차(parallax)를 제공하도록 디스플레이가 조정되는 것을 보장하기 위해 또한 사용된다.

일 실시형태에서 프로세싱 시스템(240)은, 조향 가능 디스플레이(220, 230)가 그들의 의도된 포지션에 있는 것을 보장하기 위해, 포지션 엘리먼트(226, 236)의 위치 결정의 유효성을 확인하는 포지션 유효성 검사기(position validator)(247)를 더 포함한다. 일 실시형태에서, 포지션 엘리먼트(226, 236)는, 중심와 디스플레이를 계산된 포지션으로 설정하고, 그 다음, 새로운 목표 포지션이 설정될 때까지, 그 포지션에서 중심와 디스플레이를 유지하는 로컬 감지 및 제어 메커니즘을 포함한다. 일 실시형태에서, 조향 가능 엘리먼트의 포지션은 광학 감지를 사용하여 감지된다. 일 실시형태에서, 조향 가능 엘리먼트의 포지션은 자기 포지션 엘리먼트(magnetic positional element)를 사용하여 감지된다. 일 실시형태에서, 감지 메커니즘은 카메라일 수도 있다. 일 실시형태에서, 감지 메커니즘은 기어링(gearing)일 수도 있다. 감지 메커니즘은, 광학 엘리먼트의 포지션을 결정할 수 있는 다른 타입의 센서일 수도 있다. 조향 가능 엘리먼트의 포지션을 로컬로 감지하기 위해 다른 메커니즘이 사용될 수도 있다.

일 실시형태에서, 중심와 포지션 유효성 검사기(247)는, 포지션 엘리먼트(226 및 236)에 대한 로컬 감지 및 제어 메커니즘으로부터 실제 포지션 데이터를 획득하는 것 및 그들을 포지셔너(265)로부터의 목표 포지션에 비교하는 것에 의해, 중심와 디스플레이의 실제 포지션이 조향 가능 이미지 디스플레이가 생성되었던 포지션과 매치한다는 것의 유효성을 확인한다. 일 실시형태에서, 조향 가능 디스플레이의 실제 포지션이 목표 포지션의 정확도 임계치 내에 있지 않다는 것을 중심와 포지션 유효성 검사기(247)가 보고하면, 프로세싱 시스템(240)은 적절한 이미지 데이터를 제공하기 위해 디스플레이를 변경할 수도 있다. 이것은 하기에서 더 상세하게 설명된다.

일 실시형태에서, 눈 추적기(242)로부터의 데이터는, 눈 움직임의 방향 및 타입을 식별하는 것에 기초하여 사용자의 시선 벡터가 이동될 곳을 예측하기 위해 눈 움직임 분류기(260)에 의해 사용될 수 있다. 이 데이터는, 사용자의 시선 벡터의 다음 번 포지션에 기초하여 조향 가능 디스플레이(220, 230)를 이동시키기 위해 포지셔너(265)에 의해 사용될 수도 있다. 일 실시형태에서, 포지셔너(265)는 디스플레이(220, 230)를 예측적으로 위치 결정하기 위해 눈 움직임 분류 및 눈 추적과 같은 사용자 데이터를 활용할 수도 있다. 일 실시형태에서, 포지셔너(265)는 사용자에 의한 움직임의 인식을 최소화하도록 디스플레이의 움직임에 타이밍을 맞추기 위해 분류된 눈 움직임을 사용할 수도 있다. 일 실시형태에서, 포지셔너(265)는, 디스플레이(220, 230)에 대한 최적의 위치 결정을 식별하기 위해 디스플레이될 프레임에서 예정된 데이터(upcoming data)에 관한 데이터를 추가적으로 사용할 수도 있다.

일 실시형태에서, 포지셔너(265)는 시선 벡터에 의해 나타내어지지 않는 포지션에서 디스플레이(220, 230)를 위치 결정할 수도 있다. 예를 들면, 디스플레이된 프레임 데이터가 소량의 관련 데이터만을 갖는 경우(예를 들면, 다른 어두운 스크린 상에서 조명되는 나비) 또는 프레임의 의도가, 뷰어로 하여금, 디스플레이 상의 특정한 장소를 보도록 그들의 시선을 이동하게 하는 것인 경우. 포지션에 대한 다른 환경적 또는 상황적 이유가 사용될 수도 있다. 다른 실시형태에서, 포지셔너(265)는 중심와 및 필드 디스플레이가 잘 블렌딩되는 것을 보장하기 위해, 또는 다르게는 시각적 아티팩트를 감소시키거나 또는 제거하기 위해, 조향 가능 디스플레이의 포지션을 조정할 수도 있다. 다른 실시형태에서, 포지셔너(265)는 디스플레이 이미지를 장면의 엘리먼트 또는 다른 외부 피처에 매칭시키기 위해 조향 가능 디스플레이(210)를 위치 재결정할 수도 있다.

프로세싱 시스템(240)은 컷아웃 로직(cut-out logic)(250)을 더 포함할 수도 있다. 컷아웃 로직(250)은 조향 가능 디스플레이(220, 230)의 위치를 정의하고 디스플레이 위치 정보를 관련된 필드 디스플레이(285)에 제공한다. 필드 디스플레이(285)는 이 데이터를 사용하여, 조향 가능 디스플레이에 의해 대체되는 필드 디스플레이의 부분에 대응하는 필드 디스플레이의 컷아웃을 포함하는 필드 디스플레이 이미지를 생성한다. 대안적으로, 이미지는 "컷아웃될" 수도 있다, 즉, 전체 이미지가 렌더링될 수도 있고, 디스플레이 이전에, 이미지의 컷아웃 부분이 폐기될 수도 있다.

컷아웃을 갖는 것은, 조향 가능 디스플레이 이미지와 필드 디스플레이 이미지 사이에서 어떠한 간섭도 없다는 것을 보장한다. 일 실시형태에서, 컷아웃이 있는 경우, 블렌더 로직(255)은, 전이가 매끄러운 것을 보장하기 위해, 컷아웃의 가장자리를 컷아웃 영역 내에 위치 결정되는 조정 가능한 이미지의 가장자리와 블렌딩한다.

다른 실시형태에서, 조향 가능 디스플레이(210)는, 필드 이미지 위에 오버레이되는 더 밝은 엘리먼트인 스프라이트(sprite)를 디스플레이하기 위해 사용될 수도 있다. 그러한 경우에, 일 실시형태에서, 컷아웃 로직(250)도 블렌더 로직(255)도 사용되지 않는다. 일 실시형태에서, 컷아웃 로직(250) 및 블렌더 로직(255)은 필요에 따라 선택적으로 활성화될 수도 있다.

일 실시형태에서, 시스템이 조향 가능 디스플레이(210)를 이동시키는 동안, 디스플레이 엘리먼트(222 및 232)는 도시되지 않는다. 일 실시형태에서, 디스플레이는, 사용자가 디스플레이(220, 230)의 움직임 및 블러, 색 분리(color break up), 밝기 깜박임 등과 같은 관련 시각적 아티팩트를 인식하는 것을 방지하기 위해, 조향 가능 디스플레이에 대한 광원을 소등하는 것에 의해 보이지 않는다. 일 실시형태에서, 우측 디스플레이(220) 및 좌측 디스플레이(230)는 정시 이동(on-time movement)을 위해 비동기적으로 제어될 수도 있다.

도시되지 않은 일 실시형태에서, 조향 가능 디스플레이(210)가 보이지 않는 경우, 프로세싱 시스템(240)은, 사용자가 디스플레이에서 아티팩트, 또는 구멍을 인식하는 것을 방지하기 위해, 필드 디스플레이 내의 컷아웃 구멍을 채우도록 필드 디스플레이 채움 로직(fill-in logic)(256)을 사용한다. 일 실시형태에서, 채움 데이터(fill-in data)는 필드 디스플레이 및 컷아웃에 대해 원래 생성된 데이터에 기초한다. 일 실시형태에서, 채움 데이터는 조향 가능 디스플레이에 대해 원래 생성된 데이터에 기초한다. 일 실시형태에서, 채움 데이터는 필드 디스플레이(285) 및 조향 가능 디스플레이(210)에 대해 생성되는 데이터의 혼합이다. 일 실시형태에서, 필드 디스플레이 채움 로직(256)은, 블러, 안티 앨리어싱, 디더링, 알파 블렌드 등을 포함하는 다양한 필터링 기술을 사용하여 채움 데이터를 조정하고, 그 결과, 사용자는 상이한 디스플레이 소스에 의해 컷아웃 구멍이 일시적으로 채워지고 있는 것을 인식하지 못한다.

일 실시형태에서, 시스템은, 독립적인 비동기식 추가 디스플레이(280)와 함께 비동기식 조향 가능 디스플레이(210)를 활용할 수도 있다. 이 경우, 일 실시형태에서, 스케줄러 및 동기화 로직(272)은 디스플레이를 동기화한다. 일 실시형태에서, 독립적인 추가 디스플레이(280)는 조정 가능한 미러, 또는 조향 가능 디스플레이(210)의 다른 위치 결정 엘리먼트와 동기화된다. 이것은 디스플레이의 동기화로 나타난다. 추가적인 디스플레이(280)는 위치 결정 데이터를 수신할 수도 있다. 이 프로세스는 하기에서 더욱 상세하게 설명된다. 다른 실시형태에서, 추가적인 디스플레이(280) 및 조향 가능 디스플레이(210)는 동기식일 수도 있다. 그러한 구성에서, 스케줄러 및 동기화 로직(272)은 제거될 수도 있거나 또는 그것의 로직이 단순화될 수도 있다.

일 실시형태에서, 프로세싱 시스템(240)은 광학 왜곡 보정 시스템(275)을 포함할 수도 있다. 광학적 왜곡 보정 시스템(275)은 이미지의 중심으로부터 가장자리 쪽으로 증가하는 왜곡을 추가하도록 이미지를 조정할 수도 있다. 일 실시형태에서, 이러한 의도적인 왜곡은 픽셀로 하여금 왜곡을 보정하게 한다. 일 실시형태에서, 광학 왜곡 보정 시스템(275)은 이미지의 중심으로부터 가장자리로 이동하면서 인식된 사이즈에서 증가한다. 조향 가능 디스플레이 이미지의 동일한 각도 영역을 커버하는 데 더 적은 픽셀이 필요로 되기 때문에, 인식된 해상도에서의 이러한 변화는 필요로 되는 프로세싱의 양을 감소시킨다. 일 실시형태에서, 광학 왜곡 보정 시스템(275)은 조향 가능 디스플레이 이미지에 적용된다. 일 실시형태에서, 그러한 광학 왜곡은 조향 가능 디스플레이(210)와 추가적인 디스플레이(280) 사이의 블렌딩을 도울 수도 있다. 다른 실시형태에서, 광학 왜곡 보정 시스템(275)을 포함하는 조향 가능 디스플레이(210)는 필드 디스플레이 없이 사용될 수 있다. 그것은 또한 더 쉬운 광학 설계를 제공하고, 블렌딩에 대한 프로세싱을 절약한다. 일 실시형태에서, 그러한 가변 해상도의 고도로 왜곡된 이미지는, 중심 및 가장자리에서의 픽셀 사이즈에서 큰 비율을 갖는다. 이 디스플레이의 총 FOV는 꽤 클 수도 있다(예컨대 180도).

일 실시형태에서, 광학 왜곡 보정 시스템(275)은 필드 디스플레이 및 중심와 디스플레이에 보정을 적용한다. 일 실시형태에서, 필드 디스플레이의 경우, 광학적 보정은, 하기에서 논의되는 바와 같이, 타이밍에 따라, 중심와 영역의 마스크를 생성하는데, 중심와 영역의 마스크는 컷아웃되고 그리고 중심와 디스플레이와 블렝딩되거나 또는 채워진다. 광학 왜곡 보정 시스템(275)은, 일 실시형태에서, 필드 광학기기(field optic)에 대한 방사 왜곡 보정(radial distortion correction) 및 컬러 보정을 적용한다.

일 실시형태에서, 광학 왜곡 보정 시스템(275)은 중심와 영역의 가장자리를 블렌딩하고, 필드 광학기기에 대해 방사 왜곡 보정을 적용하고, 미러 포지션을 보정하기 위해 호모그래피 변환(homography transform)을 적용하고, 중심와 광학기기에 대해 방사 왜곡 보정을 적용하고, 그리고 컬러 보정을 적용한다. 일 실시형태에서, 필드 광학기기 및 중심와 광학기기에 대한 별개의 방사 왜곡 보정의 적용은 고유하다. 일 실시형태에서, 필드 광학기기에 대한 방사 왜곡 보정은 미러(또는 다른 포지션 엘리먼트) 포지션에 기초하여 왜곡 보정의 중심을 다시 맞추기(re-center) 위해 룩업 테이블 또는 스플라인 피트(spline-fit)를 사용한다. 일 실시형태에서, 미러 포지션을 보정하는 호모그래피 변환은 교정 단계로부터의 룩업 테이블 또는 스플라인 피트 계수를 사용한다. 일 실시형태에서, 호모그래피 보정은 RGB 컬러에 의해 행해진다.

일 실시형태에서, 롤오프 로직(roll-off logic)(277)은 디스플레이의 가장자리에서 롤오프를 제공한다. 일 실시형태에서 롤오프는 해상도 롤오프(디스플레이 영역의 가장자리를 향해 감소하는 해상도)를 포함할 수도 있다. 일 실시형태에서, 이것은 광학 왜곡 보정 시스템(275)에 의한 확대를 통해 구현될 수도 있다. 롤오프는, 일 실시형태에서, 밝기 및/또는 콘트라스트 롤오프(가장자리를 향해 감소하는 밝기 및/또는 콘트라스트)를 포함한다. 그러한 롤오프는 디스플레이의 가장자리의 급격성(abruptness)을 감소시키도록 설계된다. 일 실시형태에서, 롤오프는 "없음(nothing)"으로 롤오프되도록 설계될 수도 있다, 즉, 전체 밝기/콘트라스트로부터 그레이 또는 블랙 또는 환경 컬러로 점차적으로 감소될 수도 있다. 일 실시형태에서, 롤오프 로직(277)은 관련된 필드 디스플레이가 없는 경우, 조향 가능 디스플레이(210)에 의해 사용될 수도 있다. 일 실시형태에서, 롤오프 로직(277)은, 시스템에 필드 디스플레이가 존재하는 경우, 필드 디스플레이(285)의 일부일 수도 있다.

일 실시형태에서, 조향 가능 디스플레이(210)가 다초점 디스플레이인 경우, 초점 선택기(267)는 디스플레이를 위한 복수의 초점 거리를 식별하고 각각의 초점 거리에 대한 적절한 디스플레이 데이터를 생성한다. 일 실시형태에서, 다초점 디스플레이에서, 시간 순차적인 이미지의 세트가 상이한 초점 거리에서 디스플레이된다. 순차적인 이미지의 세트는 어떤 한 속도에서 디스플레이되고, 그 결과, 그들은 다수의 초점 거리를 갖는 단일의 이미지로서 사용자에 의해 인식된다.

일 실시형태에서, 디지털 보정 시스템(252)은 생성된 이미지 데이터를 보정하여 다초점 디스플레이에 기인하는 임의의 왜곡을 조정한다. 일 실시형태에서, 디지털 보정 시스템(252)은, 조향 가능 디스플레이(210)와 필드 디스플레이(285) 사이의 블렌딩이 매끄럽게 유지되도록 다초점 디스플레이에 대한 이미지의 각각의 사이즈를 추가로 조정한다.

도 3은 컨트롤러 및 렌더링 파이프라인의 일 실시형태의 블록도이다. 일 실시형태에서, 사용자 포즈 검출기(315)는 외부 카메라, 자이로스코프와 같은 하나 이상의 센서, 모션 검출기, 및 다른 센서 중 하나 이상을 포함할 수도 있다. 일 실시형태에서, 헤드셋 상의 하나 이상의 카메라 및/또는 센서가 사용자 포즈 검출기(315)에 대해 사용될 수도 있다. 이것은 인사이드 아웃 추적(inside-out tracking)으로서 지칭된다. 대안적으로, 또는 추가적으로, 헤드셋의 일부가 아닌 카메라 및/또는 센서가 사용자 포즈 검출기(315)에 대해 사용될 수도 있다.

일 실시형태에서, 사용자 포즈 검출기(315)는 "상대적" 변화 검출기 및/또는 절대 포즈 검출기를 포함할 수도 있다. "상대적" 변화 검출기는 시간 경과에 따른 포즈에서의 변화를 검출하고, 반면 절대 포지션 측정은 사용자를 3D 공간에서 배치한다. 사용자 포즈 검출기(315)로부터의 데이터는 인터럽트 생성기(320)로 전달될 뿐만 아니라, 필드 디스플레이 렌더러(field display renderer)(330), 및 메타데이터 시스템(390)으로 전달된다.

인터럽트 생성기(320)는, 필드 디스플레이 렌더러(330) 및 중심와 디스플레이 렌더러(340)를 제어하기 위해 스케줄러(385)에 의해 사용되는 인터럽트를 생성한다. 인터럽트 생성기(320)는 포즈 검출기(315)로부터 그리고 시선 검출기(325)로부터 데이터를 수신한다. 유입하는 디스플레이(장면) 데이터(322)는 렌더러(330, 340)로 전달된다. 사용자의 시선이 이동되는 경우 중심와 디스플레이 데이터가 변경될 필요가 있을 수도 있기 때문에, 시선 검출기(325)는, 중심와 디스플레이 렌더러(340)를 제어하기 위해 스케줄러(385)에 의해 사용될 수 있도록, 인터럽트 생성기(320)에 또한 커플링된다. 스케줄러(385)는 중심와 디스플레이 렌더러(340)를 조정하기 위해 다른 트리거를 또한 사용할 수도 있다.

시선 검출기(325)로부터의 데이터는 또한 합성 매니저(composition manager: 380)에 제공된다. 합성 매니저(380)는 중심와 디스플레이 및 필드 디스플레이들의 조합을 관리하여 사용자에게 끊김 없는 이미지를 제공한다. 일 실시형태에서, 합성 매니저(380)는 시선 검출기(325)로부터의 데이터를 사용하여, 중심와 디스플레이의 포지션에 대응하도록, 필드 디스플레이에서의 컷아웃의 위치 결정을 가능하게 한다. 렌더러(330, 340)는 텍스처를 렌더링한다. 일 실시형태에서, 중심와 디스플레이 렌더러(340)는 다초점 중심와 디스플레이에 대한 복수의 깊이를 렌더링한다.

시선 검출기(325)는, 중심와 디스플레이(365)의 위치 결정을 가능하게 하는 조향 가능 미러 또는 다른 조향 가능 엘리먼트의 움직임을 제어하는 포지션 검출기 및 액추에이터(350)에 데이터를 또한 제공한다. 액추에이터(350)는 중심와 디스플레이(365)를 적절하게 위치 결정하기 위해 엘리먼트를 이동시킨다. 중심와 유효성 검사기(355)는, 중심와 디스플레이(365)의 실제 포지션이 이미지가 렌더링되었던 의도된 위치 결정과 매치한다는 것을 검증한다.

일 실시형태에서, DLP/LCOS/레이저 스캐너 시스템 기반의 중심와 디스플레이의 경우, 중심와 디스플레이(365) 엘리먼트의 포지션이 부정확한 경우, 고속 차단 엘리먼트(370)가 중심와 디스플레이(365)에 대한 조명(LED 또는 레이저 또는 다른 조명 소스)을 차단할 수도 있다. 이것은, 필드 디스플레이(360)만을 남겨두면서, 중심와 디스플레이(365)의 디스플레이를 중지하거나, 또는 당해 중심와 디스플레이를 끈다.

일 실시형태에서, 발광형 디스플레이(예를 들면, uLED 또는 OLED)의 경우, 고속 차단 엘리먼트(370)는 전체 중심와 디스플레이(365)를 끌 수도 있다. 일 실시형태에서, 중심와 디스플레이(365)의 디스플레이를 중지하는 것은 블랭크 이미지 데이터를 디스플레이(365)에 전송하는 것을 포함한다.

일 실시형태에서, 고속 차단(370)은, 고해상도 중심와 디스플레이(365)가 이용 가능하지 않은 동안, 완전한 필드 디스플레이를 남겨두면서 필드 디스플레이에 대한 컷아웃을 턴오프하는 데이터를 합성 매니저(380)로 또한 전송한다. 다른 실시형태에서, 컷아웃은 채움 데이터로 채워질 수도 있다. 일 실시형태에서, 필드 디스플레이(360)에서의 컷아웃에 대한 채움 데이터는 필드 디스플레이, 중심와 디스플레이, 또는 필드 및 중심와 디스플레이들의 조합을 위해 렌더링되는 이미지 데이터에 기초할 수도 있다.

일 실시형태에서, 합성 매니저(380)는 중심와 유효성 검사기(355)로부터의 정보에 기초하여 필드 디스플레이(360)의 컷아웃에서의 디스플레이에 대해 어떤 데이터가 유효한지를 데이터를 선택한다. 중심와 디스플레이의 포지션이 정확하면, 중심와 디스플레이 렌더러(340)로부터의 현재의 중심와 텍스처가 사용된다.

포지션에 대한 현재의 중심와 텍스처 데이터가 없는 경우, 일 실시형태에서, 재투영된 필드 디스플레이 데이터가 사용될 수도 있다. 몇몇 경우에, 이전의 중심와 텍스처 데이터가 사용될 수도 있다. 합성 매니저(380)는, 컷아웃이 존재하는 경우, 다양한 소스로부터의 데이터의 정확도 및 이용 가능성에 기초하여, 컷아웃이 데이터에 의해 채워지는 것을 보장한다.

렌더러(330, 340)로부터의 데이터는 각각의 컴포지터(335, 345)로 진행한다. 일 실시형태에서, 컴포지터(335, 345)는 비동기식일 수도 있다. 일 실시형태에서, 렌더러(330, 340)는 별개의 클록에 의거할 수도 있고, 컴포지터(335, 345)와는 상이한 주파수에서 작동할 수도 있다.

필드 디스플레이(360)는 우안 및 좌안 필드 이미지를 디스플레이하고, 한편 중심와 디스플레이(365)는 우안 및 좌안 중심와 이미지를 디스플레이한다. 일 실시형태에서, 상기에서 언급되는 바와 같이, 중심와 이미지 및/또는 필드 이미지는 다수의 초점 평면, 또는 깊이를 가질 수도 있다. 그 실시형태에서, 컴포지터(335, 345)에 의해 생성되는 프레임 데이터는, 복수의 초점 거리와 관련되는 이미지 엘리먼트의 시퀀스를 포함할 수도 있다. 시퀀스는 시간 시퀀스일 수도 있다. 다른 실시형태에서, 초점 거리는, 시간보다는, 포지션에 기초할 수도 있다. 일 실시형태에서, 중심와 이미지 및/또는 필드 이미지는 가변 초점을 가질 수도 있다.

일 실시형태에서, 동기화기(375)는, 필드 디스플레이 및 중심와 디스플레이로부터 비동기적으로 생성된 프레임 데이터가 정확하게 정렬되는 것을 보장한다. 일 실시형태에서, 동기화기(375)는 그래픽 프로세싱 유닛으로부터의 타임스탬프를 사용하여 다양한 시간 도메인을 조정한다. 일 실시형태에서, 동기화기(375)는 렌더링 결정을 촉진하기(drive) 위해 시스템에서 가장 큰 레이턴시를 갖는 디바이스에 동기화된다.

메타데이터 시스템(390)은, 일 실시형태에서, 메타데이터를 생성하고 그것을 렌더링된 데이터, 합성된 데이터(composited data), 및/또는 프레임 데이터에 첨부할 수 있다. 이 메타데이터는 다양한 방식으로 사용될 수 있다. 일 실시형태에서, 메타데이터는 디스플레이가 턴온되기 이전에 늦은 업데이트 또는 재투영을 행하기 위해 사용될 수 있다. 메타데이터는, 프레임이 렌더링된 시점과 프레임이 디스플레이되려는 시점 사이의 시선, 포즈, 또는 미러 포지션에서의 변화를 고려하기 위해 사용될 수 있다. 따라서, 메타데이터 시스템(390)은, 일 실시형태에서, 사용자 포즈 검출기(315), 시선 검출기(325), 포지션 검출기 및 액추에이터(350), 및 중심와 디스플레이 렌더러(340)를 포함하는 다양한 시스템으로부터 데이터를 수신한다.

상기에서 언급되는 바와 같이, 일 실시형태에서, 컴포지터(335, 345)는 렌더러(330, 340)와 대비하여 상이한 업데이트 레이트에서 실행된다. 중심와 디스플레이 렌더러(340)는 중심와/필드 영역을 오버 렌더링하고(over-render) 메타데이터 시스템(390)은, 그것을, 렌더링된 콘텐츠와 관련되는 시선, 포즈, 및/또는 미러 포지션을 나타내는 메타데이터로 태깅한다(tag).

중심와 데이터가 디스플레이될 예정인 경우, 중심와 디스플레이 컴포지터(345)는 메타데이터를 최신 포즈, 시선 및/또는 포지션 측정치에 비교하고 차이를 사용하여 오버 렌더링된 텍스처의 적절한 부분을 선택하고 그것을 중심와 디스플레이(365)로 전송한다.

일 실시형태에서, 메타데이터 시스템(390)은 하나 이상의 주목 영역을 나타내기 위해 사용될 수도 있다. 일 실시형태에서, 장면의 일부 포인트는 장면 내의 다른 포인트보다 더 높은 주목 영역으로서 채점된다(scored). 이들 주목 영역은, 유효한 시선 포인트를 메타데이터에서 태깅되는 것으로 제한하기 위해 사용될 수도 있다.

일 실시형태에서, 메타데이터 시스템(390)은 중심와가 있는 장면 내의 여러 영역을 태깅하기 위해 사용될 수도 있다.

일 실시형태에서, 메타데이터 시스템(390)은, 비디오 콘텐츠를 재생할 때, 유입하는 정보로 프레임을 스탬핑하기 위해 사용될 수도 있다. 이것은, 임의의 변경 사항이 파이프라인을 따라 내려오는지를 시스템이 알게 하는데 유용할 수 있다.

일 실시형태에서, 메타데이터는, 프레임 정보 그 자체와 동일한 시간 도메인에서 미러 제어 시스템에 이르기까지 전송될 수 있도록, 조향 가능 디스플레이에 대한 조정 정보를 포함할 수도 있다.

일 실시형태에서, 메타데이터는 미러에 대한 미세 보정(micro correction)을 위해 또한 사용될 수도 있다.

일 실시형태에서, 새로운 미러 포지션을 전송하기 위해 및/또는 프레임 내의 데이터를 늦은 업데이트로서 크롭하기 위해, 눈 움직임을 계속 추적하고 프레임이 렌더링된 이후 자신이 추적한 이력 데이터를 사용하는 로컬의 상대적 눈 추적기의 일부에서 메타데이터 시스템(390)이 사용될 수도 있다.

일 실시형태에서, 메타데이터 시스템(390)은 장면 내의 몇몇 오브젝트에 늦은 업데이트 우선 순위를 제공할 수도 있는데, 예를 들면, 오브젝트가 현실 세계 오브젝트에 대해 고정될 필요가 있는 경우, 그것은 장면의 나머지에 비해 우선권을 획득한다.

도 4a는 렌더링 엔진 및 컴포지터 시스템의 일 실시형태의 플로우차트이다. 시스템은 렌더링 엔진(410) 및 다이렉트 모드 컴포지터(450)를 포함한다.

일 실시형태에서, 렌더링 엔진(410)은 그 자신의 시간 베이스(timebase)를 가지며, 컴포지터(450)는 별개의 시간 베이스를 갖는다. 일 실시형태에서, 컴포지터(450)는 두 개의 디스플레이에 대한 별개의 시간 베이스, 필드 디스플레이 시간 베이스(Vsync-Field) 및 중심와 디스플레이 시간 베이스(Vsync-foveal)를 갖는다. 이것은, 일 실시형태에서, 엘리먼트의 각각이, 별개의 시간 베이스를 사용하여, 상이한 속도, 및 리프레시율에서 실행될 수 있다는 것을 의미한다. 일 실시형태에서, 별개의 시간 베이스를 갖는 데이터 및 디스플레이는, 다양한 디스플레이의 표현 동기화를 유지하는 동기화 블록의 사용과 동기화될 수 있다. 이 맥락에서의 표현 동기화는, 두 개의 디스플레이로부터의 디스플레이된 콘텐츠가 사용자에 의해 동기화되는 것으로 인식된다는 것을 의미한다.

일 실시형태에서, 이것은 렌더링 엔진(410) 및 컴포지터 시스템(450)이 상이한 레이트에서 동작되는 것을 또한 가능하게 한다. 일 실시형태에서, 컴포지터(450)는 렌더링 엔진보다 더 빠르다. 일 실시형태에서, 렌더링 엔진(410)은 초당 가변 수의 프레임에서 동작되고, 컴포지터(450)는 두 개의 상이한 프레임 레이트에서 동작하는 데, 하나는 필드 디스플레이에 대한 것이고 다른 하나는 중심와 디스플레이에 대한 것이다.

다른 실시형태에서, 컴포지터 및 렌더링 시스템은 동기화되고 동일한 시간 베이스에서 실행된다. 일 실시형태에서, 모든 디스플레이는 동기화되고 동일한 시간 베이스에서 실행된다. 일 실시형태에서, 디스플레이는, 그들이 동기화된 상태를 유지하는 것을 보장하기 위해 동일한 클록에 의거하여 실행된다. 일 실시형태에서, 디스플레이는 동일한 업데이트 레이트에서 실행될 수도 있다. 다른 실시형태에서, 하나의 디스플레이는 다른 디스플레이의 레이트의 정수배인 디스플레이 업데이트 레이트를 가질 수도 있다. 일 실시형태에서, 하나의 디스플레이는 다른 디스플레이의 업데이트 레이트와 비동기적인 디스플레이 업데이트 레이트를 가질 수도 있다. 일 실시형태에서, 필드 및 중심와 디스플레이 각각은 단일의 더 큰 디스플레이의 일부이다.

일 실시형태에서, 렌더링 엔진(410)은 데이터를 연속적으로 프로세싱한다. 렌더링 엔진(410)은, 렌더링을 위해 새로운 디스플레이 데이터가 수신됨에 따라, 렌더링 엔진 시간 베이스 루프(rendering engine timebase loop), 렌더링 텍스처, 및 옵션 사항으로 다초점 디스플레이에 대한 깊이에 의해 구동된다.

일 실시형태에서, 렌더링 엔진(410)에서의 스테레오 투영 매트릭스는 인터럽트 구동되어, 새로운 포즈가 검출될 때 인터럽트를 수신한다. 포즈는, 포지션 및 방위를 비롯하여, 사용자의 위치를 삼차원 공간에서 정의한다. 일 실시형태에서, 포즈는 여섯 개의 자유도를 갖는다. 새로운 포즈가 검출될 때마다, 인터럽트는 렌더링 엔진(410)의 스테레오 투영 매트릭스로 전송된다.

일 실시형태에서, 인터럽트는 필드 디스플레이를 정의하는 투영 매트릭스의 업데이트를 트리거한다. 필드 디스플레이 좌측 및 우측 디스플레이는 텍스처로 렌더링된다.

일 실시형태에서, 스테레오 투영 매트릭스에 대한 업데이트는 또한 중심와 뷰포트에 대한 업데이트를 트리거한다. 중심와 뷰포트는, 상기에서 논의되는 바와 같이, 별개의 디스플레이인 중심와 디스플레이에 의해 더 높은 해상도에서 렌더링되는 "중심와 영역"으로 간주되는 필드 디스플레이의 영역이다. 중심와 뷰포트가 업데이트되면, 그것은 중심와 디스플레이에 대한 좌측 및 우측 이미지/텍스처 및 깊이 데이터의 재렌더링을 트리거한다. 중심와 좌측/우측 데이터 및 필드 좌측/우측 데이터, 및 뷰포트 데이터는 다이렉트 모드 컴포지터(450)로 전달된다.

몇몇 실시형태에서, 디스플레이된 데이터에서의 변화, 오퍼레이팅 시스템 레벨 변화, 장면 콘텐츠에서의 변화, 환경 엘리먼트, 이벤트, 및/또는 다른 트리거를 비롯한, 다양한 다른 프로세스가 중심와 뷰포트에 대한 업데이트를 트리거할 수 있다. 일 실시형태에서 임의의 그러한 트리거는 중심와 데이터의 렌더링을 업데이트한다.

새로운 포즈에 의해 트리거되는 것 외에도, 렌더링 엔진(410)은 중심와 상태 머신(455)으로부터의 데이터에 기초하여 중심와 뷰포트의 업데이트를 트리거할 수도 있다. 중심와 상태 머신(455)은, 사용자의 시선 벡터가 변경될 때 렌더링 엔진(410) 및 컴포지터(450)를 트리거하여, 중심와 디스플레이가 올바르게 위치 결정되고 올바른 위치에서 고해상도 이미지를 디스플레이하는 것을 보장하기 위해 사용된다.

일 실시형태에서, 스케줄러(440)는 다양한 엘리먼트를 제어하고, 렌더 킥오프(render kickoff)를 통해 실제 렌더링을 트리거한다. 일 실시형태에서, 스케줄러(440)는 필드 합성 킥오프(field composite kickoff) 및 중심와 합성 킥오프(foveal composite kickoff)로부터 데이터를 수신한다.

일 실시형태에서, 컴포지터(450)는 새로운 포즈가 검출될 때 인터럽트에 의해 또한 트리거된다. 일 실시형태에서, 필드 디스플레이는 새로운 포즈 데이터가 수신되는 경우, 새로운 텍스처 데이터가 수신되는 경우, 또는 필드 디스플레이 Vsync-Field에 대한 오프셋이 있는 경우, 인터럽트된다. 컴포지터(450)는 렌더러(410)로부터 텍스처 및 중심와 뷰포트 데이터를 수신한다.

일 실시형태에서, 필드 디스플레이 시간 베이스는, 일 실시형태에서 11㎳(90㎐)의 주기를 갖는 Vsync-Field이다. 일 실시형태에서, 범위는 60㎐ 내지 180㎐이다. 일 실시형태에서, 새로운 포즈가 검출되거나, 또는 새로운 렌더 데이터가 렌더링 엔진(410)으로부터 수신되는 경우, 렌더링된 장면은 현재의 포즈에 기초하여 재투영된다.

일 실시형태에서, 중심와 매니저(455)는, 중심와 디스플레이를 구동하여, 시선 벡터가 변경될 때 중심와 디스플레이의 포지션 및 콘텐츠를 업데이트하기 위해 사용된다. 중심와 매니저(455)는, 시선 벡터 데이터를 스케줄러, 따라서 필드 디스플레이 컴포지터에 또한 제공하고, 그 결과, 필드 디스플레이 컴포지터는 중심와 디스플레이의 포지션을 알게 된다. 중심와 매니저(455)는 이 데이터를 스케줄러(440)에 추가로 제공한다.

이것은 필드 디스플레이 컴포지터가 중심와 디스플레이에 대한 컷아웃을 위한 필드 디스플레이의 적절한 영역을 식별하는 것을 가능하게 할 수도 있다. 일 실시형태에서, 필드 디스플레이 데이터는, 중심와 디스플레이가 올바르게 위치 결정되고 디스플레이할 준비가 되는 경우 컷아웃되고 중심와 디스플레이가 올바르게 위치 결정되지 않거나 또는 디스플레이를 위한 적절한 데이터를 갖지 않는 경우 채워진다. 필드 디스플레이에서 컷아웃을 위치 결정하기 위한 이 데이터는, 중심와 매니저(455)로부터의 데이터에 기초한다.

일 실시형태에서, 렌즈 보정이 적용된다. 일 실시형태에서, 렌즈 보정은, 렌더링 파이프라인에서 소프트웨어 보정을 활용하는 것에 의해 단순화된 광학기기가 왜곡을 보정하는 것을 가능하게 한다. 일 실시형태에서, 시스템은 동적 왜곡 맵을 사용할 수도 있다. 일 실시형태에서, 보정은 방사 왜곡, 핀쿠션 배럴 왜곡(pincushion barrel distortion), 색수차, 및 다른 왜곡에 대한 보정을 포함할 수도 있다. 일 실시형태에서, 그 다음, 필드 프레임이 패킹된다.

그 다음, 일 실시형태에서, 필드 디스플레이 스왑체인(field display swapchain)이 업데이트된다. 일 실시형태에서, 스왑체인은 전방 및 후방 버퍼를 포함하는 물리적 버퍼이다. 일 실시형태에서, 필드 컴포지터는 후방 버퍼에 기록하고, 한편 전방 버퍼는 디스플레이로 전송된다. 일 실시형태에서, 필드 컴포지터는 블랭킹 기간(blanking period) 동안 전방 버퍼에 직접 기록한다. 다른 실시형태에서, 스왑체인은 디스플레이를 위해 사용되는 가상 프레임 버퍼이다. 다른 실시형태에서, 다른 타입의 버퍼가 사용될 수도 있거나, 또는 렌더링되는 이미지가 직접 투영될 수도 있다.

일 실시형태에서, 동시에, 그러나 동기적이지 않게, 중심와 디스플레이는 인터럽트를 수신하고, 중심와 합성 킥오프는 컴포지터를 트리거한다. 중심와 디스플레이는, 일 실시형태에서, 필드 디스플레이를 구동하는 Vsync-Field와 비동기적일 수도 있는 Vsync-foveal을 사용한다. 다수의 비동기식 서브시스템을 갖는 시스템에서, 시스템은 어떤 서브시스템(들)이 전역적 동기화를 구동할 것인지를 결정할 수도 있다. 일 실시형태에서, 시스템에서 가장 큰 레이턴시를 갖는 디스플레이는 렌더링 결정, 및 결과적으로 나타나는 중심와 디스플레이 위치 재결정/업데이트를 촉진한다. 다른 실시형태에서, 필드 디스플레이 및 중심와 디스플레이 컴포지터는 동기적일 수도 있는데, 예를 들면, Vsync-foveal은 Vsync-Field와 동일할 수도 있다. 다른 실시형태에서, 필드 디스플레이 및 중심와 디스플레이는 단일의 디스플레이의 두 개의 부분일 수도 있다. 이 경우, 필드 디스플레이 및 중심와 디스플레이는 동일한 Vsync 신호를 공유할 수도 있다. 일 실시형태에서, 단일의 디스플레이는 두 개의 부분을 가질 수도 있고, 디스플레이의 필드 및 중심와 부분은 서로 광학적으로 격리된다. 일 실시형태에서, 광학적 격리는 블랙인 영역일 수도 있다.

중심와 매니저(455)는 렌더링 엔진(410)으로부터 수신되는 중심와 렌더가 유효한지의 여부를 결정한다.

중심와 렌더(이것은, 일 실시형태에서, 렌더링 엔진(410)으로부터 수신되는 중심와 RGB, 뷰포트, 및 텍스처를 포함함)는, 중심와 데이터가 렌더링되었던 포지션과 현재의 중심와 포지션 사이에서 작은 차이만이 있거나 또는 변화가 없는 경우에 유효하다. 중심와 렌더는, 현재의 중심와 데이터에서 렌더링되는 영역이 중심와 디스플레이의 실제 포지션과 완전히, 또는 거의 완전히 중첩되는 경우 유효하다.

일 실시형태에서, 중심와 영역은 렌더링 엔진(410)에 의해 오버 렌더링된다. 이 오버 렌더링은, 컴포지터가 렌더러보다 더 높은 주파수에서 동작하고 있을 때 도움이 되며 작은 미러 이동(mirror move)의 재생성을 위해 사용될 수 있다. 일 실시형태에서, 이것은 부정확한 미러 움직임 또는 눈 추적에 대해 약간의 유연성을 제공한다. 일 실시형태에서, 오버 렌더링은 중심와 영역의 최대 50 %일 수도 있다. 일 실시형태에서, 오버 렌더링은, 예상된 눈 움직임, 예를 들면, 예측 오버 렌더링에 기초하여 비대칭일 수도 있다. 일 실시형태에서, 오버 렌더링된 영역은, 컴포지터가 작은 미러 움직임에 대해 장면을 다시 렌더링하지 않고도 새로운 장면을 합성하는 것을 허용하기 위해 사용될 수도 있다.

일 실시형태에서, 중심와 렌더가 유효한 경우, 디스플레이까지의 빠른 경로가 사용된다.

중심와 렌더가 유효하고, 데이터를 디스플레이하기 위해 중심와 디스플레이가 제시간에 올바르게 위치 결정되도록 미러 이동이 연기될 필요가 없는 경우, 현재의 중심와 텍스처가 샘플링된다. 일 실시형태에서, 시스템은 왜곡 보정을 적용하고, 중심와 프레임을 패킹한다.

일 실시형태에서, 왜곡 보정은 조향 가능 미러 또는 디스플레이 엘리먼트에 의해 야기되는 왜곡에 대한 소프트웨어 보정을 제공한다. 이것은 단순화된 광학기기를 가능하게 한다. 일 실시형태에서, 왜곡의 소프트웨어 보정은, 미러 또는 다른 조향 가능 디스플레이 엘리먼트의 움직임에 기초한 왜곡에서의 차이를 보정할 수 있다. 일 실시형태에서, 왜곡은 미러/엘리먼트가 이동함에 따라 변한다. 프레임을 패킹하기 이전에, 데이터를 사전 워핑하는(pre-warping) 것에 의해, 시스템은 소프트웨어 왜곡 보정을 사용할 수 있다. 일 실시형태에서, 시스템은, 미러/엘리먼트 위치 결정에 기초하여, 이미지의 상이한 부분에 상이한 보정을 제공할 수 있다.

일 실시형태에서, 시스템은, 미러/엘리먼트의 포지션에 기초하여, 동적 왜곡 맵을 사용할 수도 있다. 동적 왜곡 맵을 생성하는 것에 의해, 시스템은 미러/엘리먼트의 공지된 포지션에 기초하여 왜곡 보정을 적용할 수 있다. 일 실시형태에서, 동적 왜곡 맵은 사전 계산될 수도 있고, 룩업 테이블에 기초하여 적용될 수도 있다. 다른 실시형태에서, 동적 왜곡 맵은 다항식 스플라인(polynomial spline) 또는 다른 수학적 모델로부터 연속적으로 평가될 수도 있다.

중심와 디스플레이에 대한 왜곡의 다수의 소스가 있을 수도 있다. 일 실시형태에서, 디스플레이 패널과 조향 엘리먼트 사이에는 광학 컴포넌트가 있다. 광학 엘리먼트는 조향 포지션과 무관한 왜곡을 도입한다. 이러한 타입의 왜곡은 프로젝터 왜곡으로서 지칭될 수 있다. 일 실시형태에서, 이 왜곡은 방사상이다. 일 실시형태에서, 이 왜곡은 2D 보간 다항식, 또는 다른 2D 함수에 의해 설명될 수도 있다. 이 왜곡의 포지션은 중심와 시야와 관련하여 고정된다. 일 실시형태에서, 소프트웨어 왜곡 보정은 프로젝터 왜곡을 보정하기 위해 또한 사용될 수 있다.

조향 포지션에 대한 변경은, 호모그래피 매트릭스(homography matrix)에 의해 설명될 수 있으며 조향 포지션에 종속하는 변환을 도입한다. 이러한 타입의 왜곡은 호모그래피 변환으로서 지칭될 수 있다. 일 실시형태에서, 소프트웨어 왜곡 보정은 호모그래피 변환 왜곡을 보정하기 위해 또한 사용될 수 있다.

일 실시형태에서, 조향 엘리먼트와 사용자의 눈 사이에는 광학 엘리먼트가 있다. 이들 엘리먼트도 또한 왜곡을 도입한다. 이 왜곡은 시스템의 전체 조향 가능 범위와 관련하여 고정되며, 시스템이 조향됨에 따라 중심와 시야와 함께 움직이지 않는다. 이러한 타입의 왜곡은 스캔 왜곡으로서 지칭될 수 있다. 일 실시형태에서, 스캔 왜곡은 방사상이다. 일 실시형태에서, 이러한 왜곡은 2D 보간 다항식, 또는 다른 2-D 함수에 의해 설명될 수도 있다.

왜곡의 이들 소스 각각은 그들 고유의 보정을 사용하여 보정될 수 있다. 일 실시형태에서, 왜곡은, 디스플레이 패널 상에서의 좌표를 의도된 이미지 상에서의 좌표로 변환하는 것에 의해 수학적으로 보정된다. 일 실시형태에서, 왜곡의 세 개의 소스 모두가 존재하고 프로젝터 왜곡에 대한 보정이 먼저 적용되고, 호모그래피 변환이 후속된다. 호모그래피 변환은 중심와 디스플레이 패널의 임의의 회전 오정렬을 또한 보정한다. 일 실시형태에서, 스캔 왜곡에 대한 보정은 마지막에 적용된다.

일 실시형태에서, 프로젝터 왜곡 및 스캔 왜곡 둘 모두는 다수의 방사 왜곡으로 더 분할될 수 있다. 이것은 계산 효율성을 위해 또는 광학 엘리먼트 사이의 오정렬을 고려하기 위해 행해질 수도 있다. 이들 왜곡 보정을 적용할 수도 있는 것은, 광학 시스템의 설계 제약이 완화되는 것을 허용한다. 일 실시형태에서, 시스템의 전체 왜곡은 중심와 시야의 가장자리에서 50 %만큼 높을 수도 있고, 패널의 회전 오정렬은 최대 180도일 수도 있다.

일 실시형태에서, 상이한 초점 평면에 대해 별개의 이미지 보정이 있다. 일 실시형태에서, 이미지 보정은 왜곡 보정, 컬러 보정, 밝기/비네팅(vignetting) 보정, 시간적 필터링, 블러링, 및 디더링을 포함한다. 일 실시형태에서, 이들 보정 모두는 주어진 초점 평면에 한 번의 패스(pass)에서 적용된다. 다른 실시형태에서, 이들 보정 중 하나 이상은 개별적으로 또는 독립적으로 적용된다.

일 실시형태에서, 중심와 디스플레이가 다초점인 경우, 데이터는 중심와 디스플레이에 대한 다수의 초점 평면 사이에서 교대한다.

데이터는 스왑체인을 위해 패킹된다.

그 다음, 중심와 스왑체인, 또는 다른 버퍼가 업데이트된다.

렌더링이 유효한지의 여부의 중심와 매니저의 결정으로 돌아가서, 중심와 렌더가 유효하지만, 그러나 미러 움직임이 연기되는 경우, 일 실시형태에서, 이전의 중심와 텍스처가 샘플링된다. 일 실시형태에서, 미러 움직임은 연기될 수도 있는데, 그 이유는, 중심와 이미지를 올바르게 디스플레이하는 데 필요한 시간 프레임에서 미러가 의도된 포지션에 도달할 수 없고 거기에서 안정화될 수 없기 때문이다. 일 실시형태에서, 이동 커맨드를 트리거하는 이벤트 데드라인이 누락되기 때문에, 미러 움직임이 연기될 수도 있다.

미러 움직임이 연기되었기 때문에, 미러의 투영된 새로운 포지션에 기초하는 업데이트된 렌더는 정확하지 않다. 따라서, 이전의 중심와 텍스처가 샘플링되고, 필드 디스플레이의 컷아웃 포지션은 미러의 지연된 움직임에 기초하여 컷아웃의 실제 위치에 매칭된다.

미러 연기는, 다음의 것을 포함하는 그러나 이들로 제한되지는 않는 다양한 이유 때문에 중심와 렌더가 유효한 경우에 발생할 수 있다:

미러 이동을, 업데이트된 중심와 이미지가 사용자에게 디스플레이될 때와 정렬하기 위해 미러 이동이 연기되는 파이프라인 지연;

미러는 새로운 포지션 움직임(positional movement)에 대한 준비가 되어 있지 않음;

이때 미러를 움직이는 것은 사용자의 시각적 경험을 저하시킬 것임;

장면 내의 콘텐츠가 미러 포지션을 지시하기 위해 사용되고, 주목하는 콘텐츠가 가장 최근에 렌더링된 중심와 프레임과 포지션에서(positionally) 정렬되지 않음;

사용자의 시선이 이전 위치로 되돌아 갔음;

잘못된 시선 이동이 검출되었음;

큰 단속적 운동(단속적 운동)이 검출되었고 시스템은 큰 미러 이동을 준비하고 있거나, 또는 미러 이동 사이즈를 변경하고 있음;

호스트 시스템은, 미러 이동 메시지를 미러에 이르기까지 전송하기 위한 타이밍 데드라인을 놓쳤다는 것을 검출함;

미러가 이동되지 않아야 한다는 것을 나타내는 새로운 포즈 데이터가 도달하였음;

등.

렌더가 유효하지만, 그러나 미러 이동이 연기되는 경우, 샘플링된 이전의 중심와 텍스처가 왜곡 보정으로 전달된다.

중심와 렌더가 유효하지 않는다는 것을 중심와 매니저가 결정하는 경우, 그것은, 중심와 렌더 데이터가 사용될 수 없으며, 이미지가 올바른 위치에서 다시 렌더링되어야 한다는 것을 의미한다. 일 실시형태에서, 이것은, 렌더링 엔진이 중심와 이미지를 다시 렌더링해야만 하기 때문에 느린 경로로서 지칭된다. 일 실시형태에서, 중심와 디스플레이는 중심와 이미지를 디스플레이하기 위해 재투영된 필드 텍스처 및 중심와 텍스처 중 하나 또는 둘 모두로부터 재샘플링될(resample) 수도 있다. 일 실시형태에서, 실제 중심와 영역이 렌더링된 데이터와 중첩되지 않는 경우, 시스템은 중심와 디스플레이를 턴오프하고 필드 디스플레이만을 활용할 수도 있다. 일 실시형태에서, 상기에서 논의되는 고속 LED 차단 기술이 사용된다.

상기에서 언급되는 바와 같이, 합성 필드 디스플레이 데이터 및 중심와 디스플레이 데이터 둘 모두는 프레임으로 패킹된다. 일 실시형태에서, 우측 및 좌측에 대한 이미지 데이터는 단일의 디스플레이 프레임으로 패킹된다. 일 실시형태에서, 프레임 패킹 포맷은 변할 수도 있다. 일 실시형태에서, 프레임 패킹은 좌측 이미지 및 우측 이미지를 단일의 디스플레이 프레임으로 패킹할 수도 있다. 일 실시형태에서, 모두 네 개의 데이터 세트(필드 디스플레이에 대한 좌측 및 우측 및 중심와 디스플레이에 대한 좌측 및 우측)는 단일의 프레임으로 패킹될 수도 있다. 일 실시형태에서, 각각의 데이터 세트(필드 디스플레이에 대한 좌측 및 우측 및 중심와 디스플레이에 대한 좌측 및 우측)는 그 자신의 별개의 프레임으로 패킹된다.

일 실시형태에서, 시스템은, 필드 디스플레이 및 중심와 디스플레이의 상대적 사이즈를 고려하기 위해, 프레임 패킹을 위한 커스텀 인터레이싱(custom interlacing)을 사용할 수도 있다. 일 실시형태에서, 중심와 디스플레이는 720×720일 수도 있고, 한편 필드 디스플레이는 1280×720일 수도 있다. 프레임 패킹은 둘 모두를 포괄하는 2000×720 프레임으로서 패킹될 수도 있다. 디스플레이를 위해 프레임 데이터를 언패킹하기 위해, 필드 프로그래머블 게이트 어레이(field programmable gate array: FPGA), 주문형 집적 회로(application specific integrated circuit: ASIC), 시스템 온 칩(system-on-a-chip: SOC), 또는 다른 프로세서가 디스플레이 컨트롤러 내에서 사용될 수도 있다.

일 실시형태에서, 단일의 눈에 대한 시야 및 중심와 디스플레이 각각은 단일의 디스플레이의 일부이다. 이 경우, 필드 및 중심와 디스플레이 이미지는 단일의 더 큰 프레임으로 패킹될 수도 있는데, 여기서 더 큰 프레임은 디스플레이 패널의 사이즈이다. 예를 들면, 눈에 대한 전체 디스플레이는 1280×720 패널일 수도 있고, 필드 디스플레이는 패널의 좌측 상의 640×720 섹션으로 패킹될 수 있고, 중심와 디스플레이는 패널의 우측 상의 640×720 섹션으로 패킹될 수 있다. 다른 실시형태에서, 필드 및 중심와 디스플레이는 동일한 해상도를 갖지 않는다. 다른 실시형태에서, 필드 및 중심와 디스플레이들의 조합은 전체 디스플레이 패널을 다 사용하지는 않는다. 이 실시형태에서, 일 실시형태에서, 미사용 픽셀은 블랙일 수 있거나, 또는 시스템에서 광학적으로 차단될 수 있어서, 필드 디스플레이와 중심와 디스플레이 사이의 광학적 분리를 허용할 수 있다. 일 실시형태에서, 디스플레이 패널의 미사용 부분은 물리적으로 차단될 수도 있다. 이것은 향상된 명암비(contrast ratio)를 제공할 수도 있다.

사용될 수도 있는 프레임 패킹 접근법 중 일부는 다음의 것을 포함할 수도 있다:

(하나의 디스플레이 프레임으로의) 필드에 대한 스테레오 좌측/우측 컬러;

초점 평면 0에 대한 시간 T0에서 (하나의 디스플레이 프레임으로의) 중심와에 대한 스테레오 좌측/우측 컬러 및 중심와 디스플레이로 교대로 전송한다; 그리고

초점 평면 1에 대한 시간 T1에서 (하나의 디스플레이 프레임으로의) 중심와에 대한 스테레오 좌측/우측 컬러 및 중심와 디스플레이로 교대로 전송한다.

다른 실시형태에서, 패킹 레벨은 상이할 수도 있다. 예를 들면, 일 실시형태에서, 모든 렌더링된 텍스처(컬러 + 깊이)는 패킹되고 다수의 디스플레이를 갖는 하나의 디바이스로 함께 전송된다(본질적으로, 깊이 대 초점 평면 변환을 포함하는 디바이스 상에서 합성함). 다른 실시형태에서, 모든 합성 사후 텍스처(post-composited texture)는 단일의 프레임으로 패킹되고 하나의 디바이스로 전송된다(디바이스는 언패킹 이후 T0 및 T1에 대한 필드 및 초점 평면을 순차적으로 제시함). 다른 실시형태에서, 상기의 단일의 시간 T0 또는 T1에 대한 모든 합성 사후 텍스처는 하나의 디바이스 및 호스트 시퀀스로 함께 전송된다. 다른 실시형태에서, (다수의 평면에 대한) 모든 중심와 텍스처는, 시간 순차적으로 전송되는 대신, 함께 패킹되지만, 그러나 필드 텍스처는 독립적으로 전송되고, 디바이스는 평면을 시퀀스화한다. 일 실시형태에서, 스테레오 좌측/우측에 대한 모든 초점 평면에 대한 텍스처는 모두 독립적으로 전송된다(본질적으로 패킹 없음). 일 실시형태에서, 패킹된 프레임 데이터는 전체 프레임의 서브세트만을 포함할 수도 있다. 일 실시형태에서, 프레임 데이터는 압축될 수도 있다.

도 4b는 중심와 매니저(455)의 엘리먼트의 일 실시형태의 블록도이다. 중심와 영역 프로세서(460)는, 시스템 및 미러 성능 및 레이턴시를 설명하는 시스템 데이터(495), 및 현재 미러 포지션 및 Vsync까지의 시간, 및 시스템의 현재의 상태를 설명하는 다른 데이터를 포함하는 상태 데이터(490)를 활용한다. 일 실시형태에서, 중심와 영역 프로세서(460)는, 예측된 포즈 로직(465)으로부터 포지션 및 벡터 데이터, 다가오는 장면(들)(475)에 대한 장면 메타데이터, 및 예측된 시선 시스템(467)으로부터 시선 벡터 및 눈 움직임 분류를 수신한다. 중심와 영역 프로세서(460)는 중심와 뷰포트(480), 및 미러 제어 출력(485)을 계산하기 위해 이 데이터를 활용한다.

일 실시형태에서, 중심와 영역 프로세서(460)는 실시간 출력을 생성하기 위해 실시간 입력을 활용한다. 그러나, 중심와 영역 프로세서(460)는, 중심와 디스플레이가 지향되어야 하는 곳을 결정하기 위해 다양한 데이터 입력에 기초한 분석을 활용할 수 있다. 일 실시형태에서, 시스템은 중심와 디스플레이에 대한 최상의 포지션 및 데이터를 계산하기 위해 머신 러닝을 사용한다. 중심와 영역 프로세서(460)는, 상태 데이터, 시스템 데이터, 및 다가오는 장면 데이터/예측된 시선 및 포즈 데이터를 비롯한, 자신에게 이용 가능한 데이터에 기초하여, 비생산적인 이동을 제거하기 위해 고급 필터링을 사용한다. 일 실시형태에서, 고급 필터링은 특정한 사용 사례에 고유하다. 일 실시형태에서, 고급 필터링은 사용자에 고유하다. 일 실시형태에서, 중심와 영역 프로세서는 아티팩트를 감소시키고/시각적 품질을 최적화하기 위해 무엇을 그리고 어디에 디스플레이할지를 결정할 수도 있다. 중심와 뷰 포트(480), 및 관련된 미러 제어 출력(485)을 결정함에 있어서, 미러 움직임의 감소, 눈의 피로를 감소시키는 것, 및 전력 소비를 감소시키는 것과 같은 다른 요인도 중심와 영역 프로세서에 의해 또한 고려될 수도 있다.

일 실시형태에서, 중심와 영역 프로세서(460)는, 미래에 XYZ를 행하기 위한 요청, 예를 들면, 특정한 위치에서 중심와 영역 데이터를 디스플레이하기 위한 요청 수신한다. 중심와 영역 프로세서(460)는, 상기의 입력에 기초하여, 무엇을 할 것인지, 예를 들면, 시간 A'까지 X'Y'Z'를 할 것이다는 것을 결정한다. 이 데이터는, 시간 A'까지 중심와 디스플레이가 이용 가능하도록 X'Y'Z' 데이터를 렌더링하기 위해, 렌더링 엔진으로 피드백된다.

도 5A 및 도 5B는 시스템에서의 눈 추적 및 미러 제어의 일 실시형태의 플로우차트이다. 도 5A는 호스트 CPU 및 눈 추적기 흐름의 일 실시형태를 예시하고, 한편, 도 5B는 대응하는 헤드셋 마이크로컨트롤러 유닛(microcontroller unit: MCU) 및 미러 제어 흐름의 일 실시형태를 예시한다.

프로세스는 새로운 눈 추적 데이터가 수신되는 경우 블록(505)에서 시작된다. 블록(510)에서, 데이터가 필터링되고, 새로운 시선 벡터가 계산된다.

일 실시형태에서, 그 다음, 데이터가 분석된다. 일 실시형태에서, 눈 움직임이 분류된다. 일 실시형태에서, 분류는 단속적 운동 및 원활 추종 운동(smooth pursuit)과 같은 움직임을 포함할 수도 있다. 일 실시형태에서, 마지막 미러 이동 이후 경과된 시간이 또한 분석되고, 시스템은 미러가 이동되면 사용자 경험이 저하될 것인지의 여부를 결정한다.

그 다음, 시스템은, 미러가 이동되는 경우 사용자 경험이 저하될 것인지/향상될 것인지의 여부에 기초하여, 블록(515)에서, 미러를 이동할지의 여부를 결정한다. 미러를 이동하지 않기로 결정한 경우, 블록(520)에서, 프로세스는 종료된다. 미러는 이동되지 않고, 디스플레이될 새로운 프레임이 생성되지 않는다.

블록(515)에서 미러를 이동시키는 것이 결정이면, 블록(522)에서, 프로세스는 미러 이동이 연기되어야 하는지의 여부를 결정한다. 미러 움직임은, 데이터 제한, 물리적 제한, 또는 다른 이유에 기인하여, 상기에서 논의되는 바와 같이, 연기될 수도 있다. 블록(522)에서, 이동을 연기할 것을 프로세스가 결정하면, 블록(524)에서, 미러 이동은 필요로 되는 기간 동안 연기된다. 일 실시형태에서, 미러 이동은 한 프레임 동안 연기될 수도 있다. 연기가 끝난 이후, 프로세스는 블록(525)으로 복귀한다. 이동이 연기되지 않으면, 블록(522)에서, 프로세스는 바로 블록(525)으로 계속된다.

블록(525)에서, 프로세스는 새로운 중심와 영역 데이터를 렌더러로 전송한다. 렌더러는 블록(530)에서 최신 중심와 영역을 렌더링한다. 이것은, 일 실시형태에서, 미러 움직임과 비동기적으로 행해진다.

이동 명령어가 수신되는 경우, 그리고 일 실시형태에서 새로운 중심와 영역 데이터를 렌더러로 전송하는 것과 병렬로, 시스템은, 블록(535)에서, 새로운 미러 좌표를 헤드셋에 전송한다. 일 실시형태에서, 헤드셋으로 전송되는 데이터는, 목적지 좌표와 함께, 미러 이동 커맨드(move mirror command)를 포함한다. 일 실시형태에서, 데이터는 또한, 미러 지연의 길이를 명시하는 미러 이동 연기 데이터를 포함한다. 미러 지연은, 미러 움직임이 개시되어야 할 때까지의 시간이다. 일 실시형태에서, 미러 지연은, 중심와 디스플레이가 중지되어야 할 때까지의 시간을 또한 포함한다. 이 지연은 이동 연기 시간으로서 지칭될 수 있다.

일 실시형태에서, 포지션 및 미러 지연(만약 있다면)은 눈 움직임 분류 및 시선 데이터에 기초하여 계산된다. 이 데이터는, 블록(537)에서, 새로운 미러 좌표와 함께 헤드셋 MCU 및 미러 제어부로 전송된다. 일 실시형태에서, 미러 움직임 동안, 중심와 디스플레이는 소멸된다.

일 실시형태에서, 미러 움직임이 중심와 디스플레이의 이용 가능성의 일시적으로 결여로 나타나기 때문에, 블록(540)에서, 중심와 디스플레이에 대한 이전 위치에서의 필드 디스플레이 내의 구멍은 채워진다. 일 실시형태에서, 시스템은, 미러 움직임의 크기, 및 디스플레이 표현 시간의 스택업(stackup)에 기초하여, 얼마나 많은 필드 디스플레이 프레임을 채울지를 조사한다(look up). 일 실시형태에서, 미러의 움직임을 위한 그리고 안정화 시간(settling time)을 위한 시간의 길이는 룩업 테이블을 사용하여 계산된다. 일 실시형태에서, 미러에서의 움직임이 안정화 임계치 이내에 있고, 따라서 중심와 디스플레이가 사용에 대해 이용 가능하다는 것을 나타내는 미러 안정화 신호는 헤드셋 MCU로부터 다시 전송되어(블록(585) 참조) 이 루프를 닫을 수도 있다.

일 실시형태에서, 헤드셋 MCU 및 미러 제어부로 전송되는 데이터는, 미러가 자신의 목적지에 도달하고 중심와 디스플레이가 사용자의 경험을 저하시키지 않으면서 안전하게 디스플레이될 수 있는 때를 정의하는 안정화 기준(settling criteria)을 포함한다. 일 실시형태에서, 이 안정화 기준은, 포지션 정확도 데이터뿐만 아니라, 미러가 타깃 목적지의 정확도 한계 내에 있어야만 하는 시간의 양을 포함한다.

일 실시형태에서, 안정화 기준은 동적으로 설정된다. 안정화 기준은, 조향 이동의 사이즈, 시선 검출기에 의해 보고되는 시선 변화의 사이즈, 장면 내의 콘텐츠 등에 기초하여 동적으로 결정될 수도 있다.

일 실시형태에서, 필드 디스플레이 내의 구멍을 채우는 시간의 길이가 0 프레임인 경우, 필드 디스플레이는 필드 디스플레이 내의 구멍을 결코 채우지 않고, 블록(542)에서, 우회 경로가 사용되어, 블록(555)으로 바로 이동한다.

일 실시형태에서, 채움 데이터는 렌더링된 필드 디스플레이 데이터, 렌더링된 중심와 데이터, 이전 프레임으로부터의 중심와 데이터, 재프로세싱된 필드 디스플레이 데이터, 또는 상기 타입의 데이터의 조합일 수도 있다.

일 실시형태에서, 채우기는, 블록(545)에서, 점진적인 밝기 채움 및 비우기(unfill)를 활용한다. 일 실시형태에서, 채우기는 블록(545)에서 안티 앨리어싱, 공간 디더링, 시간 디더링, 블러 등과 같은 하나 이상의 필터링 방법을 사용할 수도 있다. 필드 디스플레이를 채우기 위해 사용되는 다양한 필터링 방법은, 지속성이 낮은 디스플레이에서 밝기에서의 급격한 변화에 의해 야기되는 플래시와 같은 시각적 아티팩트를 채움 프로세스 동안 방지하도록 설계된다. 일 실시형태에서, 단속적인 마스킹이 롤오프될 때 단속적 운동의 끝에서 시각적 아티팩트를 최소화하기 위해 점진적 블렌딩이 활용된다.

지속성이 낮은 디스플레이는, 프레임의 작은 부분 동안만, 예를 들면, 11㎳ 프레임 중 2㎳ 동안만 턴온된다; 이것은 헤드 마운트형 디스플레이에서 이상 진동(judder)을 방지할 것이다. 지속성이 낮은 필드 디스플레이로부터의 플래시가 이전에 디스플레이되었던 중심와 프레임에 추가되고 눈은 이 조합을 너무 밝은 것으로 보기 때문에, 중심와 프레임이 디스플레이된 직후 필드 디스플레이가 채워질 때 이상 진동은 원치 않는 플래시를 야기할 수 있다. 일 실시형태에서, 이 플래시는 중심와 디스플레이가 차단된 이후 제1 프레임에 대한 필드 디스플레이를 위해 채워지는 밝기를 감소시키는 것에 의해 완화될 수 있다. 일 실시형태에서, 그 제1 프레임에서 필드 디스플레이를 위해 밝기의 절반만이 채워진다. 일 실시형태에서, 필드 디스플레이의 밝기는 제1 프레임에 대해 10-90 %일 수도 있다. 일 실시형태에서, 이것은, 전이 동안 사용자가 균일한 밝기를 감지한다는 것을 의미한다. 일 실시형태에서, 필드 디스플레이 밝기는, 컷아웃이 채워질 때, 여러 프레임에 걸쳐 증가된다.

블록(550)에서, 일 실시형태에서, 프로세스는 미러 움직임에 대해 충분한 시간이 경과했는지의 여부를 결정한다. 일 실시형태에서, 이러한 결정은, 움직임에 대한 시간의 양을 나타내는 룩업 테이블에 기초하여 만들어진다. 그렇지 않은 경우, 프로세스가 계속 대기한다. 일 실시형태에서, 대기 동안 필드 디스플레이는 상기에서 언급되는 바와 같은 컷아웃 없이 도시된다.

일단 충분한 시간이 경과하면, 블록(555)에서, 일 실시형태에서, 프로세스는 생성되었던 중심와 이미지가 미러 목적지에 대해 정확한지의 여부를 결정한다. 만약 그렇지 않다면, 일 실시형태에서, 프로세스는 이전 중심와 프레임으로부터의 데이터를 사용한다. 다른 실시형태에서, 필드 데이터가 사용될 수도 있다. 일 실시형태에서, 어떤 데이터가 사용되는지는, 위치 미스매치가 없고 따라서 그것이 잘못을 나타낼 것이다는 것을 보장하기 위해, 중심와 미러의 실제 포지션에 대해 이용 가능한 가장 정확한 데이터가 무엇인지에 의존한다.

일단 중심와 이미지가 정확한 것으로 결정되면, 블록(560)에서, 중심와 구멍은 필드 디스플레이 밖의 새로운 위치에서 펀칭된다. 일 실시형태에서, "중심와 디스플레이 인에이블" 커맨드는 블록(565)에서 헤드셋으로 전송된다. 일 실시형태에서, 이들 두 개의 엘리먼트, 즉, 블록(560 및 565)은 비동기적이다. 도 6의 타이밍도는 더 많은 세부 사항을 제공한다.

도 5B를 참조하면, 블록(570)에서, 헤드셋 MCU는 블록(537)에서 호스트 CPU 및 눈 추적기에 의해 전송되는 미러 이동 커맨드를 수신한다.

블록(571)에서, 프로세스는, 블록(537)에서 결정되는 바와 같이, 미러 움직임이 연기되어야 하는지의 여부를 결정한다. 만약 그렇다면, 미러 이동 및 중심와 디스플레이의 표시는 제공되는 데이터에 기초하여 지연된다.

블록(573)에서, 일 실시형태에서, 중심와 디스플레이는 표시되지 않는다. 일 실시형태에서, 중심와 디스플레이의 조명 소스가 디스에이블되기 때문에 중심와 디스플레이는 표시되지 않는다. 중심와 디스플레이 조명 소스를 디스에이블하는 것은, 실제로, 중심와 디스플레이를 턴오프한다. 일 실시형태에서, 중심와 디스플레이는, 블랭크(검은색) 프레임을 전송하는 것에 의해 보이지 않게 되는 것에 의해 표시되지 않을 수도 있다. 일 실시형태에서, 중심와 디스플레이 조명 소스를 디스에이블하거나 또는 블랙 프레임을 전송하는 대신, 시스템은 다른 방식으로 중심와 디스플레이의 표시를 중지할 수 있다.

일 실시형태에서, 움직임은 중심와 디스플레이가 블록(575)에서 표시되지 않는 것을 보장하기에 충분히 오래 지연된다. 일 실시형태에서, 지연은 1.2㎳이다. 일 실시형태에서, 지연은 4㎳ 미만이다. 일 실시형태에서, "미러 이동 커맨드"를 전송함에 있어서 조명 소스가 꺼지는 것을 보장하기에 지연 시간이 충분하기 때문에, 지연은 없다.

추가적으로, 블록(577)에서, 시스템은, 일 실시형태에서, 이 미러 이동에 대한 미러 움직임 제어 계수를 조사한다. 이들 파라미터는 시작 위치, 움직임의 사이즈, 및 움직임의 방향에 기초한다. 방향은, 그것이 움직임의 복귀 스프링력에 영향을 줄 수 있기 때문에, 일 실시형태에서 관련된다. 일 실시형태에서, PID(proportional, integral, differential: 비례, 적분, 미분) 제어 루프가 사용된다. 블록(580)에서, 프로세스는 제어 루프 계수를 업데이트하고 제어 루프에서 새로운 포지션 타깃을 설정한다. 그 다음, 미러 움직임이 시작된다.

블록(583)에서, 움직임이 취해진다. 일 실시형태에서, 사용되는 움직임은, 뱅뱅 제어로서 지칭되는 빠른 움직임 및 제동이다. 일 실시형태에서, 짧은 하드 턴온(hard turn-on)은 이동을 시작하여, 노이즈 플로어(noise floor)를 극복하고, 그 다음, 제어 알고리즘은 미러를 정확하게 위치 결정하기 위해 움직임을 인계받는다. 일 실시형태에서, 움직임의 끝에서, 미러는 잔류 진동을 가질 수도 있다.

블록(585)에서, 프로세스는, 미러가 새로운 타깃 목적지에서 안정화되었지의 여부를 결정한다. 일 실시형태에서, 미러는, 더 이상 움직이지 않거나 또는 진동하지 않을 때 안정화된 것으로 간주된다. 일 실시형태에서, 미러는, 최종 포지션에 대한 나머지 미러 움직임 및 부정확도가 통상적인 뷰어의 시각적 경험을 저하시키지 않을 때, 안정화된 것으로 간주된다. 일 실시형태에서, 1-5 아크(arc)의 움직임은 안정된 것으로 간주된다. 상기에서 논의되는 바와 같이, 일 실시형태에서, 안정화된 미러에 대한 임계치는 동적이다. 미러가 안정화되면, 블록(587)에서, 프로세스는 "중심와 디스플레이 인에이블" 커맨드가 수신되었는지의 여부를 결정한다. 상기에서 논의되는 블록(565)에서 전송되는 이 커맨드는 호스트 CPU 및 눈 추적기로부터 수신된다.

만약 그렇다면, 블록(580)에서, 중심와 디스플레이에 대한 조명 소스가 인에이블된다. 이 시점에서 사용자는 필드 디스플레이의 컷아웃에서 올바르게 위치 결정된 중심와 디스플레이를 갖는 필드 디스플레이를 본다.

도 5A 및 도 5B는 조향 가능 중심와 디스플레이의 일 실시형태에서의 조향 제어를 위한 플로우차트이다. 기술 분야에서 숙련된 자는, 동일한 시스템을 다른 유사한 실시형태로 확장하는 방법을 이해할 것이다. 상기에서 설명되는 바와 같이, 일 실시형태에서, 조향 가능 엘리먼트는 미러가 아니다. 일 실시형태에서, 호스트 CPU 및 눈 추적기는 헤드셋 MCU 및 미러 제어부와 통합된다.

도 6 및 도 7은 타이밍 아키텍처의 실시형태를 도시하는 타이밍도이다.

도 6은, 눈 추적기 시스템, 필드 디스플레이, 중심와 디스플레이, 중심와 디스플레이 프레임 버퍼, 및 중심와 렌더 윈도우에 의해 취해지는 액션의 상대적 타이밍을 도시하는 타이밍도의 일 실시형태를 예시한다. 추가적으로, 헤드 마운트형 디스플레이(head mounted display: HMD)에 대한 커맨드 및 사용자 뷰가 예시된다.

커맨드의 상대적 타이밍이 이들 시스템 사이의 관계에 기초하지만, 일 실시형태에서, 필드 디스플레이 및 중심와 디스플레이는 별개의 클록에 의거하고 동기화되지 않는다는 것을 유의한다.

도 6은 원활 추종 운동 타입의 눈 움직임에 대해 (눈 추적기 시스템으로부터) 새로운 시선 벡터가 보고된 이후의 60 밀리초 기간을 예시한다. 이 예시에서 미러 움직임은 9㎳가 걸리는데, 그 동안 필드 프레임 0은 펀치아웃(punchout)이 채어진 상태에서, 그리고 어떠한 중심와 프레임도 디스플레이되지 않은 상태에서 디스플레이된다. 알 수 있는 바와 같이, 미러 움직임이 완료된 이후, 시간 21㎳에서, 중심와 LED는 턴오프되고, 시간 32㎳에서 중심와 LED는 다시 턴 온되고, 미러가 안정화된 것으로 보고된다.

도 6은 필드 디스플레이의 듀티 사이클을 또한 예시한다. 일 실시형태에서, 필드 디스플레이는 11 밀리초 중 2 밀리초 동안 점등된다(예를 들면, 필드 디스플레이가 어두운 때인 9 밀리초가 있다). 이러한 타입의 듀티 사이클은 디스플레이에 대한 분야에 공지되어 있다. 일 실시형태에서, 중심와 디스플레이는 그러한 듀티 사이클 없이 연속적으로 디스플레이된다. 다른 실시형태에서, 중심와 디스플레이는 필드 디스플레이가 점등되는 것과 동일한 방식으로 프레임의 일부에 대해서만 또한 점등될 수도 있다.

일 실시형태에서, 중심와 디스플레이는 다수의 깊이를 가지는데, 예를 들면, 그것은 다초점 디스플레이이다. 일 실시형태에서, 그러한 다초점 디스플레이의 경우, 깊이는 순차적으로 디스플레이되는데, 예를 들면, 프레임 0의 경우, 제1 프레임 부분은 깊이 A이고 제2 프레임 부분은 깊이 B이다. 두 개의 프레임 깊이만이 도시되지만, 다초점 디스플레이는 두 개보다 더 많은 것을 포함할 수도 있다. 다초점 디스플레이의 일 실시형태에서, 프레임 0은 깊이 A를 디스플레이하고 프레임 1은 깊이 B를 디스플레이한다.

원활 추종 운동과는 달리, 단속적 운동 움직임 사이즈는 고도로 가변적이다. 따라서, 움직임은 다수의 프레임에 걸쳐 확장될 수도 있다. 이것은 중심와 디스플레이가 없는 다수의 필드 프레임이 있을 수도 있다는 것을 의미한다. 기술 분야에서 숙련된 자는 더 긴 움직임을 위한 도 6에서 도시되는 프레임 디스플레이 타이밍의 연장을 이해할 것이다.

도 7은 동기식 시스템에 대한 타이밍도의 일 실시형태를 도시한다. 일 실시형태에서, 시스템은 동기화되고, 모든 서브시스템은 동일한 시간 기준 상에서, 예컨대 단일의 통합 컨트롤러가 시스템의 모든 엘리먼트를 제어하는 시스템 온 칩(system-on-a-chip) 상에서 실행된다. 일 실시형태에서, 중심와 디스플레이는 프레임마다 오프 기간을 갖는다. 일 실시형태에서, 조향 가능 엘리먼트는, 조향 가능 엘리먼트가 이동될 때 통상적인 뷰어의 시각적 경험의 저하가 없도록, 중심와 디스플레이의 오프 기간 동안 이동된다. 일 실시형태에서, 필드 및 중심와 디스플레이 각각은, 상기에서 논의되는 바와 같이, 단일의 더 큰 디스플레이의 일부이다.

도 7에서, 필드 및 중심와 디스플레이는 동기식으로 리프레시된다. 추가적으로, 중심와 디스플레이는 블랭킹 기간을 갖는다. 중심와 디스플레이의 조정 가능한 엘리먼트가 이동될 필요가 있는 경우, 그것은 이 블랭킹 기간 동안 이동된다. 도 7의 예에서, 22㎳의 시간에서 새로운 시선 포지션이 보고된다. 조향 가능 디스플레이 중심와 디스플레이 및 필드 디스플레이는 업데이트되고 하나의 프레임인 11㎳ 이후 33㎳에서 새로운 시선 포지션을 디스플레이한다. 이 예에서, 필드 및 중심와 디스플레이 둘 모두는 90㎐의 프레임 레이트를 갖는다.

동기식 디스플레이는, 필드 및 중심와 디스플레이가 서로의 정수배에 있는 상태에서 또한 실행될 수도 있다.

도 8은 렌더링 엔진과 함께 사용될 수도 있는 컴퓨터 시스템의 블록도이다. 그러나, 기술 분야에서 통상의 지식을 가진 자에게는, 다양한 시스템 아키텍처의 다른 대안적인 시스템이 또한 사용될 수도 있다는 것이 명백할 것이다.

도 8에서 예시되는 데이터 프로세싱 시스템은, 정보를 전달하기 위한 버스 또는 다른 내부 통신 수단(840), 및 정보를 프로세싱하기 위한, 버스(840)에 커플링되는 프로세싱 유닛(810)을 포함한다. 프로세싱 유닛(810)은 중앙 프로세싱 유닛(central processing unit: CPU), 디지털 신호 프로세서(digital signal processor: DSP), 또는 다른 타입의 프로세싱 유닛(810)일 수도 있다.

시스템은, 일 실시형태에서, 프로세서(810)에 의해 실행될 정보 및 명령어를 저장하기 위한, 버스(840)에 커플링되는 랜덤 액세스 메모리(random access memory: RAM) 또는 다른 휘발성 스토리지 디바이스(820)(메모리로 지칭됨)를 더 포함한다. 메인 메모리(820)는 또한, 프로세싱 유닛(810)에 의한 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수도 있다.

시스템은 또한, 일 실시형태에서, 프로세서(810)에 대한 정적 정보 및 명령어를 저장하기 위한, 버스(840)에 커플링되는 판독 전용 메모리(ROM)(850) 및/또는 정적 스토리지 디바이스(850)를 포함한다. 일 실시형태에서, 시스템은 또한, 자기 디스크 또는 광학 디스크 및 그것의 대응하는 디스크 드라이브, 또는 시스템에 어떠한 전력도 공급되지 않을 때 데이터를 저장할 수 있는 플래시 메모리 또는 다른 스토리지와 같은 데이터 스토리지 디바이스(830)를 포함한다. 일 실시형태에서, 데이터 스토리지 디바이스(830)는 정보 및 명령어를 저장하기 위해 버스(840)에 커플링된다.

시스템은 또한, 정보를 출력하기 위한, 버스(860)를 통해 버스(840)에 커플링되는 음극선관(cathode ray tube: CRT) 또는 액정 디스플레이(liquid crystal display: LCD)와 같은 출력 디바이스(870)에 커플링될 수도 있다. 출력 디바이스(870)는 시각적 출력 디바이스, 오디오 출력 디바이스 및/또는 촉각 출력 디바이스(예를 들면, 진동 등)일 수도 있다.

입력 디바이스(875)는 버스(860)에 커플링될 수도 있다. 입력 디바이스(875)는, 사용자가 정보 및 커맨드 선택을 프로세싱 유닛(810)에 전달하는 것을 가능하게 하기 위한, 영숫자 및 다른 키를 포함하는 키보드와 같은 영숫자 입력 디바이스일 수도 있다. 추가적인 사용자 입력 디바이스(880)가 더 포함될 수도 있다. 하나의 그러한 사용자 입력 디바이스(880)는, 방향 정보 및 커맨드 선택을 프로세싱 유닛(810)에 전달하기 위한, 그리고 디스플레이 디바이스(870) 상에서 이동을 제어하기 위한, 버스(860)를 통해 버스(840)에 커플링될 수도 있는 커서 제어 디바이스(880), 예컨대, 마우스, 트랙볼, 스타일러스, 커서 방향 키, 또는 터치 스크린이다.

옵션 사항으로 컴퓨터 시스템(800)에 커플링될 수도 있는 다른 디바이스는, 네트워크를 통해 분산 시스템의 다른 노드에 액세스하기 위한 네트워크 디바이스(885)이다. 통신 디바이스(885)는, 이더넷, 토큰 링, 인터넷, 또는 광역 네트워크, 개인 영역 네트워크, 무선 네트워크 또는 다른 디바이스에 액세스하는 다른 방법에 커플링하기 위해 사용되는 것들과 같은 다수의 상업적으로 이용 가능한 네트워킹 주변장치 디바이스 중 임의의 것을 포함할 수도 있다. 통신 디바이스(885)는 또한, 널 모뎀 연결, 또는 컴퓨터 시스템(800)과 외부 세계 사이의 연결성을 제공하는 임의의 다른 메커니즘일 수도 있다.

도 8에서 예시되는 이 시스템의 컴포넌트 중 임의의 것 또는 모두 및 관련 하드웨어는 본 발명의 다양한 실시형태에서 사용될 수도 있다는 것을 유의한다.

본 발명을 구현하는 특정한 머신은 특정한 구현에 따라 다양한 방식으로 구성될 수도 있다는 것이 기술 분야에서 통상의 지식을 가진 자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는, 메인 메모리(820), 대용량 스토리지 디바이스(830), 또는 프로세서(810)가 로컬로 또는 원격으로 액세스 가능한 다른 저장 매체에 저장될 수 있다.

본원에서 설명되는 시스템, 방법 및 프로세스는 메인 메모리(820) 또는 판독 전용 메모리(850)에 저장되는 소프트웨어로서 구현될 수 있고 프로세서(810)에 의해 실행될 수 있다는 것이 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 이 제어 로직 또는 소프트웨어는 또한, 컴퓨터 판독 가능 프로그램 코드가 구현되고 대량 스토리지 디바이스(830)에 의해 판독 가능하며 프로세서(810)로 하여금 본원에서의 방법 및 교시에 따라 동작하게 하기 위한 컴퓨터 판독 가능 매체를 포함하는 제조 물품 상에 상주할 수도 있다.

본 발명은 또한, 상기에서 설명되는 컴퓨터 하드웨어 컴포넌트의 서브세트를 포함하는 핸드헬드 또는 휴대용 디바이스에서 구현될 수도 있다. 예를 들면, 핸드헬드 디바이스는, 버스(840), 프로세서(810), 및 메모리(850 및/또는 820)만을 포함하도록 구성될 수도 있다.

핸드헬드 디바이스는 버튼 또는 입력 시그널링 컴포넌트의 세트를 포함하도록 구성될 수도 있는데, 사용자는, 버튼 또는 입력 시그널링 컴포넌트의 세트를 사용하여, 이용 가능한 옵션의 세트로부터 선택할 수도 있다. 이들은 입력 디바이스 #1(875) 또는 입력 디바이스 # 2(880)로 간주될 수 있다. 핸드헬드 디바이스는 또한, 핸드헬드 디바이스의 사용자에게 정보를 디스플레이하기 위한 액정 디스플레이(LCD) 또는 디스플레이 엘리먼트 매트릭스와 같은 출력 디바이스(870)를 포함하도록 구성될 수도 있다. 그러한 핸드헬드 디바이스를 구현하기 위해 종래의 방법이 사용될 수도 있다. 그러한 디바이스에 대한 본 발명의 구현예는, 본원에서 제공되는 바와 같은 본 발명의 개시가 주어지면, 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.

본 발명은 또한, 키오스크 또는 차량과 같은, 상기에서 설명되는 컴퓨터 하드웨어 컴포넌트의 서브세트를 포함하는 특수 목적 어플라이언스(appliance)에서 구현될 수도 있다. 예를 들면, 어플라이언스는, 프로세싱 유닛(810), 데이터 스토리지 디바이스(830), 버스(840), 및 메모리(820)를 포함할 수도 있고, 어떠한 입력/출력 메커니즘도 포함하지 않을 수도 있거나, 또는 사용자가 기본적인 방식으로 디바이스와 통신하는 것을 허용하는 작은 터치 스크린과 같은 기본적인 통신 메커니즘만을 포함할 수도 있다. 일반적으로, 디바이스의 목적이 더욱 특수할수록, 디바이스가 기능하기 위해서는 더 적은 엘리먼트가 존재할 필요가 있다. 몇몇 디바이스에서, 사용자와의 통신은 터치 기반의 스크린, 또는 유사한 메커니즘을 통할 수도 있다. 일 실시형태에서, 디바이스는 어떠한 직접적인 입력/출력 신호도 제공하지 않을 수도 있지만, 그러나, 웹 사이트 또는 네트워크 디바이스(885)를 통한 다른 네트워크 기반의 연결을 통해 구성 및 액세스될 수도 있다.

컴퓨터 시스템으로서 구현되는 특정한 머신의 임의의 구성은 특정한 구현예에 따라 사용될 수도 있다는 것이 기술 분야에서 통상의 지식을 가진 자에 의해 인식될 것이다. 본 발명을 구현하는 제어 로직 또는 소프트웨어는, 프로세서(810)가 로컬로 또는 원격으로 액세스 가능한 임의의 머신 판독 가능 매체 상에 저장될 수 있다. 머신 판독 가능 매체는, 머신(예를 들면, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들면, 머신 판독 가능 매체는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스, 또는 임시의 또는 영구적 데이터 저장을 위해 사용될 수도 있는 다른 저장 매체를 포함한다. 일 실시형태에서, 제어 로직은, 전기, 광학, 음향 또는 다른 형태의 전파 신호(예를 들면, 반송파, 적외선 신호, 디지털 신호 등)와 같은 송신 가능한 데이터로서 구현될 수도 있다.

전술한 명세서에서, 본 발명은 그 특정한 예시적인 실시형태를 참조하여 설명되었다. 그러나, 첨부된 청구범위에서 기술되는 바와 같은 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정 및 변경이 이루어질 수도 있다는 것이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 한다.

Claims

시스템으로서,
제1 각도당 픽셀(pixel per degree: PPD) 해상도를 가지며 제1 시야(field of view)를 갖는 조향 가능 디스플레이 이미지(steerable display image)를 위치 결정하기 위한 중심와 디스플레이(foveal display);
상기 제1 해상도보다 더 낮은 PPD 제2 해상도를 갖는 필드 디스플레이 이미지(field display image)를 제공하기 위한 필드 디스플레이(field display)로서, 상기 필드 디스플레이는 상기 제1 시야보다 더 큰 제2 시야를 갖는, 필드 디스플레이;
상기 필드 디스플레이에 대한 필드 텍스처 및 상기 중심와 디스플레이에 대한 중심와 텍스처를 렌더링하기 위한 렌더링 엔진;
상기 필드 텍스처로부터 상기 필드 디스플레이에 대한 프레임을 생성하기 위한 필드 컴포지터(field compositor) 및 상기 중심와 텍스처로부터 상기 중심와 디스플레이에 대한 프레임을 생성하기 위한 중심와 컴포지터(foveal compositor)를 포함하는 컴포지터; 및
상기 필드 디스플레이 및 상기 중심와 디스플레이에서 데이터 중 하나 이상을 포함하여 제시되는 것을 시퀀스화하고 선택하도록 설계되는 합성 매니저(composition manager)
를 포함하고,
상기 시스템은 상기 필드 디스플레이 이미지 내에서 컷-아웃(cut-out)의 위치를 결정하고, 상기 결정된 위치에서의 상기 필드 디스플레이 이미지의 부분을 컷 아웃하고,
상기 중심와 컴포지터는 상기 컷 아웃된 부분에서의 디스플레이를 위한 중심와 텍스처를 선택하고,
상기 컷 아웃된 부분은,
현재의 중심와 텍스처 데이터;
이전의 중심와 텍스처 데이터; 및
필드 텍스처 데이터
로부터의 데이터 중 하나 이상으로 채워지는, 시스템.
제1항에 있어서,
상기 중심와 디스플레이가 컷아웃(cut-out)을 채우도록 위치 결정될 때, 상기 합성 매니저는 상기 필드 디스플레이로부터 상기 컷아웃을 트리거하는, 시스템.
제2항에 있어서, 상기 컷아웃을 채우기 위해 사용되는 상기 필드 텍스처 데이터는 재샘플링된 필드 텍스처 데이터인, 시스템.
제1항에 있어서, 상기 렌더링 엔진 및 상기 컴포지터는 비동기식인, 시스템.
제4항에 있어서, 상기 중심와 컴포지터 및 상기 필드 컴포지터는 비동기식인, 시스템.
제1항에 있어서, 상기 렌더링 엔진 및 상기 컴포지터는 동기식인, 시스템.
제1항에 있어서,
상기 중심와 디스플레이를 이동하기 이전에, 상기 중심와 디스플레이가 위치 재결정되어야(repositioned) 한다는 것을 결정하면, 상기 중심와 디스플레이의 빠르고 작은 위치 재결정을 허용하기 위해, 상기 이동 이전에 상기 중심와 디스플레이를 끄고(extinguishing) 상기 중심와 디스플레이가 안정된 이후 중심와 디스플레이를 다시 인에이블화하는 것을 더 포함하는, 시스템.
제7항에 있어서,
상기 중심와 디스플레이가 위치 재결정되어야 한다는 것을 결정하면, 움직임이 연기되어야 하는지의 여부를 결정하는 것, 및 상기 움직임을 연기하는 것을 더 포함하는, 시스템.
제8항에 있어서, 상기 움직임이 연기되면, 이전 프레임의 상기 중심와 텍스처가 디스플레이를 위해 재샘플링되는, 시스템.
제1항에 있어서,
상기 컴포지터에 의해 생성되는 프레임 데이터에 메타데이터를 첨부하기 위한 메타데이터 시스템을 더 포함하되, 상기 메타데이터는 상기 조향 가능 디스플레이 이미지를 렌더링함에 있어서 사용되는, 시스템.
제10항에 있어서, 상기 메타데이터는 포즈, 시선 및 포지션 측정 중 하나 이상을 포함하고, 상기 컴포지터는 상기 중심와 텍스처를 크롭하기 위해, 최신 포즈, 시선 및 포지션 중 하나 이상과 상기 메타데이터를 추가로 사용하는, 시스템.
제1항에 있어서,
상기 중심와 디스플레이의 광학 스택에 대한 왜곡 보정을 제공하기 위한 디지털 보정 시스템을 더 포함하는, 시스템.
시스템으로서,
필드 텍스처 및 중심와 텍스처를 제1 시간 베이스(time base)에서 렌더링하기 위한 렌더링 엔진;
상기 필드 텍스처로부터, 필드 디스플레이에 대한 프레임을 생성하기 위한 필드 컴포지터를 포함하는 컴포지터로서, 상기 필드 컴포지터는 제1 시간 베이스와는 상이한 제2 시간 베이스를 갖는, 상기 컴포지터를 포함하고; 그리고
상기 컴포지터는 중심와 디스플레이에 대한 프레임을 생성하기 위한 중심와 컴포지터를 포함하되, 상기 중심와 디스플레이는 사용자의 중심와 영역에 대해 위치 결정되고, 상기 필드 디스플레이의 컷아웃 영역에서 표시되고,
상기 시스템은 상기 필드 디스플레이 이미지 내에서 컷-아웃(cut-out)의 위치를 결정하고, 상기 결정된 위치에서의 상기 필드 디스플레이 이미지의 부분을 컷 아웃하고,
상기 중심와 컴포지터는 상기 결정된 위치를 기반으로 상기 컷 아웃된 부분에서의 디스플레이를 위한 렌더링된 중심와 텍스처를 선택하고,
상기 컷 아웃된 부분은,
현재의 중심와 텍스처 데이터;
이전의 중심와 텍스처 데이터; 및
필드 텍스처 데이터
로부터의 데이터 중 하나 이상으로 채워지는, 시스템.
제13항에 있어서,
상기 중심와 디스플레이의 상태를 추적하기 위한 중심와 상태 머신 및 상기 중심와 디스플레이와 관련되는 조향 가능 엘리먼트를 더 포함하되, 상기 중심와 상태 머신은 상기 중심와 디스플레이 영역을 컷아웃하기 위해 또는 채우기 위해 상기 필드 컴포지터에 데이터를 제공하는, 시스템.
제14항에 있어서, 상기 중심와 디스플레이 영역의 상기 채움은, 상기 조향 가능 엘리먼트가 이동된 경우 현재의 중심와 텍스처에 기초하고, 그리고 상기 조향 가능 엘리먼트 움직임이 연기된 경우 이전의 중심와 텍스처에 기초하는, 시스템.
제13항에 있어서, 상기 중심와 디스플레이의 움직임은, 콘텐츠, 주목 영역 또는 눈 움직임 분류에 기초한 시스템 동작에 기인하는 시선 예측에 기초하는, 시스템.
제13항에 있어서, 상기 렌더링 엔진은 재렌더링 없이 작은 이동을 허용하기 위해 상기 중심와 디스플레이 영역의 사이즈를 오버 렌더링하는(over-render), 시스템.
제13항에 있어서,
상기 시스템에서의 디스플레이 레이턴시를 보상하기 위해, 상기 중심와 디스플레이의 미러의 움직임을 연기시키기 위한 합성 매니저를 더 포함하는, 시스템.
시스템으로서,
제1 디스플레이 등급을 가지며 제1 시야를 갖는 조향 가능 디스플레이 이미지를 위치 결정하기 위한 중심와 디스플레이;
상기 제1 디스플레이 등급보다 더 낮은 등급을 갖는 제2 디스플레이 등급, 및 상기 제1 시야보다 더 큰 제2 시야를 갖는 필드 디스플레이 이미지를 제공하기 위한 필드 디스플레이;
상기 필드 디스플레이에 대한 필드 텍스처 및 상기 중심와 디스플레이에 대한 중심와 텍스처를 렌더링하기 위한 렌더링 엔진;
상기 필드 텍스처로부터 상기 필드 디스플레이에 대한 프레임을 생성하기 위한 필드 컴포지터, 및 상기 렌더링 엔진, 이전의 중심와 텍스처 및 상기 필드 텍스처로부터의 하나 이상의 중심와 텍스처를 이용하여 상기 중심와 디스플레이에 대한 프레임을 생성하기 위한 중심와 컴포지터를 포함하는 컴포지터; 및
상기 필드 디스플레이 및 상기 중심와 디스플레이에서 데이터 중 하나 이상을 포함하여 제시되는 것을 시퀀스화하고 선택하도록 설계되는 합성 매니저
를 포함하는, 시스템.