KR102284743B1

KR102284743B1 - 초점심도 확장 영상표시장치 및 그 제어방법

Info

Publication number: KR102284743B1
Application number: KR1020200057919A
Authority: KR
Inventors: 김성규
Original assignee: 한국과학기술연구원
Priority date: 2020-05-14
Filing date: 2020-05-14
Publication date: 2021-08-03
Also published as: US20210356746A1; KR102297139B1; KR102297139B9

Abstract

본 발명은 초점심도 확장 영상표시장치 및 그 제어방법에 관한 것으로, 디스플레이부, 상기 디스플레이부 전면에 일정 간격(D_md) 이격하여 배치되며, 렌즈와 개구부(PD_ml)를 갖는 핀홀을 구비한 광학 소자부, 상기 광학 소자부 전면에 일정 간격(D₀) 이격하여 배치되며 사용자 안구의 동공에 가상 영상의 수렴영역을 형성하는 주광학렌즈 및, 사용자에게 제공되는 가상 영상에 대해 초점심도를 확장하기 위한 제어를 수행하는 제어부를 포함하되, 상기 제어부가, 최근접 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절한다.

Description

초점심도 확장 영상표시장치 및 그 제어방법{EXTENDED DOF IMAGE DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF}

본 발명은 초점심도가 확장된 영상표시장치 및 그 제어방법에 관한 것이다.

종래의 증강현실 또는 가상현실용 HMD(Head Mounted Display) 제품은 양안 시차방식의 입체 영상을 제공할 수는 있지만, 각각의 눈의 조절 정보를 제공할 수 없어, 눈의 피로현상과 주시 깊이에 따른 영상의 흐려짐 등에 대한 근본적인 문제로 인하여 대중화에 지장을 초래한다. 또한, 각각의 눈의 초점 조절 정보가 제공되지 않으면 실상 정보와 가상 정보의 초점 정보가 달라져 영상의 불일치가 발생된다. 증강 현실 디스플레이 상용 제품 중 최고 수준인 마이크로소프트(Microsoft) 사의 HoloLens의 경우에도 1m 이내에 3차원 물체를 표시하는 것은 열악한 경험을 제공하므로 권장하지 않고 있다. 그러나, 사람의 손 동작 범위(30~80cm) 이내에서 3차원 영상과의 상호작용을 제공하기 위해서는, 3차원 영상의 초점 조절 요인에 대한 지원이 필수적이다.

한국등록특허 제10-0617396호는 3차원 영상 표시장치로서, 눈의 동공 최소 직경 내에 2개 이상의 시차영상을 제공할 수 있다. 그러나, 동공 내에 적어도 2개 이상의 시차영상을 제공하기 위하여, 레이저 광원, 광 확산기, 광 변조기를 포함하는 시차영상 제공부와, 핀홀, 렌즈 등을 포함하는 시차영상 수렴영역을 구성해야 하므로, 크기와 부피의 제약이 따르는 문제점이 있다. 또한, 한국등록특허 제10-1059763호는 3차원 영상 디스플레이 장치로서, 레이저 광원 소자를 이용하여 수직, 수평 및 사선 방향으로 광원을 배열하여, 초점 조절 기능을 만족시키는 3차원 영상 표시 장치를 제공한다. 그러나, 이미지 확대 및 초점 조절을 위해 필요한 기본적 투사광학계의 부피가 커서 상용화에 문제가 있다.

특히, 상기 종래문헌들에서는 시차 영상의 흐려짐을 최소화하는 수렴영역을 형성하기 위한 렌즈와 개구의 조건에 관하여는 구체적으로 개시되어 있지 않다. 따라서, 눈의 피로현상과 주시 깊이에 따른 영상의 흐려짐을 최소화하기 위하여 초점심도가 확장되도록 영상표시장치를 제어하는 방법이 요구되고 있는 실정이다.

본 발명의 목적은 눈의 피로현상과 주시 깊이에 따른 영상의 흐려짐을 최소화하기 위한 초점심도 확장 영상표시장치 및 그 제어방법을 제공함에 있다.

본 발명의 바람직한 실시예에 의한 초점심도 확장 영상표시장치의 제어방법은, 디스플레이부, 상기 디스플레이부 전면에 일정 간격(D_md) 이격하여 배치되며 렌즈와 개구부(PD_ml)를 갖는 핀홀을 구비한 광학 소자부, 상기 광학 소자부 전면에 일정 간격(D₀) 이격하여 배치되며 사용자 안구의 동공에 가상 영상의 수렴영역을 형성하는 주광학렌즈, 및 사용자에게 제공되는 가상 영상에 대해 초점심도를 확장하기 위한 제어를 수행하는 제어부를 포함하는 초점심도 확장 영상표시장치의 제어방법에 있어서, 상기 제어부가, 최근접 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절할 수 있다.

바람직하게, 상기 제어부가, 상기 가상 영상의 영상점의 최적 위치는, 디옵터 단위로 상기 최근접 안구의 초점위치와 상기 최외곽 안구의 초점위치의 산술평균 위치가 되도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절할 수 있다.

바람직하게, 상기 제어부가, 상기 최근접 및 최외곽 영상 흐려짐 크기가, 회절에 의한 영상 흐려짐 크기와, 동일한 값에서 20% 내에 있도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절할 수 있다.

바람직하게, 상기 제어부가, 상기 디스플레이부 전면과 상기 광학소자부 사이의 간격(

) 및/또는 상기 광학소자부의 핀홀의 크기를 조절할 수 있다.

바람직하게, 상기 최외곽 안구의 초점위치는 디옵터 단위로 0일 수 있다.

바람직하게, 상기 안구의 동공위치에서의 수렴영역의 크기는 2mm 이하일 수 있다.

바람직하게, 상기 광학 소자부와 상기 주광학렌즈 사이의 거리 대 상기 주광학렌즈와 상기 안구의 동공위치에서의 수렴영역 사이의 거리의 비가 1.5 내지 4 일 수 있다.

바람직하게, 상기 디스플레이부는 적어도 하나 이상의 마이크로 디스플레이들로 이루어지고, 상기 광학 소자부의 렌즈와 핀홀은 상기 마이크로 디스플레이들에 대응하여 배치되며, 상기 제어부가, 안구의 동공위치에 1개 또는 2개 이상의 수렴영역을 형성하되, 상기 2개 이상의 수렴영역은 인접 시차영상이다.

바람직하게, 상기 제어부가, 상기 디스플레이부와 상기 광학 소자부 사이의 이격 거리(D_md)를 조정하여, 가상 영상의 영상점의 최적위치(D_best)를 변경할 수 있다.

바람직하게, 상기 디스플레이부는 제1 디스플레이부 및 제2 디스플레이부를 포함하는 적어도 2개 이상의 디스플레이들로 이루어지고, 상기 광학 소자부는 제1 광학 소자부 및 제2 광학 소자부를 포함하며, 상기 최근접 안구의 초점위치는 제1최근접 안구의 초점위치 및 제2 최근접 안구의 초점위치를 포함하고, 상기 최외곽 안구의 초점위치는 제1 최외곽 안구의 초점위치 및 제2 최외곽 안구의 초점위치를 포함하되, 상기 제어부가, 상기 제1 최근접 안구의 초점위치와 제1 최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일하고, 상기 제2 최근접 안구의 초점위치와 제2 최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일하도록, 상기 제1 디스플레이부 전면과 상기 제1 광학소자부 사이의 간격 및/또는 상기 제1 광학소자부의 핀홀의 크기를 조절하고, 상기 제2 디스플레이부 전면과 상기 제2 광학소자부 사이의 간격 및/또는 상기 제2 광학소자부의 핀홀의 크기를 조절하여, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절할 수 있다.

바람직하게, 상기 제어부가, 상기 제1최외곽 안구의 초점위치가 상기 제2최근접 안구의 초점위치 보다 디옵터 기준으로 같거나 작도록 제어하여, 전체 초점 심도 범위는 상기 제2최외곽 안구의 초점위치와 제1최근접 안구의 초점위치 사이로 확대할 수 있다.

본 발명의 바람직한 실시예에 의한 초점심도 확장 영상표시장치는, 디스플레이부, 상기 디스플레이부 전면에 일정 간격(D_md) 이격하여 배치되며, 렌즈와 개구부(PD_ml)를 갖는 핀홀을 구비한 광학 소자부, 상기 광학 소자부 전면에 일정 간격(D₀) 이격하여 배치되며 사용자 안구의 동공에 가상 영상의 수렴영역을 형성하는 주광학렌즈 및, 사용자에게 제공되는 가상 영상에 대해 초점심도를 확장하기 위한 제어를 수행하는 제어부를 포함하되, 상기 제어부가, 최근접 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절할 수 있다.

바람직하게, 상기 디스플레이부는 마이크로 디스플레이들이 인접 배열된 어레이 구조이고, 상기 광학 소자부는, 상기 마이크로 디스플레이들에 대응되는 마이크로 렌즈와 개구가 조절되는 핀홀들로 인접 배열된 어레이 구조일 수 있다.

바람직하게, 상기 마이크로 디스플레이들 및 상기 마이크로 렌즈들을 이용하여 안구의 동공위치에 1개 또는 2개 이상의 수렴영역을 형성하되, 상기 2개 이상의 수렴영역은 인접 시차영상일 수 있다.

바람직하게, 상기 광학 소자부 또는 상기 주광학렌즈는 복수개의 렌즈로 구성될 수 있다.

바람직하게, 상기 주광학렌즈와 안구의 동공 사이에 배치되어 광의 경로를 변화시키는 광분배기를 더 포함하여, 사용자는 상기 광분배기에서 반사된 가상 영상과 동시에, 상기 광분배기를 통과한 실제 물체를 관찰할 수 있다.

바람직하게, 상기 디스플레이부와 상기 광학 소자부 사이의 이격 거리를 조정하는 미세 조정 장치를 더 포함하여, 가상 영상의 영상점의 최적위치(D_best)를 변경할 수 있다.

바람직하게, 안구의 초점거리 정보를 제공하는 안구 추적 시스템을 더 포함하여, 상기 제어부가 안구의 초점거리 정보에 따라 상기 디스플레이부와 상기 광학 소자부 사이의 이격거리(D_md)를 조정할 수 있다.

바람직하게, 안구의 초점거리 정보를 제공하는 안구 추적 시스템을 더 포함하되, 2개의 가상영상 위치(D_best1와 D_best2)를 사용하도록 설정하고, 상기 안구 추적 시스템에 의해 측정된 초점거리가 상기 2개의 가상영상 위치 중에서 어느 것에 가까운 지에 따라 2 개의 가상영상 위치 중 하나가 선택되도록, 상기 제어부가 상기 디스플레이부와 상기 광학 소자부 사이의 이격거리(D_md)를 선택적으로 조정할 수 있다.

바람직하게, 상기 디스플레이부는 적어도 2개 이상의 디스플레이들로 구성되고, 최근접 안구의 초점위치와 최외곽 안구의 초점위치는 각각 2개 이상의 초점위치를 가질 수 있다.

바람직하게, 상기 디스플레이부는 제1디스플레이부와 직각으로 배치된 제2디스플레이부를 포함하고, 상기 제1디스플레이부와 제2디스플레이부 사이에는 광분배기가 배치될 수 있다.

바람직하게, 상기 최근접 안구의 초점위치는 제1최근접 안구의 초점위치 및 제2최근접 안구의 초점위치를 포함하고, 상기 최외곽 안구의 초점위치는 제1최외곽 안구의 초점위치 및 제2최외곽 안구의 초점위치를 포함하되, 상기 제1최근접 안구의 초점위치와 제1최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일하고, 상기 제2최근접 안구의 초점위치와 제2최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일할 수 있다.

바람직하게, 상기 제1최외곽 안구의 초점위치가 상기 제2최근접 안구의 초점위치보다 디옵터 기준으로 같거나 작음으로써, 전체 초점 심도 범위는 상기 제2최외곽 안구의 초점위치와 제1최근접 안구의 초점위치 사이로 확대될 수 있다.

바람직하게, 안구의 초점거리 정보를 제공하는 안구 추적 시스템을 더 포함하여, 상기 제어부가 안구의 초점거리 정보에 따라 안구의 초점거리에 가까운 가상영상을 선택적으로 작동하도록 할 수 있다.

본 발명에 따르면, 안구의 동공위치에서의 시차영상의 수렴영역의 크기를 최소 동공 크기보다 작게 형성하고, 망막에서의 광학계의 회절 한계와 기하학적 영상 흐려짐을 최적화하여 초점 심도가 확장된 다초점 3차원 영상표시장치를 구현할 수 있다.

도 1은 본 발명의 바람직한 실시예에 의한 초점심도 확장 영상표시장치의 기본 구성을 개략적으로 나타낸 도면,
도 2는 본 발명의 실시예에 의한 초점심도 확장 영상표시장치에서 기하학적 영상 흐려짐을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 구체적인 초점심도 범위(DOF)와 가상영상의 수렴영역의 크기에 따른 기하학적인 영상 흐려짐의 크기와 광학계의 요구되는 가상 영상의 최적 형성 위치를 계산하기 위한 그래프를 나타낸 도면,
도 4는 본 발명의 실시예에 따른 주광학렌즈의 초점거리를 설계하는 과정을 나타낸 도면,
도 5는 본 발명의 실시예에 따라 Dimg에 따른 D_obj 위치를 결정하는 것을 설명하기 위한 도면,
도 6은 본 발명의 실시예에 따른 안구 렌즈에 들어오는 광 다발의 허용 크기에 따른 광학 소자부의 개구의 크기를 설계하는 과정을 나타낸 도면,
도 7은 본 발명의 실시예에 따른 디스플레이부와 광학 소자부의 조합에 따른 안구 위치에서의 화각(FOV)을 설계하는 과정을 나타낸 도면,
도 8은 본 발명의 바람직한 실시예에 따른 안구를 포함한 초점심도 확장 영상표시장치의 설계를 나타낸 도면,
도 9는 본 발명의 실시예에 따른 초점심도 확장 영상표시장치에서 마이크로 렌즈 개구의 크기(PD_ml) 및 수렴영역 크기(PD_eye)를 기준으로 설명하기 위한 도면,
도 10은 본 발명의 실시예에 따른 수렴영역의 크기에 따른 기하적인 영상 흐려짐 크기와 회절에 의한 영상 흐려짐 크기를 나타낸 그래프,
도 11은 본 발명의 실시예에 따른 수렴영역의 크기에 따른 최근접 및 최외곽 영상 흐려짐 크기를 설명하기 위한 도면,
도 12는 본 발명의 실시예에 따른 최적조건에서의 망막에서의 스팟 직경과 MTF 특성 전산모사 결과를 나타낸 도면,
도 13은 본 발명의 실시예에 따른 수렴영역의 크기(PD_eye)의 변화에 따른 망막에서의 공간 주파수와 MTF 특성 전산모사 결과를 나타낸 도면,
도 14는 본 발명의 실시예에 따른 초점심도 범위(DOF Range)에 따른 최적 조건 특성을 설명하기 위한 그래프,
도 15 및 도 16은 본 발명의 실시예에 따른 광학 소자부와 주광학렌즈 사이의 거리와 주광학렌즈와 안구의 동공위치에서의 수렴영역 사이의 거리의 비를 1.5 내지 4로 변경함에 따른 화각(FOV) 증가 구조를 나타낸 도면,
도 17은 본 발명의 실시예에 따른 동일 화각(FOV)을 구현하는 광학시스템에서 설계 초점심도 범위에 따른 최적의 광학 소자부의 크기 조건을 설명하기 위한 그래프,
도 18은 본 발명의 실시예에 따른 증강현실(AR) 응용을 위한 구조를 나타낸 도면,
도 19는 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면,
도 20은 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면,
도 21 및 22는 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면,
도 23은 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함하며, 분산되어 실시되는 구성요소들은 특별한 제한이 있지 않는 한 결합된 형태로 실시될 수도 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성 요소로 명명될 수 있다.

도 1은 본 발명의 바람직한 실시예에 의한 초점심도 확장 영상표시장치의 기본 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 초점심도 확장 영상표시장치(200)는 영상을 제공하는 디스플레이부(210), 상기 디스플레이부(210)로부터 일정 간격 이격하여 배치되는 광학 소자부(220), 및 상기 광학 소자부(220)로부터 일정 간격 이격하여 배치되며 사용자 안구(100)의 동공(120)에 가상 영상의 수렴영역(PD_eye)을 형성하는 주광학렌즈(240)를 포함한다. 아울러, 사용자에게 제공되는 가상 영상에 대해 초점심도를 확장하기 위한 제어를 수행하는 제어부(250)를 더 포함할 수 있다.

디스플레이부(210)는 OLED, 또는 마이크로 LED에 해당하는 자체 발광 마이크로 디스플레이 패널이거나, 또는 LCD, LCoS, 또는 DMD(Digital Micro mirror Device)에 해당하는 수동 디스플레이 패널일 수 있다.

광학 소자부(220)는 영상을 공간적으로 분할하기 위한 것으로서, 핀홀 배열 또는 마이크로 렌즈와 같은 렌즈들의 배열로 구성될 수 있다.

주광학렌즈(240)는 디스플레이부(210)로부터 제공된 영상이 안구(100)의 동공(120)에 수렴될 수 있도록 하며, 하나 이상의 복수의 렌즈로 이루어질 수 있다. 일반적으로, 안구의 동공 폭은 주변 밝기에 따라 2mm 내지 8mm이다.

디스플레이부(210), 광학 소자부(220), 및 주광학렌즈(240)를 포함한 영상표시장치의 기본적인 구성에 대한 상세한 설명은 본 발명자의 등록특허 제10-1919486호에 개시된 구성을 참고할 수 있다.

디스플레이부(210)에서 형성된 영상은 광학 소자부(220)를 거쳐 중간 영상(Intermediate Image)를 형성하고, 주광학렌즈(240)를 거쳐 안구의 동공에 광학 소자부(220)의 상을 형성하고 이 부분을 수렴영역이라고 정의한다. 광학 소자부(220)의 마이크로 렌즈 이후에 개구가 있는 경우 수렴영역은 개구의 상을 의미한다. 그리고 이를 통해 망막에 상이 맺히게 된다.

초점심도 확장 영상표시장치에서 결정한, 관찰자가 인지하는 가상 영상의 최적 형성 위치(best accommodation position)는 도 1에 D_best로 표시되어 있다. 이때, 관찰자가 가상영상의 흐려짐을 인지하지 않고, 초점 조절을 할 수 있는 가장 가까운 위치(D_n)와 가장 먼 위치(D_f)의 차이(D_n-D_f)를 광학시스템의 초점심도(DOF: Depth of Field) 범위(Range)라 한다.

본 발명에서 초점심도를 확장해야 하는 필요성을 설명하면 다음과 같다.

초점심도가 작을 경우에는 증강현실 또는 가상현실 광학계를 사용할 경우에 양안의 수렴위치와 초점조절 불일치(VAC: Vergence-Accommodation Conflict)에 따른 눈의 피로감이 발생한다. 초점심도 확장 영상표시장치를 통한 3차원 영상은 가상 영상면(Virtual Image Plane)으로부터 전후로 표현된다. 즉, 초점심도가 충분히 큰 경우에만, 무한거리의 영상으로부터 근접 영상(250~500mm)까지의 영상을 흐려짐 없이 표현할 수 있다.

또한, 증강현실 광학계를 사용할 경우에는 가상영상과 실제물체를 동시에 선명히 관찰할 수 있어야 한다. 관찰자가 가상영상의 형성위치와 다른 깊이의 실제물체에 초점조절을 하더라도 선명한 가상 영상을 볼 수 있어야 한다.

초점심도를 확장하기 위해 제어부(250)는, 광학 소자부(220)가 마이크로 렌즈와 핀홀로 이루어져 있을 때, 핀홀의 개구부(PD_ml)를 제어할 수 있다. 구체적으로는, 예를 들어, 정해진 초점심도범위(DOF Range)에서 가상영상의 최적형성위치(D_best) 또는 최근접 안구의 초점위치(D_n)와 최외곽 안구의 초점위치(D_f)를 변경하기 위해서는, 미세조절 장치(미도시)를 사용하여 디스플레이(210)과 광학 소자부(220)의 마이크로 렌즈 사이의 이격간격(D_md)을 미세하게 조절할 수 있다. 본 발명에 사용 가능한 미세조절 장치는 압전소자 또는 VCM(Voice Coil Motor) 등이 있다.

또는, 정해진 가상영상의 최적형성위치에서 초점심도범위를 조절하기 위해서는, 광학 소자부(220)의 마이크로 렌즈와 인접하여 개구부의 크기를 결정하는 핀홀(Pinhole)을 전기적으로 제어하는 것이다. 전기적으로 제어되는 핀홀은 전기적으로 투과부를 조절할 수 있는 액정소자 등이 사용될 수 있다. 이러한 예는 제어부가 전기적으로 디스플레이와 마이크로 렌즈 사이의 이격 간격과 렌즈의 개구부 크기를 조절하는 것을 기술한 것이나, 두가지 중에 한 가지만 제어하고 나머지 하나는 고정되어 사용될 수 있거나, 또는 기계적 작동으로 제어할 수도 있다.

도 1을 참고하여 본 발명의 바람직한 실시예에 의한 초점심도 확장 영상표시장치에서 사용자에게 가상영상을 제공하는 방법에 대해 설명한다. 디스플레이부(210)에서 표시되는 영상은, 광학소자부(220)에 의해 광학소자부와 주광학 렌즈 사이에 위치하는 중간 영상 평면(Intermediate Image Plane)에 가상 영상을 형성한다. 이러한, 중간 영상으로부터 일정 간격(D_obj) 이격하여 배치된 주광학렌즈(240)를 통하여, 주광학렌즈(240)로부터 이격간격(D_e) 떨어진 안구의 동공에 수렴영역을 형성한다. 이렇게 사용자 안구의 망막에 가상영상의 초점이 맺도록 본 발명의 광학계가 설계된다. 이 때 안구에서 인지하는 최적의 초점조절 위치가 가상영상 평면(Virtual Image Plane)이 된다. 본 발명의 실시에는 한 쪽 안구의 광학계 만을 기술하였지만, 양안에 동일하게 영상을 제공할 수 있고, 또는 양안에 서로 다른 시차영상을 제공하여 입체적인 가상 영상을 사용자에게 제공할 수도 있다.

도 2는 본 발명의 실시예에 의한 초점심도 확장 영상표시장치에서 기하학적 영상 흐려짐을 설명하기 위한 도면이다. 도 2의 (a)는 근거리(D_n)에 초점이 맞추어진 안구에서, 최적 위치(D_best)의 영상점을 관찰하는 경우이다. 이때 안구(100)의 길이 범위(E) 내측에 일정 길이(α)만큼 이탈하여 초점이 형성되며, 망막에서의 기하학적인 영상 흐려짐의 크기는 B_n과 같이 된다.

도 2의 (b)는 원거리(D_f)에 초점이 맞추어진 안구에서, 최적 위치(D_best)의 영상점을 관찰하는 경우이다. 이때 안구(100)의 길이 범위(E) 외측에 일정 길이(β)만큼 이탈하여 초점이 형성되며, 망막에서의 기하학적인 영상 흐려짐의 크기는 B_f와 같이 된다.

바람직하게, 제어부(250)는 최근접 안구의 초점위치(D_n)와 최외곽 안구의 초점위치(D_f)에 안구 렌즈(수정체)에 의한 초점 조절이 된 경우에 이상적인 영상점의 망막에서의 최근접 영상 흐려짐 크기(B_n)와 최외곽 영상 흐려짐 크기(B_f)가 동일하게 설정할 수 있다.

이에 따라, 최근접 안구의 초점위치(D_n)와 최외곽 안구의 초점위치(D_f) 사이의 임의의 초점조절에서의 기하적인 영상 흐려짐은 더 줄어들게 되고, 가상 영상의 최적 형성 위치(D_best)에 동공의 초점조절이 된 경우에는 흐려짐은 최소값(이상적으로 0)이 된다.

이 경우, 최근접 안구의 초점위치(D_n) 또는 최외곽 안구의 초점위치(D_f)에 동공의 초점이 맺혀진 경우의 영상점 흐려짐의 크기가 허용 가능한 화질이 되면, 이 두 위치가 초점심도 범위(DOF: Depth of Field)를 한정한다.

바람직하게, 제어부(250)는 가상 영상의 형성위치가 디옵터 단위로 상기 최근접 안구의 초점위치(D_n)와 상기 최외곽 안구의 초점위치(D_f)의 산술평균 위치와 같도록 제어할 수 있다. 즉, 초점심도 범위(DOF)의 최근접 안구의 초점위치(D_n) 또는 최외곽 안구의 초점위치(D_f)가 결정되면, 형성해야 할 초점심도 확장 영상표시장치의 가상정보 형성위치는 디옵터 단위 기준으로 산술평균값이 된다. 즉, 가상 영상의 최적 형성 위치(D_best)= (최근접 안구의 초점위치(D_n)+ 최외곽 안구의 초점위치(D_f))/2가 된다.

최근접 안구의 초점위치(D_n)와 최외곽 안구의 초점위치(D_f)에서의 망막에서의 영상점 흐려짐의 크기는 가상영상의 영상점이 광학계를 지나 수렴영역의 크기(PD_eye)에 선형으로 비례하여 커지며, 미리 설정한 디옵터 단위에서의 초점심도 범위(DOF)를 크게 할수록 선형으로 커지게 된다. 이는 가상 영상의 최적 형성 위치(D_best)에 동공의 초점조절이 된 경우의 안구 렌즈(수정체)의 초점거리와, 최근접 안구의 초점위치(D_n)에 동공의 초점조절이 된 경우의 안구 렌즈(수정체)의 초점거리의 차이가 클수록 영상점의 기하학적인 크기가 증가하기 때문이다.

이때, 최외곽 안구의 초점위치(D_f)를 무한대(디옵터 기준으로는 0임)로 설정하여 최근접 안구의 초점위치(D_n)로부터 최외곽 안구의 초점위치(D_f) 사이의 가상영상에 대해 안구 렌즈의 초점조절을 통하여 선명히 볼 수 있도록 함이 바람직하다.

도 3은 본 발명의 실시예에 따른 구체적인 초점심도 범위(DOF)와 가상영상의 수렴영역의 크기에 따른 기하학적인 영상 흐려짐의 크기와 광학계의 요구되는 가상 영상의 최적 형성 위치를 계산하기 위한 그래프를 나타낸 도면이다. 도 3의 (a)는 초점심도(DOF) 범위별 수렴영역의 크기에 따른 영상점의 기하적인 영상 흐려짐 크기(B_n 또는 B_f) 특성을 나타내며, 도 3의 (b)는 수렴영역의 크기가 일정할 경우에 초점심도(DOF) 범위에 따른 영상점의 기하적인 영상 흐려짐 크기(B_n 또는 B_f) 특성을 나타낸다.

도 3의 (a)를 참조하면, 최외곽 안구의 초점위치(D_f)는 무한대(디옵터 기준으로 0임)로 설정하고, 초점심도 범위(DOF)가 2 디옵터, 2.5 디옵터, 및 3 디옵터인 경우에 각각의 가상 영상의 최적 형성 위치(D_best)는 디옵터 기준으로 최근접 안구의 초점위치(D_n)와 상기 최외곽 안구의 초점위치(D_f)의 산술평균값인 1, 1.25, 및 1.5 디옵터가 된다.

정해진 초점심도 범위(DOF)에서 가상영상의 영상점이 안구의 동공에 맺히는 수렴영역의 크기(PD_eye)에 따른 망막상의 기하학적 영상 흐려짐의 최대 크기, 즉, 최근접 및 최외곽 영상 흐려짐 크기(B_n, B_f)는 선형 비례하여 증가한다. 그러므로, 초점심도 범위(DOF)가 정해지면 기하적인 영상흐려짐을 줄이기 위해서는 수렴영역 크기(PD_eye)를 줄이는 것이 바람직하다.

도 3의 (b)를 참조하면, 동일한 수렴영역의 크기(PD_eye)에서는 초점심도 범위(DOF)가 넓을수록 최근접 또는 최외곽 영상 흐려짐 크기(B_n 또는 B_f)가 선형 증가되는 특성을 보임을 알 수 있다.

이하, 본 발명에 따른 초점심도 확장 영상표시장치의 구체적 최적화 설계 방법을 설명하면 다음과 같다.

본 발명의 목적을 달성하기 위한 초점심도 확장 영상표시장치는, 각 광학소자의 초점거리, 광학소자 간의 이격거리, 그리고 가상 영상의 형성깊이가 도 4 내지 도 7에 기재된 기하적인 관계를 만족해야 한다. 이를 수식적으로 표현하면 식(1) 내지 식(9)의 관계식으로 표현될 수 있다.

먼저, 도 4는 본 발명의 실시예에 따른 주광학렌즈의 초점거리를 설계하는 과정을 나타낸 도면이다.

도 4를 참조하면, 초점심도 확장 영상표시장치의 영상점을 미리 설정된 초점심도 범위(DOF)에서 최적 위치에 설정하며, 그 크기를 최소화하도록 설계할 수 있다. 광학소자부(210)와 주광학렌즈(240)의 거리(D_o)를 주광학렌즈(240)와 수렴영역(270) 사이의 거리(D_e)에 비해 크게 설계함으로써, 관찰자가 바라보는 광학계의 화각(FOV)을 넓게 하고, 안구 위치에서의 영상점 크기를 비례하여 줄일 수 있다.

광학소자부(210)와 주광학렌즈(240)의 거리(D_o)가 주광학렌즈(240)와 수렴영역 집합(270) 사이의 거리(D_e)가 결정되면, 주광학렌즈(240)의 초점거리(f_mo)는 식(1)의 상방정식 관계에 의해서 결정된다. 바람직한 실시예로 D_o가 D_e의 2배가 되는 경우에는 식(2)의 관계식을 만족하게 된다.

이때, 안구와 광학계 사이는 사용자의 편의성을 고려하여 주광학렌즈(240)와 수렴영역(270) 사이의 거리(D_e)를 설계하고, 광학계의 화각(FOV)이 2배 및 동공에서의 점광원 광 크기가 1/2배가 되는 조건을 고려할 수 있다.

(식 1)

(식 2)

도 5는 본 발명의 실시예에 따라 D_img에 따른 D_obj 위치를 결정하는 것을 설명하기 위한 도면이다.

도 5를 참조하면, D_img는 안구 렌즈 위치로부터 형성되는 허상의 위치를 말하고, D_obj는 디스플레이의 가상영상정보가 마이크로렌즈에 의해서 기하적으로 상이 맺혀지는 깊이로써 중간가상영상 형성 깊이의 위치를 주광학렌즈로부터 설정된 거리이다. D_obj는 다음과 같이 계산할 수 있다.

(식 3)

도 6은 본 발명의 실시예에 따른 안구 렌즈에 들어오는 광 다발의 허용 크기에 따른 광학 소자부의 개구의 크기를 설계하는 과정을 나타낸 도면이다.

도 6을 참조하면, 수렴영역의 크기(PD_eye)는 다음과 같이 계산할 수 있다.

(식 4)

(식 5)

(식 6)

도 7은 본 발명의 실시예에 따른 디스플레이부와 광학 소자부의 조합에 따른 안구 위치에서의 화각(FOV)을 설계하는 과정을 나타낸 도면이다.

도 7을 참조하면, 안구 위치에서의 화각(FOV)은 다음과 같이 계산할 수 있다.

(식 7)

(식 8)

(식 9)

도 8은 본 발명의 바람직한 실시예에 따른 안구를 포함한 초점심도 확장 영상표시장치의 설계를 나타낸 도면이다.

도 8을 참조하면, 최근접 안구의 초점위치(D_n) 및 최외곽 안구의 초점위치(D_f)가 각각 3 디옵터 및 0 디옵터이고, 가상 영상의 최적 형성 위치(D_best)가 1.5 디옵터인 경우를 실시예로 고려할 수 있다. 이때, 가상 영상의 영상점으로부터 형성된 안구의 동공위치에서의 수렴영역 크기에 따른, 안구의 망막위치에서의 영상 흐려짐 크기를 계산할 수 있다.

구체적으로, 가상 영상 생성 영상표시장치의 각 변수를 다음과 같이 설정할 수 있다. 광학 소자부(220)와 주광학렌즈(240)의 거리(D_o)는 100mm, 주광학렌즈(240)와 안구의 수렴영역(270) 사이의 거리(D_e)는 50mm, 주광학렌즈의 초점거리(f_mo)는 33.3mm, 광학 소자부(220) 렌즈의 초점거리(f_ml)은 8mm, 가상영상이 안구위치에서 1.5 디옵터(666.7mm)에 형성되기 위한 디스플레이부(210)와 광학 소자부(220) 사이의 유효거리(D_md)는 9.06mm로 설정될 수 있다.

이때, 단순 안구 모델의 각 변수를 설정하면 다음과 같다. 단순 안구 모델이란, 이상적인 하나의 렌즈(수정체)와 일정 간격(E) 떨어져 배치된 망막으로 구성되어 있고, 그 사이 물질은 굴절률이 1(공기와 동일)인 안구 모델을 의미한다.

이러한 단순 안구 모델에서, 안구의 수정체와 망막과의 거리는 16.535mm로 설정될 수 있다. 아울러, 안구의 초점 조절에 따른 안구 수정체의 초점거리에 대하여, 가상영상의 최적(1.5 디옵터) 위치에 초점 조절 시에 안구 렌즈의 초점거리 f_best는 16.1348mm, 초점심도 범위(DOF)의 최근접 위치에 초점 조절 시에 안구 렌즈의 초점거리 f_n은 15.7535mm, 및 초점심도 범위(DOF)의 최외각 위치에 초점 조절 시에 안구 렌즈의 초점거리 f_f는 16.535mm로 설정될 수 있다.

최적화 가변 변수를 설정하면 다음과 같다. 광학 소자부가 마이크로 렌즈일 경우 개구 크기(PD_ml)에 따라 가상영상의 영상점으로부터 발생된 수렴영역의 크기(PD_eye)가 결정된다. 본 실시예는 광학소자부(220)와 주광학렌즈(240)의 거리(D_o)와 수렴영역(270) 사이의 거리(D_e)의 비가 2:1인 광학계를 사용하여, 마이크로 렌즈의 개구 크기(PD_ml)와 수렴영역의 크기(PD_eye)의 비가 2:1이 되도록 할 수 있다. 이러한 거리(D_o)와 거리(D_e)의 비가 클수록 동일 크기(PD_ml)에서 더 작은 수렴영역의 크기(PD_eye)를 형성하고, 가상 영상의 화각(FOV)를 크게 설계할 수 있다.

도 1의 제어부(250)는 심도확장과 최적 가상영상 형성 깊이를 변경할 수 있다. 예를 들어, 최적 가상영상 형성 깊이 변경을 위해서 식(7)을 참조하여 설명하면, 디스플레이부(210)에 인접하여 배치된 광학소자부(220)의 초점거리(f_ml)와, 광학소자부(220)와 주광학렌즈(240) 사이의 이격거리(D_o)는 결정되어져 있다. 그러므로, 중간영상 평면(Intermediate Image Plane)과 주광학렌즈 사이의 이격거리(D_obj)를 조절하기 위해서는, 디스플레이부와 광학소자부 사이의 이격간격(D_md)을 조절하면 된다. (참고로 안구에서 바라보는 가상영상 평면(Virtual Image Plane) 위치(D_img)는 식(3)의 관계식에 의해 주광학렌즈의 초점거리(f_mo)와 주광학렌즈와 안구 사이의 이격거리(D_e)가 결정된 경우에, 중간영상 평면과 주광학렌즈 사이의 이격거리(D_obj)를 조정하여 변경할 수 있다.) 디스플레이부와 광학소자부 사이의 이격간격(D_md)은, 예를 들어 제어부가 미세 거리조절 장치(압전소자 또는 VCM 등)를 이용하여 제어할 수 있다. 또는 안구 추적시스템에 의해 안구의 초점깊이를 피드백 받거나, 설정된 가상영상 깊이로 조정할 수 있다.

또는, 제어부를 사용하여 초점심도범위(DOF Range)를 조절할 수 있다. 도 17과 이와 관련된 최적 조건 데이터 특성표에 나타난 바와 같이, 초점심도범위를 넓히기 위해서는 안구의 수정체에 맺혀지는 가상영상의 수렴영역의 크기가 줄어들어야 한다. 이를 구현하기 위해서는 디스플레이 크기(DS_md)에 대비 마이크로 렌즈(광학소자부가 마이크로 렌즈인 경우)의 개구 크기(PD_ml)가 줄어들어야 한다. 그러므로, 광학소자부로서, 액정 소자와 같이 전기적 신호에 따라 투명도를 조절하는 광학소자를 마이크로 렌즈에 인접하여 배치하고, 결정한 초점심도 범위에 따라 제어부에서 마이크로 렌즈에 인접 배치된 개구부를 제어하면 된다. 또는 제어부에서 가상영상 평면의 형성 위치 만을 조절하고, 정해진 초점심도 범위를 사용하는 경우에는 마이크로 렌즈에 인접하여 고정 개구부를 갖는 핀홀을 배치할 수도 있다.

도 9는 본 발명의 실시예에 따른 초점심도 확장 영상표시장치에서 마이크로 렌즈 개구의 크기(PD_ml) 및 수렴영역 크기(PD_eye)를 기준으로 설명하기 위한 도면이다.

도 9를 참조하여, 초점심도 확장 영상표시장치의 상기 실시예에 따른 지맥스(Zemax) 실험 결과를 분석하면 다음과 같다.

상기 실시예에 따르면, 초점심도 확장 영상표시장치는 안구의 동공위치로부터 가상 영상의 최적 형성 위치(D_best)가 1.5 디옵터(666.7mm)에 위치하도록 세팅할 수 있다. 이때, 안구의 초점위치를 변경할 경우의 기하적인 영상 흐려짐 크기와 회절에 의한 영상 흐려짐 크기를 비교할 수 있다. 광학 시스템의 최적화 주요 변수는 마이크로 렌즈의 개구의 크기(PD_ml)이며, 이에 따라 광학 시스템의 안구의 동공위치에서 수렴영역 크기(PD_eye)가 결정된다.

도 10은 본 발명의 실시예에 따른 수렴영역의 크기에 따른 기하적인 영상 흐려짐 크기와 회절에 의한 영상 흐려짐 크기를 나타낸 그래프이고, 도 11은 본 발명의 실시예에 따른 수렴영역의 크기에 따른 최근접 및 최외곽 영상 흐려짐 크기를 설명하기 위한 도면이다.

도 9 내지 도 11을 참조하면, 광학소자부가 마이크로 렌즈인 경우 개구의 크기(P_Dml)가 커지면, 광학시스템의 거리(D_o)와 거리(D_e)의 비에 따라 결정되는 수렴영역의 크기(PD_eye)가 커지게 된다. 또한, 수렴영역의 크기(PD_eye)가 커지면, 초점심도 범위의 극한 위치(본 실시예에서는 3디옵터 및 0디옵터)에 초점을 맞춘 안구 렌즈 조건 하의 망막에서의 기하적인 흐려짐이 커지게 된다. 반면에, 회절에 의한 영상 흐려짐 크기는 수렴영역의 크기(PD_eye)가 커질수록 줄어들게 된다.

이에 따라, 기하적 영상 흐려짐 크기와 회절에 의한 영상 흐려짐 크기가 같은 수렴영역의 크기(PD_eye)가 존재한다. 이러한 조건이 광학시스템의 초점심도 범위(DOF)를 만족하는 개구 크기(PD_ml) 또는 수렴영역의 크기(PD_eye)의 최적 조건이 된다. 도 10을 참고하면, 이 실시예에서는 수렴영역의 크기(PD_eye)=0.978mm(또는, PDml=1.955mm)에서 기하적 영상 흐려짐 크기와 회절에 의한 영상 흐려짐 크기가 12.13㎛로 같은 값을 갖게 된다.

도 11은 도 10에서 세 가지 수렴영역의 크기(A, B, C)에 따른 최적(Best Position), 최근접(Near Position) 및 최외곽(Far Position) 위치에서의 영상 흐려짐 크기를 예를 들어 도시하고 있다.

도 12는 본 발명의 실시예에 따른 최적조건에서의 망막에서의 스팟 직경과 MTF 특성 전산모사 결과를 나타낸 도면이다.

도 12를 참조하면, 본 발명의 실시예에서의 최적 주요조건은 수렴영역의 크기(PD_eye)=0.9776mm(광학 소자부의 개구의 크기(PD_ml)=1.9552mm), 최근접 영상 흐려짐 크기(B_n)/2=최외곽 영상 흐려짐 크기(B_f)/2=12.125㎛, 회절에 의한 영상 흐려짐 크기=12.12㎛일 수 있다.

도 12에서는 좌측부터 순서대로 안구 초점 위치가 1.5D(최적 위치 설정), 안구 초점 위치가 3D(근접 위치 설정), 안구 초점 위치가 0D(최외곽 위치 설정)일 때의 망막에서의 스팟 직경과 MTF 특성 전산모사 결과를 나타낸다.

안구의 초점이 본 발명에 의한 초점심도 확장 영상표시장치의 가상 영상 평면인 최적 깊이에 맞추었을 경우에는 이상적으로 기하적 스팟 크기는 0이되고, 공간주파수에 따른 MTF 값은 회절 한계 값과 동일하게 된다.(맨 왼쪽 데이터 참조) 그리고, 본 발명에 의해 설계된 초점심도범위의 최근접 깊이와 최외곽 깊이에 안구의 초점이 맞추어진 경우에는 이상적인 기하적 스팟 크기가 회절에 의한 에어리 디스크(Airy Disk)크기와 동일함을 확인할 수 있다. 이 경우는 공간주파수에 따른 MTF 특성이 회절 한계 값보다는 약간 떨어지지만(특히, 중간의 공간 주파수 영역에서), 광학계의 한계 영역인 MTF가 0.3 이하인 영역에서는 큰 차이가 나지는 않는다. 그로부터, 본 발명에 의한 초점심도 확장 영상표시장치가 초점심도범위에서 안구의 초점을 어느 깊이에 맞추더라도 화질 저하를 거의 인지하지 못하고 선명한 가상영상을 볼 수 있음을 알 수 있다.

그러나, MTF의 최적 공간 주파수(spartial frequency)를 제공하는 수렴영역의 크기(PD_eye)는 MTF 값 기준으로 0.1~0.3(또는, 10%~30%)에 따라 달라진다. 따라서, 수렴영역의 크기(PD_eye)는 최적 수렴영역 크기(PD_eye)의 ±20% 범위에서 설정하는 것이 바람직하다. 이러한 수렴영역의 크기(PD_eye)는 디스플레이 해상도(display resolution), 화각(FOV) 등을 고려하여 최종 값을 설정하는 것이 필요할 수 있다.

도 13은 본 발명의 실시예에 따른 수렴영역의 크기(PD_eye)의 변화에 따른 망막에서의 공간 주파수와 MTF 특성 전산모사 결과를 나타낸 도면이다.

도 13을 참조하면, 수렴영역의 크기(PD_eye)의 최적위치는 회절에 의한 영상 흐려짐 크기와 기하적인 흐려짐 크기가 일치하는 값에서 형성된다. 그런데 MTF의 공간 주파수별로 정해진 초점 심도(DOF) 내에서 최적인 수렴영역의 크기(PD_eye) 값은 차이가 발생할 수 있다. 이때, 공간 주파수가 낮은 영역에서는 최적인 수렴영역의 크기(PD_eye) 값이 달라지더라도 MTF 값이 민감하게 줄어들지 않는다.

그러므로, 판단하는 기준의 MTF 값의 범위가 결정될 필요가 있으며, 이는 예시적으로 다음과 같다. PSF 레일리 기준(rayleigh criterion)은 MTF가 0.15이하이다. 확장 소스(Extended Source)와 PSF 콘볼루션(PSF convolution) 기준으로는 MTF가 0.9 이하이다. MTF 기준 값은 확장 소스(Extended Source)를 고려하여 레일리 기준(rayleigh criterion)을 포함하는 0.1 내지 0.3 범위로 하고, 이 범위 내에서 최적의 MTF 값이 포함되는 수렴영역의 크기(PD_eye)는 최적 수렴영역의 크기(PD_eye)의 대략 ±20% 이내이다.

도 13에 보여지듯이, 본 실시예에 의해 설계된 초점심도범위에 대해 최외곽 초점깊이와 최근접 초점깊이에서의 회절에 의한 에어리 디스크(Airy Disk)와 기하적인 영상 흐려짐이 동일하게 되는 안구위치에서의 수렴영역의 크기는 하나로 결정된다. (본 실시예에서는 PD_eye = 0.978mm) 하지만, 0.1~0.3 범위의 MTF 값을 갖는 공간주파수는, 이렇게 결정된 수렴영역의 크기에서 가장 크지 않고, 선택된 0.1~0.3 범위의 MTF 값에 따라 최대 공간주파수 값을 표현할 수 있는 수렴영역의 크기는 달라진다. 그러므로, 최고의 해상력(최대 공간주파수) 대비 80% 이상을 표현할 수 있는 범위의 수렴영역의 크기를 결정하는 것이 바람직하고, 이를 수렴영역의 크기로 표시하면, 본 발명에 의해 설정된 최적 수렴영역의 크기(PD_eye)의 대략 ±20% 이내가 된다.

도 14는 본 발명의 실시예에 따른 초점심도 범위(DOF Range)에 따른 최적 조건 특성을 설명하기 위한 그래프이다.

도 14를 참조하면, 본 발명의 실시예는 주요 변수 조건을 다음과 같이 설정할 수 있다.

거리(D_o)와 거리(D_e)의 비(D_o/D_e)가 2:1인 가상영상 생성 광학계의 최적 구조는 각각 거리(D_o)는 100mm, 거리(D_e)는 50mm로 설정할 수 있다. 그리고, 가상 영상과 수렴영역 사이의 거리(D_img)=최적 가상 영상 형성 위치(D_best) 조건을 만족하고, 디옵터 단위로 가상 영상과 수렴영역 사이의 거리(D_img)(= D_best)는 가상영상의 초점심도(DOF)/2의 조건을 만족하도록 설정할 수 있다. 또한, 실제적인 사용조건에서는 최외곽 안구의 초점위치(D_f)=0디옵터(= 미터 기준 무한대)로 설정하는 것이 바람직하나, 최외곽 안구의 초점위치(D_f)=0디옵터가 아니더라도 설정한 가상영상의 초점심도(DOF) 범위가 동일하다면, 상기와 동일한 특성을 보일 수 있다.

본 실시예에 의한 초점심도 범위(DOF Range)에 따른 최적화 특성 분석 결과는 다음과 같다.

거리(D_img)=가상영상의 초점심도(DOF)/2의 조건을 만족하는 광학계 설계에서, 설정한 가상영상의 초점심도(DOF)가 커질수록 최극한(최근접 또는 최외곽) 위치를 관찰자가 볼 경우에 회절에 의한 영상 흐려짐 크기와 기하적인 영상 흐려짐 크기가 동일한 경우를 최적조건으로 보았을 때, 최적조건이 되는 안구 렌즈(또는 동공) 위치에 맺혀지는 수렴영역 집합의 크기(PD_eye)는 줄어드는 경향을 보인다.

반면에, 설정한 디옵터 단위의 초점심도 범위가 커질수록 회절에 의한 영상 흐려짐은 선형적으로 증가되는 특성을 보인다. 이는, 본 발명의 가상형성 광학계는 설정한 초점심도 범위별로 최적화 할 수 있지만, 초점심도 범위가 증가될수록 표현 가능한 영상의 해상력이 줄어드는 단점이 있음을 의미한다.

보다 구체적으로 표현하면, 광학계의 MTF의 의미있는 공간 주파수가 낮아지는 특성을 보인다. 특정 광학계를 통하여 관찰하는 영상에 대해 관찰자에게 의미있는 공간 주파수 한계에 대한 MTF 값에 대해서는 통상적으로 10~30%(1로 표준화한 MTF 값에서는 0.1~0.3에 해당함)의 MTF 값을 의미한다. 이 중, 대표적인 MTF 값이 10%, 20%, 30%를 갖게 되는 공간 주파수 값이 초점심도 범위에 따라 어떻게 변화하는지의 특성이 중요하다.

MTF 값이 낮을수록 초점심도 범위가 동일한 광학계가 표현 가능한 공간 주파수는 증가하는 경향을 보이고, 동일한 MTF 값에 대해서는 초점심도 범위가 증가할수록 공간 주파수는 감소하는 경향을 보인다.

그러므로, 사용하는 디스플레이 해상도와 광학계의 주요 요구조건인 필요 화각(FOV)에 따라 결정되는 제공 가능한 가상 영상의 해상력(즉, 공간 주파수)에 따라 초점심도 범위를 선택할 수 있다.

도 15 및 도 16은 본 발명의 실시예에 따른 광학 소자부와 주광학렌즈 사이의 거리와 주광학렌즈와 안구의 동공위치에서의 수렴영역 사이의 거리의 비를 1.5 내지 4로 변경함에 따른 화각(FOV) 증가 구조를 나타낸 도면이다.

도 15를 참조하면, 광학 소자부(220)와 주광학렌즈(240)사이의 거리(D_o)와 주광학렌즈(240)와 안구의 동공위치에서의 수렴영역 사이의 거리(D_e)의 비(D_o/D_e)가 1.5 내지 4가 되도록 조절할 수 있다.

도 16을 참조하면, 거리의 비(D_o/D_e)가 변경됨에 따른 화각의 변화를 보여준다. 주요 고정 변수 중, 마이크로 렌즈의 초점거리(f_ml)는 8mm, 디스플레이 크기(DS_md)는 6mm, 초점심도 범위는 3 디옵터(0 내지 3 디옵터), 최적 가상 영상 형성 위치(D_best)는 1.5디옵터(=666.7mm)로 설정할 수 있다.

상기와 같이 변수를 설정하고, 거리(D_o)와 거리(D_e)의 비(D_o/D_e)를 1.5 내지 4 사이에 4가지 조건을 선정하여 각각의 최적 설계 조건 계산 및 분석한 결과는 다음과 같다.

초점심도 범위가 결정되면, 안구 렌즈 위치에서의 가상영상 영상점 집합에 의한 최적 수렴영역의 크기(PD_eye)는 4가지 조건에서 동일하다.

조건별 가상영상 광원의 화각(FOV_ml)은 설계조건 상 디스플레이부(210)와 상기 광학 소자부(220) 사이의 거리(D_md) 차이에 따라 광학 소자부(220)와 주광학렌즈(240)사이의 거리(D_o)와 주광학렌즈(240)와 안구의 동공위치에서의 수렴영역 집합(270) 사이의 거리(D_e)의 비가 증가될수록 증가하지만, 그 차이는 크지 않다. 본 실시예의 조건상 D_o/D_e가 1.5에서 4로 증가될 때, 가상영상 광원의 화각(FOV_ml)은 5도 정도 증가된다.

반면에, 도 16의 (a)를 참조하면, 안구에서 보는 가상 영상의 화각(FOV)은 D_o/D_e=1.5 광학 구조에서는 49.9도에서 D_o/D_e=4 광학 구조에서는 109.9도로 2.2배 증가된다.

또한, 도 16의 (b)를 참조하면, 본 발명의 실시예에서 하나의 광학 소자부(220)에 대응하는 디스플레이부(210) 영역은 거의 동일하게 사용하게 되는데, D_o/D_e가 커지는 구조일수록 최적의 광학 소자부의 개구의 크기(PD_ml)가 증가하게 된다. 그에 따라, 디스플레이 영역 대비 광학 소자부의 개구의 크기(PD_ml)의 비는 D_o/D_e가 커질수록 증가한다.

즉, 결정된 초점심도 범위에서 D_o/D_e가 다른 구조로 최적 설계할 경우에는 광학 소자부의 마이크로 렌즈 개구의 크기(PD_ml)를 최적 값으로 설정할 수 있도록 하는 핀홀(또는, 핀홀 어레이)가 마이크로 렌즈와 함께 사용될 수 있다.

도 17은 본 발명의 실시예에 따른 동일 화각(FOV)을 구현하는 광학시스템에서 설계 초점심도 범위에 따른 최적의 광학 소자부의 크기(또는, 개구 크기)의 조건을 설명하기 위한 그래프이다.

도 17을 참조하면, 거리(Do)는 100mm, 거리(D_e)는 50mm인 2:1 구조이고, 설계 화각(FOV)은 40도이고, 디스플레이 스크린 비가 1:1인 경우이다.

최적 조건특성은 다음과 같다.

초점심도 범위가 증가할수록 최적 수렴영역의 크기(PD_eye)가 줄어들고, 이에 따라 광학 소자부의 개구의 크기(PD_ml)가 줄어들게 되어 광학 소자부의 마이크로 렌즈 개구의 크기(PD_ml)와 디스플레이 크기(DS_md)의 비(PD_ml/DS_md)가 감소하는 특성을 보인다. 또한, 최적 수렴영역 크기(PD_eye)와 PD_ml/DS_md 비는 비례 관계가 있다.

이하, 도 18 내지 도 23을 참고하여 본 발명의 초점심도 확장 영상표시장치를 다양한 방식으로 응용하는 예에 대해 설명한다. 도 18 내지 도 23에 도시된 초점심도 확장 영상표시장치는 도 1에 도시된 초점심도 확장 영상표시장치와 동일한 구성이지만, 세부적으로 변경되거나 추가되는 구성을 위주로 도시하였다. 즉, 기본적인 발명의 구성은 도 1에 도시된 초점심도 확장 영상표시장치를 따른다.

도 18은 본 발명의 실시예에 따른 증강현실(AR) 응용을 위한 구조를 나타낸 도면이다.

도 18을 참조하면, 본 발명의 초점심도 확장 영상표시장치를 증강현실(AR)에 적용하기 위해서는 관찰자가 외부의 실제 물체(Real World Image)와 가상 영상을 동시에 관찰하도록 광학계가 구성되어야 한다.

이를 위해, 주광학렌즈(240)와 안구의 동공 사이에 배치되어 광의 경로를 변화시키는 광분배기(BS)를 더 포함할 수 있다. 광분배기(BS)는 예를 들어 큐빅 빔 스플리터(Cubic Beam Splitter)와, 45도 배치되어 사용하는 트랜스 반사 미러(Trans-reflective mirror) 등이 있다. 도 18에서는 트랜스 반사 미러를 사용한 실시예를 나타내며, 도 1에 의한 초점심도 확장 영상표시장치와 달리 관찰자 안구는 디스플레이부와 주광학렌즈에 따른 광축에 90도 각도를 두고 배치될 수 있다. 따라서, 관찰자는 광분배기를 지나 반사된 가상 영상과 동시에, 광분배기를 통과하여 실제 물체를 관찰할 수 있게 된다.

도 19는 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면이다.

도 19를 참조하면, 본 실시예에 따른 디스플레이부(210)는 디스플레이 영역들(211)이 배열된 어레이 구조로 형성될 수 있다. 또한, 광학 소자부(220)는 마이크로 렌즈들(221)이 배열된 어레이 구조로 형성될 수 있다. 이러한 구성을 사용하면, 디스플레이부(210)에서 인접한 광학 소자부(220)의 어레이를 지나 동공의 서로 다른 위치에 수렴된 시차영상을 사용하여 3D 영상을 구현할 수 있다

본 발명의 실시예에 따르면, 각각의 디스플레이 영역(211)으로 이루어진 디스플레이부(210)와 마이크로 렌즈들(221)로 이루어진 광학 소자부(220)가 다양하게 변형되어 사용될 수 있다. 즉, 디스플레이 영역들(211)의 배열과 마이크로렌즈들(221)의 배열로 사용되거나, 또는 하나의 디스플레이 영역(211)과 마이크로렌즈들(221)의 배열을 사용하여 하나의 디스플레이 영역(211)을 각각 해당 마이크로렌즈(221)에 대응하여 일정 영역으로 나누어 영상을 제공할 수 있다.

본 실시예에 따른 초다시점 3차원 시차 영상 제공 방법을 간단하게 설명하면, 디스플레이부(210)의 영역은 인접하여 D_a, D_b, D_c 영역으로 구별되어 있고, 각 디스플레이 영역(211)에 대응하는 마이크로 렌즈(221)를 지나고 주광학 렌즈(240)를 통하여 안구의 동공 위치에서 광이 수렴한다. 이때 각 디스플레이 영역(211)별로 인접한 시차영상이 기록될 수 있다.

각 시차영상은 안구의 동공 위치에서 일정 간격 이동하여 영상의 수렴영역을 형성한다. 본 실시예에서는 초다시점 시차영상을 구현하기 위해 인접 수렴영역 간의 간격은 2mm 이내에서 형성되도록 하는 것이 바람직하다.

즉, 안구의 동공위치에서의 수렴영역 집합의 크기(PD_eye)는 2mm 이하일 수 있으며, 이 경우 초점심도 범위가 넓어서 편안하고 선명한 3차원 영상을 제공할 수 있다. 본 실시예에서는 3개의 시차 영상 제공을 예시적으로 설명하였지만, 3개 이상의 마이크로렌즈(221)를 추가로 수평 또는 수직 방향으로 구성하여 완전 시차 영상을 구현할 수 있음은 물론이다.

도 20은 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면으로서, 최적 가상 영상 형성 위치를 변경하는 응용을 설명한다.

도 20을 참조하면, 디스플레이부(211)와 광학 소자부(221) 사이의 거리(D_md)를 조정하는 미세 조정 장치(미도시)를 더 포함할 수 있다. 미세 조정 장치는 디스플레이부(211)와 광학 소자부(221) 사이의 거리(D_md)를 조정하여 사용자가 원거리 가상 영상을 주로 보는지, 또는 근거리 가상 영상을 주로 보는지에 따라 편리하게 하나의 광학계로 달성할 수 있도록 한다.

이때, 디스플레이부(211)와 광학 소자부(221) 사이의 거리(D_md)의 조정은 추가적인 전기적 제어장치를 사용하여 자동으로 할 수도 있고, 정밀 기계적 이동장치를 수동으로 제어하여 변경할 수도 있다.

도 20에서는 디스플레이부(211)와 광학 소자부(221) 사이의 거리가 D_md1일 때 최적 가상 영상 형성 위치가 D_best1에 형성되고, 디스플레이부(211)와 광학 소자부(221) 사이의 거리가 D_md2일 때 최적 가상 영상 형성 위치가 D_best2에 형성될 수 있음을 보여준다.

도 21 및 22는 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면으로서, 안구추적시스템(260)의 안구 초점거리 정보를 사용하여 최적 가상 영상 형성 위치를 변경하는 것을 설명한다.

도 21 및 22에 도시된 초점심도 확장 영상표시장치는 도 1의 초점심도 확장 영상표시장치와 동일하며, 추가적으로 안구추적시스템(260)을 더 구비한다. 도 21 및 22를 참조하면, 제어부(미도시)가 안구추적시스템(260)으로부터 안구의 초점거리 정보를 수신하여, 상기 안구의 초점거리 정보에 따라 미세 조정 장치(미도시)를 통해 디스플레이부(211)와 광학 소자부(221) 사이의 거리(D_md)를 조정할 수 있다.

예를 들어, 도 21을 참조하면, 안구추적시스템(260)에 의해 추적한 안구의 초점거리가 D_best1인 경우에 이를 피드백하여 디스플레이부(211)와 광학 소자부(221) 사이의 거리를 D_md1으로 변경하여, 안구의 초점거리위치에 가상영상을 형성할 수 있다. 또한, 도 22를 참조하면, 안구의 초점거리가 D_best2인 경우에 이를 피드백하여 디스플레이부(211)와 광학 소자부(221) 사이의 거리를 D_md2로 변경할 수 있다. 이에 따라, 관찰자가 응시깊이를 변경하더라도 편안하게 선명한 가상영상을 계속적으로 볼 수 있도록 한다. 본 실시예는 안구의 초점거리를 안구추적시스템(260)에 의해 추적하여 해당 위치에 가상영상이 형성되도록 하는 것이나, 다른 실시예로서 2개의 가상영상 위치(D_best1와 D_best2)만을 사용하도록 설정하고, 안구추적시스템(260)에 의해 측정된 초점거리가 두 가상영상 위치 중에서 어디가 가까운 지에 따라, 두 개의 가상영상의 위치 중 하나가 선택되도록, 디스플레이부와 광학 소자부 사이의 거리를 선택적으로 변경할 수도 있다.

도 23은 본 발명의 다른 실시예에 따른 초점심도 확장 영상표시장치의 구성을 나타낸 도면으로서, 디스플레이부(211,212)가 90도 각도로 2개 배치되어 있으며 2개 디스플레이부 사이에 광분배기(270)가 배치될 수 있다.

도 23을 참조하면, 2개의 디스플레이부를 이용하여 2개의 초점심도범위를 갖는 초점심도 확장 영상표시장치를 구현할 수 있다. 하지만, 디스플레이부(211,212)는 적어도 2개 이상 배치할 수 있고, 가상영상의 최적 형성위치도 2개 이상 배치할 수 있음은 물론이다. 아울러, 적어도 2개 이상의 디스플레이부는 영상표시장치의 설계에 따라 90도 각도뿐만 아니라 다양한 각도의 배치 구조를 사용할 수 있음은 물론이다.

각각의 디스플레이부(211,212)와 광학 소자부(221,222) 사이의 거리는 D_md1 및 D_md2로 설정될 수 있다. 광학 소자부(221,222)의 개구의 크기(PD_ml)는 PD_ml1 및 PD_ml2로 설정될 수 있다. 이때, 최적 가상 영상 형성 위치가 D_best1 및 D_best2로 형성되도록 한다.

본 실시예예는 D_best1가 D_best2보다 가까운 위치에 형성된 것을 가정하여 설명한다. 이때, 첫번째 가상영상의 초점심도범위(DOF Range 1)와 두 번째 가상영상의 초점심도범위(DOF Range 2)가 중첩되지 않고 인접하게 배치된 경우가 도 23에 도시되어 있으며, 이는 D_n2=D_n1인 경우이다.

이 경우, 실시예에 따른 초점심도 확장 영상표시장치의 초점심도범위는 첫번째 가상영상의 초점심도범위(DOF Range 1)와 두 번째 가상영상의 초점심도범위(DOF Range 2)의 합으로 확장하여 가상영상의 초점심도를 보다 확장할 수 있다.

바람직하게, 두 개의 가상영상의 경계에서 영상 흐려짐을 완화하기 위해 일부 초점심도 범위가 중첩되도록 두 개의 가상 영상 소스를 설정할 수 있다. 이 경우는 첫번째 가상영상의 최외곽 초점심도 범위(D_f1)가 두번째 가상영상의 최근접 초점심도 범위(D_n2)보다 멀리 형성되도록 한다. 즉, 디옵터 기준으로 D_n2>D_f1일 수 있다.

본 실시예는 서로 다른 초점심도범위를 갖는 두 개의 가상영상 정보를 동시에 작동되도록 하여, 사용자가 확장된 초점심도 범위의 가상영상을 편하게 볼수록 제어할 수 있다. 아울러, 본 실시예에 안구추적시스템을 추가로 구비하여 추적된 안구의 초점거리를 피드백 받아, 안구의 초점거리에 가까운 가상영상 만을 선택적으로 작동하게 사용 될 수 있다.

이상에서 설명한 본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

210: 디스플레이부 220: 광학 소자부
240: 주광학렌즈 250: 제어부
D_n: 최근접 안구의 초점위치 D_f: 최외곽 안구의 초점위치
B_n: 최근접 영상 흐려짐 크기 B_f: 최외곽 영상 흐려짐 크기
D_a: 회절에 의한 영상 흐려짐 크기
PD_eye: 가상 영상의 수렴영역
D_o: 광학 소자부와 주광학렌즈 사이의 거리
D_e: 주광학렌즈와 수렴영역 사이의 거리

Claims

디스플레이부, 상기 디스플레이부 전면에 일정 간격(D_md) 이격하여 배치되며 렌즈와 개구부(PD_ml)를 갖는 핀홀을 구비한 광학 소자부, 상기 광학 소자부 전면에 일정 간격(D₀) 이격하여 배치되며 사용자 안구의 동공에 가상 영상의 수렴영역을 형성하는 주광학렌즈, 및 사용자에게 제공되는 가상 영상에 대해 초점심도를 확장하기 위한 제어를 수행하는 제어부를 포함하는 초점심도 확장 영상표시장치의 제어방법에 있어서,
상기 제어부가,
최근접 안구의 초점위치에서 망막에 맺히는 영상점의 최근접 영상 흐려짐 크기와, 최외곽 안구의 초점위치에서 망막에 맺히는 영상점의 최외곽 영상 흐려짐 크기가 동일하도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절하며,
상기 가상 영상의 영상점의 최적 위치가, 디옵터 단위로 상기 최근접 안구의 초점위치와 상기 최외곽 안구의 초점위치의 산술평균 위치가 되도록, 가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절하는 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
삭제
제1항에 있어서, 상기 제어부가,
상기 최근접 및 최외곽 영상 흐려짐 크기가, 회절에 의한 영상 흐려짐 크기와, 동일한 값에서 20% 내에 있도록,
가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절하는 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항 또는 제3항에 있어서, 상기 제어부가,
상기 디스플레이부 전면과 상기 광학 소자부 사이의 간격(D_md) 및/또는 상기 광학 소자부의 핀홀의 크기를 조절하는 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 최외곽 안구의 초점위치는 디옵터 단위로 0인 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 안구의 동공위치에서의 수렴영역의 크기는 2mm 이하인 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 광학 소자부와 상기 주광학렌즈 사이의 거리 대 상기 주광학렌즈와 상기 안구의 동공위치에서의 수렴영역 사이의 거리의 비가 1.5 내지 4 인 것을 특징으로 하는 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 디스플레이부는 적어도 하나 이상의 마이크로 디스플레이들로 이루어지고, 상기 광학 소자부의 렌즈와 핀홀은 상기 마이크로 디스플레이들에 대응하여 배치되며,
상기 제어부가,
안구의 동공위치에 1개 또는 2개 이상의 수렴영역을 형성하되, 상기 2개 이상의 수렴영역은 인접 시차영상임을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 제어부가,
상기 디스플레이부와 상기 광학 소자부 사이의 이격 거리(D_md)를 조정하여, 가상 영상의 영상점의 최적위치(D_best)를 변경함을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제1항에 있어서,
상기 디스플레이부는 제1 디스플레이부 및 제2 디스플레이부를 포함하는 적어도 2개 이상의 디스플레이들로 이루어지고, 상기 광학 소자부는 제1 광학 소자부 및 제2 광학 소자부를 포함하며,
상기 최근접 안구의 초점위치는 제1 최근접 안구의 초점위치 및 제2 최근접 안구의 초점위치를 포함하고, 상기 최외곽 안구의 초점위치는 제1 최외곽 안구의 초점위치 및 제2 최외곽 안구의 초점위치를 포함하되,
상기 제어부가,
상기 제1 최근접 안구의 초점위치와 제1 최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일하고,
상기 제2 최근접 안구의 초점위치와 제2 최외곽 안구의 초점위치에서의 망막에 맺히는 영상점의 기하적인 영상 흐려짐의 크기가 동일하도록,
상기 제1 디스플레이부 전면과 상기 제1 광학 소자부 사이의 간격 및/또는 상기 제1 광학 소자부의 핀홀의 크기를 조절하고,
상기 제2 디스플레이부 전면과 상기 제2 광학 소자부 사이의 간격 및/또는 상기 제2 광학 소자부의 핀홀의 크기를 조절하여,
가상 영상의 영상점으로부터 형성되는, 안구의 동공위치에서의 수렴영역의 크기를 조절하는 것을 특징으로 하는, 초점심도 확장 영상표시장치의 제어방법.
제10항에 있어서,
상기 제어부가,
상기 제1 최외곽 안구의 초점위치가 상기 제2 최근접 안구의 초점위치 보다 디옵터 기준으로 같거나 작도록 제어하여, 전체 초점 심도 범위는 상기 제2 최외곽 안구의 초점위치와 제1 최근접 안구의 초점위치 사이로 확대함을 특징으로 하는 초점 심도 확장 다초점 3차원 영상표시장치의 제어방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제