Nothing Special   »   [go: up one dir, main page]

KR20240127555A - 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램 - Google Patents

하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20240127555A
KR20240127555A KR1020230020421A KR20230020421A KR20240127555A KR 20240127555 A KR20240127555 A KR 20240127555A KR 1020230020421 A KR1020230020421 A KR 1020230020421A KR 20230020421 A KR20230020421 A KR 20230020421A KR 20240127555 A KR20240127555 A KR 20240127555A
Authority
KR
South Korea
Prior art keywords
image
housing
spatial
hand
half mirror
Prior art date
Application number
KR1020230020421A
Other languages
English (en)
Inventor
김승철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020230020421A priority Critical patent/KR20240127555A/ko
Publication of KR20240127555A publication Critical patent/KR20240127555A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

하프미러를 이용한 원통형 공간 영상 투영 장치는 하우징, 상기 하우징 내에 수용되고, 입체 영상 및 UI 영상을 출력하는 디스플레이부, 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하는 하프미러 및 카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하는 제어부를 포함한다.

Description

하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램{CYLINDRICAL THREE-DIMENSIONAL IMAGE PROJECTION APPARATUS USING HALF-MIRROR, METHOD AND COMPUTER PROGRAM FOR PROJECTING THREE-DIMENSIONAL IMAGE}
본 발명은 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
최근 플로팅 홀로그램(Floating Hologram) 기술을 이용하여 원통 또는 큐브 형태의 공간 상에 홀로그램 영상을 투영하는 장치의 개발이 활발하게 이루어지고 있다.
종래의 플로팅 홀로그램 기술로는, 원통 구조물 내부에 투명 스크린을 세우고, 프로젝터를 이용하여 영상을 투사함으로써 공간 상에 영상이 표현되는 기술이 있다. 그러나, 해당 기술의 경우, 프로젝터의 영상 투사 거리로 인해 전체 시스템이 커져 컴팩트한 시스템의 구축이 어렵다는 문제점이 존재하였다.
다른 종래의 플로팅 홀로그램 기술로서, 디스플레이 패널과 하프미러를 이용하여 원통형 구조물 내 공간 영상을 표현하는 플로팅 홀로그램 기술이 있다. 해당 기술의 경우, 디스플레이 패널을 이용하여 공간 영상을 표현함으로써, 상기 프로젝터를 이용한 경우보다 컴팩트한 시스템을 구축할 수 있다는 장점이 존재한다. 디스플레이 패널과 하프미러를 이용하여 홀로그램 영상을 투영하는 방법에 대해서는 도 1a 및 도 1b를 통해 상세히 설명하도록 한다.
도 1a는 종래의 하프미러를 이용한 원통형 공간 영상 투영 장치의 개략도이고, 도 1b는 하프미러를 이용한 원통형 공간 영상 투영 장치의 단면도이다.
도 1a를 참조하면, 종래의 하프미러를 이용한 원통형 공간 영상 투영 장치(100)는 하우징(101), 디스플레이부(110), 하프미러(120) 및 제어부(130)를 포함한다.
하우징(101)은 원통 형태로 구성될 수 있으나, 큐브 형태의 하우징 등 다양한 형태의 하우징으로 구성될 수도 있다.
하우징(101)의 내부 중앙에는 디스플레이부(110) 및 하프미러(120)가 배치된다.
디스플레이부(110)는 입체 영상(140)을 출력한다.
하프미러(120)는 입체 영상(140)에 대응하는 공간 영상을 투영한다. 이를 통해, 종래의 원통형 공간 영상 투영 장치(100)는 원통 형태의 하우징(101) 내부 공간의 중앙에 입체 영상(140)이 떠 있는 것을 표현할 수 있게 된다.
한편, 디스플레이부(110)는 입체 영상(140)과 인터랙션을 하기 위해, 가이드가 되는 UI 영상(150)을 출력한다.
그러나 도 1b를 참조하면, UI 영상(150)이 하우징(101) 내부의 디스플레이부(110)에 위치하게 됨에 따라, 사용자는 손(160)으로 UI를 직접 조작할 수 없다. 즉, 사용자는 UI 영상(150)의 위치와 손(160)의 위치의 차이로 인해 직접적인 인터랙션이 불가능하다.
이와 같이, 종래의 플로팅 홀로그램 기술은 원통 형태 또는 큐브 형태의 하우징 내부에 영상이 표현되므로, 홀로그램 영상을 제공할 수는 있으나, 사용자가 터치 인터페이스를 통한 직접적인 인터랙션이 불가능하여, 추가적으로 물리적인 버튼 등과 같은 사용자 인터페이스가 필요하였다.
이를 개선하고자, 공간 터치가 가능한 센서를 이용하는 방법도 이용될 수 있으나, 센서가 설치되어야 하고 센싱을 위한 거리가 요구됨에 따라 시스템이 대형화되는 문제점이 있었다.
한국공개특허 제 10-2019-0080590호(2019.07.08 공개) 한국등록특허 제 10-2290145호(2021.08.10 등록)
하우징, 하우징 내에 수용된 디스플레이부를 통해 입체 영상 및 UI 영상을 출력하고, 하프미러를 통해 하우징 내부에서 입체 영상 및 UI 영상에 대응하는 공간 영상을 투영하는 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
카메라를 통해 사용자의 손의 위치를 검출하고, 검출된 손의 위치에 기초하여 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 입체 영상의 시점 영상을 선택하는 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 하우징, 상기 하우징 내에 수용되고, 입체 영상 및 UI 영상을 출력하는 디스플레이부, 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하는 하프미러 및 카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하는 제어부를 포함하는 것인 공간 영상 투영 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 하우징 내에 수용된 디스플레이부를 통해 입체 영상 및 UI 영상을 출력하는 단계, 하프미러를 통해 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하는 단계, 카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하는 단계 및 판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하는 단계를 포함하는 공간 영상 투영 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 하우징 내에 수용된 디스플레이부를 통해 입체 영상 및 UI 영상을 출력하고, 하프미러를 통해 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하고, 카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하도록 하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 하프미러 및 원통 형태 또는 큐브 형태의 하우징을 이용하여, 하우징 내 입체 영상을 출력할 수 있도록 하는 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
라이트필드 디스플레이를 기반으로 원통 형태 또는 큐브 형태의 하우징의 표면에 UI 영상을 출력함으로써, 사용자가 UI 영상을 직접 터치하여 정밀하게 터치 조작을 수행할 수 있도록 하는 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
카메라를 통해 사용자의 손의 위치를 검출하고, 검출된 손의 위치에 기초하여 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 입체 영상의 시점 영상을 선택함으로써, 사용자가 터치 인터페이스를 통해 UI 영상을 조작할 수 있도록 하는 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.
도 1a는 종래의 하프미러를 이용한 원통형 공간 영상 투영 장치의 개략도이고, 도 1b는 하프미러를 이용한 원통형 공간 영상 투영 장치의 단면도이다.
도 2a는 본 발명의 일 실시예에 따른 하프미러를 이용한 원통형 공간 영상 투영 장치의 개략도이고, 도 2b는 본 발명의 일 실시예에 따른 하프미러를 이용한 원통형 공간 장치의 단면도다.
도 3은 본 발명의 일 실시예에 따른 UI 영상을 구성하는 시점 영상을 복원하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 UI 영상을 구성하는 복수의 시점 영상을 시프트하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 터치 영역 및 손의 위치에 기초하여 손의 터치 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 2D 카메라를 이용하는 경우의 사용자의 손의 터치 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 UI 영상에 대해 사용자의 손이 터치된 경우 UI 영상이 변화되는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 공간 영상 투영 장치에서 출력되는 입체 영상 및 UI 영상을 도시한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 UI 영상에 대해 사용자의 손이 터치된 경우 제공되는 입체 영상을 도시한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 하프미러를 이용한 원통형 공간 영상 투영 장치에서 수행되는 공간 영상을 투영하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 2a는 본 발명의 일 실시예에 따른 하프미러를 이용한 원통형 공간 영상 투영 장치의 개략도고, 도 2b는 본 발명의 일 실시예에 따른 하프미러를 이용한 원통형 공간 영상 투영 장치의 단면도이다.
도 2a 및 도 2b를 참조하면, 공간 영상 투영 장치(200)는 하우징(201), 디스플레이부(210), 하프미러(220), 카메라(230) 및 제어부(240)를 포함할 수 있다.
하우징(201)은 원통 형태로 형성되어 내부에 공간을 가지도록 이루어질 수 있다. 하우징(201)의 형태는 원통형의 형태로 한정되지는 아니하며, 필요에 따라, 반원통 형태 또는 다각 기둥 형태 등으로 형성될 수도 있다.
하우징(201)의 내부 공간에는 디스플레이부(210) 및 하프미러(220)가 배치될 수 있다.
디스플레이부(210)는 하우징(201)의 내부에 배치되고, 입체 영상(250)이 원통 형태의 하우징(201)의 곡면을 향해 출력되도록 배치될 수 있다.
본 발명에서, 디스플레이부(210)는 무안경식 입체 영상을 출력할 수 있는 패럴랙스 배리어, 렌티큘러 렌즈 등을 포함하는 라이트필드 디스플레이일 수 있다. 이외에도, 디스플레이부(210)는 집적 영상 디스플레이, 체적형 디스플레이, 홀로그램 디스플레이 등 완전 입체 영상을 출력할 수 있는 디스플레이 또는 편광 방식, 셔터글래스 방식 등의 안경식 입체 영상을 출력할 수 있는 디스플레이 등이 이용될 수도 있으며, 이에 한정하지 않는다.
여기서, 디스플레이부(210)는 디스플레이 패널(Display panel)로서, 액정 표시 장치(LCD, Liquid Crystal Display), 유기발광다이오드 디스플레이(OLED, Organic Light Emitting Diode), 퀀텀닷(Quantum Dot) 디스플레이, 프로젝션 디스플레이 등이 이용될 수 있다.
디스플레이부(210)는 원통 형태의 하우징(201)의 곡면을 향해 입체 영상(250)을 출력할 수 있다. 여기서, 입체 영상(250)은 홀로그램 영상일 수 있다. 예를 들어, 디스플레이부(210)는 도 2a와 같이 원통형 공간 영상 투영 장치(100) 내의 공간 상에서 체적을 갖는 3차원의 입체 영상(250)을 표현 가능한 가능한 라이트필드 디스플레이일 수 있다.
또한, 디스플레이부(210)는 UI 영상(260)을 출력할 수 있다. 예를 들어, 디스플레이부(210)는 입체 영상(250)의 조작을 위한 UI를 3차원의 UI 영상(260)으로 구성하여, 전방으로 투영할 수 있다.
여기서, 디스플레이부(210)는 라이트필드 디스플레이를 통해 3차원의 UI 영상(260)을 출력할 수 있다.
한편, 라이트필드 디스플레이를 이용하는 경우 입체 영상을 표현하기 위해 많은 시점 영상을 렌더링해야 하므로, 전체 시스템의 성능에 많은 영향을 주게 된다.
이러한 문제를 해결하기 위해, 본 발명은 3차원 공간 내에서 렌더링을 하지 않고, 라이트필드 디스플레이를 위한 시점 영상들의 시차를 조절하여 라이트필드 디스플레이 기반의 UI 영상(260)을 출력할 수 있다.
이를 통해, 디스플레이부(210)는 사용자가 자신의 손(270)을 이용하여 UI 영상(260)을 직접 터치할 수 있도록 할 수 있다.
하프미러(220)는 디스플레이부(210)의 전면에 위치하여 투과율과 반사율의 비율에 따라 디스플레이부(210)로부터 출력된 입체 영상(250) 및 UI 영상(260)에 대응하는 공간 영상을 투영할 수 있다.
구체적으로, 하프미러(220)는 원통 형태의 하우징(201)을 반사하여 공간 영상을 투영함으로써 원통형 공간을 구성할 수 있다. 이를 통해 디스플레이부(210)가 사용자의 눈에 잘 띄지 않도록 하여 원통형 공간의 중앙 부분에 입체 영상(250) 및 UI 영상(260)이 위치하도록 함으로써 홀로그램 효과를 줄 수 있다.
하프미러(220)는 디스플레이부(210)의 전면에 배치되고, 공간 영상은 하프미러(220)와 원통 형태의 하우징(201)의 곡면 사이의 공간에 투영될 수 있다.
보다 구체적으로, 하프미러(220)의 일측에는 투명한 소재로 형성되는 하우징(201)의 원통의 곡면이 위치할 수 있다. 즉, 하프미러(220)는 하우징(201)의 내부에 원통 형태의 공간 영상을 투영할 수 있다.
또한, 하프미러(220)는 투과율과 반사율의 비율에 따라 디스플레이부(210)의 베젤 부분이 잘 보이지 않게 해주어 홀로그램 효과를 향상시킬 수 있다.
카메라(230)는 하우징(201)의 상단부 또는 하단부에 설치될 수 있다.
카메라(230)는 카메라(230)의 화각 내에서 사용자의 터치 여부를 인식하기 위해 하우징(201)의 표면을 촬영할 수 있다.
이러한 카메라(230)는 사용자의 손을 인식하기 위해예를 들어, 깊이를 측정할 수 있는 스테레오 카메라, 깊이 카메라, 일반적인 2D 카메라 등이 이용될 수 있다.
제어부(240)는 카메라(230)를 통해 사용자의 손(270)의 위치를 검출하고, 검출된 손(270)의 위치에 기초하여 UI 영상(260)에 대한 손(270)의 터치 여부를 판단할 수 있다.
제어부(240)는 판단 결과에 기초하여 입체 영상(250)의 시점 영상을 선택할 수 있다.
제어부(240)는 UI 영상(260)이 입체 영상(250)의 전방에 오버레이되도록 UI 영상(260)을 구성하는 복수의 시점 영상을 시프트(Shift)할 수 있다. 여기서, UI 영상(260)은 복수의 시점 영상이 시프트되는 픽셀의 이동량에 기초하여 특정 깊이 평면에 결상될 수 있다.
제어부(240)는 하우징(201)의 크기 정보에 따른 투영 거리 정보에 기초하여 UI 영상(260)에 대응하는 공간 영상을 하우징(201)의 표면에 투영시킬 수 있다. 복수의 시점 영상을 시프트하는 과정에 대해서는 도 3 및 도 4를 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 시점 영상을 복원하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 디스플레이부(210)는 디스플레이 패널(210-1) 및 디스플레이 패널(210-1)에 부착되는 요소 렌즈 어레이(300)를 포함할 수 있다. 이때, 각 광선이 요소 렌즈 어레이(300)를 통과하여 특정 깊이 평면에 결상됨으로써, 시점 영상이 복원될 수 있다.
예를 들어, 보라색으로 표현된 복수의 광선(301)의 경우, 각 광선(301)이 각각의 요소 렌즈(300)를 통과하여 D0(310)의 깊이 평면에 결상됨으로써, 시점 영상이 복원될 수 있다.
여기서, 녹색으로 표현된 복수의 광선(302)의 경우, 보라색으로 표현된 광선(301)에서 광선의 시작 위치를 요소 렌즈 어레이(300)의 상대 위치에 따라 n 픽셀씩 이동시킨 것으로, 요소 렌즈 어레이(300)를 통과하여 D1(311)의 깊이 평면에 결상됨으로써, 시점 영상이 복원될 수 있다.
제어부(240)는 이러한 과정을 반복 수행함으로써, 픽셀의 이동량을 조절하여 시점 영상이 결상되는 깊이 평면을 조절할 수 있다.
즉, 제어부(240)는 픽셀의 이동에 기초하여, 라이트필드 디스플레이에서 사용되는 시점 영상을 수평 이동시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 UI 영상을 구성하는 복수의 시점 영상을 시프트하는 과정을 설명하기 위한 예시적인 도면이다. 도 3 및 도 4를 참조하면, 제어부(240)는 UI 영상(260)을 구성하는 5개의 시점 영상을 시프트하여 UI 영상(260)을 출력할 수 있다.
그림 (a)(410)의 경우, 5개의 시점 영상(400 내지 404)이 모두 동일한 위치에 위치하는 것을 확인할 수 있다. 그림 (a)에서, 라이트필드 디스플레이 기반으로 UI 영상(260)이 복원되는 경우, 2D 기반의 UI 영상이 디스플레이부(210)를 통해 출력될 수 있다.
그림 (b)(411)의 경우, 제어부(240)는 UI 영상(260)을 디스플레이부(210)의 전방으로 표현하기 위해 각 시점 영상을 수평 방향으로 시프트할 수 있다. 예를 들어, 제어부(240)는 제 1 시점 영상(400)을 기준 시점 영상으로 설정하고, 제 2 시점 영상(401)을 1픽셀, 제 3 시점 영상(402)을 2픽셀, 제 4 시점 영상(403)을 3픽셀, 제 5 시점 영상(404)을 4픽셀 이동시킬 수 있다.
이와 같이, 제어부(240)가 각 시점 영상을 이동시켜 라이트필드 기반의 UI 영상(260)을 복원하는 경우, 디스플레이부(210)는 도 3의 D1(311)의 깊이 평면 상에 UI 영상(260)을 출력할 수 있다.
또한, 제어부(240)는 시점 영상이 복원되는 거리를 증가시키기 위해 각 시점 영상의 시프트 양을 증가시킬 수 있다. 예를 들어, 제어부(240)는 그림 (c)(412)의 경우, 그림 (b)(411)와 비교하여, 각 대응되는 시점 영상들에 비해 시프트 양을 2배 증가시킬 수 있다. 이 때, 디스플레이부(210)는 도 3의 D2(312)의 깊이 평면 상에 UI 영상(260)을 출력할 수 있다.
이와 같은 방법으로, 제어부(240)는 원하는 깊이 위치에 표현하기 위한 적정 시프트 양을 도출함으로써, 각 시점 영상을 생성한 후, 라이트필드 기반의 UI 영상(260)으로 복원시키고, 디스플레이부(210)는 공간 영상 투영 장치(200)의 하우징(201)의 표면에 UI 영상(260)을 출력할 수 있다.
다시 도 2a 및 도 2b로 돌아와서, 제어부(240)는 UI 영상(260)의 픽셀 수 및 위치 정보에 기초하여 터치 영역을 설정하고, 터치 영역 및 손(270)의 위치에 기초하여 손(270)의 터치 여부를 판단할 수 있다. 손(270)의 터치 여부를 판단하는 과정에 대해서는 도 5를 통해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 터치 영역 및 손의 위치에 기초하여 손의 터치 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다. 도 5를 참조하면, 그림 (a)(500)는 터치 센싱이 가능한 디스플레이부(210) 및 하프미러(220)가 배치된 공간 영상 투영 장치(200)의 정면도를 나타낸 것으로, 디스플레이부(210)는 3차원의 UI 영상(260)으로서 좌/우 화살표(502, 504)를 출력할 수 있다. 이 때, 하우징(201)의 상단부에 터치 인식을 위한 카메라(230)가 설치됨으로써, 카메라(230)의 화각 내 터치 여부 인식을 수행될 수 있다.
제어부(240)는 UI 영상(260)의 픽셀 수와 위치 정보를 기반으로 터치 영역(501, 503)을 설정할 수 있고, 스테레오 카메라, 깊이 카메라 등의 카메라(230)를 이용하여 사용자의 손(270)의 3차원 좌표를 추출하여 터치 영역(501, 503)의 터치 여부를 결정할 수 있다.
예를 들어, 그림 (b)(510), 그림 (c)(520)와 같이, 제어부(240)는 터치 영역(501, 503)에 사용자의 손(270)이 위치하는지에 기초하여 좌/우 화살표(502, 504)에 대한 터치 여부를 판단할 수 있다.
다시 도 2a 및 도 2b로 돌아와서, 본 발명의 일 실시예에 따르면, 카메라(230)는 터치 인식을 위해 일반적인 2D 카메라일 수 있다.
이 경우, 제어부(240)는 사용자의 손(270)의 터치 인식을 위한 추가적인 계산을 수행할 수 있다.
제어부(240)는 터치 영역에 대한 좌표 정보를 도출할 수 있다.
제어부(240)는 카메라(230)와 디스플레이부(210)의 위치에 대한 상관 관계 정보 및 카메라(230)의 화각에 의한 촬영 가능 폭에 기초하여 터치 영역의 시작 위치 및 종료 위치를 산출하고, 터치 영역의 시작 위치 및 종료 위치에 기초하여 터치 영역에 대한 x축 좌표 정보를 도출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 2D 카메라를 이용하는 경우의 사용자의 손의 터치 여부를 판단하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 촬영 가능한 카메라(230)의 폭이 2c라고 가정하자. 카메라(230)의 폭에 기초하여 UI 영상(260)에 해당하는 터치 영역은 다음의 수학식 1을 통해 산출될 수 있다.
제어부(240)는 수학식 1에 기초하여 UI 영상(260)에 해당하는 터치 영역을 dx1과 dx2 사이의 영역2(602)으로 도출할 수 있다.
여기서, 카메라(230)에 의해 촬영되는 위치를 디스플레이 패널의 정보를 이용하여 정의하기 위해, UI 영상(260)은 전체 해상도가 Rh, Rv이고, 픽셀 크기가 Px, Py인 디스플레이 패널에서 (dx1, dy1)에서 (dx2, dy2)를 포함하는 dh, dv 크기의 사각형 구조라고 가정하자. 또한, 디스플레이 패널은 터치 인식을 위한 카메라(230)로부터 L의 거리만큼 아래에 위치하고, 디스플레이 패널과 카메라(230)의 중심축은 동일 축 상에 있다고 가정하자.
카메라(230)와 디스플레이 패널의 위치에 대한 상관 관계 및 카메라(230)의 화각에 의해 촬영 가능한 폭(2c)은 예를 들어, 다음의 수학식 2 및 3을 통해 산출할 수 있다.
카메라(230)의 영상에서의 영역2(602)의 시작 및 끝 위치는 다음의 수학식 4 및 수학식 5를 통해 산출할 수 있다.
영역2(602)에 대한 x축 좌표 값은 다음의 수학식 6 및 수학식 7을 통해 산출될 수 있다.
도 6의 아래 그림은 카메라에서 바라보는 모습으로, 연두색으로 표현된 부분이 화살표 UI에 해당하는 영역이다. 설명의 편의상 오른쪽 부분에 대해 설명을 하며, 중앙 기준으로 오른쪽 전체 영역을 c로 표현하였다. c를 세 부분으로 나누어 c2는 화살표 UI에 해당하는 영역을 나타내며, c1 및 c3는 화살표에 해당하지 않는 영역을 나타낸다. 따라서, 손이 c2에 해당하는 영역에서 터치가 발생했을 때 작동을 하고, 그 외 c1 및 c3의 영역에서 터치 발생시 작동을 하지 않는다.
본 발명에서는 카메라(230)를 이용하여 터치 센싱을 수행하는 구성에 대해 설명하였으나, 카메라(230) 외에 하우징(201)의 상단부 또는 하단부에 IR 센서의 발광부 및 수광부를 각각 설치하여, 사용자의 손(270)의 수직 좌표를 추출할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 UI 영상에 대해 사용자의 손이 터치된 경우 UI 영상이 변화되는 과정을 설명하기 위한 예시적인 도면이다. 도 7을 참조하면, 하우징(201)의 표면에 UI 영상(260)이 출력되고, 사용자가 UI 영상(260)을 터치한 경우의 UI 영상(260)이 변화될 수 있다.
그림 (a)(700)는 UI 영상(260)이 하우징(201)의 표면에 'Play 버튼' 형상으로 표현될 수 있다. UI 영상(260)의 'Play 버튼'이 공간 영상 투영 장치(200)의 하우징(201)의 표면에 표현되어 있을 때, 사용자가 자신의 손(270)을 이용하여 터치한 경우, 일반적인 터치 인터페이스에서 제공하는 다양한 액션을 수행할 수 있다. 예를 들어, 'Play 버튼'의 색상 변화, 밝기 변화, 회전, 상/하/좌/우 이동 등 다양한 애니메이션이 적용될 수 있다.
또한, 그림 (b)(710)와 같이 사용자가 UI 영상(260)의 'Play 버튼'을 터치한 경우, 일부 밝기가 변화될 수 있다.
일반적인 디스플레이의 경우, 'Play 버튼'이 눌러진 효과를 주기 위해 CG 효과에 의한 버튼 프레스(Button Press) 효과를 표현할 수 있다. 그러나 라이트필드 디스플레이를 이용하는 경우, 깊이 방향으로 영상 표현이 가능하므로, 입력 영상의 조작을 통해 실제로 'Play 버튼'이 눌리는 효과를 표현할 수 있다.
즉, 콘텐츠의 3차원 공간 상에서 'Play 버튼'이 눌림에 따라, CG 콘텐츠 표현을 해주고, 라이트필드 영상으로 렌더링하여 표현함으로써, 디스플레이부(210)는 실제 'Play 버튼'이 눌러진 듯한 효과를 제공할 수 있다.
디스플레이부(210)는 3차원 영상을 실시간으로 렌더링하여 표현하지 않는 입체 영상(250)을 출력하면서, 입체 영상(250) 전방에 UI 영상(260)을 오버레이하여 출력할 수 있다.
이하에서, 그림 (c), 그림 (d), 그림 (e) 각각에서 표시된 'dc1~dcm', 'dd1~ddm' 및 'de1~dem' 은 모두 각 시점 영상의 시차값을 나타낸다.
그림 (c)(730)는 그림 (b)(710)의 'Play 버튼'을 각 시점 영상에 적합하도록 시프트시킨 영상일 수 있다. 즉, 제어부(240)는 가운데 영상인 제 n 시점 영상(720)을 기준으로, 시점 위치에 맞게 시차량 dc1~dcm 픽셀만큼 시프트시킴으로써, 디스플레이부(210)는 공간 영상 투영 장치(200)의 하우징(201)의 표면에 UI 영상(260)을 출력할 수 있다. 여기서, 시차량은 2D 영상에 대한 깊이 표현을 나타내므로, 인접한 시점 영상 간에는 동일한 시차량을 가질 수 있다.
제어부(240)는 사용자가 자신의 손(270)을 이용하여 UI 영상(260)을 터치한 경우, 각 시점 영상의 시프트양을 조절할 수 있다. 여기서, 시차량을 줄이는 경우, UI 영상(260)은 디스플레이 패널쪽으로 이동을 하게 되고, 시차량을 증가시키는 경우, UI 영상(260)이 하우징(201)의 밖으로 출력될 수 있다.
그림 (d)(740)는 모든 시점 영상이 같은 경우를 나타내며, 이는 UI 영상(260)이 안쪽으로 들어가도록 이동하여 디스플레이부(210)의 면에 위치할 수 있다.
그림 (e)(750)는 시차량이 역전된 경우를 나타내며, UI 영상(260)이 안쪽으로 이동하여 디스플레이 패널의 뒤까지 들어간 경우를 나타낼 수 있다.
따라서, 제어부(240)는 입체 영상 및 UI 영상의 출력 시나리오에 따라 시차량을 조절함으로써, UI 영상(260)에 대한 깊이 방향으로 이동을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 공간 영상 투영 장치에서 출력되는 입체 영상 및 UI 영상을 도시한 예시적인 도면이다. 도 8을 참조하면, 공간 영상 투영 장치(200)는 초기 상태의 정면 뷰를 제공할 수 있다. 예를 들어, 사용자의 정면 뷰(center view)에 대한 주 입체 영상(801)을 출력하고, 상단에 왼쪽 방향(802) 및 오른쪽 방향(803)을 나타내는 UI 영상(802, 803)을 출력할 수 있다. 예를 들어, 공간 영상 투영 장치(200)는 사용자의 손(270)이 오른쪽 방향에 대한 UI 영상(811)의 터치를 인식한 경우, 주 입체 영상(801)에 대한 오른쪽 방향에 대한 시점 영상(821)을 출력할 수 있다.
다른 예를 들어, 공간 영상 투영 장치(200)는 사용자의 손(270)이 왼쪽 방향에 대한 UI 영상(812)의 터치를 인식한 경우, 주 입체 영상(801)에 대한 왼쪽 방향에 대한 시점 영상(822)을 출력할 수 있다.
도 9는 본 발명의 일 실시예에 따른 UI 영상에 대해 사용자의 손이 터치된 경우 제공되는 입체 영상을 도시한 예시적인 도면이다. 도 9를 참조하면, 라이트필드 디스플레이가 적용된 공간 영상 투영 장치(200)에서 사용되는 시점 영상의 예로, 전체 M개의 시점 영상(900)이 존재하는 것으로 가정하여 설명하도록 한다. 예를 들어, 공간 영상 투영 장치(200)에 사용되는 라이트필드 디스플레이는 m개의 시점 영상을 사용한다고 가정하자.
이와 같은 구성으로, 도 8의 초기 상태에서는 도 9의 이미지 그룹 1(901, n~n+m-1의 m개의 시점 영상)을 사용하여 입체 영상(250)을 출력할 수 있다. 여기서, 공간 영상 투영 장치(200)는 입체 영상(250)의 중심 시점 영상(910)을 출력할 수 있다.
여기서, 사용자가 상단의 UI 영상(260)을 터치한 경우, UI 영상(260)에 대한 애니메이션(색상 변화, 깊이 방향 움직임, 회전, 상/하/좌/우 이동 등)을 수행하고, 주영상에 대한 액션을 수행할 수 있다.
예를 들어, 사용자의 입체 영사에서 UI 영상(260)에 대한 터치를 통해, 사용자를 좌/우로 회전시킬 수 있다. 이때, 기생성된 영상에 대해서는 해당 시점 영상을 변경해야 하므로, 제공하고자 하는 입체 영상의 시나리오에 따라 사용하는 이미지 그룹을 이동시킬 수 있다.
예를 들어, 사용자가 오른쪽 방향에 대한 UI 영상(260)을 터치한 경우, 공간 영상 투영 장치(200)는 이미지 그룹 2(902, M-(m-1)~M의 m개의 시점 영상)을 사용하여, 주 입체 영상을 오른쪽으로 회전시킨 오른쪽 방향에 대한 시점 영상(911)을 제공할 수 있다. 여기서, 오른쪽 방향에 대한 시점 영상을 제공하기 위해서는 시점 영상을 실시간으로 렌더링하는 경우 카메라(230) 또는 주 입체 영상을 이동시켜 시점 영상을 렌더링할 수 있다.
다른 예를 들어, 사용자가 왼쪽 방향에 대한 UI 영상(260)을 터치한 경우, 공간 영상 투영 장치(200)는 이미지 그룹 3(903, 1~m의 m개의 시점 영상)을 사용하여, 주 입체 영상을 왼쪽으로 회전시킨 왼쪽 방향에 대한 시점 영상(912)을 제공할 수 있다.
이러한 공간 영상 투영 장치(200)는 하프미러를 이용하여 공간 영상을 투영하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 하우징(201) 내에 수용된 디스플레이부(210)를 통해 입체 영상 및 UI 영상을 출력하고, 하프미러(220)를 통해 하우징(201) 내부에서 입체 영상에 대응하는 공간 영상을 투영하고, 카메라(230)를 통해 사용자의 손의 위치를 검출하고, 검출된 손의 위치에 기초하여 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 입체 영상의 시점 영상을 선택하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 원통형 공간 영상 투영 장치(200)에서 수행되는 하프미러를 이용하여 공간 영상을 투영하는 방법의 순서도이다. 도 10에 도시된 공간 영상 투영 장치(200)에서 수행되는 하프미러(220)를 이용하여 공간 영상을 투영하는 방법은 도 2a 내지 도 9에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 2a 내지 도 9에 도시된 실시예에 따라 공간 영상 투영 장치(200)에서 수행되는 하프미러(220)를 이용하여 공간 영상을 투영하는 방법에도 적용된다.
단계 S1010에서 공간 영상 투영 장치(200)는 하우징(201) 내에 수용된 디스플레이부(215)를 통해 입체 영상(250) 및 UI 영상(260)을 출력할 수 있다.
단계 S1020에서 공간 영상 투영 장치(200)는 하프미러(220)를 통해 하우징(201) 내부에서 입체 영상(250) 및 UI 영상(260)에 대응하는 공간 영상을 투영할 수 있다.
단계 S1030에서 공간 영상 투영 장치(200)는 카메라(230)를 통해 사용자의 손(270)의 위치를 검출하고, 검출된 손(270)의 위치에 기초하여 UI 영상(260)에 대한 손(270)의 터치 여부를 판단할 수 있다.
단계 S1040에서 공간 영상 투영 장치(200)는 판단 결과에 기초하여 입체 영상(250)의 시점 영상을 선택할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1040는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 2a 내지 도 10을 통해 설명된 공간 영상 투영 장치에서 수행되는 하프미러를 이용하여 공간 영상을 투영하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 2a 내지 도 10을 통해 설명된 공간 영상 투영 장치에서 수행되는 하프미러를 이용하여 공간 영상을 투영하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
200: 원통형 공간 영상 투영 장치
201: 하우징
210: 하프미러
220: 디스플레이부
230: 카메라
240: 제어부

Claims (17)

  1. 하프미러를 이용한 원통형 공간 영상 투영 장치에 있어서,
    하우징;
    상기 하우징 내에 수용되고, 입체 영상 및 UI 영상을 출력하는 디스플레이부;
    상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하는 하프미러; 및
    카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하고, 판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하는 제어부
    를 포함하는 것인, 공간 영상 투영 장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 UI 영상이 상기 입체 영상의 전방에 오버레이되도록 상기 UI 영상을 구성하는 복수의 시점 영상을 시프트(Shift)하는 것인, 공간 영상 투영 장치.
  3. 제 2 항에 있어서,
    상기 UI 영상은 상기 복수의 시점 영상이 시프트되는 픽셀의 이동량에 기초하여 특정 깊이 평면에 결상되는 것인, 공간 영상 투영 장치.
  4. 제 2 항에 있어서,
    상기 제어부는 상기 하우징의 크기 정보에 따른 투영 거리 정보에 기초하여 상기 UI 영상에 대응하는 공간 영상을 상기 하우징의 표면에 투영시키는 것인, 공간 영상 투영 장치.
  5. 제 1 항에 있어서,
    상기 제어부는 상기 UI 영상의 픽셀 수 및 위치 정보에 기초하여 터치 영역을 설정하고,
    상기 터치 영역 및 상기 손의 위치에 기초하여 상기 손의 터치 여부를 판단하는 것인, 공간 영상 투영 장치.
  6. 제 5 항에 있어서,
    상기 제어부는 상기 카메라와 상기 디스플레이부의 위치에 대한 상관 관계 정보 및 상기 카메라의 화각에 의한 촬영 가능 폭에 기초하여 상기 터치 영역의 시작 위치 및 종료 위치를 산출하고,
    상기 터치 영역의 시작 위치 및 종료 위치에 기초하여 상기 터치 영역에 대한 x축 좌표 정보를 도출하는 것인, 공간 영상 투영 장치.
  7. 제 1 항에 있어서,
    상기 하우징은 원통 형태를 가지고,
    상기 디스플레이부는 상기 입체 영상이 상기 원통의 곡면을 향해 출력되도록 배치되는 것인, 공간 영상 투영 장치.
  8. 제 7 항에 있어서,
    상기 하프미러는 상기 디스플레이부의 전면에 배치되고,
    상기 공간 영상은 상기 하프미러와 상기 원통의 곡면 사이의 공간에 투영되는 것인, 공간 영상 투영 장치.
  9. 원통형 공간 영상 투영 장치에서 하프미러를 이용하여 공간 영상을 투영하는 방법에 있어서,
    하우징 내에 수용된 디스플레이부를 통해 입체 영상 및 UI 영상을 출력하는 단계;
    하프미러를 통해 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하는 단계;
    카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하는 단계; 및
    판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하는 단계
    를 포함하는 것인, 공간 영상 투영 방법.
  10. 제 9 항에 있어서,
    상기 시점 영상을 선택하는 단계는,
    상기 UI 영상이 상기 입체 영상의 전방에 오버레이되도록 상기 UI 영상을 구성하는 복수의 시점 영상을 시프트(Shift)하는 단계를 포함하는 것인, 공간 영상 투영 방법.
  11. 제 10 항에 있어서,
    상기 UI 영상은 상기 복수의 시점 영상이 시프트되는 픽셀의 이동량에 기초하여 특정 깊이 평면에 결상되는 것인, 공간 영상 투영 방법.
  12. 제 10 항에 있어서,
    상기 시점 영상을 선택하는 단계는,
    상기 하우징의 크기 정보에 따른 투영 거리 정보에 기초하여 상기 UI 영상에 대응하는 공간 영상을 상기 하우징의 표면에 투영시키는 단계를 포함하는 것인, 공간 영상 투영 방법.
  13. 제 9 항에 있어서,
    상기 손의 터치 여부를 판단하는 단계는,
    상기 UI 영상의 픽셀 수 및 위치 정보에 기초하여 터치 영역을 설정하는 단계; 및
    상기 터치 영역 및 상기 손의 위치에 기초하여 상기 손의 터치 여부를 판단하는 단계를 포함하는 것인, 공간 영상 투영 방법.
  14. 제 13 항에 있어서,
    상기 손의 터치 여부를 판단하는 단계는,
    상기 카메라와 상기 디스플레이부의 위치에 대한 상관 관계 정보 및 상기 카메라의 화각에 의한 촬영 가능 폭에 기초하여 상기 터치 영역의 시작 위치 및 종료 위치를 산출하는 단계; 및
    상기 터치 영역의 시작 위치 및 종료 위치에 기초하여 상기 터치 영역에 대한 x축 좌표 정보를 도출하는 단계를 포함하는 것인, 공간 영상 투영 방법.
  15. 제 9 항에 있어서,
    상기 하우징은 원통 형태를 가지고,
    상기 입체 영상은 상기 원통의 곡면을 향해 출력되도록 배치되는 것인, 공간 영상 투영 방법.
  16. 제 15 항에 있어서,
    상기 하프미러는 상기 디스플레이부의 전면에 배치되고,
    상기 공간 영상은 상기 하프미러와 상기 원통의 곡면 사이의 공간에 투영되는 것인, 공간 영상 투영 방법.
  17. 하프미러를 이용하여 공간 영상을 투영하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    하우징 내에 수용된 디스플레이부를 통해 입체 영상 및 UI 영상을 출력하고,
    하프미러를 통해 상기 하우징 내부에서 상기 입체 영상 및 상기 UI 영상에 대응하는 공간 영상을 투영하고,
    카메라를 통해 사용자의 손의 위치를 검출하고, 상기 검출된 손의 위치에 기초하여 상기 UI 영상에 대한 손의 터치 여부를 판단하고,
    판단 결과에 기초하여 상기 입체 영상의 시점 영상을 선택하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020230020421A 2023-02-16 2023-02-16 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램 KR20240127555A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230020421A KR20240127555A (ko) 2023-02-16 2023-02-16 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230020421A KR20240127555A (ko) 2023-02-16 2023-02-16 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20240127555A true KR20240127555A (ko) 2024-08-23

Family

ID=92568235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230020421A KR20240127555A (ko) 2023-02-16 2023-02-16 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20240127555A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080590A (ko) 2017-12-28 2019-07-08 주식회사 케이티 공간 영상 투영 장치
KR102290145B1 (ko) 2018-09-19 2021-08-19 주식회사 케이티 하프 미러를 이용한 원통형 공간 영상 투영 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080590A (ko) 2017-12-28 2019-07-08 주식회사 케이티 공간 영상 투영 장치
KR102290145B1 (ko) 2018-09-19 2021-08-19 주식회사 케이티 하프 미러를 이용한 원통형 공간 영상 투영 장치

Similar Documents

Publication Publication Date Title
US10789760B2 (en) Focus guidance within a three-dimensional interface
US10656721B2 (en) Interactive three-dimensional display apparatus and method
JP5087532B2 (ja) 端末装置、表示制御方法および表示制御プログラム
CN114245905A (zh) 深度感知照片编辑
US8970478B2 (en) Autostereoscopic rendering and display apparatus
US8570372B2 (en) Three-dimensional imager and projection device
US8890812B2 (en) Graphical user interface adjusting to a change of user's disposition
JP4579295B2 (ja) 画像表示装置
JP2008219788A (ja) 立体画像表示装置、方法およびプログラム
US9766793B2 (en) Information processing device, information processing method and program
US20140129988A1 (en) Parallax and/or three-dimensional effects for thumbnail image displays
CN116126170A (zh) 显示装置及控制装置
US20100238184A1 (en) Method and apparatus for three-dimensional visualization in mobile devices
US20110273731A1 (en) Printer with attention based image customization
US20130009891A1 (en) Image processing apparatus and control method thereof
KR20110107692A (ko) 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법
CN115529835A (zh) 用于新颖视图合成的神经混合
US11057612B1 (en) Generating composite stereoscopic images usually visually-demarked regions of surfaces
US12069231B1 (en) Integrated display rendering
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
US12205219B1 (en) Nested stereoscopic projections
KR20240127555A (ko) 하프미러를 이용한 원통형 공간 영상 투영 장치, 방법 및 컴퓨터 프로그램
JP2004104742A (ja) 立体映像データの発生方法と装置
US11697068B2 (en) Mobile platform as a physical interface for interaction
US11417055B1 (en) Integrated display rendering

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230216

PG1501 Laying open of application