Nothing Special   »   [go: up one dir, main page]

KR102571080B1 - 홀로그래픽 이미지를 처리하는 방법 및 장치 - Google Patents

홀로그래픽 이미지를 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR102571080B1
KR102571080B1 KR1020160016355A KR20160016355A KR102571080B1 KR 102571080 B1 KR102571080 B1 KR 102571080B1 KR 1020160016355 A KR1020160016355 A KR 1020160016355A KR 20160016355 A KR20160016355 A KR 20160016355A KR 102571080 B1 KR102571080 B1 KR 102571080B1
Authority
KR
South Korea
Prior art keywords
image
eye image
window
right eye
left eye
Prior art date
Application number
KR1020160016355A
Other languages
English (en)
Other versions
KR20170094969A (ko
Inventor
서주원
서원택
송훈
안중권
이홍석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160016355A priority Critical patent/KR102571080B1/ko
Priority to US15/271,351 priority patent/US10775742B2/en
Priority to EP20170139.8A priority patent/EP3712711B1/en
Priority to EP17150447.5A priority patent/EP3206087B1/en
Priority to CN201710066103.1A priority patent/CN107087149B/zh
Publication of KR20170094969A publication Critical patent/KR20170094969A/ko
Application granted granted Critical
Publication of KR102571080B1 publication Critical patent/KR102571080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2223—Particular relationship between light source, hologram and observer
    • G03H2001/2234—Transmission reconstruction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2236—Details of the viewing window
    • G03H2001/2242—Multiple viewing windows
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/60—Multiple SLMs
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00—Substrate bearing the hologram
    • G03H2270/55—Substrate bearing the hologram being an optical element, e.g. spectacles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그래픽 이미지 처리 장치 및 방법이 개시된다. 실시예에 따른 홀로그래픽 이미지 처리장치는, 좌안 영상에 대한 제1 연산 결과와 우안 영상에 대한 제1 연산 결과를 저장부의 서로 다른 메모리 주소에 저장한다. 그리고, 저장부에 저장된 제1 연산 결과 전체에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산한다. 홀로그래픽 이미지 처리 장치에 의해 공간 광 변조기를 통해 재생되는 홀로그램 영상의 시역 윈도우 상에서 좌안 영상의 영상 윈도우와 우안 영상의 영상 윈도우가 서로 공간적으로 분리된다.

Description

홀로그래픽 이미지를 처리하는 방법 및 장치 {Method and apparatus for processing holographic image}
홀로그래픽 이미지를 처리하는 방법 및 장치에 관한 것으로서, CGH(Computer Generated Hologram) 이미지를 처리하는 방법 및 장치에 관한다.
3차원 영상을 구현하는 방식으로서 안경 방식과 무안경 방식이 널리 상용화되어 사용되고 있다. 안경 방식에는 편광 안경 방식과 셔터 안경 방식이 있으며, 무안경 방식에는 렌티큘러 방식과 패럴랙스 배리어 방식이 있다. 이러한 방식들은 두 눈의 양안시차(binocular parallax)를 이용하는 것으로, 시점 수의 증가에 한계가 있을 뿐만 아니라, 뇌에서 인식하는 깊이감과 눈의 초점이 일치하지 않아서 시청자로 하여금 피로감을 느끼게 한다.
뇌에서 인식하는 깊이감과 눈의 초점이 일치하고 완전 시차(full parallax)를 제공할 수 있는 3차원 영상 디스플레이 방식으로서, 최근 홀로그래픽 디스플레이 방식이 점차 실용화되고 있다. 홀로그래픽 디스플레이 방식은, 원본 물체로부터 반사된 물체광과 참조광을 간섭시켜 얻은 간섭무늬를 기록한 홀로그램 패턴에 참조광을 조사하여 회절시키면, 원본 물체의 영상이 재생되는 원리를 이용하는 것이다. 현재 실용화되고 있는 홀로그래픽 디스플레이 방식은 원본 물체를 직접 노광하여 홀로그램 패턴을 얻기 보다는 컴퓨터로 계산된 홀로그램(computer generated hologram; CGH)을 전기적 신호로서 공간 광변조기에 제공한다. 입력된 CGH 신호에 따라 공간 광변조기가 홀로그램 패턴을 형성하여 참조광을 회절시킴으로써 3차원 영상이 생성될 수 있다.
홀로그래픽 이미지를 처리하는 방법 및 장치를 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 있어서,
입력 이미지 데이터의 좌안 영상 및 우안 영상에 대해 제1 연산을 수행함으로써 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형을 계산하는 제1 연산부;
상기 좌안 동공에서의 광의 파형을 제1 메모리 주소에 저장하고 상기 우안 동공에서의 광의 파형을 제2 메모리 주소에 저장하는 저장부; 및
상기 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산하되,
시역 윈도우 상에서 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우가 서로 공간적으로 분리되도록 상기 제2 연산을 수행하는 제2 연산부;를 포함하는 홀로그래픽 이미지 처리장치가 제공된다.
상기 제2 연산부는 상기 제1 및 제2 메모리 주소에 저장된 계산결과 각각에 대한 상기 제2 연산을 한 번에 수행할 수 있다.
상기 홀로그래픽 이미지 처리장치는, 상기 좌안 영상과 상기 우안 영상의 해상도를 변경하는 스케일링 부;를 더 포함할 수 있다.
상기 스케일링 부는 상기 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 해상도를 변경할 수 있다.
상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같을 수 있다.
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정될 수 있다.
상기 홀로그래픽 이미지 처리장치는, 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 동공 측정부;를 더 포함하고
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정될 수 있다.
상기 스케일 부는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절할 수 있다.
상기 홀로그래픽 이미지 처리장치는, 상기 입력 이미지 데이터로부터 상기 좌안 영상 및 상기 우안 영상을 추출하는 영상 추출부;를 포함할 수 있다.
상기 영상 추출부는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 좌안 영상과 상기 우안 영상의 해상도를 조절할 수 있다.
상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같을 수 있다.
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정될 수 있다.
상기 홀로그래픽 이미지 처리장치는, 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 동공 측정부;를 더 포함하고
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정될 수 있다.
상기 영상 추출부는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절할 수 있다.
상기 제2 연산부는 상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우가 노이즈 영상의 표시 영역과 공간적으로 분리되도록 상기 제2 연산을 수행할 수 있다.
상기 노이즈 영상은 격자점 노이즈 영상과 상기 좌안 영상 및 상기 우안 영상의 복소 켤레 노이즈 영상을 포함할 수 있다.
다른 측면에 있어서,
입력 이미지 데이터의 좌안 영상 및 우안 영상에 대해 제1 연산을 수행함으로써 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형을 계산하는 단계;
상기 좌안 동공에서의 광의 파형을 제1 메모리 주소에 저장하고 상기 우안 동공에서의 광의 파형을 제2 메모리 주소에 저장하는 단계; 및
상기 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계;를 포함하며,
상기 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계는, 시역 윈도우 상에서 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우가 서로 공간적으로 분리되도록 상기 제2 연산을 수행하는 홀로그래픽 이미지 처리방법이 제공된다.
상기 제2 연산을 수행하는 단계는 상기 제1 및 제2 메모리 주소에 저장된 계산결과 각각에 대한 상기 제2 연산을 한 번에 수행할 수 있다.
상기 홀로그래픽 이미지 처리방법은, 상기 좌안 영상과 상기 우안 영상의 해상도를 변경하는 단계;를 더 포함할 수 있다.
상기 해상도를 변경하는 단계는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 해상도를 변경할 수 있다.
상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같을 수 있다.
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정될 수 있다.
상기 홀로그래픽 이미지 처리방법은, 동공 측정부를 이용하여 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 단계;를 더 포함하고
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정될 수 있다.
상기 해상도를 조절하는 단계는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절할 수 있다.
홀로그래픽 이미지 처리 방법은, 상기 입력 이미지 데이터로부터 상기 좌안 영상 및 상기 우안 영상을 추출하는 단계;를 포함할 수 있다.
상기 좌안 영상 및 상기 우안 영상을 추출하는 단계는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 좌안 영상과 상기 우안 영상의 해상도를 조절할 수 있다.
상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같을 수 있다.
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정될 수 있다.
상기 홀로그래픽 이미지 처리 방법은, 동공 측정부를 이용하여 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 단계;를 더 포함하고
상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정될 수 있다.
상기 좌안 영상 및 상기 우안 영상을 추출하는 단계는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절할 수 있다.
상기 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계는, 상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우가 노이즈 영상의 표시 영역과 공간적으로 분리되도록 상기 제2 연산을 수행할 수 있다.
상기 노이즈 영상은 격자점 노이즈 영상과 상기 좌안 영상 및 상기 우안 영상의 복소 켤레 노이즈 영상을 포함할 수 있다.
제시된 실시예들에 따르면, 영상 윈도우를 이동시키는 회절 패턴을 형성하지 않고, 좌안 영상의 영상 윈도우와 우안 영상의 영상 윈도우를 공간적으로 분리할 수 있다. 또한, 영상 윈도우의 위치를 조절하는 회절 패턴을 따로 형성하지 않고도 축비킴(off-axis) 방식으로 홀로그램 영상을 재생할 수 있다. 이를 통해, 홀로그램 이미지 처리방법에 필요한 계산량이 줄어들 수 있다.
도 1은 예시적인 실시예에 따른 홀로그래픽 이미지 처리 장치를 나타낸 블록도이다.
도 2는 홀로그램 이미지 처리 장치(100) 및 공간 광 변조기를 이용하여 홀로그램 영상을 디스플레이 하는 것을 나타낸 도면이다.
도 3은 홀로그래픽 이미지 처리 장치의 홀로그래픽 이미지 처리방법을 나타낸 흐름도이다.
도 4는 저장부에 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형이 저장되는 것을 대략적으로 나타낸 도면이다.
도 5는 예시적인 실시예에 따라 시역 윈도우 상에서 좌안 영상의 영상 윈도우 및 우안 영상의 영상 윈도우가 공간적으로 분리되어 표시되는 것을 예시적으로 나타낸 도면이다.
도 6은 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치를 나타낸 블록도이다.
도 7은 도 6에 도시된 홀로그래픽 이미지 처리장치가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다.
도 8은 스케일링 부가 좌안 영상 및 우안 영상의 해상도를 변경한 경우와, 스케일링 부가 좌안 영상 및 우안 영상의 해상도를 변경한 경우 각각에서 시청자가 느끼는 홀로그램 영상의 해상도를 표현한 도면이다.
도 9는 서로 다른 두 개의 입력 이미지 데이터가 나타내는 물체들을 도시한 도면이다.
도 10은 예시적인 실시예에 따른 홀로그래픽 이미지 처리방법을 나타낸 흐름도이다.
도 11은 입력 이미지 데이터가 나타내는 물체를 깊이 별로 나타낸 도면이다.
도 12는 홀로그램 영상 표시면에서 시역 윈도우와 시청자의 동공이 위치하는 영역(P1)을 나타낸 도면이다.
도 13은 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치를 나타낸 블록도이다.
도 14는 도 13에서 나타낸 홀로그래픽 이미지 처리장치가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다.
도 15는 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치를 나타낸 블록도이다.
도 16은 도 15에서 나타낸 홀로그래픽 이미지 처리장치가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시예들에 기재된 “...부”, “...모듈”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 실시예들에서 사용되는 “제 1” 또는 “제 2” 등과 같이 서수를 포함하는 용어는 다양한 대상들을 설명하는데 사용할 수 있지만, 상기 대상들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 대상을 다른 대상과 구별하는 목적으로만 사용된다.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.
도 1은 예시적인 실시예에 따른 홀로그래픽 이미지 처리 장치(100)를 나타낸 블록도이다.
도 1을 참조하면, 실시예에 따른 홀로그래픽 이미지 처리 장치(100)는, 제1 연산부(110)와, 제1 연산부(110)의 계산 결과를 저장하는 저장부(120) 및 저장부(120)에 저장된 계산 결과에 대해 제2 연산을 수행하는 제2 연산부(130)를 포함할 수 있다.
제1 연산부(110)는 입력 이미지 데이터의 좌안 영상 및 우안 영상에 대해 제1 연산을 수행함으로써 좌안 동공면에서의 광의 파형과 우안 동공면에서의 광의 파형을 계산할 수 있다. 또한, 제2 연산부(120)는 상기 좌안 동공면에서의 광의 파형을 제1 메모리 주소에 저장하고 상기 우안 동공면에서의 광의 파형을 제2 메모리 주소에 저장할 수 있다. 그리고, 제2 연산부(130)는 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산할 수 있다. 제2 연산부(130)는 상기 좌안 영상과 상기 우안 영상이 홀로그램 영상 면 상에서 공간적으로 분리되어 표시되도록 상기 제2 연산을 수행할 수 있다.
도 1에 도시된 홀로그래픽 이미지 처리 장치(100)는 실시예들의 특징이 흐려지는 것을 방지하기 위하여 실시예들에 관련된 구성요소들만이 도시되어 있을 뿐이므로, 홀로그래픽 이미지 처리 장치(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있다. 제1 연산부(110), 저장부(120) 및 제2 연산부(130)는 각각의 기능들에 따라 별도의 독립적인 명칭들로 구분된 것일 뿐이다. 따라서, 제1 연산부(110), 저장부(120) 및 제2 연산부(130)의 기능은 각각 서로 다른 하드웨어 자원에 의해 구현되거나 같은 하드웨어 자원에 의해 구현될 수도 있다. 또한, 제1 연산부(110), 저장부(120) 및 제2 연산부(130) 각각은 홀로그래픽 이미지 처리 장치(100) 내의 하나 이상의 프로세싱 모듈들(또는 서브 프로세서들)에 대응될 수도 있다. 또는, 제1 연산부(110), 저장부(120) 및 제2 연산부(130)는 각각의 기능들에 따라 구분된 별도의 소프트웨어 알고리즘 단위에 해당될 수도 있다. 즉, 제1 연산부(110), 저장부(120) 및 제2 연산부(130)의 구현 형태는 어느 하나에 의해 제한되지 않는다.
도 1에 도시된 홀로그래픽 이미지 처리 장치(100)는 입력 이미지 데이터로부터 홀로그램 데이터 신호를 생성하여 공간 광 변조기(10)에 제공하는 장치일 수 있다. 상기 홀로그램 데이터 신호는 공간 광 변조기(10)에서 변조되는 광에 대한 정보 또는 상기 변조되는 광에 대응하는 회절 패턴의 정보를 포함할 수 있다. 공간 광 변조기(10)는 홀로그래픽 이미지 처리 장치(100)가 제공하는 광의 파형 정보에 기초하여 회절 패턴을 형성할 수 있다. 공간 광 변조기(10)는 상기 회절 패턴에 입사되는 참조광을 변조시킬 수 있다. 공간 광 변조기(10)는 상기 참조광을 변조시킴으로써 상기 입력 이미지 데이터에 대응하는 홀로그램 영상을 디스플레이 할 수 있다.
상기 입력 이미지 데이터는 홀로그램 영상으로 재생될 이미지에 대한 정보를 포함할 수 있다. 입력 이미지 데이터는 다양한 방식에 의해 제공될 수 있다. 예를 들어, 입력 이미지 데이터는 미리 촬영된 영상일 수도 있다. 다른 예로, 입력 이미지 데이터는 에니메이션 영상과 같이 가상으로 제작된 영상일 수도 있다. 입력 이미지 데이터는 동영상에 한정되지 않으며 정지된 화상 이미지일 수도 있다.
입력 이미지 데이터는 좌안 영상과 우안 영상에 대한 정보를 포함할 수 있다. 여기서, 좌안 영상은 시청자의 좌안이 인식하는 영상을 의미하며, 우안 영상은 시청자의 우안이 인식하는 영상을 의미한다. 상기 좌안 영상과 우안 영상을 시청자가 입체감을 느끼게 하는 시차 등을 고려하여 서로 다른 영상일 수 있다. 예를 들어, 입력 이미지 데이터가 미리 촬영된 영상이 경우, 좌안 영상 및 우안 영상은 스테레오 방식에 의해 촬영된 영상일 수 있다. 또한, 입력 이미지 데이터가 에니메이션과 같은 가상 이미지 데이터를 포함하는 경우, 입력 이미지 데이터는 한 프레임 당 좌안에 대한 이미지와 우안에 대한 이미지 데이터를 각각 포함할 수 있다.
도 2는 홀로그램 이미지 처리 장치(100) 및 공간 광 변조기(10)를 이용하여 홀로그램 영상을 디스플레이 하는 것을 나타낸 도면이다.
홀로그램 이미지 처리장치(100)는 홀로그램 데이터 신호를 생성하여 공간 광변조기(120)에 제공한다. 홀로그램 데이터 신호는 목표한 홀로그램 영상이 공간 상에 재생되도록 공간 광 변조기(10)에 의해 변조되는 광의 파형 정보를 포함할 수 있다. 공간 광변조기(10)는 홀로그램 이미지 처리장치(100)로부터 제공된 홀로그램 데이터 신호에 따라 공간 광 변조기(10)의 표면 상에 회절 패턴을 형성할 수 있다. 상기 회절 패턴은 공간 광 변조기(10)에 의해 변조되는 광의 파형에 따라 달라질 수 있다.
광원(1a, 1b)은 공간 광 변조기(10)에 참조광을 제공할 수 있다. 광원(1a,1b)에서 조사된 참조광은 푸리에 렌즈(2)를 거치면서 공간 광 변조기(10) 상에 집속될 수 있다. , 푸리에 렌즈(115)에 의해 광을 수렴시킴으로써 재생되는 홀로그램 영상의 화각이 증가할 수 있다. 그러나, 광원(1a, 1b)이 집속된 수렴광을 제공하다면 푸리에 렌즈(115)는 생략될 수도 있다.
공간 광 변조기(10)에서 형성된 회절 패턴에 의해 상기 참조광이 회절 및 간섭되면서, 공간 광 변조기(10) 앞의 소정의 공간 상에 입체감 있는 홀로그램 영상(HI)이 재생될 수 있다. 재생되는 홀로그램 영상(5)이 위치하는 공간과 공간 광변조기(10) 사이의 거리를 깊이(d)라고 부를 수 있다. 일반적으로, 홀로그램 영상의 형태와 깊이(d)는 공간 광변조기(10)에서 형성되는 홀로그램 패턴에 따라 결정될 수 있다. 홀로그램 영상이 재생될 때, 시청자(7)는 공간 광 변조기(10)로부터 D만큼 떨어져 있는 시청 위치에서 홀로그램 영상을 감상할 수 있다. 여기서, 홀로그램 영상을 감상할 수 있는 시청 위치에서 홀로그램 영상이 표시되는 면(S1)을 홀로그램 영상 표시면(S1) 이라고 할 수 있다. 홀로그램 영상 표시면(S1)은 평면일 수도 있고 곡면일 수도 있다. 홀로그램 영상 표시면(S1)에 시청자(7)의 동공이 위치하면 시청자(7)는 입체감 있는 홀로그램 영상(5)을 시청할 수 있다. 홀로그램 영상 표시면(S1)은 하나로 특정될 수도 있고 복수개가 형성될 수도 있다. 홀로그램 영상 표시면(S1)이 복수개인 경우, 시청자(7)와 공간 광 변조기(10) 사이의 거리가 달라져도 시청자(7)는 홀로그램 영상을 시청할 수 있다.
이하에서는 도 3A를 참조하여 도 1에서 나타낸 홀로그래픽 이미지 처리 장치(100)가 홀로그래픽 이미지를 처리하는 방법을 설명한다.
도 3A는 홀로그래픽 이미지 처리 장치(100)의 홀로그래픽 이미지 처리방법을 나타낸 흐름도이다.
도 3A를 참조하면, 1110 단계에서 제1 연산부(110)가 좌안 영상 및 우안 영상에 대해 제1 연산을 수행할 수 있다. 제1 연산부(110)는 좌안 영상에 대해 제1 연산을 수행함으로써 시청자의 좌안 동공에서의 광의 파형을 계산할 수 있다. 상기 좌안 동공에서의 광의 파형은 시청자의 좌안이 상기 좌안 영상을 인식하도록 시청자의 좌안에 입사사되는 광이 좌안 동공면에서 가지는 파형을 의미한다. 상기 좌안 동공면은 시청자의 좌안 동공을 포함하는 가상의 면일 수 있다.
또한, 제1 연산부(110)는 우안 영상에 대해 제1 연산을 수행함으로써 시청자의 우안 동공에서의 광의 파형을 계산할 수 있다. 상기 우안 동공에서의 광의 파형은 시청자의 좌안이 상기 좌안 영상을 인식하도록 시청자의 우안에 입사사되는 광이 우안 동공면에서 가지는 파형을 의미한다. 상기 우안 동공면은 시청자의 우안 동공을 포함하는 가상의 면일 수 있다.
상기 광의 파형은 광의 진폭, 위상 등에 관한 정보를 포함할 수 있다. 또한, 광의 파형에 대한 정보는 복소수로 표현될 수 있다. 따라서, 제1 연산부(110)는 상기 좌안 동공에서의 광의 파형을 나타내는 복소수와 우안 동공에서의 광의 파형을 나타내는 복소수를 계산해낼 수 있다. 제1 연산부가 수행하는 제1 연산은 광의 파형을 계산하기 위한 연산을 의미한다. 예시적으로 상기 제1 연산은 FFT(Fast Fourier Transform)연산일 수 있다. 다른 예로, 3차원 영상이 점들로 표시되는 경우, 상기 제1 연산은 점상 강도 분포함수(Point Spread Function; PSF)의 합(sum)을 이용하는 연산일 수 있다. 또 다른 예로, 3차원 영상의 표면이 복수의 다각형으로 표시되는 경우, 상기 제1 연산은 각 스펙트럼(angular spectrum) 계산을 포함할 수 있다.
1120 단계에서, 좌안 동공에서의 광의 파형이 저장부(120)의 제1 메모리 주소에 저장될 수 있다. 또한, 우안 동공에서의 광의 파형이 저장부(120)의 제2 메모리 주소에 저장될 수 있다. 즉, 제1 연산부(110)에서 계산된 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형은 각각 서로 다른 메모리 주소에 저장될 수 있다.
저장부(120)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함하며, 나아가서, 컴퓨팅 장치에 액세스될 수 있는 외부의 다른 스토리지 디바이스를 포함할 수 있다.
도 3B는 제1 연산부(110)의 연산 결과가 저장되는 제1 저장 공간(120A)과 제2 연산부(130)의 연산 결과가 저장되는 제2 저장 공간(120B)을 개념적으로 나타낸 도면이다.
도 3B에서 나타낸 제1 및 제2 저장 공간(120A, 120B)는 저장부(120)에 데이터가 저장되는 공간일 수 있다. 도 3B를 참조하면, 제1 연산부(110)는 좌안 영상에 대한 제1 연산 결과와 우안 영상에 대한 제1 연산 결과를 다른 메모리 주소에 저장할 수 있다. 예시적으로, 제1 연산부(110)는 좌안 영상에 대한 제1 연산 결과를 제1 저장 공간(120A) 가운데 제1 메모리 주소에 저장하고, 우안 영상에 대한 제1 연산 결과를 제1 저장 공간(120A) 가운데 제2 메모리 주소에 저장할 수 있다.
제2 연산부(130)는 제1 저장 공간(120A)에 저장된 제1 연산결과를 읽을 수 있다. 제2 연산부(130)는 제1 저장 공간(120A)의 메모리 주소를 스캔 하면서 제1 연산결과를 읽을 수 있다. 예를 들어, 제2 연산부(130)는 제1 메모리 주소에 저장된 제1 연산결과를 로드하여 좌안 영상에 대해 제2 연산을 수행할 수 있다. 또한, 제2 연산부(130)는 제2 메모리 주소에 저장된 제2 연산결과를 로드 하여 우안 영상에 대해 제2 연산을 수행할 수 있다. 제2 연산부(130)가 제1 및 제2 메모리 주소에 저장된 제1 연산 결과를 로드 하는 과정은 순차적으로, 시간적으로 분절되지 않고 1회에 걸쳐 이루어질 수 있다
제2 연산부(130)의 제2 연산 결과는 제2 저장 공간(120B)에 저장될 수 있다. 또한, 제2 저장 공간(120B)은 제1 저장 공간(120A)보다 클 수 있다. 그리고, 제2 연산부(130)의 제2 연산 결과의 데이터 크기는 제1 연산부(110)의 제1 연산 결과의 데이터 크기보다 클 수 있다.
도 4는 저장부(120)에 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형이 저장되는 것을 대략적으로 나타낸 도면이다.
도 4를 참조하면, 제1 연산부(110)가 좌안 영상에 대해 제1 연산을 수행한 결과가 저장부(120)의 제1 메모리 주소에 저장되고, 제1 연산부(110)가 우안 영상에 대해 제1 연산을 수행한 결과가 저장부(120)의 제2 메모리 주소에 저장될 수 있다. 저장부(130)의 제1 및 제2 메모리 주소에 저장된 내용은 제2 연산부(130)에 전송될 수 있다.
1130 단계에서, 상기 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기(10)에서 변조되는 광의 파형을 계산할 수 있다.
제2 연산부(130)는 저장부(120)의 제1 및 제2 메모리 주소에 저장된 제1 연산 결과 전체에 대해 제2 연산을 수행할 수 있다. 제2 연산부(130)가 수행하는 제2 연산은 광의 파형을 계산하기 위한 연산을 의미한다. 예시적으로 상기 제2 연산은 FFT(Fast Fourier Transform)연산일 수 있다. 다른 예로, 3차원 영상이 점들로 표시되는 경우, 상기 제2 연산은 점상 강도 분포함수(Point Spread Function; PSF)의 합(sum)을 이용하는 연산일 수 있다. 또 다른 예로, 3차원 영상의 표면이 복수의 다각형으로 표시되는 경우, 상기 제2 연산은 각 스펙트럼(angular spectrum) 계산을 포함할 수 있다.
제2 연산부는 상기 제1 및 제2 메모리 주소에 저장된 계산결과 각각에 대한 상기 제2 연산을 한 번에 수행할 수 있다. 이를 통해, 제2 연산부(130)는 좌안 영상을 생성하기 위해서 공간 광 변조기(10)에서 변조되는 광의 파형과 우안 영상을 생성하기 위해서 공간 광 변조기(10)에서 변조되는 광의 파형을 한 번에 계산할 수 있다. 즉, 제2 연산부(130)는 좌안 영상을 만들기 위한 공간 광 변조기(10)의 광 변조 파형과 우안 영상을 만들기 위한 공간 광 변조기(10)의 광 변조 파형을 한꺼번에 계산할 수 있다. 도 3B에서 시청자의 동공의 위치에 따라 제 2연산부가 제1 저장 공간(120A)에서 데이터를 읽는 메모리 주소 달리하여 사용자의 좌안과 우안의 동공의 위치에 해당하는 제2연산을 한꺼번에 할 수 있다. 따라서, 좌안과 우안의 복수개의 제2 연산부(130)의 연산단계를 한 단계로 줄일 수 있다. 이를 통해, 제2 연산부(130)의 계산과정이 간소화되고 계산 시간이 줄어들 수 있다. 또한, 제2 연산부(130)가 제2 연산을 수행하기 위해 필요한 하드웨어 자원이 줄어들 수 있다.
제2 연산부(130)는 시역 윈도우 상에서 상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우가 공간적으로 분리되도록 제2 연산을 수행할 수 있다. 제2 연산부(130)가 상기 제2 연산의 결과를 공간 광 변조기(10)에 전송하면, 공간 광 변조기(10)는 제2 연산부(130)가 제공하는 광의 파형 정보에 기초하여, 참조광을 변조할 수 있다. 공간 광 변조기(10)가 참조광을 변조하면, 도 2에서 나타낸홀로그램 영상 표시면(S1)에서 시청자(7)가 홀로그램 영상을 시청할 수 있다.
도 5는 예시적인 실시예에 따라 시역 윈도우 상에서 좌안 영상의 영상 윈도우 및 우안 영상의 영상 윈도우가 공간적으로 분리되어 표시되는 것을 예시적으로 나타낸 도면이다.
도 5를 참조하면, 도 2에서 나타낸 홀로그램 영상 표시면(S1)에서 복수의 격자점 노이즈(42)가 나타날 수 있다. 일반적인 공간 광 변조기(10)는 위상 변조와 진폭 변조 중에서 어느 하나만을 수행하는 다수의 화소들의 어레이로 구성될 수 있다. 그리고, 상기 다수의 화소들의 어레이가 격자로서 작용할 수 있다. 따라서, 참조광은 공간 광 변조기(10)에서 형성된 홀로그램 패턴뿐만 아니라, 공간 광 변조기(10)의 화소들의 어레이로 구성된 화소 격자에 의해서도 회절 및 간섭하게 된다. 또한, 참조광 중에서 일부는 공간 광 변조기(10)의 회절 패턴에 의해 회절되지 않고 공간 광 변조기(10)를 그대로 투과할 수도 있다. 그 결과, 도 5에서 나타낸 바와 같이, 홀로그램 영상을 시청할 수 있는 홀로그램 영상 표시면(S1)에서는 다수의 격자점 노이즈들(lattice spot noise; 42)이 나타날 수 있다. 상기 격자점 노이즈들(42)은 홀로그램 영상의 화질을 저하시키고 홀로그램 영상의 시청을 불편하게 만드는 영상 노이즈로서 작용할 수 있다.
격자점 노이즈들(42)에 의해 둘러싸인 격자점 노이즈들(42)이 없는 영역을을 시역 윈도우(viewing window; 44)라고 할 수 있다. 예를 들어, 시역 윈도우(44)의 폭(w)은 공간 광 변조기(10)와 시청자(7)가 홀로그램 영상을 시청하는 홀로그램 영상 표시면(S1) 사이의 거리(D) 및 빛의 파장(λ)에 비례할 수 있다. 또한, 시역 윈도우(44)의 폭(w)은 공간 광 변조기(10)의 화소 피치에 반비례할 수 있다. 즉, w=λㆍd/p의 관계가 성립할 수 있다.
제2 연산부(130)는 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)가 시역 윈도우(44) 상에서 공간적으로 분리되도록 제2 연산을 수행할 수 있다. 여기서, 우안 영상의 영상 윈도우(44a)는 홀로그램 영상 표시면(S1)에서 우안 영상이 홀로그램 영상으로 표시되는 영역을 의미한다. 따라서, 우안 영상의 영상 윈도우(44a)에 시청자(7)의 우안 동공이 위치하면 시청자의 우안은 상기 우안 영상을 홀로그램 영상으로 인식할 수 있다. 마찬가지로, 좌안 영상의 영상 윈도우(44b)는 홀로그램 영상 표시면(S1)에서 좌안 영상이 홀로그램 영상으로 표시되는 영역을 의미한다. 따라서, 좌안 영상의 영상 윈도우(44b)에 시청자(7)의 좌안 동공이 위치하면 시청자의 좌안은 상기 좌안 영상을 홀로그램 영상으로 인식할 수 있다.
제2 연산부(130)는 좌안 영상의 영상 윈도우(44b)가 시역 윈도우(44) 상에서 표시되는 위치 좌표와 우안 영상 윈도우(44a)가 시역 윈도우(44) 상에서 표시되는 위치 좌표가 서로 달라지도록 상기 제2 연산을 수행할 수 있다. 즉, 제2 연산부(130)는 제1 및 제2 메모리 주소 각각에 대한 제2 연산 결과가 시역 윈도우(44)의 서로 다른 좌표 상에 표현되도록 제2 연산을 수행할 수 있다. 제2 연산부(130)가 제2 연산을 수행하는 단계(1130)에서 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)가 공간적으로 서로 분리되도록 함으로써, 공간 광 변조기(10)는 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)를 이동시키기 위해 제2연산의 이후에 우안과 좌안을 공간적으로 분리하기 위한 회절 패턴을 추가로 형성하지 않을 수 있다. 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)를 각각 이동시키는 단계가 생략 됨으로써 홀로그램 영상의 처리속도가 높아질 수 있다.
다수의 격자점 노이즈들(42)은 공간 광 변조기(10)의 내부 구조에 의해 발생하는 것이고 홀로그램 패턴과는 무관할 수 있다. 이러한 원리에 따라, 제2 연산부(130)는 시청자(7)가 좌안 영상 및 우안 영상을 시청할 때, 다수의 격자점 노이즈들(42)이 시청자(7)의 눈에 보이지 않도록 공간 광 변조기(10)에서 변조되는 광의 파형을 계산할 수 있다. 제2 연산부(130)가 전술한 바와 같이 제2 연산을 수행함으로써 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)가 격자점 노이즈들(42)과 겹쳐지지 않고 시역 윈도우(44) 안에 위치할 수 있다. 이러한 홀로그램 이미지 처리방식을 통상 축비킴(off-axis) 방식이라고 부른다. 제2 연산부(130)가 제1 및 제2 메모리 주소에 대해 제2 연산을 수행할 때, 상기 축비킴 방식이 구현되도록 하기 때문에 축비킴 방식 구현을 위해 우안 영상의 영상 윈도우(44a)와 좌안 영상의 영상 윈도우(44b)를 이동시키는 별도의 회절 패턴을 이용한 연산부를 추가할 필요가 없다. 따라서, 홀로그램 영상 처리 속도가 높아질 수 있다.
제2 연산부(130)가 계산하는 광의 파형은 복소수로 나타내어지는 바, 좌안 영상 및 우안 영상의 복소 켤레 노이즈 영상이 나타날 수 있다. 좌안 영상의 복소 켤레 노이즈 영상이 나타나는 영역(44d)는 좌안 영상의 영상 윈도우(44b)와 격자점 노이즈(42)를 중심으로 대칭적인 위치에 나타날 수 있다. 또한, 좌안 우안 영상의 복소 켤레 노이즈 영상이 나타나는 영역(44c)는 우안 영상의 영상 윈도우(44a)와 격자점 노이즈(42)를 중심으로 대칭적인 위치에 나타날 수 있다. 제2 연산부(130)는 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b)의 위치를 설정할 때, 상기 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b)와 복소 켤레 노이즈 영상이 나타나는 영역들(44c, 44d)이 공간적으로 분리되도록 할 수 있다. 이를 통해, 시청자(7)는 노이즈 영상들이 제거된 영상을 시청할 수 있다.
도 5에서 나타낸 바와 같이, 복소 켤레 노이즈 영상들이 나타나는 영역들(44c, 44d)이 시역 윈도우(44)에 포함되어 있기 때문에, 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b)의 크기는 시역 윈도우(44)의 크기보다 작을 수 있다. 그런데, 전술한 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b)의 크기는 좌안 영상 및 우안 영상이 홀로그램 영상으로 재생되었을 때 시청자(7)가 느끼는 해상도와 관련이 있을 수 있다.
예를 들어, 우안 영상의 영상 윈도우(44a)의 크기가 크면 우안 영상을 나타내는 홀로그램 영상의 공간 주파수 대역 또한 커질 수 있다. 마찬가지로, 좌안 영상의 영상 윈도우(44b)의 크기가 크면 좌안 영상을 나타내는 홀로그램 영상의 공간 주파수 대역 또한 커질 수 있다. 공간 주파수 대역이 넓어지면 재생되는 홀로그램 영상이 더 높은 해상도로 표현될 수 있다. 반면, 공간 주파수 대역이 작아지면 재생되는 홀로그램 영상의 해상도가 더 낮은 해상도로 표현될 수 있다.
입력 이미지 데이터의 좌안 영상 및 우안 영상의 해상도가 높더라도 실제 좌안 영상 및 우안 영상이 홀로그램 영상으로 재생되면, 상기 홀로그램 영상의 해상도는 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b) 크기에 제한될 수 있다. 이러한 점을 고려하면, 좌안 영상 및 우안 영상의 해상도가 영상 윈도우(44a, 44b)를 통해 재생할 수 있는 해상도보다 높게 되면, 제1 연산부(110)가 제1 연산을 수행하는 과정(1110)이 비효율 적으로 복잡해질 수 있다.
전술한 문제를 개선하기 위해, 예시적인 실시예에 따른 홀로그래픽 이미지 처리 장치 및 방법은, 입력 이미지 데이터의 좌안 영상 및 우안 영상의 해상도를 조절할 수 있다.
도 6은 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치(100)를 나타낸 블록도이다. 또한, 도 7은 도 6에 도시된 홀로그래픽 이미지 처리장치(100)가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다. 도 6 및 도 7에 도시된 실시예들을 설명함에 있어서, 전술한 내용들과 중복되는 내용들은 생략하기로 한다.
도 6 및 도 7을 참조하면, 실시예에 따른 홀로그래픽 이미지 처리장치(100)는 스케일링 부(105)를 더 포함할 수 있다. 상기 스케일링 부(105)는 1105 단계에서, 좌안 영상과 우안 영상의 해상도를 조절할 수 있다. 스케일링 부(105)는 좌안 영상의 영상 윈도우(44b)와 상기 우안 영상의 영상 윈도우(44a)의 크기에 기초하여, 좌안 영상 및 우안 영상의 해상도를 조절할 수 있다. 예를 들어, 스케일링 부(105)는 좌안 영상의 영상 윈도우(44b)에서 나타낼 수 있는 해상도보다 작거나 같은 해상도로 상기 좌안 영상의 해상도를 변경할 수 있다. 또한, 스케일링 부(105)는 우안 영상의 영상 윈도우(44b)에서 나타낼 수 있는 해상도보다 작거나 같은 해상도로 상기 우안 영상의 해상도를 낮출 수 있다.
도 5에서 나타낸 바와 같이, 복소 켤레 노이즈 영상 때문에 좌안 영상의 영상 윈도우(44b) 및 상기 우안 영상의 영상 윈도우(44a) 각각의 크기는 시역 윈도우(44)의 크기의 1/4보다 작거나 같을 수 있다. 따라서, 예시적으로 스케일링 부(105)는 시역 윈도우(44)의 1/4 크기의 영상 윈도우(44a 또는 44b)에서 나타낼 수 있는 해상도보다 작거나 같은 해상도로 상기 좌안 영상 및 우안 영상의 해상도를 변경할 수 있다. 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경해 줌으로써, 1110 단계에서 제1 연산부(110)의 제1 연산 과정이 간소화 될 수 있다.
도 8은 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경한 경우(R1b)와, 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경한 경우(R1b) 각각에서 시청자(7)가 느끼는 홀로그램 영상의 해상도를 표현한 도면이다.
도 8에서는 사람이 나타나는 홀로그램 영상이 나타나 있다. 해상도에 가장 밀접한 영향을 받는 사람의 얼굴 부분(R1)이 어떻게 재생되는 지에 대한 비교예(R1a, R1b)가 표시되어 있다. R1a는 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경하지 않은 경우, 시청자(7)가 인식하는 홀로그램 영상을 타나낸 것이고, R1b는 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경한 경우, 시청자(7)가 인식하는 홀로그램 영상을 나타낸 것이다.
도 8을 참조하면, 도 7은 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경한 경우(R1b)와, 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경한 경우(R1b) 각각에서 시청자(7)가 느끼는 홀로그램 영상의 해상도에 거의 차이가 없음을 알 수 있다. 즉, 스케일링 부(105)가 영상 윈도우(44a, 44b) 크기에 기초해 좌안 영상 및 우안 영상의 해상도를 변경하더라도 시청자(7)가 시청하는 홀로그램 영상의 해상도에는 영향이 없을 수 있다. 따라서, 스케일링 부(105)는 영상 윈도우(44a, 44b) 크기에 기초해 좌안 영상 및 우안 영상의 해상도를 변경함으로써 시청자(7)가 느끼는 홀로그램 영상의 해상도에 영향을 주지 않으면서 제1 연산부(110)의 제1 연산 과정을 줄여줄 수 있다.
도 5에서는 좌안 영상의 영상 윈도우(44b) 및 우안 영상의 영상 윈도우(44b) 각각의 크기가 시역 윈도우(44)의 크기의 1/4 정도로 표시되어 있다. 하지만, 경우에 따라 좌안 영상의 영상 윈도우(44b)의 크기와 우안 영상의 영상 윈도우(44a)의 크기는 입력 이미지 데이터에 따라 달라질 수 있다. 예를 들어, 입력 이미지 데이터가 나타내는 물체가 단순하게 표현될 수 있는 경우, 우안 영상 및 좌안 영상의 영상 윈도우(44a, 44b) 각각의 크기는 시역 윈도우(44)의 크기의 1/4보다 더 작아질 수도 있다.
도 9는 서로 다른 두 개의 입력 이미지 데이터가 나타내는 물체들을 도시한 도면이다.
도 9를 참조하면, 제1 입력 이미지 데이터가 나타내는 물체(70)는 구 형상을 가지고 있으며, 구의 표면 또한 매끈하게 표현될 수 있다. 반면, 제2 입력이미지 데이터가 나타내는 물체(60)는 사람의 얼굴 모양으로 이마(62), 눈 주변(64), 볼(66), 인중(68) 등이 상대적으로 복잡하게 표현될 수 있다. 따라서, 제2 입력 이미지 데이터가 나타내는 물체(60)는 해상도를 높게 표현해야 시청자(7)가 홀로그램 영상을 시청하는데 불편함이 없을 수 있다. 반면, 제1 입력 이미지 데이터가 나타내는 물체(70)는 해상도를 낮게 표현하더라도 시청자(7)가 홀로그램 영상을 시청하는데 불편함이 적을 수 있다. 재생되는 홀로그램 영상의 해상도는 영상 윈도우(44a, 44b)의 크기에 의존하는 바, 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b) 크기는 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 달라질 수 있다. 그리고, 상기 이미지의 복잡도에 따라 결정된 우안 영상 및 좌안 영상의 영상 윈도우(44a, 44b) 크기에 기초하여 스케일링 부(105)가 우안 영상 및 좌안 영상의 해상도를 변경할 수 있다.
도 10은 예시적인 실시예에 따른 홀로그래픽 이미지 처리방법을 나타낸 흐름도이다. 도 10의 실시예를 설명함에 있어서 전술한 내용과 중복되는 내용은 생략하기로 한다.
도 10을 참조하면, 1101 단계에서 스케일링 부(105)는 좌안 영상 및 우안 영상의 특성을 분석할 수 있다. 여기서, 좌안 영상 및 우안 영상의 특성은 좌안 영상과 우안 영상 각각에서 나타나는 물체의 외형 등이 얼마나 복잡한지 등의 정보를 포함할 수 있다. 또한, 1105 단계에서, 스케일링 부(105)는 상기 좌안 영상의 특성 및 우안 영상의 특성에 기초하여 좌안 영상 및 우안 영상의 해상도를 변경할 수 있다. 이때, 스케일링 부(105)는 좌안 영상 및 우안 영상의 특성에 따라 좌안 영상 및 우안 영상을 표현하는데 필요한 영상 윈도우(44a, 44b)의 크기를 고려하여, 상기 좌안 영상 및 우안 영상의 해상도를 변경할 수 있다.
스케일링 부(105)는 좌안 영상 및 우안 영상의 해상도를 변경할 때, 깊이 별로 해상도를 다르게 변경할 수도 있다. 도 11은 입력 이미지 데이터가 나타내는 물체를 깊이 별로 나타낸 도면이다.
도 11을 참조하면, 깊이 별로 입력 이미지 데이터가 나타내는 물체의 이미지 특성이 달라질 수 있다. 상기 이미지 특성은 물체가 표현되는 복잡도 등을 포함할 수 있다. 또한, 시청자(7)는 깊이 별로 물체의 인식하는 정도가 달라질 수 있다. 예를 들어, 깊이가 작은 영역에서는 시청자(7)의 인식능력이 떨어져서 홀로그램 영상을 낮은 해상도로 구현하더라도 시청자(7)가 불편함 없이 홀로그램 영상을 시청할 수 있다. 따라서, 스케일링 부(105)는 좌안 영상 및 우안 영상의 해상도를 변경할 때 깊이에 따라 해상도를 다르게 변경할 수도 있다.
스케일링 부(105)는 좌안 영상 및 우안 영상의 해상도를 변경할 때, 시청자(7)의 동공 크기를 더 고려할 수도 있다. 도 12는 홀로그램 영상 표시면(S1)에서 시역 윈도우(44)와 시청자의 동공이 위치하는 영역(P1)을 나타낸 도면이다.
도 12를 참조하면, 시역 윈도우(44) 상에서 시청자의 동공이 위치하는 영역(P1)의 크기가 시역 윈도우(44)의 크기의 1/4보다 더 작을 수도 있다. 이 경우, 좌안 영상 및 우안 영상의 영상 윈도우(44a, 44b)를 시청자(7)의 동공 크기보다 크게 하더라도 시청자(7)가 느끼는 홀로그램 영상의 해상도에 영향을 주지 못할 수도 있다. 실제 시청자(7)의 동공에는 시청자(7)의 동공 크기만큼의 입사 면적을 갖는 빛만 들어올 수 있기 때문에, 동공 크기보다 더 넓은 면적으로 영상 윈도우(44a, 44b)를 구현하더라도 동공이 위치하는 여역(P1)을 제외한 나머지 영역의 빛은 시청자가 인식하지 못하기 때문이다. 따라서, 스케일링 부(105)는 시청자(7)의 동공 크기(P1)의 영상 윈도우에서 나타낼 수 있는 해상도보다 작거나 같은 해상도로 좌안 영상 및 우안 영상의 해상도를 변경할 수 있다.
도 13은 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치(100)를 나타낸 블록도이다. 또한, 도 14는 도 13에서 나타낸 홀로그래픽 이미지 처리장치(100)가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다. 도 13 및 도 14의 실시예들을 설명함에 있어서, 전술한 내용과 중복되는 내용은 생략하기로 한다.
도 13을 참조하면, 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치(100)는 시청자(10)의 동공 크기를 측정하는 동공 측정부(103)를 포함할 수 있다. 동공 측정부(103)는 1101 단계에서, 시청자(7)의 동공을 촬영하여 동공의 크기를 측정할 수 있다. 동공 측정부(103)는 시청자(7)의 좌안 동공 및 우안 동공 모두의 크기를 측정할 수 있다. 다른 예로, 동공 측정부(130)는 시청자(7)의 좌안 동공 및 우안 동공 중 어느 하나의 크기만 측정할 수 있다. 동공 측정부(130)가 좌안 동공 및 우안 동공 중 어느 하나의 크기만 측정하는 경우, 다른 하나의 크기도 측정된 크기와 비슷한 것으로 취급될 수 있다.
좌안 영상의 영상 윈도우와(44b) 우안 영상의 영상 윈도우(44a)의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정될 수 있다. 그리고, 스케일링 부(105)는 동공 크기에 따라 결정된 영상 윈도우(44a, 44b)의 크기에 기초하여 좌안 영상 및 우안 영상의 해상도를 변경할 수 있다.
전술한 실시예들에서는 입력 이미지 데이터에 좌안 영상 및 우안 영상에 대한 정보가 포함된 경우를 예로 들어 설명하였다. 하지만, 입력 이미지 데이터가 홀로그램 영상으로 재생될 3차원 물체에 대한 정보만 포함하고, 좌안 영상 및 우안 영상에 대한 정보를 별도로 포함하고 있지 않을 수도 있다. 이 경우, 홀로그래픽 이미지 처리장치(100)는 입력 이미지 데이터로부터 좌안 영상 및 우안 영상을 추출할 수 있다.
도 15는 예시적인 실시예에 따른 홀로그래픽 이미지 처리장치(100)를 나타낸 블록도이다. 또한, 도 16은 도 15에서 나타낸 홀로그래픽 이미지 처리장치(100)가 홀로그래픽 이미지를 처리하는 방법을 나타낸 흐름도이다. 도 15 및 도 16의 실시예들을 설명함에 있어서, 전술한 내용과 중복되는 내용은 생략하기로 한다.
도 15 및 도 16을 참조하면, 실시예에 따른 홀로그래픽 이미지 처리장치(100)는 영상 추출부(102)를 더 포함할 수 있다. 영상 추출부(102)는 1103 단계에서, 입력 이미지 데이터로부터 좌안 영상 및 우안 영상을 추출할 수 있다. 영상 추출부(102)는 좌안 영상 및 우안 영상을 추출할 때, 시청자가 홀로그램 영상에서 입체감을 느낄 수 있도록 하는 시차 등을 고려하여 좌안 영상 및 우안 영상을 다르게 추출할 수 있다. 물론, 영상 추출부(102)는 좌안 영상 및 우안 영상을 같은 영상으로 추출할 수도 있다.
1103 단계에서 영상 추출부(102)가 좌안 영상 및 우안 영상을 추출할 때, 영상 추출부(102)는 좌안 영상 및 우안 영상의 해상도를 조절할 수 있다. 영상 추출부(102)가 좌안 영상 및 우안 영상의 해상도를 변경하는 방식으로 전술한 스케일링 부(105)가 좌안 영상 및 우안 영상의 해상도를 변경하는 방식이 적용될 수 있다.
예를 들어,영상 추출부(102)는, 좌안 영상의 영상 윈도우(44b)와 우안 영상의 영상 윈도우(44a)의 크기에 기초하여 좌안 영상과 상기 우안 영상의 해상도를 조절할 수 있다. 예시적으로 영상 추출부(102)는 시역 윈도우(44)의 1/4 크기의 영상 윈도우(44a 또는 44b)에서 나타낼 수 있는 해상도보다 작거나 같은 해상도로 좌안 영상 및 우안 영상을 추출할 수 있다.
또한, 영상 추출부(102)는 좌안 영상 및 우안 영상의 특성을 분석할 수 있다. 여기서, 좌안 영상 및 우안 영상의 특성은 좌안 영상과 우안 영상 각각에서 나타나는 물체의 외형 등이 얼마나 복잡한지 등의 정보를 포함할 수 있다. 영상 추출부(102)는 좌안 영상의 특성 및 우안 영상의 특성에 기초하여 결정된 해상도로 좌안 영상 및 우안 영상을 추출할 수 있다. 이때, 영상 추출부(102)는 좌안 영상 및 우안 영상의 특성에 따라 좌안 영상 및 우안 영상을 표현하는데 필요한 영상 윈도우(44a, 44b)의 크기를 고려하여 좌안 영상 및 우안 영상의 해상도를 결정할 수 있다.
상기 영상 추출부(102)는, 좌안 영상 및 상기 우안 영상의 깊이에 따라 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절할 수도 있다.
그리고, 도 15에서 나타낸 홀로그래픽 이미지 처리장치는 전술한 도 13에 도시된 동공 측정부(103)를 더 포함할 수도 있다. 그리고, 영상 추출부(102)는 동공 크기에 따라 결정된 영상 윈도우(44a, 44b)의 크기에 기초하여 결정된 해상도로 좌안 영상 및 우안 영상을 추출할 수도 있다.
이상에서 예시적인 실시예들에 따른 홀로그래픽 이미지 처리 장치 및 방법에 관하여 설명하였다. 제시된 실시예들에 따르면, 제2 연산부(130)가 제2 연산을 수행할 때, 좌안 영상의 영상 윈도우(44b)와 우안 영상의 영상 윈도우(44a)가 시역 윈도우(44) 상에서 공간적으로 분리되도록 함으로써, 영상 윈도우(44a, 44b)를 이동시키는 회절 패턴을 형성하지 않고, 홀로그램 영상을 구현할 수 있다. 또한, 영상 윈도우(44a, 44b)의 위치를 조절하는 회절 패턴을 따로 형성하지 않고도 축비킴 방식으로 홀로그램 영상을 재생할 수 있다. 이를 통해, 홀로그램 이미지 처리방법에 필요한 계산량이 줄어들 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100 : 홀로그래픽 이미지 처리장치
10 : 공간 광 변조기
7 : 시청자
44 : 시역 윈도우
44a : 우안 영상의 영상 윈도우
44b : 좌안 영상의 영상 윈도우
110 : 제1 연산부
120 : 저장부
130 : 제2 연산부
105 : 스케일링 부
102 : 영상 추출부

Claims (32)

  1. 입력 이미지 데이터의 좌안 영상 및 우안 영상에 대해 제1 연산을 수행함으로써 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형을 계산하는 제1 연산부;
    상기 좌안 동공에서의 광의 파형을 제1 메모리 주소에 저장하고 상기 우안 동공에서의 광의 파형을 제2 메모리 주소에 저장하는 저장부; 및
    상기 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산하되,
    시역 윈도우 상에서 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우가 서로 공간적으로 분리되도록 상기 제2 연산을 수행하는 제2 연산부; 및
    상기 좌안 영상과 상기 우안 영상의 해상도를 변경하는 스케일링 부;를 더 포함하고, 상기 스케일링 부는 상기 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 해상도를 변경하는 홀로그래픽 이미지 처리장치.
  2. 제 1 항에 있어서,
    상기 제2 연산부는 상기 제1 및 제2 메모리 주소에 저장된 계산결과 각각에 대한 상기 제2 연산을 한 번에 수행하는 홀로그래픽 이미지 처리 장치.
  3. 삭제
  4. 삭제
  5. 제 4 항에 있어서,
    상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같은 홀로그래픽 이미지 처리 장치.
  6. 제 4 항에 있어서,
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정되는 홀로그래픽 이미지 처리 장치.
  7. 제 4 항에 있어서,
    상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 동공 측정부;를 더 포함하고
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정되는 홀로그래픽 이미지 처리 장치.
  8. 제 3 항에 있어서,
    상기 스케일링 부는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절하는 홀로그래픽 이미지 처리 장치.
  9. 제 1 항에 있어서,
    상기 입력 이미지 데이터로부터 상기 좌안 영상 및 상기 우안 영상을 추출하는 영상 추출부;를 포함하는 홀로그래픽 이미지 처리 장치.
  10. 제 9 항에 있어서,
    상기 영상 추출부는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 좌안 영상과 상기 우안 영상의 해상도를 조절하는 홀로그래픽 이미지 처리 장치.
  11. 제 10 항에 있어서,
    상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같은 홀로그래픽 이미지 처리 장치.
  12. 제 10 항에 있어서,
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정되는 홀로그래픽 이미지 처리 장치.
  13. 제 10 항에 있어서,
    상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 동공 측정부;를 더 포함하고
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정되는 홀로그래픽 이미지 처리 장치.
  14. 제 9 항에 있어서,
    상기 영상 추출부는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절하는 홀로그래픽 이미지 처리 장치.
  15. 제 1 항에 있어서,
    상기 제2 연산부는 상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우가 노이즈 영상의 표시 영역과 공간적으로 분리되도록 상기 제2 연산을 수행하는 홀로그래픽 이미지 처리 장치.
  16. 제 15 항에 있어서,
    상기 노이즈 영상은 격자점 노이즈 영상과 상기 좌안 영상 및 상기 우안 영상의 복소 켤레 노이즈 영상을 포함하는 홀로그래픽 이미지 처리 장치.
  17. 입력 이미지 데이터의 좌안 영상 및 우안 영상에 대해 제1 연산을 수행함으로써 좌안 동공에서의 광의 파형과 우안 동공에서의 광의 파형을 계산하는 단계;
    상기 좌안 동공에서의 광의 파형을 제1 메모리 주소에 저장하고 상기 우안 동공에서의 광의 파형을 제2 메모리 주소에 저장하는 단계;
    상기 제1 및 제2 메모리 주소에 저장된 계산결과에 대해 제2 연산을 수행함으로써, 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계; 및
    상기 좌안 영상과 상기 우안 영상의 해상도를 변경하는 단계;를 포함하며,
    상기 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계는, 시역 윈도우 상에서 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우가 서로 공간적으로 분리되도록 상기 제2 연산을 수행하고,
    상기 해상도를 변경하는 단계는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 해상도를 변경하는 홀로그래픽 이미지 처리방법.
  18. 제 17 항에 있어서,
    상기 제2 연산을 수행하는 단계는 상기 제1 및 제2 메모리 주소에 저장된 계산결과 각각에 대한 상기 제2 연산을 한 번에 수행하는 홀로그래픽 이미지 처리 방법.
  19. 삭제
  20. 삭제
  21. 제 20 항에 있어서,
    상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같은 홀로그래픽 이미지 처리 방법.
  22. 제 20 항에 있어서,
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정되는 홀로그래픽 이미지 처리 방법.
  23. 제 20 항에 있어서,
    동공 측정부를 이용하여 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 단계;를 더 포함하고
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정되는 홀로그래픽 이미지 처리 방법.
  24. 제 19 항에 있어서,
    상기 해상도를 조절하는 단계는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절하는 홀로그래픽 이미지 처리 방법.
  25. 제 17 항에 있어서,
    상기 입력 이미지 데이터로부터 상기 좌안 영상 및 상기 우안 영상을 추출하는 단계;를 포함하는 홀로그래픽 이미지 처리 방법.
  26. 제 25 항에 있어서,
    상기 좌안 영상 및 상기 우안 영상을 추출하는 단계는, 상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기에 기초하여 상기 좌안 영상과 상기 우안 영상의 해상도를 조절하는 홀로그래픽 이미지 처리 방법.
  27. 제 26 항에 있어서,
    상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우 각각의 크기는 상기 시역 윈도우의 크기의 1/4 작거나 같은 홀로그래픽 이미지 처리 방법.
  28. 제 26 항에 있어서,
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 입력 이미지 데이터가 나타내는 이미지의 복잡도에 따라 결정되는 홀로그래픽 이미지 처리 방법.
  29. 제 26 항에 있어서,
    동공 측정부를 이용하여 상기 좌안 동공 및 상기 우안 동공 중 적어도 하나의 크기를 측정하는 단계;를 더 포함하고
    상기 좌안 영상의 영상 윈도우와 상기 우안 영상의 영상 윈도우의 크기는 상기 동공 측정부에서 측정된 동공의 크기에 따라 결정되는 홀로그래픽 이미지 처리 방법.
  30. 제 26 항에 있어서,
    상기 좌안 영상 및 상기 우안 영상을 추출하는 단계는, 상기 좌안 영상 및 상기 우안 영상의 깊이에 따라 상기 좌안 영상 및 상기 우안 영상의 해상도를 다르게 조절하는 홀로그래픽 이미지 처리 방법.
  31. 제 17 항에 있어서,
    상기 공간 광 변조기에서 변조되는 광의 파형을 계산하는 단계는, 상기 좌안 영상의 영상 윈도우 및 상기 우안 영상의 영상 윈도우가 노이즈 영상의 표시 영역과 공간적으로 분리되도록 상기 제2 연산을 수행하는 홀로그래픽 이미지 처리 방법.
  32. 제 31 항에 있어서,
    상기 노이즈 영상은 격자점 노이즈 영상과 상기 좌안 영상 및 상기 우안 영상의 복소 켤레 노이즈 영상을 포함하는 홀로그래픽 이미지 처리 방법.
KR1020160016355A 2016-02-12 2016-02-12 홀로그래픽 이미지를 처리하는 방법 및 장치 KR102571080B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160016355A KR102571080B1 (ko) 2016-02-12 2016-02-12 홀로그래픽 이미지를 처리하는 방법 및 장치
US15/271,351 US10775742B2 (en) 2016-02-12 2016-09-21 Method and apparatus for processing holographic image
EP20170139.8A EP3712711B1 (en) 2016-02-12 2017-01-05 Method and apparatus for processing holographic image
EP17150447.5A EP3206087B1 (en) 2016-02-12 2017-01-05 Method and apparatus for processing holographic image
CN201710066103.1A CN107087149B (zh) 2016-02-12 2017-02-06 用于处理全息图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016355A KR102571080B1 (ko) 2016-02-12 2016-02-12 홀로그래픽 이미지를 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170094969A KR20170094969A (ko) 2017-08-22
KR102571080B1 true KR102571080B1 (ko) 2023-08-25

Family

ID=57799541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160016355A KR102571080B1 (ko) 2016-02-12 2016-02-12 홀로그래픽 이미지를 처리하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10775742B2 (ko)
EP (2) EP3206087B1 (ko)
KR (1) KR102571080B1 (ko)
CN (1) CN107087149B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
CN110045510B (zh) * 2018-09-28 2020-09-01 北京理工大学 一种双小凹立体成像系统
KR20210012484A (ko) * 2019-07-25 2021-02-03 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치 및 디스플레이 방법
CN113973198B (zh) * 2020-07-22 2024-04-09 中移(苏州)软件技术有限公司 全息影像生成方法、装置、设备及计算机可读存储介质
WO2023184526A1 (en) * 2022-04-02 2023-10-05 Covidien Lp System and method of real-time stereoscopic visualization based on monocular camera

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2363273A (en) * 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays
EP1344189B1 (en) 2000-12-18 2006-06-07 LightSpace Technologies, Inc. Rasterization of three-dimensional images
GB0329012D0 (en) * 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
DE102004044111B4 (de) 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
DE102006018689A1 (de) 2006-04-13 2007-10-25 Seereal Technologies S.A. Verfahren zum Rendern und Generieren computergenerierter Videohologramme in Echtzeit
US20110149018A1 (en) * 2006-10-26 2011-06-23 Seereal Technologies S.A. Holographic display device comprising magneto-optical spatial light modulator
US8218211B2 (en) * 2007-05-16 2012-07-10 Seereal Technologies S.A. Holographic display with a variable beam deflection
DE102007023737B4 (de) 2007-05-16 2009-01-02 Seereal Technologies S.A. Verfahren zum Generieren von Videohologrammen in Echtzeit zur Erweiterung einer 3D-Rendering-Graphikpipeline
DE102007036127A1 (de) 2007-07-27 2009-01-29 Seereal Technologies S.A. Holographische Rekonstruktionseinrichtung
KR101812302B1 (ko) 2010-04-01 2017-12-27 시리얼 테크놀로지즈 에스.에이. 홀로그래픽 시스템에서 투명 물체를 포함한 3차원 장면을 인코딩하는 방법 및 장치
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR20130019273A (ko) * 2011-08-16 2013-02-26 삼성전자주식회사 3ｄ 영상 출력 방법 및 이를 적용한 디스플레이 장치
KR20130061503A (ko) 2011-12-01 2013-06-11 한국전자통신연구원 입체 촬영을 위한 영상 처리 장치 및 이를 이용한 방법
KR102165447B1 (ko) * 2014-01-24 2020-10-14 엘지전자 주식회사 홀로그래픽 디스플레이 장치 및 그의 홀로그램 생성 방법

Also Published As

Publication number Publication date
CN107087149A (zh) 2017-08-22
EP3712711A1 (en) 2020-09-23
US10775742B2 (en) 2020-09-15
EP3206087A1 (en) 2017-08-16
KR20170094969A (ko) 2017-08-22
EP3712711B1 (en) 2022-03-16
CN107087149B (zh) 2020-10-20
EP3206087B1 (en) 2020-05-06
US20170235277A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
Shi et al. End-to-end learning of 3d phase-only holograms for holographic display
KR102571080B1 (ko) 홀로그래픽 이미지를 처리하는 방법 및 장치
KR100596686B1 (ko) 화상생성장치 및 방법
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
Terzić et al. Methods for reducing visual discomfort in stereoscopic 3D: A review
US9500470B2 (en) Apparatus and method for measuring quality of holographic image
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
JP2021518701A (ja) Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ）
KR102464363B1 (ko) 푸리에 변환을 수행하는 방법 및 장치
JPWO2014083949A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR20100040593A (ko) 영상처리 장치 및 방법
KR20140096532A (ko) 디지털 홀로그램 생성 장치 및 그 방법
KR102304225B1 (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
KR20140036390A (ko) 홀로그래픽 객체 처리 장치 및 그 동작 방법
US10996628B2 (en) Apparatus and method for evaluating hologram encoding/holographic image quality for amplitude-modulation hologram
KR20120118621A (ko) 홀로그램 기록 장치 및 홀로그램 재생 장치
KR102637106B1 (ko) 홀로그램 영상 데이터를 처리하는 방법 및 장치
CN114114873A (zh) 全息显示装置及其操作方法
JP2012008220A (ja) ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置
US10008030B2 (en) Method and apparatus for generating images
Bregovic et al. Signal processing methods for light field displays
KR20190050737A (ko) 표시 장치와 방법
Boev et al. Signal processing for stereoscopic and multi-view 3D displays
KR102477098B1 (ko) 영상 데이터 처리 방법 및 장치
CN111800621B (zh) 用于处理全息图图像数据的方法和设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant