KR20170053270A

KR20170053270A - 무안경 3d 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR20170053270A
Application number: KR1020150155548A
Authority: KR
Inventors: 박승란; 이호영
Original assignee: 삼성전자주식회사
Priority date: 2015-11-06
Filing date: 2015-11-06
Publication date: 2017-05-16
Also published as: KR102174258B1; US20170134720A1; US10931939B2

Abstract

무안경 3D 디스플레이 장치가 개시된다. 무안경 3D 디스플레이 장치는, 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지 및 기설정된 출력 뎁스 레인지에 대한 정보를 저장하는 저장부, 디스플레이 패널 및 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부 및 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하고, 복수의 영상 뷰를 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 프로세서를 포함하며, 프로세서는, 입력된 영상의 뎁스에 기초하여 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 결정된 출력 뎁스 레인지에 기초하여 복수의 영상 뷰를 렌더링한다.

Description

무안경 3D 디스플레이 장치 및 그 제어 방법 {GLASSLESS 3D DISPLAY APPARATUS AND CONTORL METHOD THEREOF}

본 발명은 무안경 3D 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 출력 뎁스 레인지를 변경하여 3D 영상을 제공하는 무안경 3D 디스플레이 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.

입체 디스플레이 장치는 일반 가정에서 사용되는 3D 텔레비전뿐만 아니라, 각종 모니터, 휴대폰, PDA, PC, 셋탑 PC, 태블릿 PC, 전자 액자, 키오스크 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 또한, 3D 디스플레이 기술은, 가정 내 사용뿐만 아니라 과학, 의약, 디자인, 교육, 광고, 컴퓨터 게임 등과 같이 3D 이미징이 필요한 다양한 분야에 활용될 수 있다.

입체 디스플레이 시스템은 크게 안경 없이 시청 가능한 무안경식 시스템과, 안경을 착용하여 시청하여야 하는 안경식 시스템으로 분류할 수 있다.

안경식 시스템은 만족스러운 입체감을 제공할 수 있으나, 시청자가 반드시 안경을 사용하여야만 한다는 불편함이 있었다. 이에 비해, 무안경식 시스템은 안경 없이도 3D 이미지를 시청할 수 있다는 장점이 있어, 무안경식 시스템에 대한 개발 논의가 지속적으로 이루어지고 있다.

다만, 기존의 무안경식 시스템의 경우 입력 영상의 뎁스 레인지(depth range)를 고려하지 않고 기설정된 뎁스 레인지를 이용하여 영상 뷰를 렌더링하였다. 이에 따라, 입력 영상의 뎁스 레인지가 큰 경우 영상의 입체감이 저하되고, 입력 영상의 뎁스 레인지가 작은 경우 영상의 선명도가 저하되는 문제점이 있었다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 입력 영상의 뎁스에 기초하여 결정된 출력 뎁스 레인지를 이용하여 영상 뷰를 생성하는 무안경 3D 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따른 무안경 3D 디스플레이 장치는, 상기 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지(depth range) 및 기설정된 출력 뎁스 레인지에 대한 정보를 저장하는 저장부, 디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부 및 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하고, 상기 복수의 영상 뷰를 상기 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 프로세서를 포함하며, 상기 프로세서는, 상기 입력된 영상의 뎁스에 기초하여 상기 구현 가능한 뎁스 레인지 내에서, 상기 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 상기 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 상기 결정된 출력 뎁스 레인지에 기초하여 상기 복수의 영상 뷰를 렌더링한다.

여기서, 상기 프로세서는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

여기서, 상기 프로세서는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

또한, 상기 프로세서는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 입력된 영상의 뎁스 레인지 크기 및 상기 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

또한, 상기 프로세서는, 상기 입력된 영상의 오브젝트 정보에 기초하여, 상기 결정된 출력 뎁스 레인지 내에서, 상기 입력된 영상의 뎁스를 리맵핑(remapping)하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

여기서, 상기 프로세서는, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스를 상기 기설정된 임계 뎁스로 변경할 수 있다.

또한, 상기 프로세서는, 상기 리맵핑된 뎁스에 기초하여, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 상기 특정 영역에 맵핑하여 생성된 다시점 영상을 제공할 수 있다.

여기서, 상기 프로세서는, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출할 수 있다.

또한, 상기 프로세서는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 상기 입력된 영상의 신뢰도 정보에 기초하여 상기 입력된 영상의 뎁스를 리맵핑하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

여기서, 상기 프로세서는, 상기 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 상기 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 상기 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는, 상기 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 무안경 3D 디스플레이 장치의 제어 방법은, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하는 단계 및 상기 복수의 영상 뷰를 상기 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 단계를 포함하며, 상기 렌더링하는 단계는, 상기 입력된 영상의 뎁스에 기초하여 기설정된 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 상기 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 상기 결정된 출력 뎁스 레인지에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

여기서, 상기 렌더링하는 단계는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

여기서, 상기 렌더링하는 단계는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

또한, 상기 렌더링하는 단계는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 입력된 영상의 뎁스 레인지 크기 및 상기 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정하여 상기 출력 뎁스 레인지를 결정할 수 있다.

또한, 상기 렌더링하는 단계는, 상기 입력된 영상의 오브젝트 정보에 기초하여, 상기 결정된 출력 뎁스 레인지 내에서, 상기 입력된 영상의 뎁스를 리맵핑(remapping)하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

여기서, 상기 렌더링하는 단계는, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스를 상기 기설정된 임계 뎁스로 변경할 수 있다.

또한, 상기 제공하는 단계, 상기 리맵핑된 뎁스에 기초하여, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 상기 특정 영역에 맵핑하여 생성된 다시점 영상을 제공할 수 있다.

여기서, 본 제어 방법은, R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, 상기 렌더링하는 단계는, 상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 상기 입력된 영상의 신뢰도 정보에 기초하여 상기 입력된 영상의 뎁스를 리맵핑하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

또한, 상기 렌더링하는 단계는, 상기 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 상기 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 상기 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는, 상기 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 제공되는 3D 영상의 입체감을 향상시키고, 화질을 개선할 수 있다.

도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a 내지 도 2c는 본 발명의 다양한 실시 예에 따른 무안경 3D 디스플레이 장치의 구성을 나타내는 도면들이다.
도 3a 및 도 3b는 본 발명의 다른 실시 예에 따른 무안경 3D 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 출력 뎁스 레인지를 결정하는 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 출력 뎁스 레인지를 결정하는 구체적인 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 오브젝트 정보에 기초하여 입력 영상의 뎁스를 리맵핑하는 방법을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 명암비 개선, 디테일 개선 및 크로스토크 개선 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 무안경 3D 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 이해를 돕기 위한 다시점 영상 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 1은 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타내는 것으로, 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상에 기초하여 생성될 수 있다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역(또는 광학 뷰)이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.

일 예로, 도 1은 총 7 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 1에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 7 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.

도 2a 내지 도 2c는 본 발명의 다양한 실시 예에 따른 무안경 3D 디스플레이 장치의 구성을 나타내는 도면들이다.

도 2a에 따르면, 무안경 3D 디스플레이 장치(100)는 저장부(110), 디스플레이부(120) 및 프로세서(130)를 포함한다.

무안경 3D 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.

영상 입력부(미도시)는 영상을 입력받는다. 구체적으로, 영상 입력부(미도시)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상을 입력받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.

또한, 영상 입력부(미도시)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.

뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다.

뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255 사이에서 임의로 선택할 수 있다. 여기서, - 값은 침강을 의미하며, + 값은 돌출을 의미한다.

저장부(110)는 무안경 3D 디스플레이 장치(100)에서 구현 가능한 뎁스 레인지 및 기설정된 출력 뎁스 레인지에 대한 정보를 저장한다. 구체적으로, 저장부(110)는 무안경 3D 디스플레이 장치(100)의 특성에 따라 무안경 3D 디스플레이 장치(100)에서 구현 가능한 뎁스 레인지를 저장하고, 무안경 3D 디스플레이 장치(100)에서 최적의 3D 영상을 제공할 수 있는 기설정된 출력 뎁스 레인지에 대한 정보를 저장할 수 있다. 여기서, 기설정된 출력 뎁스 레인지는 무안경 3D 디스플레이 장치(100)에서 구현 가능한 뎁스 레인지 및 무안경 3D 디스플레이 장치(100)의 디스플레이 패널 크기 등을 고려하여, 무안경 3D 디스플레이 장치(100)의 공정 단계에서 설정될 수 있다. 다만, 이에 한정되는 것은 아니며, 기설정된 출력 뎁스 레인지는 사용자가 임의로 설정한 값일 수 있다.

디스플레이부(120)는, 복수의 광학 뷰(또는 시청 영역)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(120)는 복수의 광학 뷰 제공을 위한 디스플레이 패널(121) 및 시역 분리부(122)를 포함한다.

디스플레이 패널(121)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(121)을 구성할 수 있다. 이 경우, 디스플레이 패널(121)은 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.

한편, 도 2a에 도시하지 않았지만, 디스플레이 패널(121)이 LCD 패널로 구현되는 경우, 디스플레이 장치(100)는 디스플레이 패널(121)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(121)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.

시역 분리부(122)는 디스플레이 패널(121)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 광학 뷰를 제공할 수 있다. 이 경우, 시역 분리부(122)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.

예를 들어, 시역 분리부(122)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(121)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.

다른 예로, 시역 분리부(122)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역 별로 상이한 시점의 영상이 출사되도록 할 수 있다.

도 2b는 본 발명의 일 실시 예에 따라 시역 분리부(122)가 렌티큘러 렌즈 어레이로 구현되고, 디스플레이 패널(121)이 LCD 패널로 구현된 경우를 예를 들어 설명하도록 한다.

도 2b에 따르면, 디스플레이부(120)는 디스플레이 패널(121), 렌티큘러 렌즈 어레이(122') 및 백라이트 유닛(123)을 포함한다.

도 2b에 따르면, 디스플레이 패널(121)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 영상 뷰가 배치된다. 도 2b에 따르면, 서로 다른 시점의 복수의 영상 뷰인 제1 내지 제8뷰가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4, 5, 6, 7, 8로 넘버링된 그룹으로 배열된다.

백라이트 유닛(123)은 디스플레이 패널(121)로 광을 제공한다. 백라이트 유닛(123)으로부터 제공되는 광에 의해, 디스플레이 패널(121)에 형성되는 각 영상 뷰는 렌티큘러 렌즈 어레이(122')로 투사되고, 렌티큘러 렌즈 어레이(122')는 투사되는 각 영상 뷰의 광을 분산시켜 사용자 방향으로 전달한다. 즉, 렌티큘러 렌즈 어레이(122')는 사용자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 도시된 바와 같이 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구 동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 광학 뷰를 형성한다. 즉, 도 2b에 도시된 바와 같이 시청 영역에는 복수의 광학 뷰가 형성되고 사용자의 좌안 및 우안이 각각 서로 다른 광학 뷰에 위치하게 되는 경우, 3D 영상을 시청할 수 있게 된다.

한편, 시역 분리부(122)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 프로세서(130)는 복수의 뷰 각각을 시역 분리부(122)가 기울어진(Slanted) 각도에 기초하여 분할하고, 이들을 조합하여 출력을 위한 다시점 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(121)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 특정 방향으로 기울어진 영역을 시청할 수 있다. 이에 따라, 시청자는 적어도 일부 픽셀에 대해서는 하나의 완전한 서브 픽셀이 아닌 서브 픽셀의 일부를 시청할 수 있다. 예를 들어, 도 2c에 도시된 바와 같이 사용자는 시역 분리부(122)에 의하여 기설정된 각도로 기울어진 영역(210)을 시청하게 되며, 특히, 시역 분리부(122)의 광학적 동작에 의하여, 사용자는 도시된 바와 같은 기울어진 영역에 픽셀 영역(이하, 가시 픽셀 영역이라 함)을 시청하게 된다. 이 경우, 가시 픽셀 영역에서 제공되는 픽셀(A, B, C)의 크기는 렌티큘러 렌즈의 피치(pitch)에 의해 결정될 수 있다.

프로세서(130)는 무안경 3D 디스플레이 장치(100)의 전반적인 동작을 제어한다.

우선, 프로세서(130)는 서로 다른 시점의 복수의 영상 뷰를 렌더링할 수 있다.

구체적으로, 프로세서(130)는 입력된 영상이 2D 영상인 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 서로 다른 시점의 복수의 영상 뷰를 렌더링할 수 있다. 또는 서로 다른 시점의 복수의 영상 뷰 및 대응되는 복수의 뎁스 정보가 입력되는 경우, 입력된 복수의 영상 뷰 및 뎁스 정보 중 적어도 하나의 영상 뷰 및 뎁스 정보에 기초한 개수(이하에서 N개라 함)의 영상 뷰를 렌더링할 수 있다. 또는 서로 다른 시점의 복수의 영상 뷰만 입력되는 경우, 복수의 영상 뷰로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 N 개의 영상 뷰를 렌더링할 수 있다.

일 예로, 프로세서(130)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 프로세서(130)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 프로세서(130)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수 개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 N개의 영상 뷰를 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 뎁스 정보에 기초하여 입력된 영상의 뎁스를 다양한 기준에 따라 조정할 수 있으며, 이 경우 프로세서(130)는 뎁스가 조정된 영상에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

이 경우, 프로세서(130)는 입력된 영상의 뎁스에 기초하여 저장부(110)에 저장된 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 입력된 영상에 대응되는 출력 뎁스 레인지를 결정할 수 있다.

특히, 프로세서(130)는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 저장부(110)에 저장된 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다.

구체적으로, 프로세서(130)는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다. 예를 들어, 기설정된 출력 뎁스 레인지가 -10 ~ +10 이고, 입력된 영상의 뎁스 레인지가 -20 ~ +20 이고, 임계 값이 10 인 경우, 입력된 영상의 뎁스 레인지 크기(여기서, 40)는 기설정된 출력 뎁스 레인지 크기(여기서, 20)보다 임계 값보다 큰 20 이 크므로, 출력 뎁스 레인지 크기는 기설정된 출력 뎁스 레인지 크기보다 크게 설정될 수 있다. 다만, 출력 뎁스 레인지는 저장부(110)에 저장된 구현 가능한 뎁스 레인지 내에서 결정될 수 있다. 즉, 출력 뎁스 레인지의 최소값은 저장부(110)에 저장된 구현 가능한 뎁스 레인지의 최소값보다 크고, 출력 뎁스 레인지의 최대값은 저장부(110)에 저장된 구현 가능한 뎁스 레인지의 최대값보다 작을 수 있다. 다른 예로, 기설정된 출력 뎁스 레인지가 -10 ~ +10 이고, 입력된 영상의 뎁스 레인지가 -13 ~ +13 이고, 임계 값이 10 인 경우, 입력된 영상의 뎁스 레인지 크기와 기설정된 출력 뎁스 레인지 크기 차이가 임계 값보다 작으므로, 출력 뎁스 레인지 크기는 기설정된 뎁스 레인지 크기와 동일하게 설정될 수 있다.

또한, 프로세서(130)는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 입력된 영상의 뎁스 레인지 크기 및 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정할 수 있다. 예를 들어, 기설정된 출력 뎁스 레인지가 -10 ~ +10 이고, 입력된 영상의 뎁스 레인지가 -20 ~ +20 이고, 입력된 영상의 뎁스 레인지 크기 및 기설정된 출력 뎁스 레인지 크기 차이 대비 출력 뎁스 레인지 크기가 커지는 비율이 10:1 인 경우, 입력된 영상의 뎁스 레인지 크기(여기서, 40) 및 기설정된 출력 뎁스 레인지 크기(여기서, 20) 차이가 20 이므로, 출력 뎁스 레인지 크기는 2 만큼 커질 수 있다. 즉, 출력 뎁스 레인지는 -11 ~ +11 이 될 수 있다. 다만, 출력 뎁스 레인지는 저장부(110)에 저장된 구현 가능한 뎁스 레인지 내에서 결정될 수 있다.

또한, 프로세서(130)는 출력 뎁스 레인지가 결정되면, 출력 뎁스 레인지에 기초하여 입력된 영상의 뎁스를 리맵핑할 수 있다. 구체적으로, 출력 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 크게 설정되면, 입력된 영상의 각 픽셀에 대응되는 뎁스의 차이가 커지도록 각 픽셀의 뎁스가 다시 결정되고, 결정된 뎁스가 입력된 영상의 각 픽셀에 맵핑될 수 있다. 이 경우, 프로세서(130)는 오브젝트 정보를 고려하여, 입력된 영상의 각 픽셀에 대응되는 뎁스를 결정할 수 있다.

또한, 프로세서(130)는 입력된 영상의 오브젝트 정보에 기초하여, 프로세서(130)에 의해 결정된 출력 뎁스 레인지 내에서, 입력된 영상의 뎁스를 리맵핑(remapping)하고, 리맵핑된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

구체적으로, 프로세서(130)는 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 특정 영역에 대응되는 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 특정 영역에 대응되는 리맵핑된 뎁스를 기설정된 임계 뎁스로 변경할 수 있다. 프로세서(130)는 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 특정 영역에 대응되는 리맵핑된 뎁스가 기설정된 임계 뎁스 이상인 경우, 특정 영역을 크로스토크가 많이 발생하는 영역으로 예측하여, 특정 영역에 대응되는 리맵핑된 뎁스를 기설정된 임계 뎁스로 변경할 수 있다. 여기서, 기설정된 임계 뎁스는 본 발명의 일 실시 예에 따라 크로스토크가 최소가 되도록 하는 값으로 결정될 수 있으며, 실험에 의해 적절한 값으로 결정될 수 있다.

또한, 프로세서(130)는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 입력된 영상의 신뢰도 정보에 기초하여 입력된 영상의 뎁스를 리맵핑하고, 리맵핑된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다. 여기서, 신뢰도 정보는 특정 픽셀 또는 특정 영역의 뎁스를 신뢰할 수 있는 정도를 수치로 나타낸 신뢰도 값을 포함하며, 영상 신호에 포함되어 무안경 3D 디스플레이 장치(100)로 전송될 수 있다.

구체적으로, 프로세서(130)는 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

프로세서(130)는 렌더링된 서로 다른 시점의 복수의 영상 뷰를 구성하는 서브 픽셀 값에 기초하여 디스플레이부(120)에 디스플레이할 다시점 영상을 생성한다. 여기서, 프로세서(130)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.

특히, 프로세서(130)는 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하고, 복수의 영상 뷰를 디스플레이 패널(121)에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공할 수 있다.

또한, 프로세서(130)는 입력된 영상의 오브젝트 정보에 기초하여, 프로세서(130)에 의해 결정된 출력 뎁스 레인지 내에서, 입력된 영상의 뎁스를 리맵핑(remapping)하고, 리맵핑된 뎁스에 기초하여, 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 특정 영역에 맵핑하여 다시점 영상을 생성할 수 있다. 이 경우, 프로세서(130)는 R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출하고, 산출된 혼합 픽셀 값을 특정 영역에 맵핑하여 다시점 영상을 생성할 수 있다. 예를 들어, 프로세서(130)는 디스플레이 패널(121)에 디스플레이할 다시점 영상의 (1, 1) 위치의 R 서브 픽셀에 매핑할 혼합 픽셀 값을 산출하는 경우, 선택된 제1 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값 및 적어도 하나의 인접 시점 뷰의 (1, 1) 위치의 R 서브 픽셀 값을 혼합하여 산출할 수 있다.

도 3a 및 도 3b는 본 발명의 다른 실시 예에 따른 무안경 3D 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 3a에 따르면, 무안경 3D 디스플레이 장치는 저장부(110), 디스플레이부(120), 프로세서(130), 오디오 처리부(140) 및 비디오 처리부(150)를 포함하며, 도 2a에 도시된 무안경 3D 디스플레이 장치(100)의 세부 구성이 될 수 있다. 도 3a에 도시된 구성 중 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.

RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.

제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

메인 CPU(133)는 저장부(110)에 액세스하여, 저장부(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 저장부(110)에 저장된 각종 모듈, 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. 특히, 도 3b에 도시된 렌더링 모듈(111), 뎁스 레인지 결정 모듈(112), 크로스토크 개선 모듈(113) 및 화질 개선 모듈(114)에 기초하여 본 발명의 다양한 실시 예에 따른 동작을 수행할 수 있다.

ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(110)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 저장부(110)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.

한편, 상술한 프로세서(130)의 동작은 저장부(110)에 저장된 프로그램에 의해 이루어질 수 있다.

저장부(110)는 무안경 3D 디스플레이 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다. 특히, 저장부(110)에는 도 3b에 도시된 렌더링 모듈(111), 뎁스 레인지 결정 모듈(112), 크로스토크 개선 모듈(113) 및 화질 개선 모듈(114) 등의 프로그램 및 본 발명의 다양한 실시 예를 구현하기 위한 다양한 정보가 저장되어 있을 수 있다.

도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 출력 뎁스 레인지를 결정하는 방법을 설명하기 위한 도면이다.

일반적으로 무안경 3D 디스플레이 장치는, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기와 다른 경우, 출력 뎁스가 기설정된 출력 뎁스 레인지에 포함되도록 입력된 영상의 뎁스를 조정한다. 이 경우, 도 4a와 같이, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 크면, 입력된 영상의 뎁스를 줄이고(compression), 도 4b와 같이, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 작으면, 입력된 영상의 뎁스를 늘릴 수 있다(expansion). 다만, 도 4a 및 도 4b에서 보듯이, 기설정된 출력 뎁스 레인지 크기는 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지 크기보다 작으므로, 이용되지 않는 뎁스 영역이 존재한다.

본 발명의 일 실시 예에 따른 무안경 3D 디스플레이 장치는, 기설정된 출력 뎁스 레인지로 출력 영상의 뎁스를 조정하는 경우 이용되지 않는 뎁스 영역을 이용할 수 있는데, 구체적인 이용 방법은 이하 도 5a 및 도 5b를 참조하여 후술한다.

도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 출력 뎁스 레인지를 결정하는 구체적인 방법을 설명하기 위한 도면이다.

도 5a를 참조하면, 무안경 3D 디스플레이 장치는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지의 크기보다 크거나 작은 경우, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 입력된 영상에 대응되는 출력 뎁스 레인지를 결정할 수 있다.

구체적으로, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다.

예를 들어, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다. 이 경우, 출력 뎁스 레인지는 입력된 영상의 뎁스 분포를 고려하여 결정될 수 있다. 구체적으로, 입력된 영상의 뎁스가 큰 값이 많은 경우, 기설정된 출력 뎁스 레인지의 최대값을 더 크게 쉬프트하고 최소값은 쉬프트하지 않는 방식으로 출력 뎁스 레인지를 조정할 수 있다. 또는, 입력된 영상의 뎁스가 작은 값이 많은 경우, 기설정된 출력 뎁스 레인지의 최소값을 더 작게 쉬프트하고 최대값은 쉬프트하지 않는 방식으로 출력 뎁스 레인지를 조정할 수도 있다. 즉, 출력 뎁스 레인지는 입력된 영상의 뎁스 분포에 기초하여, 기설정된 출력 뎁스 레인지의 최소값 또는 최대값만을 조정하거나 최대값 및 최소값을 모두 조정하여 결정될 수 있다.

또 다른 예로, 입력된 영상의 뎁스 레인지 크기 및 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정할 수 있다. 이 경우, 출력 뎁스 레인지는 기설정된 출력 뎁스 레인지의 최소값 또는 최대값을 기설정된 비율만큼 쉬프트하거나 기설정된 출력 뎁스 레인지의 최소값 및 최대값 모두를 기설정된 비율만큼 쉬프트하여 출력 뎁스 레인지를 조정할 수 있다.

또한, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 입력된 영상의 신뢰도 정보에 기초하여 입력된 영상의 뎁스를 리맵핑하고, 리맵핑된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다. 구체적으로, 입력된 영상의 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 오브젝트 정보에 기초하여 입력 영상의 뎁스를 리맵핑하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 무안경 3D 디스플레이 장치는 입력된 영상의 각 오브젝트에 대한 오브젝트 중요도 값이 맵핑된 오브젝트 중요도 맵(object importance map)을 생성하거나, 오브젝트 중요도 맵이 포함된 오브젝트 정보를 영상 신호와 함께 수신할 수 있다.

본 발명의 일 실시 예에 따르면, 무안경 3D 디스플레이 장치는 오브젝트 중요도 맵을 이용하여 입력된 영상의 뎁스를 리맵핑할 수 있다. 구체적으로, 오브젝트 중요도 값이 큰 오브젝트는 뎁스 차이를 크게 하여 입체감을 높임으로써, 중요 오브젝트를 다른 오브젝트보다 부각시킬 수 있다.

즉, 본 발명에 따른 무안경 3D 디스플레이 장치는 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 오브젝트 중요도 값을 고려하여 출력 영상의 뎁스를 결정할 수 있다.

도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 명암비 개선, 디테일 개선 및 크로스토크 개선 방법을 설명하기 위한 도면이다.

상술한 바와 같이, 출력 뎁스 레인지는 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지와 다르게 설정될 수 있다. 구체적으로, 도 7a와 같이 출력 영상의 뎁스가 구현 가능한 출력 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최대값보다 크게 설정된 경우, 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 특정 영역에 대응되는 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 특정 영역에 대응되는 리맵핑된 뎁스를 기설정된 임계 뎁스로 변경하여, 크로스토크를 개선할 수 있다. 또한, 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 특정 영역에 맵핑하여, 명암비 및 디테일을 개선할 수 있다.

다만, 도 7b와 같이 출력 영상의 뎁스가 구현 가능한 출력 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값보다 작게 설정된 경우에는, 크로스토크 개선, 명암비 및 디테일 개선을 수행하지 않고, 신뢰도 정보에 기초하여 입력된 영상의 뎁스를 리맵핑할 수 있다.

도 7c의 그래프는, 본 발명의 일 실시 예에 따른 명암비 개선, 디테일 개선 및 크로스토크 개선을 수행하여 3D 영상의 화질이 개선되는 결과를 나타낸다.

도 8은 본 발명의 일 실시 예에 따른 무안경 3D 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 8에 도시된 무안경 3D 디스플레이 장치의 제어 방법에 따르면, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링한다(S810). 여기서, 무안경 3D 디스플레이 장치는 디스플레이 패널 및 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부를 포함할 수 있다. 이 경우, 입력된 영상의 뎁스에 기초하여 기설정된 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 결정된 출력 뎁스 레인지에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

이어서, 렌더링된 복수의 영상 뷰를 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공한다(S820).

또한, S810 단계에서는, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다.

또한, S810 단계에서는, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다.

또한, S810 단계에서는, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 입력된 영상의 뎁스 레인지 크기 및 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 구현 가능한 뎁스 레인지 내에서, 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정하여 출력 뎁스 레인지를 결정할 수 있다.

또한, S810 단계에서는, 입력된 영상의 오브젝트 정보에 기초하여, 결정된 출력 뎁스 레인지 내에서, 입력된 영상의 뎁스를 리맵핑하고, 리맵핑된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

또한, S810 단계에서는, 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 특정 영역에 대응되는 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 특정 영역에 대응되는 리맵핑된 뎁스를 기설정된 임계 뎁스로 변경할 수 있다.

또한, S820 단계에서는, 리맵핑된 뎁스에 기초하여, 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 특정 영역에 맵핑하여 생성된 다시점 영상을 제공할 수 있다.

또한, 제어방법은, R, G, B 중 하나의 서브 픽셀 단위로 혼합 픽셀 값을 산출하는 단계를 더 포함할 수 있다.

또한, S810 단계에서는, 입력된 영상의 뎁스 레인지 크기가 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 입력된 영상의 신뢰도 정보에 기초하여 입력된 영상의 뎁스를 리맵핑하고, 리맵핑된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

또한, S810 단계에서는, 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는, 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 복수의 영상 뷰를 렌더링할 수 있다.

상술한 다양한 실시 예에 따른 무안경 3D 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 무안경 3D 디스플레이 장치에 제공될 수 있다.

일 예로, 입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하는 단계 및 상기 복수의 영상 뷰를 상기 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 무안경 3D 디스플레이 장치
110: 저장부 120: 디스플레이부
130: 프로세서

Claims

무안경 3D 디스플레이 장치에 있어서,
상기 무안경 3D 디스플레이 장치에서 구현 가능한 뎁스 레인지(depth range) 및 기설정된 출력 뎁스 레인지에 대한 정보를 저장하는 저장부;
디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 디스플레이부; 및
입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하고, 상기 복수의 영상 뷰를 상기 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 프로세서;를 포함하며,
상기 프로세서는,
상기 입력된 영상의 뎁스에 기초하여 상기 구현 가능한 뎁스 레인지 내에서, 상기 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 상기 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 상기 결정된 출력 뎁스 레인지에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 무안경 3D 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 무안경 3D 디스플레이 장치.
제2항에 있어서,
상기 프로세서는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 무안경 3D 디스플레이 장치.
제2항에 있어서,
상기 프로세서는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 입력된 영상의 뎁스 레인지 크기 및 상기 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 무안경 3D 디스플레이 장치.
제2항에 있어서,
상기 프로세서는,
상기 입력된 영상의 오브젝트 정보에 기초하여, 상기 결정된 출력 뎁스 레인지 내에서, 상기 입력된 영상의 뎁스를 리맵핑(remapping)하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 무안경 3D 디스플레이 장치.
제5항에 있어서,
상기 프로세서는,
상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스를 상기 기설정된 임계 뎁스로 변경하는, 무안경 3D 디스플레이 장치.
제5항에 있어서,
상기 프로세서는,
상기 리맵핑된 뎁스에 기초하여, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 상기 특정 영역에 맵핑하여 생성된 다시점 영상을 제공하는, 무안경 3D 디스플레이 장치.
제7항에 있어서,
상기 프로세서는,
R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는, 무안경 3D 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 상기 입력된 영상의 신뢰도 정보에 기초하여 상기 입력된 영상의 뎁스를 리맵핑하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 무안경 3D 디스플레이 장치.
제9항에 있어서,
상기 프로세서는,
상기 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 상기 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 상기 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는, 상기 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 무안경 3D 디스플레이 장치.
디스플레이 패널 및 상기 디스플레이 패널의 전면에 배치되어 사용자의 시청 영역에서 서로 다른 시점의 광학 뷰를 제공하는 시역 분리부를 포함하는 무안경 3D 디스플레이 장치의 제어 방법에 있어서,
입력된 영상의 뎁스에 기초하여 서로 다른 시점을 갖는 복수의 영상 뷰를 렌더링하는 단계; 및
상기 복수의 영상 뷰를 상기 디스플레이 패널에 기설정된 배치 패턴으로 배치하여 다시점 영상을 제공하는 단계;를 포함하며,
상기 렌더링하는 단계는,
상기 입력된 영상의 뎁스에 기초하여 기설정된 구현 가능한 뎁스 레인지 내에서, 기설정된 출력 뎁스 레인지의 최소값 및 최대값 중 적어도 하나를 쉬프트시켜 상기 입력된 영상에 대응되는 출력 뎁스 레인지를 결정하고, 상기 결정된 출력 뎁스 레인지에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 제어 방법.
제11항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 제어 방법.
제12항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 임계 값 이상 큰 경우, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 제어 방법.
제12항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 큰 경우, 상기 입력된 영상의 뎁스 레인지 크기 및 상기 기설정된 출력 뎁스 레인지 크기 차이에 기초하여, 상기 구현 가능한 뎁스 레인지 내에서, 상기 입력된 영상에 대응되는 출력 뎁스 레인지 크기를 상기 기설정된 출력 뎁스 레인지 크기보다 기설정된 비율만큼 크게 설정하여 상기 출력 뎁스 레인지를 결정하는, 제어 방법.
제12항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상의 오브젝트 정보에 기초하여, 상기 결정된 출력 뎁스 레인지 내에서, 상기 입력된 영상의 뎁스를 리맵핑(remapping)하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 제어 방법.
제15항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값 차가 기설정된 임계 픽셀 값 이상이고 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스가 기설정된 임계 뎁스 이상이면, 상기 특정 영역에 대응되는 상기 리맵핑된 뎁스를 상기 기설정된 임계 뎁스로 변경하는, 제어 방법.
제15항에 있어서,
상기 제공하는 단계,
상기 리맵핑된 뎁스에 기초하여, 상기 입력된 영상에서 특정 영역의 픽셀 값과 인접 영역의 픽셀 값에 기초하여 생성된 혼합 픽셀 값을 상기 특정 영역에 맵핑하여 생성된 다시점 영상을 제공하는, 제어 방법.
제17항에 있어서,
R, G, B 중 하나의 서브 픽셀 단위로 상기 혼합 픽셀 값을 산출하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상의 뎁스 레인지 크기가 상기 기설정된 출력 뎁스 레인지 크기보다 작은 경우, 상기 입력된 영상의 신뢰도 정보에 기초하여 상기 입력된 영상의 뎁스를 리맵핑하고, 상기 리맵핑된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 제어 방법.
제19항에 있어서,
상기 렌더링하는 단계는,
상기 입력된 영상에서 신뢰도 값이 기설정된 임계 값 이상인 영역에서는 상기 기설정된 출력 뎁스 레인지에 기초하여 뎁스를 조정하고, 상기 입력된 영상의 신뢰도 값이 기설정된 임계 값 미만인 영역에서는, 상기 입력된 영상의 뎁스를 그대로 적용하여 결정된 뎁스에 기초하여 상기 복수의 영상 뷰를 렌더링하는, 제어 방법.