KR101978176B1

KR101978176B1 - 영상 처리 장치 및 방법

Info

Publication number: KR101978176B1
Application number: KR1020120131505A
Authority: KR
Inventors: 홍지영; 조양호; 이호영
Original assignee: 삼성전자주식회사
Priority date: 2012-07-12
Filing date: 2012-11-20
Publication date: 2019-08-29
Also published as: KR20140010856A

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치의 객체 분리부는, 칼라 영상 및 상기 칼라 영상에 연관되는 깊이 영상 중 적어도 하나를 이용하여 객체 영역과 배경 영역을 분리할 수 있다. 상기 영상 처리 장치의 대비 계산부는, 상기 객체 영역과 상기 배경 영역 사이의 대비를 계산하고, 깊이 조정부는 상기 대비를 이용하여 상기 깊이 영상의 깊이를 조정할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 3D (3-Dimensional) 영상의 깊이를 조정하는 영상 처리 장치 및 방법에 연관된다.

3D 디스플레이는 현실감이 높지만, 화질 열화나 시청 피로 문제가 있을 수 있다. 따라서, 3D 디스플레이의 화질 열화를 최소화 하면서, 시청 피로도가 저감되도록 하기 위해 깊이를 재조정하는 기술이 요구된다.

깊이를 재조정하는 종래의 방법들 중 하나인, 미국 특허 US 7,557,824 "Method and apparatus for generating a stereoscopic image"는 영상의 깊이 정보와 시청거리 등을 이용하여 관심 영역(Region of Interest: ROI)를 구하고, 구해진 ROI를 기준으로 가까운 영역과 먼 영역(Near/Far region)에 해당하는 깊이감을 재조정 하는 깊이 매핑(Depth mapping)을 제시하였다.

일측에 따르면, 칼라 영상 및 상기 칼라 영상에 연관되는 깊이 영상 중 적어도 하나를 이용하여 객체 영역과 배경 영역을 분리하는 객체 분리부; 상기 객체 영역과 상기 배경 영역 사이의 대비를 계산하는 대비 계산부; 및 상기 대비를 이용하여 상기 깊이 영상의 깊이를 조정하는 깊이 조정부를 포함하는 영상 처리 장치가 제공된다.

일실시예에 따르면, 상기 객체 분리부는, 상기 객체 영역과 상기 배경 영역을 분리하여 마스크를 생성하여 버퍼에 저장할 수 있다.

일실시예에 따르면, 상기 객체 분리부는, 인간 시각 인지 특성 모델에 기초하는 비주얼 어텐션 맵을 이용하여 상기 객체 영역과 상기 배경 영역을 분리할 수 있다.

다른 일실시예에 따르면, 상기 객체 분리부는, 미리 결정되는 관심 영역(Region Of Interest)을 이용하여 상기 객체 영역과 상기 배경 영역을 분리할 수도 있다.

또 다른 일실시예에 따르면, 상기 객체 분리부는, 상기 깊이 영상을 이용하여 깊이 값의 레벨을 세그멘테이션하고 수평면 방정식을 이용하여 수평면을 제거하여 상기 객체 영역과 상기 배경 영역을 분리할 수도 있다.

일실시예에 따르면, 상기 대비 계산부는, 상기 입력 칼라 영상의 적어도 하나의 픽셀의 칼라 값을 상기 영상 처리 장치에 연관되는 디스플레이 특성을 반영한 루미넌스 값으로 변환하는 칼라 값 변환부를 포함할 수 있다.

일실시예에 따르면, 상기 칼라 값 변환부는, PLCC (Piecewise Linear Interpolation assuming Constant Chromaticity coordinates) 모델을 이용하여 상기 적어도 하나의 픽셀의 칼라 값을 상기 디스플레이 특성을 반영한 루미넌스 값으로 변환할 수 있다.

이 경우, 상기 대비 계산부는 상기 루미넌스 값을 이용하여 상기 객체 영역의 루미넌스 값을 대표하는 제1 루미넌스 값 및 상기 배경 영역의 루미넌스 값을 대표하는 제2 루미넌스 값을 계산하고, 상기 제1 루미넌스 값과 상기 제2 루미넌스 값의 차이에 기초하여 상기 대비를 계산할 수 있다.

일실시예에 따르면, 상기 대비 계산부는 상기 제1 루미넌스 값 및 상기 제2 루미넌스 값을 마이켈슨 대비 계산 방법에 적용하여 상기 대비를 계산할 수 있다.

일실시예에 따르면, 상기 깊이 조정부는, 상기 영상 처리 장치에 연관되는 디스플레이가 표현할 수 있는 최대 깊이 값을 이용하여 상기 깊이 영상을 정규화하는 깊이 정규화부; 상기 대비를 이용하여 스케일 팩터를 결정하는 스케일 팩터 결정부; 및 상기 스케일 팩터를 이용하여 상기 깊이 영상의 깊이 값을 리스케일링하는 깊이 리스케일링부를 포함할 수 있다.

이 경우, 상기 스케일 팩터는 깊이 값에 대한 최소 가지 차이를 실험하여 구축된 데이터베이스를 이용하여, 상기 대비가 클수록 작은 값으로 결정될 수 있다.

또한, 상기 스케일 팩터 결정부는, 미리 결정되는 복수 개의 대비 수준 중 상기 대비가 포함되는 대비 수준에 대응하여 미리 결정되는 스케일 팩터를 결정할 수 있다.

일실시예에 따르면, 상기 영상 처리 장치는, 상기 칼라 영상 및 상기 깊이 조정부가 상기 깊이 영상의 깊이를 조정한 결과를 이용하여 적어도 하나의 시점에 대응하는 3D 영상을 렌더링 하는 영상 렌더부를 더 포함할 수 있다.

이 경우, 상기 영상 렌더부는 DIBR (Depth Image Based Rendering) 기법을 이용하여 상기 3D 영상을 렌더링 할 수 있다.

다른 일측에 따르면, 칼라 영상 및 상기 칼라 영상에 연관되는 깊이 영상 중 적어도 하나를 이용하여 객체 영역과 배경 영역을 분리하는 단계; 상기 객체 영역과 상기 배경 영역 사이의 대비를 계산하는 단계; 및 상기 대비를 이용하여 상기 깊이 영상의 깊이를 조정하는 단계를 포함하는 영상 처리 방법이 제공된다.

일실시예에 따르면, 상기 대비를 계산하는 단계는, 상기 입력 칼라 영상의 적어도 하나의 픽셀의 칼라 값을 상기 영상 처리 장치에 연관되는 디스플레이 특성을 반영한 루미넌스 값으로 변환하는 칼라 값 변환 단계를 포함할 수 있다.

이 경우, 상기 칼라 값을 변환하는 단계는, PLCC (Piecewise Linear Interpolation assuming Constant Chromaticity coordinates) 모델을 이용하여 상기 적어도 하나의 픽셀의 칼라 값을 상기 디스플레이 특성을 반영한 루미넌스 값으로 변환하고, 상기 대비를 계산하는 단계는, 상기 루미넌스 값을 이용하여 상기 객체 영역의 루미넌스 값을 대표하는 제1 루미넌스 값 및 상기 배경 영역의 루미넌스 값을 대표하는 제2 루미넌스 값을 계산하고, 상기 제1 루미넌스 값과 상기 제2 루미넌스 값의 차이에 기초하여 상기 대비를 계산할 수 있다.

일실시예에 따르면, 상기 깊이를 조정하는 단계는, 상기 영상 처리 장치에 연관되는 디스플레이가 표현할 수 있는 최대 깊이 값을 이용하여 상기 깊이 영상을 정규화하는 단계; 상기 대비를 이용하여 스케일 팩터를 결정하는 단계; 및 상기 스케일 팩터를 이용하여 상기 깊이 영상의 깊이 값을 리스케일링하는 단계를 포함할 수 있다.

이 경우, 상기 스케일 팩터는, 깊이 값에 대한 최소 가지 차이를 실험하여 구축된 데이터베이스를 이용하여, 상기 대비가 클수록 작은 값으로 결정될 수 있다.

도 1은 일실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 일실시예에 따라 영상 처리 장치에 입력되는 영상을 설명하는 데에 참조되는 개념도이다.
도 3은 일실시예에 따라 객체 영역과 배경 영역이 분리된 결과를 설명하기 위한 개념도이다.
도 4는 일실시예에 따라 객체 영역과 배경 영역이 분리되어 버퍼에 저장되는 과정을 설명하기 위한 개념도이다.
도 5는 일실시예에 따라 칼라 값 변환부가 칼라 값 변환을 수행하는 과정을 설명하기 위한 블록도이다.
도 6은 일실시예에 따른 깊이 조정부의 세부 블록도이다.
도 7은 다른 일실시예에 따른 영상 처리 장치를 도시하는 블록도이다.
도 8은 일실시예에 따른 영상 처리 방법을 도시하는 예시적 흐름도이다.

이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 영상 처리 장치(100)의 블록도이다.

일실시예에 따르면, 영상 처리 장치(100)의 객체 분리부(110)는 입력되는 칼라 영상 및 깊이 영상 중 적어도 하나를 이용하여, 객체 영역과 배경 영역을 분리할 수 있다.

객체 분리부(110)가 객체 영역과 배경 영역을 분리하는 방법에는 다양한 실시예가 존재할 수 있다. 예시적으로, 인간 시각 인지(Human visual perception) 특성에 기초한 비주얼 어텐션 맵(Visual attention map)을 이용하여 배경과 객체를 구분할 수 있다. 또한, 관심 영역(Region of interest: ROI)을 이용하여 영역을 분리하기도 하며, 단순히 깊이(depth) 정보만을 사용하여 영역을 분리할 수 도 있다. 이러한 실시예들에 대해서는 도 2 및 도 3을 참조하여 보다 상세히 후술한다.

대비 계산부(120)는 분리된 객체 영역과 배경 영역 각각의 대표 루미넌스(Luminance) 값을 계산하여, 두 값의 차이인 대비(Contrast)를 계산한다. 대비 계산 방법에 대한 다양한 실시예들에 대해서는 도 5 및 도 6 등을 참조하여 보다 상세히 후술한다.

깊이 조정부(130)는 상기 계산된 대비를 이용하여 입력 영상의 깊이를 재조정한다. 이러한 과정은 이하에서 리스케일링(Re-scaling)으로 표현될 수도 있다.

일실시예에 따르면, 상기 깊이 조정부(130)는 인간의 시각 인지(Human Visual Perception) 특성 중, 대비에 따라 인지 가능한 최소의 깊이 차이인 (Just Noticeable Difference: JND)를 이용하여, 깊이 조정을 수행한다.

이러한 인간의 시각 인지 특성에서 참조되는 3차원 입체지각은, 양안 시차(Disparity)의 지각요인 원리를 경험적 지각요인과 결합하여 실재감을 재현하는 기술로 이해될 수 있으며, 인간이 지닌 시각의 생리적 특징을 메커니즘으로 이해한 접이다.

실시예들에서는, 이러한 인간의 시각 인지 특성 중, 인간 시각이 밝기(Luminance)에 민감하다는 이해에 기초할 수 있다. 이러한 실시예들에서, 대비 마스킹(Contrast masking)을 이용하여 입력 영상의 대비를 계산되고, 계산된 대비에 대하여 이론적 및/또는 실험적으로 밝혀진 최소의 깊이감 차이가 데이터베이스화 된다. 그리고, 입력 영상의 객체 영역과 배경 영역 사이의 대비가 계산되면 이러한 데이터베이스를 이용하여 깊이가 조정된다.

깊이 조정 과정에 대한 다양한 실시예들은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.

이러한 실시예들에 따른 영상 처리 장치(100)에 따르면, 입체 영상의 깊이 조정 및/또는 2D로부터 3D로의 변환에 따라 발생될 수 있는 홀(hole) 등에 기인하는 화질 열화가 방지될 수 있고, 시청 피로도가 저감될 수 있다.

도 2는 일실시예에 따라 영상 처리 장치에 입력되는 영상을 설명하는 데에 참조되는 개념도이다.

입력 칼라 영상(210)에는 객체 영역(211)과 배경 영역(212)이 포함될 수 있다. 상기 입력 칼라 영상(210)은 예시적으로, RGB(Red, Green, Blue) 모델에 의한 칼라 값을 포함할 수 있다.

이러한 입력 칼라 영상(210)과 함께 깊이 영상(220)이 입력될 수 있다. 다만, 이는 일실시예에 불과하며, 깊이 영상(220)을 대체할 수 있는 디스패러티 맵(Disparity map, 미도시)이 입력될 수도 있다. 이러한 경우에는 후술하는 깊이 조정은 디스패러티 조정에 해당할 수 있으며, 이는 통상의 기술자에게 자명하다.

나아가, 다른 일실시예에 따르면 깊이 영상(220)이나 디스패러티 맵 대신 입력 칼라 영상(210)과 시점(Point of view)을 달리하는 다른 칼라 영상(미도시)이 입력될 수도 있다. 이 경우는 스테레오스코픽 영상이 입력되는 경우로 이해될 수 있다. 이 때에는 알려져 있는 방법으로 스테레오스코픽 영상으로부터 깊이 영상(220) 또는 디스패러티 맵이 쉽게 구해질 수 있다.

따라서, 이하에서는 깊이 영상(220)이 입력되어 깊이 조정이 이루어지는 실시예를 예시적으로 설명하지만, 이러한 일부 실시예로 국한되지 않고 디스패러티 맵 또는 스테레오스코픽 영상이 입력되는 등 다른 응용도 가능하다.

한편, 입력 깊이 영상(220)은 입력 칼라 영상(210)에 매칭되는 깊이 값이 포함된다. 이 깊이 값(Depth value)은 3차원 영상을 생성할 수 있는 정보이다. 이러한 깊이가 과도한 경우에는 시청 피로가 유발될 수도 있고, 깊이가 과소한 경우에는 3차원 영상의 현실성이 작을 수 있다.

따라서 깊이를 재조정하는 과정이 요구될 수 있는데, 종래에는 인간의 시각 인지 특성(Human visual perception)에 대한 고려 없이 깊이를 조정하는 경우가 많았다.

일실시예에 따르면, 영상 처리 장치(100)는 인간의 시각 인지 특성에 기초하여, 입력 칼라 영상의 대비(Contrast)를 분석하고 이에 기초하여 깊이 영상(220)의 깊이를 적응적으로 재조정한다.

이를 위해 일실시예에 따르면, 객체 분리부(110)가 깊이 영상(220)에 포함되는 객체 영역(221)을 배경 영역과 분리한다. 이러한 과정은 도 3을 참조하여 보다 상세히 후술한다.

도 3은 일실시예에 따라 객체 영역과 배경 영역이 분리된 결과(300)를 설명하기 위한 개념도이다.

객체 영역(Object region)(310)은 경우에 따라서는 전경(Foreground) 영역으로 이해될 수도 있다. 이러한 객체 영역(310)은 영상의 컨텐츠에 따라서 복수 개일 수도 있다. 이러한 경우, 일실시예에 따르면 복수 개의 객체 영역들 중 사용자 시점이나 객체의 움직임, 크기 등을 고려하여 대표 객체 영역이 선택될 수도 있다. 다른 일실시예에 따르면 복수 개의 객체 영역을 함께 고려하여 후술하는 영상 처리가 수행될 수도 있다.

객체 분리부(110)가 객체 영역(310)과 배영 영역(320)을 분리하는 방법에는 다양한 실시예들이 있다.

예시적으로, 인간의 시각 인지(Human visual perception) 특성을 바탕으로 하여 생성되는 비주얼 어텐션 맵(Visual attention map, 미도시)를 이용하여 배경과 객체를 구분할 수 있다.

다른 일실시예에 따르면, 미리 결정되거나 또는 실시간으로 결정될 수 있는 관심 영역(Region of interest: ROI)를 이용한 영역 세그먼테이션이 이용될 수도 있다.

나아가 또 다른 일실시예에 따르면, 깊이 영상(220)의 깊이 정보를 이용하여 객체의 깊이로 추정되는 깊이의 픽셀들을 결정할 수 있다.

이러한 실시예에서는, 객체의 깊이로 추정되는 깊이의 픽셀들을 깊이 영상(220)으로부터 분리하고, 객체와 깊이가 비슷한 배경을 정확히 분리하기 위해 지평면을 대표하는 평면 방정식을 구하여 객체와 배경의 분리를 정확하게 할 수도 있다.

나아가 객체 영역(310)와 배경 영역(320)을 분리하는 데에는 다양한 전처리(Pre-processing) 및/또는 후처리(Post-processing) 과정이 추가될 수 있으며, 구체적인 방법은 영상 처리 분야의 통상의 기술자에게 잘 알려져 있으므로 자세한 설명을 생략한다.

객체 분리부(110)가 객체 영역(310)과 배경 영역(320)을 분리한 결과는 도 3에 도시된 결과(300)와 같이 동일한 스케일의 마스크 맵(Mask map) 형태로 저장될 수 있으며, 이는 도 4를 참조하여 설명된다.

도 4는 일실시예에 따라 객체 영역과 배경 영역이 분리되어 버퍼(400)에 저장되는 과정을 설명하기 위한 개념도이다.

버퍼(400)은, 예시적으로, 객체 영역(310)에 대하여 디지털 값 '1'을, 배경 영역(320)에 대하여 디지털 값 '0'을 저장할 수 있다. 물론, 버퍼에 저장되는 바이너리 데이터의 디지털 레벨을 서로 반대로 설정되어도 된다.

한편, 일실시예에 따르면, 버퍼(400)에 저장되는 바이너리 데이터 1 비트(bit)가 입력 칼라 영상(210) 또는 입력 깊이 영상(220)의 픽셀(pixel) 레벨을 대표할 수 있다.

그러나, 이는 일부 실시예에 불과하며, 영상 처리 속도를 높이기 위해서 또는 다른 목적에서 버퍼(400)에 저장되는 바이너리 데이터 1 비트가 입력 칼라 영상(210) 또는 입력 깊이 영상(220)의 복수 개의 픽셀을 대표할 수도 있다. 이를테면, 영상의 픽셀들이 블록 단위로 그룹핑되고, 각 블록에 대해 객체 영역(310)에 대응하는지, 또는 배경 영역(320)에 대응하는지의 정보가 버퍼(400)에 저장될 수도 있다.

이렇게 객체 영역(310)과 배경 영역(320)이 분리된 결과는 객체 영역의 대표 깊이 값을 결정하는 데에 이용될 수도 있다. 또한, 상기 결과는 객체 영역과 배경 영역의 대비(Contrast)을 계산하는 기초 정보가 될 수 있다.

도 5는 일실시예에 따라 칼라 값 변환부가 칼라 값 변환을 수행하는 과정을 설명하기 위한 블록도이다.

칼라 값 변환부(510)은 객체 영역(310)과 배경 영역(320)으로 분리되어 저장되어 있는 각 픽셀의 칼라 값에 대하여, 다음과 같은 수식을 통한 칼라 값 변환을 수행하여 X, Y 및 Z값을 도출할 수 있다.

일실시예에 따르면, 상기 수학식 1에서 X, Y, Z 변환을 위해 PLCC (Piecewise Linear Interpolation assuming Constant Chromaticity coordinates) 모델이 이용될 수 있다.

상기 PLCC 모델은 영상 처리 장치(100)에 연관되는 디스플레이 특성이 반영되어 미리 측정된 값들을 사용하여 입력 R, G, B값을 X, Y, Z값으로 변환할 수 있다.

이 중 적어도 일부는 디스플레이 특성을 측정하여 사용해야 하는 값일 수 있다. 예를 들어, 0 ~ 255까지 15간격으로 측정한 X, Y, Z값과 R, G, B 각각의 블랙(black) 값의 상관 관계가 측정될 수 있다.

이러한 과정에 의해 계산되는 Y 값이 루미넌스(Luminance) 값에 연관될 수 있다. 그리고, 객체 영역(310)을 대표하는 루미넌스 값과 배경 영역(320)을 대표하는 루미넌스 값을 비교하면 객체 영역(310)과 배경 영역(320)의 대비(Contrast)가 계산될 수 있다. 각 영역을 대표하는 루미넌스 값은 예시적으로 각 영역 루미넌스 값의 평균 값일 수 있고, 다른 예에서는 루미넌스 값 별 분포 빈도수(Frequency)를 고려하여 결정될 수도 있다. 보다 상세한 내용은 도 6을 참조하여 후술한다.

도 6은 일실시예에 따른 깊이 조정부(130)의 세부 블록도이다.

일실시예에 따르면, 깊이 조정부(130)는 깊이 정규화부(610)을 포함할 수 있다.

깊이 정규화부(610)는 영상 처리 장치(100)에 연관되는 디스플레이가 표현할 수 있는 최대 깊이(Depth) 및/또는 디스패러티(Disparity)를 기준 값으로 하여, 입력 영상의 깊이를 정규화(Normalization) 한다.

하드웨어 특성 또는 캘리브래이션 레벨에 따라, 디스플레이들 각각이 표현할 수 있는 최대 깊이는 서로 다를 수 있으므로, 이와 같은 깊이 정규화 과정이 수행될 수 있다.

이렇게 깊이 정규화가 수행되면, 스케일 팩터 결정부(620)는 대비 계산부(120)가 계산한 객체 영역과 배경 영역의 대비를 이용하여 상기 정규화된 깊이를 리스케일링(Re-scaling)하기 위한 스케일 팩터(Scale factor)를 결정한다.

일실시예에 따르면, 대비 계산부(120)는 상기 도 5를 참조하여 설명된 객체 영역 및 배경 영역 각각의 대표 루미넌스 값을 이용하여 아래와 같이 대비를 계산한다.

도 5를 참조하여 설명한 실시예와 같이 도출된 X, Y, Z값 중, 루미넌스 또는 밝기에 해당하는 'Y' 값을 이용하여 객체 영역과 배경 영역 각각의 대표 루미넌스 값을 결정한다.

상기한 바와 같이 일실시예에 따르면, 상기 대표 루미넌스 값의 경우, 각 영역에 속하는 픽셀들의 Y 값 평균으로 구할 수도 있고, 픽셀들의 Y 값 분포 빈도수(Frequency)를 이용하여 계산할 수도 있다.

일실시예에 따르면, 대비 계산부(120)는 널리 알려져 있는 대비 계산 방법인 마이켈슨 대비(Michelson Contrast) 계산 방법을 이용하여 상기 대비를 계산할 수 있다.

수학식 2를 참고하면, 입력 영상의 마이켈슨 대비 C_michelson은 객체 영역의 대표 Y 값과 배경 영역의 대표 Y 값 중 큰 값이 Ymax와 작은 값인 Ymin을 이용하여 계산될 수 있다.

다만, 이러한 계산 방법은 어디까지나 일실시예에 불과하며 대비를 계산할 수 있는 다양한 다른 응용들이 제외되지 않는다.

이렇게 계산된 대비를 이용하여 스케일 팩터 결정부(620)가 스케일 팩터를 결정한다.

이러한 스케일 팩터 결정 과정에서 실시예들에 따르면, 인간의 시각 인지 특성이 반영될 수 있다.

정신물리학적(psychophysics)의 견지에서, 인식 가능한 최소의 차이(Just Noticeable Difference: JND)라는 것은 인간 또는 동물에 의해 서로 다르다고 구분될 수 있는 자극의 최소의 차이를 의미한다. 이러한 JND는 최소 가지 차이라고 해석되기도 한다.

JND는 처음 베버(Weber)에 의해 연구되었으며 밝기 값 L과 그 밝기 값의 JND인 델타(Delta) L을 측정하기 위해 무수히 많은 실험을 하여 다음과 같은 관계를 도출하였다.

이것은 모든 밝기 값 L과 그것에 의한 JND인 델타(delta) L의 비율은 상수 k로 일정하다는 것이다. 후대 과학자들에 의해 이러한 JND나 상수 k가 밝기 값에 L따라 변화된다는 내용이 제시된 바도 있으나, 정밀한 수준의 정확도가 아니라면 상기 수학식 3은 여전히 유효한 것으로 인정될 수 있다.

밝기 값과 깊이 값의 상관 관계에 대하여 이론적 및/또는 실험적 연구를 수행한 결과, 객체 영역과 배경 영역의 밝기 값 차이인 대비가 클수록 깊이 값에 대한 JND가 작다는 내용이 도출되었다. 이를테면, 객체 영역과 배경 영역의 대비가 클수록 인간은 깊이 값의 변경에 민감한 것으로 이해될 수 있다.

일실시예에 따르면, 이러한 판단에 기초하여 스케일 팩터 결정부(620)는 객체 영역과 배경 영역의 대비가 클수록 깊이 조정을 위한 스케일 팩터의 값을 작게 결정한다.

계산된 대비에 따라 스케일 팩터의 값을 결정하기 위한 매핑 테이블 및/또는 계산 데이터는 데이터베이스(601)에 저장되어 있을 수 있다. 다만, 일부 실시예에서는 이러한 데이터베이스(601)는 영상 처리 장치(100) 내에 포함되는 스토리지 및/또는 메모리에 저장되어 있을 수도 있다.

한편 일실시예에 따르면, 계산된 대비는 미리 결정되는 몇 개의 대비 수준 중 어느 하나에 포함되는 것으로 판단될 수도 있다.

예를 들어, 스케일 팩터 결정부(620)는 대비(Contrast)의 수준을 높은 대비(High contrast), 중간 대비(Middle contrast), 낮은 대비(Low contrast) 및 무시할 수 있을 정도로 작은 대비(No contrast) 등 몇 개의 그룹으로 미리 결정해 두고, 각각의 그룹에 대응하는 스케일 팩터를 미리 결정해둘 수도 있다.

이 경우, 스케일 팩터 결정부(620)는, 대비 계산부(120)에 의해 계산된 객체 영역과 배경 영역 사이의 대비가 상기 그룹들 중 어느 그룹에 속하는 지를 판단하여, 해당하는 그룹에 대응하는 스케일 팩터를 입력 영상의 깊이 조정을 위한 최종 스케일 팩터로 결정할 수 있다.

그러면, 깊이 리스케일링부(630)는 이렇게 결정된 스케일 팩터에 따라, 입력 영상의 깊이를 재조정한다.

일실시예에 따르면, 깊이 리스케일링부(630)는 입력 영상의 최대 깊이 값이 깊이를 재조정하기 위한 스케일 팩터에 일치되도록 깊이 값을 조정할 수 있다.

일실시예에 따르면, 입력 깊이 영상의 깊이 값은 정규화되어 있을 수 있어서, 정규화되어 있는 깊이 값에 상기 스케일 팩터를 곱하는 방식으로 상기 깊이 조정을 할 수 있다.

이렇게 조정된 깊이 값에 따라 영상을 재구성하는 경우, 입력 영상의 대비와 인간의 시각 지각(Human visual perception) 특성이 반영되어, 인지되는 깊이 정도(Perceived depth)는 유지되면서도, 화질 열화가 최소화되고, 시청 피로감이 적은 영상을 제공하는 것이 가능하다.

영상의 재생성에 관해서는 도 7을 참조하여 보다 상세히 후술한다.

도 7은 다른 일실시예에 따른 영상 처리 장치(700)를 도시하는 블록도이다.

일실시예에 따르면, 영상 처리 장치(700)는 도 1 내지 도 6을 참조하여 설명한 객체 분리부(110), 대비 계산부(120), 깊이 조정부(130) 외에 영상 렌더부(710)를 더 포함할 수 있다.

일실시예에 따르면, 영상 렌더부(710)는 깊이 조정부(130)에 의해 조정된 깊이 값들을 이용하여 깊이가 조정된 3D 영상을 다시 렌더링한다.

예시적으로, 영상 렌더부(710)는 DIBR(depth image based rendering) 방법을 이용하여, 참조 영상(Reference image)과 참조 영상의 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(Depth image)을 이용하여 임의의 시점에서의 영상을 렌더링 할 수 있다.

상기 DIBR 방법을 이용하여 임의 시점에서의 영상을 렌더링 하는 과정은 다음 수학식을 참조하여 이해될 수 있다.

상기 수학식 4에서, u_v는 구하고자 하는 임의의 가상 시점(virtual view)을 의미하며, u_r은 입력, d는 depth, β는 만들고자 하는 시점(view)을 설정 하기 위해 변경 가능한 임의의 수로 이해될 수 있다.

예를 들어, 하나의 참조 영상과 깊이 영상의 깊이 정보를 통해 3차원 공간에 영상을 재 투영(Projection)시킨 후, 좌측 영상은 깊이에 따라 영상 안의 물체들을 원래의 컬러 영상에 비해 우측으로 이동시키며, 우측 영상은 영상 안의 물체들을 좌측으로 이동시킬 수 있다. 이 때, 깊이 값에 비례하여 물체의 움직임, 이를테면 디스패러티가 결정 된다.

도 8은 일실시예에 따른 영상 처리 방법을 도시하는 예시적 흐름도이다.

단계(810)에서 입력 칼라 영상 및 입력 깊이 영상이 수신된다. 상기한 바와 같이, 입력 깊이 영상은 스테레오스코픽 구성을 위한 또 다른 칼라 영상 입력, 디스패러티 맵 입력 등 다양한 변형 실시예로 대체될 수 있다.

단계(820)에서, 영상 처리 장치(100)의 객체 분리부(110)는 입력되는 칼라 영상 및 깊이 영상 중 적어도 하나를 이용하여, 객체 영역과 배경 영역을 분리할 수 있다.

상기한 바와 같이, 객체 분리부(110)가 객체 영역과 배경 영역을 분리하는 방법에는 다양한 실시예가 존재할 수 있으며, 이러한 실시예들은 도 1 내지 도 3을 참조하여 상술한 바와 같다.

그러면, 단계(831)에서 도 5의 칼라 값 변환부(510)는 입력 영상의 RGB 칼라 값을 디스플레이 특성을 반영한 X, Y, Z 값으로 변환할 수 있으며, 이러한 과정은 도 5를 참조하여 상술한 바와 같다.

단계(832)에서는 대비 계산부(120)가 분리된 객체 영역과 배경 영역 각각의 대표 루미넌스(Luminance) 값을 계산하여, 두 값의 차이인 대비(Contrast)를 계산한다. 대비 계산 방법에 대한 다양한 실시예들에 대해서는 도 1, 도 5 및 도 6 등을 참조하여 상술한 바와 같다.

단계(833)에서 깊이 조정부(130)의 스케일 팩터 결정부(620)는 계산된 대비에 대응하는 스케일 팩터를 결정할 수 있다. 이에 대한 다양한 실시예들은 도 5 및 도 6을 참조하여 상술한 바와 같다.

깊이 조정부(130)는 단계(840)에서 객체 영역의 대표 깊이 값을 계산할 수 있다. 이러한 대표 깊이 값은 객체 영역에 포함된 깊이들의 평균에 의해 결정되거나, 또는 깊이 값들의 빈도수(Frequency)를 고려하여 결정될 수 있다. 이러한 과정 또한 도 6을 참조하여 상술한 바와 같다.

그리고 단계(842)에서 깊이 조정부(130)의 깊이 정규화부(610)는 디스플레이가 표현할 수 있는 최대 깊이 값을 이용하여 깊이 값을 정규화 하며, 상세한 내용은 도 6을 참조하여 상술한 바와 같다.

이렇게 스케일 팩터가 결정되고, 깊이 값이 정규화된 경우, 깊이 리스케일링부(630)는 입력 깊이 영상의 깊이를 리스케일링 할 수 있다(850).

한편, 일실시예에 따르면, 단계(860)에서 영상 렌더부(710)는 조정된 깊이를 참조 영상과 함께 이용하여, 3D 영상을 재생성할 수 있다. 이러한 과정에서 임의의 시점에서의 3D 영상이 렌더되는 것도 가능하다. 상세한 내용은 도 7을 참조하여 상술한 바와 같다.

이러한 실시예들에 따르면, 인간의 시각 인지(Human Visual Perception) 특성 중, 대비에 따라 인지 가능한 최소의 깊이 차이인 (Just Noticeable Difference: JND)를 이용하여, 깊이 조정이 적응적으로 이루어지기 때문에, 화질 열화나 깊이감의 불필요한 조정 없이, 시청 피로를 저감하는 것이 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

칼라 영상 및 상기 칼라 영상에 연관되는 깊이 영상 중 적어도 하나를 이용하여 객체 영역과 배경 영역을 분리하는 객체 분리부;
상기 객체 영역과 상기 배경 영역 사이의 대비를 계산하는 대비 계산부; 및
상기 대비를 이용하여 상기 깊이 영상의 깊이를 조정하는 깊이 조정부
를 포함하고,
상기 깊이 조정부는,
상기 대비를 이용하여 스케일 팩터를 결정하는 스케일 팩터 결정부; 및
상기 스케일 팩터를 이용하여 상기 깊이 영상의 깊이 값을 리스케일링하는 깊이 리스케일링부
를 포함하는
영상 처리 장치.
제1항에 있어서,
상기 객체 분리부는, 상기 객체 영역과 상기 배경 영역을 분리하여 마스크를 생성하여 버퍼에 저장하는 영상 처리 장치.
제1항에 있어서,
상기 객체 분리부는, 인간 시각 인지 특성 모델에 기초하는 비주얼 어텐션 맵을 이용하여 상기 객체 영역과 상기 배경 영역을 분리하는 영상 처리 장치.
제1항에 있어서,
상기 객체 분리부는, 미리 결정되는 관심 영역(Region Of Interest)을 이용하여 상기 객체 영역과 상기 배경 영역을 분리하는 영상 처리 장치.
제1항에 있어서,
상기 객체 분리부는, 상기 깊이 영상을 이용하여 깊이 값의 레벨을 세그멘테이션하고 수평면 방정식을 이용하여 수평면을 제거하여 상기 객체 영역과 상기 배경 영역을 분리하는 영상 처리 장치.
제1항에 있어서,
상기 대비 계산부는, 상기 칼라 영상의 적어도 하나의 픽셀의 칼라 값을 상기 영상 처리 장치에 연관되는 디스플레이 특성을 반영한 루미넌스 값으로 변환하는 칼라 값 변환부를 포함하는 영상 처리 장치.
제6항에 있어서,
상기 칼라 값 변환부는, PLCC (Piecewise Linear Interpolation assuming Constant Chromaticity coordinates) 모델을 이용하여 상기 적어도 하나의 픽셀의 칼라 값을 상기 디스플레이 특성을 반영한 루미넌스 값으로 변환하는 영상 처리 장치.
제7항에 있어서,
상기 대비 계산부는 상기 루미넌스 값을 이용하여 상기 객체 영역의 루미넌스 값을 대표하는 제1 루미넌스 값 및 상기 배경 영역의 루미넌스 값을 대표하는 제2 루미넌스 값을 계산하고, 상기 제1 루미넌스 값과 상기 제2 루미넌스 값의 차이에 기초하여 상기 대비를 계산하는 영상 처리 장치.
제8항에 있어서,
상기 대비 계산부는 상기 제1 루미넌스 값 및 상기 제2 루미넌스 값을 마이켈슨 대비 계산 방법에 적용하여 상기 대비를 계산하는 영상 처리 장치.
제1항에 있어서,
상기 깊이 조정부는,
상기 영상 처리 장치에 연관되는 디스플레이가 표현할 수 있는 최대 깊이 값을 이용하여 상기 깊이 영상을 정규화하는 깊이 정규화부
를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 스케일 팩터는 깊이 값에 대한 최소 가지 차이를 실험하여 구축된 데이터베이스를 이용하여, 상기 대비가 클수록 작은 값으로 결정되는 영상 처리 장치.
제1항에 있어서,
상기 스케일 팩터 결정부는, 미리 결정되는 복수 개의 대비 수준 중 상기 대비가 포함되는 대비 수준에 대응하여 미리 결정되는 스케일 팩터를 결정하는 영상 처리 장치.
제1항에 있어서,
상기 칼라 영상 및 상기 깊이 조정부가 상기 깊이 영상의 깊이를 조정한 결과를 이용하여 적어도 하나의 시점에 대응하는 3D 영상을 렌더링 하는 영상 렌더부
를 더 포함하는 영상 처리 장치.
제13항에 있어서,
상기 영상 렌더부는 DIBR (Depth Image Based Rendering) 기법을 이용하여 상기 3D 영상을 렌더링 하는 영상 처리 장치.
칼라 영상 및 상기 칼라 영상에 연관되는 깊이 영상 중 적어도 하나를 이용하여 객체 영역과 배경 영역을 분리하는 단계;
상기 객체 영역과 상기 배경 영역 사이의 대비를 계산하는 단계; 및
상기 대비를 이용하여 상기 깊이 영상의 깊이를 조정하는 단계
를 포함하고,
상기 깊이를 조정하는 단계는,
상기 대비를 이용하여 스케일 팩터를 결정하는 단계; 및
상기 스케일 팩터를 이용하여 상기 깊이 영상의 깊이 값을 리스케일링하는 단계
를 포함하는
영상 처리 방법.
제15항에 있어서,
상기 대비를 계산하는 단계는, 상기 칼라 영상의 적어도 하나의 픽셀의 칼라 값을 상기 영상 처리 장치에 연관되는 디스플레이 특성을 반영한 루미넌스 값으로 변환하는 칼라 값 변환 단계를 포함하는 영상 처리 방법.
제16항에 있어서,
상기 칼라 값을 변환하는 단계는, PLCC (Piecewise Linear Interpolation assuming Constant Chromaticity coordinates) 모델을 이용하여 상기 적어도 하나의 픽셀의 칼라 값을 상기 디스플레이 특성을 반영한 루미넌스 값으로 변환하고,
상기 대비를 계산하는 단계는, 상기 루미넌스 값을 이용하여 상기 객체 영역의 루미넌스 값을 대표하는 제1 루미넌스 값 및 상기 배경 영역의 루미넌스 값을 대표하는 제2 루미넌스 값을 계산하고, 상기 제1 루미넌스 값과 상기 제2 루미넌스 값의 차이에 기초하여 상기 대비를 계산하는 영상 처리 방법.
제15항에 있어서,
상기 깊이를 조정하는 단계는,
상기 영상 처리 장치에 연관되는 디스플레이가 표현할 수 있는 최대 깊이 값을 이용하여 상기 깊이 영상을 정규화하는 단계
를 포함하는 영상 처리 방법.
제15항에 있어서,
상기 스케일 팩터는, 깊이 값에 대한 최소 가지 차이를 실험하여 구축된 데이터베이스를 이용하여, 상기 대비가 클수록 작은 값으로 결정되는 영상 처리 방법.
제15항 내지 제19항 중 어느 한 항에 있어서, 상기 영상 처리 방법을 수행하는 프로그램을 포함한 컴퓨터 판독 가능 기록매체.