KR101794492B1

KR101794492B1 - 다시점 영상 디스플레이 시스템

Info

Publication number: KR101794492B1
Application number: KR1020160022524A
Authority: KR
Inventors: 이민석; 최양현; 김영휘
Original assignee: (주)앤미디어; 주식회사 파란오이
Priority date: 2016-02-25
Filing date: 2016-02-25
Publication date: 2017-11-07
Also published as: KR20170100229A

Abstract

다시점 영상 디스플레이 시스템 및 방법이 개시된다. 본 발명의 시스템에서는, 깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하고, 컬러영상의 컬러정보와 복수의 시점에 대응하는 시차로부터, 하나의 픽셀에 대한 다시점 영상을 생성한다.

Description

다시점 영상 디스플레이 시스템{SYSTEM FOR DISPLAYING MULTIVIEW IMAGE}

본 발명은 다시점 영상 디스플레이 시스템에 대한 것이다.

멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다. 그 중 다시점 영상(multi-view image)은 시점이 다른 2 이상의 카메라(다시점 카메라)를 이용하여 획득한 영상들의 집합을 의미한다. 기존의 단일 시점 비디오와는 달리 다시점 비디오는 하나의 장면을 다수의 카메라를 통해 촬영함으로써 3차원의 동적인 영상을 생성할 수 있다. 이러한 다시점 영상은 사용자에게 자유로운 시점 및 넓은 화면을 통한 입체감을 제공할 수 있다.

한편, 영화 산업이나 방송국에서는 특수효과를 위해 영상 합성 기술을 필요로 한다. 특히, 첨단 3차원 컴퓨터 그래픽 기술이 적용된 블록 버스터가 쏟아지는 요즈음은 우수한 영상 합성 기술의 확보가 필수적이라고 해도 과언이 아니다.

일반적으로 다시점 영상을 생성하기 위해서는, 컬러영상을 획득하기 위한 N개의 다시점 카메라를 배치하고, 깊이영상을 획득하기 위한 깊이 카메라를 배치하여, 깊이영상과 다시점의 컬러영상을 합성하여 다시점 영상을 생성하게 된다.

도 1은 종래의 다시점 카메라와 깊이 카메라가 배치되는 예를 설명하기 위한 것이다.

복수의 다시점 카메라(100)는 n개의 카메라로 구성되며, 복수의 카메라의 시점(viewpoint)은 카메라의 위치에 따라 서로 다르고, 이와 같이 서로 다른 시점을 가지는 복수의 영상을 다시점 영상이라고 한다. 다시점 카메라(100)로부터 획득되는 다시점 영상은 각 영상을 이루는 2차원 상의 픽셀별 컬러정보는 포함하지만 깊이정보는 포함하지 않는다. 깊이 카메라(200)는 3차원 상의 깊이정보를 가지는 깊이맵을 획득하는 것이다.

이와 같이, 종래의 다시점 영상을 생성하는 시스템에서, 다시점 카메라(100)는 일렬로 배열된 형태로 구성되고, 그 중 어느 하나의 하단 또는 상단에 깊이 카메라(200)가 배치된다.

그러나, 위와 같은 종래의 다시점 영상 생성 시스템에서는, 복수의 컬러영상을 획득하기 위한 카메라가 필요하므로, 시스템 구성에 소모되는 비용이 높으며, 다시점 영상을 합성하는데 소요되는 시간 및 비용이 매우 높아지는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 하나의 컬러정보 영상과 이에 대응하는 깊이정보 영상을 이용하여 와이드 베이스라인(wide baseline) 다시점 영상을 생성하는 장치 및 방법을 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 다시점 영상 생성장치는, 깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하는 제1생성부; 및 컬러영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제2생성부를 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1생성부는, 상기 복수의 시점에 대응하는 시차를

에 의해 생성할 수 있으며, 이때, a는 계수, D는 상기 하나의 픽셀의 깊이정보, b는 오프셋일 수 있다.

본 발명의 일실시예에서, 상기 제1생성부는, 와이드-베이스밴드에 등간격으로 배치되는 복수의 시점에 대해, 상기 수학식의 계수 a에 일정한 크기변화를 부여하여 상기 복수의 시점에 대응하는 시차를 결정할 수 있다.

본 발명의 일실시예에서, 상기 제2생성부는, 상기 복수의 시점에 대응하는 시차에 대응하여, 상기 픽셀에 대한 상기 복수의 시점에 해당하는 좌표를 결정하고, 해당 좌표에 상기 컬러정보를 부여하여 다시점 영상을 생성할 수 있다.

또한, 상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 다시점 영상 디스플레이 시스템은, 깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하는 제1생성부; 컬러영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제2생성부; 및 상기 다시점 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.

에 의해 생성할 수 있고, a는 계수, D는 상기 하나의 픽셀의 깊이정보, b는 오프셋일 수 있다.

상기와 같은 본 발명은, 복수의 카메라에 의해 다시점 영상을 각각 획득할 필요 없이, 하나의 컬러영상과 깊이영상으로부터 다시점 영상을 생성할 수 있으므로, 다시점 입체영상을 제작하는데 있어 비용과 인력의 소모를 줄이도록 하는 효과가 있다.

도 1은 종래의 다시점 카메라와 깊이 카메라가 배치되는 예를 설명하기 위한 것이다.
도 2는 본 발명의 일실시예의 다시점 영상 디스플레이 시스템을 설명하기 위한 구성도이다.
도 3a 내지 도 3c는 본 발명의 일실시예에서 컬러영상 및 깊이영상에 의해 생성된 다시점 영상의 예를 나타낸 것이다.
도 4는 본 발명의 일실시예의 다시점 영상 생성 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 도 1을 참조로 본 발명의 일실시예의 배경을 설명한 후, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

본 발명은, 하나의 컬러영상과 깊이영상으로부터 n개의 와이드-베이스라인(wide-baseline) 다시점 영상을 생성하는 장치 및 방법에 관한 것이다. 와이드-베이스라인 다시점 영상이란, 넓은 길이를 가진 직선 위에 놓여진 n개의 카메라로부터 촬용된 색상영상을 말한다.

본 발명의 일실시예에서는 하나의 컬러영상과 깊이영상으로부터 와이드-베이스라인 상의 임의의 시점을 생성하는 것이다. 즉, 와이드-베이스라인 상에 임의의 시점을 생성할 수 있으므로, 결국 n개의 시점을 생성할 수 있는 것이다.

도 1을 참조로 하면, 3차원 공간 내부에 있는 어떤 점 P(x, y, z)는 복수의 카메라에 투사되어 카메라 필름의 한 평면 위의 한 점(2차원 u, v)에 표현된다. 와이드-베이스라인 상에 배치된 카메라(100)의 경우, 각 카메라의 y, z 좌표가 일치하고 x 좌표만이 변화하므로, 3차원 공간의 점 P(x, y, z)가 투사된 각 카메라(100)의 필름 위의 좌표 (u, v)는 u 좌표만 차이가 난다.

하나의 3차원 점 P에 대해 서로 다른 위치의 카메라(100)의 필름에 맺힌 서로 다른 u 좌표의 차이를 시차(parallax)라 하고, 이는 3차원 점 P의 좌표 중 z 좌표의 영향을 받는다.

특히 와이드-베이스라인 설정에서 z(카메라와 점 사이의 깊이)가 크면 클수록 일정한 방향으로 변화하므로, 시차는 z에 비례하게 된다.

본 발명은 이러한 3차원 공간의 특성을 사용하는 것으로서, 와이드-베이스라인에 복수의 카메라를 배치하지 않고서도, 하나의 컬러영상과 하나의 깊이영상으로부터 와이드-베이스라인 상에 배치되는 복수의 카메라로부터 얻은 영상과 동일한 다시점 영상을 얻을 수 있게 된다.

도 2는 본 발명의 일실시예의 다시점 영상 디스플레이 시스템을 설명하기 위한 구성도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 시스템은, 컬러영상 획득부(10), 깊이영상 획득부(20), 시차생성부(30), 다시점 영상 생성부(40) 및 디스플레이부(50)를 포함할 수 있다.

본 발명의 일실시예의 시스템은, 개인용 컴퓨터(PC)와 같은 컴퓨터 시스템에 구현되거나, 또는 3차원 TV에 구현되거나, 또는 스마트폰이나 스마트패드와 같은 스마트 기기에 구현될 수 있을 것이다.

컬러영상 획득부(10)는 하나의 시점에 대한 컬러영상을 획득할 수 있고, 깊이영상 획득부(20)는 해당 컬러영상에 대한 깊이영상을 획득할 수 있다.

컬러영상 획득부(10)가 획득한 영상은 컬러정보를 포함하는 것으로서, 예를 들어 각 픽셀에 대한 적녹청(RGB) 정보를 포함할 수 있다.

또한, 깊이영상 획득부(20)가 획득한 영상은 3차원 상의 깊이정보를 포함하는 깊이정보를 포함하는 것으로서, 예를 들어 레이저 또는 적외선 조사부(도시되지 않음)로부터 조사되는 레이저 또는 적외선을 객체에 비추고, 되돌아오는 광선을 취득하여 깊이정보를 실시간으로 얻을 수 있는 장치로서, 레이저 또는 적외선을 통해 깊이정보를 센싱하는 깊이센서(도시되지 않음)를 포함할 수 있다.

컬러영상 획득부(10) 및 깊이영상 획득부(20)는 각각 도 1과 같은 카메라로 구성될 수도 있고, 또는 카메라 모듈과 이미지 센서(예를 들어 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등)로 구성될 수도 있을 것이며, 그 외 다양한 방식으로 구성될 수 있을 것이다.

시차생성부(30)는 깊이영상으로부터 가상의 다시점 카메라의 시차를 생성할 수 있다. 깊이영상에서, 임의의 점에 대해 깊이정보 D를 가정하기로 한다.

2차원 영상에서, D와 시차 사이에는 다음과 같은 관계가 있다고 할 수 있다.

이때 a는 계수(coefficient)이고, b는 오프셋(offset)일 수 있다. 다만, 실제로 둘 사이는 위 수학식 1과 같이 선형적(linear)이지 않으므로, 비선형적 모델을 활용하여 다시 정리하면 다음과 같다.

이때, a는 계수(coefficient)이고, b는 오프셋(offset)이고, g는 비선형성 정도를 나타내는 감마(gamma)를 의미한다.
따라서, 가상의 레퍼런스 카메라 c(1)에 대해 베이스라인 상의 다른 카메라인 c(1), c(2), c(3) ..., c(N)을 가정하면, c(1)과 각 가상의 카메라 사이의 시차는 계수인 a를 조절함으로써 얻을 수 있다.

일반적인 와이드-베이스라인 카메라 시스템에서, 복수의 카메라 c(1), c(2), c(3) ..., c(N)은 서로 등간격으로 배치되기 때문에, 시차생성부(30)는 계수 a에 일정한 크기변화를 주어 n시점의 시차를 결정할 수 있다.

다시, 도 2에서, 다시점 영상 생성부(40)는, 시점생성부(30)가 생성한 시차를 이용하여 다시점 영상을 생성할 수 있다. 컬러영상에서, 임의의 점에 대한 컬러정보를 C라 한다. 시차는 한 점이 각 카메라에 투사되었을 때 u 좌표의 차이임은 위에서 설명한 바와 같다.

컬러영상에서 색상정보 C의 좌표를 (u, v)라 하면, n개의 카메라에 대한 시차를 나타내는 P(1), P(2), P(3), ..., P(n)은 시차생성부(30)에 의해 결정되므로, n개의 카메라에서의 해당 점의 좌표는 (u+P(1), v), (u+P(2), v), ..., (u+P(n), v)라 할 수 있다.

따라서, 다시점 영상 생성부(40)는, 각 카메라의 이미지 공간에 대응하는 좌표 (u+P(n), v)에 컬러정보 C를 부여함으로써 다시점 영상을 생성할 수 있다.

디스플레이부(50)는, 다시점 영상 생성부(40)에 의해 생성된 다시점 영상을 디스플레이할 수 있다.

도 3a 내지 도 3c는 본 발명의 일실시예에서 컬러영상 및 깊이영상에 의해 생성된 다시점 영상의 예를 나타낸 것이다.

도면에 도시된 바와 같이, 본 발명에 의하면 도 3a의 컬러영상과 도 3b의 깊이영상을 이용하여, 도 3c와 같은 다시점 입체영상을 생성할 수 있다.

도 4는 본 발명의 일실시예의 다시점 영상 생성 방법을 설명하기 위한 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 방법은, 컬러영상 획득부(10)로부터 컬러영상을, 깊이영상 획득부(20)로부터 깊이영상을 수신할 수 있다(S10).

이후, 시차생성부(30)는, 컬러영상 및 깊이영상으로부터 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하여(S11), 해당 영상 전체의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성할 수 있다(S12).

임의의 픽셀의 깊이 D와 시차 사이에는 수학식 1과 같은 관계가 있으며, 이를 비선형 모델로 정리하면 수학식 2와 같이 나타낼 수 있다. 즉, 와이드-베이스라인의 각 시점(즉, 카메라)은 등간격으로 배치되므로, 수학식 2의 계수 a에 일정한 크기 변화를 줌으로써 n시점의 시차를 구할 수 있다.

이후, 다시점 영상 생성부(40)는, 컬러영상의 컬러정보 및 시차생성부(30)가 생성한 시차를 이용하여, 하나의 픽셀에 대한 다시점 영상을 생성할 수 있고(S13), 해당 영상 전체의 픽셀에 대한 다시점 영상을 생성할 수 있다(S14).

컬러영상에서 색상정보 C의 좌표를 (u, v)라 하면, n개의 카메라에 대한 시차를 나타내는 P(1), P(2), P(3), ..., P(n)은 시차생성부(30)에 의해 결정되므로, n개의 카메라에서의 해당 점의 좌표는 (u+P(1), v), (u+P(2), v), ..., (u+P(n), v)라 할 수 있다. 따라서, 다시점 영상 생성부(40)는, 각 카메라의 이미지 공간에 대응하는 좌표 (u+P(n), v)에 컬러정보 C를 부여함으로써 다시점 영상을 생성할 수 있다.

영상 전체에 대한 다시점 영상이 생성되면, 디스플레이부(50)는 해당 다시점 영상을 디스플레이할 수 있을 것이다(S15).

본 발명의 일실시예의 시스템은, 개인용 컴퓨터(PC)와 같은 컴퓨터 시스템에 구현되거나, 또는 3차원 TV에 구현되거나, 또는 스마트폰이나 스마트패드와 같은 스마트 기기에 구현될 수 있을 것임은 이미 설명한 바와 같다.

또한, 본 발명의 일실시예에서는, 컬러영상 및 깊이영상 획득부(10, 20)와 디스플레이부(50)가 동일한 시스템 내에 구현되는 것과 같이 설명하고 있으나, 이에 한정되는 것은 아니며, 컬러영상 및 깊이영상 획득부(10, 20)는 별도로 배치되어 영상을 획득하고, 이를 본 발명의 시스템이 수신하여 디스플레이하는 것일 수 있다.

또한, 본 발명의 일실시예에서는, 시차생성부(30), 다시점 영상 생성부(40) 및 디스플레이부(50)가 하나의 시스템 내에 구현되는 것을 예를 들어 설명하였으나, 이에 한정되는 것은 아니고, 시차생성부(30)와 다시점 영상 생성부(40)가 디스플레이부(50)와는 별도의 시스템에 구현되어, 다시점 영상 생성부(40)의 출력이 유선 또는 무선 네트워크를 통해 디스플레이부(50)로 전송될 수도 있을 것이다.

이와 같은 본 발명의 일실시예에 의하면, 복수의 카메라에 의해 다시점 영상을 각각 획득할 필요 없이, 하나의 컬러영상과 깊이영상으로부터 다시점 영상을 생성할 수 있으므로, 다시점 입체영상을 제작하는데 있어 비용과 인력의 소모를 줄일 수 있다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

10: 컬러영상 획득부 20: 깊이영상 획득부
30: 시차생성부 40: 다시점 영상 생성부
50: 디스플레이부

Claims

깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하는 제1생성부; 및
컬러영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제2생성부를 포함하고,
상기 제1생성부는, 상기 복수의 시점에 대응하는 시차를 아래의 수학식에 의해 생성하고, 와이드-베이스밴드에 등간격으로 배치되는 복수의 시점에 대해, 아래의 수학식의 계수 a에 일정한 크기변화를 부여하여 상기 복수의 시점에 대응하는 시차를 결정하고,
상기 제2생성부는, 상기 복수의 시점에 대응하는 시차에 대응하여, 상기 픽셀에 대한 상기 복수의 시점에 해당하는 좌표를 결정하고, 해당 좌표에 상기 컬러정보를 부여하여 다시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 생성장치.

(a는 계수, D는 상기 하나의 픽셀의 깊이정보, b는 오프셋, g는 비선형성 정도를 나타내는 감마임)
삭제
삭제
삭제
깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하는 제1생성부;
컬러영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제2생성부; 및
상기 다시점 영상을 디스플레이하는 디스플레이부를 포함하고,
상기 제1생성부는, 상기 복수의 시점에 대응하는 시차를 아래의 수학식에 의해 생성하고, 와이드-베이스밴드에 등간격으로 배치되는 복수의 시점에 대해, 아래의 수학식의 계수 a에 일정한 크기변화를 부여하여 상기 복수의 시점에 대응하는 시차를 결정하고,
상기 제2생성부는, 상기 복수의 시점에 대응하는 시차에 대응하여, 상기 픽셀에 대한 상기 복수의 시점에 해당하는 좌표를 결정하고, 해당 좌표에 상기 컬러정보를 부여하여 다시점 영상을 생성하는 것을 특징으로 하는 다시점 영상 디스플레이 시스템.

(a는 계수, D는 상기 하나의 픽셀의 깊이정보, b는 오프셋, g는 비선형성 정도를 나타내는 감마임)
삭제
삭제
삭제