KR20110136016A

KR20110136016A - 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법

Info

Publication number: KR20110136016A
Application number: KR1020100055771A
Authority: KR
Inventors: 최욱; 임화섭; 이기창; 이승규
Original assignee: 삼성전자주식회사
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2011-12-21
Also published as: US8577089B2; EP2395475A1; US20110305370A1; KR101666854B1; EP2395475B1

Abstract

깊이 영상에서 깊이 접힘을 제거하여 3차원 구조를 복원하는 장치 및 방법을 제공한다. 깊이 영상 접힘 제거 장치는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.

Description

복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법{APPARATUS AND METHOD FOR DEPTH UNFOLDING BASED ON MULTIPLE DEPTH IMAGES}

기술분야는 깊이 영상을 이용하여 3차원 구조를 복원하는 장치 및 방법에 관한 것이다.

3D 영상을 복원하기 위해 현재 사용되는 깊이 카메라는 촬영에 사용되는 변조 주파수에 따라서 최대로 측정할 수 있는 거리가 정해진다. 예를 들면, 변조 주파수가 30MHz인 경우에 최대로 측정할 수 있는 거리는 5M 이다. 그러나, 3D 영상으로 복원되는 실제 세계는 5M 보다 먼 거리에 물체가 존재할 수 있으므로, 깊이 카메라는 최대로 측정할 수 있는 거리 이상에 있는 물체를 측정 가능한 거리 범위에 있는 것으로 간주하고 거리를 측정한다. 이러한 현상을 깊이 접힘이라고 한다. 기존 방법은 깊이 영상 한 장에서 접힘 문제를 해결하고자 하였으나, 실제 물체 간의 거리 차이가 최대 측정 거리에 가까운 경우와 접힘에 의해 거리 측정값의 차이가 최대 측정 거리에 가까운 경우를 구분하기 어렵다는 한계가 있다.

일 측면에 있어서, 깊이 영상 접힘 제거 장치는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.

상기 깊이 접힘 횟수 추정부는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

상기 깊이 접힘 횟수 추정부는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부 및 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부를 포함할 수 있다.

상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀일 수 있다.

상기 최적화부는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다.

다른 일 측면에 있어서, 깊이 영상 접힘 제거 장치는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 위치 및 방향 추정부, 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.

상기 깊이 접힘 횟수 추정부는 상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 깊이 영상 생성부 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 맵핑부를 포함하고, 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

상기 깊이 접힘 횟수 추정부는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부를 포함할 수 있다.

상기 위치 및 방향 추정부는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다.

일 측면에 있어서, 깊이 영상 접힘 제거 방법은 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 단계, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계를 포함한다.

상기 깊이 접힘 횟수를 추정하는 단계는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

상기 깊이 접힘 횟수를 추정하는 단계는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계 및 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계를 포함할 수 있다.

다른 일 측면에 있어서, 깊이 영상 접힘 제거 방법은 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력 받는 단계, 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 단계, 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계를 포함한다.

상기 깊이 접힘 횟수를 추정하는 단계는 상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 단계 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 단계를 포함하고, 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

상기 깊이 접힘 횟수를 추정하는 단계는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계를 포함할 수 있다.

상기 위치 및 방향을 추정하는 단계는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다.

깊이 영상에서 깊이 접힘을 효과적으로 제거함으로써 깊이 영상 촬영장치의 하드웨어를 크게 변경하지 않고 센서의 최대 측정 가능 거리를 2배 이상으로 확장할 수 있다.

또한, 깊이 영상에서 깊이 접힘을 제거함으로써 실제 세계를 3차원 구조로 왜곡없이 복원할 수 있다.

또한, 깊이 영상에서 깊이 접힘을 제거함으로써 깊이 카메라의 최대 측정 거리를 넘어서는 Large scale 환경에서 고정된 촬영장치를 통한 3D 포토 또는 이동하는 촬영장치를 통한 3D 비디오에 활용할 수 있다.

또한, 깊이 영상에서 깊이 접힘을 제거함으로써 3D 영상을 왜곡없이 복원하여 3D 게임이나 증강 현실에 활용할 수 있다.

도 1은 깊이 영상 카메라를 통하여 촬영된 영상을 나타낸 도면이다.
도 2는 깊이 영상 카메라를 통하여 측정 가능한 거리 및 깊이 접힘(depth folding)을 나타낸 도면이다.
도 3은 관련 기술에 따른 깊이 영상 1장을 이용하여 깊이 접힘을 제거한 영상을 나타낸 도면이다.
도 4는 일측에 따른 고정된 촬영장치를 통하여 동일 장면을 변조 주파수를 달리하여 촬영한 깊이 영상을 나타낸 도면이다.
도 5는 일측에 따른 이동하는 촬영장치를 통하여 동일 장면을 서로 다른 시점에서 촬영한 깊이 영상을 나타낸 도면이다.
도 6은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 7a는 도 6의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
도 7b는 도 7a에서 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 8은 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우, 가중치의 적용 예를 나타낸 도면이다.
도 9는 도 8의 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 10은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 11은 일측에 따른 수정된 광도 영상을 나타낸 도면이다.
도 12는 일측에 따른 수정된 광도 영상에서 정합된 특징점을 나타낸 도면이다.
도 13은 도 10의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
도 14는 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 15는 깊이 접힘이 제거되기 전과 후의 3차원 구조를 나타낸 도면이다.
도 16은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.
도 17은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 깊이 카메라를 통하여 촬영된 영상을 나타낸 도면이다.

깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 측정할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. 도 1을 참조하면, 측정된 깊이 영상의 어두운 색은 깊이 카메라로부터 가까운 부분을 나타내고, 밝은 색은 깊이 카메라로부터 멀리 있는 부분을 나타낸다. 그런데 광도 영상과 비교해 볼 때, 깊이 영상의 상단에 있는 물체는 하단의 물체보다 멀리 떨어져 있음에도 불구하고 어두운 색으로 표현되었다. 따라서 깊이 카메라를 통해 측정된 깊이 영상에서 상단과 하단이 구별되지 않음을 알 수 있다. 측정된 깊이 영상의 3차원 표현을 통하여 3D 영상을 간접적으로 체험할 수 있다.

도 2는 깊이 카메라를 통하여 측정 가능한 거리 및 깊이 접힘(depth folding)을 나타낸 도면이다.

깊이 카메라는 촬영에 사용하는 변조 주파수에 따라서 최대로 측정할 수 있는 거리 dmax가 정해진다. 여기서 깊이 카메라는 Time-of-Flight(TOF) 기반 깊이 카메라를 포함한다. 예를 들면, 변조 주파수가 30MHz인 경우, 깊이 카메라는 최대 5m까지 거리를 측정할 수 있다. 그러나 촬영의 대상이 되는 실제 세계에서는 최대 측정 거리인 5m(dmax)보다 먼 거리에 물체가 존재할 수 있다. 이때 깊이 카메라와 물체 사이의 실제 거리를 d라고 하면, 깊이 카메라로 측정되는 거리는 d-kdmax로 나타난다. 이러한 현상을 깊이 접힘(Depth Folding)이라고 한다. k는 측정 거리 d-kdmax가 0보다 크고 dmax보다 작게 만들어 주는 양의 정수이며 깊이 접힘 횟수이다. 실제 거리가 7m인 경우, dmax는 5m이므로 측정 거리는 2m가 되고, 깊이 접힘 횟수 k는 1이 된다. 실제 거리가 12m인 경우, dmax는 5m이므로 측정 거리는 2m가 되고, 깊이 접힘 횟수 k는 2가 된다.

도 2를 참조하면, 도 2는 깊이 카메라로 촬영되는 깊이 영상을 x축과 z축으로 구성되는 2차원 평면으로 나타내었다. 실제 촬영되는 깊이 영상은 각 픽셀마다 측정되는 물체의 3차원 점에 관한 정보를 가지고 있다. 깊이 영상의 한 픽셀에서 측정된 3차원 점의 좌표를 X라고 할 때, X=(X,Y,Z)^T이다. range는 카메라 중심으로부터 픽셀에 투영된 3차원 점까지의 거리를 의미하고, X의 range 값은 ∥X∥이다. X(0)는 접힘이 없는 경우의 측정된 3차원 점을 나타내며 이 때의 좌표는 X 이다. X(1)은 접힘이 한 번 일어난 경우의 가능한 실제 3차원 점을 나타내며 X(0)에서 최대 측정 거리(dmax)만큼 떨어져 있다. X(2)는 접힘이 두 번 일어난 경우의 가능한 실제 3차원 점을 나타내며 X(0)에서 최대 측정 거리(dmax)의 2배만큼 떨어져 있다.

임의의 픽셀에서 접힘이 한 번 일어났다고 가정하면, 3차원 점이 카메라로부터 떨어진 거리 d(1)은 ∥X∥+dmax가 된다. 따라서, 접힘이 k번 일어났다고 가정하면 3차원 점이 카메라로부터 떨어진 거리 d(k)은 ∥X∥+kdmax가 된다. 이때 실제 3차원 점의 좌표는 삼각형의 닮음 공식(수학식1)을 이용하여 알 수 있다. 즉, 깊이 접힘 횟수 k를 알면 측정된 3차원 점으로부터 가능한 실제 3차원 점의 좌표를 알 수 있다.

[수학식 1]

여기서, X(0)는 X이고, d(0)는 ∥X∥이다.

도 3은 관련 기술에 따른 깊이 영상 1장을 이용하여 깊이 접힘을 제거한 영상을 나타낸 도면이다.

도 3을 참조하면, 관련 기술에 따른 깊이 접힘을 제거하는 방식은 한 장의 깊이 영상을 이용하였다. 이때, 깊이 영상의 모든 픽셀에 대해서 접힘이 발생한 경우에 접힘을 제거하는 것은 불가능하고, 접힘이 발생하지 않은 픽셀을 미리 알고 있어야 접힘이 제거될 수 있다. 또한, 관련 기술에 따른 방식은 이웃한 픽셀 사이에 측정된 깊이 값에 차이가 큰 경우, 접힘 경계(folding boundary)를 검출한다. 그러나 관련 기술에 따르면, 상기 측정된 깊이 값의 차이가 큰 이유가 실제 깊이 값의 차이가 큰 것인지, 접힘에 의해서 커진 것인지 판단하기 어렵다. 도 3에서 측정된 깊이 영상은 상단에 위치한 물체가 멀리 떨어져 있음에도 어두운 색으로 표현되어 물체와 카메라 간의 거리가 정확하게 측정되지 않는다. 깊이 영상 1장을 이용하여 접힘을 제거 한 영상은 측정된 깊이 영상에 비하면 깊이를 정확하게 측정하고 있으나, 여전히 영상의 중단 부분을 보면 깊이가 정확하게 측정되지 않음을 알 수 있다.

도 4는 일측에 따른 고정된 촬영장치를 통하여 동일 장면을 변조 주파수를 달리하여 촬영한 깊이 영상을 나타낸 도면이다.

일측에 따른 깊이 영상 접힘 제거 장치는 동일한 장면(scene)에 대한 복수 개의 영상을 이용할 수 있다. 고정된 촬영장치를 이용하는 경우 촬영에 사용하는 변조 주파수에 따라 최대 측정 거리가 결정되므로, 변조 주파수를 달리하여 동일한 장면을 촬영하면 복수 개의 영상을 얻을 수 있다. 도 4는 동일 장면을 동일 시점에서 서로 다른 변조 주파수로 촬영한 복수 개의 깊이 영상을 나타내며, 변조 주파수로 29MHz, 30MHz, 31MHz가 적용된 예이다.

한편, 복수 개의 깊이 영상은 움직이는 물체가 존재하지 않는 정적인 장면을 대상으로 할 수 있다. 복수 개의 깊이 영상을 획득하는 방법은 깊이 카메라를 움직여 가면서 영상을 획득할 수도 있고, 움직임 없이 고정 시켜 놓고 영상을 획득할 수도 있다.

도 5는 일측에 따른 이동하는 촬영장치를 통하여 동일 장면을 서로 다른 시점에서 촬영한 깊이 영상을 나타낸 도면이다.

촬영장치를 이동시키며 동일 장면을 촬영함으로써, 복수 개의 깊이 영상을 얻을 수 있다. 도 5는 동일 장면을 서로 다른 시점에서 같은 변조 주파수로 촬영한 복수 개의 깊이 영상이다. 동일한 장면을 촬영장치의 시점만 다르게 하여 촬영하므로 동일한 물체가 조금씩 다르게 보일 수 있다.

도 6은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.

도 6을 참조하면, 깊이 영상 접힘 제거 장치는 입력부(610), 깊이 접힘 횟수 추정부(620) 및 출력부(630)를 포함한다.

입력부(610)는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는다. 도 4에서 살펴본 것처럼 깊이 영상 촬영장치는 변조 주파수에 따라 최대 측정 거리가 달라지므로 변조 주파수를 다르게 하여 복수 개의 깊이 영상을 촬영할 수 있다.

깊이 접힘 횟수 추정부(620)는 복수 개의 깊이 영상들 각각에서 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다. 깊이 접힘 횟수 추정부(620)는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 즉, 깊이 접힘 횟수 추정부(620)는 [수학식 2]를 통하여 각 픽셀에서 동일 3차원 점이 동일 위치에 존재하게 되는 깊이 접힘 횟수를 추정할 수 있다.

[수학식 2]

여기서,

는 m번째 영상의 픽셀 i에서 접힘 횟수

에 대한 목적 함수이다. 즉, m번째 영상의 픽셀 i에서 접힘 횟수가

일 때의 3차원 점

과 n번째 영상의 픽셀 i에서 접힘 횟수

를 0에서 K까지 변화시킬 때의 3차원 점

사이의 거리가 최소가 되는 점을 각 영상의 동일 픽셀마다 비교하고, 최소가 되는 점간의 거리들을 전부 더한 값이 목적 함수의 값이 된다. m이 1이면, n은 2와 3이 될 수 있고, 촬영되는 영상의 개수에 따라 n값은 다양해질 수 있다. 이때, 깊이 접힘 횟수 추정부(620)는 목적 함수의 값이 최소가 되는

를 실제 접힘 횟수로 추정할 수 있다.

또한, 깊이 접힘 횟수 추정부(620)는 가중치 적용부(621) 및 최적화부(623)를 포함할 수 있다. 가중치 적용부(621)는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용할 수 있다. 깊이 접힘이 제거된 영상은 측정된 깊이 값의 노이즈로 인해 부분적으로 접힘이 제거된 결과가 부정확할 수 있다. 따라서, 가중치 적용부(621)는 이웃하는 두 픽셀 사이에 깊이 값이 유사해 지도록 정의된 [수학식 3]을 이용하여 측정된 3차원 점 간의 거리값에 가중치를 적용한다. 가중치 적용부(621)는 이웃한 픽셀 간에 접힘 횟수가 같으면 0, 접힘 횟수가 같지 않은 경우에는 각 픽셀의 3차원 좌표가 유사할수록 가중치를 크게 적용한다.

[수학식 3]

여기서,

는 m번째 영상에서 이웃하는 픽셀 i와 픽셀 j가 유사한 깊이 값을 가지도록 정의되는 목적함수 이다.

는 픽셀 i와 픽셀 j사이의 거리이다. 예를 들면, 픽셀 i의 영상 좌표가 (1,1)이고, 픽셀 j의 영상 좌표가 (1,2)이면

는 1이다. 즉, 이웃한 두 픽셀의 3차원 좌표가 깊이 접힘을 제거하기 전부터 유사한 값을 가지고 있었다면, 접힘 횟수가 같아야 유사한 3차원 좌표가 유지된다.

,

및

은 m번째 영상에서 사용자가 정하는 양의 상수인데,

=2,

=1/(2σ_m ²),

=3σ_m및 σ_m=∑

/N일 수 있다. N은 주변 픽셀과 측정된 깊이 값이 유사한 픽셀의 대응쌍 개수이다.

최적화부(623)는 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화할 수 있다. 최적화부(623)는 [수학식 4]를 이용하여 m번째 영상 전체 단위로 깊이 접힘 횟수를 추정할 수 있다. 최적화부(623)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위하여, 관련 기술에 따른 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다.

[수학식 4]

여기서,

은 m번째 영상에서 각 픽셀의 깊이 접힘 횟수를 구하기 위한 목적 함수의 값을 의미한다.

은 깊이 접힘 횟수를 추정하기 위한 각 픽셀의 대응하는 3차원 점간의 최소 거리를 더한 값이고,

는 이웃하는 깊이 값이 유사한 픽셀간에 깊이 접힘 횟수의 유사여부에 따른 가중치를 적용한 값이다. N(i)는 픽셀 i에서 가장 가까운 4픽셀 또는 8픽셀을 의미한다.

출력부(630)는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 출력부(630)는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.

도 7a는 도 6의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.

깊이 접힘 횟수 추정부(620)는 [수학식 2]를 이용하여 깊이 영상의 서로 대응되는 픽셀의 3차원 점간의 거리가 최소가 되는 점을 추정하여 깊이 접힘 횟수를 추정할 수 있다. 예를 들면, 29MHz로 획득한 1번 영상과 30MHz로 획득한 2번 영상에 대해서 동일 픽셀의 접힘 횟수에 따른 3차원 좌표를 비교한다고 가정한다. 고정된 촬영장치에서 깊이 영상을 획득하므로 장면에 움직임이 없고, 촬영장치에도 움직임이 없으므로, 동일 픽셀에는 3차원 상의 같은 점이 투영된다. 즉, 두 영상에서 접힘을 제거한 3차원 좌표는 서로 일치해야 한다.

도 7a를 참조하면, 1번 영상의 3차원 좌표에서 접힘 횟수가 0, 1, 2인 경우와 1번 영상의 3차원 좌표에 대응하는 2번 영상의 3차원 좌표에서 접힘 횟수가 0, 1, 2인 경우 좌표간의 거리가 가장 작은 경우는 접힘 횟수가 서로 같은 경우이다. 또한, 3차원 점간의 거리가 가장 작은 경우는 접힘 횟수가 1인 경우이므로, 깊이 접힘 횟수 추정부(620)는 접힘 횟수를 1로 추정할 수 있다. 즉, D¹(1)이 D¹(0) 및 , D¹(2)보다 작은 값을 가진다.

도 7b는 도 7a에서 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.

도 7b는 도 7a에서 추정된 깊이 접힘 횟수 1을 삼각형의 닮음 공식(수학식1)에 적용하여 접힘이 제거된 깊이 영상을 나타낸 것이다. 각 변조 주파수 별로 깊이 영상이 다르므로 접힘이 제거된 깊이 영상도 각 변조 주파수 별로 다르다. 도 7b에서 접힘이 제거된 깊이 영상은 접힘이 제거되지 않은 깊이 영상에 비하여 깊이 값이 개선된 결과를 보여준다. 그러나 측정된 깊이 값의 노이즈로 인해서, 부분적으로 접힘이 제거된 결과가 부정확할 수 있다. 상기 노이즈의 영향을 줄이기 위해 이웃하는 주변 픽셀 사이에 깊이 값이 유사해 지도록 가중치를 적용하고, 영상 전체 단위로 최적화를 수행할 수 있다.

도 8은 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우, 가중치의 적용 예를 나타낸 도면이다.

일측에 따른 가중치 적용부(621)는 깊이 영상에서 이웃한 픽셀 간에 유사한 3차원 좌표를 갖도록 측정된 3차원 점 간의 거리값에 가중치를 적용할 수 있다. 도 8을 참조하면, 측정된 깊이 영상에서 픽셀 i와 픽셀 j는 비슷한 색을 가지므로 유사한 깊이 값을 가진다. 이때 가중치 적용부(621)는 [수학식 3]을 이용하여 원래 측정된 픽셀 i의 3차원 좌표와 픽셀 j의 3차원 좌표가 접힘이 제거된 후에도 같아지도록 가중치를 적용한다. 일측에 따른 가중치 적용부(621)를 통해 접힘이 제거된 픽셀 i와 픽셀 j는 유사하게 밝은 색을 가지게 된다. 또한, 측정된 깊이 영상에서 픽셀 i와 깊이 값이 유사하였던 주변 픽셀들도 접힘이 제거 된 후 유사한 깊이 값을 가지게 되었다.

도 9는 도 8의 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.

일측에 따른 최적화부(623)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위해 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다. 도 9는 도 4의 변조 주파수를 달리하여 촬영된 복수 개의 깊이 영상으로부터 상기 추정된 깊이 접힘 횟수에 삼각형의 닮음 공식(수학식1)을 적용하여 접힘이 제거된 깊이 영상이다. 도 7b에 비하여 노이즈가 개선된 결과를 보여준다.

도 10은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.

도 10을 참조하면 깊이 영상 접힘 제거 장치는 입력부(1010), 위치 및 방향 추정부(1020), 깊이 접힘 횟수 추정부(1030) 및 출력부(1040)를 포함한다.

입력부(1010)는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는다. 도 5에서 살펴본 것처럼 깊이 영상 촬영장치는 이동 가능하므로 동일한 장면에 대하여 시점을 달리하여 복수 개의 깊이 영상을 촬영할 수 있다.

위치 및 방향 추정부(1020)는 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정한다. 즉, 위치 및 방향 추정부(1020)는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다. 위치 및 방향 추정부(1020)는 시점을 달리하여 촬영된 깊이 영상들이 동일 위치의 촬영장치에서 획득된 것처럼 만들기 위해 모든 영상 간에 촬영장치의 위치 및 방향을 추정한다.

동일한 장면이 투영된 임의의 두 깊이 영상에서, 공간 상의 3차원 점 X가 각각의 두 깊이 영상에 투영된 점을 X^m, Xⁿ이라고 할 때, 두 점 간에는 [수학식 5]와 같은 관계가 성립한다.

[수학식 5]

여기서,

은 3차원 회전 매트릭스(3x3 rotation matrix)이고,

은 3차원 평행이동 벡터(translation vector)이다. 위치 및 방향 추정부(1020)는 상기

,

를 추정함으로써 영상 간 촬영장치의 위치와 방향을 추정할 수 있다.

위치 및 방향 추정부(1020)는 입력된 광도 영상의 매 픽셀에서의 광도 값에 입력된 깊이 영상의 같은 위치 픽셀에서 읽어 온 range 값의 제곱을 곱하여 수정된 광도 영상을 생성할 수 있다. 즉, 동일 영상에서 위치 및 방향 추정부(1020)는 각각 수정된 광도 영상을 생성할 수 있다.

위치 및 방향 추정부(1020)는 각각의 수정된 광도 영상에서 특징점을 검출한 후, 두 광도 영상간에 특징점 정합을 수행한다. 이때, 특징점은 두 영상 간의 변화가 적은 경우에는 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 또한, 특징점 정합은 각각의 특징점에 맞는 주지된 방법이 선택적으로 수행될 수 있다.

위치 및 방향 추정부(1020)는 두 광도 영상간에 특징점이 정합된 후에 3-포인트 알고리즘과 랜덤 샘플링(RANSAC) 방법을 융합하여

,

의 초기 추정치를 구할 수 있다. 또한, 위치 및 방향 추정부(1020)는 iterated closed point 알고리즘을 사용하여

,

를 더욱 정확하게 보정할 수 있다.

깊이 접힘 횟수 추정부(1030)는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다.

깊이 접힘 횟수 추정부(1030)는 깊이 영상 생성부(1031) 및 맵핑부(1033)를 포함할 수 있다. 깊이 영상 생성부(1031)는 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성할 수 있다. 깊이 영상 생성부(1031)는 깊이 영상 I_n의 모든 픽셀에 대해서 깊이 접힘 횟수 p를 0부터 K까지 변화시키며 새로운 영상 I_n(p)를 생성할 수 있다. 맵핑부(1033)는 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑할 수 있다. 맵핑부(1033)는 새로운 영상 I_n(p)의 모든 픽셀에 대하여 3차원 좌표 Xⁿ(p)를 읽어온 후, [수학식 6]을 이용하여 m번 영상의 시점에서 Xⁿ(p)를 표현한 Yⁿ(p)를 생성할 수 있다. 즉, 맵핑부(1033)는 접힘 횟수가 0부터 K까지인 새로운 n번 영상의 모든 3차원 좌표 Xⁿ(p)를 m번 영상의 Yⁿ(p)로 맵핑할 수 있다. [수학식 6]은 상기 맵핑 관계를 나타낸다.

[수학식 6]

이때 깊이 접힘 횟수 추정부(1030)는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 [수학식 7]을 이용하여 깊이 접힘 횟수를 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 m번 영상의 Yⁿ(p)로 맵핑된 모든 3차원 좌표 중에서 깊이 접힘 횟수를 추정하고자 하는 m번 영상의 픽셀(

)에서 가장 가까운 점(

)에 적용된 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 m번 영상의 픽셀(

)에서 가장 가까운 점(

)을 kd-tree 방식을 통해 찾을 수 있다.

[수학식 7]

여기서,

는 m번 영상의 픽셀 i에서 접힘 횟수

에 대한 목적 함수이다.

는 임의의 값이며, m이 1이면, n은 2와 3이 될 수 있고, 촬영되는 영상의 개수에 따라 n값은 다양해질 수 있다. 깊이 접힘을 제거하기 위해 사용되는 깊이 영상은 2개 이상으로 K개까지 가능하다. 깊이 접힘 횟수 추정부(1030)는 목적 함수의 값이 최소값을 가질 때의 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 또한, 깊이 접힘 횟수 추정부(1030)는 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 최단 거리에 있는 복수 개의 영상에서 맵핑된 3차원 점들간의 거리를 더한 값이 최소인 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

또한, 깊이 접힘 횟수 추정부(1030)는 가중치 적용부(1035) 및 최적화부(1037)를 포함할 수 있다. 가중치 적용부(1035)는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 가중치를 적용할 수 있다. 최적화부(1037)는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화할 수 있다. 가중치 적용부(1035) 및 최적화부(1037)는 도 6에서 설명된 경우와 동일한 동작을 수행한다. 다만, 최적화부(1037)는 [수학식 4]에서 목적함수

로 변경이 된다. 따라서, 최적화부(1037)는 변경된

에 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 전체 영상 단위로 깊이 접힘 횟수를 추정할 수 있다.

출력부(1040)는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 출력부(1040)는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.

도 11은 일측에 따른 수정된 광도 영상을 나타낸 도면이다.

도 11은 도 5의 동일 장면을 서로 다른 시점에서 같은 변조 주파수로 촬영한 복수 개의 깊이 영상에 기초하여 생성된 수정된 광도 영상이다. 수정된 광도 영상은 입력된 광도 영상의 매 픽셀에서의 광도 값에 입력된 깊이 영상의 같은 위치 픽셀에서 읽어 온 range 값의 제곱을 곱하여 생성할 수 있다.

도 12는 일측에 따른 수정된 광도 영상에서 정합된 특징점을 나타낸 도면이다. 특징점은 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 도 12를 참조하면 시점 1과 시점 2의 각 영상에서 특징점이 정합되어 있다.

도 13은 도 10의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.

깊이 접힘 횟수 추정부(1030)는 깊이 영상 I_n의 모든 픽셀에 대해서 깊이 접힘 횟수 p를 0부터 K까지 변화시키며 새로운 영상 I_n(p)를 생성할 수 있다. 깊이 접힘 횟수 추정부(1030)는 새로운 영상 I_n(p)의 모든 픽셀에 대하여 3차원 좌표 Xⁿ(0), Xⁿ(1),…, Xⁿ(K)를 읽어온 후,

를 이용하여 m번째 영상의 시점에서 Xⁿ(p)를 표현한 Yⁿ(p)를 생성할 수 있다. 깊이 접힘 횟수 추정부(1030)는 깊이 접힘 횟수를 추정하고자 하는 m번째 영상의 픽셀(

)에서

의 반경 안에 있는 가장 가까운 점(Y₁ ⁿ(2))을 찾고,

를 이용하여 접힘 횟수를 추정할 수 있다.

도 14는 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다. 일측에 따른 최적화부(1037)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위해 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다. 도 14는 도 5의 시점을 달리하여 촬영된 복수 개의 깊이 영상으로부터 빌리프 전파(belief propagation) 알고리즘을 사용하여 추정된 깊이 접힘 횟수에 삼각형의 닮음 공식(수학식1)을 적용하여 접힘이 제거된 깊이 영상이다.

도 15는 깊이 접힘이 제거되기 전과 후의 3차원 구조를 나타낸 도면이다. 2차원인 지면에서 3차원을 표현하는 것이 용이하지 않으나, 접힘 제거를 통하여 제거 전에 비하여 깊이 측정이 가능한 영상의 범위가 넓어졌고, 거리에 따른 깊이 값의 차이도 구체화 되었다.

도 16은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.

1610단계에서 깊이 영상 접힘 제거 장치는 동일한 장면(scene)이 촬영된 복수 개의 깊이 영상들을 입력받는다. 이때, 입력되는 복수 개의 깊이 영상들은 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영된 깊이 영상들이다. 깊이 영상 촬영장치는 변조 주파수에 따라 최대 측정 거리가 달라지므로 변조 주파수를 다르게 하여 복수 개의 깊이 영상을 촬영할 수 있다.

1620단계에서 깊이 영상 접힘 제거 장치는 복수 개의 깊이 영상들 각각에서 깊이 접힘 횟수를 추정한다. 이때, 깊이 영상 접힘 제거 장치는 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정할 수 있다. 깊이 영상 접힘 제거 장치는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

1630단계에서 깊이 영상 접힘 제거 장치는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 깊이 영상 접힘 제거 장치는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.

도 17은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.

1710단계에서 깊이 영상 접힘 제거 장치는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는다. 깊이 영상 촬영장치는 이동 가능하므로 동일한 장면에 대하여 시점을 달리하여 복수 개의 깊이 영상을 촬영할 수 있다.

1720단계에서 깊이 영상 접힘 제거 장치는 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정한다. 깊이 영상 접힘 제거 장치는 각각의 수정된 광도 영상에서 특징점을 검출한 후, 두 광도 영상간에 특징점 정합을 수행한다. 이때, 특징점은 두 영상 간의 변화가 적은 경우에는 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 또한, 특징점 정합은 각각의 특징점에 맞는 주지된 방법이 선택적으로 수행될 수 있다.

1730단계에서 깊이 영상 접힘 제거 장치는 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성한다.

1740단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑한다.

1750단계에서 깊이 영상 접힘 제거 장치는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용한다.

1760단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화한다.

1770단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다. 이때 깊이 영상 접힘 제거 장치는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 또한, 깊이 영상 접힘 제거 장치는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 최단 거리에 있는 복수 개의 영상에서 맵핑된 3차원 점들간의 거리를 더한 값이 최소인 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.

1780단계에서 깊이 영상 접힘 제거 장치는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 깊이 영상 접힘 제거 장치는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.

상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부;
상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부; 및
상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부
를 포함하는 깊이 영상 접힘 제거 장치.
제1항에 있어서,
상기 깊이 접힘 횟수 추정부는
상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 장치.
제1항에 있어서,
상기 깊이 접힘 횟수 추정부는
상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부; 및
상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부
를 포함하는 깊이 영상 접힘 제거 장치.
제3항에 있어서,
상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀인 것을 특징으로 하는 깊이 영상 접힘 제거 장치.
제3항에 있어서,
상기 최적화부는
그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 깊이 영상 접힘 제거 장치.
영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력부;
상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 위치 및 방향 추정부;
상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부; 및
상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부
를 포함하는 깊이 영상 접힘 제거 장치.
제6항에 있어서,
상기 깊이 접힘 횟수 추정부는
상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 깊이 영상 생성부; 및
상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 맵핑부를 포함하고,
상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 장치.
제6항에 있어서,
상기 깊이 접힘 횟수 추정부는
상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부; 및
상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부
를 포함하는 깊이 영상 접힘 제거 장치.
제6항에 있어서,
상기 위치 및 방향 추정부는
상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 깊이 영상 접힘 제거 장치.
고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 단계;
상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계; 및
상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계
를 포함하는 깊이 영상 접힘 제거 방법.
제10항에 있어서,
상기 깊이 접힘 횟수를 추정하는 단계는
상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 방법.
제10항에 있어서,
상기 깊이 접힘 횟수를 추정하는 단계는
상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계; 및
상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계
를 포함하는 깊이 영상 접힘 제거 방법.
제12항에 있어서,
상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀인 것을 특징으로 하는 깊이 영상 접힘 제거 방법.
제12항에 있어서,
상기 최적화 단계는
그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 깊이 영상 접힘 제거 방법.
영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력 받는 단계;
상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 단계;
상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계; 및
상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계
를 포함하는 깊이 영상 접힘 제거 방법.
제15항에 있어서,
상기 깊이 접힘 횟수를 추정하는 단계는
상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 단계; 및
상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 단계를 포함하고,
상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 방법.
제15항에 있어서,
상기 깊이 접힘 횟수를 추정하는 단계는
상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계; 및
상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계
를 포함하는 깊이 영상 접힘 제거 방법.
제15항에 있어서,
상기 위치 및 방향을 추정하는 단계는
상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 깊이 영상 접힘 제거 방법.
제10항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.