Nothing Special   »   [go: up one dir, main page]

KR20110136016A - 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법 - Google Patents

복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법 Download PDF

Info

Publication number
KR20110136016A
KR20110136016A KR1020100055771A KR20100055771A KR20110136016A KR 20110136016 A KR20110136016 A KR 20110136016A KR 1020100055771 A KR1020100055771 A KR 1020100055771A KR 20100055771 A KR20100055771 A KR 20100055771A KR 20110136016 A KR20110136016 A KR 20110136016A
Authority
KR
South Korea
Prior art keywords
depth
images
image
folding
distance
Prior art date
Application number
KR1020100055771A
Other languages
English (en)
Other versions
KR101666854B1 (ko
Inventor
최욱
임화섭
이기창
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100055771A priority Critical patent/KR101666854B1/ko
Priority to US13/064,096 priority patent/US8577089B2/en
Priority to EP11165279.8A priority patent/EP2395475B1/en
Publication of KR20110136016A publication Critical patent/KR20110136016A/ko
Application granted granted Critical
Publication of KR101666854B1 publication Critical patent/KR101666854B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

깊이 영상에서 깊이 접힘을 제거하여 3차원 구조를 복원하는 장치 및 방법을 제공한다. 깊이 영상 접힘 제거 장치는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.

Description

복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법{APPARATUS AND METHOD FOR DEPTH UNFOLDING BASED ON MULTIPLE DEPTH IMAGES}
기술분야는 깊이 영상을 이용하여 3차원 구조를 복원하는 장치 및 방법에 관한 것이다.
3D 영상을 복원하기 위해 현재 사용되는 깊이 카메라는 촬영에 사용되는 변조 주파수에 따라서 최대로 측정할 수 있는 거리가 정해진다. 예를 들면, 변조 주파수가 30MHz인 경우에 최대로 측정할 수 있는 거리는 5M 이다. 그러나, 3D 영상으로 복원되는 실제 세계는 5M 보다 먼 거리에 물체가 존재할 수 있으므로, 깊이 카메라는 최대로 측정할 수 있는 거리 이상에 있는 물체를 측정 가능한 거리 범위에 있는 것으로 간주하고 거리를 측정한다. 이러한 현상을 깊이 접힘이라고 한다. 기존 방법은 깊이 영상 한 장에서 접힘 문제를 해결하고자 하였으나, 실제 물체 간의 거리 차이가 최대 측정 거리에 가까운 경우와 접힘에 의해 거리 측정값의 차이가 최대 측정 거리에 가까운 경우를 구분하기 어렵다는 한계가 있다.
일 측면에 있어서, 깊이 영상 접힘 제거 장치는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.
상기 깊이 접힘 횟수 추정부는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
상기 깊이 접힘 횟수 추정부는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부 및 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부를 포함할 수 있다.
상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀일 수 있다.
상기 최적화부는 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행할 수 있다.
다른 일 측면에 있어서, 깊이 영상 접힘 제거 장치는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력부, 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 위치 및 방향 추정부, 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부를 포함한다.
상기 깊이 접힘 횟수 추정부는 상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 깊이 영상 생성부 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 맵핑부를 포함하고, 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
상기 깊이 접힘 횟수 추정부는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부를 포함할 수 있다.
상기 위치 및 방향 추정부는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다.
일 측면에 있어서, 깊이 영상 접힘 제거 방법은 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 단계, 상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계를 포함한다.
상기 깊이 접힘 횟수를 추정하는 단계는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
상기 깊이 접힘 횟수를 추정하는 단계는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계 및 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계를 포함할 수 있다.
다른 일 측면에 있어서, 깊이 영상 접힘 제거 방법은 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력 받는 단계, 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 단계, 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계 및 상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계를 포함한다.
상기 깊이 접힘 횟수를 추정하는 단계는 상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 단계 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 단계를 포함하고, 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
상기 깊이 접힘 횟수를 추정하는 단계는 상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계 및 상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계를 포함할 수 있다.
상기 위치 및 방향을 추정하는 단계는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다.
깊이 영상에서 깊이 접힘을 효과적으로 제거함으로써 깊이 영상 촬영장치의 하드웨어를 크게 변경하지 않고 센서의 최대 측정 가능 거리를 2배 이상으로 확장할 수 있다.
또한, 깊이 영상에서 깊이 접힘을 제거함으로써 실제 세계를 3차원 구조로 왜곡없이 복원할 수 있다.
또한, 깊이 영상에서 깊이 접힘을 제거함으로써 깊이 카메라의 최대 측정 거리를 넘어서는 Large scale 환경에서 고정된 촬영장치를 통한 3D 포토 또는 이동하는 촬영장치를 통한 3D 비디오에 활용할 수 있다.
또한, 깊이 영상에서 깊이 접힘을 제거함으로써 3D 영상을 왜곡없이 복원하여 3D 게임이나 증강 현실에 활용할 수 있다.
도 1은 깊이 영상 카메라를 통하여 촬영된 영상을 나타낸 도면이다.
도 2는 깊이 영상 카메라를 통하여 측정 가능한 거리 및 깊이 접힘(depth folding)을 나타낸 도면이다.
도 3은 관련 기술에 따른 깊이 영상 1장을 이용하여 깊이 접힘을 제거한 영상을 나타낸 도면이다.
도 4는 일측에 따른 고정된 촬영장치를 통하여 동일 장면을 변조 주파수를 달리하여 촬영한 깊이 영상을 나타낸 도면이다.
도 5는 일측에 따른 이동하는 촬영장치를 통하여 동일 장면을 서로 다른 시점에서 촬영한 깊이 영상을 나타낸 도면이다.
도 6은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 7a는 도 6의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
도 7b는 도 7a에서 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 8은 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우, 가중치의 적용 예를 나타낸 도면이다.
도 9는 도 8의 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 10은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 11은 일측에 따른 수정된 광도 영상을 나타낸 도면이다.
도 12는 일측에 따른 수정된 광도 영상에서 정합된 특징점을 나타낸 도면이다.
도 13은 도 10의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
도 14는 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 15는 깊이 접힘이 제거되기 전과 후의 3차원 구조를 나타낸 도면이다.
도 16은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.
도 17은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 깊이 카메라를 통하여 촬영된 영상을 나타낸 도면이다.
깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 측정할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다. 도 1을 참조하면, 측정된 깊이 영상의 어두운 색은 깊이 카메라로부터 가까운 부분을 나타내고, 밝은 색은 깊이 카메라로부터 멀리 있는 부분을 나타낸다. 그런데 광도 영상과 비교해 볼 때, 깊이 영상의 상단에 있는 물체는 하단의 물체보다 멀리 떨어져 있음에도 불구하고 어두운 색으로 표현되었다. 따라서 깊이 카메라를 통해 측정된 깊이 영상에서 상단과 하단이 구별되지 않음을 알 수 있다. 측정된 깊이 영상의 3차원 표현을 통하여 3D 영상을 간접적으로 체험할 수 있다.
도 2는 깊이 카메라를 통하여 측정 가능한 거리 및 깊이 접힘(depth folding)을 나타낸 도면이다.
깊이 카메라는 촬영에 사용하는 변조 주파수에 따라서 최대로 측정할 수 있는 거리 dmax가 정해진다. 여기서 깊이 카메라는 Time-of-Flight(TOF) 기반 깊이 카메라를 포함한다. 예를 들면, 변조 주파수가 30MHz인 경우, 깊이 카메라는 최대 5m까지 거리를 측정할 수 있다. 그러나 촬영의 대상이 되는 실제 세계에서는 최대 측정 거리인 5m(dmax)보다 먼 거리에 물체가 존재할 수 있다. 이때 깊이 카메라와 물체 사이의 실제 거리를 d라고 하면, 깊이 카메라로 측정되는 거리는 d-kdmax로 나타난다. 이러한 현상을 깊이 접힘(Depth Folding)이라고 한다. k는 측정 거리 d-kdmax가 0보다 크고 dmax보다 작게 만들어 주는 양의 정수이며 깊이 접힘 횟수이다. 실제 거리가 7m인 경우, dmax는 5m이므로 측정 거리는 2m가 되고, 깊이 접힘 횟수 k는 1이 된다. 실제 거리가 12m인 경우, dmax는 5m이므로 측정 거리는 2m가 되고, 깊이 접힘 횟수 k는 2가 된다.
도 2를 참조하면, 도 2는 깊이 카메라로 촬영되는 깊이 영상을 x축과 z축으로 구성되는 2차원 평면으로 나타내었다. 실제 촬영되는 깊이 영상은 각 픽셀마다 측정되는 물체의 3차원 점에 관한 정보를 가지고 있다. 깊이 영상의 한 픽셀에서 측정된 3차원 점의 좌표를 X라고 할 때, X=(X,Y,Z)T이다. range는 카메라 중심으로부터 픽셀에 투영된 3차원 점까지의 거리를 의미하고, X의 range 값은 ∥X∥이다. X(0)는 접힘이 없는 경우의 측정된 3차원 점을 나타내며 이 때의 좌표는 X 이다. X(1)은 접힘이 한 번 일어난 경우의 가능한 실제 3차원 점을 나타내며 X(0)에서 최대 측정 거리(dmax)만큼 떨어져 있다. X(2)는 접힘이 두 번 일어난 경우의 가능한 실제 3차원 점을 나타내며 X(0)에서 최대 측정 거리(dmax)의 2배만큼 떨어져 있다.
임의의 픽셀에서 접힘이 한 번 일어났다고 가정하면, 3차원 점이 카메라로부터 떨어진 거리 d(1)은 ∥X∥+dmax가 된다. 따라서, 접힘이 k번 일어났다고 가정하면 3차원 점이 카메라로부터 떨어진 거리 d(k)은 ∥X∥+kdmax가 된다. 이때 실제 3차원 점의 좌표는 삼각형의 닮음 공식(수학식1)을 이용하여 알 수 있다. 즉, 깊이 접힘 횟수 k를 알면 측정된 3차원 점으로부터 가능한 실제 3차원 점의 좌표를 알 수 있다.
[수학식 1]
Figure pat00001
여기서, X(0)는 X이고, d(0)는 ∥X∥이다.
도 3은 관련 기술에 따른 깊이 영상 1장을 이용하여 깊이 접힘을 제거한 영상을 나타낸 도면이다.
도 3을 참조하면, 관련 기술에 따른 깊이 접힘을 제거하는 방식은 한 장의 깊이 영상을 이용하였다. 이때, 깊이 영상의 모든 픽셀에 대해서 접힘이 발생한 경우에 접힘을 제거하는 것은 불가능하고, 접힘이 발생하지 않은 픽셀을 미리 알고 있어야 접힘이 제거될 수 있다. 또한, 관련 기술에 따른 방식은 이웃한 픽셀 사이에 측정된 깊이 값에 차이가 큰 경우, 접힘 경계(folding boundary)를 검출한다. 그러나 관련 기술에 따르면, 상기 측정된 깊이 값의 차이가 큰 이유가 실제 깊이 값의 차이가 큰 것인지, 접힘에 의해서 커진 것인지 판단하기 어렵다. 도 3에서 측정된 깊이 영상은 상단에 위치한 물체가 멀리 떨어져 있음에도 어두운 색으로 표현되어 물체와 카메라 간의 거리가 정확하게 측정되지 않는다. 깊이 영상 1장을 이용하여 접힘을 제거 한 영상은 측정된 깊이 영상에 비하면 깊이를 정확하게 측정하고 있으나, 여전히 영상의 중단 부분을 보면 깊이가 정확하게 측정되지 않음을 알 수 있다.
도 4는 일측에 따른 고정된 촬영장치를 통하여 동일 장면을 변조 주파수를 달리하여 촬영한 깊이 영상을 나타낸 도면이다.
일측에 따른 깊이 영상 접힘 제거 장치는 동일한 장면(scene)에 대한 복수 개의 영상을 이용할 수 있다. 고정된 촬영장치를 이용하는 경우 촬영에 사용하는 변조 주파수에 따라 최대 측정 거리가 결정되므로, 변조 주파수를 달리하여 동일한 장면을 촬영하면 복수 개의 영상을 얻을 수 있다. 도 4는 동일 장면을 동일 시점에서 서로 다른 변조 주파수로 촬영한 복수 개의 깊이 영상을 나타내며, 변조 주파수로 29MHz, 30MHz, 31MHz가 적용된 예이다.
한편, 복수 개의 깊이 영상은 움직이는 물체가 존재하지 않는 정적인 장면을 대상으로 할 수 있다. 복수 개의 깊이 영상을 획득하는 방법은 깊이 카메라를 움직여 가면서 영상을 획득할 수도 있고, 움직임 없이 고정 시켜 놓고 영상을 획득할 수도 있다.
도 5는 일측에 따른 이동하는 촬영장치를 통하여 동일 장면을 서로 다른 시점에서 촬영한 깊이 영상을 나타낸 도면이다.
촬영장치를 이동시키며 동일 장면을 촬영함으로써, 복수 개의 깊이 영상을 얻을 수 있다. 도 5는 동일 장면을 서로 다른 시점에서 같은 변조 주파수로 촬영한 복수 개의 깊이 영상이다. 동일한 장면을 촬영장치의 시점만 다르게 하여 촬영하므로 동일한 물체가 조금씩 다르게 보일 수 있다.
도 6은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 6을 참조하면, 깊이 영상 접힘 제거 장치는 입력부(610), 깊이 접힘 횟수 추정부(620) 및 출력부(630)를 포함한다.
입력부(610)는 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는다. 도 4에서 살펴본 것처럼 깊이 영상 촬영장치는 변조 주파수에 따라 최대 측정 거리가 달라지므로 변조 주파수를 다르게 하여 복수 개의 깊이 영상을 촬영할 수 있다.
깊이 접힘 횟수 추정부(620)는 복수 개의 깊이 영상들 각각에서 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다. 깊이 접힘 횟수 추정부(620)는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 즉, 깊이 접힘 횟수 추정부(620)는 [수학식 2]를 통하여 각 픽셀에서 동일 3차원 점이 동일 위치에 존재하게 되는 깊이 접힘 횟수를 추정할 수 있다.
[수학식 2]
Figure pat00002
여기서,
Figure pat00003
는 m번째 영상의 픽셀 i에서 접힘 횟수
Figure pat00004
에 대한 목적 함수이다. 즉, m번째 영상의 픽셀 i에서 접힘 횟수가
Figure pat00005
일 때의 3차원 점
Figure pat00006
과 n번째 영상의 픽셀 i에서 접힘 횟수
Figure pat00007
를 0에서 K까지 변화시킬 때의 3차원 점
Figure pat00008
사이의 거리가 최소가 되는 점을 각 영상의 동일 픽셀마다 비교하고, 최소가 되는 점간의 거리들을 전부 더한 값이 목적 함수의 값이 된다. m이 1이면, n은 2와 3이 될 수 있고, 촬영되는 영상의 개수에 따라 n값은 다양해질 수 있다. 이때, 깊이 접힘 횟수 추정부(620)는 목적 함수의 값이 최소가 되는
Figure pat00009
를 실제 접힘 횟수로 추정할 수 있다.
또한, 깊이 접힘 횟수 추정부(620)는 가중치 적용부(621) 및 최적화부(623)를 포함할 수 있다. 가중치 적용부(621)는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용할 수 있다. 깊이 접힘이 제거된 영상은 측정된 깊이 값의 노이즈로 인해 부분적으로 접힘이 제거된 결과가 부정확할 수 있다. 따라서, 가중치 적용부(621)는 이웃하는 두 픽셀 사이에 깊이 값이 유사해 지도록 정의된 [수학식 3]을 이용하여 측정된 3차원 점 간의 거리값에 가중치를 적용한다. 가중치 적용부(621)는 이웃한 픽셀 간에 접힘 횟수가 같으면 0, 접힘 횟수가 같지 않은 경우에는 각 픽셀의 3차원 좌표가 유사할수록 가중치를 크게 적용한다.
[수학식 3]
Figure pat00010
여기서,
Figure pat00011
는 m번째 영상에서 이웃하는 픽셀 i와 픽셀 j가 유사한 깊이 값을 가지도록 정의되는 목적함수 이다.
Figure pat00012
는 픽셀 i와 픽셀 j사이의 거리이다. 예를 들면, 픽셀 i의 영상 좌표가 (1,1)이고, 픽셀 j의 영상 좌표가 (1,2)이면
Figure pat00013
는 1이다. 즉, 이웃한 두 픽셀의 3차원 좌표가 깊이 접힘을 제거하기 전부터 유사한 값을 가지고 있었다면, 접힘 횟수가 같아야 유사한 3차원 좌표가 유지된다.
Figure pat00014
,
Figure pat00015
및
Figure pat00016
은 m번째 영상에서 사용자가 정하는 양의 상수인데,
Figure pat00017
=2,
Figure pat00018
=1/(2σm 2),
Figure pat00019
=3σm 및 σm=∑
Figure pat00020
/N일 수 있다. N은 주변 픽셀과 측정된 깊이 값이 유사한 픽셀의 대응쌍 개수이다.
최적화부(623)는 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화할 수 있다. 최적화부(623)는 [수학식 4]를 이용하여 m번째 영상 전체 단위로 깊이 접힘 횟수를 추정할 수 있다. 최적화부(623)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위하여, 관련 기술에 따른 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다.
[수학식 4]
Figure pat00021
여기서,
Figure pat00022
은 m번째 영상에서 각 픽셀의 깊이 접힘 횟수를 구하기 위한 목적 함수의 값을 의미한다.
Figure pat00023
은 깊이 접힘 횟수를 추정하기 위한 각 픽셀의 대응하는 3차원 점간의 최소 거리를 더한 값이고,
Figure pat00024
는 이웃하는 깊이 값이 유사한 픽셀간에 깊이 접힘 횟수의 유사여부에 따른 가중치를 적용한 값이다. N(i)는 픽셀 i에서 가장 가까운 4픽셀 또는 8픽셀을 의미한다.
출력부(630)는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 출력부(630)는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.
도 7a는 도 6의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
깊이 접힘 횟수 추정부(620)는 [수학식 2]를 이용하여 깊이 영상의 서로 대응되는 픽셀의 3차원 점간의 거리가 최소가 되는 점을 추정하여 깊이 접힘 횟수를 추정할 수 있다. 예를 들면, 29MHz로 획득한 1번 영상과 30MHz로 획득한 2번 영상에 대해서 동일 픽셀의 접힘 횟수에 따른 3차원 좌표를 비교한다고 가정한다. 고정된 촬영장치에서 깊이 영상을 획득하므로 장면에 움직임이 없고, 촬영장치에도 움직임이 없으므로, 동일 픽셀에는 3차원 상의 같은 점이 투영된다. 즉, 두 영상에서 접힘을 제거한 3차원 좌표는 서로 일치해야 한다.
도 7a를 참조하면, 1번 영상의 3차원 좌표에서 접힘 횟수가 0, 1, 2인 경우와 1번 영상의 3차원 좌표에 대응하는 2번 영상의 3차원 좌표에서 접힘 횟수가 0, 1, 2인 경우 좌표간의 거리가 가장 작은 경우는 접힘 횟수가 서로 같은 경우이다. 또한, 3차원 점간의 거리가 가장 작은 경우는 접힘 횟수가 1인 경우이므로, 깊이 접힘 횟수 추정부(620)는 접힘 횟수를 1로 추정할 수 있다. 즉, D1(1)이 D1(0) 및 , D1(2)보다 작은 값을 가진다.
도 7b는 도 7a에서 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
도 7b는 도 7a에서 추정된 깊이 접힘 횟수 1을 삼각형의 닮음 공식(수학식1)에 적용하여 접힘이 제거된 깊이 영상을 나타낸 것이다. 각 변조 주파수 별로 깊이 영상이 다르므로 접힘이 제거된 깊이 영상도 각 변조 주파수 별로 다르다. 도 7b에서 접힘이 제거된 깊이 영상은 접힘이 제거되지 않은 깊이 영상에 비하여 깊이 값이 개선된 결과를 보여준다. 그러나 측정된 깊이 값의 노이즈로 인해서, 부분적으로 접힘이 제거된 결과가 부정확할 수 있다. 상기 노이즈의 영향을 줄이기 위해 이웃하는 주변 픽셀 사이에 깊이 값이 유사해 지도록 가중치를 적용하고, 영상 전체 단위로 최적화를 수행할 수 있다.
도 8은 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우, 가중치의 적용 예를 나타낸 도면이다.
일측에 따른 가중치 적용부(621)는 깊이 영상에서 이웃한 픽셀 간에 유사한 3차원 좌표를 갖도록 측정된 3차원 점 간의 거리값에 가중치를 적용할 수 있다. 도 8을 참조하면, 측정된 깊이 영상에서 픽셀 i와 픽셀 j는 비슷한 색을 가지므로 유사한 깊이 값을 가진다. 이때 가중치 적용부(621)는 [수학식 3]을 이용하여 원래 측정된 픽셀 i의 3차원 좌표와 픽셀 j의 3차원 좌표가 접힘이 제거된 후에도 같아지도록 가중치를 적용한다. 일측에 따른 가중치 적용부(621)를 통해 접힘이 제거된 픽셀 i와 픽셀 j는 유사하게 밝은 색을 가지게 된다. 또한, 측정된 깊이 영상에서 픽셀 i와 깊이 값이 유사하였던 주변 픽셀들도 접힘이 제거 된 후 유사한 깊이 값을 가지게 되었다.
도 9는 도 8의 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다.
일측에 따른 최적화부(623)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위해 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다. 도 9는 도 4의 변조 주파수를 달리하여 촬영된 복수 개의 깊이 영상으로부터 상기 추정된 깊이 접힘 횟수에 삼각형의 닮음 공식(수학식1)을 적용하여 접힘이 제거된 깊이 영상이다. 도 7b에 비하여 노이즈가 개선된 결과를 보여준다.
도 10은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 장치의 블록도이다.
도 10을 참조하면 깊이 영상 접힘 제거 장치는 입력부(1010), 위치 및 방향 추정부(1020), 깊이 접힘 횟수 추정부(1030) 및 출력부(1040)를 포함한다.
입력부(1010)는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는다. 도 5에서 살펴본 것처럼 깊이 영상 촬영장치는 이동 가능하므로 동일한 장면에 대하여 시점을 달리하여 복수 개의 깊이 영상을 촬영할 수 있다.
위치 및 방향 추정부(1020)는 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정한다. 즉, 위치 및 방향 추정부(1020)는 상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정할 수 있다. 위치 및 방향 추정부(1020)는 시점을 달리하여 촬영된 깊이 영상들이 동일 위치의 촬영장치에서 획득된 것처럼 만들기 위해 모든 영상 간에 촬영장치의 위치 및 방향을 추정한다.
동일한 장면이 투영된 임의의 두 깊이 영상에서, 공간 상의 3차원 점 X가 각각의 두 깊이 영상에 투영된 점을 Xm, Xn이라고 할 때, 두 점 간에는 [수학식 5]와 같은 관계가 성립한다.
[수학식 5]
Figure pat00025
여기서,
Figure pat00026
은 3차원 회전 매트릭스(3x3 rotation matrix)이고,
Figure pat00027
은 3차원 평행이동 벡터(translation vector)이다. 위치 및 방향 추정부(1020)는 상기
Figure pat00028
,
Figure pat00029
를 추정함으로써 영상 간 촬영장치의 위치와 방향을 추정할 수 있다.
위치 및 방향 추정부(1020)는 입력된 광도 영상의 매 픽셀에서의 광도 값에 입력된 깊이 영상의 같은 위치 픽셀에서 읽어 온 range 값의 제곱을 곱하여 수정된 광도 영상을 생성할 수 있다. 즉, 동일 영상에서 위치 및 방향 추정부(1020)는 각각 수정된 광도 영상을 생성할 수 있다.
위치 및 방향 추정부(1020)는 각각의 수정된 광도 영상에서 특징점을 검출한 후, 두 광도 영상간에 특징점 정합을 수행한다. 이때, 특징점은 두 영상 간의 변화가 적은 경우에는 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 또한, 특징점 정합은 각각의 특징점에 맞는 주지된 방법이 선택적으로 수행될 수 있다.
위치 및 방향 추정부(1020)는 두 광도 영상간에 특징점이 정합된 후에 3-포인트 알고리즘과 랜덤 샘플링(RANSAC) 방법을 융합하여
Figure pat00030
,
Figure pat00031
의 초기 추정치를 구할 수 있다. 또한, 위치 및 방향 추정부(1020)는 iterated closed point 알고리즘을 사용하여
Figure pat00032
,
Figure pat00033
를 더욱 정확하게 보정할 수 있다.
깊이 접힘 횟수 추정부(1030)는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다.
깊이 접힘 횟수 추정부(1030)는 깊이 영상 생성부(1031) 및 맵핑부(1033)를 포함할 수 있다. 깊이 영상 생성부(1031)는 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성할 수 있다. 깊이 영상 생성부(1031)는 깊이 영상 In의 모든 픽셀에 대해서 깊이 접힘 횟수 p를 0부터 K까지 변화시키며 새로운 영상 In(p)를 생성할 수 있다. 맵핑부(1033)는 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑할 수 있다. 맵핑부(1033)는 새로운 영상 In(p)의 모든 픽셀에 대하여 3차원 좌표 Xn(p)를 읽어온 후, [수학식 6]을 이용하여 m번 영상의 시점에서 Xn(p)를 표현한 Yn(p)를 생성할 수 있다. 즉, 맵핑부(1033)는 접힘 횟수가 0부터 K까지인 새로운 n번 영상의 모든 3차원 좌표 Xn(p)를 m번 영상의 Yn(p)로 맵핑할 수 있다. [수학식 6]은 상기 맵핑 관계를 나타낸다.
[수학식 6]
Figure pat00034
이때 깊이 접힘 횟수 추정부(1030)는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 [수학식 7]을 이용하여 깊이 접힘 횟수를 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 m번 영상의 Yn(p)로 맵핑된 모든 3차원 좌표 중에서 깊이 접힘 횟수를 추정하고자 하는 m번 영상의 픽셀(
Figure pat00035
)에서 가장 가까운 점(
Figure pat00036
)에 적용된 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 깊이 접힘 횟수 추정부(1030)는 m번 영상의 픽셀(
Figure pat00037
)에서 가장 가까운 점(
Figure pat00038
)을 kd-tree 방식을 통해 찾을 수 있다.
[수학식 7]
Figure pat00039
여기서,
Figure pat00040
는 m번 영상의 픽셀 i에서 접힘 횟수
Figure pat00041
에 대한 목적 함수이다.
Figure pat00042
는 임의의 값이며, m이 1이면, n은 2와 3이 될 수 있고, 촬영되는 영상의 개수에 따라 n값은 다양해질 수 있다. 깊이 접힘을 제거하기 위해 사용되는 깊이 영상은 2개 이상으로 K개까지 가능하다. 깊이 접힘 횟수 추정부(1030)는 목적 함수의 값이 최소값을 가질 때의 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 또한, 깊이 접힘 횟수 추정부(1030)는 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 최단 거리에 있는 복수 개의 영상에서 맵핑된 3차원 점들간의 거리를 더한 값이 최소인 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
또한, 깊이 접힘 횟수 추정부(1030)는 가중치 적용부(1035) 및 최적화부(1037)를 포함할 수 있다. 가중치 적용부(1035)는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 가중치를 적용할 수 있다. 최적화부(1037)는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화할 수 있다. 가중치 적용부(1035) 및 최적화부(1037)는 도 6에서 설명된 경우와 동일한 동작을 수행한다. 다만, 최적화부(1037)는 [수학식 4]에서 목적함수
Figure pat00043
로 변경이 된다. 따라서, 최적화부(1037)는 변경된
Figure pat00044
에 그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 전체 영상 단위로 깊이 접힘 횟수를 추정할 수 있다.
출력부(1040)는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 출력부(1040)는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.
도 11은 일측에 따른 수정된 광도 영상을 나타낸 도면이다.
도 11은 도 5의 동일 장면을 서로 다른 시점에서 같은 변조 주파수로 촬영한 복수 개의 깊이 영상에 기초하여 생성된 수정된 광도 영상이다. 수정된 광도 영상은 입력된 광도 영상의 매 픽셀에서의 광도 값에 입력된 깊이 영상의 같은 위치 픽셀에서 읽어 온 range 값의 제곱을 곱하여 생성할 수 있다.
도 12는 일측에 따른 수정된 광도 영상에서 정합된 특징점을 나타낸 도면이다. 특징점은 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 도 12를 참조하면 시점 1과 시점 2의 각 영상에서 특징점이 정합되어 있다.
도 13은 도 10의 깊이 접힘 횟수 추정부를 통하여 깊이 접힘 횟수를 추정하는 과정을 나타낸 도면이다.
깊이 접힘 횟수 추정부(1030)는 깊이 영상 In의 모든 픽셀에 대해서 깊이 접힘 횟수 p를 0부터 K까지 변화시키며 새로운 영상 In(p)를 생성할 수 있다. 깊이 접힘 횟수 추정부(1030)는 새로운 영상 In(p)의 모든 픽셀에 대하여 3차원 좌표 Xn(0), Xn(1),…, Xn(K)를 읽어온 후,
Figure pat00045
를 이용하여 m번째 영상의 시점에서 Xn(p)를 표현한 Yn(p)를 생성할 수 있다. 깊이 접힘 횟수 추정부(1030)는 깊이 접힘 횟수를 추정하고자 하는 m번째 영상의 픽셀(
Figure pat00046
)에서
Figure pat00047
의 반경 안에 있는 가장 가까운 점(Y1 n(2))을 찾고,
Figure pat00048
를 이용하여 접힘 횟수를 추정할 수 있다.
도 14는 일측에 따른 주변 픽셀간에 깊이 값이 유사한 경우 가중치를 적용하여 최적화한 결과 추정된 깊이 접힘 횟수에 기초하여 복원된 영상을 나타낸 도면이다. 일측에 따른 최적화부(1037)는 [수학식 4]의 최소값, 즉 깊이 접힘 횟수를 추정하기 위해 빌리프 전파(belief propagation) 알고리즘을 사용할 수 있다. 도 14는 도 5의 시점을 달리하여 촬영된 복수 개의 깊이 영상으로부터 빌리프 전파(belief propagation) 알고리즘을 사용하여 추정된 깊이 접힘 횟수에 삼각형의 닮음 공식(수학식1)을 적용하여 접힘이 제거된 깊이 영상이다.
도 15는 깊이 접힘이 제거되기 전과 후의 3차원 구조를 나타낸 도면이다. 2차원인 지면에서 3차원을 표현하는 것이 용이하지 않으나, 접힘 제거를 통하여 제거 전에 비하여 깊이 측정이 가능한 영상의 범위가 넓어졌고, 거리에 따른 깊이 값의 차이도 구체화 되었다.
도 16은 일측에 따른 정적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.
1610단계에서 깊이 영상 접힘 제거 장치는 동일한 장면(scene)이 촬영된 복수 개의 깊이 영상들을 입력받는다. 이때, 입력되는 복수 개의 깊이 영상들은 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영된 깊이 영상들이다. 깊이 영상 촬영장치는 변조 주파수에 따라 최대 측정 거리가 달라지므로 변조 주파수를 다르게 하여 복수 개의 깊이 영상을 촬영할 수 있다.
1620단계에서 깊이 영상 접힘 제거 장치는 복수 개의 깊이 영상들 각각에서 깊이 접힘 횟수를 추정한다. 이때, 깊이 영상 접힘 제거 장치는 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정할 수 있다. 깊이 영상 접힘 제거 장치는 상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
1630단계에서 깊이 영상 접힘 제거 장치는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 깊이 영상 접힘 제거 장치는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.
도 17은 일측에 따른 동적 촬영장치를 이용한 경우에 깊이 영상 접힘 제거 방법의 흐름도이다.
1710단계에서 깊이 영상 접힘 제거 장치는 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는다. 깊이 영상 촬영장치는 이동 가능하므로 동일한 장면에 대하여 시점을 달리하여 복수 개의 깊이 영상을 촬영할 수 있다.
1720단계에서 깊이 영상 접힘 제거 장치는 상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정한다. 깊이 영상 접힘 제거 장치는 각각의 수정된 광도 영상에서 특징점을 검출한 후, 두 광도 영상간에 특징점 정합을 수행한다. 이때, 특징점은 두 영상 간의 변화가 적은 경우에는 Kanade-Lucas-Tomasi(KLT) 특징점을 사용할 수 있고, 두 영상 간의 변화가 큰 경우에는 Scale Invariant Feature Transform(SIFT) 특징점을 사용할 수 있다. 또한, 특징점 정합은 각각의 특징점에 맞는 주지된 방법이 선택적으로 수행될 수 있다.
1730단계에서 깊이 영상 접힘 제거 장치는 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성한다.
1740단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑한다.
1750단계에서 깊이 영상 접힘 제거 장치는 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용한다.
1760단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화한다.
1770단계에서 깊이 영상 접힘 제거 장치는 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정한다. 이때 깊이 영상 접힘 제거 장치는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다. 또한, 깊이 영상 접힘 제거 장치는 상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 최단 거리에 있는 복수 개의 영상에서 맵핑된 3차원 점들간의 거리를 더한 값이 최소인 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정할 수 있다.
1780단계에서 깊이 영상 접힘 제거 장치는 추정된 깊이 접힘 횟수에 기초하여 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력한다. 깊이 영상 접힘 제거 장치는 깊이 접힘 횟수가 추정되면, 삼각형의 닮음 공식(수학식1)을 이용하여 각 영상 별로 접힘이 제거된 3차원 좌표를 생성할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 입력부;
    상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부; 및
    상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부
    를 포함하는 깊이 영상 접힘 제거 장치.
  2. 제1항에 있어서,
    상기 깊이 접힘 횟수 추정부는
    상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 장치.
  3. 제1항에 있어서,
    상기 깊이 접힘 횟수 추정부는
    상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부; 및
    상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부
    를 포함하는 깊이 영상 접힘 제거 장치.
  4. 제3항에 있어서,
    상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀인 것을 특징으로 하는 깊이 영상 접힘 제거 장치.
  5. 제3항에 있어서,
    상기 최적화부는
    그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 깊이 영상 접힘 제거 장치.
  6. 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력부;
    상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 위치 및 방향 추정부;
    상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 깊이 접힘 횟수 추정부; 및
    상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 출력부
    를 포함하는 깊이 영상 접힘 제거 장치.
  7. 제6항에 있어서,
    상기 깊이 접힘 횟수 추정부는
    상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 깊이 영상 생성부; 및
    상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 맵핑부를 포함하고,
    상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점에 적용된 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 장치.
  8. 제6항에 있어서,
    상기 깊이 접힘 횟수 추정부는
    상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 가중치 적용부; 및
    상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 최적화부
    를 포함하는 깊이 영상 접힘 제거 장치.
  9. 제6항에 있어서,
    상기 위치 및 방향 추정부는
    상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 깊이 영상 접힘 제거 장치.
  10. 고정된 깊이 영상 촬영장치의 변조 주파수를 달리하여 촬영한, 동일한 장면(scene)에 대한 복수 개의 깊이 영상들을 입력 받는 단계;
    상기 복수 개의 깊이 영상들 각각에서 상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계; 및
    상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계
    를 포함하는 깊이 영상 접힘 제거 방법.
  11. 제10항에 있어서,
    상기 깊이 접힘 횟수를 추정하는 단계는
    상기 장면의 동일한 위치를 나타내는 복수 개의 픽셀에 대응하는 3차원 점에서 깊이 접힘 횟수를 변화시킬 때, 상기 복수 개의 3차원 점간의 거리가 가장 작은 경우의 거리들을 더하고, 상기 거리들을 더한 값이 가장 작은 경우의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 방법.
  12. 제10항에 있어서,
    상기 깊이 접힘 횟수를 추정하는 단계는
    상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계; 및
    상기 장면의 동일한 위치를 나타내는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계
    를 포함하는 깊이 영상 접힘 제거 방법.
  13. 제12항에 있어서,
    상기 주변 픽셀은 깊이 접힘 횟수를 찾고자 하는 픽셀 주변의 4픽셀 또는 8픽셀인 것을 특징으로 하는 깊이 영상 접힘 제거 방법.
  14. 제12항에 있어서,
    상기 최적화 단계는
    그래프 컷(graph cut) 알고리즘 또는 빌리프 전파(belief propagation) 알고리즘을 사용하여 최적화를 수행하는 것을 특징으로 하는 깊이 영상 접힘 제거 방법.
  15. 영상 촬영장치의 위치를 달리하여 촬영한, 동일한 장면에 대한 복수 개의 깊이 영상들 및 광도 영상들을 입력 받는 입력 받는 단계;
    상기 복수 개의 깊이 영상들 및 광도 영상들을 이용하여 복수 개의 수정된 광도 영상들을 생성하고, 상기 복수 개의 수정된 광도 영상들에 위치하는 동일한 3차원 특징점들에 기초하여, 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 단계;
    상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리에 기초하여 깊이 접힘 횟수를 추정하는 단계; 및
    상기 추정된 깊이 접힘 횟수에 기초하여 상기 복수 개의 깊이 영상에서 깊이 값의 접힘이 제거된 복수 개의 깊이 영상을 출력하는 단계
    를 포함하는 깊이 영상 접힘 제거 방법.
  16. 제15항에 있어서,
    상기 깊이 접힘 횟수를 추정하는 단계는
    상기 깊이 영상의 모든 픽셀에 대하여 깊이 접힘 횟수를 달리하여 새로운 복수 개의 깊이 영상을 생성하는 단계; 및
    상기 추정된 촬영장치의 위치와 방향을 이용하여 상기 새로운 복수 개의 깊이 영상의 모든 픽셀에 대응하는 3차원 점을 깊이 접힘 횟수를 추정하고자 하는 영상으로 맵핑하는 단계를 포함하고,
    상기 깊이 접힘 횟수를 추정하고자 하는 영상의 3차원 점과 거리가 가장 작은 값을 가지는 상기 맵핑된 3차원 점의 깊이 접힘 횟수를 실제 깊이 접힘 횟수로 추정하는 깊이 영상 접힘 제거 방법.
  17. 제15항에 있어서,
    상기 깊이 접힘 횟수를 추정하는 단계는
    상기 복수 개의 깊이 영상들 각각에서 이웃한 주변 픽셀의 깊이 값이 유사해지도록 상기 주변 픽셀에 대응하는 3차원 점 간의 거리에 따라 측정된 3차원 점 간의 거리값에 가중치를 적용하는 단계; 및
    상기 추정된 촬영장치의 위치와 방향을 이용하여 생성된 픽셀의 3차원 점과 깊이 접힘 횟수를 추정하고자 하는 픽셀의 3차원 점간 거리 및 상기 주변 픽셀에 대응하는 3차원 점간 거리에 따른 가중치를 적용한 값에 기초하여 상기 복수 개의 깊이 영상 각각을 영상 전체 단위로 최적화하는 단계
    를 포함하는 깊이 영상 접힘 제거 방법.
  18. 제15항에 있어서,
    상기 위치 및 방향을 추정하는 단계는
    상기 복수 개의 수정된 광도 영상들에 대해서 특징점을 검출하고, 검출 된 특징점 간에 정합을 수행하여 상기 복수 개의 수정된 광도 영상들에 대응하는 촬영장치의 위치와 방향을 추정하는 깊이 영상 접힘 제거 방법.
  19. 제10항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020100055771A 2010-06-14 2010-06-14 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법 KR101666854B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100055771A KR101666854B1 (ko) 2010-06-14 2010-06-14 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
US13/064,096 US8577089B2 (en) 2010-06-14 2011-03-04 Apparatus and method for depth unfolding based on multiple depth images
EP11165279.8A EP2395475B1 (en) 2010-06-14 2011-05-09 Apparatus and method for depth unfolding based on multiple depth images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100055771A KR101666854B1 (ko) 2010-06-14 2010-06-14 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110136016A true KR20110136016A (ko) 2011-12-21
KR101666854B1 KR101666854B1 (ko) 2016-10-17

Family

ID=44653637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055771A KR101666854B1 (ko) 2010-06-14 2010-06-14 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법

Country Status (3)

Country Link
US (1) US8577089B2 (ko)
EP (1) EP2395475B1 (ko)
KR (1) KR101666854B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538162B2 (en) 2012-02-29 2017-01-03 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
KR101871235B1 (ko) 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
US10291329B2 (en) * 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
CN105551006B (zh) * 2015-12-01 2018-06-05 深圳大学 一种深度图像缺失像素的修复方法及系统
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
CN113470096A (zh) * 2020-03-31 2021-10-01 华为技术有限公司 深度测量方法、装置和终端设备
EP3965071B1 (en) * 2020-09-08 2025-01-15 Samsung Electronics Co., Ltd. Method and apparatus for pose identification
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN113706472B (zh) * 2021-07-30 2023-05-12 中国公路工程咨询集团有限公司 公路路面病害检测方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032352A (ko) * 2009-09-22 2011-03-30 삼성전자주식회사 영상 처리 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US6424422B1 (en) * 1998-06-18 2002-07-23 Minolta Co., Ltd. Three-dimensional input device
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP4631606B2 (ja) 2005-03-07 2011-02-16 日本電信電話株式会社 画像の奥行分布推定方法及び装置及びプログラム
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR100930286B1 (ko) 2007-12-24 2009-12-09 연세대학교 산학협력단 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032352A (ko) * 2009-09-22 2011-03-30 삼성전자주식회사 영상 처리 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538162B2 (en) 2012-02-29 2017-01-03 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor

Also Published As

Publication number Publication date
US20110305370A1 (en) 2011-12-15
EP2395475B1 (en) 2018-07-04
US8577089B2 (en) 2013-11-05
EP2395475A1 (en) 2011-12-14
KR101666854B1 (ko) 2016-10-17

Similar Documents

Publication Publication Date Title
KR101666854B1 (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
CN103814306B (zh) 深度测量质量增强
JP6271609B2 (ja) 立体カメラのためのオートフォーカス
US8754963B2 (en) Processing images having different focus
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
KR20090055803A (ko) 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US10764561B1 (en) Passive stereo depth sensing
KR20190030456A (ko) 스테레오 매칭 방법 및 장치
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
CN115205346A (zh) 事件相机到帧相机的逐像素配准的方法
Zhang et al. Extended depth-of-field via focus stacking and graph cuts
JP6867645B2 (ja) 画像処理装置、方法、及びプログラム
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
Aydin et al. A New Adaptive Focus Measure for Shape From Focus.
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
EP3588437B1 (en) Apparatus that generates three-dimensional shape data, method and program
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
JP2021015559A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
Kuhl et al. Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods
Chandramouli et al. Inferring Image Transformation and Structure from Motion-Blurred Images.
Jonscher et al. Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching
Ramnath et al. Discontinuity-adaptive shape from focus using a non-convex prior
Usami et al. Synchronizing 3D point cloud from 3D scene flow estimation with 3D Lidar and RGB camera

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100614

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150313

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100614

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160224

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160711

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161011

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161012

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190910

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210722