KR20170040571A

KR20170040571A - 깊이 정보 생성 장치 및 방법

Info

Publication number: KR20170040571A
Application number: KR1020150139711A
Authority: KR
Inventors: 장지호
Original assignee: 한국전자통신연구원
Priority date: 2015-10-05
Filing date: 2015-10-05
Publication date: 2017-04-13
Also published as: US20170098307A1; US9998725B2

Abstract

본 발명의 일 실시예에 따른 깊이 정보 생성 장치는 입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 영상 축소부, 상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 로우코스트 산출부, 상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 맵핑부, 상기 로우코스트에 대한 인터폴레이션(interpolation) 및 비용 집성(cost aggregation)을 수행하는 보간부 및 상기 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하고, 최적 시차에 상응하는 깊이 정보를 생성하는 깊이 정보 생성부를 포함할 수 있다.

Description

깊이 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH INFORMATION}

본 발명은 깊이 정보를 생성하는 기술에 관한 것으로, 보다 상세하게는 스테레오 영상을 참조하여 깊이 정보를 생성하는 기술에 관한 것이다.

사물까지의 깊이(depth, 거리)를 측정하기 위해서, 사람의 두 눈처럼 두 개 이상의 카메라로 동시에 촬영한 영상(stereo pairs, 스테레오 사진)을 이용할 수 있다. 스테레오 카메라의 거리차에 따라서 사진에서 한 쪽 카메라 영상의 특정 위치에 있는 한 점은 다른 카메라 영상에서는 다른 위치에 촬영된다. 이 두 위치의 차이값(양안시차, disparity)과 삼각법을 이용하면 카메라로부터 피사체까지의 깊이 정보를 구할 수 있게 된다. 평행하게 정렬된 두 카메라를 사용하면, 탐색된 최적의 양안시차의 값이 작을수록 카메라로부터 멀고 양안시차의 값이 클수록 카메라로부터 가깝다. 꼭 평행하지 않더라도 두 카메라 간의 상대적인 거리와 방향 정보를 정확히 알고 있으면 한 점의 양안시차 값으로부터 그 점의 깊이 정보를 포함한 3차원 좌표를 계산할 수 있다. 이처럼 두 개 이상의 카메라를 이용하여 깊이 정보를 얻는 기술을 스테레오 비전(stereo vision)이라고 한다.

스테레오 매칭의 알고리즘들의 계산량이 매우 크기 때문에 점점 커지고 있는 CMOS 센서의 해상도에 대응하는 영상에 따른 깊이 정보를 실시간으로 생성하기 어렵다.

본 발명이 해결하고자 하는 과제는 입력된 영상의 크기를 변경과 제한된 시차 탐색 범위(disparity search range)를 통해 영상의 깊이 정보를 생성하는 깊이 정보 생성 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 영상 축소부; 상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 로우코스트 산출부; 상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 맵핑부; 상기 로우코스트에 대한 인터폴레이션(interpolation) 및 비용 집성(cost aggregation)을 수행하는 보간부; 및 상기 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하고, 최적 시차에 상응하는 깊이 정보를 생성하는 깊이 정보 생성부;를 포함하는 깊이 정보 생성 장치가 제공된다.

상기 로우코스트 산출부는 상기 축소 스트레오 영상의 일측 영상의 대상 픽셀과 상기 축소 스트레오 영상의 타측 영상의 대상 픽셀로부터 시차 탐색 범위 내에 있는 픽셀에 대한 AD(Absolute Difference), SD(Squared Difference) 또는 RG(Relative Gradiant)를 대상 픽셀에 대한 로우코스트로 산출하고, 상기 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대한 로우코스트를 지정 코스트에 따라 설정할 수 있다.

상기 로우코스트 산출부는 상기 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신할 수 있다.

상기 로우코스트 산출부는 상기 입력 스테레오 영상의 각 픽셀에 대한 상기 로우코스트 중 최대값 또는 상기 로우코스트의 평균을 상기 입력 스테레오 영상의 각 픽셀에 대한 지정 코스트로 갱신할 수 있다.

상기 영상 축소부는 상기 입력 스테레오 영상에 대해 샘플링하여 복수의 픽셀을 추출하고, 추출된 상기 픽셀을 포함하는 상기 축소 스테레오 영상을 생성하고, 상기 맵핑부는 상기 축소 스테레오 영상의 각 픽셀에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀에 맵핑할 수 있다.

상기 보간부는 상기 입력 스테레오 영상에 맵핑된 로우코스트를 포함하는 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션을 수행하거나, 상기 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션, 상기 코스트 볼륨 상 동일한 높이 및 시차에 해당하는 로우코스트 간의 인터폴레이션 및 상기 코스트 볼륨 상 동일한 너비 및 시차에 해당하는 로우코스트 간의 인터폴레이션을 수행할 수 있다.

상기 보간부는 선형 인터폴레이션(linear interpolation) 또는 바이큐빅 인터폴레이션(Bicubic interpolation)을 통해 상기 로우코스트를 보간하고, 보간된 상기 로우코스트에 대해 support weight 방식의 필터링(filtering)을 통한 비용 집성을 수행할 수 있다.

상기 보간부는 상기 support weight 방식의 필터링을 2 회 수행할 수 있다.

본 발명의 다른 측면에 따르면, 깊이 정보 생성 장치가 깊이 정보를 생성하는 방법에 있어서, 입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 단계; 상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 단계; 상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 단계; 상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계; 상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계; 상기 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하는 단계; 및 상기 최적 시차에 상응하는 깊이 정보를 생성하는 단계;를 포함하는 깊이 정보 생성 방법이 제공된다.

상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 단계는, 상기 축소 스트레오 영상의 일측 영상의 대상 픽셀과 상기 축소 스트레오 영상의 타측 영상의 대상 픽셀로부터 시차 탐색 범위 내에 있는 픽셀에 대한 AD(Absolute Difference), SD(Squared Difference) 또는 RG(Relative Gradiant)를 대상 픽셀에 대한 로우코스트로 산출하는 단계; 및 상기 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대한 로우코스트를 지정 코스트에 따라 설정하는 단계를 포함할 수 있다.

상기 깊이 정보 생성 방법은 상기 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신하는 단계를 더 포함할 수 있다.

상기 깊이 정보 생성 방법은 상기 입력 스테레오 영상의 각 픽셀에 대한 상기 로우코스트 중 최대값 또는 상기 로우코스트의 평균을 상기 입력 스테레오 영상의 각 픽셀에 대한 지정 코스트로 갱신하는 단계를 더 포함할 수 있다.

상기 입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 단계는 상기 입력 스테레오 영상에 대해 샘플링하여 복수의 픽셀을 추출하고, 추출된 상기 픽셀을 포함하는 상기 축소 스테레오 영상을 생성하는 단계이고, 상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 단계는 상기 축소 스테레오 영상의 각 픽셀에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀에 맵핑하는 단계일 수 있다.

상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계는, 상기 입력 스테레오 영상에 맵핑된 로우코스트를 포함하는 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션을 수행하거나, 상기 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션, 상기 코스트 볼륨 상 동일한 높이 및 시차에 해당하는 로우코스트 간의 인터폴레이션 및 상기 코스트 볼륨 상 동일한 너비 및 시차에 해당하는 로우코스트 간의 인터폴레이션을 수행하는 단계인 수 있다.

상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계는, 선형 인터폴레이션(linear interpolation) 또는 바이큐빅 인터폴레이션(Bicubic interpolation)을 통해 상기 로우코스트를 보간하는 단계이고, 상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계는 보간된 상기 로우코스트에 대해 support weight 방식의 필터링(filtering)을 통한 비용 집성을 수행하는 단계일 수 있다.

상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계는 상기 support weight 방식의 필터링을 2 회 수행하는 것일 수 있다.

상술한 바와 같이 본 발명의 일 실시예에 따르면, 깊이 정보를 생성하는데 요구되는 연산량을 줄일 수 있다.

또한, 본 발명의 일 실시예에 따르면, 적은 연산량을 통해 오류가 적은 깊이 정보를 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 스테레오 영상을 축소하는 과정을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 생성하는 코스트 볼륨의 일부를 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 입력 스테레오 영상에 맵핑한 코스트 볼륨을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 로우코스트를 보간하는 과정을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 각 픽셀에 대한 로우코스트 간의 인터폴레이션을 적용한 경우의 코스트 볼륨을 예시한 도면.
도 7은 본 발명의 일 실시에에 따른 깊이 정보 생성 장치가 비용 집성을 통해 생성한 코스트 볼륨을 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 영상에 대한 깊이 정보를 생성하는 과정을 예시한 순서도.
도 9는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 구현된 컴퓨터 시스템을 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 스테레오 영상을 축소하는 과정을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 생성하는 코스트 볼륨의 일부를 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 입력 스테레오 영상에 맵핑한 코스트 볼륨을 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 로우코스트를 보간하는 과정을 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 각 픽셀에 대한 로우코스트 간의 인터폴레이션을 적용한 경우의 코스트 볼륨을 예시한 도면이고, 도 7은 본 발명의 일 실시에에 따른 깊이 정보 생성 장치가 비용 집성을 통해 생성한 코스트 볼륨을 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 깊이 정보 생성 장치는 통신 인터페이스(110), 영상 축소부(120), 로우코스트 산출부(130), 맵핑부(140), 보간부(150) 및 깊이 정보 생성부(160)를 포함한다.

통신 인터페이스(110)는 카메라, 저장 매체 등의 외부 디바이스와 미리 지정된 프로토콜을 통해 연결되어 스테레오 영상을 수신한다. 이 때, 스테레오 영상은 스테레오 카메라를 통해 생성된 좌측 영상 및 우측 영상을 포함할 수 있다. 이하, 통신 인터페이스(110)가 수신한 스테레오 영상을 입력 스테레오 영상이라 지칭하도록 한다.

영상 축소부(120)는 스테레오 영상의 크기를 미리 지정된 배율만큼 축소한 영상(이하, 축소 스테레오 영상이라 지칭)을 생성한다. 예를 들어, 깊이 정보 생성 장치는 1280x720의 해상도를 가지는 좌측 영상 및 우측 영상의 크기를 640x360으로 축소할 수 있다. 이 때, 깊이 정보 생성 장치는 샘플링을 통해 스테레오 영상의 크기를 축소할 수 있다. 즉, 도 2와 같이 깊이 정보 생성 장치는 2x2 크기의 블록에 해당하는 각 좌측 영상 및 우측 영상의 픽셀 중 미리 지정된 위치에 해당하는 픽셀(도 2에서는 좌상측 픽셀, 210)를 샘플링하고, 샘플링된 픽셀을 포함하는 영상을 크기가 축소된 각 좌측 영상 및 우측 영상으로 산출할 수 있다. 또한, 깊이 정보 생성 장치는 구현 방법에 따라 축소 스테레오 영상을 생성하는 과정을 상술한 샘플링 방법 이외의 방법(예를 들어, Bilinear, Bicubic 등)으로 수행할 수 있다.

로우코스트 산출부(130)는 축소 스테레오 영상의 각 픽셀에 대한 로우코스트(rawcost)를 산출한다. 로우코스트 산출부(130)는 일측 영상(예를 들어, 축소 스테레오 영상의 우측 영상)의 대상 픽셀과 타측 영상(예를 들어, 축소 스테레오 영상의 좌측 영상)의 대상 픽셀을 선정한다. 이 때, 일측 영상 상에서 대상 픽셀이 위치하는 좌표와 타측 영상 상에서 대상 픽셀이 위치하는 좌표는 동일할 수 있다. 로우코스트 산출부(130)는 일측 영상의 대상 픽셀과, 타측 영상의 대상 픽셀을 기준으로 시차 탐색 범위 내에 위치하는 픽셀에 대한 유사도를 대상 픽셀에 대한 로우코스트로 산출할 수 있다. 이 때, 대상 픽셀에 대한 유사도는 일측 영상의 대상 픽셀과 타측 영상의 대상 픽셀 간의 AD(Absolute Difference), SD(Squared Difference), CT(Census Transform) 또는 RG(Relative Gradiant) 등을 통해 산출될 수 있다. 이 때, 시차 탐색 범위는 이전 단계에서 산출되거나 최초 디폴트(default)로 설정된 축소 스테레오 영상의 일축 방향(예를 들어, 가로 방향) 상 위치하는 픽셀의 범위 값일 수 있다. 예를 들어, 시차 탐색 범위가 35~67인 경우, 깊이 정보 생성 장치는 일측 영상의 대상 픽셀인 좌표 (60, 90)에 위치하는 대상 픽셀과 타측 영상의 좌표 (60+35, 90) ~ (60+67, 90)에 위치하는 픽셀들의 값에 대한 AD, SD, CT 또는 RG를 로우코스트로 산출할 수 있다. 로우코스트 산출부(130)는 축소 스테레오 영상의 일측 영상의 픽셀 중 로우코스트가 산출되지 않은 픽셀 하나를 대상 픽셀로 선정하고, 해당 대상 픽셀에 대한 로우코스트를 산출하는 과정을 일측 영상의 모든 픽셀에 대해 로우코스트를 산출할 때까지 반복 수행한다. 이 때, 로우코스트 산출부(130)는 산출한 각 로우코스트를 포함하는 코스트 볼륨(cost volume)을 생성할 수 있다. 코스트 볼륨은 스테레오 영상의 높이 및 너비를 두 축으로 하고 일측 영상과 타측 영상 간의 시차(disparity)를 일 축으로하는 공간 좌표계 상에서, 일측 영상 상 각 픽셀의 높이 및 너비와 일측 영상의 픽셀과 타측 영상의 시차 탐색 범위 내에 위치하는 픽셀들간의 시차에 해당하는 위치에, 일측 영상의 픽셀과 타측 영상의 시차 탐색 범위 내에 위치하는 픽셀들간의 로우코스트를 포함하는 데이터 구조를 의미한다. 도 3을 참조하여 예를 들면, 로우코스트 산출부(130)는 일측 영상의 대상 픽셀(310)과 타측 영상의 시차 탐색 범위 내에 위치하는 픽셀들(320, 330) 간의 로우코스트를 코스트 볼륨(350)에 포함시킬 수 있다. 즉, 로우코스트 산출부(130)는 도 3의 픽셀(310)과 픽셀(320)의 로우코스트를, 코스트 볼륨상 대상 픽셀의 위치(340)와 픽셀(310) 및 픽셀(320) 간의 시차에 해당하는 영역에 포함시킬 수 있다. 또한, 로우코스트 산출부(130)는 도 3의 픽셀(310)과 픽셀(330)의 로우코스트를, 코스트 볼륨상 대상 픽셀의 위치(340)와 픽셀(310) 및 픽셀(330) 간의 시차에 해당하는 영역에 포함시킬 수 있다.

또한, 로우코스트 산출부(130)는 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대해서는 이전 단계에서 산출되거나 최초 디폴트로 설정된 값인 지정 코스트를 로우코스트로 지정할 수 있다. 즉, 로우코스트 산출부(130)는 코스트 볼륨 내에 로우코스트가 산출되지 않는 위치(예를 들어, 도 3의 360 및 370)에 대해 지정 코스트를 지정한 코스트 볼륨을 생성할 수 있다. 따라서, 로우코스트 산출부(130)는 축소 스테레오 영상의 코스트 볼륨 내의 모든 위치에 로우코스트를 포함하도록 할 수 있다.

맵핑부(140)는 입력 스테레오 영상에 로우코스트를 맵핑한다. 예를 들어, 맵핑부(140)는 축소 스테레오 영상의 각 픽셀(예를 들어, 도 2의 220)에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀(도 2의 210)에 맵핑할 수 있다. 깊이 정보 생성 장치는 로우코스트가 맵핑 되지 않은 입력 스테레오 영상의 각 픽셀에 대해서는 로우코스트 '0'을 맵핑 할 수 있다. 이 때, 축소 스테레오 영상을 생성하는 방식이 샘플링 방식이 아닌 다른 방식인 경우, 해당 방식에 대응하도록 맵핑 방식이 변경되는 것을 당업자에게 자명하다. 이 때, Bilinear, Bicubic 등의 방식으로 축소 스테레오 영상이 생성된 경우, 맵핑부(140)는 미리 지정된 규칙에 따른 위치의 픽셀에 대해서만 로우코스트를 맵핑하고, 나머지 픽셀(도 2의 x가 표시되지 않은 픽셀)에 대해서는 로우코스트 '0'을 맵핑할 수 있다. 예를 들어, 도 2에서 예시한 바와 같이 축소 스테레오 영상에 대한 로우코스트(300)를 원래의 사이즈에 해당하는 스테레오 영상의 로우코스트로 맵핑하는 경우, 210과 같이 로우코스트가 산출되지 않은 픽셀(x가 표시되지 않은 픽셀)이 존재하게 된다. 또한, 원래의 해상도에 따라 시차 범위가 증가하기 때문에 각 픽셀에 대하여 산출되어야 할 로우코스트의 수가 증가한다. 하지만, 이전 과정에서 축소 스테레오 영상에 대해서만 로우코스트를 산출하였기 때문에, 원래 해상도에 따른 입력 스테레오 영상에 대한 로우코스트 중 일부에 대해서는 그 값을 알 수 없다. 즉, 도 4와 같이 입력 스테레오 영상에 대한 코스트 볼륨은 로우코스트 산출부(130)에서 산출한 로우코스트가 맵핑된 위치(도 4의 해칭 처리된 위치) 이외의 위치에 대해서는 0으로 설정되거나 값이 설정되지 않은 상태일 수 있다.

이하, 설명할 보간부(150)에서는 0이 아닌 로우코스트가 맵핑된 픽셀의 로우코스트에 대해 보간을 수행하여 산출되지 않은 로우코스트를 추정하는 과정을 수행한다.

보간부(150)는 입력 스테레오 영상에 맵핑된 각 로우코스트에 대한 보간을 수행한다. 예를 들어, 보간부(150)는 도 5와 같이 선형 인터폴레이션(linear interpolation)을 통해 코스트 볼륨 상의 단일 픽셀에 대한 로우코스트들(단일 픽셀과 동일한 좌표에 해당하는 로우코스트들)에 대해 보간할 수 있다. 이 때, 도 5의 실선 그래프는 로우코스트 산출부(130)에서 산출한 로우코스트를 나타낸 것이고, 점선 그래프는 로우코스트 산출부(130)를 통해 산출되지 않았으나 선형 인터폴레이션을 통해 생성된 로우코스트를 나타낸다. 도 5에서는 선형 인터폴레이션을 수행하는 것을 예시하였지만, 보간부(150)는 로우코스트 산출부(130)가 AD를 통해 로우코스트를 산출한 경우에는 선형 인터폴레이션을 통한 보간을 수행하고, 로우코스트 산출부(130)가 SD 또는 CT를 통해 로우코스트를 산출한 경우에는 바이큐빅 인터폴레이션(Bicubic interpolation)을 통한 보간을 수행하도록 구현될 수 있다. 이 때, 보간부(150)는 상술한 인터폴레이션을 적용하는 경우, 도 6과 같이 로우코스트 산출부(130)를 통해 로우코스트가 산출된 픽셀에 대해서 모든 시차의 로우코스트를 포함하는 코스트 볼륨을 생성할 수 있다. 즉, 도 6의 코스트 볼륨은 색이 표현된 위치에 대해서는 로우코스트를 포함할 수 있다.

이 때, 보간부(150)는 코스트 볼륨 상 동일한 높이 및 시차에 해당하는 로우코스트들 간의 인터폴레이션과 코스트 볼륨 상 동일한 너비 및 시차에 해당하는 로우코스트들 간의 인터폴레이션을 추가적으로 수행할 수 있다. 만약, 보간부(150)가 추가적인 인터폴레이션을 수행하도록 설정된 경우, 맵핑부(140)는 로우코스트가 맵핑 되지 않은 입력 스테레오 영상의 각 픽셀에 대해서는 로우코스트 '0'을 맵핑하는 과정을 수행하지 않을 수 있다.

또한, 보간부(150)는 입력 스테레오 영상에 맵핑된 로우코스트에 대해 비용 집성(cost aggregation)을 수행한다. 보간부(150)는 공지된 Domain transform, information permeability filtering 등의 support weight 방식의 필터링(filtering) 방식을 통해 비용 집성을 수행할 수 있다. 이 때, 보간부(150)는 한 번 이상의 비용 집성을 수행할 수 있다, 예를 들어, 보간부(150)는 2번의 support weight 방식의 필터링(filtering)을 수행하여, 두 번째 필터링에서 첫 번째 필터링에 비해 좀더 에지(edge)가 잘 나타나도록 비용 집성을 수행할 수 있다. 따라서, 보간부(150)는 입력 스테레오 영상에 대한 코스트 볼륨 중 0이 맵핑된 위치에 대한 로우코스트를 이웃한 로우코스트와 유사하도록 보정할 수 있다. 또는 보간부(150)는 이전 인터폴레이션 과정에서 코스트 볼륨의 모든 위치에 대한 로우코스트가 설정되도록 한 경우, 코스트 볼륨에 포함된 이웃한 로우코스트끼리 유사한 값을 가지도록 하여 입력 스테레오 영상 내에 나타난 객체의 형상이 잘 드러나도록 코스트 볼륨을 조정할 수 있다. 따라서, 보간부(150)는 인터폴레이션 및 비용 집성을 통해 도 7과 같이 모든 위치(해칭 처리된 위치)에 대해 로우코스트를 포함하는 코스트 볼륨을 생성할 수 있다. 즉, 본 발명의 일 실시예에 따른 깊이 정보 생성 장치는 적은 계산 복잡도를 위해 축소 스테레오 영상에 대해서만 로우코스트를 산출하더라도, 입력 스테레오 영상에 대한 로우코스트를 예측할 수 있다.

깊이 정보 생성부(160)는 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하고, 최적 시차에 상응하는 깊이 정보를 생성한다. 예를 들어, 깊이 정보 생성 장치는 WTA(Winner-Takes-All), DP(Dynamic Programming), BP(Belief propagation), Graph-cut 등의 공지된 방식을 통해 최적 시차를 산출할 수 있다. 깊이 정보 생성 장치는 최적 시차를 참조하여 삼각법에 따른 깊이 정보를 생성한다. 또한, 깊이 정보 생성부(160)는 각 픽셀에 대한 최적 시차를 포함하는 영상인 시차 영상을 생성할 수 있다. 깊이 정보 생성부(160)는 생성한 깊이 정보를 통신 인터페이스(110)를 통해 외부 디바이스로 출력할 수 있다.

또한, 로우코스트 산출부(130)는 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과, 입력 스테레오 영상의 각 픽셀의 최적 시차와 미리 설정된 최적 시차의 구간에 대한 갱신치를 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신한다. 예를 들어, 깊이 정보 생성 장치는 하기의 표 1과 같이 최적 시차의 구간에 대한 갱신치를 미리 저장할 수 있다. 이 때, 최적 시차의 구간 및 갱신치는 깊이 정보 생성 장치의 구현 방법에 따라 상이하게 변경될 수 있음은 자명하다.

최적 시차의 구간	갱신치
0~32	16
33~63	32
64~127	63

깊이 정보 생성 장치는 일 픽셀에 대한 최적 시차가 50인 경우, 해당 픽셀에 대한 시차 검색 구간을 (50-32)~(50+32)로 갱신할 수 있다.

또한, 로우코스트 산출부(130)는 입력 스테레오 영상의 각 픽셀 중 차폐(Occlusion) 영역에 해당하는 픽셀에 대해서는 시차 검색 구간을 0~최대 시차로 갱신하거나, 다음 프레임의 차폐 영역에 해당하는 픽셀에 대한 로우코스트를 0으로 설정(다음 프레임에 대해 로우코스트 산출 과정에서 해당 픽셀에 대한 로우코스트를 0으로 설정)할 수 있다.

또한, 로우코스트 산출부(130)는 입력 스테레오 영상의 각 픽셀에 대한 로우코스트 중 최대값 또는 로우코스트의 평균을 해당 픽셀의 지정 코스트로 설정할 수 있다.

이하 상술한 깊이 정보 생성 장치가 깊이 정보를 생성하는 과정을 도 8을 참조하여 상세히 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 영상에 대한 깊이 정보를 생성하는 과정을 예시한 순서도이다. 이하 설명하는 각 과정은 깊이 정보 생성 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 깊이 정보 생성 장치로 통칭하도록 한다.

도 8을 참조하면, 단계 810에서 깊이 정보 생성 장치는 입력 스테레오 영상을 외부 디바이스로부터 수신한다.

단계 820에서 깊이 정보 생성 장치는 입력 스테레오 영상의 크기를 미리 지정된 배율만큼 축소한 축소 스테레오 영상을 생성한다. 예를 들어, 도 2와 같이 깊이 정보 생성 장치는 2x2 크기의 블록에 해당하는 각 좌측 영상 및 우측 영상의 픽셀 중 미리 지정된 위치에 해당하는 픽셀(도 2에서는 좌상측 픽셀, 210)를 샘플링하고, 샘플링된 픽셀을 포함하는 영상을 크기가 축소된 각 좌측 영상 및 우측 영상으로 산출할 수 있다.

단계 830에서 깊이 정보 생성 장치는 축소 스테레오 영상의 각 픽셀에 대한 로우코스트(rawcost)를 산출한다. 이 때, 깊이 정보 생성 장치는 일측 영상(예를 들어, 축소 스테레오 영상의 우측 영상)의 로우코스트가 산출되는 픽셀인 대상 픽셀과 타측 영상(예를 들어, 축소 스테레오 영상의 좌측 영상)의 대상 픽셀로부터 시차 탐색 범위 내에 있는 픽셀에 대한 로우코스트를 산출할 수 있다. 깊이 정보 생성 장치는 일측 영상의 대상 픽셀과, 타측 영상의 대상 픽셀을 기준으로 시차 탐색 범위 내에 위치하는 픽셀에 대한 유사도를 대상 픽셀에 대한 로우코스트로 산출할 수 있다. 이 때, 깊이 정보 생성 장치는 도 3의 350과 같이 대상 픽셀에 대한 로우코스트를 포함하는 코스트 볼륨을 생성할 수 있다. 대상 픽셀에 대한 유사도는 일측 영상의 대상 픽셀과 타측 영상의 대상 픽셀 간의 AD(Absolute Difference), SD(Squared Difference), CT(Census Transform) 또는 RG(Relative Gradiant) 등을 통해 산출될 수 있다. 또한, 깊이 정보 생성 장치는 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대해서는 이전 단계에서 산출되거나 최초 디폴트로 설정된 값인 지정 코스트를 로우코스트로 산출할 수 있다. 따라서, 깊이 정보 생성 장치는 축소 스테레오 영상의 각 픽셀에 대해 최대 시차 범위 내에 위치한 픽셀의 수만큼의 로우코스트를 포함하는 코스트 볼륨을 생성할 수 있다.

단계 840에서 깊이 정보 생성 장치는 입력 스테레오 영상에 로우코스트를 맵핑한다. 예를 들어, 깊이 정보 생성 장치는 축소 스테레오 영상의 각 픽셀(예를 들어, 도 2의 220)에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀(도 2의 210)에 맵핑할 수 있다. 깊이 정보 생성 장치는 로우코스트가 맵핑 되지 않은 입력 스테레오 영상의 각 픽셀에 대해서는 로우코스트 '0'을 맵핑할 수 있다. 이 때, 단계 820에서 축소 스테레오 영상을 생성하는 방식이 샘플링 방식이 아닌 다른 방식인 경우, 해당 방식에 대응하도록 단계 840의 맵핑 방식이 변경되는 것을 당업자에게 자명하다. 또한, Bilinear, Bicubic 등의 방식으로 축소 스테레오 영상이 생성된 경우, 깊이 정보 생성 장치는 미리 지정된 규칙에 따른 위치의 픽셀에 대해서만 로우코스트를 맵핑하고, 나머지 픽셀에 대해서는 로우코스트 '0'을 맵핑할 수 있다.

단계 850에서 깊이 정보 생성 장치는 입력 스테레오 영상에 맵핑된 각 로우코스트에 대한 인터폴레이션을 수행한다. 예를 들어, 깊이 정보 생성 장치는 도 5과 같이 인터폴레이션을 통해 각 픽셀에 대한 로우코스트를 보간할 수 있다. 이 때, 도 5의 실선은 단계 830에서 산출된 로우코스트를 나타낸 것이고, 점선은 단계 830에서 로우코스트가 생성되지 않은 픽셀에 대해 linear interpolation을 통해 보간된 로우코스트를 나타낸다. 도 3에서는 linear interpolation을 수행하는 것을 예시하였지만, 깊이 정보 생성 장치는 단계 830에서 AD를 통해 로우코스트를 산출한 경우에는 linear interpolation을 통한 보간을 수행하고, 단계 830에서 SD 또는 CT(Census Transform)를 통해 로우코스트를 산출한 경우에는 Bicubic interpolation을 통한 보간을 수행하도록 구현될 수 있다. 따라서, 깊이 정보 생성 장치는 도 6에 예시된 바와 같이 입력 스테레오 영상의 각 픽셀 중 단계 740에서 0이 아닌 로우코스트가 맵핑된 픽셀에 대해서는 최대 시차 내에 해당하는 로우코스트를 포함하는 코스트 볼륨을 생성할 수 있다.

단계 860에서 깊이 정보 생성 장치는 입력 스테레오 영상에 맵핑된 로우코스트에 대해 비용 집성(cost aggregation)을 수행한다. 깊이 정보 생성 장치는 공지된 Domain transform, information permeability filtering 등의 support weight 방식의 필터링(filtering) 방식을 통해 비용 집성을 수행할 수 있다. 이 때, 깊이 정보 생성 장치는 한 번 이상의 비용 집성을 수행할 수 있다, 예를 들어, 깊이 정보 생성 장치는 2번의 support weight 방식의 필터링(filtering)을 수행하여, 두 번째 필터링에서 첫 번째 필터링에 비해 좀더 에지(edge)가 잘 나타나도록 비용 집성을 수행할 수 있다.

단계 870에서 깊이 정보 생성 장치는 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출한다. 예를 들어, 깊이 정보 생성 장치는 WTA(Winner-Takes-All), DP(Dynamic Programming), BP(Belief propagation), Graph-cut 등의 공지된 방식을 통해 최적 시차를 산출할 수 있다. 이 때, WTA는 각 픽셀에서 가장 최소값을 찾거나 유사함수에 따라서 최대값을 찾는 방법이다. 깊이 정보 생성 장치는 최적 시차를 참조하여 삼각법에 따른 깊이 정보를 생성한다. 또한, 깊이 정보 생성 장치는 각 픽셀에 대한 최적 시차를 포함하는 영상인 시차 영상을 생성할 수 있다.

단계 880에서 깊이 정보 생성 장치는 입력 스테레오 영상의 다음 프레임이 존재하는지 판단한다.

단계 880에서 입력 스테레오 영상의 다음 프레임이 존재하는 경우, 단계 885에서 깊이 정보 생성 장치는 시차 영상에 대한 차폐(occlusion) 영역을 나타내는 차폐 영역 정보를 생성한다. 이 때, 깊이 정보 생성 장치는 공지된 Left-Right Consistency Check 방법을 통해 시차 영상에 대한 차폐 영역을 나타낸 차폐 영역 정보를 생성할 수 있다.

단계 890에서 깊이 정보 생성 장치는 현재 프레임에 대한 시차 탐색 범위를 다음 프레임에 대한 시차 탐색 범위로 갱신한다. 깊이 정보 생성 장치는 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신한다.

또한, 깊이 정보 생성 장치는 입력 스테레오 영상의 각 픽셀 중 차폐 영역에 해당하는 픽셀에 대해서는 시차 검색 구간을 0~최대 시차로 갱신하거나, 다음 프레임의 차폐 영역에 해당하는 픽셀에 대한 로우코스트를 0으로 고정(다음 프레임에 대해 상술한 단계 830이 수행될 때, 해당 픽셀에 대한 로우코스트를 0으로 설정)할 수 있다.

단계 895에서 깊이 정보 생성 장치는 입력 스테레오 영상의 각 픽셀에 대한 로우코스트 중 최대값 또는 로우코스트의 평균을 해당 픽셀의 지정 코스트로 설정한다. 이후 깊이 정보 생성 장치는 입력 스테레오 영상의 다음 프레임에 대해 단계 810부터의 과정을 반복 수행한다.

단계 880에서 입력 스테레오 영상의 다음 프레임이 존재하지 않는 경우, 깊이 정보 생성 장치는 깊이 정보 생성 과정을 종료한다.

상술한 본 발명의 일 실시예에 따른 깊이 정보 생성 장치는 컴퓨터 시스템으로 구현될 수 있다.

도 9는 본 발명의 일 실시예에 따른 깊이 정보 생성 장치가 구현된 컴퓨터 시스템을 예시한 도면이다.

본 발명에 따른 실시예는 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록매체로 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(900)은 하나 이상의 프로세서(910), 메모리(920), 저장부(930), 사용자 인터페이스 입력부(940) 및 사용자 인터페이스 출력부(950) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(960)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(900)은 네트워크에 접속하기 위한 네트워크 인터페이스(970)를 또한 포함할 수 있다. 프로세서(910)는 메모리(920) 및/또는 저장소(930)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(920) 및 저장부(930)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(924) 및 RAM(925)를 포함할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 영상 축소부;
상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 로우코스트 산출부;
상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 맵핑부;
상기 로우코스트에 대한 인터폴레이션(interpolation) 및 비용 집성(cost aggregation)을 수행하는 보간부; 및
상기 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하고, 최적 시차에 상응하는 깊이 정보를 생성하는 깊이 정보 생성부;
를 포함하는 깊이 정보 생성 장치.
제1 항에 있어서,
상기 로우코스트 산출부는 상기 축소 스트레오 영상의 일측 영상의 대상 픽셀과 상기 축소 스트레오 영상의 타측 영상의 대상 픽셀로부터 시차 탐색 범위 내에 있는 픽셀에 대한 AD(Absolute Difference), SD(Squared Difference) 또는 RG(Relative Gradiant)를 대상 픽셀에 대한 로우코스트로 산출하고,
상기 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대한 로우코스트를 지정 코스트에 따라 설정하는 것을 특징으로 하는 깊이 정보 생성 장치.
제2 항에 있어서,
상기 로우코스트 산출부는 상기 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신하는 것을 특징으로 하는 깊이 정보 생성 장치.
제2 항에 있어서,
상기 로우코스트 산출부는 상기 입력 스테레오 영상의 각 픽셀에 대한 상기 로우코스트 중 최대값 또는 상기 로우코스트의 평균을 상기 입력 스테레오 영상의 각 픽셀에 대한 지정 코스트로 갱신하는 것을 특징으로 하는 깊이 정보 생성 장치.
제1 항에 있어서,
상기 영상 축소부는 상기 입력 스테레오 영상에 대해 샘플링하여 복수의 픽셀을 추출하고, 추출된 상기 픽셀을 포함하는 상기 축소 스테레오 영상을 생성하고,
상기 맵핑부는 상기 축소 스테레오 영상의 각 픽셀에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀에 맵핑하는 것을 특징으로 하는 하는 깊이 정보 생성 장치.
제1 항에 있어서,
상기 보간부는 상기 입력 스테레오 영상에 맵핑된 로우코스트를 포함하는 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션을 수행하거나,
상기 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션, 상기 코스트 볼륨 상 동일한 높이 및 시차에 해당하는 로우코스트 간의 인터폴레이션 및 상기 코스트 볼륨 상 동일한 너비 및 시차에 해당하는 로우코스트 간의 인터폴레이션을 수행하는 것을 특징으로 하는 깊이 정보 생성 장치.
제6 항에 있어서,
상기 보간부는 선형 인터폴레이션(linear interpolation) 또는 바이큐빅 인터폴레이션(Bicubic interpolation)을 통해 상기 로우코스트를 보간하고,
보간된 상기 로우코스트에 대해 support weight 방식의 필터링(filtering)을 통한 비용 집성을 수행하는 것을 특징으로 하는 깊이 정보 생성 장치.
제7 항에 있어서,
상기 보간부는 상기 support weight 방식의 필터링을 2 회 수행하는 것을 특징으로 하는 깊이 정보 생성 장치.
깊이 정보 생성 장치가 깊이 정보를 생성하는 방법에 있어서,
입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 단계;
상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 단계;
상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 단계;
상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계;
상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계;
상기 로우코스트를 참조하여 입력 스테레오 영상의 각 픽셀에 대한 최적 시차를 산출하는 단계; 및
상기 최적 시차에 상응하는 깊이 정보를 생성하는 단계;
를 포함하는 깊이 정보 생성 방법.
제9 항에 있어서,
상기 축소 스테레오 영상에 대한 로우코스트(rawcost)를 산출하는 단계는,
상기 축소 스트레오 영상의 일측 영상의 대상 픽셀과 상기 축소 스트레오 영상의 타측 영상의 대상 픽셀로부터 시차 탐색 범위 내에 있는 픽셀에 대한 AD(Absolute Difference), SD(Squared Difference) 또는 RG(Relative Gradiant)를 대상 픽셀에 대한 로우코스트로 산출하는 단계; 및
상기 타측 영상의 대상 픽셀로부터 해상도에 상응하는 최대 시차(maximum disparity) 범위 이내에 위치한 픽셀 중 시차 탐색 범위 내에 위치하지 않은 픽셀에 대한 로우코스트를 지정 코스트에 따라 설정하는 단계
를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
제10 항에 있어서,
상기 입력 스테레오 영상의 각 픽셀의 최적 시차에서 미리 설정된 최적 시차의 구간에 대한 갱신치를 뺀 값과 더한 값 간의 구간을 각 픽셀에 대한 다음 프레임의 시차 탐색 범위로 갱신하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
제10 항에 있어서,
상기 입력 스테레오 영상의 각 픽셀에 대한 상기 로우코스트 중 최대값 또는 상기 로우코스트의 평균을 상기 입력 스테레오 영상의 각 픽셀에 대한 지정 코스트로 갱신하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
제9 항에 있어서,
상기 입력 스테레오 영상을 미리 지정된 배율만큼 축소하여 축소 스테레오 영상을 생성하는 단계는 상기 입력 스테레오 영상에 대해 샘플링하여 복수의 픽셀을 추출하고, 추출된 상기 픽셀을 포함하는 상기 축소 스테레오 영상을 생성하는 단계이고,
상기 입력 스테레오 영상에 상기 로우코스트를 맵핑하는 단계는 상기 축소 스테레오 영상의 각 픽셀에 대한 로우코스트를 입력 스트레오 영상의 샘플링된 픽셀에 맵핑하는 단계인 것을 특징으로 하는 하는 깊이 정보 생성 방법.
제9 항에 있어서,
상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계는,
상기 입력 스테레오 영상에 맵핑된 로우코스트를 포함하는 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션을 수행하거나,
상기 코스트 볼륨 상 단일 픽셀에 대한 로우코스트 간의 인터폴레이션, 상기 코스트 볼륨 상 동일한 높이 및 시차에 해당하는 로우코스트 간의 인터폴레이션 및 상기 코스트 볼륨 상 동일한 너비 및 시차에 해당하는 로우코스트 간의 인터폴레이션을 수행하는 단계인 것을 특징으로 하는 깊이 정보 생성 방법.
제14 항에 있어서,
상기 로우코스트에 대한 인터폴레이션(interpolation)을 수행하는 단계는, 선형 인터폴레이션(linear interpolation) 또는 바이큐빅 인터폴레이션(Bicubic interpolation)을 통해 상기 로우코스트를 보간하는 단계이고,
상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계는 보간된 상기 로우코스트에 대해 support weight 방식의 필터링(filtering)을 통한 비용 집성을 수행하는 단계인 것을 특징으로 하는 깊이 정보 생성 방법.
제15 항에 있어서,
상기 로우코스트에 대한 비용 집성(cost aggregation)을 수행하는 단계는 상기 support weight 방식의 필터링을 2 회 수행하는 것을 특징으로 하는 깊이 정보 생성 방법.