KR20140067253A - 영상 처리 장치 및 방법 - Google Patents

Abstract

깊이 영상의 촬영시간과 컬러 영상의 촬영시간 간의 차이를 보정하는 방법 및 장치에 관한 것으로, 일 측면에 있어서, 영상 처리 장치는 제1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정하고, 기준 픽셀 및 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}

아래의 실시 예들은 깊이 영상의 촬영시간과 컬러 영상의 촬영시간 간의 차이를 보정하는 방법 및 장치에 관한 것이다.

하나의 렌즈와 하나의 센서를 이용하는 컬러/깊이 카메라를 이용하면, 동일 시점에서 동일한 프레임 레이트(frame rate)로 컬러/깊이 영상을 촬영할 수 있다. 하나의 센서로부터 컬러 영상과 깊이 영상을 교대로 획득하기 때문에, 위와 같은 컬러/깊이 카메라를 이용하여 움직이는 물체를 촬영하면, 컬러 영상의 프레임과 깊이 영상의 프레임 간에는 시간차가 발생한다.

일 측면에 있어서, 영상 처리 장치는 제1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 상기 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 상기 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정하는 추정부 및 상기 기준 픽셀 및 상기 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성하는 깊이 영상 생성부를 포함할 수 있다.

다른 일 측면에 있어서, 영상 처리 장치는 현재 픽셀들 중에서 깊이 값이 계산되지 않은 홀 픽셀의 깊이 값을 상기 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 생성하는 보상부를 더 포함할 수 있다.

상기 추정부는 제1 시점의 광도 영상(amplitude image)으로부터 상기 기준 픽셀의 적외선 밝기 값을 추출하고, 제3 시점의 광도 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출하고, 상기 기준 픽셀 및 상기 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산하는 적외선 밝기 유사도 계산부 및 상기 대응 조건은 상기 적외선 밝기 유사도가 소정 기준 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 판단부를 포함할 수 있다.

상기 추정부는 상기 제1 시점의 깊이 영상으로부터 상기 기준 픽셀의 깊이 값을 추출하고, 상기 제3 시점의 깊이 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출하고, 상기 기준 픽셀 및 상기 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산하는 깊이 값 유사도 계산부 및 상기 대응 조건은 상기 깊이 값 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 판단부를 포함할 수 있다.

상기 추정부는 상기 제1 시점의 깊이 영상 및 광도 영상으로부터 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하고, 상기 제3 시점의 깊이 영상 및 광도 영상으로부터 상기 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하며, 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 적외선 밝기 값의 차이 및 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산하는 토폴로지 유사도 계산부 및 상기 대응 조건은 상기 토폴로지 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀들을 대응 픽셀들로서 추정하는 판단부를 포함할 수 있다.

상기 추정부는 상기 제3 시점 깊이 영상의 대응 픽셀로부터 제1 시점 깊이 영상의 기준 픽셀이 추정되는지 대칭성을 검증하는 검증부를 포함할 수 있다.

상기 추정부는 상기 제1 시점의 광도 영상 및 깊이 영상, 상기 제3 시점의 광도 영상 및 깊이 영상을 다운 스케일링하여 피라미드를 생성하는 다운 스케일링부 및 상기 피라미드의 가장 작은 영상으로부터 상기 피라미드를 구성하는 영상 별로 옵티컬 플로우(Optical Flow)를 계산하고, 상기 제1 시점의 깊이 영상의 기준 픽셀로부터 상기 제3 시점의 대응 픽셀로의 좌표의 변화량을 계산하는 변화량 계산부를 포함할 수 있다.

상기 추정부는 상기 제1 시점의 광도 영상의 기준 픽셀과 적외선 밝기 값의 차이가 일정 범위 내에 있고, 상기 제1 시점의 깊이 영상의 기준 픽셀과 깊이 값의 차이가 일정 범위 내에 있으며, 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 토폴로지(topology)가 유사한 상기 제3 시점의 대응 픽셀을 추정할 수 있다.

상기 깊이 영상 생성부는 상기 제1 시점의 깊이 영상의 기준 픽셀의 좌표, 상기 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 상기 기준 픽셀의 좌표로부터 상기 대응 픽셀의 좌표까지 좌표의 변화량, 상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값을 선형적으로 보간하여 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 상기 현재 픽셀의 깊이 값을 계산하는 보간부를 포함할 수 있다.

상기 보간부는 상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값의 차이가 임계 값보다 큰 경우, 해당하는 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀에는 깊이 값을 계산하지 않고 홀 픽셀을 생성할 수 있다.

상기 보간부는 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀에 포함된 복수의 깊이 값들의 평균 값을 상기 현재 픽셀의 대표 깊이 값으로 계산할 수 있다.

상기 보상부는 상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산할 수 있다.

상기 보상부는 상기 제2 시점의 컬러 영상으로부터 추출한 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산할 수 있다.

상기 보상부는 상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가깝고, 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산할 수 있다.

일 측면에 있어서, 영상 처리 방법은 1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 상기 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 상기 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정하는 단계 및 상기 기준 픽셀 및 상기 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성하는 단계를 포함할 수 있다.

다른 일 측면에 있어서, 영상 처리 방법은 현재 픽셀들 중에서 깊이 값이 계산되지 않은 홀 픽셀의 깊이 값을 상기 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 생성하는 단계를 더 포함할 수 있다.

상기 추정하는 단계는 제1 시점의 광도 영상(amplitude image)으로부터 상기 기준 픽셀의 적외선 밝기 값을 추출하는 단계, 제3 시점의 광도 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출하는 단계, 상기 기준 픽셀 및 상기 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산하는 단계 및 상기 대응 조건은 상기 적외선 밝기 유사도가 소정 기준 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 단계를 포함할 수 있다.

상기 추정하는 단계는 상기 제1 시점의 깊이 영상으로부터 상기 기준 픽셀의 깊이 값을 추출하는 단계, 상기 제3 시점의 깊이 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출하는 단계, 상기 기준 픽셀 및 상기 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산하는 단계 및 상기 대응 조건은 상기 깊이 값 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 단계를 포함할 수 있다.

상기 추정하는 단계는 상기 제1 시점의 깊이 영상 및 광도 영상으로부터 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하는 단계, 상기 제3 시점의 깊이 영상 및 광도 영상으로부터 상기 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하는 단계, 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 적외선 밝기 값의 차이 및 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산하는 단계 및 상기 대응 조건은 상기 토폴로지 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀들을 대응 픽셀들로서 추정하는 단계를 포함할 수 있다.

상기 깊이 영상을 생성하는 단계는 상기 제1 시점 깊이 영상의 기준 픽셀의 좌표, 상기 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 상기 기준 픽셀의 좌표로부터 상기 대응 픽셀의 좌표까지 좌표의 변화량, 상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값을 선형적으로 보간하여 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 상기 현재 픽셀의 깊이 값을 계산하는 단계를 포함할 수 있다.

상기 보상하는 단계는 상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가깝고, 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산할 수 있다.

도 1은 일 실시예에 따른 영상 처리 장치에서 깊이 영상을 생성하는 개념을 나타낸 도면이다.
도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 3은 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 4는 또 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 5는 일 실시예에 따른 영상 처리 장치에서 픽셀 별 대응 관계를 추정한 도면이다.
도 6은 일 실시예에 따른 영상 처리 장치에서 이용하는 피라미드를 나타낸 도면이다.
도 7은 일 실시예에 따른 영상 처리 장치에서 생성한 홀 픽셀을 포함하는 깊이 영상을 나타낸다.
도 8은 일 실시예에 따른 영상 처리 장치에서 홀 픽셀의 깊이 값을 생성하는 개념을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 영상 처리 장치에서 홀 픽셀의 깊이 값 생성 전과 생성 후의 깊이 영상을 나타낸 도면이다.
도 10은 일 실시예에 따른 영상 처리 방법의 흐름도이다.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

일 실시예로 컬러/깊이 카메라는 빛을 방출하여 수신되는 광선의 세기에 따라 광도 영상(Amplitude Image) 및 깊이 영상(Depth Image)을 획득할 수 있다. 광도 영상은 물체로부터 반사 및 굴절된 광선에 세기를 통하여 측정되므로 물체의 식별을 가능하게 하고, 깊이 영상은 물체가 깊이 카메라로부터 얼마나 떨어져 있는지, 즉 원근감을 나타낼 수 있다.

도 1은 일 실시예에 따른 영상 처리 장치에서 깊이 영상을 생성하는 개념을 나타낸 도면이다.

3차원 영상 또는 입체 영상 등을 생성하기 위해서는 다양한 각도에서 생성된 영상이 필요할 수 있다. 이러한 다양한 각도에서 생성된 영상을 멀티 뷰 영상이라고 하는데, 이 멀티 뷰 영상을 생성하는 다양한 방법 중에 하나로서 컬러 영상 및 깊이 영상을 획득한 후 이를 이용할 수 있다. 이 경우, 컬러 영상과 깊이 영상은 시차(時差)를 갖기보다는 동일한 시점에 생성된 것이 바람직하다.

그런데, 하나의 센서로부터 컬러 영상과 깊이 영상을 교대로 획득하게 된 경우, 서로 다른 시점의 컬러 영상과 깊이 영상이 획득될 수 있다. 이때, 시차가 존재하는 컬러 영상 및 깊이 영상으로부터 동일한 시점의 컬러 영상과 깊이 영상으로 생성하기 위해서는, 컬러 영상의 획득 시점에 대응하는 깊이 영상을 생성하거나, 깊이 영상의 획득 시점에 대응하는 컬러 영상을 생성할 필요가 있다.

실내 환경에서는 컬러 영상의 픽셀 별 컬러 값의 변화가 깊이 영상의 픽셀 별 깊이 값의 변화보다 많은 편이다. 따라서, 컬러 영상의 획득 시점에 대응하는 깊이 영상을 생성하는 것이 좀 더 용이할 수 있다.

도 1을 참조하면, 시점 t₀, t₂, t₄에서는 컬러/깊이 카메라를 통하여 컬러 영상을 획득하고, 시점 t₁, t₃에서는 컬러/깊이 카메라를 통하여 깊이 영상을 획득할 수 있다. 일 실시예에 따른 영상 처리 장치는 시점 t₂의 컬러 영상에 대응하는 깊이 영상을 시점 t₁, t₃에서의 깊이 영상에서 픽셀 간의 대응 관계에 기초하여 생성할 수 있다. 또한, 일 실시예에 따른 영상 처리 장치는 시점 t₂에서의 컬러 영상에 기초하여 생성한 깊이 영상을 보상할 수 있다.

도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.

도 2를 참조하면, 일실시예에 따른 영상 처리 장치는 추정부(210), 깊이 영상 생성부(220) 및 보상부(230)를 포함할 수 있다. 아래의 설명에 사용된 제1 시점, 제2 시점 및 제3 시점은 도 1의 시점 t₁, 시점 t₂ 및 시점 t₃에 해당한다.

컬러/깊이 카메라는 제1 시점에서 깊이 영상(Depth Image), 제2 시점에서 컬러 영상(Color Image), 제3 시점에서 깊이 영상을 순차적으로 촬영할 수 있다. 일 실시예에 따른 영상 처리 장치는 컬러/깊이 카메라에 탑재될 수도 있고, 컬러/깊이 카메라로부터 분리된 별도의 장치일 수도 있다.

추정부(210)는 제1 시점의 깊이 영상, 제3 시점의 깊이 영상에 기초하여 제3 시점 깊이 영상에 속하는 픽셀들 중에서, 소정의 대응 조건을 만족하며, 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정할 수 있다. 기준 픽셀은 제1 시점에서 촬영된 깊이 영상을 구성하는 픽셀들 중 어느 하나를 의미한다. 대응 픽셀은 제1 시점의 기준 픽셀에 촬영된 객체가 동일하게 제3 시점에서 어느 픽셀에 반영되는지를 나타내는 픽셀을 의미한다.

추정부(210)는 제1 시점 깊이 영상과 제3 시점 깊이 영상 간의 대응 조건, 제1 시점 광도 영상(Amplitude Image)과 제3 시점 광도 영상 간의 대응 조건에 기초하여 기준 픽셀에 대응하는 대응 픽셀을 추정할 수 있다.

대응 조건으로는 기준 픽셀과 제3 시점에 포함되는 하나 이상의 후보 픽셀간의 적외선 밝기 유사도, 깊이 값 유사도, 토폴로지(topology) 유사도 등이 포함될 수 있다. 후보 픽셀들 중에서 대응 조건을 만족하는 픽셀이 대응 픽셀로 추정될 수 있다.

적외선 밝기 유사도는 광도 영상으로부터 추출된 기준 픽셀 및 후보 픽셀들의 적외선 밝기 값을 이용하여 판단될 수 있고, 깊이 값 유사도는 깊이 영상으로부터 추출된 기준 픽셀 및 후보 픽셀들의 깊이 값을 이용하여 판단될 수 있으며, 토폴로지 유사도는 광도 영상으로부터 추출된 기준 픽셀 및 후보 픽셀들의 적외선 밝기 값 및 깊이 영상으로부터 추출된 기준 픽셀 및 후보 픽셀들의 깊이 값을 이용하여 판단될 수 있다.

예를 들면, 추정부(210)는 후보 픽셀들 중에서 기준 픽셀과의 적외선 밝기 값의 차이가 일정 범위 내에 있고, 깊이 값의 차이가 일정 범위 내에 있으며, 기준 픽셀에 설정된 윈도우 내 픽셀들과 토폴로지(topology)가 유사한 대응 픽셀을 추정할 수 있다. 추정부(210)는 후보 픽셀들 중에서 위의 대응 조건들 모두를 만족하는 대응 픽셀을 추정할 수 있다. 상기 일정 범위는 설정에 따라 변경될 수 있다. 정확도를 높이기 위해서는 일정 범위를 좁게 설정할 수 있고, 상대적으로 정확도보다는 처리 속도를 높이기 위해서는 일정 범위를 넓게 설정할 수도 있다.

토폴로지의 유사여부는 윈도우 내에 포함되는 픽셀들 간의 적외선 밝기 값의 변화 패턴과 깊이 값의 변화 패턴이 유사한지 여부에 따라 판단될 수 있다. 윈도우 내에 포함되는 픽셀들은 서로 인접하여 위치하므로, 픽셀들 간에 적외선 밝기 값의 변화 패턴 및 깊이 값의 변화 패턴이 유사할 가능성이 높다.

예를 들면, 추정부(210)는 윈도우 내에 포함되는 픽셀과 적외선 밝기 값 및 깊이 값이 유사한 예비 대응 픽셀을 추정할 수 있다. 추정부(210)는 윈도우 내에 포함되는 픽셀들로부터 예비 대응 픽셀들로 각각의 적외선 밝기 값 및 깊이 값의 변화 패턴이 유사하면 토폴로지가 유사하다고 판단하고, 예비 대응 픽셀들을 대응 픽셀들로써 추정할 수 있다. 변화 패턴은 윈도우 내에 포함되는 픽셀의 좌표와 예비 대응 픽셀간의 거리와 윈도우 내에 포함되는 픽셀로부터 예비 대응 픽셀로의 방향을 고려하여 결정될 수 있다. 예를 들면, 도 5의 윈도우에서 변화 패턴은 화살표로 표시되었다.

추정부(210)는 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 제1 시점 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정할 수 있다. 추정부(210)는 제1 시점 깊이 영상의 모든 픽셀에 각각 대응하는 제3 시점의 깊이 영상에 속하는 대응 픽셀들을 추정할 수 있다.

깊이 영상 생성부(220)는 기준 픽셀의 좌표로부터 대응 픽셀의 좌표로의 좌표의 변화량에 기초하여 제2 시점에서의 현재 픽셀의 좌표를 계산할 수 있다. 깊이 영상 생성부(220)는 기준 픽셀의 깊이 값으로부터 대응 픽셀의 깊이 값으로의 변화량에 기초하여 제2 시점에서의 현재 픽셀의 깊이 값을 계산할 수 있다. 현재 픽셀은 제2 시점의 깊이 영상을 구성하는 픽셀을 의미한다. 현재 픽셀의 좌표 및 깊이 값은 기준 픽셀의 좌표 및 깊이 값, 대응 픽셀의 좌표 및 깊이 값, 제1 시점과 제3 시점 간의 시간 차에 기초하여 결정될 수 있다.

깊이 영상 생성부(220)는 좌표의 변화량에 따라 기준 픽셀의 좌표를 보간하여 현재 픽셀의 좌표를 추정할 수 있다. 또한, 깊이 영상 생성부(220)는 제1 시점 깊이 영상의 기준 픽셀의 깊이 값과 제3 시점 깊이 영상의 대응 픽셀의 깊이 값을 이용하여 제2 시점 깊이 영상의 현재 픽셀의 깊이 값을 계산할 수 있다.

깊이 영상 생성부(220)는 제1 시점과 제3 시점 간의 시간 차에 대한 제3 시점과 제2 시점 간의 시간 차의 비율을 기준 픽셀의 깊이 값에 적용하고, 제1 시점과 제3 시점 간의 시간 차에 대한 제2 시점과 제1 시점 간의 시간 차의 비율을 대응 픽셀의 깊이 값에 적용하여 현재 픽셀의 깊이 값을 계산할 수 있다.

깊이 영상 생성부(220)는 기준 픽셀의 깊이 값과 대응 픽셀의 깊이 값의 차이가 임계 값 보다 크면, 현재 픽셀의 깊이 값을 계산하지 않을 수 있다. 깊이 값이 계산되지 않아, 깊이 값이 존재하지 않는 현재 픽셀은 홀(hole) 픽셀로 정의될 수 있다. 임계 값은 제2 시점의 깊이 영상의 해상도 또는 정확도에 따라 유동적으로 설정될 수 있다.

보상부(230)는 깊이 값이 존재하지 않는 홀 픽셀을 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 보상할 수 있다. 주변 픽셀은 홀 픽셀과 인접한 픽셀들로, 예를 들면, 홀 픽셀을 둘러싼 모든 픽셀들을 의미할 수도 있다.

보상부(230)는 홀 픽셀과 주변 픽셀들 간의 거리 차에 따라 주변 픽셀들의 깊이 값들에 가중치를 다르게 적용하여 홀 픽셀의 깊이 값을 계산할 수 있다. 예를 들면, 홀 픽셀과 가까운 주변 픽셀의 깊이 값에는 큰 가중치가 적용될 수 있다.

보상부(230)는 홀 픽셀과 주변 픽셀들 간의 컬러 값의 차이에 따라 주변 픽셀들의 깊이 값들에 가중치를 다르게 적용하여 홀 픽셀의 깊이 값을 계산할 수 있다. 이때, 보상부(230)는 제2 시점의 컬러 영상을 이용할 수 있다. 예를 들면, 홀 픽셀의 컬러 값과 유사한 컬러 값을 가지는 주변 픽셀에 큰 가중치가 적용될 수 있다. 컬러 값의 유사도는 컬러 값들 간의 차이와 설정된 임계 값(threshold value)을 비교하여 결정될 수 있다. 컬러 값들 간의 차이가 설정된 임계 값 이하이면, 컬러 값들은 서로 유사하다고 판단될 수 있다. 임계 값은 계산 복잡도, 계산 정확성 등에 따라 조절될 수 있다.

도 3은 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.

도 3을 참조하면, 일 실시예에 따른 영상 처리 장치는 추정부(310), 깊이 영상 생성부(320) 및 보상부(330)를 포함할 수 있다.

추정부(310)는 적외선 밝기 유사도 계산부(311), 깊이 값 유사도 계산부(313), 토폴로지 유사도 계산부(315), 검증부(317) 중 적어도 하나와 판단부(319)를 포함할 수 있다.

적외선 밝기 유사도 계산부(311)는 제1 시점의 광도 영상(amplitude image)으로부터 기준 픽셀의 적외선 밝기 값을 추출하고, 제3 시점의 광도 영상으로부터 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출할 수 있다. 적외선 밝기 유사도 계산부(311)는 기준 픽셀 및 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산할 수 있다.

판단부(319)는 적외선 밝기 유사도가 소정 기준 이상인 경우를 대응 조건으로 하여, 대응 조건을 만족하는 후보 픽셀을 대응 픽셀로서 추정할 수 있다. 여기서 소정 기준은 적외선 밝기 유사도 계산부(311)의 성능, 계산 복잡도, 계산 정확성, 처리시간 등에 따라 조절될 수 있다. 예를 들면, 성능이 상대적으로 우수한 경우 소정 기준은 높아질 수 있다.

깊이 값 유사도 계산부(313)는 제1 시점의 깊이 영상으로부터 기준 픽셀의 깊이 값을 추출하고, 제3 시점의 깊이 영상으로부터 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출할 수 있다. 깊이 값 유사도 계산부(313)는 기준 픽셀 및 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산할 수 있다.

판단부(319)는 깊이 값 유사도가 일정 범위 이상인 경우를 대응 조건으로 하여, 대응조건을 만족하는 후보 픽셀을 대응 픽셀로서 추정할 수 있다.

토폴로지 유사도 계산부(315)는 제1 시점의 깊이 영상 및 광도 영상으로부터 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하고, 제3 시점의 깊이 영상 및 광도 영상으로부터 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출할 수 있다. 토폴로지 유사도 계산부(315)는 윈도우 내 픽셀들 및 후보 픽셀들간의 적외선 밝기 값의 차이 및 윈도우 내 픽셀들 및 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산할 수 있다.

판단부(319)는 토폴로지 유사도가 일정 범위 이상인 경우를 대응 조건으로 하여, 대응 조건을 만족하는 후보 픽셀들을 대응 픽셀들로서 추정할 수 있다.

검증부(315)는 제3 시점 깊이 영상의 대응 픽셀로부터 제1 시점 깊이 영상의 기준 픽셀이 추정되는지 대칭성을 검증할 수 있다. 검증부(315)는 제1 시점 깊이 영상의 기준 픽셀 p 로부터 추정한 제3 시점 깊이 영상의 대응 픽셀 q 에 대해, 다시 제3 시점 깊이 영상의 픽셀 q 를 기준 픽셀로 하여, 픽셀 q 에 대응하는 제1 시점 깊이 영상의 대응 픽셀을 추정한 결과, 원래의 제1 시점 깊이 영상의 픽셀 p가 추정되는지 검증할 수 있다. 적외선 밝기 유사도 계산부(311), 깊이 값 유사도 계산부(313), 토폴로지 유사도 계산부(315)는 픽셀 p로부터 픽셀 q를 추정한 방식과 동일한 방식으로 제3 시점 깊이 영상의 픽셀 q 로부터 대응하는 제1 시점 깊이 영상의 픽셀을 추정할 수 있다.

추정부(310)는 적외선 밝기 유사도 계산부(311)에서 계산한 적외선 밝기 유사도, 깊이 값 유사도 계산부(313)에서 계산한 깊이 값 유사도, 토폴로지 유사도 계산부(315)에서 계산한 토폴로지 유사도를 근거로 한 대응 조건 모두를 만족시키는 제3 시점 깊이 영상의 픽셀을 최종 제3 시점 깊이 영상의 대응 픽셀로 추정할 수 있다.

추정부(310)는 적외선 밝기 유사도를 고려하여 추정한 제3 시점 깊이 영상의 대응 픽셀이 복수개인 경우에, 대응 픽셀들 중 깊이 값 유사도를 고려하여 조건을 만족하는 대응 픽셀을 선택하고, 여전히 복수개의 픽셀들이 선택된 경우, 토폴로지 유사도를 고려하여 조건을 만족하는 픽셀을 최종 제3 시점 깊이 영상의 대응 픽셀로 추정할 수 있다.

깊이 영상 생성부(320)는 보간부(321)를 포함할 수 있다.

보간부(321)는 제1 시점의 깊이 영상의 기준 픽셀의 좌표, 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 기준 픽셀의 좌표로부터 대응 픽셀의 좌표까지 좌표의 변화량, 기준 픽셀의 깊이 값 및 대응 픽셀의 깊이 값을 선형적으로 보간하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 현재 픽셀의 깊이 값을 계산할 수 있다.

보간부(321)는 제1 시점과 제3 시점 간의 시간 차에 대한 제1 시점과 제2 시점 간의 시간 차의 비율을 상기 좌표의 변화량에 적용한 값, 기준 픽셀의 좌표를 이용하여 현재 픽셀의 위치를 계산할 수 있다.

보간부(321)는 제1 시점과 제3 시점 간의 시간 차에 대한 제1 시점과 제2 시점 간의 시간 차의 비율을 대응 픽셀의 깊이 값에 적용하고, 제1 시점과 제3 시점 간의 시간 차에 대한 제3 시점과 제2 시점 간의 시간 차의 비율을 기준 픽셀의 깊이 값에 적용하여 현재 픽셀의 깊이 값을 계산할 수 있다.

보간부(321)는 기준 픽셀의 깊이 값 및 대응 픽셀의 깊이 값의 차이가 임계 값보다 큰 경우, 해당하는 제2 시점의 깊이 영상에 속하는 현재 픽셀에는 깊이 값을 계산하지 않고 홀 픽셀을 생성할 수 있다.

보간부(321)는 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치에 복수의 깊이 값들이 계산되면, 복수의 깊이 값들의 평균 값을 현재 픽셀의 대표 깊이 값으로 계산할 수 있다.

보상부(330)는 홀 픽셀의 좌표와 주변 픽셀들의 좌표 간의 거리가 가까울수록 가중치를 크게 하여 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다. 홀 픽셀의 깊이 값이 보상부(330)에서 계산됨으로써, 추정된 제2 시점 깊이 영상에 홀 픽셀이 존재하는 경우의 모든 현재 픽셀들은 깊이 값을 가질 수 있다.

보상부(330)는 제2 시점의 컬러 영상으로부터 홀 픽셀과 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다. 보상부(330)는 좌표 간의 거리에 따른 가중치를 주변 픽셀들의 깊이 값들에 적용하여 홀 픽셀의 깊이 값을 계산할 수 있다.

보상부(330)는 홀 픽셀의 좌표와 주변 픽셀들의 좌표 간의 거리가 가깝고, 홀 픽셀과 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여, 가중치를 적용한 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다.

도 4는 또 다른 일 실시예에 따른 영상 처리 장치의 블록도이다.

도 4를 참조하면, 일 실시예에 따른 영상 처리 장치는 추정부(410), 깊이 영상 생성부(420) 및 보상부(430)를 포함할 수 있다.

추정부(410)는 다운 스케일링부(411) 및 변화량 계산부(413)를 포함할 수 있다.

다운 스케일링부(411)는 제1 시점의 광도 영상 및 깊이 영상, 제3 시점의 광도 영상 및 깊이 영상을 다운 스케일링하여 피라미드를 생성할 수 있다. 여기서, 피라미드는 사이즈가 다른 복수개의 영상들을 포함하는 구조를 의미한다. 다운 스케일링부(411)는 영상의 사이즈를 줄여서 복수개의 영상들을 생성할 수 있다. 다운 스케일링부(411)는 제1 시점의 광도 영상 및 깊이 영상 각각의 사이즈를 줄여서 복수개의 영상들을 생성할 수 있다. 다운 스케일링부(411)는 제3 시점의 광도 영상 및 깊이 영상 각각의 사이즈를 줄여서 복수개의 영상들을 생성할 수 있다.

변화량 계산부(413)는 피라미드의 가장 작은 영상으로부터 피라미드를 구성하는 영상 별로 옵티컬 플로우(Optical Flow)를 계산하고, 제1 시점 깊이 영상의 기준 픽셀로부터 제3 시점의 대응 픽셀로의 좌표의 변화량을 계산할 수 있다. 옵티컬 플로우는 영상에서 객체의 움직임(motion)을 추정하기 위해 주로 사용되는 기법이다. 그 중 가장 대표적인 것이 루카스 카나데 옵티컬 플로우 방식이다.

변화량 계산부(413)는 루카스 카나데 옵티컬 플로우(Lucas-Kanade Optical Flow)를 확장한 방법을 이용하여 대응 관계를 계산할 수 있다.

변화량 계산부(413)는 제1 시점의 광도 영상과 제3 시점의 광도 영상 간에 옵티컬 플로우를 계산하여, 대응하는 픽셀들 간의 좌표의 변화량을 계산할 수 있다. 좌표의 변화량은 움직임 벡터(motion vector)로 계산될 수 있다.

변화량 계산부(413)는 수학식 1을 이용하여, 광도 영상 간에 대응 하는 픽셀 들 간의 좌표의 변화량을 계산할 수 있다.

[수학식 1]

여기서, I는 광도 영상, (x,y)는 픽셀의 좌표, (u_x,u_y)는 제1 시점 영상에서 픽셀 p의 좌표, (w_x, w_y)는 픽셀 p의 주변 픽셀의 범위, 즉 픽셀 p를 중심으로 한 윈도우, (g_x, g_y)는 픽셀 p의 좌표의 변화량, (u_x+g_x, u_y+g_y)는 픽셀 p와 대응하는 제3 시점 영상에서 픽셀 q의 좌표, (x+g_x,y+g_y)는 이 대응관계를 픽셀 (x,y)에 적용시킨 대응 픽셀이다. (g_x,g_y)의 초기값은 (0,0)으로 주어진다. (d_x, d_y)는 유사한 적외선 밝기 값을 가지는 픽셀로의 좌표의 변화량을 나타낸다.

수학식 1을 만족시키는 (dx,dy)는 2x2 행렬 역변환을 이용하여 계산될 수 있다. α(x,y)는 픽셀 (x,y)가 픽셀 p와 얼마나 유사한 깊이 값을 갖는지에 따라 결정되는 가중치로, 깊이 값이 유사할수록 큰 값을 갖는다.

변화량 계산부(413)는 제1 시점의 깊이 영상과 제3 시점의 깊이 영상 간에 옵티컬 플로우를 계산하여, 대응하는 픽셀들 간의 좌표의 변화량을 계산할 수 있다. 좌표의 변화량은 움직임 벡터(motion vector)로 계산될 수 있다.

변화량 계산부(413)는 수학식 2 및 수학식 3을 이용하여 깊이 영상에서 대응 하는 픽셀 들 간의 좌표의 변화량을 계산할 수 있다.

[수학식 2]

[수학식 3]

여기서, Z는 깊이 값을 나타내고, δ는 깊이 값의 차이가

보다 크지 않은 경우 0을 출력하고, 그렇지 않은 경우 제1 시점과 제3 시점에서 대응하는 픽셀의 깊이 값의 차이를 출력한다.

위의 식을 만족시키는 유사한 깊이 값을 가지는 픽셀로의 좌표의 변화량 (e_x, e_y) 역시 행렬의 역변환을 이용하여 계산될 수 있다. 최종적으로 대응 관계를 나타내는 벡터 (g'_x,g'_y)는 다음과 같이 Update될 수 있다.

변화량 계산부(413)는 유사한 적외선 밝기 값을 가지는 픽셀로의 좌표의 변화량 (d_x, d_y)와 유사한 깊이 값을 가지는 픽셀로의 좌표의 변화량 (e_x, e_y)을 이용하여 아래의 수학식 4와 같이 현재 레벨의 영상에서 (g'_x,g'_y)를 계산할 수 있다. 피라미드 구조는 가장 사이즈가 작은 영상으로부터 큰 영상까지 여러 개의 레벨로 구성될 수 있다. 가장 작은 사이즈의 영상으로부터 계산된 (g'_x,g'_y)는 다음 레벨의 영상에서 사용될 수 있다.

[수학식 4]

예를 들면, 피라미드 구조에서 레벨 간의 영상 사이즈의 차이가 두 배인 경우에, 이전의 작은 레벨 영상에서 추정된 (g'_x,g'_y)는 바로 위 레벨의 큰 영상의 초기값으로 사용될 때 (2g'_x, 2g'_y)로 스케일링 되어야 한다. (2g'_x, 2g'_y)는 바로 위 레벨의 영상에서 수학식 4의 (g_x, g_y)에 사용될 수 있다. 위와 같은 업데이트 및 스케일링의 과정을 가장 큰 영상까지의 모든 레벨에 대해서 반복한 결과, 최종적인 대응 관계, 즉 제1 시점의 깊이 영상의 기준 픽셀로부터 제3 시점의 깊이 영상의 대응 픽셀로 좌표의 변화량이 획득될 수 있다.

깊이 영상 생성부(420)는 보간부(421)를 포함할 수 있다.

보간부(421)는 제1 시점 깊이 영상의 기준 픽셀의 좌표, 제3 시점 깊이 영상의 대응 픽셀의 좌표, 기준 픽셀의 좌표로부터 대응 픽셀의 좌표까지 좌표의 변화량, 기준 픽셀의 깊이 값 및 대응 픽셀의 깊이 값을 선형적으로 보간하여, 제2 시점 깊이 영상에 속하는 현재 픽셀의 위치 및 상기 현재 픽셀의 깊이 값을 계산할 수 있다.

보간부(421)는 수학식 5를 이용하여 제2 시점 깊이 영상에 속하는 현재 픽셀의 위치 및 현재 픽셀의 깊이 값을 계산할 수 있다.

[수학식 5]

여기서, t₁은 제1 시점, t₂는 제2 시점, t₃은 제3 시점, x^(t2)는 제2 시점 깊이 영상의 현재 픽셀의 x좌표, y^(t2)는 제2 시점 깊이 영상의 현재 픽셀의 y좌표, Z^(t2)는 제2 시점 깊이 영상의 현재 픽셀의 깊이 값, u_x는 제1 시점 깊이 영상의 기준 픽셀의 x좌표, u_y는 제1 시점 깊이 영상의 기준 픽셀의 y좌표, g_x 및 g_y는 x좌표 상 변화량 및 y좌표 상 변화량, Z^(t1)는 제1 시점 깊이 영상의 기준 픽셀의 깊이 값, Z^(t3)는 제3 시점 깊이 영상의 픽셀의 대응 깊이 값을 나타낸다.

보간부(421)는 제1 시점과 제3 시점 간의 시간 차에 대한 제1 시점과 제2 시점 간의 시간 차의 비율을 좌표의 변화량 g_x 및 g_y에 적용한 값, 제1 시점 깊이 영상의 기준 픽셀의 좌표 (u_x, u_y)를 이용하여 제2 시점 깊이 영상의 현재 픽셀의 위치 x^(t2), y^(t2)를 계산할 수 있다.

보간부(421)는 제1 시점과 제3 시점 간의 시간 차에 대한 제1 시점과 제2 시점 간의 시간 차의 비율을 제3 시점 깊이 영상의 대응 픽셀의 깊이 값 Z^(t3)에 적용하고, 제1 시점과 제3 시점 간의 시간 차에 대한 제3 시점과 제2 시점 간의 시간 차의 비율을 제1 시점 깊이 영상의 기준 픽셀의 깊이 값 Z^(t1)에 적용하여 제2 시점 깊이 영상에 속하는 현재 픽셀의 깊이 값 Z^(t2)을 계산할 수 있다.

보간부(421)는 제1 시점 깊이 영상의 기준 픽셀의 깊이 값 및 제3 시점 깊이 영상의 대응 픽셀의 깊이 값의 차이가 임계 값보다 큰 경우, 해당하는 제2 시점 깊이 영상에 속하는 현재 픽셀에는 깊이 값을 계산하지 않고 홀 픽셀을 생성할 수 있다. 홀 픽셀은 깊이 값이 존재하지 않는 픽셀을 의미한다.

보간부(421)는 제2 시점 깊이 영상에 속하는 현재 픽셀로 복수의 깊이 값들이 계산되는 경우에, 복수의 깊이 값들의 평균 값을 현재 픽셀의 대표 깊이 값으로 계산할 수 있다. 하나의 제2 시점 깊이 영상의 현재 픽셀에는 복수개의 깊이 값이 추정될 수도 있다.

보상부(430)는 홀 픽셀의 좌표와 주변 픽셀들의 좌표 간의 거리가 가까울수록 가중치를 크게 하여 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다. 홀 픽셀의 깊이 값을 계산함으로써, 추정된 제2 시점 깊이 영상에 홀 픽셀이 포함된 경우에, 모든 픽셀들이 깊이 값을 가질 수 있다.

보상부(430)는 제2 시점의 컬러 영상으로부터 홀 픽셀과 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 가중치를 적용한 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다. 보상부(330)는 거리에 따른 가중치를 주변 픽셀들의 깊이 값들에 적용하여 홀 픽셀의 깊이 값을 계산할 수 있다.

보상부(430)는 홀 픽셀의 좌표와 주변 픽셀들의 좌표 간의 거리가 가깝고, 홀 픽셀과 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 가중치를 적용한 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다.

도 5는 일 실시예에 따른 영상 처리 장치에서 픽셀 별 대응 관계를 추정한 도면이다.

도 5를 참조하면, 일 실시예에 따른 영상 처리 장치는 시점 t₁의 광도 영상 및 깊이 영상과 시점 t₃의 광도 영상 및 깊이 영상 간에 픽셀 별로 대응 관계를 추정할 수 있다.

픽셀 간 대응 관계를 추정하면, 다음과 같이 대응 관계가 표현될 수 있다.

깊이 영상(t₁)의 한 픽셀 p로부터 대응하는 깊이 영상(t₃)의 픽셀 q를 추정하기 위해 아래의 대응 조건들이 사용될 수 있다.

(1) p와 q에서의 적외선 밝기 값은 서로 유사해야 한다.

(2) p와 q에서의 깊이 값은 일정 범위 내에서 서로 유사해야 한다.

(3) 깊이 영상(t₁)의 p 주변 픽셀들은 p와 유사한 대응 관계를 가져야 한다.

(4) p와 q가 대응할 경우, q와 p도 대응해야 한다.

(3) 조건은 다른 말로 토폴로지의 유사도를 의미하는데, 윈도우(510) 내에서 픽셀(511), 픽셀(513) 및 픽셀(515)과 대응하는 픽셀(521), 픽셀(523) 및 픽셀(525) 간의 적외선 밝기 값은 서로 유사하고, 깊이 값도 서로 유사해야 한다. 여기서, 서로 유사하다는 것은 적외선 밝기 값의 차이가 설정된 임계 값 이하인 경우를 의미할 수 있다. 또한, 깊이 값의 차이가 설정된 임계 값 이하인 경우를 의미할 수 있다. 윈도우(510)내에 위치한 픽셀(511), 픽셀(513) 및 픽셀(515)은 서로 가까운 거리에 위치하기 때문에 적외선 밝기 값, 깊이 값이 서로 유사하게 변하는 점이 고려되었다.

중간의 도면에서 화살표로 표시된 것은 계산된 옵티컬 플로우(Optical Flow)를 나타낸다. 픽셀(511), 픽셀(513) 및 픽셀(515)들이 대응하는 픽셀(521), 픽셀(523) 및 픽셀(525)로 옵티컬 플로우를 가지고, 이때, 각각의 옵티컬 플로우의 방향이 유사함을 알 수 있다. 옵티컬 플로우의 방향이 유사한 경우를 토폴로지가 유사하다고 정의할 수 있다.

도 6은 일 실시예에 따른 영상 처리 장치에서 이용하는 피라미드를 나타낸 도면이다.

도 6을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력된 제1 시점의 광도 영상 및 깊이 영상, 제3 시점의 광도 영상 및 깊이 영상으로부터 피라미드를 생성할 수 있다. 피라미드는 사이즈가 서로 다른 영상을 순서대로 포함할 수 있다. 일 실시예에 따른 영상 처리 장치는 제1 시점의 광도 영상(610)으로부터 다운 스케일링하여 광도 영상(620)을 생성할 수 있다. 또한, 일 실시예에 따른 영상 처리 장치는 광도 영상(620)을 다운 스케일링하여 광도 영상(630)을 생성할 수 있다.

일 실시예에 따른 영상 처리 장치는 제1 시점의 깊이 영상, 제3 시점의 광도 영상 및 깊이 영상으로부터 각각 다운 스케일링을 통해 사이즈가 작은 영상들을 생성할 수 있다.

일 실시예에 따른 영상 처리 장치는 도 5의 (1), (2), (3) 조건을 활용하여 사이즈가 가장 작은 영상부터 옵티컬 플로우(Optical flow) 계산을 수행할 수 있다.

도 7은 일 실시예에 따른 영상 처리 장치에서 생성한 홀 픽셀을 포함하는 깊이 영상을 나타낸다.

일 실시예에 따른 영상 처리 장치는 시점 t₁의 광도 영상 및 깊이 영상과 시점 t₃의 광도 영상 및 깊이 영상 간에 픽셀 별로 대응 관계를 추정할 수 있다.

픽셀 간 대응 관계를 추정하면, 다음과 같이 대응 관계가 표현될 수 있다.

일 실시예에 따른 영상 처리 장치는 위의 대응 관계로부터 시점 t₂에서의 현재 픽셀의 위치 및 깊이 값을 도 4에 대한 설명 부분의 수학식 5를 이용하여 선형적으로 계산할 수 있다.

일 실시예에 따른 영상 처리 장치는 시점 t₁의 깊이 영상의 기준 픽셀의 깊이 값 Z(t₁)과 시점 t₃의 깊이 영상의 대응 픽셀의 깊이 값 Z(t₃)의 차이가 임계 값 보다 크면, 보간(Interpolation)된 값을 생성하지 않을 수 있다. 예를 들면, 임계 값은 30 센티미터(cm)일 수 있다.

도 4의 수학식 5에서 g_x와 g_y는 보통 소수 값으로 계산되므로, x(t₂), y(t₂)도 소수 값으로 계산될 수 있다. 일 실시예에 따른 영상 처리 장치는 소수 값을 반올림 하면, 반올림 한 정수의 좌표를 가지는 픽셀 위치를 계산할 수 있으므로, 정수 값으로 반올림 된 x(t₂), y(t₂)는 픽셀 당 0개에서 N개로 다양할 수 있다. 예를 들면, 도 7의 픽셀(710)에는 픽셀 위치(711), 픽셀 위치(713)가 존재할 수 있다.

도 7을 참조하면, 시점 t₂의 깊이 영상(700)의 픽셀(710)에는 복수 개의 계산된 픽셀 위치들이 포함될 수 있다. 각각의 픽셀 별로 깊이 값이 계산될 수 있다. 일 실시예에 따른 영상 처리 장치는 깊이 값들의 평균을 계산하여, 픽셀 별 대표 깊이 값을 계산할 수 있다. 예를 들면, 픽셀(710)에는 두 개의 픽셀 위치들이 포함되므로, 다음과 같이 대표 깊이 값이 계산될 수 있다.

여기서, Z₁ ^(t2)는 픽셀 위치(711)의 깊이 값이고, Z₂ ^(t2)는 픽셀 위치(713)의 깊이 값이다.

도 8은 일 실시예에 따른 영상 처리 장치에서 홀 픽셀의 깊이 값을 생성하는 개념을 설명하기 위한 도면이다.

도 8을 참조하면, 시점 t₂의 깊이 영상(800)에서, 픽셀 별로 깊이 값이 없는 홀(Hole) 픽셀(810)이 있다. 일 실시예에 따른 영상 처리 장치는 주변 픽셀들(820)의 깊이 값으로부터 홀 픽셀(810)의 깊이 값을 계산할 수 있다. 주변 픽셀들에 해당할 수 있는 범위(830)는 깊이 값의 정확도에 따라 조절될 수 있다.

일 실시예에 따른 영상 처리 장치는 홀 픽셀(810)에 이웃한 깊이 값이 계산된 픽셀 들 중, (1) 위치가 근접하고, (2) 컬러 값이 유사한 경우 큰 가중치를 갖도록 하여, 주변 픽셀들의 깊이 값의 가중치 합으로부터 홀 픽셀(810)의 깊이 값을 계산할 수 있다. 위와 같은 조건을 식으로 반영하면 수학식 6과 같다.

[수학식 6]

여기서, j는 깊이 값이 없는 홀 픽셀(810)이고, i는 깊이 값이 있는 주변 픽셀들 중 하나를 나타낸다. w_i는 가중치, ||Ci-Cj||는 픽셀 i와 j의 컬러 값 차이, ||xi-xj||는 영상 좌표 차이를 나타낸다. σ_C와 σ_x는 상수이다.

도 9는 일 실시예에 따른 영상 처리 장치에서 홀 픽셀의 깊이 값 생성 전과 생성 후의 깊이 영상을 나타낸 도면이다.

도 9를 참조하면, 영상(910)은 홀 픽셀의 깊이 값 생성 전을 나타내고, 영상(920)은 홀 픽셀의 깊이 값 생성 후를 나타낸다. 홀 픽셀의 깊이 값 생성 후에 객체의 경계가 좀 더 부드럽게 표현됨을 알 수 있다.

홀 픽셀의 깊이 값 생성은 도 8의 예와 같은 가중치 합 기반 방법 이외에도 기계 학습(Machine Learning) 기법인 랜덤 포레스트(Random Forest) 등을 이용하여 수행할 수도 있다.

도 10은 일 실시예에 따른 영상 처리 방법의 흐름도이다.

1010단계에서, 일 실시예에 따른 영상 처리 장치는 제1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정할 수 있다.

일 실시예에 따른 영상 처리 장치는 제1 시점의 광도 영상(amplitude image)으로부터 기준 픽셀의 적외선 밝기 값을 추출하고, 제3 시점의 광도 영상으로부터 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출하며, 기준 픽셀 및 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산할 수 있다. 일 실시예에 따른 영상 처리 장치는 적외선 밝기 유사도가 소정 기준 이상인 경우를 대응 조건으로 하여, 대응 조건을 만족시키는 후보 픽셀을 대응 픽셀로서 추정할 수 있다.

일 실시예에 따른 영상 처리 장치는 제1 시점의 깊이 영상으로부터 상기 기준 픽셀의 깊이 값을 추출하고, 제3 시점의 깊이 영상으로부터 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출하며, 기준 픽셀 및 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산할 수 있다. 일 실시예에 따른 영상 처리 장치는 깊이 값 유사도가 일정 범위 이상인 경우를 대응 조건으로 하여, 대응 조건을 만족시키는 후보 픽셀을 대응 픽셀로서 추정할 수 있다.

일 실시예에 따른 영상 처리 장치는 제1 시점의 깊이 영상 및 광도 영상으로부터 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하고, 제3 시점의 깊이 영상 및 광도 영상으로부터 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하며, 윈도우 내 픽셀들 및 후보 픽셀들간의 적외선 밝기 값의 차이 및 윈도우 내 픽셀들 및 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산할 수 있다. 일 실시예에 따른 영상 처리 장치는 토폴로지 유사도가 일정 범위 이상인 경우를 대응 조건으로 하여, 대응 조건을 만족시키는 후보 픽셀들을 대응 픽셀들로서 추정할 수 있다.

1020단계에서, 일 실시예에 따른 영상 처리 장치는 기준 픽셀 및 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성할 수 있다.

일 실시예에 따른 영상 처리 장치는 제1 시점 깊이 영상의 기준 픽셀의 좌표, 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 기준 픽셀의 좌표로부터 대응 픽셀의 좌표까지 좌표의 변화량, 기준 픽셀의 깊이 값 및 대응 픽셀의 깊이 값을 선형적으로 보간하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 현재 픽셀의 깊이 값을 계산할 수 있다.

일 실시예에 따른 영상 처리 장치는 현재 픽셀들 중에서 깊이 값이 계산되지 않은 홀 픽셀의 깊이 값을 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 생성할 수 있다.

일 실시예에 따른 영상 처리 장치는 홀 픽셀의 좌표와 주변 픽셀들의 좌표 간의 거리가 가깝고, 홀 픽셀과 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 가중치를 적용한 주변 픽셀들의 깊이 값들의 합으로 홀 픽셀의 깊이 값을 계산할 수 있다.

일 실시예에 따른 영상 처리 장치는 교대로 획득하는 깊이 영상과 컬러 영상으로부터 컬러 영상의 촬영 시간의 전후로 촬영된 깊이 영상 간에 픽셀 별 대응 관계를 추정함으로써, 컬러 영상의 촬영 시간과 동일한 시간의 깊이 영상을 생성할 수 있다.

또한, 일 실시예에 따른 영상 처리 장치는 대응 관계의 조건을 만족하지는 못하는 픽셀에 대해서는 홀 픽셀을 생성하고, 홀 픽셀의 깊이 값은 컬러 영상에서 홀 픽셀에 대응하는 위치의 픽셀과 주변 픽셀 간의 컬러 유사도에 기초하여 추정함으로써, 보다 정확하게 컬러 영상의 촬영 시간과 동일한 시간의 깊이 영상을 생성할 수 있다.

또한, 일 실시예에 따른 영상 처리 장치는 컬러 영상과 깊이 영상 간의 시간차를 보정함으로써, 보다 정확하게 3차원 영상의 표현이 가능한 멀티 뷰(multi-view) 영상의 소스를 제공할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

1. 제1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 상기 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 상기 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정하는 추정부; 및
   상기 기준 픽셀 및 상기 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성하는 깊이 영상 생성부
   를 포함하는 영상 처리 장치.
2. 제1항에 있어서,
   현재 픽셀들 중에서 깊이 값이 계산되지 않은 홀 픽셀의 깊이 값을 상기 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 생성하는 보상부
   를 더 포함하는 영상 처리 장치.
3. 제1항에 있어서,
   상기 추정부는
   제1 시점의 광도 영상(amplitude image)으로부터 상기 기준 픽셀의 적외선 밝기 값을 추출하고, 제3 시점의 광도 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출하고, 상기 기준 픽셀 및 상기 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산하는 적외선 밝기 유사도 계산부; 및
   상기 대응 조건은 상기 적외선 밝기 유사도가 소정 기준 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 판단부
   를 포함하는 영상 처리 장치.
4. 제1항에 있어서,
   상기 추정부는
   상기 제1 시점의 깊이 영상으로부터 상기 기준 픽셀의 깊이 값을 추출하고, 상기 제3 시점의 깊이 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출하고, 상기 기준 픽셀 및 상기 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산하는 깊이 값 유사도 계산부; 및
   상기 대응 조건은 상기 깊이 값 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 판단부
   를 포함하는 영상 처리 장치.
5. 제1항에 있어서,
   상기 추정부는
   상기 제1 시점의 깊이 영상 및 광도 영상으로부터 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하고, 상기 제3 시점의 깊이 영상 및 광도 영상으로부터 상기 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하며, 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 적외선 밝기 값의 차이 및 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산하는 토폴로지 유사도 계산부; 및
   상기 대응 조건은 상기 토폴로지 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀들을 대응 픽셀들로서 추정하는 판단부
   를 포함하는 영상 처리 장치.
6. 제1항에 있어서,
   상기 추정부는
   상기 제3 시점 깊이 영상의 대응 픽셀로부터 제1 시점 깊이 영상의 기준 픽셀이 추정되는지 대칭성을 검증하는 검증부
   를 포함하는 영상 처리 장치.
7. 제1항에 있어서,
   상기 추정부는
   상기 제1 시점의 광도 영상 및 깊이 영상, 상기 제3 시점의 광도 영상 및 깊이 영상을 다운 스케일링하여 피라미드를 생성하는 다운 스케일링부; 및
   상기 피라미드의 가장 작은 영상으로부터 상기 피라미드를 구성하는 영상 별로 옵티컬 플로우(Optical Flow)를 계산하고, 상기 제1 시점의 깊이 영상의 기준 픽셀로부터 상기 제3 시점의 대응 픽셀로의 좌표의 변화량을 계산하는 변화량 계산부
   를 포함하는 영상 처리 장치.
8. 제1항에 있어서,
   상기 추정부는
   상기 제1 시점의 광도 영상의 기준 픽셀과 적외선 밝기 값의 차이가 일정 범위 내에 있고, 상기 제1 시점의 깊이 영상의 기준 픽셀과 깊이 값의 차이가 일정 범위 내에 있으며, 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 토폴로지(topology)가 유사한 상기 제3 시점의 대응 픽셀을 추정하는
   영상 처리 장치.
9. 제1항에 있어서,
   상기 깊이 영상 생성부는
   상기 제1 시점의 깊이 영상의 기준 픽셀의 좌표, 상기 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 상기 기준 픽셀의 좌표로부터 상기 대응 픽셀의 좌표까지 좌표의 변화량, 상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값을 선형적으로 보간하여 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 상기 현재 픽셀의 깊이 값을 계산하는 보간부
   를 포함하는 영상 처리 장치.
10. 제9항에 있어서,
    상기 보간부는
    상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값의 차이가 임계 값보다 큰 경우, 해당하는 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀에는 깊이 값을 계산하지 않고 홀 픽셀을 생성하는
    영상 처리 장치.
11. 제9항에 있어서,
    상기 보간부는
    상기 제2 시점의 깊이 영상에 속하는 현재 픽셀에 포함된 복수의 깊이 값들의 평균 값을 상기 현재 픽셀의 대표 깊이 값으로 계산하는
    영상 처리 장치.
12. 제2항에 있어서,
    상기 보상부는
    상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산하는
    영상 처리 장치.
13. 제2항에 있어서,
    상기 보상부는
    상기 제2 시점의 컬러 영상으로부터 추출한 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산하는
    영상 처리 장치.
14. 제2항에 있어서,
    상기 보상부는
    상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가깝고, 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산하는
    영상 처리 장치.
15. 제1 시점의 깊이 영상, 제3 시점의 깊이 영상을 이용하여, 소정의 대응 조건을 근거로, 상기 제3 시점의 깊이 영상에 속하는 픽셀들 중에서 상기 제1 시점의 깊이 영상 내 기준 픽셀에 대응하는 대응 픽셀을 추정하는 단계; 및
    상기 기준 픽셀 및 상기 대응 픽셀을 이용하여, 제2 시점의 깊이 영상에 속하는 현재 픽셀을 생성하는 단계
    를 포함하는 영상 처리 방법.
16. 제15항에 있어서,
    현재 픽셀들 중에서 깊이 값이 계산되지 않은 홀 픽셀의 깊이 값을 상기 홀 픽셀의 주변 픽셀들의 깊이 값에 기초하여 생성하는 단계
    를 더 포함하는 영상 처리 방법.
17. 제15항에 있어서,
    상기 추정하는 단계는
    제1 시점의 광도 영상(amplitude image)으로부터 상기 기준 픽셀의 적외선 밝기 값을 추출하는 단계;
    제3 시점의 광도 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 적외선 밝기 값을 추출하는 단계;
    상기 기준 픽셀 및 상기 후보 픽셀간의 적외선 밝기 값 차이를 근거로 적외선 밝기 유사도를 계산하는 단계; 및
    상기 대응 조건은 상기 적외선 밝기 유사도가 소정 기준 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 단계
    를 포함하는 영상 처리 방법.
18. 제15항에 있어서,
    상기 추정하는 단계는
    상기 제1 시점의 깊이 영상으로부터 상기 기준 픽셀의 깊이 값을 추출하는 단계;
    상기 제3 시점의 깊이 영상으로부터 상기 제3 시점에 포함되는 하나 이상의 후보 픽셀의 깊이 값을 추출하는 단계;
    상기 기준 픽셀 및 상기 후보 픽셀간의 깊이 값 차이를 근거로 깊이 값 유사도를 계산하는 단계; 및
    상기 대응 조건은 상기 깊이 값 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀을 상기 대응 픽셀로서 추정하는 단계
    를 포함하는 영상 처리 방법.
19. 제15항에 있어서,
    상기 추정하는 단계는
    상기 제1 시점의 깊이 영상 및 광도 영상으로부터 상기 기준 픽셀에 설정된 윈도우 내 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하는 단계;
    상기 제3 시점의 깊이 영상 및 광도 영상으로부터 상기 제3 시점에 포함되는 후보 픽셀들의 적외선 밝기 값 및 깊이 값을 추출하는 단계;
    상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 적외선 밝기 값의 차이 및 상기 윈도우 내 픽셀들 및 상기 후보 픽셀들간의 깊이 값의 차이를 근거로 토폴로지(topology) 유사도를 계산하는 단계; 및
    상기 대응 조건은 상기 토폴로지 유사도가 일정 범위 이상인 경우이며, 상기 대응 조건이 만족되면, 상기 후보 픽셀들을 대응 픽셀들로서 추정하는 단계
    를 포함하는 영상 처리 방법.
20. 제15항에 있어서,
    상기 생성하는 단계는
    상기 제1 시점 깊이 영상의 기준 픽셀의 좌표, 상기 제3 시점의 깊이 영상의 대응 픽셀의 좌표, 상기 기준 픽셀의 좌표로부터 상기 대응 픽셀의 좌표까지 좌표의 변화량, 상기 기준 픽셀의 깊이 값 및 상기 대응 픽셀의 깊이 값을 선형적으로 보간하여 상기 제2 시점의 깊이 영상에 속하는 현재 픽셀의 위치 및 상기 현재 픽셀의 깊이 값을 계산하는 단계
    를 포함하는 영상 처리 방법.
21. 제16항에 있어서,
    상기 홀 픽셀의 깊이 값을 생성하는 단계는
    상기 홀 픽셀의 좌표와 상기 주변 픽셀들의 좌표 간의 거리가 가깝고, 상기 홀 픽셀과 상기 주변 픽셀들 간의 컬러 값이 가까울수록 가중치를 크게 하여 상기 주변 픽셀들의 깊이 값들의 합으로 상기 홀 픽셀의 깊이 값을 계산하는
    영상 처리 방법.

Images