KR101088144B1 - 스테레오 카메라를 이용한물체의 거리 측정 방법 - Google Patents

Abstract

본 개시는 최적화된 디스패리티(disparity)를 이용하여 카메라와 물체간의 거리를 보다 정확하게 측정하는 스테레오 카메라를 이용한 물체의거리 측정 방법에 관한 것으로, 스테레오 카메라의 대응하는 제 1 및 제 2 영상에서 대응하는 제 1 및 제 2 화소간의 제 1 차이값을 근거로 초기 디스패리티를 추정하는 단계 상기 제 1 차이값, 상기 제 1 화소와 인접 화소간의 제 n차 디스패리티의 제 2 차이값, 상기 제 1 차이값이 '0'과 '1'이 될 확률간의 제 1 비율 및 상기 제 2 차이값이 '0'과 '1'이 될 확률간의 제 2 비율에 따라 설정되는 상기 제 2 차이값에 대한 가중치, 및 상기 제 1 화소와 상기 인접 화소간의 제 3 차이값에 따라 상기 제 2 차이값의 제외 여부를 결정하는 결정값에 근거하여 제 n+1차 디스패리티를 추정하는 단계 및 상기 n+1차 디스패리티에 근거하여 해당 카메라와 물체간의 거리를 산출하는 단계를 포함할 수 있고, 상기 n은 자연수로서 n=1일 경우의 제 1 차 디스패리티는 상기 초기 디스패리티이고, 그 후 n을 기설정된 차수까지 순차 증가시켜 상기 제 n+1차의 최종 디스패리티를 추정할 수 있다.

스테레오 카메라, 디스패리티, 거리 측정, 디스패리티 스페이스 이미지, 다이나믹 프로그래밍

Description

스테레오 카메라를 이용한물체의 거리 측정 방법{Method for Measurement of Distance between Object and Camera using Stereo Camera}

본 개시는 스테레오 카메라를 이용한 물체의 거리 측정 방법에 관한 것으로, 보다 상세하게는 최적화된 디스패리티(disparity)를 이용하여 카메라와 물체간의 거리를보다 정확하게 측정하는, 스테레오 카메라를 이용한 물체의 거리 측정 방법에 관한 것이다.

일반적으로, 스테레오 카메라를 이용하여 촬영한 이미지에 나타난물체는 그 크기, 방향, 형태, 색상, 밝기 등 여러가지 면에서 변형된 모습을 하고 있다. 이러한 변형 요인이 고정된알고리즘의 적용을 어렵게 하고 성능을 저하시키는 원인이되었다.

본 발명의 실시예는 위와 같은 종래의 문제점을 해결하기 위한 것으로, 그 목적은 고정된 알고리즘에 따른 방법에 의해 최적화된 디스패리티(disparity)를 구하고 그 최적화된 디스패리티를 이용하여 카메라와 물체간의 거리를 보다 정확하게 측정하는, 스테레오 카메라를 이용한 물체의 거리 측정 방법을 제공하는 것이다.

전술한 목적을 달성하기 위해 본 발명의 일 측면에 따른 스테레오 카메라를 이용한 물체의 거리 측정 방법은, 스테레오 카메라의 대응하는 제 1 및 제 2 영상에서 대응하는 제 1 및 제 2 화소간의 제 1 차이값을 근거로 초기 디스패리티를 추정하는 단계 상기 제 1 차이값, 상기 제 1 화소와 인접 화소간의 제 n차 디스패리티의 제 2 차이값, 상기 제 1 차이값이 '0'이 될 확률과 '1'이 될 확률간의 제 1 비율 및 상기 제 2 차이값이 '0'이 될 확률과 '1'이 될 확률간의 제 2 비율에 근거하여 설정되는 상기 제 2 차이값에 대한 가중치, 및 상기 제 1 화소와 상기 인접 화소간의 제 3 차이값에 따라 상기 제 2 차이값의 제외 여부를 결정하는 결정값에 근거하여 제 n+1차 디스패리티를 추정하는 단계 및 상기 n+1차 디스패리티에 근거하여 해당 카메라와 물체간의 거리를 산출하는 단계를 포함할 수 있고, 상기 n은 자연수로서 n=1일 경우의 제 1 차 디스패리티는 상기 초기 디스패리티이고, 그 후 n을 기설정된 차수까지 순차 증가시켜 상기 제 n+1차 디스패리티를 추정할 수 있다. 또한, 상기 초기 디스패리티를 추정하는 단계 전에, 상기 제 1 및 제 2 영상의 색상을 조정하는 단계를 수행할 수 있다.

상기 초기 디스패리티는 상기 제 1 차이값에 따라 생성된 디스패리티 스페이스 이미지(Disparity Space Image: DSI)에서

를 최소화 하는 디스패리티이고, 여기서 U(d_i)는 상기 제 1 차이값이다.

상기 n+1차 디스패리티는

를 최소화하는 디스패리티이고, 여기서 U(d_i)는 상기 제 1 차이값, V(d_i, d_j)는 상기 제 2 차이값, λ는 상기 가중치, l_ij는 상기 결정값을 나타낸다.

상기 가중치 λ는

의 수식에 따라산출되고, 여기서

이고,

이며, P(e(di)=1/di)과 P(e(di)=0/di)는 각각 상기 제 1 차이값이 '1'이 될 확률과 '0'이 될 확률, P(Δd_ji=1/s)와 P(Δd_ji=0/s)는 각각 상기 제 2 차이값이 '1'이 될 확률과 '0'이 될 확률을 나타낸다.

상기 결정값 l_ij는 상기 제 3 차이값이 기 설정된 값보다 큰지의 여부에 따라 1'또는'0'으로 설정할 수 있다.

상기 거리는

의 수식에 의해 산출되고, 여기서 Z는 상기 거리, d는 상기 제 n+1차 디스패리티, f는 해당 카메라의 초점거리, B는 상기 스테레오 카메라의 두 카메라간의 거리를 나타낸다.

이상에서 설명한 바와 같이 본 발명의 일 측면에 따르면, 고정된 알고리즘에 따른 방법으로 최적화된 디스패리티(disparity)를 구할 수 있고, 그 최적화된 디스 패리티를 이용하여 카메라와 물체간의 거리를 보다 정확하게 구할 수 있는 효과가 발생한다.

이하, 본 발명의 실시예를 첨부된도면들을 참조하여 상세히설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 물체의 거리 측정 방법의 흐름도이다.

먼저, 스테레오 카메라의 대응하는 좌우 영상에서 구한 평균색상과 분산 등을 이용하여 그 좌우 영상의 해당 두 이미지의 색상을 조정한다(S101).

이어, 사용자가 좌 영상에서 측정하고자 하는 물체를 포함하는 제 1 영역을 지정하면, 그 제 1 영역과 함께 우 영상에서 대응하는 제 2 영역이 동시에 지정되도록 하며, 그 지정된 좌우 영상의 제 1 및 제 2 영역(또는 영상이라 칭함)이 거리측정을 위한 입력 영상으로 발췌되어 이용되도록 한다(S103).

이어, 발췌된 제 1 및 제 2 영상에 대하여 각 행 별로 각 화소 값의 차로 구성되는 디스패리티 스페이스 이미지(disparity space image: DSI)를 구한 다음, 해당 DSI에 대해 다이나믹 프로그래밍(dynamic programming: DP) 기법을 적용하여 최소비용 경로를 추적함으로써 초기 디스패리티(또는, 제 1 디스패리티라 칭함) 값을 추정한다(S105). 즉, 제 1 및 제 2 영상에서 각 행별로 대응하는 제 1 및 제 2 화소간의 제 1 차이값을 근거로 초기 디스패리티를 추정하는데, 초기 디스패리티는 상기 제 1 차이값에 따라 생성된 DSI에서 DP 기법을 적용하여 하기 수학식(1)이 최소화 되는 디스패리티 d_i로 추정할 수 있다. 수학식 (1)에서 I는 영상을 구성하는 각 화소들의 집합을 의미한다. 수학식(1)에서 U(d_i)는 상기제 1 차이값을 나타내는 것으로, 하기 수학식(2)와 같이 표현되고, 수학식(2)에서 I(x,y)와 J(x,y-d_i)는 각각 상기 제 1 및 제 2 화소의 값을 나타낸다.

--- 수학식(1)

=

--- 수학식(2)

이어, 좌우 영상의 차이값(즉, 상기 제 1 차이값)뿐만 아니라 상기 추정된 제 1 디스패리티를 이용하여 DSI를 재차 구하고, 해당 DSI에 대하여 DP 기법을 적 용하여 최소비용 경로를추적함으로써 제 2 디스패리티 값을 추정한다. 이와 같이 상기 제 1 차이값 및 제 n차 디스패리티를 이용하여 해당 DSI를 구하고, 해당 DSI에 대하여 DP 기법을 적용하여 하기 수학식(3)이 최소화 되는 최소비용 경로의 디스패리티를 추적함으로써 제 n+1차 디스패리티 값을 추정한다(S107).

--- 수학식(3)

수학식 (3)에서 N은 i번째 픽셀에 인접한 화소들의 집합을 의미한다. 상기 수학식(3)에 따르면, 상기 제 1 차이값 U(d_i), 상기 제 1 화소와 인접 화소간의 제 n차 디스패리티의 제 2 차이값 V(d_i, d_j), 상기 제 1 차이값 U(d_i)가 '0'이 될 확률과 '1'이 될 확률간의 제 1 비율 및 상기 제 2 차이값이 '0'이 될 확률과 '1'이 될 확률간의 제 2 비율에 근거하여 설정되는 상기 제 2 차이값 V(d_i, d_j)에 대한 가중치 λ, 및 상기 제 1 화소와 상기 인접 화소간의 제 3 차이값에 따라 상기 제 2 차이값 V(d_i, d_j)의 제외 여부를 결정하는 결정값 l_ij에 근거하여 제 n+1차 디스패리티를 추정하는데, 상기 n은 자연수로서 n=1일 경우의 제 1 차 디스패리티가 상기 초기 디스패리티이고, 그 후 n을 기설정된 차수까지 순차 증가시켜 상기 제 n+1차 디스패리티를 추정하여 그 n+1차 디스패리티를 최종 디스패리티로 설정하는 것이다. 결국, 상기 n+1차 디스패리티는 상기 수학식(3)을 최소화하는 디스패리티이다.

상기 수학식 (3)에서, 상기 제 2 차이값

이고 상기

로 정의한다. 즉,

는 인근 화소

와

의 값이 유사하면 동일 영역에 속해 있다고 가정할 수 있으므로 1에 근사한 값을 갖도록하여 두 화소에 대한 디스패리티

와

가 동일한 값을 갖도록 유도하고, 위 두 화소의 값의 차가 기 설정된 값 이상으로 크면 다른 영역에속해 있을 확률이 높으므로 상호 영향을 주지 못하도록

이 되도록 조정한다. 마지막으로, 상기 가중치

는 다음과 같이 구한다. 대응되는 좌우 영상 두화소의 차인

(또는 U(d_i)라 표시함)와 인근 디스패리티의 차

(또는 V(d_i, d_j)라 표시함)를 각각

,

으로 정의하면 이들의 확률분포는 실험적으로 exponential 분포를 갖는다. 따라서, 다음의 수학식 (4) 및 수학식 (5)에 근거하여

,

를 구하고이를 이용하여 상기 가중치

를 구할 수 있다.

--- 수학식 (4)

--- 수학식 (5)

수학식 (4)에서 P(e(di)=1/di)과 P(e(di)=0/di)는 각각 상기 제 1 차이값 U(d_i)가 '1'이 될 확률과 '0'이 될 확률을 나타내고, 수학식 (5)에서 P(∇d_ji=1/s)와 P(∇d_ji=0/s)는 각각 상기 제 2 차이값 V(d_i, d_j)가 '1'이 될 확률과 '0'이 될 확률을 나타낸다. 또한, 상기 결정값 l_ij는 상기제 3 차이값이 기 설정된 값 미만이면 '1'로 설정하고 이상이면 '0'으로 설정할 수 있다.

마지막으로, 최종 디스패리티에 따른 맵이 주어지면 이 맵의 히스토그램과 함께 원하는 물체가 발췌된 이미지의 중앙 부분에위치해 있다는 가정을 종합하여 그 물체의 최종 디스패리티를 구하고 이를 이용하여 다음의 수학식 (6)에 따라 그 물체의 거리

를 구한다.

--- 수학식 (6)

수학식 (6)에서

는 관측물체의 최종 디스패리티이고,

와

카메라의 초점거리 및 두 카메라 간의 거리를 각각 나타낸다.

참고로, 본 실시예에서 적용된 수학식의 도출 과정에 대해 설명한다.

스테레오 매칭을 두개의 MRF즉, 기준 이미지의 좌표에 해당하는 디스패리티 맵 D와 디스패리티의 불연속점 S로 모델링한다. Bayesian 법칙에따라 스테레오 이미지 I와 J가 주어졌을 때 D, S에 대한 조건부 확률은 다음과 같이 표현할 수 있다.

이 식(7)에서,

라고 가정할 수 있으므로

를 최대화하는

를 구함으로써 원하는디스패리티 맵을 구할 수 있다. 그런데,

이고

와

는 각각 다음의 식(8)(9)와 같이 가정한다.

여기서

는 두 화소

와

간의 차이를 나타내고,

는 두 화소

의 디스패리티

와

의 차이를 나타낸다. 따라서

는 다음의 식(10)과 같이 정리할 수 있다.

그런데

는 세그멘테이션 정보

에 무관하므로

로 표현할 수 있다.

본 실시예에서는

와

는 다음과 같이 스테레오 정합에서 가장 보편적으로 사용되는 exponential 분포로 가정하였다.

결국, 디스패리티를 구하는 문제는 다음 식 (13)의 해를 구하는 문제로귀결된다.

이 식 (13)의 근을 구하는데 있어서 계산량을 줄이기 위해 다음과 같이 양 변에

를 취하면 다음의 식(14)와 같이 나타낼 수 있다.

그런데,

,

이므로식 (14)는 다음과 같이 나타낼수 있다.

(14)

여기서,

와

는 상수이어서 이를 제거해도 결과에는 영향을 주지 않는다. 또한, 양변을

로 나누면 식 (14)는 다음의 식(15)와 같이 간단히 정리할 수 있다.

여기서,

이다. 위 식을 최소화하는

를 찾아냄으로써 디스패리티를 구할 수 있다. 이 식을 식 (3)과 비교하면

이고

에 각각 해당하는 메트릭이다. 본 실시예에서는 구현의편의를 위하여

와

를 각각

,

으로 정의하였으며, 전 화소에 대한 디스패리티

를 추론하였다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구 성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의기술 사상을 예시적으로 설명한것에 불과한 것으로서, 본 발명이 속하는기술 분야에서 통상의지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나 지 않는 범위에서 다양한수정 및 변형이 가능할것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는아래의 청구범위에 의하여해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로해석되어야 할 것이다.

이상 설명한 바와 같이, 본 발명의 실시예에 따른 스테레오 카메라를 이용한 물체의거리 측정 방법은, 최근 스테레오 이미지에서 특정한 물체에 대하여 카메라와의 거리를 측정하고자 하는 연구가 급증하고 있으며, 그 응용분야 역시 계속 증가할 추세로, 예를 들어 해저나 심하게 오염되어 사람의 접근이 불가능한 지역 등에서 관측 물체를 스테레오 카메라로 촬영한 다음 원격에서 그 물체의 거리를 측정하고자 하는 응용 등에 적용되어, 고정된 알고리즘에 따른 방법으로 최적화된 디스패리티(disparity)를 구할 수 있고, 그 최적화된 디스패리티를 이용하여 카메라와 물체간의 거리를보다 정확하게 구할 수 있는 효과가 발생하는 매우 유용한 발명이다.

도 1은 본 발명의 실시예에 따른 스테레오 카메라를 이용한 물체의 거리 측정 방법의 흐름도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

S101: 스테레오 이미지 색상 조정 단계

S103: 거리 측정을 위한 입력 영상 발췌 단계

S105: 초기 디스패리티 추정 단계

S107: 최종 디스패리티를 추정하는 단계

S109: 거리 계산 단계

Claims (7)

1. 스테레오 카메라를 이용한물체의 거리 측정 방법에있어서,

   스테레오 카메라의 대응하는 제 1 및 제 2 영상에서 대응하는 제 1 및 제 2 화소간의 제 1 차이값을 근거로 초기 디스패리티를 추정하는 단계

   상기 제 1 차이값, 상기 제 1 화소와 인접 화소간의 제 n차 디스패리티의 제 2 차이값, 상기 제 1 차이값이 '0'이 될 확률과 '1'이 될 확률간의 제 1 비율 및 상기 제 2 차이값이 '0'이 될 확률과 '1'이 될 확률간의 제 2 비율에 따라 설정되는 상기 제 2 차이값에 대한 가중치, 및 상기 제 1 화소와 상기 인접 화소간의 제 3 차이값에 따라 상기 제 2 차이값의 제외 여부를 결정하는 결정값에 근거하여 제 n+1차 디스패리티를 추정하는 단계 및

   상기 n+1차 디스패리티에 근거하여 해당 카메라와 물체간의 거리를 산출하는 단계를 포함하고,

   상기 n은 자연수로서 상기 초기 디스패리티는 n=1일 경우의 제 1 차 디스패리티이고, 그 후 n을 기설정된 차수까지 순차 증가시켜 상기 제 n+1차 디스패리티를 추정하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.
2. 제 1 항에 있어서,

   상기 초기 디스패리티는 상기 제 1 차이값에 따라 생성된 디스패리티 스페이스 이미지(Disparity Space Image: DSI)에서

   

   (여기서, I는 영상을 구성하는 각 화소들의 집합)를 최소화하는 디스패리티이고, U(d_i)는 상기 제 1 차이값인 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.
3. 제 1 항에 있어서,

   상기 n+1차 디스패리티는

   

   (여기서, I는 영상을 구성하는 각 화소들의 집합, N은 i번째 화소에 인접한 화소들의 집합을 의미함)를 최소화하는 디스패리티이고, U(d_i)는 상기 제 1 차이값, V(d_i, d_j)는 상기 제 2 차이값, λ는 상기 가중치, l_ij는 상기 결정값을 나타내는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.
4. 제 3 항에 있어서,

   상기 가중치 λ는

   

   의 수식에 따라 산출되고,

   

   이고,

   

   이며, P(e(di)=1/di)과 P(e(di)=0/di)는 각각 상기 제 1 차이값이 '1'이 될 확률과 '0'이 될 확률, P(∇d_ji=1/s)와 P(∇d_ji=0/s)는 각각 상기 제 2 차이값이 '1'이 될 확률과 '0'이 될 확률을 나타내는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.
5. 제 3 항에 있어서,

   상기 결정값 l_ij는 상기 제 3 차이값이 기 설정된 값 미만이면 '1', 이상이면 '0'으로 설정하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의거리 측정 방법.
6. 제 1 항에 있어서,

   상기 거리는

   

   의 수식에 의해 산출되고, Z는 상기 거리, d는 상기 제 n+1차 디스패리티, f는 해당 카메라의 초점거리, B는 상기 스테레오 카메라의 두 카메라간의 거리를 나타내는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.
7. 제 1 항에 있어서,

   상기 초기 디스패리티를 추정하는 단계 전에, 상기 제 1 및 제 2 영상의 색상을 조정하는 단계를 수행하는 것을 특징으로 하는 스테레오 카메라를 이용한 물체의 거리 측정 방법.

Images