KR101692168B1 - 이종 스테레오 영상 간 매칭 장치 및 방법 - Google Patents

Abstract

이종 스테레오 영상 간 매칭 장치 및 방법이 개시된다. 개시된 장치는, 서로 다른 카메라에 의해 획득한 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정하고 서로 유사도가 높은 특징점들을 탐색하여 대응 특징점 세트를 생성하는 대응 특징점 세트 생성부; 상기 대응 특징점 세트에 포함된 대응 특징점들로의 변환을 위한 다수의 후보 변환 메트릭스를 생성하는 후보 변환 매트릭스 세트 생성부; 상기 다수의 후보 변환 매트릭스들 중 변환에 사용할 변환 매트릭스들을 선정하는 변환 매트릭스 세트 선정부; 상기 변환 매트릭스들 각각을 상기 제1 영상에 적용한 값과 제2 영상과의 차이값에 기초하는 코스트들을 픽셀별로 나타낸 코스트 맵을 생성하는 변환 매트릭스별 코스트 맵 생성부; 상기 제2 영상의 픽셀값의 기초하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 상기 코스트 맵의 코스트를 보정하는 코스트 맵 보정부; 상기 코스트 맵 보정부에서 보정된 코스트 맵에 기초하여 상기 제1 영상의 각 픽셀별로 적용할 변환 매트릭스를 선정하는 픽셀별 변환 매트릭스 선정부; 및 상기 픽셀별로 선정된 변환 매트릭스를 적용하여 제1 영상의 특정 픽셀에 대응되는 제2 영상의 매칭점을 탐색하는 매칭점 탐색부를 포함한다. 개시된 장치 및 방법에 의햐면, 높은 수행 속도로 이종 스테레오 영상간 매칭이 가능하고, 주변 픽셀들의 움직임을 고려하여 비교적 높은 정확도에 의해 이종 스테레오 영상간 매칭이 가능한 장점이 있다.

Description

이종 스테레오 영상 간 매칭 장치 및 방법{Method for Device for Matching Heterogenous Stereo Images}

본 발명의 실시예들은 이종 스테레오 영상 간 매칭 장치 및 방법에 관한 것으로서, 더욱 상세하게는 서로 다른 카메라에 의해 촬영된 스테레오 영상간 매칭을 수행하는 방법 및 장치에 관한 것이다.

근래에 들어, 카메라는 다양한 전자 제품에 탑재되어 사용되고 있다. 스마트폰에는 기본적으로 카메라가 탑재되고 있으며 근래에 들어 자동차를 포함하는 다양한 제품에 촬영 또는 센싱의 목적으로 카메라가 탑재되고 있다.

카메라의 가격이 낮아지면서 특정 객체와의 거리를 감지하기 위해 스테레오 카메라의 사용 역시 급증하고 있다. 스테레오 카메라를 이용하여 특정 객체를 촬영할 경우 해당 객체까지의 거리를 감지할 수 있으며 이를 다양한 용도로 활용하기 위해 스테레오 카메라가 다양한 전자 제품에 탑재되고 있다.

일반적으로 스테레오 카메라로는 동일한 종류의 카메라가 사용되며, 이는 동일한 종류의 카메라로 촬영을 하여야 스테레오 영상 간 매칭이 용이하기 때문이다.

그러나, 근래에 들어 스테레오 카메라로 이종 카메라를 사용하고자 하는 요구가 증가하고 있다. 스테레오 카메라를 사용하게 될 경우 어느 하나의 카메라는 순수하게 거리 감지 용도로만 사용되고 촬영 용도로는 사용되지 않기에 고가의 카메라 장비를 사용할 필요가 없다. 따라서, 제1 카메라로는 높은 품질을 가지는 카메라를 사용하나 제2 카메라로는 저가의 카메라를 사용하고자 하는 요구가 증가하고 있다. 아울러, 서로 다른 종류의 카메라를 스테레오 카메라로 사용하게 될 경우 다양한 추가 정보를 이를 통해 획득할 수 있으므로 이로 인한 이종 스테레오 카메라에 대한 사용 요구도 증가하고 있는 추세이다.

그러나, 이종 스트레오 카메라로 촬영한 이종 스테레오 영상은 색상 변화 및 기하학적 변화가 큰 문제로 인해 매칭에 상당한 시간이 소요되고 매칭을 위한 연산 복잡도가 증가하는 문제점이 있었다.

본 발명의 일 측면은 높은 수행 속도로 이종 스테레오 영상간 매칭이 가능한 장치 및 방법을 제안하는 것이다.

본 발명의 다른 측면은 주변 픽셀들의 움직임을 고려하여 비교적 높은 정확도에 의해 이종 스테레오 영상간 매칭이 가능한 장치 및 방법을 제안하는 것이다.

상기한 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 서로 다른 카메라에 의해 획득한 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정하고 서로 유사도가 높은 특징점들을 탐색하여 대응 특징점 세트를 생성하는 대응 특징점 세트 생성부; 상기 대응 특징점 세트에 포함된 대응 특징점들로의 변환을 위한 다수의 후보 변환 메트릭스를 생성하는 후보 변환 매트릭스 세트 생성부; 상기 다수의 후보 변환 매트릭스들 중 변환에 사용할 변환 매트릭스들을 선정하는 변환 매트릭스 세트 선정부; 상기 변환 매트릭스들 각각을 상기 제1 영상에 적용한 값과 제2 영상과의 차이값에 기초하는 코스트들을 픽셀별로 나타낸 코스트 맵을 생성하는 변환 매트릭스별 코스트 맵 생성부; 상기 제2 영상의 픽셀값의 기초하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 상기 코스트 맵의 코스트를 보정하는 코스트 맵 보정부; 상기 코스트 맵 보정부에서 보정된 코스트 맵에 기초하여 상기 제1 영상의 각 픽셀별로 적용할 변환 매트릭스를 선정하는 픽셀별 변환 매트릭스 선정부; 및 상기 픽셀별로 선정된 변환 매트릭스를 적용하여 제1 영상의 특정 픽셀에 대응되는 제2 영상의 매칭점을 탐색하는 매칭점 탐색부를 포함하는 이종 스테레오 영상간 매칭 장치가 제공된다.

상기 후보 변환 매트릭스 생성부는 상기 다수의 대응 특징점 중 미리 설정된 수의 상기 제1 영상의 특징점이 상기 제2 영상의 대응 특징점에 대응되도록 하기 위한 후보 변환 매트릭스를 생성한다.

상기 변환 매트릭스별 코스트 맵 생성부는 상기 변환 매트릭스별 코스트 맵 생성부는 상기 제1 영상에 대해 특정 변환 매트릭스를 적용하여 변환한 후 대상 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환하며 상기 제2 영상의 상기 대상 픽셀에 대응되는 대응 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환한다.

상기 변환 매트릭스별 코스트 맵 생성부는 상기 제1 영상에 대한 DASC 기술자와 상기 제2 영상에 대한 DASC 기술자의 차이값에 기초하여 코스트를 산출한다.

상기 코스트 맵 보정부는 Edge-aware 필터링을 이용하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 코스트를 보정한다.

본 발명의 다른 측면에 의하면, 서로 다른 카메라에 의해 획득한 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정하고 서로 유사도가 높은 특징점들을 탐색하여 대응 특징점 세트를 생성하는 단계(a); 상기 대응 특징점 세트에 포함된 대응 특징점들로의 변환을 위한 다수의 후보 변환 메트릭스를 생성하는 단계(b); 상기 다수의 후보 변환 매트릭스들 중 변환에 사용할 변환 매트릭스들을 선정하는 단계(c); 상기 변환 매트릭스들 각각을 상기 제1 영상에 적용한 값과 제2 영상과의 차이값에 기초하는 코스트들을 픽셀별로 나타낸 코스트 맵을 생성하는 단계(d); 상기 제1 영상의 픽셀값의 기초하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 상기 코스트 맵의 코스트를 보정하는 단계(e); 상기 코스트 맵 보정부에서 보정된 코스트 맵에 기초하여 상기 제1 영상의 각 픽셀별로 적용할 변환 매트릭스를 선정하는 단계(f); 및 상기 픽셀별로 선정된 변환 매트릭스를 적용하여 제1 영상의 특정 픽셀에 대응되는 제2 영상의 매칭점을 탐색하는 단계(g)를 포함하는 이종 스테레오 영상간 매칭 방법이 제공된다.

본 발명의 또 다른 측면에 의하면, 상술한 방법을 실행하기 위한 프로그램이 기록된 기록 매체가 제공된다.

본 발명에 의하면, 높은 수행 속도로 이종 스테레오 영상간 매칭이 가능하고, 주변 픽셀들의 움직임을 고려하여 비교적 높은 정확도에 의해 이종 스테레오 영상간 매칭이 가능한 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 이종 스테레오 영상간 매칭 장치의 구조를 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 대응 특징점 세트 생성부(110)의 구조를 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 변환 매트릭스 선정부의 구조를 도시한 블록도.
도 4는 본 발명의 일 실시예에 따른 변환 매트릭스별 코스트 맵 생성부의 상세 구조를 도시한 블록도.
도 5는 본 발명의 일 실시예에 따른 이종 스테레오 영상간 매칭 방법의 전체적인 흐름을 도시한 순서도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 이종 스테레오 영상간 매칭 장치의 구조를 도시한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이종 스트레오 영상간 매칭 장치는 영상 획득부(100) 대응 특징점 세트 생성부(110), 후보 변환 매트릭스 세트 생성부(120), 변환 매트릭스 세트 선정부(130), 변환 매트릭스별 코스트맵 생성부(140), 코스트 맵 보정부(150), 픽셀별 변환 매트릭스 선정부(160) 및 대칭점 탐색부(170)를 포함할 수 있다.

영상 획득부(100)는 제1 카메라로부터 획득하는 제1 영상 및 제2 카메라로부터 획득하는 제2 영상을 획득한다. 제1 카메라 및 제2 카메라는 서로 다른 종류의 카메라이다. 일례로, 제1 카메라는 고가의 카메라 장치이고, 제2 카메라는 제1 카메라에 비해 상대적으로 저가의 카메라 장치일 수 있다. 또 다른 예로, 제1 카메라는 RGB 필터를 사용하는 카메라일 수 있으며, 제2 카메라는 적외선 카메라를 사용하는 카메라일 수 있다.

동일한 카메라로부터 획득한 스테레오 영상과는 달리, 제1 영상 및 제2 영상은 서로 다른 카메라로부터 획득한 영상이기에 두 영상간 색상 변화 및 기하학적 변화가 크고 따라서 제1 영상 및 제2 영상의 매칭에는 복잡한 연산 및 상당한 시간이 소요되며, 본 발명은 이러한 연산 복잡도 및 연산 시간을 최소화할 수 있는 매칭 장치에 관한 것이다.

대응 특징점 세트 생성부(110)는 제1 영상 및 제2 영상에서 서로 대응되는 특징점 집합을 생성하는 기능을 한다.

도 2는 본 발명의 일 실시예에 따른 대응 특징점 세트 생성부(110)의 구조를 도시한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 대응 특징점 세트 선정부(110)는, 특징점 설정부(112), 매칭 특징점 탐색부(114) 및 매칭 특징점간 유사도 산출부(116)를 포함할 수 있다.

특징점 설정부(112)는 제1 영상 및 제2 영상에서 특정 포인트를 특징점으로 설정한다. 특징점의 개수는 임의로 설정될 수 있다. 일례로, 제1 영상에서 150개의 특징점이 설정될 수 있고 제2 영상에서 150개의 특징점이 설정될 수 있다. 특징점으로 설정되는 포인트 역시 임의로 정해질 수 있다. 일반적인 랜덤 함수를 이용하여 랜덤하게 특징점이 지정될 수 있으며 별도의 특징점 설정 알고리즘을 적용하여 특징점을 설정할 수도 있을 것이다.

매칭 특징점 탐색부(114)는 제1 영상의 특정 특징점과 매칭되는 제2 영상의 특정 특징점을 탐색하는 기능을 한다. 제1 영상 및 제2 영상에서 설정되는 특징점들은 임의로 설정되는 점들이기에 제1 영상의 특정 특징점에 정확히 매칭되는 특징점이 제2 영상에 존재하지 않을 가능성이 더 높다. 매칭 특징점 탐색부(114)에서 탐색하는 매칭 특징점은 정확한 매칭이 이루어지는 특징점이 아니라 가장 유사도가 높은 특징점으로 이해하는 것이 바람직하다.

예를 들어, 매칭 특징점 탐색부(114)는 제1 영상의 특정 특징점과 가장 유사한 제2 영상의 150개의 특징점 중 하나를 탐색하는 동작을 수행하는 것이다.

매칭 특징점 탐색부(114)는 제1 영상 및 제2 영상의 특징점들간의 매칭 특징점 세트를 최종적으로 생성한다.

매칭 특징점간 유사도 산출부(116)는 매칭 특징점으로 설정된 특징점들간의 유사도를 산출한다. 매칭 특징점간의 유사도를 산출하고, 산출된 유사도가 미리 설정된 임계치 이상일 경우 두 개의 특징점을 대응 특징점으로 설정한다. 일례로, 특징점간 유사도는 각 특징점의 SIFT 기술자에 대한 유사도일 수 있다.

유사도가 임계치 이상인 대응 특징점은 다수개가 설정될 수 있으며, 이를 대응 특징점 세트로 선정한다.

후보 변환 매트릭스 세트 생성부(120)는 제1 영상을 제2 영상에 대응시키기 위한 다수의 후보 변환 매트릭스를 생성한다. 제1 영상을 제2 영상에 대응시키기 위한 후보 변환 매트릭스는 대응 특징점 세트의 대응 특징점들을 이용하여 설정한다.

일례로, 후보 변환 매트릭스는 미리 설정된 수의 제1 영상의 특징점(대응 특징점 세트에 포함된 특징점)을 제2 영상의 대응 특징점으로 매칭시키기 위한 변환 매트릭스일 수 있으며, 보다 구체적으로 3개의 제1 영상의 특징점을 3개의 제2 영상의 대응 특징점으로 매칭시키기 위한 변환 매트릭스를 후보 변환 매트릭스로 설정한다.

이러한 후보 변환 매트릭스는 다수개가 설정될 수 있으며 대응 특징점 세트에 포함된 특징점의 수가 많을수록 후보 변환 매트릭스의 수는 더 많아질 수 있다.

다음의 수학식 1은 본 발명의 일 실시예에 따른 후보 변환 매트릭스의 일례를 표현한 것이다.

위 수학식에서 T는 후보 변환 매트릭스를 의미하고 i는 각 후보 변환 매트릭스를 식별하기 위한 인덱스이며, R(i)는 2X2 형태의 회전 매트릭스로서 제1 영상의 특징점들을 제2 영상의 특징점들에 대응시키기 위한 회전 정보를 포함하는 매트릭스이다. t(i)는 2X1 매트릭스로서 제1 영상의 특징점들을 제2 영상의 특징점들에 대응시키기 위한 좌표 이동 정보를 포함하는 매트릭스이다.

는 1X2 제로 매트릭스이다.

변환 매트릭스 세트 선정부(130)는 후보 변환 매트리스 세트에 포함된 후보 변환 메트릭스들 중 대칭점 매칭에 사용할 변환 매트릭스들을 선정하는 기능을 한다.

다수의 후보 변환 매트릭스가 대응 특징점들로부터 설정될 수 있으나 상당수의 후보 변환 매트릭스는 유사한 변환 형태를 가지게 되며 변환 매트릭스 세트 선정부는 다양한 후보 변환 매트릭스 중 변환을 대표할 수 있는 후보 변환 매트릭스들을 변환에 사용할 변환 매트릭스로 선정한다.

도 3은 본 발명의 일 실시예에 따른 변환 매트릭스 선정부의 구조를 도시한 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 변환 매트릭스 선정부는 클러스터링부(132) 및 선정부(134)를 포함한다.

클러스터링부(132)는 유사한 후보 변환 매트릭스들에 대한 클러스터링을 수행한다. 본 발명의 일 실시예에 따르면, K-means 클러스터링이 유사한 후보 변환 매트릭스들에 대한 클러스터를 형성하는데 사용될 수 있으나 이에 한정되는 것은 아니며 다양한 클러스터링 방법이 적용될 수 있을 것이다.

선정부(134)는 클러스터에 포함되는 후보 변환 매트릭스들 중 다른 후보 변환 매트릭스들과의 차이값을 최소화할 수 있는 후보 변환 매트릭스를 변환에 사용할 변환 매트릭스로 선정한다.

선정부(134)에서 변환 매트릭스를 선정하는 알고리즘은 다음의 수학식 2와 같이 표현될 수 있다.

위 수학식 2에서, vec는 매트릭스의 벡터화를 의미하고,

은 선정되는 변환 매트릭스를 의미하고

는 후보 변환 매트릭스를 의미한다.

선정부(134)에 의해 선정되는 변환 매트릭스 세트는 다음의 수학식 3과 같이 표현될 수 있다.

변환 매트릭스 세트가 선정되면, 변환 매트릭스별 코스트 맵 생성부(140)는 변환 매트릭스별로 픽셀별 코스트(Cost) 정보를 포함하는 코스트 맵(map)을 생성한다.

코스트 맵은 해당 변환 매트릭스를 통해 제1 영상을 변환하였을 때 픽셀별로 대응되는 제2 영상과의 차이값을 맵으로 표현한 것이다. 특정 픽셀에서는 해당 변환 매트릭스에 의한 코스트가 작을 수 있으며 특정 픽셀에서는 해당 변환 매트릭스에 의한 코스트가 클 수 있을 것이다.

이와 같은 코스트맵은 변환 매트릭스 세트에 포함된 모든 변환 매트릭스에 대해 생성된다.

도 4는 본 발명의 일 실시예에 따른 변환 매트릭스별 코스트 맵 생성부의 상세 구조를 도시한 블록도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 변환 매트릭스별 코스트 맵 생성부는 제1 영상 픽셀 변환부(142), DASC 기술자 변환부(144) 및 코스트 산출부(146)를 포함할 수 있다.

제1 영상 픽셀 변환부(142)는 제1 영상의 픽셀에 대해 변환 매트릭스를 적용하여 변환을 수행한다.

DASC(Dense Adaptive Self Correlation) 기술자 변환부(144)는 제1 영상 픽셀 변환부(142)에 의해 변환된 값을 DASC 기술자로 변환한다. DASC 기술자는 널리 알려진 기술자이므로 이에 대한 상세한 설명은 생략한다.

본 발명의 일 실시예에 따르면, DASC 기술자 변환부(144)는 제1 영상에 대해 변환 매트릭스를 적용하여 변환한 후 대상 픽셀을 중심으로 미리 설정된 윈도우 영역을 DASC 기술자로 변환한다.

또한, DASC 기술자 변환부(144)는 제2 영상의 대응 픽셀에 대해서도 DASC 기술자로 변환을 수행한다.

코스트 산출부(146)는 제1 영상의 DASC 기술자와 제2 영상의 DASC 기술자 사이의 차이값에 기초하여 코스트를 산출한다. 코스트 산출부(146)는 모든 픽셀에 대해 코스트를 산출하며 픽셀별 코스트값에 기초하여 코스트 맵이 생성된다.

코스트 맵 보정부(150)는 생성된 변환 매트릭스별 코스트 맵을 보정한다. 코스트 맵의 보정은 제2 영상의 픽셀값에 기초하여 이루어진다. 본 발명의 일 실시예에 따르면, 유사한 픽셀값을 가진 픽셀들은 유사한 코스트를 가지도록 코스트 맵을 보정한다. 이와 같은 코스트 맵 보정은 제2 영상을 기준으로 소정의 윈도우 단위로 이루어질 수 있다.

예를 들어, 픽셀 A, B, C, D는 동일한 픽셀값을 가지나 코스트는 6, 6, 6, 2로 서로 다를 수 있다. 이와 같은 경우, 유사한 픽셀값을 가진 픽셀들은 유사한 코스트를 가지도록 코스트 맵 보정이 이루어지며 일례로 코스트가 6, 6, 6, 2에서 6, 6, 6, 5.5로 변환되도록 코스트 맵 보정이 이루어지는 것이다.

본 발명의 바람직한 실시예에 따르면, 이와 같은 코스트 맵 보정을 위해 edge-aware 필터링이 이용될 수 있다.

Edge-aware 필터링을 이용한 코스트 맵 보정은 다음의 수학식 4와 같이 표현될 수 있다.

위 수학식 4에서, 은 코스트 맵이고, p와 q는 픽셀 인덱스, l은 변환 매트릭스 인덱스이며, Wp는 코스트 변환을 위한 윈도우 영역을 의미하고,

는 픽셀 q,p에 부가되는 가중치를 의미한다. 두 픽셀 p,q가 유사할수록 가중치는 높게 설정된다.

픽셀별 변환 매트릭스 선정부(160)는 보정된 코스트 맵의 코스트에 기초하여 픽셀별 변환 매트릭스를 선정한다. 픽셀별 변환 매트릭스 선정부(150)는 각 픽셀에 대해 가장 낮은 코스트를 가지는 코스트 맵에 상응하는 변환 매트릭스를 해당 픽셀에 대한 변환 매트릭스로 선정한다.

매칭점 탐색부(170)는 각 픽셀별로 선정된 변환 매트릭스를 이용하여 변환을 수행하여 제1 영상의 각 픽셀에 대응되는 제2 영상의 매칭점을 탐색한다.

도 5는 본 발명의 일 실시예에 따른 이종 스테레오 영상간 매칭 방법의 전체적인 흐름을 도시한 순서도이다.

도 5를 참조하면, 우선 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정한다(단계 500).

특징점 설정이 완료되면, 제1 영상 및 제2 영상간 서로 유사도가 높은 대응 특징점 세트를 선정한다(단계 502).

대응 특징점 세트가 선정되면, 대응 특징점 세트에 포함된 대응 특징점들을 이용하여 다수의 후보 변환 매트릭스들을 생성한다(단계 504). 앞서 설명한 바와 같이, 제1 영상의 다수의 특징점이 제2 영상의 다수의 특징점에 대응되도록 다수의후보 변환 매트릭스들을 생성한다.

다수의 후보 변환 매트릭스들에 대한 클러스터링을 통해 영상 변환에 이용할 변환 매트릭스들을 선정한다(단계 506).

변환 매트릭스들이 선정되면, 변환 매트릭스를 제1 영상에 적용하여 변환된 영상과 제2 영상과의 차이값에 기초하는 변환 매트릭스별 코스트맵을 생성한다(단계 508). 앞서 설명한 바와 같이, 제1 영상의 대상 픽셀을 기초로 소정의 윈도우 영역을 변환한 값의 DASC 기술자와 제2 영상의 대응 픽셀을 기초로 소정의 윈도우 영역을 변환한 값의 DASC 기술자의 차이값을 이용하여 코스트 맵을 생성한다.

코스트 맵 생성이 완료되면, 생성된 코스트 맵을 보정한다(단계 510). 코스트 맵 보정은 유사한 픽셀값을 가지는 픽셀들의 코스트는 유사한 값을 가지도록 보정이 이루어진다.

코스트 캡 보정이 이루어지면, 보정된 코스트 맵의 코스트에 기초하여 픽셀별 변환 매트릭스를 선정한다(단계 512). 각 픽셀에 대해 가장 낮은 코스트를 가지는 코스트 맵에 상응하는 변환 매트릭스를 해당 픽셀에 대한 변환 매트릭스로 선정한다.

픽셀 별 변환 매트릭스가 선정되면, 선정된 변환 매트릭스를 이용하여 제1 영상의 각 픽셀에 대응되는 제2 영상의 매칭점을 탐색한다(단계 514).

상술한 바와 같은 본 발명의 실시예에 따르면, 소수의 특징점을 이용하여 변환 매트릭스를 설정하기 때문에 높은 수행 속도로 스테레오 영상간 매칭이 가능하다. 또한, 주변 픽셀들의 움직임을 고려하여 매칭을 수행하기 때문에 비교적 높은 정확도로 매칭이 가능한 장점이 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

1. 서로 다른 카메라에 의해 획득한 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정하고 서로 유사도가 높은 특징점들을 탐색하여 대응 특징점 세트를 생성하는 대응 특징점 세트 생성부;
   상기 대응 특징점 세트에 포함된 대응 특징점들로의 변환을 위한 다수의 후보 변환 메트릭스를 생성하는 후보 변환 매트릭스 세트 생성부;
   상기 다수의 후보 변환 매트릭스들 중 변환에 사용할 변환 매트릭스들을 선정하는 변환 매트릭스 세트 선정부;
   상기 변환 매트릭스들 각각을 상기 제1 영상에 적용한 값과 제2 영상과의 차이값에 기초하는 코스트들을 픽셀별로 나타낸 코스트 맵을 생성하는 변환 매트릭스별 코스트 맵 생성부;
   상기 제2 영상의 픽셀값의 기초하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 상기 코스트 맵의 코스트를 보정하는 코스트 맵 보정부;
   상기 코스트 맵 보정부에서 보정된 코스트 맵에 기초하여 상기 제1 영상의 각 픽셀별로 적용할 변환 매트릭스를 선정하는 픽셀별 변환 매트릭스 선정부; 및
   상기 픽셀별로 선정된 변환 매트릭스를 적용하여 제1 영상의 특정 픽셀에 대응되는 제2 영상의 매칭점을 탐색하는 매칭점 탐색부를 포함하되,
   상기 변환 매트릭스별 코스트 맵 생성부는 상기 제1 영상에 대해 특정 변환 매트릭스를 적용하여 변환한 후 대상 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환하며 상기 제2 영상의 상기 대상 픽셀에 대응되는 대응 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 장치.
   
2. 제1항에 있어서,
   상기 후보 변환 매트릭스 생성부는 상기 다수의 대응 특징점 중 미리 설정된 수의 상기 제1 영상의 특징점이 상기 제2 영상의 대응 특징점에 대응되도록 하기 위한 후보 변환 매트릭스를 생성하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 장치.
3. 삭제
4. 제1항에 있어서,
   상기 변환 매트릭스별 코스트 맵 생성부는 상기 제1 영상에 대한 DASC 기술자와 상기 제2 영상에 대한 DASC 기술자의 차이값에 기초하여 코스트를 산출하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 장치.
5. 제1항에 있어서,
   상기 코스트 맵 보정부는 Edge-aware 필터링을 이용하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 코스트를 보정하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 장치.
6. 서로 다른 카메라에 의해 획득한 제1 영상 및 제2 영상에 대해 임의로 특징점을 설정하고 서로 유사도가 높은 특징점들을 탐색하여 대응 특징점 세트를 생성하는 단계(a);
   상기 대응 특징점 세트에 포함된 대응 특징점들로의 변환을 위한 다수의 후보 변환 메트릭스를 생성하는 단계(b);
   상기 다수의 후보 변환 매트릭스들 중 변환에 사용할 변환 매트릭스들을 선정하는 단계(c);
   상기 변환 매트릭스들 각각을 상기 제1 영상에 적용한 값과 제2 영상과의 차이값에 기초하는 코스트들을 픽셀별로 나타낸 코스트 맵을 생성하는 단계(d);
   상기 제2 영상의 픽셀값의 기초하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 상기 코스트 맵의 코스트를 보정하는 단계(e);
   상기 코스트 맵 보정부에서 보정된 코스트 맵에 기초하여 상기 제1 영상의 각 픽셀별로 적용할 변환 매트릭스를 선정하는 단계(f); 및
   상기 픽셀별로 선정된 변환 매트릭스를 적용하여 제1 영상의 특정 픽셀에 대응되는 제2 영상의 매칭점을 탐색하는 단계(g)를 포함하되,
   상기 단계(d)는 상기 제1 영상에 대해 특정 변환 매트릭스를 적용하여 변환한 후 대상 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환하며 상기 제2 영상의 상기 대상 픽셀에 대응되는 대응 픽셀을 기준으로 소정의 윈도우 영역을 DASC 기술자로 변환하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 방법.
   
7. 제6항에 있어서,
   상기 단계(b)는 상기 다수의 대응 특징점 중 미리 설정된 수의 상기 제1 영상의 특징점이 상기 제2 영상의 대응 특징점에 대응되도록 하기 위한 후보 변환 매트릭스를 생성하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 방법.
8. 삭제
9. 제6항에 있어서,
   상기 단계(d)는 상기 제1 영상에 대한 DASC 기술자와 상기 제2 영상에 대한 DASC 기술자의 차이값에 기초하여 코스트를 산출하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 방법.
10. 제6항에 있어서,
    상기 단계(e)는 Edge-aware 필터링을 이용하여 유사한 픽셀값을 가지는 픽셀들의 코스트가 유사해지도록 코스트를 보정하는 것을 특징으로 하는 이종 스테레오 영상간 매칭 방법.
11. 제6항의 방법을 실행하기 위해 컴퓨터 실행 가능한 프로그램이 기록된 기록 매체.
    
    
    
    

Images