Nothing Special   »   [go: up one dir, main page]

KR100930286B1 - 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법 - Google Patents

변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법 Download PDF

Info

Publication number
KR100930286B1
KR100930286B1 KR1020070136756A KR20070136756A KR100930286B1 KR 100930286 B1 KR100930286 B1 KR 100930286B1 KR 1020070136756 A KR1020070136756 A KR 1020070136756A KR 20070136756 A KR20070136756 A KR 20070136756A KR 100930286 B1 KR100930286 B1 KR 100930286B1
Authority
KR
South Korea
Prior art keywords
cost function
pixels
function
resolution
pixel
Prior art date
Application number
KR1020070136756A
Other languages
English (en)
Other versions
KR20090068943A (ko
Inventor
손광훈
민동보
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070136756A priority Critical patent/KR100930286B1/ko
Publication of KR20090068943A publication Critical patent/KR20090068943A/ko
Application granted granted Critical
Publication of KR100930286B1 publication Critical patent/KR100930286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법이 개시된다. 개시된 방법은 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 파라미터로 하는 에너지 함수를 설정하는 단계; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계를 포함한다.
비용함수, 변이

Description

변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법{Method for Calculating Cost Function and Handling Occluded area in Disparity Estimation}
본 발명은 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법에 관한 것으로서 더욱 상세하게는 보다 정확하고 빠르게 변이 추정을 하기 위한 비용 함수 연산 방법 및 가려진 영역 처리 방법에 관한 것이다.
변이 추정은 두 개 이상의 카메라를 이용해 정보를 얻고 이 정보를 이용하여 영상의 깊이 정보를 추정하는 일련의 과정을 의미한다.
도 1은 변이 추정을 위한 스테레오 구조를 도시한 도면이다.
도 1을 참조하면, C1 및 C2는 각각 렌즈 중심을 나타내고, b는 베이스라인, f는 렌즈와 영상 평면간의 초점 거리를 나타낸다. 3차원 물체의 한 점 W는 렌즈 중심을 통해 각각 p와q에 나타나며, f와 b의 값에 따라 3차원 위치가 정해진다. 변이값 d는 d1와 d2의 차이로 정의되며, 다음의 수학식 1과 같이 표현된다.
Figure 112007092804453-pat00001
위 수학식 1에서, d1와 d2는 렌즈 중심과 픽셀 p와 픽셀 q와의 x축 거리를 나타내고, px, qx는 각 픽셀에 대한 x축상의 좌표값을 각각 나타낸다. b와 초점거리 f를 상수라고 볼 때 깊이 Z와 변이값 d는 반비례 관계임을 알 수 있으며 변이값을 통해 영상의 깊이 정보를 획득할 수 있다.
변이를 추정하는 과정은 상당히 많은 계산량을 요구하며 단순화를 위해 여러 가지 제약 조건이 이용되고 있다. 예를 들어, 엘리폴라 제약, 유일성 제약, 연속성 제약 등과 같은 제약 조건이 이용된다.
변이 추정은 크게 국부 방식과 전역 방식으로 분류될 수 있다. 국부 방식은 속도가 빠르다는 장점이 있으나 정확성이 떨어지고, 반대로 전역 방식은 정확도는 뛰어나지만 연산 속도가 느리다는 단점이 있다. 최근 전역 방식의 단점인 속도를 개선하기 위한 알고리즘들의 연구가 활발히 진행중이고 그래프 컷을 이용한 스테레오 정합이나 확률 모델에 근거한 신뢰 확산 알고리즘 등이 제안되었다.
근래에 들어, 영상 처리의 문제는 에너지 최소화로 접근하고 있다. 이러한 접근 방식은 요구되는 문제에 적절한 에너지 함수를 정의하고 이 에너지를 최소화시키는 변수를 추정하는 것이 주된 작업이다.
영상 처리에 있어서, 모든 픽셀에는 레이블이 할당되며, 레이블을 할당하는 과정을 레이블 과정이라 한다. 변이 추정 시 레이블은 변이값에 해당된다. 다시 말해, 레이블링 과정이란 모든 픽셀에 변이값을 할당하는 과정이고 정의된 에너지를 최소화시키는 레이블 과정을 찾는 것이 최대 목표라 할 수 있다.
변이 추정 과정은 스테레오 영상으로부터 픽셀 차를 획득하는 과정과 픽셀차를 이용하여 비용 함수를 연산하는 과정 및 비용 함수를 이용한 최적화 과정을 통해 최종적인 변이를 연산하는 과정으로 이루어지는 것이 일반적이다.
효과적인 변이 추정을 위해 비용 함수에 대한 다양한 알고리즘이 제시되어 있으나 종래의 방식은 주변 픽셀의 정보를 효율적으로 활용하지 못하고 많은 계산량으로 인해 처리가 늦어지는 문제점이 있었다.
한편, 스테레오 영상에 대한 변이 추정 시 각 영상에서 가려진 픽셀에 대한 처리도 중요한 이슈이다.
스테레오 영상에서 어느 한 영상에만 존재하는 영역의 픽셀에 대해서는 변이 정보가 존재하지 않으므로 적절한 변이값을 할당하여야 한다. 또한, 스테레오 영상에서 적절하게 가려진 영역을 검출하는 것도 문제가 된다.
종래에 있어서, 가려진 영역을 검출하기 위해 좌영상과 우영상을 서로 체크하는 크로스 체킹 방식이 이용되었다. 이러한 크로스 체킹 방식은 많은 계산량을 요구하고 처리가 늦어지는 문제점이 있었다.
또한, 종래에는 검출된 가려진 영역의 픽셀에 대해 미리 지정된 값이 부여되었으나, 이러한 미리 지정된 값을 부여하는 것은 변이 추정 시의 오류 중 하나로 작용하였다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명에서는 변이 추정 시 주변 픽셀의 정보를 보다 효율적으로 활용한 최적의 비용 함수를 획득하기 위한 방법을 제안하고자 한다.
본 발명의 다른 목적은 계산량을 감소시킴으로써 보다 빠른 시간에 비용함수를 획득하기 위한 방법을 제안하는 것이다. .
본 발명의 또 다른 목적은 변이 추정 시에 가려진 영역의 픽셀을 보다 효율적으로 검출하기 위한 방법을 제안하는 것이다.
본 발명의 또 다른 목적은 주변 픽셀의 정보를 이용하여 가려진 영역에 적절한 변이를 할당하는 방법을 제안하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계; 상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 파라미터로 하는 에너지 함수를 설정하는 단계; 상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계를 포함하는 변이 추정 시 최적 비용 함수 연산 방법이 제공된다.
상기 인접하는 픽셀과 해당 픽셀간의 픽셀 포인트 차이는 2 이상인 것이 바람직하다.
상기 에너지 함수 e(E)는 다음의 수학식과 같이 설정된다.
Figure 112007092804453-pat00002
위 수학식에서 E(p)는 추정되는 최적 비용 함수이고 e(p)는 픽셀 당 비용함수이며, w는 인접 픽셀간의 화소값에 상응하는 가중치 함수이고, n 및 은 상호 직교하는 2차원 벡터이며, M은 인접 픽셀의 사이즈임.
상기 가중치 함수 w는 인접 픽셀과의 화소값의 차이와 반비례하는 값을 출력한다.
상기 에너지 함수를 최소로 하는 최적 비용 함수의 연산은 다음의 수학식에 대한 반복 연산에 의해 연산될 수 있다.
위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임.
상기 반복 계산에 의한 비용 함수 연산 시 이웃 픽셀을 Nc(p)와 Nn(p)로
Figure 112007092804453-pat00003
분류하여 갱신된 최신의 정보를 반영하여 연산할 수 있다.
Figure 112007092804453-pat00004
위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임.
상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계는, 제1 해상도의 원본 영상에 비해 저 해상도인 제2 해상도의 영상을 획득하는 단계; 상기 제2 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및 상기 제2 해상도의 최적 비용 함수를 제1 해상도의 원본 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함할 수 있다.
상술한 방법은, 상기 제2 해상도의 영상에 비해 저해상도인 제3 해상도의 영상을 획득하는 단계; 및 상기 제3 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및 상기 제3 해상도의 영상에 대한 최적 비용 함수를 상기 제2 해상도의 영상에 대한 최적 비용 함수 연산 시 초기치로 활용하는 단계를 더 포함할 수 있다.
상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행할 수 있다.
상기 저 해상도의 비용 함수를 고 해상도의 비용 함수 연산 시 초기치로 활용할 때, 상기 저 해상도의 비용 함수는 가중치에 기반한 방식으로 보간되어 고 해 상도로 업샘플링되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
상기 가중치에 기반한 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
Figure 112007092804453-pat00005
상술한 방법은. 가려진 영역의 픽셀을 검출하는 단계; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 더 포함할 수 있다.
상기 가려진 영역의 픽셀을 검출하는 단계는, 싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계; 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계; 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계; 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계; 및 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함할 수 있다.
상기 가려진 픽셀들에 대한 비용 함수를 연산하는 단계는, 상기 중복 매칭되 는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(O(l))로 제 1값을 할당하는 단계; 상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(O(l))로 제2 값을 할당하는 단계; 상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함할 수 있다.
상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산될 수 있다.
Figure 112007092804453-pat00006
본 발명의 다른 측면에 따르면, 제1 해상도를 가지는 원본 영상의 해상도에 비해 해상도가 작은 적어도 하나 이상의 (N+1)해상도를 가지는 영상을 획득하는 단계; 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 연산하는 단계; 및 상기 (N+1)해상도 영상에 대한 최적 비용 함수를 N 해상도를 가지는 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계; 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및 상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이 를 추정하는 단계를 포함하는 변이 추정 시 가려진 영역 처리 방법이 제공된다.
본 발명에 의하면, 변이 추정 시 주변 픽셀의 정보를 보다 효율적으로 활용한 최적의 비용 함수를 획득할 수 있는 장점이 있다.
또한, 본 발명은 비용 함수 연산 시 갱신된 최신의 주변 픽셀의 정보를 활용하도록 함으로써 계산량의 감소로 인해 보다 빠른 시간에 비용함수를 획득할 수 있는 장점이 있다.
또한, 본 발명은 다해상도 접근 방식을 이용하여 비용 함수 연산 시의 반복 계산의 횟수를 줄일 수 있는 장점이 있다.
또한, 본 발명은 변이 추정 시에 가려진 영역의 픽셀을 보다 효율적으로 검출할 수 있으며, 주변 픽셀의 정보를 이용하여 가려진 영역에 적절한 변이를 할당할 수 있는 장점이 있다.
이하에서, 첨부된 도면을 참조하여 본 발명에 의한 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리 방법의 바람직한 실시예를 상세히 설명한다.
I. 에너지 함수의 설정 및 비용 함수의 연산
본 발명의 실시예에 따르면, 에너지 함수를 설정하고 설정된 에너지 함수를 이용하여 최적의 비용 함수를 획득한다. 본 실시예에서는 스테레오 영상인 좌영상과 우영상이 사용되는 경우에 대해 설명하나, 둘 이상의 영상이 사용되는 경우에 본 발명이 적용될 수 있다는 점은 당업자에게 있어 자명할 것이다.
좌영상과 우영상에 대해 픽셀차가 연산되며, 각 픽셀에 대한 픽셀당 비용함수를 e(p,d)로 정의하고, p는 픽셀을 의미하고 d는 변이를 의미한다. 추정되는 최적의 비용함수는 E(p,d)로 정의하며 최적의 비용함수와 픽셀당 비용 함수는 다음의 수학식 2와 같은 관계가 있다.
Figure 112007092804453-pat00007
위 수학식 2에서 n은 노이즈를 의미한다. 이하에서는 E(p,d)는 E(p)로 표현하기로 하며, 이는 모든 변이에 대해 같은 절차가 수행되기 때문이다.
본 발명의 실시예에서는 추정되는 최적의 비용함수와 픽셀당 비용함수의 차 및 비용함수의 변화량 및 화소값의 변화량을 파라미터로 하는 에너지 함수를 제안한다.
본 발명의 에너지 함수는 비용함수의 변화량 및 화소값의 변화량을 연산 시 주변 화소의 정보를 충분히 활용하도록 한다.
다음의 수학식 3은 본 발명에서 제안되는 에너지 함수를 표현한 수학식이다.
Figure 112007092804453-pat00008
위 수학식 3에서, w는 가중치 함수이며 이웃 픽셀들의 화소값에 대한 가중치 를 부여한다. w는 p와 p+n 사이의 화소값의 차가 클수록 더 작은 가중치가 부여되도록 하며, 화소값의 차이가 작을수록 더 큰 가중치가 부여되도록 한다. 즉, 화소값의 차이에 반비례하는 가중치가 부여되는 것이다.
또한, 해당 픽셀과 이웃 픽셀 사이의 비용 함수 차이값이 연산되며, 이 비용함수 차이값에 전술한 가중치가 곱해진다.
위 수학식 3에서, n 및
Figure 112007092804453-pat00009
은 서로 직교하는 2차원 벡터이다.
도 1은 본 발명의 에너지 함수 및 최적 비용함수 연산 시 고려되는 이웃 픽셀의 범위를 도시한 도면이다.
수학식 3 및 도 1에서 M은 에너지 함수에서 고려되는 이웃 픽셀 집합의 사이즈를 나타낸다. 도 1에서, 2차원 벡터 n 및
Figure 112007092804453-pat00010
의 크기는 최대 사이즈인 M까지 설정될 수 있다.
본 발명의 바람직한 실시예에 따르면, 이웃 픽셀의 사이즈 M은 2 이상인 것이 바람직하다.
도 2는 N1이 (1,0)인 경우의 변이 지도를 도시한 것으로서, (a)는 스테레오 이미지 패어이고, (b)는 변이가 0일 때의 픽셀 당 비용 함수 (c)는 변이가 6일 때의 픽셀 당 비용 함수이며, 이웃 픽셀 사이즈가 작을 경우 변이 필드에 대한 결과가 만족스럽지 않음을 확인할 수 있다.
비용 함수는 수학식 3과 같은 에너지 함수를 최소로 하는 값이며, 비용함수를 구하기 위해 수학식 3을 E에 대해 미분하면 다음과 같다.
Figure 112007092804453-pat00011
위 수학식 4에서.
Figure 112007092804453-pat00012
및
Figure 112007092804453-pat00013
는 -n 및
Figure 112007092804453-pat00014
에 대한 1차 미분 연산자를 나타낸다. 위 수학식 4는 다음의 수학식 5와 같이 표현될 수 있다.
Figure 112007092804453-pat00015
위 수학식을 단순화하기 위해 이웃 픽셀의 집합을 재정의한다. p를 (x,y)라고 할 때, 이웃 픽셀의 집합은 다음의 수학식 6과 같이 표현될 수 있다.
Figure 112007092804453-pat00016
위 수학식 6을 이용하여, 수학식 5는 다음의 수학식 7과 같이 표현될 수 있다.
Figure 112007092804453-pat00017
위 수학식 7에서, 가중치 함수인 w는 다음의 수학식 8과 같이 대칭적이라고 가정한다.
Figure 112007092804453-pat00018
위 수학식 7에서, E(p)를 구하기 위해 반복 계산법(Iteration)을 이용한다. (k+1)번째 반복 계산의 해는 다음의 수학식 9와 같이 표현된다.
Figure 112007092804453-pat00019
위 수학식 9는 정규화된 픽셀 당 비용함수와 이웃한 픽셀들의 비용을 가중치 평균한 비용 함수로 구성되어 있다. 반복 계산을 수행함으로써 비용함수 E(p)는 주변의 이웃한 점들의 비용 함수에 의해 정규화된다.
본 발명의 일 실시예에 따르면, CIE-Lab을 이용한 비대칭적인 가우시안 가중치 함수가 사용될 수 있다.rc와 rs는 각각 컬러와 공간상의 거리에 대한 가중치 상 수일 때 가중치 함수는 다음의 수학식 10과 같이 표현될 수 있다.
Figure 112007092804453-pat00020
II. 비용함수의 연산을 가속화하기 위한 실시예
상술한 실시예는 새로운 방식의 에너지 함수를 제안하고 이를 이용하여 최적화된 비용함수를 연산하는 방식에 관한 것이었다.
본 섹션에서는 상술한 비용함수에 대한 연산을 가속화하기 위한 실시예들에 대해 살펴보기로 한다.
먼저, 가우스-사이들(Gauss-Seidel)을 이용한 연산 가속화에 대해 살펴보기로 한다.
수학식 9와 같이 반복 계산에 의해 비용 함수를 연산할 때, 연산 속도는 여러가지 요인으로 인해 지연될 수 있다. 연산이 지연되는 가장 큰 요인 중 하나는 수학식 9에 의한 반복 계산 시 갱신된 가장 최신의 정보를 이용하지 않는다는 점이다.
갱신된 픽셀 정보는 한 번의 반복 계산이 완료된 후에야 반영된다. 이와 같은 문제점은 반복 계산 시 갱신된 픽셀 정보를 즉시 반영하도록 함으로써 보상될 수 있다.
반복 계산이 영상의 좌측에서 우측으로 또한 위에서 아래로 수행된다고 가정 할 때, 이웃 픽셀 집합인 N(p)를 두 개의 파트로 구분한다.
도 4는 본 발명의 일 실시예에 따른 이웃 픽셀의 집합인 N(p)를 두 개의 파트로 구분한 예로서, 도 4를 참조하면, N(p)는 제1 파트(400)인 Nc(p) 및 제2 파트(402)인 Nn(p)로 구분된다.
이때, 수학식 9는 다음의 수학식 11과 같이 표현될 수 있다.
Figure 112007092804453-pat00021
수학식 11을 이용하여 비용함수를 연산할 경우, 최신의 픽셀 정보를 이용하여 비용함수를 연산하는 바, 반복 계산 시 값의 수렴을 가속화함으로써 반복 계산의 횟수를 줄일 수 있는 장점이 있다.
본 실시예에서는 비용함수의 연산을 가속화하고 최적의 비용함수를 획득하기 위한 또 다른 수단으로 다해상도 접근 방식을 제안한다.
전술한 바와 같이, 신뢰도를 높이기 위해서는 해당 픽셀로부터 보다 먼 거리에 있는 픽셀 정보들을 고려할 필요가 있으며, 이는 정확한 비용함수의 연산을 위해 많은 반복 계산이 수행될 필요가 있다는 점을 의미한다.
반복 계산의 횟수를 줄이기 위해 가우스-사이들 가속화 방식과 함께 다해상도 접근 방식이 제안된다.
다해상도 접근 방식은 원본 이미지의 해상도에 비해 작은 해상도에서 동일한 연산을 수행하고, 연산 결과를 보다 큰 해상도에서의 연산에 이용하는 방식이다. 설명의 편이를 위해, 이하에서는 원본 이미지의 해상도를 제1 해상도라고 하고, 제1 해상도의 1/2에 해당되는 해상도를 제2 해상도, 제2 해상도의 1/2에 해당되는 해상도를 제3 해상도로 하기로 한다.
도 5는 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면이다.
도 5를 참조하면, 제1 해상도, 제2 해상도 및 제3 해상도에 대한 다해상도 접근에 의한 비용함수 연산이 수행되는 경우가 도시되어 있으나 다해상도 접근을 위한 해상도의 개수가 자유롭게 설정될 수 있다는 점은 당업자에게 있어 자명할 것이다.
다해상도 접근 방식은 이미지 분할, 움직인 추정 등에 사용되기는 하였으나 이러한 분야에서의 다해상도 접근 방식이 이미지 도메인 상에서 수행이 되었다. 그러나, 본 실시예에서는 이미지 도메인이 아닌 비용(Cost) 도메인에서 다해상도 접근 방식을 적용하며, 이는 종래의 다해상도 접근 방식이 사용되었던 목적과는 달리 반복 계산의 횟수를 줄이기 위한 것이다.
수학식 11에서, 일반적으로 최적의 비용 함수 E(p)는 픽셀 당 비용함수 e(p)로 초기화될 수 있다. 본 실시예에서는 저 해상도에서의 최종 연산값을 그보다 상위 해상도에서의 초기값으로 활용하는 다해상도 접근 방식을 제안하며 이는 반복 계산 시의 수렴을 가속화시킬 수 있다.
도 5를 참조하면, 원본 이미지의 해상도의 1/4인 제3 해상도에서 픽셀 당 비 용함수 e2(d)를 연산하고, 연산된 e2(d)는 초기치로 활용되어 제3 해상도에서의 비용 함수 E2(d)가 연산된다.
연산된 제3 해상도에서의 E2(d)는 제2 해상도에서의 초기치로 활용된다. 제2 해상도에서는 제3 해상도에서의 최종 값을 초기치로 활용하여 비용 함수 E1(d)를 연산하며, 연산된 E1(d)는 제1 해상도에서 초기치로 활용된다.
즉, 낮은 해상도인 제N 해상도에서 연산된 최종값은 이보다 높은 해상도인 제(N-1) 해상도의 초기치로 활용되는 것이다. 이와 같은 방식은 최종적인 원본 해상도에서의 연산량을 크게 줄일 수 있다.
다해상도 접근 방식에 의한 연산 시, 비용함수 및 스테레오 이미지에 대한 서브 샘플링이 수행되며, 이는 서브샘플링된 이미지가 가중치 함수 w의 연산에 필요하기 때문이다.
서브샘플링 과정에서 발생하는 노이즈를 줄이기 위해, 가우시안 로우패스 필터링이 수행될 수 있다. 가우스 함수의 분산은 서브샘플링 비율에 비례할 수 있다.
전술한 바와 같이, 다해상도 접근 방식을 이용한 연산 시, 저해상도의 결과값이 고해상도에서의 초기값으로 활영되며, (l+1)번째 레벨의 비용 함수가 El +1(p)로 정의될 때, 보다 고해상도 레벨의 비용함수 El(p)는 바이리니어 보간을 이용하여 업샘플리을 수행할 수 있으며, 이는 다음의 수학식 12와 같이 표현될 수 있다.
Figure 112007092804453-pat00022
본 실시예에서는 반복 계산을 가속화하기 위한 또 다른 수단으로 적응적 보간법을 제안한다. 제안되는 적응적 보간법은 다해상도 접근 방식에 의한 연산 시에 적용된다.
저 해상도에서의 비용함수가 선형적으로 보간되어 보다 고 해상도에서의 초기치로 활용될 경우, 에러가 주변의 영역들에 전파될 수 있다. 이러한 문제를 회피하기 위해, 고 해상도로의 업샘플링 시 가중치 최소 자승에 기반한 적응적 보간법이 제안된다.
이때, 레벨 l에서의 에너지 함수는 다음의 수학식 13과 같이 정의된다.
Figure 112007092804453-pat00023
위 수학식 13에서, Pi=(xi, yi)는 저해상도 레벨에서의 픽셀을 의미하고, N(pi)는 다음의 수학식 14와 같이 정의된다.
Figure 112007092804453-pat00024
수학식 13을 최소화하면 다음의 수학식 15과 같이 표현될 수 있다.
Figure 112007092804453-pat00025
위 수학식 15에서, w는 가중치 함수를 의미하며, 짝수번째 픽셀은 다음의 수학식 16과 같이 1차적으로 계산될 수 있다.
이웃 픽셀의 집합인 N(pi)는 (x+1, y+1), (x+1, y-1), (x-1, y+1) 및 (x-1, y-1)을 포함하며, 최종적으로, 남아있는 픽셀들은 수학식 15에 의해 연산된다.
Figure 112007092804453-pat00026
수학식 15에서, a는 가중치 요소이며, 일례로 15로 설정될 수 있다.
제안된 적응접 보간법은 연속적인 두 개의 레벨에서의 화소값에 대한 비용함수에 대해 보간을 수행한다는 점에서 기존의 이미지 보간법과는 상이하다.
도 5를 참조하면, 제3 해상도에서 제2해상도로 이동 시와 제2 해상도에서 제1 해상도로 이동 시 적응적 보간법이 수행되는 점이 도시되어 있으며, 이러한 적응적 보간에 의한 업샘플링으로 최종 해상도인 제1 해상도에서는 별도의 비용함수 연산이 필요없다는 점이 실험적으로 확인되었으며, 따라서 비용 함수의 정확도뿐만 아니라 비용 함수 연산을 위한 연산량 역시 적응적 보간에 의해 줄일 수 있다.
상술한 실시예들에 의해 비용 함수가 획득되면, 비용 함수를 이용한 최적화 과정에 의해 변이를 추정할 수 있다. 최적화 과정으로는 WTA(Winner Takes All), 그래프 컷 등 다양한 최적화 방식이 사용될 수 있을 것이다.
III. 가려진 영역의 픽셀 처리.
본 실시예에서는 보다 적은 연산량으로 가려진 영역을 검출하는 방법을 제안한다. 종래에는 좌영상에서 우영상으로 매칭을 수행한 후 다시 우영상에서 좌영상으로 매칭을 수행하는 크로스 체킹에 의해 가려진 영역을 검출하였으나 이는 유사한 연산을 2번 수행하여 연산량이 문제점이 있었다. 본 실시예에서는 크로스 체킹을 수행하지 않고 한 번의 연산으로 가려진 영역을 검출하는 새로운 방식을 제안한다.
또한, 본 실시예에서는 주변 픽셀의 정보를 이용하여 적응적으로 가려진 픽셀에 변이를 할당하는 방법을 제안한다. 종래에는 미리 설정된 변이 값이 가려진 픽셀에 할당되었으나 본 실시예에서는 주변 픽셀의 정보를 이용하여 적절한 변이가 할당될 수 있도록 한다.
도 6은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 방법에 대한 전체적인 순서도를 도시한 도면이다.
도 6을 참조하면, 우선 좌영상에서 우영상 또는 우영상에서 좌영상으로 싱글 매칭에 의해 중복되는 매칭 포인트가 있는지 여부를 판단한다(단계 600).
도 7은 가져진 픽셀이 발생되는 경우의 일례를 도시한 도면이다.
도 7을 참조하면, 가려진 픽셀이 존재할 경우 가려진 픽셀은 가려지지 않은 픽셀과 동일한 점에 매칭이 된다. 도 7에 도시된 바와 같이, 일반적으로 가려진 픽셀은 가려지지 않은 픽셀에 비해 작은 변이를 가지게 된다.
본 발명에서는 1차적으로 중복되는 매칭 포인트가 있는 픽셀들 중 변이가 작은 픽셀과 변이가 큰 픽셀을 구분한다(단계 602). 본 명세서에서 변이에 따라 가려진 픽셀과 가려지지 않는 픽셀을 구분하는 조건을 제1 조건이라고 한다.
겹쳐지는 픽셀들 중 변이가 작은 픽셀을 가려진 픽셀로 추정할 수도 있으나, 이와 같은 방식은 신뢰도를 담보할 수 없으며, 종래에는 크로스 체킹에 의해 가려진 픽셀인지 여부를 판단하였다.
도 8은 가려진 픽셀이 발생하는 경우에 대한 다른 예를 도시한 도면이다.
도 8을 참조하면, 가려진 픽셀이 가리는 픽셀에 비해 더 큰 변이를 가지고 있는 경우가 발생함을 확인할 수 있다.
중복 매칭되는 픽셀들에 대해 변이를 체크한 후, 해당 픽셀들에 대해 비용함수를 연산한다(단계 604). 일반적으로, 가려진 픽셀의 비용 함수의 크기는 가려지지 않은 픽셀들에 비해 크다. 비용 함수의 크기에 의해 가려진 픽셀과 가려지지 않는 픽셀을 구분하는 조건을 제2 조건이라고 한다.
중복되는 매칭이 일어나는 픽셀들이 있을 때, 어느 한 픽셀이 제1 조건 및 제2 조건을 모두 만족할 경우 해당 픽셀을 가려진 픽셀로 판단한다(단계 606).
중복 매칭이 일어나는 픽셀들 중 어느 한 픽셀도 제1 조건 및 제2 조건을 만족하지 않을 경우 중복 매칭이 일어나는 픽셀들 모두를 후보 픽셀들로 설정한다(단 계 608).
가려진 영역의 처리를 위해, 두 개의 값(예를 들어, '1'또는 '0'을 가지는 가시도 함수(Visibility Function)를 설정하며, 제1 및 제2 조건에 의한 판단 결과 가려지지 않은 픽셀로 판단되는 경우에는 가시도 함수에 제1 값(예를 들어, '1'을 할당하고, 가려진 픽셀이거나 가려진 픽셀 후보로 판단될 경우 가시도 함수에 제2 값(예를 들어, '0'을 할당한다(단계 610).
가시도 함수에 대한 할당이 완료되면, 다음의 수학식 17에 의해 가려진 픽셀들에 대한 비용 함수를 연산한다.
Figure 112007092804453-pat00027
가려진 픽셀을 처리하기 위한 비용 함수의 연산은 가려진 픽셀들 및 가려진 후보 픽셀들에 대해서만 수행될 수도 있으며, 전체적으로 모든 픽셀들에 대해 수행될 수도 있다.
이와 같은 가려진 픽셀 처리 방식은 가려지지 않은 픽셀들의 값이 가려진 픽셀로 전이될 수 있도록 하는 바 미리 설정된 값을 일방적으로 부여하는 종래의 방식에 비해 효과적으로 가려진 픽셀에 대한 처리를 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 시 가려지지 않은 픽셀의 값이 전이되는 일례를 도시한 도면이다.
수학식 17에 의해 비용 함수가 연산되면, WTA, 그래프 컷 등과 같은 최적화 방식을 통해 가려진 영역에 대한 변이를 추정한다.
도 1은 본 발명의 에너지 함수 및 최적 비용함수 연산 시 고려되는 이웃 픽셀의 범위를 도시한 도면.
도 2는 N1이 (1,0)인 경우의 변이 지도를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 시 가려지지 않은 픽셀의 값이 전이되는 일례를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 이웃 픽셀의 집합인 N(p)를 두 개의 파트로 구분한 예.
도 5는 본 발명의 일 실시예에 따른 다해상도 접근 방식의 프레임 구조를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 가려진 영역의 픽셀 처리 방법에 대한 전체적인 순서도를 도시한 도면.
도 7은 가져진 픽셀이 발생되는 경우의 일례를 도시한 도면.
도 8은 가려진 픽셀이 발생하는 경우에 대한 다른 예를 도시한 도면.

Claims (24)

  1. 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계;
    상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 이용하는 에너지 함수를 설정하는 단계;
    상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계;
    가려진 영역의 픽셀을 검출하는 단계;
    가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및
    상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되,
    상기 가려진 영역의 픽셀을 검출하는 단계는,
    싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계. 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계 및 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  2. 제1항에 있어서,
    상기 인접하는 픽셀과 해당 픽셀간의 픽셀 포인트 차이는 2 이상인 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  3. 제1항에 있어서,
    상기 에너지 함수
    Figure 112009038081856-pat00043
    (E)는 다음의 수학식과 같이 설정되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00044
    위 수학식에서 E(p)는 추정되는 최적 비용 함수이고 e(p)는 픽셀 당 비용함수이며, w는 인접 픽셀간의 화소값에 상응하는 가중치 함수이고, n 및
    Figure 112009038081856-pat00045
    은 상호 직교하는 2차원 벡터이며, M은 인접 픽셀의 사이즈이고, p는 픽셀 좌표이고,
    Figure 112009038081856-pat00046
    는 가중치 상수임.
  4. 제3항에 있어서,
    상기 가중치 함수 w는 인접 픽셀과의 화소값의 차이와 반비례하는 값을 출력하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  5. 제1항에 있어서,
    상기 에너지 함수를 최소로 하는 최적 비용 함수의 연산은 다음의 수학식에 대한 반복 연산에 의해 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00047
    위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고,
    Figure 112009038081856-pat00048
    는 가중치 상수이며, N(p)는 이웃 픽셀의 집합, 위첨자 k+1은 반복 계산에서 k+1번째를 의미하며, k는 반복 계산에서 k번째를 의미하고, 바 표시는 평균을 의미하여
    Figure 112009038081856-pat00049
    는 픽셀당 비용함수의 가중치 평균을 의마하고,
    Figure 112009038081856-pat00050
    는 k번째 반복 계산에서의 최적 비용함수의 가중치 평균을 의미함.
  6. 제5항에 있어서,
    상기 반복 계산에 의한 비용 함수 연산 시 이웃 픽셀의 집합인 N(p)를 제1 파트인 Nc(p)와 제2파트인 Nn(p)로 분류하여 갱신된 최신의 정보를 반영하여 연산하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00051
    위 수학식에서 e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수임.
  7. 제5항에 있어서,
    상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계는,
    제1 해상도의 원본 영상의 비해 저 해상도인 제2 해상도의 영상을 획득하는 단계;
    상기 제2 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및
    상기 제2 해상도의 최적 비용 함수를 제1 해상도의 원본 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  8. 제7항에 있어서,
    상기 제2 해상도의 영상에 비해 저해상도인 제3 해상도의 영상을 획득하는 단계; 및
    상기 제3 해상도의 영상에 대해 최적 비용 함수를 연산하는 단계; 및
    상기 제3 해상도의 영상에 대한 최적 비용 함수를 상기 제2 해상도의 영상에 대한 최적 비용 함수 연산 시 초기치로 활용하는 단계를 더 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  9. 제7항에 있어서,
    상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  10. 제8항에 있어서,
    상기 저 해상도의 비용 함수를 고 해상도의 비용 함수 연산 시 초기치로 활용할 때, 상기 저 해상도의 비용 함수는 가중치에 기반한 방식으로 보간되어 고 해상도로 업샘플링되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  11. 제10항에 있어서,
    상기 가중치에 기반한 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00052
    위 수학식에서, e는 픽셀 당 비용함수이고, E는 최적 비용 함수이며, p는 픽셀이고, w는 가중치 함수이며,λa는 가중치 상수이고, 아래첨자 1은 해상도 레벨을 의미하여 el(p)는 l번째 해상도 레벨에서의 픽셀당 비용함수, El(p)는 l번째 해상도 레벨에서의 최적 비용 함수, El+1(p)는 l+1번째 해상도 레벨에서의 최적 비용함수, N(pi)는 저해상도 레벨에서의 이웃 픽셀 집합을 의미함.
  12. 삭제
  13. 삭제
  14. 적어도 둘 이상의 영상에 대한 픽셀 당 비용함수를 연산하는 단계;
    상기 연산된 픽셀 당 비용함수, 인접하는 이웃 픽셀과의 화소값의 차이 및 최적 비용 함수의 차이를 이용하는 에너지 함수를 설정하는 단계;
    상기 설정된 에너지 함수의 값을 최소로 하는 최적 비용 함수를 연산하는 단계;
    가려진 영역의 픽셀을 검출하는 단계;
    가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및
    상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되,
    상기 가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계는,
    상기 중복 매칭되는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(Ol())로 제 1값을 할당하는 단계, 상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(Ol())로 제2 값을 할당하는 단계, 상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  15. 제14항에 있어서,
    상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00053
    위 수학식에서, p는 픽셀 좌표, Ol()는 가시도 함수, e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수이며, N(p)는 이웃 픽셀의 집합이고, Nc(p)는 이웃 픽셀의 집합 중 제1 파트이고, Nn(p)는 이웃 픽셀의 집합 중 제2 파트이며, 위첨자 k 및 k+1은 반복 계산에서 k번째 및 k+1번째를 각각 의미함.
  16. 제1 해상도를 가지는 원본 영상의 해상도에 비해 해상도가 작은 적어도 하나 이상의 (N+1)해상도를 가지는 영상을 획득하는 단계;
    상기 (N+1)해상도 영상에 대한 최적 비용 함수를 연산하는 단계; 및
    상기 (N+1)해상도 영상에 대한 최적 비용 함수를 N 해상도를 가지는 영상에 대한 최적 비용 함수 연산 시 초기치로 사용하는 단계를 포함하되,
    상기 (N+1)해상도의 영상을 N해상도의 영상의 초기치로 활용할 때 가중치 기반 보간에 의한 업샘플링을 수행하며, 상기 가중치에 기반 보간은 다음의 수학식에 기초하여 이루어지는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00054
    위 수학식에서, e는 픽셀 당 비용함수이고, E는 최적 비용 함수이며, p는 픽셀 좌표이고, w는 가중치 함수이며, λa는 가중치 상수이고, 아래첨자 l은 해상도 레벨을 의미하여 el(p)는 l번째 해상도 레벨에서의 픽셀당 비용함수, El(p)는 l번째 해상도 레벨에서의 최적 비용 함수, El+1(p)는 l+1번째 해상도 레벨에서의 최적 비용함수, N(pi)는 저해상도 레벨에서의 이웃 픽셀 집합을 의미함.
  17. 제16항에 있어서,
    상기 저해상도의 영상의 획득 시 로우패스 필터링을 수행하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계;
    가려진 영역의 픽셀들에 대한 최적 비용 함수를 연산하는 단계; 및
    상기 연산된 최적 비용 함수에 기초하여 가려진 영역의 픽셀들에 대한 변이를 추정하는 단계를 포함하되,
    상기 싱글 매칭에 기반하여 가려진 영역의 픽셀을 검출하는 단계는,
    싱글 매칭에 의해 중복 매칭되는 픽셀들이 존재하는지 여부를 판단하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 변이에 기초하는 제1 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들이 존재할 경우, 최적 비용함수에 기초하는 제2 조건에 의해 가려진 픽셀과 가려지지 않은 픽셀을 분류하는 단계, 상기 중복 매칭되는 픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀들을 가려진 픽셀들로 설정하는 단계 및 상기 중복 매칭되는
    픽셀들 중 제1 조건 및 제2 조건을 모두 만족하는 픽셀이 존재하지 않는 경우 중복 매칭되는 픽셀 모두를 가려진 후보 픽셀로 설정하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 가려진 영역 처리 방법.
  22. 삭제
  23. 제21항에 있어서,
    상기 가려진 픽셀들에 대한 최적 비용 함수를 연산하는 단계는,
    상기 중복 매칭되는 픽셀들 중 가려지지 않은 픽셀에 대한 가시도 함수(Ol())로 제 1값을 할당하는 단계;
    상기 중복 매칭되는 픽셀들 중 가려진 픽셀 또는 가려진 픽셀 후보에 대한 가시도 함수(Ol())로 제2 값을 할당하는 단계;
    상기 할당된 가시도 함수 값에 기초하여 최적 비용 함수를 연산하는 단계를 포함하는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
  24. 제23항에 있어서,
    상기 할당된 가시도 함수 값에 기초한 최적의 비용 함수는 다음의 수학식에 기초하여 연산되는 것을 특징으로 하는 변이 추정 시 최적 비용 함수 연산 방법.
    Figure 112009038081856-pat00055
    위 수학식에서 Ol()는 가시도 함수, e(p)는 픽셀 당 비용 함수이고, E(p)는 최적 비용함수이며, w는 가중치 함수이고, λ는 가중치 상수이며, N(p)는 이웃 픽셀의 집합이고, Nc(p)는 이웃 피겔의 집합 중 제1 파트이고, Nn(p)는 이웃 픽셀의 집합 중 제2 파트이며, 위첨자 k 및 k+1은 반복 계산에서 k번째 및 k+1번째를 각각 의미하고, p는 픽셀 좌표를 의미함.
KR1020070136756A 2007-12-24 2007-12-24 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법 KR100930286B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070136756A KR100930286B1 (ko) 2007-12-24 2007-12-24 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070136756A KR100930286B1 (ko) 2007-12-24 2007-12-24 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법

Publications (2)

Publication Number Publication Date
KR20090068943A KR20090068943A (ko) 2009-06-29
KR100930286B1 true KR100930286B1 (ko) 2009-12-09

Family

ID=40996265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070136756A KR100930286B1 (ko) 2007-12-24 2007-12-24 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법

Country Status (1)

Country Link
KR (1) KR100930286B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130098109A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626057B1 (ko) 2009-11-19 2016-05-31 삼성전자주식회사 3뷰 영상의 디스패리티 추정 방법 및 장치
KR102147361B1 (ko) * 2015-09-18 2020-08-24 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006189A (ko) * 2004-07-15 2006-01-19 삼성전자주식회사 3차원 객체 인식을 위한 양안차 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060006189A (ko) * 2004-07-15 2006-01-19 삼성전자주식회사 3차원 객체 인식을 위한 양안차 추정 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
박준희, 이병욱, "변이공간에서의 비용 함수의 결정", 한국통신학회논문지, Vol.32. No.5, 2007.05., pp.530-535*
허경무, 유재민, "다해상도 기반 계층적 변이맵을 이용한 중간영상 생성 방법", 제어, 자동화,시스템공학 논문지, 제9권, 제11호, 2003.11., pp.899-905*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577089B2 (en) 2010-06-14 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
KR20130098109A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
KR101882421B1 (ko) * 2012-02-27 2018-07-26 삼성전자주식회사 가시성 에너지 모델을 이용한 변이 추정 장치 및 방법
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus

Also Published As

Publication number Publication date
KR20090068943A (ko) 2009-06-29

Similar Documents

Publication Publication Date Title
US10839535B2 (en) Systems and methods for providing depth map information
US10462445B2 (en) Systems and methods for estimating and refining depth maps
US5432712A (en) Machine vision stereo matching
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US10268901B2 (en) Quasi-parametric optical flow estimation
JP2915894B2 (ja) ターゲット追跡方法及び装置
US8385630B2 (en) System and method of processing stereo images
EP2538242B1 (en) Depth measurement quality enhancement.
KR100930286B1 (ko) 변이 추정 시의 비용 함수 연산 방법 및 가려진 영역 처리방법
US10321112B2 (en) Stereo matching system and method of operating thereof
WO2020104423A1 (en) Method and apparatus for data fusion of lidar data and image data
CN110992356A (zh) 目标对象检测方法、装置和计算机设备
KR20090052889A (ko) 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
JP5506717B2 (ja) ステレオ画像においてオクルージョンをハンドリングするための方法
Schumacher et al. Matching cost computation algorithm and high speed fpga architecture for high quality real-time semi global matching stereo vision for road scenes
Wang et al. Real-time dense 3d mapping of underwater environments
Krauss et al. Deterministic guided lidar depth map completion
GB2244621A (en) Machine vision stereo matching
CN114445473B (zh) 基于深度学习算子的立体匹配方法和系统
JP4394487B2 (ja) ステレオ画像処理装置
KR20160149088A (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
EP3933341B1 (en) Computation device and parallax calculation method
JP2961272B1 (ja) 特徴ベクトルを利用した物体の認識装置および方法
Yang et al. Depth-reliability-based stereo-matching algorithm and its VLSI architecture design
Lee et al. Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130925

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee