KR20080022843A - 움직임 벡터를 이용한 탐색 영역 조절 방법 - Google Patents

Abstract

본 발명은 동영상 부호화에 있어서 움직임 추정(Motion estimation)속도를 향상시키기 위한 움직임 벡터를 이용한 탐색 영역 결정 방법에 관한 것이다.

본 발명에 따른 움직임 벡터를 이용한 탐색 영역 결정 방법은, 현재 프레임의 매크로 블록과 인접하는 매크로 블록들의 움직임 벡터를 참조하는 단계; 상기 참조된 움직임 벡터를 이용하여 현재 프레임의 매크로 블록 움직임 벡터 방향을 예측하는 단계; 상기 예측된 움직임 벡터의 방향에 따라 현재 프레임 매크로 블록의 탐색 영역을 조절하는 단계를 포함하는 것을 특징으로 하며, 이를 통해 현재 프레임의 매크로 블록 탐색 영역을 적응적으로 조절할 수 있어 부호화를 위한 움직임 추정 속도를 향상시킬 수 있는 효과가 있다.

매크로 블록, 움직임 벡터

Description

움직임 벡터를 이용한 탐색 영역 조절 방법{Method for adjusting search area using motion vector}

도 1은 본 발명의 실시 예에 따른 매크로 블록 탐색의 개념을 나타내는 도면.

도 2는 본 발명의 실시 예에 따른 인접하는 매크로 블록과 움직임 벡터 방향을 보여주는 도면.

도 3 본 발명의 실시 예에 따른 현재 매크로 블록의 탐색 영역 범위를 보여주는 도면.

도 4는 본 발명의 실시 예에 따른 움직임 추정 속도를 향상시키기 위한 방법을 나타내는 도면.

본 발명은 동영상 부호화에 있어서 움직임 추정(Motion estimation)속도를 향상시키기 위한 움직임 벡터를 이용한 탐색 영역 결정 방법에 관한 것이다.

동영상은 다수의 프레임들로 이루어지고, 프레임들이 연속적으로 디스플레이됨으로써 사용자에게 동영상이 제공된다. 한편, 영상 신호의 특성상 이웃하는 프레 임간 또는 동일 프레임내의 이웃하는 블록 또는 화소간에는 서로 유사성이 존재한다.

이러한 영상 신호의 유사성을 이용하여 영상을 예측 부호화하여 고효율의 영상 신호 압축이 수행된다. 예측 부호화 중, 이웃하는 프레임 간의 유사성을 이용한 것을 영상간 예측 부호화(inter prediction coding)이라 하고, 영상 내 신호의 유사성을 이용하는 것을 영상내 예측 부호화(intra prediction coding)이라 한다.

영상간 예측 부호화는 현재 프레임에 속하는 영상 데이터를 소정 단위, 예컨대 16×16 화소로 이루어진 매크로 블록으로 분할하여 매크로 블록 단위로 이전 프레임을 탐색하여 움직임 추정을 수행한다. 움직임 추정에 사용되는 이전 프레임을 레퍼런스 프레임이라 부른다.

움직임 추정은 소정의 측정 함수, 예컨대 SAD(Sum of Absolute Difference) 함수를 이용하여, 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색한 후, 양 매크로 블록의 위치의 차이를 나타내는 모션벡터를 구하는 과정이다.

이와 같이 종래에는 영상간 예측 부호화를 위해 매크로 블록 단위로 이전 프레임을 탐색하기 위해 기준이 되는 매크로 블록을 중심으로 N×M의 탐색 영역을 탐색범위로 설정하여 탐색을 수행하고 점점 탐색범위를 좁혀 가면서 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색하게 된다.

예를 들면, 탐색하고자 하는 8×8의 매크로 블록의 가로 세로 6배에 해당하는 48×48의 탐색범위를 설정하고 점점 탐색 범위를 32×32, 16×16으로 줄여가면 서 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 이전 프레임에서 탐색하는 것이 일반적이다.

하지만, 상기 매크로 블록의 탐색 속도를 향상시키기 위한 방법들은 아직까지 제안되지 않고 있다.

본 발명은 현재 프레임 내의 매크로 블록과 가장 유사한 매크로 블록을 탐색할때 발생하는 탐색 속도를 향상시키기 위한 움직임 벡터를 이용한 탐색 영역 결정 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 움직임 벡터를 이용한 탐색 영역 결정 방법은, 현재 프레임의 매크로 블록과 인접하는 매크로 블록들의 움직임 벡터를 참조하는 단계; 상기 참조된 움직임 벡터를 이용하여 현재 프레임의 매크로 블록 움직임 벡터 방향을 예측하는 단계; 상기 예측된 움직임 벡터의 방향에 따라 현재 프레임 매크로 블록의 탐색 영역을 조절하는 단계를 포함하여 구성되는 것을 특징으로 한다.

본 발명에서, 상기 인접하는 매크로 블록들은 움직임 벡터의 방향에 따라 테이블 값을 설정하는 단계를 더 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.

도 1은 본 발명의 실시 예에 따른 매크로 블록 탐색의 개념을 나타내는 도면이다.

도 1을 참조하면, 부호화할 현재 프레임(current frame)(1)내의 매크로 블록(2)과 가장 유사한 매크로 블록(5)을 레퍼런스 프레임(reference frame)(3)에서 탐색하기 위한 탐색 영역(4)을 나타내고 있다.

이하 현재 프레임의 매크로 블록을 현재 매크로 블록, 이전 프레임의 매크로 블록은 레퍼런스 매크로 블록이라 지칭하여 설명한다. 또한 본 발명에서 매크로 블록(2)은 8x8, 탐색 영역(4)은 48x48 크기로 이루어져 있다고 가정하여 설명하며, 상기 매크로 블록의 크기 및 탐색 영역의 크기는 변경 가능하다.

본 발명에서는 상기 탐색 영역(4)의 크기를 적응적으로 조절하기 위해 부호화할 현재 매크로 블록과 인접하고 있는 매크로 블럭들의 움직임 벡터의 방향을 참조한다. 이하 도 2를 참조하여 자세히 설명한다.

도 2는 본 발명의 실시 예에 따른 인접하는 매크로 블록과 움직임 벡터 방향을 보여주는 도면이다.

도 2를 참조하면, 부호화할 현재 매크로 블록(E)과 인접하는 매크로 블록(A,B,C,D)과 그 움직임 벡터를 보여주고 있다.

본 발명은 도 2(a)와 같이 현재 부호화할 매크로 블록 E를 기준으로, 상기 E의 바로 왼쪽 위에 있는 매크로 블록인 A, 상기 E의 바로 위쪽에 있는 매크로 블록인 B, 상기 E의 바로 오른쪽 위에 있는 매크로 블록인 C, 상기 E의 바로 왼쪽에 있는 매크로 블록인 D의 움직임 벡터 방향을 참조하여 현재 매크로 블록 E의 탐색 영역을 조절한다.

상기 현재 매크로 블록 E와 인접하는 매크로 블록들(A,B,C,D)의 움직임 벡터 는 도 2(b)와 같다.

상기 움직임 벡터는 레퍼런스 프레임의 탐색 영역에서 현재 매크로 블록과 다른 레퍼런스 매크로 블록들 간에 존재하는 닮지 않은 정도(dissimilarity, 이하 상이도라 함)를 계산하고, 탐색 영역에서 현재 매크로 블록과 가장 유사한 즉, 상이도가 가장 작은 레퍼런스 매크로 블록은 "정합블록(matching block)"으로서 선택하여 현재 매크로 블록과 정합 블록간의 위상차를 나타내는 움직임 벡터를 구할 수 있다.

여기서, 상기 매크로 블록과 레퍼런스 매크로 블록들간의 상이도는 여러 가지 방법들로 계산될 수 있다. 예를 들어, MAD(Mean of the Absolute Difference), MAE(Mean of the Absolute Error), SAD(Sum of the Absolute Difference) 등이 이용될 수 있으며, 본 발명이 속하는 기술분야의 당업자에게 이미 공지되었거나, 사용되고 있으므로 이에 대한 상세한 설명은 생략한다.

따라서 상기와 같은 방법을 통해 인접하는 매크로 블록들(A,B,C,D)의 움직임 벡터를 구할 수 있다.

본 발명에서는 서로 인접한 블록들 사이의 움직임 벡터는 그 크기와 방향이 유사하다는 특성을 이용한다.

즉, 도 2(b)와 같이 인접하는 매크로 블록들(A,B,C,D)의 움직임 벡터의 방향은 모두 위쪽을 가르키고 있으며, 상기 움직임 벡터의 방향은 각 인접하는 매크로 블록을 중심 픽셀을 기준으로 수평으로 나누어 위쪽, 아래쪽으로 구분할 수 있다.

따라서 현재 매크로 블록(E)과 매칭되는 정합블록은 48x48 탐색 영역의 중심 픽셀을 기준으로 위쪽에 있을 확률이 높기 때문에 본 발명에서는 48x24로 탐색 영역의 범위를 조절하여 탐색 영역을 탐색한다.

즉, 인접하는 매크로 블록들(A,B,C,D)의 움직임 벡터의 방향을 참조하여 현재 부호화할 매크로 블록(E)과 가장 유사하게 매칭되는 정합 블록을 탐색하기 위해 탐색 영역을 적응적으로 조절할 수 있다.

이를 위해 다음과 표 1과 같은 움직임 벡터 방향에 따른 테이블 값을 부여한다.

	움직임 벡터 방향	테이블 값
Intra mode	-	0
Inter mode	Up	1
	Down	2

예를 들면, 도 2(b)의 매크로 블록들(A,B,C,D)은 매크로 블록의 중심 픽셀을 수평으로 나눈것을 기준으로 모두 위쪽을 가르키고 있기 때문에 각각에 테이블 값 '1'이 설정되고, 현재 매크로 블록(E)은 인접하는 매크로 블록들(A,B,C,D)의 테이블 값을 판단하여 테이블 값이 가장 많은 방향으로 탐색 영역의 범위를 조절한다.

즉, 인접하는 매크로 블록의 테이블 값으로 '1'이 많은 경우에는 도 3(a)와 같이 탐색 영역(4)을 48x24 범위로 줄여 탐색 영역의 위쪽을 스캔하고, '2'가 많은 경우에는 도 3(b)와 같이 탐색 영역(4)을 48x24 범위로 줄여 탐색 영역의 아래쪽을 스캔한다. 또한 매크로 블록의 좌/우를 기준으로 매크로 블록의 방향을 추가할 수 있으며, 이 경우에는 움직임 벡터 방향에 따라 왼쪽(Left)일 때는 테이블 값을 3, 오른쪽(Right)일 때는 테이블 값을 4로 할당할 수 있다.

즉, 매크로 블록의 테이블 값으로 '3'이 많은 경우에는 도 3(c)와 같이 탐색 영역(4)을 24x48 범위로 줄여 탐색 영역의 왼쪽을 스캔하고, '4'가 많은 경우에는 도 3(d)와 같이 탐색 영역(4)을 24x48 범위로 줄여 탐색 영역의 오른쪽을 스캔한다.

상기와 같이 탐색 영역을 조절하여 가장 잘 매칭되는 정합 블록을 찾기 위해, 매크로 블록의 테이블 값이 '1'인 경우를 예로 들면, 48*24 탐색 영역으로 범위를 줄인 후 가장 유사한 정합 블록을 탐색한 후, 탐색 영역의 범위를 32x16으로 줄이고, 이후 16x16으로 탐색 영역의 범위를 줄여 현재 매크로 블록(E)과 가장 유사한 정합 블록을 검출한다.

따라서 정합 블록이 발견되면 그 움직임 벡터를 이용하여 인터 모드로 부호화하거나, 발견되지 않으면 인트라 모드로 부호화 한다.

도 2(c)는 실제 영상 데이터에 적용된 매크로 블록과 움직임 벡터의 방향을 나타내고 있다.

예를 들면, 배경사진은 레퍼런스 프레임(3)에서의 탐색 영역(4)을 나타내고 있으며, 현재 프레임에서의 매크로 블록(E)과 인접하는 매크로 블록들(A,B,C,D)과 움짐임 벡터의 방향을 나타내고 있다. 상기 인접하는 매크로 블록들의 움직임 벡터의 방향은 도 2(b)와 동일하다.

이와 같이, 본 발명은 부호화할 현재 매크로 블록과 인접하는 매크로 블록들의 움직임 벡터를 참조하여 레퍼런스 프레임에서 정합 블록을 찾기 위한 위한 탐색 영역의 범위를 적응적으로 조절함으로써 움직임 추정(Motion estimation) 속도를 향상시킬 수 있다.

도 4는 본 발명의 실시 예에 따른 움직임 추정 속도를 향상시키기 위한 방법을 나타내는 도면이다.

도 4를 참조하면, 부호화할 현재 매크로 블록과 인접하는 매크로 블록들의 움직임 벡터를 참조한다(S11). 이를 위해 인접하는 매크로 블록들의 움직임 벡터의 방향에 따라 서로 다른 또는 같은 테이블 값을 설정한다.

예를 들면, 인접하는 매크로 블록들의 움직임 벡터의 방향을 매크로 블록들의 중앙 픽셀을 기준으로 수평으로 나누어 0~180도에 포함되면 즉, 움직임 벡터의 방향이 위쪽을 향하면 테이블 값으로 '1'을 설정하고 180~360도에 포함되면 즉, 움직임 벡터의 방향이 아래쪽을 향하면 테이블 값으로 '2'를 설정한다.

또한 다른 방법으로, 매크로 블록들의 중앙 픽셀을 기준으로 수직으로 나누어 움직임 벡터의 좌/우 방향에 따라 테이블 값을 각각 설정할 수도 있다.

이후, 상기 인접하는 매크로 블록들에 설정된 테이블 값을 판단하여 현재 부호화할 매크로 블록의 움직임 벡터의 방향을 예측한다. 즉, 참조된 움직임 벡터를 이용하여 현재 프레임의 매크로 블록 움직임 벡터 방향을 예측한다(S12).

이후, 상기 예측된 움직임 벡터의 방향에 따라 부호화할 현재 매크로 블록의 탐색 영역을 조절한다(S13).

예를 들면, 인접하는 매크로 블록의 테이블 값으로 '1'이 많은 경우에는 도 3(a)와 같이 탐색 영역을 48x24 범위로 줄여 탐색 영역의 위쪽만을 탐색하도록 하고, '2'가 많은 경우에는 도 3(b)와 같이 탐색 영역을 48x24 범위로 줄여 탐색 영역의 아래쪽만을 탐색하도록 한다.

따라서, 종래에 일반적으로 사용하던 48x48 탐색 영역을 48x24로 줄일 수 있어 그만큼 움직임 추정을 위해 매칭되는 매크로 블록을 탐색하는 속도를 향상시킬 수 있다.

이후, 탐색 영역을 점점 줄여가면서 가장 잘 매칭되는 정합 블록을 탐색한다(S14). 예를 들면, 매크로 블록의 테이블 값이 '1'인 경우, 48*24 탐색 영역에서 정합 블록을 탐색하고 가장 유사한 정합 블록을 기준으로 다시 탐색 범위를 32x16, 16x16으로 탐색 영역을 점점 줄여가면서 부호화 할 현재 매크로 블록과 가장 유사한 정합 블록을 검출한다.

이와 같이, 본 발명은 인접하는 매크로 블록들의 움직임 벡터 방향을 참조하여 부호화할 현재 매크로 블록의 탐색 영역의 범위를 적응적으로 변경할 수 있으며, 이를 통해 부호화를 수행하기 위한 움직임 추정 속도를 향상시킬 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따른 움직임 벡터를 이용한 탐색 영역 결정 방법에 의하면, 인접하는 매크로 블록들의 움직임 벡터의 방향에 따라 테이블 값을 설정하고, 상기 설 정된 테이블 값을 분석하여 부호화할 현재 매크로 블록의 탐색 영역의 범위를 적응적으로 조절할 수 있어 부호화를 수행하기 위한 움직임 추정 속도를 향상시킬 수 있는 효과가 있다.

Claims (2)

1. 현재 프레임 매크로 블록과 인접하는 매크로 블록들의 움직임 벡터를 참조하는 단계;

   상기 참조된 움직임 벡터를 이용하여 현재 프레임의 매크로 블록 움직임 벡터 방향을 예측하는 단계;

   상기 예측된 움직임 벡터의 방향에 따라 현재 프레임 매크로 블록의 탐색 영역을 조절하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터를 이용한 탐색 영역 결정 방법.
2. 제 1항에 있어서,

   상기 인접하는 매크로 블록들은 움직임 벡터의 방향에 따라 테이블 값을 설정하는 단계를 더 포함하는 것을 특징으로 하는 것을 특징으로 하는 움직임 벡터를 이용한 탐색 영역 결정 방법.

Images