KR0128875B1 - 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법 - Google Patents

Abstract

본 발명은 동영상 부호화 시스템에서 큰 움직임을 갖는 영상에 대한 움직임 벡터를 추정하는 방법에 관한것으로, 본원 발명은 MC/no MC 결정 규칙에 따라서 현재 프레임 영상 데이타와 이전 프레임 영상 데이타를 이용하여 움직임 보상 영역(MC)과 비움직임 보상 영역(no MC)으로 분류하는 단계와, 상기 분류된 정보에 따라 상기 현재 프레임의 탐색 구획과 상기 이전 프레임의 움직임 탐색 영역내의 다수의 후보 구획들간의 각각의 움직임 변위를 나타내는 변위 구획 차신호(Displaced Block Difference : DBD)의 분포와, 상기 탐색 구획과 공간적 위치가 같은 상기 탐색 영역내 후보 구획과의 차이값인 구획 차 신호(Block Difference : BD)를 이용하여 상기 탐색 영역을 벗어난 큰 움직임이 발생한 탐색 구획을 추출하는 단계와, 상기 탐색 영역과 상기 큰 움직임이 발생한 탐색 구획을 확장하는 단계와, 상기 확장된 탐색 구획을 상기 확장된 움직임 탐색 영역내의 다수의 후보 구획들과 블록 정합 방법(BMA)을 이용하여 상기 확장된 탐색 구획의 움직임 벡터를 추정하는 단계를 포함하는 것을 특징으로한다.

Description

큰 움직임을 갖는 영상의 움직임 벡터 추정 방법

제1도는 움직임 보상형 예측과 이산 코사인 변환을 포함하는 종래의 움직임 보상형 동영상 부호화 장치를 도시하는 블록도.

제2도는 움직임 정보를 추출하는 예를 도시한 도면.

제3도는 본 발명에 따른 움직임 보상형 동영상 부호화 장치의 일실시예에 따라 구성된 블록.

제4도는 제3도에 도시된 움직임 분류기의 상세 블록도.

제5도는 MC/no MC 결정 규칙을 예시하는 그래프.

제6도는 MC/no MC 영역을 설명하기 위한 도면.

제7도는 탐색 영역에서의 변위 구획 차 신호의 측정을 설명하기 위한 도면.

제8도는 본 발명의 큰 움직임 영상의 움직임 벡터를 추정하기 위해 확장된 탐색 영역 및 탐색 블록을 예시하는 도면.

제9도는 본 발명에 따른 필터링 과정을 설명하는 도면.

* 도면의 주요부분에 대한 부호의 설명

10 : 감산기 12 : 이산코사인변환기

14 : 양자화기 16 : 역양자화기

18 : 역이산코사인변환기 20 : 가산기

22 : 메모리 24 : 움직임 보상형 예측기

26 : 움직임 추정기 28 : 움직임 분류기

281 : 영역분할기 283 : 큰 움직임영역 추출기

본 발명은 동영상 부호화 시스템에 관한 것으로, 특히 탐색 영역을 벗어난 움직임이 큰 영상의 움직임 벡터를 추정하는 방법에 관한 것이다.

근래에 디지탈 영상 기술의 눈부신 발전에 힘입어 영상 회의(Video Conference), 디지탈 방송 코덱(CODEC), 영상 전화(Video Phone)등과 같은 다양한 전자통신 분야에의 응용에 디지탈 영상 압축 기술의 이용이 가능하게 되었다.

제1도에는 움직임 보상 예측(Motion Compensated Prediction : MCP)과 이산코사인 변환(Discrete Cosine Transform : DCT)을 포함하는 종래의 동영상 부호화 장치를 예시하는 블록도가 도시된다. 동 도면에서 입력 신호는 8 비트, 즉 0-255의 레벨을 갖는 PCM 데이타로 가정한다.

먼저 입력 신호는 일정 크기의 거대 구획(Macro Block), 예를 들어 16×16 구획 화소(Block Pixel)들로 분할되어 각 구획 단위로 움직임 벡터 정보가 추출되고, 각 구획들은 다시 서브 구획(sub block), 예를들어 8×8 구획 화소들로 분할되어 움직임 보상 예측과 이산 코사인 변환이 수행된다.

이때, 거대 구획내의 서브 구획들의 움직임 벡터 정보는 거대 구획의 움직임 벡터(Motion Vector)정보와 같은 것으로 추정하여 움직임 보상 예측에 이용된다. 움직임 보상 예측의 수행은 프레임간(Inter Frame)물체의 이동을 예측함으로써 프레임간 중복성을 제거하여 영상 압축을 도모하는 것이고, 이산 코사인 변환은 각 서브구획내의 화소들의 주파수에 따른 에너지 집중도를 이용하여 프레임내 즉, 공간적인(Intra Frame)중복성을 제거함으로써 영상 압축을 도모하는 것이다.

그러나, 이러한 움직임 보상 예측의 경우에는 상술한 바와같이 거대 구획 단위로 검출된 움직임 벡터 정보를 이용하는데, 여기서는 프레임간의 움직임이 매우 크지 않은 경우를 가정하였지만, 만일 큰 움직임이 있는 경우에는 정확한 움직임을 검출하는 것이 불가능하다.

즉, 예를 들어 제2도에서와 같이 현재 프레임(t)의 구획 a는 움직임 정보를 추출하고자 하는 현재 구획을 나타낸다. 또 점선으로 된 사각형은 움직임 정보의 추출을 위한 이전 프레이(t-1)내 탐색 영역(Search Area)을 나타내며, 이전 프레임(t-1)의 탐색 영역내 구획 b는 현재 프레임(t)의 구획 a와 공간적 위치가 같은 하나의 후보 구획을 나타낸다. 또한 이전 프레임(t-1)의 탐색 영역내 또다른 후보구획 c는 현제 프레임 t에서 구획 a 위치로 이동한 구획을 나타낸다. 즉, 후보 구획 c가 탐색 영역내에 있을 경우 움직임 벡터 정보는 비교적 정확하게 추출될 수 있지만, 도시된 바와 같이 탐색 영역밖에 있는 큰 움직임이 발생된 경우에는 정확한 움직임 정보를 추출할 수 없게 되어 영상 압축 효율이 저하된다는 문제점이 있었다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 큰 움직임이 발생한 영역을 고려하여 움직임 보사 예측을 수행하기 위한 움직임 벡터 추정 방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따르면, 동영상 부호화 시스템에서 큰 움직임을 갖는 영상에 대한 움직임 벡터를 추정하는 방법은 MC/no MC 결정 규칙에 따라서 현재 프레임 영상 데이타와 이전 프레임 영상 테이타를 이용하여 움직임 보상 영역(MC)과 비움직임 보상 영역(no MC)으로 분류하는 단계와, 상기 분류된 정보에 응답하여 상기 현재 프레임의 탐색 블록과 상기 이전 프레임의 움직임 탐색 영역내의 다수의 후보 블록들간의 각각의 움직임 변위를 나타내는 변위 구획 차신호(Displaced Block Difference : DBD)의 분포와, 상기 탐색 블록과 공간적 위치가 같은 상기 탐색 영역내 후보 블록과의 차이값인 구획 차 신호(Block Difference : BD)를 이용하여 상기 탐색 영역을 벗어난 큰 움직임이 발생한 탐색 블록을 추출하는 단계와, 상기 탐색 영역과 상기 큰 움직임이 발생한 탐색 블록을 확장하는 단계와, 상기 확장된 탐색 블록을 상기 확장된 움직임 탐색 영역내의 다수의 후보 블록들과 블록 정합 방법을 이용하여 상기 확장된 탐색 블록의 움직임 벡터를 추정하는 단계를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.

제3도는 본 발명에 의한 적응적 움직임 보상 동영상 부호화 장치의 일실시예에 따른 블록도로써, 이러한 부호화 장치는 부호화하고자 입력되는 현재 프레임의 영상 데이터의 움직임 보상 예측을 수행한 결과값을 감산하기 위한 감산기(10)와, 감산기(10)를 통하여 출력되는 소정 구획의 영상 데이타에 대하여 주파수 영역으로 변환하여 공간 영역의 중복성을 제거하여 데이타 압축 부호화 하는 이산 코사인 변환기(12)와, 이산 코사인 변환기(12)를 통하여 변환된 변환 계수를 소정의 양자화 스텝 사이즈(Quantization Step size)로 양자화하기 위한 양자화기(14)를 포함하며, 또한 양자화기(14)를 통해 양자화된 영상 데이타를 양자화되기 이전의 변환 계수로 복원하기 위한 역양자화기(16)와, 역양자화기(16)를 통해 역양자화된 변환 계수를 이산 코사인 변환되기 이전의 공간 영역상의 소정의 구획 화소 데이타로 복원하기 위한 역이산 코사인 변환기(18)와, 역이산 코사인 변환기(18)를 통해 역이산 코사인 변환된 영상 데이타와 움직임 보상 예측을 수행한 결과값을 가산하기 위한 가산기(20)와, 가산기(20)를 통해 출력되는 현재 프레임의 영상 데이타를 저장하기 위한 메모리(22)와, 현재 부호화하고자 하는 프레임으로부터의 제1 입력 영상 데이타와 이전에 부호화되어 메모리(22)에 저장되어 있는 이전 프레임으로부터의 제2 입력 영상 데이타를 입력으로 하여 큰 움직임이 발생한 구획을 분류하기 위한 움직임 분류기(Motion Classifier)(28)와, 움직임 분류기(28)에서 출력되는 움직임 분류 정보와, 부호화 하고자 입력되는 현재 프레임의 영상 데이타와 메모리(22)에 저장되어 있던 이전 프레임의 영상 데이타를 이용하여 움직임 벡터 정보를 추출하는 움직임 추정기(26)와, 움직임 추정기(26)에서 출력되는 움직임 벡터정보와 메모리(22)에 저장되어 있던 이전 프레임의 영상데이타를 이용하여 움직임 보상 예측을 수행하여 감산기(10)와 가산기(20)로 각각 인가하는 움직임 보상 예측기(Motion Compensated Predictor)(24)로 이루어진다.

제4도는 제3도에 도시된 움직임 분류기의 상세 블록도이다.

제4도에 도시된 블록도의 구성은, 부호화하고자 입력되는 현재 프레임 영상 데이타와 이전 프레임 영상 데이타를 이용하여 CCITT에서 권고한 MC/no MC 결정 규칙에 따라서 영상을 움직임 보상(MC)영역과 비움직임 보상(NO MC)영역으로 분할하기 위한 영역 분할기(281)과, 영역 분할기(281)에서 출력되는 신호에 대하여 큰 움직임이 발생한 영역을 추출하기 위한 큰 움직임 영역 추출기(283)로 이루어진다.

그러면 본 발명의 동작에 대하여 첨부된 도면을 참조하여 설명하기로 한다.

다시 제3도를 참조하면, 감산기(10)는 부호화하고자 입력되는 현재 프레임의 영상데이타에 움직임 보상 예측을 수행한 결과 값을 감산하여 이산 코사인 변환기(12)로 출력한다. 이산 코사인 변환기(12)는 감산기(10)를 통하여 출력되는 소정 구획, 예를 들어 8×8 구획 화소에 대한 영상 데이타를 주파수 영역으로 변환하여 공각 영역의 중복성을 제거하여 데이타 압축을 수행하여 양자화기(14)로 출력한다. 양자화기(14)는 이상 코사인 변환기(12)를 통하여 변환된 소정의 변환 계수를 소정의 양자화 파라메터인 양자화 스텝 사이즈로 양자화하여 다음단의 가변길이 부호기(도시 안됨)등으로 출력하는 동시에 역양자화기(16)로 출력한다. 역양자화기(16)는 양자화기(14)를 통해 양자화된 영상 데이타를 양자화되기 이전에 변환 계수로 복원하여 역이산 코사인 변환기(18)로 출력한다. 역이산 코사인 변환기918)는 역양자화기(16)를 통해 역양자화된 변환 계수를 이산 코사인 변환되기 이전의 공간 영역상의 소정의 구획으로 복원하여 가산기(20)로 출력한다. 가산기(20)는 역이산 코사인 변환기(18)를 통해 역이산 코사인 변환된 소정 구획의 영상 데이타와 움직임 보상 예측을 수행한 결과값을 가산하여 메모리(22)에 저장한다.

움직임 분류기(28)는 현재 부호화하고자 하는 프레임으로부터의 제1 입력 영상 데이타와 이전에 데이타 압축 부호화되어 메모리(22)에 저장되어 있는 이전 프레임으로부터의 제2 입력 영상 데이타를 입력하여 큰 움직임이 발생한 구획을 추출한다. 움직임 분류기(28)는 제4도를 통해 상세히 설명하기로 한다.

제4도에 있어서, 움직임 분류기(28)는 영역 분할기(281)와 큰 움직임 영역 추출기(283)로 구성된다. 영역 분할기(281)는 CCITT에서 권고한 MC/no MC 결정 규칙에 따라서 영상을 움직임 보상 영역(MC)과 비움직임 보상 영역(no MC)으로 분할한다. 여기서 MC/no MC 결정 규칙은 제5도에 도시된 그래프에 의거한다. 큰 움직임 영역 추출기(283)는 영역 분할기(281)에서의 출력신호에 대하여 큰 움직임이 발생한 영역을 추출하기 위한 것이다. 분할된 영역에서 큰 움직임이 발생하였을 때의 특징은 다음과 같다.

첫째, 작은 탐색 영역을 이용하는 블록 정합 알고리즘(Block Matching Algorithm : BMA)으로는 정확한 움직임 추정이 불가능하고, 둘째, 첫번째의 특징으로 인해 작은 탐색 영역내의 변위 구획 차 신호(Displaced Block Difference : DBD)의 분포가 불규칙한(random)하며, 셋째, 현재 부호화하고자 하는 프레임의 구획과 공간적 위치가 같은 이전 프레임의 후보 구획과의 차를 나타내는 구획 차 신호(또는 구획 오차 : Block Difference : BD)가 큰 값을 나타낸다. 여기서 DBD는 원신호와 복원된 신호로부터 얻어진 변위 프레임의 거대 구획간의 차이값이다.

본 발명에서는 움직임 영역내에서의 큰 움직임만을 고려하고, 큰 움직임의 구획 위치는 제6도에서와 같이 빗금친(주위)영역들이 MC 영역이고, 빈(Blank)(자신)영역은 no MC 영역인 것으로 나타난다.

제6도에 있어서, 구획 A, B, C, D가 큰 움직임 발생 특징에 해당하는 전술한 3가지 조건을 만족시킬 경우, 큰 움직임 영역으로 분류된다. 그러므로 전술한 3가지 특징으로부터 수식적인 관계를 도출하면 다음과 같다.

먼저, 제6도에서와 같이 빈영역은 no MC 영역이고, 빈영역 인접의 상, 하, 좌, 우 4개의 구획 중에서 3개 이상의 MC 영역인 경우 DBD의 불규칙성 또는 비일정성(Randomness)조사, 즉, BMA의 첫번째 단계에서 제7도에서와 같이 조사한다.

제7도는 탐색 영역에서의 탐색위치를 나타내는 것으로서, '0' 은 공간적은 같은 구획 위치를 나타내고, 나머지 구획 위치들은 3단계 BMA에서의 첫번째 단계에 해당하는 위치를 나타낸다.

이때 '0'위치의 현재 프레임의 구획과 나머지 '0'가 아닌 위치의 이전 프레임의 후보 구획들과의 DBD를 각각 DBD(1), DBD(2), . . . , DBD(8)로 나타내기로 한다. 여기서 DBD(i)(i=1,...,8)로 평균 절대치 오차(Mean Absolute Error)또는 평균 자승오차(Mean Square Error)일 수 있다.

이때, 평균값(A_DBD)은 다음과 같은 식(1)에 의해 산출될 수 있으며,

또한, 평균값(A_DBD)과 개별 DBD(i)의 차값(D_DBD(i))은 다음식(2)에 의해 계산된다.

그리고, 다음 식(3)으로부터 DBD(i)의 비일정성을 판단한다.

여기서 T1는 문턱값을 나타낸다.

즉, 전술한 식(3)으로부터 개별 DBD(i)값과 평균값(A_DBD)사이의 차값(D_DBD(i))이 기설정된 문턱값 T1 이하일 경우, DBD(i)의 분포는 불규칙하다고 판단한다.

두번째 단계로는 세번째의 특징으로부터 공간적으로 같은 위치의 구획간 오차 BD의 크기로부터 불규칙함을 판단하며, 이는 다음과 같은 식(4)으로 규정된다.

즉, 구획 오차(BD)가 기설정된 문턱값 T2보다 큰 경우를 나타낸다. 여기서 T2는 0보다 큰 값을 갖는다. 그러므로, 본 발명에서는 식(3)과 식(4)을 모두 만족하는 구획을 큰 움직임 영역으로 분류한다.

전술한 바와 같이 움직임 분류기(28)로부터의 분류 결과는 크게 3종류로 분류되는데, 첫째가 MC/no MC 결정 규칙으로부터의 정지여역, 둘째가 움직임 영역, 마지막으로 움직임 영역중에서 큰 움직임이 발생한 영역이다. 이 분류 정보는 움직임 추정기(26)로 인가한다.

움직임 추정기(26)에서, 상술한 첫째와 둘째 영역의 움직임 정보는 종래의 움직임 정보 추정 방법과 동일하게 추정된다. 즉 정지 영역의 정보는 '0'이라는 움직임 벡터가 주어지고, 움직임 영역의 움직임 정보는 움직임 분류과정의 MC/no MC 판단 과정중에서 3단계 BMA를 이용해서 추정된 움직임 벡터가 사용된다.

반면에, 움직임 추정기(26)에서 수행되는 본 발명의 큰 움직임 영상의 움직임 벡터 추정은 제8도에 도시된 바와 같이, 먼저 탐색 영역 및 탐색 구획을 확장한다. 이러한 탐색 영역의 확장은 큰 움직임이 일어난 경우, 보다 정확한 움직임 정보 추정이 가능하게 하기 위해서 선행되어야 한다. 또한 탐색 구획 크기의 확장은 전술한 확장된 탐색 영역에 따른 계산량의 감소 뿐만 아니라, 본래의 적은 크기의 탐색 영역에서의 BMA를 이용한 움직임 정보 측정시에 사용되는 스텝 크기(Step Size)보다 큰 스텝 크기의 사용을 가능하게 하기 위함이다. 전술한 바와 같이 본 발명의 큰 움직임 영상의 움직임 벡터 추정은 BMA 기법을 이용하며 탐색 영역과 탐색 구획의 확장에 근거하는데, 이때 움직임 물체의 크기가 확장된 구획에 비해 작을 경우, 정확한 움직임 벡터를 추정하는데 문제가 있을 수 있음으로 후술하는 필터링(Filtering) 기법을 적용하는 과정을 추가함으로써 해결할 수가 있다.

제9도는 전술한 문제점을 해결하기 위하여 필터링 기법을 수행하기 위하여 탐색 영역 및 탐색 구획의 확장, 예로, 2배로 확장된 상태를 나타낸 도면으로써, 블럭(91)은 본래의 탐색 구획을 나타내고, 4개의 블럭(92 내지95)은 확장된 탐색 구획에서 본래의 탐색 구획과 동일한 크기의 서브 구획으로 분할된 블록을 나타낸다. 동도면에서 서브 구획(92 내지 95)내의 화소들은 8 화소의 평균값으로 대체되며, 이러한 방식은 확장된 탐색 영역내에서의 모든 후보 구획들에 대해서도 동일하게 적용된다. 그러므로, 전술한 구획 확장에 따른 문제점을 저역통과 필터링을 이용하여 움직임 물체의 상대적 축소 효과를 완화시킴으로써 정확한 큰 움직임을 추정할 수 있다. 이와 같이, 평균 값으로 대체된 탐색 구획 및 탐색 영역내의 서브 구획들 내의 화소 값은 움직임 벡터 추정을 위한 BMA에 의하여 큰 움직임을 갖는 영상에 대한 움직임 벡터 정보를 추정하여, MCP(24)로 전달함으로써 보다 정확한 MCP를 수행할 수 있게 된다.

MCP(24)는 움직임 추정기(26)에서 출력되는 움직임 벡터 정보와 메모리(22)에 저장되어 있던 이전 프레임의 영상데이타를 이용하여 움직임 보상형 예측을 수행하고 그 결과를 감산기(10)와 가산기(20)로 전달한다.

전술한 바와 같이 본 발명에 의한 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법에 의하면 큰 움직임이 발생한 경우 탐색 영역 및 탐색 구획을 확장하며, 확장된 탐색 영역 및 탐색 구획에 따른 움직임 물체의 상대적 축소효과를 완화시켜 정확한 움직임 벡터 정보를 추출하여 움직임 보상형 예측을 수행함으로써 보다 효율적으로 영상 데이타를 압축할 수 있는 커다란 이점이 있다.

Claims (5)

1. 움직임 보상 예측(Motion Compensated Prediction)기법과 이산코사인변화(Discrete Cosine Transform : DCT)기법을 이용하여 영상을 부호화하는 동영상 부호화 시스템에서 사용하는 움직임 벡터 추정 방법에 있어서, MC/no MC 결정 규칙에 따라서 현제 프레임 영상 데이타와 이전 프레임 영상 데이타를 이용하여 움직임 보상 영역(MC)과 비움직임 보상 영역(no MC)으로 분류하는 단계; 상기 분류된 정보에 응답하여 상기 현재 프레임의 탐색 구획과 상기 이전 프레임의 움직임 탐색 영역내의 다수의 후보 구획들간의 각각의 움직임 변위를 나타내는 변위구획 차신호(Displaced Block Difference : DBD)의 분포와, 상기 탐색 구획과 공간적 위치가 같은 상기 탐색 영역내 후보 구회과의 차이값인 구획 차 신호(Block Difference : BD)를 이용하여 상기 탐색 영역을 벗어난 큰 움직임이 발생한 탐색 구획을 추출하는 단계; 상기 탐색 영역과 상기 큰 움직임이 발생한 탐색 구획을 확장하는 단계; 상기 확장된 탐색 구획을 상기 확장된 움직임 탐색 영역내의 다수의 후보 구획들과 블록 정합 방법(BMA)을 이용하여 상기 확장된 탐색 구획의 움직임 벡터를 추정하는 단계를 포함하는 것을 특징으로하는 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법.
2. 제1항에 있어서, 상기 DBD의 분포가 불규칙할 경우 상기 큰 움직임이 발생한 것으로 판단하는 것을 특징으로 하는 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법.
3. 제1항에 있어서, 상기 BD가 기설정된 임계값보다 클 경우, 상기 큰 움직임이 발생한 것으로 판단하는 것을 특징으로 하는 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법.
4. 제1항에 있어서, 상기 큰 움직임이 발생한 탐색 구획을 추출하는 단계는; 상기 각각의 변위 구획 차 신호(DBD)를 구하는 단계; 상기 변위 구획 차 신호(DBD)들의 평균값을 산출하는 단계; 상기 평균값과 상기 각각의 상기 변위 구획 차 신호(DBD)간의 차값이 제1문턱값(T1)보다 작으며, 상기 구획 차 신호(DB)가 제2문턱값보다 큰 조건을 만족하면, 큰 움직임 영역으로 판단하는 단계를 구비하는 것을 특징으로 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법.
5. 제1항에 있어서, 상기 움직임 벡터 추정 단계는: 상기 확장된 탐색 구획의 크기 보다 움직임 물체의 크기가 작은지를 판단하는 단계; 상기 확장된 탐색 구획 크기보다 상기 움직임 물체의 크기가 작을때, 상기 확장된 탐색 구획과 상기 확장된 탐색 영역내 다수의 후보 구획을 원래 탐색 구획의 크기와 동일한 크기의 서브구획으로 분할하는 단계; 상기 분할된 서브구획내 픽셀들의 평균 값을 이용하여 상기 확장된 탐색 영역에 대한 움직임 벡터를 구하는 단계를 구비하는 것을 특징으로하는 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법.