KR100510136B1 - 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치 - Google Patents

Abstract

참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치가 개시된다.

본 발명에 따라, 현재 픽처를 구성하는 복수개의 블럭에 대한 참조 픽처를 결정하는 방법은 (a) 상기 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정하는 단계; 및 (b) 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 압축 효율이 양호하면서도 부호화 및 복호화시 계산의 복잡성을 낮출 수 있다.

Description

참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치{Method for determining reference picture, moving compensation method thereof and apparatus thereof}

본 발명은 동영상 데이터를 부호화하거나 복호화함에 있어서 참조 픽처에 관한 것으로, 보다 상세하게는 하나의 픽처를 구성하는 복수개의 블럭에 대한 참조 픽처를 결정하는 방법, 그 움직임 보상 방법 및 그 장치에 관한 것이다.

동영상 데이터를 부호화하고 복호화하기 위해 마련된 H.264 표준에 따르면, 픽처에 포함된 복수개의 매크로 블록, 또는 매크로 블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 부호화 또는 복호화를 수행한다. 부호화 및 복호화는 예측(prediction)을 기반으로 이루어진다. 예측은 시간 축을 기준으로 과거 픽처를 참조하거나 과거 픽처와 미래 픽처를 모두 참조하는 방식으로 수행된다. 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처는 참조 픽처라고 한다.

H.264 표준에 따르면, 매크로 블록 및/또는 서브 블록은 각각 서로 다른 참조 픽처를 참조할 수 있다. 즉, 복수개의 픽처에 대해 각각 움직임 예측(motion estimation)을 수행해보아 가장 좋은 압축 효율을 갖는 픽처를 참조 픽처로 결정하고, 결정된 참조 픽처를 이용하여 움직임 벡터를 구한다. 따라서, 종래 하나의 참조 픽처만을 사용하던 방식에 비해 압축 효율이 보다 향상되거나 화질이 개선된다.

그러나, 현재 픽처를 부호화함에 있어 복수개의 참조 픽처를 사용하기 위해서는 그 참조 픽처들을 저장해두어야 하므로 메모리 부담이 커지며, 복수개의 참조 픽처마다 움직임 예측을 수행해본 다음 최적의 참조 픽처를 선택해야 하므로 계산량이 현저히 늘어나게 된다.

따라서, 본 발명이 이루고자 하는 기술적 과제는 복수개의 참조 픽처를 사용함으로써 압축 효율이 높으면서도 계산량을 줄일 수 있도록 참조 픽처를 결정하는 방법, 그 움직임 보상 방법 및 그 장치를 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 압축 효율이 높으면서도 계산량을 줄일 수 있도록 결정된 참조 픽처를 사용하여 움직임 보상을 수행하는 방법 및 그 장치를 제공하는 것이다.

상기 기술적 과제는 본 발명에 따라, 현재 픽처를 구성하는 복수개의 블럭에 대한 참조 픽처를 결정하는 방법에 있어서, (a) 상기 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정하는 단계; 및 (b) 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법에 의해 달성된다.

상기 (b)단계는 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 소정 기준에 따라 선택된 픽처를 참조 픽처로 결정하는 단계를 포함하는 것이 바람직하다. 또한, 상기 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 소정 기준에 따라 선택된 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하며, 상기 나머지 블럭에 대해 압축 효율이 가장 좋은 픽처를 참조 픽처로 결정하는 단계를 포함하는 것이 특히 바람직하다.

또한, 상기 기술적 과제는 움직임 보상을 수행하는 방법에 있어서, (a) 현재 픽처를 구성하는 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 선택하는 방식으로 얻어진 참조 픽처를 읽어들이는 단계; 및 (b) 읽어들인 참조 픽처와 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.

상기 (a)단계는 상기 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 더 좋은 픽처를 참조 픽처로 결정하는 단계를 포함하는 것이 바람직하고, 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 좋은 픽처를 참조 픽처로 결정하는 단계를 포함하는 것이 바람직하다.

한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 동영상 데이터를 부호화하는 장치에 있어서, 상기 동영상 데이터를 구성하는 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해, 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하고, 결정된 참조 픽처로부터 상기 블럭에 대한 움직임 벡터를 산출하는 움직임 예측부; 상기 움직임 예측부에 의해 결정된 참조 픽처를 저장하는 메모리부; 및 상기 움직임 예측부에 의해 산출된 움직임 벡터와 상기 메모리부에 저장된 참조 픽처를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.

또한, 상기 기술적 과제는 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치에 있어서, 상기 동영상 데이터를 구성하는 현재 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 선택하는 방식으로 결정된 참조 픽처를 알려주는 참조 픽처 인덱스와, 상기 참조 픽처 인덱스가 가리키는 참조 픽처를 저장하는 메모리부; 상기 비트스트림으로부터 추출된 움직임 벡터를 복호화하는 움직임 벡터 복호화부; 및 상기 메모리부로부터 읽어들인 참조 픽처와 상기 움직임 벡터 복호화부로부터 제공된 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.

상기 참조 픽처 인덱스는 상기 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 더 좋은 픽처를 가리키며, 현재 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 좋은 픽처를 가리키는 것이 바람직하다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.

본 발명에 따른 부호화 장치는 동영상 데이터를 부호화한다. 동영상 데이터는 시간축 상에 나열되는 복수개의 프레임 또는 필드 구조를 갖는 픽처로 구성되며, 픽처는 복수개의 블록으로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임 또는 비월 주사 방식에 의해 얻어진 비월 주사 프레임이다. 필드는 비월 주사 프레임을 구성하는 탑 필드 또는 바텀 필드이다. 블럭은 매크로 블록, 매크로 블록을 수직 또는 수평 방향으로 이분할 또는 사분할하여 얻어진 서브 블록을 포함한다.

도 1은 본 발명의 바람직한 실시예에 따른 부호화 장치의 블럭도이다.

도 1을 참조하면, 부호화 장치는 현재 픽처를 부호화함에 있어 복수개의 과거 픽처 및/또는 미래 픽처를 참조할 수 있는 다중 참조(multiple reference) 방식을 채용한 장치로서, 부호화 제어부(100), 제1 소스 부호화부(200), 제2 소스 부호화부(700)를 가진다. 나아가, 제1 소스 복호화부(300), 메모리부(400), 움직임 보상부(500), 및 움직임 예측부(600)를 구비한다. 여기서, 움직임 보상부(510)는 후술하는 바와 같이 본 발명에 따른 움직임 보상을 수행하며, 움직임 예측부(600)는 후술하는 바와 같이 본 발명에 따라 참조 픽처를 결정하고 결정된 참조 픽처를 사용하여 움직임 예측을 수행한다.

영상 데이터가 입력되면 부호화 제어부(100)는 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는, 즉 인터 코딩할 경우에는 이전 및/또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고, 움직임 보상을 수행하지 않을 경우, 즉 인트라 코딩할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 및/또는 이후 영상으부터 얻어진 차 영상 데이터가 제1 소스 부호화부(200)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 제1 소스 부호화부(200)로 입력된다.

본 실시예에서, 제1 스위치(S1)가 열린 경우 제1 소스 부호화부(200)로 입력되는 영상 데이터는 I-픽처이다. 제1 스위치(S1)가 닫힌 경우 제1 소스 부호화부(200)로 입력되는 영상 데이터는 P-픽처 또는 B-픽처이다. 즉, 부호화 대상이 되는 영상 데이터는 복수개의 픽처들로 이루어진다. I 픽처는 다른 픽처를 참조하지 않고 얻어지는 인트라(intra) 픽처를 가리키고, B 픽처는 두 개의 서로 다른 픽처를 참조하여 얻어지는 양방향(bi-predictive) 픽처를 가리킨다. P 픽처는 I 픽처만을 참조하여 얻어지는 예측(predictive) 픽처를 가리킨다. 다만, 본 실시예에서 부호화는 픽처를 구성하는 매크로 블록, 또는 매크로 블록을 이분할 또는 사분할하여 얻어진 서브 블록 단위로 수행된다. 따라서, 이하에서 언급하는 블록은 픽처를 구성하는 복수개의 블록, 보다 구체적으로. 매크로 블록, 또는 매크로 블록을 이분할 또는 사분할하여 얻어진 서브 블록을 가리킨다.

제1 소스 부호화부(200)는 픽처를 변환하여 변환 계수들을 얻고, 다시 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수들을 출력한다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform), 웨이블릿 변환을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.

한편, 제1 소스 부호화부(200)로 입력되어 부호화된 픽처는 이후 또는 이전에 입력된 블럭의 움직임 보상을 위한 참조 픽처로 사용될 수 있으므로 제1 소스 복호화부(300)에 의해 제1 소스 부호화부(200)의 역과정인 역양자화와 역변환을 거친 후 메모리부(400)에 저장된다.

움직임 예측(motion estimation)부(600)는 움직임 예측부(600)는 본 발명에 따라 참조 픽처를 결정한다. 즉, 현재 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해, 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 나머지 블럭의 참조 픽처로 결정한다. 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 가장 높은 픽처를 참조 픽처로 결정한다. 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 높은 픽처를 참조 픽처로 결정한다. 참조 픽처의 결정에 대한 보다 상세한 설명은 후술한다. 또한, 움직임 예측부(600)는 결정된 참조 픽처를 기초로 움직임 벡터(Motion Vector)를 산출한다. 움직임 벡터는 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출된다.

움직임 보상(motion compensation)부(500)는 움직임 예측부(600)에 의해 산출된 움직임 벡터가 가리키는 참조 픽처를 메모리부(400)로부터 읽어들인 다음, 참조 픽처와 움직임 벡터를 기초로 움직임 보상을 수행하고, 그 결과 얻어진 움직임 보상값을 출력한다. 움직임 보상값은 제1 소스 복호화부(300)에서 출력된 데이터에 더해져서, 입력된 영상 데이터를 구성하는 픽처로 복원된 다음 움직임 예측 또는 움직임 보상에 사용되기 위해 메모리부(400)에 저장된다.

제2 소스 부호화부(700)는 제1 소스 부호화부(200)로부터 출력되는 양자화된 변환 계수들을 입력받고, 움직임 예측부(600)로부터 출력되는 움직임 벡터를 입력받으며, 부호화 제어부(100)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 각각 부호화한 다음 멀티플렉싱하여 비트스트림을 출력한다. 본 실시예에서 제2 소스 부호화부(700)는 엔트로피 부호화를 수행한다.

도 2는 본 발명의 바람직한 실시예에 따른 복호화 장치의 블록도이다.

도 2를 참조하면, 복호화 장치는 도 1의 부호화 장치에 의해 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치로서, 비트스트림을 디먹싱하는 디먹싱부(110), 제2 소스 복호화부(710) 및 제1 소스 복호화부(210)을 구비한다. 또한, 코딩 타입 정보를 복호화하는 코딩 타입 정보 복호화부(120) 및 움직임 벡터를 복호화하는 움직임 벡터 복호화부(130)를 가진다. 나아가, 메모리부(410) 및 움직임 보상부(510)를 구비한다.

디먹싱부(110)는 수신된 비트스트림을 디먹싱하여, 부호화되고 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보를 출력한다. 제2 소스 복호화부(710)는 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 제1 소스 복호화부(210)는 양자화된 변환 계수들을 제1 소스 복호화한다. 즉, 도 1의 제1 소스 부호화부(200)의 역과정을 수행한다. 예를 들어, 제1 소스 부호화부(200)가 DCT를 수행하였다면 제1 소스 복호화부(210)는 IDCT(Inverse Discrete Cosine Transform)를 수행한다. 마찬가지로, 제1 소스 부호화부(200)가 웨이블릿 변환을 수행하였다면 제1 소스 복호화부(210)는 웨이블릿 역변환을 수행한다. 이에, 동영상 데이터를 구성하는 픽처가 복원된다. 복원된 픽처는 움직임 보상을 위해 메모리부(410)에 저장된다.

한편, 코딩 타입 정보 복호화부(120)는 코딩 타입을 복호화하여 코딩 타입을 알아낸다. 코딩 타입이 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S3)를 닫아 제1 소스 복호화부(210)로부터 출력된 데이터에 움직임 보상부(510)로부터 출력된 움직임 보상값이 더해져서 복원된 픽처를 얻을 수 있게 해준다. 움직임 벡터 복호화부(130)는 움직임 벡터를 복호화하고, 움직임 보상부(510)는 복호화된 움직임 벡터가 가리키는 참조 픽처를 사용하여 생성된 움직임 보상값을 출력한다.

특히, 움직임 보상부(510)는 움직임 보상을 수행함에 있어서, 본 발명에 따라 결정된 참조 픽처를 사용한다. 즉, 현재 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처가 결정된 다음, 나머지 블럭에 대해, 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처가 나머지 블럭의 참조 픽처로 결정된다. 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 가장 높은 픽처가 참조 픽처로 결정된다. 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 모두 다른 참조 픽처들 중 압축 효율이 가장 높은 픽처가 참조 픽처로 결정된다. 보다 상세한 설명은 후술한다.

도 3은 본 발명에 따른 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도이다.

도 3을 참조하면, 동영상 데이터는 I 픽처, B 픽처 및 P 픽처로 구성된다. 다중 참조 방식이란, B 픽처 또는 P 픽처를 부호화하거나 복호화함에 있어서 과거 및/또는 미래 픽처 중 복수개의 픽처를 참조하는 방식을 말한다. 일 예로, 화살표는 부호화/복호화시 필요한 픽처들, 즉 참조를 위한 종속 관계를 보여준다. B2 픽처는 I0 픽처와 P4 픽처에 종속되고, B1 픽처는 I0 픽처, P4 픽처, B2 픽처에 종속된다. B3 픽처는 I0 픽처, P4 픽처, B1 픽처, 및 B2 픽처에 종속된다. 따라서, 디스플레이 순서는 I0, B1, B2, B3, P4.. 순서이지만 전송 순서는 I0, P4, B2, B1, B3...가 된다. 따라서, 움직임 벡터는 포워드 예측 방식, 백워드 예측 방식, 양방향(bi-directional) 예측 방식, 및 다이렉트(direct) 예측 방식 중 적어도 하나의 방식으로 산출된다.

도 4는 본 발명에 따른 참조 픽처 결정 및 그 움직임 보상을 위한 단위가 되는 블럭들을 보여주는 참고도이다.

도 4를 참조하면, 픽처는 복수개의 블록들로 구성된다. 블록은 본 실시예에 따른 16×16 매크로 블록(MB)은 물론, 매크로 블록을 수평 방향으로 이분할하여 얻어진 서브 블록(sub_MB)인 16×8 블록, 매크로 블록을 수직 방향으로 이분할하여 얻어진 서브 블록인 8×16 블록, 매크로 블록을 수평 및 수직 방향으로 각각 이분할하여 얻어진 서브 블록인 8×8 블록, 이를 다시 수평 또는 수직 방향으로 이분할하여 얻어진 서브 블록인 8×4 블록 또는 4×8 블록, 수평 및 수직 방향으로 각각 이분할하여 얻어진 서브 블록인 4×4 블록을 포함한다.

도 5 내지 7은 본 발명의 바람직한 실시예에 따라 먼저 참조 픽처를 결정하도록 선택된 블록들이 표시된 현재 픽처의 개략도이다.

전술한 바와 같이, 본 발명에 따라 참조 픽처를 결정하는 방법을 구현하기 위해서는, 현재 픽처를 구성하는 복수개의 블록들 중 먼저 참조 픽처를 결정해야 하는 일부의 블록들을 선택해야 하는 바, 그 선택 방식은 특별한 조건 없이 다양하게 존재할 수 있다. 다만, 본 발명에 따른 결정 방법에 의해 현재 픽처를 구성하는 모든 블럭의 참조 픽처를 결정할 수 있기 위해서는, 선택되지 않은 나머지 블럭 각각에 대해서 그 이웃하는 블럭 중 참조 픽처가 이미 결정된 블럭이 적어도 하나는 존재하여야 한다. 필요에 따라, 즉 동영상 데이터의 특성, 시스템 자원, 채널 특성 등을 고려하여, 이웃하는 블럭 중 참조 픽처가 이미 결정된 블럭이 적어도 N개 존재해야 하는 조건을 만족하는 선택 방식을 결할 수 있다. 나아가, 이웃하는 블럭 중 참조 픽처가 이미 결정된 블럭이 적어도 P 개 이상 Q 개 이하가 존재하도록 하는 조건을 만족하도록 선택 방식을 결정할 수 있다(P < Q이고 P 및 Q는 정수).

도 5 내지 7을 참조하면, 회색 블럭은 먼저 소정 알고리즘에 따라 참조 픽처를 결정하도록 선택된 블록을 나타낸다. 도 5의 실시예에 따르면, 현재 픽처를 구성하는 블럭들 중 기존에 존재하는 방식 중 미리 결정된 어느 하나를 사용하여 먼저 참조 픽처가 결정되는 블록은 교번적으로 선택된다. 도 6의 실시예에 따르면, 열 방향으로 한 블록씩 이동하면서 행 방향으로 두 블록 건너마다 하나씩 선택됨을 알 수 있다. 도 7의 실시예에 따르면, 의사-랜덤하게 선택됨을 알 수 있다. 그 밖에도 무수한 예들이 존재할 수 있다.

선택된 블럭에 대해서는 가령, 소정 범위 내에 존재하는 참조 픽처에 대해 각각 움직임 예측을 수행해 본 다음 압축 효율이 가장 높은 픽처를 참조 픽처로 결정할 수 있다. 선택된 일부의 블럭 각각에 대해 참조 픽처를 결정하는 알고리즘 자체는 종래 존재하는 알고리즘 중 부호화되는 데이터의 특성, 하드웨어 사양, 사용자의 요구 등 필요에 따라 선택될 수 있다. 가령, MPEG-1, MPEG-2, MPEG-4 및 기타 다른 부호화 및 복호화 방법에서 사용하는 알고리즘을 선택할 수 있음은 물론 미래에 개발될 알고리즘을 적용할 수 있다. 본 실시예에서는 H.264에서 규정하고 있는 참조 픽처를 선택하는 알고리즘을 채용한다.

도 8 및 9는 본 발명에 따라 참조 픽처를 결정하는 방법에 있어서 현재 블럭에 대한 이웃 블럭들을 정의하는 방식의 예들을 보여준다. 이웃 블럭의 범위를 어디까지로 결정하는지에 따라 본 발명에 따른 참조 픽처 결정 방법의 구체적인 구현 방법이 달라질 수 있기 때문이다. 즉, 1) 현재 픽처를 구성하는 복수개의 블럭 중 기존의 방식 중 어느 하나로 참조 픽처를 먼저 결정하는 블럭을 선택함에 있어서 나머지 블럭은 먼저 참조 픽처가 결정된 이웃 블럭을 적어도 하나 가지고 있도록 해야 하는 조건을 만족시키거나, 2) 후술하는 바와 같이 나머지 블럭들의 참조 픽처를 결정하는 알고리즘이 달라지게 된다.

도 8을 참조하면, 본 실시예에서 현재 블록의 이웃 블록들은 현재 블록의 위, 아래, 왼쪽 및 오른쪽 경계선을 서로 공유하고 있는 블럭들을 포함함은 물론 현재 블록의 네개의 모서리 방향에 위치하는 블럭까지를 의미한다. 다시 말해, 현재 블록을 가운데 두고 현재 블록을 둘러싸는 8 개의 블록이 이웃 블록이 된다.

도 9를 참조하면, 본 실시예에서 현재 블록의 이웃 블록들은 현재 블록의 위, 아래, 왼쪽 및 오른쪽 경계선을 서로 공통으로 하고 있는 블럭들만을 가리킨다. 즉, 도 8의 그것과 달리 현재 블록의 네개의 모서리 방향에 위치하는 블럭은 포함되지 않는다.

도 10 내지 16은 도 8의 이웃 블럭을 바탕으로 본 발명에 따라 현재 픽처를 구성하는 나머지 블럭들의 참조 픽처를 결정하는 방법을 설명하기 위한 참고도이다.

현재 블록은 두꺼운 선의 외곽선으로 표시되어 있다. 현재 블록의 이웃하는 블록 중 회색 블럭은 미리 결정된 알고리즘에 따라 참조 픽처가 결정된 블록을 나타낸다. 본 실시예에서 회색 블럭은 2 개 이상 8 개까지 존재할 수 있다.

도 10은 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 두 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 2이다. 두 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1 및 ref_pic_idx 2라고 할 때, ref_pic_idx 1 및 ref_pic_idx 2가 서로 같으면 그 참조 픽처 인덱스 ref_pic_idx 1 = ref_pic_idx 2가 나타내는 참조 픽처를 현재 블럭의 참조 픽처로 결정하고, ref_pic_idx 1 및 ref_pic_idx 2가 서로 다르면 ref_pic_idx 1 및 ref_pic_idx 2가 가리키는 참조 픽처에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 현재 블록의 참조 픽처로 결정한다. 다시 말해, 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스가 현재 블록의 참조 픽처 인덱스가 된다.

도 11은 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 세 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 3이다. 세 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2 및 ref_pic_idx 3이라고 할 때, ref_pic_idx 1, ref_pic_idx 2 및 ref_pic_idx 3이 모두 같으면 그 참조 픽처 인덱스 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3이 나타내는 참조 픽처를 현재 블럭의 참조 픽처로 결정하고, ref_pic_idx 1, ref_pic_idx 2 및 ref_pic_idx 3 중 어느 두 개가 서로 같고 나머지 하나가 다르면 서로 같은 두 개의 참조 픽처 인덱스가 가리키는 참조 픽처를 현재 블록의 참조 픽처로 결정하며, ref_pic_idx 1, ref_pic_idx 2 및 ref_pic_idx 3이 각각 모두 다르면 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 현재 블록의 참조 픽처로 결정한다. 다시 말해, 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스가 현재 블록의 참조 픽처 인덱스가 된다.

도 12는 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 네 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 4이다. 네 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3 및 ref_pic_idx 4라고 할 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3 및 ref_pic_idx 4 중 세 개 이상이 모두 같으면, 즉 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4이거나 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 != ref_pic_idx 4이면, 그 세 개 이상 서로 같은 참조 픽처 인덱스가 나타내는 참조 픽처를 현재 블럭의 참조 픽처로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3 및 ref_pic_idx 4가 같은 것끼리 두 개씩 두 그룹으로 나뉘면, 즉 ref_pic_idx 1 = ref_pic_idx 2 != ref_pic_idx 3 = ref_pic_idx 4이면, ref_pic_idx 1과 ref_pic_idx 3에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3 및 ref_pic_idx 4 중 어느 두 개만 서로 같으면, 즉 ref_pic_idx 1 = ref_pic_idx 2 != ref_pic_idx 3 != ref_pic_idx 4이면 두 개의 서로 같은 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정하고, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3 및 ref_pic_idx 4가 모두 서로 다르면 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

도 13은 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 다섯 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 5이다. 다섯 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5라고 할 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5 중 세 개 이상이 서로 같으면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5이거나 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 != ref_pic_idx 5이거나 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 != ref_pic_idx 4, ref_pic_idx 1!= ref_pic_idx 5이면, 세 개 이상이 같은 참조 픽처 인덱스 ref_pic_idx 1를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5 중 세 개 이상 같은 참조 픽처 인덱스가 존재하지 않으면 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

대안적으로, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5 중 두 개 이상 같은 참조 픽처 인덱스 ref_pic_idx 1를 현재 블록의 참조 픽처 인덱스로 결정할 수도 있다. 이 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5 중 두 개씩 같은 참조 픽처 인덱스가 두 그룹 존재하면, 즉 ref_pic_idx 1 = ref_pic_idx 2 != ref_pic_idx 5, ref_pic_idx 3 = ref_pic_idx 4 != ref_pic_idx 5이면 ref_pic_idx 1과 ref_pic_idx 3에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4 및 ref_pic_idx 5이 모두 서로 다르면, 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

도 14는 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 여섯 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 6이다. 여섯 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5 및 ref_pic_idx 6이라고 할 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5 및 ref_pic_idx 6 중 네 개 이상이 서로 같으면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5 = ref_pic_idx 6이거나 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5 != ref_pic_idx 6이거나, ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 != ref_pic_idx 5, ref_pic_idx 1 != ref_pic_idx 6이면, 네 개 이상이 서로 같은 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5 및 ref_pic_idx 6이 같은 것들끼리 세 개씩 짝지워지면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 != ref_pic_idx 4 = ref_pic_idx 5 = ref_pic_idx 6이면 ref_pic_idx 1과 ref_pic_idx 4에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5 및 ref_pic_idx 6 중 어느 세 개만 서로 같으면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 != ref_pic_idx 4, ref_pic_idx 1 != ref_pic_idx 5, ref_pic_idx 1 != ref_pic_idx 6, ref_pic_idx 4 != ref_pic_idx 5이면 세 개만 서로 같은 참조 픽처 인덱스 ref_pic_idx 1를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5 및 ref_pic_idx 6 중 같은 것끼리 두 개씩 세 그룹으로 구분되거나, 같은 것이 두 개씩 두 그룹이 존재하거나, 어느 두 개만 서로 같거나 모두 다르면, 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

도 15는 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 일곱 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 7이다. 일곱 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7이라고 할 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7 중 네 개 이상이 서로 같으면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5 = ref_pic_idx 6 = ref_pic_idx 7이거나, ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5 = ref_pic_idx 6 != ref_pic_idx 7이거나, ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 = ref_pic_idx 5 != ref_pic_idx 6, ref_pic_idx 1 != ref_pic_idx 7이거나, ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 != ref_pic_idx 5, ref_pic_idx 1 != ref_pic_idx 6, ref_pic_idx 1 != ref_pic_idx 7이면, 네 개 이상이 서로 같은 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7에 네 개 이상 서로 같은 참조 픽처 인덱스가 존재하지 않으면, 즉 같은 것끼리 세 개씩 두 그룹으로 구분되거나, 같은 것끼리 세 개 존재하거나, 같은 것끼리 두 개씩 세 그룹으로 구분되거나, 같은 것끼리 두 개씩 두 그룹이 존재하거나, 같은 것이 두 개 존재하거나, 같은 것이 세 개인 한 그룹과 같은 것끼리 두 개씩 두 그룹으로 구분되거나, 같은 것이 세 개인 한 그룹과 같은 것끼리 두 개인 한 그룹으로 구분되거나, 모두 다르면, 존재하는 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

대안적으로, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7 중 세 개 이상이 서로 같은 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정할 수 있다. 이 경우, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7 중 세 개씩 같은 참조 픽처 인덱스가 두 그룹 존재하면, 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6 및 ref_pic_idx 7 중 세 개 이상 서로 같은 참조 픽처 인덱스가 존재하지 않으면, 즉 두 개씩 같은 참조 픽처 인덱스가 세 그룹 존재하거나, 두 그룹 존재하거나, 어느 두 개의 참조 픽처 인덱스만이 같거나, 모두 서로 다르면, 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

도 16는 현재 블록에 이웃하고 참조 픽처가 결정된 블록이 여덟 개인 경우의 일 예를 보여준다. 즉, 해당하는 이웃 블록의 갯수가 N이라면 N = 8이다. 여덟 블럭의 참조 픽처를 나타내는 참조 픽처 인덱스를 임의의 순서로 각각 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6, ref_pic_idx 7 및 ref_pic_idx 8이라고 할 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6, ref_pic_idx 7 및 ref_pic_idx 8 중 네 개 이상이 서로 같으면, 네 개 이상이 서로 같은 참조 픽처 인덱스 ref_pic_idx 1를 현재 블록의 참조 픽처 인덱스로 결정한다. 이 때, ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6, ref_pic_idx 7 및 ref_pic_idx 8이 같은 것들끼리 네 개씩 짝지워지면, 즉 ref_pic_idx 1 = ref_pic_idx 2 = ref_pic_idx 3 = ref_pic_idx 4 != ref_pic_idx 5 = ref_pic_idx 6 = ref_pic_idx 7 = ref_pic_idx 8이면, ref_pic_idx 1과 ref_pic_idx 5에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다. ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6, ref_pic_idx 7 및 ref_pic_idx 1, ref_pic_idx 2, ref_pic_idx 3, ref_pic_idx 4, ref_pic_idx 5, ref_pic_idx 6, ref_pic_idx 7 및 ref_pic_idx 8 중 네 개 이상 같은 참조 픽처 인덱스가 존재하지 않으면, 서로 다른 참조 픽처 인덱스에 대해 각각 움직임 예측을 수행해본 다음 압축 효율이 더 좋은 픽처를 가리키는 참조 픽처 인덱스를 현재 블록의 참조 픽처 인덱스로 결정한다.

지금까지 설명한 방법을 일반화하여 정리하면 다음과 같다.

<방법 1>

1. 현재 블록에 이웃하고 참조 픽처 인덱스를 가진 N 개의 이웃 블럭의 N 개의 참조 픽처 인덱스를 구한다(N은 정수).

2. N 개의 참조 픽처 인덱스 중 integer[N/2] 만큼 같은 참조 픽처 인덱스가 존재하면 그 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정한다(여기서, integer[]는 나머지 버림을 의미한다).

3. N 개의 참조 픽처 인덱스 중 integer[N/2] 만큼 같은 참조 픽처 인덱스가 복수개 존재하면, 그 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정한다.

4. N 개의 참조 픽처 인덱스 중 integer[N/2] 만큼 같은 참조 픽처 인덱스가 존재하지 않으면, 서로 다른 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정한다.

<방법 2>

1. 현재 블록에 이웃하고 참조 픽처 인덱스를 가진 N 개의 이웃 블럭의 N 개의 참조 픽처 인덱스를 구한다(N은 정수).

2. N 개의 참조 픽처 인덱스 중 integer[(N/2)+1] 만큼 같은 참조 픽처 인덱스가 존재하면 그 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정한다(여기서, integer[]는 나머지 버림을 의미한다).

3. N 개의 참조 픽처 인덱스 중 integer[(N/2)+1] 만큼 같은 참조 픽처 인덱스가 존재하지 않으면, 서로 다른 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정한다.

또한, 현재 블록에 대한 이웃 블록의 의미를 도 9를 참조하여 설명한 바와 같이 정의한 경우에도 도 8의 경우와 마찬가지의 방식에 의해 나머지 블럭들에 대해 참조 픽처를 결정할 수 있다. 나아가, 참조 픽처가 결정된 이웃 블럭이 한 개인 경우 그 이웃 블럭의 참조 픽처 인덱스를 현재 블럭의 참조 픽처 인덱스로 결정할 수 있다.

한편, 도 1의 부호화 장치는 위와 같이 결정된 참조 픽처를 사용하여 움직임 벡터를 산출하는 움직임 예측을 수행하고, 산출된 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다. 즉, 도 1의 움직임 예측부(600)는 위와 같인 결정된 참조 픽처를 사용하여 움직임 벡터를 산출하고, 및 움직임 보상부(500)는 산출된 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다.

나아가, 도 2의 복호화 장치는 위와 같이 결정된 참조 픽처와, 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행한다. 즉, 도 2의 움직임 보상부(510)는 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다.

한편, 전술한 참조 픽처 결정 방법 및 이를 바탕으로 한 움직임 보상 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 참조 픽처 결정 방법 및 그 움직임 보상 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.

전술한 바와 같이 본 발명에 따르면, 일반적으로 현재 블럭의 참조 픽처는 이웃하는 블럭의 참조 픽처 중 어느 하나로 결정될 가능성이 매우 높다는 사실에 기초하여 현재 픽처를 구성하는 일부 블럭에 대해서만 먼저 참조 픽처를 구한 다음 나머지 블럭에 대해서는 전술한 바와 같은 방식에 의해 참조 픽처를 결정함으로써, 압축 효율이 양호하면서도 부호화 및 복호화시 계산의 복잡성을 낮출 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 부호화 장치의 블럭도,

도 2는 본 발명의 바람직한 실시예에 따른 복호화 장치의 블록도,

도 3은 본 발명에 따른 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도,

도 4는 본 발명에 따른 참조 픽처 결정 및 그 움직임 보상을 위한 단위가 되는 블럭들을 보여주는 참고도,

도 5 내지 7은 본 발명의 바람직한 실시예에 따라 먼저 참조 픽처를 결정하도록 선택된 블록들이 표시된 현재 픽처의 개략도,

도 8 및 9는 본 발명에 따라 참조 픽처를 결정하는 방법에 있어서 현재 블럭에 대한 이웃 블럭들을 정의하는 방식의 예들을 보여주는 참고도,

도 10 내지 16은 도 8의 이웃 블럭을 바탕으로 본 발명에 따라 현재 픽처를 구성하는 나머지 블럭들의 참조 픽처를 결정하는 방법을 설명하기 위한 참고도이다.

Claims (20)

1. 현재 픽처를 구성하는 복수개의 블럭에 대한 참조 픽처를 결정하는 방법에 있어서,

   (a) 상기 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정하는 단계; 및

   (b) 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,

   상기 (b)단계는

   가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 소정 기준에 따라 선택된 픽처를 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
3. 제1항에 있어서,

   상기 (b)단계는

   상기 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 소정 기준에 따라 선택된 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
4. 제3항에 있어서,

   상기 (b)단계는

   상기 나머지 블럭에 대해 압축 효율이 가장 좋은 픽처를 참조 픽처로 결정하는 단계임을 특징으로 하는 방법.
5. 제1항에 있어서,

   상기 (b)단계는

   현재 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처를 가리키는 N 개의 참조 픽처 인덱스를 알아내는 단계;

   N 개의 참조 픽처 인덱스 중 integer [N/2] 만큼 같은 참조 픽처 인덱스가 존재하면 그 참조 픽처 인덱스를 상기 현재 블럭의 참조 픽처 인덱스로 결정하는 단계;

   N 개의 참조 픽처 인덱스 중 integer [N/2] 만큼 같은 참조 픽처 인덱스가 복수개 존재하면, 그 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 상기 현재 블럭의 참조 픽처 인덱스로 결정하는 단계; 및

   N 개의 참조 픽처 인덱스 중 integer[N/2] 만큼 같은 참조 픽처 인덱스가 존재하지 않으면, 서로 다른 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 상기 현재 블럭의 참조 픽처 인덱스로 결정하는 단계를 포함하는 것을 특징으로 하는 방법(여기서, integer[]는 나머지 버림을 의미한다)..
6. 제1항에 있어서,

   상기 (b)단계는

   현재 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 참조 픽처를 가리키는 N 개의 참조 픽처 인덱스를 알아내는 단계;

   N 개의 참조 픽처 인덱스 중 integer [(N/2)+1] 만큼 같은 참조 픽처 인덱스가 존재하면 그 참조 픽처 인덱스를 상기 현재 블럭의 참조 픽처 인덱스로 결정하는 단계; 및

   N 개의 참조 픽처 인덱스 중 integer [(N/2)+1] 만큼 같은 참조 픽처 인덱스가 존재하지 않으면, 서로 다른 참조 픽처 인덱스 각각에 대해 움직임 예측을 수행해본 다음 압축 효율이 가장 높은 참조 픽처 인덱스를 상기 현재 블럭의 참조 픽처 인덱스로 결정하는 단계를 포함하는 것을 특징으로 하는 방법(여기서, integer[]는 나머지 버림을 의미한다).
7. 제1항에 있어서,

   상기 (b)단계는

   상기 현재 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 갯수 N을 산출하는 단계; 및

   N = 2 일 때, 두 블럭의 참조 픽처가 서로 같으면 그 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하고, 서로 다르면 압축 효율이 더 좋은 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 제1항에 있어서,

   상기 (b)단계는

   상기 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 갯수 N을 산출하는 단계; 및

   N = 4 일 때, 그 블럭의 참조 픽처가 두 개 이상 서로 같으면 그 두 개 이상 서로 같은 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계;

   N = 4 일 때, 그 블럭의 참조 픽처가 두 개씩 같은 두 그룹으로 나뉘면 그 서로 다른 두 개의 참조 픽처 중 압축 효율이 더 좋은 픽처를 상기 나머지 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
9. 제1항에 있어서,

   상기 (b)단계는

   상기 나머지 블럭에 이웃하고 이미 참조 픽처가 결정된 블럭의 갯수 N을 산출하는 단계; 및

   N = 6 일 때, 그 블럭의 참조 픽처가 두 개씩 같은 세 그룹으로 나뉘면 그 서로 다른 세 개의 참조 픽처 중 압축 효율이 가장 좋은 픽처를 상기 현재 블럭의 참조 픽처로 결정하고, 세 개씩 같은 두 그룹으로 나뉘면 그 서로 다른 두 개의 참조 픽처 중 압축 효율이 더 좋은 픽처를 상기 현재 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
10. 제1항에 있어서,

    상기 (b)단계는

    현재 블럭에 이웃하고 참조 픽처가 결정된 블럭의 갯수 N을 산출하는 단계; 및

    N = 8 일 때, 그 블럭의 참조 픽처가 두 개씩 같은 네 그룹으로 나뉘면 그 서로 다른 네 개의 참조 픽처 중 압축 효율이 가장 좋은 픽처를 상기 현재 블럭의 참조 픽처로 결정하고, 세 개씩 같은 두 그룹과 두 개가 같은 한 그룹으로 나뉘면, 서로 다른 세 개의 참조 픽처 중 압축 효율이 더 좋은 픽처를 상기 현재 블럭의 참조 픽처로 결정하며, 네 개씩 같은 두 그룹으로 나뉘면 서로 다른 두 개의 참조 픽처 중 압축 효율이 더 좋은 픽처를 상기 현재 블록의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
11. 움직임 보상을 수행하는 방법에 있어서,

    (a) 현재 픽처를 구성하는 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 선택하는 방식으로 얻어진 참조 픽처를 읽어들이는 단계; 및

    (b) 읽어들인 참조 픽처와 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,

    상기 (a)단계는

    상기 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 더 좋은 픽처를 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
13. 제11항에 있어서,

    상기 (a)단계는

    그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 좋은 픽처를 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
14. 제1항 내지 제14항 중 어느 한 항에 있어서,

    상기 픽처는 순차 주사 프레임, 비월 주사 프레임, 탑 필드 및 바텀 필드 중 어느 하나의 구조를 가지며,

    상기 블록은 매크로 블록 및 상기 매크로 블록을 이분할 또는 사분할하여 얻어진 서브 블록 중 어느 하나임을 특징으로 하는 방법.
15. 동영상 데이터를 부호화하는 장치에 있어서,

    상기 동영상 데이터를 구성하는 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해, 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 결정하고, 결정된 참조 픽처로부터 상기 블럭에 대한 움직임 벡터를 산출하는 움직임 예측부;

    상기 움직임 예측부에 의해 결정된 참조 픽처를 저장하는 메모리부; 및

    상기 움직임 예측부에 의해 산출된 움직임 벡터와 상기 메모리부에 저장된 참조 픽처를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치.
16. 제15항에 있어서,

    상기 움직임 예측부는

    상기 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 가장 높은 픽처를 참조 픽처로 결정하는 것을 특징으로 하는 장치.
17. 제15항에 있어서,

    상기 움직임 예측부는

    그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 높은 픽처를 참조 픽처로 결정하는 것을 특징으로 하는 장치.
18. 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치에 있어서,

    상기 동영상 데이터를 구성하는 현재 픽처에 포함된 복수개의 블럭 중 일부 블럭에 대해 먼저 참조 픽처를 결정한 다음, 나머지 블럭에 대해 그 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처 중 가장 많이 선택된 참조 픽처를 상기 나머지 블럭의 참조 픽처로 선택하는 방식으로 결정된 참조 픽처를 알려주는 참조 픽처 인덱스와, 상기 참조 픽처 인덱스가 가리키는 참조 픽처를 저장하는 메모리부;

    상기 비트스트림으로부터 추출된 움직임 벡터를 복호화하는 움직임 벡터 복호화부; 및

    상기 메모리부로부터 읽어들인 참조 픽처와 상기 움직임 벡터 복호화부로부터 제공된 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치.
19. 제18항에 있어서,

    상기 참조 픽처 인덱스는

    상기 가장 많이 선택된 참조 픽처가 복수개 존재하면, 그 복수개의 참조 픽처들 중 압축 효율이 더 좋은 픽처를 가리키는 것을 특징으로 하는 장치.
20. 제18항에 있어서,

    상기 참조 픽처 인덱스는

    현재 블럭에 이웃하고 참조 픽처가 결정된 블럭의 참조 픽처가 모두 다르면, 그 모두 다른 참조 픽처들 중 압축 효율이 가장 좋은 픽처를 가리키는 것을 특징으로 하는 장치.