본 발명의 목적은 참조 픽처가 서로 상이한 움직임 벡터 간에 대해서도 보다 효율적인 예측 부호화를 수행할 수 있는 움직임 벡터 부호화 방법, 그 복호화 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적은 참조 픽처가 서로 상이한 움직임 벡터들 중 적어도 일부를 재조정하여 부호화 효율을 높이는 움직임 벡터 부호화 방법, 그 복호화 방법 및 그 장치를 제공하는 것이다.
본 발명에 따라, 움직임 벡터를 부호화하는 방법에 있어서, (a) 현재 블록에 이웃하는 복수개의 이웃 블록들 중 상기 현재 블록의 움직임 벡터와 상이한 타입의 움직임 벡터를 가진 이웃 블록에 대해 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구하는 단계; (b) 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하는 단계; (c) 산출된 대표값과 상기 현재 블록의 움직임 벡터와의 오차값을 산출하는 단계; 및 (d) 산출된 오차값을 부호화하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.
한편, 본 발명의 다른 분야에 따르면, 움직임 벡터를 부호화하는 장치에 있어서, 현재 블록에 이웃하는 복수개의 이웃 불록들 중 상기 현재 블록의 움직임 벡 터와 상이한 타입의 움직임 벡터들을 가진 이웃 블록에 대해 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구한 다음, 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하고, 산출된 대표값과 상기 현재 블록의 움직임 벡터와의 오차값을 산출하는 움직임 벡터 예측기; 및 산출된 오차값을 부호화하는 움직임 벡터 부호화기를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.
상기 현재 블록의 움직임 벡터가 포워드 움직임 벡터 MVf이고 상기 이웃 블록의 움직임 벡터는 백워드 움직임 벡터 MVb일 때, 상기 움직임 벡터 예측기는 상기 예측 움직임 벡터인 포워드 움직임 벡터 MVf(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVf(예측) = {상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리/(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)}*MVb
상기 현재 블록의 움직임 벡터가 백워드 움직임 벡터 MVb이고 상기 이웃 블록의 움직임 벡터는 포워드 움직임 벡터 MVf일 때, 상기 움직임 벡터 예측기는 상기 예측 움직임 벡터인 백워드 움직임 벡터 MVb(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVb(예측) = {(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)/상기 이웃 블록 이 속하는 현재 픽처와 참조한 과거 픽처의 거리}*MVf
상기 움직임 벡터 예측기는 다음 식에 의해 산출된 대표값인 예측값 PMV_X을 구하는 것이 바람직하다.
PVM_X = median(MVf_A, MVf_B, MVf_C) 또는 median(MVb_A, MVb_B, MVb_C)
여기서, MVf_A, MVf_B, MVf_C, MVb_A, MVb_B, 및 MVb_C은 상기 이웃 블록들의 움직임 벡터의 성분들로서, MVf_A는 좌측 블록의 포워드 움직임 벡터를, MVf_B는 상측 블록의 포워드 움직임 벡터를, MVf_C는 우상측 블록의 포워드 움직임 벡터를, MVb_A는 좌측 블록의 백워드 움직임 벡터를. MVb_B는 상측 블록의 백워드 움직임 벡터를, MVb_C는 우상측 블록의 백워드 움직임 벡터를 의미한다. 상기 예측 움직임 벡터는 이들 중 어느 하나일 수 있다.
한편, 본 발명의 다른 분야에 따르면, 상기 목적은 움직임 벡터를 복호화하는 방법에 있어서, (a) 현재 블록에 이웃하는 복수개의 이웃 블록들 중 상기 현재 블록과 상이한 타입의 움직임 벡터를 가진 이웃 블록에 대해 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구하는 단계; (b) 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록과 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하는 단계; 및 (c) 산출된 대표값과 복호화된 오차값을 더하여 상기 현재 블록의 움직임 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.
상기 현재 블록의 움직임 벡터가 포워드 움직임 벡터 MVf이고 상기 이웃 블록의 움직임 벡터는 백워드 움직임 벡터 MVb일 때, 상기 예측 움직임 벡터인 포워 드 움직임 벡터 MVf(예측)는 다음 식에 의해 산출되는 것이 바람직하다.
MVf(예측) = {상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차/(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 시간차 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차)}*MVb
상기 현재 블록의 움직임 벡터가 백워드 움직임 벡터 MVb이고 상기 이웃 블록의 움직임 벡터는 포워드 움직임 벡터 MVf일 때, 상기 예측 움직임 벡터인 백워드 움직임 벡터 MVb(예측)는 다음 식에 의해 산출되는 것이 바람직하다.
MVb(예측) = {(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 시간차 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차)/상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차}*MVf
상기 현재 블록의 움직임 벡터가 포워드 움직임 벡터 MVf이고 상기 이웃 블록의 움직임 벡터는 백워드 움직임 벡터 MVb일 때, 상기 예측 움직임 벡터인 포워드 움직임 벡터 MVf(예측)는 다음 식에 의해 산출되는 것이 바람직하다.
MVf(예측) = {상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리/(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)}*MVb
상기 현재 블록의 움직임 벡터가 백워드 움직임 벡터 MVb이고 상기 이웃 블록의 움직임 벡터는 포워드 움직임 벡터 MVf일 때, 상기 예측 움직임 벡터인 백워드 움직임 벡터 MVb(예측)는 다음 식에 의해 산출되는 것이 바람직하다.
MVb(예측) = {(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)/상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리}*MVf
상기 (b)단계는 다음 식에 의해 산출된 대표값인, 복호화를 위한 예측값 PMV_X을 구하는 단계임이 바람직하다.
PVM_X = median(MVf_A, MVf_B, MVf_C) 또는 median(MVb_A, MVb_B, MVb_C)
여기서, MVf_A, MVf_B, MVf_C, MVb_A, MVb_B, 및 MVb_C은 상기 이웃 블록들의 움직임 벡터의 성분들로서, MVf_A는 좌측 블록의 포워드 움직임 벡터를, MVf_B는 상측 블록의 포워드 움직임 벡터를, MVf_C는 우상측 블록의 포워드 움직임 벡터를, MVb_A는 좌측 블록의 백워드 움직임 벡터를. MVb_B는 상측 블록의 백워드 움직임 벡터를, MVb_C는 우상측 블록의 백워드 움직임 벡터를 의미한다. 상기 예측 움직임 벡터는 이들 중 어느 하나일 수 있다.
한편, 본 발명의 다른 분야에 따르면, 상기 목적은 움직임 벡터를 복호화하는 장치에 있어서, 오차값을 복호화해내는 움직임 벡터 복호화기; 및 현재 블록에 이웃하는 복수개의 이웃 불록들 중 상기 현재 블록과 상이한 타입의 움직임 벡터들을 가진 이웃 블록에 대해 상기 현재 블록과 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구한 다음, 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하고, 산출된 대표값과 상기 오차값을 더하여 상기 현재 블록의 움직임 벡터를 산출하는 움직임 벡터 예측 보상기를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.
상기 현재 블록의 움직임 벡터가 포워드 움직임 벡터 MVf이고 상기 이웃 블록의 움직임 벡터는 백워드 움직임 벡터 MVb일 때, 상기 움직임 벡터 예측 보상기는 상기 예측 움직임 벡터인 포워드 움직임 벡터 MVf(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVf(예측) = {상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차/(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 시간차 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차)}*MVb
상기 현재 블록의 움직임 벡터가 백워드 움직임 벡터 MVb이고 상기 이웃 블록의 움직임 벡터는 포워드 움직임 벡터 MVf일 때, 상기 움직임 벡터 예측 보상기는 상기 예측 움직임 벡터인 백워드 움직임 벡터 MVb(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVb(예측) = {(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 시간차 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차)/상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 시간차}*MVf
상기 현재 블록의 움직임 벡터가 포워드 움직임 벡터 MVf이고 상기 이웃 블록의 움직임 벡터는 백워드 움직임 벡터 MVb일 때, 상기 움직임 벡터 예측 보상기는 상기 예측 움직임 벡터인 포워드 움직임 벡터 MVf(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVf(예측) = {상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리/(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블 록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)}*MVb
상기 현재 블록의 움직임 벡터가 백워드 움직임 벡터 MVb이고 상기 이웃 블록의 움직임 벡터는 포워드 움직임 벡터 MVf일 때, 상기 움직임 벡터 예측 보상기는 상기 예측 움직임 벡터인 백워드 움직임 벡터 MVb(예측)를 다음 식에 의해 산출하는 것이 바람직하다.
MVb(예측) = {(상기 이웃 블록이 참조한 미래 픽처와 상기 과거 픽처의 거리 - 상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리)/상기 이웃 블록이 속하는 현재 픽처와 참조한 과거 픽처의 거리}*MVf
한편, 상기 목적은 전술한 부호화 방법 또는 복호화 방법을 수행하기 위한 프로그램 코드가 기록된 컴퓨터 판독가능한 정보저장매체에 의해서도 달성된다.
또한, 본 발명의 또 다른 실시예에 따른 움직임 벡터의 복호화 방법은 매크로블록 내에 구비된 현재 블록의 크기와 위치에 따라서 상기 현재 블록의 예측 움직임 벡터로 사용될 움직임 벡터를 갖는 이웃 블록을 선택하는 단계; 및 상기 선택된 이웃 블록의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로 선택하는 단계를 포함하며, 상기 현재 블록의 예측 움직임 벡터로 사용될 이웃 블록을 선택하는 단계는 상기 매크로 블록 내의 현재 블록의 크기가 8x16이고 상기 현재 블록이 매크로 블록 내의 좌측 블록인 경우, 상기 현재 블록의 좌측에 인접한 이웃 블록의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로 선택하는 것을 특징으로 한다.
또한, 본 발명의 또 다른 실시예에 따른 움직임 벡터의 복호화 장치는 현재 블록의 원 움직임 벡터와 상기 현재 블록의 예측 움직임 벡터 사이의 차이값을 복호화하는 움직임 벡터 복호화부; 및 매크로블록 내에 구비된 상기 현재 블록의 크기와 위치에 따라서 상기 현재 블록의 예측 움직임 벡터로 사용될 움직임 벡터를 갖는 이웃 블록을 선택하고, 상기 선택된 이웃 블록의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로 선택하며, 상기 선택된 예측 움직임 벡터와 상기 복호화된 차이값을 더하는 움직임 벡터 예측 보상부를 포함하며, 상기 움직임 벡터 예측 보상부는 상기 매크로 블록 내의 현재 블록의 크기가 8x16이고 상기 현재 블록이 매크로 블록 내의 좌측 블록인 경우, 상기 현재 블록의 좌측에 인접한 이웃 블록의 움직임 벡터를 상기 현재 블록의 예측 움직임 벡터로 선택하는 것을 특징으로 한다.
본 발명에 따르면 움직임 벡터를 부호화하고 복호화함에 있어, 현재 블록의 움직임 벡터와 타입이 다른 움직임 벡터를 갖는 이웃 블록에 대해 동일한 타입의 움직임 벡터를 예측하여 이를 토대로 중간값을 구하고 구해진 중간값에 기초하여 얻어진 차분값을 부호화하며, 복호화된 차분값에 현재 블록과 다른 타입의 움직임 벡터를 갖는 이웃 블록에 대해 동일한 타입의 움직임 벡터를 예측하여 이를 토대로 구해진 중간값을 더하여 현재 블록의 움직임 벡터를 구하므로, 부호화 효율 및 복호화 효율이 증대된다.
즉, 현재 블록의 움직임 벡터를 부호화하거나 복호화함에 있어 이웃 블록의 그것들의 대표값(중간값)을 토대로한다는 것은 이웃하는 블록들의 움직임은 유사하 다는 전제를 기초로 한다. 이에 본 발명의 움직임 벡터 부호화 방법 및 복호화 방법에 따르면, 종래 타입이 다른 움직임 벡터의 경우 대표값(중간값) 산출에서 배제됨으로써 이웃 블록들의 움직임이 제대로 반영되지 못하는 문제점을 개선하여, 이웃 블록이 다른 움직임 벡터를 갖는 경우라도 동일한 타입의 예측 움직임 벡터를 구하여 이를 대표값(중간값)을 구하는데 반영시킴으로써 부호화 및 복호화 효율이 보다 향상된다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 움직임 벡터 부호화 장치의 블록도이다.
도 1을 참조하면, 부호화 장치(70)는 움직임 벡터를 부호화하는 장치로서, 움직임 벡터 예측기(701) 및 움직임 벡터 부호화기(702)를 구비한다. 복수개의 블록들에 대한 움직임 벡터들이 입력되면, 움직임 벡터 예측기(701)는 현재 블록에 이웃하는 복수개의 이웃 불록들 중 상기 현재 블록의 움직임 벡터와 상이한 타입의 움직임 벡터들만을 가진 이웃 블록에 대해 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구한 다음, 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하고, 산출된 대표값과 상기 현재 블록의 움직임 벡터와의 오차값을 산출한다. 움직임 벡터 부호화 기(702)는 움직임 벡터 예측기(701)로부터 출력된 오차값을 부호화한다. 본 실시예에서 움직임 벡터 부호화기(702)는 오차값으로서 차분값을 부호화한다.
도 2는 본 발명의 바람직한 실시예에 따라, 도 1의 움직임 벡터 부호화 장치를 포함한 영상 데이터 부호화 장치의 블럭도이다.
도 2를 참조하면, 영상 데이터 부호화 장치는 다중 참조(Multiple reference) 방식을 채용한 부호화 장치로서, 부호화 제어부(100), 제1 소스 부호화부(200), 제2 소스 부호화부(700)를 구비한다. 또한, 소스 복호화부(300), 메모리부(400), 움직임 보상부(500), 및 움직임 예측부(600)를 구비한다.
입력되는 영상 데이터는 도 3에서와 같이 시간축을 따라 카메라로부터 입력되는 프레임들 또는 프레임을 소정 크기로 분할하여 얻어진 블록들로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임, 비월 주사 방식에 의해 얻어진 필드 또는 비월 주사 프레임을 포함한다. 따라서, 이하 설명하는 영상 데이터는 순차 주사 프레임, 비월 주사 프레임, 필드, 블록 구조의 픽처를 의미한다.
영상 데이터가 입력되면 부호화 제어부(100)는 입력되는 영상의 특성 또는 사용자가 원하는 소정 동작 목적에 따라, 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고 움직임 보상을 수행하지 않을 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 또는 이후 영상으로부터 얻어진 차 영상 데이터가 제1 소스 부호화부(200)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 제1 소스 부호화부(200)로 입력된다.
제1 소스 부호화부(200)는 입력된 영상 데이터를 변환(transform) 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
한편, 제1 소스 부호화부(200)로 입력되어 부호화된 영상 데이터는 이후 또는 이전에 입력된 영상 데이터의 움직임 보상을 위한 참조 데이터로 사용될 수 있으므로 소스 복호화부(300)에 의해 제1 소스 부호화부(200)의 역과정인 역양자화와 역변환 부호화를 거친 후 메모리(400)에 저장된다. 또한, 소스 복호화부(200)로부터 출력된 데이터가 차 영상 데이터이면 부호화 제어부(100)는 제2 스위치(S2)를 닫아서 소스 복호화부(300)로부터 출력된 차 영상 데이터가 움직임 보상부(500)의 출력과 더해진 다음 메모리(400)에 저장되도록 한다.
움직임 예측(motion estimation)부(600)는 입력된 영상 데이터와 메모리(400)에 저장된 데이터를 비교하여, 현재 입력된 데이터와 가장 유사한 데이터를 찾은 다음, 입력된 영상 데이터와 비교하여 움직임 벡터 MV(Motion Vector)를 출력한다. 움직임 벡터는 적어도 하나의 픽처를 참조하여 구해진다. 즉, 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출될 수 있다. 움직임 벡터가 메모리(400)로 전달되면 메모리(400)는 해당 데이터를 움직임 보상부(motion compensation)(500)로 출력하며, 움직임 보상부(500)는 입력받은 데이터를 기초로 현재 부호화하는 영상 데이터에 해당하는 보상치를 만들어 출력한다.
제2 소스 부호화부(700)는 제1 소스 부호화부(200)로부터 출력되는 양자화된 변환 부호화계수들과 움직임 예측부(600)로부터 출력된 움직임 벡터에 관한 정보를 입력받으며, 부호화 제어부(100)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.
본 발명에 따른 움직임 벡터의 부호화 장치(70)는 제2 소스 부호화부(700)에 구비된다. 따라서, 본 발명에 따른 움직임 벡터 부호화 방법은 제2 소스 부호화부(700)에 의해 수행된다. 제2 소스 부호화부(700)는 MPEG-4 부호화 표준, H.263 부호화 표준에서와 마찬가지로, 움직임 벡터들 간의 연관성을 반영하여 부호화 효율을 높이기 위해 현재 블록의 움직임 벡터를 그대로 부호화하는 것이 아니라 이웃 블록들의 움직임 벡터들을 이용하여 예측 부호화를 수행한다.
도 4는 본 발명의 바람직한 실시예에 따른 움직임벡터 복호화 장치의 블록도이다.
도 4를 참조하면, 복호화 장치는 본 발명에 따라 움직임벡터를 복호화하는 장치로서, 움직임벡터 복호화기(131) 및 움직임벡터 예측 보상기(132)를 구비한다. 움직임벡터 복호화기(131)는 입력된 부호화된 움직임벡터 오차값을 복호화하여 오차값을 복원한다. 이렇게 복원된 오차값으로부터 원래의 움직임벡터를 얻기 위해서는 오차값 계산에 사용된 예측치를 구한 후 이를 오차값에 더해주어야 최종적으 로 원래의 움직임벡터를 알아낼 수 있다. 이를 위해 움직임 벡터 예측 보상기(132)는 복수개의 블록들에 대한 움직임 벡터들을 입력받아 현재 블록에 이웃하는 복수개의 이웃 블록들 중 상기 현재 블록의 움직임 벡터와 상이한 타입의 움직임 벡터들만을 가진 이웃 블록에 대해 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터를 예측하여 예측 움직임 벡터를 구한 다음, 구해진 예측 움직임 벡터를 포함하여 상기 이웃 블록들의 움직임 벡터들 중 상기 현재 블록의 움직임 벡터와 동일한 타입의 움직임 벡터들에 대한 대표값을 산출하고, 산출된 대표값을 상기 움직임 벡터 복호화기(131)에 의해 복원된 오차값에 더하여 현재 블록의 움직임 벡터를 산출한다.
본 발명에 따른 움직임 벡터 복호화 방법은 본 발명에 따른 움직임 벡터 복호화 장치(130)에 의해 수행된다. 움직임 벡터 복호화 장치(130)는 MPEG-4 부호화 표준, H.263 부호화 표준에서와 마찬가지로, 움직임 벡터들 간의 연관성을 반영하여 복호화 효율을 높이기 위해 현재 블록의 움직임 벡터를 그대로 복호화하는 것이 아니라 이웃 블록들의 움직임 벡터들을 이용하여 예측 복호화를 수행한다.
도 5는 도 4의 움직임 벡터 복호화 장치(130)가 구비된 영상 데이터 복호화 장치의 블록도이다.
도 5를 참조하면, 복호화 장치는 비트스트림을 디먹싱하는 디먹싱부(110), 제2 소스 복호화부(710), 제1 소스 복호화부(210)을 구비한다. 또한, 코딩 타입 정보를 복호화하는 코딩 타입 정보 복호화부(120) 및 본 발명에 따른 움직임벡터 복호화를 수행하는 움직임 벡터 복호화부(130)를 구비한다.
비트스트림은 디먹싱부(110)에 의해 엔트로피 부호화된 양자화된 변환 부호화계수들, 움직임 벡터 정보, 코딩 타입 정보 등으로 디먹싱된다. 제2 소스 복호화부(710)는 부호화된 변환 부호화계수들을 엔트로피 복호화하여 양자화된 변환 부호화계수들을 출력한다. 제1 소스 복호화부(210)는 양자화된 변환 부호화계수들을 소스 복호화한다. 즉, 도 1의 제1 소스 부호화부(200)의 역과정을 수행한다. 예를 들어, 제1 소스 부호화부(200)가 DCT를 수행하였다면 제1 소스 복호화부(210)는 IDCT(Inverse Discrete Cosine Transform)를 수행한다. 이에, 영상 데이터가 복원된다. 복원된 영상 데이터는 움직임 보상을 위해 메모리부(410)에 저장된다.
한편, 코딩 타입 정보 복호화부(120)는 코딩 타입을 알아내어 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S30)를 닫아 제1 소스 복호화부(210)로부터 출력된 데이터에 움직임 보상부(510)로부터 출력된 움직임 보상값을 더해지도록 하여 복원된 영상 데이터가 얻어지도록 해준다. 움직임 벡터 복호화부(130)는 움직임 벡터 정보로부터 얻은 움직임 벡터가 가리키는 위치를 알려주고, 움직임 보상부(510)는 움직임 벡터가 가리키는 참조 영상 데이터로부터 움직임 보상값을 생성하여 출력한다. 움직임 벡터 복호화부(130)의 상세한 동작은 도 10을 참조하여 설명한 것과 동일하므로 반복되는 설명은 생략한다.
도 6은 본 발명의 바람직한 실시예에 따른 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도이다.
도 6을 참조하면, I 픽처는 다른 픽처를 참조하지 않고 얻어지는 인트라(intra) 픽처를 가리키고, B 픽처는 두 개의 서로 다른 픽처를 참조하여 얻어지 는 양방향(bi-predictive) 픽처를 가리킨다. P 픽처는 I 픽처만을 참조하여 얻어지는 예측(predictive) 픽처를 가리킨다. 화살표는 복호화시 필요한 픽처들, 즉 종속관계를 보여준다. B2 픽처는 I0 픽처와 P4 픽처에 종속되고, B1 픽처는 I0 픽처, P4 픽처, B2 픽처에 종속된다. B3 픽처는 I0 픽처, P4 픽처, B1 픽처, 및 B2 픽처에 종속된다. 따라서, 디스플레이 순서는 I0, B1, B2, B3, P4.. 순서이지만 전송 순서는 I0, P4, B2, B1, B3...가 된다. 이처럼, 도 1의 부호화 장치에 따르면 복수개의 픽처를 참조하여 생성되는 B 픽처가 존재한다. 다시 말해, 본 발명의 부호화 방법 및 복호화 방법에서의 움직임 벡터는 포워드 예측 방식, 백워드 예측 방식, 양방향(bi-directional) 예측 방식, 및 다이렉트(direct) 예측 방식 중 양방향 예측 방식을 포함한 적어도 하나의 방식으로 산출된다. 양방향 예측 방식에 있어서 두 개의 참조 픽처는 모두 과거 픽처 또는 모두 미래 픽처일수 있다.
도 7은 본 발명의 바람직한 실시예에 따른 움직임 보상의 단위가 되는 움직임보상 블록들을 보여주는 참고도이다.
도 7을 참조하면, 픽처는 복수개의 움직임보상 블록들로 구성된다. 움직임보상 블록은 본 실시예에 따른 16×16 매크로 블록(MB)은 물론, 매크로 블록을 수평 방향으로 이분할하여 얻어진 16×8 블록, 매크로 블록을 수직 방향으로 이분할하여 얻어진 8×16 블록, 매크로 블록을 수평 및 수직 방향으로 각각 이분할하여 얻어진 8×8 블록, 이를 다시 수평 또는 수직 방향으로 이분할하여 얻어진 8×4 블록 또는 4×8 블록, 수평 및 수직 방향으로 각각 이분할하여 얻어진 4×4 블록을 포함한다.
본 발명에 따른 움직임 벡터 부호화 방법은 현재 블록의 움직임 벡터 MV_X의, 이웃 블록들의 대표값, 본 실시예에서는 중간값(median)에 대한 오차값을 부호화하는 차분 부호화 방식(Differential Pulse Coded Modulation)에 따른다. 즉, 현재 블록 X에 대한 이웃 블록들인 좌측 블록 A, 상측 블록 B, 우상측 블록 C의 움직임 벡터를 각각 MV_A, MV_B, MV_C라고 하면 차분 벡터 부호화를 위한 예측값인 예측 벡터 PVM_X와 이를 이용한 차분값인 차분 벡터 MVD_X는 다음 수학식 1에 의해 계산된다. 계산은 벡터의 성분값(x 성분 및 y 성분)에 대해 각각 독립적으로 수행된다. 한편, 좌측 블록 A는 현재 블록 X에 속하는 첫 번째 행의 맨좌측 픽셀의 좌측으로 인접한 픽셀이 속하는 블록을 가리키고, 상측 블록 C는 현재 블록 X에 속하는 첫 번째 행의 맨좌측 픽셀의 상측으로 인접한 픽셀이 속하는 블록을 가리키며, 우상측 블록 C는 현재 블록 X에 속하는 첫 번째 행의 맨우측 픽셀의 상측으로 인접한 픽셀의 우측으로 인접한 픽셀이 속하는 블록을 가리킨다.
PMV_X = median(MV_A, MV_B, MV_C)
MVD_X = MV_X - PMV_X
본 발명에 따른 움직임 벡터 복호화 방법은 현재 블록의 이웃 블록들의 대표값, 본 실시예에서는 중간값(median)과, 복호화하여 얻은 오차값 MVD_X을 더하여 현재 블록의 움직임 벡터 MV_X를 구하는 복호화 방식에 따른다. 즉, 현재 블록 X에 대한 이웃 블록들인 좌측 블록 A, 상측 블록 B, 우상측 블록 C의 움직임 벡터를 각각 MV_A, MV_B, MV_C라고 하면 복호화를 위한 예측값인 예측 벡터 PVM_X와, 여기 에 복호화된 오차값 MVD_X을 더해서 얻어지는 움직임 벡터 MV_X는 다음 수학식 2에 의해 계산된다. 계산은 벡터의 성분값(x 성분 및 y 성분)에 대해 각각 독립적으로 수행된다.
PMV_X = median(MV_A, MV_B, MV_C)
MV_X = MVD_X + PMV_X
전술한 부호화 방법 및 복호화 방법에 따라 예측 움직임 벡터를 구함에 있어 예외 경우를 처리하는 로직은 다음과 같다.
첫째, 이웃 블록들 A, B, C, D 중 특정 블록이 픽처(또는 슬라이스)의 밖에 위치하는 경우는 다음과 같이 처리한다. 슬라이스는 시작 코드를 갖는 일련의 데이터 열의 최소 단위로 임의의 길이를 가지며 매크로 블록으로 구성된다. 슬라이스는 여러 픽처에 걸쳐 존재하지 않고 하나의 픽처 내부에 존재한다.
① 블록 A와 D가 모두 픽처(또는 슬라이스)의 밖에 위치하는 경우에는 MV_A=MV_D=0으로 하고 블록 A와 D는 현재 블록 X와 다른 참조 픽처를 갖는 것으로 간주한다.
② 블록 B, C, D 모두 픽처(또는 슬라이스)의 밖에 위치하는 경우에는 MV_B= MV_C=MV_A로 하고 중간값을 취할 경우에 반드시 MV_A이 현재 블록 X의 예측 벡터 PMV_X가 되도록 한다.
③ 블록 C가 픽처(또는 슬라이스)의 밖에 위치하는 경우에는 블록 D로 대체한다. 블록 D는 현재 블록 X의 좌상측 블록으로서 현재 블록 X에 속하는 첫 번째 행의 맨좌측 픽셀의 상측으로 인접한 픽셀이 속하는 블록을 가리킨다.
둘째, 이웃 블록들이 인트라 부호화된 경우, 즉 이웃 블록 A, B, C, D 가운데 인트라로 부호화된 블록이 있으면 그 블록의 움직임 벡터를 0으로 하고 다른 참조 픽처를 갖는 것으로 간주한다.
셋째, 이웃 블록이 현재 블록과 다른 참조 픽처를 갖는 경우에는 본 발명에서 제안하는 방식에 따라 「예측 움직임 벡터」를 구한 다음 구해진 「예측 움직임 벡터」를 중간값을 구하는데 사용한다. 다시 말해, 예측 부호화에 참여하는 현재 블록과 이웃 블록이 서로 다른 타입의 움직임 벡터를 갖고 있으면, 본 발명에서 제안하는 방식에 따라 동일한 타입의 예측 움직임 벡터를 구한 다음 이를 수학식 1 및 수학식 2의 예측 벡터를 구하는 식에 대입하여 중간값을 구한다.
도 8은 본 발명의 바람직한 실시예에 따라 예측 움직임 벡터를 구하는 경우를 설명하기 위한 참고도이다.
도 8을 참조하면, 현재 블록 X는 포워드 움직임 벡터 MVf_X를 가지고 있고, 이웃 블록 A, D는 현재 블록 X와 동일한 타입의 포워드 움직임 벡터 MVf_A 및 MVf_D를 가지고 있다. 그러나, 이웃 블록 B는 현재 블록 X와 상이한 타입의 백워드 움직임 벡터 MVb_B를 가지며, 이웃 블록 C는 포워드 움직임 벡터 MVf_C 및 백워드 움직임 벡터 MVb_C을 모두 가지고 있다.
전술한 수학식 1 및 수학식 2에 따른 중간값은 동일한 타입의 움직임 벡터들에 대해서 구해야 한다. 그 이유는 현재 블록과 다른 움직임 벡터가 부호화 및 복호화에 참여하게 되면 부호화 및 복호화 효율이 떨어질 수 있기 때문이다. 그런 데, 이웃 블록 B는 동일한 타입의 움직임 벡터를 가지고 있지 않으므로 먼저 이웃 블록 B의 예측 움직임 벡터를 구해야 한다. 다시 말해, 현재 블록 X와 동일한 타입의 포워드 움직임 벡터를 예측해야 한다.
도 9는 예측 움직임 벡터를 구하는 방식의 일 예를 보여준다.
도 9를 참조하면, 이웃 블록에 대한 예측 움직임 벡터로서 포워드 움직임 벡터 MVf(예측) 또는 백워드 움직임 벡터 MVb(예측)은 다음 식에 의해 예측될 수 있다.
MVb(예측) = {(Distance_B - Distance_A)/Distance_B}*MVf
MVf(예측) = {Distance_B/(Distance_B - Distance_A)}*MVb
여기서, Distance_A는 대응 이웃 블록이 속하는 현재 픽처가 참조한 참조 픽처 1 및 참조 픽처 2와의 픽처 거리(picture_distance)이고, Distance_B는 대응 이웃 블록이 속하는 현재 픽처와 참조 픽처 1과의 픽처 거리(picture_distance)이다. 본 예에서 참조 픽처 1은 현재 픽처에 대한 과거 픽처이고 참조 픽처 2는 미래 픽처이다.
도 10은 예측 움직임 벡터를 구하는 방식의 다른 예를 보여준다.
도 10을 참조하면, 이웃 블록에 대한 예측 움직임 벡터로서 포워드 움직임 벡터 MVf(예측) 또는 백워드 움직임 벡터 MVb(예측)은 다음 식에 의해 예측될 수 있다.
MVb(예측) = {(TR_B - TR_A)/TR_B}*MVf
MVf(예측) = {TR_B/(TR_B - TR_A)}*MVb
여기서, TR_A는 대응 이웃 블록이 속하는 현재 픽처가 참조한 과거 픽처 및 미래 픽처와의 시간차이고, TR_B는 대응 이웃 블록이 속하는 현재 픽처와 과거 픽처와의 시간차이다. 시간차는 픽처 간의 디스플레이의 상대적인 시간 순서를 알기위한 카운터값 TR(Temporal Reference)으로부터 구해낼 수 있다.
한편, 본 발명에 따른 움직임 벡터 부호화 방법은 B(Bi-predictive) 픽처에 대해 그 특징을 가지므로 B 픽처에 대해 보다 상세히 설명하면 다음과 같다.
B 픽처는 반드시 시간적으로 과거 픽처와 미래 픽처를 가지고 움직임 보상을 수행해야 한다는 제약을 갖지 않는다. 이에 따라 B 픽처에 속하는 현재 블록의 움직임 벡터는 시간이나 방향에 독립적이다. 다시 말해, B 픽처는 복수개의 픽처들을 참조하여 얻어진 것이므로, 현재 블록과 이웃 블록이 서로 다른 타입의 움직임 벡터를 가질 가능성이 높다. 그럼에도 불구하고, B 픽처에 속하는 현재 블록의 움직임 벡터는 본 발명에 따른 움직임 벡터 부호화 방법 및 복호화 방법에 의해, 이웃 블록들의 움직임 벡터들의 타입에 관계없이 부호화 및 복호화가 가능하다.
B 픽처는 4 종류의 움직임 보상 모드를 가지므로 4 종류의 움직임 벡터가 존재한다. 포워드 움직임 벡터 Forward MV(MVf), 백워드 움직임 벡터 Backward MV(MVb), 양방향 움직임 벡터 Bi-predictive MV(MVf, MVb), 다이렉트 움직임 벡터 Direct MV가 그것이다. 다이렉트 움직임 벡터인 경우에는 움직임 벡터 정보를 수신단에 전송하지 않으므로 부호화 및 복호화할 필요가 없지만, 나머지 움직임 벡터 들은 P 픽처와 마찬가지로, 이웃 블록의 움직임 벡터들로부터 얻어진 예측 벡터 PMV를 사용하여 부호화하거나 복호화한다.
전술한 바와 같이, B 픽처에 속하는 현재 블록의 움직임 벡터는 시간이나 방향에 독립적이므로 포워드, 백워드가 반드시 특정 시간이나 방향으로 구분됨을 의미하지는 않는다. 양방향 또한 반드시 특정 시간이나 방향을 구분하여 특정 시점을 기준으로 과거와 미래를 포함해야하거나 특정 지점을 기준으로 양방향이 반드시 포함되어야 하는 것은 아니다.
예측 벡터 PMV를 구함에 있어 MVf와 MVb는 각각 이웃 블록과 동일한 타입의 움직임 벡터들을 이용한다. 즉, MVf는 예측 벡터를 구함에 있어 이웃의 MVf들만을 이용하고 MVb는 주변의 MVb들만을 이용한다. 단, 양방향 움직임 벡터는 두가지 모두를 가지고 있으므로 각각 필요한 움직임 벡터를 사용한다. 따라서, B 픽처의 움직임 벡터를 부호화하거나 복호화함에 있어 예측 벡터 PMV를 설정할 때, 이웃의 움직임 벡터의 타입이 상이한 경우 동일한 타입의 움직임 벡터는 도 9 및 10을 참조하여 설명한 방법으로 예측할 수 있다.
도 7를 다시 참조하여, MVf_X = (1,2), MVf_A = (4,4), MVb_B = (-1,-1), MVf_C = (0,3), MVb_C = (-1,-2)라고 할 때, 종래 기술에 따르면 MVb_B = (-1,-1)는 현재 블록의 움직임 벡터와 타입이 상이하므로 중간값을 구하는데 있어 배제되고 대신 (0,0)이 대입된다. 따라서, 중간값은 (0, 3)이 되고 차분값 DMV_X는 (1, -1)이 된다. 그러나, 본 발명에 따르면, MVb_B = (-1,-1) 대신 예측된 (1, 1)이 중간값을 구하는데 사용된다. 따라서 중간값은 (1,1)이 되고 차분값 DMV_X는 (0,1)이 된다.
한편, 움직임보상 블록은 전술한 바와 같이 직사각형 형태를 가질 수 있다. 직사각형의 움직임 보상 블록의 경우에는 움직임 벡터의 예측 방향을 알 수가 있기 때문에 상기 서술한 주변 세 블록의 움직임 벡터들의 중간값을 예측 벡터로 사용하는 대신 다른 방식으로 예측한 예측 벡터를 사용한다.
도 11은 직사각형 움직임보상 블록에 대한 예측 벡터를 구하는 방식을 설명하기 위한 참고도이다.
도 11을 참조하면, 움직임보상 블록이 8×16인 경우 블록 ①의 예측 벡터로는 이웃 블록 중 좌측 블록의 움직임 벡터가 사용되고 블록 ②의 예측 벡터로는 이웃 블록 중 우상측 블록의 움직임 벡터가 사용된다.
움직임보상 블록이 16×8인 경우 블록 ③의 예측 벡터로는 이웃 블록 중 상측 블록의 움직임 벡터가 사용되고 블록 ④의 예측 벡터로는 이웃 블록 중 좌측 블록의 움직임 벡터가 사용된다.
움직임보상 블록이 8×4인 경우 블록 ⑤의 예측 벡터는 각각 이전 블록의 중간값이 그대로 사용되어 구해지고 블록 ⑥의 예측 벡터로는 각각 이웃 블록 중 좌측 블록의 움직임 벡터가 사용된다.
움직임보상 블록이 4×8인 경우 블록 ⑦의 예측 벡터는 각각 이전 블록의 중간값이 그대로 사용되어 구해지고 블록 ⑧의 예측 벡터로는 각각 이웃 블록 중 상측 블록의 움직임 벡터가 사용된다.
다만, 예측 벡터로 설정된 움직임 벡터의 참조 픽처가 현재 블록의 참조 픽 처와 다른 경우에는 기존 중간값을 사용한다. 다른 예외의 경우들은 상기 서술한 중간값 예측에서와 동일하게 처리한다.
전술한 움직임 벡터 부호화 방법 및 복호화 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable medium)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 움직임 벡터 부호화 방법 및 복호화 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.