KR100750136B1

KR100750136B1 - 영상의 부호화, 복호화 방법 및 장치

Info

Publication number: KR100750136B1
Application number: KR1020050104361A
Authority: KR
Inventors: 김소영; 박정훈; 이상래; 이재출; 손유미
Original assignee: 삼성전자주식회사
Priority date: 2005-11-02
Filing date: 2005-11-02
Publication date: 2007-08-21
Also published as: CN1984340A; KR20070047522A; CN100566426C; US20070098067A1

Abstract

본 발명은 인트라-인터 하이브리드 예측자를 이용한 예측 블록을 생성함으로써 영상의 압축 효율을 향상시킨 영상의 압축 부호화, 복호화 방법 및 장치에 관한 것으로, 본 발명에 따른 영상 부호화 방법은 입력 영상을 적어도 하나 이상의 블록으로 분할하는 단계, 분할된 블록 중 부호화할 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하는 단계, 경계 부분을 제외한 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성하는 단계 및 제 1 예측자와 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 따르면 영상 특성에 따라 부호화할 영상에 보다 유사한 예측 블록을 생성할 수 있고, 이로 인해 영상의 압축 효율을 향상시킬 수 있다.

Description

영상의 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding of video}

도 1은 종래 기술에 따른 H.264 표준안에서 사용되는 인트라 4x4 모드를 나타낸 도면이다.

도 2는 본 발명에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.

도 3a 내지 도 3c는 본 발명에 따른 하이브리드 예측자의 구성을 나타낸 도면들이다.

도 4는 본 발명에 따른 하이브리드 예측부의 동작을 설명하기 위한 도면이다.

도 5는 본 발명에 따른 하이브리드 예측 방식을 통해 예측된 하이브리드 예측 블록의 일 예를 나타낸 도면이다.

도 6은 본 발명에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.

도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.

도 8은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.

본 발명은 영상의 압축 부호화 및 복호화에 관한 것으로, 보다 구체적으로는 인트라-인터 하이브리드 예측자(hybrid predictor)를 이용한 예측 블록을 생성함으로써 영상의 압축 효율을 향상시킨 영상의 압축 부호화, 복호화 방법 및 장치에 관한 것이다.

일반적으로, MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263 및 H.264 등의 주요 비디오 압축 표준안에서는 하나의 프레임을 복수 개의 블록들로 분할한 다음, 블록 단위로 예측(prediction process)을 수행하여 예측 블록(prediction block)을 구하고, 원 영상 블록과 예측 블록의 차이를 변환 및 양자화(transform & quantize)하는 방식으로 비디오 데이터를 압축한다.

예측의 방식으로는 인트라 예측(intra prediction)과 인터 예측(inter prediction)의 두 가지 종류가 있다. 인트라 예측은 현재 프레임에 존재하는 이미 인코딩되고 디코딩되어 복원된 주변 블록의 데이터를 이용하여 현재 블록의 예측을 수행한다. 인터 예측은 블록 기반 움직임 보상을 이용하여 이전에 인코딩된 하나 또는 그 이상의 비디오 프레임으로부터 현재 블록에 대응되는 예측 블록을 생성한다.

도 1을 참조하면, 인트라 4x4 모드에는 DC(Direct Current) 모드, 수직(Vertical) 모드, 수평(Horizontal) 모드, 대각선 왼쪽 아래(Diagonal Down-left) 모드, 대각선 오른쪽 아래(Diagonal Down-right) 모드, 수직 왼쪽(Vertical left) 모드, 수직 오른쪽(Vertical right) 모드, 수평 위쪽(Horizontal-up) 모드 및 수평 아래쪽(Horizontal-down) 모드의 총 9개의 모드가 존재한다. 상기 인트라 모드에 따라 인접 블록의 화소들인 A~M으로부터 현재 블록의 화소값이 예측된다.

인터 예측을 수행하는 경우, 이전 및/또는 다음 픽처로 구성되는 참조 픽처(reference picture)를 참고하여 현재 블록에 대한 움직임 보상/추정(motion compensation/estimation)을 수행하고 예측 블록을 형성한다.

상기 인트라 예측 또는 인터 예측 모드 중 어느 하나에 따라 생성된 예측 블록과 원 영상 블록 사이의 차이인 레지듀(residue)는 DCT 변환, 양자화 및 가변 길이 부호화를 거쳐서 영상의 압축 부호화가 수행된다.

전술한 바와 같이, 종래 기술에 따르면 인트라 예측 모드 또는 인터 예측 모드 중 어느 하나를 이용하여 현재 블록에 대응되는 예측 블록을 형성하고 소정의 코스트 함수를 사용하여 코스트를 계산한 다음, 최소 코스트를 갖는 모드를 선택하여 부호화를 수행함으로써 압축 효율을 향상시키고 있다.

그러나, 제한된 전송 대역폭의 한계를 극복하고, 고화질의 영상을 사용자에게 제공하기 위해서 더욱 향상된 압축 효율을 갖는 영상의 부호화 방법에 대한 요구는 끊임없이 계속되고 있다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 부호화시의 압축 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공하는 데에 목적이 있다.

또한, 본 발명은 상기 본 발명에 따른 부호화 방식에 따라 부호화된 영상 데이터를 효율적으로 복호화할 수 있는 영상 복호화 방법 및 장치를 제공하는 데에 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상의 부호화 방법은, 입력 영상을 적어도 하나 이상의 블록으로 분할하는 단계; 상기 분할된 블록 중 부호화할 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하는 단계; 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성하는 단계; 및 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상의 부호화 장치는, 적어도 하나 이상의 블록으로 분할된 영상의 블록 중 부호화할 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 하이브리드 예측부를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상의 복호화 방법은, 수신된 비트스트림에 포함된 예측 모드 정보로부터 복호화할 현재 블록의 예측 모드를 결정하는 단계; 상기 결정된 예측 모드가 상기 현재 블록의 경계 부분은 인트라 예측을 통해 예측하고 나머지 부 분은 인터 예측을 통해 예측하는 하이브리드 예측 모드인 경우, 상기 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 단계; 및 상기 비트스트림에 포함된 레지듀와 상기 예측 블록을 합성하여 영상을 복호화하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상의 복호화 장치는, 수신된 비트스트림으로부터 추출된 예측 모드 정보가 복호화할 현재 블록의 경계 부분은 인트라 예측을 통해 예측하고 및 나머지 부분은 인터 예측을 통해 예측 부호화한 하이브리드 예측 모드인 경우, 상기 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 하이브리드 예측부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

본 발명에 따른 영상 부호화 방법 및 장치는 현재 블록의 경계 부분은 주변 블록의 샘플값을 이용한 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 현재 블록의 나머지 부분은 이전 참조 영상을 이용한 인터 예측을 통해 제 2 예측자를 형성한 다음 상기 제 1 예측자와 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 것을 특징으로 한다. 이는 일반적으로 영상에서 블록의 경계 부분은 주변 블록과의 상관성이 높기 때문에 경계 부분은 이러한 주변 블록과의 공간적인 상관 관계를 고려하여 인트라 예측을 수행하고, 블록 내부의 화소값은 참조 영상의 블록과 높은 시간적인 상관 관계를 갖는 것을 고려하여 인터 예측을 수행하는 것이다. 또한, 인터 예측은 모양의 예측에 적합한 예측 방식이고, 인트라 예측은 밝기에 적합한 예측이다. 따라서, 인트라 예측 및 인터 예측을 혼합한 하이브리드 방식을 통해 현재 블록에 대응되는 예측 블록을 형성함으로써 보다 정확한 예측을 가능하게 하고, 현재 블록과 예측 블록 사이의 오차를 감소시킴으로써 압축 효율을 향상시킬 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.

본 발명에 따른 영상 부호화 장치(200)는 부호화하고자 하는 현재 블록에 대응되는 예측 블록을 인터 예측, 인트라 예측 및 하이브리드 예측 방식으로 형성한 다음 상기 예측 방식 중 가장 작은 코스트를 갖는 예측 모드를 최종적인 예측 모드로 결정하고, 결정된 예측 모드에 따라서 형성된 예측 블록과 원래의 현재 블록 사이의 오차값인 레지듀(residue)를 변환, 양자화 및 엔트로피 부호화함으로써 압축하는 장치이다. 여기서, 상기 인터 예측 및 인트라 예측은 종래 기술에 따른 방식, 일 예로 H.264 표준안에 따른 인터 예측 및 인트라 예측 방식 등이 그대로 적용될 수 있다.

도 2를 참조하면, 본 발명에 따른 영상 부호화 장치(200)는 움직임 추정부(202), 움직임 보상부(204), 인트라 예측부(224), 변환부(208), 양자화부(210), 재정렬부(212), 엔트로피 코딩부(214), 역양자화부(216), 역변환부(218), 필터(220), 프레임 메모리(222), 제어부(226) 및 하이브리드 예측부(230)를 구비한다.

인터 예측을 위해 현재 픽처의 매크로 블록의 예측값을 참조 픽처에서 찾는 것은 움직임 추정부(202)에서 수행된다. 그리고, 움직임 보상부(204)는 1/2 화소 또는 1/4 화소 단위로 참조 블록이 찾아진 경우에는 이들 중간 화소값을 계산하여 참조 블록 데이터 값을 정한다. 이와 같이, 움직임 추정부(202)와 움직임 보상부(204)에서 인터 예측이 수행되어 현재 블록에 대응되는 인터 예측 블록이 형성된다.

인트라 예측부(224)는 현재 픽처의 매크로 블록의 예측치를 현재 픽처내에서 찾는 인트라 예측을 수행하여 현재 블록에 대응되는 인트라 예측 블록을 형성한다.

특히, 본 발명에 따른 영상 부호화 장치(200)는 현재 블록에 대응되는 예측 블록을 형성하기 위하여 상기 인터 예측 및 인트라 예측을 혼합한 하이브리드 방식을 통해 예측 블록을 형성하는 하이브리드 예측부(230)를 구비한다.

상기 하이브리드 예측부(230)는 부호화되는 현재 블록의 경계 부분은 인트라 예측을 수행하여 제 1 예측자를 형성하며, 상기 경계 부분을 제외한 현재 블록의 나머지 부분은 인터 예측을 수행하여 제 2 예측자를 형성하고, 상기 제 1 예측자와 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 생성한다.

도 3a 내지 도 3c는 본 발명에 따른 하이브리드 예측자의 구성예를 나타낸 도면들이고, 도 4는 본 발명에 따른 하이브리드 예측부(230)의 동작을 설명하기 위한 도면이다. 도 3a 내지 도 3c에서는 일 예로서 4×4 크기를 갖는 현재 블록(300)에 대응되는 하이브리드 예측 블록을 생성하는 경우를 도시하였으나, 본 발명에 따른 하이브리드 예측 블록 생성 방법은 도시된 이외의 다양한 크기의 블록에 대해서 적용될 수 있음은 자명하다. 이하에서는 설명의 편의를 위하여 4×4 크기의 현재 블록에 대한 하이브리드 예측 블록을 생성하는 경우를 중심으로 설명한다.

도 3a를 참조하면, 상기 하이브리드 예측부(230)는 현재 블록(300)의 경계 영역(310)에 위치한 화소들에 대한 제 1 예측자를 주변 블록의 화소값을 이용한 인트라 예측을 통해 형성하고, 상기 경계 영역(310)을 제외한 현재 블록(300)의 내부 영역(320)에 위치한 화소들에 대한 제 2 예측자는 인터 예측을 통해 형성한다. 여기서, 상기 경계 영역(310)의 화소들은 인트라 예측을 위해 이전에 처리된 블록과 인접한 화소들인 것이 바람직하다. 또한, 도 3a에서는 상기 경계 영역(310)이 1 화소 크기의 폭을 갖는 경우를 도시하고 있으나, 상기 경계 영역(310)의 폭은 다양한 크기를 가질 수 있다.

상기 하이브리드 예측부(230)는 이용가능한 다양한 인트라 예측 모드에 따라서 상기 경계 영역(310)에 위치한 화소들을 예측할 수 있다. 즉, 도 3a에 도시된 바와 같은 4×4 크기의 현재 블록(300)의 경계 영역(310)을 구성하는 화소들 a₀₀, a₀₁, a₀₂, a₀₃, a₁₀, a₂₀ 및 a₃₀은 상기 도 1에 도시된 인트라 4×4 예측 모드에 따라서 주변 블록의 인접 화소들 A 내지 L로부터 예측될 수 있다. 또한, 상기 하이브리 드 예측부(230)는 상기 경계 영역(310)을 제외한 내부 영역(320)에 대한 움직임 추정 및 보상을 수행하고, 참조 프레임의 가장 유사한 영역으로부터 상기 내부 영역(320)을 구성하는 화소들 a₁₁, a₁₂, a₁₃, a₂₁, a₂₂, a₂₃, a₃₁, a₃₂ 및 a₃₃의 화소값을 예측한다. 또한, 상기 하이브리드 예측부(230)는 상기 움직임 보상부(204) 및 인트라 예측부(224)에서 출력되는 인터 예측 결과 및 인트라 예측 결과를 이용하여 하이브리드 예측 블록을 생성할 수 있다.

일 예로서 도 4를 참조하면, 상기 도 1에 도시된 상기 H.264 표준안에 따른 인트라 4×4 예측 모드 중에서 모드 0, 즉 수직(vertical) 모드에 따라 상기 경계 영역(310)에 위치한 화소들이 인트라 예측되고, 상기 내부 영역(320)에 위치한 화소들은 움직임 추정 및 보상 과정을 통해 도시된 바와 같은 소정의 움직임 벡터(Motion Vector:MV)가 가리키는 참조 프레임의 영역으로부터 인터 예측될 수 있다.

도 5는 상기 도 4에 도시된 바와 같은 본 발명에 따른 하이브리드 예측 방식을 통해 예측된 하이브리드 예측 블록을 나타낸 도면이다. 도 5를 참조하면, 경계 영역(310)을 구성하는 화소들은 주변 블록의 인접 화소들로부터 인트라 예측되고, 내부 영역(320)을 구성하는 화소들은 움직임 추정 및 보상 과정을 통해 결정된 참조 프레임의 해당 영역으로부터 인터 예측된다. 다시 말해서, 상기 하이브리드 예측부(230)는 경계 영역(310)을 구성하는 화소들에 대해서는 인트라 예측을 통해 제 1 예측자를 형성하고, 내부 영역(320)을 구성하는 화소들에 대해서는 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 제 2 예측자를 합성하여 현 재 블록에 대응되는 예측 블록을 생성한다.

유사하게 도 3b를 참조하면, 상기 하이브리드 예측부(230)는 현재 블록(300)의 경계 영역(330)에 위치한 화소들에 대한 제 1 예측자를 주변 블록의 화소값을 이용한 인트라 예측을 통해 형성하고, 상기 경계 영역(330)을 제외한 현재 블록(300)의 내부 영역(340)에 위치한 화소들에 대한 제 2 예측자는 인터 예측을 통해 형성할 수 있다. 또한, 도 3c를 참조하면, 상기 하이브리드 예측부(230)는 현재 블록(300)의 경계 영역(350)에 위치한 화소들에 대한 제 1 예측자를 주변 블록의 화소값을 이용한 인트라 예측을 통해 형성하고, 상기 경계 영역(350)을 제외한 현재 블록(300)의 내부 영역(360)에 위치한 화소들에 대한 제 2 예측자는 인터 예측을 통해 형성할 수 있다.

한편, 상기 하이브리드 예측부(230)는 상기 제 1 예측자에 소정의 제 1 가중치(w1)를 곱한 가중된 제 1 예측자와 상기 제 2 예측자에 소정의 제 2 가중치(w2)를 곱한 가중된 제 2 예측자를 합성하여 예측 블록을 형성할 수 있다. 여기서, 상기 제 1 가중치(w1) 및 상기 제 2 가중치(w2)는 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값의 비율을 이용하여 계산될 수 있다. 일 예로서, 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값을 M1, 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값을 M2라고 할 때, 상기 제 1 가중치(w1)는 1, 상기 제 2 가중치(w2)는 M1/M2로 설정할 수 있다. 이는 인트라 예측된 화소값이 현재 부호화할 픽처의 값을 반영하고 있기 때문에 좀 더 정확한 예측자를 구성하는 것이 가능하기 때문이다.

도 5에 도시된 바와 같은 하이브리드 예측 블록을 예로 들어 설명하면, 상기 하이브리드 예측부(230)는 상기 제 1 예측자 및 제 2 예측자 각각에 상기 제 1 가중치(w1) 및 제 2 가중치(w2)를 곱하여 가중된 제 1 예측자 및 제 2 예측자를 형성한 다음, 상기 가중된 제 1 예측자와 제 2 예측자를 합성하여 예측 블록을 형성할 수 있다.

한편, 상기 하이브리드 예측부(230)는 상기 인트라 예측되는 제 1 예측자를 인터 예측된 예측 블록의 밝기 값의 조정을 위해서만 사용할 수도 있다. 일반적으로, 인터 예측된 예측 블록과 주변 블록 사이에는 밝기 값의 오차가 발생할 수 있다. 이러한 주변 블록과의 차이를 줄이기 위하여, 상기 하이브리드 예측부(230)는 인트라 예측을 통해 형성된 상기 제 1 예측자를 구성하는 화소들의 평균값과 인터 예측을 통해 형성된 제 2 예측자를 구성하는 화소들의 평균값 사이의 비율을 계산하고, 인터 예측을 통해 현재 블록에 대응되는 예측 블록을 형성하면서 상기 평균값의 비율을 반영한 가중치를 상기 인터 예측되는 예측 블록의 각 화소 a₀₀ 내지 a₃₃에 곱함으로써 인터 예측된 예측 블록과 주변 블록과의 밝기 값의 오차를 줄일 수 있다. 여기서, 상기 가중치 계산을 위한 인트라 예측은 전술한 바와 같이 제 1 예측자에 대해서만 수행될 수 있고, 부호화할 블록 전체에 대해 수행될 수 있다.

다시 도 2를 참조하면, 제어부(226)는 영상 부호화 장치(200)의 각 구성 요소를 제어하는 한편, 인터 예측, 인트라 예측 또는 본 발명에 따른 하이브리드 예 측 모드 중에서 예측 블록과 원래 블록 사이의 차이를 최소화하는 예측 모드를 결정한다. 구체적으로는 상기 제어부(226)는 인터 예측된 예측 블록, 인트라 예측된 예측 블록 및 하이브리드 예측된 블록의 코스트를 계산하고, 예측된 블록 중에서 가장 작은 코스트를 갖는 예측 모드를 최종적인 예측 모드로 결정한다. 여기서, 상기 코스트 계산은 여러가지 방법에 의해서 수행될 수 있다. 사용되는 코스트 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 및 라그랑지 함수(Lagrange function) 등이 있다. SAD는 각 4×4 블록 예측 오차(residue) 값의 절대치를 취하여 그 값들을 합한 값이다. SATD는 각 4×4 블록의 예측 오차값에 하다마드 변환(Hadamard transform)을 적용하여 생성된 계수들의 절대치를 취하여 더한 값이다. SSD는 각 4×4 블록 예측 샘플의 예측 오차값을 제곱하여 더한 값이고, MAD는 각 4×4 블록 예측 샘플의 예측 오차값에 절대치를 취하여 평균을 구한 값이다. 라그랑지 함수는 코스트 함수에 비트스트림의 길이 정보를 포함하여 만들어진 새로운 함수이다.

인터 예측, 인트라 예측 또는 하이브리드 예측이 수행되어 현재 블록이 참조할 예측 블록이 결정되면, 상기 예측 블록을 현재 블록에서 빼서 변환부(208)에서 변환을 수행한 후에 양자화부(210)에서 양자화를 수행한다. 현재 블록에서 예측 블록을 뺀 오차값을 레지듀(residue)라고 하며, 일반적으로 영상의 부호화시의 데이터량을 줄이기 위해서 레지듀를 부호화한다. 양자화된 레지듀는 재정렬부(312)를 거쳐 엔트로피 코딩부(214)에서 CAVLC 또는 CABAC 등을 통해 엔트로피 부호화된 다.

한편, 인터 예측 또는 하이브리드 예측에 사용될 참조 픽처를 얻기 위하여 양자화된 픽처를 역양자화부(216)와 역변환부(218)를 거쳐 현재 픽처를 복원한다. 이렇게 복원된 현재 픽처는 디블록킹 필터링을 수행하는 필터(220)를 거친 후, 프레임 메모리(222)에 저장되었다가 다음 픽처에 대하여 인터 예측 또는 하이브리드 예측을 수행하는데 사용된다.

도 6을 참조하면, 단계 602에서 입력되는 영상을 소정 크기의 블록으로 분할한다. 일 예로, 입력 영상을 16×16 내지 4×4 크기를 갖는 다양한 크기의 블록으로 분할할 수 있다.

단계 604에서 부호화하고자 하는 현재 블록에 대한 인트라 예측을 수행하여, 현재 블록에 대응되는 예측 블록을 생성한다.

단계 606에서 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 하이브리드 예측을 수행한다. 전술한 바와 같이, 상기 하이브리드 예측시에 상기 제 1 예측자와 상기 제 2 예측자에 소정의 가중치(w1,w2)를 각각 곱하여 가중된 제 1 및 제 2 예측자로 구성된 예측 블록을 형성할 수 있다.

단계 608에서 현재 블록에 대한 인터 예측을 수행하여 예측 블록을 생성한 다. 여기서, 상기 단계 604 내지 608의 예측의 순서는 변경되거나, 또는 서로 병렬적으로 수행될 수 있다.

단계 610에서 상기 인트라 예측, 인터 예측 및 하이브리드 예측을 통해 형성된 예측 블록들 각각의 코스트를 계산하고, 최소의 코스트를 갖는 예측 모드를 현재 블록의 최종적인 예측 모드로 결정한다.

단계 612에서, 상기 결정된 최종적인 예측 모드 정보를 부호화된 비트스트림의 헤더에 추가함으로써 비트스트림을 수신하여 복호화를 수행하는 장치에서 현재 비트스트림에 포함된 영상 데이터가 어떤 예측 모드를 이용하여 부호화되었는지를 전달한다.

한편, 본 발명에 따른 영상 부호화 방법은 전술한 바와 같은 블록 기반 영상 부호화 방식 이외에 MPEG-4 등과 같이 객체(object) 기반 영상 부호화 방식에도 적용될 수 있다. 즉, 객체의 경계부분은 인트라 예측을 통해 예측을 수행하고, 객체의 내부는 인터 예측을 통해 예측을 수행함으로써 보다 다양한 예측 모드를 통해 현재 부호화하고자 하는 객체에 보다 가까운 예측값을 생성하여 영상의 압축 효율을 향상시킬 수 있다. 이러한 객체 기반 영상 부호화 방식에 본 발명에 따른 하이브리드 영상 부호화 방식을 적용하는 경우에는 객체 분할(object segmentation) 또는 경계 검출(edge detection) 알고리즘을 사용하여 영상에 포함된 객체를 분리하고, 객체의 경계를 검출하는 것이 필요하다. 이러한 알고리즘을 당업계에 널리 알려진 여러가지 알고리즘이 사용될 수 있으며 구체적인 설명은 생략한다.

도 7을 참조하면, 본 발명에 따른 영상 복호화 장치는 엔트로피 디코더(710), 재정렬부(720), 역양자화부(730), 역변환부(740), 움직임 보상부(750), 인트라 예측부(760), 하이브리드 예측부(770) 및 필터(970)를 구비한다. 여기서, 상기 하이브리드 예측부(770)는 그 예측 블록을 생성하는 방식에 있어서 상기 도 2의 하이브리드 예측부(230)와 동일하게 동작한다.

상기 엔트로피 디코더(710) 및 재정렬부(720)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 상기 역양자화부(930) 및 역변환부(940)는 상기 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 변환 부호화 계수들, 움직임 벡터 정보, 헤더 정보 및 예측 모드 정보 등을 추출한다. 상기 움직임 보상부(750), 인트라 예측부(760) 및 하이브리드 예측부(770)는 상기 비트스트림 헤더에 포함된 소정의 예측 모드 정보로부터 현재 복호화하고자 하는 영상이 어떤 예측 모드를 이용하여 부호화되었는지를 판단하고 각각의 예측 모드에 따라서 현재 복호화하고자 하는 블록에 대응되는 예측 블록을 생성하여 출력한다. 생성된 예측 블록은 비트스트림에 포함된 레지듀와 합산되어 영상이 복원된다.

단계 810에서, 수신된 비트스트림의 헤더에 포함된 예측 모드 정보를 파싱(parsing)하여 현재 복호화하고자 하는 예측 블록이 어떤 예측 모드로 부호화되었는지를 결정한다.

단계 820에서, 상기 결정된 현재 블록의 예측 모드에 따라 인터 예측, 인트 라 예측 및 하이브리드 예측 중 어느 하나의 예측 모드를 이용하여 현재 블록에 대응되는 예측 블록을 생성한다. 전술한 바와 같이 하이브리드 예측 모드를 통해 부호화된 현재 블록의 경우에는, 상기 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성한다.

단계 830에서, 상기 생성된 예측 블록과 비트스트림에 포함된 레지듀를 합산하여 현재 블록을 복원하고, 한 프레임을 구성하는 모든 블록에 대하여 상기 단계를 반복함으로써 영상을 복원하는 과정을 수행한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 바와 같은 본 발명에 의하면 종래 인터 예측 및 인트라 예측을 혼용한 새로운 방식의 예측 모드를 추가함으로써 영상 특성에 따라 부호화할 영상에 보다 유사한 예측 블록을 생성할 수 있고, 이로 인해 영상의 압축 효율을 향상시킬 수 있다.

Claims

영상의 부호화 방법에 있어서,

입력 영상을 적어도 하나 이상의 블록으로 분할하는 단계;

부호화되는 현재 블록의 화소들 중 이전에 부호화된 이전 블록과 인접한 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하는 단계;

상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성하는 단계;

상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 단계; 및

상기 예측 블록을 이용하여 계산된 제 1 코스트와, 상기 현재 블록에 대한 인트라 예측을 수행하여 예측된 인트라 예측 블록으로부터 계산된 제 2 코스트와, 상기 현재 블록에 대한 인터 예측을 수행하여 예측된 인터 예측 블록으로부터 계산된 제 3 코스트를 비교하여 상기 코스트들 중 가장 작은 코스트를 갖는 예측 블록을 현재 블록의 압축 부호화를 위한 최종적인 예측 블록으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
삭제
제 1항에 있어서,

상기 예측 블록은 상기 제 1 예측자에 소정의 제 1 가중치(w1)를 곱한 가중된 제 1 예측자와 상기 제 2 예측자에 소정의 제 2 가중치(w2)를 곱한 가중된 제 2 예측자를 합성하여 형성되는 것을 특징으로 하는 영상 부호화 방법.
제 3항에 있어서,

상기 제 1 가중치(w1) 및 상기 제 2 가중치(w2)는 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값의 비율을 이용하여 계산되는 것을 특징으로 하는 영상 부호화 방법.
제 3항에 있어서,

상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값을 M1, 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값을 M2라고 할 때, 상기 제 1 가중치(w1)는 1이고, 상기 제 2 가중치(w2)는 M1/M2인 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 인트라 예측을 통해 형성된 상기 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측을 통해 형성된 제 2 예측자를 구성하는 화소들의 평균값 사이의 비율을 계산하며, 상기 현재 블록 전체를 인터 예측을 통해 예측 블록을 형성하고 상기 인터 예측을 통해 형성된 예측 블록에 상기 평균값 사이의 비율을 반영한 가중치를 곱하는 것을 특징으로 하는 영상 부호화 방법.
삭제
제 1항에 있어서,

상기 예측 블록과 현재 블록의 차이인 레지듀 신호를 생성하는 단계;

상기 레지듀 신호를 변환, 양자화 및 엔트로피 부호화하여 압축 부호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
영상의 부호화 장치에 있어서,

적어도 하나 이상의 블록으로 분할된 영상의 블록 중 부호화되는 현재 블록의 화소들 중 이전에 부호화된 이전 블록과 인접한 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 하이브리드 예측부;

상기 현재 블록에 대한 인트라 예측을 수행하여 인트라 예측 블록을 생성하는 인트라 예측부;

상기 현재 블록에 대한 인터 예측을 수행하여 인터 예측 블록을 생성하는 인터 예측부; 및

상기 하이브리드 예측부에서 형성된 상기 예측 블록으로부터 계산된 제 1 코스트와, 상기 인트라 예측부에서 예측된 인트라 예측 블록으로부터 계산된 제 2 코스트와, 상기 인터 예측부에서 예측된 인터 예측 블록으로부터 계산된 제 3 코스트를 비교하여 상기 코스트들 중 가장 작은 코스트를 갖는 예측 블록을 현재 블록의 부호화를 위한 최종적인 예측 블록으로 결정하는 제어부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
삭제
제 9항에 있어서,

상기 하이브리드 예측부는 상기 제 1 예측자에 소정의 제 1 가중치(w1)를 곱한 가중된 제 1 예측자와 상기 제 2 예측자에 소정의 제 2 가중치(w2)를 곱한 가중된 제 2 예측자를 합성하여 상기 예측 블록을 형성하는 것을 특징으로 하는 영상 부호화 장치.
제 11항에 있어서,

상기 제 1 가중치(w1) 및 상기 제 2 가중치(w2)는 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값의 비율을 이용하여 계산되는 것을 특징으로 하는 영상 부호화 장치.
제 11항에 있어서,

상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값을 M1, 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값을 M2라고 할 때, 상기 제 1 가중치(w1)는 1이고, 상기 제 2 가중치(w2)는 M1/M2인 것을 특징으로 하는 영상 부호화 장치.
제 9항에 있어서,

상기 하이브리드 예측부는, 상기 인트라 예측을 통해 형성된 상기 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측을 통해 형성된 제 2 예측자를 구성하는 화소들의 평균값 사이의 비율을 계산하며, 상기 현재 블록 전체를 인터 예측을 통해 예측 블록을 형성하고 상기 인터 예측을 통해 형성된 예측 블록에 상기 평균값 사이의 비율을 반영한 가중치를 곱하는 것을 특징으로 하는 영상 부호화 장치.
삭제
영상의 복호화 방법에 있어서,

수신된 비트스트림에 포함된 예측 모드 정보로부터 복호화할 현재 블록의 예측 모드를 결정하는 단계;

상기 결정된 예측 모드가 상기 현재 블록의 화소들 중 이전에 복호화된 이전 블록과 인접한 경계 부분은 인트라 예측을 통해 예측하고 나머지 부분은 인터 예측을 통해 예측하는 하이브리드 예측 모드인 경우, 상기 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 단계; 및

상기 비트스트림에 포함된 레지듀와 상기 예측 블록을 합성하여 영상을 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
삭제
제 16항에 있어서,

상기 예측 블록은 상기 제 1 예측자에 소정의 제 1 가중치(w1)를 곱한 가중된 제 1 예측자와 상기 제 2 예측자에 소정의 제 2 가중치(w2)를 곱한 가중된 제 2 예측자를 합성하여 형성되는 것을 특징으로 하는 영상 복호화 방법.
제 18항에 있어서,

상기 제 1 가중치(w1) 및 상기 제 2 가중치(w2)는 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값의 비율을 이용하여 계산되는 것을 특징으로 하는 영상 복호화 방법.
제 18항에 있어서,

상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값을 M1, 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값을 M2라고 할 때, 상기 제 1 가중치(w1)는 1이고, 상기 제 2 가중치(w2)는 M1/M2인 것을 특징으로 하는 영상 복호화 방법.
영상의 복호화 장치에 있어서,

수신된 비트스트림으로부터 추출된 예측 모드 정보가 복호화할 현재 블록의 화소들 중 이전에 부호화된 이전 블록과 인접한 경계 부분은 인트라 예측을 통해 예측하고 및 나머지 부분은 인터 예측을 통해 예측 부호화한 하이브리드 예측 모드인 경우, 상기 현재 블록의 경계 부분은 인트라 예측을 통해 제 1 예측자를 형성하고, 상기 경계 부분을 제외한 상기 현재 블록의 나머지 부분은 인터 예측을 통해 제 2 예측자를 형성한 다음, 상기 제 1 예측자와 상기 제 2 예측자를 합성하여 현재 블록에 대응되는 예측 블록을 형성하는 하이브리드 예측부를 포함하는 것을 특징으로 하는 영상의 복호화 장치.
삭제
제 21항에 있어서,

상기 하이브리드 예측부는 상기 제 1 예측자에 소정의 제 1 가중치(w1)를 곱한 가중된 제 1 예측자와 상기 제 2 예측자에 소정의 제 2 가중치(w2)를 곱한 가중된 제 2 예측자를 합성하여 상기 예측 블록을 형성하는 것을 특징으로 하는 영상 복호화 장치.
제 23항에 있어서,

상기 제 1 가중치(w1) 및 상기 제 2 가중치(w2)는 상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값과 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값의 비율을 이용하여 계산되는 것을 특징으로 하는 영상 복호화 장치.
제 23항에 있어서,

상기 인트라 예측된 제 1 예측자를 구성하는 화소들의 평균값을 M1, 상기 인터 예측된 제 2 예측자를 구성하는 화소들의 평균값을 M2라고 할 때, 상기 제 1 가중치(w1)는 1이고, 상기 제 2 가중치(w2)는 M1/M2인 것을 특징으로 하는 영상 복호화 장치.