KR100678911B1

KR100678911B1 - 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치

Info

Publication number: KR100678911B1
Application number: KR1020050110274A
Authority: KR
Inventors: 차상창; 이교혁; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-07-21
Filing date: 2005-11-17
Publication date: 2007-02-05
Also published as: US20070019726A1; CN101228797B; CN101228796A; KR20070012168A; CN101228797A; CN101228796B

Abstract

본 발명은 방향적 인트라 예측의 적용을 확장하여 비디오 신호를 인코딩하고 디코딩하는 방법 및 장치에 관한 발명으로서 본 발명의 일 실시예에 따른 방법은 비디오 데이터를 인코딩시 방향적 인트라 예측을 수행하는 방법에 있어서, 상기 비디오 데이터에 포함된 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블록을 검색하는 단계, 상기 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산하는 단계, 및 상기 계산된 잔차를 인코딩하는 단계를 포함하며, 상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며, 상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조한다.

방향적 인트라 예측, 비디오 압축, 다계층, 인코딩, 디코딩

Description

방향적 인트라 예측의 적용을 확장하여 비디오 신호를 인코딩하고 디코딩하는 방법 및 장치{Method and apparatus for video signal encoding and decoding with extending directional intra prediction}

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다.

도 2는 상기 3가지 예측 방법을 설명하는 개략도이다.

도 3은 본 발명의 일 실시예에 따른 인트라 예측 방향을 확장한 경우를 보여주는 도면이다.

도 4는 상기 확장된 인트라 예측에 따라 참조하게 되는 블록의 관계를 보여주는 도면이다.

도 5는 도 4의 확장된 인트라 예측에 따라 블록간에 웨이팅을 부가하여 예측하는 예를 보여주는 도면이다.

도 6은 본 발명의 일 실시예에 따른 최대 예측 모드를 다수의 인접 블록에서 계산하는 도면이다.

도 7은 본 발명의 일 실시예에 따른 앵글을 기반으로 최대 예측 모드를 계산하는 도면이다.

도 8은 본 발명의 일 실시예에 따른 기초 계층의 텍스쳐를 사용하여 재평가 된 정보를 기반으로 방향성 심볼을 코딩하는 예를 보여주는 도면이다.

도 9는 본 발명의 일 실시예에 따른 계층간에 발생할 수 있는 에러 영역을 조절하는 예를 보여주는 도면이다.

도 10은 본 발명의 일 실시예에 따른 인코딩 과정을 보여주는 순서도이다.

도 11은 본 발명의 일 실시예에 따른 디코딩 과정을 보여주는 순서도이다.

도 12는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 보여주는 도면이다.

도 13은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 보여주는 도면이다. 현재 계층의 디코딩 부분을 중심으로 설명한다.

<도면의 주요 부분에 대한 부호의 설명>

300: 비디오 인코더 310: 참조 블록 예측부

320: 예측 데이터 생성부 330: 잔차 데이터 생성부

600: 비디오 디코더 610: 잔차 디코딩부

630: 방향적 인트라 예측부 640: 복원부

본 발명은 비디오 인코딩 및 디코딩에 관한 것으로, 보다 상세하게는 방향적 인트라 예측의 적용을 확장하여 비디오 신호를 인코딩하고 디코딩하는 방법 및 장치에 관한 것이다.

멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 동영상(moving picture; 이하 "비디오"라고 함), 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다. 이러한 멀티미디어 데이터를 압축하는 방법들 중에서도, 특히 비디오 압축 방법은 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다.

종래에 비디오 코딩의 목적은 주어진 비트 전송률에 최적화된 정보를 보내는 것이었다. 그러나 인터넷 스트리밍 비디오와 같은 네트워크 비디오 어플리케이션에서는 네트워크의 성능이 일정한 것이 아니라 상황에 따라 다양하게 변화하므로, 종래의 비디오 코딩의, 소정의 비트 전송률에 대한 최적 코딩이라는 목적 이외의 탄력적인 코딩을 필요로 하게 되었다.

스케일러빌리티(Scalability)는 기초 계층(base layer)과 향상 계층(enhancement layer)의 두 계층으로 시간적으로, 공간적으로, SNR(Signal to Noise Ratio) 등의 측면에서 디코더가 프로세싱 상황, 네트워크 상황 등을 살펴보아 선택적으로 디코딩이 가능하도록 하는 기법을 의미한다. 이중 FGS(Fine Granularity Scalability)는 기초 계층과 향상 계층을 인코딩하며, 향상 계층은 인코딩을 거친 후에 네트워크 전송 효율 또는 디코더 측의 상황에 따라 전송되지 않거나 디코딩되지 않을 수 있다. 이를 통해 전송율에 따라 데이터를 적절히 전송할 수 있다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제1 향상 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다.

도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 텍스쳐로부터(직접 또는 업샘플링 후) 현재 계층의 텍스쳐를 예측하고, 예측된 값과 실제 현재 계층의 텍스쳐와의 차이를 인코딩하는 방법이 알려져 있다. "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)에서는 이러한 방법을 인트라 BL 예측(Intra_BL prediction)이라고 정의하고 있다.

이와 같이, SVM 3.0에서는, 기존의 H.264에서 현재 프레임을 구성하는 블록 내지 매크로블록에 대한 예측을 위하여 사용된 인터 예측(inter prediction) 및 방향적 인트라 예측(directional intra prediction)이외에도, 현재 블록과 이에 대응되는 하위 계층 블록 간의 연관성(correlation)을 이용하여 현재 블록을 예측하는 방법을 추가적으로 채택하고 있다. 이러한 예측 방법을 "인트라 BL(Intra_BL) 예측"이라고 하고 이러한 예측을 사용하여 부호화하는 모드를 "인트라 BL 모드"라고 한다.

도 2는 상기 3가지 예측 방법을 설명하는 개략도로서, 현재 프레임(11)의 어떤 매크로블록(14)에 대하여 인트라 예측을 하는 경우(①)와, 현재 프레임(11)과 다른 시간적 위치에 있는 프레임(12)을 이용하여 인터 예측을 하는 경우(②)와, 상기 매크로블록(14)과 대응되는 기초 계층 프레임(13)의 영역(16)에 대한 텍스쳐 데이터를 이용하여 인트라 BL 예측을 하는 경우(③)를 각각 나타내고 있다.

종래의 인트라 예측 방향은 합리적인 품질을 제공할 때, 인트라 BL 예측이 효과적일 수 있다. 그러나 다계층 구조에서 계층간에 양자화의 단위가 다를 수 있으며 이에 따라 계층간에 필요로 하는 데이터의 종류가 달라질 수 있다. 이때에는 방향적 인트라 예측이 더 나은 성능을 제공할 수 있다. 따라서 다계층이 가지는 특성에 맞도록 인트라 예측을 수행하여 인코딩하고 디코딩하는 방법 및 장치가 필요하다.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 기초 계층의 텍스쳐와 심볼 정보를 이용하여 향상 계층을 방향적 인트라 예측으로 인코딩하고 디코딩하는데 목적이 있다.

본 발명은 상기 기초 계층의 정보를 이용함에 따라 감소된 비트를 통해 방향적 인트라 예측의 방향성을 확장하는데 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것 이다.

본 발명의 일 실시예에 따른 방법은 비디오 데이터를 인코딩시 방향적 인트라 예측을 수행하는 방법에 있어서, 상기 비디오 데이터에 포함된 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블록을 검색하는 단계, 상기 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산하는 단계, 및 상기 계산된 잔차를 인코딩하는 단계를 포함하며, 상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며, 상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조한다.

본 발명의 일 실시예에 따른 방법은 방향적 인트라 예측에 따라 인코딩된 비디오 데이터를 디코딩하는 방법에 있어서, 상기 비디오 데이터에 포함된 제 1 블록의 잔차 데이터를 디코딩하는 단계, 상기 제 1 블록이 참조하며 상기 제 1 블록과 같은 프레임에 포함된 제 2 블록의 비디오 정보를 예측하는 단계, 및 상기 잔차데이터와 상기 예측된 데이터를 가산하여 제 1 블록의 비디오 정보를 복원하는 단계를 포함하며, 상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며, 상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조한다.

본 발명의 다른 실시예에 따른 비디오 인코딩 방법은 비디오 데이터를 계층적으로 인코딩하는 방법에 있어서, 하위 계층의 데이터를 양자화하는 단계, 하위 계층의 양자화 과정에서 발생한 제 1 에러 범위를 계산하는 단계, 및 상기 하위 계층의 상위에 존재하는 향상 계층을 양자화함에 있어서, 상기 제 1 에러 범위에 포함되는 영역의 향상 계층의 양자화 영역에 대해서는 양자화를 수행하지 않으며, 상기 제 1 에러 범위와 중첩되지 않는 제 2 에러 범위를 가지는 영역 내의 데이터에 대해 양자화를 하는 단계를 포함한다.

본 발명의 다른 실시예에 따른 비디오 디코딩 방법은 비디오 데이터를 계층적으로 디코딩하는 방법에 있어서, 하위 계층의 데이터를 역양자화하는 단계, 및 상기 하위 계층을 참조하는 향상 계층을 역양자화하는 단계를 포함하며, 상기 향상 계층의 양자화 범위는 상기 하위 계층의 에러 범위에 포함되지 않는 것을 특징으로 한다.

비디오 데이터를 계층적으로 디코딩하는 방법에 있어서, 하위 계층의 데이터를 역양자화하는 단계, 및 상기 하위 계층을 참조하는 상위 계층을 역양자화하는 단계를 포함하며, 상기 상위 계층의 제 2 에러 범위는 상기 하위 계층의 제 1 에러 범위에 연속되며 중첩되지 않는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 비디오 인코더는 비디오 데이터를 인코딩 시 방향적 인트라 예측을 수행하는 인코더에 있어서, 상기 비디오 데이터에 포함된 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블록을 검색하는 참조 블록 예측부, 상기 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산하며, 상기 계산된 잔차를 인코딩하는 잔차 인코딩부를 포함하며, 상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며, 상기 참조 블록 예측부는 상기 제 1 블록이 참조하는 제 2 블록을 검색시 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 검색한다.

본 발명의 일 실시예에 따른 비디오 디코더는 방향적 인트라 예측에 따라 인코딩된 비디오 데이터를 디코딩하는 비디오 디코더에 있어서, 상기 비디오 데이터에 포함된 제 1 블록의 잔차 데이터를 디코딩하는 잔차 디코딩부, 상기 제 1 블록이 참조하며 상기 제 1 블록과 같은 프레임에 포함된 제 2 블록의 비디오 정보를 예측하는 방향적 인트라 예측부, 및 상기 잔차데이터와 상기 예측된 데이터를 가산하여 제 1 블록의 비디오 정보를 복원하는 복원부를 포함하며, 상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며, 상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

이하, 본 발명의 실시예들에 의하여 방향적 인트라 예측의 적용을 확장하여 비디오 신호를 인코딩하고 디코딩하는 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

계층간에 공간적 해상도(spatial resolution)이 다르거나 또는 델타Qp(deltaQp)가 커지게 되면 기초 계층의 텍스쳐는 현재 계층(또는 향상 계층)을 예측하는데 적합하지 않다. 또한, 향상 계층의 양자화가 정교해지면, H.264에서 제시 한 방향적 인트라 예측의 방향의 개수는 적합하지 않을 수 있다. 따라서 도 3과 같이 인트라 예측의 방향을 확장하였다. 확장된 인트라 예측(24)은 종래의 인트라 예측의 방향들(22) 사이에 추가하였다.

H.264 스펙에서 제시하는 방향적 인트라 예측의 방향은 도시된 8개와 DC를 포함하여 9개였다. 본 명세서에서 제안하는 확장된 방향적 인트라 예측의 방향은 7개로 전체 총 16개가 된다. 여기에 intraBL4x4에 대한 정보까지 포함시켜서 인트라 예측 방향은 총 17개가 된다. 기존의 방향성에서 나타내기 어려웠던 정보를 확장된 방향성을 통해 나타냄으로써, 인트라 예측의 성능이 향상된다. 그 결과, 기초 계층에 대한 인트라BL이 기초 계층과 향상 계층의 해상도 또는 양자화 크기의 차이로 인해 높은 압축율을 보이지 못할 경우에 인트라 예측을 적용할 수 있다.

도 4는 상기 확장된 인트라 예측에 따라 참조하게 되는 블록의 관계를 보여주는 도면이다. 26은 종래의 H.264에서 인트라 예측을 위해 참조하게 되는 블록을 보여주는 도면이다. 도 3에서 추가된 방향에 따라 28과 같이 인접한 블록을 참조하게 된다. 상기 추가된 방향의 경우 인접 픽셀로부터 웨이팅을 조절하는 것이 필요하다. 31, 32, 33, 34, 35, 36, 37이 확장된 인트라 예측을 위해 예측시 참조하는 인접 픽셀들과의 관계를 보여준다. 도 4의 블록은 서브 블록을 포함한다.

도 5는 도 4의 확장된 인트라 예측에 따라 블록간에 웨이팅을 부가하여 예측하는 예를 보여주는 도면이다. 인트라 예측을 사용할 경우, 주변 픽셀들에 웨이트(가중치)가 적용된 결과를 계산하여 현재의 픽셀을 계산할 수 있다. 주변 픽셀이 어느정도 가중치를 가지게 도는지는 도 5와 같이 해당 픽셀을 차지하는 영역의 넓이 로 판단할 수 있다.

도 5에서 픽셀 40에 영향을 미치는 픽셀은 C, D가 된다. C와 D가 영향을 미치는 부분이 각각 41, 42가 되며, 이들이 픽셀 40에서 43과 같이 중첩되는 영역이 존재한다. 따라서 이들의 기여도가 7:3으로 계산하고, 중첩되는 부분을 5로 계산하여 (7xC + 3xD + 5)/10으로 하여 픽셀 40을 계산할 수 있다.

도 4에서 살펴보았듯이 인트라 예측을 위해 총 17개의 방향이 필요하다. 도 3의 24에 나타난 15개의 방향과 DC, 그리고 intraBL4x4인 경우를 하여 총 17개이다. 이들 17개의 정보를 효율적으로 나타내기 위해 1+4bit로 설정할 수 있다. 1 bit는 최대 예측 모드(most probable mode)를 나타내는 값이고 4 bit는 DC를 포함한 16개의 방향을 나타낸다. 최대 예측 모드가 1인 경우에 표 1의 rem_intra4x4 pred mode의 값은 왼쪽의 실제 예측 모드에 매칭된다. 1+4 bit로 정보를 설정하므로 처음 1 bit는 최대 예측 모드(most probable mode)의 값을 나타내고, 하위 4비트로 rem_intra4x4 pred mode를 나타낸다.

최대 예측 모드(most probable mode)의 값이 1인 경우

현 블록에 대한 예측 모드	rem_intra4x4 pred mode
0	0
2	1
3	2
4	3
5	4
6	5
7	6
8	7
9	8
10	9
11	10
12	11
13	12
14	13
15	14
16	15
17	16

최대 예측 모드의 값은 상측과 좌측의 인트라 예측 모드의 최소 값을 구한다. 본 명세서에서는 최대 예측 모드의 값을 구하기 위한 다양한 방식을 제공하고 있다. 예측시 필요한 블록들을 각각 A, B, C, D라 할 때, 최대 예측 모드는 A, B, C의 중앙값(median), 또는 A, B, D의 중앙값(median)을 취할 수 있다. 또는 A, B 블록의 최소값을 취하거나 A 또는 B 값을 취할 수 있도록 한다.

예측시 참조할 블록이 A, B, C 또는 A, B, D와 같이 세 개인 경우에는 중앙값을 사용할 수 있고, 2개(A, B) 인 경우에는 H.264의 예측 방식을 사용할 수 있다. 만약, 사용할 수 있는 블록이 하나인 경우에는 그 블록을 최대 예측 모드로 할 수 있다.

도 7은 본 발명의 일 실시예에 따른 앵글을 기반으로 최대 예측 모드를 계산하는 도면이다. 도 7은 세 개의 블록을 사용하여 최대 예측 모드를 산출하는 경우이다. 이때, 전술한 확장된 방향성 인트라 예측에서의 방향을 기반으로 최대 예측 모드를 산출할 수 있다. 그런데 방향을 기반으로 한 예측 모드의 경우, 인접한 블록끼리는 동일하거나 유사한 값을 가질 수 있다. 예를 들어, 앵글을 기반으로 101과 같이 방향적 인트라 예측의 방향을 정의할 때, 좌향 블록(A)는 인트라 예측에서의 4번 모드, 상향 블록(B)는 5번 모드, 그리고 우상향 블록(C)가 6번 모드처럼 서로 유사하거나 연관될 수 있다. 따라서, 중앙값을 선택하기 위해 세 개의 블록을 적용할 경우에, 4, 5, 6에 대해 인코딩을 하지 않고, B 와 C 블록인 경우에는 각각 A 블록과 B 블록과의 차이에 대해 인코딩을 할 수 있다. 즉, B는 A 블록보다 1이 많으며, C 블록 역시 B 블록보다 1이 많으므로 이러한 정보를 인코딩함으로써, 데이터의 크기를 줄일 수 있다.

도 8은 본 발명의 일 실시예에 따른 기초 계층의 텍스쳐를 사용하여 재평가된 정보를 기반으로 방향성 심볼을 코딩하는 예를 보여주는 도면이다.

재형성된 기초계층 텍스쳐가 원래의 텍스쳐라는 가정하에, 현재 레이어의 이웃 텍스쳐를 사용하여 최소 비트 코스트를 가지는 디렉션을 검색한다.

즉, 검색에 대한 비트 코스트는 인트라 예측 사이에서 오는데, 이는 현재 계층 이웃 텍스쳐와 재형성된 기초계층 텍스쳐사이의 차이이다. 현 계층의 이웃 텍스쳐를 사용하는 디렉션이 검색되면, 모든 17 방향(도 7의 101)에 대한 비트 코스트를 비교한다. 예를 들어, 도 7에서 좌향 블록(A)는 인트라 예측에서의 4번 모드, 상향 블록(B)는 5번 모드, 그리고 우상향 블록(C)가 6번 모드일 경우, 이들의 중앙값인 5를 선택할 수 있다.

현재 계층의 주변(상, 좌, 상우) 텍스쳐와 현재 계층에 대응하는 기초 계층의 텍스쳐의 정보를 이용하여 최대 예측 모드(most probable mode)를 평가한다. 현재 계층의 주변 텍스쳐를 사용하여 최소 비트 코스트의 방향을 검색하는데, 이 때, 재생성된 기초 계층 텍스쳐가 원본의 텍스쳐라는 가정하에 검색을 수행한다. 예를 들어, 검색에 대한 비트 코스트(bit cost)는 현재 계층의 이웃 텍스쳐와 재생성된 기초 계층 텍스쳐 사이의 차이에서 온다. 만약 현재 계층의 이웃 텍스쳐를 사용한 방향이 검색되면, 모든 17개의 방향(DC 성분과 인트라BL 4x4)이 비교되는데, 다음과 같은 수식을 사용할 수 있다.

O_B는 재구성된 기초 계층 텍스쳐이며, P_C는 현재 계층의 이웃을 사용한 17개의 방향적 인트라 예측을 의미한다. R은 VLC(Variable Length Coding)를 사용하여 평가하며, λ는 상수이다. 이러한 구성은 도 8에서 살펴볼 수 있다.

세 개의 블록이 사용가능할 때, 상기 블록을 구성하는 현재 계층의 이웃 픽셀의 텍스쳐 정보들이 총 13개가 될 수 있다. 도 8에서 좌향 블록(A), 상향 블록(B), 우상향 블록(C)가 각각 4개씩 12개의 픽셀을 제공하며, 좌상향 블록(D)가 1개의 픽셀을 제공하여 총 13개가 된다. 이들의 픽셀에 상기 전술한 17개의 방향적 인트라 예측을 적용하여 비트 코스트를 줄일 수 있다.

도 9는 본 발명의 일 실시예에 따른 계층간에 발생할 수 있는 에러 영역을 조절하는 예를 보여주는 도면이다. 다계층 비디오 코딩에서 다중 양자화는 SNR, 해상도, 그리고 시간적 스케일러빌리티 등에서 필요하다. 도 9에서 제시된 바와 같이, 향상 계층의 양자화는 기초 계층의 양자화의 에러 범위를 고려하도록 한다. 예를 들어, 향상 계층의 양자화는 기초 계층의 에러 범위에 한계짓도록 하고 있다. 향상 계층의 양자화 스텝에서의 에러 범위가 기초 계층의 에러 범위와 중첩되지 않고 연속적으로 존재하도록 할 수 있다. 또한, 기초계층의 에러 범위 부분에 대해서는 비트를 할당하지 않도록 하여 전체 인코딩할 비트의 크기를 줄일 수 있다.

도 9에서는 향상 계층에 대하여 +1과 0에 대해서만 비트를 할당하고 -1에 대해서는 비트를 할당하지 않을 수 있다. 그 결과 인코딩할 비트의 크기는 2bit에서 1bit로 줄어들게 된다. 도 9에서 기초 계층의 에러 범위에 들어가는 영역에 대해서는 향상계층에서 양자화를 수행하지 않는다. 그 결과 기초 계층에서는 -1, 0, +1을 통해 양자화를 수행하지만, 향상계층에서는 -1 값을 할당하지 않고 0과 +1만을 할당하고 양자화를 수행한다. 도 9에는 기초 계층에 대해 하나의 향상 계층을 양자화하는 경우를 보여주지만, 다수의 향상 계층을 사용할 경우, 이러한 양자화에 포함되는 비트의 감소는 점차적으로 커져서, 전체 인코딩 효율에 많은 영향을 미칠 수 있다.

향상 계층에 대한 양자화 비트의 범위를 결합시켜서 현재 계층의 인코딩 비트를 줄일 수 있다. 또한 현재 계층의 재생 시퀀스 품질을 향상시켜서, 기초 계층으로 하여금 상위 향상 계층에 대해 더 나은 기초 계층을 제공할 수 있도록 한다. 이러한 이득은 기초 계층에서 최상위 계층으로 전파될 수 있다.

도 10은 본 발명의 일 실시예에 따른 인코딩 과정을 보여주는 순서도이다. 먼저 확장된 방향적 인트라 예측 방향을 바탕으로 예측 데이터를 생성할 수 있는 블록을 검색한다(S102). 확장된 방향은 전술한 17개의 방향적 인트라 예측을 포함한다. 참조할 예측 블록이 둘 이상인 경우(S104) 각 블록의 중첩되거나 또는 영향을 미치는 부분에 대해 가중치를 계산한다(S106). 그리고 참조 블록을 바탕으로 예측 데이터를 생성한다(S108). 예측 데이터가 생성되면, 인코딩할 블록의 원본 데이터와 예측 데이터의 잔차를 계산한다(S110). 그리고 계산된 잔차 데이터를 인코딩한다(S112).

S102 단계에서 확장된 방향적 인트라 예측 방향은 인접한 블록에서 찾기 위한 것이며 기존의 H.264에서 사용한 방향들 사이에 존재하는 방향으로 확장한 것이다. 이때, 둘 이상의 블록으로 예측할 경우, 인코딩할 블록에 영향을 미치는 크기에 따라 인접 블록에 대핸 가중치를 부가하여 인코딩할 블록을 예측하는 데이터를 생성하게 된다.

또한 최대 예측 모드(most probable mode)의 값을 선택하기 위해 도 6의 여러 블록을 참조할 수 있도록 한다. 그리고 도 7에서 제시된 바와 같이, 인접 블록들이 비슷한 방향을 가질 수 있으므로 이들간의 잔차를 인코딩할 수 있다. 세 개 이상의 블록을 참조할 경우, 중앙값(median)값을 사용할 수도 있다.

도 11은 본 발명의 일 실시예에 따른 디코딩 과정을 보여주는 순서도이다. 수신한 비트 스트림에서 잔차 데이터를 디코딩한다(S202). 디코딩한 잔차 데이터가 방향적 인트라 예측에 의해 인코딩 되었으며, 둘 이상의 블록을 참조한다면(S204) 가중치를 구하는 과정이 필요하다(S206). 참조 블록을 바탕으로 예측 데이터를 생성한다(S208). 그리고 디코딩한 잔차 데이터와 예측 데이터를 더하여 비디오 데이터를 복원한다(S210).

상기 잔차 데이터를 디코딩시 최대 예측 모드(most probable mode)의 값을 디코딩하게 된다. 이때, 참조하는 인접 블록들에 따라 최대 예측 모드의 값이 결정되는 과정이 달라짐은 전술한 바와 같다.

도 12는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 보여주는 도면이다. 현재 계층의 인코딩 부분을 중심으로 설명한다. 비디오 인코더(500)는 참조 블록 예측부(310), 예측 데이터 생성부(320), 잔차 데이터 생성부(330), 양자화부(340), 엔트로피 부호화부(350)을 포함한다.

참조 블록 예측부(310)는 비디오 데이터에 포함된, 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블록을 검색한다. 여기서 제 1 블록은 인코딩할 데이터이며, 제 2 블록은 예측 데이터를 생성하는 참조 블록이다.

그리고 잔차 데이터 생성부(330)는 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산한다.

양자화부(340)는 계산한 잔차에 대해 양자화를 수행하고, 엔트로피 부호화부(350)는 엔트로피 부호화를 하여 무손실 압축을 수행한다.

상기 잔차 데이터 생성부(330)와 양자화부(340), 그리고 엔트로피 부호화부 (350)는 잔차 인코딩부를 구성할 수 있다.

참조 블록 예측부(310)는 제 1 블록이 참조하는 제 2 블록을 검색시 H.264의 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 검색하게 된다.

예측 데이터 생성부(320)는 제 2 블록이 둘 이상인 경우, 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 제 1 블록을 예측하는 데이터를 생성한다.

또한 잔차 데이터 생성부(330)는 최대 예측 모드의 값을 생성한다.

잔차 데이터 생성부(330)는 여기에서 최대 예측 모드의 값을 선택하기 위해 제 1 블록에 인접한 블록들을 참조하며, 참조하는 블록들간에 상기 제 1, 제 2 또는 제 3 방향에 따라 존재하는 차분의 값을 구할 수 있다.

또한 상기 최대 예측 모드의 값은 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값이거나, 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값일 수 있다. 이는 도 7에서 살펴보았다.

인접 블록의 데이터와 잔차 스트림을 수신한 비디오 디코더(600)에서 잔차 디코딩부(610)는 잔차 스트림 내에 포함된 제 1 블록의 잔차 데이터를 디코딩한다. 제 1 블록이란 디코딩할 블록을 의미한다.

그리고 방향적 인트라 예측부(630)는 제 1 블록이 참조하며 제 1 블록과 같은 프레임에 포함된 제 2 블록의 비디오 정보를 예측한다. 방향적 인트라 예측을 수행하기 위해 주변에 존재하는 블록을 참조하게 된다.

복원부(640)는 잔차데이터와 예측된 데이터를 가산하여 제 1 블록의 비디오 정보를 복원하게 된다.

여기서 방향적 인트라 예측부(630)는 전술한 확장된 방향을 포함한 방향적 예측을 수행한다.

참조할 제 2 블록이 둘 이상인 경우, 방향적 인트라 예측부(630)는 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 제 1 블록을 예측하는 데이터를 생성하게 된다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명을 구현함으로써 방향적 인트라 예측시 더욱 정교한 예측을 수행할 수 있다.

또한, 최대 예측 모드의 값을 설정시 더 많은 인접 블록의 정보를 참조하여 잔차의 크기를 줄여 인코딩 효율을 높일 수 있다.

Claims

비디오 데이터를 인코딩시 방향적 인트라 예측을 수행하는 방법에 있어서,

상기 비디오 데이터에 포함된 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블록을 검색하는 단계;

상기 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산하는 단계; 및

상기 계산된 잔차를 인코딩하는 단계를 포함하며,

상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며,

상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조하는, 방법.
제 1항에 있어서,

상기 제 2 블록이 둘 이상인 경우, 상기 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 상기 제 1 블록을 예측하는 데이터를 생성하는 단계를 포함하는, 방법.
제 1항에 있어서,

상기 인코딩하는 단계는

최대 예측 모드의 값을 인코딩하는 단계를 포함하며,

상기 최대 예측 모드의 값을 1비트로 인코딩하며 상기 최대 예측 모드의 값에 따라 상기 제 1, 제 2 또는 상기 제 3 방향을 선택할 수 있도록 4비트로 인코딩하는 단계를 포함하는, 방법.
제 3항에 있어서,

상기 최대 예측 모드의 값을 선택하기 위해 상기 제 1 블록에 인접한 블록들을 참조하며,

상기 참조하는 블록들간에 상기 제 1, 제 2 또는 제 3 방향에 따라 존재하는 차분의 값을 인코딩하는, 방법.
제 3항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값인, 방법.
제 3항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값인, 방법.
제 3항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값 또는 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값 중 하나와,

상기 제 1 블록에 대응하는 기초 계층을 재생성한 제 3 블록과의 잔차를 구하는 비트 비용을 계산하는 단계 및;

상기 계산된 결과 중에서 최소 비트 비용을 가지는 값을 선택하는 단계를 포함하는, 방법.
방향적 인트라 예측에 따라 인코딩된 비디오 데이터를 디코딩하는 방법에 있어서,

상기 비디오 데이터에 포함된 제 1 블록의 잔차 데이터를 디코딩하는 단계;

상기 제 1 블록이 참조하며 상기 제 1 블록과 같은 프레임에 포함된 제 2 블록의 비디오 정보를 예측하는 단계; 및

상기 잔차데이터와 상기 예측된 데이터를 가산하여 제 1 블록의 비디오 정보를 복원하는 단계를 포함하며,

상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며,

상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조하는, 방법.
제 8항에 있어서,

상기 제 2 블록이 둘 이상인 경우, 상기 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 상기 제 1 블록을 예측하는 데이터를 생성하는 단계를 포함하는, 방법.
제 8항에 있어서,

상기 디코딩하는 단계는

최대 예측 모드의 값을 디코딩하는 단계를 포함하며,

상기 최대 예측 모드의 값을 1비트로 디코딩하며 상기 최대 예측 모드의 값에 따라 상기 제 1, 제 2 또는 상기 제 3 방향을 선택할 수 있도록 4비트로 디코딩된 값을 추출하는 단계를 포함하는, 방법.
제 10항에 있어서,

상기 최대 예측 모드의 값을 선택하기 위해 상기 제 1 블록에 인접한 블록들을 참조하며,

상기 참조하는 블록들간에 상기 제 1, 제 2 또는 제 3 방향에 따라 존재하는 차분의 값을 디코딩하는, 방법.
제 10항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값인, 방법.
제 10항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값인, 방법.
제 10항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값 또는 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값 중 하나와, 상기 제 1 블록에 대응하는 기초 계층을 재생성한 제 3 블록과의 잔차를 계산하는데 소요되는 비트 비용이 최저인, 방법.
비디오 데이터를 계층적으로 인코딩하는 방법에 있어서, 하위 계층의 데이터를 양자화하는 단계;

하위 계층의 양자화 과정에서 발생한 제 1 에러 범위를 계산하는 단계; 및

상기 하위 계층의 상위에 존재하는 향상 계층을 양자화함에 있어서, 상기 제 1 에러 범위에 포함되는 영역의 향상 계층의 양자화 영역에 대해서는 양자화를 수행하지 않으며, 상기 제 1 에러 범위와 중첩되지 않는 제 2 에러 범위를 가지는 영역 내의 데이터에 대해 양자화를 하는 단계를 포함하는, 비디오 데이터 인코딩 방법.
제 15항에 있어서,

상기 하위 계층은 기초 계층이며,

상기 제 1 에러 범위와 중첩되지 않는 영역에 대해 상기 향상 계층의 양자화가 수행되는, 비디오 데이터 인코딩 방법.
제 15항에 있어서,

상기 제 2 에러 범위 내에 상기 향상 계층의 양자화 범위가 포함되는, 비디오 데이터 인코딩 방법.
비디오 데이터를 계층적으로 디코딩하는 방법에 있어서, 하위 계층의 데이터를 역양자화하는 단계; 및

상기 하위 계층을 참조하는 향상 계층을 역양자화하는 단계를 포함하며,

상기 향상 계층의 양자화 범위는 상기 하위 계층의 에러 범위에 포함되지 않는 것을 특징으로 하는, 비디오 디코딩 방법.
비디오 데이터를 인코딩 시 방향적 인트라 예측을 수행하는 인코더에 있어서,

상기 비디오 데이터에 포함된 제 1 블록의 정보를 상기 제 1 블록과 같은 프레임에 존재하는 제 2 블록으로부터 예측하기 위해 상기 프레임 내의 상기 제 2 블 록을 검색하는 참조 블록 예측부;

상기 검색한 제 2 블록에 포함된 정보와 상기 제 1 블록에 포함된 정보의 잔차를 계산하며, 상기 계산된 잔차를 인코딩하는 잔차 인코딩부를 포함하며,

상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며,

상기 참조 블록 예측부는 상기 제 1 블록이 참조하는 제 2 블록을 검색시 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 검색하는, 비디오 인코더.
제 19항에 있어서,

상기 제 2 블록이 둘 이상인 경우, 상기 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 상기 제 1 블록을 예측하는 데이터를 생성하는 예측 데이터 생성부를 포함하는, 비디오 인코더.
제 19항에 있어서,

상기 잔차 인코딩부는 최대 예측 모드의 값을 인코딩하며,

상기 최대 예측 모드의 값을 1비트로 인코딩하며 상기 최대 예측 모드의 값에 따라 상기 제 1, 제 2 또는 상기 제 3 방향을 선택할 수 있도록 4비트로 인코딩하는, 비디오 인코더.
제 21항에 있어서,

싱기 잔차 인코딩부는 상기 최대 예측 모드의 값을 선택하기 위해 상기 제 1 블록에 인접한 블록들을 참조하며, 상기 참조하는 블록들간에 상기 제 1, 제 2 또는 제 3 방향에 따라 존재하는 차분의 값을 인코딩하는, 비디오 인코더.
제 21항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값인, 비디오 인코더.
제 21항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값인, 비디오 인코더.
제 21항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값 또는 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값 중 하나와,

상기 제 1 블록에 대응하는 기초 계층을 재생성한 제 3 블록과의 잔차를 구하는 비트 비용을 계산하는 단계를 더 포함하는, 비디오 인코더.
방향적 인트라 예측에 따라 인코딩된 비디오 데이터를 디코딩하는 비디오 디 코더에 있어서,

상기 비디오 데이터에 포함된 제 1 블록의 잔차 데이터를 디코딩하는 잔차 디코딩부;

상기 제 1 블록이 참조하며 상기 제 1 블록과 같은 프레임에 포함된 제 2 블록의 비디오 정보를 예측하는 방향적 인트라 예측부; 및

상기 잔차데이터와 상기 예측된 데이터를 가산하여 제 1 블록의 비디오 정보를 복원하는 복원부를 포함하며,

상기 제 2 블록은 상기 제 1 블록의 인접하는 위치에 존재하며,

상기 제 1 블록은 방향적 인트라 예측에 사용되는 인접한 제 1 방향과 제 2 방향 사이에 존재하는 제 3 방향의 제 2 블록을 참조하는, 비디오 디코더.
제 26항에 있어서,

상기 제 2 블록이 둘 이상인 경우, 방향적 인트라 예측부는 상기 제 1 블록에 영향을 미치는 크기에 가중치를 부가하여 상기 제 1 블록을 예측하는 데이터를 생성하는, 비디오 디코더.
제 26항에 있어서,

상기 잔차 디코딩부는 최대 예측 모드의 값을 디코딩하며,

상기 최대 예측 모드의 값을 1비트로 디코딩하며 상기 최대 예측 모드의 값에 따라 상기 제 1, 제 2 또는 상기 제 3 방향을 선택할 수 있도록 4비트로 디코딩 된 값을 추출하는, 비디오 디코더.
제 28항에 있어서,

상기 잔차 디코딩부는 상기 최대 예측 모드의 값을 선택하기 위해 상기 제 1 블록에 인접한 블록들을 참조하며, 상기 참조하는 블록들간에 상기 제 1, 제 2 또는 제 3 방향에 따라 존재하는 차분의 값을 디코딩하는, 비디오 디코더.
제 28항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값인, 비디오 디코더.
제 28항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값인, 비디오 디코더.
제 28항에 있어서,

상기 최대 예측 모드의 값은 상기 제 1 블록의 좌측, 상측, 우상측에 인접하는 블록들의 중앙값을 선택한 값 또는 상기 제 1 블록의 좌측, 좌상측, 상측에 인접하는 블록들의 중앙값을 선택한 값 중 하나와, 상기 제 1 블록에 대응하는 기초 계층을 재생성한 제 3 블록과의 잔차를 계산하는데 소요되는 비트 비용이 최저인, 비디오 디코더.