KR100727970B1

KR100727970B1 - 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체

Info

Publication number: KR100727970B1
Application number: KR1020050079991A
Authority: KR
Inventors: 김소영; 박정훈; 이상래; 손유미
Original assignee: 삼성전자주식회사
Priority date: 2005-08-30
Filing date: 2005-08-30
Publication date: 2007-06-13
Also published as: CN1925619B; EP1773068A2; KR20070027981A; EP1773068A3; CN1925619A; US20070071087A1

Abstract

본 발명은 영상의 압축 효율을 높일 수 있는 영상의 예측 부호화 및 복호화 방법 에 관한 것으로서, 본 발명에 따른 영상 부호화 방법에서는 입력 영상의 공간적 특성을 고려하여, 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하고,분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행한 후, 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하도록 함으로써, 예측 부호화에 따른 영상의 압축 효율을 향상시키는 효과가 있다.

Description

영상의 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기 위한 프로그램이 기록된 기록 매체{Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method}

도 1은 종래의 매크로 블록의 인트라 예측시에 이용되는 이전 매크로 블록들을 나타내는 도면

도 2는 종래 기술에 따른 H.264 부호화 방식에서의 인트라 4x4 모드에서 이용되는 인접 화소를 설명하기 위한 참고도

도 3은 종래 기술에 따른 H.264 부호화 방식에서 사용되는 인트라 4x4 모드를 나타내는 도면

도 4는 본 발명에 따른 서브 플레인 예측 부호화 장치를 도시하는 도면

도 5(a)(b)(c)는 본 발명에 따른 서브 플레인 예측 부호화 방법을 설명하기 위한 도면

도 6 (a) 내지 (e)는 본 발명에 적용되는 서브 플레인 분할 방법을 설명하기 위한 도면이다.

도 7(a)(b)는 서브 플레인의 인트라 예측을 위한 인접 샘플 구성을 설명하기 위한 도면

도 8은 본 발명에 따른 서브 플레인 예측부에서 수행되는 서브 플레인 예측 방법을 설명하기 위한 흐름도

도 9는 본 발명에 따른 서브 플레인 예측 부호화 방법이 적용되는 영상 부호화 장치의 구성을 나타낸 블록도

도 10은 본 발명에 적용되는 스캔 방식을 도시하는 도면

도 11는 본 발명에 따른 서브 플레인 예측 복호화 장치를 도시하는 블록도

도 12은 도 11의 서브 플레인 예측부 및 영상 재구성부에서 수행되는 서브플레인 예측 복호화 방법을 설명하기 위한 흐름도

도 13은 본 발명에 따른 서브 플레인 예측 복호화 방법을 설명하는 흐름도

도 14은 본 발명에 따른 서브 플레인 예측 복호화 방법이 적용되는 영상 복호화 장치를 도시하는 블록도

도 15는 본 발명에 따른 서브 플레인 예측 복호화 방법이 적용되는 영상 복호화 방법을 설명하기 위한 흐름도

본 발명은 영상의 압축 부호화에 관한 것으로, 보다 구체적으로는 영상의 압축 효율을 높일 수 있는 영상의 예측 방법, 이를 이용한 부호화, 복호화 방법 및 장치에 관한 것이다.

일반적으로, MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263, H.264 등의 주요 비디오 압축 표준안에서는 동영상을 부호화하기 위해서 하나의 픽처를 매크로 블록으로 나눈다. 그리고, H.264 부호화 인코더의 경우에는, 각각의 매크로 블록을 인터 예측에서의 모든 부호화 모드 및 인트라 예측에서의 모든 부호화 모드에서 부호화한 후에 각 부호화 모드에서 부호화에 소요되는 비트율 및 원 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도를 비교한다. 그리고, 상기 비교 결과를 토대로, 적절한 부호화 모드를 하나 정해 각각의 매크로 블록을 부호화한다.

여기서 인트라 예측은, 현재 픽처의 매크로 블록을 부호화하기 위해서 참조 픽처를 참조하는 것이 아니라, 부호화하고자 하는 매크로 블록과 동일한 픽처에 포함되고 공간적으로 인접한 화소값을 이용하여 부호화하고자 하는 매크로 블록에 대한 예측값을 계산한 후, 이 예측값과 실제 화소값의 차를 부호화하는 것이다.

도 1은 종래 기술에 따라 매크로 블록(a₅)의 인트라 예측시에 이용되는 이전 매크로 블록들을 나타내는 도면이다. 도 1을 참조하면, 현재 매크로 블록 a₅의 인트라 예측을 위해 이전 매크로 블록 a₁, a₂, a₃ 및 a₄가 이용된다. 래스터 스캔(raster scan) 방식에 따르면, 왼쪽에서 오른쪽 및 위에서 아래 방향으로 하나의 픽처에 포함된 매크로 블록들을 스캔한다. 따라서, 매크로 블록 a₁,a₂,a₃ 및 a₄는 현재 매크로 블록 a₅이전에 이미 스캔되어 부호화가 완료된 매크로 블록들이다.

"X"표시가 된 매크로 블록들은 아직 부호화가 되지 않았으므로 현재 매크로 블록 a₅의 예측 부호화에 이용할 수 없고, "O"로 표시된 매크로 블록은 현재 매크로 블록 a₅와의 상관도가 낮으므로 이용하지 않는다. 한편, 이전 매크로 블록들은 DCT(Discrete Cosine Transform) 및 양자화(quantization) 된 후 다시 역양자화(inverse quantization) 및 역DCT(inverse Discrete Cosine Transform)되어 재생된 매크로 블록들이다.

도 2는 종래 기술에 따른 H.264 표준안의 인트라 4x4 모드에서 이용되는 인접화소를 설명하기 위한 참고도이다.

도 2를 참조하면, 소문자 a ~ p는 예측의 대상이 되는 4x4 블록에 해당하는 화소들을 나타낸다. a에서 p로 이루어지는 4x4 블록의 위와 왼쪽에 있는 대문자 A ~ M으로 표시된 샘플들은, 이전에 부호화되고 재구성된 샘플들로서 4x4 블록의 예측에 필요한 인접화소들을 나타낸다.

도 3은 종래 기술에 따른 H.264 표준안에서 사용되는 인트라 4x4 모드를 나타낸 도면이다.

도 3을 참조하면, 인트라 4x4 모드에는 DC(Direct Current) 모드, 수직(Vertical) 모드, 수평(Horizontal) 모드, 대각선 왼쪽 아래(Diagonal Down-left) 모드, 대각선 오른쪽 아래(Diagonal Down-right) 모드, 수직 왼쪽(Vertical left) 모드, 수직 오른쪽(Vertical right) 모드, 수평 위쪽(Horizontal-up) 모드 및 수평 아래쪽(Horizontal-down) 모드의 총 9개의 모드가 존재한다. 상기 인트라 모드에 따라 인접 블록의 화소들인 A~M으로부터 현재 예측 대상이 되는 a~p의 화소값이 예측된다. 인코더에서 이들 모드들 중 어떤 모드를 선택하여 인트라 예측을 수행하는냐에 따라 압축 효율이 달라지는데, 가장 좋은 모드를 선택하기 위하여 모든 모드를 적용하여 블록의 예측을 수행하고, 소정의 코스트 함수를 사용하여 코스트를 계산 한 후, 코스트가 적은 모드를 선택하여 부호화를 수행함으로써 압축 효율을 향상 시키고 있다.

하지만, 고화질의 영상을 사용자에게 제공하기 위해, 압축 효율을 향상시킬 수 있는 개선된 부호화 방법이 요구되어 왔다.

따라서, 본 발명의 목적은 종래의 I 픽쳐의 인트라 예측 시 압축율을 보다 향상시키기 위한 인트라 예측 부호화 및 복호화 방법과 그 장치를 제공하기 위한 것이다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 부호화 방법은 입력 영상의 공간적 특성을 고려하여, 상기 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와; 상기 분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행하는 단계와; 상기 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상의 공간적 특성을 결정하는 단계와; 상기 결정된 공간적 특성에 기초하여 서브 플레인 타입을 선택하는 단계와; 상기 선택된 서브 플레인 타입을 나타내는 정보를 생성하는 단계를 더 포함한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 서브 플레인 타입을 선택하는 단계는, 복수개의 서브 플레인 타입 중 하나의 서브 플레인 타입을 선택하는 단계를 더 포함하며, 상기 복수개의 서브 플레인 타입에 따라 분할되는 서브 플레인 각각은 상이한 방향성을 갖는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/IS, M = H/I이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/IS이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향 및 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/I이며, 여기에서 I ≥ 2인 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 인트라 예측 및 인터 예측이 수행된 서브 플레인에 대해 엔트로피부호화를 수행하는 단계를 더 포함하며, 상기 엔트로피 부호화를 수행하는 단계는 복수개의 스캔 방식 중, 상기 입력 블록의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상을 서브 플레인으로 분할하는 단계는 상기 입력 영상을 서브 샘플링하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 분할된 서브 플레인들 중 하나에 대해 인트라 예측 부호화를 수행하는 단계는 상기 분할된 서브 플레인들 모두에 대해 인트라 예측 부호화를 수행하는 단계와; 상기 인트라 예측이 수행된 서브 플레인들의 코스트를 비교하는 단계와; 상기 코스트 비교 결과에 기초하여, 인트라 예측을 위한 하나의 서브 플레인을 선택하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 입력 영상은 픽쳐인 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 인트라 예측 또는 인터 예측이 수행된 서브 플레인의 엔트로피 부호화를 위해 상기 입력 블록의 공간적 특성을 고려하여 복수개의 스캔 방식 중 하나의 스캔 방식을 선택하는 단계와; 상기 선택된 스캔 방식을 사용하며 엔트로피 부호화를 수행하는 단계와, 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화 방식에 관한 정보, 상기 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하는 모드 정보를 생성하는 단계; 및 상기 생성된 모드 정보를 비트스트림의 픽쳐 헤더에 삽입하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 부호화 방법에서는 상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관련된 정보를 포함하는 것을 특징으로 한다.

또한, 상기 기술적 과제는, 입력 영상의 공간적 특성을 고려하여, 상기 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 영상 분할부와; 상기 분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행하는 인트라 예측 부호화부와; 상기 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하는 인터 예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치에 의해서도 달성된다.

또한, 상기 기술적 과제는 입력 영상의 공간적 특성에 기초하여 상기 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들 중 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행된 서 브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하는 단계와; 상기 수신된 비트스트림으로부터 영상 데이터를 추출하는 단계와; 상기 추출된 영상 데이터에 포함된 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행하는 단계와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법에 의해서도 달성될 수 있다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 인트라 복호화된 서브 플레인 및 상기 인터 복호화된 서브 플레인을 재구성하여 상기 입력 영상을 재구성하는 단계를 더 포함한다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 수신된 비트스트림은 복수개의 스캔 방식 중 상기 입력 영상의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하여 엔트로피 부호화가 수행된 것을 특징으로 하며, 상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 스캔 방식를 나타내는 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관련된 정보를 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 추출된 영상 데이터로부터 상기 적어도 하나 이상의 서브 플레인을 구성하는 단계를 더 포함하는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 수신된 비트스트림은 모드 정보를 더 포함하며, 상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계를 더 포함하며, 상기 엔트로피 복호화는 상기 복수개의 스캔 방식 중, 상기 모드 정보에 의해 특정되는 스캔 방식에 의해 수행되는 것을 특징으로 한다.

바람직하게는, 본 발명에 따른 영상 복호화 방법은 상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하며, 상기 모드 정보는 상기 수신된 비트스트림의 픽쳐 헤더로부터 추출되는 것을 특징으로 한다.

또한, 상기 기술적 과제는 입력 영상의 공간적 특성에 기초하여 상기 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들 중 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 상기 수신된 비트스트림으로부터 영상 데이터를 추출하는 엔트로피 복호화 부와; 상기 추출된 영상 데이터에 포함된 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행하는 인트라 복호화부와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행하는 인터 복호화부를 포함하는 영상 복호화 장치에 의해서도 달성된다.

또한, 상기 기술적 과제는 입력 영상의 공간적 특성을 고려하여, 상기 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와; 상기 분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행하는 단계와; 상기 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하는 단계를 포함하는 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.

또한, 상기 기술적 과제는 입력 영상의 공간적 특성에 기초하여 상기 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들 중 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하는 단계와; 상기 수신된 비트스트림으로부터 영상 데이터를 추출하는 단계와; 상기 추출된 영상 데이터에 포함된 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행하는 단계와; 상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행하는 단계 를 포함하는 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 4는 본 발명에 따른 서브 플레인 예측 부호화 장치를 도시하는 블록도이다.

도 4를 참조하면, 본 발명에 따른 인트라 예측 부호화 장치는 공간적 특성 결정부(410), 영상 분할부(412), 서브 플레인 부호화부(420), 모드 정보 생성부(422), 변환부(430), 양자화부(440), 엔트로피 코딩부(450), 역양자화부(460), 및 역변환부(470)를 포함한다. 서브 플레인 예측부(420)는 인트라 예측부 및 인터 예측부 (도시되지 않음)를 더 포함한다.

이하에서는, 도 5 내지 도 8을 참조하여, 본 발명에 따른 인트라 예측 부호화 방법을 설명한다.

공간적 특성 결정부(410)는 입력 영상, 예를 들어 픽쳐의 공간적 특성을 결정한다. 공간적 특성의 예로는 입력 영상의 방향성, 에지의 존재 여부, 및 에지의 방향성과 같은 정보이다.

본 실시예에서는 입력 영상의 방향성은 입력 영상을 서로 다른 방향성을 갖는 서브 플레인 타입들, 예를 들어 도 5에 도시된 바와 같이, 서로 다른 크기 및 방향성을 갖는 서브 플레인들로 분할한 후, 이들 각각의 차를 구하여 방향성을 결정하는 것을 고려할 수 있다. 즉, 도 5 (a)와 같이 수평 샘플링을 수행하여 얻어 진 서브 플레인 1 및 2의 차이값이 가장 작은 경우, 입력 영상은 수평 방향의 방향성을 갖는 것으로 판단한다.

또한, 입력 영상의 공간적 특성은 입력 영상에 에지가 존재하는지 여부, 및 에지의 방향성에 따라 결정될 수 있다. 예를 들어, 에지가 존재하고, 에지의 방향이 수직 방향인 경우, 입력 영상이 수직 방향의 방향성을 갖는 것으로 판단한다.

이와 같이, 입력 영상의 공간적 특성이 판단되면, 분할되는 서브-플레인의 타입, 즉, 분할된 서브 플레인의 모양, 개수, 및 크기는 입력되는 영상의 공간적 특징에 따라 결정된다. 예를 들어, 입력 영상이 352X288 크기의 CIF(Common Intermediatee Format)이고, 입력 영상이 가로 방향과 세로 방향으로 모두 연속성을 많이 가지고 있는 경우에는 4개의 176X144 서브 플레인으로, 가로 방향만 연속성을 많이 가지고 있는 경우에는 가로 방향으로 서브 샘플링을 해서 가로가 176, 세로가 288인, 2개의 176X288 서브 플레인으로, 세로 방향으로만 연속성을 많이 가지고 있는 경우에는 세로 방향으로 서브 샘플링을 해서 가로가 352, 세로가 144인 2개의 352X144 서브 플레인으로 분할된다.

선택적으로,사용자가 입력 영상의 공간적 특성 정보를 입력하도록 하는 것도 가능하다. 또한, 도 5에 도시된 서브 플레인 타입 이외에도 영상의 공간적 특성을 변경시키지 않는 범위내에서 다양한 크기 및 모양을 갖는 서브 플레인으로 분할 될 수 있다.

영상 분할부(412)는 소정의 크기의 입력된 영상, 예를 들어 픽쳐를 서브 샘플링(sub sampling)하여 소정의 개수의 서브-플레인으로 분할한다. 예를 들어, 입 력 영상이 CIF 포맷인 경우, 도 5(a) 내지 (c)에 도시된 2개의 176X288, 4개의 176X144, 또는 2개의 352X144의 서브 플레인으로 분할하는 방법을 고려 할 수 있다. 본 실시예에서는, 픽쳐를 서브 샘플링하여 복수개의 서브 플레인으로 분할하였지만, 임의의 크기의 블록을 분할하는 경우에도 본 발명의 적용이 가능하다.

여기에서, 도 5(a)(b)(c)는 본 발명에 따라 분할된 서브 플레인 타입의 예를 설명하기 위한 도면이다. 도 5(a)는 입력 영상을 수평 방향으로 서브 샘플링하여 2개의 서브-플레인을 만드는 방법을 도시하는 도면이다. 도 5(b)는 입력 영상을 서브 샘플링하여 4개의 서브-플레인을 만드는 방법을 도시하는 도면이다. 도 5(c)는 입력 영상을 수직 방향으로 서브 샘플링하여 2개의 서브-플레인을 만드는 방법을 도시하는 도면이다.

도 6 (a) 내지 (e)는 본 발명이 적용되는 입력 영상을 서브 플레인으로 나누는 방법을 설명하기 위한 도면이다.

도 6(a)는 인접한 4개의 픽셀을 각각 다른 서브 플레인으로 분할하는 예이다. 도 6(b)는 수평 방향으로 인접한 2개의 픽셀을 각각 다른 서브 플레인으로 분할하는 예이다. 도 6(c)는 수직 방향으로 인접한 2개의 픽셀을 각각 다른 서브 플레인으로 분할하는 예이다. 도 6(d)는 대각선 방향으로 인접한 2개의 픽셀을 동일한 서브 플레인에 두고, 수평 및 수직 방향으로 인접한 픽셀을 각각 다른 서브 플레인으로 분할하는 예이다. 도 6(e)는 인접한 9개의 픽셀을 각각 다른 서브 플레인으로 분할하는 예이다. 수평, 수직, 및 대각선 방향으로 2 픽셀 떨어져 있는 픽셀이 동일한 서브 플레인에 포함된다.

도 7은 352X288 CIF 픽쳐를 2개의 176X288 서브 플레인으로 분할한 예를 도시하는 도면이다.

서브 플레인 부호화부(420)의 인트라 예측부는 영상 분할부(412)에서 분할된 복수개의 서브-플레인들 중 하나의 서브-플레인을 선택하여, 인트라 예측을 수행한다. 이때, 서브-플레인의 선택은 소정 위치의 서브-플레인을 선택하거나, 또는 각각의 서브-플레인들에 대해 인트라 예측을 수행한 후, 코스트가 가장 작은 서브-플레인을 선택하는 것이 가능하다. 인트라 예측은 종래의 인트라 예측 방법에 따라 수행될 수 있으므로 설명의 간단을 위해 상세한 설명은 생략한다.

나머지 서브 플레인에 대해서도 동일한 방식으로 인트라 예측을 수행한 후, 해당 서브 플레인의 코스트를 결정한다. 이후, 각각의 서브 플레인들의 코스트를 비교하여, 가장 작은 코스트를 갖는 서브 플레인을 인트라 예측을 위한 서브 플레인으로 결정한다.

여기서, 상기 코스트 계산은 여러가지 방법에 의해서 수행될 수 있다. 사용되는 코스트 함수로는 SAD(Sum of Absolute Difference), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference) 및 라그랑지 함수(Lagrange function) 등이 있다.

본 실시예에서는, 분할된 서브 플레인들 중 하나의 서브 플레인에 대해서만 인트라 예측 부호화를 수행하였지만, 선택적으로 압축 효율을 높이기 위해 하나 이상의 서브 플레인, 예를 들어 분할된 서브 플레인의 수가 4개인 경우, 2개의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 나머지 2개의 서브 플레인에 대해 서는 인터 예측을 수행하는 것도 가능하다.

다음으로, 서브 플레인 부호화부(420)의 인터 예측부는 인트라 예측된 서브 플레인을 참조 플레인으로하여, 나머지 서브 플레인의 인터 예측을 수행한다. 예를 들어, 서브 플레인 1이 인트라 예측된 서브 플레인인 경우, 서브 플레인 1을 참조 서브 플레인으로 하여, 서브 플레인 2의 인터 예측을 수행한다.

여기에서, 참조 플레인으로 이용되는 인트라 예측된 서브 플레인은, 인트라 예측 부호화가 수행된 서브 플레인에 대해 인트라 예측 복호화가 수행된 서브 플레인이다. 한편, 선택적으로 인트라 예측 부호화가 수행되지 않은 원래의 서브 플레인을 이용하는 것도 가능하다.

본 발명에 적용되는 인터 예측 방법은 종래의 인터 예측 방법과 유사하다. 참조 픽쳐가 아닌, 참조 서브 플레인을 사용하고, 아주 작은 범위의 움직임 벡터를 사용하여 움직임 예측 및 보상을 수행한다는 점에서 종래의 인터 예측 방법과 구별된다. 본 발명에 따른 인터 예측에서는, 참조 서브 플레인에서 현재 서브 플레인과 가장 비슷한 위치를 움직임 벡터로 나타내 주고, 그 위치에 있는 참조 서브 플레인의 샘플들과, 현재 서브 플레인의 샘플들과의 차를 부호화한다.

이를 위해, 서브 플레인 부호화부(420)는 인터 예측 부호화를 위한 움직임 예측 및 보상을 위한 기능부를 더 포함할 수 있다.

도 5(a) 및 도 6(a)에 도시된 바와 같이, 본 실시예에서의 서브-플레인들은 입력 영상의 공간적 특성, 예를 들어 입력 영상의 방향성에 기초하여 입력 영상을 분할한 것이기 때문에, 서브-플레인들의 연관도가 높으며, 이에 따라 인터-예측에 따른 압축 효율도 높아지는 효과가 있다.

본 실시예에서는 하나의 서브-플레인 또는 복수개의 서브 플레인 중 선택된 서브 플레인에 대해 인트라 예측을 수행하고, 선택된 서브 플레인을 참조 플레인으로 하여, 나머지 서브-플레인들에 대해 인터 예측을 수행하였다. 하지만, 각각의 서브-플레인들에 대해 인트라 예측을 수행하고, 나머지 서브-플레인들에 대해 인터 예측을 수행한 후 가장 코스트가 작은 조합을 선택하는 것도 가능하다. 또한, 분할된 서브-플레인들에 대해, 다른 조합의 예측 방법을 적용하는 것도 가능하다.

본 실시예에서는, 인터 예측 부호화시 참조 플레인으로 인트라 부호화가 수행되는 서브 플레인 또는 인트라 부호화 및 복호화된 서브 플레인만을 이용하였지만, 선택적으로 이들 인트라 부호화가되는 서브 플레인 뿐만 아니라 이전에 인터 부호화 및 복호화가 수행된 서브 플레인들을 참조 플레인으로 이용하여 인터 예측 부호화를 수행하는 것도 가능하다.

이후, 변환부(430) 및 양자화부(440)는 인트라 및 인터 예측된 서브 플레인들에 대해 변환 및 양자화를 수행한다. 이들 기능부는 종래의 부호화 장치에서의 대응하는 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다. 또한, 선택적으로 이들 변환부 및 양자화부는 생략될 수 있다.

또한, 모드 정보 생성부(422)는 결정된 인트라 예측 모드에 관한 정보를 엔트로피 코딩부(450)으로 전송하고, 엔트로피 코딩부(450)는 입력된 인트라 예측 모드 정보를 부호화되는 비트스트림의 헤더에 삽입한다. 영상 분할부(412)에서 분할되는 영상이 픽쳐인 경우, 모드 정보는 픽쳐 단위로 삽입, 즉 픽쳐 헤더에 삽입된 다. 모드 정보는 서브 플레인 타입 정보, 인트라 예측된 서브 플레인을 나타내는 정보, 및 인터 예측 부호화 방식 등에 대한 정보를 포함한다. 서브 플레인 타입 정보는 분할된 서브 플레인의 방향성, 크기, 또는 개수 등과 같은 정보를 포함한다.

역양자화부(460) 및 역변환부(470)는 변환 및 양자화된 데이터에 대해 역양자화 및 역변환을 수행하여, 이를 서브 플레인 부호화부(420)에 입력한다. 이들 데이터는 서브 플레인 예측부에서의 다음 서브 플레인들의 인트라 또는 인터 예측에 이용된다. 이들 기능부는 종래의 부호화 장치에서의 대응하는 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다. 또한, 선택적으로 변환부(430) 및 양자화부(440)이 생략된 경우, 역양자화부(460) 및 역변환부(470)도 생략될 수 있다.

도 8은 도 4의 서브 플레인 부호화부(420)에서 수행되는 예측 방법을 설명하기 위한 흐름도이다.

단계 820에서는 입력 영상, 예를 들어 픽쳐를 입력 영상의 공간적 특성에 기초하여 서브 샘플링(sub sampling)하여 소정의 개수의 서브-플레인으로 분할한다. 예를 들어, 도 5에 도시된 2개의 176X288 서브 플레인, 4개의 176X144 서브 플레인, 또는 2개의 352X144 서브 플레인들로 분할한다.

단계 840에서는 분할된 서브-플레인들 중 적어도 하나의 서브-플레인에 대해, 인트라 예측을 수행한다. 이때, 서브-플레인의 선택은 소정 위치의 서브-플레인을 선택하거나, 또는 각각의 서브-플레인들에 대해 인트라 예측을 수행한 후, 코 스트가 가장 작은 서브-플레인을 선택하는 것이 가능하다.

단계 860에서는 단계 840에서 인트라 예측된 서브-플레인을 참조 블록으로하여 인터 예측을 수행한다. 한편, 인터 예측은 분할된 서브 플레인 단위로 인터 예측을 수행하거나, 선택적으로 서브 플레인에 포함되는 8X8 또는 4X4 블록 단위로 인터 예측을 수행하도록 하는 것도 가능하다.

본 실시예에서는, 인터 예측 부호화시 참조 플레인으로 인트라 부호화가 수행되는 서브 플레인 또는 인트라 부호화 및 복호화된 서브 플레인만을 이용하였지만, 선택적으로 이들 서브 플레인 뿐만 아니라 이전에 인터 부호화 및 복호화가 수행된 서브 플레인들을 참조 플레인으로 이용하여 인터 예측 부호화를 수행하는 것도 가능하다.

또한, 선택적으로 단계 820 내지 단계 860에서 수행된 서브 플레인 분할과, 인트라 및 인터 예측에 대한 모드 정보를 생성하고, 생성된 모드 정보를 엔트로피 부호화시 비트스트림에 삽입하는 단계를 더 포함할 수 있다.

또한, 선택적으로 인트라 예측된 서브 플레인 및 인터 예측된 서브 플레인에 대해, 변환 및 양자화를 수행한다.

도 9는 본 발명에 따른 서브 플레인 예측 부호화 장치가 적용되는 영상 부호화 장치의 구성을 나타낸 블록도이다.

도 9를 참조하면, 본 발명에 따른 영상 부호화 장치(900)는 움직임 추정부(910), 움직임 보상부(912), 인트라 예측부(914), 서브 플레인 예측부(916), 모드 정보 생성부(918), 감산부(920), 가산부(922), 변환부(930), 양자화부(940), 엔트 로피 코딩부(950), 역양자화부(960), 역변환부(970), 필터링부(980), 및 프레임 메모리(990)를 구비한다.

여기에서, 서브 플레인 예측부(916), 모드 정보 생성부(918), 및 엔트로피 코딩부(950)를 이외의 나머지 기능부는 종래의 영상 부호화 장치, 예를 들어 H.264 부호화 장치의 대응하는 기능부와 동일한 기능을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.

한편, 서브 플레인 예측부(916)는 도 4의 공간적 특성 결정부(410), 영상 분할부(412), 및 서브 플레인 부호화부(420)에 대응하며, 엔트로피 부호화부(950)는 도 4의 엔트로피 부호화부(450)에 대응한다.

모드 정보 생성부(918)는 입력된 영상에 대한 인트라 예측을 종래의 인트라 예측을 수행하는 인트라 예측부(914)에서 수행할지, 또는 도 4에 도시된 서브 플레인 예측 방법이 적용되는 서브 플레인 예측부(916)에서 수행할 지 여부를 선택하고, 선택된 모드에 대한 모드 정보를 생성하여 이를 엔트로피 코딩부(950)로 전송한다. 모드 정보 생성부(918)는 인트라 예측부(914)에서의 예측 결과에 따른 코스트 및 서브 플레인 예측부(916)에서의 코스트를 비교하여, 예측 모드를 결정한다.

도 10은 본 발명에 사용되는 스캔방식의 일예를 도시하는 도면이다.

도 10(a)는 수직 샘플링 스캔 방식이며, 도 10(b)는 수평 샘플링 스캔 방식이다. 본 발명의 일 실시예에서는 입력 영상의 특성을 고려하여, 입력 영상을 소정 타입의 서브 플레인으로 분할하고, 분할된 복수개의 서브 플레인들에 대해 인트라 예측을 수행하여 얻어진 영상 데이터의 스캔을 위해 소정의 스캔 방식을 선택한 다. 즉, 입력 영상을 어떤 타입의 서브 플레인으로 분할하는지에 기초해서, 스캔 방식을 적응적으로 채용한다. 입력 영상이 픽쳐 단

위로 분할된 경우에는, 선택된 스캔 방식에 대한 정보를 픽쳐 단위로 삽입한다.

도 11은 본 발명에 따른 영상의 서브 플레인 예측 복호화 장치를 도시하는 블록도이다.

도 11을 참조하면 서브 플레인 예측 복호화 장치는 엔트로피 복호화부(1110), 역양자화부(1120), 역변환부(1130), 서브 플레인 예측부(1140), 및 영상 재구성부(1150)를 포함한다. 역양자화부(1120) 및 역변환부(1130)은 종래의 복호화 장치, 예를 들어 H.264 복호화 장치에서와 동일한 기능을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다. 선택적으로, 서브 플레인 예측부(1140)는 인트라 예측부 및 인터 예측부 (도시되지 않음)를 포함한다.

상기 엔트로피 복호화부(1110)는 부호화된 비트스트림을 수신하여 엔트로피 복호화를 수행하여, 영상 데이터를 추출하고, 추출된 영상 데이터를 역양자화부(1120)로 전송함과 동시에, 비트스트림으로부터 추출된 모드 정보를 서브 플레인 부호화부(1140)로 전송한다. 모드 정보는 서브 플레인 타입 정보, 인트라 예측된 서브 플레인을 나타내는 정보, 및 인터 예측 부호화 방식 등에 대한 정보를 포함한다. 또한, 선택적으로 모드 정보는 스캔 방식을 나타내는 정보를 더 포함한다.

여기에서, 수신된 비트 스트림은 소정 크기의 입력 영상을 입력 영상의 공간적 특성을 고려하여 분할하여 얻어진 적어도 하나 이상의 서브 플레인에 대해 인트 라 예측을 수행하고, 상기 인트라 예측된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하여 얻어진 영상 데이터를 포함한다.

상기 역양자화부(1120) 및 역변환부(1130)는 상기 추출된 영상 데이터에 대한 역양자화 및 역변환을 수행한다. 선택적으로, 추출된 영상 데이터가 양자화 및 변환이 수행된 데이터가 아닌 경우에는 이들 기능부는 생략될 수 있다.

서브 플레인 복호화부(1140)는 입력된 인트라 예측 모드 정보에 기초하여, 역변환된 영상 데이터에 대해 본 발명에 따른 서브 플레인 예측 복호화를 수행한다.

수신된 모드 정보가, 인코더에서 입력 영상, 예를 들어 CIF 포맷 영상을 180X288의 2개의 서브 플레인으로 분할한 후, 서브 플레인 1에 대해 인트라 예측을 수행하고, 서브 플레인 2는 서브 플레인 1을 참조 플레인으로 하여 인터 예측을 수행했음을 나타내는 경우, 현재 매크로블록에 대한 인트라 예측 복호화는 아래와 같이 수행된다.

본 실시예에서는, 모드 정보가 복호화를 위한 모든 정보를 포함하고 있지만, 선택적으로 인코더 및 디코더에서, 모든 모드에 대한 정보를 포함하는 예측 모드 테이블을 공유하도록 한 후, 이를 특정하는 인덱스만 전송하도록 하는 것도 가능하다.

이하에서는 도 12를 참조하여 설명한다.

도 12는 도 11의 서브 플레인 복호화부(1140) 및 영상 재구성부(1150)에서 수행되는 예측 복호화 과정을 설명하는 도면이다.

서브 플레인 예측 모드인 경우의 복호화는 우선, 서브 플레인 타입에 따라 서브 플레인을 재구성, 예를 들어 176X288 서브 플레인, 176X144 서브 플레인, 또는 352X144 서브 플레인 중 하나의 서브 플레인을 재구성한다 (단계 1220).

다음으로, 인코더에서 인트라 예측 부호화가 수행된 서브 플레인 1에 대해 인트라 복호화를 수행한다 단계(1140). 예를 들어, 플레인 내에서 종래의 방법과 유사한 방법으로 이미 부호화 및 복호화된 주변 매크로블록의 샘플릉 이용하여 예측 샘플을 생성하고, 입력된 잔차값과 예측 샘플로부터 얻어지는 예측값을 더하여 서브 플레인 1을 복원한다.

서브 플레인 1에 대한 복호화가 완료된 경우, 복호화가 완료된 서브 플레인 1을 참조 플레인으로 하여, 인터 복호화를 수행한다 (단계 1160). 예를 들어, 180X288 서브 플레인 단위로 인터 부호화된 경우, 움직임 벡터를 이용하여 참조 플레인에 대해 움직임 보상을 수행하여 예측 플레인을 얻고, 입력된 잔차 값과 예측 플레인으로부터 얻어진 예측값을 더하여 복원값을 구하고, 이로부터 서브 플레인 2를 복원한다.

다음으로, 인트라 예측부(1240)에서 구해진 서브 플레인들부터 원래 영상 블록을 재구성한다(단계1380). 본 실시예에서는 인트라 예측 복호화된 서브 플레인 1 및 인터 예측 복호화된 서브 플레인 2를 하나의 픽쳐로 재구성한다. 즉, 원래 영상 블록이 픽쳐이었던 경우, 서브 플레인으로 나누어진 픽셀들을 원래 픽쳐의 픽셀 순서에 맞게 재배열하여 픽쳐를 구성한다.

도 13은 도 11에 도시된 서브 플레인 예측 복호화 장치에서 수행되는 예측 복호화 방법을 나타낸 흐름도이다.

도 13을 참조하면, 단계 1320에서는, 입력된 비트스트림에 포함된 픽쳐의 헤더를 파싱(parsing)하여 영상 데이터를 추출한다. 선택적으로, 인코더에서의 서브 플레인 분할 타입, 인트라 예측, 및 인터 예측에 관한 모드 정보가 입력 비트 스트림에 포함된 경우에는, 영상 데이터와 함께 모드 정보를 추출한다. 이하에서는, 설명의 간단을 위해, 현재 복호화되는 픽쳐에 대해 서브 플레인 예측 복호화가 수행되는 과정인 경우로 한정하여 설명한다.

여기에서, 수신된 비트 스트림은 입력 영상을 공간적 특성, 예를 들어 영상의 방향성을 고려하여 복수개의 서브 플레인으로 분할하여 얻어진 적어도 하나 이상의 서브 플레인에 대해 인트라 예측을 수행하고, 상기 인트라 예측된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하여 얻어진 영상 데이터를 포함한다.

단계 1340에서는 분할된 서브 플레인들 중, 인트라 예측 부호화된 서브 플레인의 복호화를 수행한다. 또한, 선택적으로 추출된 모드 정보에 기초하여, 인트라 예측 부호화된 서브 플레인을 복호화한다. 인트라 예측 복호화가 분할된 서브 플레인 보다 작은 단위로 수행되는 경우, 인트라 예측 복호화후, 서브 플레인을 재구성하는 과정이 더 필요할 수도 있다.

단계 1360에서는, 복호화된 서브 플레인을 참조하여, 나머지 서브 플레인들에 대해, 인터 예측 복호화를 수행한다. 또한, 선택적으로 추출된 모드 정보에 기 초하여, 인트라 예측 부호화된 서브 플레인을 복호화한다.

본 실시예에서는, 인트라 예측 복호화된 서브 플레인을 참조 플레인으로하여, 나머지 서브 플레인들에 대해 인터 예측 복호화를 수행하였지만, 선택적으로 이전에 인터 예측 복호화된 서브 플레인들에 기초하여 인터 예측 복호화를 수행하는 것도 가능하다.

단계 1380에서는 인트라 예측 복호화된 서브 플레인 및 인터 예측 복호화된 서브 플레인으로부터 영상, 예를 들어 픽쳐를 재구성한다.

선택적으로, 단계 1320는 추출된 영상 데이터가 변환 및 양자화가 수행된 데이터인 경우, 추출된 영상 데이터에 대해 역양자화 및 역변환을 수행하는 단계를 더 포함한다.

도 14은 본 발명에 따른 영상의 인트라 예측 복호화 장치가 적용되는 영상 복호화 장치를 나타낸 블록도이다.

도 14를 참조하면 복호화 장치는 엔트로피 디코더(1410), 역양자화부(1420), 역변환부(1430), 움직임 보상부(1440), 인트라 예측부(1450), 서브 플레인 예측부(1452), 모드 결정부(1454), 및 필터링부(1470)를 구비한다.

엔트로피 디코더(1410), 서브 플레인 예측부(1452), 및 모드 결정부(1454) 이외의 나머지 기능부들은 종래의 영상 복호화 장치, 예를 들어 H.264 복호화 장치에서와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.

엔트로피 디코더(1410)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 영상 데이터 및 인트라 예측 모드 정보를 추출한다.

역양자화부(1420) 및 역변환부(1430)는 상기 추출된 영상 데이터에 대해 역양자화 및 역변환을 수행한다.

움직임 보상부(1440)는 부호화된 픽처 타입에 따라서 예측 블록을 생성하며, 상기 예측 블록은 오차값을 나타내는 D'_n에 더해져서 uF'_n이 생성된다. 상기 uF'_n는 필터(1470)를 거쳐 복원된 픽처 F'n을 생성한다.

인트라 예측부(1450)는 엔터로피 디코더에서 추출된 모드 정보가 기존의 인트라 예측 모드를 나타내는 경우, 입력된 영상 데이터에 대해 종래의 영상 복호화 장치에서 수행되는 인트라 복호화 과정을 수행한다.

한편, 서브 플레인 예측부(1452)는 인트라 예측 모드 정보가 서브-플레인 예측 모드를 나타내는 경우, 역변환된 영상 데이터에 대해, 도 11의 서브 플레인 부호화부(1140) 및 영상 재구성부(1150)에서와 같은 인트라 예측 및 영상 재구성을 수행한다.

모드 결정부(1454)는 엔트로피 디코더(1410)에서 추출된 모드 정보에 따라 입력 영상 데이터가 인트라 예측부(1452) 및 서브 플레인 예측부(1454) 중 어디에서 처리될 지를 결정한다.

도 15는 도 14에 도시된 본 발명에 따른 서브 플레인 복호화 장치에서 수행되는 서브 플레인 예측 복호화 방법을 설명하기 위한 흐름도이다.

도 15를 참조하면, 단계 1510에서는, 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 영상 데이터 및 인트라 예측 모드 정보를 추출한다. 선택적 으로, 추출된 영상 데이터에 대해 역양자화 및 역변환을 수행하는 과정을 더 포함한다.

단계 1520에서는 추출된 모드 정보에 기초하여, 복수개의 서브 플레인을 구성한다.

단계 1530에서는 구성된 복수개의 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행한다.

단계 1540에서는 인트라 복호화된 서브 플레인을 참조하여, 나머지 서브 플레인들중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행한다. 선택적으로, 인트라 복호화된 서브 플레인 또는 이전에 복호화된 서브 플레인을 참조하여 인터 복호화를 수행하는 것도 가능하다.

단계 1550에서는 인트라 복호화된 서브 플레인 및 인터 복호화된 서브 플레인들을 재구성하여 소정 크기의 영상, 예를 들어 픽쳐를 재구성한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 바와 같은 본 발명에 의하면, 입력 영상의 공간적 특성을 고려하여, 복수개의 서브 플레인 타입 중 하나를 적응적으로 선택하고, 선택된 서브 플레인 타입에 따라 입력 영상을 하나 이상의 플레인으로 분할하고, 분할된 플레인들에 대해 인트라 또는 인터 부호화를 수행하도록 함으로써, 영상의 압축율을 증가시키는 효과가 있다.

또한, 입력 영상의 공간적 특성을 고려하여, 복수개의 스캔 방식 중 하나를 적응적으로 선택하여 부호화 및 복호화를 위한 스캔을 수행하도록 함으로써 영상의 압축율을 증가시키는 효과가 있다.

Claims

영상 부호화 방법에 있어서,

입력 영상의 공간적 특성을 고려하여, 상기 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 단계와;

상기 분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행하는 단계와;

상기 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 입력 영상의 공간적 특성을 결정하는 단계와;

상기 결정된 공간적 특성에 기초하여 서브 플레인 타입을 선택하는 단계와;

상기 선택된 서브 플레인 타입을 나타내는 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제2항에 있어서,

상기 서브 플레인 타입을 선택하는 단계는, 복수개의 서브 플레인 타입 중 하나의 서브 플레인 타입을 선택하는 단계를 더 포함하며,

상기 복수개의 서브 플레인 타입에 따라 분할되는 서브 플레인 각각은 상이한 방향성을 갖는 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/IS, M = H/I이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 영상 부호화 방법.
제1항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/IS이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향 및 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/I이며, 여기에서 I ≥ 2인 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,

상기 인트라 예측 및 인터 예측이 수행된 서브 플레인에 대해 엔트로피부호화를 수행하는 단계를 더 포함하며,

상기 엔트로피 부호화를 수행하는 단계는 복수개의 스캔 방식 중, 상기 입력 블록의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 입력 영상을 서브 플레인으로 분할하는 단계는 상기 입력 영상을 서브 샘플링하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 분할된 서브 플레인들 중 하나에 대해 인트라 예측 부호화를 수행하는 단계는

상기 분할된 서브 플레인들 모두에 대해 인트라 예측 부호화를 수행하는 단계와;

상기 인트라 예측이 수행된 서브 플레인들의 코스트를 비교하는 단계와;

상기 코스트 비교 결과에 기초하여, 인트라 예측을 위한 하나의 서브 플레인을 선택하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제 1항에 있어서,

상기 입력 영상은 픽쳐인 것을 특징으로 하는 영상 부호화 방법.
제1항에 있어서,

상기 인트라 예측 또는 인터 예측이 수행된 서브 플레인의 엔트로피 부호화를 위해 상기 입력 블록의 공간적 특성을 고려하여 복수개의 스캔 방식 중 하나의 스캔 방식을 선택하는 단계와;

상기 선택된 스캔 방식을 사용하며 엔트로피 부호화를 수행하는 단계와,

상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화 방식에 관한 정보, 상기 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하는 모드 정보를 생성하는 단계; 및

상기 생성된 모드 정보를 비트스트림의 픽쳐 헤더에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
제11항에 있어서,

상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관 련된 정보를 포함하는 것을 특징으로 하는 영상 부호화 방법.
영상 부호화 장치에 있어서,

입력 영상의 공간적 특성을 고려하여, 상기 입력 영상을 적어도 하나 이상의 서브 플레인으로 분할하는 영상 분할부와;

상기 분할된 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인트라 예측 부호화를 수행하는 인트라 예측 부호화부와;

상기 인트라 예측 부호화가 수행된 서브 플레인을 참조 블록으로 하여, 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화를 수행하는 인터 예측 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제13항에 있어서,

상기 입력 영상의 공간적 특성을 결정하고, 상기 결정된 공간적 특성에 기초하여 서브 플레인 타입을 선택하는 공간적 특성 결정부를 더 포함하며,

상기 공간적 특성 결정부는 복수개의 서브 플레인 타입 중 하나의 서브 플레인 타입을 선택하고, 상기 복수개의 서브 플레인 타입에 따라 분할되는 서브 플레인 각각은 상이한 방향성을 갖는 것을 특징으로 하는 영상 부호화 장치.
제13항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/IS, M = H/I이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 영상 부호화 장치.
제13항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/IS이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 하는 영상 부호화 장치.
제13항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향 및 수평 방향으로 연속성을 갖는 경우, 상기 선택되는 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/I이며, 여기에서 I ≥ 2인 것을 특징으로 하는 영상 부호화 장치.
제13항에 있어서,

상기 인트라 예측 및 인터 예측이 수행된 서브 플레인에 대해 엔트로피 부호화를 수행하는 엔트로피 부호화부를 더 포함하며,

상기 엔트로피 부호화부는 복수개의 스캔 방식 중, 상기 입력 블록의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하는 것을 특징으로 하는 영상 부호화 장치.
제18항에 있어서,

상기 엔트로피 부호화부는 상기 선택된 스캔 방식을 사용하며 엔트로피 부호화를 수행하고, 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화 방식에 관한 정보, 상기 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하는 모드 정보를 비트스트림의 픽쳐 헤더에 삽입하는 것을 특징으로 하는 영상 부호화 장치.
제19항에 있어서,

상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관련된 정보를 포함하는 것을 특징으로 하는 영상 부호화 장치.
영상 복호화 방법에 있어서,

입력 영상의 공간적 특성에 기초하여 상기 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들 중 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부 호화를 수행하고, 상기 인트라 예측 부호화가 수행된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화하여 얻어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하는 단계와;

상기 수신된 비트스트림으로부터 영상 데이터를 추출하는 단계와;

상기 추출된 영상 데이터에 포함된 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행하는 단계와;

상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 인트라 복호화된 서브 플레인 및 상기 인터 복호화된 서브 플레인을 재구성하여 상기 입력 영상을 재구성하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 수신된 비트스트림은 복수개의 스캔 방식 중 상기 입력 영상의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하여 엔트로피 부호화가 수행된 것을 특징으로 하며,

상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 스캔 방식를 나타내는 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 복호화 방법.
제23항에 있어서,

상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관련된 정보를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 추출된 영상 데이터로부터 상기 적어도 하나 이상의 서브 플레인을 구성하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 적어도 하나 이상의 서브 플레인들은 상기 소정 크기의 입력 영상을 서브 샘플링하여 얻어진 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수평 방향으로 연속성을 갖는 경우, 선택되는 서브 프레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/IS, M = H/I이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 영상 복호화 방법.
제21항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향으로 연속성을 갖는 경우, 선택되는 서브 프레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/IS이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향 및 수평 방향으로 연속성을 갖는 경우, 선택된 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/I이며, 여기에서 I ≥ 2인 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 소정 크기의 입력 영상은 픽쳐인 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 수신된 비트스트림은 모드 정보를 더 포함하며,

상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계를 더 포함하며, 상기 엔트로피 복호화는 상기 복수개의 스캔 방식 중, 상기 모드 정보에 의해 특정되는 스캔 방식에 의해 수행되는 것을 특징으로 하는 영상 복호화 방법.
제21항에 있어서,

상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하며,

상기 모드 정보는 상기 수신된 비트스트림의 픽쳐 헤더로부터 추출되는 것을 특징으로 하는 영상 복호화 방법.
영상 복호화 장치에 있어서,

입력 영상의 공간적 특성에 기초하여 상기 입력 영상을 분할하여 얻어진 복수개의 서브 플레인들 중 적어도 하나 이상의 서브 플레인에 대해 인트라 예측 부호화를 수행하고, 상기 인트라 예측 부호화가 수행된 서브 플레인에 기초하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 예측 부호화하여 얻 어진 영상 데이터를 포함하는 부호화된 비트 스트림을 수신하고, 상기 수신된 비트스트림으로부터 영상 데이터를 추출하는 엔트로피 복호화부와;

상기 추출된 영상 데이터에 포함된 서브 플레인들 중 적어도 하나에 대해 인트라 복호화를 수행하는 인트라 복호화부와;

상기 인트라 복호화된 서브 플레인을 참조하여 나머지 서브 플레인들 중 적어도 하나의 서브 플레인에 대해 인터 복호화를 수행하는 인터 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제 33항에 있어서,

상기 인트라 복호화된 서브 플레인 및 상기 인터 복호화된 서브 플레인을 재구성하여 상기 입력 영상을 재구성하는 영상 재구성부를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
제33항에 있어서,

상기 수신된 비트스트림은 복수개의 스캔 방식 중 상기 입력 영상의 공간적 특성을 고려하여 선택된 스캔 방식을 사용하여 엔트로피 부호화가 수행된 것을 특징으로 하며,

상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 스캔 방식를 나타내는 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 복호화 장치.
제35항에 있어서,

상기 서브 플레인 타입 정보는 서브 플레인의 방향성, 크기, 또는 개수에 관련된 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
제33항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수평 방향으로 연속성을 갖는 경우, 선택된 서브 프레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/IS, M = H/I이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 영상 복호화 장치.
제33항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향으로 연속성을 갖는 경우, 선택되는 서브 프레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/IS이며, 여기에서 I ≥ 1이고, S ≥ 2 인 것을 특징으로 하는 영상 복호화 장치.
제33항에 있어서,

상기 입력 영상의 공간적 특성은 영상의 방향성이며, 상기 입력 영상이 수직 방향 및 수평 방향으로 연속성을 갖는 경우, 선택된 서브 플레인 타입은 NXM 크기의 서브 플레인이며, 상기 입력 영상의 크기가 WXH 이고, N 및 W는 수평 방향 화소의 수이고, M 및 H는 수직 방향 화소의 수인 경우, N = W/I, M = H/I이며, 여기에서 I ≥ 2인 것을 특징으로 하는 영상 복호화 장치.
제33항에 있어서,

상기 수신된 비트스트림은 모드 정보를 더 포함하며,

상기 수신된 비트스트림에 대해 엔트로피 복호화를 수행하는 단계를 더 포함하며, 상기 엔트로피 복호화는 상기 복수개의 스캔 방식 중, 상기 모드 정보에 의해 특정되는 스캔 방식에 의해 수행되는 것을 특징으로 하는 영상 복호화 장치.
제33항에 있어서,

상기 부호화된 비트 스트림은 모드 정보를 더 포함하며, 상기 모드 정보는 상기 분할된 서브 플레인의 타입 정보, 상기 인트라 예측된 서브 플레인을 나타내는 정보, 상기 인터 예측 부호화에 대한 정보, 및 선택된 스캔 방식을 나타내는 정보 중 적어도 하나 이상을 포함하며,

상기 모드 정보는 상기 수신된 비트스트림의 픽쳐 헤더로부터 추출되는 것을 특징으로 하는 영상 복호화 장치.
제1항 내지 제12항 중 어느 한 항의 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
제21항 내지 제32항 중 어느 한 항의 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.