KR101382101B1

KR101382101B1 - 감소된 해상도의 파티셔닝을 위한 방법 및 장치

Info

Publication number: KR101382101B1
Application number: KR1020097003826A
Authority: KR
Inventors: 오스카 디보라 에스코다; 펭 인
Original assignee: 톰슨 라이센싱
Priority date: 2006-08-25
Filing date: 2007-08-16
Publication date: 2014-04-07
Also published as: BRPI0715770A2; US8363936B2; JP2010502102A; EP2055108B1; BRPI0715770B1; CN101507280B; CN101507280A; US20090196517A1; WO2008027192A2; EP2055108A2; KR20090057225A; JP5474546B2; DE602007014060D1; WO2008027192A3

Abstract

감소된 해상도의 파티셔닝을 위한 방법 및 장치가 제공된다. 장치는 적응적 트리 기반의 프레임 파티셔닝을 이용하여 비디오 데이터를 인코딩하는 인코더(300)를 포함하며, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션들이 얻어진다.

적응적 트리, 파티셔닝, 해상도, 인코딩, 디코딩

Description

감소된 해상도의 파티셔닝을 위한 방법 및 장치{METHODS AND APPARATUS FOR REDUCED RESOLUTION PARTITIONING}

관련 출원의 상호 참조

본 출원은 2006년 8월 25일 출원된 미국 가출원 제60/823,567호의 우선권을 주장하며, 그 전체가 참조로 본 명세서에 포함되어 있다.

본 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로서, 특히, 감소된 해상도의 파티셔닝(reduced resolution partitioning)에 관한 것이다.

현행 비디오 코더(Video Coder)는 효율적 코딩을 위해 비주얼 데이터를 최선으로 분류하기 위하여 적응적 블록 분할을 사용한다. 이를 위하여, 대부분의 코딩 알고리즘들은 주어진 크기의 블록들(매크로블록)의 일정한 그리드 상에서 각각의 프레임을 분할한 후, 비디오 데이터에 따라서, 비디오 데이터를 최선으로 적응화하기 위하여 각각의 블록을 더 작은 파티션들로 분할한다. 이러한 접근법의 내재적인 제한은 현행의 표준안에 있어서(ISO/IEC, MPEG-4 Part10 AVC 표준안/ITU-T H.264 권고안(이하, "MPEG-4 AVC 표준안"이라 함) 등), 초기 그리드의 블록 사이즈는 고정되며, 인코딩 중인 콘텐츠의 종류에 무관하다는 것이다. 콘텐츠, 비디오 해상도 및/또는 소망하는 압축률에 따라서, 초기 그리드 프리픽스 블록 사이즈는 적절할 수 있다. 그러나, 대부분의 경우에 있어서, 초기 그리드 프리픽스 블록 사이즈가 최대로 성취가능한 효율성을 제한할 수 있는 다양한 상황이 존재한다. 실제로, 초기 그리드 블록 사이즈보다 큰 신호 구조(예컨대, 동일 유사한 모션을 갖는 영역들)는 식별되어 병합적으로 인코딩될 수 없다. 통상적으로, 이러한 코딩을 위한 더 큰 영역의 사용은, 낮거나 중간의 속도로 고해상도 콘텐츠를 코딩하는 경우 중요할 수 있다. 실제로, 가능한 한 신호 중복도를 감소시키기 위하여, 가능한 한 큰 영역들에 대하여 최선의 디스토션 코딩 비용이 최적화된 압축 방법을 찾고자 할 수 있다. 가능한 해결책으로서, 필요시 트리 프레임 분할을 초기화하기 위하여 사용되는 초기 블록에 대하여 단순히 더 큰 사이즈를 설정할 것을 결정할 수도 있다. 그러므로, 앞서 MPEG-4 AVC 표준안의 경우에 제안된 바와 같이, 이것은 종국적으로 블록 모드의 치수들을 2배화하는 것과 같은 것이다. 그러나, 이는 가장 작은 블록 사이즈가 소실되어, 매우 작은 디테일(detail)에 대한 적응 용량이 감소된 것을 의미한다. 또 다른 가능성으로서, 블록 모드의 치수들을 2배화하는 것에 더하여(이하, 제1 경우), 코딩 트리의 깊이를 증가시키는 것이 있을 수 있다(이하, 제2 경우). 2가지 경우 어디에 있어서도, 새로운 초기 블록 사이즈에 이들을 적응화하기 위하여 코딩 및 디코딩 아키텍쳐는 주요 변환(transformation)을 따를 필요가 있다는 점에서 주요 문제점이 발생한다. 2번째 경우에 있어서, 또한, 더 작은 사이즈의 블록 코딩 모드는 가장 큰 도입된 파티션으로부터 이익을 취할 수 없는 저해상도의 시퀀스들에서 부정적인 충격을 갖는, 정보 비용의 측면에서 불리하게 될 가능성이 있게 된다. 실제로, 큰 범위의 해상도에서 사용되는 "범용" 인코더에 있어서, 비트를 할애하기 위하여 필요시 추가의 프레임 파티션 종류들을 사용할 수 있으며, 필요하지 않을 시 이들을 고려치 않을 수 있다는 점에 관심을 받는다. 이는 특정 프레임 파티션 크기를 인에이블 또는 디스에이블시키는 유동적인 방법을 필요로 한다.

효율적인 압축을 성취하기 위하여 비디오 코딩 접근법들에 상이한 블록 파티션 사이즈를 사용하는 것이 점진적으로 도입되었다. 먼저, 예를 들어, ITU-T H.263 권고안(이하, "H.263 권고안"이라 함) 이전에 비디오 표준안 및/또는 권고안들에서 대부분 단일 사이즈 기반의 프레임 파티셔닝(즉, 가장 일반적으로 16X16 블록 사이즈로)을 사용하였다. 압축 효율을 증가시키기 위하여 H.263 권고안 패밀리에 적응적 프레임 파티셔닝이 도입되었다(16X16 블록과는 따로 8X8 블록이 고려될 수도 있다). 트리 구조의 파티션 셋트에 기초하여 파티셔닝이 도입되었다. 트기 기반의 적응적 프레임 파티셔닝을 사용하는 것이 가능한 파티션의 큰 세트(16X16; 16X8; 8X16; 8x8; 4X8; 및 4X4)를 수단으로 MPEG-4 AVC 표준안에서는 통합되었다. 몇몇의 경우, 더 효율적인 방법으로 정보를 "패킹"하고 코딩하기 위하여, 16X16 보다 더 큰 파티션을 사용할 필요가 있다. 이를 행하는 한가지 방법이, 제1 종래 기술의 접근법에 의해 해결되며, 여기서, 필요에 따라서 가능한 모든 파티션들의 크기를 2배화함으로써 프레임의 감소된 해상도 파티셔닝이 종국적으로 사용된다. 예를 들어, 제1 종래 기술의 접근법에 따르면, MPEG-4 AVC 표준안에 있어서의 모든 16X16 및 8X8 모드는 각각 32X32 및 16X16 모드로서 작용하도록 변경되게 된다. 이러한 접근법은 2개의 주요한 문제점을 갖는다. 첫번째 문제점은 인코더 및 디코 더 구현이 통상적으로 이러한 구조적 변화를 수용하도록 재설계될 필요가 있다는 점이다. 두번째 문제점은 파티션 해상도의 손실이 발생된다는 점이다.

MPEG-4 AVC 표준안에 의해 발생되는 바와 같은, 초기의 트기 기반의 파티셔닝 중에서 임의의 형태의 파티션을 생성하는 더 일반적인 방법이 제2 종래 기술의 접근법에 의해 해결된다. 제2 종래 기술의 접근법에 따르면, 그 블록이 이웃과 통합적으로 코딩되는지 개별적으로 코딩되는지를 나타내기 위하여 블록 및 서브 블록 각각에 대하여 추가의 신택스 데이터(syntax data)가 보내진다(결국, 통합 코딩을 위해 선택되는 이웃 또한 표시된다). 이러한 접근법은, 매우 융통성이 있어도, 이하의 주요한 단점을 갖는다. 이러한 단점에 대하여, 제2 종래 기술의 접근법에서는 블록 병합(block merging)을 통해서 임의의 형태의 구역을 생성하려고 한다. 그러므로, 병합할 적어도 하나의 이웃을 갖는 프레임 내에 블록 또는 서브블록 각각에 대하여 추가의 데이터가 송신되어야할 필요가 있다. 이는 시그널링을 복잡하게 하며, 어떠한 경우에는, 이러한 다량의 파티션 가능성은 다만 불가항력일 수 있다. 이는 또한 불필요한 오버헤드를 가져온다. 또 다른 이러한 단점으로서, 제2 종래 기술의 접근법에서는 병합 후에 계층적 구조의 파티션을 잃게 되며, "수퍼 매크로블록과 같은(super-macroblock-like)" 파티션들을 취급하지 않는 다는 점이다. 또 다른 단점으로서는, 제2 종래 기술의 접근법에서는 각각의 매크로블록 종류(Type) 모드를 마치 계층적 구조의 파티션들을 부여하지 않는 것처럼 코딩할 필요가 있다는 점이다.

직접 예측 모드는, 함께 코딩되는 더 큰 구역을 포함하는 블록들인 것처럼 단일 블록으로부터 더 큰 구역으로 모션 정보의 사용을 연장하는 방법으로 보여질 수 있다. 그러나, 모션 정보는 인코더 측에서 전체 구역을 고려하여 최적화되지 않는다. 또한, 직접 예측 모드에 기초하여 직접 예측된 구역들의 형태와 구조는 제어되지 않는다. 실제로, 상이한 블록들 또는 매크로블록들 사이의 관계는 통상적으로 사용되는 모션 중간치 예측자(motion median predictor)에 의존하며, 반드시 계층적 구조를 유지할 필요는 없다.

도 1을 참조하면, MPEG-4 AVC 표준안에 따라서 비디오 인코딩을 수행할 수 있는 비디오 인코더가 참조 번호 100으로 표시되어 있다.

비디오 인코더(100)는 결합기(185)의 비반전 입력과 신호 통신하는 출력을 갖는 프레임 오더링 버퍼(110)를 포함한다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력과 신호 통신하여 접속된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제1 입력 및 역변환기 및 역양자화기(150)이 제1 입력과 신호 통신하여 접속된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력과 신호 통신하여 접속된다.

인코더 컨트롤러(105)의 제1 출력은 프레임 오더링 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 픽쳐 종류 결정 모듈(115)의 입력, 매크로블록 종류(MB-type) 결정 모듈(120)의 입력, 인트라 예측 모듈(160)의 제2 입력, 디블록킹 필터(165)의 제2 입력, 모션 보상기(170)의 제1 입력, 모션 추정기(175)의 제1 입력, 및 기준 픽쳐 버퍼(180)의 제2 입력과 신호 통신하여 접속된다.

인코더 컨트롤러(105)의 제2 출력은 SEI(Supplemental Enhancement Information) 인서터(130)의 제1 입력, 변환기 및 양자화기(125)의 제1 입력, 엔트로비 코더(145)의 제1 입력, 출력 버퍼(135)의 제2 입력, 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 인서터(140)의 입력과 신호 통신하여 접속된다.

픽쳐 종류 결정 모듈(115)의 제1 출력은 프레임 오더링 버퍼(110)의 제3 입력과 신호 통신하여 접속된다. 픽쳐 종류 결정 모듈(115)의 제2 출력은 매크로블록 종류 결정 모듈(120)의 제2 입력과 신호 통신하여 접속된다.

SPS 및 PPS 인서터(140)의 출력은 결합기(190)의 제3 비반전 입력과 신호 통신하여 접속된다.

역양자화기 및 역변환기(150)의 출력은 결합기(119)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블록킹 필터(165)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(165)의 출력은 기준 픽쳐 버퍼(180)의 제1 입력과 신호 통신하여 접속된다. 기준 픽쳐 버퍼(180)의 출력은 모션 추정기(175)의 제2 입력과 신호 통신하여 접속된다. 모션 추정기(175)의 제1 출력은 모션 보상기(170)의 제2 입력과 신호 통신하여 접속된다. 모션 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력과 신호 통신하여 접속된다.

모션 보상기(170)의 출력은 스위치(197)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력과 신호 통신하여 접 속된다. 매크로블록 종류 결정 모듈(120)의 출력은 스위치(197)의 제3 입력과 신호 통신하여 접속된다. 스위치(197)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉, 제3 입력과 비교하여)이 모션 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공되어야할지 여부를 판정한다. 스위치(197)의 출력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력과 신호 통신하여 접속된다.

프레임 오더링 버퍼(110) 및 인코더 컨트롤러(105)의 입력은 입력 픽쳐(101)를 수신하기 위한 인코더(100)의 입력으로서 활용가능하다. 또한, SEI 인서터(130)의 입력은 메타데이터를 수신하기 위한 인코더(100)의 입력으로서 활용가능하다. 출력 버퍼(135)의 출력은 비트스트림을 출력하기 위한 인코더(100)의 출력으로서 활용가능하다.

도 2를 참조하면, MPEG-4 AVC 표준안에 따라서 비디오 코딩을 수행할 수 있는 비디오 코더가 참조 번호 200으로 표시되어 있다.

비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력과 신호 통신하여 접속된 출력을 갖는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제1 출력은 역반환기 및 역양자화기(250)의 제1 입력과 신호 통신하여 접속된다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력과 신호 통신하여 접속된다. 결합기(225)의 출력은 디블록킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(265)의 제2 출력은 기준 픽쳐 버퍼(280)의 제1 입력과 신호 통신하여 접속된다. 기준 픽쳐 버퍼(280)의 출력은 모션 보상기(270)의 제2 입력과 신호 통신하여 접속된다.

엔트로피 디코더(245)의 제2 출력은 모션 보상기(270)의 제3 입력 및 디블록킹 필터(265)의 제1 입력과 신호 통신하여 접속된다. 엔트로피 디코더(245)의 제3 출력은 디코더 컨트롤러(205)의 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제3 출력은 디블록킹 필터(265)의 제3 입력과 신호 통신하여 접속된다. 디코더 컨트롤러(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력과, 모션 보상기(270)의 제1 입력과, 기준 픽쳐 버퍼(280)의 제2 입력과 신호 통신하여 접속된다.

모션 보상기(270)의 출력은 스위치(297)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력과 신호 통신하여 접속된다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력과 신호 통신하여 접속된다.

입력 버퍼(210)의 입력은 입력 비트스트림을 수신하기 위한 디코더(200)의 입력으로서 활용가능하다. 디블록킹 필터(265)의 제1 출력은 출력 픽쳐를 출력하기 위한 디코더(200)의 출력으로서 활용가능하다.

종래 기술의 상기 및 기타의 단점들은, 감소된 해상도의 파티셔닝(reduced resolution partitioning)을 위한 방법 및 장치에 관한 본 원리에 의해 해소된다.

본 원리의 일 양태에 따르면, 장치가 제공된다. 본 장치는 적응적 트리 기반의 프레임 파티셔닝을 이용하여 비디오 데이터를 인코딩하는 인코더를 포함하며, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 얻어진다.

본 원리의 또 다른 양태에 따르면, 방법이 제공된다. 본 방법은 적응적 트리 기반의 프레임 파티셔닝을 이용하여 비디오 데이터를 인코딩하는 단계를 포함하며, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 얻어진다.

본 원리의 또 다른 양태에 따르면, 장치가 제공된다. 본 장치는 적응적 트리 기반의 프레임 파티셔닝을 이용하여 비디오 데이터를 디코딩하는 디코더를 포함하며, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 얻어진다.

본 원리의 또 다른 양태에 따르면, 방법이 제공된다. 본 방법은 적응적 트리 기반의 프레임 파티셔닝을 이용하여 비디오 데이터를 디코딩하는 단계를 포함하며, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 얻어진다.

본 원리의 상기 및 기타의 양태, 특징, 및 장점들은 첨부 되면과 연계하여 기재되어 있는 이하의 일 실시예의 상세한 설명으로부터 더 명확하게 될 것이다.

이하의 도면들의 예를 참조하여 본 원리가 더 잘 이해될 수 있다.

도 1은 MPEG-4 AVC 표준안에 따른 비디오 인코딩을 수행할 수 있는 비디오 인코더를 나타낸 블록도이다.

도 2는 MPEG-4 AVC 표준안에 따른 비디오 디코딩을 수행할 수 있는 비디오 디코더를 나타낸 블록도이다.

도 3은 본 원리의 일 실시예에 따라서 본 원리과 사용하기 위하여 변형 및/또는 확장된, MPEG-4 AVC 표준안에 따른 비디오 인코딩을 수행할 수 있는 비디오 인코더를 나타낸 블록도이다.

도 4는 본 원리의 일 실시예에 따라서 본 원리과 사용하기 위하여 변형 및/또는 확장된, MPEG-4 AVC 표준안에 따른 비디오 디코딩을 수행할 수 있는 비디오 디코더를 나타낸 블록도이다.

도 5a는 본 원리의 일 실시예에 따른 일례의 초기 매크로블록 파티션 및 이에 해당하는 바틈-업 및 탑-다운 구현예를 나타낸 도면이다.

도 5b는 본 원리의 일 실시예에 따른 도 5a의 매크로블록 파티션을 위한 조합된 수퍼블록 및 서브블록 트리 기반의 파티셔닝을 나타낸 도면이다.

도 6은 본 원리의 일 실시예에 따른 매크로블록의 집합으로 형성된 수퍼 매크로블록의 일례를 나타낸 도면이다.

도 7은 본 원리의 일 실시예에 따른 방법 A를 따라서 매크로블록을 인코딩하는 일례의 방법을 나타낸 흐름도이다.

도 8은 본 원리의 일 실시예에 따른 방법 A를 따라서 매크로블록을 디코딩하는 방법을 나타낸 흐름도이다.

도 9는 본 원리의 일 실시예에 따른 방법 B를 따라서 매크로블록을 인코딩하는 일례의 방법을 나타낸 흐름도이다.

도 10은 본 원리의 일 실시예에 따른 방법 B를 따라서 매크로블록을 디코딩하는 일례의 방법을 나타낸 흐름도이다.

도 11은 본 원리의 일 실시예에 따른 2-패스 인코더를 이용하여 비디오 데이터를 인코딩하는 일례의 방법을 나타낸 흐름도이다.

도 12는 본 원리의 일 실시예에 따른 비디오 데이터를 디코딩하는 일례의 방법을 나타낸 흐름도이다.

본 원리는 감소된 해상도의 파티셔닝을 위한 방법 및 장치에 관한 것이다.

본 설명은 그 원리를 나타낸다. 따라서, 당업자라면, 본 명세서에 명시적으로 기재 또는 나타내어져 있지는 않지만, 본 원리를 실시하며 그 개념과 범주에 포함되는 다양한 구성예를 창안할 수 있다는 것을 이해할 수 있을 것이다.

본 명세서에서 인용되는 모든 예시와 조건 어구는, 기술을 더 심화하여 발명자(들)에 의해 기여된 본 원리과 원리를 이해하는데 도움이 되도록 교시하기 위한 것으로서, 이러한 특별히 인용된 예들과 조건들에 대하여 제한하지 않는 것으로 상정되어야 한다.

또한, 그 특정예 뿐만 아니라, 본 명세서에서 원리, 양태, 및 본 원리의 실시예들을 인용하는 모든 설명들은, 그 구조적 기능적 균등물을 포괄하고자 한 것이다. 또한, 이러한 균등물은 현재 공지된 균등물 뿐만 아니라 향후 개발되는 균등물, 즉, 구조에 관계없이 동일한 기능을 수행하도록 개발도는 임의의 구성요소들을 포함하고자 한 것이다.

따라서, 예를 들어, 본 명세서에 주어지는 블록도들은 본 원리을 구체화하는 예시적인 회로의 개념도를 나타낸다는 것을 당업자라면 이해할 수 있을 것이다. 마찬가지로, 임의의 흐름도, 상태 천이도, 의사코드, 등은 컴퓨터 판독가능 매체에 실질적으로 나타내어져, 컴퓨터 또는 프로세서에 의해 이러한 컴퓨터 또는 프로세서가 명시적으로 나타내어져 있는지 여부에 관계없이, 실행될 수 있는 다양한 프로세스들을 나타내는 것을 이해할 수 있을 것이다.

도면에 도시된 각종 구성요소들의 기능은 전용의 하드웨어 및 적절한 소프트웨어와 연계하여 소프트웨어를 실행가능한 하드웨어를 이용하여 제공될 수 있다. 프로세서에 의해 제공되는 경우, 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 그 중 몇몇가 공유될 수 있는 복수의 개별 프로세서들에 의해 기능이 제공될 수 있다. 또한, "프로세서" 또는 "컨트롤러"라는 용어를 명시적으로 사용하는 것은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 이해되어서는 않되며, 이에 한하지는 않지만, DSP(Digital Signal Process) 하드웨어, 소프트웨어를 저장하기 위한 ROM(Read Only Memeory), RAM(Random Access Memory), 및 비휘발성 저장장치를 내재적으로 포함할 수 있다.

기타의 하드웨어, 종래 및/또는 관습상의 하드웨어가 포함될 수도 있다. 마찬가지로, 도면에 도시된 임의의 스위치는 개념적일 뿐이다. 그 기능은 프로그램 논리의 동작을 통해, 전용 논리를 통하여, 프로그램 제어 및 전용 논리의 상호작용을 통하여, 또는 수동으로 실행될 수 있으며, 특정 기법은 문맥으로부터 더 구체적으로 이해되는 바와 같이 실시자에 의해 선택가능하다.

그 청구항에 있어서, 특정 기능을 수행하기 위한 수단으로 표현된 임의의 구성요소는, 그 기능을 수행하는 임의의 방법을 포괄하고자 하는 것으로서, 예를 들어, a) 그 기능을 구행하는 회로 구성요소의 조합, 또는 b) 기능을 수행하기 위하여 소프트웨어를 실행하기 위한 적합한 회로와 조합되는 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함한다. 이러한 청구항들에 정의된 바와 같은 본 원리은, 다양한 인용된 수단에 의해 제공되는 기능성들은 청구항에서 청구하는 방식으로 조합 및 결합된다는 사실에 있다. 따라서, 그러한 기능성들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 바와 균등한 것으로 간주된다.

명세서 상의 "일 실시예" 또는 본 원리의 "실시예"라고 하는 것은, 실시예와 연계하여 설명되는 특정의 특징, 구조, 특성, 등은 본 원리의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 명세서를 통해 다양한 곳에서 나타나는 "일 실시예에 있어서" 또는 "실시예에 있어서"라고 하는 어구의 등장은, 모두 동일한 실시예를 지칭할 필요는 없다.

예를 들어, "A 및/또는 B"의 경우에서와 같은 "및/또는"이라는 용어의 사용은, 첫번째 열거된 옵션(A)의 선택, 두번째 열거된 옵션(B)의 선택, 또는 양측 옵션 모두의 선택(A 및 B)을 포괄하고자 하는 것이다. 또 다른 예로서, "A, B, 및/또는 C"의 경우, 이러한 어구의 사용은 첫번째 열거된 옵션(A)의 선택, 두번째 열거된 옵션(B)의 선택, 세번째 열거된 옵션(C)의 선택, 첫번째 및 두번째 열거된 옵션(A 및 B)의 선택, 첫번째 및 세번째 열거된 옵션(A 및 C)의 선택, 두번째 및 세번째 열거된 옵션(B 및 C)의 선택, 또는 세개 옵션 모두(A, B, 및 C)의 선택을 포 괄하고자 하는 것이다. 종래 기술 및 본 기술의 당업자라면 이해할 수 있듯이, 이는 열거된 많은 항목들에 대하여 확장될 수 있다.

본 명세서에 사용되는 바와 같이, "하이 레벨 신택스(high level syntax)"라는 것은, 매크로블록 층 위에 계층적으로 상주하는 비트스트림 내에 존재하는 신택스를 지칭한다. 예를 들어, 하이 레벨 신택스는, 본 명세서에서 사용되는 바와 같이, 이에 한하지 않지만, 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 셋트(PPS) 레벨, 시퀀스 파라미터 셋트 레벨, 및 NAL 유닛 헤더 레벨의 신택스를 지칭할 수 있다.

또한, 본 명세서에서는 하나 이상의 본 원리의 실시예들이 MPEG-4 AVC 표준안을 기준으로 설명되어 있지만, 본 원리은 이 표준안에만 한하지 않으므로, 본 원리의 개념을 유지하면서, 다른 비디오 코딩 기준, 권고안, 및 MPEG-4 AVC 표준안의 확장형을 포함하는, 그 확장형을 기준으로 활용될 수 있다는 것을 이해할 수 있을 것이다.

또한, 본 명세서에서 사용되는 바와 같이, "직접 모드(direct mode)"라는 것은, 적어도 하나의 미리 정의된 유도 또는 모션 예측 법칙을 이용하여 공간 및/또는 시간적으로 이웃 블록들로부터 직접 모션 정보가 추론되는 블록 모드(block mode)를 말한다. 수개의 법칙이 존재하거나 활용가능한 경우, 특정 유도/예측 모션 법칙을 선택하기 위하여 임의의 레벨의 몇몇 신택스가 사용될 수 있다. 직접 모드에 대한 모션 예측 법칙들의 블록 및/또는 매크로블록의 적응적 선택을 또한 "예측 적응적 직접 모드(prediction adaptive direct mode)"라고 한다. SKIP 모드 는 아무런 나머지가 코드화되지 않는 직접 모드의 특정 종류이다.

또한, "이웃(neighbor)"라고 하는 용어는, 수퍼 블록의 내부 또는 외부의 블록을 일컫는다. 예를 들어, 이웃하는 블록은 4개 블록의 수퍼 블록 내에 수퍼블록 정보가 분산되어 있는 경우(이하에 설명하는 수퍼블록 방법(B)의 경우와 같은 경우), 수퍼 블록 내부에 있다. 실제로, 예를 들어, 4개 블록의 수퍼블록 내의 위치 (1,1)에서 블록의 모션, 수퍼블록 상태, 등은 보통 수퍼 블록의 (0,0), (0,1), 및 (1,0) 블록 내부의 이웃하는 블록 콘텍스트로부터 유도되게 된다. 2X1 또는 1X2 사이즈의 수퍼블록들이 사용되는 경우, 또는 이하 설명하는 방법 A의 경우, 이하 설명하는 방법 B의 경우의 수퍼블록의 외부의 블록들로부터 데이터를 사용하는 것이 주어질 수 있으며, 여기서, 모든 정보가 (0,0) 블록에 위치되지만, 2X1 또는 1X2의 제2 수퍼블록은 이에 관하여 어떠한 명시적인 신택스를 가지지 않는다.

"적응적 트리 기반의 프레임 파티셔닝(adaptive tree-based frame partitioning)"이라는 어구는, 가능한 파티션들의 패밀리를 사용하는 프레임 파티셔닝을 일컬으며, 여기서, 파티션 사이즈 및 공간적 지원이 부자(parent-child) 관계를 가지며, 프레임 내의 위치에 따라서, 최선의 파티셔닝 사이즈가 선택된다. 예를 들어, 주어진 수의 가능한 사이즈 및 형태를 갖는 가능한 파티션의 셋트를 고려해본다. 가능한 파티션들 중 더 큰 것은, 그 밑의 더 작은 사이즈로 이루어진 파티션들의 세트의 집합(union)으로 나타내어질 수 있다. 동시에, 제2 사이즈로 이루어진 파티션들은, 그 밑의 더 작은 사이즈로 이루어진 파티션의 셋트의 집합으로 나타내어질 수 있다. 상이한 사이즈의 파티션들 사이의 이러한 관계는 가능한 파티션들의 셋트에서 가능한 사이즈 모두를 통해 반복될 수 있다. 따라서, 적응적 트리 기반의 프레임 파티셔닝은 주어진 구역이 하나의 "단일 파티션"(예컨대, 가능한 파티션들의 셋트 중에서 활용가능한 가장 큰 것)으로 나누도록 선택하거나, 그 집합이 "단일 파티션"과 동일한 크기 및 형태의 파티션인, 파티션들의 앙상블로 나누도록 선택하게 된다. 그 후, "적응적 트리 기반의 프레임 파티셔닝"은 더 작은 파티션들 각각이 단일 파티션으로 남는지, 또는 그 집합이 더 작은 단일 파티션과 동일한 사이즈와 형태의 파티션이 되는 파티션들의 앙상블로 더 나누어지는지 여부를 또한 결정할 수 있다. 가능한 파티션의 사이즈들 각각은 파티션들의 트리의 레벨로서 분류된다.

"탑-다운 트리 파티셔닝(top-down tree partitioning)"이라는 어구는, 파티션들의 순환적인(recursive) 트리 기반의 나누기에 의해 생성되는 트리 기반의 프레임 파티셔닝을 일컫는다.

"바틈-업 트리 결합(bottom-up tree joining)"이라는 어구는, 더 상위 트리 레벨의 파티션들을 생성하기 위하여 주어진 트리 레벨의 파티션들이 결합되는 트리 기반의 파티션 결합을 일컫는다.

"중간 사이즈의 화상 블록의 셋트(mid-sized set of image blocks)"라는 어구는, 블록의 형태의 화상의 파티션들의 셋트를 일컬으며, 여기서, 그 사이즈는 화상 사이즈 자체와 픽셀 사이즈 사이의 어딘가의 사이즈이다. 또한, "중간 사이즈의 화상 블록의 셋트"에서 블록의 사이즈는, 이러한 블록들로 화상을 규칙적으로 파티션하는 경우, 적어도 하나 이상의 전체 블록들이 이러한 파티션에 임베드될 수 있도록 이해된다.

도 3을 참조하면, 본 원리에 사용하도록 변경 및/또는 확장된 MPEG-4 AVC 표준안에 따라서 비디오 인코딩을 수행할 수 있는 비디오 인코더의 일례가 참조 번호 300으로 나타내어져 있다.

비디오 인코더(300)는 결합기(385)의 비반전 입력과 신호 통신하는 출력을 갖는 프레임 오더링 버퍼(310)를 포함한다. 결합기(385)의 출력은 수퍼 매크로블록 확장형을 활용한 변환기 및 양자화기(325)의 제1 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 변환기 및 양자화기(325)의 출력은, 수퍼 매크로블록 확장형(345)을 갖는 엔트로피 코더(345)의 제1 입력 및 수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(350)의 제1 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형(345)을 갖는 엔트로피 코더(345)의 출력은 결합기(390)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(390)의 출력은 출력 버퍼(335)의 제1 입력과 신호 통신하여 접속된다.

수퍼 매크로블록 확장형을 활용한 인코더 컨트롤러(305)의 제1 출력은 프레임 오더링 버퍼(310)의 제2 입력, 수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(350)의 제2 입력, 수퍼 매크로블록 확장형을 활용한 매크로블록 종류 결정 모듈(320)의 입력, 인트라 예측 모듈(360)의 제2 입력, 디블록킹 필터(365)의 제2 입력, 모션 보상기(370)의 제1 입력, 수퍼 매크로블록 확장형을 활용한 모션 추정기(375)의 제1 입력, 및 기준 픽쳐 버퍼(380)의 제2 입력과 신호 통신하여 접속된다.

수퍼 매크로블록 확장형을 활용한 인코더 컨트롤러(305)의 제2 출력은 SEI 인서터(330)의 제1 입력, 수퍼 매크로블록 확장형을 활용한 변환기 및 양자화기(325)의 제2 입력, 수퍼 매크로블록 확장형을 활용한 엔트로피 코더(345)의 제2 입력, 출력 버퍼(335)의 제2 입력, 및 SPS 및 PPS 인서터(340)의 입력과 신호 통신하여 접속된다.

픽쳐 종류 결정 모듈(315)의 제1 출력은 프레임 오더링 버퍼(310)의 제3 입력과 신호 통신하여 접속된다. 픽쳐 종류 결정 모듈(315)의 제2 출력은 수퍼 매크로블록 확장형을 활용한 매크로블록 종류 결정 모듈(320)의 제2 입력과 신호 통신하여 접속된다.

SPS 및 PPS 인서터(340)의 출력은 결합기의 제3 비반전 입력과 신호 통신하여 접속된다.

수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(350)의 출력은 결합기(319)의 제1 비반전 입력과 신호 통신하여 접속된다. 결합기(319)의 출력은 인트라 예측 모듈(360)의 제1 입력 및 디블록킹 필터(365)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(365)의 출력은 기준 픽쳐 버퍼(380)의 제1 입력과 신호 통신하여 접속된다. 기준 픽쳐 버퍼(380)의 출력은 수퍼 매크로블록 확장형을 활용한 모션 보상기(375)의 제2 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 모션 추정기(375)의 제1 출력은 모션 보상기(370)의 제2 입력에 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 모션 추정기(375)의 제2 출력은 수퍼 매크로블록 확장형을 활용한 엔트로피 코더(345)의 제3 입력과 신호 통신하여 접속된다.

모션 보상기(370)의 출력은 스위치(397)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(360)의 출력은 스위치(397)의 제2 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 매크로블록 종류 결정 모듈(320)의 출력은 스위치(397)의 제3 입력과 신호 통신하여 접속된다. 스위치(397)의 제3 입력은 스위치의 "데이터" 입력(제어 입력, 즉 제3 입력과 비교하여)이 모션 보상기(370) 또는 인트라 예측 모듈(360)에 의해 제공되어야 하는지 여부를 판정한다. 스위치(397)의 출력은 결합기(319)의 제2 비반전 입력 및 결합기(385)의 반전 입력과 신호 통신하여 접속된다.

수퍼 매크로블록 확장형(305)을 갖는 프레임 오더링 버퍼(310) 및 인코더 컨트롤러의 입력은 입력 픽쳐(301)를 수신하기 위한 인코더(300)의 입력으로서 활용가능하다. 또한, SEI 인서터(330)의 입력은 메타데이터를 수신하기 위한 인코더(300)의 입력으로서 활용가능하다. 출력 버퍼(335)의 출력은 비트스트림을 출력하기 위한 인코더(300)의 출력으로서 활용가능하다.

도 4를 참조하면, 본 원리에서 사용하기 위하여 변경 및/또는 확장되는, MPEG-4 AVC 표준안에 따라서 비디오 디코딩을 수행할 수 있는 비디오 디코더의 일례가 참조 번호 400으로 나타내어져 있다.

비디오 디코더(400)는 수퍼 매크로블록 확장형을 활용한 엔트로피 디코더(445)의 제1 입력 과 신호 통신하여 접속된 출력을 갖는 입력 버퍼(410)를 포함한다. 수퍼 매크로블록 확장형을 활용한 엔트로피 디코더(445)의 제1 출력은 수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(450)의 제1 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(450)의 출력은 결합기(425)의 제2 비반전 입력과 신호 통신하여 접속된다. 결합기(425)의 출력은 디블록킹 필터(465)의 제2 입력 및 인트라 예측 모듈(460)의 제1 입력과 신호 통신하여 접속된다. 디블록킹 필터(465)의 제2 출력은 기준 픽쳐 버퍼(480)의 제1 입력과 신호 통신하여 접속된다. 기준 픽쳐 버퍼(480)의 출력은 모션 보상기(470)의 제2 입력과 신호 통신하여 접속된다.

수퍼 매크로블록 확장형을 활용한 엔트로피 디코더(445)의 제2 출력은 모션 보상기(470)의 제3 입력 및 디블록킹 필터(465)의 제1 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 엔트로피 디코더(445)의 제3 출력은 수퍼 매크로블록 확장형을 활용한 디코더 컨트롤러(405)의 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 디코더 컨트롤러(405)의 제1 출력은 수퍼 매크로블록 확장형을 활용한 엔트로피 디코더(445)의 제2 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 디코더 컨트롤러(405)의 제2 출력은 수퍼 매크로블록 확장형을 활용한 역변환기 및 역양자화기(450)의 제2 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 디코더 컨트롤러(405)의 제3 출력은 디블록킹 필터(465)의 제3 입력과 신호 통신하여 접속된다. 수퍼 매크로블록 확장형을 활용한 디코더 컨트롤러(405)의 제4 출력은 인트라 예측 모듈(460)의 제2 입력, 모션 보상기(470)의 제1 입력, 및 기준 픽쳐 버퍼(480)의 제2 입력과 신호 통신하여 접속된다.

모션 보상기(470)의 출력은 스위치(497)의 제1 입력과 신호 통신하여 접속된다. 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력과 신호 통신하여 접속된다. 스위치(497)의 출력은 결합기(425)의 제1 비반전 입력과 신호 통신하여 접속된다.

입력 버퍼(410)의 입력은 입력 비트스트림을 수신하기 위한 디코더(400)의 입력으로서 활용가능하다. 디블록킹 필터(465)의 제1 출력은 출력 픽쳐를 출력하기 위한 디코더(400)의 출력으로서 활용가능하다.

전술한 바와 같이, 본 원리은 감소된 해상도의 파티셔닝을 위한 방법 및 시스템에 관한 것이다.

전술한 바와 같이, 현행의 비디오 코더는 효율적인 코딩을 위한 비쥬얼 데이터를 최선을 분류하기 위하여 비디오 프레임의 적응적 블록 파티셔닝을 사용한다. 이를 위하여, 대부분의 코딩 알고리즘들은 주어진 사이즈의 블록들의 균일한 그리드 상의 각 프레임을 초기에 분할한다. 그 후, 비디오 데이터에 따라서, 이를 최선으로 적응화하기 위하여 더 작은 파티션으로 각 블록을 더 분할한다.

본 원리의 다양한 실시예에 따르면, 종래 기술의 이러한 양태는 보존되는 한편(블록들을 점진적으로 더 작은 파티션들로 파티셔닝 및 서브파티셔닝(sub-partition)하는 능력), 종래 기술과는 다르게, 디코더의 구조, 계층구조, 및/또는 코딩 테이블에 대한 큰 변화를 필요치 않고, 블록들을 가능한 프레임 파티션들의 셋트 내의 초기의 균일한 그리드로부터 블록들을 통함함으로써 "수퍼 매크로블록들"로 블록들을 적응적으로 병합 또는 그룹화하는 능력을 가능하게 한다. 일 실시 예에 있어서, 코딩된 스트림에 몇몇 작은 엑스트라 신택스 시그널링(extra syntax signaling)을 삽입함으로써 가상적으로 더 큰 매크로블록들이 비디오 인코더/디코더로 정의된다. 일 실시예에 따른 하나의 특징으로서, 디코더 계층구조는 수퍼 매크로블록의 사용으로부터 장점을 취하는 한편, 이러한 계층구조가 비디오 프레임의 원래의 초기 블록 파티션 그리드의 사이즈에 따라서 계속 기초로 될 수 있도록 신택스를 사용한다. 이는 수퍼 매크로블록의 사용을 도입하기 위하여 MPEG-4 AVC 표준안과 같은 현재의 비디오 코딩 전략이 쉽게 확장가능하도록 한다(예컨대, 가능한 파티션으로서 32x32, 16x32, 32x16, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x5 을 갖기 위하여 MPEG-4 AVC 표준안의 32x32 블록).

"수퍼 매크로블록"이라는 용어는, 본 명세서에서, 현재 MPEG-4 AVC 표준안에서 가장 큰 블록 사이즈인 16x16 블록 사이즈(또는 매크로블록)보다 큰 블록을 일컬으며, 이러한 더 큰 블록 사이즈는, 예를 들어, 32x32, 32x16, 또는 16x32 로서, 블록들의 계층적 집합을 형성함으로써 생성된다. 실제로, 이러한 생성된 수퍼 매크로블록들은 직사각 및/또는 정사각형일 수 있다.

따라서, 일 실시예에 있어서, 비교적 코딩 신택스, 테이블, 및/또는 인코더/디코더에 큰 변화를 도입하지 않고서, 정보 및 디코더 계층구조에 큰 변화를 가져오지 않고서, 더 큰 프레임 파티션을 사용하는 것을 적응적으로 가능하게 하기 위하여 신택스 기반의 접근법이 사용된다. 본 실시예에 따르면, 인코더에서, 화상이 중간 사이즈의 화상 블록들의 셋트로 초기에 파티셔닝된다. 이러한 중간 사이즈의 화상 블록들 중 몇몇는 그 후 소망하는 바에 따라 더 파티셔닝될 수 있는 한편, 이 중간 사이즈의 화상 블록들 중 다른 것들은 더 큰 블록들로 그룹화 또는 병합될 수 있다. 이러한 적응적 접근법은 다른 종래 기술의 시스템에서 가능한 것 보다 더 큰 코딩 효율성을 가능하게 한다.

중간 사이즈의 블록들을 더 큰 블록들로 그룹화 또는 병합하는 개념은, 수퍼 매크로블록을 생성하는 것으로서 볼 수 있다. 이는 소망하는 경우 블록 측면들 중 적어도 하나의 초기 프레임 파티션 그리드에 대하여 정의되는 것 보다 더 큰 블록 사이즈를 갖는 프레임 파티션의 사용을 가능하게 한다. MPEG-4 ACV 표준안에 관한 일 실시예에 있어서, 16x16 보다 작은 사이즈를 갖는 블록 모드들은 변경되지 않는다. 또한, 기존의 파티션 모드에 대하여 엑스트라 파티션 모드들이 추가되지 않는다. 몇몇의 초기 그리드 블록들만이 몇몇 엑스트라 정보를 32x32, 16x32, 32x16, 등의 더 큰 파티션의 신호들에 전달할 수 있다. 이러한 시그널링은, 어떻게 디코더 측에서, 블록 모드 종류 및/또는 모션이 명시적으로 또는 내재적으로 예측되는지(또는 여부)를 나타내어, 디코더가 이전의 기술들에 기초하여 그 계층구조를 유지하도록 하는 한편, 그 적응적 프레임 파티셔닝 용량을 확대하기 위한 선택 데이터로써 해석된다.

따라서, 본 발명의 실시예들에서는 효율적인 비디오 코딩을 위하여 가능한 트리 기반의 프레임 파티션들의 셋트를 확장하기 위하여 수퍼 매크로블록(매크로블록의 계층적 집합)의 사용을 도입한다. 본 원리에서는 임의의 비디오 코딩 접근법이 매크로블록에 기반한 프레임 파티셔닝을 이용하여 효율적인 방법으로 원래의 매크로블록 중 더 큰 정사각형 및/또는 직사각형의 파티션들을 생성하도록 한다. 본 발명의 실시예들은 따라서 트리 기반의 프레임 파티셔닝을 관리하기 위한 방법(예를 들어, MPEG-4 AVC 표준안의 스타일로)을 제공하지만, 여기서, 매크로블록에 기초한 초기 프레임 파티션 그리드는 트리로부터의 파티션들 중 가장 큰 파티션에 해당하지 않는다. 그러므로, 각 매크로블록 더 파티셔닝함으로써 탑-다운 접근법으로 파티션 중 몇몇(서브 매크로블록 파티션)가 생성되며, 파티션 중 몇몇는 초기 매크로블록 파티션들 중 몇몇를 병합 또는 병합함으로써 바틈-업 방식으로 생성된다. 도 5a를 참조하면, 초기 매크로블록 파티션의 일례, 및 해당하는 바틈-업 및 탑-다운 구현예들이 참조 번호 510, 520, 및 530에 의해 각각 나타내어져 있다. 도 5b를 참조하면, 도 5a의 매크로블록 파티션에 대한 결합된 수퍼 블록 및 서브 블록 트리 기반의 파티셔닝이 참조 번호 550에 의해 나타내어져 있다. 도 5b에 있어서, 프레임의 최종의 트리 기반의 파티셔닝은 수퍼 블록(및/또는 수퍼 매크로블록), 매크로블록, 및 서브 블록(및/또는 서브 매크로블록)의 병합 셋트에 의해 형성된다.

본 원리의 실시예들에서는 디코더가 수퍼 블록을 생성하기 위해 어느 블록들이 함께 코딩되었는지를 볼 수 있도록 하기 위하여 몇몇 매우 작은 량의 부가 정보를 코딩된 스트림에 도입한다. 몇몇 신택스 정보를 선택된 블록들(결국 몇몇 하이 신택스 레벨)에 삽입함으로써, 디코더는 향후 디코딩되어야 하는 이웃 블록들이 선택된 블록들로부터 디코딩된 정보 중 일부 또는 전부를 계승한다는 것을 이해할 수 있다. 인코더 측에 있어서, 이러한 추가의 신택스 정보는 이를 효율적인 코딩을 위해 사용하기 위하여 판정되어야 한다.

본 원리의 일 실시예는, 이러한 종류의 예측 모드를 이용하는 임의의 코딩 전략의 계층구조로 충격을 최소화하면서 "가상의" 수퍼 블록 파티션을 생성할 수 있도록 직접 예측 모드의 사용의 변경을 포함한다. 직접 예측 모드(Direct Prediction Mode)는 모션 정보가 명시적으로 코딩되는 것이 아니라, 이웃하는 블록들부터의 모션 벡터들의 중간치 필터링과 같은, 몇몇 필터 기반의 모션 예측을 이용하여 이미 코딩된 이웃하는 파티션들로부터 계승 또는 내재적으로 유도되는 모션 보상 기반의 예측 모드이다. MPEG-4 AVC 표준안에 관한 예에 있어서, 직접 모드는 Inter-B 프레임에서 사용된다. 직접 예측의 적용은 Inter-P 프레임에 대하여도 제안되었다. 공간 직접 예측 모드는, 인코딩된 비디오 시퀀스의 구조 및 특성을 모르고 있는 몇몇 이웃 기반의 모션 유도를 사용한다. 공간 직접 예측 모드에 관한 접근법을 대신하여, 인코딩 중인 매크로블록, 그 이웃, 및/또는 인코더/디코더의 현재 상태에 따라서 결국 시그널링하는 것을 제안하고자 하며, 어느 블록 또는 블록들의 셋트가 사용되는지를 나타내기 위하여, 직접 예측 모드(또는 변경된 직접 예측 모드) 및/또는 직접 예측 모드의 셋트(또는 변경된 예측 모드의 셋트)에서 모션 정보를 유도하기 위하여, 몇몇 부가 정보(신택스)를 제안한다. 또한, 매크로블록 모드 형태의 정보가 이러한 신택스에서 내재적으로 인코딩되도록 하여, 몇몇 추가 비트들을 공유하도록 신택스가 설계될 수 있다. 그러므로, 직접 예측 모드의 확장형에 기초하여, 본 원리의 일실시예에서는 전통적인 탑-다운 트리 기반의 프레임 파티셔닝(예컨대, MPEG-4 AVC 표준안에 기초하여)에 대한 보완책으로서 바틈-업 트리 기반의 파티셔닝의 사용을 도입한다.

이하에서, 신택스 기반의 수퍼 블록 프레임 파티셔닝의 수개의 실시예들에 대하여 MPEG-4 AVC 표준안의 확장형에 기초하여 더 상세하게 설명하고자 한다. 이러한 실시예들은 몇몇 새로운 신택스를 이용하여 데이터의 스트림 및 디코더에 큰 변화를 도입하지 않고서 가상의 32x32, 32x16, 16x32 수퍼 블록 파티션 모드들을 삽입하는 것에 중점을 둔다. 실시예 전부는 트리 기반의 바틈-업 및 탑-다운 생성의 파티션들의 대칭적인 구조(nested structure)에 있어서 장점이 있다.

방법 A의 패밀리

방법 A의 패밀리는 선택된 매크로블록 사이즈 예측 모드(예컨대, P 및/또는 B)에 있어서 추가의 신택스의 삽입에 기초한다. 이러한 추가의 신택스는 이웃하는 매크로블록들이 이전에 인코딩된 블록의 성질을 계승할지 여부 또는 그 대신 명시적으로 코딩될지 여부를 나타낸다. 일 실시예에 있어서, 수퍼 블록 내에서 이전에 인코딩된 매크로블록으로부터 모드 및 모션 성질을 계승하도록 이웃하는 매크로블록들이 선택된다면, 이러한 이웃하는 매크로블록들은 내재적으로 코딩되며, 아무런 정보도 코딩될 필요가 없다(코딩된 모션 보상 나머지를 제외함). 일 실시예에 있어서, 하나의 수퍼 블록을 인코딩하도록 판정되는 경우, 그것의 매크로블록들 중 하나만이 인코딩될 필요가 있다. 일반성을 잃지 않고서, 이러한 특정 실시예에 있어서, 수퍼 블록 내에서 명시적으로 인코딩된 매크로블록은 수퍼 블록의 좌측 상부 코너에 위치된 것일 것이다. 이러한 관념에 기초하여, 4개의 매크로블록들의 그룹(32x32 그룹에 맞는 것) 중에서 각각의 좌측 상부 매크로블록에서 "수퍼 블록"에만 관련된 신택스가 보내지게 되도록 코딩/디코딩 구조가 정의된다. 또한, 매 수 퍼 블록(일반적으로, 좌측 상부의 것) 파티션마다 하나의 매크로블록만이 내재적 또는 명시적인 모션 정보를 포함하여야 한다. 내재적인 정보라는 것은, 예를 들어, 직접(direct) 또는 생략(skip) 모드의 경우에 있어서와 같이 이웃하는 데이터로부터 유도되는 모션 정보를 일컫는다.

도 6을 참조하면, 매크로블록들의 집합으로 형성되는 수퍼 매크로블록의 일례가 참조 번호 600으로 나타내어져 있다. 도 6에 도시된 바와 같이, 32x32 블록들은 4개의 매크로블록을 포함하며, 32x16 및 16x32 블록들은 2개의 매크로블록들만을 포함한다. 일 실시예에 있어서, 좌측 상부 매크로블록들이 도 1에서 시그널링된다. 수퍼 블록 신택스는 매크로블록 모드 종류가 코딩된 정보에 시그널링된 후에 적절한 매크로블록들에 삽입될 수 있다. 상기 정의된 트리 기반의 파티션들에 있어서, 수퍼 블록에 관련된 신택스를 교차 예측(inter prediction)을 위한 16x16 매크로블록들에 대하여 도입하거나, 직접 예측(direct prediction)을 위한 16x16 매크로블록에 도입하고자 한다.

자신의 x 및 y 좌표에 따라서 이하의 매크로블록들의 인덱싱이 있다고 하고, 여기서, 프레임 내의 맨 좌측 상부의 매크로블록이 (0,0)의 좌표를 가지며, 맨 우측 하부의 매크로블록이 (M,N)의 좌표를 가지며, 여기서, M과 N은 양의 정수이다. 따라서, 수퍼 블록에 관련된 정보는 결국 짝수 좌표(양측 모두)를 갖는 매크로블록마다 표시된다. 따라서, 수퍼 블록에 관련된 정보가 (0,0), (0,2), (2,0), (2,2), 등의 블록들에서 표시된다. 매크로블록 모드 종류 이후의 몇몇 포인트에 있어서, 모드 종류가 수퍼 매크로블록의 사용에 적합하다면, 하나의 플래그(이하, "super_block_enable"이라 함)가 전송된다(예컨대, MPEG-4 AVC 표준안의 확장형에 있어서, 16x16 파티션에 관련된 그러한 모드 종류들만이 명시적인 수퍼 블록 부가 정보를 필요로 하게 된다). 그 값에 따라서, 자신의 짝수 좌표 매크로블록(좌측 상부 매크로블록)에 의해 표현되는 4개 매크로블록의 그룹은, 수퍼 매크로블록 모드들 중 하나로서 코딩되거나, 코딩되지 않는다. 수퍼 매크로블록 모드들 중 임의의 것에 있어서 코딩되지 않는 경우, 이러한 특정한 4개의 매크로블록들의 그룹에 대한 수퍼 매크로블록 모드에 대하여 아무런 더 이상의 정보가 인코딩되지 않으며, 모든 매크로블록들은 주로 행해지는 대로 코딩된다(예컨대, 본 실시예에 있어서, MPEG-4 AVC 표준안에 관한 것). super_block_enable 플래그가 수퍼 매크로블록 모드의 사용을 나타내는 경우, 어느 모드가 사용되는지(32x32, 32x16, 또는 16x32)를 나타내기 위하여 코드위드(codeword')가 전송된다. 또 다른 실시예에 있어서, 상이한 수퍼 블록 모드를 표시하기 위하여 코드워드 또는 인덱스가 사용된다(예컨대, 0 (수퍼 블록 없슴), 1 (32x32), 2(32x16), 3(16x32)). 다음, 예를 들어, CAVLC(Context Adaptive Variable Length Coding) 또는 CABAC(Context Adaptive Binary Arithmetic Coding)에 의해 인덱스가 인코딩될 수 있다.

그 후, 각각의 수퍼 블록에 대하여, 통상적인 신택스를 이용하여 (매우 작은 수퍼 블록에 관련된 신택스를 종국적으로 제외하여) 좌측 상부 매크로블록이 인코딩된다. 32x32 수퍼 블록의 경우, 잔여 3개의 매크로블록에 대하여 모션 보상 나머지 에러가 또한 인코딩된다. 32x16 또는 16x32 수퍼 블록이 사용중인 경우, 적절한 좌측 상방 매크로블록들이 통상의 경우와 같이(수퍼 블록 관련 신택스를 제외 함) 인코딩되며, 매크로블록의 나머지에 대하여, 더 이상의 정보 없이 신호 예측을 위한 적절한 좌측 상부 매크로블록들로부터 유도된 모션 정보를 이용하여 나머지 모션 보상 에러만이 인코딩된다.

원래의 코딩 전략(예를 들어, MPEG-4 AVC 표준안에 따름)으로부터 매크로블록들의 코딩 순서는 유보된다(나머지 모션 보상만이 전송되는 것들에 대하여도).

인코더 측에 있어서, 매크로블록보다 더 큰 가상 구역들이 시그널링된다는 사실이 통지되어야 한다. 그러므로, 인코더는 전체 수퍼 블록에 대하여 전역적으로(globally) 최선의 가장 효율적인 모드를 취합하여야 하며, 각각의 수퍼 블록의 좌측 상부 매크로블록의 모드 및 예측 정보를 인코딩하여야 한다. 일 실시예에 있어서, 이는 MPEG-4 AVC 표준안에 따라서 전통적인 매크로블록 코딩 오더를 따라서 코딩된다. 도 1 및 도 3에 대하여 나타낸 바와 같이, 변경 및/또는 확장되어야 하는 블록들은 이하와 같다. 수퍼 매크로블록 파티션들에 대하여 새롭게 추가된 신택스를 조절할 수 있도록 인코더 제어가 변경 및/또는 확장된다. 더 큰 파티션들(매크로블록보다 큰)이 시그널링될 수 있다는 사실을 활용하도록 모션 추정기가 변경 및/또는 확장된다. 그러므로, 모션 및 블록 모드가 전체 수퍼 블록에 대하여 전역적으로 최선이 되도록 결정될 필요가 있다. 엔트로피 코더는 수퍼 매크로블록 관련 데이터를 위하여 전송중인 매우 적은 량의 정보를 효율적으로 인코딩하도록 변경 및/또는 확장된다.

디코더 측에 있어서, 직접 모드 예측 데이터에 수퍼 블록 관련 신택스가 전송되어, 수퍼 블록 파티션에 의해 설정된 매크로블록들 사이의 관계에 따라서 모션 벡터 예측치를 유도한다. 따라서, 도 2 및 도 4에 대하여 나타낸 바와 같이, 이하와 같이 수퍼 매크로블록 파티션들을 조절하도록 매우 적은 수의 블록들이 변경 및/또는 확장된다. 엔트로피 디코더는 인코더 측에서 엔트로피 코딩 모듈에 의해 인코딩된 수퍼 블록 관련 신택스를 디코딩하도록 확장된다. 디코더 컨트롤러는 수퍼 블록들(수퍼 매크로블록들)의 사용에 관한 결정 단계들을 추가하도록 변경 및/또는 확장된다. 나머지 모듈들 모두가 정상적으로 동작하도록 하기 위하여, 디코더 컨트롤러는 수퍼 블록들로부터 다른 모든 모듈들이 코딩되지 않은 매크로블록들을 적절한 모션 유도 법칙 및 적절한 예측된 모션 정보를 갖는 직접 모드로 볼 수 있도록 디코더 데이터 구조를 설정한다.

일 실시예에 따르면, 4개의 매크로블록들 중 기껏해야 1개만이 몇몇 수퍼 블록 정보를 포함한다. 실제로, 위치 (x,y)가 모두 짝수 좌표로 하여, 16x16 inter-P/B 및 16x16 direct-P/B 모드만이 수퍼 블록 정보를 전달할 수 있다. 물론, 본 원리는 앞서 설명한 바에 한하지 않으며, 따라서, 다른 실시예에 있어서, 4개의 매크로블록들 중 1개 이상(다만, 모든 매크로블록들을 포함하는 경우가 본 원리에 의해 상정될지라도 전부가 아닌 것이 바람직함)이 몇몇 수퍼 블록 정보를 포함할 수 있다.

방법 B의 패밀리

방법 B의 패밀리는 선택된 매크로블록 사이즈의 직접 예측 모드(예컨대, P 및/또는 B)에 있어서 추가 신택스의 삽입에 기초한다. 이러한 방법의 패밀리에 있어서, 다른 모드에서는 수퍼 매크로블록 파티션을 시그널링하기 위하여 추가 정보 의 삽입을 필요로 하지 않는다. 이러한 방법들을 포함하는 실시예에 있어서, 4개의 매크로블록들의 그룹 중 좌측 상부 매크로블록들, 즉, (앞서서의 정의에 따른) 짝수 좌표 위치를 갖는 매크로블록들은 엑스트라 정보도 신택스도 전달하지 않는다.

수퍼 매크로블록들은 4개의 매크로블록의 그룹(즉, 32x32 수퍼 블록을 형성할 수 있는 그룹)에서 나머지 3개의 매크로블록들 내의 몇몇 플래그 및/또는 코드워드를 수단으로 시그널링된다. 직접 모드 블록들(P 또는 B) 만이 이러한 플래그 및/또는 코드워드를 전달할 필요가 있다. 직접 이러한 3개의 매크로블록들을 코딩하기 위하여 사용되는 임의의 다른 모드는, 그 매크로블록 위치에 있어서 수퍼 블록이 없다는 것을 의미한다(따라서, 임의의 종국적인 직접 모드에 있어서의 여분의 부가 정보(side information)가 이러한 경우에 필요로 된다). 이는 직접 모드에서 삽입되는 종국적인 플래그 및/또는 코드워드가 콘텍스트(context)(즉, 매크로블록 위치 및/또는 이웃들)에 따라서 직접 예측을 위한 모션 벡터들을 유도하기 위한 이웃을 표시한다는 것을 의미한다. 수퍼 블록 코딩을 위한 가능한 코딩의 경우는 이하와 같다:

1. 짝수 좌표를 갖는 매크로블록은 16x16 예측 모드 또는 16x16 직접 예측 모드가 아니다. 따라서, 수퍼 블록 코딩은 가능하지 않다. 32x32를 생성하는 4개의 매크로블록의 그룹 중 다른 3개의 매크로블록 중 어느 것에 대하여도 엑스트라 신택스가 보내지지 않게 된다.

2. 짝수 좌표를 갖는 매크로블록은 16x16 예측 모드 또는 16x16 직접 예측 모드이다. 그렇다면, 원래의 코딩 기법(예를 들어, 일 실시예에 있어서, MPEG-4 AVC 표준안에 따라서)의 래스터 스캔 순서에 따라서 이하의 경우들이 가능하다. 32x32, 32x16, 또는 16x32의 수퍼 블록을 형성할 수 있는 4개의 매크로블록들의 그룹에 대하여 상대 좌표 (0,0), (0,1), (1,0), (1,0) 또한 가정하며, 당업자에게 명백한 바와 같이, 다른 좌표 시스템을 사용한 실시예 또한 가능하다.

a. 고려중인 매크로블록이 (0,1) 매크로블록이며(즉, (0,0) 매크로블록의 우측 이웃), 16x16 예측 모드 또는 16x16 직접 예측 모드가 아니라면, 수퍼 블록 모드가 발생되지 않는다.

b. (0,1) 매크로블록이 16x16 예측 모드 또는 16x16 직접 예측 모드라면, 이하의 경우가 가능하다.

i. (0,1) 매크로블록가 16x16 예측 모드라면, 32x16 수퍼 블록들이 여전히 발생될 수 있다는 것을 의미한다. 16x16 예측 모드는 정상적으로 코딩된다(예를 들어, 일 실시예에 있어서, MPEG-4 AVC 표준안에 따라서). 그 후, 매크로블록 스캐닝 순서가 (1,0) 및 (1,1) 이웃에 도달하면, 이하가 시행된다:

1. 매크로블록 스캐닝 순서가 (1,0) 이웃(즉, (0,0) 아래의 이웃)에 도달하며, 16x16 직접 예측 모드가 아니라면, 수퍼 블록 모드가 발생되지 않는다.

2. (1,0) 매크로블록이 직접 예측 모드라면, 추가의 플래그, 즉, super_block_enable 를 수단으로 시그널링되거나, 매크로블록 종류 뒤 어딘가에 삽입되는 2개의 가능성이 존재한다. 플래그에 따라서, 이는 수퍼 블록의 일부이거나(32x16 모드가 시행됨을 의미) 또는 블록이 발생되지 않는다는 것을 의미한다. 32x16 모드가 시행되면, (0,0) 매크로블록으로부터 모션 정보가 계승된다.

a. (1,1) 블록에 대하여 엑스트라 신택스가 인코딩될 필요가 없다. 이는 (1,0) 블록의 결정을 따른다. 32x16 수퍼 블록 모드가 결정되면, (0,1) 블록으로부터 모션 정보를 유도한다. 실제로, 모드 종류는 내재적으로 코딩될 수 있다; 모션 보상 후에 하나만이 나머지를 인코딩할 필요가 있다. (1,0)에서 수퍼 블록 모드가 디스에이블되었다면 임의의 전통적인 모드가 (1,1)에서 사용될 수 있다.

ii. (0,1) 블록이 16x16 직접 예측 모드라면, 추가 플래그(예컨대, super_block_enable)를 수단으로 시그널링되거나, 매크로블록 종류 뒤의 어딘가에 삽입되는 2개의 가능성이 존재한다. 플래그에 따라서, 이는 수퍼 블록의 일부라면 32x32 또는 16x32 모드가 코딩되는 것을 의미하거나, 정규의 직접 모드라면, 그 위치에 있어서 기껏해야 32x16 모드가 발생될 수 있다는 것을 의미한다. 32x32 또는 16x32 수퍼 블록의 일부라면, (0,0)로부터 모션 정보가 유도되며, 이와 대조적인 상황에서, 정상적인 접근법을 이용하여 모션 정보가 유도된다.

1. (0,1)에서 32x32 또는 16x32 모드가 인에이블되면, (1,0)에 대하여 16x16 예측 또는 16x16 직접 모드가 가능하다.

a. (1,0)에서 16x16 직접 예측 모드가 선택되면, 매크로블록 종류 시그널링 뒤의 어딘가에 플래그(예컨대, 32x32_selection)가 삽입된다. 이는 32x32 수퍼블록이어서, (0,0)로부터 모션을 유도할지 여부, 또는 16x32 모드(어떤 다른 수단에 의해 모션이 유도됨, 즉, 예를 들어, MPEG-4 AVC 표준안의 직접 모드 에서 정상적으로 행해지는 것 처럼)이어서, (1,1) 매크로블록의 직접 예측 모드가 내재적으로 코딩되어, 32x32 또는 16x32 수퍼블록이 코딩되는지 여부에 따라서 모션이 유도되어, 코딩된 나머지의 전송이 필요로 되는지 여부를 나타낸다.

b. (1,0) 블록에 대하여 16x16 예측 모드가 선택되면, 16x32 모드가 사용된다(더 이상의 신택스를 전송할 필요없음). (1,1) 매크로블록의 직접 예측 모드는 내재적으로 코딩되며, 16x32 수퍼 블록에 따라서 모션이 유도되어, 코딩된 나머지의 전환만이 사용된다.

2. (0,1) 블록에 대하여 32x16 모드가 시험적으로 허용된다면, 이하가 고려된다:

a. (1,0) 블록이 16x16 직접 예측 모드와 다른 어떠한 모드라면, 수퍼 블록이 코딩되지 않는다.

b. (1,0) 블록이 16x16 직접 예측 모드라면, 플래그(예컨대, super_block_enable)가 32x16 수퍼 블록이 사용되는지를 나타내어, 모션이 (0,0) 이웃으로부터 유도된다는 것을 의미한다. (1,1) 매크로블록에 대한 직접 예측 모드는 내재적으로 코딩되며, 32x16 수퍼 블록에 따라서 모션이 유도되며, 코딩된 모션이 보상된 나머지만이 전송된다.

앞서서의 방법(A)와 마찬가지로, 인코더 측에 있어서, 매크로블록보다 더 큰 가상의 구역들이 시그널링된다는 사실을 다루어야 한다. 그러므로, 즉각적인 실시예에 있어서, 인코더는 전역적으로 전체 수퍼 블록에 대하여 최선의 가장 효율적인 모드를 도출하여, 방법 B에 대하여 전술한 법칙에 따라서 모드 및 예측 정보를 인 코딩하여야 한다. 수퍼 블록의 글로벌 코딩 효율에 따라서 일단 모드가 판정되면, 전통적인 매크로블록 코딩 순서(예컨대, MPEG-4 AVC 표준안)에 따라서 블록들은 코딩된다. 그러나, 지금 내재적으로 코딩되는 정보 중 일부는 전술한 법칙에 따라서 행해진다. 도 1 및 도 3에 대하여 나타낸 바와 같이, 변경 및/또는 확장되어야 하는 블록들은 이하와 같다.

인코더 컨트롤러는 수퍼 매크로블록 파티션에 대하여 새롭게 추가된 신택스를 취급할 수 있도록 변경 및/또는 확장된다.

모션 추정기는 (매크로블록보다 더 큰) 더 큰 파티션들이 시그널링될 수 있다는 사실을 활용할 수 있도록 변경 및/또는 확장된다. 그러므로, 모션 및 블록 모드는 전체 수퍼 블록에 대하여 전역적으로 최선이 되도록 결정될 필요가 있다.

엔트로피 코더는 수퍼 매크로블록에 관련된 데이터에 대하여 전송중인 정보의 매우 적은 량을 효율적으로 인코딩하도록 변경 및/또는 확장된다.

선택적으로, 양자화 단계는 및 모두 제로로 양자화된 계수를 갖는 구역들을 시그널링하는 단계는, 수퍼 매크로블록 파티션들이 사용중인 경우, 디스토션 측면 및 비용 측면에서 나머지의 효율적인 인코딩을 위해 최적으로 채택되도록 변경 및/또는 확장될 수 있다. 실제로, 수퍼 블록 코딩과 함께 MPEG-4 AVC 표준안의 확장형을 포함하는 일 실시예에 있어서, 전체 수퍼 블록이 양자화된 변수 a를 갖지 않는 경우 효율적으로 시그널링 할 수 있도록, 또는 수퍼 블록의 일부가 코딩할 계수를 갖지 않는 경우 적응적으로 효율적으로 시그널링할 수 있도록 확장된 코딩된 블록 패턴 기능을 갖게 된다.

디코더 측에서, 유일한 절차는 수퍼 블록에 관련된 신택스를 직접 모드 예측 데이터로 변환하여, 수퍼 블록 파티션들에 의해 설정된 매크로블록들 사이의 관계에 따라서 모션 벡터 예측치를 유도하는 것이다. 그러므로, 도 2 및 도 4에 대하여 나타낸 바와 같이, 이하와 같이 수퍼 매크로블록 파티션들을 취급하도록 매우 적은 수의 블록들이 변경 및/또는 확장된다.

엔트로피 디코더는 인코더에서 엔트로피 코딩 모듈에 의해 인코딩된 수퍼 블록에 관련된 신택스를 디코딩하도록 변경 및/또는 확장된다.

디코더 컨트롤러는 수퍼 블록(수퍼 매크로블록)들의 사용에 관련된 수개의 결정 단계들을 추가하도록 변경 및/또는 확장된다. 나머지 모듈들 전부가 정상적으로 동작하도록 하기 위하여, 디코더 제어 모듈은 수퍼 블록들로부터 모든 다른 모듈들이 코딩되지 않은(또는 내재적으로 인코딩된) 매크로블록들을 적절한 예측 모션 정보를 갖는 직접 모드로서 간주하도록 디코더 데이터 구조를 설정한다.

선택적으로, 역양자화 단계는 인코더측에서 도입되는 가능한 변화들과 매칭하도록 나머지의 효율적인 인코딩을 위해 최선으로 적응화되도록 변경 및/또는 확장될 수 잇다.

표 1 및 표 2는 각각 수퍼 매크로블록들의 사용을 나타내는 방법 A 및 방법 B를 위한 일례의 신택스를 나타낸다.

도 7을 참조하면, 방법 A에 따라서 매크로블록을 인코딩하는 일례의 방법이 참조 번호 700으로 나타내어져 있다.

방법 700은 결정 블록(710)에 제어를 전달하는 시작 블록 705를 포함한다. 결정 블록 710에서는, 메인 매크로블록이 2x2 그룹으로부터인지 여부를 판정한다. 만일 그렇다면, 기능 블록 715에 제어가 전달된다. 만일 그렇지 않다면, 결정 블록 730에 제어가 전달된다.

기능 블록 715에서는, 매크로블록 종류(mb_type)를 코딩하여, 제어를 기능 블록 720에 전달한다. 기능 블록 720에서는, mbjype이 서브 매크로블록 파티션을 나타내지 않는다면 수퍼 블록 데이터를 코딩하여, 기능 블록 725에 제어를 전달한다. 기능 블록 725에서는 매크로블록 데이터를 코딩하여, 제어를 종료 블록 799에 전달한다.

결정 블록 730에서는 수퍼 블록 모드가 사용중인지 매크로블록 데이터가 수퍼 블록 신택스로부터 유도되는지 여부를 판정한다. 만일 그렇다면, 제어는 기능 블록 740에 전달된다. 만일 그렇지 않다면, 기능 블록 735에 제어가 전달된다.

기능 블록 740에서는 나머지 에러를 코딩하고, 제어를 종료 블록 799에 전달한다.

기능 블록 735에서는 매크로블록 종류(mbjype)를 코딩하여, 제어를 기능 블록 725에 전달한다.

도 8을 참조하면, 방법 A에 따라서 매크로블록을 디코딩하는 방법이 참조 번호 800으로 나타내어져 있다.

방법 800은 제어를 결정 블록 810에 전달하는 시작 블록 800을 포함한다. 결정 블록 810에서는 메인 매크로블록이 2x2 그룹으로부터인지 여부를 판정한다. 만일 그렇다면, 제어는 기능 블록 815에 전달된다. 만일 그렇지 않다면, 제어는 결정 블록 840에 전달된다.

기능 블록 815에서는 매크로블록 종류(mb_type)를 디코딩하여, 제어를 기능 블록 820에 전달한다. 기능 블록 820에서는 mb_type이 아무런 수퍼 매크로블록 파티션도 나타내지 않는다면, 수퍼 블록 데이터를 디코딩하고, 제어를 기능 블록 825에 전달한다. 기능 블록 825에서는 매크로블록 데이터를 디코딩하고, 제어를 기능 블록 830에 전달한다.

기능 블록 830에서는 매크로블록 예측 보상을 수행하고, 제어를 기능 블록 835에 전달한다. 기능 블록 835에서는 나머지 에러 데이터 구성을 수행하고, 제어를 종료 블록 899에 전달한다.

결정 블록 840에서는 수퍼 블록 모드가 사용중이며 수퍼 블록 신택스로부터 메크로블록 데이터가 유도될 수 있는지 여부를 판정한다. 만일 그렇다면, 제어가 기능 블록 845에 전달된다. 만일 그렇지 않다면, 기능 블록 860에 제어가 전달된다.

기능 블록 845에서는 매크로블록 정류(mb_type)을 적응적 데이터 예측을 갖는 직접 모드로 설정하고, 제어를 기능 블록 850에 전달한다. 기능 블록 850에서는 수퍼 블록 정보 및 수퍼 블록 메인 매크로블록에 따라서 매크로블록 모션을 설정하고, 제어를 기능 블록 855에 전달한다. 기능 블록 855에서는 나머지 에러를 디코딩하고, 제어를 기능 블록 830에 전달한다.

도 9를 참조하면, 방법 B에 따라서 매크로블록을 인코딩하는 방법의 일례가 참조 번호 900으로 나타내어져 있다.

방법 900에서는 결정 블록 910에 제어를 전달하는 시작 블록 905를 포함한다. 결정 블록 910에서는 콘텍스트 및 앞서 인코딩된 매크로블록에 의해 현재의 매크로블록이 수퍼 블록의 일부로서 직접 유도될 수 있는지 여부를 체크한다. 만일 그렇다면, 제어가 기능 블록 915에 전달된다. 만일 그렇지 않다면, 제어가 기능 블록 920에 전달된다.

기능 블록 915에서는 나머지 에러 데이터를 인코딩하고, 제어를 종료 블록 999에 전달한다.

기능 블록 920에서는 매크로블록 종류(mb_type)을 인코딩하며, 제어를 결정 블록 925에 전달한다. 결정 블록 925에서는 현재의 모드가 직접 모드인지 여부를 판정한다. 만일 그렇다면, 제어가 기능 블록 930에 전달된다. 만일 그렇지 않다면, 제어는 기능 블록 935에 전달된다.

기능 블록 930에서는 수퍼 매크로블록 모드(예컨대, 필요하다면 임의의 필요한 수퍼 블록 관련 플래그)를 인코딩하고, 제어를 기능 블록 915에 전달한다.

기능 블록 935에서는 매크로블록 데이터를 인코딩하고, 제어를 종료 블록 999에 전달한다.

도 10을 참조하면, 방법 B에 따라서 매크로블록을 디코딩하는 방법의 일례가 참조 번호 1000으로 나타내어져 있다.

방법 1000은 제어를 결정 블록 1010에 전달하는 시작 블록 1005을 포함한다. 결정 블록 1010에서는 콘텍스트 및 앞서 디코딩된 매크로블록에 의해 현재 매크로블록이 수퍼 블록의 일부이며 직접 유도될 수 있는지 여부를 체크한다. 만일 그렇다면, 기능 블록 1015에 제어가 전달된다. 만일 그렇지 않다면, 기능 블록 1035에 제어가 전달된다.

기능 블록 1015에서는 매크로블록 종류(mb_type)을 적응적 데이터 예측을 갖는 직접 모드로 설정하고, 기능 블록 1020에 제어를 전달한다. 기능 블록 1020에서는 수퍼 블록 정보 및 수퍼 블록 메인 매크로블록에 따라서 매크로블록 모션을 설정하고, 기능 블록(1025)에 제어를 전달한다. 기능 블록(1025)에서는 매크로블록 예측 보상을 수행하고, 기능 블록 1030에 제어를 전달한다. 기능 블록 1030에서는 나머지 에러 데이터를 디코딩하고 재구성하며, 종료 블록 1099에 제어를 전달한다.

기능 블록 1035에서는 매크로블록 종류(mb_type)을 디코딩하고, 결정 블록 1040에 제어를 전달한다. 결정 블록 1040에서는 현재의 모드가 직접 모드인지 여부를 판정한다. 만일 그렇다면, 결정 블록 1045에 제어가 전달된다. 만일 그렇지 않다면, 기능 블록 1050에 제어가 전달된다.

결정 블록 1045에서는 현재의 블록이 수퍼 매크로블록의 일부인지 여부를 판정한다. 만일 그렇다면, 기능 블록 1020에 제어가 전달된다. 만일 그렇지 않다면, 기능 블록 1055에 제어가 전달된다. 기능 블록 1055에서는 매크로블록 모션 데이터를 정상적으로 유도하고, 기능 블록 1025에 제어를 전달한다.

도 11을 참조하면, 2-패스 인코더를 이용하여 비디오 데이터를 인코딩하는 방법의 일례가 참조 번호 1100에 의해 나타내어져 있다.

방법 1100에서는 기능 블록 1110에 제어를 전달하는 시작 블록 1105를 포함한다. 기능 블록 1110에서는, 예컨대, MPEG-4 AVC 표준안에 기초하여 비디오 데이터를 인코딩하도록 제1 패스를 수행하고, 기능 블록 1115에 제어를 전달한다. 기능 블록 1115에서는 수퍼 블록과 동일한 것을 인코딩하는 것이 더 효율적인지 여부를 판정하기 위하여, 2x2, 2x1, 및 1x2 매크로블록 각각을 시험하는 것을 포함하는 제2 패스를 수행하고, 기능 블록 1120에 제어를 전달한다. 기능 블록 1120에서는 제2 패스에 따라서 매크로블록들에 적절한 수퍼 블록 신택스를 삽입하고, 블록 1199에 제어를 전달한다.

도 12를 참조하면, 비디오 데이터를 디코딩하는 방법의 일례가 참조 번호 1200으로 나타내어져 있다.

방법 1200에서는 기능 블록 1210에 제어를 전달하는 시작 블록 1205를 포함한다. 기능 블록 1210에서는 비트스트림을 파싱하고, 기능 블록 1215에 제어를 전달한다. 기능 블록 1215에서는 수퍼 블록 신택스를 관련된 매크로블록들의 표준안 판독가능 데이터(예를 들어, MPEG-4 AVC 표준안에 기초한)로 변환하고, 기능 블록 1220에 제어를 전달한다. 기능 블록 1220에서는, 예컨대, MPEG-4 AVC 표준안에 기초하여 표준안 디코딩 및 비디오 재구성을 수행하고, 종료 블록 1299에 제어를 전달한다.

이하, 본 발명의 다수의 장점/특징들 중 일부에 대하여 설명하며, 그 중 몇몇은 전술한 바와 같다. 예를 들어, 한나의 장점/특징으로서, 중간 사이즈의 화상 블록들의 셋트로 화상의 초기 파티셔닝을 수행하고, 더 파티셔닝하기 위하여 화상 블록들 중 몇몇을 선택하고, 병합을 위해 화상 블록들 중 다른 것들을 선택함으로써 화상을 인코딩하는 인코더를 갖는 장치이다. 더 파티셔닝하고 병합하는 것은, 적응적 트리 기반의 프레임 파티셔닝을 사용한다.

또 다른 장점/특징은 전술한 바와 같은 인코더를 갖는 장치로서, 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 구해지는 장치이다.

또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같은 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 성취되며, 인코더는 트리 기반의 프레임 파티션을 생성하기 위하여 초기 파티션의 블록 사이즈를 사용하며, 블록 사이즈는 특정의 비디오 인코딩 표준안 또는 권고안에 관한 트리 기반이 프레임 파티셔닝을 위해 사용될 수 있는 블록 사이즈들 중 임의의 것이다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같은 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 성취되며, 인코더는 비디오 데이터를 위한 수퍼 블록 파티션을 생성하기 위하여 바틈-업 트리 결합을 사용한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 비디오 데이터를 위한 수퍼 블록 파티션을 생성하기 위하여 바틈-업 트리 결합을 사용하며, 인코더는 바틈-업 트리 결합을 이용하여 16x16 매크로블록들로부터 32x32, 16x32, 32x16 파티션들 중 임의의 것을 생성한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 비디오 데이터를 위한 수퍼 블록 파티션을 생성하기 위하여 바틈-업 결합을 사용하며, 인코더는 전체 수퍼 블록에 걸쳐 전역적으로 효율적이 되도록 모션 데이터를 최적화한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로터 파티션이 성취되며, 인코더는 하이 레벨 신텍스를 이용하여 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시킨다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 하이 레벨 신택스를 이용하여 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키며, 인코더는 하이 레벨 신택스를 슬라이스 헤더 레벨, SEI 레벨, 픽쳐 파라미터 셋트 레벨, 시퀀스 파라미터 셋트 레벨, 네트워크 추상계층 단위 헤더 레벨, 픽쳐 레벨, 슬라이스 레벨, 및 매크로블록 중 적어도 하나로 코딩한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 하이 레벨 신택스를 이용하여 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키며, 인코더는 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 비디오 데이터에 해당하는 결과의 비트스트림 중 적어도 하나에 있어서 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이, 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 및 비디오 데이터에 해당하는 결과의 비트스트림 중 적어도 하나에서 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링하며, 인코더는 매크로블록 레벨에서 적어도 하나의 추가 신택스 요소를 이용하여 로컬 수퍼 블록 관련 정보를 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이, 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 및 비디오 데이터에 해당하는 결과의 비트스트림 중 적어도 하나에서 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링하며, 로컬 수퍼 블록 관련 정보는 수퍼 블록 인에이블 표시, 수퍼 블록 디스에이블 표시, 수퍼 블록 종류, 수퍼 블록 사이즈, 및 정사각형 수퍼 블록에 대한 파티션 방향 중 적어도 하나를 포함한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 및 비디오 데이터에 해당하는 결과의 비트스트림 중 적어도 하나에 있어서 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링하며, 로컬 수퍼 블록 관련 정보는 수퍼 블록 중 하나의 블록에만 임베드되며, 수퍼 블록에 포함되지 않는 블록들 중 동일한 그룹에 속하는 하나 이상의 블록 사이에 분산된다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 인코더는 전술한 바와 같이 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 및 비디오 데이터에 해당하는 결과의 비트스트림 중 적어도 하나에서 내재적이거나 명시적인 방법 중 적어도 하나의 방법으로 시그널링하며, 수퍼 블록 중 적어도 하나의 블록에 있어서, 블록 코딩 모드, 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나가, 적어도 하나의 이웃하는 블록에 명시적으로 또는 내재적으로 임베드된 로컬 수퍼 블록 관련 정보, 블록 모드 정보, 및 모션 정보 중 적어도 하나로부터 수퍼 블록에 있어서 인코딩되어야 하는 현재의 블록을 위해 직접 유도된다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이, 수퍼 블록 중 적어도 하나의 블록에 있어서, 적어도 하나의 이웃하는 블록에 명시적으로 또는 내재적으로 임베드된 로컬 수퍼 블록 관련 정보, 블록 모드 정보, 및 모션 정보 중 적어도 하나로부터 수퍼 블록에 있어서 인코딩되어야 하는 현재의 블록을 위해 블록 코딩 모드, 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나가 직접 유도되며, 블록 코딩 모드, 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나를 유도하기 위한 유도 법칙은 블록 스캐닝 순서에 의존한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이, 인코더는 로컬 수퍼 블록 관련 정보를 이에 해당하는 부가 정보 및 비디오 데이터 에 해당하는 결과의 비트스트림 중 적어도 하나에서 내재적인 방법과 명시적인 방법 중 적어도 하나의 방법으로 시그널링하며, 블록 스캐닝 순서는 비디오 코딩 권고안 또는 비디오 코딩 표준안에 의해 부과되는 기존의 블록 스캔 순서와 동일 또는 상이하다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 성취되며, 인코더는 직접 예측 모드에 대하여 상이한 가능한 예측자들이 사용되도록 적응적 직접 예측 모드에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 적어도 하나의 로컬 수퍼 블록 파티션에 관련된 신택스 요소를 직접 예측 모드에 임베드한다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이 인코더는 직접 예측 모드에 대하여 상이한 가능한 예측자들이 사용되도록 적응적 직접 예측 모드에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 적어도 하나의 로컬 수퍼 블록 파티션에 관련된 신택스 요소를 직접 예측 모드에 임베드하며, 상기 적어도 하나의 로콜 수퍼 블록 파티션 관련 신택스 요소는 직접 예측에 대하여 적응적 예측자 선택자로서 작용하며, 모션 정보 및 블록 모드 종류 중 적어도 하나는 이웃하는 매크로블록 데이터 및 수퍼 블록 신택스 정보에 기초하여 직접 예측 또는 유도된다.

또한, 또 다른 장점/특징은 인코더를 갖는 장치로서, 전술한 바와 같이 탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션이 성취되며, 나머지 코딩은 수퍼 블록에 맞는 변환 사이즈 및 코딩된 양자화된 계수와 코딩되지 않은 양자화된 계수 중 적어도 하나의 수퍼 블록에 맞는 시그널링 중 적어도 하나를 이용하여 수퍼 블록 사이즈를 조절하도록 구성된다.

본 원리의 상기 및 기타의 특징 및 장점들은 본 명세서의 교시에 기초하여 당업자에 의해 용이하게 확인될 수 있을 것이다. 본 원리의 교시는 하드웨어, 소프트웨어, 펌웨어, 특수 목적의 프로세서, 또는 그 조합의 다양한 형태로 구현될 수 있다는 것을 이해할 수 있을 것이다.

더 바람직하게는, 본 원리의 교시는 하드웨어 및 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 장치 상에 실체적으로 구체화된 어플리케이션 프로그램으로서 구현될 수도 있다. 어플리케이션 프로그램은 임의의 적절한 아키텍쳐를 구비한 머신에 업로드되어 이에 의해 실행될 수 있다. 바람직하게는, 머신은 하나 이상의 CPU, RAM, 및 I/O 인터페이스 등의 하드웨어를 구비한 컴프터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 운영 체제 및 마이크로인스트럭션 코드를 포함할 수도 있다. 본 명세서에 기재된 다양한 프로세스와 기능들은 CPU에 의해 실행가능한 마이크로인스트럭션 코드의 일부 또는 어플리케이션 프로그램의 일부 중 어느 것일 수 있으며, 또는 그 조합일 수도 있다. 또한, 다양한 다른 주변 장치들이 추가의 데이터 저장장치 및 인쇄 장치 등의 컴퓨터 플랫폼에 접속될 수도 있다.

첨부 도면들에 도시된 구성 시스템 성분들과 방법들 중 일부는 소프트웨어로 구현되는 것이 바람직하기 때문에, 시스템 성분들 또는 프로세스 기능 블록들 사이의 실제 접속은 본 원리가 프로그래밍되는 방식에 따라서 다를 수 있다. 본 명세서의 교시에 따라서, 당업자라면 본 원리의 상기 및 유사한 구현예 또는 구성예들을 상정할 수 있을 것이다.

본 명세서에 있어서 예시된 실시예들이 첨부 도면들을 참조하여 설명되고 있지만, 본 원리는 그러한 정확한 실시예들에 한하지 않으며, 본 원리의 범주와 개념을 일탈하지 않고서 다양한 변경예와 개조예들이 당업자에 의해 시현될 수 있다는 것을 이해할 수 있을 것이다. 이러한 모든 변경예와 개조예들은 첨부된 청구항들에 명시되고 있는 본 원리의 범주 내에 포함하고자 한 것이다.

Claims

화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고,

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하고,

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써

상기 화상을 인코딩하는 인코더(300)를 포함하며,

상기 추가 파티셔닝하는 것과 상기 병합하는 것은 적응적 트리 기반의 프레임 파티셔닝을 사용하는 장치.
제1항에 있어서,

탑-다운(top-down) 트리 파티셔닝과 바틈-업(bottom-up) 트리 결합의 조합으로부터 파티션들이 얻어지는 장치.
제2항에 있어서,

상기 인코더(300)는 트리 기반의 프레임 파티션을 생성하기 위하여 초기 파티션의 블록 사이즈를 사용하며, 상기 블록 사이즈는 특정의 비디오 인코딩 표준안 또는 권고안에 관한 트리 기반의 프레임 파티셔닝에 사용될 수 있는 활용가능한 블록 사이즈들 중 임의의 것인 장치.
제2항에 있어서,

상기 인코더(300)는 비디오 데이터에 대한 수퍼 블록 파티션들을 생성하기 위하여 상기 바틈-업 트리 결합을 사용하는 장치.
제4항에 있어서,

상기 인코더(300)는 상기 바틈-업 트리 결합을 이용하여 16x16 매크로블록들로부터 32x32, 16x32, 및 32x16 파티션들 중 임의의 것을 생성하는 장치.
제4항에 있어서,

상기 인코더(300)는 전체 수퍼 블록에 걸쳐 전역적으로 효율적이 되도록 모션 데이터를 처리하는 장치.
제2항에 있어서,

상기 인코더(300)는 하이 레벨 신택스(high level syntax)를 이용하여 상기 탑-다운 트리 파티셔닝 및 상기 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키는 장치.
제7항에 있어서,

상기 인코더(300)는 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 셋트 레벨, 시퀀스 파라미터 셋트 레벨, 네트워크 추상계층 단위 헤더 레벨, 픽쳐 레벨, 슬라이스 레벨, 및 매크로블록 레벨 중 적어도 하나로 상기 하이 레벨 신택스를 코딩하는 장치.
제7항에 있어서,

상기 인코더(300)는 로컬 수퍼 블록 관련 정보를 이에 대응하는 부가 정보 및 비디오 데이터에 대응하는 결과적인 비트스트림 중 적어도 하나에서 내재적인 방식과 명시적인 방식 중 적어도 하나의 방식으로 시그널링하는 장치.
제9항에 있어서,

상기 인코더(300)는 매크로블록 레벨에서 적어도 하나의 추가의 신택스 요소를 이용하여 상기 로컬 수퍼 블록 관련 정보를 내재적인 방식과 명시적인 방식 중 적어도 하나의 방식으로 시그널링하는 장치.
제9항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 인에이블 표시, 수퍼 블록 디스에이블 표시, 수퍼 블록 종류, 수퍼 블록 사이즈, 및 직사각 수퍼 블록에 대한 파티션 방향(partition direction) 중 적어도 하나를 포함하는 장치.
제9항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 중 하나의 블록에만 임베드되거나, 상기 수퍼 블록에 포함되는 블록들의 동일한 그룹에 속한 둘 이상의 블록 사이에 분산되는 장치.
제9항에 있어서,

수퍼 블록 내의 적어도 하나의 블록에 있어서, 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나가 상기 로컬 수퍼 블록 관련 정보, 블록 모드 정보, 및 모션 정보 중 적어도 하나로부터 상기 수퍼 블록에 인코딩되어야 하는 현재의 블록에 대하여 직접적으로 유도되거나, 적어도 하나의 이웃하는 블록에 내재적이거나 명시적으로 임베드되는 장치.
제13항에 있어서,

상기 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 상기 모션 정보 중 적어도 하나를 유도하기 위한 유도 법칙은 블록 스캐닝 순서에 의존하는 장치.
제9항에 있어서,

블록 스캐닝 순서가 비디오 코딩 권고안 또는 비디오 코딩 표준안에 의해 부과되는 기존의 블록 스캔 순서와 동일하거나 상이한 장치.
제2항에 있어서,

상기 인코더(300)는, 상이한 가능한 예측자들이 직접 예측 모드들에 대하여 사용될 수 있도록 하는 적응적 직접 예측 모드들에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소를 상기 직접 예측 모드들에 임베드하는 장치.
제16항에 있어서,

상기 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소는 직접 예측을 위한 적응적 예측자 선택자로서 동작하며, 이웃하는 매크로블록 데이터 및 수퍼 블록 신택스 정보에 기초하여 모션 정보 및 블록 모드 종류 중 적어도 하나가 직접 예측 또는 유도되는 장치.
제2항에 있어서,

코딩된 양자화된 계수들과 코딩되지 않은 양자화된 계수들(325, 350) 중 적어도 하나의 수퍼 블록 적응형 시그널링 및 수퍼 블록 적응형 변환 사이즈 중 적어도 하나를 이용하여 수퍼 블록 사이즈를 핸들링하도록 나머지 코딩이 구성되는 장치.
화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고(510),

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하며(530),

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써(520)

상기 화상을 인코딩하는 단계를 포함하며,

상기 추가 파티셔닝하는 것과 상기 병합하는 것은 적응적 트리 기반의 프레임 파티셔닝을 사용하는(520, 530) 방법.
제19항에 있어서,

탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션들이 구해지는(550) 방법.
제20항에 있어서,

상기 인코딩하는 단계는 트리 기반의 프레임 파티션을 생성하기 위해 초기 파티션의 블록 사이즈를 사용하며,

상기 블록 사이즈는 특정한 비디오 인코딩 표준안 또는 권고안에 관한 트리 기반의 프레임 파티셔닝을 위하여 사용될 수 있는 활용가능한 블록 사이즈들 중 임의의 것인(510, 600) 방법.
제20항에 있어서,

상기 인코딩하는 단계는 비디오 데이터에 대한 수퍼 블록 파티션들을 생성하기 위하여 상기 바틈-업 트리 결합을 사용하는(550, 600) 방법.
제22항에 있어서,

상기 인코딩하는 단계는 상기 바틈-업 트리 결합을 이용하여 16x16 매크로블록들로부터 32x32, 16x32, 및 32x16 파티션들 중 임의의 것을 생성하는(520) 방법.
제22항에 있어서,

상기 인코딩하는 단계는 전체 수퍼 블록에 걸쳐 전역적으로 효율적이 되도록 모션 데이터를 처리하는(1100) 방법.
제20항에 있어서,

상기 인코딩하는 단계는 하이 레벨 신택스를 이용하여 상기 탑-다운 트리 파티셔닝과 상기 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키는 방법.
제25항에 있어서,

상기 인코딩하는 단계는 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 셋트 레벨, 시퀀스 파라미터 셋트 레벨, 네트워크 추상계층 단위 헤더 레벨, 픽쳐 레벨, 슬라이스 레벨, 및 매크로블록 레벨 중 적어도 하나로 상기 하이 레벨 신택스를 코딩하는 방법.
제25항에 있어서,

상기 인코딩하는 단계는 로컬 수퍼 블록 관련 정보를 이에 대응하는 부가 정보 및 비디오 데이터에 대응하는 결과적인 비트스트림 중 적어도 하나에서 내재적인 방식 및 명시적인 방식 중 적어도 하나의 방식으로 시그널링하는(710, 720, 730, 910, 930) 방법.
제27항에 있어서,

상기 인코딩하는 단계는 매크로블록 레벨에서 적어도 하나의 추가 신택스 요소를 이용하여 상기 로컬 수퍼 블록 관련 정보를 명시적으로 시그널링하는(720, 930) 방법.
제27항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 인에이블 표시, 수퍼 블록 디스에이블 표시, 수퍼 블록 종류, 수퍼 블록 사이즈, 및 직사각 수퍼 블록에 대한 파티션 방향 중 적어도 하나를 포함하는(720, 930) 방법.
제27항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 중 하나의 블록에만 임베드되거나(700), 상기 수퍼 블록에 포함되는 블록들의 동일한 그룹에 속한 둘 이상의 블록 사이에 분산되는(900) 방법.
제27항에 있어서,

수퍼 블록 내의 적어도 하나의 블록에 있어서, 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나가 상기 로컬 수퍼 블록 관련 정보, 블록 모드 정보, 및 모션 정보 중 적어도 하나로부터 상기 수퍼 블록에 인코딩되어야 하는 현재의 블록에 대하여 직접적으로 유도되거나, 적어도 하나의 이웃하는 블록에 내재적이거나 명시적으로 임베드되는(730, 910, 925) 방법.
제31항에 있어서,

상기 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 상기 모션 정보 중 적어도 하나를 유도하기 위한 유도 법칙은 블록 스캐닝 순서에 의존하는 방법.
제27항에 있어서,

블록 스캐닝 순서가 비디오 코딩 권고안 또는 비디오 코딩 표준안에 의해 부과되는 기존의 블록 스캔 순서와 동일하거나 상이한 방법.
제20항에 있어서,

상기 인코딩하는 단계는, 상이한 가능한 예측자들이 직접 예측 모드들에 대하여 사용될 수 있도록 하는 적응적 직접 예측 모드들에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소를 상기 직접 예측 모드들에 임베드하는(900) 방법.
제34항에 있어서,

상기 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소는 직접 예측을 위한 적응적 예측자 선택자로서 동작하며, 이웃하는 매크로블록 데이터 및 수퍼 블록 신택스 정보에 기초하여 모션 정보 및 블록 모드 종류 중 적어도 하나가 직접 예측 또는 유도되는(930, 720) 방법.
제20항에 있어서,

코딩된 양자화된 계수들과 코딩되지 않은 양자화된 계수들(325, 350) 중 적어도 하나의 수퍼 블록 적응형 시그널링 및 수퍼 블록 적응형 변환 사이즈 중 적어도 하나를 이용하여 수퍼 블록 사이즈를 핸들링하도록 나머지 코딩이 구성되는 방법.
화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고,

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하고,

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써

상기 화상을 디코딩하는 디코더를 포함하며,

상기 추가 파티셔닝하는 것과 상기 병합하는 것은 적응적 트리 기반의 프레임 파티셔닝을 사용하는 장치.
제37항에 있어서,

탑-다운 트리 파티셔닝과 바틈-업 트리 결합의 조합으로부터 파티션들이 구 해지는 장치.
제38항에 있어서,

상기 디코더(400)는 트리 기반의 프레임 파티션을 생성하기 위하여 초기 파티션의 블록 사이즈를 사용하며, 상기 블록 사이즈는 특정의 비디오 디코딩 표준안 또는 권고안에 관한 트리 기반의 프레임 파티셔닝에 사용될 수 있는 활용가능한 블록 사이즈들 중 임의의 것인 장치.
제38항에 있어서,

상기 디코더(400)는 비디오 데이터에 대한 수퍼 블록 파티션들을 생성하기 위하여 상기 바틈-업 트리 결합을 사용하는 장치.
제40항에 있어서,

상기 디코더(400)는 상기 바틈-업 트리 결합을 이용하여 16x16 매크로블록들로부터 32x32, 16x32, 및 32x16 파티션들 중 임의의 것을 생성하는 장치.
제38항에 있어서,

상기 디코더(400)는 상기 탑-다운 트리 파티셔닝 및 상기 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키기 위하여 적어도 하나의 하이 레벨 신택스 요소를 디코딩하는 장치.
제42항에 있어서,

상기 디코더(400)는 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 셋트 레벨, 시퀀스 파라미터 셋트 레벨, 네트워크 추상계층 단위 헤더 레벨, 픽쳐 레벨, 슬라이스 레벨, 및 매크로블록 레벨 중 적어도 하나로 상기 하이 레벨 신택스를 디코딩하는 장치.
제42항에 있어서,

상기 디코더(400)는 로컬 수퍼 블록 관련 정보를 이에 대응하는 부가 정보 및 비디오 데이터에 대응하는 결과적인 비트스트림 중 적어도 하나로부터 내재적인 방식과 명시적인 방식 중 적어도 하나의 방식으로 디코딩하는 장치.
제44항에 있어서,

상기 디코더(400)는 매크로블록 레벨에서 적어도 하나의 추가의 신택스 요소를 디코딩함으로써 상기 로컬 수퍼 블록 관련 정보를 내재적인 방식과 명시적인 방식 중 적어도 하나의 방식으로 디코딩하는 장치.
제44항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 인에이블 표시, 수퍼 블록 디스에이블 표시, 수퍼 블록 종류, 수퍼 블록 사이즈, 및 직사각 수퍼 블록에 대한 파 티션 방향 중 적어도 하나를 포함하는 장치.
제44항에 있어서,

적어도 하나의 추가의 신택스 요소는 수퍼 블록 중 하나의 블록만으로부터 또는 상기 수퍼 블록에 포함되는 블록들의 동일한 그룹에 속한 둘 이상의 블록 사이의 분산으로부터 디코딩되는 장치.
제44항에 있어서,

수퍼 블록 내의 적어도 하나의 블록에 있어서, 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 모션 정보 중 적어도 하나가 상기 로컬 수퍼 블록 관련 정보, 블록 모드 정보, 및 모션 정보 중 적어도 하나로부터 상기 수퍼 블록에 인코딩되어야 하는 현재의 블록에 대하여 직접적으로 유도되거나, 적어도 하나의 이웃하는 블록에 내재적이거나 명시적으로 임베드되는 장치.
제48항에 있어서,

상기 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 상기 모션 정보 중 적어도 하나를 유도하기 위한 유도 법칙은 블록 스캐닝 순서에 의존하는 장치.
제44항에 있어서,

블록 스캐닝 순서가 비디오 코딩 권고안 또는 비디오 코딩 표준안에 의해 부 과되는 기존의 블록 스캔 순서와 동일하거나 상이한 장치.
제38항에 있어서,

상기 디코더(400)는, 상이한 가능한 예측자들이 직접 예측 모드들에 대하여 사용될 수 있도록 하는 적응적 직접 예측 모드들에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 상기 직접 예측 모드들로부터 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소를 디코딩하는 장치.
제51항에 있어서,

상기 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소는 직접 예측을 위한 적응적 예측자 선택자로서 동작하며, 이웃하는 매크로블록 데이터 및 수퍼 블록 신택스 정보에 기초하여 모션 정보 및 블록 모드 종류 중 적어도 하나가 직접 예측 또는 유도되는 장치.
제38항에 있어서,

코딩된 양자화된 계수들과 코딩되지 않은 양자화된 계수들(325, 350) 중 적어도 하나의 수퍼 블록 적응형 시그널링 및 수퍼 블록 적응형 변환 사이즈 중 적어도 하나를 이용하여 수퍼 블록 사이즈를 핸들링하도록 나머지 디코딩이 구성되는 장치.
화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고(510),

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하고(530),

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써(520)

상기 화상을 디코딩하는 단계를 포함하며,

상기 추가 파티셔닝하는 것과 상기 병합하는 것은 적응적 트리 기반의 프레임 파티셔닝을 사용하는(520, 530) 방법.
제54항에 있어서,

탑-다운 트리 파티셔닝 및 바틈-업 트리 결합의 조합으로부터 파티션들이 구해지는(550) 방법.
제55항에 있어서,

상기 디코딩하는 단계는 트리 기반의 프레임 파티션을 생성하기 위해 초기 파티션의 블록 사이즈를 사용하며,

상기 블록 사이즈는 특정한 비디오 디코딩 표준안 또는 권고안에 관한 트리 기반의 프레임 파티셔닝을 위하여 사용될 수 있는 활용가능한 블록 사이즈들 중 임의의 것인(510, 600) 방법.
제55항에 있어서,

상기 디코딩하는 단계는 비디오 데이터에 대한 수퍼 블록 파티션들을 생성하기 위하여 상기 바틈-업 트리 결합을 사용하는(550, 600) 방법.
제57항에 있어서,

상기 디코딩하는 단계는 상기 바틈-업 트리 결합을 이용하여 16x16 매크로블록들로부터 32x32, 16x32, 및 32x16 파티션들 중 임의의 것을 생성하는(520) 방법.
제55항에 있어서,

상기 디코딩하는 단계는 상기 탑-다운 트리 파티셔닝과 상기 바틈-업 트리 결합 중 적어도 하나를 선택적으로 인에이블 또는 디스에이블시키도록 적어도 하나의 하이 레벨 신택스 요소를 디코딩하는 방법.
제59항에 있어서,

상기 디코딩하는 단계는 슬라이스 헤더 레벨, SEI(Supplemental Enhancement Information) 레벨, 픽쳐 파라미터 셋트 레벨, 시퀀스 파라미터 셋트 레벨, 네트워크 추상계층 단위 헤더 레벨, 픽쳐 레벨, 슬라이스 레벨, 및 매크로블록 레벨 중 적어도 하나로부터 상기 하이 레벨 신택스를 디코딩하는 방법.
제55항에 있어서,

상기 디코딩하는 단계는 로컬 수퍼 블록 관련 정보를 이에 대응하는 부가 정보 및 비디오 데이터에 대응하는 결과적인 비트스트림 중 적어도 하나로부터 내재적인 방식 및 명시적인 방식 중 적어도 하나의 방식으로 디코딩하는(840, 820, 845, 850, 1010, 1020, 1045, 1055) 방법.
제61항에 있어서,

상기 디코딩하는 단계는 매크로블록 레벨에서 적어도 하나의 추가 신택스 요소를 디코딩함으로써 상기 로컬 수퍼 블록 관련 정보를 내재적인 방식 및 명시적인 방식 중 적어도 하나의 방식으로 디코딩하는(810, 820, 840, 1010, 1045) 방법.
제61항에 있어서,

상기 로컬 수퍼 블록 관련 정보는 수퍼 블록 인에이블 표시, 수퍼 블록 디스에이블 표시, 수퍼 블록 종류, 수퍼 블록 사이즈, 및 직사각 수퍼 블록에 대한 파티션 방향 중 적어도 하나를 포함하는(810, 820, 840, 1010, 1045) 방법.
제61항에 있어서,

적어도 하나의 추가 신택스 요소는 수퍼 블록 중 하나의 블록만으로부터 디코딩되거나, 상기 수퍼 블록에 포함되는 블록들의 동일한 그룹에 속한 둘 이상의 블록 사이의 분산으로부터 디코딩되는(810, 820, 840, 1010, 1045) 방법.
제61항에 있어서,

적어도 하나의 추가 신택스 요소는 상기 로컬 수퍼 블록 관련 정보에 대응하는 앞서 코딩된 블록에 대하여 적어도 하나의 이웃하는 블록에 의해 상기 로컬 수퍼 블록 관련 정보가 계승(inherited)되어야 하는지 여부를 선택적으로 시그널링하며(850, 1020), 상기 적어도 하나의 이웃하는 블록의 모션 정보 및 블록 코딩 모드들 중 적어도 하나의 직접 디코딩을 허용하도록 상기 적어도 하나의 추가 신택스 요소로부터 상기 적어도 하나의 이웃하는 블록의 모션 정보 및 블록 코딩 모드들 중 적어도 하나가 직접 유도되는 방법.
제65항에 있어서,

상기 블록 코딩 모드들, 상기 로컬 수퍼 블록 관련 정보, 및 상기 모션 정보 중 적어도 하나를 유도하기 위한 유도 법칙은 블록 스캐닝 순서에 의존하는 방법.
제61항에 있어서,

블록 스캐닝 순서가 비디오 코딩 권고안 또는 비디오 코딩 표준안에 의해 부과되는 기존의 블록 스캔 순서와 동일하거나 상이한 방법.
제55항에 있어서,

상기 디코딩하는 단계는, 상이한 가능한 예측자들이 직접 예측 모드들에 대하여 사용될 수 있도록 하는 적응적 직접 예측 모드들에 기초하여 수퍼 블록 프레임 파티셔닝이 구현되도록, 상기 직접 예측 모드들로부터 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소를 디코딩하는(1020, 850) 방법.
제68항에 있어서,

상기 적어도 하나의 로컬 수퍼 블록 파티션 관련 신택스 요소는 직접 예측을 위한 적응적 예측자 선택자로서 동작하며, 이웃하는 매크로블록 데이터 및 수퍼 블록 신택스 정보에 기초하여 모션 정보 및 블록 모드 종류 중 적어도 하나가 직접 예측 또는 유도되는(840, 845, 850, 1010, 1015, 1020, 1045) 방법.
제39항에 있어서,

코딩된 양자화된 계수들과 코딩되지 않은 양자화된 계수들(325, 350) 중 적어도 하나의 수퍼 블록 적응형 시그널링 및 수퍼 블록 적응형 변환 사이즈 중 적어도 하나를 이용하여 수퍼 블록 사이즈를 핸들링하도록 나머지 디코딩이 구성되는 장치.
비디오 인코딩을 위한 비디오 신호 구조로서,

화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고,

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하고,

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써

인코딩되는 상기 화상을 포함하는 비디오 신호 구조.
비디오 신호 데이터가 인코딩된 저장 매체로서,

화상을 중간 사이즈의 화상 블록들의 셋트로 초기 파티셔닝하는 것을 수행하고,

상기 화상 블록들 중 일부를 선택하여 추가 파티셔닝하고,

상기 화상 블록들 중 다른 것들을 선택하여 병합함으로써

인코딩되는 상기 화상을 포함하는 저장 매체.