KR20190052022A

KR20190052022A - 인트라 기반의 로컬 인터-계층 예측을 위한 방법

Info

Publication number: KR20190052022A
Application number: KR1020197009292A
Authority: KR
Inventors: 도미니끄 또로; 마르땡 알랭; 팡뒤 미카엘 르
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2016-09-30
Filing date: 2017-09-21
Publication date: 2019-05-15
Also published as: EP3301925A1; CN109891888A; US20190238895A1; WO2018060051A1; JP2019534611A; EP3520409A1

Abstract

인터-계층 예측을 수행할 경우, 본 방법 및 장치는, 인트라 LDR 모드를 사용한 LDR 블록의 인트라 예측에 대해 LDR 계층에서 사용된 픽셀들에 기초하여 그리고 또한 동일한 인트라 LDR 모드를 사용한 중간 인트라 예측 블록에 대한 HDR 계층에서의 상동의 픽셀들에 기초하여, 예컨대 LDR 계층으로부터 HDR 계층으로의 예측적 인터-계층 결정들을 행한다. 이들 기반들을 사용함으로써, 인터-계층 HDR 예측 블록을 결정하기 위하여 인버스 톤 맵핑 함수를 추정하고, 그 후, 이 추정된 함수를 LDR 블록에 적용하는 것이 가능하다.

Description

인트라 기반의 로컬 인터-계층 예측을 위한 방법

본 발명은 디지털 비디오 압축에 관한 것으로, 더 상세하게는, 인트라 기반의 로컬 인터-계층 예측을 활용함으로써 기본 계층의 예측 블록을 통해 강화 계층 블록의 개선된 예측을 위한 방법에 관한 것이다.

고 동적 범위 (HDR) 스케일가능 비디오 코딩 및 디코딩은 통상적으로, HDR 인코딩에 전용된 강화 계층 (l_e) 과 함께 저 동적 범위 비디오 (LDR) 인코딩에 전용된 톤 맵핑된 기본 계층 (l_b) 을 수반한다. LDR 이미지 프레임은, HDR 이미지의 동적 범위보다 낮은 동적 범위를 갖는다.

일반적으로, 비디오 코딩 배열들에서 사용될 경우, 톤 맵핑 연산자 (TMO) 는 LDR 이미지 신호를 획득하기 위하여 HDR 이미지 신호에 직접 적용된다. 톤 맵핑 연산자들은 LDR 디스플레이 상으로의 디스플레이를 위해 HDR 이미지에서 이용가능한 광범위한 값들을 재생성할 수 있다. 그 후, LDR 이미지는 표준 LDR 디스플레이 상에 디스플레이될 수 있다.

이 분야에 있어서, 사용을 위해 이용가능한 매우 다양한 톤 맵핑 연산자들이 존재한다. 이들 연산자들의 2개의 타입들은 글로벌 연산자들 및 로컬 연산자들로서 공지된다. 이들 연산자들의 대부분은 아닐지라도 다수가 비선형적이다. 톤 맵핑 연산자들의 이들 타입들의 예들은 당업계에 널리 공지되어 있고, 다음의 예시적인 참고문헌들에서 주어진다: Z. Mai 등, "On-the-fly tone mapping for backward-compatible high dynamic range image/video compression", Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS) (2010년 5월-6월); M. Grundland 등, "Nonlinear multiresolution blending", Machine Graphics & Vision International Journal, Volume 15, No. 3, pp. 381 -390 (2006년 2월); Z. Wang 등, "Interactive tone mapping for high dynamic range video", ICASSP 2010; P. Burt 등, "The Laplacian Pyramid as a compact image code", IEEE Transactions on Communications, Vol. 31, No. 4, pp. 532 - 540 (1983년 4월); P. Burt, "The Pyramid as Structure for Efficient Computation", Multiresolution Image Processing and Analysis, Vol. 12 of the Springer Series in Information Sciences pp 6-35 (1984); Z. Jiedu 등 "Zone-based tone mapping" 의 명칭인 WIPO 국제공개공보 WO 2011/002505; 및 D. Thoreau 등 "Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefore and storage medium or signal carrying a block encoded by help of a modified reference B" 의 명칭인 WIPO 국제공개공보 WO 2010/018137.

글로벌 연산자들은, 전체 이미지에 대해 단조 증가하는 톤 맵 곡선을 연산하기 위해 HDR 프레임의 특성들을 이용한다. 결과적으로, 이들 연산자들은 공간 휘도 일관성 (coherency) 을 보장할 수 있다. 하지만, 이들 톤 맵핑 연산자들은, 일반적으로 HDR 이미지 프레임에 포함된 더 정세한 상세들을 재생하지 못한다. 인버스 톤 맵핑을 수행하기 위하여, 디코더가 인코딩 동안 적용된 글로벌 톤 맵핑 곡선을 "인지"하도록 특정 파라미터들이 디코더에 전송되어야 한다.

글로벌 톤 맵핑 연산자들과 대조적으로, 로컬 연산자들은 그 공간적 이웃에 기초하여 프레임에서의 각각의 픽셀을 톤 맵핑한다. 이들 로컬 톤 맵핑 기법들은 로컬 공간 콘트라스트를 증가시키고, 이에 의해, 더 상세한 프레임들을 제공한다.

이들 연산자들의 적용이 감소된 시간적 일관성을 갖는 특정 문제들을 야기하도록 알려져 있지만, 인터-계층 예측 등과 같은 특정 타입들의 예측에 대해 인버스 톤 맵핑 (즉, iTMO) 을 수행함에 있어서 현저한 비효율성들 및 잠재적인 문제들을 생성하는 것은 톤 맵핑 연산자의 이러한 비선형적 본성이다. 인터-계층 예측의 일 예는, 기본 계층 예측 블록이 공간 스케일가능성 환경에서 업샘플링되었든지 또는 SNR 스케일가능성 환경에서 업샘플링되지 않았든지, 기본 계층 (l_b) 으로부터의 예측 블록 (

) 으로부터 강화 계층 (l_e) 의 블록 (b_e) 의 예측을 수반한다.

인터-계층 예측을 수행할 경우 종래 기술의 이미지 인코딩 및 디코딩 시스템들의 문제들 및 비효율성들은, 인트라 LDR 모드를 사용한 LDR 블록의 인트라 예측에 대해 LDR 계층에서 사용된 픽셀들에 기초하여 그리고 또한 동일한 인트라 LDR 모드를 사용한 중간 인트라 예측 블록에 대한 HDR 계층에서의 상동의 픽셀들에 기초하여 예컨대 LDR 계층으로부터 HDR 계층으로 예측적 인터-계층 결정들을 행함으로써, 본 명세서에 개시된 본 방법들 및 장치에 의해 극복된다. 이들 기반들을 사용함으로써, 인터-계층 HDR 예측 블록을 결정하기 위하여 인버스 톤 맵핑 함수를 추정하고, 그 후, 이 추정된 함수를 LDR 블록에 적용하는 것이 가능하다. 그 후, 이는 이미지 인코딩 및 디코딩 동작들이 더 효율적으로 진행하게 한다.

본 발명의 교시들은 첨부 도면들과 함께 다음의 상세한 설명을 고려함으로써 용이하게 이해될 수 있다.
도 1 은 공간 예측을 예시한다.
도 2 는 인트라 4×4 예측을 예시한다.
도 3 은 인트라 8×8 예측을 예시한다.
도 4 는 HEVC 표준에 따른 인트라 예측 모드들을 예시한다.
도 5 (a) 및 도 5(b) 는, 각각, 본 발명의 원리들에 따른 기본 계층 및 강화 계층의 관점으로부터의 개념적 동작들, 이미지 블록들 및 다른 파라미터들을 도시한다.
도 6 은 본 발명의 원리들에 따라 실현된 인코더의 블록 다이어그램 표현을 도시한다.
도 7 은 본 발명의 원리들에 따라 실현된 디코더의 블록 다이어그램 표현을 도시한다.
도 8 은 본 명세서의 실시형태들에 따른 방법의 일 실시형태를 도시한다.
도 9 는 본 명세서의 실시형태들에 따른 방법의 다른 실시형태를 도시한다.
도 10 은 본 명세서의 실시형태들의 방법들을 수행하기 위한 장치의 일 실시형태를 도시한다.
도면들은 본 발명의 개념들을 예시하기 위한 목적이고 본 발명을 예시하기 위한 반드시 유일의 가능한 구성은 아님을 이해해야 한다. 이해를 용이하게 하기 위해, 동일한 참조부호들은, 가능할 경우, 도면들에 공통인 동일한 엘리먼트들을 지정하도록 사용되었다.

본 방법들 및 장치는 LDR-HDR 스케일가능 비디오 코딩의 맥락에서 인터-계층 예측의 프로세싱을 개선하는 것에 관한 것이다. 스케일가능성은 SNR 스케일가능성 및 공간 스케일가능성을 수반할 수도 있으며, 이들 양자는 당업계에 널리 공지된다. 하기의 설명이 SNR 스케일가능 어플리케이션에 주로 집중할 수도 있지만, 본 방법들 및 장치는, 블록 업샘플링이 수행되는 공간 스케일가능성 환경에 동등하게 적용가능함이 이해될 것이다.

본 명세서에서 설명된 특정 개념들을 이해하기 위하여, 디지털 비디오 압축 기술에서 사용되는 다양한 표준들 중 2개의 표준들에서 공간 예측의 원리에 대한 다음의 배경 정보를 제공하는 것이 유익할 것으로 사료된다. 2개의 표준들은 고효율 비디오 코딩 (HEVC) 및 어드밴스드 비디오 코딩 (AVC) 으로서 공지된다. 이들 널리 공지된 표준들에 관한 정보는 다음과 같이 발견된다:

고효율 비디오 코딩 (HEVC), H.265 및 MPEG-H 파트 2 로서도 또한 공지됨, 2014년에 ITU-T, 고효율 비디오 코딩 (HEVC), 권고안 ITU-T H.265 | 국제 표준 ISO/IEC 23008-2 로서 공포됨;

어드밴스드 비디오 코딩 (AVC), H.264 또는 MPEG-4 파트 10 으로서도 또한 공지됨, 2002년에 ITU-T, Rec. H264|ISO/IEC 14496-10 AVC (MPEG-4) 로서 공포됨.

H.264 표준에 있어서, 인트라 4×4 및 인트라 8×8 예측들은 이웃한 복원된 픽셀들에 기초하여 코딩될 현재 블록의 픽셀들의 공간 추정에 대응한다. 인코딩될 현재 블록은 도 1 에서 "blc" 로서 도시된다.

H.264 의 인트라 4×4 모드 예측에 있어서, 예측은 도 1 로 예시된 바와 같이 복원된 이웃 픽셀들에 의존한다. 도 1 에 있어서, "blc" 는 인코딩하기 위한 현재 블록을 표기하고, blc 의 상위 및 좌측으로의 빗금친 구역은 복원된 픽셀들 또는 인과 구역 (causal zone) 에 대응하고, 픽처 (이미지) 의 나머지 미음영된 부분은 아직 인코딩되지 않으며, 그리고 (blc 에 인접한 검은 점들로서 도시된) 인과 부분 내부의 좌측 열 및 상부 라인의 픽셀들은 blc 에 대한 공간 예측을 실행하기 위해 사용됨이 이해되어야 한다.

인트라 4×4 예측과 관련하여, 상이한 모드들이 도 2 에 예시된다. H.264 표준은 픽셀들 예측을 정교화하기 위하여 상이한 방향성 예측 모드들을 명시한다. 모드들 0-8 로서 도시된 9개의 인트라 예측 모드들은 매크로블록 (MB) 의 4×4 및 8×8 블록 사이즈들에서 정의된다. 도 2 와 관련하여 설명된 바와 같이, 이들 방향성 모드들 중 8개 모드들은, 예측하기 위해 현재 블록을 둘러싸는 픽셀들 (좌측 열 및 상부 라인) 에 기초한 1D 방향성 외삽으로 이루어진다. 인트라 예측 모드 2 (DC 모드) 는 예측된 블록 픽셀들을 가용 주변 픽셀들의 평균으로서 정의한다.

예시적인 4×4 예측들은 다음과 같이 실행된다:

모드 1 (수평) 에 있어서, 픽셀들 "e", "f", "g" 및 "h" 는 복원된 픽셀 "J" (좌측 열) 로 예측된다.

모드 5 에 있어서 "a" 는 (Q+A+1)/2 에 의해 예측되고, "g" 및 "p" 는 (A+2B+C+2)/4 에 의해 예측된다.

도 3 은 인트라 8×8 예측들의 원리를 예시한다. 이들 8×8 예측들은, 예를 들어, 다음과 같이 실행된다:

"p_rd(i,j)" 는 현재 블록을 예측하기 위한 픽셀들을 표기하고, 좌표들 (i,j) 은, 블록에서의 제 1 픽셀이 현재 블록에서의 최좌측 열에서의 상부 행에 있고 그것이 인덱스들 (0,0) 에 의해 표기되도록 블록에서의 라인 (행) 및 열을 표기한다고 한다.

모드 1 (수평) 에 있어서, 예를 들어, 픽셀들 (p_rd(0,0), p_rd(0,1), ... 및 p_rd(0,7)) 은 복원된 "Q" 픽셀로 예측된다.

모드 5 에 있어서, 예를 들어, p_rd(0,0) 는 (M+A+1)/2 에 의해 예측되고, p_rd(1,2) 및 p_rd(3,3) 는 (A+2B+C+2)/4 에 의해 예측된다.

매크로블록의 크로마 샘플들은, 인트라 16×16 매크로블록들에서의 루마 컴포넌트에 대한 것과 유사한 예측 기법을 사용하여 예측된다. 4개의 예측 모드들이 지원된다. 예측 모드 0 은 수직 예측 모드이고, 모드 1 은 수평 예측 모드이고, 모드 2 는 DC 예측 모드이다. 이들 예측 모드들은 인트라 4×4 에서의 모드들과 유사하게 명시된다.

그 후, 인트라 예측은 상이한 예측 방향들을 사용하여 수행된다. 현재 블록과 예측된 블록 사이의 차이인 레지듀 (residue) 가 이산 코사인 변환과 같은 기법을 사용하여 주파수 변환된다. 그 후, 최종적으로 전송되기 전에 양자화되고 엔트로피 인코딩된다.

인코딩 이전에, 이용가능한 9개의 예측 모드들로부터 최상의 예측 모드가 선택된다. 방향 예측에 대해, 예를 들어, 절대 차이의 합 측정치 (SAD) 가 사용될 수 있다. 이 측정치는 인코딩하기 위한 현재 블록과 예측된 블록 사이에서 연산된다. 예측 모드는 각각의 서브 파티션에 대해 인코딩된다.

HEVC 인트라 예측은 블록 사이즈에 따라 동작한다. 공간적으로 이웃한 블록들로부터의 이전에 디코딩된 경계 샘플들은 예측 신호를 형성하는데 사용된다. 33개의 상이한 방향성 배향들 또는 방향성 모드들을 갖는 방향성 예측은 4×4 로부터 32×32까지의 블록 사이즈들에 대해 정의된다. 가능한 예측 방향들이 도 4 에 도시된다. 대안적으로, 평면성 예측 및 DC 예측이 또한 사용될 수 있다. 평면성 예측은 경계들로부터 도출된 수평 및 수직 기울기를 갖는 진폭 표면을 가정하는 반면, DC 예측은 경계 샘플들의 평균 값과 매칭하는 값을 갖는 편평한 표면을 가정한다.

크로마에 대해, 수평, 수직, 평면성 및 DC 예측 모드들이 명시적으로 시그널링될 수 있다. 대안적으로, 크로마 예측 모드는 루마 예측 모드와 동일하도록 표시될 수 있다.

상기 본 명세서에서 설명된 바와 같이 나타낸 방향성 예측 모드들 및 모드 인덱스의 개념은 본 발명의 주제의 설명을 진행하기 위하여 독자를 위해 충분히 전개된 것으로 사료된다.

인트라 예측은 이미지 및 비디오 압축 방법들의 핵심 컴포넌트이다. 공간 이웃에서의 공지된 샘플들 또는 관측들이 주어지면, 인트라 예측의 목적은 예측될 블록의 미지의 픽셀들을 추정하는 것이다.

스케일가능 HDR 비디오 인코딩의 맥락에 있어서, 현재의 HDR 강화 계층 (l_e) 에 전용된 기본 계층 (l_b) 으로부터의 HDR 예측을 개선하는 것이 본 명세서에 개시된 실시형태들의 목적이다. 이미지들이 기본 계층에서 톤 맵핑되기 때문에, 기본 계층으로부터의 예측은 인버스 톤 맵핑될 필요가 있다. 본 명세서에 개시된 방법들 및 장치는, 인터-계층 HDR 예측 블록을 생성하기 위하여 인버스 톤 맵핑 함수를 추정하고 그 후 이 함수를 LDR 블록에 적용하도록 LDR 블록의 인트라 예측에 대해 LDR 계층에서 사용된 픽셀들 및 HDR 계층에서의 상동의 픽셀들을 국부적으로 고려함으로써 종래기술 기법들에 비해 인터 계층 예측 LDR 대 HDR 을 개선하도록 의도된다. 즉, 예컨대 LDR 계층으로부터 HDR 계층으로의 예측적 인터-계층 결정들은, 인트라 LDR 모드를 사용한 LDR 블록의 인트라 예측에 대해 LDR 계층에서 사용된 픽셀들에 기초하고 그리고 또한 동일한 인트라 LDR 모드를 사용한 중간 인트라 예측 블록에 대한 HDR 계층에서의 상동의 픽셀들에 기초할 것이다. 본 시스템 및 방법은 고려 중인 LDR 및 HDR 블록들 주위의 픽셀들의 미리결정된 템플릿 (즉, 형상) 의 사용을 회피한다.

본 본 명세서에 설명된 기법들은, 특정 톤 맵핑 연산자에 의해 도출되는 톤 맵핑된 기본 계층 (l_b) 가 LDR 비디오 인코딩에 전용되는 한편 대응하는 강화 계층 (l_e) 은 HDR 비디오 인코딩에 전용되는 HDR SNR 스케일가능 비디오 코딩에 적용가능하다. 이 시나리오에 있어서, 컴포넌트 i 가 예를 들어 R, G 또는 B 인 강화 계층의 (인코딩하기 위한) 주어진 컴포넌트의 현재 블록 (b_e,i) 의 인코딩을 위해, 기본 계층에서의 병치된 (즉, 상동의) 블록 (b_b,i) 으로부터 추출된 예측 블록을 찾는 것이 필요하다. 이러한 기본 계층 블록은 인터-계층 예측 블록을 생성하기 위해 추정된 함수를 사용하여 인버스 톤 맵핑된다. LDR 계층으로부터 HDR 계층으로의 이러한 인터-계층 예측은 인버스 톤 맵핑 함수를 추정하기 위하여:

LDR 블록의 인트라 예측 블록에 대해 LDR 계층에서 사용된 픽셀들, 및

동일한 인트라 LDR 모드를 갖는 중간 인트라 예측 블록에 대한 HDR 계층에서의 상동의 병치된 픽셀들

을 국부적으로 고려하는 것, 및 그 후 이러한 추정된 함수를 LDR 블록에 적용하는 것에 의해, 실현된다.

인코딩 방법 및 등가의 인코더 장치가 다음의 설명적 개요로부터 이해될 수 있다. 픽셀들의 주어진 HDR 이미지 블록의 임의의 컴포넌트 (예를 들어, R, G, B) 의 인코딩에 대해, 병치된 (따라서, 상동의) 복원된 LDR 블록을 고려하는 것은 필수적이다. LDR 블록이 인트라 코딩되면, 본 방법은, LDR 인트라 모드 (m_b) 를 사용하여 연산되는 LDR 인트라 예측 블록을 유지 또는 구축함으로써 진행한다. 그 후, 중간 HDR 인트라 예측 블록은 동일한 LDR 인트라 모드 (m_b) 를 사용하여 구축된다. 전달 함수 (F()) 는 LDR 인트라 예측 블록과 중간 인트라 HDR 예측 블록 사이에서 추정된다. 그 후, 추정된 전달 함수 (F()) 는 인터-계층 예측 블록을 생성하기 위하여 주어진 컴포넌트의 LDR 블록에 적용된다. 그 후, 현재 블록과 인터-계층 예측 블록 사이에서 연산된 예측 에러가 양자화되고 전송을 위해 인코딩된다.

유사한 방식으로, 디코딩 방법 및 등가의 디코더 장치가 다음의 설명적 개요로부터 이해될 수 있다. 픽셀들의 주어진 HDR 블록이 디코딩을 위해 수신된다. LDR 병치된 블록 (즉, 상동의 블록) 이 인트라 코딩되면, 픽셀들의 주어진 HDR 이미지 블록의 임의의 컴포넌트 (예를 들어, R, G, B) 에 대해, 중간 HDR 인트라 예측 블록이 LDR 인트라 모드 (m_b) 를 사용하여 구축된다. 전달 함수 (F()) 는 LDR 인트라 예측 블록과 중간 인트라 HDR 예측 블록 사이에서 추정된다. 그 후, 추정된 전달 함수 (F()) 는 인터-계층 예측 블록을 생성하기 위하여 주어진 컴포넌트의 LDR 블록에 적용된다. 예측 에러 블록은 현재 블록과 인터-계층 예측 블록 사이에서 연산된다. 디코딩 및 탈양자화가 예측 에러 블록에 대해 수행된다. 최종적으로, HDR 디코딩된 블록이, 예측 에러 블록을 인터 계층 예측 블록에 부가함으로써 복원된다.

상기 설명된 인코딩 및 디코딩에 대한 임계 동작들이 도 5(a) 및 도 5(b) 에 예시된다. 도 5(a) 는 기본 계층에서의 복원의 프로세스에서의 이미지 블록에 관련되지만, 도 5(b) 는 강화 계층에서의 복원의 프로세스에서의 이미지 블록에 관련된다. 이미지 블록들의 음영된 부분들은 블록의 복원된 부분을 나타내지만, 미음영된 부분들은 아직 복원되지 않은 부분들을 나타낸다.

강화 계층 이미지 (l_e) 의 주어진 i 컴포넌트의 현재 블록과 관련하여 도 5(b) 에 도시된 표기법들은 다음과 같다:

미지이고 미음영된 박스로서 도시된 강화 계층에 대해 예측하기 위한 현재 블록은

임; 그리고

현재 블록에 이웃해 있는 기지의 복원된 (또는 디코딩된) 픽셀들은

이고 작은 이웃한 점들로서 도시된다.

아랫첨자된 인덱스 k, u 및 i 는, 각각, "기지의", "미지의" 및 컴포넌트 인덱스 (예를 들어, i = r, g 또는 b) 를 나타낸다. 이와 같이, 인코딩을 위한 현재 블록은

와 같이 표기된다.

기본 계층 (l_b) 의 이미지와 관련하여 도 5(b) 에 도시된 표기법들은 다음과 같다:

기지인 기본 계층의 병치된 블록은

임 - 이 블록은 강화 계층에서 그 블록을 예측하기 위하여 현재 블록과 병치되거나 상동임이 이해되어야 함; 그리고

현재 블록과 병치되거나 상동인 블록에 이웃해 있는 기지의 복원된 (또는 디코딩된) 픽셀들은

임.

블록들이 상동이거나 병치되는 것으로서 참조된다는 사실은, 이들이 강화 계층에서 및 기본 계층에서 블록의 실질적으로 동일한 부분들로부터 충당됨을 의미한다.

그 목적은 각각의 컴포넌트 i 에 대한 병치된 기본 계층 블록 (

) 으로부터 현재의 강화 계층 블록 (

) 에 대한 예측의 블록을 결정하는 것이다. 인터 계층 예측은, 도 5(a) 및 5(b) 에 도시된 바와 같이, 기본 및 강화 계층 인트라 예측 블록들 (

및

) 로부터 추정된 함수적 변환 (F()) 에 기초한다.

이 변환 (F()) 은 오프셋 (o) 및 스케일 팩터 (s) 에 기초한다. 인트라 예측 블록들 (

및

) 로의 인터-계층 예측의 경우, 변환 (F()) 은 다음과 같이 주어진다:

스케일 팩터 (s) 는 강화 및 기본 계층 예측 블록들의 픽셀들 (y 및 x) 로부터의 선형 회귀에 의해 획득된다. 각각의 블록은 n개 픽셀들로 구성되고, 소문자 표기법은 대문자 표기법에 의해 표시된 블록 내의 픽셀을 나타낸다. 스케일 팩터 (s) 는 다음과 같이 결정된다.

여기서:

이고,

j 는 블록들 내부의 픽셀들의 인덱스이다. 오프셋 값 (o) 은 다음과 같이 결정된다:

F(X) 가

및

로부터 추정될 경우, 강화 계층의 현재 블록 (

) 의 예측 (

) 은 다음과 같이 기본 계층의 블록 (

) 으로부터 연산된다:

여기서,

이고

이다.

예측 잔차의 블록 (

) 은, 현재 블록 및 현재 블록의 예측을 사용하여 다음과 같이 연산된다:

그 후, 이산 코사인 변환 (DCT) 과 같은 변환이 예측 잔차의 블록 (

) 에 적용되어, 변환된 계수들을 발생시킨다:

최종적으로, 변환된 계수들 (r_e) 은, 엔트로피 인코딩되고 비트스트림으로 전송되기 전에 r_eq 로서 양자화될 수 있다. 인터 이미지, 인트라 이미지 및 인터-계층 예측을 위해 재사용되기 위하여, 블록은 탈양자화된 예측 에러 (r_edq) 로부터 국부적으로 복원되고 예측 (

) 에 부가되어 복원된 (또는 디코딩된) 블록 (

) 을 생성하며, 여기서, 윗첨자 "'" 는 "복원된" 또는 "디코딩된" 것을 의미하도록 의도되고, 아랫첨자 "k" 는 블록 (

) 이 이제 코더 또는 디코더 측에서 알려짐을 나타낸다.

본 방법의 기법들을 채용함에 있어서, 인트라 예측에 대해 LDR 계층에서 사용될 픽셀들 및 HDR 계측 및 예측의 전체 블록들, 즉, LDR 예측 블록 및 중간 HDR 예측 블록에서의 상동의 픽셀들에 기초하는 전달 함수 (F()) 의 파라미터들을 추정하는 것으로부터 획득된 이점은, 예를 들어, H.264 및 HEVC 의 공간 인트라 외삽 예측 모드에 의해 주어진 외삽된 픽셀들의 사용, 및 종래 기술에 의해 규정된 바와 같은 오직 이웃한 픽셀들 대신 F() 함수 (식 1, 2 및 3 참조) 의 파라미터들의 추정에서의 예측 블록들 내부에서의 "양호한"외삽된 픽셀들의 영향으로부터 비롯됨이 자명하다.

도 6 은 본 개시에서의 원리들에 따라 실현된 코더의 예시적인 실시형태를 예시한 개략 블록 다이어그램이다. 스케일가능 코딩 프로세스의 일 예가 도 6 을 참조하여 설명될 것이다.

도 6 에 도시된 바와 같이, 코더 (200) 는 일반적으로 2개의 부분들을 포함하며, 하나는 기본 계층을 코딩하기 위한 제 1 코더 엘리먼트들 (205-245) 이고, 다른 하나는 강화 계층을 코딩하기 위한 제 2 코더 엘리먼트들 (250-295) 이다.

인코더는 HDR 이미지 블록들 (b_e) 의 시퀀스를 기본 계층 및 강화 계층의 각각에서의 픽셀들의 블록들의 시퀀스로 인코딩한다. HDR 강화 계층 (el) 의 원래의 이미지 블록 (b_e) 은, LDR 기본 계층 (bl) 의 원래의 톤 맵핑된 이미지 블록 (b_bc) 을 생성하기 위해 톤 맵핑 연산자 (205) (TMO) 에 의해 톤 맵핑된다. HDR 강화 계층의 원래의 이미지 블록 (b_e) 은 장치의 버퍼 또는 저장 디바이스에 저장되어 있었을 수도 있다.

하기에서 설명되는 바와 같이, 제 1 코더 엘리먼트들 (205-245) 은, 기본 계층에서, 복수의 모드 인덱스들에 포함된 모드 인덱스 (m_b) 에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 기본 계층에 대한 블록들의 시퀀스에 포함된 기본 계층 잔차 에러 블록 (r_b) 으로의 HDR 이미지 블록 (b_bc) 의 톤 맵핑된 표현의 제 1 인코딩을 수행하고, 여기서, 이 제 1 인코딩은 적어도 복원된 기본 계층 블록 (

) 및

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 을 생성하기 위해 구성된다.

LDR 기본 계층의 원래의 이미지 블록 (b_bc) 및 레퍼런스 프레임 버퍼 (210) 에 저장된 이전에 디코딩된 이미지들로, 모션 추정기 (215) 는 모드 인덱스 (m_b) 를 갖는 최상의 이미지 예측 이미지 블록 (

) 을 결정한다.

모드 판정 프로세스를 위한 엘리먼트 (220) 가 공간 예측기 (225) 로부터 이미지 예측 이미지 블록을 선택할 경우, 조합기 (230) 에 의한 원래의 이미지 블록 (b_bc) 과 인트라 예측 이미지 블록 (

) 사이의 차이로, 잔차 예측 에러 (r_b) 가 연산된다.

잔차 예측 에러 (r_b) 는 변환기/양자화기 (235) 에 의해 이산 코사인 변환을 통해 변환되고 양자화되며, 그 후, 엘리먼트 (235) 로부터의 출력 (r_bq) 은 엔트로피 코더 (240) 에 의해 엔트로피 코딩되고, 기본 계층 비트 스트림으로의 전송을 위해 전송된다. 부가적으로, 역 변환기/탈양자화기 (242) 에 의해 생성된 역 변환 및 양자화된 예측 에러 (r_b) 를 조합기 (245) 에서 예측 이미지 블록 (

) 에 부가함으로써 디코딩된 블록 (b_b) 이 국부적으로 복원된다. 복원된 (또는 디코딩된) 프레임은 기본 계층 레퍼런스 프레임 버퍼 (210) 에 저장된다.

본 실시형태에 따르면, 엘리먼트들 (255-260) 을 제외한 강화 계층에서의 제 2 코더 엘리먼트들 (250-295) 의 구조는 기본 계층에서의 제 1 코더 엘리먼트들 (210-245) 과 동작적으로 동일함을 유의해야 한다. 제 2 코더 엘리먼트들은, 강화 계층에서, 강화 계층에 대한 블록들의 시퀀스에 포함된 강화 계층 잔차 에러 블록 (r_e) 으로의 HDR 이미지 블록 (b_e) 의 제 2 인코딩을 수행하고, 여기서, 이 제 2 인코딩은 기본 계층 인코딩으로부터의 동일한 모드 인덱스 (m_b) 로 수행되고, 이 제 2 인코딩은 상기 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록 (

) 을 생성하기 위해 구성된다. 제 2 인코딩은 중간 강화 계층 인트라 예측 블록 (

) 과

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 사이의 전달 함수 (F()) 를 추정하는 것; 추정된 전달 함수를 복원된 기본 계층 블록 (

) 에 적용함으로써 인터-계층 예측 블록 (

) 을 연산하는 것; 및 HDR 이미지 블록 (b_e) 과 인터-계층 예측 블록 (

) 사이의 차이로서 강화 계층 잔차 에러 블록 (r_e) 을 결정하는 것을 더 포함한다.

LDR 기본 계층 (l_b) 의 블록 (b_b) 은 이 예에 있어서 인트라 이미지 모드에서 코딩된다. LDR 기본 계층의 병치된 블록 (bb) 에 사용된 모드 인덱스 (m_b) 는 HDR 강화 계층의 현재 블록에 활용된다. 이러한 모드 인덱스 (m_b) 로, 모션 보상기 (250) 는 HDR 강화 계층 레벨에서 예측 블록 () 을 결정하고, 모션 보상기 (215) 는 LDR 기본 계층 레벨에서 예측 블록 (

) 을 결정한다.

전달 함수 (F()) 추정기 (255) 는 중간 강화 계층 인트라 예측 블록 (

) 과

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 사이의 전달 함수 (F()) 를 추정한다. 인터-계층 예측 엘리먼트 (260) 는 추정된 전달 함수를 복원된 기본 계층 블록 (

) 에 적용함으로써 인터-계층 예측 블록 (

) 을 연산한다.

조합기 (275) 에 의해, 원래의 강화 계층 이미지 블록 (b_e) 과 HDR 강화 계층 (인터-계층) 예측 블록 (

) 사이의 차이로, HDR 강화 계층 레지듀 (잔차 예측 에러) (r_e) 가 연산된다. HDR 강화 계층 레지듀 (잔차 예측 에러) (r_e) 는 변환기/양자화기 (280) 에 의해 r_eq 로 변환 및 양자화된다. 그 후, 양자화된 HDR 강화 계층 레지듀 (잔차 예측 에러) (r_eq) 는 엔트로피 코더 (285) 에 의해 엔트로피 코딩되고 강화 계층 비트 스트림으로 전송된다.

최종적으로, 역 변환기/탈양자화기 (287) 로부터의 역 변환 및 양자화된 예측 에러 (r_e) (r_edq) 를 조합기 (290) 에 의해 HDR 강화 계층 (인터 계층) 예측 블록 (

) 에 부가함으로써 디코딩된 블록 (b_e) 이 국부적으로 재건된다. 복원된 (또는 디코딩된) 이미지는 강화 계층 레퍼런스 프레임 버퍼 (295) 에 저장된다.

도 7 은 본 개시의 일 실시형태에 따른 디코더의 일 예를 예시한 개략 블록 다이어그램이다. 스케일가능 디코딩 프로세스의 일 예가 도 7 을 참조하여 설명될 것이다.

도 7 에 도시된 바와 같이, 디코더 (400) 는 일반적으로 2개의 부분들을 포함하며, 하나는 기본 계층을 디코딩하기 위한 제 1 디코더 엘리먼트들 (405-430) 이고, 다른 하나는 강화 계층을 디코딩하기 위한 제 2 코더 엘리먼트들 (440-475) 이다. 디코더는 적어도 이미지의 강화 계층 비트스트림을 강화 계층 이미지 블록들의 시퀀스로 디코딩한다. 디코더는 또한, 이미지의 기본 계층 비트스트림을 기본 계층 이미지 블록들의 시퀀스로 디코딩할 수 있다. 디코더는 강화 계층 비트스트림 및 대응하는 기본 계층 비트스트림을 수신하도록 구성된다.

제 1 디코더 엘리먼트들 (405-430) 은, 기본 계층에서, 적어도 복원된 기본 계층 블록 (

) 및

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 을 생성하기 위해, 복수의 모드 인덱스들에 포함된 모드 인덱스 (m_b) 에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 기본 계층 비트스트림의 제 1 디코딩을 수행한다.

기본 계층 (bl) 에 대한 디코딩에 있어서, 기본 계층 (bl) 비트스트림은 엔트로피 디코더 (405) 에 입력된다. 기본 계층 비트스트림으로부터, 주어진 블록에 대해, 엔트로피 디코더 (405) 는, 변환 및 양자화된 예측 에러 (r_bq) 및 관련 모드 인덱스 (m_b) 를 디코딩한다. 기본 계층 (bl) 비트스트림은, 통신 또는 전송을 통해 저장하였던 외부 소스로부터 또는 기록하였던 컴퓨터 판독가능 저장 매체로부터 디코더 (400) 에 제공되거나 디코더 (400) 에 의해 수신될 수도 있다.

디코딩된 잔차 예측 에러 (r_bq) 는 역 변환기/탈양자화기 (410) 에 의해 역 변환 및 탈양자화된다. 기본 계층 레퍼런스 프레임 버퍼 (415) 에 저장되고 그로부터 제공된 레퍼런스 이미지 및 엔트로피 디코더 (405) 로부터 제공된 모드 인덱스 (m_b) 로, 모션 보상기 (420) 는 인트라 이미지 예측 블록 (

) 을 결정한다.

복원된 (또는 디코딩된) 기본 계층 이미지 블록은, 역 변환 및 탈양자화된 예측 에러 (r_bdq) 를 조합기 (430) 에 의해 인트라 이미지 예측 블록 (

) 에 부가함으로써 국부적으로 재건된다. 복원된 (또는 디코딩된) 프레임은 기본 계층 레퍼런스 프레임 버퍼 (415) 에 저장되고, 이 복원된 (또는 디코딩된) 프레임들은 다음 기본 계층 인터 이미지 예측을 위해 사용된다.

제 2 코더 엘리먼트들 (440-475) 은, 강화 계층에서,

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 과 상동인 적어도 중간 강화 계층 인트라 예측 블록 (

) 을 생성하기 위해 상기 모드 인덱스 (m_b) 에 기초하여 강화 계층 비트스트림에 대해 제 2 디코딩을 수행한다. 제 2 디코딩은 중간 강화 계층 인트라 예측 블록 (

) 과 기본 계층 인트라 예측 블록 (

) 사이의 전달 함수 (F()) 를 추정하는 것; 추정된 전달 함수 (F()) 를 복원된 기본 계층 블록 (

) 에 적용함으로써 인터-계층 예측 블록 (

) 을 연산하는 것; 및 수신된 강화 계층 비트스트림 (el 비트스트림) 에 기초하여 인터-계층 예측 블록 (

) 을 복원된 강화 계층 예측 에러 블록 (r_edq) 에 부가함으로써 복원된 강화 계층 이미지 블록을 결정하는 것을 더 포함한다.

본 실시형태에 따르면, 엘리먼트들 (455-460) 을 제외한 강화 계층에 대한 제 2 코더 엘리먼트들 (440-475) 의 구조는 기본 계층에 대한 제 1 코더 엘리먼트들 (405-430) 과 동일함을 유의해야 한다.

강화 계층 (el) 비트스트림은 엔트로피 디코더 (440) 에 입력된다. 강화 비트스트림으로부터, 주어진 블록에 대해, 엔트로피 디코더 (440) 는, 변환 및 양자화된 예측 에러 (r_eq) 를 디코딩한다. 강화 계층 (el) 비트스트림은, 통신 또는 전송을 통해 저장하였던 외부 소스로부터 또는 기록하였던 컴퓨터 판독가능 저장 매체로부터 디코더 (440) 에 제공되거나 디코더 (400) 에 의해 수신될 수도 있다.

잔차 예측 에러 (r_eq) 는 역 변환기/탈양자화기 (445) 에 의해 역 변환 및 탈양자화된다 (r_edq).

디코딩하기 위한 블록 (b_e) 의 코딩 모드가 인트라 모드에 대응하면, LDR 기본 계층의 병치된 블록 (b_b) 의 모드 인덱스 (m_b) 는 HDR 강화 계층의 블록 (b_e) 을 디코딩하기 위해 고려될 수 있다.

이러한 모드 인덱스 (m_b) 로, 모션 보상기 (450) 는 HDR 강화 계층 레벨에서 예측 블록 (

) 을 결정하고, 모션 보상기 (420) 는 LDR 기본 계층 레벨에서 예측 블록 (

) 을 결정한다.

전달 함수 (F()) 추정기 (455) 는 중간 강화 계층 인트라 예측 블록 (

) 과

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 사이의 전달 함수 (F()) 를 추정한다. 인터-계층 예측 엘리먼트 (460) 는 추정된 전달 함수 (F()) 를 복원된 기본 계층 블록 (

) 에 적용함으로써 인터-계층 예측 블록 (

) 을 연산한다.

복원된 (또는 디코딩된) 강화 계층 블록은, 역 변환 및 탈양자화된 예측 에러 블록 (r_edq) 를, 조합기 (470) 에 의해,

로서 또한 나타낸 기본 계층 인트라 예측 블록 (

) 에 부가함으로써, 구축된다. 복원된 (또는 디코딩된) 프레임은 강화 계층 레퍼런스 프레임 버퍼 (475) 에 저장되고, 이 복원된 (또는 디코딩된) 프레임들은 다음 강화 계층 인터 이미지 예측을 위해 사용된다.

공간 스케일가능성 - 주어진 스케일 팩터 (Sc) 의 공간적 인터-계층의 경우에 있어서, 하나의 솔루션은, 업-샘플링된 예측 블록 (

) 이 주어질 때 기본 계층 인트라 예측 블록 (

) 을, Sc 스케일 팩터로, 보간하는 것, 및 식 1, 식 2 및 식 3 을 이용하여 중간 인트라 HDR 예측 블록 (

) 과 업-샘플링된 블록 (

) 사이의 전달 함수 (F()) 를 연산하는 것으로 이루어진다. 최종적인 예측은, 복원 및 업-샘플링된 기본 계층 블록 (

) 에 전달 함수 (F()) 를 적용함으로써, 구축된다.

HDR 이미지 블록들의 시퀀스를 기본 계층 및 강화 계층의 각각에서의 픽셀들의 블록들의 시퀀스로 인코딩하기 위한 방법 (800) 의 일 실시형태가 도 8 에 도시된다. 그 방법은, 기본 계층에서, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 기본 계층에 대한 블록들의 시퀀스에 포함된 기본 계층 잔차 에러 블록으로 HDR 이미지 블록의 톤 맵핑된 표현을 제 1 인코딩하는 단계를 포함하고, 제 1 인코딩은 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해 구성된다. 그 방법은 또한, 강화 계층에서, 강화 계층에 대한 블록들의 시퀀스에 포함된 강화 계층 잔차 에러 블록으로의 HDR 이미지 블록의 제 2 인코딩을 포함하고, 제 2 인코딩은 모드 인덱스로 수행되고, 제 2 인코딩은 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 구성된다. 제 2 인코딩은 중간 강화 계층 인트라 예측 블록과 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 것, 추정된 전달 함수를 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 것, 및 HDR 이미지 블록과 인터-계층 예측 블록 사이의 차이로서 강화 계층 잔차 에러 블록을 결정하는 것을 더 포함한다.

도 9 는 적어도 이미지의 강화 계층 비트스트림을 강화 계층 이미지 블록들의 시퀀스로 디코딩하기 위한 방법의 일 실시형태를 도시하며, 그 방법은 강화 계층 비트스트림 및 대응하는 기본 계층 비트스트림을 수신하는 단계, 및 기본 계층에서, 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 기본 계층 비트스트림을 제 1 디코딩하는 단계를 포함한다. 그 방법은, 강화 계층에서, 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 모드 인덱스에 기초하여 강화 계층 비트스트림의 제 2 디코딩을 더 포함하고, 제 2 디코딩은 중간 강화 계층 인트라 예측 블록과 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 것, 추정된 전달 함수를 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 것, 및 수신된 강화 계층 비트스트림에 기초하여 인터-계층 예측 블록을 복원된 강화 계층 예측 에러 블록에 부가함으로써 복원된 강화 계층 블록을 결정하는 것을 더 포함한다.

도 10 은 적어도 도 8 또는 도 9 의 실시형태들을 수행하기 위한 장치의 일 실시형태를 도시한다. 그 장치는 도 8 또는 도 9 의 단계들을 수행하도록 구성된 프로세서와 통신하는 메모리를 포함한다.

도면들에 도시된 다양한 엘리먼트들의 기능들은 전용 하드웨어뿐 아니라 적절한 소프트웨어와 연관하여 소프트웨어를 실행 가능한 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 경우, 그 기능들은 단일의 전용 프로세서에 의해, 단일의 공유된 프로세서에 의해, 또는 복수의 개별 프로세서들에 의해 제공될 수 있으며, 이들 중 일부는 공유될 수 있다. 더욱이, 용어 "프로세서" 또는 "제어기" 의 명시적인 사용은 소프트웨어를 실행 가능한 하드웨어를 배타적으로 지칭하는 것으로 해석되지 않아야 하며, 디지털 신호 프로세서 ("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리 ("ROM"), 랜덤 액세스 메모리 ("RAM"), 및 비휘발성 저장부를 한정없이 암시적으로 포함할 수 있다. 더욱이, 본 발명의 원리들, 양태들, 및 실시형태들뿐 아니라 그 특정 예들을 기재하는 본 명세서에서의 모든 진술들은 그 구조적 및 기능적 균등물들 양자 모두를 포괄하도록 의도된다. 부가적으로, 그러한 균등물들은 현재 공지된 균등물들 뿐 아니라 장래에 개발되는 균등물들 양자 모두 (즉, 구조에 무관하게 동일한 기능을 수행하는 개발된 임의의 엘리먼트들) 를 포함함이 의도된다.

따라서, 예를 들어, 본 명세서에서 제시된 블록 다이어그램들은 본 발명의 원리들을 구현하는 예시적인 시스템 컴포넌트들 및/또는 회로부의 개념적 뷰들을 표현함이 당업자에 의해 인식될 것이다. 유사하게, 임의의 플로우 차트들, 플로우 다이어그램들, 상태 천이 다이어그램들, 의사코드 등은, 컴퓨터 판독가능 매체들에 실질적으로 표현되고 따라서 컴퓨터 또는 프로세서에 명시적으로 나타나든지 아니든지 그러한 컴퓨터 또는 프로세서에 의해 실행될 수도 있는 다양한 프로세스들을 표현함이 인식될 것이다.

레퍼런스 샘플들이 미싱되거나 이용불가능할 경우 디지털 비디오 압축에 있어서 인트라 프레임 예측을 개선하기 위한 방법에 대한 다양한 실시형태들을 설명하였지만, 그 방법의 수정들 및 변동들이 상기 교시들의 관점에서 당업자들에 의해 행해질 수 있음을 유의한다. 따라서, 본 발명의 범위 내에 있는 개시된 본 발명의 특정 실시형태들에서 변경들이 행해질 수도 있음이 이해되어야 한다. 전술한 바는 본 발명의 다양한 실시형태들에 관한 것이지만, 본 발명의 다른 실시형태들 및 추가의 실시형태들이 그 기본적인 범위로부터 일탈함없이 발명될 수도 있다.

Claims

HDR 이미지 블록들의 시퀀스를 기본 계층 및 강화 계층의 각각에서의 픽셀들의 블록들의 시퀀스로 인코딩하기 위한 방법으로서,
상기 방법은,
상기 기본 계층에서, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 상기 기본 계층에 대한 상기 블록들의 시퀀스에 포함된 기본 계층 잔차 에러 블록으로 HDR 이미지 블록의 톤 맵핑된 표현을 제 1 인코딩하는 단계 (810) 로서, 상기 제 1 인코딩하는 단계는 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해 구성되는, 상기 제 1 인코딩하는 단계 (810); 및
상기 강화 계층에서, 상기 강화 계층에 대한 상기 블록들의 시퀀스에 포함된 강화 계층 잔차 에러 블록으로의 상기 HDR 이미지 블록을 제 2 인코딩하는 단계 (820) 로서, 제 2 인코딩하는 단계는 상기 모드 인덱스로 수행되고, 상기 제 2 인코딩하는 단계는 상기 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 구성되는, 상기 제 2 인코딩하는 단계 (820) 를 포함하고,
상기 제 2 인코딩하는 단계는,
상기 중간 강화 계층 인트라 예측 블록과 상기 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 단계 (830);
추정된 상기 전달 함수를 상기 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 단계 (840); 및
상기 HDR 이미지 블록과 상기 인터-계층 예측 블록 사이의 차이로서 상기 강화 계층 잔차 에러 블록을 결정하는 단계 (850) 를 더 포함하는, 인코딩하기 위한 방법.
제 1 항에 있어서,
전송을 위한 기본 계층 잔차 에러의 기본 계층 출력 비트스트림을,
상기 기본 계층 잔차 에러에 이산 코사인 변환을 적용하는 것;
변환된 상기 기본 계층 잔차 에러를 양자화하는 것; 및
상기 기본 계층 출력 비트스트림을 생성하기 위해 양자화된 상기 변환된 기본 계층 잔차 에러를 엔트로피 인코딩하는 것
에 의해 형성하는 단계를 포함하고,
상기 방법은, 전송을 위한 강화 계층 잔차 에러의 강화 계층 출력 비트스트림을,
상기 강화 계층 잔차 에러에 이산 코사인 변환을 적용하고;
변환된 상기 강화 계층 잔차 에러를 양자화하고; 그리고
상기 강화 계층 출력 비트스트림을 생성하기 위해 양자화된 상기 변환된 강화 계층 잔차 에러를 엔트로피 인코딩하여,
형성하는 단계를 더 포함하는, 인코딩하기 위한 방법.
제 1 항에 있어서,
상기 제 1 인코딩에서 사용하기 위해 상기 HDR 이미지 블록의 상기 톤 맵핑된 표현을 생성하기 위해, 규정된 톤 맵핑 연산자에 따라, 상기 HDR 이미지 블록을 톤 맵핑하는 단계를 더 포함하는, 인코딩하기 위한 방법.
제 2 항에 있어서,
제 1 출력을 생성하기 위해 상기 양자화된 변환된 강화 계층 잔차 에러를 역 변환 및 역 양자화하는 단계;
복원된 강화 계층 이미지 블록을 형성하기 위해 상기 인터-계층 예측 블록을 상기 제 1 출력에 부가하는 단계; 및
복원된 강화 계층 블록을 강화 계층 버퍼에 저장하는 단계를 더 포함하는, 인코딩하기 위한 방법.
HDR 이미지 블록들의 시퀀스를 기본 계층 및 강화 계층의 각각에서의 픽셀들의 블록들의 시퀀스로 인코딩하기 위한 장치로서,
상기 장치는,
상기 기본 계층에서, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 상기 기본 계층에 대한 상기 블록들의 시퀀스에 포함된 기본 계층 잔차 에러 블록으로 HDR 이미지 블록의 톤 맵핑된 표현을 인코딩하기 위해 구성된 기본 계층 인코더로서, 상기 기본 계층 인코더는 추가로, 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해 구성되는, 상기 기본 계층 인코더; 및
상기 강화 계층에서, 상기 강화 계층에 대한 상기 블록들의 시퀀스에 포함된 강화 계층 잔차 에러 블록으로의 상기 HDR 이미지 블록을 인코딩하기 위해 구성된 강화 계층 인코더로서, 제 2 의 상기 인코딩은 상기 모드 인덱스로 수행되고, 상기 강화 계층 인코더는 상기 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 구성되는, 상기 강화 계층 인코더를 포함하고,
상기 강화 계층 인코더는 추가로,
상기 중간 강화 계층 인트라 예측 블록과 상기 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 것;
추정된 상기 전달 함수를 상기 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 것; 및
상기 HDR 이미지 블록과 상기 인터-계층 예측 블록 사이의 차이로서 상기 강화 계층 잔차 에러 블록을 결정하는 것
을 위해 구성되는, 인코딩하기 위한 장치.
제 5 항에 있어서,
제 1 항 내지 제 4 항 중 어느 한 항에 기재된 방법을 수행하도록 구성된, 인코딩하기 위한 장치.
적어도 이미지의 강화 계층 비트스트림을 강화 계층 이미지 블록들의 시퀀스로 디코딩하기 위한 방법으로서,
상기 방법은,
상기 강화 계층 비트스트림 및 대응하는 기본 계층 비트스트림을 수신하는 단계 (905);
기본 계층에서, 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 상기 기본 계층 비트스트림을 제 1 디코딩하는 단계 (910); 및
강화 계층에서, 상기 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 상기 모드 인덱스에 기초하여 상기 강화 계층 비트스트림을 제 2 디코딩하는 단계 (920) 를 포함하고,
상기 제 2 디코딩하는 단계는,
상기 중간 강화 계층 인트라 예측 블록과 상기 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 단계 (930);
추정된 상기 전달 함수를 상기 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 단계 (940); 및
수신된 상기 강화 계층 비트스트림에 기초하여 상기 인터-계층 예측 블록을 복원된 강화 계층 예측 에러 블록에 부가함으로써 복원된 강화 계층 블록을 결정하는 단계 (950) 를 더 포함하는, 디코딩하기 위한 방법.
제 7 항에 있어서,
상기 수신된 강화 계층 비트스트림을 엔트로피 디코딩하는 단계; 및
상기 복원된 강화 계층 예측 에러 블록을 생성하기 위해 엔트로피 디코딩된 상기 수신된 강화 계층 비트스트림을 역 양자화 및 역 이산 코사인 변환하는 단계를 포함하는, 디코딩하기 위한 방법.
제 7 항에 있어서,
수신된 상기 기본 계층 비트스트림을 엔트로피 디코딩하는 단계;
복원된 기본 계층 예측 에러 블록을 생성하기 위해 엔트로피 디코딩된 상기 수신된 기본 계층 비트스트림을 역 양자화 및 역 이산 코사인 변환하는 단계; 및
기본 계층 예측 블록을 상기 복원된 기본 계층 예측 에러 블록에 부가함으로써 상기 복원된 기본 계층 블록을 결정하는 단계를 포함하는, 디코딩하기 위한 방법.
제 1 항, 제 7 항, 또는 제 9 항에 있어서,
상기 복원된 기본 계층 블록을 기본 계층 버퍼에 저장하는 단계를 더 포함하는, 방법.
제 7 항 또는 제 10 항에 있어서,
복원된 강화 계층 블록을 강화 계층 버퍼에 저장하는 단계를 더 포함하는, 방법.
적어도 이미지의 강화 계층 비트스트림을 강화 계층 이미지 블록들의 시퀀스로 디코딩하기 위한 장치로서,
상기 장치는,
상기 강화 계층 비트스트림 및 대응하는 기본 계층 비트스트림을 수신하기 위해 구성된 입력 엘리먼트;
기본 계층에서, 적어도 복원된 기본 계층 블록 및 기본 계층 인트라 예측 블록을 생성하기 위해, 복수의 모드 인덱스들에 포함된 모드 인덱스에 의해 식별된 인트라 이미지 예측 모드에 있는 동안 상기 기본 계층 비트스트림을 디코딩하기 위해 구성된 기본 계층 디코더; 및
강화 계층에서, 상기 기본 계층 인트라 예측 블록과 상동인 적어도 중간 강화 계층 인트라 예측 블록을 생성하기 위해 상기 모드 인덱스에 기초하여 상기 강화 계층 비트스트림을 디코딩하기 위해 구성된 강화 계층 디코더를 포함하고,
상기 강화 계층 디코더는 추가로,
상기 중간 강화 계층 인트라 예측 블록과 상기 기본 계층 인트라 예측 블록 사이의 전달 함수를 추정하는 것;
추정된 상기 전달 함수를 상기 복원된 기본 계층 블록에 적용함으로써 인터-계층 예측 블록을 연산하는 것; 및
수신된 상기 강화 계층 비트스트림에 기초하여 상기 인터-계층 예측 블록을 복원된 강화 계층 예측 에러 블록에 부가함으로써 복원된 강화 계층 블록을 결정하는 것
을 위해 구성되는, 디코딩하기 위한 장치.
제 12 항에 있어서,
상기 수신된 강화 계층 비트스트림을 엔트로피 디코딩하기 위한 엔트로피 디코더; 및
상기 복원된 강화 계층 예측 에러 블록을 생성하기 위해 엔트로피 디코딩된 상기 수신된 강화 계층 비트스트림을 역 양자화 및 변환하기 위한 역 양자화기 및 역 이산 코사인 유닛을 포함하는, 디코딩하기 위한 장치.
제 12 항에 있어서,
수신된 상기 기본 계층 비트스트림을 엔트로피 디코딩하기 위한 엔트로피 디코더;
복원된 기본 계층 예측 에러 블록을 생성하기 위해 엔트로피 디코딩된 상기 수신된 기본 계층 비트스트림을 역 양자화 및 역 이산 코사인 변환하기 위한 역 양자화기 및 역 이산 코사인 유닛; 및
기본 계층 예측 블록을 상기 복원된 기본 계층 예측 에러 블록에 부가함으로써 상기 복원된 기본 계층 블록을 결정하기 위한 프로세서를 포함하는, 디코딩하기 위한 장치.
하나 이상의 실행가능 명령들이 저장된 비일시적인 컴퓨터 판독가능 매체로서, 상기 하나 이상의 실행가능 명령들은, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 제 1 항 내지 제 4 항 또는 제 7 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 수행하게 하는, 비일시적인 컴퓨터 판독가능 매체.
제 1 항 내지 제 4 항 또는 제 7 항 내지 제 11 항 중 어느 한 항에 기재된 방법을 수행함으로써 생성된 신호.