KR101099865B1 - 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법 - Google Patents

Abstract

3개의 색성분에 대하여 4 : 0 : 0 포맷을 사용하여 부호화 처리를 행한 경우에 1픽쳐분의 데이터를 하나의 액세스 유닛에 포함시키는 것을 가능하게 함과 아울러, 각각의 색성분 사이에서 시간 정보를 일치시키거나, 부호화 모드를 일치시키거나 하는 것을 가능하게 한다. 복수의 색성분으로 이루어지는 입력 화상 신호에 대하여 압축 처리를 행하는 화상 부호화 방식에 있어서, 각각의 색성분의 입력 화상 신호를 독립적으로 부호화 처리를 행함으로써 얻어지는 부호화 데이터와, 상기 부호화 데이터가 어떤 색성분에 대한 것인지를 나타내는 파라미터를, 비트스트림으로 다중한다. 또한, 복수의 색성분으로 이루어지는 화상 신호가 압축된 비트스트림을 입력하여 복호 처리를 행하는 화상 복호 방식에 있어서, 어떤 색성분에 대한 부호화 데이터인지를 나타내는 파라미터를 이용하여 각각의 색성분의 부호화 데이터의 복호 처리를 행한다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법{IMAGE ENCODING APPARATUS, IMAGE ENCODING METHOD, IMAGE DECODING APPARATUS, AND IMAGE DECODING METHOD}

본 발명은, 복수의 색성분으로 이루어지는 입력 화상 신호에 대하여 압축 처리를 행하는 화상 부호화 방법과 장치 및 복수의 색성분으로 이루어지는 화상 신호가 압축된 비트스트림을 입력하여 복호 처리를 행하는 화상 복호 방법과 장치, 및 화상 부호화 비트스트림 및 기록 매체에 관한 것이다.

종래로부터, MPEG나 ITU-TH. 26x 등의 국제 표준 영상 부호화 방식에서는, 주로 「4 : 2 : 0」 포맷이라 불리는 입력 신호 포맷의 사용을 전제로 하여 왔다. 4 : 2 : 0 포맷이란, RGB 등의 컬러 화상 신호를, 휘도 성분(Y)과 2개의 색차 성분(CB, CR)으로 변환하고, 색차 성분의 샘플수를 휘도 성분의 샘플수에 대하여 수평 방향ㆍ수직 방향 함께 절반으로 삭감한 포맷이다. 인간의 시각 특성상, 색차 성분은 휘도 성분에 비해서 시인성이 떨어지므로, 종래의 국제 표준 영상 부호화 방식에서는, 부호화를 행하기 전에 색차 성분의 샘플수를 삭감함으로써 부호화 대상의 정보량을 삭감하여 두는 것을 전제로 하고 있었다.

한편, 최근의 비디오 디스플레이의 고해상도화ㆍ고계조화에 따라, 색차 성분을 다운 샘플하는 일 없이 휘도 성분과 동일 샘플로 부호화하는 방식에 대한 검토도 행해지고 있다. 휘도 성분과 색차 성분이 동일한 샘플수의 포맷은 「4 : 4 : 4」 포맷이라 불리고 있다. 그리고, 4 : 4 : 4 포맷을 입력하는 부호화 방식으로서 「하이 444 프로파일」이 책정되어 있다(예컨대, 비특허 문헌 1 참조).

종래의 4 : 2 : 0 포맷에서는 색차 성분의 다운 샘플을 전제로 하여, Y, CB, CR이라는 색공간에만 한정되어 있던 것에 대하여, 4 : 4 : 4 포맷에서는 색성분 사이에 샘플비의 구별이 없으므로, Y, CB, CR 이외에, R, G, B를 직접 사용하거나, 그 밖의 색공간을 정의하여 이용하거나 하는 것이 가능하다.

(비특허 문헌 1) ISO/IEC 14496-10｜ITU-TH. 264 규격(Advanced Video Coding : AVC)

ISO/IEC 14496-10｜ITU-TH. 264(2005) 규격(이하, AVC라 칭한다)으로 정의된 하이 444 프로파일을 이용하면, 종래의 부호화 방식과 같이, 매크로 블록을 단위로 한 부호화 처리ㆍ복호 처리를 행할 필요가 있다.

즉, 하나의 매크로 블록 중에 3개의 색성분의 데이터가 포함되어 있으므로, 각각의 색성분의 데이터를 매크로 블록 단위로 순서대로 처리를 행하게 되므로, 부호화ㆍ복호 처리를 병렬화한다고 하는 목적에는 바람직하지 않다.

한편, AVC에서는, 4 : 0 : 0 포맷이 정의되어 있다. 이것은, 원래는 휘도 성분만의 화상, 즉, 모노크롬 화상의 부호화 처리를 대상으로 한 것이다. 이 4 : 0 : 0 포맷을 이용하여, 4 : 4 : 4 포맷의 3개의 색성분에 대하여 각각을 4 : 0 : 0 포맷으로 부호화 처리를 행함으로써 3개의 독립된 부호화 데이터를 생성한다고 하는 방법을 취할 수도 있다. 이 경우, 각각의 색성분을 독립적으로 처리하게 되므로, 병렬 처리가 가능해진다.

그러나, 각각의 색성분을 독립적으로 처리를 행하게 되므로, 각각의 색성분 사이에서 시간 정보를 맞추거나, 부호화 모드를 일치시키거나 한다고 하는 처리를 현재의 표준 규격으로는 실현하는 것이 불가능했다. 그 때문에, 랜덤 액세스 재생(빨리 감기나 되감기 등)이나 픽쳐 단위의 편집 처리를 용이하게 실현할 수 없다고 하는 문제가 발생하는 것이었다.

이 문제에 대하여 더 설명한다. AVC에서 정의되어 있는 각종 데이터는, 액세스 유닛 구분 문자(Access Unit Delimiter : AUD), 시퀀스 파라미터 세트(Sequence Parameter Set : SPS), 픽쳐 파라미터 세트(Picture Parameter Set : PPS), 픽쳐 데이터의 순서로 배치되어 있다. 또, 본 발명에 관계하지 않는 데이터에 대해서는 여기서는 생략한다.

또한, AVC에서는, 하나의 액세스 유닛(AU)은 하나의 픽쳐(1프레임 또는 1필드에 상당한다)에 의해 구성되는 것이라 정의되어 있다. 액세스 유닛의 경계는 액세스 유닛 구분 문자(AUD)를 이용하여 나타낼 수 있다. 예컨대, AVC의 Baseline 프로파일이라면, 각 픽쳐의 경계에 액세스 유닛 구분 문자가 배치되므로, 액세스 유닛 구분 문자를 검출함으로써 하나의 액세스 유닛을 독립적이고 간단하게 추출할 수 있어, 하나의 픽쳐분의 데이터를 복호하는 것이 가능하다.

한편, 현재의 AVC 방식을 이용하여 4 : 0 : 0 포맷으로 3개의 색성분을 부호화한 경우, 각각의 색성분마다 액세스 유닛이 정의되게 되어, 하나의 픽쳐는 3개의 액세스 유닛에 의해 구성되게 된다. 그 때문에, 액세스 유닛 구분 문자를 검출하는 것만으로는 하나의 픽쳐분의 데이터를 추출할 수 없어, 랜덤 액세스 재생이나 픽쳐 단위의 편집 처리를 용이하게 실현할 수 없게 된다. 또한, 각각의 색성분마다에서 독립적으로 부호화 처리가 행해지므로, 시간 정보를 일치시키거나, 부호화 모드를 일치시키거나 하는 것이 곤란하게 되는 것이다.

그래서, 본 발명에서는, AVC를 확장함으로써, 4 : 4 : 4 포맷의 3개의 색성분에 대하여 각각을 4 : 0 : 0 포맷을 사용하여 부호화 처리를 행한 경우에 있어서도 1픽쳐분의 데이터를 하나의 액세스 유닛에 포함시키는 것을 가능하게 함과 아울러, 각각의 색성분 사이에서 시간 정보를 일치시키거나, 부호화 모드를 일치시키거나 하는 것을 가능하게 하는 화상 부호화 방법 및 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치, 및 화상 부호화 비트스트림 및 기록 매체를 제공하는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 방법은, 복수의 색성분으로 이루어지는 입력 화상 신호에 대하여 압축 처리를 행하는 화상 부호화 방식에 있어서, 각각의 색성분의 입력 화상 신호를 독립적으로 부호화 처리를 행함으로써 얻어지는 부호화 데이터와, 상기 부호화 데이터가 어떤 색성분에 대한 것인지를 나타내는 파라미터를, 비트스트림으로 다중하는 것을 특징으로 한다.

또한, 본 발명에 따른 화상 복호 방법은, 복수의 색성분으로 이루어지는 화상 신호가 압축된 비트스트림을 입력하여 복호 처리를 행하는 화상 복호 방식에 있어서, 어떤 색성분에 대한 부호화 데이터인지를 나타내는 파라미터를 이용하여 각각의 색성분의 부호화 데이터의 복호 처리를 행하는 것을 특징으로 한다.

또한, 본 발명에 따른 화상 부호화 장치는, 복수의 색성분으로 이루어지는 입력 화상 신호에 대하여 압축 처리를 행하는 화상 부호화 장치에 있어서, 각각의 색성분의 입력 화상 신호를 독립적으로 부호화 처리를 행함으로써 얻어지는 부호화 데이터와, 상기 부호화 데이터가 어떤 색성분의 데이터에 대한 것인지를 나타내는 파라미터를, 비트스트림으로 다중하는 다중 수단을 구비한 것을 특징으로 한다.

또한, 본 발명에 따른 화상 복호 장치는, 복수의 색성분으로 이루어지는 화상 신호가 압축된 비트스트림을 입력하여 복호 처리를 행하는 화상 복호 장치에 있어서, 어떤 색성분에 대한 부호화 데이터인지를 나타내는 파라미터를 검출하는 검출 수단을 구비한 것을 특징으로 한다.

또한, 본 발명에 따른 화상 부호화 비트스트림은, 복수의 색성분으로 이루어지는 입력 화상 신호를 압축 부호화한 결과 생성되는 비트스트림으로서, 각 색성분의 화상 신호의 압축 데이터를 슬라이스 단위로 구성하고, 그 슬라이스의 헤더 영역에 그 슬라이스 데이터가 어느 쪽의 색성분의 압축 데이터를 포함하는지 여부를 나타내는 파라미터가 다중되는 것을 특징으로 한다.

또한, 본 발명에 따른 기록 매체는, 복수의 색성분으로 이루어지는 입력 화상 신호를 압축 부호화한 결과 생성되는 비트스트림으로서, 각 색성분의 화상 신호의 압축 데이터를 슬라이스 단위로 구성하고, 그 슬라이스의 헤더 영역에 그 슬라이스 데이터가 어느 쪽의 색성분의 압축 데이터를 포함하는지 여부를 나타내는 파라미터가 다중된 화상 부호화 비트스트림이 기록된 것이다.

본 발명에 의하면, 랜덤 액세스 재생이나 픽쳐 단위의 편집 처리를, AUD를 이용하여 용이하게 실행하는 것이 가능해져, 3개의 색성분에 대하여 각각을 4 : 0 : 0 포맷을 사용하여 부호화 처리를 행한 경우에 있어서도 1픽쳐분의 데이터를 하나의 액세스 유닛에 포함시키는 것을 가능하게 함과 아울러, 각각의 색성분 사이에서 시간 정보를 일치시키거나, 부호화 모드를 일치시키거나 하는 것이 가능해진다.

도 1은 본 발명의 화상 부호화 장치가 생성하는 부호화 비트스트림의 구문(syntax) 중, 본 발명에 관계하는 부분을 골라낸 도면,
도 2는 기존의 규격과의 호환성을 확보하는 별도의 방법으로서, 파라미터 colour_id의 정의에 대한 설명도,
도 3은 AUD와 AUD의 사이에 1픽쳐를 구성하는 모든 색성분의 데이터를 하나의 액세스 유닛(AU)에 포함하도록 한 설명도,
도 4는 색성분의 데이터를 하나의 액세스 유닛 중에 Delimiter로 각 색성분마다 단락으로 정리하여 나열한 설명도,
도 5는 4 : 0 : 0 포맷과 4 : 4 : 4 포맷의 부호화 모드를 임의의 단위로 전환하는 설명도,
도 6은 본 발명의 실시예 7에 있어서의 공통 부호화 처리의 설명도,
도 7은 본 발명의 실시예 7에 있어서의 독립 부호화 처리의 설명도,
도 8은 본 발명의 실시예 7의 부호화 장치ㆍ복호 장치에 있어서의, 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타내는 도면,
도 9는 본 발명의 실시예 7의 부호화 장치에서 생성되고, 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트스트림의 구조의 일례를 나타내는 도면,
도 10은 본 발명의 실시예 7에 있어서의 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트스트림 구성을 나타내는 도면,
도 11은 본 발명의 실시예 7에 따른 부호화 장치의 개략 구성을 나타내는 블록도,
도 12는 도 11에 나타내는 다중화부(105)에 의해 다중화되어 출력되는 비트스트림(106)의 설명도,
도 13은 도 11에 나타내는 제 1 픽쳐 부호화부(102)의 내부 구성을 나타내는 블록도,
도 14는 도 11에 나타내는 제 2 픽쳐 부호화부(104)의 내부 구성을 나타내는 블록도,
도 15는 본 발명의 실시예 7에 따른 복호 장치의 개략 구성을 나타내는 블록도,
도 16은 도 15에 나타내는 제 1 픽쳐 복호부(302)의 내부 구성을 나타내는 블록도,
도 17은 도 15에 나타내는 제 2 픽쳐 복호부(304)의 내부 구성을 나타내는 블록도,
도 18은 도 11에 나타내는 부호화 장치의 변형예를 나타내는 블록도,
도 19는 도 11에 나타내는 부호화 장치의 다른 변형예를 나타내는 블록도,
도 20은 도 18에 나타내는 부호화 장치에 대응하는 복호 장치를 나타내는 블록도,
도 21은 도 19에 나타내는 부호화 장치에 대응하는 복호 장치를 나타내는 블록도,
도 22는 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타내는 도면,
도 23은 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 대한 호환성을 확보하는 제 1 픽쳐 복호부(302)의 예측부(311)의 내부 구성을 나타내는 도면,
도 24는 비트스트림의 구조의 다른 예를 나타내는 도면,
도 25는 비트스트림의 구조의 또 다른 예를 나타내는 도면이다.

(실시예 1)

도 1은 본 발명의 화상 부호화 장치가 생성하는 부호화 비트스트림의 구문 중, 본 발명에 관계하는 부분을 골라낸 도면이다. 도 1에 있어서, (a)는 NAL(Network Abstraction Layer) 유닛의 헤더 정보의 구문, (b)는 SPS(Sequence Parameter Set)의 구문, (c)는 PPS(Picture Parameter Set)의 구문, (d)는 슬라이스 헤더의 구문이다. 그물 무늬 부분 이외는, 기존의 AVC 규격으로 정해져 있는 구문이며, 그물 무늬 부분은 기존의 AVC 규격으로 정해져 있지만, 본 발명에 의해 새롭게 기능을 추가하는 구문 또는 기존의 AVC 규격으로는 정해져 있지 않고 본 발명에 의해 새롭게 추가하는 구문이다.

이하, AVC로 정의되어 있는 파라미터에 대하여 간단히 적는다.

도 1의 (a)에 있어서, NAL 유닛의 nal_ref_idc는, NAL 유닛의 데이터가 예측 참조에 사용되는 화상 데이터인지 여부를 나타내는 파라미터이다. 또한, nal_unit_type은, NAL 유닛의 데이터가 슬라이스 데이터, SPS, PPS, 액세스 유닛 구분 문자(AUD) 중 어느 것인지를 나타내는 파라미터이다.

도 1의 (b)에 있어서, SPS의 profile_idc는, 부호화 시퀀스의 프로파일을 나타내는 것이며, AVC에서는 베이스라인, 메인, 하이, 하이 444 등이 정의되어 있다. 또한, seq_parameter_set_id는 SPS의 ID를 나타내는 것이며, 하나의 부호화 시퀀스 중에 복수의 SPS를 정의하여 각각을 ID로 관리하는 것이다. 또한, chroma_format_idc는 하이 444 프로파일일 때에만 사용되는 것으로, 부호화 시퀀스가 4 : 0 : 0, 4 : 2 : 0, 4 : 2 : 2, 4 : 4 : 4 중 어느 포맷인지를 나타내는 파라미터이다.

도 1의 (c)에 있어서, PPS의 pic_parameter_set_id는 PPS의 ID를 나타내는 것이며, 하나의 부호화 시퀀스 중에 복수의 PPS를 정의하여 각각을 ID로 관리하는 것이다. PPS 중의 seq_parameter_set_id는, 이 PPS가 어떤 SPS에 속하는지를 나타내는 파라미터이다.

도 1의 (d)에 있어서, 슬라이스 헤더의 first_mb_in_slice는, 슬라이스 데이터의 선두 매크로 블록 데이터가 화면 내의 어느 위치에 있는지를 나타내는 파라미터이다. 또한, slice_type은, 슬라이스 데이터가 프레임 내 부호화, 한쪽 방향 예측 부호화, 쌍방 예측 부호화 중 어느 것인지를 나타내는 파라미터이다. 또한, pic_parameter_set_id는 슬라이스 데이터가 어떤 PPS에 속하는지를 나타내는 파라미터이다.

다음으로 동작에 대하여 설명한다.

3개의 색성분의 화상 신호에 대하여 4 : 0 : 0 포맷을 이용하여 각각의 색성분을 독립적으로 부호화 처리를 행하는 경우, 도 1의 (b)에 나타내는 SPS에 포함되는 파라미터의 하나인 profile_idc에, 새롭게 4 : 0 : 0 포맷을 이용하여 3개의 색성분의 데이터를 독립적으로 부호화하는 처리인 것을 나타내는 데이터를 마련함과 아울러, 도 1의 (d)에 나타내는 슬라이스 헤더에, 새롭게 colour_id의 파라미터를 마련하여, 슬라이스 데이터에 포함되어 있는 부호화 데이터가 3개의 색성분 중 어느 것인지를 나타내도록 한다.

기존의 4 : 0 : 0 포맷(모노크롬 화상), 4 : 2 : 0 포맷, 4 : 2 : 2 포맷, 4 : 4 : 4 포맷으로 부호화 처리를 행하는 경우에는, 도 1의 (d)에 나타내는 파라미터 colour_id는 사용하지 않고, 본 발명에 의해 새롭게 정의하는 4 : 0 : 0 포맷을 이용하여 3개의 색성분의 데이터를 독립적으로 부호화하는 모드일 때에만, 파라미터 colour_id를 사용함으로써, 기존의 규격에는 영향을 미치게 하지 않도록 할 수 있다.

본 발명에 의해 새롭게 정의하는 4 : 0 : 0 포맷을 이용하여 3개의 색성분의 데이터를 독립적으로 부호화하는 모드일 때에는, 파라미터 colour_id를 사용함으로써, 도 3과 같이, 3개의 색성분의 데이터를 하나의 액세스 유닛(AU)에 포함하도록 하여, AUD와 AUD의 사이에 1픽쳐를 구성하는 모든 색성분의 데이터를 넣도록 한다.

또한, 기존의 규격과의 호환성을 확보하는 별도의 방법으로서, 파라미터 colour_id를, 도 2와 같은 정의로 하여도 좋다. 이와 같이 colour_id를 정의함으로써, colour_id = 0인 경우는, 기존의 규격과 같이 하나의 매크로 블록 중에 3개의 색성분의 데이터가 포함되는 형식으로 부호화된 슬라이스 데이터인 것을 나타낸다. 그 밖의 값인 경우는, 본 실시예 1에서 말한 4 : 0 : 0 포맷을 이용하여 3개의 색성분의 데이터를 독립적으로 부호화하는 처리로 부호화된 슬라이스 데이터인 것을 나타내는 것이 가능하다.

이에 따라, 기존의 방식과 본 실시예 1에서 말한 방식의 쌍방을 포함하는 비트스트림을 구성할 수 있어, 기존 방식과의 호환성을 유지하는 점에서 유용하다. 또한, 슬라이스의 수가 많아져, 파라미터 colour_id 자체의 부호량의 오버헤드가 부호화 효율에 영향을 준다고 하는 경우에는, 기존의 방식과 본 실시예 1에서 말한 방식 중 어느 쪽이 보다 선택되기 쉬울까하는 판단 기준에 근거하여 적당한 가변 길이 부호화를 행하여, colour_id 자체의 부호량을 저감하도록 구성하더라도 좋다.

이와 같이, 복수의 색성분으로 이루어지는 입력 화상 신호에 대하여 압축 처리를 행하는 화상 부호화 방식에 있어서, 각각의 색성분의 입력 화상 신호를 독립적으로 부호화 처리를 행함으로써 얻어지는 부호화 데이터와, 상기 부호화 데이터가 어떤 색성분에 대한 것인지를 나타내는 파라미터를, 비트스트림으로 다중함으로써, 랜덤 액세스 재생이나 픽쳐 단위의 편집 처리를, AUD를 이용하여 용이하게 실행하는 것이 가능해진다.

복수의 색성분으로 이루어지는 화상 신호가 압축된 비트스트림을 입력하여 복호 처리를 행하는 화상 복호 방식에 있어서, 어떤 색성분에 대한 부호화 데이터인지를 나타내는 파라미터를 이용하여 각각의 색성분의 부호화 데이터의 복호 처리를 용이하게 행할 수 있다.

또한, 3개의 색성분의 데이터가 하나의 액세스 유닛에 포함되게 되므로, 3개의 색성분의 데이터가 동시에 IDR(Instantaneous Decoding Refresh) 픽쳐로서 부호화되게 된다.

IDR 픽쳐는 AVC에서 정의되어 있는 것으로, IDR 픽쳐로부터라면 즉시 정상적인 복호 처리가 가능해지는 픽쳐이며, 랜덤 액세스 재생의 선두로서 이용하는 것을 상정하여 마련된 것이다.

또한, 3개의 색성분 중 하나의 색성분만을 추출하고 싶은 경우에는, 특정한 값을 가지고 있는 colour_id의 슬라이스 데이터만을 추출함으로써 용이하게 실현할 수 있다.

또, 도 1에서는, colour_id 파라미터를 슬라이스 헤더의 선두에 마련했지만, 반드시 선두에 배치할 필요는 없고, 슬라이스 헤더 중에 포함되어 있으면 동일한 효과를 얻는 것이 가능하다.

(실시예 2)

실시예 1과 같이, 하나의 액세스 유닛 중에 3개의 색성분의 부호화 데이터를 넣는 것이기는 하지만, 도 3에 나타내는 실시예 1이, 각각의 색성분의 데이터(R, B, G)를 순서대로 나열한 것인데 대하여, 도 4에 나타내는 바와 같이, R만, B만, G만으로 색성분을 정리하여 나열하는 방법을 취할 수도 있다. 또한, 현재의 AVC에서는 정의되어 있지 않은 「Delimiter」를 넣음으로써, 소정의 색성분만을 간단히 추출하는 구성을 취하는 것도 가능하다.

이와 같이 함으로써, 예컨대, 각각의 색성분마다 다른 프로세서를 할당하여 병렬로 처리를 행하는 것을 용이하게 할 수 있게 된다. 또, 본 발명에서 나타낸 「Delimiter」는, AVC의 SEI(Supplemental Enhancement Information) 메시지 페이로드를 확장함으로써, 기존의 규격에 영향을 미치게 하는 일 없이 실현하는 것이 가능하다. 물론, 이것 이외의 별도의 방법으로 「Delimiter」를 정의하더라도 동일한 효과를 얻는 것은 가능하다.

(실시예 3)

슬라이스 헤더의 colour_id 대신에, NAL 유닛의 일부에서 색성분을 나타내는 파라미터를 넣는 것에 의해서도, 실시예 1과 같은 효과를 얻을 수 있다. AVC에서는, 슬라이스 헤더 및 슬라이스 헤더에 후속하는 슬라이스 데이터는 NAL 유닛의 페이로드로서 정의되어 있으므로, NAL 유닛의 nal_unit_type 파라미터를 확장하고, 이 파라미터 중에 NAL 유닛의 페이로드에 포함되어 있는 영상 데이터가 어떤 색성분인지를 나타내도록 한다. 또한, 3개의 색성분의 데이터는 하나의 액세스 유닛(AU)에 포함하도록 함으로써, AUD와 AUD의 사이에 1픽쳐를 구성하는 모든 데이터를 넣도록 한다.

이와 같이 함으로써, 실시예 1과 같이, 랜덤 액세스 재생이나 픽쳐 단위의 편집 처리를 용이하게 실행할 수 있음과 아울러, 3개의 색성분 중 하나의 성분만을 추출하고 싶은 경우에, 슬라이스 헤더까지 해석하는 일 없이, NAL 유닛의 헤더 데이터만으로 추출하는 것이 가능해진다.

(실시예 4)

실시예 1∼3일 때에, 또한 3개의 색성분의 데이터가 부호화되어 있는 슬라이스 헤더의 first_mb_in_slice 파라미터에 대하여 항상 같은 값으로 하도록 제약을 마련한다. first_mb_in_slice 파라미터는, 슬라이스 데이터의 선두 데이터의 위치가 화면 내의 어디인지를 나타내는 것이다.

종래의 AVC의 부호화 방식에서는, 슬라이스의 구조는 임의의 형식을 취하는 것이 가능한 것이므로, 각 색성분에서 슬라이스의 구조를 다른 것으로 하는 것도 가능하지만, 이 제약을 마련함으로써, 같은 first_mb_in_slice의 값을 갖는 슬라이스 데이터를 3개 모아 옴으로써, 올바른 색의 상태를 가진 화상의 일부분을 복호ㆍ표시하는 것이 가능해진다.

이와 같이 함으로써, 화면의 특정한 부분, 예컨대, 중앙 부분만을 표시시키고 싶다고 하는 경우에, 제약을 마련하지 않는 경우에는 first_mb_in_slice의 값이 각각의 색성분에서 다르므로 한 화면분의 모든 슬라이스 데이터를 이용하여 화면 전체를 복호하지 않으면 3개의 색성분을 합성하여 올바른 복호 화상을 얻을 수 없었던 것이지만, 한 화면 모두가 아닌 일부의 슬라이스 데이터만을 이용하여 복호ㆍ표시 처리가 가능해진다. 또한, 각각의 색성분의 데이터를 각각의 프로세서를 이용하여 병렬 처리를 행하는 경우, 각 슬라이스 데이터가 같은 위치로부터 개시되게 되므로, 병렬 처리의 관리가 용이해진다.

(실시예 5)

실시예 4에 대하여, 또한 각 색성분의 슬라이스 헤더의 slice_type 파라미터에 대하여 항상 같은 값으로 하도록 제약을 마련한다. slice_type 파라미터는, 슬라이스 헤더에 후속하는 슬라이스 데이터가 프레임 내 부호화, 한쪽 방향 예측 부호화, 쌍방 예측 부호화 중 어느 것인지 등을 나타내는 것이다. 프레임 내 부호화이면, 프레임간 예측 처리가 사용되지 않으므로, 즉시 복호ㆍ표시 처리가 가능해진다.

그래서, 화면상 같은 위치에 있는 슬라이스 데이터에 대해서는 부호화의 타입을 모든 색성분에 대하여 공통으로 하여 같은 부호화 처리를 행함으로써, 복호 장치에서는, 랜덤 액세스 재생시에는 프레임 내 부호화의 슬라이스만을 복호 처리를 행함으로써 고속으로 복호ㆍ표시 처리를 행하는 것이 가능해진다.

(실시예 6)

전술한 실시예 1∼5와 같은 구성을 취함으로써, 새롭게 정의하는 4 : 0 : 0 포맷을 이용하여 3개의 색성분의 데이터를 독립적으로 부호화하는 모드와, 4 : 4 : 4 포맷의 부호화 모드를 임의의 단위로 전환하는 것이 가능해진다.

예컨대, 도 5와 같이, SPS의 seq_parameter_set_id = 1에 대하여 새롭게 정의한 4 : 0 : 0 포맷의 파라미터를 세트하고, seq_parameter_set_id = 2에 대하여 4 : 4 : 4 포맷의 파라미터를 세트하고, 각각의 seq_parameter_set_id에 대응하는 SPS를 다른 pic_parameter_set_id를 갖게 하여 세트함으로써, 픽쳐 단위로 양자를 전환하는 것이 가능해진다.

이와 같이 함으로써, 부호화 효율이 보다 좋은 쪽을 선택하여 부호화 처리를 행하거나, 애플리케이션에 따라 형편이 좋은 쪽을 선택하여 부호화 처리를 행하는 것이 가능해진다.

또, 본 실시예 5에서는, 픽쳐 단위로 양자를 전환하는 것으로 하여 설명을 행했지만, AVC의 규격상으로는, 같은 처리에 의해 슬라이스 단위로의 전환도 가능하다.

또한, 본 발명에서는, 동화상 부호화 방식의 국제 표준인 AVC를 이용하여 설명을 행했지만, 물론 다른 부호화 방식을 이용하여도 동일한 효과를 얻는 것은 가능하다.

(실시예 7)

본 실시예 7에서는, 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화할지, 개별의 매크로 블록 헤더로 부호화할지를 1프레임(내지는 1필드)의 단위로 잘라 나누면서 부호화ㆍ복호하는 장치 구성ㆍ동작을 구체적인 도면을 바탕으로 설명한다. 이하, 특별히 예고하지 않는 한, 「1프레임」이라고 기재한 경우는 1프레임 내지는 1필드의 데이터 단위라고 간주한다.

본 실시예 7에 있어서의 매크로 블록 헤더는, 매크로 블록 타입ㆍ서브 매크로 블록 타입ㆍ인트라 예측 모드 등의 부호화ㆍ예측 모드 정보, 참조 화상 식별 번호ㆍ움직임 벡터 등의 움직임 예측 정보, 변환 계수에 대한 양자화 파라미터, 변환 블록 사이즈 지시 플래그, 8×8 블록 단위로의 유효 변환 계수 유무 판정 플래그 등, 변환 계수 데이터 이외의 매크로 블록 오버헤드 정보를 포함하는 것으로 한다.

이후, 1프레임의 3개의 색성분 신호를 공통의 매크로 블록 헤더로 부호화하는 처리를 「공통 부호화 처리」, 1프레임의 3개의 색성분 신호를 개별의 독립된 매크로 블록 헤더로 부호화하는 처리를 「독립 부호화 처리」라고 적는다. 마찬가지로, 1프레임의 3개의 색성분 신호가 공통의 매크로 블록 헤더로 부호화된 비트스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「공통 복호 처리」, 1프레임의 3개의 색성분 신호가 개별의 독립된 매크로 블록 헤더로 부호화된 비트스트림으로부터 프레임 화상 데이터를 복호하는 처리를 「독립 복호 처리」라고 적는다.

본 실시예 7에 있어서의 공통 부호화 처리에서는, 도 6에 나타내는 바와 같이, 1프레임분의 입력 영상 신호를 C0 성분, C1 성분, C2 성분의 3개의 색성분을 정리한 형태의 공통 부호화 처리의 대상이 되는 매크로 블록으로 분할한다. 한편, 독립 부호화 처리에서는, 도 7에 나타내는 바와 같이, 1프레임분의 입력 영상 신호를 C0 성분, C1 성분, C2 성분 3개의 색성분으로 분리하고, 그들을 단일 색성분으로 이루어지는 매크로 블록, 다시 말해, C0 성분, C1 성분, C2 성분마다의 독립 부호화 처리의 대상이 되는 각 매크로 블록으로 분할한다.

즉, 공통 부호화 처리의 대상이 되는 매크로 블록은, C0, C1, C2의 3개의 색성분의 샘플을 포함하지만, 독립 부호화 처리의 대상이 되는 매크로 블록은, C0 또는 C1 또는 C2 성분 중 어느 하나의 성분의 샘플만을 포함한다.

도 8에는, 본 실시예 7의 부호화 장치ㆍ복호 장치에 있어서의, 픽쳐 사이의 시간 방향의 움직임 예측 참조 관계를 나타낸다. 이 예에서는, 굵은 세로의 막대선으로 표시되는 데이터 단위를 픽쳐로 하고, 픽쳐와 액세스 유닛의 관계를 둘러싸 점선으로 나타내고 있다. 공통 부호화ㆍ복호 처리의 경우, 1픽쳐는, 3개의 색성분이 혼재한 1프레임분의 영상 신호를 나타내는 데이터로 하고, 독립 부호화ㆍ복호 처리의 경우, 1픽쳐는 어느 하나의 색성분의 1프레임분의 영상 신호로 한다.

액세스 유닛은, 영상 신호에 대하여 오디오ㆍ음성 정보 등과의 동기 등을 목적으로 하는 타임 스탬프를 부여하는 최소 데이터 단위이며, 공통 부호화ㆍ복호 처리의 경우, 하나의 액세스 유닛에는 1픽쳐분의 데이터를 포함한다.

한편, 독립 부호화ㆍ복호 처리의 경우는, 하나의 액세스 유닛에 3개의 픽쳐가 포함된다. 이것은, 독립 부호화ㆍ복호 처리의 경우, 3개의 색성분 모두의 동일 표시 시각의 픽쳐가 일치하여 처음으로 1프레임분의 재생 영상 신호를 얻을 수 있기 때문이다. 또, 각 픽쳐의 상부에 부여한 번호는, 픽쳐의 시간 방향의 부호화ㆍ복호 처리 순서(동화상 데이터의 압축 부호화 방식의 표준인 AVC : Advanced Video Coding의 frame_num)를 나타낸다.

도 8에서는, 픽쳐 사이의 화살표는 움직임 예측의 참조 방향을 나타내고 있다. 즉, 독립 부호화ㆍ복호 처리의 경우, 동일 액세스 유닛에 포함되는 픽쳐의 사이에서의 움직임 예측 참조, 및 다른 색성분 사이에서의 움직임 예측 참조는 행하지 않는 것으로 하고, C0, C1, C2의 각 색성분의 픽쳐를 동일 색성분의 신호에 한정하여 예측 참조하면서 부호화ㆍ복호한다.

이러한 구성으로 함으로써, 본 실시예 7에 있어서의 독립 부호화ㆍ복호 처리의 경우는, 각 색성분의 부호화ㆍ복호를, 다른 색성분의 부호화ㆍ복호 처리에 전혀 의존하는 일 없이 실행할 수 있어, 병렬 처리가 용이해진다.

또, AVC에서는, 자신은 인트라 부호화를 행함과 아울러, 움직임 보상 예측에 이용하는 참조 화상 메모리의 내용을 리셋하는 IDR(instantaneous decoder refresh) 픽쳐가 정의되어 있다. IDR 픽쳐는 다른 어떠한 픽쳐에도 의존하지 않고서 복호 가능하므로 랜덤 액세스 포인트로서 이용된다.

공통 부호화 처리의 경우의 액세스 유닛은, 1액세스 유닛 = 1픽쳐이지만, 독립 부호화 처리의 경우의 액세스 유닛에서는 1액세스 유닛이 복수 픽쳐로 구성되므로, 어떤 색성분 픽쳐가 IDR 픽쳐인 경우는 다른 나머지의 색성분 픽쳐도 IDR 픽쳐로 하여, IDR 액세스 유닛을 정의하여, 랜덤 액세스 기능을 확보한다.

이하, 공통 부호화 처리에 의한 부호화를 행했는지, 독립 부호화 처리에 의한 부호화를 행했는지를 나타내는 식별 정보(인터 예측 모드 공통화 식별 플래그나 매크로 블록 헤더 공통화 식별 플래그 상당의 정보)를, 본 실시예 7에서는, 공통 부호화ㆍ독립 부호화 식별 신호라고 부른다.

도 9에, 본 실시예 7의 부호화 장치에서 생성되고, 본 실시예 7의 복호 장치가 입력ㆍ복호 처리의 대상으로 하는 비트스트림의 구조의 일례를 나타낸다. 동 도면은, 시퀀스로부터 프레임 레벨까지의 비트스트림 구성을 나타낸 것으로, 우선, 시퀀스 레벨의 상위 헤더(AVC의 경우, SPS(sequence parameter set) 등)에, 공통 부호화ㆍ독립 부호화 식별 신호를 다중하여 둔다.

각각의 프레임은 액세스 유닛의 단위로 부호화된다. AUD란, AVC에서 액세스 유닛의 사이를 식별하기 위한 독특한 NAL 유닛인 Access Unit Delimiter NAL 유닛을 나타낸다. 공통 부호화ㆍ독립 부호화 식별 신호가 「공통 부호화 처리에 의한 픽쳐 부호화」를 나타내는 경우는, 액세스 유닛에는 1픽쳐분의 부호화 데이터가 포함된다.

이때의 픽쳐는, 전술한 바와 같이 3개의 색성분이 혼재한 1프레임분의 영상 신호를 나타내는 데이터로 한다. 이때, i번째의 액세스 유닛의 부호화 데이터는 슬라이스 테이터 Slice(i,j)의 집합으로서 구성된다. j는, 1픽쳐 내의 슬라이스 데이터의 인덱스이다.

한편, 공통 부호화ㆍ독립 부호화 식별 신호가 「독립 부호화 처리에 의한 픽쳐 부호화」를 나타내는 경우는, 1픽쳐는 어느 하나의 색성분의 1프레임분의 영상 신호이다. 이때, p번째의 액세스 유닛의 부호화 데이터는, 액세스 유닛 내의 q번째의 픽쳐의 슬라이스 데이터 Slice(p,q,r)의 집합으로서 구성된다. r은, 1픽쳐 내의 슬라이스 데이터의 인덱스이다. RGB와 같이 색성분이 3성분으로 구성되는 영상 신호의 경우, q는 0, 1, 2 중 어느 하나이다.

또한, 3원색으로 이루어지는 영상 신호에 덧붙여, 예컨대, 알파 블렌딩을 위한 투과도 정보와 같은 부가 데이터를 동일 액세스 유닛으로서 부호화ㆍ복호하는 경우나, 4성분 이상의 색성분(예컨대, 컬러 인쇄에서 사용되는 YMCK 등)으로 구성되는 영상 신호를 부호화ㆍ복호하는 경우 등은, q > 3으로서 취급할 수 있다.

본 실시예 7에 있어서의 부호화 장치, 복호 장치는, 독립 부호화 처리를 선택하면, 영상 신호를 구성하는 각 색성분을 완전히 독립적으로 부호화하므로, 원리적으로 부호화ㆍ복호 처리를 변경하는 일 없이, 색성분의 매수를 자유롭게 변경할 수 있다. 장래, 영상 신호의 색표현을 행하기 위한 신호 형식이 변경된 경우에도, 본 실시예 7에 있어서의 독립 부호화 처리로 대응 가능해지는 효과가 있다.

이러한 구성을 실현하기 위해, 본 실시예 7에서는, 공통 부호화ㆍ독립 부호화 식별 신호는 「1액세스 유닛 내에 포함되고, 각각이 서로 움직임 예측 참조하는 일 없이 독립적으로 부호화되는 픽쳐의 수」라고 하는 형태로 표현한다.

공통 부호화ㆍ독립 부호화 식별 신호(3)를, 이후, num_pictures_in_au라고 부른다. 다시 말해, num_pictures_in_au = 1은 「공통 부호화 처리」를 나타내고, num_pictures_in_au = 3은 본 실시예 7에 있어서의 「독립 부호화 처리」를 나타낸다. 색성분이 4 이상이 되는 경우, num_pictures_in_au > 3이 되는 값으로 설정하면 된다.

이러한 시그널링을 행함으로써, 복호 장치는, num_pictures_in_au를 복호, 참조하면 공통 부호화 처리에 의한 부호화 데이터와 독립 부호화 처리에 의한 부호화 데이터의 구별을 할 수 있을 뿐 아니라, 하나의 액세스 유닛 내에 몇 매의 단일 색성분 픽쳐가 존재하는지를 동시에 알 수 있어, 장래의 영상 신호의 색표현 확장에 대한 대응도 가능하게 하면서, 공통 부호화 처리와 독립 부호화 처리를 비트스트림 중에서 부드럽게 취급하는 것이 가능하다.

도 10에는, 공통 부호화 처리, 독립 부호화 처리 각각의 경우의 슬라이스 데이터의 비트스트림 구성을 나타낸다. 독립 부호화 처리에 의해 부호화된 비트스트림에서는, 후술하는 효과를 달성하기 위해, 복호 장치에서 수신한 슬라이스 데이터가 액세스 유닛 내의 어떤 색성분의 픽쳐에 속하는 슬라이스인지를 식별 가능하도록, 슬라이스 데이터의 선두의 헤더 영역에 색성분 식별 플래그(color_channel_idc)를 부여한다.

color_channel_idc는, 그 값이 같은 슬라이스를 그룹화한다. 다시 말해, color_channel_idc의 값이 다른 슬라이스 사이에서는, 어떠한 부호화ㆍ복호의 의존성(예컨대, 움직임 예측 참조, CABAC(Context-Adaptive Binary Arithmetic Coding)의 컨텍스트 모델링ㆍ발생 확률 학습 등)도 갖게 하지 않는 것으로 한다. 또, color_channel_idc는, 도 1의 (d)에 나타내는 실시예 1의 color_id와 같은 것으로, 같은 의미론(semantics)의 정보이다.

이와 같이 규정함으로써, 독립 부호화 처리의 경우의 액세스 유닛 내의 각각의 픽쳐의 독립성이 확보된다. 또한, 각 슬라이스 헤더에 다중되는 frame_num(슬라이스가 속하는 픽쳐의 부호화ㆍ복호 처리 순서)에 대해서는, 1액세스 유닛 내의 모든 색성분 픽쳐에 있어서 동일한 값으로 한다.

도 11에, 본 실시예 7에 따른 부호화 장치의 개략 구성을 나타낸다. 동 도면에 있어서, 공통 부호화 처리는, 제 1 픽쳐 부호화부(102)에 있어서 실행되고, 독립 부호화 처리는, 제 2 픽쳐 부호화부(104)(3개의 색성분분을 준비)에 있어서 실행된다. 입력 영상 신호(1)는, 스위치(SW)(100)에 의해 제 1 픽쳐 부호화부(102)나, 색성분 분리부(103) 및 색성분마다의 제 2 픽쳐 부호화부(104) 중 어느 하나에 공급된다. 스위치(100)는, 공통 부호화ㆍ독립 부호화 식별 신호(101)에 의해 구동되고, 입력 영상 신호(1)를 지정된 버스에 공급한다.

이하에서는, 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)(101)는, 입력 영상 신호가 4 : 4 : 4 포맷인 경우에 시퀀스 파라미터 세트로 다중되어, 시퀀스의 단위로 공통 부호화 처리와 독립 부호화 처리를 선택하는 신호로 하는 경우에 대하여 설명한다.

공통 부호화 처리를 이용한 경우는, 복호 장치측에서는 공통 복호 처리를 실행하고, 독립 부호화 처리를 이용한 경우는, 복호 장치측에서는 독립 복호 처리를 실행할 필요가 있으므로, 공통 부호화ㆍ독립 부호화 식별 신호(101)는, 그것을 지정하는 정보로서 비트스트림으로 다중할 필요가 있다. 그 때문에, 공통 부호화ㆍ독립 부호화 식별 신호(101)는 다중화부(105)에 입력된다. 이 공통 부호화ㆍ독립 부호화 식별 신호(101)의 다중화 단위는, 시퀀스 내의 몇 개의 픽쳐군으로 이루어지는 GOP(Group Of Pictures)의 단위 등, 픽쳐보다 상위 레이어라면 어떠한 단위이더라도 좋다.

제 1 픽쳐 부호화부(102)에서는, 공통 부호화 처리를 실행하기 위해, 입력 영상 신호(1)를 도 6에 나타내는 바와 같이 3개의 색성분의 샘플을 정리한 형식의 매크로 블록으로 분할하고, 그 단위로 부호화 처리를 진행시킨다. 제 1 픽쳐 부호화부(102)에 있어서의 부호화 처리는 후술한다.

독립 부호화 처리가 선택된 경우는, 입력 영상 신호(1)는 색성분 분리부(103)에서 C0, C1, C2의 1프레임분의 데이터로 분리되어, 각각 대응하는 제 2 픽쳐 부호화부(104)에 공급된다. 제 2 픽쳐 부호화부(104)에서는, 색성분마다 분리된 1프레임분의 신호를 도 7에 나타내는 형식의 매크로 블록으로 분할하고, 그 단위로 부호화 처리를 진행시킨다. 제 2 픽쳐 부호화부에서의 부호화 처리는 후술한다.

제 1 픽쳐 부호화부(102)에는, 3개의 색성분으로 이루어지는 1픽쳐분의 영상 신호가 입력되고, 부호화 데이터는 비트스트림(133)으로서 출력된다. 제 2 픽쳐 부호화부(104)에는, 단일 색성분으로 이루어지는 1픽쳐분의 영상 신호가 입력되고, 부호화 데이터는 비트스트림(233a∼c)으로서 출력된다.

이들 비트스트림은, 공통 부호화ㆍ독립 부호화 식별 신호(101)의 상태에 근거하여 다중화부(105)에서 비트스트림(106)의 형식으로 다중화되어, 출력된다. 즉, 다중화부(105)는, 각각의 색성분의 입력 화상 신호를 독립적으로 부호화함으로써 얻어지는 부호화 데이터와, 부호화 데이터가 어떤 색성분의 데이터에 대한 것인지를 나타내는 파라미터를, 비트스트림으로 다중화한다.

비트스트림(106)의 다중화에 있어서는, 독립 부호화 처리되는 경우의 액세스 유닛 중에서는, 슬라이스 데이터의 비트스트림 중에서의 다중화 순서, 전송 순서를, 액세스 유닛 내의 픽쳐(각 색성분) 사이에서 인터리브 가능하게 한다.

즉, 도 12는 액세스 유닛 내에서의 슬라이스 인터리브 불가의 경우(a)와, 슬라이스 인터리브 가능의 경우(b)를 나타낸다. 슬라이스 인터리브 불가의 경우(a)에, C1 성분의 픽쳐 데이터는, C0 성분의 부호화가 완료될 때까지 비트스트림으로 다중할 수 없고, C2 성분의 픽쳐 데이터는, C0, C1 성분의 부호화가 완료될 때까지 비트스트림으로 다중할 수 없지만, 슬라이스 인터리브 가능의 경우(b)에, C1 성분은, C0 성분의 1슬라이스분이 비트스트림으로 다중되면, 즉시 다중화 가능하고, C2 성분은, C0, C1 성분의 1슬라이스분이 비트스트림으로 다중되면, 즉시 다중화 가능하다.

이 경우, 복호 장치측에서는, 수신한 슬라이스 데이터가, 액세스 유닛 내의 어떤 색성분에 속하는 슬라이스인지를 식별할 필요가 있다. 그 때문에, 슬라이스 데이터의 선두의 헤더 영역에 도 10과 같이 다중하는 색성분 식별 플래그를 이용한다. 또, 여기에 기재한 도 12의 슬라이스 인터리브의 개념은, 도 3에 개시되어 있는 개념과 등가이다.

이러한 구성으로 함으로써, 부호화 장치에서는, 도 11의 부호화 장치와 같이 3개의 색성분의 픽쳐를 각각 독립적인 제 2 픽쳐 부호화부(6)를 3세트 사용하여, 병렬 처리에 의해 부호화를 하는 경우에, 다른 색성분 픽쳐의 부호화 데이터의 완성을 기다리지 않고서, 자신의 픽쳐의 슬라이스 데이터를 준비할 수 있으면 곧 부호화 데이터를 송출 가능해진다.

AVC에서는 1픽쳐를 복수의 슬라이스 데이터로 분할하여 부호화할 수 있어, 슬라이스 데이터 길이나 슬라이스 내에 포함되는 매크로 블록의 개수에 대해서는, 부호화 조건에 따라 유연하게 변화시킬 수 있다.

화상 공간상에서 이웃이 되는 슬라이스의 사이에서는, 슬라이스의 복호 처리의 독립성을 확보하기 위해, 인트라 예측이나 산술 부호화 등의 근방 컨텍스트의 이용을 할 수 없으므로, 슬라이스 데이터 길이는 될 수 있는 한 긴 쪽이 부호화 효율은 높다.

한편, 전송이나 기록의 과정에서 비트스트림에 오류가 혼입한 경우는, 슬라이스 데이터 길이가 짧을수록 오류로부터의 복귀가 빨라져, 품질 열화를 억제하기 쉬워진다. 색성분 식별 플래그를 다중화하는 일 없이, 슬라이스의 길이나 구성, 색성분의 순서 등을 고정적으로 하여 버리면, 부호화 장치에 있어서 비트스트림의 생성 조건이 고정화되어 버려, 다양한 부호화 요구 조건에 유연하게 대응할 수 없어진다.

또한, 도 12와 같이 비트스트림을 구성할 수 있으면, 부호화 장치에서는 전송에 필요한 송신 버퍼 사이즈, 즉, 부호화 장치측에서의 처리 지연을 작게 할 수 있다.

그 모습을 도 11에 나타낸다. 만약 픽쳐에 걸치는 슬라이스 데이터의 다중이 허용되지 않는 경우, 부호화 장치는, 어떤 특정한 색성분의 픽쳐의 부호화가 종료하기까지의 사이, 다른 픽쳐의 부호화 데이터를 버퍼링시킬 필요가 있다. 이것은 픽쳐 레벨에서의 지연이 발생하는 것을 의미한다.

한편, 동 도면 최하부에 나타내는 바와 같이, 슬라이스 레벨로 인터리브 가능하게 하면, 어떤 특정한 색성분의 픽쳐 부호화부는 슬라이스 데이터의 단위로 부호화 데이터를 다중화부에 출력할 수 있어, 지연을 억제할 수 있다.

또, 하나의 색성분 픽쳐 내에서는, 그것에 포함되는 슬라이스 데이터는 매크로 블록의 래스터 주사(raster scan)순으로 전송하도록 하더라도 좋고, 하나의 픽쳐 내에서도 인터리브 전송을 가능하게 하도록 구성하더라도 좋다.

이하, 제 1 픽쳐 부호화부(102) 및 제 2 픽쳐 부호화부(104)의 동작을 자세히 설명한다.

제 1 픽쳐 부호화부(102)의 동작 개요

제 1 픽쳐 부호화부(102)의 내부 구성을 도 13에 나타낸다. 동 도면에 있어서, 입력 영상 신호(1)는, 4 : 4 : 4 포맷이고, 또한 도 6의 형식의 3개의 색성분을 정리한 매크로 블록의 단위로 입력되는 것으로 한다.

우선, 예측부(110)에서, 메모리(111)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하고, 그 매크로 블록의 단위로 움직임 보상 예측 처리가 행해진다. 메모리(111)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수매의 참조 화상 데이터가 저장되고, 예측부(110)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다.

메모리(111) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차적으로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차적으로 저장하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈는 7종류 준비되어 있어, 우선, 매크로 블록 단위로, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한, 8×8이 선택된 경우에는, 각 8×8 블록마다, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다.

예측부(110)에서는, 16×16, 16×8, 8×16, 8×8 중 전부 또는 일부의 블록 사이즈ㆍ8×8, 8×4, 4×8, 4×4의 서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1장 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터와 예측에 이용하는 참조 화상 식별 정보(112)와 감산기(113)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(114)를 얻는다.

예측 차분 신호(114)는 부호화 모드 판정부(115)에 있어서 그 예측 효율이 평가되고, 예측부(110)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브 매크로 블록 타입(116)과 움직임 벡터ㆍ참조 화상 식별 정보(112)를 출력한다.

매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 모두, 3개의 색성분에 대하여 공통의 헤더 정보로서 결정되어, 부호화에 사용되고, 비트스트림으로 다중화된다.

예측 효율의 최적성의 평가에서는, 연산량을 억제할 목적으로, 어떤 소정의 색성분(예컨대, RGB 중의 G 성분, YUV 중의 Y 성분 등)에 대한 예측 오차량만을 평가하더라도 좋고, 연산량은 커지지만 최적의 예측 성능을 얻도록 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다. 또한, 최종적인 매크로 블록 타입/서브 매크로 블록 타입(116)의 선정에서는, 부호화 제어부(117)의 판단으로 정해지는 각 타입에 대한 가중 계수(118)가 가미되는 경우도 있다.

마찬가지로, 예측부(110)에서는, 인트라 예측도 실행한다. 인트라 예측 실행시는, 신호(112)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특별히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 출력 신호(112)는 인트라 예측 모드 정보, 움직임 벡터 정보, 참조 화상 식별 번호를 정리하여 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 소정의 색성분만의 예측 오차량을 평가하더라도 좋고, 모든 색성분에 대한 예측 오차량을 총합 평가하도록 하더라도 좋다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를, 부호화 모드 판정부(115)에 있어서 예측 효율 또는 부호화 효율로 평가하여 선정한다.

선정된 매크로 블록 타입/서브 매크로 블록 타입(116)과, 예측 오버헤드 정보(112)에 근거한 인트라 예측ㆍ움직임 보상 예측에 의해 얻어지는 예측 차분 신호(114)를 변환부(119)에 출력한다. 변환부(119)는 입력되는 예측 차분 신호(114)를 변환하여 변환 계수로서 양자화부(120)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중 어느 하나에서 선택하도록 하더라도 좋다. 변환 블록 사이즈를 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(134)의 값에 반영하고, 동 플래그를 비트스트림으로 다중화한다.

양자화부(120)는, 입력되는 변환 계수를, 부호화 제어부(117)에 의해 정해지는 양자화 파라미터(121)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(122)로서 가변 길이 부호화부(123)에 출력한다. 양자화 완료 변환 계수(122)는, 3개의 색성분분의 정보를 포함하고, 가변 길이 부호화부(123)에서 허프만(Huffman) 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

또한, 양자화 완료 변환 계수(122)는, 역양자화부(124), 역변환부(125)를 지나 국부 복호 예측 차분 신호(126)로 복원되어, 선정된 매크로 블록 타입/서브 매크로 블록 타입(116)과 예측 오버헤드 정보(112)에 근거하여 생성되는 예측 화상(127)과 가산기(128)에서 가산함으로써 국부 복호 화상(129)이 생성된다. 국부 복호 화상(129)은, 디블록킹 필터(130)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(111)에 저장된다.

가변 길이 부호화부(123)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(131)도 입력된다.

가변 길이 부호화부(123)에 입력되는 양자화 완료 변환 계수(122), 매크로 블록 타입/서브 매크로 블록 타입(116), 예측 오버헤드 정보(112), 양자화 파라미터(121)는 소정의 규칙(구문)에 따라 비트스트림으로서 배열ㆍ정형되어, 도 6의 형식의 매크로 블록이 하나 내지는 복수개 정리된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(132)에 출력된다.

송신 버퍼(17)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오스트림(133)으로서 출력한다. 또한, 송신 버퍼(133)중의 비트스트림 축적 상황에 따라 부호화 제어부(117)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.

또, 제 1 픽쳐 부호화부(102)의 출력은, 3성분을 정리한 단위의 슬라이스로서, 액세스 유닛을 정리한 단위에서의 부호량과 등가이므로, 송신 버퍼(132)는 그대로 다중화부(105) 내에 배치하더라도 좋다.

본 실시예 7에 있어서의 제 1 픽쳐 부호화부(102)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(101)에 의해 시퀀스 중의 모든 슬라이스 데이터가 C0, C1, C2 혼재 슬라이스(즉, 3개의 색성분의 정보가 혼재하는 슬라이스)인 것이 식별 가능하므로, 슬라이스 헤더에 색성분 식별 플래그는 다중화하지 않는다.

제 2 픽쳐 부호화부(104)의 동작 개요

제 2 픽쳐 부호화부(104)의 내부 구성을 도 14에 나타낸다. 동 도면에 있어서, 입력 영상 신호(1a)는, 도 7의 형식의 단일 색성분의 샘플로 이루어지는 매크로 블록의 단위로 입력되는 것으로 한다.

우선, 예측부(210)에 있어서, 메모리(211)에 저장되는 움직임 보상 예측 참조 화상 데이터 중에서 참조 화상을 선택하여, 그 매크로 블록의 단위로 움직임 보상 예측 처리를 행한다. 메모리(211)에는, 복수 시각에 걸친, 단일 색성분으로 구성되는 복수매의 참조 화상 데이터를 저장할 수 있고, 예측부(210)에서는, 이들 중에서 매크로 블록의 단위로 최적의 참조 화상을 선택하여 움직임 예측을 행한다.

메모리(211)는 3개의 색성분분을 정리한 단위로 메모리(111)와 공용하도록 하더라도 좋다. 움직임 보상 예측을 행하는 블록 사이즈에는 7종류 준비되어 있어, 우선, 매크로 블록 단위로, 16×16, 16×8, 8×16, 8×8 중 어느 하나의 사이즈를 선택할 수 있다. 또한, 8×8이 선택된 경우에는, 각 8×8 블록마다, 8×8, 8×4, 4×8, 4×4 중 어느 하나의 사이즈를 선택할 수 있다.

예측부(210)에서는, 16×16, 16×8, 8×16, 8×8의 전부 또는 일부의 블록 사이즈ㆍ8×8, 8×4, 4×8, 4×4의 서브 블록 사이즈, 및 소정의 탐색 범위의 움직임 벡터 및 이용 가능한 1장 이상의 참조 화상에 대하여 매크로 블록마다 움직임 보상 예측 처리를 실행하여, 움직임 벡터와 예측에 이용하는 참조 화상의 인덱스(212)와 감산기(213)에 의해, 움직임 보상 예측 단위가 되는 블록마다의 예측 차분 신호(214)를 얻는다.

예측 차분 신호(2l4)는 부호화 모드 판정부(215)에 있어서 그 예측 효율이 평가되고, 예측부(210)에서 실행한 예측 처리 중에서, 예측 대상의 매크로 블록에 대하여 최적의 예측 효율을 얻을 수 있는 매크로 블록 타입/서브 매크로 블록 타입(216)과 움직임 벡터ㆍ참조 화상의 인덱스(212)를 출력한다. 매크로 블록 타입, 서브 매크로 블록 타입, 참조 화상 인덱스, 움직임 벡터 등의 매크로 블록 헤더 정보는 모두, 입력 영상 신호(1a)의 단일 색성분의 신호에 대한 헤더 정보로서 결정되어, 부호화에 사용되고, 비트스트림으로 다중화된다.

예측 효율의 최적성의 평가에서는, 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 또한, 최종적인 매크로 블록 타입/서브 매크로 블록 타입(216)의 선정에서는, 부호화 제어부(217)의 판단으로 정해지는 각 타입에 대한 가중 계수(218)가 가미되는 경우도 있다.

마찬가지로, 예측부(210)에서는, 인트라 예측도 실행한다. 예측부(110)를, 인트라, 인터 예측을 양방 실행하는 블록으로 했다. 인트라 예측 실행시는, 신호(212)에는, 인트라 예측 모드 정보가 출력된다. 이후, 특별히 인트라 예측, 움직임 보상 예측을 구별하지 않는 경우에는, 신호(212)는 예측 오버헤드 정보라고 부른다. 인트라 예측에 대해서도 부호화 처리 대상이 되는 단일 색성분에 대한 예측 오차량만을 평가한다. 마지막으로, 매크로 블록 타입을 인트라 예측으로 할지, 인터 예측으로 할지를 예측 효율 또는 부호화 효율로 평가하여 선정한다.

선정된 매크로 블록 타입/서브 매크로 블록 타입(216)과, 예측 오버헤드 정보(212)에 의해 얻어지는 예측 차분 신호(214)를 변환부(219)에 출력한다. 변환부(219)는 입력되는 단일 색성분분의 예측 차분 신호(214)를 변환하여 변환 계수로서 양자화부(220)에 출력한다. 이때, 변환을 행하는 단위가 되는 블록의 사이즈를 4×4나 8×8 중에서 선택하도록 하더라도 좋다. 선택 가능하게 하는 경우는, 부호화시에 선택된 블록 사이즈를, 변환 블록 사이즈 지정 플래그(234)의 값에 반영하고, 동 플래그를 비트스트림으로 다중화한다.

양자화부(220)는 입력되는 변환 계수를, 부호화 제어부(217)에 의해 정해지는 양자화 파라미터(221)에 근거하여 양자화를 행하고, 양자화 완료 변환 계수(222)로서 가변 길이 부호화부(223)에 출력한다. 양자화 완료 변환 계수(222)는, 단일 색성분분의 정보를 포함하고, 가변 길이 부호화부(223)에서 허프만 부호화나 산술 부호화 등의 수단에 의해 엔트로피 부호화된다.

또한, 양자화 완료 변환 계수(222)는 역양자화부(224), 역변환부(225)를 지나 국부 복호 예측 차분 신호(226)로 복원되어, 선정된 매크로 블록 타입/서브 매크로 블록 타입(216)과 예측 오버헤드 정보(212)에 근거하여 생성되는 예측 화상(227)과 가산기(228)로 가산함으로써 국부 복호 화상(229)이 생성된다.

국부 복호 화상(229)은, 디블록킹 필터(230)에서 블록 왜곡 제거 처리를 실시한 후, 이후의 움직임 보상 예측 처리에 이용하기 위해 메모리(211)에 저장된다. 가변 길이 부호화부(223)에는, 당해 매크로 블록에 대하여 디블록킹 필터를 실시할지 여부를 나타내는 디블록킹 필터 제어 플래그(231)도 입력된다.

가변 길이 부호화부(223)에 입력되는 양자화 완료 변환 계수(222), 매크로 블록 타입/서브 매크로 블록 타입(216), 예측 오버헤드 정보(212), 양자화 파라미터(221)는 소정의 규칙(구문)에 따라 비트스트림으로서 배열ㆍ정형되고, 도 7의 형식의 매크로 블록이 하나 내지는 복수개 정리된 슬라이스 데이터의 단위로 NAL 유닛화된 부호화 데이터로서 송신 버퍼(232)에 출력된다.

송신 버퍼(232)에서는 부호화 장치가 접속되는 전송로의 대역이나 기록 매체의 판독 속도에 맞춰 비트스트림을 평활화하여 비디오스트림(233)으로서 출력한다. 또한, 송신 버퍼(232) 중의 비트스트림 축적 상황에 따라 부호화 제어부(217)에 피드백을 걸어, 이후의 영상 프레임의 부호화에 있어서의 발생 부호량을 제어한다.

또, 제 2 픽쳐 부호화부(104)의 출력은, 단일 색성분의 데이터만으로 이루어지는 슬라이스로서, 액세스 유닛을 정리한 단위로의 부호량 제어가 필요해지는 경우에는, 다중화부(105) 내에 모든 색성분의 슬라이스를 다중한 단위로의 공통 송신 버퍼를 마련하고, 동 버퍼의 점유량을 바탕으로 각 색성분의 부호화 제어부(217)에 피드백을 걸도록 구성하더라도 좋다.

또한, 이때, 모든 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하도록 하더라도 좋고, 각 색성분의 송신 버퍼(232)의 상태도 가미하여 부호화 제어를 행하도록 하더라도 좋다. 모든 색성분의 발생 정보량만을 이용하여 부호화 제어를 행하는 경우는, 송신 버퍼(232) 상당의 기능을 다중화부(105) 내의 공통 송신 버퍼로 실현함으로써, 송신 버퍼(232)를 생략하는 구성을 취할 수도 있다.

본 실시예 7에 있어서의 제 2 픽쳐 부호화부(104)에서는, 공통 부호화ㆍ독립 부호화 식별 신호(101)에 의해 시퀀스 중의 모든 슬라이스 데이터가 단일 색성분 슬라이스(즉, C0 슬라이스 또는 C1 슬라이스 또는 C2 슬라이스)인 것이 식별 가능하므로, 슬라이스 헤더에 항상 색성분 식별 플래그를 다중화하여, 복호 장치측에서 어떤 슬라이스가 액세스 유닛 내의 어떤 픽쳐 데이터에 해당하는지를 식별할 수 있도록 한다.

이 때문에, 각 제 2 픽쳐 부호화부(104)는, 각각의 송신 버퍼(232)로부터의 출력을 1픽쳐분 모으는 일 없이, 1슬라이스분의 데이터가 쌓인 시점에서 송출할 수 있다.

또, 제 1 픽쳐 부호화부(102)와 제 2 픽쳐 부호화부(104)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트스트림 구성이 다를 뿐이다. 도 13이나 도 14에 있어서의 예측부나 변환부ㆍ역변환부, 양자화부ㆍ역양자화부, 디블록킹 필터 등의 기본적인 처리 블록의 대부분은, 3개의 색성분의 정보와 정리하여 처리하는지, 단일 색성분의 정보만을 취급하는지의 차이일 뿐이고, 제 1 픽쳐 부호화부(102)와 제 2 픽쳐 부호화부(104)에서 공통의 기능 블록으로 실현할 수도 있다.

따라서, 도 11과 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 13이나 도 14의 기본 구성 요소를 적절히 조합하여 다양한 부호화 장치의 실장을 실현할 수 있다. 또한, 제 1 픽쳐 부호화부(102)에 있어서의 메모리(111)의 배치를 면순차적으로 갖기로 하면, 참조 화상 저장 메모리의 구성을 제 1 픽쳐 부호화부(102)와 제 2 픽쳐 부호화부(104)에서 공통으로할 수 있다.

또한, 도시는 하고 있지 않지만, 본 실시예에 있어서의 부호화 장치에서는, 도 9, 도 10의 배열에 따른 비디오스트림(106)을 버퍼링하는 가상적인 스트림 버퍼(부호화 픽쳐 버퍼)와, 복호 화상(313a, 313b)을 버퍼링하는 가상적인 프레임 메모리(복호 픽쳐 버퍼)의 존재를 상정하여, 부호화 픽쳐 버퍼의 오버플로우ㆍ언더플로우나, 복호 픽쳐 버퍼의 파탄이 없도록 비디오스트림(106)을 생성한다. 이 제어는, 주로, 부호화 제어부(117, 217)에서 행한다.

이에 따라, 복호 장치에 있어서, 비디오스트림(106)을 부호화 픽쳐 버퍼와 복호 픽쳐 버퍼의 동작(가상 버퍼 모델)에 따라 복호하는 경우에, 복호 장치에 파탄이 발생하지 않도록 하는 것을 보증한다. 가상 버퍼 모델을 이하에 규정한다.

부호화 픽쳐 버퍼의 동작은 액세스 유닛 단위로 행한다. 상술한대로, 공통 복호 처리를 행하는 경우에는, 1액세스 유닛에는 1픽쳐분의 부호화 데이터가 포함되고, 독립 복호 처리를 행하는 경우에 1액세스 유닛에는 색성분수만큼의 픽쳐(3성분이면 3픽쳐분)의 부호화 데이터가 포함되어 있다.

부호화 픽쳐 버퍼에 대하여 규정되는 동작은, 액세스 유닛의 최초의 비트와 최후의 비트가 부호화 픽쳐 버퍼에 입력되는 시각과 액세스 유닛의 비트가 부호화 픽쳐 버퍼로부터 판독되는 시각이다. 또, 부호화 픽쳐 버퍼로부터의 판독은 순간에 행해진다고 규정하여, 액세스 유닛의 모든 비트가 같은 시각에 부호화 픽쳐 버퍼로부터 판독되는 것으로 한다.

액세스 유닛의 비트는, 부호화 픽쳐 버퍼로부터 판독되면, 상위 헤더 해석부에 입력되고, 상술한대로, 제 1 픽쳐 복호부 또는 제 2 픽쳐 복호부에서 복호 처리가 행해져, 액세스 유닛 단위로 묶여진 컬러 영상 프레임으로서 출력된다. 또, 부호화 픽쳐 버퍼로부터 비트를 판독하여, 액세스 유닛 단위의 컬러 영상 프레임으로서 출력하기까지의 처리는, 가상 버퍼 모델의 규정상 순간에 행해지는 것으로 한다.

액세스 유닛 단위로 구성된 컬러 영상 프레임은, 복호 픽쳐 버퍼에 입력되어, 복호 픽쳐 버퍼로부터의 출력 시각이 산출된다. 복호 픽쳐 버퍼로부터의 출력 시각은, 부호화 픽쳐 버퍼로부터의 판독 시각에 소정의 지연 시간을 더한 값이다.

이 지연 시간은, 비트스트림으로 다중하여 복호 장치를 제어하는 것이 가능하다. 지연 시간이 0인 경우, 즉, 복호 픽쳐 버퍼로부터의 출력 시각이 부호화 픽쳐 버퍼로부터의 판독 시각과 같은 경우에는, 컬러 영상 프레임이 복호 픽쳐 버퍼에 입력됨과 동시에 복호 픽쳐 버퍼로부터 출력된다.

그 이외의 경우, 즉, 복호 픽쳐 버퍼로부터의 출력 시각이 부호화 픽쳐 버퍼로부터의 판독 시각보다 느린 경우, 복호 픽쳐 버퍼로부터의 출력 시각이 될 때까지 컬러 영상 프레임은 복호 픽쳐 버퍼에 보존된다. 상술한대로, 액세스 유닛 단위로 복호 픽쳐 버퍼로부터의 동작이 규정된다.

도 15에, 본 실시예 7의 복호 장치의 개략 구성을 나타낸다. 동 도면에 있어서, 공통 복호 처리는, 제 1 픽쳐 복호부(302)에 있어서 실행되고, 독립 복호 처리는, 색성분 판정부(303)와 제 2 픽쳐 복호부(304)(3개의 색성분분을 준비)에 있어서 실행된다.

비트스트림(106)은, 상위 헤더 해석부(300)에서 NAL 유닛 단위로 분할되고, 시퀀스 파라미터 세트나 픽쳐 파라미터 세트 등의 상위 헤더 정보는, 그대로 복호하여 복호 장치 내의 제 1 픽쳐 복호부(302), 색성분 판정부(303), 제 2 픽쳐 복호부(304)가 참조 가능한 소정의 메모리 영역에 저장하여 둔다. 시퀀스 단위로 다중되는 공통 부호화ㆍ독립 부호화 식별 신호(num_pictures_in_au)는, 상위 헤더 정보의 일부로서 복호ㆍ유지된다.

복호된 num_pictures_in_au는 스위치(SW)(301)에 공급되고, 스위치(301)는, num_pictures_in_au = 1이면, 픽쳐마다의 슬라이스 NAL 유닛을 제 1 픽쳐 복호부(302)에 공급하고, num_pictures_in_au = 3이면, 색성분 판정부(303)에 공급한다.

즉, num_pictures_in_au = 1이면 제 1 픽쳐 복호부(302)에 의해, 공통 복호 처리가 행해지고, num_pictures_in_au = 3이면 3개의 제 2 픽쳐 복호부(304)에 의해, 독립 복호 처리가 행해진다. 제 1 및 제 2 픽쳐 복호부의 상세한 동작은 후술한다.

색성분 판정부(303)는, 어떤 색성분에 대한 부호화 데이터인지를 나타내는 파라미터를 검출하는 검출 수단을 이루는 것으로, 도 10에서 나타낸 색성분 식별 플래그의 값에 따라, 슬라이스 NAL 유닛이 현재의 액세스 유닛 내의 어느 색성분 픽쳐에 상당하는지를 식별하여, 적절한 제 2 픽쳐 복호부(304)에 분배 공급한다.

이러한 복호 장치의 구성에 의해, 도 12와 같이 액세스 유닛 내에서 슬라이스가 인터리브되어 부호화된 비트스트림을 수신하더라도, 어떤 슬라이스가 어떤 색성분 픽쳐에 속하는지를 용이하게 판별하여 정확하게 복호할 수 있는 효과가 있다.

제 1 픽쳐 복호부(302)의 동작 개요

제 1 픽쳐 복호부(302)의 내부 구성을 도 16에 나타낸다. 제 1 픽쳐 복호부(302)는, 도 11의 부호화 장치로부터 출력되는 도 9, 도 10의 배열에 따르는 비트스트림(106)을, C0, C1, C2 혼재 슬라이스의 단위로 수신하고, 도 6에 나타내는 3개의 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임을 복원한다.

가변 길이 복호부(310)는, 비트스트림(106)을 입력으로 하여, 소정의 규칙(구문)에 따라 비트스트림(106)을 해독하여, 3성분분의 양자화 완료 변환 계수(122), 및 3성분에서 공통하여 이용되는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(116), 예측 오버헤드 정보(112), 변환 블록 사이즈 지정 플래그(134), 양자화 파라미터(121))를 추출한다. 양자화 완료 변환 계수(122)는 양자화 파라미터(121)와 아울러, 제 1 픽쳐 부호화부(102)와 같은 처리를 행하는 역양자화부(124)에 입력되어, 역양자화 처리가 행해진다.

이어서, 그 출력이 제 1 픽쳐 부호화부(102)와 같은 처리를 행하는 역변환부(125)에 입력되어, 국부 복호 예측 차분 신호(126)로 복원된다(변환 블록 사이즈 지정 플래그(134)가 비트스트림(106) 중에 존재하면, 그것을 역양자화, 역변환 처리 과정에서 참조한다).

한편, 예측부(311)는, 제 1 픽쳐 부호화부(102) 중의 예측부(110) 중, 예측 오버헤드 정보(112)를 참조하여 예측 화상(127)을 생성하는 처리만이 포함되고, 예측부(311)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(116), 예측 오버헤드 정보(112)가 입력되어, 3성분분의 예측 화상(127)을 얻는다.

매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(112)로부터 인트라 예측 모드 정보에 따라 3성분분의 예측 화상(127)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(112)로부터 움직임 벡터, 참조 화상 인덱스에 따라 3성분분의 예측 화상(127)을 얻는다.

국부 복호 예측 차분 신호(126)와 예측 화상(127)은 가산기(128)에 의해 가산되어, 3성분분의 잠정 복호 화상(129)을 얻는다. 잠정 복호 화상(129)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 1 픽쳐 부호화부(102)와 같은 처리를 행하는 디블록킹 필터(130)에서 3성분분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(313)으로서 출력됨과 아울러, 메모리(312)에 저장된다.

이때, 가변 길이 복호부(310)에 의해 해독된 디블록킹 필터 제어 플래그(131)의 지시에 근거하여 디블록킹 필터 처리를 잠정 복호 화상(129)에 대하여 작용시킨다. 메모리(312)에는, 복수 시각에 걸친, 3개의 색성분으로 구성되는 복수매의 참조 화상 데이터가 저장된다.

예측부(311)에서는, 이들 중에서 매크로 블록의 단위로 비트스트림으로부터 추출한 참조 화상 인덱스로 표시되는 참조 화상을 선택하여 예측 화상 생성을 행한다. 메모리(3l2) 내의 참조 화상 데이터의 배치는, 색성분마다 면순차적으로 나누어 저장하더라도 좋고, 각 색성분의 샘플을 점순차적으로 저장하더라도 좋다. 복호 화상(313)은 3개의 색성분을 포함하고, 그대로 공통 복호 처리에 있어서의 액세스 유닛(313a)을 구성하는 컬러 영상 프레임이 된다.

제 2 픽쳐 복호부(304)의 동작 개요

제 2 픽쳐 복호부(304)의 내부 구성을 도 17에 나타낸다. 제 2 픽쳐 복호부(304)는, 도 11의 부호화 장치로부터 출력되는 도 9, 도 10의 배열에 따르는 비트스트림(106)이, 색성분 판정부(303)에서 나누어진 C0 내지는, C1 내지는, C2 슬라이스 NAL 유닛(450)의 단위로 수신하고, 도 7에 나타내는 단일 색성분의 샘플로 이루어지는 매크로 블록을 단위로 하여 복호 처리를 행하여, 출력 영상 프레임을 복원한다.

가변 길이 복호부(410)는, 비트스트림(450)을 입력으로 하여, 소정의 규칙(구문)에 따라 비트스트림(450)을 해독하여, 단일 색성분의 양자화 완료 변환 계수(222), 및 단일 색성분에 적용하는 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입(216), 예측 오버헤드 정보(212), 변환 블록 사이즈 지정 플래그(234), 양자화 파라미터(221))를 추출한다.

양자화 완료 변환 계수(222)는 양자화 파라미터(221)와 아울러 제 2 픽쳐 부호화부(104)와 같은 처리를 행하는 역양자화부(224)에 입력되어, 역양자화 처리가 행해진다. 이어서 그 출력이 제 2 픽쳐 부호화부(104)와 같은 처리를 행하는 역변환부(225)에 입력되어, 국부 복호 예측 차분 신호(226)로 복원된다(변환 블록 사이즈 지정 플래그(234)가 비트스트림(450) 중에 존재하면, 그것을 역양자화, 역직교 변환 처리 과정에서 참조한다).

한편, 예측부(311)는, 제 2 픽쳐 부호화부(104) 중의 예측부(210) 중, 예측 오버헤드 정보(212)를 참조하여 예측 화상(227)을 생성하는 처리만이 포함되고, 예측부(411)에 대하여 매크로 블록 타입/서브 매크로 블록 타입(216), 예측 오버헤드 정보(212)가 입력되어, 단일 색성분의 예측 화상(227)을 얻는다.

매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(212)로부터 인트라 예측 모드 정보에 따라 단일 색성분의 예측 화상(227)을 얻고, 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 예측 오버헤드 정보(212)로부터 움직임 벡터, 참조 화상 인덱스에 따라 단일 색성분의 예측 화상(227)을 얻는다.

국부 복호 예측 차분 신호(226)와 예측 화상(227)은 가산기(228)에 의해 가산되어, 단일 색성분 매크로 블록의 잠정 복호 화상(229)을 얻는다. 잠정 복호 화상(229)은 이후의 매크로 블록의 움직임 보상 예측에 이용되기 위해, 제 2 픽쳐 부호화부(104)와 같은 처리를 행하는 디블록킹 필터(230)에서 단일 색성분의 잠정 복호 화상 샘플에 대하여 블록 왜곡 제거 처리를 실시한 후, 복호 화상(451)으로서 출력됨과 아울러, 메모리(412)에 저장된다.

이때, 가변 길이 복호부(410)에 의해 해독된 디블록킹 필터 제어 플래그(231)의 지시에 근거하여 디블록킹 필터 처리를 잠정 복호 화상(229)에 대하여 작용시킨다. 복호 화상(410)은 단일 색성분의 샘플만을 포함하고, 도 15에 있어서의 다른 병렬 처리되는 제 2 픽쳐 복호부(304)의 각각의 출력을 액세스 유닛(313b)의 단위로 묶음으로써, 컬러 영상 프레임으로서 구성된다.

이상으로부터 분명하듯이, 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)는, 매크로 블록 헤더 정보를 3성분 공통의 정보로서 취급하는지, 단일 색성분의 정보로서 취급하는지의 차이와, 슬라이스 데이터의 비트스트림 구성이 다를 뿐이고, 도 13이나 도 14에 있어서의 움직임 보상 예측 처리나 역변환, 역양자화 등의 기본적인 복호 처리 블록의 대부분은 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)에서 공통의 기능 블록으로 실현할 수 있다.

따라서, 도 15와 같은 완전히 독립적인 부호화 처리부로서 뿐만 아니라, 도 16이나 도 17의 기본 구성 요소를 적절히 조합하여 다양한 복호 장치의 실장을 실현할 수 있다. 또한, 제 1 픽쳐 복호부(302)에 있어서의 메모리(312)의 배치를 면순차적으로 갖기로 하면, 메모리(312), 메모리(412)의 구성을 제 1 픽쳐 복호부(302)와 제 2 픽쳐 복호부(304)에서 공통으로 할 수 있다.

또, 도 15의 복호 장치는, 도 11의 부호화 장치의 별도의 형태로서, 공통 부호화ㆍ독립 부호화 식별 신호(3)를 항상 「독립 부호화 처리」에 고정화하여, 제 1 픽쳐 부호화부(102)를 일체 사용하지 않고 모든 프레임을 독립 부호화하도록 구성된 부호화 장치로부터 출력되는 비트스트림을 수신하여 복호하는 것도 물론 가능하다.

또한, 도 15의 복호 장치의 별도의 형태로서, 항상 공통 부호화ㆍ독립 부호화 식별 신호(3)가 「독립 부호화 처리」에 고정화되는 것을 전제로 하는 이용 형태에서는, 스위치(301)나 제 1 픽쳐 복호부(302)를 생략한 독립 복호 처리만을 행하는 복호 장치로서 구성하더라도 좋다.

또한, 제 1 픽쳐 복호부(302)에, 종래의 YUV(휘도 신호(Y)와, 휘도 신호와 청색 성분의 차(U), 휘도 신호와 적색 성분의 차(V)의 3개의 정보로 색을 나타내는 형식의 신호) 4 : 2 : 0 포맷을 대상으로 하여 3성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트스트림의 복호 기능을 구비하도록 하여, 상위 헤더 해석부(300)에 있어서, 비트스트림(106)으로부터 복호하는 프로파일 식별자를 참조하여 어느 포맷으로 부호화된 비트스트림인지를 판정하고, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(3)의 신호선의 정보의 일부로서 스위치(301)와 제 1 픽쳐 복호부(302)에 전하는 구성을 취하면, 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.

또, 본 실시예 7에 있어서의 제 1 픽쳐 부호화부(102)에서는, 슬라이스 데이터에 3개의 색성분의 정보가 혼재하고, 또한 3개의 색성분에 대하여 완전히 같은 인트라ㆍ인터 예측 처리를 실시하므로, 예측 오차 신호 공간에서, 색성분 사이에서의 신호 상관이 잔존하는 경우가 있다.

이를 제거하는 고안으로서, 예컨대, 예측 오차 신호에 대하여, 색공간 변환 처리를 실시하도록 구성하더라도 좋다. 이러한 구성을 갖는 제 1 픽쳐 부호화부(102)의 예를 도 18, 도 19에 나타낸다. 또, 도 18, 도 19에 있어서, 색공간 변환부 및 역색공간 변환부 이외는 도 13과 공통한다.

도 18은 색공간 변환 처리를, 변환 처리를 행하기 전의 화소 레벨로 실시하는 예이며, 색공간 변환부(150a)를 변환부의 앞에, 역색공간 변환부(151a)를 역변환부의 뒤에 배치한다.

도 19는 색공간 변환 처리를, 변환 처리를 행한 후에 얻어진 계수 데이터에 대하여 처리 대상의 주파수 성분을 적절히 선택하면서 실시하는 예이며, 색공간 변환부(150b)를 변환부의 뒤에, 역색공간 변환부(151b)를 역변환부의 앞에 배치한다. 색공간 변환을 실시하는 주파수 성분을 한정함으로써, 특정한 색성분에 포함되는 고주파 노이즈 성분이 노이즈를 별로 포함하지 않는 다른 색성분에 전파하는 것을 억제할 수 있는 효과가 있다.

색공간 변환 처리의 대상이 되는 주파수 성분을 적응 선택 가능하게 하는 경우에는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(152a, 152b)를 비트스트림으로 다중화한다.

색공간 변환 처리는, 부호화 대상의 화상 신호의 성질에 따라 복수의 변환 방식을 매크로 블록 단위로 전환하여 사용하도록 하더라도 좋고, 매크로 블록의 단위로 변환 유무를 판정하도록 구성하더라도 좋다. 선택 가능한 변환 방식의 종별을 시퀀스 레벨 등으로 지정하여 두고, 그들 중에서 어느 것을 고르는지를 픽쳐, 슬라이스, 매크로 블록 등의 단위로 지정하도록 구성할 수도 있다. 또한, 직교 변환의 전에 실시할지, 후에 실시할지를 선택 가능하도록 구성하더라도 좋다.

이들 적응 부호화 처리를 행하는 경우는, 선택 가능한 모든 선택지에 대하여, 부호화 모드 판정부(115 내지 215)에서 부호화 효율의 평가를 행하여 가장 부호화 효율이 높은 것을 선택하도록 구성할 수 있다. 이들 적응 부호화 처리를 실시하는 경우는, 복호측에서 부호화시의 선택을 판단하기 위한 시그널링 정보(152a, 152b)를 비트스트림으로 다중화한다. 이러한 시그널링은, 슬라이스, 픽쳐, GOP, 시퀀스 등 매크로 블록과는 다른 레벨로 지정하더라도 좋다.

도 18, 도 19의 부호화 장치에 대응하는 복호 장치를 도 20, 도 21에 나타낸다. 또, 도 20, 도 21에 있어서, 역색공간 변환부 이외는 도 16과 공통한다. 도 20은 도 18의 부호화 장치에 의해, 변환 처리 전에 색공간 변환이 행해져 부호화된 비트스트림을 복호하는 복호 장치이다.

가변 길이 복호부는 비트스트림으로부터, 역색공간 변환부(151a)에서 변환을 행할지 행하지 않을지를 선택하는 변환 유무의 정보나, 역색공간 변환부에서 실행 가능한 변환 방식을 선택하는 정보(152a)를 복호하여, 역색공간 변환부(151a)에 공급한다. 도 20의 복호 장치는, 역색공간 변환부(151a)에서, 이들의 정보에 근거하여 역변환 후의 예측 오차 신호에 대한 색공간 변환 처리를 실시한다.

또한, 도 21은 도 19의 부호화 장치에 의해, 변환 처리 후에 처리 대상의 주파수 성분을 선택하여 색공간 변환을 행함으로써 부호화된 비트스트림을 복호하는 복호 장치이다. 가변 길이 복호부는 비트스트림으로부터, 역색공간 변환부(151b)에서 변환을 행할지, 행하지 않을지를 선택하는 변환 유무의 정보나, 역색공간 변환부에서 실행되는 변환 방식을 선택하는 정보나, 색공간 변환을 실시하는 주파수 성분을 특정하는 정보 등을 포함하는 식별 정보(152b)를 복호하여 역색공간 변환부(151b)에 공급한다. 도 21의 복호 장치는, 역색공간 변환부(151b)에서, 이들 정보에 근거하여 역양자화 후의 변환 계수 데이터에 대하여 색공간 변환 처리를 실시한다.

도 20, 도 21의 복호 장치는, 도 15의 복호 장치와 같이, 제 1 픽쳐 복호부(302)에, 종래의 YUV 4 : 2 : 0 포맷을 대상으로 하여 3성분 정리하여 부호화된 AVC 하이 프로파일 준거의 비트스트림의 복호 기능을 구비하도록 하고, 상위 헤더 해석부(300)에 있어서, 비디오스트림(106)으로부터 복호하는 프로파일 식별자를 참조하여 어느 포맷으로 부호화된 비트스트림인지를 판정하여, 판정 결과를 공통 부호화ㆍ독립 부호화 식별 신호(101)의 신호선의 정보의 일부로서 스위치(10)와 제 1 픽쳐 복호부(302)에 전하는 구성을 취하면, 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수도 있다.

도 22에 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 포함되는 매크로 블록 헤더 정보의 부호화 데이터의 구성을 나타낸다. 매크로 블록 타입이 인트라 예측일 때에, 인트라 색차 예측 모드(500)의 부호화 데이터가 포함되어 있다. 매크로 블록 타입이 인터 예측일 때에는, 매크로 블록 헤더 정보에 포함되는 참조 화상 식별 번호, 움직임 벡터 정보를 이용하여 휘도 성분과는 다른 방법으로 색차 성분의 움직임 벡터가 생성된다.

종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치의 동작에 대하여 설명한다. 상술한대로, 제 1 픽쳐 복호부(302)가 종래의 YUV 4 : 2 : 0 포맷의 비트스트림의 복호 기능을 구비하는 것으로 한다. 제 1 픽쳐 복호부의 내부 구성은 도 16과 동일하다.

종래의 YUV 4 : 2 : 0 포맷의 비트스트림의 복호 기능을 구비한 제 1 픽쳐 복호부(302)의 가변 길이 복호부(310)의 동작을 설명한다. 비디오스트림(106)이 가변 길이 복호부(310)에 입력되면, 색차 포맷 지시 플래그를 복호한다. 색차 포맷 지시 플래그는, 비디오스트림(106)의 시퀀스 파라미터 헤더에 포함되고, 입력 영상 포맷이 4 : 4 : 4, 4 : 2 : 2, 4 : 2 : 0, 4 : 0 : 0 중 어느 포맷인지를 나타내는 플래그이다.

비디오스트림(106)의 매크로 블록 헤더 정보의 복호 처리는 색차 포맷 지시 플래그의 값에 따라 전환된다. 매크로 블록 타입이 인트라 예측을 나타내고 있는 경우에, 색차 포맷 지시 플래그가 4 : 2 : 0 또는 4 : 2 : 2를 나타내고 있는 경우에는 인트라 색차 예측 모드를 비트스트림으로부터 복호한다. 색차 포맷 지시 플래그가 4 : 4 : 4를 나타내고 있는 경우에는 인트라 색차 예측 모드의 복호를 스킵한다. 색차 포맷 지시 플래그가 4 : 0 : 0을 나타내고 있는 경우, 입력 영상 신호는 휘도 신호만으로 구성되는 포맷(4 : 0 : 0 포맷)이므로, 인트라 색차 예측 모드의 복호를 스킵한다.

인트라 색차 예측 모드 이외의 매크로 블록 헤더 정보의 복호 처리는, 종래의 YUV 4 : 2 : 0 포맷의 비트스트림의 복호 기능을 구비하고 있지 않은 제 1 픽쳐 복호부(302)의 가변 길이 복호부(310)와 동일하다.

이상에 따라, 비디오스트림(106)이 가변 길이 복호부(310)에 입력되면, 색차 포맷 지시 플래그(도시하지 않음), 3성분분의 양자화 완료 변환 계수, 매크로 블록 헤더 정보(매크로 블록 타입/서브 매크로 블록 타입, 예측 오버헤드 정보, 변환 블록 사이즈 지정 플래그, 양자화 파라미터)를 추출한다. 예측부(311)에는, 색차 지시 포맷 지시 플래그(도시하지 않음)와 예측 오버헤드 정보가 입력되어, 3성분분의 예측 화상(127)을 얻는다.

도 23에 종래의 YUV 4 : 2 : 0 포맷의 비트스트림에 대한 호환성을 확보하는 제 1 픽쳐 복호부(302)의 예측부(311)의 내부 구성을 나타내고, 그 동작을 설명한다.

전환부(501)는, 매크로 블록 타입을 판별하고, 매크로 블록 타입이 인트라 예측인 것을 나타내는 경우는, 전환부(502)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이, 4 : 2 : 0 또는 4 : 2 : 2 중 어느 하나를 나타내는 경우에는, 예측 오버헤드 정보로부터 인트라 예측 모드 정보와 인트라 색차 예측 모드 정보에 따라 3성분분의 예측 화상(127)을 얻는다. 3성분 중, 휘도 신호의 예측 화상은, 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부에서 생성된다.

색차 신호 2성분의 예측 화상은, 인트라 색차 예측 모드 정보에 따라, 휘도 성분과는 다른 처리를 행하는 색차 신호 인트라 예측부에서 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 4 : 4를 나타내는 경우에는, 3성분 전부의 예측 화상이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부에서 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 0 : 0을 나타내는 경우에는, 4 : 0 : 0 포맷은 휘도 신호(1성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 인트라 예측 모드 정보에 따라 휘도 신호 인트라 예측부에서 생성된다.

전환부(501)에서 매크로 블록 타입이 인터 예측인 것을 나타내는 경우는, 전환부(503)에서 색차 포맷 지시 플래그의 값을 판별한다. 색차 포맷 지시 플래그의 값이 4 : 2 : 0 또는 4 : 2 : 2 중 어느 하나를 나타내는 경우에는, 휘도 신호에 대해서는, 휘도 신호 인터 예측부에서 예측 오버헤드 정보로부터 움직임 벡터, 참조 화상 인덱스에 따라, AVC 규격이 정하는 휘도 신호의 예측 화상 생성 방법에 따라 예측 화상이 생성된다.

색차 신호 2성분의 예측 화상에 대해서는, 색차 신호 인터 예측부에서, 예측 오버헤드 정보로부터 얻어지는 움직임 벡터를 색차 포맷에 근거하여 스케일링하여 색차 움직임 벡터를 생성하고, 예측 오버헤드 정보로부터 얻어지는 참조 화상 인덱스가 지시하는 참조 화상으로부터, 상기 색차 움직임 벡터에 근거하여 AVC 규격이 정하는 방법에 따라 예측 화상이 생성된다. 색차 포맷 지시 플래그의 값이, 4 : 0 : 0을 나타내는 경우에는, 4 : 0 : 0 포맷은 휘도 신호(1성분)만으로 구성되므로, 휘도 신호의 예측 화상만이 움직임 벡터, 참조 화상 인덱스에 따라 휘도 신호 인터 예측부에서 생성된다.

이상과 같이, 종래의 YUV 4 : 2 : 0 포맷의 색차 신호의 예측 화상을 생성하는 수단을 마련하여, 비트스트림으로부터 복호한 색차 포맷 지시 플래그의 값에 따라 3성분의 예측 화상의 생성에 이용하는 수단을 전환하도록 하였으므로, 종래의 YUV 4:2.:0 포맷의 비트스트림에 대한 호환성을 확보하는 복호 장치를 구성할 수 있다.

또, 도 20, 도 21의 복호 장치에 공급하는 비트스트림(106)에, 도 15의 복호 장치와 같이 색공간 변환 처리를 지원하지 않는 복호 장치로도 복호가 가능한 비트스트림인지 여부를 나타내는 정보를 시퀀스 파라미터 세트 등의 단위로 부여하여 두면, 도 20, 도 21, 도 15 중 어느 복호 장치로도 각각의 복호 성능에 따른 비트스트림의 복호가 가능하여, 비트스트림의 호환성을 확보하기 쉬운 효과가 있다.

(실시예 8)

본 실시예 8에서는, 도 11이나 도 15 등 실시예 7의 부호화 장치ㆍ복호 장치에 있어서, 그 입출력 대상이 되는 비트스트림의 구성만이 다른 별도의 실시예에 대하여 말한다. 본 실시예 8에 있어서의 부호화 장치는, 도 24에 나타내는 비트스트림 구성으로 부호화 데이터의 다중화를 행한다.

도 9의 구성의 비트스트림에 있어서, AUD NAL 유닛은, 그 요소로서 primary_pic_type이라고 하는 정보를 포함한다. 이것은, 표에 표시된 바와 같이, AUD NAL 유닛에서 시작되는 액세스 유닛 내의 픽쳐 데이터가 부호화될 때의 픽쳐 부호화 타입의 정보를 나타낸다.

예컨대, primary_pic_type = 0인 경우는, 픽쳐 내 전부가 인트라 부호화되어 있는 것을 나타낸다. primary_pic_type = 1인 경우는, 인트라 부호화되는 슬라이스와, 참조 픽쳐 리스트를 하나만 사용하여 움직임 보상 예측을 행하는 것이 가능한 슬라이스가 픽쳐 내에서 혼재할 수 있는 것을 나타낸다. primary_pic_type은, 하나의 픽쳐가 어떠한 부호화 모드를 사용하여 부호화할 수 있는지를 규정하는 정보이므로, 부호화 장치측에서는 이 정보를 조작함으로써, 입력 영상 신호의 성질이나 랜덤 액세스 기능 등의 여러 가지의 조건에 적합한 부호화를 행할 수 있다.

실시예 7에서는, primary_pic_type이 액세스 유닛당 하나밖에 없으므로, 독립 부호화 처리를 행하는 경우의 액세스 유닛에서는 3개의 색성분 픽쳐에서 primary_pic_type은 공통으로 한다. 본 실시예 8에서는, 각 색성분 픽쳐의 독립 부호화를 행하는 경우에, 도 9의 AUD NAL 유닛 내에, num_pictures_in_au의 값에 따라, 추가로 나머지 2개의 색성분 픽쳐분의 primary_pic_type을 삽입할지, 도 24의 비트스트림 구성과 같이, 각 색성분 픽쳐의 부호화 데이터를, 색성분 픽쳐의 개시를 나타내는 NAL 유닛(Color Channel Delimiter)으로부터 개시하도록 구성하고, 이 CCD NAL 유닛 중에, 대응하는 픽쳐의 primary_pic_type 정보를 포함하도록 구성한다. 또, 실시예 8의 CCD NAL 유닛의 개념은, 도 4에서 개시되어 있는 개념과 등가이다.

이 구성에서는, 각 색성분 픽쳐의 부호화 데이터는 1픽쳐분 정리하여 다중되므로, 실시예 7에서 말한 색성분 식별 플래그(color_channel_idc)는 슬라이스 헤더가 아닌, CCD NAL 유닛에 포함시키도록 한다. 이에 따라, 각 슬라이스로의 다중이 필요했던 색성분 식별 플래그의 정보를 픽쳐 단위의 데이터에 집약할 수 있으므로, 오버헤드 정보를 삭감할 수 있는 효과가 있다.

또한, 바이트열로서 구성되는 CCD NAL 유닛을 검출하여 color_channel_idc를 색성분 픽쳐당 1번만 검증하면 좋고, 가변 길이 복호 처리를 행하는 일 없이 색성분 픽쳐의 선두를 재빠르게 찾아낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하지 않아도 되게 되어, 제 2 픽쳐 복호부로의 데이터 공급을 원활하게 행할 수 있다.

한편으로, 이러한 구성에서는, 실시예 7의 도 12에서 말했던, 부호화 장치의 버퍼 사이즈, 처리 지연을 저감하는 효과가 엷어지므로, 색성분 식별 플래그는 슬라이스 단위로 다중할지, 색성분 픽쳐 단위로 다중할지를 보다 상위의 레벨(시퀀스나 GOP)에서 시그널링하도록 구성하더라도 좋다. 이러한 비트스트림 구성을 취함으로써, 부호화 장치는 그 이용 형태에 따라 유연한 실장을 행하는 것이 가능해진다.

(실시예 9)

또한, 별도의 실시예로서, 도 25에 나타내는 비트스트림 구성으로 부호화 데이터의 다중화를 행하더라도 좋다. 동 도면에 있어서, 도 24에서는 CCD NAL 유닛에 포함하도록 한 color_channel_idc, primary_pic_type은 각 AUD에 포함하도록 한다. 본 실시예 9에 있어서의 비트스트림 구성에서는, 독립 부호화 처리의 경우에도, 하나의 액세스 유닛에 하나의 (색성분) 픽쳐가 포함되도록 구성한다. 즉, 도 25에 있어서는, 1픽쳐(1색성분) = 1액세스 유닛으로서 정의한다.

이러한 구성에서도, 색성분 식별 플래그의 정보를 픽쳐 단위의 데이터에 집약할 수 있는 것에 의한 오버헤드 정보의 삭감 효과, 또한, 바이트열로서 구성되는 AUD NAL 유닛을 검출하여 color_channel_idc를 픽쳐당 1번만 검증하면 좋고, 가변 길이 복호 처리를 행하는 일 없이 색성분 픽쳐의 선두를 재빠르게 찾아낼 수 있으므로, 복호 장치측에서, 색성분마다 복호 대상의 NAL 유닛을 분리하기 위해 슬라이스 헤더 중의 color_channel_idc를 축일 검증하는 일 없이 제 2 픽쳐 복호부로의 데이터 공급을 원활하게 행할 수 있다.

한편, 1프레임 내지는 1필드의 화상은 3개의 액세스 유닛으로 구성되므로, 3개의 액세스 유닛이 동일 시각의 화상 데이터인 것을 지정할 필요가 있다. 이 때문에, 도 25의 비트스트림 구성에서는, 또한 AUD 중에, 각 픽쳐의 시퀀스 번호(시간 방향의 부호화ㆍ복호 순서 등)를 부여하도록 구성할 수도 있다.

이러한 구성에 의해, 복호 장치측에서는, 각 픽쳐의 복호ㆍ표시순이나 색성분 속성, IDR의 시비 등을, 슬라이스 데이터를 일체 복호하는 일 없이 검증 가능해져, 비트스트림 레벨의 편집이나 특수 재생을 효율적으로 행하는 것이 가능해진다.

또한, 도 9, 도 24 내지는 도 25의 비트스트림 구성에 있어서, AUD나 CCD의 영역에, 하나의 색성분 픽쳐에 포함되는 슬라이스 NAL 유닛의 개수를 지정하는 정보를 저장하도록 구성하더라도 좋다.

또, 상기 모든 실시예에 대하여, 변환 처리, 역변환 처리는, DCT와 같이 직교성을 보증하는 변환이라도 좋고, AVC와 같은, 엄밀하게는 DCT와 같은 직교 변환이 아닌, 양자화ㆍ역양자화 처리와 조합하여 직교성을 근사하는 변환이더라도 좋다. 또한, 변환을 행하지 않고서, 예측 오차 신호를 화소 레벨의 정보로서 부호화하는 구성이더라도 좋다.

Claims (28)

1. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 장치에 있어서,
   4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화부와,
   상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화부
   를 구비하는 것을 특징으로 하는 화상 부호화 장치.
   
2. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 방법에 있어서,
   4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화 단계와,
   상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화 단계
   를 구비하는 것을 특징으로 하는 화상 부호화 방법.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 장치에 있어서,
   4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화부와,
   상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우에, 동일 프레임 내지는 필드에 속하는 4 : 0 : 0 포맷으로 부호화된 3매의 독립적인 픽쳐 부호화 데이터를 모은 단위를 액세스 유닛으로서 부호화함과 아울러, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화부
   를 구비하는 것을 특징으로 하는 화상 부호화 장치.
   
10. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 방법에 있어서,
    4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화 단계와,
    상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 동일 프레임 내지는 필드에 속하는 4 : 0 : 0 포맷으로 부호화된 3매의 독립적인 픽쳐 부호화 데이터를 모은 단위를 액세스 유닛으로서 부호화함과 아울러, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화 단계
    를 구비하는 것을 특징으로 하는 화상 부호화 방법.
    
11. 삭제
12. 삭제
13. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 생성된 비트스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 장치에 있어서,
    상기 비트스트림으로부터, 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있는지 여부를 나타내는 식별 정보를 복호하는 복호부를 구비함과 아울러,
    상기 복호부는, 상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있지 않은 것을 나타내는 경우는, 각 색성분에 대하여 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 4 : 4 포맷의 컬러 화상 신호의 복호를 행하고, 상기 식별 정보가, 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있는 것을 나타내는 경우는, 슬라이스 헤더로부터, 그 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 복호함과 아울러, 각 색성분마다 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 4 : 4 : 4 포맷의 컬러 화상 신호의 복호를 행하는 것
    을 특징으로 하는 화상 복호 장치.
14. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 생성된 비트스트림을 입력으로 하여, 컬러 화상 신호를 복호하는 화상 복호 방법에 있어서,
    상기 비트스트림으로부터, 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있는지 여부를 나타내는 식별 정보를 복호하는 복호 단계를 구비함과 아울러,
    상기 복호 단계는, 상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있지 않은 것을 나타내는 경우는, 각 색성분에 대하여 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 4 : 4 포맷의 컬러 화상 신호의 복호를 행하고, 상기 식별 정보가 각 색성분의 신호가 독립적으로 4 : 0 : 0 포맷으로 부호화되어 있는 것을 나타내는 경우는, 슬라이스 헤더로부터, 그 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 복호함과 아울러, 각 색성분마다 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 4 : 4 : 4 포맷의 컬러 화상 신호의 복호를 행하는 것
    을 특징으로 하는 화상 복호 방법.
    
15. 삭제
16. 삭제
17. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 장치에 있어서,
    4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화부와,
    상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화부
    를 구비함과 아울러,
    상기 다중화부는, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 슬라이스 헤더에, 그 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 다중하고, 서로 다른 색성분의 부호화 데이터를 포함하는 슬라이스 헤더를 임의의 순서로 비트스트림으로 다중하는 것
    을 특징으로 하는 화상 부호화 장치.
    
18. 4 : 4 : 4 포맷의 컬러 화상 신호를 압축 부호화하여 비트스트림을 생성하는 화상 부호화 방법에 있어서,
    4 : 4 : 4 포맷의 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화를 행할지 여부를 나타내는 식별 정보를 비트스트림으로 다중하는 다중화 단계와,
    상기 식별 정보에 근거하여, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하지 않는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 공통의 예측 모드와 공통의 참조 화상 인덱스와 공통의 움직임 벡터를 사용하여 4 : 0 : 0 포맷의 픽쳐로서 부호화하고, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 4 : 4 : 4 포맷의 각 색성분을 개별의 예측 모드와 개별의 참조 화상 인덱스와 개별의 움직임 벡터를 사용하여 독립적으로 4 : 0 : 0 포맷의 픽쳐로서 부호화하는 부호화 단계
    를 구비함과 아울러,
    상기 다중화 단계는, 상기 식별 정보가 각 색성분의 신호를 4 : 0 : 0 포맷으로 독립적으로 부호화하는 것을 나타내는 경우는, 슬라이스 헤더에, 그 슬라이스에 포함되는 부호화 데이터가 어느 색성분의 부호화 데이터인지를 식별하기 위한 색성분 식별 정보를 다중하고, 서로 다른 색성분의 부호화 데이터를 포함하는 슬라이스 헤더를 임의의 순서로 비트스트림으로 다중하는 것
    을 특징으로 하는 화상 부호화 방법.
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제

Images