KR101563833B1

KR101563833B1 - 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법

Info

Publication number: KR101563833B1
Application number: KR1020147020850A
Authority: KR
Inventors: 아키라 미네자와; 슌이치 세키구치; ？이치 세키구치; 가즈오 스기모토
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2010-09-30
Filing date: 2011-07-21
Publication date: 2015-10-27
Also published as: TW201640900A; HK1182244A1; RU2608674C2; TW201640899A; CN105657423A; TWI603612B; JPWO2012042720A1; EP2624563A4; TWI472229B; US10237551B2; CN103141106B; CN105516723B; KR20140102324A; CA3188026A1; TW201223288A; CA3000366C; CN103141106A; TWI566588B; US20150245022A1; TW201639372A

Abstract

인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시한다. 이것에 의해, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있다.

Description

화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법{IMAGE DECODING DEVICE, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, AND IMAGE ENCODING METHOD}

본 발명은, 동화상을 고효율로 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.

예컨대, MPEG(Moving Picture Experts Group)나 「ITU-T H. 26x」 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을 직사각형의 블록(부호화 대상 블록)으로 분할하고, 그 부호화 대상 블록에 대하여, 부호화 완료된 화상 신호를 이용하는 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 부호화 대상 블록과 예측 화상의 차분인 예측 오차 신호를 블록 단위로 직교 변환이나 양자화 처리를 행하는 것에 의해, 정보 압축을 행하도록 하고 있다.

예컨대, 국제 표준 방식인 AVC/H. 264(ISO/IEC 14496-10｜ITU-T H.264)에서는, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임간에서의 움직임 보상 예측 처리를 행하고 있다(예컨대, 비특허 문헌 1을 참조).

MPEG-4 AVC/H. 264에 있어서, 휘도의 인트라 예측 모드에서는, 블록 단위로, 복수의 예측 모드 중에서 1개의 예측 모드를 선택할 수 있다.

도 10은 휘도의 블록 사이즈가 4×4 화소의 경우의 인트라 예측 모드를 나타내는 설명도이다.

도 10에 있어서, 백색원이 부호화 대상의 블록 내의 화소이다. 흑색원은 예측에 이용하는 화소이고, 부호화 완료된 인접 블록 내의 화소이다.

도 10에서는, 인트라 예측 모드로서, 9개의 모드 0~모드 8이 준비되어 있지만, 모드 2는 평균값 예측을 행하는 모드이고, 위쪽과 왼쪽의 블록의 인접 화소의 평균값으로, 부호화 대상 블록 내의 화소를 예측한다.

모드 2 이외의 모드는 방향성 예측을 행하는 모드이다. 모드 0은 수직 방향 예측이고, 위쪽의 블록의 인접 화소를 수직 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 세로줄무늬 모양일 때에는 모드 0이 선택된다.

모드 1은 수평 방향 예측이고, 왼쪽의 블록의 인접 화소를 수평 방향으로 반복하는 것에 의해 예측 화상을 생성한다. 예컨대, 가로줄무늬 모양일 때에는 모드 1이 선택된다.

모드 3~모드 8은, 위쪽 또는 왼쪽의 블록의 인접 화소를 이용하여, 소정의 방향(화살표가 나타내는 방향)으로 보간 화소를 생성하여 예측 화상을 생성한다.

인트라 예측을 적용하는 휘도의 블록 사이즈는, 4×4 화소, 8×8 화소, 16×16 화소 중에서 선택할 수 있고, 8×8 화소의 경우에는, 4×4 화소의 경우와 같이 9개의 인트라 예측 모드가 규정되어 있다.

16×16 화소의 경우에는, 4개의 인트라 예측 모드(평균값 예측, 수직 방향 예측, 수평 방향 예측, 평면 예측)가 규정되어 있다.

평면 예측은, 위쪽의 블록의 인접 화소와 왼쪽의 블록의 인접 화소를 사선 방향으로 내삽 보간하여 생성한 화소를 예측값으로 하는 모드이다.

블록 사이즈가 4×4 화소 또는 8×8 화소의 경우의 방향성 예측 모드는, 예컨대, 45도 등, 모드에 따라 미리 정해진 방향으로 예측값을 생성하기 때문에, 블록 내의 오브젝트의 경계(에지)의 방향이, 예측 모드가 나타내는 방향과 일치하는 경우, 예측 효율이 높아져 부호량을 삭감할 수 있다.

그러나, 에지의 방향과 예측 모드가 나타내는 방향의 사이에 약간 어긋남이 생기고 있거나, 방향이 일치하고 있더라도 부호화 대상 블록 내의 에지가 약간 비뚤어져(흔들림, 구부러짐 등) 있거나 하는 것만으로, 국소적으로 큰 예측 오차가 발생하여 버리고, 예측 효율이 극단적으로 저하되는 일이 있다.

이와 같은 예측 효율의 저하를 막기 위해, 8×8 화소의 방향성 예측에서는, 부호화 완료된 인접 화소에 평활화 필터를 실시한 것을 예측 화상의 생성시에 이용하는 참조 화상으로 하는 것에 의해, 평활화된 예측 화상을 생성하고, 예측 방향의 약간의 어긋남이나, 에지에 약간의 비뚤어짐이 생기고 있는 경우에 발생하는 예측 오차를 저감시키고 있다.

(선행 기술 문헌)

(비특허 문헌)

(비특허 문헌 1) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H. 264 규격

종래의 화상 부호화 장치는 이상과 같이 구성되어 있으므로, 필터 처리를 실시하여, 평활화된 예측 화상을 생성하면, 예측 방향의 약간의 어긋남이나, 에지에 약간의 비뚤어짐이 생기더라도, 발생하는 예측 오차를 저감할 수 있다. 그러나, 비특허 문헌 1에서는, 8×8 화소의 블록 이외에는 필터 처리를 실시하고 있지 않고, 8×8 화소의 블록에 이용하는 필터도 1가지밖에 없다. 실제로는, 8×8 화소 이외의 사이즈의 블록에서도 마찬가지로, 예측 화상과 부호화 대상 화상의 패턴이 비슷하더라도, 에지의 약간의 미스매치에 의해, 국소적으로 큰 예측 오차가 발생하여, 예측 효율의 대폭 저하가 생기는 일이 있는 과제가 있었다.

또한, 동일 사이즈의 블록에 있어서도, 예측 오차 신호를 양자화할 때에 이용하는 양자화 파라미터나, 블록 내의 화소의 위치 등이 다르면, 국소적인 예측 오차를 저감하기에 적합한 필터가 다르지만, 1가지의 필터밖에 준비되어 있지 않아, 예측 오차를 충분히 저감할 수 없는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것이고, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명에 따른 동화상 복호 장치는, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고, 인트라 예측 수단은, 인트라 예측 파라미터에 따라 참조 화소로부터 중간 예측값을 생성하고, 블록 내의 특정의 위치만 중간 예측값에 대한 필터 처리에 의해 얻어지는 값을 최종적인 예측값으로 하고, 블록 내의 그 밖의 위치에 대해서는 중간 예측값을 최종적인 예측값으로 하는 것이다.

본 발명에 의하면, 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 부호화 블록의 예측 처리의 단위가 되는 블록마다 프레임 내 예측 처리를 실시하여 예측 화상을 생성하는 인트라 예측 수단을 구비하고, 인트라 예측 수단은, 인트라 예측 파라미터에 따라 참조 화소로부터 중간 예측값을 생성하고, 블록 내의 특정의 위치만 중간 예측값에 대한 필터 처리에 의해 얻어지는 값을 최종적인 예측값으로 하고, 블록 내의 그 밖의 위치에 대해서는 중간 예측값을 최종적인 예측값으로 하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질이 높은 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 3은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.
도 4는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.
도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 상태를 나타내는 설명도이다.
도 6(a)는 분할 후의 파티션의 분포를 나타내고, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 4지 트리 그래프(quadtree graph)로 나타내는 설명도이다.
도 7은 부호화 블록 Bⁿ 내의 각 파티션 P_i ⁿ에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.
도 8은 l_in=m_i ⁿ=4일 때, 파티션 P_i ⁿ 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.
도 9는 N=5의 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.
도 10은 휘도의 블록 사이즈가 4×4 화소의 경우의 인트라 예측 모드를 나타내는 설명도이다.

이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면에 따라 설명한다.

실시의 형태 1.

본 실시의 형태 1에서는, 영상의 각 프레임 화상을 입력하고, 부호화 완료된 근방 화소로부터의 인트라 예측 처리 또는 근접 프레임간에서 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하고, 그 예측 화상과 프레임 화상의 차분 화상인 예측 오차 신호에 대하여, 직교 변환ㆍ양자화에 의한 압축 처리를 실시한 후에, 가변 길이 부호화를 행하여 비트스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트스트림을 복호하는 동화상 복호 장치에 대하여 설명한다.

본 실시의 형태 1의 동화상 부호화 장치는, 영상 신호의 공간ㆍ시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 영역으로 분할하여 프레임 내(intra-frame)ㆍ프레임간(inter-frame) 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로 영상 신호는, 공간ㆍ시간적으로 신호의 복잡함이 국소적으로 변화하는 특성을 갖고 있다. 공간적으로 보면, 어느 특정 영상 프레임상에서는, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 갖는 패턴도 있고, 인물이나 상세한 텍스처를 갖는 그림 등 작은 화상 영역 내에서 복잡한 텍스처 패턴을 갖는 패턴도 혼재하는 일이 있다.

시간적으로 보더라도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화가 작지만, 움직이는 인물이나 물체는 그 윤곽이 시간적으로 강체ㆍ비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간ㆍ공간적인 예측에 의해 신호 전력이나 엔트로피가 작은 예측 오차 신호를 생성하는 것에 의해, 전체 부호량을 삭감하지만, 예측을 위한 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 그 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대하여, 동일한 예측 파라미터를 적용하면, 예측의 오류가 늘어나기 때문에, 예측 오차 신호의 부호량을 삭감할 수 없다.

그래서, 시간적ㆍ공간적으로 변화가 큰 화상 신호 패턴에 대해서는, 예측 대상의 영역을 작게 하여, 예측을 위한 파라미터의 데이터량을 늘리더라도 예측 오차 신호의 전력ㆍ엔트로피를 저감하는 것이 바람직하다

이와 같은 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 본 실시의 형태 1의 동화상 부호화 장치에서는, 소정의 최대 블록 사이즈로부터 계층적으로 영상 신호의 영역을 분할하여, 분할 영역마다 예측 처리나, 예측 오차의 부호화 처리를 실시하도록 하고 있다.

본 실시의 형태 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.

각 화소의 계조는 8비트이더라도 좋고, 10비트, 12비트 등의 계조이더라도 좋다.

단, 이하의 설명에 있어서는, 특별히 언급하지 않는 한, 입력되는 영상 신호가 YUV 신호인 것으로 한다. 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4 : 2 : 0 포맷의 신호인 것으로 한다.

또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 본 실시의 형태 1에서는, 「픽쳐」는 순차 주사(프로그레시브 스캔)된 영상 프레임의 신호로 하여 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.

도 1은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 부호화 제어부(1)는 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 처리를 실시한다.

또한, 부호화 제어부(1)는 이용 가능한 하나 이상의 부호화 모드(하나 이상의 인트라 부호화 모드, 하나 이상의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택하는 처리를 실시한다.

또한, 부호화 제어부(1)는 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정하는 처리를 실시한다. 양자화 파라미터 및 변환 블록 사이즈는, 예측 오차 부호화 파라미터에 포함되고, 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13) 등에 출력된다.

또, 부호화 제어부(1)는 부호화 제어 수단을 구성하고 있다.

블록 분할부(2)는 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할하는 처리를 실시한다. 또, 블록 분할부(2)는 블록 분할 수단을 구성하고 있다.

전환 스위치(3)는 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

단, 인트라 예측부(4)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 감산부(6) 및 가산부(9)에 출력한다.

상기 필터는, 다음의 4개의 파라미터 중 적어도 1개 이상의 파라미터를 고려하여 선택한다.

ㆍ파라미터(1)

상기 예측 화상의 블록 사이즈

ㆍ파라미터(2)

부호화 제어부(1)에 의해 결정된 양자화 파라미터

ㆍ파라미터(3)

예측 화상을 생성할 때에 이용하고 있는 프레임 내의 부호화 완료된 화상 신호와 필터 처리 대상 화소의 거리

ㆍ파라미터(4)

부호화 제어부(1)에 의해 결정된 인트라 예측 파라미터

또, 전환 스위치(3) 및 인트라 예측부(4)로 인트라 예측 수단이 구성되어 있다.

움직임 보상 예측부(5)는 블록 분할부(2)에 의해 분할된 부호화 블록에 적합한 부호화 모드로서, 부호화 제어부(1)에 의해 인터 부호화 모드가 선택된 경우, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

또, 전환 스위치(3) 및 움직임 보상 예측부(5)로 움직임 보상 예측 수단이 구성되어 있다.

감산부(6)는 블록 분할부(2)에 의해 분할된 부호화 블록으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 감산하는 것에 의해, 차분 화상(=부호화 블록-예측 화상)을 생성하는 처리를 실시한다. 또, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.

변환ㆍ양자화부(7)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 감산부(6)에 의해 생성된 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 출력하는 처리를 실시한다. 또, 변환ㆍ양자화부(7)는 화상 압축 수단을 구성하고 있다.

역양자화ㆍ역변환부(8)는 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호로서 출력하는 처리를 실시한다.

가산부(9)는 역양자화ㆍ역변환부(8)로부터 출력된 국소 복호 예측 오차 신호와 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.

인트라 예측용 메모리(10)는 인트라 예측부(4)에 의해 다음의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(9)에 의해 생성된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(11)는 가산기(9)에 의해 생성된 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(12)는 움직임 보상 예측부(5)에 의해 다음의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(11)에 의한 필터링 처리 후의 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

가변 길이 부호화부(13)는 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 가변 길이 부호화하여, 그 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(13)는 가변 길이 부호화 수단을 구성하고 있다.

도 2는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.

도 2에 있어서, 가변 길이 복호부(51)는 비트스트림에 다중화되어 있는 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 대한 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 가변 길이 복호하여, 그 압축 데이터 및 예측 오차 부호화 파라미터를 역양자화ㆍ역변환부(55)에 출력함과 아울러, 그 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(52)에 출력하는 처리를 실시한다. 또, 가변 길이 복호부(51)는 가변 길이 복호 수단을 구성하고 있다.

전환 스위치(52)는 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우, 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력하는 처리를 실시한다.

인트라 예측부(53)는 프레임 내의 복호 완료된 화상 신호를 이용하여, 전환 스위치(52)로부터 출력된 인트라 예측 파라미터에 근거하여, 부호화 블록에 대한 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

단, 인트라 예측부(53)는 상기 예측 화상을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 상기 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 가산부(56)에 출력한다.

ㆍ파라미터(1)

상기 예측 화상의 블록 사이즈

ㆍ파라미터(2)

가변 길이 복호부(51)에 의해 가변 길이 복호된 양자화 파라미터

ㆍ파라미터(3)

예측 화상을 생성할 때에 이용하고 있는 프레임 내의 복호 완료된 화상 신호와 필터 처리 대상 화소의 거리

ㆍ파라미터(4)

가변 길이 복호부(51)에 의해 가변 길이 복호된 인트라 예측 파라미터

또, 전환 스위치(52) 및 인트라 예측부(53)로 인트라 예측 수단이 구성되어 있다.

움직임 보상 예측부(54)는 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 전환 스위치(52)로부터 출력된 인터 예측 파라미터에 근거하여, 부호화 블록에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 처리를 실시한다.

또, 전환 스위치(52) 및 움직임 보상 예측부(54)로 움직임 보상 예측 수단이 구성되어 있다.

역양자화ㆍ역변환부(55)는 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 출력하는 처리를 실시한다. 또, 역양자화ㆍ역변환부(55)는 차분 화상 생성 수단을 구성하고 있다.

가산부(56)는 역양자화ㆍ역변환부(55)로부터 출력된 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해, 복호 화상을 나타내는 복호 화상 신호를 생성하는 처리를 실시한다. 또, 가산부(56)는 복호 화상 생성 수단을 구성하고 있다.

인트라 예측용 메모리(57)는 인트라 예측부(53)에 의해 다음의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(56)에 의해 생성된 복호 화상 신호가 나타내는 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(58)는 가산기(56)에 의해 생성된 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 출력하는 처리를 실시한다.

움직임 보상 예측 프레임 메모리(59)는 움직임 보상 예측부(54)에 의해 다음의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(58)에 의한 필터링 처리 후의 복호 화상을 저장하는 RAM 등의 기록 매체이다.

도 1에서는, 동화상 부호화 장치의 구성 요소인 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 그 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 그 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 3은 본 발명의 실시의 형태 1에 따른 동화상 부호화 장치의 처리 내용을 나타내는 플로차트이다.

도 2에서는, 동화상 복호 장치의 구성 요소인 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(51), 전환 스위치(52), 인트라 예측부(53), 움직임 보상 예측부(54), 역양자화ㆍ역변환부(55), 가산부(56) 및 루프 필터부(58)의 처리 내용을 기술하고 있는 프로그램을 그 컴퓨터의 메모리에 저장하고, 그 컴퓨터의 CPU가 그 메모리에 저장되어 있는 프로그램을 실행하도록 하더라도 좋다.

도 4는 본 발명의 실시의 형태 1에 따른 동화상 복호 장치의 처리 내용을 나타내는 플로차트이다.

다음으로 동작에 대하여 설명한다.

최초로, 도 1의 동화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(1)는, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(도 3의 단계 ST1).

부호화 블록의 최대 사이즈의 결정 방법으로서, 예컨대, 모든 픽쳐에 대하여, 입력 화상의 해상도에 따른 사이즈로 결정하는 방법을 생각할 수 있다.

또한, 입력 화상의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화하여 두고, 움직임이 심한 픽쳐에서는 최대 사이즈를 작은 값으로 결정하고, 움직임이 적은 픽쳐에서는 최대 사이즈를 큰 값으로 결정하는 방법 등을 생각할 수 있다.

상한의 계층수에 대해서는, 예컨대, 입력 화상의 움직임이 심할수록, 계층수를 깊게 하여, 보다 세밀한 움직임을 검출할 수 있도록 설정하고, 입력 화상의 움직임이 적으면, 계층수를 억제하도록 설정하는 방법을 생각할 수 있다.

또한, 부호화 제어부(1)는, 이용 가능한 하나 이상의 부호화 모드(M종류의 인트라 부호화 모드, N종류의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택한다(단계 ST2).

부호화 제어부(1)에 의한 부호화 모드의 선택 방법은 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예컨대, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시하여 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

또한, 부호화 제어부(1)는, 각각의 부호화 블록마다, 차분 화상이 압축될 때에 이용되는 양자화 파라미터 및 변환 블록 사이즈를 결정함과 아울러, 예측 처리가 실시될 때에 이용되는 인트라 예측 파라미터 또는 인터 예측 파라미터를 결정한다.

부호화 제어부(1)는, 양자화 파라미터 및 변환 블록 사이즈를 포함하는 예측 오차 부호화 파라미터를 변환ㆍ양자화부(7), 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다. 또한, 예측 오차 부호화 파라미터를 필요에 따라 인트라 예측부(4)에 출력한다.

블록 분할부(2)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할한다.

여기서, 도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 상태를 나타내는 설명도이다.

도 5의 예에서는, 최대 사이즈의 부호화 블록은, 제 0 계층의 부호화 블록 B⁰이고, 휘도 성분으로 (L⁰, M⁰)의 사이즈를 갖고 있다.

또한, 도 5의 예에서는, 최대 사이즈의 부호화 블록 B⁰을 출발점으로 하여, 4지 트리 구조로, 별도로 정하는 소정의 깊이까지 계층적으로 분할을 행하는 것에 의해, 부호화 블록 Bⁿ을 얻고 있다.

깊이 n에 있어서는, 부호화 블록 Bⁿ은 사이즈 (Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은 같더라도 좋고 다르더라도 좋지만, 도 5의 예에서는 Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 블록 Bⁿ의 사이즈는, 부호화 블록 Bⁿ의 휘도 성분에 있어서의 사이즈 (Lⁿ, Mⁿ)으로 정의한다.

블록 분할부(2)는, 4지 트리 분할을 행하기 때문에, 항상 (L^n＋1, M^n＋1)=(Lⁿ/2, Mⁿ/2)가 성립한다.

단, RGB 신호 등과 같이, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4 : 4 : 4 포맷)에서는, 모든 색성분의 사이즈가 (Lⁿ, Mⁿ)이 되지만, 4 : 2 : 0 포맷을 처리하는 경우, 대응하는 색차 성분의 부호화 블록의 사이즈는 (Lⁿ/2, Mⁿ/2)이다.

이후, 제 n 계층의 부호화 블록 Bⁿ에서 선택할 수 있는 부호화 모드를 m(Bⁿ)으로 적는다.

복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은, 색성분마다, 각각 개별 모드를 이용하도록 구성되더라도 좋지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4 : 2 : 0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로 하여 설명을 행한다.

부호화 모드 m(Bⁿ)에는, 하나 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」), 하나 내지 복수의 인터 부호화 모드(총칭하여 「INTER」)가 있고, 부호화 제어부(1)는, 상술한 바와 같이, 해당 픽쳐에서 이용 가능한 모든 부호화 모드 내지는, 그 서브셋 중에서, 부호화 블록 Bⁿ에 대하여 가장 부호화 효율이 좋은 부호화 모드를 선택한다.

부호화 블록 Bⁿ은, 도 5에 나타내는 바와 같이, 하나 내지 복수의 예측 처리 단위(파티션)로 더 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 파티션을 P_i ⁿ(i : 제 n 계층에 있어서의 파티션 번호)으로 표기한다.

부호화 블록 Bⁿ에 속하는 파티션 P_i ⁿ의 분할이 어떻게 이루어지고 있는지는 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

파티션 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라 예측 처리가 행해지지만, 파티션 P_i ⁿ마다, 개별 예측 파라미터를 선택할 수 있다.

부호화 제어부(1)는, 최대 사이즈의 부호화 블록에 대하여, 예컨대, 도 6에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 블록 Bⁿ을 특정한다.

도 6(a)의 해칭 부분은 분할 후의 파티션의 분포를 나타내고, 또한, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 4지 트리 그래프로 나타내고 있다.

도 6(b)에 있어서, □로 둘러싸여 있는 노드가, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록 Bⁿ)를 나타내고 있다.

전환 스위치(3)는, 부호화 제어부(1)가 각각의 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대하여 최적의 부호화 모드 m(Bⁿ)을 선택하면, 그 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 인트라 예측부(4)에 출력한다.

한편, 그 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(단계 ST3), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터에 근거하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해, 인트라 예측 화상 P_i ⁿ을 생성한다(단계 ST4).

단, 인트라 예측부(4)는, 상기 인트라 예측 화상 P_i ⁿ을 생성한 후, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시한다.

인트라 예측부(4)는, 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시하면, 필터 처리 후의 인트라 예측 화상 P_i ⁿ을 감산부(6) 및 가산부(9)에 출력하지만, 도 2의 동화상 복호 장치에서도 같은 인트라 예측 화상 P_i ⁿ을 생성할 수 있도록 하기 위해, 그 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

인트라 예측부(4)의 처리 내용의 개략은 상기와 같지만, 상세한 처리 내용은 후술한다.

움직임 보상 예측부(5)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 부호화 제어부(1)로부터 출력된 인터 예측 파라미터에 근거하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 P_i ⁿ을 생성한다(단계 ST5).

또, 움직임 보상 예측 처리를 실시하는 것에 의해 예측 화상을 생성하는 기술은 공지의 기술이기 때문에 상세한 설명을 생략한다.

감산부(6)는, 인트라 예측부(4) 또는 움직임 보상 예측부(5)가 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 생성하면, 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 감산하는 것에 의해 차분 화상을 생성하고, 그 차분 화상을 나타내는 예측 오차 신호 e_i ⁿ을 변환ㆍ양자화부(7)에 출력한다(단계 ST6).

변환ㆍ양자화부(7)는, 감산부(6)로부터 차분 화상을 나타내는 예측 오차 신호 e_i ⁿ을 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 그 차분 화상의 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화하는 것에 의해, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 역양자화ㆍ역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(단계 ST7).

역양자화ㆍ역변환부(8)는, 변환ㆍ양자화부(7)로부터 차분 화상의 압축 데이터를 받으면, 부호화 제어부(1)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 국소 복호 예측 오차 신호 e_i ⁿ햇(전자 출원의 관계상, 알파벳 문자에 붙은 「＾」를 햇으로 표기한다)으로서 가산부(9)에 출력한다(단계 ST8).

가산부(9)는, 역양자화ㆍ역변환부(8)로부터 국소 복호 예측 오차 신호 e_i ⁿ햇을 받으면, 그 국소 복호 예측 오차 신호 e_i ⁿ햇과, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 나타내는 예측 신호를 가산하는 것에 의해, 국소 복호 파티션 화상 P_i ⁿ햇 내지는 그 집합으로서의 국소 복호 부호화 블록 화상인 국소 복호 화상을 생성한다(단계 ST9).

가산부(9)는, 국소 복호 화상을 생성하면, 그 국소 복호 화상을 나타내는 국소 복호 화상 신호를 인트라 예측용 메모리(10)에 저장함과 아울러, 그 국소 복호 화상 신호를 루프 필터부(11)에 출력한다.

단계 ST3~ST9의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면 단계 ST12의 처리로 이행한다(단계 ST10, ST11).

가변 길이 부호화부(13)는, 변환ㆍ양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드(부호화 블록의 분할 상태를 나타내는 정보를 포함한다) 및 예측 오차 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터를 엔트로피 부호화한다.

가변 길이 부호화부(13)는, 엔트로피 부호화의 부호화 결과인 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터를 다중화하여 비트스트림을 생성한다(단계 ST12).

루프 필터부(11)는, 가산기(9)로부터 국소 복호 화상 신호를 받으면, 그 국소 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 국소 복호 화상 신호가 나타내는 국소 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(12)에 저장한다(단계 ST13).

루프 필터부(11)에 의한 필터링 처리는, 가산기(9)로부터 출력되는 국소 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 복수의 최대 부호화 블록을 합친 단위로 행하거나, 1픽쳐분의 국소 복호 화상 신호가 출력된 후에 1픽쳐분 합쳐 행하거나 하더라도 좋다.

다음으로, 인트라 예측부(4)의 처리 내용을 상세히 설명한다.

도 7은 부호화 블록 Bⁿ 내의 각 파티션 P_i ⁿ에 있어서 선택 가능한 인트라 예측 파라미터(인트라 예측 모드)의 일례를 나타내는 설명도이다.

도 7의 예에서는, 인트라 예측 모드와, 그 인트라 예측 모드가 나타내는 예측 방향 벡터를 나타내고 있고, 선택 가능한 인트라 예측 모드의 개수가 늘어남에 따라, 예측 방향 벡터끼리의 상대 각도가 작아지도록 설계하고 있다.

인트라 예측부(4)는, 파티션 P_i ⁿ에 대한 인트라 예측 파라미터나, 인트라 예측 화상 P_i ⁿ의 생성에 사용하는 필터의 선택 파라미터에 근거하여, 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시한다.

이하, 파티션 P_i ⁿ의 휘도 신호에 대한 인트라 예측 파라미터(인트라 예측 모드)에 근거하여, 휘도 신호의 인트라 예측 신호를 생성하는 인트라 처리에 대하여 설명한다.

여기서는, 파티션 P_i ⁿ의 사이즈를 l_i ⁿ×m_i ⁿ화소로 한다.

도 8은 l_i ⁿ=m_i ⁿ=4일 때, 파티션 P_i ⁿ 내의 화소의 예측값을 생성할 때에 이용하는 화소의 일례를 나타내는 설명도이다.

도 8에서는, 파티션 P_i ⁿ에 인접하는 부호화 완료된 위쪽 파티션의 화소 (2×l_i ⁿ＋1)개와 왼쪽 파티션의 화소 (2×m_i ⁿ)개를 예측에 이용하는 화소로 하고 있지만, 예측에 이용하는 화소는, 도 8에 나타내는 화소보다, 많더라도 적더라도 좋다.

또한, 도 8에서는, 인접하는 1행 또는 1열분의 화소를 예측에 이용하고 있지만, 2행 또는 2열, 혹은 그 이상의 화소를 예측에 이용하더라도 좋다.

파티션 P_i ⁿ에 대한 인트라 예측 모드의 인덱스값이 2(평균값 예측)인 경우에는, 위쪽 파티션의 인접 화소와 왼쪽 파티션의 인접 화소의 평균값을 파티션 P_i ⁿ 내의 화소의 예측값으로 하여 중간 예측 화상을 생성한다.

인트라 예측 모드의 인덱스값이 2(평균값 예측) 이외인 경우에는, 인덱스값이 나타내는 예측 방향 벡터 v_p=(dx, dy)에 근거하여, 파티션 P_i ⁿ 내의 화소의 예측값을 생성한다.

단, 예측값을 생성하는 화소(예측 대상 화소)의 파티션 P_i ⁿ 내의 상대 좌표(파티션의 좌상 화소를 원점으로 한다)를 (x, y)로 한다.

예측에 이용하는 참조 화소의 위치는, 하기에 나타내는 A와 인접 화소의 교점이 된다.

참조 화소가 정수 화소 위치에 있는 경우는, 그 정수 화소를 예측 대상 화소의 예측값으로 한다.

한편, 참조 화소가 정수 화소 위치에 없는 경우는, 참조 화소에 인접하는 정수 화소로부터 생성되는 보간 화소를 예측값으로 한다.

도 8의 예에서는, 참조 화소가 정수 화소 위치에 없으므로, 참조 화소에 인접하는 2화소로부터 내삽하여 예측값을 산출한다. 단, 예측값은 인접하는 2화소에 한하는 것은 아니고, 인접하는 2화소 이상의 화소로부터 보간 화소를 생성하여 예측값으로 하더라도 좋다.

다음으로, 상기 수순에 의해 생성된 중간 예측 화상(예측값)에 대하여 필터 처리를 행하는 것에 의해 최종적인 예측 화상을 취득한다.

이하, 구체적인 필터 처리에 대하여 설명한다.

미리 준비되어 있는 적어도 하나 이상의 필터 중에서, 사용하는 필터를 후술하는 수법으로 선택하고, 중간 예측 화상의 각 화소에 대하여, 하기의 식(1)에 따라 필터 처리를 행한다.

식(1)에 있어서, a_n(n=0, 1, ㆍㆍㆍ, N)은, 참조 화소에 관계되는 계수 (a₀, a₁, …, a_N-1)과 오프셋 계수 a_N으로 구성되는 필터 계수이다.

p_n(n=0, 1, …, N-1)은, 필터 처리 대상 화소 p₀을 포함하는 필터의 참조 화소를 나타내고 있다.

s(p_n)은 각 참조 화소의 휘도값, s햇(p₀)은 필터 처리 대상 화소 p₀에 있어서의 필터 처리 후의 휘도값을 나타내고 있다.

단, 필터 계수는 오프셋 계수 a_N이 없는 것으로 하여 구성하더라도 좋다. 또한, N은 임의의 참조 화소수이다.

도 9는 N=5의 경우의 참조 화소 배치의 일례를 나타내는 설명도이다.

상기 필터 처리를 행할 때, 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ)가 클수록, 입력 화상에 비직선적인 에지 등이 존재하기 쉬워지고, 중간 예측 화상의 예측 방향과의 어긋남이 생기기 쉽기 때문에, 중간 예측 화상을 평활화하는 것이 바람직하다.

또한, 예측 오차의 양자화값이 클수록, 복호 화상에 생기는 양자화 왜곡이 커지고, 파티션 P_i ⁿ에 인접하고 있는 부호화 완료된 화소로부터 생성된 중간 예측 화상의 예측 정확도가 낮아지기 때문에, 파티션 P_i ⁿ을 대략적으로 표현하는 평활화한 예측 화상을 준비하는 것이 바람직하다.

또한, 같은 파티션 P_i ⁿ 내의 화소에서도, 중간 예측 화상의 생성에 이용하는 파티션 P_i ⁿ에 인접하는 부호화 완료된 화소로부터 먼 화소일수록, 중간 예측 화상과 입력 화상의 사이에 에지 등의 어긋남이 생기기 쉽기 때문에, 예측 화상을 평활화하여, 어긋남이 생겼을 때의 급격한 예측 오차의 증가를 억제하도록 하는 것이 좋다.

또한, 필터의 강도뿐만 아니라, 필터의 참조 화소 배치에 대해서도, 중간 예측 화상의 예측 방향에 따라 참조 화소를 적절히 배치하여, 중간 예측 화상의 에지 등의 패턴이 부자연스럽게 비뚤어져 버리지 않도록 할 필요가 있다.

따라서, 필터 선택 처리에서는, 하기의 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하도록 구성한다.

(1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ)

(2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터

(3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소(도 8에 나타내는 "예측에 이용하는 화소")군과 필터 처리 대상 화소의 거리

(4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값

구체적으로는, 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ)가 클수록, 양자화 파라미터에 의해 정해지는 양자화값이 클수록, 필터 처리 대상 화소가 파티션 P_i ⁿ의 왼쪽 및 위쪽에 있는 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과의 거리가 멀어질수록, 평활화의 강도가 강한 필터를 이용하도록, 또한, 인트라 예측 모드의 예측 방향을 고려한 필터 강도 및 참조 화소 배치가 되도록 구성한다. 즉, 상기 파라미터의 조합의 각각에 대하여, 미리 준비한 필터군 중에서 적절한 필터를 대응시켜 두는 것에 의해, 상기 파라미터에 따른 필터의 적응 선택을 실현한다.

단, 필터 강도의 종류는 2종류 이상이면 몇 개이더라도 좋고, 필터의 강도의 표현으로서, 가장 약한 필터를 필터 처리 없음과 같은 처리로서 정의하더라도 좋다. 따라서, 중간 예측 화상 내의 특정 화소만 필터 처리가 행해지고, 그 이외의 화소는 가장 약한 필터 처리 즉 필터 처리 없음으로 하는 필터 처리를 구성하더라도 좋다.

또, 상기 설명에서는, 필요한 수의 필터를 미리 준비하여 두는 것을 전제로 설명하고 있지만, 상기 필터 선택 파라미터의 값에 따라 필터가 산출되도록 필터를 상기 필터 선택 파라미터의 함수로서 정의하여 이용하더라도 좋다.

또한, 상기 설명에서는, 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하도록 구성하는 것을 나타냈지만, 4개의 파라미터(1)~(4) 중, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성하더라도 좋다. 일례로서는, 상기 4개의 파라미터 중 (3)과 (4)를 고려하는 경우, 인트라 예측 모드의 예측 방향에 따라 각 필터 처리 대상 화소의 예측에 이용한 화소로부터의 거리(도 8의 예에서는, 블록의 상단에 인접하는 "참조 화소"와의 거리)가 멀어질수록, 강도가 강한 필터가 선택되는 구성을 들 수 있다.

또한, 4개의 파라미터(1)~(4)는 동화상 복호 장치측에서도 기지의 파라미터이기 때문에, 상기 필터 처리를 행하는 것에 의한 부호화해야 할 부가 정보는 일절 발생하지 않는다.

같은 수순으로, 파티션 P_i ⁿ 내의 휘도 신호의 모든 화소에 대한 예측 화소를 생성하고, 생성한 인트라 예측 화상 P_i ⁿ을 출력한다.

인트라 예측 화상 P_i ⁿ의 생성에 이용된 인트라 예측 파라미터는, 비트스트림에 다중화하기 위해 가변 길이 부호화부(13)에 출력한다.

파티션 P_i ⁿ 내의 색차 신호에 대해서도, 휘도 신호와 같은 수순으로, 인트라 예측 파라미터(인트라 예측 모드)에 근거하는 인트라 예측 처리를 실시하고, 인트라 예측 화상의 생성에 이용된 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

단, 색차 신호의 인트라 예측에 대해서는 상기에서 설명한 필터 처리를, 휘도 신호와 마찬가지로 행하는 것으로 하여 구성하더라도 좋고, 행하지 않는 것으로 하여 구성하더라도 좋다.

다음으로, 도 2의 동화상 복호 장치의 처리 내용을 설명한다.

가변 길이 복호부(51)는, 도 1의 화상 부호화 장치로부터 출력된 비트스트림을 입력하면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여, 1프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 프레임 사이즈의 정보를 복호한다(도 4의 단계 ST21).

가변 길이 복호부(51)는, 도 1의 부호화 제어부(1)와 같은 수순으로, 인트라 예측 처리(프레임 내 예측 처리) 또는 움직임 보상 예측 처리(프레임간 예측 처리)가 실시될 때의 처리 단위가 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(단계 ST22).

예컨대, 화상 부호화 장치에 있어서, 부호화 블록의 최대 사이즈가, 입력 화상의 해상도에 따라 결정되고 있는 경우, 먼저 복호하고 있는 프레임 사이즈 정보에 근거하여 부호화 블록의 최대 사이즈를 결정한다.

또, 부호화 블록의 최대 사이즈 및 상한의 계층수를 나타내는 정보가 비트스트림에 다중화되어 있는 경우에는, 그 비트스트림으로부터 복호한 정보를 참조한다.

비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)에는, 최대 사이즈의 부호화 블록 B⁰의 분할 상태를 나타내는 정보가 포함되어 있으므로, 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)을 복호하여, 계층적으로 분할되어 있는 각각의 부호화 블록 Bⁿ을 특정한다(단계 ST23).

가변 길이 복호부(51)는, 각각의 부호화 블록 Bⁿ을 특정하면, 그 부호화 블록 Bⁿ의 부호화 모드 m(Bⁿ)을 복호하고, 그 부호화 모드 m(Bⁿ)에 속하고 있는 파티션 P_i ⁿ의 정보에 근거하여, 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ을 특정한다.

가변 길이 복호부(51)는, 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ을 특정하면, 파티션 P_i ⁿ마다, 압축 데이터, 부호화 모드, 예측 오차 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터를 복호한다(단계 ST24).

즉, 부호화 블록 Bⁿ에 할당된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 P_i ⁿ마다 인트라 예측 파라미터를 복호한다.

부호화 블록 Bⁿ에 할당된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우, 부호화 블록에 속하고 있는 파티션 P_i ⁿ마다 인터 예측 파라미터를 복호한다.

예측 처리 단위가 되는 파티션은, 또한 예측 오차 부호화 파라미터에 포함되는 변환 블록 사이즈 정보에 근거하여, 변환 처리 단위가 되는 1개 내지 복수의 파티션으로 분할되고, 변환 처리 단위가 되는 파티션마다 압축 데이터(변환ㆍ양자화 후의 변환 계수)를 복호한다.

전환 스위치(52)는, 가변 길이 복호부(51)로부터 부호화 블록 Bⁿ에 속하고 있는 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(53)에 출력한다.

한편, 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(단계 ST25), 가변 길이 복호부(51)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(54)에 출력한다.

인트라 예측부(53)는, 전환 스위치(52)로부터 인트라 예측 파라미터를 받으면, 도 1의 인트라 예측부(4)와 같이, 프레임 내의 복호 완료된 화상 신호를 이용하여, 그 인트라 예측 파라미터에 근거하여, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다(단계 ST26).

단, 인트라 예측부(53)는, 인트라 예측 화상 P_i ⁿ을 생성할 때, 도 1의 인트라 예측부(4)와 동일한 수법으로 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 그 인트라 예측 화상 P_i ⁿ에 대한 필터 처리를 실시하여, 필터 처리 후의 인트라 예측 화상 P_i ⁿ을 최종적인 인트라 예측 화상으로 하고 있다.

또, 상기 설명에서는, 필요한 수의 필터를 미리 준비하여 두는 것을 전제로 설명하고 있지만, 도 1의 인트라 예측부(4)가 필터 선택에 이용하는 파라미터의 상태에 따라 필터가 산출되도록 필터를 상기 파라미터의 함수로서 정의하고 있는 경우, 인트라 예측부(53)도 마찬가지로 상기 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터가 산출되도록 필터를 상기 파라미터의 함수로서 정의하도록 구성하더라도 좋다.

움직임 보상 예측부(54)는, 전환 스위치(52)로부터 인터 예측 파라미터를 받으면, 움직임 보상 예측 프레임 메모리(59)에 의해 저장되어 있는 1프레임 이상의 참조 화상을 이용하여, 그 인터 예측 파라미터에 근거하여, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 움직임 보상 예측 처리를 실시하는 것에 의해 인터 예측 화상 P_i ⁿ을 생성한다(단계 ST27).

역양자화ㆍ역변환부(55)는, 가변 길이 복호부(51)로부터 출력된 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(51)로부터 출력된 부호화 블록에 대한 압축 데이터를 역양자화하고, 그 예측 오차 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화의 압축 데이터의 역변환 처리(예컨대, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시하는 것에 의해, 역변환 처리 후의 압축 데이터를 복호 예측 오차 신호(압축 전의 차분 화상을 나타내는 신호)로서 가산부(56)에 출력한다(단계 ST28).

가산부(56)는, 역양자화ㆍ역변환부(55)로부터 복호 예측 오차 신호를 받으면, 그 복호 예측 오차 신호와 인트라 예측부(53) 또는 움직임 보상 예측부(54)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산하는 것에 의해 복호 화상을 생성하여, 그 복호 화상을 나타내는 복호 화상 신호를 인트라 예측용 메모리(57)에 저장함과 아울러, 그 복호 화상 신호를 루프 필터부(58)에 출력한다(단계 ST29).

단계 ST23~ST29의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복 실시된다(단계 ST30).

루프 필터부(58)는, 가산기(56)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 포함되어 있는 부호화 왜곡을 보상하고, 부호화 왜곡 보상 후의 복호 화상 신호가 나타내는 복호 화상을 참조 화상으로서 움직임 보상 예측 프레임 메모리(59)에 저장한다(단계 ST31).

루프 필터부(58)에 의한 필터링 처리는, 가산기(56)로부터 출력되는 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하더라도 좋고, 1화면분의 매크로 블록에 상당하는 복호 화상 신호가 출력된 후에 1화면분 합쳐 행하더라도 좋다.

이상에서 분명한 것처럼, 본 실시의 형태 1에 따르면, 동화상 부호화 장치의 인트라 예측부(4)가 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 화상 품질을 높일 수 있는 효과를 얻는다.

또한, 본 실시의 형태 1에 따르면, 인트라 예측부(4)가, (1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 부호화 대상 화상과 상관이 높은 중간 예측 화상에 대하여, 부호화 대상 화상의 에지의 방향과 예측 방향의 사이에 약간의 어긋남이 생기거나, 에지에 약간의 비뚤어짐이 존재하거나 하는 경우에 생기는 국소적인 예측 오차를 억제하는 효과를 얻을 수 있고, 예측 효율을 개선할 수 있는 효과를 얻는다.

본 실시의 형태 1에 따르면, 동화상 복호 장치의 인트라 예측부(53)가 프레임 내의 복호 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 복호에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 국소적으로 발생하는 예측 오차를 저감하여, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 얻는다.

또한, 본 실시의 형태 1에 따르면, 인트라 예측부(53)가, (1) 파티션 P_i ⁿ의 사이즈(l_i ⁿ×m_i ⁿ), (2) 예측 오차 부호화 파라미터에 포함되어 있는 양자화 파라미터, (3) 중간 예측 화상의 생성시에 사용하는 부호화 완료된 화소군과 필터 처리 대상 화소의 거리, (4) 중간 예측 화상을 생성했을 때의 인트라 예측 모드의 인덱스값 중에서, 적어도 1개 이상의 파라미터를 고려하여, 필터를 선택하도록 구성했으므로, 부호화 대상 화상과 상관이 높은 중간 예측 화상에 대하여, 부호화 대상 화상의 에지의 방향과 예측 방향의 사이에 약간의 어긋남이 생기거나, 에지에 약간의 비뚤어짐이 존재하거나 하는 경우에 생기는 국소적인 예측 오차를 억제하는 효과를 얻을 수 있고, 동화상 부호화 장치측에서 생성된 인트라 예측 화상과 동일한 인트라 예측 화상을 동화상 복호 장치측에서도 생성할 수 있는 효과를 얻는다.

실시의 형태 2.

상기 실시의 형태 1에서는, 인트라 예측부(4)가, 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하는 것에 대하여 나타냈지만, 부호화 대상의 블록과 예측 화상 사이의 제곱오차합(sum of squared error)이 최소가 되는 위너 필터(Wiener filter)를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 상기 위너 필터를 이용하는 것이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신에, 상기 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 하더라도 좋다

이하, 구체적으로 처리 내용을 설명한다.

상기 실시의 형태 1에서는, 인트라 예측부(4, 53)가, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하도록 하고 있다. 그러나, 4개의 파라미터(1)~(4)를 고려하여, 필터를 선택하는 경우, 선택 후보 중에서 적절한 필터를 선택하는 것은 가능하지만, 선택 후보 이외에 최적의 필터가 존재하는 경우에는 "최적의 필터 처리"를 행할 수 없다.

본 실시의 형태 2에서는, 픽쳐 단위로 동화상 부호화 장치측에서, 최적의 필터를 설계하여 필터 처리를 실시함과 아울러, 그 필터의 필터 계수 등을 부호화하고, 동화상 복호 장치측에서, 그 필터 계수 등을 복호하는 것에 의해, 해당 필터를 이용한 필터 처리를 실시하도록 하고 있는 것을 특징으로 한다.

동화상 부호화 장치의 인트라 예측부(4)는, 상기 실시의 형태 1과 같이, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다.

또한, 인트라 예측부(4)는, 상기 실시의 형태 1과 같은 방법으로, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 이 필터를 이용하여 인트라 예측 화상 P_i ⁿ에 필터 처리를 행한다.

인트라 예측부(4)는, 픽쳐 내의 모든 부호화 블록 Bⁿ에서 인트라 예측 파라미터가 결정된 후, 픽쳐 내에서 같은 필터가 이용된 영역(동일한 필터 인덱스를 갖는 영역)마다, 그 영역 내의 입력 화상과 인트라 예측 화상의 제곱오차합(대상 영역 내의 평균제곱오차(mean square error))이 최소가 되는 위너 필터를 설계한다.

위너 필터는, 중간 예측 화상 신호 s'의 자기 상관 행렬 R_s's'와, 입력 화상 신호 s와 중간 예측 화상 신호 s'의 상호 상관 행렬 R_ss'에 의해, 하기의 식(4)로부터 필터 계수 w를 구할 수 있다. 행렬 R_s's', R_ss'의 크기는, 구해지는 필터탭의 수에 대응한다.

인트라 예측부(4)는, 위너 필터를 설계하면, 그 위너 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 제곱오차합을 D1, 그 위너 필터에 따른 정보(예컨대, 필터 계수)를 부호화했을 때의 부호량을 R1, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한 경우의 필터 설계 대상 영역 내의 제곱오차합을 D2로 하여, 하기의 식(5)가 성립하는지 여부를 확인한다.

단, λ는 상수이다.

인트라 예측부(4)는, 식(5)가 성립하는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터 대신에, 그 위너 필터를 이용하여 필터 처리를 실시한다.

한편, 식(5)가 성립하지 않는 경우, 상기 실시의 형태 1과 같은 방법으로 선택하고 있는 필터를 이용하여 필터 처리를 실시한다.

여기서는, 제곱오차합 D1, D2를 이용하여 평가하고 있지만, 이것으로 한정되는 것은 아니고, 제곱오차합 D1, D2 대신에, 오차의 절대값합 등의 다른 예측의 왜곡을 나타내는 척도를 이용하여 평가하도록 하더라도 좋다.

인트라 예측부(4)는, 위너 필터를 이용하여 필터 처리를 실시하는 경우, 그 위너 필터의 필터 계수나, 어느 인덱스의 필터를, 위너 필터로 치환하고 있는지는 나타내는 필터 갱신 정보가 필요하게 된다.

구체적으로는, 필터 선택 파라미터를 이용한 필터 처리에 의해 선택 가능한 필터의 수를 L로 하고, 각 필터에 0~L-1의 인덱스를 할당하는 경우, 각각의 인덱스에 대하여, 설계한 위너 필터를 이용하는 경우에는 "1", 미리 준비되어 있는 필터를 이용하는 경우에는 "0"의 값을, 필터 갱신 정보로서 부호화할 필요가 있다.

가변 길이 부호화부(13)는, 인트라 예측부(4)로부터 출력된 필터 갱신 정보를 가변 길이 부호화하여, 그 필터 갱신 정보의 부호화 데이터를 비트스트림에 다중화한다.

여기서는, 픽쳐 내에서 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하는 것을 나타냈지만, 픽쳐 단위가 아닌 다른 특정 영역 단위로, 같은 필터가 이용된 영역마다, 그 영역 내의 입력 화상과 예측 화상의 평균제곱오차가 최소가 되는 위너 필터를 설계하도록 구성하더라도 좋고, 어느 특정 픽쳐만, 필터 설계를 행하도록 하거나, 특정 조건에 해당하는 경우(예컨대, 신 체인지(scene change) 검출 기능을 부가하고, 신 체인지가 검출된 픽쳐의 경우)에 한해, 상기 필터 설계를 행하도록 하거나 하더라도 좋다.

동화상 복호 장치의 가변 길이 복호부(51)는, 비트스트림에 다중화되어 있는 부호화 데이터로부터 필터 갱신 정보를 가변 길이 복호한다.

인트라 예측부(53)는, 상기 실시의 형태 1과 같이, 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 프레임 내 예측 처리를 실시하는 것에 의해 인트라 예측 화상 P_i ⁿ을 생성한다.

인트라 예측부(53)는, 가변 길이 복호부(51)로부터 필터 갱신 정보를 받으면, 그 필터 갱신 정보를 참조하여, 해당하는 인덱스의 필터에서의 갱신의 유무를 확인한다.

인트라 예측부(53)는, 그 확인의 결과, 어느 영역의 필터가, 위너 필터로 치환되어 있는 경우, 그 필터 갱신 정보에 포함되어 있는 위너 필터의 필터 계수를 읽어내어, 그 위너 필터를 특정하고, 그 위너 필터를 이용하여, 인트라 예측 화상 P_i ⁿ의 필터 처리를 실시한다.

한편, 위너 필터로 치환되어 있지 않은 영역에서는, 상기 실시의 형태 1과 같은 방법으로 필터를 선택하고, 그 필터를 이용하여, 인트라 예측 화상 P_i ⁿ의 필터 처리를 실시한다.

이상에서 분명한 것처럼, 본 실시의 형태 2에 따르면, 부호화 대상의 블록과 예측 화상 사이의 제곱오차합이 최소가 되는 위너 필터를 설계하고, 미리 준비되어 있는 하나 이상의 필터 중에서 선택하고 있는 필터를 이용하는 것보다, 그 위너 필터를 이용하는 것이 예측 오차의 저감 정도가 높아지는 경우, 그 선택하고 있는 필터 대신에, 그 위너 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하도록 구성했으므로, 상기 실시의 형태 1보다 국소적으로 발생하는 예측 오차를 더 저감할 수 있는 효과를 얻는다.

또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.

(산업상이용가능성)

이상과 같이, 본 발명에 따른 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법은, 인트라 예측 수단이 프레임 내의 부호화 완료된 화상 신호를 이용하여, 프레임 내 예측 처리를 실시하는 것에 의해 예측 화상을 생성할 때, 미리 준비되어 있는 하나 이상의 필터 중에서, 필터 처리 대상 블록의 부호화에 따른 각종 파라미터의 상태에 따라 필터를 선택하고, 그 필터를 이용하여, 예측 화상에 대한 필터 처리를 실시하여, 필터 처리 후의 예측 화상을 차분 화상 생성 수단에 출력하도록 구성했으므로, 동화상을 고효율로 부호화를 행하는 동화상 부호화 장치 및 동화상 부호화 방법과, 고효율로 부호화되어 있는 동화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법 등에 이용하는 것에 적합하다.

1 : 부호화 제어부(부호화 제어 수단)
2 : 블록 분할부(블록 분할 수단)
3 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
4 : 인트라 예측부(인트라 예측 수단)
5 : 움직임 보상 예측부(움직임 보상 예측 수단)
6 : 감산부(차분 화상 생성 수단)
7 : 변환ㆍ양자화부(화상 압축 수단)
8 : 역양자화ㆍ역변환부
9 : 가산부
10 : 인트라 예측용 메모리
11 : 루프 필터부
12 : 움직임 보상 예측 프레임 메모리
13 : 가변 길이 부호화부(가변 길이 부호화 수단)
51 : 가변 길이 복호부(가변 길이 복호 수단)
52 : 전환 스위치(인트라 예측 수단, 움직임 보상 예측 수단)
53 : 인트라 예측부(인트라 예측 수단)
54 : 움직임 보상 예측부(움직임 보상 예측 수단)
55 : 역양자화ㆍ역변환부(차분 화상 생성 수단)
56 : 가산부(복호 화상 생성 수단)
57 : 인트라 예측용 메모리
58 : 루프 필터부
59 : 움직임 보상 예측 프레임 메모리

Claims

예측 처리의 단위가 되는 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 블록마다 프레임 내 예측 처리를 실시하여 인트라 예측 화상을 생성하는 인트라 예측 수단을 구비하고,
상기 인트라 예측 수단은, 인트라 예측의 종류를 나타내는 인트라 예측 파라미터에 따라 참조 화소로부터 예측값을 산출하는 것에 의해 상기 블록의 인트라 예측 화상을 생성하고, 상기 블록의 블록 사이즈에 따라 상기 블록의 인트라 예측 화상에 대한 필터 처리를 상기 인트라 예측 화상의 적어도 어느 화소에 행하는
것을 특징으로 하는 화상 복호 장치.
예측 처리의 단위가 되는 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 블록마다 프레임 내 예측 처리를 실시하여 인트라 예측 화상을 생성하는 인트라 예측 처리 단계를 구비하고,
상기 인트라 예측 처리 단계에서는, 인트라 예측의 종류를 나타내는 인트라 예측 파라미터에 따라 참조 화소로부터 예측값을 산출하는 것에 의해 상기 블록의 인트라 예측 화상을 생성하고, 상기 블록의 블록 사이즈에 따라 상기 블록의 인트라 예측 화상에 대한 필터 처리를 상기 인트라 예측 화상의 적어도 어느 화소에 행하는
것을 특징으로 하는 화상 복호 방법.
예측 처리의 단위가 되는 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 블록마다 프레임 내 예측 처리를 실시하여 인트라 예측 화상을 생성하는 인트라 예측 수단을 구비하고,
상기 인트라 예측 수단은, 인트라 예측의 종류를 나타내는 인트라 예측 파라미터에 따라 참조 화소로부터 예측값을 산출하는 것에 의해 상기 블록의 인트라 예측 화상을 생성하고, 상기 블록의 블록 사이즈에 따라 상기 블록의 인트라 예측 화상에 대한 필터 처리를 상기 인트라 예측 화상의 적어도 어느 화소에 행하는
것을 특징으로 하는 화상 부호화 장치.
예측 처리의 단위가 되는 블록에 대한 부호화 모드가 인트라 부호화 모드인 경우, 상기 블록마다 프레임 내 예측 처리를 실시하여 인트라 예측 화상을 생성하는 인트라 예측 처리 단계를 구비하고,
상기 인트라 예측 처리 단계에서는, 인트라 예측의 종류를 나타내는 인트라 예측 파라미터에 따라 참조 화소로부터 예측값을 산출하는 것에 의해 상기 블록의 인트라 예측 화상을 생성하고, 상기 블록의 블록 사이즈에 따라 상기 블록의 인트라 예측 화상에 대한 필터 처리를 상기 인트라 예측 화상의 적어도 어느 화소에 행하는
것을 특징으로 하는 화상 부호화 방법.
삭제