Nothing Special   »   [go: up one dir, main page]

KR20200128577A - 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램 - Google Patents

인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램 Download PDF

Info

Publication number
KR20200128577A
KR20200128577A KR1020207030322A KR20207030322A KR20200128577A KR 20200128577 A KR20200128577 A KR 20200128577A KR 1020207030322 A KR1020207030322 A KR 1020207030322A KR 20207030322 A KR20207030322 A KR 20207030322A KR 20200128577 A KR20200128577 A KR 20200128577A
Authority
KR
South Korea
Prior art keywords
pixel
prediction
intra prediction
unit
filter
Prior art date
Application number
KR1020207030322A
Other languages
English (en)
Inventor
심페이 네모토
슌스케 이와무라
šœ스케 이와무라
아츠로 이치가야
Original Assignee
닛폰 호소 교카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛폰 호소 교카이 filed Critical 닛폰 호소 교카이
Publication of KR20200128577A publication Critical patent/KR20200128577A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동화상을 구성하는 프레임 단위의 화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행하는 인트라 예측부(인트라 예측 장치)(170)는, 인트라 예측의 대상으로 하는 하나의 대상 블록 내의 화소 위치마다, 예측 화소의 생성에 이용하는 필터를 복수 종류의 필터 중에서 결정하는 필터 결정부(172A)와, 필터 결정부(172A)에 의해 결정된 필터를 이용하여 하나의 대상 블록 주변의 참조 화소로부터 예측 화소를 생성하는 예측 화소 생성부(173)를 구비한다. 필터 결정부(172A)는, 하나의 대상 블록 내의 하나의 화소 위치에 대응하는 필터를 결정할 때에, 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 하나의 화소 위치 사이의 거리에 따라서 필터를 결정한다.

Description

인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
본 발명은 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램에 관한 것이다.
최근 영상 부호화 기술에서는 8K-SHV로 대표되는 초고해상도 영상의 보급이 진행되고 있어, 방대한 데이터량의 동화상을 전송하기 위한 수법으로서 AVC/H.264나 HEVC/H.265 등의 부호화 방식이 알려져 있다.
이러한 부호화 방식에서는 프레임 내의 공간적인 상관을 이용한 인트라 예측이 이용되고 있다(예컨대 비특허문헌 1). 비특허문헌 1에 기재된 인트라 예측에서는, 대상 블록 주변의 복호 완료 참조 화소를 이용하여, Planar 예측, DC 예측 및 방향성 예측의 계 35가지의 예측 모드로부터 부호화 장치 측에서 알맞은 모드를 선택하여, 그 정보를 복호 장치 측으로 보낸다.
또한, ISO/IEC SC29 WG11과 ITU-T SG16 WP3 Q6이 합동으로 검토하는 차세대 영상 부호화 방식의 성능 평가용 소프트웨어(JEM)에 있어서, 인트라 예측에서는, 참조 화소의 내삽(內揷)이 필요한 일부의 방향성 예측에 있어서 4 탭 내삽 필터를 이용하고 있고, 4개의 예측 참조 화소로부터 하나의 예측 화소를 생성하고 있다. 그 때에 대상 블록의 블록 사이즈에 따라서 적용하는 필터의 종류를 결정하고 있으며, 어느 크기 이하의 블록 사이즈에서는 바이큐빅 필터, 그 이외에서는 가우스 필터를 이용하여 예측 화소를 생성하고 있다.
비특허문헌 1: Recommendation ITU-T H.265,(12/2016), "High efficiency video coding", International Telecommunication Union
그런데, 인트라 예측은, 원래 참조 화소에 가까운 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 급준한 필터를 이용하고, 참조 화소로부터 떨어진 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 완만한 필터를 이용해야 한다.
그러나, 종래의 방법에서는 하나의 대상 블록에 관해서 적용하는 필터는 1종류뿐이다. 이 때문에, 큰 사이즈의 블록 또는 블록 내의 일부의 화소가 참조 화소에 대하여 떨어져 있는 가늘고 긴 블록 등에 있어서, 인트라 예측의 예측 정밀도를 높일 수 없다고 하는 문제가 있었다.
그래서, 본 발명은 인트라 예측의 예측 정밀도를 높일 수 있는 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램을 제공하는 것을 목적으로 한다.
제1 특징에 따른 인트라 예측 장치는, 동화상을 구성하는 프레임 단위의 화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행한다. 이 인트라 예측 장치는, 상기 인트라 예측의 대상으로 하는 하나의 대상 블록 내의 화소 위치마다, 예측 화소의 생성에 이용하는 필터를 복수 종류의 필터 중에서 결정하는 필터 결정부와, 상기 필터 결정부에 의해 결정된 상기 필터를 이용하여 상기 하나의 대상 블록 주변의 참조 화소로부터 상기 예측 화소를 생성하는 예측 화소 생성부를 구비한다. 상기 필터 결정부는, 상기 하나의 대상 블록 내의 하나의 화소 위치에 대응하는 상기 필터를 결정할 때에, 상기 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 상기 필터를 결정한다.
제2 특징에 따른 인트라 예측 장치는, 동화상을 구성하는 프레임 단위의 화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행한다. 이 인트라 예측 장치는, 예측 화소의 생성에 이용하는 예측 참조 화소의 수를 결정하는 참조 화소수 결정부와, 상기 인트라 예측의 대상으로 하는 블록 주변의 참조 화소 중에서 상기 참조 화소수 결정부에 의해 결정된 수의 예측 참조 화소에 대하여 필터를 적용함으로써 상기 예측 화소를 생성하는 예측 화소 생성부를 구비한다. 상기 참조 화소수 결정부는, 상기 인트라 예측의 대상으로 하는 블록마다 또는 상기 인트라 예측의 대상으로 하는 블록 내의 화소 위치마다 상기 예측 참조 화소의 수를 결정한다.
제3 특징에 따른 화상 부호화 장치는 제1 특징 또는 제2 특징에 따른 인트라 예측 장치를 구비한다.
제4 특징에 따른 화상 복호 장치는 제1 특징 또는 제2 특징에 따른 인트라 예측 장치를 구비한다.
제5 특징에 따른 프로그램은 컴퓨터를 제1 특징 또는 제2 특징에 따른 인트라 예측 장치로서 기능하게 한다.
본 발명에 의하면, 인트라 예측의 예측 정밀도를 높일 수 있는 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램을 제공할 수 있다.
도 1은 제1 및 제2 실시형태에 따른 화상 부호화 장치의 구성을 도시하는 도면이다.
도 2는 제1 및 제2 실시형태에 따른 화상 복호 장치의 구성을 도시하는 도면이다.
도 3은 제1 실시형태에 따른 인트라 예측부의 구성을 도시하는 도면이다.
도 4는 대상 블록에 적용될 수 있는 인트라 예측 모드의 일례를 도시하는 도면이다.
도 5는 필터를 이용한 예측 화소의 생성 방법의 일례를 도시하는 도면이다.
도 6은 제1 실시형태에 따른 필터 결정부의 동작의 일례를 도시하는 도면이다.
도 7은 제1 실시형태에 따른 인트라 예측부의 동작 흐름의 예를 도시하는 도면이다.
도 8은 제1 실시형태의 변경예에 따른 필터 결정부의 동작의 일례를 도시하는 도면이다.
도 9는 제2 실시형태에 따른 인트라 예측부의 구성을 도시하는 도면이다.
도 10은 제2 실시형태에 따른 인트라 예측부의 동작 흐름의 예를 도시하는 도면이다.
도 11은 제2 실시형태의 변경예에 따른 인트라 예측부의 동작 흐름의 예를 도시하는 도면이다.
도면을 참조하여, 실시형태에 따른 화상 부호화 장치 및 화상 복호 장치에 관해서 설명한다. 실시형태에 따른 화상 부호화 장치 및 화상 복호 장치는, MPEG로 대표되는 동화상의 부호화 및 복호를 행한다. 이하의 도면의 기재에 있어서, 동일하거나 또는 유사한 부분에는 동일 또는 유사한 부호를 붙이고 있다.
<1. 제1 실시형태>
(1.1. 화상 부호화 장치의 구성)
도 1은 본 실시형태에 따른 화상 부호화 장치(1)의 구성을 도시하는 도면이다. 도 1에 도시하는 것과 같이, 화상 부호화 장치(1)는 블록 분할부(100)와 감산부(110)와 변환부(121)와 양자화부(122)와 엔트로피 부호화부(130)와 역양자화부(141)와 역변환부(142)와 합성부(150)와 메모리(160)와 인트라 예측부(인트라 예측 장치)(170)와 인터 예측부(180)와 전환부(190)를 구비한다.
블록 분할부(100)는, 프레임(혹은 픽쳐) 단위의 입력 화상을 블록형의 소영역으로 분할하고, 분할에 의해 얻은 블록을 감산부(110)에 출력한다. 블록의 사이즈는 예컨대 32×32 화소, 16×16 화소, 8×8 화소 또는 4×4 화소 등이다. 블록의 형상은 정방형에 한하지 않고, 장방형이라도 좋다. 블록은, 화상 부호화 장치(1)가 부호화를 행하는 단위 및 화상 복호 장치(2)가 복호를 행하는 단위이며, 부호화 유닛(CU)이라고 불리는 경우도 있다.
감산부(110)는, 블록 분할부(100)로부터 입력된 블록과 이 블록에 대응하는 예측 화상(예측 블록) 사이의 화소 단위에서의 차분을 나타내는 예측 잔차(殘差)를 산출한다. 구체적으로는 감산부(110)는, 블록의 각 화소치로부터 예측 화상의 각 화소치를 감산함으로써 예측 잔차를 산출하고, 산출한 예측 잔차를 변환부(121)에 출력한다. 예측 화상은 후술하는 전환부(190)로부터 감산부(110)에 입력된다.
변환부(121) 및 양자화부(122)는, 블록 단위로 직교 변환 처리 및 양자화 처리를 행하는 변환·양자화부(120)를 구성한다.
변환부(121)는, 감산부(110)로부터 입력된 예측 잔차에 대하여 직교 변환을 행하여 변환 계수를 산출하고, 산출한 변환 계수를 양자화부(122)에 출력한다. 직교 변환이란, 예컨대 이산 코사인 변환(DCT: Discrete Cosine Transform)이나 이산 사인 변환(DST: Discrete Sine Transform), 카르넨레이브 변환(KLT: Karhunen-Loeve Transform) 등을 말한다.
양자화부(122)는, 변환부(121)로부터 입력된 변환 계수를 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 양자화하여, 양자화 변환 계수를 생성한다. 양자화 파라미터(Qp)는 블록 내의 각 변환 계수에 대하여 공통적으로 적용되는 파라미터이며, 양자화의 거칠기를 정하는 파라미터이다. 양자화 행렬은 각 변환 계수를 양자화할 때의 양자화치를 요소로서 갖는 행렬이다. 양자화부(122)는, 생성한 양자화 변환 계수 정보 등을 엔트로피 부호화부(130) 및 역양자화부(141)에 출력한다.
엔트로피 부호화부(130)는, 양자화부(122)로부터 입력된 양자화 변환 계수에 대하여 엔트로피 부호화를 행하고, 데이터 압축을 행하여 부호화 데이터(비트 스트림)를 생성하여, 부호화 데이터를 화상 부호화 장치(1)의 외부로 출력한다. 엔트로피 부호화에는 하프만 부호나 CABAC(Context-based Adaptive Binary Arithmetic Coding; 콘텍스트 적응형 2치 산술 부호) 등을 이용할 수 있다. 또한, 엔트로피 부호화부(130)에는, 인트라 예측부(170) 및 인터 예측부(180)로부터 예측에 관한 정보가 입력된다. 엔트로피 부호화부(130)는 이들 정보의 엔트로피 부호화도 행한다.
역양자화부(141) 및 역변환부(142)는, 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행하는 역양자화·역변환부(140)를 구성한다.
역양자화부(141)는, 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 구체적으로는 역양자화부(141)는, 양자화부(122)로부터 입력된 양자화 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화함으로써 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(142)에 출력한다.
역변환부(142)는 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 예컨대 변환부(121)가 이산 코사인 변환을 행한 경우에는, 역변환부(142)는 역이산 코사인 변환을 행한다. 역변환부(142)는, 역양자화부(141)로부터 입력된 변환 계수에 대하여 역직교 변환을 행하여 예측 잔차를 복원하고, 복원한 예측 잔차인 복원 예측 잔차를 합성부(150)에 출력한다.
합성부(150)는, 역변환부(142)로부터 입력된 복원 예측 잔차를, 전환부(190)로부터 입력된 예측 화상과 화소 단위로 합성한다. 합성부(150)는, 복원 예측 잔차의 각 화소치와 예측 화상의 각 화소치를 가산하여 블록을 재구성(복호)하고, 재구성한 블록인 재구성 블록을 메모리(160)에 출력한다. 이러한 재구성 블록은 복호 완료 블록이라고 불리는 경우가 있다.
메모리(160)는 합성부(150)로부터 입력된 재구성 블록을 기억한다. 메모리(160)는 재구성 블록을 프레임 단위로 기억한다.
인트라 예측부(170)는, 메모리(160)에 기억된 재구성 블록(복호 완료 블록) 중, 예측 대상의 블록에 인접하는 복호 완료 인접 블록을 참조하여 인트라 예측 화상을 생성한다. 또한, 인트라 예측부(170)는, 최적의 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 인트라 예측을 행한다. 복수의 예측 방향에 대응하는 복수의 인트라 예측 모드가 미리 규정되어 있다. 예측 방향이란, 대상 블록에 인접하는 인접 화소를 참조하여 대상 블록 중의 대상 화소를 예측할 때에, 대상 화소를 기준으로 한 인접 참조 화소의 방향을 말한다. 즉, 인트라 예측 모드(예측 방향)에 의해, 대상 블록 중의 화소의 예측에 이용해야 하는 인접 참조 화소가 정해진다. 인트라 예측부(170)는, 인트라 예측 화상을 전환부(190)에 출력함과 더불어, 선택한 인트라 예측 모드의 정보를 엔트로피 부호화부(130)에 출력한다.
인터 예측부(180)는, 메모리(160)에 기억된 프레임 단위의 재구성 화상(복호 화상)을 참조 화상으로서 이용하여 대상 블록을 예측하는 인터 예측을 행한다. 구체적으로는 인터 예측부(180)는, 블록 매칭 등의 수법에 의해 움직임 벡터를 산출하고, 움직임 벡터에 기초하여 인터 예측 화상을 생성한다. 인터 예측부(180)는, 복수의 참조 화상을 이용하는 인터 예측(전형적으로는 쌍(雙) 예측)이나, 하나의 참조 화상을 이용하는 인터 예측(편방향 예측) 중에서 최적의 인터 예측 방법을 선택하고, 선택한 인터 예측 방법을 이용하여 인터 예측을 행한다. 인터 예측부(180)는, 생성한 인터 예측 화상을 전환부(190)에 출력함과 더불어, 선택한 인터 예측 방법 및 움직임 벡터에 관한 정보를 엔트로피 부호화부(130)에 출력한다.
전환부(190)는, 인트라 예측부(170)로부터 입력되는 인트라 예측 화상과 인터 예측부(180)로부터 입력되는 인터 예측 화상을 전환하여, 어느 하나의 예측 화상을 감산부(110) 및 합성부(150)에 출력한다.
(1.2. 화상 복호 장치의 구성)
도 2는 본 실시형태에 따른 화상 복호 장치(2)의 구성을 도시하는 도면이다. 도 2에 도시하는 것과 같이, 화상 복호 장치(2)는 엔트로피 부호 복호부(200)와 역양자화부(211)와 역변환부(212)와 합성부(220)와 메모리(230)와 인트라 예측부(240)와 인터 예측부(250)와 전환부(260)를 구비한다.
엔트로피 부호 복호부(200)는, 부호화 장치(1)에 의해 생성된 부호화 데이터를 복호하여, 양자화 변환 계수를 역양자화부(211)에 출력한다. 또한, 엔트로피 부호 복호부(200)는, 부호화 데이터를 복호하여, 예측(인트라 예측 및 인터 예측)에 관한 정보를 취득하고, 예측에 관한 정보를 인트라 예측부(240) 및 인터 예측부(250)에 출력한다. 구체적으로는 엔트로피 부호 복호부(200)는, 인트라 예측 모드의 정보를 인트라 예측부(240)에 출력하고, 인터 예측 방법 및 움직임 벡터에 관한 정보를 인터 예측부(250)에 출력한다.
역양자화부(211) 및 역변환부(212)는 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행하는 역양자화·역변환부(210)를 구성한다.
역양자화부(211)는, 화상 부호화 장치(1)의 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 역양자화부(211)는, 엔트로피 부호 복호부(200)로부터 입력된 양자화 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화함으로써 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(212)에 출력한다.
역변환부(212)는, 화상 부호화 장치(1)의 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 역변환부(212)는, 역양자화부(211)로부터 입력된 변환 계수에 대하여 역직교 변환을 행하여 예측 잔차를 복원하고, 복원한 예측 잔차(복원 예측 잔차)를 합성부(220)에 출력한다.
합성부(220)는, 역변환부(212)로부터 입력된 예측 잔차와 전환부(260)로부터 입력된 예측 화상을 화소 단위로 합성함으로써 원래의 블록을 재구성(복호)하여, 재구성 블록을 메모리(230)에 출력한다.
메모리(230)는 합성부(220)로부터 입력된 재구성 블록을 기억한다. 메모리(230)는 재구성 블록을 프레임 단위로 기억한다. 메모리(230)는 프레임 단위의 재구성 화상(복호 화상)을 화상 복호 장치(2)의 외부로 출력한다.
인트라 예측부(240)는, 메모리(230)에 기억된 재구성 블록을 참조하여, 엔트로피 부호 복호부(200)로부터 입력된 인트라 예측 정보(인트라 예측 모드)에 따라서 인트라 예측을 행함으로써 인트라 예측 화상을 생성한다. 구체적으로는 인트라 예측부(240)는, 메모리(230)에 기억된 재구성 블록(복호 완료 블록) 중, 인트라 예측 모드에 따라서 정해지는 인접 참조 화소를 참조하여 인트라 예측 화상을 생성한다. 인트라 예측부(240)는 인트라 예측 화상을 전환부(260)에 출력한다.
인터 예측부(250)는, 메모리(160)에 기억된 프레임 단위의 재구성 화상(복호 화상)을 참조 화상으로서 이용하여 블록을 예측하는 인터 예측을 행한다. 인터 예측부(250)는, 엔트로피 부호 복호부(200)로부터 입력된 인터 예측 정보(움직임 벡터 정보 등)에 따라서 인터 예측을 행함으로써 인터 예측 화상을 생성하여, 인터 예측 화상을 전환부(260)에 출력한다.
전환부(260)는, 인트라 예측부(240)로부터 입력되는 인트라 예측 화상과 인터 예측부(250)로부터 입력되는 인터 예측 화상을 전환하여, 어느 한 예측 화상을 합성부(220)에 출력한다.
(1.3. 인트라 예측부의 구성)
도 3은 본 실시형태에 따른 화상 부호화 장치(1)의 인트라 예측부(170)의 구성을 도시하는 도면이다. 화상 복호 장치(2)의 인트라 예측부(240)는, 화상 부호화 장치(1)의 인트라 예측부(170)와 같은 구성을 가지며 또한 같은 식의 동작을 행한다.
인트라 예측부(170)는, 동화상을 구성하는 프레임 단위의 원화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행한다. 이하에서, 인트라 예측의 대상으로 하는 하나의 블록을 대상 블록이라고 부른다.
도 3에 도시하는 것과 같이, 인트라 예측부(170)는 예측 모드 선택부(171)와 필터 결정부(172A)와 예측 화소 생성부(173)를 구비한다.
예측 모드 선택부(171)는, 대상 블록에 적용하는 인트라 예측 모드를 선택하여, 선택한 인트라 예측 모드를 필터 결정부(172A) 및 예측 화소 생성부(173)에 출력한다. 또한, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드의 정보는 엔트로피 부호화부(130)에도 출력되어, 엔트로피 부호화부(130)에 있어서 부호화된다. 화상 복호 장치(2)는, 인트라 예측 모드의 정보를 복호하여, 화상 부호화 장치(1)와 동일한 인트라 예측 모드를 선택한다. 도 4는 대상 블록에 적용될 수 있는 인트라 예측 모드의 일례를 도시하는 도면이다. 도 4의 예에서, 0부터 66까지의 67가지의 인트라 예측 모드를 도시한다. 인트라 예측 모드 「0」은 Planar 예측이고, 인트라 예측 모드 「1」은 DC 예측이고, 인트라 예측 모드 「2」∼「66」은 방향성 예측이다. 예측 모드 선택부(171)는, 예컨대 RD(Rate Distortion) 코스트에 기초하여 최적의 인트라 예측 모드를 선택한다. 방향성 예측에 있어서, 화살표 방향은 예측 방향을 나타내고, 화살표의 기점은 예측 대상의 화소의 위치를 나타내고, 화살표의 종점은 이 예측 대상 화소의 예측에 이용하는 참조 화소의 위치를 나타낸다.
방향성 예측 화살표의 종점이 딱 참조 화소의 좌표를 나타내고 있는 경우(정수 화소 위치)는 그 위치의 참조 화소치가 그대로 예측치가 되지만, 화살표의 종점이 2개의 참조 화소의 좌표 사이를 나타내는 경우에는, 복수의 참조 화소에 내삽 필터를 걸어 예측치를 결정한다.
필터 결정부(172A)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드가 소정의 방향성 예측이며 또한 참조 화소가 정수 화소 위치가 아닌 경우에, 대상 블록 내의 화소 위치마다 예측 화소의 생성에 이용하는 필터(내삽 필터)를 복수 종류의 필터 중에서 결정한다. 구체적으로는 필터 결정부(172A)는, 예측 대상 화소의 화소 위치에서부터 인트라 예측 방향으로 연장시킨 직선상에 정수 위치의 참조 화소가 없는 경우에, 필터를 적용한다고 판정한다.
또한, 소정의 방향성 예측이란, 참조 화소의 내삽이 필요한 방향성 예측을 말한다. 예컨대 수평 방향(모드 「18」), 수직 방향(모드 「50」), 45도 비스듬한 방향(모드 「2」, 「34」, 「66」) 등의 방향성 예측에 관해서는, 정수 위치의 참조 화소를 참조할 수 있기 때문에, 이러한 필터는 적용되지 않는다. 이들 모드 이외의 모드에 관해서는, 필터 결정부(172A)는, 인트라 예측 방향으로 연장시킨 직선상에 정수 위치의 참조 화소가 있는 경우에는 필터를 적용하지 않는다고 판정하고, 그렇지 않은 경우에는 필터를 적용한다고 판정한다. 이하에서, 필터 결정부(172A)가 필터를 적용한다고 판정했다고 가정하여 설명해 나간다.
또한, 본 실시형태에서, 필터란 4 탭 내삽 필터를 말한다. 필터는, 예측 대상 화소에 관해서, 4개의 예측 참조 화소로부터 하나의 예측 화소를 생성하기 위해서 이용된다. 예측 참조 화소란, 대상 블록의 좌측 및 상측의 인접 참조 화소 중, 대상 화소의 예측에 이용하는 참조 화소(즉, 필터가 적용되는 참조 화소)를 말한다. 본 실시형태에서 필터는 4 탭 내삽 필터이기 때문에, 예측 참조 화소의 수는 4이다.
또한, 복수 종류의 필터란, 필터 특성이 서로 다른 필터를 말한다. 복수 종류의 필터는 예컨대 바이큐빅 필터 및 가우스 필터를 포함한다. 바이큐빅 필터는 급준한 필터이고, 가우스 필터는 완만한 필터이다.
본 실시형태에 있어서, 필터 결정부(172A)는, 대상 블록 내의 하나의 화소 위치에 대응하는 필터를 결정할 때에, 그 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 필터를 결정한다. 이와 같이, 필터 결정부(172A)는, 대상 블록 내의 화소 위치마다 필터를 결정하기 때문에, 대상 블록 내에서 필터를 화소 단위로 적절하게 구분하여 사용할 수 있다. 또한, 하나의 화소 위치에 대응하는 필터를 결정할 때에, 그 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 필터를 결정하기 때문에, 예컨대 참조 화소에 가까운 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 급준한 필터를 이용하고, 참조 화소로부터 떨어진 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 완만한 필터를 이용할 수 있다. 이에 따라, 인트라 예측의 예측 정밀도를 높일 수 있다.
예측 화소 생성부(173)는, 대상 블록 내의 화소 위치마다, 필터 결정부(172A)에 의해 결정된 필터를 이용하여 예측 참조 화소로부터 예측 화소를 생성한다. 도 5는 필터를 이용한 예측 화소의 생성 방법의 일례를 도시하는 도면이다. 도 5에서, 대상 블록의 블록 사이즈가 4×4이고, 2번째 행 3번째 열의 화소 위치(좌표 위치)에 관해서 예측 화소를 생성하는 것을 상정하고 있다. 예측 화소 생성부(173)는, 대상 블록의 상측의 참조 화소 중 4개의 예측 참조 화소 #1∼#4에 필터를 적용함으로써 예측 화소를 생성한다. 이와 같이 하여 대상 블록 내의 전체 화소 위치에 관해서 예측 화소를 생성하면, 예측 화소 생성부(173)는 생성한 예측 화소로 이루어지는 블록을 인트라 예측 화상으로서 출력한다.
이어서, 본 실시형태에 따른 필터 결정부(172A)의 구성에 관해서 설명한다. 도 3에 도시하는 것과 같이, 필터 결정부(172A)는 참조 화소 결정부(172a)와 거리 산출부(172b)와 역치 설정부(172c)와 비교 결정부(172d)를 구비한다.
참조 화소 결정부(172a)는, 대상 블록 내의 화소 위치마다, 가장 가까운 참조 화소(즉, 거리의 산출에 이용하는 참조 화소)를 결정한다. 구체적으로는, 참조 화소 결정부(172a)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 예측 대상 화소의 화소 위치에 가장 가까운 참조 화소로서, 대상 블록의 상측의 참조 화소 및 좌측의 참조 화소 중 어느 것을 이용할지 결정한다. 인트라 예측에 이용되는 예측 참조 화소는 인트라 예측 모드에 따라서 변화되는데, 거리를 구하기 위한 참조 화소를 인트라 예측 모드에 따라서 결정함으로써 적절하게 거리를 산출할 수 있다. 예컨대 참조 화소 결정부(172a)는, 인트라 예측 모드가 「2」∼「34」인 경우는 좌측 참조 화소를 결정하고, 인트라 예측 모드가 「35」∼「66」인 경우는 상측 참조 화소를 결정한다. 참조 화소 결정부(172a)는 결정한 참조 화소의 위치(좌표)를 거리 산출부(172b)에 출력한다.
거리 산출부(172b)는, 참조 화소 결정부(172a)에 의해 결정된 참조 화소의 위치와 대상 화소의 위치 사이의 거리를 산출하여, 산출한 거리를 비교 결정부(172d)에 출력한다.
역치 설정부(172c)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 거리와 비교해야 할 하나 또는 복수의 역치를 설정한다. 구체적으로는 역치 설정부(172c)는, 인트라 예측 모드와 역치를 대응시킨 맵핑 테이블을 유지하고 있고, 맵핑 테이블을 이용하여 인트라 예측 모드에 대응하는 역치를 설정한다. 인트라 예측에 이용되는 예측 참조 화소는 인트라 예측 모드에 따라서 변화되고, 그에 따라서 예측 참조 화소와 대상 화소 사이의 거리도 변화되는데, 인트라 예측 모드에 따라서 역치를 설정함으로써 필터를 적절하게 결정할 수 있다. 본 실시형태에서는 역치가 하나인 경우에 관해서 설명하지만, 역치는 복수라도 좋다. 역치 설정부(172c)는 설정하는 역치를 비교 결정부(172d)에 출력한다.
비교 결정부(172d)는, 거리 산출부(172b)에 의해 산출된 거리를, 역치 설정부(172c)에 의해 설정된 역치와 비교함으로써 대상 화소에 대응하는 필터를 결정하고, 결정한 필터를 예측 화소 생성부(173)에 출력한다. 예컨대 비교 결정부(172d)는, 거리가 역치 이하인 대상 화소에 대하여 필터 1을 결정하고, 거리가 역치를 넘는 대상 화소에 대하여 필터 2를 결정한다. 필터 1은 필터 2와 비교하여 급준한 필터이다. 필터 1은 바이큐빅 필터라도 좋고, 필터 2는 가우스 필터라도 좋다.
도 6은 필터 결정부(172A)의 동작의 일례를 도시하는 도면이다. 도 6에서, 대상 블록의 블록 사이즈는 8×8이다.
도 6에 도시하는 것과 같이, 첫째로, 참조 화소 결정부(172a)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드가 「35」∼「66」의 범위 내이므로, 거리를 산출하기 위한 참조 화소로서 상측 참조 화소를 결정한다. 또한, 역치 설정부(172c)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 거리와 비교해야 할 역치를 설정한다. 여기서는, 역치 설정부(172c)가 설정한 역치가 「4」라고 가정하여 설명해 나간다.
둘째로, 거리 산출부(172b)는, 대상 블록 내의 각 화소 위치에 관해서, 참조 화소 결정부(172a)에 의해 결정된 상측 참조 화소와의 사이의 거리를 산출한다. 예컨대 거리 산출부(172b)는, 대상 블록 내의 1번째 행의 각 화소 위치에 관해서는 거리를 「1」로 산출하고, 대상 블록 내의 2번째 행의 각 화소 위치에 관해서는 거리를 「2」로 산출하고, 대상 블록 내의 3번째 행의 각 화소 위치에 관해서는 거리를 「3」으로 산출하고, 대상 블록 내의 4번째 행의 각 화소 위치에 관해서는 거리를 「4」로 산출하고, 대상 블록 내의 5번째 행의 각 화소 위치에 관해서는 거리를 「5」로 산출하고, 대상 블록 내의 6번째 행의 각 화소 위치에 관해서는 거리를 「6」으로 산출하고, 대상 블록 내의 7번째 행의 각 화소 위치에 관해서는 거리를 「7」로 산출하고, 대상 블록 내의 8번째 행의 각 화소 위치에 관해서는 거리를 「8」로 산출한다.
셋째로, 비교 결정부(172d)는, 거리 산출부(172b)에 의해 산출된 거리를, 역치 설정부(172c)에 의해 설정된 역치와 비교함으로써, 대상 블록 내의 각 화소 위치에 관해서 필터를 결정한다. 역치 설정부(172c)가 설정한 역치가 「4」이기 때문에, 대상 블록 내의 1∼4번째 행의 각 화소 위치에 관해서는 상측 참조 화소와의 거리가 역치 이하이다. 따라서, 비교 결정부(172d)는 대상 블록 내의 1∼4번째 행의 각 화소 위치에 관해서는 필터 1(예컨대 바이큐빅 필터)을 결정한다. 한편, 대상 블록 내의 5∼8번째 행의 각 화소 위치에 관해서는 상측 참조 화소와의 거리가 역치를 넘는다. 따라서, 비교 결정부(172d)는 대상 블록 내의 5∼8번째 행의 각 화소 위치에 관해서는 필터 2(예컨대 가우스 필터)를 결정한다.
(1.4. 인트라 예측부의 동작 흐름의 예)
도 7은 본 실시형태에 따른 화상 부호화 장치(1)의 인트라 예측부(170)의 동작 흐름의 예를 도시하는 도면이다.
도 7에 도시하는 것과 같이, 단계 S101에 있어서, 예측 모드 선택부(171)는 대상 블록에 적용하는 인트라 예측 모드를 선택한다.
단계 S102에 있어서, 참조 화소 결정부(172a)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 대상 블록 내의 화소 위치마다, 거리의 산출에 이용하는 참조 화소를 결정한다.
단계 S103에 있어서, 거리 산출부(172b)는, 참조 화소 결정부(172a)에 의해 결정된 참조 화소의 위치와 대상 화소의 위치 사이의 거리를 산출한다.
단계 S104에 있어서, 역치 설정부(172c)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 거리와 비교해야 할 역치를 설정한다.
단계 S105에 있어서, 비교 결정부(172d)는, 거리 산출부(172b)에 의해 산출된 거리를, 역치 설정부(172c)에 의해 설정된 역치와 비교한다.
단계 S106에 있어서, 비교 결정부(172d)는, 거리와 역치의 비교 결과에 따라서 대상 화소에 대응하는 필터를 결정한다.
단계 S107에 있어서, 예측 화소 생성부(173)는, 필터 결정부(172A)에 의해 결정된 필터를 이용하여 예측 참조 화소로부터 예측 화소를 생성한다.
대상 블록 내의 전체 예측 화소의 생성이 종료된 경우(단계 S108: YES), 인트라 예측부(170)(예측 화소 생성부(173))는 대상 블록에 대응하는 인트라 예측 화상을 출력한다.
한편, 대상 블록 내의 전체 예측 화소의 생성이 아직 종료되지 않은 경우(단계 S108: NO), 대상 블록 내의 다음 예측 대상 화소로 처리를 옮겨(단계 S109), 다음 예측 대상 화소에 관해서, 거리의 산출(단계 S103), 거리와 역치의 비교(단계 S105), 필터의 결정(단계 S106) 및 예측 화소의 생성(단계 S106)을 행한다.
(1.5. 제1 실시형태의 변경예)
상술한 제1 실시형태에서는, 거리 산출부(172b)가, 예측 대상 화소와 참조 화소 사이의 거리를 산출할 때에, 예측 대상 화소와 좌측 참조 화소 사이의 수평 방향의 거리, 또는 예측 대상 화소와 상측 참조 화소 사이의 수직 방향의 거리를 산출하는 것을 상정하고 있었다. 이러한 경우, 거리의 산출에 이용하는 참조 화소는 예측 참조 화소(즉, 실제로 예측에 이용하는 참조 화소)가 아니라도 좋다.
이에 대하여, 본 변경예에서는, 거리의 산출에 이용하는 참조 화소로서 예측 참조 화소(즉, 실제로 예측에 이용하는 참조 화소)를 이용한다. 본 변경예에 따른 참조 화소 결정부(172a)는, 복수의 예측 참조 화소로 이루어지는 참조 화소열과, 예측 대상 화소의 위치에서부터 인트라 예측 모드의 예측 방향으로 연장시킨 선분과의 교점에 대응하는 참조 화소를, 거리의 산출에 이용하는 참조 화소로서 결정한다. 그리고, 거리 산출부(172b)는, 참조 화소 결정부(172a)에 의해 결정된 참조 화소의 위치와 예측 대상 화소 사이의 거리를 산출한다. 실제로 예측에 이용하는 참조 화소와의 거리를 산출함으로써 필터를 적절하게 결정할 수 있다.
도 8은 본 변경예에 따른 필터 결정부(172A)의 동작의 일례를 도시하는 도면이다. 도 8에서, 대상 블록의 블록 사이즈는 8×8이다.
도 8에 도시하는 것과 같이, 참조 화소 결정부(172a)는, 복수의 예측 참조 화소(예측 참조 화소 #1∼#4)로 이루어지는 참조 화소열과, 예측 대상 화소의 위치에서부터 인트라 예측 모드의 예측 방향으로 연장시킨 선분과의 교점에 대응하는 참조 화소를, 거리의 산출에 이용하는 참조 화소로서 결정한다.
도 8(a)의 예에서는, 참조 화소 결정부(172a)는, 예측 참조 화소 #2를 거리의 산출에 이용하는 참조 화소로서 결정한다. 또한, 본 변경예에서도, 역치 설정부(172c)는, 인트라 예측 모드에 따라서, 거리와 비교해야 할 역치를 설정한다. 여기서는, 역치 설정부(172c)가 설정한 역치가 「4」라고 되어 있다.
도 8(b)의 예에서는, 참조 화소 결정부(172a)는, 예측 참조 화소 #3을 거리의 산출에 이용하는 참조 화소로서 결정한다. 또한, 본 변경예에서도, 역치 설정부(172c)는, 인트라 예측 모드에 따라서, 거리와 비교해야 할 역치를 설정한다. 여기서는, 역치 설정부(172c)가 설정한 역치가 「3」이라고 되어 있다.
<2. 제2 실시형태>
제2 실시형태에 관해서 제1 실시형태와의 상이점을 주로 설명한다.
제1 실시형태는, 필터가 4 탭 내삽 필터인 것을 전제로 하여 예측 화소를 생성하기 위한 필터의 종류를 결정하기 위한 실시형태였다. 이에 대하여, 제2 실시형태는, 필터의 종류를 고정으로 하면서 필터의 탭수(즉, 예측 참조 화소의 수)를 결정하기 위한 실시형태이다.
(2.1. 인트라 예측부의 구성)
도 9는 본 실시형태에 따른 화상 부호화 장치(1)의 인트라 예측부(170)의 구성을 도시하는 도면이다. 화상 복호 장치(2)의 인트라 예측부(240)는, 화상 부호화 장치(1)의 인트라 예측부(170)와 같은 구성을 가지며 또한 같은 식의 동작을 행한다.
도 9에 도시하는 것과 같이, 본 실시형태에 따른 인트라 예측부(170)는, 예측 모드 선택부(171)와 참조 화소수 결정부(172B)와 예측 화소 생성부(173)를 구비한다. 예측 모드 선택부(171)에 관해서는 제1 실시형태와 마찬가지다.
참조 화소수 결정부(172B)는 예측 화소의 생성에 이용하는 예측 참조 화소의 수(필터의 탭수)를 결정한다. 참조 화소수 결정부(172B)는 인트라 예측의 대상으로 하는 대상 블록 내의 화소 위치마다 예측 참조 화소의 수를 결정한다.
예측 화소 생성부(173)는, 인트라 예측의 대상으로 하는 블록 주변의 참조 화소 중에서, 참조 화소수 결정부(172B)에 의해 결정된 수의 예측 참조 화소에 대하여 필터를 적용함으로써 예측 화소를 생성한다.
이와 같이, 예측 화소의 생성에 이용하는 예측 참조 화소의 수를 블록 단위 또는 화소 단위로 변경할 수 있게 함으로써 인트라 예측의 예측 정밀도를 높일 수 있다. 또한, 필터의 종류가 한 종류라도, 예측 참조 화소의 수에 의해서 필터 특성을 변화시킬 수 있다.
본 실시형태에 있어서, 참조 화소수 결정부(172B)는, 인트라 예측의 대상으로 하는 블록 내의 하나의 화소 위치(예측 대상 화소)에 대응하는 예측 참조 화소의 수를 결정할 때에, 그 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 예측 참조 화소의 수를 결정한다.
이와 같이, 하나의 블록 내의 화소 위치마다 필터를 결정하기 때문에, 대상 블록 내에서 필터를 화소 단위로 적절하게 구분지어 사용할 수 있다. 예컨대 참조 화소에 가까운 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 예측 참조 화소의 수를 적게 하고, 참조 화소로부터 떨어진 화소 위치에 있어서의 예측 화소를 생성하는 경우에는 예측 참조 화소의 수를 늘림으로써 적절한 필터 특성을 얻을 수 있다.
이어서, 본 실시형태에 따른 참조 화소수 결정부(172B)의 구성에 관해서 설명한다. 도 9에 도시하는 것과 같이, 참조 화소수 결정부(172B)는 참조 화소 결정부(172a)와 거리 산출부(172b)와 역치 설정부(172c)와 비교 결정부(172d)를 구비한다.
참조 화소 결정부(172a), 거리 산출부(172b) 및 역치 설정부(172c) 각각은 제1 실시형태 또는 그 변경예와 같은 식의 동작을 행한다.
비교 결정부(172d)는, 거리 산출부(172b)에 의해 산출된 거리를, 역치 설정부(172c)에 의해 설정된 역치와 비교함으로써, 대상 화소에 대응하는 예측 대상 화소수를 결정하고, 결정한 예측 대상 화소수를 예측 화소 생성부(173)에 출력한다. 예컨대 비교 결정부(172d)는, 거리가 역치 이하인 대상 화소에 대하여 예측 대상 화소수 A를 결정하고, 거리가 역치를 넘는 대상 화소에 대하여 예측 대상 화소수 B를 결정한다. 예측 화소수 A는 예측 화소수 B보다도 적은 수이다. 예컨대 예측 대상 화소수 A는 「4」이고, 예측 대상 화소수 A는 「5」 또는 「6」이다.
(2.2. 인트라 예측부의 동작 흐름)
도 10은 본 실시형태에 따른 화상 부호화 장치(1)의 인트라 예측부(170)의 동작 흐름의 예를 도시하는 도면이다.
도 10에 도시하는 것과 같이, 단계 S201에 있어서, 예측 모드 선택부(171)는 대상 블록에 적용하는 인트라 예측 모드를 선택한다.
단계 S202에 있어서, 참조 화소 결정부(172a)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 대상 블록 내의 화소 위치마다, 거리의 산출에 이용하는 참조 화소를 결정한다.
단계 S203에 있어서, 거리 산출부(172b)는, 참조 화소 결정부(172a)에 의해 결정된 참조 화소의 위치와 대상 화소의 위치 사이의 거리를 산출한다.
단계 S204에 있어서, 역치 설정부(172c)는, 예측 모드 선택부(171)에 의해 선택된 인트라 예측 모드에 따라서, 거리와 비교해야 할 역치를 설정한다.
단계 S205에 있어서, 비교 결정부(172d)는, 거리 산출부(172b)에 의해 산출된 거리를, 역치 설정부(172c)에 의해 설정된 역치와 비교한다.
단계 S206에 있어서, 비교 결정부(172d)는, 거리와 역치의 비교 결과에 따라서, 대상 화소에 대응하는 예측 참조 화소의 수(필터의 탭수)를 결정한다.
단계 S207에 있어서, 예측 화소 생성부(173)는, 필터 결정부(172A)에 의해 결정된 수의 예측 참조 화소로부터 예측 화소를 생성한다.
대상 블록 내의 전체 예측 화소의 생성이 종료된 경우(단계 S208: YES), 인트라 예측부(170)(예측 화소 생성부(173))는 대상 블록에 대응하는 인트라 예측 화상을 출력한다.
한편, 대상 블록 내의 전체 예측 화소의 생성이 아직 종료되지 않은 경우(단계 S208: NO), 대상 블록 내의 다음 예측 대상 화소로 처리를 옮기고(단계 S209), 다음 예측 대상 화소에 관해서, 거리의 산출(단계 S203), 거리와 역치의 비교(단계 S205), 필터의 결정(단계 S206) 및 예측 화소의 생성(단계 S206)을 행한다.
(2.3. 제2 실시형태의 변경예)
상술한 제2 실시형태에서는, 참조 화소수 결정부(172B)가, 인트라 예측의 대상으로 하는 대상 블록 내의 화소 위치마다, 참조 화소와의 거리에 따라서 예측 참조 화소의 수를 결정하고 있었다.
이에 대하여, 본 변경예에서는, 참조 화소수 결정부(172B)는, 인트라 예측의 대상으로 하는 대상 블록에 대응하는 예측 참조 화소의 수를 결정할 때에, 대상 블록의 블록 사이즈에 따라서 예측 참조 화소의 수를 결정한다. 예컨대 블록 사이즈가 작은 경우에는 예측 참조 화소의 수를 적게 하고, 블록 사이즈가 큰 경우에는 예측 참조 화소의 수를 늘림으로써 적절한 필터 특성을 얻을 수 있다.
또한, 블록 사이즈란, 대상 블록의 세로 방향의 길이×가로 방향의 길이를 정의하여도 좋고, 세로 방향의 길이 또는 가로 방향의 길이 중 한쪽을 정의하여도 좋고, 인트라 예측 방향에 의해서 세로 방향의 길이 또는 가로 방향의 길이 중 어느 것을 사용하는지를 전환하여도 좋다. 인트라 예측 방향에 의해서 세로 방향의 길이 또는 가로 방향의 길이 중 어느 것을 사용하는지를 전환하는 경우, 참조 화소수 결정부(172B)는, 예컨대 인트라 예측 모드가 「2」∼「34」일 때는 가로 방향의 길이를 블록 사이즈로서 이용하고, 인트라 예측 모드가 「35」∼「66」일 때는 세로 방향의 길이를 블록 사이즈로서 이용한다.
도 11은 본 변경예에 따른 화상 부호화 장치(1)의 인트라 예측부(170)의 동작 흐름의 예를 도시하는 도면이다.
도 11에 도시하는 것과 같이, 단계 S301에 있어서, 예측 모드 선택부(171)는 대상 블록에 적용하는 인트라 예측 모드를 선택한다.
단계 S302에 있어서, 참조 화소수 결정부(172B)는 대상 블록의 블록 사이즈를 취득한다.
단계 S303에 있어서, 참조 화소수 결정부(172B)는, 대상 블록의 블록 사이즈에 따라서, 예측 참조 화소의 수(필터의 탭수)를 결정한다. 예컨대 참조 화소수 결정부(172B)는, 대상 블록의 블록 사이즈를 역치와 비교하여, 블록 사이즈가 역치 이하인 경우에는 예측 대상 화소수 A를 결정하고, 블록 사이즈가 역치를 넘는 경우에는 예측 대상 화소수 B를 결정한다.
단계 S304에 있어서, 예측 화소 생성부(173)는, 필터 결정부(172A)에 의해 결정된 수의 예측 참조 화소로부터 예측 화소를 생성한다.
대상 블록 내의 전체 예측 화소의 생성이 종료된 경우(단계 S305: YES), 인트라 예측부(170)(예측 화소 생성부(173))는 대상 블록에 대응하는 인트라 예측 화상을 출력한다.
한편, 대상 블록 내의 전체 예측 화소의 생성이 아직 종료되지 않은 경우(단계 S308: NO), 대상 블록 내의 다음 예측 대상 화소로 처리를 옮기고(단계 S309), 다음 예측 대상 화소에 관해서 예측 화소의 생성(단계 S304)을 행한다.
<3. 그 밖의 실시형태>
상술한 제1 실시형태 및 제2 실시형태에서 전사에 관해서 특별히 언급하지 않았다. 인트라 예측 모드가 「34」 이하인 경우에는 대상 블록의 상측 참조 화소를 좌측에 전사하고, 인트라 예측 모드가 「34」보다도 큰 경우에는 대상 블록의 좌측 참조 화소를 상측에 전사하여도 좋다. 이러한 전사에 의해 참조 화소를 수직 방향 또는 수평 방향으로 직선형으로 늘어놓을 수 있기 때문에, 필터 처리를 획일적으로 행할 수 있다. 이러한 전사를 행하는 경우에, 참조 화소 결정부(172a)는 상술한 거리의 산출에 전사 후의 참조 화소를 이용하여도 좋다.
화상 부호화 장치(1)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램 및 화상 복호 장치(2)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 프로그램은 컴퓨터 판독 가능한 매체에 기록되어 있어도 좋다. 컴퓨터 판독 가능한 매체를 이용하면, 컴퓨터에 프로그램을 인스톨할 수 있다. 여기서, 프로그램이 기록된 컴퓨터 판독한 가능 매체는, 비일과성(非一過性)의 기록 매체라도 좋다. 비일과성의 기록 매체는, 특별히 한정되는 것은 아니지만, 예컨대 CD-ROM이나 DVD-ROM 등의 기록 매체라도 좋다. 또한, 화상 부호화 장치(1)가 행하는 각 처리를 실행하는 회로를 집적화하여, 화상 부호화 장치(1)를 반도체 집적 회로(칩 세트, SoC)로서 구성하여도 좋다. 마찬가지로, 화상 복호 장치(2)가 행하는 각 처리를 실행하는 회로를 집적화하여, 화상 복호 장치(2)를 반도체 집적 회로(칩 세트, SoC)로서 구성하여도 좋다.
이상 도면을 참조하여 실시형태에 관해서 자세히 설명했지만, 구체적인 구성은 상술한 것에 한정되지 않으며, 요지를 일탈하지 않는 범위 내에서 다양한 설계 변경 등을 할 수 있다.
또한, 일본 특허출원 제2018-65780호(2018년 3월 29일 출원)의 전체 내용이 참조에 의해 본원 명세서에 들어가 있다.

Claims (10)

  1. 동화상을 구성하는 프레임 단위의 화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행하는 인트라 예측 장치로서,
    상기 인트라 예측의 대상으로 하는 하나의 대상 블록 내의 화소 위치마다, 예측 화소의 생성에 이용하는 필터를 복수 종류의 필터 중에서 결정하는 필터 결정부와,
    상기 필터 결정부에 의해 결정된 상기 필터를 이용하여, 상기 하나의 대상 블록 주변의 참조 화소로부터 상기 예측 화소를 생성하는 예측 화소 생성부를 구비하고,
    상기 필터 결정부는, 상기 하나의 대상 블록 내의 하나의 화소 위치에 대응하는 상기 필터를 결정할 때에, 상기 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 상기 필터를 결정하는 인트라 예측 장치.
  2. 제1항에 있어서, 상기 하나의 대상 블록에 적용하는 인트라 예측 모드를 선택하는 예측 모드 선택부를 더 구비하고,
    상기 필터 결정부는,
    상기 하나의 화소 위치에 가장 가까운 참조 화소를 결정하는 참조 화소 결정부와,
    상기 참조 화소 결정부에 의해 결정된 상기 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리를 산출하는 거리 산출부를 구비하고,
    상기 참조 화소 결정부는, 상기 예측 모드 선택부에 의해 선택된 상기 인트라 예측 모드에 따라서, 상기 하나의 화소 위치에 가장 가까운 참조 화소로서, 상기 하나의 대상 블록의 상측의 참조 화소 및 좌측의 참조 화소 중 어느 것을 이용할지 결정하는 인트라 예측 장치.
  3. 제2항에 있어서, 상기 필터 결정부는,
    상기 거리와 비교해야 할 하나 또는 복수의 역치를 설정하는 역치 설정부와,
    상기 거리 산출부에 의해 산출된 상기 거리를, 상기 역치 설정부에 의해 설정된 상기 하나 또는 복수의 역치와 비교함으로써, 상기 하나의 화소 위치에 대응하는 상기 필터를 결정하는 비교 결정부를 더 구비하고,
    상기 역치 설정부는, 상기 예측 모드 선택부에 의해 선택된 상기 인트라 예측 모드에 따라서 상기 하나 또는 복수의 역치를 설정하는 인트라 예측 장치.
  4. 제2항 또는 제3항에 있어서, 상기 예측 화소 생성부는, 상기 하나의 대상 블록 주변의 참조 화소 중, 상기 예측 모드 선택부에 의해 선택된 상기 인트라 예측 모드에 따라서 정해지는 복수의 예측 참조 화소에 대하여 상기 필터를 적용함으로써 상기 예측 화소를 생성하고,
    상기 참조 화소 결정부는, 상기 복수의 예측 참조 화소로 이루어지는 참조 화소열과, 상기 하나의 화소 위치에서 상기 인트라 예측 모드의 예측 방향으로 연장시킨 선분과의 교점에 대응하는 참조 화소를 결정하고,
    상기 거리 산출부는, 상기 참조 화소 결정부에 의해 결정된 상기 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리를 산출하는 인트라 예측 장치.
  5. 동화상을 구성하는 프레임 단위의 화상을 분할하여 얻어진 각 블록에 대한 인트라 예측을 행하는 인트라 예측 장치로서,
    예측 화소의 생성에 이용하는 예측 참조 화소의 수를 결정하는 참조 화소수 결정부와,
    상기 인트라 예측의 대상으로 하는 블록 주변의 참조 화소 중에서, 상기 참조 화소수 결정부에 의해 결정된 수의 예측 참조 화소에 대하여 필터를 적용함으로써 상기 예측 화소를 생성하는 예측 화소 생성부를 구비하고,
    상기 참조 화소수 결정부는, 상기 인트라 예측의 대상으로 하는 블록마다, 또는 상기 인트라 예측의 대상으로 하는 블록 내의 화소 위치마다, 상기 예측 참조 화소의 수를 결정하는 인트라 예측 장치.
  6. 제5항에 있어서, 상기 참조 화소수 결정부는, 상기 인트라 예측의 대상으로 하는 블록 내의 하나의 화소 위치에 대응하는 상기 예측 참조 화소의 수를 결정할 때에, 상기 하나의 화소 위치에 가장 가까운 참조 화소의 위치와 상기 하나의 화소 위치 사이의 거리에 따라서 상기 예측 참조 화소의 수를 결정하는 인트라 예측 장치.
  7. 제5항에 있어서, 상기 참조 화소수 결정부는, 상기 인트라 예측의 대상으로 하는 하나의 블록에 대응하는 상기 예측 참조 화소의 수를 결정할 때에, 상기 하나의 블록의 블록 사이즈에 따라서 상기 예측 참조 화소의 수를 결정하는 인트라 예측 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 기재한 인트라 예측 장치를 구비하는 화상 부호화 장치.
  9. 제1항 내지 제7항 중 어느 한 항에 기재한 인트라 예측 장치를 구비하는 화상 복호 장치.
  10. 컴퓨터를, 제1항 내지 제7항 중 어느 한 항에 기재한 인트라 예측 장치로서 기능하게 하는 프로그램.
KR1020207030322A 2018-03-30 2019-03-29 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램 KR20200128577A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-066716 2018-03-30
JP2018066716 2018-03-30
PCT/JP2019/014366 WO2019189904A1 (ja) 2018-03-30 2019-03-29 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Publications (1)

Publication Number Publication Date
KR20200128577A true KR20200128577A (ko) 2020-11-13

Family

ID=68058205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030322A KR20200128577A (ko) 2018-03-30 2019-03-29 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램

Country Status (6)

Country Link
US (1) US20210014489A1 (ko)
EP (1) EP3780603A4 (ko)
JP (2) JPWO2019189904A1 (ko)
KR (1) KR20200128577A (ko)
CN (1) CN112075080A (ko)
WO (1) WO2019189904A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508422A (zh) * 2019-03-08 2021-10-15 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
CN113691810B (zh) * 2021-07-26 2022-10-04 浙江大华技术股份有限公司 帧内帧间联合预测方法、编解码方法及相关设备、存储介质
MX2024009961A (es) * 2022-03-03 2024-08-26 Panasonic Ip Corp America Metodo de decodificacion, metodo de codificacion, dispositivo de decodificacion y dispositivo de codificacion.

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2631336A1 (en) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba Image encoding/image decoding method, image encoding/image decoding apparatus
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
KR101643121B1 (ko) * 2011-01-12 2016-07-26 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
JP2013090120A (ja) * 2011-10-18 2013-05-13 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017142327A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 인트라 예측오차의 감소를 위한 인트라 예측 방법 및 그 장치
JP6913538B2 (ja) 2016-06-30 2021-08-04 花王株式会社 皮膚化粧料
AU2018276649B2 (en) * 2017-05-31 2020-12-24 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: Recommendation ITU-T H.265,(12/2016), "High efficiency video coding", International Telecommunication Union

Also Published As

Publication number Publication date
WO2019189904A1 (ja) 2019-10-03
CN112075080A (zh) 2020-12-11
JPWO2019189904A1 (ja) 2021-02-12
JP2022000953A (ja) 2022-01-04
EP3780603A4 (en) 2022-07-06
EP3780603A1 (en) 2021-02-17
US20210014489A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7051773B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
CN112567743B (zh) 图像编码装置、图像解码装置及程序
KR20140064972A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
KR20200128577A (ko) 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2024144780A (ja) 予測装置、画像符号化装置、画像復号装置、及びプログラム
CN114097224B (zh) 帧内预测装置、图像解码装置及程序
KR102639970B1 (ko) 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP2023138826A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
CN113056918B (zh) 图像编码装置、图像解码装置及程序
WO2019077751A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP7229682B2 (ja) ループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラム
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7531683B2 (ja) 符号化装置、復号装置、及びプログラム
JP7340658B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP7483422B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP7361498B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2024051178A (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
JP6497100B2 (ja) 映像符号化装置、方法及びプログラム
JP2006237765A (ja) 画像符号化装置
JP6323185B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR20140124446A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination