Nothing Special   »   [go: up one dir, main page]

JP7145793B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP7145793B2
JP7145793B2 JP2019043971A JP2019043971A JP7145793B2 JP 7145793 B2 JP7145793 B2 JP 7145793B2 JP 2019043971 A JP2019043971 A JP 2019043971A JP 2019043971 A JP2019043971 A JP 2019043971A JP 7145793 B2 JP7145793 B2 JP 7145793B2
Authority
JP
Japan
Prior art keywords
block
prediction
intra
sub
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019043971A
Other languages
English (en)
Other versions
JP2020150314A (ja
Inventor
恭平 海野
佳隆 木谷
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019043971A priority Critical patent/JP7145793B2/ja
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to US17/437,747 priority patent/US11962801B2/en
Priority to EP20769342.5A priority patent/EP3941043A4/en
Priority to PCT/JP2020/008773 priority patent/WO2020184263A1/ja
Priority to CN202080019709.XA priority patent/CN113545043B/zh
Publication of JP2020150314A publication Critical patent/JP2020150314A/ja
Priority to JP2022148628A priority patent/JP7381681B2/ja
Application granted granted Critical
Publication of JP7145793B2 publication Critical patent/JP7145793B2/ja
Priority to JP2023188459A priority patent/JP2023181491A/ja
Priority to US18/609,408 priority patent/US20240223806A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。
従来、ブロックをサブブロックに分割し、サブブロックごとにイントラ予測を順次実行する「Ｉｎｔｒａ Ｓｕｂ-Ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）」 という技術が知られている（例えば、非特許文献１及び非特許文献２参照）。
特開２０１８-０３７９３６号公報
Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ４）、ＪＶＥＴ-Ｍ１００１ ＣＥ３：Ｉｎｔｒａ Ｓｕｂ-Ｐａｒｔｉｔｉｏｎｓ Ｃｏｄｉｎｇ Ｍｏｄｅ（Ｔｅｓｔｓ １.１.１ ａｎｄ １.１.２）、ＪＶＥＴ-Ｍ０１０２ Ｊｉａｎｇ Ｊｉｅ、Ｇｕｏ Ｂａｌｏｎｇ、Ｍｏ Ｗｅｉ、Ｆａｎ Ｋｅｆｅｎｇ共著、Ｂｌｏｃｋ-Ｂａｓｅｄ Ｐａｒａｌｌｅｌ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｓｃｈｅｍｅ ｆｏｒ ＨＥＶＣ、Ｊｏｕｒｎａｌ ｏｆ Ｍｕｌｔｉｍｅｄｉａ、Ｖｏｌ.７、Ｎｏ.４、２０１２年８月
しかしながら、従来のＩＳＰでは、あるサブブロックのイントラ予測を行う際に、同一ブロック内の直前に処理したサブブロックの復号画像を参照する。よって、各サブブロックの処理は、直列に実行する必要がある。特に、ハードウェアで実装した際に、かかる処理が処理速度のボトルネックとなる可能性があるという問題点があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、ＩＳＰを適用するブロックであっても、各サブブロックの処理を並列に実行することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、画像復号装置であって、イントラ予測による予測信号を生成する予測信号生成部を備え、前記予測信号生成部は、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記ブロックに隣接する復号済みブロックの画素を参照することを要旨とする。
本発明の第２の特徴は、画像復号装置であって、イントラ予測による予測信号を生成する予測信号生成部を備え、前記予測信号生成部は、イントラサブ分割を適用するブロックにおいて、分割後のサブブロックのサイズが、分割をしない場合の前記ブロックの最小サイズ以上になる場合にのみ、前記ブロックの分割を行うことを要旨とする。
本発明の第３の特徴は、画像復号装置であって、イントラ予測に関する情報を復号するイントラ予測モード復号部を備え、前記イントラ予測モード復号部は、イントラサブ分割を適用するブロックの形状に応じて、前記イントラサブ分割の分割方向の復号を省略することを要旨とする。
本発明の第４の特徴は、画像復号装置であって、前記イントラサブ分割を適用するブロックにおいて、分割後のサブブロックの形状を考慮してＭＰＭリストを構築し、前記ＭＰＭリストを用いてイントラ予測モードを復号するイントラ予測モード復号部を備えることを要旨とする。
本発明の第５の特徴は、画像復号装置であって、イントラサブ分割を適用するブロックにおいて、分割前のブロックの形状を考慮してＭＰＭリストを構築し、前記ＭＰＭリストを用いてイントラ予測モードを復号するイントラ予測モード復号部を備えることを要旨とする。
本発明の第６の特徴は、画像復号方法であって、イントラ予測による予測信号を生成する工程を有し、前記工程において、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記ブロックに隣接する復号済みブロックの画素を参照することを要旨とする。
本発明の第７の特徴は、画像復号装置で用いるプログラムであって、コンピュータに、イントラ予測による予測信号を生成する工程を実行させ、前記工程において、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記ブロックに隣接する復号済みブロックの画素を参照することを要旨とする。
本発明によれば、ＩＳＰを適用するブロックであっても、各サブブロックの処理を並列に実行することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
一実施形態に係る画像処理システム１０の構成の一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のイントラ予測部２４２の機能ブロックの一例について示す図である。 一実施形態に係る画像復号装置２００のイントラ予測部２４２のイントラ予測モード復号部２４２Ｂの処理手順の一例を示すフローチャートである。 一実施形態において用いられるサブブロックへの分割方法の一例について示す図である。 一実施形態において用いられるＩＳＰにおける分割方向及び分割数の決定手順の一例を示すフローチャートである。 一実施形態において用いられるＩＳＰにおける分割方向及び分割数の決定手順の一例を示すフローチャートである。 一実施形態において用いられるＭＰＭリストの構築方法の一例を示すフローチャートである。 一実施形態において用いられるＭＰＭリストの構築方法の一例を示すフローチャートである。 一実施形態においてＩＳＰにおける垂直４分割が適用された場合のイントラ予測時の参照画素の配置を示す。 一実施形態においてＩＳＰにおける垂直４分割が適用された場合のイントラ予測時の参照画素の配置の一例を示す。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のイントラ予測部１１２の機能ブロックの一例について示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
以下、図１～図１３を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る画像処理システム１０を示す図である。
図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。
画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。
ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
（画像復号装置２００）
以下、図２を参照して、本実施形態に係る画像復号装置２００について説明する。図２は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。
図２に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。
復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
ここで、例えば、復号は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化されたデータの復号である。
復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズや、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズや、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。
逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。
ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。
インター予測部２４１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。
イントラ予測部２４２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。
インループフィルタ処理部２５０は、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。
ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック、あるいはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
フレームバッファ２６０は、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。
ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
（イントラ予測部２４２）
以下、図３を参照して、本実施形態に係るイントラ予測部２４２について説明する。図３は、本実施形態に係る画像復号装置２００のイントラ予測部２４２の機能ブロックの一例について示す図である。
図３に示すように、イントラ予測部２４２は、イントラ予測モード復号部２４２Ｂと、予測信号生成部２４２Ｃとを有する。
イントラ予測部２４２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている予測部の一例である。
イントラ予測モード復号部２４２Ｂは、ブロックごとにイントラ予測を行うために必要な情報を復号する。
図４は、イントラ予測モード復号部２４２Ｂの処理手順の一例を示すフローチャートである。以下、かかるフローチャートを用いて、イントラ予測モード復号部２４２Ｂの処理手順の一例について説明する。
図４に示すように、ステップＳ４１において、イントラ予測モード復号部２４２Ｂは、イントラ予測を行う場合に参照する画素位置に関する情報（ｒｅｆ_ｉｄｘ）を復号する。「ｒｅｆ_ｉｄｘ」が取り得る値は、「０」、「１」、「２」のいずれかである。
「ｒｅｆ_ｉｄｘ＝０」である場合、イントラ予測モード復号部２４２Ｂは、現在処理しているブロック（以下、処理対象ブロック）に隣接する復号済みブロックの画素のうち、処理対象ブロックとのブロック境界に位置する画素値を参照してイントラ予測を行う。
「ｒｅｆ_ｉｄｘ＝１」である場合、イントラ予測モード復号部２４２Ｂは、上述のブロック境界に位置する画素から、１行又は１列離れた画素を参照してイントラ予測を行う。
「ｒｅｆ_ｉｄｘ＝２」である場合、イントラ予測モード復号部２４２Ｂは、上述のブロック境界に位置する画素から、３行又は３列離れた画素を参照してイントラ予測を行う。
ステップＳ４２において、イントラ予測モード復号部２４２Ｂは、所定条件１を満足しているかどうかを判定する。
ここで、所定条件１は、「ｒｅｆ_ｉｄｘ」の値が「０」であることという条件を含んでもよい。また、所定条件１は、処理対象ブロックのサイズ（ブロック内に含まれる画素数）が予め定めた画素数以上であることという条件を含んでもよい。かかる画素数は、例えば、３２画素と設定することができる。また、所定条件１は、処理対象ブロックの垂直方向のサイズ（画素数）が８画素以上であることという条件を含んでもよい。さらに、所定条件１は、処理対象ブロックの水平方向のサイズが８画素以上であることという条件を含んでもよい。
所定条件１が満たされている場合は、本処理は、ステップＳ４３へ進み、所定条件１が満たされていない場合は、本処理は、ステップＳ４６へ進む。
ステップＳ４３において、イントラ予測モード復号部２４２Ｂは、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」を復号する。
イントラ予測モード復号部２４２Ｂは、「ＩＳＰ ｍｏｄｅ ｆｌａｇ＝０」である場合、処理対象ブロックにＩＳＰを適用せず、「ＩＳＰ ｍｏｄｅ ｆｌａｇ＝１」である場合、処理対象ブロックにＩＳＰを適用する。
ステップＳ４４において、イントラ予測モード復号部２４２Ｂは、所定条件２を満足しているかどうかを判定する。所定条件２が満たされている場合は、本処理は、ステップＳ４５へ進み、所定条件２が満たされていない場合は、本処理は、ステップＳ４６へ進む。
ここで、所定条件２は、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」の値が「１」であることという条件を含んでもよい。さらに、所定条件２は、処理対象ブロックの形状が横長或いは縦長でないことという条件を含んでもよい。
なお、「横長」というのは、例えば、処理対象ブロックの水平方向のサイズ（画素数）が垂直方向のサイズ（画素数）の２倍以上であることと定義することができる。同様に、「縦長」というのは、例えば、処理対象ブロックの垂直方向のサイズが水平方向のサイズの２倍以上であることと定義することができる。
また、例えば、「横長」は、処理対象ブロックの水平方向のサイズが垂直方向のサイズより大きいことと定義し、「縦長」は、処理対象ブロックの垂直方向のサイズが水平方向のサイズより大きいことと定義することもできる。
所定条件２が、上述の条件を含む場合、イントラ予測モード復号部２４２Ｂは、横長或いは縦長であると判定されたブロックについては、ステップＳ４５における「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ」の復号を省略する。かかる場合、イントラ予測モード復号部２４２Ｂは、横長のブロックについては水平分割であり、縦長のブロックについては垂直分割であるというように、ブロック形状に応じて、ＩＳＰの分割方向を決定することができる。
ステップＳ４５において、イントラ予測モード復号部２４２Ｂは、「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ」を復号する。
ここで、「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ＝０」である場合、ＩＳＰにおける分割方向が水平方向であること（すなわち、水平分割）を示し、「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ＝１」である場合、ＩＳＰにおける分割方向が垂直方向であること（すなわち、垂直分割）を示す。
ＩＳＰは、処理対象ブロックを複数のサブブロックに分割して、サブブロックごとにイントラ予測及び復号画像の生成を行う技術である。
図５に、かかる分割方法の一例について示す。図５に示すように、本実施形態では、水平分割の場合、水平方向の画素数が分割前と同じで、垂直方向の画素数が分割前の１/２又は１/４となるようなサブブロックに分割される（水平２分割又は水平４分割）。同様に、垂直分割の場合、垂直方向の画素数が分割前と同じで、水平方向の画素数が分割前の１/２又は１/４となるようなサブブロックに分割される（垂直２分割又は垂直４分割）。
ここで、図６を参照して、本実施形態で用いられるＩＳＰにおける分割方向及び分割数の決定手順について説明する。図６は、本実施形態で用いられるＩＳＰにおける分割方向及び分割数の決定手順の一例を示すフローチャートである。
図６に示すように、ステップＳ６１において、ステップＳ４５で復号した「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ」に基づいて、垂直分割の場合は、本手順は、ステップＳ６２に進み、水平分割の場合は、本手順は、ステップＳ６３に進む。
ステップＳ６２において、処理対象ブロックのブロックサイズを判定する。ここで、例えば、ブロックサイズは、ブロック内の画素数と定義できる。
所定条件１に処理対象ブロックのサイズが３２画素以上であるという条件が含まれている場合、ステップＳ６２において、例えば、ブロックサイズが３２画素の場合は「垂直２分割」であり、ブロックサイズが３２画素より大きい場合は「垂直４分割」であるというように、ＩＳＰにおける分割数を決定することができる。
同様に、ステップＳ６３において、例えば、ブロックサイズが３２画素の場合は「水平２分割」であり、ブロックサイズが３２画素より大きい場合は「水平４分割」であるというように、ＩＳＰにおける分割数を決定することができる。
また、図７に示す手順で、ＩＳＰにおける分割方向及び分割数を決定することもできる。なお、図７は、所定条件１に処理対象ブロックの垂直方向のサイズが８画素以上であることという条件及び処理対象ブロックの水平方向のサイズが８画素以上であることという条件の両方を含んだ場合の決定手順の一例である。
図７に示すように、ステップS７１において、ステップＳ６１と同様に、垂直分割の場合は、本手順は、ステップＳ７２に進み、水平分割の場合は、本手順は、ステップＳ７３に進む。
ステップＳ７２において、処理対象ブロックの水平方向のサイズが８画素である場合は「垂直２分割」であり、処理対象ブロックの水平方向のサイズが８画素より大きい場合は「垂直４分割」であるというように、ＩＳＰにおける分割数を決定することができる。
ここで、ブロックの水平方向及び垂直方向のサイズとして２のべき乗の画素数のサイズのみを定義している場合、上述のサイズが８画素より大きい場合というのは、かかるサイズが１６画素以上である場合と等価になる。
同様に、ステップＳ７３において、処理対象ブロックの垂直方向のサイズが８画素である場合は「水平２分割」であり、処理対象ブロックの垂直方向のサイズが８画素より大きい場合は「水平４分割」であるというように、ＩＳＰにおける分割数を決定することができる。
図７に示す手順を採用することで、分割後のサブブロックの水平方向及び垂直方向のサイズが必ず４画素以上になるように分割することができる。また、ＩＳＰを使わない場合の水平方向及び垂直方向のサイズの最小値を４画素とすると、上述のような処理とすることでサブブロックのサイズが、ＩＳＰを使わない場合の最小サイズ（分割しない場合のブロックの最小サイズ）以上となることが保証される。この結果、ＩＳＰを用いた場合の処理の複雑度を、ＩＳＰを用いない場合の処理の複雑度以下に抑えることができる。
なお、図７に示す手順は、あくまで一例であり、分割後のサブブロックのサイズが、分割しない場合の最小サイズ以上に必ずなるような分割方法になっていれば、同様の効果を得ることができる。
上述のように、イントラ予測モード復号部２４２Ｂが、ＩＳＰの分割方向を示す「ＩＳＰ ｓｐｌｉｔ ｆｌａｇ」を復号した後、本処理は、ステップＳ４６に進む。
ステップＳ４６において、イントラ予測モード復号部２４２Ｂは、所定条件３を満足するかどうかを判定する。
ここで、所定条件３には、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」の値が「０」であることという条件を含んでもよい。なお、イントラ予測モード復号部２４２Ｂは、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」を復号しない場合、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」の値が「０」であるとみなすことができる。
なお、所定条件３が満たされている場合、本処理は、ステップＳ４７に進み、所定条件３が満たされない場合、本処理は、はステップＳ４８に進む。
ステップＳ４７において、イントラ予測モード復号部２４２Ｂは、「ＭＰＭ ｆｌａｇ」を復号する。
ここで、「ＭＰＭ ｆｌａｇ＝１」である場合、処理対象ブロックのイントラ予測モードが、後述するＭＰＭリスト内に存在する予測モードのいずれかであることを意味する。
一方、「ＭＰＭ ｆｌａｇ＝０」である場合、ＭＰＭリスト内に存在しない予測モードを処理対象ブロックに適用することを意味する。
なお、「ＭＰＭ ｆｌａｇ」が復号されなかった場合、すなわち、所定条件３が満たされなかった場合は、例えば、イントラ予測モード復号部２４２Ｂは、「ＭＰＭ ｆｌａｇ」の値が「１」であるとみなすことができる。
ステップＳ４８において、イントラ予測モード復号部２４２Ｂは、これまで復号した情報を元に、イントラ予測モードを復号する。イントラ予測モードには、例えば、非特許文献１に記載のように、ＤＣモードやＰｌａｎａｒモードや方向性予測モード等がある。
イントラ予測モード復号部２４２Ｂは、イントラ予測モードを復号するには、初めにＭＰＭリストを作成する。ＭＰＭリストの作成方法は、非特許文献１で開示されているような公知の方法を用いることができる。また、ＭＰＭリストの作成方法は、上述の「ＩＳＰ ｍｏｄｅ ｆｌａｇ」の値によって作成方法を切り替えても良い。
図８は、「ＩＳＰ ｍｏｄｅ ｆｌａｇ」の値が「１」である場合のＭＰＭリストの作成方法の一例を示すフローチャートである。図８に示すように、予め分割方向に対応したデフォルトモードを定義しておく。
次に、イントラ予測モード復号部２４２Ｂは、処理対象ブロックに隣接する復号済みブロックＡ及びＢの２つのブロックで使用されたイントラ予測モードを用いて、ＭＰＭリストを構築する。
ここで、復号済みブロックＡは、処理対象ブロックの上側の隣接ブロック、復号済みブロックＢは、処理対象ブロックの左側の隣接ブロックである。厳密な復号済みブロックＡ及びＢの決定方法については、非特許文献１に記載の方法を用いることができる。
図８は、復号済みブロックＡ及びＢで使用されていたイントラ予測モードが、いずれも方向性予測で且つ予測方向が異なっていた場合のＭＰＭリストの構築手順の一例である。
復号済みブロックＡで使用されていた予測方向の方が、復号済みブロックＡＢで使用されていた予測方向よりもデフォルトモードとの角度の差が小さい場合、イントラ予測モード復号部２４２Ｂは、ＭＰＭリストの０番目に復号済みブロックＡで使用されていた予測モードを設定し、ＭＰＭリストの１番目に復号済みブロックＢで使用されていた予測モードを設定する。
以降、イントラ予測モード復号部２４２Ｂは、ＭＰＭリストの２番目及び３番目には、復号済みブロックＡの予測モードとわずかに角度が異なる予測モードを設定し、ＭＰＭリストの４番目及び５番目には、復号済みブロックＢの予測モードとわずかに角度が異なる予測モードを設定する。
ここで、図８におけるＡやＢは、予測方向の角度に対応した数値で定義されており、数値が大きくなるほど角度が大きくなり、数値が小さくなるほど角度が小さくなる。
同様に、復号済みブロックＢで使用されていた予測方向の方が、復号済みブロックＡで使用されていた予測方向よりデフォルトモードとの角度の差が小さい場合、イントラ予測モード復号部２４２Ｂは、ＭＰＭリストの０番目に、復号済みブロックＢで使用されていた予測モードを設定し、ＭＰＭリストの１番目に、復号済みブロックＡで使用されていた予測モードを設定する。
以降、イントラ予測モード復号部２４２Ｂは、ＭＰＭリストの２番目及び３番目には、復号済みブロックＢの予測モードとわずかに角度が異なる予測モードを設定し、ＭＰＭリストの４番目及び５番目には、復号済みブロックＡの予測モードとわずかに角度が異なる予測モードを設定する。
ＭＰＭリストのインデックス（Ｉｄｘ）の値が小さい予測モードの方が少ない符号量で符号化できるように符号語が割り当てられている場合、このようにデフォルトモードと角度の差が小さいモードのインデックスが小さくなるように設定することで、分割方向に適した予測方向の予測モードをより少ない符号量で表現できるため、符号化効率が向上する。
なお、ここで説明したＭＰＭリストの構築方法は、あくまで一例である。分割方向を考慮して、より適切と考えられるモードのインデックスが小さくなるようなＭＰＭリストの構築方法であれば、同様の効果を得ることができる。
図８の例では、デフォルトモードの設定について、ＩＳＰの分割方法によって定義したが、図９に例を示すように、分割後のサブブロックの形状を元に定義することもできる。
図９に示すように、分割後のサブブロックの形状が、横長、縦長及びそれ以外のいずれなのかによって、デフォルトモードを定義し、デフォルトモードによって、ＭＰＭリストの構築方法を切り替えることができる。
ここで、横長は、例えば、処理対象ブロックの水平方向のサイズ（画素数）が垂直方向のサイズ（画素数）の２倍以上であることと定義することができる。同様に、縦長は、例えば、処理対象ブロックの垂直方向のサイズが水平方向のサイズの２倍以上であることと定義することができる。また、例えば、横長は、処理対象ブロックの水平方向のサイズが垂直方向のサイズより大きいことと定義し、縦長は、処理対象ブロックの垂直方向のサイズが水平方向のサイズより大きいことと定義することもできる。
この時、水平方向及び垂直方向のサイズが等しい場合を縦長か横長のどちらかに含めることで、デフォルトモードの定義を図７の例と同様に２パターンにすることもできる。
また、図９では、分割後のブロック形状に基づいてデフォルトモードを定義したが、分割前のブロック形状を用いてデフォルトモードを定義した場合であっても、同様の処理が可能である。
上述のように、イントラ予測モード復号部２４２Ｂが「ＭＰＭ ｆｌａｇ」を復号した後、本処理は、ステップＳ４８に進む。
ステップＳ４８において、「ＭＰＭ ｆｌａｇ＝１」である場合は、イントラ予測モード復号部２４２Ｂは、処理対象ブロックで使用する予測モードのインデックスを復号し、上述のように、構築したＭＰＭリストの中で復号したインデックスに対応する予測モードを、処理対象ブロックの予測モードに決定する。
一方、ステップＳ４８において、「ＭＰＭ ｆｌａｇ＝０」である場合は、イントラ予測モード復号部２４２Ｂは、上述のＭＰＭリストに含まれていない予測モードのうち、どの予測モードを用いるかという情報を復号し、復号した予測モードを、処理対象ブロックの予測モードに決定する。
以上の手順で、処理対象ブロックで用いる予測モードを復号することができたため、本処理は、ステップＳ４９に進み終了する。
図３に示す予測信号生成部２４２Ｃは、イントラ予測モード復号部２４２Ｂで復号された処理対象ブロックの予測モードに基づいて、予測信号を生成するように構成されている。ここで、予測信号の生成方法は、例えば、非特許文献１に記載の公知の方法を用いることができる。
図１０は、ＩＳＰにおける垂直４分割が適用された場合のイントラ予測時の参照画素の配置の一例を示す。
ＩＳＰにおいて、ブロックＴが垂直方向に分割される場合（垂直分割が行われる場合）、左側のサブブロック＃１から、順次、予測処理及び復号画像生成処理が行われる。
図１０のように、左から２番目のサブブロック＃２に対するイントラ予測が行われる場合は、サブブロック＃２の上側に隣接する復号済みブロックＡの画素Ｘ１と、サブブロック＃２の左側に隣接するサブブロック＃１の復号済み画素Ｙ１が参照される。
図１０に示す参照画素の配置は、あくまで一例である。例えば、垂直分割においてサブブロック＃２に対するイントラ予測が行われる際に、サブブロック＃１内の復号済み画素であれば、図１０に示す配置の画素Ｙ１以外の画素を参照してもよい。
同様に、ＩＳＰにおいて、ブロックが水平方向に分割される場合（水平分割が行われる場合）、上側のサブブロックから、順次、予測処理及び復号画像生成処理が行われる。
ここで、各サブブロック＃１～＃４に対するイントラ予測が行われる場合の参照画素の位置は、例えば、図１１のように、サブブロック＃１～＃４（ブロックＴ）の上側に隣接する復号済みブロックＡの画素Ｘ２と、サブブロック＃１～＃４（ブロックＴ）の左側に隣接する復号済みブロックＢ/Ｃの画素Ｙ２とすることもできる。
すなわち、２番目以降のサブブロック＃２～＃４に対するイントラ予測についても、処理対象ブロックＴ内のサブブロック＃１～＃３の復号後の画素は参照しないとしてもよい。
図１１に示す画素配置は、あくまで一例である。処理対象ブロックＴに隣接する復号済みブロックの画素であれば、図１１に示す配置の画素Ｘ２/Ｙ２以外の画素を参照してもよい。
図１１は、垂直分割が行われる場合の例について示しているが、水平分割が行われる場合も同様の参照画素の配置とすることができる。このように、当該ブロック内の復号後の画素を参照しないようにすることで、各サブブロックの予測処理及び復号画像生成処理を並列で実行することができる。
本実施形態では、同一ブロック内の各サブブロックの予測モードは共通である。よって、図１１に示す参照画素の配置とする場合の予測信号の生成処理は、処理対象ブロックＴをサブブロックに分割せず、通常のイントラ予測の生成処理と同一にすることもできる。
よって、図１１に示す参照画素の配置を採ることで、ＩＳＰの適否に関わらず、予測信号の生成処理をブロック単位で実行するという構成も実現可能である。また、かかる場合、ＩＳＰ適用ブロックにおける復号画像の生成処理（フィルタ処理前復号信号の生成処理）は、サブブロックごとに並列に実行することができる。
また、上述の参照画素の配置を、ブロックサイズによって切り替えることも可能である。例えば、サブブロックの幅及び高さが予め定めた閾値未満か否かによって、参照画素の配置を切り替えることができる。
例えば、図６に示すように、サブブロックの幅が４画素未満になる場合は、図１１に示す参照画素の配置とし、サブブロックの幅が４画素以上になる場合は、図１０に示す参照画素の配置とすることができる。
同様に、例えば、サブブロックの高さが４画素未満になる場合は、図１１に示す参照画素の配置とし、サブブロックの高さが４画素以上になる場合は、図１０に示す参照画素の配置とすることができる。
すなわち、例えば、予測信号生成部２４２Ｃは、サブブロック＃１～＃４のサイズが、第１閾値未満になる場合は、処理対象ブロックＴ内の全てのサブブロック＃１～＃４の予測信号を生成する際に、図１１に示すように、処理対象ブロックＴに隣接する復号済みブロックＡ～Ｃの画素（例えば、参照画素Ｘ２/Ｙ２）を参照するように構成されていてもよい。
一方、例えば、予測信号生成部２４２Ｃは、サブブロック＃２のサイズが、第１閾値以上になる場合は、サブブロック＃２の予測信号を生成する際に、図１０に示すように、直前に処理したサブブロック＃１の復号済み画素（例えば、参照画素Ｙ１）を参照するように構成されていてもよい。
また、予測信号生成部２４２Ｃは、サブブロックの幅又は高さの少なくともいずれかが、第１閾値未満になる場合は、処理対象ブロックＴ内の全てのサブブロック＃１～＃４の予測信号を生成する際に、図１１に示すように、処理対象ブロックＴに隣接する復号済みブロックＡ～Ｃの画素（例えば、参照画素Ｘ２/Ｙ２）を参照するように構成されていてもよい。
一方、例えば、予測信号生成部２４２Ｃは、サブブロック＃２の幅及び高さの両方が、第１閾値以上になる場合は、サブブロック＃２の予測信号を生成する際に、図１０に示すように、直前に処理したサブブロック＃１の復号済み画素（例えば、参照画素Ｙ１）を参照するように構成されていてもよい。
さらに、予測信号生成部２４２Ｃは、サブブロック＃１～＃４の幅が、第１閾値未満になる場合は、処理対象ブロックＴ内の全てのサブブロック＃１～＃４の予測信号を生成する際に、図１１に示すように、処理対象ブロックＴに隣接する復号済みブロックＡ～Ｃの画素（例えば、参照画素Ｘ２/Ｙ２）を参照するように構成されていてもよい。
一方、例えば、予測信号生成部２４２Ｃは、サブブロック＃２の幅が、第１閾値以上になる場合は、サブブロック＃２の予測信号を生成する際に、図１０に示すように、直前に処理したサブブロック＃１の復号済み画素（例えば、参照画素Ｙ１）を参照するように構成されていてもよい。
このように、ブロックサイズによって参照画素の配置を切り替えることで、例えば、小さなサブブロックでは並列処理可能な参照画素の配置として実装難易度の増加を防ぎ、大きなサブブロックでは直前のサブブロックの復号画素を参照することで符号化効率を改善できる。
イントラ予測の並列処理技術については、例えば、特許文献１や非特許文献３でも開示されている。これらの非特許文献では、本実施形態に係るサブブロックに相当する処理単位において、それぞれが異なる予測モードである場合をサポートしている。
一方、本実施形態では、同一ブロック内の各サブブロックの予測モードは、共通である。このような構成とすることで、サブブロックに分割した場合とサブブロックに分割しなかった場合とで、予測値の生成処理が全く同じ処理となる。よって、分割の有り無しで異なる処理を実装する必要がなくなるため、特にハードウェアにおける実装の難易度の増加を防ぐことができる。
（画像符号化装置１００）
以下、図１２を参照して、本実施形態に係る画像符号化装置１００について説明する。図１２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。
図１２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。
インター予測部１１１は、インター予測部２４１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。
また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
イントラ予測部１１２は、イントラ予測部２４２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。
ここで、参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。
ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。
変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
なお、上述したように、制御データは、符号化ブロックサイズや予測ブロックサイズや変換ブロックサイズ等のサイズデータを含んでもよい。
インループフィルタ処理部１５０は、インループフィルタ処理部２５０と同様に、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。
ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。
ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。
（イントラ予測部１１２）
以下、図１３を参照して、本実施形態に係るイントラ予測部１１２について説明する。図１３は、本実施形態に係る画像符号化装置１１２のイントラ予測部１１２の機能ブロックの一例について示す図である。
図１３に示すように、イントラ予測部１１２は、イントラ予測モード決定部１１２Ａと、イントラ予測モード符号化部１１２Ｂと、予測信号生成部１１２Ｃとを有する。
イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている予測部の一例である。
イントラ予測モード決定部１１２Ａは、当該ブロックのイントラ予測モードやＩＳＰの適用有無等、後段のイントラ予測モード符号化部１１２Ｂで符号化する情報を決定するように構成されている。決定の方法は、公知の方法を用いることが可能であるため詳細は省略する。
イントラ予測モード符号化部１１２Ｂは、対象ブロックの予測モードを符号化するように構成されている。処理内容は、イントラ予測モード復号部２４２Ｂと同様の処理となる。具体的には、例えば、図４に示すイントラ予測モード復号部２４２Ｂの処理フローチャートのうち「復号」の部分を「符号化」に変更した処理となる。
予測信号生成部１１２Ｃは、イントラ予測モード１１２Ｂで符号化した予測モードにしたがって、当該ブロックの予測信号を生成するように構成されている。予測信号の生成方法は、予測信号生成部２４２Ｃと同一である。
本実施形態に係る画像処理システム１によれば、ＩＳＰを適用するブロックであっても、イントラ予測には既に符号化（復号）済みの隣接ブロックの画素を参照することができるため、各サブブロックの処理を並列に実行することができ、ハードウェアにおける１ブロックの処理に必要なサイクル数を削減することができる。
上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
なお、上記の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化/復号システムにも同様に適用できる。
１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１１２Ａ…イントラ予測モード決定部
１１２Ｂ…イントラ予測モード符号化部
１１２Ｃ、２４２Ｃ…予測信号生成部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４２Ｂ…イントラ予測モード復号部

Claims (3)

  1. 画像復号装置であって、
    イントラ予測による予測信号を生成する予測信号生成部を備え、
    前記予測信号生成部は、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記サブブロックのサイズが第１閾値未満になる場合は、前記ブロックに隣接する復号済みブロックの画素を参照することを特徴とする画像復号装置。
  2. イントラ予測による予測信号を生成する工程を有し、
    前記工程において、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記サブブロックのサイズが第１閾値未満になる場合は、前記ブロックに隣接する復号済みブロックの画素を参照することを特徴とする画像復号方法。
  3. 画像復号装置で用いるプログラムであって、コンピュータに、
    イントラ予測による予測信号を生成する工程を実行させ、
    前記工程において、イントラサブ分割を適用するブロックにおいて、前記ブロック内の全てのサブブロックの予測信号を生成する際に、前記サブブロックのサイズが第１閾値未満になる場合は、前記ブロックに隣接する復号済みブロックの画素を参照することを特徴とするプログラム。
JP2019043971A 2019-03-11 2019-03-11 画像復号装置、画像復号方法及びプログラム Active JP7145793B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2019043971A JP7145793B2 (ja) 2019-03-11 2019-03-11 画像復号装置、画像復号方法及びプログラム
EP20769342.5A EP3941043A4 (en) 2019-03-11 2020-03-02 IMAGE DECODING DEVICE, IMAGE DECODING METHOD AND PROGRAM
PCT/JP2020/008773 WO2020184263A1 (ja) 2019-03-11 2020-03-02 画像復号装置、画像復号方法及びプログラム
CN202080019709.XA CN113545043B (zh) 2019-03-11 2020-03-02 图像解码装置、图像解码方法和程序
US17/437,747 US11962801B2 (en) 2019-03-11 2020-03-02 Image decoding device, image decoding method, and program
JP2022148628A JP7381681B2 (ja) 2019-03-11 2022-09-16 画像復号装置、画像復号方法及びプログラム
JP2023188459A JP2023181491A (ja) 2019-03-11 2023-11-02 画像復号装置、画像復号方法及びプログラム
US18/609,408 US20240223806A1 (en) 2019-03-11 2024-03-19 Image decoding device, image decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019043971A JP7145793B2 (ja) 2019-03-11 2019-03-11 画像復号装置、画像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022148628A Division JP7381681B2 (ja) 2019-03-11 2022-09-16 画像復号装置、画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020150314A JP2020150314A (ja) 2020-09-17
JP7145793B2 true JP7145793B2 (ja) 2022-10-03

Family

ID=72427887

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019043971A Active JP7145793B2 (ja) 2019-03-11 2019-03-11 画像復号装置、画像復号方法及びプログラム
JP2022148628A Active JP7381681B2 (ja) 2019-03-11 2022-09-16 画像復号装置、画像復号方法及びプログラム
JP2023188459A Pending JP2023181491A (ja) 2019-03-11 2023-11-02 画像復号装置、画像復号方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022148628A Active JP7381681B2 (ja) 2019-03-11 2022-09-16 画像復号装置、画像復号方法及びプログラム
JP2023188459A Pending JP2023181491A (ja) 2019-03-11 2023-11-02 画像復号装置、画像復号方法及びプログラム

Country Status (5)

Country Link
US (2) US11962801B2 (ja)
EP (1) EP3941043A4 (ja)
JP (3) JP7145793B2 (ja)
CN (1) CN113545043B (ja)
WO (1) WO2020184263A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022177181A (ja) * 2019-03-11 2022-11-30 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037936A (ja) 2016-09-01 2018-03-08 株式会社ドワンゴ 画像符号化装置および画像復号装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP2008306413A (ja) * 2007-06-06 2008-12-18 Panasonic Corp 画像符号化装置および画像符号化方法
CN100574460C (zh) * 2008-01-31 2009-12-23 上海广电（集团）有限公司中央研究院 Avs帧内预测参考样本提取方法
KR101608426B1 (ko) * 2008-03-28 2016-04-04 삼성전자주식회사 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP5036626B2 (ja) * 2008-05-22 2012-09-26 三菱電機株式会社 画像符号化装置及び画像復号化装置
TW201032600A (en) * 2009-02-20 2010-09-01 Sony Corp Image processing device and method
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
WO2012060663A2 (ko) * 2010-11-04 2012-05-10 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
CN102186079A (zh) * 2011-05-11 2011-09-14 北京航空航天大学 一种基于运动向量的h.264基本档次帧内模式选择方法
JP2013187869A (ja) * 2012-03-09 2013-09-19 Sharp Corp 算術復号装置、算術符号化装置、画像復号装置、および画像符号化装置
JP2013192118A (ja) * 2012-03-14 2013-09-26 Sharp Corp 算術復号装置、画像復号装置、算術符号化装置、および画像符号化装置
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
JPWO2014054267A1 (ja) * 2012-10-01 2016-08-25 パナソニックＩｐマネジメント株式会社 画像符号化装置及び画像符号化方法
JP2014090327A (ja) * 2012-10-30 2014-05-15 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
JP6268989B2 (ja) * 2013-11-29 2018-01-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR102355224B1 (ko) * 2014-03-16 2022-01-25 브이아이디 스케일, 인크. 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치
JP6383327B2 (ja) * 2015-06-10 2018-08-29 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
EP3340622A4 (en) * 2015-08-20 2019-03-20 Nippon Hoso Kyokai IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, AND PROGRAMS THEREOF
US9955186B2 (en) * 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
CN106941609B (zh) * 2017-02-15 2019-10-29 浙江工业大学 基于自适应分块压缩感知的视频压缩方法
KR102511546B1 (ko) * 2017-02-24 2023-03-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019027200A1 (ko) * 2017-07-31 2019-02-07 에스케이텔레콤 주식회사 비-제로 계수들의 위치를 표현하는 방법 및 장치
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
WO2020055208A1 (ko) * 2018-09-14 2020-03-19 엘지전자 주식회사 인트라 예측을 수행하는 영상 예측 방법 및 장치
JP6602931B2 (ja) * 2018-09-20 2019-11-06 株式会社Ｎｔｔドコモ 動画像予測復号方法
CN113225559B (zh) * 2018-10-12 2023-05-16 Oppo广东移动通信有限公司 视频信号的编码方法和解码方法及其装置
CN112514384A (zh) * 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
WO2020171673A1 (ko) * 2019-02-24 2020-08-27 엘지전자 주식회사 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
KR102608847B1 (ko) * 2019-02-28 2023-12-04 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP7145793B2 (ja) * 2019-03-11 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN113691809A (zh) * 2021-07-07 2021-11-23 浙江大华技术股份有限公司 帧内预测方法及编、解码方法、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037936A (ja) 2016-09-01 2018-03-08 株式会社ドワンゴ 画像符号化装置および画像復号装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DE-LUXAN-HERNANDEZ, Santiago et al.，CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0102-v5]，JVET-M0102 (version 7)，ITU-T，2019年01月17日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0102-v7.zip＞: JVET-M0102-v5.docx: pp. 1-9
DE-LUXAN-HERNANDEZ, Santiago et al.，CE3-related: Improvement on the Intra Sub-Partitions Coding Mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0426-v1]，JVET-M0426 (version 1)，ITU-T，2019年01月02日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0426-v1.zip＞: JVET-M0426_v1.docx: pp. 1-4
DE-LUXAN-HERNANDEZ, Santiago et al.，Non-CE3: ISP with independent sub-partitions for certain block sizes，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 Mar. 2019, [JVET-N0372-v1]，JVET-N0372 (version 1)，ITU-T，2019年03月12日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0372-v1.zip＞: JVET-N0372-v1.docx: pp. 1-8
UNNO, Kyohei et al.，Non-CE3: Relaxation method of processing dependency in ISP for small blocks，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019, [JVET-N0159-v2]，JVET-N0159 (version 3)，ITU-T，2019年03月23日，＜URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0159-v3.zip＞: JVET-N0159-v2.docx: pp. 1-6

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022177181A (ja) * 2019-03-11 2022-11-30 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7381681B2 (ja) 2019-03-11 2023-11-15 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
WO2020184263A1 (ja) 2020-09-17
US20220167010A1 (en) 2022-05-26
JP7381681B2 (ja) 2023-11-15
US20240223806A1 (en) 2024-07-04
US11962801B2 (en) 2024-04-16
CN113545043B (zh) 2024-10-11
JP2023181491A (ja) 2023-12-21
JP2020150314A (ja) 2020-09-17
JP2022177181A (ja) 2022-11-30
CN113545043A (zh) 2021-10-22
EP3941043A4 (en) 2022-12-07
EP3941043A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
JP7577232B2 (ja) ビデオ信号の符号化／復号方法及び前記方法のための装置
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
JP2020022171A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
US11910007B2 (en) Encoding method and device therefor, and decoding method and device therefor
WO2013069216A1 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US20130202048A1 (en) Deblocking filtering apparatus and method based on raster scanning
KR20200128175A (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP7381681B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2010166533A (ja) 符号化装置及びその制御方法、コンピュータプログラム
CN113170117A (zh) 一种视频编码/解码方法及装置
JP2010141513A (ja) 演算装置及び動画像符号化装置
WO2020059341A1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP2017212554A (ja) 符号化装置、復号装置及びプログラム
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2017212555A (ja) 符号化装置、復号装置及びプログラム
JP2022087335A (ja) 画像復号装置、画像復号方法及びプログラム
JP2022079469A (ja) 画像復号装置、画像復号方法及びプログラム
WO2016143093A1 (ja) 動画像符号化装置及びそれに用いるＩｎｔｒａ予測符号化方法、及び動画像復号化装置
JP2020108033A (ja) 画像復号装置、画像符号化装置、プログラム及び画像処理システム
JP2008182471A (ja) 演算装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150