Nothing Special   »   [go: up one dir, main page]

JP7294753B2 - 動画像処理方法、及び動画像処理装置 - Google Patents

動画像処理方法、及び動画像処理装置 Download PDF

Info

Publication number
JP7294753B2
JP7294753B2 JP2020553580A JP2020553580A JP7294753B2 JP 7294753 B2 JP7294753 B2 JP 7294753B2 JP 2020553580 A JP2020553580 A JP 2020553580A JP 2020553580 A JP2020553580 A JP 2020553580A JP 7294753 B2 JP7294753 B2 JP 7294753B2
Authority
JP
Japan
Prior art keywords
block
motion vector
image block
image
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553580A
Other languages
English (en)
Other versions
JP2021520119A5 (ja
JP2021520119A (ja
JPWO2019192152A5 (ja
Inventor
ゼン、シャオゼン
ワン、スホン
ワン、シャンシェ
マ、シウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2021520119A publication Critical patent/JP2021520119A/ja
Publication of JP2021520119A5 publication Critical patent/JP2021520119A5/ja
Publication of JPWO2019192152A5 publication Critical patent/JPWO2019192152A5/ja
Priority to JP2023092773A priority Critical patent/JP7534039B2/ja
Application granted granted Critical
Publication of JP7294753B2 publication Critical patent/JP7294753B2/ja
Priority to JP2024122098A priority patent/JP2024147810A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

著作権表示
本特許文献に開示されている内容には著作権保護の対象となる材料が含まれている。該著作権は著作権所有者が所有する。著作権所有者は、これらの特許書類または特許開示の何人による複製に対しても、特許庁の公式レコードまたはファイルに表示される通りであれば異議を唱えない。
本出願は、動画像符号化分野に関し、具体的には動画像の動きベクトルを取得する方法および装置に関する。
現在、主要な動画像符号化に関する標準規格では、フレーム間予測部分においていずれもブロックに基づく動き補償技術を採用し、その主な原理は、現在画像ブロックのためにすでに符号化された画像の中で最も類似したブロックを探索することであり、このプロセスは動き補償と呼ばれる。例えば、1フレームの画像に対し、まず、サイズが同じである符号化領域(Coding Tree Unit、CTU)に分割し、例えば、サイズが64×64または128×128である。各CTUは、さらに、方形または矩形の符号化ユニット(Coding Unit、CU)に分割することができる。各CUは、参照フレーム(通常は現在のフレームの時間領域の近くにおける再構築されたフレーム)の中で最も類似したブロックを現在のCUの予測ブロックとして探索する。現在のブロック(つまり、現在のCU)と類似ブロック(つまり、現在のCUの予測ブロック)の間の相対変位は、動きベクトル(Motion Vector、MV)と呼ばれる。参照フレームの中で現在のブロックの予測ブロックとして最も類似したブロックを探索するプロセスが動き補償である。
現在の技術では、通常、現在CUの符号化された近傍ブロックの動きベクトルに基づいて、現在CUの動きベクトル候補リストを構築し、それはmerge候補リストとも呼ばれる。merge候補リストから、現在CUの動きベクトルとして最適な候補動きベクトルを一つ選択し、現在CUの動きベクトルに基づいて現在CUの予測ブロックを確定する。
高度/選択可能な時間動きベクトル予測技術(Advanced/Alternative temporal motion vector prediction、ATMVP)は動きベクトル予測メカニズムである。ATMVP技術の基本的な構想は、現在のCU内の複数のサブブロックの動き情報を取得することで動き補償を行うことである。ATMVP技術は候補リスト(例えばmerge候補リストまたはAMVP(Advanced Motion Vector Prediction)候補リスト)の構築において、現在のCU内における複数のサブブロックの動き情報を候補として導入する。ATMVP技術の実現は、ほぼ二つのステップに分けられる。ステップ1では、現在CUの候補リストを走査することにより、1つの時間領域ベクトルを確定する。ステップ2では、現在CUをN×N(Nはデフォルトで4)のサブブロック(sub-CU)に分割し、ステップ1で取得した時間領域ベクトルに基づいて、各サブブロックの参照フレーム内での対応するブロックを確定し、各サブブロックの参照フレーム内での対応するブロックの動きベクトルに基づいて、各サブブロックの動きベクトルを確定する。
現在のATMVP技術のステップ1では、現在のCUの候補リストを走査することで、時間領域ベクトルを確定するプロセスには改良の余地がある。
本出願は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる動画像の動きベクトルを取得する方法および装置を提供する。
第1の態様は、動画像の動きベクトルを取得する方法を提供し、該方法は、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することと、M個の動きベクトル候補のうちのMより小さいN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定することと、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することと、動きベクトル候補リストに基づいて、現在画像ブロックの動きベクトルを確定することとを含む。
本出願により提供される解決策では、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得したM個の動きベクトル候補のうちN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減らすことができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
第2の態様は、動画像の動きベクトルを取得する方法を提供し、該方法は、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することと、前記M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、前記走査結果に基づいて、前記現在画像ブロックの参照動きベクトルを確定することと、前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割することと、前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
本出願により提供される技術的解決手段において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
第3の態様は、動画像を処理する装置を提供し、該装置は、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる取得ユニットと、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定するために用いられ、NがMより小さい確定ユニットとを含み、前記確定ユニットはさらに、前記参照動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定するために用いられる。前記確定ユニットはさらに、前記動きベクトル候補リストに基づいて、前記現在画像ブロックの動きベクトルを確定するために用いられる。
第4の態様は、動画像を処理する装置を提供し、該装置は、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる取得ユニットと、前記M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づいて、前記現在画像ブロックの参照動きベクトルを確定するために用いられる確定ユニットと、前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割するために用いられる分割ユニットとを含み、前記確定ユニットはさらに、前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定するために用いられる。前記確定ユニットはさらに、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
第5の態様は、動画像処理方法を提供し、該方法は、現在画像ブロックのM個の近傍ブロックを取得することと、前記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することと、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することとを含む。
本出願により提供される解決策では、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロック候補に対する走査回数を減少することができ、それにより複雑さを低下させる。
第6の態様は、動画像処理方法を提供し、該方法は、現在画像ブロックのM個の近傍ブロックを取得することと、前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することと、前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割することと、前記対象近傍ブロックの動きベクトルおよび前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することと、前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することとを含む。
本出願により提供される解決策では、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
第7の態様は、動画像を処理する装置を提供し、該装置は、現在画像ブロックのM個の近傍ブロックを取得するために用いられる取得ユニットと、前記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定するために用いられる確定ユニットであって、さらに、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定するために用いられるものと、前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号するために用いられる符号化/復号ユニットとを含む。
第8の態様は、動画像を処理する装置を提供し、該装置は、現在画像ブロックのM個の近傍ブロックを取得するために用いられる取得ユニットと、前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定するために用いられる確定ユニットであって、さらに前記対象近傍ブロックの動きベクトルおよびその前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定するために用いられるものと、前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割するために用いられる分割ユニットと、前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号するために用いられる符号化/復号ユニットとを含む。
第9態様は、動画像を処理する装置を提供し、該装置はメモリとプロセッサを含み、メモリは命令を記憶するために用いられ、プロセッサはメモリに記憶された命令を実行するために用いられ、メモリに記憶された命令を実行することによって、プロセッサに第1態様、第2態様、第5態様またはま第6態様で提供される方法を実行させる。
第10態様は、処理モジュールと通信インターフェースとを有するチップを提供し、前記処理モジュールは、前記通信インタフェースが外部と通信するように制御するために用いられ、前記処理モジュールは、第1態様、第2態様、第5態様、または第6態様で提供される方法を実現するために用いられる。
第11態様は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがコンピュータに実行されるとき、前記コンピュータに第1態様、第2態様、第5態様、または第6態様で提供される方法を実現させる。
第12態様は、命令を含むコンピュータプログラム製品を提供し、前記命令がコンピュータにより実行されるとき、前記コンピュータに第1態様、第2態様、第5態様、または第6態様で提供される方法を実現させる。
本出願の実施例によって提供される動画像動きベクトルを取得する方法の概略的な流れ図である。 現在画像ブロックの近傍ブロックによって現在ブロックの動きベクトル候補を取得する概略図である。 動きベクトル候補にスケーリング処理を行う概略図である。 本出願の実施例によって提供される動画像動きベクトルを取得する方法のもう1つの概略的な流れ図である。 本出願の実施例によって提供される動画像処理装置の概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のもう1つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理方法の概略的な流れ図である。 本出願の実施例によって提供される動画像処理方法のもう1つの概略的流れ図である。 本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。 本出願の実施例によって提供される動画像処理装置のさらなる1つの概略的ブロック図である。
以下の説明を理解しやすくするために、ここでは動きベクトルについて解釈する。1つの画像ブロックの動きベクトルは、1)該動きベクトルが指す画像、2)位移という二つの情報を含むことができる。1つの画像ブロックの動きベクトルとは、該動きベクトルが指す画像において該画像ブロックと該変位を有する画像ブロックを意味する。符号化/復号済みの画像ブロックに対し、その動きベクトルの意味は、該符号化/復号済みの画像ブロックの参照画像、および符号化/復号済みの画像ブロックの参照ブロックの該符号化/復号済みの画像ブロックに対する変位を含む。なお、ここで説明する1つの画像ブロックの参照ブロックとは、該画像ブロックの残差を算出するために使用される画像ブロックを意味する。
図1は本出願の実施例によって提供される動画像動きベクトルを取得する方法の概略的な流れ図である。該方法は以下のステップを含む。
S110、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得する。
現在画像ブロックは符号化(または復号)対象の画像ブロックである。現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。
例えば、現在画像ブロックは1つの符号化ユニット(CU)である。
例えば、現在画像ブロックの動きベクトル候補リストはMerge候補リストまたはAMVP候補リストであってもよい。
動きベクトル候補リストは別の名称を有してもよいと理解されたい。
M個の動きベクトル候補は現在画像ブロックの現在フレーム内におけるM個の近傍ブロックの動きベクトルに基づいて確定されてもよい。近傍ブロックは現在フレームにおいて現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックであってもよい。なお、このM個の近傍ブロックは現在フレーム内における符号化(または復号)済みの画像ブロックであると理解されたい。
一例として、図2に示すように、現在画像ブロックのM個の近傍ブロックは図2に示される現在画像ブロックの周囲の4つの位置A(左)→B(上)→B(右上)→A(左下)に位置する画像ブロックである。この4つの位置の画像ブロックの動きベクトルを現在画像ブロックのM(すなわちMが4に等しい)個の動きベクトル候補とする。
1つの可能な実施形態として、ステップS110を完了した後、M個の動きベクトル候補はすでに動きベクトル候補リストに入れられた。ステップS120において、動きベクトル候補リストを直接走査できる。
S120、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定し、NがMより小さい。
N個の動きベクトル候補の走査結果に基づいて、参照動きベクトルを確定するプロセスは、事前設定条件に基づいて、N個の動きベクトル候補を順次判断し、判断結果に基づいて、参照動きベクトルを確定するプロセスであってもよい。
一例として、事前設定条件の定義は動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じである。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像であり、または、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。いくつかの応用シーンにおいて、該同位フレームは位置関連フレーム(collocated picture)とも呼ばれる。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、N個の動きベクトル候補の走査結果に基づいて、参照動きベクトルを確定するプロセスを詳細に説明する。
ステップS120において、ステップS110で取得されたM個の動きベクトル候補のうちのN個の動きベクトルのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップS120において、M個の動きベクトル候補のうち前のN個の動きベクトル候補を順次走査してもよい。
任意選択的に、ステップS120において、M個の動きベクトル候補のうち最後のN個の動きベクトル候補を順次走査してもよい。または、M個の動きベクトル候補のうち中間のN個の動きベクトル候補を順次走査してもよい。本出願はこれに対して限定しない。
一例として、ステップS120において、M個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
もう一例として、ステップS120において、現在、すでに動きベクトル候補リストに入れられた動きベクトル候補のうちの一部の動きベクトル候補を順次走査する。
S130、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定する。
ステップS130を完了した後、現在画像ブロックの動きベクトル候補リストの構築を完了することを理解されたい。現在画像ブロックの動きベクトル候補リストには、ステップS110で確定されたM個の動きベクトル候補およびステップS130で確定された動きベクトル候補が含まれる。
図1に示すように、該方法はさらに、S130で得られた動きベクトル候補リストに基づいて、現在画像ブロックの動きベクトルを確定するS140を含む。
本出願で提供される解決策は、ATMVP技術に適用できることを理解されたい。例えば、ステップS120によって従来のATMVP技術におけるステップ1を実現することができる。
従来のATMVP技術のステップ1において、動きベクトル候補リスト中の現在すでに入れられたすべての動きベクトル候補を走査することによって、現在画像ブロックの時間領域ベクトルを取得する。例えば、動きベクトル候補リストは通常4つの動きベクトル候補で埋められると、次の状況が発生する可能性がある。現在の画像ブロックの時間領域ベクトルを取得するには、4つの動きベクトル候補を走査する必要がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化(Versatile Video Coding)の最新の参照ソフトウェアVTM-2.0上で、テストシーケンスとして公式通用テストシーケンスを選び、RA構成およびLDB構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ATMVP技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる。
本出願で提供される動きベクトル候補リストの構築に関する解決策は符号化側と復号側に応用できることを理解されたい。換言すれば、本出願で提供される方法の実行主体は符号化側であってもよく、復号側であってもよい。
一例として、符号化側において、本出願の実施例による方法によって動きベクトル候補リストを取得した後に、以下のステップによって現在画像ブロックの符号化を完了することができる。
1)動きベクトル候補リストから最適な動きベクトル(MV1と記す)を選択し、選択したMV1を現在画像ブロックの動きベクトルとし、該MV1の動きベクトル候補リストでのインデックスを取得する。
2)現在画像ブロックの動きベクトルMV1に基づいて、参照画像(すなわち参照フレーム)から現在画像ブロックの予測画像ブロックを確定する。つまり、現在画像ブロックの予測画像ブロックの参照フレームでの位置を確定する。
3)現在画像ブロックと予測画像ブロックとの間の残差を取得する。
4)復号側へ現在画像ブロックの動きベクトルMV1が動きベクトル候補リストにおけるインデックスおよびステップ3)で取得した残差を送信する。
例として、復号側において、以下のステップで現在画像ブロックを復号することができる。
1)符号化側から残差と現在画像ブロックの動きベクトルの動きベクトル候補リストにおけるインデックスを受信する。
2)本出願の実施例による方法によって動きベクトル候補リストを取得する。復号側で取得した動きベクトル候補リストは符号化側で取得した動きベクトル候補リストと一致する。
3)インデックスに基づいて、動きベクトル候補リストから現在画像ブロックの動きベクトルMV1を取得する。
4)動きベクトルMV1に基づいて、現在画像ブロックの予測画像ブロックを取得し、残差と合わせて、復号によって現在画像ブロックを取得する。
任意選択的に、本実施例において、ステップS110では、現在画像ブロックの現在フレーム内での4個の近傍ブロックの動きベクトルに基づいて、現在画像ブロックの動きベクトル候補リストに入れるための4個の動きベクトル候補を確定し、すなわち、Mが4に等しい。ステップS120において、4個の動きベクトル候補のうちのN個の動きベクトル候補を走査し、Nが4よりも小さい。
例えば、Nは1に等しい。例えば、ステップS120において、動きベクトル候補リスト中の1つ目の動きベクトル候補のみを走査する。
また、例えば、Nは2または3に等しい。
以下、ステップS120においてN個の動きベクトル候補の走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定する方式について説明する。
ステップS120において、M個の動きベクトル候補のうちのN個の動きベクトル候補が事前設定条件を満たすかどうかを1つずつ判断し、判断結果に基づいて、参照動きベクトルを確定する。ここでは、事前設定条件の定義は動きベクトル候補が指す参照フレームと現在画像ブロックの参照画像が同じであることを例として説明する。
任意選択的に、ステップS120において、N個の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、すなわち、1つ目の参照フレームと現在フレームの同位フレームが同じである動きベクトル候補まで走査すると、走査を停止し、走査した1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定する。
1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査回数はNに等しいか、Nより小さいこともある。
例えば、1つ目に走査する動きベクトル候補が事前設定条件を満たすと、走査を停止し、この動きベクトル候補を現在画像ブロックの参照動きベクトルとする。
任意選択的に、ステップS120において、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわちN個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、デフォルト値を参照動きベクトルの値とする。
例えば、デフォルト値は(0,0)であり、すなわち参照動きベクトルは(0,0)である。
実況によって、デフォルト値は別の定義がさらにあることを理解されたい。
任意選択的に、ステップS120において、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、すなわち、N個の動きベクトル候補が指す参照フレームはすべて現在画像ブロックの同位フレームと異なる時、動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、参照動きベクトルを確定する。
該特定動きベクトル候補は、N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルであってもよい。
該特定動きベクトル候補はさらに、N個の動きベクトル候補のうち、他の走査順で得られた動きベクトルであってもよい。
事前設定条件は、動きベクトル候補が指す参照フレームが現在画像ブロックの参照フレームと同じであると定義される場合、動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、参照動きベクトルを確定することは、動きベクトル候補リストにおける特定動きベクトル候補にスケーリング処理を行って、スケーリング処理後の特定動きベクトル候補が指す参照フレームが現在画像ブロックの参照画像と同じになるようにすることと、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとすることとを含む。
図3に示すように、curr_picは現在画像ブロックが位置する画像を表し、col_picは現在画像ブロックの同位フレーム(collocated picture)を表し、neigh_ref_picは特定動きベクトル候補が指す参照フレームを表す。一実施形態において、特定動きベクトル候補が指す参照画像neigh_ref_picと該特定動きベクトルに対応する画像ブロックが位置する画像curr_picとの間の時間距離、および現在画像ブロックの参照画像col_picと現在画像ブロックが位置する画像curr_picとの間の時間距離に基づいて、該特定動きベクトルの縮尺を確定する。
画像フレームと画像フレームとの間の動き程度の相違性が悪く、現在フレームとその同位フレームとの間に動きが激しい場合に、動きベクトル(0,0)を現在ブロックの対応ブロックを位置決めする根拠として用いれば、フレーム間の動きを考慮せず、そのまま現在のブロックの同位フレームでの絶対座標が変更されていないと仮定するが、実際には、現在のブロックの同位フレームでの座標と現在のフレームでのその座標とが異なる確率が非常に大きいため、大きなばらつきが生じると理解されたい。
本出願の実施例において、N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、N個の動きベクトル候補のうち1つの動きベクトル候補にスケーリング処理を行い、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとする。このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。
任意選択的に、NがMより小さくかつ1より大きい整数の場合、本実施例における特定動きベクトル候補はN個の動きベクトル候補のうち参照フレームと現在画像ブロックの同位フレームが時間領域において距離が最も近い動きベクトル候補であってもよい。
N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームの距離が最も近い一つの動きベクトル候補を選択してそれにスケーリング処理を行い、スケーリング処理にかかる時間を減らし、それにより現在画像ブロックの動きベクトルを取得する効率を向上させることができる。
任意選択的に、NがMより小さくかつ1より大きい整数の場合、本実施例における特定動きベクトル候補はN個の動きベクトル候補のうちのいずれかの動きベクトル候補であってもよい。
なお、Nが1に等しい場合、本実施例における特定動きベクトル候補はすなわち走査するこの動きベクトル候補である。
任意選択的に、1つの実施例として、Nが1に等しく、ステップS120において、該動きベクトル候補リスト中の1つの動きベクトル候補を走査することによって、該現在画像ブロックの参照動きベクトルを取得する。走査するこの動きベクトル候補が指す参照フレームと現在画像ブロックが位置する現在フレームの同位フレームが異なる場合、この動きベクトル候補にスケーリング処理を行って、該スケーリング処理された動きベクトル候補の参照フレームと該現在フレームの同位がフレーム同じになるようにし、該スケーリング処理後の動きベクトル候補を該現在画像ブロックの参照動きベクトルとする。走査するこの動きベクトル候補の参照フレームと現在フレームの同位フレームが同じである場合、この動きベクトル候補を現在画像ブロックの動きベクトルとする。
本実施例において、該動きベクトル候補リスト中の1つの動きベクトル候補を走査することで、該現在画像ブロックの動きベクトルを取得し、現在画像ブロックの動きベクトルを取得するプロセスにおける動きベクトル候補の走査回数を効果的に減少し、走査する動きベクトル候補の参照フレームは現在フレームの同位フレームと異なる場合、この動きベクトル候補にスケーリング処理を行って、その参照フレームと現在フレームの同位フレームが同じになるようにし、続いてこのスケーリング処理後の動きベクトル候補を現在画像ブロックの動きベクトルとし、このようにして現在画像ブロックの動きベクトルの正確さを向上させることができる。従って、従来技術に対し、本出願の実施例によって提供される解決策は、現在画像ブロックの動きベクトルを確定するプロセスを簡略化するだけでなく、現在画像ブロックの動きベクトルの正確さを向上させることもできる。
事前設定条件の定義が変化した場合、動きベクトル候補リスト中の特定動きベクトル候補にスケーリング処理を行うプロセスも対応的に変化し、すなわちスケーリング処理後の特定動きベクトル候補が事前設定条件を満たすことを保証する必要があることを理解されたい。
以下、ステップS130において、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するプロセスを説明する。
任意選択的に、一つの実現方法として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、参照動きベクトルに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
関連ブロックはcollocated blockまたはcorresponding blockと呼ばれてもよい。
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64画素以上に固定される。
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間領域レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、現在画像ブロックを符号化する時、さらに、同一時間領域レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
任意選択的に、もう一つの実現方法として、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することは、参照動きベクトルに基づいて、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定することと、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む。
符号化/復号技術において、一般的に符号化/復号済みの画像を現在の符号化/復号対象の参照画像として用いる。いくつかの実施例において、さらに、1つの参照画像を構築して、参照画像と現在の符号化/復号対象の画像の類似度を向上させることができる。
例えば、動画像コンテンツには、背景がほとんど変化せず、動画像の前景だけが変化したり、動いたりする特定の符号化/復号シーンが存在する。例えば、ビデオモニタリングはこのようなシーンに属する。ビデオモニタリングのシーンでは通常、監視カメラが固定されており、または、ゆっくりと動いているだけであり、背景はほとんど変化していないと考えられる。これに対し、ビデオ監視カメラで撮影された人や車などの物体はつねに移動したり変化が発生したりし、前景はつねに変化していると考えられる。このようなシーンでは、高品質の背景情報のみを含む特定参照画像をつくることができる。該特定参照画像には複数の画像ブロックが含まれてもよく、いずれかの画像ブロックも、ある復号済みの画像から取り出され、該特定参照画像中の異なる画像ブロックは、異なる復号済みの画像から取得されることがある。フレーム間予測をする時、現在符号化/復号対象の画像の背景部分は該特定参照画像を参照することで、フレーム間予測の残差情報を減少し、それにより符号化/復号効率を向上させることができる。
以上は、特定参照画像の具体例である。いくつかの実施形態において、特定参照画像は、構造フレーム(composite reference)、長期参照画像、非出力画像のうちの少なくとも1つの性質を有する。ここでは、該非出力画像とは、出力されて表示されない画像を指し、一般に、該非出力画像は、他の画像の参照画像として存在する。例えば、該特定参照画像は、構築された長期参照画像であってもよいし、非出力構造フレームであってもよいし、非出力長期参照画像であってもよい。いくつかの実施形態において、構造フレームは合成参照フレームとも呼ばれる。
いくつかの実施形態において、非特定参照画像は、構造フレーム、長期参照画像、非出力画像のうちの少なくとも1つの性質を有していない参照画像であってもよい。例えば、該特定参照画像は、構造フレーム以外の参照画像を含んでもよいし、または長期参照画像以外の参照画像を含んでもよいし、または非出力画像以外の参照画像を含んでもよいし、または構築された長期参照画像以外の参照画像を含んでもよいし、または非出力構造フレーム以外の参照画像を含んでもよいし、または非出力長期参照画像以外の参照画像などを含んでもよい。
いくつかの実施形態において、動画像中の画像を参照画像とすることができる場合に、長期参照画像と短期参照画像とを区別することができる。ここで、短期参照画像は、長期参照画像に対応する概念である。短期参照画像は、参照画像バッファに一定時間存在し、該短期参照画像の後ろの復号済み参照画像の参照画像バッファにおけるいくつかの出入り動作の後に、短期参照画像は参照画像バッファから移り出される。参照画像バッファは参照画像リストキャッシュ、参照画像リスト、参照フレームリストキャッシュまたは参照フレームリストなどとも呼ばれてもよく、ここでは参照画像バッファと総称される。
長期参照画像(または長期参照画像中のデータの一部)は、つねに参照画像バッファ内に存在することができ、該長期参照画像(または長期参照画像中のデータの一部)は、復号された参照画像の参照画像バッファ内での出入り動作の影響を受けず、復号側で更新命令を送信する操作をした場合にのみ、該長期参照画像(または長期参照画像中のデータの一部)が参照画像バッファから移り出される。
短期参照画像と長期参照画像の異なる標準規格での呼び方は異なることがあり、例えば、H.264/高度動画像符号化(advanced video coding、AVC)またはH.265/HEVCなどの規格では、短期参照画像は短期参照フレーム(short-term reference)と呼ばれ、長期参照画像は長期参照フレーム(long-term reference)と呼ばれる。また、ソース符号化規格(audio video coding standard、AVS)1-P2、AVS2-P2、電気電子技術者協会(institute of electrical and electronics engineers、IEEE)1857.9-P4などの規格において、長期参照画像はバックグラウンドフレーム(background picture)と呼ばれる。また、VP8、VP9などの規格において、長期参照画像はゴールデンフレーム(golden frame)と呼ばれる。
なお、本出願の実施例では特定用語を用いているが、特定のシーンに適用しなければならないことを表すものではない。例えば、長期参照画像を長期参照フレームと呼ぶことは、H.264/AVCまたはH.265/HEVCなどの規格に対応する技術に適用しなければならないことを表すものではない。
以上のような長期参照画像は、複数の復号済みの画像から取り出された画像ブロック構造から得たものであってもよく、または複数の復号済みの画像を用いて既存の参照フレーム(例えば、予め記憶された参照フレーム)を更新して得たものであってもよい。当然ながら、該構造的な特定参照画像は短期参照画像であってもよい。または、長期参照画像は構造的な参照画像ではない場合もある。
上記の実施形態において、特定参照画像は長期参照画像を含んでもよく、非特定参照画像は短期参照画像を含んでもよい。
任意選択的に、参照フレームのタイプは、特殊なフィールドによって、コードストリーム構造内で識別することができる。
任意選択的に、参照画像が長期参照画像と確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定された場合に、該参照画像を特定参照画像と確定し、または、参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定し、または、参照画像が非出力フレームと確定されており、さらに該参照画像が構造フレームと確定された場合、該参照画像を特定参照画像と確定する。
任意選択的に、各種の参照画像は、それぞれの識別子を有していてもよい。この場合、復号側にとって、参照画像が有する識別子に基づいて、該参照画像が特定参照画像であるか否かを確定することができる。
いくつかの実施形態において、参照画像が長期の参照画像の識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が非出力識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像が構造フレームの識別子を有すると確定した場合、該参照画像が特定参照画像であると確定する。
いくつかの実施形態において、参照画像は、長期参照画像の識別子、非出力識別子、構造フレームまたは合成参照フレームの識別子という三つの識別子のうちの少なくとも二つの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。例えば、参照画像が非出力識別子を有すると確定し、かつ参照画像が構造フレームの識別子を有すると確定した場合、参照画像が特定参照画像であると確定する。
具体的に、画像は、出力フレームであるか否かを示す識別子を有していてもよく、ある画像が出力されないと示された場合、該フレームが参照画像であることを示しており、さらに、該フレームが構造フレームの識別子を有しているか否かを判定し、そうであれば、前記参照画像が特定参照画像であると確定する。ある画像が出力されると示された場合に、構造フレームであるか否かの判断は行わず、該フレームが特定参照画像ではないことを直接確定することができる。あるいは、画像が出力されないと示されていても、構造フレームではないとの識別子を有する場合に、該フレームが特定参照画像ではないと確定することができる。
任意選択的に、画像ヘッダ(picture header)、画像パラメータセット(PPS、picture parameter set)、スライスヘッダ(slice header)からパラメータを解析して前記参照画像が以下の条件のうちの1つを満たしていることを確定した場合、前記参照画像が特定参照画像であることを確定する。
つまり、前記参照画像は長期参照画像であること、
前記参照画像は構造参照画像であること、
前記参照画像は非出力画像であることであり、
前記参照画像は非出力画像の場合、さらに前記参照画像が構造参照画像であると判断する。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第1画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第1画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第1画像ブロックと該第1画像ブロックの時間領域参照ブロック(または関連ブロック)が異なる画像上に位置することである。そこで、該時間領域参照ブロック(または関連ブロック)の動きベクトルを利用して第1画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック(または関連ブロック)の動きベクトルをスケーリングする必要があることがある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ATMVP技術をAMVP候補リストの構築に応用する場合、ATMVP技術に基づいて、現在画像ブロックの関連ブロックの動きベクトルを確定する時、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づいて、現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づいて、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはMV 2と呼ばれ、該動きベクトルMV 2が指す参照画像の参照フレームインデックス値はxと呼ばれる。ここでは、該参照フレームインデックス値xはMV 2が指す参照画像の順序番号(例えばPOC)と該関連ブロックが位置する画像の順序番号との差である。第1画像ブロックの参照画像の参照フレームインデックス値はyと呼ばれる。ここでは、該参照フレームインデックス値yは第1画像ブロックの参照画像の順序番号と該第1画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルMV 2に対する縮尺はy/xである。任意選択的に、動きベクトルMV 2とy/xの積を第1画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルMV 2が特定参照画像を指す場合、または、第1の画像ブロックの参照画像が特定参照画像である場合には、特定参照画像と第1の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルMV 2に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定することを放棄する。
いくつかの実施例において、ステップS120は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の特定動きベクトル候補に基づいて動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の特定動きベクトル候補と処理前の特定動きベクトル候補は同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
いくつかの実施例において、ステップS120は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて参照動きベクトルを確定することを含む。この場合、任意選択的に、該方法はさらに、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、特定動きベクトル候補に基づいて動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
N個の動きベクトル候補のうち参照フレームと現在フレームの同位フレームが同じである動きベクトル候補が走査されていない場合、N個の動きベクトル候補のうち1つの動きベクトル候補にスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトル候補を現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
図4に示すように、本出願の実施例は動画像動きベクトルを取得する方法をさらに提供し、該方法は以下のステップを含む。
S410、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得する。
ステップS410は以上の記載で説明されるステップS110に対応し、具体的な説明は以上の記載を参照し、ここでは再び説明しない。
S420、M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定する。
オプションの実施形態として、M個の動きベクトル候補のうちの一部の動きベクトル候補を順次走査し、走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定する。このような実施形態で、ステップS420は以上の記載で説明されるステップS120に対応でき、具体的な説明は以上の記載を参照する。
もう1つのオプションの実施形態として、M個の動きベクトル候補のうちの全ての動きベクトル候補を順次走査し、走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定する。
なお、ステップS420において、走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定する具体的な方式は以上の実施例での関連説明を参照でき、ここでは再び説明しない。
S430、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。
S440、参照動きベクトルに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定する。
現在画像ブロックの参照画像は現在画像ブロックの同位フレームであってもよい。
S450、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定する。
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間領域レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間領域レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間領域レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、現在画像ブロックを符号化する時、さらに、同一時間領域レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
任意選択的に、ステップS420において、少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定する。
走査された1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定することは、1つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとすることを含む。
任意選択的に、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、ステップS450は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップS450は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて、ベクトルの候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む。
したがって、図4に示される実施例では、現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
以上、図1および図4に関連して、本出願の方法の実施例を説明した。以下、上記方法の実施例に対応する装置の実施例について説明する。なお、装置の実施例の説明と、方法の実施例の説明は互いに対応しているので、詳細に説明されていないものについては、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない。
図5は本出願の実施例によって提供される動画像処理装置500の概略的ブロック図である。該装置500は図1に示される方法の実施例を実行するために用いられる。該装置500は以下のユニットを含む。
取得ユニット510であって、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
確定ユニット520であって、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定するために用いられ、NがMより小さい。
確定ユニット520は、さらに、参照動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定するために用いられる。
確定ユニット520はさらに、動きベクトル候補リストに基づいて、現在画像ブロックの動きベクトルを確定するために用いられる。
従来のATMVP技術のステップ1において、動きベクトル候補リスト中の現在すでに入れられたすべての動きベクトル候補を走査することによって、現在画像ブロックの時間領域ベクトルを取得する。例えば、動きベクトル候補リストは通常4つの動きベクトル候補で埋められると、次の状況が発生する可能性がある。現在の画像ブロックの時間領域ベクトルを取得するには、4つの動きベクトル候補を走査する必要がある。
一方、本出願の実施例において、現在画像ブロックの参照動きベクトルを取得するプロセスにおいて、すでに取得されたM個の動きベクトル候補のうちのN(NはMより小さい)個の動きベクトル候補のみを順次走査し、従来技術に比べて、現在画像ブロックの参照動きベクトルを取得するプロセスにおける動きベクトル候補に対する走査回数を減少することができる。本出願により提供される解決策を従来のATMVP技術のステップ1に適用することで、それにおける冗長操作を簡略化することができることを理解されたい。
出願人は、次世代動画像符号化(Versatile Video Coding)の最新の参照ソフトウェアVTM-2.0上で、テストシーケンスとして公式通用テストシーケンスを選び、RA構成およびLDB構成のテスト構成で、本出願に提供される解決策に対してテストを行い、テスト結果によると、走査回数を減らした後、ATMVP技術の性能上の利得を維持することができる。
従って、本出願で提供される解決策は、従来のATMVP技術の性能上の利得を維持したまま、ATMVP技術の複雑さを低減することができる。
任意選択的に、1つの実施例として、取得ユニット510は、現在画像ブロックの現在フレーム内でのM個の近傍ブロックの動きベクトルに基づいて、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
任意選択的に、1つの実施例として、近傍ブロックは現在フレーム上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、1つの実施例として、確定ユニット520は、M個の動きベクトル候補のうちの前のN個の動きベクトル候補を順次走査するために用いられる。
任意選択的に、1つの実施例として、Mは4に等しく、Nは4より小さい。
任意選択的に、1つの実施例として、Nは1または2に等しい。
任意選択的に、1つの実施例として、確定ユニット520は、事前設定条件に基づいて、M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定するために用いられる。
任意選択的に、1つの実施例として、事前設定条件は、指す参照フレームと現在画像ブロックの参照画像が同じである動きベクトル候補を含む。
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定するために用いられる。
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、参照動きベクトルを確定するために用いられる。
任意選択的に、1つの実施例として、特定動きベクトル候補は、N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルである。
任意選択的に、1つの実施例として、確定ユニット520は、動きベクトル候補リスト中の特定動きベクトル候補にスケーリング処理を行い、スケーリング処理された特定動きベクトル候補が指す参照フレームは現在画像ブロックの参照画像と同じであるようにし、スケーリング処理後の特定動きベクトル候補を参照動きベクトルとするために用いられる。
任意選択的に、1つの実施例として、確定ユニット520は、N個の動きベクトル候補のうち事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を参照動きベクトルとするために用いられる。
任意選択的に、1つの実施例として、デフォルト値は動きベクトル(0,0)である。
任意選択的に、1つの実施例として、確定ユニット520は、現在画像ブロックを複数のサブ画像ブロックに分割し、参照動きベクトルに基づいて、現在画像ブロックの参照画像のうちサブ画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
任意選択的に、1つの実施例として、現在画像ブロックは1つの符号化ユニットCUである。
任意選択的に、1つの実施例として、確定ユニット520は、参照動きベクトルに基づいて、現在画像ブロックの参照画像のうち現在画像ブロックの関連ブロックを確定し、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
任意選択的に、1つの実施例として、確定ユニット520は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、1つの実施例として、確定ユニット520は、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、1つの実施例として、確定ユニット520は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の特定動きベクトル候補に基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、ここでは、処理後の特定動きベクトル候補と処理前の特定動きベクトル候補のは同じである。
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、1つの実施例として、確定ユニット520は、特定動きベクトル候補が特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、特定動きベクトル候補に基づいて、ベクトルの候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる。
任意選択的に、1つの実施例として、動きベクトル候補リストはMerge候補リストである。
任意選択的に、1つの実施例として、現在画像ブロックの参照画像は現在画像ブロックの同位フレームである。
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
なお、本実施例における取得ユニット510と確定ユニット520はいずれもプロセッサによって実現できる。
図6に示すように、本出願の実施例はさらに、動画像処理装置600を提供する。該装置600は図4に示される方法の実施例を実行するために用いられる。該装置600は以下のユニットを含む。
確定ユニット610であって、現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる。
確定ユニット620であって、M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づいて、現在画像ブロックの参照動きベクトルを確定するために用いられる。
分割ユニット630であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
確定ユニット620はさらに、参照動きベクトルに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられる。
確定ユニット620はさらに、関連ブロックの動きベクトルに基づいて、動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる。
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間領域レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。つまり、従来技術において、現在画像ブロックの符号化時に、さらに同一時間領域レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
任意選択的に、1つの実施例として、確定ユニット620は、少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定するために用いられる。
任意選択的に、1つの実施例として、確定ユニット620は、1つ目の事前設定条件に符合する動きベクトル候補を対象近傍ブロックとするために用いられる。
任意選択的に、1つの実施例として、事前設定条件は、動きベクトル候補の参照画像と現在画像ブロックの参照画像が同じであることを含む。
なお、本実施例における取得ユニット610、確定ユニット620と分割ユニット630はいずれもプロセッサによって実現できる。
以上の説明では、画像ブロックの動きベクトルは、1)該動きベクトルが指す画像、2)位移という二つの情報を含むことができる。いくつかの応用シーンにおいて、1つの画像ブロックの動きベクトルは「変位」という情報のみを含む。該画像ブロックはまた、該画像ブロックの参照画像を指示するためのインデックス情報を提供する。符号化/復号済みの画像ブロックに対し、その動きベクトルの意味は、該符号化/復号済み画像ブロックの参照ブロックの参照画像上における該符号化/復号済み画像ブロックと位置と同じでありかつ該参照画像に位置する画像ブロックに対する変位を含む。該符号化/復号済みの画像ブロックの参照ブロックを確定する時、該符号化/復号済みの画像ブロックの参照画像のインデックス情報および該符号化/復号済みの画像ブロックの動きベクトルによって該符号化/復号済みの画像ブロックの参照ブロックを確定する必要がある。以下、該動きベクトルの新しい定義(すなわち、「変位」情報を含むが「指す画像」を含まない)に対して、動画像処理方法を提供する。
図7に示すように、本出願の実施例は動画像処理方法を提供し、該方法は以下のステップを含む。
S710、現在画像ブロックのM個の近傍ブロックを確定する。
現在画像ブロックは符号化(または復号)対象の画像ブロックである。例えば、現在画像ブロックは1つの符号化ユニット(CU)である。
現在画像ブロックが位置する画像フレームは現在フレームと呼ばれる。
近傍ブロックは、現在画像において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
M個の近傍ブロックは現在フレーム内における符号化(または復号)済みの画像ブロックである。
一例として、図2に示すように、図2に示される現在画像ブロックの周囲の4つの位置A(左)→B(上)→B(右上)→A(左下)に位置する画像ブロックの順で、現在画像ブロックの4個の近傍ブロックを順次確定する。
S720、M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定し、NはMより小さい。
N個の近傍ブロックの走査結果に基づいて、対象近傍ブロックを確定するプロセスは、事前設定条件に基づいて、N個の近傍ブロックを順次判断し、判断結果に基づいて、対象近傍ブロックを確定するプロセスであってもよい。
一例として、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像と同じであることである。
ここでは、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像であり、または、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像であり、または、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
例えば、該現在画像ブロックの参照画像は現在画像ブロックの同位フレームであり、同位フレームは、スライスレベルの情報ヘッダに設定された動き情報を取得して予測するためのフレームである。
将来の技術の進化に応じて、この事前設定条件は他の異なる定義を与える可能性があり、それに応じた解決策も本出願の保護範囲に入ることを理解されたい。
以下、N個の近傍ブロックの走査結果に基づいて対象近傍ブロックを確定するプロセスを詳細に説明する。
ステップS720において、ステップS710で取得されたM個の近傍ブロックのうちのN個の近傍ブロックのみを走査し、このようにして走査の回数を減少できる。
任意選択的に、ステップS720において、M個の近傍ブロックのうちの前のN個の近傍ブロックを順次走査してもよい。
ステップS710において、予め設定された順で現在画像ブロックのM個の近傍ブロックを順次確定する時、ステップS720で取得された前のN個の近傍ブロックとは、該予め設定された順で最初に確定されたN個の近傍ブロックを指す。
任意選択的に、ステップS720において、M個の近傍ブロックのうちの最後のN個の近傍ブロックを順次走査してもよい。または、M個の近傍ブロックのうちのN個の近傍ブロックを順次走査することができる。本出願はこれに対して限定しない。
S730、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づいて、現在画像ブロックの関連ブロックを確定する。
S740、関連ブロックの動きベクトルに基づいて、現在画像ブロックを符号化/復号する。
任意選択的に、ステップS740は、関連ブロックの動きベクトルと参照画像に基づいて、現在画像ブロックの参照ブロックを確定することを含む。
例えば、ステップS740は、現在画像ブロックの候補ブロックリストを構築し、候補ブロックリスト中の候補ブロックはM個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づいて現在画像ブロックに符号化および復号を行うことを含む。
一例において、該候補ブロックリストは現在画像ブロックのmerge候補リストである。一例において、該候補ブロックリストは現在画像ブロックのAMVP候補リストである。
符号化側において、現在ブロックの候補ブロックのインデックス(index)をコードストリームに書き込む。復号側において、インデックスを取得した後、候補ブロックリストから該インデックスに対応する候補ブロックを見つけ、該候補ブロックの参照ブロックに基づいて、現在画像ブロックの参照ブロックを確定し、または、該候補ブロックの動きベクトルに基づいて、現在画像ブロックの動きベクトルを確定する。
例えば、そのまま候補ブロックの参照ブロックを現在画像ブロックの参照ブロックとして確定し、または、そのまま候補ブロックの動きベクトルを現在画像ブロックの動きベクトルとして確定する。また、例えば、符号化側は該現在ブロックのMVDをコードストリーム中に書き込む。復号側は該MVDを取得した後、該候補ブロックの動きベクトルにMVDを加えたものを現在ブロックの動きベクトルとし、続いて該動きベクトルと現在ブロックの参照画像に基づいて、現在ブロックの参照ブロックを確定する。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける候補近傍ブロックに対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、本実施例において、ステップS710では、現在画像ブロックの現在フレーム内での4個の近傍ブロックを確定し、すなわちMは4に等しい。ステップS720において、4個の近傍ブロックのうちのN個の近傍ブロックを走査し、Nは4より小さい。
例えば、Nは1に等しい。例えば、ステップS720において、4個の近傍ブロックのうちのの1つ目の近傍ブロックのみを走査する。
また、例えば、Nは2または3に等しい。
以下、ステップS720において、N個の近傍ブロックの走査結果に基づいて、対象近傍ブロックを確定する方式を説明する。
任意選択的に、ステップS720において、N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定する。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることである。
将来進化する技術では、事前条件は他の定義を与えることもあることを理解されたい。
ここでは、事前設定条件の定義は近傍ブロックの参照画像が現在画像ブロックの参照画像と同じであることを例として説明する。
例えば、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
任意選択的に、ステップS720において、N個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、該方法はさらに、M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づいて現在画像ブロックを符号化/復号することを含む。
例えば、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づいて、現在画像ブロックの参照ブロックを確定する。
任意選択的に、特定近傍ブロックは、N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
該特定近傍ブロックは、N個の近傍ブロックのうち、他の走査順で得られた近傍ブロックであってもよい。
任意選択的に、スケーリング処理後の動きベクトルに基づいて現在画像ブロックを符号化/復号することは、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとすることを含む。
任意選択的に、ステップS720において、N個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの候補参照ブロックとする。
例えば、ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
以下、ステップS730において、対象近傍ブロックの動きベクトル、現在画像ブロック、および現在画像ブロックの参照画像に基づいて、現在画像ブロックの関連ブロックを確定するプロセスを説明する。
任意選択的に、実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、現在画像ブロックの関連ブロックを確定することは、現在画像ブロックを複数のサブ画像ブロックに分割することと、対象近傍ブロックの動きベクトルに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することとを含み、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
関連ブロックはcollocated blockまたはcorresponding blockと呼ばれてもよい。
例えば、現在画像ブロックは1つのCUであり、それを分割した後に得られたサブ画像ブロックはsub-CUと呼ばれてもよい。
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64画素以上に固定される。
任意選択的に、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される。
現在のATMVP技術において、サブ画像ブロックのサイズに対してフレームレベルの適応的設定を行い、サブ画像ブロックのサイズはディフォルトで4×4であり、ある条件を満たす時、サブ画像ブロックのサイズは8×8に設定される。例えば、符号化側では、現在画像ブロックを符号化する時、同一時間領域レイヤにおける前の符号化画像ブロックのATMVPモードの符号化時にCU中の各サブ画像ブロックの平均ブロックのサイズを算出し、平均ブロックのサイズが閾値より大きい場合、現在画像ブロックのサブ画像ブロックの寸法が8×8に設定され、そうでなければデフォルト値4×4を使用する。現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。サブ画像ブロックのサイズを4×4に設定すると、該サブ画像ブロックの動きベクトルのサイズ(4×4ともする)は現在規格における動きベクトルの記憶粒度に符合しないことを理解されたい。また、現在ATMVP技術において、現在画像ブロックを符号化する時、さらに、同一時間領域レイヤにおける前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がある。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
任意選択的に、もう1つの実施形態として、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、現在画像ブロックの関連ブロックを確定することは、対象近傍ブロックの動きベクトルに基づいて、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定することを含む。
任意選択的に、ステップS740は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づいて現在画像ブロックの候補参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、ステップS740は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて現在画像ブロックの候補参照ブロックを確定することを放棄することを含む。
いくつかの実施例において、ステップS720は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づいて現在画像ブロックの参照ブロックを確定することを含み、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
ここでは、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
以上からわかるように、本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロック候補に対する走査回数を減少することができ、それにより複雑さを低下させる。
N個の近傍ブロックのうち参照フレームと現在フレームの同位フレームが同じである近傍ブロックが走査されていない場合、N個の近傍ブロックのうち1つの近傍ブロックの動きベクトルにスケーリング処理を行い、その参照フレームが現在フレームの同位フレームと同じになるようにし、続いてこのスケーリング処理された動きベクトルを現在画像ブロックの動きベクトルとすることで、現在画像ブロックの動きベクトルの正確さを向上させることができる。
現在画像ブロックをサイズ8×8のサブ画像ブロックに分割し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
本出願の実施例のいくつかの実施形態において、現在画像ブロックの動きベクトルを確定するプロセスにおいて、他の画像上のある画像ブロックの動きベクトルを利用して該画像ブロックの動きベクトルを確定することに関連する。説明の便宜上、該画像ブロックが第1画像ブロックと呼ばれ、利用しようとする他の画像上のある画像ブロックが該第1画像ブロックの時間領域参照ブロックまたは関連ブロックと呼ばれる。理解できるのは、第1画像ブロックと該第1画像ブロックの時間領域参照ブロック(または関連ブロック)が異なる画像上に位置することである。そこで、該時間領域参照ブロック(または関連ブロック)の動きベクトルを利用して第1画像ブロックの動きベクトルを確定するプロセスにおいて、該時間領域参照ブロック(または関連ブロック)の動きベクトルをスケーリングする必要がある可能性がある。説明の便宜上、本明細書では、「関連ブロック」という用語を統一して用いる。
例えば、ATMVP技術応用をAMVP候補リストの構築に応用する場合、ATMVP技術に基づいて現在画像ブロックの関連ブロックを確定した後、該関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定し、該関連ブロックの動きベクトルをスケーリングし、続いてスケーリング後の動きベクトルに基づいて現在画像ブロックの動きベクトルを確定する必要がある。一般に、関連ブロックの動きベクトルが指す参照画像と該関連ブロックが位置する画像との間の時間距離、および現在画像ブロックの参照画像と現在画像ブロックが位置する画像との間の時間距離に基づいて、該関連ブロックの動きベクトルの縮尺を確定する。
一例において、該関連ブロックの動きベクトルはMV 2と呼ばれ、該動きベクトルMV 2が指す参照画像の参照フレームインデックス値はxと呼ばれる。ここでは、該参照フレームインデックス値xはMV 2が指す参照画像の順序番号(例えばPOC)と該関連ブロックが位置する画像の順序番号との差である。第1画像ブロックの参照画像の参照フレームインデックス値はyと呼ばれる。ここでは、該参照フレームインデックス値yは第1画像ブロックの参照画像の順序番号と該第1画像ブロックが位置する画像の順序番号との差である。そこで、動きベクトルMV 2に対する縮尺はy/xである。任意選択的に、動きベクトルMV 2とy/xの積を第1画像ブロックの動きベクトルとすることができる。
しかしながら、関連ブロックの動きベクトルMV 2が特定参照画像を指す場合、または、第1の画像ブロックの参照画像が特定参照画像である場合には、特定参照画像と第1の画像ブロックが位置する画像との時間距離の定義が曖昧であるため、関連ブロックの動きベクトルMV 2に対するスケーリングには意味がない。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定し、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
例えば、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、本実施例において、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定する場合、具体的に、関連ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて現在画像ブロックの動きベクトルを確定することを放棄する。
図8に示すように、本出願の実施例は動画像処理方法をさらに提供し、該方法は以下のステップを含む。
S810、現在画像ブロックのM個の近傍ブロックを確定する。
ステップS810は上記の実施例中のステップS710に対応できる。
S820、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定する。
任意選択的に、M個の近傍ブロック中の部分近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定する。
任意選択的に、M個の近傍ブロック中の全ての近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定する。
S830、現在画像ブロックを複数のサブ画像ブロックに分割し、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
S840、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づいて、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定する。
任意選択的に、現在画像ブロックの参照画像は現在画像ブロックが位置する画像と時間距離が最も近い参照画像である。
任意選択的に、現在画像ブロックの参照画像は符号化側および復号側で予め設定された参照画像である。
任意選択的に、現在画像ブロックの参照画像は在動画像パラメータセット、シーケンスヘッダ、シーケンスパラメータセット、画像ヘッダ、画像パラメータセット、スライスヘッダ中で指定される参照画像である。
S850、関連ブロックの動きベクトルに基づいて、現在画像ブロックを符号化/復号する。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、本実施例において、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素に固定される。
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
任意選択的に、ステップS820は、少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定することを含む。
例えば、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとする。
例えば、事前設定条件の定義は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることである。
任意選択的に、ステップS840は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することを含み、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
以上、図7および図8に関連して、本出願の方法の実施例を説明した。以下、図7および図8に示す方法の実施例に対応する装置の実施例について説明する。なお、装置の実施例の説明と、方法の実施例の説明は互いに対応しているので、詳細に説明されていないものについては、上記の方法の実施例を参照してもよい。簡単化のために、ここでは、再び説明しない。
図9は本出願の実施例によって提供される動画像処理装置900の概略的ブロック図である。該装置900は図7に示される方法の実施例を実行するために用いられる。該装置900は以下のユニットを含む。
取得ユニット910であって、現在画像ブロックのM個の近傍ブロックを取得するために用いられる。
取得ユニット920であって、M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定するために用いられ、NはMより小さい。
確定ユニット920はさらに、対象近傍ブロックの動きベクトル、現在画像ブロックおよび現在画像ブロックの参照画像に基づいて、現在画像ブロックの関連ブロックを確定するために用いられる。
符号化/復号ユニット930であって、関連ブロックの動きベクトルに基づいて、現在画像ブロックを符号化/復号するために用いられる。
本出願の実施例において、現在画像ブロックの対象近傍ブロックを取得するプロセスにおいて、すでに取得されたM個の近傍ブロックのうちのN(NはMより小さい)個の近傍ブロックのみを順次走査し、従来技術に比べて、現在画像ブロックの対象近傍ブロックを取得するプロセスにおける近傍ブロック候補に対する走査回数を減少することができ、それにより複雑さを低下させる。
任意選択的に、1つの実施例として、Mは4に等しく、Nは4より小さい。
任意選択的に、1つの実施例として、Nは1または2に等しい。
任意選択的に、1つの実施例として、確定ユニット920は、M個の近傍ブロック中の前のN個の近傍ブロックを順次走査するために用いられる。
任意選択的に、1つの実施例として、取得ユニット910は、予め設定された順で現在画像ブロックのM個の近傍ブロックを順次取得し、前のN個の近傍ブロックとは、予め設定された順で最初に確定されたN個の近傍ブロックを指す。
任意選択的に、1つの実施例として、確定ユニット920は、N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づいて対象近傍ブロックを確定するために用いられる。
任意選択的に、1つの実施例として、確定ユニット920は、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、1つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることであることを含む。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの動きベクトルと参照画像に基づいて、現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、現在画像ブロックの候補ブロックリストを構築し、候補ブロックリスト中の候補ブロックはM個の近傍ブロックと関連ブロックを含み、候補ブロックリスト中の候補ブロックの参照ブロックに基づいて、現在画像ブロックを符号化および復号するために用いられる。
任意選択的に、1つの実施例として、符号化/復号ユニット930はさらに、N個の近傍ブロックにおいて事前設定条件に符合する近傍ブロックが走査されていない場合、M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルに基づいて、現在画像ブロックを符号化/復号するために用いられる。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、スケーリング処理後の動きベクトルと現在画像ブロックの参照画像に基づいて、現在画像ブロックの参照ブロックを確定するために用いられる。
任意選択的に、1つの実施例として、特定近傍ブロックは、N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、特定近傍ブロックの動きベクトルにスケーリング処理を行い、スケーリング処理後の動きベクトルが指す参照フレームと現在画像ブロックの参照画像が同じになるようにし、スケーリング処理後の動きベクトルが現在画像ブロックの参照画像で指す画像ブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、1つの実施例として、確定ユニット920は、N個の近傍ブロック中に事前設定条件に符合する近傍ブロックが走査されていない場合、ディフォルトブロックを現在画像ブロックの参照ブロックとするために用いられる。
任意選択的に、1つの実施例として、ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである。
任意選択的に、1つの実施例として、確定ユニット920は、
現在画像ブロックを複数のサブ画像ブロックに分割することと、
対象近傍ブロックの動きベクトルに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することのために用いられ、現在画像ブロックの関連ブロックはサブ画像ブロックの関連ブロックを含む。
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される。
任意選択的に、1つの実施例として、現在画像ブロックは1つの符号化ユニットCUである。
任意選択的に、1つの実施例として、確定ユニット920は、対象近傍ブロックの動きベクトルに基づいて、現在画像ブロックの参照画像中に現在画像ブロックの関連ブロックを確定するために用いられる。
任意選択的に、1つの実施例として、近傍ブロックは現在画像上において現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの参照画像が特定参照画像、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づいて、現在画像ブロックの参照ブロックを確定するために用いられ、
ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
任意選択的に、1つの実施例として、符号化/復号ユニット930は、関連ブロックの参照画像が特定参照画像、または現在ブロックの参照画像が特定参照画像である場合、関連ブロックの動きベクトルに基づいて現在画像ブロックの参照ブロックを確定することを放棄するために用いられる。
任意選択的に、1つの実施例として、確定ユニット920は、特定近傍ブロックの動きベクトルが特定参照画像を指し、または現在画像ブロックの参照画像が特定参照画像である場合、処理後の関連ブロックの動きベクトルと現在画像ブロックの参照画像に基づいて現在画像ブロックの参照ブロックを確定するために用いられ、ここでは、処理後の関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである。
任意選択的に、1つの実施例として、処理後の関連ブロックの動きベクトルは、数値が1の縮尺で関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、スケーリングステップをスキップした関連ブロックの動きベクトルを含む。
なお、本実施例における取得ユニット910、確定ユニット920と符号化/復号ユニット930はいずれもプロセッサによって実現できる。
図10に示すように、本出願の実施例はさらに、動画像処理装置1000を提供する。該装置1000は図8に示される方法の実施例を実行するために用いられる。該装置1000は以下のユニットを含む。
取得ユニット1010であって、現在画像ブロックのM個の近傍ブロックを取得するために用いられる。
確定ユニット1020であって、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定するために用いられる。
分割ユニット1030であって、現在画像ブロックを複数のサブ画像ブロックに分割するために用いられ、ここでは、サブ画像ブロックのサイズは64以上の画素に固定される。
確定ユニット1020はさらに、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づいて、現在画像ブロックの参照画像において現在画像ブロックの関連ブロックを確定するために用いられる。
符号化/復号ユニット1040であって、関連ブロックの動きベクトルに基づいて、現在画像ブロックを符号化/復号するために用いられる。
本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを64以上の画素に固定され、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、したがって、記憶空間を省くことができる。
任意選択的に、1つの実施例として、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素に固定される。
現在、次世代の動画像符号化規格(Versatile Video Coding、VVC)において、8×8のサイズで動きベクトルを記憶する。本出願の実施例において、現在画像ブロックのサブ画像ブロックのサイズを8×8に設定し、動画像標準規格VVCで規定された動きベクトルの記憶粒度に適応させることができる一方、前の符号化済みの画像ブロックのサブ画像ブロックのサイズの情報を記憶する必要がなく、そのため、記憶空間を省くことができる。
なお、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズが64画素に固定されることを保証する前提で、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはさらに、他の寸法であってもよく、例えばサブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズはA×B、A≦64、B≦64であり、AとBはともに4の整数である。例えば、サブ画像ブロックのサイズおよび/またはサブ画像ブロックの関連ブロックのサイズは4×16画素、または16×4画素である。
任意選択的に、1つの実施例として、M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定することは、少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ走査した1つ目の事前設定条件に符合する近傍ブロックに基づいて対象近傍ブロックを確定することを含む。
任意選択的に、1つの実施例として、確定ユニット1020は、1つ目の事前設定条件に符合する近傍ブロックを対象近傍ブロックとするために用いられる。
任意選択的に、1つの実施例として、事前設定条件は、近傍ブロックの参照画像と現在画像ブロックの参照画像が同じであることを含む。
任意選択的に、1つの実施例として、確定ユニット1020は、対象近傍ブロックの動きベクトルおよびサブ画像ブロックに基づいて、現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定するために用いられ、ここでは、現在画像ブロックの関連ブロックは、サブ画像ブロックの関連ブロックを含む。
なお、本実施例における取得ユニット1010、確定ユニット1020、分割ユニット1030と符号化/復号ユニット1040はいずれもプロセッサによって実現できる。
図11に示すように、本出願の実施例はさらに、動画像処理装置1100を提供する。装置1100は以上で説明される方法の実施例を実行するために用いてもよい。装置1100はプロセッサ1110、メモリ1120を含み、メモリ1120は命令を記憶するために用いられ、プロセッサ1110はメモリ1120に記憶された命令を実行し、かつ、メモリ1120に記憶された命令の実行によってプロセッサ1110に上記の方法の実施例による方法を実行させるために用いられる。
任意選択的に、図11に示すように、該装置1100は、外部装置と通信するための通信インターフェース1130を含むことができる。例えば、プロセッサ1110は、信号の受信および/または送信を行うように通信インターフェース1130を制御するために用いられる。
本出願で提供される装置500、600、900、1000および1100はコーダに応用されてもよく、デコーダに応用されてもよい。
本出願の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがコンピュータに実行されるときコンピュータに上記方法の実施例で提供される方法を実行させる。
本出願の実施例は命令を含むコンピュータプログラム製品をさらに提供し、該指令がコンピュータにより実行される時、コンピュータに上記方法の実施例で提供される方法を実行させる。
上記実施例において、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせにより全部または一部で実施することができる。ソフトウェアで実現する場合、コンピュータプログラム製品の形で全部或いは一部で実現することができる。前記コンピュータプログラム製品は1つのまたは複数のコンピュータ命令を含む。コンピュータに前記コンピュータ命令をアップロードして実行すると、本出願の実施例による前記プロセスまたは機能の全部または一部が生成される。前記コンピュータは汎用コンピュータ、特殊用途コンピュータ、コンピュータネットワーク、または他プログラマブル装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、あるいは、あるコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、あるウェブサイト、コンピュータ、サーバ、またはデータセンタから有線(例えば、同軸ケーブル、光ファイバ、デジタル加入者回線(digital subscriber line,DSL)または無線(例えば、赤外線、無線、マイクロ波など)の方式で別のサイト、コンピュータ、サーバ、またはデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、1つまたは複数の利用可能な媒体が統合されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は磁気媒体(例えば、フロッピーディスク、ハードディスク、テープ)、光媒体(例えばデジタル・ビデオ・ディスク(digital video disc、DVD))、または半導体媒体(例えば、ソリッドステートドライブ(solid state disk、SSD))などであってもよい。
当業者であれば、本明細書に開示された実施例に関連して記載された各例のユニットおよびアルゴリズムステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現可能であることを認識することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的解決策の特定応用と設計制約に依存する。当業者は、特定応用ごとに異なる方法を使用して、説明されている機能を実現できるが、その実現は本出願の範囲外とは見なすべきではない。
本明細書で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現可能であることを理解されたい。例えば、以上に記述された装置の実施例は概略的なものであるに過ぎず、例えば、前記ユニットの区分は、論理的機能区分であるに過ぎず、実際に実現する際には他の区分方式があってよく、例えば、複数のユニットまたはアセンブリは結合してもよいか、もしくは、他のシステムに一体化してもよく、または、いくつかの特徴は無視してもよく、または実行しなくてもよい。そして、表示または検討した相互結合または直接結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
前記分離部材として説明したユニットは、物理的に分離しても物理的に分離しなくてもよく、ユニットとして表す部材は、物理ユニットであっても物理ユニットではなくてもよく、すなわち一つの場所に位置してもよいか、または複数のネットワークユニットに分布してもよい。実際の需要に応じて、そのうちの一部または全部のユニットを選択して本実施例の解決策の目的を実現することができる。
また、本明細書の各実施例における各機能ユニットは、1つの処理ユニットに集積されてもよいし、各ユニットが個別に物理的に存在してもよいし、2つ以上のユニットが1つのユニットに集積されてもよい。
以上のように、本出願の発明を実施するための形態にすぎず、本出願の保護範囲は、これに限定されるものではなく、当業者であれば、本出願において開示されている技術範囲内において、容易に変更または交換を行うことができるものであれば、本出願の保護範囲内に含まれるものである。したがって、本出願の保護範囲は、前記の特許請求の範囲に準じるものとする。
(項目1)
動画像の動きベクトルを取得する方法であって、
現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することと、
前記M個の動きベクトル候補のうちのMより小さいN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定することと、
前記参照動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することと、
前記動きベクトル候補リストに基づいて、前記現在画像ブロックの動きベクトルを確定することとを含む動画像の動きベクトルを取得する方法。
(項目2)
前記現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することは、
現在画像ブロックの現在フレーム内でのM個の近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することを含む項目1に記載の方法。
(項目3)
前記近傍ブロックは現在フレームにおいて前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである項目2に記載の方法。
(項目4)
前記の前記M個の動きベクトル候補のうちN個の動きベクトル候補を順次走査することは、
前記M個の動きベクトル候補のうち前のN個の動きベクトル候補を順次走査することを含む項目2または3に記載の方法。
(項目5)
Mは4に等しく、前記Nは4より小さい項目1~4のいずれか一項に記載の方法。
(項目6)
Nは1または2に等しい項目5に記載の方法。
(項目7)
前記の前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定することは、
事前設定条件に基づいて、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、前記参照動きベクトルを確定することを含む項目1~6のいずれか一項に記載の方法。
(項目8)
前記事前設定条件は、
指す参照フレームと前記現在画像ブロックの参照画像が同じである動きベクトル候補を含む項目7に記載の方法。
(項目9)
前記の事前設定条件に基づいて、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、前記参照動きベクトルを確定することは、
前記N個の動きベクトル候補を順次走査し、1つ目の前記事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ前記走査した1つ目の前記事前設定条件に符合する動きベクトル候補に基づいて、前記参照動きベクトルを確定することを含む項目7または8に記載の方法。
(項目10)
前記の事前設定条件に基づいて、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、前記参照動きベクトルを確定することは、
前記N個の動きベクトル候補のうち前記事前設定条件に符合する動きベクトル候補が走査されていない時、前記動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、前記参照動きベクトルを確定することを含む項目7または8に記載の方法。
(項目11)
前記特定動きベクトル候補は、前記N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルである項目10に記載の方法。
(項目12)
前記の前記動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、前記参照動きベクトルを確定することは、
前記動きベクトル候補リストにおける特定動きベクトル候補にスケーリング処理を行って、前記スケーリング処理後の特定動きベクトル候補が指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにすることと、
前記スケーリング処理後の特定動きベクトル候補を前記参照動きベクトルとすることを含む項目10または11に記載の方法。
(項目13)
前記の事前設定条件に基づいて、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、前記参照動きベクトルを確定することは、
前記N個の動きベクトル候補のうち前記事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を前記参照動きベクトルとすることを含む項目7または8に記載の方法。
(項目14)
前記デフォルト値は動きベクトル(0,0)である項目13に記載の方法。
(項目15)
前記の前記参照動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することは、
前記現在画像ブロックを複数のサブ画像ブロックに分割することと、
前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む項目1~14のいずれか一項に記載の方法。
(項目16)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される項目15に記載の方法。
(項目17)
前記現在画像ブロックは1つの符号化ユニットCUである項目15に記載の方法。
(項目18)
前記の前記参照動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定することは、
前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む項目1~14のいずれか一項に記載の方法。
(項目19)
前記の前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することは、
前記関連ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを含み、
前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目15~18のいずれか一項に記載の方法。
(項目20)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目19に記載の方法。
(項目21)
前記の前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することは、
前記関連ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む項目15~18のいずれか一項に記載の方法。
(項目22)
前記方法はさらに、
前記特定動きベクトル候補が特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記処理後の前記特定動きベクトル候補に基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを含み、
前記処理後の前記特定動きベクトル候補と処理前の特定動きベクトル候補は同じである項目10~12のいずれか一項に記載の方法。
(項目23)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目22に記載の方法。
(項目24)
前記方法はさらに、
前記特定動きベクトル候補が特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記特定動きベクトル候補に基づいて前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄することを含む項目10~12のいずれか一項に記載の方法。
(項目25)
前記動きベクトル候補リストはMerge候補リストである項目1~24のいずれか一項に記載の方法。
(項目26)
前記現在画像ブロックの参照画像は前記現在画像ブロックの同位フレームである項目1~25のいずれか一項に記載の方法。
(項目27)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される項目15に記載の方法。
(項目28)
動画像の動きベクトルを取得する方法であって、
現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得することと、
前記M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、前記走査結果に基づいて、前記現在画像ブロックの参照動きベクトルを確定することと、
前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割することと、
前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することとを含む動画像の動きベクトルを取得する方法。
(項目29)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される項目28に記載の方法。
(項目30)
前記M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定することは、
前記少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する動きベクトル候補に基づいて参照動きベクトルを確定することを含む項目28に記載の方法。
(項目31)
前記の前記走査された前記1つ目の事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定することは、
前記1つ目の事前設定条件に符合する動きベクトル候補を前記対象近傍ブロックとすることを含項目30に記載の方法。
(項目32)
前記事前設定条件は、
動きベクトル候補の参照画像と前記現在画像ブロックの参照画像が同じであることを含む項目30に記載の方法。
(項目33)
動画像処理方法であって、
現在画像ブロックのM個の近傍ブロックを取得することと、
前記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することと、
前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することとを含む動画像処理方法。
(項目34)
Mは4に等しく、前記Nは4より小さい項目33に記載の方法。
(項目35)
Nは1または2に等しい項目34に記載の方法。
(項目36)
前記の前記M個の近傍ブロックのうちN個の近傍ブロックを順次走査することは、
前記M個の近傍ブロックのうち前のN個の近傍ブロックを順次走査することを含む項目33~35のいずれか一項に記載の方法。
(項目37)
前記の現在画像ブロックのM個の近傍ブロックを取得することは、
予め設定された順で現在画像ブロックのM個の近傍ブロックを順次取得することとを含み、
前記前のN個の近傍ブロックとは、前記予め設定された順で最初に確定されたN個の近傍ブロックを指す項目36に記載の方法。
(項目38)
前記の前記M個の近傍ブロックのうちのN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することは、
前記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定することを含む項目33~37のいずれか一項に記載の方法。
(項目39)
前記の前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定することは、
前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む項目38に記載の方法。
(項目40)
前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む項目39に記載の方法。
(項目41)
前記の前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記関連ブロックの動きベクトルと参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定することを含む項目33~40のいずれか一項に記載の方法。
(項目42)
前記の前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記現在画像ブロックの候補ブロックリストを構築し、前記候補ブロックリストにおける候補ブロックは前記M個の近傍ブロックと前記関連ブロックを含み、
前記候補ブロックリストにおける候補ブロックの参照ブロックに基づいて、前記現在画像ブロックを符号化/復号することを含む項目41に記載の方法。
(項目43)
前記方法はさらに、
前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づいて前記現在画像ブロックを符号化/復号することを含む項目33~42のいずれか一項に記載の方法。
(項目44)
前記の前記スケーリング処理後の動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定することを含む項目43に記載の方法。
(項目45)
前記特定近傍ブロックは、前記N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックであることを含む項目43に記載の方法。
(項目46)
前記の前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにすることと、
前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとすることとを含む項目43に記載の方法。
(項目47)
前記方法はさらに、
前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとすることを含む項目33~42のいずれか一項に記載の方法。
(項目48)
前記ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである項目47に記載の方法。
(項目49)
前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定することは、
前記現在画像ブロックを複数のサブ画像ブロックに分割することと、
前記対象近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することを含み、前記現在画像ブロックの関連ブロックは前記サブ画像ブロックの関連ブロックを含む項目33~48のいずれか一項に記載の方法。
(項目50)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される項目49に記載の方法。
(項目51)
前記現在画像ブロックは1つの符号化ユニットCUである項目33~50のいずれか一項に記載の方法。
(項目52)
前記の前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定する項目33~45のいずれか一項に記載の方法。
(項目53)
前記近傍ブロックは、前記現在画像において前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである項目33~52のいずれか一項に記載の方法。
(項目54)
前記の前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記関連ブロックの参照画像が特定参照画像または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づいて前記現在画像ブロックの参照ブロックを確定することを含み、
前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目33から53のいずれか一項に記載の方法。
(項目55)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを特徴とする項目54に記載の方法。
(項目56)
前記の前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することは、
前記関連ブロックの参照画像が特定参照画像、または前記現在のブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づいて前記現在画像ブロックの参照ブロックを確定することを放棄することを含む項目33~53のいずれか一項に記載の方法。
(項目57)
前記方法はさらに、
前記特定近傍ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定することをさらに含み、
前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目43~46のいずれか一項に記載の方法。
(項目58)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目57に記載の方法。
(項目59)
動画像処理方法であって、
現在画像ブロックのM個の近傍ブロックを取得することと、
前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することと、
前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割することと、
前記対象近傍ブロックの動きベクトルおよび前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することと、
前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号することとを含む動画像処理方法。
(項目60)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素、または16×4画素または4×16画素に固定される項目59に記載の方法。
(項目61)
前記の前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することは、
前記少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定することを含む項目59に記載の方法。
(項目62)
前記の前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて対象近傍ブロックを確定することは、
前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとすることを含む項目61に記載の方法。
(項目63)
前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることであることを含む項目61に記載の方法。
(項目64)
前記対象近傍ブロックの動きベクトルおよびその前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定することは、
前記対象近傍ブロックの動きベクトルおよびその前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記サブ画像ブロックの関連ブロックを確定することを含み、
前記現在画像ブロックの関連ブロックは、前記サブ画像ブロックの関連ブロックを含む項目59に記載の方法。
(項目65)
動画像の動きベクトルを取得する装置であって、
現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる取得ユニットと、
前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、参照動きベクトルを確定するために用いられ、NがMより小さい確定ユニットとを含み、
前記確定ユニットはさらに、前記参照動きベクトル、前記現在画像ブロックおよび前記現在画像ブロックの参照画像に基づいて、前記動きベクトル候補リストに引き続き入れられる動きベクトル候補を確定するために用いられ、
前記確定ユニットはさらに、前記動きベクトル候補リストに基づいて、前記現在画像ブロックの動きベクトルを確定するために用いられる動画像の動きベクトルを取得する装置。
(項目66)
前記取得ユニットは、現在画像ブロックの現在フレーム内でのM個の近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる項目65に記載の装置。
(項目67)
前記近傍ブロックは現在フレームにおいて前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである項目66に記載の装置。
(項目68)
前記確定ユニットは、前記M個の動きベクトル候補のうち前のN個の動きベクトル候補を順次走査するために用いられる項目66または67に記載の装置。
(項目69)
Mは4に等しく、前記Nは4より小さい項目65~68のいずれか一項に記載の装置。
(項目70)
Nは1または2に等しい項目69に記載の装置。
(項目71)
前記確定ユニットは事前設定条件に基づいて、前記M個の動きベクトル候補のうちのN個の動きベクトル候補を順次走査し、走査結果に基づいて、前記参照動きベクトルを確定するために用いられる項目65~70のいずれか一項に記載の装置。
(項目72)
前記事前設定条件は、
指す参照フレームと前記現在画像ブロックの参照画像が同じである動きベクトル候補を含む項目71に記載の装置。
(項目73)
前記確定ユニットは前記N個の動きベクトル候補を順次走査し、1つ目の前記事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ前記走査した1つ目の前記事前設定条件に符合する動きベクトル候補に基づいて、参照動きベクトルを確定するために用いられる項目71または72に記載の装置。
(項目74)
前記確定ユニットは前記N個の動きベクトル候補のうち前記事前設定条件に符合する動きベクトル候補が走査されていない時、前記動きベクトル候補リスト中の特定動きベクトル候補に対してスケーリング処理を行い、スケーリング処理後の特定動きベクトル候補に基づいて、前記参照動きベクトルを確定するために用いられる項目71または72に記載の装置。
(項目75)
前記特定動きベクトル候補は、前記N個の動きベクトル候補のうち、走査順で得られた1つ目の動きベクトルまたは最後の動きベクトルである項目74に記載の装置。
(項目76)
前記確定ユニットは前記運動ベクトル候補リストにおける特定動きベクトル候補にスケーリング処理を行って、前記スケーリング処理後の特定動きベクトル候補が指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、前記スケーリング処理後の特定動きベクトル候補を前記参照動きベクトルとするために用いられる項目74または75に記載の装置。
(項目77)
前記確定ユニットは、前記N個の動きベクトル候補のうち前記事前設定条件に符合する動きベクトル候補が走査されていない時、デフォルト値を前記参照動きベクトルとするために用いられる項目71または72に記載の装置。
(項目78)
前記デフォルト値は動きベクトル(0,0)である項目77に記載の装置。
(項目79)
前記確定ユニットは、前記現在画像ブロックを複数のサブ画像ブロックに分割し、前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定し、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる項目65~78のいずれか一項に記載の装置。
(項目80)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される項目79に記載の装置。
(項目81)
前記現在画像ブロックは1つの符号化ユニットCUである項目79に記載の装置。
(項目82)
前記確定ユニットは、前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記現在画像ブロックの関連ブロックを確定し、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる項目65~78のいずれか一項に記載の装置。
(項目83)
前記確定ユニットは前記関連ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目79~82のいずれか一項に記載の装置。
(項目84)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目83に記載の装置。
(項目85)
前記確定ユニットは前記関連ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる項目79~82のいずれか一項に記載の装置。
(項目86)
前記確定ユニットは前記特定動きベクトル候補が特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記特定動きベクトル候補に基づいて前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられ、前記処理後の前記特定動きベクトル候補と処理前の特定動きベクトル候補は同じである項目74~76のいずれか一項に記載の装置。
(項目87)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目86に記載の装置。
(項目88)
前記確定ユニットは前記特定動きベクトル候補が特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記特定動きベクトル候補に基づいて前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定することを放棄するために用いられる項目74~76のいずれか一項に記載の装置。
(項目89)
前記動きベクトル候補リストはMerge候補リストである項目65~88のいずれか一項に記載の装置。
(項目90)
前記現在画像ブロックの参照画像は前記現在画像ブロックの同位フレームである項目65~89のいずれか一項に記載の装置。
(項目91)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される項目79に記載の装置。
(項目92)
動画像の運動ベクトルを取得する装置であって、
現在画像ブロックの動きベクトル候補リストに入れられるM個の動きベクトル候補を取得するために用いられる取得ユニットと、
前記M個の動きベクトル候補のうちの少なくとも一部の動きベクトル候補を順次走査し、走査結果に基づいて、前記現在画像ブロックの参照動きベクトルを確定するために用いられる確定ユニットと、
前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割するために用いられる分割ユニットとを含み、
前記確定ユニットはさらに、前記参照動きベクトルに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定するために用いられ、
前記確定ユニットはさらに、前記関連ブロックの動きベクトルに基づいて、前記動きベクトル候補リストに引き続き入れる動きベクトル候補を確定するために用いられる動画像の運動ベクトルを取得する装置。
(項目93)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズはいずれも8×8画素に固定される項目92に記載の装置。
(項目94)
前記確定ユニットは前記少なくとも一部の動きベクトル候補を順次走査し、1つ目の事前設定条件に符合する動きベクトル候補まで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する動きベクトル候補に基づいて参照動きベクトルを確定するために用いられる項目92に記載の装置。
(項目95)
前記確定ユニットは前記1つ目の事前設定条件に符合する動きベクトル候補を前記対象近傍ブロックとするために用いられる項目94に記載の装置。
(項目96)
前記事前設定条件は、動きベクトル候補の参照画像と前記現在画像ブロックの参照画像が同じであることを含む項目94に記載の装置。
(項目97)
動画像処理装置であって、
現在画像ブロックのM個の近傍ブロックを取得するために用いられる取得ユニットと、
前記M個の近傍ブロックのうち、Mより小さいN個の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定するために用いられる確定ユニットであって、さらに、前記対象近傍ブロックの動きベクトル、前記現在画像ブロック、および前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの関連ブロックを確定するために用いられるものと、
前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号するために用いられる符号化/復号ユニットとを含む動画像処理装置。
(項目98)
Mは4に等しく、前記Nは4より小さい項目97に記載の装置。
(項目99)
Nは1または2に等しい項目98に記載の装置。
(項目100)
前記確定ユニットは前記M個の近傍ブロックのうち前のN個の近傍ブロックを順次走査するために用いられる項目97~99のいずれか一項に記載の装置。
(項目101)
前記取得ユニットは予め設定された順で現在画像ブロックのM個の近傍ブロックを順次取得するために用いられ、
前記前のN個の近傍ブロックとは、前記予め設定された順で最初に確定されたN個の近傍ブロックを指す項目100に記載の装置。
(項目102)
前記確定ユニットは前記N個の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定するために用いられる項目97~101のいずれか一項に記載の装置。
(項目103)
前記確定ユニットは前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとするために用いられる項目102に記載の装置。
(項目104)
前記事前設定条件は、
近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることであることを含む項目103に記載の装置。
(項目105)
前記符号化/復号ユニットは、前記関連ブロックの動きベクトルと参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定するために用いられる項目97~104のいずれか一項に記載の装置。
(項目106)
前記符号化/復号ユニットは、前記現在画像ブロックの候補ブロックリストを構築し、前記候補ブロックリスト中の候補ブロックは前記M個の近傍ブロックと前記関連ブロックを含み、前記候補ブロックリストにおける候補ブロックの参照ブロックに基づいて、前記現在画像ブロックを符号化/復号するために用いられる項目105に記載の装置。
(項目107)
前記符号化/復号ユニットはさらに、前記N個の近傍ブロックにおいて前記事前設定条件に符合する近傍ブロックが走査されていない場合、前記M個の近傍ブロック中の特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルに基づいて、前記現在画像ブロックを符号化/復号するために用いられる項目97~106のいずれか一項に記載の装置。
(項目108)
前記符号化/復号ユニットは、前記スケーリング処理後の動きベクトルと前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定するために用いられる項目107に記載の装置。
(項目109)
前記特定近傍ブロックは、前記N個の近傍ブロックのうち、走査順で得られた1つ目近傍ブロックまたは最後の近傍ブロックである項目107に記載の装置。
(項目110)
前記符号化/復号ユニットは、前記特定近傍ブロックの動きベクトルにスケーリング処理を行い、前記スケーリング処理後の動きベクトルが指す参照フレームが前記現在画像ブロックの参照画像と同じになるようにし、前記スケーリング処理後の動きベクトルの前記現在画像ブロックの参照画像中で指す画像ブロックを前記現在画像ブロックの参照ブロックとするために用いられる項目107に記載の装置。
(項目111)
前記確定ユニットは、前記N個の近傍ブロック中に前記事前設定条件に符合する近傍ブロックが走査されていない場合、デフォルトブロックを前記現在画像ブロックの参照ブロックとするために用いられる項目97~106のいずれか一項に記載の装置。
(項目112)
前記ディフォルトブロックは動きベクトル(0,0)が指す画像ブロックである項目111に記載の装置。
(項目113)
前記確定ユニットは、
前記現在画像ブロックを複数のサブ画像ブロックに分割することと、
前記対象近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの参照画像においてサブ画像ブロックの関連ブロックを確定することとのために用いられ、前記現在画像ブロックの関連ブロックは前記サブ画像ブロックの関連ブロックを含む項目97~112のいずれか一項に記載の装置。
(項目114)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの関連ブロックのサイズは64以上の画素に固定される項目113に記載の装置。
(項目115)
前記現在画像ブロックは1つの符号化ユニットCUである項目97~114のいずれか一項に記載の装置。
(項目116)
前記確定ユニットは、前記対象近傍ブロックの動きベクトルに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定するために用いられる項目97~109のいずれか一項に記載の装置。
(項目117)
前記近傍ブロックは、前記現在画像において前記現在画像ブロックの位置に隣接しまたはある位置ピッチを有する画像ブロックである項目97~116のいずれか一項に記載の装置。
(項目118)
前記符号化/復号ユニットは、前記関連ブロックの参照画像が特定参照画像、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づいて、前記現在画像ブロックの参照ブロックを確定するために用いられ、
前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目97~117のいずれか一項に記載の装置。
(項目119)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目118に記載の装置。
(項目120)
前記符号化/復号ユニットは、前記関連ブロックの参照画像が特定参照画像、または現在のブロックの参照画像が特定参照画像である場合、前記関連ブロックの動きベクトルに基づいて前記現在画像ブロックの参照ブロックを確定することを放棄するために用いられる項目97~117のいずれか一項に記載の装置。
(項目121)
前記確定ユニットは、
前記近傍ブロックの動きベクトルが特定参照画像を指し、または前記現在画像ブロックの参照画像が特定参照画像である場合、処理後の前記関連ブロックの動きベクトルと前記現在画像ブロックの参照画像に基づいて前記現在画像ブロックの参照ブロックを確定するために用いられ、
前記処理後の前記関連ブロックの動きベクトルと処理前の関連ブロックの動きベクトルは同じである項目107~110のいずれか一項に記載の装置。
(項目122)
前記処理後の前記関連ブロックの動きベクトルは、
数値が1の縮尺で前記関連ブロックの動きベクトルをスケーリングした後に得られた動きベクトル、または、
スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む項目121に記載の装置。
(項目123)
動画像処理装置であって、
現在画像ブロックのM個の近傍ブロックを取得するために用いられる取得ユニットと、
前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて対象近傍ブロックを確定するために用いられる確定ユニットであって、さらに、前記対象近傍ブロックの動きベクトルおよび前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において、前記現在画像ブロックの関連ブロックを確定するために用いられるものと、
前記現在画像ブロックをサイズが64以上の画素に固定される複数のサブ画像ブロックに分割するために用いられる分割ユニットと、
前記関連ブロックの動きベクトルに基づいて、前記現在画像ブロックを符号化/復号するために用いられる符号化/復号ユニットとを含む動画像処理装置。
(項目124)
前記サブ画像ブロックのサイズおよび/または前記サブ画像ブロックの時間領域参照ブロックのサイズはいずれも8×8画素に固定される123に記載の装置。
(項目125)
前記の前記M個の近傍ブロック中の少なくとも一部の近傍ブロックを順次走査し、走査結果に基づいて、対象近傍ブロックを確定することは、
前記少なくとも一部の近傍ブロックを順次走査し、1つ目の事前設定条件に符合する近傍ブロックまで走査すると、走査を停止し、かつ前記走査した前記1つ目の事前設定条件に符合する近傍ブロックに基づいて、対象近傍ブロックを確定することを含む項目123に記載の装置。
(項目126)
前記確定ユニットは、前記1つ目の事前設定条件に符合する近傍ブロックを前記対象近傍ブロックとするために用いられる項目125に記載の装置。
(項目127)
前記事前設定条件は、近傍ブロックの参照画像と前記現在画像ブロックの参照画像が同じであることを含む項目125に記載の装置。
(項目128)
前記確定ユニットは、前記対象近傍ブロックの動きベクトルおよび前記サブ画像ブロックに基づいて、前記現在画像ブロックの参照画像において前記サブ画像ブロックの関連ブロックを確定するために用いられ、前記現在画像ブロックの関連ブロックは前記サブ画像ブロックの関連ブロックを含む項目123に記載の装置。
(項目129)
動画像処理装置であって、メモリとプロセッサを含み、前記メモリは命令を記憶するために用いられ、前記プロセッサは前記メモリに記憶された命令を実行し、前記メモリに記憶された命令を実行することによって、前記プロセッサは項目1~64のいずれか一項に記載の方法を実行するために用いられる動画像処理装置。
(項目130)
コンピュータ記憶媒体であって、それにコンピュータプログラムが記憶され、前記コンピュータプログラムはコンピュータに実行されるとき、前記コンピュータに項目1~64のいずれか一項に記載の方法を実行させるコンピュータ記憶媒体。
(項目131)
命令を含むコンピュータプログラム製品であって、前記命令がコンピュータに実行されるとき、前記コンピュータに項目1~64のいずれか一項に記載の方法を実行させる命令を含むコンピュータプログラム製品。

Claims (10)

  1. 現在画像ブロックの1つの特定の近傍ブロックの動きベクトルを取得することと、
    前記現在画像ブロックをサイズ8×8の複数のサブブロックに分割することと、
    前記近傍ブロックの参照画像が前記現在画像ブロックの同位フレームと同じである場合、前記現在画像ブロックの前記同位フレームにおいて、前記近傍ブロックの前記動きベクトルに基づいて前記複数のサブブロックの関連ブロックを決定することと、
    前記関連ブロックの前記動きベクトルに基づいて前記現在画像ブロックを予測することとを含む動画像処理方法。
  2. 前記近傍ブロックは、1つの特定の左近傍ブロックである、請求項1に記載の動画像処理方法。
  3. 前記近傍ブロックの参照画像が前記現在画像ブロックの同位フレームと異なる場合、前記現在画像ブロックの前記同位フレームにおいて、動きベクトル(0,0)に基づいて前記複数のサブブロックの関連ブロックを決定することをさらに含む、請求項1または2に記載の動画像処理方法。
  4. 前記関連ブロックの前記動きベクトルに基づいて前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像である場合、及び/または前記現在画像ブロックの参照画像が特定参照画像である場合、前記サブブロックの動きベクトルが、処理後の前記関連ブロックの動きベクトルに従って決定されることを含む、請求項1から3の何れか1つに記載の動画像処理方法。
  5. 前記処理後の前記関連ブロックの動きベクトルは、スケーリングステップをスキップした前記関連ブロックの動きベクトルを含む、請求項4に記載の動画像処理方法。
  6. 前記関連ブロックの前記動きベクトルに基づいて前記現在画像ブロックを予測することは、
    前記関連ブロックの参照画像が特定参照画像である場合、または前記現在画像ブロックの参照画像が特定参照画像である場合、前記サブブロックの動きベクトルが前記関連ブロックの前記動きベクトルの参照なしで決定されることを含む、請求項1から5の何れか1つに記載の動画像処理方法。
  7. 前記現在画像ブロックを符号化することで取得されたコードストリームを出力することをさらに含む請求項1から請求項のいずれか一項に記載の動画像処理方法。
  8. プロセッサと、
    前記プロセッサに現在画像ブロックの1つの特定の近傍ブロックの動きベクトルを取得することと、
    前記現在画像ブロックをサイズ8×8の複数のサブブロックに分割することと、
    前記近傍ブロックの参照画像が前記現在画像ブロックの同位フレームと同じである場合、前記現在画像ブロックの前記同位フレームにおいて、前記近傍ブロックの前記動きベクトルに基づいて前記複数のサブブロックの関連ブロックを決定することと、
    前記関連ブロックの前記動きベクトルに基づいて前記現在画像ブロックを予測することとを実行させる動画像処理装置。
  9. 前記現在画像ブロックを符号化することで取得されたコードストリームを出力することをさらに含む請求項に記載の動画像処理装置。
  10. 動き情報の1または複数のインデックスを含むビットストリームを取得することと、
    現在画像ブロックの1つの特定の近傍ブロックの動きベクトルを取得することと、
    前記現在画像ブロックをサイズ8×8の複数のサブブロックに分割することと、
    前記近傍ブロックの参照画像が前記現在画像ブロックの同位フレームと同じである場合、前記現在画像ブロックの前記同位フレームにおいて、前記近傍ブロックの前記動きベクトルに基づいて前記複数のサブブロックの関連ブロックを決定することと、
    前記関連ブロックの前記動きベクトルに基づいて前記現在画像ブロックを予測することとを含む動画像処理方法。
JP2020553580A 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置 Active JP7294753B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023092773A JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2024122098A JP2024147810A (ja) 2018-04-02 2024-07-29 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
PCT/CN2018/081652 WO2019191890A1 (zh) 2018-04-02 2018-04-02 用于图像处理的方法和图像处理装置
CNPCT/CN2018/081652 2018-04-02
PCT/CN2018/095710 WO2019192102A1 (zh) 2018-04-02 2018-07-13 用于图像运动补偿的方法和装置
CNPCT/CN2018/095710 2018-07-13
PCT/CN2018/103693 WO2019192141A1 (zh) 2018-04-02 2018-08-31 用于图像运动补偿的方法和装置
CNPCT/CN2018/103693 2018-08-31
PCT/CN2018/107436 WO2019192152A1 (zh) 2018-04-02 2018-09-25 获取视频图像运动矢量的方法与装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023092773A Division JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Publications (4)

Publication Number Publication Date
JP2021520119A JP2021520119A (ja) 2021-08-12
JP2021520119A5 JP2021520119A5 (ja) 2021-11-04
JPWO2019192152A5 JPWO2019192152A5 (ja) 2022-09-14
JP7294753B2 true JP7294753B2 (ja) 2023-06-20

Family

ID=68099733

Family Applications (14)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム
JP2020553580A Active JP7294753B2 (ja) 2018-04-02 2018-09-25 動画像処理方法、及び動画像処理装置
JP2020553586A Active JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム
JP2020553581A Active JP7533945B2 (ja) 2018-04-02 2019-03-13 動画像処理方法、及び動画像処理装置
JP2022182636A Active JP7525236B2 (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム
JP2023006258A Active JP7497948B2 (ja) 2018-04-02 2023-01-19 動画像処理方法および装置
JP2023092773A Active JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法
JP2024085959A Pending JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法
JP2024113132A Pending JP2024147683A (ja) 2018-04-02 2024-07-16 画像処理方法、画像処理装置、及びビットストリーム生成方法
JP2024122098A Pending JP2024147810A (ja) 2018-04-02 2024-07-29 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2020553616A Active JP7088606B2 (ja) 2018-04-02 2018-04-02 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス
JP2020553636A Pending JP2021520124A (ja) 2018-04-02 2018-07-13 画像動き補償方法及び装置
JP2020553654A Active JP7388659B2 (ja) 2018-04-02 2018-08-31 動画処理方法、ビットストリーム生成方法、動画処理装置、及びプログラム

Family Applications After (10)

Application Number Title Priority Date Filing Date
JP2020553586A Active JP7216109B2 (ja) 2018-04-02 2018-10-30 動画像処理方法、動画像処理装置、及びコンピュータプログラム
JP2020553581A Active JP7533945B2 (ja) 2018-04-02 2019-03-13 動画像処理方法、及び動画像処理装置
JP2022182636A Active JP7525236B2 (ja) 2018-04-02 2022-11-15 動画処理方法、エンコーダ、非一時的なコンピュータ可読記憶媒体、及びプログラム
JP2023006258A Active JP7497948B2 (ja) 2018-04-02 2023-01-19 動画像処理方法および装置
JP2023092773A Active JP7534039B2 (ja) 2018-04-02 2023-06-05 動画像処理方法、動画処理装置、及びビットストリーム生成方法
JP2023190720A Pending JP2024010198A (ja) 2018-04-02 2023-11-08 動画処理方法、ビットストリーム生成方法、及び動画処理装置
JP2024025977A Pending JP2024057014A (ja) 2018-04-02 2024-02-22 動画像符号化方法、動画像符号化装置、及びビットストリーム生成方法
JP2024085959A Pending JP2024116183A (ja) 2018-04-02 2024-05-28 動画像処理方法、動画処理装置、およびビットストリーム生成方法
JP2024113132A Pending JP2024147683A (ja) 2018-04-02 2024-07-16 画像処理方法、画像処理装置、及びビットストリーム生成方法
JP2024122098A Pending JP2024147810A (ja) 2018-04-02 2024-07-29 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Country Status (6)

Country Link
US (19) US11368714B2 (ja)
EP (6) EP3780608A4 (ja)
JP (14) JP7088606B2 (ja)
KR (2) KR20240110905A (ja)
CN (16) CN110419217B (ja)
WO (4) WO2019191890A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7534039B2 (ja) 2018-04-02 2024-08-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118921485A (zh) * 2018-03-14 2024-11-08 Lx 半导体科技有限公司 图像编码/解码设备和发送图像数据的设备
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
CN111093080B (zh) 2018-10-24 2024-06-04 北京字节跳动网络技术有限公司 视频编码中的子块运动候选
KR20200078392A (ko) * 2018-12-21 2020-07-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3903495A4 (en) * 2018-12-28 2022-03-16 Telefonaktiebolaget Lm Ericsson (Publ) GENERATION OF A LIST OF MOTION VECTOR PREDICTORS
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
CN113994698B (zh) 2019-06-04 2023-11-24 北京字节跳动网络技术有限公司 有条件地实施运动候选列表构建过程
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
EP3984215A4 (en) 2019-07-14 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING
CN114175655B (zh) * 2019-07-27 2024-01-02 北京字节跳动网络技术有限公司 根据参考图片类型使用工具的限制
EP4000265A4 (en) 2019-08-20 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. USING DEFAULT AND CUSTOM SCALING MATRICES
WO2021047632A1 (en) 2019-09-13 2021-03-18 Beijing Bytedance Network Technology Co., Ltd. Weighted sample bi-prediction in video coding
CN114503574A (zh) 2019-09-19 2022-05-13 北京字节跳动网络技术有限公司 视频编解码中的缩放窗口
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN118890491A (zh) 2019-10-05 2024-11-01 北京字节跳动网络技术有限公司 基于级别的视频编解码工具的信令通知
EP4042678A4 (en) * 2019-10-12 2023-01-18 Beijing Bytedance Network Technology Co., Ltd. USE AND REPORTING OF REFINEMENT VIDEO CODING TOOLS
WO2021073488A1 (en) 2019-10-13 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Interplay between reference picture resampling and video coding tools
KR20220113379A (ko) 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
CN113727119B (zh) * 2020-05-20 2023-03-17 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及计算机存储介质
CN111724422B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112132732B (zh) * 2020-09-10 2023-06-02 宁波大学科学技术学院 立体图像的像素预测方法、可逆信息隐藏提取方法、终端及存储介质
WO2022141278A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置
US20230224474A1 (en) * 2022-01-12 2023-07-13 Tencent America LLC Adjustment based local illumination compensation
WO2023192335A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024005456A1 (ko) * 2022-06-27 2024-01-04 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024005616A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024117533A1 (ko) * 2022-11-29 2024-06-06 현대자동차주식회사 아핀 모델 기반의 예측을 이용하는 비디오 코딩방법 및 장치
US20240314343A1 (en) * 2023-03-13 2024-09-19 Tencent America LLC Block based weighting factor for joint motion vector difference coding mode
WO2024215074A1 (ko) * 2023-04-10 2024-10-17 주식회사 케이티 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
JP2021517798A (ja) 2018-04-01 2021-07-26 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法及びそのための装置

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE419713T1 (de) * 2001-11-29 2009-01-15 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
JP2005328383A (ja) * 2004-05-14 2005-11-24 Mitsubishi Electric Corp 動画像符号化装置及びプログラム
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
ZA200900857B (en) * 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
CN101573985B (zh) * 2006-11-03 2012-07-04 三星电子株式会社 用于视频预测编码的方法和装置以及用于视频预测解码的方法和装置
CN101378504B (zh) * 2007-08-31 2011-12-07 昆山杰得微电子有限公司 用于h.264编码的块匹配运动估计方法
JP2009118221A (ja) * 2007-11-07 2009-05-28 Toshiba Corp ディジタル画像復号装置及びディジタル画像復号方法
CN101605256A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 一种视频编解码的方法及装置
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
CN101873500B (zh) * 2009-04-24 2012-05-23 华为技术有限公司 帧间预测编码方法、帧间预测解码方法及设备
BR112012019676A2 (pt) * 2010-02-09 2016-05-03 Nippon Telegraph & Telephone método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20120016991A (ko) 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
PT2625855T (pt) 2010-10-08 2021-03-16 Ge Video Compression Llc Codificação de imagens suportando particionamento de blocos e fusão de blocos
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US8976873B2 (en) * 2010-11-24 2015-03-10 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN107105280B (zh) 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
US9635383B2 (en) 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
CN102611881B (zh) * 2011-01-19 2014-06-25 华为技术有限公司 参考运动矢量获取方法、模块及编、解码装置
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
HRP20240457T1 (hr) * 2011-03-21 2024-07-05 Lg Electronics Inc. Metoda dekodiranja videozapisa, metoda kodiranja videozapisa, računalno-čitljiv digitalni medij za pohranu i metoda prijenosa podataka za videozapis
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP5786478B2 (ja) 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
KR102083012B1 (ko) * 2011-06-28 2020-02-28 엘지전자 주식회사 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치
CN110225357B (zh) * 2011-06-30 2023-09-29 索尼公司 图像处理设备和图像处理方法
CN103636218B (zh) * 2011-06-30 2017-07-28 Jvc建伍株式会社 图像解码装置和图像解码方法
CN107360432A (zh) 2011-08-29 2017-11-17 苗太平洋控股有限公司 用于解码合并模式下的运动信息的装置
JP5884697B2 (ja) * 2011-09-28 2016-03-15 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム
CN102447904A (zh) * 2011-10-24 2012-05-09 成都虢电智能电力科技有限公司 一种快速对视频序列进行运动估计的方法
CN107257481B (zh) * 2011-10-27 2019-12-10 太阳专利托管公司 编码方法、解码方法、编码装置、解码装置
KR101935976B1 (ko) 2011-10-28 2019-01-07 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
RU2646328C1 (ru) 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
TWI613911B (zh) * 2011-10-31 2018-02-01 Jvc Kenwood Corp 動態影像解碼裝置及動態影像解碼方法
ES2898887T3 (es) 2011-11-08 2022-03-09 Nokia Technologies Oy Manejo de imágenes de referencia
MY179763A (en) * 2011-11-08 2020-11-12 Samsung Electronics Co Ltd Method and apparatus for motion vector determination in video encoding or decoding
EP3965425A3 (en) 2011-12-23 2022-06-08 Electronics And Telecommunications Research Institute Method and apparatus for setting reference picture index of temporal merging candidate
TWI580248B (zh) 2012-04-12 2017-04-21 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
JP2013223049A (ja) * 2012-04-13 2013-10-28 Sharp Corp 画像復号装置、および画像符号化装置
US10051264B2 (en) * 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
CN102801972B (zh) * 2012-06-25 2017-08-29 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
JP2015525547A (ja) * 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
CN102883161B (zh) * 2012-09-19 2015-09-30 华为技术有限公司 视频编码和解码的处理方法和装置
WO2014045954A1 (ja) * 2012-09-20 2014-03-27 ソニー株式会社 画像処理装置および方法
US9538180B2 (en) * 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
US9912959B2 (en) * 2013-04-04 2018-03-06 Sharp Kabushiki Kaisha Image decoding device and image coding device
EP3457700A1 (en) * 2013-04-07 2019-03-20 Dolby International AB Signaling coded picture buffer removal delay
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9930363B2 (en) 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
TWI632807B (zh) * 2013-07-10 2018-08-11 夏普股份有限公司 Moving image decoding device
CN105453562B (zh) * 2013-07-30 2018-12-25 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
EP3057325A4 (en) * 2013-10-08 2017-05-10 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
US20170026655A1 (en) * 2014-01-02 2017-01-26 Sharp Kabushiki Kaisha Parameter set signaling
KR101658192B1 (ko) * 2014-01-02 2016-09-20 인텔렉추얼디스커버리 주식회사 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
US20170019666A1 (en) * 2014-03-13 2017-01-19 Sharp Kabushiki Kaisha Constrained reference picture parameters
US9756355B2 (en) * 2014-06-20 2017-09-05 Qualcomm Incorporated Value ranges for syntax elements in video coding
WO2016048834A1 (en) 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
KR20170078672A (ko) * 2014-10-31 2017-07-07 삼성전자주식회사 고정밀 스킵 부호화를 이용한 비디오 부호화 장치 및 비디오 복호화 장치 및 그 방법
US9872296B2 (en) 2015-01-06 2018-01-16 Qualcomm Incorporated Techniques for beam shaping at a millimeter wave base station and a wireless device and fast antenna subarray selection at a wireless device
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
CN106303544B (zh) * 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
CN107925769B (zh) * 2015-09-08 2020-11-27 联发科技股份有限公司 管理已解码图像缓存器的方法及视频编码器或视频解码器
CN106534858B (zh) 2015-09-10 2019-09-06 展讯通信(上海)有限公司 真实运动估计方法及装置
CN111526361B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
CN114466193A (zh) * 2016-03-16 2022-05-10 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
MX2018011412A (es) 2016-03-24 2019-01-10 Lg Electronics Inc Metodo y aparato para inter-prediccion en sistema de codificacion de video.
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10567808B2 (en) 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
EP3497932A4 (en) 2016-08-15 2020-03-25 Nokia Technologies Oy VIDEO CODING AND DECODING
US11409855B2 (en) * 2016-08-22 2022-08-09 Lenovo (Singapore) Pte. Ltd. Gesture based CAPTCHA test
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
EP3301914A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
CN106851303B (zh) * 2016-12-30 2020-06-16 中国科学院自动化研究所 一种视频图像中小物体块检测方法及系统
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3343924A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
JP7036628B2 (ja) 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109089119B (zh) 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
JP2020145486A (ja) 2017-07-28 2020-09-10 シャープ株式会社 動画像符号化装置及び動画像復号装置
CN118694923A (zh) * 2017-09-12 2024-09-24 三星电子株式会社 对运动信息进行编码和解码的方法和发送比特流的方法
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
US20190141320A1 (en) * 2017-11-07 2019-05-09 Qualcomm Incorporated Enhanced reference picture management in video coding
KR102387363B1 (ko) 2017-11-30 2022-04-18 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
EP3764645A4 (en) 2018-03-09 2021-12-08 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER
CN116684638A (zh) 2018-04-01 2023-09-01 Lg电子株式会社 图像编码/解码方法、视频数据发送方法和存储介质
WO2019191890A1 (zh) 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
IL280944B1 (en) * 2018-08-17 2024-08-01 Huawei Tech Co Ltd Reference image management in video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150085929A1 (en) 2013-09-26 2015-03-26 Qualcomm Incorporated Sub-prediction unit (pu) based temporal motion vector prediction in hevc and sub-pu design in 3d-hevc
JP2016537839A (ja) 2013-09-26 2016-12-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated Hevcにおけるサブ予測ユニット(pu)ベースの時間的動きベクトル予測および3d−hevcにおけるサブpu設計
JP2021517798A (ja) 2018-04-01 2021-07-26 エルジー エレクトロニクス インコーポレイティド インター予測モードに基づいた映像処理方法及びそのための装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, et al.,Algorithm Description of Joint Exploration Test Model 7 (JEM 7),Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017,JVET-G1001-v1,2017年08月19日,pp.1-44,庁内DB(送付可)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7534039B2 (ja) 2018-04-02 2024-08-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 動画像処理方法、動画処理装置、及びビットストリーム生成方法

Also Published As

Publication number Publication date
CN110326295B (zh) 2021-11-16
EP3780614A4 (en) 2022-02-23
US11363294B2 (en) 2022-06-14
US20210021865A1 (en) 2021-01-21
US20210227252A1 (en) 2021-07-22
US20240259592A1 (en) 2024-08-01
US11490118B2 (en) 2022-11-01
CN113852828B (zh) 2023-09-12
US11997312B2 (en) 2024-05-28
CN116760999A (zh) 2023-09-15
JP2021526322A (ja) 2021-09-30
US20210218989A1 (en) 2021-07-15
KR20240110905A (ko) 2024-07-16
US20210021812A1 (en) 2021-01-21
EP3783897A4 (en) 2022-02-23
EP3780608A4 (en) 2021-12-01
JP7497948B2 (ja) 2024-06-11
CN114125440A (zh) 2022-03-01
CN110786012A (zh) 2020-02-11
CN113824966B (zh) 2023-09-12
US20220286706A1 (en) 2022-09-08
JP2024010198A (ja) 2024-01-23
US20210021824A1 (en) 2021-01-21
US11323742B2 (en) 2022-05-03
US11381839B2 (en) 2022-07-05
JP2023017981A (ja) 2023-02-07
JP2021520121A (ja) 2021-08-12
JP7088606B2 (ja) 2022-06-21
US11343534B2 (en) 2022-05-24
US20210227251A1 (en) 2021-07-22
US11871032B2 (en) 2024-01-09
JP7534039B2 (ja) 2024-08-14
CN113852828A (zh) 2021-12-28
EP3780615A1 (en) 2021-02-17
EP3783897A1 (en) 2021-02-24
KR102685009B1 (ko) 2024-07-12
CN117061738A (zh) 2023-11-14
CN117294837A (zh) 2023-12-26
CN110495169B (zh) 2021-12-17
US20210021856A1 (en) 2021-01-21
JP2023052491A (ja) 2023-04-11
CN110419217A (zh) 2019-11-05
US11159821B2 (en) 2021-10-26
CN110786012B (zh) 2024-01-30
JP7525236B2 (ja) 2024-07-30
JP2024057014A (ja) 2024-04-23
US11368714B2 (en) 2022-06-21
JP2021520119A (ja) 2021-08-12
US20240236365A9 (en) 2024-07-11
CN110419220A (zh) 2019-11-05
US20240314356A1 (en) 2024-09-19
EP3780614A1 (en) 2021-02-17
CN110720219B (zh) 2022-04-26
JP2024147810A (ja) 2024-10-16
US11949911B2 (en) 2024-04-02
JP7533945B2 (ja) 2024-08-14
CN115037942A (zh) 2022-09-09
JP2021520126A (ja) 2021-08-12
WO2019192102A1 (zh) 2019-10-10
US11949912B2 (en) 2024-04-02
JP7216109B2 (ja) 2023-01-31
US20210227254A1 (en) 2021-07-22
US20220086483A1 (en) 2022-03-17
CN117135346A (zh) 2023-11-28
EP3780618A1 (en) 2021-02-17
US20210021855A1 (en) 2021-01-21
JP7388659B2 (ja) 2023-11-29
CN114938452A (zh) 2022-08-23
US11190798B2 (en) 2021-11-30
EP3780615A4 (en) 2022-03-02
WO2019191890A1 (zh) 2019-10-10
WO2019192152A1 (zh) 2019-10-10
JP2021520124A (ja) 2021-08-12
EP3780619A1 (en) 2021-02-17
CN110720219A (zh) 2020-01-21
CN110419220B (zh) 2023-08-29
US20220353527A1 (en) 2022-11-03
US20210227253A1 (en) 2021-07-22
KR20200134319A (ko) 2020-12-01
WO2019192141A1 (zh) 2019-10-10
CN116781928A (zh) 2023-09-19
JP2021520120A (ja) 2021-08-12
CN113824966A (zh) 2021-12-21
CN110495169A (zh) 2019-11-22
JP2024147683A (ja) 2024-10-16
US11330294B2 (en) 2022-05-10
US11490120B2 (en) 2022-11-01
EP3780618A4 (en) 2022-03-02
CN110419217B (zh) 2023-09-26
JP2023110048A (ja) 2023-08-08
JP2024116183A (ja) 2024-08-27
EP3780608A1 (en) 2021-02-17
EP3780619A4 (en) 2022-02-23
US11350124B2 (en) 2022-05-31
US20220321907A1 (en) 2022-10-06
US20240251099A1 (en) 2024-07-25
CN110326295A (zh) 2019-10-11
US20240137559A1 (en) 2024-04-25
US20210021825A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7294753B2 (ja) 動画像処理方法、及び動画像処理装置
KR102708102B1 (ko) 히스토리 기반 영상 코딩 방법 및 그 장치
JP7343398B2 (ja) 動きベクトル予測
KR20210014197A (ko) 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치
KR102639614B1 (ko) 움직임 벡터 예측 기반 영상/비디오 코딩 방법 및 장치
WO2019192301A1 (zh) 视频图像处理方法与装置
CN115152233A (zh) 包括dpb管理处理的图像解码方法及其设备
RU2826874C1 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
RU2816199C1 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
RU2789454C2 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
RU2774673C1 (ru) Кодирование видео или изображений на основе внутриблочного кодирования
WO2019192170A1 (zh) 视频图像处理方法与装置
CN118202648A (zh) 基于ciip的预测方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R150 Certificate of patent or registration of utility model

Ref document number: 7294753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150