Nothing Special   »   [go: up one dir, main page]

CN111263152B - 视频序列的图像编解码方法和装置 - Google Patents

视频序列的图像编解码方法和装置 Download PDF

Info

Publication number
CN111263152B
CN111263152B CN201811458677.4A CN201811458677A CN111263152B CN 111263152 B CN111263152 B CN 111263152B CN 201811458677 A CN201811458677 A CN 201811458677A CN 111263152 B CN111263152 B CN 111263152B
Authority
CN
China
Prior art keywords
block
prediction
vector
position pointed
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811458677.4A
Other languages
English (en)
Other versions
CN111263152A (zh
Inventor
陈旭
郑建铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201811458677.4A priority Critical patent/CN111263152B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to BR112021010415-1A priority patent/BR112021010415A2/pt
Priority to JP2021530828A priority patent/JP7273154B2/ja
Priority to PCT/CN2019/098151 priority patent/WO2020107921A1/zh
Priority to SG11202105655SA priority patent/SG11202105655SA/en
Priority to CN201980076071.0A priority patent/CN113412619A/zh
Priority to EP19891412.9A priority patent/EP3879827A4/en
Priority to CA3121402A priority patent/CA3121402C/en
Priority to KR1020217019599A priority patent/KR20210094038A/ko
Priority to MX2021006391A priority patent/MX2021006391A/es
Publication of CN111263152A publication Critical patent/CN111263152A/zh
Priority to US17/334,068 priority patent/US11503317B2/en
Application granted granted Critical
Publication of CN111263152B publication Critical patent/CN111263152B/zh
Priority to US17/964,166 priority patent/US11818379B2/en
Priority to JP2023072944A priority patent/JP2023100767A/ja
Priority to US18/477,167 priority patent/US20240022748A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种视频序列的图像编解码方法和装置。本申请图像解码方法,包括:确定待解码块的运动信息;根据运动信息获取待解码块的第一解码预测块;在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块;对第一解码预测块进行下采样以获得第一采样像素点矩阵;对至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的运动矢量作为目标预测运动矢量;根据目标预测运动矢量获取待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。本申请降低了差异比较的计算量,提高图像编码效率。

Description

视频序列的图像编解码方法和装置
技术领域
本申请涉及视频图像技术,尤其涉及一种视频序列的图像编解码方法和装置。
背景技术
在视频编码和解码框架中,混合编码结构通常用于视频序列的编码和解码。混合编码结构的编码端通常包括:预测模块、变换模块、量化模块和熵编码模块;混合编码结构的解码端通常包括:熵解码模块、反量化模块、反变换模块和预测补偿模块。这些编码和解码模块的组合可以有效去除视频序列的冗余信息,并能保证在解码端得到视频序列的编码图像。在视频编码和解码框架中,视频序列的图像通常划分成图像块进行编码,即一帧图像被划分成若干图像块,基于这些图像块采用上述模块进行编码和解码。
在上述模块中,预测模块和预测补偿模块可以采用帧内预测和帧间预测两种技术,其中,在帧间预测技术里,为了有效去除待预测图像中的当前图像块的冗余信息,采用了解码端运动矢量修正(decoder-side motion vector refinement,简称:DMVR)技术。
但是,DMVR技术的计算复杂度过高。
发明内容
本申请提供一种视频序列的图像编解码方法和装置,以降低差异比较的计算量,提高图像编码效率。
第一方面,本申请提供一种视频序列的图像解码方法,包括:
确定待解码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块;根据运动信息获取待解码块的第一解码预测块;在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定;对第一解码预测块进行下采样以获得第一采样像素点矩阵;对至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二解码预测块与待解码块之间的运动矢量作为待解码块的目标预测运动矢量;根据目标预测运动矢量获取待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。
本申请,通过减少对预测参考图像块运动搜索得到的第二解码预测块的数量,并对图像块中的像素点采样,降低了差异比较的计算量,提高图像解码效率。
在一种可能的实现方式中,分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,包括:
分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为差异;或者,
分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为差异。
本方式的有益效果在于采用不同的方法确定差异值,提供了不同复杂度的多种解决方案。
在一种可能的实现方式中,至少两个第二解码预测块包括基块、上块、下块、左块、右块,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,包括:
当上块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,目标偏移量由第一精度确定;或者,
当下块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除上块;或者,
当左块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除右块,其中,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得;或者,
当右块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除左块。
在一种可能的实现方式中,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,还包括:
当下块和右块被排除时,在预测参考图像块内根据第五预测矢量获得左上块,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二解码预测块中的一个;
当下块和左块被排除时,在预测参考图像块内根据第六预测矢量获得右上块,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二解码预测块中的一个;
当上块和左块被排除时,在预测参考图像块内根据第七预测矢量获得右下块,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二解码预测块中的一个;
当上块和右块被排除时,在预测参考图像块内根据第八预测矢量获得左下块,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二解码预测块中的一个。
本方式的有益效果在于减少了搜索点数,降低了实现的复杂度。
在一种可能的实现方式中,至少两个第二解码预测块包括上块、下块、左块、右块,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,包括:
当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第五预测矢量获得左上块,其中,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二解码预测块中的一个,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,目标偏移量由第一精度确定;或者,
当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第六预测矢量获得右上块,其中,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二解码预测块中的一个;或者,
当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第七预测矢量获得右下块,其中,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二解码预测块中的一个;或者,
当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第八预测矢量获得左下块,其中,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二解码预测块中的一个。
本方式的有益效果在于减少了搜索点数,降低了实现的复杂度。
在一种可能的实现方式中,确定待解码块的运动信息之后,还包括:
对运动矢量向下取整或者向上取整。
本方式的有益效果在于节省了运动矢量非整数而需要的参考图像插值过程,降低了实现的复杂度。
在一种可能的实现方式中,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块之后,还包括:
对至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整。
本方式的有益效果在于节省了运动矢量非整数而需要的参考图像插值过程,降低了实现的复杂度。
第二方面,本申请提供一种视频序列的图像编码方法,包括:
确定待编码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块;根据运动信息获取待编码块的第一编码预测块;在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定;对第一编码预测块进行下采样以获得第一采样像素点矩阵;对至少两个第二编码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二编码预测块与待编码块之间的运动矢量作为待编码块的目标预测运动矢量;根据目标预测运动矢量获取待编码块的目标编码预测块,并根据目标编码预测块对待编码块进行编码。
本申请,通过减少对预测参考图像块运动搜索得到的第二编码预测块的数量,并对图像块中的像素点采样,降低了差异比较的计算量,提高图像编码效率。
在一种可能的实现方式中,分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,包括:
分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为差异;或者,
分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为差异。
在一种可能的实现方式中,至少两个第二编码预测块包括基块、上块、下块、左块、右块,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,包括:
当上块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,目标偏移量由第一精度确定;或者,
当下块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除上块;或者,
当左块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除右块,其中,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得;或者,
当右块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除左块。
在一种可能的实现方式中,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,还包括:
当下块和右块被排除时,在预测参考图像块内根据第五预测矢量获得左上块,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二编码预测块中的一个;
当下块和左块被排除时,在预测参考图像块内根据第六预测矢量获得右上块,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二编码预测块中的一个;
当上块和左块被排除时,在预测参考图像块内根据第七预测矢量获得右下块,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二编码预测块中的一个;
当上块和右块被排除时,在预测参考图像块内根据第八预测矢量获得左下块,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二编码预测块中的一个。
在一种可能的实现方式中,至少两个第二编码预测块包括上块、下块、左块、右块,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,包括:
当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第五预测矢量获得左上块,其中,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二编码预测块中的一个,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,目标偏移量由第一精度确定;或者,
当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第六预测矢量获得右上块,其中,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二编码预测块中的一个;或者,
当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第七预测矢量获得右下块,其中,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二编码预测块中的一个;或者,
当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第八预测矢量获得左下块,其中,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二编码预测块中的一个。
在一种可能的实现方式中,确定待编码块的运动信息之后,还包括:
对运动矢量向下取整或者向上取整。
在一种可能的实现方式中,在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块之后,还包括:
对至少两个第二编码预测块分别对应的预测运动矢量向下取整或者向上取整。
第三方面,本申请提供一种视频序列的图像解码装置,包括:
确定模块,用于确定待解码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块;
处理模块,用于根据运动信息获取待解码块的第一解码预测块;在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定;对第一解码预测块进行下采样以获得第一采样像素点矩阵;对至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二解码预测块与待解码块之间的运动矢量作为待解码块的目标预测运动矢量;
解码模块,用于根据目标预测运动矢量获取待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。
本申请,通过减少对预测参考图像块运动搜索得到的第二解码预测块的数量,并对图像块中的像素点采样,降低了差异比较的计算量,提高图像解码效率。
在一种可能的实现方式中,处理模块,具体用于分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为差异;或者,分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为差异。
在一种可能的实现方式中,至少两个第二解码预测块包括基块、上块、下块、左块、右块,处理模块,具体用于当上块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,目标偏移量由第一精度确定;或者,当下块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除上块;或者,当左块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除右块,其中,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得;或者,当右块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除左块。
在一种可能的实现方式中,处理模块,还用于当下块和右块被排除时,在预测参考图像块内根据第五预测矢量获得左上块,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二解码预测块中的一个;当下块和左块被排除时,在预测参考图像块内根据第六预测矢量获得右上块,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二解码预测块中的一个;当上块和左块被排除时,在预测参考图像块内根据第七预测矢量获得右下块,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二解码预测块中的一个;当上块和右块被排除时,在预测参考图像块内根据第八预测矢量获得左下块,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二解码预测块中的一个。
在一种可能的实现方式中,至少两个第二解码预测块包括上块、下块、左块、右块,处理模块,具体用于当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第五预测矢量获得左上块,其中,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二解码预测块中的一个,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,目标偏移量由第一精度确定;或者,当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第六预测矢量获得右上块,其中,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二解码预测块中的一个;或者,当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第七预测矢量获得右下块,其中,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二解码预测块中的一个;或者,当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第八预测矢量获得左下块,其中,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二解码预测块中的一个。
在一种可能的实现方式中,处理模块,还用于对运动矢量向下取整或者向上取整。
在一种可能的实现方式中,处理模块,还用于对至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整。
第四方面,本申请提供一种视频序列的图像编码装置,包括:
确定模块,用于确定待编码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块;
处理模块,用于根据运动信息获取待编码块的第一编码预测块;在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定;对第一编码预测块进行下采样以获得第一采样像素点矩阵;对至少两个第二编码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二编码预测块与待编码块之间的运动矢量作为待编码块的目标预测运动矢量;
编码模块,用于根据目标预测运动矢量获取待编码块的目标编码预测块,并根据目标编码预测块对待编码块进行编码。
本申请,通过减少对预测参考图像块运动搜索得到的第二编码预测块的数量,并对图像块中的像素点采样,降低了差异比较的计算量,提高图像编码效率。
在一种可能的实现方式中,处理模块,具体用于分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为差异;或者,分别计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为差异。
在一种可能的实现方式中,至少两个第二编码预测块包括基块、上块、下块、左块、右块,处理模块,具体用于当上块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,目标偏移量由第一精度确定;或者,当下块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除上块;或者,当左块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除右块,其中,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得;或者,当右块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除左块。
在一种可能的实现方式中,处理模块,还用于当下块和右块被排除时,在预测参考图像块内根据第五预测矢量获得左上块,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二编码预测块中的一个;当下块和左块被排除时,在预测参考图像块内根据第六预测矢量获得右上块,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二编码预测块中的一个;当上块和左块被排除时,在预测参考图像块内根据第七预测矢量获得右下块,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二编码预测块中的一个;当上块和右块被排除时,在预测参考图像块内根据第八预测矢量获得左下块,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二编码预测块中的一个。
在一种可能的实现方式中,至少两个第二编码预测块包括上块、下块、左块、右块,处理模块,具体用于当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第五预测矢量获得左上块,其中,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,左上块为至少两个第二编码预测块中的一个,上块在预测参考图像块内根据第一预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,下块在预测参考图像块内根据第二预测矢量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,左块在预测参考图像块内根据第三预测矢量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,右块在预测参考图像块内根据第四预测矢量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,目标偏移量由第一精度确定;或者,当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第六预测矢量获得右上块,其中,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,右上块为至少两个第二编码预测块中的一个;或者,当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内根据第七预测矢量获得右下块,其中,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,右下块为至少两个第二编码预测块中的一个;或者,当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内根据第八预测矢量获得左下块,其中,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,左下块为至少两个第二编码预测块中的一个。
在一种可能的实现方式中,处理模块,还用于对运动矢量向下取整或者向上取整。
在一种可能的实现方式中,处理模块,还用于对至少两个第二编码预测块分别对应的预测运动矢量向下取整或者向上取整。
第五方面,本申请提供一种编解码设备,包括:
一个或多个控制器;
存储器,用于存储一个或多个程序;
当一个或多个程序被一个或多个控制器执行,使得一个或多个控制器实现如上述第一方面或第二方面中任一的方法。
第六方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述第一方面或第二方面中任一项的方法。
第七方面,本申请提供一种计算机程序,当计算机程序被计算机执行时,用于执行上述第一方面或第二方面中任一项的方法。
附图说明
图1为本申请视频序列的图像解码方法实施例一的流程图;
图2为本申请视频序列的图像解码方法实施例二的流程图;
图3为本申请视频序列的图像编码方法实施例一的流程图;
图4为本申请视频序列的图像编码方法实施例二的流程图;
图5为本申请视频序列的图像解码装置实施例的结构示意图;
图6为本申请视频序列的图像编码装置实施例的结构示意图;
图7为本申请编解码设备实施例的结构示意图;
图8为本申请编解码系统实施例的结构示意图;
图9为本申请实施例中搜索点位置确定的示例性示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
DMVR技术中的帧间预测的图像编码方法的流程如下所示:
一、确定待编码块的运动信息,该运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
其中,待编码块是当前待编码的图像块,运动信息中的预测运动矢量包括前向预测运动矢量和后向预测运动矢量,参考图像信息包括前向预测参考图像块和后向预测参考图像块的参考帧索引信息(即前后向预测参考图像块的图像序列号(Picture OrderCount,简称:POC))。可以根据待编码块的预测运动矢量或参考图像信息得到待编码块的预测参考图像块。
二、根据运动信息对待编码块进行双向预测得到待编码块的初始编码预测块,并根据初始编码预测块得到待编码块的第一编码预测块。
在预测参考图像块对应的POC不等于待编码块的POC时,根据运动信息对待编码块进行双向预测,包括前向预测和后向预测,其中,根据运动信息对待编码块进行前向预测,即根据前向运动信息对待编码块进行前向预测得到待编码块的前向初始编码预测块,包括根据运动信息中的前向预测参考图像块对待编码块进行前向预测得到待编码块的前向初始编码预测块,或者,根据运动信息中的前向预测运动矢量对待编码块进行前向预测得到待编码块的前向初始编码预测块。根据运动信息对待编码块进行后向预测,即根据后向运动信息对待编码块进行后向预测得到待编码块的后向初始编码预测块,包括根据运动信息中的后向预测参考图像块对待编码块进行后向预测得到待编码块的后向初始编码预测块,或者,根据运动信息中的后向预测运动矢量对待编码块进行后向预测得到待编码块的后向初始编码预测块。
根据初始编码预测块得到待编码块的第一编码预测块时,包括以下三种实现方式:一种是将前向初始编码预测块和后向初始编码预测块进行加权求和得到待编码块的第一编码预测块。另一种是将前向初始编码预测块作为待编码块的第一编码预测块。再一种是将后向初始编码预测块作为待编码块的第一编码预测块。
三、在预测参考图像块内进行第一精度的运动搜索,得到至少一个第二编码预测块。
运动搜索的搜索位置由预测运动矢量和第一精度确定,在一个可行的实施方式中,运动搜索的位置为预测运动矢量所标识的位置周边在第一精度覆盖范围内的位置,示例性的,预测运动矢量标识的位置为(1,1),第一精度为1/2像素精度,则运动搜索的位置包括(1,1)和以(1,1)为中心的上方(1,1.5),下方(1,0.5),左侧(0.5,1),右侧(1.5,1),右上方(1.5,1.5),右下方(1.5,0.5),左上方(0.5,1.5),左下方(0.5,0.5)以及(1,1)共九个位置。
可以根据前向预测运动矢量对前向预测参考图像块进行第一精度的运动搜索,将每次搜索所得到的前向编码预测块作为前向第二编码预测块,得到至少一个第二编码预测块。再根据后向预测运动矢量对后向预测参考图像块进行第一精度的运动搜索,将每次搜索所得到的后向编码预测块作为后向第二编码预测块,得到至少一个第二编码预测块,第二编码预测块包括前向第二编码预测块和后向第二编码预测块。第一精度包括整像素精度或1/2像素精度或1/4像素精度或1/8像素精度,不做限定。
四、计算第一编码预测块和每个第二编码预测块的差异,将差异最小的第二编码预测块与待编码块间的运动矢量作为待编码块的目标预测运动矢量。
将每个前向第二编码预测块与第一编码预测块进行差异比较,将差异最小的一个前向第二编码预测块与待编码块间的前向运动矢量作为目标前向预测运动矢量。将每个后向第二编码预测块与第一编码预测块进行差异比较,将差异最小的一个后向第二编码预测块与待编码块间的后向运动矢量作为目标后向预测运动矢量,目标预测运动矢量包括目标前向预测运动矢量和目标后向预测运动矢量。进行差异比较时,可以将两个图像块中所有像素差的绝对值之和作为第二编码预测块与第一编码预测块的差异值大小,也可以将两个图像块中所有像素差的平方和作为第二编码预测块与第一编码预测块的差异值大小。
五、根据目标预测运动矢量,对待编码块进行双向预测得到待编码块的第三编码预测块。
根据目标前向预测运动矢量对待编码块进行前向预测得到待编码块的前向第三编码预测块,再根据目标后向预测运动矢量对待编码块进行后向预测得到待编码块的后向第三编码预测块。
六、根据第三编码预测块得到待编码块的目标编码预测块,并根据目标编码预测块对待编码块进行编码。
可以将前向第三编码预测块和后向第三编码预测块进行加权求和得到待编码块的目标编码预测块,也可以将前向第三编码预测块作为待编码块的目标编码预测块,还可以将后向第三编码预测块作为待编码块的目标编码预测块。
DMVR技术中的帧间预测的图像解码方法的流程如下所示:
一、确定待解码块的运动信息,该运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
其中,待解码块是当前待解码的图像块,运动信息中的预测运动矢量包括前向预测运动矢量和后向预测运动矢量,参考图像信息包括前向预测参考图像块和后向预测参考图像块的参考帧索引信息(即前后向预测参考图像块的图像序列号(Picture OrderCount,简称:POC))。可以根据待解码块的预测运动矢量或参考图像信息得到待解码块的预测参考图像块。
二、根据运动信息对待解码块进行双向预测得到待解码块的初始解码预测块,并根据初始解码预测块得到待解码块的第一解码预测块。
在预测参考图像块对应的POC不等于待解码块的POC时,根据运动信息对待解码块进行双向预测,包括前向预测和后向预测,其中,根据运动信息对待解码块进行前向预测,即根据前向运动信息对待解码块进行前向预测得到待解码块的前向初始解码预测块,包括根据运动信息中的前向预测参考图像块对待解码块进行前向预测得到待解码块的前向初始解码预测块,或者,根据运动信息中的前向预测运动矢量对待解码块进行前向预测得到待解码块的前向初始解码预测块。根据运动信息对待解码块进行后向预测,即根据后向运动信息对待解码块进行后向预测得到待解码块的后向初始解码预测块,包括根据运动信息中的后向预测参考图像块对待解码块进行后向预测得到待解码块的后向初始解码预测块,或者,根据运动信息中的后向预测运动矢量对待解码块进行后向预测得到待解码块的后向初始解码预测块。
根据初始解码预测块得到待解码块的第一解码预测块时,包括以下三种实现方式:一种是将前向初始解码预测块和后向初始解码预测块进行加权求和得到待解码块的第一解码预测块。另一种是将前向初始解码预测块作为待解码块的第一解码预测块。再一种是将后向初始解码预测块作为待解码块的第一解码预测块。
三、在预测参考图像块内进行第一精度的运动搜索,得到至少一个第二解码预测块。
运动搜索的搜索位置由预测运动矢量和第一精度确定,在一个可行的实施方式中,运动搜索的位置为预测运动矢量所标识的位置周边在第一精度覆盖范围内的位置,示例性的,预测运动矢量标识的位置为(1,1),第一精度为1/2像素精度,则运动搜索的位置包括(1,1)和以(1,1)为中心的上方(1,1.5),下方(1,0.5),左侧(0.5,1),右侧(1.5,1),右上方(1.5,1.5),右下方(1.5,0.5),左上方(0.5,1.5),左下方(0.5,0.5)以及(1,1)共九个位置。
可以根据前向预测运动矢量对前向预测参考图像块进行第一精度的运动搜索,将每次搜索所得到的前向解码预测块作为前向第二解码预测块,得到至少一个第二解码预测块。再根据后向预测运动矢量对后向预测参考图像块进行第一精度的运动搜索,将每次搜索所得到的后向解码预测块作为后向第二解码预测块,得到至少一个第二解码预测块,第二解码预测块包括前向第二解码预测块和后向第二解码预测块。第一精度包括整像素精度或1/2像素精度或1/4像素精度或1/8像素精度,不做限定。
四、计算第一解码预测块和每个第二解码预测块的差异,将差异最小的第二解码预测块与待解码块间的运动矢量作为待解码块的目标预测运动矢量。
将每个前向第二解码预测块与第一解码预测块进行差异比较,将差异最小的一个前向第二解码预测块与待解码块间的前向运动矢量作为目标前向预测运动矢量。将每个后向第二解码预测块与第一解码预测块进行差异比较,将差异最小的一个后向第二解码预测块与待解码块间的后向运动矢量作为目标后向预测运动矢量,目标预测运动矢量包括目标前向预测运动矢量和目标后向预测运动矢量。进行差异比较时,可以将两个图像块中所有像素差的绝对值之和作为第二解码预测块与第一解码预测块的差异值大小,也可以将两个图像块中所有像素差的平方和作为第二解码预测块与第一解码预测块的差异值大小。
五、根据目标预测运动矢量,对待解码块进行双向预测得到待解码块的第三解码预测块。
根据目标前向预测运动矢量对待解码块进行前向预测得到待解码块的前向第三解码预测块,再根据目标后向预测运动矢量对待解码块进行后向预测得到待解码块的后向第三解码预测块。
六、根据第三解码预测块得到待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。
可以将前向第三解码预测块和后向第三解码预测块进行加权求和得到待解码块的目标解码预测块,也可以将前向第三解码预测块作为待解码块的目标解码预测块,还可以将后向第三解码预测块作为待解码块的目标解码预测块。
但是上述DMVR技术的计算复杂度过高。本申请提供了一种视频序列的图像编解码方法,下面采用具体的实施例进行详细说明。
图1为本申请视频序列的图像解码方法实施例一的流程图,如图1所示,本实施例的方法可以包括:
步骤101、确定待解码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
如上所述,现有的DMVR技术中的帧间预测的图像解码方法的步骤一中获取到的预测运动矢量是一个坐标信息,该坐标信息有可能出现表示非像素点(位于两个像素点之间)的情况,这就需要通过对相邻两个像素点进行插值才能获取该非像素点。
本申请直接对预测运动矢量向下取整或者向上取整,将其对应至像素点的位置,这样就省去了插值计算,减少计算量和复杂度。
步骤102、根据运动信息获取待解码块的第一解码预测块。
本申请步骤102与上述DMVR技术中的帧间预测的图像解码方法的步骤二的原理类似,此处不再赘述。
步骤103、在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定。
如上所述,现有的DMVR技术中的帧间预测的图像解码方法的步骤三是以预测参考图像块中的基块为中心,在其周边第一精度覆盖范围内进行运动搜索得到至少九个第二解码预测块,这九个第二解码预测块包括基块、上块、下块、左块、右块、左上块、右上块、右下块和左下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,下块在预测参考图像块内根据第二预测矢量获得,左块在预测参考图像块内根据第三预测矢量获得,右块在预测参考图像块内根据第四预测矢量获得,左上块在预测参考图像块内根据第五预测矢量获得,右上块在预测参考图像块内根据第六预测矢量获得,右下块在预测参考图像块内根据第七预测矢量获得,左下块在预测参考图像块内根据第八预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,目标偏移量由第一精度确定。
本申请实现步骤103可以包括以下实现方法:
第一种方法是基于至少两个第二解码预测块包括基块、上块、下块、左块和右块。当上块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除下块。或者,当下块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除上块。
当左块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除右块。或者,当右块对应的差异小于基块对应的差异时,从至少两个第二解码预测块中排除左块。
即从上块和下块中择其一,从左块和右块中择其一,若是差异小于基块的差异,那么就不用再获取相反方向上的块,这样只需要获取三个位置的第二解码预测块。该步骤中的差异指的是第二解码预测块和第一解码预测块之间的差异。一旦发现上块和下块其中之一、左块和右块其中之一的差异小于基块的差异,说明这两个块比基块更接近待解码块,因此可以不用再获取相反偏移方向的块。
进一步的,当下块和右块被排除时,在预测参考图像块内获得左上块,左上块为至少两个第二解码预测块中的一个。当下块和左块被排除时,在预测参考图像块内获得右上块,右上块为至少两个第二解码预测块中的一个。当上块和左块被排除时,在预测参考图像块内获得右下块,右下块为至少两个第二解码预测块中的一个。当上块和右块被排除时,在预测参考图像块内获得左下块,左下块为至少两个第二解码预测块中的一个。
即在上述两个位置的第二解码预测块的基础上,还可以再获取左上块、右上块、右下块和左下块其中之一,这样一共只需要获取四个位置的第二解码预测块。
第二种方法是基于至少两个第二解码预测块包括上块、下块、左块、右块。当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内获得左上块,左上块为至少两个第二解码预测块中的一个。或者,当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内获得右上块,右上块为至少两个第二解码预测块中的一个。或者,当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内获得右下块,右下块为至少两个第二解码预测块中的一个。或者,当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内获得左下块,左下块为至少两个第二解码预测块中的一个。
即先获取四个位置的第二解码预测块,再根据这四个第二解码预测块获取左上块、右上块、右下块和左下块其中之一,这样一共只需要获取五个位置的第二解码预测块。
本申请的两种方法都是基于基块和其周边的块对应的差异大小,一旦在两个相反方向上发现其中之一的差异小于另一个的差异,或者其中之一的差异小于基块的差异,就可以不需要再获取另一方向、甚至是角方向的第二解码预测块。这样获取的第二解码预测块的数量一定小于现有技术中的九个第二解码预测块。而第二解码预测块的数量的减少,意味着后续像素点采样和差异计算的计算量的减少和复杂度降低。
在一种可行的实施方式中,在上述第二种方法的基础上,设置对上下左右以及1个斜方向共5个第二解码预测块的差异值与基块的差异值进行比较。选取差异值最小所对应的第二解码预测块作为候选预测块,对候选预测块上下左右及4个斜方向共8个新的第二解码预测块。由于8个新的第二解码预测块中其中部分新的第二解码预测块为原第二解码预测块及基块已经进行了差异值计算(如图9中右方向新第二解码预测块,下方向新第二解码预测块为原第二解码预测块,右下斜方向的新第二解码预测块为原基块),只对尚未进行差异值计算的新第二解码预测块进行差异值计算且和候选预测块的差异值进行比较。
在一种可行的实施方式中,当上下左右共4个第二解码预测块的差异值与基块的差异值进行比较且均大于等于基块的差异值,则选取基块作为预测块,基块所对应运动矢量作为目标运动矢量。
此外,如上所述,现有的DMVR技术中的帧间预测的图像解码方法的步骤三获取至少一个第二解码预测块后,即使基块对应的预测运动矢量表示的是像素点,但如果运动搜索的精度不是整像素,例如,1/2像素精度或1/4像素精度或1/8像素精度,那么偏移后的第二解码预测块对应的预测运动矢量很有可能是表示非像素点的。
本申请对至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整,将其对应至像素点的位置,这样就省去了插值计算,减少计算量和复杂度。
步骤104、对第一解码预测块进行下采样以获得第一采样像素点矩阵,并对至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵。
如上所述,现有的DMVR技术中的帧间预测的图像解码方法的步骤四是将第一解码预测块中所有像素分别和每个第二解码预测块中所有像素的像素差的绝对值之和作为两个图像块的差异,也可以将第一解码预测块中所有像素分别和每个第二解码预测块中所有像素的像素差的平方和作为两个图像块的差异,这样需要的计算量是很大的。
由于图像包含的画面的关联性,图像中相邻两个像素的像素值差别不会很大,尤其是很少会出现像素值的突变,因此本申请对图像块中的所有像素进行采样,即只从所有像素中选取部分像素,例如,隔行获取像素,或者隔列获取像素,或者隔行和隔列获取像素,对此不做具体限定。只要第一解码预测块和每个第二解码预测块采用相同的采样规则即可,这样就减少了要计算的像素数量,相应的计算量便会大大减少。
步骤105、分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二解码预测块与待解码块之间的运动矢量作为待解码块的目标预测运动矢量。
由于对第一解码预测块和每个第二解码预测块中的像素进行了采样,在计算两个图像块的差异时,可以计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为第一解码预测块和每个第二解码预测块的差异,也可以计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为第一解码预测块和每个第二解码预测块的差异。即将针对两个图像块中所有像素点的计算变为针对两个图像块中部分像素点的计算,计算量明显减少。
步骤106、根据目标预测运动矢量获取待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。
如上所述,现有的DMVR技术中的帧间预测的图像解码方法的步骤五和六按照前向和后向两个大方向做运动搜索,而且前向和后向分别得到两个目标预测运动矢量,同样的计算过程要进行两次,计算量必然很大。
本申请可以完成前向运动搜索后,根据前向运动搜索得到的前向目标预测运动矢量,获取对称的后向目标预测运动矢量,即在后向方向上利用与前向目标预测运动矢量相同的值得到后向目标解码预测块,这样后向方向上就是直接采用已有的目标预测运动矢量,就不需要在进行大量的重复计算,减少计算量。
本申请,通过减少对预测参考图像块运动搜索得到的第二解码预测块得数量,并对图像块中的像素采样,降低了差异比较的计算量,提高图像解码效率。
图2为本申请视频序列的图像解码方法实施例二的流程图,如图2所示,本实施例的方法可以包括:
步骤201、确定待解码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
本申请步骤201与上述步骤101的原理类似,此处不再赘述。
步骤202、在预测参考图像块内获取基块、上块、下块、左块和右块。
步骤203、当上块、下块、左块和右块分别对应的差异均大于基块的差异时,只保留基块。
步骤204、将基块与待解码块之间的运动矢量作为待解码块的目标预测运动矢量。
本申请基于至少两个第二解码预测块包括基块、上块、下块、左块和右块。先获取基块、上块、下块、左块和右块,再比较其他块和基块的差异,当上块、下块、左块和右块分别对应的差异均大于基块的差异时,只保留基块。即只需要获取五个位置的第二解码预测块,就可以直接确定出最终对待解码块所采用的目标预测运动矢量,一旦发现上块、下块、左块和右块分别对应的差异均比基块对应的差异大,那么说明偏移后的位置上的第二解码预测块都没有基块更接近待解码块,因此直接将基块与待解码块之间的运动矢量作为待解码块的目标预测运动矢量。
步骤205、根据目标预测运动矢量获取待解码块的目标解码预测块,并根据目标解码预测块对待解码块进行解码。
本申请步骤205与上述步骤106的原理类似,此处不再赘述。
本申请,通过减少对预测参考图像块运动搜索得到的第二解码预测块得数量,降低了差异比较的计算量,提高图像解码效率。
图3为本申请视频序列的图像编码方法实施例一的流程图,如图3所示,本实施例的方法可以包括:
步骤301、确定待编码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
如上所述,现有的DMVR技术中的帧间预测的图像编码方法的步骤一中获取到的预测运动矢量是一个坐标信息,该坐标信息有可能出现表示非像素点(位于两个像素点之间)的情况,这就需要通过对相邻两个像素点进行插值才能获取该非像素点。
本申请直接对预测运动矢量向下取整或者向上取整,将其对应至像素点的位置,这样就省去了插值计算,减少计算量和复杂度。
步骤302、根据运动信息获取待编码块的第一编码预测块。
本申请步骤302与上述DMVR技术中的帧间预测的图像编码方法的步骤二的原理类似,此处不再赘述。
步骤303、在预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,运动搜索的搜索位置由预测运动矢量和第一精度确定。
如上所述,现有的DMVR技术中的帧间预测的图像编码方法的步骤三是以预测参考图像块中的基块为中心,在其周边第一精度覆盖范围内进行运动搜索得到至少九个第二编码预测块,这九个第二编码预测块包括基块、上块、下块、左块、右块、左上块、右上块、右下块和左下块,其中,基块在预测参考图像块内根据预测运动矢量获得,上块在预测参考图像块内根据第一预测矢量获得,下块在预测参考图像块内根据第二预测矢量获得,左块在预测参考图像块内根据第三预测矢量获得,右块在预测参考图像块内根据第四预测矢量获得,左上块在预测参考图像块内根据第五预测矢量获得,右上块在预测参考图像块内根据第六预测矢量获得,右下块在预测参考图像块内根据第七预测矢量获得,左下块在预测参考图像块内根据第八预测矢量获得,第一预测矢量指向的位置由预测运动矢量指向的位置向上偏移目标偏移量获得,第二预测矢量指向的位置由预测运动矢量指向的位置向下偏移目标偏移量获得,第三预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量获得,第四预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量获得,第五预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向上偏移目标偏移量获得,第六预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向上偏移目标偏移量获得,第七预测矢量指向的位置由预测运动矢量指向的位置向右偏移目标偏移量且向下偏移目标偏移量获得,第八预测矢量指向的位置由预测运动矢量指向的位置向左偏移目标偏移量且向下偏移目标偏移量获得,目标偏移量由第一精度确定。
本申请实现步骤303可以包括以下实现方法:
第一种方法是基于至少两个第二编码预测块包括基块、上块、下块、左块和右块。当上块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除下块。或者,当下块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除上块。
当左块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除右块。或者,当右块对应的差异小于基块对应的差异时,从至少两个第二编码预测块中排除左块。
即从上块和下块中择其一,从左块和右块中择其一,若是差异小于基块的差异,那么就不用再获取相反方向上的块,这样只需要获取三个位置的第二编码预测块。该步骤中的差异指的是第二编码预测块和第一编码预测块之间的差异。一旦发现上块和下块其中之一、左块和右块其中之一的差异小于基块的差异,说明这两个块比基块更接近待编码块,因此可以不用再获取相反偏移方向的块。
进一步的,当下块和右块被排除时,在预测参考图像块内获得左上块,左上块为至少两个第二编码预测块中的一个。当下块和左块被排除时,在预测参考图像块内获得右上块,右上块为至少两个第二编码预测块中的一个。当上块和左块被排除时,在预测参考图像块内获得右下块,右下块为至少两个第二编码预测块中的一个。当上块和右块被排除时,在预测参考图像块内获得左下块,左下块为至少两个第二编码预测块中的一个。
即在上述两个位置的第二编码预测块的基础上,还可以再获取左上块、右上块、右下块和左下块其中之一,这样一共只需要获取四个位置的第二编码预测块。
第二种方法是基于至少两个第二编码预测块包括上块、下块、左块、右块。当上块对应的差异小于下块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内获得左上块,左上块为至少两个第二编码预测块中的一个。或者,当上块对应的差异小于下块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内获得右上块,右上块为至少两个第二编码预测块中的一个。或者,当下块对应的差异小于上块对应的差异,且,右块对应的差异小于左块对应的差异时,在预测参考图像块内获得右下块,右下块为至少两个第二编码预测块中的一个。或者,当下块对应的差异小于上块对应的差异,且,左块对应的差异小于右块对应的差异时,在预测参考图像块内获得左下块,左下块为至少两个第二编码预测块中的一个。
即先获取四个位置的第二编码预测块,再根据这四个第二编码预测块获取左上块、右上块、右下块和左下块其中之一,这样一共只需要获取五个位置的第二编码预测块。
本申请的两种方法都是基于基块和其周边的块对应的差异大小,一旦在两个相反方向上发现其中之一的差异小于另一个的差异,或者其中之一的差异小于基块的差异,就可以不需要再获取另一方向、甚至是角方向的第二编码预测块。这样获取的第二编码预测块的数量一定小于现有技术中的九个第二编码预测块。而第二编码预测块的数量的减少,意味着后续像素点采样和差异计算的计算量的减少和复杂度降低。
在一种可行的实施方式中,在上述第二种方法的基础上,设置对上下左右以及1个斜方向共5个第二编码预测块的差异值与基块的差异值进行比较。选取差异值最小所对应的第二编码预测块作为候选预测块,对候选预测块上下左右及4个斜方向共8个新的第二编码预测块。由于8个新的第二编码预测块中其中部分新的第二编码预测块为原第二编码预测块及基块已经进行了差异值计算(如图9中右方向新第二编码预测块,下方向新第二编码预测块为原第二编码预测块,右下斜方向的新第二编码预测块为原基块),只对尚未进行差异值计算的新第二编码预测块进行差异值计算且和候选预测块的差异值进行比较。
在一种可行的实施方式中,当上下左右共4个第二编码预测块的差异值与基块的差异值进行比较且均大于等于基块的差异值,则选取基块作为预测块,基块所对应运动矢量作为目标运动矢量。
此外,如上所述,现有的DMVR技术中的帧间预测的图像编码方法的步骤三获取至少一个第二编码预测块后,即使基块对应的预测运动矢量表示的是像素点,但如果运动搜索的精度不是整像素,例如,1/2像素精度或1/4像素精度或1/8像素精度,那么偏移后的第二编码预测块对应的预测运动矢量很有可能是表示非像素点的。
本申请对至少两个第二编码预测块分别对应的预测运动矢量向下取整或者向上取整,将其对应至像素点的位置,这样就省去了插值计算,减少计算量和复杂度。
步骤304、对第一编码预测块进行下采样以获得第一采样像素点矩阵,并对至少两个第二编码预测块进行下采样以获得至少两个第二采样像素点矩阵。
如上所述,现有的DMVR技术中的帧间预测的图像编码方法的步骤四是将第一编码预测块中所有像素分别和每个第二编码预测块中所有像素的像素差的绝对值之和作为两个图像块的差异,也可以将第一编码预测块中所有像素分别和每个第二编码预测块中所有像素的像素差的平方和作为两个图像块的差异,这样需要的计算量是很大的。
由于图像包含的画面的关联性,图像中相邻两个像素的像素值差别不会很大,尤其是很少会出现像素值的突变,因此本申请对图像块中的所有像素进行采样,即只从所有像素中选取部分像素,例如,隔行获取像素,或者隔列获取像素,或者隔行和隔列获取像素,对此不做具体限定。只要第一编码预测块和每个第二编码预测块采用相同的采样规则即可,这样就减少了要计算的像素数量,相应的计算量便会大大减少。
步骤305、分别计算第一采样像素点矩阵和每个第二采样像素点矩阵的差异,并将差异最小的第二采样像素点矩阵对应的第二编码预测块与待编码块之间的运动矢量作为待编码块的目标预测运动矢量。
由于对第一编码预测块和每个第二编码预测块中的像素进行了采样,在计算两个图像块的差异时,可以计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将像素差的绝对值之和作为第一编码预测块和每个第二编码预测块的差异,也可以计算第一采样像素点矩阵和每个第二采样像素点矩阵对应位置像素点的像素差的平方和,将像素差的平方和作为第一编码预测块和每个第二编码预测块的差异。即将针对两个图像块中所有像素点的计算变为针对两个图像块中部分像素点的计算,计算量明显减少。
步骤306、根据目标预测运动矢量获取待编码块的目标编码预测块,并根据目标编码预测块对待编码块进行编码。
如上所述,现有的DMVR技术中的帧间预测的图像编码方法的步骤五和六按照前向和后向两个大方向做运动搜索,而且前向和后向分别得到两个目标预测运动矢量,同样的计算过程要进行两次,计算量必然很大。
本申请可以完成前向运动搜索后,根据前向运动搜索得到的前向目标预测运动矢量,获取对称的后向目标预测运动矢量,即在后向方向上利用与前向目标预测运动矢量相同的值得到后向目标编码预测块,这样后向方向上就是直接采用已有的目标预测运动矢量,就不需要在进行大量的重复计算,减少计算量。
本申请,通过减少对预测参考图像块运动搜索得到的第二编码预测块得数量,并对图像块中的像素采样,降低了差异比较的计算量,提高图像编码效率。
图4为本申请视频序列的图像编码方法实施例二的流程图,如图4所示,本实施例的方法可以包括:
步骤401、确定待编码块的运动信息,运动信息包括预测运动矢量和参考图像信息,参考图像信息用于标识预测参考图像块。
本申请步骤401与上述步骤301的原理类似,此处不再赘述。
步骤402、在预测参考图像块内获取基块、上块、下块、左块和右块。
步骤403、当上块、下块、左块和右块分别对应的差异均大于基块的差异时,只保留基块。
步骤404、将基块与待编码块之间的运动矢量作为待编码块的目标预测运动矢量。
本申请基于至少两个第二编码预测块包括基块、上块、下块、左块和右块。先获取基块、上块、下块、左块和右块,再比较其他块和基块的差异,当上块、下块、左块和右块分别对应的差异均大于基块的差异时,只保留基块。即只需要获取五个位置的第二编码预测块,就可以直接确定出最终对待编码块所采用的目标预测运动矢量,一旦发现上块、下块、左块和右块分别对应的差异均比基块对应的差异大,那么说明偏移后的位置上的第二编码预测块都没有基块更接近待编码块,因此直接将基块与待编码块之间的运动矢量作为待编码块的目标预测运动矢量。
步骤405、根据目标预测运动矢量获取待编码块的目标编码预测块,并根据目标编码预测块对待编码块进行编码。
本申请步骤405与上述步骤306的原理类似,此处不再赘述。
本申请,通过减少对预测参考图像块运动搜索得到的第二编码预测块得数量,降低了差异比较的计算量,提高图像编码效率。
图5为本申请视频序列的图像解码装置实施例的结构示意图,如图5所示,本实施例的装置可以包括:确定模块11、处理模块12和解码模块13,其中,确定模块11,用于确定待解码块的运动信息,所述运动信息包括预测运动矢量和参考图像信息,所述参考图像信息用于标识预测参考图像块;处理模块12,用于根据所述运动信息获取所述待解码块的第一解码预测块;在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,所述运动搜索的搜索位置由所述预测运动矢量和所述第一精度确定;对所述第一解码预测块进行下采样以获得第一采样像素点矩阵;对所述至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵的差异,并将所述差异最小的第二采样像素点矩阵对应的第二解码预测块与所述待解码块之间的运动矢量作为所述待解码块的目标预测运动矢量;解码模块13,用于根据所述目标预测运动矢量获取所述待解码块的目标解码预测块,并根据所述目标解码预测块对所述待解码块进行解码。
在上述技术方案的基础上,所述处理模块12,具体用于分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将所述像素差的绝对值之和作为所述差异;或者,分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的平方和,将所述像素差的平方和作为所述差异。
在上述技术方案的基础上,所述至少两个第二解码预测块包括基块、上块、下块、左块、右块,所述处理模块12,具体用于当所述上块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述下块,其中,所述基块在所述预测参考图像块内根据所述预测运动矢量获得,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述下块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述上块;或者,当所述左块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述右块,其中,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得;或者,当所述右块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述左块。
在上述技术方案的基础上,所述处理模块12,还用于当所述下块和所述右块被排除时,在所述预测参考图像块内根据第五预测矢量获得左上块,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个;当所述下块和所述左块被排除时,在所述预测参考图像块内根据第六预测矢量获得右上块,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;当所述上块和所述左块被排除时,在所述预测参考图像块内根据第七预测矢量获得右下块,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;当所述上块和所述右块被排除时,在所述预测参考图像块内根据第八预测矢量获得左下块,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
在上述技术方案的基础上,所述至少两个第二解码预测块包括上块、下块、左块、右块,所述处理模块12,具体用于当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第五预测矢量获得左上块,其中,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第六预测矢量获得右上块,其中,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第七预测矢量获得右下块,其中,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第八预测矢量获得左下块,其中,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
在上述技术方案的基础上,所述处理模块12,还用于对所述运动矢量向下取整或者向上取整。
在上述技术方案的基础上,所述处理模块12,还用于对所述至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整。
本实施例的装置,可以用于执行图1或图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本申请视频序列的图像编码装置实施例的结构示意图,如图6所示,本实施例的装置可以包括:确定模块21、处理模块22和编码模块23,其中,确定模块21,用于确定待编码块的运动信息,所述运动信息包括预测运动矢量和参考图像信息,所述参考图像信息用于标识预测参考图像块;处理模块22,用于根据所述运动信息获取所述待编码块的第一编码预测块;在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二编码预测块,所述运动搜索的搜索位置由所述预测运动矢量和所述第一精度确定;对所述第一编码预测块进行下采样以获得第一采样像素点矩阵;对所述至少两个第二编码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵的差异,并将所述差异最小的第二采样像素点矩阵对应的第二编码预测块与所述待编码块之间的运动矢量作为所述待编码块的目标预测运动矢量;编码模块23,用于根据所述目标预测运动矢量获取所述待编码块的目标编码预测块,并根据所述目标编码预测块对所述待编码块进行编码。
在上述技术方案的基础上,所述处理模块22,具体用于分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将所述像素差的绝对值之和作为所述差异;或者,分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的平方和,将所述像素差的平方和作为所述差异。
在上述技术方案的基础上,所述至少两个第二编码预测块包括基块、上块、下块、左块、右块,所述处理模块22,具体用于当所述上块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二编码预测块中排除所述下块,其中,所述基块在所述预测参考图像块内根据所述预测运动矢量获得,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述下块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二编码预测块中排除所述上块;或者,当所述左块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二编码预测块中排除所述右块,其中,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得;或者,当所述右块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二编码预测块中排除所述左块。
在上述技术方案的基础上,所述处理模块22,还用于当所述下块和所述右块被排除时,在所述预测参考图像块内根据第五预测矢量获得左上块,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二编码预测块中的一个;当所述下块和所述左块被排除时,在所述预测参考图像块内根据第六预测矢量获得右上块,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二编码预测块中的一个;当所述上块和所述左块被排除时,在所述预测参考图像块内根据第七预测矢量获得右下块,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二编码预测块中的一个;当所述上块和所述右块被排除时,在所述预测参考图像块内根据第八预测矢量获得左下块,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二编码预测块中的一个。
在上述技术方案的基础上,所述至少两个第二编码预测块包括上块、下块、左块、右块,所述处理模块22,具体用于当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第五预测矢量获得左上块,其中,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二编码预测块中的一个,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第六预测矢量获得右上块,其中,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二编码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第七预测矢量获得右下块,其中,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二编码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第八预测矢量获得左下块,其中,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二编码预测块中的一个。
在上述技术方案的基础上,所述处理模块22,还用于对所述运动矢量向下取整或者向上取整。
在上述技术方案的基础上,所述处理模块22,还用于对所述至少两个第二编码预测块分别对应的预测运动矢量向下取整或者向上取整。
本实施例的装置,可以用于执行图3或图4所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本申请编解码设备实施例的结构示意图,图8为本申请编解码系统实施例的结构示意图。下面将说明图7和图8中的单元。
编解码设备30可以例如是无线通信系统的移动终端或者用户设备。应理解,可以在可能需要对视频图像进行编码和解码,或者编码,或者解码的任何电子设备或者装置内实施本申请的实施例。
编解码设备30可以包括用于并入和保护设备的壳。编解码设备30还可以包括形式为液晶显示器的显示器31。在本申请的其它实施例中,显示器31可以是适合于显示图像或者视频的任何适当的显示器技术。编解码设备30还可以包括小键盘32。在本申请的其它实施例中,可以运用任何适当的数据或者用户接口机制。例如,可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。编解码设备30还可以包括麦克风33或者任何适当的音频输入,该音频输入可以是数字或者模拟信号输入。编解码设备30还可以包括如下音频输出设备,该音频输出设备在本申请的实施例中可以是以下各项中的任何一项:耳机34、扬声器或者模拟音频或者数字音频输出连接。编解码设备30也可以包括电池,在本申请的其它实施例中,编解码设备30可以由任何适当的移动能量设备,例如太阳能电池、燃料电池或者时钟机构生成器供电。编解码设备30还可以包括用于与其它设备的近程视线通信的红外线端口35。在其它实施例中,编解码设备30还可以包括任何适当的近程通信解决方案,例如蓝牙无线连接或者USB/火线有线连接。
编解码设备30可以包括用于控制编解码设备30的控制器36或者控制器。控制器36可以连接到存储器37,该存储器37在本申请的实施例中可以存储形式为图像的数据和音频的数据,和/或也可以存储用于在控制器36上实施的指令。控制器36还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器36实现的辅助编码和解码的编码解码器38。
编解码设备30还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器39和智能卡40。
编解码设备30还可以包括无线电接口41,该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。编解码设备30还可以包括天线42,该天线连接到无线电接口41用于向其它(多个)装置发送在无线电接口41生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本申请的一些实施例中,编解码设备30包括能够记录或者检测单帧的相机,编码解码器38或者控制器接收到这些单帧并对它们进行处理。在本申请的一些实施例中,装置可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的一些实施例中,编解码设备30可以通过无线或者有线连接接收图像用于编码/解码。
编解码系统50包含图像编码装置51和图像解码装置52。图像编码装置51产生经编码视频数据。因此,图像编码装置51可被称作编码设备。图像解码装置52可解码由图像编码装置51产生的经编码视频数据。因此,图像解码装置52可被称作解码设备。图像编码装置51及图像解码装置52可为编解码设备的实例。图像编码装置51及图像解码装置52可包括广泛范围的装置,包含台式计算机、移动计算装置、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机,或其类似者。
图像解码装置52可经由信道53接收来自图像编码装置51的编码后的视频数据。信道53可包括能够将经编码视频数据从图像编码装置51移动到图像解码装置52的一个或多个媒体及/或装置。在一个实例中,信道53可包括使图像编码装置51能够实时地将编码后的视频数据直接发射到图像解码装置52的一个或多个通信媒体。在此实例中,图像编码装置51可根据通信标准(例如,无线通信协议)来调制编码后的视频数据,且可将调制后的视频数据发射到图像解码装置52。所述一个或多个通信媒体可包含无线及/或有线通信媒体,例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成根据包的网络(例如,局域网、广域网或全球网络(例如,因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站,或促进从图像编码装置51到图像解码装置52的通信的其它设备。
在另一实例中,信道53可包含存储由图像编码装置51产生的编码后的视频数据的存储媒体。在此实例中,图像解码装置52可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器,或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中,信道53可包含文件服务器或存储由图像编码装置51产生的编码后的视频数据的另一中间存储装置。在此实例中,图像解码装置52可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到图像解码装置52的服务器类型。实例文件服务器包含web服务器(例如,用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置,及本地磁盘驱动器。
图像解码装置52可经由标准数据连接(例如,因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、缆线调制解调器等),或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的技术不限于无线应用场景,示例性的,可将所述技术应用于支持以下应用等多种多媒体应用的视频编解码:空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如,经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码,或其它应用。在一些实例中,编解码系统50可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图8的实例中,图像编码装置51包含视频源54、视频编码器55及输出接口56。在一些实例中,输出接口56可包含调制器/解调器(调制解调器)及/或发射器。视频源54可包含视频俘获装置(例如,视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口,及/或用于产生视频数据的计算机图形系统,或上述视频数据源的组合。
视频编码器55可编码来自视频源54的视频数据。在一些实例中,图像编码装置51经由输出接口56将编码后的视频数据直接发射到图像解码装置52。编码后的视频数据还可存储于存储媒体或文件服务器上以供图像解码装置52稍后存取以用于解码及/或播放。
在图8的实例中,图像解码装置52包含输入接口57、视频解码器58及显示装置59。在一些实例中,输入接口57包含接收器及/或调制解调器。输入接口57可经由信道53接收编码后的视频数据。显示装置59可与图像解码装置52整合或可在图像解码装置52外部。一般来说,显示装置59显示解码后的视频数据。显示装置59可包括多种显示装置,例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器55及视频解码器58可根据视频压缩标准(例如,高效率视频编解码H.265标准)而操作,且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布,可从http://handle.itu.int/11.1002/1000/12455下载,所述文件的全部内容以引用的方式并入本文中。
或者,视频编码器55及视频解码器59可根据其它专属或行业标准而操作,所述标准包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual,ITU-TH.264(还称为ISO/IECMPEG-4AVC),包含可分级视频编解码(SVC)及多视图视频编解码(MVC)扩展。应理解,本申请的技术不限于任何特定编解码标准或技术。
此外,图8仅为实例且本申请的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频编解码应用(例如,单侧的视频编码或视频解码)。在其它实例中,从本地存储器检索数据,经由网络流式传输数据,或以类似方式操作数据。编码装置可编码数据且将所述数据存储到存储器,及/或解码装置可从存储器检索数据且解码所述数据。在许多实例中,通过彼此不进行通信而仅编码数据到存储器及/或从存储器检索数据及解码数据的多个装置执行编码及解码。
视频编码器55及视频解码器59各自可实施为多种合适电路中的任一者,例如一个或多个微控制器、数字信号控制器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果技术部分地或者全部以软件实施,则装置可将软件的指令存储于合适的非瞬时计算机可读存储媒体中,且可使用一个或多个控制器执行硬件中的指令以执行本申请的技术。可将前述各者中的任一者(包含硬件、软件、硬件与软件的组合等)视为一个或多个控制器。视频编码器55及视频解码器59中的每一者可包含于一个或多个编码器或解码器中,其中的任一者可整合为其它装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
本申请大体上可指代视频编码器55将某一信息“用信号发送”到另一装置(例如,视频解码器59)。术语“用信号发送”大体上可指代语法元素及/或表示编码后的视频数据的传达。此传达可实时或近实时地发生。或者,此通信可在一时间跨度上发生,例如可在编码时以编码后得到的二进制数据将语法元素存储到计算机可读存储媒体时发生,所述语法元素在存储到此媒体之后接着可由解码装置在任何时间检索。
在一种可能的实现方式中,本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有指令,当该指令在计算机上运行时,用于执行上述图1-图4中任一所示实施例中的方法。
在一种可能的实现方式中,本申请提供一种计算机程序,当所述计算机程序被计算机执行时,用于执行上述图1-图4中任一所示实施例中的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种视频序列的图像解码方法,其特征在于,包括:
确定待解码块的运动信息,所述运动信息包括预测运动矢量和参考图像信息,所述参考图像信息用于标识预测参考图像块;
根据所述运动信息获取所述待解码块的第一解码预测块;
在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,所述运动搜索的搜索位置由所述预测运动矢量和所述第一精度确定;
对所述第一解码预测块进行下采样以获得第一采样像素点矩阵;
对所述至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;
分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵的差异,并将所述差异最小的第二采样像素点矩阵对应的第二解码预测块与所述待解码块之间的运动矢量作为所述待解码块的目标预测运动矢量;
根据所述目标预测运动矢量获取所述待解码块的目标解码预测块,并根据所述目标解码预测块对所述待解码块进行解码。
2.根据权利要求1所述的方法,其特征在于,所述分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵的差异,包括:
分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将所述像素差的绝对值之和作为所述差异;或者,
分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的平方和,将所述像素差的平方和作为所述差异。
3.根据权利要求1或2所述的方法,其特征在于,所述至少两个第二解码预测块包括基块、上块、下块、左块、右块,所述在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,包括:
当所述上块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述下块,其中,所述基块在所述预测参考图像块内根据所述预测运动矢量获得,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,
当所述下块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述上块;或者,
当所述左块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述右块,其中,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得;或者,
当所述右块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述左块。
4.根据权利要求3所述的方法,其特征在于,所述在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,还包括:
当所述下块和所述右块被排除时,在所述预测参考图像块内根据第五预测矢量获得左上块,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个;
当所述下块和所述左块被排除时,在所述预测参考图像块内根据第六预测矢量获得右上块,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;
当所述上块和所述左块被排除时,在所述预测参考图像块内根据第七预测矢量获得右下块,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;
当所述上块和所述右块被排除时,在所述预测参考图像块内根据第八预测矢量获得左下块,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
5.根据权利要求1或2所述的方法,其特征在于,所述至少两个第二解码预测块包括上块、下块、左块、右块,所述在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,包括:
当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第五预测矢量获得左上块,其中,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,
当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第六预测矢量获得右上块,其中,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;或者,
当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第七预测矢量获得右下块,其中,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;或者,
当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第八预测矢量获得左下块,其中,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
6.根据权利要求1、2或4所述的方法,其特征在于,所述确定待解码块的运动信息之后,还包括:
对所述运动矢量向下取整或者向上取整。
7.根据权利要求1、2或4所述的方法,其特征在于,所述在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块之后,还包括:
对所述至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整。
8.一种视频序列的图像解码装置,其特征在于,包括:
确定模块,用于确定待解码块的运动信息,所述运动信息包括预测运动矢量和参考图像信息,所述参考图像信息用于标识预测参考图像块;
处理模块,用于根据所述运动信息获取所述待解码块的第一解码预测块;在所述预测参考图像块内进行第一精度的运动搜索以获取至少两个第二解码预测块,所述运动搜索的搜索位置由所述预测运动矢量和所述第一精度确定;对所述第一解码预测块进行下采样以获得第一采样像素点矩阵;对所述至少两个第二解码预测块进行下采样以获得至少两个第二采样像素点矩阵;分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵的差异,并将所述差异最小的第二采样像素点矩阵对应的第二解码预测块与所述待解码块之间的运动矢量作为所述待解码块的目标预测运动矢量;
解码模块,用于根据所述目标预测运动矢量获取所述待解码块的目标解码预测块,并根据所述目标解码预测块对所述待解码块进行解码。
9.根据权利要求8所述的装置,其特征在于,所述处理模块,具体用于分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的绝对值之和,将所述像素差的绝对值之和作为所述差异;或者,分别计算所述第一采样像素点矩阵和每个所述第二采样像素点矩阵对应位置像素点的像素差的平方和,将所述像素差的平方和作为所述差异。
10.根据权利要求8或9所述的装置,其特征在于,所述至少两个第二解码预测块包括基块、上块、下块、左块、右块,所述处理模块,具体用于当所述上块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述下块,其中,所述基块在所述预测参考图像块内根据所述预测运动矢量获得,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述下块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述上块;或者,当所述左块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述右块,其中,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得;或者,当所述右块对应的所述差异小于所述基块对应的所述差异时,从所述至少两个第二解码预测块中排除所述左块。
11.根据权利要求10所述的装置,其特征在于,所述处理模块,还用于当所述下块和所述右块被排除时,在所述预测参考图像块内根据第五预测矢量获得左上块,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个;当所述下块和所述左块被排除时,在所述预测参考图像块内根据第六预测矢量获得右上块,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;当所述上块和所述左块被排除时,在所述预测参考图像块内根据第七预测矢量获得右下块,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;当所述上块和所述右块被排除时,在所述预测参考图像块内根据第八预测矢量获得左下块,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
12.根据权利要求8或9所述的装置,其特征在于,所述至少两个第二解码预测块包括上块、下块、左块、右块,所述处理模块,具体用于当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第五预测矢量获得左上块,其中,所述第五预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量且向上偏移所述目标偏移量获得,所述左上块为所述至少两个第二解码预测块中的一个,所述上块在所述预测参考图像块内根据第一预测矢量获得,所述第一预测矢量指向的位置由所述预测运动矢量指向的位置向上偏移目标偏移量获得,所述下块在所述预测参考图像块内根据第二预测矢量获得,所述第二预测矢量指向的位置由所述预测运动矢量指向的位置向下偏移所述目标偏移量获得,所述左块在所述预测参考图像块内根据第三预测矢量获得,所述第三预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移目标偏移量获得,所述右块在所述预测参考图像块内根据第四预测矢量获得,所述第四预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量获得,所述目标偏移量由所述第一精度确定;或者,当所述上块对应的所述差异小于所述下块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第六预测矢量获得右上块,其中,所述第六预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向上偏移所述目标偏移量获得,所述右上块为所述至少两个第二解码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述右块对应的所述差异小于所述左块对应的所述差异时,在所述预测参考图像块内根据第七预测矢量获得右下块,其中,所述第七预测矢量指向的位置由所述预测运动矢量指向的位置向右偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述右下块为所述至少两个第二解码预测块中的一个;或者,当所述下块对应的所述差异小于所述上块对应的所述差异,且,所述左块对应的所述差异小于所述右块对应的所述差异时,在所述预测参考图像块内根据第八预测矢量获得左下块,其中,所述第八预测矢量指向的位置由所述预测运动矢量指向的位置向左偏移所述目标偏移量且向下偏移所述目标偏移量获得,所述左下块为所述至少两个第二解码预测块中的一个。
13.根据权利要求8、9或11所述的装置,其特征在于,所述处理模块,还用于对所述运动矢量向下取整或者向上取整。
14.根据权利要求8、9或11所述的装置,其特征在于,所述处理模块,还用于对所述至少两个第二解码预测块分别对应的预测运动矢量向下取整或者向上取整。
CN201811458677.4A 2018-11-30 2018-11-30 视频序列的图像编解码方法和装置 Active CN111263152B (zh)

Priority Applications (14)

Application Number Priority Date Filing Date Title
CN201811458677.4A CN111263152B (zh) 2018-11-30 2018-11-30 视频序列的图像编解码方法和装置
MX2021006391A MX2021006391A (es) 2018-11-30 2019-07-29 Método y aparato de codificación y decodificación de imágenes para secuencia de video.
PCT/CN2019/098151 WO2020107921A1 (zh) 2018-11-30 2019-07-29 视频序列的图像编解码方法和装置
SG11202105655SA SG11202105655SA (en) 2018-11-30 2019-07-29 Picture encoding and decoding method and apparatus for video sequence
CN201980076071.0A CN113412619A (zh) 2018-11-30 2019-07-29 视频序列的图像编解码方法和装置
EP19891412.9A EP3879827A4 (en) 2019-07-29 Image encoding method and apparatus for video sequence, and image decoding method and apparatus for video sequence
CA3121402A CA3121402C (en) 2018-11-30 2019-07-29 Picture encoding and decoding method and apparatus for video sequence
KR1020217019599A KR20210094038A (ko) 2018-11-30 2019-07-29 비디오 시퀀스에 대한 픽처 인코딩 및 디코딩 방법 및 장치
BR112021010415-1A BR112021010415A2 (pt) 2018-11-30 2019-07-29 Método de codificação e decodificação de imagem e aparelho para sequência de vídeo
JP2021530828A JP7273154B2 (ja) 2018-11-30 2019-07-29 ビデオシーケンスのためのピクチャエンコーディング及びデコーディング方法及び装置
US17/334,068 US11503317B2 (en) 2018-11-30 2021-05-28 Picture encoding and decoding method and apparatus for video sequence
US17/964,166 US11818379B2 (en) 2018-11-30 2022-10-12 Picture encoding and decoding method and apparatus for video sequence
JP2023072944A JP2023100767A (ja) 2018-11-30 2023-04-27 ビデオシーケンスのためのピクチャエンコーディング及びデコーディング方法及び装置
US18/477,167 US20240022748A1 (en) 2018-11-30 2023-09-28 Picture Encoding and Decoding Method and Apparatus for Video Sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811458677.4A CN111263152B (zh) 2018-11-30 2018-11-30 视频序列的图像编解码方法和装置

Publications (2)

Publication Number Publication Date
CN111263152A CN111263152A (zh) 2020-06-09
CN111263152B true CN111263152B (zh) 2021-06-01

Family

ID=70854462

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811458677.4A Active CN111263152B (zh) 2018-11-30 2018-11-30 视频序列的图像编解码方法和装置
CN201980076071.0A Pending CN113412619A (zh) 2018-11-30 2019-07-29 视频序列的图像编解码方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980076071.0A Pending CN113412619A (zh) 2018-11-30 2019-07-29 视频序列的图像编解码方法和装置

Country Status (9)

Country Link
US (3) US11503317B2 (zh)
JP (2) JP7273154B2 (zh)
KR (1) KR20210094038A (zh)
CN (2) CN111263152B (zh)
BR (1) BR112021010415A2 (zh)
CA (1) CA3121402C (zh)
MX (1) MX2021006391A (zh)
SG (1) SG11202105655SA (zh)
WO (1) WO2020107921A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263152B (zh) * 2018-11-30 2021-06-01 华为技术有限公司 视频序列的图像编解码方法和装置
US11412253B2 (en) * 2020-02-24 2022-08-09 Alibaba Group Holding Limited Methods for combining decoder side motion vector refinement with wrap-around motion compensation

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671321B1 (en) * 1999-08-31 2003-12-30 Mastsushita Electric Industrial Co., Ltd. Motion vector detection device and motion vector detection method
KR100534207B1 (ko) * 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
KR100994773B1 (ko) * 2004-03-29 2010-11-16 삼성전자주식회사 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
CN101340578A (zh) * 2007-07-03 2009-01-07 株式会社日立制作所 运动矢量估计装置、编码器及摄像机
CN101605256A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 一种视频编解码的方法及装置
CN102883160B (zh) * 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
CN102316317B (zh) * 2010-07-10 2013-04-24 华为技术有限公司 一种生成图像预测值的方法和装置
US9706221B2 (en) * 2013-10-29 2017-07-11 Vixs Systems Inc. Motion search with scaled and unscaled pictures
US10484721B2 (en) 2014-03-17 2019-11-19 Qualcomm Incorporated Method for motion estimation of non-natural video data
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置
WO2018058622A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种帧间预测的图像编解码方法和装置
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
JP2018148486A (ja) * 2017-03-08 2018-09-20 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
JP6435029B2 (ja) * 2017-09-28 2018-12-05 日本電信電話株式会社 映像符号化装置及び映像符号化プログラム
US10542277B2 (en) * 2017-10-24 2020-01-21 Arm Limited Video encoding
KR102605638B1 (ko) 2018-06-07 2023-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 부분 코스트 계산
CN108900847B (zh) * 2018-06-11 2020-06-30 阿依瓦(北京)技术有限公司 一种基于块匹配的大范围预测方法
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
CN111263152B (zh) * 2018-11-30 2021-06-01 华为技术有限公司 视频序列的图像编解码方法和装置

Also Published As

Publication number Publication date
US20210289220A1 (en) 2021-09-16
BR112021010415A2 (pt) 2021-08-24
EP3879827A1 (en) 2021-09-15
KR20210094038A (ko) 2021-07-28
US11503317B2 (en) 2022-11-15
US11818379B2 (en) 2023-11-14
JP2023100767A (ja) 2023-07-19
US20230030845A1 (en) 2023-02-02
MX2021006391A (es) 2021-09-10
JP2022509982A (ja) 2022-01-25
CN111263152A (zh) 2020-06-09
CA3121402A1 (en) 2020-06-04
SG11202105655SA (en) 2021-06-29
US20240022748A1 (en) 2024-01-18
WO2020107921A1 (zh) 2020-06-04
JP7273154B2 (ja) 2023-05-12
CN113412619A (zh) 2021-09-17
CA3121402C (en) 2024-03-05

Similar Documents

Publication Publication Date Title
US11039144B2 (en) Method and apparatus for image coding and decoding through inter-prediction
CN112218073B (zh) 视频编码方法、解码方法及终端
US20240022748A1 (en) Picture Encoding and Decoding Method and Apparatus for Video Sequence
CN109565601B (zh) 一种基于模板匹配的预测方法及装置
CN109891882B (zh) 一种基于模板匹配的编解码方法及装置
WO2019233423A1 (zh) 获取运动矢量的方法和装置
JP7388610B2 (ja) 映像符号化方法、映像復号方法、および端末
JP7582598B2 (ja) 動きベクトル取得方法および装置
WO2020078327A1 (zh) 一种编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant