Nothing Special   »   [go: up one dir, main page]

CN117615146B - 视频处理方法及装置、电子设备及计算机可读存储介质 - Google Patents

视频处理方法及装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117615146B
CN117615146B CN202311511860.7A CN202311511860A CN117615146B CN 117615146 B CN117615146 B CN 117615146B CN 202311511860 A CN202311511860 A CN 202311511860A CN 117615146 B CN117615146 B CN 117615146B
Authority
CN
China
Prior art keywords
filtered
video
video frame
determining
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311511860.7A
Other languages
English (en)
Other versions
CN117615146A (zh
Inventor
宁沛荣
高敏
请求不公布姓名
樊星星
曲建峰
段晨辉
陈靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuhang Technology Beijing Co ltd
Original Assignee
Shuhang Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuhang Technology Beijing Co ltd filed Critical Shuhang Technology Beijing Co ltd
Priority to CN202311511860.7A priority Critical patent/CN117615146B/zh
Publication of CN117615146A publication Critical patent/CN117615146A/zh
Application granted granted Critical
Publication of CN117615146B publication Critical patent/CN117615146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种视频处理方法及装置、电子设备及计算机可读存储介质。该方法包括:获取待处理视频;从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;确定所述待滤波视频帧的画面复杂度,所述画面复杂度表征所述待滤波视频帧中的纹理的复杂度;根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关。

Description

视频处理方法及装置、电子设备及计算机可读存储介质
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频处理方法及装置、电子设备及计算机可读存储介质。
背景技术
由于视频中的视频帧之间具有相关性,因此在对视频中的待滤波视频帧进行滤波时,可利用视频中除待滤波视频帧之外的视频帧对待滤波视频帧进行滤波,其中,视频中用于对待滤波视频帧进行滤波的视频帧为参考帧。显然,参考帧的数量会影响待滤波视频帧的滤波效果,因此,如何确定参考帧的数量对待滤波视频帧的滤波而言具有非常重要的意义。
发明内容
本申请提供一种视频处理方法及装置、电子设备及计算机可读存储介质,以确定参考帧的数量。
第一方面,提供了一种视频处理方法,所述方法包括:
获取待处理视频;
从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;
确定所述待滤波视频帧的画面复杂度,所述画面复杂度表征所述待滤波视频帧中的纹理的复杂度;
根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关。
结合本申请任一实施方式,所述确定所述待滤波视频帧的画面复杂度,包括:
根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,所述画面复杂度与所述第一幅值、所述第二幅值均呈正相关。
结合本申请任一实施方式,所述根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,包括:
确定所述待滤波视频帧的横向梯度的第一幅值和所述待滤波视频帧的纵向梯度的第二幅值;
计算所述第一幅值与所述第二幅值的和得到目标值;
根据所述目标值得到所述画面复杂度,所述画面复杂度与所述目标值呈正相关。
结合本申请任一实施方式,所述确定所述待滤波视频帧的横向梯度的第一幅值和所述待滤波视频帧的纵向梯度的第二幅值,包括:
从所述待滤波视频帧中确定人眼关注区域,所述人眼关注区域为在所述待滤波视频帧被展示的情况下,所述待滤波视频帧中被人眼关注的区域;
确定所述人眼关注区域的横向梯度的幅值,得到所述第一幅值;
确定所述人眼关注区域的纵向梯度的幅值,得到所述第二幅值。
结合本申请任一实施方式,所述根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,包括:
在所述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加所述参考帧的数量,得到所述目标数量,所述预定数量为预先设定的所述参考帧的数量;
在所述画面复杂度大于或等于所述第一阈值,且小于或等于第二阈值的情况下,确定所述预定数量为所述目标数量;
在所述画面复杂度大于所述第二阈值的情况下,通过在所述预定数量的基础上减少所述参考帧的数量,得到所述目标数量。
结合本申请任一实施方式,在根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量之后,所述方法还包括:
从所述待处理视频中确定时间戳距离所述待滤波视频帧的时间戳最近的n帧视频帧,作为所述待滤波视频帧的n帧参考帧,所述n与所述目标数量相同;
根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧;
使用所述滤波后的视频帧替换所述待处理视频中的所述待滤波视频帧,得到滤波后的视频。
结合本申请任一实施方式,所述根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧,包括:
将所述待滤波视频帧划分为m个参考图像块;
针对所述m个参考图像块中的每个所述参考图像块,从所述n帧参考帧中,确定具有匹配关系的目标图像块;
对具有匹配关系的所述参考图像块和所述目标图像块进行加权平均,得到m个滤波图像块;
根据所述m个滤波图像块,得到所述滤波后的视频帧。
结合本申请任一实施方式,在得到滤波后的视频之后,所述方法还包括:
通过对所述滤波后的视频进行编码,得到所述待处理视频的编码视频。
结合本申请任一实施方式,所述确定所述待滤波视频帧的画面复杂度,包括:
确定所述待滤波视频帧的像素值的方差;
根据所述方差,确定所述画面复杂度,所述画面复杂度与所述方差呈正相关。
第二方面,提供了一种视频处理装置,所述装置包括:
获取单元,用于获取待处理视频;
选取单元,用于从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;
确定单元,用于确定所述待滤波视频帧的画面复杂度,所述画面复杂度表征所述待滤波视频帧中的纹理的复杂度;
所述确定单元,用于根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关。
结合本申请任一实施方式,所述确定单元,用于:
根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,所述画面复杂度与所述第一幅值、所述第二幅值均呈正相关。
结合本申请任一实施方式,所述根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,包括:
确定所述待滤波视频帧的横向梯度的第一幅值和所述待滤波视频帧的纵向梯度的第二幅值;
计算所述第一幅值与所述第二幅值的和得到目标值;
根据所述目标值得到所述画面复杂度,所述画面复杂度与所述目标值呈正相关。
结合本申请任一实施方式,所述确定单元,用于:
从所述待滤波视频帧中确定人眼关注区域,所述人眼关注区域为在所述待滤波视频帧被展示的情况下,所述待滤波视频帧中被人眼关注的区域;
确定所述人眼关注区域的横向梯度的幅值,得到所述第一幅值;
确定所述人眼关注区域的纵向梯度的幅值,得到所述第二幅值。
结合本申请任一实施方式,所述确定单元,用于:
在所述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加所述参考帧的数量,得到所述目标数量,所述预定数量为预先设定的所述参考帧的数量;
在所述画面复杂度大于或等于所述第一阈值,且小于或等于第二阈值的情况下,确定所述预定数量为所述目标数量;
在所述画面复杂度大于所述第二阈值的情况下,通过在所述预定数量的基础上减少所述参考帧的数量,得到所述目标数量。
结合本申请任一实施方式,所述确定单元,还用于从所述待处理视频中确定时间戳距离所述待滤波视频帧的时间戳最近的n帧视频帧,作为所述待滤波视频帧的n帧参考帧,所述n与所述目标数量相同;
所述装置,还包括:
滤波单元,用于根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧;
替换单元,用于使用所述滤波后的视频帧替换所述待处理视频中的所述待滤波视频帧,得到滤波后的视频。
结合本申请任一实施方式,所述滤波单元,用于:
将所述待滤波视频帧划分为m个参考图像块;
针对所述m个参考图像块中的每个所述参考图像块,从所述n帧参考帧中,确定具有匹配关系的目标图像块;
对具有匹配关系的所述参考图像块和所述目标图像块进行加权平均,得到m个滤波图像块;
根据所述m个滤波图像块,得到所述滤波后的视频帧。
结合本申请任一实施方式,所述装置,还包括:编码单元,用于通过对所述滤波后的视频进行编码,得到所述待处理视频的编码视频。
结合本申请任一实施方式,所述确定单元,用于:
确定所述待滤波视频帧的像素值的方差;
根据所述方差,确定所述画面复杂度,所述画面复杂度与所述方差呈正相关。
第三方面,提供了一种电子设备,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任一实施方式。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任一实施方式。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一实施方式。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
本申请中,视频处理装置在获取待处理视频后,从待处理视频中任选一帧视频帧,作为待滤波视频帧。确定待滤波视频帧的画面复杂度,其中,画面复杂度表征待滤波视频帧中的纹理的复杂度。再在参考帧的目标数量于画面复杂度呈负相关的情况下,根据画面复杂度,确定待滤波视频帧的参考帧的目标数量,其中,参考帧用于对待滤波视频帧进行滤波。这样,在待滤波视频帧中的纹理的复杂度低的情况下,待滤波视频帧的参考帧的数量多,相应的,利用参考帧对待滤波视频帧进行的滤波的强度大,而由于待滤波视频帧中的纹理的复杂度低,即使滤波的强度大,滤波导致的纹理的丢失也较少。在待滤波视频帧中的纹理的复杂度高的情况下,待滤波视频帧的参考帧的数量少,相应的,利用参考帧对待滤波视频帧进行的滤波的强度低,而由于待滤波视频帧中的纹理的复杂度高,滤波的强度低,可减少滤波导致的纹理的丢失。也就是说,通过本申请的视频处理方法,可确定与待滤波视频帧中的纹理的复杂度匹配的参考帧的目标数量。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种视频处理方法的流程示意图;
图2为本申请实施例提供的一种确定待滤波视频帧的参考帧的目标数量的流程示意图;
图3为本申请实施例提供的一种视频发布系统的架构示意图;
图4为本申请实施例提供的一种视频处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例的执行主体为视频处理装置,其中,视频处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,视频处理装置可以是以下中的一种:计算机、服务器。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种视频处理方法的流程示意图。
101、获取待处理视频。
本申请实施例中,待处理视频可以是包括任意内容的视频,例如,待处理视频为篮球比赛的视频,又例如,待处理视频为舞蹈视频,再例如,待处理视频为既包括舞蹈又包括篮球比赛的视频。
在一种获取待处理视频的实现方式中,视频处理装置接收用户通过输入组件输入的待处理视频。上述输入组件包括以下至少一种:键盘、鼠标、触控屏、触控板、音频输入器。
在另一种获取待处理视频的实现方式中,视频处理装置接收终端发送的待处理视频。上述终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
在又一种获取待处理视频的实现方式中,视频处理装置通过从互联网下载视频得到待处理视频。
在又一种获取待处理视频的实现方式中,视频处理装置与摄像头之间具有通信连接,摄像头通过该通信连接获取摄像头采集到的视频作为待处理视频。
102、从上述待处理视频中任选一帧视频帧,作为待滤波视频帧。
103、确定上述待滤波视频帧的画面复杂度。
本申请实施例中,画面复杂度包括待滤波视频帧中的纹理的复杂度,其中,待滤波视频帧中的纹理越复杂,待滤波视频帧中的纹理的复杂度越高,相应的,待滤波视频帧的画面复杂度也越高。可选的,在待滤波视频帧中,平坦区域的面积的占比越大,待滤波视频帧的画面复杂度越低。可选的,待滤波视频帧的画面复杂度包括待滤波视频帧中的颜色的种类,其中,待滤波视频帧中的颜色的种类越多,待滤波视频帧的画面复杂度越高。可选的,待滤波视频帧的画面复杂度包括待滤波视频帧中的边缘的数量,其中,待滤波视频帧中的边缘的数量越多,待滤波视频帧的画面复杂度越高。可选的,待滤波视频帧的画面复杂度包括待滤波视频帧中的对象的数量,其中,待滤波视频帧中的对象的数量越多,待滤波视频帧的画面复杂度越高。
在一种可能实现的方式中,视频处理装置计算待滤波视频帧的横向梯度的幅值得到第一幅值。根据待滤波视频帧的横向梯度的第一幅值,得到画面复杂度,其中,画面复杂度与第一幅值呈正相关。
待滤波视频帧的横向梯度的幅值越大,说明待滤波视频帧中的纹理的复杂度越高,因此,视频处理装置在画面复杂度与第一幅值呈正相关的情况下,根据待滤波视频帧的横向梯度的第一幅值,得到画面复杂度。可选的,视频处理装置将第一幅值作为待滤波视频帧的画面复杂度。
在另一种可能实现的方式中,视频处理装置计算待滤波视频帧的纵向梯度的幅值得到第二幅值。根据待滤波视频帧的纵向梯度的第二幅值,得到画面复杂度,其中,画面复杂度与第二幅值呈正相关。
待滤波视频帧的纵向梯度的幅值越大,说明待滤波视频帧中的纹理的复杂度越高,因此,视频处理装置在画面复杂度与第二幅值呈正相关的情况下,根据待滤波视频帧的纵向梯度的第二幅值,得到画面复杂度。可选的,视频处理装置将第二幅值作为待滤波视频帧的画面复杂度。
在又一种可能实现的方式中,视频处理装置计算待滤波视频帧的横向梯度的幅值得到第一幅值。视频处理装置计算待滤波视频帧的纵向梯度的幅值得到第二幅值。计算第一幅值与第二幅值的和得到目标值。根据目标值得到画面复杂度,其中,画面复杂度与目标值呈正相关,即画面复杂度与第一幅值、第二幅值均呈正相关。
可选的,视频处理装置将第一幅值与第二幅值的和作为待滤波视频帧的画面复杂度。
可选的,视频处理装置通过执行以下步骤确定待滤波视频帧的横向梯度的第一幅值和待滤波视频帧的纵向梯度的第二幅值:从待滤波视频帧中确定人眼关注区域,其中,人眼关注区域为在待滤波视频帧被展示的情况下,待滤波视频帧中被人眼关注的区域。确定人眼关注区域的横向梯度的幅值,得到第一幅值。确定人眼关注区域的纵向梯度的幅值,得到第二幅值。
本申请实施例中,人眼关注区域为待滤波视频帧中被人眼关注的区域。人眼关注区域为待滤波视频帧中人眼重点关注的区域。在一种可能实现的方式中,人眼关注区域为待滤波视频帧中的前景所覆盖的像素区域。例如,对于一张包括人物的图像,人物为前景。人们在观看这张图像时,关注的重点为图像中的人物,因此,人物所覆盖的像素区域为人眼关注的区域。像处理装置从待滤波视频帧中确定前景所覆盖的像素区域,可得到人眼关注区域。
在另一种可能实现的方式中,前景所覆盖的像素区域包括图像内容变化大的区域和图像内容变化小的区域,其中,区分图像内容变化是大还是小的依据可根据实际需求确定。例如,对于前景所覆盖的像素区域内的任一区域,像素值的方差大于方差阈值可确定该区域为图像内容变化大的区域,像素值的方差小于或等于方差阈值可确定该区域为图像内容变化小的区域。又例如,对于前景所覆盖的像素区域内的任一区域,梯度的方差大于梯度阈值可确定该区域为图像内容变化大的区域,梯度的方差小于或等于梯度阈值可确定该区域为图像内容变化小的区域。图像处理装置将图像内容变化大的区域作为人眼关注区域。
在又一种可能实现的方式中,前景所覆盖的像素区域包括至少两个对象像素区域,其中,不同对象像素区域为不同的对象所覆盖的像素区域,例如,在前景为人物的情况下,人物所覆盖的像素区域包括人脸所覆盖的像素区域、四肢所覆盖的像素区域、除四肢之外的躯干所覆盖的像素区域,此时,人脸所覆盖的像素区域、四肢所覆盖的像素区域、除四肢之外的躯干所覆盖的像素区域均为对象像素区域。
由于不同的对象被人眼关注的几率不同,确定不同的对象像素区域的图像内容变化大还是小的依据不同,具体的,与对象像素区域对应的对象被人眼关注的几率越低,确定对象像素区域为图像内容变化大的区域的标准更高。例如,在前景为人物的情况下,人脸被人眼关注的几率高于四肢被人眼关注的几率,因此,确定人脸所覆盖的像素区域为图像内容变化大的区域的标准,低于确定四肢所覆盖的像素区域为图像内容变化大的区域的标准。如,对于人脸所覆盖的像素区域,梯度的方差大于人脸梯度阈值可确定该区域为图像内容变化大的区域,梯度的方差小于或等于人脸梯度阈值可确定该区域为图像内容变化小的区域。对于四肢所覆盖的像素区域,梯度的方差大于四肢梯度阈值可确定该区域为图像内容变化大的区域,梯度的方差小于或等于四肢梯度阈值可确定该区域为图像内容变化小的区域。那么人脸梯度阈值小于四肢梯度阈值。
通过对确定不同像素区域是否为图像内容变化大的区域的标准进行区分,可提高图像内容变化大的区域为被人眼关注的区域的几率。例如,前景所覆盖的像素区域包括颜色渐变的区域,该区域存在图像内容的变化,但是图像内容在该区域内的变化又属于缓慢变化,因此,颜色渐变区域出现的位置将影响该颜色渐变区域被人眼关注的几率。如,在前景为人物的情况下,若颜色渐变区域出现在人物穿着的衣服上,那么该颜色渐变区域被人眼关注的几率小,若颜色渐变区域出现在人脸上,那么该颜色渐变区域被人眼关注的几率大。也就是说,以相同的标准确定不同像素区域是否图像内容变化大的区域,易导致图像内容变化大的区域为被人眼关注的区域的几率低。因此,通过对确定不同像素区域是否为图像内容变化大的区域的标准进行区分,可提高图像内容变化大的区域为被人眼关注的区域的几率。
视频处理装置在从待滤波视频帧中确定人眼关注区域后,确定人眼关注区域的横向梯度的幅值为第一幅值,确定人眼关注区域的纵向梯度的幅值为第二幅值,这样,后续基于第一幅值和/或第二幅值,确定待滤波视频帧的画面复杂度,可使待滤波视频帧的画面复杂度能更好的表征人眼关注区域的画面复杂度。
在又一种可能实现的方式中,视频处理装置确定待滤波视频帧的像素值的方差,具体的,视频处理装置计算待滤波视频帧中所有像素的像素值的方差,得到待滤波视频帧的像素值的方差。根据像素值的方差,确定画面复杂度,其中,画面复杂度与像素值的方差呈正相关。
待滤波视频帧的像素值的方差大,说明待滤波视频帧中不同像素的像素值的差异大,也就说明待滤波视频帧中不同像素的图像内容的差异大,进而说明待滤波视频帧的画面复杂度高。因此,视频处理装置在画面复杂度与像素值的方差呈正相关的情况下,根据像素值的方差,确定画面复杂度。可选的,视频处理装置将像素值的方差作为待滤波视频帧的画面复杂度。
在又一种可能实现的方式中,视频处理装置将待滤波视频帧输入至画面复杂度网络,得到待滤波视频帧的画面复杂度。其中,画面复杂度网络为经过以下训练的神经网络:将训练图像输入至画面复杂度网络,预测训练图像的画面复杂度,得到训练图像的训练复杂度。根据训练复杂度与训练图像的标签的差异,得到画面复杂度网络的损失,其中,画面复杂度网络的损失与该差异呈正相关,训练图像的标签为训练图像的实际画面复杂度,该实际画面复杂度为训练图像的画面复杂度的真值(ground truth,GT)。
104、根据上述画面复杂度,确定上述待滤波视频帧的参考帧的目标数量。
本申请实施例中,参考帧用于对待滤波视频帧进行滤波,参考帧为对待滤波视频帧进行滤波的依据。在一种可能实现的方式中,利用基于运动补偿的加权时域滤波(motioncompensated temporal filter,MCTF)和参考帧,对待滤波视频帧进行滤波。在另一种可能实现的方式中,利用参考帧,可对待滤波视频帧进行加权平均滤波,具体的,通过对参考帧和待滤波视频帧进行加权平均,可得到滤波后的待滤波视频帧。
参考帧的数量越多,利用参考帧对待滤波视频帧进行滤波的强度越大,相应的,滤波导致待滤波视频帧中的纹理丢失的就越多,反之,参考帧的数量越少,利用参考帧对待滤波视频帧进行滤波的强度越小,相应的,滤波导致待滤波视频帧中的纹理丢失的就越少。因此,应根据待滤波视频帧中的纹理的复杂度,为待滤波视频帧确定参考帧的数量。
如前文所述,待滤波视频帧的画面复杂度表征待滤波视频帧中的纹理的复杂度,因此,视频处理装置可根据待滤波视频帧的画面复杂度,确定待滤波视频帧的参考帧的目标数量,其中,目标数量与画面复杂度呈负相关。具体的,待滤波视频帧的画面复杂度越高,目标数量越小,待滤波视频帧的画面复杂度越低,目标数量越多。
本申请实施例中,视频处理装置在获取待处理视频后,从待处理视频中任选一帧视频帧,作为待滤波视频帧。确定待滤波视频帧的画面复杂度,其中,画面复杂度表征待滤波视频帧中的纹理的复杂度。再在参考帧的目标数量于画面复杂度呈负相关的情况下,根据画面复杂度,确定待滤波视频帧的参考帧的目标数量,其中,参考帧用于对待滤波视频帧进行滤波。这样,在待滤波视频帧中的纹理的复杂度低的情况下,待滤波视频帧的参考帧的数量多,相应的,利用参考帧对待滤波视频帧进行的滤波的强度大,而由于待滤波视频帧中的纹理的复杂度低,即使滤波的强度大,滤波导致的纹理的丢失也较少。在待滤波视频帧中的纹理的复杂度高的情况下,待滤波视频帧的参考帧的数量少,相应的,利用参考帧对待滤波视频帧进行的滤波的强度低,而由于待滤波视频帧中的纹理的复杂度高,滤波的强度低,可减少滤波导致的纹理的丢失。也就是说,通过本申请的视频处理方法,可确定与待滤波视频帧中的纹理的复杂度匹配的参考帧的目标数量。
应理解,待滤波视频帧是为简洁描述技术方案所选定的描述对象,不应理解为,视频处理装置仅通过步骤101至步骤103,为待处理视频中的一帧视频帧确定参考帧的数量,在实际应用中,视频处理装置可以步骤101至步骤103中为待滤波视频帧确定参考帧的目标数量的方式,为待处理视频中的每一帧视频帧分别确定参考帧的数量。
作为一种可选的实施方式,视频处理装置在执行步骤104的过程中执行以下步骤:
201、在上述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加上述参考帧的数量,得到上述目标数量。
202、在上述画面复杂度大于或等于上述第一阈值,且小于或等于第二阈值的情况下,确定上述预定数量为上述目标数量。
203、在上述画面复杂度大于上述第二阈值的情况下,通过在上述预定数量的基础上减少上述参考帧的数量,得到上述目标数量。
本申请实施例中,预定数量为预先设定的参考帧的数量。该预定数量可视为待滤波视频帧的参考帧的基准值,在待滤波视频帧中的纹理的复杂度处于基准范围的情况下,待滤波视频帧的参考帧的数量应为预定数量。相应的,在待滤波视频帧中的纹理的复杂度高于基准范围的情况下,待滤波视频帧的参考帧的数量应在预定数量的基础上减少,在待滤波视频帧中的纹理的复杂度低于基准范围的情况下,待滤波视频帧的参考帧的数量应在预定数量的基础上增加。
该基准范围可以是通过对图像的画面复杂度进行统计得到的结果,其中,图像的画面复杂度表征图像中的纹理的复杂度。具体的,基准范围为包括预定比例的画面复杂度的范围。例如,通过对100张图像的画面复杂度进行统计,确定包括80%的图像的画面复杂度的范围为基准范围。可选的,基准范围可以是通过对与待滤波视频帧属于同一类型的图像的画面复杂度进行统计得到的结果。例如,待滤波视频帧的图像内容为体育比赛,那么与待滤波视频帧属于同一类型的图像可以是图像内容为体育比赛的图像。又例如,待滤波视频帧是在晴天采集的,那么与待滤波视频帧属于同一类型的图像可以是在晴天采集的图像。再例如,待滤波视频帧是利用目标成像设备采集的,那么与待滤波视频帧属于同一类型的图像可以是利用目标成像设备采集的图像。
本申请实施例中,视频处理装置以第一阈值和第二阈值为依据,确定待滤波视频帧中的纹理的复杂度是否处于基准范围。具体的,待滤波视频帧中的纹理的复杂度大于或等于第一阈值且小于或等于第二阈值,说明待滤波视频帧中的纹理的复杂度处于基准范围。待滤波视频帧中的纹理的复杂度小于第一阈值,说明待滤波视频帧中的纹理的复杂度低于基准范围。待滤波视频帧中的纹理的复杂度大于第二阈值,说明待滤波视频帧中的纹理的复杂度高于基准范围。
因此,视频处理装置在画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加参考帧的数量,得到目标数量。在画面复杂度大于或等于第一阈值,且小于或等于第二阈值的情况下,确定预定数量为目标数量。在画面复杂度大于第二阈值的情况下,通过在预定数量的基础上减少参考帧的数量,得到目标数量。由此,可实现根据待滤波视频帧中的纹理的复杂度,确定待滤波视频帧的参考帧的目标数量。可选的,预定数量为4或6。
请参阅图2,图2为本申请实施例提供的一种确定待滤波视频帧的参考帧的目标数量的流程示意图。如图2所示,在处理流程开始后,输入待滤波视频帧,然后针对待滤波视频帧,逐像素计算各个像素的纹理的复杂度。
在一种可能实现的方式中,首先利用梯度算子计算各个像素的横向梯度和纵向梯度,其中,梯度算子为用于计算梯度的算子。可选的,梯度算子包括:索贝尔(sobel)算子、罗伯特(roberts)算子、拉普拉斯(laplace)算子。
可选的,通过下式计算各个像素的横向梯度和纵向梯度:
其中,g(x)为像素e的横向梯度,像素e为待滤波视频帧中的任意一个像素,表示以像素e为中心构建的像素邻域,表示梯度算子计算像素的横向梯度所使用的算子模板。
可选的,通过下式计算各个像素的纵向梯度和纵向梯度:
其中,g(y)为像素e的纵向纹理梯度,像素e为待滤波视频帧中的任意一个像素,表示以像素e为中心构建的像素邻域,表示梯度算子计算像素的纵向梯度所使用的算子模板。
然后,对各个像素的横向梯度的幅值和纵向梯度的幅值进行求和,得到各个像素的纹理的复杂度。
计算待滤波视频帧中所有像素的纹理的复杂度的平均值,作为待滤波视频帧的画面复杂度。判断待滤波视频帧的画面复杂度是否大于第二阈值。如果待滤波视频帧的画面复杂度大于第二阈值,则待滤波视频帧的参考帧的数量自适应减少,具体的,通过在预定数量的基础上减少参考帧的数量,得到待滤波视频帧的参考帧的目标数量。如果待滤波视频帧的画面复杂度小于或等于第二阈值,则判断待滤波视频帧的画面复杂度是否小于第一阈值。如果待滤波视频帧的画面复杂度小于第一阈值,则待滤波视频帧的参考帧的数量自适应增加,具体的,通过在预定数量的基础上增加参考帧的数量,得到待滤波视频帧的参考帧的目标数量。如果待滤波视频帧的画面复杂度大于或等于第一阈值,此时待滤波视频帧的画面复杂度大于或等于第一阈值且小于或等于第二阈值,则确定待滤波视频帧的参考帧的目标数量为预定数量。在得到待滤波视频帧的参考帧的目标数量后,结束处理流程。
作为一种可选的实施方式,视频处理装置在根据画面复杂度,确定待滤波视频帧的参考帧的目标数量之后,还执行以下步骤:
301、从上述待处理视频中确定时间戳距离上述待滤波视频帧的时间戳最近的n帧视频帧,作为上述待滤波视频帧的n帧参考帧。
本申请实施例中,待处理视频中的视频帧均具有时间戳,该时间戳为视频帧相对于开始播放待处理视频时的时间差,例如,待处理视频包括视频帧a,其中,视频帧a的时间戳为1分3秒。若在10点开始播放待处理视频,那么根据视频帧a的时间戳可知,在10点1分3秒所播放的视频帧为视频帧a。
在待处理视频中,两帧视频帧的时间戳越接近,两帧视频帧的图像内容的匹配度越高。因此,视频处理装置从待处理视频中确定时间戳距离待滤波视频帧的时间戳最近的n帧视频帧,可从待处理视频中确定图像内容与待滤波视频帧的图像内容最匹配的n帧视频帧。例如,待处理视频包括视频帧a、视频帧b、视频帧c、视频帧d,其中,视频帧a的时间戳小于视频帧b的时间戳,视频帧b的时间戳小于视频帧c的时间戳,视频帧c的时间戳小于视频帧d的时间戳,而且视频帧a的时间戳与视频帧b的时间戳的时间差、视频帧b的时间戳与视频帧c的时间戳的时间差、视频帧c的时间戳与视频帧d的时间戳的时间差均相等。若视频帧c为待滤波视频帧,n为2,那么视频处理装置从待处理视频中确定的2帧参考帧为视频帧b和视频帧d。
本申请实施例中,n与目标数量相同,即从待处理视频中确定的待滤波视频帧的参考帧的数量为目标数量。
302、根据上述n帧参考帧,对上述待滤波视频帧进行滤波,得到滤波后的视频帧。
在一种可能实现的方式中,视频处理装置通过对n帧参考帧和待滤波视频帧进行加权平均滤波,得到滤波后的视频帧。
在另一种可能实现的方式中,视频处理装置将待滤波视频帧划分为m个参考图像块,其中,m为正整数。可选的,参考图像块的尺寸小于或等于固定值。具体的,在待滤波视频帧的尺寸是固定值的整数倍的情况下,参考图像块的尺寸均为固定值。在待滤波视频帧的尺寸不是固定值的整数倍的情况下,在从待滤波视频帧中划分出尺寸为固定值的参考图像块后,将尺寸小于固定值的图像块作为参考图像块。例如,待滤波视频帧的尺寸为1080×1080,固定值为36×36,那么可将待滤波视频帧划分为30个尺寸为36×36的参考图像块。
视频处理装置针对m个参考图像块中的每个参考图像块,从n帧参考帧中,确定具有匹配关系的目标图像块。可选的,视频处理装置将每帧参考帧划分为m个待匹配图像块,其中,对参考帧的划分方式与对待滤波视频帧的划分方式相同。视频处理装置针对每个参考图像块,从各帧参考帧的待匹配图像块中确定具有匹配关系的图像块,作为目标图像块,这样,可得到n个目标图像块。
参考图像块与目标图像块具有匹配关系是指参考图像块与目标图像块匹配,例如,m个参考图像块包括参考图像块a,m个待匹配图像块包括待匹配图像块b和待匹配图像块c。若参考图像块a与待匹配图像块b的匹配度比参考图像块a与待匹配图像块c的匹配度高,那么待匹配图像块c为m个待匹配图像块中与参考图像块a匹配的图像块,即待匹配图像块c为m个待匹配图像块中与参考图像块a具有匹配关系的图像块。
对具有匹配关系的参考图像块和目标图像块进行加权平均,得到m个滤波图像块。通过对参考图像块和与参考图像块具有匹配关系的目标图像块进行加权平均,可实现对参考图像块的滤波。在对m个参考图像块滤波后可得到m个滤波图像块。最后,视频处理装置根据m个滤波图像块,可得到滤波后的视频帧。
303、使用上述滤波后的视频帧替换上述待处理视频中的上述待滤波视频帧,得到滤波后的视频。
视频处理装置通过执行步骤303,可实现对待处理视频中的待滤波视频帧的滤波,得到滤波后的视频。
在该种实施方式中,视频处理装置在确定待滤波视频帧的参考帧的目标数量后,从待处理视频中确定时间戳距离待滤波视频帧的时间戳最近的n帧视频帧,作为待滤波视频帧的n帧参考帧,其中,n与目标数量相同。再根据n帧参考帧,对待滤波视频帧进行滤波,可在实现对待滤波视频帧进行滤波的情况下,减少滤波导致的待滤波视频帧中的纹理的丢失,进而可在通过滤波减少待滤波视频帧中的噪声的情况下,为待滤波视频帧保留更多的纹理。
应理解,待滤波视频帧是为简洁描述技术方案所选定的描述对象,不应理解为,视频处理装置仅通过步骤301至步骤303,对待处理视频中的一帧视频帧进行滤波,在实际应用中,视频处理装置可以步骤301至步骤303中对待滤波视频帧进行滤波的方式,对待处理视频中的每一帧视频帧分别进行滤波。
可选的,视频处理装置通过执行以下步骤确定待滤波视频帧的横向梯度的第一幅值和待滤波视频帧的纵向梯度的第二幅值:从待滤波视频帧中确定人眼关注区域,其中,人眼关注区域为在待滤波视频帧被展示的情况下,待滤波视频帧中被人眼关注的区域。确定人眼关注区域的横向梯度的幅值,得到第一幅值。确定人眼关注区域的纵向梯度的幅值,得到第二幅值。
此时,视频处理装置在从待滤波视频帧中确定人眼关注区域后,确定人眼关注区域的横向梯度的幅值为第一幅值,确定人眼关注区域的纵向梯度的幅值为第二幅值,这样,后续基于第一幅值和/或第二幅值,确定待滤波视频帧的画面复杂度,可使待滤波视频帧的画面复杂度能更好的表征人眼关注区域的画面复杂度。因此,视频处理装置在根据待滤波视频帧的画面复杂度,确定待滤波视频帧的参考帧的目标数量后,从待处理视频中确定时间戳距离待滤波视频帧的时间戳最近的n帧视频帧,作为待滤波视频帧的n帧参考帧,其中,n与目标数量相同。再根据n帧参考帧,对待滤波视频帧进行滤波,可在实现对待滤波视频帧进行滤波的情况下,减少滤波导致的人眼关注区域中的纹理的丢失,进而可在通过滤波减少待滤波视频帧中的噪声的情况下,为人眼关注区域保留更多的纹理。从而可在展示待滤波视频帧时,提升人眼感受到的待滤波视频帧的质量。
作为一种可选的实施方式,视频处理装置在得到滤波后的视频之后,通过对滤波后的视频进行编码,得到待处理视频的编码视频。这样可提升编码视频的质量。
可选的,视频处理装置通过MCTF对滤波后的视频进行编码得到编码视频。由于MCTF包括运动估计和运动补偿的过程,而视频帧中的噪声会导致运动估计和运动补偿的误差的产生,因此在滤波后的视频中的滤波后的视频帧经过滤波的情况下,利用MCTF对滤波后的视频进行编码,可降低运动估计和运动补偿的误差,进而提升编码的准确度。
可选的,视频处理装置通过对滤波后的视频进行残差编码得到编码视频。由于视频帧中的噪声包括高频分量,而在残差编码的过程中,高频分量需要消耗码率,因此,在在滤波后的视频中的滤波后的视频帧经过滤波的情况下,对滤波后的视频帧进行编码,可减少噪声所消耗的码率,进而节省对滤波后的视频进行编码所消耗的码率。
在一种可能实现场景中,基于前文所提供的视频处理方法可实现视频发布。请参阅图3,图3为本申请实施例提供的一种视频发布系统的架构示意图,如图3所示,视频发布系统1包括客户端11、客户端12、视频处理装置13,其中,客户端11和客户端12均与视频处理装置13之间存在通信连接,客户端11和客户端12均可通过该通信连接向视频处理装置13上传视频,客户端11和客户端12通过向视频处理装置13上传视频在视频处理装置13所运行的视频平台发布视频。在一种可能实现的方式中,视频处理装置13所运行的视频平台为短视频平台,在另一种可能实现的方式中,视频处理装置13所运行的视频平台为直播平台。
可选的,客户端11和客户端12均可以是以下中的一个:手机、电脑、平板电脑、可穿戴智能设备,例如,客户端11为手机,客户端12为电脑,又例如,客户端11和客户端12均为平板电脑。可选的,视频处理装置13为服务器。
应理解,图3所示的客户端11和客户端12仅为示例,不应理解为与视频处理装置13之间存在通信连接的客户端只能是2个,在实际应用中,与视频处理装置13之间存在通信连接的客户端的数量可以是m个,其中,m为正整数。
客户端11和客户端12可登录该视频处理装置13所运行的视频平台,用户进而可通过客户端11或客户端12向该视频平台上传视频,以在该视频平台发布所上传的视频。而视频处理装置13在接收到用户上传的视频后,利用前文所述的视频处理方法,先对用户所上传的视频进行滤波得到滤波视频,然后对滤波视频进行转码得到转码视频,最后将转码视频发布至视频平台。这样,视频处理装置通过对用户所上传的视频进行滤波,可去除所上传的视频中的噪声得到滤波视频,然后对滤波视频进行转码得到转码视频可提升转码视频的质量,具体的,首先将滤波视频的分辨率调整为目标分辨率得到待编码视频,然后对待编码视频进行编码得到转码视频。最后将转码视频发布至视频平台,可提升视频平台的视频的质量。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图4,图4为本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置2包括:获取单元21、选取单元22、确定单元23,可选的,视频处理装置2还包括:滤波单元24、替换单元25、编码单元26,具体的:
获取单元21,用于获取待处理视频;
选取单元22,用于从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;
确定单元23,用于确定所述待滤波视频帧的画面复杂度,所述画面复杂度表征所述待滤波视频帧中的纹理的复杂度;
所述确定单元23,用于根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关。
结合本申请任一实施方式,所述确定单元23,用于:
根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,所述画面复杂度与所述第一幅值、所述第二幅值均呈正相关。
结合本申请任一实施方式,所述根据所述待滤波视频帧的横向梯度的第一幅值,和/或,所述待滤波视频帧的纵向梯度的第二幅值,得到所述画面复杂度,包括:
确定所述待滤波视频帧的横向梯度的第一幅值和所述待滤波视频帧的纵向梯度的第二幅值;
计算所述第一幅值与所述第二幅值的和得到目标值;
根据所述目标值得到所述画面复杂度,所述画面复杂度与所述目标值呈正相关。
结合本申请任一实施方式,所述确定单元23,用于:
从所述待滤波视频帧中确定人眼关注区域,所述人眼关注区域为在所述待滤波视频帧被展示的情况下,所述待滤波视频帧中被人眼关注的区域;
确定所述人眼关注区域的横向梯度的幅值,得到所述第一幅值;
确定所述人眼关注区域的纵向梯度的幅值,得到所述第二幅值。
结合本申请任一实施方式,所述确定单元23,用于:
在所述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加所述参考帧的数量,得到所述目标数量,所述预定数量为预先设定的所述参考帧的数量;
在所述画面复杂度大于或等于所述第一阈值,且小于或等于第二阈值的情况下,确定所述预定数量为所述目标数量;
在所述画面复杂度大于所述第二阈值的情况下,通过在所述预定数量的基础上减少所述参考帧的数量,得到所述目标数量。
结合本申请任一实施方式,所述确定单元23,还用于从所述待处理视频中确定时间戳距离所述待滤波视频帧的时间戳最近的n帧视频帧,作为所述待滤波视频帧的n帧参考帧,所述n与所述目标数量相同;
所述视频处理装置2,还包括:
滤波单元24,用于根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧;
替换单元25,用于使用所述滤波后的视频帧替换所述待处理视频中的所述待滤波视频帧,得到滤波后的视频。
结合本申请任一实施方式,所述滤波单元24,用于:
将所述待滤波视频帧划分为m个参考图像块;
针对所述m个参考图像块中的每个所述参考图像块,从所述n帧参考帧中,确定具有匹配关系的目标图像块;
对具有匹配关系的所述参考图像块和所述目标图像块进行加权平均,得到m个滤波图像块;
根据所述m个滤波图像块,得到所述滤波后的视频帧。
结合本申请任一实施方式,所述视频处理装置2,还包括:编码单元26,用于通过对所述滤波后的视频进行编码,得到所述待处理视频的编码视频。
结合本申请任一实施方式,所述确定单元23,用于:
确定所述待滤波视频帧的像素值的方差;
根据所述方差,确定所述画面复杂度,所述画面复杂度与所述方差呈正相关。
本申请实施例中,视频处理装置在获取待处理视频后,从待处理视频中任选一帧视频帧,作为待滤波视频帧。确定待滤波视频帧的画面复杂度,其中,画面复杂度表征待滤波视频帧中的纹理的复杂度。再在参考帧的目标数量于画面复杂度呈负相关的情况下,根据画面复杂度,确定待滤波视频帧的参考帧的目标数量,其中,参考帧用于对待滤波视频帧进行滤波。这样,在待滤波视频帧中的纹理的复杂度低的情况下,待滤波视频帧的参考帧的数量多,相应的,利用参考帧对待滤波视频帧进行的滤波的强度大,而由于待滤波视频帧中的纹理的复杂度低,即使滤波的强度大,滤波导致的纹理的丢失也较少。在待滤波视频帧中的纹理的复杂度高的情况下,待滤波视频帧的参考帧的数量少,相应的,利用参考帧对待滤波视频帧进行的滤波的强度低,而由于待滤波视频帧中的纹理的复杂度高,滤波的强度低,可减少滤波导致的纹理的丢失。也就是说,本申请中的视频处理装置可确定与待滤波视频帧中的纹理的复杂度匹配的参考帧的目标数量。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图5为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备3包括处理器31,存储器32。可选的,该电子设备3还包括输入装置33,输出装置34。该处理器31、存储器32、输入装置33和输出装置34通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器31可以包括是一个或多个处理器,例如包括一个或多个中央处理器(central processing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。可选的,处理器31可以是多个CPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器32可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置33用于输入数据和/或信号,以及输出装置34用于输出数据和/或信号。输入装置33和输出装置34可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器32不仅可用于存储相关指令,还可用于存储相关数据,如该存储器32可用于存储通过输入装置33获取的待处理视频,又或者该存储器32还可用于存储通过处理器31得到的待滤波视频帧的参考帧的目标数量等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图5仅仅示出了一种电子设备的简化设计。在实际应用中,电子设备还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digitalversatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (9)

1.一种视频处理方法,其特征在于,所述方法包括:
获取待处理视频;
从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;
确定所述待滤波视频帧的画面复杂度,所述确定所述待滤波视频帧的画面复杂度,包括:从所述待滤波视频帧中确定人眼关注区域,所述人眼关注区域为在所述待滤波视频帧被展示的情况下,所述待滤波视频帧中被人眼关注的区域;确定所述人眼关注区域的画面复杂度;所述画面复杂度包括所述人眼关注区域中的纹理的复杂度;
所述从所述待滤波视频帧中确定人眼关注区域,包括:从所述待滤波视频帧中确定前景所覆盖的前景区域,对于所述前景所覆盖的像素区域内的任一区域,梯度的方差大于梯度阈值可确定所述区域为图像内容变化大的区域,梯度的方差小于或等于所述梯度阈值可确定所述区域为图像内容变化小的区域;将所述图像内容变化大的区域作为所述人眼关注区域;
所述确定所述人眼关注区域的画面复杂度,包括:确定所述人眼关注区域的横向梯度的幅值,得到第一幅值;确定所述人眼关注区域的纵向梯度的幅值,得到第二幅值;计算所述第一幅值与所述第二幅值的和得到目标值;根据所述目标值得到所述人眼关注区域的画面复杂度,所述人眼关注区域的画面复杂度与所述目标值呈正相关;
根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关;
所述根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,包括:在所述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加所述参考帧的数量,得到所述目标数量,所述预定数量为预先设定的所述参考帧的数量;在所述画面复杂度大于或等于所述第一阈值,且小于或等于第二阈值的情况下,确定所述预定数量为所述目标数量;在所述画面复杂度大于所述第二阈值的情况下,通过在所述预定数量的基础上减少所述参考帧的数量,得到所述目标数量。
2.根据权利要求1所述的方法,其特征在于,在根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量之后,所述方法还包括:
从所述待处理视频中确定时间戳距离所述待滤波视频帧的时间戳最近的n帧视频帧,作为所述待滤波视频帧的n帧参考帧,所述n与所述目标数量相同;
根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧;
使用所述滤波后的视频帧替换所述待处理视频中的所述待滤波视频帧,得到滤波后的视频。
3.根据权利要求2所述的方法,其特征在于,所述根据所述n帧参考帧,对所述待滤波视频帧进行滤波,得到滤波后的视频帧,包括:
将所述待滤波视频帧划分为m个参考图像块;
针对所述m个参考图像块中的每个所述参考图像块,从所述n帧参考帧中,确定具有匹配关系的目标图像块;
对具有匹配关系的所述参考图像块和所述目标图像块进行加权平均,得到m个滤波图像块;
根据所述m个滤波图像块,得到所述滤波后的视频帧。
4.根据权利要求2所述的方法,其特征在于,在得到滤波后的视频之后,所述方法还包括:
通过对所述滤波后的视频进行编码,得到所述待处理视频的编码视频。
5.根据权利要求1所述的方法,其特征在于,所述确定所述待滤波视频帧的画面复杂度,包括:
确定所述待滤波视频帧的像素值的方差;
根据所述方差,确定所述画面复杂度,所述画面复杂度与所述方差呈正相关。
6.一种视频处理装置,其特征在于,所述装置包括:
获取单元,用于获取待处理视频;
选取单元,用于从所述待处理视频中任选一帧视频帧,作为待滤波视频帧;
确定单元,用于确定所述待滤波视频帧的画面复杂度,所述确定所述待滤波视频帧的画面复杂度,包括:从所述待滤波视频帧中确定人眼关注区域,所述人眼关注区域为在所述待滤波视频帧被展示的情况下,所述待滤波视频帧中被人眼关注的区域;确定所述人眼关注区域的画面复杂度;所述画面复杂度包括所述人眼关注区域中的纹理的复杂度;
所述确定单元,具体用于:从所述待滤波视频帧中确定前景所覆盖的前景区域,对于所述前景所覆盖的像素区域内的任一区域,梯度的方差大于梯度阈值可确定所述区域为图像内容变化大的区域,梯度的方差小于或等于所述梯度阈值可确定所述区域为图像内容变化小的区域;将所述图像内容变化大的区域作为所述人眼关注区域;
所述确定单元,具体用于:确定所述人眼关注区域的横向梯度的幅值,得到第一幅值;确定所述人眼关注区域的纵向梯度的幅值,得到第二幅值;计算所述第一幅值与所述第二幅值的和得到目标值;根据所述目标值得到所述人眼关注区域的画面复杂度,所述人眼关注区域的画面复杂度与所述目标值呈正相关;
所述确定单元,用于根据所述画面复杂度,确定所述待滤波视频帧的参考帧的目标数量,所述参考帧用于对所述待滤波视频帧进行滤波,所述目标数量与所述画面复杂度呈负相关;
所述确定单元,具体用于:在所述画面复杂度小于第一阈值的情况下,通过在预定数量的基础上增加所述参考帧的数量,得到所述目标数量,所述预定数量为预先设定的所述参考帧的数量;在所述画面复杂度大于或等于所述第一阈值,且小于或等于第二阈值的情况下,确定所述预定数量为所述目标数量;在所述画面复杂度大于所述第二阈值的情况下,通过在所述预定数量的基础上减少所述参考帧的数量,得到所述目标数量。
7.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至5中任意一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至5中任意一项所述的方法。
9.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或指令;在所述计算机程序或指令在被处理器执行的情况下,使得所述处理器执行权利要求1至5中任意一项所述的方法。
CN202311511860.7A 2023-11-13 2023-11-13 视频处理方法及装置、电子设备及计算机可读存储介质 Active CN117615146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311511860.7A CN117615146B (zh) 2023-11-13 2023-11-13 视频处理方法及装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311511860.7A CN117615146B (zh) 2023-11-13 2023-11-13 视频处理方法及装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN117615146A CN117615146A (zh) 2024-02-27
CN117615146B true CN117615146B (zh) 2024-08-16

Family

ID=89947247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311511860.7A Active CN117615146B (zh) 2023-11-13 2023-11-13 视频处理方法及装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117615146B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469749B1 (en) * 2018-05-01 2019-11-05 Ambarella, Inc. Temporal filter with criteria setting maximum amount of temporal blend
CN111711825A (zh) * 2020-06-23 2020-09-25 腾讯科技(深圳)有限公司 视频编解码中的去块效应滤波方法、装置、设备及介质
CN116456116A (zh) * 2023-04-07 2023-07-18 阿里巴巴(中国)有限公司 时域滤波方法、装置、电子设备及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1803303B1 (en) * 2004-10-21 2019-12-04 InterDigital VC Holdings, Inc. Technique for adaptive de-blocking of block-based film grain patterns
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US10021396B1 (en) * 2014-12-30 2018-07-10 Ambarella, Inc. Motion detection based on observing several pictures
US10448014B2 (en) * 2017-05-23 2019-10-15 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding
CN108965847B (zh) * 2017-05-27 2020-04-14 华为技术有限公司 一种全景视频数据的处理方法及装置
CN112311962B (zh) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 一种视频去噪方法和装置、计算机可读存储介质
CN113658197B (zh) * 2021-08-20 2023-09-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US12088801B2 (en) * 2021-08-26 2024-09-10 Tencent America LLC Method and apparatus for temporal filter in video coding
CN114913099B (zh) * 2021-12-28 2024-07-16 天翼数字生活科技有限公司 视频文件处理的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469749B1 (en) * 2018-05-01 2019-11-05 Ambarella, Inc. Temporal filter with criteria setting maximum amount of temporal blend
CN111711825A (zh) * 2020-06-23 2020-09-25 腾讯科技(深圳)有限公司 视频编解码中的去块效应滤波方法、装置、设备及介质
CN116456116A (zh) * 2023-04-07 2023-07-18 阿里巴巴(中国)有限公司 时域滤波方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN117615146A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
EP3783895A2 (en) Visual quality optimized video compression
RU2653314C2 (ru) Способ и устройство сжатия изображений и сервер
CN110149554B (zh) 视频图像处理的方法、装置、电子设备以及存储介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
DE102020123396A1 (de) Verfahren und system für inhaltsadaptives entrauschen zum videocodieren
CN101690226A (zh) 统计性图像改善方法、图像编码方法以及图像解码方法
CN110969572B (zh) 换脸模型训练方法、人脸互换方法、装置及电子设备
CN107908998B (zh) 二维码解码方法、装置、终端设备及计算机可读存储介质
CN108810610B (zh) 屏幕共享方法和装置
CN110636294A (zh) 视频解码方法及装置,视频编码方法及装置
CN110166796B (zh) 视频帧的处理方法、装置、计算机可读介质及电子设备
CN110519607B (zh) 视频解码方法及装置,视频编码方法及装置
US20230419452A1 (en) Method and device for correcting image on basis of compression quality of image in electronic device
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN117615146B (zh) 视频处理方法及装置、电子设备及计算机可读存储介质
CN113034416A (zh) 图像处理方法及装置、电子设备及存储介质
CN114666584B (zh) 一种基于高频置零的编码方法、装置、设备及介质
CN117830077A (zh) 图像处理方法、装置以及电子设备
CN117615222B (zh) 图像处理方法、视频发布方法、装置、设备、介质及产品
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
Feng et al. BVI-Artefact: An artefact detection benchmark dataset for streamed videos
CN113658070A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN110677692A (zh) 视频解码方法及装置、视频编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant