CN115131229A - 图像降噪、滤波数据处理方法、装置和计算机设备 - Google Patents
图像降噪、滤波数据处理方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN115131229A CN115131229A CN202210590036.4A CN202210590036A CN115131229A CN 115131229 A CN115131229 A CN 115131229A CN 202210590036 A CN202210590036 A CN 202210590036A CN 115131229 A CN115131229 A CN 115131229A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- filter coefficient
- value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 140
- 238000001914 filtration Methods 0.000 title claims abstract description 134
- 238000003672 processing method Methods 0.000 title abstract description 25
- 238000012512 characterization method Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 96
- 230000000875 corresponding effect Effects 0.000 claims description 219
- 238000012545 processing Methods 0.000 claims description 86
- 238000004590 computer program Methods 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 15
- 230000002829 reductive effect Effects 0.000 claims description 15
- 230000002596 correlated effect Effects 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像降噪、滤波数据处理方法、装置和计算机设备,可应用于对视频图像进行降噪。所述方法包括:获取待处理图像和参考图像;根据参考图像确定待处理图像中待处理块的运动强度;待处理块是对待处理图像进行划分得到的;获取与运动强度匹配的滤波系数描述信息,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值;基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像。采用本申请的方法可以提升图像降噪效果。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像降噪方法、装置、计算机设备、存储介质和计算机程序产品,以及一种滤波数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展,出现了图像降噪技术,通过图像降噪技术可以减弱因硬件误差和不稳定光源带来的图像噪声信息。在很多场景下,都需要进行图像降噪,例如在视频采集中,会有各种各样的噪声会混杂在采集的图像序列中,为了提高视频图像的视觉效果,提高视频图像的压缩效率或节省宽带,都需要对视频图像进行降噪。
相关技术中,在对图像进行降噪时,经常存在降噪效果差的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像降噪效果的图像降噪方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,以及一种滤波数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面,本申请提供了一种图像降噪方法。所述方法包括:获取待处理图像和参考图像;根据所述参考图像确定所述待处理图像中待处理块的运动强度;所述待处理块是对所述待处理图像进行划分得到的;获取与所述运动强度匹配的滤波系数描述信息,所述滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,所述滤波系数表征值与所述像素差值成负相关,所述滤波系数表征值的变化程度与所述运动强度成正相关;获取所述待处理块中的像素点和所述参考图像中对应位置像素点之间的目标像素差值,基于所述滤波系数描述信息确定与所述目标像素差值存在对应关系的目标滤波系数表征值;基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像。
另一方面,本申请还提供了一种图像降噪装置。所述装置包括:图像获取模块,用于获取待处理图像和参考图像;运动强度确定模块,用于根据所述参考图像确定所述待处理图像中待处理块的运动强度;所述待处理块是对所述待处理图像进行划分得到的;描述信息获取模块,用于获取与所述运动强度匹配的滤波系数描述信息,所述滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,所述滤波系数表征值与所述像素差值成负相关,所述滤波系数表征值的变化程度与所述运动强度成正相关;滤波系数确定模块,用于获取所述待处理块中的像素点和所述参考图像中对应位置像素点之间的目标像素差值,基于所述滤波系数描述信息确定与所述目标像素差值存在对应关系的目标滤波系数表征值;降噪图像确定模块,用于基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述图像降噪方法的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像降噪方法的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像降噪方法的步骤。
上述图像降噪方法、装置、计算机设备、存储介质和计算机程序产品,由于待处理块是对待处理图像进行划分得到的,对于待处理图像中的不同的待处理块可以确定不同的目标滤波系数表征值,得到的目标滤波系数表征值可以和图像中各个区域的运动情况精确匹配,避免了对整张图像进行运动强度估计导致的部分区域降噪效果差的问题,提高了待处理图像的降噪效果,另外,由于目标滤波系数表征值是滤波系数描述信息确定的,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系,并且其中的滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关,因此对于每一个像素值,都能获取到匹配该像素点的目标滤波系数表征值,进一步提高了待处理图像的降噪效果。
另一方面,本申请提供了一种滤波数据处理方法。所述方法包括:确定多个参考运动强度信息,并确定像素差值分布范围;分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;其中,所述滤波系数描述信息用于对待处理图像进行时域滤波。
另一方面,本申请还提供了一种滤波数据处理装置。所述装置包括:参考运动强度确定模块,用于确定多个参考运动强度信息,并确定像素差值分布范围;表征值确定模块,分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;对应关系建立模块,用于建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;描述信息确定模块,用于将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;其中,所述滤波系数描述信息用于对待处理图像进行时域滤波。
另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述滤波数据处理方法的步骤。
另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述滤波数据处理方法的步骤。
另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述滤波数据处理方法的步骤。
上述滤波数据处理方法、装置、计算机设备、存储介质和计算机程序产品,由于滤波系数描述信息描述了在每一个参考运动强度信息下,像素差值和滤波系数表征值之间的对应关系,进而在对待处理图像进行时域滤波时,可以直接将待处理图像中的像素点对应的像素差值作为索引,从滤波系数描述信息中查询到对应的滤波系数表征值,避免了通过复杂的计算来得到滤波器系数,提高了滤波效率。
附图说明
图1为一个实施例中图像降噪方法以及滤波数据处理方法的应用环境图;
图2为一个实施例中图像降噪方法的流程示意图;
图3为一个实施例中图像降噪算法应用于视频会议应用程序的界面示意图;
图4为一个实施例中对待处理图像进行划分的示意图;
图5为一个实施例中滤波函数的示意图;
图6为另一个实施例中图像降噪方法的具体流程示意图;
图7为一个实施例中图像降噪方法的应用架构图;
图8为一个实施例中滤波数据处理方法的流程示意图;
图9为一个实施例中图像降噪方法的效果示意图;
图10为另一个实施例中图像降噪方法的效果示意图;
图11为一个实施例中图像降噪装置的结构框图;
图12为一个实施例中滤波数据处理装置的结构框图;
图13为一个实施例中计算机设备的内部结构图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机设备怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机设备具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉、机器学习等技术,具体通过如下实施例进行说明:
本申请实施例提供的图像降噪方法和滤波数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据,例如可以存储降噪得到的目标降噪图像。数据存储系统可以集成在服务器104上,也可以放在云上或其他服务器上。其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端、飞行器等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
可以理解的是,本申请实施例提供的图像降噪方法以及滤波数据处理方法,可以由终端102执行,也可以由服务器104执行,还可以由终端102和服务器104协同执行。例如,终端102可以采集得到待处理图像,将待处理图像发送至服务器,服务器进一步获取待处理图像对应的参考图像,然后根据参考图像确定待处理图像中待处理块的运动强度,获取与运动强度匹配的滤波系数描述信息,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系,获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值,基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像,最后,服务器104可以将目标降噪图像返回至终端102。
在一个实施例中,如图2所示,提供了一种图像降噪方法,由计算机设备执行,该计算机设备可以是图1中的终端102,也可以是图1中的服务器104,还可以是终端102和服务器104所构成的系统。具体地,该图像降噪方法包括以下步骤:
步骤202,获取待处理图像和参考图像。
其中,待处理图像指的是需要进行降噪的图像。待处理图像可以是计算机设备采集的图像,或者是计算机设备通过网络接收的、由其他计算机设备采集的图像。待处理图像可以是视频图像。参考图像指的是用于作为参考对待处理图像进行时域滤波的图像。参考图像与待处理图像中可以包括相同的前景对象。参考图像可以是通过降噪处理得到的图像,其中,当待处理图像为待降噪的目标视频中的图像时,参考图像可以是对待处理图像的前向视频帧进行降噪处理得到的图像。这里的降噪处理,可以是时域滤波处理,或者空域滤波处理。在其他实施例中,降噪处理还可以是先进行时域滤波,再进行空域滤波处理。
具体地,计算机设备在确定了待处理图像后,可以获取待处理图像对应的一个或者多个参考图像,进而可以基于参考图像对待处理图像进行滤波处理,从而实现对待处理图像进行降噪。需要说明的是,本申请实施例中提到的多个指的是至少两个。
在一个实施例中,获取待处理图像和参考图像,包括:确定待降噪的目标视频;将目标视频中的视频帧作为待处理图像,从待处理图像对应的前向视频帧中确定目标视频帧;获取目标视频帧对应的目标降噪图像,将目标视频帧对应的目标降噪图像确定为待处理图像对应的参考图像。
其中,待降噪的目标视频指的是需要进行降噪处理的视频。待处理图像对应的前向视频帧指的是在目标视频中时间点在待处理图像之前的视频帧,例如,待处理图像是目标视频中第10秒的视频帧,则在该目标视频中第10秒之前的视频帧为该待处理图像的前向视频帧。目标视频帧对应的目标降噪图像指的是,将该目标视频帧作为待处理图像时,所获得的目标降噪图像,本申请实施例中,可以采用递归滤波的方式进行降噪,每一帧视频帧采用本申请的图像降噪方法得到目标降噪图像后可以进行保存,以作为该视频帧的后向视频帧的参考图像。
具体地,计算机设备可以将目标视频中第一帧以后的各个视频帧依次确定为待处理图像,对于每一个待处理图像,计算机设备可以从该待处理图像对应的前向视频帧中确定一个或者多个目标视频帧,获取目标视频帧的对应的目标降噪图像,将目标降噪图像作为该待处理图像对应的参考图像。
在一个具体的实施例中,计算机设备上可以安装视频类应用程序,该视频应用程序可以用于拍摄得到视频或者播放、编辑视频,视频类应用程序例如可以是直播应用程序、视频剪辑应用程序、视频监测应用程序、视频会议应用程序等等。当计算机设备通过该视频类应用程序进行视频播放时,对于所播放视频中的各帧视频帧,计算机设备可以将该这些视频帧依次作为待处理图像,并获取该待处理图像的参考图像,从而可以通过本申请提供的图像降噪方法获取待处理图像的目标降噪图像,以提升视频视觉质量,得到更好的用户体验。这里的应用程序可以是指安装在终端中的客户端,客户端(又可称为应用客户端、APP客户端)是指安装并运行在终端中的程序;应用程序也可以是指免安装的应用程序,即无需下载安装即可使用的应用程序,这类应用程序又俗称小程序,它通常作为子程序运行于客户端中;应用程序还可以是指通过浏览器打开的web应用程序;等等。
举例说明,如图3所示,为本申请的图像降噪算法应用于视频会议应用程序的界面示意图。参考图3,在视频会议的过程中,当用户在视频会议应用程序的界面中勾选“视频降噪”这一选项时,视频会议应用程序可采用本申请提供的图像降噪方法对会议场景下生成的视频进行降噪。
在一个实施例中,考虑到间隔时间近的视频帧之间的关联性大于间隔时间远的视频帧之间的关联性,因此将间隔时间近的视频帧作为目标视频帧来得到参考图像可以提高降噪效果,那么计算机设备在选择目标视频帧时,可以将待处理图像的前向视频帧中与待处理图像相邻的一个或者预设数量个视频帧作为目标视频帧,这里的预设数量小于预设阈值,预设数量例如可以是2,举个例子,假设待处理图像为目标视频帧中的第5帧视频帧,则可以将第三帧视频和第四帧视频帧作为目标视频帧,从而获取第5帧视频帧的参考图像。
步骤204,根据参考图像确定待处理图像中待处理块的运动强度;待处理块是对待处理图像进行划分得到的。
其中,待处理块指的是对待处理图像进行划分得到的图像块。对待处理图像进行划分可以得到多个图像块,每一个图像块都可以作为待处理块。运动强度可以表征待处理块相对于参考图像的运动量大小,运动强度与待处理块相对于参考图像的噪声强度成负相关关系,并且与待处理块相对于参考图像的差异度成正相关关系。
具体地,考虑到噪声信息在时域上呈现高斯分布,视频中当前帧某一位置出现的噪声在前向帧的同一位置上可能并不存在或者强度值较弱,因此可以使用加权的方式进行图像融合,比如融合后的当前帧=0.2*前两帧+0.3*前一帧+0.5*当前帧,这样虽然能够减少噪声,但在移动场景下,简单融合会出现明显的拖影,因此本申请实施例中采用了运动自适应的时域滤波方式,当检测到当前帧的运动量较大时,则增大当前帧的权重,削弱之前一帧的比例,比如运动量较大时,融合后的当前帧=0.05*前两帧+0.05*前一帧+0.9*当前帧,这样就能缓解拖影问题。进一步地,考虑到视频帧中不同区域的运动强度往往会有较大差异,举例来说,某一时刻的画面中,只有人物在移动,而背景静止,此时如果对整帧图像计算运动强度,就会选择较弱的时域滤波强度,导致背景区域的降噪效果不佳。
基于此,本实施例中,可以对待处理图像进行划分,得到多个图像块,将每一个图像块作为待处理块,根据参考图像来估计每一个待处理块的运动强度,从而在不同图像块内按照估计的运动级别,使用不同的时域滤波器,这样在人物移动时,固定的背景上仍然能有良好的降噪效果。
在一个实施例中,计算机设备在对待处理图像进行划分时,可以采用均匀划分方式,将待处理图像进行均匀划分得到多个待处理块。具体来说,若待处理图像的高和宽分别为H和W,设定将整个图像划分为m行n列,则每个块的高和宽分别为H/m,W/n。举例说明,如图4所示,为一个具体的实施例中,对待处理图像进行划分的示意图,参考图4,其中每一个小格为一个待处理块。可以理解的是,在其他实施例中,计算机设备还可以对待处理图像进行分均匀划分或者重叠划分。本申请不对具体的划分方式进行限制。
在一个实施例中,当参考图像有多个时,对于待处理图像中每一个待处理块,服务器分别基于各个参考图像进行运动强度计算,从而对于每一个待处理块,可以得到多个运动强度。
步骤206,获取与运动强度匹配的滤波系数描述信息,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关。
其中,滤波系数表征值指的是对滤波器系数进行表征的数值,滤波系数表征值具体可以是滤波器系数值或者对滤波器系数值进行一定的计算得到的数值。
本申请实施例中进行降噪的过程中可以依据以下公式对待处理块进行时域滤波,其中,i和j为待处理图像中的像素位置索引,Y代表待处理块中的像素值,Yout(t)代表当前时刻的时域滤波结果,Yout(t-1)代表参考图像中的像素值,此处参考图像采用t-1时刻的时域滤波结果,k代表滤波器系数:
Yout(t)(i,j)=Yout(t-1)(i,j)*k+Y(i,j)*(1-k) (1)
上式表示此刻的时域滤波结果,等于此刻的输入值与上一刻的时域滤波结果的加权融合,加权系数k的取值范围为0到1,且有如下关系:当前输入Y(i,j)与上一刻的时域滤波结果Yout(t-1)(i,j)之间的像素差值越大时(这里的像素差值代表两者差的绝对值),k越小,反之,k越大,因此滤波器系数k是与,Yout(t-1)(i,j)与Y(i,j)之间差值呈负相关关系的,基于此,本申请实施例中可以建立像素差值与滤波系数表征值之间的对应关系并保存为滤波系数描述信息,进而基于该滤波系数描述信息来确定滤波系数表征值,通过该滤波系数表征值确定对待处理图像进行时域滤波得到的时域滤波结果。
进一步,由于本申请采用的是运动自适应的滤波方式,在不同的运动强度下,期望得到不同的滤波效果,运动强度越大,滤波效果应该越弱,运动强度越小,滤波效果应该适当增强,因此本申请中可以预先确定多个滤波系数描述信息,不同的滤波系数描述信息中滤波系数表征值的变化程度不相同,并且设定滤波系数表征值的变化程度与运动强度成正相关关系,其中滤波系数表征值的变化程度指的是滤波系数表征值随像素差值变化时的变化程度,即运动强度越大,滤波系数表征值的变化程度越大,此时,滤波系数表征值随像素差值的增大,快速减小;反之,运动强度越小,滤波系数表征值的变化程度越小,此时,滤波系数表征值随像素差值的增大,减弱程度可以变缓。
在一个实施例中,滤波系数描述信息可以是滤波函数,该滤波函数中滤波器系数值为因变量,像素差值为自变量,例如,滤波函数可以是滤波器系数关于像素差值的递减指数函数。计算机设备可以将运动强度划分为多个区间,在每个区间设置相应的滤波函数,运动越强,滤波函数的曲线越陡峭,这样就能够避免在运动区域出现拖影,同时运动弱的图像块,采用较为平缓的滤波曲线,这样就能够在相对固定的背景上取得更好的降噪效果。在一个具体的实施例中,滤波函数可以是指数函数。举例说明,参考图5,为一个实施例中,滤波函数的示意图,图5所示的实施例中,将运动强度划分两个区间,将小于预设运动强度阈值的划分为小运动强度区间,大于运动强度的划分为大运动强度区间,针对小运动强度区间,设计的滤波函数如图5中的虚线所示,针对大运动强度区间,设计的滤波函数如图5中的实线所示,由图5可以看出,大运动强度所对应的函数曲线相较于小运动强度对应的函数曲线更加陡峭。
具体地,计算机设备中预先保存多个滤波系数描述信息,每一个滤波系数描述信息对应一个参考运动强度信息,在进行滤波时,计算机设备可以从多个参考运动强度信息中确定与待处理块的运动强度匹配的参考运动强度信息,进而获取该参考运动强度信息对应的滤波系数描述信息作为与该运动强度匹配的滤波系数描述信息。
在一个实施例中,当参考图像有多个时,对于每一个待处理块可以得到多个运动强度,此时,对于每一个待处理块对应的每一个运动强度,计算机设备都需要获取到匹配的滤波系数描述信息。
步骤208,获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值。
具体地,对于待处理块中的每一个像素点,计算机设备可以计算该像素点与参考图像中对应位置像素点之间的差值,将该差值的绝对值作为目标像素差值,进而基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值。
在一个实施例中,当参考图像有多个时,由于每一个待处理块对应多个滤波系数描述信息,那么对于待处理块中每一个像素点的目标像素差值,计算机设备可以分别基于各个滤波系数描述信息确定与该目标像素差值存在对应关系的目标滤波系数表征值,从而每一个像素点都可以得到多个目标滤波系数表征值。
在一个实施例中,当滤波系数描述信息为滤波函数时,计算机设备可以将目标像素值代入该滤波函数中,计算出的函数值即为该目标像素值对应的目标滤波系数表征值。
步骤210,基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像。
具体地,计算机设备可以基于各个像素点各自对应的目标滤波系数表征值,确定对待处理图像进行时域滤波得到的中间处理图像,进而基于中间处理图像得到待处理图像对应的目标降噪图像。
在一个实施例中,滤波系数表征值为滤波器系数值时,计算机设备可以参考上文中的公式(1),基于待处理块中各个像素点对应的目标滤波系数表征值对各个像素点进行时域滤波,得到各个像素点的时域滤波结果,将各个像素点的时域滤波结果作为待处理图像中的当前像素值对待处理图像进行更新后,得到中间处理图像。
在一个实施例中,在得到中间处理图像后,计算机设备可以直接将该中间处理图像作为待处理图像对应的目标降噪图像。在另一个实施例中,考虑到时域滤波后还会存在一些难以滤除的幅度较大的噪声,因此在时域操作后,计算机设备可以继续使用空域滤波,将空域滤波处理得到的图像作为目标降噪图像。这里的空域滤波是一种平滑化方法,其原理是自然图像的像素值在空间上比较平滑与连续,拍摄所得到的图像是自然图像加上了噪声,运用空域滤波旨在消除不平滑的噪声,得到平滑的自然图像。
在一个具体的实施例中,空域滤波可以采用高斯滤波和双边滤波中的至少一种。在另一个具体的实施例中,计算机设备可以获取已训练的用于空域滤波的深度学习模型,将中间处理图像输入到该深度学习模型中,通过该深度学习模型输出目标降噪图像。其中,用于空域滤波的深度学习模型可以采用有监督的训练方法训练得到,训练过程中的输入样本为未采用空域滤波的原始图像,训练标签为通过空域滤波得到的目标图像。
上述图像降噪方法中,根据参考图像确定待处理图像中待处理块的运动强度,获取与运动强度匹配的滤波系数描述信息,获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值,基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像,由于待处理块是对待处理图像进行划分得到的,对于待处理图像中的不同的待处理块可以确定不同的目标滤波系数表征值,得到的目标滤波系数表征值可以和图像中各个区域的运动情况精确匹配,避免了对整张图像进行运动强度估计导致的部分区域降噪效果差的问题,提高了待处理图像的降噪效果,另外,由于目标滤波系数表征值是滤波系数描述信息确定的,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系,并且其中的滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关,因此对于每一个像素值,都能获取到匹配该像素点的目标滤波系数表征值,进一步提高了待处理图像的降噪效果。
在一个实施例中,上述方法还包括:确定多个参考运动强度信息,并确定像素差值分布范围;分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;获取与运动强度匹配的滤波系数描述信息,包括:从多个参考运动强度信息中确定与运动强度匹配的目标运动强度信息,将目标运动强度信息对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
其中,运动强度参考信息指的是用于作为参考来确定滤波系数描述信息的信息。运动强度参考信息可以是运动强度区间,或者是具体的数值。像素差值分布范围指的是所有可能的像素差值所分布的范围,像素差值分布范围可以为[0,255]。
具体地,计算机设备在确定了多个参考运动强度信息,并确定了像素差值分布范围后,针对每一个参考运动强度信息,在保证滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关的前提下,确定在像素差值分布范围内各个可能的像素差值下的滤波系数表征值,举例说明,假设像素差值为整数,则针对每一个参考运动强度信息,计算机设备可以确定[0,255]内包括0,1,2……共256个像素差值下的滤波系数表征值。
进一步,计算机设备可以建立各个滤波系数表征值和各自对应的像素差值之间的对应关系,从这些对应关系中,将所包含的滤波系数表征值是基于同一参考运动强度信息确定的对应关系组成滤波系数描述信息,将该滤波系数描述信息作为该参考运动强度信息对应的滤波系数描述信息,从而得到各个参考运动强度信息各自对应的滤波系数描述信息。如上面的例子中,假设参考运动强度信息有2个,表示为X1和X2,基于X1确定的对应关系为(0,b10)、(1,b11)、(255,b1255),基于X2确定的对应关系为(0,b20)、(1,b21)、(255,b2255),其中b代表像素差值,那么计算机设备可以将(0,b10)、(1,b11)、(255,b1255)组成X1对应的滤波系数描述信息,并将(0,b20)、(1,b21)、(255,b2255)组成X2对应的滤波系数描述信息。
在一个具体的实施例中,对于每一个滤波系数描述信息,计算机设备可以将对应关系以如下表格形式进行存储,其中,该表格的索引值为像素差值,参考表1,例如,当目标像素差值为3时,滤波系数表征值为0.88。
表1
1 | 0.96 | 0.92 | 0.88 | 0.84 | 0.80 | 0.23 | 0.20 | 0.18 | …… |
计算机设备进一步可以建立参考运动强度信息和各自对应的滤波系数描述信息之间的对应关系,基于该对应关系,在需要获取与待处理块的运动强度匹配的滤波系数描述信息时,计算机设备可以从多个参考运动强度信息中确定与该运动强度匹配的目标运动强度信息,将与该目标运动强度信息存在对应关系的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
在一个具体的实施例中,参考运动强度信息可以是具体的参考运动强度,为具体的数值,那么计算机设备在确定与某个运动强度匹配的目标运动强度信息时,可以将这些参考运动强度中与该运动强度差值最小的参考运动强度确定为目标参考运动强度,将与该目标参考运动强度存在对应关系的滤波系数描述信息确定为与该运动强度匹配的滤波系数描述信息。举例说明,假设参考运动强度信息包括10、20、30,若某个待处理块的运动强度为12,则可以确定其对应的参考运动强度信息为10,进而将10对应的滤波系数描述信息确定为与该运动强度匹配的滤波系数描述信息。可以理解的是,在其他一些实施例中,计算机设备可以设置数量较多的参考运动强度,将每一个滤波系数描述信息与多个参考运动强度建立对应关系,从而使得建立的对应关系更加准确。例如。计算机设备可以设置10、12、14、16、18、20、22、24、26、28、30,将10、12、14、16与第一滤波系数描述信息建立对应关系,将18、20、22、24、26与第二滤波系数描述信息建立对应关系,将28、30与第三滤波系数描述信息建立对应关系。
上述实施例中,由于滤波系数描述信息描述了在每一个参考运动强度信息下,像素差值和滤波系数表征值之间的对应关系,进而在对待处理图像进行时域滤波时,可以直接将处理图像中的像素点对应的像素差值作为索引,从滤波系数描述信息中查询到对应的滤波系数表征值,避免了通过复杂的计算来得到滤波器系数,提高了滤波效率。
在一个实施例中,分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值,包括:分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波器系数;将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值;基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像,包括:基于像素点的像素值和参考图像中对应位置像素点的像素值之间的大小关系,确定像素点的时域滤波结果,基于像素点的时域滤波结果确定待处理图像对应的目标降噪图像。
具体地,上文中的公式(1)可以进一步变换如下:
Yout(t)(i,j)=(Yout(t-1)(i,j)-Y(i,j))*k+Y(i,j) (2)
其中,Yout(t-1)(i,j)-Y(i,j)为像素差值,k是滤波器系数,由公式(2)可以看出,如果预先计算出(Yout(t-1)(i,j)-Y(i,j))*k,那么当前时刻的滤波结果可以通过简单的加减法计算得到,从而可以进一步提高滤波效率,基于此,本实施例中,计算机设备可以首先分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波器系数,在确定目标滤波器系数时,保证滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关。
在确定了目标滤波器系数后,将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值,即将(Yout(t-1)(i,j)-Y(i,j))*k作为滤波系数表征值。举例说明,假设表1中存储的为滤波器系数,则将各个滤波器系数与各自对应的像素差值相乘后得到的滤波系数表征值如下表2所示,表2中,索引值同样为像素差值,举例说明,假设目标像素差值为4,则可以通过查表得到滤波系数表征值为3.36。
表2
0 | 0.96 | 1.84 | 2.64 | 3.36 | 4.0 | 1.38 | 1.40 | 1.44 | …… |
可以理解的是,这里与目标滤波器系数相乘的像素差值为像素差值的绝对值,因此(Yout(t-1)(i,j)-Y(i,j))*k的实际计算结果是正值还是负值,需要基于像素点的像素值和参考图像中对应位置像素点的像素值之间的大小关系来确定。
在一个实施例中,基于像素点的像素值和参考图像中对应位置像素点的像素值之间的大小关系,确定像素点的时域滤波结果,包括:当像素点的像素值大于或等于参考图像中对应位置像素点的像素值时,将像素点的像素值减去目标滤波系数表征值,得到像素点的时域滤波结果;当像素点的像素值小于或等于参考图像中对应位置像素点的像素值时,将像素点的像素值加上目标滤波系数表征值,得到像素点的时域滤波结果。
具体地,当像素点的像素值大于参考图像中对应位置像素点的像素值时,(Yout(t-1)(i,j)-Y(i,j))*k为负值,由公式(2)可以看出,此时的滤波结果相当于用像素点的像素值减去目标滤波系数表征值,当像素点的像素值小于参考图像中对应位置像素点的像素值时,(Yout(t-1)(i,j)-Y(i,j))*k为正值,此时的滤波结果相当于用像素点的像素值加上目标滤波系数表征值,而当当像素点的像素值等于参考图像中对应位置像素点的像素值时,即Yout(t-1)(i,j)=Y(i,j),此时(Yout(t-1)(i,j)-Y(i,j))*k为0,计算机设备将像素点的像素值减去目标滤波系数表征值,得到像素点的时域滤波结果,或者将像素点的像素值加上目标滤波系数表征值,得到像素点的时域滤波结果,可以看出,此时的时域滤波结果即为Yout(t-1)(i,j)或者Y(i,j)。
举例说明,如表2中,假设目标像素差值为3,查表得到目标滤波系数表征值为2.64,则当Yout(t-1)(i,j)<Y(i,j)时,时域滤波结果Yout(t)(i,j)=Y(i,j)-3.36,当Yout(t-1)(i,j)>Y(i,j)时,时域滤波结果Yout(t)(i,j)=Y(i,j)+3.36。
进一步地,计算机设备在得到待处理图像中各个像素点的时域滤波结果后,用时域滤波结果更新待处理图像中的像素值,即得到中间处理图像,基于该中间处理图像,计算机设备可以确定待处理图像对应的目标降噪图像。具体参考上文实施例中的描述。
上述实施例中,通过将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值,可以将复杂的函数运算转换为简答的加减法计算,进一步提高了时域滤波过程中的滤波效率,从而可以提升降噪效率。
在一个实施例中,确定多个参考运动强度信息:将运动强度分布范围划分为多个运动强度区间,将每一个运动强度区间作为一个参考运动强度信息;从多个参考运动强度信息中确定与运动强度匹配的目标运动强度信息,将目标运动强度信息对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息,包括:从多个运动强度区间中确定运动强度所属的目标区间,将目标区间对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
其中,运动强度分布范围指的是所有可能的运动强度所分布的范围。
本实施例中,计算机设备可以将运动强度分布范围进行划分为多个区间,得到多个运动强度区间,将每一个运动强度区间作为一个参考运动强度信息,建立运动强度区间与滤波系数描述信息之间的对应关系,进而在确定了待处理块的运动强度后,计算机设备可以判断该运动强度属于哪一个运动强度区间,将该运动强度所属的运动强度区间确定为目标区间,获取与该目标区间存在对应关系的滤波系数描述信息,将该滤波系数描述信息确定为与该运动强度匹配的滤波系数描述信息。
举例说明,假设运动强度分布范围为[a,b],可以对运动强度分布范围进行划分得到三个区间,分别为[a,c],(c,d),[d,b],其中,a<c<d<b,如果待处理块的某个运动强度属于(c,d),则可以将(c,d)确定为目标区间,将其对应的滤波系数描述信息确定为与该运动强度匹配的滤波系数描述信息。
上述实施例中,通过将运动强度分布范围进行划分为多个区间,将每一个运动强度区间作为一个参考运动强度信息,从而可以通过运动强度所属的运动强度区间来确定匹配的滤波系数描述信息,提高了所确定的滤波系数描述信息的准确性。
在一个实施例中,在根据参考图像确定待处理图像中待处理块的运动强度之前,方法还包括:将待处理图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据,将参考图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据;根据参考图像确定待处理图像中待处理块的运动强度,包括:根据参考图像的亮度通道数据以及待处理块的亮度通道数据,确定待处理块的运动强度;获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,包括:获取待处理块中的像素点和参考图像中对应位置像素点在亮度通道数据下的像素差值,得到目标像素差值;基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像,包括:基于目标滤波系数表征值,确定对待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像。
其中,三原色通道指的是R(red,红色)、G(green,绿色)和B(blue,蓝色)三个通道。显示器技术就是通过组合不同强度的红绿蓝三原色,来达成几乎任何一种可见光的颜色。在图像储存中,通过记录每个像素的红绿蓝强度,来记录图像的方式为RGB模型,常见的图像文件格式中,PNG和BMP这两种就是基于RGB模型的。除了RGB模型外,还有一种广泛采用的模型,称为YUV模型,又被称为亮度-色度模型(Luma-ChromaModel)。它是通过数学转换,将RGB三通道转换为一个代表亮度的通道(Y,又称为Luma),和两个代表色度的通道(UV,并称为Chroma)来记录图像的模型。
在一个具体的实施例中,已知将RGB三通道数据转为YUV三通道数据的公式具体如下式所示:
Y=0.299*R+0.587*G+0.114*B (3)
U=-0.169*R-0.331*G+0.5*B (4)
V=0.5*R-0.419*G-0.081*B (5)
其中,其中,Y表示亮度通道值、U表示色度通道值、V表示浓度通道值、R表示R通道值、G表示G通道值,以及B表示B通道值。
考虑到上述公式(3)至公式(5)为浮点型的运算,而浮点型的乘法运算,在计算机内部要经过阶码和尾数的运算,相对耗时,因此本实施例中通过数学上的一些变换,将浮点运算变换为整数运算。以Y通道为例,变换过程如下:
Y=0.299*R+0.587*G+0.114*B=128*(0.299*R+0.587*G+0.114*B)>>7=(38*R+75*B+15*B)>>7
U通道和V通道可以参考Y通道进行同理转换,放大后的数值采取四射五入的方式,经过如此转换,浮点运算就变成了整数乘法和位移运算,而位移运算,效率很高,整数乘法的运算也会较浮点运算的效率高些,因此得到的Y通道数据、U通道数据和V通道数据均为整数值。
在本实施例中,基于人眼对于图像中的亮度通道分量更加敏感的特点,计算机设备可以将待处理图像中的三原色通道数据,转换为Y通道数据、U通道数据和V通道数据后,仅提取其中的Y通道数据,对Y通道数据进行降噪处理,对于参考图像中的三原色通道数据,同样转换为Y通道数据、U通道数据和V通道数据,仅提取其中的Y通道数据,从而可以根据参考图像的亮度通道数据确定待处理块的亮度通道数据的运动强度,获取待处理块中的像素点和参考图像中对应位置像素点在亮度通道数据下的像素差值,得到目标像素差值,最后基于目标滤波系数表征值,确定对待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像。
上述实施例中,将待处理的图像从RGB域转换到YUV域,之后仅对亮度通道Y进行降噪处理,节省了降噪过程中的计算量,提高了图像降噪效率。
在一个实施例中,其特征在于,基于目标滤波系数表征值,确定对待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像,包括:基于目标滤波系数表征值,确定对待处理图像中的亮度通道数据进行时域滤波得到的中间处理数据;基于中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据;将目标亮度数据和待处理图像的色度通道数据、浓度通道数据进行组合并转换为三原色通道数据,得到目标降噪图像。
本实施例中,由于提取了待处理图像中的亮度通道数据,计算机设备在确定了各个像素点的目标滤波系数表征值后,可以确定对待处理图像中的亮度通道数据进行时域滤波得到的中间处理数据,进一步,可以基于中间处理数据进行空域降噪,得到亮度通道下的目标亮度数据,最后将目标亮度数据和待处理图像之前分离出的色度通道数据以及浓度通道数据进行组合,然后转换为三原色通道数据,即得到目标降噪图像。
上述实施例中,在对Y通道数据进行时域和空域地降噪处理后,进一步将Y通道数据、U通道数据和V通道数据进行组合并转换为RGB数据,得到的目标降噪图像可以更好地满足需求。
在一个实施例中,上述图像降噪方法还包括:基于待处理块的亮度通道数据确定待处理块的亮度表征值;在亮度表征值小于或等于预设亮度阈值的情况下,进入根据参考图像的亮度通道数据以及待处理块的亮度通道数据,确定待处理块的运动强度;在亮度表征值大于预设亮度阈值的情况下,将待处理块的亮度通道数据作为中间处理数据,并进入基于中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据的步骤。
其中,亮度表征值用于对待处理块的整体亮度进行表征。亮度表征值可以对待处理块中各个像素点的Y通道值进行统计得到,这里的统计可以是求和、求平均值或者求中位数中的其中一种。在一个具体的实施例中,假设当前块为Y,其宽高分别为h,w,则亮度表征值可以通过以下公式(6)进行计算:
根据视觉特性,图像亮度高时,信噪比很高,此时人眼观察不到噪声信号,因此对于亮度值较高的区域进行降噪将带来不必要的性能浪费,本实施例中,通过统计得到待处理块的亮度表征值,对亮度表征值高于某一阈值的待处理块不做时域降噪处理,以达到节省性能的目的。
在一个具体实施例中,参考图6,为图像降噪方法的具体流程示意图,具体包括以下步骤:
步骤602,RGB转YUV并提取Y通道。
具体地,计算机设备可以将待处理图像由RGB格式转换为YUV格式,并提取其中的Y通道数据,将参考图像由RGB格式转换为YUV格式,并提取其中的Y通道数据。
步骤604,进行分块。
具体地,计算机设备可以对待处理图像进行划分,得到多个待处理块。
步骤606,判断块内亮度均值是否超过阈值,若是,则进入步骤612,若否,则进行步骤608。
具体地,计算机设备计算各个待处理块的亮度均值,对于每一个待处理块,若是亮度均值大于亮度阈值,则进入步骤612,若是亮度均值小于或等于亮度阈值则进入步骤608。
步骤608,估计块内运动强度。
具体地,对于亮度均值小于或等于亮度阈值的待处理块,计算机设备可以基于参考图像的Y通道数据确定该待处理块的运动强度。
步骤610,在不同块根据运动强度选择不同时域滤波器。
具体地,在确定了该待处理块的运动强度之后,计算机设备可以获取与该运动强度匹配的滤波系数描述信息,从而对于该亮度均值小于或等于亮度阈值的待处理块中的每个像素点,计算机设备可以获取该像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值,从而可以得到各个像素点的目标滤波系数表征值,基于各个目标滤波系数表征值,计算机设备可以确定对该待处理块各个像素点的Y通道数据进行时域滤波得到的时域滤波结果,各个像素点的时域滤波结果组成该待处理块的中间处理数据。
步骤612,组合各分块。
步骤614,进行空域滤波。
具体地,计算机设备可以组合各个待处理块的中间处理数据,包括亮度均值大于预设亮度阈值的待处理块的中间处理数据,以及亮度均值小于或等于预设亮度阈值的待处理块的中间处理数据,对组合得到的中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据。其中,对于亮度均值大于预设亮度阈值的待处理块,由于未做时域降噪处理,其中间处理数据即为该待处理块原始的亮度通道数据。
步骤616,将Y与UV通道组合并完成YUV转RGB。
具体地,计算机设备将目标亮度数据和U通道数据、V通道数据进行组合,然后转换为RGB格式,最终得到目标降噪图像。
上述实施例中,由于将RGB格式数据转换为YUV格式数据,只对Y通道数据进行降噪处理,并且对亮度均值大于预设亮度阈值的待处理块不做时域降噪,可以在满足降噪效果的同时,节省计算机设备的性能,避免了性能浪费。
在一个实施例中,根据参考图像确定待处理图像中待处理块的运动强度包括:确定待处理块相对于参考图像的差异度,以及待处理块相对于参考图像的噪声强度;基于差异度和噪声强度,确定待处理块的运动强度;运动强度和差异度成正相关,运动强度和噪声强度成负相关。
其中,差异度用于表征待处理块相对于参考图像的差异大小,差异越大,差异度越大。噪声强度用于表征待处理块相对于参考图像的噪声大小,噪声越大,噪声强度越大。
具体地,对于待处理图像中的待处理块,计算机设备可以确定待处理块相对于参考图像中对应位置处图像块的差异度,以及待处理块相对于参考图像中对应位置处图像块的噪声强度,基于差异度和噪声强度,确定待处理块的运动强度。这里,运动强度和差异度成正相关关系,运动强度和噪声强度成负相关。
其中,正相关关系指的是:在其他条件不变的情况下,两个变量变动方向相同,一个变量由大到小变化时,另一个变量也由大到小变化。可以理解的是,这里的正相关关系是指变化的方向是一致的,但并不是要求当一个变量有一点变化,另一个变量就必须也变化。例如,可以设置当变量a为10至20时,变量b为100,当变量a为20至30时,变量b为120。这样,a与b的变化方向都是当a变大时,b也变大。但在a为10至20的范围内时,b可以是没有变化的。负相关关系指的是:一个变量由大到小变化时,另一个变量也由小到大变化,即两个变量的变化方向是反向。
可见,本实施例中,差异度越大时,运动强度越大,差异度越小时,运动强度越小;噪声强度越大时,运动强度越小,噪声强度越小时,运动强度越大。
在一个实施例中,计算机设备可以通过计算差异度和噪声强度的比值得到运动强度,即运动强度=差异度/噪声强度。
上述实施例中,由于可以基于差异度和噪声强度,确定待处理块的运动强度,并且运动强度和差异度成正相关,运动强度和噪声强度成负相关,该运动强度可以准确的反映待处理图像的噪声情况,提高了图像降噪的准确性。
在一个实施例中,确定待处理块相对于参考图像的差异度,以及待处理块相对于参考图像的噪声强度包括:获取待处理块中每一个像素点,相对于参考图像中对应位置像素点的像素差值;基于各个像素点对应的像素差值,确定待处理块中的噪声像素点和运动像素点;其中,运动像素点为像素差值大于预设差异阈值的像素点,噪声像素点为像素差值小于或等于预设差异阈值的像素点;统计各个噪声像素点的像素差值得到噪声强度,统计各个运动像素点的像素差值得到差异度。
其中,对于待处理图像中的某个像素点,在参考图像中与之位置对应的像素点指的是与该像素点的像素坐标相同的像素点,例如,假设待处理图像中的某个像素点的像素坐标为(x1,y1),则在参考图像中与之位置对应的像素点在参考图像中的像素坐标同样为(x1,y1)。
具体地,考虑到噪声的运动幅度一般比较小,本实施例中,可以预先设定差异阈值N,对于待处理块中的每一个像素点,当该像素点相对于参考图像中对应位置像素点的像素差值小于或等于该预设差异阈值时,则代表该位置处的像素点在前后帧中像素值差异不大,很有可能是噪声信号,那么计算机设备可以将该像素点确定为噪声像素点;反之,当该像素点相对于参考图像中对应位置像素点的像素差值大于该预设差异阈值时,代表该位置处的像素点很可能发生了移动,那么计算机设备可以将该像素点确定为运动像素点。
计算机设备可以统计该待处理块中各个噪声像素点的像素差值得到噪声强度,例如,计算机设备可以将各个噪声像素点的像素差值相加得到噪声强度。计算机设备可以统计该待处理块中各个运动像素点的像素差值得到差异度,例如,计算机设备可以将各个运动像素点的像素差值相加得到差异度。
需要说明的是,本实施例中,待处理块中每一个像素点,计算机设备获取该像素点相对于参考图像中对应位置像素点的像素差值时,该像素差值指的是绝对差值,即假设待处理块中某个像素点的像素值为X,参考图像中与该像素点位置对应的像素点的像素值为Y,则像素差值为|X-Y|。
上述实施例中,基于像素差值与预设差异阈值之间的大小关系来确定噪声像素点和运动像素点,进而通过统计各个噪声像素点的像素差值可以得到噪声强度,统计各个运动像素点的像素差值可以得到差异度,由于像素差值可以反映各个位置处的像素点是否发生移动,从而提高了运动强度计算的准确性。
在一个实施例中,基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像,包括:基于目标滤波系数表征值,确定对待处理图像进行时域滤波得到的中间处理图像,将中间处理图像分别作为输入图像和引导图像;对输入图像进行下采样得到第一采样图像,对引导图像进行下采样,得到第二采样图像;基于第二采样图像对第一采样图像进行引导滤波,得到目标图像;按照输入图像的尺寸对目标图像进行上采样,得到尺寸和输入图像一致的目标降噪图像。
本实施例中,计算机设备在得到中间处理图像后,将中间处理图像分别作为输入图像和引导图像,进一步对输入图像进行下采样使得输入图像按照目标缩放比例进行缩小,得到第一采样图像,对引导图像进行下采样使得引导图像按照目标缩放比例进行缩小得到第二采样图像,然后基于第二采样图像对第一采样图像进行引导滤波,得到目标图像,该目标图像仍然为尺寸缩小的图像,因此,计算机设备进一步按照输入图像的尺寸对目标图像进行上采样,使得目标图像按照目标缩放比例进行放大,从而得到尺寸和输入图像一致的目标降噪图像。
上述实施例中,在进行引导滤波时,由于输入图像和引导图像是同一个图像,因此能够在图像边缘处保留细节,而在平坦区域进行平滑,尽可能避免了降噪带来的图像模糊问题,同时由于在滤波过程中对输入图像和引导图像进行了下采样,可以降低滤波过程中的计算复杂度,节省了降噪成本。
在一个具体的实施例中,本申请的图像降噪方法可应用如图7所示的架构中,将摄像头采集的图像序列依次作为待处理图像,通过本申请提供的图像降噪方法得到目标降噪图像后,进行视频编码得到编码数据,将编码数据发送至云端,云端对视频数据进行解码后,将解码后的视频流展示给用户,并且计算机设备本地也可以对编码数据对解码,并将解码后的视频流展示给用户。其中摄像头可来自于计算机设备的内置摄像头,也可以来自于外接摄像头,摄像头采集的原始图像存在了噪声信号,通过本申请的图像降噪处理后能够产生干净的图像,提升了图像质量。同时因为滤除了噪声,后续的视频编码环节无需编码不规则的噪声信号,因此能产生较小的编码文件,节省了带宽和储存空间。
在一个实施例中,如图8所示,本申请还提供一种滤波数据处理方法,该方法由计算机设备执行,该计算机设备可以是图1中的终端102,也可以是图1中的服务器104,还可以是终端102和服务器104所构成的系统。具体地,该滤波数据处理方法包括以下步骤:
步骤802,获取多个参考运动强度信息,并确定像素差值分布范围。
步骤804,分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值。
其中,运动强度参考信息指的是用于作为参考来确定滤波系数描述信息的信息。运动强度参考信息可以是运动强度区间,或者是具体的数值。像素差值分布范围指的是所有可能的像素差值所分布的范围,像素差值分布范围可以为[0,255]。
具体地,计算机设备在获取到多个参考运动强度信息,并确定了像素差值分布范围后,针对每一个参考运动强度信息,在保证滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关的前提下,确定在像素差值分布范围内各个可能的像素差值下的滤波系数表征值。
步骤806,建立各个滤波系数表征值和各自对应的像素差值之间的对应关系。
步骤808,将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息。
其中,滤波系数描述信息用于对待处理图像进行时域滤波。
具体地,计算机设备可以建立各个滤波系数表征值和各自对应的像素差值之间的对应关系,从这些对应关系中,将所包含的滤波系数表征值是基于同一参考运动强度信息确定的对应关系组成滤波系数描述信息,将该滤波系数描述信息作为该参考运动强度信息对应的滤波系数描述信息,从而得到各个参考运动强度信息各自对应的滤波系数描述信息。
在一个实施例中,计算机设备进一步可以建立参考运动强度信息和各自对应的滤波系数描述信息之间的对应关系,基于该对应关系,在需要对待处理图像进行时域滤波时,可以获取与待处理图像中的待处理块的运动强度匹配的滤波系数描述信息时,计算机设备可以从多个参考运动强度信息中确定与该运动强度匹配的目标运动强度信息,将与该目标运动强度信息存在对应关系的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息,从而可以基于滤波系数描述信息确定对待处理图像进行时域滤波。
上述滤波数据处理方法中,由于滤波系数描述信息描述了在每一个参考运动强度信息下,像素差值和滤波系数表征值之间的对应关系,进而在对待处理图像进行时域滤波时,可以直接将待处理图像中的像素点对应的像素差值作为索引,从滤波系数描述信息中查询到对应的滤波系数表征值,避免了通过复杂的计算来得到滤波器系数,提高了滤波效率。
在一个实施例中,分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值,包括:分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波系数;将各个目标滤波系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值。
在一个实施例中,上述滤波数据处理方法还包括:获取待处理图像和参考图像;根据参考图像确定待处理图像中待处理块的运动强度;待处理块是对待处理图像进行划分得到的;获取与运动强度匹配的滤波系数描述信息,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关;获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值;基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像。
需要说明的是,关于该实施例的具体描述可参考上文实施例中的描述,本申请在此不赘述。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,本申请还提供一种应用场景,在该应用场景中,本申请的图像降噪方法应用于视频会议应用程序中,对视频会议中的视频帧进行降噪处理。具体地,计算机设备可以将会议过程中拍摄得到的视频帧序列,从第二帧开始依次作为待处理图像,对于每一个待处理图像,执行以下步骤:
1、将该待处理图像从RGB格式转换为YUV格式。
2、对待处理图像进行均匀划分,得到多个待处理块。
具体地,假设待处理图像的高和宽分别为H、W,可以将待处理图像划分为m行n列,则每个块的高和宽分别为H/m,W/n。
3、分别将待处理图像中的各个待处理块作为当前待处理块,对于当前待处理块Y,统计该待处理块Y内的亮度均值,判断亮度均值是否超过预设亮度阈值,当超过时,代表该待处理块亮度很高,人眼无法察觉噪声,则该待处理块无需处理,直接进入步骤9。反之,需要进行后续的时域降噪,进入步骤4。
4、进行块内运动强度估计。首先计算每个待处理块在当前时刻(当前帧)t的与前一时刻(前一帧)t-1的帧差D,可公式化为D(t)=|Y(t)-Y(t-1)|。考虑到噪声的幅度一般比较小,人为设定一噪声域值N,令(i,j)为位置索引,当D(t)i,j≤N时,则代表坐标(i,j)处的像素点在前后帧之间像素值差异不大,很有可能是噪声信号,反之,当D(t)i,j>N时,代表该位置的像素点很可能发生了移动。定义矩阵VN和VS,它们的大小与当前待处理块大小Y一致,当D(t)i,j≤N时,VNi,j=D(t)i,j且VSi,j=0。当D(t)i,j>N时,VNi,j=0且VSi,j=D(t)i,j。最后该待处理块的运动强度S可以通过以下公式(7)计算得到:
5、从多个运动强度区间中确定运动强度所属的目标区间,将目标区间对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
其中,滤波系数描述信息通过以下步骤预先得到并以表格的形式存储:
5.1、将运动强度分布范围进行划分,得到多个运动强度区间。
5.2、确定像素差值分布范围,分别基于每一个运动强度区间,确定在像素差值分布范围内的多个像素差值下的目标滤波器系数。
其中,像素差值分布范围为[0,255],像素差值分布范围内的多个像素差值为[0,255]内的各个整数值。在确定目标滤波器系数时,保证滤波器系数与像素差值成负相关,滤波器系数的变化程度与运动强度区间内的运动强度值成正相关。
5.3、将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值。
5.4、建立各个滤波系数表征值和各自对应的像素差值之间的对应关系。
5.5、将基于同一运动强度区间确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个运动强度区间各自对应的滤波系数描述信息。
具体地,滤波系数描述信息可以以表格的形式进行存储,像素差值作为该表格的索引值。具体可以参考上文中的表2。
6、获取当前待处理块中各个像素点分别和参考图像中对应位置像素点之间的目标像素差值,将各个目标像素差值分别作为索引值,从与当前待处理块的运动强度匹配的滤波系数描述信息中,查询得到与各个目标像素差值存在对应关系的目标滤波系数表征值。
其中,参考图像为t-1时刻(即上一帧)的视频帧对应的中间处理图像,即将t-1时刻的视频帧作为待处理图像时,对该待处理图像进行时域滤波得到的图像,本实施例中,时域滤波过程采用递归滤波,每一帧视频帧在采用本实施例提供的图像降噪方法得到时域滤波输出的中间处理图像后,将该中间处理图像进行保存作为下一帧视频帧的参考图像。
7、对于当前待处理块中的各个像素点,当该像素点的像素值大于或等于参考图像中对应位置像素点的像素值时,将该像素点的像素值减去目标滤波系数表征值,得到该像素点的时域滤波结果,当该像素点的像素值小于或等于参考图像中对应位置像素点的像素值时,将该像素点的像素值加上目标滤波系数表征值,得到该像素点的时域滤波结果。
8、基于各个像素点的时域滤波结果确定对于当前待处理块进行时域滤波得到的中间处理数据。
9、组合各个待处理的中间处理数据,对组合得到的中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据。
其中,对于亮度均值大于预设亮度阈值的待处理块,由于未做时域降噪处理,其中间处理数据即为该待处理块原始的亮度通道数据。
可以理解的是,此处组合得到的中间处理数据所形成的图像即为待处理图像对应的中间处理图像,可以将该中间处理图像进行保存,作为下一帧待处理图像的参考图像。
10、将目标亮度数据和待处理图像的U通道数据、V通道数据进行组合并转换为RGB数据,得到目标降噪图像。
在另一个实施例中,本申请还提供另一种应用场景,在该应用场景中,本申请的图像降噪方法应用于视频直播应用程序,对直播过程中的视频帧进行降噪处理,具体地,计算机设备可以将直播过程中采集的得到的视频帧序列,从第二帧开始依次作为待处理图像,对于每一个待处理图像,执行本申请实施例提供的图像降噪方法得到目标降噪图像,从而可以提升直播过程中的视频视觉质量。其中,在本实施例中,滤波系数描述信息中存储的是滤波器系数和像素差值之间的对应关系,对于亮度均值大于或等于预设亮度均值的待处理块中的各个像素点,计算机设备在获取到各个像素点对应的像素差值后,可以从与该待处理块的运动强度匹配的滤波系数描述信息中查询得到目标滤波器系数,进而可以通过上文中的公式(1)计算得的各个像素点的时域滤波结果。
在一个具体的实施例中,如图9所示,为本申请实施例提供的图像降噪方法的效果示意图,图9中的(a)图为降噪前的图像示意,图9中的(b)图为降噪后的图像示意,为更好地展示效果,图9中对部分区域(原图中的方框内的区域)进行了放大,由图9可以看出,降噪前的图像中存在很多噪声颗粒,通过本申请实施例提供的图像降噪方法进行降噪处理后,颗粒减少,图像变得清晰而平滑。并且,本申请实施例提供的图像降噪方法对背景区域和前景区域都可以到达很好的降噪效果。
在一个具体的实施例中,如图10所示,为本申请实施例提供的图像降噪方法的效果示意图,图10中的(a)图为降噪前的图像示意,图10中的(b)图为降噪后的图像示意,由图10可以看出,降噪前的图像中存在频繁抖动的噪点,造成不适,通过本申请实施例提供的图像降噪方法进行降噪处理后,这些抖动点将消失。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像降噪方法的图像降噪装置以及一种用于实现上述所涉及的滤波数据处理方法的滤波数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像降噪装置、滤波数据处理装置实施例中的具体限定可以参见上文中各方法实施例中的限定。
在一个实施例中,如图11所示,提供了一种图像降噪装置1100,包括:
图像获取模块1102,用于获取待处理图像和参考图像;
运动强度确定模块1104,用于根据参考图像确定待处理图像中待处理块的运动强度;待处理块是对待处理图像进行划分得到的;
描述信息获取模块1106,用于获取与运动强度匹配的滤波系数描述信息,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关;
滤波系数确定模块1108,用于获取待处理块中的像素点和参考图像中对应位置像素点之间的目标像素差值,基于滤波系数描述信息确定与目标像素差值存在对应关系的目标滤波系数表征值;
降噪图像确定模块1110,用于基于目标滤波系数表征值,确定待处理图像对应的目标降噪图像。
上述图像降噪装置中,由于待处理块是对待处理图像进行划分得到的,对于待处理图像中的不同的待处理块可以确定不同的目标滤波系数表征值,得到的目标滤波系数表征值可以和图像中各个区域的运动情况精确匹配,避免了对整张图像进行运动强度估计导致的部分区域降噪效果差的问题,提高了待处理图像的降噪效果,另外,由于目标滤波系数表征值是滤波系数描述信息确定的,滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系,并且其中的滤波系数表征值与像素差值成负相关,滤波系数表征值的变化程度与运动强度成正相关,因此对于每一个像素值,都能获取到匹配该像素点的目标滤波系数表征值,进一步提高了待处理图像的降噪效果。
在一个实施例中,上述图像处理装置还包括:描述信息确定模块,用于确定多个参考运动强度信息,并确定像素差值分布范围;分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;描述信息获取模块1106,还用于从多个参考运动强度信息中确定与运动强度匹配的目标运动强度信息,将目标运动强度信息对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
在一个实施例中,描述信息确定模块,还用于分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波器系数;将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值;降噪图像确定模块,还用于基于像素点的像素值和参考图像中对应位置像素点的像素值之间的大小关系,确定像素点的时域滤波结果,基于像素点的时域滤波结果确定待处理图像对应的目标降噪图像。
在一个实施例中,降噪图像确定模块,还用于当像素点的像素值大于或等于参考图像中对应位置像素点的像素值时,将像素点的像素值减去目标滤波系数表征值,得到像素点的时域滤波结果;当像素点的像素值小于或等于参考图像中对应位置像素点的像素值时,将像素点的像素值加上目标滤波系数表征值,得到像素点的时域滤波结果。
在一个实施例中,描述信息确定模块,还用于将运动强度分布范围划分为多个运动强度区间,将每一个运动强度区间作为一个参考运动强度信息;描述信息获取模块1106,还用于从多个运动强度区间中确定运动强度所属的目标区间,将目标区间对应的滤波系数描述信息确定为与运动强度匹配的滤波系数描述信息。
在一个实施例中,上述装置还包括格式转换模块,用于将待处理图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据,将参考图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据;运动强度确定模块,还用于根据参考图像的亮度通道数据以及待处理块的亮度通道数据,确定待处理块的运动强度;滤波系数确定模块,还用于获取待处理块中的像素点和参考图像中对应位置像素点在亮度通道数据下的像素差值,得到目标像素差值;降噪图像确定模块,还用于基于目标滤波系数表征值,确定对待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像。
在一个实施例中,降噪图像确定模块,还用于基于目标滤波系数表征值,确定对待处理图像中的亮度通道数据进行时域滤波得到的中间处理数据;基于中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据;将目标亮度数据和待处理图像的色度通道数据、浓度通道数据进行组合并转换为三原色通道数据,得到目标降噪图像。
在一个实施例中,上述装置还包括:亮度表征值确定模块,用于基于待处理块的亮度通道数据确定待处理块的亮度表征值;在亮度表征值小于或等于预设亮度阈值的情况下,进入根据参考图像的亮度通道数据以及待处理块的亮度通道数据,确定待处理块的运动强度;在亮度表征值大于预设亮度阈值的情况下,将待处理块的亮度通道数据作为中间处理数据,并进入基于中间处理数据进行空域降噪,得到待处理图像对应的目标亮度数据的步骤。
在一个实施例中,运动强度确定模块,还用于确定待处理块相对于参考图像的差异度,以及待处理块相对于参考图像的噪声强度;基于差异度和噪声强度,确定待处理块的运动强度;运动强度和差异度成正相关,运动强度和噪声强度成负相关。
在一个实施例中,运动强度确定模块,还用于获取待处理块中每一个像素点,相对于参考图像中对应位置像素点的像素差值;基于各个像素点对应的像素差值,确定待处理块中的噪声像素点和运动像素点;其中,运动像素点为像素差值大于预设差异阈值的像素点,噪声像素点为像素差值小于或等于预设差异阈值的像素点;统计各个噪声像素点的像素差值得到噪声强度,统计各个运动像素点的像素差值得到差异度。
在一个实施例中,降噪图像确定模块,还用于基于目标滤波系数表征值,确定对待处理图像进行时域滤波得到的中间处理图像,将中间处理图像分别作为输入图像和引导图像;对输入图像进行下采样得到第一采样图像,对引导图像进行下采样,得到第二采样图像;基于第二采样图像对第一采样图像进行引导滤波,得到目标图像;按照输入图像的尺寸对目标图像进行上采样,得到尺寸和输入图像一致的目标降噪图像。
在一个实施例中,图像获取模块,还用于确定待降噪的目标视频;将目标视频中的视频帧作为待处理图像,从待处理图像对应的前向视频帧中确定目标视频帧;获取目标视频帧对应的目标降噪图像,将目标视频帧对应的目标降噪图像确定为待处理图像对应的参考图像。
在一个实施例中,如图12所示,提供了一种滤波数据处理装置1200,包括:
参考运动强度确定模块1202,用于确定多个参考运动强度信息,并确定像素差值分布范围;
表征值确定模块1204,用于分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;
对应关系建立模块1206,用于建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;
描述信息确定模块1208,用于将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;其中,滤波系数描述信息用于对待处理图像进行时域滤波。
上述滤波数据处理方法、装置、计算机设备、存储介质和计算机程序产品,由于滤波系数描述信息描述了在每一个参考运动强度信息下,像素差值和滤波系数表征值之间的对应关系,进而在对待处理图像进行时域滤波时,可以直接将待处理图像中的像素点对应的像素差值作为索引,从滤波系数描述信息中查询到对应的滤波系数表征值,避免了通过复杂的计算来得到滤波器系数,提高了滤波效率。
在一个实施例中,表征值确定模块,用于分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波系数;将各个目标滤波系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值。
上述图像降噪装置、滤波数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据、滤波系数描述信息等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像降噪方法或者一种滤波数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像降噪方法或者一种滤波数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13和图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述图像降噪方法或者滤波数据处理方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像降噪方法或者滤波数据处理方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像降噪方法或者滤波数据处理方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (19)
1.一种图像降噪方法,其特征在于,所述方法包括:
获取待处理图像和参考图像;
根据所述参考图像确定所述待处理图像中待处理块的运动强度;所述待处理块是对所述待处理图像进行划分得到的;
获取与所述运动强度匹配的滤波系数描述信息,所述滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;
其中,所述滤波系数表征值与所述像素差值成负相关,所述滤波系数表征值的变化程度与所述运动强度成正相关;
获取所述待处理块中的像素点和所述参考图像中对应位置像素点之间的目标像素差值,基于所述滤波系数描述信息确定与所述目标像素差值存在对应关系的目标滤波系数表征值;
基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定多个参考运动强度信息,并确定像素差值分布范围;
分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;
建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;
将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;
所述获取与所述运动强度匹配的滤波系数描述信息,包括:
从所述多个参考运动强度信息中确定与所述运动强度匹配的目标运动强度信息,将所述目标运动强度信息对应的滤波系数描述信息确定为与所述运动强度匹配的滤波系数描述信息。
3.根据权利要求2所述的方法,其特征在于,所述分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值,包括:
分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波器系数;
将各个目标滤波器系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值;
所述基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像,包括:
基于所述像素点的像素值和所述参考图像中对应位置像素点的像素值之间的大小关系,确定所述像素点的时域滤波结果,基于所述像素点的时域滤波结果确定所述待处理图像对应的目标降噪图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述像素点的像素值和所述参考图像中对应位置像素点的像素值之间的大小关系,确定所述像素点的时域滤波结果,包括:
当所述像素点的像素值大于或等于所述参考图像中对应位置像素点的像素值时,将所述像素点的像素值减去所述目标滤波系数表征值,得到所述像素点的时域滤波结果;
当所述像素点的像素值小于或等于所述参考图像中对应位置像素点的像素值时,将所述像素点的像素值加上所述目标滤波系数表征值,得到所述像素点的时域滤波结果。
5.根据权利要求2至4中任意一项所述的方法,其特征在于,所述确定多个参考运动强度信息包括:
将运动强度分布范围划分为多个运动强度区间,将每一个运动强度区间作为一个参考运动强度信息;
所述从所述多个参考运动强度信息中确定与所述运动强度匹配的目标运动强度信息,将所述目标运动强度信息对应的滤波系数描述信息确定为与所述运动强度匹配的滤波系数描述信息,包括:
从所述多个运动强度区间中确定所述运动强度所属的目标区间,将所述目标区间对应的滤波系数描述信息确定为与所述运动强度匹配的滤波系数描述信息。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述参考图像确定所述待处理图像中待处理块的运动强度之前,所述方法还包括:
将所述待处理图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据,将所述参考图像中的三原色通道数据转换为亮度通道数据、色度通道数据和浓度通道数据并提取其中的亮度通道数据;
所述根据所述参考图像确定所述待处理图像中待处理块的运动强度,包括:
根据所述参考图像的亮度通道数据以及所述待处理块的亮度通道数据,确定所述待处理块的运动强度;
所述获取所述待处理块中的像素点和所述参考图像中对应位置像素点之间的目标像素差值,包括:
获取所述待处理块中的像素点和所述参考图像中对应位置像素点在亮度通道数据下的像素差值,得到目标像素差值;
所述基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像,包括:
基于所述目标滤波系数表征值,确定对所述待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标滤波系数表征值,确定对所述待处理图像的亮度通道数据进行降噪处理得到的目标降噪图像,包括:
基于所述目标滤波系数表征值,确定对所述待处理图像中的亮度通道数据进行时域滤波得到的中间处理数据;
基于所述中间处理数据进行空域降噪,得到所述待处理图像对应的目标亮度数据;
将所述目标亮度数据和所述待处理图像的色度通道数据、浓度通道数据进行组合并转换为三原色通道数据,得到目标降噪图像。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
基于所述待处理块的亮度通道数据确定所述待处理块的亮度表征值;
在所述亮度表征值小于或等于预设亮度阈值的情况下,进入所述根据所述参考图像的亮度通道数据以及所述待处理块的亮度通道数据,确定所述待处理块的运动强度;
在所述亮度表征值大于预设亮度阈值的情况下,将所述待处理块的亮度通道数据作为中间处理数据,并进入所述基于所述中间处理数据进行空域降噪,得到所述待处理图像对应的目标亮度数据的步骤。
9.根据权利要求1所述的方法,其特征在于,所述根据所述参考图像确定所述待处理图像中待处理块的运动强度,包括:
确定所述待处理块相对于所述参考图像的差异度,以及所述待处理块相对于所述参考图像的噪声强度;
基于所述差异度和所述噪声强度,确定所述待处理块的运动强度;所述运动强度和所述差异度成正相关,所述运动强度和所述噪声强度成负相关。
10.根据权利要求9所述的方法,其特征在于,所述确定所述待处理块相对于所述参考图像的差异度,以及所述待处理块相对于所述参考图像的噪声强度包括:
获取所述待处理块中每一个像素点,相对于所述参考图像中对应位置像素点的像素差值;
基于各个像素点对应的像素差值,确定所述待处理块中的噪声像素点和运动像素点;其中,所述运动像素点为像素差值大于预设差异阈值的像素点,所述噪声像素点为像素差值小于或等于预设差异阈值的像素点;
统计各个噪声像素点的像素差值得到噪声强度,统计各个运动像素点的像素差值得到差异度。
11.根据权利要求1所述的方法,其特征在于,所述基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像,包括:
基于所述目标滤波系数表征值,确定对所述待处理图像进行时域滤波得到的中间处理图像,将所述中间处理图像分别作为输入图像和引导图像;
对所述输入图像进行下采样得到第一采样图像,对所述引导图像进行下采样,得到第二采样图像;
基于所述第二采样图像对所述第一采样图像进行引导滤波,得到目标图像;
按照所述输入图像的尺寸对所述目标图像进行上采样,得到尺寸和所述输入图像一致的目标降噪图像。
12.根据权利要求1至11中任意一项所述的方法,其特征在于,所述获取待处理图像和参考图像,包括:
确定待降噪的目标视频;
将所述目标视频中的视频帧作为待处理图像,从所述待处理图像对应的前向视频帧中确定目标视频帧;
获取所述目标视频帧对应的目标降噪图像,将所述目标视频帧对应的目标降噪图像确定为所述待处理图像对应的参考图像。
13.一种滤波数据处理方法,其特征在于,所述方法包括:
确定多个参考运动强度信息,并确定像素差值分布范围;
分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;
建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;
将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;
其中,所述滤波系数描述信息用于对待处理图像进行时域滤波。
14.根据权利要求13所述的方法,其特征在于,所述分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值,包括:
分别基于每一个参考运动强度信息,确定像素差值分布范围内的多个像素差值下的目标滤波系数;
将各个目标滤波系数与各自对应的像素差值相乘,得到各个像素差值下的滤波系数表征值。
15.一种图像降噪装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像和参考图像;
运动强度确定模块,用于根据所述参考图像确定所述待处理图像中待处理块的运动强度;所述待处理块是对所述待处理图像进行划分得到的;
描述信息获取模块,用于获取与所述运动强度匹配的滤波系数描述信息,所述滤波系数描述信息用于描述像素差值与滤波系数表征值之间的对应关系;其中,所述滤波系数表征值与所述像素差值成负相关,所述滤波系数表征值的变化程度与所述运动强度成正相关;
滤波系数确定模块,用于获取所述待处理块中的像素点和所述参考图像中对应位置像素点之间的目标像素差值,基于所述滤波系数描述信息确定与所述目标像素差值存在对应关系的目标滤波系数表征值;
降噪图像确定模块,用于基于所述目标滤波系数表征值,确定所述待处理图像对应的目标降噪图像。
16.一种滤波数据处理装置,其特征在于,所述装置包括:
参考运动强度确定模块,用于确定多个参考运动强度信息,并确定像素差值分布范围;
表征值确定模块,用于分别基于每一个参考运动强度信息,确定在像素差值分布范围内的多个像素差值下的滤波系数表征值;
对应关系建立模块,用于建立各个滤波系数表征值和各自对应的像素差值之间的对应关系;
描述信息确定模块,用于将基于同一参考运动强度信息确定的滤波系数表征值所在的对应关系组成滤波系数描述信息,得到各个参考运动强度信息各自对应的滤波系数描述信息;其中,所述滤波系数描述信息用于对待处理图像进行时域滤波。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12或者13至14中任一项所述的方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12或者13至14中任一项所述的方法的步骤。
19.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12或者13至14中任一项所述的方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210590036.4A CN115131229A (zh) | 2022-05-27 | 2022-05-27 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
PCT/CN2023/084674 WO2023226584A1 (zh) | 2022-05-27 | 2023-03-29 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
US18/630,545 US20240257319A1 (en) | 2022-05-27 | 2024-04-09 | Image noise reduction and filter data processing method and apparatus, and computer device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210590036.4A CN115131229A (zh) | 2022-05-27 | 2022-05-27 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115131229A true CN115131229A (zh) | 2022-09-30 |
Family
ID=83378442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210590036.4A Pending CN115131229A (zh) | 2022-05-27 | 2022-05-27 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240257319A1 (zh) |
CN (1) | CN115131229A (zh) |
WO (1) | WO2023226584A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116205810A (zh) * | 2023-02-13 | 2023-06-02 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
WO2023226584A1 (zh) * | 2022-05-27 | 2023-11-30 | 腾讯科技(深圳)有限公司 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
CN119027341A (zh) * | 2024-10-25 | 2024-11-26 | 镕铭微电子(济南)有限公司 | 视频处理方法、系统、装置、设备及介质 |
WO2025011199A1 (zh) * | 2023-07-11 | 2025-01-16 | 西姆高新技术(江苏)有限公司 | 图像降噪方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118396886B (zh) * | 2024-06-28 | 2024-10-22 | 苏州一目万相科技有限公司 | 图像降噪方法及装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7136538B2 (en) * | 2000-12-21 | 2006-11-14 | Matsushita Electric Industrial Co., Ltd. | Noise reducing apparatus and noise reducing method |
CN100426836C (zh) * | 2005-07-19 | 2008-10-15 | 中兴通讯股份有限公司 | 一种基于运动检测和自适应滤波的视频图像降噪方法 |
CN102238316A (zh) * | 2010-04-29 | 2011-11-09 | 北京科迪讯通科技有限公司 | 一种3d数字视频图像的自适应实时降噪方案 |
CN111652814B (zh) * | 2020-05-26 | 2023-05-12 | 浙江大华技术股份有限公司 | 一种视频图像的去噪方法、装置、电子设备及存储介质 |
CN113612996B (zh) * | 2021-07-30 | 2024-02-09 | 百果园技术(新加坡)有限公司 | 一种基于时域滤波的视频降噪的方法及装置 |
CN115131229A (zh) * | 2022-05-27 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
-
2022
- 2022-05-27 CN CN202210590036.4A patent/CN115131229A/zh active Pending
-
2023
- 2023-03-29 WO PCT/CN2023/084674 patent/WO2023226584A1/zh active Application Filing
-
2024
- 2024-04-09 US US18/630,545 patent/US20240257319A1/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023226584A1 (zh) * | 2022-05-27 | 2023-11-30 | 腾讯科技(深圳)有限公司 | 图像降噪、滤波数据处理方法、装置和计算机设备 |
CN116205810A (zh) * | 2023-02-13 | 2023-06-02 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
CN116205810B (zh) * | 2023-02-13 | 2024-03-19 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
WO2025011199A1 (zh) * | 2023-07-11 | 2025-01-16 | 西姆高新技术(江苏)有限公司 | 图像降噪方法及装置 |
CN119027341A (zh) * | 2024-10-25 | 2024-11-26 | 镕铭微电子(济南)有限公司 | 视频处理方法、系统、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
US20240257319A1 (en) | 2024-08-01 |
WO2023226584A1 (zh) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
Jakhetiya et al. | A highly efficient blind image quality assessment metric of 3-D synthesized images using outlier detection | |
CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
CN110751649A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
Sandoub et al. | A low‐light image enhancement method based on bright channel prior and maximum colour channel | |
Yuan et al. | Single image dehazing via NIN-DehazeNet | |
Das et al. | A comparative study of single image fog removal methods | |
CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
Ke et al. | Single underwater image restoration based on descattering and color correction | |
Jin et al. | Color correction and local contrast enhancement for underwater image enhancement | |
Kumar et al. | Underwater image enhancement using deep learning | |
Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
Lu et al. | Low-light image enhancement via gradient prior-aided network | |
Wang et al. | Extracting noise and darkness: Low-light image enhancement via dual prior guidance | |
Zhao et al. | Saliency map-aided generative adversarial network for raw to rgb mapping | |
CN115222606A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
Huang et al. | Image dehazing based on robust sparse representation | |
Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
Siddiqui et al. | Hierarchical color correction for camera cell phone images | |
Suganya et al. | Gradient flow-based deep residual networks for enhancing visibility of scenery images degraded by foggy weather conditions | |
CN113591838B (zh) | 目标检测方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |