CN117152016A - 基于改进暗通道先验的图像去雾方法及其系统 - Google Patents
基于改进暗通道先验的图像去雾方法及其系统 Download PDFInfo
- Publication number
- CN117152016A CN117152016A CN202311163572.7A CN202311163572A CN117152016A CN 117152016 A CN117152016 A CN 117152016A CN 202311163572 A CN202311163572 A CN 202311163572A CN 117152016 A CN117152016 A CN 117152016A
- Authority
- CN
- China
- Prior art keywords
- image
- dark channel
- sky area
- transmittance
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000002834 transmittance Methods 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000009826 distribution Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于改进暗通道先验的图像去雾方法及其系统，属于图像处理技术领域，通过获取待处理有雾图像；基于暗通道先验原理获取暗通道图像从而获取粗透射率图像；以待处理有雾图像作为导向图，对粗透射率图像进行导向滤波处理，对滤波处理后的图像进行最大熵二值化处理，得到二值化图像并获取最大连通区域，得到天空区域图像和非天空区域图像；计算非天空区域图像的大气光值，并对非天空区域图像进行透射率补偿，再对天空区域图像进行处理，得到暗通道处理后的天空区域图像；对天空区域图像进行雾度修正，得到雾度修正的天空区域图像；融合所述雾度修正的天空区域图像和补偿后非天空区域图像，有效地处理去雾后天空效果不佳的问题。
Description
技术领域
本发明属于图像处理技术领域，具体地，涉及一种基于改进暗通道先验的图像去雾方法及其系统。
背景技术
随着国家经济的快速发展，许多城市都遭受雾霾、沙尘天气的威胁，在严重影响人们健康的同时，也对计算机视觉系统的正常、有效运行提出了很大的挑战。
现有的图像采集设备对外界环境的干扰非常敏感，在雾霾环境中，获取的户外图像往往退化严重，主要表现为场景特征信息模糊，对比度低，色彩失真，不利于计算机视觉系统对图像的真实特征进行提取，从而影响其后续对图像的分析、理解和识别等一系列处理，很大程度上降低了视觉系统的实际应用性能，限制了图像的应用价值。
针对目前图像去雾技术存在的问题，通常采用单幅图像去雾算法，但单幅图像去雾算法通常是通过基于图像增强的去雾算法，从而提升图像的对比度和饱和度，增强图像的视觉显示效果，从而达到图像去雾的目的，然而现有技术中的这种去雾方法仅通过提高图像对比度增强图像的视觉效果，不考虑雾霾天气条件下成像过程中的图像降质的物理原因，所以往往不能有效的去除图像中的雾度信息，特别是在处理浓重雾霾天气条件下的图像，去雾效果特别不好。
发明内容
为解决上述背景技术中存在的现有技术中往往不能有效去除图像中的雾度信息的技术问题，本发明提供了一种基于改进暗通道先验的图像去雾方法及其系统。
本发明的目的可以通过以下技术方案实现：
一种基于改进暗通道先验的图像去雾方法，包括以下步骤：
获取待处理有雾图像；
基于暗通道先验原理获取待处理有雾图像的暗通道图像；
基于所述暗通道图像获取待处理有雾图像的粗透射率图像；
以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波处理，从而得到细化透射率图像；
对所述细化透射率图像进行最大熵二值化处理，得到二值化图像；
获取所述二值化图像的最大连通区域，从而得到天空区域图像和非天空区域图像；
计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿，从而得到补偿后的非天空区域图像；
基于暗通道先验原理，对所述天空区域图像进行处理，从而得到暗通道处理后的天空区域图像；
对所述暗通道处理后天空区域图像进行雾度修正，从而得到雾度修正的天空区域图像；
融合所述雾度修正的天空区域图像和补偿后非天空区域图像，从而得到去雾图像。
进一步的，所述基于暗通道先验原理获取待处理有雾图像的暗通道图像，具体包括以下步骤：
确定待处理有雾图像的每个像素在R、G、B三个通道中的最小值；
对待处理有雾图像进行最小值滤波得到暗通道图像。
进一步的，所述暗通道的计算公式如下：
Jdark(x)→0
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，r、g、b表示图像的R、G、B三个通道，c是属于R、G、B三个通道中的一个通道，Jc(y)表示清晰图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Jdark(x)表示暗通道图像在x像素点的像素值。
进一步的，所述基于所述暗通道图像获取待处理有雾图像的粗透射率图像，具体包括以下步骤：
计算暗通道图像的最小值并对暗通道图像的最小值进行归一化处理，得到粗透射率图像；
将粗透射率图像分解为多个分量。
进一步的，所述粗透射率的计算公式为：
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，c是属于R、G、B三个通道中的一个通道，Ic(y)表示有雾图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Ac表示R、G、B三个通道中的其中一个通道的大气光值，ω表示补偿，t(x)表示粗透射率图像在像素点x处的透射率。
进一步的，以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波处理，从而得到细化透射率图像，具体包括以下步骤：
将所述待处理有雾图像作为导向图传递给导向滤波器；
所述导向滤波器利用导向图提供特征来优化粗透射率图像的平滑度；
通过优化后的透射率图像来过滤得到细化透射率图像。
进一步的，所述导向滤波的计算公式如下：
其中，I表示所述待处理有雾图像，Wij为滤波器函数，pij为所述粗透射率图像在(i，j)处的灰度值，qij为所述细化透射率图像在(i，j)的灰度值，ωk为第k个核函数窗口，|ω|为窗口内的像素个数，μk和是所述待处理有雾图像在窗口内的均值和方差，ε为平滑因子。
进一步的，在获取所述待处理有雾图像的细化透射率图像后，使用最大熵二值化将天空区域和非天空区域进行区分，具体包括以下步骤：
通过将细化透射率图像分为背景和前景两部分；
通过最大熵算法计算出最佳阈值，使背景和前景两部分的熵之和最大，并将细化透射率图像分割成二值图像。
本申请还提供一种基于改进暗通道先验的图像去雾系统，应用前述的一种基于改进暗通道先验的图像去雾方法，包括：
有雾图像获取模块，用于获取待处理有雾图像；
暗通道先验处理模块，基于暗通道先验原理来获取所述待处理有雾图像的暗通道图像；
粗透射处理模块，用于基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像；
导向滤波模块，用于以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波以得到细化透射率图像；
二值化处理模块，用于对所述细化透射率图像进行最大熵二值化处理以得到二值化图像；
最大连通区域获取模块，用于获取所述二值化图像的最大连通区域以得到天空区域图像和非天空区域图像；
非天空区域图像补偿模块，用于计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿以得到补偿后非天空区域图像；
天空区域图像处理模块，基于暗通道先验原理对所述天空区域图像进行处理以得到暗通道处理后天空区域图像；
雾度修正模块，用于对所述暗通道处理后天空区域图像进行雾度修正以得到雾度修正天空区域图像；
融合模块，用于融合所述雾度修正天空区域图像和所述补偿后非天空区域图像以得到去雾图像。
进一步的，所述暗通道先验处理模块，用于：基于暗通道先验原理以如下暗通道公式对来获取所述待处理有雾图像的所述暗通道图像；
其中，所述暗通道公式为：
Jdark(x)→0
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，r、g、b表示图像的R、G、B三个通道，c是属于R、G、B三个通道中的一个通道，Jc(y)表示清晰图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Jdark(x)表示暗通道图像在x像素点的像素值。
本发明的有益效果：
本申请提供的一种基于改进暗通道先验的图像去雾方法及其系统，能够通过对雾天降质图像进行处理来得到无雾或少雾的图像，从而有效地处理去雾后天空效果不佳、亮度低、不自然的问题，便于后续图像用于检测跟踪等应用场景。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明申请实施例的基于改进暗通道先验的图像去雾方法的示意性流程图；
图2为本申请实施例的基于改进暗通道先验的图像去雾方法的示意图；
图3为本申请实施例的基于改进暗通道先验的图像去雾系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如背景技术提出的技术问题，目前的基于图像增强的去雾方法仅仅通过提高图像对比度来增强图像的视觉效果，不能充分考虑雾霾天气条件下成像过程中的图像降质的物理原因，所以往往不能有效的去除图像中的雾度信息，特别是在处理浓重雾霾天气条件下图像的去雾效果不佳。因此，提出一种基于改进暗道先验的图像去雾方法及其系统。
如图1所示，一种基于改进暗通道先验的图像去雾方法，具体为一种基于改进暗通道先验和视网膜皮层理论相融合的图像去雾方法，通过对暗通道先验进行改进后，与视网膜皮层理论进行融合，主要解决现有去雾技术所得到的去雾后天空效果不加、亮度低、不自然和细节丢失的问题。在本申请的一种优选实施例中，所述基于改进暗通道先验的的图像去雾方法，如图1和图2所示，具体包括以下步骤：
步骤S1、获取待处理有雾图像；
在本申请实施例中，通过摄像头获取待处理有雾图像，在拍摄或采集图像时，由于天气原因或其他环境因素，导致图像中存在大量的雾霾或雾气，从而使图像的清晰度和对比度收到影响，难以直观的观察和分析，有雾图像通常会出现对比度低、饱和度低、模糊、色差等问题，不利于计算机视觉系统对图像真实特征的提取，从而影响其后续的分析、理解和识别等一系列处理，很大程度上降低了视觉系统的实际应用性能，限制图像的应用价值，因此通过采用摄像头获取雾霾天气下的图像。
步骤S2、基于暗通道先验原理来获取待处理有雾图像的暗通道图像；
在本申请实施例中，应当可以理解的是，大气中悬浮例子的吸收和散射作用，导致反射光能量的衰减，并且大气光收散射介质的影响形成背景光，该光的光强度大于目标光，从而影响成像的结果，而在本申请实施例中，暗通道先验原理指出，大多数外部场景中的像素都存在一些很小的按区域，即最暗像素在RGB颜色空间中的值非常接近于0，也就是说，在大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值，即该区域光强度的最小值是很小的数，因此，在本申请的技术方案中，进一步基于暗通道先验原理来获取所述待处理有雾图像的暗通道图像。
进一步的，通过计算待处理有雾图像中每个颜色通道上的最小像素强度，可以获得图像的暗通道，也就是，先找到每个像素在原图中R、G、B三个通道中的最小值，然后对这个图进行最小值滤波。相应地，在本申请的一个具体示例中，所述滤波的半径取5，这样经过最小值滤波后所得到的图像的灰度值接近0。应可以理解，对于一张有雾图像而言，其暗通道图像展示了图像中每个像素位置最少的光线穿过的距离。因此，通过确定该所述暗通道图像中的最小值，也就是说，找到在缺失细节的情况下拍摄该场景的相机中光线的反距离，可以近似地估计出整个图像的全局透射率分布，从而基于此生成比较粗略的透射率估计图像，进而实现去雾算法。
可选的，在本申请的一个实施例中，所述基于暗通道先验原理来获取所述待处理有雾图像的暗通道图像，包括：基于暗通道先验原理以如下暗通道公式对来获取所述待处理有雾图像的所述暗通道图像；
其中，所述暗通道公式为：
Jdark(x)→0
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，r、g、b表示图像的R、G、B三个通道，c是属于R、G、B三个通道中的一个通道，Jc(y)表示清晰图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Jdark(x)表示暗通道图像在x像素点的像素值。
步骤S3、基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像；
基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像，以将粗透射率图像分解为较小的分量，从而更好地传递贡献。此外，所述粗透射率图像还可以用作前景-背景分割中的前置条件，进一步优化去雾算法的精准度。具体来说，通过计算所述暗通道图像的最小值并对其进行归一化，可以得到所述粗透射率图像。由于透射率是影响有雾图像外观的主要因素之一，因此透射率图像的正确估计至关重要，为去除图像中的蒙尘和雾霾做出了很大的贡献。
可选的，在本申请的一个实施例中，基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像，包括：基于所述暗通道图像以如下粗透射公式来获取所述待处理有雾图像的所述粗透射率图像；
其中，所述粗透射公式为：
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，c是属于R、G、B三个通道中的一个通道，Ic(y)表示有雾图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Ac表示R、G、B三个通道中的其中一个通道的大气光值，ω表示补偿，t(x)表示粗透射率图像在像素点x处的透射率。
步骤S4、以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波处理，从而得到细化透射率图像；
考虑到由于所述待处理有雾图像中的许多边缘和细节在所述粗透射率图像中可能会出现失真，因此，在本申请的技术方案中，进一步以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波以得到细化透射率图像，这样，能够通过导向滤波来利用原始图像信息可以更好地保持这些细节信息的完整性。具体来说，将所述待处理有雾图像作为导向图传递给导向滤波器，然后使用所得结果来过滤所述粗透射率图像。特别地，这里，所述导向滤波器能够利用导向图提供的高级别特征来优化粗透射率图像的平滑度，从而在保留图像中的有用细节的同时去除图像中的噪声和不必要的纹理。通过这种方式得到的所述细化透射率图像可以更加准确地反映光线的传播方式，进一步帮助生成更清晰的图像并减少色差等影响，从而实现更好的去雾效果。
可选的，在本申请的一个实施例中，以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波以得到细化透射率图像，包括：以所述待处理有雾图像作为导向图，以如下导向滤波公式对所述粗透射率图像进行导向滤波以得到所述细化透射率图像；
其中，所述导向滤波公式为：
其中，I表示所述待处理有雾图像，Wij为滤波器函数，pij为所述粗透射率图像在(i，j)处的灰度值，qij为所述细化透射率图像在(i，j)的灰度值，ωk为第k个核函数窗口，|ω|为窗口内的像素个数，μk和是所述待处理有雾图像在窗口内的均值和方差，ε为平滑因子。
本申请实施例还提供一种导向滤波算法，用于对输入图像进行滤波处理，导向滤波是一种基于引导图像的滤波方法，可以在保持边缘信息的同时对图像进行平滑处理。算法的输入包括待滤波的输入图像p，引导图像I，滤波半径r和正则化参数e。输出为滤波后的输出图像g。在算法的处理过程中，首先对引导图像和带滤波图像进行归一化处理，将像素值映射到[0,1]的范围内，在计算引导图像的均值和方差，对引导图像进行均值滤波和方差滤波，得到每个像素在其邻域内的均值和方差，这个过程可以使用积分图(integralimage)来优化计算效率。
步骤S5、对所述细化透射率图像进行最大熵二值化处理，得到二值化图像；
由于暗通道先验的原理是针对非天空区域，对天空区域则无法使用该先验，因此在获取所述待处理有雾图像的细化透射率图像后需要进行进一步处理，以对于天空区域和非天空区域进行分割。而又考虑到在将得到的所述细化透射率图像的灰度值进行放大时，会在天空区域与非天空区域的边界处有灰度值的跳变，因此，可以使用最大熵二值化可以有效的将天空区域与非天空区域进行区分。基于此，在本申请的技术方案中，进一步对所述细化透射率图像进行最大熵二值化处理以得到二值化图像。具体来说，最大熵阈值分割法是通过假设将图像分为背景和前景两个部分，熵代表信息量，图像信息量越大，熵就越大。也就是说，最大熵算法的原理是找到一个最佳阈值，使得背景与前景两个部分熵之和最大，并将图像分割成一个二值图像。这样，能够有效地将天空区域与非天空区域进行区分，从而使去雾的效果更加准确、清晰。
可选的，在本申请的一个实施例中，对所述细化透射率图像进行最大熵二值化处理以得到二值化图像，包括：以如下最大熵公式计算所述细化透射率图像的最大熵；
其中，所述最大熵公式为
Φ(t)＝H(T)+H(B)
其中，Φ(t)为分割阀值为t时的最大熵，H(T)和H(B)为两个子概率分布各自的最大熵，P0,P1,…,Pt,…,PL-1为所述细化透射率图像的概率分布，L为所述细化透射率图像的灰度值的个数。进一步以如下公式计算最佳阈值，其中所述公式为：argtmaxΦ(t)，其中，argtmax函数是一种数学函数，用于找到一个函数的最大值所对应的自变量取值。其返回函数的最佳阈值t，使得函数Φ(t)取得最大值。
步骤S6、获取所述二值化图像的最大连通区域，从而得到天空区域图像和非天空区域图像；
在本申请实施例中，考虑到所述二值化图像中可能含有亮度较大的物体，如白色汽车、人、楼宇等，其颜色与天空颜色相近，导致使用最大熵阈值分割后的图像可能会不准确。因此，进一步获取最大熵分割后的所述二值化图像的最大连通区域以得到天空区域图像和非天空区域图像。特别地，这里，所述最大连通区域指的是由相邻的同类像素，也就是属于天空区域或者非天空区域组成的最大区域，通过提取最大连通区域，可以避免错误地将非天空区域误判为天空区域，从而提高图像去雾技术的准确性和可靠性。
步骤S7、计算所述飞天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿，从而得到补偿后的非天空区域图像；
在本申请实施例中，在进行图像去雾时，需要先通过暗通道先验原理从所述待处理的有雾图像中得到其暗通道图像，并从该图像中取出亮度前0.1％的元素值作为大气光值A。然而，在实际应用中，大气光值A应该为无穷远处天空，但是在图片中可能含有亮度较大的物体会影响A的取值。而若误将非天空区域，例如白色汽车、白色楼宇等亮度较大的物体也视为天空，则会导致大气光值A的摄入量过多，这样会影响后续的透射率估计以及图像去雾结果。因此，需要在分割出天空区域之后，再从中选择亮度最大的前0.1％元素作为大气光值A，使其更为有效和合理。接着，需要利用该所述大气光值A对非天空区域图像进行透射率补偿，以避免非天空区域亮度过暗或过亮的情况，并获得更好的图像去雾效果。
可选的，在本申请的一个实施例中，计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿以得到补偿后非天空区域图像，包括：基于所述大气光值对所述非天空区域图像以如下透射率补偿公式对进行透射率补偿以得到补偿后非天空区域图像；
其中，所述透射率补偿公式为：
tsky(x)＝t(x)+Δ
其中，tsky(x)表示在像素点x处的补充后透射率，t(x)表示在像素点x处的透射率，Δ为补偿因子。
步骤S8、基于暗通道先验原理，对所述天空区域图像进行处理，从而得到暗通道处理后的天空区域图像；
考虑到对于包含天空区域的图像来说，天空区域往往具有较低的亮度，并且其中的物体以及细节都不太明显，因此，进一步基于暗通道先验原理对所述天空区域图像进行处理以得到暗通道处理后天空区域图像，有利于提高图像去雾效果。具体来说，通过计算图像的暗通道值，可以得到一个反映天空区域亮度变化的图像，以作为估计大气光的候选值。
步骤S9、对所述暗通道处理后的天空区域图像进行雾度修正，从而得到雾度修正的天空区域图像；
在进行图像去雾处理时，由于不同场景下的大气浓度和雾度不同，还需要利用局部天空区域的暗通道信息来获得图像的透射率，这个透射率是用来描述图像中物体与大气之间的遮挡程度，即光线被雾遮挡了多少。应可以理解，对于包含天空区域的图像，其暗通道值往往会被亮度较大的物体所影响，而透射率的估计也会因此出现偏差。为了更准确地得到透射率，可以对所述暗通道处理后天空区域图像进行雾度修正以得到雾度修正天空区域图像，也就是说，在估计透射率时，不仅要考虑暗通道信息，还需要考虑整个图像的灰度分布和模糊程度等特征。通过这样的处理可以适应不同雾度、不同场景下的图像去雾处理需求，进一步提高图像去雾效果，获得更清晰、更真实的图像。
步骤S10、融合所述雾度修正的天空区域图像和补偿后非天空区域图像，从而得到去雾图像。
在进行图像去雾时，需要对天空和非天空区域进行不同的处理，因为它们的光照和雾浓度可能会有所不同。因此，在经过雾度修正的天空区域图像和补偿后的非天空区域图像处理后，需要进一步融合所述雾度修正天空区域图像和所述补偿后非天空区域图像以得到去雾图像，以此来得到一个更完整、更真实的图像结果。这样，可以有效地保留图像细节和纹理，并产生更好的去雾效果，以便于后续图像用于检测跟踪等应用场景。
特别地，在本申请的技术方案中，在融合所述雾度修正天空区域图像和所述补偿后非天空区域图像以得到去雾图像时，考虑到所述天空区域图像和非天空区域图像是通过获取所述二值化图像的最大连通区域得到的，因此所述雾度修正天空区域图像和所述补偿后非天空区域图像具有作为整体像素集合的局部空间关联邻域分布集合属性。
并且，考虑到所述天空区域图像和非天空区域图像集合地构成所述二值化图像，因此所述天空区域图像和非天空区域图像的图像像素信息也集合地构成所述二值化图像的图像像素信息。由此，所述雾度修正天空区域图像和所述补偿后非天空区域图像的图像像素语义分布之间不仅具有相互关联的邻域分布关系外，还具有对应于所述二值化图像的整体图像像素语义信息的多源信息关联关系。
因此，为了提升所述去雾图像作为整体对所述雾度修正天空区域图像和所述补偿后非天空区域图像的融合效果，本申请的申请人对所述去雾图像的每个位置的像素值mi,j进行空间多源融合验前信息分布优化，以获得优化后的像素值mi,j'。
可选的，在本申请的一个实施例中，还包括:对所述去雾图像进行信息分布优化以得到优化去雾图像。
可选的，在本申请的一个实施例中，对所述去雾图像进行信息分布优化以得到优化去雾图像，包括：以如下优化公式对所述去雾图像的每个位置的像素值进行空间多源融合验前信息分布优化以得到所述优化去雾图像；
其中，所述优化公式为：
其中mi,j是所述去雾图像的第(i,j)位置的像素值，m和n为邻域设置超参数，且当k或者j小于等于零或者大于所述去雾图像的宽度或者高度时，特征值mk,l设置为零或者一，log表示以2为底的对数函数值，mi,j'是所述优化去雾图像的第(i,j)位置的像素值。
这里，所述空间多源融合验前信息分布优化可以基于图像像素语义空间分布融合的稳健性类极大似然估计，来将所述去雾图像作为由多个相互关联的邻域部分对应的局部像素语义集合组成的全局集合，实现局部像素语义集合各自的多源验前信息到全局集合的有效折合，并通过多源情况下的验前信息分布构建，来获得能够用于评估去雾图像的内部图像语义空间关联与空间信息融合变动关系之间的标准期望的优化范式，以提升所述去雾图像基于多源信息空间分布关联融合的信息表达效果，从而提升了所述去雾图像作为整体对所述雾度修正天空区域图像和所述补偿后非天空区域图像的融合效果，也就提升了所述去雾图像的图像质量。这样，能够通过对雾天降质图像进行处理来得到无雾或少雾的图像，从而有效地处理去雾后天空效果不佳、亮度低、不自然的问题，便于后续图像用于检测跟踪等应用场景。
图3为本申请实施例的基于改进暗通道先验的图像去雾系统的示意性框图。如图3所示，所述基于改进暗通道先验的图像去雾系统，包括：有雾图像获取模块110，用于获取待处理有雾图像；暗通道先验处理模块120，基于暗通道先验原理来获取所述待处理有雾图像的暗通道图像；粗透射处理模块130，用于基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像；导向滤波模块140，用于以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波以得到细化透射率图像；二值化处理模块150，用于对所述细化透射率图像进行最大熵二值化处理以得到二值化图像；最大连通区域获取模块160，用于获取所述二值化图像的最大连通区域以得到天空区域图像和非天空区域图像；非天空区域图像补偿模块170，用于计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿以得到补偿后非天空区域图像；天空区域图像处理模块180，基于暗通道先验原理对所述天空区域图像进行处理以得到暗通道处理后天空区域图像；雾度修正模块190，用于对所述暗通道处理后天空区域图像进行雾度修正以得到雾度修正天空区域图像；融合模块200，用于融合所述雾度修正天空区域图像和所述补偿后非天空区域图像以得到去雾图像。
这里，本领域技术人员可以理解，上述基于改进暗通道先验的图像去雾系统中的各个模块的具体操作已经在上面参考图1到图2的基于改进暗通道先验的图像去雾方法的描述中得到了详细介绍，并因此，将省略其重复描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所述本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于改进暗通道先验的图像去雾方法，其特征在于，包括以下步骤：
获取待处理有雾图像；
基于暗通道先验原理获取待处理有雾图像的暗通道图像；
基于所述暗通道图像获取待处理有雾图像的粗透射率图像；
以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波处理，从而得到细化透射率图像；
对所述细化透射率图像进行最大熵二值化处理，得到二值化图像；
获取所述二值化图像的最大连通区域，从而得到天空区域图像和非天空区域图像；
计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿，从而得到补偿后的非天空区域图像；
基于暗通道先验原理，对所述天空区域图像进行处理，从而得到暗通道处理后的天空区域图像；
对所述暗通道处理后天空区域图像进行雾度修正，从而得到雾度修正的天空区域图像；
融合所述雾度修正的天空区域图像和补偿后非天空区域图像，从而得到去雾图像。
2.根据权利要求1所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，所述基于暗通道先验原理获取待处理有雾图像的暗通道图像，具体包括以下步骤：
确定待处理有雾图像的每个像素在R、G、B三个通道中的最小值；
对待处理有雾图像进行最小值滤波得到暗通道图像。
3.根据权利要求2所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，所述暗通道的计算公式如下：
Jdark(x)→0
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y表示过滤窗口的一个像素点，r、g、b表示图像的R、G、B三个通道，c表示为R、G、B三个通道中的一个通道，Jc(y)表示清晰图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Jdark(x)表示暗通道图像在x像素点的像素值。
4.根据权利要求1所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，所述基于所述暗通道图像获取待处理有雾图像的粗透射率图像，具体包括以下步骤：
计算暗通道图像的最小值并对暗通道图像的最小值进行归一化处理，得到粗透射率图像；
将粗透射率图像分解为多个分量。
5.根据权利要求4所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，所述粗透射率的计算公式为：
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，c是属于R、G、B三个通道中的一个通道，Ic(y)表示有雾图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Ac表示R、G、B三个通道中的其中一个通道的大气光值，ω表示补偿，t(x)表示粗透射率图像在像素点x处的透射率。
6.根据权利要求1所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波处理，从而得到细化透射率图像，具体包括以下步骤：
将所述待处理有雾图像作为导向图传递给导向滤波器；
所述导向滤波器利用导向图提供特征来优化透射率图像的平滑度；
通过优化后的透射率图像来过滤得到细化透射率图像。
7.根据权利要求6所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，所述导向滤波的计算公式如下：
其中，I表示所述待处理有雾图像，Wij为滤波器函数，pij为所述粗透射率图像在(i，j)处的灰度值，qij为所述细化透射率图像在(i，j)的灰度值，ωk为第k个核函数窗口，|ω|为窗口内的像素个数，μk和是所述待处理有雾图像在窗口内的均值和方差，ε为平滑因子。
8.根据权利要求1所述的一种基于改进暗通道先验的图像去雾方法，其特征在于，在获取所述待处理有雾图像的细化透射率图像后，使用最大熵二值化将天空区域和非天空区域进行区分，具体包括以下步骤：
通过将细化透射率图像分为背景和前景两部分；
通过最大熵算法计算出最佳阈值，使背景和前景两部分的熵之和最大，并将细化透射率图像分割成二值图像。
9.一种基于改进暗通道先验的图像去雾系统，其特征在于，应用权利要求1至8任一项所述的一种基于改进暗通道先验的图像去雾方法，包括：
有雾图像获取模块，用于获取待处理有雾图像；
暗通道先验处理模块，基于暗通道先验原理来获取所述待处理有雾图像的暗通道图像；
粗透射处理模块，用于基于所述暗通道图像获取所述待处理有雾图像的粗透射率图像；
导向滤波模块，用于以所述待处理有雾图像作为导向图，对所述粗透射率图像进行导向滤波以得到细化透射率图像；
二值化处理模块，用于对所述细化透射率图像进行最大熵二值化处理以得到二值化图像；
最大连通区域获取模块，用于获取所述二值化图像的最大连通区域以得到天空区域图像和非天空区域图像；
非天空区域图像补偿模块，用于计算所述非天空区域图像的大气光值，并基于所述大气光值对所述非天空区域图像进行透射率补偿以得到补偿后非天空区域图像；
天空区域图像处理模块，基于暗通道先验原理对所述天空区域图像进行处理以得到暗通道处理后天空区域图像；
雾度修正模块，用于对所述暗通道处理后天空区域图像进行雾度修正以得到雾度修正天空区域图像；
融合模块，用于融合所述雾度修正天空区域图像和所述补偿后非天空区域图像以得到去雾图像。
10.根据权利要求9所述的一种基于改进暗通道先验的图像去雾系统，其特征在于，所述暗通道先验处理模块，用于：基于暗通道先验原理以如下暗通道公式对来获取所述待处理有雾图像的所述暗通道图像；
其中，所述暗通道公式为：
Jdark(x)→0
其中，x表示图像的每个像素点，Ω(x)表示以像素x为中心的过滤窗口，y是属于过滤窗口的一个像素点，r、g、b表示图像的R、G、B三个通道，c是属于R、G、B三个通道中的一个通道，Jc(y)表示清晰图像中y像素点的R、G、B三个通道的一个像素值，min表示最小值函数，Jdark(x)表示暗通道图像在x像素点的像素值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2023107794025 | 2023-06-29 | ||
| CN202310779402.5A CN116797484A (zh) | 2023-06-29 | 2023-06-29 | 基于改进暗通道先验的图像去雾方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117152016A true CN117152016A (zh) | 2023-12-01 |
Family
ID=88039441
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779402.5A Withdrawn CN116797484A (zh) | 2023-06-29 | 2023-06-29 | 基于改进暗通道先验的图像去雾方法及其系统 |
| CN202311163572.7A Pending CN117152016A (zh) | 2023-06-29 | 2023-09-11 | 基于改进暗通道先验的图像去雾方法及其系统 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779402.5A Withdrawn CN116797484A (zh) | 2023-06-29 | 2023-06-29 | 基于改进暗通道先验的图像去雾方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116797484A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788336A (zh) * | 2024-02-28 | 2024-03-29 | 山东昆仲信息科技有限公司 | 一种国土空间规划过程中数据优化采集方法及系统 |
| CN118942044A (zh) * | 2024-10-12 | 2024-11-12 | 南通铭翰机械科技有限公司 | 一种煤矿井下烟雾图像识别方法 |
-
2023
- 2023-06-29 CN CN202310779402.5A patent/CN116797484A/zh not_active Withdrawn
- 2023-09-11 CN CN202311163572.7A patent/CN117152016A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788336A (zh) * | 2024-02-28 | 2024-03-29 | 山东昆仲信息科技有限公司 | 一种国土空间规划过程中数据优化采集方法及系统 |
| CN117788336B (zh) * | 2024-02-28 | 2024-05-24 | 山东昆仲信息科技有限公司 | 一种国土空间规划过程中数据优化采集方法及系统 |
| CN118942044A (zh) * | 2024-10-12 | 2024-11-12 | 南通铭翰机械科技有限公司 | 一种煤矿井下烟雾图像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797484A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bai et al. | Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| Emberton et al. | Hierarchical rank-based veiling light estimation for underwater dehazing. | |
| Kim et al. | Optimized contrast enhancement for real-time image and video dehazing | |
| CN102170574B (zh) | 一种实时视频去雾处理系统 | |
| CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| CN105046653B (zh) | 一种视频雨滴去除方法及系统 | |
| CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| Chang | Single underwater image restoration based on adaptive transmission fusion | |
| Das et al. | A comparative study of single image fog removal methods | |
| Wang et al. | An efficient method for image dehazing | |
| Yuan et al. | Image dehazing based on a transmission fusion strategy by automatic image matting | |
| CN117649606A (zh) | 一种基于本征表示模型的高光谱图像阴影去除方法与系统 | |
| Khan et al. | Recent advancement in haze removal approaches | |
| Fayaz et al. | Efficient underwater image restoration utilizing modified dark channel prior | |
| Wu et al. | Image haze removal: Status, challenges and prospects | |
| Hao et al. | Texture enhanced underwater image restoration via Laplacian regularization | |
| Baiju et al. | An intelligent framework for transmission map estimation in image dehazing using total variation regularized low-rank approximation | |
| Park et al. | Single image haze removal using novel estimation of atmospheric light and transmission | |
| CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
| Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches | |
| Bi et al. | Fast single-image dehazing algorithm based on piecewise transformation in optical model | |
| Wang et al. | Adaptive bright and dark channel combined with defogging algorithm based on depth of field | |
| Senthamilarasu et al. | A new approach for removing haze from images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |