CN110111280A - 一种多尺度梯度域引导滤波的低照度图像增强算法 - Google Patents

Abstract

本发明公开了一种多尺度梯度域引导滤波的低照度图像增强算法，属于图像处理技术领域，首先，将待处理图像转换到HSI颜色空间；然后，对亮度分量进行非线性全局亮度校正，接着用改进的多尺度梯度域引导滤波对校正后的亮度分量进行增强，同时为了使算法适应性更广，对增强后的亮度分量进行了修正，避免了已有的HSI空间低照度图像增强方法中出现的失真问题；最后，将图像再转换回RGB空间。实验结果表明：与已有的4中算法相比，本发明算法增强后的图像亮度平均提高150.27%以上，图像的清晰度平均提高127.03%以上，细节表现能力平均提高18.09%以上。本发明的算法可以有效地对低照度图像进行增强。

Description

一种多尺度梯度域引导滤波的低照度图像增强算法

技术领域

本发明属于图像处理技术领域，涉及一种低照度图像增强算法，具体地说，涉及一种多尺度梯度域引导滤波的低照度图像增强算法。

背景技术

在低照度(如夜晚、室内、曝光不足等)环境下，受图像采集设备的限制，导致获取到的图像存在信噪比低、对比度差、颜色欠饱和等问题，使图像的细节多淹没在较低灰度级的背景中。这给图像分类、分割、识别等后续应用带来极大的困难。因此，为了更好地展现场景信息，突出图像的细节特征，对低照度图像做增强处理具有重要的意义。

常用的低照度图像增强算法主要有基于像素级的灰度变换、基于暗通道先验模型的增强算法、基于Retinex理论的增强算法等。基于像素级的灰度变换增强常见的有对数变换、直方图均衡化(HE)、Gamma校正等，其中对数变换可扩张图像暗区域的像素值，但压缩图像亮区域的像素值，因此简单的对数变换虽然可以展现更多的暗区细节信息，但亮区的部分细节可能会被淹没掉；直方图均衡化容易导致图像对比度不自然的过度增强，而且会使处理后的图像灰度级减少，导致图像某些细节丢失。暗通道先验模型增强算法在处理细节丰富、亮度高的图像时适应性差。由于Retinex理论增强具有高动态范围压缩、局部对比度提高、保持图像色彩恒常性等特点，所以低照度图像最常用增强方法是利用Retinex理论进行增强，包括单尺度Retinex(Single Scale Retinex,SSR)算法、多尺度Retinex(Multi-Scale Retinex,MSR)算法和带色彩恢复的多尺度Retinex(Multi-Scale Retinex withColorRestoration,MSRCR)算法。MSR在SSR的基础上使图像细节更突出，颜色恢复更加逼真。但是，基于Retinex理论的低照度图像增强算法普遍存在不同程度的光晕伪影、颜色失真等现象。

总的来看，目前低照度图像增强方法的主要不足与局限性有：①暗区得到一定增强，但亮区的部分细节由于过饱和而被淹没掉；②图像对比度不自然的过度增强，而且会使处理后的图像灰度级减少，导致图像某些细节丢失；③存在不同程度的光晕伪影、颜色失真等现象。

本发明的创新之处：第一，提出了多尺度梯度域引导滤波的思想，使低照度图像的亮度分量得到合理增强；第二，采用了新设计的低照度图像增强处理模型，通过该模型处理，最终增强后的图像在亮度、清晰度和细节表现能力上都有明显的提高；第三，提出了对增强后的亮度分量的修正模型，使得本发明的适应性更广，且避免了已有的HSI颜色空间低照度图像增强方法中出现的失真问题。

发明内容

本发明的目的是在于克服现有技术中存在的缺陷，提供一种多尺度梯度域引导滤波的低照度图像增强算法，该算法首先把图像转换到HSI空间，再利用多尺度梯度域引导滤波结合Retinex算法对I分量进行增强，最后转换回RGB空间得到增强后图像。通过对大量的实验数据分析，表明经新算法处理后的图像无光晕现象，细节更突出，视觉效果更好。

本发明上述目的通过以下技术方案予以实现：

(1)为使滤波结果图像的边缘和平滑效果都达到最佳，选用基于梯度域的引导滤波；

(2)自适应多尺度梯度域引导滤波对亮度分量进行平滑处理，求照射分量和反射分量。

(3)自适应多尺度梯度域引导滤波的多尺度设置规则为：尺度参数依据图像大小设置为小、中、大3个尺度，小尺度：取图像长宽的最小值，再除以8；大尺度：取图像长宽最小值除以2减一；中尺度：小尺度和大尺度之和除以2。

一种多尺度梯度域引导滤波的低照度图像增强算法，

包括以下步骤：

步骤(1)、颜色模型转换，原始低照度图像从RGB空间转换到HSI空间，得到色调分量H、饱和度分量S和亮度分量I。

步骤(2)、针对I分量，首先按公式进行非线性校正，输出图像定义为I1；然后采用多尺度梯度域引导滤波对I1进行边缘保持的平滑处理，对每个尺度滤波输出结果进行求和再平均，估计出照射分量L；结合Retinex算法求出反射分量R。

步骤(3)、对反射分量R，按照特定的比例剔除数据中的极大和极小部分，然后把中间部分线性量化到0和1之间，得到增强后的反射分量R1。

步骤(4)、利用公式I2(x,y)＝e^{{log(R1(x,y)+1)+log(L(x,y)+1)}}-1把R1、L融合，得到新的亮度分量I2，并对I2进行亮度修正,得最终增强的亮度分量I3。

步骤(5)、把H分量、I3分量和S分量合成新的HSI图像，再转换回RGB空间输出即最终增强图像。

进一步，步骤(4)中所述亮度修正的方法具体如下：

(1)求出亮度分量的放大因子A，具体公式为

式中，A(x,y)表示亮度分量的放大因子；esp为很小的正常数，目的是使分母不为零。

(2)获取A的直方图数据，根据图像的直方图数据，自适应地查找其概率最大的像素点作为分界点。该分界点的灰度值同时也是亮度分量被放大的倍数。

(3)如果A的灰度值大于或等于分界点的灰度值，则亮度分量在该点上的灰度值需要修正；反之，则保持。修正公式为

式中，I₃(x,y)表示修正后的亮度分量；idx为第(2)步骤所求得的分界点的灰度值。

本发明的优点及有益效果：

本发明的创新之处：第一，提出了多尺度梯度域引导滤波的思想，使低照度图像的亮度分量得到合理增强；第二，采用了新设计的低照度图像增强处理模型，通过该模型处理，最终增强后的图像在亮度、清晰度和细节表现能力上都有明显的提高；第三，提出了对增强后的亮度分量的修正模型，使得本发明的适应性更广，且避免了已有的HSI颜色空间低照度图像增强方法中出现的失真问题。

本发明的算法可以有效地对低照度图像进行增强，对于Retinex相关算法所产生的光晕伪影和颜色失真现象得到避免，而且增强后的图像有更好的细节体现和色彩复原度，更加符合人眼视觉。

附图说明

图1本发明算法的流程图；

图2低照度图像Image1的增强效果比较图，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图3低照度图像Image2的增强效果比较图，，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图4低照度图像Image3的增强效果比较图，，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图5低照度图像Image4的增强效果比较图，，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图6低照度图像Image5的增强效果比较图，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图7低照度图像Image6的增强效果比较图，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果；

图8低照度图像Image7的增强效果比较图，其中，(a)原图像，(b)文献[1]结果，(c)文献[2]结果，(d)文献[3]结果，(e)文献[4]结果，(f)本发明结果。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

如图1所示，一种多尺度梯度域引导滤波的低照度图像增强算法，包括以下步骤：

步骤(1)、颜色模型转换，原始低照度图像从RGB空间转换到HSI空间，得到色调分量H、饱和度分量S和亮度分量I。

步骤(2)、针对I分量，首先按公式进行非线性校正，输出图像定义为I1；然后采用多尺度梯度域引导滤波对I1进行边缘保持的平滑处理，对每个尺度滤波输出结果进行求和再平均，估计出照射分量L；结合Retinex算法求出反射分量R。

步骤(3)、对反射分量R，按照特定的比例剔除数据中的极大和极小部分，然后把中间部分线性量化到0和1之间，得到增强后的反射分量R1。

步骤(4)、利用公式I2(x,y)＝e^{{log(R1(x,y)+1)+log(L(x,y)+1)}}-1把R1、L融合，得到新的亮度分量I2，并对I2进行亮度修正,得最终增强的亮度分量I3。

步骤(5)、把H分量、I3分量和S分量合成新的HSI图像，再转换回RGB空间输出即最终增强图像。

进一步，步骤(4)中所述亮度修正的方法具体如下：

(1)求出亮度分量的放大因子A，具体公式为

式中，A(x,y)表示亮度分量的放大因子；esp为很小的正常数，目的是使分母不为零。

(2)获取A的直方图数据，根据图像的直方图数据，自适应地查找其概率最大的像素点作为分界点。该分界点的灰度值同时也是亮度分量被放大的倍数。

(3)如果A的灰度值大于或等于分界点的灰度值，则亮度分量在该点上的灰度值需要修正；反之，则保持。修正公式为

式中，I₃(x,y)表示修正后的亮度分量；idx为第(2)步骤所求得的分界点的灰度值。

图2为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像在图2(b)标注的方框内显示过度增强并丢失灯罩内的详细信息；总体上看本发明算法增强效果最好。

图3为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像在图3(b)显示过度增强；其他三种算法增强效果不明显，总体上看本发明算法增强效果最好。

图4为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像在图4(b)标注的方框内显示出现光晕伪影现象；文献[2]的算法处理后的结果图像在图4(c)标注的方框内显示失真，而且这种方法也不能增强该图像的对比度和亮度；文献[3]的算法处理后的结果图像在图4(d)标注的方框内显示过度增强；总体上看本发明算法增强效果最好。

图5为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像在图5(b)标注的方框内显示出现块状效应，且明显失真；文献[3]和文献[4]的算法处理后的结果图像明显增强不足；总体上看本发明算法增强效果最好。

图6为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像在图6(b)标注的方框内显示天空变灰，表明天空处颜色严重失真；文献[2]的算法处理后的结果图像在图6(c)标注的方框内显示天空的细节丢失而失真；文献[3]的算法处理后的结果图像在图6(d)标注的方框内显示天空过渡增强，导致天空细节丢失而失真；总体上看本发明算法增强效果最好。

图7为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像看上去增强效果很好，但如果转换为RGB图像，会发现它很明显的失真；所以总体上看本发明算法增强效果最好。

图8为原始低照度图像分别经过文献[1]、文献[2]、文献[3]、文献[4]和本发明算法处理后的结果图像。文献[1]的算法处理后的结果图像看上去增强效果很好，但如果转换为RGB图像，会发现它很明显的失真；文献[2]的算法处理后的结果图像在图8(c)标注的方框内如果转换到RGB空间会失真；文献[3]的算法处理后的结果图像在图8(d)标注的方框内显示增强不足，小孩的头部与地面混在一起了；文献[4]的算法处理后的结果图像在图8(e)标注的方框内显示增强不足，路面噪声点过大；总体上看本发明算法增强效果最好。

综合图2到图8显示的图像可以看出，本发明不仅没有过度增强、光晕伪影现象，而且在细节表现能力上都比其他方法强。从图像整体看，增强后图像更加自然、更符合人眼视觉特性。

本发明引用的文献具体为：

文献[1]:JOBSON D J,RAHAN Z,WOODELL GA.Amulti-scale Retinex forbridging the gap between color images and the human observation of scenes[J].IEEE Transactions on Image Processing,1997,6(7):965-976.

文献[2]:毛东月，谢正祥，贺向前，等.自适应双向保带宽对数变换及低照度图像增强[J].中国图象图形学报，2017,22(10):1356-1363.

文献[3]:SUN X K,LIU H J,WU S Qet al..Low-Light Image EnhancementBased on Guided Image Filtering in Gradient Domain[J].International Journalof Digital Multimedia Broadcasting,2017,1-13.

文献[4]:张翔，王伟，肖迪.一种改进的具有色彩保护的多尺度Retinex图像增强算法[J].计算机科学，2018,45(10):247-249.

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (3)

1.一种多尺度梯度域引导滤波的低照度图像增强算法，其特征在于，首先，将待处理图像转换到HSI颜色空间；然后，对亮度分量进行非线性全局亮度校正，接着用改进的多尺度梯度域引导滤波对校正后的亮度分量进行增强，同时为了使算法适应性更广，对增强后的亮度分量进行了修正，避免了已有的HSI空间低照度图像增强方法中出现的失真问题；最后，将图像再转换回RGB空间。

2.根据权利要求1所述的多尺度梯度域引导滤波的低照度图像增强算法，其特征在于，包括以下步骤：

步骤(1)、颜色模型转换，原始低照度图像从RGB空间转换到HSI空间，得到H、S和I分量；

步骤(2)、针对I分量，首先按公式进行非线性校正，输出图像定义为I1；然后采用多尺度梯度域引导滤波对I1进行边缘保持的平滑处理，对每个尺度滤波输出结果进行求和再平均，估计出照射分量L；结合Retinex算法求出反射分量R；

步骤(3)、对反射分量R，按照特定的比例剔除数据中的极大和极小部分，然后把中间部分线性量化到0和1之间，得到增强后的反射分量R1；

步骤(4)、利用公式I2(x,y)＝e^{{log(R1(x,y)+1)+log(L(x,y)+1)}}-1把R1、L融合，得到新的亮度分量I2，并对I2进行亮度修正,得最终增强的亮度分量I3；

步骤(5)、把H分量、I3分量和S分量合成新的HSI图像，再转换回RGB空间输出即最终增强图像。

3.根据权利要求2所述的多尺度梯度域引导滤波的低照度图像增强算法，其特征在于，步骤(4)中所述亮度修正的方法具体如下：

(1)求出亮度分量的放大因子A，具体公式为

式中，A(x,y)表示亮度分量的放大因子；esp为很小的正常数，目的是使分母不为零；

(2)获取A的直方图数据，根据图像的直方图数据，自适应地查找其概率最大的像素点作为分界点；该分界点的灰度值同时也是亮度分量被放大的倍数；

(3)如果A的灰度值大于或等于分界点的灰度值，则亮度分量在该点上的灰度值需要修正；反之，则保持；修正公式为

式中，I₃(x,y)表示修正后的亮度分量；idx为第(2)步骤所求得的分界点的灰度值。