CN115760630A - 一种低照度图像增强方法 - Google Patents
一种低照度图像增强方法 Download PDFInfo
- Publication number
- CN115760630A CN115760630A CN202211495205.2A CN202211495205A CN115760630A CN 115760630 A CN115760630 A CN 115760630A CN 202211495205 A CN202211495205 A CN 202211495205A CN 115760630 A CN115760630 A CN 115760630A
- Authority
- CN
- China
- Prior art keywords
- image
- activation function
- relu activation
- component
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005286 illumination Methods 0.000 title claims abstract description 36
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 85
- 238000011176 pooling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000009467 reduction Effects 0.000 abstract description 9
- 230000006872 improvement Effects 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 89
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 206010049155 Visual brightness Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种低照度图像增强方法，包括以下步骤：(a1)、将原始图像进行分解，得到反射分量、照度分量和特征分量；(a2)、对步骤(a1)中分解得到的照度分量进行亮度增强；(a3)、将步骤(a2)中增强后的照度分量和步骤(a1)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。本发明利用图像分解的原理，将图像分解为反射分量，照度分量和特征分量，并在其中加入降噪处理，一定程度上降低了噪声对图像效果的影响。同时单独提取图像特征分量，避免了因为降噪引起的细节丢失的缺陷，一定程度上解决了传统方法图像亮度提升不明显，图像噪声较大，细节丢失等缺陷。
Description
技术领域
本发明属于图像处理领域，具体一种低照度图像增强方法。
背景技术
在图像处理领域中，低照度图像增强是其中非常重要的一个分支，可广泛运用在军事、监控、安防等高级视觉任务。但由于拍摄设备以及环境因素限制，特别是夜间图像和视频会有严重的退化，在高级别视觉处理任务中会失去很多图像信息。虽然延长曝光时间会在一定程度上对图像亮度有所提高，但却没有实际应用的意义。低照度图像增强的目的是突出图像的有用特征，同时削弱或消除噪声，提高对比度，产生更好的人眼视觉效果。
很多研究者已经投入到对低照度图像增强方法的研究中，并且提出很多有效的方法。传统的低照度图像增强方法很多，包括灰度变换，直方图均衡化(即HE)，Retinex模型，基于频域处理，图像融合模型，基于去雾模型等。
近些年深度学习的热度持续走高，其强大的特征表示和非线性映射能力在图像领域也有很多应用，并且取得了很大的成功。现阶段，低照度图像增强领域主要是基于深度学习的方案，创新了很多的网络模型以及模型搭建。基本方法是采用CNN网络提取图像特征信息，再对分量信息进行处理。例如朱等人提出一种新的三分支全卷积神经网络，即RRDNet，将输入图像分解为三个分量：照明、反射和噪声，通过对损失函数进行迭代来有效估计出噪声和恢复光照，从而明确预测噪声以达到去噪的目的。李等人提出了一种用于弱照明图像增强的可训练卷积神经网络(CNN)，即LightenNet，它将弱照明图像作为输入并输出其照明图，随后用于获得基于Retinex模型的增强图像。郭等人提出了一种新颖的方法，零参考深度曲线估计，即Zero-DCE，它将光增强公式化为具有深度网络的图像特定曲线估计的任务。Lim等人提出一种基于深层拉普拉斯恢复器用于低照度图像增强，即DSLR，该算法中提出多尺度拉普拉斯残差块，通过嵌入特征空间的多尺度结构中定义的高阶残差的丰富连接使得训练阶段更加高效。Kin GwnLore等人提出了一种基于深度自动编码器的方法，即LLNet，从低光图像中识别信号特征，并自适应地增亮图像，而不会过度放大/饱和具有高动态范围的图像中的较亮部分。
上述的方法虽然能解决低照度图像的亮度问题，但依然存在一些问题亟待解决。例如LightenNet依赖于成对的低照度/正常亮度图像数据集，这种方法不仅限制于数据集的数目，而且容易产生过拟合问题。RRDNet避免了对数据集的依赖，但图像本身的亮度提升不够明显，仍需有效提升图像亮度。总得来说，现有的方法大多数都存在颜色失真、细节丢失等影响增强结果观感的现象，同时曝光不均匀现象也仍然是存在的最大的问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种低照度图像增强方法，本低照度图像增强方法能对原始低照度彩色图像进行增强，突出图像的有用特征，提高对比度，避免颜色失真，丰富图像细节特征，使得增强后的图像更加符合人眼视觉效果。
为实现上述技术目的，本发明采取的技术方案为：
一种低照度图像增强方法，包括以下步骤：
(a1)、将原始图像(即原始低照度彩色图像)进行分解，得到反射分量、照度分量和特征分量；
(a2)、对步骤(a1)中分解得到的照度分量进行亮度增强；
(a3)、将步骤(a2)中增强后的照度分量和步骤(a1)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。
作为本发明进一步改进的技术方案，具体包括以下步骤：
(b1)、建立CNN网络，所述CNN网络包括分解网络和增强网络；
(b2)、将原始图像通过分解网络进行分解，得到反射分量、照度分量和特征分量；
(b3)、将步骤(b2)中分解得到的照度分量通过增强网络进行亮度增强；
(b4)、将步骤(b3)中增强后的照度分量和步骤(b2)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。
作为本发明进一步改进的技术方案，所述的步骤(b2)中，所述的分解网络包括三个分支网络，分别为第一分支网络、第二分支网络和第三分支网络；第一分支网络和第二分支网络结构相同，依次包括卷积层、ReLU激活函数、最大池化层、卷积层、ReLU激活函数、最大池化层、卷积层、ReLU激活函数、上采样层、卷积层、ReLU激活函数、上采样层、卷积层、ReLU激活函数、卷积层和Sigmoid函数；第三分支网络依次包括卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层和Tanh函数；
所述的步骤(b2)具体为：
将原始图像输入至第一分支网络后，得到通道数为3的图像作为反射分量；将原始图像输入至第二分支网络后，得到通道数为1的图像作为照度分量；将原始图像输入至第三分支网络后，得到通道数为3的图像作为特征分量。
作为本发明进一步改进的技术方案，所述的步骤(b3)中，所述的增强网络依次包括卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层和Sigmoid函数；
所述的步骤(b3)具体为：
将步骤(b2)中分解得到的照度分量输入至增强网络内，依次经过增强网络内的卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数和卷积层后，与步骤(b2)中分解得到的照度分量拼接输入至Sigmoid函数，得到增强后的照度分量。
作为本发明进一步改进的技术方案，所述CNN网络的损失函数为：
L＝Lrecon+λ1Ls+λ2Lt(1)；
其中Lrecon为重建损失函数，Ls为平滑度损失函数，Lt为特征估计损失函数；λ1和λ2为权重因子；
其中S表示原始图像，
为增强后的图像，I为分解得到的照度分量，
为颜色通道最大值，R为分解得到的反射分量，
其中H表示图像的高度，W表示图像的宽度，C表示图像的通道，Δx表示水平梯度操作，Δy表示垂直梯度操作；
其中||||F表示矩阵的Frobenius范数，P表示分解得到的特征分量，αx表示水平梯度操作，αy表示垂直梯度操作，β表示照度引导权重，为：
β＝normalize[I·(αxR)2·(αyR)2]-1(5)；
其中，normalize表示最小归一化。
本发明的有益效果为：
本发明利用图像分解的原理，将图像分解为反射分量，照度分量和特征分量，并在第一分支网络、第二分支网络内加入降噪处理，一定程度上降低了噪声对图像效果的影响。同时通过第三分支网络单独提取图像特征分量，避免了因为降噪引起的细节丢失的缺陷，一定程度上解决了传统方法图像亮度提升不明显，图像噪声较大，细节丢失等缺陷；有效避免了色彩失真细节丢失、图像色彩对比度明显降低以及伪影现象等，增强后的图像效果亮度整体提升，有效地恢复图像细节特征，不会出现过曝、欠曝或曝光不均匀现象。
本发明提出的零样本低照度图像增强方法在图像的照度分量方面有很大提升，同时避免图像颜色失真问题，并且能有效地恢复图像细节特征。利用分解原理，对图像进行反射分量和照度分量分解处理，避免对照度分量增强的同时造成对图像色彩的影响。并且通过纹理特征的单独分解，避免了对光照分量和照度分量进行降噪时丢失了图像细节特征，提高了图像的整体视觉质量。
附图说明
图1是本发明实施例中的算法原理图。
图2是本发明实施例中的分解网络结构示意图。
图3是本发明实施例中的增强网络结构示意图。
图4是本发明实施例中第一组实验结果的视觉比较图。
图5是本发明实施例中第二组实验结果的视觉比较图。
图6是本发明实施例中第三组实验结果的视觉比较图。
图7是本发明实施例中第四组实验结果的视觉比较图。
具体实施方式
下面根据附图对本发明的具体实施方式作出进一步说明：
本实施例提供一种低照度图像增强方法，包括以下步骤：
(b1)、建立CNN网络，所述CNN网络包括分解网络和增强网络。
如图1所示，本实施例设计的CNN网络为一种基于零样本学习的CNN低照度图像恢复网络，包括一个分解网络和一个增强网络。
(b2)、将原始图像(即原始低照度彩色图像)通过分解网络进行分解，得到反射分量、照度分量和特征分量。
(b3)、将步骤(b2)中分解得到的照度分量通过增强网络进行亮度增强，以提升图像整体亮度。
(b4)、将步骤(b3)中增强后的照度分量和步骤(b2)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。
如图2所示，分解网络分为三个分支网络，能够准确预测输入图像的反射分量，照度分量和特征分量。特点在于在分解过程中加入池化层，做到在分解过程中将照度图和反射图进行降噪操作。照度图和反射图的激活函数选择Sigmoid函数，以保证输出在(0,1)之间。特征图的激活函数选择tanh函数，tanh的输出在(-1,1)之间，有更快的模型收敛性。在达到设定的迭代次数时，进行对图像的分解。
具体地，步骤(b2)中，分解网络包括三个分支网络，分别为第一分支网络、第二分支网络和第三分支网络；第一分支网络和第二分支网络结构相同，依次包括3×3的卷积层、ReLU激活函数、最大池化层、3×3的卷积层、ReLU激活函数、最大池化层、3×3的卷积层、ReLU激活函数、上采样层、3×3的卷积层、ReLU激活函数、上采样层、3×3的卷积层、ReLU激活函数、3×3的卷积层和Sigmoid函数；第三分支网络依次包括3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层和Tanh函数；
所述的步骤(b2)具体为：
将原始图像输入至第一分支网络，依次通过3×3的卷积层、ReLU激活函数、最大池化层、3×3的卷积层、ReLU激活函数、最大池化层、3×3的卷积层、ReLU激活函数提取特征，再通过上采样层、3×3的卷积层、ReLU激活函数、上采样层、3×3的卷积层、ReLU激活函数，最后通过3×3的卷积层和Sigmoid函数，得到通道数为3的图像作为反射分量；同理，将原始图像输入至第二分支网络后，得到通道数为1的图像作为照度分量；将原始图像输入至第三分支网络，依次通过3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数、3×3的卷积层、ReLU激活函数进行映射，映射后依次通过3×3的卷积层和Tanh函数，得到通道数为3的图像作为特征分量。
如图3所示，增强网络的输入是分解网络输出的照度分量。增强网络由八层卷积层组成，其中包含6层卷积层和两层逆卷积层组成，可以有效获取照度图的光照信息。为了弥补过程中可能丢失的照度图的有效信息，最后将输入的照度分量拼接到最后一层，输出为增强后的照度分量。
具体地，步骤(b3)中，所述的增强网络依次包括卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层和Sigmoid函数；
所述的步骤(b3)具体为：
将步骤(b2)中分解得到的照度分量输入至增强网络内，依次经过增强网络内的卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数和卷积层后，与步骤(b2)中分解得到的照度分量拼接输入至Sigmoid函数，得到增强后的照度分量。步骤(b3)中，输入的是步骤(b2)中分解得到的照度分量，增强网络包括7层带有ReLU激活函数的卷积核为3×3的卷积层和一层卷积核3×3的卷积层，可以充分获取到照度分量的光照信息，最后为了避免有效信息的损失，将输入拼接到最后一层，并使用Sigmoid函数将值约束到[0，1]之间。
原始图像，即原始低照度图像S、反射分量R、照度分量I和特征分量P之间的关系为：
S＝(R+P)*I(1)；
进一步的，为了更好的更新网络权重，本实施例设计了一个损失函数来评估网络的分解，引导生成更精准的网络。损失函数表示为：
L＝Lrecon+λ1Ls+λ2Lt(2)；
其中Lrecon为重建损失函数，Ls为平滑度损失函数，Lt为特征估计损失函数；λ1和λ2为权重因子。
其中Lrecon为本文的重建损失，作为反射和照度的约束，该损失函数表示为：
其中S表示原始图像，
为增强后的图像，I为分解得到的照度分量，
为颜色通道最大值，R为分解得到的反射分量，
L1范数用于引导本实施例所有损失函数。
其中Ls为平滑度损失，图像在反射图和照度图上应该尽可能光滑，以免放大的噪声对增强效果产生影响。该损失函数表示为：
其中H表示图像的高度，W表示图像的宽度，C表示图像的通道，Δx表示水平梯度操作，Δy表示垂直梯度操作。
其中Lt为特征估计损失，根据估计的照度图，通过加权引导图像特征提取，该损失函数表示为：
其中||||F表示矩阵的Frobenius范数，P表示分解得到的特征分量，αx表示水平梯度操作，αy表示垂直梯度操作，β表示照度引导权重，为：
β＝normalize[I·(αxR)2·(αyR)2]-1(6)；
其中，normalize表示最小归一化。
通过迭代计算损失函数，达到设定的迭代次数时，得到最终的CNN网络，即最终的分解网络和增强网络，再将原始低照度彩色图像利用最终的分解网络和增强网络分别执行步骤(b1)-(b4)进行分解和增强，得到增强后的图像。
下面结合具体实施例对本发明进行说明。
实验环境：
在所有的实验中，我们都经验地设置了λ1＝0.5，λ2＝5000。研究使用是在相同的配置环境、训练环境下进行的：Intel i7-8700 CPU、32GB RAM和NVIDIA GeForce RTX 2080TiGPU，PyTorch框架，PyCharm软件在32GB环境下，Anaconda python3.7解释器构建了网络框架。使用成对LOL数据集和非成对5K数据集进行测试。其中LOL数据集包含15对测试集(每对数据集包括一个原始低照度图像和一个与原始低照度图像相对应的亮度图像)，5K数据集由单反相机拍摄的5000张图片(即5000张低照度图像)，并使用专门用于照片调整的软件(Adobe Lightroom)修饰了所有5000张照片。
评价模型：
研究使用峰值信噪比(PSNR)、结构相似性(SSIM)、自然图像质量评价(NIQE)、图像亮度顺序差(LOE)客观评价指标对增强图像进行客观评价。其中，PSNR主要用于评估图像间的差异。广泛运用于图像去雾，图像降噪以及图像增强等低级图像处理任务的质量评价。
PSNR公式表示为：
其中，MSE是图像间的均方误差，MaxValue是两幅图像的像素最大值。MSE的公式表示为：
其中H表示图像高度，W表示图像宽度。g(x，y)和
分别为与原始低照度图片相对应的亮度图像和增强图像。
SSIM用于突出显示两幅图像(即与原始低照度图片相对应的亮度图像和增强图像)之间的亮度、对比度和结构相似性，取值范围为0-1；该值越接近1，表示两幅图像越相似。假设a和b是两个输入图像，公式为：
SSIM＝[l(a，b)]α[C(a，b)]β[S(a，b)]γ(9)；
其中l(a，b)为亮度比较，C(a，b)为对比度比较，S(a，b)为结构比较。α，β，γ大于0，用于调整三部分的比重，l(a，b)、C(a，b)和S(a，b)分别有以下公式：
其中μa和μb分别表示这两个图像像素的平均值，σa和σb分别表示这两个图像像素的标准差。σab表示这两个图像像素的协方差。c1，c2和c3的作用是避免分母为0。
NIQE基于一组“质量感知”特征，并将其拟合到MVG模型中。质量感知特征源于一个简单但高度正则化的NSS模型。然后，将给定的测试图像的NIQE指标表示为从测试图像中提取的NSS特征的MVG模型与从自然图像语料中提取的质量感知特征的MVG模型之间的距离。NIQE公式表示为：
其中v1和m1分别表示表示自然图像MVG模型的均值向量和协方差矩阵，v2和m2分别表示失真图像MVG模型的均值向量和协方差矩阵。
LOE是图像亮度的顺序差，通过评价邻域内图像亮度的顺序变化过程来评价图像的照度变化。LOE反映了图像的自然保持能力。一个较小的值表示图像有一个更好的亮度顺序，看起来更自然。公式是：
M是图像的高度，N是图像的宽度，RD(i，j)是原始图像和增强后的图像之间相对亮度顺序的差异。
不同数据集使用不同客观评价指标进行分析。根据PSNR和SSIM对成对LOL数据集进行定量评估。根据NIQE和LOE对非成对5K数据集进行定量评估。结果如图4，图5，图6和图7所示。
比较方法包括HE、Retinex、RRDNet、LightenNet、Zero-DCE、DSLR和LLNet。所有比较方法的结果均来自官方代码。
图4和图5属于LOL数据集，在图4中HE通过拉升对比度使图像亮度有明显提升，但图像整体失真严重。Retinex是图4中视觉亮度提升效果最好的，但衣服颜色失真并且在放大图像中可见明显的噪声。RRDNet在原始亮度较亮的图像上表现不错，但在较暗图像上表现相对较差，亮度提升不明显，难以达到较好的视觉效果。LightenNet方法在比较方法中亮度提升一般，但图像出现白色块状现象。Zero-DCE虽然能很好的保留图像的细节特征，但同样亮度提升不明显，并且图像色彩对比度明显降低。DSLR的增强效果产生明显的堆叠块现象，衣柜部分整体出现块状效应，并且有伪影现象。LLNet从衣架和放大部分可见丢失细节严重，图像增强效果整体比较模糊。本发明方法相比较于其他方法亮度的提升效果可能不是最理想的，但是有效避免其他的问题，如色彩失真细节丢失、图像色彩对比度明显降低以及伪影现象等，增强效果亮度整体提升，不会出现过曝或者欠曝现象。图6和图7来自5K数据集，图6中视觉亮度最高的是Retinex方法，但图像整体过度曝光，可见细节丢失严重，HE方法的增强效果整体泛白，RRDNet和DSLR一样，亮度提升不明显，对视觉效果产生很大影响。
不同算法全局图像增强客观评价：
为验证各算法性能，研究对LOL数据集采用PSNR和SSIM指标进行分析，如表1所示。5K数据集使用NIQE和LOE指标进行分析，如表2所示。结果保留两位小数。结果前三名加粗表示。
表1：
表2：
| 方法 | NIQE↓ | LOE↓ |
| Input | 28.12 | 0 |
| HE | 30.76 | 254.87 |
| Retinex | 23.33 | 291.14 |
| RRDNet | 18.47 | 251.37 |
| LightenNet | 20.97 | 305.50 |
| Zero-DCE | 21.50 | 351.37 |
| DSLR | 18.40 | 272.58 |
| LLNet | 26.35 | 302.76 |
| Ours | 18.02 | 249.25 |
从表1和表2可以看出，没有一种方法能在所有的图像质量检测指标中获得最优值。本发明方法在LOL数据集测试中，在PSNR指标上表现最佳，其次SSIM指标也优于大多数方法。在5K数据集测试中，本发明方法取得了LOE指标的最优值，其次NIQE也取得了最优成绩。上述表格更加有力的表明了本发明方法的有效性和适用性。
本发明的工作原理及过程为：将低照度图像分为反射分量、照度分量和特征分量，对照度分量进行单独增强。为了避免噪声的影响，在分解的同时对图像进行去噪(即通过最大池化层和上采样层进行降噪处理)，并对图像特征分量进行单独提取，以避免处理过程中图像细节的丢失。最后，将增强后的照度分量、原始反射分量和特征分量再次融合，生成增强结果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其他各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种低照度图像增强方法，其特征在于，包括以下步骤：
(a1)、将原始图像进行分解，得到反射分量、照度分量和特征分量；
(a2)、对步骤(a1)中分解得到的照度分量进行亮度增强；
(a3)、将步骤(a2)中增强后的照度分量和步骤(a1)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。
2.根据权利要求1所述的低照度图像增强方法，其特征在于，具体包括以下步骤：
(b1)、建立CNN网络，所述CNN网络包括分解网络和增强网络；
(b2)、将原始图像通过分解网络进行分解，得到反射分量、照度分量和特征分量；
(b3)、将步骤(b2)中分解得到的照度分量通过增强网络进行亮度增强；
(b4)、将步骤(b3)中增强后的照度分量和步骤(b2)中分解得到的反射分量以及特征分量进行加权融合，得到增强后的图像。
3.根据权利要求2所述的低照度图像增强方法，其特征在于，所述的步骤(b2)中，所述的分解网络包括三个分支网络，分别为第一分支网络、第二分支网络和第三分支网络；第一分支网络和第二分支网络结构相同，依次包括卷积层、ReLU激活函数、最大池化层、卷积层、ReLU激活函数、最大池化层、卷积层、ReLU激活函数、上采样层、卷积层、ReLU激活函数、上采样层、卷积层、ReLU激活函数、卷积层和Sigmoid函数；第三分支网络依次包括卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层和Tanh函数；
所述的步骤(b2)具体为：
将原始图像输入至第一分支网络后，得到通道数为3的图像作为反射分量；将原始图像输入至第二分支网络后，得到通道数为1的图像作为照度分量；将原始图像输入至第三分支网络后，得到通道数为3的图像作为特征分量。
4.根据权利要求3所述的低照度图像增强方法，其特征在于，所述的步骤(b3)中，所述的增强网络依次包括卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层和Sigmoid函数；
所述的步骤(b3)具体为：
将步骤(b2)中分解得到的照度分量输入至增强网络内，依次经过增强网络内的卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、逆卷积层、ReLU激活函数、卷积层、ReLU激活函数、卷积层、ReLU激活函数和卷积层后，与步骤(b2)中分解得到的照度分量拼接输入至Sigmoid函数，得到增强后的照度分量。
5.根据权利要求4所述的低照度图像增强方法，其特征在于：所述CNN网络的损失函数为：
L＝Lrecon+λ1Ls+λ2Lt(1)；
其中Lrecon为重建损失函数，Ls为平滑度损失函数，Lt为特征估计损失函数；λ1和λ2为权重因子；
其中S表示原始图像，
为增强后的图像，I为分解得到的照度分量，
为颜色通道最大值，R为分解得到的反射分量，
其中H表示图像的高度，W表示图像的宽度，C表示图像的通道，Δx表示水平梯度操作，Δy表示垂直梯度操作；
其中‖‖F表示矩阵的Frobenius范数，P表示分解得到的特征分量，αx表示水平梯度操作，αy表示垂直梯度操作，β表示照度引导权重，为：
β＝normalize[I·(αxR)2·αyR2]-1(5)；
其中，normalize表示最小归一化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211495205.2A CN115760630A (zh) | 2022-11-26 | 2022-11-26 | 一种低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211495205.2A CN115760630A (zh) | 2022-11-26 | 2022-11-26 | 一种低照度图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115760630A true CN115760630A (zh) | 2023-03-07 |
Family
ID=85338540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211495205.2A Pending CN115760630A (zh) | 2022-11-26 | 2022-11-26 | 一种低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760630A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433517A (zh) * | 2023-03-31 | 2023-07-14 | 中国人民解放军国防科技大学 | 基于噪声自回归模型的低照度图像增强方法和系统 |
| CN117095133A (zh) * | 2023-10-18 | 2023-11-21 | 华侨大学 | 一种建筑三维信息采集方法及系统 |
| WO2024217182A1 (zh) * | 2023-04-17 | 2024-10-24 | 中国科学技术大学 | 图像增强方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489321A (zh) * | 2020-03-09 | 2020-08-04 | 淮阴工学院 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN113256510A (zh) * | 2021-04-21 | 2021-08-13 | 浙江工业大学 | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 |
| CN114862711A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于双重互补先验约束的低照度图像增强与去噪方法 |
-
2022
- 2022-11-26 CN CN202211495205.2A patent/CN115760630A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489321A (zh) * | 2020-03-09 | 2020-08-04 | 淮阴工学院 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN113256510A (zh) * | 2021-04-21 | 2021-08-13 | 浙江工业大学 | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 |
| CN114862711A (zh) * | 2022-04-29 | 2022-08-05 | 西安理工大学 | 基于双重互补先验约束的低照度图像增强与去噪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433517A (zh) * | 2023-03-31 | 2023-07-14 | 中国人民解放军国防科技大学 | 基于噪声自回归模型的低照度图像增强方法和系统 |
| WO2024217182A1 (zh) * | 2023-04-17 | 2024-10-24 | 中国科学技术大学 | 图像增强方法、装置、电子设备及存储介质 |
| CN117095133A (zh) * | 2023-10-18 | 2023-11-21 | 华侨大学 | 一种建筑三维信息采集方法及系统 |
| CN117095133B (zh) * | 2023-10-18 | 2024-01-05 | 华侨大学 | 一种建筑三维信息采集方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| CN105654436B (zh) | 一种基于前景背景分离的背光图像增强去噪方法 | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| Wang et al. | Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| CN115170410A (zh) | 融合小波变换和注意力机制的图像增强方法及装置 | |
| CN114266707A (zh) | 一种结合注意力机制和Retinex模型的低光图像增强方法 | |
| Peng et al. | Multi-algorithm fusion of RGB and HSV color spaces for image enhancement | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN112581378A (zh) | 基于显著性强度和梯度先验的图像盲去模糊方法和装置 | |
| CN110570381B (zh) | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 | |
| Chen et al. | Semantic attention and relative scene depth-guided network for underwater image enhancement | |
| CN116703745A (zh) | 图像增强方法、装置、电子设备及存储介质 | |
| CN104616259B (zh) | 一种噪声强度自适应的非局部均值图像去噪方法 | |
| CN110135501A (zh) | 基于神经网络框架的高动态范围图像取证方法 | |
| Park et al. | ULBPNet: Low-light image enhancement using U-shaped lightening back-projection | |
| Shi et al. | LCA-net: A context-aware lightweight network for low-illumination image enhancement | |
| Wang et al. | Extracting noise and darkness: Low-light image enhancement via dual prior guidance | |
| CN110706180A (zh) | 一种极暗图像视觉质量提升方法、系统、设备及介质 | |
| CN102999903A (zh) | 遥感图像光照一致性定量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230307 |