CN117237248B - 一种曝光调整曲线估计方法、装置、电子设备及存储介质 - Google Patents
一种曝光调整曲线估计方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117237248B CN117237248B CN202311272977.4A CN202311272977A CN117237248B CN 117237248 B CN117237248 B CN 117237248B CN 202311272977 A CN202311272977 A CN 202311272977A CN 117237248 B CN117237248 B CN 117237248B
- Authority
- CN
- China
- Prior art keywords
- original picture
- curve
- vector
- picture
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 239000013598 vector Substances 0.000 claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 54
- 238000009499 grossing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- OFHCOWSQAMBJIW-AVJTYSNKSA-N alfacalcidol Chemical compound C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C\C=C1\C[C@@H](O)C[C@H](O)C1=C OFHCOWSQAMBJIW-AVJTYSNKSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种曝光调整曲线估计方法、装置、电子设备及存储介质，方法包括：获取待处理的原始图片；对所述原始图片进行向量提取，得到直方图向量；对所述直方图向量进行全连接处理，得到预测卷积核参数；基于所述预测卷积核参数对所述原始图片进行卷积处理，得到曲线参数；基于所述曲线参数，结合sigmoid函数获得曝光调整曲线；其中，所述曝光调整曲线用于所述原始图片的曝光调整。本发明实施例得到的曝光调整曲线能够辅助图片进行准确曝光调整，可广泛应用于图片处理技术领域。
Description
技术领域
本发明涉及图片处理技术领域，尤其是一种曝光调整曲线估计方法、装置、电子设备及存储介质。
背景技术
基于传统图像处理技术的暗图增强方法:基于传统图像处理技术的暗图增强常见方法包括基于直方图均衡的方法和基于retinex模型的方法。基于直方图均衡化的方法核心思想是映射像素值使得映射后的像素值服从均匀分布。基于这个思想，Wang,Chen等人在1999年提出了子图直方图均衡化的方法。随后，各种各样子直方图均衡化的方法被提出。基于直方图均衡化的方法仅仅考虑了分布的变化，产生的增强结果往往不具备正常图片的视觉效果。基于retinex模型的方法利用retinex先验将图像分解为反射分量和照度分量，增强其照度分量并最终将增强后的照度分量和反射分量结合产生增强结果。这样的方法依赖于retinex先验的手工设计，缺乏泛化性，也无法产生良好的视觉效果。
基于深度学习技术的暗图增强方法:基于深度学习技术的暗图增强方法可以分为有监督和无监督方法。基于有监督的方法在成对的图片数据集上训练深度学习模型，以实现从暗图到亮图的预测。Lore等人在2017年提出了第一个基于深度学习技术的暗图增强方法，用一个神经网络去拟合从暗图到亮图的映射。随后，一系列基于深度学习的有监督暗图增强方法被提出。然而这些方法的训练不仅依赖于难以获取的成对图像数据集，同时泛化性较差，在不同于训练集亮度分布的数据集上难以产生正常的增强结果。为了避开对成对图像数据集的依赖，有些无监督的方法被提出。Jiang等人在2021年提出基于生成对抗模型的暗图增强方法。2022年，Li等人提出用基于深度学习的无参考图像曲线估计网络实现暗图增强的方法。同年，Ma等人提出使用一个自校正光照学习框架来递归地进行暗图增强。这些方法虽然避免了对成对图像数据集的依赖，但仍然无法应对多种亮度的输入，产生的增强结果容易过曝光或欠曝光。
发明内容
有鉴于此，本发明实施例提供一种曝光调整曲线估计方法、装置、电子设备及存储介质，能够辅助图片进行准确曝光调整。
一方面，本发明的实施例提供了一种曝光调整曲线估计方法，包括：
获取待处理的原始图片；
对原始图片进行向量提取，得到直方图向量；
对直方图向量进行全连接处理，得到预测卷积核参数；
基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数；
基于曲线参数，结合sigmoid函数获得曝光调整曲线；其中，曝光调整曲线用于原始图片的曝光调整。
可选地，对原始图片进行向量提取，得到直方图向量，包括：
基于原始图片的图片规格和通道参数进行原始图片的向量提取，得到直方图向量。
可选地，图片规格包括图片的高度和宽度，通道参数包括通道像素值和通道分量；基于原始图片的规格和通道参数进行原始图片的向量提取，得到直方图向量，包括：
基于原始图片的规格和通道参数，结合平滑因子和原始图片的列向量边界值通过sigmoid函数进行原始图片的向量提取，得到直方图向量；其中，列向量边界值包括列向量中各个值的左边界值和右边界值；直方图向量的表达式为：
式中，表示c通道的直方图向量的第i维度的值，c通道包括标注RGB图片的三个颜色通道r,g,b；H，W分别表示原始图片的高度和宽度；xc表示c通道的通道像素值；Xc表示c通道的通道分量；S(·)表示sigmoid函数；σ表示平滑因子；li，ri分别表示原始图片的列向量中第i个值的左边界值和右边界值。
可选地，对直方图向量进行全连接处理，得到预测卷积核参数，包括：
将直方图向量输入堆叠的全连接层进行全连接处理，得到预测卷积核参数；
其中，全连接层以leakyReLU函数作为激活函数。
可选地，基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数，包括：
将原始图片输入多层卷积层进行卷积处理，得到曲线参数；
其中，多层卷积层中包括基于预测卷积核参数设置的若干第一卷积层和常规设置的若干第二卷积层；曲线参数通过直方图向量的熵作为损失函数进行约束。
可选地，将原始图片输入多层卷积层进行卷积处理，得到曲线参数，包括：
通过若干第二卷积层对原始图片进行特征提取和特征处理，进而通过若干第一卷积层进行自适应特征处理，进而通过输出层得到曲线参数；其中，输出层为第二卷积层。
可选地，基于曲线参数，结合sigmoid函数获得曝光调整曲线，包括：
通过sigmoid函数构建隐空间与像素空间映射的S曲线，进而结合曲线参数获得曝光调整曲线；其中，曝光调整曲线的表达式为：
式中，a，b表示归一化系数；x表示像素值；s表示超参数；α表示曲线参数；e表示自然常数。
另一方面，本发明的实施例提供了一种曝光调整曲线估计装置，包括：
第一模块，用于获取待处理的原始图片；
第二模块，用于对原始图片进行向量提取，得到直方图向量；
第三模块，用于对直方图向量进行全连接处理，得到预测卷积核参数；
第四模块，用于基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数；
第五模块，用于基于曲线参数，结合sigmoid函数获得曝光调整曲线；其中，曝光调整曲线用于原始图片的曝光调整。
另一方面，本发明的实施例提供了一种电子设备，包括处理器以及存储器；
存储器用于存储程序；
处理器执行程序实现如前面的方法。
另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明实施例首先获取待处理的原始图片；对原始图片进行向量提取，得到直方图向量；对直方图向量进行全连接处理，得到预测卷积核参数；基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数；基于曲线参数，结合sigmoid函数获得曝光调整曲线；其中，曝光调整曲线用于原始图片的曝光调整。本发明实施例得到的曝光调整曲线能够辅助图片进行准确曝光调整。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种曝光调整曲线估计方法的流程示意图；
图2为本发明实施例提供的曝光调整曲线估计的整体架构原理示意图；
图3为本发明实施例提供的曝光调整曲线示意图；
图4为本发明实施例提供的一种曝光调整曲线估计装置的结构示意图；
图5为本发明实施例提供的一种电子设备的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一方面，如图1所示，本发明的实施例提供了一种曝光调整曲线估计方法，包括：
S100、获取待处理的原始图片；
S200、对原始图片进行向量提取，得到直方图向量；
需要说明的是，一些实施例中，步骤S200可以包括：基于原始图片的图片规格和通道参数进行原始图片的向量提取，得到直方图向量。
其中，一些实施例中，图片规格包括图片的高度和宽度，通道参数包括通道像素值和通道分量；基于原始图片的图片规格和通道参数进行原始图片的向量提取，得到直方图向量，可以包括：基于原始图片的规格和通道参数，结合平滑因子和原始图片的列向量边界值通过sigmoid函数进行原始图片的向量提取，得到直方图向量；其中，列向量边界值包括列向量中各个值的左边界值和右边界值；直方图向量的表达式为：
式中，表示c通道的直方图向量的第i维度的值，c通道包括标注RGB图片的三个颜色通道r,g,b；H，W分别表示原始图片的高度和宽度；xc表示c通道的通道像素值；Xc表示c通道的通道分量；S(·)表示sigmoid函数；σ表示平滑因子；li，ri分别表示原始图片的列向量中第i个值的左边界值和右边界值。
一些具体实施例中，可以通过如下公式提取待增强图片的平滑直方图向量：
其中，表示c通道的直方图向量的第i维度的值，H，W分别表示图片的高度和宽度，xc表示c通道的像素值，Xc表示输入图片c通道的分量，S(·)表示sigmoid函数，σ表示平滑因子(人为设定的超参数)，li＝i/B,ri＝(i+1)/B则分别表示总数为B个bin的直方图中第i个bin的左边界值和右边界值，r,g,b分别标注RGB图片的三个颜色通道。每个直方图，通常都可以用一个列向量来表示，列向量里面的每一个值就是一个bin，比如说列向量有个50个元素，那么就代表有50个bin。对于彩色图像，一般是rgb图像，都是3-channel，每个channel一般是255个灰度级，即每个通道对应8个bin，那么一幅RGB图像就对应8x8x8＝512bin。
S300、对直方图向量进行全连接处理，得到预测卷积核参数；
需要说明的是，一些实施例中，步骤S300，可以包括：将直方图向量输入堆叠的全连接层进行全连接处理，得到预测卷积核参数；其中，全连接层以leakyReLU函数作为激活函数。
一些具体实施例中，如图2所示，将提取得到的直方图向量送进堆叠的4个全连接层(以leakyReLU函数为全连接层的激活函数)，最后一层全连接层的输出划分为3部分，分别作为主干网络中3个卷积层的参数。通过适应性地预测卷积层参数，该网络能够针对不同亮度分布的输入图片产生自适应的卷积层，从而对各种亮度的输入都能产生正确的增强结果，避免产生过曝光和欠曝光的增强结果。
S400、基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数；
需要说明的是，一些实施例中，步骤S400，可以包括：将原始图片输入多层卷积层进行卷积处理，得到曲线参数；其中，多层卷积层中包括基于预测卷积核参数设置的若干第一卷积层和常规设置的若干第二卷积层；曲线参数通过直方图向量的熵作为损失函数进行约束。
其中，一些实施例中，将原始图片输入多层卷积层进行卷积处理，得到曲线参数，包括：通过若干第二卷积层对原始图片进行特征提取和特征处理，进而通过若干第一卷积层进行自适应特征处理，进而通过输出层得到曲线参数；其中，输出层为第二卷积层。
一些具体实施例中，如图2所示，输入的图片经过固定的普通的卷积层进行通用的特征提取和特征处理，再经过预测的卷积层进行自适应的特征处理后，再经过一层输出层，输出逐像素逐通道的曲线参数(即图示参数图)，用于在曝光调整曲线中调整图片的像素值，产生最终的增强结果。
S500、基于曲线参数，结合sigmoid函数获得曝光调整曲线；其中，曝光调整曲线用于原始图片的曝光调整。
需要说明的是，一些实施例中，步骤S500，可以包括：通过sigmoid函数构建隐空间与像素空间映射的S曲线，进而结合曲线参数获得曝光调整曲线；其中，曝光调整曲线的表达式为：
式中，a，b表示归一化系数；x表示像素值；s表示超参数；α表示曲线参数；e表示自然常数。
一些具体实施例中，基于在暗图上观察到的像素分布情况，本发明实施例提出使用反S曲线将像素值映射到隐空间，并在隐空间定义增量，然后用反S曲线的反函数将平移后的隐变量反映射回像素空间的算法，如图3所示。首先使用归一化的sigmoid函数作为上图中的S曲线，如下：
其中为归一化系数，s为可人为调整的超参数，用于控制S曲线的形状，x为像素值，z为像素值对应在隐空间中的值。将f函数代入下式：
y＝f(f-1(x)+α)
展开得到最终的曝光调整曲线公式如下：
其中，α为网络的预测值，针对每一个像素的每一个通道单独预测一个α，x为输入的待增强图片像素值，y为对应的增强结果像素值。
为详细说明本发明实施例的技术原理，下面结合附图和一些具体实施例对本发明方案作进一步说明，应当理解的是，下述为对本发明的解释，不能看做对本发明的限制。
首先需要说明的是，本发明创新性地提出了无参考曝光调整曲线估计方法Zero-EACE，利用含多种曝光度图片的数据集作为训练集，训练一个曝光调整曲线估计网络，实现低光照图片的增强和过曝光图片的校正。在实验中发现，现有的无参考曲线估计方法缺乏整体亮度感知能力，因此容易产生过曝，无法适应多种亮度的输入。并且，其曲线公式缺乏可调节能力，以及损失函数中对对比度的监督不足，导致增强结果的对比度偏低。因此本发明提出了直方图引导的卷积模块和直方图均衡损失，并改进了原有的曲线公式，来有效提高模型对多亮度输入的适应能力和增强结果的对比度。
一些具体实施例中，本发明方法流程如图2所示，主要由直方图引导的曲线估计网络和曝光调整曲线组成，利用直方图均衡损失进行辅助训练。首先，通过一个公式提取图片的直方图向量，然后用堆叠的全连接层来根据提取的直方图向量预测卷积核的参数。图片经过卷积生成参数图。曝光调整曲线的公式以图片和参数图为输入，计算出最终的增强结果。最后，使用基于无监督的一系列损失函数来约束网络预测的参数图和最终的增强结果。在以下部分介绍Zero-EACE各部分的细节：
1.曝光调整曲线：
基于在暗图上观察到的像素分布情况，本发明实施例提出使用反S曲线将像素值映射到隐空间，并在隐空间定义增量，然后用反S曲线的反函数将平移后的隐变量反映射回像素空间的算法，如图3所示。
首先使用归一化的sigmoid函数作为上图中的S曲线，如下：
其中为归一化系数，s为可人为调整的超参数，用于控制S曲线的形状，x为像素值，z为像素值对应在隐空间中的值。将f函数代入下式：
y＝f(f-1(x)+α)
展开得到最终的曝光调整曲线公式如下：
其中，α为网络的预测值，针对每一个像素的每一个通道单独预测一个α，x为输入的待增强图片像素值，y为对应的增强结果像素值。
2.直方图引导的曲线估计网络：
首先通过如下公式提取待增强图片的平滑直方图向量：
其中，表示c通道的直方图向量的第i维度的值，H，W分别表示图片的高度和宽度，xc表示c通道的像素值，Xc表示输入图片c通道的分量，S(·)表示sigmoid函数，σ表示平滑因子(人为设定的超参数)，li＝i/B,ri＝(i+1)/B则分别表示总数为B个bin的直方图中第i个bin的左边界值和右边界值，r,g,b分别标注RGB图片的三个颜色通道。每个直方图，通常都可以用一个列向量来表示，列向量里面的每一个值就是一个bin，比如说列向量有个50个元素，那么就代表有50个bin。对于彩色图像，一般是rgb图像，都是3-channel，每个channel一般是255个灰度级，即每个通道对应8个bin，那么一幅RGB图像就对应8x8x8＝512bin。
随后如图2所示，将提取得到的直方图向量送进堆叠的4个全连接层(以leakyReLU函数为全连接层的激活函数)，最后一层全连接层的输出划分为3部分，分别作为主干网络中3个卷积层的参数。
通过适应性地预测卷积层参数，该网络能够针对不同亮度分布的输入图片产生自适应的卷积层，从而对各种亮度的输入都能产生正确的增强结果，避免产生过曝光和欠曝光的增强结果。
输入的图片经过固定的普通的卷积层进行通用的特征提取和特征处理，再经过预测的卷积层进行自适应的特征处理后，再经过一层输出层，输出逐像素逐通道的曲线参数，用于在曝光调整曲线中调整图片的像素值，产生最终的增强结果。
3.直方图均衡损失：
首先用上小一节的公式提取增强结果的平滑直方图向量，然后用如下公式计算平滑直方图向量的熵作为损失，以监督增强结果，使其的对比度不坍缩：
其中Lhe即为求得的直方图均衡损失，pc为利用上一小节的公式提取的c通道的直方图向量，p为其中的一个维度的值，对每个颜色通道的每个bin的p计算其熵值后求和。
综上，本发明构建了一种无参考的曝光调整曲线估计方法Zero-EACE，利用在多种曝光图像数据集上训练得到的曝光调整曲线估计模型，对暗图进行增强，产生正常亮度的图片。其中曝光调整曲线公式具有可调节的参数，实现了对比度调整和亮度调整的平衡，能够产生对比度适宜的增强结果。直方图引导的卷积模块能够感知图片全局亮度以进行适当的增强，避免了增强结果的过曝。经过实验对比，我们的方法在暗图增强的成对图片测试集上计算得到的指标比目前的先进方法(top1 PSNR约19.96dB)要高约1.1dB，到达约21.06dB。这足以证明本发明方法的有效性。本发明至少可用于如下场景：1.低光照场景下拍摄的欠曝光图片进行增强；2、明亮场景下拍摄的过曝光图片的过曝抑制。
另一方面，如图4所示，本发明的实施例提供了一种曝光调整曲线估计装置600，包括：第一模块610，用于获取待处理的原始图片；第二模块620，用于对原始图片进行向量提取，得到直方图向量；第三模块630，用于对直方图向量进行全连接处理，得到预测卷积核参数；第四模块640，用于基于预测卷积核参数对原始图片进行卷积处理，得到曲线参数；第五模块650，用于基于曲线参数，结合sigmoid函数获得曝光调整曲线；其中，曝光调整曲线用于原始图片的曝光调整。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
如图5所示，本发明实施例的另一方面还提供了一种电子设备700，包括处理器710以及存储器720；
存储器720用于存储程序；
处理器710执行程序实现如前面的方法。
本发明方法实施例的内容均适用于本电子设备实施例，本电子设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。
本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。
Claims (7)
1.一种曝光调整曲线估计方法，其特征在于，包括：
获取待处理的原始图片；
对所述原始图片进行向量提取，得到直方图向量；
所述对所述原始图片进行向量提取，得到直方图向量，包括：
基于所述原始图片的图片规格和通道参数进行所述原始图片的向量提取，得到直方图向量；
所述图片规格包括图片的高度和宽度，所述通道参数包括通道像素值和通道分量；所述基于所述原始图片的图片规格和通道参数进行所述原始图片的向量提取，得到直方图向量，包括：
基于所述原始图片的图片规格和通道参数，结合平滑因子和所述原始图片的列向量边界值通过sigmoid函数进行所述原始图片的向量提取，得到直方图向量；其中，所述列向量边界值包括列向量中各个值的左边界值和右边界值；所述直方图向量的表达式为：
式中，表示c通道的直方图向量的第i维度的值，c通道包括标注RGB图片的三个颜色通道r,g,b；H，W分别表示原始图片的高度和宽度；xc表示c通道的通道像素值；Xc表示c通道的通道分量；S(·)表示sigmoid函数；σ表示平滑因子；li，ri分别表示原始图片的列向量中第i个值的左边界值和右边界值；
对所述直方图向量进行全连接处理，得到预测卷积核参数；
基于所述预测卷积核参数对所述原始图片进行卷积处理，得到曲线参数；
基于所述曲线参数，结合sigmoid函数获得曝光调整曲线；其中，所述曝光调整曲线用于所述原始图片的曝光调整；
基于所述曲线参数，结合sigmoid函数获得曝光调整曲线，包括：
通过sigmoid函数构建隐空间与像素空间映射的S曲线，进而结合所述曲线参数获得曝光调整曲线；其中，所述曝光调整曲线的表达式为：
式中，y表示增强结果像素值；a，b表示归一化系数；x表示像素值；s表示超参数；α表示曲线参数；e表示自然常数。
2.根据权利要求1所述的一种曝光调整曲线估计方法，其特征在于，所述对所述直方图向量进行全连接处理，得到预测卷积核参数，包括：
将所述直方图向量输入堆叠的全连接层进行全连接处理，得到预测卷积核参数；
其中，所述全连接层以leakyReLU函数作为激活函数。
3.根据权利要求1所述的一种曝光调整曲线估计方法，其特征在于，所述基于所述预测卷积核参数对所述原始图片进行卷积处理，得到曲线参数，包括：
将所述原始图片输入多层卷积层进行卷积处理，得到曲线参数；
其中，所述多层卷积层中包括基于所述预测卷积核参数设置的若干第一卷积层和常规设置的若干第二卷积层；所述曲线参数通过所述直方图向量的熵作为损失函数进行约束。
4.根据权利要求3所述的一种曝光调整曲线估计方法，其特征在于，所述将所述原始图片输入多层卷积层进行卷积处理，得到曲线参数，包括：
通过若干所述第二卷积层对所述原始图片进行特征提取和特征处理，进而通过若干所述第一卷积层进行自适应特征处理，进而通过输出层得到所述曲线参数；其中，所述输出层为所述第二卷积层。
5.一种曝光调整曲线估计装置，其特征在于，包括：
第一模块，用于获取待处理的原始图片；
第二模块，用于对所述原始图片进行向量提取，得到直方图向量；
所述对所述原始图片进行向量提取，得到直方图向量，包括：
基于所述原始图片的图片规格和通道参数进行所述原始图片的向量提取，得到直方图向量；
所述图片规格包括图片的高度和宽度，所述通道参数包括通道像素值和通道分量；所述基于所述原始图片的图片规格和通道参数进行所述原始图片的向量提取，得到直方图向量，包括：
基于所述原始图片的图片规格和通道参数，结合平滑因子和所述原始图片的列向量边界值通过sigmoid函数进行所述原始图片的向量提取，得到直方图向量；其中，所述列向量边界值包括列向量中各个值的左边界值和右边界值；所述直方图向量的表达式为：
式中，表示c通道的直方图向量的第i维度的值，c通道包括标注RGB图片的三个颜色通道r,g,b；H，W分别表示原始图片的高度和宽度；xc表示c通道的通道像素值；Xc表示c通道的通道分量；S(·)表示sigmoid函数；σ表示平滑因子；li，ri分别表示原始图片的列向量中第i个值的左边界值和右边界值；
第三模块，用于对所述直方图向量进行全连接处理，得到预测卷积核参数；
第四模块，用于基于所述预测卷积核参数对所述原始图片进行卷积处理，得到曲线参数；
第五模块，用于基于所述曲线参数，结合sigmoid函数获得曝光调整曲线；其中，所述曝光调整曲线用于所述原始图片的曝光调整；基于所述曲线参数，结合sigmoid函数获得曝光调整曲线，包括：
通过sigmoid函数构建隐空间与像素空间映射的S曲线，进而结合所述曲线参数获得曝光调整曲线；其中，所述曝光调整曲线的表达式为：
式中，y表示增强结果像素值；a，b表示归一化系数；x表示像素值；s表示超参数；α表示曲线参数；e表示自然常数。
6.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311272977.4A CN117237248B (zh) | 2023-09-27 | 2023-09-27 | 一种曝光调整曲线估计方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311272977.4A CN117237248B (zh) | 2023-09-27 | 2023-09-27 | 一种曝光调整曲线估计方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237248A CN117237248A (zh) | 2023-12-15 |
| CN117237248B true CN117237248B (zh) | 2024-07-16 |
Family
ID=89096555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311272977.4A Active CN117237248B (zh) | 2023-09-27 | 2023-09-27 | 一种曝光调整曲线估计方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237248B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446833A (zh) * | 2019-09-02 | 2021-03-05 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、智能终端及存储介质 |
| CN114693545A (zh) * | 2022-02-15 | 2022-07-01 | 北京大学 | 一种基于曲线族函数的低光照增强方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113936163B (zh) * | 2020-07-14 | 2024-10-15 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、终端以及存储介质 |
| CN114022394B (zh) * | 2022-01-04 | 2022-04-19 | 苏州浪潮智能科技有限公司 | 一种图像复原方法、装置、电子设备及存储介质 |
| CN115239575B (zh) * | 2022-06-06 | 2023-10-27 | 荣耀终端有限公司 | 美颜方法及装置 |
| CN115937030A (zh) * | 2022-12-12 | 2023-04-07 | 杭州电子科技大学 | 一种基于动态对齐及光照感知卷积的阴影去除方法 |
-
2023
- 2023-09-27 CN CN202311272977.4A patent/CN117237248B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446833A (zh) * | 2019-09-02 | 2021-03-05 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、智能终端及存储介质 |
| CN114693545A (zh) * | 2022-02-15 | 2022-07-01 | 北京大学 | 一种基于曲线族函数的低光照增强方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| "Single low-light image enhancer using Taylor expansion and fullydynamic convolution";Chenggang Dai et al;《Signal Processing》;20210805;第189卷;第1-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237248A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Deep guided learning for fast multi-exposure image fusion | |
| Ma et al. | Multi-exposure image fusion by optimizing a structural similarity index | |
| Eilertsen et al. | A comparative review of tone‐mapping algorithms for high dynamic range video | |
| Kinoshita et al. | Scene segmentation-based luminance adjustment for multi-exposure image fusion | |
| CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| Huang et al. | Framelet regularization for uneven intensity correction of color images with illumination and reflectance estimation | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| Banerjee et al. | Real-time underwater image enhancement: An improved approach for imaging with AUV-150 | |
| Srinivas et al. | Exposure-based energy curve equalization for enhancement of contrast distorted images | |
| Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
| Tan et al. | Pixelwise Estimation of Signal‐Dependent Image Noise Using Deep Residual Learning | |
| Wang et al. | Fast exposure fusion of detail enhancement for brightest and darkest regions | |
| Song et al. | Dual-model: Revised imaging network and visual perception correction for underwater image enhancement | |
| Punnappurath et al. | A little bit more: Bitplane-wise bit-depth recovery | |
| Zhu et al. | Learning dual transformation networks for image contrast enhancement | |
| CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
| US11138693B2 (en) | Attention-driven image manipulation | |
| He et al. | Low-light image enhancement with multi-scale attention and frequency-domain optimization | |
| Zheng et al. | Windowing decomposition convolutional neural network for image enhancement | |
| Liang et al. | PIE: Physics-Inspired Low-Light Enhancement | |
| Zhang et al. | Learning a single convolutional layer model for low light image enhancement | |
| CN118247181B (zh) | 图像复原模型训练方法、电子设备和图像复原方法 | |
| CN117237248B (zh) | 一种曝光调整曲线估计方法、装置、电子设备及存储介质 | |
| Wu et al. | Contrast enhancement based on reflectance-oriented probabilistic equalization | |
| Kim | Low-light image enhancement by diffusion pyramid with residuals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |