CN118379197A - 一种图像处理方法、装置及电子设备 - Google Patents
一种图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN118379197A CN118379197A CN202310119858.9A CN202310119858A CN118379197A CN 118379197 A CN118379197 A CN 118379197A CN 202310119858 A CN202310119858 A CN 202310119858A CN 118379197 A CN118379197 A CN 118379197A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- raw image
- model
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000009467 reduction Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 40
- 238000003062 neural network model Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置及电子设备，涉及图像处理技术领域，该方法包括：获取待降分辨率的目标RAW图像；利用预先训练完成的降分辨率模型将目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，降分辨率模型为利用目标RGB图像和第一真值图像所计算的模型损失进行训练得到；目标RGB图像为将输出RAW图像转换为RGB图像得到；输出RAW图像为待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为指定分辨率大小后所输出的图像；第一真值图像为将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像。本方案可以在降低RAW图像的分辨率的同时更好地保证图像质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置及电子设备。
背景技术
RAW(未加工的)图像是指图像传感器直接输出的、未经处理、未经压缩的原始图像，在获得RAW图像后，还需要占用计算资源对RAW图像进行后续的图像处理，包括：将RAW图像转换为RGB(Red\Green\Blue，红\绿\蓝)图像，以及其他ISP(Image Signal Processing，图像信号处理)处理过程。
为了节约计算资源，有时需要先降低RAW图像的分辨率，再对降低分辨率后的RAW图像进行后续的图像处理过程。相关技术中，通过传统的降采样算法，例如像素合并、双线性插值等算法，对RAW图像进行降采样处理以降低RAW图像的分辨率，然而通过这种方式处理的RAW图像在转换成RGB图像后存在明显边缘锯齿效应，且细节丢失严重，可见，相关技术在降低RAW图像的分辨率的同时严重损害了图像质量，不能很好地保证图像质量。
因此，如何在降低RAW图像的分辨率的同时更好地保证图像质量，是亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种图像处理方法，以实现在降低RAW图像的分辨率的同时更好地保证图像质量。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获取待降分辨率的目标RAW图像；
利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，所述降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；所述目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；所述输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为所述指定分辨率大小后所输出的图像；所述第一真值图像为：将所述第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的所述指定分辨率大小的图像。
可选地，所述降分辨率模型的训练方式包括：
获取所述第一样本RAW图像；
将所述第一样本RAW图像转换为RGB图像，并对所得到的RGB图像进行降采样处理，得到所述第一真值图像；
将所述第一样本RAW图像输入待训练的神经网络模型，以使所述待训练的神经网络模型将所述第一样本RAW图像的分辨率转换为所述指定分辨率大小，得到所述输出RAW图像；
将所述输出RAW图像转换为RGB图像，得到目标RGB图像；
将所述目标RGB图像和所述第一真值图像，输入指定损失函数中，以确定所述待训练的神经网络模型的模型损失；
基于所得到的模型损失，调整所述待训练的神经网络模型中的模型参数。
可选地，所述将所述输出RAW图像转换为RGB图像，得到目标RGB图像，包括：
利用预先训练的图像转换模型将所述输出RAW图像转换为RGB图像，得到目标RGB图像；其中，所述图像转换模型为：利用第二样本RAW图像，和所述第二样本RAW图像对应的第二真值图像训练得到的神经网络模型；所述第二真值图像为：利用去马赛克算法对所述第二样本RAW图像进行图像转换所得到的RGB图像。
可选地，所述将所述第一样本RAW图像转换为RGB图像，包括：
利用所述图像转换模型将所述第一样本RAW图像转换为RGB图像。
可选地，所述目标RAW图像为包含噪声的图像；
在所述将所述第一样本RAW图像输入待训练的神经网络模型之前，所述方法还包括：
对所述第一样本RAW图像进行加噪声处理，得到包含噪声的所述第一样本RAW图像；
所述利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像，包括：
将所述目标RAW图像输入预先训练完成的降分辨率模型中，以使所述降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，并对所述目标RAW图像进行降噪处理，得到降噪后的、指定分辨率大小的RAW图像。
可选地，所述第一样本RAW图像为：指定图像传感器在充足光照条件下，且感光度小于预设阈值时所采集到的RAW图像。
可选地，所述获取所述第一样本RAW图像包括：
获取指定图像传感器所采集的初始RAW图像；
将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，作为第一样本RAW图像。
可选地，所述将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，包括：
将所述初始RAW图像的各像素点的像素值分别除以不同的预设倍率值，得到每一所述预设倍率值所对应的计算处理后的RAW图像。
第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：
获取模块，用于获取待降分辨率的目标RAW图像；
降分辨率模块，用于利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，所述降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；所述目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；所述输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为所述指定分辨率大小后所输出的图像；所述第一真值图像为：将所述第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的所述指定分辨率大小的图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述图像处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。
本发明实施例有益效果：
本发明实施例提供的图像处理方法中，目标RGB图像是将降分辨率模型针对第一样本RAW图像所输出的输出图像转换为RGB图像所得到的指定分辨率大小图像，第一真值图像是将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像，可见，目标RGB图像和第一真值图像均为指定分辨率大小的RGB图像，因此可以利用目标RGB图像和第一真值图像所计算的模型损失来对降分辨率模型进行训练，使得该降分辨率模型能够学习到RAW图像降分辨率前后的映射关系，并且，第一真值图像是将第一样本RAW图像转换为RGB图像之后，再进行降采样处理所得到的，而对RGB图像进行降采样相较于直接利用传统算法对RAW图像进行降采样对图像质量的损害更小，从而利用该第一真值图像训练得到的降分辨率模型，可以在降低RAW图像的分辨率的同时更好地保证图像质量。因此，通过本方案，将待降分辨率的目标RAW图像输入训练完成的降分辨率模型中得到降低分辨率后的RAW图像，可以在降低RAW图像的分辨率的同时更好地保证图像质量。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的图像处理方法的流程图；
图2为本发明实施例所提供的图像处理方法中降分辨率模型的结构示意图；
图3为本发明实施例所提供的图像处理方法中去马赛克算法的示意图；
图4为本发明实施例所提供的图像处理方法中图像转换模型的结构示意图；
图5为本发明实施例所提供的图像处理方法的另一流程图；
图6为本发明实施例所提供的图像处理方法中模型训练的流程图；
图7为本发明实施例中通过不同处理方法进行降分辨率及降噪处理的效果对比示意图；
图8为本发明实施例所提供的图像处理装置的结构示意图；
图9为本发明实施例所提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。
目前，智能手机上拍摄的图像分辨率越来越大，以手机主摄像头的图像传感器成像分辨率为4080×3060为例，而考虑到NPU(Neural network Processing Unit，嵌入式神经网络处理器)的算力和功耗，以及实际需求，例如夜景拍摄视频1080p(分辨率为1920×1080)已足够，则此时需要降低图像传感器输出的RAW图像的分辨率，再将降低分辨率后的RAW图像输入NPU。而相关技术中，通过传统的降采样算法，例如像素合并、双线性插值等算法对RAW图像进行降采样处理的方式降低RAW图像的分辨率严重损害了图像质量。
因此，为了在降低RAW图像的分辨率的同时更好地保证图像质量，本发明提供了一种图像处理方法、装置及电子设备。
下面首先对本发明实施例所提供的图像处理方法进行介绍，该方法可以包括以下步骤：
获取待降分辨率的目标RAW图像；
利用预先训练完成的降分辨率模型将目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为指定分辨率大小后所输出的图像；第一真值图像为：将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像。
本实施例中，目标RGB图像是将降分辨率模型针对第一样本RAW图像所输出的输出图像转换为RGB图像所得到的指定分辨率大小图像，第一真值图像是将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像，可见，目标RGB图像和第一真值图像均为指定分辨率大小的RGB图像，因此可以利用目标RGB图像和第一真值图像所计算的模型损失来对降分辨率模型进行训练，使得该降分辨率模型能够学习到RAW图像降分辨率前后的映射关系，并且，第一真值图像是将第一样本RAW图像转换为RGB图像之后，再进行降采样处理所得到的，而对RGB图像进行降采样相较于直接利用传统算法对RAW图像进行降采样对图像质量的损害更小，从而利用该第一真值图像训练得到的降分辨率模型，可以在降低RAW图像的分辨率的同时更好地保证图像质量。因此，通过本方案，将待降分辨率的目标RAW图像输入训练完成的降分辨率模型中得到降低分辨率后的RAW图像，可以在降低RAW图像的分辨率的同时更好地保证图像质量。
本发明实施例所提供的图像处理方法可以应用于各类电子设备中，例如，计算机、服务器、智能手机、智能相机以及其他具有数据处理能力的设备。并且，该图像处理方法可以通过软件、硬件或软硬件结合的方式实现。
下面结合附图对本发明实施例所提供的图像处理方法进行介绍。
如图1所示，本发明实施例所提供的图像处理方法可以包括以下步骤：
S101，获取待降分辨率的目标RAW图像；
其中，目标RAW图像为待降分辨率的RAW图像，其可以为任意RAW图像，例如，可以为指定图像传感器所采集的RAW图像。一实现方式中，获取目标RAW图像的方式可以为，实时获取指定图像传感器所采集的RAW图像。一实现方式中，目标RAW图像可以为预先采集，并存储在指定存储位置的RAW图像，则获取目标RAW图像的方式可以为，从指定存储位置获取目标RAW图像。
S102，利用预先训练完成的降分辨率模型将目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为指定分辨率大小后所输出的图像；第一真值图像为：将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像。
本步骤中，指定分辨率可以为预先设定的任意分辨率大小，例如2K分辨率(2560×1440)、1080p分辨率(1920×1080)分辨率、720p分辨率(1280×720)等，还可以比例大小，例如，1/2、1/3等。
降分辨率模型可以为预设的神经网络模型，示例性的，该降分辨率模型的结构可以如图2所示，其可以包含三部分：预处理阶段(pre)、编解码器(encoder-decoder)、后处理阶段(post)，其中，预处理阶段和后处理阶段均由多个卷积层和ReLU(Rectified LinearUnit，线性整流激活函数)层堆叠而成，编解码器可以先对特征图进行编码，即减小空间分辨率，增加通道数，再进行解码，即增大空间分辨率，减小通道数，编解码器中也包含多个卷积层和ReLU层，还包含两个反卷积层，并且编解码器中的网络层采用了跳跃连接的结构，以实现不同阶段的特征图的融合。为了使得该降分辨率模型具有降分辨率的功能，可以通过设置预处理阶段的第一个卷积层的参数来实现，例如，当需要输入的RAW图像的形状为(h,w,1)，需要输出的图像的分辨率大小为(h/2,w/2,1)，则可以将预处理阶段的第一个卷积层的参数设为kernel_size(卷积核尺寸)＝3，stride(步长)＝2，padding(填充)＝1。若需要降低为其他的分辨率大小，也可以根据需求设置该卷积层的参数。
上述降分辨率模型的结构仅为示例性的介绍，降分辨率模型当然也可以为其他结构。
在训练该降分辨率模型时需要利用目标RGB图像和第一真值图像计算该降分辨率模型的模型损失，从而根据该模型损失调整该降分辨率模型的模型参数。例如，该降分辨率模型的训练方式可以包括如下步骤：
步骤A1，获取第一样本RAW图像；
第一样本RAW图像可以为任意图像传感器所采集的RAW图像，其还可以为从预先创建的RAW图像的样本集中获取的样本RAW图像，每一次所获取的第一样本RAW图像的数量可以根据需求确定，例如每次可以获取单张，也可以获取多张。
步骤A2，将第一样本RAW图像转换为RGB图像，并对所得到的RGB图像进行降采样处理，得到第一真值图像；
在一实现方式中，将第一样本RAW图像转换为RGB图像的方式可以采用demosaic(去马赛克)算法，例如，opencv(开源的计算机视觉库)中具有去马赛克功能的函数，如cvtColor(颜色空间转换函数)，从而将RAW图像bayer(相机内部的原始图片)格式的数据转换为RGB格式的数据。如图3所示，RAW图像为单通道的图像，其中包含的红色像素R、绿色像素G和蓝色像素B按照一定的顺序依次排列，采用demosaic算法进行插值后，得到三通道的RGB图像，RGB图像中的每一通道中分别包含红色像素R、绿色像素G和蓝色像素B。在另一实现方式中，还可以采用预先训练的图像转换模型将第一样本RAW图像转换为RGB图像。
在将第一样本RAW图像转换为RGB图像后，还需要对所得到的RGB图像进行降采样处理，其中，降采样处理的方式可以为采用传统的降采样算法，例如像素合并、双线性插值等算法进行降采样处理，由于第一样本RAW图像已转换成了RGB图像，因此，这里采用传统的降采样算法进行降采样处理对图像质量的损害较小，能够保证降采样处理所得到的第一真值图像的图像质量，进而使得训练得到的降分辨率模型能更好的保证图像质量。
步骤A3，将第一样本RAW图像输入待训练的神经网络模型，以使待训练的神经网络模型将第一样本RAW图像的分辨率转换为指定分辨率大小，得到输出RAW图像；
步骤A4，将输出RAW图像转换为RGB图像，得到目标RGB图像；
该步骤中，为了实现对降分辨率模型进行模型训练，这里可以利用预先训练的图像转换模型将输出RAW图像转换为RGB图像，得到目标RGB图像，从而利用神经网络可以进行梯度传播的特性，为后续利用损失函数进行模型训练提供实现基础。
其中，图像转换模型可以为：利用第二样本RAW图像，和第二样本RAW图像对应的第二真值图像训练得到的神经网络模型；第二真值图像为：利用去马赛克算法对第二样本RAW图像进行图像转换所得到的RGB图像。
上述第二样本RAW图像可以为上述第一样本RAW图像，当然也可以为其他RAW图像。在训练该将图像转换模型时，可以将第二样本RAW图像进行图像转换得到的RGB图像作为第二真值图像，并利用待训练的图像转换模型将第一样本RAW图像转换为RGB图像，从而利用该转换后的图像，和第二真值图像计算该图像转换模型的模型损失，进而利用所得到的模型损失对该图像转换模型的模型参数进行调整，直至该图像转换模型收敛。在训练过程中，该图像转换模型可以学习RAW图像与RGB图像之间的映射关系，从而训练完成的图像转换模型能够实现将RAW图像转换为RGB图像的功能，并且该图像转换模型还可以在训练上述降分辨率模型时进行梯度的传播，为降分辨率模型的训练提供实现基础。
示例性的，如图4所示，该图像转换模型也可以采用与降分辨率模型类似的网络结构，包含三部分：预处理阶段(pre)、编解码器(encoder-decoder)、后处理阶段(post)，预处理阶段和后处理阶段由多个卷积层和ReLU层堆叠而成，编解码器中包含多个卷积层和ReLU层，以及反卷积层，并且采用跳跃连接的结构以实现不同阶段的特征图的融合。该图像转换模型需要将输入的单通道的RAW图像(h,w,1)转换为输出的三通道的RGB图像(h,w,3)，为了实现这一功能，可以将后处理阶段最后一层的卷积层的通道设置为3。
上述将第一样本RAW图像转换为RGB图像的步骤中，也可以利用该图像转换模型将第一样本RAW图像转换为RGB图像。
步骤A5，将目标RGB图像和第一真值图像，输入指定损失函数中，以确定待训练的神经网络模型的模型损失；
示例性的，上述指定损失函数可以为：loss＝y-gt'；
其中，loss为指定损失函数，y为目标RGB图像，gt’为第一真值图像。
步骤A6，基于所得到的模型损失，调整待训练的神经网络模型中的模型参数。
本步骤中，可以采用梯度下降法调整模型参数，并且在训练模型时，可以多次执行获取第一样本RAW图像的步骤，以采用上述方法调整待训练的神经网络模型中的模型参数，直至该神经网络模型收敛，得到训练完成的图像转换模型。
当需要对目标RAW图像进行降分辨率处理时，则可以利用预先训练完成的降分辨率模型将目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像。
本实施例中，目标RGB图像是将降分辨率模型针对第一样本RAW图像所输出的输出图像转换为RGB图像所得到的指定分辨率大小图像，第一真值图像是将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像，可见，目标RGB图像和第一真值图像均为指定分辨率大小的RGB图像，因此可以利用目标RGB图像和第一真值图像所计算的模型损失来对降分辨率模型进行训练，使得该降分辨率模型能够学习到RAW图像降分辨率前后的映射关系，并且，第一真值图像是将第一样本RAW图像转换为RGB图像之后，再进行降采样处理所得到的，而对RGB图像进行降采样相较于直接利用传统算法对RAW图像进行降采样对图像质量的损害更小，从而利用该第一真值图像训练得到的降分辨率模型，可以在降低RAW图像的分辨率的同时更好地保证图像质量。因此，通过本方案，将待降分辨率的目标RAW图像输入训练完成的降分辨率模型中得到降低分辨率后的RAW图像，可以在降低RAW图像的分辨率的同时更好地保证图像质量。
可选地，在本发明的另一实施例中，上述目标RAW图像可以为包含噪声的图像；
目前，夜间暗光环境下的成像一直是一个难题，由于传感器入射的光子数目低，受噪声影响大，导致成像的结果难以令人满意。视频/图像降噪技术主要用于解决噪声问题，提升图像的信噪比和观感。降噪技术可以分为传统降噪技术和深度学习技术两大类，其中深度学习技术用于降噪可以取得比传统降噪算法更好的效果。深度学习技术中通过预先训练的降噪模型对图像进行降噪，一个典型的监督学习的降噪模型训练过程为：输入噪声图像数据(记为input)，经过神经网络处理得到输出结果(记为output)，再将output和标签数据(又叫真值数据，记为ground-truth，简记作gt)计算模型损失，即loss＝output-input，从而利用该模型损失进行反向传播以调整模型参数，从而得到一个较为理想的降噪模型。由于深度学习技术尤其是监督学习中，用于训练模型的图像的图像质量非常关键。近些年越来越多的方法选择利用RAW图像进行降噪，这是因为：RAW图像的信号值与入射光成良好的线性关系；RAW图像可以基于物理成像过程进行精确建模；相较于RAW图像，RGB图像经过了ISP各种复杂的非线性处理，成对的噪声-真值数据不易获取，模型学习起来难度也更大。
因此，为了更好地进行降噪，本方案可以在降低RAW图像的分辨率的同时，对RAW图像进行降噪。为了实现降噪的功能，本实施例中，可以在将第一样本RAW图像输入待训练的神经网络模型之前，对第一样本RAW图像进行加噪声处理，得到包含噪声的第一样本RAW图像。
如图5所示，本实施例在训练降分辨率模型时可以采用如下步骤：
S501，获取第一样本RAW图像；
S502，对第一样本RAW图像进行加噪声处理，得到包含噪声的第一样本RAW图像；
本步骤中，可以为第一样本RAW图像添加泊松噪声和/或高斯噪声的方式，以实现对第一样本RAW图像的加噪声处理。
S503，将第一样本RAW图像转换为RGB图像，并对所得到的RGB图像进行降采样处理，得到第一真值图像；
S504，将第一样本RAW图像输入待训练的神经网络模型，以使待训练的神经网络模型将第一样本RAW图像的分辨率转换为指定分辨率大小，得到输出RAW图像；
S505，将输出RAW图像转换为RGB图像，得到目标RGB图像；
S506，将目标RGB图像和第一真值图像，输入指定损失函数中，以确定待训练的神经网络模型的模型损失；
S507，基于所得到的模型损失，调整待训练的神经网络模型中的模型参数。
以上步骤S501和S503-S507在上文均已介绍，在此不再赘述。
进一步的，为了保证图像质量，上述第一样本RAW图像可以为：指定图像传感器在充足光照条件下，且感光度小于预设阈值时所采集到的RAW图像。可以理解的，图像传感器在充足光照条件，且感光度较小的情况下所采集到的RAW图像中噪声较小，可以近似看作无噪声图像，从而利用该第一样本RAW图像训练得到的降分辨率模型可以具有更好的降噪效果。
进而，在对目标RAW图像进行降噪及降分辨率处理时，可以将将目标RAW图像输入预先训练完成的降分辨率模型中，以使降分辨率模型将目标RAW图像的分辨率转换为指定分辨率大小，并对目标RAW图像进行降噪处理，得到降噪后的、指定分辨率大小的RAW图像。
为了增大样本数量，从而提高训练后的降分辨率模型降噪及降分辨率的效果，上述获取第一样本RAW图像的步骤可以包括：
获取指定图像传感器所采集的初始RAW图像；将初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一预设计算处理对应的计算处理后的RAW图像，作为第一样本RAW图像。其中，预设计算处理可以为翻转处理、旋转处理、随机颜色抖动处理等中的至少一种。
此外，可以理解的，噪声较多的图像往往都是在暗光条件下采集到的，因此，为了模拟暗光条件，还可以将初始RAW图像的各像素点的像素值分别除以预设倍率值，从而降低初始RAW图像的亮度，以模拟暗光条件下采集的RAW图像，从而提高降分辨率模型针对模拟暗光条件下采集的RAW图像进行降噪的效果。并且还可以将初始RAW图像的各像素点的像素值分别除以不同的预设倍率值，得到每一预设倍率值所对应的计算处理后的RAW图像，以增大样本数量。
本实施例中，可以在降低RAW图像的分辨率的同时更好地保证图像质量。进一步的，在将第一样本RAW图像输入待训练的神经网络模型之前，对第一样本RAW图像进行加噪声处理，得到包含噪声的第一样本RAW图像，可以训练得到具有降低RAW图像的分辨率及降噪功能的降分辨率模型，从而将目标RAW图像输入该降分辨率模型，可以在降低目标RAW图像的分辨率的同时降低目标RAW图像的噪声。
为了便于理解，下面结合附图对本发明所提供的图像处理方法的降分辨率模型的训练过程进行示例性介绍。
如图6所示，在训练降分辨率模型时，可以将降分辨率模型与图像转换模型相连，这样，第一样本RAW图像先经降分辨率模型处理得到降分辨率后的中间结果，这个中间结果再经过图像转换模型处理得到目标RGB图像，其中，第一样本RAW图像可以为经过加噪声处理后的RAW图像。
在训练降分辨率模型之前，可以先训练图像转换模型：先利用opencv中具有demosaic功能的函数(cvtColor)处理第二样本RAW图像得到图像转换模型的真值图像，即第二真值图像。图像转换模型处理第二样本RAW图像，输出RGB图像，进而可以利用该输出的RGB图像与第二真值图像计算图像转换模型的模型损失，以调整图像转换模型的模型参数。训练得到的图像转换模型可以模拟真实的去马赛克算法的功能，并且具备神经网络可以进行梯度传播的特性，为训练降分辨率模型提供实现基础。
在构建第一真值图像时，则可以将第一样本RAW图像对应的无噪声图像输入图像转换模型中，再将图像转换模型输出的RGB图像进行降采样处理，例如，双线性插值的方式，得到降分辨率后的RGB图像，作为第一真值图像，从而可以利用第一真值图像和目标RGB图像计算降分辨率模型的模型损失，以调整降分辨率模型的模型参数。在训练完成后，可以去除图像转换模型，在实际使用过程中仅利用训练得到的降分辨率模型对RAW图像进行处理，该训练得到的降分辨率模型可以在降低RAW图像的分辨率的同时更好地保证图像质量，并且还具备降噪的功能。
需要说明的是，相关技术采用深度学习技术进行降分辨率及降噪处理时，在训练模型的过程中，通常利用binning(像素合并)算法处理无噪声的RAW图像，也就是将RAW图像中每四个相邻(2×2)的像素值相加或平均，并将得到的图像作为真值图像，再对无噪声的RAW图像进行加噪声处理，作为模型的输入。然而，通过这种方式得到的真值图像的图像质量损害严重，该真值图像在经ISP后，图像解析力下降，且边缘锯齿效应明显，细节丢失严重。将binning换成其他方式如双线性插值效果也类似。由于采用了图像质量损害严重的图像训练得到的模型其用于降低RAW图像的分辨率所得到的图像的图像质量也必然难以得到保证。而本方案中，第一真值图像是将第一样本RAW图像转换为RGB图像之后，再进行降采样处理所得到的，而对RGB图像进行降采样相较于直接利用传统算法对RAW图像进行降采样对图像质量的损害更小，从而利用该第一真值图像训练得到的降分辨率模型，可以在降低RAW图像的分辨率的同时更好地保证图像质量。如图7所示，图7展示了通过不同处理方法进行降分辨率及降噪处理的效果对比，从上至下分别为：包含噪声的图像；对无噪声的RAW图像进行binning后作为真值图像训练得到模型进行降分辨率及降噪处理所得到图像，第三幅图利用本发明实施例的图像处理方法所得到的降分辨率及降噪处理后的图像，可以看到，本发明实施例的图像处理方法在取得明显降噪效果的同时，更好地保持了图像细节，边缘的锯齿效应更轻。
本实施例中，目标RGB图像是将降分辨率模型针对第一样本RAW图像所输出的输出图像转换为RGB图像所得到的指定分辨率大小图像，第一真值图像是将第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的指定分辨率大小的图像，可见，目标RGB图像和第一真值图像均为指定分辨率大小的RGB图像，因此可以利用目标RGB图像和第一真值图像所计算的模型损失来对降分辨率模型进行训练，使得该降分辨率模型能够学习到RAW图像降分辨率前后的映射关系，并且，第一真值图像是将第一样本RAW图像转换为RGB图像之后，再进行降采样处理所得到的，而对RGB图像进行降采样相较于直接利用传统算法对RAW图像进行降采样对图像质量的损害更小，从而利用该第一真值图像训练得到的降分辨率模型，可以在降低RAW图像的分辨率的同时更好地保证图像质量。因此，通过本方案，将待降分辨率的目标RAW图像输入训练完成的降分辨率模型中得到降低分辨率后的RAW图像，可以在降低RAW图像的分辨率的同时更好地保证图像质量。
本发明实施例还提供了一种图像处理装置，如图8所示，该装置包括：
获取模块801，用于获取待降分辨率的目标RAW图像；
降分辨率模块802，用于利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，所述降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；所述目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；所述输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为所述指定分辨率大小后所输出的图像；所述第一真值图像为：将所述第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的所述指定分辨率大小的图像。
可选地，所述降分辨率模型的训练方式包括：
获取所述第一样本RAW图像；
将所述第一样本RAW图像转换为RGB图像，并对所得到的RGB图像进行降采样处理，得到所述第一真值图像；
将所述第一样本RAW图像输入待训练的神经网络模型，以使所述待训练的神经网络模型将所述第一样本RAW图像的分辨率转换为所述指定分辨率大小，得到所述输出RAW图像；
将所述输出RAW图像转换为RGB图像，得到目标RGB图像；
将所述目标RGB图像和所述第一真值图像，输入指定损失函数中，以确定所述待训练的神经网络模型的模型损失；
基于所得到的模型损失，调整所述待训练的神经网络模型中的模型参数。
可选地，所述将所述输出RAW图像转换为RGB图像，得到目标RGB图像，包括：
利用预先训练的图像转换模型将所述输出RAW图像转换为RGB图像，得到目标RGB图像；其中，所述图像转换模型为：利用第二样本RAW图像，和所述第二样本RAW图像对应的第二真值图像训练得到的神经网络模型；所述第二真值图像为：利用去马赛克算法对所述第二样本RAW图像进行图像转换所得到的RGB图像。
可选地，所述将所述第一样本RAW图像转换为RGB图像，包括：
利用所述图像转换模型将所述第一样本RAW图像转换为RGB图像。
可选地，所述目标RAW图像为包含噪声的图像；所述装置还包括加噪声模块，用于在所述降分辨率模块将所述第一样本RAW图像输入待训练的神经网络模型之前，对所述第一样本RAW图像进行加噪声处理，得到包含噪声的所述第一样本RAW图像；
所述降分辨率模块，具体用于：
将所述目标RAW图像输入预先训练完成的降分辨率模型中，以使所述降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，并对所述目标RAW图像进行降噪处理，得到降噪后的、指定分辨率大小的RAW图像。
可选地，所述第一样本RAW图像为：指定图像传感器在充足光照条件下，且感光度小于预设阈值时所采集到的RAW图像。
可选地，所述获取所述第一样本RAW图像包括：
获取指定图像传感器所采集的初始RAW图像；
将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，作为第一样本RAW图像。
可选地，所述将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，包括：
将所述初始RAW图像的各像素点的像素值分别除以不同的预设倍率值，得到每一所述预设倍率值所对应的计算处理后的RAW图像。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述图像处理方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待降分辨率的目标RAW图像；
利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，所述降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；所述目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；所述输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为所述指定分辨率大小后所输出的图像；所述第一真值图像为：将所述第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的所述指定分辨率大小的图像。
2.根据权利要求1所述的方法，其特征在于，所述降分辨率模型的训练方式包括：
获取所述第一样本RAW图像；
将所述第一样本RAW图像转换为RGB图像，并对所得到的RGB图像进行降采样处理，得到所述第一真值图像；
将所述第一样本RAW图像输入待训练的神经网络模型，以使所述待训练的神经网络模型将所述第一样本RAW图像的分辨率转换为所述指定分辨率大小，得到所述输出RAW图像；
将所述输出RAW图像转换为RGB图像，得到目标RGB图像；
将所述目标RGB图像和所述第一真值图像，输入指定损失函数中，以确定所述待训练的神经网络模型的模型损失；
基于所得到的模型损失，调整所述待训练的神经网络模型中的模型参数。
3.根据权利要求2所述的方法，其特征在于，所述将所述输出RAW图像转换为RGB图像，得到目标RGB图像，包括：
利用预先训练的图像转换模型将所述输出RAW图像转换为RGB图像，得到目标RGB图像；其中，所述图像转换模型为：利用第二样本RAW图像，和所述第二样本RAW图像对应的第二真值图像训练得到的神经网络模型；所述第二真值图像为：利用去马赛克算法对所述第二样本RAW图像进行图像转换所得到的RGB图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一样本RAW图像转换为RGB图像，包括：
利用所述图像转换模型将所述第一样本RAW图像转换为RGB图像。
5.根据权利要求2所述的方法，其特征在于，所述目标RAW图像为包含噪声的图像；
在所述将所述第一样本RAW图像输入待训练的神经网络模型之前，所述方法还包括：
对所述第一样本RAW图像进行加噪声处理，得到包含噪声的所述第一样本RAW图像；
所述利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像，包括：
将所述目标RAW图像输入预先训练完成的降分辨率模型中，以使所述降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，并对所述目标RAW图像进行降噪处理，得到降噪后的、指定分辨率大小的RAW图像。
6.根据权利要求5所述的方法，其特征在于，所述第一样本RAW图像为：指定图像传感器在充足光照条件下，且感光度小于预设阈值时所采集到的RAW图像。
7.根据权利要求2所述的方法，其特征在于，所述获取所述第一样本RAW图像包括：
获取指定图像传感器所采集的初始RAW图像；
将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，作为第一样本RAW图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述初始RAW图像的各像素点的像素值进行多种预设计算处理，得到每一所述预设计算处理对应的计算处理后的RAW图像，包括：
将所述初始RAW图像的各像素点的像素值分别除以不同的预设倍率值，得到每一所述预设倍率值所对应的计算处理后的RAW图像。
9.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待降分辨率的目标RAW图像；
降分辨率模块，用于利用预先训练完成的降分辨率模型将所述目标RAW图像的分辨率转换为指定分辨率大小，得到降低分辨率后的RAW图像；其中，所述降分辨率模型为：利用目标RGB图像和第一真值图像所计算的模型损失进行训练所得到的模型；所述目标RGB图像为：将输出RAW图像转换为RGB图像所得到的图像；所述输出RAW图像为：待训练的降分辨率模型将预设的第一样本RAW图像的分辨率转换为所述指定分辨率大小后所输出的图像；所述第一真值图像为：将所述第一样本RAW图像转换为RGB图像后，对所得到的RGB图像进行降采样处理所得到的所述指定分辨率大小的图像。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119858.9A CN118379197A (zh) | 2023-01-18 | 2023-01-18 | 一种图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310119858.9A CN118379197A (zh) | 2023-01-18 | 2023-01-18 | 一种图像处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118379197A true CN118379197A (zh) | 2024-07-23 |
Family
ID=91904657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310119858.9A Pending CN118379197A (zh) | 2023-01-18 | 2023-01-18 | 一种图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118379197A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529775A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| WO2021114184A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 神经网络模型的训练方法、图像处理方法及其装置 |
| KR20210082901A (ko) * | 2019-12-26 | 2021-07-06 | 고려대학교 산학협력단 | 두 단계 U-Net 구조 기반의 어긋난 데이터를 이용한 raw에서 RGB로의 매핑 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| WO2022092555A1 (ko) * | 2020-10-27 | 2022-05-05 | 삼성전자 주식회사 | 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치 |
| CN115409709A (zh) * | 2022-08-30 | 2022-11-29 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2023
- 2023-01-18 CN CN202310119858.9A patent/CN118379197A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529775A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| WO2021114184A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 神经网络模型的训练方法、图像处理方法及其装置 |
| KR20210082901A (ko) * | 2019-12-26 | 2021-07-06 | 고려대학교 산학협력단 | 두 단계 U-Net 구조 기반의 어긋난 데이터를 이용한 raw에서 RGB로의 매핑 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| WO2022092555A1 (ko) * | 2020-10-27 | 2022-05-05 | 삼성전자 주식회사 | 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치 |
| CN115409709A (zh) * | 2022-08-30 | 2022-11-29 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| HUANG H等: "Towards low light enhancement with raw images", IEEE TRANS. IMAGE PROCESS, 31 December 2022 (2022-12-31), pages 1391 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021179820A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2020192483A1 (zh) | 图像显示方法和设备 | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| US11776129B2 (en) | Semantic refinement of image regions | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| EP3706042B1 (en) | Image processing method, image processing apparatus, program, image processing system, and manufacturing method of learnt model | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
| CN110557584B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| KR20190004271A (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
| TWI769725B (zh) | 圖像處理方法、電子設備及電腦可讀儲存介質 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN110992265A (zh) | 图像处理方法及模型、模型的训练方法及电子设备 | |
| US20240179421A1 (en) | Method and apparatus for generating image data | |
| US11972543B2 (en) | Method and terminal for improving color quality of images | |
| TW202320019A (zh) | 影像修改技術 | |
| JP2021179833A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111429371A (zh) | 图像处理方法、装置及终端设备 | |
| CN114820405A (zh) | 图像融合方法、装置、设备及计算机可读存储介质 | |
| WO2022247232A1 (zh) | 一种图像增强方法、装置、终端设备及存储介质 | |
| CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| CN113052768B (zh) | 一种处理图像的方法、终端及计算机可读存储介质 | |
| CN112561818B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN115063301A (zh) | 一种视频去噪方法、视频处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |