CN115955611B - 图像处理方法与电子设备 - Google Patents

Abstract

本申请涉及图像处理领域，提供了一种图像处理方法与电子设备，应用于电子设备，电子设备包括多光谱色彩过滤器阵列传感器，该方法包括：启动电子设备中的相机应用程序；获取第一图像，第一图像为多光谱色彩过滤器阵列传感器采集的图像；对第一图像进行第一图像处理，得到第二图像；对第一图像进行第二图像处理，得到第三图像，第三图像为N个通道的图像；基于第二图像与第三图像得到目标数据，目标数据用于表示三通道与N个通道之间的映射关系；基于第二图像与目标数据，得到第四图像；保存或者显示目标图像。基于本申请的技术方案，在充分利用传统的图像信号处理器的前提下，能够保留N个通道的图像信息的颜色还原度，提高图像的颜色准确性。

Description

图像处理方法与电子设备

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像处理方法与电子设备。

背景技术

随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动中大量的使用图像信息；传统的图像传感器通常采集的为三通道的图像信息；对于多光谱色彩过滤器阵列传感器而言，通常可以采集N通道(例如，N为大于或者等于3的整数)的图像信息；N通道可以包括红、绿、蓝三通道与其他颜色通道；由于N个通道的图像信息与三通道的图像信息相比具有更多颜色通道的图像信息，因此通过N个通道的图像信息可以提高图像的颜色还原度与信噪比。

但是，目前的图像信号传感器处理的图像数据通常为三通道的图像数据(例如，RGB三通道，或者，RYB三通道)；若需要对通道数量大于三通道的图像信息进行处理，则需要对图像信号处理器进行硬件改进，难度较大。

因此，如何对图像进行处理，实现在充分利用传统的图像信号处理器的前提下，还能够保留N个通道的图像信息的颜色还原度成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法与电子设备，在充分利用传统的图像信号处理器的前提下，能够保留N个通道的图像信息的颜色还原度；提高图像的颜色准确性。

第一方面，提供了一种图像处理方法，应用于电子设备应用于电子设备，所述电子设备包括多光谱色彩过滤器阵列传感器，所述图像处理方法包括：

启动所述电子设备中的相机应用程序；

获取第一图像，所述第一图像为所述多光谱色彩过滤器阵列传感器采集的图像；

对所述第一图像进行第一图像处理，得到第二图像，所述第二图像为三通道的图像，或者所述第二图像为L个通道的图像，所述L个通道包括所述三通道；

对所述第一图像进行第二图像处理，得到第三图像，所述第三图像为N个通道的图像，N为大于或者等于3的整数；

基于所述第二图像与所述第三图像得到目标数据，所述目标数据用于表示所述三通道与所述N个通道之间的映射关系；

基于所述第二图像与所述目标数据，得到第四图像，所述第四图像为所述三通道的图像；

保存或者显示目标图像，目标图像为基于所述第四图像得到的。

应理解，色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，色彩过滤器阵列传感器用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(color filter)以获取像素点的色彩信息。

在本申请的实施例中，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

在一个示例中，多光谱色彩过滤器阵列传感器获取的Raw图像可以是RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。

在一个示例中，多光谱色彩过滤器阵列传感器获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示洋红色(magenta)。

结合第一方面，在第一方面的某些实现方式中，在所述第二图像为所述三通道的图像时，所述对所述第一图像进行第一图像处理，得到第二图像，包括：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到所述第二图像。

应理解，采用Remosaic算法输出图像时，可以将像素重新排列为Bayer格式图像。例如，采用Remosaic算法输出图像时，可以将Quad bayer(例如，四个同色像素排在一起)转换为Bayer格式图像；或者，可以将RGBCMYRaw图像转为Bayer格式图像。

结合第一方面，在第一方面的某些实现方式中，在所述第二图像为所述L个通道图像的图像时，所述对所述第一图像进行第一图像处理，得到第二图像，包括：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到第六图像，所述第六图像为所述三通道的图像；

基于核函数对所述第六图像进行处理，得到所述第二图像。

应理解，核函数用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

在本申请的实施例中，通过对第六图像进行核函数处理，可以将第六图像映射到高维特征空间；由于特征空间的维度越高，图像中对应的参数量越多，则基于第二图像与第三图像得到的目标数据的准确率越高；目标数据的准确率越高，则图像的颜色还原度越高，图像的颜色准确性越高。

结合第一方面，在第一方面的某些实现方式中，所述第六图像为通过所述图像信号处理器处理后，并进行下采样处理得到的图像。

在本申请实施例中的图像处理方法中，由于将第六图像映射至高维度的特征空间；因此，整体的运算量较大；为了减小电子设备的运算量，可以对图像信号处理器处理后的图像进行下采样处理，从而减小第六图的尺寸大小；减少电子设备计算目标数据时的运算量。

结合第一方面，在第一方面的某些实现方式中，所述目标数据为目标矩阵，所述基于所述第二图像与所述第三图像得到目标数据，包括：

基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵。

结合第一方面，在第一方面的某些实现方式中，所述基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵，包括：

基于以下公式得到所述目标矩阵：

M＝argmin(I_T1*M-I_T2)；

其中，M表示所述目标矩阵，I_T1表示所述第二图像，I_T2表示所述第三图像。

结合第一方面，在第一方面的某些实现方式中，所述基于所述第二图像与所述目标数据，得到第四图像，包括：

将所述第二图像与所述目标矩阵相乘，得到所述第四图像。

在一种可能的实现方式中，若第二图像为三通道时，第二图像对应的图像数据可以为64×48×3的矩阵，目标矩阵可以为3×3的矩阵，则64×48×3的矩阵与3×3的矩阵的转置相乘可以得到第四图像对象的图像数据。

在一种可能的实现方式中，若第二图像为九通道时，第二图像对应的图像数据可以为64×48×9的矩阵，目标矩阵可以为3×9的矩阵，则64×48×9的矩阵与3×9的矩阵的转置相乘可以得到第四图像对象的图像数据。

结合第一方面，在第一方面的某些实现方式中，在所述保存或者显示目标图像之前，还包括：

获取所述第四图像的直方图，所述直方图包括第一直方图、第二直方图与第三直方图，所述直方图与所述三通道对应；

获取第一数据、第二数据与第三数据，所述第一数据为所述第一直方图中预设位置的数据，所述第二数据为所述第二直方图中所述预设位置的数据，所述第三数据为所述第三直方图中所述预设位置的数据。

结合第一方面，在第一方面的某些实现方式中，在所述第一数据小于第一预设阈值、所述第一数据小于第二预设阈值，且所述第三数据小于第三预设阈值时，所述第目标图像为所述第四图像。

结合第一方面，在第一方面的某些实现方式中，所述保存或者显示目标图像，包括：

在所述第一数据大于或者等于第一预设阈值、所述第二数据大于或者等于第二预设阈值，或者所述第三数据大于或者等于第三预设阈值时，对所述第四图像与所述第二图像进行融合处理，得到所述目标图像；

保存或者显示所述目标图像。

在本申请的实施例中，在第四图像中的至少一个通道的数据不满足预设阈值时，表示融合图像中存在颜色失真的图像区域；此时，可以对第四图像与第二图像进行融合处理，从而有效地减少目标图像中的颜色失真区域。

结合第一方面，在第一方面的某些实现方式中，所述第二图像处理包括黑电平校正和/或镜头阴影校正。

结合第一方面，在第一方面的某些实现方式中，所述三通道是指红色通道、绿色通道与蓝色通道。

第二方面，提供了一种电子设备，所述电子设备包括一个或多个处理器、存储器与多光谱色彩过滤器阵列传感器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

启动所述电子设备中的相机应用程序；

获取第一图像，所述第一图像为所述多光谱色彩过滤器阵列传感器采集的图像；

对所述第一图像进行第一图像处理，得到第二图像，所述第二图像为三通道的图像，或者所述第二图像为L个通道的图像，所述L个通道包括所述三通道；

对所述第一图像进行第二图像处理，得到第三图像，所述第三图像为N个通道的图像，N为大于或者等于3的整数；

基于所述第二图像与所述第三图像得到目标数据，所述目标数据用于表示所述三通道与所述N个通道之间的映射关系；

基于所述第二图像与所述目标数据，得到第四图像，所述第四图像为所述三通道的图像；

保存或者显示所述第四图像。

结合第二方面，在第二方面的某些实现方式中，在所述第二图像为所述三通道的图像时，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到所述第二图像。

结合第二方面，在第二方面的某些实现方式中，在所述第二图像为所述L个通道图像的图像时，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到第六图像，所述第六图像为所述三通道的图像；

基于核函数对所述第六图像进行处理，得到所述第二图像。

结合第二方面，在第二方面的某些实现方式中，所述第六图像为通过所述图像信号处理器处理后，并进行下采样处理得到的图像。

结合第二方面，在第二方面的某些实现方式中，所述目标数据为目标矩阵，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

基于以下公式得到所述目标矩阵：

M＝argmin(I_T1*M-I_T2)；

其中，M表示所述目标矩阵，I_T1表示所述第二图像，I_T2表示所述第三图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第二图像与所述目标矩阵相乘，得到所述第四图像。

结合第二方面，在第二方面的某些实现方式中，在所述保存或者显示目标图像之前，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

获取所述第四图像的直方图，所述直方图包括第一直方图、第二直方图与第三直方图，所述直方图与所述三通道对应；

获取第一数据、第二数据与第三数据，所述第一数据为所述第一直方图中预设位置的数据，所述第二数据为所述第二直方图中所述预设位置的数据，所述第三数据为所述第三直方图中所述预设位置的数据。

结合第二方面，在第二方面的某些实现方式中，在所述第一数据小于第一预设阈值、所述第一数据小于第二预设阈值，且所述第三数据小于第三预设阈值时，所述第目标图像为所述第四图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

在所述第一数据大于或者等于第一预设阈值、所述第二数据大于或者等于第二预设阈值，或者所述第三数据大于或者等于第三预设阈值时，对所述第四图像与所述第二图像进行融合处理，得到所述目标图像；

保存或者显示所述目标图像。

结合第二方面，在第二方面的某些实现方式中，所述第二图像处理包括黑电平校正、镜头阴影校正或者自动白平衡。

结合第二方面，在第二方面的某些实现方式中，所述三通道是指红色通道、绿色通道与蓝色通道。

第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中任一种图像处理方法的模块/单元。

第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器、存储器与多光谱色彩过滤器阵列传感器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中的任一种方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一面中的任一种方法。

本申请的实施例提供了一种图像处理方法，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的软件系统的示意图；

图3是一种适用于本申请实施例的应用场景的示意图；

图4是一种适用于本申请的图像处理方法的系统架构的示意图；

图5是本申请实施例提供的色彩过滤器阵列传感器的频谱响应曲线；

图6是本申请实施例提供的一种图像处理方法的示意性流程图；

图7是本申请实施例提供的又一种图像处理方法的示意性流程图；

图8是本申请实施例提供的又一种图像处理方法的示意性流程图；

图9是本申请实施例提供的像素重排的示意图；

图10是本申请实施例提供的又一种图像处理方法的示意性流程图；

图11是本申请实施例提供的基于本申请的图像处理方法的效果示意图；

图12是一种适用于本申请实施例的图形用户界面的示意图；

图13是一种适用于本申请实施例的图形用户界面的示意图；

图14是本申请实施例提供的一种电子设备的结构示意图；

图15是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、色彩过滤器阵列(color filter array，CFA)传感器

色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，色彩过滤器阵列传感器用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(color filter)以获取像素点的色彩信息。

在本申请的实施例中，色彩过滤器阵列传感器又可以称为“多光谱色彩过滤器阵列传感器”或者“多光谱传感器”。

2、标准红绿蓝(standard Red Green Blue，sRGB)

sRGB代表了标准的红、绿、蓝，即显示器、面板、投影机、打印机或者其他设备中色彩再现所使用的三个基本色素。其中，sRGB的色彩空间基于独立的色彩坐标，可以使色彩在不同的设备使用传输中对应于同一的色彩坐标体系，而不受这些设备各自具有的不同色彩坐标的影响。

3、色彩空间

以一维、二维、三维或者四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。

4、图像传感器

图像传感器也可以称为影像传感器，是指用于成像的传感器；根据元件的不同，可分为电荷耦合元件(Charge Coupled Device，CCD)传感器和金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor，CMOS)传感器两大类；目前，移动终端和数码相机通常采用CMOS传感器。

5、核函数

核函数是一种统计学术语，用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

6、黑电平校正(black level correction，BLC)

黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。

7、镜头阴影校正(lens shading correction，LSC)

镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。

8、自动白平衡(auto white balance，AWB)

自动白平衡用于使得白色在任何色温下相机均能将它还原成白。

9、颜色校正矩阵(color correctionmatrix，CCM)

颜色校正矩阵用于校准除白色以外其他颜色的准确度。

10、下采样处理

下采样处理用于减少图像尺寸。

11、像素重排(Remosaic)

采用Remosaic算法输出图像时，可以将像素重新排列为Bayer格式图像。例如，采用Remosaic算法输出图像时，可以将Quad bayer(例如，四个同色像素排在一起)转换为Bayer格式图像；或者，可以将RGBCMYRaw图像转为Bayer格式图像。

下面将结合附图，对本申请实施例中的图像处理方法与电子设备进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

示例性地，处理器110可以用于执行本申请实施例的图像处理方法；例如，启动电子设备中的相机应用程序；获取第一图像，第一图像为多光谱色彩过滤器阵列传感器采集的图像；对第一图像进行第一图像处理，得到第二图像，第二图像为三通道的图像，或者第二图像为L个通道的图像，所述L个通道包括所述三通道；对第一图像进行第二图像处理，得到第三图像，第三图像为N个通道的图像，N为大于或者等于3的整数；基于第二图像与第三图像得到目标数据，目标数据用于表示三通道与N个通道之间的映射关系；基于第二图像与目标数据，得到第四图像，第四图像为三通道的图像；保存或者显示目标图像，目标图像为基于第四图像得到的。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。

图2是本申请实施例提供的电子设备的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法。

例如，硬件抽象层230中包括相机硬件抽象层2301与相机算法2302；相机算法2302中可以包括用于图像处理的软件算法。

示例性地，本申请实施例提供的图像处理方法可以在相机算法2302中执行。

示例性地，相机算法2302中的算法可以是指不依赖特定硬件实现；比如，通常可以在CPU中运行的代码等。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动。

硬件层250可以包括相机设备2501以及其他硬件设备。

目前，对于多光谱色彩过滤器阵列传感器而言，通常可以采集N通道(例如，N为大于或者等于3的整数)的图像信息；N通道可以包括三通道与其他颜色通道；由于N个通道的图像信息与三通道的图像信息相比具有更多颜色通道的图像信息，因此通过N个通道的图像信息可以提高图像的颜色还原度与信噪比。但是，目前的图像信号传感器处理的图像数据通常为三通道的图像数据；若需要对N个通道的图像信息进行处理，则需要对图像信号处理器进行硬件改进，难度较大。

有鉴于此，本申请的实施例提供了一种图像处理方法，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

下面结合图3至图13对本申请实施例提供的图像处理方法进行详细的描述。

示例性地，本申请实施例中的图像处理方法可以应用于拍照领域、录制视频领域(例如，单景录制、双景录制)、视频通话领域或者其他图像处理领域；通过本申请实施例中的图像处理方法，能够提高图像的颜色准确性。

在一个示例中，如图3所示，本申请实施例的图像处理方法可以应用于拍照领域，通过本申请实施例提供的图像处理方法能够提高图像的颜色准确性。

可选地，本申请实施例中的图像处理方法还可以适用于预览场景，预览场景包括但不限于以下场景中：

拍照预览、光圈预览、夜景预览、人像预览、录像预览或者专业预览等。

应理解，预览场景可以是指电子设备在某个拍摄模式下，未点击指示拍摄的按钮之前电子设备采集图像的场景。

示例性地，本申请实施例中的切换摄像头的方法还可以应用于视频通话场景中，其中，视频通话场景可以包括但不限于以下场景中：

视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、系统相机录像功能录制视频、视频监控，或者智能猫眼等人像拍摄类场景等。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

图4是一种适用于本申请的图像处理方法的系统架构的示意图。

如图4所示，系统架构300中可以包括多光谱色彩过滤器阵列传感器310、图像处理模块320、图像信号处理器330以及计算模块340。

示例性地，多光谱色彩过滤器阵列传感器310可以用于获取Raw图像；比如，多光谱色彩过滤器阵列传感器310采集的Raw图像可以包括RGB颜色模式与其他颜色模式。

示例性地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是指RGBCYM图像，或者，RGBCYGM图像，或者其他颜色模式的图像。

在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。

在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示洋红色(magenta)。

应理解，上述以RGBCMY图像与RGBCYGM图像进行举例说明，本申请对此不作任何限定。

可选地，多光谱色彩过滤器阵列传感器310可以是RGBCYYM图像、RGBRYYB图像、RGBRGBW图像、RGBCYYM图像，或者RGBCMYIR图像等；本申请对此不作任何限定。

示例性地，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是多通道的图像；比如，6通道的Raw图像、8通道的Raw图像，或者其他通道数量的Raw图像。

例如，图5所示的为6通道的RGBCMY图像的光谱响应曲线，其中，B表示蓝色(blue，B)通道的光谱响应曲线；C表示青色(cyan，C)通道的光谱响应曲线；M表示洋红色(magenta，M)通道的光谱响应曲线；Y表示黄色(yellow，Y)通道的光谱响应曲线；G表示绿色(green，G)通道的光谱响应曲线；R表示红色(red，R)通道的光谱响应曲线；图5所示的RGBCMY图像的光谱响应曲线中，R通道与M通道、G通道与Y通道、B通道与C通道分别两两关联；从图6中可以看出，6通道的RGBCMY光谱范围更宽，因此多光谱色彩过滤器阵列传感器310获取的Raw图像的颜色还原度更高，即颜色准确性更高。

示例性地，图像处理模块320用于对多光谱色彩过滤器阵列传感器310采集的多通道的Raw图像进行图像处理。

其中，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵等。

应理解，由于图像信号处理器330主要用于对三通道(例如，RGB)的图像进行处理，无法对多通道(例如，6通道)的图像进行处理；因此，可以通过图像处理模块320对多通道的Raw图像进行图像处理。

示例性地，可以对多光谱色彩过滤器阵列传感器310采集的多通道的Raw图像进行像素重排，得到3通道的Raw图像；图像信号处理器330用于对3通道的Raw图像进行图像处理；其中，像素重排的具体实现过程可以参见后续图8中的步骤S502、图8或者图9中的步骤S602的相关描述。

其中，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵等。

示例性地，计算模块340用于根据图像处理模块320处理后的图像与图像信号处理器330处理后的图像，计算得到映射矩阵M；将映射矩阵M作用到图像信号处理器330处理后的图像，得到融合图像；其中，映射矩阵M可以用于表示RGB通道与多通道(例如，RGBCMY通道)之间的映射关系。

在本申请的实施例中，由于将映射矩阵M与图像信号处理器330处理后的图像拟合得到融合图像；通过映射矩阵M可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，图像信号处理器330处理后的图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

图6是本申请实施例提供的一种图像处理方法的示意性流程图。该图像处理方法400包括可以由图1所示的电子设备执行；该图像处理方法包括步骤S410至步骤S470，下面分别对步骤S410至步骤S470进行详细的描述。

应理解，图6所示的图像处理方法适应于包括第一传感器的电子设备；例如，第一传感器为色彩过滤器阵列传感器；色彩过滤器阵列传感器可以采集6通道的数据(例如，RGBCMY)或者更多通道的数据(例如，RGBCMYK、RGBCYYM、RGBRYYB等)。

步骤S410、启动电子设备中的相机应用程序。

示例性地，用户可以通过单击“相机”应用程序的图标，指示电子设备启动相机应用。或者，电子设备处于锁屏状态时，用户可以通过在电子设备的显示屏上向右滑动的手势，指示电子设备启动相机应用。又或者，电子设备处于锁屏状态，锁屏界面上包括相机应用程序的图标，用户通过点击相机应用程序的图标，指示电子设备启动相机应用程序。又或者，电子设备在运行其他应用时，该应用具有调用相机应用程序的权限；用户通过点击相应的控件可以指示电子设备启动相机应用程序。例如，电子设备正在运行即时通信类应用程序时，用户可以通过选择相机功能的控件，指示电子设备启动相机应用程序等。

步骤S420、获取第一图像。

其中，第一图像为多光谱色彩过滤器阵列传感器采集的图像。

应理解，色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，色彩过滤器阵列传感器用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(color filter)以获取像素点的色彩信息。示例性地，多光谱色彩过滤器阵列传感器的频谱响应曲线如图5所示。

示例性地，多光谱色彩过滤器阵列传感器可以用于获取Raw图像；比如，多光谱色彩过滤器阵列传感器采集的Raw图像可以包括RGB颜色模式与其他颜色模式。

示例性地，多光谱色彩过滤器阵列传感器采集的Raw图像可以是指RGBCYMRaw图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。或者，多光谱色彩过滤器阵列传感器采集的Raw图像可以是指RGBCYGMRaw图像，或者其他颜色模式的图像。

在一个示例中，若多光谱色彩过滤器阵列传感器采集的图像为RGBCYMRaw图像，则多光谱色彩过滤器阵列传感器采集的图像为6通道图像。

在一个示例中，若多光谱色彩过滤器阵列传感器采集的图像为RGBCYGMRaw图像，则多光谱色彩过滤器阵列传感器采集的图像为7通道图像。

步骤S430、对第一图像进行第一图像处理，得到第二图像。

其中，第二图像为三通道的图像，或者第二图像为L个通道的图像，L个通道包括三通道。

可选地，三通道可以是指红色通道、绿色通道与蓝色通道，即R通道、G通道与B通道。

可选地，L个通道可以是指将三通道映射至高维空间的多通道；例如，L个通道可以为9个通道(R,G,B,R²,G²,B²,RG,RB,GB)或者，L通道可以为19个通道(R,G,B,R²,G²,B²,RG,RB,GB,R³,G³,B³,R²G,R²B,G²R,G²B,B²G,B²R,RGB)。

示例性地，可以通过核函数将三通道图像映射至L个通道。

示例性地，在第二图像为三通道的图像时，对所述第一图像进行第一图像处理，得到第二图像，包括：

基于第一图像与像素重排算法，得到第五图像，第五图像为三通道的图像；通过图像信号处理器对第五图像进行处理，得到第二图像。

可选地，像素重排算法的具体实现方式可以参见后续图8中的步骤S602与图9中的相关描述。

示例性地，在第二图像为L个通道图像的图像时，对第一图像进行第一图像处理，得到第二图像，包括：

基于第一图像与像素重排算法，得到第五图像，第五图像为三通道的图像；通过图像信号处理器对第五图像进行处理，得到第六图像，第六图像为三通道的图像；基于核函数对第六图像，得到第二图像。

应理解，核函数用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

在本申请的实施例中，通过对第六图像进行核函数处理，可以将第六图像映射到高维特征空间；由于特征空间的维度越高，图像中对应的参数量越多，则基于第二图像与第三图像得到的目标数据的准确率越高；目标数据的准确率越高，则图像的颜色还原度越高，图像的颜色准确性越高。

可选地，像素重排算法的具体实现方式可以参见后续图8中的步骤S602与图9中的相关描述；通过图像信号处理器对第五图像进行处理的具体实现方式可以参见后续图8中的步骤S603之间的相关描述。

在一种可能的实现方式中，上述第六图像为通过图像信号处理器处理后，并进行下采样处理得到的图像。

示例性地，基于第一图像与像素重排算法，得到第五图像，第五图像为三通道的图像；通过图像信号处理器对第五图像进行处理，得到处理后的图像；并对处理后的图像进行下采样处理，得到第六图像，第六图像为三通道的图像；基于核函数对第六图像，得到第二图像。

在本申请实施例中的图像处理方法中，由于将第六图像映射至高维度的特征空间；因此，整体的运算量较大；为了减小电子设备的运算量，可以对图像信号处理器处理后的图像进行下采样处理，从而减小第六图的尺寸大小；减少电子设备计算目标数据时的运算量。

步骤S440、对第一图像进行第二图像处理，得到第三图像。

其中，第三图像为N个通道的图像，N为大于或者等于3的整数。

示例性地，第二图像处理可以包括黑电平校正、镜头阴影校正或者自动白平衡。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。自动白平衡用于使得白色在任何色温下相机均能将它还原成白。

可选地，第二图像处理还可以包括颜色校正矩阵。

其中，颜色校正矩阵用于校准除白色以外其他颜色的准确度。

步骤S450、基于第二图像与第三图像得到目标数据。

其中，目标数据用于表示所述三通道与N个通道之间的映射关系。

示例性地，目标数据可以为目标矩阵，基于所述第二图像与第三图像得到目标数据，包括：

基于优化算法拟合第二图像与所述第三图像，得到目标矩阵。

可选地，基于优化算法拟合第二图像与所述第三图像，得到目标矩阵的具体实现过程可以参见后续图8中步骤S609中的相关描述。

示例性地，优化算法可以包括但不限于：梯度下降法、牛顿法，或者BFGS算法等。

例如，可以基于以下公式得到目标矩阵：

M＝argmin(I_T1*M-I_T2)；

其中，M表示目标矩阵，I_T1表示第二图像，I_T2表示第三图像；argmin()可以表示使目标函数(M*I_T1-I_T2)取最小值。

步骤S460、基于第二图像与目标数据，得到第四图像。

其中，第四图像为三通道的图像。

示例性地，将第二图像与目标矩阵相乘，得到第四图像。

例如，若第二图像为三通道时，第二图像对应的图像数据可以为64×48×3的矩阵，目标矩阵可以为3×3的矩阵，则64×48×3的矩阵与3×3的矩阵的转置相乘可以得到第四图像对象的图像数据。

例如，若第二图像为九通道时，第二图像对应的图像数据可以为64×48×9的矩阵，目标矩阵可以为3×9的矩阵，则64×48×9的矩阵与3×9的矩阵的转置相乘可以得到第四图像对象的图像数据。

步骤S470、保存或者显示目标图像。

其中，目标图像为基于第四图像得到的。

例如，在第四图像的直方图满足预设条件时，第四图像为目标图像；在第四图像的直方图不满足预设条件时，第四图像与第二图像进行融合处理，得到目标图像。

可选地，在保存或者显示目标图像之前，还包括：

获取第四图像的直方图，直方图包括第一直方图、第二直方图与第三直方图，直方图与三通道对应；

获取第一数据、第二数据与第三数据，第一数据为第一直方图中预设位置的数据，第二数据为第二直方图中所述预设位置的数据，第三数据为第三直方图中所述预设位置的数据。

示例性地，在第一数据小于第一预设阈值、第一数据小于第二预设阈值，且第三数据小于第三预设阈值时，第目标图像为第四图像。

示例性地，在第一数据大于或者等于第一预设阈值、第二数据大于或者等于第二预设阈值，或者第三数据大于或者等于第三预设阈值时，对第四图像与第二图像进行融合处理，得到目标图像；保存或者显示目标图像。可选地，具体实现方式可以参见后续图10所示的步骤S713与步骤S715的相关描述。

在一个示例中，若电子设备处于预览场景，则显示目标图像。

示例性地，预览场景包括但不限于以下场景中：

拍照预览、光圈预览、夜景预览、人像预览、录像预览或者专业预览等。

应理解，预览场景可以是指电子设备在某个拍摄模式下，未点击指示拍摄的按钮之前电子设备采集图像的场景。

在一个示例中，若电子设备处于视频场景，则保存目标图像。

示例性地，视频场景可以包括视频录制或者视频通话场景；其中，视频通话场景可以包括但不限于以下场景中：

视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、系统相机录像功能录制视频、视频监控，或者智能猫眼等人像拍摄类场景等。

本申请的实施例提供了一种图像处理方法，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

图7是本申请实施例提供的一种图像处理方法的示意性流程图。该图像处理方法500可以由图1所示的电子设备执行；该图像处理方法包括步骤S501至步骤S506，下面分别对步骤S501至步骤S506进行详细的描述。

步骤S501、获取多通道Raw图像(第一图像的一个示例)。

示例性地，如图4所示，电子设备中的多光谱色彩过滤器阵列传感器310可以采集多通道的Raw图像。

在一个示例中，多光谱色彩过滤器阵列传感器310采集的多通道Raw图像可以是6通道的RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。

在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示洋红色(magenta)。

应理解，多通道Raw图像可以是指多通道的Raw颜色空间的图像。

应理解，上述以RGBCMY图像与RGBCYGM图像进行举例说明，多通道Raw图像可以是指6通道或者6通道以上的Raw图像，本申请对此不作任何限定。

步骤S502、对多通道Raw图像进行像素重排，得到RGBRaw图像(第五图像的一个示例)。

示例性地，多通道Raw图像为RGBCMYRaw图像，如图9中的(a)所示；对RGBCMYRaw图像进行像素重排可以是指将RGBCMYRaw图像中的洋红色(M)通道位置用红色(R)通道进行替换，黄色(Y)通道位置用绿色(G)通道替换，青色(C)通道位置用蓝色通道替换；替换后再对多个通道进行像素重排，并经过颜色校正矩阵处理得到sRGB颜色空间的Raw图像，如图9中的(b)所示。

在本申请的实施例中，由于sRGB代表了标准的红、绿、蓝，三个基本色素；在不同的设备使用传输中对应于同一的色彩坐标体系，而不受这些设备各自具有的不同色彩坐标的影响；因此，将多通道Raw图像转换为sRGB颜色空间的Raw图像可以避免不同设备由于色彩坐标的差异引入的误差。

步骤S503、对RGBRaw图像进行图像处理，得到处理后的RGB图像(第二图像的一个示例)。

应理解，步骤S503中的图像处理是指在图像信号处理器中执行的图像处理算法。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBRaw图像进行图像处理后可以得到处理后的Raw图像；对处理后的Raw图像进行去马赛克处理，得到RGB图像。

可选地，若图像处理算法中还包括去马赛克算法，则对RGBRaw图像进行图像处理后可以得到RGB图像。

步骤S504、对多通道Raw图像进行图像处理，得到处理后的多通道图像(第三图像的一个示例)。

应理解，步骤S504中的图像处理可以是指通过图像处理的软件算法，即不在图像信号处理器中执行。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBCMYRaw图像进行图像处理后可以得到处理后的Raw图像；对处理后的Raw图像可以进行去马赛克处理，得到RGBCMY图像。

可选地，若图像处理算法中还包括去马赛克算法，则对RGBRaw图像进行图像处理后可以得到RGBCMY图像。

步骤S505、根据RGB图像与RGBCMY图像，得到映射矩阵M(目标数据的一个示例)。

其中，映射矩阵M可以用于表示RGB通道与多通道(例如，RGBCMY通道)之间的映射关系。

示例性地，对于每一个像素(r,g,b)，根据以下公式得到映射矩阵M；

h＝sum_{1，68×48}{(r，g，b)_T2*M–(r，g，b)_I4}；min(h)。

应理解，由于洋红通道与红色通道、黄色通道与绿色通道、青色通道与蓝色通道是存在关联性的；例如，洋红通道与红色通道临近，红色通道的基准值越大，则洋红通道对应的像素值整体也越大；同理，黄色通道与绿色通道临近，绿色通道的基准值越大，则黄色通道对应的像素值整体也越大；青色通道与蓝色通道临近，蓝色通道的基准值越大，则青色通道对应的像素值整体也越大。

还应理解，由于多光谱色彩过滤器阵列传感器采集的多通道数据对应同一个拍摄场景的信息；例如，多通道数据可以包括RGB通道的数据与CMY通道的数据；因此，RGB通道与CMY通道是存在关联性的；理论上，将映射矩阵M拟合至RGBCMY图像后与RGB图像之间的差异较小，因此通过上述公式可以得到映射矩阵M。

步骤S506、对RGB图像与映射矩阵M进行融合处理，得到融合图像(第四图像的一个示例)。

示例性地，将RGB图像乘以映射矩阵M，得到融合图像。

在本申请的实施例中，由于将映射矩阵M与RGB图像拟合得到融合图像；通过映射矩阵M可以使得融合图像，能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

图8是本申请实施例提供的一种图像处理方法的示意性流程图。该图像处理方法600可以由图1所示的电子设备执行；该图像处理方法包括步骤S601至步骤S610，下面分别对步骤S601至步骤S610进行详细的描述。

应理解，图8所示的图像处理方法适应于包括第一传感器的电子设备；例如，第一传感器为色彩过滤器阵列传感器；色彩过滤器阵列传感器可以采集6通道的数据(例如，RGBCMY)或者更多通道的数据(例如，RGBCMYK、RGBCYYM、RGBRYYB等)。

步骤S601、获取多通道Raw图像(第一图像的一个示例)。

示例性地，如图4所示，电子设备中的多光谱色彩过滤器阵列传感器310可以采集多通道的Raw图像。

在一个示例中，多光谱色彩过滤器阵列传感器310采集的多通道Raw图像可以是6通道的RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。

在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示洋红色(magenta)。

应理解，多通道Raw图像可以是指多通道的Raw颜色空间的图像。

应理解，上述以RGBCMY图像与RGBCYGM图像进行举例说明，多通道Raw图像包括RGB通道以及其他通道；其中，多通道Raw图像可以是指6通道或者6通道以上的Raw图像，本申请对此不作任何限定。

步骤S602、对多通道Raw图像进行像素重排，得到RGBRaw图像(第五图像的一个示例)。

例如，RGBRaw图像可以是指如图8或者图10所示的图像I1。

示例性地，多通道Raw图像为RGBCMYRaw图像，如图9中的(a)所示；对RGBCMYRaw图像进行像素重排可以是指将RGBCMYRaw图像中的洋红色(M)通道位置用红色(R)通道进行替换，黄色(Y)通道位置用绿色(G)通道替换，青色(C)通道位置用蓝色通道替换；替换后再对多个通道进行像素重排，并经过颜色校正矩阵处理得到sRGB颜色空间的Raw图像，如图9中的(b)所示。

在本申请的实施例中，由于sRGB代表了标准的红、绿、蓝，三个基本色素；在不同的设备使用传输中对应于同一的色彩坐标体系，而不受这些设备各自具有的不同色彩坐标的影响；因此，将多通道Raw图像转换为sRGB颜色空间的Raw图像可以避免不同设备由于色彩坐标的差异引入的误差。

步骤S603、对RGBRaw图像进行图像处理，得到图像I2(第六图像的一个示例)。

应理解，步骤S503中的图像处理是指在图像信号处理器中执行的图像处理算法。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBRaw图像进行图像处理后可以得到处理后的Raw图像。

可选地，若图像处理算法中还包括去马赛克，则对RGBRaw图像进行图像处理后可以得到处理后的RGB图像。

步骤S604、对图像I2进行核函数处理，得到图像I5。

应理解，核函数是一种用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

示例性地，为了提高映射矩阵M的准确性，可以将RGB通道映射值高维的特征空间；例如，可以通过核函数将RGB三通道映射至L个通道；L个通道可以为9个通道(R,G,B,R²,G²,B²,RG,RB,GB)或者，L通道可以为19个通道(R,G,B,R²,G²,B²,RG,RB,GB,R³,G³,B³,R²G,R²B,G²R,G²B,B²G,B²R,RGB)。

在本申请的实施例中，通过对图像I2进行核函数处理，可以将图像I2映射到高维特征空间；由于特征空间的维度越高，图像I2对应的参数量越多，则步骤S609得到的映射矩阵M的准确率越高；映射矩阵M的准确率越高，则图像的颜色还原度越高。

步骤S605、对图像I2进行下采样处理，得到小尺寸的图像I3。

示例性地，图像I2的大小可以为4000×3000×3；其中，4000×3000可以表示图像I2的分辨率大小；3可以表示图像I2的通道数量；图像I3的大小可以为64×48×3；其中，64×48可以表示图像I3的分辨率大小；3可以表示图像I3的通道数量。

应理解，上述为对图像的尺寸的举例说明；本申请对此不作任何限定。

步骤S606、对图像I3进行核函数处理，得到图像I4(第二图像的一个示例)。

应理解，核函数是一种用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

在本申请的实施例中，通过对图像I3进行核函数处理，可以将图像I3映射到高维特征空间；由于特征空间的维度越高，图像I3对应的参数量越多，则步骤S509得到的映射矩阵M的准确率越高；映射矩阵M的准确率越高，则图像的颜色还原度越高。

步骤S607、对多通道Raw图像进行下采样处理，得到小尺寸的多通道Raw图像T1。

示例性地，多通道Raw图像的大小可以为4000×3000×6；其中，4000×3000可以表示多通道Raw图像的分辨率大小；6可以表示多通道Raw图像的通道数量。图像T1的大小可以为68×48×6；其中，68×48可以表示图像T1的分辨率大小；6可以表示图像T1的通道数量。

应理解，上述为对图像的尺寸的举例说明；本申请对此不作任何限定。

步骤S608、对小尺寸的多通道Raw图像T1进行图像处理，得到图像T2(第三图像的一个示例)。

应理解，步骤S608中的图像处理可以是指通过图像处理的软件算法，即不在图像信号处理器中执行。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBCMYRaw图像进行图像处理后可以得到处理后的RGBCMYRaw图像。

可选地，若图像处理算法中还包括去马赛克，则对RGBCMYRaw图像进行图像处理后可以得到处理后的RGBCMY图像。

应理解，图像T2与图像I4在相同的颜色空间。

步骤S609、根据图像T2与图像I4，得到映射矩阵M。

其中，映射矩阵M可以用于表示RGB通道与多通道(例如，RGBCMY通道)之间的映射关系。

示例性地，对于每一个像素(r,g,b)，根据以下公式得到映射矩阵M；

h＝sum_{1，68×48}{(r，g，b)_T2*M–(r，g，b)_I4}；min(h)。

应理解，由于洋红通道与红色通道、黄色通道与绿色通道、青色通道与蓝色通道是存在关联性的；例如，洋红通道与红色通道临近，红色通道的基准值越大，则洋红通道对应的像素值整体也越大；同理，黄色通道与绿色通道临近，绿色通道的基准值越大，则黄色通道对应的像素值整体也越大；青色通道与蓝色通道临近，蓝色通道的基准值越大，则青色通道对应的像素值整体也越大。

还应理解，由于图像I4是通过多光谱Raw图像进行像素重排得到的；因此，图像I4中的RGB通道与多光谱Raw图像中的CMY通道是存在关联性的；理论上，将映射矩阵M拟合至T2图像后与图像I4之间的差异较小，因此通过上述公式可以得到映射矩阵M。

步骤S610、对图像I5与映射矩阵M进行融合处理，得到融合图像。

示例性地，将图像I5乘以映射矩阵M，得到融合图像(第四图像的一个示例)。

应理解，由于将映射矩阵M与图像I5拟合得到融合图像；通过映射矩阵M可以使得融合图像，能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，图像I5对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

可选地，图8中的步骤S605、步骤S606与步骤S607为可选地步骤；图8中可以不包括S605、步骤S606与步骤S607；通过步骤S605与步骤S607可以降低电子设备的运算量。

在本申请的实施例中，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

在一个示例中，由于多通道Raw图像中的CMY通道对曝光量的敏感性较高，为了避免在融合图像中的过曝区域或者过暗区域出现较严重的颜色失真问题，可以对图像I5乘以映射矩阵M得到的图像进行进一步加权融合处理，从而确保融合图像的颜色准确性。

图10是本申请实施例提供的一种图像处理方法的示意性流程图。该图像处理方法700可以由图1所示的电子设备执行；该图像处理方法包括步骤S701至步骤S714，下面分别对步骤S701至步骤S715进行详细的描述。

应理解，图10所示的图像处理方法适应于包括第一传感器的电子设备；例如，第一传感器为色彩过滤器阵列传感器；色彩过滤器阵列传感器可以采集6通道的数据(例如，RGBCMY)或者更多通道的数据(例如，RGBCMYK、RGBCYYM、RGBRYYB等)。

步骤S701、获取多通道Raw图像。

示例性地，如图4所示，电子设备中的多光谱色彩过滤器阵列传感器310可以采集多通道的Raw图像。

在一个示例中，多光谱色彩过滤器阵列传感器310采集的多通道Raw图像可以是6通道的RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示洋红色(magenta)、Y表示黄色(yellow)。

在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示洋红色(magenta)。

应理解，多通道Raw图像可以是指多通道的Raw颜色空间的图像。

应理解，上述以RGBCMY图像与RGBCYGM图像进行举例说明，多通道Raw图像可以是指6通道或者6通道以上的Raw图像，本申请对此不作任何限定。

步骤S702、对多通道Raw图像进行像素重排，得到RGBRaw图像(例如，图像I1)。

示例性地，多通道Raw图像为RGBCMYRaw图像，如图9中的(a)所示；对RGBCMYRaw图像进行像素重排可以是指将RGBCMYRaw图像中的洋红色(M)通道位置用红色(R)通道进行替换，黄色(Y)通道位置用绿色(G)通道替换，青色(C)通道位置用蓝色通道替换；替换后再对多个通道进行像素重排，并经过颜色校正矩阵处理得到sRGB颜色空间的Raw图像，如图9中的(b)所示。

在本申请的实施例中，由于sRGB代表了标准的红、绿、蓝，三个基本色素；在不同的设备使用传输中对应于同一的色彩坐标体系，而不受这些设备各自具有的不同色彩坐标的影响；因此，将多通道Raw图像转换为sRGB颜色空间的Raw图像可以避免不同设备由于色彩坐标的差异引入的误差。

步骤S703、对RGBRaw图像进行图像处理，得到图像I2。

应理解，步骤S703中的图像处理是指在图像信号处理器中执行的图像处理算法。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBRaw图像进行图像处理后可以得到处理后的Raw图像。

可选地，若图像处理算法中还包括去马赛克，则对RGBRaw图像进行图像处理后可以得到处理后的RGB图像。

步骤S704、对图像I2进行核函数处理，得到图像I5。

应理解，核函数是一种统计学术语，用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

示例性地，为了提高映射矩阵M的准确性，可以将RGB通道映射值高维的特征空间；例如，可以通过核函数将RGB三通道映射至L个通道；L个通道可以为9个通道(R,G,B,R²,G²,B²,RG,RB,GB)或者，L通道可以为19个通道(R,G,B,R²,G²,B²,RG,RB,GB,R³,G³,B³,R²G,R²B,G²R,G²B,B²G,B²R,RGB)。

在本申请的实施例中，通过对图像I2进行核函数处理，可以将图像I2映射到高维特征空间；由于特征空间的维度越高，图像I2对应的参数量越多，则步骤S709得到的映射矩阵M的准确率越高；映射矩阵M的准确率越高，则图像的颜色还原度越高。

步骤S705、对图像I2进行下采样处理，得到小尺寸的图像I3。

示例性地，图像I2的大小可以为4000×3000×3；其中，4000×3000可以表示图像I2的分辨率大小；3可以表示图像I2的通道数量；图像I3的大小可以为64×48×3；其中，64×48可以表示图像I3的分辨率大小；3可以表示图像I3的通道数量。

应理解，上述为对图像的尺寸的举例说明；本申请对此不作任何限定。

步骤S706、对图像I3进行核函数处理，得到图像I4。

应理解，核函数是一种统计学术语，用于表示通过某非线性变换φ(x)，将输入空间映射到高维特征空间的函数。

在本申请的实施例中，通过对图像I3进行核函数处理，可以将图像I3映射到高维特征空间；由于特征空间的维度越高，图像I3对应的参数量越多，则步骤S709得到的映射矩阵M的准确率越高；映射矩阵M的准确率越高，则图像的颜色还原度越高。

步骤S707、对多通道Raw图像进行下采样处理，得到小尺寸的多通道Raw图像T1。

示例性地，多通道Raw图像的大小可以为4000×3000×6；其中，4000×3000可以表示多通道Raw图像的分辨率大小；6可以表示多通道Raw图像的通道数量。图像T1的大小可以为68×48×6；其中，68×48可以表示图像T1的分辨率大小；6可以表示图像T1的通道数量。

应理解，上述为对图像的尺寸的举例说明；本申请对此不作任何限定。

步骤S708、对小尺寸的多通道Raw图像T1进行图像处理，得到图像T2。

应理解，步骤S608中的图像处理可以是指通过图像处理的软件算法，即不在图像信号处理器中执行；例如，如图4所示，步骤S708中的图像处理可以在图像处理模块320中执行；图像处理模块320为独立于图像信号处理器330的模块。

示例性地，图像处理包括但不限于：黑电平校正、镜头阴影校正、自动白平衡或者颜色校正矩阵。

其中，黑电平校正是指对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能将它还原成白；颜色校正矩阵用于校准除白色以外其他颜色的准确度。

可选地，对RGBCMYRaw图像进行图像处理后可以得到处理后的RGBCMYRaw图像。

可选地，若图像处理算法中还包括去马赛克，则对RGBCMYRaw图像进行图像处理后可以得到处理后的RGBCMY图像。

应理解，图像T2与图像I4在相同的颜色空间。

步骤S709、根据图像T2与图像I4，得到映射矩阵M。

其中，映射矩阵M可以用于表示RGB通道与多通道(例如，RGBCMY通道)之间的映射关系。

示例性地，对于每一个像素(r,g,b)，根据以下公式得到映射矩阵M；

h＝sum_{1，68×48}{(r，g，b)_T2*M–(r，g，b)_I4}；min(h)。

应理解，由于洋红通道与红色通道、黄色通道与绿色通道、青色通道与蓝色通道是存在关联性的；例如，洋红通道与红色通道临近，红色通道的基准值越大，则洋红通道对应的像素值整体也越大；同理，黄色通道与绿色通道临近，绿色通道的基准值越大，则黄色通道对应的像素值整体也越大；青色通道与蓝色通道临近，蓝色通道的基准值越大，则青色通道对应的像素值整体也越大。

还应理解，由于多光谱色彩过滤器阵列传感器采集的多通道数据对应同一个拍摄场景的信息；例如，多通道数据可以包括RGB通道的数据与CMY通道的数据；；因此，图像I4中的RGB通道与多光谱Raw图像中的CMY通道是存在关联性的；理论上，将映射矩阵M拟合至T2图像后与图像I4之间的差异较小，因此通过上述公式可以得到映射矩阵M。

步骤S710、对图像I5与映射矩阵M进行融合处理。

示例性地，可以对图像I5乘与映射矩阵M相乘。

步骤S711、得到融合图像。

应理解，由于将映射矩阵M与图像I5拟合得到融合图像；通过映射矩阵M可以使得融合图像，能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，图像I5对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

步骤S712、获取融合图像中各个通道的直方图。

其中，直方图(Histogram)又可以称为质量分布图，是一种统计报告图；由一系列高度不等的纵向条纹或线段表示数据分布的情况；一般用横轴表示数据类型，纵轴表示分布情况。

示例性地，可以获取融合图像中R通道、G通道以及B通道的直方图；获取直方图中第N_h百分位(例如，N_h＝95)对应的值，可以分别记为：R_h、G_h、B_h。

在本申请的实施例中，由于图像中过暗区域或者过亮区域可能为图像中的噪声，在获取融合图像中R通道、G通道以及B通道的数据时，为了避免了采集的过亮区域或者过暗区域对应的通道数据的准确性较低，因此可以获取直方图中第N_h百分位对应的值；例如，N_h可以大于或者等10，且小于或者等于95。

步骤S713、判断各个通道的值是否小于该通道对应的预设阈值；若各个通道的值是否小于该通道对应的预设阈值，则执行步骤S714；否则，执行步骤S715。

示例性地，R通道的预设阈值可以为第一预设阈值，记为R_Th；G通道的预设阈值可以为第二预设阈值，记为G_Th；B通道的预设阈值可以为第三预设阈值，记为B_Th；将各个通道的直方图中第N_h百分位(预设位置的一个示例)对应的值与预设阈值分别进行比较；若R_h<R_Th，G_h<G_Th且B_h<B_Th，则执行步骤S714；若不满足R_h<R_Th，G_h<G_Th，B_h<B_Th中的至少一项，则执行步骤S614。

步骤S714、在融合图像中的各个通道的数据满足预设阈值时，融合图像为目标融合图像(目标图像的一个示例)；即步骤S711得到的融合图像中不存在颜色失真问题。

步骤S715、在融合图像中的部分通道或者全部通道的数据不满足预设阈值时，对融合图像与图像I2进行加权处理，得到目标融合图像(目标图像的一个示例)。

例如，融合图像中的部分通道或者全部通道的数据大于或者等于通道对应的预设阈值时，对融合图像与图像I2进行加权处理，得到目标融合图像。

示例性地，目标融合图像＝w*图像I2+(1-w)*融合图像；其中，w大于0且小于1；例如，假设max(R_h,G_h,B)＝R_h，则w＝(R_h-R_Th)/(255-R_Th)。

在本申请的实施例中，在融合图像中的至少一个通道的数据不满足预设阈值时，表示融合图像中存在颜色失真的图像区域；此时，可以对RGB图像与融合图像进行加权处理，从而有效地减少目标融合图像中的颜色失真区域。

可选地，图10中的步骤S705、步骤S706与步骤S707为可选地步骤；图8中可以不包括S705、步骤S706与步骤S707；通过步骤S705与步骤S707可以降低电子设备的运算量。

在本申请的实施例中，通过对多通道的Raw图像(例如，RGBCMY Raw图像)进行像素重排得到RGBRaw图像；通过图像信号处理器对RGBRaw图像进行图像处理，得到RGB图像；通过对RGBCMY Raw图像进行图像处理，可以得到RGBCMY图像；基于RGBCMY图像与RGB图像可以RGBCMY通道与RGB通道之间的映射矩阵；基于映射矩阵与RGB图像可以得到融合图像；通过映射矩阵可以使得融合图像能够保留多通道数据带来的图像颜色还原度，即提升三通道图像数据对应图像的颜色准确性；此外，RGB图像对应的图像数据为三通道的数据；因此，图像信号处理器依然可以无需进行硬件改进；本申请实施例提供的图像处理方法，能够实现即无需对图像信号处理器进行硬件改进，同时提升图像颜色的准确性。

如图11所示，图11中的(a)是通过图像传感器采集的图像得到的预览图像；图11中的(b)是通过本申请实施例提供的图像处理方法对多光谱色彩过滤器阵列传感器采集的图像进行处理得到的预览图像；如图11中的(a)所示的预览图像可以看出拍摄对象的预览图像出现了颜色失真问题；与图11中的(a)所示的预览图像相比，图11中的(b)所示的预览图像的颜色准确性较高，即通过本申请实施例提供的图像处理方法，能够提升图像的颜色准确性。

在一个示例中，可以在电子设备的相机显示界面中开启颜色矫正模式，则电子设备可以执行本申请实施例提供的图像处理方法，提高图像的颜色准确性。

如图12所示，电子设备的拍照显示界面中可以包括控件620；检测到用户点击控件620的操作后，电子设备可以开启颜色矫正模式；即可以通过本申请实施例提供的图像处理方法进行图像处理，从而提高图像的颜色准确性。

在一个示例中，可以在电子设备的设置界面中开启颜色矫正模式，则电子设备可以执行本申请实施例提供的图像处理方法，从而提高图像的颜色准确性。

如图13所示，图13中的(a)所示的GUI为电子设备的桌面630；当电子设备检测到用户点击桌面630上的设置的图标640的操作后，可以显示如图13中的(b)所示的另一GUI；图13中的(b)所示的GUI可以是设置的显示界面，在设置的显示界面中可以包括无线网络、蓝牙或者相机等选项；点击相机选项，进入相机的设置界面，显示如图13中的(c)所示的相机设置界面；在相机设置界面中可以包括颜色矫正的控件650；检测到用户点击颜色矫正的控件650的操作后，电子设备可以开启颜色矫正模式；即可以执行本申请实施例提供的图像处理方法，从而提高图像的颜色准确性。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图1至图13详细描述了本申请实施例提供的图像处理方法；下面将结合图14至图15详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图14是本申请实施例提供的一种电子设备的结构示意图。该电子设备700包括处理模块710与获取模块720，多光谱色彩过滤器阵列传感器。

其中，处理模块710用于启动电子设备中的相机应用程序；获取模块720用于获取第一图像，所述第一图像为所述多光谱色彩过滤器阵列传感器采集的图像；处理模块710还用于对所述第一图像进行第一图像处理，得到第二图像，所述第二图像为三通道的图像，或者所述第二图像为L个通道的图像，所述L个通道包括所述三通道；对所述第一图像进行第二图像处理，得到第三图像，所述第三图像为N个通道的图像，N为大于或者等于3的整数；基于所述第二图像与所述第三图像得到目标数据，所述目标数据用于表示所述三通道与所述N个通道之间的映射关系；基于所述第二图像与所述目标数据，得到第四图像，所述第四图像为所述三通道的图像；保存或者显示目标图像，所述目标图像为基于所述第四图像得到的。

可选地，作为一个实施例，在所述第二图像为所述三通道的图像时，所述处理模块710具体用于：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到所述第二图像。

可选地，作为一个实施例，在所述第二图像为所述L个通道图像的图像时，所述处理模块710具体用于：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到第六图像，所述第六图像为所述三通道的图像；

基于核函数对所述第六图像进行处理，得到所述第二图像。

可选地，作为一个实施例，所述第六图像为通过所述图像信号处理器处理后，并进行下采样处理得到的图像。

可选地，作为一个实施例，所述目标数据为目标矩阵，所述处理模块710具体用于：

基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵。

可选地，作为一个实施例，所述处理模块710具体用于：

基于以下公式得到所述目标矩阵：

M＝argmin(I_T1*M-I_T2)；

其中，M表示所述目标矩阵，I_T1表示所述第二图像，I_T2表示所述第三图像。

可选地，作为一个实施例，所述处理模块710具体用于：

将所述第二图像与所述目标矩阵相乘，得到所述第四图像。

可选地，作为一个实施例，所述处理模块710还用于：

获取所述第四图像的直方图，所述直方图包括第一直方图、第二直方图与第三直方图，所述直方图与所述三通道对应；

获取第一数据、第二数据与第三数据，所述第一数据为所述第一直方图中预设位置的数据，所述第二数据为所述第二直方图中所述预设位置的数据，所述第三数据为所述第三直方图中所述预设位置的数据。

可选地，作为一个实施例，在所述第一数据小于第一预设阈值、所述第一数据小于第二预设阈值，且所述第三数据小于第三预设阈值时，所述第四图像为所述目标图像。

可选地，作为一个实施例，所述处理模块710具体用于：

在所述第一数据大于或者等于第一预设阈值、所述第二数据大于或者等于第二预设阈值，或者所述第三数据大于或者等于第三预设阈值时，对所述第四图像与所述第二图像进行融合处理，得到所述目标图像；

保存或者显示所述目标图像。

可选地，作为一个实施例，所述第二图像处理包括黑电平校正、镜头阴影校正或者自动白平衡。

可选地，作为一个实施例，所述三通道是指红色通道、绿色通道与蓝色通道。

需要说明的是，上述电子设备700以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图15示出了本申请提供的一种电子设备的结构示意图。图15中的虚线表示该单元或该模块为可选的；电子设备800可以用于实现上述方法实施例中描述的方法。

电子设备800包括一个或多个处理器801，该一个或多个处理器801可支持电子设备800实现方法实施例中的图像处理方法。处理器801可以是通用处理器或者专用处理器。例如，处理器801可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器801可以用于对电子设备800进行控制，执行软件程序，处理软件程序的数据。电子设备800还可以包括通信单元805，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备800可以是芯片，通信单元805可以是该芯片的输入和/或输出电路，或者，通信单元805可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备800可以是终端设备，通信单元805可以是该终端设备的收发器，或者，通信单元805可以是该终端设备的收发电路。

电子设备800中可以包括一个或多个存储器802，其上存有程序804，程序804可被处理器801运行，生成指令803，使得处理器801根据指令803执行上述方法实施例中描述的图像处理方法。

可选地，存储器802中还可以存储有数据。

可选地，处理器801还可以读取存储器802中存储的数据，该数据可以与程序804存储在相同的存储地址，该数据也可以与程序804存储在不同的存储地址。

处理器801和存储器802可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器802可以用于存储本申请实施例中提供的图像处理方法的相关程序804，处理器801可以用于在执行图像处理时调用存储器802中存储的图像处理方法的相关程序804，执行本申请实施例的图像处理方法；例如，启动电子设备中的相机应用程序；获取第一图像，第一图像为多光谱色彩过滤器阵列传感器采集的图像；对第一图像进行第一图像处理，得到第二图像，第二图像为三通道的图像，或者第二图像为L个通道的图像，所述L个通道包括所述三通道；对第一图像进行第二图像处理，得到第三图像，第三图像为N个通道的图像，N为大于或者等于3的整数；基于第二图像与第三图像得到目标数据，目标数据用于表示三通道与N个通道之间的映射关系；基于第二图像与目标数据，得到第四图像，第四图像为三通道的图像；保存或者显示目标图像，目标图像为基于第四图像得到的。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器801执行时实现本申请中任一方法实施例的图像处理方法。

该计算机程序产品可以存储在存储器802中，例如是程序804，程序804经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器801执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器802。存储器802可以是易失性存储器或非易失性存储器，或者，存储器802可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括多光谱色彩过滤器阵列传感器，所述图像处理方法包括：

启动所述电子设备中的相机应用程序；

获取第一图像，所述第一图像为所述多光谱色彩过滤器阵列传感器采集的图像；

对所述第一图像进行第一图像处理，得到第二图像，所述第二图像为三通道的图像，或者所述第二图像为L个通道的图像，所述L个通道包括所述三通道；

对所述第一图像进行第二图像处理，得到第三图像，所述第三图像为N个通道的图像，N为大于或者等于3的整数；

基于所述第二图像与所述第三图像得到目标数据，所述目标数据用于表示所述三通道与所述N个通道之间的映射关系；

基于所述第二图像与所述目标数据，得到第四图像，所述第四图像为所述三通道的图像；

保存或者显示目标图像，所述目标图像为基于所述第四图像得到的；

在所述第二图像为所述三通道的图像时，所述对所述第一图像进行第一图像处理，得到第二图像，包括：

基于所述第一图像与像素重排算法，得到第五图像，所述第五图像为所述三通道的图像；

通过图像信号处理器对所述第五图像进行处理，得到所述第二图像；

所述目标数据为目标矩阵，所述基于所述第二图像与所述第三图像得到目标数据，包括：

基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵；

所述基于优化算法拟合所述第二图像与所述第三图像，得到所述目标矩阵，包括：

基于以下公式得到所述目标矩阵：

M=argmin（I_T1*M-I_T2）；

其中，M表示所述目标矩阵，I_T1表示所述第二图像，I_T2表示所述第三图像，argmin（）表示使目标函数（I_T1*M-I_T2）取最小值；

所述基于所述第二图像与所述目标数据，得到第四图像，包括：

将所述第二图像与所述目标矩阵相乘，得到所述第四图像。

2.如权利要求1所述的图像处理方法，其特征在于，在所述第二图像为所述L个通道图像的图像时，所述对所述第一图像进行第一图像处理，得到第二图像，还包括：

基于核函数对所述通过图像信号处理器对所述第五图像进行处理得到的图像进行处理，得到所述第二图像。

3.如权利要求2所述的图像处理方法，其特征在于，所述通过图像信号处理器对所述第五图像进行处理得到的图像为通过所述图像信号处理器处理后，并进行下采样处理得到的图像。

4.如权利要求1至3中任一项所述的图像处理方法，其特征在于，在所述保存或者显示目标图像之前，还包括：

获取所述第四图像的直方图，所述直方图包括第一直方图、第二直方图与第三直方图，所述直方图与所述三通道对应；

获取第一数据、第二数据与第三数据，所述第一数据为所述第一直方图中预设位置的数据，所述第二数据为所述第二直方图中所述预设位置的数据，所述第三数据为所述第三直方图中所述预设位置的数据。

5.如权利要求4所述的图像处理方法，其特征在于，所述保存或者显示目标图像，包括：

在所述第一数据小于第一预设阈值、所述第二数据小于第二预设阈值，且所述第三数据小于第三预设阈值时，保存或者显示所述第四图像。

6.如权利要求4所述的图像处理方法，其特征在于，所述保存或者显示目标图像，包括：

在所述第一数据大于或者等于第一预设阈值、所述第二数据大于或者等于第二预设阈值，或者所述第三数据大于或者等于第三预设阈值时，对所述第四图像与所述第二图像进行融合处理，得到所述目标图像；

保存或者显示所述目标图像。

7.如权利要求1-3、5-6中任一项所述的图像处理方法，其特征在于，所述第二图像处理包括黑电平校正、镜头阴影校正或者自动白平衡。

8.如权利要求1-3、5-6中任一项所述的图像处理方法，其特征在于，所述三通道是指红色通道、绿色通道与蓝色通道。

9.一种电子设备，其特征在于，包括：

一个或多个处理器、存储器和多光谱色彩过滤器阵列传感器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的图像处理方法。

10.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至8中任一项所述的图像处理方法。