CN105704404B - 应用于双通道图像传感器的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种应用于双通道图像传感器的图像处理方法和装置，该图像处理方法包括：在所述双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况；当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除。本发明通过在双通道图像传感器的两幅图像合成之前进行黑斑检测，并将检测到的含有黑斑的图像去除黑斑，有效的解决了“黑太阳”的问题，且该方法简单有效易于实现，准确率高不易出现误判。

Description

应用于双通道图像传感器的图像处理方法及装置

技术领域

本发明涉及图像处理领域，具体来说，涉及一种应用于双通道图像传感器的图像处理方法及装置。

背景技术

对于图像传感器而言，黑太阳现象一直是一个难以解决的问题，黑太阳现象如图1A及1B所示，正常情况下，当图像传感器拍摄的场景亮度过高时，过亮区域的像素值将达到最大值，比如10bit的传感器，像素值应该为1023，这些区域被称为过曝区如图1A所示。然而有些图像传感器却存在黑太阳问题，该现象是在过曝区的中心部分，即亮度最强的地方像素值不但不是最大值，反而很低，从而形成了一块黑斑。由于这个现象在拍摄太阳时很容易出现，且太阳中心部分为黑色，因此被称为黑太阳问题。如图1B所示。(注意：附图只是示意图，过曝区和黑太阳区不一定是标准的圆形，而可能是不规则形状，黑太阳区也不一定在过曝区的正中央，它会出现在过曝区中亮度最强的部分)。

目前，解决黑太阳问题的做法通常是检测图像中的过曝区域，然后进一步检测过曝区域中是否包含黑色区域，如果有则将黑色区域修正为过曝区。

但是上述方法的缺陷是仅根据单帧图像做检测，容易发生误判，将图像中正常的黑色区域错误的判断成黑太阳区而做了误修正，导致图像异常，同时区域的检测代价高，不易实现。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种应用于双通道图像传感器的图像处理方法及装置，能够解决黑太阳问题且方法简单易于实现，同时准确率高不易出现误判。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种应用于双通道图像传感器的图像处理方法。

该方法包括：

在所述双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况；

当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除。

其中，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，包括：

同时对所述高感光图像和所述低感光图像进行逐行扫描；

将黑斑定义标识初始化为0，所述黑斑定义标识用于表示当前图像出现黑斑的情况；

当低感光通道像素值大于等于预先设定的第一阈值且所述低感光通道像素值大于高感光通道像素值的情况下，则将所述黑斑定义标识设定为1；

当所述低感光通道像素值大于等于预先设定的第二阈值且所述低感光通道像素值小于等于所述高感光通道像素值的情况下，则将所述黑斑定义标识清0。

其中，当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除，包括：

将存在黑斑的所述低感光图像对应的低感光通道像素值修改为像素最大值；且

将存在黑斑的所述高感光图像对应的高感光通道像素值修改为像素最大值。

其中，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，进一步包括：同时对所述高感光图像和所述低感光图像进行反向扫描。

其中，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，进一步包括：同时对所述高感光图像和所述低感光图像进行逐列扫描。

根据本发明的另一方面还提供了一种应用于双通道图像传感器的图像处理装置，该装置，包括：

检测模块，用于在所述双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况；

消除模块，用于当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除。

其中，所述检测模块进一步包括：

初始化单元，用于将黑斑定义标识初始化为0，所述黑斑定义标识用于表示当前图像出现黑斑的情况；

设定单元，用于当低感光通道像素值大于等于预先设定的第一阈值且所述低感光通道像素值大于高感光通道像素值的情况下，则将所述黑斑定义标识设定为1；

清零单元，用于当所述低感光通道像素值大于等于预先设定的第二阈值且所述低感光通道像素值小于等于所述高感光通道像素值的情况下，则将所述黑斑定义标识清0。

其中，所述消除模块进一步包括：

修改单元，将存在黑斑的所述低感光图像对应的低感光通道像素值修改为像素最大值，或将存在黑斑的所述高感光图像对应的高感光通道像素值修改为像素最大值。

其中，所述检测模块进一步包括：

扫描单元，用于同时对所述高感光图像和所述低感光图像进行逐行扫描。

其中，所述扫描单元进一步用于，同时对所述高感光图像和所述低感光图像进行逐列扫描。

本发明通过在双通道图像传感器的两幅图像合成之前进行黑斑检测，并将检测到的含有黑斑的图像去除黑斑，有效的解决了“黑太阳”的问题，且该方法简单有效易于实现，准确率高不易出现误判。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A及图1B是正常情形与发生黑太阳情形时的示意图；

图2是双通道图像传感器一种发生黑太阳情况时的示意图；

图3是双通道图像传感器另一种发生黑太阳情况时的示意图；

图4是根据本发明实施例的应用于双通道图像传感器的图像处理方法的流程图；

图5是根据本发明实施例的应用于双通道图像传感器的图像处理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明是基于双通道图像传感器来实现的，双通道图像传感器通常属于高端的宽动态图像传感器，其优势在于可以拍摄具有很高动态范围的场景，即场景中同时包含很亮和很暗的区域，很亮的区域不会过曝，而很暗的区域也不会太黑而只有噪声。由于受到传感器的物理特性限制，单通道图像传感器很难达到宽动态指标。双通道图像传感器则可以同时拍摄生成两幅图像，一幅感光度较弱，用于拍摄比较亮的区域，另一幅感光度较强，用于拍摄比较暗的区域，最后两幅图像融合为一帧高动态图像输出。双通道的实现方式通常有双曝光或双增益，即感光度较弱的通道采用短曝光时间或低增益，而感光度较强的通道采用长曝光时间或高增益。

双通道图像传感器拍摄的图像，在较暗的区域，两个通道的像素值都未过曝，此时高感光通道的像素值比低感光通道的像素值高，且符合某一固定倍数，比如16倍，则那么相同位置的像素值，高感光通道是低感光通道的16倍，随着场景亮度升高，高感光通道首先过曝达到最大值，而低感光通道像素值继续上升，直到最终也达到最大值。场景亮度极低时，两个通道的像素值都处于最小值附近，受噪声影响，两个通道的像素值不满足固定倍数关系甚至低感光通道的值有可能高于高感光通道。在其它亮度的场景下，高感光通道的像素值总是大于等于低感光通道的像素值。

黑太阳现象仅在光照强度达到一定程度时才会出现，比如晴天时的太阳，而对于双通道图像传感器，高感光度通道出现黑太阳现象所需的光强门槛更低，更容易出现黑太阳现象，这就导致以下两种情况：

1.强光亮度不够强，仅在高感光度通道图像中出现了黑太阳区域，如图2所示。

2.强光亮度足够强，在两个通道都出现了黑太阳，但高感光度通道图像的黑太阳区域比低感光度通道要大，且完全覆盖低感光度通道的黑太阳区域，如图3所示。

基于上述双通道图像传感器的成像特点，本发明提出了一种应用于双通道图像传感器的图像处理方法，如图4所示，根据本发明实施例的图像处理方法包括：

步骤S401，在双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测高感光图像和低感光图像的过曝区域内生成黑斑的情况；

步骤S403当检测到高感光图像或低感光图像的过曝区域内存在黑斑时，将黑斑消除。

首先，同时对两个通道的图像进行逐行扫描，可以先从左到右：

将黑斑定义标识初始化为0，黑斑定义标识用于表示当前图像出现黑斑的情况，0表示没有黑斑，1表示发现黑斑；

当低感光通道像素值大于等于预先设定的第一阈值且低感光通道像素值大于高感光通道像素值的情况下，则将黑斑定义标识设定为1；

当低感光通道像素值大于等于预先设定的第二阈值且低感光通道像素值小于等于高感光通道像素值的情况下，则将黑斑定义标识清0。

当检测到当前图像存在黑斑时，将存在黑斑的低感光图像对应的低感光通道像素值修改为像素最大值；且

将存在黑斑的高感光图像对应的高感光通道像素值修改为像素最大值。

在具体的实施过程中可以用PH表示高感光通道像素值，用PL表示低感光通道像素值，定义门限值Thr1和Thr2，定义黑太阳检测标志位BSFlag。在每一行扫描前将BSFlag初始化为0，表示未检测到黑太阳区。然后依次对相同位置的每一对PH和PL做如下判断：

如果PL≥Thr1且PH<PL，则将BSFlag置1；

如果PL≥Thr2且PH≥PL，则将BSFlag清0；

其他情况下BSFlag保持不变。

如果BSFlag为1，则表示当前位置的像素检测到黑太阳，将当前像素修正为过曝区的像素值：

PH＝像素最大值；

PL＝像素最大值。

否则，当前位置的像素值不变。

当上述操作完成后，再反向从右向左扫描一遍并同时对两个通道的图像的过爆区进行检测和消除黑斑处理，检测和处理方法同上。这个步骤是为了保证当黑太阳出现在图像左侧时也能够被消除掉。

最后，再同时对两个通道的图像逐列扫描。先从上到下扫描一遍，并同时对两个通道的图片进行黑斑检测，之后再从下到上反方向扫描一次，并同时对两个通道进行黑斑检测，将检测的黑斑进行修复，其检测和修复方法均依旧采用上述方法。这样做是因为如果黑太阳区域很宽，导致一整行都属于黑太阳区，那么按行扫描可能无法检测到并消除黑太阳区，此时可以先后对图像做垂直方向的列扫描，和按行扫描类似，也是做两遍：先从上向下扫描，再从下向上扫描，检测和处理方式相同。

根据上述的检测方法，为了提高检测黑斑的精准度以及避免资源的浪费，本发明还有如下的实施方式：

具体的，同时检测高感光通道及低感光通道图像的过爆区，与此不同的是，此次采用分别鉴定的机制，即同时判断具体哪一幅图像包含黑斑，并进行有针对性的黑斑消除处理。

判断方法可以参照上述方法，也可以自行设定判断参数，还可以以最大曝光像素为参照值，只要达到最大像素即对相应的图像进行黑斑修复，修复方法同上。

根据本发明的实施例还提供了一种应用于双通道图像传感器的图像处理装置，如图5所示该装置，包括：

检测模块51，用于在双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测高感光图像和低感光图像的过曝区域内生成黑斑的情况；

消除模块52，用于当检测到高感光图像或低感光图像的过曝区域内存在黑斑时，将黑斑消除。

其中，检测模块进一步包括：

初始化单元(未示出)，用于将黑斑定义标识初始化为0，黑斑定义标识用于表示当前图像出现黑斑的情况；

设定单元(未示出)，用于当低感光通道像素值大于等于预先设定的第一阈值且低感光通道像素值大于高感光通道像素值的情况下，则将黑斑定义标识设定为1；

清零单元(未示出)，用于当低感光通道像素值大于等于预先设定的第二阈值且低感光通道像素值小于等于高感光通道像素值的情况下，则将黑斑定义标识清0。

其中，消除模块进一步包括：

修改单元(未示出)，将存在黑斑的低感光图像对应的低感光通道像素值修改为像素最大值，或将存在黑斑的高感光图像对应的高感光通道像素值修改为像素最大值。

其中，检测模块进一步包括：

扫描单元(未示出)，用于同时对高感光图像和低感光图像进行逐行扫描。

其中，扫描单元进一步用于，同时对高感光图像和低感光图像进行逐列扫描。

综上，借助于本发明的上述技术方案，通过在双通道图像传感器的两幅图像合成之前进行黑斑检测，并将检测到的含有黑斑的图像去除黑斑，有效的解决了“黑太阳”的问题，且该方法简单有效易于实现，准确率高不易出现误判。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用于双通道图像传感器的图像处理方法，其特征在于，包括：

在所述双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况；

其中，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，包括：

同时对所述高感光图像和所述低感光图像进行逐行扫描；

在每一行的开始，将黑斑定义标识初始化为0，所述黑斑定义标识用于表示当前图像出现黑斑的情况，其中，0表示没有黑斑，1表示发现黑斑；

当低感光通道像素值大于等于预先设定的第一阈值且所述低感光通道像素值大于高感光通道像素值的情况下，则将所述黑斑定义标识设定为1；

当所述低感光通道像素值大于等于预先设定的第二阈值且所述低感光通道像素值小于等于所述高感光通道像素值的情况下，则将所述黑斑定义标识清0；

当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除；

其中，当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除，包括：

将存在黑斑的所述低感光图像对应的低感光通道像素值修改为像素最大值；且

将存在黑斑的所述高感光图像对应的高感光通道像素值修改为像素最大值。

2.根据权利要求1所述的方法，其特征在于，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，进一步包括：同时对所述高感光图像和所述低感光图像逐行进行反向扫描，并检测所述高感光图像和所述低感光图像的过爆区域内存在黑斑的情况。

3.根据权利要求1所述的方法，其特征在于，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况，进一步包括：同时对所述高感光图像和所述低感光图像进行逐列扫描，扫描方向自上而下或自下而上，并同时检测所述高感光图像和所述低感光图像的过爆区域内存在黑斑的情况；

然后再反向对所述高感光图像和所述低感光图像进行逐列扫描，并同时检测所述高感光图像和所述低感光图像的过爆区域内存在黑斑的情况。

4.一种应用于双通道图像传感器的图像处理装置，其特征在于，包括：

检测模块，用于在所述双通道图像传感器生成的高感光图像与低感光图像合成之前，同时检测所述高感光图像和所述低感光图像的过曝区域内生成黑斑的情况；

消除模块，用于当检测到所述高感光图像或所述低感光图像的过曝区域内存在黑斑时，将所述黑斑消除；

其中，所述检测模块进一步包括：

初始化单元，用于将黑斑定义标识初始化为0，所述黑斑定义标识用于表示当前图像出现黑斑的情况，其中0表示没有黑斑，1表示发现黑斑；

设定单元，用于当低感光通道像素值大于等于预先设定的第一阈值且所述低感光通道像素值大于高感光通道像素值的情况下，则将所述黑斑定义标识设定为1；

清零单元，用于当所述低感光通道像素值大于等于预先设定的第二阈值且所述低感光通道像素值小于等于所述高感光通道像素值的情况下，则将所述黑斑定义标识清0；并且，所述消除模块进一步包括：

修改单元，将存在黑斑的所述低感光图像对应的低感光通道像素值修改为像素最大值，将存在黑斑的所述高感光图像对应的高感光通道像素值修改为像素最大值。

5.根据权利要求4所述的装置，其特征在于，所述检测模块进一步包括：

扫描单元，用于同时对所述高感光图像和所述低感光图像进行逐行扫描及对应的反向扫描。

6.根据权利要求5所述的装置，其特征在于，所述扫描单元进一步用于，同时对所述高感光图像和所述低感光图像进行逐列扫描及对应的反向扫描。

Images