CN105635593A - 多重曝光成像系统及其白平衡方法 - Google Patents

Abstract

本发明提供一种多重曝光成像系统及其白平衡方法。该白平衡方法，用于一多重曝光成像系统，该多重曝光成像系统包括一图像撷取单元，该方法包括：利用该图像撷取单元以一第一曝光时间及一第二曝光时间分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值；对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例；以及利用该光源颜色比例对该第一图像进行一颜色增益处理以得到一输出图像。

Description

多重曝光成像系统及其白平衡方法

技术领域

本发明涉及图像处理，特别涉及一种多重曝光成像系统及其白平衡方法。

背景技术

颜色是图像系统中相当重要的元素，不仅可以让使用者精准地捕捉到物体的色彩，更可以增强其他级别功能的准确性，例如物件检测与识别(objectdetectionandrecognition)。然而，环境中多变的光源常会影响到图像系统所撷取到的像素颜色，例如同一张白纸会在高色温的光源下呈现淡蓝色，在低色温的光源下则会呈现淡黄色。一个良好的图像系统需要排除光源的影响，准确地还原物体的真实色彩，这项功能便是自动白平衡(autowhite-balance)。换言之，自动白平衡能识别环境光源，抵销此光源对于色彩的影响，以还原物体真实色彩。

一般的图像系统只能拍摄单张图像。单张图像的信息极为有限，导致现今的自动白平衡技术难以有效地识别环境光源。于是，有研究者以多张图像的信息达成这个任务。例如(1)针对同一个场景在不同角度捕捉多张图像以辨别物体的真实色彩；或是(2)针对同一个场景使用不同环境光源以辨别物体的真实色彩。然而这(1)、(2)这两种方法在实际状况都难以被实现：前者需要多次移动相机，后者需要提供额外的光源。此外，曝光值的高低也会严重地影响环境光源判别的结果。因此，欲达到最佳的白平衡结果，仍需要使用者做繁琐的人工调整。

近来高动态范围成像系统(highdynamicrangeimagingsystem)逐渐受到厂商、研究者及使用者的注意。其基本原理是结合多张不同曝光时间的图像，形成一张高动态范围的图像。此不同曝光时间的图像不仅可以使图像系统获得更多细节的信息，更可以协助自动白平衡达到更佳的效果。例如可针对长曝光图像的暗处与短曝光图像的亮处分别做自动白平衡。然而，上述方法无法识别环境光源。另外，此方法还需要准确判断亮处与暗处的位置，这项步骤容易导致最后的图像有不连续的区块产生，降低图像品质。因此，自动白平衡仍然有许多需要改良之处。

发明内容

本发明提供一种白平衡方法，用于一多重曝光成像系统，该多重曝光成像系统包括一图像撷取单元，该方法包括：利用该图像撷取单元以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值；对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例；以及利用该光源颜色比例对该第一图像进行一颜色增益处理以得到一输出图像。

本发明还提供一种多重曝光成像系统，包括：一图像撷取单元，以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值；以及一处理器，用以对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例，并利用该光源颜色比例对该第一图像进行一颜色增益处理以得到一输出图像。

本发明还提供一种白平衡方法，用于一多重曝光成像系统，该多重曝光成像系统包括一图像撷取单元，该方法包括：利用该图像撷取单元以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值；对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例；对该第一图像及该第二图像进行一图像结合处理以得到一第三图像；利用该光源颜色比例对该第三图像进行一颜色增益处理以得到一输出图像。

附图说明

图1是显示依据本发明一实施例的多重曝光成像系统100的方框图。

图2是显示依据本发明一实施例的白平衡方法的流程图。

图3是显示依据本发明另一实施例的白平衡方法的流程图。

图4A是显示依据本发明一实施例所拍摄的场景400的示意图。

图4B是显示依据本发明一实施例在场景400的不同位置进行曝光的曲线图。

【附图符号说明】

100～多重曝光成像系统；

110～图像撷取单元；

120～处理器；

130～存储器单元；

140～储存单元；

150～显示单元；

200－220、300－330～方框；

400～场景；

410、412、414～位置；

420、422、424～曲线。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一优选实施例，并结合附图详细说明如下。

图1是显示依据本发明一实施例的多重曝光成像系统100的方框图。如图1所示，多重曝光成像系统100包括一图像撷取单元110、一处理器120、一存储器单元130、一储存单元140、以及一显示单元150。图像撷取单元110用以撷取一场景的图像。储存单元140储存用于图像处理的多种模块所相应的程序代码，例如是色调映射(tone-mapping)模块、自动白平衡(autowhite-balance)模块、饱和度补偿(saturationcompensation)模块、高动态范围成像(highdynamicrangeimaging)模块等等。举例来说，存储器单元130为一易失性存储器，例如是一动态随机存取存储器(DRAM)。储存单元140为一非易失性存储器，例如是硬盘、闪存等等。处理器120将储存于储存单元140中的各种图像处理模块的程序代码载入至存储器单元130，并对图像撷取单元110所撷取的图像执行相应的图像处理。图像撷取单元110具有多重曝光(multiexposure)的功能，即在图像撷取单元110中的图像感测器(imagesensor)所撷取的图像可用不同的曝光值进行曝光以产生两张不同曝光值的图像，其中上述曝光值包括曝光时间及曝光增益，且曝光时间及曝光增益均会影响上述曝光值的大小。例如曝光时间的增加或是曝光增益的增加，都会使曝光值上升。曝光值会影响图像感测器对同一物体所感知的像素值。举例来说，曝光方式可分为正常曝光及短曝光、或是长曝光及短曝光。在一实施例中，正常曝光是指使所撷取的图像含有最多有效信息，例如调整曝光值使得图像的平均亮度为图像感测器的最大感测值的特定比例。短曝光是指使所撷取的图像中的像素不会发生过曝(overexposure)的情况，例如调整曝光值使得图像中的像素值小于或等于图像感测器的最大感测值。

图2是显示依据本发明一实施例的白平衡方法的流程图。如图2所示，在方框200中，通过图像感测器以获得两张不同曝光值的图像，例如在路径202为正常曝光图像，在路径204为短曝光图像。更进一步而言，正常曝光图像的曝光值为图像感测器的最大感测值的某个比例，例如18％，但本发明并不限于此。短曝光图像中的像素值则小于或等于图像感测器的最大感测值。

在方框210中，对短曝光图像进行光源检测。因为短曝光图像的曝光值较小，即使是场景中的光源处亦不会发生过曝光的情况，因此可有效地判别场景中的光源，即场景中最亮的部分。在一实施例中，处理器120计算短曝光图像中最亮的5％像素值以作为光源，并计算此光源的颜色比例，例如分别计算红色、绿色、蓝色的平均值。

在方框220中，利用光源检测所得到的光源颜色比例，以重新调整正常曝光图像的颜色增益值。举例来说，当在方框210中进行光源检测得到光源的颜色比例为红色：绿色：蓝色＝a:b:c，则处理器120利用下列公式分别对正常曝光图像的像素值进行调整：

$R^{\′}=p\×R+(1-p)\×\frac{b}{a}R---\left(1\right)$

$G^{\′}=p\×G+(1-p)\×\frac{b}{b}G---\left(2\right)$

$B^{\′}=p\×B+(1-p)\×\frac{b}{c}B---\left(3\right)$

p∈[0，1]

其中R、G、B分别为调整前的红色、绿色及蓝色像素值；R’、G’、B’分别为调整后的红色、绿色及蓝色像素值，p为加权权重。

图3是显示依据本发明另一实施例的白平衡方法的流程图。需注意的是，在另一实施例中，本发明还可利用短曝光图像计算光源信息，且可利用短曝光图像中的图像细节信息，藉以结合多张不同曝光值的图像，以形成一高动态范围图像。如图3所示，在方框300中，通过图像感测器对一高动态范围场景拍照以获得两张不同曝光值的图像，例如在路径302为长曝光图像L，在路径304为短曝光图像S。举例来说，调整短曝光图像的曝光值，使得图像中的像素值不会产生过曝的情况。在一实施例中，可调整曝光值使得图像的像素值大于图像感测器的无用信息值。在另一实施例中，可调整曝光值使得图像的像素值小于或等于图像感测器的最大感测值。除此之外，长曝光图像的色彩通道可分为L₁、L₂及L₃(例如分别为红色、绿色、蓝色)，各具有(M₁+1)个比特。短曝光图像的色彩通道可分为S₁、S₂及S₃(例如分别为红色、绿色、蓝色)，亦各具有(M₁+1)个比特。

在方框310中，对短曝光图像进行光源检测。因为短曝光图像的曝光值较小，即使是场景中的光源处亦不会发生过曝光的情况，因此可有效地判别场景中的光源，即场景中最亮的部份。在一实施例中，处理器120计算短曝光图像中最亮的5％像素值以作为光源，并计算此光源的颜色比例，例如分别计算红色、绿色、蓝色的平均值。

在方框320中，对短曝光图像及长曝光图像进行图像结合以得到一合并图像。举例来说，在图像结合的过程中可利用已知的长短曝光比值K，将短曝光图像的像素值乘以K，藉以得到长曝光图像因过曝而缺少的像素信息。在一实施例中，在图像结合过程中使用两张不同曝光值的图像，以得到一高动态范围图像。环境中同一亮度的光源，受到曝光时间的差异会形成不同的像素值(pixelvalue)。举例来说，若x为图像感测器的比特数，R为两种曝光时间的比值。在同样亮度的光源，在两张不同曝光时间的图像得到的像素值会有R倍的差异。因此只要将短曝光图像的像素值标准化(normalization)成R倍后，即可合并两张不同曝光值的图像。换言之，若原本的图像感测器的动态范围比值为D，本系统可得到动态范围比值为RxD的高动态范围图像。

在方框330中，利用光源检测所得到的光源颜色比例，以重新调整正常曝光图像的颜色增益值，藉以产生最后的高动态范围图像O，其色彩通道为O1、O2、O3，均具有(M₂+1个比特)，其中M₂>M₁。更进一步而言，当在方框310中进行光源检测得到光源的颜色比例为红色：绿色：蓝色＝a:b:c，则处理器120利用下列公式分别对正常曝光图像的像素值进行调整：

$R^{\′}=p\×R+(1-p)\×\frac{b}{a}R---\left(1\right)$

$G^{\′}=p\×G+(1-p)\×\frac{b}{b}G---\left(2\right)$

$B^{\′}=p\×B+(1-p)\×\frac{b}{c}B---\left(3\right)$

p∈[0，1]

其中R、G、B分别为调整前的红色、绿色及蓝色像素值；R’、G’、B’分别为调整后的红色、绿色及蓝色像素值，p为加权权重。

图4A是显示依据本发明一实施例所拍摄的场景400的示意图。图4B是显示依据本发明一实施例在场景400的不同位置进行曝光的曲线图。如图4A所示，在场景400中的位置410为光源。当处理器120在判断光源信息时，可利用在场景400中的不同位置(例如位置410、412及414)的像素相对于曝光时间的像素值，藉以判断场景400中的光源位置。举例来说，在图4B中的曲线420、422及424分别为位置410、412及414的像素值相对于曝光时间的曲线。由图4B可得知在位置410的像素值，在经过极短的曝光时间即达到饱和值。然而，在位置412及414的像素值相对于位置410则需要更长的曝光时间才达到饱和值。因此，处理器120可利用图4B中的各曲线的关系式以判断位置410即为场景400的光源。

本发明的方法，或特定形式或其部分，可以以程序代码的形式包含于实体介质，如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读取)储存介质，其中，当程序代码被机器，如计算机载入且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序代码形式通过一些传送介质，如电线或电缆、光纤、或是任何传输形式进行传送，其中，当程序代码被机器，如计算机接收、载入且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

本发明虽以优选实施例公开如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围的情况下，当可做些许的修改与变型，因此本发明的保护范围是以本发明的权利要求为准。

Claims (10)

1.一种白平衡方法，用于一多重曝光成像系统，该多重曝光成像系统包括一图像撷取单元，该方法包括：

利用该图像撷取单元以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值，且该第一曝光值及该第二曝光值均分别包括一曝光时间及一曝光增益；

对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例；以及

利用该光源颜色比例对该第一图像进行一颜色增益处理以得到一输出图像。

2.如权利要求1所述的方法，还包括：

调整该第二曝光值，使得该第二图像的像素的平均亮度等于该图像撷取单元的一最大感测值的一特定比例。

3.如权利要求1所述的方法，还包括：

判断该第二图像中具有一特定比例的最高亮度的像素以作为该光源信息。

4.一种多重曝光成像系统，包括：

一图像撷取单元，以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值，且该第一曝光值及该第二曝光值均分别包括一曝光时间及一曝光增益；以及

一处理器，用以对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例，并利用该光源颜色比例对该第一图像进行一颜色增益处理以得到一输出图像。

5.如权利要求4所述的多重曝光成像系统，其中该处理器还调整该第二曝光值，使得该第二图像之像素的平均亮度等于该图像撷取单元的一最大感测值的一特定比例。

6.如权利要求4所述的多重曝光成像系统，其中该处理器还判断该第二图像中具有一特定比例的最高亮度的像素以作为该光源信息。

7.一种白平衡方法，用于一多重曝光成像系统，该多重曝光成像系统包括一图像撷取单元，该方法包括：

利用该图像撷取单元以一第一曝光值及一第二曝光值分别同时对一场景撷取一第一图像及一第二图像，其中该第二曝光值小于该第一曝光值，且该第一曝光值及该第二曝光值均分别包括一曝光时间及一曝光增益；

对该第二图像进行光源检测以得到该场景的一光源信息及相应的一光源颜色比例；

对该第一图像及该第二图像进行一图像结合处理以得到一第三图像；以及

利用该光源颜色比例对该第三图像进行一颜色增益处理以得到一输出图像。

8.如权利要求7所述的方法，还包括：

调整该第二曝光值以让该第二图像的像素值大于该图像撷取单元的无用信息值。

9.如权利要求7所述的方法，还包括：

调整该第二曝光值以让该第二图像的像素值小于或等于该图像撷取单元的最大感测值。

10.如权利要求7所述的方法，还包括：

计算该第一曝光值及该第二曝光值的一比值；以及

将该第二图像的像素值乘以该比值以得到该第三图像。