CN108462865A - 确定图像的光源和对图像进行色觉适配的方法及设备 - Google Patents
确定图像的光源和对图像进行色觉适配的方法及设备 Download PDFInfo
- Publication number
- CN108462865A CN108462865A CN201810115431.0A CN201810115431A CN108462865A CN 108462865 A CN108462865 A CN 108462865A CN 201810115431 A CN201810115431 A CN 201810115431A CN 108462865 A CN108462865 A CN 108462865A
- Authority
- CN
- China
- Prior art keywords
- light source
- image
- value
- adaptation
- coordinate values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000006978 adaptation Effects 0.000 title claims abstract description 68
- 230000004456 color vision Effects 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 102000006822 Agouti Signaling Protein Human genes 0.000 description 1
- 108010072151 Agouti Signaling Protein Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000005457 Black-body radiation Effects 0.000 description 1
- 241000484025 Cuniculus Species 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000000272 proprioceptive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种确定图像的光源和对图像进行色觉适配的方法及设备。确定图像的光源的方法包括：计算所述图像的一组候选光源中的每一个的指示值，其中每一个所述候选光源由在色度坐标系中的相应的坐标对(p,q)来描述；确定所述候选光源的所述指示值的阈值；识别具有不大于所述阈值的所述指示值的所述候选光源的子集；以及对于所述子集中的所有候选光源，计算所述相应的坐标对的加权平均，获得在所述色度坐标系中描述所述图像的所述光源的平均坐标对。
Description
技术领域
本发明涉及彩色摄影、数码相机、彩色打印和数字彩色图像处理领域。
背景技术
所有用户的彩色显示设备都经过校准，以便于在颜色通道的红色(R)＝绿色(G)＝蓝色(B)时，显示的色彩为标准的“白点”色度，根据国际照明委员会(InternationalCommission on Illumination，简称CIE)标准，其大部分为D65或D50。使用互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)或者电荷耦合元件(charge-coupled device，CCD)的数字彩色相机对RGB通道具有不同的敏感度，从而导致原始图像具有某种偏色(例如，偏绿)。此外，物体的颜色会因为光源的颜色(例如钨丝灯或日光)和周围的物体的彼此反射作用而变化。因此，在处理和以合适的颜色再现显示图像前，常常需要调节原始图像的“白点”。白点的调节被称为白平衡(white balance，WB)，其通常通过对颜色通道应用适当的增益来实现，这样图像中的中性物件(例如黑色，灰色和白色)被呈现为大致相等的R、G、B值。在数字相机中，白点可以被手动或者自动调节。自动白平衡(Automaticwhite balance，AWB)因此是彩色成像应用中的重要操作。
大多数传统的AWB算法依赖于自然场景的一些物理特征(例如色域)和统计特征(例如平均颜色分布)。传统的AWB算法对场景内容的统计比较敏感，常常遇到以下一个或多个难点：1)主色色偏影响结果，2)当图像中没有中性色时，预估出现错误的概率很高，3)错误的相机校正可能会导致场景统计与相机使用的统计不同，4)需要大量的参考标准当训练样本来建立可靠的统计，以及，5)算法的性能受到相机的批量生产中的元件与元件的差异的影响。因此，非常需要开发出一种对多场景内容更加具有稳健性且相对不敏感的AWB技术。
发明内容
本发明提供一种确定图像的光源和对图像进行色觉适配的方法及设备。
在一个实施例中，提供一种确定图像的光源的方法。该方法包括：计算图像的一组候选光源中的每一个候选光源的指示值，其中每一个候选光源都由在色度坐标系中的相应的坐标对(p,q)来描述；确定候选光源的指示值的阈值；识别具有不大于阈值的指示值的候选光源的子集；以及对于所述子集中的所有候选光源，计算所述相应的坐标对的加权平均，获得用于在所述色度坐标系中描述所述图像的所述光源的平均坐标对。
在另一个实施例中，提供一种对图像进行色觉适配的方法。该方法包括：计算图像的光源，其中光源由在色度坐标系中的坐标对(p,q)来描述；识别图像中景物的亮度级；使用至少部分地根据适配要求和图像中景物的亮度级推导出的一个或多个适配度，来调整光源的坐标对(p,q)以获得适配光源；以及将图像的颜色适配于所述适配光源。
在又一个实施例中，提供一种确定图像的光源的设备。该设备包括：存储器，用于存储图像；以及耦接于存储器的图像处理管道。图像处理管道用于：计算图像的一组候选光源中的每一个候选光源的指示值，其中每一个候选光源由在色度坐标系中的相应的坐标对(p,q)来描述；确定所述候选光源的指示值的阈值；识别具有不大于阈值的指示值的候选光源的子集；以及对于子集中的所有候选光源，计算相应的坐标对的加权平均，获得用于在色度坐标系中描述所述图像的光源的平均坐标对。
在再一个实施例中，提供一种对图像进行色觉适配的设备。该设备包括：存储器，用于存储图像；以及耦接于存储器的图像处理管道。图像处理管道用于：计算图像的光源，其中光源由在色度坐标系中的坐标对(p,q)来描述；识别图像中景物的亮度级；使用至少部分地根据适配要求和图像中景物的亮度级推导出的一个或多个适配度，来调整光源的坐标对(p,q)以获得适配光源；以及将图像的颜色使适配于所述适配光源。
本发明的实施例改善了AWB计算的结果。另外，可以根据给定的规范有效地执行色觉适配。在下面的描述中将详细解释实施例的优点。
附图说明
在附图中，通过举例而非限制的方式来说明本发明，其中相同的附图标记表示类似的元件。需要注意的是，在本发明中，对“一个”实施例的不同提及不一定是相同的实施例，并且这种引用意味着至少一个。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确描述，均认为结合其他实施例实现这样的特征、结构或特性是在本领域技术人员的知识范围内。
图1A是本发明提供的一实施例中执行色彩校正的图像处理管道的示例；
图1B是本发明一实施例中的包括图1A所示的图像处理管道的设备的形式的系统；
图2是本发明一实施例中的在垂直于光源向量的平面上的的两个颜色表面的投影的示例。
图3是本发明提供的一实施例中的用于执行最小投影面积(minimum projectedarea，MPA)方法的自动白平衡模块的结构图；
图4A、4B和4C是本发明一实施例中的使用三种不同候选光源的投影结果；
图5是本发明一实施例中的执行块MPA方法的自动白平衡模块的结构示意图；
图6是本发明一实施例中的MPA方法的流程图；
图7是本发明一实施例中的执行最小总变差(minimum total variation，MTV)方法的自动白平衡模块的结构示意图；
图8是本发明另一实施例中的MTV方法的流程图；
图9是本发明一实施例中的用于自动白平衡的方法的流程示意图；
图10是本发明一实施例中的指示值保持低于G/R比率范围的阈值的示例；
图11A是本发明一实施例中的MPA计算器的示例；
图11B是本发明一实施例中的MTV计算器的示例；
图12是本发明一实施例中的用于确定图像光源的方法的流程图；
图13是本发明一实施例中的适配要求的图表示意图；
图14A是本发明一实施例中的AWB模块的示例；
图14B是本发明另一实施例中的AWB模块的示例；
图15是本发明一实施例中的基于一组亮度级的适配要求而对图像进行色觉适配的方法的流程图。
具体实施方式
在下面的描述中，陈述了很多具体细节。然而，可以理解的是，本发明的实施例可以在没有这些具体细节的情况下实施。在其他实施例中，众所周知的电路、结构和技术没有被详细说明，以免模糊对本说明书的理解。然而，本领域技术人员可以理解，可以在没有这些具体情节的情况下实践本发明。本领域的普通技术人员通过所具有的描述将能够无需过度的实验而实现适当的功能。
本发明提供基于表面反射分解的系统和方法来执行自动白平衡(automaticwhite balance，AWB)。当与基于传统的AWB算法的系统和方法相比，该系统和方法具有稳健性且对场景内容相对不敏感。该系统和方法不依赖详细的场景统计或用于训练的大量图像数据库。在下文中，描述了最小投影面积方法(minimum projected area，MPA)和最小总变差(minimum total variation，MTV)方法，这两者都基于将表面反射分解为镜面反射分量和漫反射分量，并且基于镜面反射分量的消除。
如本文中所使用的，术语“三色值”或等同的“RGB值”或“RGB通道”，是指彩色图像的三个颜色值(红、绿、蓝)。术语“光源(illuminant)”和“光源(light source)”可互换使用。此外，色度图像指的是色彩差异图像，其可通过获取一个色彩通道和另一个色彩通道之间的差异计算出，或者可以通过色彩通道的线性组合之间的差异来计算出。
图1A是本发明的一实施例中，执行色彩校正的图像处理管道(image processingpipeline)100的示例。图像处理管道100包括AWB模块110，其接收原始RGB值作为输入，并且输出白平衡校正后的RGB值。原始RGB值可以由图像传感器、相机、录像机等生成。AWB模块110的操作将会在下文参考图2-9进行详细解释。图像处理管道100还包括色彩校正矩阵(color correction matrix，CCM)模块120，色彩校正矩阵120对从AWB模块110输出的RGB值执行3×3矩阵计算。CCM模块120可以降低图像传感器的光谱特性和标准的色彩设备(例如，标准RGB彩色显示器)的光谱响应之间的差异。图像处理管道100还可以包括图像灰度校正模块130，其对从CCM模块120输出的RGB值应用非线性函数来补偿显示设备的非线性亮度效应。图像处理管道100的输出是准备好用于显示的标准RGB(standard RGB，sRGB)的值的集合。在一个实施例中，图像处理管道100包括多个处理元件(例如，算术逻辑单元(Arithmetic and Logic Units，ALU)、通用处理器、专用电路，或者上述的任何组合)，用于实现AWB模块110、CCM模块120和图像灰度校正模块130的功能。
图1B是本发明一实施例中包括图1A所示的图像处理管道100的设备150的系统结构示意图，除了图像处理管道100之外，设备150包括存储器160，其用于存储图像数据或者将被图像处理管道100处理的中间图像数据，设备150还包括显示器140，显示器140用于显示具有标准RGB值的图像。可以理解的是，设备150还可以包括其他额外的部件，包括但不限于：图像传感器、一个或者多个处理器、用户接口、网络接口等。在一个实施例中，设备150可以是数码相机，或者，设备150可以是诸如计算机、笔记本电脑、智能手机、智能手表之类的计算和/或通信设备的一部分。
在描述AWB模块110的实施例之前，首先解释AWB模块110的操作所根据的原理是有利于理解的。
令f(θ；λ)为双向光谱反射分布函数(bidirectional spectral reflectancedistribution function，BSRDF)，其中θ代表所有的角度相关因子(angle-dependentfactor)，而λ代表光的波长。大多数有色物体表面的BSRDF可以被描述为两个反射分量的组合，这两个反射分量为界面反射(镜面)分量和本体反射(漫反射)分量。界面反射(interface reflection)通常是非选择性的，即其对所有具有可见光波长的光进行同样的反射。这个模型被称为中性界面反射(neutral interface reflection，NIR)模型。基于NIR模型，BSRDF f(θ；λ)可以表示为：
f(θ；λ)＝ρ(λ)h(θ)+ρsk(θ)，(1)
其中ρ(λ)是漫反射率因子(diffuse reflectance factor)，ρs镜面反射率因子(specular reflectance factor)，h(θ)和k(θ)是两个反射率因子的角度相关函数。NIR模型的关键特征在于每种反射分量中的光谱因子和几何因子是完全分开的。
假定L(λ)是光源的光谱功率分布，Sr(λ)、Sg(λ)和Sb(λ)是三个传感器基础(即，光谱响应函数)。RGB色彩空间可以推导为：
R＝∫L(λ)f(θ；λ)Sr(λ)dλ
＝h(θ)∫L(λ)ρ(λ)Sr(λ)dλ+ρsk(θ)∫L(λ)Sr(λ)dλ，
G＝h(θ)∫L(λ)ρ(λ)Sg(λ)dλ+ρsk(θ)∫L(λ)Sg(λ)dλ，
B＝h(θ)∫L(λ)ρ(λ)Sb(λ)dλ+ρsk(θ)∫L(λ)Sb(λ)dλ。 (2)
令
Lr＝∫L(λ)Sr(λ)dλ，Lg＝∫L(λ)Sg(λ)dλ，Lb＝∫L(λ)Sb(λ)dλ，
于是，
R＝Lr[ρrh(θ)+ρsk(θ)]，
G＝Lg[ρgh(θ)+ρsk(θ)]，
B＝Lb[ρbh(θ)+ρsk(θ)]，(3)
其中，Lr、Lg和Lb是光源的三色值，RGB色彩空间可以改写为如下所示的矩阵形式：
令v1和v2是RGB空间中的两个独立向量。如果将RGB值投影到v1和v2所生成的平面V上，投影坐标将为
令L＝[LrLgLb]T为光源向量，在[v1 v2]TL＝0时，等式(5)中的第二项消失。这意味着当平面V垂直于光源向量L时，镜面反射分量被消除。
图2是本发明一实施例中将两个表面的颜色投影到平面V的示例。根据NIR模型，在给定的表面(例如，S1)上的每个颜色向量是镜面反射分量(由光源向量L表示)和漫反射分量(由C1表示)的线性组合。S1的所有颜色与L和C1在同一个平面上。类似的，另一个表面(例如S2)的所有颜色与L和C2在同一平面上。因此，同一光源下的所有颜色所在的平面上共享共同向量L。如果所有颜色都沿光源向量L投影，则它们的投影将形成多条线，且这多条线在一点处相交，该点为光源向量的投影点。如果投影的方向不是沿着光源向量L的方向，(即，如果V不垂直于L)，则镜面分量不被消除。在这种情况下，投影的颜色将不再在平面V上形成线，但是会在平面V的二维区域上展开。该二维区域被称为平面V上的投影面积。当v1和v2正交时可以计算出该二维区域的面积。当v1和v2变化时，平面V随之变化。通过改变v1和v2，当平面V垂直于光源向量L时，投影面积会变为最小。使用v1和v2中特定的哪一个作为基础向量并不重要，因为它们都会产生实质相同的结果。
在AWB计算中，真实光源的光源向量L是未知的。MPA方法通过选择不同的候选光源来改变平面V。从候选光源的选出的光源向量L＝(Lr，Lg，Lb)，可以计算出正交的基础向量v1和v2，并且也可以计算出给定图像在由v1和v2生成的平面上的投影面积。当选择的光源向量L最接近该图像的真实光源时，投影面积最小。
在一个实施例中，正交的基础向量可以被参数化如下：
当α＝Lg/Lr，且β＝Lg/Lb时，平面V(α，β)垂直于L。
在一个实施例中，因为搜索所有可能的平面V(α，β)是非常耗时的，光源的搜索范围被缩窄到光源更可能发生的子空间。缩小搜索范围也有利于减少找到错误光源的可能性。在一个实施例中，搜索范围可以被设置为在预期的应用领域中的用户图像中(consumerimage)经常发生的一组光源。术语“用户图像”指的是通常可以在内容用户使用的图像显示设备上看到的彩色图像。或者或另外，可以使用日光轨迹(daylight locus)和黑体辐射轨迹(blackbody radiator locus)的适当混合。这个混合可以提供覆盖了用户图像中大多数的光源的光源轨迹。为了搜索到图像的光源，用MPA方法为沿着光源轨迹的一组候选光源中的每一个候选光源计算图像的投影面积。产生最小的投影面积的候选光源就是场景光源(即，真实光源)的最佳估计，且图像根据该场景光源的最佳估计被白平衡。在一个实施例中，MPA方法寻找最小投影面积的表达式如下所示：
argminα,βw(α,β)Area(α,β)，(8)
其中，w(α,β)是偏置函数(bias function)，Area(α,β)是在平面V(α，β)投影的面积，该面积是通过v1(α,β)和v2(α，β)生成的。该偏置函数可以用于修改投影面积，从而改善MPA方法的性能。该偏置函数依赖于总体场景光源分布，而不是场景内容。因此，相同的偏置函数可以适用于相机校准后的任何相机模型。偏置函数w(α,β)的详细内容将在稍后提供。在其他实施例中，可以省略偏置函数(即，设定为1)。
图3是本发明提供的一实施例中用于执行MPA方法的AWB模块300的结构图。AWB模块300是图1A中所示的AWB模块110的一个示例。AWB模块300包括预处理单元310，预处理单元310用于处理输入图像的原始RGB数据以移除过度曝光、曝光不足和饱和的像素。移除这些像素可以提升AWB的计算速度并可减少噪点。在一个实施例中，如果一个像素的R值、G值和B值中的一个或多个的色彩通道大于阈值时，则认为该像素是过度曝光，则移除该像素。在这些像素被移除后，预处理单元310可以通过将图像划分为多组相邻像素，并计算每一组中的相邻像素的三色值的加权平均值，来对输入图像进行分组平均。每一个组的权重可以是一或其他数值。在一个实施例中，在计算出分组平均之后，预处理单元310可以从图像中移除曝光不足的像素。如果一个像素的R值、G值和B值之和高于第一阈值，则该像素被过度曝光；如果一个像素的R值、G值和B值之和低于第二阈值，则该像素曝光不足。预处理单元310也可以从图像中移除饱和像素。如果一个像素的R值、G值和B值之一低于预定阈值，则该像素饱和。
在一个实施例中，在移除过度曝光、曝光不足和/或饱和的像素和分组平均操作之后，预处理单元310可以对图像进行子采样以产生预处理图像。预处理后的图像被提供给AWB模块300中的MPA计算器380，用于MPA计算。
在一个实施例中，MPA计算器380包括投影平面计算器320和投影面积计算器330。投影平面计算器320计算两个正交向量v1和v2，v1和v2生成了垂直于候选光源的光源向量L(Lr，Lg，Lb)的平面。在一个实施例中，当α和β的值已经被给出或者从候选光源中计算出时，投影平面计算器320可以根据等式(6)和(7)计算出v1和v2。
在确定投影平面之后，投影面积计算器330将预处理图像中的每一个像素的RGB值投影到该投影平面。投影的结果是落在投影平面上的点的集合。如果每种颜色被表示为单点，那么投影的结果将在投影平面上产生一组散乱的点，如图4A、4B和4C的所示，图4A、4B和4C中的每一幅附图都是采用不同的候选光源进行投影的结果。当沿着真实光源向量进行投影时，局部的点的密度变更高。然而，计算点的密度需要大量的计算。在一个实施例中，投影平面被分成一组空间仓(spatial bins)(例如正方形)。当一个或多个像素投影到正方形中时，计数该正方形。计数的正方形的数量可以作为投影面积的估算结果。
参考图4A、4B和4C，在每一个示例中，“x”标记代表图像中所有像素的投影点。当候选光源越接近真实光源，被“x”标记的投影的总面积就越小。每一个示例都采用了由不同正交基础向量v1和v2所描述的不同的候选光源。图4B所示的投影面积119面积最小，因此其相应的候选光源在三个候选光源中最接近真实光源。
请再次参阅图3，在投影面积计算器330计算出一组不同候选光源的投影面积之后，比较器340比较这些投影面积的大小并识别产生最小投影面积的候选光源。在一个实施例中，在比较之前，比较器340可以将每一个投影面积与前文所述的偏置函数相乘，以作为改进AWB结果的选项，在本实施例中示为偏置值345(即，权重)。偏置值345可以基于在用户图像中光源沿着光源轨迹的频率的先验知识来决定。也就是说，偏置值345代表的是场景光源分布的先验知识，而不与场景内容相关。在一个实施例中，每一个候选光源都与一个偏置值相关联，该偏置值可以被表示为函数w(α,β)，其中α和β是候选光源的色彩比率。从一种相机模型到另一种相机模型，偏置值是稳定不变的。
在比较器340识别出产生最小投影面积的候选光源之后，增益调整单元350根据候选光源的色彩比率α和β调整输入图像的色彩增益。
对于具有多个不同颜色的物体的图像，当投影沿着光源向量时，投影面积通常是最小的，然而对于只有单个主色的图像，当主色的镜面反射分量或者漫反射分量被消除时，才会出现最小投影面积。为了更好地处理这种颜色种类很少的图像，搜索范围被限制在仅由于镜面反射分量被消除而不是漫反射分量被消除所引起的最小投影面积。一种方法是在色度空间中搜索这些靠近潜在光源的所在位置的候选光源。因此，沿着穿过已知光源的群体(population)的光源轨迹搜索到最小投影面积。
在一个实施例中，色度坐标系(p,q)可以在较小失真的色度区域中的参数化光源轨迹的分布。该坐标系(p,q)被定义为：
其中，r＝R/(R+G+B)，g＝G/(R+G+B)，b＝B/(R+G+B)。
对于候选光源(Lr,Lg,Lb)，其(p,q)坐标系可以通过将等式(9)中的R、G、B值更换为Lr、Lg、Lb值来决定。
可以通过拟合(fitting)由参考相机在不同光源下获取的色彩数据获得光源轨迹。例如，对来自三种光源(阴影、日光和钨丝灯)光线进行曲线拟合可以提供非常好的光源轨迹。在一个实施例中，一个给定的光源轨迹可以由二阶多项式函数在(p,q)域中表示，其具有如下的形式：
q＝a1p2+a2p+a3. (10)
给定(p,q)的值，如下所示的等式用于计算(r,g,b)：
色彩比率α和β可以通过如下所示的等式获得：
因此，给出沿着光源轨迹的(p,q)，可以计算色彩比率α和β。正交向量v1(α,β)和v2(α,β)可以使用等式(6)和(7)计算出。并且图像投影到由v1(α,β)和v2(α,β)所展开的平面V上的面积也可以计算。
当场景被单个主光源照射时，MPA方法可以准确地估算出光源。但是，有些场景有不止一个光源。在一个实施例中，块MPA方法被用于处理这样的多光源场景。使用块MPA方法，就是将图像分成几个块，并将MPA方法应用于每一个块。
图5是本发明一实施例中执行块MPA方法的AWB模块500。AWB模块500是图1A中所示的AWB模块110的一个示例。AWB模块500包括预处理单元510，预处理单元510还包括块划分单元515，块划分单元515用于将输入图像划分为多个块。预处理单元510在每一个块上执行与图3中所示的预处理单元310相同的像素移除操作，预处理单元510移除过度曝光，曝光不足和饱和的像素。预处理单元510还在移除像素操作之后确定每一个块是否具有足够数量的像素(例如，10个像素)来进行MPA方法。如果具有足够像素的块数量小于阈值数量(例如，块总数的一半)，则预处理单元510将图像重新划分为更少数量的块，使得图像中的新块的数量大于阈值数量。
在一个实施例中，AWB模块500包括一个或多个MPA计算器310MPA计算器310用于在每一个块上执行MPA方法。每一个块的结果都被加权平均单元540收集，加权平均单元540首先对色度坐标p进行平均，然后基于给定光源轨迹的拟合曲线(例如(10)中的二阶多项式函数)找出另一个色度坐标q。在一个实施例中，加权平均单元540给每一个块都应用一个权重。例如，具有主要物件的块的权重可能高于其他块。在其他实施例中，加权平均单元540可以对所有的块应用相同的权重。加权平均单元540的输出是结果候选光源或其代表候选光源。然后增益调整单元350根据结果候选光源的色彩比率α和β调整输入图像的色彩增益。
图6是本发明一实施例中在彩色图像上执行的MPA方法600的流程图。MPA方法600可以由诸如图1B的设备150的设备执行；更具体地说，MPA方法600可以由图1A的AWB模块110、图3的AWB模块300和/或图5的AWB模块500执行。
在MPA方法600中，设备首先开始对图像进行预处理以获得预处理像素，每一个预处理像素由三色值表示，三色值包括红(red，R)值，绿(green，G)值和蓝(blue，B)值(步骤610)。对于一组候选光源中的每一个候选光源，设备执行如下操作：计算与候选光源的三色值的向量垂直的投影平面(步骤620)，将每一个预处理像素的三色值投影到计算出的投影平面以获取投影面积(步骤630)。将候选光源中投影面积最小的一个识别为结果光源(resulting illuminant)(步骤640)。设备可以使用结果光源的色彩比率调整图像的色彩增益。
根据另一个实施例，可以使用MTV方法来执行AWB方法，该MTV方法也基于与MPA方法相同的原理：通过设法消除镜面反射分量。根据NIR模型，可以从给定的图像中，通过缩放一个颜色通道并与另一个颜色通道相减，来创建一对色度图像(αC1-C2)和(βC3-C2)。(C1，C2，C3)是三色值(R，G，B)的线性变换。
(αC1-C2)和(βC3-C2)都是图像中空间位置的函数。两个色度图像可以表示为：
(αC1-C2)＝[(αa11-a21)Lrρr+(αa12-a22)Lgρg
+(αa13-a23)Lbρb]h(θ)
+[(αa11-a21)Lr+(αa12-a22)Lg+(αa13-a23)Lb]ρsk(θ)，
(βCs-C2)＝[(βa31-a21)Lrρr+(βa32-a22)Lgρg
+(βa33-a23)Lbρb]h(θ)
+[(βa31-a21)Lr+(βa32-a22)Lg+
βa33-a23Lbρskθ。
(14)当α＝(a21Lr+a22Lg+a23Lb)/(a11Lr+a12Lg+a13Lb)且
β＝(a21Lr+a22Lg+a23Lb)/(a31Lr+a32Lg+a33Lb)时：
(αC1-C2)＝[(αa11-a21)Lrρr+(αa12-a22)Lgρg+(αa13-a23)Lbρb]h(θ)，
(βC3-C2)＝[(βa31-a21)Lrρr+(βa32-a22)Lgρg+(βa33-a23)Lbρb]h(θ)。
(15)对于(αC1-C2)和(βC3-C2)，镜面反射分量都被消除。当消除发生时，由于镜面反射分量引起的调制消失，所以(αC1-C2)和(βC3-C2)的总变差大大减小。只剩下漫反射分量的信号调制。
通过沿着给定的光源轨迹搜索，MTV方法可以找到候选光源，该候选光源由色彩比率α和β表示，使得总变差在接下来的表示中最小化。可以使用等式(11)和(12)从给定的光源轨迹上的给定的点(p,q)计算出色彩比率α和β。本实施例中的总变差可以表示为等式(14)中的两个色度图像的绝对梯度大小之和：
需要注意的是，二维图像的梯度是具有x分量和y分量的向量。为了提升计算效率，可以使用简化的一维近似总变差：
在一个实施例中，如果任何一个相邻像素都由于过度曝光、曝光不足或颜色饱和而已经被移除，则从总变差计算中排除该像素的梯度。
图7是本发明一实施例中执行MTV方法的自动白平衡模块700的结构示意图。AWB模块700是图1A的AWB模块110的另一个示例。AWB模块700包括预处理单元310，预处理单元310用于处理输入图像的原始RGB数据以移除过度曝光、曝光不足和饱和的像素。AWB模块700还包括MTV计算器780，MTV计算器780在一组候选光源中搜索最小总变差的变化的解决方案。更具体地说，MTV计算器780还包括差值计算器720和比较器730。差值计算器720计算每一个候选光源的总变差，比较器730比较差值计算器720计算的结果以识别出最小总变差。在一个实施例中，比较器730在比较前可以将每一个总变差乘以偏置值345(即，权重)。偏置值345可以基于在用户图像中光源沿着光源轨迹的频率的先验知识来确定。也就是说，偏置值345表示场景光源分布的先验知识，并且与场景内容无关。在一个实施例中，每一个候选光源与一个偏置值相关联，该偏置值可被表示为函数w(α,β)，其中α和β是候选光源的色彩比率，从一个相机模型到另一个相机模型，偏置值保持稳定。
在比较器730识别出产生最小总变差的候选光源之后，增益调节单元350使用候选光源的色彩比率α和β调节输入图像的色彩增益。实验结果表明，MTV方法在单个主光源以及多个光源的场景下表现良好。
图8是本发明另一实施例中在彩色图像上执行的MTV方法800的流程图。在本实可替代施例中，在计算总变差的过程中采用线性变换来计算三色值。MTV方法800可以由诸如图1B中所示的设备150的设备来执行，更具体地，MTV方法800可以由图1A中所示的AWB模块110和/或图7中所示的AWB模块700来执行。
在MPA方法800中，设备首先开始对图像进行预处理以获得多个预处理像素，每一个预处理像素由三色值表示，三色值包括红(R)值，绿(G)值和蓝(B)值的(步骤810)。对于一组候选光源中的每一个候选光源，设备计算预处理像素中的相邻像素之间的三色值总变差值(步骤820)。计算总变差值的步骤包括如下操作：计算三色值的线性变换以获得三个变换值(步骤830)；计算第一缩放因子和第二缩放因子，第一缩放因子和第二缩放因子用于表示候选光源的两个色彩比率(步骤840)；通过获取按第一缩放因子缩放的第一变换值与第二变换值之间的差值(difference)来构建第一色度图像(步骤850)；通过获取按第二缩放因子缩放的第三变换值与第二变换值之间的差值来构建第二色度图像(步骤860)；以及通过将第一色度图像的绝对梯度大小和第二色度图像的绝对梯度大小相加来计算总变差(步骤870)。在计算出所有候选光源的总变差之后，设备选择在所有总变差中值最小的总变差相应的候选光源(步骤880)。
图9是本发明一实施例中对图像执行自动白平衡的方法的流程示意图。方法900可以由诸如图1B所示的设备150的设备来执行；更具体地，方法900可以由图1A所示的AWB模块110，图3所示的AWB模块300，图5所示的AWB模块500和/或图7所示的AWB模块700来执行。
在方法900中，设备首先开始对图像进行预处理以获得多个预处理像素，每一个预处理像素由三色值表示，三色值包括红(R)值，绿(G)值和蓝(B)值(步骤910)。对于一组候选光源中的每一个候选光源，设备计算其包括镜面反射分量和漫反射分量的指示值(步骤920)。然后设备识别出多个候选光源中的一个候选光源为结果光源，其相应的指示值是所有候选光源中的最小指示值，其中，最小指示值相应于镜面反射分量的消除(步骤930)。根据从结果光源推导出的色彩比率，设备调制图像的色彩增益(步骤940)。在一个实施例中，指示值是如图6中所示的MPA方法600中所描述的投影面积，在其他实施例中，指示值是如图8中所示的MTV方法800所描述的总变差值。
在接下来的描述中，将展示MPA和MTV方法的改进。该改进的目的在于使得计算出的图像的光源更接近真实光源，例如当多个候选光源生成的投影区域(或者总变差)具有相似的大小；也就是说，它们在数值上的差异可能在误差范围内。因此，将(p,q)域中的这些候选光源的坐标值进行平均以生成平均光源，而不是将这些候选光源中的一个作为图像的光源。在一个实施场景中，当图像中大量的像素位于用于获取候选光源的光源轨迹上，或者在该光源轨迹的阈值距离内，该方法可能是有用的。在这种情况下，通过MAP方法计算出的最小投影面积和通过MTV方法计算出的最小总变差可能是不稳定的，且平均光源可能比在计算中产生最小投影面积(或者最小总变差)的候选光源更接近真实光源。在本文的描述中，术语“平均值”可与“加权平均值”可互换使用，其中权重可以是1或另一数值；例如从关于候选光源的先验知识推导出的概率值。例如，如果在用户图像群体中第一候选光源比第二候选光源更加频繁地出现，则第一候选光源的概率值可能高于第二候选光源的概率值。
为了简化描述，在接下来的描述中术语“指示值”用于指代MPA方法中的“投影面积”、MTV方法中的“总变差”以及它们各自的加权值中的任何一个。图10是将MPA方法应用到图像上的结果的示例，其中对于一定范围的G/R比率，指示值(例如，加权面积)保持基本相同，其中每个G/R比率都代表候选光源。在本实施例中，真实指示值不是最小指示值，但是真实指示值和最小指示值均低于阈值(T)。在一个实施例中，所有的指示值都小于，或者不大于阈值(T)，阈值(T)被接受用于计算平均光源，并且平均光源可以是通过平均计算相应的候选光源的p和q的坐标值来获得的。平均光源可以作为图像的光源。
在一个实施例中，阈值(T)可以是指示值的最大值和最小值之间的值，例如T＝V_min+Δ，其中V_min是候选光源生成的所有指示值中的最小指示值，Δ小于指示值的最大值和最小值之间的差值。在一些情况下，Δ可以大于零，例如当生成最小指示值的候选光源不是边界候选光源时。需要注意的是这里的术语“边界”是指p坐标边界，因为使用q坐标边界来计算阈值(T)可能引起在计算平均光源的结果中产生显著的误差。
在一些情况下，Δ可以是零，例如当边界候选光源中的一个生成最小指示值时，和/或当最小指示值和第二最小指示值之间的差值大于容忍范围时。通过坐标对(p,q)来描述边界候选光源，其中p坐标值处于包括色度坐标系中的所有候选光源的时间或空间(interval or space)的边界处。例如，如果所有的候选光源位于由p坐标值范围参数化的(p,q)空间中的一维曲线上，则在光源轨迹上具有最小和最大的p坐标值的候选光源是边界候选光源。如果所有候选光源位于由p坐标值范围和q坐标值范围描述的二维色度空间中，则具有最小和最大的p坐标值的候选光源是边界候选光源。
因此，阈值T的通式可以是：T＝min[(V_min+k(V_max–V_min)),V_boundary]，其中k是0与1之间的值(例如，k＝0.125)，V_min是最小指示值，V_max是最大指示值，V_boundary表示如上文中定义的边界候选光源生成的边界指示值。
图11A是本发明一实施例中MPA计算器1181的示例。MPA计算器1181是图3和图5中的MPA计算器380的可替代示例。如前文中所述，投影平面计算器320和投影面积计算器330计算每个候选光源的投影面积。比较器340比较投影面积或加权投影面积，确定阈值(T)，并识别投影面积或加权投影面积不大于T的那些候选光源。MPA计算器1181还包括平均计算器1101，用于计算识别出的候选光源的平均值。这些候选光源中的每一个都由在色度坐标系中的相应坐标对(p,q)来描述。平均计算器1101分别对这些相应的p坐标值和相应的q坐标值进行平均，以确定平均p坐标值(pavg)和平均q坐标值(qavg)。由色度坐标系中的平均坐标对(pavg，qavg)识别或描述的结果平均光源，可以作为用于随后的图像处理(例如，AWB处理)的图像的光源。
类似的，图11B是本发明一实施例中MTV计算器1182的示例。MTV计算器1182是图7中的MTV计算器780的可替代示例。如前文中所述，差值计算器720计算每个候选光源的总变差。比较器730比较总变差或加权总变差，确定阈值(T)，并识别那些总变差或加权总变差不大于T的候选光源。MTV计算器1182还包括平均计算器1102，用于计算识别出的候选光源的平均值。这些候选光源中的每一个都由在色度坐标系中的相应坐标对(p,q)来描述。平均计算器1102分别对这些相应的p坐标值和相应的q坐标值进行平均，以确定平均p坐标值(pavg)和平均q坐标值(qavg)。图像的光源由色度坐标系中的平均坐标对(pavg，qavg)来识别或描述。
图12是本发明一实施例中用于确定图像的光源的方法1200的流程图。方法1200可以由诸如图1B中所示的设备150的设备来执行，更具体地，方法1200可以由图11A的MPA计算器1181或图11B的MTV计算器1182来执行。
在方法1200中，设备首先开始计算图像的一组候选光源中的每一个的指示值(步骤1210)，每个候选光源由在色度坐标系中的相应的坐标对(p,q)来描述。设备确定候选光源的指示值的阈值(步骤1220)；并且识别出具有不大于阈值的指示值的候选光源的子集(步骤1230)。对于子集中的所有候选光源，设备对相应的坐标对进行平均以获得在色度坐标系中描述图像的光源的加权平均坐标对(步骤1240)。更具体地说，该设备可以分别对这些相应的p坐标值和相应的q坐标值进行平均，以确定平均p坐标值(pavg)和平均q坐标值(qavg)。图像的光源由色度坐标系中的加权平均坐标对(pavg，qavg)来识别或描述。
在一些实施例中，如上文中所计算的图像的光源可以根据用户的要求或规范(specification)进行调整。用户可以要求图像在成像设备(例如，照相机)上再现，这样所得图像的白平衡被调整得适合顾客的颜色偏好。在一个实施例中，在色度坐标系中执行色觉适配(chromatic adaption)；也就是说，在(p,q)域中执行适配。在(p,q)域中的色觉适配比LMS色彩空间中的计算复杂度简单许多，LMS色彩空间也称为人体感光体响应色彩空间(其中“L”代表长波长敏感度，“M”代表中等波长敏感度，“S”代表短波长敏感度，锥形响应)。LMS色彩空间中的色觉适配通常需要多次3x3矩阵转换。
用户可以指定目标RGB颜色。例如，用户可以提供若干内含灰卡(gray card)的原始图像，以及提供相应的目标内含灰卡的图像。灰卡可以是任何百分比灰色或适合作为参考点的任何颜色。根据用户给出的图像，可以针对这些图像中的给定的亮度级(luminancelevel)，计算原始图像中(porigin,qorigin)的值和目标图像中(padapt,qadapt)的值，其中(porigin,qorigin)分别是色觉适配前光源的p坐标值和q坐标值；(padapt,qadapt)分别是色觉适配后光源的p坐标值和q坐标值。
基于从用户规范推导出的(porigin,qorigin)和(padapt,qadapt)，可以使用以下由等式(18)表示的模型来确定适配度Ap和Aq。
其中pD65和qD65分别是标准光源D65的p坐标值和q坐标值。在可替代的实施例中，可以使用诸如D50、光源E或任何其他优选的光源之类的不同的默认光源的p坐标值和q坐标值值来代替pD65和qD65。在一个实施例中，用户规范所要求的和从用户的规范中导出的适配度Ap可以包括多个Ap值范围，每个范围相应于一个亮度级。同样的方法也适用于适配度Aq。
图13是本发明一实施例中的适配要求1310的图表示意图。图表中的横轴表示亮度级(LA)，纵轴是p坐标的适配度Ap。输入图像的的亮度级(LA)可以通过图像被拍摄时相机的曝光时间、焦距、光圈大小和信号增益计算出。在本实施例中，图表通过由x标记的三个垂直堆栈(vertical stack)来指定适配要求1310，其中每个堆栈指示相应的亮度级的Ap值的范围。Ap值的范围可以由如上所述的用户提供的图像结合等式(18)来生成。尽管在本实施例中适配要求1310为3个相应的亮度级指定了Ap值的范围，可以理解的是，可选择的适配要求可以为任何数量的亮度级指定Ap值的范围。
在一个实施例中，作为LA的函数的单调递增(monotonically increasing)Ap曲线1320可由曲线拟合来生成，这样Ap曲线1320在三个给定的亮度级处通过所有三个Ap范围。在本实施例中，Ap曲线1320可以以下面的形式表示：
参数x1、x2和x3可以通过已知的曲线拟合方法来生成。类似的，用户的要求可以包括另一个图表，该图表作为LA的函数，为q坐标的适配度Aq指定适配要求。例如，Aq曲线可以表示为：
参数x4、x5和x6可以通过已知的曲线拟合方法来生成。在一个可替代的实施例中，等式(19)和(20)可以包括不同数量的参数。
如上文中所述的，可以通过坐标对(p,q)来描述在色度坐标系中的光源，并且可以根据图像的亮度级(LA)和该亮度级的适配度(Ap)或者适配度(Ap和Aq)，来调整该光源。利用适配曲线1320，可以使用等式(18)根据给定的(porigin,qorigin)找到图表中的任何亮度级的适配光源(padapt,qadapt)。
在一个实施例中，等式(18)可以用来找到相应于porigin≤T1或者porigin≥T2的情况下的适配光源(padapt,qadapt)，其中T1和T2标记了边界点，超过该边界点，图像的颜色就需要调整。对于T1<porigin<T2,Ap＝Aq＝1；因此padapt＝porigin且qadapt＝qorigin。
在另一个实施例中，(18)的模型可以基于qadapt通常对Aq不敏感的观察结果来简化。因此，接下来以等式(21)表示的模型，可以用于在porigin≤T1或者porigin≥T2的情况下找到适配光源(padapt,qadapt)：
其中，qoffset是qorigin和光源轨迹之间的距离，a1、a2和a3是光源轨迹的系数(参见等式(10))。结合上文中所述的等式(18)，诸如D50、光源E或任何其他优选的光源之类的不同默认光源的p坐标值和q坐标值可以用来代替pD65andqD65。对于T1<porigin<T2,Ap＝Aq＝1；因此padapt＝porigin且qadapt＝qorigin。
在一些场景中，用户的规范可以转换为包括曲线拟合的多个区域的(p,q)域，并且为每个区域生成不同的单调递增Ap曲线。例如，当用户的规范转换为(p,q)域时，可以指定LA＝10时，Ap的范围为[0,0.1]；LA＝11时，Ap的范围为[0.5,0.6]；LA＝40时，Ap的范围为[0.3,0.4]。在这种情况下，单独一个单调递增的曲线不能满足所有要求的范围。因此，可以使用多个区域，其中每个区域包括单独一个单调递增的曲线能够满足的Ap的范围或者数据点。
例如，区域的边界可以由porigin定义，例如区域1：porigin<T1；区域2：T1≤porigin<T2；...；区域n：Tn-1≤porigin<Tn；区域(n+1)：porigin≥Tn。
针对每个区域i的色觉适配模型可以表示为：
其中且其中xi1、xi2和xi3是基于用户规范通过曲线拟合找到的。结合如上文中所述的等式(18)和(21)，诸如D50、光源E或任何其他优选的光源之类的不同默认光源的p坐标值和q坐标值可以用来代替pD65andqD65。区域之间的过渡是连续的，这样一些轻微的偏移不会引起由于适配不同而导致的可见的颜色变化。
图14A是本发明一实施例中的AWB模块1410。AWB模块1410包括耦接于色觉适配模块1450的图11A中的MPA计算器1181(或图3中的MPA计算器380)，色觉适配模块1450进一步耦接于结合上文中描述的图3、图5和图7中的增益调节单元350，增益调节单元350调整输入图像的色彩增益。尽管图中仅示出了一个MPA计算器，但是在一些实施例中，结合上文中图5所述，AWB模块1410可以包括多个MPA计算器380或1181，每一个MAP计算器为输入图像的一个块计算光源(或平均光源)。色觉适配模块1450为了调整光源的(p,q)值而计算padapt和qadapt。
图14B是本发明另一实施例中的AWB模块1420。AWB模块1420包括耦接于色觉适配模块1450的图11B中的MTV计算器1182(或图7中的MTV计算器780)，色觉适配模块1450进一步耦接于增益调节单元350。色觉适配模块1450为了调整光源的(p,q)值而计算padapt和qadapt。
图15是本发明一实施例中基于一组亮度级的适配要求而对图像进行色觉适配的方法1500的流程图。方法1500可以由诸如图1B中的设备150的设备来执行；更具体地，方法1500可以由图14A中的AWB模块1410或图14B中的AWB模块1420来执行。
在方法1500中，设备首先开始计算图像的光源(步骤1510)，其中光源由在色度坐标系中的坐标对(p,q)来描述。设备识别图像的亮度级(步骤1520)；以及使用至少部分地根据适配要求和图像的亮度级推导出的适配度，来调整光源的坐标对(p,q)，以获得适配光源(步骤1530)。设备将图像的颜色适配于适配光源(步骤1540)。
参考图1A、图1B、图3、图5、图7、图11A、图11B、图14A和图14B中的实施例来描述图6、图8、图9、图12和图15中的流程图中的操作。然而，应当理解的是，流程图中的操作可以被本发明中除了参考图1A、图1B、图3、图5、图7、图11A、图11B、图14A和图14B中所讨论的实施例以外的实施例来执行，且图1A、图1B、图3、图5、图7、图11A、图11B、图14A和图14B中所讨论的实施例可以执行与参考流程图所讨论的操作不同的操作。虽然流程图示出了由本发明的某些实施例执行的操作的特定顺序，但是应当理解的是，这样的顺序是示例性的(例如，替代实施例可以以不同顺序执行操作，组合某些操作，重叠某些操作等)。
区别于现有技术，本发明通过计算一组候选光源中的每一个候选光源的指示值，其中每一个候选光源都由相应的坐标对(p,q)在色度坐标系中描述；确定候选光源的指示值的阈值；识别具有不大于阈值的指示值的候选光源的子集；以及对于所述子集中的所有候选光源，计算所述相应的坐标对的加权平均值，获得用于在所述色度坐标系中描述所述图像的所述光源的平均坐标对，这样可以找到最接近图像的真实光源，降低白平衡对场景内容的敏感度，使得白平衡方法更加稳定。再根据计算出的光源识别图像中景物的亮度级；使用根据适配要求和图像中景物的亮度级推导出的一个或多个适配度来至少部分地调整光源的坐标对(p,q)以获得适配光源；以及调节图像的颜色使其适合适配光源。这样可以根据给定的规范有效地执行色觉适配。
这里已经描述了各种功能组件或块。如本领域技术人员将理解的，功能块将优选地通过电路(专用电路或在一个或多个处理器和编码指令的控制下操作的通用电路)来实现，其通常包括晶体管，晶体管被配置为根据这里所描述的功能和操作来控制电路的操作。
尽管本发明已经通过若干实施例进行了描述，但是本领域技术人员将认识到，本发明不限于所描述的实施例，并且可以在所附权利要求的精神和范围内进行修改和变更来实施。因此该描述被认为是说明性的而不是限制性的。
Claims (22)
1.一种确定图像的光源的方法，其特征在于，包括：
计算所述图像的一组候选光源中的每一个的指示值，其中每一个所述候选光源由在色度坐标系中的相应的坐标对(p,q)来描述；
确定所述候选光源的所述指示值的阈值；
识别具有不大于所述阈值的所述指示值的所述候选光源的子集；以及
对于所述子集中的所有候选光源，计算所述相应的坐标对的加权平均，获得在所述色度坐标系中描述所述图像的所述光源的平均坐标对(pavg，qavg)。
2.根据权利要求1所述的方法，其特征在于，所述计算所述相应的坐标对的加权平均的步骤进一步包括：
分别对相应的p坐标值和相应的q坐标值进行平均，以确定平均p坐标值(pavg)和平均q坐标值(qavg)，其中所述平均坐标对(pavg，qavg)在所述色度坐标系中描述所述图像的所述光源。
3.根据权利要求1所述的方法，其特征在于，所述指示值是通过将所述图像投影到垂直于表示候选光源的三色值的向量的投影平面上而产生的投影面积。
4.根据权利要求1所述的方法，其特征在于，所述指示值是相邻像素之间的三色值的总变差，其中计算所述总变差的步骤进一步包括：
计算所述三色值的线性变换以获得三个变换值；
计算第一缩放因子和第二缩放因子，所述第一缩放因子和所述第二缩放因子用于表示所述候选光源的两个色彩比率；
通过获取按所述第一缩放因子缩放后的第一变换值与第二变换值之间的差值来构建第一色度图像；
通过获取按所述第二缩放因子缩放后的第三变换值与所述第二变换值之间的差值来构建第二色度图像；以及
通过将所述第一色度图像的绝对梯度大小和所述第二色度图像的绝对梯度大小相加来计算所述总变差。
5.根据权利要求1所述的方法，其特征在于，当所述指示值中的最小值由不是边界候选光源之一的候选光源生成时，所述阈值被设置为高于所述指示值中的最小值，其中每个所述边界候选光源具有位于所述色度坐标系中包括所述图像的所有所述候选光源的区间或空间的边界处的p坐标值。
6.根据权利要求1所述的方法，其特征在于，当所述指示值中的最小值由边界候选光源之一的候选光源来产生时，所述阈值被设置为所述指示值中的所述最小值，其中每个所述边界候选光源具有位于所述色度坐标系中包括所述图像的所有所述候选光源的区间或空间的边界处的p坐标值。
7.一种对图像进行色觉适配的方法，其特征在于，包括：
计算所述图像的光源，其中所述光源由在色度坐标系中的坐标对(p,q)来描述；
识别所述图像的亮度级；
使用至少部分地根据适配要求和所述图像中景物的所述亮度级推导出的一个或多个适配度，来调整所述光源的所述坐标对(p,q)，以获得适配光源；以及
将所述图像的颜色适配于所述适配光源。
8.根据权利要求7所述的方法，其特征在于，所述调整所述坐标对的步骤进一步包括：
根据用于所述亮度级的适配度来缩放所述光源的p坐标值；以及
将缩放后的所述p坐标值添加缩放(1-所述适配度)的倍数的默认光源的p坐标值，以获取所述适配光源的适配p坐标值。
9.根据权利要求8所述的方法，其特征在于，
通过评估所述适配p坐标值的函数，来计算所述适配光源的适配q坐标值。
10.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：
根据用于所述亮度级的适配度来缩放所述光源的q坐标值；以及
将缩放后的所述q坐标值添加缩放(1-所述适配度)的倍数的默认光源的q坐标值，以获取所述适配光源的适配q坐标值。
11.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：
基于所述适配要求，计算所述p坐标值的不同区域的不同适配曲线；以及
在计算所述图像的所述光源之后，根据所述光源的所述p坐标值识别所述区域之一和所述适配曲线之一，以用于计算所述适配光源。
12.一种用于确定图像的光源的设备，其特征在于，包括：
存储器，用于存储所述图像；以及
图像处理管道，耦接于所述存储器，用于：
计算所述图像的一组候选光源中的每一个的指示值，其中每一个所述候选光源由在色度坐标系中的相应的坐标对(p,q)来描述；
确定所述候选光源的所述指示值的阈值；
识别具有不大于所述阈值的所述指示值的所述候选光源的子集；以及
对于所述子集中的所有候选光源，计算所述相应的坐标对的加权平均，获得在所述色度坐标系中描述所述图像的所述光源的平均坐标对(pavg，qavg)。
13.根据权利要求12中所述的设备，其特征在于，当计算所述相应的坐标对的所述加权平均时，所述图像处理管道进一步用于：
分别对相应的p坐标值和相应的q坐标值进行平均，以确定平均p坐标值(pavg)和平均q坐标值(qavg)，其中所述平均坐标对(pavg，qavg)在所述色度坐标系中描述所述图像的所述光源。
14.根据权利要求12中所述的设备，其特征在于，所述指示值是通过将所述图像投影到垂直于表示候选光源的三色值的向量的投影平面上而产生的投影面积。
15.根据权利要求12中所述的设备，其特征在于，所述指示值是相邻像素之间的三色值的总变差，当计算所述总变差时，所述图像处理管道进一步用于：
计算所述三色值的线性变换以获得三个变换值；
计算第一缩放因子和第二缩放因子，所述第一缩放因子和所述第二缩放因子用于表示所述候选光源的两个色彩比率；
通过获取按所述第一缩放因子缩放后的第一变换值与第二变换值之间的差值来构建第一色度图像；
通过获取按所述第二缩放因子缩放后的第三变换值与所述第二变换值之间的差值来构建第二色度图像；以及
通过将所述第一色度图像的绝对梯度大小和所述第二色度图像的绝对梯度大小相加来计算所述总变差。
16.根据权利要求12中所述的设备，其特征在于，当所述指示值中的最小值由不是边界候选光源之一的候选光源生成时，所述阈值被设置为高于所述指示值中的所述最小值，其中每个所述边界候选光源具有位于所述色度坐标系中一个包括所述图像的所有所述候选光源的区间或空间的边界处的p坐标值。
17.根据权利要求12中所述的设备，其特征在于，当所述指示值中的所述最小值由边界候选光源之一的候选光源产生时，所述阈值被设置为所述指示值中的所述最小值，其中每个所述边界候选光源具有位于所述色度坐标系中一个包括所述图像的所有所述候选光源的区间或空间的边界处的p坐标值。
18.一种对图像进行色觉适配的设备，其特征在于，包括：
存储器，用于存储所述图像；以及
图像处理管道，耦接于所述存储器，用于：
计算所述图像的光源，其中所述光源由在色度坐标系中的坐标对(p,q)来描述；
识别所述图像的亮度级；
使用至少部分地根据所述适配要求和所述图像中景物的所述亮度级推导出的一个或多个适配度，来调整所述光源的所述坐标对(p,q)，以获得适配光源；以及
将所述图像的颜色适配于所述适配光源。
19.根据权利要求18所述的设备，其特征在于，当调整所述坐标对时，所述图像处理管道进一步用于：
根据用于所述亮度级的适配度来缩放所述光源的p坐标值；以及
将缩放后的所述p坐标值添加到缩放(1-所述适配度)的倍数的默认光源的p坐标值，以获取所述适配光源的所述适配p坐标值。
20.根据权利要求19所述的设备，其特征在于，当调整所述坐标对时，所述图像处理管道进一步用于：
通过评估所述适配p坐标值的函数，来计算所述适配光源的适配q坐标值。
21.根据权利要求18所述的设备，其特征在于，当调整所述坐标对时，所述图像处理管道进一步用于：
根据用于所述亮度级的适配度来缩放所述光源的q坐标值；以及
将缩放后的所述q坐标值添加缩放(1-所述适配度)的倍数的所述默认光源的q坐标值，以获取所述适配光源的适配q坐标值。
22.根据权利要求18所述的设备，其特征在于，当调整所述坐标对时，所述图像处理管道进一步用于：
基于所述适配要求，计算所述p坐标值的不同区域的不同适配曲线；以及
在计算所述图像的所述光源之后，根据所述光源的所述p坐标值识别所述区域之一和所述适配曲线之一，以用于计算所述适配光源。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/425,113 | 2017-02-06 | ||
| US15/425,113 US10224004B2 (en) | 2017-02-06 | 2017-02-06 | Automatic white balance based on surface reflection decomposition |
| US15/675,221 | 2017-08-11 | ||
| US15/675,221 US20180176420A1 (en) | 2016-12-20 | 2017-08-11 | Automatic white balance based on surface reflection decomposition and chromatic adaptation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108462865A true CN108462865A (zh) | 2018-08-28 |
Family
ID=63239431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810115431.0A Withdrawn CN108462865A (zh) | 2017-02-06 | 2018-02-06 | 确定图像的光源和对图像进行色觉适配的方法及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108462865A (zh) |
| TW (1) | TWI649724B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020142871A1 (zh) * | 2019-01-07 | 2020-07-16 | 华为技术有限公司 | 图像的白平衡处理方法和装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544483B (zh) * | 2018-12-26 | 2021-09-24 | 深圳朗田亩半导体科技有限公司 | 视频图像亮度、对比度增强方法及装置 |
| TWI766492B (zh) * | 2020-12-22 | 2022-06-01 | 鴻海精密工業股份有限公司 | 光源確定方法、裝置、電腦裝置及儲存介質 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100097406A1 (en) * | 2008-10-21 | 2010-04-22 | Zulch Laboratories, Inc. | Color generation using multiple illuminant types |
| CN101794565A (zh) * | 2010-03-31 | 2010-08-04 | 青岛海信电器股份有限公司 | 一种图像显示方法、装置及系统 |
| CN101810058A (zh) * | 2007-09-26 | 2010-08-18 | 东芝照明技术株式会社 | 照明装置 |
| CN101282489B (zh) * | 2008-04-24 | 2010-11-10 | 北京中星微电子有限公司 | 一种光源检测设备和方法及图像处理方法 |
| CN101243358B (zh) * | 2005-08-23 | 2011-08-03 | 卡西欧计算机株式会社 | 投影设备和投影控制方法 |
| CN102422322A (zh) * | 2009-05-11 | 2012-04-18 | 杜比实验室特许公司 | 光检测、色貌模型、以及修改图像显示的动态范围 |
| CN102572211A (zh) * | 2010-12-20 | 2012-07-11 | 三星泰科威株式会社 | 估计光源的方法和设备 |
| CN102737610A (zh) * | 2011-03-31 | 2012-10-17 | 青岛海信电器股份有限公司 | 一种光源亮度调整方法、装置及显示设备 |
| CN103390290A (zh) * | 2012-05-10 | 2013-11-13 | 佳能株式会社 | 信息处理设备及信息处理方法 |
| TW201602998A (zh) * | 2011-05-13 | 2016-01-16 | 皮克斯特隆尼斯有限公司 | 顯示裝置及用於產生圖像於其上的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7945094B2 (en) * | 2008-01-16 | 2011-05-17 | Eastman Kodak Company | Method for chromatic adaptation of images |
| CN102027325B (zh) * | 2008-06-25 | 2014-08-06 | 通腾科技股份有限公司 | 检测寻找停车设施的导航设备及方法 |
| US8684546B2 (en) * | 2010-12-17 | 2014-04-01 | Dolby Laboratories Licensing Corporation | Quantum dot modulation for displays |
-
2018
- 2018-02-06 CN CN201810115431.0A patent/CN108462865A/zh not_active Withdrawn
- 2018-02-06 TW TW107104182A patent/TWI649724B/zh not_active IP Right Cessation
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101243358B (zh) * | 2005-08-23 | 2011-08-03 | 卡西欧计算机株式会社 | 投影设备和投影控制方法 |
| CN101810058A (zh) * | 2007-09-26 | 2010-08-18 | 东芝照明技术株式会社 | 照明装置 |
| CN101282489B (zh) * | 2008-04-24 | 2010-11-10 | 北京中星微电子有限公司 | 一种光源检测设备和方法及图像处理方法 |
| US20100097406A1 (en) * | 2008-10-21 | 2010-04-22 | Zulch Laboratories, Inc. | Color generation using multiple illuminant types |
| CN102422322A (zh) * | 2009-05-11 | 2012-04-18 | 杜比实验室特许公司 | 光检测、色貌模型、以及修改图像显示的动态范围 |
| CN101794565A (zh) * | 2010-03-31 | 2010-08-04 | 青岛海信电器股份有限公司 | 一种图像显示方法、装置及系统 |
| CN102572211A (zh) * | 2010-12-20 | 2012-07-11 | 三星泰科威株式会社 | 估计光源的方法和设备 |
| CN102737610A (zh) * | 2011-03-31 | 2012-10-17 | 青岛海信电器股份有限公司 | 一种光源亮度调整方法、装置及显示设备 |
| TW201602998A (zh) * | 2011-05-13 | 2016-01-16 | 皮克斯特隆尼斯有限公司 | 顯示裝置及用於產生圖像於其上的方法 |
| CN103390290A (zh) * | 2012-05-10 | 2013-11-13 | 佳能株式会社 | 信息处理设备及信息处理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020142871A1 (zh) * | 2019-01-07 | 2020-07-16 | 华为技术有限公司 | 图像的白平衡处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201830335A (zh) | 2018-08-16 |
| TWI649724B (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9479750B2 (en) | Spectral synthesis for image capture device processing | |
| US10542243B2 (en) | Method and system of light source estimation for image processing | |
| CN108401148A (zh) | 用于对图像执行自动白平衡的方法 | |
| JP2002051231A (ja) | 選択的な色マッピング及びシーン依存階調尺度構成法を用いたシーンのカラー画像再現方法 | |
| US7570809B1 (en) | Method for automatic color balancing in digital images | |
| CN108462865A (zh) | 确定图像的光源和对图像进行色觉适配的方法及设备 | |
| US20180176420A1 (en) | Automatic white balance based on surface reflection decomposition and chromatic adaptation | |
| KR101680446B1 (ko) | 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법 | |
| US20180176528A1 (en) | Light locus generation for automatic white balance | |
| JP5824423B2 (ja) | 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム | |
| JP2003209856A (ja) | ホワイトバランス補正方法 | |
| Fang et al. | Colour correction toolbox | |
| GB2377755A (en) | Colour temperature calculation | |
| CN114219733A (zh) | 图像处理方法及装置 | |
| Baar et al. | Colour management of prints with variant gloss | |
| Post et al. | Fast radiometric compensation for nonlinear projectors | |
| US10832380B2 (en) | Systems and methods for correcting color for uncalibrated materials | |
| Jo et al. | Adaptive white point extraction based on dark channel prior for automatic white balance | |
| Normand et al. | Automated digital camera sensor characterization | |
| Maik et al. | Color correction for multiple light sources using profile correction system | |
| Lee et al. | Auto White Balance Using Chromatic Coordinates of Detected Human Faces | |
| KR20170092218A (ko) | 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치 | |
| CN117119317A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| Lluis-Gomez et al. | A novel colour management system for image signal processors in commercial digital cameras | |
| CN117764891A (zh) | 图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180828 |