CN101911121A - 闪光检测 - Google Patents

Abstract

一种处理图像信号的方法，包括：接收包括一系列帧的图像信号，对每个帧执行光源检测，以及当满足下列标准时在帧n处检测长为m个帧的闪光：在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

Description

闪光检测

技术领域

本发明涉及一种用于处理信号的方法和系统。该处理提供闪光检测且其输出能够被用于改进内容分析算法。

背景技术

看电视和从事包括视觉内容的其他活动诸如观看DVD都是人们常做的事情。与观看这种视频内容有关联的用户体验将在未来发生改变。例如在飞利浦(Philips)的电视机产品中已经可以看到最初的迹象，其中增添了灯具以增加看电视的体验。为了增强诸如看电影那样的娱乐体验而添加另外的设备和其他的功能的这个处理正在增长。通过将脚本与原始音频/视觉内容一起播放，“amBX”这个企业(参见例如，www.ambx.com)正在准备接下来的步骤以更进一步地增加诸如看电视那样的体验，所述脚本包括能够使用适当的增强系统来提供给用户的效果描述。在用户娱乐空间中的另外的设备为视频内容提供增强。

例如，美国专利申请公开US2002169817公开了包括一组设备的真实世界展示系统，每个设备都被设置成提供一个或多个真实世界参数，例如音频和视觉特性。至少一个设备被设置成接收标记语言指令集形式的真实世界描述并且根据该描述来操作这些设备。通过本地服务器或分布式浏览器来解释在该语言中表达的通用术语，以操作这些设备来为用户呈现真实世界的体验。通过这种方式，被用于控制其他设备的脚本就随着递送原始内容的电视一起被递送了。

但是，必须要编写能够被用于在其他设备中创建其他效果的脚本。为了辅助编写过程，许多应用使用内容分析来使该过程自动化以避免手动地进行。关于例如amBX脚本的内容创建，得到良好训练的编写者逐帧浏览电影并选择他们想要开始/停止光显示的特定帧。这个光的颜色与视频序列中的某些事物(背景、爆炸、物体)相适应。

为了创建电影的amBX脚本，许多时间都花在了准确地确定视频中的时间位置和在特定的时间场合匹配被用于创建光效的颜色。内容分析能够为脚本编写者提供更大帮助。例如，镜头切换能够被自动地检测到以为编写者提供光可能发生改变的时间位置。此外能够为镜头或被采样帧的选集中的每个帧提取主色，从所述主色中能够提出一组将与特定镜头或时间间隔中的颜色相匹配的颜色。后者的例子可以是使用MPEG 7主色描述器，该描述器为一帧给出多达八种颜色。为了确定这种(MPEG 7主色)描述器的平均值，可以使用在发明人为Marc A.Peters，Pedro M.F.S.Fonseca、名称为“Dominant color descriptors”的专利申请PH006244(ID685945)中提出的方法。当然还能使用用于选择颜色的其他方法，例如直方图。

已经知道的是，视频序列中的闪光能够影响任何内容分析过程的结果。闪光的现象能够生成错误的镜头切换，而且它能够非常强烈地影响出现闪光的特定帧的颜色，给出任何颜色分析的不正确的结果，这些颜色是相关联的。尤其是对于特定类型的内容，例如带有许多爆炸的动作电影，或者带有许多摇曳灯光的电影，内容分析过程的结果能够与脚本编写者期望的相去甚远。通过与视频内容中的闪光准确对应的分析算法将生成镜头切换。

为了解决这个已知的问题，美国专利5642294描述了一种基于比较帧间强度差的镜头切换检测方法。这份文档描述了声称要杜绝将视频中的闪光作为切换的错误检测的可能性的系统。假设包括闪光的图像数据序列是由图像A，B，*，D，E，...组成的并且由于闪光的原因图像*比其他图像A，B，D和E更亮，图像A和B之间的距离d(A，B)很小，但是由于图像*的强度等级比图像B和D的强度等级要高，所以距离d(B，*)和d(*，D)具有较大的值。一些惯用方法根据距离d(B，*)是否大于某个阈值来决定切换点，并因此具有将闪光错误地检测为切换点的缺点。距离d(B，*)在切换点处也很大，但是闪光的特征就是距离d(*，D)具有较大的值；这个特性的使用将允许在切换点和闪光之间加以区分，并因此将防止对切换点的误识别。

但是，这种方法有一些缺陷。首先，闪光不一定仅在单个帧显现，在许多情况下需要两或三帧来逐渐增加(或减少)到光源/从光源逐渐增加(或减少)。帧间强度的变化单独来看不一定是特别大的。其次，当考虑各帧之间的运动问题时，这份文档的原理，如上所述，就不再有效了。这是因为在闪光之后，所述帧就被作为已经返回到该闪光之前的状态来处理。但对于一些显著的运动而言情况就不是这样了。确实，当考虑到闪光能够持续比一帧更长的时候，这个问题将变得更严重，因为累积的运动将产生更大的影响。再次，在这份文档中的闪光检测是基于带有闪光的帧是更亮的帧这个概念的。当然这不总是正确的。例如，简单地拿个漂亮的白色背景并且在其上闪烁深蓝色的光。该图像帧将不会变得更亮，但那里已经出现了闪光。

类似地，美国专利6014183涉及一种监控数字化视频数据流并检测在视频流中何时发生场景改变的设备。该设备通过从帧到帧地比较帧中的每个像素颜色来检测场景改变。当从一帧到下一帧中检测到像素颜色的高程度改变时，这就被识别为场景改变。

该设备被这样配置，以使得通过复合颜色数据越过灵敏度边界不一定导致由软件程序检测到的场景改变。阈值命令可以被用于检查跟在超过灵敏度界限的帧之后的预确数量的帧。例如，在颜色数据超过灵敏度边界之一以后(潜在的场景改变)，场景检测程序可以将下十个帧与所述初始帧(在越过灵敏度边界的所述帧之前的帧)做比较，以确定场景是否已经真地改变。如果当与这个初始帧做比较时，在阈值窗口之内的多数帧都不超过灵敏度边界，那么就很可能没有场景改变并且视频数据流中没有引起复合颜色值数据瞬间超过灵敏度界限(例如视频中的闪光灯泡熄灭，但场景不改变)的孤立事件。这项对颜色做比较的技术的主要问题是在一些帧以后，一些运动能够剧烈地改变颜色，并且在被检查的帧中的任意孤立事件都将不能像这样被检测到。

发明内容

因此，本发明的目的是基于现有技术进行改进。

根据本发明的第一方面，提供了一种处理图像信号的方法，包括：接收包括一系列帧的图像信号，对每个帧执行光源检测，以及当满足下列标准时在帧n处检测长为m个帧的闪光：在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

根据本发明的第二方面，提供了一种处理图像信号的系统，包括：被设置成接收包括一系列帧的图像信号的接收器，以及处理器，该处理器被设置成对每个帧执行光源检测，以及当满足下列标准时在帧n处检测长为m个帧的闪光：在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

根据本发明的第三方面，提供了一种计算机可读介质上的用于处理图像信号的计算机程序产品，该产品包括指令用于：接收包括一系列帧的图像信号，对每个帧执行光源检测，以及当满足下列标准时在帧n处检测长为m个帧的闪光：在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

出于本发明的原因，可以用不受处理过的帧中的运动或者处理过的帧中由物体的运动导致的颜色变化所影响的鲁棒的方法来在视频序列中准确并且高效地检测闪光。视频内容中的闪光能够影响许多应用的结果。如上所述，闪光能够产生不正确的镜头切换。此外，镜头或场景的(平均)颜色能够因为闪光的结果而被改变。这种改变常常是不想要的。并且，该提议还检测闪光的种类，即，它的颜色和它的强度。这种信息对诸如确定镜头中的颜色或者闪光的颜色那样的应用来说是非常有用的。这种信息例如对amBX脚本编写者来讲是非常重要的。

有利地，被检测的帧的光源包括颜色空间中的点。确定帧中的光源能够使用诸如主成分分析(PCA)那样的算法来执行，该分析将帧内像素的光估计提供为一矢量。这个算法的输出能够被配置成颜色空间中的3维矢量，该矢量能够随后被用于计算颜色空间中的点，该点随后被用在对两个帧之间的光源改变做决定时的比较过程中。被检测的光源是在帧中像素的主要成分矢量上的点。

优选地，本发明进一步包括保持n个帧的查找表，其中在帧n-1和帧n中检测到的光源之间的差高于第一预定阈值。这极大地简化了帧序列中的闪光检测。每当在两个连续帧之间的光源的大改变被检测到(高于第一阈值)，随后那个帧n被作为帧数目存储到查找表中。这意味着每当在两个连续帧之间的光源中检测到另一大改变，随后这就能回过来与在查找表中存储的较早的帧做比较以确定是否是闪光的开端。只有当闪光已经结束时才能检测到它们，返回去查找闪光的开端。

理想地，本方法进一步包括如果被检测闪光的帧长度(值m)高于预定数字，则对闪光的检测进行抑制。为了避免对虚假闪光的检测，在闪光的开端和结束之间的最大可允许间隔(以帧为单位)上设置限制。该预定数字可以是例如五。这意味着如果在帧n处检测到长度m为八个帧的闪光，那么这个闪光就被当作错误结果而被丢弃。闪光的检测由此被与这个数据集相关联地抑制了。

附图说明

现在将参照附图，仅以举例的方式来描述本发明的实施例，其中：

图1是视频信号的示意图，

图2是图像帧的视图，

图3是图2的图像帧的用于比较的另一视图，带有显示在帧的周围的预测光源，

图4和5是颜色空间的示图，

图6是一系列图像帧的示意图，

图7是处理信号的方法的流程图，以及

图8是处理信号的系统的示意图。

具体实施方式

图1示出图像信号10，该信号包括一系列12的帧14。图像信号10是视频信号，例如用于电视广播环境中的具有每秒二十五个帧14的信号10。下面公开的是一种处理信号10的方法，该方法将检测在信号10中的闪光。这种闪光可以例如由在帧14内捕获的内容中的爆炸或者被擦出的火柴所引起。因为许多诸如镜头检测和颜色检测那样的已知技术都受到闪光存在的影响，而且如果闪光检测没有被成功执行的话将返回错误的结果，所以对闪光的检测是有用的。在所述系列12中标定的闪光是通过参考数字16示出的。这个闪光16始于帧n，并且持续m个帧。在这种情况下m等于四。

为了检测一序列12的帧14中闪光的存在，随后需要对每个帧14执行光源估计。因此，当检测所述序列12中的闪光时，就需要确定进入场景的光源。对所述处理中的这个步骤，可能使用已知技术，主成分分析(PCA)。PCA的细节的例子能够在K.V.Mardia，J.T.Kent，and J.M.Bibby的“Multivariate Analysis”(Academic Press，London，1979)中找到。为了描述这个概念，将给出简短的介绍来作为背景信息。

图2示出图像帧14的例子。在所使用的光估计过程背后的构想是，在图像的白色部分上进入图像的光将被反射。根据亮度，图像中的所有像素被光源的颜色进行着色。考虑到图像帧14中的所有像素，并且在(线性)RGB空间中的3维立方体中观看它们，产生了一3维空间，所述像素位于所述空间中。被解码的视频流的RGB值是伽玛校正值，这些值不是线性的。为了估计线性光，这些值首先被变换成线性RGB。伽玛校正的细节能够在Charles Poynton的“Digital Video and HDTV”中找到。

上面提及的PCA算法使用这个数据并且进行下列变换：从作为原始点的平均值开始，所述各轴被变换成三条新轴以使得第一轴(主成分)负责该组像素中的大多数变化。也可以将所述主轴作为最小平方估计的结果。最后的步骤是估计主轴上与实际光源相对于的点。这能够通过将像素投射到主轴上以及检查哪里的贡献是显著的来完成(即避免采用单个像素，因为它可能是由于编码的原因才在那里)。

图3示出图像帧14的结果，光源18示出为围绕帧14的带。需要注意的是光源本身在图像中不可见。此外需要注意的是这还可以对图像帧14的部分来完成，以找到对于感兴趣区域的光源。在没有可用光源的情况下，该算法将产生图像的最占主导的颜色之一，这是非常合理的。不幸的是，因为图2和3是用黑色和白色来呈现的，所以应当解释的是照亮舞台上的表演者的聚光灯的光源是浅蓝色的，并且这是已经通过在帧14上执行光源18检测的处理而确定的颜色。对组成信号10的所述系列12中的每个帧14执行这个确定光源18的处理。

图4和5示出图2和3的帧14内的各像素的颜色空间20的表示。该信息用于计算帧内的光源。首先，执行PCA变换。一旦这个变换已经被执行，则在图5的颜色空间20中示出3维矢量22，该矢量是对图像帧14中的主成分的计算。对于帧14内的各像素来说，PCA算法的输出(矢量22)是稳定的结果。这个矢量22被用作计算帧14内光源18的一种方式。在一个实施例中，被检测到的帧14内光源是3维颜色空间20中的一点。该点被确定成矢量22离开由帧14内的像素串定义的空间的位置，或者可以是所述串内最后的像素，其或者在矢量22上或者在距离矢量的起点最远的点处最接近于矢量22(在预先定义的边界之内)。所确定的光源也可以是从所述起点(或者从帧14中的各像素的平均值)到如上所确定的点的方向。

一旦帧14的光源被确定好，就能够执行闪光检测了。闪光检测是基于光源估计的结果而被执行的。如上所述，对于帧的平均RGB值、主成分(归一化到长度1)的方向、以及与其他2个轴相比对主成分变化的贡献，PCA算法给出了非常稳定的结果。但是，实际光源的估计给出了关于光源的实际RGB值的信息。

图6示出了帧14的序列12的例子。考虑到帧14的这个序列12，通过比较序列中帧之间的差异，如果满足下列标准，那么像下面这样对帧n处的长度为m的闪光进行检测是可能的：

-帧n-1和帧n的光源差异显著，

-帧n+m-1和帧n+m的光源差异显著，以及

-帧n-1和帧n+m的光源非常类似。

这三条标准在该图中通过箭头示出，其指出了哪些帧14被一起做比较，以及在各自帧中检测到的光源是否应当有差异或者是类似的。在帧序列中，n和m的值例如可以是n＝20，并且m＝3。这意味着闪光在帧20处被检测到，该闪光持续了3个帧。帧19和20具有显著不同的光源。帧22和23具有显著不同的光源，并且帧19和23具有类似的光源。组成闪光的帧，即帧20，21和22不一定具有类似的光源，这取决于闪光在帧期间是否增加或者保持恒定。

为了量化相关概念“差异”和“相似性”，提供了两个不同的阈值来测量光源以通过算法确定是否满足所定义的标准。在帧n-1和帧n中检测到的光源之间的差异必须高于第一预定阈值并且类似地，在帧n+m-1和帧n+m中的检测到的光源之间的差异也必须高于第一预定阈值。在帧n-1和帧n+m中的检测到的光源之间的差异必须低于第二预定阈值。

使用来自PCA算法的信息，能够轻易地定义光源之间的距离量度，例如在RGB值之间的欧几里得距离以及在轴方向之间的角度。阈值被用于指出改变是否显著。帧的被检测到的光源包括颜色空间中的点。

下表示出三个连续帧的一系列值：

	帧1	帧2	帧3
				R	188.725	128.333	188.725
G	214.344	170.598	213.744
				B	246.433	253.512	246.433
R_平均	10.5688	10.9377	10.5992

G_平均	11.1165	16.5005	11.136
				B_平均	12.3426	34.6146	12.3383
R_方向	0.418112	0.229523	0.419208
				G_方向	0.544304	0.400895	0.542856
B-方向	0.727266	0.886906	0.727717

在这个表中，中间三行给出了每个帧中像素的平均值。如所示的那样，按0到255的尺度，这些值趋向为黑色，正如许多电影中常见的那样，因为大量的帧是黑色主导的。主导为黑色的帧中的小部分亮色将不太影响平均值。但是，一旦PCA算法被用于产生(图5的矢量22所示那种类型的)主要矢量，那么就通过该表的顶部三行来表示光源确定(在一个实施例中，该光源是矢量上的一点)，该表给出了被检测光源的RGB值。如上所述，这个值是在PCA矢量上的点，因为那个矢量离开了3维空间中表示帧中像素的像素“云”。在底部三行，所述角度是通过由从平均RGB值到顶部三行的空间中的RGB点的方向得出的角度。

上表给出了来自三个帧的光源检测的值。该估计的光源从一些灰色的/浅蓝色的值(R＝188，G＝214，B＝246)变到纯蓝色值(R＝128，G＝170，B＝253)并再次变回去。同样，帧的平均颜色也改变。类似地，方向也显著地改变，角度在(R_dir＝0.41，G_dir＝0.54，B_dir＝0.72)到(0.22，0.40，0.88)之间大约是19度。所以角度的改变是明显的，并且还很明显的是第一和第三帧之间的角度是最小的。在这种情况下，将检测到n＝2且m＝1的闪光，该闪光始于帧2(n值)并且持续仅一个帧(m值)。

而且，有利的是对闪光能够持续多长应当有界限，例如达到几个帧。如果检测到的闪光的帧长度，值m，高于预定数字，则通过对闪光的检测进行抑制来实现。这防止检测到虚假闪光。

为了检测信号10的帧14中的闪光，图7总结了处理信号10的方法的一个实施。应当理解的是，本方法这样被配置以使得闪光的末尾被检测到，并且本方法返回去查看之前的帧14以查找闪光的开端。为了辅助这个末尾，所述处理包括保持具有n个帧的查找表，其中帧n-1和帧n中的检测到的光源之间的差异高于第一预定阈值。

在流程图中，第一步是在步骤S1处检测第一帧的光源。该处理随后通过步骤S2和S3持续循环。在步骤S2处完成对下一帧中的光源的检测。在步骤S3处将当前帧与紧邻的前一帧的光源的值做比较。如果在两个值之间没有显著差异，则该处理返回到步骤S2。但如果检测到两个值中的显著差异，则该处理移动到步骤S4。在步骤S4处，将当前帧的数字存储在查找表中，作为闪光的潜在开端或末尾。该处理随后移动到步骤S5，其中基于存储在查找表中的之前的帧做比较。当前帧的光源被与紧邻存储在查找表中的帧之前的那些帧中的光源做比较以确定它们之间的差异是否低于第二阈值(类似度)。如果是则检测到闪光，如果不是则没有检测到闪光，并且该处理继续在整个帧14中循环。

闪光检测能够被用于一些处理。例如，它能够被用于改进镜头切换检测。强烈的闪光能够被当作镜头切换。使用闪光检测能够消除这些虚假的镜头切换。该处理还能够被用于改进表示各帧的间隔的主色。尤其是当在间隔中有相对较多闪光时，或者当使用了子采样时，闪光对平均颜色的影响就能够显著改变。通过避开属于闪光的帧，对特定间隔的总颜色可以给出非常准确的描述。此外，检测到的闪光本身能够被用于在特定场合产生光效，例如在爆炸时房间能用完美的颜色照亮。如上所述，这些应用是为诸如amBX脚本那样的应用改进内容分析结果的质量的应用。任何使用视频中光源或者颜色信息的应用都能从中得到益处。

图8示出处理图像信号10的系统。该系统包括接收器24以及处理器26，该接收器24被设置成接收包括一系列12的帧14的图像信号10。该处理器包括被设置成在每个帧14上执行光源检测的光源检测组件28，以及被设置成当满足必要标准时在帧n处检测长为m个帧的闪光的闪光检测组件30。如上面详细介绍的那样，这发生在当在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值时。

除了通过处理器26执行闪光检测以外，视频信号12还在组件32处被分析并且检测镜头切换。同时，针对所述光源来分析帧14，并且还为了主色而分析帧14。光源检测的结果被用于检测闪光，并且在组件34处闪光被用于移除被错误地识别的镜头切换。最后，对于每个镜头，处理器26被设置成确定总的主色，在组件36处使用镜头中的所有(或被子采样的集合的)帧的主色。使用来自组件34的信息，组件38能够被用于确定镜头中的主色。闪光检测本身马上就给出闪光的颜色。

上面描述的检测视频序列中闪光的系统是对现有技术的显著改进。它是能够检测持续多于单个帧的闪光，并且不受闪光期间的帧内运动的影响的鲁棒且高效的系统。确实，如果实际光源正在帧中移动，那么该处理将仍然正常运作。甚至光源微弱时，方向将显著改变。这能够通过在两个帧的主成分之间的角度来测量。该处理看的是光源而不是帧差异。光源将不会由于帧中对象运动或移动的缘故而改变。

Claims (12)

1.一种处理图像信号(10)的方法，包括：

-接收包括一系列(12)帧(14)的图像信号(10)，

-对每个帧(14)执行光源检测，以及

-当满足下列标准时在帧n处检测长为m个帧的闪光(16)：

-在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，

-在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及

-在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

2.根据权利要求1的方法，其中帧(14)被检测到的光源包括颜色空间(20)中的点。

3.根据权利要求1或2的方法，并且进一步包括保持具有n个帧的查找表，其中在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值。

4.根据权利要求1，2或3的方法，并且进一步包括如果检测到的闪光(16)的帧(14)长度，值m，高于预定数字，则对闪光(16)的检测进行抑制。

5.一种用于处理图像信号(10)的系统，包括：

-接收器(24)，被设置成接收包括一系列(12)帧(14)的图像信号(10)，以及

-处理器(26)，被设置成对每个帧(14)执行光源检测，以及当满足下列标准时在帧n处检测长为m个帧的闪光(16)：

-在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，

-在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及

-在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

6.根据权利要求5的系统，其中帧(14)被检测到的光源包括颜色空间(20)中的点。

7.根据权利要求5或6的系统，并且处理器(26)被进一步设置成保持具有n个帧的查找表，其中在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值。

8.根据权利要求5，6或7的系统，并且处理器(26)被进一步设置成如果检测到的闪光(16)的帧(14)长度，值m，高于预定数字，则对闪光(16)的检测进行抑制。

9.一种在计算机可读介质上的、用于处理图像信号(10)的计算机程序产品，该产品包括指令，用于：

-接收包括一系列(12)帧(14)的图像信号(10)，

-对每个帧(14)执行光源检测，以及

-当满足下列标准时在帧n处检测长为m个帧的闪光(16)：

-在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值，

-在帧n+m-1和帧n+m中检测到的光源之间的差异高于第一预定阈值，以及

-在帧n-1和帧n+m中检测到的光源之间的差异低于第二预定阈值。

10.根据权利要求9的计算机程序产品，其中帧(14)被检测到的光源包括颜色空间(20)中的点。

11.根据权利要求9或10的计算机程序产品，并且进一步包括用于保持具有n个帧的查找表，其中在帧n-1和帧n中检测到的光源之间的差异高于第一预定阈值的指令。

12.根据权利要求9，10或11的计算机程序产品，并且进一步包括用于如果检测到的闪光(16)的帧(14)长度，值m，高于预定数字，则对闪光(16)的检测进行抑制的指令。

Images