CN110223236A - 用精确的运动信息增强运动图片 - Google Patents

Abstract

提供了用于数字增强包括视频和运动图片图像的图像序列的特性的方法和系统。通过分析图像序列中可用的图像帧来生成由轨迹表示的高精确运动信息。本发明的一些实施例涉及从图像序列生成多层轨迹。某些方面可适用于包括3D视频和3D运动图片的三维(3D)图像序列的增强。

Description

用精确的运动信息增强运动图片

本申请是国际申请号为PCT/IB2014/060139、国际申请日为2014年3月25日、国家申请号为201480017667.0、发明名称为“用精确的运动信息增强运动图片”的专利申请的分案申请。

相关申请的参考

本申请要求于2013年3月25日提交的美国临时申请序列号为61/814,804，名称为“Methods and Systems for Enhancing Motion Pictures with Accurate MotionInformation”的优先权，其全部内容通过引用并入本文。

技术领域

本公开通常涉及数字增强图像内容的特性的领域，更具体地为用于经改进的可视的显示质量的视频和运动图片内容的特性。

背景技术

对于真实世界的图像，特别是视频和运动图片，在不同的图像帧中某些图像内容可以出现不同，这是由于许多复杂的因素，诸如噪声的存在、照明变化、透镜焦点的变化、对象的运动、对象的旋转、遮蔽(occlusion)等。结果，基于跟踪多个图像帧的图像内容的类似外观的图像增强方法，诸如常见的运动跟踪算法，可能不能准确地跟随图像内容的运动，并在某些情况下，甚至可能无法识别由于不同外观导致的一些图像帧中的图像内容。

发明内容

在一个示例中，提供了一种用于增强图像序列的方法。接收具有图像帧的图像序列。确定用于图像帧的分解特征。基于该分解特征计算图像像素的特征连接(featureconnection)。基于特征连接中的至少一个选定的特征连接计算至少一个锚轨迹(anchortrajectory)。确定图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与至少一个锚轨迹之间的关系创建用于分解的图像帧的图像像素的新轨迹。限定用于新轨迹的至少一个轨迹特征，并且确定该至少一个轨迹特征是否需要在新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改像素图像特征来创建增强的图像像素。基于增强的图像像素创建增强的图像序列。输出增强的图像序列。

在另一个示例中，提供了用于增强图像序列的方法。接收具有图像帧的图像序列。图像序列被分解成形成分解的图像帧的至少两个层。确定层中图像帧的分解特征。基于该分解特征计算该层中图像像素的特征连接。基于至少一个选定的特征连接计算该层的至少一个锚轨迹。确定至少两层的每层中图像帧的图像像素与至少一个锚轨迹之间的关系。基于至少一个锚轨迹和图像像素与来自至少两层的至少一个锚轨迹之间的关系创建分解的图像帧的图像像素的新轨迹。限定该层中新轨迹的至少一个轨迹特征，并且确定该层中该至少一个轨迹特征是否需要在该层中的新轨迹交点处被修改。细化新轨迹交点，并生成最终轨迹。通过基于最终轨迹修改至少两层的每层中的图像像素特征来创建至少一层中的增强的图像像素。基于分解的图像层中的增强的图像像素来创建增强的图像序列。输出增强的图像序列。

在另一个示例中，提供了一种方法，其包括从图像序列的图像帧生成至少一个图像处理层。确定分解特征，其是图像帧的至少一个图像处理层中图像内容的特性。基于该分解特征确定特征连接。特征连接包括空间-时间位置中至少一个图像处理层中连接图像像素的链接。基于特征连接计算至少一个图像处理层的锚轨迹。锚轨迹代表选定的图像内容元素在图像序列的长度上的空间-时间位置。确定图像像素与锚轨迹之间的关系。基于该关系和该锚轨迹生成图像像素的新轨迹。限定新轨迹的轨迹特征，并且确定该轨迹特征在至少一个图像处理层的新轨迹交点处的修改水平。该轨迹特征代表被选定用于图像序列中目标增强的特性。新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点。从新轨迹生成最终轨迹。基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个增强的图像层。使用至少一个增强的图像层生成增强的图像序列。

另一个示例中，提供了一种非暂态计算机可读介质，其具有存储在其上的指令，所述指令能够通过处理器设备执行以执行操作，所述操作包括：

从图像序列的图像帧生成至少一个图像处理层；

确定分解特征，该分解特征是图像帧的至少一个图像处理层中图像内容的特性；

基于分解特征确定特征连接，所述特征连接包括空间-时间位置中至少一个图像处理层中连接图像像素的链接；

基于该特征连接计算至少一个图像处理层的锚轨迹，所述锚轨迹代表选定的图像内容元素在图像序列的长度上的空间-时间位置；

确定图像像素与锚轨迹之间的关系；

基于该关系和该锚轨迹生成图像像素的新轨迹；

限定新轨迹的轨迹特征，并且确定该轨迹特征在至少一个图像处理层的新轨迹交点处的修改水平，该轨迹特征代表被选定用于图像序列中目标增强的特性，该新轨迹交点以空间-时间位置的形式记录新轨迹与图像帧的交点；

从该新轨迹生成最终轨迹；

基于最终轨迹通过修改至少一个图像处理层中的像素图像特征来生成至少一个增强的图像层；以及

使用至少一个增强的图像层生成增强的图像序列。

附图说明

图1是包括根据一个示例由轨迹记录的信息的示例的表格。

图2是根据一个示例通过计算多层轨迹来增强图像序列的方法的框图。

图3是根据一个示例将图像帧分解为多个层的方法的框图。

图4是根据一个示例通过计算轨迹来增强图像序列的方法的框图。

图5是根据一个示例的图像处理设备的框图。

提及这些说明性示例并不用于限制或限定本公开，而是帮助理解本公开。具体实施方式中讨论了其它的示例、特征和实施例，并且提供了其它描述。通过阅读说明书或通过实践提出的一个或多个示例可以进一步理解由各个示例的一个或多个提供的优势。

具体实施方式

本公开的某些方面和特征涉及通过计算跨越图像序列的多个图像帧的轨迹并沿轨迹优化增强的性能来增强图像序列的特性或多个特性。包括视频和运动图片图像的图像序列的特性可以通过分析图像序列中可用的图像帧并生成精确的运动信息进行数字增强。精确的运动信息可以通过计算图像序列的每一图像帧的每个图像像素的轨迹而获得。轨迹的结构可允许图像增强方法，通过跟随代表更精确运动的轨迹以实现优越的性能，并基于图像内容的类似外观和图像内容的不同外观来执行。

图像帧可以包括多个图像像素，并且每个像素可以限定图像帧中空间-时间位置处的图像内容元素。因为运动可以存在于图像序列中，相同的内容元素可以显示为图像序列的其它图像帧中不同的空间-时间位置。图像内容元素的运动可以由记录相同的图像内容元素穿过图像序列的多个图像帧的空间-时间位置的路径连接来表示。轨迹可以包括图像内容元素在图像序列的长度上的空间-时间位置，并且图像内容元素的特征以多个特征信道的形式在每个空间-时间位置附近。

图像内容元素的轨迹可以包括三种类型的元素：轨迹交点、轨迹特征和轨迹特征标志。轨迹交点可以记录轨迹与图像帧的交点，并且轨迹交点可以表示为空间-时间位置，诸如用于图像帧n的(x_n，y_n，t_n)。轨迹可以在帧中像素位置开始，其可以是该轨迹的锚像素，并且该轨迹可以在像素位置或子像素位置的空间-时间位置处与其它图像帧相交。

在一个示例中，轨迹具有包含轨迹交点、轨迹特征和轨迹特征标志的结构。轨迹交点可以空间-时间位置的形式记录轨迹与图像帧的交点。轨迹特征代表被选定用于目标增强应用的图像序列的某些特性。目标增强应用的示例包括超分辨、去噪和去遮蔽(de-occlusion)。因为不同的轨迹特征可被选定用于不同的目标增强应用，轨迹可被定制用于目标增强应用。对于给定的目标增强应用，轨迹特征在一些图像帧中可被认为是可靠的，但在其它图像帧中被认为是不可靠的。可以通过轨迹特征标志追踪轨迹特征的变化状态，其将轨迹特征标记为在不同的图像帧中的基本图像分量或无关图像分量。基本图像分量表示“好”的空间-时间位置，该位置处的轨迹特征可被用于计算目标增强或预测或细化轨迹。无关图像分量表示“差”的空间-时间位置，该位置处的轨迹特征可能对相关的计算不利。基本图像分量用于基于相似性的计算，而无关图像分量用于相异性。可以计算用于任何图像序列的轨迹。

在一个示例中，图像序列的每一图像帧可以被分解成多个组成层，并且可以在每一层中计算轨迹。层分解可以基于被识别为根据目标增强应用的增强的像素图像特征。可从图像序列提取像素图像特征，然后将其组织或分组成层。由于像素图像特征被选择用于增强目的，该像素图像特征在某些层的一些图像帧可以出现不同并可能难以可靠且准确地追踪。可以针对每个层识别分解特征以促进该层内像素图像特征的追踪。分解特征可以与像素图像特征不同，并且分解特征可以在层内突出并且更容易追踪。带有附加分解特征信道的层可以是扩充层(augmented layer)，其中每个图像像素被指定来自每个特征信道的附加值。可以在每一层中计算轨迹，并且轨迹特征可选自扩充层中的特征信道。

在一个示例中，计算每层中选定的图像像素的锚轨迹。基于分解特征信道计算层中那些像素的特征连接，并且可以使用子空间方法从特征连接计算锚轨迹。锚轨迹可用于计算所有或多个层中所有或基本上所有像素的轨迹。

在一个示例中，基于锚轨迹计算每层中每个像素的轨迹。可以计算每一层中像素与锚轨迹之间的关系，并且基于轨迹交点的迭代细化可计算每个像素新的轨迹。一旦针对图像帧的像素的轨迹被建立，则可以沿轨迹优化像素的图像内容的外观以生成增强的外观。某些方面提供了沿轨迹追踪不同外观以产生优选外观的能力。

在一个示例中，可以调整图像内容的外观以满足来自不同目标应用的不同质量准则，包括运动图片剧场呈现、电视广播、通过互联网的视频流、视频上转换和VFX(视觉效果)应用。图像内容的外观可以通过基于所选择的准则沿轨迹的优化处理来产生。

在一个示例中，轨迹可以概括用于立体三维(3D)运动图片和3D视频，3D视频包括左眼图像序列和右眼图像序列。可以识别左眼图像序列和右眼序列之间的相关性，并且可以在每个序列中计算轨迹。可以统一两个图像序列的轨迹，使得轨迹代表相同的图像内容。可以应用联合优化以优化沿轨迹的图像内容的外观。

图像帧的每个像素可具有跨越图像序列的多个图像帧的轨迹。轨迹特征可以表示为M个信道，f¹，f²，...，f^M。例如，考虑到图像序列包括N个图像帧，并且每个图像帧具有每行W个像素且H行的空间分辨率，图像帧n的像素P是具有轨迹T(P)的点，T(P)表示为：

轨迹T(P)具有N个条目，每个条目对应于图像序列的图像帧中的一个图像帧。T(P)的每个条目对应于图像帧，并且每个条目具有M+3个元素：(x₁，y₁，t₁，f¹ ₁f² ₁，...f^M ₁)，(1≤i≤N)。帧号1≤i≤N表示图像序列中帧的位置。轨迹T(P)在图像帧n中具有锚位置，此处轨迹的空间-时间位置可以用整数表示。其它帧(x_i，y_i，t_i)中T(P)的交点可以用子像素精度表示(其中i≠n)。可以限定针对图像序列的整个长度或仅图像序列的一部分的轨迹。

轨迹T(P)可以具有多个特征f¹ _i，f² _i，...，f^M _i，并且每个特征代表该轨迹在空间-时间位置的特定特性。每个图像帧中特征的值用适当的标志记录。特征标志的值可以在轨迹的长度上变化，这表明计算策略的变化。在一个示例中，每个标志取“1”或“0”的值。特征的标志值“1”可以是该特征的基本图像分量，值“0”可以是该特征的无关图像分量。轨迹特征的标志值可以控制轨迹的计算策略的变化。

基本图像分量可代表沿轨迹的“强”空间-时间位置，其对于计算和预测其它轨迹或细化当前轨迹是可靠的。无关图像分量代表沿轨迹的“弱”空间-时间位置，其可能对轨迹的计算不利。基本图像分量可用于基于相似性的计算，而无关图像分量可用于允许相异性的计算。在计算过程中，基本图像分量可以有助于数据成本事项(term)。无关图像分量在一些情况下可被忽略，或者可以沿轨迹被操纵，只要该轨迹是基于基本图像分量来计算。

在图1中，示出了包括由具有M＝3个特征的轨迹记录的信息的示例的表格。

图1所示的轨迹示例可以连接五个图像帧中的五个空间-时间位置，并且空间-时间位置可以是轨迹交点，表示为{(x₀，y₀，t₀)，(x₁，y₁，t₁)，(x₂，y₂，t₂)，(x₃，y₃，t₃)，(x₄，y₄，t₄)}，其中x_n，y_n表示空间坐标且t_n表示时间坐标。该轨迹具有三个轨迹特征。特征f¹可以代表大尺度图像细节。特征f²可以代表精细图像细节，且特征f³可以代表相邻图像帧之间的照明变化。该示例中的轨迹还具有用{(1，1，1，1，1)，(1，0，1，0，1)，(0，0，0，0，0)}表示的特征标志阵列。该特征标志阵列代表图像内容沿轨迹的每个轨迹交点的特性。例如，特征3的所有“0”标志表明沿轨迹的图像像素不经历照明变化；特征1的所有“1”标志表明沿轨迹的图像像素共享有相似的大尺度细节。特征2的“0”和“1”标志的混合表明在某些空间-时间位置图像像素的精细尺度细节可以被显著修改。

可以使用两种计算方法来定义轨迹。在第一种情况下，所有的轨迹特征标记有“1”，这表明该轨迹是可靠的，沿该轨迹收集的信息包括可用于计算中的基本图像分量。这种方法的示例可包括基于块(block)的运动补偿算法，其中轨迹附近的像素被用于图像增强。在第二种情况下，轨迹特征标记有“0”，这表明沿该轨迹收集的信息不能被自动用于计算。这种方法的示例包括人工辅助VFX操作，其中基于人的判断可以将图像像素替换为新的内容。

在图像序列被分解成两个或多个层后，可以计算层中的轨迹。图像层可以是描述图像序列的某些特性的解构图像帧的集合。图2是用于增强图像序列的方法的示例的框图。在框102中，由图像处理设备接收有多个图像帧的图像序列。图像处理设备可以执行用于图像序列的某些目标特性的增强的计算。目标增强应用的示例包括精细细节增强、降噪、图像锐化和向上升级(upsizing)。

在框104中，图像序列的图像帧被图像处理设备分解成多个层。图像序列的每个图像帧可以首先分解成至少两层。可使用基于目标增强应用所选择的分解方法执行层分解。例如，当目标是增强图像序列的精细细节时，小波变换可以用于图像序列的分解。可选择不同的分解方法用于不同的目标增强应用。逆变换可提供用于选定的分解方法，从而可从分解的层恢复图像序列的每个图像帧。

可以通过对从分解提取的像素图像特征组织或分组来生成图像序列的多个层。图3示出了用于执行将图像序列中图像帧层分解为多个层的方法的示例。在框202中，基于目标增强应用由图像处理设备来识别像素图像特征。考虑到目标增强应用，可以识别感兴趣的某些像素图像特征。像素图像特征可以代表对图像序列上的目标增强有直接影响的图像像素的特定特性。像素图像特征的示例包括颜色、细节、对比度和噪声水平。在目标增强是超分辨的情况下，图像细节可被识别为像素图像特征。可识别多个像素图像特征以用于给定目标增强应用的联合地增强。例如，当目标增强应用是增加感知分辨率和降低噪音时，可以识别图像细节和噪声水平。

在框204中，图像处理设备从图像序列提取所识别的像素图像特征。在图像细节就是所识别的像素图像特征的情况下，小波变换可以应用于图像序列的每个图像帧。小波变换可以将图像序列中图像帧的精细细节分为多个尺度和各种空间方向。每个图像帧可以被分解成四个子带，即HH、HL、LH和LL子带。HH、HL和LH子带包含在第一尺度的精细图像细节，LL子带可以在粗尺度进一步被分解成另一组HH、HL、LH和LL子带。可以重复这个过程，以在越来越精细的尺度生成精细图像细节。

在框206中，图像处理设备表征提取的像素图像特征。提取的像素图像特征可以进一步被表征为组织成层。在小波子带的情况下，图像细节可以通过尺度或空间方向表征。表征可以包括确定图像像素、层或轨迹等的特定特征细节的数学描述和组织。特征细节的示例包括颜色、照明强度、照明变化、运动等。在框208中，图像处理设备将像素图像特征组织为多个层。每个层可包括包含一个或多个信道的解构图像序列。层的形成可用于计算高质量轨迹，因为多个层可以联合地提供用于确定“强”和“弱”空间-时间位置的信息。不同层之间的相关性也可以提供有用的信息。

作为示例，可以将通过小波变换分离的像素图像特征可以分为三层。层1可以代表大尺度图像细节，并且可以通过在大尺度的一定范围内对HH、HL和LH子带分组来生成。层1中的大尺度图像细节不是通过空间定向来分类。结果，层1是仅具有大尺度细节的带通滤波的图像序列。层2可以代表精细尺度图像细节，并且其可以通过在精细尺度的一定范围内选择HL、LH和HH子带来生成。所得的层2图像序列可以是高通滤波的图像序列。层3可以代表亮度分布，并且它可以只使用最高尺度的LL带。结果，层3可以是精细尺度细节被除去的低通滤波的图像序列。层3还可以使用其它类型的滤波器来生成，诸如可以去除纹理同时保留图像内容的锐边的边缘保留平滑滤波器。层可包含若干图像序列，其可以是信道。

可以独立计算来自每层中图像序列的轨迹。由于从一层到另一层的区别，一个层中给定锚像素的轨迹与另一层中相同锚像素的轨迹可以不共用相同的空间-时间位置。这种层差异(dicrepancy)提供了可用于图像增强的有价值的信息。可分析不同层中轨迹之间的相关性，并将其用于细化轨迹的精确度。在一个示例中，可迭代地执行轨迹的计算和层分解。在层分解前，可识别某些锚点，并且可以计算图像序列上那些选定的锚点的轨迹。所得轨迹可用来引导层分解并生成更精确的层轨迹。

在图像序列被分解成层之后，可以通过追踪像素图像特征来计算轨迹。然而，层中的像素图像特征可能显示从一个图像帧到另一个图像帧的差异，并且因此可能难以可靠且准确地追踪。例如，层2中噪声的存在可以使得精确地追踪该层中精细尺度细节更加困难。可能需要附加信息来促进特定层中像素图像特征的追踪，并且这些信息的集合可以是分解特征。

分解特征可以是特定层中图像内容的特性，其在层内突出且因而更容易追踪。分解特征通常不同于像素图像特征。返回到图2，在框106中，图像处理设备可以确定每个层中图像帧的分解特征。分解特征可以被确定为使得分解特征可用于促进层中轨迹的计算以说明像素图像特征的相异性。例如，如果层2中的精细尺度细节被噪声破坏且变得难以追踪，则可以将该层中的强边缘识别为分解特征，其更可能被精确地追踪，甚至在噪声破坏的情况下。边缘检测方法可用于提取层2中的强边缘，得到的强边缘可用于促进层中的轨迹计算。

可计算来自要被计算的轨迹的相同层的分解特征，但可替代地计算来自不同层的或来自若干不同层的分解特征。例如，另一类型的分解特性可以是目标遮蔽。可计算来自另一层(诸如上述示例中的层3)的目标遮蔽，或可以使用彩色分割方法直接从图像序列获得目标遮蔽。目标遮蔽还可以通过人工辅助的交互方法(诸如对位(rotoscoping))来生成。目标遮蔽可用来促进特定层中的轨迹计算，诸如上述示例中的层2。可以将分解特征作为附加特征信道加入到层。具有分解特征信道的层可以是扩充层，其中每个图像像素被指定来自每个特征信道的附加值。扩充层的特征信道可以包括分解特征和像素图像特征两者。例如，层2可以是扩充层，其具有含有精细尺度细节的像素图像特征信道和包括强边缘信道和目标遮蔽信道的两个附加分解特征信道。接着在层中轨迹的计算中，每个轨迹可以使用一些特征信道，并确定那些信道是否可以被显著修改。所选择的特征信道可作为轨迹特征。轨迹特征可以是扩充层中该特征信道的子集。

在框108中，图像处理设备基于分解的图像特征计算每层中图像像素的特征连接。特征连接可以是将图像像素p从一个空间-时间位置(x_p，y_p，y_p)连接到另一个空间-时间位置(x_i，y_i，t_i)的链接，其中i≠p。图像像素p可以具有与若干相邻图像帧的特征连接。可以基于分解的特征信道计算特征连接。在一个示例中，首先使用光流方法计算若干相邻图像帧上的层中像素p的初步特征连接。光流的计算可以基于使包括数据成本和链路成本的能量函数最小化的贝叶斯方法。可以选择具有最低能量值的图像像素和减少最多能量值的那些作为特征连接。一般地，层中的每个图像像素可具有与同一层中的其它帧的特征连接。然而在实践中，可选择仅有限数量的特征连接以减少所需的计算。例如，像素p(x_p，y_p，t_p)可具有与四个相邻图像帧中的下列空间-时间位置(x_p-2，y_p-2，t_p-2)，(x_p-1，y_p-1，t_p-1)，(x_p-1，y_p-1，t_p+1)，(x_p+2，y_p+2，t_p+2)的四个特征连接。

在框110中，图像处理设备基于所选择的特征连接计算每一层的锚轨迹。可使用子空间法基于层中选择的特征连接来计算锚轨迹。跨过M个帧中M个空间-时间位置的特征连接可通过2M长的列向量表示：f_i＝[x_i1，y_i1，...，x_iM，y_iM](等式2)。

如果选择N个特征连接，则列向量水平连结(concatenate)成2M×N矩阵F：F＝[f₁f₂ ... f_N](等式3)。每个特征连接在矩阵中表示为单独的列。假定跨过那些M个帧的所有特征连接存在于秩R子空间中，使得矩阵F可被分解成：

F＝BC(方程4)

B是具有代表基轨迹的每一列的2M×R矩阵，C是系数的RxN矩阵。计算秩R基矩阵B的一个示例是将奇异值(singular value)分解和截断(truncation)应用于秩R。秩R可以与场景中运动的复杂性相关。分解后从基矩阵B得到锚轨迹，因为矩阵B的R列被识别为锚轨迹的交点。为了生成足够数量的锚轨迹，由于R＜2M，M的值应足够大。在一个示例中，多个矩阵B_2M×R可通过选择图像帧中的多个局部区域来计算以生成大量锚轨迹。

每个锚轨迹可以具有若干轨迹特征，并且那些特征可以选自扩充层的特征信道。可以基于层分解的特性以及基于目标增强应用来设定每个锚轨迹的特征标志。特征标志的值可以用作给定目标增强应用的控制参数。例如，假定锚轨迹针对三层分解被限定在图1的表中，其中层1表示大尺度图像细节，层2表示精细尺度图像细节，层3代表亮度分布，层1中的锚轨迹可以具有针对特征f¹设定为“1”的特征标志，这表明大尺度细节是层的基本图像分量。同时，针对特征f²和特征f³的特征标志可被全部设定为“0”，使得精细尺度细节和照明变化都被视为无关图像分量。相似地，在层2中，针对特征f²的特征标志可被全部设定为“1”，而针对特征f¹和f³的标志可被全部设定为“0”。如果照明变化在图像序列中突出，则针对特征f³的特征标志可被全部设定为“1”，使得该处理会知道计算中的照明变化。针对不同的层可以不同地设置轨迹特征标志。

锚轨迹的数量可以比层中的图像像素的总数小，因为锚轨迹是从相当小数目的所选图像像素生成的。可以使用诸如光流的方法来计算那些所选像素的特征连接。锚轨迹可被用于计算不在锚轨迹的路径上的其它图像像素的特征连接。在框112中，图像处理设备确定分解的图像帧的每个图像像素与每一层中锚轨迹的关系。该关系可以是特征关联或数学关联，其中图像像素、轨迹或图像像素和轨迹等之间有相似、差异或相似的差异。可以在空间和时间表述或其它数学表述方面来描述该关系。假设像素p不在任何锚轨迹的路径上，像素p的特征连接可以通过与附近的一个或多个锚轨迹建立关系来确定。像素p与锚轨迹的关系的示例由等式5表示，其中其特征连接f_p可被表达为锚轨迹的稀疏表示：

c_p＝arg min||c||₀ subject to f_p＝Bc (等式5)。

在等式5中，||c||₀是L_c的范数，其等于系数向量c的非零项的数目。等式5可使用线性规划(linear programming)来计算。L₀范数中的非零项等于系数向量中非零项的数目。c_p中非零项的数目意味着每个图像像素可能与锚轨迹减少的数量有关。

框108、110、112可以应用到每个像素所有分解的层。对于在空间-时间位置(x_p，y_p，t_p)，的像素p，计算每一层1中的一组信息(l≥1)。如前所述，矩阵B^l存储所计算的锚轨迹的交点，系数向量c^l _p包含代表每个像素p与锚轨迹的减少集合之间的关系的非零项，且特征连接f^l _p代表针对像素p的初步特征连接。由于不同的层保留图像序列的不同特性且每个层采用不同的分解特征，因此针对像素p的锚轨迹和初步特征连接从一层到另一层可以不同。例如，两各不同组的信息可以由同一像素p的两个不同的层计算：来自代表大尺度细节的层1，且来自代表精细尺度细节的层2。

在框114中，图像处理设备基于锚轨迹和图像像素与来自至少两个层的锚轨迹的关系创建用于分解的图像帧的每个图像像素的新轨迹。任何图像像素p的新轨迹可以基于锚轨迹和与来自多个层的锚轨迹的像素关系来计算。锚轨迹和像素关系在不同的层中可以不同。多层轨迹可允许待探索的层之间的差异，使得新轨迹可以克服像素图像特征的相异性。可以统一不同层之间的差异，使得新轨迹可以被计算。可基于新锚轨迹和像素与至少两个层中的新锚轨迹之间的关系来计算像素的新轨迹。在某些情况下，多个层可以共享一组共同的锚轨迹，而在其它情况下，不同的锚轨迹可以共存于不同的层。在两层分解的上述示例中，层1代表大尺度细节，层2代表精细尺度细节，可以得到两个不同组的信息，来自层1且来自层2。当B¹中的一组锚轨迹可以由B²中的一组锚轨迹表示时，它被分类为一组“共享”锚轨迹。否则，它被分类为一组“层”锚轨迹。类似的分类被执行在B²中，反之亦然。当B¹和B²两者包含共享轨迹时，通过应用奇异值分解和截断可以从B¹和B²计算新的一组锚轨迹层1中的新锚轨迹B¹可以通过将与B¹中的“层”锚轨迹合并(merge)来生成。相似地，层2中的新锚轨迹B²可以通过将与B²中的“层”锚轨迹合并来生成。

在两层分解的相同示例中，如果层1的系数向量和层2的仅将像素与“共享的”锚轨迹相关，则可将像素p归类为“单个轨迹像素”。否则，像素p可被归类为“多个轨迹像素”。对于“单个轨迹像素，”通过合并f¹ _p和f² _p来计算新的初步连接加权平均方法可用于合并f¹ _p和f² _p。新的系数向量可基于等式5从共享的锚轨迹集合和计算。对于“多个轨迹像素”，可基于层1的f¹ _p和计算新的系数可基于f² _p和计算另一个新的系数计算新轨迹可以被扩展到多于两个层。

在一些实施中，层中的新轨迹也可以通过从另一层转移锚轨迹来生成。在两层分解的示例中，其中像素p是多个轨迹像素，B²可以替换为B¹。类似地，可以替换为结果是，层2f² _p的轨迹交点被层1的f¹ _p有效替换。在锚轨迹从层1转移到层2的过程中，代表精细尺度细节的层2的轨迹特征标志，可从“1”变化为“0”。这可以表明精细尺度细节特征变为无关图像分量并且可以被显著修改。一般地，被分类为多个轨迹像素的像素通常涉及复杂的场景内容，诸如透明性、水、云和混乱的场景。

在框116中，图像处理设备限定了每层中新轨迹的至少一个轨迹特征，并确定轨迹特征是否需要在每个层中的每个新轨迹交点处被显著修改。框114中所生成的新轨迹可以只包括轨迹交点f^l _p。由于轨迹也可以包括轨迹特征和轨迹特征标志，因此可以限定每层中新轨迹的至少一个新轨迹特征。与先前所述的锚轨迹的生成类似，新轨迹特征可以是被选定用于目标增强应用的扩充层的特征信道的子集。例如，对于图像细节增强应用，以下三个轨迹特征可被选择用于新轨迹：特征f¹可代表大尺度图像细节；特征f²可代表精细图像细节；特征f³可代表相邻的图像帧之间的照明变化。该设备可确定在每层中f^l _p中每个初步轨迹交点处的轨迹特征是否应被显著修改。

新轨迹交点f^l _p包括空间-时间位置，并且沿交点分析层中的分解特征可确定一个位置对于目标增强应用或其它是否是“好的”。对于“好的”位置，至少一个轨迹特征可以被确定为在该位置的基本图像分量。另一方面，当该位置不是“好的”时，轨迹特征可被视为无关图像分量。在其中目标增强应用是图像细节增强的示例中，基于层的分解特征可将运动分析方法应用到每个空间-时间位置。具有静态或稳定运动状态的位置可以被认为是“好的”位置。此外，空间-时间位置的运动方向也可提供该位置对于某一方向的图像细节是否为“好的”的指示。在其中输入图像序列已经被压缩的另一示例中，不同空间-时间位置的压缩参数也可以提供每个空间-时间位置的图像质量的指示。在另一个示例中，对于被分类为“单个轨迹像素”的像素，可以计算不同层的分解特征之间的相关性，以确定一个位置是否与正常或不正常的照明条件相关联。

对于在轨迹交点处对应的轨迹特征是基本图像分量，轨迹特征标志被设定为“1”，并且当对应的特征标志是无关图像分量时，它被设定为“零”。在两层分解的示例中，对于多个轨迹像素，层1的大尺度特征标志可以被设定为“1”，而精细尺度细节的特征标志可以被设定为“零”，使得精细尺度细节特征可以被显著修改。这可以适用于目标应用(诸如细节增强)。对于其它应用(诸如VFX中的填充遮蔽孔和膜修复)，沿轨迹的某些单个轨迹像素可以具有也被设定为“零”的大尺度特征标志，这表明那些特征可以被显著地修改。所公开的方法可以扩展到各种其它目标应用。

在框118中，图像处理设备通过应用滤波(filtering)以产生更新的轨迹交点并修改每一层的轨迹特征来细化轨迹交点。可以确定轨迹特征要被显著修改处的新轨迹上的精确轨迹交点。这可以通过沿新轨迹滤波新轨迹和锚轨迹之间的关系以生成细化的轨迹来实现。实践中，新轨迹交点位置p的预测可以通过以下计算：

B^l是层1的新锚轨迹的集合，并且是针对像素p的层1的系数向量。像素p处预测的轨迹交点与等式6中系数向量的非零项的锚轨迹相关。和f^l _p之间的差异可以使用向导滤波(guided filtering)进行滤波，并且可以基于沿f^l _p的分解特征来构建用于滤波的向导。新轨迹交点可通过以下计算：

S是包括先前所述向导滤波过程的滤波过程。产生的新轨迹交点可以代替框114的初步交点f^l _p。等式7可以用于细化新轨迹交点的空间-时间位置，在新轨迹交点处的轨迹特征已被确定为显著修改。

一旦轨迹交点位置被确定，则可以相应地改变在那些位置的轨迹特征标志。对于最终轨迹交点和初步轨迹交点f^l _p之间有显著差异的轨迹交点位置，轨迹特征标志可以被设定为“0”，使得对应的轨迹特征可被修改。对于具有“0”特征标志的每个交点位置，可以基于搜索到更好的特征。

以下是与两层分解的框118相关的示例，其中层1代表大尺度细节，并且层2代表精细尺度细节。取决于目标增强应用，层1可以与层2不同地处理，首先，在层1中，收集轨迹特征标志被设置为“1”的空间-时间位置，并且通过使沿轨迹的那些位置的特征平均来生成预测。然后预测的特征可以自适应地与“0”轨迹特征标志的空间-时间位置处的特征混合(blend)。自适应混合可使用不同颜色信道之间的相关性。层1的结果可用作层2中特征修改的参考，假设轨迹特征改变后层2的时间行为与层1的一致。可以迭代地执行框116和118，如箭头117所示，直到生成高度准确的最终轨迹。

可以计算图像序列的每一图像帧的每个像素的最终轨迹。在框120中，图像处理设备输出最终轨迹。每层中的最终轨迹可以被输出并被保存用于图像序列每个图像帧的每个像素，或用于像素子集和图像帧的子集。可为每层中的图像帧的像素提供多个最终轨迹，其可以包括从像素开始的轨迹(在这种情况下，像素被称为轨迹的锚像素)和从其它帧的空间-时间位置开始并在该像素的位置处与图像帧相交的轨迹。

在框122中，图像处理设备基于最终轨迹通过修改每层的像素图像特征创建了层中的增强图像像素。穿过像素的轨迹可用于修改该像素的像素图像特征。具体地，每一层中的轨迹可用于修改该层的某些像素图像特征，并且所有层层修改的结果可以被组合以生成增强的图像像素。

框122的过程的示例包括其中图像细节增强被选择为目标增强应用并且使用三层分解的例子。层1代表大尺度图像细节，层2代表精细尺度图像细节，并且层3代表亮度分布。在生成三层图像帧的像素的新轨迹之后，基于通过每个像素的每个轨迹的轨迹特征，可将细节保留的平滑过程应用到图像帧的层1和层2的每个像素。细节保留的平滑过程可以由通过像素的每个轨迹的空间-时间位置来限制。可以选择与用于层2中的细节保留的平滑处理不同的一组参数来用于层1中的细节保留的平滑处理。层3的处理可能需要特殊考虑，因为亮度层通常包括复杂的视觉效果和混杂(confounding)的情况(诸如云和烟)。细节保留和平滑也可以应用到层3，但它是基于沿轨迹的空间-时间位置是否被分类为“单个轨迹像素”或“多个轨迹像素”而自适应地被应用。

在框124中，图像处理设备使用增强的分解图像层来创建增强的图像序列。基于新轨迹在层中增强图像帧的图像像素后，逆变换可以应用到每个增强的图像帧以产生增强图像序列。逆变换之前可以施加某些限制，使得图像的变化可以限制在可控范围内。在框126中，图像处理设备能够输出增强的图像序列。增强的图像序列可以通过输出设备被输出或者以图像数据的形式被存储。

图2中所描述的方法在其中由于计算成本限制导致层组成可能不适用的某些应用中可被简化。在这种情况下，图像序列通过将图像序列转换为单层可以被视为单层，并且可以将轨迹的计算应用到转换的单层而无需将多层创建为层分解中。图像序列可被转化的一种方法是通过傅立叶变换来创建转换的单层。转换的单层可具有与原始图像序列的相同或更少数量的像素。图4示出了生成增强的图像序列而不分解成多层的示例。

在框302中，图像处理设备将图像序列的图像帧转换成层。在框304中，图像处理设备确定层中图像帧的分解特征。分解特征可以是层内突出的特定层中图像内容的特性。在框306中，图像处理设备基于分解的图像特征计算用于图像像素的特征连接。特征连接可以是将图像像素从一个空间-时间位置连接到另一个空间-时间位置的链接。在框308中，图像处理设备基于特征连接计算层的锚轨迹。锚轨迹可以是所选图像内容元素在图像序列的长度上的空间-时间位置，并且在每个空间-时间位置附近的所选图像内容元素的特征为多个特征信道的形式。

在框310中，图像处理设备确定转换的图像帧的每个图像像素与该层中锚轨迹的关系。在框312中，图像处理设备基于锚轨迹和图像像素与锚轨迹的关系创建用于转换的图像帧的图像像素的新轨迹。在框314中，图像处理设备限定新轨迹的至少一个轨迹特征，并确定轨迹特征在该层的新轨迹交点处的修改水平。在框316中，图像处理设备通过应用滤波到轨迹交点以产生更新的轨迹交点并修改该层中的轨迹特征来细化轨迹交点。可以迭代地执行框314和316，如箭头317所示，直到生成最终轨迹。在其它实施中，不执行框316，并且不执行由箭头317所示的迭代的过程。

在框318中，图像处理设备输出最终轨迹。在框320中，图像处理设备基于最终轨迹通过修改该层中的像素图像特征来创建该层中增强的图像像素。在框322中，图像处理设备使用增强的图像层来创建增强的图像序列。在框324中，图像处理设备输出增强的图像序列。

多层分解可能更适合用于特征电影序列，其中图像序列包括来自特殊VFX的多个摄像机的图像序列。由多个摄像机捕捉的图像序列中伪影的性质可能更复杂，并且涉及用于有效图像增强的多层分解。由一个成像设备(诸如一个摄像机)捕捉的图像序列内容可能不需要多层分解，因为伪影的性质不作变化。

在通过外部连接与图像显示系统连接的硬件计算设备中实现输入图像序列和输出增强的图像序列的数字增强的某些实施例。可使用被编程以用高性能图形处理单元(GPU)卡执行根据各种示例的各种方法的计算机来实现硬件计算设备中执行的计算。这种配置可以允许用软件来实现计算任务，诸如OpenGL GLSL、Cg或CUDA，利用GPU计算能力的优势。例如，计算机程序产品可被布置到一个或多个硬连线设备上，诸如上述的那些或其它设备，诸如计算机系统或服务器。该计算机程序产品可以包括存储在计算机可读存储器中的可执行代码，当被执行时，可以使得硬连线设备根据本发明的各种实施例执行各种方法。使用GPU可以降低开发嵌入式设备的成本，并且可以为未来的特征升级提供灵活性。由硬件计算设备或软件产生的增强的图像序列数据可以通过外部连接直接显示在图像显示系统上。

图5示出了图像处理设备400的示例的框图。当然也可以采用其它示例。图像处理设备400包括处理器402、存储器404和总线406。存储器404包括其上存储代码的计算机可读存储设备。处理器402可以通过经由总线406的通信执行存储在存储器404的代码，以使图像处理设备400来执行动作。图像处理设备400可包括用于与其它组件(诸如显示设备414)通信的输入/输出(I/O)接口408，图像处理设备400可以是可以处理数据和执行为一组执行动作的指令的代码的任何设备。图像处理设备400的示例包括数据库服务器、网络服务器、台式个人电脑、笔记本个人电脑，手持式计算设备和移动设备。

处理器402的示例包括微处理器、专用集成电路(ASIC)、状态机或其它适合的处理器。处理器402可包括一个处理器或任意数量的处理器。处理器402可以经由总线406访问存储在存储器404的代码。存储器404可以是被配置用于有形地体现代码的任何非暂态计算机可读介质，并可以包括电的、磁的或光的设备。存储器404的示例包括随机存取存储器(RAM)、只读存储器(ROM)、软盘、光盘、数字视频设备、磁盘、ASIC、已配置的处理器或其它存储设备。

指令可以存储在存储器404中作为可执行代码。该指令可以包括通过编译器或解释器以任何适合的计算机编程语言书写代码而生成的处理器专用指令。该指令可以包括应用，诸如图像处理引擎410，其当由处理器402执行时，可以使得图像处理设备400执行动作，诸如结合图2-4描述的那些。图像处理设备400还可以包括GPU。存储器404还可以包括数据存储412，其中可存储内容和数据。某些方面可在投影仪系统中实现，诸如包括图像处理设备400的投影仪系统。

前述被提供用于示出、说明和描述本发明的实施例的目的。对这些实施例的其它修改和调整对本领域技术人员将是显而易见的，并且在不背离本发明的范围或精神下可以作出这些修改和调整。

Claims (8)

1.一种用于增强图像序列的方法，所述方法包括：

将所述图像序列的图像帧转换为层；

确定用于所述层中的经转换的所述图像帧的分解特征；

基于分解的图像特征计算用于图像像素的特征连接，所述特征连接是将所述图像像素从第一空间-时间位置连接到第二空间-时间位置的链接；

基于所述特征连接计算所述层的锚轨迹；

确定所述图像像素与所述层中的所述锚轨迹的关系；

基于所述锚轨迹、以及所述图像像素与所述锚轨迹的关系，为经转换的所述图像帧的所述图像像素创建新轨迹；

限定所述新轨迹的至少一个轨迹特征；

确定所述至少一个轨迹特征在所述层中的新轨迹交点处的修改水平；

基于所述层中的所述新轨迹交点输出最终轨迹；

基于所述最终轨迹，通过修改所述层中的像素图像特征，在所述层中创建增强图像像素；

使用具有所述增强图像像素的所述层创建增强图像序列；以及

输出所述增强图像序列。

2.根据权利要求1所述的方法，其中基于所述层中的所述新轨迹交点输出所述最终轨迹包括：过滤所述新轨迹交点以产生经更新的轨迹交点，并且基于所述经更新的轨迹交点来修改所述轨迹特征以包括所述最终轨迹。

3.根据权利要求1或2所述的方法，其中所述锚轨迹是记录同一图像内容元素在用于所述图像像素的所述图像序列的长度上的空间-时间位置的路径连接。

4.根据权利要求3所述的方法，其中所述新轨迹交点代表所述新轨迹和所述图像帧的空间-时间位置，

其中所述至少一个轨迹特征代表被选定用于增强的所述图像序列的特性。

5.根据权利要求1-4中任一项所述的方法，其中所述锚轨迹、所述新轨迹、所述至少一个轨迹特征和所述最终轨迹是所述图像序列的所述图像帧中的一个或多个图像像素的运动信息，其中使用所述运动信息增强所述增强图像序列。

6.根据权利要求1-5中任一项所述的方法，其中将所述图像序列的所述图像帧转换为所述层包括：将所述图像帧分解为包括所述层的多个层。

7.一种非暂时性计算机可读介质，具有存储在其上的指令，所述指令能够由处理器设备执行以执行根据权利要求1-6中任一项所述的方法的操作。

8.一种硬件计算设备，通过外部连接被耦合到图像显示系统，根据权利要求7所述的非暂时性计算机可读介质与一个或多个图形处理单元卡被设置在所述硬件计算设备中，以将所述增强图像序列输出到所述图像显示系统以进行显示。