Nothing Special   »   [go: up one dir, main page]

CN101036150B - 用来处理视频数据的装置和方法 - Google Patents

用来处理视频数据的装置和方法 Download PDF

Info

Publication number
CN101036150B
CN101036150B CN2005800323859A CN200580032385A CN101036150B CN 101036150 B CN101036150 B CN 101036150B CN 2005800323859 A CN2005800323859 A CN 2005800323859A CN 200580032385 A CN200580032385 A CN 200580032385A CN 101036150 B CN101036150 B CN 101036150B
Authority
CN
China
Prior art keywords
video
data
model
target
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800323859A
Other languages
English (en)
Other versions
CN101036150A (zh
Inventor
查尔斯·保罗·佩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euclid Discoveries LLC
Original Assignee
Euclid Discoveries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euclid Discoveries LLC filed Critical Euclid Discoveries LLC
Publication of CN101036150A publication Critical patent/CN101036150A/zh
Application granted granted Critical
Publication of CN101036150B publication Critical patent/CN101036150B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

这项发明描述用来处理视频数据的装置和方法。本发明提供一种视频数据的表达，该表达能用来评定数据和用于数据的特定参数表达的拟合模型之间的一致性。这允许比较不同的参数化技术和选择最佳的继续处理该特定视频数据的技术。所述表达能以中间形式作为较大程序的铺垫或作为反馈机制被用于处理视频数据。当以它的中间形式被利用的时候，本发明能被用于视频数据的储存、增强、提炼、特征提取、压缩、编码和传输的程序。本发明可用来以强健有效的方式提取显著的信息，同时确定通常与视频数据来源相关联的问题的地址。

Description

用来处理视频数据的装置和方法
这份申请要求2004年7月30日以“System and Method forVideo Compression Employing Principal Component Analysis”为题申请的美国专利临时申请第60/598,085号的优先权。
技术领域
本发明一般地涉及数字信号处理领域，更具体地说涉及用来有效地表达和处理信号或图像数据(最具体地说，视频数据)的装置和方法。
背景技术
本发明存在于其中的现有技术的一般系统描述能用图1表示。在这里方框图显示典型的现有技术视频处理系统。这样的系统通常包括下列几级：输入级102、处理级104、输出级106和一个或多个数据储存机制108。
输入级102可能包括若干元素，例如，照相机敏感元件，照相机敏感元件阵列、测距敏感元件、或从储存机制取回数据的装置。输入级提供表达合成的和/或自然发生的现象的时间相关序列的视频数据。该数据的显著成份可能被噪音或其它不想要的信号掩盖或污染。
视频数据可以依照预先定义的转移协议以数据流、阵列或数据包的形式被直接地或通过中间的储存元素108送到处理级104。处理级104可以采用专用的模拟或数字装置或可编程的装置(例如，中央处理器(CPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA))的形式来执行所需要的一组视频数据处理操作。处理级104通常包括一个或多个CODECs(编码/解码器)。
输出级106产生能够影响使用者或外部装置的信号、显示或其它响应。通常，输出装置被用来产生指示信号、显示、硬拷贝、在存储器中处理过的数据或开始向远程站点传输的数据的表达。它也可以用来提供在后来的处理操作中使用的中间信号或控制参数。
在这个系统中存储器是作为非必选的元素出现的。当被采用时，储存元素108可以是非易失的，例如，只读储存媒体，或易失的，例如，动态随机存取储存器(RAM)。单一视频处理系统包括若干种类型的储存元素并非是罕见的，这些元素对输入级、处理级和输出级有各种不同的关系。这样的储存元素的例子包括输入缓冲器，输出缓冲器和处理高速缓冲存储器。
图1所示视频处理系统的主要目的是处理输入数据以便产生对特定应用意义深长的输出。为了实现这个目标，可以利用多种处理操作，包括减少或消除噪音、特征提取、目标分段和/或规范化、数据分类、事件探测、编辑、数据选择、数据重新编码和代码变换。
产生受不良约束的数据的许多数据来源(尤其是声音和可视图像)对人是重要的。在大多数情况下，这些来源信号的基本特征对有效数据处理的目标有不利的影响。来源数据固有的易变性是在不引进起因于在派生工程假定中使用的未试验过的经验的和探索性的方法的误差的情况下以可靠且有效的方式处理数据的障碍。这种易变性对于某些应用当输入数据被自然地或故意地限制在定义狭窄的特征组(例如，有限的一组符号值或狭窄的带宽)之中的时候是减轻的。这些限制时常导致商业价值低的处理技术。
信号处理系统的设计受该系统的有意使用和作为输入使用的来源信号的预期特征的影响。在大多数情况下，所需的完成效率也将是重要的设计因素。完成效率本身又受与可得的储存数据相比较将被处理的数据的数量以及与可得的计算能力相比较该应用的计算复杂性影响。
传统的视频处理方法因具有许多低效率性质而蒙受损害，这些低效率性质是以数据通信速度慢、存储需求大和干扰知觉假象的形式出现的。这些可能是严重的问题，因为人们希望使用和操纵视频数据的方法的多样性和因为人们对某些形式的可视信息有先天的敏感性。
“最佳的”视频处理系统在完成一组预期的处理操作方面是有效的、可靠的和强健的。这样的操作可以包括数据的储存、传输、显示、压缩、编辑、加密、增强、分类、特征探测和识别。次要的操作可以包括这种经过处理的数据与其它数据来源的整合。在视频处理系统的情况下，同样重要的是，输出应该通过避免引进知觉假象与人类视觉相容。
如果它的速度、效率和质量不强烈地取决于输入数据的任何特定特征的特性视频处理系统可以被描述为“强健的”。强健也与一些输入误差时完成操作的能力有关。许多视频处理系统无法强健到足以考虑到一般的应用类别，仅仅适用于在研发该系统时使用的同样受狭窄约束的数据。
显著的信息可能由于输入元素的抽样速率与感知现象的信号特征不匹配在连续取值的数据来源的离散化中被丢失。另外，当信号强度超过敏感元件的极限，从而导致饱和的时候也有丢失。同样，当输入数据的完整数值范围用一组不连续的数值表示，借此降低数据表达的准确性之时发生在任何量化程序中的输入数据的准确性降低的时候，数据被遗失。
整体易变性指的是一类数据或信息来源的任何无法预测性。因为可视信息通常是不受约束的，所以代表可视信息的数据有程度非常大的整体易变性。视觉数据可以表达能用在敏感元件阵列上入射的光线形成的任何空间阵列序列或时空序列。
在建立视觉现象模型时，视频处理器通常把某组限制和/或结构强加在表达或解释数据的方式上。结果，这样的方法可能引进将影响输出的质量、可用来考虑输出的置信度和能在该数据上可靠地完成的后续处理任务的类型的系统误差。
量化方法在试图保持那组数据的统计变化的同时降低视频画面的数据准确性。通常，视频数据是这样分析的，以致数据值的分布被收集到概率分布之中。另外，有一些方法，这些方法为了把数据的特色表现为空间频率的混合把数据映射到相空间中，借此允许准确性下降以较少引起反对的方式散布。这些量化方法在被大量利用的时候往往导致知觉上难以相信的颜色而且能在视频画面的原本平滑的区域中引起突然的怪僻状态。
差分编码通常也用来利用数据的局部空间相似性。在画面的一个部分中数据倾向于聚集在画面中的相似数据周围和后续画面中的相似位置。然后，根据它的空间毗连数据表达数据能通过量化组合起来，而最终结果是对于给定的准确性使用数据的绝对值表达差分是比较精确的。这个假定在原来的视频数据的光谱分辨率有限(例如，在黑白图像或颜色少的图像中)的时候很好地工作。随着图像的光谱分辨率逐渐增加，相似性假定被严重破坏。这种破坏是没有能力有选择地保护视频数据准确性造成的。
残差编码与差分编码类似，因为这种表达的误差被进一步差分编码，以便把原始数据的准确性恢复到预期的准确性水平。
这些方法的变化尝试把视频数据变换成把数据相关关系暴露在空间相位和刻度之中的替代表达。一旦视频数据已经以这些方式变换，量化和差分编码的方法就能适用于被变换的数据，从而导致增加显著图像特征的保存。这些变换视频压缩技术中最普遍两种是离散余弦变换(DCT)和离散子波变换(DWT)。DCT变换的误差表明在视频数据数值方面有广泛的变化，因此，DCT通常被用在视频数据块上，为的是使这些错误的相关关系定位。来自这种定位的假象往往沿着这些区段的边缘出现。就DWT而言，更复杂的假象在基础函数和某些纹理之间有误配的时候发生，而且这引起模糊效应。为了抵消DCT和DWT的负面效应，表达的准确性以宝贵的带宽为代价增加到较少的失真。
发明内容
本发明是一种在计算和分析方面均优于现有顶级技术的方法的视频处理方法。原则上本发明的方法是线性分解法，空间分段法和空间规范化法的整合。空间限定的视频数据大幅地增加线性分解法的强健性和适用性。此外，当其它的高变异性数据在空间上与被分析的数据毗连的时候，数据的空间分段能减轻所引起的非线性。
具体地说，本发明提供一种能用它把信号数据有效地处理成一个或多个有益的表达的装置。本发明在处理许多普遍发生的数据组时是有效的而且在处理视频和图像数据时是特别有效的。本发明的方法分析该数据并且提供数据的一个或多个简洁表达以促进它的处理和编码。每个新的比较简洁的数据表达对于许多应用(包括但不限于：视频数据的编码、压缩、传输、分析、储存和显示)允许减少计算处理、传输带宽和储存需求。本发明包括用来识别和提取视频数据的显著成份的方法，允许区分数据的处理和表达的优先次序。信号中的噪音和其它不想要的部分被认为是优先权比较低的，以致进一步的处理能集中在视频信号中优先权比较高的部分的分析和表达上。结果，视频信号的表达比先前可能的更简洁。而且把准确性的损失集中在视频信号中知觉上不重要的部分。
附图说明
图1是举例说明现有技术视频处理系统的方框图。
图2是提供本发明的概观的方框图，它展示用于处理视频的主要组件。
图3是举例说明本发明的运动评估方法的方框图。
图4是举例说明本发明的全面配准方法的方框图。
图5是举例说明本发明的规范化方法的方框图。
具体实施方式
在视频信号数据中，视频画面组装成通常描绘投影到二维成像表面上的三维现场的图像序列。每个画面(或图像)都由代表成像敏感元件对抽样信号的响应的象素组成。时常，抽样信号对应于用二维敏感元件阵列抽样的反射的、折射的或发射的电磁能。连续的顺序抽样导致时空数据流，每个画面的两个空间维度和一个时间维度对应于该画面在视频序列中的次序。
如同图2举例说明的那样，本发明分析信号数据和识别显著成份。当信号由视频数据组成的时候，时空流分析揭示时常作为特定目标的显著成份(例如，面)。识别程序限定显著成份的存在和重要性并且选择那些显著成份之中最重要的一个或多个显著成份。这在目前描述的处理之后或同时不限制其它较为不显著的成份的确认和处理。然后，上述的显著成份被进一步分析，从而识别易变的和不变的子成份。不变的子成份的识别是建立该成份一些方面的模型的程序，借此揭示允许将该成份被合成到预期的准确性水平的模型的参数表达法。
在本发明的一个实施方案中，探测和跟踪前景目标。该目标的象素被识别并且从每个图像画面中分段出来。基于区段的运动评估在多画面中被应用于被分段的目标。然后，这些运动评估被整合成高级的运动模型。该运动模型用来把目标例证隐藏到公用的空间配置中。对于特定的数据，在这种配置中，目标的多数特征被对准。这种规范化允许将目标象素数值的线性分解紧凑地表达在多画面上。属于目标外表的显著信息包含在这个紧凑的表达之中。
本发明的优选实施方案详细描述前景视频目标的线性分解。目标在空间上规范化，借此得出紧凑的线性外观模型。此外，进一步的优选实施方案在空间规范化之前将来自视频画面背景的前景目标分段。
本发明的一个优选实施方案将本发明应用于进入摄像机的人边说话边进行少量运动的录像片。
本发明的一个优选实施方案将本发明应用于录像片中能通过空间转换很好表达的任何目标。
本发明的一个优选实施方案明确地使用基于区段的运动评估来确定两个或多个视频画面之间的有限差异。为了要提供更有效线性分解，高级运动模型是依据该有限差异因式分解的。
探测&跟踪
一旦已经确定信号的显著构成成份，这些成份就可以被保留，而所有其它的信号成份可以被减少或去除。保留的成份代表该视频数据的中间形式。然后，这个中间数据能使用对于现有的视频处理方法通常不可得的技术编码。因为该中间数据以几种形式存在，所以标准的视频编码技术能用来给这些中间形式中的一些编码。对于每个例证，本发明都先确定然后使用最有效的编码技术。
特性分析程序进行显著信号模式的探测和分类。这个程序的一个实施方案使用明确地为产生强度与视频画面中目标被探测的特性有关的响应信号而设计的空间过滤器的组合。该分类程序是以不同的空间刻度应用于视频画面不同位置的。来自分类程序的响应的强度指出显著信号模式出现的可能性。当中心定在十分显著的目标上的时候，该程序用对应强烈的响应给它分类。显著信号模式的探测通过促成对视频序列中的显著数据的后来的处理和分析来辨别本发明。
给出显著信号模式在一个或多个视频画面中的探测位置，本发明分析显著信号模式的无变化特征。此外，本发明对于无变化的特征分析该信号的残值，“较少显著的”信号模式。无变化特征的识别提供用来减少多余信息和分段(即，区分)信号模式的基础。
特征点跟踪
在本发明一个实施方案中，在一个或多个画面中的空间位置是通过空间强度字段梯度分析确定的。这些特征对应于“线”的一些交点，这些交点能被不严谨地描述为“拐角”。这样的实施方案进一步选择一组这样的拐角作为强壮的彼此空间上无联系的拐角，在此称之为特征点。促进，使用光学流的分层多分辨率评估允许确定随着时间流逝特征点的平移位移。
特征跟踪的非限制性实施方案能被这样使用，以致这些特征被用来证明更规则的梯度分析法(例如，基于区段的运动评估)合格。
另一个实施方案期待以特征跟踪为基础的运动评估的预测。
以目标为基础的探测和跟踪
在本发明的一个非限制性实施方案中，强健的目标分类程序被用来跟踪视频画面中的面。这样的分类程序以对面上已经过训练的定向边缘的级联响应为基础。在这个分类程序中，边缘被定义为一组基本的Haar特征和那些特征的45度旋转。级联分类程序是AdaBoost算法的变体。此外，响应计算能通过使用总面积表被优化。
局部配准
配准包括在两个或多个视频画面中被识别的目标元素之间的对应关系的分配。这些对应关系变成用来建立在视频数据中时间上截然不同的点的视频数据之间的空间关系模型的基础。
现在描述用于本发明的各种不同的非限制性的配准方法，为的是根据广为人知的算法和那些算法的富有创造性的派生算法举例说明特定的实施方案和它们相关联的对实践的缩减量。
在时空序列中建立明显的光学流模型的一种方法可以是通过从视频数据的两个或多个画面产生有限差分字段实现的。如果对应关系遵照特定的恒定不变的限制，光学流场能在空间和强度双重意义上被稀疏地评估。
菱形搜寻
假定把一个视频画面不重叠地分割成若干区段，搜寻与每个区段匹配的先前的视频画面。以全面搜寻区段为基础的(FSBB)运动评估找出与当前画面中的一个区段比较时在早先的视频画面中误差最小的位置。完成FSBB可能是计算费用十分浩大的，而且往往不产生比以局部运动假设为基础的其它评估方案更好的匹配。以菱形搜寻区段为基础的(DSBB)梯度下降运动评估是FSBB的常见的替代品，它使用各种不同尺寸的菱形搜寻图案朝着对于某个区段最好的匹配的方向反复地横越误差梯度。
在本发明的一个实施方案中，DSBB被用于一个或多个视频画面之间的图像梯度字段分析，以便产生其数值稍后被因式分解成高阶运动模型的有限差分。
熟悉这项技术的人知道基于区段的运动评估能被视为规则网孔的顶点分析的同价物。
基于相位的运动评估
在现有技术中，基于区段的运动评估通常是作为导致一个或多个空间匹配的空间搜寻实现的。基于相位的规范化的互相关(PNCC)如同图3举例说明的那样把来自当前画面和先前画面的区段变换到“相空间”中并且寻找两个区段的互相关关系。该互相关关系被表达为其位置与两个区段之间的边缘的“相移”相对应的数值字段。这些位置通过定阈值被隔离，然后被逆变换成空间坐标。这些空间坐标是截然不同的边缘位移，而且对应于运动矢量。
PNCC的优势包括允许视频流中的增益/曝光调节允差的反差掩蔽。另外，PNCC允许来自或许从基于空间的运动评估程序获得许多迭代的单一步骤的结果。此外，该运动评估是子象素精确的。
本发明的一个实施方案在一个或多个视频画面之间的图像梯度字段的分析中利用PNCC，为的是产生其数值稍后被因式分解成高阶运动模型的有限差分。
全面配准
在一个实施方案中，本发明将来自有限差分评估的字段的一个或多个线性模型因式分解。发生这样的抽样的字段在此被称为有限差分的一般群体。所描述的方法使用与RANSAC算法类似的强健的评估。
在线性模型评估算法的一个实施方案中，运动模型评估程序以线性最小二乘解为基础。这种相关性使评估程序摆脱离群数据。基于RANSAC，所揭示的方法是一种通过数据子集的反复评估制止离群效应，对将描述数据的重要子集的运动模型进行探查的强健方法。每个探头产生的模型都对它所代表的数据百分比进行测试。如果有相当大的迭代次数，则将发现适合最大的数据子集的模型。
如同在图4中构思和举例说明的那样，本发明揭示一些在算法变更形式上超过RANSAC算法的改革，包括有限差分的初始抽样(子样)和线性模型的最小二乘评估。综合误差是使用已解的线性模型对一般群体中的所有子样评估的。根据子样数目把一个等级分配给该线性模型，其残差符合预先设定的阈值，这个等级被看作是“候选共识”。
初始抽样、求解和归类是通过迭代完成的，直到终止判据得到满足为止。一旦该判据得到满足，等级最高的线性模型被看作是群体的最后共识。
一个非必选的改进步骤包括按照对候选模型拟合最好的次序反复地分析子样的子集和逐渐增加子集的大小，直到加一后较多的子样将超过整个子集的残留误差阈值。
所描述的本发明的非限制性实施方案可以作为抽取矢量空间(前面被描述为有限差分矢量的字段)子样的一般方法被进一步推广，为的是在将与某特定的线性模型相对应的另一个参数矢量空间中确定子空间簇。
全面配准程序的一个较进一步的结果是这和地方配准之间的不同程序产生地方配准剩余的。这个剩余是在接近地方模型方面全局模型误差。
规范化
规范化指的是朝着标准的或通常的空间配置方向再次抽取空间强度字段子样。当这些相对空间配置是这样的配置之间的可逆变换的时候，象素的再次抽样和附带插值也是直到拓扑极限可逆的。本发明规范化方法是用图5举例说明的。
当两个以上空间强度字段被规范化的时候，增高的计算效率可以通过保存中间的规范化计算结果来实现。
为了配准的目的，或等效地为了规范化，用来再次抽取图像子样的空间变换模型包括总体模型和本地模型。总体模型有从平移变换到影射变换逐渐增加的阶次。本地模型是暗示在基本上用区段或更复杂地用分段线性网孔确定的邻近象素上的内插式的有限差分。
原始强度字段对规范化强度字段的插值增加基于强度字段子集的PCA外表模型的直线性。
分段
通过进一步描述的分段程序识别的空间间断点是通过它们各自边界的几何参数表达法(被称为空间间断点模型)有效地编码的。这些空间间断点模型可以以永远虑及与编码子集相对应的更简洁的边界描述的渐进方式编码。渐进式编码提供在保留空间间断点的许多显著方面的同时按优先次序安排空间几何学的强健方法。
本发明一个优选实施方案把多分辨率分段分析和空间强度梯度字段分析结合起来并且进一步使用时间稳定性限制，为的是实现强健的分段。
本发明使用的无变化特征分析的一种形式把重心集中在空间间断点的识别上。这些间断点是作为边缘、阴影、遮蔽、线、拐角或任何其它在一个或多个视频成像画面中引起象素之间突然的和可以辨认的分离的可见特征出现的。此外，在颜色和/或纹理类似的目标之间细微的空间间断点出现在视频画面中目标象素相对于目标自己正在经历粘附运动而相对于其它目标正在经历不同的运动之时。本发明利用频谱分段、纹理分段和运动分段的组合强健地识别与显著信号模式相关联的空间间断点。
时间分段
把平移运动矢量或在空间强度字段中等价的有限差分测量结果按时间整合成高阶运动模型是现有技术描述的一种运动分段形式。
在本发明的一个实施方案中，产生密集的运动矢量场表现图像中目标运动的有限差分。这些导数通过瓦片的规则分割或借助设定初值程序(例如，空间分段)按空间聚集在一起。每组的“导数”都使用线性最小二乘评估程序整合成一高阶运动模型。然后，由此产生的运动模型作为运动模型空间中的矢量使用k-means群集技术群集。这些导数是根据与它们拟合最好的群分类的。然后，群标作为空间分割的演化按空间群集。该程序一直继续到空间分割是稳定的。
在本发明的进一步的实施方案中，用于给定孔径的运动矢量被内插到一组与该孔径相对应的象素位置。当用这种内插定义的区段跨越与目标边界相对应的象素时候，由此产生的分类是该区段的某种不规则的对角线分割。
在现有技术中，用来整合导数的最小二乘评估程序对离群值是非常敏感的。这种敏感性能产生使运动模型群集方法严重地向迭代结果相差很大地发散的点倾斜的运动模型。
在本发明中，运动分段方法通过在两个以上视频画面上分析明显的象素运动识别空间间断点。明显的运动在这些视频画面上对一致性分析的并且被整合成参数运动模型。与这种一致运动相关联的空间间断点被识别。运动分段也可以被称为时间分段，因为时间变化可能是由运动引起的。然而，时间变化也可能是由一些其它的现象(例如，局部变形、照明变化，等等)引起的。
通过所描述的方法，与规范化方法相对应的显著信号模式能被识别而且能通过几种背景减法之一与周围的信号模式(背景或非目标)分开。时常，这些方法从统计上建立象素在每个时间样本呈现最小变化的背景模型。变化能被视为象素数值差异。作为替代，运动分段能在给出显著图像模式的被探测位置和数值范围的情况下实现。距离变换能用来确定每个象素距被探测位置的距离。如果与最大距离相关联的象素数值被保留，合理的背景模型能被求解。换句话说，能使用信号差异度量标准按时间对环境信号再次抽样。
给出环境信号的模型，就能按每个时间样本区别完全的显著信号模式。这些差别每个都能通过再次抽样变成空间规范化的信号差异(绝对差异)。然后，这些差异被相对彼此对准和累积。由于这些差异相对于显著信号模式已按空间规范化，所以，差异的峰通常将对应于与显著信号模式相关联的象素位置。
梯度分段
纹理分段方法或同义的强度梯度分段分析象素在一个或多个视频画面中的本地梯度。梯度响应是表征空间间断点的统计尺度，其中所述空间间断点对于该视频画面中的象素位置是本地的。然后，使用几种空间群集技术之一把这些梯度响应组合成一些空间区域。这些区域的边界在识别一个或多个视频画面中的空间间断点方面是有用的。
在本发明的一个实施方案中，来自计算机图形纹理生成的总面积表概念被用于加快强度场梯度计算的目的。累加值字段的产生使通过与四次加法运算结合的四次查询计算任何长方形原始字段的总和变得容易。
进一步的实施方案使用对一幅图像产生的Harris响应，而每个象素的邻近区域被归类为同种的、边缘或拐角。响应数值是依据这个信息产生的并且指出画面中每种元素的边缘状态或拐角状态的程度。
光谱分段
光谱分段方法分析视频信号中黑白、灰度或彩色象素的统计概率分布。频谱分类程序是通过完成关于那些象素的概率分布的群集操作构成的。然后，使用该分类程序把一个或多个象素分类，使之属于某个概率类别。然后，由此产生的概率类别和它的象素被赋予类别标签。然后，这些类别标签按空间与截然不同的边界联合进入象素区域。这些边界识别在一个或多个视频画面中的空间间断点。
本发明可以利用基于光谱分类的空间分段来分割视频画面中的象素。此外，区域之间的对应关系可以基于光谱区域与先前分段的区域的重叠确定。
业已观察到当视频画面大致由空间上被连接成与视频画面中的目标相对应的较大区域的连续彩色区域组成的时候，彩色(或光谱)区域的识别和跟踪能促进图像序列中目标的后续分段。
建立外观模型
视频处理的通常目标往往是建立模型和保存视频画面序列的外观。本发明指向允许通过预处理的运用以强健的和广泛适用的方式应用强制外观建模技术。先前描述的配准、分段和规范化明显地适合这个目的。
本发明揭示建立外观变化模型的方法。在线性模型的情况下分析特征矢量的主要基础是揭示开发利用线性相关关系的坚实基础。表达空间强度场象素的特征矢量能组装成外观变化模型。
在替代实施方案中，外观变化模型是依据被分段的象素子集计算的。此外，该特征矢量能被分成若干空间上不重叠的特征矢量。这样空间分解可以用空间铺瓦来实现。计算效率可以通过处理这些时间总体实现，而不牺牲更全面的PCA方法的维数减少。
在产生外观变化模型时，空间强度场规范化能被用来减少空间变形的PCA建模。
主要成份分析产生外观变化模型的优选方法是通过把视频画面作为图案矢量组装成一个训练矩阵或总体和把主要成份分析(PCA)应用在该训练矩阵上。当这样的扩展被删节的时候，由此产生的PCA变形矩阵被用来分析和合成后面的视频画面。基于删节水平，改变象素最初的外观质量水平能实现。
构成和分解图案矢量的特定方法对于熟悉这项技术的人是广为人知的。
给出来自环境信号的显著信号模式的空间分段和这个模式的空间规范化，象素本身，或同义地，由此产生的规范化信号的外观，能被因式分解成线性相关的成份，其中低级参数表达考虑到象素外观表达的近似值误差和比特率之间的直接交换。
连续的PCA
PCA使用PCA变换把图案编码成PCA系数。用PCA变换表达的图案越好，给该图案编码所需要的系数就越少。承认图案矢量随着时间流逝在获得的训练图案和被编码的图案之间可能降级，更新变换能帮助抵消这种降级。作为产生新变换的替代品，现有图案的连续更新在特定的情况下是计算上更有效的。
许多最新颖的视频压缩算法依据一个或多个其它的画面预测某视频画面。预测模型通常基于把每个预测画面分割成与另一画面中对应的补丁和相关联的用偏移运动矢量参数化的平移位移的相匹配的不重叠的瓦片。非必选地与画面索引耦合的空间位移提供瓦片的“运动预测”版本。如果预测的误差在特定的阈值以下，则瓦片的象素适合残差编码；而且在压缩效率方面有对应的增益。否则，瓦片的象素被直接编码。这种基于瓦片的或叫做基于区段的运动预测方法通过平移包含象素的瓦片建立影像模型。当影像中的成像现象坚持这个建模类型的时候，对应的编码效率增加。为了与在基于区段的预测中固有的平移假定一致，这种建模限制假定特定的时间分辨率水平(或每秒帧数)对于正在经历运动的成像目标是存在的。这种平移模型的另一个需求是对于特定的时间分辨率空间位移受限制；换言之，用来推导预测结果的画面和被预测的画面之间的时差必须是比较短的绝对时间量。这些时间分辨率和运动限制使存在于视频流中的特定的多余视频信号成份的确认和建模变得容易。
基于残差的分解
在MPEG视频压缩中，当前的画面是通过先对先前的画面使用运动矢量进行运动补偿，然后把残差更新应用于补偿区段，最后将任何没有充份匹配的区段作为新区段完成编码构成的。
与剩余区段相对应的象素通过运动矢量映射到先前画面中的象素上。结果是象素通过能通过连续应用残值合成的影像的瞬时路径。这些象素被确认为能最好地使用PCA表达的象素。
基于遮蔽的分解
本发明的进一步提高确定适用于诸区段的运动矢量是否将会导致来自先前画面的任何象素被移动象素遮蔽(覆盖)。对于每个遮蔽事件，都把遮蔽象素劈成新层。没有历史的象素也将被暴露。暴露出来的象素被放到在当前画面中适合它们而且历史上适宜于它们的也能变得适合所述层的任何层上。
象素的时间连续性是通过象素对不同层的接合和移植得到支持的。一旦获得稳定的层模型，每层中的象素就能基于对条理分明的运动模型的从属关系聚集。
分波段时间量化
本发明的替代实施方案使用离散的余弦变换(DCT)或离散的子波变换(DWT)把每个画面分解成分波段图像。然后，将主要成份分析(PCA)应用于这些“分波段”影像之中的每幅影像。概念是视频画面的分波段分解与原始视频画面比较时减少任何一个分波段中的空间变化。
就移动目标(人)的影像而言，空间变化倾向于支配用PCA建模的变化。分波段分解减少任何一个分解影像中的空间变化。
就DCT而言，任何一个分波段的分解系数在空间上被安排到分波段影像之中。举例来说，DC系数是从每个区段获取的并且被安排到分波段影像之中，看起来像原始影像的邮票版本一样。这对所有其它的分波段重复，而且由此产生的分波段影像每个都使用PCA处理。
就DWT而言，分波段是已经以对DCT描述的方式排列的。
在非限制性实施方案中，PCA系数的删节是变化的。
子波
当使用离散的子波变换(DWT)分解数据的时候，以较低的空间分辨率产生多个带通数据组。转换程序能被递归地应用于导出数据直到仅仅产生单一的标量数值为止。在已分解的结构中标量元素通常以分等级的父母/孩子方式相关。由此产生的数据包含多分辨率的分等级结构以及有限差分。
当DWT被应用于空间强度字段的时候，许多自然发生的图像现象是借助由低空间频率造成的第一或第二低带通导出数据结构以与微不足道的知觉损失表达的。在当高频空间数据不是不存在就是被视为噪音的时候，删节分等级的结构提供简明的表达。
尽管PCA可以用来以为数不多的系数实现正确的重建，但是这种变换本身可能是相当大的。为了减少这个“初始”变换的大小，可以使用子波分解的嵌零树(EZT)结构来建立变换矩阵的越来越精确的版本。

Claims (10)

1.一种用于产生来自为数众多的视频画面的视频信号数据的编码形式的数字处理器装置，所述装置包括：
用于探测视频画面序列中的目标的装置；
用于通过所述视频画面序列中的两画面或多画面跟踪所述目标的装置；以及
用于识别所述目标在两个或多个视频画面之间的对应元素的装置；
所述用于产生来自为数众多的视频画面的视频信号数据的编码形式的数字处理器装置的特征在于还包括：
建模装置，用于建立对应元素的模型以从所述对应元素产生对应关系模型；
再次抽样装置，用于再次抽取与所述视频画面中的所述目标相对应的象素数据子样，所述再次抽样装置利用所述对应关系模型；
分段装置，所述分段装置用于将与所述目标相对应的所述象素数据与所述视频画面序列中其它的象素数据分割开，以形成被分割的目标象素数据，所述分段装置包括用于提供临时整合的装置；以及
用于分解所述被分割的目标象素数据的分解装置，所述分解装置应用主要成份分析，而且
所述建模装置包括使用对仿射运动模型的解强健的抽样共识来分析对应关系模型的装置和使用抽样群体基于依据所述序列中的两个或多个视频画面之间基于区段的运动评估所产生的有限差分来分析对应元素的装置。
2.根据权利要求1的装置，其中所述再次抽样装置和分段装置从空间上限制视频信号数据，以使所述分解装置能有效地使用线性分解和减轻任何引发的非线性。
3.根据权利要求1的装置，其中所述分段装置利用光谱分段、包括强度梯度分段的纹理分段、和运动分段的组合。
4.根据权利要求1的装置，其中所述对应关系模型充当用于对所述目标的一个或多个实例进行建模的标准空间配置，所述目标的特征在所述标准空间配置中被对准，并且所述对应关系模型允许紧凑地表达所述被分割的目标象素数据在多个视频画面上的分解。
5.根据权利要求1的装置，其中所述分解装置产生所述视频画面序列的紧凑的线性外观模型。
6.一种用于产生来自为数众多的视频画面的视频信号数据的编码形式的方法，所述方法包括步骤：
探测视频画面序列中的目标；
通过所述视频画面序列中的两画面或多画面跟踪所述目标；以及
识别所述目标在两个或多个视频画面之间的对应元素；
所述用于产生来自为数众多的视频画面的视频信号数据的编码形式的方法的特征在于还包括步骤：
建立对应元素的模型以从所述对应元素产生对应关系模型；
再次抽取与所述视频画面中的所述目标相对应的象素数据子样，所述再次抽样利用所述对应关系模型；
将与所述目标相对应的所述象素数据与所述视频画面序列中其它的象素数据分割开，以形成被分割的目标象素数据，其中所述分割提供临时整合；以及
分解所述被分割的目标象素数据，所述分解使用主要成份分析，其中
所述建模的步骤包括：
使用对仿射运动模型的解强健的抽样共识来分析对应关系模型，以及使用抽样群体基于依据所述序列中的两个或多个视频画面之间基于区段的运动评估所产生的有限差分来分析对应元素。
7.根据权利要求6的方法，其中所述再次抽样步骤和分割步骤从空间上限制视频信号数据，以使所述分解步骤能有效地使用线性分解和减轻任何引发的非线性。
8.根据权利要求6的方法，其中所述分割步骤利用光谱分段、包括强度梯度分段的纹理分段、和运动分段的组合。
9.根据权利要求6的方法，其中所述对应关系模型充当用于对所述目标的一个或多个实例进行建模的标准空间配置，所述目标的特征在所述标准空间配置中被对准，并且所述对应关系模型允许紧凑地表达所述被分割的目标象素数据在多个视频画面上的分解。
10.根据权利要求6的方法，其中所述分解步骤产生所述视频画面序列的紧凑的线性外观模型。
CN2005800323859A 2004-07-30 2005-07-28 用来处理视频数据的装置和方法 Expired - Fee Related CN101036150B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US59808504P 2004-07-30 2004-07-30
US60/598,085 2004-07-30
PCT/US2005/026740 WO2006015092A2 (en) 2004-07-30 2005-07-28 Apparatus and method for processing video data

Publications (2)

Publication Number Publication Date
CN101036150A CN101036150A (zh) 2007-09-12
CN101036150B true CN101036150B (zh) 2010-06-09

Family

ID=35787811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800323859A Expired - Fee Related CN101036150B (zh) 2004-07-30 2005-07-28 用来处理视频数据的装置和方法

Country Status (8)

Country Link
US (2) US7158680B2 (zh)
EP (2) EP1779294A4 (zh)
JP (1) JP4928451B2 (zh)
KR (1) KR20070067684A (zh)
CN (1) CN101036150B (zh)
AU (1) AU2005269310C1 (zh)
CA (1) CA2575211C (zh)
WO (1) WO2006015092A2 (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075556A1 (ja) * 2003-02-19 2004-09-02 Ishikawajima-Harima Heavy Industries Co., Ltd. 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、及び圧縮符号化方法、圧縮符号化装置、圧縮符号化プログラム、並びに復合化方法、復合化装置、復合化プログラム
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7426301B2 (en) * 2004-06-28 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Usual event detection in a video using object and frame features
US20050285937A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Unusual event detection in a video using object and frame features
US7457435B2 (en) 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US7457472B2 (en) * 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
CN101036150B (zh) * 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
CN101061489B (zh) * 2004-09-21 2011-09-07 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
WO2006055512A2 (en) * 2004-11-17 2006-05-26 Euclid Discoveries, Llc Apparatus and method for processing video data
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
WO2006083567A1 (en) * 2005-01-28 2006-08-10 Euclid Discoveries, Llc Apparatus and method for processing video data
CA2590869C (en) * 2005-03-31 2014-01-21 Euclid Discoveries, Llc Apparatus and method for processing video data
KR100869497B1 (ko) * 2005-07-01 2008-11-21 주식회사 메디슨 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치
WO2008091485A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP4777433B2 (ja) * 2005-10-27 2011-09-21 エヌイーシー ラボラトリーズ アメリカ インク ビデオ前景の分割方法
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
EP2033142B1 (en) * 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
WO2008015586A2 (en) * 2006-08-02 2008-02-07 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7894662B2 (en) * 2006-10-11 2011-02-22 Tandent Vision Science, Inc. Method for using image depth information in identifying illumination fields
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8553782B2 (en) 2007-01-23 2013-10-08 Euclid Discoveries, Llc Object archival systems and methods
US8131012B2 (en) 2007-02-08 2012-03-06 Behavioral Recognition Systems, Inc. Behavioral recognition system
US10194175B2 (en) 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
WO2008104549A2 (en) * 2007-02-28 2008-09-04 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
JP4970557B2 (ja) 2007-03-05 2012-07-11 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド デジタル画像取込装置における顔検索及び検出
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
AU2008222789B2 (en) * 2007-03-08 2013-08-22 Doheny Eye Institute Saliency-based apparatus and methods for visual prostheses
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8189905B2 (en) 2007-07-11 2012-05-29 Behavioral Recognition Systems, Inc. Cognitive model for a machine-learning engine in a video analysis system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
JP5371232B2 (ja) * 2007-11-28 2013-12-18 キヤノン株式会社 画像処理装置および画像処理方法
US8817190B2 (en) 2007-11-28 2014-08-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
CN101878486B (zh) * 2007-11-30 2016-10-26 杜比实验室特许公司 处理运动图像序列的方法和设备
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP4513035B2 (ja) * 2008-03-10 2010-07-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US7683809B2 (en) * 2008-04-11 2010-03-23 Aceurity, Inc. Advanced lossless bit coding
US9837013B2 (en) * 2008-07-09 2017-12-05 Sharp Laboratories Of America, Inc. Methods and systems for display correction
US8587668B2 (en) * 2008-07-25 2013-11-19 Anvato, Inc. Method and apparatus for detecting near duplicate videos using perceptual video signatures
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
JP5567021B2 (ja) 2008-10-07 2014-08-06 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US9805271B2 (en) * 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8068677B2 (en) * 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8180105B2 (en) 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US8379917B2 (en) * 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
US8891939B2 (en) * 2009-12-22 2014-11-18 Citrix Systems, Inc. Systems and methods for video-aware screen capture and compression
US8379919B2 (en) * 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
EP2395452A1 (en) 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
WO2013138700A1 (en) 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert volume normalization in a video surveillance system
WO2013148002A2 (en) 2012-03-26 2013-10-03 Euclid Discoveries, Llc Context based video encoding and decoding
KR20150029006A (ko) 2012-06-29 2015-03-17 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 비디오 감시 시스템을 위한 피처 이례들의 무감독 학습
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
BR112015003444A2 (pt) 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
WO2014075022A1 (en) 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
TWI496114B (zh) * 2012-11-23 2015-08-11 Univ Nat Taiwan 影像追蹤裝置及其影像追蹤方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
WO2015021484A1 (en) 2013-08-09 2015-02-12 Behavioral Recognition Systems, Inc. Cognitive information security using a behavior recognition system
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US9674406B2 (en) 2014-08-15 2017-06-06 University Of Washington Using dynamic mode decomposition for real-time background/foreground separation in video
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10474745B1 (en) 2016-04-27 2019-11-12 Google Llc Systems and methods for a knowledge-based form creation platform
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US11069378B1 (en) 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US10750216B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for providing peer-to-peer content delivery
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US10750248B1 (en) 2016-05-10 2020-08-18 Google Llc Method and apparatus for server-side content delivery network switching
US11032588B2 (en) 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US10412462B2 (en) * 2016-11-08 2019-09-10 Ati Technologies Ulc Video frame rate conversion using streamed metadata
RU182411U1 (ru) * 2018-01-26 2018-08-16 Общество с Ограниченной Ответственностью "Фабрика Нетканых Материалов "Весь Мир" Нетканый утеплительный огнестойкий материал для одежды
US11312594B2 (en) 2018-11-09 2022-04-26 Otis Elevator Company Conveyance system video analytics
CN109559286B (zh) * 2018-11-19 2022-12-06 电子科技大学 一种方差梯度约束法红外图像边缘保持去噪方法
CN110647917B (zh) * 2019-08-23 2022-06-03 北京大学 一种模型复用方法与系统
CN110619356B (zh) * 2019-08-28 2023-03-28 电子科技大学 基于区域建议注意力的目标检测方法
US20230010199A1 (en) * 2019-12-16 2023-01-12 Nec Corporation Foreground extraction apparatus, foreground extraction method, and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194110A1 (en) * 2002-04-16 2003-10-16 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2606523B2 (ja) * 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
KR0171151B1 (ko) * 1995-03-20 1999-03-20 배순훈 곡률 계산 기법을 이용한 이미지 윤곽 근사화 장치
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
FR2783123B1 (fr) * 1998-09-04 2000-11-24 France Telecom Procede d'estimation du mouvement entre deux images
US7124065B2 (en) * 1998-10-26 2006-10-17 Speech Technology And Applied Research Corporation Determining a tangent space and filtering data onto a manifold
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
JP4536261B2 (ja) 1999-01-29 2010-09-01 三菱電機株式会社 画像特徴符号化方法及び画像検索方法
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
JP2001100731A (ja) * 1999-09-28 2001-04-13 Toshiba Corp オブジェクト映像表示装置
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6574353B1 (en) * 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
WO2001063555A2 (en) * 2000-02-24 2001-08-30 Massachusetts Institute Of Technology Image deconvolution techniques for probe scanning apparatus
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
FR2814312B1 (fr) * 2000-09-07 2003-01-24 France Telecom Procede de segmentation d'une surface image video par objets elementaires
WO2002052508A2 (en) * 2000-12-22 2002-07-04 Anthropics Technology Limited Image processing system
US7061483B2 (en) * 2001-02-08 2006-06-13 California Institute Of Technology Methods for computing barycentric coordinates generalized to irregular n-gons and applications of the same
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US7136505B2 (en) * 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
JP3984191B2 (ja) * 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
US7031499B2 (en) * 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US6925122B2 (en) * 2002-07-25 2005-08-02 National Research Council Method for video-based nose location tracking and hands-free computer input devices based thereon
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
CN101036150B (zh) * 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7457472B2 (en) * 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US7457435B2 (en) * 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
CN101061489B (zh) * 2004-09-21 2011-09-07 欧几里得发现有限责任公司 用来处理视频数据的装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6751354B2 (en) * 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US20030194110A1 (en) * 2002-04-16 2003-10-16 Koninklijke Philips Electronics N.V. Discriminating between changes in lighting and movement of objects in a series of images using different methods depending on optically detectable surface characteristics

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
许志勇，平西建，肖永隆，沈海浪.一种基于时空结合的视频运动对象分割算法.中国图象图形学报第8卷 特刊.2003,8　424 -427.
许志勇,平西建,肖永隆,沈海浪.一种基于时空结合的视频运动对象分割算法.中国图象图形学报第8卷 特刊.2003,8 424-427. *
韩军，熊璋，李超，龚声蓉.分割视频运动对象的研究.计算机工程与应用第36卷 第8期.2000,36(8),　22-26.
韩军,熊璋,李超,龚声蓉.分割视频运动对象的研究.计算机工程与应用第36卷 第8期.2000,36(8), 22-26. *

Also Published As

Publication number Publication date
AU2005269310C1 (en) 2010-05-20
WO2006015092A3 (en) 2006-05-11
EP1779294A2 (en) 2007-05-02
AU2005269310A1 (en) 2006-02-09
US7424157B2 (en) 2008-09-09
US7158680B2 (en) 2007-01-02
US20060029253A1 (en) 2006-02-09
EP2602742A1 (en) 2013-06-12
US20070071336A1 (en) 2007-03-29
AU2005269310B2 (en) 2009-12-17
CA2575211A1 (en) 2006-02-09
EP1779294A4 (en) 2010-12-29
KR20070067684A (ko) 2007-06-28
JP2008508801A (ja) 2008-03-21
CA2575211C (en) 2012-12-11
CN101036150A (zh) 2007-09-12
WO2006015092A2 (en) 2006-02-09
JP4928451B2 (ja) 2012-05-09

Similar Documents

Publication Publication Date Title
CN101036150B (zh) 用来处理视频数据的装置和方法
CN101061489B (zh) 用来处理视频数据的装置和方法
CN101151640B (zh) 用来处理视频数据的装置和方法
CN101167363B (zh) 处理视频数据的方法
CN101536525B (zh) 用来处理视频数据的装置和方法
CN101939991A (zh) 用于处理图像数据的计算机方法和装置
US7457435B2 (en) Apparatus and method for processing video data
CN101103364B (zh) 用来处理视频数据的装置和方法
CN112131421A (zh) 医学图像分类方法、装置、设备及存储介质
CN118397259A (zh) 用于sar图像的语义分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20190728

CF01 Termination of patent right due to non-payment of annual fee