CN103763500A - 一种具有移动补偿的解交错影像处理装置及其相关方法 - Google Patents

Abstract

本发明揭示了一种具有移动补偿之解交错影像处理装置。该装置包含有一移动补偿模块、一静止补偿模块、一移动检测模块以及一解交错混合模块。其中，移动补偿模块，用于至少依据一待插补像素的一所在场、一前一场及一后一场，产生一移动补偿像素；静止补偿模块，用于依据该待插补像素的该前一场及该后一场，产生一静止补偿像素；移动检测模块，用于依据该待插补像素的该前一场及该后一场，产生一移动指标；以及解交错混合模块，用于依据该移动指标，对该移动补偿像素及该静止补偿像素进行加权平均计算，产生该待插补像素。

Description

一种具有移动补偿的解交错影像处理装置及其相关方法

本申请为2011年1月4日申请的申请号为201110021616.3的中国发明专利申请的

分案申请

技术领域

本发明指一种影像解交错处理装置，尤指一种具有移动补偿的解交错影像处理装置及其相关方法。

背景技术

随着数字电视时代来临，电视不仅可以收看电视，还可以同时使用电视浏览网页等因特网应用。且数字电视能提供超越传统模拟电视的影音质量与个人化使用服务。根据现有各国数字电视的规范，电视信号格式包含循序式(Progressing)及隔行(Interlacing)扫描的信号格式。这两种扫描的信号格式各有其优缺点。其中，隔行扫描的最大优点是所需传输的数据量较小，动态影像的色彩鲜明度和对比也比较好。因此，在讲究高分辨率及大画面电视的场合下，特别是1080条扫描线的情况下，隔行扫描的信号格式被使用较广泛，且其信息传输量也比较少，节省传输的频宽。

详细地说，请参考图1，隔行扫描的信号格式传送将每一个帧（Frame）分解成一个奇数场（Odd Field）及一个偶数场（Even Field），其中奇数场仅包含该帧中奇数行（Odd Line）的像素，而偶数场仅包含该帧冲偶数行（Even Line）的像素。在传输时，奇数场与偶数场交替传送，单位时间内的数据传输量可以减半。但影像接收端所接收到的影像数据为奇数场或偶数场数据，非完整之一帧画面，需透过解交错（De-Interlace）的处理，补足在同一个时间点，没有传输过来的偶数行或奇数行的像素数据，以产生完整的帧画面，进而显示在影像显示器上。意即输入奇数场（Odd Field）中仅有第1、3、5、7、9…行的像素数据，输入偶数场中仅有2、4、6、8、10…行的像素数据；但在输出影像时，都必须为循序格式的帧，在第1、2、3、4、5、6、7、8、9、10…行中皆有像素数据。

常见的解交错的处理有空间解交错或时间解交错的处理的方式。空间解交错处理使用同一时间点的场的上下行相同水平轴位置的像素进行待补行像素的插补，以上下两点的像素平均值作为插补的像素值，亦可使用其中一点直接作为插补的像素值。举例来说，第一图中奇数场Fn的像素A为待插补行中的一像素，空间解交错处理将上一行的像素B与下一行的像素C的像素平均值作为像素A的像素值，或直接以像素A或像素B的像素值作为像素A的像素值。另外，时间解交错处理使用前后场相同位置的像素进行待补行像素的插补，以前后两场中相同位置的像素平均值作为插补的像素值。举例来说，图1中奇数场Fn的像素A为待插补行中的一像素，时间解交错处理将前一偶数场Fn-1中相同位置的像素D及后一偶数场Fn+1中相同位置的像素E的平均值作为像素A的像素值。但空间解交错或时间解交错的处理，对于动态的画面插补无法插补出真实的像素，会导致影像失真。因此，本发明提出利用移动向量的估算，并据以以正确插补出真实的像素，以提升影像的质量。

发明内容

因此，本发明的目的之一在于提供一种具有移动补偿的解交错影像处理装置及其相关方法，以解决上述的问题。

依据本发明的实施例，揭示一种具有移动补偿的解交错影像处理装置，该装置包含有一时间移动补偿模块、一空间移动补偿模块、一空间移动补偿模块以及一移动补偿混合模块。其中，时间移动补偿模块，用于依据一待插补像素的前一场及后一场，产生一时间插补像素及一时间移动向量质量指标；空间移动补偿模块，用于依据该待插补像素的场，产生一空间插补像素及一锯齿指标；以及移动补偿混合模块，用于依据该时间插补像素、该空间插补像素、该时间移动向量质量指标以及该锯齿指标，产生该待插补像素。

依据本发明的实施例，其另揭示一种具有移动补偿的解交错影像处理方法，该方法包含有依据一待插补像素的前一场及后一场，产生一时间插补像素及一时间移动向量质量指标；依据该待插补像素的场，产生一空间插补像素及一锯齿指标；以及依据该时间插补像素、该空间插补像素、该时间移动向量质量指标以及该锯齿指标，产生该待插补像素。

依据本发明的实施例，其另揭示一种具有移动补偿的解交错影像处理装置。该装置包含有一移动补偿模块、一静止补偿模块、一移动检测模块以及一解交错混合模块。其中，移动补偿模块，用于至少依据一待插补像素的所在场、前一场及后一场，产生一移动补偿像素；静止补偿模块，用于依据该待插补像素的前一场及后一场，产生一静止补偿像素；移动检测模块，用于依据该待插补像素的前一场及后一场，产生一移动指标；以及解交错混合模块，用于依据该移动指标，对该移动补偿像素及该静止补偿像素进行加权平均计算，产生该待插补像素。

依据本发明的实施例，其另揭示一种具有移动补偿的解交错影像处理方法，该方法包含有至少依据一待插补像素的所在场、前一场及后一场，产生一移动补偿像素；依据该待插补像素的前一场及后一场，产生一静止补偿像素；依据该待插补像素的前一场及后一场，产生一移动指标；以及依据该移动指标，对该移动补偿像素及该静止补偿像素进行加权平均计算，产生该待插补像素。

依据本发明的实施例，其另揭示一种具有移动补偿的解交错影像处理装置。该装置包含有一时间移动补偿模块，用于依据一待插补像素的一前一场及一后一场，产生一时间插补像素及一时间移动向量质量指标；一空间移动补偿模块，用于依据该待插补像素所在的一场，产生一空间插补像素；以及一移动补偿混合模块，用于依据该时间插补像素、该空间插补像素以及该时间移动向量质量指标，产生该待插补像素。

依据本发明的实施例，其另揭示一种具有移动补偿的解交错影像处理装置。该装置包含有一时间移动补偿模块，用于依据一待插补像素的一前一场及一后一场，产生一时间插补像素；一空间移动补偿模块，用于依据该待插补像素所在的一场，产生一空间插补像素及一锯齿指标；以及一移动补偿混合模块，用于依据该时间插补像素、该空间插补像素以及该锯齿指标，产生该待插补像素。

本发明的实施例的优势利用移动向量的估算，并据以以正确插补出真实的像素，以提升影像的质量。

附图说明

图1为解交错影像处理的示意图。

图2为本发明一较佳实施例的具有移动补偿的解交错影像处理装置的功能方块图。

图3为本发明一较佳实施例的具有移动补偿的解交错影像处理方法的流程图。

图4为时间移动补偿模块的运作流程图。

图5A为决定时间移动向量的示意图。

图5B为决定时间移动向量质量指标的示意图。

图6为产生空间补偿像素的流程图。

图7为决定锯齿指标的流程图。

图8为本发明影像处理方法之流程图。

图9为本发明另一较佳实施例的具有移动补偿的解交错影像处理装置的功能方块图。

图10为本发明另一较佳实施例的具有移动补偿的解交错影像处理的流程图。

图11为产生一静止补偿像素及一移动指标的流程图。

主要组件符号说明

10     解交错影像处理装置

100    时间移动补偿模块

110    时间移动估测单元

120    时间像素插补单元

130    时间移动向量质量指标产生单元

200    空间移动补偿模块

210    空间移动估测单元

220    空间像素插补单元

230    锯齿检测单元

300    移动补偿混合模块

90     解交错影像处理装置

910    移动补偿模块

920    静止补偿模块

930    移动检测模块

940    解交错混合模块

具体实施方式

请参照图2，其绘示了本发明一较佳实施例的具有移动补偿的解交错影像处理装置10的功能方块图。解交错影像处理装置10用于将交错扫描(interlaced scan)的场转换成循序扫描(progressive scan)的帧，意即将交错处理的奇数场或偶数场中缺少的偶数行或奇数行的像素插补生成，还原成一完整的帧。解交错影像处理装置10包含时间移动补偿模块(time-domain motion compensation unit)100、空间移动补偿模块(space-domain motion compensation unit)200以及移动补偿混合模块(motioncompensation blending unit)300。为更清楚说明本发明运作，请另参照图3，其绘示了本发明一较佳实施例的具有移动补偿的解交错影像处理的流程图。首先，在步骤310中，时间移动补偿模块100用于依据当前场Fn的前一场Fn-1及后一场Fn+1，产生场Fn中的时间插补像素P3di及对应的时间移动向量质量指标I3di，包含时间移动估测单元110、时间像素插补单元120以及时间移动向量质量指标产生单元130。接着，在步骤320及330中，空间移动补偿模块200用于依据场Fn中待补偿行Ln的上一行Ln-1及下一行Ln+1，产生行Ln中空间插补像素P2di及对应的锯齿指标(Jaggy Index)Ij，包含空间移动估测单元210、空间像素插补单元220以及锯齿检测单元230。最后，在步骤340中，移动补偿混合模块300用于依据时间插补像素P3di、空间插补像素P2di、时间移动向量质量指标I3di以及锯齿指标Ij，产生移动补偿像素PMCDi。

请参照图4，进一步说明时间移动补偿模块100的运作流程。在步骤312中，时间移动估测单元110对一待插补像素Pxy的前一场Fn-1及后一场Fn+1进行区块比对运算，以决定依时间移动向量MV3D。另参照图5A，其为决定时间移动向量的示意图。当前场Fn中像素Pxy为一待插补像素，区块520、540为一比较区块尺寸，区域510、530为一比对区域。在决定像素Pxy的时间移动向量时，在区域510、530中，以区块520、540的尺寸进行区块比对。该时间移动向量估测处理的方式可为找寻前一场Fn-1与后一场Fn+1中最相似的区块，而搜寻范围可以是整个场或部份场。考虑运算量的情形下，本发明较佳实施例采用绝对值误差总和（Sumof Absolute Difference；SAD）算法，当某两区块的绝对值误差总和为最小，则该两区块为最佳相似区块，其对应向量即为像素Pxy的时间移动向量，算法如下：

$\mathrm{SAD}(i,j)=\underset{k-0}{\overset{N-1}{\mathrm{\Σ}}}\underset{l-0}{\overset{N-1}{\mathrm{\Σ}}}|C(x+k,y+l)-R(x+i+k,y+j+l),-p\≤i,j\≤p$

移动向量为(m,n)，使得i=m,j=n时的SAD为最小，其中

(1)N代表区块的长与宽；

(2)C(x+k,y+l)代表在目标影像场中，目标影像区块中的点；

(3)R(x+i+k,y+j+l)代表在参考影像场中，参考影像区块中的点；

(4)p代表搜寻范围。

以本案发明较佳实施例为例，为降低复杂度及节省成本的考虑，选择区块520、540为1*5的一维区块，而区域510、530为5*10的区域。假设比较结果前一场Fn-1中的区块520与后一场Fn+1中的区块540的SAD最小，则移动向量MV3D为像素Pxy的时间移动向量MV3D。值得注意的是，区块520、540及区域510、530的大小可因应实作的需求而有所不同，非本发明的限制条件。

接着，在步骤314中，时间像素插补单元120依据时间移动向量MV3D，先找到前一场Fn-1中像素Pn-1及后一场Fn+1中像素Pn+1，再据以产生一时间插补像素P3di给像素Pxy。该时间插补像素P3di的产生方法，可以选择像素Pn-1或像素Pn+1其中之一，或将像素Pn-1及像素Pn+1加权平均所产生的像素值。

接着，在步骤316中，请另参照图5B，其为决定时间移动向量质量指标的示意图。时间移动向量质量指标产生单元130依据该待插补像素Pxy的时间移动向量MV3D及该上一行、下一行及前一场对应像素的移动向量MV1～MV3，产生一时间移动向量质量指标I3di，用于提供移动补偿混合模块300判断时间插补像素P3di的可信度。本发明较佳实施例的时间移动向量质量指标I3di决定的公式如下：

I3di=|MV3D-MV1|+|MV3D-MV2|+|MV3D-MV3|

本案另一实施例的时间移动向量质量指标I3di决定的公式亦可如下：

I3di=Max(|MV3D-MV1|,|MV3D-MV2|,|MV3D-MV3)|

当时间移动向量质量指标I3di小时，表示该待插补像素Pxy的时间移动向量MV3D与周围及前一场对应的像素的移动向量相近，也意谓移动趋势相近，故时间移动向量MV3D及时间插补像素P3di的可信度很高；相反的，当时间移动向量质量指标I3di大时，表示该待插补像素Pxy的时间移动向量MV3D与周围及前一场对应的像素的移动向量不同，也意谓没有相同的移动趋势，故时间移动向量MV3D及时间插补像素P3di的可信度很低。

接下来，进一步空间移动补偿处理，请先参照图6，其为产生空间补偿像素的流程图。在步骤322中，空间移动估测单元210对当前图场Fn中的待插补像素Pxy的至少上一行及下一行间(本案发明较佳实施例为行Ly-3～Ly+3间)进行区块比对，产生一空间移动角度。接着，请参照图8，Pxy为一待插补像素，区块820为一比较区块尺寸，区域810为一比对区域。在本案发明较佳实施例中，为降低复杂度及节省成本的考虑，选择区块820为1*5的一维区块，而区域810为7*10的区域(行Ly-3～Ly+3间)。且区块比对亦采用绝对值误差总和（Sum of Absolute Difference；SAD）算法，依据上一行Ln-1及下一行Ln+1，所产生的SAD最小的两区块，决定该像素Pxy的空间移动角度。值得注意的是，区块820及区域810的大小可因应实作的需求而有所不同，非本发明的限制条件。接着，在步骤324中，空间像素插补单元220依据该像素Pxy的空间移动角度，先找到上一行Ln-11及下一行Ln+1中对应的两像素，再据以产生一空间插补像素P2di给像素Pxy。该空间插补像素P2di的产生方法，可以选择该两像素其中之一，或将该两像素加权平均所产生的像素值。

接着，请参照图7，其为决定锯齿指标的流程图。在步骤332中，空间移动估测单元210于区块比对的过程中，产生一最大比对差值Max SAD及一最小比对差值Min SAD。然后，锯齿检测单元230依据该最大对差值Max SAD及该最小比对差值Min SAD，产生一锯齿指标Ij，用于提供移动补偿混合模块300判断空间移动插补像素P2di的可信度。本案较佳实施例的锯齿指标Ij决定的公式如下：

Ij=Max SAD–Min SAD

当锯齿指标Ij小时，表示该待插补像素Pxy的上一行Ln-11及下一行Ln+1非处在边缘地带(edge)，故空间移动插补像素P2di的可信度高；相反地，当锯齿指标Ij大时，表示该待插补像素Pxy的上一行Ln-11及下一行Ln+1处在边缘地带(edge)，故空间移动插补像素P2di的可信度低。

最后，在步骤340中，移动补偿混合模块300用于依据时间插补像素P3di、空间插补像素P2di、时间移动向量质量指标I3di以及锯齿指标Ij，产生一移动补偿像素PMCDi给该待补偿像素Pxy。移动补偿混合模块300可依据时间移动向量质量指标I3di以及锯齿指标Ij，选定为时间插补像素P3di或空间插补像素P2di其中之一做为该移动补偿像素PMCDi；或可由时间移动向量质量指标I3di以及锯齿指标Ij决定一加权数α，对时间插补像素P3di及空间插补像素P2di进行加权平均计算，以产生该移动补偿像素PMCDi。然本案发明较佳实施例的移动补偿像素PMCDi决定采用后者方式，公式如下：

PMCDi=α*P3di+(1-α)*P2di

其中α=f(I3di,Ij)=min max(a*I3di–b*Ij,0,1)

上述本发明较佳实施例的说明，为移动补偿解交错影像处理装置及方法，在考虑画面移动的影响，用于产生一场中待补偿像素的像素值。但若加入静止补偿的机制，在画面静止的情形，会有更好的补偿效果，详见下述说明。

请参照图9，其绘示本发明另一较佳实施例的具有移动补偿的解交错影像处理装置90的功能方块图。同样地，解交错影像处理装置90用于将交错扫描(interlacedscan)的场转换成循序扫描(progressive scan)的帧，意即将交错处理的奇数场或偶数场中缺少的奇数行或偶数行的像素插补生成，还原成一完整的帧。解交错影像处理装置90包含移动补偿模块910、静止补偿模块920、移动检测模块930以及解交错混合模块940。为更清楚说明本发明运作，请另参照图10，其绘示本发明另一较佳实施例的具有移动补偿的解交错影像处理流程图。首先，在步骤1010中，移动补偿模块910用于产生一移动补偿像素PMCDi，包含任何考虑时间或空间移动因素，所产生移动补偿像素的方法。该移动补偿像素PMCDi可由前述图2及图3所揭示的装置及其方法所产生，但不限于此一方式。接着，在步骤1020中，静止补偿模块920以及移动检测模块930分别产生一静止补偿像素PSCDi及一移动指标Im。最后，在步骤1030中，解交错混合模块940依据移动补偿像素PMCDi、静止补偿像素PSCDi以及移动指标Im，产生一解交错像素PDi。

更详细地说，请参照1图11，其绘示了产生一静止补偿像素PSCDi及一移动指标Im的详细流程图。在步骤1022中，静止补偿模块920选择该待补像素Pxy的前一场Fn-1或后一场Fn+1相同位置的像素，做为该静止补偿像素PSCDi；或计算前一场Fn-1和后一场Fn+1相同位置的像素平均值，做为该静止补偿像素PSCDi。在步骤1024中，移动检测模块930依据该待补像素Pxy的相关像素，以产生该移动指标Im。本发明较佳实施例为计算前一场Fn-1和后一场Fn+1相同位置的像素的差值，做为该移动指标Im，计算式如下：

Im=|Pn-1–Pn+1|

本发明另一实施例为计算为依据该待补像素Pxy的至少一周围及前后场中相关像素的移动指标，计算该移动指标Im。其中在本实施例中，相关像素为该待补像素Pxy上一行及下一行相同水平位置的周围像素(Pxy-1,n、Px-1y-1,n、Px+1y-1,n、Pxy+1,n、Px-1y+1,n、Px+1y_1,n)，以及前一场及后一场相同位置的周围像素(Pxy,n-1、Px-1y,n-1、Px+1y,n-1、Pxy,n+1、Px-1y,n+1、Px+1y,n+1)，计算式如下：

Ixy,n=β*Ixy,n-2+(1-β)*|Pxy,n-1–P xy,n+1|

Im,xy,n=avg(Ixy-1,n,Ix-1y-1,n,Ix+1y-1,n,Ixy+1,n,Ix-1y+1,n,Ix+1y+1,n,Ixy,n-1,Ix-1y,n-1,Ix+1y,n,Ixy,n+1,Ix-1y,n+1,Ix+1y,n+1)

当移动指标Im小时，表示在连续画面中该待插补像素Pxy位于静止区域的可能性高，故静止补偿像素PSCDi的可信度高；相反地，当移动指标Im大时，表示在连续画面中该待插补像素Pxy位于移动区域的可能性高，故静止补偿像素PSCDi的可信度低。

另外，在本发明较佳实施例中，解交错混合模块940在决定解交错像素时，依据移动指标Im，决定一加权数β，再对移动补偿像素PMCDi及静止补偿像素PSCDi进行加权平均计算，以产生该解交错像素PDi。计算公式如下：

PDi=γ*PMCDi+(1-γ)*PSCDi

其中γ=f(Im)

但解交错混合模块940可依据移动指针Im，选定为移动补偿像素PMCDi或静止补偿像素PSCDi其中之一做为该解交错像素PDi。然，上述产生解交错像素PDi的方式，仅为两个较佳实施态样，不作为本发明的限制条件。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种具有移动补偿的解交错影像处理装置，该装置包含有：

一移动补偿模块，用于至少依据一待插补像素的一所在场、一前一场及一后一场，产生一移动补偿像素；

一静止补偿模块，用于依据该待插补像素的该前一场及该后一场，产生一静止补偿像素；

一移动检测模块，用于依据该待插补像素的相关像素，产生一移动指标；以及

一解交错混合模块，用于依据该移动指标，对该移动补偿像素及该静止补偿像素进行加权平均计算，产生该待插补像素。

2.如权利要求1所述的解交错影像处理装置，其特征在于，该移动补偿模块包含有：

一时间移动补偿模块，用于依据该待插补像素的该前一场及该后一场，产生一时间插补像素及一时间移动向量质量指标；

一空间移动补偿模块，用于依据该待插补像素的该所在场，产生一空间插补像素及一锯齿指标；以及

一移动补偿混合模块，用于依据该时间插补像素、该空间插补像素、该时间移动向量质量指标以及该锯齿指标，产生该移动补偿像素。

3.如权利要求1所述的解交错影像处理装置，其特征在于，该静止补偿模块选择该待插补像素的该前一场或该后一场相同位置的像素其中之一为该静止补偿像素。

4.如权利要求1所述的解交错影像处理装置，其特征在于，该移动检测模块比较该待插补像素的该前一场及该后一场相同位置的像素，以产生一移动指标。

5.一种具有移动补偿的解交错影像处理方法，该方法包含有：

至少依据一待插补像素的一所在场、一前一场及一后一场，产生一移动补偿像素；

依据该待插补像素的该前一场及该后一场，产生一静止补偿像素；

依据该待插补像素的相关像素，产生一移动指标；以及

依据该移动指标，对该移动补偿像素及该静止补偿像素进行加权平均计算，产生该待插补像素。

6.如权利要求5所述的解交错影像处理方法，其特征在于，该产生该移动补偿像素的步骤还包含：

依据该待插补像素的该前一场及该后一场，产生一时间插补像素及一时间移动向量质量指标；

依据该待插补像素的场，产生一空间插补像素及一锯齿指标；以及

依据该时间插补像素、该空间插补像素、该时间移动向量质量指标以及该锯齿指标，产生该移动补偿像素。

7.如权利要求5所述的解交错影像处理方法，其特征在于，该产生该静止补偿像素的步骤还包含选择该待插补像素的该前一场或该后一场相同位置的像素其中之一为该静止补偿像素。

8.如权利要求5所述的解交错影像处理方法，其特征在于，该产生该待插补像素的步骤还包含比较该待插补像素的该前一场及该后一场相同位置的像素，以产生一移动指标。

Images