CN101184226A - 一种插入视频关键帧的方法及装置 - Google Patents

Abstract

本发明公开了一种插入视频关键帧的方法及装置，用以解决现有技术无法兼顾视频传输效率及视频流畅度的问题。本发明方法包括：发送端实时检测相邻两帧视频图像的变化度；当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。本发明发送端包括：视频输入模块，用于获取视频帧图像；视频编码模块，用于将所述视频输入模块获取的视频帧图像进行编码；视频发送模块，用于发送经视频编码模块编码后输出的视频流；所述发送端还包括：关键帧插入模块，用于从视频输入模块中实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，指示视频编码模块将当前帧编码为关键帧。本发明可兼顾视频传输效率及视频流畅度。

Description

一种插入视频关键帧的方法及装置

技术领域

本发明涉及互联网及通信领域，特别是涉及一种插入视频关键帧的方法及装置。

背景技术

随着互联网的迅猛发展以及多媒体技术的日益成熟，视频通信的市场应用越来越广泛，实现视频通信的方式也变得多种多样，如可视电话、即时通信、视频聊天、网络电视、IPTV以及远程监控、远程医疗等。视频通信发展的广阔前景使其成为继话音通信之后又一重要的通信形式。

实现视频通信的基础是高效的视频压缩算法。目前主流的视频压缩标准有MPEG4、H264等。在这些压缩技术中，编码图像一般分为三种类型：内帧(I)、帧间帧(P)和双向帧(B)。内帧利用了空间相关性，采用与JPEG类似的方式对静止的图像进行编码。帧间帧利用了时间相关性，使用前面的帧作为参考帧进行预测。双向帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将产生残差数据，对残差数据进行DCT变换和量化，输出编码码流即完成视频压缩过程。其中内帧又被称为关键帧，关键帧可以被独立解码，不需要参考其他帧的信息。因此在视频接入时起始帧必须是关键帧，此外，为了防止在视频通信的过程中因为网络丢包而造成中断，必须在连续的视频流中间隔插入关键帧，从而能够在丢包后恢复视频传输。

但关键帧的编码特性决定了其压缩比较低，输出码流较大，因此频繁地插入关键帧将占用更多的网络带宽，特别对于网络电视这类基于组播的流媒体应用，为了保证用户能够较快的接入，必须以较短的时间间隔插入关键帧，但由于其视频内容本身变化就比较大，再频繁地以内帧方式编码将造成网络流量增大，降低视频传输的效率。因此必须使用自适应的关键帧插入方法，一方面确保视频接入和传输顺利进行，另一方面在同等视频质量条件下尽可能降低网络流量。

现有技术一般都采用以固定时间间隔插入关键帧的方法，例如微软的流媒体服务一般都以8秒为间隔插入关键帧。此外也有一些一对一的视频通信业务(例如视频聊天)，采用以较长的时间间隔插入关键帧，当在丢包时向对端请求立即发送关键帧。

以上述固定时间间隔插入关键帧的方法将造成网络流量增加，降低视频传输的效率。而请求关键帧的方法无法用于一对多的视频通信业务，而且在网络状况较差时，请求关键帧的延时可能很长，造成视频通信长时间中断。

发明内容

本发明提供一种插入视频关键帧的方法及装置，用以解决现有技术无法兼顾视频传输效率及视频流畅度的问题。

本发明方法包括下列步骤：发送端实时检测相邻两帧视频图像的变化度；当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。

进一步，所述检测相邻两帧视频图像的变化度，包括下列步骤：将当前帧及其上一帧视频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。

又进一步，当所述统计出的数量大于第一阈值时，将当前帧编码为关键帧，并插入视频流中。

更进一步，若所述统计出的数量大于第一阈值，则所述检测相邻两帧视频图像的变化度还包括下列步骤：分别计算当前帧及其上一帧视频图像在Y分量上的直方图；计算所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度；之后，发送端将所述差值与第二阈值进行比较，当所述差值大于第二阈值时，将当前帧编码为关键帧，并插入视频流中。

综上所述，当检测到在第二预设值设定的帧数内未插入过关键帧时，则在视频流中强制插入关键帧。

本发明的视频传输发送端，包括：

视频输入模块，用于获取视频帧图像；

视频编码模块，用于将所述视频输入模块获取的视频帧图像进行编码；

视频发送模块，用于发送经视频编码模块编码后输出的视频流；

关键帧插入模块，用于从视频输入模块中实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，指示视频编码模块将当前帧编码为关键帧。

其中，所述关键帧插入模块进一步包括：第一级量度模块，用于将当前帧及其上一帧视频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。

进一步，所述关键帧插入模块进一步包括：第二级量度模块，当所述第一级量度模块统计出的数量大于第一阈值时，所述第二级量度模块分别计算当前帧及其上一帧视频图像在Y分量上的直方图；以及所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度。

综上所述，所述发送端还包括：用于从所述视频编码模块中获取信息的关键帧强制插入模块，当检测到在第二预设值设定的帧数内未插入过关键帧时，指示视频编码模块将当前帧编码为关键帧。

本发明有益效果如下：

本发明不像现有技术那样，以固定时间间隔插入关键帧，或者在一对一视频通信业务中当接收方丢包后向发送方请求发送关键帧；而是实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，将当前帧编码为关键帧并插入视频流中。从而实现了根据相邻视频帧的相关性来自适应地插入关键帧。本发明中相邻帧的相关性越小，插入关键帧对传输效率的影响就越小。

进一步，本发明提出的二级量度可以准确地判断帧间的相关性(即变化度)，因此能够在保障视频接入和传输流畅进行的同时，减少因为以固定时间间隔插入关键帧而造成的额外编码开销。

附图说明

图1为本发明方法步骤流程图；

图2为本发明的视频传输发送端结构示意图。

具体实施方式

为了兼顾视频传输效率及视频流畅度，本发明考虑到在编码技术中，关键帧(I帧)的编码只利用帧内的相关性，而P帧的编码将同时利用帧内和帧间的相关性，因此对于内容连续的视频帧，P帧的压缩效率将远高于I帧，因此视频流中I帧过多，网络流量就会大大升高。但对于相邻的两个内容变化剧烈的视频帧而言，由于它们的帧间相关性小，所以I帧和P帧的压缩比将相差无几。因此在关键帧插入时，如果考虑视频流内容的变化，将视频内容发生剧烈变化(如大运动、场景变换)的视频帧编码为关键帧，就可以在不影响视频流压缩效率的前提下，保障在网络丢包时视频传输顺利进行。

根据上述理论，本发明提供了一种插入视频关键帧的方法，参见图1所示，包括下列主要步骤：

S1、发送端获取视频图像数据。

发送端从视频源(如摄像头、视频文件等)获取视频图像数据。

S2、发送端实时检测相邻两帧视频图像的变化度。

第一级量度基于图像局部的变化。首先，将当前帧及其上一帧视频图像分别等分成二维宏块(宏块为N×N象素)；其次，在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；最后，统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。

基于上述第一级量度结果，若统计出的大于第一预设值的绝对误差和SAD的数量大于第一阈值，则进一步为了达到更好的效果，还可进行基于图像全局变化的第二级量度。首先，分别计算当前帧及其上一帧视频图像在Y分量上的直方图；其次，计算所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度。

S3、当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。

对应第一级量度统计出的大于第一预设值的绝对误差和SAD的数量，若该数量大于第一阈值(例如：该数量占到选定宏块数量的一半以上)，则判定当前帧与其上一帧视频图像的变化度较大，将当前帧编码为关键帧，并插入视频流中。

进一步，对应第二级量度计算出的直方图差值，若所述差值大于第二阈值，则判定当前帧与其上一帧视频图像的变化度较大，将当前帧编码为关键帧，并插入视频流中。经过上述两级量度所判定的关键帧，相对于只经过第一级量度所判定的关键帧更为准确，视频效果更好。

又进一步，为了使关键帧插入策略更加完善，还需考虑视频内容长时间变化较小的情况。当检测到在第二预设值设定的帧数内未插入过关键帧时，则在视频流中强制插入关键帧。

为了支撑本发明方法，本发明还提供了一种视频传输发送端，参见图2所示，其包括：依次相连的视频输入模块1、视频编码模块2和视频发送模块3，以及与所述视频输入模块1和视频编码模块2分别相连的关键帧插入模块4；进一步，还包括：与所述视频编码模块2相连的关键帧强制插入模块5。所述关键帧插入模块4中进一步包括第一级量度模块41，以及与所述第一级量度模块41相连的第二级量度模块42。

所述视频输入模块1，用于获取视频帧图像。

所述关键帧插入模块4，用于从视频输入模块1中实时检测相邻两帧视频图像的变化度，并当所述变化度大于预设的阈值时，指示视频编码模块2将当前帧编码为关键帧。所述第一级量度模块41，用于将当前帧及其上一帧视频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。所述第二级量度模块42，当第一级量度模块41统计出的数量大于第一阈值时，用于分别计算当前帧及其上一帧视频图像在Y分量上的直方图；以及所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度。

所述视频编码模块2，用于将所述视频输入模块1获取的视频帧图像进行编码(编码为关键帧或帧间帧)。

所述关键帧强制插入模块5，用于从视频编码模块2中获取信息，当检测到在第二预设值设定的帧数内未插入过关键帧时，指示视频编码模块2将当前帧编码为关键帧。

所述视频发送模块3，用于发送经视频编码模块2编码后输出的视频流。

以下结合上述方法及视频传输发送端，通过一个实例具体描述本发明。

L1、发送端利用视频输入模块1从视频源(如摄像头、视频文件等)不断获取视频图像数据。

L2、发送端对视频图像数据进行编码。

发送端利用关键帧插入模块4从所述视频输入模块1中实时检测相邻两帧视频图像的变化度，并指示视频编码模块2相应对当前帧编码。

第一步，基于图像局部的变化进行第一级量度。首先，利用第一级量度模块41将当前帧及其上一帧视频图像分别等分成二维宏块(宏块为N×N象素，一般取N＝6)。其次，假定每个宏块内的象素都作相等的平移运动，那么采用编码技术中常用的大小菱形搜索方法，当前帧的N×N宏块将在上一帧对应的宏块邻域窗口内搜索到与之最优匹配的宏块，所述最优匹配块即为与当前宏块的绝对误差和(SAD)最小的宏块。为加快搜索速度，可只在当前帧的每一个宏块行随机选择一个宏块进行搜索。确定每一个选定宏块的最优匹配宏块的同时，保存相应的SAD值。最后，所有选定宏块完成匹配后，统计其中SAD值大于某个预设值(即第一预设值，例如：第一预设值＝2500)的数量。如果该数量超过选定宏块数量的一半(即第一阈值)，则进入第二级量度的判断；如果该数量未超过选定宏块数量的一半(即第一阈值)，则视频编码模块2将当前帧编码为帧间帧。

第二步，由于第一级量度基于局部块的运动信息，所以对局部的变化比较敏感。为了更加精确的判定相邻两帧的帧间相关性，进一步基于图像的全局变化进行第二级量度。首先，第二级量度模块42分别计算当前帧及其上一帧视频图像在Y分量上的直方图H_Curr和H_Prev。其次，通过公式(1)，计算所述两个直方图的差值。

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|---\left(1\right)$

如果Diff大于阈值T(即第二阈值，例如：T＝0.4×图像高度×图像宽度)，则确认当前帧与上一帧的相关性很小，此时通过视频编码模块2将当前帧编码为关键帧与将当前帧编码为帧间帧相比，压缩效率基本相当，因此可在这些前后相关性较小的视频帧位置上插入关键帧，从而避免以固定时间间隔插入关键帧造成额外的编码开销；如果Diff小于等于阈值T，则视频编码模块2将当前帧编码为帧间帧。为了防止直方图对亮度变化过于敏感，还可将灰度级从256降为64，即定义0～3、4～7、……之间是同一亮度。

除了通过检测视频内容变化来自适应插入关键帧之外，为了使关键帧插入策略更加完善，还需考虑视频内容长时间变化较小的情况。所以关键帧强制插入模块5从视频编码模块2中获取信息，当检测到在第二预设值设定的帧数(该帧数通常较大，例如：300帧)内未插入过关键帧时，指示视频编码模块2将当前帧编码为关键帧。

L3、发送端通过视频发送模块3将视频编码模块2编码后的视频流，向接收端连续发送。

L4、按照现有技术，接收端接收到传来的视频流数据后，首先判断视频流流是否连续，即上一帧数据是否丢失，如果丢失，则等到当前收到的视频帧为关键帧时才进行解码。解码后，对视频图像继续进行显示。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种插入视频关键帧的方法，其特征在于，包括下列步骤：

发送端实时检测相邻两帧视频图像的变化度；

当所述变化度大于预设的阈值时，将当前帧编码为关键帧，并插入视频流中。

2.如权利要求1所述的插入视频关键帧的方法，其特征在于，所述检测相邻两帧视频图像的变化度，包括下列步骤：

-将当前帧及其上一帧视频图像分别等分成二维宏块；

-在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；

-统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。

3.如权利要求2所述的插入视频关键帧的方法，其特征在于，当所述统计出的数量大于第一阈值时，将当前帧编码为关键帧，并插入视频流中。

4.如权利要求3所述的插入视频关键帧的方法，其特征在于，若所述统计出的数量大于第一阈值，则所述检测相邻两帧视频图像的变化度还包括下列步骤：

-分别计算当前帧及其上一帧视频图像在Y分量上的直方图；

-计算所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度；

之后，发送端将所述差值与第二阈值进行比较，当所述差值大于第二阈值时，将当前帧编码为关键帧，并插入视频流中。

5.如权利要求1至4任一项所述的插入视频关键帧的方法，其特征在于，当检测到在第二预设值设定的帧数内未插入过关键帧时，则在视频流中强制插入关键帧。

6.一种视频传输发送端，包括：

视频输入模块，用于获取视频帧图像；

视频编码模块，用于将所述视频输入模块获取的视频帧图像进行编码；

视频发送模块，用于发送经视频编码模块编码后输出的视频流；

其特征在于，所述发送端还包括：

关键帧插入模块，用于从视频输入模块中实时检测相邻两帧视频图像的变化度，当所述变化度大于预设的阈值时，指示视频编码模块将当前帧编码为关键帧。

7.如权利要求6所述的视频传输发送端，其特征在于，所述关键帧插入模块进一步包括：

第一级量度模块，用于将当前帧及其上一帧视频图像分别等分成二维宏块；在当前帧中选定宏块，并分别搜索各个选定宏块在所述上一帧中的最优匹配宏块，同时记录每一最优匹配宏块与对应选定宏块的绝对误差和SAD；统计大于第一预设值的绝对误差和SAD的数量，并以该数量作为相邻两帧视频图像的变化度。

8.如权利要求7所述的视频传输发送端，其特征在于，所述关键帧插入模块进一步包括：

第二级量度模块，当所述第一级量度模块统计出的数量大于第一阈值时，所述第二级量度模块分别计算当前帧及其上一帧视频图像在Y分量上的直方图；以及所述两个直方图的差值，并以所述差值作为相邻两帧视频图像的变化度。

9.如权利要求6至8任一项所述的视频传输发送端，其特征在于，所述发送端还包括：

用于从所述视频编码模块中获取信息的关键帧强制插入模块，当检测到在第二预设值设定的帧数内未插入过关键帧时，指示视频编码模块将当前帧编码为关键帧。

Images