CN101840422A - 基于目标特征和报警行为的智能视频检索系统和方法 - Google Patents

Abstract

基于目标特征和报警行为的智能视频检索系统和方法涉及一种智能视频检索系统和方法，包括：轨迹跟踪模块：提取输入视频中目标的运动轨迹和报警行为；特征提取模块：提取输入图像的特征，包括颜色、纹理、形状和类别；特征存储模块：把运动轨迹、报警行为、目标特征和视频相关信息存入特征数据库；搜索引擎模块：解析用户输入的检索条件，从数据库中进行基于特征和行为的视频检索，返回满足条件的视频片段；检索终端：即客户端软件，接收用户输入的检索条件，检索后显示检索结果。与现有技术相比，使用本检索系统，用户可以非常精确地定制检索条件，可以作基于目标特征和基于报警行为的视频检索；对实时分析所产生的特征可以非常快速的得到检索结果。

Description

基于目标特征和报警行为的智能视频检索系统和方法

技术领域

本发明涉及一种智能视频检索系统和方法，尤其涉及一种综合利用视频中的目标特征和报警行为的智能视频检索系统和方法。

背景技术

视频监控系统存储了海量的视频数据，在目前的视频监控管理平台中，一般是基于摄像机安装位置或IP地址并结合时间，对这些视频进行查询和回放。但对于一些特定应用，传统的查询方式无能为力，比如刑侦时查找，并不知道摄像机安装位置和具体拍摄时间，而只是知道嫌疑犯的一些特征；又比如一辆车被盗，要从几天的视频中定位其被盗时间；又比如想快速浏览进出某个大门的人和车辆。随着“平安城市”等大型安防监控系统的建设，对海量视频的维护量也越来越大，对快速智能检索的需求越来越强烈。

当前出现了很多智能视频分析器产品，在监控系统中做行为分析和实时报警，但还没有专门针对历史视频对指定的报警行为作视频检索；当前也有一些基于内容(即各种图像特征)的视频检索产品，对电影或者新闻镜头进行分析检索。这些产品和学术研究为实现监控系统的海量视频的综合智能检索提供了技术条件。

发明内容

技术问题：本发明所要解决的技术问题是：克服现有的视频检索方式的不足，提供一种综合利用目标特征和报警行为的智能视频检索系统和方法。

技术方案：本发明的基于目标特征和报警行为的智能视频检索系统为综合利用视频中运动目标的特征及产生的报警行为的智能视频检索系统，其包括：

轨迹跟踪模块：提取输入视频中目标的运动轨迹和报警行为；

特征提取模块：提取输入图像的特征，包括颜色、纹理、形状和类别；

特征存储模块：把运动轨迹、报警行为、目标特征和视频相关信息存入特征数据库；

搜索引擎模块：解析用户输入的检索条件，从数据库中进行基于特征和行为的视频检索，返回满足条件的视频片段；

检索终端：即客户端软件，接收用户输入的检索条件，检索后显示检索结果。

所述的特征存储模块，运动轨迹信息包括每隔一定时间的目标的尺寸、速度、方向和轨迹的图像坐标及所在帧序号；报警行为信息包括行为类型及是否发生；目标特征包括颜色、纹理、形状，均以整数向量表示；目标类别为人、车辆、动物或其它，用对应英文表示；以上信息存储到XML文件或直接存于数据库。

所述的搜索引擎模块包括以下功能：

1).根据用户选择的文字描述的特征组合在特征数据库进行比对查找，返回匹配记录；

2).根据用户选择的图像或视频截图，提取特征向量，即提取输入查询图像中的颜色，纹理，及形状特征向量，在特征数据库中逐一计算向量间距离并加权排序；

3).根据用户选择的报警类型及对应的规则，与特征数据库中的轨迹逐一进行匹配计算，提取出满足规则的轨迹作为报警行为；

4).结合步骤1)、步骤2)和步骤3)中得到的结果进行综合加权和排序。

所述的检索终端，用户从中输入检索条件，包括：拍摄地点、拍摄时间、目标特征、类型、报警行为类型及其准则，条件为其中之一或其组合，并可指定各种特征的权重。其中的目标特征的输入有以下方式；(1)文字描述的特征，(2)用户草图描述的特征，(3)样例图像或视频作为目标特征。

基于目标特征和报警行为的智能视频检索方法包括以下步骤：

1).监控系统运行的同时，做轨迹跟踪模块和特征提取，把实时的目标轨迹、报警行为和目标特征存入特征数据库；

2).用户从检索终端输入检索条件，目标特征为文字描述，由搜索引擎返回检索结果，显示在检索终端。

6.如权利要求5所述的基于目标特征和报警行为的智能视频检索方法，其特征在于，还可以按照以下步骤进行：

1).用户从检索终端输入检索条件，输入一幅参考图像或视频的截屏图像，把模板图像作为目标特征，根据需要输入报警行为规则；

2).用户从检索终端指定一个或多个视频文件，分析这些视频文件，做轨迹跟踪和特征提取，把得到的目标轨迹、报警行为和目标特征存入特征数据库；

3).用户从检索终端输入检索条件，搜索引擎返回检索结果显示在检索终端。

有益效果：本检索系统采用先进的目标跟踪算法、特征提取算法、先进的数据库结构和用户接口；与现有技术相比，使用本检索系统，用户可以非常精确地定制检索条件，可以作基于目标特征和基于报警行为的视频检索；对实时分析所产生的特征可以非常快速的得到检索结果，并且系统记录了目标的运动轨迹，因此可以根据轨迹与保健规则的匹配快速检测多类报警行为；特征数据库的存储成本很低。

附图说明

图1为本发明的系统框图。

图2为本发明实施例一的流程图。

图3为本发明实施例二的流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细描述：

(1)轨迹跟踪模块，分析输入视频，提取目标的运动轨迹，若定义了行为报警规则，则当运动轨迹触发该行为规则时会产生报警行为。

(2)特征提取模块，分析输入图像，提取图像的全部或从步骤(1)得到的目标区域的特征，包括颜色、纹理、形状和类别。

(3)特征存储模块，把轨迹跟踪模块提取的运动轨迹和报警行为，以及特征提取模块提取的目标的颜色、形状和纹理特征、，连同摄像机地点和拍摄时间，存入特征数据库，可以用XML文件的形式存储，也可直接存入数据库。

(4)搜索引擎模块，解析用户输入的检索条件，从数据库中进行基于特征和行为的视频检索，返回满足条件的视频片段，按相似度排序。其中相似度的计算，对于文字描述的特征，值为1(匹配)或0(不匹配)，对于样例图像特征，值为归一化的向量间的欧氏距离，目标行为则根据目标运动轨迹和定义的规则的相交判断，值为1或0，最后把所有的相似度按权值加权求和。

(5)检索终端，即客户端软件，接收用户输入的检索条件，检索后显示检索结果。

上述(5)检索终端，用户从中输入检索条件，包括：拍摄地点、拍摄时间、目标特征(颜色、形状、纹理)、目标类型(人、车辆)、报警行为类型(越线、越区、逆行、物体遗留、指定物体出现、指定物体消失)及其准则(拌线、区域)，条件为其中之一或其组合，并可指定各种特征的权重。

其中的目标特征的输入有以下方式；

(1)文字描述的特征，如选择了颜色特征，则需指定为以下颜色之一：红、绿、蓝、黄、青、黑、白、银灰等；如选择形状特征，则需指定为以下形状之一：正方形、矩形、三角形、圆形等。

(2)用户草图描述的特征，比如，从调色板选择一种颜色、草图勾画一个多边形轮廓、草图画一张纹理图案。

(3)输入模板图像，打开样例图像或视频，由检索系统提取图像或者视频截图的颜色、形状、纹理特征作为隐式目标特征。

检索终端调用搜索引擎，得到检索结果，以缩略图形式显示，并显示所在视频的相关信息，包括拍摄地点、拍摄时间、所处帧号、相似度打分等，双击每个缩略图可播放对应视频中对应帧号前后的视频片段。

综合利用视频中运动目标的特征及产生的报警行为的智能视频检索方法，包括以下步骤：

(1)对视频做轨迹跟踪，得到每个运动目标的运动轨迹，若定义了报警规则则判断是否触发了报警；

(2)对运动目标区域做特征提取，得到目标的颜色、纹理和形状特征；

(3)把运动目标的轨迹、报警、特征信息存入数据库；

(4)根据输入条件从数据库查询满足要求的目标和报警行为。

步骤(1)轨迹跟踪所用的目标跟踪算法和行为分析算法：

(1)运动轨迹：采用基于Harris角点提取、SIFT特征匹配、跟踪后聚类的方法得到，或者基于高斯背景模型、提取背景差分后提取轮廓并跟踪得到，跟踪算法可以根据时间需要跳帧执行，每0.5秒记录一次目标的尺寸、速度、方向和轨迹的图像坐标、对应的帧序号等信息。

(2)行为分析：以目标跟踪得到的运动轨迹为基础，根据运动轨迹和设定准则的相交来判断：如轨迹与绊线相交则发生越线行为、轨迹与区域相交则发生越区行为、运动方向与指定方向相反则发生逆行行为、若轨迹长期停留在一处则为物体遗留；指定物体出现和指定物体消失，需根据物体特征比对(Harris角点匹配，或SIFT特征匹配，或模板匹配)来判断。

步骤(2)特征提取所用的算法：

(1)颜色特征：视频帧或图像解码为彩色位图，并从RGB(红、绿、蓝)颜色空间转换到HSV(色度、饱和度、亮度)颜色空间，建立直方图作为特征向量。

(2)形状特征：采用MPEG-7标准中的边缘直方图描述符(Edge HistogramDescriptor)实现作为特征向量。

(3)纹理特征：采用MPEG-7标准中的曲率尺度空间(Curvature Scale Space)或局部二进制模式(Local Binary Pattern)作为特征向量。

(4)目标类别：根据目标的形状特征、宽高比、纹理特征进行归类为人、车辆、动物或其它；也可根据事先用梯度直方图(Histogram of Gradient)特征训练的模型来进行学习识别。

指定特征描述和报警行为规则，在监控系统录制的视频中进行检索，本发明所述的智能检索方法，包括以下步骤：

(1)监控系统运行的同时，做轨迹跟踪模块和特征提取，把实时的目标轨迹、报警行为和目标特征存入特征数据库。

(2)用户从检索终端输入检索条件，目标特征为文字描述，由搜索引擎返回检索结果，显示在检索终端。

若通过输入样例图像隐式指定目标特征，或只在指定视频文件中进行检索，本发明还可以下步骤进行：

(1)用户从检索终端输入检索条件，输入一幅参考图像或视频的截屏图像，把模板图像作为目标特征，根据需要输入报警行为规则。

(2)用户从检索终端指定一个或多个视频文件，分析这些视频文件，做轨迹跟踪和特征提取，把得到的目标轨迹、报警行为和目标特征存入特征数据库。

(3)用户从检索终端输入检索条件，搜索引擎返回检索结果显示在检索终端。

图1是本发明的系统框图，以特征数据库为中心，视频流通过轨迹跟踪模块把目标轨迹和报警信息送入特征存储模块、同时把目标区域送入特征提取模块，得到的目标特征也送入特征存储模块，这些信息汇总存于特征数据库；用户通过检索终端(客户端软件)输入查询条件，检索终端自动调用搜索引擎模块向特征数据库查询，查询结果通过搜索引擎模块返回给检索终端显示。

其中查询条件包括但不限于：目标特征描述(颜色、形状、纹理)、样例图像或样例视频的截屏作为模板(由系统自动提取其颜色、形状、纹理、类别特征)、拍摄时间、拍摄地点、报警行为类型(越线、越区、逆行、物体遗留、指定物体出现、指定物体消失)及对应的行为规则(直线或区域)、限定检索范围为一个或多个视频文件等，以上检索条件可任意组合，并指定各自的权重。

特征数据库的生成可由摄像机拍摄时在线生成，也可从用户临时指定的视频中生成，都是通过调用轨迹跟踪模块、特征提取模块和特征存储模块得到。

检索终端软件在界面上包含有：目标特征类别及各自的特征描述列表，拍摄时间列表、拍摄地点列表、报警行为列表、画直线和画区域工具、选择样例图像并显示、选择样例视频、播放和截屏、指定在其中做检索的一个或多个视频文件、缩略图显示检索结果、双击可播放对应的视频片段等用户接口。

实施例一

本发明实施例一流程图如图2所示，用户在监控系统的视频中检索满足条件的视频片段，检索按以下步骤进行：

(1)监控系统平时运行时，摄像机的视频源做轨迹跟踪和特征提取，并把提取的目标轨迹、报警行为和目标特征存入了特征数据库。

(2)用户从检索终端输入检索条件，主要是各类特征描述和报警规则。比如检索穿越某条警戒线的红色汽车，则目标特征设定为红色，目标类别为汽车，报警行为为越线，并画直线作为拌线规则。如果不设报警规则，则为检索所有的红色汽车；如果不设目标特征，只有报警规则，则为检索任意运动目标越过警戒线的所有报警行为。

(3)检索终端调用搜索引擎得到检索结果，以缩略图形式显示，并显示所在视频的相关信息，包括拍摄地点、拍摄时间、所处帧号、相似度打分等，双击缩略图可播放对应视频中对应帧号前后的视频片段。

实施例二

本发明实施例二流程图如图2所示，监控系统没有运行，或监控系统没有做轨迹跟踪和特征提取，或者用户不关心监控系统的视频数据，总之是没有用户需要的特征数据库。用户在指定的视频中检索与指定图像相似的视频片段，检索按以下步骤进行：

(1)用户从检索终端输入检索条件，此时的目标特征不是根据描述，而是打开一幅图像作为模板，或者打开一个视频播放到某帧时作截屏，在模板图像或者截屏图像设定感兴趣区域，此区域图像成为目标模板；检索终端会自动做特征提取以得到目标特征向量，用户还可设定所关心的特征类型以及报警规则，这些条件都会自动送入搜索引擎。比如检索与指定模板图像的形状相似的目标越过该区域的报警行为，设定特征类型为形状，报警行为为越区，并画一个多边形区域。如果不设报警规则，则为检索所有与模板图像的形状特征相似的运动目标；如果不设特征类型，只有报警规则，则为检索与模板图像的整体特征相似的目标越过该区域的所有报警行为。

(2)用户通过检索终端指定在某些视频文件中进行检索，此时检索终端会自动做轨迹跟踪和特征提取，对这些视频进行分析，并把提取的目标轨迹、报警行为和目标特征存入特征数据库，这一步的执行时间与视频内容的多少有关。

(3)用户通过检索终端开始检索时，由搜索引擎得到检索结果，反映在检索终端的界面上。

本发明还可以有其它实施方法，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。

Claims (6)

1.一种基于目标特征和报警行为的智能视频检索系统，其特征在于，包括：

轨迹跟踪模块：提取输入视频中目标的运动轨迹和报警行为；

特征提取模块：提取输入图像的特征，包括颜色、纹理、形状和类别；

特征存储模块：把运动轨迹、报警行为、目标特征和视频相关信息存入特征数据库；

搜索引擎模块：解析用户输入的检索条件，从数据库中进行基于特征和行为的视频检索，返回满足条件的视频片段；

检索终端：即客户端软件，接收用户输入的检索条件，检索后显示检索结果。

2.如权利要求1所述的基于目标特征和报警行为的智能视频检索系统，其特征在于：所述的特征存储模块，运动轨迹信息包括每隔一定时间的目标的尺寸、速度、方向和轨迹的图像坐标及所在帧序号；报警行为信息包括行为类型及是否发生；目标特征包括颜色、纹理、形状，均以整数向量表示；目标类别为人、车辆、动物或其它，用对应英文表示；以上信息存储到XML文件或直接存于数据库。

3.如权利要求1所述的基于目标特征和报警行为的智能视频检索系统，其特征在于：所述的搜索引擎模块包括以下功能：

1).根据用户选择的文字描述的特征组合在特征数据库进行比对查找，返回匹配记录；

2).根据用户选择的图像或视频截图，提取特征向量，即提取输入查询图像中的颜色，纹理，及形状特征向量，在特征数据库中逐一计算向量间距离并加权排序；

3).根据用户选择的报警类型及对应的规则，与特征数据库中的轨迹逐一进行匹配计算，提取出满足规则的轨迹作为报警行为；

4).结合步骤1)、步骤2)和步骤3)中得到的结果进行综合加权和排序。

4.如权利要求1所述的基于目标特征和报警行为的智能视频检索系统，其特征在于：所述的检索终端，用户从中输入检索条件，包括：拍摄地点、拍摄时间、目标特征、类型、报警行为类型及其准则，条件为其中之一或其组合，并可指定各种特征的权重。其中的目标特征的输入有以下方式；(1)文字描述的特征，(2)用户草图描述的特征，(3)样例图像或视频作为目标特征。

5.一种基于目标特征和报警行为的智能视频检索方法，其特征在于，该方法包括以下步骤：

1).监控系统运行的同时，做轨迹跟踪模块和特征提取，把实时的目标轨迹、报警行为和目标特征存入特征数据库；

2).用户从检索终端输入检索条件，目标特征为文字描述，由搜索引擎返回检索结果，显示在检索终端。

6.如权利要求5所述的基于目标特征和报警行为的智能视频检索方法，其特征在于，还可以按照以下步骤进行：

1).用户从检索终端输入检索条件，输入一幅参考图像或视频的截屏图像，把模板图像作为目标特征，根据需要输入报警行为规则；

2).用户从检索终端指定一个或多个视频文件，分析这些视频文件，做轨迹跟踪和特征提取，把得到的目标轨迹、报警行为和目标特征存入特征数据库；

3).用户从检索终端输入检索条件，搜索引擎返回检索结果显示在检索终端。

Images