Nothing Special   »   [go: up one dir, main page]

CN111383204A - 视频图像融合方法、融合装置、全景监控系统及存储介质 - Google Patents

视频图像融合方法、融合装置、全景监控系统及存储介质 Download PDF

Info

Publication number
CN111383204A
CN111383204A CN201911317310.5A CN201911317310A CN111383204A CN 111383204 A CN111383204 A CN 111383204A CN 201911317310 A CN201911317310 A CN 201911317310A CN 111383204 A CN111383204 A CN 111383204A
Authority
CN
China
Prior art keywords
video image
point
points
image fusion
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911317310.5A
Other languages
English (en)
Inventor
陈姝媛
刘佳琪
艾夏
刘鑫
高路
刘向荣
孟刚
水涌涛
周岩
龚晓刚
金科
刘洪艳
赵巨岩
白锦良
秦鹏
江志烨
徐锋
李虎
曹阳
王上月
郭磊
王超
郑沛
张然
张昕雨
孙瑞祺
孙恒
徐子为
韩希锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Changzheng Aircraft Institute
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Changzheng Aircraft Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Aerospace Changzheng Aircraft Institute filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201911317310.5A priority Critical patent/CN111383204A/zh
Publication of CN111383204A publication Critical patent/CN111383204A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例中提供了一种视频图像融合方法、全景监控方法以及全景监控系统。采用本申请实施例中的视频图像融合方法包括以下步骤:检测尺度空间极值点,并以极值点作为特征点;对特征点进行精准定位,获得各特征点的位置和尺度;确定以各特征点为中心特定大小的区域内、固定位置的像素点对;逐一比较像素点对的灰度值,并根据灰度值的二值化比较结果生成描述符;将描述符输出到特征匹配函数得到融合图像,本申请进一步提高了全景融合画面质量,解决现有技术中没有新的视频图像融合方法来提高画面质量适应新的应用场景及使用需求的问题。

Description

视频图像融合方法、融合装置、全景监控系统及存储介质
技术领域
本申请属于计算机图像处理技术领域,具体地,涉及一种视频图像融合方 法、融合装置、全景监控系统及存储介质。
背景技术
随着电子信息科学技术的飞速发展,视频监控技术得到稳定提高和进步; 其中,视频监控系统已经在大型公共活动场得到广泛的应用。但是,传统视频 解决方案在短时间内只能反应局部某些变量信息,无法对全局变量信息进行及 时有效地把控,以致对偶发的事件不能及时发现和追踪。相对于单一视点监控 系统,全景视频监控系统可以提供更全面的信息,可以消除监控的盲区,从而 高效地实现对目标区域的有效监控。
然而,海量视频资源在传统的分镜头电视墙监控模式下,视频之间的空间 位置关系难以很好地表达,传统分镜头监控模式具有画面相互孤立、缺乏关联 性的应用局限。导致监控区域和监看目标在时空上产生非连续性;进而造成监 控人员通过若干个单个视频信息,难以从宏观上对监控区域的安全态势进行及 时、快速、有效地把控。
因此,以物联网技术为基础而产生的三维全景视频监控融合系统应运而生。 该监控系统的主要原理:将部署在不同地理位置的多路实时监控视频与监控区 域的三维模型进行配准融合,生成大范围三维全景动态监控画面,实现监控区 域整体态势信息的宏观掌控。三维全景视频监控系统大多融合了视频编码技术、 网络传输技术、数据库技术、流媒体技术和嵌入式技术等应用系统。可以与现 有的多媒体、控制和信息系统集成,实现数据和信息的共享。但是随着应用场 景和使用需求的增加,亟需新的视频图像融合方法实现更高质量画面的三维全 景视频监控。
发明内容
本发明提出了一种视频图像融合方法、融合装置、全景监控系统及存储介 质,旨在解决现有技术中没有新的视频图像融合方法来提高画面质量适应新的 应用场景及使用需求的问题。
根据本申请实施例的第一个方面,提供了一种视频图像融合方法,包括以 下步骤:
检测尺度空间极值点,并以极值点作为特征点;
对特征点进行精准定位,获得各特征点的位置和尺度;
确定以各特征点为中心特定大小的区域内、固定位置的像素点对;
逐一比较像素点对的灰度值,并根据灰度值的二值化比较结果生成描述符;
将描述符输出到特征匹配函数得到融合图像。
根据本申请实施例的第二个方面,提供了一种视频图像融合装置,具体包 括:
检测模块,用于检测尺度空间极值点,并以所述极值点作为特征点;
定位模块,用于对所述特征点进行精准定位,获得各所述特征点的位置和 尺度;
确定模块,用于确定以各特征点为中心特定大小的区域内、固定位置的像 素点对;
比较模块,用于逐一比较所述像素点对的灰度值,并根据所述灰度值的二 值化比较结果生成描述符;
输出模块,用于将所述描述符输出到特征匹配函数得到融合图像。
根据本申请实施例的第三个方面,提供了一种全景监控系统,具体包括:
前端视频采集单元,用于采集监控区域内视频信息;
根据以上所述的视频融合装置。
根据本申请实施例的第四个方面,提供了一种计算机可读存储介质,其上 存储有计算机程序;计算机程序被处理器执行以实现视频图像融合方法。
采用本申请实施例中的视频图像融合方法,通过Brief算法对现有视频图 像融合技术的Surf算法中对每个子区域进行哈尔小波响应计算得到描述符进 行了改进,本申请通过对像素点对灰度值的逐一比较并通过二值化生成描述符, 从而提高了计算速度,进一步提高了全景融合画面质量,解决现有技术中没有 新的视频图像融合方法来提高画面质量适应新的应用场景及使用需求的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分, 本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限 定。在附图中:
图1中示出了根据本申请实施例的全景视频监控系统模型图;
图2中示出了现有技术中基于Surf算法的视频图像融合方法的流程图;
图3中示出了根据本申请实施例的一种视频图像融合方法的步骤流程图;
图4中示出了根据本申请另一实施例的一种视频图像融合方法的流程图;
图5中示出了根据本申请实施例的一种视频图像融合装置的结构示意图;
图6中示出了根据本申请实施例的监控区域摄像头采集示意图;
图7中示出了根据本申请实施例的一种全景监控系统的结构示意图;
图8中示出了根据本申请实施例的一种全景监控系统的处理流程图。
具体实施方式
在实现本申请的过程中,发明人发现随着电子信息科学技术的飞速发展, 视频监控技术得到稳定提高和进步;其中,视频监控系统已经在大型公共活动 场得到广泛的应用。相对于单一视点监控系统,全景视频监控系统可以提供更 全面的信息,可以消除监控的盲区,从而高效地实现对目标区域的有效监控。 三维全景视频监控融合系统可以从宏观上对监控区域的安全态势进行及时、快 速、有效地把控。但是,随着应用场景和使用需求的增加,亟需新的视频图像 融合方法实现更高质量画面的三维全景视频监控。
针对上述问题,本申请实施例中提供了一种视频图像融合方法、融 合装置、全景监控系统及存储介质,视频图像融合方法通过Brief算法 对现有视频图像融合技术的Surf算法进行了改进,本申请通过对像素 点对灰度值的逐一比较并通过二值化生成描述符,从而,进一步提高了 全景融合画面质量,解决现有技术中没有新的视频图像融合方法来提高画面质量适应新的应用场景及使用需求的问题。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对 本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本 申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的 情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的全景视频监控系统模型图。
三维全景视频监控融合系统的主要原理是:将部署在不同地理位置的多路 实时监控视频与监控区域的三维模型进行配准融合,生成大范围三维全景动态 监控画面,实现监控区域整体态势信息的宏观掌控。主要使用物联网技术、虚 拟现实技术,将部署在不同地理位置的多路实时监控视频,与监控区域的三维 模型进行校正和配准,使用三维渲染技术,将实时监控视频动态映射到三维模 型中,从而生成大范围监控区域的三维全景监控画面。三维全景视频监控系统 能够实现不同类型和规格的监控视频接入,同时也可以接入其他传感器信息、 人员设备定位信息以及地理信息系统GIS信息等。它使用计算机视觉和三维渲 染技术,将监控区域实时视频、三维模型、各类传感器和定位信息等融合显示 在一个增强虚拟环境中,为系统用户提供了一个完整的、大区域的监控视图。
全景视频监控系统主要包括:前端视频采集设备,是由部署在不同地理位 置的多种不同型号监控摄像探头,采集监测区域视频信息并通过光纤通信设备 传回网络中心。图像处理单元,主要负责处理图像去噪、增强、裁剪、配准标 定、融合预处理等操作;调度单元,主要功能提供策略、特征以及监控视频的 存储设备,对系统运行状态如网络流量、服务器负载等进行监控,然后优化分 配和有效调度融合处理作业进行,并对融合视频源进行调度管理等操作;融合 处理单元提供人机交互功能,实现图像化界面功能操作,主要包括三维全景监 控视频的实时显示、融合策略库的维护、安全态势显示等,融合视频画面以 VGA或HDMI信号输出到大屏显示器。
其中,融合处理单元采用的视频图像融合技术就是将一组在时间和空间上 存在相关联的图像进行配准处理,融合成一幅包含这组图像序列信息的宽视野 的、完整的新图像。
视频图像配准的主要原理为:根据两幅具有重叠区域图像间重叠区域的匹 配特征点对的位置关系估计图像间的点变换关系,然后按变换关系进行拼接; 从而,将此两副图像采样到一副更大的空白图像中;采样过程中,对两幅图像 的交接边界处进行颜色平滑过渡,完成融合处理,形成一幅融合的包含副图像 信息的新图像。
视频图像拼接融合技术主要分为两种:
其中一种视频图像拼接融合技术:单摄像机采集的序列视频流,其一是将 运行摄像机的视频序列图像以最大25帧/s的速率进行解帧,对单针视频图像进 行预处理后,利用序列中图像间的相关性,对图像进行配准并进行图像拼接, 形成一个大视场范围的全景图。
另一种视频图像拼接融合技术:多路以某种相对位置固定安装的且相邻镜 头具有一定重叠场景的摄像头组同时采集的多路视频流。拼接流程采用对两两 相邻摄像机视频流的重叠区域进行加权融合拼接而成全景视频图像。
为减少同一物体在不同图像中其灰度均值出现的不同程序偏移的影响,在 进行图像拼接融合前,通常情况下需要进行图像预处理。图像预处理通常采用 边缘检测的方法提取图像的边缘,使图像的轮廓更为清晰,例如边缘提取算子 采用Sobel算子、Canny算子或高斯的拉普拉斯算子等。
图像的配准是图像融合的重要步骤,图像选取点在选取时,可选角点、纹 理特征点或其他突出点,特征点的特征选取可为亮度、颜色或者纹理结构等。 通过在匹配区域的匹配点的特征匹配,搜寻需要融合的两副图像的旋转、平移、 缩放等变换关系;从而对两幅图像重新定位,然后采用像素及图像融合加权法, 实现两幅图像重叠区域的融合处理。
通常采用渐入渐出的融合加权法对两幅图像重叠区域的每个像素值按距 离重叠区域边缘的远近进行加权,离边缘越近加权系数越小,计算每个拼接图 像重叠区域每个位置的像素值加权和配准到拼接图像(x,y)坐标点的像素值 F(x,y),在拼接图像的该像素位置赋予该新的加权像素值。
F(x,y)基本公式为:
Figure BDA0002326187350000061
其中,F1(X1,Y1)和F2(X2,Y2)是原两幅图像的配准对应点(X1,Y1)和(X2,Y2) 的像素值,
Figure BDA0002326187350000062
为加权系数,
Figure BDA0002326187350000063
上述融合算法提高了融合区域图像的信噪比,但降低了图像的对比度,当 目标检测与跟踪时,目标处于融合区域时,会对检测与跟踪的精度造成影响。
根据上述技术理解以及对现有视频监控系统以及图像拼接融合技术的需 求分析,本申请实施例的视频图像融合方法基于三维全景视频监控系统模型提 出的。本申请实施例的视频图像融合方法主要使用基于特定点检测的图像拼接 算法Surf(Speed UpFeatures)算法进行了改进,将相应监控区域视频影像融合 成一个全景视频影像。
图2中示出了现有技术中基于Surf算法的视频图像融合方法的流程图。
如图2所示,Surf算法是一种特征点检测算法,Surf算法的主要流程包括:
尺度空间极值点的检测:
Surf算法基于Hessian矩阵找到极值点作为特征点,同时在找极值点的过 程中采用了加速运算量的方法,因此Surf算法在一定程度上提高了运算速度。 对图像中特定点的Hessian矩阵定义如下:
Figure BDA0002326187350000071
其中,Lxx(x,y,σ)是高斯二阶偏导在该像素点处于图像的卷积。
Surf算法将此高斯二阶梯度模板用盒模型近似表示,即图像进行离散化且 进一步剪裁为9*9的方格,Hessian矩阵在检测图像的特征点时是通过计算图 像中所有像素的Hessian矩阵的行列式得到的。所以Hessian矩阵所得到的极 值点就是特征点。
特征点的精确定位:
在每个候选特征点上使用泰勒级数插值拟合方法用于确定特性点的位置 和尺度,而特征点的最后选取依赖其稳定程度。
选取特征点的主方向:
遍历所有特征点,Surf算法通过统计特征点区域内的哈尔小波特征选取计 算特征点的主方向。
遍历所有特征点,获取特征点最大尺度。
计算得到特征点的描述符:
首先以特征点为中心,建立以20S为边长的正方形领域,但建立的这个正 方形领域的方向要求与该特征点的主方向相同;然后将这个领域划分为4*4的 子区域,并在每个子区域内等间隔采样出25个采样像素。
然后对每个子区域内的每个像素点的水平和垂直与主方向的哈尔小波特 征值进行求解,每个区域内的哈尔小波特征为水平方向之和、水平方向模值之 和、垂直方向之和以及垂直方向模值之和;同时对每个像素点的哈尔响应值进 行加权处理,取方差为3.3S。最后每个子区域可用一个四维矢量表示,每个特 征点可以用一个16*4=64维向量表示,此64维特征向量即为该特征点的描述 符。
本申请实施例的视频图像融合方法在Surf算法基础上,基于Brief算法对 Surf算法进行改进。Brief算法是将特征点用二值化的位字符串形式描述,可以 更快地测量两个描述符的相似程度,通过按位进行异或位操作,结果中“1” 的数量越多,两个描述符的相似性越差。
具体对本申请实施例的视频图像融合方法进行描述如下。
图3中示出了根据本申请实施例的一种视频图像融合方法的步骤流程图。
如图3所示,本实施例的视频图像融合方法,具体包括以下步骤:
S101:检测尺度空间极值点,并以所述极值点作为特征点。
具体的,所述检测尺度空间极值点,具体包括:
对图像中的特定点通过Hessian矩阵定义得到特征点,所述Hessian矩阵 具体为:
Figure BDA0002326187350000081
其中,Lxx(x,y,σ)是高斯二阶偏导在该像素点处于图像的卷积。
S102:对所述特征点进行精准定位,获得各所述特征点的位置和尺度;
S103:确定以各特征点为中心特定大小的区域内、固定位置的像素点对。
优选地,以各特征点为中心特定大小的区域采用以特征点为中心特定半径 的圆形区域内。
优选地,以各特征点为中心特定大小的区域采用以特征点为中心特定长度 和宽度的矩形区域内。
S104:逐一比较所述像素点对的灰度值,并根据所述灰度值的二值化比较 结果生成描述符。
S105:将所述描述符输出到特征匹配函数得到融合图像。
具体的,步骤S103及S104为:
在获取到特征点序列后,以每个特征点为中心定义一个大小S*S的补丁区 域。
在所述区域内固定的位置选择nd个像素点对。
根据二值化公式对所述像素点对进行比较得到二值化比较结果,将所述二 值化比较结果串成二值位字符串形成所有特征点的描述符。
所述二值化公式为:
Figure BDA0002326187350000091
其中,I(Pi)和I(Qi)分别表示第i个像素点对的两个像素 Pi和Qi的灰度值。
根据公式取到若干字节数的二值化比较值后,把补丁区域内所有点对的比 较结果串成一个二值位字符串的形式,即形成该特征点的描述符B
所述描述符B公式具体为:
B=P0P1..Pnd
依序取得所有特征点的描述符,排列成描述符序列,用于后续的图像匹配。
图4中示出了另一种视频图像融合方法的流程图。
如图4所示,优选地,在S102步骤中所述获得各特征点的位置和尺度后 还包括:
遍历所有特征点,对各个特征点周边区域进行均值滤波计算获取特征点最 大尺度。
优选地,在S102步骤中在所述获得各特征点的位置和尺度后还包括:
遍历所有特征点,计算各特征点的方向。
优选地,本申请实施例的视频图像融合方法,还包括以下步骤:
S106:对所述融合图像进行运动检测生成多个目标的运动特征分析;
S107:根据运动特征分析提取特定目标;
S108:对所述特定目标进行追踪调整视频采集数据。
实施例2
图5中示出了根据本申请实施例的一种视频图像融合装置的结构示意图。
如图5所示,视频图像融合装置具体包括:
检测模块10,用于检测尺度空间极值点,并以所述极值点作为特征点;
定位模块20,用于对所述特征点进行精准定位,获得各所述特征点的位置 和尺度;
确定模块30,用于确定以各特征点为中心特定大小的区域内、固定位置的 像素点对;
比较模块40,用于逐一比较所述像素点对的灰度值,并根据所述灰度值的 二值化比较结果生成描述符;
输出模块50,用于将所述描述符输出到特征匹配函数得到融合图像。
优选地,所述确定模块包括:
定义单元,用于以每个特征点为中心定义一个大小S*S的补丁区域;
选择单元,用于在所述区域内固定的位置选择nd个像素点对。
优选地,所述比较模块包括:
比较单元,用于根据二值化公式对所述像素点对进行比较得到二值化比较 结果:
排列单元,用于将所述二值化比较结果串成二值位字符串形成所有特征点 的描述符。
优选地,本申请实施例的视频图像融合装置还包括:
运动检测模块,用于对所述融合图像进行运动检测生成多个目标的运动特 征分析;
目标提取模块,用于根据运动特征分析提取特定目标;
追踪模块,用于对所述特定目标进行追踪调整视频采集数据。
本申请实施例中,在前端视频采集设备使用具有不同IP地址的摄像探头, 通过网络连接至视频监控融合服务器,此模块将融合所生成的图像传输到控制 服务中心;控制服务中心进行运动检测、目标提取、目标追踪等图像处理,控 制服务中心还包括视频浏览软件,云台控制软件等模块。
图6中示出了根据本申请实施例的监控区域摄像头采集示意图。
如图6所示,采用六个摄像头作为摄像机组,摄像头1、摄像头2、摄像 头3、摄像头4、摄像头5及摄像头6的监控区域中,相邻的摄像头的两侧监 测辐射区域进行重叠产生交集。本申请相邻摄像机有重叠视觉区域,安装中, 尽量提高安装经度并使其位于同一水平面可提高匹配精度。
实施例3
图7中示出了根据本申请实施例的一种全景监控系统的结构示意图。
如图5所示,本实施例提供的一种全景监控系统400,具体包括:
前端视频采集单元401,用于采集监控区域内视频信息;
视频融合装置402,根据如上所提供的视频融合装置402。
图8中示出了根据本申请实施例的一种全景监控系统的处理流程图。
其中,采用N个摄像机监测采集视频信息,然后分别对每一路视频信息进 行视频源编码;然后将N个视频源编码数据汇总后进行视频图像融合;最后对 拼接融合后的图像进行运动检测,对每次检测生成的多个目标的运动特征分析, 在特定场景区域中的特定行为特征的目标作为跟踪对象;根据目标在拼接图像 中的方位、俯仰位置,控制中心发送云台控制命令,调整云台旋转的方位、俯 仰角度,使目标位于云台摄像机的视场中心,并调整镜头的焦距、光圈等参数, 使目标成像清晰,便于系统扩展后的目标识别。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计 算机程序被处理器执行以实现如上任一内容所提供的视频图像融合方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计 算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基 本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要 求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申 请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及 其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种视频图像融合方法,其特征在于,包括以下步骤:
检测尺度空间极值点,并以所述极值点作为特征点;
对所述特征点进行精准定位,获得各所述特征点的位置和尺度;
确定以各特征点为中心特定大小的区域内、固定位置的像素点对;
逐一比较所述像素点对的灰度值,并根据所述灰度值的二值化比较结果生成描述符;
将所述描述符输出到特征匹配函数得到融合图像。
2.根据权利要求1所述的视频图像融合方法,其特征在于,在所述获得各特征点的位置和尺度后还包括:
遍历所有特征点,对各个特征点周边区域进行均值滤波计算获取特征点最大尺度。
3.根据权利要求1所述的视频图像融合方法,其特征在于,在所述获得各特征点的位置和尺度后还包括:
遍历所有特征点,计算各特征点的主方向。
4.根据权利要求1所述的视频图像融合方法,其特征在于,所述检测尺度空间极值点,具体包括:
对图像中的特定点通过Hessian矩阵定义得到特征点,所述Hessian矩阵具体为:
Figure FDA0002326187340000011
其中,Lxx(x,y,σ)是高斯二阶偏导在该像素点处于图像的卷积。
5.根据权利要求1所述的视频图像融合方法,其特征在于,所述确定以各特征点为中心特定大小的区域内、固定位置的像素点对具体包括:
以每个特征点为中心定义一个大小S*S的补丁区域;
在所述区域内固定的位置选择nd个像素点对。
6.根据权利要求1所述的视频图像融合方法,其特征在于,所述逐一比较所述像素点对的灰度值,并根据所述灰度值的二值化比较结果生成描述符中,具体为:
根据二值化公式对所述像素点对进行比较得到二值化比较结果:
将所述二值化比较结果串成二值位字符串形成所有特征点的描述符。
7.根据权利要求6所述的视频图像融合方法,其特征在于,所述二值化公式为:
Figure FDA0002326187340000021
其中,I(Pi)和I(Qi)分别表示第i个像素点对的两个像素Pi和Qi的灰度值。
8.根据权利要求1所述的视频图像融合方法,其特征在于,所述描述符公式具体为:
B=P1..Pnd
9.根据权利要求1所述的视频图像融合方法,其特征在于,还包括:
对所述融合图像进行运动检测生成多个目标的运动特征分析;
根据运动特征分析提取特定目标;
对所述特定目标进行追踪调整视频采集数据。
10.一种视频图像融合装置,其特征在于,具体包括:
检测模块,用于检测尺度空间极值点,并以所述极值点作为特征点;
定位模块,用于对所述特征点进行精准定位,获得各所述特征点的位置和尺度;
确定模块,用于确定以各特征点为中心特定大小的区域内、固定位置的像素点对;
比较模块,用于逐一比较所述像素点对的灰度值,并根据所述灰度值的二值化比较结果生成描述符;
输出模块,用于将所述描述符输出到特征匹配函数得到融合图像。
11.根据权利要求10所述的视频图像融合装置,其特征在于,所述确定模块包括:
定义单元,用于以每个特征点为中心定义一个大小S*S的补丁区域;
选择单元,用于在所述区域内固定的位置选择nd个像素点对。
12.根据权利要求10所述的视频图像融合装置,其特征在于,所述比较模块包括:
比较单元,用于根据二值化公式对所述像素点对进行比较得到二值化比较结果:
排列单元,用于将所述二值化比较结果串成二值位字符串形成所有特征点的描述符。
13.根据权利要求10所述的视频图像融合装置,其特征在于,还包括:
运动检测模块,用于对所述融合图像进行运动检测生成多个目标的运动特征分析;
目标提取模块,用于根据运动特征分析提取特定目标;
追踪模块,用于对所述特定目标进行追踪调整视频采集数据。
14.一种全景监控系统,其特征在于,具体包括:
前端视频采集单元,用于采集监控区域内视频信息;
根据权利要求10-13中任一项所述的视频融合装置。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1-9任一项所述的视频图像融合方法。
CN201911317310.5A 2019-12-19 2019-12-19 视频图像融合方法、融合装置、全景监控系统及存储介质 Pending CN111383204A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911317310.5A CN111383204A (zh) 2019-12-19 2019-12-19 视频图像融合方法、融合装置、全景监控系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911317310.5A CN111383204A (zh) 2019-12-19 2019-12-19 视频图像融合方法、融合装置、全景监控系统及存储介质

Publications (1)

Publication Number Publication Date
CN111383204A true CN111383204A (zh) 2020-07-07

Family

ID=71218507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911317310.5A Pending CN111383204A (zh) 2019-12-19 2019-12-19 视频图像融合方法、融合装置、全景监控系统及存储介质

Country Status (1)

Country Link
CN (1) CN111383204A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112135068A (zh) * 2020-09-22 2020-12-25 视觉感知(北京)科技有限公司 一种多输入视频融合处理的方法和装置
CN112532893A (zh) * 2020-11-25 2021-03-19 Oppo(重庆)智能科技有限公司 图像处理方法、装置、终端及存储介质
CN112533002A (zh) * 2020-11-17 2021-03-19 南京邮电大学 一种用于vr全景直播的动态图像融合方法及系统
CN113487659A (zh) * 2021-07-14 2021-10-08 浙江大学 一种图像配准方法、装置、设备及存储介质
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN117934571A (zh) * 2024-03-21 2024-04-26 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105787876A (zh) * 2015-12-31 2016-07-20 上海颐本信息科技有限公司 一种基于surf特征跟踪匹配的全景视频自动拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105787876A (zh) * 2015-12-31 2016-07-20 上海颐本信息科技有限公司 一种基于surf特征跟踪匹配的全景视频自动拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林汀;: "图像特征点匹配算法的研究", 现代计算机(专业版), no. 10 *
陈天华 等: "基于改进ORB和对称匹配的图像特征点匹配", 《计算机系统应用》, pages 1 - 2 *
雍玖;王阳萍;雷晓妹;王松;: "基于改进ORB特征检测的全景视频拼接", 计算机应用与软件, no. 05 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112017222B (zh) * 2020-09-08 2024-08-02 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112135068A (zh) * 2020-09-22 2020-12-25 视觉感知(北京)科技有限公司 一种多输入视频融合处理的方法和装置
CN112533002A (zh) * 2020-11-17 2021-03-19 南京邮电大学 一种用于vr全景直播的动态图像融合方法及系统
CN112532893A (zh) * 2020-11-25 2021-03-19 Oppo(重庆)智能科技有限公司 图像处理方法、装置、终端及存储介质
CN113487659A (zh) * 2021-07-14 2021-10-08 浙江大学 一种图像配准方法、装置、设备及存储介质
CN113487659B (zh) * 2021-07-14 2023-10-20 浙江大学 一种图像配准方法、装置、设备及存储介质
CN114926508A (zh) * 2022-07-21 2022-08-19 深圳市海清视讯科技有限公司 视野分界线确定方法、装置、设备及存储介质
CN117934571A (zh) * 2024-03-21 2024-04-26 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统
CN117934571B (zh) * 2024-03-21 2024-06-07 广州市艾索技术有限公司 一种4k高清的kvm坐席管理系统

Similar Documents

Publication Publication Date Title
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN106204595B (zh) 一种基于双目摄像机的机场场面三维全景监视方法
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN103517041B (zh) 基于多相机旋转扫描的实时全景监控方法和装置
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN109472829B (zh) 一种物体定位方法、装置、设备和存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN112950717B (zh) 一种空间标定方法和系统
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN110658918B (zh) 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN113763466A (zh) 一种回环检测方法、装置、电子设备和存储介质
CN112637519A (zh) 多路4k准实时拼接视频的全景拼接算法
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN109345594A (zh) 全局坐标系构建及应用方法、装置、设备及存储介质
CN103903269B (zh) 球机监控视频的结构化描述方法和系统
CN118429524A (zh) 基于双目立体视觉的车辆行驶环境建模方法及系统
Lee et al. Vehicle counting based on a stereo vision depth maps for parking management
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination