Nothing Special   »   [go: up one dir, main page]

CN107147879A - 一种实时视频拼接方法 - Google Patents

一种实时视频拼接方法 Download PDF

Info

Publication number
CN107147879A
CN107147879A CN201710406636.XA CN201710406636A CN107147879A CN 107147879 A CN107147879 A CN 107147879A CN 201710406636 A CN201710406636 A CN 201710406636A CN 107147879 A CN107147879 A CN 107147879A
Authority
CN
China
Prior art keywords
video
frame
algorithm
real
joining method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710406636.XA
Other languages
English (en)
Inventor
胡敏刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taicang Mdt Infotech Ltd
Original Assignee
Taicang Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taicang Mdt Infotech Ltd filed Critical Taicang Mdt Infotech Ltd
Priority to CN201710406636.XA priority Critical patent/CN107147879A/zh
Publication of CN107147879A publication Critical patent/CN107147879A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及新一代信息技术领域，公开了一种实时视频拼接方法，包括打开视频设备文件，进行视频采集的参数初始化；将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；获取视频帧1和视频帧2，并判断是否为关键帧；针对关键帧，找到两个视频帧的特征匹配点对，求出变换矩阵，把变形后的帧融合形成拼接图。利用现有的视频采集硬件和计算机，算法和软件方法简洁，计算机执行速度快，具有较高的实用价值。

Description

一种实时视频拼接方法
技术领域
本发明涉及新一代信息技术领域，更具体地涉及一种实时视频拼接方法。
背景技术
随着多媒体技术发展的越来越快，各种视频处理技术进入了人们生活，其中较为流行的就是视频拼接。无论是军用领域还是民用领域，如监控、指挥、调度系统、公安、消防、军事、气象、铁路、航空等监控系统中、视讯会议、查询系统等，都涉及到视频拼接。
国内外关于图像拼接的研究很多，主要分为基于频域、灰度和特征值的图像拼接算法。其中基于频域的拼接算法实现较为简单，但会产生高频分量，因此适用范围较小；基于灰度的拼接算法匹配速度较慢，运算量较大，且适用性一般；基于特征值匹配算法则有较好的成像结果，适用性较高。
现有的视频处理软件，可以对视频文件进行处理，包括实现视频拼接功能，但是无法做到实时视频采集、实时视频拼接。
在现有的研究成果和公开文献中，尚未发现一种实时视频拼接方法，实时视频采集、实时视频拼接。
发明内容
发明目的
本发明提出了一种实时视频拼接方法，能够利用现有的视频采集硬件和计算机，在进行实时视频采集的同时，实时进行视频拼接。
本发明所采用的技术方案
本发明提出的一种实时视频拼接方法，包括如下步骤：
(1)打开视频设备文件，进行视频采集的参数初始化；
(2)申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取处理视频数据；
(3)将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；
(4)从视频采集输出队列取出帧缓冲区，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据；
(5)获取视频帧1和视频帧2，并判断是否为关键帧；
(6)如果是关键帧，那么利用算法1找到两个视频帧的特征匹配点对，利用算法2求出变换矩阵，把变形后的帧利用算法3融合形成拼接图；
(7)如果不是关键帧，那么直接将两个视频帧融合形成拼接图;
(8)将拼接后的视频存储到文件系统。
进一步的，在所述步骤(1)中，通过API接口设置视频图像的采集窗口、采集的点阵大小和格式。
进一步的，在所述步骤(5)中,视频帧1和视频帧2的图像重叠部分在20％-30％之间。
进一步的，在所述步骤(6)中,算法1采用Moravec角点检测算法、SUSAN角点检测算法和Harris角点检测算法中的一种。
进一步的，在所述步骤(6)中,算法2包括如下步骤：依顺序选取特征匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征匹配点对。
进一步的，在所述步骤(6)中,算法3采用直接平均算法、加权平均算法、距离权重算法、泊松算法和对比度调制算法中的一种。
本发明所产生的技术效果
本发明提出的一种实时视频拼接方法，利用现有的视频采集硬件和计算机，算法和软件方法简洁，计算机执行速度快，具有较高的实用价值。
附图说明
图1实时视频采集拼接系统。
具体实施方式
实施例
利用现有的视频采集硬件，海康威视DS-2CD4024F-SDI，日夜型枪型数字摄像机，实时图像采用H.264编码，最高分辨率可达200万像素（1920×1080）。
(1)打开视频设备文件，进行视频采集的参数初始化，通过API接口设置视频图像的采集窗口、采集的点阵大小和格式；
(2)申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取处理视频数据；
(3)将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；
(4)从视频采集输出队列取出帧缓冲区，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据；
(5)获取视频帧1和视频帧2，并判断是否为关键帧，视频帧1和视频帧2的图像重叠部分在20％-30％之间；
(6)如果是关键帧，那么利用Moravec角点检测算法找到两个视频帧的特征匹配点对，依顺序选取特征匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征匹配点对，求出变换矩阵，把变形后的帧利用加权平均算法融合形成拼接图；
(7)如果不是关键帧，那么直接将两个视频帧融合形成拼接图;
(8)将拼接后的视频存储到文件系统。
实验结果如下表所示，拼接次数、匹配个数和特征值个数。
拼接次数 匹配个数 特征值个数
1 88 1857×1623
2 67 1726×1438
3 59 1692×1254
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种实时视频拼接方法，其特征在于：包括如下步骤：
(1)打开视频设备文件，进行视频采集的参数初始化；
(2)申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取处理视频数据；
(3)将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；
(4)从视频采集输出队列取出帧缓冲区，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据；
(5)获取视频帧1和视频帧2，并判断是否为关键帧；
(6)如果是关键帧，那么利用算法1找到两个视频帧的特征匹配点对，利用算法2求出变换矩阵，把变形后的帧利用算法3融合形成拼接图；
(7)如果不是关键帧，那么直接将两个视频帧融合形成拼接图;
(8)将拼接后的视频存储到文件系统。
2.根据权利要求1所述的一种实时视频拼接方法，其特征在于：在所述步骤(1)中，通过API接口设置视频图像的采集窗口、采集的点阵大小和格式。
3.根据权利要求1所述的一种实时视频拼接方法，其特征在于：在所述步骤(5)中,视频帧1和视频帧2的图像重叠部分在20％-30％之间。
4.根据权利要求1所述的一种实时视频拼接方法，其特征在于：在所述步骤(6)中,算法1采用Moravec角点检测算法、SUSAN角点检测算法和Harris角点检测算法中的一种。
5.根据权利要求1所述的一种实时视频拼接方法，其特征在于：在所述步骤(6)中,算法2包括如下步骤：依顺序选取特征匹配点对，把匹配对中特征点主方向和长度都匹配的点保留下来，而不符合的匹配点对都舍弃，直到检测完所有特征匹配点对。
6.根据权利要求1所述的一种实时视频拼接方法，其特征在于：在所述步骤(6)中,算法3采用直接平均算法、加权平均算法、距离权重算法、泊松算法和对比度调制算法中的一种。
CN201710406636.XA 2017-06-02 2017-06-02 一种实时视频拼接方法 Pending CN107147879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406636.XA CN107147879A (zh) 2017-06-02 2017-06-02 一种实时视频拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406636.XA CN107147879A (zh) 2017-06-02 2017-06-02 一种实时视频拼接方法

Publications (1)

Publication Number Publication Date
CN107147879A true CN107147879A (zh) 2017-09-08

Family

ID=59780841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406636.XA Pending CN107147879A (zh) 2017-06-02 2017-06-02 一种实时视频拼接方法

Country Status (1)

Country Link
CN (1) CN107147879A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348140A (zh) * 2018-10-12 2019-02-15 西安理工大学 一种监控场景下实时视频的拼接方法
CN109919971A (zh) * 2017-12-13 2019-06-21 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201947404U (zh) * 2010-04-12 2011-08-24 范治江 一种全景视频实时拼接显示系统
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN103997609A (zh) * 2014-06-12 2014-08-20 四川川大智胜软件股份有限公司 基于cuda的多视频实时全景融合拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201947404U (zh) * 2010-04-12 2011-08-24 范治江 一种全景视频实时拼接显示系统
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN103997609A (zh) * 2014-06-12 2014-08-20 四川川大智胜软件股份有限公司 基于cuda的多视频实时全景融合拼接方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919971A (zh) * 2017-12-13 2019-06-21 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109919971B (zh) * 2017-12-13 2021-07-20 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109348140A (zh) * 2018-10-12 2019-02-15 西安理工大学 一种监控场景下实时视频的拼接方法

Similar Documents

Publication Publication Date Title
US9317762B2 (en) Face recognition using depth based tracking
US11417014B2 (en) Method and apparatus for constructing map
CN113706414B (zh) 视频优化模型的训练方法和电子设备
US11830103B2 (en) Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
CN105825472A (zh) 一种快速的基于多尺度高斯滤波器的色调映射系统及方法
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
TWI689894B (zh) 影像切割方法及裝置
CN111107278B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110633698A (zh) 基于循环生成对抗网络的红外图片识别方法、设备及介质
CN111131771A (zh) 一种视频监控系统
CN112651459A (zh) 深度学习图像对抗样本防御方法、装置、设备及存储介质
CN108596070A (zh) 人物识别方法、装置、存储介质、程序产品和电子设备
CN107147879A (zh) 一种实时视频拼接方法
Liu et al. Indoor privacy-preserving action recognition via partially coupled convolutional neural network
Tan et al. Robust coverless image steganography based on human pose estimation
CN105096240B (zh) 基于纹理合成的影像敏感目标隐藏方法
Zhang et al. Dual attention residual group networks for single image deraining
CN109348140A (zh) 一种监控场景下实时视频的拼接方法
CN111310595B (zh) 用于生成信息的方法和装置
Song et al. Deep restoration of invisible QR code from TPVM display
Basha et al. Augmented Reality Experience for Real-World Objects, Monuments, and Cities
CN112308769A (zh) 图像合成方法、设备及存储介质
CN110264431A (zh) 视频美化方法、装置及电子设备
CN109451318A (zh) 便于vr视频编码的方法、装置、电子设备及存储介质
Blanc-Talon et al. Advanced Concepts for Intelligent Vision Systems: 19th International Conference, ACIVS 2018, Poitiers, France, September 24–27, 2018, Proceedings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170908