CN115086289A - 一种边缘网关视频质量分析系统 - Google Patents

Abstract

本发明公开了一种边缘网关视频质量分析系统，包括质量分析模块、实时告警模块、数据接入模块和web端；所述质量分析模块分别连接数据接入模块以及web端；所述实时告警模块连接质量分析模块；所述质量分析模块从数据接入模块获取数据进行视频分析；所述质量分析模块基于空域分析的原理对视频进行分析，采用多线程依次分析各个视频流，并在每路视频流分析线程内，调用各算法进行分析。本发明通过基于arm架构的小型嵌入式平台，将多种视频分析算法植入系统，实现对摄像头的动态管理、视频流的实时分析、告警的及时上报等核心功能，助力大型视频监控项目的视频运维实现视频质量检测自动化，平台部署小型化，告警推送实时化的目标。

Description

一种边缘网关视频质量分析系统

技术领域

本发明涉及边缘网络技术领域，尤其涉及一种边缘网关视频质量分析系统。

背景技术

计算机视觉技术（ComputerVision，CV）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。视频作为图像的一种表现形式，可以有效的记录各种信息，渐渐成为信息传播的一种重要途径。

目前，业内常用的现有技术是这样的：视频监控是安全防范系统的重要组成部分。传统的监控系统包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。

边缘网关是部署在网络边缘侧的网关，通过网络联接、协议转换等功能联接物理和数字世界，提供轻量化的联接管理、实时数据分析及应用管理功能。

视频质量的好坏也直接参与到治理过程中，越来越受到各级政府的重视。在实际使用中，监控系统经常会受到一些干扰因素影响，如因传输线路老化或成像系统异常等，产生各种视频异常，包括遮挡异常、模糊异常、黑屏异常、噪声异常、抖动异常、亮度异常、偏色异常和画面冻结异常等，这些异常往往需要运维人员的人力排查，人员投入高，发现问题慢，无法对视频监控系统存在的问题快速响应。

发明内容

本发明的目的在于克服现有技术的不足，提供一种边缘网关视频质量分析系统，通过基于arm架构的小型嵌入式平台，将多种视频分析算法植入该平台，实现对摄像头的动态管理、视频流的实时分析、告警的及时上报等核心功能，助力大型视频监控项目的视频运维实现视频质量检测自动化，平台部署小型化，告警推送实时化的目标。

本发明的目的是通过以下技术方案来实现的：

一种边缘网关视频质量分析系统，包括质量分析模块、实时告警模块、数据接入模块和web端；所述质量分析模块分别连接数据接入模块以及web端；所述实时告警模块连接质量分析模块；所述质量分析模块从数据接入模块获取数据进行视频分析；所述质量分析模块基于空域分析的原理对视频进行分析，采用多线程依次分析各个视频流，并在每路视频流分析线程内，调用各算法进行分析。

进一步的，所述质量分析模块包括网络通信模块、任务管理模块、摄像头管理模块和算法分析模块；质量分析模块通过网络通信模块连接数据接入模块和web端，实现图像数据和分析算法的获取以及分析结果的反馈；所述任务管理模块用于负责算法的调度执行；所述摄像头管理模块用于管理待分析摄像头数据；所述算法分析模块用于对摄像头数据根据配置的算法进行算法分析。

进一步的，所述网络通信模块包括TCP通信模块和HTTP通信模块。

进一步的，所述任务管理模块用于任务的生成和调度，通过将待分析摄像头资源生成任务队列，并初始化一个工作者线程池，当任务队列中有待分析任务时，调度机制将在线程池中随机抽取一空闲线程进行分析。

进一步的，所述TCP通信模块连接质量分析模块和数据接入模块，质量分析模块通过TCP通信模块从数据接入模块获取图形图像数据。

进一步的，所述HTTP通信模块连接web端，通过构建一个基于Crow库的HTTP服务端，实现质量分析模块与用户web端的通信。

进一步的，所述实时告警模块在质量分析模块分析出异常视频时，向web端进行告警。

本发明的有益效果：本发明通过基于arm架构的小型嵌入式平台，将多种视频分析算法植入系统，实现对摄像头的动态管理、视频流的实时分析、告警的及时上报等核心功能，助力大型视频监控项目的视频运维实现视频质量检测自动化，平台部署小型化，告警推送实时化的目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明的系统功能模块图。

图2是系统数据流转图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当人认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中，如图1所示，一种边缘网关视频质量分析系统，包括质量分析模块、实时告警模块、数据接入模块和web端；所述质量分析模块分别连接数据接入模块以及web端；所述实时告警模块连接质量分析模块；所述质量分析模块从数据接入模块获取数据进行视频分析；所述质量分析模块基于空域分析的原理对视频进行分析，采用多线程依次分析各个视频流，并在每路视频流分析线程内，异常调用各算法进行分析。

在本实施例中，数据接入模块运行于边缘网关，其数据接入模块可以为一个接入服务器，通过私有协议从摄像头中获取图像数据，在进行视频接入服务时，通过私有协议向接入服务器请求待分析视频流。

其中，质量分析模块包括网络通信模块、任务管理模块、摄像头管理模块和算法分析模块；质量分析模块通过网络通信模块连接数据接入模块和web端，实现图像数据和分析算法的获取以及分析结果的反馈；所述任务管理模块用于负责算法的调度执行；所述摄像头管理模块用于管理待分析摄像头数据；所述算法分析模块用于对摄像头数据根据配置的算法进行算法分析。视频接入服务实现了将异构前端视频设备，包括摄像头，三方平台的视频实时接入和云台控制、历史视频的回复和播放控制。

在本实施例中，业务层包括了摄像头管理模块和算法分析模块，摄像头管理模块负责管理待分析摄像头数据，算法分析模块负责对摄像头产生的视频数据根据配置的算法进行算法分析。

在本实施例中，网络通信模块包括TCP通信模块和HTTP通信模块。

在本实施例中，所述任务管理模块用于任务的生成和调度，通过将待分析摄像头资源生成任务队列，并初始化一个工作者线程池，当任务队列中有待分析任务时，调度机制将在线程池中随机抽取一空闲线程进行分析；任务管理模块可以根据设置的任务限制和当前正在分析的视频路数进行动态的任务调度；可以根据设备的分析能力，设置同时分析的最大并发数，系统将根据当前实时分析的负载和该最大并发数进行动态的调度，有效提高系统的使用效率。

在本实施例中，所述TCP通信模块连接质量分析模块和数据接入模块，质量分析模块通过TCP通信模块从数据接入模块获取图形图像数据。

在本实施例中，所述HTTP通信模块连接web端，通过构建一个基于Crow库的HTTP服务端，实现质量分析模块与用户web端的通信。由于需要与边缘网关基础系统进行通信，例如基础系统在必要的时候向插件推送配置信息，再或者Web系统需要添加一个待检测摄像头等等情况，所以必须构建一个HTTP服务端，此处可考虑基于Crow库构建HTTP服务器。系统启动的时候，需要向Web端进行资源查询等一系列操作。这些操作采用HTTP POST协议进行。实现上将采用开源库curl库来实现HTTP客户端，以达到减少开发量的目的。

在本实施例中，所述实时告警模块当系统检测出某路视频流存在质量问题的时候，会通过http协议向web端进行告警通信，将告警信息的实时消息推送客户端或管理人员，告警信息包括了告警设备、告警类型、告警时间、告警实时截图等信息；web端能够实时查看某一路摄像头进行算法分析的实时进展情况，web端设置有web管理服务，包括管理设备信息和配置信息，可以对众多的摄像头进行是否启用分析的配置，且每一路摄像头支持检测哪几类异常也是可配置的。

web管理服务接收搭配实时告警服务的告警，进行及时的展示，提醒工作人员及时处理发现的问题。此外该服务还具有设备管理和视频实时预览和历史视频回放能力，有助于工作人员的日常管理和问题确认。

本方案通过基于arm架构的小型嵌入式平台，将多种视频分析算法植入该平台，实现对摄像头的动态管理、视频流的实时分析、告警的及时上报等核心功能，助力大型视频监控项目的视频运维实现视频质量检测自动化，平台部署小型化，告警推送实时化的目标。

视频质量分析是指：对于视频本身质量问题的分析，包括视频色度异常，亮度异常，清晰度异常，噪声异常，信号异常，遮挡异常，冻结异常，抖动异常等异常分析技术。

1、架构体系：视频质量分析是边缘网关的插件之一，这样就意味着视频质量分析是运行在边缘网关操作系统之上的一种服务，其业务流程主要是通过私有协议从数据接入模块获取图形图像数据，并对数据进行分析，最后将分析结果反馈到到需求方。这里视频质量分析插件需要和数据接入模块及Web模块进行交互，如图1所示。

2、内部模块说明：视频质量分析插件内部的功能模块可以分为网络通信模块，任务管理模块，摄像头管理模块及算法分析模块，他们分布在网络层，中间层及业务层.

网络层包括了TCP通信模块和HTTP通信模块，HTTP通信模块主要传输信令数据和资源数据，该模块在收到数据后，将会对数据进行解析生成相应的任务。TCP模块主要传输媒体数据，为算法分析模块提供数据支撑。

中间层包括任务处理模块，该模块负责算法的调度执行。

业务层包括分析管理模块，它包含了摄像头管理模块及分析线程管理模块，摄像头管理模块负责管理待分析摄像头数据，分析线程管理模块负责对摄像头数据根据配置的算法进行算法分析。

3、数据业务流程：如图2所示，视频质量分析数据通过接入模块获取到摄像头实时数据，也可以从接入模块获取图像数据，得到数据后，在进行算法分析。分析得到的结果，通过HTTP方式推送给Web端进行存储和展示。

一个优选的系统运行环境如下：

1、硬件设备。处理器：rk3399；内存：6G；网卡：1000M；

2、软件运行环境。操作系统：CentOS Linux release 7.5；开发环境：GCC4.8.5；数据库：无。

在本方案中，质量分析系统具有如下特点：

1）支持异构前端设备和平台的实时接入能力：

支持不同厂家生产的不同类型、不同型号的前端设备，包括网络摄像头摄像头、第三方平台等异构设备，通过RTSP、RTMP、HLS、ONVIF、GB28181及各厂家SDK的方式实时接入视频流。

2）支持根据设置的最大并发数和实时并发数自适应调度能力：

支持根据用户设置的最大并发数和系统运行中的实时并发数进行对比，当实时并发数小于最大并发数的时候，系统将调度更多路摄像头进行实时分析。反之，将按照最大并发数进行分析，提高系统的使用效率。

3）支持多种视频质量分析算法同时分析能力：

系统支持对遮挡异常、模糊异常、黑屏异常、噪声异常、抖动异常、亮度异常、偏色异常和画面冻结异常等异常情况的实时分析，这些异常是在生产环境中经常会遇到的问题，对这些问题的实时分析，能显著提高视频数据的质量。

4）支持告警的实时转发和视频实时监控、视频历史回放能力：

在分析出视频质量问题后，能够及时的将告警推送给客户端或工作人员，以便工作人员掌握第一手情况。同时支持对特定摄像头的视频查看和历史视频回溯。

5）支持基于arm的嵌入式设备打造边缘计算网关：

系统基于arm的嵌入式设备打造，具有能耗低、算力强、易部署、易维护的特点。

能够方便的接入第三方平台或网关，提供资料分析服务。

在系统在使用时，考虑的视频质量分析对时效的要要求相对较底，且实际项目中的硬件算力有限，将采用多线程依次对各个视频流进行分析的策略，直到所有视频流分析完毕为止.必要时，可以进行多轮分析。

在本实施例中，提出的一种边缘网关视频质量分析系统，通过基于arm的小型嵌入式平台，将多种视频分析算法植入该平台，实现对摄像头的动态管理、视频流的实时分析、告警的及时上报等核心功能，助力大型视频监控项目的视频运维实现视频质量检测自动化，平台部署小型化，告警推送实时化的目标。

本发明通过对视频质量异常情况下，包括偏色、偏亮偏暗、模糊、黑屏、遮挡、抖动、冻结、信号丢失等情况的自动化检测分析，为在类似”雪亮”、”天网”这样的大规模视频应用场景下，进行视频运维，减少人力负担，提高系统运行效率，保障数据安全提供一种技术手段。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种边缘网关视频质量分析系统，其特征在于，包括质量分析模块、实时告警模块、数据接入模块和web端；所述质量分析模块分别连接数据接入模块以及web端；所述实时告警模块连接质量分析模块；所述质量分析模块从数据接入模块获取数据进行视频分析；所述质量分析模块基于空域分析的原理对视频进行分析，采用多线程依次分析各个视频流，并在每路视频流分析线程内，调用视频分析算法进行分析。

2.根据权利要求1所述的一种边缘网关视频质量分析系统，其特征在于，所述质量分析模块包括网络通信模块、任务管理模块、摄像头管理模块和算法分析模块；质量分析模块通过网络通信模块连接数据接入模块和web端，实现图像数据和分析算法的获取以及分析结果的反馈；所述任务管理模块用于负责算法的调度执行；所述摄像头管理模块用于管理待分析摄像头数据；所述算法分析模块用于对摄像头数据根据配置的算法进行算法分析。

3.根据权利要求2所述的一种边缘网关视频质量分析系统，其特征在于，所述网络通信模块包括TCP通信模块和HTTP通信模块。

4.根据权利要求2所述的一种边缘网关视频质量分析系统，其特征在于，所述任务管理模块用于任务的生成和调度，通过将待分析摄像头资源生成任务队列，并初始化一个工作者线程池，当任务队列中有待分析任务时，调度机制将在线程池中随机抽取一空闲线程进行分析。

5.根据权利要求3所述的一种边缘网关视频质量分析系统，其特征在于，所述TCP通信模块连接质量分析模块和数据接入模块，质量分析模块通过TCP通信模块从数据接入模块获取图形图像数据。

6.根据权利要求3所述的一种边缘网关视频质量分析系统，其特征在于，所述HTTP通信模块连接web端，通过构建一个基于Crow库的HTTP服务端，实现质量分析模块与用户web端的通信。

7.根据权利要求1所述的一种边缘网关视频质量分析系统，其特征在于，所述实时告警模块在质量分析模块分析出异常视频时，向web端进行告警。

Images