CN104320615A - 一种智能视频安防系统及其信号处理方法 - Google Patents
一种智能视频安防系统及其信号处理方法 Download PDFInfo
- Publication number
- CN104320615A CN104320615A CN201410554713.2A CN201410554713A CN104320615A CN 104320615 A CN104320615 A CN 104320615A CN 201410554713 A CN201410554713 A CN 201410554713A CN 104320615 A CN104320615 A CN 104320615A
- Authority
- CN
- China
- Prior art keywords
- video
- analysis
- signal
- video stream
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000007781 pre-processing Methods 0.000 claims abstract description 33
- 230000006399 behavior Effects 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 239000000872 buffer Substances 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 9
- 238000011079 streamline operation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种智能视频安防系统及其信号处理方法。该系统包括视频分析前端以及中心视频服务器。视频分析前端包括：视频输入接口，用于将高速SDI视频信号解串为符合BT.656标准的数字视频流信号；控制模块，用于对数字视频流信号进行预处理和视频行为分析，并输出IP视频流信号；以及视频输出接口，用于将IP视频流信号传送至中心视频服务器。与现有技术相比，本发明能有效地针对实时高清视频实现多目标、多规则同时进行视频行为分析。此外，本发明除了利用FPGA的并行处理特性外，将算法的实现大量使用流水线操作，并采取面积换取速度的方式来提高处理的数据吞吐率。
Description
技术领域
本发明涉及一种公共安全监控、视频图像处理、计算机视觉、人工智能等技术领域，尤其涉及一种基于FPGA-SOC芯片的智能视频安防系统以及用于该安防系统的信号处理方法。
背景技术
目前安防系统已逐渐从模拟安防转向了数字安防。未来的安防系统趋势是智能化，高清数字化，网络化。其中，智能化解决方案是未来安防的重要组成部分和迫切要求。简言之，智能化安防是指采用计算机视觉、人工智能等专业知识对视频图像进行技术处理，分析目标的属性、特征、运动方向等信息来判断目标是否符合设定的规则，是否发送报警信号等，从而对事件进行及时处理，提高应急事件的反应速度。
在现有的安防系统中，大部分视频监控仍然采用被动式的监控方案。例如，在服务中心由专门人员监视显示器图像来进行安防行为的判断，或者事后调取存储的视频片段进行人工分析视频的方式。毫无疑问，上述监控方式的工作量较大，易疲劳，容易导致视频行为的漏报或误报。相比之下，智能化的视频分析技术充分发挥了安防系统所需的主动监控性，可有效降低专门人员的工作量，并提高报警的精确度，减少视频行为的漏报或误报现象。
一般来说，当前的智能视频分析技术在安防系统中的实现，主要分为两种方式：一种是基于后端服务纯软件处理分析，另一种是在前端设备即时分析。前一种方案的不足之处在于，当视频流通路数量大时，服务器端需要分析的视频数据量也极大，纯软件的分析效率会明显下降，无法满足安防系统实时分析和报警的需求。后一种方案目前绝大多数采用的是基于DSP(Digital SignalProcessor，数字信号处理器)实现，这种实现方法在面对高清视频、多目标、多规则的视频分析时，效率和灵活度受限。例如，对于2560*2048的分辨率、15帧每秒(Frames Per Second，FPS)的5M像素视频，即使采用高端DSP芯片，受DSP处理核处理能力、时钟频率等限制，也无法处理。此外，对于多目标、多规则以及复数运算情况，由于DSP核集成的视频处理单元的多任务执行能力有限，加上串行处理机制的诸多原因，对视频流信号的数据处理能力仍然有限。
有鉴于此，如何设计一种智能视频安防系统，或对现有的智能视频安防系统进行改进，以克服现有技术中的上述缺陷，提高视频流信号的数据处理能力，满足智能安防系统实时分析和报警的需求，是相关技术人员亟待解决的一项课题。
发明内容
针对现有技术中的智能视频安防系统在视频流信号的处理速度和处理能力方面存在的上述缺陷，本发明提供了一种基于FPGA-SOC芯片的智能视频安防系统以及用于该安防系统的信号处理方法。
依据本发明的一个方面，提供了一种基于FPGA-SOC的智能视频安防系统，其中，所述智能视频安防系统包括视频分析前端以及中心视频服务器，且所述视频分析前端包括：
视频输入接口，用于将高速SDI视频信号解串为符合BT.656标准的数字视频流信号；
控制模块，包括FPGA-SOC芯片，所述控制模块与所述视频输入接口相耦接，用于对所述数字视频流信号进行预处理和视频行为分析，并输出处理后的标准的IP视频流信号；以及
视频输出接口，与所述控制模块相耦接，用于将所述IP视频流信号传送至所述中心视频服务器，
其中，所述中心视频服务器用于接收所述IP视频流信号，配置所述视频分析前端的视频分析规则，以及监控所述视频分析前端处理后的综合视频流。
在其中的一实施例，所述FPGA-SOC芯片还包括逻辑模块以及处理模块，所述逻辑模块用于接收所述数字视频流信号，并对所述数字视频流信号进行视频图像预处理和视频分析处理，并将处理后的视频数据存入系统的存储器；其中，所述处理模块从所述存储器读取所述处理后的视频数据，对其进行运动轨迹提取和判断，并通过比较运动目标轨迹与已配置的视频分析规则来判断运动行为的合法性，进而将最终的IP视频流信号通过网络发送给中心视频服务器。
在其中的一实施例，所述处理模块具有ARM处理器、DMA控制器、第一存储器控制器、中断控制器以及外围接口模块，所述ARM处理器分别与所述中断控制器和所述第一存储器控制器相耦接，所述外围接口模块与所述DMA控制器和所述中断控制器相耦接。
在其中的一实施例，所述外围接口模块用于输出所述IP视频流信号，以及发送和/或接收GPIO传感器报警信号。
在其中的一实施例，所述逻辑模块具有视频图像预处理单元、视频分析单元、视频压缩单元、第二存储器控制器以及多个VDMAIP核，所述视频图像预处理单元经由第一VDMA IP核耦接至所述第一存储器控制器，所述视频分析单元耦接至所述视频图像预处理单元且经由第二VDMA IP核耦接至所述第一存储器控制器，所述视频压缩单元耦接至所述视频图像预处理单元且经由第三VDMA IP核耦接至所述第一存储器控制器。所述视频图像预处理单元对所接收的视频流进行图像色彩空间转换、图像增强滤波、电子稳像、噪声滤波、图像灰值处理和/或二值化处理。所述视频分析单元对经过预处理后的数字视频通过智能视觉算法进行多视频行为规则并行处理；所述视频压缩单元对包含有处理结果的视频流进行H.264压缩。
在其中的一实施例，所述外围接口模块为I2C、UART、SPI、ETH或CAN通信接口。
在其中的一实施例，所述ARM处理器用于支持ONVIF安防接口协议，以及支持HTTP、FTP或RTP网络协议。
在其中的一实施例，所述视频分析前端还包括一DDRSDRAM和一第二DDR SDRAM，其中，所述第一DDR SDRAM耦接至所述处理模块，所述第二DDR SDRAM耦接至所述逻辑模块。
在其中的一实施例，通过VDMA将视频流数据传输到存储器时，设定了三个不同的视频帧缓存，VDMA设置为PARK工作模式，从而通过应用程序控制DMA的运行和不同的视频帧缓存之间的切换。
在其中的一实施例，所述高速SDI视频信号为高清工业摄像机所采集的SD-SDI、HD-SDI或3G-SDI的视频信号。
依据本发明的另一个方面，提供了一种用于智能视频安防系统的信号处理方法，所述智能视频安防系统包括视频分析前端以及中心视频服务器，其中，所述信号处理方法包括：
所述视频分析前端将高速SDI视频信号解串为符合BT.656标准的数字视频流信号；
所述视频分析前端对所述数字视频流信号进行预处理和分析，并输出处理后的标准的IP视频流信号；
所述视频分析前端将所述IP视频流信号传送至所述中心视频服务器；以及
所述中心视频服务器接收所述IP视频流信号，配置所述视频分析前端的视频分析规则，以及监控所述视频分析前端处理后的综合视频流。
在其中的一实施例，所述视频分析前端包括FPGA-SOC芯片，所述FPGA-SOC芯片包括逻辑模块以及处理模块，所述逻辑模块用于接收所述数字视频流信号，并对所述数字视频流信号进行视频图像预处理和视频分析处理，并将处理后的视频数据存入系统的存储器；所述处理模块从所述存储器读取所述处理后的视频数据，对其进行运动轨迹提取和判断，并通过比较运动目标轨迹与已配置的视频分析规则来判断运动行为的合法性，进而将最终的IP视频流信号通过网络发送给所述中心视频服务器。
在其中的一实施例，所述逻辑模块还用于所述逻辑模块还用于执行：预处理操作，用于对所接收的视频流进行图像色彩空间转换、图像增强滤波、电子稳像、噪声滤波、图像灰值处理和/或二值化处理；视频分析操作，用于对经过预处理后的数字视频通过智能视觉算法进行多视频行为规则并行处理；视频压缩操作，用于对包含有处理结果的视频流进行H.264压缩。
在其中的一实施例，所述视频分析前端还包括一第一双倍速率同步动态随机存储器DDR SDRAM和一第二DDR SDRAM，其中，所述第一DDR SDRAM耦接至所述处理模块，所述第二DDRSDRAM耦接至所述逻辑模块。
采用本发明的基于FPGA-SOC芯片的智能视频安防系统及其信号处理方法，视频分析前端的视频输入接口将高速SDI视频信号解串为符合BT.656标准的数字视频流信号，控制模块与视频输入接口相连并对数字视频流信号进行预处理和分析，输出处理后的标准的IP视频流信号，视频输出接口与控制模块相连并将IP视频流信号传送至中心视频服务器，进而中心视频服务器接收IP视频流信号，配置视频分析前端的视频分析规则，并监控视频分析前端处理后的综合视频流。与现有技术相比，本发明能有效地针对实时高清视频(1080P，30fps/60fps)实现多目标、多规则同时进行视频分析。此外，为有效提高视频分析算法的实现效率，本发明除了利用FPGA的并行处理特性外，将算法的实现大量使用流水线操作，并采取面积换取速度的方式来提高处理的数据吞吐率。再者，视频分析算法与嵌入式系统控制由一颗FPGA-SOC集成芯片完成，减少了硬件成本，降低了系统功耗。本发明适用于公共监控领域，如交通、小区、机场、广场、油田、监狱、博物馆等需要及时发现异常事件并联动报警的场合。此外，本发明的安防系统的视频分析前端可用于集成智能视频分析摄像一体机。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，
图1示出依据本发明一实施方式的基于FPGA-SOC的智能视频安防系统的结构示意图；
图2示出图1的控制模块中的FPGA-SOC集成芯片的结构示意图；
图3示出图1的智能视频安防系统应用于运动车辆识别的一具体实施例；
图4示出图1的智能视频安防系统的运行原理示意图；以及
图5示出依据本发明的另一实施方式，用于智能视频安防系统的信号处理方法的流程框图。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。
图1示出依据本发明一实施方式的基于FPGA-SOC的智能视频安防系统的结构示意图。参照图1，在该实施例方式中，本发明的智能视频安防系统包括视频分析前端10以及中心视频服务器12。
详细来说，视频分析前端10包括视频输入接口102、控制模块104和视频输出接口。其中，视频输入接口102用于将高速SDI视频信号解串为符合BT.656标准的数字视频流信号。在此，数字视频流信号包括视频数据信号以及行列同步信号，以供控制模块104中的FPGA-SOC芯片进行逻辑处理。例如，高速SDI视频信号为高清工业摄像机所采集的SD-SDI、HD-SDI或3G-SDI的视频信号。控制模块104包括FPGA-SOC芯片(即，SOC类的FPGA集成芯片)。控制模块104与视频输入接口102相耦接，用于对来自视频输入接口102的数字视频流信号进行预处理和视频行为分析，并输出处理后的标准的IP视频流信号。视频输出接口与控制模块104相耦接，用于将IP视频流信号通过网络传送至中心视频服务器12。中心视频服务器12接收该IP视频流信号，并用来配置视频分析前端10的视频分析规则，且监控视频分析前端10处理后的综合视频流。
在一具体实施例，视频输入接口102还可发送和/或接收GPIO(General Purpose Input Output，通用输入输出)传感器报警信号。此外，视频分析前端10还可包括多种类型的存储器，诸如闪存(Flash)、双倍速率同步动态随机存储器(Double Data RateSynchronous Dynamic Random Access Memory，DDR SDRAM)。
图2示出图1的控制模块中的FPGA-SOC集成芯片的结构示意图。参照图2，控制模块104的FPGA-SOC芯片还包括逻辑模块(Programmable Logic)1043以及处理模块(Process System)1041。在此，逻辑模块1043的功能以VDMA IP核的方式进行组织，并通过AXI4-Lite总线由ARM处理器运行的系统予以配置与控制。
具体地，逻辑模块1043用于接收来自视频输入接口102的数字视频流信号，并对数字视频流信号进行视频图像预处理和视频分析处理，并将处理后的视频数据存入系统的存储器。处理模块1041从系统的存储器读取处理后的视频数据，对其进行运动轨迹提取和判断，并通过比较运动目标轨迹与已配置的视频分析规则来判断运动行为的合法性，进而将最终的IP视频流信号通过网络发送给中心视频服务器12。
较佳地，处理模块1041具有ARM处理器、DMA(DirectMemory Access，存储器直接访问)控制器、第一存储器控制器、中断控制器以及外围接口模块，其中，ARM处理器分别与中断控制器和第一存储器控制器相耦接。例如，ARM处理器可支持ONVIF安防接口协议，以及支持HTTP、FTP或RTP网络协议。外围接口模块与DMA控制器和中断控制器相耦接。例如，外围接口模块为I2C、UART、SPI、ETH、CAN或其它对外通信接口。
较佳地，逻辑模块1043具有视频图像预处理单元、视频分析单元、视频压缩单元、第二存储器控制器以及多个VDMA IP核，其中，视频图像预处理单元经由第一VDMA IP核耦接至第一存储器控制器，视频分析单元耦接至视频图像预处理单元且经由第二VDMA IP核耦接至第一存储器控制器，视频压缩单元耦接至视频图像预处理单元且经由第三VDMA IP核耦接至第一存储器控制器。在一实施例中，视频分析单元对经过预处理后的数字视频通过智能视觉算法进行多视频行为规则并行处理。视频压缩单元对包含有处理结果的视频流进行H.264压缩。例如，视频图像预处理单元对所接收的视频流进行图像色彩空间转换、图像增强滤波、电子稳像、噪声滤波、图像灰值处理和/或二值化处理。例如，在视频图像预处理完成后，通过图2最左侧的VDMA IP核将视频流信号转换为AXI4-S数据流，并缓存到系统的DDR中，然后再由图2中间的VDMA IP核从系统的DDR中将所存储的视频数据直接读取到视频分析单元。
在一具体实施例中，通过VDMA将视频流数据传输到存储器时，设定了三个不同的视频帧缓存(Frame Buffer)，VMDA设置为PARK工作模式，从而通过应用程序控制DMA的运行和不同的视频帧缓存之间的切换。更优选地，在视频分析算法的实现过程中，针对其需要视频Frame Buffer来缓存数据处理的需求，还可在逻辑模块1043内部单独配置DDR存储器(即，图2最下方的DDR)，专门供视频分析单元和视频压缩单元使用。在一实施例中，视频分析前端10还包括一第一双倍速率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM)和一第二双倍速率同步动态随机存储器。如图2所示，第一DDR SDRAM耦接至处理模块1041，第二DDR SDRAM耦接至逻辑模块1043。
图3示出图1的智能视频安防系统应用于运动车辆识别的一具体实施例。
参照图3，交通应用中需要对运动的车辆进行识别，提取运动轨迹，然后判断车辆是否越黄线、逆行、违规停车等。若确认违规，再对违规车辆进行标识并识别车牌。这一系列操作包含运动目标特征提取、运动轨迹提取与追踪、车牌定位、车牌字符分割、光学字符识别。在运动目标检测算法中，本实施例采用的是改进型的背景差法以及基于颜色空间的背景阴影去除算法，通过对背景的提取和更新来适应复杂的背景变化，更好的分离前景和后景。在运动目标轨迹追踪实现中采用基于特征的卡尔曼预测算法。
结合图2和图3，该实例应用的整个视频分析算法实现的过程如下：
视频预处理部分，实现了噪声滤波和图像增强，此预处理部分由IP核执行。预处理完成后，将视频数据经VDMA存储至系统的DDR中。然后，视频数据在系统的控制下经另一VDMA读取到视频分析单元，以实现图3中的从前后景分离开始的后面的算法。具体地，前后景分离和背景特征提取部分的算法需要对相邻视频帧进行运算，此时视频数据经VDMA后存储到FPGA-SOC芯片对应单独的DDR缓存中所开辟的Frame Buffer中。IP核在AXI4-Lite总线的控制下从Frame Buffer中读取视频数据进行处理。车辆的属性特征数据由ARM处理器通过AXI4-Lite总线配置给IP核，然后由IP核算法对比属性特征检测和提取出视频数据中的车辆信息。此过程中的算法也用到Frame Buffer和Line Buffer加载视频数据进行运算。在此，Frame Buffer和Line Buffer可进行统一处理，实现多个算法共享，通过Frame Buffer与Line Buffer之间的切换来控制算法的交替，进而减少实时视频处理的延时。其中Frame Buffer为视频帧缓存，用来做算法中不同帧之间的运算。Line Buffer为视频帧行像素缓存，用来做算法中相邻行之间像素窗口数据的运算。运算完成后，含有标定目标车辆信息的视频数据流再经VDMA传输到系统的DDR中，供ARM处理器调用。ARM处理器从系统的DDR中读取标定了目标车辆的视频数据，然后由软件算法实现目标车辆的运动轨迹追踪提取与标识。并结合设定的规则和车辆属性库，判断车辆是否违规以及车辆的类型等。判断出违规车辆以及特性后，需要对违规车辆进行车牌识别，此时再由VDMA将违规车辆图像传输给FPGA-SOC芯片，由IP核实现对车牌字符的定位与分割，然后经VDMA回到系统内存中，由ARM处理器来对比车牌字符库与字符，得到违规车辆的车牌号信息。最后，于视频分析完成后，分析结果的一部分会描述到原始视频的目标上，另一部分(车牌号等)会以信令方式发送给中心视频服务器。标识了分析结果的原始视频在网络传输前需要进行视频压缩。本实施例中采用的是H.264压缩方式，压缩完成后，视频流回到系统内存中，由ARM处理器进行数据打包，按照系统协议通过网络模块发送给中心视频服务器。
图4示出图1的智能视频安防系统的运行原理示意图。参照图4，视频分析前端开机初始化后，各个接口和模块处于工作状态，若此时中心视频服务器未配置视频分析前端，则视频分析前端开始按照默认的预设参数开始接收、处理和发送视频数据。此外，中心视频服务器可通过客户终端进行实时视频的监控，并接收显示违反规则的目标信息。同时，中心视频服务器可以在视频分析前端工作的任意时间重新设置或更新目标检测的规则和参数。
在图4中，当默认参数或服务器配置参数之后，对输入的视频流进行预处理，然后依次将视频分析单元的视频分析结果以及视频压缩单元的压缩结果缓存到系统的DDR中，最后由视频输出接口通过网络将标准的IP视频流信号发送给中心视频服务器。
图5示出依据本发明的另一实施方式，用于智能视频安防系统的信号处理方法的流程框图。
参照图5并结合图1、图2，在该信号处理方法中，首先执行步骤S11，视频分析前端10将高速SDI视频信号解串为符合BT.656标准的数字视频流信号。接着执行步骤S13，视频分析前端10对数字视频流信号进行预处理和视频行为分析，并输出处理后的标准的IP视频流信号。然后执行步骤S15，视频分析前端10将IP视频流信号传送至中心视频服务器12。最后，中心视频服务器12接收IP视频流信号，并可在视频分析前端10工作的任意时间重新设置或更新配置视频分析前端10的视频分析规则，以及监控视频分析前端10处理后的综合视频流。
在一具体实施例，FPGA-SOC芯片的逻辑模块还用于在视频图像预处理之后，通过第一VDMA IP核将视频数据存放于系统的DDR，然后由第二VDMA IP核从系统的DDR读取视频数据并对其进行视频分析处理，接着将视频分析处理后的视频数据再次缓存至系统的DDR，之后由第三VDMA IP核从系统的DDR再次读取分析处理后的视频数据，从而对其进行视频数据的压缩处理。
采用本发明的基于FPGA-SOC芯片的智能视频安防系统及其信号处理方法，视频分析前端的视频输入接口将高速SDI视频信号解串为符合BT.656标准的数字视频流信号，控制模块与视频输入接口相连并对数字视频流信号进行预处理和视频行为分析，输出处理后的标准的IP视频流信号，视频输出接口与控制模块相连并将IP视频流信号传送至中心视频服务器，进而中心视频服务器接收IP视频流信号，配置视频分析前端的视频分析规则，并监控视频分析前端处理后的综合视频流。与现有技术相比，本发明能有效地针对实时高清视频(1080P，30fps/60fps)实现多目标、多规则同时进行视频分析。此外，为有效提高视频分析算法的实现效率，本发明除了利用FPGA的并行处理特性外，将算法的实现大量使用流水线操作，并采取面积换取速度的方式来提高处理的数据吞吐率。再者，视频分析算法与嵌入式系统控制由一颗FPGA-SOC集成芯片完成，减少了硬件成本，降低了系统功耗。本发明适用于公共监控领域，如交通、小区、机场、广场、油田、监狱、博物馆等需要及时发现异常事件并联动报警的场合。此外，本发明的安防系统的视频分析前端可用于集成智能视频分析摄像一体机。
上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
Claims (14)
1.一种基于FPGA-SOC的智能视频安防系统，其特征在于，所述智能视频安防系统包括视频分析前端以及中心视频服务器，其中，所述视频分析前端包括：
视频输入接口，用于将高速SDI视频信号解串为符合BT.656标准的数字视频流信号；
控制模块，包括FPGA-SOC芯片，所述控制模块与所述视频输入接口相耦接，用于对所述数字视频流信号进行预处理和视频行为分析，并输出处理后的标准的IP视频流信号；
视频输出接口，与所述控制模块相耦接，用于将所述IP视频流信号传送至所述中心视频服务器，
其中，所述中心视频服务器用于接收所述IP视频流信号，配置所述视频分析前端的视频分析规则，以及监控所述视频分析前端处理后的综合视频流。
2.根据权利要求1所述的智能视频安防系统，其特征在于，所述FPGA-SOC芯片还包括逻辑模块以及处理模块，
其中，所述逻辑模块用于接收所述数字视频流信号，并对所述数字视频流信号进行视频图像预处理和视频行为分析，并将处理后的视频数据存入系统的存储器；
其中，所述处理模块从所述存储器读取所述处理后的视频数据，对其进行运动轨迹提取和判断，并通过比较运动目标轨迹与已配置的视频分析规则来判断运动行为的合法性，进而将最终的IP视频流信号通过网络发送给所述中心视频服务器。
3.根据权利要求2所述的智能视频安防系统，其特征在于，所述处理模块具有ARM处理器、DMA控制器、第一存储器控制器、中断控制器以及外围接口模块，
其中，所述ARM处理器分别与所述中断控制器和所述第一存储器控制器相耦接，所述外围接口模块与所述DMA控制器和所述中断控制器相耦接。
4.根据权利要求3所述的智能视频安防系统，其特征在于，所述外围接口模块用于输出所述IP视频流信号，以及发送和/或接收GPIO传感器报警信号。
5.根据权利要求3所述的智能视频安防系统，其特征在于，所述逻辑模块具有视频图像预处理单元、视频分析单元、视频压缩单元、第二存储器控制器以及多个VDMA IP核，
其中，所述视频图像预处理单元经由第一VDMA IP核耦接至所述第一存储器控制器，所述视频分析单元耦接至所述视频图像预处理单元且经由第二VDMA IP核耦接至所述第一存储器控制器，所述视频压缩单元耦接至所述视频图像预处理单元且经由第三VDMA IP核耦接至所述第一存储器控制器。
其中所述视频图像预处理单元对所接收的视频流进行图像色彩空间转换、图像增强滤波、电子稳像、噪声滤波、图像灰值处理和/或二值化处理；所述视频分析单元对经过预处理后的数字视频通过智能视觉算法进行多视频行为规则并行处理；所述视频压缩单元对包含有处理结果的视频流进行H.264压缩。
6.根据权利要求3所述的智能视频安防系统，其特征在于，所述外围接口模块为I2C、UART、SPI、ETH或CAN通信接口。
7.根据权利要求3所述的智能视频安防系统，其特征在于，所述ARM处理器用于支持ONVIF安防接口协议，以及支持HTTP、FTP或RTP网络协议。
8.根据权利要求2所述的智能视频安防系统，其特征在于，所述视频分析前端还包括一第一DDR SDRAM和一第二DDRSDRAM，其中，所述第一DDR SDRAM耦接至所述处理模块，所述第二DDR SDRAM耦接至所述逻辑模块。
9.根据权利要求5所述的智能视频安防系统，其特征在于，通过VDMA将视频流数据传输到存储器时，设定了三个不同的视频帧缓存，VDMA设置为PARK工作模式，从而通过应用程序控制DMA的运行和不同的视频帧缓存之间的切换。
10.根据权利要求1所述的智能视频安防系统，其特征在于，所述高速SDI视频信号为高清工业摄像机所采集的SD-SDI、HD-SDI或3G-SDI的视频信号。
11.一种用于智能视频安防系统的信号处理方法，所述智能视频安防系统包括视频分析前端以及中心视频服务器，其特征在于，所述信号处理方法包括：
所述视频分析前端将高速SDI视频信号解串为符合BT.656标准的数字视频流信号；
所述视频分析前端对所述数字视频流信号进行预处理和视频行为分析，并输出处理后的标准的IP视频流信号；
所述视频分析前端将所述IP视频流信号传送至所述中心视频服务器；
所述中心视频服务器接收所述IP视频流信号，配置所述视频分析前端的视频分析规则，以及监控所述视频分析前端处理后的综合视频流。
12.根据权利要求11所述的信号处理方法，其特征在于，所述视频分析前端包括FPGA-SOC芯片，所述FPGA-SOC芯片包括逻辑模块以及处理模块，
其中，所述逻辑模块用于接收所述数字视频流信号，并对所述数字视频流信号进行视频图像预处理和视频行为分析，并将处理后的视频数据存入系统的存储器；
其中，所述处理模块从所述存储器读取所述处理后的视频数据，对其进行运动轨迹提取和判断，并通过比较运动目标轨迹与已配置的视频分析规则来判断运动行为的合法性，进而将最终的IP视频流信号通过网络发送给所述中心视频服务器。
13.根据权利要求12所述的信号处理方法，其特征在于，所述逻辑模块还用于执行：
预处理操作，用于对所接收的视频流进行图像色彩空间转换、图像增强滤波、电子稳像、噪声滤波、图像灰值处理和/或二值化处理；
视频分析操作，用于对经过预处理后的数字视频通过智能视觉算法进行多视频行为规则并行处理；
视频压缩操作，用于对包含有处理结果的视频流进行H.264压缩。
14.根据权利要求12所述的信号处理方法，其特征在于，所述视频分析前端还包括一第一DDR SDRAM和一第二DDRSDRAM，其中，所述第一DDR SDRAM耦接至所述处理模块，所述第二DDR SDRAM耦接至所述逻辑模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410554713.2A CN104320615B (zh) | 2014-10-17 | 2014-10-17 | 一种智能视频安防系统及其信号处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410554713.2A CN104320615B (zh) | 2014-10-17 | 2014-10-17 | 一种智能视频安防系统及其信号处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104320615A true CN104320615A (zh) | 2015-01-28 |
| CN104320615B CN104320615B (zh) | 2018-02-23 |
Family
ID=52375778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410554713.2A Active CN104320615B (zh) | 2014-10-17 | 2014-10-17 | 一种智能视频安防系统及其信号处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104320615B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104836986A (zh) * | 2015-04-15 | 2015-08-12 | 华东师范大学 | 视频信息智能显示方法及装置 |
| CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理系统与方法 |
| CN105828041A (zh) * | 2016-04-11 | 2016-08-03 | 上海大学 | 一种支持并行预处理的视频采集系统 |
| CN105979201A (zh) * | 2016-04-11 | 2016-09-28 | 上海大学 | 一种基于并行处理器的智能可穿戴设备 |
| CN106254795A (zh) * | 2016-08-31 | 2016-12-21 | 成都市和平科技有限责任公司 | 一种基于空间域图像增强技术的图像增强设备及方法 |
| CN106324195A (zh) * | 2016-08-17 | 2017-01-11 | 成都环球物讯科技有限责任公司 | 一种智慧社区综合服务安防系统 |
| CN106407522A (zh) * | 2016-08-31 | 2017-02-15 | 德为显示科技股份有限公司 | 基于fpga的逻辑ip总线互联实现装置 |
| WO2017181871A1 (zh) * | 2016-04-19 | 2017-10-26 | 中兴通讯股份有限公司 | 视频监控方法、装置及系统 |
| CN107506773A (zh) * | 2017-09-25 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种特征提取方法、装置及系统 |
| CN108712630A (zh) * | 2018-04-19 | 2018-10-26 | 安凯(广州)微电子技术有限公司 | 一种基于深度学习的互联网摄像系统及其实现方法 |
| CN110519497A (zh) * | 2019-08-28 | 2019-11-29 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种基于vdma的零拷贝触发采集装置及方法 |
| CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
| WO2022011989A1 (zh) * | 2020-07-16 | 2022-01-20 | 威创集团股份有限公司 | 一种视频编码系统 |
| CN114489496A (zh) * | 2022-01-14 | 2022-05-13 | 南京邮电大学 | 基于fpga人工智能加速器的数据存储和传输方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090009644A1 (en) * | 2007-07-06 | 2009-01-08 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
| CN103158620A (zh) * | 2013-03-25 | 2013-06-19 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警系统 |
| CN104469274A (zh) * | 2013-09-22 | 2015-03-25 | 华南师范大学 | 一种智能视频监控系统 |
-
2014
- 2014-10-17 CN CN201410554713.2A patent/CN104320615B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090009644A1 (en) * | 2007-07-06 | 2009-01-08 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling the same |
| CN103158620A (zh) * | 2013-03-25 | 2013-06-19 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警系统 |
| CN104469274A (zh) * | 2013-09-22 | 2015-03-25 | 华南师范大学 | 一种智能视频监控系统 |
Non-Patent Citations (3)
| Title |
|---|
| 刘晓伟: "基于FPGA机器视觉的运动目标检测跟踪系统", 《中国优秀硕士论文全文数据库》 * |
| 吴作勇等: "基于FPGA和ARM的图像采集传输系统", 《设计参考》 * |
| 潘玉荣: "基于嵌入式系统的高速图像识别装置", 《中国优秀硕士论文全文数据库》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104836986A (zh) * | 2015-04-15 | 2015-08-12 | 华东师范大学 | 视频信息智能显示方法及装置 |
| CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理系统与方法 |
| CN105828041A (zh) * | 2016-04-11 | 2016-08-03 | 上海大学 | 一种支持并行预处理的视频采集系统 |
| CN105979201A (zh) * | 2016-04-11 | 2016-09-28 | 上海大学 | 一种基于并行处理器的智能可穿戴设备 |
| WO2017181871A1 (zh) * | 2016-04-19 | 2017-10-26 | 中兴通讯股份有限公司 | 视频监控方法、装置及系统 |
| CN106324195A (zh) * | 2016-08-17 | 2017-01-11 | 成都环球物讯科技有限责任公司 | 一种智慧社区综合服务安防系统 |
| CN106407522B (zh) * | 2016-08-31 | 2019-09-10 | 德为显示科技股份有限公司 | 基于fpga的逻辑ip总线互联实现装置 |
| CN106254795A (zh) * | 2016-08-31 | 2016-12-21 | 成都市和平科技有限责任公司 | 一种基于空间域图像增强技术的图像增强设备及方法 |
| CN106407522A (zh) * | 2016-08-31 | 2017-02-15 | 德为显示科技股份有限公司 | 基于fpga的逻辑ip总线互联实现装置 |
| CN107506773A (zh) * | 2017-09-25 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种特征提取方法、装置及系统 |
| CN108712630A (zh) * | 2018-04-19 | 2018-10-26 | 安凯(广州)微电子技术有限公司 | 一种基于深度学习的互联网摄像系统及其实现方法 |
| CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
| CN110519497A (zh) * | 2019-08-28 | 2019-11-29 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种基于vdma的零拷贝触发采集装置及方法 |
| CN110519497B (zh) * | 2019-08-28 | 2020-11-17 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种基于vdma的零拷贝触发采集装置及方法 |
| WO2022011989A1 (zh) * | 2020-07-16 | 2022-01-20 | 威创集团股份有限公司 | 一种视频编码系统 |
| CN114489496A (zh) * | 2022-01-14 | 2022-05-13 | 南京邮电大学 | 基于fpga人工智能加速器的数据存储和传输方法 |
| CN114489496B (zh) * | 2022-01-14 | 2024-05-21 | 南京邮电大学 | 基于fpga人工智能加速器的数据存储和传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104320615B (zh) | 2018-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104320615B (zh) | 一种智能视频安防系统及其信号处理方法 | |
| KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
| US10123051B2 (en) | Video analytics with pre-processing at the source end | |
| US10122906B2 (en) | Adaptive video end-to-end network with local abstraction | |
| US10593049B2 (en) | System and method for real-time detection of objects in motion | |
| CN109640007B (zh) | 人工智能图像传感设备 | |
| US10848709B2 (en) | Artificial intelligence based image data processing method and image processing device | |
| CN110769257A (zh) | 智能视频结构化分析装置、方法和系统 | |
| EP3357231B1 (en) | Method and system for smart imaging | |
| US11696039B2 (en) | Smart IP camera with color night mode | |
| US10373015B2 (en) | System and method of detecting moving objects | |
| US9076268B2 (en) | Method and system for analyzing multi-channel images | |
| CN114187541A (zh) | 一种面向自定义业务场景的智能视频分析的方法和存储设备 | |
| JP7429756B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| Kim et al. | Multi-object tracking coprocessor for multi-channel embedded DVR systems | |
| CN111062894A (zh) | 人工智能处理器以及人工智能分析设备 | |
| Brzoza-Woch et al. | Remotely reconfigurable hardware–software platform with web service interface for automated video surveillance | |
| CN116723295A (zh) | 基于gpgpu芯片的多摄像头监控管理系统 | |
| CN211349420U (zh) | 人工智能分析设备以及人工智能处理器 | |
| CN208015894U (zh) | 一种基于全景摄像头的视频分析系统 | |
| JP2012212235A (ja) | 物体検出システム、物体検出方法、及びプログラム | |
| Li | A suvey on edge intelligent video surveillance with deep reinforcement learning | |
| CN205123916U (zh) | 可扩展的智能视频预警组件 | |
| KR102728962B1 (ko) | 엣지 인공지능의 표적 추론 방법 | |
| Mustafah et al. | Smart cameras enabling automated face recognition in the crowd for intelligent surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Intelligent video security and protection system and signal processing method thereof Effective date of registration: 20190211 Granted publication date: 20180223 Pledgee: AOJIE TECHNOLOGY (SHANGHAI) CO., LTD. Pledgor: Zhi Qing information systems (Shanghai) Co., Ltd. Registration number: 2019310000003 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20190912 Granted publication date: 20180223 Pledgee: Aojie Technology (Shanghai) Co., Ltd. Pledgor: Intelligent Engine Information System (Shanghai) Co., Ltd. Registration number: 2019310000003 |