CN111292037B - 在仓储管理中通过视频划线分区的方法和系统 - Google Patents

Abstract

本发明公开了一种在仓储管理中通过视频划线分区的方法，其在摄像头视频监控的基础上，对接收到的视频数据进行电子划线，并保存划定区域边界线的二维坐标集于数据库中，以及在后续的视频监控时，可把区域边界线重新加载于视频数据画面上。具体地，先提取摄像头采集的监控视频中的一帧图片作为canvas工作区。而后根据仓库对不同区域的划分情况，对canvas工作区显示范围内的多个分区的区域边界线进行绘制。再通过JavaScript记录绘制过程中所有节点坐标和顺序，生成与每个分区一一对应的区域信息。最后将区域信息叠加到监控视频的每帧图片数据中，以在监控视频播放的同时展示该监控视频画面内的分区。

Description

在仓储管理中通过视频划线分区的方法和系统

技术领域

本发明涉及仓储智能管理的技术领域，尤其涉及一种在仓储管理中通过视频划线分区的方法和系统。

背景技术

目前，仓库存储智能化管理技术不断进步，其中的仓储区域管理办法越来越受重视。合理而直观的仓储区域规划对于仓库的整体管理非常重要，这直接关系到仓库的使用效率和经营计划，可以说是仓储管理中最关键的空间属性。

一个正常运营的仓库，一般可分为收货区、存储区和发货区等不同分区。各个不同分区执行不同功能，具备不同的特点。例如收货区和发货区一般是卡车和叉车相互衔接，进行货物装卸的区域，此类区域的车辆流动性较大，工作作业繁忙；而存储区是叉车将货物进行堆垛、临时存放的区域，此类区域一般会占据仓库的大部分面积，但需避开收发货所需的交通要道，以免造成叉车运行不畅。对于不同的分区，当然需要针对其特点采取不同的管理办法，特别是要和仓储的数字化管理系统相结合。

现实状况下的仓储区域划分，一般采用传统的方式进行，例如在仓库内进行丈量，然后划线设定各自范围，再以现场指示牌标识或图纸绘制的方式告知仓库工作人员。这种方式虽然有着简单易操作的优点，但无法与仓储的数字化管理结合以发挥后者更大的效能，如：

1)分区方法粗糙，区域的划分在很大程度上是并没有对合理性做更多的思考，导致区域边界不明晰，整体规划不科学，安全问题频出。

2)无法将各分区的坐标和面积导入数字化的仓储管理系统，不能做精确的位置定位和事件捕捉，以及后续的提升整体效能的管理行为。

综上所述，现行的仓储区域划分方式无法进行数字化管理，在一定程度上影响了仓储管理单位的成本控制和业务运营。

发明内容

为解决现有技术中的问题，本发明提出了一种在仓储管理中通过视频划线分区的方法和系统，其在摄像头视频监控的基础上，对接收到的视频数据进行电子划线，并保存划定区域边界线的二维坐标集于数据库中，以及在后续的视频监控时，可把区域边界线重新加载于视频数据画面上，可有效解决仓储管理中区域划线不够准确、无法进行数据化管理的问题。

为实现上述目的，本发明实施例提供了一种在仓储管理中通过视频划线分区的方法，包括如下步骤：

步骤S1：通过摄像头采集仓库所有分区的监控视频，提取摄像头采集的监控视频中的一帧图片作为canvas工作区；

步骤S2：根据仓库对不同区域的划分情况，对canvas工作区显示范围内的多个分区的区域边界线进行绘制，绘制的具体过程如下：

S21，通过Javascript设置绘制的canvas参数，所述canvas参数包括区域分界线的线条颜色、粗细、线条透明度，以及区域内部的填充色；

S22，通过Javascript获取canvas参数，在分区的区域边界上标定若干节点；前后节点通过线段连接，起始节点和终止节点重叠，所有节点之间的线段围合在一起后形成封闭的区域边界线；

步骤S3：通过JavaScript记录绘制过程中所有节点坐标和顺序，生成与每个分区一一对应的区域信息；

步骤S4：将摄像头采集的监控视频发送至显示终端时，将区域信息叠加到监控视频的每帧图片数据中，并随监控视频的播放进行展示。

可选地，在所述步骤S1中，摄像头的空间位置固定。

可选地，在所述步骤S21中，不同分区的区域分界线的线条颜色和填充色均不同。

可选地，所述步骤S3中，所述区域信息包括区域编号area_no、区域名称area_name、线条颜色line_color、线条粗细line_width、节点坐标集合points以及该区域的hash值hash_val。

第二方面，本发明实施例提供了一种在仓储管理中通过视频划线分区的系统，其包括：

摄像头阵列，用于采集仓库所有分区的监控视频流数据，其中，所述摄像头阵列包括多个摄像头，每个摄像头的拍摄范围内至少包含一个或一个以上的分区；

视频源模块，用于接收和处理监控视频流数据；

视频区域划线模块，用于提取监控视频中的一帧图片作为canvas工作区，对canvas工作区显示范围内的多个分区的区域边界线进行绘制，并记录绘制过程中的绘制数据，生成与每个分区一一对应的区域信息；

区域信息存取模块，用于存储和读取视频区域划线模块生成的区域信息；

视频区域展示模块，用于在摄像头将采集的监控视频数据发送到显示终端的同时，将区域信息叠加到监控视频的每帧图片数据中进行展示。

可选地，所述视频区域划线模块的绘制过程如下：

步骤A1，通过Javascript设置绘制的canvas参数，所述canvas参数包括区域分界线的线条颜色、粗细、线条透明度，以及区域内部的填充色；

步骤A2，通过Javascript获取canvas参数，在分区的区域边界上标定若干节点；前后节点通过线段连接，起始节点和终止节点重叠，所有节点之间的线段围合在一起后形成封闭的区域边界线。

可选地，所述视频区域划线模块记录绘制过程中的绘制数据具体为：通过JavaScript记录绘制过程中所有节点坐标和顺序。

可选地，所述区域信息包括区域编号、区域名称area_name、线条颜色line_color、线条粗细line_width、节点坐标集合points以及该区域的hash值hash_val。

可选地，所述区域信息存取模块具有存入信息接口和取出信息接口，其存入信息接口与视频区域划线模块连接，其取出信息接口与视频区域展示模块连接。

根据本申请所描述的方法，以HTML5的Canvas对摄像头视频图像进行区域划线，并将区域边界坐标集进行储存和读取，在后续的摄像头视频监控中，可以在视频画面中动态的画入各功能分区的区域界线，可有效解决仓储管理中区域划线不够准确、无法进行数据化管理的问题。

与现有技术相比，本发明提供的方案可应用于仓储数字化管理系统，提升仓储的整体经济效益，给管理人员带来以下好处：

1、加强工作人员的安全管理。如果在叉车运行频繁的工作时间里，有人进入收货区或发货区等工作区域，仓库视频监控体系捕捉到人的位置坐标在收/发货区坐标范围内，则会报警给系统管理人员，而管理人员可以采取后续措施，例如广播通知相关人员离开特定区域等等。

2、加强仓储货物的防盗管理。如果在仓库非工作时间(例如21点至第二天8点之间)，仓库视频监控体系捕捉到人的位置坐标在存储区坐标范围内，并辅以其他判定规则(如坐标重合时长、是否有货物移出存储区范围等等)，通知管理人员有盗损情况。

3、更准确的做存货区容量管理。在区域划分数字化的前提下，仓储的货物容量可根据存货区面积*可存货高度*堆垛系数来获得，在仓库运营过程中，可实时的获得目前容量的已用比例来进行可用性预估。

4、更便利的做各区域动态管理。仓储智能系统的管理员可根据各个分区的作业单元数目、货物吞吐量等实时数据进行区域动态调整，对工作过忙的区域可临时增大面积范围，而相对清闲的区域可临时减小面积范围。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为应用本发明所述方法的系统框架结构图；

图2为视频区域划线模块进行划线分区的效果示意图；

图3为本发明所述方法的处理逻辑流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。

为便于理解本方案的技术方案，下面对本技术方案中涉及的技术名词进行如下说明：

1、JavaScript

JavaScript(简称“JS”)是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。它是作为开发Web页面的脚本语言而出名，同时它也被用到了很多非浏览器环境中，JavaScript基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式(如函数式编程)风格。

2、HTML5

HTML5是构建Web内容的一种语言描述方式，被认为是互联网的核心技术之一。HTML产生于1990年，1997年HTML4成为互联网标准，并广泛应用于互联网应用的开发。HTML5在从前HTML4.01的基础上进行了一定的改进，是Web中核心语言HTML的规范。用户使用任何手段进行网页浏览时看到的内容原本都是HTML格式的，在浏览器中通过一些技术处理将其转换成为了可识别的信息。

3、Canvas

canvas是HTML5提供的一个用于展示绘图效果的标签，canvas原意画布,帆布，在HTML页面中用于展示绘图效果。最早canvas是苹果提出的一个方案,今天已经在大多数浏览器中实现。canvas元素使用JavaScript在网页上绘制图像。画布是一个矩形区域，开发者可以控制其每一像素，canvas拥有多种绘制路径、矩形、圆形、字符以及添加图像的方法。

图1示意性地显示了应用本发明所述方法的系统的框架结构图，如图1所示，该系统包括：多个摄像头组成的摄像头阵列，一视频源模块，一视频区域划线模块、区域信息存取模块以及一视频区域展示模块。

摄像头阵列中的摄像头用于采集仓库内的视频数据。一般情况下，该摄像头可直接采用仓库出入口区域正在使用的监控摄像头。如果摄像头的清晰度不够，则需要将摄像头更换为1080P高清摄像头，以保证监控视频的帧画面的清晰度，以便于后续模块的识别处理。摄像头阵列的监控范围要求覆盖仓库所有分区，若未覆盖则需要对摄像头的可视范围、拍摄角度、相对位置进行调整，以保证有效的读取到足够进行后续计算和分析的数据。另外，对于区域交界处可另行增加摄像头，以保证区域划线的准确。

视频源模块用于接收和处理监控视频流数据，其通过RTSP协议直接读取摄像头采集的视频流数据。RTSP(Real Time Streaming Protocol)即实时流传输协议，是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。视频源模块通过对RTSP进行收包和解包，在本地缓存下来后，再全量传输给到下一模块。

视频区域划线模块用于从摄像头采集的监控视频中提取单帧图片作为canvas工作区，对canvas工作区显示范围内的多个分区的区域边界线进行绘制，并记录绘制过程中的绘制数据，生成与每个分区一一对应的区域信息。绘区域边界线的绘制是基于Javascript脚本语言结合HTML5的canvas绘图实现，其具体的绘制过程如下：

步骤a，选取摄像头阵列中的一摄像头作为关注摄像头，从关注的摄像头采集的监控视频中截取一帧帧图片作为划线工作的canvas工作区。

在本实施例中，每个摄像头在配置好后其位置将会保持固定，故其可视范围在一定的时间内保持不变，因此，每个摄像头采集的对应的监控视频画面具备连贯性和一致性，画面的空间位置不会发生改变。故，可根据一帧图片的处理结果来作用于本摄像头的其他帧图片。

步骤b，通过Javascript设置绘制的canvas参数，该canvas参数包括区域分界线的线条颜色、粗细、线条透明度，以及区域内部的填充色。其中，不同分区的区域分界线的线条颜色和填充色均不同，以便于操作人员进行区域设置和仓储系统管理人员的监控管理。

步骤c，通过Javascript获取canvas参数，通过移动鼠标在canvas工作区上(即截取的帧图片上)进行区域边界线的绘制。具体地，根据仓库在现实空间中各部分的功能分区，选定canvas工作区显示范围内中的一个分区，在该分区的区域边界上标定一节点作为绘制的起始节点，再通过移动鼠标在该分区的区域边界上标定第二个节点，第二个节点标定后自动生成与起始节点相连的线段。标定第三个节点时，第二个节点与第二个节点自动连上线段，以此类推，最后一个节点标定到起始节点的位置，从而使得所有节点连接的线段闭合形成一个封闭的区域边界线。当一个分区的区域边界线绘制完成后，再在另外一分区的区域边界上进行区域边界线的绘制，直至canvas工作区显示范围内的所有分区的区域边界线都绘制完毕。分区的区域边界线绘制后，对区域边界线内的区域进行颜色填充。

在步骤c中，为便于对已绘制好的区域边界线进行二次编辑，在通过移动鼠标标定节点时，通过Javascript绑定鼠标的拖拽事件。由此，节点的坐标会随鼠标的拖拽变动而更新，节点之间的线段也会跟随节点的左边而变动。

同时，为便于绘制，视频区域划线模块还设置有鼠标右键删除坐标功能。

步骤d，在区域边界线绘制的过程中，同时通过Javascript会记录绘制过程中所有节点的坐标及顺序，并根据所有节点的坐标集合和设置canvas参数生成区域信息，每一分区均对应一区域信息。

具体地，该区域信息包括区域编号area_no、区域名称area_name、线条颜色line_color、线条粗细line_width、节点坐标集合points以及区域hash值hash_val，如下表所示：

area_no	区域编号
		area_name	区域名称
line_color	线条颜色
		line_width	线条粗细
points	节点坐标点集合
		hash_val	区域hash值

其中，points为分区对应的一系列的节点坐标点(x，y)，canvas工作区(即截取的单帧图片)的最左上角的位置定义为原点，其坐标为(0，0)，最右下角的坐标为(video_width,video_height)。一系列的坐标点可构成一个多边形区域，该区域为非自交多边形。

一个canvas工作区内包含多个分区，因此可绘制出多个区域边界线。区域hash值由其对应分区上所有的节点坐标点集合和该分区的线条特征等信息进行散列获得，用于判断该分区是否修改过，若该hash值修改过，则存为新的分区。

区域信息存取模块用于存储和读取已确定的区域信息，其具有两个功能接口，分别为存入信息接口和取出信息接口。其中，存入信息接口由视频区域划线模块调用，以读取视频区域划线模块生成的区域信息；取出信息接口由视频区域展示模块调用，以向视频区域展示模块发送区域信息。

视频区域展示模块，用于在摄像头将采集的监控视频数据发送到显示终端的同时，将区域信息叠加到监控视频的每帧图片数据中进行展示。

对于一个位置固定的摄像头而言，其摄像头的可视范围是确定不变的，其采集的监控视频的帧图片内的二维平面坐标系也相对固定，监控视频里每帧图片画面的坐标也不会变化。故，截取其中一帧图片进行区域边界线绘制后，可作用到该视频内的其他帧图片上。而对于不同的摄像头，其可视范围不同，帧图片画面内的二维平面坐标系的基准不同，因此需要对每个摄像头的监控视频的帧图片画面分别进行区域边界线的绘制。

视频区域展示模块对摄像头采集的监控视频进行数据前，会先调用区域信息存取模块的取出信息接口，将该摄像头对应的可视范围内的区域信息读取出来并进行初始化。摄像头采集到的每一帧图片，在传递到视频区域展示模块时，都会被重新绘制，即在原始图片上加上已存储的区域信息，对每帧图片显示范围内的功能分区进行划线分区。而后将处理后的监控视频数据发送到显示设备终端(如显示屏)。由此，管理人员通过在显示设备终端查看被划线分区的监控视频，清楚地观察监控视频中每个分区内的作业现状，给管理人员的整体管理工作提供极大的便利。

为达到划线和展示的效果，本发明涉及的视频画面处理需要对大量数据进行实时计算，传统的CPU架构体系已不能满足要求。故，本发明所述的方法采用了GPU进行运算加速，具体采用的是NVIDIA的2080ti显卡，该显卡采用的是图灵TU102核心，用台积电12nmFFN工艺打造，性能很强大，使用该显卡最多可以同时处理10路720p视频。

基于上述系统，如图3所示，本发明提供的在仓储管理中通过视频划线分区的方法包括如下步骤：

步骤1：调整设置在仓库的摄像头阵列，使得摄像头阵列的监控范围覆盖仓库内所有的分区。

步骤2：确定仓库在现实空间中各部分的功能分区，以及部署在仓库中各个摄像头的视频中，各部分分区所占区域。

步骤3：通过视频区域划线模块对不同摄像头的视频画面进行划线分区。具体地划线分区过程为：

步骤31，选取摄像头阵列中的一摄像头作为关注摄像头，从关注的摄像头采集的监控视频中截取一帧帧图片作为划线工作的canvas工作区。

步骤32，通过Javascript设置绘制的canvas参数。

步骤33，通过Javascript获取canvas参数，在canvas工作区上(即截取的帧图片上)进行区域边界线的绘制。区域边界线绘制后，对区域边界线内的区域进行颜色填充。在本实施例中，在canvas工作区上的绘制操作可通过鼠标直接在电脑屏幕上进行操作。然后，依次对所有摄像头执行同样的操作，在此过程中，需使不同摄像头的各个视频分区所指向的范围接近一致。

步骤34，在区域边界线绘制的过程中，同时通过Javascript会记录绘制过程中所有节点的坐标及顺序，并根据所有节点的坐标集合和设置canvas参数生成区域信息，每一分区均对应一区域信息。

步骤4：通过区域信息存取模块存储区域信息。

步骤5：通过视频区域展示模块读取摄像头采集的监控视频，对监控视频中的每帧图片数据，将各个区域的节点坐标点集合、区域线条颜色、区域线条粗细等信息绘制叠加到监控视频中的每帧图片数据，然后再传输给显示屏进行展示。由此，管理人员可直接观察到移动物体(如人或叉车)在哪个分区内活动，从而给管理人员带来以下好处：

1、加强工作人员的安全管理。如果在叉车运行频繁的工作时间里，有人进入收货区或发货区等工作区域，仓库视频监控体系捕捉到人的位置坐标在收/发货区坐标范围内，则会报警给系统管理人员，而管理人员可以采取后续措施，例如广播通知相关人员离开特定区域等等。

2、加强仓储货物的防盗管理。如果在仓库非工作时间(例如21点至第二天8点之间)，仓库视频监控体系捕捉到人的位置坐标在存储区坐标范围内，并辅以其他判定规则(如坐标重合时长、是否有货物移出存储区范围等等)，通知管理人员有盗损情况。

3、更准确的做存货区容量管理。在区域划分数字化的前提下，仓储的货物容量可根据存货区面积*可存货高度*堆垛系数来获得，在仓库运营过程中，可实时的获得目前容量的已用比例来进行可用性预估。

4、更便利的做各区域动态管理。仓储智能系统的管理员可根据各个分区的作业单元数目、货物吞吐量等实时数据进行区域动态调整，对工作过忙的区域可临时增大面积范围，而相对清闲的区域可临时减小面积范围。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种在仓储管理中通过视频划线分区的方法，其特征在于，包括如下步骤：

步骤S1：通过摄像头采集仓库所有分区的监控视频，提取摄像头采集的监控视频中的一帧图片作为canvas工作区；

步骤S2：根据仓库对不同区域的划分情况，对canvas工作区显示范围内的多个分区的区域边界线进行绘制，绘制的具体过程如下：

S21，通过Javascript设置绘制的canvas参数，所述canvas参数包括区域分界线的线条颜色、粗细、线条透明度，以及区域内部的填充色；

S22，通过Javascript获取canvas参数，在分区的区域边界上标定若干节点；前后节点通过线段连接，起始节点和终止节点重叠，所有节点之间的线段围合在一起后形成封闭的区域边界线；

步骤S3：通过Javascript记录绘制过程中所有节点坐标和顺序，生成与每个分区一一对应的区域信息；

步骤S4：将摄像头采集的监控视频发送至显示终端时，将区域信息叠加到监控视频的每帧图片数据中，并随监控视频的播放进行展示；

其中，所述canvas工作区为HTML页面中用于划线的工作区域。

2.如权利要求1所述的在仓储管理中通过视频划线分区的方法，其特征在于，在所述步骤S1中，摄像头的空间位置固定。

3.如权利要求1所述的在仓储管理中通过视频划线分区的方法，其特征在于，在所述步骤S21中，不同分区的区域分界线的线条颜色和填充色均不同。

4.如权利要求3所述的在仓储管理中通过视频划线分区的方法，其特征在于，所述步骤S3中，所述区域信息包括区域编号area_no、区域名称area_name、线条颜色line_color、线条粗细line_width、节点坐标集合points以及该区域的hash值hash_val。

5.一种在仓储管理中通过视频划线分区的系统，其特征在于，包括：

摄像头阵列，用于采集仓库所有分区的监控视频流数据，其中，所述摄像头阵列包括多个摄像头，每个摄像头的拍摄范围内至少包含一个或一个以上的分区；

视频源模块，用于接收和处理监控视频流数据；

视频区域划线模块，用于提取监控视频中的一帧图片作为canvas工作区，对canvas工作区显示范围内的多个分区的区域边界线进行绘制，并记录绘制过程中的绘制数据，生成与每个分区一一对应的区域信息；

区域信息存取模块，用于存储和读取视频区域划线模块生成的区域信息；

视频区域展示模块，用于在摄像头将采集的监控视频数据发送到显示终端的同时，将区域信息叠加到监控视频的每帧图片数据中进行展示；

其中，所述canvas工作区为HTML页面中用于划线的工作区域。

6.如权利要求5所述的在仓储管理中通过视频划线分区的系统，其特征在于，所述视频区域划线模块的绘制过程如下：

步骤A1，通过Javascript设置绘制的canvas参数，所述canvas参数包括区域分界线的线条颜色、粗细、线条透明度，以及区域内部的填充色；

步骤A2，通过Javascript获取canvas参数，在分区的区域边界上标定若干节点；前后节点通过线段连接，起始节点和终止节点重叠，所有节点之间的线段围合在一起后形成封闭的区域边界线。

7.如权利要求6所述的在仓储管理中通过视频划线分区的系统，其特征在于，所述视频区域划线模块记录绘制过程中的绘制数据具体为：通过Javascript记录绘制过程中所有节点坐标和顺序。

8.如权利要求7所述的在仓储管理中通过视频划线分区的系统，其特征在于，所述区域信息包括区域编号area_no、区域名称area_name、线条颜色line_color、线条粗细line_width、节点坐标集合points以及该区域的hash值hash_val。

9.如权利要求5-8任意一项所述的在仓储管理中通过视频划线分区的系统，其特征在于，所述区域信息存取模块具有存入信息接口和取出信息接口，其存入信息接口与视频区域划线模块连接，其取出信息接口与视频区域展示模块连接。

Images