CN117541739B - 基于OpenCV的仓库地图可视化构建方法及系统 - Google Patents

Abstract

本公开提供了基于OpenCV的仓库地图可视化构建方法及系统，涉及数据仓库技术领域，包括：获取仓库内实景图像以及仓库内物体标准数据，构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化；其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位。

Description

基于OpenCV的仓库地图可视化构建方法及系统

技术领域

本公开涉及数据仓库技术领域，具体涉及基于一种基于OpenCV的仓库地图可视化构建方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

仓库管理也叫仓储管理，指的是对仓储货物的收发、结存等活动的有效控制，其目的是为企业保证仓储货物的完好无损，确保生产经营活动的正常进行，并在此基础上对各类货物的活动状况进行分类记录，以明确的图表方式表达仓储货物在数量、品质方面的状况，以及所在的地理位置、部门、订单归属和仓储分散程度等情况的综合管理形式。仓库管理是供应链管理中的重要环节，而供应链管理的初衷是消除一切无效率的活动；合理和准确的仓储活动会减少商品的换装、流动，减少作业次数，采取机械化和自动化的仓储作业，都有利于降低仓储作业成本。

传统的仓库管理方式常常依赖于人力、对物品的位置和工作人员的身份识别往往存在不及时、不准确的问题，可能导致管理效率低下，甚至可能出现安全风险。现有的仓库管理方法层出不穷，方法大多需要多系统之间的来回跳转，仍然存在以下问题：

1）人工查找工作任务，操作麻烦，费时费力；

2）对于新人或者仓库较大时，无法准确定位设备所在位置，领取/归还设备比较麻烦；

3）设备状态无法直观查看，需要针对各个设备单独查找待送检等状态。

发明内容

本公开为了解决上述问题，提出了基于OpenCV的仓库地图可视化构建方法及系统，通过对仓库区域建模，通过OpenCV技术的SURF特征检测法对各墙面之间的交接处进行快速特征抽取，进行特征值匹配，建立墙面之间的关联关系进行地图绘制，并对地图进行展示，便于仓库管理。

根据一些实施例，本公开采用如下技术方案：

基于OpenCV的仓库地图可视化构建方法，包括：

获取仓库内实景图像以及仓库内物体标准数据，构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化，用于用户根据仓库地图领取工器具；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位。

根据一些实施例，本公开采用如下技术方案：

基于OpenCV的仓库地图可视化构建系统，包括：

数据获取模块，用于获取仓库内实景图像以及仓库内物体标准数据；

基本模块构建模块，用于构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

地图生成模块，用于根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位。

与现有技术相比，本公开的有益效果为：

本公开提供了一种基于OpenCV的仓库地图可视化构建方法及系统，通过OpenCV技术将仓库内实景照片与3D模型进行特征的识别和抽取，完成对仓库地图的智能搭建，通过OpenCV技术的SURF特征检测法对各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，当特征值匹配达到百分之八十，识别为两张照片存在关联，即墙面之间建立关联关系，可在任务模式下，可根据仓库地图以及系统算出最优线路，为用户优化领取路线，减轻用户负担。另外，仓库工器具一张图，可在地图上直观的查看到工器具的重要信息，方便安排后续试验、报废等工作。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例任务执行方法流程架构图；

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开的一种实施例中提供了一种基于OpenCV的仓库地图可视化构建方法，包括：

步骤一：获取仓库内实景图像以及仓库内物体标准数据，构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

步骤二：根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位

作为一种实施例，本公开基于OpenCV的仓库地图可视化构建方法具体实施方式为：

步骤1：获取仓库内实景图像以及仓库内物体标准数据，构建仓库、货架以及工器具的物体模型，具体包括：

货架模型构建。目前已知常见的货架有5种，尺寸是一致的，外观和样式有区别，主要是根据安全工器具的类型做的样式适配。分别为接地线货物架、杆装货物架、常规型货物架、手套鞋靴支撑架、梯子货物架。库内以根据这五种架子的常规样式，拍摄前后左右四张标准实景图和利用现有技术制作3D模型。

工器具模型构建。根据常见工器具，拍摄前后左右四张标准实景图和利用现有技术制作工器具3D模型。

建立货架与工器具的关联关系。即手套鞋靴支撑架与手套、鞋靴构建关联关系，当不属于本货物架的物品放置在本货架时，能够予以告警提醒。

进一步的，获取的相关数据贯通。涉及三类数据：人员数据、作业计划信息、工器具数据。人员数据包含人员的面部识别信息和工器具信息查看权限；任务数据包含作业计划、工作负责人和工作实施人等信息；工器具数据即工器具的履历表，包含生产厂家、入库时间等基本信息，以及试验信息等。

步骤2）通过OpenCV技术将仓库内实景照片与3D模型进行特征的识别和抽取，完成对仓库地图的智能搭建。具体搭建步骤分为以下几步：

1）获取仓库内实景图像包括货架图像、工器具图像以及各货架背景墙面图像，仓库内物体标准数据包括人员数据、作业计划信息、工器具数据以及仓库基本信息，所述仓库基本信息包括仓库的平面图，包含面积、实际的长宽尺寸信息仓库平面图录入。绘制地图前，需存入仓库基本信息，包括仓库的平面图，包含面积、实际的长宽尺寸等信息。

2）拍照建模。拍摄者需站在仓库的中心位置，对仓库的各个墙面进行照片拍摄，照片需包含本拍摄墙内的全部内容以及某一相邻墙的部分内容（不低于百分之二十），来获取仓库内各货架背景墙面图像。

2. 实景图片自动匹配模型，生成地图，采用OpenCV技术对图片进行具体分析，总体分为两部分即货架定位和货架类型识别。步骤如下：

1）通过OpenCV技术的SURF特征检测法对各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，当特征值匹配达到百分之八十，识别为两张照片存在关联，即AB墙之间建立关联关系。具体实施步骤：

（1）将获取的照片进行编号，将有门的照片编号为1，其余的四张照片一次标记为2，3，4号。

（2）根据照片中的上墙角到地面做垂直分割线，将分割线上均分为1000份，选取涉及相邻墙体的部分作为识别主体。以将1号照片的临近墙体照片的从顶层开始，依次于2、3、4号照片的顶层对比。

（3）特征匹配的方法为：

① 导入需要的依赖库。

② 创建FLANN匹配器。为了提高检测速度，在调用matching函数前，先训练一个matcher。训练过程使用FlannBasedMatcher来优化，为 descriptor建立索引树，这种操作将在匹配大量数据时发挥巨大作用（用仓库内实景图像以及仓库内物体标准数据进行训练）。

③ 载入需要查询的图标文件。以灰度图像载入，后续匹配特征的时候，用灰度图像。

④ 遍历搜索。

⑤ 最小匹配点数量。两个图片匹配的特征点的数量，若特征点数量大于MIN_MATCH_COUNT，则认为查找图片能对上，否则不行。

⑥ 特征点检测。采用SIFT算法检查图像的关键点和描述符。

⑦ 特征点匹配。

⑧ 寻找最佳匹配；

⑨ 计算单应矩阵；

⑩ 绘制对应标志的匹配框；

⑪ 绘制匹配线。

（4）匹配对为80%以上的，则识别于1号照片关联。依次找出与2，3，4号照片关联的照片进行排序，如1号与3号关联，3号与2号关联，2号与4号关联，4号与1号关联。

2）为了保证识别的准确度，在识别货架的时候采用SIFT算法对特征值进行抽取，需要分为货架和工器具两部分进行识别。货架识别，根据算法识别出的特征值与标准库内的标准实景图进行对比，识别度达到百分之八十以上，配成成功，标记为相同类型的货架。

具体实现步骤：

（1）根据算法识别并获取货架拐点；

（2）根据拐点串联成线，获取货架架构；

（3）将货架架构与货架的物体模型进行对比，识别货架的类型；将货架模型与库内模型建构对比。如有四层货架且中间无分割的货架为常规货架。

3）识别工器具

为了增加识别货架的准确性，将对货架上的工器具识别作为补充，即当货架上的工器具与已识别的货架类型相符合时，识别程度为百分之百。当货架上的工器具与货架类型不符合时，对管理人员发送消息通知，有管理员识别是货架识别失误还是工器具放错位置。具体步骤为：

（1）在识别出货架类型后，系统在库内抓取与货架类型关联的工器具样本照片，将样本照片通过SIFT算法与货架上的实际物品进行特征对比。

（2）特征匹配，具体包括：

① 度空间极值检测：搜索所有尺度上的图像位置。通过高斯差分函数来识别潜在的对于尺度和旋转不变的关键点。

② 关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。

③ 关键点方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而保证了对于这些变换的不变性。

④ 关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度作为关键点的描述符，它允许比较大的局部形状的变形或光照变化。

（3）识别值达80%后，完成匹配。

货架识别完成后，以门的位置为基点，以仓库平面图为地图范围，依次将货架摆放到地图上。以A货架为例，A货架的实际高度为h,宽度为w，长度为l。照片中的高度为h’,距离门所在墙的水平距离为m’。则地图上的具体的摆放位置为距离门所在墙的水平位置为 m’/（h’/h）*比例尺的百分比。以此确定地图上货架的一边后，以此摆放剩余的货架。

货架排放完成后，点击对应货架，根据货架类型筛选可以放置的工器具类型，由用户将筛选后的工器具的RFID放置在货架上完成工器具的摆放。

根据模型完成地图的构建。

作为一种实施例，构建地图后，根据下发的任务模式，对货架上的工器具进行领取时，具体的执行方法为：

在用户领取工器具时，可根据工作任务，计算工器具领取的最优路线，考虑到安全工器具为一般为小型工具，对常见的领取路线方法进行了优化。具体计算步骤如下：

在地图构建时，计算留存每个货架距离门中心点的直线距离ma、mb、mc以及各货架之间彼此的直线距离nab(AB货架之间的距离)、nac(AC货架之间的距离)。

当用户进入仓库时，根据用户身份识别用户最近的工作任务，查询需要领取的工器具及数量。

当工器具中包含梯子和接地线等较难领取的工器具时，将存放此类工器具的货架识别为最后领取，其他工器具按照下面两种算法进行推荐。

以工作任务中涉及的有A、B、C 三个货架，每个货架上需要领取的数量依次为Na,Nb,Nc,重量依次为Ma,Mb,Mc为例

当待领取的工器具数量小于等于10时，识别为轻量级任务，根据设备类型所在的货架的距离进行计算，遍历出最短距离；当待领取的工器具数量大于10时，识别为重量级任务，计算距离时需加入工器具本身的重量作为权重值。

举例说明：若如需领取操纵杆、绝缘手套和安全帽，三类工器具，每类型一个，且分别放置在ABC三个货架上。判断总数量小于10，则采取第一种算法，需依次遍历ABC、ACB、BCA、BAC、CAB、CBA的举例，最终计算出最短距离为最优推荐距离。若仍是这三类工器具，但操纵杆*2，绝缘手套*5，安全帽*5，总数量大于10，则采取第二种算法。以线路ABC为例，则ABC的距离相对值为Na*Ma*(nab+nbc+mc)＋Nb*Mb*(nbc+mc)+Nc*Mc*(mc)。同样依次遍历路线ABC，ACB，BAC，BCA，CAB，CBA这几条线路中距离最短的为推荐路线。

作为一种实施例，对构建的地图进行可视化，包括三种地图模式，一般工作人员只可查看任务模式，每次打开任务模式时，自动根据人员身份调取最近任务；管理人员可查看报废和试验模式，每日早上六点定时更新工器具状态。

1）报废模式：系统采用时间序列的数据分析方式，分析可以找出工器具报废的一般趋势和规律，通过对工器具类型、质保期、生产日期、试验次数、试验报告等参数的分析，主要针对有固定报废时间的工器具、试验次数固定、试验不合格的工器具。将报废的工器具信息，预测工器具的报废时间，在库房地图模型上进行预警。

2）试验模式：系统通过RFID收集工器具信息。对与不同种类的工器具及对应工器具试验日期、使用次数，预测试验周期和试验频率。输出三类试验情况预警，已超过模型预测试验时间、在模型预测试验时间7天内和大于模型预测试验时间7天外的情况，并在仓库地图中对该工器具所在区域进行红色、黄色和提醒。

3）任务模式：通过对历史作业计划所需工器具种类和数量、任务的复杂性、所需时间等信息进行收集，建立决策树模型，并进行训练和验证。使得用户根据面部识别信息，时间等条件，匹配作业计划，根据此作业计划输出该计划所需工器具的地图位置和数量。

实施例2

本公开的一种实施例中提供了一种基于OpenCV的仓库地图可视化构建系统，包括：

数据获取模块，用于获取仓库内实景图像以及仓库内物体标准数据；

基本模块构建模块，用于构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

地图生成模块，用于根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (6)

1.基于OpenCV的仓库地图可视化构建方法，其特征在于，包括：

获取仓库内实景图像以及仓库内物体标准数据，构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化，用于用户根据仓库地图领取工器具；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位；

所述货架类型识别包括：采用SIFT算法对特征值进行抽取，分为货架和工器具两部分进行识别，其中，货架识别为采用SIFT算法对特征值进行抽取，将特征值与实景图像进行对比，若匹配成功，标记为相同类型的货架；

货架识别为采用SIFT算法对特征值进行抽取，包括：利用SIFT算法识别货架，获取货架拐点，根据货架拐点串联成线，获取货架的架构，将货架架构与货架的物体模型进行对比，识别货架的类型；

工器具识别方法为：抓取与货架类型相关联的工器具图像，对工器具图像通过SIFT算法进行特征值识别，将特征值与货架上的实际物品进行特征匹配，完成工器具的识别；

货架识别完成后，以仓库门的位置为基点，以仓库平面图为地图范围，依次将货架摆放在地图上，货架摆放完成后，点击对应货架，根据货架类型筛选工器具，完成工器具的摆放，构建仓库地图并可视化。

2.如权利要求1所述的基于OpenCV的仓库地图可视化构建方法，其特征在于，货架种类包括接地线货物架、杆装货物架、常规型货物架、手套鞋靴支撑架、梯子货物架。

3.如权利要求1所述的基于OpenCV的仓库地图可视化构建方法，其特征在于，建立货架与工器具之间的关联关系，包括手套、鞋靴支撑架与手套、鞋靴之间构建关联关系。

4.如权利要求1所述的基于OpenCV的仓库地图可视化构建方法，其特征在于，仓库内实景图像包括货架图像、工器具图像以及各货架背景墙面图像，仓库内物体标准数据包括人员数据、作业计划信息、工器具数据以及仓库基本信息，所述仓库基本信息包括仓库的平面图，包含面积、实际的长宽尺寸信息。

5.如权利要求1所述的基于OpenCV的仓库地图可视化构建方法，其特征在于，构建各墙面之间的关联关系，实现货架的定位具体包括：

获取仓库内各货架背景墙面图像，并对图像进行编号，根据图像中各的上墙角到地面作多个垂直分割线，选取墙体识别主体，依次进行特征匹配，找出相关之间关联的墙面。

6.基于OpenCV的仓库地图可视化构建系统，其特征在于，包括：

数据获取模块，用于获取仓库内实景图像以及仓库内物体标准数据；

基本模块构建模块，用于构建仓库、货架以及工器具的物体模型，建立货架与工器具之间的关联关系；

地图生成模块，用于根据所述仓库内实景图像自动匹配物体模型，生成仓库地图并可视化；

其中，根据所述仓库内实景图像自动匹配物体模型，包括货架定位和货架类型识别，所述货架定位的方法为：获取仓库内各货架背景墙面图像，通过OpenCV的SURF特征检测法对仓库各墙面之间的交接处进行快速特征抽取，采用FLANN进行特征值匹配，构建各墙面之间的关联关系，实现货架的定位；

所述货架类型识别包括：采用SIFT算法对特征值进行抽取，分为货架和工器具两部分进行识别，其中，货架识别为采用SIFT算法对特征值进行抽取，将特征值与实景图像进行对比，若匹配成功，标记为相同类型的货架；

货架识别为采用SIFT算法对特征值进行抽取，包括：利用SIFT算法识别货架，获取货架拐点，根据货架拐点串联成线，获取货架的架构，将货架架构与货架的物体模型进行对比，识别货架的类型；

工器具识别方法为：抓取与货架类型相关联的工器具图像，对工器具图像通过SIFT算法进行特征值识别，将特征值与货架上的实际物品进行特征匹配，完成工器具的识别；

货架识别完成后，以仓库门的位置为基点，以仓库平面图为地图范围，依次将货架摆放在地图上，货架摆放完成后，点击对应货架，根据货架类型筛选工器具，完成工器具的摆放，构建仓库地图并可视化。