CN110794462B - 建筑工地安全监测系统及其监测方法、装置 - Google Patents
建筑工地安全监测系统及其监测方法、装置 Download PDFInfo
- Publication number
- CN110794462B CN110794462B CN201911078294.9A CN201911078294A CN110794462B CN 110794462 B CN110794462 B CN 110794462B CN 201911078294 A CN201911078294 A CN 201911078294A CN 110794462 B CN110794462 B CN 110794462B
- Authority
- CN
- China
- Prior art keywords
- electromagnetic wave
- wave signal
- neural network
- safety monitoring
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
- G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了建筑工地安全监测系统及其监测方法、装置、计算机设备及存储介质,该建筑工地安全监测系统包括电磁波信号发射装置、电磁波信号接收装置和监测平台;其中,每个电磁波信号发射装置与至少一个电磁波信号接收装置构成所述电磁波传感器阵列;电磁波信号发射装置向监测区域内发射电磁波信号,电磁波信号接收装置接收该电磁波信号,并传输至监测平台;监测平台获取电磁波传感器阵列发送的目标电磁波信号;提取目标电磁波信号的当前特征波形;将当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。本技术方案能够减少环境对建筑工地安全的影响,提高建筑工地安全监测的准确性和识别率。
Description
技术领域
本申请涉及建筑工地安全监测领域,具体而言,本申请涉及一种基建筑工地安全监测系统及其监测方法、装置,还涉及一种计算机设备和存储介质。
背景技术
为了保证建筑工地的安全,需要对建筑现场进行监测,如对建筑施工工地现场具有安全风险的特征进行识别,尤其是在监测区域内对非法闯入物体的识别与监测等。
现有工地安全监测系统以光学监测为主,然而光学监测所使用到的传感器如视觉传感器,激光传感器等,受环境影响大,尤其是在阴雨天、黑夜等光照不稳定的条件,或存在不可穿透遮挡物等,均会对其监测的准确性和效率造成影响。
发明内容
本申请的目的旨在至少解决上述技术缺陷之一,特别是监测准确率和效率低的问题。
第一方面,本申请实施例提供一种建筑工地安全监测系统,包括电磁波信号发射装置、电磁波信号接收装置和监测平台;所述电磁波信号接收装置连接所述监测平台;
所述电磁波信号发射装置与电磁波信号接收装置分布设置在建筑工地指定位置;其中,每个电磁波信号发射装置与至少一个电磁波信号接收装置构成电磁波传感器阵列;
所述电磁波信号发射装置向监测区域内发射电磁波信号,所述电磁波信号接收装置接收该电磁波信号,并传输至监测平台;
所述监测平台提取所述电磁波信号的波形特征,在所述波形特征相对于恒定状态出现改变时,判定出现非法入侵。
在一些实施例中,将所述监测区域依据平面区域划分为四个象限;其中,单一象限内至少设置有一个电磁波信号发射装置以及三个电磁波信号接收装置。
在一些实施例中,所述监测平台对所述电磁波信号进行信号调制输出波形特征,在对应象限内没有入侵物体时,输出恒定的特征波形,存在入侵物体,输出变化的特征波形。
在一些实施例中,所述监测平台还用于将所述变化的特征波形输入预先训练的安全监测神经网络模型进行识别,获取入侵物体的位置信息及结构特征。
第二方面,本申请实施例还提供了一种建筑工地安全监测方法,应用于第一方面任一实施例所述的监测平台,包括以下步骤:
获取电磁波传感器阵列发送的目标电磁波信号;
提取所述目标电磁波信号的当前特征波形;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。
在一些实施例中,所述安全监测神经网络模型包括安全监测静态神经网络和安全监测动态神经网络。
在一些实施例中,所述安全监测静态神经网络通过如下步骤训练得到:
获取特征波形训练集,所述特征波形训练集包括训练物体在电磁波传感器阵列的监测区域的不同位置处静止时电磁波传感器阵列输出的训练特征波形阵列;
将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测静态神经网络模型。
在一些实施例中,所述安全监测动态神经网络通过如下步骤训练得到:
提取所述安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将所述静态函数作为动态训练的基准对照函数;
获取时序波形训练集;
基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数;
将所述安全监测静态神经网络模型叠加所述时序动态函数,生成安全监测动态神经网络模型。
在一些实施例中,所述当前特征波形为波形峰值;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征的步骤包括:
将所述波形峰值输入到预先训练好的安全监测静态神经网络模型中进行识别,确定入侵物体的位置点坐标和/或结构特征。
在一些实施例中,所述当前特征波形为时序波形;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征的步骤包括:
将所述时序波形输入到预先训练好的安全监测动态神经网络模型中进行识别,确定入侵物体的时序轨迹坐标和/或结构特征。
在一些实施例中,所述将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测神经网络模型的步骤包括:
将所述训练特征波形阵列输入到静态神经网络,生成所述训练特征波形阵列对应的训练位置特征阵列;
将所述训练位置特征阵列中的各实际位置特征与标准位置特征进行比较,得到修改权值;
根据所述修改权值不断优化所述静态神经网络的参数,得到安全监测静态神经网络模型。
在一些实施例中,所述获取电磁波传感器阵列发送的目标电磁波信号的步骤之前,还包括:
获取电磁波传感器阵列的监测区域不存在入侵物体时电磁波传感器阵列输出的第一电磁波信号;
所述获取电磁波传感器阵列发送的目标电磁波信号的步骤,包括:
获取电磁波传感器阵列的监测区域存在入侵物体时电磁波传感器阵列输出的第二电磁波信号;
将所述第二电磁波信号与第一电磁波信号相比较,得到所述电磁波传感器阵列发送的目标电磁波信号。
第三方面,本申请实施例还提供一种建筑工地安全监测装置,应用于第一方面任一项实施例所述的监测平台,包括:
获取模块,用于获取电磁波传感器阵列发送的目标电磁波信号;
提取模块,用于提取所述目标电磁波信号的当前特征波形;
确定模块,用于将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。
第四方面,本申请实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如第二方面任一实施例所述的建筑工地安全监测方法的步骤。
第五方面,本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面任一项所述的建筑工地安全监测方法的步骤。
上述实施例提供的建筑工地安全监测系统及其监测方法、装置、计算机设备及存储介质,通过建筑工地安全监测系统,其包括电磁波信号发射装置、电磁波信号接收装置和监测平台;电磁波信号接收装置连接监测平台;电磁波信号发射装置与电磁波信号接收装置分布设置在建筑工地指定位置;其中,每个电磁波信号发射装置与至少一个电磁波信号接收装置构成所述电磁波传感器阵列;电磁波信号发射装置向监测区域内发射电磁波信号,电磁波信号接收装置接收该电磁波信号,并传输至监测平台;监测平台获取电磁波传感器阵列发送的目标电磁波信号;提取目标电磁波信号的当前特征波形;将当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。本技术方案能够减少环境对建筑工地安全的影响,提高建筑工地安全监测的准确性和识别率。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是一实施例提供的建筑工地安全监测系统的结构示意图;
图2是基于电磁波传感器阵列的建筑工地安全监测系统的示意图;
图3是电磁波传感器阵列二维平面区域信号传输示意图;
图4是电磁波传感器阵列三维区域信号传输示意图;
图5是一实施例提供的建筑工地安全监测方法的流程图;
图6是一实施例提供的安全监测静态神经网络模型的训练方法的流程图;
图7是一实施例提供的安全监测动态神经网络模型的训练方法的流程图;
图8是一实施例提供的建筑工地安全监测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
图1是一实施例提供的建筑工地安全监测系统的结构示意图,如图1所示,建筑工地安全监测系统10可以包括电磁波信号发射装置101、电磁波信号接收装置102和监测平台103;所述电磁波信号接收装置102连接所述监测平台103。
所述电磁波信号发射装置101与电磁波信号接收装置102分布设置在建筑工地指定位置;其中,每个电磁波信号发射装置101与至少一个电磁波信号接收装置102构成所述电磁波传感器阵列104;所述电磁波信号发射装置101向监测区域内发射电磁波信号,所述电磁波信号接收装置102接收该电磁波信号,并传输至监测平台103;所述监测平台103提取所述电磁波信号的波形特征,在所述波形特征相对于恒定状态出现改变时,判定出现非法入侵。
在一些实施例中,电磁波信号发射装置101与电磁波信号接收装置102分布设置在建筑工地指定位置。图2是基于电磁波传感器阵列的建筑工地安全监测系统的示意图,如图2所示,该建筑工地指定位置可以包括建筑塔式起重机本体105、建筑爬升脚手架本体106、建筑基坑本体107和施工建筑本体108等建筑工地的监测区域。建筑工地指定位置对安全位置有着敏感需求,即要在划定区域内判定外来物体是否为非法侵入以及侵入后的位置跟踪识别。
示例性的,电磁波传感器阵列104可以部署在建筑塔式起重机本体105上的关键结构节点,利用其本身在建筑工地现场的高度优势进行电磁波信号的发出与接收,可以在短时间内对将电磁波信号覆盖大部分工地敏感区域并进行位置特征识别与界定。
电磁波传感器阵列104可以部署在建筑爬升脚手架本体106上的关键结构节点,利用其本身对在建楼体的覆盖优势进行电磁波信号的发出与接收,可以实现对在建楼体内的按需精准信号投递,实现楼体内特征区域的精准信号覆盖。
电磁波传感器阵列104可以部署在建筑基坑本体107上的关键结构节点,利用其本身在建筑施工中的先行优势,即基坑作为建筑最初始施工的基础和基准,可以实现在建楼体的基准信号设定与模型累计。
电磁波传感器阵列104部署在施工建筑本体108上的关键结构节点,利用建筑在施工之后的模型特征进行电磁波信号的比对以及区域划分,可以实现对施工建筑的安全敏感区域内长期监测。
进一步的,监控平台103接收到电磁波信号接收装置102发送过来的电磁波信号后,提取电磁波信号的波形特征,如波形的波峰、变化频率等。当监测区域内没有出现非法的入侵物体时,电磁波信号稳定,处于相对恒定状态;当监测区域内出现非法的入侵物体时,入侵物体的存在影响电磁波信号接收装置102对电磁波信号的接收,所以当监控平台103提取到的电磁波信号的波形特征相对于恒定状态出现改变时,判定出现非法入侵。
在本实施例提供的建筑工地安全监测系统,包括电磁波信号发射装置、电磁波信号接收装置和监测平台,通过电磁波信号发射装置向监测区域发射电磁波信号,电磁波信号接收装置接收该电磁波信号,并传输到监测平台,监测平台提取电磁波信号的波形特征,根据判断波形特征相对于恒定状态是否发生改变,判定是否非法入侵物体。由于电磁波信号受环境影响小,利用电磁波信号监测是否存在入侵物体,使得建筑工地的安全监测更加准确可靠。将电磁波传感器阵列部署是在建筑工地进行长期动态监测,配搭对应的监测系统算法能够对复杂情景进行识别,实现复杂区域内动态监测。
进一步的,在一些实施例中,可以将所述监测区域依据平面区域划分为四个象限;其中,单一象限内至少设置有一个电磁波信号发射装置以及三个电磁波信号接收装置。
在实施例中,在平面内,有电磁波信号发射装置和电磁波信号接收装置构成的电磁波传感器阵列可以将平面区域划分为四个象限,如A、B、C和D四个象限。图3是电磁波传感器阵列二维平面区域信号传输示意图,如图3所示,单一象限内至少设置一个电磁波信号发射装置101和三个电磁波信号接收装置102,以通过这三个电磁波信号接收装置102所接收到的不同的电磁波信号,分析这三个电磁波信号,以更加准确地判定是否出现非法入侵以及入侵物体的特征,如尺寸和位置等。
图4是电磁波传感器阵列三维区域信号传输示意图,如图4所示,在空间内,电磁波传感器阵列可以将空间划分为多个特定监测区域,单一的特定监测区域可以至少设置四个电磁波信号发射装置以及四个电磁波信号接收装置,电磁波信号发射装置发射电磁波信号,电磁波信号接收装置接收电磁波信号,经过信号调制后形成空间电磁波信号场。
进一步的,在一实施例中,所述监测平台对所述电磁波信号进行信号调制输出波形特征,在对应象限内没有入侵物体时,输出恒定的特征波形,存在入侵物体,输出变化的特征波形。
监测平台对接收到的一个或多个电磁波信号接收装置发送的电磁波信号进行信号调制,输出对应的波形特征,如波峰和频率等。在电磁波传感器阵列所对应的监测区域的象限内,如果没有入侵物体对电磁波信号的扰动,监测平台所接收到的来自电磁波信号接收装置的电磁波信号是稳定的,其经过信号调制后的波形特征也是恒定。如果存在入侵物体,其会阻碍电磁波的传输,以使得电磁波信号发生变化,监测平台所接收到的来自电磁波信号接收装置的电磁波信号是变化的,其经过信号调制后的波形特征也随之发生变化。
在一实施例中,所述监测平台还用于将所述变化的特征波形输入预先训练的安全监测神经网络模型进行识别,获取入侵物体的位置信息及结构特征。
预先训练的安全监测神经网络模型是通过大量训练样本在监测区域的不同位置上静止时,根据电磁波信号接收装置所接收到的电磁波信号以及输出的特征波形之间的差异训练得到的。当将变化的特征波形输入到预先训练好的安全监测神经网络模型中,安全监测神经网络模型会输入出入侵物体的位置信息,如当前位置坐标等。由于不同入侵物体在同一位置上对电磁波信号的干扰程度也不同,通过在安全监测神经网络模型中输入不同的特征波形,还可以获取到入侵物体的结构体征,如尺寸大小等。
为了更清楚的阐述本技术方案,下面对通过安全监测神经网络模型进行建筑工地安全监测的过程进行阐述。
图5是一实施例提供的建筑工地安全监测方法的流程图,该建筑工地安全监测方法应用于上述任一实施例中的监测系统。
具体的,如图5所示,该建筑工地安全监测方法可以包括以下步骤:
S110、获取电磁波传感器阵列发送的目标电磁波信号。
在本实施例中,电磁波传感器阵列可以包括电磁波信号发射装置和电磁波信号接收装置。电磁波信号发射装置向电磁波信号接收装置发送电磁波,电磁波信号接收装置接收到电磁波后,向监控平台发送目标电磁波信号。通常而言,在电磁波传感器阵列的监测区域未出现外来入侵物体时,目标电磁波信号恒定,在出现外来入侵物体时,外来入侵物体会干扰电磁波信号接收装置对电磁波信号的接收,以使得向监控平台发送的目标电磁波信号发生变动。
进一步的,在一些实施例中,在获取目标电磁波信号之前,首先需要获取电磁波传感器阵列的监测区域不存在入侵物体时的电磁波传感器阵列输出的第一电磁波信号,第一电磁波信号由于没有外来入侵物体的干扰,其波形特征比较稳定。获取电磁波传感器阵列的监测区域存在入侵物体时电磁波传感器阵列输出的第二电磁波信号,第二电磁波信号由于外来入侵物体的干扰,其波形特征发生变动。将第二电磁波信号和第一电磁波信号做比较,例如,可以将第一电磁波信号与第一电磁波信号相减,得到目标电磁波信号。
S120、提取所述目标电磁波信号的当前特征波形。
进一步的,提取目标电磁波信号的当前特征波形,识别出其波形特征,如波形的幅值和频率等,进一步的,还可以将波形特征按时序进行排列,得到时序波形。
S130、将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。
在本实施例中,监控平台可以存储有预先训练好的安全监测神经网络模型。在获取到当前特征波形后,可以将该当前特征波形输入至预先训练好的安全监测神经网络模型进行识别,得到该当前特征波形对应的位置信息,在其他一些实施例中,还可以得到入侵物体的结构特征,如尺寸和形状等,或者得到入侵物体的位置信息以及结构特征。
本实施例提供的建筑工地安全监测方法,通过获取电磁波传感器阵列发送的目标电磁波信号;提取目标电磁波信号的当前特征波形;将当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和结构特征,提高入侵物体的识别准确性。
进一步的,安全监测神经网络模型可以包括安全监测静态神经网络和安全监测动态神经网络。其中,利用安全监测静态神经网络可以得到入侵物体静止时的位置点坐标,利用安全监测动态神经网络可以得到入侵物体运动时的动态运动轨迹。
下面对安全监测静态神经网络和安全监测动态神经网络的训练过程进行介绍。
图6是一实施例提供的安全监测静态神经网络模型的训练方法的流程图,该训练方法可以由计算机设备来执行,如图6所示,上述安全监测静态神经网络模型可以通过如下步骤训练得到:
S210、获取特征波形训练集,所述特征波形训练集包括训练物体在电磁波传感器阵列的监测区域的不同位置处静止时电磁波传感器阵列输出的训练特征波形阵列。
在实施例中,训练物体可以为训练用的充当外来入侵物体的物体,其大小、尺寸和放置的位置是预先设定的。训练物体所对应的特征波形的集合,构成特征波形训练集。在一些实施例中,将训练物体放置在监测区域的不同的目标位置,静止保持一定时间,对比训练物体放置在目标位置前后的电磁波信号的特征波形变化情况,将同一的训练物体及其电磁波传感器阵列输出的训练特征波形对应起来,生成同一训练物体在不同目标位置的训练特征波形阵列。
在另一些实施例中,可以将不同的训练物体放置在监测区域的同一目标位置处,静止保持一定时间,对比不同的训练物体放置在同一目标位置前后的电磁波信号的特征波形变化情况,将不同的训练物体的结构特征,如尺寸,及其电池波传感器阵列输出的训练特征波形对应起来,生成不同的训练物体在同一目标位置的训练特征波形阵列。
在其他一些实施例中,还可以将同一训练物体在不同目标位置的训练特征波形阵列和不同训练物体在同一目标位置的训练特征波形阵列结合起来,得到不同训练物体在不同目标位置下的训练特征波形阵列。
S220、将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测神经网络模型。
在实施例中,将训练特征波形阵列作为静态神经网络的输入,同时将训练特征波形阵列中每个特征波形所对应的位置特征作为静态神经网络的期待输出。根据静态神经网络的实际输出和期待输出做比较,不断训练优化静态神经网络的参数,得到用于监测建筑工地安全的安全监测神经网络模型。
进一步的,步骤S220可以包括以下步骤:
S221、将所述训练特征波形阵列输入到静态神经网络,生成所述训练特征波形阵列对应的训练位置特征阵列。
在本实施例中,训练特征波形阵列可以为训练物体对应的波形峰值和频率等。为了便于解释,下面实施例以波形峰值为例进行说明。
将目标电磁波信号的波形峰值组成输入阵列x[m],将该波形峰值作为静态神经网络的输入层(m i1,m i2,m i3,……)。将波形峰值输入到静态神经网络的中间层,中间层为基于多层神经网络的深度学习算法,每一层的中间参数可组成过渡阵列a 1[m],a2[m]……a n[m]。以训练物体的结构特征和位置信息作为静态神经网络的输出层(mo1,m o2,mo3,……),组成输出矩阵y[m],可以得出输出层、中间层和输出层的计算函数为y[m]=f(x[m]·a 1[m]·a 2[m]·…·a n[m])。由于训练特征波形阵列中的每个训练特征波形对应唯一的实际输出位置特征,将该训练特征波形映射到其对应的实际输出位置特征,生成训练位置特征阵列。
S222、将所述训练位置特征阵列中的各实际输出位置特征与标准输出位置特征进行比较,得到修改权值。
示例性的,将特征波形训练集中的一个训练特征波形阵列输入到静态神经网络中,由输出层输出一个训练位置特征阵列,训练位置特征阵列中包括一个或多个实际输出位置特征。将实际输出位置特征与标准输出位置特征做比较,计算实际输出位置特征和标准输出位置特征的差异程度。其中,标准输出位置特征是静态神经网络期待输出的位置特征。根据差异程度的大小确定对静态神经网络的中间层的参数的修改权值。如,差异程度越大,则修改权值越大,差异程度越小,则修改权值越小。
S223、根据所述修改权值不断优化所述静态神经网络的参数,得到安全监测静态神经网络模型。
根据修改权值不断优化静态神经网络的中间层的参数阵列,以使得实际输出位置特征尽可能接近标准输出位置特征,训练静态神经网络的整个深度学习算法,实现输入层输入参数,如特征波形与输出层参数,如位置特征之间的映射关系,得到安全监测神经网络模型。
本实施例提供的建筑工地安全监测方法,通过获取训练物体在电磁波传感器阵列的监测区域的不同位置处静止时电磁波传感器阵列输出的训练特征波形阵列;将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测神经网络模型,以实现监测平台对建筑工地环境的动态自主学习,提高建筑工地安全监测的鲁棒性。
图7是一实施例提供的安全监测动态神经网络模型的训练方法的流程图,该训练方法可以由计算机设备来执行,如图7所示,上述安全监测动态神经网络模型可以通过如下步骤训练得到:
S310、提取所述安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将所述静态函数作为动态训练的基准对照函数。
在本实施例中,获取安全监测静态神经网络中的中间层参数阵列,将中间层参数阵列作为动态训练的初始参数,将安全监测静态神经网络的静态函数作为基准对照函数进行动态参数训练。
S320、获取时序波形训练集。
在本实施例中,将预设的多个时序波形集合成时序波形训练集。
S330、基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数。
以时序波形作为静态神经网络的输入层(g(t)i1,g(t)i2,g(t)i2……)组成输入阵列x’[m],以物体尺寸和/或时序轨迹坐标作为静态神经网络的输出层(g(t)o1,g(t)o2,g(t)o3……)组成输出阵列y’[m]。
其中,静态神经网络的中间层为基于多层神经网络的深度学习算法,每一层的中间参数可组成过渡阵列a 1’[m],a 2’[m]……a n’[m]。
可以得出输出层、中间层和输出层的计算函数为y’[m]=f(t)(x’[m]·a 1’[m]·a 2’[m]·…·a n’[m])。
通过时序波形输入层,物体尺寸和/或时序轨迹坐标输出层的数值的不断变化,可以训练整个静态神经网络,实现输入层参数与输出层参数的映射关系。经过动态训练之后,得到中间层参数阵列与时序动态函数。
S340、将所述安全监测静态神经网络模型叠加所述时序动态函数,生成安全监测动态神经网络模型。
将安全监测静态神经网络模型所对应的算法叠加时序动态函数得到动态神经网络,不断进行深度学习训练,使得时序波形的输入参数与时序轨迹坐标的输出参数相映射,优化时序动态函数和动态神经网络的中间层的参数阵列,得到安全监测动态神经网络模型。
本技术方案提供的安全监测神经网络模型能够精准识别出入侵物体静止时的位置信息,也可以精确识别出入侵物体的动态运动轨迹。
在一些实施例中,当监测到入侵物体静止时,提取目标电磁波信号的波形峰值,将波形峰值作为当前特征波形。将波形峰值输入到预先训练好的安全监测静态神经网络模型中进行识别,安全监测静态神经网络模型根据该波形峰值确定入侵物体的位置点坐标,在一些实施例中,还可以根据波形峰值确定入侵物体的结构特征,如尺寸等。
在一些实施例中,当监测到入侵物体运动时,提取目标电磁波信号的时序波形,将时序波形作为当前特征波形。将时序波形输入预先训练好的安全监测动态神经网络模型中进行识别,安全监测动态神经网络模型根据该时序波形输出入侵物体的时序轨迹坐标,确定入侵物体的动态运动轨迹,在一些实施例中,还可以根据时序波形确定入侵物体的结构特征,如尺寸等。
下面对建筑工地安全监测装置的相关实施例进行详细阐述。
图8是一实施例提供的建筑工地安全监测装置的结构示意图,该建筑工地安全监测装置应用于计算机设备,如监测平台,进一步的,可以为服务器。如图8所示,该建筑工地安全监测装置10可以包括:获取模块110、提取模块120和确定模块130。
其中,获取模块110,用于获取电磁波传感器阵列发送的目标电磁波信号;提取模块120,用于提取所述目标电磁波信号的当前特征波形;确定模块130,用于将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。
本实施例提供的建筑工地安全监测装置,通过获取模块获取电磁波传感器阵列发送的目标电磁波信号;提取模块提取目标电磁波信号的当前特征波形;将当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定模块确定入侵物体的位置信息和结构特征,提高入侵物体的识别准确性。在一实施例中,所述安全监测神经网络模型包括安全监测静态神经网络和安全监测动态神经网络。
在一实施例中,建筑工地安全监测装置10包括静态训练模块,静态训练模块包括:训练集获取单元和静态模型训练单元;
其中,第一训练集获取单元,用于获取特征波形训练集;所述特征波形训练集包括训练物体在电磁波传感器阵列的监测区域的不同位置处静止时电磁波传感器阵列输出的训练特征波形阵列;静态模型训练单元,用于将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测静态神经网络模型。
在一实施例中,建筑工地安全监测装置10包括动态训练模块,动态训练模块包括参数提取单元、第二训练集获取单元、时序动态函数得到单元和动态模型生成单元;
其中,参数提取单元,用于提取所述安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将静态函数作为动态训练的基准对照函数;第二训练集获取单元,用于获取时序波形训练集;时序动态函数得到单元,用于基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数;动态模型生成单元,用于将所述安全监测静态神经网络模型叠加所述时序动态函数,生成安全监测动态神经网络模型。
在一实施例中,所述当前特征波形为波形峰值;确定模块130用于将所述波形峰值输入到预先训练好的安全监测静态神经网络模型中进行识别,确定入侵物体的位置点坐标和/或结构特征。
在一实施例中,所述当前特征波形为时序波形;确定模块130用于将所述时序波形输入到预先训练好的安全监测动态神经网络模型中进行识别,确定入侵物体的时序轨迹坐标和/或结构特征。
在一实施例中,静态模型训练单元包括波形阵列输入子单元、修正权值得到子单元和静态模型优化子单元;
其中,波形阵列输入子单元,用于将所述训练特征波形阵列输入到静态神经网络,生成所述训练特征波形阵列对应的训练位置特征阵列;修正权值得到子单元,用于将所述训练位置特征阵列中的各实际位置特征与标准位置特征进行比较,得到修改权值;静态模型优化子单元,用于根据所述修改权值不断优化所述静态神经网络的参数,得到安全监测静态神经网络模型。
在一实施例中,建筑工地安全监测装置,还包括:
第一电磁波信号获取模块,用于获取电磁波传感器阵列的监测区域不存在入侵物体时电磁波传感器阵列输出的第一电磁波信号;
进一步的,获取模块110包括第二电磁波信号获取单元和目标电磁波信号得到单元;
其中,第二电磁波信号获取单元,用于获取电磁波传感器阵列的监测区域存在入侵物体时电磁波传感器阵列输出的第二电磁波信号;目标电磁波信号得到单元,用于将所述第二电磁波信号与第一电磁波信号相比较,得到所述电磁波传感器阵列发送的目标电磁波信号。
上述提供的建筑工地安全监测装置可用于执行上述任意实施例提供的建筑工地安全监测方法,具备相应的功能和有益效果。
本申请实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如上述任一实施例中的建筑工地安全监测方法。
可选的,该计算机设备可以为移动终端、平板电脑、计算机电脑或服务器等。上述提供的计算机设备执行上述任一实施例提供的建筑工地安全监测方法时,具有相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种建筑工地安全监测方法,包括:
获取电磁波传感器阵列发送的目标电磁波信号;
提取所述目标电磁波信号的当前特征波形;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的图像分割信息的处理方法操作,还可以执行本申请任意实施例所提供的建筑工地安全监测方法中的相关操作,且具备相应的功能和有益效果。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请任意实施例所述的建筑工地安全监测方法。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种建筑工地安全监测系统,其特征在于,包括电磁波信号发射装置、电磁波信号接收装置和监测平台;所述电磁波信号接收装置连接所述监测平台;
所述电磁波信号发射装置与电磁波信号接收装置分布设置在建筑工地指定位置;其中,每个电磁波信号发射装置与至少一个电磁波信号接收装置构成电磁波传感器阵列;
所述电磁波信号发射装置向监测区域内发射电磁波信号,所述电磁波信号接收装置接收该电磁波信号,并传输至监测平台;
所述监测平台提取所述电磁波信号的波形特征,在所述波形特征相对于恒定状态出现改变时,判定出现非法入侵,输出变化的特征波形,并将所述变化的特征波形输入预先训练的安全监测神经网络模型进行识别,获取入侵物体的位置信息及结构特征;
所述安全监测神经网络模型包括安全监测静态神经网络和安全监测动态神经网络;
所述安全监测动态神经网络通过如下步骤训练得到:
提取所述安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将所述静态函数作为动态训练的基准对照函数;
获取时序波形训练集;
基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数;
将所述安全监测静态神经网络模型叠加所述时序动态函数,生成安全监测动态神经网络模型。
2.根据权利要求1所述的建筑工地安全监测系统,其特征在于,将所述监测区域依据平面区域划分为四个象限;其中,单一象限内至少设置有一个电磁波信号发射装置以及三个电磁波信号接收装置。
3.根据权利要求2所述的建筑工地安全监测系统,其特征在于,所述监测平台对所述电磁波信号进行信号调制输出波形特征,在对应象限内没有入侵物体时,输出恒定的特征波形,存在入侵物体,输出变化的特征波形。
4.一种建筑工地安全监测方法,其特征在于,应用于权利要求1至3任一项所述的监测系统,包括以下步骤:
获取电磁波传感器阵列发送的目标电磁波信号;
提取所述目标电磁波信号的当前特征波形;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征;
所述安全监测神经网络模型包括安全监测静态神经网络和安全监测动态神经网络;
所述安全监测动态神经网络通过如下步骤训练得到:
提取所述安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将所述静态函数作为动态训练的基准对照函数;
获取时序波形训练集;
基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数;
将所述安全监测静态神经网络模型叠加时序动态函数,生成安全监测动态神经网络模型。
5.根据权利要求4所述的建筑工地安全监测方法,其特征在于,所述安全监测静态神经网络通过如下步骤训练得到:
获取特征波形训练集,所述特征波形训练集包括训练物体在电磁波传感器阵列的监测区域的不同位置处静止时电磁波传感器阵列输出的训练特征波形阵列;
将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测静态神经网络模型。
6.根据权利要求4所述的建筑工地安全监测方法,其特征在于,所述当前特征波形为波形峰值;
将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征的步骤包括:
将所述波形峰值输入到预先训练好的安全监测静态神经网络模型中进行识别,确定入侵物体的位置点坐标和/或结构特征。
7.根据权利要求5所述的建筑工地安全监测方法,其特征在于,所述当前特征波形为时序波形;
将所述时序波形输入到预先训练好的安全监测动态神经网络模型中进行识别,确定入侵物体的时序轨迹坐标和/或结构特征。
8.根据权利要求5所述的建筑工地安全监测方法,其特征在于,所述将所述训练特征波形阵列输入到静态神经网络进行训练,得到安全监测静态神经网络模型的步骤包括:
将所述训练特征波形阵列输入到静态神经网络,生成所述训练特征波形阵列对应的训练位置特征阵列;
将所述训练位置特征阵列中的各实际位置特征与标准位置特征进行比较,得到修改权值;
根据所述修改权值不断优化所述静态神经网络的参数,生成安全监测静态神经网络模型。
9.根据权利要求4所述的建筑工地安全监测方法,其特征在于,所述获取电磁波传感器阵列发送的目标电磁波信号的步骤之前,还包括:
获取电磁波传感器阵列的监测区域不存在入侵物体时电磁波传感器阵列输出的第一电磁波信号;
所述获取电磁波传感器阵列发送的目标电磁波信号的步骤,包括:
获取电磁波传感器阵列的监测区域存在入侵物体时电磁波传感器阵列输出的第二电磁波信号;
将所述第二电磁波信号与第一电磁波信号相比较,得到所述电磁波传感器阵列发送的目标电磁波信号。
10.一种建筑工地安全监测装置,其特征在于,应用于权利要求1至3任一项所述的监测系统,包括:
获取模块,用于获取电磁波传感器阵列发送的目标电磁波信号;
提取模块,用于提取所述目标电磁波信号的当前特征波形;
确定模块,用于将所述当前特征波形输入预先训练好的安全监测神经网络模型中进行识别,确定入侵物体的位置信息和/或结构特征;
静态训练模块,用于得到安全监测静态神经网络模型;
动态训练模块,动态训练模块包括参数提取单元、第二训练集获取单元、时序动态函数得到单元和动态模型生成单元;
其中,参数提取单元,用于提取安全监测静态神经网络模型中的中间层参数阵列和静态函数,将所述中间层参数阵列作为动态训练的初始参数,将静态函数作为动态训练的基准对照函数;第二训练集获取单元,用于获取时序波形训练集;时序动态函数得到单元,用于基于所述初始参数和所述基准对照函数,将所述时序波形训练集中的时序波形输入到静态神经网络进行训练,得到时序动态函数;动态模型生成单元,用于将所述安全监测静态神经网络模型叠加所述时序动态函数,生成安全监测动态神经网络模型。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求4-9任一项所述的建筑工地安全监测方法的步骤。
12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求4-9任一项所述的建筑工地安全监测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078294.9A CN110794462B (zh) | 2019-11-06 | 2019-11-06 | 建筑工地安全监测系统及其监测方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078294.9A CN110794462B (zh) | 2019-11-06 | 2019-11-06 | 建筑工地安全监测系统及其监测方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110794462A CN110794462A (zh) | 2020-02-14 |
CN110794462B true CN110794462B (zh) | 2021-08-03 |
Family
ID=69442970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911078294.9A Active CN110794462B (zh) | 2019-11-06 | 2019-11-06 | 建筑工地安全监测系统及其监测方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110794462B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1979575A (zh) * | 2005-11-30 | 2007-06-13 | 中国科学院声学研究所 | 一种超声波入侵探测方法和探测装置 |
CN101436336A (zh) * | 2007-11-15 | 2009-05-20 | 中国科学院自动化研究所 | 一种入侵检测系统及方法 |
CN102289906A (zh) * | 2011-06-09 | 2011-12-21 | 无锡国科微纳传感网科技有限公司 | 围界入侵检测方法、装置及系统 |
CN102289902A (zh) * | 2010-10-18 | 2011-12-21 | 航天科工深圳(集团)有限公司 | 一种架空输电线路监测预警系统及其工作方法 |
JP2015041332A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社東海理化電機製作所 | 侵入者検知システム |
CN204315020U (zh) * | 2014-09-15 | 2015-05-06 | 天津职业技术师范大学 | 一种人员入侵探测装置 |
CN105809110A (zh) * | 2016-02-24 | 2016-07-27 | 南京大学 | 一种基于无线信号强度的行为识别系统与方法 |
CN106251536A (zh) * | 2016-08-23 | 2016-12-21 | 高杰 | 一种微型入侵探测电源系统和探测方法 |
CN106372576A (zh) * | 2016-08-23 | 2017-02-01 | 南京邮电大学 | 一种基于深度学习的智能室内入侵检测方法及系统 |
CN106408825A (zh) * | 2016-12-03 | 2017-02-15 | 上海腾盛智能安全科技股份有限公司 | 一种家庭安全监控系统及方法 |
JP2018163036A (ja) * | 2017-03-27 | 2018-10-18 | 中国計器工業株式会社 | 電波拡散板 |
CN109064696A (zh) * | 2018-08-17 | 2018-12-21 | 成都九洲电子信息系统股份有限公司 | 基于深度学习实现的光纤周界安防系统 |
CN109671238A (zh) * | 2018-12-07 | 2019-04-23 | 浙江大学 | 一种基于无线信道状态信息的室内入侵检测方法 |
CN110059631A (zh) * | 2019-04-19 | 2019-07-26 | 中铁第一勘察设计院集团有限公司 | 接触网非接触式监测缺陷识别方法 |
-
2019
- 2019-11-06 CN CN201911078294.9A patent/CN110794462B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1979575A (zh) * | 2005-11-30 | 2007-06-13 | 中国科学院声学研究所 | 一种超声波入侵探测方法和探测装置 |
CN101436336A (zh) * | 2007-11-15 | 2009-05-20 | 中国科学院自动化研究所 | 一种入侵检测系统及方法 |
CN102289902A (zh) * | 2010-10-18 | 2011-12-21 | 航天科工深圳(集团)有限公司 | 一种架空输电线路监测预警系统及其工作方法 |
CN102289906A (zh) * | 2011-06-09 | 2011-12-21 | 无锡国科微纳传感网科技有限公司 | 围界入侵检测方法、装置及系统 |
JP2015041332A (ja) * | 2013-08-23 | 2015-03-02 | 株式会社東海理化電機製作所 | 侵入者検知システム |
CN204315020U (zh) * | 2014-09-15 | 2015-05-06 | 天津职业技术师范大学 | 一种人员入侵探测装置 |
CN105809110A (zh) * | 2016-02-24 | 2016-07-27 | 南京大学 | 一种基于无线信号强度的行为识别系统与方法 |
CN106251536A (zh) * | 2016-08-23 | 2016-12-21 | 高杰 | 一种微型入侵探测电源系统和探测方法 |
CN106372576A (zh) * | 2016-08-23 | 2017-02-01 | 南京邮电大学 | 一种基于深度学习的智能室内入侵检测方法及系统 |
CN106408825A (zh) * | 2016-12-03 | 2017-02-15 | 上海腾盛智能安全科技股份有限公司 | 一种家庭安全监控系统及方法 |
JP2018163036A (ja) * | 2017-03-27 | 2018-10-18 | 中国計器工業株式会社 | 電波拡散板 |
CN109064696A (zh) * | 2018-08-17 | 2018-12-21 | 成都九洲电子信息系统股份有限公司 | 基于深度学习实现的光纤周界安防系统 |
CN109671238A (zh) * | 2018-12-07 | 2019-04-23 | 浙江大学 | 一种基于无线信道状态信息的室内入侵检测方法 |
CN110059631A (zh) * | 2019-04-19 | 2019-07-26 | 中铁第一勘察设计院集团有限公司 | 接触网非接触式监测缺陷识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110794462A (zh) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2464991B1 (en) | A method for human only activity detection based on radar signals | |
CN110632849B (zh) | 智能家电及其控制方法和装置、存储介质 | |
CN101661497B (zh) | 遥感土地利用变化检测方法及系统 | |
CN108710868A (zh) | 一种基于复杂场景下的人体关键点检测系统及方法 | |
JP2020003489A (ja) | モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 | |
US20190349365A1 (en) | Radio frequency (rf) object detection using radar and machine learning | |
US9558564B1 (en) | Method for finding important changes in 3D point clouds | |
CN106056034A (zh) | 利用压力传感器的客体识别方法及客体识别装置 | |
CN102043958A (zh) | 一种高分辨率遥感图像多类目标检测识别方法 | |
KR102170597B1 (ko) | 해안 해수면 관측 시스템 | |
CN116027324A (zh) | 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 | |
CN110717496A (zh) | 基于神经网络的复杂场景树木检测方法 | |
CN116577788B (zh) | 输电线路异物侵限监测方法、装置和计算机设备 | |
Amin et al. | Radar classifications of consecutive and contiguous human gross‐motor activities | |
CN107340517A (zh) | 一种多传感器多帧检测前跟踪方法 | |
CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
CN110794462B (zh) | 建筑工地安全监测系统及其监测方法、装置 | |
CN108109208A (zh) | 一种海上风电场增强现实方法 | |
CN115311574A (zh) | 一种建筑物监测方法、设备及介质 | |
CN113688742A (zh) | 一种sar图像识别方法、装置及存储介质 | |
TW202129595A (zh) | 生命體檢測的雷達偵測系統、生命體判斷方法及特徵資料庫建立方法 | |
CN113945912B (zh) | 面向串联式角反射器干扰的雷达图像的目标检测系统 | |
CN113435230A (zh) | 异常区域的检测方法、装置、系统和计算机可读存储介质 | |
CN109597024B (zh) | 基于异步传感数据的室内区域定位方法及系统 | |
CN115019118B (zh) | 对抗图像生成方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |