发明内容
基于此,有必要针对上述技术问题,提供一种能够提升检测效率的输电线路周边的施工隐患检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种输电线路周边的施工隐患检测方法。所述方法包括:
接收监控设备采集的以输电线路为中心的监测范围内的监控图像;
在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识;
根据所述施工机械的机械标识,从预先构建的机械数据库中,确认出所述施工机械的活动范围信息;
根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息;所述施工机械的初始位置信息通过所述监控图像确定得到;
在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患。
在其中一个方法中,所述根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息,包括:
根据所述施工机械的初始位置信息,确定待构建的机械三维模型的模型中心,以及根据所述施工机械的活动范围信息,确定所述待构建的机械三维模型的模型轮廓;
根据所述待构建的机械三维模型的模型中心与模型轮廓,构建所述施工机械的机械三维模型;
确定所述施工机械的机械三维模型在预设三维坐标系下的位置信息,作为所述施工机械在所述预设三维坐标系下的预测位置信息。
在其中一个方法中,在根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息之前,还包括:
确定所述施工机械与所述输电线路在所述监控图像中的图像位置差异信息;
根据所述图像位置差异信息,与所述输电线路在预设三维坐标系下的线路位置信息,确定所述施工机械在所述预设三维坐标系下的初始位置信息;所述预设三维坐标系根据所述输电线路周边的环境构建得到。
在其中一个方法中,所述根据所述图像位置差异信息,与所述输电线路在预设三维坐标系下的线路位置信息,确定所述施工机械在所述预设三维坐标系下的初始位置信息,包括:
对所述图像位置差异信息进行映射处理,得到所述施工机械与所述输电线路在所述预设三维坐标系下的实际位置差异信息;
根据所述实际位置差异信息,以及所述输电线路在所述预设三维坐标系下的路线位置信息,得到所述施工机械在所述预设三维坐标系下的初始位置信息。
在其中一个方法中,述在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识,包括:
在通过目标检测模型识别到所述监控图像中存在施工机械的图像的情况下,从所述监控图像中提取出所述施工机械的图像;
通过所述预先训练的施工机械识别模型,确认所述施工机械的图像与样本施工机械的样本图像之间的相似度;
将对应的相似度最大的样本施工机械的机械标识,作为所述施工机械的机械标识。
在其中一个方法中,所述预先训练的施工机械识别模型,通过下述方式训练得到:
按照所述样本施工机械的机械标识,对所述样本施工机械的样本图像进行标注,得到所述样本图像的标注标签;所述样本图像中包括训练图像和验证图像;
将所述训练图像输入至待训练的施工机械识别模型中,得到所述训练图像的预测机械标识;
通过所述训练图像的预测机械标识与所述训练图像的标注标签之间的差异,对所述待训练的施工机械识别模型进行训练,得到训练完成的施工机械识别模型;
通过所述验证图像,对所述训练完成的施工机械识别模型进行验证;
在所述训练完成的施工机械识别模型验证通过的情况下,将所述训练完成的施工机械识别模型,作为所述预先训练的施工机械识别模型。
在其中一个方法中,在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患之后,还包括:
根据所述施工机械的机械标识与初始位置信息,生成施工隐患预警信息;
向与所述输电线路关联的巡检终端发送所述施工隐患预警信息。
第二方面,本申请还提供了一种输电线路周边的施工隐患检测装置。所述装置包括:
监控图像接收模块,用于接收监控设备采集的以输电线路为中心的监测范围内的监控图像;
施工机械识别模块,用于在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识;
活动信息确认模块,用于根据所述施工机械的机械标识,从预先构建的机械数据库中,确认出所述施工机械的活动范围信息;
预测位置确认模块,用于根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息;所述施工机械的初始位置信息通过所述监控图像确定得到;
施工隐患确认模块,用于在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收监控设备采集的以输电线路为中心的监测范围内的监控图像;
在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识;
根据所述施工机械的机械标识,从预先构建的机械数据库中,确认出所述施工机械的活动范围信息;
根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息;所述施工机械的初始位置信息通过所述监控图像确定得到;
在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收监控设备采集的以输电线路为中心的监测范围内的监控图像;
在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识;
根据所述施工机械的机械标识,从预先构建的机械数据库中,确认出所述施工机械的活动范围信息;
根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息;所述施工机械的初始位置信息通过所述监控图像确定得到;
在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
接收监控设备采集的以输电线路为中心的监测范围内的监控图像;
在所述监控图像中存在施工机械的图像的情况下,将所述施工机械的图像输入至预先训练的施工机械识别模型中,得到所述施工机械的机械标识;
根据所述施工机械的机械标识,从预先构建的机械数据库中,确认出所述施工机械的活动范围信息;
根据所述施工机械的初始位置信息与所述施工机械的活动范围信息,确认所述施工机械的预测位置信息;所述施工机械的初始位置信息通过所述监控图像确定得到;
在所述施工机械的预测位置信息与所述输电线路的线路位置信息之间存在重合的情况下,确认所述输电线路在所述监测范围内存在施工隐患。
上述输电线路周边的施工隐患检测方法、装置、计算机设备、存储介质和计算机程序产品,首先接收监控设备采集的以输电线路为中心的监测范围内的监控图像;然后在监控图像中存在施工机械的图像的情况下,将施工机械的图像输入至预先训练的施工机械识别模型中,得到施工机械的机械标识;接着根据施工机械的机械标识,从预先构建的机械数据库中,确认出施工机械的活动范围信息;再接着根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息;施工机械的初始位置信息通过监控图像确定得到;最后在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患。这样,通过监控图像,能够第一时间发现输电线路周边出现的施工机械,并通过预先训练的施工机械识别模型、预先构建的机械数据库,以及根据监控图像得到的施工机械的初始位置信息,能够确定施工机械的预测位置信息,从而预判施工机械在施工过程中是否会触碰到输电线路,进而避免了施工机械对输电线路造成损坏的发生;基于以上过程的输电线路周边的施工隐患检测方法,缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一示例性实施例中,如图1所示,提供了一种输电线路周边的施工隐患检测方法,本实施例以该方法应用于服务器进行举例说明;可以理解的是,该方法也可以应用于终端,还可以应用于包括服务器和终端的系统,并通过服务器和终端之间的交互实现。其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现;终端可以但不限于是各种个人计算机、笔记本电脑、智能手机以及平板电脑等。本实施例中,该方法包括以下步骤:
步骤S102,接收监控设备采集的以输电线路为中心的监测范围内的监控图像。
其中,监控设备为市面上常见的360度可旋转监控摄像头,用于采集输电线路周边的监控图像;监控设备设置于输电线路的各个塔杆处。
具体地,服务器接收设置于输电线路的各个塔杆处的监控设备采集的、以输电线路为中心的监测范围内的监控图像。
步骤S104,在监控图像中存在施工机械的图像的情况下,将施工机械的图像输入至预先训练的施工机械识别模型中,得到施工机械的机械标识。
其中,施工机械的机械标识为施工机械的机械型号,通过机械标识,能够唯一确定具体的施工机械。不同的施工机械的具体用途、机械尺寸、施工参数,以及活动范围信息等不同。
其中,预先训练的施工机械识别模型,用于根据图像确定施工机械的机械标识;预先训练的施工机械识别模型可以通过对样本施工机械的样本图像的机器学习训练得到。
具体地,服务器接收到监控图像后,通过目标检测模型对监控图像进行识别,在识别到监控图像中存在施工机械的图像的情况下,服务器将识别出的施工机械的图像输入至预先训练的施工机械识别模型中,通过预先训练的施工机械识别模型对施工机械的图像的分析,得到施工机械的机械型号,作为该施工机械的机械标识。
举例说明,服务器将监控图像输入至目标检测模型中,并在目标检测模型的输出结果中查看监控图像上是否存在被标注为施工机械的区域,若存在,则将被标注为施工机械的区域的图像输入至预先训练的施工机械识别模型中,从而得到该施工机械的机械标识。
步骤S106,根据施工机械的机械标识,从预先构建的机械数据库中,确认出施工机械的活动范围信息。
其中,施工机械的活动范围信息,用于表征在施工机械不移动位置的状态下,施工机械的各个部件的最大活动范围,例如施工机械的升降机的最大升降高度、施工机械的摇臂的活动半径、施工机械的悬臂的最大长度等。
其中,预先构建的机械数据库,用于记录各个施工机械的活动范围信息。
具体地,服务器根据施工机械的机械标识,从存储有各个施工机械的活动范围信息的预先构建的机械数据库中,确认出与施工机械的机械标识对应的活动范围信息,作为施工机械的活动范围信息。
举例说明,服务器在预先构建的机械数据库中,查询表名为施工机械的机械标识的文件,并将该表记录的活动范围信息确认为施工机械的活动范围信息。
步骤S108,根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息。
其中,施工机械的初始位置信息通过监控图像确定得到;施工机械的初始位置信息用于表征施工机械在被监控设备采集到图像时所处的位置;施工机械的初始位置信息可以用施工机械在预设三维坐标系下的初始坐标来表示。
其中,预设三维坐标系为根据输电线路周边的环境构建得到的坐标系。
其中,施工机械的预测位置信息用于表征施工机械在施工时,可能会到达的位置;施工机械的预测位置信息可以用施工机械在预设三维坐标系下的预测坐标来表示。
具体地,服务器首先根据监控图像,确定表征采集监控图像时,施工机械在预设三维坐标系下的初始坐标,作为施工机械的初始位置信息,然后根据施工机械的初始位置信息,与施工机械的活动范围信息,得到施工机械在预设三维坐标系下的预测坐标,作为表征施工机械在施工过程中可能会到达的位置的预测位置信息。
举例说明,假设施工机械在采集监控图像时,位于预设三维坐标系中的A点,且施工机械的摇臂的水平活动半径为5m,那么服务器可以确认得到施工机械的预测位置信息为预设三维坐标系中,以A点为中心、以5m为半径的圆形区域。
再举例说明,假设施工机械在采集监控图像时,位于预设三维坐标系中的B点,且施工机械的最大升降高度为10m,那么服务器可以确认得到施工机械的预测位置信息为预设三维坐标系中,以B点为起点、以10m为最大高度的竖直区域。
能够理解的是,在预测施工机械的预测位置信息时所考虑的活动范围信息,并非指施工机械的某一单一部件的活动范围信息,而是需要将施工机械的各个部件的活动范围信息都纳入考虑范围内。
步骤S110,在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患。
其中,输电线路在监测范围内存在施工隐患,是指施工机械在施工过程中有可能会干扰到输电线路,例如触碰输电线路、损坏输电线路等。
其中,输电线路的线路位置信息,用于表征输电线路在预设三维坐标系下的位置,可以用输电线路在预设三维坐标系下的线路坐标表示。
具体地,服务器对比施工机械的预测位置信息与输电线路的线路位置信息,在施工机械的预测位置信息与输电线路的线路位置信息之间存在交集的情况下,确认二者存在重合,进而预测施工机械在施工过程中及其有可能会干扰到输电线路,因此确认输电线路在监测范围内存在施工隐患。
举例说明,服务器对比施工机械的预测位置,与输电线路的线路位置,在两者坐标存在交集的情况下,确认二者存在重合,进而确认输电线路在监测范围内存在施工隐患;或者是,服务器根据施工机械的预测坐标与输电线路的线路坐标,在预设三维坐标系中对施工机械与输电线路进行三维建模,若二者的三维模型存在重合区域,则确认输电线路在监测范围内存在施工隐患。
上述实施例提供的输电线路周边的施工隐患检测方法中,服务器首先接收监控设备采集的以输电线路为中心的监测范围内的监控图像;然后在监控图像中存在施工机械的图像的情况下,将施工机械的图像输入至预先训练的施工机械识别模型中,得到施工机械的机械标识;接着根据施工机械的机械标识,从预先构建的机械数据库中,确认出施工机械的活动范围信息;再接着根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息;施工机械的初始位置信息通过监控图像确定得到;最后在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患。这样,通过监控图像,服务器能够第一时间发现输电线路周边出现的施工机械,并通过预先训练的施工机械识别模型、预先构建的机械数据库,以及根据监控图像得到的施工机械的初始位置信息,服务器还能够确定施工机械的预测位置信息,从而预判施工机械在施工过程中是否会触碰到输电线路,进而避免了施工机械对输电线路造成损坏的发生;基于以上过程的输电线路周边的施工隐患检测方法,缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。
在一示例性实施例中,如图2所示,上述步骤S108,根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息,具体包括以下步骤:
步骤S202,根据施工机械的初始位置信息,确定待构建的机械三维模型的模型中心,以及根据施工机械的活动范围信息,确定待构建的机械三维模型的模型轮廓。
步骤S204,根据待构建的机械三维模型的模型中心与模型轮廓,构建施工机械的机械三维模型。
步骤S206,确定施工机械的机械三维模型在预设三维坐标系下的位置信息,作为施工机械在预设三维坐标系下的预测位置信息。
其中,机械三维模型用于在预设三维坐标系中表示施工机械;模型中心用于表征施工机械在施工过程中,在预设三维坐标系中的活动起点,模型轮廓用于表征施工机械在施工过程中,在预设三维坐标系中的活动区域。
具体地,服务器首先根据施工机械的初始位置信息,在预设三维坐标系中,确定施工机械的活动起点,作为待构建的机械三维模型的模型中心,以及根据施工机械的活动范围信息,在预设三维坐标系中,确定施工机械的活动区域,作为待构建的机械三维模型的模型轮廓;然后,服务器以待构建的机械三维模型的模型中心与模型轮廓,构建施工机械的机械三维模型;最后,服务器将机械三维模型在预设三维坐标系下的位置信息,确认为施工机械在预设三维坐标系下的预测位置信息。
举例说明,服务器将施工机械在预设三维坐标系下的初始坐标,作为待构建的机械三维模型的模型中心的坐标,以及将施工机械的活动范围信息映射到预设三维坐标系中,得到与活动范围信息对应的活动区域的坐标,作为待构建的机械三维模型的模型轮廓的坐标;然后,服务器根据模型中心的坐标与模型轮廓的坐标,在预设三维坐标系中构建得到施工机械的机械三维模型;最后,服务器在预设三维坐标系中确定机械三维模型的坐标信息,作为施工机械在预设三维坐标系下的预测位置信息。
本实施例中,服务器通过初始位置信息与活动范围信息,能够在预设三维坐标系中构建得到表征施工机械的机械三维模型,进而能够在根据输电线路周边的环境构建得到的预设三维坐标系中,预测施工机械在施工过程中可能出现的位置,为后续研判施工机械是否会对输电线路造成隐患提供了基础,缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。
在一示例性实施例中,在上述步骤S108,根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息之前,还具体包括以下内容:确定施工机械与输电线路在监控图像中的图像位置差异信息;根据图像位置差异信息,与输电线路在预设三维坐标系下的线路位置信息,确定施工机械在预设三维坐标系下的初始位置信息。
其中,图像位置差异信息,用于表征监控图像中的施工机械与输电线路之间的图像距离与图像方向角。
具体地,服务器首先根据监控图像,确定监控图像中的施工机械与输电线路之间的图像距离与图像方向角;接着,服务器根据输电线路在预设三维坐标系中的线路位置信息,以及图像距离与图像方向角,在预设三维坐标系中,确定施工机械的初始位置信息。
举例说明,服务器首先根据监控图像,确定施工机械与输电线路之间的距离,然后在输电线路在预设三维坐标系中的线路坐标的基础上,加上施工机械与输电线路之间的图像距离与图像方向角,从而得到施工机械在预设三维坐标系中的初始坐标。
本实施例中,服务器通过监控图像,可以初步确定施工机械与输电线路之间的距离与方向角,从而能够在已知输电线路在预设三维坐标系下的线路坐标的情况下,计算出施工机械在预设三维坐标系下的初始坐标,进而能够预测得到施工机械在施工过程中可能到达的位置,缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。
在一示例性实施例中,根据图像位置差异信息,与输电线路在预设三维坐标系下的线路位置信息,确定施工机械在预设三维坐标系下的初始位置信息,具体包括以下内容:对图像位置差异信息进行映射处理,得到施工机械与输电线路在预设三维坐标系下的实际位置差异信息;根据实际位置差异信息,以及输电线路在预设三维坐标系下的路线位置信息,得到施工机械在预设三维坐标系下的初始位置信息。
其中,映射处理是指对监控图像所处的二维坐标系与预设三维坐标系之间的比例映射处理。
其中,实际位置差异信息,用于表征预设三维坐标系中的施工机械与输电线路之间的坐标距离与坐标方向角。
具体地,服务器首先根据监控图像与预设三维坐标系之间的比例映射关系,对施工机械与输电线路之间的图像距离与图像方向角进行映射(即比例变化),得到施工机械与输电线路之间的坐标距离与坐标方向角;然后,服务器在预设三维坐标系中的线路坐标的基础上,加上坐标距离与坐标方向角,得到施工机械在预设三维坐标系下的初始坐标,作为施工机械的初始位置信息。
本实施例中,服务器通过对图像位置差异信息的映射处理,能够将监控图像上的距离与方向角映射到预设三维坐标系中,得到施工机械与输电线路在三维空间(预设三维坐标系)中的实际位置差异信息,从而能够基于输电线路的线路位置信息,确定施工机械的初始位置信息。
在一示例性实施例中,如图3所示,上述步骤S104,在监控图像中存在施工机械的图像的情况下,将施工机械的图像输入至预先训练的施工机械识别模型中,得到施工机械的机械标识,具体包括以下步骤:
步骤S302,在通过目标检测模型识别到监控图像中存在施工机械的图像的情况下,从监控图像中提取出施工机械的图像。
步骤S304,通过预先训练的施工机械识别模型,确认施工机械的图像与样本施工机械的样本图像之间的相似度。
步骤S306,将对应的相似度最大的样本施工机械的机械标识,作为施工机械的机械标识。
其中,目标检测模型为常见的用于识别特定物体的模型,例如YOLOv5(You OnlyLook Once version 5,一种目标检测算法)目标检测模型。
具体地,服务器将监控图像输入至目标检测模型中,在目标检测模型输出的结果中能够识别到监控图像中存在施工机械的图像的情况下,服务器从监控图像中提取出施工机械的图像,然后将施工机械的图像输入至预先训练的施工机械识别模型中,并通过预先训练的施工机械识别模型,确认施工机械的图像与各个样本施工机械的样本图像之间的相似度;然后服务器将对应的相似度最大的样本施工机械确认为施工机械的参考机械,并将参考机械的机械表示,确认为施工机械的机械标识。
举例说明,假设服务器通过预先训练的施工机械识别模型,得到对应的相似度最大的样本施工机械的机械标识为abcdefg15,那么服务器确认施工机械的机械标识为abcdefg15。
本实施例中,服务器通过目标检测模型,可以检测监控图像中是否存在施工机械的图像;同时通过预先训练的施工机械识别模型,还能够基于图像之间的相似度,确认施工机械的机械标识,为后续确定施工机械的活动范围信息与预测位置信息提供了信息基础,有利于后续研判施工机械是否会对输电线路造成隐患,基于以上过程的输电线路周边的施工隐患检测方法缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。
在一示例性实施例中,如图4所示,上述任意一个实施例中的预先训练的施工机械识别模型,通过下述方式训练得到:
步骤S402,按照样本施工机械的机械标识,对样本施工机械的样本图像进行标注,得到样本图像的标注标签。
步骤S404,将训练图像输入至待训练的施工机械识别模型中,得到训练图像的预测机械标识。
步骤S406,通过训练图像的预测机械标识与训练图像的标注标签之间的差异,对待训练的施工机械识别模型进行训练,得到训练完成的施工机械识别模型。
步骤S408,通过验证图像,对训练完成的施工机械识别模型进行验证。
步骤S410,在训练完成的施工机械识别模型验证通过的情况下,将训练完成的施工机械识别模型,作为预先训练的施工机械识别模型。
其中,样本图像中包括训练图像和验证图像。训练图像用于对待训练的施工机械识别模型进行训练;验证图像用于对训练完成的施工机械识别模型进行验证。
具体地,服务器以样本施工机械的机械标识,作为图像的标注标签,对样本施工机械进行标注,并从标注后的样本图像中随机抽取80%作为训练图像,剩下20%作为验证图像;然后,服务器将训练图像输入至待训练的施工机械识别模型中,得到训练图像的预测机械标识;接着,服务器根据损失函数计算训练图像的预测机械标识与标注标签之间的损失值,并在损失值大于预设损失阈值的情况下,更新待训练的施工机械识别模型中的参数,从而对待训练的施工机械识别模型进行反复训练,直到对应的损失值小于预设损失阈值为止,得到训练完成的施工机械识别模型;再接着,服务器将验证图像输入至训练完成的施工机械识别模型中,得到验证图像的机械标识,并根据验证图像的机械标识与标注标签计算训练完成的施工机械识别模型的识别精度,在识别精度满足大于预设精度阈值的情况下,确认训练完成的施工机械识别模型验证通过,将训练完成的施工机械识别模型确认为预先训练的施工机械识别模型。
能够理解的是,若训练完成的施工机械识别模型的识别精度小于预设精度阈值,那么服务器需要将验证图像作为训练图像,继续对训练完成的施工机械识别模型进行训练。
本实施例中,服务器通过样本图像中的训练图像,能够对待训练的施工机械识别模型进行训练,并通过样本图像中的验证图像,能够对训练完成的施工机械识别模型进行验证,从而得到能够准确识别出施工机械的机械标识的预先训练的施工机械识别模型,为后续确定施工机械的活动范围信息提供了确定依据。
在一示例性实施例中,在上述步骤S110,在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患之后,还具体包括以下内容:根据施工机械的机械标识与初始位置信息,生成施工隐患预警信息;向与输电线路关联的巡检终端发送施工隐患预警信息。
具体地,服务器在确认输电线路在监测范围内存在施工隐患之后,还需要将施工机械的机械标识与施工机械在预设三维坐标系下的初始坐标打包为施工隐患预警信息,并将施工隐患预警信息发送至与存在施工隐患的输电线路关联的巡检终端上,从而警示使用该巡检终端的巡检人员,及时对造成施工隐患的施工机械进行干预,避免施工机械干扰到输电线路。
本实施例中,服务器通过施工隐患预警信息,能够及时警示巡检人员,输电线路周边存在有可能会干扰到输电线路的施工机械,从而能够及时预防干扰的真实发生,保证了输电线路的正常运行。
在一示例性实施例中,如图5所示,提供了另一种输电线路周边的施工隐患检测方法,以该方法应用于服务器为例进行说明,包括以下步骤:
步骤S501,接收监控设备采集的以输电线路为中心的监测范围内的监控图像。
步骤S502,在通过目标检测模型识别到监控图像中存在施工机械的图像的情况下,从监控图像中提取出施工机械的图像。
步骤S503,通过预先训练的施工机械识别模型,确认施工机械的图像与样本施工机械的样本图像之间的相似度。
步骤S504,将对应的相似度最大的样本施工机械的机械标识,作为施工机械的机械标识。
步骤S505,根据施工机械的机械标识,从预先构建的机械数据库中,确认出施工机械的活动范围信息。
步骤S506,确定施工机械与输电线路在监控图像中的图像位置差异信息。
步骤S507,对图像位置差异信息进行映射处理,得到施工机械与输电线路在预设三维坐标系下的实际位置差异信息。
步骤S508,根据实际位置差异信息,以及输电线路在预设三维坐标系下的路线位置信息,得到施工机械在预设三维坐标系下的初始位置信息。
步骤S509,根据施工机械的初始位置信息,确定待构建的机械三维模型的模型中心,以及根据施工机械的活动范围信息,确定待构建的机械三维模型的模型轮廓。
步骤S510,根据待构建的机械三维模型的模型中心与模型轮廓,构建施工机械的机械三维模型。
步骤S511,确定施工机械的机械三维模型在预设三维坐标系下的位置信息,作为施工机械在预设三维坐标系下的预测位置信息。
步骤S512,在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患。
步骤S513,根据施工机械的机械标识与初始位置信息,生成施工隐患预警信息。
步骤S514,向与输电线路关联的巡检终端发送施工隐患预警信息。
本实施例中,服务器通过监控图像,服务器能够第一时间发现输电线路周边出现的施工机械,并通过预先训练的施工机械识别模型、预先构建的机械数据库,以及根据监控图像得到的施工机械的初始位置信息,服务器还能够确定施工机械的预测位置信息,从而预判施工机械在施工过程中是否会触碰到输电线路,进而避免了施工机械对输电线路造成损坏的发生;基于以上过程的输电线路周边的施工隐患检测方法,缩短了人工巡检所耗费的时间,提高了施工隐患检测的检测效率。此外,服务器通过监控图像,可以初步确定施工机械与输电线路之间的距离与方向角,从而能够在已知输电线路在预设三维坐标系下的线路坐标的情况下,计算出施工机械在预设三维坐标系下的初始坐标,进而结合活动范围信息,能够预测得到施工机械在施工过程中可能到达的位置;同时,服务器通过目标检测模型,可以检测监控图像中是否存在施工机械的图像;同时通过预先训练的施工机械识别模型,还能够基于图像之间的相似度,确认施工机械的机械标识,为后续确定施工机械的活动范围信息与预测位置信息提供了信息基础,有利于后续研判施工机械是否会对输电线路造成隐患。
为了更清晰阐明本申请实施例提供的输电线路周边的施工隐患检测方法,以下以一个具体的实施例对该输电线路周边的施工隐患检测方法进行具体说明,但应当理解的是,本申请实施例并不限于此。在一示例性实施例中,如图6所示,本申请还提供了一种基于目标检测的施工机械识别方法,具体包括以下步骤:
步骤1:构建施工机械模型库。
服务器搜集各类施工机械的运行参数和机械尺寸,以构建模型库;模型库用于推算和记录各施工机械的最大活动范围。施工机械的最大活动范围是指施工机械在保持不动的状态下其支臂之类的部件所能活动的最大范围,施工机械的最大活动范围包括高度。
步骤2:训练施工机械识别模型。
服务器利用若干施工机械的图片作为训练样本,并将训练样本投入至神经网络模型中进行目标检测的深度学习和训练,直至目标检测的准确率达到预设值。在训练样本的目标检测准确率达到预设值后,服务器再准备若干施工机械的图片作为测试样本,将其输入至神经网络模型中,并判断目标检测准确率是否达标,若测试样本的目标检测准确率未达标,则继续重复步骤2,并增大训练样本、测试样本的数量,直至测试样本的目标检测准确率达标为止。
步骤3:监控输电线路周边的环境。
在输电线路周边布设监控设备,以实时监控周边环境,服务器利用神经网络模型实时监控输电线路周边的内容物,并识别标记出施工机械,同时在施工机械模型库中关联出该施工机械的最大活动范围。
步骤4:建立输电线路周边的三维坐标系。
服务器以输电线路所在区域为模型,建议三维坐标系,并确定输电线路各部分于三维坐标系中的坐标位置,例如O(X,Y,Z)。
步骤5:计算机械坐标。
施工机械被纳入监控范围内后服务器识别该机械设备,计算施工机械于三维坐标系中的坐标位置,例如T(X,Y,Z),再基于施工机械的识别结果,于坐标位置的基础上增加上该施工机械的最大活动范围。
若施工机械所处坐标位置加上该施工机械的最大活动范围后,与输电线路任意部分的坐标位置重合或超过,则表示该施工机械在施工过程中容易对输电线路造成隐患,因此服务器需要及时通知巡检人员加以注意。
本实施例中,服务器基于用于目标检测的神经网络模型识别输电线路监控范围内的施工机械,并预先搜集各机械原地不动状态下其最大活动范围,同时建立三维坐标系,从而基于施工机械所处坐标位置与该机械的最大活动范围,检测该施工机械是否会对输电线路行程施工隐患,并在有隐患的基础上通知巡检人员加以注意,从而起到保护输电线路的作用,实现实时监测,降低人工成本。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的输电线路周边的施工隐患检测方法的输电线路周边的施工隐患检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个输电线路周边的施工隐患检测装置实施例中的具体限定可以参见上文中对于输电线路周边的施工隐患检测方法的限定,在此不再赘述。
在一示例性实施例中,如图7所示,提供了一种输电线路周边的施工隐患检测装置,包括:监控图像接收模块702、施工机械识别模块704、活动信息确认模块706、预测位置确认模块708和施工隐患确认模块710,其中:
监控图像接收模块702,用于接收监控设备采集的以输电线路为中心的监测范围内的监控图像。
施工机械识别模块704,用于在监控图像中存在施工机械的图像的情况下,将施工机械的图像输入至预先训练的施工机械识别模型中,得到施工机械的机械标识。
活动信息确认模块706,用于根据施工机械的机械标识,从预先构建的机械数据库中,确认出施工机械的活动范围信息。
预测位置确认模块708,用于根据施工机械的初始位置信息与施工机械的活动范围信息,确认施工机械的预测位置信息;施工机械的初始位置信息通过监控图像确定得到。
施工隐患确认模块710,用于在施工机械的预测位置信息与输电线路的线路位置信息之间存在重合的情况下,确认输电线路在监测范围内存在施工隐患。
在一示例性实施例中,预测位置确认模块708,还用于根据施工机械的初始位置信息,确定待构建的机械三维模型的模型中心,以及根据施工机械的活动范围信息,确定待构建的机械三维模型的模型轮廓;根据待构建的机械三维模型的模型中心与模型轮廓,构建施工机械的机械三维模型;确定施工机械的机械三维模型在预设三维坐标系下的位置信息,作为施工机械在预设三维坐标系下的预测位置信息。
在一示例性实施例中,输电线路周边的施工隐患检测装置还包括初始位置确认模块,用于确定施工机械与输电线路在监控图像中的图像位置差异信息;根据图像位置差异信息,与输电线路在预设三维坐标系下的线路位置信息,确定施工机械在预设三维坐标系下的初始位置信息;预设三维坐标系根据输电线路周边的环境构建得到。
在一示例性实施例中,初始位置确认模块,还用于对图像位置差异信息进行映射处理,得到施工机械与输电线路在预设三维坐标系下的实际位置差异信息;根据实际位置差异信息,以及输电线路在预设三维坐标系下的路线位置信息,得到施工机械在预设三维坐标系下的初始位置信息。
在一示例性实施例中,施工机械识别模块704,还用于在通过目标检测模型识别到监控图像中存在施工机械的图像的情况下,从监控图像中提取出施工机械的图像;通过预先训练的施工机械识别模型,确认施工机械的图像与样本施工机械的样本图像之间的相似度;将对应的相似度最大的样本施工机械的机械标识,作为施工机械的机械标识。
在一示例性实施例中,输电线路周边的施工隐患检测装置还包括识别模型训练模块,用于按照样本施工机械的机械标识,对样本施工机械的样本图像进行标注,得到样本图像的标注标签;样本图像中包括训练图像和验证图像;将训练图像输入至待训练的施工机械识别模型中,得到训练图像的预测机械标识;通过训练图像的预测机械标识与训练图像的标注标签之间的差异,对待训练的施工机械识别模型进行训练,得到训练完成的施工机械识别模型;通过验证图像,对训练完成的施工机械识别模型进行验证;在训练完成的施工机械识别模型验证通过的情况下,将训练完成的施工机械识别模型,作为预先训练的施工机械识别模型。
在一示例性实施例中,输电线路周边的施工隐患检测装置还包括预警信息生成模块,用于根据施工机械的机械标识与初始位置信息,生成施工隐患预警信息;向与输电线路关联的巡检终端发送施工隐患预警信息。
上述输电线路周边的施工隐患检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一示例性实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储施工机械的活动范围信息等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种输电线路周边的施工隐患检测方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一示例性实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一示例性实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一示例性实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。