CN113378903B - 一种广流域水体环境数据集成方法及系统 - Google Patents
一种广流域水体环境数据集成方法及系统 Download PDFInfo
- Publication number
- CN113378903B CN113378903B CN202110600995.5A CN202110600995A CN113378903B CN 113378903 B CN113378903 B CN 113378903B CN 202110600995 A CN202110600995 A CN 202110600995A CN 113378903 B CN113378903 B CN 113378903B
- Authority
- CN
- China
- Prior art keywords
- branch
- water body
- data
- basin
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000010354 integration Effects 0.000 title claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 122
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000005856 abnormality Effects 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 5
- 241000192710 Microcystis aeruginosa Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000012851 eutrophication Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- PWHULOQIROXLJO-UHFFFAOYSA-N Manganese Chemical compound [Mn] PWHULOQIROXLJO-UHFFFAOYSA-N 0.000 description 1
- 108010049746 Microcystins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910052748 manganese Inorganic materials 0.000 description 1
- 239000011572 manganese Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 150000002894 organic compounds Chemical class 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种广流域水体环境数据集成方法及系统,包括以下步骤:步骤S1、实时监测广流域包含的所有支流域的水体环境数据,并依据所述水体环境数据对所述支流域进行同属性聚类形成流域集群;步骤S2、对所述流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;步骤S3、将所述异常支流域的水体环境数据进行波动集成形成包含所述异常支流域的异常特征的水体环境关键数据。本发明利用同属性聚类将支流域归属至流域集群,并通过将同一流域集群中支流域的水体环境数据的互比较了解集群内支流域的差异性,能迅速判断支流域的风险状况,检测准确率高。
Description
技术领域
本发明涉及环境监测技术领域,具体涉及一种广流域水体环境数据集成方法及系统。
背景技术
水是万物之源,河湖水是人们生活用水的主要取水来源,也是生态系统重要的组成部分。随着现代工业的发展,人们日常生产生活产生大量的污染物排向河湖水域之中,造成河湖水富营养化,水域中氮、磷等营养盐类;铁、锰等微量元素以及有机化合物的含量大大增加,促进藻类生物大量繁殖造成水华现象,水华蓝藻所产的微囊藻毒素对人类健康具有很大危害性。
针对水华现象产生的危害,预防优于治理,对水体进行实时监控是预防的前提,水体的富营养化是产生水华的主要原因,在对河湖水的水体进行监控,目前主要利用水质在线监测的方法,通过实时采集水体环境数据以分析掌控水体环境特征,但是在线实时监测会产生数量级巨大的水体环境数据,而且在数量级巨大的水体环境数据逐一分析出存在异常的水域需要耗费大量的数据运算、传送资源,最终造成监测效率低下。
发明内容
本发明的目的在于提供一种广流域水体环境数据集成方法及系统,以解决现有技术中实时监测会产生数量级巨大的水体环境数据,而且在数量级巨大的水体环境数据逐一分析出存在异常的水域需要耗费大量的数据运算、传送资源,最终造成监测效率低下的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种广流域水体环境数据集成方法,包括以下步骤:
步骤S1、实时监测广流域包含的所有支流域的水体环境数据,并依据所述水体环境数据对所述支流域进行同属性聚类形成流域集群;
步骤S2、对所述流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
步骤S3、将所述异常支流域的水体环境数据进行波动集成形成包含所述异常支流域的异常特征的水体环境关键数据,并基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数。
作为本发明的一种优选方案,所述步骤S1中,所述流域集群形成的具体方法包括:
步骤S101、基于所述水体环境数据将所有支流域分别量化为单个流域集群xy={ay1,ay2,...,aym},其中,xy表示第y个支流域的水体环境数据的集合,ayz表示第y个支流域的第z类水体环境数据,z∈[1,m],y∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S102、依次比对流域集群的外相似性,并将外相似性最大的两个流域集群进行融合归一,所述外相似性用果瓦系数进行度量:
其中,为支流域y1和支流域y2的果瓦系数,/>为支流域y1和支流域y2在和/>上的取值,/>为加权变量,k1∈[1,m],y1,y2∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S103、重复步骤S102直至当前流域集群总数目是步骤S101中流域集群总数目的10%完成所有支流域的同属性聚类,保留当前流域集群作为最终同属性聚类结果。
作为本发明的一种优选方案,所述步骤S2中,支流域的异常判别的具体方法包括:
对各个流域集群中的所有支流域的水体环境数据xyp={ay1p,ay2p,...,aymp}分别进行归一化处理为消除不同指标量纲带来的差异,所述归一化公式为:
其中,z∈[1,m],y∈[1,n2p],p∈[1,N],xyp表示第p个流域集群中第y个支流域的水体环境数据的集合,ayzp表示第p个流域集群中第y个支流域的第z类水体环境数据,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,ayzp′表示归一化处理后第p个流域集群中第y个支流域的第z类水体环境数据;
量化同一流域集群中的支流域两两之间的异常距离,所述异常距离用欧式距离度量,所述欧式距离的计算公式为:
其中,y1,y2∈[1,n2p],z∈[1,m],p∈[1,N],为第p个流域集群中支流域y1和支流域y2的欧式距离,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,/>分别表示归一化处理后第p个流域集群中第y1、y2个支流域的第z类水体环境数据;
设置距离阈值,基于所述距离阈值判定所述流域集群中支流域的异常状况。
作为本发明的一种优选方案,所述基于所述距离阈值判定所述流域集群中支流域的风险状况的方法包括:
若各个流域集群p中与支流域y的距离大于距离阈值的支流域数量超过流域集群p中支流域总数目n2p的80%,则认定支流域y风险状况为异常,否则认定支流域y风险状况为正常;
将所有风险状况为异常的支流域进行提取作为实现所述广流域水体环境数据集成的异常支流域。
作为本发明的一种优选方案,所述步骤S3中,将所述异常支流域的水体环境数据进行波动集成形成水体环境关键数据的具体方法包括:
步骤S301、将所述异常支流域的实时水体环境数据依预设时序进行切割形成包含异常支流域环境整体特征的一组具有时序标签的水体环境连续数据;
步骤S302、将一组所述水体环境连续数据进行波动分析集成为包含异常支流域环境异常特征的一组具有时序标签的水体环境关键数据。
作为本发明的一种优选方案,所述波动分析的具体方法包括:
依次计算一组所述水体环境连续数据在相邻时序上的波动度构成波动度数据链,所述波动度的计算公式为:
其中,xt={at1,at2,...,atm},R为一组水体环境连续数据,xt,xt+1分别为第t,t+1时序下异常支流域的水体环境连续数据,atz表示第t时序的异常支流域的第z类水体环境连续数据,z∈[1,m],m为水体环境连续数据的总类别数目,p(xt,xt+1)是xt和xt+1的联合概率分布函数,而p(xt)和p(xt+1)分别是xt和xt+1的边缘概率分布函数;
在波动度数据链上标定所有跳跃节点,并选取位于所有跳跃节点两端的水体环境连续数据作为水体环境关键数据;
其中,跳跃节点是指波动度数据链上相邻节点数值相差超过波动阈值的数据节点。
作为本发明的一种优选方案,所述步骤S3,基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数的具体方法包括:
将一组所述水体环境连续数据在多维坐标系中绘制表征异常支流域的环境整体特征的整体特征曲面;
将一组所述水体环境关键数据在多维坐标系中绘制表征异常支流域的环境异常特征的异常特征曲面;
将所述整体特征曲面和异常特征曲面进行拟合构成既表征异常支流域的环境整体特征又表征环境异常特征的环境特性曲面;
将所述环境特性曲面进行函数量化为环境特征函数以将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数。
作为本发明的一种优选方案,所述多维坐标系的维度由所述水体环境连续数据的类别数目决定。
作为本发明的一种优选方案,本发明提供了一种根据所述的广流域水体环境数据集成方法的集成系统,其特征在于,包括:
数据采集单元,用于设置在所述支流域处实时监测所述支流域的水体环境数据;
异常判别单元,用于对所述流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
数据集成单元,用于将所述异常支流域的水体环境数据进行波动集成形成包含所述异常支流域的异常特征的水体环境关键数据,并基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数。
作为本发明的一种优选方案,所述数据采集单元、异常判别单元和数据集成单元之间通讯连接实现数据交互。
本发明与现有技术相比较具有如下有益效果:
本发明利用同属性聚类将支流域归属至流域集群,并通过将同一流域集群中支流域的水体环境数据的互比较了解集群内支流域的差异性,能迅速判断支流域的风险状况,检测准确率高,同时将支流域离散的水体环境数据进行函数量化环境特征函数,整体上将广流域水体环境数据集成为表征异常流域的环境特征函数,极大程度上掌控广流域水体环境的特征,并且降低了大数量级的水体环境的运算和传输,提高水体监测效率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的广流域水体环境数据集成方法流程图;
图2为本发明实施例提供的广流域结构示意图;
图3为本发明实施例提供的流域集群结构示意图;
图4为本发明实施例提供的波动度数据链示意图;
图5为本发明实施例提供的集成系统结构框图。
图中的标号分别表示如下:
1-数据采集单元;2-异常判别单元;3-数据集成单元;4-水体环境连续数据;5-波动度数据链;6-水体环境关键数据。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-5所示,广流域水体由于区域面积大,在进行水体环境监测时划分为多个支流域进行监测,而广流域水体环境监测的核心是获取到存在环境风险的流域,因此广流域水体环境监测的关注点在于存在环境风险的环境数据,而无风险的常规环境数据,在处理广流域水体环境数据的过程中需要对存在环境风险的环境数据进行集成,以掌控出风险流域的环境特征,并降低无风险的常规环境数据占用运算空间、传输空间和存储空间,因此本发明提供了一种广流域水体环境数据集成方法。
一种广流域水体环境数据集成方法,包括以下步骤:
步骤S1、实时监测广流域包含的所有支流域的水体环境数据,并依据水体环境数据对支流域进行同属性聚类形成流域集群;
步骤S1中,流域集群形成的具体方法包括:
步骤S101、基于所述水体环境数据将所有支流域分别量化为单个流域集群xy={ay1,ay2,...,aym},其中,xy表示第y个支流域的水体环境数据的集合,ayz表示第y个支流域的第z类水体环境数据,z∈[1,m],y∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S102、依次比对流域集群的外相似性,并将外相似性最大的两个流域集群进行融合归一,所述外相似性用果瓦系数进行度量:
其中,为支流域y1和支流域y2的果瓦系数,/>为支流域y1和支流域y2在和/>上的取值,/>为加权变量,k1∈[1,m],y1,y2∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S103、重复步骤S102直至当前流域集群总数目是步骤S101中流域集群总数目的10%完成所有支流域的同属性聚类,保留当前流域集群作为最终同属性聚类结果。
利用层次聚类法将具有相同环境属性的支流域划分至同一流域集群,从而对同一流域集群进行统一的水体环境数据的分析,可以将离散的支流域集成为流域集群,实现广流域水体环境数据的第一次集成。
步骤S2、对流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
步骤S2中,支流域的异常判别的具体方法包括:
对各个流域集群中的所有支流域的水体环境数据xyp={ay1p,ay2p,...,aymp}分别进行归一化处理为消除不同指标量纲带来的差异,所述归一化公式为:
其中,z∈[1,m],y∈[1,n2p],p∈[1,N],xyp表示第p个流域集群中第y个支流域的水体环境数据的集合,ayzp表示第p个流域集群中第y个支流域的第z类水体环境数据,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,ayzp′表示归一化处理后第p个流域集群中第y个支流域的第z类水体环境数据;
量化同一流域集群中的支流域两两之间的异常距离,所述异常距离用欧式距离度量,所述欧式距离的计算公式为:
其中,y1,y2∈[1,n2p],z∈[1,m],p∈[1,N],为第p个流域集群中支流域y1和支流域y2的欧式距离,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,/>分别表示归一化处理后第p个流域集群中第y1、y2个支流域的第z类水体环境数据;
设置距离阈值,基于距离阈值判定流域集群中支流域的异常状况。
基于距离阈值判定流域集群中支流域的风险状况的方法包括:
若各个流域集群p中与支流域y的距离大于距离阈值的支流域数量超过流域集群p中支流域总数目n2p的80%,则认定支流域y风险状况为异常,否则认定支流域y风险状况为正常;
将所有风险状况为异常的支流域进行提取作为实现广流域水体环境数据集成的异常支流域。
在同一流域集群中判别出异常支流域,并实现将流域集群的包含的所有水体环境数据集成为异常支流域的水体环境数据,实现广流域水体环境的第二次集成。
如图2和3所示,流域集群包括3个,流域集群1中包含支流域1-6,流域集群2中包含支流域7-11,流域集群3中包含支流域12-14,流域集群1内支流域1-6的水体环境属性相似,流域集群2内支流域7-11的水体环境属性相似,而流域集群1和2之间支流域1-6和7-11的水体环境属性差异度大,因此可对流域集群1内部的各支流域1-6的在水体环境数据进行内相似性比对,并判别支流域的生态风险。
步骤S3、将异常支流域的水体环境数据进行波动集成形成包含异常支流域的异常特征的水体环境关键数据,并基于水体环境关键数据进行函数拟合实现将离散的广流域水体环境数据集成为异常支流域的环境特征函数。
如图4所示,步骤S3中,将异常支流域的水体环境数据进行波动集成形成水体环境关键数据的具体方法包括:
步骤S301、将异常支流域的实时水体环境数据依预设时序进行切割形成包含异常支流域环境整体特征的一组具有时序标签的水体环境连续数据;
步骤S302、将一组水体环境连续数据进行波动分析集成为包含异常支流域环境异常特征的一组具有时序标签的水体环境关键数据。
波动分析的具体方法包括:
依次计算一组所述水体环境连续数据在相邻时序上的波动度构成波动度数据链,所述波动度的计算公式为:
其中,xt={at1,at2,...,atm},R为一组水体环境连续数据,xt,xt+1分别为第t,t+1时序下异常支流域的水体环境连续数据,atz表示第t时序的异常支流域的第z类水体环境连续数据,z∈[1,m],m为水体环境连续数据的总类别数目,p(xt,xt+1)是xt和xt+1的联合概率分布函数,而p(xt)和p(xt+1)分别是xt和xt+1的边缘概率分布函数;
在波动度数据链上标定所有跳跃节点,并选取位于所有跳跃节点两端的水体环境连续数据作为水体环境关键数据;
其中,跳跃节点是指波动度数据链上相邻节点数值相差超过波动阈值的数据节点。
波动度表征相邻时序的水体环境连续数据之间的波动程度,数值越高则波动程度越低,即可用相邻时序的水体环境连续数据两者降维为相邻时序中任一时序的水体环境连续数据表示,因此将相邻时序的水体环境连续数据之间的波动度构成波动度节点数据链,波动度节点数据链中平缓曲线上的所有数据节点对应的相邻时序的水体环境连续数据均具有一致的波动度,可随机选取平缓曲线上的所有数据节点对应的某一时序的水体环境连续数据进行表征完成多变一的数据降维,波动度节点数据链上跳跃节点对应的相邻时序的水体环境连续数据均具有不一致的波动度,即相邻时序的水体环境连续数据变化剧烈,体现了水体环境的剧烈变化表征为环境风险的发生,因此相邻时序的水体环境连续数据作为水体环境关键数据进行保留,可作为分析获得水体环境的异常特征。
步骤S3,基于水体环境关键数据进行函数拟合实现将离散的广流域水体环境数据集成为异常支流域的环境特征函数的具体方法包括:
将一组水体环境连续数据在多维坐标系中绘制表征异常支流域的环境整体特征的整体特征曲面;
将一组水体环境关键数据在多维坐标系中绘制表征异常支流域的环境异常特征的异常特征曲面;
将整体特征曲面和异常特征曲面进行拟合构成既表征异常支流域的环境整体特征又表征环境异常特征的环境特性曲面;
将环境特性曲面进行函数量化为环境特征函数以将离散的广流域水体环境数据集成为异常支流域的环境特征函数。
整体特征曲面是对水体环境的整体特征的量化表征,异常特征曲面是对水体环境的异常特征的量化表征,异常特征曲面仅包含多个水体环境关键数据的数据,但仅仅根据多个水体环境关键数据的数据拟合出环境特性曲面,拟合精度差;整体特征曲面具有数量足够多的数据用于拟合出表征水体环境整体特征的环境特性曲面,但难以显示异常特征的细节,因此将整体特征曲面和异常特征曲面相结合获得数量足够多的数据的同时获得异常特征数据,用以拟合出既能表征异常支流域的整体水体环境特征又能突出关键水体环境特征的环境特性曲面。
将环境特性曲面量化为环境特征函数,将离散的支流域水体环境数据集成为环境特征函数,实现广流域水体环境数据的第三次集成,最终实现将广域离散的广流域水体环境数据集成为异常支流域的环境特征函数,有效的降低水体环境数据的存储数量级,只需要存储为环境特征函数即可,在专业分析人员要对水体环境进行分析时,只需对环境特征函数进行绘制即可得到整个广流域的中异常支流域的环境整体特征和异常特征进行掌握。
多维坐标系的维度由水体环境连续数据的类别数目决定。
如图5所示,基于上述广流域水体环境数据集成方法,本发明提供了一种集成系统,其特征在于,包括:
数据采集单元1,用于设置在支流域处实时监测支流域的水体环境数据;
异常判别单元2,用于对流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
数据集成单元3,用于将异常支流域的水体环境数据进行波动集成形成包含异常支流域的异常特征的水体环境关键数据,并基于水体环境关键数据进行函数拟合实现将离散的广流域水体环境数据集成为异常支流域的环境特征函数。
数据采集单元、异常判别单元和数据集成单元之间通讯连接实现数据交。
本发明利用同属性聚类将支流域归属至流域集群,并通过将同一流域集群中支流域的水体环境数据的互比较了解集群内支流域的差异性,能迅速判断支流域的风险状况,检测准确率高,同时将支流域离散的水体环境数据进行函数量化环境特征函数,整体上将广流域水体环境数据集成为表征异常流域的环境特征函数,极大程度上掌控广流域水体环境的特征,并且降低了大数量级的水体环境的运算和传输,提高水体监测效率。
本发明以同一流域集群中的支流域作为基准,通过互比较判断支流域的生态风险状况,能在支流域风险发生早期识别出,对于保障广流域水体安全稳定。
本发明将流域集群统一监测的概念引入支流域生态风险监测中,将相似的支流域归在一起形成各个流域集群,有利于支流域的长期监管。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (7)
1.一种广流域水体环境数据集成方法,其特征在于,包括以下步骤:
步骤S1、实时监测广流域包含的所有支流域的水体环境数据,并依据所述水体环境数据对所述支流域进行同属性聚类形成流域集群;
步骤S2、对所述流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
步骤S3、将所述异常支流域的水体环境数据进行波动集成形成包含所述异常支流域的异常特征的水体环境关键数据,并基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数;
所述步骤S1中,所述流域集群形成的具体方法包括:
步骤S101、基于所述水体环境数据将所有支流域分别量化为单个流域集群xy={ay1,ay2,…,aym},其中xy表示第y个支流域的水体环境数据的集合,ayz表示第y个支流域的第z类水体环境数据,z∈[1,m],y∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S102、依次比对流域集群的外相似性,并将外相似性最大的两个流域集群进行融合归一,所述外相似性用果瓦系数进行度量:
其中,为支流域y1和支流域y2的果瓦系数,/>为支流域y1和支流域y2在/>和/>上的取值,/>为加权变量,k1∈[1,m],y1,y2∈[1,n],m为水体环境数据的总类别数目,n为支流域的总数目;
步骤S103、重复步骤S102直至当前流域集群总数目是步骤S101中流域集群总数目的10%完成所有支流域的同属性聚类,保留当前流域集群作为最终同属性聚类结果;
所述步骤S2中,支流域的异常判别的具体方法包括:
对各个流域集群中的所有支流域的水体环境数据xyp={ay1p,ay2p,…,aymp}分别进行归一化处理为消除不同指标量纲带来的差异,所述归一化公式为:
其中,z∈[1,m],y∈[1,n2p],p∈[1,N],xyp表示第p个流域集群中第y个支流域的水体环境数据的集合,ayzp表示第p个流域集群中第y个支流域的第z类水体环境数据,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,ayzp′表示归一化处理后第p个流域集群中第y个支流域的第z类水体环境数据;
量化同一流域集群中的支流域两两之间的异常距离,所述异常距离用欧式距离度量,所述欧式距离的计算公式为:
其中,y1,y2∈[1,n2p],z∈[1,m],p∈[1,N],为第p个流域集群中支流域y1和支流域y2的欧式距离,m为水体环境数据的总类别数目,n2p为第p个流域集群中支流域的总数目,N为流域集群总数目,/>分别表示归一化处理后第p个流域集群中第y1、y2个支流域的第z类水体环境数据;
设置距离阈值,基于所述距离阈值判定所述流域集群中支流域的异常状况;
所述步骤S3中,将所述异常支流域的水体环境数据进行波动集成形成水体环境关键数据的具体方法包括:
步骤S301、将所述异常支流域的实时水体环境数据依预设时序进行切割形成包含异常支流域环境整体特征的一组具有时序标签的水体环境连续数据;
步骤S302、将一组所述水体环境连续数据进行波动分析集成为包含异常支流域环境异常特征的一组具有时序标签的水体环境关键数据。
2.根据权利要求1所述的一种广流域水体环境数据集成方法,其特征在于:所述基于所述距离阈值判定所述流域集群中支流域的异常状况的方法包括:
若各个流域集群p中与支流域y的距离大于距离阈值的支流域数量超过流域集群p中支流域总数目n2p的80%,则认定支流域y风险状况为异常,否则认定支流域y风险状况为正常;
将所有风险状况为异常的支流域进行提取作为实现所述广流域水体环境数据集成的异常支流域。
3.根据权利要求1所述的一种广流域水体环境数据集成方法,其特征在于:所述波动分析的具体方法包括:
依次计算一组所述水体环境连续数据在相邻时序上的波动度构成波动度数据链,所述波动度的计算公式为:
其中,xt={at1,at2,…,atm},R为一组水体环境连续数据,xt,xt+1分别为第t,t+1时序下异常支流域的水体环境连续数据,atz表示第t时序的异常支流域的第z类水体环境连续数据,z∈[1,m],m为水体环境连续数据的总类别数目,p(xt,xt+1)是xt和xt+1的联合概率分布函数,而p(xt)和p(xt+1)分别是xt和xt+1的边缘概率分布函数;
在波动度数据链上标定所有跳跃节点,并选取位于所有跳跃节点两端的水体环境连续数据作为水体环境关键数据;
其中,跳跃节点是指波动度数据链上相邻节点数值相差超过波动阈值的数据节点。
4.根据权利要求3所述的一种广流域水体环境数据集成方法,其特征在于,所述步骤S3,基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数的具体方法包括:
将一组所述水体环境连续数据在多维坐标系中绘制表征异常支流域的环境整体特征的整体特征曲面;
将一组所述水体环境关键数据在多维坐标系中绘制表征异常支流域的环境异常特征的异常特征曲面;
将所述整体特征曲面和异常特征曲面进行拟合构成既表征异常支流域的环境整体特征又表征环境异常特征的环境特性曲面;
将所述环境特性曲面进行函数量化为环境特征函数以将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数。
5.根据权利要求4所述的一种广流域水体环境数据集成方法,其特征在于,所述多维坐标系的维度由所述水体环境连续数据的类别数目决定。
6.一种根据权利要求1-5任一项所述的广流域水体环境数据集成方法的集成系统,其特征在于,包括:
数据采集单元(1),用于设置在所述支流域处实时监测所述支流域的水体环境数据;
异常判别单元(2),用于对所述流域集群中的所有支流域进行内相似性比对实现对支流域的异常判别,并筛选处于异常状况的支流域作为异常支流域;
数据集成单元(3),用于将所述异常支流域的水体环境数据进行波动集成形成包含所述异常支流域的异常特征的水体环境关键数据,并基于所述水体环境关键数据进行函数拟合实现将离散的所述广流域水体环境数据集成为异常支流域的环境特征函数。
7.根据权利要求6所述的一种集成系统,其特征在于,所述数据采集单元(1)、异常判别单元(2)和数据集成单元(3)之间通讯连接实现数据交互。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600995.5A CN113378903B (zh) | 2021-05-31 | 2021-05-31 | 一种广流域水体环境数据集成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110600995.5A CN113378903B (zh) | 2021-05-31 | 2021-05-31 | 一种广流域水体环境数据集成方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113378903A CN113378903A (zh) | 2021-09-10 |
CN113378903B true CN113378903B (zh) | 2024-05-10 |
Family
ID=77575164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110600995.5A Active CN113378903B (zh) | 2021-05-31 | 2021-05-31 | 一种广流域水体环境数据集成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113378903B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794584A (zh) * | 2015-04-30 | 2015-07-22 | 中国科学院南京地理与湖泊研究所 | 一种湖泊型流域水生态功能一二级分区方法 |
CN105868533A (zh) * | 2016-03-23 | 2016-08-17 | 四川理工学院 | 基于物联网和3s技术江河流域水环境集成感知与应用方法 |
CN110728320A (zh) * | 2019-10-11 | 2020-01-24 | 福建工程学院 | 一种基于自编码和聚类结合的水质监测预警方法及系统 |
CN111709586A (zh) * | 2020-06-19 | 2020-09-25 | 大连理工大学 | 一种水库流域洪水起调水位分型设计与控制的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11276032B2 (en) * | 2018-10-12 | 2022-03-15 | International Business Machines Corporation | Intelligent classification for product pedigree identification |
-
2021
- 2021-05-31 CN CN202110600995.5A patent/CN113378903B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794584A (zh) * | 2015-04-30 | 2015-07-22 | 中国科学院南京地理与湖泊研究所 | 一种湖泊型流域水生态功能一二级分区方法 |
CN105868533A (zh) * | 2016-03-23 | 2016-08-17 | 四川理工学院 | 基于物联网和3s技术江河流域水环境集成感知与应用方法 |
CN110728320A (zh) * | 2019-10-11 | 2020-01-24 | 福建工程学院 | 一种基于自编码和聚类结合的水质监测预警方法及系统 |
CN111709586A (zh) * | 2020-06-19 | 2020-09-25 | 大连理工大学 | 一种水库流域洪水起调水位分型设计与控制的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113378903A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969346B (zh) | 基于指标筛选的流域水生态功能分区治理需求评价方法 | |
Li et al. | Exploring the spatiotemporal water quality variations and their influencing factors in a large floodplain lake in China | |
CN102854296A (zh) | 一种基于集成神经网络的污水处理软测量方法 | |
Van Broekhoven et al. | Interpretability-preserving genetic optimization of linguistic terms in fuzzy models for fuzzy ordered classification: An ecological case study | |
Wang et al. | A full-view management method based on artificial neural networks for energy and material-savings in wastewater treatment plants | |
CN117170221A (zh) | 一种污水处理的人工智能控制系统 | |
Yu et al. | Using machine learning to reveal spatiotemporal complexity and driving forces of water quality changes in Hong Kong marine water | |
Sahu et al. | Regional frequency analysis using L-moment methodology—a review | |
Hu et al. | Explore the relationship between fish community and environmental factors by machine learning techniques | |
CN117030957A (zh) | 近海营养盐和化学需氧量的遥感反演方法及系统 | |
Fayer et al. | A temporal fusion transformer deep learning model for long-term streamflow forecasting: a case study in the funil reservoir, Southeast Brazil | |
Borzooei et al. | Assessment of weather-based influent scenarios for a WWTP: application of a pattern recognition technique | |
Victoriano et al. | Predicting river pollution using random forest decision tree with GIS model: A case study of MMORS, Philippines | |
CN113378903B (zh) | 一种广流域水体环境数据集成方法及系统 | |
CN110807174B (zh) | 一种基于统计分布的污水厂厂群出水分析及异常识别方法 | |
Walley et al. | Self-organising maps for the classification and diagnosis of river quality from biological and environmental data | |
Chrobak et al. | Combining indicators for better decisions–Algorithms vs experts on lakes ecological status assessment | |
Zheng et al. | An ensemble model for accurate prediction of key water quality parameters in river based on deep learning methods | |
Li et al. | Spatiotemporal classification analysis of long-term environmental monitoring data in the northern part of Lake Taihu, China by using a self-organizing map | |
Avakul et al. | Spatio-temporal variations in water quality of the Chao Phraya River, Thailand, between 1991 and 2008 | |
KR20170112469A (ko) | 데이터마이닝 기법을 이용한 종합 수질 평가지수의 산정방법 | |
Khan | Decoding Urban Inequality: The Applications of Machine Learning for Mapping Inequality in Cities of the Global South | |
Kiran et al. | Classification of groundwater by applying Simplified Fuzzy Adaptive Resonance Theory. | |
CN117390466B (zh) | 一种基于相似性度量的湖泊稳态判别方法 | |
Li et al. | Enhanced Prediction of Dissolved Oxygen Concentration using a Hybrid Deep Learning Approach with Sinusoidal Geometric Mode Decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |