CN104090974A - 展延水库后续来水的动态数据挖掘方法及系统 - Google Patents
展延水库后续来水的动态数据挖掘方法及系统 Download PDFInfo
- Publication number
- CN104090974A CN104090974A CN201410344401.9A CN201410344401A CN104090974A CN 104090974 A CN104090974 A CN 104090974A CN 201410344401 A CN201410344401 A CN 201410344401A CN 104090974 A CN104090974 A CN 104090974A
- Authority
- CN
- China
- Prior art keywords
- flood
- similar
- historical
- extension
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000006424 Flood reaction Methods 0.000 title claims abstract description 84
- 238000007418 data mining Methods 0.000 title claims abstract description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 80
- 230000000694 effects Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004069 differentiation Effects 0.000 claims description 6
- 238000007417 hierarchical cluster analysis Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims 6
- 239000012141 concentrate Substances 0.000 claims 6
- 238000012935 Averaging Methods 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 238000007689 inspection Methods 0.000 claims 2
- 230000003111 delayed effect Effects 0.000 abstract 1
- SQQWBSBBCSFQGC-JLHYYAGUSA-N ubiquinone-2 Chemical compound COC1=C(OC)C(=O)C(C\C=C(/C)CCC=C(C)C)=C(C)C1=O SQQWBSBBCSFQGC-JLHYYAGUSA-N 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000002689 soil Substances 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明一种展延水库后续来水的动态数据挖掘方法及系统,所述方法包括如下步骤:对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级;对历史洪水资料作标准化处理;选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;相似洪水动态识别,构建相似洪水集;相似洪水选取;相似洪水展延。本发明通过相似洪水的动态识别与展延预估了水库的后续来水过程和水量,有效地弥补了当前洪水预报预见期过短的问题。
Description
技术领域
本发明属于水利工程领域中的水库实时防洪调度技术,尤其涉及一种展延水库后续来水的动态数据挖掘方法及系统。
背景技术
对于实时防洪调度而言,水库后续来水的预测对其具有重要意义,因此需要结合实时洪水预报的成果来指导防洪调度决策。然而限于技术水平,目前的洪水预报只能在有限预见期内给出满足精度的洪水预报结果,难以满足水库实时防洪调度的要求。
为了解决洪水预报预见期过短的问题,目前主要有两条途径:
第一条途径:采用短期气象预报与产汇流模型相耦合的方法进行洪水预报,该方法虽然能够在一定程度上延长洪水预报的预见期,但是考虑到降雨的时空分配具有较强的随机性特点,其应用效果欠佳。
第二条途径:对历史洪水进行归类和洪水相似性识别,已有的研究均基于洪水全过程,所选择的相似性评价指标(暴雨笼罩面积、暴雨总历时、洪水重现期、洪水组成等)都是在洪水全过程之后才能获得,无法满足水库实时防洪调度的要求,不具有实用价值。
此外,不同量级的洪水存在不同的内在机制差别,具体表现为不同量级的洪水在前期降雨时空分布、区间来水、前期土壤含水量等因素上具有较大的差异,而现有的技术均未涉及分量级的相似洪水识别研究。在部分缺资料地区,由于洪水相似性指标的资料不完备,因此缺资料地区的相似洪水的识别和展延也是亟需解决的问题。
发明内容
发明目的:一个目的是提供一种展延水库后续来水的动态数据挖掘方法,以解决当前洪水预报预见期过短而无法满足水库实时防洪调度的要求的问题。
进一步的目的是提供一种展延水库后续来水的动态数据挖掘系统,以实现上述方法。
技术方案:一种展延水库后续来水的动态数据挖掘方法,包括如下步骤:
对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级;对历史洪水资料作标准化处理;选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;相似洪水动态识别,构建相似洪水集;相似洪水选取;相似洪水展延。
进一步的实施例中,包括如下步骤:
步骤1:对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频,在相应的数据中进行相似洪水检索,获取相关历史洪水资料数据;
步骤2:对历史洪水资料做标准化处理,以每一场历史洪水降雨开始时刻作为原点,将历史洪水发生的绝对时间转换为时序;
步骤3:选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案,所述洪水相似形指标包括起涨流量、时段累积降雨量和时段累积水量;
步骤4:相似洪水动态识别,构建相似洪水集,将历史若干场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止;
步骤5:选取相似洪水;若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;其他情况则选择相似洪水集的平均过程;
步骤6:相似洪水展延;在实时洪水预报预见期内,采用实时洪水预报的成果;在预见期外,从相似洪水集中选择相似洪水进行拼接。
构建相似洪水集的步骤进一步包括:
步骤41、初始化分类,选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值,将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N,N、K为自然数;
步骤42、计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数,初始时m=N;欧式距离Di,j可采用以下公式计算:
步骤43、计算步骤42中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1)…,令k=k+1,m=m-1;
步骤44、检查类的个数,如果类的个数m>2,转至步骤42继续进行聚类计算;否则,计算结束;
步骤45、构建相似洪水集,根据层次聚类分析的结果,取前若干场洪水构建相似洪水集。
所述相似洪水展延步骤进一步包括:
对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ)
Q0为洪水起涨流量;
t0为当前时刻;
τ为实时洪水预报预见期;
Q(t)为实时洪水预报的流量过程;
Q1(t)为选取的相似洪水流量过程;
Q2(t)为相似洪水展延流量过程;
ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
在进一步的实施例中,还包括步骤7:
评价洪水展延效果;通过后续水量展延增益率和确定性系数增量评价洪水展延效果;
后续水量展延增益率采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期,t0为当前时刻,Q(t)为实时洪水预报的流量过程;Q2(t)为相似洪水展延流量过程;
确定性系数增量采用以下公式进行计算:
ΔDC=DC2-DC
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数;
分别采用以下公式进行计算:
其中,为实测洪水过程的平均值,T为调度期,t0为当前时刻。
一种展延水库后续来水的动态数据挖掘系统,包括如下模块:
排频分类模块,用于对历史洪水按调度期内总水量大小进行排频,并根据总水量频率阈值将历史洪水分为若干个量级;
标准化处理模块,用于对历史洪水资料作标准化处理;
相似性指标选取模块,用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;
相似洪水动态识别模块,用于相似洪水的动态识别,
相似洪水集构建模块,用于构建相似洪水集;
相似洪水选取模块,用于相似洪水的选取;
相似洪水展延模块,用于相似洪水展延。
进一步的技术方案为:
排频分类模块:用于对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频,在相应的数据中进行相似洪水检索,获取相关历史洪水资料数据;
标准化处理模块:用于对历史洪水资料做标准化处理,以每一场历史洪水降雨开始时刻作为原点,将历史洪水发生的绝对时间转换为时序;
相似性指标选取模块:用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案,所述洪水相似形指标包括起涨流量、时段累积降雨量和时段累积水量;
相似洪水动态识别模块:用于相似洪水动态识别,构建相似洪水集,将历史若干场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止;
相似洪水选取模块:用于选取相似洪水,具体地,若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;其他情况则选择相似洪水集的平均过程;
相似洪水展延模块:用于相似洪水延展,在实时洪水预报预见期内,采用实时洪水预报的成果;在预见期外,从相似洪水集中选择相似洪水进行拼接。
构建相似洪水集模块进一步包括:
步骤41、初始化分类,选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值。将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N,N、K为自然数;
步骤42、计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数,初始时m=N;欧式距离Di,j可采用以下公式计算:
步骤43、计算步骤42中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1)…,令k=k+1,m=m-1;
步骤44、检查类的个数,如果类的个数m>2,转至步骤42继续进行聚类计算;否则,计算结束;
步骤45、构建相似洪水集,根据层次聚类分析的结果,取前若干场洪水构建相似洪水集。
所述相似洪水延展模块进一步包括:
对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ)
Q0为洪水起涨流量;
t0为当前时刻;
τ为实时洪水预报预见期;
Q(t)为实时洪水预报的流量过程;
Q1(t)为选取的相似洪水流量过程;
Q2(t)为相似洪水展延流量过程;
ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
在进一步的技术方案中,还包括洪水展延效果评价模块,用于通过后续水量展延增益率和确定性系数增量评价洪水展延效果;
其中,后续水量展延增益率采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期,t0为当前时刻,Q(t)为实时洪水预报的流量过程;Q2(t)为相似洪水展延流量过程;
确定性系数增量采用以下公式进行计算:
ΔDC=DC2-DC
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数;
分别采用以下公式进行计算:
其中,为实测洪水过程的平均值,T为调度期,t0为当前时刻。
有益效果:本发明通过相似洪水的动态识别与展延预估了水库的后续来水过程和水量,有效地弥补了当前洪水预报预见期过短的问题。进一步地技术方案中,本发明考虑了暴雨洪水信息动态增长的特性,从逐步呈现的暴雨洪水信息出发,对水库后续的洪水演化趋势进行预估,能够较好地满足水库实时防洪调度的要求,具有重要的实用价值。另外,本发明将历史洪水分为若干个量级,考虑了不同量级的洪水存在不同内在机制的差别,考虑因素比现有技术更为全面。最后,本发明通过洪水相似性指标的组合优选,简化了洪水相似性指标体系,为缺资料地区的相似洪水识别和展延提供了一条新的途径,同时也减少了计算工作量。
附图说明
图1为本发明方法的流程图。
图2为本发明层次聚类法的洪水聚类图。
图3为本发明相似洪水拼接示意图。
其中:Q0为洪水起涨流量;t0为当前时刻;τ为实时洪水预报预见期;Q(t)为实时洪水预报的流量过程;Q1(t)为选取的相似洪水流量过程;Q2(t)为相似洪水展延流量过程;ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
图4为相似洪水展延示意图。其中:T为调度期。
具体实施方式
结合图1至图4描述本发明。本发明将历史洪水分为多个量级,例如大、中、小三个量级,制定了历史洪水标准化的原则,构建了洪水相似性指标体系,基于层次聚类原理进行相似洪水动态识别与展延,通过评价洪水展延效果,对不同的洪水相似性指标的组合方案进行优选。
本发明展延水库后续来水的动态数据挖掘方法,包括以下步骤:
步骤1,对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值(如:85%、40%)将历史洪水分为大、中、小三个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频(从大到小),对应的频率记为Pt。若Pt<40%,则在大量级历史洪水数据库中进行相似洪水检索;若40%≤Pt<85%,则在中量级历史洪水数据库中进行相似洪水检索;若Pt≥85%,则在小量级历史洪水数据库中进行相似洪水检索。
步骤2,对历史洪水资料作标准化处理:
考虑到历史不同场次洪水发生时间、总历时和洪水形态的差异性,本发明方法采用了统一的相对时间坐标,以每一场历史洪水降雨开始时刻作为原点,并将历史洪水发生的绝对时间转换为时序。
步骤3,选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案:
根据产汇流理论,影响洪水过程的主要因素包括降雨量及其时空分配、前期土壤含水量和下垫面条件,本发明方法结合实际资料情况选择以下三个指标构建洪水相似性指标体系:
(1)起涨流量Q0。前期土壤含水量是流域产流的重要参数,但是前期土壤含水量的监测资料十分缺乏,本发明方法选取的起涨流量指标在一定程度上可以间接表征前期土壤含水量的大小。
(2)时段累积降雨量Pt。降雨量及其时空分配在一定程度上决定了洪水大小和形态,时段累积降雨量能够同时反映降雨量的大小和降雨量的变化特征,可采用以下公式计算:
其中,t为当前时刻的时序;Pi为时段降雨量;其它变量同前。
(3)时段累积水量Wt。流域下垫面条件决定了降雨过程和洪水过程的差异,并且水库实时防洪调度更关注洪量的大小,因此本发明方法选择时段累积水量来反映已经出现洪水的形态和流域的下垫面条件,可采用以下公式计算:
其中,Qi为时段入库流量;Δt为时段长;其它变量同前。
针对缺资料地区部分洪水相似性指标的资料无法获得的情况,本发明将上述三个洪水相似性指标进行组合,共构成Q0、Pt、Wt、(Q0,Pt)、(Q0,Wt)、(Pt,Wt)、(Q0,Pt,Wt)7个不同的洪水相似性指标组合方案,通过展延效果评价对不同的洪水相似性指标的组合方案进行优选。对于缺资料地区,可以选用与全指标组合(Q0,Pt,Wt)展延效果相近的简化指标组合(视具体的资料情况和展延效果而定)进行洪水相似洪水识别与展延。
步骤4,相似洪水动态识别,构建相似洪水集:
本发明方法基于层次聚类原理进行相似洪水的动态识别,首先将历史N场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止,具体包括以下五个子步骤:
(1)初始化分类。选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值。将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N。
(2)计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数(初始时m=N)。其中,欧式距离Di,j可采用以下公式计算:
(3)计算步骤(2)中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1),…,令k=k+1,m=m-1。
(4)检查类的个数。如果类的个数m>2,转至步骤(2)继续进行聚类计算;否则,计算结束。
(5)构建相似洪水集。如图2所示为层次聚类法的洪水聚类图,根据层次聚类分析的结果,取前n场洪水构建相似洪水集。
步骤5,相似洪水选取:
相似洪水的选取主要以水库当前的防洪形势为依据,若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;对于其他情况则可以选择相似洪水集的平均过程。
步骤6,相似洪水展延:
如图3所示为相似洪水拼接示意图,其中:Q0为洪水起涨流量;t0为当前时刻;τ为实时洪水预报预见期;Q(t)为实时洪水预报的流量过程;Q1(t)为选取的相似洪水流量过程;Q2(t)为相似洪水展延流量过程;ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
相似洪水展延的原则为:在实时洪水预报预见期τ内,采用实时洪水预报的成果;在预见期τ外,从相似洪水集中选择相似洪水进行拼接。对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ) (5)
步骤7,洪水展延效果评价:
通过以上步骤可以获得一定精度的水库后续来水过程,本发明方法对洪水展延效果的评价主要选择以下两个评价指标:
(1)后续水量展延增益率λ。后续水量的大小是水库实时防洪调度所关注的重要因素,后续水量展延增益率反映的是经过洪水相似性展延之后对后续水量预估能力的提升程度,可采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期。
(2)确定性系数增量ΔDC。确定性系数反映了洪水过程之间的拟合程度,确定性系数增量反映的是经过洪水相似性展延之后确定性系数的提高值,可采用以下公式进行计算:
ΔDC=DC2-DC (7)
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数,分别采用以下公式进行计算:
其中,为实测洪水过程的平均值。
后续水量展延增益率和确定性系数增量均为越大越优型评价指标,指标计算值越大,表明相似洪水展延的效果越好,对水库实时防洪调度的意义越大。
为了实现上述方法,构建如下系统:
一种展延水库后续来水的动态数据挖掘系统,包括如下模块:
排频分类模块,用于对历史洪水按调度期内总水量大小进行排频,并根据总水量频率阈值将历史洪水分为若干个量级;
标准化处理模块,用于对历史洪水资料作标准化处理;
相似性指标选取模块,用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;
相似洪水动态识别模块,用于相似洪水的动态识别,
相似洪水集构建模块,用于构建相似洪水集;
相似洪水选取模块,用于相似洪水的选取;
相似洪水展延模块,用于相似洪水展延。
进一步的技术方案为:
排频分类模块:用于对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频,在相应的数据中进行相似洪水检索,获取相关历史洪水资料数据;
标准化处理模块:用于对历史洪水资料做标准化处理,以每一场历史洪水降雨开始时刻作为原点,将历史洪水发生的绝对时间转换为时序;
相似性指标选取模块:用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案,所述洪水相似形指标包括起涨流量、时段累积降雨量和时段累积水量;
相似洪水动态识别模块:用于相似洪水动态识别,构建相似洪水集,将历史若干场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止;
相似洪水选取模块:用于选取相似洪水,具体地,若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;其他情况则选择相似洪水集的平均过程;
相似洪水展延模块:用于相似洪水延展,在实时洪水预报预见期内,采用实时洪水预报的成果;在预见期外,从相似洪水集中选择相似洪水进行拼接。
构建相似洪水集模块进一步包括:
步骤41、初始化分类,选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值。将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N,N、K为自然数;
步骤42、计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数,初始时m=N;欧式距离Di,j可采用以下公式计算:
步骤43、计算步骤42中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1),…,令k=k+1,m=m-1;
步骤44、检查类的个数,如果类的个数m>2,转至步骤42继续进行聚类计算;否则,计算结束;
步骤45、构建相似洪水集,根据层次聚类分析的结果,取前若干场洪水构建相似洪水集。
所述相似洪水延展模块进一步包括:
对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ)
Q0为洪水起涨流量;
t0为当前时刻;
τ为实时洪水预报预见期;
Q(t)为实时洪水预报的流量过程;
Q1(t)为选取的相似洪水流量过程;
Q2(t)为相似洪水展延流量过程;
ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
在进一步的技术方案中,还包括洪水展延效果评价模块,用于通过后续水量展延增益率和确定性系数增量评价洪水展延效果;
其中,后续水量展延增益率采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期,t0为当前时刻,Q(t)为实时洪水预报的流量过程;Q2(t)为相似洪水展延流量过程;
确定性系数增量采用以下公式进行计算:
ΔDC=DC2-DC
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数;
分别采用以下公式进行计算:
其中,为实测洪水过程的平均值,T为调度期,t0为当前时刻。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。
此外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
Claims (10)
1.一种展延水库后续来水的动态数据挖掘方法,其特征在于,包括如下步骤:
对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级;对历史洪水资料作标准化处理;选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;相似洪水动态识别,构建相似洪水集;相似洪水选取;相似洪水展延。
2.如权利要求1所述的展延水库后续来水的动态数据挖掘方法,其特征在于,进一步包括如下步骤:
步骤1:对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频,在相应的数据中进行相似洪水检索,获取相关历史洪水资料数据;
步骤2:对历史洪水资料做标准化处理,以每一场历史洪水降雨开始时刻作为原点,将历史洪水发生的绝对时间转换为时序;
步骤3:选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案,所述洪水相似形指标包括起涨流量、时段累积降雨量和时段累积水量;
步骤4:相似洪水动态识别,构建相似洪水集,将历史若干场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止;
步骤5:选取相似洪水;若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;其他情况则选择相似洪水集的平均过程;
步骤6:相似洪水展延;在实时洪水预报预见期内,采用实时洪水预报的成果;在预见期外,从相似洪水集中选择相似洪水进行拼接。
3.如权利要求2所述的展延水库后续来水的动态数据挖掘方法,其特征在于,构建相似洪水集的步骤进一步包括:
步骤41、初始化分类,选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值,将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N,N、K为自然数;
步骤42、计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数,初始时m=N;欧式距离Di,j可采用以下公式计算:
步骤43、计算步骤42中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1),…,令k=k+1,m=m-1;
步骤44、检查类的个数,如果类的个数m>2,转至步骤42继续进行聚类计算;否则,计算结束;
步骤45、构建相似洪水集,根据层次聚类分析的结果,取前若干场洪水构建相似洪水集。
4.如权利要求1所述的展延水库后续来水的动态数据挖掘方法,其特征在于,所述相似洪水延展步骤进一步包括:
对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ)
Q0为洪水起涨流量;
t0为当前时刻;
τ为实时洪水预报预见期;
Q(t)为实时洪水预报的流量过程;
Q1(t)为选取的相似洪水流量过程;
Q2(t)为相似洪水展延流量过程;
ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
5.如权利要求1至4任一项所述的展延水库后续来水的动态数据挖掘方法,其特征在于,还包括步骤7:
评价洪水展延效果;通过后续水量展延增益率和确定性系数增量评价洪水展延效果;
后续水量展延增益率采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期,t0为当前时刻,Q(t)为实时洪水预报的流量过程;Q2(t)为相似洪水展延流量过程;
确定性系数增量采用以下公式进行计算:
ΔDC=DC2-DC
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数;
分别采用以下公式进行计算:
其中,为实测洪水过程的平均值,T为调度期,t0为当前时刻。
6.一种展延水库后续来水的动态数据挖掘系统,其特征在于,包括如下模块:
排频分类模块,用于对历史洪水按调度期内总水量大小进行排频,并根据总水量频率阈值将历史洪水分为若干个量级;
标准化处理模块,用于对历史洪水资料作标准化处理;
相似性指标选取模块,用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案;
相似洪水动态识别模块,用于相似洪水的动态识别;
相似洪水集构建模块,用于构建相似洪水集;
相似洪水选取模块,用于相似洪水的选取;
相似洪水展延模块,用于相似洪水展延。
7.如权利要求6所述的展延水库后续来水的动态数据挖掘系统,其特征在于,进一步为:
排频分类模块:用于对历史洪水按调度期内总水量大小进行排频,根据总水量频率阈值将历史洪水分为若干个量级,将已经出现时长的时段累积水量在历史洪水数据库中同等时长的时段累积水量序列中排频,在相应的数据中进行相似洪水检索,获取相关历史洪水资料数据;
标准化处理模块:用于对历史洪水资料做标准化处理,以每一场历史洪水降雨开始时刻作为原点,将历史洪水发生的绝对时间转换为时序;
相似性指标选取模块:用于选择洪水相似性指标,并将各个指标进行组合,形成不同的洪水相似性指标组合方案,所述洪水相似形指标包括起涨流量、时段累积降雨量和时段累积水量;
相似洪水动态识别模块:用于相似洪水动态识别,构建相似洪水集,将历史若干场洪水各自视为一类,计算各类之间的距离,将距离最小的两个类合并成一个新类,然后在新的类别的分化下,重新计算各类之间的距离,再将距离最小的两个类合并成一个新类,直到所有模式聚成两类为止;
相似洪水选取模块:用于选取相似洪水,具体地,若处于涨洪段或仍有较大的后续降雨,则从相似洪水集中选择历时长、洪量大的相似洪水或取相似洪水集的外包线;若处于降雨过程的尾部,则从相似洪水集中选择历时短、洪量小的相似洪水或取相似洪水集的内包线;其他情况则选择相似洪水集的平均过程;
相似洪水展延模块:用于相似洪水延展,在实时洪水预报预见期内,采用实时洪水预报的成果;在预见期外,从相似洪水集中选择相似洪水进行拼接。
8.如权利要求7所述的展延水库后续来水的动态数据挖掘系统,其特征在于,构建相似洪水集的模块进一步包括:
步骤41、初始化分类,选取历史N场资料较为齐全的洪水,计算各场洪水K个相似性指标数值。将历史N场洪水各自视为一类,记为:Gi (0)={xi}i=1,2,…,N,N、K为自然数;
步骤42、计算各类之间的欧式距离Di,j,生成一个完全对称的距离矩阵D(K)=(Di,j)m×m,其中,m为类的个数,初始时m=N;欧式距离Di,j可采用以下公式计算:
步骤43、计算步骤42中矩阵D(K)中的最小元素,设它是Ga (K)和Gb (K)间的距离,将Ga (K)和Gb (K)合并成一类,则新的聚类记为:G1 (K+1),G2 (K+1)…,令k=k+1,m=m-1;
步骤44、检查类的个数,如果类的个数m>2,转至步骤42继续进行聚类计算;否则,计算结束;
步骤45、构建相似洪水集,根据层次聚类分析的结果,取前若干场洪水构建相似洪水集。
9.如权利要求6所述的展延水库后续来水的动态数据挖掘系统,其特征在于,所述相似洪水展延模块进一步包括:
对于洪水拼接时刻实时预报值与相似洪水流量值不一致的情况,采用整体平移相似洪水过程的方法实现平滑衔接,可采用以下公式进行计算:
ΔQ=Q(t0+τ)-Q1(t0+τ)
Q0为洪水起涨流量;
t0为当前时刻;
τ为实时洪水预报预见期;
Q(t)为实时洪水预报的流量过程;
Q1(t)为选取的相似洪水流量过程;
Q2(t)为相似洪水展延流量过程;
ΔQ为t0+τ时刻实时预报流量值与相似洪水流量值的差值。
10.如权利要求6至9任一项所述的展延水库后续来水的动态数据挖掘系统,其特征在于,还包括洪水展延效果评价模块,用于通过后续水量展延增益率和确定性系数增量评价洪水展延效果;
其中,后续水量展延增益率采用以下公式进行计算:
其中,Q实(t)为实测洪水过程;T为调度期,t0为当前时刻,Q(t)为实时洪水预报的流量过程;Q2(t)为相似洪水展延流量过程;
确定性系数增量采用以下公式进行计算:
ΔDC=DC2-DC
其中,DC2为相似性展延洪水过程的确定性系数;DC为实时预报洪水过程的确定性系数;
分别采用以下公式进行计算:
其中,为实测洪水过程的平均值,T为调度期,t0为当前时刻。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410344401.9A CN104090974B (zh) | 2014-07-18 | 2014-07-18 | 展延水库后续来水的动态数据挖掘方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410344401.9A CN104090974B (zh) | 2014-07-18 | 2014-07-18 | 展延水库后续来水的动态数据挖掘方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104090974A true CN104090974A (zh) | 2014-10-08 |
CN104090974B CN104090974B (zh) | 2016-08-24 |
Family
ID=51638690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410344401.9A Expired - Fee Related CN104090974B (zh) | 2014-07-18 | 2014-07-18 | 展延水库后续来水的动态数据挖掘方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104090974B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845771A (zh) * | 2016-12-16 | 2017-06-13 | 中国水利水电科学研究院 | 一种基于前期雨量优选参数的洪水预报方法 |
CN106960259A (zh) * | 2017-03-27 | 2017-07-18 | 宁波市水利水电规划设计研究院 | 一种感潮河段双向波退水过程预报方法、装置和系统 |
CN107491903A (zh) * | 2017-09-27 | 2017-12-19 | 河海大学 | 一种基于数据挖掘‑相似性理论的洪水预报方法 |
CN108416468A (zh) * | 2018-02-08 | 2018-08-17 | 河海大学 | 一种洪水超前预警预报方法 |
CN110135652A (zh) * | 2019-05-23 | 2019-08-16 | 吉林大学 | 一种长期汛期径流预测方法 |
CN110807475A (zh) * | 2019-10-16 | 2020-02-18 | 大连理工大学 | 一种基于确定性系数的洪水分类识别预报方法 |
CN110929956A (zh) * | 2019-12-06 | 2020-03-27 | 中国水利水电科学研究院 | 一种基于机器学习的洪水预报方案实时优选方法 |
CN112084461A (zh) * | 2020-08-10 | 2020-12-15 | 河海大学 | 一种基于历史洪水学习的knn实时校正方法 |
CN112904458A (zh) * | 2021-01-26 | 2021-06-04 | 广东省水文局梅州水文分局 | 一种超渗-蓄满混合产流模式的水文预报方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101864750A (zh) * | 2010-06-29 | 2010-10-20 | 西安理工大学 | 多模型综合集成洪水预报系统及其预报方法 |
CN101877029A (zh) * | 2009-11-25 | 2010-11-03 | 国网电力科学研究院 | 一种不同机制水文模型组合的水文预报方法 |
CN103413034A (zh) * | 2013-07-30 | 2013-11-27 | 中国长江三峡集团公司 | 基于调水和节水措施的增泄水量计算系统及方法 |
-
2014
- 2014-07-18 CN CN201410344401.9A patent/CN104090974B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877029A (zh) * | 2009-11-25 | 2010-11-03 | 国网电力科学研究院 | 一种不同机制水文模型组合的水文预报方法 |
CN101864750A (zh) * | 2010-06-29 | 2010-10-20 | 西安理工大学 | 多模型综合集成洪水预报系统及其预报方法 |
CN103413034A (zh) * | 2013-07-30 | 2013-11-27 | 中国长江三峡集团公司 | 基于调水和节水措施的增泄水量计算系统及方法 |
Non-Patent Citations (1)
Title |
---|
钟平安等: "基于MAS的流域实时防洪智能调度系统架构设计", 《南水北调与水利科技》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845771A (zh) * | 2016-12-16 | 2017-06-13 | 中国水利水电科学研究院 | 一种基于前期雨量优选参数的洪水预报方法 |
CN106960259A (zh) * | 2017-03-27 | 2017-07-18 | 宁波市水利水电规划设计研究院 | 一种感潮河段双向波退水过程预报方法、装置和系统 |
CN107491903A (zh) * | 2017-09-27 | 2017-12-19 | 河海大学 | 一种基于数据挖掘‑相似性理论的洪水预报方法 |
CN108416468B (zh) * | 2018-02-08 | 2021-11-12 | 河海大学 | 一种洪水超前预警预报方法 |
CN108416468A (zh) * | 2018-02-08 | 2018-08-17 | 河海大学 | 一种洪水超前预警预报方法 |
CN110135652A (zh) * | 2019-05-23 | 2019-08-16 | 吉林大学 | 一种长期汛期径流预测方法 |
CN110807475A (zh) * | 2019-10-16 | 2020-02-18 | 大连理工大学 | 一种基于确定性系数的洪水分类识别预报方法 |
CN110807475B (zh) * | 2019-10-16 | 2022-11-18 | 大连理工大学 | 一种基于确定性系数的洪水分类识别预报方法 |
CN110929956A (zh) * | 2019-12-06 | 2020-03-27 | 中国水利水电科学研究院 | 一种基于机器学习的洪水预报方案实时优选方法 |
CN112084461A (zh) * | 2020-08-10 | 2020-12-15 | 河海大学 | 一种基于历史洪水学习的knn实时校正方法 |
CN112084461B (zh) * | 2020-08-10 | 2024-05-14 | 河海大学 | 一种基于历史洪水学习的knn实时校正方法 |
CN112904458A (zh) * | 2021-01-26 | 2021-06-04 | 广东省水文局梅州水文分局 | 一种超渗-蓄满混合产流模式的水文预报方法及系统 |
CN112904458B (zh) * | 2021-01-26 | 2021-11-19 | 广东省水文局梅州水文分局 | 一种超渗-蓄满混合产流模式的水文预报方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104090974B (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104090974B (zh) | 展延水库后续来水的动态数据挖掘方法及系统 | |
CN103729550B (zh) | 基于传播时间聚类分析的多模型集成洪水预报方法 | |
CN110929956B (zh) | 一种基于机器学习的洪水预报方案实时优选方法 | |
CN107358060B (zh) | 一种对风电功率预测误差区间进行估计的方法 | |
CN113255986B (zh) | 一种基于气象信息和深度学习算法的多步日径流预报方法 | |
CN115759459B (zh) | 一种雨水工情耦合的流域洪水流量集合概率智能预报方法 | |
CN104821082B (zh) | 一种基于综合评价的短时交通流预测方法 | |
CN105512767A (zh) | 一种多预见期的洪水预报方法 | |
CN108051035A (zh) | 基于门控循环单元的神经网络模型的管网漏损识别方法 | |
CN105654207A (zh) | 基于风速、风向信息的风电功率预测方法 | |
CN102568205A (zh) | 非常态下基于经验模态分解和分类组合预测的交通参数短时预测方法 | |
CN101216998A (zh) | 基于模糊粗糙集的证据理论城市交通流信息融合方法 | |
CN111898831B (zh) | 一种实时洪水概率预报实用化方法 | |
CN105300692A (zh) | 一种基于扩展卡尔曼滤波算法的轴承故障诊断及预测方法 | |
CN111027764B (zh) | 一种基于机器学习的适用于径流资料缺乏流域的洪水预报方法 | |
CN107526083A (zh) | 一种基于天气雷达数据的强对流风力等级预测方法 | |
CN115329930A (zh) | 一种基于混合深度学习模型的洪水过程概率预报方法 | |
CN104573873A (zh) | 一种基于模糊决策树的航站楼离港旅客流量预测方法 | |
Zhou et al. | Prediction and early warning method of inundation process at waterlogging points based on Bayesian model average and data-driven | |
CN116205136A (zh) | 基于径流滞后信息的大尺度流域深度学习洪水预报方法 | |
Zhang et al. | Real-time burst detection based on multiple features of pressure data | |
Wu et al. | Local and global Bayesian network based model for flood prediction | |
CN113095597A (zh) | 一种适用于无资料小流域的洪水过程设计新方法 | |
CN116050595A (zh) | 一种注意力机制与分解机制耦合的径流量预测方法 | |
CN107808209A (zh) | 基于加权kNN距离的风电场异常数据辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 Termination date: 20190718 |
|
CF01 | Termination of patent right due to non-payment of annual fee |