CN106919680A - 一种利用poi数据进行地表覆盖分类的方法及系统 - Google Patents
一种利用poi数据进行地表覆盖分类的方法及系统 Download PDFInfo
- Publication number
- CN106919680A CN106919680A CN201710112356.8A CN201710112356A CN106919680A CN 106919680 A CN106919680 A CN 106919680A CN 201710112356 A CN201710112356 A CN 201710112356A CN 106919680 A CN106919680 A CN 106919680A
- Authority
- CN
- China
- Prior art keywords
- poi
- theme
- ground mulching
- document
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000009826 distribution Methods 0.000 claims abstract description 93
- 238000013480 data collection Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000011160 research Methods 0.000 claims description 5
- 244000097202 Rathbunia alamosensis Species 0.000 claims description 4
- 235000009776 Rathbunia alamosensis Nutrition 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000013316 zoning Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- JOCBASBOOFNAJA-UHFFFAOYSA-N N-tris(hydroxymethyl)methyl-2-aminoethanesulfonic acid Chemical compound OCC(CO)(CO)NCCS(O)(=O)=O JOCBASBOOFNAJA-UHFFFAOYSA-N 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003287 bathing Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009313 farming Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种利用POI数据进行地表覆盖分类的方法及系统;获取POI数据集,将POI数据集作为地表覆盖分类数据;利用获取的POI数据集构建文档,将文档输入潜在狄利克雷LDA主题模型,进行POI文本主题计算;输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;基于POI文本主题的地表覆盖分类,应用支持向量机SVM算法,构建地表覆盖分类模型;将文档中主题Z的分布概率Θ输入到构建的地表覆盖分类模型中,得到地表覆盖分类结果;基于所得地表覆盖分类结果,以随机抽样的方式从基于遥感影像的地表覆盖分类数据抽取采样点作为参考数据,利用混淆矩阵,对基于POI的地表覆盖分类结果进行精度验证。
Description
技术领域
本发明属于地表覆盖分类技术领域,尤其涉及一种利用POI数据进行地表覆盖分类的方法及系统。
背景技术
地表覆盖及变化数据是环境变化研究、地理国情监测和可持续发展规划等的重要科学数据,其分类与制图一直是国内外研究的热点。目前主要采用遥感影像分类制图方式,其是由专业人员通过分析遥感影像中的光谱和纹理信息,结合专家先验知识和各种参考资料,提取地表覆盖类型和分布信息。该方法受遥感影像获取和分类技术的影响,具有生产周期长,成本高,自动化程度低等不足,导致其难以满足地表覆盖产品快速制图的需求。为减少制图成本,满足用户对地表覆盖产品日益变化的应用需求,需要发展一种新的地表覆盖分类方法。
近年来,随着地理时空大数据的应用与发展,很多学者已经在尝试将带地理标签的图片、轨迹、兴趣点(Point of Interest,POI)等众源数据应用于地表覆盖和土地利用的分类。“Antoniou,Vyron,et al."Investigating the feasibility of geo-taggedphotographs as sources of land cover input data."ISPRS International Journalof Geo-Information 5.5(2016):64.”分析论述了Panoramio、Flickr、Geograph三种图片数据源应用于地表覆盖分类中的可行性;“See,Linda,et al."Building a hybrid landcover map with crowdsourcing and geographically weighted regression."ISPRSJournal of Photogrammetry and Remote Sensing 103(2015):48-56.”应用Geo-Wiki中的地理标记信息,通过志愿者对其所在地区的地表覆盖类型进行人工判断,实现中等分辨率地表覆盖的分类与制图;“鲁国珍,常晓猛,李清泉,等.基于人类时空活动的城市土地利用分类研究[J].地球信息科学学报,2015,17(12):1497-1505.”通过分析QQ用户的时空轨迹,构建人类时空活动指数,建立人类活动与土地利用分类的关系;“Hu,Tengyun,et al."Mapping urban land use by using Landsat images and open social data."RemoteSensing 8.2(2016):151.”依据POI数据的空间分布,采用核密度估计算法,进行商业、住宅等城市区域的划分。
上述研究所应用到的图片数据需要人工解译,耗时耗力,而POI和轨迹数据的空间分布也无法直接反映地表覆盖类型。而且,他们都忽略了这些数据中的文本信息与地表覆盖分类语义的关联,诸如POI文本中“餐馆”、“高尔夫球场”、“海滨浴场”,分别对应了地表覆盖中的人造地表、草地和水体。因此,本发明提出了一种纯粹利用POI文本语义的地表覆盖分类方法。
发明内容
本发明提供了一种利用POI数据进行地表覆盖分类的方法及系统,由于POI数据中的文本信息与地表覆盖分类语义具有一定的关联,诸如POI文本中“餐馆”、“高尔夫球场”、“海滨浴场”,分别对应了地表覆盖中的人造地表、草地和水体,故可作为地表覆盖的分类数据。然而,不同POI数据间没有统一的分类标准,且某些POI类型诸如“未知分类”、“旅游景点”和“娱乐场所”等无法直接用于地表覆盖类型的判断。
为解决上述问题,本发明提出了:
一种利用POI数据进行地表覆盖分类的方法,包括如下步骤:
步骤A:获取POI数据集,将POI数据集作为地表覆盖分类数据;POI数据集包括:POI类型与表示空间位置的坐标信息;
步骤B:利用步骤A所获取的POI数据集构建文档,将文档输入到潜在狄利克雷LDA(Latent Dirichlet Allocation)主题模型,进行POI文本主题计算;输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;
步骤C:基于POI文本主题的地表覆盖分类,应用支持向量机SVM(Support VectorMachine)算法,构建地表覆盖分类模型;将文档中主题Z的分布概率Θ输入到构建的地表覆盖分类模型中,得到地表覆盖分类结果;
步骤D:基于步骤C所得地表覆盖分类结果,以随机抽样的方式从基于遥感影像的地表覆盖分类数据抽取采样点作为参考数据,利用混淆矩阵,对基于POI的地表覆盖分类结果进行精度验证。
所述POI数据集包括:新浪微博POI数据集、百度地图POI数据集和高德地图POI数据集。
所述步骤B包括:
步骤B1:构建用于LDA主题模型输入的文档:将研究区划分为1000m*1000m分辨率的栅格单元,将步骤A所获取的POI数据集空间叠加到栅格单元中,将所有落入同一个栅格单元的POI文本词语W作为一个文档d;
步骤B2:将文档d输入到LDA主题模型,利用LDA主题模型对POI的文本主题及分布进行计算,输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ。
所述LDA主题模型以文档作为输入变量,并假定文档是由设定分布概率下主题Z与词语W决定的,主题Z由词语W构成;Θ是文档中主题Z的分布概率,φ是主题中词语W的分布概率;超参数α和β为LDA主题模型的输入参数,影响主题分布概率Θ和词语分布概率φ;M为文档的数量,N为每篇文档中词语W的个数,K为计算输出主题的数量,K为LDA主题模型的输入参数。
文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,计算公式如下:
式中,ni表示第k个主题Z下第i个POI文本词语W的个数,nk表示第k个主题K中POI文本词语W的个数,V为POI数据集中所有POI文本词语W的数量。
LDA主题模型中超参数α、β与主题数K决定了分布概率Θ和φ。
α、β的取值人为设定,主题数K依据POI类型设定。
为确定符合地表覆盖分类的主题数K,引入用于衡量文本混合度的指标perplexity,计算不同主题数K下主题Z的归类情况,perplexity计算公式如下:
式中,Dtest为测试数据集,wd为文档中的词语,Nd则为文档的大小。perplexity值代表文档属于某个主题的可信度,Perplexity的值越小,表示计算结果中主题的可信度越高。
确定模型参数α、β、K后,得到文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,其矩阵构建如下:
其中,POI文本词语W的分布概率φ反映了主题归类的可信度,文档中主题Z的分布概率Θ反映了地表覆盖类型的分布,文档中主题Z的分布概率Θ用于地表覆盖自动分类。
所述地表覆盖分类模型构建过程如下:
通过构建空间超平面公式(4)实现样本点的正确分类:
A·Θ+b=0 (4);
其中,A和b分别为构成超平面的参数,Θ为由LDA模型计算所得文档中主题Z的分布概率Θ。随后,定义文档中主题Z的分布概率Θ距离超平面公式(4)的间隔r:
其中,AT为参数A的转置;
约束条件:
yi[A·Θ+b]-1≥0,i=1,2,....M (6);
其中,yi为分类的类型,yi∈{-1,+1},-1和+1代表两种不同的分类类型,i表示第i个文档d,M为文档总数。
利用间隔r与约束条件,求得超平面参数A和b的值,并构建地表覆盖分类模型f(Θ):
f(Θ)=sgn(AΘ+b) (7);
其中,sgn为符号函数,当A·Θ+b=0时,f(Θ)=0,当A·Θ+b>0时,f(Θ)>0,当A·Θ+b<0,f(Θ)<0。
SVM算法中最重要的因素为gamma、cost的取值与核函数的选择。
选用sigmoid作为核函数,应用网格搜索算法遍历选取gamma和cost的最优值。网格搜索算法遍历所有文档并计算不同参数下的分类模型精度,得到地表覆盖分类精度最高时的参数取值。
通过每个主题中POI文本词语W的分布概率φ得到POI类型的归类结果;通过归类结果反映LDA主题模型对POI类型分类的合理性。
基于遥感影像的地表覆盖分类以目视解译为基础,分类精度较高,故可作为参考数据。
一种利用POI数据进行地表覆盖分类的系统,包括:
POI数据集获取单元,将POI数据集为地表覆盖分类数据;POI数据集包括:POI类型与表示空间位置的坐标信息;
文档主题分布概率的计算单元,利用所获取的POI数据集构建文档,将文档输入潜在狄利克雷LDA(Latent Dirichlet Allocation)主题模型,进行POI文本主题计算;输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;
地表覆盖分类单元,基于POI文本主题的地表覆盖分类,应用支持向量机SVM(Support Vector Machine)算法,构建地表覆盖分类模型;将文档中主题Z的分布概率Θ输入到构建的地表覆盖分类模型中,得到地表覆盖分类结果;
精度验证单元:基于地表覆盖分类单元所得地表覆盖分类结果,以随机抽样的方式从基于遥感影像的地表覆盖分类数据抽取采样点作为参考数据,利用混淆矩阵,对基于POI的地表覆盖分类结果进行精度验证。
本发明提出了一种基于POI数据的地表覆盖分类方法,采用潜在狄利克雷模型(Latent Dirichlet Allocation,LDA),计算文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;继而,以分布概率φ为分类指标,通过支持向量机(SupportVector Machine,SVM)算法,构建基于POI的地表覆盖分类模型;最后,以基于遥感影像的地表覆盖分类为标准,进行分类精度验证。
附图说明
图1为LDA主题模型为示意图;
图2(a)-图2(d)为部分区域POI数据集分布示意图;
图3为不同主题数k下的perplexity值示意图;
图4(a)-图4(f)为部分区域地表覆盖分类与遥感影像对比结果示意图;
图5为本发明的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
为了对本发明的技术特征、目的和效果有更加清楚的理解,现以北京地区的POI数据集为例,对照附图说明本发明的具体实施方式。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明所提出的一种基于POI数据的地表覆盖分类方法,如图5所示,所述方法用于基于POI的地表覆盖分类;所述地表覆盖分类方法包括基于LDA的POI文本主题计算方法和基于POI文本主题的地表覆盖分类方法;所述方法包括如下步骤:
A、基于POI数据的地表覆盖分类方法以新浪微博POI数据集、百度地图POI数据集、高德地图POI数据集为地表覆盖分类数据,作为地表覆盖的分类依据;POI数据集中包含了描述POI类型的文本信息与表示空间位置的坐标信息。
本专利以北京市为研究区域,实验数据集采用928类1903658个POI,如表1所示:POI数据源为新浪微博、百度、高德,POI数量以高德居多,除位置信息外,三种POI共有的文本属性有类型与地址。考虑到POI地址中的文本信息多为道路名称,无法反映地表覆盖信息,本文将POI类型作为用于主题分析的文本数据。
表1 POI数据源及其属性
将POI数据与遥感影像叠加后发现,大部分POI落于人造地表中,而少量的数据落入森林、耕地、水体等非人造地表,图2(a)区域为城市,POI分布密集,文本语义中大多为商业、住宅等反映人造地表类型的主题。图2(b)区域为森林,POI分布稀疏,文本语义多与风景区、休闲娱乐相关;图2(c)区域为散落分布的耕地与村庄,POI分布相对较少,POI类型主要反映了乡镇、村庄等主题;图2(d)区域靠近水体,POI多沿着水体集中分布,文本与水域和休闲度假相关。由于反映人造地表的POI相对较多,而反映森林、耕地与水体的POI数据较少,且POI文本语义在人造地表与非人造地表之间有明显区分,故将地表覆盖类型分为人造地表与非人造地表。
B、基于LDA的POI文本主题计算,利用步骤A所获取的POI数据集,引入潜在狄利克雷(Latent Dirichlet Allocation,LDA)主题模型(如图1所示),进行POI文本主题计算;
a.构建用于模型输入的文档。考虑到距离相近的POI可能包含相同或相似的文本,将研究区划分为1000m*1000m分辨率的栅格单元,将所有落入同一个栅格单元的POI文本词语W作为一个文档d;
利用POI的位置信息和文本信息,将1903658个POI构建成11916个用于主题模型输入的文档。
b.为了将POI文本按照相似主题进行归类,并计算出归类后的POI文本的主题分布,本文选用LDA模型对POI的文本主题及分布进行计算。LDA模型以文档作为输入变量,并假定文档是由一定分布概率下主题Z与词语W决定的,词语W由主题Z构成;Θ和φ决定了文档中主题Z的分布概率和主题中词语W的分布概率;超参数α和β为模型输入参数,影响了主题分布概率Θ和词语分布概率φ;M为文档的数量,N为每篇文档中词语W的个数,K为计算输出主题的数量,为模型输入参数。计算文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,其计算公式如下:
式中,ni表示第k个主题Z下第i个POI文本词语W的个数,nk表示第k个主题K中POI文本词语W的个数,V为POI数据集中所有POI文本词语W的数量。
LDA主题模型中超参数α、β与主题数K决定了分布概率Θ和φ。α、β的取值可根据现有模型的优化参数确定,主题数K需依据POI文本数据而定。为确定符合地表覆盖分类的合适的主题数,引入用于衡量文本混合度的指标perplexity,计算不同主题数K下主题Z的归类情况,Perplexity计算公式如下:
式中,Dtest为测试数据集,wd为文档中的词语,nd则为文档的大小。Perplexity值代表了文档属于某个主题的不确定性,Perplexity的值越小,表示计算结果中主题的可信度越高。
确定模型参数α、β、K后,得到文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,其矩阵构建如下:
其中,POI文本词语W的分布概率φ反映了主题归类的可信度,文档中主题Z的分布概率Θ反映了地表覆盖类型的分布,用于地表覆盖自动分类。
实验采用perplexity指标对POI文本主题分布进行计算,旨在确定POI文本的主题数K:首先,将M个文档划分为80%的实验数据和20%的测试数据,利用80%的实验数据,分别计算K∈{2,20,40,60,80,100}时文本的主题分布;继而,在现有主题分布的基础上,计算20%的测试数据下的perplexity值。
实验结果如图3所示:perplexity值呈一条逐渐平稳的下滑曲线,随着主题数K的增加,perplexity值不断减小,且减小速度不断下降。当k=20时,perplexity值约为20000,并在k增加至40时骤降为约15000,当k≥60时,perplexity值的下降速度明显变缓,说明随着主题数的不断增加,POI文本主题的可信度逐渐升高。考虑到k的取值过大使得POI文档的主题数过多,导致地表覆盖分类特征冗余,故选取主题数k的值为60。
为验证K=60时POI主题归类的可信度,实验选取了60个主题中部分主题的POI类型分布。如表2所示:同一个主题中分布概率较高的POI往往具有相同或相似的类型。例如,主题3内分布概率较高的POI类型为“住宅区”、“房地产”、“住宅小区”等,都反映了居民住宅相关主题;主题14中“休闲场所”、“农家院”、“度假村”等POI类型,反映了户外休闲娱乐相关主题;主题46中“采摘园”、“垂钓园”、“其他农林牧副渔基地”等POI类型反映了农林牧渔相关主题。
表2 POI类型部分主题分布
C、包含POI文本词语W的主题Z侧面反映了地表覆盖的类型,文档中主题Z的分布反映了地表覆盖类型的分布。基于POI文本主题的地表覆盖分类,依据文档中POI文本语义相似的主题的分布,应用支持向量机(Support Vector Machine,SVM)算法,构建地表覆盖分类模型。
SVM算法构建如下:
通过构建空间超平面实现样本点的正确分类:
g(w)=A(W)+b (4)
其中,A和b分别为构成超平面的参数。随后,定义输入的词语分布W距离这一超平面的间隔:
θ=yi(a·wi+b) (5)
并在此基础上添加约束条件:
yi[(a·wi)+b]-1≥0,i=1,2,....n (6)
由此求得超平面参数A和b的值,构建地表覆盖分类器:
f(w)=sgn{(a*·w)+b*} (7)
SVM算法中最重要的因素为gamma,cost的取值与核函数的选择。本文选用sigmoid作为核函数,应用网格搜索算法遍历选取gamma和cost的最优值。网格搜索算法遍历所有文档并计算不同参数下的分类模型精度,得到地表覆盖分类精度最高时的参数取值。
在构建地表覆盖分类模型时,考虑到地表覆盖中混合地类的存在,分类样本的选择尽量避免包含多种地表覆盖类型的POI文档。选取1064个文档,其中700个为训练样本,364个为测试样本,并人工标注每个文档的地表覆盖类型。
依据POI文本主题在文档中分布概率的不同,利用SVM算法,构建地表覆盖分类模型,得到的分类精度如表3所示:在700个训练样本中,353个非人造地表与283个人造地表被正确分类,62个人造地表被分为非人造地表,2个非人造地表被分为人造地表,分类精度为90.86%。在364个测试样本中,分别有204个非人造地表和120个人造地表被正确分类,38个人造地表被分为非人造地表,2个非人造地表被分为人造地表,分类精度为89.01%。
表3地表覆盖分类模型分类精度
依据本专利提出的地表覆盖分类模型,对11916个POI文档进行分类,得到的部分地区分类结果。其中,图4(a)中散落在非人造地表中的人造地表图斑,对应了图4(d)遥感影像中被耕地包围的城镇地区,分类结果表明该模型能够识别非人造地表中的耕地与散落的人造地表图斑;图4(b)为稀疏的非人造地表和一个被分类为人造地表的栅格单元,对应了图4(e)遥感影像中山地地区的森林与小面积人造地表,表明该模型较好地将森林地区划分为非人造地表,同时对其中小面积人造地表也做出了识别;图4(c)为大面积人造地表与少数散落的非人造地表图斑,对应了图4(f)遥感影像中北京市的城市中心区,分类模型识别出该区域中的水体和植被,其余城市建成区则全部分类为人造地表。
D、基于步骤C所得地表覆盖分类,利用混淆矩阵,对分类结果进行精度验证。本专利将基于遥感影像的地表覆盖分类作为参考数据,以随机抽样的方式,对基于POI的地表覆盖分类结果进行精度验证。基于遥感影像的地表覆盖分类以目视解译为基础,分类精度较高,故可作为参考数据。
为检验地表覆盖分类结果,本专利以北京2015年遥感影像为依据,采用随机抽样的方式对地表覆盖分类结果进行精度验证。为减小随机抽样造成的精度验证不准确的问题,分别随机抽取1000、2000、3000、4000个样本进行目视解译工作。验证精度结果如表4所示(其中,0和1分别代表非人造地表与人造地表)在四次抽样中,非人造地表的用户精度高于人造地表,但验证精度差别不大,均为80%左右;而非人造地表的生产者精度明显高于人造地表,分别为94%左右与50%左右,说明本专利构建的地表覆盖分类模型更倾向于将包含混合地类的样本分为非人造地表,造成生产者精度中非人造地表的分类精度过高,人造地表的分类精度过低;就整体精度而言,四次抽样的精度分别为84.20%、81.95%、82.27%与82.55%。与其他地表覆盖产品的制图精度相比,如GlobeLand30的整体验证精度达到80%以上,而本文方法所得分类精度与其差别不大。
表4地表覆盖分类精度验证结果
本发明提出了一种基于POI数据的地表覆盖分类方法,采用潜在狄利克雷模型(Latent Dirichlet Allocation,LDA),计算文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;继而。以分布概率φ为分类指标,通过支持向量机(SupportVector Machine,SVM)算法,构建基于POI的地表覆盖分类模型;最后,以基于遥感影像的地表覆盖分类为标准,进行分类精度验证。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种利用POI数据进行地表覆盖分类的方法,其特征是,包括如下步骤:
步骤A:获取POI数据集,将POI数据集作为地表覆盖分类数据;POI数据集包括:POI类型与表示空间位置的坐标信息;
步骤B:利用步骤A所获取的POI数据集构建文档,将文档输入到潜在狄利克雷LDA(Latent Dirichlet Allocation)主题模型,进行POI文本主题计算;输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;
步骤C:基于POI文本主题的地表覆盖分类,应用支持向量机SVM(Support VectorMachine)算法,构建地表覆盖分类模型;将文档中主题Z的分布概率Θ输入到构建的地表覆盖分类模型中,得到地表覆盖分类结果;
步骤D:基于步骤C所得地表覆盖分类结果,以随机抽样的方式从基于遥感影像的地表覆盖分类数据抽取采样点作为参考数据,利用混淆矩阵,对基于POI的地表覆盖分类结果进行精度验证。
2.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
所述POI数据集包括:新浪微博POI数据集、百度地图POI数据集和高德地图POI数据集。
3.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
所述步骤B包括:
步骤B1:构建用于LDA主题模型输入的文档:将研究区划分为1000m*1000m分辨率的栅格单元,将步骤A所获取的POI数据集空间叠加到栅格单元中,将所有落入同一个栅格单元的POI文本词语W作为一个文档d;
步骤B2:将文档d输入到LDA主题模型,利用LDA主题模型对POI的文本主题及分布进行计算,输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ。
4.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
所述LDA主题模型以文档作为输入变量,并假定文档是由设定分布概率下主题Z与词语W决定的,主题Z由词语W构成;Θ是文档中主题Z的分布概率,φ是主题中词语W的分布概率;超参数α和β为LDA主题模型的输入参数,影响主题分布概率Θ和词语分布概率φ;M为文档的数量,N为每篇文档中词语W的个数,K为计算输出主题的数量,K为LDA主题模型的输入参数。
5.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,计算公式如下:
式中,ni表示第k个主题Z下第i个POI文本词语W的个数,nk表示第k个主题K中POI文本词语W的个数,V为POI数据集中所有POI文本词语W的数量。
6.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
LDA主题模型中超参数α、β与主题数K决定了分布概率Θ和φ;
α、β的取值人为设定,主题数K依据POI类型设定;
为确定符合地表覆盖分类的主题数K,引入用于衡量文本混合度的指标perplexity,计算不同主题数K下主题Z的归类情况,perplexity计算公式如下:
式中,Dtest为测试数据集,wd为文档中的词语,Nd则为文档的大小;perplexity值代表文档属于某个主题的可信度,Perplexity的值越小,表示计算结果中主题的可信度越高;
确定模型参数α、β、K后,得到文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ,其矩阵构建如下:
其中,POI文本词语W的分布概率φ反映了主题归类的可信度,文档中主题Z的分布概率Θ反映了地表覆盖类型的分布,文档中主题Z的分布概率Θ用于地表覆盖自动分类。
7.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
所述地表覆盖分类模型构建过程如下:
通过构建空间超平面公式(4)实现样本点的正确分类:
A·Θ+b=0 (4);
其中,A和b分别为构成超平面的参数,Θ为由LDA模型计算所得文档中主题Z的分布概率Θ;随后,定义文档中主题Z的分布概率Θ距离超平面公式(4)的间隔r:
其中,AT为参数A的转置;
约束条件:
yi[A·Θ+b]-1≥0,i=1,2,....M (6);
其中,yi为分类的类型,yi∈{-1,+1},-1和+1代表两种不同的分类类型,i表示第i个文档d,M为文档总数;
利用间隔r与约束条件,求得超平面参数A和b的值,并构建地表覆盖分类模型f(Θ):
f(Θ)=sgn(A·Θ+b) (7);
其中,sgn为符号函数,当A·Θ+b=0时,f(Θ)=0,当A·Θ+b>0时,f(Θ)>0,当A·Θ+b<0,f(Θ)<0。
8.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
SVM算法中最重要的因素为gamma、cost的取值与核函数的选择;
选用sigmoid作为核函数,应用网格搜索算法遍历选取gamma和cost的最优值;网格搜索算法遍历所有文档并计算不同参数下的分类模型精度,得到地表覆盖分类精度最高时的参数取值。
9.如权利要求1所述的一种利用POI数据进行地表覆盖分类的方法,其特征是,
通过每个主题中POI文本词语W的分布概率φ得到POI类型的归类结果;通过归类结果反映LDA主题模型对POI类型分类的合理性。
10.一种利用POI数据进行地表覆盖分类的系统,其特征是,包括:
POI数据集获取单元,将POI数据集为地表覆盖分类数据;POI数据集包括:POI类型与表示空间位置的坐标信息;
文档主题分布概率的计算单元,利用所获取的POI数据集构建文档,将文档输入潜在狄利克雷LDA(Latent Dirichlet Allocation)主题模型,进行POI文本主题计算;输出文档中主题Z的分布概率Θ和每个主题中POI文本词语W的分布概率φ;
地表覆盖分类单元,基于POI文本主题的地表覆盖分类,应用支持向量机SVM(SupportVector Machine)算法,构建地表覆盖分类模型;将文档中主题Z的分布概率Θ输入到构建的地表覆盖分类模型中,得到地表覆盖分类结果;
精度验证单元:基于地表覆盖分类单元所得地表覆盖分类结果,以随机抽样的方式从基于遥感影像的地表覆盖分类数据抽取采样点作为参考数据,利用混淆矩阵,对基于POI的地表覆盖分类结果进行精度验证。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112356.8A CN106919680B (zh) | 2017-02-28 | 2017-02-28 | 一种利用poi数据进行地表覆盖分类的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112356.8A CN106919680B (zh) | 2017-02-28 | 2017-02-28 | 一种利用poi数据进行地表覆盖分类的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106919680A true CN106919680A (zh) | 2017-07-04 |
CN106919680B CN106919680B (zh) | 2019-06-28 |
Family
ID=59454438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710112356.8A Expired - Fee Related CN106919680B (zh) | 2017-02-28 | 2017-02-28 | 一种利用poi数据进行地表覆盖分类的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106919680B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108182592A (zh) * | 2017-12-11 | 2018-06-19 | 北京奇虎科技有限公司 | 公交线路多维特征属性挖掘方法、装置及电子设备 |
CN108717421A (zh) * | 2018-04-23 | 2018-10-30 | 深圳市城市规划设计研究院有限公司 | 一种基于时空变化的社交媒体文本主题提取方法及系统 |
CN108734212A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种确定分类结果的方法以及相关装置 |
CN110147779A (zh) * | 2019-05-27 | 2019-08-20 | 宁夏云图勘测规划有限公司 | 一种遥感影像城市建筑物功能分类的方法 |
CN110334168A (zh) * | 2019-06-28 | 2019-10-15 | 广东省国土资源测绘院 | 一种城镇村地类细化技术方法 |
CN110633334A (zh) * | 2018-05-30 | 2019-12-31 | 百度在线网络技术(北京)有限公司 | 用于获取信息的方法及装置 |
CN110633890A (zh) * | 2019-08-06 | 2019-12-31 | 广东晟腾地信科技有限公司 | 一种土地利用效率判断方法和系统 |
CN111144249A (zh) * | 2019-12-16 | 2020-05-12 | 广州地理研究所 | 基于自动优化mesma的地表覆盖类型确定方法 |
CN113486976A (zh) * | 2021-07-26 | 2021-10-08 | 中国测绘科学研究院 | 一种地图标注内容的自动分类方法和装置 |
CN117235270A (zh) * | 2023-11-16 | 2023-12-15 | 中国人民解放军国防科技大学 | 基于信度混淆矩阵的文本分类方法、装置和计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604326A (zh) * | 2009-07-16 | 2009-12-16 | 浙江大学 | 基于事件语义的土地利用数据更新与分析方法 |
CN102129571A (zh) * | 2011-01-31 | 2011-07-20 | 重庆大学 | 基于半监督流形学习的多光谱遥感数据土地利用分类方法 |
CN103413142A (zh) * | 2013-07-22 | 2013-11-27 | 中国科学院遥感与数字地球研究所 | 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法 |
CN104200080A (zh) * | 2014-08-22 | 2014-12-10 | 中国科学院遥感与数字地球研究所 | 一种农业区水资源环境诊断方法及其系统 |
CN104200387A (zh) * | 2014-09-18 | 2014-12-10 | 信阳师范学院 | 一种顾及地理实体语义相似度的土地用途分区方法 |
US9123259B2 (en) * | 2013-03-14 | 2015-09-01 | Microsoft Technology Licensing, Llc | Discovering functional groups of an area |
CN105512347A (zh) * | 2016-01-27 | 2016-04-20 | 北京航空航天大学 | 一种基于地理主题模型的信息处理方法 |
-
2017
- 2017-02-28 CN CN201710112356.8A patent/CN106919680B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604326A (zh) * | 2009-07-16 | 2009-12-16 | 浙江大学 | 基于事件语义的土地利用数据更新与分析方法 |
CN102129571A (zh) * | 2011-01-31 | 2011-07-20 | 重庆大学 | 基于半监督流形学习的多光谱遥感数据土地利用分类方法 |
US9123259B2 (en) * | 2013-03-14 | 2015-09-01 | Microsoft Technology Licensing, Llc | Discovering functional groups of an area |
CN103413142A (zh) * | 2013-07-22 | 2013-11-27 | 中国科学院遥感与数字地球研究所 | 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法 |
CN104200080A (zh) * | 2014-08-22 | 2014-12-10 | 中国科学院遥感与数字地球研究所 | 一种农业区水资源环境诊断方法及其系统 |
CN104200387A (zh) * | 2014-09-18 | 2014-12-10 | 信阳师范学院 | 一种顾及地理实体语义相似度的土地用途分区方法 |
CN105512347A (zh) * | 2016-01-27 | 2016-04-20 | 北京航空航天大学 | 一种基于地理主题模型的信息处理方法 |
Non-Patent Citations (4)
Title |
---|
SHAN JIANG等: "Mining point-of-interest data from social networks for urban land use classification and disaggregation", 《COMPUTERS ENVIRONMENT AND URBAN SYSTEMS》 * |
YAO YAO等: "Sensing spatial distribution of urban land use by integrating points-of-interest and Google Word2Vec model", 《INTERNATIONAL JOURNAL OF GEOGRAPHICAL INFORMATION SCIENCE》 * |
任克江等: "基于地理信息的检索和用户数据挖掘", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
邵华等: "基于词对主题模型的中分辨率遥感影像土地利用分类", 《农业工程学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108182592A (zh) * | 2017-12-11 | 2018-06-19 | 北京奇虎科技有限公司 | 公交线路多维特征属性挖掘方法、装置及电子设备 |
CN108717421A (zh) * | 2018-04-23 | 2018-10-30 | 深圳市城市规划设计研究院有限公司 | 一种基于时空变化的社交媒体文本主题提取方法及系统 |
CN108734212B (zh) * | 2018-05-17 | 2024-06-04 | 腾讯科技(北京)有限公司 | 一种确定分类结果的方法以及相关装置 |
CN108734212A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种确定分类结果的方法以及相关装置 |
CN110633334A (zh) * | 2018-05-30 | 2019-12-31 | 百度在线网络技术(北京)有限公司 | 用于获取信息的方法及装置 |
CN110147779A (zh) * | 2019-05-27 | 2019-08-20 | 宁夏云图勘测规划有限公司 | 一种遥感影像城市建筑物功能分类的方法 |
CN110334168A (zh) * | 2019-06-28 | 2019-10-15 | 广东省国土资源测绘院 | 一种城镇村地类细化技术方法 |
CN110633890A (zh) * | 2019-08-06 | 2019-12-31 | 广东晟腾地信科技有限公司 | 一种土地利用效率判断方法和系统 |
CN111144249B (zh) * | 2019-12-16 | 2022-05-10 | 广州地理研究所 | 基于自动优化mesma的地表覆盖类型确定方法 |
CN111144249A (zh) * | 2019-12-16 | 2020-05-12 | 广州地理研究所 | 基于自动优化mesma的地表覆盖类型确定方法 |
CN113486976A (zh) * | 2021-07-26 | 2021-10-08 | 中国测绘科学研究院 | 一种地图标注内容的自动分类方法和装置 |
CN113486976B (zh) * | 2021-07-26 | 2022-09-02 | 中国测绘科学研究院 | 一种地图标注内容的自动分类方法和装置 |
CN117235270A (zh) * | 2023-11-16 | 2023-12-15 | 中国人民解放军国防科技大学 | 基于信度混淆矩阵的文本分类方法、装置和计算机设备 |
CN117235270B (zh) * | 2023-11-16 | 2024-02-02 | 中国人民解放军国防科技大学 | 基于信度混淆矩阵的文本分类方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106919680B (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106919680B (zh) | 一种利用poi数据进行地表覆盖分类的方法及系统 | |
Demuzere et al. | LCZ Generator: a web application to create Local Climate Zone maps | |
Wang et al. | Mapping the local climate zones of urban areas by GIS-based and WUDAPT methods: A case study of Hong Kong | |
Rasp et al. | Combining crowdsourcing and deep learning to explore the mesoscale organization of shallow convection | |
Yu et al. | Object-based spatial cluster analysis of urban landscape pattern using nighttime light satellite images: A case study of China | |
Johnson | High-resolution urban land-cover classification using a competitive multi-scale object-based approach | |
Hu et al. | Automated urban land-use classification with remote sensing | |
de By et al. | Principles of geographic information systems | |
Surabuddin Mondal et al. | Modeling of spatio-temporal dynamics of land use and land cover in a part of Brahmaputra River basin using Geoinformatic techniques | |
Kelly et al. | Modeling the risk for a new invasive forest disease in the United States: An evaluation of five environmental niche models | |
CN106845559A (zh) | 顾及poi数据空间异质性的地表覆盖验证方法及系统 | |
Ma et al. | Active learning for object-based image classification using predefined training objects | |
Coelho et al. | Digital soil class mapping in Brazil: a systematic review | |
Tormos et al. | Object-based image analysis for operational fine-scale regional mapping of land cover within river corridors from multispectral imagery and thematic data | |
Hu et al. | A framework to detect and understand thematic places of a city using geospatial data | |
CN116129262A (zh) | 一种面向宜机化改造的耕地适宜性评价方法及系统 | |
Karydas et al. | Development of an IKONOS image classification rule-set for multi-scale mapping of Mediterranean rural landscapes | |
Aahlaad et al. | An object-based image analysis of worldview-3 image for urban flood vulnerability assessment and dissemination through ESRI story maps | |
Lanier et al. | Seafloor habitat mapping on the Oregon continental margin: A spatially nested GIS approach to mapping scale, mapping methods, and accuracy quantification | |
Alexander et al. | An approach to classification of airborne laser scanning point cloud data in an urban environment | |
CN114565730A (zh) | 地图矢量样本的处理方法、设备和计算机可读存储介质 | |
Halls et al. | A new approach to the spatial analysis of temporal change using nodes and neural nets | |
Aljehani | Quantifying Urban Expansion in Small Cities: A Case Study of the Al-Qassim Region, Saudi Arabia. | |
Yang | Fine-scale machine learning based population mapping | |
Zheng | Evaluating high resolution GeoEye-1 satellite imagery for mapping wildlife in open savannahs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190628 |
|
CF01 | Termination of patent right due to non-payment of annual fee |