Nothing Special   »   [go: up one dir, main page]

CN110084817A - 基于深度学习的数字高程模型生产方法 - Google Patents

基于深度学习的数字高程模型生产方法 Download PDF

Info

Publication number
CN110084817A
CN110084817A CN201910217696.6A CN201910217696A CN110084817A CN 110084817 A CN110084817 A CN 110084817A CN 201910217696 A CN201910217696 A CN 201910217696A CN 110084817 A CN110084817 A CN 110084817A
Authority
CN
China
Prior art keywords
image
module
remote sensing
semantic segmentation
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910217696.6A
Other languages
English (en)
Other versions
CN110084817B (zh
Inventor
姜光
赵秀臣
张岚春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910217696.6A priority Critical patent/CN110084817B/zh
Publication of CN110084817A publication Critical patent/CN110084817A/zh
Application granted granted Critical
Publication of CN110084817B publication Critical patent/CN110084817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的基于深度学习的数字高程模型生产方法，涉及计算机视角技术领域，通过创建目标遥感图像集合、创建基于深度学习的语义分割网络、对语义分割网络进行训练及创建数字高程模型，能够有效地对海量遥感图像的分割并提升了分割效率。

Description

基于深度学习的数字高程模型生产方法
技术领域
本发明涉及计算机视角技术领域，具体涉及一种基于深度学习的数字高程模型生产方法。
背景技术
语义分割技术是深度学习领域重要的方向之一，语义分割就是将原始数据如图片作为输入，然后标注出感兴趣的区域并为这些区域划分类别。使用基于深度学习语义分割技术可以高效处理海量的图片数据，提升识别的精度与效率。
申请号为201710675694.2的专利申请公开了一种基于深度学习FCN全卷积网络的遥感舰船轮廓分割与检测方法，该申请公开的技术方案包括：构建遥感舰船目标数据库，对其中遥感舰船目标的逐个像素进行标注，随后设计一种更深的6层全卷积网络(FullyConvolutional Networks，FCN)结构通过卷积与反卷积进行参数训练，最终对宽幅遥感检测图像进行重叠切分及检测后合并各个分块，得到最终遥感影像舰船检测结果。该方案在高效迅速地实现遥感舰船目标检测的同时，实现了对舰船轮廓的精准分割，精简了传统的检测复杂流程，但由于该方案采用常规卷积的方式进行特征提取，导致计算量大及训练速度慢，同时由于没有很好地利用不同分辨率图像的特征信息，不能进行语义特征的融合，导致分割精度不高。
申请号为201711193696.4的专利申请公开了一种通过无人机数字高程模型自动提取森林郁闭度的方法，该申请公开的技术方案包括：首选通过无人机获取东台林场的影像数据并通过数字建模实现影像数据的拼接，提取数字高程模型资料，然后通过遥感图像处理软件提取数字高程模型(Digital Elevation Mode，DEM)数据中的非郁闭区域的像元值区间并进行掩膜处理，最后通过统计分析获得掩膜段与非掩膜段的占比情况，从而得出森林郁闭度的准确值。该方案与其他郁闭度测算法相比，准确度、精度及效率均有较大提高，但是该方案存在的不足之处为：需要人工提取对象DEM中的非郁闭区域的像元值空间，工作重复且工作量较大。此外，由于非郁闭区域的选取依赖人工经验，可能存在错误选择的问题，导致无法高效处理大规模的数据。
发明内容
针对现有技术存在的缺陷，本发明实施例提供了一种基于深度学习的数字高程模型生产方法，该方法包括：
获取一定数量的原始遥感图像，对所述原始遥感图像进行数据增强，生成第一目标遥感图像集合，其中，数据增强包括对所述原始遥感图像进行随机缩放及镜像处理；
创建基于深度学习的语义分割网络，所述语义分割网络包括特征提取模块、特征融合模块及像素分类模块，其中：
所述特征提取模块用于通过卷积神经网络对图像进行特征提取；
所述特征融合模块用于提高图像分类精度；
所述像素分类模块用于利用全卷积网络对图像进行像素分类；
对所述语义分割网络进行训练，包括：
从所述第一目标遥感图像集合中获取多个目标物体,分别设置各个目标物体的RGB值与灰度值之间的映射关系，其中，所述目标物体包括建筑、树木、汽车、杂物、农作物、道路、湖泊及草地；
根据设定的RGB值与灰度值之间的映射关系，分别将各个目标物体转换为灰度图；
将各个灰度图输入所述语义分割网络，得到第一标签图像集合，根据公式计算各个标签图像的softmax函数值，根据公式得到各个标签图像的损失值，其中，Si表示第i个标签图像的softmax函数值，Hi表示第i个标签图像的损失值，j表示目标物体的种类数，Vi表示卷积神经网络全连接层的第i个输出值；
根据所述损失值的大小对各个标签图像进行排序，依次确定各个标签图像的物体类别并将所述损失值及所述损失值对应的物体类别发送至所述语义分割网络并使用均方根反向传播算法更新深度学习语义分割网络的节点参数，得到最佳语义分割网络；
将各个灰度图输入所述最佳语义分割网络模型中,得到第二标签图像集合；
根据设定的RGB值与灰度值之间的映射关系，将所述第二标签图像集合中各个标签图像的灰度值替换为相应的RGB值并根据所述RGB值分别为述第二标签图像集合中各个图像上色，得到第二目标遥感图像集合；
将所述第二目标遥感图像集合与多个原始遥感图像构建的数字表面模型进行比对，提取所述数字表面模型中的非地面元素，将所述数字表面模型分为非地面元素和地面元素，剔除所述非地面元素，生成数字高程模型。
进一步地，剔除所述非地面元素包括：
剔除建筑、树木、汽车及杂物对应的高程数据，利用插值算法，将与所述高程数据相邻的高程数据补充进来；
将农作物对应的高程数据减去预设的数值，利用高斯函数，对所述高程数据进行平滑滤波；
利用高斯函数，对道路、湖泊及草地对应的高程数据进行平滑滤波。
进一步地，所述语义特征提取模块采用MobileNet的前7层作为骨干网络，包含1个二维常规卷积和6个MobileNet的反残差模块；所述特征融合模块包括级联的空洞卷积模块和空洞卷积空间金字塔池化ASPP模块；所述像素分类模块包括全卷积网络FCN。
进一步地，所述插值算法为反距离加权插值算法，其表达式为：其中，zp是待插值点的高程，μ是权指数，di为第i个采样点到插值点的距离，di -u是距离衰减函数。
本发明实施例提供的基于深度学习的数字高程模型生产方法，具有以下有益效果：
(1)结合深度学习技术设计语义分割网络，结合MobileNet的轻量优势和空洞卷积空间金字塔池化模块能够获取更多的全局语义信息的特点，完成对海量遥感图像的分割；
(2)将深度学习语义分割技术应用在DEM的创建过程中，采用语义分割网络对遥感图像进行分割，进而确定数字表面模型中与之对应的非地理信息，如建筑、树木、河流、草地、道路、车辆等并针对不同遥感图像的高程属性制定不同的DEM修补策略，对DEM修补区的栅格数据进行修补。相比于传统的人工目视解译和普通滤波的处理方法，提升了遥感影像分割的工作效率。
附图说明
图1为本发明实施例提供的基于深度学习的数字高程模型生产方法的流程示意图；
图2为本发明实施例提供的语义分割网络的结构示意图。
具体实施方式
如图1所示，本发明实施例提供的基于深度学习的数字高程模型生产方法包括以下步骤：
S101，创建目标遥感图像集合，包括：
获取一定数量的原始遥感图像，对所述原始遥感图像进行数据增强，生成目标遥感图像集合，其中，数据增强包括对所述原始遥感图像进行随机缩放及镜像处理。
进一步地，随机缩放表示将原始遥感图像随机缩小或放大至0.5～1.5倍，镜像表示对原始遥感图像进行水平翻转。
S102，创建基于深度学习的语义分割网络，其中：
如图2所示，所述语义分割网络包括特征提取模块1、特征融合模块2及像素分类模块3，其中：
特征提取模块用于通过卷积神经网络对图像进行特征提取；
特征融合模块用于提高图像分类精度；
像素分类模块用于利用全卷积网络对图像进行像素分类。
进一步地，特征提取模块主要采用MobileNet的基本单元bottleneck，特征提取模块由6个bottleneck串联构成，每个bottleneck的卷积核数量都不相同。Bottleneck不采用用池化操作，通过设定采样步长stride的值来进行下采样。Bottleneck是一种反残差模块，形状类似反漏斗，输入的图像通道会在该模块内部先升维，待图像特征提取完毕后再降维。图像特征维度的提升比例根据膨胀系数设定，一般设置为1、6、6、6、6、6。Bottleneck内部的卷积操作使用的是深度可分解卷积，一方面可降低计算量，另一方面可强化对图像特征的提取。一个Bottleneck里会重复地进行深度可分解卷积操作，这六个bottleneck的重复次数分别为1、2、3、4、3、3重复的操作可以更加有效地进行特征提取。
语义特征提取模块的输出结果会输入特征融合模块中。首先介绍级联的空洞卷积模块，经过特征提取模块输出的图像的尺寸大小为16pixel2，由于尺度过大的空洞卷积模块在效果上和1pixel×1pixel的普通卷积模块没有区别，顾及到图像尺寸大小为16pixel2，使用尺度大小分别为2pixel2、4pixel2、8pixel2的级联的的空洞卷积模块来获取不同尺度的语境信息，作用于第六个bottleneck上。级联的空洞卷积模块处理完成后的特征图送入到ASPP模块。ASPP模块由尺度大小为6pixel2、12pixel2及18pixel2的空洞卷积模块并联构成，每一个空洞卷积模块均对第六个bottleneck进行操作，以此来增强不同尺度下的语义特征。多尺度融合能够带来分类精度上面的提升。ASPP模块的输出与扩张率为1的空洞卷积模块、平均池化后的全局图像进行叠加，然后进行卷积运算，最终进入全卷积网络进行像素分类。
作为一个具体的实施例，该语义分割网络的工作流程如下：
(1)输入图像大小为512pixel×512pixel×3，经过一层普通卷积，输出大小为256pixel×256pixel×16的图像；
(2)进入MobileNet网络，经过6次bottleneck操作，生成大小为16pixel×16pixel×160的图像；
(3)为了增加感受野，获取更多语义信息，串联3个空洞卷积扩张率为2、4、8的模块，作用于第六个bottleneck上，输出大小为16pixel×16pixel×256的图像；
(4)为了获取全局的语境信息，普通的1×1卷积模块和3个扩张率分别为6、12、18的空洞卷积模块并联，形成大小为16pixel×16pixel×256×4的图像；
(5)对图像做全局平均，获取图像全局级别的信息，并上采样输出大小为16pixel×16pixel×256的图像；
(6)结合步骤(4)和(5)输出的图像，进行叠加操作，形成大小为16pixel×16pixel×256×5的图像；
(7)对大小为16pixel×16pixel×256×5的图像进行卷积操作，形成大小为16pixel×16pixel×8的图像；
(8)对大小为16pixel×16pixel×8的图像进行上采样和反卷积操作，形成大小为512pixel×512pixel×8的图像。
S103，对语义分割网络进行训练，包括：
从第一目标遥感图像集合中获取多个目标物体,分别设置各个目标物体的RGB值与灰度值之间的映射关系，其中，所述目标物体包括建筑、树木、汽车、杂物、农作物、道路、湖泊及草地；
根据设定的RGB值与灰度值之间的映射关系，分别将各个目标物体转换为灰度图；
作为一个具体的实施例，该映射关系可以为：RGB值为(0，0，255)的图像对应的灰度值为1，RGB值为(0，255，255)的图像对应的灰度值为2，RGB值为(255，255，255)的图像对应的灰度值为3。
将各个灰度图输入所述语义分割网络，得到第一标签图像集合，根据公式计算各个标签图像的softmax函数值，根据公式得到各个标签图像的损失值，其中，Si表示第i个标签图像的softmax函数值，Hi表示第i个标签图像的损失值，j表示目标物体的种类数，Vi表示卷积神经网络全连接层的第i个输出值；
根据所述损失值的大小对各个标签图像进行排序，依次确定各个标签图像的物体类别并将所述损失值及所述损失值对应的物体类别发送至所述语义分割网络并使用均方根反向传播算法更新深度学习语义分割网络的节点参数，得到最佳语义分割网络。
S104，创建数字高程模型，包括：
将各个灰度图输入所述最佳语义分割网络模型中,得到第二标签图像集合；
根据设定的RGB值与灰度值之间的映射关系，将所述第二标签图像集合中各个标签图像的灰度值替换为相应的RGB值并根据所述RGB值分别为述第二标签图像集合中各个图像上色，得到第二目标遥感图像集合；
将所述第二目标遥感图像集合与多个原始遥感图像构建的数字表面模型进行比对，提取所述数字表面模型中的非地面元素，将所述数字表面模型分为非地面元素和地面元素，剔除所述非地面元素，生成数字高程模型。
可选地，剔除所述非地面元素包括：
剔除建筑、树木、汽车及杂物对应的高程数据，利用插值算法，将与所述高程数据相邻的高程数据补充进来；
将农作物对应的高程数据减去预设的数值，利用高斯函数，对所述高程数据进行平滑滤波；
利用高斯函数，对道路、湖泊及草地对应的高程数据进行平滑滤波。
可选地，所述语义特征提取模块采用MobileNet的前7层作为骨干网络，包含1个二维常规卷积模块和6个MobileNet的反残差模块；特征融合模块包括级联的空洞卷积模块和空洞卷积空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)模块；像素分类模块包括全卷积网络FCN。
可选地，所述插值算法为反距离加权插值算法，其表达式为：其中，zp是待插值点的高程，μ是权指数，di为第i个采样点到插值点的距离，di -u是距离衰减函数。
本发明实施例提供的基于深度学习的数字高程模型生产方法，通过创建目标遥感图像集合、创建基于深度学习的语义分割网络、对语义分割网络进行训练及创建数字高程模型，能够有效地对海量遥感图像的分割并提升了分割效率。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (4)

1.一种基于深度学习的数字高程模型生产方法，其特征在于，包括：
获取一定数量的原始遥感图像，对所述原始遥感图像进行数据增强，生成第一目标遥感图像集合，其中，数据增强包括对所述原始遥感图像进行随机缩放及镜像处理；
创建基于深度学习的语义分割网络，所述语义分割网络包括特征提取模块、特征融合模块及像素分类模块，其中：
所述特征提取模块用于通过卷积神经网络对图像进行特征提取；
所述特征融合模块用于提高图像分类精度；
所述像素分类模块用于利用全卷积网络对图像进行像素分类；
对所述语义分割网络进行训练，包括：
从所述第一目标遥感图像集合中获取多个目标物体,分别设置各个目标物体的RGB值与灰度值之间的映射关系，其中，所述目标物体包括建筑、树木、汽车、杂物、农作物、道路、湖泊及草地；
根据设定的RGB值与灰度值之间的映射关系，分别将各个目标物体转换为灰度图；
将各个灰度图输入所述语义分割网络，得到第一标签图像集合，根据公式计算各个标签图像的softmax函数值，根据公式得到各个标签图像的损失值，其中，Si表示第i个标签图像的softmax函数值，Hi表示第i个标签图像的损失值，j表示目标物体的种类数，Vi表示卷积神经网络全连接层的第i个输出值；
根据所述损失值的大小对各个标签图像进行排序，依次确定各个标签图像的物体类别并将所述损失值及所述损失值对应的物体类别发送至所述语义分割网络并使用均方根反向传播算法更新深度学习语义分割网络的节点参数，得到最佳语义分割网络；
将各个灰度图输入所述最佳语义分割网络模型中,得到第二标签图像集合；
根据设定的RGB值与灰度值之间的映射关系，将所述第二标签图像集合中各个标签图像的灰度值替换为相应的RGB值并根据所述RGB值分别为述第二标签图像集合中各个图像上色，得到第二目标遥感图像集合；
将所述第二目标遥感图像集合与多个原始遥感图像构建的数字表面模型进行比对，提取所述数字表面模型中的非地面元素，将所述数字表面模型分为非地面元素和地面元素，剔除所述非地面元素，生成数字高程模型。
2.根据权利要求1所述的基于深度学习的数字高程模型生产方法，其特征在于，剔除所述非地面元素包括：
剔除建筑、树木、汽车及杂物对应的高程数据，利用插值算法，将与所述高程数据相邻的高程数据补充进来；
将农作物对应的高程数据减去预设的数值，利用高斯函数，对所述高程数据进行平滑滤波；
利用高斯函数，对道路、湖泊及草地对应的高程数据进行平滑滤波。
3.根据权利要求1所述的基于深度学习的数字高程模型生产方法，其特征在于：
所述语义特征提取模块采用MobileNet的前7层作为骨干网络，包含1个二维常规卷积和6个MobileNet的反残差模块；所述特征融合模块包括级联的空洞卷积模块和空洞卷积空间金字塔池化ASPP模块；所述像素分类模块包括全卷积网络FCN。
4.根据权利要求2所述的基于深度学习的数字高程模型生产方法，其特征在于：
所述插值算法为反距离加权插值算法，其表达式为：其中，zp是待插值点的高程，μ是权指数，di为第i个采样点到插值点的距离，di -u是距离衰减函数。
CN201910217696.6A 2019-03-21 2019-03-21 基于深度学习的数字高程模型生产方法 Active CN110084817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910217696.6A CN110084817B (zh) 2019-03-21 2019-03-21 基于深度学习的数字高程模型生产方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910217696.6A CN110084817B (zh) 2019-03-21 2019-03-21 基于深度学习的数字高程模型生产方法

Publications (2)

Publication Number Publication Date
CN110084817A true CN110084817A (zh) 2019-08-02
CN110084817B CN110084817B (zh) 2021-06-25

Family

ID=67413373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910217696.6A Active CN110084817B (zh) 2019-03-21 2019-03-21 基于深度学习的数字高程模型生产方法

Country Status (1)

Country Link
CN (1) CN110084817B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178206A (zh) * 2019-12-20 2020-05-19 山东大学 一种基于改进yolo的建筑预埋件检测方法及系统
CN111275112A (zh) * 2020-01-20 2020-06-12 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN112733662A (zh) * 2020-12-31 2021-04-30 上海智臻智能网络科技股份有限公司 一种特征检测方法及其装置
CN112749578A (zh) * 2019-10-29 2021-05-04 中科星图股份有限公司 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN112802181A (zh) * 2021-01-18 2021-05-14 郑州轻工业大学 一种基于低细节高程数据的大规模三维河道场景重建方法
CN113159174A (zh) * 2021-04-21 2021-07-23 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113326847A (zh) * 2021-06-04 2021-08-31 天津大学 一种基于全卷积神经网络的遥感图像语义分割方法及装置
CN113379397A (zh) * 2021-07-16 2021-09-10 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
CN113409327A (zh) * 2021-06-01 2021-09-17 北京工业大学 一种基于排序与语义一致性约束的实例分割改进方法
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN114926646A (zh) * 2022-05-19 2022-08-19 中国人民解放军战略支援部队信息工程大学 一种融合上下文信息的遥感影像高程提取方法
CN115858519A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种dem平整方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123183B1 (en) * 2011-10-30 2015-09-01 Lockheed Martin Corporation Multi-layer digital elevation model
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN107784657A (zh) * 2017-09-29 2018-03-09 西安因诺航空科技有限公司 一种基于颜色空间分类的无人机遥感图像分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN109086715A (zh) * 2018-07-31 2018-12-25 天图软件科技有限公司 基于通导遥数据中间件的系统、装置和数据处理的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123183B1 (en) * 2011-10-30 2015-09-01 Lockheed Martin Corporation Multi-layer digital elevation model
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN107784657A (zh) * 2017-09-29 2018-03-09 西安因诺航空科技有限公司 一种基于颜色空间分类的无人机遥感图像分割方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN109086715A (zh) * 2018-07-31 2018-12-25 天图软件科技有限公司 基于通导遥数据中间件的系统、装置和数据处理的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KEMKER R ET AL: "Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
YU WANG ET AL: "Application of B Spline and Smoothing Spline on Interpolating the DEM Based on Rectangular Grid", 《ACTA GEODAETICA ET CARTOGRAPHIC SINICA》 *
吴海曼: "基于多源遥感数据提取DEM的方法对比研究", 《万方数据知识服务平台》 *
张悦: "基于卷积神经网络的双源遥感数据语义分割的方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
易炜: "基于DEM的地形特征提取算法研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749578A (zh) * 2019-10-29 2021-05-04 中科星图股份有限公司 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN111178206B (zh) * 2019-12-20 2023-05-16 山东大学 一种基于改进yolo的建筑预埋件检测方法及系统
CN111178206A (zh) * 2019-12-20 2020-05-19 山东大学 一种基于改进yolo的建筑预埋件检测方法及系统
CN111275112A (zh) * 2020-01-20 2020-06-12 上海高仙自动化科技发展有限公司 机器人控制方法、机器人和可读存储介质
CN112733662A (zh) * 2020-12-31 2021-04-30 上海智臻智能网络科技股份有限公司 一种特征检测方法及其装置
CN112802181A (zh) * 2021-01-18 2021-05-14 郑州轻工业大学 一种基于低细节高程数据的大规模三维河道场景重建方法
CN112802181B (zh) * 2021-01-18 2024-06-11 郑州轻工业大学 一种基于低细节高程数据的大规模三维河道场景重建方法
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113159174B (zh) * 2021-04-21 2022-05-06 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113159174A (zh) * 2021-04-21 2021-07-23 云南师范大学 无控制点的dem匹配与形变量探测方法及装置
CN113409327A (zh) * 2021-06-01 2021-09-17 北京工业大学 一种基于排序与语义一致性约束的实例分割改进方法
CN113326847A (zh) * 2021-06-04 2021-08-31 天津大学 一种基于全卷积神经网络的遥感图像语义分割方法及装置
CN113379397A (zh) * 2021-07-16 2021-09-10 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
CN113379397B (zh) * 2021-07-16 2023-09-22 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
CN114926646A (zh) * 2022-05-19 2022-08-19 中国人民解放军战略支援部队信息工程大学 一种融合上下文信息的遥感影像高程提取方法
CN114926646B (zh) * 2022-05-19 2024-10-15 中国人民解放军战略支援部队信息工程大学 一种融合上下文信息的遥感影像高程提取方法
CN115858519A (zh) * 2023-02-27 2023-03-28 航天宏图信息技术股份有限公司 一种dem平整方法和装置

Also Published As

Publication number Publication date
CN110084817B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110084817A (zh) 基于深度学习的数字高程模型生产方法
CN110264468B (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
Huang et al. Point cloud labeling using 3d convolutional neural network
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN110532859A (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
Pereira et al. Advancing autonomous surface vehicles: A 3D perception system for the recognition and assessment of docking-based structures
CN112819830A (zh) 基于深度学习与机载激光点云的单株树冠分割方法
CN112686097A (zh) 一种人体图像关键点姿态估计方法
CN114092487A (zh) 目标果实实例分割方法及系统
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
Lian et al. Large-scale semantic 3-D reconstruction: Outcome of the 2019 IEEE GRSS data fusion contest—Part B
CN110992473A (zh) 一种基于车载激光扫描点云的树木枝干建模方法及系统
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
Dang et al. A convolutional neural network for coastal classification based on ALOS and NOAA satellite data
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
Luo et al. Detection of individual trees in UAV LiDAR point clouds using a deep learning framework based on multichannel representation
CN114187310A (zh) 基于八叉树和PointNet++网络的大规模点云分割方法
CN113724279A (zh) 路网自动划分交通小区的系统、方法、设备及存储介质
Zhou et al. Deeptree: Modeling trees with situated latents
CN112257496A (zh) 一种基于深度学习的输电通道周围环境分类方法及系统
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant