CN114037891A - 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 - Google Patents
基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 Download PDFInfo
- Publication number
- CN114037891A CN114037891A CN202110975846.7A CN202110975846A CN114037891A CN 114037891 A CN114037891 A CN 114037891A CN 202110975846 A CN202110975846 A CN 202110975846A CN 114037891 A CN114037891 A CN 114037891A
- Authority
- CN
- China
- Prior art keywords
- attention
- block
- feature map
- convolution
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 239000000284 extract Substances 0.000 claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 92
- 230000004913 activation Effects 0.000 claims description 86
- 238000005096 rolling process Methods 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 37
- 230000009191 jumping Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims 2
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HGUFODBRKLSHSI-UHFFFAOYSA-N 2,3,7,8-tetrachloro-dibenzo-p-dioxin Chemical compound O1C2=CC(Cl)=C(Cl)C=C2OC2=C1C=C(Cl)C(Cl)=C2 HGUFODBRKLSHSI-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，包括：输入遥感影像至编码器；编码器提取不同网格维度层级的特征并生成编码器特征图并输出至转换器；在编码器和解码器的卷积块之间的跳跃连接中串入注意力阀门；转换器提取抽象特征图并输出至解码器；解码器对转换器输入的抽象特征图进行逐级的上采样处理，生成解码器特征图并输出至所述分割单元；分割单元调整输入的解码器特征图的通道数，获取遥感影像中的建筑物分割结果。此外，本发明还公开了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置。采用本发明的U型注意力控制网络在预测性能和结果精度上实现了高分遥感影像建筑物提取质量的有效提升。
Description
技术领域
本发明涉及遥感影像提取技术领域，特别涉及一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置。
背景技术
建筑物作为城市及乡村区域的不动产资源，在区域建设规划、地区人口预估、经济发展评估、地形图制作及更新等方面中具有重要意义。随着卫星传感器技术的发展，遥感影像的成像质量不断提高，研究人员可更加快捷地获取批量的高分辨率遥感影像。然而，随着可获取遥感影像的体量不断增加，如何自动、准确、有效地从影像中提取建筑物信息逐渐成为了攻关难题。
早期遥感影像的数据量较少，提取影像中的建筑物主要依靠人工识别、目视解译、矢量特征提取等手段。然而，随着近年来遥感影像数据逐渐呈现海量化、多尺度化、多元化以及大数据化等特征，仅凭借人工解译影像的方式几乎无法完成批量的影像建筑物提取工作。这一是由于工作成本高、效率低，无法以统一标准衡量数据提取质量；二是由于需要大量的专业的人员进行判读与提取，长期目视会造成判读人员的视力损伤等问题导致工作效率具有不稳定性。因此，通过计算机技术实现自动化、智能化地提取遥感影像建筑物已成为遥感影像提取研究领域的重要内容之一。
现有技术中，用于遥感影像建筑物提取的主流方法主要有两类：一是运用数学和形态学知识人工设计提取目标特征的方法，二是基于深度学习自动提取目标特征的方法。其中，基于人工设计特征方法的主要原理是利用遥感影像中建筑物的纹理、几何、光谱和上下文等信息，通过专业知识手动筛选、设计并构建出有效的特征完成建筑物的提取。Lin与Nevatia最先通过边缘检测算法来检测建筑物的屋顶、墙壁和阴影，进而提取出建筑物。黄金库等人通过先构建知识规则算法处理影像,再进行形态学修复和边缘检测，最后借助三种数字化方法来规则化处理建筑物形状特征以得到建筑物轮廓精确提取结果。方鑫等人通过阴影和建筑物的空间位置关系构建筛选条件，从而过滤出疑似建筑物的区域，再运用图割算法来精确提取建筑物轮廓。Zhang等人利用影像中建筑物的形状和光谱特征通过聚类具有相似形状和轮廓信息的同质像素来提取建筑物。
然而，发明人经研究发现，尽管前人用于高分辨率遥感影像建筑物提取的方法已取得了一定进展，但此类基于人工设计特征的方法较普遍地存在提取精度不高、处理过程复杂以及影像特征利用不充分等缺点。此外，这些方法还需要各种规则来手动预定义特征，通过它们实现大范围遥感影像建筑物提取较为费力。
随着近年来计算机运算性能的提高，深度学习特别是卷积神经网络(Convolutional Neural Network，简称CNN)的概念及理论得到了迅速发展，在诸如自然图像分类、目标检测和语义分割等领域中已获得广泛应用。目前，常见的CNN模型主要包括AlexNet、VGGNet、GoogLeNet和ResNet等，与传统基于人工设计提取目标特征的方法相比，CNN模型可以自动提取输入图像的特征，具有强大的特征表示能力，近年来已被越来越多的研究人员所关注，并在遥感影像的目标分割和识别领域取得重要进展。如Lv等人利用SEEDS-CNN和尺度有效性分析实现了遥感影像中小尺度目标的高精度分类；Li等人为解决CNN在提取特征时仅会堆叠不同比例的正方形图像而忽略分割目标的背景信息，从而对分类精度造成影响的问题，提出了基于标准对象的双重CNN模型用于影像分类；Chen等人应用多尺度CNN和尺度参数估计的方法实现土地覆被的高准确率分类；Zhang等人使用融合OCNN模型，将光谱模式、几何特征和对象级上下文特征等信息融合汇总用于高分辨率图像中准确地识别目标物体，提高对象分类的精度。然而，仅借助CNN模型无法直接生成准确的建筑物轮廓，且影像分割后的后处理步骤同样不容忽视，因此近年来学者们开始尝试将全卷积神经网络(Fully Convolutional Networks,简称FCN)模型引入遥感影像建筑物提取领域，实现“端到端”地提取建筑物轮廓。谢跃辉等人结合局部二值模式表达的纹理特征和高斯金字塔提取的尺度特征构建模型的训练样本，使用SegNet网络进行样本训练，通过SoftMax分类器完成建筑物粗提取。刘亦凡等人利用深度残差网络Res-Une提取建筑物像素级特征，设置阈值过滤预测概率图中的噪声，通过后处理较大程度地保存了建筑物的完整性。
发明内容
基于此，为解决现有技术中的技术问题，特提出了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，包括：
输入遥感影像至编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；
所述编码器连接至转换器；所述编码器将提取生成的编码器特征图输出至所述转换器；所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；
所述转换器连接至解码器；在所述编码器和解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器提取抽象特征图并将其输出至所述解码器；
所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述解码器连接至分割单元；所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；所述分割单元调整输入的所述解码器特征图的通道数，获取遥感影像中的建筑物分割结果。
在一种实施例中，所述编码器中的各个卷积块皆包括卷积层、最大池化层、标准化层、激活函数单元；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述第五卷积块包括卷积层、最大池化层、标准化层；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图。
在一种实施例中，所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
其中，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果。
在一种实施例中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
将控制向量与控制系数相乘得到第一乘积；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
输入注意力阀门的特征图的像素向量与注意力系数相乘得到第二乘积；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果。
在一种实施例中，所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fl表示第l层中特征图的数量，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数如下式所示：
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]。
此外，为解决现有技术中的技术问题，特提出了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，包括编码器、转换器、解码器和分割单元；所述编码器连接至所述转换器，所述转换器连接至所述解码器，所述解码器连接至所述分割单元；
输入遥感影像至所述编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；所述编码器将提取生成的编码器特征图输出至所述转换器；
所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；所述转换器将所述编码器和所述解码器相对应的特征图连通；在所述编码器和所述解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器提取抽象特征图并将其输出至所述解码器；
所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；所述分割单元调整输入的所述解码器特征图的通道数，获取遥感影像中的建筑物分割结果。
在一种实施例中，所述编码器中的各个卷积块皆包括卷积层、最大池化层、标准化层、激活函数单元；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述第五卷积块包括卷积层、最大池化层、标准化层；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图。
在一种实施例中，所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
其中，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果。
在一种实施例中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
将控制向量与控制系数相乘得到第一乘积；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
输入注意力阀门的特征图的像素向量与注意力系数相乘得到第二乘积；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果。
在一种实施例中，所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fl表示第l层中特征图的数量，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数如下式所示：
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]。
实施本发明实施例，将具有如下有益效果：
本发明中，建筑物目标的定位和分割通过在卷积神经网络CNN中集成注意力阀门AGs来实现，不需要训练多个模型和大量额外的模型参数；与多阶段卷积神经网络CNN中的定位模型不同，注意力阀门AGs在多个维度中抑制不相关背景区域中的特征响应，不需要在网络之间裁剪感兴趣区域。
AGs-Unet模型是U-Net架构上构建的U型注意力控制模型；U-Nets由于其良好的计算性能和对GPU内存的有效利用而被广泛用于图像分割任务；注意力机制可在图像多尺度特征提取时，突出目标有效特征并抑制冗余无效的信息，AGs-Unet模型可集合两者优势之处。在低维尺度上可捕获上下文的广域信息，提取影像全局性粗尺度的特征；高维尺度中可提取抽象性细层次的特征，通过注意力阀门突出特征图中建筑物的位置和边界。网格化、多尺度提取的特征图通过跳跃连接接入解码器部分，将粗层次和细层次的密集建筑物预测融合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明中基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置的示意图；
图2为本发明中注意力阀门的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
高分辨率遥感影像是地物类别众多、地面背景复杂、数据信息繁复及分辨率较高的光学图像，因此，运用深度学习方法处理高分辨率遥感影像也需要不断发展。为高效、快速、准确地完成高分辨率遥感影像建筑物提取的任务，借鉴在自然语言处理领域的机器翻译和图像字幕任务中通过解释输出类的分数相对于输入图像的梯度来探索注意力图的注意力阀门(Attention Gates，简称AGs)，本发明公开了一种基于网格的注意力阀门AGs，并将注意力阀门AGs集成至U-Net中构成了U型注意力控制网络(AGs-Unet)。
本发明提出了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取模型，并将其与传统的具有经典对称结构特征的FCN8s、SegNet、U-Net模型以及集合通道注意力机制和位置注意力机制的DANet模型借助WHU数据集在预测精度、参数量、训练耗时等方面进行遥感影像建筑物自动化提取任务的实验对比。
如图1所示，本发明公开了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，包括：
输入遥感影像至所述编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征(xl)并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；
特别地，所述编码器中的各个卷积块即第一卷积块、第二卷积块、第三卷积块、第四卷积块皆包括卷积层(Convolutional layer，简称Conv)、最大池化层(Maxpool Layer，简称Maxpool)、标准化层(Batch Normalization，简称BN)、激活函数单元(RectifiedLinear Unit，简称ReLU)；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述编码器连接至转换器；所述编码器将提取生成的编码器特征图输出至所述转换器；所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；
所述转换器连接至解码器；在所述编码器和解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器连通了所述编码器和所述解码器中相对应的特征图；所述转换器提取抽象特征图并将其输出至所述解码器；
解码器与编码器具有相同数量的卷积块；所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；所述转换器将所述编码器和所述解码器相对应的特征图连通；在所述编码器和所述解码器的卷积块之间的跳跃连接中串入注意力阀门；
特别地，所述第五卷积块包括卷积层(Conv)、最大池化层(Maxpool)、标准化层(BN)；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图；所述转换器将提取得到的所述抽象特征图输出至所述解码器；
在一种实施例中，所述第五卷积块将所述编码器输入的编码器特征图的通道数叠加到1248，将编码器特征图的尺寸缩小到16×16；
所述解码器连接至分割单元；所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；所述分割单元调整输入的所述解码器特征图的模型通道数，并获取遥感影像中的建筑物分割结果。
所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：
第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
特别地，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果；
在一种实施例中，U型注意力控制网络AGs-Unet的参数设置如下面的表1所示，其中Conv表示卷积，Maxpool表示最大池化，Up表示上采样，AGs表示注意力阀门，Up_conv表示上采样加卷积；
表1
如图2所示为注意力阀门，具体包括：
其中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量(gi)；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
具体地，第六卷积块的前一级卷积块为第五卷积块，第七卷积块的前一级卷积块为第六卷积块，第八卷积块的前一级卷积块为第七卷积块，第九卷积块的前一级卷积块为第六八卷积块；
将控制向量与控制系数相乘得到第一乘积；
所述控制向量作用于每个像素以确定聚焦区域；所述控制向量包含上下文信息，以去除低级别的特征响应；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
具体地，第一卷积块跳跃连接至第九卷积块，输入第九卷积块的特征图来自第一卷积块；第二卷积块跳跃连接至第八卷积块，输入第八卷积块的特征图来自第二卷积块；第三卷积块跳跃连接至第七卷积块，输入第七卷积块的特征图来自第三卷积块；第四卷积块跳跃连接至第六卷积块，输入第六卷积块的特征图来自第四卷积块；
输入注意力阀门的特征图的像素向量
与注意力系数相乘得到第二乘积；其中，像素向量
Fl表示第l层中特征图的数量；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果；
具体地，输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]；
具体地，所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数σ1如下式所示：
其中，i表示空间维度，c表示通道维度；
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
在遥感影像中提取建筑物属于单类别的语义分割任务，因此设置一个注意力系数α即可；注意力阀门识别突出图像区域并抑制无关的特征响应，而最大程度地保留并激活仅与建筑物相关的神经元；
注意力阀门的实现包括：训练控制系数Wg；训练注意力系数Wx；连接两部分并调整输出通道数的Ps。
此外，本发明还公开了一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，包括编码器、转换器、解码器和分割单元；所述编码器连接至所述转换器，所述转换器连接至所述解码器，所述解码器连接至所述分割单元；
输入遥感影像至所述编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征(xl)并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；
特别地，所述编码器中的各个卷积块皆包括卷积层(Conv)、最大池化层(Maxpool)、标准化层(BN)、激活函数单元(ReLU)；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述编码器将提取生成的编码器特征图输出至所述转换器；
解码器与编码器具有相同数量的卷积块；所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；
其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门(AGs)；所述转换器连通了所述编码器和所述解码器中相对应的特征图；在所述编码器和所述解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器提取抽象特征图并将其输出至所述解码器；
特别地，所述第五卷积块包括卷积层(Conv)、最大池化层(Maxpool)、标准化层(BN)；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图；所述转换器将提取得到的所述抽象特征图输出至所述解码器；
在一种实施例中，所述第五卷积块将所述编码器输入的编码器特征图的通道数叠加到1248，将编码器特征图的尺寸缩小到16×16；
其中，串入跳跃连接的注意力阀门筛选出低维度特征图中有利于提取建筑物的特征点，过滤并抑制无关的特征和节点；四个注意力阀门在从低到高四个不同的网格维度层级中全方面、多维度地提取有效的特征；
所述转换器连通了所述编码器和所述解码器中相对应的特征图，解决了反向传播梯度消失的问题；
所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；
特别地，所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：
第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
所述分割单元调整输入的所述解码器特征图的通道数，并获取遥感影像中的建筑物分割结果；
特别地，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；
第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果；
如图2所示为注意力阀门，具体包括：
其中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量(gi)；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
具体地，第六卷积块的前一级卷积块为第五卷积块，第七卷积块的前一级卷积块为第六卷积块，第八卷积块的前一级卷积块为第七卷积块，第九卷积块的前一级卷积块为第六八卷积块；
将控制向量与控制系数相乘得到第一乘积；
所述控制向量作用于每个像素以确定聚焦区域；所述控制向量包含上下文信息，以去除低级别的特征响应；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
具体地，第一卷积块跳跃连接至第九卷积块，输入第九卷积块的特征图来自第一卷积块；第二卷积块跳跃连接至第八卷积块，输入第八卷积块的特征图来自第二卷积块；第三卷积块跳跃连接至第七卷积块，输入第七卷积块的特征图来自第三卷积块；第四卷积块跳跃连接至第六卷积块，输入第六卷积块的特征图来自第四卷积块；
输入注意力阀门的特征图的像素向量
与注意力系数相乘得到第二乘积；其中，像素向量
Fl表示第l层中特征图的数量；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果；
具体地，输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]；
具体地，所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数σ1如下式所示：
其中，i表示空间维度，c表示通道维度；
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
在遥感影像中提取建筑物属于单类别的语义分割任务，因此设置一个注意力系数α即可；注意力阀门识别突出图像区域并抑制无关的特征响应，而最大程度地保留并激活仅与建筑物相关的神经元；
注意力阀门的实现包括：训练控制系数Wg；训练注意力系数Wx；连接两部分并调整输出通道数的Ps；
在一种实施例中，实现注意力阀门的参数如下表2所示：
表2
在图像分类任务中，softmax激活函数用于归一化处理注意力系数；但是多次使用softmax会在输出端产生激活稀疏化，进而导致梯度消失问题；因此，在注意力阀门中利用sigmoid函数使得注意力阀门的参数具有更好的训练收敛性；在基于网格的注意力中，控制信号不是所有像素的全局单一矢量，而是适应于图像空间信息的栅格信号；
如图1所示，每个跳跃连接中的阀门控制信号聚合了多维度信息，增加了查询信号的网格分辨率并实现了更好的性能；
本发明在U-Net架构中加入注意力阀门，为重点提取出通过跳跃连接获得的多维度广域上的粗尺度特征，并消除其中无关信息和噪声响应的歧义。此过程会在连接操作中执行，以便只调用相关的激活。此外，注意力阀门在向前传播和反向传播中有针对性地过滤了无需激活的神经元。从背景区域开始的梯度在反向传播中不断向下加权，浅层的模型参数可以基于与建筑物提取任务相关的空间区域不断进行更新。
在多维的注意力阀门中，对应于每个网格尺度上的一个向量，在每个注意力阀门中，提取互补信息进行融合，定义跳跃连接的输出。为了减少注意力阀门中训练参数的数量和计算复杂度，在没有任何空间支持的情况下进行线性变换(1×1×1卷积)，并将输入的特征图通过下采样处理映射到阀门控制信号的分辨率，再由相应的线性变换对特征映射进行解码，并将其映射到低维空间进行注意力控制操作。
本发明利用深度监督来促使中间特征图在影像各个尺度上都具有相应的语义区分性；深度监督确保在不同尺度上的注意力阀门单元对输入的大范围的特征图能够及时处理，还能够防止直接从跳跃连接的子集进行重构密集的预测。
通过实验验证并对比模型的有效性和准确性，将总体精度(Overall Accuracy，简称OA)、精密度(Precision)和交并比(IoU)作为模型性能评估的指标；OA表示正确分类的像素数与测试像素总数之比，Precision是正确分类为正的像素数在所有预测为正的像素数的百分比，IoU可描述分段级的准确性；
采用WHU建筑物数据集进行对比实验，WHU建筑物数据集由航空数据集和卫星数据集组成，使用其中的航空影像数据集，对比SegNet、FCN8s、DANet、U-Net和AGs-Unet在WHU航空影像数据集上完成建筑物提取的结果；相较于SegNet、FCN8s、DANet，U-Net和AGs-Unet在验证数据上建筑物边缘的平滑性较好，AGs-Unet提取的建筑物有更加准确的边缘并且在注意力阀门AGs作用下内部空洞现象更少；
单独分析测试集中的影像，选取影像中的建筑物，计算资源占用最高的SegNet模型提取建筑物的完整性比FCN8s和DANet更好，U-Net模型提取建筑物有空洞化的问题，AGs-Unet提取出建筑物较为流畅、准确的边缘线以及较为完整的内部结构具有最好的提取效果；
进一步分析测试集中的其他影像，选取影像中整座建筑物中外延的凸局部和内陷的凹局部两处细节，SegNet模型预测图中未提取出此建筑物凸局部信息，并且在凹局部区域产生了较大的空洞现象；FCN8s和DANet都未能提取出该建筑物凸局部信息，对于凹局部特征区域FCN8s模型缺失性较少，相对表现出更好的预测效果；U-Net模型提取出建筑物凸局部信息，但在凹局部区域存在目标预测不完整的问题；AGs-Unett模型较为准确地提取出凸局部和凹局部两处细节信息；根据验证集数据的整体分析，SegNet、FCN8s模型提取建筑物的完整性不够其边缘流畅度不高；AGs-Unet模型提取出建筑物较为流畅、准确的边缘线以及较为完整的内部结构具有最好的提取效果。
在总体精度、精密度和平均交并比这三方面的精度结果上进行对比，AGs-Unet在三种评价指标上都取得了显著的最好结果。
实施本发明实施例，将具有如下有益效果：
本发明提出的AGs-Unet将注意力阀门(AGs)集成至U-Net中，解决了遥感影像语义分割模型中密集建筑物目标的提取问题；注意力阀门AGs有利于消除多层级卷积神经网络(CNNs)中建筑物定位模块的必要性，减少模型的参数数量和训练消耗的时间，提高模型的运算效率；同时，注意力阀门(AGs)可用于进一步扩展，集成至卷积神经网络中，从而有效地完成与图像分割密集目标预测相关的任务。
本发明提出的基于网格的控制门，使注意力系数更具体地针对局部区域，提出了应用于遥感影像建筑物提取任务的前向CNN模型中的软注意机制的一种实现方式，本发明提出的注意力阀门替代图像分类中使用的硬注意机制和图像分割框架中的目标定位模型；
本发明提出了对标准U-Net模型的扩展，以提高模型对前景像素的敏感性，而不需要复杂的启发式算法；通过实验对比可知，在WHU数据集上和标准U-Net模型相比，本本发明提出的AGs-Unet在遥感影像建筑物提取中的精度有了进一步提高。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，其特征在于，包括：
输入遥感影像至编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；
所述编码器连接至转换器；所述编码器将提取生成的编码器特征图输出至所述转换器；所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；
所述转换器连接至解码器；在所述编码器和解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器提取抽象特征图并将其输出至所述解码器；
所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述解码器连接至分割单元；所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；所述分割单元调整输入的所述解码器特征图的通道数，获取遥感影像中的建筑物分割结果。
2.根据权利要求1所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，其特征在于，
所述编码器中的各个卷积块皆包括卷积层、最大池化层、标准化层、激活函数单元；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述第五卷积块包括卷积层、最大池化层、标准化层；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图。
3.根据权利要求1所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，其特征在于，
其中，所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
其中，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果。
4.根据权利要求1所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，其特征在于，
其中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
将控制向量与控制系数相乘得到第一乘积；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
输入注意力阀门的特征图的像素向量与注意力系数相乘得到第二乘积；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果。
5.根据权利要求4所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取方法，其特征在于，
所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fl表示第l层中特征图的数量，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数如下式所示：
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]。
6.一种基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，其特征在于，包括编码器、转换器、解码器和分割单元；所述编码器连接至所述转换器，所述转换器连接至所述解码器，所述解码器连接至所述分割单元；
输入遥感影像至所述编码器；所述编码器利用全局上下文信息以及局部上下文信息提取不同网格维度层级的特征并生成编码器特征图；所述编码器包括级联的四个卷积块，分别为第一卷积块、第二卷积块、第三卷积块、第四卷积块；所述编码器将提取生成的编码器特征图输出至所述转换器；
所述解码器包括级联的四个卷积块，分别为第六卷积块、第七卷积块、第八卷积块、第九卷积块；其中，第一卷积块跳跃连接至第九卷积块，第二卷积块跳跃连接至第八卷积块，第三卷积块跳跃连接至第七卷积块，第四卷积块跳跃连接至第六卷积块；
所述转换器包括第五卷积块、四个跳跃连接中的注意力阀门；所述转换器将所述编码器和所述解码器相对应的特征图连通；在所述编码器和所述解码器的卷积块之间的跳跃连接中串入注意力阀门；所述转换器提取抽象特征图并将其输出至所述解码器；
所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，生成与输入图像大小相同的解码器特征图，并输出至所述分割单元；所述分割单元调整输入的所述解码器特征图的通道数，获取遥感影像中的建筑物分割结果。
7.根据权利要求6所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，其特征在于，
所述编码器中的各个卷积块皆包括卷积层、最大池化层、标准化层、激活函数单元；其中，所述编码器的卷积块中的最大池化层通过提取原特征图中局部区域的最大值构建生成新的特征图，并通过减少参数数量来防止过拟合；
所述第五卷积块包括卷积层、最大池化层、标准化层；所述第五卷积块将所述编码器输入的编码器特征图抽象至最高级别，叠加特征图的通道数并缩小特征图的尺寸，从而提取得到最高维度的抽象特征图。
8.根据权利要求6所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，其特征在于，
其中，所述解码器对所述转换器输入的抽象特征图进行逐级的上采样处理，具体包括：第六卷积块对第五卷积块输入的抽象特征图进行上采样处理并输出至第七卷积块；第七卷积块对第六卷积块输入的抽象特征图进行上采样处理并输出至第八卷积块；第八卷积块对第七卷积块输入的抽象特征图进行上采样处理并输出至第九卷积块；
其中，所述分割单元包括第十卷积块；第十卷积块包括卷积层、激活函数单元；第十卷积块的卷积层执行1×1卷积处理，第十卷积块的激活函数单元为Sigmoid函数；所述解码器特征图通过第十卷积块的1×1卷积处理调整模型通道数为类别数，通过Sigmoid函数获得遥感影像中的建筑物分割结果。
9.根据权利要求6所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，其特征在于，
其中，所述注意力阀门包括注意力层、阀门控制层、第一激活函数单元、线性变换单元、第二激活函数单元、重采样器；
在阀门控制层中，输入阀门控制信号至注意力阀门，所述阀门控制信号包括控制向量；其中，所述阀门控制信号来自当前卷积块的前一级卷积块；
将控制向量与控制系数相乘得到第一乘积；
在注意力层中，输入特征图至注意力阀门；其中，输入注意力阀门的特征图来自与当前卷积块跳跃连接的卷积块；
输入注意力阀门的特征图的像素向量与注意力系数相乘得到第二乘积；
将第一乘积、第二乘积相加并经过偏置处理后利用第一激活函数单元进行激活得到第一激活结果；第一激活结果经过线性变换单元调整通道数并作偏置处理后再利用第二激活函数单元进行激活得到第二激活结果，将第二激活结果输入至重采样器中进行调整得到注意力系数α；将注意力层输入的特征图与注意力系数α相乘，输出与注意力层输入的特征图具有相同尺寸的相乘结果。
10.根据权利要求9所述的基于U型注意力控制网络的高分辨率遥感影像建筑物提取装置，其特征在于，
所述注意力阀门利用附加注意力机制获得注意力系数；所述附加注意力机制的计算式如下所示：
其中，
为sigmoid函数；
注意力阀门的参数组Θatt包括：
bψ∈R；其中，Wx为控制系数，Wg为注意力系数，ψ为线性变换，bg为第一偏置参数，bψ为第二偏置系数；其中，Fl表示第l层中特征图的数量，Fint表示输入层；
其中，注意力阀门的第一激活函数单元所执行的第一激活函数如下式所示：
其中，线性变换单元所执行的线性变换为通过1×1×1的通道卷积处理改变输入向量的通道数；
其中，注意力阀门的第二激活函数单元所执行的第二激活函数σ2为sigmoid函数；
输入的特征图与注意力系数α在像素级的相乘结果为注意力阀门的输出，如下式所示：
其中，注意力系数α∈[0，1]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975846.7A CN114037891A (zh) | 2021-08-24 | 2021-08-24 | 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975846.7A CN114037891A (zh) | 2021-08-24 | 2021-08-24 | 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114037891A true CN114037891A (zh) | 2022-02-11 |
Family
ID=80134343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110975846.7A Pending CN114037891A (zh) | 2021-08-24 | 2021-08-24 | 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037891A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359120A (zh) * | 2022-03-21 | 2022-04-15 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114821510A (zh) * | 2022-05-26 | 2022-07-29 | 重庆长安汽车股份有限公司 | 基于改进U-Net网络的车道线检测方法及装置 |
| CN116665053A (zh) * | 2023-05-30 | 2023-08-29 | 浙江时空智子大数据有限公司 | 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统 |
| CN118096541A (zh) * | 2024-04-28 | 2024-05-28 | 山东省淡水渔业研究院（山东省淡水渔业监测中心） | 一种渔业遥感测试图像数据处理方法 |
-
2021
- 2021-08-24 CN CN202110975846.7A patent/CN114037891A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359120A (zh) * | 2022-03-21 | 2022-04-15 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114359120B (zh) * | 2022-03-21 | 2022-06-21 | 深圳市华付信息技术有限公司 | 遥感影像处理方法、装置、设备及存储介质 |
| CN114821510A (zh) * | 2022-05-26 | 2022-07-29 | 重庆长安汽车股份有限公司 | 基于改进U-Net网络的车道线检测方法及装置 |
| CN116665053A (zh) * | 2023-05-30 | 2023-08-29 | 浙江时空智子大数据有限公司 | 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统 |
| CN116665053B (zh) * | 2023-05-30 | 2023-11-07 | 浙江时空智子大数据有限公司 | 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统 |
| CN118096541A (zh) * | 2024-04-28 | 2024-05-28 | 山东省淡水渔业研究院（山东省淡水渔业监测中心） | 一种渔业遥感测试图像数据处理方法 |
| CN118096541B (zh) * | 2024-04-28 | 2024-06-25 | 山东省淡水渔业研究院（山东省淡水渔业监测中心） | 一种渔业遥感测试图像数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Commonality autoencoder: Learning common features for change detection from heterogeneous images | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN114037891A (zh) | 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置 | |
| CN113033520B (zh) | 一种基于深度学习的树木线虫病害木识别方法及系统 | |
| Jiang et al. | Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN110084311B (zh) | 基于三元权值卷积神经网络的高光谱图像波段选择方法 | |
| Li et al. | Few-Shot Learning with Generative Adversarial Networks Based on WOA13 Data. | |
| Yuan et al. | Neighborloss: a loss function considering spatial correlation for semantic segmentation of remote sensing image | |
| Holail et al. | Afde-net: Building change detection using attention-based feature differential enhancement for satellite imagery | |
| CN116879192B (zh) | 基于卫星遥感数据的水华预测方法、装置、设备及介质 | |
| Li et al. | An object-oriented CNN model based on improved superpixel segmentation for high-resolution remote sensing image classification | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| Guo et al. | ClouDet: A dilated separable CNN-based cloud detection framework for remote sensing imagery | |
| CN110647932A (zh) | 一种种植作物结构遥感影像分类方法及装置 | |
| CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| Guo et al. | Dual-concentrated network with morphological features for tree species classification using hyperspectral image | |
| Gao et al. | E-DeepLabV3+: A Landslide Detection Method for Remote Sensing Images | |
| Ruiz-Lendínez et al. | Deep learning methods applied to digital elevation models: state of the art | |
| Li et al. | Feature-guided dynamic graph convolutional network for wetland hyperspectral image classification | |
| CN114511787A (zh) | 一种基于神经网络的遥感图像地物信息生成方法及其系统 | |
| CN116994071A (zh) | 一种基于自适应光谱残差的多光谱激光雷达点云分类方法 | |
| CN117292261A (zh) | 一种异源遥感影像变化检测方法 | |
| Tahraoui et al. | Land change detection in sentinel-2 images using ir-mad and deep neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |