CN118314474B - 一种基于卫星遥感影像的水稻精细分类方法 - Google Patents
一种基于卫星遥感影像的水稻精细分类方法 Download PDFInfo
- Publication number
- CN118314474B CN118314474B CN202410758224.2A CN202410758224A CN118314474B CN 118314474 B CN118314474 B CN 118314474B CN 202410758224 A CN202410758224 A CN 202410758224A CN 118314474 B CN118314474 B CN 118314474B
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- stage
- features
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 54
- 235000009566 rice Nutrition 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 46
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 230000000750 progressive effect Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000009758 senescence Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卫星遥感影像的水稻精细分类方法，涉及卫星遥感技术领域，包括以下步骤：卫星影像预处理；基于预处理后的卫星影像生成COCO格式标注文件的多模态数据源；基于多模态数据源生成多模态COCO数据集；基于改进的可变形卷积骨干网络进行特征提取；基于渐进特征融合金字塔模块的特征融合；级联定位分割，解决了现有的水稻精细分类方法存在需要依赖长时间序列影像，对不规则田型的捕捉能力较弱和没有充分考虑尺度差异的问题。
Description
技术领域
本发明涉及卫星遥感技术领域，特别是涉及一种基于卫星遥感影像的水稻精细分类方法。
背景技术
水稻是全球主要的粮食作物之一，其种植面积和产量均居于全球主要粮食作物之首，特别是在亚洲地区。因此，水稻的产量和质量就变得至关重要。我们可以通过对每块水稻田块进行单独监测的精细化管理方法，实现土壤质量改进、病虫害控制和适当的施肥，以确保土壤长期的可持续性，从而提高水稻产量和质量。目前常用的监测方法都是基于农业遥感技术的。农业遥感技术是一种应用遥感卫星、无人机、多光谱传感器和其他遥感工具来监测和管理农业活动的技术。其中遥感卫星的应用潜力非常大，遥感卫星不仅可以实时捕捉大面积水稻农田的图像，大幅度减少采集数据所需的人力，还可以提供光谱信息，高分辨率图像等多种模态和多种维度的数据，为水稻检测提供全面的数据。例如：Sentinel-1、2、Landsat-8、World View-3、LISS-IV等卫星可提供精确水平的作物图像。
为了实现对每块水稻田块进行单独监测的精细化管理，我们通常会基于遥感技术进行水稻精细分类，水稻精细分类是一个具有挑战性的技术，尽管现有技术已经取得了一些进展，但仍然存在一些缺点和限制。目前主流的方式一种是基于物候特征复合的分类方法，例如：专利号为CN117058545A的发明，另一种是基于时间序列分析的分类方法，例如：专利号为CN112836725A的发明。
在专利号为CN117058545A的发明中记载的具体方法为：影像去云：对影像进行云掩膜去除影像中的云，影像为卫星影像；确定水稻物候期：通过分析裸土指数、地表水指数、归一化植被指数和植物衰老反射指数来确定水稻四个不同的物候期；构建物候期信息的新特征：选取六个光谱指标，构建4个关键物候期信息的新特征；指标叠加：采用谷歌云计算平台的合成方法，将6个指标图像进行叠加，得到一个具有6个指标的新特征；水稻制图：水稻作为唯一的目标类，因此采用单类分离器进行水稻分类。该方法虽然充分利用了水稻的物候信息，但是数据质量和物候提取的准确性对于这种方法的成功至关重要，而且受单类分类器的性能限制，模型学习能力有限，尤其是学习重要的尺度特征能力较差。
在专利号为CN112836725A的发明中记载的具体方法为：基于地面实测数据构建SAR标准时序曲线；对SAR时序遥感数据进行DTW距离计算；依据DTW距离进行样本标注，构建高置信度的弱标签样本集；融合多光谱及SAR输入特征；基于LSTM的深度学习分类器采用弱标签样本加实测样本的训练集对分类器进行训练后提取预测结果中的水稻分类作为最终稻田识别结果。时间序列配合高分辨率卫星影像可以更好地反映作物物候特征，但在现实场景下，不同作物的生长周期不一致，一段时间内同一区域可能复种不同类型农作物，难以建立精准的时间序列曲线。在海拔不连续，或非高标准农田的规划区域，水稻种植的碎片化和不规则性使该方法难以获得水稻地块平滑的轮廓。高分辨率卫星通常具有较窄的宽度和较长的重访时期，因此很难获得长时间序列的高质量高分辨率图像。因此，现有的水稻精细分类方法存在需要依赖长时间序列影像，对不规则田型的捕捉能力较弱和没有充分考虑尺度差异的问题。
发明内容
基于此，针对上述问题，本发明提出了一种基于卫星遥感影像的水稻精细分类方法，解决了现有的水稻精细分类方法存在需要依赖长时间序列影像，对不规则田型的捕捉能力较弱和没有充分考虑尺度差异的问题。
本发明的技术方案是：
一种基于卫星遥感影像的水稻精细分类方法，包括以下步骤：
S1：卫星影像预处理；
S2：基于预处理后的卫星影像生成COCO格式标注文件的多模态数据源；
S3：基于多模态数据源生成多模态COCO数据集；
S4：基于改进的可变形卷积骨干网络进行特征提取；
S41：基于多模态COCO数据集获取多模态数据图像，将多模态数据图像作为改进的可变形卷积骨干网络第一层的输入；
S42：通过可变形卷积单元在非固定位置对多模态数据图像进行特征的下采样，在下采样时，根据卷积操作得到的包含位置偏置信息的元素值获取像素点，将像素点进行双线性差值，形成新的特征图；
S43：提取新的特征图中最后一层包含位置偏置信息的特征，生成一组不同尺度的多尺度特征；
S5：基于渐进特征融合金字塔模块的特征融合；
通过改进的可变形卷积骨干网络使用渐进特征融合金字塔模块进行组合残差连接和权重自适应，对多尺度特征进行融合，获得多尺度特征；
S6：级联定位分割；
使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，最后输出最终阶段的水稻分类结果。
优选的是，步骤S1具体为：
使用遥感技术对卫星图像进行预处理，包括辐射定标、正射校正、图像配准和图像融合。
优选的是，步骤S2具体为：
对预处理后的卫星影像按照网络输入要求切片处理，获得多光谱图像，提取多光谱图像中的RGB波段，并获取彩色RGB图像；
对多光谱图像进行预处理，并基于多光谱图像计算归一化植被指数，并获取归一化植被指数图像，计算式如下：
其中，是近红外波段的反射值，是红色波段的反射值；
然后将彩色RGB图像与归一化植被指数图像进行多通道合成，获得包含颜色信息和植被指数信息的多通道合成图像，并将多通道合成图像作为生成COCO格式标注文件的多模态数据源。
优选的是，步骤S3具体为：
基于彩色RGB图像和归一化植被指数图像合成的多模态数据源生成 JSON标注文件；JSON标注文件即为多模态COCO数据集。
优选的是，在步骤S4中，改进的可变形卷积骨干网络采用ResNet-50作为基础网络，采用可变性卷积单元作为基础的卷积单元。
优选的是，在步骤S41中，多模态数据图像输入后大小被调整为:
其中和为空间分辨率，为通道数，为调整后的图像数据，为实数域。
优选的是，在步骤S42中，卷积操作如下：
其中，表示特征图，表示取出位置的特征值，表示位置的权重，表示中心点的位置，表示周围点的相对位置，表示该卷积核的所有相对位置，表示位置偏置信息，表示输出特征图上位置的元素值。
优选的是，步骤S5具体为：
S51：输入低级特征和，经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第二阶段；
S52：加入中间层特征层，形成,经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第三阶段；
S53：加入高级特征层，形成,经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第四阶段。
优选的是，步骤S6具体为：
S61：使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，公式如下：
其中，表示多尺度抽象特征，表示检测框，表示掩膜的特征，表示集合算子,表示检测头和分割头,表示区域建议框，表示掩膜的预测结果，表示当前阶段，表示前一阶段；
对于阶段，掩膜预测任务的特征来自同一阶段的掩膜特征和上一阶段的掩膜预测结果，公式如下所示：
其中，为上一阶段处理后的特征，为结合当前阶段和前一阶段特征的函数，为1 × 1卷积操作。
S62：在执行步骤S61的同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，公式如下：
S63：输出最终阶段的水稻分类结果；
水稻分类结果包含预测的每个水稻田块的位置和形状结果。
优选的是，在步骤S6中，级联结构包括RPN区域建议生产模块、roi池化模块、边框回归模块和掩膜预测模块。
与现有技术相比，本发明的有益效果是：
1、本发明使用多模态数据图像作为改进的可变形卷积骨干网络的输入，充了水稻在扬花期的指数表征，强化了和其他地物、植物之间的类别差异。
2、本发明采用可变形卷积单元去组建用于特征提取的改进的可变形卷积骨干网络，与传统的ResNet-50相比，我们的改进的可变形卷积骨干网络更加关注灵活的地块轮廓特征，这在非高标准农田分类任务中很有优势，可变形卷积单元中动态的卷积核对位于海拔起伏地区的零碎田块有更好的聚焦能力，释放了固定的感受野。
3、本发明在进行特征融合时，使用了渐进特征融合金字塔模块，减少了非相邻层次的特征丢失， 在指标上得到了很大的提升。
解决了现有的水稻精细分类方法存在需要依赖长时间序列影像，对不规则田型的捕捉能力较弱和没有充分考虑尺度差异的问题。
附图说明
图1是本发明实施例中所述的一种基于卫星遥感影像的水稻精细分类方法的流程示意图；
图2是本发明实施例中所述的一种基于卫星遥感影像的水稻精细分类方法的分割预测结果对比示意图；
图3是本发明实施例中所述的一种基于卫星遥感影像的水稻精细分类方法的模型示意图；
图4是本发明实施例中所述的可变形卷积单元卷积后的可变形卷积示意图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例：
如图1、图3和图4所示，本实施例公开了一种基于卫星遥感影像的水稻精细分类方法，包括以下步骤：
S1：卫星影像预处理；
S2：基于预处理后的卫星影像生成COCO格式标注文件的多模态数据源；
S3：基于多模态数据源生成多模态COCO数据集；
S4：基于改进的可变形卷积骨干网络进行特征提取；
S41：基于多模态COCO数据集获取多模态数据图像，将多模态数据图像作为改进的可变形卷积骨干网络第一层的输入；
S42：通过可变形卷积单元在非固定位置对多模态数据图像进行特征的下采样，在下采样时，根据卷积操作得到的包含位置偏置信息的元素值获取像素点，将像素点进行双线性差值，形成新的特征图；
S43：提取新的特征图中最后一层包含位置偏置信息的特征，生成一组不同尺度的多尺度特征；
S5：基于渐进特征融合金字塔模块的特征融合；
通过改进的可变形卷积骨干网络使用渐进特征融合金字塔模块进行组合残差连接和权重自适应，对多尺度特征进行融合，获得多尺度特征；
S6：级联定位分割；
使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，最后输出最终阶段的水稻分类结果。
1、本发明使用多模态数据图像作为改进的可变形卷积骨干网络的输入，充了水稻在扬花期的指数表征，强化了和其他地物、植物之间的类别差异。
2、本发明采用可变形卷积单元去组建用于特征提取的改进的可变形卷积骨干网络，与传统的ResNet-50相比，我们的改进的可变形卷积骨干网络更加关注灵活的地块轮廓特征，这在非高标准农田分类任务中很有优势，可变形卷积单元中动态的卷积核对位于海拔起伏地区的零碎田块有更好的聚焦能力，释放了固定的感受野。
3、本发明在进行特征融合时，使用了渐进特征融合金字塔模块，减少了非相邻层次的特征丢失， 在指标上得到了很大的提升。
解决了现有的水稻精细分类方法存在需要依赖长时间序列影像，对不规则田型的捕捉能力较弱和没有充分考虑尺度差异的问题。
优选的是，步骤S1具体为：
使用遥感技术对卫星图像进行预处理，包括辐射定标、正射校正、图像配准和图像融合。
优选的是，步骤S2具体为：
对预处理后的卫星影像按照网络输入要求切片处理，获得多光谱图像，提取多光谱图像中的RGB波段，并获取彩色RGB图像；
对多光谱图像进行预处理，并基于多光谱图像计算归一化植被指数，并获取归一化植被指数图像，计算式如下：
其中，是近红外波段的反射值，是红色波段的反射值；
然后将彩色RGB图像与归一化植被指数图像进行多通道合成，获得包含颜色信息和植被指数信息的多通道合成图像，并将多通道合成图像作为生成COCO格式标注文件的多模态数据源。
优选的是，步骤S3具体为：
基于彩色RGB图像和归一化植被指数图像合成的多模态数据源生成 JSON标注文件；JSON标注文件即为多模态COCO数据集。
JSON标注文件包含每一张图像的信息（图像的信息包括图像的ID、宽度、高度和文件名），每一个目标的信息（目标的信息包括目标的 ID、图像的 ID、类别的 ID和分割信息），所有的类别信息（类别信息包括类别的 ID 和名称）。
优选的是，在步骤S4中，改进的可变形卷积骨干网络采用ResNet-50作为基础网络，采用可变性卷积单元作为基础的卷积单元。
优选的是，在步骤S41中，多模态数据图像输入后大小被调整为:
其中和为空间分辨率，为通道数，为调整后的图像数据，为实数域。
优选的是，在步骤S42中，卷积操作如下：
其中，表示特征图，表示取出位置的特征值，表示位置的权重，表示中心点的位置，表示周围点的相对位置，表示该卷积核的所有相对位置，表示位置偏置信息，表示输出特征图上位置的元素值。
优选的是，骤S5具体为：
S51：输入低级特征和，经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第二阶段；
S52：加入中间层特征层，形成,经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第三阶段；
S53：加入高级特征层，形成,经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第四阶段。
为了对齐维度，步骤S5使用1×1卷积和双线性插值对特征进行上采样。根据下采样率使用不同的卷积核和步长执行下采样。与此同时，添加自适应的空间融合。融合后的多尺度特征进一步输入至级联结构中进行预测任务。
优选的是，步骤S6具体为：
S61：使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，公式如下：
其中，表示多尺度抽象特征，表示检测框，表示掩膜的特征，表示集合算子,表示检测头和分割头,表示区域建议框，表示掩膜的预测结果，表示当前阶段，表示前一阶段；
对于阶段，掩膜预测任务的特征来自同一阶段的掩膜特征和上一阶段的掩膜预测结果，公式如下所示：
其中，为上一阶段处理后的特征，为结合当前阶段和前一阶段特征的函数，为1 × 1卷积操作。
S62：在执行步骤S61的同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，公式如下：
S63：输出最终阶段的水稻分类结果；
水稻分类结果包含预测的每个水稻田块的位置和形状结果。
其中，边界框回归任务和掩码预测任务交错执行，并在掩码分支之间添加信息路径。
优选的是，在步骤S6中，级联结构包括RPN区域建议生产模块、roi池化模块、边框回归模块和掩膜预测模块。
如图2所示，模型推理及评估：我们使用已标记的农作物的基于彩色RGB图像和归一化植被指数图像合成的多模态数据源生成多模态COCO数据集对改进的可变形卷积骨干网络RCNet进行推理。改进的可变形卷积骨干网络RCNet将学习如何从多模态数据源中提取水稻特征，并将它们用于区分水稻和其他类别。方法使用验证数据集来评估经过训练的模型性能。分割预测结果如下图所示，第一行是验证数据的彩色RGB图像，第二行是对应彩色RGB图像通过人工标注得到的标签图像，第三行是可变形卷积骨干网络RCNet的预测结果。在检测性能、目标分割性能以及对不同尺寸目标的适应能力优越，特别是在中型和大型目标上有出色的性能提升。
本发明工作原理：本发明提出了一种基于卫星遥感影像的水稻精细分类方法，旨在解决现有方法中存在的长时间序列影像依赖、对不规则田型捕捉能力较弱以及未充分考虑尺度差异的问题。通过以下技术方案实现：将预处理后的卫星影像进行切片处理，提取RGB波段和计算归一化植被指数，并将这些信息合成为多通道图像，作为多模态数据源，为模型训练提供丰富的输入数据。多模态数据输入至水稻精细分类网络RCNet中，采用改进的可变形卷积骨干网络（即基于ResNet-50并引入可变形卷积单元的改进的可变形卷积骨干网络RCNet），从多模态数据集中提取特征并生成不同尺度的多尺度特征集合，以适应不同大小和形状的水稻田块。再通过渐进特征融合金字塔模块，对不同尺度的特征进行自适应空间融合，减少非相邻层次的特征丢失，提高特征融合的效率和效果。下一步，利用定位与分割组成的级联结构，对融合后的多尺度特征进行预测分类，并通过全卷积分支执行像素级别的分割，获取更多的上下文信息，最终输出精细的水稻分类结果。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (7)
1.一种基于卫星遥感影像的水稻精细分类方法，其特征在于，包括以下步骤：
S1：卫星影像预处理；
S2：基于预处理后的卫星影像生成COCO格式标注文件的多模态数据源；
步骤S2具体为：
对预处理后的卫星影像按照网络输入要求切片处理，获得多光谱图像，提取多光谱图像中的RGB波段，并获取彩色RGB图像；
对多光谱图像进行预处理，并基于多光谱图像计算归一化植被指数，并获取归一化植被指数图像，计算式如下：
其中，是近红外波段的反射值，是红色波段的反射值；
然后将彩色RGB图像与归一化植被指数图像进行多通道合成，获得包含颜色信息和植被指数信息的多通道合成图像，并将多通道合成图像作为生成COCO格式标注文件的多模态数据源；
S3：基于多模态数据源生成多模态COCO数据集；
S4：基于改进的可变形卷积骨干网络进行特征提取；
S41：基于多模态COCO数据集获取多模态数据图像，将多模态数据图像作为改进的可变形卷积骨干网络第一层的输入；
S42：通过可变形卷积单元在非固定位置对多模态数据图像进行特征的下采样，在下采样时，根据卷积操作得到的包含位置偏置信息的元素值获取像素点，将像素点进行双线性差值，形成新的特征图；
S43：提取新的特征图中最后一层包含位置偏置信息的特征，生成一组不同尺度的多尺度特征；
S5：基于渐进特征融合金字塔模块的特征融合；
通过改进的可变形卷积骨干网络使用渐进特征融合金字塔模块进行组合残差连接和权重自适应，对多尺度特征进行融合，获得多尺度特征；
步骤S5具体为：
S51：输入低级特征和，经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第二阶段；
S52：加入中间层特征层，形成，经过自适应空间融合阶段融合，得到多尺度特征；
其中，表示第三阶段；
S53：加入高级特征层C5，形成，经过自适应空间融合阶段融合，得到多尺度特；
其中，表示第四阶段；
S6：级联定位分割；
使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，最后输出最终阶段的水稻分类结果；
步骤S6具体为：
S61：使用定位与分割组成的级联结构对融合后的多尺度特征进行预测分类，公式如下：
其中，表示多尺度抽象特征，表示检测框，表示掩膜的特征，表示集合算子，表示检测头和分割头，表示区域建议框，表示掩膜的预测结果，表示当前阶段，表示前一阶段；
对于阶段，掩膜预测任务的特征来自同一阶段的掩膜特征和上一阶段的掩膜预测结果，公式如下所示：
其中，为上一阶段处理后的特征，为结合当前阶段和前一阶段特征的函数，为1 × 1卷积操作；
S62：在执行步骤S61的同时，添加全卷积分支，执行像素级别的分割，并将全卷积分支与回归框和掩码分支融合，获得更多的上下文信息，公式如下：
S63：输出最终阶段的水稻分类结果；
水稻分类结果包含预测的每个水稻田块的位置和形状结果。
2.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，步骤S1具体为：
使用遥感技术对卫星图像进行预处理，包括辐射定标、正射校正、图像配准和图像融合。
3.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，步骤S3具体为：
基于彩色RGB图像和归一化植被指数图像合成的多模态数据源生成 JSON标注文件；JSON标注文件即为多模态COCO数据集。
4.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，在步骤S4中，改进的可变形卷积骨干网络采用ResNet-50作为基础网络，采用可变性卷积单元作为基础的卷积单元。
5.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，在步骤S41中，多模态数据图像输入后大小被调整为：
其中和为空间分辨率，为通道数，为调整后的图像数据，为实数域。
6.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，在步骤S42中，卷积操作如下：
其中，表示特征图，表示取出位置的特征值，表示位置的权重，表示中心点的位置，表示周围点的相对位置，表示卷积核的所有相对位置，表示位置偏置信息，表示输出特征图上位置的元素值。
7.根据权利要求1所述的一种基于卫星遥感影像的水稻精细分类方法，其特征在于，在步骤S6中，级联结构包括RPN区域建议生产模块、roi池化模块、边框回归模块和掩膜预测模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410758224.2A CN118314474B (zh) | 2024-06-13 | 2024-06-13 | 一种基于卫星遥感影像的水稻精细分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410758224.2A CN118314474B (zh) | 2024-06-13 | 2024-06-13 | 一种基于卫星遥感影像的水稻精细分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118314474A CN118314474A (zh) | 2024-07-09 |
| CN118314474B true CN118314474B (zh) | 2024-08-06 |
Family
ID=91721012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410758224.2A Active CN118314474B (zh) | 2024-06-13 | 2024-06-13 | 一种基于卫星遥感影像的水稻精细分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118314474B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
| CN111401174A (zh) * | 2020-03-07 | 2020-07-10 | 北京工业大学 | 一种基于多模态信息融合的排球群体行为识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866526B (zh) * | 2018-08-28 | 2024-10-01 | 北京三星通信技术研究有限公司 | 图像分割方法、电子设备及计算机可读存储介质 |
| CN114612656A (zh) * | 2022-01-12 | 2022-06-10 | 山东师范大学 | 基于改进ResU-Net神经网络的MRI图像分割方法及系统 |
| CN115526864A (zh) * | 2022-09-30 | 2022-12-27 | 郑州轻工业大学 | 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 |
-
2024
- 2024-06-13 CN CN202410758224.2A patent/CN118314474B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710830A (zh) * | 2018-04-20 | 2018-10-26 | 浙江工商大学 | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 |
| CN111401174A (zh) * | 2020-03-07 | 2020-07-10 | 北京工业大学 | 一种基于多模态信息融合的排球群体行为识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118314474A (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bao et al. | UAV remote sensing detection of tea leaf blight based on DDMA-YOLO | |
| CN103914678B (zh) | 基于纹理与植被指数的撂荒地遥感识别方法 | |
| Baofeng et al. | Digital surface model applied to unmanned aerial vehicle based photogrammetry to assess potential biotic or abiotic effects on grapevine canopies | |
| CN113205014B (zh) | 一种基于图像锐化的时序数据耕地提取方法 | |
| Bai et al. | A fast and robust method for plant count in sunflower and maize at different seedling stages using high-resolution UAV RGB imagery | |
| Olenskyj et al. | End-to-end deep learning for directly estimating grape yield from ground-based imagery | |
| CN112836725A (zh) | 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法 | |
| Zhang et al. | Opportunities of UAVs in orchard management | |
| CN112560623A (zh) | 一种基于无人机的红树植物种类快速识别方法 | |
| CN113657158A (zh) | 基于Google Earth Engine的大尺度大豆种植区域提取算法 | |
| Murray et al. | The novel use of proximal photogrammetry and terrestrial LiDAR to quantify the structural complexity of orchard trees | |
| Liu et al. | An efficient approach based on UAV orthographic imagery to map paddy with support of field-level canopy height from point cloud data | |
| Shiu et al. | Pineapples’ detection and segmentation based on faster and mask R-CNN in UAV imagery | |
| CN117197668A (zh) | 基于深度学习的作物倒伏级别的预测方法及系统 | |
| US20230108422A1 (en) | Methods and systems for use in processing images related to crops | |
| CN111832480B (zh) | 一种基于光谱特征的油菜种植区遥感识别方法 | |
| CN118314474B (zh) | 一种基于卫星遥感影像的水稻精细分类方法 | |
| CN113627292A (zh) | 基于融合网络的遥感图像识别方法及装置 | |
| CN117274803A (zh) | 基于dsc-dc卷积神经网络的树种分类方法及系统 | |
| Babykalpana et al. | Classification of land use land cover change detection using remotely sensed data | |
| Xiong et al. | Detecting and Mapping Individual Fruit Trees in Complex Natural Environments via UAV Remote Sensing and Optimized YOLOv5 | |
| Ye et al. | CBTA: a CNN-BiGRU method with triple attention for winter wheat yield prediction | |
| Zhou et al. | Intelligent classification of maize straw types from UAV remote sensing images using DenseNet201 deep transfer learning algorithm | |
| Sankararao et al. | UC-HSI: UAV Based Crop Hyperspectral Imaging Datasets and Machine Learning Benchmark Results | |
| CN114463642A (zh) | 一种基于深度学习的耕地地块提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |