CN109934200B - 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于改进M‑Net的RGB彩色遥感图像云检测方法，属于人工智能和图像识别领域，设计了RM‑Net深度语义分割网络，结合了残差网络与M‑Net的优点。首先，对原始数据集进行增强，并标注对应的像素级标签；利用空洞空间金字塔池化在不丢失信息的前提下提取图像多尺度特征，并结合残差单元使网络不易出现退化；最后，利用编码器模块与左路径提取图像全局上下文信息，解码器模块与右路径恢复图像空间分辨率，根据融合后的特征判别每个像元的类别概率，输入分类器进行像素级的云和非云分割。对彩色图像进行训练和测试，实验结果表明本发明方法在不同条件下可很好地检测云边缘细节，并取得较高精度的云阴影检测，证明了本发明方法具有较好的泛化性与鲁棒性。

Description

一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统

技术领域

本发明涉及深度学习和图像识别领域，具体涉及一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统。

背景技术

随着遥感技术的发展，遥感影像已广泛用于气象探测、资源利用及环境检测等工作领域。全球云覆盖面积约占地球陆地表面的68％，云检测也是遥感数据处理的重要环节。正确地分离遥感图像中的有云像元和无云像元己成为天气预报与自然灾害预测的重要基础工作。因此，有效的云检测是对遥感影像后续分析与利用的前提。

目前，多种云检测方法被提出，包括：(1)基于阈值的云检测方法主要通过提取每个像素的各种光谱特征，然后使用一个或多个阈值确定云掩模，由于该方法主要利用低层次的光谱信息，而空间信息涉及相对较少,且对下垫面和云覆盖范围的敏感性，决定了云检测工作的复杂性，且易产生误检；(2)随着深度学习在图像识别、语音识别、自然语言处理等方面的快速发展，深度神经网络强大的识别能力得到了广泛的认可，基于深度学习的云检测方法也引起了人们的关注。Shi等与Goff等利用超像素分割和深度卷积神经网络DCNN(Deep Convolutional Neural Network)从Quickbird、谷歌地球图像和SPOT 6图像中检测云，陈洋等采用卷积网络对资源三号遥感影像进行云检测，这些方法与传统机器学习方法相比，实现了更高精度的云检测，但对云的边缘检测较为粗糙，导致云的细节丢失严重。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于改进M-Net的RGB彩色遥感图像云检测方法，该方法可以解决现有技术中云检测准确率低、通用性差的问题，本发明还提供一种基于改进M-Net的RGB彩色遥感图像云检测系统。

技术方案：本发明所述的基于改进M-Net的RGB彩色遥感图像云检测方法，包括：

(1)对图像进行预处理；

(2)构建语义分割网络模型，包括：编码路径、解码路径、左路径和右路径，所述编码路径包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端连接对应的所述卷积层B的输入端；

所述解码路径与编码路径对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与q个级联的步长为1的卷积层C，所述右路径包括步长为2的m个右反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行反卷积，将得到的最终特征值送入SoftmaxWithLoss层进行分类；

(3)设置实验参数，对所述语义分割网络模型进行训练，直至网络收敛。

优选的，所述步骤(1)中，对图像进行预处理包括：

(11)对训练集与验证集中的图像进行翻转、饱和度调整、亮度调整、颜色调整和加噪；

(12)调整图像的像素，即用训练集、验证集和测试集中的图像减去训练集图像在RGB三个维度的均值；

(13)对标签图像灰度值进行固定，即将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练集和验证集对应的掩模图像。

优选的，所述编码路径中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出端与所述卷积层B的输入端相连，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出端与所述反卷积层组的输入端连接。

优选的，所述解码路径中，每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

优选的，所述编码路径中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。

另外，本发明还提供一种基于改进M-Net的RGB彩色遥感图像云检测系统，包括：图像预处理模块，用于对实验图像进行预处理；

网络模型构建模块，包括：编码器、解码器、左路径和右路径，所述编码器包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端连接对应的所述卷积层B的输入端；

所述解码器与编码器对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与q个级联的步长为1的卷积层C，所述右路径包括步长为2的m个右反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行反卷积，将得到的最终特征值送入SoftmaxWithLoss层进行分类；

网络模型训练模块，用于设置实验参数，对所述语义分割网络模型进行训练，直至网络收敛。

优选的，所述图像预处理模块，包括：

图像增强单元，用于对训练集与验证集中的图像进行翻转、饱和度调整、亮度调整、颜色调整和加噪；

像素调整单元，用于调整图像的像素，将训练集、验证集和测试集中的图像减去训练集图像在RGB三个维度的均值；

图像分类单元，用于对标签图像进行分类，即将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练集和验证集对应的掩模图像。

优选的，所述编码器中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出与所述卷积层B的输入端相连，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出与所述反卷积层组的输入端连接。

优选的，所述解码器中，每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

优选的，所述编码器中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。

有益效果：本发明与现有技术相比，其显著优点是：1、本发明利用编码路径与解码器路径提取图像全局上下文信息和高层空间特征，丰富的跳跃连接可促进网络的前向传播和反向传播,可更好的同时提取低层空间特征和高层语义信息；2、本发明将网络深层的卷积核与ASPP的扩张卷积相结合，在不增加网络参数的同时增大了感受野，使得捕捉到的全局信息更加丰富；3、本发明在网络模型中结合残差单元，可解决网络退化的问题，使网络更易于训练；4、本发明能够较好的识别具有复杂下垫面的云和云阴影，且具有很好的泛化性与鲁棒性。

附图说明

图1为本发明云识别的总流程图；

图2为卷积单元与残差单元的区别，图2中的a为卷积单元的示意图，图2中的b为残差单元的示意图；

图3为本发明所述的深度语义分割网络模型RM-Net；

图4为本发明所述的对深度语义分割网络模型DCN的改进，此处称之为DDCN；

图5为训练迭代的次数与Overall Accuracy的关系；

图6为六种方法对Landsat8图像云检测结果视觉对比，图6中的（b）和图6中的（d）分别为图6中的（a）和图6中的（c）的子区域；

图7为六种方法对高分1号WFV图像云检测结果视觉对比，图7中的（b）和图7中的（d）分别为图7中的（a）和图7中的（c）的子区域；

图8为DDCN方法与本发明方法云和云阴影检测视觉对比图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。

实施例1

本发明提供一种基于改进M-Net的RGB彩色遥感图像云检测方法，包括：

训练阶段：步骤1、对图像进行预处理；

由于训练数据集少且尺寸过大，考虑到GPU内存的局限性、计算速度及保证分割方法的时效性等方面的原因，本发明对训练数据集做了增强，主要通过翻转、饱和度调整、亮度调整、颜色调整和加噪等操作；

考虑到计算机显存以及计算的速度将图片裁剪为256×256像素。计算训练集中的每张待检测图像在RGB三个维度的均值，并减去该均值，可提高训练的速度与精度；

标签的制作过程将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练数据集中的图像对应的掩模图像，用于监督网络的训练，在调用模型时，对模型识别的每个像素对应的2、1和0分别转化为255、128与0，即识别后的图像中云为白色，云阴影为灰色，非云为黑色。

步骤2、构建语义分割网络模型，语义分割网络是基于M-Net模型实现，本发明称之为RM-Net模型，该模型应用到网络中，深度语义分割网络模型结构如图3所示，其中，conv.(3x3)+BN+ReLU卷积核为3x3的卷积层，且具有批量归一化层和激活函数，stride＝1表示步长为1，stride＝2表示步长为2，conv.(1×1)表示卷积核为1×1的卷积层，deconv.(2×2)表示卷积核为2×2的反卷积层，eltwise sum表示eltwise层为求和操作。Left leg为左路径，encoding表示编码路径，decoding表示解码路径，right leg为右路径。

该网络共有31层，包含不改变特征图大小步长为1的卷积层，以及改变特征图大小步长为2的卷积层与反卷积层，网络各卷积层参数如下表1所示。其框架主要由编码器、解码器和2个边路径组成。分割网络中引入残差单元以及扩张卷积，避免网络训练退化，也使得网络更易于训练，并利用Adam算法对网络进行优化。在对Landsat8和高分一号WFV RGB彩色图像进行云检测实验中，该方法不仅能自动从原始影像上学习影像隐含特征，且能实现较高精度的云检测，提高了云检测的准确率以及通用性。

具体包括：编码路径、解码路径、左路径和右路径，编码路径从RGB彩色图像中提取鲁棒抽象表示，解码路径根据编码器的响应计算像素级的分割和分类掩码，2个边路径提供深度监督功能；在其中一个实施例中，左路径的输入为编码器的第一个卷积层的输出，由3个3×3步长为2的卷积组成，其输出端连接到对应的编码层输入端。

编码路径由3×3步长为1卷积层和3×3步长为2的卷积层组成，移除M-Net中最后一个池化层和编码器的最后两个卷积层，结合ASPP提取更多特征。在卷积滤波器级联中，丰富的跳跃连接将底层特征与高层特征融合，以结合语义信息和空间信息，使网络能够更好地学习特征。

新感受野表示为：

RF′＝k₁+k₂-1

其中，k₁与k₂分别为两个堆叠的卷积核大小。

具体的编码路径包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端连接对应的所述卷积层B的输入端；

在其中一个实施例中，m＝3，即卷积层组重复3次，第一个重复的卷积层组包括3个不改变特征图大小步长为1的卷积层和一个改变特征图大小步长为2的卷积层，第二和第三重复的卷积层组包括2个不改变特征图大小步长为1的卷积层和一个改变特征图大小步长为2的卷积层。

所述编码路径中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出端与所述卷积层B的输入端相连，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出端与所述反卷积层组的输入端连接。

在其中一个实施例中，每个重复的卷积层组均结合一个残差，p为3，3个扩张卷积层后还加入一个1×1，步长为1的卷积层，其作为编码路径的最后一个卷积层，与3个扩张卷积结合残差构成一个残差单元。

所述编码路径中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。在其中一个实施例中，p为3，扩张率为分别为3、6和9。

扩张卷积与普通卷积相比，卷积核大小一样(神经网络中参数数量不变)，具有更大的感受野，即卷积核在图像上看到的区域更大，输出的特征映射(feature map)的大小一样。一个扩张率为2的3×3卷积核，感受野与卷积核为5×5的相同，但参数数量仅为9个，是5×5卷积参数数量的36％。

扩张卷积中等价的感受野RF表示为：

RF＝(k-1)×r+1

其中，k为卷积核大小，r为扩张率，当r＝1时为普通卷积。

具有不同扩张率的ASPP能够有效的捕获多尺度信息，但当等价后的感受野大于特征图时，会造成滤波器的退化。

解码路径由2×2且步长为2的反卷积层进行上采样与编码路径对应的特征通道相连接，和两个级联的3×3步长为1卷积层重复组成。

具体的，所述解码路径与编码路径对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与q个级联的步长为1的卷积层C，所述右路径包括步长为2的m个右反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行反卷积，将得到的最终特征值送入SoftmaxWithLoss层进行分类；

在其中一个实施例中，右路径还包括多个concat层，其将解码器中残差单元与右反卷积层进行特征融合。

在其中一个实施例中，q＝2，在每个步长为2的反卷积层后加入2个步长为1的卷积层，三次重复之后，解码路径的最后加入一个卷积核为1×1，步长为1的卷积层，作为最后一个卷积层。

所述解码路径中，在每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

在其中一个实施例中，反卷积层组重复三次，因此共加入三个残差单元，每个残差单元的输出与下一个重复的反卷积层组的步长为2的反卷积层相连，其在解码路径的最后一个卷积层后加入一个残差，作为最后一个残差单元。由上述，编码路径和解码路径共加入8个残差单元，使网路易于训练。

如图2为卷积单元和残差单元的区别图，其中，input表示输入，output为输出，conv.为卷积层，ReLU为激活函数，BN+ReLU表示包括批量归一化和激活函数，每个残差单元都可以用一般形式表示为：

x_i+1＝f(g(x_i)+H(x_i,W_i))

其中，x_i和x_i+1分别是第i个残差单元的输入和输出，H(x_i,W_i)代表学习到的残差映射，f(·)为激活函数，当输入和输出的维度相同时，可以采用恒等映射，此时g(x_i)＝x_i+1；若维度不同，需要使用1×1的卷积恢复维度。

在每个步长为1的卷积中使用一定的像素填充Padding，以保证分割图像的大小一致。除解码器的最后一个卷积层外，在上述的每个卷积层之后都应用激活函数ReLU和批量归一化层(BN)。

最后一个1x1输出卷积层之后，加入概率为0.5的dropout函数可防止网络过拟合。表1网络卷积层参数

将上述所述的最后一个残差单元提取的特征输入1×1的输出卷积层后，送入SoftmaxWithLoss层，其中Softmax函数计算每个像素类分布的概率值，最终确定属于云或者非云，利用Softmax函数的输出计算loss值。

loss函数J(θ)公式定义为

其中，y_i为类别标签有k个不同取值，将遥感图像分割成云与非云区域属于二分类问题，所以此处k＝2，但将遥感图像分割成云、云阴影和非云区域时k＝3，x_i为输入图像像素观测向量X＝{x₁,x₂,x₃…x_m}中的元素，θ为模型参数，m为图像的像素数，1{·}为显性函数。

获得的损失值从输出层向隐藏层方向传播，直至传播到输入层，根据误差调整网络权重参数值，不断迭代上述过程，直至网络收敛。

在其中一个实施例中，训练时批次大小的经验值取8，即每迭代一次处理8张图像。在参数优化阶段，梯度优化使用Adam算法，同时设置动量β₁＝0.9和β₂＝0.999以防止出现过拟合现象，将学习率设置为0.0001，当代价函数损失收敛且趋于平稳时，停止训练，共迭代120000次。

仿真实验：

如图1所示，首先，将数据集与对应的标签输入网络，标签用于监督网络训练，最终提取的特征输入softmax函数计算每个像素类分布的概率值，根据概率值计算loss值，待loss值趋于稳定，停止训练。网络训练完成后，调用训练好的模型，输入二值分类器进行像素级的云与非云识别。

选取的遥感图像来自“L8SPARCS”云和云影验证数据集。选择此数据集的两个原因：(1)SPARCS数据集像素级的云掩膜根据11个波段的Landsat-8数据集获得，其Groudtruth的准确性足够高；(2)数据集包含大的薄云、海洋上空云和下垫面为冰/雪等多种情况，具有较好的代表性。SPARCS数据集共有80张影像含有7个手动标记的类，包括云、云影、淹没区、冰/雪、水体、水面阴影和陆地，每张图片大小为1000×1000像素。

为验证本发明云检测方法的泛化性，选取中国高分1号云和云阴影覆盖数据集中RGB彩色图像进行云检测实验。高分1号卫星上的WFV成像系统空间分辨率为16米，共有4个多光谱波段，该数据集有108张影像，包含全球不同的土地覆盖类型，所有相关的掩膜都标记了云。为降低图像分割对计算机性能的要求以及提高图像分割的效率，将数据集中的图像统一转化为1000×1000像素。

本发明只利用RGB彩色图像进行训练和测试，将类别重新划分为云和非云两类。与长波长传感器相比，RGB图像对散射条件更为敏感，增加了云识别的难度。因此，利用图像的空间信息从目标分割和分类的角度解决这个问题可以得到更直观的结果，还可以避免目前大多数遥感图像云检测方法依赖于特定传感器的弊端。

在训练阶段，由于原始数据少且尺寸过大，考虑到GPU内存的局限性、计算速度及保证分割方法的时效性等方面的原因，本发明对其做了增强，主要通过翻转、饱和度调整、亮度调整、颜色调整和加噪等操作。

深度语义分割网络模型结构主要由四个路径组成，即编码与解码路径和2条边路径。该网络共有31层，包含不改变特征图大小步长为1的卷积层，以及改变特征图大小步长为2的卷积层与反卷积层。

首先，编码器从RGB彩色图像中提取鲁棒抽象表示。然后，解码器根据编码器的响应计算像素级的分割和分类掩码。在分割网络中，特征图的减半通过使用步长为2卷积层代替池化层，每个卷积层的特征通道数都随着步长为2的卷积和反卷积而变化。在编码路径中，经过步长为2的卷积之后，通道的数量增加一倍，在解码器中每次向上采样之后通道的数量减少一半。编码路径由3×3步长为1卷积层和3×3步长为2的卷积层组成，移除M-Net中最后一个池化层和编码器的最后两个卷积层，结合ASPP提取更多特征。

在卷积滤波器级联中，丰富的跳跃连接将底层特征与高层特征融合，以结合语义信息和空间信息，使网络能够更好地学习特征。

解码路径由2×2且步长为2的反卷积层进行上采样与编码路径对应的特征通道相连接，和两个级联的3×3步长为1卷积层重复组成。

在每个步长为1的卷积中使用Padding，以保证分割图像的大小一致。除最后一个卷积层外，在每个卷积层之后都应用激活函数ReLU和批量归一化层(BN)。

最后一个卷积层之后概率为0.5的dropout函数可防止网络过拟合。

对于两条边路径，左路径的输入为第一个卷积层的输出，由3个3×3步长为2的卷积组成，其输出端连接到对应的编码层输入端。

右路径由步长为2的反卷积层和concat层组成，并融合解码层的输出。

将最后一个残差单元提取的特征输入1×1的卷积后送入SoftmaxWithLoss层，其中Softmax函数计算每个像素类分布的概率值，最终确定属于云或者非云，利用Softmax函数的输出计算loss值。

loss函数J(θ)公式定义为

其中，y_i为类别标签有k个不同取值，将遥感图像分割成云与非云区域属于二分类问题，所以此处k＝2，但将遥感图像分割成云、云阴影和非云区域时k＝3，x_i为输入图像像素观测向量X＝{x₁,x₂,x₃…x_m}中的元素，θ为模型参数，m为图像的像素数，1{·}为显性函数。

获得的损失值从输出层向隐藏层方向传播，直至传播到输入层，根据误差调整网络权重参数值，不断迭代上述过程，直至网络收敛。

采用精确率、召回率、准确率与调和均值来评定该方法的有效性，表达式如下所示：

精确率：

召回率：

准确率：

调和均值：

其中，CC是正确检测为云像元的个数，CN是云像元误检测为非云像元的个数，NC是非云像元误检测为云像元的个数，NN是正确检测为非云像元的个数。

同样用四个指标定量评价云与云阴影检测方法的有效性，即云阴影精确率(Precision')、云阴影召回率(Recall')、总准确率(Overall Accuracy')和云阴影调和均值(F_1score')。各评价指标定义如下：

其中，SS是正确检测为云阴影像元的个数，SN是云阴影像元误检测为非云阴影像元的个数，NS是非云阴影像元误检测为云阴影像元的个数，CS是正确检测为云与云阴影像元的个数，NN是正确检测为非云阴影像元的个数，OP为总像元个数。在计算云阴影像元的精度率与召回率时，把云像元识别为晴空像元；计算总准确率时是把云阴影像元识别为云像元。

在计算Overall Accuracy'时，先把图像转化为二值图像，高于某个值的像元转化为1，低于该值的像元转化为0，把云阴影像元识别为云像元；图5中的Overall Accuracy为每个类别被正确识别的像元与总像元的比值。

为了与本发明方法进行对比，对结合多尺度特征进行像素级云检测的深度卷积神经网络(DCN)改进为DDCN网络，结构如图4所示。考虑到计算机显存、计算速度以及便于对比等方面原因，将DCN方法中使用的最大通道数由4096改为256。

图4中，卷积层中的参数3×3×64，代表卷积核的大小为3、通道数为64；3×3×128(2)括号内的数值代表扩张卷积的扩张率；池化层参数3×3/2与反卷积层参数deconv1/2中的反斜杠后的数值代表步长。网络使用concat层进行多尺度特征融合，在融合六个分支不同特征时，除conv2_1外，分别使用步长为2、4、8、8和8的反卷积进行特征恢复，融合的多尺度特征输送入1×1输出为n(语义分割的种类)的卷积，再通过softmax函数计算每个像素类分布概率。除最后一个卷积层外，在每个卷积层之后都应用激活函数ReLU和批量归一化层(BN)。

训练迭代的次数与Overall Accuracy的关系如图5所示。由图5可知，分割网络中加入残差单元与ASPP可提高识别的准确率，验证了本发明所构建网络的合理性。

图6为采用K-means、CNN+SP、FCN2s、M-Net、DDCN和RM-Net等六种方法对Landsat8图像进行云检测结果的视觉比较。其中2幅Landsat8图像云的形态与下垫面各不相同，选取各自对应的子区域以达到更好的视觉对比。(a)中的原图包含薄云、厚云和部分碎云，半透明的薄云区域难以判别；(c)中的原图既有云也有雪，易产生混淆。

由图6可知，K-means网络可以有效识别厚云与薄云，但也把明亮的地物识别为云，如有雪/冰覆盖的下垫面；CNN+SP方法利用CNN与超像素聚类相结合，即利用超像素区域作为输入块，对每个块进行单输出，可以克服“盐和胡椒”噪声的干扰，但容易受到超像素分割的影响而产生初始误差，无法获得像素级的检测精度，易漏检过小的云；FCN2s方法的云检测结果很粗糙，在云边界上丢失了很多细节，云边界不够精细；M-Net方法云检测结果优于FCN2s方法，但对薄云分割结果较差；DDCN方法利用多尺度特征取得了较好的像素级分割结果，但在薄云和云边缘区域分割结果不理想。RM-Net方法可更好的提取云的特征，即使在复杂下垫面的情况下，仍能取得较好的云检测效果，云检测结果总体上更接近于标签图像。

图7为采用K-means、CNN+SP、FCN2s、M-Net、DDCN和RM-Net等六种方法对高分1号WFV图像检测结果，(a)中的原图含有大量半透明的薄云和厚云；(c)中的原图含有薄云、厚云和雪。由图7可知，云检测结果视觉对比类似于图6，RM-Net方法的云检测性能相对更好，云检测结果总体上更接近于标签图像，证明了所提方法的泛化性。

图8为本发明方法与DDCN方法，其最后一层卷积层输出为3，对Landsat8和高分一号WFV RGB图像云和云阴影检测视觉对比，第一行与第二行分别为Landsat8图像和高分一号WFV图像。由图8可知，两种云检测方法都能有效地检测到云及其阴影。与云阴影检测结果相比，云检测结果更加准确。

从表2中可知，K-means方法的四个定量评价指标相对最差，因为该方法易将高亮的地物误检为云，所以准确率较低。CNN+SP方法的精确率相对较低，会将部分非云误检为云。FCN2s方法和M-Net方法的召回率较低，存在少量云漏检情况。DDCN方法与RM-Net方法都取得了较好的检测性能，RM-Net方法在测量指标上要优于DDCN方法。

表2 16张测试图像的四个定量评价指标的平均值

由表3可知，云检测方法的定量评价与表2类似，RM-Met方法的综合性能相对更优。

表3六种方法对22张高分1号WFV图像云检测定量比较

从表4中可看出，本发明方法四个评价指标均高于DDCN方法，表明本发明方法可同时对云和云阴影进行有效的检测。

表4两种遥感图像云与云阴影检测定量评价指标平均值

另外，本发明还提供一种基于改进M-Net的RGB彩色遥感图像云检测系统，包括：

图像预处理模块，用于对实验图像进行预处理；

网络模型构建模块，包括：编码器、解码器、左路径和右路径，所述编码器包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端连接对应的所述卷积层B的输入端；

所述解码器与编码器对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与q个级联的步长为1的卷积层C，所述右路径包括步长为2的m个右反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行特征融合，将得到的最终特征值送入SoftmaxWithLoss层进行分类；

网络模型训练模块，用于设置实验参数，对所述语义分割网络模型进行训练，直至网络收敛。

在其中一个实施例中，所述图像预处理模块，包括：

图像增强单元，用于对训练集与验证集中的图像进行翻转、饱和度调整、亮度调整、颜色调整和加噪；

像素调整单元，用于调整图像的像素，将训练集、验证集和测试集中的图像减去训练集图像在RGB三个维度的均值；

图像分类单元，用于对标签图像进行分类，即将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练集和验证集对应的掩模图像。

在其中一个实施例中，所述编码器中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出端与所述卷积层B的输入端相连，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出端与所述反卷积层组的输入端连接。

在其中一个实施例中，所述解码器中，每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

在其中一个实施例中，所述编码器中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于改进M-Net的RGB彩色遥感图像云检测方法，其特征在于，包括：

(1)对图像进行预处理；

(2)构建语义分割网络模型，包括：编码路径、解码路径、左路径和右路径，所述编码路径包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端与对应的所述卷积层B进行特征融合；

所述解码路径与编码路径对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与2个级联的步长为1的卷积层C，所述右路径包括步长为2的m个反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行特征融合再反卷积，将得到的最终特征值送入SoftmaxWithLoss层进行分类；

(3)设置实验参数，对所述语义分割网络模型进行训练，直至网络收敛；

所述编码路径中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出端作为所述卷积层B的输入端，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出端作为所述反卷积层组的输入端；

所述解码路径中，每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

2.根据权利要求1所述的基于改进M-Net的RGB彩色遥感图像云检测方法，其特征在于，所述步骤(1)中，对图像进行预处理包括：

(11)对训练集与验证集中的图像进行翻转、饱和度调整、亮度调整、颜色调整和加噪；

(12)调整图像的像素，即用训练集、验证集和测试集中的图像减去训练集图像在RGB三个维度的均值；

(13)对标签图像进行灰度值固定，即将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练集和验证集对应的掩模图像。

3.根据权利要求1所述的基于改进M-Net的RGB彩色遥感图像云检测方法，其特征在于，所述编码路径中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。

4.一种根据权利要求1-3任一项所述的基于改进M-Net的RGB彩色遥感图像云检测方法实现的检测系统，其特征在于，包括：

图像预处理模块，用于对实验图像进行预处理；

网络模型构建模块，包括：编码器、解码器、左路径和右路径，所述编码器包括重复m次的卷积层组和其输出端相连的步长为1的p个扩张卷积层，分别记为{dc₁,dc₂,...,dc_p}，所述卷积层组包括若干个级联的步长为1的卷积层A与1层步长为2的卷积层B，所述左路径包括步长为2的m个左卷积层，分别记为{ld₁,ld₂,...,ld_i,...,ld_m}，所述左卷积层ld_i的输出端连接对应的所述卷积层B的输入端；

所述解码器与编码器对应的特征通道相连接，包括重复m次的反卷积层组，记为{cdg₁,cdg₂,...,cdg_i,...,cdg_m}，每个反卷积层组均包括一个步长为2的反卷积层与q个级联的步长为1的卷积层C，所述右路径包括步长为2的m个右反卷积层，分别记为{rd₁,rd₂,...,rd_i,...,rd_m}，右反卷积层rd_i与其对应的所述反卷积层组cdg_i的输出端进行反卷积，将得到的待检测图像的最终特征值送入SoftmaxWithLoss层进行分类；

网络模型训练模块，用于设置实验参数，对所述语义分割网络模型进行训练，直至网络收敛；

所述编码器中，若干个卷积层A级联后与残差相结合的第一残差单元，所述第一残差单元的输出端作为所述卷积层B的输入端，p个扩张卷积层{dc₁,dc₂,...,dc_p}级联后与残差相结合的第二残差单元，所述第二残差单元的输出端作为所述反卷积层组的输入端；

所述解码器中，每个反卷积层组cdg_i与残差相结合的第三残差单元，并将第三残差单元的输出端与右反卷积层rd_i相连。

5.根据权利要求4所述的一种基于改进M-Net的RGB彩色遥感图像云检测系统，其特征在于，所述图像预处理模块，包括：

图像增强单元，用于对训练集与验证集中的图像进行翻转、饱和度调整、亮度调整、颜色调整和加噪；

像素调整单元，用于调整图像的像素，将训练集、验证集和测试集中的图像减去训练集图像在RGB三个维度的均值；

图像分类单元，用于对标签图像进行分类，即将每个像素点是“云”、“云阴影”还是“非云”分别用2、1和0表示，形成与训练集和验证集对应的掩模图像。

6.根据权利要求4所述的基于改进M-Net的RGB彩色遥感图像云检测系统，其特征在于，所述编码器中，p个扩张卷积层{dc₁,dc₂,...,dc_p}对应的扩张率依次递增。

Images