CN109191426A - 一种平面图像显著性检测方法 - Google Patents

Abstract

本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。其包括以下步骤：S1：构件网络模型；S2：训练网络模型，得到训练后的网络模型；S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；在步骤S1中网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层；扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层。

Description

一种平面图像显著性检测方法

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，具体为一种平面图像显著性检测方法。

背景技术

显著性检测作为图像处理的一个预处理过程，被广泛应用于图像质量评价、目标跟踪、目标检测、图像分割等领域。例如：显著性检测在图像质量评价中的应用主要有两个方面，在特征提取阶段，计算出待评价图像的显著性区域，作为待评价图像的一个特征；在特征融合阶段，将显著图中像素的值作为各特征图融合的权值；显著性检测方法通常被分为两类：自上而下和自底向上，由于自底向上的方法不需要人工注释作为先验知识，所以目前的研究都集中在自底向上的方法上；现有研究中，用于显著性检测的方法很多，如：Frequency-tuned salient region detection （以下简称FT）、Saliency detection viagraph-based manifold ranking （以下简称GMR）、Hierarchical saliency detection（以下简称HS），然而这些算法在具体应用中，当显著性物体出现在图像边缘、或者当显著物体和部分背景信息相似时，容易丢失目标信息，会出现准确性不够的问题。

发明内容

为了解决显著性检测方法中输出的显著图准确性不够的问题，本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。

本发明的技术方案是这样的：一种平面图像显著性检测方法，其包括以下步骤：

S1：构件网络模型；

S2：训练所述网络模型，得到训练后的网络模型；

S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；

其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；

所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；

所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；

所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；

所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；

所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；

每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；

所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。

其进一步特征在于：

所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3；

所述池化层为2×2的步长为2的最大池化操作；

所述激活函数为Leaky Rectified Linear Units函数，计算公式为：

a为常数；

所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1]；

在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclideanloss进行显著性回归分析。

本发明提供的技术方案中的网络模型，本网络模型中由收缩路径和扩张路径组成，收缩路径用于获取上下文信息，扩张路径用于精确的定位，且两条路径相互对称，形成U形；在本方法中使用反卷积层生成显著图，对特征图进行反卷积操作，再对显著图进行裁剪和归一化操作，则得到最终输出的是人眼感兴趣的物体，使本网络模型更适用于显著性测检测方法；因为池化操作会丢失图像信息和降低图像分辨率且是不可逆的操作，影响特征图的最终精确度，右半部分在做卷积操作之前，将左半部分同级的池化操作输出的分辨率比较高的特征图与上采样操作之后输出特征图相连接起来，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，用以得到更准确的显著图。

附图说明

图1为本发明的网络模型结构示意图。

具体实施方式

本发明包括的技术方案包括以下步骤：

S1：构件网络模型；

S2：使用THUS数据集训练网络模型，得到训练后的网络模型；

S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；

如图1所示，S1中的网络模型是基于Convolutional Networks for Biomedical ImageSegmentation（以下简称U-Net）网络模型而设计的，其结构包括一个左侧的收缩路径和一个右侧的扩张路径；本网络模型属于端到端的网络，输入是一幅图像，输出也是一幅图像。

在本网络图形中，收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层，每个卷积层后都跟着一个激活函数；收缩路径中的卷积操作的卷积核设置为3×3；池化操作为2×2的步长为2的最大池化操作。

激活函数为Leaky Rectified Linear Units(以下简称L-ReLU)函数，计算公式为：

在L-ReLU函数中，当输入x>0输出为x，当x<0时输出为a*x ，a为常数，本实施例中取0.1；原U-net网络中的激活函数采用Rectified Linear Unit（以下简称ReLU）函数，ReLU函数对大梯度激活后将不再更新，L-ReLU可以解决这个问题，使得轴心点周围的值得以保留，激活函数L-ReLU可以大大提高训练速度，并且可以减小过拟合的可能，使得本发明的性能更好。

池化层、卷积层的个数在构件网络之前根据实际情况进行设置，如图1所示的本实施例中设置4个池化层，以及对应的4个上采样层。

扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层，每个卷积层后都跟着一个激活函数；

收缩路径中最后一个池化层的池化操作完成后，再输入两个卷积层，进行两次连续的卷积操作，然后把得到的特征图输入进扩张路径的第一个上采样层进行上采样操作；

扩张路径中的上采样层的个数与收缩路径中的池化层的个数相同；

扩张路径中的卷积层的个数与收缩路径中的卷积层的个数相同；

每次上采样层中的上采样操作之后输出的特征图，与同级的收缩路径中的池化层输出的特征图连接，然后再输入扩张路径中后续的卷积层进行卷积操作；收缩路径中池化层输出的分别率比较高的特征图经过复制和裁剪（Copy and Crop）之后，与上采样操作之后输出的特征图结合，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，得到定位更准确的特征图；

由于本方法提供的技术方案的目标是从图像中找到人眼感兴趣的物体，因此将原始U-Net网络的最后一个卷积层改为反卷积层，即输出层之前是一个反卷积层，反卷积层将前一个卷积层输出的特征图进行反卷积操作，再进行裁剪、使用Sigmoid函数将显著图归一化到[0,1]后，通过输出层输出所需的显著图；

反卷积层之前的两个卷积层的卷积核的尺寸设置为1×1，其余卷积层的卷积核的尺寸全部设置为3×3；

通过上述的上采样操作和反卷积操作，特征图的尺寸被还原，使其与原始被检测图像的尺寸相同，使输出图像与原始图像更接近，确认起来更加直观。

在步骤S2中，训练网络模型过程中采用THUS数据集训练模型，对通过输出层输出的显著图，使用函数Euclidean loss进行显著性回归分析，从数据中学习显著性。

为了测试本发明的技术方案的效果，通过两个公共数据集ASD和ECSSD，以及两种评测指标来进行评估：

(1)Area Under roc Curve (以下简称AUC)，评估显著物体检测性能；

(2)Mean absolute error(以下简称MAE)，表示模型输出的显著图与基准图像（Ground-truth） 之间的平均绝对误差；

AUC和MAE的值在0-1的范围之内，AUC值越接近1，说明性能越好，MAE值越接近0，说明显著性越好。最终测试结果显示在表1，从表中可以看出，跟传统的几个方法相比，本发明提出的方法在ASD和ECSSD数据集上，性能和显著性目标都非常好，具有与基准图像（Ground-truth）更高的相似度。

表1 是各个模型在ASD和ECSSD数据集上的性能指标。

使用本发明的技术方案后，能够利用较少的图像端对端进行训练，与其他的神经网络模型相比，在本发明的网络模型中扩张路径中的池化操作被上采样操作替代，增加了特征图的分辨率，将收缩路径的高分辨率特征图与上采样操作输出的特征图结合，基于结合后的图像信息，之后的连续的卷积操可以聚集更精准的输出；通过评估的结果可以知道，跟传统的几个方法相比，本发明提出的方法具有与基准图像（Ground-truth）更高的相似度。

Claims (6)

1.一种平面图像显著性检测方法，其包括以下步骤：

S1：构件网络模型；

S2：训练所述网络模型，得到训练后的网络模型；

S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；

其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；

所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；

所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；

所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；

所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；

所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；

每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；

所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。

2.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3。

3.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述池化层为2×2的步长为2的最大池化操作。

4.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述激活函数为Leaky Rectified Linear Units函数，计算公式为：

a为常数。

5.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1] 。

6.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclidean loss进行显著性回归分析。