CN114241285B - 一种基于知识蒸馏和半监督学习的船舶快速检测方法 - Google Patents

Abstract

本发明公开了一种基于知识蒸馏和半监督学习的船舶快速检测方法，包括：1)利用已有船舶数据与需要部署的海域采集到的船舶数据构建船舶数据集，并对数据集中的部分数据进行船舶目标的标注，根据先验框滑动生成训练样本并进行数据增强；2)构建教师网络，先利用标注样本进行预训练，接着联合无标注样本进行半监督训练以实现船舶检测；3)构建轻量级学生网络，利用已训练好的教师网络指导学生网络对标注样本与无标注样本实现知识蒸馏；4)将训练好的学生网络模型转化为ONNX格式，采用OpenVINO进一步优化和部署学生网络，实现快速的船舶检测。本发明将精度高容量大的教师网络所学习到的知识迁移到轻量级学生网络中，在保证检测精度同时，实现快速的船舶检测。

Description

一种基于知识蒸馏和半监督学习的船舶快速检测方法

技术领域

本发明涉及船舶检测的技术领域，尤其是指一种基于知识蒸馏和半监督学习的船舶快速检测方法。

背景技术

当前，海上经济蓬勃发展，对海上环境的实时监控有助于及时发现堵塞、走私等事件，提高管理水平。然而，大量的监控图像数据难以有效地通过人工方式进行处理，因此，实现快速的船舶检测能够实时地对未知目标进行预警、提高船舶的信息分类，构建信息化的船舶管理系统，具有重要的理论意义与应用价值。

船舶检测的目的是获取输入图像中船舶的位置和类别。目前，船舶检测方法主要有两大类：基于背景建模的船舶检测方法和基于深度学习的船舶检测方法。基于背景建模的船舶检测方法主要是通过对背景进行建模，接着利用背景相减快速地提取前景目标。然而，这类方法容易把静止船舶误判别为背景，而在动态变化的海上场景中会产生大量假阳性目标。此外，这类方法缺少对检测到的目标进一步的类别判别。基于深度学习的船舶检测方法主要利用神经网络提取目标特征，并对目标进行细粒度分类和位置的优化。然而，这类方法由于参数量大，在数据集规模小的情况下，容易陷入过拟合风险。而且大量的参数使检测模型需要依赖显卡等专用设备进行加速运行，难以在一般的设备中实现实时的船舶检测。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于知识蒸馏和半监督学习的船舶快速检测方法，联合标注样本与无标注样本，通过半监督学习的方式训练高检测精度的教师网络，接着通过知识蒸馏训练一个轻量级的学生网络且保持较高的检测精度，对图像中提取的目标候选区域实现对海上船舶的快速检测。

为实现上述目的，本发明所提供的技术方案为：一种基于知识蒸馏和半监督学习的船舶快速检测方法，包括以下步骤：

1)利用已有船舶数据与部署海域采集到的船舶数据构建船舶数据集，并对数据集中的部分数据进行船舶目标的标注，根据先验框滑动生成训练样本并进行数据增强，其中，训练样本包括标注样本和无标注样本；

2)构建教师网络，先利用标注样本进行预训练，接着联合无标注样本进行半监督训练以实现船舶检测；

3)构建轻量级学生网络，利用已训练好的教师网络指导学生网络对标注样本与无标注样本实现知识蒸馏；

4)将训练好的学生网络转化为ONNX格式，采用OpenVINO进一步优化和部署学生网络，最后通过优化后的学生网络实现快速的船舶检测。

进一步，所述步骤1)包括以下步骤：

1.1)获取已有的船舶数据和采集需要部署的海域中的数据，构建船舶数据集，并对部分数据进行船舶目标的标注，形成标注数据与无标注数据，通过聚类计算标注数据中的船舶目标获取多尺度先验框；

1.2)根据多尺度先验框滑动生成作为训练样本的多尺度船舶样本，具体操作是：在标注数据中滑动生成标注样本，根据其样本与标注框的交并比分为正样本和负样本，其中，正样本包括多类别的船舶目标并记录其类别标签与位置回归标签，负样本为背景样本，在无标注数据中滑动生成无标注样本；

1.3)对训练样本进行数据增强，包括水平翻转、色彩抖动、光线变化和随机裁剪。

进一步，在步骤2)中，构建教师网络并进行训练，包括以下步骤：

2.1)搭建模型容量大的教师网络作为船舶判别器，并利用标注样本对该网络进行预训练；

2.2)构建教师网络的半监督目标函数

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_t为教师网络的可训练参数，为监督损失，/>为一致性正则项，λ₁表示惩罚系数。

监督损失包括类别损失和回归损失，其中类别损失采用交叉熵函数计算，回归损失采用smooth-L1函数计算；一致性正则项的目的是使同一样本的不同数据增强样本具有类别一致性，提高目标特征的类内聚集度，其数学形式如下：

式中，N表示数据增强的次数，f_c表示交叉熵函数，f_t表示教师网络的样本预测函数，d⁽⁰⁾表示原始样本，d⁽ⁱ⁾表示原始样本的第i次数据增强样本。

进一步，所述步骤3)包括以下步骤：

3.1)搭建参数量少的学生网络作为轻量级船舶判别器；

3.2)构建学生网络的知识蒸馏目标函数

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_s为学生网络的可训练参数，为监督损失，/>为知识蒸馏正则项，λ₂表示惩罚系数；

监督损失包括类别损失和回归损失，其中类别损失采用交叉熵函数计算，回归损失采用smooth-L1函数计算；知识蒸馏正则项的目的是使教师网络学习到的知识迁移到学生网络中，使学生网络能够与教师网络具有一致性的预测，其数学形式如下：

其中，f_c表示交叉熵函数，f_l表示smooth-L1函数，f_s表示学生网络的样本预测函数，f_t表示教师网络的样本预测函数，f_T表示锐化函数，T表示锐化系数，锐化函数数学形式如下式所示：

其中，p表示一维输入向量，表示p的第j个分量的/>次幂。

进一步，所述步骤4)包括以下步骤：

4.1)将训练好的学生网络转化为ONNX格式，利用OpenVINO进一步优化学生网络并部署；

4.2)将输入图像切割为4块不重叠的区域，并通过优化后的学生网络循环地对这4块区域进行监控，以进一步提高船舶检测的速度。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用知识蒸馏和半监督学习相结合的技术方案，方案通过一致性正则项和知识蒸馏正则项将教师网络学习到的知识迁移到轻量级的学生网络中，解决了全监督学习方法中标注成本高，模型参数量大的技术问题，达到了保证检测精度的同时提高检测速度的技术效果。

2、本发明利用多尺度先验框生成候选区域，使船舶检测问题转化为分类与回归的问题，有助于降低计算复杂度并采用轻量级网络模型来部署实际场景。

3、本发明将训练好的网络模型转化为ONNX格式，可使网络模型在不同的框架中被重复调用，并采用OpenVINO对网络模型进行部署与推理，有助于在CPU上进一步加速船舶检测。

附图说明

图1为本发明方法的流程图。

图2为生成的正样本示意图。

图3为教师网络与学生网络分类精度曲线图。

图4为本发明方法实现的船舶检测结果图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例的实验平台为Python3.6，Pytorch1.7.1，计算机配置：CPU型号为Intel(R)Core(TM)i9-10900X，内存32GB，显卡型号为NVIDIA Quadro M6000。

如图1所示，本实施例所提供的基于知识蒸馏和半监督学习的船舶快速检测方法，大致分为四个阶段：第一阶段为数据集的构建与预处理，主要是船舶数据集的构建，船舶先验框的计算、训练样本的生成和数据增强；第二阶段为教师网络的构建与训练，主要是构建模型容量大的教师网络，进行预训练与半监督训练；第三阶段为学生网络的构建与训练，主要是构建轻量级的学生网络，利用知识蒸馏将教师网络的知识迁移到学生网络；第四阶段为模型的优化与部署，主要是将训练好的学生网络转为ONNX格式，并利用OpenVINO进行部署。其具体步骤如下：

1)利用已有船舶数据与部署海域采集到的船舶数据构建船舶数据集，并对数据集中的部分数据进行船舶目标的标注，根据先验框滑动生成训练样本(包括标注样本和无标注样本)并进行数据增强，其包括以下步骤：

1.1)数据集的构建与处理：采集A海域中的数据和利用Sea maritime dataset公开数据集，根据摄像头数据格式将所有图像裁剪为576×704大小的图片，构建船舶数据集。对A海域中的部分数据进行船舶目标的标注，形成标注数据与无标注数据。通过对标注数据中的船舶目标框进行聚类计算，获得船舶目标的多尺度先验框主要有5种：(24，32)，(39，69)，(68，141)，(139，297)，(302，689)，其中，每种先验框以(高，宽)表示。

1.2)训练样本生成：根据多尺度先验框在船舶数据集的图像中滑动生成作为训练样本的多尺度船舶样本。在标注数据中根据多尺度先验框滑动生成的标注样本，根据其样本框与标注框的交并比值区分正负样本，交并比值大于0.4的为正样本，交并比值小于0.2的为负样本。其中，正样本包括多类别的船舶目标并记录其类别标签与位置回归标签，负样本则为背景样本。在无标注数据中根据多尺度先验框滑动生成无标注样本，将这些无标注样本保存在同一文件夹。如图2所示，正样本标注信息由样本名、类别标签、位置回归向量组成t。位置回归向量的计算方式如下：

式中，g_x,g_y,g_w和g_h分别为正样本对应的目标标注框的中心横坐标，中心纵坐标，宽和长，a_x,a_y,a_w和a_h分别为正样本滑动框的中心横坐标，中心纵坐标，宽和长。

1.3)数据增强：对生成的训练样本进行数据增强，包括水平翻转、色彩抖动、光线变化和随机裁剪，以提高训练样本的多样性；

2)构建教师网络，通过预训练和半监督训练实现高精度船舶检测，包括以下步骤：

2.1)预训练：搭建基于Resnet110的教师网络作为船舶判别器，先利用大规模的分类任务数据集对该教师网络进行分类训练，接着利用标注样本对该教师网络的分类与回归分支做进一步的训练。其中，所有的输入的训练样本都调整为32×32的尺寸。

2.2)构建教师网络的半监督目标函数并采用随机梯度下降法进行优化：

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_t为教师网络的可训练参数，为监督损失，/>为一致性正则项，λ₁表示惩罚系数。

监督损失包括类别损失和回归损失，其中类别损失采用交叉熵函数计算，回归损失则采用smooth-L1函数计算。一致性正则项的目的是使同一样本的不同数据增强样本具有类别一致性，提高目标特征的类内聚集度，其数学形式如下：

式中，N表示数据增强的次数，f_c表示交叉熵函数，f_t表示教师网络的样本预测函数，d⁽⁰⁾表示原始样本，d⁽ⁱ⁾表示原始样本的第i次数据增强样本。

3)构建轻量级学生网络，利用已训练好的教师网络指导学生网络对标注样本与无标注样本实现知识蒸馏，包括以下步骤：

3.1)搭建基于Resnet8的学生网络作为轻量级的船舶判别器。

3.2)构建学生网络的知识蒸馏目标函数并采用随机梯度下降法进行优化：

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_s为学生网络的可训练参数，为监督损失，/>为知识蒸馏正则项，λ₂表示惩罚系数。

监督损失包括类别损失和回归损失，其中类别损失采用交叉熵函数计算，回归损失采用smooth-L1函数计算。知识蒸馏正则项的目的是使教师网络学习到的知识迁移到学生网络中，使学生网络能够与教师网络具有一致性的预测，其数学形式如下：

其中，f_c表示交叉熵函数，f_l表示smooth-L1函数，f_s表示学生网络的样本预测函数，f_t表示教师网络的样本预测函数，f_T表示锐化函数，T表示锐化系数，锐化函数数学形式如下式所示：

其中，p表示一维输入向量，表示p的第j个分量的/>次幂。

图3为不同网络结构的教师网络与基于Resnet8的学生网络的分类精度曲线。图中列举了Resnet110-Resnet8，Resnet56-Resnet8和Resnet8-Resnet8三种教师网络-学生网络组合在不同的训练轮次中进行知识蒸馏的情况。其中，Resnet8-Resnet8表示教师网络与学生网络都是基于Resnet8的网络结构，它作为实验中的基准。可以看出，Resnet110和Resnet56作为教师网络都能使其对应的学生网络的性能提高。由于Resnet110和Resnet56的性能相近，其对应的学生网络的性能也是相近的。

4)将训练好的学生网络转化为ONNX格式，采用OpenVINO进一步优化和部署学生网络，最后通过优化后的学生网络实现快速的船舶检测，其包括如下步骤：

4.1)格式转换与模型部署：将训练好的学生网络转化为ONNX格式，利用OpenVINO的工具包将ONNX格式的模型参数的精度转化为浮点数精度16，进行部署与推理，进一步加快船舶检测的速度。船舶检测的模型大小与计算速度如表1所示。

表1船舶检测的模型大小与计算速度对比

4.2)区域分块：在远距离的监控中，船舶在1秒钟时间内在图像中的位置变化很小。为了减少计算冗余量，对输入的图像切割为4块不重叠的区域，并通过优化后的学生网络循环地对这4块区域进行船舶检测处理，以进一步提高船舶检测的速度，检测结果请参见图4。在推理过程中，每张576×704的图片通过滑动窗生成有效的候选框数为2334个，通过表1数据可以得到，完成所有区域所需时间为2334/1000*74.7＝174.3ms，完成一个区域则只需174.3/4＝43.6ms，满足实时的船舶检测性能。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于知识蒸馏和半监督学习的船舶快速检测方法，其特征在于，包括以下步骤：

1)利用已有船舶数据与部署海域采集到的船舶数据构建船舶数据集，并对数据集中的部分数据进行船舶目标的标注，根据先验框滑动生成训练样本并进行数据增强，其中，训练样本包括标注样本和无标注样本；

2)构建教师网络，先利用标注样本进行预训练，接着联合无标注样本进行半监督训练以实现船舶检测；

构建教师网络并进行训练，包括以下步骤：

2.1)搭建模型容量大的教师网络作为船舶判别器，并利用标注样本对该网络进行预训练；

2.2)构建教师网络的半监督目标函数

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_t为教师网络的可训练参数，为监督损失，/>为一致性正则项，λ₁表示惩罚系数；

一致性正则项的目的是使同一样本的不同数据增强样本具有类别一致性，提高目标特征的类内聚集度，其数学形式如下：

式中，N表示数据增强的次数，f_c表示交叉熵函数，f_t表示教师网络的样本预测函数，d⁽⁰⁾表示原始样本，d⁽ⁱ⁾表示原始样本的第i次数据增强样本；

3)构建轻量级学生网络，利用已训练好的教师网络指导学生网络对标注样本与无标注样本实现知识蒸馏，包括以下步骤：

3.1)搭建参数量少的学生网络作为轻量级船舶判别器；

3.2)构建学生网络的知识蒸馏目标函数

式中，D_L表示标注样本集合，D_U表示无标注样本集合，|D_L|表示标注样本数量，|D_U|表示无标注样本数量，d表示集合中的一个样本，θ_s为学生网络的可训练参数，为监督损失，/>为知识蒸馏正则项，λ₂表示惩罚系数；

监督损失包括类别损失和回归损失，其中类别损失采用交叉熵函数计算，回归损失采用smooth-L1函数计算；知识蒸馏正则项的目的是使教师网络学习到的知识迁移到学生网络中，使学生网络能够与教师网络具有一致性的预测，其数学形式如下：

其中，f_c表示交叉熵函数，f_l表示smooth-L1函数，f_s表示学生网络的样本预测函数，f_t表示教师网络的样本预测函数，f_T表示锐化函数，T表示锐化系数，锐化函数数学形式如下式所示：

其中，p表示一维输入向量，表示p的第j个分量的/>次幂；

4)将训练好的学生网络转化为ONNX格式，采用OpenVINO进一步优化和部署学生网络，最后通过优化后的学生网络实现快速的船舶检测。

2.根据权利要求1所述的一种基于知识蒸馏和半监督学习的船舶快速检测方法，其特征在于，所述步骤1)包括以下步骤：

1.1)获取已有的船舶数据和采集需要部署的海域中的数据，构建船舶数据集，并对部分数据进行船舶目标的标注，形成标注数据与无标注数据，通过聚类计算标注数据中的船舶目标获取多尺度先验框；

1.2)根据多尺度先验框滑动生成作为训练样本的多尺度船舶样本，具体操作是：在标注数据中滑动生成标注样本，根据其样本与标注框的交并比分为正样本和负样本，其中，正样本包括多类别的船舶目标并记录其类别标签与位置回归标签，负样本为背景样本，在无标注数据中滑动生成无标注样本；

1.3)对训练样本进行数据增强，包括水平翻转、色彩抖动、光线变化和随机裁剪。

3.根据权利要求1所述的一种基于知识蒸馏和半监督学习的船舶快速检测方法，其特征在于，所述步骤4)包括以下步骤：

4.1)将训练好的学生网络转化为ONNX格式，利用OpenVINO进一步优化学生网络并部署；

4.2)将输入图像切割为4块不重叠的区域，并通过优化后的学生网络循环地对这4块区域进行监控，以进一步提高船舶检测的速度。