CN113569667B - 基于轻量级神经网络模型的内河船舶目标识别方法及系统 - Google Patents
基于轻量级神经网络模型的内河船舶目标识别方法及系统 Download PDFInfo
- Publication number
- CN113569667B CN113569667B CN202110775903.7A CN202110775903A CN113569667B CN 113569667 B CN113569667 B CN 113569667B CN 202110775903 A CN202110775903 A CN 202110775903A CN 113569667 B CN113569667 B CN 113569667B
- Authority
- CN
- China
- Prior art keywords
- inland
- training
- neural network
- ship
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003062 neural network model Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 238000009499 grossing Methods 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 7
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 101001138030 Homo sapiens Protein Largen Proteins 0.000 abstract description 2
- 102100020860 Protein Largen Human genes 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于轻量级神经网络模型的内河船舶目标识别方法及系统，其中方法包括以下步骤：S1.构建轻量级神经网络模型，在特征提取网络部分，压缩MobileNetv3Large网络得到特征提取网络；在算法预测结构上，利用特征金字塔结构进行多卷积层特征融合；并利用融合距离度量指标的损失函数进行损失计算；S2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集，划分训练集和测试集；S3、对构建的轻量级神经网络模型进行训练；S4、利用训练好的模型对内河船舶目标进行识别。本发明有效提高了内河船舶图像目标识别精度，降低了船舶识别对硬件设备计算性能的依赖，有效提高了内河环境船舶视频监控信息的处理能力。
Description
技术领域
本发明涉及的是图像识别技术领域，具体是一种基于轻量级神经网络模型的内河船舶目标识别方法及系统。
背景技术
随着内河航运业务的飞速发展，内河航道交通量迅速增加，通航环境日益复杂，利用航道视频监控系统对船舶目标进行识别，是船舶安全监测和危险预警的重要基础。目前，内河视频监控信息的分析及处理需要大量人工完成，人为因素的影响容易导致信息处理失误和不及时的问题。通过部署内河船舶识别模型，可以实时定位及分类船舶目标，为船舶通航监管及危险行为预警提供数据支撑。
传统的目标识别算法基于数学建模思想进行设计，通过提取图像中船舶轮廓特征进行目标识别。由于船舶轮廓信息容易受到图像背景干扰，因此传统目标识别算法对复杂环境下船舶分类及定位能力较弱，同时小尺度船舶图像目标特征信息较少，传统识别算法对此类船舶的识别精度较低。针对上述问题，很多学者提出了基于深度卷积神经网络的目标识别算法，此类算法通过深层网络提取船舶图像特征，实现了多尺度船舶图像目标的精确分类及定位。但基于深度卷积神经网络的算法需要借助大量船舶图像数据进行训练，在训练过程中将产生大量网络参数。同时，船舶识别模型需要借助高性能图像处理器才能达到船舶实时识别和精确识别要求。而内河船舶监控设备属于典型的嵌入式设备，计算能力较弱，无法运行计算消耗量和模型参数量较大的识别模型。
发明内容
本发明主要目的在于提供一种无需人为提取特征即可实现船舶特征的快速获取和船舶目标的精确分类及定位的基于轻量级神经网络的内河船舶识别方法及系统。
本发明所采用的技术方案是：
提供一种基于轻量级神经网络模型的内河船舶目标识别方法，包括以下步骤：
S1.构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
S2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
S3、通过训练集和测试集对构建的轻量级神经网络模型进行训练；
S4、利用训练好的模型对内河船舶目标进行识别。
接上述技术方案，在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免过拟合。
接上述技术方案，所述融合距离度量指标的损失函数为利用目标预测框与真实框的交并比和两框中心点距离度量指标，构建MIoU损失指标函数，具体为：
其中，|P∩G|为目标预测框与真实框的交集面积，|P∪G|为两框并集面积，LMIoU为MIoU损失函数，d1为两框中心点距离，d2为两框最小闭包区域的对角线距离，b、bgt分别为预测框和真实框的中心点，(x1,y1)、(x2,y2)分别为预测框和真实框的中心点坐标。
接上述技术方案，所述标签平滑方法具体计算过程如下：
其中，Pi表示调整后的预测概率，K表示待分类的类别总数，ε表示设置的超参数，i表示目标预测值，y表示目标真实值。
接上述技术方案，所述特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，构建3个目标预测通道，提高对多尺度图像目标的识别能力。
接上述技术方案，模型训练过程具体为：应用迁移学习方法进行模型训练；同时，在模型训练过程中，每次迭代均计算模型损失值，当模型损失值在一定次数训练迭代的差值小于中断阈值时，模型训练结束。
接上述技术方案，所述迁移学习方法为：在模型训练初期，只开启S-MobileNet网络最后的全连接层，冻结Bneck模块的卷积层，进行模型预训练，并将预训练后的参数保存；预训练结束后，开启S-MobileNet网络全部卷积模块，进行全卷积层运算。
接上述技术方案，训练集和测试集两部分的图像数量比例为8:2。
接上述技术方案，在模型训练过程中，随机对三张或四张图像进行包括裁剪、平移、缩放的操作，并对图像色彩饱和度、亮度及对比度进行调整，按规定顺序摆放好所选图片，将处理后的图片组合成一张图片后，再进行训练。
本发明还提供一种基于轻量级神经网络模型的内河船舶目标识别系统，包括：
轻量级神经网络模型构建模块，用于构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
数据集处理模块，用于对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
训练模块，用于通过训练集和测试集对构建的轻量级神经网络模型进行训练；
识别模块，用于利用训练好的模型对内河船舶目标进行识别。
本发明产生的有益效果是：本发明通过将MobileNetv3Large网络中权重较小的第5、第9个Bneck模块删除，并对压缩后的网络的第6、第9、第13个Bneck模块进行多卷积层特征融合，从而构建新的轻量级神经网络模型，利用该新的网络模型实现了多尺度内河船舶图像目标的精确识别，减少了船舶识别及定位中人为因素的影响，降低了船舶目标识别对硬件设备计算能力的依赖，有效提高内河环境船舶视频监控信息的处理能力。
进一步地，通过将特征金字塔结构过与特征提取网络卷积层信息进行横向连接，构建3个目标预测通道，提高对多尺度图像目标的识别能力。
进一步地，在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免模型出现过拟合现象。
进一步地，在模型训练过程中，通过对图像进行裁剪、平移、缩放等操作，并对图像色彩饱和度、亮度及对比度等进行调整，最后进行拼接，有效提高了小型船舶数据集图像信息利用率，增强了数据集的多样性，保证了轻量级船舶识别算法训练效果。
进一步地，利用MIoU损失函数，通过融入预测框与真实框的中心点归一化距离，提高了目标预测框向真实框的回归速度。当预测框与真实框不相交时，距离指标将加快两框产生重叠的速度；当预测框与真实框相交时，在两框交并比与距离度量指标的共同作用下，预测框边界将加快缩小与真实框边界的差值。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例基于轻量级神经网络模型的内河船舶目标识别方法的流程图；
图2(a)是本发明实施例三张图像拼接示意图；
图2(b)是本发明实施例四张图像拼接示意图；
图3是本发明实施例构建S-MobileNet网络的具体过程示意图；
图4是本发明实施例模型训练过程中两类损失收敛曲线示意图；
图5(a)是本发明实施例大尺度船舶识别示意图；
图5(b)是本发明实施例小尺度船舶识别示意图；
图5(c)是本发明实施例船舶部分遮挡示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例基于轻量级神经网络模型的内河船舶目标识别方法，包括以下步骤：
S1.构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
S2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
S3、通过训练集和测试集对构建的轻量级神经网络模型进行训练；
S4、利用训练好的模型对内河船舶目标进行识别。
本发明无需人为提取特征即可实现船舶特征的快速获取和船舶目标的精确分类及定位。本发明构建的模型具有训练时长短、参数量小、算力消耗低等特点，适合部署在计算能力弱的嵌入式设备中。
进一步地，本发明通过对内河船舶图像进行筛选整理，形成内河船舶图像数据集，利用随机划分的原则将数据集分为训练集和测试集。本发明实施例中，具体利用网络爬虫技术初步整理6000张内河船舶图像，考虑船舶图像数据的多样性和适应性，经过进一步筛选，形成由4000张图像组成的船舶数据集。再将内河船舶图像数据集随机划分为训练集和测试集两部分，两者的图像数量比例为8:2，即训练集由3200张图像组成，测试集由800张图像组成。
如图2(a)、图2(b)所示，为避免小样本数据集训练容易产生过拟合问题，在模型训练过程中，利用图像拼接数据增强方法对船舶图像进行随机翻转、缩放和色域变化等，增强船舶数据的多样性。具体地，在模型训练过程中，随机对三张或四张图像进行裁剪、平移、缩放等操作。同时，对图像色彩饱和度、亮度及对比度等进行调整，并按规定顺序摆放好所选图片，将处理后的图片组合成一张图片后，输入船舶识别算法进行训练。该方法有效提高了小型船舶数据集图像信息利用率，增强了数据集的多样性，保证了轻量级船舶识别算法训练效果。
构建轻量级神经网络模型时，在特征提取网络部分，基于MobileNetv3Large网络进行压缩，得到S-MobileNet网络；在算法预测结构上，利用特征金字塔结构实现多卷积层特征融合，提高小尺度船舶图像目标的识别能力；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；最后在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免模型出现过拟合现象。
标签平滑方法具体通过对交叉熵损失函数计算值进行修正，优化模型训练过程中的对部分错误标签的过度信任，更好地校准网络的各项参数，提高识别模型泛化能力。标签平滑方法具体计算过程如下：
其中，Pi表示调整后的预测概率，K表示待分类的类别总数，ε表示设置的超参数，i表示目标预测值，y表示目标真实值。由于模型预测更倾向于相信更高的预测框置信度，所以加入超参数0.5，用来减少标签平滑方法对置信度值的影响。如表1所示，基于相同内河船舶图像数据，当超参数设置为0.5时，船舶识别实验精度(mAP值)最高。
表1不同超参数实验结果
| 超参数数值 | 实验mAP值 |
| 1.0 | 0.9427 |
| 0.8 | 0.9502 |
| 0.6 | 0.9588 |
| 0.5 | 0.9637 |
| 0.4 | 0.9541 |
| 0.2 | 0.9523 |
如图3所示，S-MobileNet网络具体通过如下步骤得到：在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络，该网络由13个Bneck模块构成，相比原网络，进一步降低了模型参数量和计算量。
S-MobileNet特征提取网络通过前向卷积计算，具有自下而上的运算逻辑和深层的语义信息，可以有效提取船舶图像特征，提高船舶目标的分类及定位精度。该网络的输入为608×608分辨率大小的RGB三通道图像，网络各个Bneck模块卷积通道数、通道大小、卷积核大小如表2所示：
表2 Bneck模块介绍
| Bneck序号 | 卷积通道数 | 通道大小 | 卷积核大小 |
| 1 | 16 | 304×304 | 3×3 |
| 2 | 16 | 304×304 | 3×3 |
| 3 | 24 | 152×152 | 3×3 |
| 4 | 24 | 152×152 | 5×5 |
| 5 | 40 | 76×76 | 5×5 |
| 6 | 40 | 76×76 | 3×3 |
| 7 | 80 | 38×38 | 3×3 |
| 8 | 80 | 38×38 | 3×3 |
| 9 | 80 | 38×38 | 3×3 |
| 10 | 112 | 38×38 | 3×3 |
| 11 | 112 | 38×38 | 5×5 |
| 12 | 160 | 19×19 | 5×5 |
| 13 | 160 | 19×19 | 5×5 |
Bneck模块融合了深度可分离卷积、轻量级注意力模型以及具有线性瓶颈的逆残差结构，同时利用h-swish激活函数代替swish函数，减少计算量，提高特征提取能力。
特征金字塔结构是指：在本发明得到S-MobileNet网络后，利用特征金字塔设计算法的预测结构，将特征提取网络第6、第9、第13个Bneck模块进行卷积层的拼接(Concat)。同时，利用标准卷积(Conv2D)和上采样(UpSampling2D)完成不同大小特征图的融合及特征信息的输出。该预测结构具有自上而下的运算逻辑，通过与特征提取网络卷积层信息进行横向拼接，构建3个目标预测通道，分别进行不同尺度的船舶目标预测，提高对多尺度船舶图像目标的识别能力。
进一步地，融合距离度量指标的损失函数是指：利用目标预测框与真实框的交并比和两框中心点距离度量指标，构建MIoU损失指标，具体为：
其中，|P∩G|为目标预测框与真实框的交集面积，|P∪G|为两框并集面积，LMIoU为MIoU损失函数，d1为两框中心点距离，d2为两框最小闭包区域的对角线距离，b、bgt分别为预测框和真实框的中心点，(x1,y1)、(x2,y2)分别为预测框和真实框的中心点坐标。
本发明实施例中，基于轻量级神经网络的内河船舶识别模型训练过程，具体步骤如下：
S31、应用迁移学习方法进行内河船舶识别模型的训练；
S32、在模型训练过程中，每次迭代均计算模型损失值；
S33、当模型损失值在10次迭代中的差值小于中断阈值时，模型训练结束。
进一步地，迁移学习方法是指：在模型训练初期，只开启S-MobileNet网络最后的全连接层，冻结Bneck模块全部卷积层，进行模型预训练，并将训练后的参数进行更新；预训练结束后，开启S-MobileNet网络全部卷积模块，进行全卷积层训练。
本发明的基于轻量级神经网络模型的内河船舶目标识别系统主要用来实现上述方法实施例，该系统包括：
轻量级神经网络模型构建模块，用于构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
数据集处理模块，用于对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
训练模块，用于通过训练集和测试集对构建的轻量级神经网络模型进行训练；
识别模块，用于利用训练好的模型对内河船舶目标进行识别。
各个模块进一步的功能详见上述方法实施例，在此不一一赘述。
本发明通过设计面向内河环境的轻量级船舶目标识别模型，利用多特征融合结构、标签平滑以及迁移学习等技术，基于内河船舶图像数据集和数据增强方法，实现了多尺度内河船舶图像目标的精确识别，有效消除了背景信息干扰，并提高了船舶遮挡等不利情况下目标识别精度，减少了船舶识别及定位中人为因素的影响，降低了船舶目标识别对硬件设备计算能力的依赖，有效提高内河环境船舶视频监控信息的处理能力。
模型训练及验证实例：
上述实施例中，模型训练过程的各项参数具体设置为：在轻量级内河船舶识别算法训练中，算法动量(momentum)设置为0.9，首先在迁移学习阶段，批(batch size)设置为30，运行15轮迭代，初始学习率设置为10-3；在开启全部卷积层后，由于参数规模的增大，批设置为6，初始学习率设置为10-4，该阶段共进行90轮迭代。
上述实施例中，模型训练过程中两类损失收敛曲线如图4所示，其中loss收敛曲线基于训练集得出，val_loss收敛曲线基于验证集得出。在迁移学习阶段，学习率保持在10-3，两类损失收敛至30左右；在卷积层全部开启后，学习率为10-4时，两类损失收敛至7.4左右；当epoch＝56时，学习率降低至10-5，两类损失收敛至5.6左右；当epoch＝85时，学习率降低至10-6，两类损失最终收敛至3.8左右。从数据得出，模型两类损失相差很小，具有较强的抗过拟合能力。
为进一步验证本发明的有效性，本发明选取每类船舶的平均识别精度APi以及各类船舶平均精度的均值mAP进行定量评价，其计算公式为：
其中，tp为预测框分类正确且边界位置达标的数量；fp为预测框分类错误或边界位置不达标的数量；fn为没有被预测出来的真实框数量；Pr为准确率，即预测结果中为真实目标的比例；Re为召回率，即预测结果最多可以覆盖真实目标的比例；P(R)为每一类船舶对应的Pr-Re特征曲线；n为船舶类别数，本次实验中n＝5，分别为：矿砂船、集装箱船、货船、渔船及客船。
为更好地验证本发明的有效性，分别将YOLO2、YOLOv3、Tiny-YOLO3和YOLOv3-MobileNetv3Large算法(以下简称YOLOv3-ML算法)作对比实验，实验结果如表3：
表3不同测试结果对比
从表3数据可以看出，上述3种算法对集装箱船、矿砂船、货船具有良好的识别精度，这三类船舶相比其他类型船舶目标尺度大，方便进行图像特征提取。通过对比分析YOLOv2和YOLOv3的实验结果，可以发现Darknet-53网络对渔船、客船等小尺度船舶识别能力有很大提升；Tiny-YOLO3由于卷积层数量较少，其对船舶目标特征提取不完整，不具有深层语义信息，因此该算法实验结果较差；本发明提供的轻量级船舶目标识别模型可以有效识别渔船等小尺度目标，且模型参数量及算力消耗量只有YOLOv3的1/3左右。
基于轻量级神经网络的内河船舶识别模型实验结果如图所示，由图5(a)可以看出，本发明可以精确识别渔船、客轮等小尺度船舶，没有发生目标漏识或误识；由图5(b)可以看出，本发明对各类大尺度船舶目标具有良好的识别能力，并且有效排除了近岸背景的干扰；由图5(c)可以看出，本发明可以很好地识别船舶遮挡情况下的船舶图像目标，展现出很好的鲁棒性。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，包括以下步骤：
S1.构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
S2.对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
S3、通过训练集和测试集对构建的轻量级神经网络模型进行训练；
S4、利用训练好的模型对内河船舶目标进行识别。
2.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，在预测框损失值计算过程中，利用标签平滑方法进行预测框分类损失和位置损失的调整，避免过拟合。
3.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，所述融合距离度量指标的损失函数为利用目标预测框与真实框的交并比和两框中心点距离度量指标，构建MIoU损失指标函数，具体为：
其中，|P∩G|为目标预测框与真实框的交集面积，|P∪G|为两框并集面积，LMIoU为MIoU损失函数，d1为两框中心点距离，d2为两框最小闭包区域的对角线距离，b、bgt分别为预测框和真实框的中心点，(x1,y1)、(x2,y2)分别为预测框和真实框的中心点坐标。
4.根据权利要求2所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，所述标签平滑方法具体计算过程如下：
其中，Pi表示调整后的预测概率，K表示待分类的类别总数，ε表示设置的超参数，i表示目标预测值，y表示目标真实值。
5.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，所述特征金字塔结构具有自上而下的运算逻辑，具体通过与特征提取网络部分的卷积层信息进行横向连接，构建3个目标预测通道，提高对多尺度图像目标的识别能力。
6.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，模型训练过程具体为：应用迁移学习方法进行模型训练；同时，在模型训练过程中，每次迭代均计算模型损失值，当模型损失值在一定次数训练迭代的差值小于中断阈值时，模型训练结束。
7.根据权利要求6所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，所述迁移学习方法为：在模型训练初期，只开启S-MobileNet网络最后的全连接层，冻结Bneck模块的卷积层，进行模型预训练，并将预训练后的参数保存；预训练结束后，开启S-MobileNet网络全部卷积模块，进行全卷积层运算。
8.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，训练集和测试集两部分的图像数量比例为8:2。
9.根据权利要求1所述的基于轻量级神经网络模型的内河船舶目标识别方法，其特征在于，在模型训练过程中，随机对三张或四张图像进行包括裁剪、平移、缩放的操作，并对图像色彩饱和度、亮度及对比度进行调整，按规定顺序摆放好所选图片，将处理后的图片组合成一张图片后，再进行训练。
10.一种基于轻量级神经网络模型的内河船舶目标识别系统，其特征在于，包括：
轻量级神经网络模型构建模块，用于构建轻量级神经网络模型，在特征提取网络部分，在MobileNetv3Large网络原有15个Bneck模块基础上，去除第5、第9个Bneck模块，得到压缩后的特征提取网络S-MobileNet网络；在算法预测结构上，利用特征金字塔结构对S-MobileNet网络的第6、第9、第13个Bneck模块进行多卷积层特征融合；在预测框回归损失函数和目标预测框非极大值抑制方面，利用融合距离度量指标的损失函数进行损失计算；
数据集处理模块，用于对内河船舶图像进行筛选整理，形成内河船舶图像数据集；并利用随机划分的原则将数据集分为训练集和测试集；
训练模块，用于通过训练集和测试集对构建的轻量级神经网络模型进行训练；
识别模块，用于利用训练好的模型对内河船舶目标进行识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775903.7A CN113569667B (zh) | 2021-07-09 | 2021-07-09 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775903.7A CN113569667B (zh) | 2021-07-09 | 2021-07-09 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569667A CN113569667A (zh) | 2021-10-29 |
| CN113569667B true CN113569667B (zh) | 2024-03-08 |
Family
ID=78164239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110775903.7A Active CN113569667B (zh) | 2021-07-09 | 2021-07-09 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569667B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723572B (zh) * | 2021-11-01 | 2022-01-28 | 中南大学 | 船只目标识别方法、计算机系统及程序产品、存储介质 |
| CN114241307B (zh) * | 2021-12-09 | 2023-01-24 | 中国电子科技集团公司第五十四研究所 | 基于自注意力网络的合成孔径雷达飞机目标识别方法 |
| CN115019243A (zh) * | 2022-04-21 | 2022-09-06 | 山东大学 | 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统 |
| CN115049906B (zh) * | 2022-06-17 | 2024-07-05 | 北京理工大学 | 一种基于轻量级主干的保精度sar舰船检测方法 |
| CN114926794B (zh) * | 2022-06-20 | 2024-07-02 | 重庆邮电大学 | 一种高效的轻量化sar船舶目标检测方法 |
| CN115147723B (zh) | 2022-07-11 | 2023-05-09 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115457367B (zh) * | 2022-09-22 | 2023-09-26 | 淮阴工学院 | 一种基于Light-Net的轻量级目标检测方法及系统 |
| CN116681898B (zh) * | 2023-04-28 | 2024-09-20 | 华能灌云清洁能源发电有限责任公司 | 一种图像识别及定位方法 |
| CN116229381B (zh) * | 2023-05-11 | 2023-07-07 | 南昌工程学院 | 一种河湖采砂船船脸识别方法 |
| CN116665149B (zh) * | 2023-06-02 | 2024-08-13 | 西南交通大学 | 一种船舶遥感图像的细粒度小样本分类方法及系统 |
| CN116758492A (zh) * | 2023-08-18 | 2023-09-15 | 厦门民航凯亚有限公司 | 一种关于民航异常行李基于多维特征的挑找方法及系统 |
| CN117974792B (zh) * | 2024-03-28 | 2024-06-14 | 武汉理工大学三亚科教创新园 | 基于视觉与ais数据协同训练的船舶目标检测定位方法 |
| CN118015477B (zh) * | 2024-04-10 | 2024-06-04 | 南京智慧水运科技有限公司 | 一种航海雷达图像识别方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110933633A (zh) * | 2019-12-05 | 2020-03-27 | 武汉理工大学 | 一种基于csi指纹特征迁移的船载环境室内定位方法 |
| CN111652321A (zh) * | 2020-06-10 | 2020-09-11 | 江苏科技大学 | 一种基于改进yolov3算法的海上船舶检测方法 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN112016670A (zh) * | 2020-07-05 | 2020-12-01 | 桂林电子科技大学 | 一种面向轻量级神经网络的模型优化和压缩方法 |
| AU2020103494A4 (en) * | 2020-11-17 | 2021-01-28 | China University Of Mining And Technology | Handheld call detection method based on lightweight target detection network |
| CN112464883A (zh) * | 2020-12-11 | 2021-03-09 | 武汉工程大学 | 一种自然场景下船舶目标自动检测识别方法与系统 |
| CN112800838A (zh) * | 2020-12-28 | 2021-05-14 | 浙江万里学院 | 一种基于深度学习的航道船舶检测与识别方法 |
| WO2021134871A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3079983A1 (en) * | 2017-10-24 | 2019-05-02 | Waterloo Controls Inc. | Systems and methods for detecting waste receptacles using convolutional neural networks |
-
2021
- 2021-07-09 CN CN202110775903.7A patent/CN113569667B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110933633A (zh) * | 2019-12-05 | 2020-03-27 | 武汉理工大学 | 一种基于csi指纹特征迁移的船载环境室内定位方法 |
| WO2021134871A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市爱协生科技有限公司 | 基于局部二值模式和深度学习的合成人脸图像取证方法 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN111652321A (zh) * | 2020-06-10 | 2020-09-11 | 江苏科技大学 | 一种基于改进yolov3算法的海上船舶检测方法 |
| CN112016670A (zh) * | 2020-07-05 | 2020-12-01 | 桂林电子科技大学 | 一种面向轻量级神经网络的模型优化和压缩方法 |
| AU2020103494A4 (en) * | 2020-11-17 | 2021-01-28 | China University Of Mining And Technology | Handheld call detection method based on lightweight target detection network |
| CN112464883A (zh) * | 2020-12-11 | 2021-03-09 | 武汉工程大学 | 一种自然场景下船舶目标自动检测识别方法与系统 |
| CN112800838A (zh) * | 2020-12-28 | 2021-05-14 | 浙江万里学院 | 一种基于深度学习的航道船舶检测与识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于局部信息和卷积网络的分心行为识别;刘伟;周广平;杨春亭;;信息技术;20200722(第07期);全文 * |
| 多箱型内河集装箱船舶配载决策研究;李俊;张煜;计三有;马杰;交通运输系统工程与信息;20191231(第001期);全文 * |
| 应用于嵌入式平台的实时红外行人检测方法;张童;谭南林;包辰铭;;激光与红外;20200220(第02期);全文 * |
| 用于内河船舶目标检测的单次多框检测器算法;王言鹏;杨飏;姚远;哈尔滨工程大学学报;20191231(第007期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569667A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
| CN110991444B (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN109800735A (zh) | 一种船目标精确检测与分割方法 | |
| CN108388896A (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN110569738A (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN109359661B (zh) | 一种基于卷积神经网络的Sentinel-1雷达图像分类方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| Nguyen et al. | Satellite image classification using convolutional learning | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN110991257A (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
| CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN117292313A (zh) | 一种基于改进YOLOv7模型的小目标漂浮垃圾检测方法 | |
| CN117788402A (zh) | 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法 | |
| CN117523394A (zh) | 一种基于聚合特征增强网络的sar船舰检测方法 | |
| CN117274774A (zh) | 一种基于YOLOv7的X射线安检图像危险品检测算法 | |
| CN117036656A (zh) | 一种复杂场景下的水面漂浮物识别方法 | |
| Wang et al. | Underground defects detection based on GPR by fusing simple linear iterative clustering phash (SLIC-phash) and convolutional block attention module (CBAM)-YOLOv8 | |
| CN118212523A (zh) | 基于深度融合优化特征增强网络的sar图像船舰检测方法 | |
| CN117218583A (zh) | 基于YOLOv5-Mobilenet网络模型的安检图片违禁品图像检测方法、设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |